WO2021186640A1 - 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム - Google Patents

劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム Download PDF

Info

Publication number
WO2021186640A1
WO2021186640A1 PCT/JP2020/012104 JP2020012104W WO2021186640A1 WO 2021186640 A1 WO2021186640 A1 WO 2021186640A1 JP 2020012104 W JP2020012104 W JP 2020012104W WO 2021186640 A1 WO2021186640 A1 WO 2021186640A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
equipment
rectangular
score
rectangular area
Prior art date
Application number
PCT/JP2020/012104
Other languages
English (en)
French (fr)
Inventor
勇臣 濱野
大輔 内堀
一旭 渡邉
中川　雅史
荒武　淳
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/012104 priority Critical patent/WO2021186640A1/ja
Priority to US17/911,998 priority patent/US20230177666A1/en
Priority to JP2022507931A priority patent/JP7348575B2/ja
Publication of WO2021186640A1 publication Critical patent/WO2021186640A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • This disclosure relates to a deterioration detection device, a deterioration detection system, a deterioration detection method, and a program.
  • Infrastructure equipment such as pipelines is attached to the side or back surface of structures such as bridges installed outdoors for the purpose of passing liquids, gases, communication cables, etc.
  • the company or local government that owns the infrastructure equipment regularly inspects the pipeline or the attachment members for attaching the pipeline to the bridge, and confirms the deterioration such as rust generated on them. ..
  • Non-Patent Document 1 a captured image is divided into rectangular regions by using an image classification method (CNN: Convolution Neural Network) by deep learning, and the presence or absence of deterioration in each of the divided rectangular regions is automatically obtained. The technique for determining is disclosed.
  • CNN Convolution Neural Network
  • An object of the present disclosure made in view of such circumstances is to provide a deterioration detection device, a deterioration detection system, a deterioration detection method, and a program capable of detecting deterioration of equipment with high accuracy based on captured images. be.
  • the deterioration detection device is a deterioration detection device that detects deterioration of equipment attached to a structure, and is an equipment area extraction unit that extracts an existing area of the equipment based on a photographed image of the equipment. It is characterized by including a deteriorated area detection unit that detects a deteriorated area of the equipment based on the existing area.
  • the deterioration detection system is a deterioration detection system that detects deterioration of equipment attached to a structure, and stores the deterioration detection device, a photographing device for photographing the equipment, and the deterioration area. It is characterized by including a server device.
  • the deterioration detection method is a deterioration detection method for detecting deterioration of equipment attached to a structure, and extracts an existing area of the equipment based on a step of photographing the equipment and a photographed image.
  • it is characterized by including a step of detecting a deteriorated region of the equipment based on the existing region and a step of storing the deteriorated region.
  • the program according to one embodiment is characterized in that the computer functions as a deterioration detection device.
  • a deterioration detection device a deterioration detection system, a deterioration detection method, and a program capable of detecting deterioration of equipment with high accuracy based on a captured image.
  • FIG. 1 It is a figure which shows an example of the structure of the deterioration detection system which concerns on this embodiment. It is a block diagram which shows an example of the structure of the deterioration detection apparatus which concerns on this embodiment. It is a figure for demonstrating an example of the processing of the rectangular area division part which concerns on this embodiment. It is a figure for demonstrating an example of the processing of the rectangular area shift part which concerns on this embodiment. It is a figure for demonstrating an example of the processing of the rectangular area shift part which concerns on this embodiment. It is a figure for demonstrating an example of the processing of the rectangular area shift part which concerns on this embodiment. It is a figure for demonstrating an example of the processing of the score calculation part which concerns on this embodiment. It is a figure for demonstrating an example of the processing of the score calculation part which concerns on this embodiment.
  • the deterioration detection system 1 is a system that detects the deterioration V of the equipment 3 based on the captured images (moving images, still images) of the equipment 3 attached to the structure 2 by using deep learning.
  • Examples of the structure 2 include a bridge and the like.
  • Examples of the equipment 3 include a pipeline and an attachment member for attaching the pipeline to the bridge.
  • the deterioration detection system 1 includes a photographing device 100, a deterioration detection device 200, and a server device 300.
  • the photographing device 100, the deterioration detection device 200, and the server device 300 are connected so as to be able to communicate with each other by wire or wirelessly.
  • the communication method for transmitting and receiving information between the devices is not particularly limited.
  • the photographing device 100 is, for example, an unmanned aerial vehicle, a telephoto camera, or the like.
  • the photographing device 100 photographs the equipment 3.
  • the photographing device 100 may be any device having a function of optically photographing the equipment 3, and the configuration thereof is not particularly limited.
  • the photographing device 100 transmits the image data of the photographed image to the deterioration detecting device 200. It should be noted that not only the equipment 3 but also elements other than the equipment 3 to be inspected such as trees, rivers, vehicles, pedestrians, signs, roads, buildings, etc. are reflected in the photographed image.
  • the deterioration detection device 200 is, for example, a mobile phone such as a smartphone used by the worker U, a tablet terminal, a notebook PC (personal computer), or the like.
  • the deterioration detection device 200 receives the image data of the captured image from the photographing device 100. Although the details will be described later, the deterioration detection device 200 extracts the existing area of the equipment 3 based on the captured image, and detects the deteriorated area of the equipment 3 based on the existing area of the equipment 3.
  • the deterioration detection device 200 transmits the detection data of the deterioration area of the equipment 3 to the server device 300 via the network.
  • the server device 300 receives the detection data of the deterioration area of the equipment 3 from the deterioration detection device 200 via the network.
  • the server device 300 stores the detection data of the deteriorated area of the equipment 3.
  • ⁇ Deterioration detection device> An example of the configuration of the deterioration detection device 200 according to the present embodiment will be described with reference to FIGS. 2 to 5C.
  • the deterioration detection device 200 includes an input unit 210, a control unit 220, a storage unit 230, an output unit 240, and a communication unit 250.
  • the control unit 220 includes an equipment area extraction unit 221 and a deterioration area detection unit 222.
  • the equipment area extraction unit 221 includes a rectangular area division unit 2211, a rectangular area shift unit 2212, a score calculation unit 2213, and a determination unit 2214.
  • the input unit 210 accepts input of various information.
  • the input unit 210 may be any device as long as it can be operated by the operator U, and may be, for example, a microphone, a touch panel, a keyboard, a mouse, or the like.
  • the image data of the captured image taken by the photographing device 100 of the equipment 3 is input to the equipment area extraction unit 221.
  • the input unit 210 may be integrated with the deterioration detection device 200 or may be provided separately.
  • the control unit 220 may be configured by dedicated hardware, a general-purpose processor, or a processor specialized for a specific process.
  • the equipment area extraction unit 221 extracts the existing area of the equipment 3 by using the image classification method by CNN, which is one method of deep learning, based on the image data of the captured image input by the input unit 210. Examples of the model include, but are not limited to, VGG16.
  • the equipment area extraction unit 221 outputs the extraction data of the existing area of the equipment 3 to the deterioration area detection unit 222.
  • VGG16 For details of VGG16, for example, the following documents can be referred to.
  • the rectangular area dividing unit 2211 divides the captured image I into a plurality of rectangular areas R, for example, as shown in FIG.
  • the size of the captured image I can be expressed as, for example, vertical: H (pixel), horizontal: W (pixel).
  • the size of the rectangular area R can be expressed as, for example, vertical: h (pixel) and horizontal: w (pixel).
  • the size of the rectangular area R vertical: h, horizontal: w), the number of rectangular areas R (A ⁇ B), and the like may be arbitrarily set.
  • the rectangular region shifting portion 2212 shifts each of the plurality of rectangular regions R included in the captured image I in the xy (two-dimensional) direction while overlapping some regions. Then, a shifted rectangular area R'corresponding to the rectangular area R is generated. As a result, an overlapping region X in which the rectangular region R and the shifted rectangular region R'overlap is generated.
  • the number of staggered rectangular regions R' may be singular or plural. The larger the number of the shifted rectangular regions R', the larger the calculation load in the score calculation unit 2213, which will be described later. It is possible to improve the calculation accuracy of the score calculation unit 2213, the determination accuracy of the determination unit 2214, the detection accuracy of the deterioration area detection unit 222, and the like.
  • 1/2 shift means that the rectangular region R is shifted by a predetermined number of times in the x direction, or the rectangular region R is shifted by a predetermined number of times in the y direction by h / 2. It shall mean that (see the white arrow in FIG. 4A).
  • 1/3 shift means that the rectangular area R is shifted by a predetermined number of times in the x direction, w / 3, or the rectangular area R is shifted by a predetermined number of times in the y direction by h / 3 (FIG. 4B). (See white arrow).
  • the rectangular region shifting portion 2212 shifts the rectangular region R once in the x direction by w / 2 to generate the shifted rectangular region R'1 (1/2). Further, the rectangular area shifting unit 2212 shifts the rectangular area R once by h / 2 in the y direction to generate the shifted rectangular area R'2 (1/2). Further, the rectangular area shifting portion 2212 shifts the rectangular area R once in the x direction by w / 2 and once in the y direction by h / 2 to shift the rectangular area R'3 (1/2). ) Is generated.
  • the rectangular area R shifting the rectangular region R'1 (1/2), shifting the rectangular area R'2 (1/2), and, overlapping area X rectangle R'3 where (1/2) overlap ( 1/2) is generated.
  • the size of the overlapping region X (1/2) can be expressed as, for example, vertical: h / 2 (pixel) and horizontal: w / 2 (pixel).
  • the rectangular region shifting portion 2212 shifts the rectangular region R once in the x direction by w / 3 to generate the shifted rectangular region R'1 (1/3). Further, the rectangular area shifting unit 2212 shifts the rectangular area R twice in the x direction by w / 3, and generates the shifted rectangular area R'2 (1/3). Further, the rectangular area shifting unit 2212 shifts the rectangular area R once by h / 3 in the y direction to generate the shifted rectangular area R'3 (1/3). Further, the rectangular area shifting portion 2212 shifts the rectangular area R once in the x direction by w / 3 and once in the y direction by h / 3 to shift the rectangular area R'4 (1/3). ) Is generated.
  • the rectangular area shifting portion 2212 shifts the rectangular area R twice in the x direction by w / 3 and once in the y direction by h / 3 to shift the rectangular area R'5 (1/3). ) Is generated. Further, the rectangular area shifting unit 2212 shifts the rectangular area R twice in the y direction by h / 3 to generate the shifted rectangular area R'6 (1/3). Further, the rectangular area shifting portion 2212 shifts the rectangular area R once in the x direction by w / 3 and twice in the y direction by h / 3 to shift the rectangular area R'7 (1/3). ) Is generated. Further, the rectangular area shifting portion 2212 shifts the rectangular area R twice in the x direction by w / 3 and shifts the rectangular area R twice in the y direction by w / 3 to shift the rectangular area R'8 (1/3). ) Is generated.
  • the rectangular area R shifting the rectangular region R'1 (1/3), shifting the rectangular area R'2 (1/3), shifting the rectangular area R'3 (1/3), shifting the rectangular area R'4 ( 1/3), shifting the rectangular area R'5 (1/3), shifting the rectangular area which R'6 (1/3), shifting the rectangular area R'7 (1/3), and, shifting the rectangular region R'8 ( 1/3) overlap region X overlap (1/3) is generated.
  • the size of the overlapping region X (1/3) can be expressed as, for example, vertical: h / 3 (pixel) and horizontal: w / 3 (pixel).
  • the rectangular area shifting portion 2212 when the rectangular area shifting portion 2212 generates the shifted rectangular area R', the number of the shifted rectangular areas R'and the position of the shifted rectangular area R', in other words, the two-dimensional Cartesian coordinates P (x) in the xy plane. , Y) is determined.
  • the coordinates of the shifted rectangular area R'generated by shifting the rectangular area R k times in the x direction by w / n are P (1 / n). It can be expressed as (i + k, j). Further, in this case, the coordinates of the shifted rectangular area R'generated by shifting the rectangular area R l times in the y direction by h / n can be expressed as P (1 / n) (i, j + l).
  • the coordinates of the shifted rectangular area R'generated by shifting the rectangular area R k times in the x direction by w / n ⁇ and by shifting the rectangular area R by h / n ⁇ l times in the y direction are P. (1 / n) Can be expressed as (i + k, j + l).
  • the rectangular area shift portion 2212 determines that the number of shift rectangular areas R'is, for example, three. Further, the rectangular area shifting portion 2212 sets the coordinates of the first shifted rectangular area R'1 (1/2) to P (1/2) (i + 1, j) and the second shifted rectangular area R'2. The coordinates of (1/2) are P (1/2) (i, j + 1), and the coordinates of the third shifted rectangular area R'3 (1/2) are P (1/2) (i + 1, j + 1). ).
  • the rectangular area shift portion 2212 determines that the number of shift rectangular areas R'is, for example, eight. Further, the rectangular area shifting portion 2212 sets the coordinates of the first shifted rectangular area R'1 (1/3) to P (1/3) (i + 1, j) and the second shifted rectangular area R'2. The coordinates of (1/3) are the third P (1/3) (i + 2, j), and the coordinates of the shifted rectangular area R'3 (1/3) are P (1/3) (i, j + 1).
  • the coordinates of the fourth shifted rectangular area R'4 (1/3) are the coordinates of P (1/3) (i + 1, j + 1), and the coordinates of the fifth shifted rectangular area R'5 (1/3).
  • the coordinates of the rectangular area R'7 (1/3) are P (1/3) (i + 1, j + 2), and the coordinates of the eighth shifted rectangular area R'8 (1/3) are P (1/3). ) Determine (i + 2, j + 2).
  • the score calculation unit 2213 uses the image classification method by CNN, which is one method of deep learning, to show the score S1 (first score) indicating whether or not the equipment 3 exists in the rectangular area R, and the shifted rectangular area.
  • a score S2 (second score) indicating whether or not the equipment 3 exists in R' is calculated.
  • VGG16 is used as a model for learning.
  • the score S1 in the rectangular area R and the score S2 in the shifted rectangular area R' are calculated as predicted values by numerical values from 0 to 1, respectively.
  • the score calculation unit 2213 calculates a score S3 (third score) indicating whether or not the equipment 3 exists in the overlapping region X based on the score S1 in the rectangular region R and the score S2 in the shifted rectangular region R'. do.
  • the number of scores S2 in the shifted rectangular area R' matches the number of shifted rectangular areas R'.
  • the score calculating unit 2213 has a score S1 in the rectangular area R and three scores S2 in the three shifted rectangular areas R'.
  • the score S3 in the overlapping region X is calculated based on a total of four scores.
  • the score calculation unit 2213 has a score S1 in the rectangular area R and eight scores S2 in the eight shifted rectangular areas R'.
  • the score S3 in the overlapping region X is calculated based on a total of nine scores.
  • the score calculation unit 2213 may calculate the load average of the score S1 and the score S2, and calculate the load average as the score S3.
  • the score calculation unit 2213 may calculate the geometric mean of the score S1 and the score S2, and calculate the geometric mean as the score S3.
  • the score calculation unit 2213 may search for the minimum value or the maximum value of the score S1 and the score S2, and calculate the search result as the score S3.
  • the calculation method of the score S3 is not limited to these calculation methods.
  • the score calculation unit 2213 calculates the score S1 (1/2) (i, j) in the rectangular region R (1/2). Further, the score calculation unit 2213 calculates the score S2 (1/2) (i + 1, j) in the shifted rectangular region R'1 (1/2). Further, the score calculation unit 2213 calculates the score S2 (1/2) (i, j + 1) in the shifted rectangular region R'2 (1/2). Further, the score calculation unit 2213 calculates the score S2 (1/2) (i + 1, j + 1) in the shifted rectangular region R'3 (1/2).
  • overlapping area X (1/2), the rectangular region R (1/2), and holding the four scores in the three shifting the rectangular area R ' is near the rectangular region R (1/2) Will be done.
  • the score calculation unit 2213 the score S1 in the rectangular region R (1/2) (1/2) ( i, j), shifting score S2 (1/2) in the rectangular region R'1 (1/2) ( i + 1, j), shifting the score in the rectangular area R'2 (1/2) S2 (1/2) (i, j + 1), shifting score S2 (1/2 in the rectangular region R'3 (1/2)) ( i + 1, j + 1) on the basis, using the following equation to calculate the score S3 (1/2) in the overlapping area X (1/2).
  • F in the equation (1) indicates, for example, an operation such as a load average, a geometric mean, a minimum value, and a maximum value.
  • the score calculation unit 2213 has a score S1 (1/2) (i, j) in the rectangular area R (1/2 ) and a shifted rectangular area R'1 (1 /).
  • score S2 in 2) (1/2) (i + 1, j), shifting the rectangular area R'2 (score S2 (1/2 in 1/2)) (i, j + 1), shifting the rectangular area R'3 (1 / based on the score S2 in 2) (1/2) (i + 1, j + 1), using the following equation (2) to calculate the score S3 (1/2) in the overlapping area X (1/2).
  • a, b, c, and d are weights.
  • score S1 (1/2) in the rectangular region R (1/2) (i, j ) 0.8
  • shifting score S2 (1/2) in the rectangular region R'1 (1/2) (i + 1 , J) 0.7
  • score in the shifted rectangular area R'2 (1/2) S2 (1/2) (i, j + 1) 0.8
  • score in the shifted rectangular area R'3 (1/2) 0.7
  • S2 (1/2) (i + 1, j + 1) 0.7
  • the score S3 (1/2) in the overlapping region X (1/2) can be expressed by the following equation.
  • the score calculation unit 2213 has a score S1 (1/2) (i, j) in the rectangular area R (1/2 ) and a shifted rectangular area R'1 (1 /).
  • score S2 in 2) (1/2) (i + 1, j), shifting the rectangular area R'2 (score S2 (1/2 in 1/2)) (i, j + 1), shifting the rectangular area R'3 (1 /
  • the score S3 (1/2) in the overlapping region X (1/2) is calculated using the following equation.
  • score S1 (1/2) in the rectangular region R (1/2) (i, j ) 0.8
  • shifting score S2 (1/2) in the rectangular region R'1 (1/2) (i + 1 , J) 0.7
  • score in the shifted rectangular area R'2 (1/2) S2 (1/2) (i, j + 1) 0.8
  • score in the shifted rectangular area R'3 (1/2) 0.7
  • S2 (1/2) (i + 1, j + 1) 0.7
  • the score S3 (1/2) in the overlapping region X (1/2) can be expressed by the following equation.
  • the score calculation unit 2213 calculates the score S1 (1/3) (i, j) in the rectangular area R (1/3). Further, the score calculation unit 2213 calculates the score S2 (1/3) (i + 1, j) in the shifted rectangular region R'1 (1/3). Further, the score calculation unit 2213 calculates the score S2 (1/3) (i + 2, j) in the shifted rectangular region R'2 (1/3). Further, the score calculation unit 2213 calculates the score S2 (1/3) (i, j + 1) in the shifted rectangular region R'3 (1/3). Further, the score calculation unit 2213 calculates the score S2 (1/3) (i + 1, j + 1) in the shifted rectangular region R'4 (1/3).
  • the score calculation unit 2213 calculates the score S2 (1/3) (i + 2, j + 1) in the shifted rectangular region R'5 (1/3). Further, the score calculation unit 2213 calculates the score S2 (1/3) (i, j + 2) in the shifted rectangular region R'6 (1/3). Further, the score calculation unit 2213 calculates the score S2 (1/3) (i + 1, j + 2) in the shifted rectangular region R'7 (1/3). Further, the score calculation unit 2213 calculates the score S2 (1/3) (i + 2, j + 2) in the shifted rectangular region R'8 (1/3).
  • the score calculation unit 2213 the score S1 in the rectangular region R (1/3) (1/3) ( i, j), shifting score S2 (1/3) in the rectangular region R'1 (1/3) ( i + 1, j), the score S2 in the rectangular area R'2 (1/3) shifting (1/3) (i + 2, j), shifting score S2 (1/3 in the rectangular region R'3 (1/3)) ( i, j + 1), the score S2 in the rectangular region R'4 (1/3) shifting (1/3) (i + 1, j + 1), shifting score S2 (1/3 in the rectangular region R'5 (1/3)) ( i + 2, j + 1) , shifting the score in the rectangular region R'6 (1/3) S2 (1/3) (i, j + 2), shifting score S2 (1/3 in the rectangular region R'7 (1/3)) ( i + 1, j + 2), score S2 in the offset rectangular area R'8 (1/3) (1/3) Based on (i + 2, j + 2), the score S3 in the overlapping area X (1
  • F in the equation (6) indicates, for example, an operation such as a load average, a geometric mean, a minimum value, and a maximum value.
  • the score calculation unit 2213 determines the score in the rectangular region R (1 / n) . S1 (1 / n), and calculates a score S2 (1 / n) in the rectangular region R '(1 / n) shifted. Furthermore, the score calculation unit 2213, the score S1 in the rectangular region R (1 / n) (1 / n), and, shifting on the basis of the score S2 (1 / n) in the rectangular region R '(1 / n), duplicate The score S3 (1 / n) in the region X (1 / n) is calculated.
  • the score calculation unit 2213 When calculating the score S3 in the overlapping area X, the score calculation unit 2213 does not necessarily have to adopt all the scores held by the overlapping area X and perform the above calculation.
  • the score calculation unit 2213 may appropriately select a plurality of scores from all the scores held by the overlapping region X and perform the above calculation. At this time, the score calculation unit 2213 may select, for example, a score in the shifted rectangular area R'closer to the rectangular area R, and exclude the score in the shifted rectangular area R'farther away from the rectangular area R. ..
  • the determination unit 2214 determines whether or not the equipment 3 exists in the rectangular region R based on the score S3 in the overlapping region X.
  • the determination unit 2214 compares the score S3 in the overlapping area X with the threshold value Vth, and if the score S3 in the overlapping area X is equal to or higher than the threshold value Vth, determines that the equipment 3 exists in the rectangular area R, and determines that the equipment 3 exists in the overlapping area X. When the score S3 is smaller than the threshold value Vth, it is determined that the equipment 3 does not exist in the rectangular region R.
  • the value of the threshold value Vth is not particularly limited, and the threshold value Vth may be set arbitrarily or may be calculated mechanically.
  • the determination unit 2214 outputs the extracted data of the existing area of the equipment 3 to the deterioration area detection unit 222.
  • the determination unit 2214 has the equipment 3 in the rectangular region R, that is, the image reflected in the rectangular region R is the equipment. It is determined to be 3. As a result, the rectangular region R is extracted as the existing region of the equipment 3.
  • the determination unit 2214 does not have the equipment 3 in the rectangular region R, that is, the image reflected in the rectangular region R is not. It is determined that the equipment (elements other than the equipment 3 to be inspected, such as trees, rivers, vehicles, pedestrians, signs, roads, buildings, etc.).
  • the deterioration area detection unit 222 uses an area detection method by semantic segmentation, which is one method of deep learning, based on the extraction data of the existing area of the equipment 3 input from the equipment area extraction unit 221.
  • the deteriorated area of the equipment 3 is detected. Since the deteriorated region of the equipment 3 varies in shape, size, etc., it is preferable to perform recognition in pixel units instead of recognition in the classification type. Examples of the model of semantic segmentation include, but are not limited to, U-net.
  • the deterioration area detection unit 222 outputs the detection data of the deterioration area of the equipment 3 to the output unit 240.
  • the storage unit 230 includes one or more memories, and may include, for example, a semiconductor memory, a magnetic memory, an optical memory, and the like. Each memory included in the storage unit 230 may function as, for example, a main storage device, an auxiliary storage device, or a cache memory. Each memory does not necessarily have to be provided inside the deterioration detection device 200, and may be provided outside the deterioration detection device 200.
  • the storage unit 230 stores various information used for the operation of the deterioration detection device 200.
  • the storage unit 230 stores, for example, image data of a captured image, extraction data of an existing area of the equipment 3, detection data of a deteriorated area of the equipment 3, and the like. Further, the storage unit 230 stores data such as a rectangular area R, a shifted rectangular area R', an overlapping area X, a score S1, a score S2, and a score S3. In addition to this, the storage unit 230 stores, for example, various programs, various data, and the like.
  • the output unit 240 outputs various information.
  • the output unit 240 is, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, a speaker, or the like.
  • the output unit 240 displays a predetermined screen based on the deterioration area detection data of the equipment 3 input from the deterioration area detection unit 222.
  • the output unit 240 may be integrated with the deterioration detection device 200 or may be provided separately.
  • the communication unit 250 has a function of communicating with the photographing device 100 and a function of communicating with the server device 300.
  • the communication unit 250 receives the image data of the captured image from, for example, the photographing device 100.
  • the communication unit 250 transmits, for example, the detection data of the deteriorated region of the equipment 3 to the server device 300.
  • the deterioration detection device 200 extracts the existing area of the equipment based on the captured image, and detects the deteriorated area of the equipment based on the existing area of the equipment.
  • the deterioration detection device 200 does not use one score calculated for one rectangular area in which the captured image is divided, but one in which the captured image is divided. Use multiple scores calculated for the rectangular area of. As a result, even if an element other than the equipment is reflected in the captured image, the image of the equipment can be accurately identified from such a captured image, so that deterioration of the equipment can be detected with high accuracy.
  • step S101 the photographing device 100 photographs the equipment 3.
  • the photographing device 100 transmits the image data of the photographed image to the deterioration detecting device 200.
  • the worker U may store the image data of the photographed image photographed by the photographing apparatus 100 in an electronic medium such as a memory card or a USB memory.
  • step S102 the deterioration detection device 200 receives the image data of the captured image from the photographing device 100.
  • the deterioration detection device 200 divides the captured image into a plurality of rectangular areas.
  • step S103 the deterioration detection device 200 generates a shifted rectangular area corresponding to the rectangular area by shifting each of the plurality of rectangular areas included in the captured image in the xy direction while overlapping some areas.
  • step S104 the deterioration detection device 200 uses the image classification method by CNN, which is one method of deep learning, to have a score S1 indicating whether or not the equipment 3 exists in the rectangular region, and equipment in the shifted rectangular region.
  • a score S2 indicating whether or not 3 exists is calculated.
  • VGG16 is used for the model.
  • step S105 the deterioration detection device 200 uses a predetermined calculation method to indicate a score S1 indicating whether or not the equipment 3 is present in the rectangular region and whether or not the equipment 3 is present in the shifted rectangular region. Based on the score S2, a score S3 indicating whether or not the equipment 3 exists in the overlapping region is calculated.
  • step S106 the deterioration detection device 200 determines whether or not the equipment 3 exists in the rectangular region based on the score S3 indicating whether or not the equipment 3 exists in the overlapping region.
  • the deterioration detection device 200 compares the score S3 in the overlapping region with the threshold value Vth, and if the score S3 in the overlapping region is equal to or higher than the threshold value Vth, determines that the equipment 3 exists in the rectangular region, and determines that the equipment 3 exists in the rectangular region, and the score S3 in the overlapping region X. When is smaller than the threshold value Vth, it is determined that the equipment 3 does not exist in the rectangular area.
  • step S107 the deterioration detection device 200 detects the deteriorated region of the equipment 3 by using the region detection method by semantic segmentation, which is one method of deep learning, based on the extracted data of the existing region of the equipment 3.
  • semantic segmentation which is one method of deep learning
  • the deterioration detection device 200 transmits the detection data of the deterioration area of the equipment 3 to the server device 300.
  • step S108 the server device 300 receives the detection data of the deterioration area of the equipment 3 from the deterioration detection device 200.
  • the server device 300 stores the detection data of the deteriorated area of the equipment 3.
  • the deterioration detection method according to the present embodiment is not a one-step process of detecting the deteriorated area of the equipment based on the photographed image as in the conventional case, but extracts the existing area of the equipment based on the photographed image. Based on the existing area of the equipment, a two-step process of detecting the deteriorated area of the equipment is performed. As a result, even if elements other than the equipment are reflected in the captured image, the image of the equipment can be accurately identified from such captured image, so that the deterioration of the equipment to be inspected can be detected with high accuracy. Can be done.
  • the score judgment accuracy was calculated based on the confusion matrix.
  • the true positive rate (TPR: True Positive Rate) was used as an index for evaluating the accuracy of score determination.
  • the correct answer rate Accuracy
  • the precision rate Precision
  • the false positive rate FPR: False Positive Rate
  • a 1/2 shift was performed.
  • the average value of S2 was calculated as the score S3 in the overlapping region X (1/2).
  • the rectangular area R was not shifted.
  • the score S in the predetermined area included in the rectangular area R was calculated.
  • the deterioration detection device 200 according to the present embodiment has higher score determination accuracy than the conventional deterioration detection device. That is, it is suggested that the deterioration detection device 200 according to the present embodiment can accurately identify the image of the equipment from the captured image.
  • the existing area of the equipment 3 was extracted based on the captured image I, and the deteriorated area of the equipment 3 was detected based on the existing area 300 of the equipment 3.
  • the deteriorated region of the equipment 3 was detected based on the captured image I.
  • FIG. 8A is a diagram showing an example of detection accuracy according to the embodiment.
  • Area 301 indicates a detection area.
  • Area 302 indicates a false positive area.
  • Region 303 indicates an undetected region.
  • FIG. 8B is a diagram showing an example of detection accuracy according to the comparative example.
  • Area 301 indicates a detection area.
  • Area 302 indicates a false positive area.
  • Region 303 indicates an undetected region.
  • the deterioration detection device 200 according to the present embodiment has higher detection accuracy of the deterioration region of the equipment 3 than the conventional deterioration detection device. That is, it is suggested that the deterioration detection device 200 according to the present embodiment can detect the deterioration of the equipment 3 with high accuracy based on the captured image.
  • the computer can be realized by storing a program describing the processing contents that realize the functions of each device in the storage unit of the computer, and reading and executing this program by the processor of the computer. At least a part of the processing content may be realized by hardware.
  • the computer may be a general-purpose computer, a dedicated computer, a workstation, a PC, an electronic notebook pad, or the like.
  • the program instruction may be a program code, a code segment, or the like for executing a necessary task.
  • the processor may be a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or the like.
  • the program for causing the computer to execute the above-mentioned deterioration detection method is a deterioration detection method for detecting the deterioration of the equipment attached to the structure with reference to FIG. 6, and the step of photographing the equipment (S101). Then, the existing area of the equipment is extracted based on the captured image (S102 to S106), the deteriorated area of the equipment is detected based on the existing area of the equipment (S107), and the deteriorated area is stored (S108). ) And, including.
  • this program may be recorded on a computer-readable recording medium. Using such a recording medium, it is possible to install the program on the computer.
  • the recording medium on which the program is recorded may be a non-transient recording medium. Even if the non-transient recording medium is a CD (CompactDisk) -ROM (Read-Only Memory), a DVD (DigitalVersatileDisc) -ROM, a BD (Blu-ray (registered trademark) Disc) -ROM, etc. good.
  • the program can also be provided by download over the network.
  • Deterioration detection system Structure 3 Equipment 100 Imaging device 200 Deterioration detection device 210 Input unit 220 Control unit 230 Storage unit 240 Output unit 250 Communication unit 221 Equipment area extraction unit 222 Deterioration area detection unit 300 Server device 2211 Rectangular area division unit 2212 Rectangular area shift part 2213 Score calculation part 2214 Judgment part

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

構造物（２）に添架された設備（３）の劣化を検出する劣化検出装置（２００）であって、設備（３）の撮影画像に基づいて、設備（３）の存在領域を抽出する設備領域抽出部（２２１）と、存在領域に基づいて、設備の劣化領域を検出する劣化領域検出部（２２２）と、を備える。

Description

劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム
　本開示は、劣化検出装置、劣化検出システム、劣化検出方法、およびプログラムに関する。
　屋外に設置される橋梁などの構造物における側面又は裏面には、液体、気体、通信ケーブルなどを通過させる目的で、管路などのインフラ設備が添架されている。インフラ設備を保有している企業又は自治体は、管路又は管路を橋梁に添架するための添架部材の点検を定期的に実施しており、それらに発生した錆などの劣化を確認している。
　従来、上述の構造物に点検用の足場などを設置し、作業者が設備に近づいて設備を点検する近接目視による点検が行われていた。しかし、近接目視による点検は、足場を設置するためのコストがかかること、高所作業に伴う作業者の安全性を確保し難いことなどが懸念されていた。そこで、近年では、無人飛行機が設備を撮影し、画像処理技術を用いて、撮影画像に基づいて設備の劣化を効率的に検出する点検方法が提案されている。例えば、非特許文献１には、深層学習による画像分類手法（ＣＮＮ：Convolution Neural Network）を用いて、撮影画像を矩形領域に分割し、分割された矩形領域のそれぞれにおける劣化の有無を自動的に判定する技術が開示されている。
田畑佑, 他５名,「ＵＡＶ撮影と深層学習を用いた橋梁損傷の自動検知に関する検証」,土木学会論文集, F4, Vol.74, No.2, I_62-I_74, 2018年
　しかしながら、無人飛行機が設備を撮影した撮影画像には、木、河川、車両、歩行者、標識、道路、建物などのような点検対象である設備以外の要素が写り込んでしまう。このため、従来の技術では、このような撮影画像に基づいて対象設備に着目した劣化を高精度に検出することは困難であるという問題があった。
　かかる事情に鑑みてなされた本開示の目的は、撮影画像に基づいて設備の劣化を高精度に検出することが可能な劣化検出装置、劣化検出システム、劣化検出方法、およびプログラムを提供することにある。
　一実施形態に係る劣化検出装置は、構造物に添架された設備の劣化を検出する劣化検出装置であって、前記設備の撮影画像に基づいて、前記設備の存在領域を抽出する設備領域抽出部と、前記存在領域に基づいて、前記設備の劣化領域を検出する劣化領域検出部と、を備えることを特徴とする。
　一実施形態に係る劣化検出システムは、構造物に添架された設備の劣化を検出する劣化検出システムであって、上記劣化検出装置と、前記設備を撮影する撮影装置と、前記劣化領域を記憶するサーバ装置と、を備えることを特徴とする。
　一実施形態に係る劣化検出方法は、構造物に添架された設備の劣化を検出する劣化検出方法であって、前記設備を撮影するステップと、撮影画像に基づいて、前記設備の存在領域を抽出し、該存在領域に基づいて、前記設備の劣化領域を検出するステップと、前記劣化領域を記憶するステップと、を含むことを特徴とする。
　一実施形態係るプログラムは、コンピュータを、劣化検出装置として機能させることを特徴とする。
　本開示によれば、撮影画像に基づいて設備の劣化を高精度に検出することが可能な劣化検出装置、劣化検出システム、劣化検出方法、およびプログラムを提供することが可能となる。
本実施形態に係る劣化検出システムの構成の一例を示す図である。 本実施形態に係る劣化検出装置の構成の一例を示すブロック図である。 本実施形態に係る矩形領域分割部の処理の一例を説明するための図である。 本実施形態に係る矩形領域ずらし部の処理の一例を説明するための図である。 本実施形態に係る矩形領域ずらし部の処理の一例を説明するための図である。 本実施形態に係るスコア計算部の処理の一例を説明するための図である。 本実施形態に係るスコア計算部の処理の一例を説明するための図である。 本実施形態に係るスコア計算部の処理の一例を説明するための図である。 本実施形態に係る劣化検出方法の一例を示すフローチャートである。 実施例および比較例に係る判定精度の一例を示す図である。 実施例に係る検出精度の一例を示す図である。 比較例に係る検出精度の一例を示す図である。
　以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
＜劣化検出システムの構成＞
　図１を参照して、本実施形態に係る劣化検出システム１の構成の一例について説明する。
　劣化検出システム１は、深層学習を用いて、構造物２に添架された設備３の撮影画像（動画像、静止画像）に基づいて、設備３の劣化Ｖを検出するシステムである。構造物２としては、例えば、橋梁などが挙げられる。設備３としては、例えば、管路、管路を橋梁に添架するための添架部材などが挙げられる。
　図１に示すように、劣化検出システム１は、撮影装置１００と、劣化検出装置２００と、サーバ装置３００と、を備える。撮影装置１００、劣化検出装置２００、および、サーバ装置３００は、それぞれ、有線または無線により通信可能に接続されている。各装置間で情報を送受信するための通信方法は、特に限定されない。
　撮影装置１００は、例えば、無人航空機、望遠カメラなどである。撮影装置１００は、設備３を撮影する。撮影装置１００は、設備３を光学的に撮影する機能を有する装置であればよく、その構成は、特に限定されない。撮影装置１００は、撮影画像の画像データを、劣化検出装置２００へ送信する。なお、撮影画像には、設備３のみならず、木、河川、車両、歩行者、標識、道路、建物などのような点検対象である設備３以外の要素も写り込んでいる。
　劣化検出装置２００は、例えば、作業者Ｕが使用するスマートフォンなどの携帯電話、タブレット端末、ノートＰＣ（personal computer）などである。劣化検出装置２００は、撮影装置１００から、撮影画像の画像データを受信する。詳細は後述するが、劣化検出装置２００は、撮影画像に基づいて、設備３の存在領域を抽出し、設備３の存在領域に基づいて、設備３の劣化領域を検出する。劣化検出装置２００は、設備３の劣化領域の検出データを、ネットワークを介してサーバ装置３００へ送信する。
　サーバ装置３００は、劣化検出装置２００から、ネットワークを介して設備３の劣化領域の検出データを受信する。サーバ装置３００は、設備３の劣化領域の検出データを記憶する。
＜劣化検出装置＞
　図２乃至図５Ｃを参照して、本実施形態に係る劣化検出装置２００の構成の一例について説明する。
　図２に示すように、劣化検出装置２００は、入力部２１０と、制御部２２０と、記憶部２３０と、出力部２４０と、通信部２５０と、を備える。制御部２２０は、設備領域抽出部２２１と、劣化領域検出部２２２と、を備える。設備領域抽出部２２１は、矩形領域分割部２２１１と、矩形領域ずらし部２２１２と、スコア算出部２２１３と、判定部２２１４と、を備える。
　入力部２１０は、各種情報の入力を受け付ける。入力部２１０は、作業者Ｕによる所定の操作が可能であればどのようなデバイスでもよく、例えば、マイク、タッチパネル、キーボード、マウスなどである。例えば、作業者Ｕが、入力部２１０を用いて所定の操作を行うことで、撮影装置１００が設備３を撮影した撮影画像の画像データが、設備領域抽出部２２１に入力される。入力部２１０は、劣化検出装置２００と一体化されていてもよいし、別々に設けられていてもよい。
　制御部２２０は、専用のハードウェアによって構成されてもよいし、汎用のプロセッサ又は特定の処理に特化したプロセッサによって構成されてもよい。
　設備領域抽出部２２１は、入力部２１０により入力された撮影画像の画像データに基づいて、深層学習の１つの手法であるＣＮＮによる画像分類手法を用いて、設備３の存在領域を抽出する。モデルとしては、例えば、ＶＧＧ１６などが挙げられるが、これに限定されない。設備領域抽出部２２１は、設備３の存在領域の抽出データを、劣化領域検出部２２２へ出力する。
　ＶＧＧ１６の詳細については、例えば、下記の文献を参照することができる。
　Karen Simonyan, Andrew Zisserman (2014), Very Deep Convolutional Networks for Large-Scale Image Recognition, arXiv:1409.1556 [cs. CV].
　設備領域抽出部２２１の詳細について説明する。
　矩形領域分割部２２１１は、例えば、図３に示すように、撮影画像Ｉを、複数の矩形領域Ｒに分割する。撮影画像Ｉのサイズは、例えば、縦：Ｈ（ｐｉｘｅｌ）、横：Ｗ（ｐｉｘｅｌ）のように表せる。矩形領域Ｒのサイズは、例えば、縦：ｈ（ｐｉｘｅｌ）、横：ｗ（ｐｉｘｅｌ）のように表せる。
　具体的には、矩形領域分割部２２１１は、撮影画像Ｉにおいて、矩形領域Ｒを、ｘ方向にＡ（＝Ｗ／ｗ：定数）回、ｙ方向にＢ（＝Ｈ／ｈ：定数）回、移動させながら切り取ることで、撮影画像Ｉを、Ａ×Ｂ（＝（Ｗ／ｗ）×（Ｈ／ｈ））個の矩形領域Ｒに分割する。例えば、矩形領域分割部２２１１は、撮影画像Ｉにおいて、矩形領域Ｒを、ｘ方向に８回、ｙ方向に６回、移動させながら切り取ることで、撮影画像Ｉを、４８（＝８×６）個の矩形領域Ｒに分割する。なお、矩形領域Ｒのサイズ（縦：ｈ、横：ｗ）、矩形領域Ｒの個数（Ａ×Ｂ）などは、任意に設定されてよい。
　矩形領域ずらし部２２１２は、例えば、図４Ａおよび図４Ｂに示すように、撮影画像Ｉに含まれる複数の矩形領域Ｒのそれぞれを、ｘｙ（２次元）方向に、一部領域を重ねながらずらすことで、矩形領域Ｒに対応するずらし矩形領域Ｒ’を生成する。これにより、矩形領域Ｒとずらし矩形領域Ｒ’とが重複する重複領域Ｘが生成される。ずらし矩形領域Ｒ’の個数は、単数であっても複数であっても構わない。ずらし矩形領域Ｒ’の個数が多い程、後述するスコア算出部２２１３における算出負荷は大きくなるが、矩形領域ずらし部２２１２が適切な位置に適切な個数のずらし矩形領域Ｒ’を生成することで、スコア算出部２２１３における算出精度、判定部２２１４における判定精度、劣化領域検出部２２２における検出精度などを高めることが可能である。
　以下、本明細書において、「１／２ずらし」とは、矩形領域Ｒを、ｘ方向に所定回数、ｗ／２ずらすこと、あるいは、矩形領域Ｒを、ｙ方向に所定回数、ｈ／２ずらすこと（図４Ａの白抜き矢印参照）を意味するものとする。また、「１／３ずらし」とは、矩形領域Ｒを、ｘ方向に所定回数、ｗ／３ずらすこと、あるいは、矩形領域Ｒを、ｙ方向に所定回数、ｈ／３ずらすこと（図４Ｂの白抜き矢印参照）を意味するものとする。また、「１／ｎ（ｎは、２以上の整数）ずらし」とは、矩形領域Ｒを、ｘ方向に所定回数、ｗ／ｎずらすこと、あるいは、矩形領域Ｒを、ｙ方向に所定回数、ｈ／ｎずらすことを意味するものとする。
　例えば、図４Ａに示すように、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／２ずらして、ずらし矩形領域Ｒ’１（１／２）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｙ方向に１回、ｈ／２ずらして、ずらし矩形領域Ｒ’２（１／２）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／２ずらして、且つ、ｙ方向に１回、ｈ／２ずらして、ずらし矩形領域Ｒ’３（１／２）を生成する。
　この際、矩形領域Ｒ、ずらし矩形領域Ｒ’１（１／２）、ずらし矩形領域Ｒ’２（１／２）、および、矩形領域Ｒ’３（１／２）が重複する重複領域Ｘ（１／２）が生成される。重複領域Ｘ（１／２）のサイズは、例えば、縦：ｈ／２（ｐｉｘｅｌ）、横：ｗ／２（ｐｉｘｅｌ）のように表せる。
　例えば、図４Ｂに示すように、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／３ずらして、ずらし矩形領域Ｒ’１（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に２回、ｗ／３ずらして、ずらし矩形領域Ｒ’２（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｙ方向に１回、ｈ／３ずらして、ずらし矩形領域Ｒ’３（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／３ずらして、且つ、ｙ方向に１回、ｈ／３ずらして、ずらし矩形領域Ｒ’４（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に２回、ｗ／３ずらして、且つ、ｙ方向に１回、ｈ／３ずらして、ずらし矩形領域Ｒ’５（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｙ方向に２回、ｈ／３ずらして、ずらし矩形領域Ｒ’６（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／３ずらして、且つ、ｙ方向に２回、ｈ／３ずらして、ずらし矩形領域Ｒ’７（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に２回、ｗ／３ずらして、且つ、ｙ方向に２回、ｗ／３ずらして、ずらし矩形領域Ｒ’８（１／３）を生成する。
　この際、矩形領域Ｒ、ずらし矩形領域Ｒ’１（１／３）、ずらし矩形領域Ｒ’２（１／３）、ずらし矩形領域Ｒ’３（１／３）、ずらし矩形領域Ｒ’４（１／３）、ずらし矩形領域Ｒ’５（１／３）、ずらし矩形領域Ｒ’６（１／３）、ずらし矩形領域Ｒ’７（１／３）、および、ずらし矩形領域Ｒ’８（１／３）が重複する重複領域Ｘ（１／３）が生成される。重複領域Ｘ（１／３）のサイズは、例えば、縦：ｈ／３（ｐｉｘｅｌ）、横：ｗ／３（ｐｉｘｅｌ）のように表せる。
　また、矩形領域ずらし部２２１２は、ずらし矩形領域Ｒ’を生成する際、ずらし矩形領域Ｒ’の個数、および、ずらし矩形領域Ｒ’の位置、言い換えれば、ｘｙ平面における２次元直交座標Ｐ（ｘ，ｙ）を決定する。
　矩形領域Ｒの座標をＰ（ｉ，ｊ）とする場合、矩形領域Ｒを、ｘ方向にｋ回、ｗ／ｎずらして生成されたずらし矩形領域Ｒ’の座標は、Ｐ（１／ｎ）（ｉ＋ｋ，ｊ）のように表せる。また、この場合、矩形領域Ｒを、ｙ方向にｌ回、ｈ／ｎずらして生成されたずらし矩形領域Ｒ’の座標は、Ｐ（１／ｎ）（ｉ，ｊ＋ｌ）のように表せる。また、この場合、矩形領域Ｒを、ｘ方向にｋ回、ｗ／ｎ×ずらして、且つ、ｙ方向にｌ回、ｈ／ｎ×ずらして生成されたずらし矩形領域Ｒ’の座標は、Ｐ（１／ｎ）（ｉ＋ｋ，ｊ＋ｌ）のように表せる。
　例えば、図４Ａに示すように、１／２ずらしの場合、矩形領域ずらし部２２１２は、ずらし矩形領域Ｒ’の個数を、例えば、３個と決定する。また、矩形領域ずらし部２２１２は、１個目のずらし矩形領域Ｒ’１（１／２）の座標を、Ｐ（１／２）（ｉ＋１，ｊ）、２個目のずらし矩形領域Ｒ’２（１／２）の座標を、Ｐ（１／２）（ｉ，ｊ＋１）、３個目のずらし矩形領域Ｒ’３（１／２）の座標を、Ｐ（１／２）（ｉ＋１，ｊ＋１）と決定する。
　例えば、図４Ｂに示すように、１／３ずらしの場合、矩形領域ずらし部２２１２は、ずらし矩形領域Ｒ’の個数を、例えば、８個と決定する。また、矩形領域ずらし部２２１２は、１個目のずらし矩形領域Ｒ’１（１／３）の座標を、Ｐ（１／３）（ｉ＋１，ｊ）、２個目のずらし矩形領域Ｒ’２（１／３）の座標を、３個目のＰ（１／３）（ｉ＋２，ｊ）、ずらし矩形領域Ｒ’３（１／３）の座標を、Ｐ（１／３）（ｉ，ｊ＋１）、４個目のずらし矩形領域Ｒ’４（１／３）の座標を、Ｐ（１／３）（ｉ＋１，ｊ＋１）、５個目のずらし矩形領域Ｒ’５（１／３）の座標を、Ｐ（１／３）（ｉ＋２，ｊ＋１）、６個目のずらし矩形領域Ｒ’６（１／３）の座標を、Ｐ（１／３）（ｉ，ｊ＋２）、７個目のずらし矩形領域Ｒ’７（１／３）の座標を、Ｐ（１／３）（ｉ＋１，ｊ＋２）、８個目のずらし矩形領域Ｒ’８（１／３）の座標を、Ｐ（１／３）（ｉ＋２，ｊ＋２）と決定する。
　スコア算出部２２１３は、深層学習の１つの手法であるＣＮＮによる画像分類手法を用いて、矩形領域Ｒに設備３が存在するか否かを示すスコアＳ１（第１スコア）、および、ずらし矩形領域Ｒ’に設備３が存在するか否かを示すスコアＳ２（第２スコア）を算出する。学習を行うモデルには、例えば、ＶＧＧ１６を用いる。矩形領域ＲにおけるスコアＳ１およびずらし矩形領域Ｒ’におけるスコアＳ２は、それぞれ、０から１までの数値で予測値として算出される。
　そして、スコア算出部２２１３は、矩形領域ＲにおけるスコアＳ１およびずらし矩形領域Ｒ’におけるスコアＳ２に基づいて、重複領域Ｘに設備３が存在するか否かを示すスコアＳ３（第３スコア）を算出する。ずらし矩形領域Ｒ’におけるスコアＳ２の個数は、ずらし矩形領域Ｒ’の個数と一致する。例えば、矩形領域ずらし部２２１２により、ずらし矩形領域Ｒ’が３個生成された場合、スコア算出部２２１３は、矩形領域ＲにおけるスコアＳ１および３個のずらし矩形領域Ｒ’における３個のスコアＳ２の合計４個のスコアに基づいて、重複領域ＸにおけるスコアＳ３を算出する。例えば、矩形領域ずらし部２２１２により、ずらし矩形領域Ｒ’が８個生成された場合、スコア算出部２２１３は、矩形領域ＲにおけるスコアＳ１および８個のずらし矩形領域Ｒ’における８個のスコアＳ２の合計９個のスコアに基づいて、重複領域ＸにおけるスコアＳ３を算出する。
　例えば、スコア算出部２２１３は、スコアＳ１およびスコアＳ２の荷重平均を算出し、当該荷重平均をスコアＳ３として算出してよい。例えば、スコア算出部２２１３は、スコアＳ１およびスコアＳ２の幾何平均を算出し、当該幾何平均をスコアＳ３として算出してよい。例えば、スコア算出部２２１３は、スコアＳ１およびスコアＳ２の最小値又は最大値を探索し、探索結果をスコアＳ３として算出してよい。なお、スコアＳ３の算出方法は、これらの算出方法に限定されるものではない。
　例えば、図５Ａに示すように、１／２ずらしの場合、スコア算出部２２１３は、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）を算出する。ここで、重複領域Ｘ（１／２）は、矩形領域Ｒ（１／２）、および、矩形領域Ｒ（１／２）に近傍する３個のずらし矩形領域Ｒ’における４個のスコアを保有することになる。
　さらに、スコア算出部２２１３は、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）に基づいて、次式を用いて、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）を算出する。
Figure JPOXMLDOC01-appb-M000001
　式（１）におけるＦは、例えば、荷重平均、幾何平均、最小値、最大値などの演算を示している。
　Ｆが、例えば、荷重平均の演算である場合、スコア算出部２２１３は、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）に基づいて、次式（２）を用いて、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）を算出する。ここで、ａ，ｂ，ｃ，ｄは、重みである。
Figure JPOXMLDOC01-appb-M000002
　ここで、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）＝０．８、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）＝０．７、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）＝０．８、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）＝０．７とすると、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）は、次式のように表せる。
Figure JPOXMLDOC01-appb-M000003
　Ｆが、例えば、幾何平均の演算である場合、スコア算出部２２１３は、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）に基づいて、次式を用いて、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）を算出する。
Figure JPOXMLDOC01-appb-M000004
　ここで、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）＝０．８、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）＝０．７、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）＝０．８、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）＝０．７とすると、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）は、次式のように表せる。
Figure JPOXMLDOC01-appb-M000005
　例えば、図５に示すように、１／３ずらしの場合、スコア算出部２２１３は、矩形領域Ｒ（１／３）におけるスコアＳ１（１／３）（ｉ，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’１（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’２（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’３（１／３）におけるスコアＳ２（１／３）（ｉ，ｊ＋１）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’４（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ＋１）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’５（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ＋１）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’６（１／３）におけるスコアＳ２（１／３）（ｉ，ｊ＋２）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’７（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ＋２）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’８（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ＋２）を算出する。ここで、重複領域Ｘ（１／３）は、矩形領域Ｒ（１／３）、および、矩形領域Ｒ（１／３）に近傍する８個のずらし矩形領域Ｒ’における９個のスコアを保有することになる。
　さらに、スコア算出部２２１３は、矩形領域Ｒ（１／３）におけるスコアＳ１（１／３）（ｉ，ｊ）、ずらし矩形領域Ｒ’１（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ）、ずらし矩形領域Ｒ’２（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ）、ずらし矩形領域Ｒ’３（１／３）におけるスコアＳ２（１／３）（ｉ，ｊ＋１）、ずらし矩形領域Ｒ’４（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ＋１）、ずらし矩形領域Ｒ’５（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ＋１）、ずらし矩形領域Ｒ’６（１／３）におけるスコアＳ２（１／３）（ｉ，ｊ＋２）、ずらし矩形領域Ｒ’７（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ＋２）、ずらし矩形領域Ｒ’８（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ＋２）に基づいて、次式を用いて、重複領域Ｘ（１／３）におけるスコアＳ３（１／３）を算出する。
Figure JPOXMLDOC01-appb-M000006
　式（６）におけるＦは、例えば、荷重平均、幾何平均、最小値、最大値などの演算を示している。
　例えば、図５Ｃに示すように、１／ｎずらしの場合も、１／２ずらしの場合および１／３ずらしの場合と同様に、スコア算出部２２１３は、矩形領域Ｒ（１／ｎ）におけるスコアＳ１（１／ｎ）、および、ずらし矩形領域Ｒ’（１／ｎ）におけるスコアＳ２（１／ｎ）を算出する。さらに、スコア算出部２２１３は、矩形領域Ｒ（１／ｎ）におけるスコアＳ１（１／ｎ）、および、ずらし矩形領域Ｒ’（１／ｎ）におけるスコアＳ２（１／ｎ）に基づいて、重複領域Ｘ（１／ｎ）におけるスコアＳ３（１／ｎ）を算出する。
　なお、スコア算出部２２１３は、重複領域ＸにおけるスコアＳ３を算出する際、必ずしも、重複領域Ｘが保有する全てのスコアを採用して上述の演算を行う必要はない。スコア算出部２２１３は、重複領域Ｘが保有する全てのスコアの中から、適宜、複数のスコアを選択して上述の演算を行ってよい。この際、スコア算出部２２１３は、例えば、矩形領域Ｒに、より近傍するずらし矩形領域Ｒ’におけるスコアを選択し、矩形領域Ｒから、より離れたずらし矩形領域Ｒ’におけるスコアを除外してよい。
　判定部２２１４は、重複領域ＸにおけるスコアＳ３に基づいて、矩形領域Ｒに設備３が存在するか否かを判定する。判定部２２１４は、重複領域ＸにおけるスコアＳ３と閾値Ｖｔｈとを比較して、重複領域ＸにおけるスコアＳ３が閾値Ｖｔｈ以上である場合、矩形領域Ｒに設備３が存在すると判定し、重複領域ＸにおけるスコアＳ３が閾値Ｖｔｈより小さい場合、矩形領域Ｒに設備３が存在しないと判定する。閾値Ｖｔｈは、その値が特に限定されるものではなく、任意に設定されてもよいし、機械的に算出されてもよい。判定部２２１４は、設備３の存在領域の抽出データを、劣化領域検出部２２２へ出力する。
　例えば、重複領域ＸにおけるスコアＳ３が０．８、閾値Ｖｔｈが０．７である場合、判定部２２１４は、矩形領域Ｒに設備３が存在する、すなわち、矩形領域Ｒに写っている画像が設備３であると判定する。これにより、当該矩形領域Ｒが、設備３の存在領域として抽出される。
　例えば、重複領域ＸにおけるスコアＳ３が０．６、閾値Ｖｔｈが０．７である場合、判定部２２１４は、矩形領域Ｒに設備３が存在しない、すなわち、矩形領域Ｒに写っている画像が非設備（木、河川、車両、歩行者、標識、道路、建物などのような点検対象である設備３以外の要素）であると判定する。
　劣化領域検出部２２２は、設備領域抽出部２２１から入力された設備３の存在領域の抽出データに基づいて、深層学習の１つの手法であるセマンティックセグメンテーション（semantic segmentation）による領域検出手法を用いて、設備３の劣化領域を検出する。設備３の劣化領域は、形状、大きさなどが千差万別で異なるため、クラス分類型での認識ではなく、画素単位での認識を行うことが好ましい。セマンティックセグメンテーションのモデルとしては、例えば、Ｕ－ｎｅｔなどが挙げられるが、これに限定されない。劣化領域検出部２２２は、設備３の劣化領域の検出データを、出力部２４０へ出力する。
　U-netの詳細については、例えば、下記の文献を参照することができる。
　Olaf Ronneberger et.al(2015), Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597 [cs. CV].
　記憶部２３０は、１つ以上のメモリを含み、例えば、半導体メモリ、磁気メモリ、光メモリなどを含んでよい。記憶部２３０に含まれる各メモリは、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してよい。各メモリは、必ずしも劣化検出装置２００がその内部に備える必要はなく、劣化検出装置２００の外部に備える構成としてもよい。
　記憶部２３０は、劣化検出装置２００の動作に用いられる各種情報を記憶する。記憶部２３０は、例えば、撮影画像の画像データ、設備３の存在領域の抽出データ、設備３の劣化領域の検出データなどを記憶する。また、記憶部２３０は、例えば、矩形領域Ｒ、ずらし矩形領域Ｒ’、重複領域Ｘ、スコアＳ１、スコアＳ２、スコアＳ３などのデータを記憶する。この他にも、記憶部２３０は、例えば、各種のプログラム、各種のデータなどを記憶する。
　出力部２４０は、各種情報を出力する。出力部２４０は、例えば、液晶ディスプレイ、有機ＥＬ（Electro－Luminescence）ディスプレイ、スピーカーなどである。例えば、出力部２４０は、劣化領域検出部２２２から入力された設備３の劣化領域の検出データに基づいて、所定の画面を表示する。出力部２４０は、劣化検出装置２００と一体化されていてもよいし、別々に設けられていてもよい。
　通信部２５０は、撮影装置１００と通信する機能、および、サーバ装置３００と通信する機能を有する。通信部２５０は、例えば、撮影装置１００から、撮影画像の画像データを受信する。通信部２５０は、例えば、サーバ装置３００へ、設備３の劣化領域の検出データを送信する。
　本実施形態に係る劣化検出装置２００は、撮影画像に基づいて、設備の存在領域を抽出し、設備の存在領域に基づいて、設備の劣化領域を検出する。劣化検出装置２００は、設備の存在領域を抽出する際、撮影画像が分割された１個の矩形領域に対して算出された１個のスコアを用いるのではなく、撮影画像が分割された１個の矩形領域に対して算出された複数のスコアを用いる。これにより、撮影画像に設備以外の要素が写り込んでいても、このような撮影画像から設備の画像を正確に特定することができるため、設備の劣化を高精度に検出することができる。
＜劣化検出方法＞
　図６を参照して、本実施形態に係る劣化検出方法の一例について説明する。
　ステップＳ１０１において、撮影装置１００は、設備３を撮影する。撮影装置１００は、撮影画像の画像データを、劣化検出装置２００へ送信する。なお、作業者Ｕは、撮影装置１００により撮影された撮影画像の画像データを、メモリカード又はＵＳＢメモリなどの電子媒体に記憶させてもよい。
　ステップＳ１０２において、劣化検出装置２００は、撮影装置１００から、撮影画像の画像データを受信する。劣化検出装置２００は、撮影画像を、複数の矩形領域に分割する。
　ステップＳ１０３において、劣化検出装置２００は、撮影画像に含まれる複数の矩形領域のそれぞれを、ｘｙ方向に、一部領域を重ねながらずらすことで、矩形領域に対応するずらし矩形領域を生成する。
　ステップＳ１０４において、劣化検出装置２００は、深層学習の１つの手法であるＣＮＮによる画像分類手法を用いて、矩形領域に設備３が存在するか否かを示すスコアＳ１、および、ずらし矩形領域に設備３が存在するか否かを示すスコアＳ２を算出する。モデルには、例えば、ＶＧＧ１６を用いる。
　ステップＳ１０５において、劣化検出装置２００は、所定の算出方法を用いて、矩形領域に設備３が存在するか否かを示すスコアＳ１、および、ずらし矩形領域に設備３が存在するか否かを示すスコアＳ２に基づいて、重複領域に設備３が存在するか否かを示すスコアＳ３を算出する。
　ステップＳ１０６において、劣化検出装置２００は、重複領域に設備３が存在するか否かを示すスコアＳ３に基づいて、矩形領域に設備３が存在するか否かを判定する。劣化検出装置２００は、重複領域におけるスコアＳ３と閾値Ｖｔｈとを比較して、重複領域におけるスコアＳ３が閾値Ｖｔｈ以上である場合、矩形領域に設備３が存在すると判定し、重複領域ＸにおけるスコアＳ３が閾値Ｖｔｈより小さい場合、矩形領域に設備３が存在しないと判定する。
　ステップＳ１０７において、劣化検出装置２００は、設備３の存在領域の抽出データに基づいて、深層学習の１つの手法であるセマンティックセグメンテーションによる領域検出手法を用いて、設備３の劣化領域を検出する。モデルには、例えば、Ｕ－ｎｅｔを用いる。劣化検出装置２００は、設備３の劣化領域の検出データを、サーバ装置３００へ送信する。
　ステップＳ１０８において、サーバ装置３００は、劣化検出装置２００から、設備３の劣化領域の検出データを受信する。サーバ装置３００は、設備３の劣化領域の検出データを記憶する。
　本実施形態に係る劣化検出方法は、従来のように、撮影画像に基づいて、設備の劣化領域を検出するという１段階の処理ではなく、撮影画像に基づいて、設備の存在領域を抽出し、設備の存在領域に基づいて、設備の劣化領域を検出するという２段階の処理を行う。これにより、撮影画像に設備以外の要素が写り込んでいても、このような撮影画像から設備の画像を正確に特定することができるため、点検対象となる設備の劣化を高精度に検出することができる。
＜判定精度の評価＞
　本実施形態に係る劣化検出装置２００（設備領域抽出部を備えている）を用いた場合におけるスコアの判定精度と、従来に係る劣化検出装置（設備領域抽出部を備えていない）を用いた場合におけるスコアの判定精度と、を比較し評価した。
　スコアの判定精度は、混同行列（confusion matrix）を基に算出した。スコアの判定精度の評価の指標としては、真陽性率(TPR：True Positive Rate)を用いた。なお、スコアの判定精度の評価の指標としては、真陽性率の他、例えば、正解率（Accuracy）、適合率（Precision）、偽陽性率(FPR：False Positive Rate)などを用いても構わない。
　実施例として、１／２ずらしを行った。矩形領域Ｒ（１／２）のサイズは、縦：ｈ＝８０（ｐｉｘｅｌ）、横：ｗ＝８０（ｐｉｘｅｌ）とした。重複領域Ｘ（１／２）のサイズは、縦：ｈ＝４０（ｐｉｘｅｌ）、横：ｗ＝４０（ｐｉｘｅｌ）とした。矩形領域ＲにおけるスコアＳ１、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２の平均値を、重複領域Ｘ（１／２）におけるスコアＳ３として算出した。
　比較例として、矩形領域Ｒをずらさなかった。矩形領域Ｒのサイズは、縦：ｈ＝４０（ｐｉｘｅｌ）、横：ｗ＝４０（ｐｉｘｅｌ）とした。矩形領域Ｒに含まれる所定領域におけるスコアＳを算出した。所定領域のサイズは、縦：ｈ＝４０（ｐｉｘｅｌ）、横：ｗ＝４０（ｐｉｘｅｌ）とした。
　図７に示すグラフ２０１から、比較例において、真陽性率は、６７％であることがわかる。図７に示すグラフ２０２から、実施例において、真陽性率は、７８％であることがわかる。すなわち、実施例におけるスコアの判定精度は、比較例におけるスコアの判定精度より、１０％程度高いことがわかる。
　したがって、本実施形態に係る劣化検出装置２００は、従来に係る劣化検出装置より、スコアの判定精度が高いことが示唆される。すなわち、本実施形態に係る劣化検出装置２００は、撮影画像から設備の画像を正確に特定することができることが示唆される。
　なお、上述の実施例において、１／２ずらし、１／３ずらし、…、１／ｎずらし、を行って、スコアの判定精度、演算量、および、演算時間を比較したところ、ｎが大きい程、演算量および演算時間が増大した。これらのバランスを考慮すると、１／２ずらし、１／３ずらし、…、１／ｎずらしの中で、１／２ずらしが最も好適であることがわかった。したがって、劣化検出装置２００が適切な位置に適切な個数のずらし矩形領域を生成することで、高い効果を得られることが示唆される。
　＜検出精度の評価＞
　本実施形態に係る劣化検出装置２００（設備領域抽出部を備えている）を用いた場合における設備３の劣化領域の検出精度と、従来に係る劣化検出装置（設備領域抽出部を備えていない）を用いた場合における設備３の劣化領域の検出精度と、を比較し評価した。
　実施例として、撮影画像Ｉに基づいて、設備３の存在領域を抽出し、設備３の存在領域３００に基づいて、設備３の劣化領域を検出した。
　比較例として、撮影画像Ｉに基づいて、設備３の劣化領域を検出した。
　図８Ａは、実施例に係る検出精度の一例を示す図である。領域３０１は、検出領域を示している。領域３０２は、誤検出領域を示している。領域３０３は、未検出領域を示している。
　図８Ｂは、比較例に係る検出精度の一例を示す図である。領域３０１は、検出領域を示している。領域３０２は、誤検出領域を示している。領域３０３は、未検出領域を示している。
　図８Ａに示す領域３０１と図８Ｂに示す領域３０１とを比較すると、図８Ａに示す領域３０１は、図８Ｂに示す領域３０１より広いことがわかる。また、図８Ａに示す領域３０２と図８Ｂに示す領域３０２とを比較すると、図８Ａに示す領域３０２は、図８Ｂに示す領域３０２より狭いことがわかる。すなわち、実施例は、比較例より、設備３の劣化領域を正確に検出していることがわかる。
　図８Ａに示す領域３０３と図８Ｂに示す領域３０３とを比較すると、図８Ａに示す領域３０３は、図８Ｂに示す領域３０３より狭いことがわかる。すなわち、実施例は、比較例より、設備３の劣化領域の誤検出が少ないことがわかる。
　したがって、本実施形態に係る劣化検出装置２００は、従来に係る劣化検出装置より、設備３の劣化領域の検出精度が高いことが示唆される。すなわち、本実施形態に係る劣化検出装置２００は、撮影画像に基づいて設備３の劣化を高精度に検出することが可能であることが示唆される。
＜変形例＞
　本発明は上記の実施形態および変形例に限定されるものではない。例えば、上述の各種の処理は、記載にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
　上記の実施形態及び変形例として機能させるためにプログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、各装置の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができ、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ、電子ノートパッドなどであってよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ(Central Processing Unit)、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)などのであってよい。
　例えば、上述した劣化検出方法をコンピュータに実行させるためのプログラムは、図６を参照すると、構造物に添架された設備の劣化を検出する劣化検出方法であって、設備を撮影するステップ（Ｓ１０１）と、撮影画像に基づいて、設備の存在領域を抽出し（Ｓ１０２～Ｓ１０６）、設備の存在領域に基づいて、設備の劣化領域を検出するステップ（Ｓ１０７）と、劣化領域を記憶するステップ（Ｓ１０８）と、を含む。
　また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、ＣＤ（Compact Disk）－ＲＯＭ（Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＢＤ（Blu-ray（登録商標） Disc）－ＲＯＭなどであってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。
　上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。また、実施形態のフローチャートに記載の複数の工程を１つに組み合わせたり、あるいは１つの工程を分割したりすることが可能である。
　１　　　　　　　　　劣化検出システム
　２　　　　　　　　　構造物
　３　　　　　　　　　設備
　１００　　　　　　　撮影装置
　２００　　　　　　　劣化検出装置
　２１０　　　　　　　入力部
　２２０　　　　　　　制御部
　２３０　　　　　　　記憶部
　２４０　　　　　　　出力部
　２５０　　　　　　　通信部
　２２１　　　　　　　設備領域抽出部
　２２２　　　　　　　劣化領域検出部
　３００　　　　　　　サーバ装置
　２２１１　　　　　　矩形領域分割部
　２２１２　　　　　　矩形領域ずらし部
　２２１３　　　　　　スコア算出部
　２２１４　　　　　　判定部
 

Claims (8)

  1. 　構造物に添架された設備の劣化を検出する劣化検出装置であって、
    　前記設備の撮影画像に基づいて、前記設備の存在領域を抽出する設備領域抽出部と、
    　前記存在領域に基づいて、前記設備の劣化領域を検出する劣化領域検出部と、
    　を備える、劣化検出装置。
  2. 　前記設備領域抽出部は、
    　前記撮影画像を、複数の矩形領域に分割する矩形領域分割部と、
    　前記矩形領域をずらして、前記矩形領域に対応するずらし矩形領域を生成する矩形領域ずらし部と、
    　前記矩形領域に前記設備が存在するか否かを示す第１スコア、および、前記ずらし矩形領域に前記設備が存在するか否かを示す第２スコアに基づいて、前記矩形領域と前記ずらし矩形領域との重複領域に前記設備が存在するか否かを示す第３スコアを算出するスコア算出部と、
    　前記第３スコアに基づいて、前記矩形領域に前記設備が存在するか否かを判定する判定部と、
    　を備える、請求項１に記載の劣化検出装置。
  3. 　前記矩形領域ずらし部は、前記矩形領域のそれぞれに対して複数の前記ずらし矩形領域を生成する、請求項２に記載の劣化検出装置。
  4. 　構造物に添架された設備の劣化を検出する劣化検出システムであって、
    　請求項１から３のいずれか一項に記載の劣化検出装置と、
    　前記設備を撮影する撮影装置と、
    　前記劣化領域を記憶するサーバ装置と、
    　を備える、劣化検出システム。
  5. 　構造物に添架された設備の劣化を検出する劣化検出方法であって、
    　前記設備を撮影するステップと、
    　撮影画像に基づいて、前記設備の存在領域を抽出し、該存在領域に基づいて、前記設備の劣化領域を検出するステップと、
    　前記劣化領域を記憶するステップと、
    　を含む、劣化検出方法。
  6. 　前記設備の劣化領域を検出するステップは、
    　前記撮影画像を、複数の矩形領域に分割するステップと、
    　前記矩形領域をずらして、前記矩形領域に対応するずらし矩形領域を生成するステップと、
    　前記矩形領域に前記設備が存在するか否かを示す第１スコア、および、前記ずらし矩形領域に前記設備が存在するか否かを示す第２スコアに基づいて、前記矩形領域と前記ずらし矩形領域との重複領域に前記設備が存在するか否かを示す第３スコアを算出するステップと、
    　前記第３スコアに基づいて、前記矩形領域に前記設備が存在するか否かを判定するステップと、
    　を含む、請求項５に記載の劣化検出方法。
  7. 　前記ずらし矩形領域を生成するステップは、
    　前記矩形領域に対応する複数の前記ずらし矩形領域を生成する、
    　請求項６に記載の劣化検出方法。
  8. 　コンピュータを、請求項１から３のいずれか一項に記載の劣化検出装置として機能させるためのプログラム。
     
PCT/JP2020/012104 2020-03-18 2020-03-18 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム WO2021186640A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/012104 WO2021186640A1 (ja) 2020-03-18 2020-03-18 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム
US17/911,998 US20230177666A1 (en) 2020-03-18 2020-03-18 Degradation detection device, degradation detection system, degradation detection method, and program
JP2022507931A JP7348575B2 (ja) 2020-03-18 2020-03-18 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012104 WO2021186640A1 (ja) 2020-03-18 2020-03-18 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2021186640A1 true WO2021186640A1 (ja) 2021-09-23

Family

ID=77771732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012104 WO2021186640A1 (ja) 2020-03-18 2020-03-18 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230177666A1 (ja)
JP (1) JP7348575B2 (ja)
WO (1) WO2021186640A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023152810A1 (ja) * 2022-02-08 2023-08-17 日本電信電話株式会社 画像処理装置、画像処理方法およびプログラム
KR102588141B1 (ko) * 2022-10-13 2023-10-12 주식회사 승화기술 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057956A (ja) * 2003-08-07 2005-03-03 Central Res Inst Of Electric Power Ind 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法
JP2011252746A (ja) * 2010-06-01 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> ケーブル位置検出装置、ケーブル位置検出方法及びケーブル位置検出プログラム
JP2016133878A (ja) * 2015-01-16 2016-07-25 株式会社レイトロン 画像認識に使用するウィンドウの配置や組合せを、構成情報に従って変化させることができる画像認識装置
US20160371850A1 (en) * 2015-06-18 2016-12-22 The Boeing Company Method and Apparatus for Detecting Targets
JP2018074757A (ja) * 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057956A (ja) * 2003-08-07 2005-03-03 Central Res Inst Of Electric Power Ind 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法
JP2011252746A (ja) * 2010-06-01 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> ケーブル位置検出装置、ケーブル位置検出方法及びケーブル位置検出プログラム
JP2016133878A (ja) * 2015-01-16 2016-07-25 株式会社レイトロン 画像認識に使用するウィンドウの配置や組合せを、構成情報に従って変化させることができる画像認識装置
US20160371850A1 (en) * 2015-06-18 2016-12-22 The Boeing Company Method and Apparatus for Detecting Targets
JP2018074757A (ja) * 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023152810A1 (ja) * 2022-02-08 2023-08-17 日本電信電話株式会社 画像処理装置、画像処理方法およびプログラム
KR102588141B1 (ko) * 2022-10-13 2023-10-12 주식회사 승화기술 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법

Also Published As

Publication number Publication date
JP7348575B2 (ja) 2023-09-21
US20230177666A1 (en) 2023-06-08
JPWO2021186640A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
US20210213961A1 (en) Driving scene understanding
Dong et al. A non-target structural displacement measurement method using advanced feature matching strategy
CN113379718B (zh) 一种目标检测方法、装置、电子设备以及可读存储介质
US20130034305A1 (en) Image-based crack quantification
US20140153816A1 (en) Depth Map Stereo Correspondence Techniques
US11282226B2 (en) Water level measurement device and shoreline extraction method
KR20200087297A (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
KR102550707B1 (ko) 딥러닝 기반 경사지 균열 감지 방법과 이를 이용한 산사태 조기 감지 방법 및 그 장치
JP7059883B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
WO2021186640A1 (ja) 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
RU2018132850A (ru) Способы и системы для определения компьютером наличия объектов
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
KR102217020B1 (ko) 단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
Wang et al. NAS-YOLOX: a SAR ship detection using neural architecture search and multi-scale attention
KR20200036079A (ko) 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
CN116559177A (zh) 一种缺陷检测方法、装置、设备以及存储介质
CN109684953B (zh) 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
JP2018169341A (ja) 油膜検出システム及び油膜検出方法
CN113780287A (zh) 一种多深度学习模型的最优选取方法及系统
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
US10417783B2 (en) Image processing apparatus, image processing method, and storage medium
US20210304417A1 (en) Observation device and observation method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926316

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507931

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926316

Country of ref document: EP

Kind code of ref document: A1