WO2023152810A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2023152810A1
WO2023152810A1 PCT/JP2022/004978 JP2022004978W WO2023152810A1 WO 2023152810 A1 WO2023152810 A1 WO 2023152810A1 JP 2022004978 W JP2022004978 W JP 2022004978W WO 2023152810 A1 WO2023152810 A1 WO 2023152810A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
divided images
processed
area
Prior art date
Application number
PCT/JP2022/004978
Other languages
English (en)
French (fr)
Inventor
航 伊藤
淳 荒武
洋介 櫻田
大輔 内堀
一旭 渡邉
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/004978 priority Critical patent/WO2023152810A1/ja
Publication of WO2023152810A1 publication Critical patent/WO2023152810A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program.
  • Non-Patent Documents 1 and 2 describe techniques for compressing an image and performing analysis using the compressed image. By using the compressed image, the performance required for the computer that analyzes the image can be reduced, and the speed of image analysis can be increased.
  • Non-Patent Documents 1 and 2 are applied to the inspection of the infrastructure equipment described above, there is a problem that the accuracy of detecting the object (infrastructure equipment) and the deterioration of the object may decrease. .
  • the object of the present disclosure which has been made in view of the above problems, is to improve the accuracy of detection of a predetermined object and deterioration of the object included in an image to be processed, and to improve the processing performance necessary for detection.
  • An object of the present invention is to provide an image processing device, an image processing method, and a program capable of suppressing sophistication.
  • an image processing apparatus includes an image dividing unit that divides an image to be processed including a predetermined target object into a plurality of divided images of a predetermined size; , an area detection unit that detects an object area that is a pixel area of the object in the divided image, and a deteriorated area that is a pixel area of the deteriorated portion of the object, and is detected for each of the plurality of divided images.
  • a target object detection result image obtained by combining the images of the target object region obtained while maintaining the positional relationship of the plurality of divided images; an information combining unit that generates a deterioration detection result image that is combined while maintaining the positional relationship of the divided images; and a diagnosis unit that diagnoses deterioration of the object based on the object detection result image and the deterioration detection result image.
  • an image processing apparatus includes an image dividing unit that divides a processing target image including a predetermined target object into a plurality of divided images of a predetermined size; to a predetermined size; an object area detection unit for detecting an object area that is a pixel area of the object in the compressed image; and for each of the plurality of divided images, the divided a degraded area detection unit that detects a degraded area that is a pixel area of a degraded portion of the object in an image; an information combining unit that generates a degradation detection result image that is combined while maintaining the target object based on the target object detection result image that is the image of the target object region in the compressed image and the degradation detection result image; and a diagnostic unit for diagnosing deterioration.
  • an image processing method is an image processing method by an image processing device, in which an image to be processed including a predetermined target object is divided into a plurality of divided images of a predetermined size. detecting, for each of the plurality of divided images, a target object region that is a pixel region of the target object and a deteriorated region that is a pixel region of a deteriorated portion of the target object in the divided image; and an object detection result image obtained by combining the images of the object regions detected from each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images, and an image of the object region detected from each of the plurality of divided images. generating a deterioration detection result image by combining the images of the deteriorated region while maintaining the positional relationship of the plurality of divided images; and diagnosing the deterioration.
  • a program according to the present disclosure causes a computer to operate as the image processing device described above.
  • the image processing device the image processing method, and the program according to the present disclosure, it is possible to improve the accuracy of detection of a predetermined object and deterioration of the object included in the image to be processed, and improve the processing performance necessary for detection. Sophistication can be suppressed.
  • FIG. 1 is a diagram illustrating a configuration example of an image processing device according to a first embodiment of the present disclosure
  • FIG. 2 is a diagram showing a configuration example of an image dividing unit shown in FIG. 1
  • FIG. 2 is a diagram showing a configuration example of an area detection unit shown in FIG. 1
  • FIG. 3 is a flow chart showing an example of the operation of a division number determining unit shown in FIG. 2
  • 3 is a diagram for explaining determination of the division number by a division number determination unit shown in FIG. 2
  • FIG. 3 is a flow chart showing an example of the operation of a division execution unit shown in FIG. 2
  • 3 is a diagram showing an example of division of an image to be processed by the division number determining unit shown in FIG. 2;
  • FIG. 2 is a diagram showing a configuration example of an image dividing unit shown in FIG. 1
  • FIG. 2 is a diagram showing a configuration example of an image dividing unit shown in FIG. 1
  • FIG. 2 is a diagram showing a configuration example
  • FIG. 3 is a diagram showing another example of division of the image to be processed by the division number determination unit shown in FIG. 2;
  • FIG. FIG. 8 is a diagram showing still another example of division of the image to be processed by the division number determination unit shown in FIG. 2 ;
  • 2 is a flow chart showing an example of the operation of the image processing apparatus shown in FIG. 1; It is a figure which shows the structural example of the image processing apparatus which concerns on 2nd Embodiment of this indication.
  • FIG. 12 is a diagram showing a configuration example of an object area detection unit shown in FIG. 11;
  • FIG. 12 is a diagram showing a configuration example of a deteriorated region detection unit shown in FIG. 11;
  • 12 is a flow chart showing an example of the operation of the image processing apparatus shown in FIG. 11;
  • FIG. 11
  • FIG. 11 is a diagram illustrating a configuration example of an image processing apparatus according to a third embodiment of the present disclosure
  • FIG. FIG. 12 is a diagram illustrating another configuration example of the image processing device according to the third embodiment of the present disclosure. It is a figure showing an example of hardware constitutions of an image processing device concerning this indication.
  • FIG. 1 is a diagram showing a configuration example of an image processing device 10 according to the first embodiment of the present disclosure.
  • the image processing apparatus 10 detects a predetermined object included in an image to be processed and deterioration of the object.
  • the image to be processed is, for example, an image of an infrastructure facility (for example, a utility pole, etc.).
  • the image processing apparatus 10 detects infrastructure equipment and deterioration of the infrastructure equipment from the image to be processed.
  • the image processing apparatus 10 includes an image input unit 11, an image dividing unit 12, an area detecting unit 13, an information combining unit 14, and a diagnostic unit 15.
  • the image input unit 11 receives an image to be processed.
  • the image input to the image input unit 11 is, for example, an image obtained by photographing a predetermined infrastructure facility, as described above.
  • the image input section 11 outputs the input image to the image dividing section 12 .
  • the image dividing unit 12 divides the image to be processed output from the image input unit 11 into a plurality of divided images of a predetermined size.
  • FIG. 2 is a diagram showing a configuration example of the image dividing unit 12. As shown in FIG. As shown in FIG. 2 , the image dividing unit 12 includes a dividing number determining unit 121 and a dividing executing unit 122 .
  • the division number determination unit 121 determines the number of divisions in the width direction of the image to be processed and the number of divisions in the height direction of the image to be processed. The details of the determination of the division number by the division number determination unit 121 will be described later.
  • the division execution unit 122 divides the image to be processed by the number of divisions determined by the division number determination unit 121 and outputs divided images, which are images after division, to the area detection unit 123 .
  • the divided image may protrude from the image to be processed in the vicinity of the edges of the image to be processed, depending on the size of the divided image and the number of divisions.
  • the division executing unit 122 standardizes the sizes of the divided images by adding a predetermined image (unifies the sizes of the divided images). The details of the division of the image to be processed by the division execution unit 122 will be described later.
  • the image dividing unit 12 outputs a plurality of divided images obtained by dividing the image to be processed to the area detecting unit 13 .
  • the area detection unit 13 For each of the plurality of divided images output from the image dividing unit 12, the area detection unit 13 detects an object area, which is a pixel area of the object in the divided image, and a deteriorated area, which is a pixel area of a deteriorated part of the object. to detect FIG. 3 is a diagram showing a configuration example of the area detection unit 13. As shown in FIG. In FIG. 3, the area detection unit 13 has a function of creating a model for detecting the object area and the degraded area from the divided image, and a function of detecting the object area and the degraded area from the divided image using the created model. will be described using an example comprising
  • the area detection unit 13 includes a model construction unit 131, an object detection unit 132, and a deterioration detection unit 133.
  • the region detection unit 13 has a function of creating models for detecting target object regions and degraded regions from divided images, and a function of detecting target object regions and degraded regions from divided images using the created models. and The divided images used for model creation are input to the model construction unit 131 . Also, the object and the divided images for which deterioration of the object is to be detected are input to the object detection unit 132 and the deterioration detection unit 133 .
  • the model construction unit 131 uses the input divided image to create a model (detector) for detecting the object area in the image and a model for detecting the degraded area by deep learning techniques.
  • the model construction unit 131 includes an object detection learning unit 1311 and a deterioration detection learning unit 1312, as shown in FIG.
  • the object detection learning unit 1311 uses a divided image and a mask image indicating the object region in the divided image, and uses a deep learning method to perform object detection, which is a detector that detects the object region in the image. create a vessel.
  • the object detection learning unit 1311 stores the created object detector in the object detection unit 132 .
  • the deterioration detection learning unit 1312 uses a divided image and a mask image indicating a deteriorated area in the divided image to create a deterioration detector that detects a deteriorated area in the image by a deep learning method. .
  • the deterioration detection learning unit 1312 stores the generated deterioration detector in the deterioration detection unit 133 .
  • the object detection unit 132 uses the object detector created by the object detection learning unit 1311 to detect the object area in the input divided image (divided image that is the target of detection of the object area). .
  • the object detection unit 132 outputs the detection result of the object area to the information combining unit 14 .
  • the degradation detection unit 133 uses the degradation detector created by the degradation detection learning unit 1312 to detect a degraded region in the input divided image (divided image to be degraded region detection target).
  • the deterioration detector 133 outputs the detection result of the deteriorated region to the information combiner 14 .
  • FIG. 3 illustrates an example in which the area detection unit 13 has a function of creating an object detector and a deterioration detector
  • the present invention is not limited to this.
  • the object detector and the deterioration detector may be created outside the image processing device 10 and stored in the object detection unit 132 and the deterioration detection unit 133 .
  • the region detection unit 13 does not have to include the model construction unit 131 .
  • the information combining unit 14 generates an object detection result image by combining the images of the object areas detected for each of the plurality of divided images by the area detecting unit 13 (object detecting unit 132). do.
  • the object region is detected for each of a plurality of divided images obtained by dividing the image to be processed. Therefore, the information combining unit 14 generates an object detection result image by combining the images of the object areas detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images.
  • the information combining unit 14 also generates a degradation detection result image by combining the images of the degraded regions detected for each of the plurality of divided images by the region detection unit 13 (degradation detection unit 133). As described above, the degraded area is detected for each of a plurality of divided images obtained by dividing the image to be processed. Therefore, the information combining unit 14 generates a degradation detection result image by combining the images of the deteriorated regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images.
  • the information combining unit 14 outputs the generated object detection result image and deterioration detection result image to the diagnosis unit 15 .
  • the diagnosis unit 15 diagnoses deterioration of the object based on the object detection result image and the deterioration detection result image output from the information combining unit 14 .
  • the diagnosis unit 15 superimposes the object detection result image and the deterioration detection result image, and calculates the deterioration rate of the object from the ratio of the deteriorated area to the object area.
  • the image processing apparatus 10 divides an image to be processed into a plurality of divided images, and detects a target object region and a deteriorated region for each of the plurality of divided images. Therefore, there is no need to compress the image (the number of pixels in the area to be detected does not decrease), so it is possible to improve the accuracy of detection of the object and deterioration of the object included in the image to be processed. can. In addition, by detecting the target object area and the degraded area in the divided images obtained by dividing the image to be processed, it is possible to suppress an increase in the processing performance required for detection.
  • FIG. 4 is a flowchart showing an example of the operation of the division number determining unit 121.
  • the division number determination unit 121 acquires the image to be processed input via the image input unit 11 (step S11).
  • the division number determining unit 121 sets the size of the acquired image to be processed in the width direction (X direction) to X, and sets the size of the image to be processed in the height direction (Y direction) as X.
  • Set Y sets the size of the divided image in the width direction (X direction) to x, and sets the size of the image to be processed in the height direction (Y direction) to y (step S12).
  • the division number determination unit 121 determines whether or not the product of the widthwise size x of the divided image and the variable n is equal to or greater than the widthwise size X of the image to be processed (nx ⁇ X) (step S14).
  • step S14 When it is determined that n ⁇ x ⁇ X is not true (n ⁇ x ⁇ X) (step S14: No), the division number determination unit 121 adds 1 to the variable n (step S15), and proceeds to the process of step S14. return. That is, the division number determination unit 121 repeats the processes of steps S14 and S15 until the product of the widthwise size x of the divided image and the variable n becomes equal to or greater than the widthwise size X of the image to be processed.
  • the division number determination unit 121 calculates the product of the height direction size y of the divided image and the variable m as the height direction size of the image to be processed. It is determined whether or not it is greater than or equal to Y (m ⁇ y ⁇ Y) (step S16).
  • step S16 When it is determined that m ⁇ y ⁇ Y is not true (m ⁇ y ⁇ Y) (step S16: No), the division number determination unit 121 adds 1 to the variable m (step S17), and the process of step S16 is performed. return. That is, the division number determination unit 121 repeats the processes of steps S16 and S17 until the product of the size y in the height direction of the divided image and the variable m becomes equal to or greater than the size Y in the width direction of the image to be processed.
  • the division number determination unit 121 determines that the product of the size y of the divided image in the height direction and the division number M in the height direction of the image to be processed is equal to or larger than the size Y in the height direction of the image to be processed. Next, the division number M in the height direction of the image to be processed is determined.
  • FIG. 6 is a flowchart showing an example of the operation of the division execution unit 122.
  • x is the size of the divided image in the width direction
  • y is the size of the divided image in the height direction.
  • the division executing unit 122 cuts out, as divided images, regions from x i to x i+1 in the width direction and from y j to y j+1 in the height direction in the image to be processed (step S23).
  • step S26: Yes the division executing unit 122 has divided the image to be processed into N ⁇ M divided images, and thus ends the process. According to the process described with reference to FIG. 6, the image to be processed can be covered with the minimum number of divided images, so the calculation process in the area detection unit 13 can be speeded up. becomes.
  • the divided image may exceed the image to be processed at the right end and the lower end of the processing target.
  • the division execution unit 122 adds, for example, an image made up of uniform pixels (for example, a black image made up of black pixels) to a region of the divided image that exceeds the image to be processed. By doing so, the division executing unit 122 can generate divided images with uniform sizes.
  • black images are concentrated in divided images near the right end and the bottom end of the processing target. If the proportion of the black image in the divided image is large, even if the divided image is used to learn the model, the learning effect will be low.
  • the division executing unit 122 forms an area formed by arranging divided images by the number of divisions determined respectively in the height direction and the width direction (hereinafter referred to as a "sum area of divided images"). ) coincides with the center of the image to be processed, the image to be processed may be divided into a plurality of divided images.
  • black images are concentrated in divided images near the right and bottom edges of the image to be processed.
  • the divided images at the top, bottom, left, and right ends of the image to be processed are divided as shown in FIG. Since the black image protrudes from the image to be processed, the black image can be dispersed among these divided images.
  • the division executing unit 122 may divide the image to be processed so that the divided image does not protrude from the image to be processed. Specifically, for example, as shown in FIG. 9, it is assumed that the sum area of the divided image is larger than the image to be processed, and the divided image protrudes from the right and lower ends of the image to be processed. In this case, the division executing unit 122 moves the divided image protruding from the right end of the processed image to the left and overlaps the divided image adjacent to the left so that the divided image does not protrude from the image to be processed.
  • the division executing unit 122 moves the divided image protruding from the lower end of the processing image upward so that the divided image overlaps with the divided image adjacent in the upward direction so that the divided image does not protrude from the image to be processed. to In addition, the division executing unit 122 moves the divided images protruding from the right end and the lower end of the processed image in the left direction and the upward direction so that the divided images are overlapped with the divided images adjacent in the left direction and the upward direction, so that the divided images are processed. Make sure that it does not protrude from the target image.
  • the division execution unit 122 overlaps the adjacent divided images to reduce the size of the sum region of the divided images. It may match the size of the image to be processed. By doing so, the black image is not added to the divided images protruding from the image to be processed, so that the learning effect using the divided images can be prevented from being lowered.
  • FIG. 10 is a flowchart showing an example of the operation of the image processing device 10 according to this embodiment, and is a diagram for explaining an image processing method by the image processing device 10 according to this embodiment.
  • the image dividing unit 12 divides an image to be processed including a predetermined target object input via the image input unit 11 into a plurality of divided images of a predetermined size (step S31).
  • the area detection unit 13 For each of the plurality of divided images, the area detection unit 13 detects the target object area, which is the pixel area of the object in the divided image, and the deteriorated area, which is the pixel area of the deteriorated portion of the object (step S32).
  • the information combining unit 14 generates an object detection result image by combining the images of the object regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images. Further, the information combining unit 14 generates a deterioration detection result image by combining the images of the deteriorated regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images (step S33).
  • the diagnosis unit 15 diagnoses deterioration of the object based on the generated object detection result image and deterioration detection result image. For example, the diagnosis unit 15 superimposes the object detection result image and the deterioration detection result image, and calculates the deterioration rate of the object from the ratio of the deteriorated area to the object area.
  • the image processing apparatus 10 includes the image dividing section 12, the area detecting section 13, the information combining section 14, and the diagnostic section 15.
  • the image dividing unit 12 divides an image to be processed including a predetermined target object into a plurality of divided images of a predetermined size.
  • the region detection unit 13 detects, for each of the plurality of divided images, a target object region, which is a pixel region of the target object in the divided image, and a deteriorated region, which is a pixel region of a deteriorated portion of the target object.
  • the information combining unit 14 detects the images of the target regions detected for each of the plurality of divided images, and detects each of the plurality of divided images as well as the target object detection result image that is combined while maintaining the positional relationship of the plurality of divided images.
  • a degradation detection result image is generated by combining the images of the degraded regions thus obtained while maintaining the positional relationship of the plurality of divided images.
  • the diagnosis unit 15 diagnoses deterioration of the object based on the object detection result image and the deterioration detection result image.
  • the image dividing unit 12 divides an image to be processed including a predetermined target object into a plurality of divided images of a predetermined size (step S31). Then, for each of the plurality of divided images, the region detection unit 13 detects a target object region, which is a pixel region of the target object in the divided images, and a deteriorated region, which is a pixel region of the deteriorated portion of the target object (step S32), and the information combining unit 14 combines the images of the target object regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images to create a target object detection result image and a plurality of divided images.
  • step S33 a step of generating a deterioration detection result image by combining the images of the deteriorated regions detected for each image while maintaining the positional relationship of the plurality of divided images
  • step S34 a step of diagnosing deterioration of the object based on the deterioration detection result image
  • detection can be performed without reducing the number of pixels in the area to be detected. It is possible to improve the accuracy of deterioration detection. In addition, by detecting the target object area and the degraded area in the divided images obtained by dividing the image to be processed, it is possible to suppress an increase in the processing performance required for detection.
  • FIG. 11 is a diagram showing a configuration example of an image processing apparatus 10A according to the second embodiment of the invention.
  • the image processing apparatus 10 according to the first embodiment divided images are used to detect the object and the deterioration of the object.
  • the number of images used for learning/detection increases compared to the case where images resized (reduced in size) by compression are used for learning/detection, and the calculation time increases.
  • infrastructure facilities generally have a uniform shape, so detection of infrastructure facilities in an image largely depends on their shape features. Therefore, when the image to be processed is divided into a plurality of divided images, the shape feature of the infrastructure equipment, which is the detection target, may be lost, and the detection rate may decrease.
  • an image obtained by compressing the image to be processed is used to detect the object.
  • the configuration of the image processing apparatus 10 will be described in detail below.
  • FIG. 11 the same components as in FIG. 1 are denoted by the same reference numerals, and descriptions thereof are omitted.
  • the image processing apparatus 10A includes an image input unit 11A, an image dividing unit 12, an image compressing unit 16, an object area detecting unit 17, and a deteriorated area detecting unit 18. , an information coupling unit 14A, and a diagnostic unit 15.
  • FIG. 11 the image input unit 11A, an image dividing unit 12, an image compressing unit 16, an object area detecting unit 17, and a deteriorated area detecting unit 18.
  • an information coupling unit 14A includes an information coupling unit 14A, and a diagnostic unit 15.
  • An image to be processed is input to the image input unit 11A.
  • the image input to the image input unit 11A is, for example, an image of predetermined infrastructure equipment, as described above.
  • the image input section 11A outputs the input image to the image division section 12 and the image compression section 16 .
  • the image compression unit 16 compresses the image to be processed output from the image input unit 11A to a predetermined size (standardized size).
  • a predetermined image for example, a black image
  • Compression may be performed. By doing so, it is possible to prevent deterioration in detection accuracy of a model created by deep learning due to a change in aspect ratio due to compression.
  • the image compression unit 16 outputs the compressed image to the object area detection unit 17 .
  • the object area detection unit 17 detects an object area, which is a pixel area of the object, in the image (compressed image) compressed by the image compression unit 16 .
  • FIG. 12 is a diagram showing a configuration example of the object region detection unit 17. As shown in FIG. FIG. 12 shows an example in which the object area detection unit 17 has a function of creating a model for detecting an object area from a compressed image and a function of detecting an object area from the compressed image using the created model. will be used to explain.
  • the object area detection unit 17 includes an object detection learning unit 171 and an object detection unit 172 .
  • the object area detection unit 17 has a function of creating a model for detecting an object area from a compressed image and a function of detecting an object area from the compressed image using the created model.
  • a compressed image used to create a model is input to the object detection learning unit 171 .
  • the compressed image for which the target object is to be detected is input to the target object detection unit 172 .
  • the object detection learning unit 171 uses a compressed image and a mask image representing the object area in the compressed image, and uses a deep learning technique to perform object detection, which is a detector that detects the object area in the image. create a vessel.
  • the object detection learning unit 171 stores the created object detector in the object detection unit 172 .
  • FIG. 12 illustrates an example in which the object area detection unit 17 has a function of creating an object detector
  • the object detector may be created outside the image processing apparatus 10A and stored in the object detection unit 172.
  • the object detection unit 172 uses the object detector created by the object detection learning unit 171 to detect the object area in the input compressed image (compressed image to be detected for the object area). .
  • the object detection unit 172 outputs the object detection result image, which is the image of the object region in the compressed image, to the diagnosis unit 15 as the detection result of the object region.
  • the degraded area detection unit 18 receives a plurality of divided images obtained by dividing the image to be processed by the image dividing unit 12 .
  • the deteriorated area detection unit 18 detects a deteriorated area, which is a pixel area of the deteriorated portion of the object in each of the divided images, for each of the divided images.
  • FIG. 13 is a diagram showing a configuration example of the deteriorated area detection unit 18. As shown in FIG. FIG. 13 shows an example in which the degraded area detection unit 18 has a function of creating a model for detecting a degraded area from a divided image and a function of detecting a degraded area from the divided image using the created model. explain.
  • the deteriorated area detection unit 18 includes a deterioration detection learning unit 181 and a deterioration detection unit 182.
  • the degraded area detection unit 18 has a function of creating models for detecting degraded areas from divided images, and a function of detecting degraded areas from divided images using the created models.
  • the divided images used for model creation are input to the deterioration detection learning unit 181 .
  • a compressed image whose degraded area is to be detected is input to the degradation detector 182 .
  • the deterioration detection learning unit 181 uses a divided image and a mask image indicating a deteriorated area in the divided image to create a deterioration detector, which is a detector for detecting a deteriorated area in the image, by a deep learning method. .
  • the deterioration detection learning unit 181 stores the created deterioration detector in the deterioration detection unit 182 .
  • the degradation detection unit 182 uses the degradation detector created by the degradation detection learning unit 181 to detect a degraded area in the input divided image (divided image to be degraded area detection target).
  • the deterioration detector 182 outputs the detection result of the deteriorated region to the information combiner 14A.
  • FIG. 13 illustrates an example in which the deteriorated area detection unit 18 has a function of creating a deterioration detector
  • the deterioration detector may be created outside the image processing apparatus 10A and stored in the deterioration detector 182.
  • FIG. In this case, the deteriorated area detection unit 18 does not have to include the deterioration detection learning unit 181 .
  • the information combining unit 14A generates a deterioration detection result image by combining the images of the deteriorated regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images.
  • the information combining unit 14A outputs the generated deterioration detection result image to the diagnosis unit 15.
  • the diagnosis unit 15 detects deterioration of the object based on the object detection result image output from the object area detection unit 17 and the deterioration detection result image output from the information combining unit 14A.
  • the image processing apparatus 10A compresses the image to be processed and detects the target object area from the compressed image. Therefore, the object area can be detected while maintaining the shape characteristics of the object in the image, so that the detection accuracy of the object area can be improved. Further, divided images obtained by dividing the image to be processed are used for detection of the deteriorated region, as in the image processing apparatus 10 according to the first embodiment. Therefore, the degraded area can be detected without reducing the number of pixels in the degraded area, so that the detection accuracy of the degraded area can be improved. Further, by detecting the target object region and the degraded region using the compressed image obtained by compressing the processing target and the divided images obtained by dividing the processing target image, it is possible to suppress the increase in processing performance required for detection. .
  • FIG. 14 is a flowchart showing an example of the operation of the image processing device 10A according to this embodiment, and is a diagram for explaining an image processing method by the image processing device 10A according to this embodiment.
  • the image dividing unit 12 divides an image to be processed including a predetermined target object into a plurality of divided images of a predetermined size (step S41).
  • the image compression unit 16 compresses the image to be processed to a predetermined size (step S42).
  • the object area detection unit 17 detects an object area, which is a pixel area of the object, in the image compressed by the image compression unit 16 (step S43).
  • the degraded area detection unit 18 detects a degraded area, which is a pixel area of the degraded portion of the object, for each of the plurality of divided images (step S44).
  • the information combining unit 14A generates a deterioration detection result image by combining the images of the deteriorated regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images (step S45).
  • the diagnosis unit 15 diagnoses deterioration of the object based on the object detection result image, which is the image of the object region in the compressed image, and the deterioration detection result image (step S46).
  • the image processing apparatus 10A includes the image dividing unit 12, the image compressing unit 16, the target object area detecting unit 17, the deteriorated area detecting unit 18, the information connecting unit 14A, the diagnostic unit 15.
  • the image dividing unit 12 divides an image to be processed including a predetermined target object into a plurality of divided images of a predetermined size.
  • the image compression unit 16 compresses the image to be processed to a predetermined size.
  • the object area detection unit 17 detects an object area, which is a pixel area of the object in the compressed image.
  • the deteriorated area detection unit 18 detects, for each of the plurality of divided images, a deteriorated area, which is a pixel area of the deteriorated portion of the object in the divided image.
  • the information combining unit 14A generates a deterioration detection result image by combining the images of the deteriorated regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images.
  • the diagnosis unit 15 diagnoses deterioration of the object based on the object detection result image, which is the image of the object region in the compressed image, and the deterioration detection result image.
  • the image dividing unit 12 divides an image to be processed including a predetermined target object into a plurality of divided images of a predetermined size (step S41). Then, the image compression unit 16 compresses the image to be processed to a predetermined size (step S42), and the object area detection unit 17 detects the object area, which is the pixel area of the object in the compressed image.
  • step S43 a step of detecting
  • step S44 a step of detecting, for each of the plurality of divided images, a deteriorated region that is a pixel region of a deteriorated portion of the object in the divided image
  • step S45 a step in which the information combining unit 14A generates a deterioration detection result image by combining the images of the deteriorated regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images
  • step S45 includes a step of diagnosing deterioration of the object based on the object detection result image, which is the image of the object region in the compressed image, and the deterioration detection result image (step S46).
  • the object area By compressing the image to be processed and detecting the object area from the compressed image, the object area can be detected while maintaining the shape characteristics of the object in the image. can be improved.
  • the degraded region can be detected without reducing the number of pixels in the degraded region. can be improved. Further, by detecting the target object region and the degraded region using the compressed image obtained by compressing the processing target and the divided images obtained by dividing the processing target image, it is possible to suppress the increase in processing performance required for detection. .
  • FIG. 15 is a diagram showing a configuration example of an image processing device 10B according to the third embodiment of the present disclosure.
  • the same components as in FIG. 1 are denoted by the same reference numerals, and descriptions thereof are omitted.
  • the image processing apparatus 10B includes an image input unit 11, an image dividing unit 12, an area detecting unit 13, an information combining unit 14, a diagnostic unit 15, and an image clipping unit. 19.
  • the image processing apparatus 10B according to this embodiment differs from the image processing apparatus 10 according to the first embodiment in that an image clipping unit 19 is added.
  • the image clipping unit 19 clips an image of a rectangular area including a predetermined object from the input image input to the image input unit 11 as an image to be processed, and outputs the image to the image dividing unit 12 . By doing so, the size of the image input to each block after the image clipping unit 19 is reduced, so that the calculation processing can be speeded up.
  • the image processing apparatus 10B is configured by adding the image clipping unit 19 to the image processing apparatus 10 according to the first embodiment has been described, but it is not limited to this. do not have.
  • the image processing device 10C may be configured by adding an image clipping unit 19 to the image processing device 10A according to the second embodiment.
  • the image input unit 11 outputs the input image to the image clipping unit 19, and the image clipping unit 19 clips an image of a rectangular area including a predetermined object from the input image, and divides the image into the image dividing unit 12 and the image compressing unit. output to 16.
  • FIG. 17 is a diagram showing an example of the hardware configuration of the image processing apparatuses 10, 10A, 10B, and 10C according to each embodiment described above.
  • FIG. 17 shows an example of the hardware configuration of the image processing apparatus 10 when the image processing apparatuses 10, 10A, 10B, and 10C are configured by computers capable of executing program instructions.
  • the computer may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal computer), an electronic notepad, or the like.
  • Program instructions may be program code, code segments, etc. for performing the required tasks.
  • image processing apparatuses 10, 10A, 10B, and 10C include processor 21, ROM (Read Only Memory) 22, RAM (Random Access Memory) 23, storage 24, input unit 25, display unit 26, and communication It has an interface (I/F) 27 .
  • processor 21 is specifically a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc. may be configured by a plurality of processors of
  • the processor 21 is a control unit that controls each configuration and executes various arithmetic processing. That is, the processor 21 reads a program from the ROM 22 or the storage 24 and executes the program using the RAM 23 as a work area. The processor 21 performs control of each configuration and various arithmetic processing according to programs stored in the ROM 22 or the storage 24 . In this embodiment, the ROM 22 or the storage 24 stores a program for causing a computer to function as the image processing apparatuses 10, 10A, 10B, and 10C according to the present disclosure. The programs are read out and executed by the processor 21, thereby realizing each configuration of the image processing apparatuses 10, 10A, 10B, and 10C described above.
  • Programs are stored in non-transitory storage media such as CD-ROM (Compact Disk Read Only Memory), DVD-ROM (Digital Versatile Disk Read Only Memory), USB (Universal Serial Bus) memory, etc. may be provided in Also, the program may be downloaded from an external device via a network.
  • CD-ROM Compact Disk Read Only Memory
  • DVD-ROM Digital Versatile Disk Read Only Memory
  • USB Universal Serial Bus
  • the ROM 22 stores various programs and various data.
  • RAM 23 temporarily stores programs or data as a work area.
  • the storage 24 is configured by a HDD (Hard Disk Drive) or SSD (Solid State Drive) and stores various programs including an operating system and various data.
  • the input unit 25 includes a pointing device such as a mouse and a keyboard, and is used for various inputs.
  • the display unit 26 is, for example, a liquid crystal display, and displays various information.
  • the display unit 26 may employ a touch panel system and function as the input unit 25 .
  • the communication interface 27 is an interface for communicating with other devices, such as a LAN interface. For example, via the communication interface 27, the image input unit 11 receives an image to be cut out of the cut out image. Further, for example, the standardized clipped image is output to the outside via the communication interface 27 .
  • a computer can be preferably used to function as each unit of the image processing apparatuses 10, 10A, 10B, and 10C described above.
  • Such a computer stores a program describing processing details for realizing the function of each part of the image processing apparatuses 10, 10A, 10B, and 10C in the memory of the computer, and reads out the program by the processor of the computer. It can be realized by executing That is, the program can cause the computer to function as the image processing apparatuses 10, 10A, 10B, and 10C described above. It is also possible to record the program in a non-temporary storage medium. It is also possible to provide the program via a network.
  • [Appendix 1] memory a controller connected to the memory; with The control unit dividing an image to be processed containing a predetermined target object into a plurality of divided images of a predetermined size; For each of the plurality of divided images, detecting an object region that is a pixel region of the object in the divided image and a deteriorated region that is a pixel region of a deteriorated portion of the object; and an object detection result image obtained by combining the images of the object regions detected from each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images, and an image of the object region detected from each of the plurality of divided images.
  • An image processing device that diagnoses deterioration of the object based on the object detection result image and the deterioration detection result image.
  • [Appendix 2] memory a controller connected to the memory; with The control unit dividing an image to be processed containing a predetermined target object into a plurality of divided images of a predetermined size; compressing the image to be processed to a predetermined size; detecting an object region, which is a pixel region of the object in the compressed image; For each of the plurality of divided images, detecting a deteriorated region that is a pixel region of a deteriorated portion of the object in the divided image; generating a deterioration detection result image by combining the images of the deteriorated regions detected for each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images; An image processing apparatus for diagnosing deterioration of the object based on an object detection result image, which is an image of the object region in the compressed image, and the deterioration detection result image.
  • the control unit adjusts the image to be processed such that the product of the size of the divided image in the width direction and the number of divisions of the image to be processed in the width direction is equal to or greater than the size of the image to be processed in the width direction. and the product of the size of the divided image in the height direction and the number of divisions in the height direction of the image to be processed is equal to or greater than the size of the image to be processed in the height direction. to determine the number of divisions in the height direction of the image to be processed.
  • the control unit superimposes adjacent divided images when a sum area of the divided images formed by arranging the divided images by the determined number of divisions in the height direction and the width direction is larger than the image to be processed.
  • the image processing device that matches the size of the sum area of the divided images to the size of the image to be processed by setting the size of the sum area of the divided images to match the size of the image to be processed.
  • An image processing method by an image processing device dividing an image to be processed containing a predetermined target object into a plurality of divided images of a predetermined size; For each of the plurality of divided images, detecting an object region that is a pixel region of the object in the divided image and a deteriorated region that is a pixel region of a deteriorated portion of the object; and an object detection result image obtained by combining the images of the object regions detected from each of the plurality of divided images while maintaining the positional relationship of the plurality of divided images, and an image of the object region detected from each of the plurality of divided images.
  • Appendix 8 A non-temporary storage medium storing a program executable by a computer, the non-temporary storage medium storing the program for causing the computer to operate as the image processing apparatus according to claim 1.
  • Reference Signs List 10 10A, 10B, 10C image processing device 11, 11A image input unit 12 image division unit 13 area detection unit 14, 14A information combination unit 15 diagnosis unit 16 image compression unit 17 object area detection unit 18 deteriorated area detection unit 19 image Clipping unit 121 division number determination unit 122 division execution unit 131 model construction unit 132, 172 object detection unit 133, 182 deterioration detection unit 1311, 171 object detection learning unit 1312, 181 deterioration detection learning unit 21 processor 22 ROM 23 RAM 24 storage 25 input unit 26 display unit 27 communication I/F 29 bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る画像処理装置（１０）は、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する画像分割部（１２）と、複数の分割画像のそれぞれについて、当該分割画像における対象物の画素領域である対象物領域、および、対象物の劣化部分の画素領域である劣化領域を検出する領域検出部（１３）と、複数の分割画像それぞれについて検出された対象物領域の画像を、複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、複数の分割画像それぞれについて検出された劣化領域の画像を、複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する情報結合部（１４）と、対象物検出結果画像および劣化検出結果画像に基づき、対象物の劣化を診断する診断部（１５）と、を備える。

Description

画像処理装置、画像処理方法およびプログラム
　本開示は、画像処理装置、画像処理方法およびプログラムに関する。
　昨今のインフラ設備の点検では、設備の撮影画像と深層学習手法により作成されたＡＩ（Artificial Intelligence）とを用いて、設備の劣化の有無および劣化の程度を自動で判定する方法が用いられる。その際に、微小な劣化であっても見逃さないためには、判定に使用する画像として、可能な限り高解像度の画像を使用することが重要となる。しかしながら、高解像度の画像に対して深層学習手法を適用する場合、市中のＧＰＵ（Graphics Processing Unit）では、計算が不可能または計算可能であっても多くの時間を要するという課題がある。
　このような課題に対応するために、高性能な計算機を用いることが考えられる。しかしながら、インフラ設備の点検の実地で用いられる撮影機材（例えば、安価なコンパクトデジタルカメラ）としては、撮影画像が約２０００万画素の機材が主流であり、このような撮影機材の撮影画像を解析することができる計算機を流通品で用意することは困難である。そのため、例えば、非特許文献１，２には、画像を圧縮し、圧縮後の画像を用いて解析を行う技術が記載されている。圧縮後の画像を用いることで、画像の解析を行う計算機に必要な性能を抑えるとともに、画像解析の高速化を図ることができる。
田畑佑ら、"UAV撮影と深層学習を用いた橋梁損傷の自動検知に関する検証"、土木学会論文集F4(建設マネジメント)、Vol.74, No.2, p.62-74, 2018 川城研吾ら、"セマンティックセグメンテーションを用いたトンネルの損傷抽出の取り組み"、情報処理学会全国大会講演論文集, 82nd, 4号, p.4.233-4.234, 2020
　しかしながら、上述した技術では、画像の圧縮により、画像の解像度が落ちるため、検出精度が低下する可能性がある。また、上述した技術では、圧縮前の高解像度の画像には写っていた微小な領域が圧縮により消失する可能性がある。そのため、上述したインフラ設備の点検に、非特許文献１，２に記載の技術を適用した場合、対象物（インフラ設備）および対象物の劣化の検出の精度が低下するおそれがあるという問題がある。
　上記のような問題点に鑑みてなされた本開示の目的は、処理対象の画像に含まれる所定の対象物および対象物の劣化の検出の高精度化を図るとともに、検出に必要な処理性能の高度化を抑制することができる画像処理装置、画像処理方法およびプログラムを提供することにある。
　上記課題を解決するため、本開示に係る画像処理装置は、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する画像分割部と、前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の画素領域である対象物領域、および、前記対象物の劣化部分の画素領域である劣化領域を検出する領域検出部と、前記複数の分割画像それぞれについて検出された前記対象物領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する情報結合部と、前記対象物検出結果画像および前記劣化検出結果画像に基づき、前記対象物の劣化を診断する診断部と、を備える。
　また、上記課題を解決するため、本開示に係る画像処理装置は、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する画像分割部と、前記処理対象の画像を所定のサイズに圧縮する画像圧縮部と、前記圧縮された画像における前記対象物の画素領域である対象物領域を検出する対象物領域検出部と、前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の劣化部分の画素領域である劣化領域を検出する劣化領域検出部と、前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する情報結合部と、前記圧縮された画像における前記対象物領域の画像である対象物検出結果画像と前記劣化検出結果画像とに基づき、前記対象物の劣化を診断する診断部と、を備える。
　また、上記課題を解決するため、本開示に係る画像処理方法は、画像処理装置による画像処理方法であって、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割するステップと、前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の画素領域である対象物領域、および、前記対象物の劣化部分の画素領域である劣化領域を検出するステップと、前記複数の分割画像それぞれについて検出された前記対象物領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成するステップと、前記対象物検出結果画像および前記劣化検出結果画像に基づき、前記対象物の劣化を診断するステップと、を含む。
　また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを、上述した画像処理装置として動作させる。
　本開示に係る画像処理装置、画像処理方法およびプログラムによれば、処理対象の画像に含まれる所定の対象物および対象物の劣化の検出の高精度化を図るとともに、検出に必要な処理性能の高度化を抑制することができる。
本開示の第１の実施形態に係る画像処理装置の構成例を示す図である。 図１に示す画像分割部の構成例を示す図である。 図１に示す領域検出部の構成例を示す図である。 図２に示す分割数決定部の動作の一例を示すフローチャートである。 図２に示す分割数決定部による分割数の決定について説明するための図である。 図２に示す分割実行部の動作の一例を示すフローチャートである。 図２に示す分割数決定部による処理対象の画像の分割の一例を示す図である。 図２に示す分割数決定部による処理対象の画像の分割の別の一例を示す図である。 図２に示す分割数決定部による処理対象の画像の分割のさらに別の一例を示す図である。 図１に示す画像処理装置の動作の一例を示すフローチャートである。 本開示の第２の実施形態に係る画像処理装置の構成例を示す図である。 図１１に示す対象物領域検出部の構成例を示す図である。 図１１に示す劣化領域検出部の構成例を示す図である。 図１１に示す画像処理装置の動作の一例を示すフローチャートである。 本開示の第３の実施形態に係る画像処理装置の構成例を示す図である。 本開示の第３の実施形態に係る画像処理装置の別の構成例を示す図である。 本開示に係る画像処理装置のハードウェア構成の一例を示す図である。
　以下、本開示の実施の形態について図面を参照して説明する。
　（第１の実施形態）
　図１は、本開示の第１の実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、処理対象の画像に含まれる所定の対象物およびその対象物の劣化を検出するものである。処理対象の画像は、例えば、インフラ設備（例えば、電柱など）を撮影した画像である。この場合、画像処理装置１０は、処理対象の画像から、インフラ設備およびそのインフラ設備の劣化を検出する。
　図１に示すように、本実施形態に係る画像処理装置１０は、画像入力部１１と、画像分割部１２と、領域検出部１３と、情報結合部１４と、診断部１５とを備える。
　画像入力部１１は、処理対象の画像が入力される。画像入力部１１に入力される画像は、上述したように、例えば、所定のインフラ設備を撮影した画像である。画像入力部１１は、入力された画像を画像分割部１２に出力する。
　画像分割部１２は、画像入力部１１から出力された処理対象の画像を、所定のサイズの複数の分割画像に分割する。図２は、画像分割部１２の構成例を示す図である。図２に示すように、画像分割部１２は、分割数決定部１２１と、分割実行部１２２とを備える。
　分割数決定部１２１は、処理対象の画像の幅方向の分割数と、処理対象の画像の高さ方向の分割数とを決定する。分割数決定部１２１による分割数の決定の詳細については後述する。
　分割実行部１２２は、処理対象の画像を、分割数決定部１２１により決定された分割数で分割し、分割後の画像である分割画像を領域検出部１２３に出力する。なお、処理対象の画像を順次分割していくと、分割画像のサイズおよび分割数によっては、処理対象の端部付近で、分割画像が処理対象の画像からはみ出してしまうことがある。この場合、分割実行部１２２は、所定の画像を付加するなどして分割画像のサイズを規格化する（分割画像のサイズを統一する）。分割実行部１２２による処理対象の画像の分割の詳細については後述する。
　図１を再び参照すると、画像分割部１２は、処理対象の画像を分割した複数の分割画像を領域検出部１３に出力する。
　領域検出部１３は、画像分割部１２から出力された複数の分割画像それぞれについて、当該分割画像における対象物の画素領域である対象物領域、および、対象物の劣化部分の画素領域である劣化領域を検出する。図３は、領域検出部１３の構成例を示す図である。図３においては、領域検出部１３が、分割画像から対象物領域および劣化領域を検出するモデルを作成する機能と、作成したモデルを用いて、分割画像から対象物領域および劣化領域を検出する機能とを備える例を用いて説明する。
　図３に示すように、領域検出部１３は、モデル構築部１３１と、対象物検出部１３２と、劣化検出部１３３とを備える。上述したように、領域検出部１３は、分割画像から対象物領域および劣化領域を検出するモデルを作成する機能と、作成したモデルを用いて、分割画像から対象物領域および劣化領域を検出する機能とを備える。モデルの作成に使用される分割画像は、モデル構築部１３１に入力される。また、対象物および対象物の劣化の検出が行われる分割画像は、対象物検出部１３２および劣化検出部１３３に入力される。
　モデル構築部１３１は、入力された分割画像を使用し、深層学習手法により、画像中の対象物領域を検出するモデル（検出器）および劣化領域を検出するモデルを作成する。モデル構築部１３１は、図３に示すように、対象物検出学習部１３１１と、劣化検出学習部１３１２とを備える。
　対象物検出学習部１３１１は、分割画像と、その分割画像中の対象物領域を示すマスク画像とを使用し、深層学習手法により、画像中の対象物領域を検出する検出器である対象物検出器を作成する。対象物検出学習部１３１１は、作成した対象物検出器を対象物検出部１３２に格納する。
　劣化検出学習部１３１２は、分割画像と、その分割画像中の劣化領域を示すマスク画像とを使用し、深層学習手法により、画像中の劣化領域を検出する検出器である劣化検出器を作成する。劣化検出学習部１３１２は、作成した劣化検出器を劣化検出部１３３に格納する。
　対象物検出部１３２は、対象物検出学習部１３１１により作成された対象物検出器を用いて、入力された分割画像（対象物領域の検出の対象である分割画像）における対象物領域を検出する。対象物検出部１３２は、対象物領域の検出結果を情報結合部１４に出力する。
　劣化検出部１３３は、劣化検出学習部１３１２により作成された劣化検出器を用いて、入力された分割画像（劣化領域の検出の対象である分割画像）における劣化領域を検出する。劣化検出部１３３は、劣化領域の検出結果を情報結合部１４に出力する。
　なお、図３においては、領域検出部１３が対象物検出器および劣化検出器を作成する機能を備える例を説明したが、これに限られるものではない。対象物検出器および劣化検出器は、画像処理装置１０の外部で作成され、対象物検出部１３２および劣化検出部１３３に格納されてもよい。この場合、領域検出部１３は、モデル構築部１３１を備えなくてもよい。
　図１を再び参照すると、情報結合部１４は、領域検出部１３（対象物検出部１３２）により、複数の分割画像それぞれについて検出された対象物領域の画像を結合した対象物検出結果画像を生成する。上述したように、対象物領域は、処理対象の画像を分割した複数の分割画像それぞれについて検出されている。そのため、情報結合部１４は、複数の分割画像の位置関係を維持したまま、複数の分割画像それぞれについて検出された対象物領域の画像を結合して対象物検出結果画像を生成する。
　また、情報結合部１４は、領域検出部１３（劣化検出部１３３）により、複数の分割画像それぞれについて検出された劣化領域の画像を結合した劣化検出結果画像を生成する。上述したように、劣化領域は、処理対象の画像を分割した複数の分割画像それぞれについて検出されている。そのため、情報結合部１４は、複数の分割画像の位置関係を維持したまま、複数の分割画像それぞれについて検出された劣化領域の画像を結合して劣化検出結果画像を生成する。
　情報結合部１４は、生成した対象物検出結果画像および劣化検出結果画像を診断部１５に出力する。
　診断部１５は、情報結合部１４から出力された対象物検出結果画像および劣化検出結果画像に基づき、対象物の劣化を診断する。例えば、診断部１５は、対象物検出結果画像と劣化検出結果画像とを重畳し、対象物領域に対する劣化領域の割合などから、対象物の劣化率を算出する。
　本実施形態に係る画像処理装置１０では、処理対象の画像を複数の分割画像に分割し、複数の分割画像それぞれについて、対象物領域および劣化領域を検出する。そのため、画像の圧縮を行う必要が無い（検出対象の領域の画素数が減ることが無い）ので、処理対象の画像に含まれる対象物および対象物の劣化の検出の高精度化を図ることができる。また、処理対象の画像を分割した分割画像について、対象物領域および劣化領域を検出することで、検出に必要な処理性能の高度化を抑制することができる。
　次に、本実施形態に係る画像処理装置１０の動作について説明する。
　まず、分割数決定部１２１による処理対象の画像の分割数の決定について説明する。
　図４は、分割数決定部１２１の動作の一例を示すフローチャートである。
　分割数決定部１２１は、画像入力部１１を介して入力された処理対象の画像を取得する（ステップＳ１１）。
　図５に示すように、分割数決定部１２１は、取得した処理対象の画像の幅方向（Ｘ方向）のサイズをＸと設定し、処理対象の画像の高さ方向（Ｙ方向）のサイズをＹと設定する。また、分割数決定部１２１は、分割画像の幅方向（Ｘ方向）のサイズをｘと設定し、処理対象の画像の高さ方向（Ｙ方向）のサイズをｙと設定する（ステップＳ１２）。また、分割数決定部１２１は、変数ｎ＝１と設定し、変数ｍ＝１と設定する（ステップＳ１３）。
　分割数決定部１２１は、分割画像の幅方向のサイズｘと変数ｎとの積が処理対象の画像の幅方向のサイズＸ以上である（ｎ・ｘ≧Ｘ）か否かを判定する（ステップＳ１４）。
　ｎ・ｘ≧Ｘでない（ｎ・ｘ＜Ｘである）と判定した場合（ステップＳ１４：Ｎｏ）、分割数決定部１２１は、変数ｎに１を加算し（ステップＳ１５）、ステップＳ１４の処理に戻る。すなわち、分割数決定部１２１は、分割画像の幅方向のサイズｘと変数ｎとの積が処理対象の画像の幅方向のサイズＸ以上となるまで、ステップＳ１４およびステップＳ１５の処理を繰り返す。
　ｎ・ｘ≧Ｘであると判定した場合（ステップＳ１４：Ｙｅｓ）分割数決定部１２１は、分割画像の高さ方向のサイズｙと変数ｍとの積が処理対象の画像の高さ方向のサイズＹ以上である（ｍ・ｙ≧Ｙ）か否かを判定する（ステップＳ１６）。
　ｍ・ｙ≧Ｙでない（ｍ・ｙ＜Ｙである）と判定した場合（ステップＳ１６：Ｎｏ）、分割数決定部１２１は、変数ｍに１を加算し（ステップＳ１７）、ステップＳ１６の処理に戻る。すなわち、分割数決定部１２１は、分割画像の高さ方向のサイズｙと変数ｍとの積が処理対象の画像の幅方向のサイズＹ以上となるまで、ステップＳ１６およびステップＳ１７の処理を繰り返す。
　ｍ・ｙ≧Ｙであると判定した場合（ステップＳ１６：Ｙｅｓ）、分割数決定部１２１は、処理対象の画像の幅方向（Ｘ方向）の分割数Ｎ＝ｎと決定し、処理対象の画像の高さ方向（Ｙ方向）の分割数Ｍ＝ｍと決定する（ステップＳ１８）。このように、分割数決定部１２１（画像分割部１２）は、分割画像の幅方向のサイズｘと処理対象の画像の幅方向の分割数Ｎとの積が処理対象の画像の幅方向のサイズＸ以上となるように、処理対象の画像の幅方向の分割数Ｎを決定する。また、分割数決定部１２１は、分割画像の高さ方向のサイズｙと処理対象の画像の高さ方向の分割数Ｍとの積が処理対象の画像の高さ方向のサイズＹ以上となるように、処理対象の画像の高さ方向の分割数Ｍを決定する。
　次に、分割実行部１２２による処理対象の画像の分割について説明する。
　図６は、分割実行部１２２の動作の一例を示すフローチャートである。
　分割実行部１２２は、例えば、処理対象の画像の左上端を起点に、処理対象の画像を分割する。この場合、分割実行部１２２は、図７に示すように、処理対象の画像の左上端の座標（ｘｉ，ｙｉ）＝（０，０）と設定する（ステップＳ２１）。
　分割実行部１２２は、ｘｉ＋１＝ｘｉ＋ｘと設定し、ｙｊ＋１＝ｙｊ＋ｙと設定する（ステップＳ２２）。上述したように、ｘは分割画像の幅方向のサイズであり、ｙは分割画像の高さ方向のサイズである。
　分割実行部１２２は、処理対象の画像における、幅方向にはｘｉからｘｉ＋１まで、高さ方向にはｙｊからｙｊ＋１までの領域を分割画像として切り出す（ステップＳ２３）。
　次に、分割実行部１２２は、ｉ＝Ｎであるか否かを判定する（ステップＳ２４）。
　ｉ＝Ｎでないと判定した場合（ステップＳ２４：Ｎｏ）、分割実行部１２２は、ｉに１を加算し（ステップＳ２５）、ステップＳ２２の処理に戻る。ｉ＝Ｎとなるまでこの処理が繰り返されることで、処理対象の画像の幅方向の分割がＮ回繰り返される。
　ｉ＝Ｎであると判定した場合（ステップＳ２５：Ｙｅｓ）、分割実行部１２２は、ｊ＝Ｍであるか否かを判定する（ステップＳ２６）。
　ｊ＝Ｍでないと判定した場合（ステップＳ２６：Ｎｏ）、分割実行部１２２は、ｊに１を加算し（ステップＳ２７）、ｉ＝１と設定して、ステップＳ２２の処理に戻る。ｊ＝Ｍとなるまでこの処理が繰り返されることで、処理対象の画像の高さ方向の分割がＭ回繰り返される。
　ｊ＝Ｍであると判定した場合（ステップＳ２６：Ｙｅｓ）、分割実行部１２２は、処理対象の画像をＮ×Ｍ個の分割画像に分割したため、処理を終了する。図６を参照して説明した処理によれば、処理対象の画像を最小の分割画像数で処理対象の画像を全て網羅することができるので、領域検出部１３での計算処理の高速化が可能となる。
　なお、図７に示すように、Ｎ・ｘ＞Ｘであり、Ｍ・ｙ＞Ｙである場合、処理対象の右端および下端では、分割画像が処理対象の画像を超えてしまう場合がある。この場合、分割実行部１２２は、分割画像の内、処理対象の画像を超えてしまう領域には、例えば、一様画素からなる画像（例えば、黒色画素からなる黒画像）を付加する。こうすることで、分割実行部１２２は、サイズが統一された分割画像を生成することができる。
　しかしながら、上述した方法では、例えば、処理対象の右端および下端付近の分割画像に黒色画像が集中することになる。分割画像に占める黒色画像の割合が大きいと、その分割画像を使用してモデルを学習しても、学習効果が低くなってしまう。
　そこで、分割実行部１２２は、図８に示すように、高さ方向および幅方向にそれぞれ決定された分割数だけ分割画像を並べて形成される領域（以下、「分割画像の和領域」と称する。）の中心と、処理対象の画像の中心とが一致するようにして、処理対象の画像を複数の分割画像に分割してよい。
　図５に示す例では、黒画像が、処理対象の画像の右端および下端付近の分割画像に集中していた。一方、処理対象の画像の中心と分割画像の和領域の中心の画像とが一致するように分割することで、図８に示すように、処理対象の画像の上下左右の端部の分割画像が処理対象の画像からはみ出すので、これらの分割画像に黒画像を分散させることができる。
　また、分割実行部１２２は、処理対象の画像から分割画像がはみ出さないように、処理対象の画像を分割してもよい。具体的には、例えば、図９に示すように、分割画像の和領域が処理対象の画像よりも大きく、処理対象の画像の右端および下端から分割画像がはみ出しているとする。この場合、分割実行部１２２は、処理画像の右端からはみ出している分割画像を左方向に移動させ、左方向に隣接する分割画像と重複させることで、分割画像が処理対象の画像からはみ出さないようにする。また、分割実行部１２２は、処理画像の下端からはみ出している分割画像を上方向に移動させ、上方向に隣接する分割画像と重複させることで、分割画像が処理対象の画像からはみ出さないようにする。また、分割実行部１２２は、処理画像の右端および下端からはみ出している分割画像を左方向および上方向に移動させ、左方向および上方向に隣接する分割画像と重複させることで、分割画像が処理対象の画像からはみ出さないようにする。
　このように、分割実行部１２２（画像分割部１２）は、分割画像の和領域が処理対象の画像よりも大きい場合、隣接する分割画像同士を重畳させることで、分割画像の和領域のサイズを処理対象の画像のサイズに一致させてよい。こうすることで、処理対象の画像からはみ出した分割画像に黒画像が付加されることが無くなるので、分割画像を用いた学習効果の低下を防ぐことができる。
　次に、本実施形態に係る画像処理装置１０の動作について説明する。
　図１０は、本実施形態に係る画像処理装置１０の動作の一例を示すフローチャートであり、本実施形態に係る画像処理装置１０による画像処理方法について説明するための図である。
　画像分割部１２は、画像入力部１１を介して入力された、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する（ステップＳ３１）。
　領域検出部１３は、複数の分割画像それぞれについて、その分割画像における対象物の画素領域である対象物領域、および、対象物の劣化部分の画素領域である劣化領域を検出する（ステップＳ３２）。
　情報結合部１４は、複数の分割画像それぞれについて検出された対象物領域の画像を、複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像を生成する。また、情報結合部１４は、複数の分割画像それぞれについて検出された劣化領域の画像を、複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する（ステップＳ３３）。
　診断部１５は、生成された対象物検出結果画像および劣化検出結果画像に基づき、対象物の劣化を診断する。例えば、診断部１５は、対象物検出結果画像と劣化検出結果画像とを重畳し、対象物領域に対する劣化領域の割合などから、対象物の劣化率を算出する。
　このように、本実施形態に係る画像処理装置１０は、画像分割部１２と、領域検出部１３と、情報結合部１４と、診断部１５とを備える。画像分割部１２は、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する。領域検出部１３は、複数の分割画像のそれぞれについて、分割画像における対象物の画素領域である対象物領域、および、対象物の劣化部分の画素領域である劣化領域を検出する。情報結合部１４は、複数の分割画像それぞれについて検出された対象物領域の画像を、複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、複数の分割画像それぞれについて検出された劣化領域の画像を、複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する。診断部１５は、対象物検出結果画像および劣化検出結果画像に基づき、対象物の劣化を診断する。
　また、本実施形態に係る画像処理装置１０による画像処理方法は、画像分割部１２が、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割するステップ（ステップＳ３１）と、領域検出部１３が、複数の分割画像のそれぞれについて、分割画像における対象物の画素領域である対象物領域、および、対象物の劣化部分の画素領域である劣化領域を検出するステップ（ステップＳ３２）と、情報結合部１４が、複数の分割画像それぞれについて検出された対象物領域の画像を、複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、複数の分割画像それぞれについて検出された劣化領域の画像を、複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成するステップ（ステップＳ３３）と、診断部１５が、対象物検出結果画像および劣化検出結果画像に基づき、対象物の劣化を診断するステップ（ステップＳ３４）と、を含む。
　処理対象の画像を分割した分割画像について、対象物領域および劣化領域を検出することで、検出対象の領域の画素数を減らさずに検出を行うことができるので、所定の対象物および対象物の劣化の検出の高精度化を図ることができる。また、処理対象の画像を分割した分割画像について、対象物領域および劣化領域を検出することで、検出に必要な処理性能の高度化を抑制することができる。
　（第２の実施形態）
　図１１は、本発明の第２の実施形態に係る画像処理装置１０Ａの構成例を示す図である。第１の実施形態に係る画像処理装置１０においては、対象物および対象物の劣化それぞれの検出に分割画像を用いる。この場合、圧縮によりリサイズした（サイズを縮小した）画像を学習・検出に使用する場合と比べて、学習・検出に使用する画像数が増加し、計算時間が増加してしまう。また、インフラ設備は一般的に、形状が画一的であるため、画像中のインフラ設備の検出が形状的特徴に大きく依存する。そのため、処理対象の画像が複数の分割画像に分割されると、検出の対象物であるインフラ設備の形状的特徴が失われ、検出率が低下することがある。そこで、本実施形態に係る画像処理装置１０Ａにおいては、対象物の検出には処理対象の画像を圧縮した画像を用いる。以下、画像処理装置１０の構成について、詳細に説明する。なお、図１１において、図１と同様の構成には同じ符号を付し、説明を省略する。
　図１１に示すように、本実施形態に係る画像処理装置１０Ａは、画像入力部１１Ａと、画像分割部１２と、画像圧縮部１６と、対象物領域検出部１７と、劣化領域検出部１８と、情報結合部１４Ａと、診断部１５とを備える。
　画像入力部１１Ａは、処理対象の画像が入力される。画像入力部１１Ａに入力される画像は、上述したように、例えば、所定のインフラ設備を撮影した画像である。画像入力部１１Ａは、入力された画像を画像分割部１２および画像圧縮部１６に出力する。
　画像圧縮部１６は、画像入力部１１Ａから出力された処理対象の画像を、所定のサイズ（規格化サイズ）に圧縮する。画像圧縮部１６は、処理対象の画像の圧縮を行う際に、処理対象の画像に所定の画像（例えば、黒画像）を付加し、規格化サイズと同じアスペクト比の画像にした画像に対して圧縮を行ってもよい。こうすることで、圧縮によるアスペクト比の変化に起因する、深層学習により作成されるモデルの検出精度の低下を防ぐことができる。画像圧縮部１６は、圧縮後の画像を対象物領域検出部１７に出力する。
　対象物領域検出部１７は、画像圧縮部１６により圧縮された画像（圧縮画像）における、対象物の画素領域である対象物領域を検出する。図１２は、対象物領域検出部１７の構成例を示す図である。図１２においては、対象物領域検出部１７が、圧縮画像から対象物領域を検出するモデルを作成する機能と、作成したモデルを用いて、圧縮画像から対象物領域を検出する機能とを備える例を用いて説明する。
　図１２に示すように、対象物領域検出部１７は、対象物検出学習部１７１と、対象物検出部１７２とを備える。上述したように、対象物領域検出部１７は、圧縮画像から対象物領域を検出するモデルを作成する機能と、作成したモデルを用いて、圧縮画像から対象物領域を検出する機能とを備える。モデルの作成に使用される圧縮画像は、対象物検出学習部１７１に入力される。また、対象物の検出が行われる圧縮画像は、対象物検出部１７２に入力される。
　対象物検出学習部１７１は、圧縮画像と、その圧縮画像中の対象物領域を示すマスク画像とを使用し、深層学習手法により、画像中の対象物領域を検出する検出器である対象物検出器を作成する。対象物検出学習部１７１は、作成した対象物検出器を対象物検出部１７２に格納する。
　なお、図１２においては、対象物領域検出部１７が対象物検出器を作成する機能を備える例を説明したが、これに限られるものではない。対象物検出器は、画像処理装置１０Ａの外部で作成され、対象物検出部１７２に格納されてもよい。この場合、対象物領域検出部１７は、対象物検出学習部１７１を備えなくてもよい。
　対象物検出部１７２は、対象物検出学習部１７１により作成された対象物検出器を用いて、入力された圧縮画像（対象物領域の検出の対象である圧縮画像）における対象物領域を検出する。対象物検出部１７２は、圧縮画像における対象物領域の画像である対象物検出結果画像を、対象物領域の検出結果として診断部１５に出力する。
　図１１を再び参照すると、劣化領域検出部１８は、画像分割部１２により処理対象の画像が分割された複数の分割画像が入力される。劣化領域検出部１８は、複数の分割画像それぞれについて、その分割画像における対象物の劣化部分の画素領域である劣化領域を検出する。図１３は、劣化領域検出部１８の構成例を示す図である。図１３においては、劣化領域検出部１８が、分割画像から劣化領域を検出するモデルを作成する機能と、作成したモデルを用いて、分割画像から劣化領域を検出する機能とを備える例を用いて説明する。
　図１３に示すように、劣化領域検出部１８は、劣化検出学習部１８１と、劣化検出部１８２とを備える。上述したように、劣化領域検出部１８は、分割画像から劣化領域を検出するモデルを作成する機能と、作成したモデルを用いて、分割画像から劣化領域を検出する機能とを備える。モデルの作成に使用される分割画像は、劣化検出学習部１８１に入力される。また、劣化領域の検出が行われる圧縮画像は、劣化検出部１８２に入力される。
　劣化検出学習部１８１は、分割画像と、その分割画像中の劣化領域を示すマスク画像とを使用し、深層学習手法により、画像中の劣化領域を検出する検出器である劣化検出器を作成する。劣化検出学習部１８１は、作成した劣化検出器を劣化検出部１８２に格納する。
　劣化検出部１８２は、劣化検出学習部１８１により作成された劣化検出器を用いて、入力された分割画像（劣化領域の検出の対象である分割画像）における劣化領域を検出する。劣化検出部１８２は、劣化領域の検出結果を情報結合部１４Ａに出力する。
　なお、図１３においては、劣化領域検出部１８が劣化検出器を作成する機能を備える例を説明したが、これに限られるものではない。劣化検出器は、画像処理装置１０Ａの外部で作成され、劣化検出部１８２に格納されてもよい。この場合、劣化領域検出部１８は、劣化検出学習部１８１を備えなくてもよい。
　図１１を再び参照すると、情報結合部１４Ａは、複数の分割画像それぞれについて検出された劣化領域の画像を、複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する。情報結合部１４Ａは、生成した劣化検出結果画像を診断部１５に出力する。
　診断部１５は、対象物領域検出部１７から出力された対象物検出結果画像と、情報結合部１４Ａから出力された劣化検出結果画像とに基づき、対象物の劣化を検出する。
　本実施形態に係る画像処理装置１０Ａでは、処理対象の画像を圧縮し、圧縮画像から対象物領域を検出する。そのため、画像中の対象物の形状的特徴を維持したまま対象物領域を検出することができるので、対象物領域の検出精度の向上を図ることができる。また、劣化領域の検出には、第１の実施形態に係る画像処理装置１０と同様に、処理対象の画像を分割した分割画像を用いる。そのため、劣化領域の画素数を減らすことなく、劣化領域を検出することができるので、劣化領域の検出の高精度化を図ることができる。また、処理対象を圧縮した圧縮画像および処理対象の画像を分割した分割画像を用いて、対象物領域および劣化領域を検出することで、検出に必要な処理性能の高度化を抑制することができる。
　次に、本実施形態に係る画像処理装置１０Ａの動作について説明する。
　図１４は、本実施形態に係る画像処理装置１０Ａの動作の一例を示すフローチャートであり、本実施形態に係る画像処理装置１０Ａによる画像処理方法について説明するための図である。
　画像分割部１２は、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する（ステップＳ４１）。
　画像圧縮部１６は、処理対象の画像を所定のサイズに圧縮する（ステップＳ４２）。
　対象物領域検出部１７は、画像圧縮部１６により圧縮された画像における、対象物の画素領域である対象物領域を検出する（ステップＳ４３）。
　劣化領域検出部１８は、複数の分割画像それぞれについて、対象物の劣化部分の画素領域である劣化領域を検出する（ステップＳ４４）。
　情報結合部１４Ａは、複数の分割画像それぞれについて検出された劣化領域の画像を、複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する（ステップＳ４５）。
　診断部１５は、圧縮画像における対象物領域の画像である対象物検出結果画像と劣化検出結果画像とに基づき、対象物の劣化を診断する（ステップＳ４６）。
　このように本実施形態においては、画像処理装置１０Ａは、画像分割部１２と、画像圧縮部１６と、対象物領域検出部１７と、劣化領域検出部１８と、情報結合部１４Ａと、診断部１５とを備える。画像分割部１２は、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する。画像圧縮部１６は、処理対象の画像を所定のサイズに圧縮する。対象物領域検出部１７は、圧縮された画像における対象物の画素領域である対象物領域を検出する。劣化領域検出部１８は、複数の分割画像のそれぞれについて、当該分割画像における対象物の劣化部分の画素領域である劣化領域を検出する。情報結合部１４Ａは、複数の分割画像それぞれについて検出された劣化領域の画像を、複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する。診断部１５は、圧縮された画像における対象物領域の画像である対象物検出結果画像と劣化検出結果画像とに基づき、対象物の劣化を診断する。
　また、本実施形態に係る画像処理装置１０Ａによる画像処理方法は、画像分割部１２が、所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割するステップ（ステップＳ４１）と、画像圧縮部１６が、処理対象の画像を所定のサイズに圧縮するステップ（ステップＳ４２）と、対象物領域検出部１７が、圧縮された画像における対象物の画素領域である対象物領域を検出するステップ（ステップＳ４３）と、劣化領域検出部１８が、複数の分割画像のそれぞれについて、当該分割画像における対象物の劣化部分の画素領域である劣化領域を検出するステップ（ステップＳ４４）と、情報結合部１４Ａが、複数の分割画像それぞれについて検出された劣化領域の画像を、複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成するステップ（ステップＳ４５）と、診断部１５が、圧縮された画像における対象物領域の画像である対象物検出結果画像と劣化検出結果画像とに基づき、対象物の劣化を診断するステップ（ステップＳ４６）とを含む。
　処理対象の画像を圧縮し、圧縮画像から対象物領域を検出することで、画像中の対象物の形状的特徴を維持したまま対象物領域を検出することができるので、対象物領域の検出精度の向上を図ることができる。また、劣化領域の検出には、処理対象の画像を分割した分割画像を用いることで、劣化領域の画素数を減らすことなく、劣化領域を検出することができるので、劣化領域の検出の高精度化を図ることができる。また、処理対象を圧縮した圧縮画像および処理対象の画像を分割した分割画像を用いて、対象物領域および劣化領域を検出することで、検出に必要な処理性能の高度化を抑制することができる。
　（第３の実施形態）
　図１５は、本開示の第３の実施形態に係る画像処理装置１０Ｂの構成例を示す図である。図１５において、図１と同様の構成には同じ符号を付し、説明を省略する。
　図１５に示すように、本実施形態に係る画像処理装置１０Ｂは、画像入力部１１と、画像分割部１２と、領域検出部１３と、情報結合部１４と、診断部１５と、画像切り出し部１９とを備える。本実施形態に係る画像処理装置１０Ｂは、第１の実施形態に係る画像処理装置１０と比較して、画像切り出し部１９を追加した点が異なる。
　画像切り出し部１９は、画像入力部１１に入力された入力画像から、所定の対象物を含む矩形領域の画像を処理対象の画像として切り出し、画像分割部１２に出力する。こうすることで、画像切り出し部１９以降の各ブロックに入力される画像のサイズが小さくなるので、計算処理の高速化を図ることができる。
　なお、図１５においては、第１の実施形態に係る画像処理装置１０に画像切り出し部１９が追加されて、画像処理装置１０Ｂが構成される例を用いて説明したが、これに限られるものではない。図１６に示すように、第２の実施形態に係る画像処理装置１０Ａに画像切り出し部１９が追加されて、画像処理装置１０Ｃが構成されてもよい。この場合、画像入力部１１は、入力画像を画像切り出し部１９に出力し、画像切り出し部１９は、入力画像から所定の対象物を含む矩形領域の画像を切り出し、画像分割部１２および画像圧縮部１６に出力する。
　次に、上述した各実施形態に係る画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃのハードウェア構成について説明する。
　図１７は、上述した各実施形態に係る画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃのハードウェア構成の一例を示す図である。図１７においては、画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃがプログラム命令を実行可能なコンピュータにより構成される場合の、画像処理装置１０のハードウェア構成の一例を示している。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
　図１７に示すように、画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃは、プロセッサ２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、ストレージ２４、入力部２５、表示部２６および通信インタフェース（Ｉ／Ｆ）２７を有する。各構成は、バス２９を介して相互に通信可能に接続されている。プロセッサ２１は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。
　プロセッサ２１は、各構成の制御および各種の演算処理を実行する制御部である。すなわち、プロセッサ２１は、ＲＯＭ２２またはストレージ２４からプログラムを読み出し、ＲＡＭ２３を作業領域としてプログラムを実行する。プロセッサ２１は、ＲＯＭ２２あるいはストレージ２４に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ２２またはストレージ２４には、コンピュータを本開示に係る画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃとして機能させるためのプログラムが格納されている。当該プログラムがプロセッサ２１により読み出されて実行されることで、上述した画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃの各構成が実現される。
　プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　ＲＯＭ２２は、各種プログラムおよび各種データを格納する。ＲＡＭ２３は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ２４は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラムおよび各種データを格納する。
　入力部２５は、マウスなどのポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
　表示部２６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部２６は、タッチパネル方式を採用して、入力部２５として機能してもよい。
　通信インタフェース２７は、他の装置と通信するためのインタフェースであり、例えば、ＬＡＮ用のインタフェースである。例えば、通信インタフェース２７を介して、画像入力部１１は、切り出し画像の切り出しの対象となる画像が入力される。また、例えば、通信インタフェース２７を介して、規格化後の切り出し画像を外部に出力する。
　上述した画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃの各部として機能させるためにコンピュータを好適に用いることが可能である。そのようなコンピュータは、画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃの各部の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができる。すなわち、当該プログラムは、コンピュータを、上述した画像処理装置１０，１０Ａ，１０Ｂ，１０Ｃとして機能させることができる。また、当該プログラムを非一時的記憶媒体に記録することも可能である。また、当該プログラムを、ネットワークを介して提供することも可能である。
　以上の実施形態に関し、更に以下の付記を開示する。
　［付記項１］
　メモリと、
　前記メモリに接続された制御部と、
を備え、
　前記制御部は、
　所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割し、
　前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の画素領域である対象物領域、および、前記対象物の劣化部分の画素領域である劣化領域を検出し、
　前記複数の分割画像それぞれについて検出された前記対象物領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成し、
　前記対象物検出結果画像および前記劣化検出結果画像に基づき、前記対象物の劣化を診断する、画像処理装置。
　［付記項２］
　メモリと、
　前記メモリに接続された制御部と、
を備え、
　前記制御部は、
　所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割し、
　前記処理対象の画像を所定のサイズに圧縮し、
　前記圧縮された画像における前記対象物の画素領域である対象物領域を検出し、
　前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の劣化部分の画素領域である劣化領域を検出し、
　前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成し、
　前記圧縮された画像における前記対象物領域の画像である対象物検出結果画像と前記劣化検出結果画像とに基づき、前記対象物の劣化を診断する、画像処理装置。
　［付記項３］
　付記項１に記載の画像処理装置において、
　前記制御部は、前記分割画像の幅方向のサイズと前記処理対象の画像の幅方向の分割数との積が前記処理対象の画像の幅方向のサイズ以上となるように、前記処理対象の画像の幅方向の分割数を決定し、前記分割画像の高さ方向のサイズと前記処理対象の画像の高さ方向の分割数との積が前記処理対象の画像の高さ方向のサイズ以上となるように、前記処理対象の画像の高さ方向の分割数を決定する、画像処理装置。
　［付記項４］
　付記項３に記載の画像処理装置において、
　前記制御部は、高さ方向および幅方向にそれぞれ前記決定した分割数だけ分割画像を並べて形成される前記分割画像の和領域が前記処理対象の画像よりも大きい場合、前記分割画像の和領域の中心と、前記処理対象の画像の中心とが一致するようにして、前記処理対象の画像を前記複数の分割画像に分割する、画像処理装置。
　［付記項５］
　付記項４に記載の画像処理装置において、
　前記制御部は、高さ方向および幅方向にそれぞれ前記決定した分割数だけ分割画像を並べて形成される前記分割画像の和領域が前記処理対象の画像よりも大きい場合、隣接する分割画像同士を重畳させることで、前記分割画像の和領域のサイズを前記処理対象の画像のサイズに一致させる、画像処理装置。
　［付記項６］
　付記項１に記載の画像処理装置において、
　前記制御部は、入力画像から、前記所定の対象物を含む矩形領域の画像を前記処理対象の画像として切り出す、画像処理装置。
　［付記項７］
　画像処理装置による画像処理方法であって、
　所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割し、
　前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の画素領域である対象物領域、および、前記対象物の劣化部分の画素領域である劣化領域を検出し、
　前記複数の分割画像それぞれについて検出された前記対象物領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成し、
　前記対象物検出結果画像および前記劣化検出結果画像に基づき、前記対象物の劣化を診断する、画像処理方法。
　［付記項８］
　コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを、付記項１に記載の画像処理装置として動作させる、プログラムを記憶した非一時的記憶媒体。
　上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１０，１０Ａ，１０Ｂ，１０Ｃ　　画像処理装置
　１１，１１Ａ　　画像入力部
　１２　　画像分割部
　１３　　領域検出部
　１４，１４Ａ　　情報結合部
　１５　　診断部
　１６　　画像圧縮部
　１７　　対象物領域検出部
　１８　　劣化領域検出部
　１９　　画像切り出し部
　１２１　　分割数決定部
　１２２　　分割実行部
　１３１　　モデル構築部
　１３２，１７２　　対象物検出部
　１３３，１８２　　劣化検出部
　１３１１，１７１　　対象物検出学習部
　１３１２，１８１　　劣化検出学習部
　２１　　プロセッサ
　２２　　ＲＯＭ
　２３　　ＲＡＭ
　２４　　ストレージ
　２５　　入力部
　２６　　表示部
　２７　　通信Ｉ／Ｆ
　２９　　バス

Claims (8)

  1. 　所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する画像分割部と、
    　前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の画素領域である対象物領域、および、前記対象物の劣化部分の画素領域である劣化領域を検出する領域検出部と、
    　前記複数の分割画像それぞれについて検出された前記対象物領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する情報結合部と、
    　前記対象物検出結果画像および前記劣化検出結果画像に基づき、前記対象物の劣化を診断する診断部と、を備える画像処理装置。
  2. 　所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割する画像分割部と、
    　前記処理対象の画像を所定のサイズに圧縮する画像圧縮部と、
    　前記圧縮された画像における前記対象物の画素領域である対象物領域を検出する対象物領域検出部と、
    　前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の劣化部分の画素領域である劣化領域を検出する劣化領域検出部と、
    　前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成する情報結合部と、
    　前記圧縮された画像における前記対象物領域の画像である対象物検出結果画像と前記劣化検出結果画像とに基づき、前記対象物の劣化を診断する診断部と、を備える画像処理装置。
  3. 　請求項１または２に記載の画像処理装置において、
    　前記画像分割部は、前記分割画像の幅方向のサイズと前記処理対象の画像の幅方向の分割数との積が前記処理対象の画像の幅方向のサイズ以上となるように、前記処理対象の画像の幅方向の分割数を決定し、前記分割画像の高さ方向のサイズと前記処理対象の画像の高さ方向の分割数との積が前記処理対象の画像の高さ方向のサイズ以上となるように、前記処理対象の画像の高さ方向の分割数を決定する、画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記画像分割部は、高さ方向および幅方向にそれぞれ前記決定した分割数だけ分割画像を並べて形成される前記分割画像の和領域が前記処理対象の画像よりも大きい場合、前記分割画像の和領域の中心と、前記処理対象の画像の中心とが一致するようにして、前記処理対象の画像を前記複数の分割画像に分割する、画像処理装置。
  5. 　請求項３に記載の画像処理装置において、
    　前記画像分割部は、高さ方向および幅方向にそれぞれ前記決定した分割数だけ分割画像を並べて形成される前記分割画像の和領域が前記処理対象の画像よりも大きい場合、隣接する分割画像同士を重畳させることで、前記分割画像の和領域のサイズを前記処理対象の画像のサイズに一致させる、画像処理装置。
  6. 　請求項１から５のいずれか一項に記載の画像処理装置において、
    　入力画像から、前記所定の対象物を含む矩形領域の画像を前記処理対象の画像として切り出す画像切り出し部をさらに備える、画像処理装置。
  7. 　画像処理装置による画像処理方法であって、
    　所定の対象物を含む処理対象の画像を所定のサイズの複数の分割画像に分割するステップと、
    　前記複数の分割画像のそれぞれについて、当該分割画像における前記対象物の画素領域である対象物領域、および、前記対象物の劣化部分の画素領域である劣化領域を検出するステップと、
    　前記複数の分割画像それぞれについて検出された前記対象物領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した対象物検出結果画像、および、前記複数の分割画像それぞれについて検出された前記劣化領域の画像を、前記複数の分割画像の位置関係を維持したまま結合した劣化検出結果画像を生成するステップと、
    　前記対象物検出結果画像および前記劣化検出結果画像に基づき、前記対象物の劣化を診断するステップと、を含む画像処理方法。
  8. 　コンピュータを、請求項１から６のいずれか一項に記載の画像処理装置として動作させる、プログラム。
PCT/JP2022/004978 2022-02-08 2022-02-08 画像処理装置、画像処理方法およびプログラム WO2023152810A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/004978 WO2023152810A1 (ja) 2022-02-08 2022-02-08 画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/004978 WO2023152810A1 (ja) 2022-02-08 2022-02-08 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2023152810A1 true WO2023152810A1 (ja) 2023-08-17

Family

ID=87563833

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004978 WO2023152810A1 (ja) 2022-02-08 2022-02-08 画像処理装置、画像処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023152810A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014807A1 (ja) * 2019-07-22 2021-01-28 キヤノン株式会社 情報処理装置及び情報処理方法及びプログラム
WO2021186640A1 (ja) * 2020-03-18 2021-09-23 日本電信電話株式会社 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014807A1 (ja) * 2019-07-22 2021-01-28 キヤノン株式会社 情報処理装置及び情報処理方法及びプログラム
WO2021186640A1 (ja) * 2020-03-18 2021-09-23 日本電信電話株式会社 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム

Similar Documents

Publication Publication Date Title
US10964038B2 (en) Method and apparatus for mapping three-dimensional point cloud data, and storage medium
US11861816B2 (en) System and method for detecting image forgery through convolutional neural network and method for providing non-manipulation detection service using the same
EP3859606A1 (en) Training program, training method, and information processing apparatus
JP2022028870A (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
US20230362328A1 (en) Video frame insertion method and apparatus, and electronic device
JP6105950B2 (ja) 画像処理装置およびその方法
WO2023152810A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
JP2018151994A (ja) 画像処理方法、画像処理プログラム、及び画像処理装置
WO2021186640A1 (ja) 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム
US11922659B2 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
WO2023152809A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN113361519B (zh) 目标处理方法、目标处理模型的训练方法及其装置
US20240119605A1 (en) Object detection device, method, and program
WO2022130496A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2010109637A (ja) 通信装置、画像送信方法、画像送信プログラム、表示装置、通信方法、および通信プログラム
JP2014099848A (ja) イメージ分割システム及びその方法
JP2021184163A (ja) 学習装置、クラック検出装置、学習方法、クラック検出方法
US20240119601A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
WO2023089881A1 (ja) 画像処理装置、画像処理方法およびプログラム
KR102622941B1 (ko) 작은 객체의 검출 및 인식 성능 향상을 위한 영상 처리 장치 및 방법
JP5562774B2 (ja) 図形修正装置
CN116468977B (zh) 一种视觉检测模型的对抗鲁棒性评估方法及装置
US11508083B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
EP3859668A1 (en) Estimation processing program, estimation processing method and information processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925832

Country of ref document: EP

Kind code of ref document: A1