WO2023073972A1 - 領域検出装置、領域検出方法、及びプログラム - Google Patents

領域検出装置、領域検出方法、及びプログラム Download PDF

Info

Publication number
WO2023073972A1
WO2023073972A1 PCT/JP2021/040165 JP2021040165W WO2023073972A1 WO 2023073972 A1 WO2023073972 A1 WO 2023073972A1 JP 2021040165 W JP2021040165 W JP 2021040165W WO 2023073972 A1 WO2023073972 A1 WO 2023073972A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
line segment
captured image
area
unit
Prior art date
Application number
PCT/JP2021/040165
Other languages
English (en)
French (fr)
Inventor
勇臣 濱野
一旭 渡邉
大輔 内堀
洋介 櫻田
淳 荒武
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023556076A priority Critical patent/JPWO2023073972A1/ja
Priority to PCT/JP2021/040165 priority patent/WO2023073972A1/ja
Publication of WO2023073972A1 publication Critical patent/WO2023073972A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation

Definitions

  • the present disclosure relates to an area detection device, an area detection method, and a program.
  • an example will be described in which an area showing an image of a linear band-shaped object is detected from a captured image described with reference to FIG. 13A.
  • the objects are pipelines PL1 and PL2.
  • the images of the channels PL1 and PL2 extend obliquely with respect to the pixel array direction (x-axis direction).
  • the object areas (areas where the images of the pipeline PL1 and the pipeline PL2 are shown) in the captured image described with reference to FIG. 13A are the area R1_true and the area R2_true shown in FIG. 13B, respectively.
  • the target object region R90 is detected in FIG. is recognized as indicating one object.
  • the target object region R90 does not include part of the region where the images of the pipeline PL1 and the pipeline PL2 are shown, resulting in non-detection.
  • an example will be described in which an area representing a linear band-shaped object image is detected from the captured image described with reference to FIG. 14A.
  • the objects are pipeline PL1 and pipeline PL2.
  • the images of the pipelines PL1 and PL2 extend in a direction substantially orthogonal to the pixel arrangement direction (x-axis direction).
  • the regions where the images of the pipeline PL1 and the pipeline PL2 are shown are the region R1_true and the region R2_true shown in FIG. 14B, respectively.
  • each of the target object regions R91 and R92 in the ranges of the rectangles N91 and N92 indicates one target object.
  • the entire regions where the images of pipelines PL1 and PL2 are shown are included in target object regions R91 and R92, respectively, and no non-detection occurs.
  • Non-Patent Document 1 in a captured image generated by capturing an image of an object in a state in which the inspection surface is tilted with respect to the imaging surface, an inspection surface with respect to the imaging surface It is described that the tilt correction is performed so that the Further, it is known that tilt correction uses affine transformation for performing projective transformation by setting four points in the peripheral region of the image of the object.
  • Image processing service Image-based infrastructure structure inspection service Inspection EYE for infrastructure: Canon, [online], [searched on October 14, 2021], Internet ⁇ URL: https://cweb.canon.jp/imaging-solutions /lineup/inspection-eye/image-processing/>
  • the detected object area may not include part of the area where the image of the pipeline is shown. may not be possible.
  • An object of the present disclosure which has been made in view of such circumstances, is to provide an area detection device, an area detection method, and a program capable of detecting an object area with high accuracy.
  • an area detection device includes a line segment detection unit that detects a line segment from a captured image including an image of an object having a linear belt shape, and a main line segment extraction unit for extracting a main line segment that is the line segment, and correcting a rotated image obtained by rotating the captured image so that the main line segment is perpendicular or parallel to the pixel arrangement direction in the captured image.
  • a correction unit that generates an image
  • an area detection unit that detects an object area representing the image of the object from the corrected image.
  • a region detection method includes steps of detecting a line segment from a captured image including an image of an object having a linear belt shape, and detecting a line segment having a length of a predetermined value or more extracting a main line segment, which is the line segment, and generating a rotated image as a corrected image by rotating the captured image so that the main line segment is perpendicular or parallel to the arrangement direction of pixels in the captured image. and detecting an object region indicative of the image of the object from the corrected image.
  • a program according to the present disclosure causes a computer to function as the area detection device described above.
  • the target area can be detected with high accuracy.
  • FIG. 1 is a schematic diagram of an area detection system according to a first embodiment
  • FIG. 2 is a diagram showing an example of a captured image acquired by the image acquisition device shown in FIG. 1
  • FIG. 2B is a diagram showing line segments extracted from the captured image shown in FIG. 2A
  • FIG. 2B is a diagram in which main line segments detected from the line segments shown in FIG. 2B are emphasized in the captured image shown in FIG. 2A
  • FIG. 2D is a diagram showing the angle of the direction in which the main line extends in the captured image shown in FIG. 2C with respect to the pixel arrangement direction
  • 3B is a diagram showing a rotated image obtained by rotating the captured image shown in FIG. 3A
  • FIG. 3B is a diagram showing a rotated image obtained by rotating the captured image shown in FIG. 3A
  • FIG. 3B is a diagram showing a rotated image obtained by rotating the captured image shown in FIG. 3A
  • FIG. 3B is a diagram showing a rotated image obtained by rotating the captured
  • FIG. 3C is a diagram showing an example of a corrected image obtained by reducing the captured image shown in FIG. 3B;
  • FIG. 3C is a diagram showing another example of a corrected image obtained by reducing the captured image shown in FIG. 3B;
  • FIG. Figure 3B shows an image having the same size as the captured image, including a portion of the rotated image shown in Figure 3B;
  • FIG. 3D is a diagram showing object region information generated from the corrected image shown in FIG. 3C;
  • 2 is a flow chart showing an example of the operation in the area detection device shown in FIG. 1;
  • FIG. 2 is a schematic diagram of an area detection system according to a second embodiment;
  • 8 is a flow chart showing an example of the operation in the area detection device shown in FIG. 7;
  • FIG. 3 is a schematic diagram of an area detection system according to a third embodiment
  • FIG. 10 is a flow chart showing an example of the operation in the area detection device shown in FIG. 9
  • FIG. FIG. 6 is a diagram in which the object area information shown in FIG. 5 is reversely rotated
  • 2 is a hardware block diagram of an area detection device
  • FIG. It is a figure which shows an example of a captured image.
  • 13B is a diagram showing a target object area in the captured image shown in FIG. 13A
  • FIG. 13B is a diagram showing a target object region detected from the captured image shown in FIG. 13A
  • FIG. FIG. 10 is a diagram showing another example of a captured image
  • 14B is a diagram showing a target object region in the captured image shown in FIG. 14A
  • FIG. 14B is a diagram showing a target object region detected from the captured image shown in FIG. 14A
  • FIG. 14B is a diagram showing a target object region detected from the captured image shown in FIG. 14A
  • the area detection system 100 includes an image acquisition device 1, an image storage device 2, an area detection device 3, and a data storage device 4.
  • the image acquisition device 1 may be configured by a camera including an optical element, an imaging element, and an output interface.
  • An output interface is an interface for outputting information.
  • the image acquisition device 1 acquires a captured image of an object having a linear belt shape.
  • the captured image is composed of pixels arranged two-dimensionally in a predetermined direction (x-axis direction) and in a direction orthogonal to the predetermined direction (y-axis direction).
  • the captured image is preferably an RGB image.
  • the object can be a member to be inspected.
  • An object having a linear band shape can be a member extending in one direction and constituting a structure.
  • the objects having a linear belt shape are pipeline PL1 and pipeline PL2.
  • pipeline PL1 and pipeline PL2 may be simply referred to as "pipeline PL".
  • the image of the pipeline PL extends obliquely with respect to the pixel arrangement direction (x-axis direction).
  • the captured image includes, in addition to the pipeline PL, images of structures such as walls, beams, and ceilings of the building in which the pipeline PL is arranged.
  • the outline Ct of the image of the structure is represented.
  • the captured image also includes images of the damaged portion Cr of the structure and the damaged portion Rs including rust, dirt, defects, etc. of the pipeline PL.
  • the symbols Ct, Cr, and Rs are attached only to the outline of the structure, the damaged portion of the structure, and part of the damaged portion of the pipeline PL, respectively.
  • the image acquisition device 1 outputs the captured image to the image storage device 2 .
  • the image storage device 2 shown in FIG. 1 can be a PC (Personal Computer), a tablet terminal, or the like.
  • the image storage device 2 may be configured by a computer with memory, controller, input interface and output interface.
  • the memory may be composed of HDD (Hard Disk Drive), SSD (Solid State Drive), EEPROM (Electrically Erasable Programmable Read-Only Memory), ROM (Read-Only Memory), RAM (Random Access Memory), and the like.
  • the controller may be composed of dedicated hardware such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array), may be composed of a processor, or may be composed of both. good.
  • the input interface can be a pointing device, keyboard, mouse, or the like.
  • the input interface may also be an interface that accepts input of information received by the communication interface.
  • Standards such as Ethernet (registered trademark), FDDI (Fiber Distributed Data Interface), and Wi-Fi (registered trademark) may be used for the communication interface.
  • the image storage device 2 receives input of the captured image acquired by the image acquisition device 1 and stores the captured image.
  • the image storage device 2 also outputs the captured image to the area detection device 3 .
  • the area detection device 3 includes an input unit 31 , a line segment detection unit 32 , a main line segment extraction unit 33 , a correction unit 34 , an area detection unit 35 and an output unit 36 .
  • the input unit 31 is configured by an input interface.
  • the line segment detection unit 32, the main line segment extraction unit 33, the correction unit 34, and the area detection unit 35 are configured by a controller.
  • the output unit 36 is configured by an output interface.
  • the input unit 31 receives input of image data representing a captured image such as the example shown in FIG. 2A, which is stored in the image storage device 2 .
  • the input unit 31 may receive input of image data from the image acquisition device 1 without going through the image storage device 2 .
  • the input unit 31 may be configured by an input interface and may be further configured by a controller. In such a configuration, the input unit 31 may assign an identifier for uniquely identifying the image data to the received image data.
  • the identifier can be, for example, a number. Also, the identifier can be a number incremented by a predetermined value in the order in which the image data is input. The predetermined value can be 1.
  • the line segment detection unit 32 performs preprocessing for the captured image indicated by the image data whose input is accepted by the input unit 31 so that the area detection unit 35, which will be described later in detail, performs processing. Specifically, the line segment detection unit 32 detects a line segment from a captured image including an image of an object having a linear belt shape.
  • the line segment detection unit 32 can detect line segments from the captured image using general image processing methods such as Hough transform, probabilistic Hough transform, and LSD (Line Segment Detector). For example, the line segment detection unit 32 uses the Hough transform to detect line segments as shown in white in FIG. 2B from the captured image illustrated in FIG. 2A.
  • the main line segment extraction unit 33 extracts the main line segment SL, which is a line segment having a length equal to or greater than a predetermined value, as shown in FIG. 2C, from the line segments detected by the line segment detection unit 32 .
  • the predetermined value is a value larger than the detection threshold described above, and can be appropriately set according to the size of the object, the setting of the image acquisition device 1, the distance between the image acquisition device 1 and the object, and the like.
  • the main line segment extraction unit 33 may also extract the main line segment SL, which is the line segment having the maximum length, from the line segments detected by the line segment detection unit 32 .
  • line segments A plurality of line segments having various lengths are detected by the detection unit 32 .
  • the main line segment SL which is a line segment having a length equal to or greater than a predetermined value, is , is a line segment extending in the extending direction of the image of the pipeline PL. That is, the main line segment extraction unit 33 can extract a line segment extending in the extension direction of the object as the main line segment SL.
  • the line segment detection unit 32 described above may detect line segments having a length equal to or greater than a preset detection threshold, or may detect all line segments. In a configuration that detects all line segments, the line segment detection unit 32 can detect more line segments than in the case of detecting line segments having a length equal to or greater than a preset detection threshold. As a result, the main line segment extraction unit 33 extracts the main line segments SL from more line segments, so that the main line segments SL can be extracted with higher accuracy.
  • the correction unit 34 generates, as a corrected image, a rotated image obtained by rotating the captured image such that the main line segment SL is perpendicular or parallel to the arrangement direction of the pixels in the captured image.
  • the correction unit 34 determines an angle ⁇ (Fig. 3A) is calculated.
  • the correction unit 34 generates a rotated image by rotating the captured image so that the angle ⁇ is 0° or 90°.
  • the correction unit 34 may rotate the captured image by (90° ⁇ ) with the center of the captured image as the center point of rotation so that the angle ⁇ is 90°.
  • the correction unit 34 generates an image obtained by rotating the captured image about an arbitrary point of the captured image, and translates the image so that the center of the image coincides with the center of the captured image, thereby obtaining the rotated image. may be generated.
  • the correction unit 34 may generate a rotated image obtained by rotating the captured image using, for example, an image processing library such as Opencv or pillow, or image processing software. At this time, the correction unit 34 preferably uses affine transformation to rotate the captured image based on an arbitrary angle ⁇ .
  • the correction unit 34 may generate, as the corrected image, an image obtained by reducing the rotated image so that the entire rotated image is included in the entire area of the captured image. Specifically, the correction unit 34 may generate a corrected image by reducing the rotated image so that the entire area of the captured image includes the entire rotated image. As shown in FIG. 3C, the correction unit 34 may generate a corrected image by reducing the rotated image so that the area is maximized while the entire rotated image is included in the entire area of the captured image. Further, as shown in FIG. 3D, the correction unit 34 may generate a corrected image in which the rotated image is further reduced compared to the case shown in FIG. 3C.
  • the correction unit 34 generates a corrected image by reducing the rotated image, thereby suppressing the occurrence of missing portions.
  • the correcting unit 34 generates the corrected image, so that the image of the pipeline PL extends in the direction horizontal or vertical to the arrangement direction of the pixels in the corrected image. For this reason, the aspect ratio of the rectangle formed by line segments along the pixel arrangement direction surrounding the image of the pipeline PL is increased.
  • the area detection unit 35 detects an object area representing the image of the object from the corrected image.
  • the area detection unit 35 can detect the object area by any method.
  • the area detection unit 35 can detect the object area by a technique using deep learning.
  • the area detection unit 35 may detect the image of the inspection object by using a bounding box (for example, YOLO (You Only Look Once)).
  • the image of the inspection object may be detected by using segmentation by class, such as by segmentation (eg, Mask-R-CNN).
  • the output unit 36 outputs object area information indicating the object area detected by the area detection unit 35 .
  • the object area information can be, for example, information indicating an image in which the object area of the corrected image is given a predetermined color or pattern.
  • the object region information can be information indicating an image obtained by superimposing a rectangle surrounding the object region on the corrected image.
  • the object area information is such that the object areas R1 and R2 of the corrected image are given a predetermined pattern (halftone pattern), and rectangles N1 and N2 surrounding the object areas R1 and R2 are superimposed. This is information indicating an image that has been drawn.
  • hatching indicating the image of the damaged portion Rs of the pipeline PL shown in FIGS. 2A, 2C, and 3A to 3D is omitted.
  • the output unit 36 may output the object region information to the data storage device 4 via the communication network.
  • the output unit 36 may output the target object region information to a display device configured by an organic EL (Electro Luminescence), liquid crystal panel, or the like.
  • the data storage device 4 shown in FIG. 1 is composed of a computer having a memory, a controller, and an input interface.
  • the data storage device 4 stores the object region information output from the region detection device 3 .
  • FIG. 6 is a flow chart showing an example of the operation of the area detection device 3 according to the first embodiment.
  • the operation of the area detection device 3 described with reference to FIG. 6 corresponds to an example of the area detection method of the area detection device 3 according to the first embodiment.
  • step S ⁇ b>11 the input unit 31 receives input of image data representing the captured image stored in the image storage device 2 .
  • the input unit 31 may receive input of image data from the image acquisition device 1 without going through the image storage device 2 .
  • step S12 the line segment detection unit 32 detects line segments from the captured image including the image of the object having a linear belt shape.
  • the captured image is the captured image indicated by the image data whose input is accepted in step S11.
  • step S13 the main line segment extraction unit 33 extracts the main line segment SL, which is a line segment having a length equal to or greater than a predetermined value.
  • step S14 the correction unit 34 generates a rotated image as a corrected image by rotating the captured image so that the main line segment SL is perpendicular or parallel to the pixel arrangement direction in the captured image.
  • the correction unit 34 may generate, as the corrected image, an image obtained by reducing the rotated image so that the entire rotated image is included in the entire area of the captured image.
  • step S15 the area detection unit 35 detects an object area representing the image of the object from the corrected image.
  • step S16 the output unit 36 outputs object area information indicating the object area.
  • the area detection device 3 does not have to execute step S1.
  • the line segment detection unit 32 may detect line segments from a captured image that is stored in advance in the area detection device 3 or generated by the area detection device 3 .
  • the area detection device 3 does not have to execute step S16.
  • the area detection device 3 may include a storage section configured by a memory, and the storage section may store the target object area information.
  • the area detection device 3 includes the line segment detection unit 32 for detecting a line segment from a captured image including an image of an object having a linear belt shape, and a predetermined value and a main line segment extraction unit 33 for extracting a main line segment SL, which is a line segment having a length equal to or greater than the length of the main line segment SL.
  • a correction unit 34 that generates a rotated image as a corrected image
  • a region detection unit 35 that detects a target object region representing an image of the target object from the corrected image.
  • the area detection device 3 of the present embodiment generates a corrected image by rotating and reducing the picked-up image so that the main line segment SL is perpendicular or parallel to the arrangement direction of the pixels. Therefore, in the corrected image, the image of the object extends in the pixel arrangement direction.
  • the area detection device 3 can detect the object area with high accuracy. Along with this, the area detection device 3 can inspect the object with higher accuracy by further extracting the area where the object is damaged in the object area. can appropriately maintain the safety of buildings, facilities, etc.
  • an area detection system 100-1 includes an image acquisition device 1, an image storage device 2, an area detection device 3-1, and a data storage device 4.
  • the area detection device 3-1 includes an input unit 31, a line segment detection unit 32, a main line segment extraction unit 33, a correction unit 34, an area detection unit 35, an output unit 36, and an edge detection unit 37.
  • the edge detection unit 37 is configured by a controller.
  • the edge detection unit 37 detects edges from the captured image. Specifically, the edge detection unit 37 detects edges based on luminance discontinuity in the captured image. For example, the edge detection unit 37 calculates a difference in brightness between a pixel in the captured image and a pixel adjacent to the pixel, and detects a pixel whose absolute value of the difference is greater than a predetermined edge threshold as an edge. can be done.
  • the line segment detection unit 32 detects line segments from the edges detected by the edge detection unit 37 .
  • FIG. 8 is a flow chart showing an example of the operation of the area detection device 3-1 according to the second embodiment.
  • the operation of the area detection device 3-1 described with reference to FIG. 8 corresponds to an example of the area detection method of the area detection device 3-1 according to the second embodiment.
  • the area detection device 3-1 executes the process of step S21.
  • the processing of step S21 is the same as the processing of step S11 in the first embodiment.
  • step S22 the edge detection unit 37 detects edges from the captured image.
  • step S23 the line segment detection unit 32 detects line segments from the edges detected in step S22.
  • the area detection device 3-1 executes the processing from step S24 to step S27.
  • the processing from step S24 to step S27 is the same as the processing from step S13 to step S16 in the first embodiment.
  • the region detection device 3-1 further includes the edge detection unit 37 for detecting edges from the captured image, and the line segment detection unit 32 detects line segments from the edges. do.
  • the area detection device 3-1 can more appropriately generate a corrected image so that the image of the object extends in the pixel arrangement direction by detecting the boundary of the image of the object. . Therefore, the area detection device 3-1 can detect the object area with higher accuracy than a configuration that detects line segments directly from the captured image.
  • an area detection system 100-2 includes an image acquisition device 1, an image storage device 2, an area detection device 3-2, and a data storage device 4.
  • the area detection device 3-2 includes an input unit 31, a line segment detection unit 32, a main line segment extraction unit 33, a correction unit 34, an area detection unit 35, an output unit 36, an edge detection unit 37, noise and a removing unit 38 .
  • the noise remover 38 is configured by a controller.
  • the noise removal unit 38 removes noise that is an edge shorter than a predetermined edge threshold among the edges detected by the edge detection unit 37 .
  • the line segment detection unit 32 detects line segments from edges detected by the edge detection unit 37 and not removed by the noise removal unit 38 .
  • FIG. 10 is a flow chart showing an example of the operation of the area detection device 3-2 according to the third embodiment.
  • the operation of the area detection device 3-2 described with reference to FIG. 10 corresponds to an example of the area detection method of the area detection device 3-2 according to the third embodiment.
  • the area detection device 3-2 executes the processes of steps S31 and S32.
  • the processing of steps S31 and S32 is the same as the processing of steps S21 and S22 in the second embodiment.
  • step S33 the noise removal unit 38 removes noise that is an edge shorter than a predetermined edge threshold among the edges detected by the edge detection unit 37.
  • step S34 the line segment detection unit 32 detects line segments from the edges detected by the edge detection unit 37 and not removed by the noise removal unit 38.
  • step S35 to step S38 executes the processing from step S35 to step S38.
  • the processing from step S35 to step S38 is the same as the processing from step S24 to step S27 in the second embodiment.
  • the region detection device 3-2 further includes the noise removal unit 38 for removing noise that is an edge shorter than a predetermined edge threshold among edges, and detects line segments.
  • the unit 32 detects line segments from the edges detected by the edge detection unit 37 and not removed by the noise removal unit 38 .
  • the area detection device 3-2 can suppress erroneous detection of line segments, thereby detecting the object area with high accuracy.
  • the area detection device 3 may further include a reverse rotation correction section.
  • the reverse rotation correction unit rotates the image indicated by the object area information as shown in FIG. 5 by an angle ( ⁇ 90°) to generate a reverse rotation image as shown in FIG.
  • the reverse rotation correction unit rotates the image indicated by the object area information by the same angle in the direction opposite to the direction in which the correction unit 34 rotated the captured image, thereby generating the reverse rotation image.
  • the output unit 36 may output information indicating the reverse rotation image as the target object area information to the data storage device 4, the display device, or the like.
  • the area detection device 3-1 of the second embodiment may further include a reverse rotation correction section
  • the area detection apparatus 3-2 of the third embodiment may further include a reverse rotation correction section. .
  • FIG. 12 is a block diagram showing a schematic configuration of a computer 101 functioning as each of the area detection devices 3, 3-1 and 3-2.
  • the computer 101 may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like.
  • Program instructions may be program code, code segments, etc. for performing the required tasks.
  • the computer 101 includes a processor 110, a ROM (Read Only Memory) 120, a RAM (Random Access Memory) 130, a storage 140, an input unit 150, an output unit 160, and a communication interface ( I/F) 170.
  • the processor 110 is specifically a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc. may be configured by a plurality of processors of
  • the processor 110 controls each component and executes various arithmetic processes. That is, processor 110 reads a program from ROM 120 or storage 140 and executes the program using RAM 130 as a work area. The processor 110 performs control of each configuration and various arithmetic processing according to programs stored in the ROM 120 or the storage 140 . In the above-described embodiment, the ROM 120 or storage 140 stores the program according to the present disclosure.
  • the program may be stored in a storage medium readable by the computer 101. By using such a storage medium, it is possible to install the program in the computer 101 .
  • the storage medium storing the program may be a non-transitory storage medium.
  • the non-temporary storage medium is not particularly limited, but may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like.
  • this program may be downloaded from an external device via a network.
  • the ROM 120 stores various programs and various data.
  • RAM 130 temporarily stores programs or data as a work area.
  • the storage 140 is configured by a HDD (Hard Disk Drive) or SSD (Solid State Drive) and stores various programs including an operating system and various data.
  • the input unit 150 includes one or more input interfaces that receive user's input operations and acquire information based on the user's operations.
  • the input unit 150 is a pointing device, keyboard, mouse, etc., but is not limited to these.
  • the output unit 160 includes one or more output interfaces that output information.
  • the output unit 160 is a display that outputs information as video or a speaker that outputs information as audio, but is not limited to these.
  • the output unit 160 also functions as the input unit 150 in the case of a touch panel type display.
  • a communication interface (I/F) 170 is an interface for communicating with an external device.
  • the controller is detecting edges from the captured image; 3. The area detection device according to item 1 or 2, wherein the line segment detection unit detects the line segment from the edge. (Appendix 4) The controller is Remove noise that is an edge shorter than a predetermined edge threshold among the edges, 4. The area detection device according to claim 3, wherein the line segment is detected from the non-removed edge detected from the corrected image. (Appendix 5) 5. The area detection device according to any one of additional items 1 to 4, wherein the controller extracts a main line segment that is the line segment having the maximum length.
  • (Appendix 6) a step of detecting a line segment from a captured image including an image of an object having a linear belt shape; a step of extracting a main line segment that is the line segment having a length equal to or greater than a predetermined value; generating, as a corrected image, a rotated image obtained by rotating the captured image such that the main line segment is perpendicular or parallel to the arrangement direction of pixels in the captured image; detecting an object region representing an image of the object from the corrected image; Region detection method, including (Appendix 7) A non-temporary storage medium storing a program executable by a computer, the non-temporary storage medium storing the program for causing the computer to function as the area detection device according to any one of additional items 1 to 5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る領域検出装置（１）は、直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出する線分検出部（３２）と、所定値以上の長さを有する線分である主線分（ＳＬ）を抽出する主線分抽出部（３３）と、主線分（ＳＬ）が撮像画像における画素の配列方向に対して垂直又は平行になるように撮像画像を回転させた回転画像を補正画像として生成する補正部（３４）と、補正画像から対象物の像を示す対象物領域を検出する領域検出部（３５）と、を備える。

Description

領域検出装置、領域検出方法、及びプログラム
　本開示は、領域検出装置、領域検出方法、及びプログラムに関する。
　深層学習等の画像解析手法を用いて、撮像画像に含まれている対象物の像を示す対象物領域を検出することが知られている。このような対象物領域を検出するにあたって、対象物の像を示している領域を見逃す未検出、又は対象物の像を示していない領域を誤って検出する過検出を含む誤検出が発生することがある。
　一例として、図１３Ａを参照して説明する撮像画像から、直線状の帯形状の対象物の像を示す領域を検出する例を説明する。本例では、対象物は、管路ＰＬ１及び管路ＰＬ２である。図１３Ａを参照して説明する撮像画像において、管路ＰＬ１及び管路ＰＬ２それぞれの像は、画素の配列方向（ｘ軸方向）に対して斜めに延在している。図１３Ａを参照して説明する撮像画像における対象物領域（管路ＰＬ１及び管路ＰＬ２の像が示されている領域）は、それぞれ図１３Ｂに示されている領域Ｒ１_ｔｒｕｅ及び領域Ｒ２_ｔｒｕｅである。しかしながら、従来の画像解析手法を用いることによって、管路ＰＬ１及び管路ＰＬ２の像が示されている領域として、図１３Ｃにおいて対象物領域Ｒ９０が検出され、矩形Ｎ９０の範囲にある対象物領域Ｒ９０が１つの対象物を示していると認識される。図１３Ｃに示すように、対象物領域Ｒ９０には、管路ＰＬ１及び管路ＰＬ２の像が示されている領域の一部が含まれておらず、未検出が発生している。
　他の例として、図１４Ａを参照して説明する撮像画像から、直線状の帯形状の対象物の像を示す領域を検出する例を説明する。本例でも、対象物は、管路ＰＬ１及び管路ＰＬ２である。図１４Ａを参照して説明する撮像画像において、管路ＰＬ１及び管路ＰＬ２の像は、画素の配列方向（ｘ軸方向）に略直交する方向に延在している。図１４Ａを参照して説明する撮像画像における、管路ＰＬ１及び管路ＰＬ２の像が示されている領域は、それぞれ図１４Ｂに示されている領域Ｒ１_ｔｒｕｅ及び領域Ｒ２_ｔｒｕｅである。本例においては、従来の画像解析手法を用いることによって、管路ＰＬ１及び管路ＰＬ２の像が示されている領域として、図１４Ｃの対象物領域Ｒ９１及び対象物領域Ｒ９２それぞれが検出される。そして、矩形Ｎ９１及び矩形Ｎ９２の範囲にある対象物領域Ｒ９１及び対象物領域Ｒ９２がそれぞれ１つずつの対象物を示していると認識される。図１４Ｃに示すように、管路ＰＬ１及び管路ＰＬ２の像が示されている領域の全体が、それぞれ対象物領域Ｒ９１及び対象物領域Ｒ９２に含まれており、未検出が発生していない。
　このように、撮像画像における、対象物の像が延在する方向に応じて、未検出が発生したり発生しなかったりする。この課題を解決するために、非特許文献１には、撮像面に対して点検面が傾いていた状態で対象物が撮像されることによって生成された撮像画像において、撮像面に対して点検面が正対化するようにあおり補正を行うことが記載されている。また、あおり補正においては、対象物の像の周辺の領域の４点を設定して射影変換を行うアフィン変換が用いられることが知られている。
画像処理サービス 画像ベースインフラ構造物点検サービス インスペクション EYE for インフラ：キヤノン、［online］、［令和３年１０月１４日検索］、インターネット<URL：https://cweb.canon.jp/imaging-solutions/lineup/inspection-eye/image-processing/>
　しかしながら、アフィン変換を用いたあおり補正においては、４点を手動で選択する必要がある。４点の選択の仕方によっては、検出された対象物領域に、管路の像が示されている領域の一部が含まれない未検出が発生し、対象物領域を高い精度で検出することができないことがある。
　かかる事情に鑑みてなされた本開示の目的は、対象物領域を高い精度で検出することができる領域検出装置、領域検出方法、及びプログラムを提供することにある。
　上記課題を解決するため、本開示に係る領域検出装置は、直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出する線分検出部と、所定値以上の長さを有する前記線分である主線分を抽出する主線分抽出部と、前記主線分が前記撮像画像における画素の配列方向に対して垂直又は平行になるように前記撮像画像を回転させた回転画像を補正画像として生成する補正部と、前記補正画像から前記対象物の像を示す対象物領域を検出する領域検出部と、を備える。
　また、上記課題を解決するため、本開示に係る領域検出方法は、直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出するステップと、所定値以上の長さを有する前記線分である主線分を抽出するステップと、前記主線分が前記撮像画像における画素の配列方向に対して垂直又は平行になるように前記撮像画像を回転させた回転画像を補正画像として生成するステップと、前記補正画像から前記対象物の像を示す対象物領域を検出するステップと、を含む。
　また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述した領域検出装置として機能させる。
　本開示に係る領域検出装置、領域検出方法、及びプログラムによれば、対象物領域を高い精度で検出することができる。
第１の実施形態に係る領域検出システムの概略図である。 図１に示す画像取得装置が取得する撮像画像の一例を示す図である。 図２Ａに示す撮像画像から抽出した線分を示す図である。 図２Ａに示す撮像画像に、図２Ｂに示す線分から検出した主線分を強調した図である。 図２Ｃに示す撮像画像に、主線分が延在する方向の、画素の配列方向に対する角度を示した図である。 図３Ａに示す撮像画像を回転させた回転画像を示す図である。 図３Ｂに示す撮像画像を縮小させた補正画像の一例を示す図である。 図３Ｂに示す撮像画像を縮小させ補正画像の他の例を示す図である。 図３Ｂに示す回転画像の一部を含む、撮像画像と同じサイズを有する画像を示す図である。 図３Ｃに示す補正画像から生成された対象物領域情報を示す図である。 図１に示す領域検出装置における動作の一例を示すフローチャートである。 第２の実施形態に係る領域検出システムの概略図である。 図７に示す領域検出装置における動作の一例を示すフローチャートである。 第３の実施形態に係る領域検出システムの概略図である。 図９に示す領域検出装置における動作の一例を示すフローチャートである。 図５に示す対象物領域情報を逆回転した図である。 領域検出装置のハードウェアブロック図である。 撮像画像の一例を示す図である。 図１３Ａに示す撮像画像における対象物領域を示す図である。 図１３Ａに示す撮像画像から検出された対象物領域を示す図である。 撮像画像の他の例を示す図である。 図１４Ａに示す撮像画像における対象物領域を示す図である。 図１４Ａに示す撮像画像から検出された対象物領域を示す図である。
＜＜第１の実施形態＞＞
　図１を参照して第１の実施形態の全体構成について説明する。
　図１に示すように、第１の実施形態に係る領域検出システム１００は、画像取得装置１と、画像保存装置２と、領域検出装置３と、データ格納装置４とを備える。
　＜画像取得装置の構成＞
　画像取得装置１は、光学素子、撮像素子、及び出力インターフェースを備えるカメラによって構成されてもよい。出力インターフェースは、情報を出力するためのインターフェースである。
　画像取得装置１は、直線状の帯形状を有する対象物を撮像した撮像画像を取得する。撮像画像は、図２Ａに示すように、所定方向（ｘ軸方向）及び所定方向の直交方向（ｙ軸方向）それぞれに２次元に配列された画素によって構成される。また、撮像画像は、ＲＧＢ画像であることが望ましい。
　対象物は、検査対象となる部材とすることができる。直線状の帯形状を有する対象物は、構造物を構成する、一方向に延在する部材とすることができる。図２Ａに示す例では、撮像画像において、直線状の帯形状を有する対象物は、管路ＰＬ１及び管路ＰＬ２である。以降の説明において、管路ＰＬ１及び管路ＰＬ２を単に「管路ＰＬ」ということがある。
　図２Ａに示す例では、撮像画像において、管路ＰＬの像は、画素の配列方向（ｘ軸方向）に対して斜めに延在している。また、本例では、撮像画像には、管路ＰＬのほかに、管路ＰＬが配設されている建物の壁、梁、天井等の構造物の像が含まれており、図２Ａでは、構造物の像の輪郭Ｃｔが表されている。また、本例では、撮像画像には、構造物の損傷部分Ｃｒ、及び管路ＰＬの錆、汚れ、欠損等を含む損傷部分Ｒｓの像も含まれている。なお、図２Ａにおいて、符号Ｃｔ、Ｃｒ、Ｒｓは、それぞれ構造物の輪郭、構造物の損傷部分、管路ＰＬの損傷部分の一部にのみ付されている。
　また、画像取得装置１は、画像保存装置２に撮像画像を出力する。
　＜画像保存装置の構成＞
　図１に示す画像保存装置２は、ＰＣ（Personal Computer）、タブレット端末等とすることができる。画像保存装置２は、メモリ、コントローラ、入力インターフェース、及び出力インターフェースを備えるコンピュータによって構成されてもよい。メモリは、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）及びＲＡＭ（Random Access Memory）等によって構成されてもよい。コントローラは、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。入力インターフェースは、ポインティングデバイス、キーボード、マウス等とすることができる。また、入力インターフェースは、通信インターフェースによって受信された情報の入力を受け付けるインターフェースであってもよい。通信インターフェースには、例えば、イーサネット（登録商標）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられてもよい。
　画像保存装置２は、画像取得装置１によって取得された撮像画像の入力を受け付け、該撮像画像を保存する。また、画像保存装置２は、領域検出装置３に撮像画像を出力する。
　＜領域検出装置の構成＞
　領域検出装置３は、入力部３１と、線分検出部３２と、主線分抽出部３３と、補正部３４と、領域検出部３５と、出力部３６とを備える。入力部３１は、入力インターフェースによって構成される。線分検出部３２、主線分抽出部３３、補正部３４、及び領域検出部３５は、コントローラによって構成される。出力部３６は、出力インターフェースによって構成される。
　入力部３１は、画像保存装置２に保存されている、図２Ａに例を示すような撮像画像を示す画像データの入力を受け付ける。入力部３１は、画像取得装置１から、画像保存装置２を介さずに、画像データの入力を受け付けてもよい。
　また、入力部３１は、入力インターフェースによって構成されるとともに、さらにコントローラによって構成されてもよい。このような構成において、入力部３１は、入力を受け付けた画像データに、該画像データを一意に識別するための識別子を付与してもよい。識別子は、例えば、番号とすることができる。また、識別子は、画像データが入力された順に所定値ずつ加算された番号とすることができる。所定値は１とすることができる。これによって、複数の画像データの入力が受け付けられた場合であっても、後述する各機能部による処理の結果を画像データと対応させることができる。
　線分検出部３２は、入力部３１によって入力が受け付けられた画像データが示す撮像画像に対して、追って詳細に説明する領域検出部３５が処理を実行するための前処理を実行する。具体的には、線分検出部３２は、直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出する。線分検出部３２は、ハフ変換、確率的ハフ変換、ＬＳＤ（Line Segment Detector）等の一般的な画像処理方法を用いて、撮像画像から線分を検出することができる。例えば、線分検出部３２は、図２Ａに例を示す撮像画像から、ハフ変換を用いて、図２Ｂの白色で示すような線分を検出する。
　主線分抽出部３３は、線分検出部３２によって検出された線分から、図２Ｃに示すような、所定値以上の長さを有する線分である主線分ＳＬを抽出する。所定値は、上述した検出閾値より大きい値であり、対象物の大きさ、画像取得装置１の設定、画像取得装置１と対象物との距離等に応じて適宜設定することができる。また、主線分抽出部３３は、線分検出部３２によって検出された線分から、最大の長さを有する線分である主線分ＳＬを抽出してもよい。
　撮像画像に含まれる様々な被写体（例えば、対象物以外の構造物（梁、柱、天井等）、構造物の損傷部分Ｃｒ、対象物の損傷部分Ｒｓ等）の像に起因して、線分検出部３２によって多様な長さを有する複数の線分が検出される。これに対して、直線状の帯形状を有する対象物である管路ＰＬの像は一定の長さで延在しているため、所定値以上の長さを有する線分である主線分ＳＬは、管路ＰＬの像の延在方向に延在する線分であると見込まれる。すなわち、主線分抽出部３３は、対象物の延在方向に延在する線分を主線分ＳＬとして抽出することができる。
　なお、先に説明した線分検出部３２は、予め設定された検出閾値以上の長さを有する線分を検出してもよいし、全ての線分を検出してもよい。線分検出部３２は、全ての線分を検出する構成において、予め設定された検出閾値以上の長さを有する線分を検出する場合に比べて、多くの線分を検出することができる。これにより、主線分抽出部３３は、より多くの線分から主線分ＳＬを抽出することになるため、より高い精度での主線分ＳＬの抽出が可能となる。
　補正部３４は、主線分ＳＬが撮像画像における画素の配列方向に対して垂直又は平行になるように撮像画像を回転させた回転画像を補正画像として生成する。
　具体的には、まず、補正部３４は、主線分抽出部３３によって抽出された主線分ＳＬの延在方向の、撮像画像における画素の配列方向（ｘ軸方向）に対してなす角度θ（図３Ａ参照）を算出する。
　そして、補正部３４は、図３Ｂに示すように、角度θが０°又は９０°となるように、該撮像画像を回転させた回転画像を生成する。例えば、補正部３４は、角度θが９０°となるように、撮像画像の中心を回転の中心点として該撮像画像を（９０°－θ）回転させてもよい。補正部３４は、撮像画像の任意の点を中心に撮像画像を回転させた画像を生成し、該画像の中心が撮像画像の中心となるように、該画像を平行移動させることによって回転画像を生成してもよい。
　補正部３４は、例えば、Opencv、pillow等の画像処理ライブラリ、又は画像処理ソフトウェアを用いて撮像画像を回転した回転画像を生成してもよい。このとき、補正部３４は、任意の角度θに基づいて撮像画像を回転させるためにアフィン変換を用いることが望ましい。
　また、補正部３４は、前記撮像画像の全体領域に回転画像の全体が含まれるように回転画像を縮小した画像を補正画像として生成してもよい。具体的には、補正部３４は、撮像画像の全体領域に、回転画像の全体が含まれるように回転画像を縮小させた補正画像を生成してもよい。図３Ｃに示すように、補正部３４は、撮像画像の全体領域に、回転画像の全体が含まれつつ、面積が最大となるように回転画像を縮小させた補正画像を生成してもよい。また、図３Ｄに示すように、補正部３４は、回転画像を、図３Ｃに示す場合に比べてさらに縮小した補正画像を生成してもよい。
　仮に、撮像画像を回転させた画像が縮小されない場合、補正画像において、撮像画像の全体領域に含まれない部分（欠損部分）が生じる。図４に示す例では、図３Ａ及び図３Ｂに示す管路ＰＬ２の像の上端部の一部が表されておらず、該一部が欠損部分となっている。また、図４に示す例では、図３Ａ及び図３Ｂに示す管路ＰＬ１及びＰＬ２の像のそれぞれ下端部の一部が表されておらず、該一部が欠損部分となっている。これに対して、図３Ｂ及び図３Ｃに示したように、補正部３４が、回転画像を縮小した補正画像を生成することによって、欠損部分が生じるのを抑制することができる。
　このように、補正部３４が、補正画像を生成することによって、補正画像において、管路ＰＬの像は、画素の配列方向に水平又は垂直な方向に延在する。このため、管路ＰＬの像を囲む、画素の配列方向に沿う線分によって構成される矩形のアスペクト比は、大きくなる。
　領域検出部３５は、補正画像から対象物の像を示す対象物領域を検出する。領域検出部３５は、任意の手法により対象物領域を検出することができる。例えば、領域検出部３５は、深層学習を用いた手法により対象物領域を検出することができる。具体的には、領域検出部３５は、バウンディングボックス（例えば、ＹＯＬＯ（You Only Look Once）を用いることによって、点検対象物の像を検出してもよい。また、領域検出部３５は、インスタンス・セグメンテーション（例えば、Ｍａｓｋ－Ｒ－ＣＮＮ）等によるクラス別のセグメンテーションを用いることによって、点検対象物の像を検出してもよい。
　出力部３６は、領域検出部３５によって検出された対象物領域を示す対象物領域情報を出力する。対象物領域情報は、例えば、補正画像の対象物領域に所定の色又は模様を付した画像を示す情報とすることができる。また、対象物領域情報は、補正画像に、対象物領域を囲む矩形を重畳させた画像を示す情報とすることができる。図５に示す例では、対象物領域情報は、補正画像の対象物領域Ｒ１及びＲ２に所定の模様（網点模様）を付し、対象物領域Ｒ１及びＲ２をそれぞれ囲む矩形Ｎ１及びＮ２を重畳させた画像を示す情報である。なお、図５においては、図２Ａ、図２Ｃ、図３Ａ～図３Ｄにて示されていた、管路ＰＬの損傷部分Ｒｓの像を示すハッチングは省略されている。
　出力部３６は、通信ネットワークを介してデータ格納装置４に対象物領域情報を出力してもよい。出力部３６は、有機ＥＬ（Electro Luminescence）、液晶パネル等によって構成される表示装置に対象物領域情報を出力してもよい。
　＜データ格納装置の構成＞
　図１に示すデータ格納装置４は、メモリ、コントローラ、及び入力インターフェースを備えるコンピュータによって構成される。データ格納装置４は、領域検出装置３から出力された対象物領域情報を格納する。
　＜領域検出装置の動作＞
　ここで、第１の実施形態に係る領域検出装置３の動作について、図６を参照して説明する。図６は、第１の実施形態に係る領域検出装置３の動作の一例を示すフローチャートである。図６を参照して説明する領域検出装置３における動作は第１の実施形態に係る領域検出装置３の領域検出方法の一例に相当する。
　ステップＳ１１において、入力部３１が、画像保存装置２に保存されている撮像画像を示す画像データの入力を受け付ける。入力部３１は、画像取得装置１から、画像保存装置２を介さずに、画像データの入力を受け付けてもよい。
　ステップＳ１２において、線分検出部３２が、直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出する。本実施形態では、該撮像画像は、ステップＳ１１にて入力が受け付けられた画像データによって示されている撮像画像である。
　ステップＳ１３において、主線分抽出部３３が、所定値以上の長さを有する線分である主線分ＳＬを抽出する。
　ステップＳ１４において、補正部３４が、主線分ＳＬが撮像画像における画素の配列方向に対して垂直又は平行になるように撮像画像を回転させた回転画像を補正画像として生成する。ここで、補正部３４は、撮像画像の全体領域に回転画像の全体が含まれるように回転画像を縮小した画像を補正画像として生成してもよい。
　ステップＳ１５において、領域検出部３５が、補正画像から対象物の像を示す対象物領域を検出する。
　ステップＳ１６において、出力部３６が、対象物領域を示す対象物領域情報を出力する。
　なお、領域検出装置３は、ステップＳ１を実行しなくてもよい。このような構成において、線分検出部３２は、領域検出装置３が予め記憶している、又は領域検出装置３が生成した撮像画像から線分を検出してもよい。また、領域検出装置３は、ステップＳ１６を実行しなくてもよい。このような構成において、領域検出装置３は、メモリによって構成される記憶部を備え、該記憶部が対象物領域情報を記憶してもよい。
　上述したように、第１の実施形態によれば、領域検出装置３は、直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出する線分検出部３２と、所定値以上の長さを有する線分である主線分ＳＬを抽出する主線分抽出部３３と、主線分ＳＬが撮像画像における画素の配列方向に対して垂直又は平行になるように撮像画像を回転させた回転画像を補正画像として生成する補正部３４と、補正画像から対象物の像を示す対象物領域を検出する領域検出部３５と、を備える。
　図１４Ａから図１４Ｃを参照して説明したように、管路ＰＬのような対象物の像が画素の配列方向に対して斜めに延在していた場合、該対象物の像を囲む、画素の配列方向に沿う線分によって構成される矩形のアスペクト比が小さいことに起因して、対象物領域を高い精度で検出することができないことが知られている。これに対して、本実施形態の領域検出装置３は、上述した構成により、主線分ＳＬが画素の配列方向に対して垂直又は平行となるように撮像画像を回転及び縮小させた補正画像を生成するため、補正画像において、対象物の像は画素の配列方向に延在する。したがって、対象物の像を囲む、画素の配列方向に沿う線分によって構成される矩形のアスペクト比は大きくなるため、領域検出装置３は、高い精度で対象物領域を検出することができる。これに伴い、領域検出装置３は、対象物領域における、対象物が損傷している領域をさらに抽出することによって、より高い精度で対象物を点検することが可能となり、対象物を用いて構成された建物、設備等の安全性を適切に保つことができる。
　＜＜第２の実施形態＞＞
　図７を参照して第２の実施形態の全体構成について説明する。第２の実施形態において、第１の実施形態と同一の機能部については同じ符号を付加し、説明を省略する。
　図７に示すように、第２の実施形態に係る領域検出システム１００－１は、画像取得装置１と、画像保存装置２と、領域検出装置３－１と、データ格納装置４とを備える。
　＜領域検出装置の構成＞
　領域検出装置３－１は、入力部３１と、線分検出部３２と、主線分抽出部３３と、補正部３４と、領域検出部３５と、出力部３６と、エッジ検出部３７とを備える。エッジ検出部３７は、コントローラによって構成される。
　エッジ検出部３７は、撮像画像からエッジを検出する。具体的には、エッジ検出部３７は、撮像画像における輝度の不連続性に基づいてエッジを検出する。例えば、エッジ検出部３７は、撮像画像における画素と、該画素に近接している画素との輝度の差分を算出し、該差分の絶対値が所定のエッジ閾値より大きい画素をエッジとして検出することができる。
　線分検出部３２は、エッジ検出部３７によって検出されたエッジから線分を検出する。
　＜領域検出装置の動作＞
　ここで、第２の実施形態に係る領域検出装置３－１の動作について、図８を参照して説明する。図８は、第２の実施形態に係る領域検出装置３－１の動作の一例を示すフローチャートである。図８を参照して説明する領域検出装置３－１における動作は第２の実施形態に係る領域検出装置３－１の領域検出方法の一例に相当する。
　領域検出装置３－１は、ステップＳ２１の処理を実行する。ステップＳ２１の処理は、第１の実施形態におけるステップＳ１１の処理と同じである。
　ステップＳ２２において、エッジ検出部３７が、撮像画像からエッジを検出する。
　ステップＳ２３において、線分検出部３２が、ステップＳ２２で検出されたエッジから線分を検出する。
　続いて、領域検出装置３－１は、ステップＳ２４からステップＳ２７の処理を実行する。ステップＳ２４からステップＳ２７の処理は、第１の実施形態におけるステップＳ１３からステップＳ１６の処理と同じである。
　上述したように、第２の実施形態によれば、領域検出装置３－１は、撮像画像からエッジを検出するエッジ検出部３７をさらに備え、線分検出部３２は、エッジから線分を検出する。これにより、領域検出装置３－１は、対象物の像の境界を検出することにより、より適切に、対象物の像が画素の配列方向に延在するように補正画像を生成することができる。したがって、領域検出装置３－１は、撮像画像から直接、線分を検出する構成と比較して、対象物領域をより高い精度で検出することができる。
　＜＜第３の実施形態＞＞
　図９を参照して第３の実施形態の全体構成について説明する。第３の実施形態において、第２の実施形態と同一の機能部については同じ符号を付加し、説明を省略する。
　図９に示すように、第３の実施形態に係る領域検出システム１００－２は、画像取得装置１と、画像保存装置２と、領域検出装置３－２と、データ格納装置４とを備える。
　＜領域検出装置の構成＞
　領域検出装置３－２は、入力部３１と、線分検出部３２と、主線分抽出部３３と、補正部３４と、領域検出部３５と、出力部３６と、エッジ検出部３７と、ノイズ除去部３８とを備える。ノイズ除去部３８は、コントローラによって構成される。
　ノイズ除去部３８は、エッジ検出部３７によって検出されたエッジのうち、所定のエッジ閾値より短いエッジであるノイズを除去する。
　線分検出部３２は、エッジ検出部３７によって検出され、ノイズ除去部３８によって除去されなかったエッジから線分を検出する。
　＜領域検出装置の動作＞
　ここで、第３の実施形態に係る領域検出装置３－２の動作について、図１０を参照して説明する。図１０は、第３の実施形態に係る領域検出装置３－２の動作の一例を示すフローチャートである。図１０を参照して説明する領域検出装置３－２における動作は第３の実施形態に係る領域検出装置３－２の領域検出方法の一例に相当する。
　領域検出装置３－２は、ステップＳ３１及びステップＳ３２の処理を実行する。ステップＳ３１及びステップＳ３２の処理は、第２の実施形態におけるステップＳ２１及びステップＳ２２の処理と同じである。
　ステップＳ３３において、ノイズ除去部３８が、エッジ検出部３７によって検出されたエッジのうち、所定のエッジ閾値より短いエッジであるノイズを除去する。　
　ステップＳ３４において、線分検出部３２が、エッジ検出部３７によって検出され、ノイズ除去部３８によって除去されなかったエッジから線分を検出する。
　続いて、領域検出装置３－２は、ステップＳ３５からステップＳ３８の処理を実行する。ステップＳ３５からステップＳ３８の処理は、第２の実施形態におけるステップＳ２４からステップＳ２７の処理と同じである。
　上述したように、第３の実施形態によれば、領域検出装置３－２は、エッジのうち、所定のエッジ閾値より短いエッジであるノイズを除去するノイズ除去部３８をさらに備え、線分検出部３２は、エッジ検出部３７によって検出され、ノイズ除去部３８によって除去されなかったエッジから線分を検出する。これにより、領域検出装置３－２は、線分の誤検出を抑制することができ、これに伴い、対象物領域を高い精度で検出することができる。
　（変形例）
　上述した第１の実施形態において、領域検出装置３はさらに逆回転補正部を備えてもよい。逆回転補正部は、図５に示すような、対象物領域情報が示す画像を、角度（θ－９０°）回転させて、図１１に示すような逆回転画像を生成する。言い換えれば、逆回転補正部は、補正部３４が撮像画像を回転させた方向の逆方向に、対象物領域情報が示す画像を同じ角度だけ回転させて、逆回転画像を生成する。このような構成において、出力部３６は、対象物領域情報として逆回転画像を示す情報をデータ格納装置４、表示装置等に出力してもよい。また、第２の実施形態の領域検出装置３－１が逆回転補正部をさらに備えてもよいし、第３の実施形態の領域検出装置３－２が逆回転補正部をさらに備えてもよい。
　＜プログラム＞
　上述した領域検出装置３、３－１、３－２は、コンピュータ１０１によって実現することができる。また、領域検出装置３、３－１、３－２として機能させるためのプログラムが提供されてもよい。また、該プログラムは、記憶媒体に記憶されてもよいし、ネットワークを通して提供されてもよい。図１２は、領域検出装置３、３－１、３－２としてそれぞれ機能するコンピュータ１０１の概略構成を示すブロック図である。ここで、コンピュータ１０１は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
　図１２に示すように、コンピュータ１０１は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、入力部１５０と、出力部１６０と、通信インターフェース（Ｉ／Ｆ）１７０とを備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。
　プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。上述した実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが記憶されている。
　プログラムは、コンピュータ１０１が読み取り可能な記憶媒体に記憶されていてもよい。このような記憶媒体を用いれば、プログラムをコンピュータ１０１にインストールすることが可能である。ここで、プログラムが記憶された記憶媒体は、非一時的（non-transitory）記憶媒体であってもよい。非一時的記憶媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　ＲＯＭ１２０は、各種プログラム及び各種データを記憶する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを記憶する。
　入力部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インターフェースを含む。例えば、入力部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。
　出力部１６０は、情報を出力する１つ以上の出力インターフェースを含む。例えば、出力部１６０は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、出力部１６０は、タッチパネル方式のディスプレイである場合には、入力部１５０としても機能する。
　通信インターフェース（Ｉ／Ｆ）１７０は、外部の装置と通信するためのインターフェースである。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのコントローラと、を備え、
　前記コントローラは、
　　直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出し、
　　所定値以上の長さを有する前記線分である主線分を抽出し、
　　前記主線分が前記撮像画像における画素の配列方向に対して垂直又は平行になるように前記撮像画像を回転させた回転画像を補正画像として生成し、
　　前記補正画像から前記対象物の像を示す対象物領域を検出する領域検出する、
領域検出装置。
　（付記項２）
　前記コントローラは、前記撮像画像の全体領域に前記回転画像の全体が含まれるように前記回転画像を縮小した画像を補正画像として生成する、付記項１に記載の領域検出装置。
　（付記項３）
　前記コントローラは、
　　前記撮像画像からエッジを検出し、
　　前記線分検出部は、前記エッジから前記線分を検出する、付記項１又は２に記載の領域検出装置。
　（付記項４）
　前記コントローラは、
　　前記エッジのうち、所定のエッジ閾値より短いエッジであるノイズを除去し、
　　前記補正画像から検出され、前記除去されなかったエッジから前記線分を検出する、付記項３に記載の領域検出装置。
　（付記項５）
　前記コントローラは、最大の長さを有する前記線分である主線分を抽出する、付記項１から４のいずれか一項に記載の領域検出装置。
　（付記項６）
　直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出するステップと、
　所定値以上の長さを有する前記線分である主線分を抽出するステップと、
　前記主線分が前記撮像画像における画素の配列方向に対して垂直又は平行になるように前記撮像画像を回転させた回転画像を補正画像として生成するステップと、
　前記補正画像から前記対象物の像を示す対象物領域を検出するステップと、
を含む領域検出方法。
　（付記項７）
　コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１から５のいずれか一項に記載の領域検出装置として機能させるプログラムを記憶した非一時的記憶媒体。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
　上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
１　　　画像取得装置
２　　　画像保存装置
３、３－１、３－２　領域検出装置
４　　　データ格納装置
３１　　入力部
３２　　線分検出部
３３　　主線分抽出部
３４　　補正部
３５　　領域検出部
３６　　出力部
３７　　エッジ検出部
３８　　ノイズ除去部
１００、１００－１、１００－２　領域検出システム
１０１　コンピュータ
１１０　プロセッサ
１２０　ＲＯＭ
１３０　ＲＡＭ
１４０　ストレージ
１５０　入力部
１６０　出力部
１７０　通信インターフェース
１８０　バス

Claims (7)

  1. 　直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出する線分検出部と、
    　所定値以上の長さを有する前記線分である主線分を抽出する主線分抽出部と、
    　前記主線分が前記撮像画像における画素の配列方向に対して垂直又は平行になるように前記撮像画像を回転させた回転画像を補正画像として生成する補正部と、
    　前記補正画像から前記対象物の像を示す対象物領域を検出する領域検出部と、
    を備える領域検出装置。
  2. 　前記補正部は、前記撮像画像の全体領域に前記回転画像の全体が含まれるように前記回転画像を縮小した画像を補正画像として生成する、請求項１に記載の領域検出装置。
  3. 　前記撮像画像からエッジを検出するエッジ検出部をさらに備え、
    　前記線分検出部は、前記エッジから前記線分を検出する、請求項１又は２に記載の領域検出装置。
  4. 　前記エッジのうち、所定のエッジ閾値より短いエッジであるノイズを除去するノイズ除去部をさらに備え、
    　前記線分検出部は、前記エッジ検出部によって検出され、前記ノイズ除去部によって除去されなかったエッジから前記線分を検出する、請求項３に記載の領域検出装置。
  5. 　前記主線分抽出部は、最大の長さを有する前記線分である主線分を抽出する、請求項１から４のいずれか一項に記載の領域検出装置。
  6. 　直線状の帯形状を有する対象物の像を含む撮像画像から線分を検出するステップと、
    　所定値以上の長さを有する前記線分である主線分を抽出するステップと、
    　前記主線分が前記撮像画像における画素の配列方向に対して垂直又は平行になるように前記撮像画像を回転させた回転画像を補正画像として生成するステップと、
    　前記補正画像から前記対象物の像を示す対象物領域を検出するステップと、
    を含む領域検出方法。
  7. 　コンピュータを、請求項１から５のいずれか一項に記載の領域検出装置として機能させるためのプログラム。
     
PCT/JP2021/040165 2021-10-29 2021-10-29 領域検出装置、領域検出方法、及びプログラム WO2023073972A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023556076A JPWO2023073972A1 (ja) 2021-10-29 2021-10-29
PCT/JP2021/040165 WO2023073972A1 (ja) 2021-10-29 2021-10-29 領域検出装置、領域検出方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/040165 WO2023073972A1 (ja) 2021-10-29 2021-10-29 領域検出装置、領域検出方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023073972A1 true WO2023073972A1 (ja) 2023-05-04

Family

ID=86157682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040165 WO2023073972A1 (ja) 2021-10-29 2021-10-29 領域検出装置、領域検出方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023073972A1 (ja)
WO (1) WO2023073972A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065541A (ja) * 2005-09-02 2007-03-15 Seiko Epson Corp 画像表示装置
JP2011097251A (ja) * 2009-10-28 2011-05-12 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP2018042273A (ja) * 2012-01-17 2018-03-15 シャープ株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065541A (ja) * 2005-09-02 2007-03-15 Seiko Epson Corp 画像表示装置
JP2011097251A (ja) * 2009-10-28 2011-05-12 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP2018042273A (ja) * 2012-01-17 2018-03-15 シャープ株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JPWO2023073972A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
JP5821708B2 (ja) 欠陥検査装置及び欠陥検査方法
JP2019134269A5 (ja)
JP2007263852A (ja) 欠陥検出装置、欠陥検出方法、及び欠陥検出処理プログラム
JP2015004538A (ja) 欠陥検査方法
JP5321615B2 (ja) 水位検出装置、水位検出システム、及び水位検出方法
WO2020110560A1 (ja) コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
US11417080B2 (en) Object detection apparatus, object detection method, and computer-readable recording medium
JP6994890B2 (ja) ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム
JP2018036898A5 (ja) 画像処理装置及び画像処理方法及びプログラム
JP2011048592A (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP2018207194A (ja) 切羽監視システム
WO2023073972A1 (ja) 領域検出装置、領域検出方法、及びプログラム
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
JP5357572B2 (ja) 外観検査方法および外観検査装置
JP6104745B2 (ja) 穴検査装置
US9230337B2 (en) Analysis of the digital image of the internal surface of a tyre and processing of false measurement points
JP2021135209A (ja) ひび割れ領域を判定するための装置、方法及びそのためのプログラム
JP2020122769A (ja) 評価方法、評価プログラム及び情報処理装置
JP6716769B1 (ja) 画像検査方法、画像検査装置、及び画像検査プログラム
JP6768905B1 (ja) ずれ補正装置、ずれ補正方法及びずれ補正プログラム
JP5346304B2 (ja) 外観検査装置、外観検査システムおよび外観検査方法
JP6818485B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009236550A (ja) 欠陥検出方法
JP2008226176A (ja) 熱目標追跡装置及び熱目標追跡方法
WO2023026441A1 (ja) 領域補正装置、領域補正方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21962511

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023556076

Country of ref document: JP