WO2018179559A1 - 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 - Google Patents

航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 Download PDF

Info

Publication number
WO2018179559A1
WO2018179559A1 PCT/JP2017/039558 JP2017039558W WO2018179559A1 WO 2018179559 A1 WO2018179559 A1 WO 2018179559A1 JP 2017039558 W JP2017039558 W JP 2017039558W WO 2018179559 A1 WO2018179559 A1 WO 2018179559A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
feature amount
unit
original image
area
Prior art date
Application number
PCT/JP2017/039558
Other languages
English (en)
French (fr)
Inventor
高三郎 小西
素子 岡本
長谷川 修
Original Assignee
三菱重工業株式会社
Soinn株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工業株式会社, Soinn株式会社 filed Critical 三菱重工業株式会社
Priority to JP2019508540A priority Critical patent/JP6786035B2/ja
Priority to US16/498,642 priority patent/US20200096454A1/en
Priority to EP17903176.0A priority patent/EP3591612A4/en
Priority to CN201780089852.4A priority patent/CN110537203A/zh
Publication of WO2018179559A1 publication Critical patent/WO2018179559A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01QANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00Details of, or arrangements associated with, antennas
    • H01Q1/27Adaptation for use in or on movable bodies
    • H01Q1/28Adaptation for use in or on aircraft, missiles, satellites, or balloons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Definitions

  • the present invention relates to a defect detection system for aircraft parts and a defect detection method for aircraft parts.
  • Patent Document 1 describes a technique of performing image processing on an image of a surface of a product and performing product quality evaluation based on the image subjected to the image processing.
  • Patent No. 5520908 gazette
  • the present invention solves the above-mentioned problems, and an object thereof is to provide a defect detection system for aircraft parts and a defect detection method for aircraft parts that can appropriately detect defects and can shorten the defect detection time. Do.
  • an aircraft component defect detection system that detects a defect of an aircraft component that is an object;
  • An original image acquisition unit that acquires an original image that is an image of the target including an image of a defect part, and a defect candidate area that is a candidate for the defect part based on the brightness of the image in the original image
  • An image processing unit that extracts a feature quantity of the defect candidate area based on a difference in luminance between the defect candidate area and the surrounding area, and a point of the defect is detected in advance.
  • a defect feature amount range which is a range of the feature amounts determined to be a defect by associating the feature amount calculated by the image processing unit with the learning original image and the information of the location of the defect; Judge as not defective A feature amount range setting unit that sets a non-defect feature amount range that is the range of the feature amount; and the feature amount calculated by the image processing unit with respect to an original image for determination where the defect location is not detected. And a defect detection unit that determines whether the defect candidate area in the original determination image is the location of the defect based on the defect feature amount range and the non-defect feature amount range.
  • the defect detection system learns in advance the range of the feature amount that is the reference of the defect, and detects defects using the original image based on the learning result, so that variations in detection accuracy can be suppressed. Further, since the defect detection system restricts the object for calculating the feature amount to only the defect candidate region, it is possible to suppress the burden of defect detection and shorten the detection time. Therefore, this detection system can properly detect defects in aircraft components.
  • the image processing unit extracts, as a candidate area of the defect, an area in which dispersion of luminance between the area and the surrounding area is equal to or more than a predetermined dispersion value among areas in the original image.
  • This detection system is capable of more appropriately detecting defects in aircraft parts by suitably suppressing excessive calculation of defect detection and shortening detection time.
  • the defect candidate area extraction unit uses Hough transform to determine whether a plurality of candidate areas are continuous to form a circle, and removes candidate areas constituting the circle. Is preferred.
  • This detection system is capable of more appropriately detecting defects in aircraft parts by suitably suppressing excessive calculation of defect detection and shortening detection time.
  • the feature amount calculation unit calculates the feature amount as a change amount of luminance in a defect candidate region and a region around the defect candidate region.
  • the detection system can appropriately improve the accuracy of defect detection by determining the defect based on the feature amount.
  • the feature amount calculation unit calculates a hog feature amount of the defect candidate area as the feature amount. This detection system can appropriately improve the accuracy of defect detection by performing the defect determination based on the hog feature amount.
  • the defect detection unit acquires a feature amount acquisition unit that acquires a feature amount for determination that is the feature amount of the original image for determination, and the defect feature amount range from the feature amount range setting unit.
  • a feature amount range acquiring unit for acquiring a non-defect feature amount range, a defect difference value which is a difference value between the determination feature amount and the defect feature amount range, the determination feature amount and the non-defect feature It is preferable to further include a defect determination unit that determines whether the defect candidate region is a portion of the defect based on a non-defective difference value that is a difference value with the amount range. Since this defect detection system determines whether the defect is a defect based on the difference value of the feature amount for determination with respect to the defect feature amount range calculated in advance, it is possible to more appropriately improve the accuracy of defect detection.
  • the defect determination unit determines that the defect candidate area is the location of the defect. Is preferred. Since the defect detection system determines the defect based on the ratio of the defect difference value to the non-defect difference value, it is possible to more appropriately improve the defect detection accuracy.
  • the predetermined threshold is preferably a value larger than one. This defect detection system can increase the accuracy of defect detection more appropriately by increasing the threshold value more than 1 to increase the possibility of determining a defect when detecting a defect.
  • the defect detection system may further include an image display control unit that causes a display unit to display a determination image in which a mark is added to a place where the defect detection unit determines that the defect is the place with respect to the original image.
  • This defect detection system can allow an operator to easily recognize the location of the defect by displaying an image in which a mark is added to the location determined to be a defect.
  • the image display control unit displays the determination image so that display of the mark is different depending on a ratio of the defect difference value to the non-defect difference value.
  • this defect detection system it is possible to easily make the operator visually recognize a portion having a high possibility of being a defect by changing the display of the mark in accordance with the ratio.
  • the defect detection system preferably further includes an original image creation unit configured to capture the surface of the object to create the original image.
  • the defect detection system can appropriately detect defects on the surface of the object by performing defect detection using this original image.
  • the defect detection system preferably further includes an original image creation unit that detects an internal state of the object and creates the original image based on the detection data. This enables the defect detection system to properly detect the internal defect of the object.
  • a defect detection method for an aircraft part is an aircraft part defect detection method for detecting a defect in an aircraft part that is an object,
  • a defect feature amount range which is a range of the feature amounts determined to be a defect by associating the feature amount calculated in the image processing step with the learning original image and the information of the location of the defect; Not a defect
  • a defect detection step of determining whether the defect candidate area corresponding to the feature amount is the location of the defect based on the amount, the defect feature amount range, and the non-defect feature amount range.
  • FIG. 1 is a schematic view of a defect detection system according to the first embodiment.
  • FIG. 2 is a schematic block diagram of a control unit according to the first embodiment.
  • FIG. 3 is a diagram showing an example of an original image.
  • FIG. 4 is a diagram for explaining candidate areas.
  • FIG. 5 is a diagram showing an example of the candidate extracted image.
  • FIG. 6 is a diagram for explaining a defect candidate extraction area.
  • FIG. 7 is a diagram for explaining a defect candidate extraction area.
  • FIG. 8 is a diagram showing an example of a defect candidate extraction image.
  • FIG. 9 is a flowchart illustrating the process of calculating the feature amount by the image processing unit.
  • FIG. 10 is a diagram for explaining the defect feature amount range and the non-defect feature amount range.
  • FIG. 10 is a diagram for explaining the defect feature amount range and the non-defect feature amount range.
  • FIG. 11 is a flowchart for explaining the setting process of the defect feature amount range and the non-defect feature amount range.
  • FIG. 12 is a diagram for explaining defect determination.
  • FIG. 13 is a flowchart illustrating the process of defect detection.
  • FIG. 14 is a diagram showing an example of the determination image.
  • FIG. 15 is a view showing another example of the determination image.
  • FIG. 16 is a schematic block diagram of a control unit according to the second embodiment.
  • FIG. 1 is a schematic view of a defect detection system according to the first embodiment.
  • the defect detection system 1 according to the first embodiment is a system that detects a defect of an object T.
  • the object T is a component for an aircraft.
  • the defect refers to a defect (a discontinuity portion) of the object T which becomes a reject that deviates from a preset reference. That is, the defect indicates the flaw of the object T.
  • the defect detection system 1 is a computer on which artificial intelligence is mounted, and includes an original image creation unit 10, a control unit 12, a display unit 14, and an input unit 16.
  • the defect detection system 1 is a system that generates an original image A1 of the object T by the original image generation unit 10, performs image processing of the original image A1 by the control unit 12, and detects a defect of the object T.
  • the original image creation unit 10 creates an original image A1 of the object T.
  • the original image A1 is an image of the object T including an image of the location of the defect.
  • the original image creation unit 10 has a camera, and creates an original image A1 of the object T by imaging the surface T1 of the object T. That is, the original image A1 in the first embodiment is a captured image of the surface T1 of the object T.
  • the original image creation unit 10 captures each part of the surface T1 while moving on the surface T1 of the object T, and creates a plurality of original images A1.
  • the original image creation unit 10 may create one original image A1 obtained by imaging the entire object T.
  • the object T in the present embodiment is a flat plate-like member such as an outer wall of an aircraft, for example. Therefore, when there is a defect on the surface T1 of the object T, in the original image A1, the luminance at the location of the defect differs from the luminance at the location other than the defect.
  • the object T is not limited to such a flat plate-like member, and may have any shape, such as a curved plate-like member. Even in such a case, the luminance of the defect portion of the original image A1 is different from the luminance of the portion other than the defect.
  • the control unit 12 is, for example, a CPU (Central Processing Unit), and controls the operation of the defect detection system 1. The configuration of the control unit 12 will be described later.
  • the display unit 14 is, for example, a monitor, and displays various images such as the original image A1 under the control of the control unit 12.
  • the input unit 16 is, for example, a mouse or a keyboard, and is a device for the operator to issue a command to the control unit 12 or input information.
  • FIG. 2 is a schematic block diagram of a control unit according to the first embodiment.
  • the control unit 12 displays an original image acquisition unit 20, an image processing unit 22, a feature amount range setting unit 24, a defect detection unit 26, and an image display for causing the display unit 14 to display various images.
  • a control unit 28 The control unit 12 performs image processing on the learning original image by the image processing unit 22, and uses the contents subjected to the image processing to determine the defect of the object T by the feature amount range setting unit 24. To learn in advance.
  • the learning original image is an original image A1 of the object T in which the location of the defect is detected in advance.
  • control unit 12 performs image processing on the original image for determination by the image processing unit 22, and applies the content subjected to the image processing to the reference learned in advance by the defect detection unit 26, and detects a defect of the object T.
  • the original image for determination is an original image A1 of an object T in which a defect portion is not detected, that is, an object T from which a defect is to be detected. The processing of each part will be specifically described below.
  • FIG. 3 is a diagram showing an example of an original image.
  • the original image acquisition unit 20 acquires an original image A1 from the original image creation unit 10.
  • the original image acquisition unit 20 causes the display unit 14 to display an original image A1 as shown in FIG. 3 via the image display control unit 28 according to, for example, an instruction from the operator.
  • the original image A1 is an image in which the set color is displayed on a plurality of pixels P arranged in a two-dimensional matrix.
  • points B1 to B5 appear in the original image A1.
  • the luminance of the original image A1 is different between the portions B1 to B5 and the other portions.
  • the portions B1 to B5 are regions which become candidates for the portion of the defect in the original image A1.
  • the part B1 is a circular area.
  • Locations B2 and B5 are one linear region.
  • the portions B3 and B4 are regions in which a plurality of linear regions are linearly arranged while being separated from each other.
  • a part B1 to a part B5 are regions of a plurality of pixels displayed by a plurality of pixels P.
  • the luminance is a gradation value of a pixel, and is, for example, any value of integer values from 0 to 255.
  • the image processing unit 22 includes a candidate area extraction unit 30, a defect candidate area extraction unit 32, and a feature amount calculation unit 34.
  • the image processing unit 22 extracts a defect candidate area from the original image based on the luminance of the image in the original image A1.
  • the defect candidate area is an area which is a candidate for a defect location, and will be described in detail later.
  • the image processing unit 22 calculates the feature amount of the defect candidate region based on the difference in luminance between the defect candidate region and the surrounding region.
  • the image processing performed by the image processing unit 22 is common to the learning original image and the determination original image. Therefore, in the following description by the image processing unit 22, the learning original image and the determination original image are not distinguished, and are described as image processing performed on the original image A1.
  • FIG. 4 is a diagram for explaining candidate areas.
  • the candidate area extraction unit 30 extracts a candidate area P1 which is an area to be a candidate for a defect. Specifically, the candidate area extraction unit 30 selects one pixel P0 in the plurality of pixels P displaying the original image A1 as one area. Then, as shown in FIG. 4, the candidate area extraction unit 30 extracts surrounding pixels P0a that are pixels P around the pixel P0. In the example of FIG. 4, the surrounding pixel P0a is all pixels P surrounded by an area separated by 4 pixels in 4 directions from the pixel P0. The candidate area extraction unit 30 calculates the dispersion value of the luminance of the pixel P0 and the surrounding pixels P0a (81 in total).
  • the candidate area extraction unit 30 calculates the average value of the luminance of the extracted pixel P (the pixel P0 and the surrounding pixel P0a). Then, the candidate area extraction unit 30 calculates, for each pixel P, a square value obtained by squaring the difference between the brightness of the pixel P and the average value of the brightness, and adds up the square value for all the pixels P. The candidate area extraction unit 30 divides the total value by the number of pixels P to calculate the dispersion value of the luminance. The candidate area extraction unit 30 extracts the pixel P0 as a candidate area P1 when the dispersion value of the luminance is equal to or more than a predetermined dispersion value determined in advance.
  • the candidate area extraction unit 30 selects all pixels P in the original image A1 as the pixel P0 and performs the same process to extract a candidate area P1.
  • the location of the defect often has different luminance with respect to the surroundings, and the dispersion value of the luminance tends to be high.
  • the candidate area extraction unit 30 can appropriately extract an area to be a candidate for a defect by setting the pixel P having a high luminance dispersion value as the candidate area P1.
  • region P1 is 13.3, for example, it is not restricted to this but it is arbitrary. Further, in the example of FIG.
  • the surrounding pixel P0a is the pixel P surrounded by an area separated by 4 pixels in the four directions from the pixel P0, but the surrounding pixel P0a is a pixel P around the pixel P0. If so, their position and number are arbitrary. Further, in the present embodiment, the extraction of the candidate area P1 is performed based on the luminance, but the extraction of the candidate area P1 may be performed based on color information other than the luminance. As color information here, for example, information such as hue and the like other than luminance, that is, the brightness of the pixel P can be mentioned. For example, when the original image A1 has a color histogram for each area (the color is different for each area), the candidate area P1 may be extracted based on the color histogram.
  • the object T may have a region of a color different from that of the surface T1, such as when a protective tape of a color (blue) different from that of the surface T1 is attached.
  • a protective tape of a color (blue) different from that of the surface T1 is attached.
  • the candidate area extraction unit 30 compares the color of the pixel P with the stored color, and the difference between the color of the pixel P and the stored color is equal to or less than a predetermined threshold (for example, the value of the hue of the pixel P And the stored hue is equal to or less than the threshold), it is determined that the area occupied by the pixel P is a protective tape or the like and not a defect, and the pixel P is excluded from the candidate area P1.
  • a predetermined threshold for example, the value of the hue of the pixel P And the stored hue is equal to or less than the threshold
  • the dispersion of luminance between the area (pixel P0) and the surrounding area (peripheral pixel P0a) is a predetermined dispersion value or more
  • An area (pixel P0) which becomes the following is extracted as a candidate area P1 of the defect. If the luminance distribution is equal to or greater than a predetermined dispersion value, the candidate area extraction unit 30 determines that the area is a candidate for a defect location because the luminance change is large, and the area is selected as the candidate area P1.
  • the candidate area P1 is an area for one pixel.
  • the area here may not be an area for one pixel, but may be an area for a plurality of pixels, that is, an area in which a plurality of pixels P are gathered. In other words, the area here may be one area when the original image A1 is divided into a plurality of areas. If the candidate area extraction unit 30 extracts the candidate area P1 based on the luminance of the area (pixel P0) and the surrounding area (peripheral pixel P0a), the candidate area extraction unit 30 extracts the candidate area P1 based on the dispersion of the luminance You do not have to.
  • the candidate area extraction unit 30 calculates the difference in luminance between the area (pixel P0) and the surrounding area (peripheral pixel P0a), and when the difference in luminance is equal to or greater than a predetermined value, the area is selected as a candidate area It may be extracted as P1.
  • the candidate area extraction unit 30 may extract the defect candidate area P1 by detecting an edge (outline) of the area using, for example, a Sobel filter.
  • FIG. 5 is a diagram showing an example of the candidate extracted image.
  • the candidate area extraction unit 30 causes the display unit 14 to display the candidate extracted image A2 which is an image obtained by extracting and displaying the candidate area P1 via the image display control unit 28.
  • the high-intensity portions C1 to C5 appear on the low-intensity background.
  • the portion C1 is a region in which a plurality of pixels P extracted as the candidate region P1 are continuous in a circular shape, and corresponds to the outer periphery of the portion B1 of the original image A1.
  • Locations C2 and C5 are regions in which a plurality of pixels P extracted as the candidate region P1 are linearly continuous, and correspond to locations B2 and B5 of the original image A1.
  • Locations C3 and C4 are regions in which a region in which a plurality of pixels P extracted as the candidate region P1 is continuous is linearly spaced apart from each other.
  • the part C3 and the part C4 correspond to the parts B3 and B4 of the original image A1.
  • the candidate area extraction unit 30 may not necessarily display the candidate extracted image A2.
  • the defect candidate area extraction unit 32 removes a candidate area P1 having a predetermined shape determined in advance among the candidate areas P1, and extracts a candidate area P1 not removed as a defect candidate area P2. That is, the defect candidate area P2 is a partial candidate area P1 selected from among the plurality of candidate areas P1, and each of the defect candidate areas P2 is one pixel P (an area for one pixel). . Specifically, the defect candidate area extraction unit 32 detects a continuous candidate area P1 from the candidate area P1. “Continuous” indicates that the pixels P made into the candidate area P1 are adjacent.
  • the defect candidate area extraction unit 32 removes the continuous candidate area P1 as not being the defect candidate area P2.
  • the predetermined shape is, for example, a circle, a rectangle, a triangle, a polygon or the like, and is larger than a predetermined length.
  • the defect candidate area extraction unit 32 removes a candidate area P1 having a predetermined shape in this manner, thereby providing a part where a member such as a rivet, a window frame, or a seal is provided as a candidate for a defect part (defect candidate area Remove from P2).
  • this predetermined shape is not limited to these, and can be set arbitrarily.
  • the defect candidate area extraction unit 32 uses Hough transform (Hough transform) to determine whether a plurality of candidate areas P1 are continuous to form a circle and to form a candidate area P1 forming a circle. Remove.
  • Hough transform Hough transform
  • the defect candidate area extraction unit 32 can remove the rivet from the candidate points of defects by extracting the circle by Hough transformation.
  • FIG. 6 is a diagram for explaining a defect candidate extraction area.
  • the defect candidate area extraction unit 32 extracts the defect candidate area P2
  • the defect candidate area P2 and the pixels P in the surrounding area are regarded as defect candidate extraction areas P3 from the original image A1. Extract. That is, the defect candidate area extraction unit 32 extracts the pixel P corresponding to the defect candidate area P2 and the surrounding pixel P2a that is the pixel P around it as a defect candidate extraction area P3. Therefore, the defect candidate extraction area P3 is an area including a plurality of pixels P. In the example of FIG.
  • the surrounding pixel P2a is a pixel P surrounded by an area separated by 6 pixels in four directions from the pixel P corresponding to the defect candidate area P2, and the defect candidate extraction area P3 has a total of 169 Is an area including the pixel P of
  • the surrounding pixel P2a is a pixel P around the pixel P, the position and the number thereof are arbitrary, and the defect candidate extraction region P3 includes the pixel P corresponding to the defect candidate region P2 and its surrounding pixel P2a
  • the number of pixels P included is arbitrary as long as the area is included.
  • the defect candidate area extraction unit 32 does not necessarily extract the defect candidate extraction area P3 if the defect candidate area P2 is to be extracted if, for example, the defect candidate area P2 is formed of a plurality of pixels. May be
  • FIG. 7 is a diagram for explaining a defect candidate extraction area.
  • the defect candidate area extraction unit 32 extracts a rectangular area P2X including all the continuous defect candidate areas P2. Then, the defect candidate area extraction unit 32 extracts all pixels P in the area P2X and its surrounding pixels P2a as a defect candidate extraction area P3.
  • the defect candidate regions P2 are continuous means that, as shown in FIG. 7, pixels P in which at least one of the sides or at least one of the vertices is in contact continuously exist.
  • the defect candidate area extraction unit 32 extracts the defect candidate extraction area P3 after extracting the defect candidate area P2. As a result, since the defect candidate area extraction unit 32 can enlarge the area as a candidate for a defect, it is possible to further increase the accuracy of defect detection.
  • FIG. 8 is a diagram showing an example of a defect candidate extraction image.
  • the defect candidate area extraction unit 32 causes the display unit 14 to display the defect candidate extracted image A3 which is an image obtained by extracting the defect candidate area P2 via the image display control unit 28.
  • the defect candidate extracted image A3 As shown in FIG. 8, in the defect candidate extracted image A 3, high luminance spots C 2 to C 5 are shown on a low luminance background.
  • the portion C1 appearing in the candidate extracted image A2 is excluded because it is constituted by a circular candidate area P1, and is not appearing in the defect candidate extracted image A3.
  • the defect candidate extraction area P3 is extracted for each of the continuous defect candidate areas P2. Therefore, one defect candidate extraction region P3 is extracted at each of the portions C2 and C5 where the defect candidate regions P2 (pixels) are continuous.
  • the defect candidate area extraction unit 32 may not necessarily display the defect candidate extracted image A3.
  • the image processing unit 22 extracts the defect candidate area P2 based on the luminance of the image in the original image A1, that is, the luminance of the pixel P
  • the extraction of the defect candidate area P2 is not limited to the above contents. You may go.
  • the image processing unit 22 may set the extracted candidate area P1 as the defect candidate area P2 as it is without excluding the candidate area P1 having a predetermined shape from the extracted candidate area P1. Further, for example, the image processing unit 22 does not have the candidate area extraction unit 30, and the area remaining in the area (pixel P) in the original image A1 excluding the area having the predetermined shape is a defect candidate area It may be P2.
  • the feature amount calculation unit 34 calculates the feature amount of the defect candidate extraction area P3 based on the difference in luminance between the pixels P in the defect candidate extraction area P3. In other words, the feature quantity calculation unit 34 calculates the feature quantity of the defect candidate area P2 based on the difference in luminance between the defect candidate area P2 and the surrounding area (surrounding pixel P2a). The feature amount calculation unit 34 calculates feature amounts for all the defect candidate extraction areas P3. That is, in the example of FIG. 8, the feature quantity calculation unit 34 calculates feature quantities for each of the defect candidate extraction areas P3 from the place C2 to the place C5.
  • the feature amount is a luminance intensity parameter indicating a difference value of luminance for each pixel P in the defect candidate extraction area P3. Furthermore, the feature amount is a parameter indicating the amount of change in luminance in the defect candidate extraction region P3, that is, the defect candidate region P2 and the region around it.
  • the feature amount is large, the difference in luminance for each pixel P in the defect candidate extraction area P3 is large, and when the feature amount is small, the difference in luminance between the pixels P in the defect candidate extraction area P3 is small (the difference in luminance is uniform ).
  • the feature quantity calculation unit 34 calculates a hog feature quantity (HOG (Histograms of Oriented Gradient) feature quantity) of the defect candidate extraction area P3 as a feature quantity of the defect candidate extraction area P3.
  • the feature amount calculation unit 34 calculates the gradient intensity of the brightness of the pixel P in the defect candidate extraction region P3 for each direction of the intensity gradient, and the defect candidate extraction region P3 is calculated based on the gradient intensity of the brightness for each gradient direction.
  • Feature amount (Hog feature amount) is calculated.
  • the hog feature quantity calculated for one defect candidate extraction area P3 includes a plurality of types of values (parameters) calculated for each dimension.
  • the feature amount calculation unit 34 is not limited to calculating the hog feature amount as the feature amount.
  • the feature quantity calculation unit 34 may calculate the difference in luminance between the pixels P in the defect candidate extraction area P3 and calculate the difference value as the feature quantity of the defect candidate extraction area P3.
  • the feature amount calculation unit 34 may set the feature amount calculated for one defect candidate extraction region P3 as one type of value (parameter).
  • FIG. 9 is a flowchart illustrating the process of calculating the feature amount by the image processing unit.
  • the original image acquisition unit 20 acquires an original image A1 (step S10).
  • the image processing unit 22 causes the candidate area extraction unit 30 to extract the candidate area P1 (step S12).
  • the candidate area extraction unit 30 determines that the dispersion of the luminance between the area (pixel P) and the surrounding area (peripheral pixel P0a) in the area (pixel P) in the original image A1 is a predetermined dispersion value.
  • the area (pixel P) to be the above is extracted as a candidate area P1.
  • the image processing unit 22 extracts the defect candidate area P2 by the defect candidate area extraction unit 32 (step S14). Specifically, the defect candidate area extraction unit 32 removes the candidate area P1 having a predetermined predetermined shape, and extracts the candidate area P1 not removed as the defect candidate area P2. After extracting the defect candidate area P2, the image processing unit 22 extracts the defect candidate extraction area P3 by the defect candidate area extraction unit 32 (step S16). Specifically, the defect candidate area extraction unit 32 extracts the defect candidate area P2 and the pixels P in the area around it as a defect candidate extraction area P3.
  • the image processing unit 22 After extracting the defect candidate extraction region P3, the image processing unit 22 causes the feature amount calculation unit 34 to calculate the feature amount of the defect candidate extraction region P3 (step S18).
  • the feature amount calculation unit 34 calculates the feature amount of the defect candidate extraction area P3 based on the difference in luminance between the pixels P in the defect candidate extraction area P3.
  • the feature amount calculation unit 34 calculates feature amounts for all of the extracted defect candidate extraction regions P3.
  • the main processing by the image processing unit 22 ends by calculating the feature amount.
  • the feature amount calculation processing is processing of the same content in the learning original image and the determination original image.
  • the feature amount range setting unit 24 associates the feature amount calculated by the image processing unit 22 with respect to the learning original image and the information of the location of the defect by an algorithm using artificial intelligence to associate the defect feature amount range with the defect feature amount range.
  • the defect feature amount range is set.
  • the defect feature amount range is a numerical value range of a feature amount determined to be a defect
  • the non-defective feature amount range is a numerical value range of a feature amount determined not to be a defect.
  • the feature amount range setting unit 24 uses a learning original image of the object T in which the location of the defect is known in advance, and uses the defect feature amount range and the non-defect feature amount as a reference for defect determination of the object Set the range.
  • the feature amount range setting unit 24 includes a feature amount acquisition unit 40, a defect information acquisition unit 42, and a feature amount range calculation unit 44.
  • the location of the defect is detected in advance by, for example, a worker's inspection for the object T serving as a sample used for the setting.
  • the inspection in this case is performed by, for example, conventional visual inspection or palpation.
  • the defect detection system 1 causes the original image creation unit 10 to create the original image A1 of the object T, that is, the learning original image.
  • the image processing unit 22 performs the above-described image processing with the learning original image as the original image A1, and extracts the candidate area P1, the defect candidate area P2, and the defect candidate extraction area P3 of the learning original image.
  • the image processing unit 22 calculates a feature amount for the defect candidate extraction area P3 of the learning original image.
  • the object T to be a sample is preferably an aircraft part for the same part as the object T for which a defect is actually detected, but may be an aircraft part for a different part.
  • the feature amount acquisition unit 40 acquires the feature amount of the learning original image calculated by the image processing unit 22 and information (position information) of the defect candidate extraction area P3 having the feature amount.
  • the defect information acquisition unit 42 acquires information on a defect part of the target T on which the learning original image is captured.
  • the information on the defect location is information indicating the location of the defect that has been detected in advance for the actual object T serving as a sample, and indicates which position of the object T has a defect.
  • the information on the defect location corresponds to the information on the label indicating whether the location is actually a defect or a non-defect.
  • the feature amount range calculation unit 44 collates the position information of the defect candidate extraction region P3 acquired by the feature amount acquisition unit 40 with the information of the defect portion acquired by the defect information acquisition unit 42, and extracts the extracted defect candidate It is determined whether the area P3 is actually a defect.
  • the defect candidate extraction area P3 extracted by the image processing unit 22 is an area which is a candidate of a defect part, but there is a possibility that it is not a defect part in practice.
  • the feature amount range calculation unit 44 determines whether the defect candidate extraction region P3 is actually a defect based on the information on the defect portion.
  • the feature amount range calculation unit 44 determines whether all the defect candidate extraction regions P3 are defective.
  • the feature amount range calculation unit 44 calculates a defect feature amount range based on the feature amounts of the defect candidate extraction region P3 determined to be a defect.
  • the feature amount range calculation unit 44 calculates the non-defect feature amount range based on the feature amount of the defect candidate extraction area P3 determined not to be a defect. That is, the feature amount range calculation unit 44 learns in advance if the feature amount falls within the numerical range based on the information on the defect portion (that is, whether the feature amount is defect or non-defective) Separate labels). In addition, it is preferable that there are multiple objects T used for learning, such as 30 or more.
  • the feature amount range calculation unit 44 determines whether or not the defect candidate extraction region P3 is a defect portion for all the objects T used for learning, and uses all the determination results to determine the defect feature amount range and the non-defect feature. Calculate the amount range.
  • the defect feature amount range and the non-defect feature amount range will be described in more detail.
  • the feature quantity of the defect candidate extraction area P3 determined to be a defect is referred to as a feature quantity D1
  • the feature quantity of the defect candidate extraction area P3 determined to be not a defect is referred to as a feature quantity D2.
  • the feature amount range calculation unit 44 calculates a defect feature amount range E1 based on the feature amounts D1 of the plurality of defect candidate extraction areas P3.
  • the feature amount range calculation unit 44 calculates the defect feature amount range E1 so that all the feature amounts D1 fall within the defect feature amount range E1.
  • the feature amount range calculation unit 44 calculates the non-defect feature amount range E2 based on the feature amounts D2 of the plurality of defect candidate extraction areas P3.
  • the feature amount range calculation unit 44 calculates the non-defect feature amount range E2 such that all the feature amounts D2 fall within the non-defect feature amount range E2.
  • the feature amount range calculation unit 44 calculates the defect feature amount range E1 based on the numerical value range between the minimum value and the maximum value of the plurality of feature amounts D1, and among the plurality of feature amounts D2
  • the non-defective feature amount range E2 is calculated based on the numerical range between the minimum value and the maximum value of
  • the feature amount range calculating unit 44 may set the numerical range between the smallest value (minimum value) and the largest value (maximum value) of the plurality of feature amounts D1 as the defect feature amount range E1, A numerical value range in which a predetermined margin is added to a numerical value range between the minimum value and the maximum value to increase the range may be set as the defect feature amount range E1.
  • the feature amount range calculating unit 44 may connect the feature amounts D1 to identify a region in which all the feature amounts D1 fit, and may set the region as the defect feature amount range E1.
  • the feature amount range calculation unit 44 may set a range for each of the feature amounts D1 as a reference, and set a range including all the ranges as the defect feature amount range E1.
  • the non-defective feature amount range E2 can also be calculated by the same method except that the feature amount D2 is used instead of the feature amount D1.
  • FIG. 10 is a diagram for explaining the defect feature amount range and the non-defect feature amount range.
  • FIG. 10 is a graph showing the hog feature space. More specifically, the hog feature amount as a feature amount has a plurality of parameters (values) for each dimension.
  • the feature amount range calculating unit 44 compares feature amounts of the same dimension from the plurality of defect candidate extraction regions P3 and determines one of the feature amounts based on the numerical range between the maximum value and the minimum value.
  • the defect feature amount range E1 and the non-defect feature amount range E2 in the dimension are calculated. Then, the feature amount range calculation unit 44 calculates the defect feature amount range E1 and the non-defect feature amount range E2 for all the dimensions.
  • the feature amount range calculation unit 44 connects the outer peripheries of the regions of the defect feature amount range E1 of each dimension by an approximation line to form a multi-dimensional closed region, and the closed region is an actual defect feature amount range E1. Calculated as Similarly, the feature amount range calculation unit 44 connects the outer peripheries of the non-defect feature amount range E2 of each dimension with an approximation line to form a multi-dimensional closed region, and the closed region is an actual non-defective feature. Calculated as the amount range E2. Note that, as shown in FIG. 10, there are numerical values that can not fall within any of the defect feature amount range E1 and the non-defect feature amount range E2 among the numerical value ranges that the feature amount can take. Further, the method of calculating the defect feature amount range and the non-defect feature amount range is not limited to the contents described above, and the shapes of the defect feature amount range E1 and the non-defect feature amount range E2 in FIG. Yes, not limited to this shape.
  • the feature amount range setting unit 24 sets the defect feature amount range and the non-defect feature amount range using the learning original image.
  • a flow of setting processing (feature amount range setting step) between the defect feature amount range and the non-defect feature amount range described above will be described based on a flowchart.
  • FIG. 11 is a flowchart for explaining the setting process of the defect feature amount range and the non-defect feature amount range.
  • the image processing unit 22 performs image processing using the learning original image as the original image A1, extracts the defect candidate extraction region P3, and calculates the feature amount thereof.
  • the feature amount range setting unit 24 causes the feature amount acquisition unit 40 to acquire the defect candidate extraction region P3 of the learning original image and its feature amount from the image processing unit 22 (step S20).
  • the feature amount range setting unit 24 causes the defect information acquisition unit 42 to acquire information on the location of the defect detected in advance (step S22).
  • the processing order of step S20 and step S22 is arbitrary.
  • the feature amount range setting unit 24 causes the feature amount range calculation unit 44 to collate the defect candidate extraction region P3 with the information of the location of the defect to determine whether the defect candidate extraction region P3 is a location of the defect. (Step S24). After determining the location of the defect, the feature amount range setting unit 24 sets the defect feature amount range and the non-defect feature amount range by the feature amount range calculating unit 44 (step S26). This processing ends.
  • the feature amount range calculating unit 44 determines whether the defect candidate extraction region P3 is a defect.
  • the feature amount range setting unit 24 is not limited to the determination by itself as long as it acquires information as to whether the defect candidate extraction area P3 is a part of a defect.
  • the operator causes the display unit 14 to display the defect candidate extracted image A3 (see FIG. 8), and determines whether the defect candidate extraction area P3 is a defect place while referring to the information on the defect place. It is also good. Then, the operator may input the determination result, and the feature amount range setting unit 24 may obtain the determination result.
  • the defect detection unit 26 performs determination using an algorithm using artificial intelligence based on the feature amounts calculated by the image processing unit 22 for the original determination image, the defect feature amount range E1, and the non-defect feature amount range E2. It is determined whether the defect candidate extraction area P3 in the original image is a defect. That is, the defect detection unit 26 detects a defect of the object T using the defect feature amount range E1 and the non-defect feature amount range E2 calculated by the learning of the feature amount range setting unit 24. Specifically, as shown in FIG. 2, the defect detection unit 26 includes a feature amount acquisition unit 50, a feature amount range acquisition unit 52, and a defect determination unit 54.
  • the defect detection system 1 When detecting the location of the defect, the defect detection system 1 causes the original image creation unit 10 to create the original image A1 of the object T to be detected, that is, the original image for determination. Then, the defect detection system 1 performs the above-described image processing with the image processing unit 22 using the original image for determination as the original image A1, and extracts the candidate area P1, the defect candidate area P2 and the defect candidate extraction area P3 of the determination image Do. Then, the image processing unit 22 calculates the feature amount for the defect candidate extraction area P3 of the determination image.
  • the feature amount acquisition unit 50 acquires the feature amount of the defect candidate extraction area P3 in the determination image calculated by the image processing unit 22 and the information (position information) of the defect candidate extraction area P3 having the feature amount.
  • the position information indicates information on which position in the image the defect candidate extraction area P3 occupies.
  • the feature amount of the determination image calculated by the image processing unit 22 will be referred to as a determination feature amount.
  • the feature amount range acquiring unit 52 acquires information on the defect feature amount range E1 and the non-defect feature amount range E2 from the feature amount range setting unit 24.
  • the defect determination unit 54 determines whether the defect candidate extraction region P3 in the original image for determination is a defect based on the determination feature amount, the defect feature amount range E1, and the non-defect feature amount range E2. .
  • the defect determining unit 54 determines whether the defect candidate area P2 is a defect based on the defect difference value X1 and the non-defect difference value X2.
  • the defect difference value X1 is a difference value between the determination feature amount and the defect feature amount range E1
  • the non-defect difference value X2 is a difference between the determination feature amount and the non-defect feature amount range E2. It is a value.
  • the defect determination unit 54 determines that the defect candidate extraction area P3 is a defect location.
  • the threshold value K is a preset coefficient and can be set to any value, but is preferably a value larger than one. As a result, the defect determination unit 54 can increase the possibility of determining a defect, and can reduce the possibility of not detecting a defect.
  • the defect determination unit 54 determines whether or not all defect candidate extraction areas P3 in the determination image have a defect.
  • the defect determination unit 54 sets the threshold value K to the same value common to all defect candidate extraction areas P3.
  • the defect determination unit 54 sets a threshold for determining a defect, and performs defect determination based on the determination feature, the defect feature range E1, the non-defect feature range E2, and the threshold.
  • the invention is not limited to setting the threshold value K for the ratio of the defect difference value X1 to the non-defect difference value X2. Even in this case, it is desirable that the defect determination unit 54 set the threshold so that the possibility of determining the defect to be a defect is higher than the possibility of determining that the defect is not a defect.
  • FIG. 12 is a diagram for explaining defect determination.
  • FIG. 12 is a graph showing the hog feature space.
  • the determination feature amounts F1, F2, F3, and F4 in FIG. 12 are examples of the determination feature amounts of the defect candidate extraction region P3 different from one another. Since the determination feature amount F1 is a value falling within the defect feature amount range E1, the defect determination unit 54 determines that the defect candidate extraction region P3 corresponding to the determination feature amount F1 is a defect portion. Since the determination feature amount F2 falls within the non-defect feature amount range E2, the defect determination unit 54 determines that the defect candidate extraction region P3 corresponding to the determination feature amount F2 is not a defect.
  • the determination feature amount F3 is out of the range of the defect feature amount range E1 and the non-defect feature amount range E2.
  • the ratio of the defect difference value X1 to the non-defect difference value X2 is a value equal to or less than the threshold value K. Therefore, the defect determination unit 54 determines that the defect candidate extraction region P3 corresponding to the determination feature value F3 is a defect.
  • the determination feature amount F4 is also out of the range of the defect feature amount range E1 and the non-defect feature amount range E2.
  • the ratio of the defect difference value X1 to the non-defect difference value X2 is a value larger than the threshold value K.
  • the defect determination unit 54 determines that the defect candidate extraction region P3 corresponding to the determination feature value F4 is not a defect.
  • the defect difference value X1 is the minimum value (minimum distance) of the difference between the determination feature amount and the defect feature amount range E1, that is, the defect feature amount range E1 closest to the determination feature amount. It is a difference value from the determination feature value.
  • the defect difference value X1 is not limited to this, and may be a difference value between an arbitrary value within the range of the defect feature amount range E1 and the determination feature amount.
  • the defect difference value X1 may be a difference between the determination feature amount and the median value of the defect feature amount range E1.
  • the non-defective difference value X2 is also the same.
  • the defect detection unit 26 collates the determination feature amount with the defect feature amount range and the non-defect feature amount range, and determines whether the defect candidate extraction region P3 of the determination original image is a defect portion. judge.
  • the flow of the defect determination process (defect detection step) described above will be described based on a flowchart.
  • FIG. 13 is a flowchart illustrating the process of defect detection.
  • the defect detection system 1 causes the original image creation unit 10 to create an original image A1 of an object T whose defect is to be detected, that is, an original image for determination.
  • the image processing unit 22 performs image processing of the original image for determination, extracts the defect candidate extraction region P3, and calculates the feature amount thereof.
  • the defect detection unit 26 causes the feature amount acquisition unit 50 to acquire the feature amount of the original determination image (determination feature amount) from the image processing unit 22 (step S30).
  • the range acquiring unit 52 acquires information on the defect feature amount range E1 and the non-defect feature amount range E2 from the feature amount range setting unit 24 (step S32).
  • the defect detection unit 26 calculates the defect difference value X1 and the non-defect difference value X2 of the defect candidate extraction area P3 of the original image for determination by the defect determination unit 54 (step S34). After calculating the defect difference value X1 and the non-defect difference value X2, the defect detection unit 26 determines whether the ratio of the defect difference value X1 to the non-defect difference value X2 is equal to or less than the threshold K by the defect determination unit 54. (Step S36). If the ratio is equal to or less than the threshold value K (step S36; Yes), the defect determination unit 54 determines that the defect candidate extraction region P3 is a portion of a defect (step S38).
  • step S36 determines that the defect candidate extraction area P3 is not a defect (step S40).
  • the defect determination unit 54 performs these processes for all the defect candidate extraction areas P3 to determine whether each of them is a defect part. This processing ends.
  • the image display control unit 28 illustrated in FIG. 2 causes the display unit 14 to display a determination image A4, which is an image indicating the determination result.
  • FIG. 14 is a diagram showing an example of the determination image.
  • the determination image A4 is an image obtained by adding a mark M to the original image A1.
  • the mark M is a mark displayed in the original image A1 at a position determined by the defect detection unit 26 as a defect.
  • the portions B1 to B5 displayed in the original image A1 are displayed.
  • a mark M is displayed around the portions B3 to B5.
  • the part B1 is an area excluded from the defect candidate area P2 because it is circular.
  • the part B2 is an area where the difference between the defect difference value X1 and the non-defect part difference value X2 is not equal to or less than the threshold K and is determined not to be a defect part. Therefore, the mark M is not displayed on the part B1 and the part B2.
  • the mark M is displayed for each defect candidate extraction area P3 determined to be a part of the defect. Since the part B2 and the part B5 have only one defect candidate extraction area P3, one mark M is displayed. On the other hand, since the part B3 and the part B4 have a plurality of defect candidate extraction areas P3, a plurality of marks M are displayed for the number of the defect candidate extraction areas P3.
  • the mark M is a circular mark consisting of a frame line forming a circle. The mark M is displayed so as to surround the defect candidate extraction area P3 determined to be the position of the defect with the circular frame line. It is preferable that the area surrounded by the frame line has a predetermined area with respect to, for example, one defect candidate area P3.
  • the image display control unit 28 causes the determination image A4 to be displayed so that the display of the mark M is different according to the ratio of the defect difference value X1 to the non-defect difference value X2. That is, the image display control unit 28 changes the display of the mark M for the defect candidate extraction areas P3 having different ratios.
  • the image display control unit 28 changes the color of the border of the outer periphery of the mark M according to the ratio of the defect difference value X1 to the non-defect difference value X2. As a result, the worker can more preferably visually recognize a portion having a high ratio and a higher possibility of defects.
  • FIG. 15 is a view showing another example of the determination image.
  • the image display control unit 28 may make the display of the superimposed marks M different from the display of the marks M that are not superimposed.
  • the marks M1 displayed on the defect candidate extraction area P3 of the part B3 overlap each other.
  • the marks M1 displayed for the defect candidate extraction area P3 of the portion B4 also overlap each other.
  • the image display control unit 28 displays a predetermined color in the area inside the overlapping mark M1. Although this color is arbitrary, it is preferable that the color is semi-transparent (a color capable of transmitting visible light at a processing ratio) so that the location of the defect displayed in the area can be viewed.
  • the mark M2 displayed with respect to location B2 and B5 does not overlap with another mark. Therefore, a predetermined color is not displayed in the area inside the mark M2.
  • the display of the superimposed mark M is not limited to this and is optional as long as it is different from the display of the non-overlapped mark M.
  • the defect detection system 1 is a system for detecting a defect of an aircraft component which is the object T, and includes the original image acquisition unit 20, the image processing unit 22, and the feature amount range.
  • a setting unit 24 and a defect detection unit 26 are provided.
  • the original image acquisition unit 20 acquires an original image A1.
  • the original image A1 is an image of the object T including an image of the location of the defect.
  • the image processing unit 22 extracts, from the original image A1, a defect candidate area P2 which is a candidate for a defect part, based on the luminance of the image in the original image A1.
  • the image processing unit 22 calculates the feature amount of the defect candidate area P2 based on the difference in luminance (the defect candidate area P2 and the area around it) in the defect candidate extraction area P3.
  • the feature amount range setting unit 24 associates the defect amount range E1 and the non-defect feature amount range E2 by associating the feature amount calculated by the image processing unit 22 with the information on the location of the defect with respect to the learning original image.
  • the learning original image is an original image A1 in which the location of the defect is detected in advance.
  • the defect feature amount range E1 is a range of feature amounts determined to be a defect
  • the non-defect feature amount range E2 is a range of feature amounts determined to be not a defect.
  • the defect detection unit 26 is a defect candidate area in the determination original image based on the feature amount calculated by the image processing unit 22 for the determination original image, the defect feature amount range E1, and the non-defect feature amount range E2. It is determined whether or not there is a defect.
  • the original image for determination is an original image A1 in which the portion of the defect is not detected.
  • the image processing unit 22 applies image processing to the original image A ⁇ b> 1 to extract a defect candidate area P ⁇ b> 2 which is a candidate for a defect. Then, the image processing unit 22 calculates a feature amount that is a parameter of the luminance intensity of the defect candidate area P2. That is, the image processing unit 22 restricts the target for calculating the feature amount to only the defect candidate region P2.
  • the feature amount range setting unit 24 sets a defect feature amount range and a non-defect feature amount range based on the feature amounts of the defect candidate region P2 extracted from the learning original image. That is, the feature amount range setting unit 24 sets in advance a reference of what kind of feature amount causes a defect.
  • the defect detection unit 26 compares the feature amounts of the defect candidate area P2 extracted from the original determination image with the reference (defect feature amount range and non-defect feature amount range) from the determination original image. It is detected whether the extracted defect candidate area P2 is a defect. Since the defect detection system 1 detects a defect based on the feature amount of the original image A1, the variation in detection accuracy can be suppressed. Further, the defect detection system 1 learns in advance the range of the feature amount to be the reference of the defect (defect feature amount range and non-defect feature amount range) using the learning original image. Since the defect detection system 1 detects a defect based on the range of the feature amount, the detection accuracy can be improved.
  • the defect detection system 1 uses a parameter for determining whether it is a defect as a feature amount, and limits the target for calculating the feature amount to only the defect candidate area P2. Therefore, the defect detection system 1 can shorten the detection time by suppressing the defect detection calculation from being excessive and suppressing the burden of the defect detection. Thus, the defect detection system 1 can appropriately detect defects in aircraft parts.
  • the image processing unit 22 further includes a candidate area extraction unit 30, a defect candidate area extraction unit 32, and a feature quantity calculation unit 34.
  • the candidate area extraction unit 30 extracts an area in the original image A1 in which the dispersion of luminance between the area and the surrounding area is equal to or greater than a predetermined dispersion value as a candidate area P1 for a defect.
  • the defect candidate area extraction unit 32 removes the candidate area P1 having a predetermined shape determined in advance among the candidate areas P1, and extracts the candidate area P1 not removed as a defect candidate area P2.
  • the feature amount calculation unit 34 calculates the feature amount of the defect candidate region P2 based on the difference in luminance between the defect candidate region P2 and the surrounding region.
  • the image processing unit 22 extracts an area having a large variance with the surrounding luminance as a candidate area P1.
  • the area where the variance is large can be said to be an area where the difference in luminance from the surroundings is large, so the image processing unit 22 can calculate the feature amount only for the area where the difference in luminance is large and the possibility of defects is high. Extract as Then, the image processing unit 22 excludes an area provided with a member such as a rivet in the object T from the defect candidate area P2 for calculating the feature amount as not being a defect.
  • the defect detection system 1 can more preferably suppress an excessive number of defect detection calculations, and can more appropriately detect defects of aircraft parts.
  • the defect candidate area extraction unit 32 uses Hough transform to determine whether a plurality of candidate areas P1 are continuous to form a circle, and removes the candidate area P1 forming the circle.
  • Aircraft parts often have round members such as rivets attached.
  • the defect detection system 1 is capable of more suitably suppressing the calculation of defect detection from becoming too large and excluding the defect of the aircraft part more appropriately by excluding the area constituting the circle as not defect. It becomes.
  • the feature amount calculation unit 34 calculates a feature amount as the amount of change in luminance in the defect candidate extraction region P3 (the defect candidate region P2 and a region around it).
  • the defect detection system 1 determines whether the defect is a defect based on the feature amount with the amount of change in luminance in the periphery as the feature amount. At the location of the defect, the amount of change in the surrounding brightness increases. Therefore, the defect detection system 1 can appropriately improve the accuracy of defect detection by performing the defect determination based on the feature amount.
  • the feature quantity calculation unit 34 calculates the hog feature quantity calculated from the defect candidate area P2 and the area around it as a feature quantity. Since the defect detection system 1 uses the hog feature amount as the feature amount, it is possible to identify the amount of change in luminance in the surroundings for each direction of the luminance gradient (amount of change) and determine whether it is a defect. . Therefore, the defect detection system 1 can more appropriately improve the accuracy of defect detection.
  • the defect detection unit 26 further includes a feature amount acquisition unit 50 and a defect determination unit 54.
  • the feature amount acquisition unit 50 acquires a determination feature amount that is a feature amount of the determination original image.
  • the defect determination unit 54 determines whether the defect candidate area P2 is a defect based on the defect difference value X1 and the non-defect difference value X2.
  • the defect difference value X1 is a difference value between the determination feature amount and the defect feature amount range.
  • the non-defective difference value X2 is a difference value between the determination feature amount and the non-defect feature range. Since the defect detection system 1 determines whether the defect is a defect based on the difference value of the feature value for determination with respect to the reference value (defect feature amount range) of whether it is a defect calculated in advance, the defect detection accuracy is more appropriately It can be improved.
  • the defect determination unit 54 determines that the defect candidate area P2 is a defect. Since the defect detection system 1 performs the defect determination based on the ratio of the defect difference value X1 to the non-defect difference value X2, the defect detection accuracy can be more appropriately improved. For example, even if the defect detection system 1 determines that the determination feature is a defect based on the ratio even if the determination feature is out of both the defect feature range and the non-defect feature range, the feature amount for determination is It is possible to appropriately determine whether the defect candidate area P2 having the defect area is a defect point.
  • the predetermined threshold value K is a value larger than one.
  • the number of defect locations is less than that of non-defect locations. Therefore, even in the learning original image used for learning, the number of defect candidate areas P2 determined as defects is smaller than the number of defect candidate areas P2 not being defects. Therefore, the numerical range of the defect feature amount range tends to be narrower than the non-defective feature amount range.
  • the defect detection system 1 makes the possibility of being determined as a defect high at the time of detection of a defect by making the threshold value K larger than 1, and improves the accuracy of the defect detection more appropriately. Let
  • the defect detection system 1 further includes an image display control unit 28.
  • the image display control unit 28 causes the display unit 14 to display the determination image A4.
  • the determination image A4 is an image obtained by adding a mark M to the original image A1.
  • the mark M is displayed in a portion of the original image A1 that the defect detection unit 26 has determined to be a portion of the defect.
  • the defect detection system 1 displays an image in which the mark M is added to the portion determined to be a defect, so that the operator can easily visually recognize the portion of the defect.
  • the image display control unit 28 causes the determination image A4 to be displayed so that the display of the mark M is different according to the ratio of the defect difference value X1 to the non-defect difference value X2. A portion where the ratio of the defect difference value X1 to the non-defect difference value X2 is high is likely to be a defect.
  • the image display control unit 28 allows the operator to easily visually recognize a portion having a high possibility of being a defect.
  • the defect detection system 1 also includes an original image creation unit 10 that creates an original image A1.
  • the original image creation unit 10 captures the surface T1 of the object T to create an original image A1.
  • the defect detection system 1 can appropriately detect a defect on the surface T1 of the object T by performing defect detection using the original image A1.
  • the defect detection system 1 can detect not only defects in the surface T1 of the object T but also defects in the object T.
  • the original image creation unit 10 detects the internal state (discontinuity inside) of the object T, and creates an original image A1 based on the detected data.
  • the defect detection system 1 can appropriately detect a defect inside the object T.
  • the original image creation unit 10 has an ultrasonic flaw detector, and emits ultrasonic waves to the object T while changing the injection position.
  • the original image creation unit 10 measures the reflected wave at each position.
  • the original image creation unit 10 creates, as an original image A1, an image in which the luminance is changed for each intensity distribution of the reflected waves and the position is plotted in a two-dimensional matrix.
  • the original image A1 is a two-dimensional image including the location of a defect inside the object T.
  • the original image creation unit 10 may obtain a reflected wave
  • the control unit 12 may create an original image based on the reflected wave.
  • the defect detection system 1 can appropriately detect an internal defect.
  • the defect detection system 1 detects defects on the surface by using an original image using defects on the surface, and detects defects in the inside by using an original image using defects on the inside. Is possible.
  • the defect detection system 1 according to the second embodiment is different from that of the first embodiment in that it has a true / false teaching unit 60. Descriptions of portions in the second embodiment that are common to the first embodiment will be omitted.
  • FIG. 16 is a schematic block diagram of a control unit according to the second embodiment.
  • the control unit 12 ⁇ / b> A according to the second embodiment has a true / false teaching unit 60.
  • the true / false teaching unit 60 collates the detection result of the defect detection unit 26 with respect to the object T for which the defect has not been detected with the detection result of the defect detected in another inspection for the object T.
  • the true / false teaching unit 60 transmits (teaches) the feature amount range setting unit 24 as a result of the comparison, that is, the accuracy of the detection result of the defect detection unit 26.
  • the feature amount range setting unit 24 resets the defect feature amount range and the non-defect feature amount range on the basis of the correctness / incorrectness information.
  • the true / false teaching unit 60 acquires, from the defect detection unit 26, the detection result (the position information of the position of the defect) of the location of the defect of the target T for which the defect has not been detected. At that time, the detection of the location of the defect is performed on the object T by another inspection. This other examination is performed, for example, by a worker, and is performed, for example, by conventional visual inspection or palpation.
  • the operator inputs the detection result of the location of the defect (positional information of the location of the defect) to the control unit 12A by the input unit 16.
  • the true / false teaching unit 60 acquires the detection result of the location of the defect.
  • the detection result of the location of the defect obtained from the defect detection unit 26, that is, the position information of the location of the defect detected by the defect detection unit 26 is taken as a defect detection position.
  • the detection result of the location of the defect acquired from other inspection ie, the positional information on the location of the defect detected by the other inspection, is made into a defect confirmation position.
  • the true / false teaching unit 60 collates the defect detection position with the defect confirmation position, and determines whether the defect detection position is actually a defect portion. When the defect detection position coincides with the defect confirmation position, the correct / incorrect teaching portion 60 determines that the defect detection position is an actual defect position.
  • the correct / incorrect teaching portion 60 determines that the defect detection position is not an actual defect position.
  • a defect detection position which is determined not to be an actual defect position is referred to as a non-defect position.
  • the defect detection unit 26 is a defect position where the correct and incorrect teaching portion 60 does not have a defect detection position in other inspections. If not determined, the information of the defect confirmation position is stored.
  • a defect confirmation position which is not determined by the defect detection unit 26 to be a defect portion is referred to as an additional defect position.
  • the true / false teaching unit 60 outputs information on the non-defective position and the additional defect position to the image processing unit 22.
  • the image processing unit 22 causes the feature amount calculation unit 34 to calculate feature amounts of the area corresponding to the non-defective position and the additional defect position.
  • the feature quantity at the non-defective position is taken as the non-defective feature quantity
  • the feature quantity at the additional defect position is taken as the additional defect feature quantity.
  • the feature amount range setting unit 24 causes the feature amount acquisition unit 40 to acquire the non-defective feature amount and the additional defect feature amount.
  • the feature amount range setting unit 24 causes the feature amount range calculation unit 44 to reset the defect feature amount range and the non-defect feature amount range based on the non-defect feature amount and the additional defect feature amount.
  • the feature amount range calculation unit 44 calculates the defect feature amount range E1 based on the additional defect feature amount in addition to the feature amount D1 determined to be a defect in the learning original image. That is, the feature amount range calculation unit 44 recalculates the defect feature amount range E1 so that the feature amount D1 and the additional defect feature amount fall within the defect feature amount range E1.
  • the feature amount range calculation unit 44 calculates the non-defective feature amount range E2 based on the non-defective feature amount in addition to the feature amount D2 determined to be not a defect in the learning original image. That is, the feature amount range calculation unit 44 recalculates the non-defect feature amount range E2 such that the feature amount D2 and the non-defect feature amount fall within the non-defect feature amount range E2.
  • the defect detection unit 26 performs subsequent defect detection using the newly calculated defect feature amount range E1 and the non-defect feature amount range E2. At this time, the defect detection unit 26 does not change the value of the threshold K and keeps the same value regardless of the result of the true / false teaching unit 60.
  • the true / false teaching unit 60 detects the location of the defect from the defect detecting unit 26 as the detection result of the location of the defect by another inspection performed on the same object T.
  • Match to The true / false teaching unit 60 detects positions (non-defective position and additional defect position) at which the detection result of the defect location from the defect detection unit 26 does not coincide with the detection result of the defect location by another inspection.
  • the image processing unit 22 calculates the feature amount of this position.
  • the defect detection unit 26 resets the defect feature amount range E1 and the non-defect feature amount range E2 based on the calculated feature amounts.
  • the defect detection unit 26 performs subsequent defect detection using the newly calculated defect feature amount range E1 and the non-defect feature amount range E2.
  • the defect detection system 1 uses the defect feature amount range E1 and the non-defect feature amount range E2 according to the teaching result (information on the non-defect position and the additional defect position) of the correct / incorrect teaching portion 60. Update. Thereby, the defect detection system 1 can further improve the accuracy of defect detection.

Abstract

航空機用部品の欠陥を適切に検出する。欠陥検出システムは、原画像を取得する原画像取得部(20)と、原画像内の画像の輝度に基づき、欠陥候補領域を原画像内から抽出し、欠陥候補領域とその周囲の領域との輝度の差分に基づき、欠陥候補領域の特徴量を算出する画像処理部(22)と、欠陥の箇所が予め検出されている学習用原画像に対して画像処理部(22)が算出した特徴量と、欠陥の箇所の情報とを関連付けて、欠陥特徴量範囲と非欠陥特徴量範囲とを設定する特徴量範囲設定部(24)と、欠陥の箇所が未検出の判定用原画像に対して画像処理部(22)が算出した特徴量と、欠陥特徴量範囲と、非欠陥特徴量範囲とに基づき、判定用原画像内の欠陥候補領域が欠陥の箇所であるかを判定する欠陥検出部(26)と、を有する。

Description

航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法
 本発明は、航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法に関する。
 従来、航空機用の部品の表面の欠陥(傷)を検出する表面検査は、作業者によって、実際の部品を目視したり触診したりすることによって行われている。航空機用の部品の内部の欠陥を検出する際は、例えば超音波探傷など、非破壊による検査が作業者によって行われている。また、例えば特許文献1には、製品の表面の画像に画像処理を加えて、その画像処理を加えた画像に基づいて製品の品質評価を行う技術が記載されている。
特許第5520908号公報
 しかし、人による検査では、欠陥の検出精度や検出にかかる時間にばらつきがある。また、画像処理を加えた画像による検出の場合でも、検出精度の向上には改善の余地がある。このように、航空機用の部品の欠陥検出において、より適切に欠陥を検出し、欠陥の検出時間を短縮する技術が求められている。
 本発明は、上述した課題を解決するものであり、適切に欠陥を検出でき、欠陥の検出時間を短縮できる航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法を提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本開示に係る航空機用部品の欠陥検出システムは、対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出システムであって、欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得部と、前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理部と、前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定部と、前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記判定用原画像内の前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出部と、を有する。
 この欠陥検出システムは、欠陥の基準となる特徴量の範囲を予め学習し、その学習結果に基づき、原画像を用いて欠陥を検出するため、検出精度のばらつきを抑制することができる。また、この欠陥検出システムは、特徴量を算出する対象を欠陥候補領域だけに制限するため、欠陥検出の負担を抑制し検出時間を短くすることができる。従って、この検出システムは、航空機用部品の欠陥を適切に検出することが可能となる。
 前記欠陥検出システムにおいて、前記画像処理部は、前記原画像内の領域のうち、その領域と周囲の領域との輝度の分散が所定の分散値以上となる領域を、前記欠陥の候補領域として抽出する候補領域抽出部と、前記候補領域のうち、あらかじめ定めた所定の形状となる前記候補領域を除去し、除去しなかった前記候補領域を、前記欠陥候補領域として抽出する欠陥候補領域抽出部と、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する特徴量算出部と、を有することが好ましい。この検出システムは、欠陥検出の計算が多くなり過ぎることをより好適に抑制し、検出時間を短くすることで、航空機用部品の欠陥をより適切に検出することが可能となる。
 前記欠陥検出システムにおいて、前記欠陥候補領域抽出部は、ハフ変換を用いて、複数の前記候補領域が連続することで円形を構成するかを判定し、前記円形を構成する候補領域を除去することが好ましい。この検出システムは、欠陥検出の計算が多くなり過ぎることをより好適に抑制し、検出時間を短くすることで、航空機用部品の欠陥をより適切に検出することが可能となる。
 前記欠陥検出システムにおいて、前記特徴量算出部は、欠陥候補領域及びその周囲の領域における輝度の変化量として、前記特徴量を算出することが好ましい。この検出システムは、この特徴量に基づき欠陥の判定を行うことで、欠陥検出の精度を適切に向上させることができる。
 前記欠陥検出システムにおいて、前記特徴量算出部は、前記欠陥候補領域のホグ特徴量を、前記特徴量として算出することが好ましい。この検出システムは、ホグ特徴量に基づき欠陥の判定を行うことで、欠陥検出の精度を適切に向上させることができる。
 前記欠陥検出システムにおいて、前記欠陥検出部は、前記判定用原画像の前記特徴量である判定用特徴量を取得する特徴量取得部と、前記特徴量範囲設定部から前記欠陥特徴量範囲及び前記非欠陥特徴量範囲を取得する特徴量範囲取得部と、前記判定用特徴量と前記欠陥特徴量範囲との間の差分値である欠陥差分値、及び、前記判定用特徴量と前記非欠陥特徴量範囲との間の差分値である非欠陥差分値に基づき、前記欠陥候補領域が、前記欠陥の箇所であるかを判定する欠陥判定部とを有することが好ましい。この欠陥検出システムは、予め算出した欠陥特徴量範囲に対する判定用特徴量の差分値に基づき欠陥であるかを判定するため、欠陥検出の精度をより適切に向上させることができる。
 前記欠陥検出システムにおいて、前記欠陥判定部は、前記非欠陥差分値に対する前記欠陥差分値の比率が、所定の閾値以下となる場合、前記欠陥候補領域が、前記欠陥の箇所であると判定することが好ましい。この欠陥検出システムは、非欠陥差分値に対する欠陥差分値の比率に基づき欠陥の判定を行っているため、欠陥検出の精度をより適切に向上させることができる。
 前記欠陥検出システムにおいて、前記所定の閾値は、1より大きい値であることが好ましい。この欠陥検出システムは、閾値を1より大きくすることで、欠陥の検出の際に、欠陥であると判定する可能性を高くして、欠陥検出の精度をより適切に向上させることができる。
 前記欠陥検出システムは、前記原画像に対し、前記欠陥検出部が前記欠陥の箇所であると判定した箇所に目印を加えた判定画像を、表示部に表示させる画像表示制御部を更に有することが好ましい。この欠陥検出システムは、欠陥と判定された箇所に目印を加えた画像を表示することで、作業者が欠陥の箇所を容易に視認することが可能となる。
 前記欠陥検出システムにおいて、前記画像表示制御部は、前記目印の表示が、前記非欠陥差分値に対する前記欠陥差分値の比率に応じて異なるように、前記判定画像を表示させることが好ましい。この欠陥検出システムは、比率に応じて目印の表示を変化させることで、欠陥である可能性が高い箇所を、作業者に容易に視認させることが可能となる。
 前記欠陥検出システムは、前記対象物の表面を撮像して前記原画像を作成する原画像作成部を更に有することが好ましい。欠陥検出システムは、この原画像を用いて欠陥検出を行うことで、対象物の表面の欠陥を、適切に検出することが可能となる。
 前記欠陥検出システムは、前記対象物の内部状態を検出して、その検出データに基づき前記原画像を作成する原画像作成部を更に有することが好ましい。これにより、欠陥検出システムは、対象物の内部の欠陥を適切に検出することが可能となる。
 上述した課題を解決し、目的を達成するために、本開示に係る航空機用部品の欠陥検出方法は、対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出方法であって、欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得ステップと、前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理ステップと、前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定ステップと、前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記特徴量に対応する前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出ステップと、を有する。この欠陥検出方法は、航空機用部品の欠陥を適切に検出することが可能となる。
 本発明によれば、航空機用部品の欠陥を適切に検出することができる。
図1は、第1実施形態に係る欠陥検出システムの模式図である。 図2は、第1実施形態に係る制御部の模式的なブロック図である。 図3は、原画像の一例を示す図である。 図4は、候補領域を説明する図である。 図5は、候補抽出画像の一例を示す図である。 図6は、欠陥候補抽出領域を説明するための図である。 図7は、欠陥候補抽出領域を説明するための図である。 図8は、欠陥候補抽出画像の一例を示す図である。 図9は、画像処理部による特徴量の算出処理を説明するフローチャートである。 図10は、欠陥特徴量範囲と非欠陥特徴量範囲を説明する図である。 図11は、欠陥特徴量範囲と非欠陥特徴量範囲との設定処理を説明するフローチャートである。 図12は、欠陥判定を説明する図である。 図13は、欠陥検出の処理を説明するフローチャートである。 図14は、判定画像の一例を示す図である。 図15は、判定画像の他の例を示す図である。 図16は、第2実施形態に係る制御部の模式的なブロック図である。
 以下に添付図面を参照して、本発明の好適な実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含むものである。
 (第1実施形態)
 (全体構成)
 図1は、第1実施形態に係る欠陥検出システムの模式図である。図1に示すように、第1実施形態に係る欠陥検出システム1は、対象物Tの欠陥を検出するシステムである。対象物Tは、航空機用の部品である。欠陥とは、対象物Tのきず(不連続部)のうち、予め設定した基準から外れる不合格となるきずを指す。すなわち、欠陥は、対象物Tの傷を指す。
 図1に示すように、欠陥検出システム1は、人工知能を実装したコンピュータであり、原画像作成部10と、制御部12と、表示部14と、入力部16と、を有する。欠陥検出システム1は、原画像作成部10で対象物Tの原画像A1を作成し、その原画像A1を制御部12で画像処理して、対象物Tの欠陥を検出するシステムである。
 原画像作成部10は、対象物Tの原画像A1を作成する。原画像A1は、欠陥の箇所の画像を含む対象物Tの画像である。第1実施形態において、原画像作成部10は、カメラを有し、対象物Tの表面T1を撮像することで、対象物Tの原画像A1を作成する。すなわち、第1実施形態における原画像A1は、対象物Tの表面T1の撮像画像である。本実施形態では、原画像作成部10は、制御部12の制御により、対象物Tの表面T1上を移動しながら、表面T1の各箇所を撮像し、複数の原画像A1を作成する。ただし、原画像作成部10は、対象物T全体を撮像した1つの原画像A1を作成するものであってもよい。また、本実施形態における対象物Tは、例えば航空機の外壁などの、平坦な板状部材である。従って、対象物Tの表面T1に欠陥がある場合、原画像A1は、欠陥の箇所の輝度が、欠陥以外の箇所の輝度と異なる。ただし、対象物Tは、このような平坦な板状部材に限られず、例えば湾曲した板状部材など、任意の形状であってよい。その場合でも、原画像A1の欠陥の箇所の輝度は、欠陥以外の箇所の輝度と異なる。
 制御部12は、例えばCPU(Central Processing Unit)であり、欠陥検出システム1の動作を制御する。制御部12の構成は後述する。表示部14は、例えばモニタであり、制御部12の制御により、原画像A1などの各種画像を表示する。入力部16は、例えばマウスやキーボードであり、操作者が制御部12に対し指令を出したり情報を入力したりするための装置である。
 図2は、第1実施形態に係る制御部の模式的なブロック図である。図2に示すように、制御部12は、原画像取得部20と、画像処理部22と、特徴量範囲設定部24と、欠陥検出部26と、表示部14に各種画像を表示させる画像表示制御部28とを有する。制御部12は、画像処理部22によって学習用原画像に対して画像処理を行い、その画像処理した内容を用いて、特徴量範囲設定部24によって対象物Tの欠陥を判定する上での基準を予め学習する。学習用原画像は、欠陥の箇所が予め検出されている対象物Tの原画像A1である。また、制御部12は、画像処理部22によって判定用原画像に対して画像処理を行い、欠陥検出部26によって、画像処理した内容を予め学習した基準に当てはめて、対象物Tの欠陥を検出する。判定用原画像は、欠陥の箇所が未検出の対象物T、すなわちこれから欠陥を検出する対象物Tの原画像A1である。以下、各部の処理について具体的に説明する。
 (原画像取得部について)
 図3は、原画像の一例を示す図である。原画像取得部20は、原画像作成部10から原画像A1を取得する。原画像取得部20は、例えば操作者による指令により、図3に示すような原画像A1を、画像表示制御部28を介して表示部14に表示させる。原画像A1は、2次元マトリクス状に配列した複数の画素Pに、設定した色を表示させた画像である。図3の例では、原画像A1には、箇所B1からB5が写っている。原画像A1は、箇所B1からB5と、それ以外の箇所との輝度が異なる。箇所B1からB5は、原画像A1内の欠陥の箇所の候補となる領域である。図3に示すように、箇所B1は、円形の領域である。箇所B2及びB5は、1本の線状の領域である。箇所B3及びB4は、複数の線状の領域が互いに離間しつつ直線状に並んだ領域である。また、箇所B1から箇所B5は、複数の画素Pによって表示される複数の画素分の領域である。なお、ここでの輝度とは、画素の階調値であり、例えば、0から255までの整数値のいずれかの値となる。
 (画像処理部について)
 図2に示すように、画像処理部22は、候補領域抽出部30と、欠陥候補領域抽出部32と、特徴量算出部34と、を有する。画像処理部22は、原画像A1内の画像の輝度に基づき、欠陥候補領域を原画像内から抽出する。欠陥候補領域は、欠陥の箇所の候補となる領域であるが、詳しくは後述する。そして、画像処理部22は、欠陥候補領域とその周囲の領域との輝度の差分に基づき、欠陥候補領域の特徴量を算出する。画像処理部22が行う画像処理は、学習用原画像と判定用原画像とで共通する。従って、以下の画像処理部22による説明では、学習用原画像と判定用原画像とを区別せず、原画像A1に対して行う画像処理として説明する。
 図4は、候補領域を説明する図である。候補領域抽出部30は、欠陥の候補となる領域である候補領域P1を抽出する。具体的には、候補領域抽出部30は、原画像A1を表示する複数の画素P内の1つの画素P0を、1つの領域として選択する。そして、候補領域抽出部30は、図4に示すように、画素P0の周囲の画素Pである周囲画素P0aを抽出する。図4の例では、周囲画素P0aは、画素P0から4方向にそれぞれ4画素分離れた領域に囲まれた全ての画素Pである。候補領域抽出部30は、この画素P0及び周囲画素P0a(合計81個)の輝度の分散値を算出する。輝度の分散値を算出する際、候補領域抽出部30は、抽出した画素P(画素P0と周囲画素P0a)の輝度の平均値を算出する。そして、候補領域抽出部30は、画素Pの輝度と輝度の平均値との差分を二乗した二乗値を画素P毎に算出し、この二乗値を全ての画素Pについて合計する。候補領域抽出部30は、その合計値を画素Pの数で除することで、輝度の分散値を算出する。候補領域抽出部30は、この輝度の分散値が、予め定めた所定の分散値以上である場合に、その画素P0を、候補領域P1として抽出する。候補領域抽出部30は、原画像A1中の全ての画素Pを画素P0として選択して同様の処理を行い、候補領域P1を抽出する。欠陥の箇所は、周囲に対して輝度が異なる場合が多く、輝度の分散値が高くなる傾向がある。候補領域抽出部30は、輝度の分散値が高い画素Pを候補領域P1とすることで、欠陥の候補となる領域を適切に抽出することができる。なお、候補領域P1の閾値となる所定の分散値は、例えば13.3であるが、これに限られず任意である。また、図3の例では、周囲画素P0aは、画素P0から4方向にそれぞれ4画素分離れた領域に囲まれた画素Pであったが、周囲画素P0aは、画素P0の周囲の画素Pであれば、その位置及び数は任意である。また、本実施形態では、候補領域P1の抽出を輝度に基づき行っていたが、輝度以外の色情報に基づき候補領域P1の抽出を行ってもよい。ここでの色情報としては、例えば色相など、輝度、すなわち画素Pの明るさ以外の情報が挙げられる。例えば、原画像A1が領域毎に色ヒストグラムを有する(領域毎に色が異なる)場合、この色ヒストグラムに基づき候補領域P1を抽出してもよい。例えば対象物Tは、表面T1とは異なる色(青色)の保護テープが貼り付けられている場合など、表面T1とは異なる色の領域を有する場合がある。このような場合、異なる色の領域の色のパターンは、予め把握可能であり、この領域以外でこの色がほとんど出現しないことは明確である。従って、このような場合、候補領域抽出部30は、この異なる領域の色を予め記憶しておく。そして、候補領域抽出部30は、画素Pの色と記憶した色とを比較し、画素Pの色と記憶した色との差が予め定めた閾値以下である場合(例えば画素Pの色相の値と記憶した色相との差が閾値以下である場合)、その画素Pが占める領域が保護テープなどであって欠陥ではないと判断し、その画素Pを候補領域P1から除外する。ただし、この処理は一例である。
 このように、候補領域抽出部30は、原画像A1内の領域(画素P0)のうち、その領域(画素P0)と周囲の領域(周囲画素P0a)との輝度の分散が所定の分散値以上となる領域(画素P0)を、欠陥の候補領域P1として抽出する。候補領域抽出部30は、輝度の分散が所定の分散値以上となる場合、その領域は輝度変化が大きくなっているため欠陥の箇所の候補であると判断して、その領域を候補領域P1とする。なお、ここでは、候補領域P1は、画素1つ分の領域である。ただし、ここでの領域は、画素1つ分の領域でなくてもよく、画素複数分の領域、すなわち複数の画素Pが集合した領域であってもよい。言い換えれば、ここでの領域は、原画像A1を複数の領域に区分した場合の、1つの領域であればよい。また、候補領域抽出部30は、領域(画素P0)と周囲の領域(周囲画素P0a)との輝度に基づき候補領域P1を抽出するものであれば、輝度の分散に基づいて候補領域P1を抽出しなくてもよい。例えば、候補領域抽出部30は、領域(画素P0)と周囲の領域(周囲画素P0a)との輝度の差を算出し、その輝度の差が所定値以上である場合に、その領域を候補領域P1として抽出すればよい。また、候補領域抽出部30は、例えばSobelフィルタなどを用いて、領域のエッジ(輪郭)を検出することにより、欠陥の候補領域P1を抽出してもよい。
 図5は、候補抽出画像の一例を示す図である。候補領域抽出部30は、候補領域P1を抽出して表示させた画像である候補抽出画像A2を、画像表示制御部28を介して表示部14に表示させる。図5に示すように、候補抽出画像A2には、低輝度の背景上に、高輝度の箇所C1からC5が写っている。箇所C1は、候補領域P1として抽出された複数の画素Pが、円形状に連続した領域であり、原画像A1の箇所B1の外周に相当する。箇所C2及びC5は、候補領域P1として抽出された複数の画素Pが、線状に連続した領域であり、原画像A1の箇所B2及びB5に相当する。箇所C3及びC4は、候補領域P1として抽出された複数の画素Pが連続した領域が、互いに離間しつつ線状に並んだ領域である。箇所C3及び箇所C4は、原画像A1の箇所B3及びB4に相当する。ただし、候補領域抽出部30は、必ずしも候補抽出画像A2を表示させなくてもよい。
 次に、欠陥候補領域抽出部32について説明する。欠陥候補領域抽出部32は、候補領域P1のうち、予め定めた所定の形状となる候補領域P1を除去し、除去しなかった候補領域P1を、欠陥候補領域P2として抽出する。すなわち、欠陥候補領域P2は、複数の候補領域P1のうちから選択された一部の候補領域P1であり、欠陥候補領域P2のそれぞれは、1つの画素P(画素1つ分の領域)である。具体的には、欠陥候補領域抽出部32は、候補領域P1から、連続する候補領域P1を検出する。連続するとは、候補領域P1とされた画素Pが隣接していることを指す。欠陥候補領域抽出部32は、連続する候補領域P1が、全体として所定の形状となっていると判断した場合、この連続する候補領域P1を、欠陥候補領域P2ではないとして除去する。この所定の形状は、例えば円形、矩形、三角形、多角形などであり、かつ、所定の長さよりも大きいものである。欠陥候補領域抽出部32は、このように所定の形状となる候補領域P1を除去することで、リベットや窓枠やシールなどの部材が設けられた箇所を、欠陥の箇所の候補(欠陥候補領域P2)から除去する。ただし、この所定の形状はこれらに限られず、任意に設定することができる。本実施形態では、欠陥候補領域抽出部32は、ハフ変換(Hough変換)を用いて、複数の候補領域P1が連続することで円形を構成するかを判定し、円形を構成する候補領域P1を除去する。例えば航空機部品に用いられるリベットは円形であるため、欠陥候補領域抽出部32は、ハフ変換で円形を抽出することで、リベットを欠陥の候補となる箇所から除去することが可能となる。
 図6は、欠陥候補抽出領域を説明するための図である。図6に示すように、欠陥候補領域抽出部32は、欠陥候補領域P2を抽出した後、原画像A1から、欠陥候補領域P2とその周囲の領域の画素Pとを、欠陥候補抽出領域P3として抽出する。すなわち、欠陥候補領域抽出部32は、欠陥候補領域P2に対応する画素Pと、その周囲の画素Pである周囲画素P2aとを、欠陥候補抽出領域P3として抽出する。従って、欠陥候補抽出領域P3は、複数の画素Pを含む領域となる。図6の例では、周囲画素P2aは、欠陥候補領域P2に対応する画素Pから4方向にそれぞれ6画素分離れた領域に囲まれた画素Pであり、欠陥候補抽出領域P3は、合計169個の画素Pを含む領域である。ただし、周囲画素P2aは、画素Pの周囲の画素Pであれば、その位置及び数は任意であり、欠陥候補抽出領域P3は、欠陥候補領域P2に対応する画素Pとその周囲画素P2aとを含む領域であれば、含まれる画素Pの数は任意である。なお、欠陥候補領域抽出部32は、例えば欠陥候補領域P2が複数の画素により構成されている場合などは、欠陥候補領域P2を抽出するものであれば、必ずしも欠陥候補抽出領域P3を抽出しなくてもよい。
 図7は、欠陥候補抽出領域を説明するための図である。欠陥候補領域抽出部32は、図7に示すように、欠陥候補領域P2が連続(隣接)する場合、連続する欠陥候補領域P2を全て含む矩形の領域P2Xを抽出する。そして、欠陥候補領域抽出部32は、領域P2X内の全ての画素Pとその周囲画素P2aとを、欠陥候補抽出領域P3として抽出する。なお、ここで欠陥候補領域P2が連続するとは、図7に示すように、辺同士、又は頂点同士の少なくともいずれかが接する画素Pが連続して存在する場合をいう。
 このように、欠陥候補領域抽出部32は、欠陥候補領域P2を抽出した後、欠陥候補抽出領域P3を抽出する。これにより、欠陥候補領域抽出部32は、欠陥の候補とした領域を大きくすることができるため、欠陥検出の精度をより高くすることが可能となる。
 図8は、欠陥候補抽出画像の一例を示す図である。欠陥候補領域抽出部32は、欠陥候補領域P2を抽出した画像である欠陥候補抽出画像A3を、画像表示制御部28を介して表示部14に表示させる。図8に示すように、欠陥候補抽出画像A3には、低輝度の背景上に、高輝度の箇所C2からC5が写っている。候補抽出画像A2に写っていた箇所C1は、円形の候補領域P1で構成されていたため除外され、欠陥候補抽出画像A3に写っていない。また、欠陥候補抽出領域P3は、連続する欠陥候補領域P2毎に抽出される。従って、欠陥候補領域P2(画素)が連続する箇所C2及びC5においては、欠陥候補抽出領域P3がそれぞれ1つずつ抽出されている。一方、欠陥候補領域P2(画素)が連続しない部分がある箇所C3及びC4においては、欠陥候補抽出領域P3が、連続する欠陥候補領域P2の数分、複数個ずつ抽出されている。ただし、欠陥候補領域抽出部32は、必ずしも欠陥候補抽出画像A3を表示させなくてもよい。
 なお、画像処理部22は、原画像A1内の画像の輝度、すなわち画素Pの輝度に基づき欠陥候補領域P2を抽出するものであれば、欠陥候補領域P2の抽出を、上述の内容に限られず行ってもよい。例えば、画像処理部22は、抽出した候補領域P1から所定の形状の候補領域P1を除外せず、抽出した候補領域P1をそのまま欠陥候補領域P2としてもよい。また、例えば、画像処理部22は、候補領域抽出部30を有さず、原画像A1中の領域(画素P)のうち、所定の形状となる領域を除いて、残った領域を欠陥候補領域P2としてもよい。
 次に、特徴量算出部34について説明する。特徴量算出部34は、欠陥候補抽出領域P3内の画素P同士の輝度の差分に基づき、欠陥候補抽出領域P3の特徴量を算出する。言い換えれば、特徴量算出部34は、欠陥候補領域P2とその周囲の領域(周囲画素P2a)との輝度の差分に基づき、欠陥候補領域P2の特徴量を算出する。特徴量算出部34は、全ての欠陥候補抽出領域P3について、特徴量を算出する。すなわち、図8の例では、特徴量算出部34は、箇所C2から箇所C5のそれぞれの欠陥候補抽出領域P3に対し、特徴量を算出する。特徴量は、欠陥候補抽出領域P3において画素P毎の輝度の差分値を示す輝度の強度パラメータである。さらに言えば、特徴量は、欠陥候補抽出領域P3内、すなわち欠陥候補領域P2及びその周囲の領域における輝度の変化量を示すパラメータである。特徴量が大きい場合、欠陥候補抽出領域P3の画素P毎の輝度の差が大きくなり、特徴量が小さい場合、欠陥候補抽出領域P3の画素Pの輝度の差が小さくなる(輝度の差が均一に近づく)。具体的には、特徴量算出部34は、欠陥候補抽出領域P3のホグ特徴量(HOG(Histograms of Oriented Gradient)特徴量)を、欠陥候補抽出領域P3の特徴量として算出する。特徴量算出部34は、欠陥候補抽出領域P3内の画素Pの輝度の勾配強度を、輝度の強度勾配の方向毎に算出し、勾配方向毎の輝度の勾配強度に基づき、欠陥候補抽出領域P3の特徴量(ホグ特徴量)を算出する。1つの欠陥候補抽出領域P3について算出されるホグ特徴量は、次元毎に算出される複数種類の値(パラメータ)を含んでいる。ただし、特徴量算出部34は、ホグ特徴量を特徴量として算出することに限られない。例えば、特徴量算出部34は、欠陥候補抽出領域P3内の画素P同士の輝度の差分を算出し、その差分値を欠陥候補抽出領域P3の特徴量として算出してもよい。なお、ホグ特徴量を用いない場合、特徴量算出部34は、1つの欠陥候補抽出領域P3について算出する特徴量を、1種類の値(パラメータ)としてもよい。
 画像処理部22は、以上のように、原画像A1に対して画像処理を行って、欠陥候補抽出領域P3の特徴量を算出する。以上説明した特徴量の算出処理(画像処理ステップ)の流れを、フローチャートに基づき説明する。図9は、画像処理部による特徴量の算出処理を説明するフローチャートである。画像処理を行う場合、図9に示すように、最初に、原画像取得部20が、原画像A1を取得する(ステップS10)。そして、画像処理部22は、候補領域抽出部30により、候補領域P1を抽出する(ステップS12)。具体的には、候補領域抽出部30は、原画像A1内の領域(画素P)のうち、その領域(画素P)と周囲の領域(周囲画素P0a)との輝度の分散が所定の分散値以上となる領域(画素P)を、候補領域P1として抽出する。
 候補領域P1を抽出した後、画像処理部22は、欠陥候補領域抽出部32により、欠陥候補領域P2を抽出する(ステップS14)。具体的には、欠陥候補領域抽出部32は、予め定めた所定の形状となる候補領域P1を除去し、除去しなかった候補領域P1を、欠陥候補領域P2として抽出する。欠陥候補領域P2を抽出した後、画像処理部22は、欠陥候補領域抽出部32により、欠陥候補抽出領域P3を抽出する(ステップS16)。具体的には、欠陥候補領域抽出部32は、欠陥候補領域P2とその周囲の領域の画素Pとを、欠陥候補抽出領域P3として抽出する。
 欠陥候補抽出領域P3を抽出した後、画像処理部22は、特徴量算出部34により、欠陥候補抽出領域P3の特徴量を算出する(ステップS18)。特徴量算出部34は、欠陥候補抽出領域P3内の画素P同士の輝度の差分に基づき、欠陥候補抽出領域P3の特徴量を算出する。特徴量算出部34は、抽出された全ての欠陥候補抽出領域P3について、特徴量を算出する。特徴量を算出することにより、画像処理部22による本処理は終了する。上述のように、この特徴量の算出処理は、学習用原画像と判定用原画像とで同じ内容の処理である。
 (特徴量範囲設定部について)
 次に、図2に示す特徴量範囲設定部24について説明する。特徴量範囲設定部24は、人工知能を用いたアルゴリズムにより、学習用原画像に対して画像処理部22が算出した特徴量と、欠陥の箇所の情報とを関連付けて、欠陥特徴量範囲と非欠陥特徴量範囲とを設定する。欠陥特徴量範囲とは、欠陥であると判定する特徴量の数値範囲であり、非欠陥特徴量範囲とは、欠陥でないと判定する特徴量の数値範囲である。すなわち、特徴量範囲設定部24は、予め欠陥の箇所が分かっている対象物Tの学習用原画像を用いて、対象物Tの欠陥判定用の基準となる欠陥特徴量範囲と非欠陥特徴量範囲とを設定する。具体的には、図2に示すように、特徴量範囲設定部24は、特徴量取得部40と、欠陥情報取得部42と、特徴量範囲算出部44とを有する。
 欠陥特徴量範囲と非欠陥特徴量範囲とを設定する際、この設定に用いるサンプルとなる対象物Tについて、例えば作業者の検査により、欠陥の箇所を予め検出しておく。この場合の検査は、例えば、従来通りの目視や触診によって行われる。そして、欠陥検出システム1は、原画像作成部10によって、この対象物Tの原画像A1、すなわち学習用原画像を作成しておく。画像処理部22は、この学習用原画像を原画像A1として上述の画像処理を行い、学習用原画像の候補領域P1、欠陥候補領域P2及び欠陥候補抽出領域P3を抽出する。そして、画像処理部22は、学習用原画像の欠陥候補抽出領域P3について、特徴量を算出する。なお、サンプルとなる対象物Tは、実際に欠陥の検出を行う対象物Tと同じ部位の航空機用部品であることが好ましいが、異なる部位の航空機用部品であってもよい。
 特徴量取得部40は、画像処理部22が算出した学習用原画像の特徴量と、その特徴量を持つ欠陥候補抽出領域P3の情報(位置情報)を取得する。また、欠陥情報取得部42は、学習用原画像が撮像された対象物Tの欠陥箇所の情報を取得する。欠陥箇所の情報とは、サンプルとなる対象物Tの実物について予め検出されていた欠陥の箇所を示す情報であり、対象物Tのどの位置に欠陥があるかを示す。さらに言えば、欠陥箇所の情報とは、その箇所が実際に欠陥であるか非欠陥であるかを示すラベルの情報に該当する。
 特徴量範囲算出部44は、特徴量取得部40が取得した欠陥候補抽出領域P3の位置情報と、欠陥情報取得部42が取得した欠陥箇所の情報とを照合して、抽出された欠陥候補抽出領域P3が実際に欠陥であるかを判定する。画像処理部22が抽出した欠陥候補抽出領域P3は、欠陥の箇所の候補となる領域であるが、実際には欠陥の箇所でない可能性がある。特徴量範囲算出部44は、欠陥箇所の情報により、欠陥候補抽出領域P3が実際に欠陥であるかを判定する。特徴量範囲算出部44は、全ての欠陥候補抽出領域P3について欠陥であるかを判定する。特徴量範囲算出部44は、欠陥であると判定した欠陥候補抽出領域P3の特徴量に基づき、欠陥特徴量範囲を算出する。特徴量範囲算出部44は、欠陥でないと判定した欠陥候補抽出領域P3の特徴量に基づき、非欠陥特徴量範囲を算出する。すなわち、特徴量範囲算出部44は、欠陥箇所の情報により、特徴量がどのような数値範囲にあれば欠陥であるかを、予め学習する(すなわち特徴量に欠陥であるか非欠陥であるかのラベル分けを行う)。なお、学習に用いる対象物Tは、例えば30個以上など、複数であることが好ましい。特徴量範囲算出部44は、学習に用いる全ての対象物Tについて、欠陥候補抽出領域P3が欠陥の箇所であるかを判定し、全ての判定結果を用いて、欠陥特徴量範囲及び非欠陥特徴量範囲を算出する。
 以下、欠陥特徴量範囲及び非欠陥特徴量範囲についてより詳細に説明する。以下、欠陥であると判定した欠陥候補抽出領域P3の特徴量を、特徴量D1とし、欠陥でないと判定した欠陥候補抽出領域P3の特徴量を、特徴量D2とする。特徴量範囲算出部44は、複数の欠陥候補抽出領域P3の特徴量D1に基づき、欠陥特徴量範囲E1を算出する。特徴量範囲算出部44は、全ての特徴量D1が欠陥特徴量範囲E1内に収まるように、欠陥特徴量範囲E1を算出する。同様に、特徴量範囲算出部44は、複数の欠陥候補抽出領域P3の特徴量D2に基づき、非欠陥特徴量範囲E2を算出する。特徴量範囲算出部44は、全ての特徴量D2が非欠陥特徴量範囲E2内に収まるように、非欠陥特徴量範囲E2を算出する。より詳しくは、特徴量範囲算出部44は、複数の特徴量D1のうちの最小値と最大値との間の数値範囲に基づき、欠陥特徴量範囲E1を算出し、複数の特徴量D2のうちの最小値と最大値との間の数値範囲に基づき、非欠陥特徴量範囲E2を算出する。例えば、特徴量範囲算出部44は、複数の特徴量D1のうちの最も小さい値(最小値)と最も大きい値(最大値)との間の数値範囲を欠陥特徴量範囲E1としてもよく、その最小値と最大値との間の数値範囲に所定のマージンを加えて範囲を大きくした数値範囲を、欠陥特徴量範囲E1としてもよい。言い換えれば、特徴量範囲算出部44は、特徴量D1同士を結んで全ての特徴量D1が収まる領域を特定し、その領域を欠陥特徴量範囲E1としてもよく、全ての特徴量D1が収まる領域を基準として、その領域から一定の距離だけ大きくなり、かつ線が滑らかに繋がれる領域を、欠陥特徴量範囲E1としてもよい。また、特徴量範囲算出部44は、1つの特徴量D1を基準として、それぞれに対して範囲を設定し、その範囲を全て含む範囲を欠陥特徴量範囲E1としてもよい。非欠陥特徴量範囲E2も、特徴量D1の代わりに特徴量D2を使用する以外は、同様の方法で算出可能である。
 図10は、欠陥特徴量範囲と非欠陥特徴量範囲を説明する図である。図10は、ホグ特徴量空間を示すグラフである。更に詳しくは、特徴量としてのホグ特徴量は、次元毎に複数のパラメータ(値)を有する。この場合、特徴量範囲算出部44は、複数の欠陥候補抽出領域P3から同じ次元の特徴量同士を比較して、その中での最大値と最小値との間の数値範囲に基づき、1つの次元における欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を算出する。そして、特徴量範囲算出部44は、全ての次元について欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を算出する。特徴量範囲算出部44は、各次元の欠陥特徴量範囲E1の領域の外周同士を近似線で結んで多次元の閉じた領域を形成し、その閉じた領域を、実際の欠陥特徴量範囲E1として算出する。同様に、特徴量範囲算出部44は、各次元の非欠陥特徴量範囲E2の外周同士を近似線で結んで多次元の閉じた領域を形成し、その閉じた領域を、実際の非欠陥特徴量範囲E2として算出する。なお、図10に示すように、特徴量が取り得る数値範囲のうち、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2のいずれにも収まらない数値が存在する。また、欠陥特徴量範囲と非欠陥特徴量範囲との算出方法は、以上説明した内容に限られず、図10の欠陥特徴量範囲E1及び非欠陥特徴量範囲E2の形状は、一例としたものであり、この形状に限られない。
 このように、特徴量範囲設定部24は、学習用原画像を用いて欠陥特徴量範囲と非欠陥特徴量範囲とを設定する。以上説明した欠陥特徴量範囲と非欠陥特徴量範囲との設定処理(特徴量範囲設定ステップ)の流れを、フローチャートに基づき説明する。図11は、欠陥特徴量範囲と非欠陥特徴量範囲との設定処理を説明するフローチャートである。欠陥特徴量範囲と非欠陥特徴量範囲とを設定する際、設定に用いるサンプルとなる対象物Tについて、欠陥の箇所を予め検出しておき、その対象物Tの原画像A1、すなわち学習用原画像を作成しておく。そして、画像処理部22は、この学習用原画像を原画像A1として画像処理を行い、欠陥候補抽出領域P3を抽出し、その特徴量を算出する。そして、図11に示すように、特徴量範囲設定部24は、特徴量取得部40により、学習用原画像の欠陥候補抽出領域P3とその特徴量とを、画像処理部22から取得する(ステップS20)。そして、特徴量範囲設定部24は、欠陥情報取得部42により、予め検出された欠陥の箇所の情報を取得する(ステップS22)。なお、ステップS20とステップS22の処理順序は任意である。
 そして、特徴量範囲設定部24は、特徴量範囲算出部44により、欠陥候補抽出領域P3と欠陥の箇所の情報とを照合して、欠陥候補抽出領域P3が欠陥の箇所であるかを判定する(ステップS24)。欠陥の箇所を判定した後、特徴量範囲設定部24は、特徴量範囲算出部44により、欠陥特徴量範囲と非欠陥特徴量範囲とを設定する(ステップS26)。これにより、本処理は終了する。なお、本実施形態では、特徴量範囲算出部44が、欠陥候補抽出領域P3が欠陥の箇所であるかを判定していた。しかし、特徴量範囲設定部24は、欠陥候補抽出領域P3が欠陥の箇所であるかの情報を取得するものであれば、自身で判定することに限られない。例えば、作業者が、欠陥候補抽出画像A3(図8を参照)を表示部14に表示させ、欠陥の箇所の情報を参照しながら欠陥候補抽出領域P3が欠陥の箇所であるかを判定してもよい。そして、作業者がこの判定結果を入力し、特徴量範囲設定部24は、この判定結果を取得すればよい。
 (欠陥検出部について)
 次に、図2に示す欠陥検出部26について説明する。欠陥検出部26は、判定用原画像に対して画像処理部22が算出した特徴量と、欠陥特徴量範囲E1と、非欠陥特徴量範囲E2とに基づき、人工知能を用いたアルゴリズムにより、判定用原画像内の欠陥候補抽出領域P3が欠陥の箇所であるかを判定する。すなわち、欠陥検出部26は、特徴量範囲設定部24の学習により算出された欠陥特徴量範囲E1と非欠陥特徴量範囲E2とを用いて、対象物Tの欠陥の箇所を検出する。具体的には、図2に示すように、欠陥検出部26は、特徴量取得部50と、特徴量範囲取得部52と、欠陥判定部54とを有する。
 欠陥の箇所を検出する際、欠陥検出システム1は、原画像作成部10によって、検出の対象となる対象物Tの原画像A1、すなわち判定用原画像を作成しておく。そして、欠陥検出システム1は、画像処理部22により、この判定用原画像を原画像A1として上述の画像処理を行い、判定画像の候補領域P1、欠陥候補領域P2及び欠陥候補抽出領域P3を抽出する。そして、画像処理部22は、判定画像の欠陥候補抽出領域P3について、特徴量を算出する。
 特徴量取得部50は、画像処理部22が算出した判定画像における欠陥候補抽出領域P3の特徴量と、その特徴量を持つ欠陥候補抽出領域P3の情報(位置情報)とを取得する。位置情報とは、その欠陥候補抽出領域P3が、画像内のどの位置を占めているかの情報を指す。以下、画像処理部22が算出した判定画像の特徴量を、判定用特徴量と記載する。また、特徴量範囲取得部52は、特徴量範囲設定部24から、欠陥特徴量範囲E1と非欠陥特徴量範囲E2との情報を取得する。
 欠陥判定部54は、判定用特徴量と、欠陥特徴量範囲E1と、非欠陥特徴量範囲E2とに基づき、判定用原画像内の欠陥候補抽出領域P3が欠陥の箇所であるかを判定する。欠陥判定部54は、欠陥差分値X1と非欠陥差分値X2とに基づき、欠陥候補領域P2が欠陥の箇所であるかを判定する。欠陥差分値X1とは、判定用特徴量と欠陥特徴量範囲E1との間の差分値であり、非欠陥差分値X2とは、判定用特徴量と非欠陥特徴量範囲E2との間の差分値である。さらに詳しくは、欠陥判定部54は、非欠陥差分値X2に対する欠陥差分値X1の比率が、所定の閾値K以下となる場合、欠陥候補抽出領域P3が、欠陥の箇所であると判定する。閾値Kは、予め設定された係数であり、任意の値に設定可能であるが、1より大きな値であることが好ましい。これにより、欠陥判定部54は、欠陥と判定する可能性を高くして、欠陥を未検出となるおそれを低減することができる。欠陥判定部54は、判定画像内の全ての欠陥候補抽出領域P3に対して、欠陥の箇所であるかを判定する。欠陥判定部54は、閾値Kを、全ての欠陥候補抽出領域P3に対して共通の同じ値とする。なお、欠陥判定部54は、欠陥と判定するための閾値を設定し、判定用特徴量と、欠陥特徴量範囲E1と、非欠陥特徴量範囲E2と、その閾値とに基づき、欠陥判定を行うものであればよく、非欠陥差分値X2に対する欠陥差分値X1の比率に対する閾値Kを設定することに限られない。この場合であっても、欠陥判定部54は、設定する閾値を、欠陥でないと判定するよりも欠陥であると判定する可能性が高くなるように、閾値を設定することが望ましい。
 図12は、欠陥判定を説明する図である。図12は、ホグ特徴量空間を示すグラフである。図12の判定用特徴量F1、F2、F3、F4は、互いに異なる欠陥候補抽出領域P3の判定用特徴量の一例である。判定用特徴量F1は、欠陥特徴量範囲E1内に収まる値なので、欠陥判定部54は、判定用特徴量F1に対応する欠陥候補抽出領域P3を欠陥の箇所であると判定する。判定用特徴量F2は、非欠陥特徴量範囲E2内に収まる値なので、欠陥判定部54は、判定用特徴量F2に対応する欠陥候補抽出領域P3を欠陥の箇所でないと判定する。また、判定用特徴量F3は、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2の範囲外である。ただし、判定用特徴量F3において、非欠陥差分値X2に対する欠陥差分値X1の比率は、閾値K以下の値となる。従って、欠陥判定部54は、判定用特徴量F3に対応する欠陥候補抽出領域P3を欠陥の箇所であると判定する。また、判定用特徴量F4も、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2の範囲外である。ただし、判定用特徴量F4において、非欠陥差分値X2に対する欠陥差分値X1の比率は、閾値Kより大きい値となる。従って、欠陥判定部54は、判定用特徴量F4に対応する欠陥候補抽出領域P3を欠陥の箇所でないと判定する。なお、図12の例では、欠陥差分値X1を、判定用特徴量と欠陥特徴量範囲E1との差分の最小値(最小の距離)、すなわち判定用特徴量に最も近い欠陥特徴量範囲E1と判定用特徴量との差分値としている。ただし、欠陥差分値X1は、これに限られず、欠陥特徴量範囲E1の範囲内の任意の値と判定用特徴量との差分値であればよい。例えば、欠陥差分値X1は、判定用特徴量と欠陥特徴量範囲E1の中央値との差分であってもよい。非欠陥差分値X2も、同様である。
 このように、欠陥検出部26は、判定用特徴量を欠陥特徴量範囲と非欠陥特徴量範囲とに照合して、判定用原画像の欠陥候補抽出領域P3が、欠陥の箇所であるかを判定する。以上説明した欠陥の判定処理(欠陥検出ステップ)の流れを、フローチャートに基づき説明する。図13は、欠陥検出の処理を説明するフローチャートである。欠陥を検出する際、欠陥検出システム1は、原画像作成部10によって、欠陥を検出する対象物Tの原画像A1、すなわち判定用原画像を作成しておく。そして、欠陥検出システム1は、画像処理部22によって判定用原画像の画像処理を行い、欠陥候補抽出領域P3を抽出し、その特徴量を算出する。そして、図13に示すように、欠陥検出部26は、特徴量取得部50により、判定用原画像の特徴量(判定用特徴量)を画像処理部22から取得し(ステップS30)、特徴量範囲取得部52により、特徴量範囲設定部24から、欠陥特徴量範囲E1と非欠陥特徴量範囲E2との情報を取得する(ステップS32)。
 そして、欠陥検出部26は、欠陥判定部54により、判定用原画像の欠陥候補抽出領域P3の欠陥差分値X1と非欠陥差分値X2とを算出する(ステップS34)。欠陥差分値X1と非欠陥差分値X2とを算出した後、欠陥検出部26は、欠陥判定部54により、非欠陥差分値X2に対する欠陥差分値X1の比率が、閾値K以下であるかを判定する(ステップS36)。比率が閾値K以下である場合(ステップS36;Yes)、欠陥判定部54は、その欠陥候補抽出領域P3が欠陥の箇所であると判定する(ステップS38)。また、比率が閾値K以下でない(ステップS36;No)、すなわち比率が閾値Kより大きい場合、欠陥判定部54は、その欠陥候補抽出領域P3が欠陥の箇所でないと判定する(ステップS40)。欠陥判定部54は、全ての欠陥候補抽出領域P3についてこれらの処理を行って、それぞれが欠陥の箇所であるかを判定する。これにより、本処理は終了する。
 (判定結果表示について)
 欠陥候補抽出領域P3が欠陥の箇所であるかの判定を行った後、図2に示す画像表示制御部28は、その判定結果を示す画像である判定画像A4を表示部14に表示させる。図14は、判定画像の一例を示す図である。図14に示すように、判定画像A4は、原画像A1に対し目印Mを加えた画像である。目印Mは、原画像A1内において、欠陥検出部26が欠陥の箇所であると判定した箇所に表示されるマークである。具体的には、判定画像A4は、原画像A1に表示されている箇所B1からB5が表示されている。また、判定画像A4は、箇所B3からB5の周囲に、目印Mが表示されている。箇所B1は、円形であるため欠陥候補領域P2から除外された領域である。また、箇所B2は、欠陥差分値X1と非欠陥差分値X2との差分が閾値K以下でなく、欠陥の箇所でないと判定された領域である。従って、箇所B1及び箇所B2には、目印Mが表示されていない。
 より詳しくは、目印Mは、欠陥の箇所であると判定された欠陥候補抽出領域P3毎に表示される。箇所B2及び箇所B5は、1つの欠陥候補抽出領域P3のみを有しているので、目印Mは、それぞれ1つ表示されている。一方、箇所B3及び箇所B4は、複数の欠陥候補抽出領域P3を有しているので、目印Mは、欠陥候補抽出領域P3の個数分、複数個が表示されている。目印Mは、円を形成する枠線からなる円形のマークである。目印Mは、欠陥の箇所であると判定された欠陥候補抽出領域P3を、この円形の枠線で囲うように表示される。この枠線で囲われた領域は、例えば1つの欠陥候補領域P3に対し所定の面積であることが好ましい。目印Mは、この外周となる枠線の内部の領域には表示されないため、枠線の内側の欠陥の箇所は、視認可能となっている。ただし、目印Mは、これに限られず、矩形など任意の形状であってもよい。また、画像表示制御部28は、目印Mの表示が、非欠陥差分値X2に対する欠陥差分値X1の比率に応じて異なるように、判定画像A4を表示させる。すなわち、画像表示制御部28は、比率が異なる欠陥候補抽出領域P3に対しては、目印Mの表示を変化させる。図14の例では、画像表示制御部28は、非欠陥差分値X2に対する欠陥差分値X1の比率に応じて、目印Mの外周の枠線の色を変化させる。これにより、作業者は、比率が高く、より欠陥の可能性が高い箇所を、より好適に視認することが可能となる。
 図15は、判定画像の他の例を示す図である。画像表示制御部28は、図15に示すように、複数の目印Mが重畳する場合、その重畳した目印Mの表示を、重畳していない目印Mの表示とは異ならせてもよい。図15の例では、箇所B3の欠陥候補抽出領域P3に対して表示される目印M1は、互いに重畳している。同様に、箇所B4の欠陥候補抽出領域P3に対して表示される目印M1も、互いに重畳している。画像表示制御部28は、この重畳している目印M1の内側の領域に所定の色を表示させる。この色は任意であるが、その領域に表示される欠陥の箇所が視認できるよう、半透明の色(可視光を処理の比率で透過可能な色)であることが好ましい。また、図15の例では、箇所B2及びB5に対して表示される目印M2は、他の目印と重畳しない。従って、目印M2の内側の領域は、所定の色が表示されない。ただし、重畳した目印Mの表示は、重畳していない目印Mの表示と異なるものであれば、これに限られず任意である。
 以上説明したように、本実施形態に係る欠陥検出システム1は、対象物Tである航空機用部品の欠陥を検出するシステムであり、原画像取得部20と、画像処理部22と、特徴量範囲設定部24と、欠陥検出部26とを有する。原画像取得部20は、原画像A1を取得する。原画像A1は、欠陥の箇所の画像を含む対象物Tの画像である。画像処理部22は、原画像A1内の画像の輝度に基づき、欠陥の箇所の候補となる領域である欠陥候補領域P2を、原画像A1内から抽出する。画像処理部22は、欠陥候補抽出領域P3内の(欠陥候補領域P2とその周囲の領域との)輝度の差分に基づき、欠陥候補領域P2の特徴量を算出する。特徴量範囲設定部24は、学習用原画像に対して画像処理部22が算出した特徴量と、欠陥の箇所の情報とを関連付けて、欠陥特徴量範囲E1と非欠陥特徴量範囲E2とを設定する。学習用原画像は、欠陥の箇所が予め検出されている原画像A1である。欠陥特徴量範囲E1は、欠陥であると判定する特徴量の範囲であり、非欠陥特徴量範囲E2は、欠陥でないと判定する特徴量の範囲である。欠陥検出部26は、判定用原画像に対して画像処理部22が算出した特徴量と、欠陥特徴量範囲E1と、非欠陥特徴量範囲E2とに基づき、判定用原画像内の欠陥候補領域が欠陥の箇所であるかを判定する。判定用原画像は、欠陥の箇所が未検出の原画像A1である。
 この欠陥検出システム1は、画像処理部22が、原画像A1に画像処理を加えて、欠陥の候補となる欠陥候補領域P2を抽出する。そして、画像処理部22は、欠陥候補領域P2の輝度強度のパラメータである特徴量を算出する。すなわち、画像処理部22は、特徴量を算出する対象を、欠陥候補領域P2だけに制限する。特徴量範囲設定部24は、学習用原画像から抽出された欠陥候補領域P2の特徴量に基づき、欠陥特徴量範囲と非欠陥特徴量範囲とを設定する。すなわち、特徴量範囲設定部24は、どのような特徴量である場合に欠陥となるかの基準を予め設定する。そして、欠陥検出部26は、判定用原画像から抽出された欠陥候補領域P2の特徴量を、この基準(欠陥特徴量範囲及び非欠陥特徴量範囲)と比較することで、判定用原画像から抽出された欠陥候補領域P2が欠陥の箇所であるかを検出する。この欠陥検出システム1は、原画像A1の特徴量に基づき欠陥を検出するため、検出精度のばらつきを抑制することができる。また、この欠陥検出システム1は、学習用原画像を用いて、欠陥の基準となる特徴量の範囲(欠陥特徴量範囲及び非欠陥特徴量範囲)を、予め学習している。欠陥検出システム1は、この特徴量の範囲に基づき、欠陥を検出しているため、検出精度を向上させることが可能となる。また、この欠陥検出システム1は、欠陥であるかを判定するためのパラメータを特徴量としており、この特徴量を算出する対象を、欠陥候補領域P2だけに制限する。従って、この欠陥検出システム1は、欠陥検出の計算が多くなり過ぎることを抑制し、欠陥検出の負担を抑制することで、検出時間を短くすることができる。このように、この欠陥検出システム1は、航空機用部品の欠陥を適切に検出することが可能となる。
 また、画像処理部22は、候補領域抽出部30と、欠陥候補領域抽出部32と、特徴量算出部34とを有する。候補領域抽出部30は、原画像A1内の領域のうち、その領域と周囲の領域との輝度の分散が所定の分散値以上となる領域を、欠陥の候補領域P1として抽出する。欠陥候補領域抽出部32は、候補領域P1のうち、あらかじめ定めた所定の形状となる候補領域P1を除去し、除去しなかった候補領域P1を、欠陥候補領域P2として抽出する。特徴量算出部34は、欠陥候補領域P2とその周囲の領域との輝度の差分に基づき、欠陥候補領域P2の特徴量を算出する。この画像処理部22は、周囲の輝度との分散が大きい領域を、候補領域P1として抽出する。分散が大きい領域は、周囲との輝度の差が大きい領域といえるため、画像処理部22は、輝度の差が大きく欠陥の可能性が高い領域のみを、特徴量を算出するための候補領域P1として抽出する。そして、画像処理部22は、対象物Tにおいて例えばリベットなどの部材が設けられた領域を、欠陥ではないとして、特徴量を算出するための欠陥候補領域P2から除外する。これにより、欠陥検出システム1は、欠陥検出の計算が多くなり過ぎることをより好適に抑制し、航空機用部品の欠陥をより適切に検出することが可能となる。
 また、欠陥候補領域抽出部32は、ハフ変換を用いて、複数の候補領域P1が連続することで円形を構成するかを判定し、円形を構成する候補領域P1を除去する。航空機用の部品には、リベットなど円形の部材が取り付けられていることが多い。欠陥検出システム1は、円形を構成する領域を欠陥でないとして除外することで、欠陥検出の計算が多くなり過ぎることをより好適に抑制し、航空機用部品の欠陥をより適切に検出することが可能となる。
 また、特徴量算出部34は、欠陥候補抽出領域P3内(欠陥候補領域P2及びその周囲の領域)における輝度の変化量として、特徴量を算出する。この欠陥検出システム1は、周囲における輝度の変化量を特徴量として、その特徴量に基づいて欠陥であるかの判定を行う。欠陥の箇所は、周囲の輝度の変化量が大きくなる。従って、この欠陥検出システム1は、この特徴量に基づき欠陥の判定を行うことで、欠陥検出の精度を適切に向上させることができる。
 また、特徴量算出部34は、欠陥候補領域P2及びその周囲の領域から算出されたホグ特徴量を、特徴量として算出する。この欠陥検出システム1は、ホグ特徴量を特徴量としているため、周囲における輝度の変化量を、輝度勾配(変化量)の方向毎に特定して、欠陥であるかの判定を行うことができる。従って、この欠陥検出システム1は、欠陥検出の精度をより適切に向上させることができる。
 また、欠陥検出部26は、特徴量取得部50と、欠陥判定部54とを有する。特徴量取得部50は、判定用原画像の特徴量である判定用特徴量を取得する。欠陥判定部54は、欠陥差分値X1及び非欠陥差分値X2に基づき、欠陥候補領域P2が欠陥の箇所であるかを判定する。欠陥差分値X1は、判定用特徴量と欠陥特徴量範囲との間の差分値である。非欠陥差分値X2は、判定用特徴量と非欠陥特徴量範囲との間の差分値である。この欠陥検出システム1は、予め算出した欠陥であるかの基準値(欠陥特徴量範囲)に対する判定用特徴量の差分値に基づき欠陥であるかを判定するため、欠陥検出の精度をより適切に向上させることができる。
 また、欠陥判定部54は、非欠陥差分値X2に対する欠陥差分値X1の比率が、所定の閾値K以下となる場合、欠陥候補領域P2が欠陥の箇所であると判定する。この欠陥検出システム1は、非欠陥差分値X2に対する欠陥差分値X1の比率に基づき欠陥の判定を行っているため、欠陥検出の精度をより適切に向上させることができる。例えば、欠陥検出システム1は、判定用特徴量が欠陥特徴量範囲及び非欠陥特徴量範囲の両方の範囲外であっても、比率に基づき欠陥であると判定することで、その判定用特徴量を有する欠陥候補領域P2が欠陥の箇所であるかを適切に判定することができる。
 また、所定の閾値Kは、1より大きい値である。通常、欠陥の箇所は、欠陥でない箇所よりも数が少ない。従って、学習に用いる学習用原画像においても、欠陥として判定される欠陥候補領域P2の数は、欠陥でないとされる欠陥候補領域P2の数よりも少ない。そのため、欠陥特徴量範囲の方が、非欠陥特徴量範囲よりも数値範囲が狭くなる傾向がある。これに対し、欠陥検出システム1は、閾値Kを1より大きくすることで、欠陥の検出の際に、欠陥であると判定される可能性を高くして、欠陥検出の精度をより適切に向上させる。
 また、欠陥検出システム1は、画像表示制御部28を更に有する。画像表示制御部28は、判定画像A4を表示部14に表示させる.判定画像A4は、原画像A1に対して、目印Mを加えた画像である。目印Mは、原画像A1内の、欠陥検出部26が欠陥の箇所であると判定した箇所に表示される。この欠陥検出システム1は、欠陥と判定された箇所に目印Mを加えた画像を表示することで、作業者が欠陥の箇所を容易に視認することが可能となる。
 また、画像表示制御部28は、目印Mの表示が、非欠陥差分値X2に対する欠陥差分値X1の比率に応じて異なるように、判定画像A4を表示させる。非欠陥差分値X2に対する欠陥差分値X1の比率が高い箇所は、欠陥である可能性が高い。画像表示制御部28は、比率に応じて目印Mの表示を変化させることで、欠陥である可能性が高い箇所を、作業者が容易に視認させることが可能となる。
 また、欠陥検出システム1は、原画像A1を作成する原画像作成部10を有する。本実施形態において、原画像作成部10は、対象物Tの表面T1を撮像して原画像A1を作成する。欠陥検出システム1は、この原画像A1を用いて欠陥検出を行うことで、対象物Tの表面T1の欠陥を、適切に検出することが可能となる。
 ただし、欠陥検出システム1は、対象物Tの表面T1の欠陥だけでなく、対象物Tの内部の欠陥についても検出可能である。この場合、原画像作成部10は、対象物Tの内部状態(内部の不連続性)を検出して、その検出データに基づき原画像A1を作成する。これにより、欠陥検出システム1は、対象物Tの内部の欠陥を適切に検出することが可能となる。例えば、原画像作成部10は、超音波探傷器を有し、射出位置を変更させながら、対象物Tに超音波を射出する。原画像作成部10は、各位置における反射波を測定する。原画像作成部10は、この反射波の強度分布毎に輝度を変化させて位置ごとに2次元マトリクス状にプロットした画像を、原画像A1として作成する。この原画像A1は、対象物Tの内部の欠陥の箇所を含む2次元画像となる。なお、この場合、原画像作成部10は、反射波を取得するものであり、制御部12が、その反射波に基づいて原画像を作成するものであってもよい。
 対象物Tの内部の欠陥の箇所を含む原画像を用いた場合でも、画像処理などの制御部12による制御は、表面T1を撮像した原画像と同じである。この原画像を用いた場合、欠陥検出システム1は、内部欠陥を適切に検出することが可能となる。なお、対象物Tの内部状態を検出する際は、超音波探傷に限られず、例えば浸透探傷検査など、任意の非破壊検査の方法が適用可能である。このように、欠陥検出システム1は、表面の欠陥を用いた原画像を用いることで、表面の欠陥を検出し、内部の欠陥を用いた原画像を用いることで、内部の欠陥を検出することが可能となる。
 (第2実施形態)
 次に、第2実施形態について説明する。第2実施形態に係る欠陥検出システム1は、正誤教示部60を有する点で、第1実施形態とは異なる。第2実施形態において第1実施形態と共通する箇所は、説明を省略する。
 図16は、第2実施形態に係る制御部の模式的なブロック図である。図16に示すように、第2実施形態に係る制御部12Aは、正誤教示部60を有する。正誤教示部60は、欠陥が未検出だった対象物Tに対する欠陥検出部26の検出結果を、その対象物Tに対して他の検査で検出された欠陥の検出結果と照合する。正誤教示部60は、その照合の結果、すなわち欠陥検出部26の検出結果の正誤を、特徴量範囲設定部24に伝達(教示)する。特徴量範囲設定部24は、その正誤の情報に基づき、欠陥特徴量範囲と非欠陥特徴量範囲とを設定し直す。
 具体的には、正誤教示部60は、欠陥が未検出だった対象物Tの欠陥の箇所の検出結果(欠陥の箇所の位置情報)を、欠陥検出部26から取得する。そしてその際、他の検査によって、その対象物Tに対して欠陥の箇所の検出が行われる。この他の検査は、例えば作業者によって行われるものであり、例えば従来通りの目視や触診によって行われる。作業者は、この欠陥の箇所の検出結果(欠陥の箇所の位置情報)を、入力部16によって制御部12Aに入力する。正誤教示部60は、この欠陥の箇所の検出結果を取得する。
 ここで、欠陥検出部26から取得した欠陥の箇所の検出結果、すなわち欠陥検出部26が検出した欠陥の箇所の位置情報を、欠陥検出位置とする。そして、他の検査から取得した欠陥の箇所の検出結果、すなわち他の検査で検出された欠陥の箇所の位置情報を、欠陥確認位置とする。正誤教示部60は、欠陥検出位置を欠陥確認位置に照合して、欠陥検出位置が、実際に欠陥の箇所であるかを判定する。正誤教示部60は、欠陥検出位置が欠陥確認位置に一致する場合、その欠陥検出位置が実際の欠陥の箇所であると判定する。また、正誤教示部60は、欠陥検出位置が欠陥確認位置に一致しない場合、その欠陥検出位置が実際の欠陥の箇所でないと判定する。以下、実際の欠陥の箇所でないとされた欠陥検出位置を、非欠陥位置とする。また、正誤教示部60は、欠陥確認位置に該当する位置に欠陥検出位置が無い場合、すなわち、他の検査では欠陥の箇所であるとされた位置を、欠陥検出部26が欠陥の箇所であると判定していない場合、その欠陥確認位置の情報を記憶する。以下、欠陥検出部26が欠陥の箇所であると判定していない欠陥確認位置を、追加欠陥位置とする。
 正誤教示部60は、非欠陥位置と追加欠陥位置との情報を、画像処理部22に出力する。画像処理部22は、特徴量算出部34により、この非欠陥位置及び追加欠陥位置に対応する領域の特徴量を算出する。以下、非欠陥位置の特徴量を、非欠陥特徴量とし、追加欠陥位置の特徴量を、追加欠陥特徴量とする。特徴量範囲設定部24は、特徴量取得部40により、この非欠陥特徴量と追加欠陥特徴量とを取得する。そして、特徴量範囲設定部24は、特徴量範囲算出部44により、非欠陥特徴量と追加欠陥特徴量とに基づき、欠陥特徴量範囲及び非欠陥特徴量範囲を再設定する。具体的には、特徴量範囲算出部44は、学習用原画像で欠陥であると判定した特徴量D1に加えて、追加欠陥特徴量にも基づき、欠陥特徴量範囲E1を算出する。すなわち、特徴量範囲算出部44は、特徴量D1及び追加欠陥特徴量が欠陥特徴量範囲E1内に収まるように、欠陥特徴量範囲E1を再算出する。同様に、特徴量範囲算出部44は、学習用原画像で欠陥でないと判定した特徴量D2に加えて、非欠陥特徴量にも基づき、非欠陥特徴量範囲E2を算出する。すなわち、特徴量範囲算出部44は、特徴量D2及び非欠陥特徴量が非欠陥特徴量範囲E2内に収まるように、非欠陥特徴量範囲E2を再算出する。
 欠陥検出部26は、この新たに算出し直された欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を用いて、以降の欠陥検出を行う。この際、欠陥検出部26は、正誤教示部60の結果によらず、閾値Kの値は変更せず同じ値のままとする。
 このように、第2実施形態において、正誤教示部60は、欠陥検出部26からの欠陥の箇所の検出結果を、同じ対象物Tに対して行われた他の検査による欠陥の箇所の検出結果に照合する。正誤教示部60は、欠陥検出部26からの欠陥の箇所の検出結果と他の検査による欠陥の箇所の検出結果とが一致しない位置(非欠陥位置と追加欠陥位置)を検出する。画像処理部22は、この位置の特徴量を算出する。欠陥検出部26は、この算出された特徴量に基づき、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を再設定する。欠陥検出部26は、この新たに算出し直された欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を用いて、以降の欠陥検出を行う。第2実施形態に係る欠陥検出システム1は、このように、正誤教示部60の教示結果(非欠陥位置と追加欠陥位置との情報)により、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を更新する。これにより、欠陥検出システム1は、欠陥検出の精度をより向上させることが可能となる。
 以上、本発明の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
 1 欠陥検出システム
 10 原画像作成部
 12 制御部
 14 表示部
 16 入力部
 20 原画像取得部
 22 画像処理部
 24 特徴量範囲設定部
 26 欠陥検出部
 28 画像表示制御部
 30 候補領域抽出部
 32 欠陥候補領域抽出部
 34 特徴量算出部
 40 特徴量取得部
 44 特徴量範囲算出部
 50 特徴量取得部
 52 特徴量範囲取得部
 54 欠陥判定部
 A1 原画像
 T 対象物
 P 画素
 P1 候補領域
 P2 欠陥候補領域
 P3 欠陥候補抽出領域

Claims (13)

  1.  対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出システムであって、
     欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得部と、
     前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理部と、
     前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定部と、
     前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記判定用原画像内の前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出部と、
     を有する航空機用部品の欠陥検出システム。
  2.  前記画像処理部は、
     前記原画像内の領域のうち、その領域と周囲の領域との輝度の分散が所定の分散値以上となる領域を、前記欠陥の候補領域として抽出する候補領域抽出部と、
     前記候補領域のうち、あらかじめ定めた所定の形状となる前記候補領域を除去し、除去しなかった前記候補領域を、前記欠陥候補領域として抽出する欠陥候補領域抽出部と、
     前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する特徴量算出部と、を有する、請求項1に記載の航空機用部品の欠陥検出システム。
  3.  前記欠陥候補領域抽出部は、ハフ変換を用いて、複数の前記候補領域が連続することで円形を構成するかを判定し、前記円形を構成する候補領域を除去する、請求項2に記載の航空機用部品の欠陥検出システム。
  4.  前記特徴量算出部は、欠陥候補領域及びその周囲の領域における輝度の変化量として、前記特徴量を算出する、請求項2又は請求項3に記載の航空機用部品の欠陥検出システム。
  5.  前記特徴量算出部は、前記欠陥候補領域のホグ特徴量を、前記特徴量として算出する、請求項4に記載の航空機用部品の欠陥検出システム。
  6.  前記欠陥検出部は、
     前記判定用原画像の前記特徴量である判定用特徴量を取得する特徴量取得部と、
     前記特徴量範囲設定部から前記欠陥特徴量範囲及び前記非欠陥特徴量範囲を取得する特徴量範囲取得部と、
     前記判定用特徴量と前記欠陥特徴量範囲との間の差分値である欠陥差分値、及び、前記判定用特徴量と前記非欠陥特徴量範囲との間の差分値である非欠陥差分値に基づき、前記欠陥候補領域が、前記欠陥の箇所であるかを判定する欠陥判定部とを有する、請求項1から請求項5のいずれか1項に記載の航空機用部品の欠陥検出システム。
  7.  前記欠陥判定部は、前記非欠陥差分値に対する前記欠陥差分値の比率が、所定の閾値以下となる場合、前記欠陥候補領域が、前記欠陥の箇所であると判定する、請求項6に記載の航空機用部品の欠陥検出システム。
  8.  前記所定の閾値は、1より大きい値である、請求項7に記載の航空機用部品の欠陥検出システム。
  9.  前記原画像に対し、前記欠陥検出部が前記欠陥の箇所であると判定した箇所に目印を加えた判定画像を、表示部に表示させる画像表示制御部を更に有する、請求項5から請求項8のいずれか1項に記載の航空機用部品の欠陥検出システム。
  10.  前記画像表示制御部は、前記目印の表示が、前記非欠陥差分値に対する前記欠陥差分値の比率に応じて異なるように、前記判定画像を表示させる、請求項9に記載の航空機用部品の欠陥検出システム。
  11.  前記対象物の表面を撮像して前記原画像を作成する原画像作成部を更に有する、請求項1から請求項10のいずれか1項に記載の航空機用部品の欠陥検出システム。
  12.  前記対象物の内部状態を検出して、その検出データに基づき前記原画像を作成する原画像作成部を更に有する、請求項1から請求項10のいずれか1項に記載の航空機用部品の欠陥検出システム。
  13.  対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出方法であって、
     欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得ステップと、
     前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理ステップと、
     前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定ステップと、
     前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記特徴量に対応する前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出ステップと、
     を有する航空機用部品の欠陥検出方法。
PCT/JP2017/039558 2017-03-27 2017-11-01 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 WO2018179559A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019508540A JP6786035B2 (ja) 2017-03-27 2017-11-01 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法
US16/498,642 US20200096454A1 (en) 2017-03-27 2017-11-01 Defect detection system for aircraft component and defect detection method for aircraft component
EP17903176.0A EP3591612A4 (en) 2017-03-27 2017-11-01 ERROR DETECTING SYSTEM FOR AIRCRAFT COMPONENT AND DEFECTIVE DETECTION METHOD FOR AIRCRAFT COMPONENT
CN201780089852.4A CN110537203A (zh) 2017-03-27 2017-11-01 飞机用部件的缺陷检测系统及飞机用部件的缺陷检测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017061591 2017-03-27
JP2017-061591 2017-03-27

Publications (1)

Publication Number Publication Date
WO2018179559A1 true WO2018179559A1 (ja) 2018-10-04

Family

ID=63677803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039558 WO2018179559A1 (ja) 2017-03-27 2017-11-01 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法

Country Status (5)

Country Link
US (1) US20200096454A1 (ja)
EP (1) EP3591612A4 (ja)
JP (1) JP6786035B2 (ja)
CN (1) CN110537203A (ja)
WO (1) WO2018179559A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019045235A (ja) * 2017-08-31 2019-03-22 株式会社Ihiエアロスペース 画像検査システム、画像検査方法及び画像検査用プログラム
JPWO2021171411A1 (ja) * 2020-02-26 2021-09-02
CN116152237A (zh) * 2023-04-18 2023-05-23 中铁四局集团有限公司 一种钢轨剥落掉块检测方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
JP2021096652A (ja) * 2019-12-17 2021-06-24 富士通株式会社 画像識別装置、方法、及びプログラム
CN111080627B (zh) * 2019-12-20 2021-01-05 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111882537B (zh) * 2020-07-28 2023-12-15 研祥智能科技股份有限公司 视觉检测方法及系统
KR20230174066A (ko) * 2022-06-20 2023-12-27 두산에너빌리티 주식회사 초음파 탐상 검사 시스템 및 초음파 탐상 검사 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5520908B1 (ja) 1970-06-08 1980-06-05
JPS6072085A (ja) * 1983-09-28 1985-04-24 Toshiba Corp 画像輪郭強調装置
JPH02311961A (ja) * 1989-05-29 1990-12-27 Mitsubishi Heavy Ind Ltd 画像処理技術を利用した検査方法
JP2006085616A (ja) * 2004-09-17 2006-03-30 Sharp Corp 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
JP2016110625A (ja) * 2014-11-28 2016-06-20 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007315803A (ja) * 2006-05-23 2007-12-06 Kirin Techno-System Co Ltd 表面検査装置
JP5767963B2 (ja) * 2011-12-28 2015-08-26 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP5865707B2 (ja) * 2012-01-06 2016-02-17 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP5943722B2 (ja) * 2012-06-08 2016-07-05 三菱重工業株式会社 欠陥判定装置、放射線撮像システム、及び欠陥判定方法
CN105447512B (zh) * 2015-11-13 2018-09-25 中国科学院自动化研究所 一种精粗结合的光学表面缺陷的检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5520908B1 (ja) 1970-06-08 1980-06-05
JPS6072085A (ja) * 1983-09-28 1985-04-24 Toshiba Corp 画像輪郭強調装置
JPH02311961A (ja) * 1989-05-29 1990-12-27 Mitsubishi Heavy Ind Ltd 画像処理技術を利用した検査方法
JP2006085616A (ja) * 2004-09-17 2006-03-30 Sharp Corp 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
JP2016110625A (ja) * 2014-11-28 2016-06-20 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3591612A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019045235A (ja) * 2017-08-31 2019-03-22 株式会社Ihiエアロスペース 画像検査システム、画像検査方法及び画像検査用プログラム
JPWO2021171411A1 (ja) * 2020-02-26 2021-09-02
JP7315089B2 (ja) 2020-02-26 2023-07-26 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
CN116152237A (zh) * 2023-04-18 2023-05-23 中铁四局集团有限公司 一种钢轨剥落掉块检测方法及系统
CN116152237B (zh) * 2023-04-18 2023-07-04 中铁四局集团有限公司 一种钢轨剥落掉块检测方法及系统

Also Published As

Publication number Publication date
EP3591612A1 (en) 2020-01-08
JPWO2018179559A1 (ja) 2020-03-05
EP3591612A4 (en) 2020-03-25
US20200096454A1 (en) 2020-03-26
CN110537203A (zh) 2019-12-03
JP6786035B2 (ja) 2020-11-18

Similar Documents

Publication Publication Date Title
WO2018179559A1 (ja) 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法
US10297021B2 (en) Defect quantification method, defect quantification device, and defect evaluation value display device
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
JP4997252B2 (ja) 画像内の照明域を識別する方法
JP5764238B2 (ja) 鋼管内部腐食解析装置及び鋼管内部腐食解析方法
JP2018198053A5 (ja)
US11378522B2 (en) Information processing apparatus related to machine learning for detecting target from image, method for controlling the same, and storage medium
US20120207379A1 (en) Image Inspection Apparatus, Image Inspection Method, And Computer Program
JPWO2016174926A1 (ja) 画像処理装置及び画像処理方法及びプログラム
JP4242796B2 (ja) 画像認識方法及び画像認識装置
JP2010008159A (ja) 外観検査処理方法
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
JP5788367B2 (ja) 長尺物本数測定装置、長尺物本数測定方法、及びコンピュータプログラム
US10788430B2 (en) Surface inspection apparatus and surface inspection method
JP4715703B2 (ja) 光学フレア検査装置および検査方法
JP2008233107A (ja) 外観検査方法及び外観検査装置
JP4743230B2 (ja) 外観検査方法及び外観検査装置
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
US11852587B2 (en) Microfluidic device observation apparatus
JP2006145228A (ja) ムラ欠陥検出方法及び装置
US10852244B2 (en) Image processing apparatus, image processing method, and recording medium
JP2018128357A (ja) 形状検査方法および形状検査装置
JP2011232302A (ja) 画像検査方法及び画像検査装置
JP6590631B2 (ja) 画像検査装置
KR20150093959A (ko) 영역 지정에 따른 지능형 판정 기준의 자동 설정 방법 및 그에 의한 스마트 학습 방식의 엑스레이 검사 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903176

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508540

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017903176

Country of ref document: EP

Effective date: 20190926