WO2021201205A1 - 表面状態の評価方法、表面状態の評価装置、及び、プログラム - Google Patents

表面状態の評価方法、表面状態の評価装置、及び、プログラム Download PDF

Info

Publication number
WO2021201205A1
WO2021201205A1 PCT/JP2021/014125 JP2021014125W WO2021201205A1 WO 2021201205 A1 WO2021201205 A1 WO 2021201205A1 JP 2021014125 W JP2021014125 W JP 2021014125W WO 2021201205 A1 WO2021201205 A1 WO 2021201205A1
Authority
WO
WIPO (PCT)
Prior art keywords
unevenness
luminance
profile
brightness
intensity
Prior art date
Application number
PCT/JP2021/014125
Other languages
English (en)
French (fr)
Inventor
大介 梶田
隆信 尾島
莉奈 赤穗
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2021201205A1 publication Critical patent/WO2021201205A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • This disclosure relates to a surface condition evaluation method, a surface condition evaluation device, and a program.
  • Patent Document 1 discloses an apparatus for evaluating (inspecting) coating unevenness on a coated surface of an object.
  • coating unevenness is evaluated using the area of the region surrounded by the reference profile and the luminance profile that approximate the luminance profile of the image. For example, when the area is larger than the threshold value, it is determined that the coating unevenness is large.
  • Patent Document 1 may not be able to accurately evaluate the surface state of an object.
  • the present disclosure provides a surface condition evaluation method, a surface condition evaluation device, and a program capable of accurately evaluating the surface condition of an object.
  • the method for evaluating the surface state includes a step of acquiring a luminance profile indicating the luminance intensity for each position in the image from an image of an object, and a space between the luminance intensity and the luminance space. It includes a step of calculating the number of irregularities included in the luminance profile based on a boundary determined based on the distribution.
  • the surface state evaluation device includes an acquisition unit that acquires a luminance profile indicating the luminance intensity for each position in the image from an image of an object, and a luminance intensity and a spatial distribution of the luminance. It is provided with a calculation unit for calculating the number of irregularities included in the luminance profile based on the boundary determined based on the basis.
  • the program according to one aspect of the present disclosure is a program for causing a computer to execute the above-mentioned surface condition evaluation method.
  • the surface condition of the object can be evaluated accurately.
  • FIG. 1 is a schematic view showing a configuration of an unevenness determination system according to an embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the unevenness determination device according to the embodiment.
  • FIG. 3 is a flowchart showing the operation of the unevenness determination system according to the embodiment.
  • FIG. 4 is an image showing image data acquired from the camera according to the embodiment.
  • FIG. 5 is a diagram showing a brightness profile according to the embodiment.
  • FIG. 6 is a diagram showing a trend component in the luminance profile shown in FIG.
  • FIG. 7 is an image after trend removal according to the embodiment.
  • FIG. 8 is a diagram showing an example of the luminance profile after trend removal.
  • FIG. 9 is a diagram showing an example of the uneven profile according to the embodiment.
  • FIG. 9 is a diagram showing an example of the uneven profile according to the embodiment.
  • FIG. 10 is a diagram showing an example of a luminance profile and an uneven profile in the case of unevenness according to the embodiment.
  • FIG. 11 is a diagram showing an example of a luminance profile and an uneven profile in the case where there is no unevenness according to the embodiment.
  • FIG. 12 is a diagram showing a histogram of the unevenness index according to the embodiment.
  • FIG. 13 is a diagram showing another example of the brightness profile after trend removal according to the embodiment.
  • FIG. 14 is a diagram showing an example of the unevenness profile and the unevenness index when there is no unevenness.
  • FIG. 15 is a diagram showing an example of an unevenness profile and an unevenness index when there is unevenness.
  • FIG. 16 is a flowchart showing the operation of the unevenness determination system according to the first modification of the embodiment.
  • FIG. 16 is a flowchart showing the operation of the unevenness determination system according to the first modification of the embodiment.
  • FIG. 17 is a diagram for explaining the generation of the digital standard sample according to the first modification of the embodiment.
  • FIG. 18 is a diagram showing an example of the uneven profile according to the second modification of the embodiment.
  • FIG. 19 is a diagram showing another example of the uneven profile according to the second modification of the embodiment.
  • FIG. 20 is a diagram for explaining a method of calculating the luminance difference according to the third modification of the embodiment.
  • the method for evaluating the surface state includes a step of acquiring a luminance profile indicating the luminance intensity for each position in the image from an image of an object, and a space between the luminance intensity and the luminance space. It includes a step of calculating the number of irregularities included in the luminance profile based on a boundary determined based on the distribution.
  • a scalar amount (constant value) is used as a threshold value for determination. Since the scalar amount is used, for example, noise or the like may be detected as unevenness.
  • the number of irregularities is calculated using a boundary determined based on the intensity of luminance and the spatial distribution of luminance.
  • the scalar amount is not used as a threshold for calculating the number of irregularities.
  • the distance between a plurality of intersections where the luminance reference and the luminance profile intersect and the degree of deviation from each of the luminance criteria between the intersections are extracted.
  • a step of generating an unevenness profile by plotting a plurality of extracted distances and the degree of deviation is included, and in the calculation step, the number of the unevenness is calculated based on the unevenness profile and the boundary. May be good.
  • a person has a characteristic of visually recognizing unevenness when the distance of brightness and the degree of deviation of brightness are within a certain range. Therefore, by using the unevenness profile, it is possible to calculate the number of unevenness that can be visually recognized by humans. Therefore, it is possible to accurately detect unevenness that a person visually recognizes as unevenness. For example, the evaluation result of unevenness can be more matched with the degree of unevenness visually recognized by a person.
  • the boundary may be determined based on the degree of deviation between the intersections and the distance.
  • the distance is an adjacent distance between the first intersection and the second intersection when the intersection of the luminance reference and the luminance profile is the first intersection and the second intersection.
  • the boundary may be determined based on the intensity of the brightness and the adjacent distance.
  • the degree of deviation may be the difference between the brightness reference of the brightness intensity of the brightness profile between the first intersection and the second intersection.
  • a step of updating the boundary may be further included based on two or more unevenness profiles belonging to the maximum frequency range of the histogram with the number of unevenness as the horizontal axis.
  • the number of unevenness can be calculated more accurately by using the updated boundary.
  • a standard sample is generated by plotting each of the distance and the degree of deviation included in the two or more uneven profiles, and the area not plotted in the generated standard sample.
  • the boundary may be updated based on.
  • the unevenness of a non-defective product includes, for example, at least one unevenness that is difficult for humans to see, a pattern and a design that are appropriate for the non-defective product.
  • a step of determining the quality of the surface condition of the object or selecting the rank based on the number of irregularities may be further included.
  • the number of unevenness used for the determination is calculated accurately, so that the unevenness can be determined accurately.
  • the quality determination or the rank selection for the object is performed based on the threshold value set for the histogram having the number of unevenness as the horizontal axis. You may.
  • the number of unevenness may be calculated based on a region excluding a predetermined region from the region based on the boundary.
  • the noise contained in the luminance profile or the like is known in advance, a predetermined region is determined so that the noise is detected as unevenness and the number of unevenness is not calculated, so that the noise is added to the number of unevenness. It can be suppressed from being included. Therefore, the number of unevenness can be calculated more accurately.
  • the boundary may be determined based on the intensity and the spatial distribution of the brightness determined according to the type of unevenness detected.
  • the number of the unevenness may be weighted according to the degree of deviation in the unevenness profile.
  • the larger the degree of divergence the greater the weighting, so that the number of unevennesses calculated can be increased when there is unevenness that is easy for humans to see. That is, when there is unevenness that is easy for humans to see, the number of unevenness can be calculated as a larger value. Therefore, it becomes easier to detect unevenness that is easily visible to humans.
  • the points where the reference line of the brightness and the brightness profile intersect are defined as the first intersection, the second intersection, and the third intersection, and the brightness profile between the first intersection and the second intersection has.
  • the intensity of the brightness is the first intensity
  • the intensity of the brightness of the brightness profile between the second intersection and the third intersection is the second intensity
  • the intensity of the brightness is the same as the first intensity.
  • the strength may be based on the difference from the second strength.
  • the luminance profile is obtained by removing at least the luminance gradient component from the image
  • the luminance reference may be set to a predetermined value in the luminance profile from which the luminance gradient component is removed.
  • the image may be an image obtained by capturing the painted surface of the object.
  • the surface state evaluation device includes an acquisition unit that acquires a luminance profile indicating the luminance intensity for each position in the image from the image of the object, and the luminance intensity and the spatial distribution of the luminance. It is provided with a calculation unit for calculating the number of irregularities included in the luminance profile based on the boundary determined based on.
  • the program according to one aspect of the present disclosure is a program for causing a computer to execute the above-mentioned surface condition evaluation method.
  • each figure is a schematic view and is not necessarily exactly illustrated. Therefore, for example, the scales and the like do not always match in each figure. Further, in each figure, substantially the same configuration is designated by the same reference numerals, and duplicate description will be omitted or simplified.
  • FIG. 1 is a schematic view showing the configuration of the unevenness determination system 1 according to the present embodiment.
  • the unevenness determination system 1 is an information processing system for evaluating the surface state of an object to be inspected (an example of the object to be inspected).
  • the unevenness determination system 1 evaluates the surface state of the automobile 30 which is an example of the object.
  • the unevenness determination system 1 determines whether or not the object is a non-defective product by quantifying the macroscopic unevenness. Determining whether or not the surface condition of the object is non-defective is an example of evaluating the surface condition of the object.
  • macro unevenness is an example of the surface state.
  • the unevenness determination system 1 includes a camera 10 and an unevenness determination device 20. Further, although not shown, the unevenness determination system 1 may include a light source for irradiating an object with light.
  • the automobile 30 is an example of an object for which the unevenness determination system 1 evaluates unevenness. The object is not limited to the automobile 30, and may be any object.
  • the camera 10 images the surface of the automobile 30.
  • the camera 10 receives, for example, the light emitted from the light source and reflected by the automobile 30.
  • the camera 10 is provided so as to be able to image the surface of the automobile 30 in a predetermined range or more, for example, in order to evaluate macro unevenness distributed over a wide range.
  • Macro unevenness is, for example, unevenness that can be visually recognized by a person.
  • the camera 10 may be a monochrome camera or a color camera.
  • the camera 10 may be, for example, a visible light camera.
  • the unevenness determination device 20 determines the surface state of the automobile 30 based on the image captured by the camera 10. For example, the unevenness determination device 20 determines the surface state of the automobile 30 based on the unevenness profile obtained by obtaining and plotting the intensity of light and darkness (for example, the intensity of brightness) and the width of light and darkness with respect to the light and darkness (shades) existing in the image. do.
  • the intensity of light and darkness for example, the intensity of brightness
  • the communication method between the unevenness determination device 20 and the camera 10 is not particularly limited, and may be wired communication or wireless communication. Further, the communication standard used for communication between the unevenness determination device 20 and the camera 10 is not particularly limited.
  • the unevenness determination device 20 is an example of a surface condition evaluation device.
  • FIG. 2 is a block diagram showing a functional configuration of the unevenness determination device 20 according to the present embodiment.
  • the unevenness determination device 20 includes an acquisition unit 21, a removal unit 22, a generation unit 23, a calculation unit 24, a determination unit 25, and an output unit 26.
  • the acquisition unit 21 acquires image data from the camera 10.
  • the acquisition unit 21 includes, for example, a communication interface for communicating with the camera 10.
  • the removing unit 22 removes a predetermined component from the image data.
  • the removal unit 22 is a pretreatment unit before performing the unevenness determination.
  • the predetermined component is, for example, a trend component, a noise component, or the like.
  • the trend component is the brightness gradient caused by the shape of the automobile 30, how the light hits the automobile 30 from the light source, and the like. For example, the brightness gradient may be bright on the front side (the side closer to the camera 10).
  • the removing unit 22 removes low-frequency components that do not occur as macro unevenness as trend components. In this case, the removing unit 22 includes a high-pass filter.
  • the noise component is, for example, a high-frequency component generated by image processing, point-like defects on the surface, or the like.
  • the removing unit 22 removes high-frequency components that do not occur as macro unevenness as noise components. In this case, the removing unit 22 includes a low-pass filter.
  • the generation unit 23 generates an uneven profile (see, for example, FIG. 9) obtained by obtaining and plotting the intensity of light and darkness (for example, the difference in brightness) and the width of light and darkness for the light and darkness (shading) existing in the image after trend removal. ..
  • the generation of the uneven profile will be described later.
  • the width of light and dark is the distance of brightness, which will be described later, and is an example of the spatial distribution of brightness.
  • the spatial distribution is, for example, when the intersection (for example, an adjacent intersection) between the luminance reference and the luminance profile (see, for example, (a) in FIG. 8) is the first intersection and the second intersection, the spatial distribution is the same as the first intersection.
  • the brightness difference is the difference between the brightness reference of the brightness intensity of the brightness profile between adjacent intersections (for example, the first intersection and the second intersection) (for example, the brightness difference shown in FIG. 8B). It may be ⁇ P).
  • the brightness reference is set to a predetermined value in the brightness profile from which the trend component has been removed, for example.
  • the calculation unit 24 calculates an unevenness index indicating the degree of unevenness based on the unevenness profile.
  • the calculation unit 24 calculates the unevenness index based on the unevenness viewing area on the preset unevenness profile and the unevenness profile.
  • the calculation unit 24 counts, for example, the number of points included in the unevenness viewing area among the points plotted in the unevenness profile, and calculates the number of counted points as the unevenness index. It can be said that the calculation unit 24 calculates the number of irregularities included in the luminance profile.
  • the number of unevenness may be, for example, the number of regions having unevenness.
  • the uneven viewing area is, for example, an area that can be visually recognized as uneven by a person on the uneven profile. It can be said that the uneven viewing area defines the intensity of light and darkness and the width of light and darkness that can be visually recognized as unevenness on the unevenness profile. Further, it can be said that the uneven viewing area indicates a boundary determined based on the intensity of the luminance and the width of the luminance.
  • the uneven viewing area may be, for example, an area determined by a function or the like.
  • the uneven viewing area may change depending on the type of the object to be evaluated and the imaging conditions by the camera 10. Therefore, the uneven viewing area may be provided for each object and imaging conditions.
  • the imaging condition includes, for example, any one of the distance between the light source and the object, the brightness of the light source, the irradiation direction of the light, and the like.
  • the uneven viewing area has been acquired in advance by prior evaluation or prediction.
  • the determination unit 25 determines the surface condition of the automobile 30 based on the unevenness index (for example, the number of unevenness) calculated by the calculation unit 24.
  • the determination unit 25, for example, performs quality determination or rank selection of the surface condition.
  • the output unit 26 outputs the determination result of the determination unit 25.
  • the output unit 26 outputs the determination result to an external device by communication, for example.
  • the output unit 26 has a presentation device, and may output (present) the determination result to the user by using an image, voice, or the like.
  • FIG. 3 is a flowchart showing the operation of the unevenness determination system 1 according to the present embodiment. Specifically, FIG. 3 shows the operation (surface state evaluation method) of the unevenness determination device 20.
  • FIG. 4 is an image acquired from the camera 10 according to the present embodiment.
  • FIG. 4 shows an image in which the brightness increases from A1 to A2.
  • the image shown in FIG. 4 is an image including a trend component.
  • the acquisition unit 21 acquires image data obtained by capturing an image of the automobile 30 from the camera 10 (S11).
  • the acquisition unit 21 acquires, for example, image data showing the image of FIG.
  • the image shown in FIG. 4 is an image of the surface of the automobile 30.
  • the image is, for example, an image obtained by capturing the side surface, the front surface, the rear surface, the upper surface, or a part thereof of the automobile 30. Further, the image may be an image obtained by capturing the painted surface of the automobile 30.
  • the acquisition unit 21 outputs the image data to the removal unit 22.
  • the removal unit 22 removes the trend from the image data (S12).
  • the removing unit 22 removes the trend component from the image data.
  • the removing unit 22 generates a luminance profile showing the luminance for each position on the A1-A2 line shown in FIG. 4, and removes the above-mentioned trend component for each generated luminance profile.
  • the removal unit 22 removes the trend component from the frequency spectrum obtained by performing a fast Fourier transform on the luminance profile, for example, by a low-pass filter.
  • FIG. 5 is a diagram showing a brightness profile according to the present embodiment.
  • FIG. 5 shows a P value (pixel value) on the A1-A2 line of the image shown in FIG.
  • the P value is an example of the intensity of brightness.
  • FIG. 6 is a diagram showing a trend component in the luminance profile shown in FIG.
  • FIG. 6 shows the trend component in the A1-A2 line of the image shown in FIG.
  • the vertical axis of FIGS. 5 and 6 indicates the P value (luminance), and the horizontal axis indicates the pixel position y (pixel).
  • the removing unit 22 removes the trend component shown in FIG. 6 from the luminance profile shown in FIG. 5 by a low-pass filter process.
  • the method for removing the trend component is not limited to the low-pass filter processing, and any known method may be used.
  • FIG. 7 is an image after trend removal according to the present embodiment.
  • FIG. 8 is a diagram showing an example of the luminance profile after trend removal.
  • FIG. 8 shows the P value (luminance) of the image shown in FIG. 7 on the A1-A2 line.
  • FIG. 8B is an enlarged view of the broken line region of FIG. 8A.
  • FIG. 7 is an image in which the trend component is removed from FIG. 4, and
  • FIG. 8 shows a luminance profile in which the trend component is removed from FIG.
  • the image after trend removal is an image in which light and dark are repeated along the direction (vertical direction) of the A1-A2 line.
  • the removal unit 22 generates, for example, a luminance profile in which the trend component shown in FIG. 8A is removed from an image of an automobile 30.
  • the brightness profile indicates the intensity of brightness for each position in the image.
  • the brightness profile acquired in step S12 may be an image obtained by removing at least a brightness gradient component (trend component).
  • the removing unit 22 is not limited to removing the trend component from the image data.
  • the removal unit 22 may acquire the luminance profile shown in FIG. 4 as the luminance profile indicating the intensity of the luminance for each pixel position y in the image.
  • Step S12 is an example of the steps to be acquired.
  • the removal unit 22 outputs the acquired (for example, generated) brightness profile to the generation unit 23.
  • the removal unit 22 functions as an acquisition unit for acquiring the brightness profile.
  • the generation unit 23 then generates an uneven profile based on the luminance profile (S13). Based on the brightness profile, the generation unit 23 extracts the distance between the plurality of intersections where the brightness reference and the brightness profile intersect, and the degree of deviation from each brightness reference between the intersections, and the extracted plurality of The uneven profile is generated by plotting the distance and the degree of deviation of.
  • the luminance reference may be, for example, the median gradation of the maximum gradation and the minimum gradation, or may be arbitrarily set by the user.
  • FIG. 8B shows an example in which the luminance reference is the luminance reference line (a line in which the P value passes through 128 and is parallel to the horizontal axis), but the present invention is not limited to this. In the following, an example in which the luminance reference is the luminance reference line will be described.
  • the generation unit 23 calculates the distance ⁇ y between the intersections based on the adjacent intersections of the reference line and the luminance profile.
  • the generation unit 23 calculates, for example, the distance ⁇ y between the intersections for each of the adjacent intersections.
  • the generation unit 23 calculates the brightness difference ⁇ P between the reference line and the brightness profile for each of the distances ⁇ y.
  • the luminance difference ⁇ P is calculated as, for example, the absolute value of the luminance difference between the reference line and the luminance profile.
  • the luminance difference ⁇ P is an example of the intensity of the luminance. It can be said that the luminance difference ⁇ P indicates the degree of deviation from the luminance reference line with respect to the luminance intensity corresponding to the distance ⁇ y.
  • the distance ⁇ y indicates the width of unevenness.
  • the distance ⁇ y is a distance on the image, and is indicated by, for example, the number of pixels.
  • the intensity of the luminance is not limited to being calculated by the difference, and may be the ratio of the P value of the reference line to the P value of the luminance profile at the distance ⁇ y.
  • the generation unit 23 calculates the brightness difference ⁇ P for each of the distances ⁇ y in FIG. 8 (b). It can be said that the generation unit 23 extracts a plurality of pairs of the distance ⁇ y and the brightness difference ⁇ P. For example, the generation unit 23 extracts a pair of a distance ⁇ y and a luminance difference ⁇ P for each of the irregularities of the luminance profile shown in FIG. 8B.
  • the generation unit 23 plots each of the extracted plurality of distances ⁇ y and brightness difference ⁇ P in a coordinate system in which the vertical axis is the brightness difference ⁇ P and the horizontal axis is the distance ⁇ y ( ⁇ y / pixel), thereby causing unevenness. Generate a profile.
  • FIG. 9 is a diagram showing an example of the uneven profile according to the present embodiment.
  • the vertical axis represents the luminance difference ⁇ P
  • the horizontal axis represents the distance ⁇ y (pixel).
  • the generation unit 23 generates an uneven profile in which a plurality of black dots indicating a set of a plurality of distances ⁇ y and a plurality of luminance differences ⁇ P are plotted.
  • a plurality of uneven profiles shown in FIG. 9 are obtained, for example, in the image after trend removal shown in FIG. 7, when the A1-A2 line is moved from one end to the other end in the left-right direction of the image.
  • the result of plotting the set of the distance ⁇ y and the brightness difference ⁇ P of is shown.
  • the generation unit 23 outputs the generated uneven profile to the calculation unit 24.
  • the calculation unit 24 calculates the unevenness index based on the unevenness profile (S14).
  • the calculation unit 24 calculates the number of irregularities included in the luminance profile based on the boundary determined based on the intensity of the luminance and the spatial distribution of the luminance.
  • the calculation unit 24 calculates the number of irregularities based on the unevenness profile and the boundary.
  • the number of unevenness is an example of the unevenness index. It can be said that the calculation unit 24 calculates the number of unevenness included in the luminance profile based on the unevenness profile and the unevenness viewing area.
  • the calculation unit 24 calculates the number of unevenness by counting the number of points in the unevenness viewing area among the plurality of points plotted in FIG. It should be noted that the points outside the uneven viewing area indicate unevenness that is not recognized as unevenness by a person although the brightness is bright and dark.
  • the shape of the uneven viewing area is, for example, downwardly convex, but is not limited to this.
  • the boundary is not a scalar value.
  • the boundary indicates whether or not the light and darkness is visually recognized as uneven.
  • the boundary is determined based on, for example, the luminance difference ⁇ P and the distance ⁇ y between the intersections.
  • the range of the uneven viewing area is determined by the boundary.
  • the unevenness determination device 20 can be a noise-resistant device that can accurately calculate the unevenness index even if the image data contains noise.
  • the calculation unit 24 may add a predetermined weight to the count.
  • the calculation unit 24 may weight the number of unevennesses according to, for example, the brightness difference ⁇ P (for example, the degree of deviation) in the unevenness profile.
  • the calculation unit 24 has a weight for one point existing in a region where the brightness difference ⁇ P in the uneven viewing area is equal to or greater than a predetermined value in a region where the brightness difference ⁇ P in the uneven viewing area is less than a predetermined value. It may be larger than the weight for one point.
  • the unevenness index of the unevenness profile in which many points exist in the region where the luminance difference ⁇ P is large is set to the region where the luminance difference ⁇ P is small. It can be increased by the unevenness index of the unevenness profile in which many points exist.
  • the calculation unit 24 can calculate the unevenness index so that, for example, the unevenness index and the degree of unevenness felt by a person are more consistent.
  • the calculation unit 24 outputs the calculated unevenness index to the determination unit 25.
  • FIG. 10 is a diagram showing an example of a luminance profile and an uneven profile in the case of unevenness according to the present embodiment.
  • FIG. 10A shows the pixel value (P value) distribution (luminance profile) of the image after trend removal when there is unevenness
  • FIG. 10B shows unevenness.
  • the uneven profile in a certain case is shown.
  • FIG. 11 is a diagram showing an example of a luminance profile and an uneven profile in the case of no unevenness according to the present embodiment.
  • FIG. 11A shows a luminance profile when there is no unevenness
  • FIG. 11B shows an unevenness profile when there is no unevenness.
  • FIG. 10A shows an example in which there are three visible irregularities at different positions.
  • the three unevennesses (three points) are plotted in the unevenness viewing area as shown in FIG. 10B.
  • the calculation unit 24 counts the number of plots in the unevenness viewing area as an unevenness index. That is, the number of plots corresponds to the unevenness index, and in the case of (b) of FIG. 10, the unevenness index is three.
  • FIG. 11A shows an example in which there are five invisible unevennesses at different positions.
  • the three unevennesses on the left side are high in strength but narrow in width and difficult for humans to see.
  • the two unevennesses on the right side are unevennesses in which the width of the unevenness is wide but the strength is low and it is difficult for humans to see.
  • the width and intensity of the five unevennesses are plotted, the five unevennesses (five points) are plotted outside the unevenness viewing area as shown in FIG. 11B.
  • the calculation unit 24 does not count the number of plots because the unevenness is outside the unevenness viewing area. That is, in the case of (b) of FIG. 11, the unevenness index is 0.
  • the unevenness determination device 20 by using the unevenness viewing area as described above, it is possible to intensively count the unevenness visually recognized by a person and to count the noise. It can be suppressed.
  • the determination unit 25 determines whether the surface condition of the automobile 30 is good or bad based on the unevenness index (S15).
  • the determination unit 25 may perform uneven rank selection instead of the pass / fail determination or together with the pass / fail determination. For example, when performing pass / fail judgment or rank selection, the determination unit 25 uses the unevenness index (for example, the number of unevenness) as the horizontal axis and the vertical axis as the frequency based on a threshold value set for the histogram. The quality of the surface condition of the vehicle may be judged and the rank may be selected.
  • unevenness index for example, the number of unevenness
  • FIG. 12 is a diagram showing a histogram of the unevenness index according to the present embodiment.
  • the histogram shown in FIG. 12 is an unevenness index histogram with the vertical axis as the frequency, and the solid line is a line graph with the vertical axis as the defect probability.
  • FIG. 12 shows an example of performing rank selection. It is assumed that the relationship between the unevenness index and the defect probability has been acquired in advance. That is, the threshold value for determining rank A to rank D is acquired in advance.
  • the threshold value of the unevenness index means the value of the unevenness index of the boundary for each rank.
  • Rank A may be, for example, a non-defective product
  • ranks B and C may be, for example, a re-inspected product
  • rank D may be, for example, a defective product.
  • the determination unit 25 selects the rank based on the unevenness index and the threshold value of the unevenness index.
  • the determination unit 25 may, for example, select the rank of the automobile 30 based on the total value (total number of unevenness) of the unevenness indexes included in each range of rank A to rank D.
  • the number of ranks to be set is not particularly limited, and may be 2 or more.
  • the determination unit 25 outputs the determination result to the output unit 26. Further, the determination unit 25 may store at least one of the histogram of the unevenness index and the determination result in a storage unit (not shown) included in the unevenness determination device 20.
  • the brightness and darkness in the image can be quantified as the unevenness index
  • the correlation between the unevenness index and the non-defective product or rank can be clarified.
  • the versatility of the unevenness determination device 20 can be improved.
  • the range of the unevenness index with the highest frequency in the histogram of FIG. 12 is defined as the maximum frequency range.
  • the output unit 26 then outputs the determination result (S16).
  • the output unit 26 may display the determination result via the display device.
  • FIG. 13 is a diagram showing another example of the brightness profile after trend removal according to the present embodiment.
  • FIG. 13A is a luminance profile after trend removal, and shows a luminance profile including a noise region.
  • FIG. 13A is a luminance profile in which a predetermined component has not been removed by the removing unit 22.
  • FIG. 13 (b) is a luminance profile showing a part of FIG. 13 (a) in an enlarged manner.
  • FIG. 13B shows an example in which the reference intensity (pixel value) of the luminance is 128.
  • the brightness profile that can be actually acquired is often curved. Extracting a set of a distance ⁇ y and a luminance difference ⁇ P for generating an uneven profile from such a curved luminance profile will be described.
  • the luminance reference line and the luminance profile intersect at six positions of pixel positions y1 to y6.
  • the distances ⁇ y1 to ⁇ y5 are extracted as the distances between the adjacent intersections.
  • the luminance difference ⁇ P1 when the distance ⁇ y1 is calculated is calculated based on the intensity of the luminance and the reference line during the distance ⁇ y1.
  • Each of the distances ⁇ y1 to ⁇ y5 is an example of adjacent distances.
  • the brightness difference ⁇ P1 may be a statistical value of the brightness difference between the distances ⁇ y1.
  • the luminance difference ⁇ P1 may be, for example, the interval average of the luminance difference, the maximum or minimum luminance difference, or the median or mode of the luminance difference.
  • the luminance difference ⁇ P1 may be the luminance difference at a predetermined position.
  • the luminance difference ⁇ P1 may be, for example, the luminance difference at the center of the pixel positions y1 and y2.
  • the intersection of the luminance reference line and the luminance profile at the pixel position y1 is an example of the first intersection
  • the intersection of the luminance reference line and the luminance profile at the pixel position y2 is an example of the second intersection.
  • the brightness difference ⁇ P2 to P5 with respect to the distances ⁇ y2 to ⁇ y5 is also calculated in the same manner.
  • Each of the luminance differences ⁇ P1 to P5 is calculated by the same calculation method. For example, when the luminance difference ⁇ P1 is calculated by the interval average of the luminance difference, each of the luminance differences ⁇ P2 to P5 is also calculated by the interval average of the luminance difference.
  • FIG. 14 is a diagram showing an example of the unevenness profile and the unevenness index when there is no unevenness.
  • FIG. 15 is a diagram showing an example of an unevenness profile and an unevenness index when there is unevenness. 14 and 15 show an example in which unevenness is determined when the unevenness index is 1000 or more. It is assumed that the number of plotted points in FIGS. 14 and 15 is the same. Further, in the examples of FIGS. 14 and 15, the uneven viewing area has a rectangular shape. It can be said that the boundary is a rectangular frame.
  • the determination unit 25 determines that there is no unevenness because the unevenness index is smaller than the threshold value. It can be said that the determination unit 25 determines that the surface condition of the automobile 30 is a non-defective product.
  • the number of unevenness included in the unevenness viewing area is 1373. That is, the unevenness index is 1373.
  • the determination unit 25 determines that there is unevenness because the unevenness index is equal to or higher than the threshold value. It can be said that the determination unit 25 determines that the surface condition of the automobile 30 is defective.
  • the unevenness determination device 20 quantifies unevenness using the unevenness profile. Further, since the threshold value used when quantifying unevenness is not a scalar value but an area on the unevenness profile (unevenness visual recognition area), it is resistant to noise.
  • the processes of steps S12 to S14 shown in FIG. 3 are performed for each channel, for example.
  • the color image data includes three channels of red, green, and blue
  • an uneven file is generated for each of the three channels in step S13, and the three uneven files are generated in step S14.
  • the number of unevenness is calculated for each of. In this way, the uneven profile is generated by the three channels independently of each other.
  • step S13 for each of the three channels, An uneven file is generated, and in step S14, the number of unevenness is calculated for each of the three uneven files.
  • the number of channels is not limited to three.
  • the determination in step S15 may also be performed for each channel. As a result, the determination unit 25 can determine which channel is a good product and which channel is a defective product.
  • each modification of the unevenness determination system 1 will be described with reference to FIGS. 16 to 20.
  • the configuration of the unevenness determination system 1 in each modification is the same as that of the embodiment, and the description thereof will be omitted. Further, in the following, the differences from the embodiment will be mainly described, and the description of the same or similar contents as the embodiment will be omitted or simplified.
  • FIG. 16 is a flowchart showing the operation (surface state evaluation method) of the unevenness determination system 1 according to the present modification.
  • FIG. 17 is a diagram for explaining the generation of the digital standard sample according to the present modification. The operation shown in FIG. 16 is performed after, for example, the operation shown in FIG.
  • the digital standard sample is an example of the standard sample.
  • the generation unit 23 acquires a histogram of the unevenness index (S21).
  • the generation unit 23 acquires, for example, by reading a histogram of the unevenness index as shown in FIG. 12 from a storage unit (not shown).
  • the generation unit 23 extracts the uneven profile belonging to the maximum frequency range (S22).
  • the plurality of uneven profiles including (a) to (c) of FIG. 17 are uneven profiles belonging to the maximum frequency range shown in FIG. That is, FIGS. 17A to 17C are uneven profiles having an unevenness index having the highest frequency in the surface state of the automobile 30, for example, a standard uneven profile in the surface state of the automobile 30. ..
  • the generation unit 23 extracts, for example, all of the uneven profiles belonging to the maximum frequency range, but may extract only a predetermined number predetermined.
  • the generation unit 23 generates a digital standard sample based on the extracted uneven profile (S23).
  • the generation unit 23 generates a digital standard sample by, for example, calculating (for example, or calculation) a plurality of uneven profiles belonging to the maximum frequency range. It can be said that the generation unit 23 generates a digital standard sample by integrating a plurality of uneven profiles into one uneven profile.
  • the generation unit 23 generates, for example, the digital standard sample shown in FIG. 17 (d).
  • the digital standard sample is an uneven profile in which each point included in FIGS. 17 (a) to 17 (c) is plotted.
  • the digital standard sample generated in this way shows the most standard non-defective uneven pattern as the surface condition of the automobile 30.
  • the unevenness (plotted points) included in the digital standard sample is unevenness that may be possessed as the surface state of the automobile 30, for example, unevenness that is not visible to humans. Such unevenness is, for example, unevenness caused by the surface shape of the automobile 30, unevenness generated in image processing, and the like.
  • the generation unit 23 then updates the uneven viewing area based on the digital standard sample (S24). It can be said that the generation unit 23 updates the boundary based on the digital standard sample.
  • the generation unit 23 may update the uneven viewing area by, for example, calculating (for example, or calculation) the preset uneven viewing area and the area not plotted in the digital standard sample. Further, the generation unit 23 may use an area not plotted in the digital standard sample as the uneven viewing area instead of the preset uneven viewing area.
  • the boundary between the unplotted area and the unplotted area in the digital standard swatch corresponds to the boundary determined based on the intensity of the luminance and the spatial distribution of the luminance.
  • step S24 is an example of a step to be updated.
  • the generation unit 23 stores the updated uneven viewing area in the storage unit (not shown) in association with the automobile 30 or the imaging condition. In this way, the generation unit 23 functions as an update unit that updates the uneven viewing area.
  • the generation unit 23 updates the boundary based on two or more unevenness profiles belonging to the maximum frequency range of the histogram whose horizontal axis is the number of unevennesses. For example, the generation unit 23 digitally plots each of the distance ⁇ y and the brightness difference ⁇ P (an example of the degree of deviation) included in two or more uneven profiles belonging to the maximum frequency range of the histogram whose horizontal axis is the number of irregularities. Generate a standard swatch and update the boundaries based on the unplotted areas in the generated digital standard swatch.
  • the generation unit 23 has described an example of extracting the uneven profile belonging to the maximum frequency range, but even if the uneven profile belonging to the range of the unevenness index in the range adjacent to the maximum frequency range is extracted. Alternatively, for example, all uneven profiles belonging to rank A may be extracted. Then, the generation unit 23 may generate the above-mentioned digital standard sample by using each of the extracted uneven profiles.
  • FIG. 18 is a diagram showing an example of the uneven profile according to this modified example.
  • the calculation unit 24 may calculate the number of unevenness based on an area excluding a predetermined area from the unevenness viewing area on the unevenness profile.
  • the predetermined area is, for example, a noise area.
  • the noise region is, for example, an region where noise due to image processing or the like may be generated, and can be acquired in advance according to a method such as image processing.
  • the noise region is stored in, for example, a storage unit (not shown), and the calculation unit 24 stores, for example, a noise region corresponding to any processing of the camera 10, the acquisition unit 21, the removal unit 22, and the generation unit 23. It may be read from the storage unit.
  • the calculation unit 24 does not count the points plotted in the overlapping area (hatched area shown in FIG. 18) where the unevenness viewing area and the noise area overlap when calculating the unevenness index (for example, the number of unevenness). .. In other words, the calculation unit 24 counts the number of points plotted in the area other than the overlapping area in the unevenness viewing area as the unevenness index.
  • the S / N ratio (Signal-Noise Ratio: signal noise ratio) in the unevenness index can be increased, so that the determination result in the determination unit 25 can be performed more accurately.
  • FIG. 19 is a diagram showing another example of the uneven profile according to this modified example.
  • an unevenness viewing area may be set.
  • the specific unevenness is a horizontal streak-like unevenness
  • an unevenness viewing area specialized for the horizontal streak-like unevenness may be set.
  • the unevenness viewing area may be set so that only unevenness having an uneven width (distance ⁇ y) of 40 pixels or more and 80 pixels or less is counted as an unevenness index.
  • the width of unevenness may be determined according to the type of unevenness to be detected.
  • the uneven viewing area may be set based on the brightness difference ⁇ P and the spatial distribution of brightness determined according to the type of detected unevenness.
  • the boundary may be set based on the luminance difference ⁇ P and the spatial distribution of luminance determined according to the type of unevenness detected.
  • the uneven viewing area is an example of an area based on the boundary.
  • FIG. 20 is a diagram for explaining a method of calculating the luminance difference according to the present modification.
  • the generation unit 23 may calculate the brightness difference ⁇ P based on the difference from the brightness intensity in the adjacent area.
  • a person has a characteristic that unevenness is easily recognized when the brightness difference between the brightness reference line (for example, the reference line having a P value of 128) and the brightness profile is large, not the brightness difference between adjacent areas. Therefore, the generation unit 23 considers the characteristics of such a person and calculates, for example, the luminance difference ⁇ P in the adjacent areas (for example, the adjacent distance ⁇ y).
  • the generation unit 23 calculates the brightness difference ⁇ Pi at the i-th distance ⁇ y by, for example, the following equation 1.
  • ⁇ Pi MAX (
  • the luminance difference [Delta] P i with respect to the distance ⁇ y except 0 th and n-th is calculated by the equation 1.
  • the generation unit 23 determines the absolute value of the difference between the intensity of the brightness at the i-th distance ⁇ y and the intensity of the brightness at the i-1th distance ⁇ y, and the intensity of the brightness at the i-th distance ⁇ y. , I + 1
  • the absolute value of the difference from the intensity of the brightness of the third distance ⁇ y, whichever is larger, is calculated as the brightness difference ⁇ P i of the i-th distance ⁇ y.
  • the generation unit 23 similarly calculates, for example, the luminance difference ⁇ P i + 1 at the i + 1th distance ⁇ y.
  • the generation unit 23 has, for example, the absolute value of the difference between the intensity of the brightness of the i + 1th distance ⁇ y and the intensity of the brightness of the i-th distance ⁇ y, the intensity of the brightness of the i + 1th distance ⁇ y, and the i + 2nd.
  • the larger of the absolute value of the difference between the intensity of the brightness of the distance ⁇ y and the intensity of the brightness of the distance ⁇ y is calculated as the brightness difference ⁇ P i + 1 of the i + 1th distance ⁇ y.
  • the generation unit 23 sets the points where the luminance reference line and the luminance profile intersect as the first intersection, the second intersection, and the third intersection, and the luminance profile between the first intersection and the second intersection has the luminance.
  • the intensity is the first intensity and the intensity of the luminance of the luminance profile between the second intersection and the third intersection is the second intensity
  • the luminance intensity is the first intensity and the second intensity. It is the intensity based on the difference of.
  • the generation unit 23 calculates the 0th luminance difference ⁇ P0 and the nth luminance difference ⁇ P n by, for example, the following equations 3 and 4.
  • the generation unit 23 calculates the absolute value of the difference between the brightness intensity of the first distance ⁇ y and the brightness intensity of the 0th distance ⁇ y as the brightness difference ⁇ P0 of the 0th distance ⁇ y according to the equation 3. Further, the generation unit 23 sets the absolute value of the difference between the brightness intensity of the nth distance ⁇ y and the brightness intensity of the n-1th distance ⁇ y as the brightness difference ⁇ Pn of the nth distance ⁇ y according to the equation 4. Calculate as.
  • the luminance difference ⁇ P can be made larger than when the luminance difference ⁇ P is calculated using the luminance reference, so that, for example, slight unevenness can be detected.
  • the above equations 1 to 4 are examples, and the method of calculating the luminance difference ⁇ P of the generation unit 23 is not limited to the method using the above equations 1 to 4 as long as the luminance difference in the adjacent area is used. ..
  • the camera and the unevenness determination device have been described as separate devices, but they may be realized as an integrated device.
  • the surface to be inspected is a painted surface
  • the surface may be, for example, a coated surface coated with a resin or the like, a plated surface coated with a metal or the like, or the surface of any other object.
  • the image shown in FIG. 4 may be rotated by a predetermined angle with the direction orthogonal to the image (the front and back directions of the paper surface) as the rotation axis.
  • the predetermined angle is not particularly limited, and is, for example, 0 degree or more and 180 degrees or less.
  • the predetermined angle may be, for example, 45 degrees, 90 degrees, or the like.
  • the intensity of the brightness on the A1-A2 line along the vertical direction of the paper surface may be acquired for the rotated image, and the brightness profile and the uneven profile may be generated based on the acquired intensity of the brightness.
  • the unevenness determination device generates a plurality of unevenness profiles in step S13 by rotating the image at a plurality of angles, and in step S14, the plurality of unevenness profiles of the plurality of unevenness profiles are generated.
  • the number of irregularities may be calculated for each. This makes it possible to detect unevenness extending in various directions.
  • the determination unit in the above embodiment may further determine the type of unevenness.
  • the determination unit may acquire the output obtained by inputting the unevenness profile generated in step S13 into the trained model that outputs the unevenness type by inputting the unevenness profile as the unevenness type.
  • the trained model is a machine learning model that clusters the types of unevenness by inputting the unevenness profile.
  • the machine learning model is, for example, a machine learning model using a neural network such as Deep Learning (deep learning), but may be a machine learning model using, for example, Random Forest, Genetic Programming, or the like.
  • the machine learning model is trained in advance using a training data set in which the unevenness profile is used as input data and the type of unevenness is used as correct answer information. Correct answer information is also called annotation information.
  • the order of the plurality of processes described in the above-described embodiment and the like is an example.
  • the order of the plurality of processes may be changed, and the plurality of processes may be executed in parallel. Further, a part of the plurality of processes may not be executed.
  • the division of the functional block in the block diagram is an example, and a plurality of functional blocks are realized as one functional block, one functional block is divided into a plurality of ones, and some functions are transferred to other functional blocks. You may.
  • the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.
  • the unevenness determination device may be realized as a single device or may be realized by a plurality of devices.
  • the components included in the unevenness determination device may be distributed to the plurality of devices in any way.
  • the communication method between the plurality of devices may be wired communication or wireless communication.
  • the communication standard used for communication is not particularly limited.
  • each component described in the above-described embodiment or the like may be realized as software, or may be typically realized as an LSI which is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them. Although it is referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration. Further, the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection or setting of the circuit cells inside the LSI may be used.
  • an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology or another technology derived from it, the components may be integrated using that technology.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of processing units on one chip, and specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. It is a computer system composed of. A computer program is stored in the ROM. The system LSI achieves its function by operating the microprocessor according to the computer program.
  • one aspect of the present disclosure may be a computer program that causes a computer to execute each characteristic step (S11 to S16 and S21 to S24) included in the unevenness determination method shown in FIG. 3 or FIG. ..
  • the technique of the present disclosure may be the above-mentioned program, or may be a non-temporary computer-readable recording medium on which the above-mentioned program is recorded.
  • the above program can be distributed via a transmission medium such as the Internet.
  • the above program and a digital signal composed of the above programs may be transmitted via a telecommunication line, a wireless or wired communication line, a network typified by the Internet, data broadcasting, or the like.
  • the program and the digital signal composed of the programs may be executed by another independent computer system by being recorded on a recording medium and transferred, or by being transferred via a network or the like. ..
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • This disclosure can be used as a device for evaluating the surface condition of an object.

Abstract

表面状態の評価方法は、対象物を撮像した画像から、画像における位置ごとの輝度の強度を示す輝度プロファイルを取得するステップ（Ｓ１２）と、輝度の強度と輝度の空間分布とに基づいて定まる境界に基づいて、輝度プロファイルに含まれるムラの個数を算出するステップ（Ｓ１４）と、を含む。

Description

表面状態の評価方法、表面状態の評価装置、及び、プログラム
　本開示は、表面状態の評価方法、表面状態の評価装置、及び、プログラムに関する。
　従来、検査対象となる対象物を撮像した画像を用いて、対象物の表面状態を評価する装置が知られている。例えば、特許文献１には、対象物の塗装面における塗装ムラを評価（検査）する装置が開示されている。特許文献１では、画像の輝度プロファイルを近似した基準プロファイルと輝度プロファイルとで囲まれる領域の面積を用いて、塗装ムラを評価する。例えば、面積が閾値よりも大きい場合に塗装ムラが大きいと判定される。
特開２０１９－１２０６０５号公報
　しかしながら、特許文献１の技術では、対象物の表面状態を精度よく評価できない場合がある。
　そこで、本開示では、対象物の表面状態を精度よく評価することができる表面状態の評価方法、表面状態の評価装置及びプログラムを提供する。
　本開示の一態様に係る表面状態の評価方法は、対象物を撮像した画像から、前記画像における位置ごとの輝度の強度を示す輝度プロファイルを取得するステップと、前記輝度の強度と前記輝度の空間分布とに基づいて定まる境界に基づいて、前記輝度プロファイルに含まれるムラの個数を算出するステップと、を含む。
　本開示の一態様に係る表面状態の評価装置は、対象物の画像から前記画像における位置ごとの輝度の強度を示す輝度プロファイルを取得する取得部と、輝度の強度と前記輝度の空間分布とに基づいて定まる境界に基づいて、前記輝度プロファイルに含まれるムラの個数を算出する算出部とを備える。
　本開示の一態様に係るプログラムは、上記の表面状態の評価方法をコンピュータに実行させるためのプログラムである。
　本開示の一態様に係る表面状態の評価方法等によれば、対象物の表面状態を精度よく評価することができる。
図１は、実施の形態に係るムラ判定システムの構成を示す概略図である。 図２は、実施の形態に係るムラ判定装置の機能構成を示すブロック図である。 図３は、実施の形態に係るムラ判定システムの動作を示すフローチャートである。 図４は、実施の形態に係るカメラから取得された画像データを示す画像である。 図５は、実施の形態に係る輝度プロファイルを示す図である。 図６は、図５に示す輝度プロファイルにおけるトレンド成分を示す図である。 図７は、実施の形態に係るトレンド除去後の画像である。 図８は、トレンド除去後の輝度プロファイルの一例を示す図である。 図９は、実施の形態に係るムラプロファイルの一例を示す図である。 図１０は、実施の形態に係るムラありの場合の輝度プロファイル及びムラプロファイルの一例を示す図である。 図１１は、実施の形態に係るムラなしの場合の輝度プロファイル及びムラプロファイルの一例を示す図である。 図１２は、実施の形態に係るムラ指標のヒストグラムを示す図である。 図１３は、実施の形態に係るトレンド除去後の輝度プロファイルの他の一例を示す図である。 図１４は、ムラなしの場合のムラプロファイル及びムラ指標の一例を示す図である。 図１５は、ムラありの場合のムラプロファイル及びムラ指標の一例を示す図である。 図１６は、実施の形態の変形例１に係るにムラ判定システムの動作を示すフローチャートである。 図１７は、実施の形態の変形例１に係るデジタル標準見本の生成を説明するための図である。 図１８は、実施の形態の変形例２に係るムラプロファイルの一例を示す図である。 図１９は、実施の形態の変形例２に係るムラプロファイルの他の一例を示す図である。 図２０は、実施の形態の変形例３に係る輝度差の算出方法を説明するための図である。
　（本開示の概要）
　本開示の一態様に係る表面状態の評価方法は、対象物を撮像した画像から、前記画像における位置ごとの輝度の強度を示す輝度プロファイルを取得するステップと、前記輝度の強度と前記輝度の空間分布とに基づいて定まる境界に基づいて、前記輝度プロファイルに含まれるムラの個数を算出するステップと、を含む。
　例えば、特許文献１では、閾値としてスカラー量（一定値）を用いて判定している。スカラー量を用いているので、例えば、ノイズ等をムラとして検出することが起こり得る。
　一方、本開示の一態様によれば、輝度の強度と輝度の空間分布とに基づいて定まる境界を用いて、ムラの個数を算出する。言い換えると、本開示の一態様では、スカラー量をムラの個数の算出に対する閾値として用いない。これにより、例えば、境界がノイズ等を含まないように設けられることで、ノイズ等をムラとして検出されることを抑制することができる。つまり、ムラの個数を精度よく算出することができる。よって、本開示の一態様に係る表面状態の評価方等によれば、算出されたムラの個数を用いて表面状態の判定が行われることで、対象物の表面状態を精度よく評価することができる。
　また、例えば、前記輝度プロファイルに基づいて、前記輝度の基準と前記輝度プロファイルとが交差する複数の交点間の距離と、前記交点間のそれぞれの前記輝度の基準からの乖離度合いとを抽出し、抽出された複数の前記距離及び前記乖離度合いをプロットすることでムラプロファイルを生成するステップを含み、前記算出するステップでは、前記ムラプロファイルと前記境界とに基づいて、前記ムラの個数を算出してもよい。
　これにより、輝度の距離と輝度の乖離度合いとをプロットしたムラプロファイルを用いて、ムラの個数を算出することができる。人は、輝度の距離及び輝度の乖離度合いがある範囲であるときにムラを視認する特性を有する。そのため、ムラプロファイルを用いることで、人により視認され得るムラの個数を算出することが可能となる。よって、人がムラと視認するようなムラを、精度よく検出することができる。例えば、ムラの評価結果と、人により視認されるムラの程度とをより一致させることができる。
　また、例えば、前記境界は、前記交点間の前記乖離度合いと前記距離とに基づいて定められてもよい。
　これにより、交点間の乖離度合い及び距離に基づく境界を用いることで、人がムラと視認するようなムラを、より精度よく検出することができる。
　また、例えば、前記距離は、前記輝度の基準と前記輝度プロファイルとの交点を第１交点及び第２交点とした場合、前記第１交点と前記第２交点との間の隣接距離であり、前記境界は、前記輝度の強度と前記隣接距離とに基づいて定められてもよい。
　これにより、隣接距離に基づいた境界により、ムラの個数を算出することができる。
　また、例えば、前記乖離度合いは、前記第１交点と前記第２交点との間における前記輝度プロファイルが有する前記輝度の強度の前記輝度の基準との差分であってもよい。
　これにより、隣接距離の間の輝度の差分を用いて、ムラの個数を算出することができる。
　また、例えば、前記ムラの個数を横軸とするヒストグラムの頻度最大範囲に属する２以上のムラプロファイルに基づいて、前記境界を更新するステップをさらに含んでもよい。
　これにより、更新された境界が用いられることで、より精度よくムラの個数を算出し得る。
　また、例えば、前記更新するステップでは、前記２以上のムラプロファイルに含まれる前記距離及び前記乖離度合いのそれぞれをプロットすることで標準見本を生成し、生成された前記標準見本においてプロットされていない領域に基づいて、前記境界を更新してもよい。
　これにより、対象物における標準的な良品のムラパターンを示す基準見本を用いて、境界を更新することができる。つまり、良品のムラが、ムラの個数に算出されることを抑制することができる。よって、さらに精度よくムラの個数を算出し得る。なお、良品のムラとは、例えば、人に視認されにくいムラ、良品にあって然るべき模様及び意匠等の少なくとも１つを含む。
　また、例えば、前記ムラの個数に基づいて前記対象物の前記表面状態に対する良否判定またはランク選別を行うステップを更に含んでもよい。
　これにより、判定に用いられるムラの個数が精度よく算出されているので、ムラの判定を精度よく行うことができる。また、輝度プロファイルの取得からからムラの判定までを一貫して行うことができる。
　また、例えば、前記良否判定または前記ランク選別を行うステップは、前記ムラの個数を横軸とするヒストグラムに対して設定された閾値に基づいて、前記対象物に対する前記良否判定また前記ランク選別を行ってもよい。
　これにより、ムラの個数の分布状況を用いて、表面状態を判定することができる。
　また、例えば、前記算出するステップでは、前記境界に基づく領域から所定の領域を除外した領域に基づいて、前記ムラの個数を算出してもよい。
　これにより、例えば、予め輝度プロファイル等に含まれるノイズがわかっている場合、当該ノイズをムラとして検出しムラの個数が算出されないように所定の領域が決定されることで、ムラの個数にノイズが含まれることを抑制することができる。よって、ムラの個数をさらに精度よく算出することができる。
　また、例えば、前記境界は、前記強度と、検出されるムラの種類に応じて決定される前記輝度の前記空間分布とに基づいて定められてもよい。
　これにより、検出したいムラを効果的に検出することができる。
　また、例えば、前記算出するステップでは、前記ムラプロファイルにおける前記乖離度合いに応じて前記ムラの個数を重み付けしてもよい。
　これにより、例えば、乖離度合いが大きいほど大きい重み付けがなされることで、人が視認しやすいムラがある場合に、算出されるムラの個数を多くすることができる。つまり、人が視認しやすいムラがある場合に、ムラの個数をより多い値として算出することができる。よって、人が視認しやすいムラをより検出しやすくなる。
　また、例えば、前記輝度の基準線と前記輝度プロファイルとが交差する点を第１交点、第２交点及び第３交点とし、前記第１交点と前記第２交点との間における前記輝度プロファイルが有する前記輝度の強度を第１強度、前記第２交点と前記第３交点との間における前記輝度プロファイルが有する前記輝度の強度を第２強度としたとき、前記輝度の強度は、前記第１強度と前記第２強度との差分に基づく強度であってもよい。
　これにより、輝度差が小さいムラを、ムラとして検出しやすくなる。
　また、例えば、前記輝度プロファイルは、前記画像から少なくとも輝度傾斜成分を取り除いたものであり、前記輝度の基準は、前記輝度傾斜成分が取り除かれた前記輝度プロファイルにおいて所定値に定められてもよい。
　これにより、輝度傾斜成分の影響を受けずに、ムラの個数を算出することができる。よって、より精度よくムラの個数を算出することができる。
　また、例えば、前記画像は、前記対象物の塗装面を撮像した画像であってもよい。
　これにより、塗装面の表面状態を精度よく判定することができる。
　また、本開示の一態様に係る表面状態の評価装置は、対象物の画像から前記画像における位置ごとの輝度の強度を示す輝度プロファイルを取得する取得部と、輝度の強度と前記輝度の空間分布とに基づいて定まる境界に基づいて、前記輝度プロファイルに含まれるムラの個数を算出する算出部とを備える。また、本開示の一態様に係るプログラムは、上記の表面状態の評価方法をコンピュータに実行させるためのプログラムである。
　これにより、上記の表面状態の評価方法と同様の効果を奏する。
　なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
　以下では、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略または簡略化する。
　また、本明細書において、同一などの要素間の関係性を示す用語、及び、下に凸状、矩形状などの要素の形状を示す用語、並びに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度（例えば、５％程度）の差異をも含むことを意味する表現である。
　（実施の形態）
　［１．ムラ判定システムの構成］
　まず、実施の形態に係るムラ判定システムの構成について、図１及び図２を参照しながら説明する。図１は、本実施の形態に係るムラ判定システム１の構成を示す概略図である。ムラ判定システム１は、検査対象の対象物（被検査対象物の一例）の表面状態を評価するための情報処理システムである。本実施の形態では、ムラ判定システム１は、対象物の一例である自動車３０の表面状態を評価する。また、本実施の形態では、ムラ判定システム１は、マクロなムラを定量化することで、対象物が良品であるか否かを判定する。対象物の表面状態が良品であるか否かを判定することは、対象物の表面状態を評価することの一例である。また、マクロなムラは、表面状態の一例である。
　図１に示すように、ムラ判定システム１は、カメラ１０と、ムラ判定装置２０とを備える。また、図示しないが、ムラ判定システム１は、対象物に光を照射するための光源を備えていてもよい。自動車３０は、ムラ判定システム１がムラを評価する対象物の一例である。なお、対象物は、自動車３０に限定されず、いかなる物体であってもよい。
　カメラ１０は、自動車３０の表面を撮像する。カメラ１０は、例えば、光源から照射され自動車３０で反射された光を受光する。カメラ１０は、例えば、広範囲に分布するマクロなムラを評価するために、所定の範囲以上の自動車３０の表面を撮像可能に設けられる。マクロなムラとは、例えば、人が目視で視認可能なムラである。
　カメラ１０は、モノクロカメラであってもよいし、カラーカメラであってもよい。カメラ１０は、例えば、可視光カメラであってもよい。
　ムラ判定装置２０は、カメラ１０が撮像した画像に基づいて、自動車３０の表面状態を判定する。ムラ判定装置２０は、例えば、画像に存在する明暗（濃淡）について、明暗の強度（例えば、輝度の強度）と明暗の幅とを求めプロットしたムラプロファイルに基づいて、自動車３０の表面状態を判定する。
　なお、ムラ判定装置２０とカメラ１０との通信方法は、特に限定されず、有線通信であってもよいし、無線通信であってもよい。また、ムラ判定装置２０と、カメラ１０との通信に用いられる通信規格は、特に限定されない。なお、ムラ判定装置２０は、表面状態の評価装置の一例である。
　図２は、本実施の形態に係るムラ判定装置２０の機能構成を示すブロック図である。
　図２に示すように、ムラ判定装置２０は、取得部２１と、除去部２２と、生成部２３と、算出部２４と、判定部２５と、出力部２６とを有する。
　取得部２１は、カメラ１０から画像データを取得する。取得部２１は、例えば、カメラ１０と通信するための通信インターフェースを含んで構成される。
　除去部２２は、画像データから所定の成分を除去する。除去部２２は、ムラ判定を行う前の前処理部である。所定の成分は、例えば、トレンド成分、ノイズ成分等である。トレンド成分は、自動車３０の形状、光源から自動車３０への光の当たり方等により生じる輝度傾斜である。例えば、輝度傾斜は、手前側（カメラ１０に近い側）が明るい傾斜となり得る。除去部２２は、マクロなムラとしては生じない程度の低周波成分を、トレンド成分として除去する。この場合、除去部２２は、ハイパスフィルタを含んで構成される。また、ノイズ成分は、例えば、画像処理、または、表面の点状欠陥等により生じる高周波成分である。除去部２２は、マクロなムラとしては生じない程度の高周波成分を、ノイズ成分として除去する。この場合、除去部２２は、ローパスフィルタを含んで構成される。
　生成部２３は、トレンド除去後の画像に存在する明暗（濃淡）について、明暗の強度（例えば、輝度差）と明暗の幅とを求めプロットしたムラプロファイル（例えば、図９を参照）を生成する。ムラプロファイルの生成については、後述する。なお、明暗の幅は、後述する輝度の距離のことであり、輝度の空間分布の一例である。空間分布は、例えば、輝度の基準と輝度プロファイル（例えば、図８の（ａ）を参照）との交点（例えば、隣り合う交点）を第１交点及び第２交点とした場合、第１交点と第２交点との間の距離（例えば、図８の（ｂ）に示す距離Δｙ）であってもよい。また、輝度差は、隣り合う交点（例えば、第１交点と第２交点）の間における輝度プロファイルが有する輝度の強度の輝度の基準との差分（例えば、図８の（ｂ）に示す輝度差ΔＰ）であってもよい。輝度の基準は、例えば、トレンド成分が取り除かれた輝度プロファイルにおいて所定値に定められる。
　算出部２４は、ムラプロファイルに基づいて、ムラの程度を示すムラ指標を算出する。算出部２４は、予め設定されたムラプロファイル上でのムラ視認エリアと、ムラプロファイルとに基づいて、ムラ指標を算出する。算出部２４は、例えば、ムラプロファイル内においてプロットされた点のうち、ムラ視認エリアに含まれる点の数をカウントし、カウントした点の数をムラ指標として算出する。算出部２４は、輝度プロファイルに含まれるムラの個数を算出するとも言える。ムラの個数とは、例えば、ムラがある領域の個数であってもよい。
　なお、ムラ視認エリアは、例えば、ムラプロファイル上において、人がムラとして視認可能な領域である。ムラ視認エリアは、人がムラとして視認可能な明暗の強度及び明暗の幅をムラプロファイル上で定めたものであるとも言える。また、ムラ視認エリアは、輝度の強度と輝度の幅とに基づいて定まる境界を示すとも言える。ムラ視認エリアは、例えば、関数等により決定されるエリアであってもよい。なお、ムラ視認エリアは、評価対象となる対象物の種類、カメラ１０による撮像条件に応じて変化し得る。よって、ムラ視認エリアは、対象物、撮像条件ごとに設けられるとよい。撮像条件は、例えば、光源と対象物との距離、光源の明るさ、光の照射方向等のいずれかを含む。なお、ムラ視認エリアは、事前の評価または予測により予め取得されている。
　判定部２５は、算出部２４が算出したムラ指標（例えば、ムラの個数）に基づいて、自動車３０の表面状態に対する判定を行う。判定部２５は、例えば、表面状態の良否判定またはランク選別を行う。
　出力部２６は、判定部２５の判定結果を出力する。出力部２６は、例えば、通信により判定結果を外部の装置に出力する。なお、出力部２６は、提示装置を有しており、画像、音声等により判定結果をユーザに出力（提示）してもよい。
　［２．ムラ判定システムの動作］
　上記のように構成されたムラ判定システム１の動作について、図３～図１５を参照しながら説明する。図３は、本実施の形態に係るムラ判定システム１の動作を示すフローチャートである。具体的には、図３は、ムラ判定装置２０の動作（表面状態の評価方法）を示す。図４は、本実施の形態に係るカメラ１０から取得された画像である。図４では、Ａ１からＡ２に向かうにつれ輝度が高くなる場合の画像を示す。また、図４に示す画像は、トレンド成分を含む画像である。
　図３に示すように、取得部２１は、カメラ１０から自動車３０を撮像した画像データを取得する（Ｓ１１）。取得部２１は、例えば、図４の画像を示す画像データを取得する。図４に示す画像は、自動車３０の表面を撮像した画像である。画像は、例えば、自動車３０の側面、前面、後面、上面、または、それらの一部等を撮像した画像である。また、画像は、自動車３０の塗装面を撮像した画像であってもよい。取得部２１は、画像データを除去部２２に出力する。
　次に、除去部２２は、画像データに対してトレンド除去を行う（Ｓ１２）。除去部２２は、画像データからトレンド成分を除去する。除去部２２は、例えば、図４に示すＡ１－Ａ２線における位置ごとの輝度を示す輝度プロファイルを生成し、生成した輝度プロファイルごとに上記のトレンド成分の除去を行う。除去部２２は、例えば、輝度プロファイルに対して高速フーリエ変換を行うことで得られる周波数スペクトルからローパスフィルタによりトレンド成分を取り除く。
　図５は、本実施の形態に係る輝度プロファイルを示す図である。図５は、図４に示す画像のＡ１－Ａ２線におけるＰ値（画素値）を示す。Ｐ値は、輝度の強度の一例である。図６は、図５に示す輝度プロファイルにおけるトレンド成分を示す図である。図６は、図４に示す画像のＡ１－Ａ２線におけるトレンド成分を示す。図５及び図６の縦軸は、Ｐ値（輝度）を示しており、横軸は、画素位置ｙ（ｐｉｘｅｌ）を示す。
　除去部２２は、例えば、図５に示す輝度プロファイルから図６に示すトレンド成分をローパスフィルタ処理により除去する。なお、トレンド成分を除去する方法は、ローパスフィルタ処理に限定されず、既知のいかなる方法が用いられてもよい。
　図７は、本実施の形態に係るトレンド除去後の画像である。図８は、トレンド除去後の輝度プロファイルの一例を示す図である。図８は、図７に示す画像のＡ１－Ａ２線におけるＰ値（輝度）を示す。図８の（ｂ）は、図８の（ａ）の破線領域の拡大図である。図７は、図４からトレンド成分を除去した画像であり、図８は、図５からトレンド成分が除去された輝度プロファイルを示す。
　図７に示すように、トレンド除去後の画像は、Ａ１－Ａ２線の方向（縦方向）に沿って明暗を繰り返すような画像である。
　除去部２２は、例えば、自動車３０を撮像した画像から、図８の（ａ）に示すトレンド成分が除去された輝度プロファイルを生成する。当該輝度プロファイルは、画像における位置ごとの輝度の強度を示す。ステップＳ１２で取得される輝度プロファイルは、画像から少なくとも輝度傾斜成分（トレンド成分）を取り除いたものであってもよい。
　なお、除去部２２は、画像データからトレンド成分を除去することに限定されない。除去部２２は、例えば、図４に示す輝度プロファイルを画像における画素位置ｙごとの輝度の強度を示す輝度プロファイルとして取得してもよい。ステップＳ１２は取得するステップの一例である。
　除去部２２は、取得した（例えば、生成した）輝度プロファイルを生成部２３に出力する。除去部２２は、輝度プロファイルを取得する取得部として機能する。
　図３を再び参照して、次に、生成部２３は、輝度プロファイルに基づいて、ムラプロファイルを生成する（Ｓ１３）。生成部２３は、輝度プロファイルに基づいて、輝度の基準と輝度プロファイルとが交差する複数の交点間の距離と、交点間のそれぞれの輝度の基準からの乖離度合いとを抽出し、抽出された複数の距離及び乖離度合いをプロットすることでムラプロファイルを生成する。
　生成部２３は、まず輝度プロファイルから、交点間の距離と、当該距離に対応する輝度の強度とを抽出する。生成部２３は、例えば、図８の（ｂ）の縦軸に示すＰ値＝１２８を輝度の基準とする。輝度の基準は、例えば、最大階調及び最小階調の中央値の階調であってもよいし、ユーザにより任意に設定されてもよい。図８の（ｂ）では、輝度の基準が輝度の基準線（Ｐ値が１２８を通り、横軸に平行な線）である例を示しているが、これに限定されない。以下では、輝度の基準が輝度の基準線である例について説明する。
　生成部２３は、基準線と輝度プロファイルとの隣り合う交点に基づいて、交点間の距離Δｙを算出する。生成部２３は、例えば、隣り合う交点のそれぞれに対して、交点間の距離Δｙを算出する。また、生成部２３は、距離Δｙのそれぞれに対して、基準線と輝度プロファイルとの輝度差ΔＰを算出する。輝度差ΔＰは、例えば、基準線と輝度プロファイルとの輝度差の絶対値として算出される。輝度差ΔＰは、輝度の強度の一例である。輝度差ΔＰは、距離Δｙに対応する輝度の強度に対する輝度の基準線からの乖離度合いを示すとも言える。また、距離Δｙは、ムラの幅を示す。なお、距離Δｙは、画像上での距離であり、例えば、画素数等により示される。
　なお、輝度の強度は、差分により算出されることに限定されず、距離Δｙにおける、基準線のＰ値と輝度プロファイルのＰ値との比であってもよい。
　生成部２３は、図８の（ｂ）における距離Δｙのそれぞれに対して、輝度差ΔＰを算出する。生成部２３は、距離Δｙと輝度差ΔＰとの組を複数抽出するとも言える。生成部２３は、例えば、図８の（ｂ）に示す輝度プロファイルの凹凸のそれぞれに対して、距離Δｙと輝度差ΔＰとの組を抽出する。
　そして、生成部２３は、抽出された複数の距離Δｙ及び輝度差ΔＰのそれぞれを、縦軸を輝度差ΔＰ、横軸を距離Δｙ（Δｙ／ｐｉｘｅｌ）とする座標系にプロットすることで、ムラプロファイルを生成する。図９は、本実施の形態に係るムラプロファイルの一例を示す図である。図９は、縦軸が輝度差ΔＰを示し、横軸が距離Δｙ（ｐｉｘｅｌ）を示す。
　図９に示すように、生成部２３は、複数の距離Δｙ及び輝度差ΔＰの組を示す黒い点が複数プロットされたムラプロファイルを生成する。図９に示すムラプロファイルは、例えば、図７に示すトレンド除去後の画像において、Ａ１－Ａ２線を当該画像の左右方向の一端から他端に渡って移動させたときそれぞれにおいて取得される、複数の距離Δｙ及び輝度差ΔＰの組をプロットした結果を示す。生成部２３は、生成したムラプロファイルを算出部２４に出力する。
　図３を再び参照して、算出部２４は、ムラプロファイルに基づいて、ムラ指標を算出する（Ｓ１４）。本実施の形態では、算出部２４は、輝度の強度と輝度の空間分布とに基づいて定まる境界に基づいて、輝度プロファイルに含まれるムラの個数を算出する。例えば、算出部２４は、ムラプロファイルと境界とに基づいて、ムラの個数を算出する。ムラの個数は、ムラ指標の一例である。算出部２４は、ムラプロファイルと、ムラ視認エリアとに基づいて、輝度プロファイルに含まれるムラの個数を算出するとも言える。
　算出部２４は、図９にプロットされている複数の点のうち、ムラ視認エリア内の点の数をカウントすることで、ムラの個数を算出する。なお、ムラ視認エリア外の点は、輝度の明暗はあるものの人にはムラと認識されないムラを示す。ムラ視認エリアの形状は、例えば、下に凸状であるがこれに限定されない。
　また、図９に示すように、境界は、スカラー値ではない。境界は、明暗がムラとして人に視認されるか否かの境目を示す。境界は、例えば、交点間の輝度差ΔＰ及び距離Δｙに基づいて定められる。境界によりムラ視認エリアの範囲が決定される。
　このような境界が設けられる、つまりムラ視認エリアが設けられることで、ムラプロファイル上にプロットされているノイズがムラとしてカウントされることを抑制することができる。つまり、本実施の形態に係るムラ判定装置２０は、画像データにノイズが含まれていても正確にムラ指標を算出することができる、ノイズに強い装置となり得る。
　また、算出部２４は、ステップＳ１４においてムラ視認エリア内のムラの個数（プロット数）をカウントする場合、所定の重みを付けてカウントしてもよい。算出部２４は、例えば、ムラプロファイルにおける輝度差ΔＰ（例えば、乖離度合い）に応じてムラの個数を重み付けしてもよい。例えば、算出部２４は、ムラ視認エリア内における輝度差ΔＰが所定値以上である領域に存在する１つの点に対する重みを、当該ムラ視認エリア内における輝度差ΔＰが所定値未満である領域に存在する１つの点に対する重みより大きくしてもよい。
　これにより、ムラ視認エリア内のムラの個数（点の個数）は同じであっても、輝度差ΔＰが大きい領域に多くの点が存在するムラプロファイルのムラ指標を、輝度差ΔＰが小さい領域に多くの点が存在するムラプロファイルのムラ指標により大きくすることができる。これにより、算出部２４は、例えば、ムラ指標と、人が感じるムラの程度とがより一致するように、ムラ指標を算出することができる。算出部２４は、算出したムラ指標を判定部２５に出力する。
　ここで、ムラ視認エリアを用いるメリットについて、図１０及び図１１を参照しながら説明する。図１０は、本実施の形態に係るムラありの場合の輝度プロファイル及びムラプロファイルの一例を示す図である。具体的には、図１０の（ａ）は、ムラがある場合のトレンド除去後の画像の画素値（Ｐ値）分布（輝度プロファイル）を示しており、図１０の（ｂ）は、ムラがある場合のムラプロファイルを示している。また、図１１は、本実施の形態に係るムラなしの場合の輝度プロファイル及びムラプロファイルの一例を示す図である。具体的には、図１１の（ａ）は、ムラがない場合の輝度プロファイルを示しており、図１１の（ｂ）は、ムラがない場合のムラプロファイルを示している。
　図１０の（ａ）では、互いに異なる位置に視認可能なムラが３個ある例を示している。この３個のムラの幅及び強度をプロットすると、図１０の（ｂ）に示すように３個のムラ（３個の点）は、ムラ視認エリア内にプロットされる。算出部２４は、ムラ視認エリア内のプロット数をムラ指標としてカウントする。つまり、プロット数がムラ指標に対応し、図１０の（ｂ）の場合、ムラ指標は、３個である。
　図１１の（ａ）では、互いに異なる位置に視認不可なムラが５個ある例を示している。左側３つのムラは、強度は高いがムラの幅が狭く、人に視認されにくいムラである。また、右側２つのムラは、ムラの幅は広いが強度が小さく、人に視認されにくいムラである。この５個のムラの幅及び強度をプロットすると、図１１の（ｂ）に示すように５個のムラ（５個の点）は、ムラ視認エリア外にプロットされる。算出部２４は、ムラがムラ視認エリア外であるので、プロット数をカウントしない。つまり、図１１の（ｂ）の場合、ムラ指標は０個である。
　図１０の（ａ）及び図１１の（ａ）に示すように、人は、ある程度のムラの幅と、ある程度のムラの強度とがあるときに、ムラを視認しやすい傾向がある。言い換えると、人は、ムラの幅が大きくてもムラの強度が小さいと、ムラを認識しにくい傾向がある。
　このような人の特性があるので、例えば、特許文献１のように、スカラー量を用いて面積でムラの程度を判定すると、例えば、人にはムラと認識されないムラを、ムラとして判定することが起こり得る。また、輝度プロファイルに含まれるノイズ成分をムラとしてカウントすることが起こり得る。
　一方、本実施の形態に係るムラ判定装置２０では、上記のようにムラ視認エリアを用いることで、人が視認するムラを重点的にカウントすることができ、かつ、ノイズがカウントされることを抑制することができる。
　図３を再び参照して、判定部２５は、ムラ指標に基づいて自動車３０の表面状態に対する良否判定を行う（Ｓ１５）。なお、判定部２５は、ステップＳ１５において、良否判定に替えてまたは良否判定とともに、ムラのランク選別を行ってもよい。判定部２５は、例えば、良否判定またはランク選別を行う場合、ムラ指標（例えば、ムラの個数）を横軸とし、縦軸を頻度とするヒストグラムに対して設定された閾値に基づいて、自動車３０の表面状態に対する良否判定またランク選別を行ってもよい。
　図１２は、本実施の形態に係るムラ指標のヒストグラムを示す図である。図１２に示すヒストグラムは、縦軸を頻度とするムラ指標ヒストグラムであり、実線は、縦軸を不良確率とする折れ線グラフである。また、図１２では、ランク選別を行う例を示している。なお、ムラ指標と不良確率との関係は、予め取得されているものとする。つまり、ランクＡ～ランクＤを判定するための閾値は、予め取得されている。なお、ムラ指標の閾値は、ランクごとの境界のムラ指標の値を意味する。ランクＡは、例えば良品であり、ランクＢ及びＣは、例えば再検査品であり、ランクＤは、例えば不良品であってもよい。
　図１２に示すように、判定部２５は、ムラ指標とムラ指標の閾値とに基づいて、ランク選別を行う。判定部２５は、例えば、ランクＡ～ランクＤのそれぞれの範囲に含まれるムラ指標の合計値（合計のムラ数）に基づいて、自動車３０のランク選別を行ってもよい。なお、設定されるランクの数は特に限定されず、２以上であればよい。判定部２５は、判定結果を出力部２６に出力する。また、判定部２５は、ムラ指標のヒストグラム及び判定結果の少なくとも一方を、ムラ判定装置２０が有する記憶部（図示しない）に記憶してもよい。
　また、図１２に示すように、本実施の形態では、画像における明暗をムラ指標として定量化することができるので、ムラ指標と良品またはランクとの相関を明確にすることができる。これにより、ムラ判定装置２０の汎用性を向上させることができる。
　なお、図１２のヒストグラムにおける最も頻度が高いムラ指標の範囲を、頻度最大範囲とする。
　図３を再び参照して、次に、出力部２６は、判定結果を出力する（Ｓ１６）。例えば、出力部２６は、判定結果を表示装置を介して表示させてもよい。
　なお、上記では、輝度プロファイルが矩形状である例について説明したが、これに限定されず、例えば、曲線状であってもよい。図１３は、本実施の形態に係るトレンド除去後の輝度プロファイルの他の一例を示す図である。図１３の（ａ）は、トレンド除去後の輝度プロファイルであり、ノイズ領域が含まれる輝度プロファイルを示す。例えば、図１３の（ａ）は、除去部２２により所定の成分が除去されていない輝度プロファイルである。図１３の（ｂ）は、図１３の（ａ）の一部を拡大して示す輝度プロファイルである。図１３の（ｂ）では、輝度の基準の強度（画素値）が１２８である例について示している。
　図１３の（ａ）及び（ｂ）に示すように、現実に取得され得る輝度プロファイルは、曲線状となることが多い。このような曲線状の輝度プロファイルからムラプロファイルを生成するための距離Δｙ及び輝度差ΔＰの組を抽出することについて説明する。
　図１３の（ｂ）に示すように、画素位置ｙ１～ｙ６の６箇所において、輝度の基準線と輝度プロファイルとが交差する。この場合、隣り合う交点間の距離として、距離Δｙ１～Δｙ５が抽出される。例えば、距離Δｙ１のときの輝度差ΔＰ１は、距離Δｙ１の間の輝度の強度と基準線とに基づいて算出される。距離Δｙ１～Δｙ５のそれぞれは、隣接距離の一例である。
　輝度差ΔＰ１は、距離Δｙ１の間における輝度差の統計値であってもよい。輝度差ΔＰ１は、例えば、輝度差の区間平均であってもよいし、最大または最小の輝度差であってもよいし、輝度差の中央値または最頻値であってもよい。また、輝度差ΔＰ１は、所定の位置の輝度差であってもよい。輝度差ΔＰ１は、例えば、画素位置ｙ１及びｙ２の中央の位置の輝度差であってもよい。なお、画素位置ｙ１における輝度の基準線と輝度プロファイルとの交点は、第１交点の一例であり、画素位置ｙ２における輝度の基準線と輝度プロファイルとの交点は、第２交点の一例である。
　距離Δｙ２～Δｙ５に対する輝度差ΔＰ２～Ｐ５も同様に算出される。なお、輝度差ΔＰ１～Ｐ５のそれぞれは、同一の算出方法により算出される。例えば、輝度差ΔＰ１が輝度差の区間平均で算出される場合、輝度差ΔＰ２～Ｐ５のそれぞれも輝度差の区間平均で算出される。
　図１３の（ｂ）の例では、５個の距離Δｙ及び輝度差ΔＰの組が抽出される。距離Δｙ及び輝度差ΔＰの組の抽出が画像全体において行われた後、ムラプロファイルが生成される。
　図１４は、ムラなしの場合のムラプロファイル及びムラ指標の一例を示す図である。図１５は、ムラありの場合のムラプロファイル及びムラ指標の一例を示す図である。図１４及び図１５では、ムラ指標が１０００以上である場合にムラありと判定される例を示している。なお、図１４及び図１５において、プロットされている点の数は、同じであるとする。また、図１４及び図１５の例では、ムラ視認エリアは、矩形状である。境界が矩形状の枠であるとも言える。
　図１４の例では、ムラ視認エリア内に含まれるムラの数は、２９７個である。つまり、ムラ指標が２９７である。この場合、判定部２５は、ムラ指標が閾値より小さいので、ムラなしと判定する。判定部２５は、自動車３０の表面状態を良品であると判定するとも言える。
　また、図１５の例では、ムラ視認エリア内に含まれるムラの数は、１３７３個である。つまり、ムラ指標が１３７３である。この場合、判定部２５は、ムラ指標が閾値以上であるので、ムラありと判定する。判定部２５は、自動車３０の表面状態を不良であると判定するとも言える。
　以上のように、本実施の形態に係るムラ判定装置２０は、ムラプロファイルを用いてムラの定量化を行う。また、ムラを定量化するときに用いる閾値がスカラー値ではなく、当該ムラプロファイル上のエリア（ムラ視認エリア）であるので、ノイズに強い。
　なお、カメラ１０がカラーカメラであり、ステップＳ１０で取得される画像がカラー画像データである場合、図３に示すステップＳ１２～Ｓ１４の処理は、例えば、チャネルごとに行われる。例えば、カラー画像データが赤、緑及び青の３つのチャネルを含んでいる場合、ステップＳ１３では、当該３つのチャネルのそれぞれに対して、ムラファイルが生成され、ステップＳ１４では、当該３つのムラファイルのそれぞれに対して、ムラの個数が算出される。このように、３つのチャネルが互いに独立してムラプロファイルが生成される。また、例えば、カラー画像データがＬａｂ表色系で示されるＬ＊値、ａ＊値及びｂ＊値の３つのチャネルを含んでいる場合、ステップＳ１３では、当該３つのチャネルのそれぞれに対して、ムラファイルが生成され、ステップＳ１４では、当該３つのムラファイルのそれぞれに対して、ムラの個数が算出される。このように、３つのチャネルが互いに独立してムラプロファイルが生成される。なお、チャネルの数は３つに限定されない。また、ステップＳ１５の判定も、チャネルごとに行われてもよい。これにより、判定部２５は、どのチャネルが良品であり、どのチャネルが不良であるかを判定することができる。
　（実施の形態の各変形例）
　以下では、上記実施の形態に係るムラ判定システム１における各変形例について、図１６～図２０を参照しながら説明する。なお、各変形例におけるムラ判定システム１の構成は実施の形態と同様であり、説明を省略する。また、以下では、実施の形態との相違点を中心に説明し、実施の形態と同一または類似の内容については説明を省略または簡略化する。
　第１の変形例として、ムラ指標を算出するための境界（つまり、ムラ視認エリア）を更新する例について、図１６及び図１７を参照しながら説明する。図１６は、本変形例に係るにムラ判定システム１の動作（表面状態の評価方法）を示すフローチャートである。図１７は、本変形例に係るデジタル標準見本の生成を説明するための図である。図１６に示す動作は、例えば、図３に示す動作の後に行われる。なお、デジタル標準見本は、標準見本の一例である。
　図１６に示すように、生成部２３は、ムラ指標のヒストグラムを取得する（Ｓ２１）。生成部２３は、例えば、図１２に示すようなムラ指標のヒストグラムを記憶部（図示しない）から読み出すことで取得する。
　次に、生成部２３は、頻度最大範囲に属するムラプロファイルを抽出する（Ｓ２２）。図１７の（ａ）～（ｃ）を含む複数のムラプロファイルは、図１２に示す頻度最大範囲に属するムラプロファイルである。つまり、図１７の（ａ）～（ｃ）は、自動車３０の表面状態において頻度が最大となるムラ指数を有するムラプロファイルであり、例えば、自動車３０の表面状態において、標準的なムラプロファイルである。生成部２３は、例えば、頻度最大範囲に属するムラプロファイルの全てを抽出するが、予め定められた所定数のみを抽出してもよい。
　図１６を再び参照して、生成部２３は、抽出されたムラプロファイルに基づいて、デジタル標準見本を生成する（Ｓ２３）。生成部２３は、例えば、頻度最大範囲に属する複数のムラプロファイルを演算（例えば、ｏｒ演算）することで、デジタル標準見本を生成する。生成部２３は、複数のムラプロファイルを、１つのムラプロファイルに統合することでデジタル標準見本を生成するとも言える。
　生成部２３は、例えば、図１７の（ｄ）に示すデジタル標準見本を生成する。デジタル標準見本は、図１７の（ａ）～（ｃ）に含まれる各点がプロットされたムラプロファイルである。
　このように生成されたデジタル標準見本は、自動車３０の表面状態として、最も標準的な良品のムラパターンを示す。デジタル標準見本に含まれるムラ（プロットされた点）は、自動車３０の表面状態として有していてよいムラであり、例えば、人には視認されないムラである。このようなムラは、例えば、自動車３０の表面形状に起因するムラ、画像処理において生じるムラ等である。
　図１６を再び参照して、次に、生成部２３は、デジタル標準見本に基づいて、ムラ視認エリアを更新する（Ｓ２４）。生成部２３は、デジタル標準見本に基づいて、境界を更新するとも言える。生成部２３は、例えば、予め設定されているムラ視認エリアと、デジタル標準見本においてプロットされていないエリアとを演算（例えば、ｏｒ演算）することで、ムラ視認エリアを更新してもよい。また、生成部２３は、予め設定されているムラ視認エリアに換えて、デジタル標準見本においてプロットされていないエリアをムラ視認エリアとしてもよい。この場合、デジタル標準見本においてプロットされていないエリアとプロットされていないエリアとの境が、輝度の強度と輝度の空間分布とに基づいて定まる境界に対応する。なお、ステップＳ２４は、更新するステップの一例である。
　生成部２３は、更新したムラ視認エリアを、自動車３０または撮像条件と対応づけて記憶部（図示しない）に記憶する。このように、生成部２３は、ムラ視認エリアを更新する更新部として機能する。
　上記のように、生成部２３は、ムラの個数を横軸とするヒストグラムの頻度最大範囲に属する２以上のムラプロファイルに基づいて、境界を更新する。例えば、生成部２３は、ムラの個数を横軸とするヒストグラムの頻度最大範囲に属する２以上のムラプロファイルに含まれる距離Δｙ及び輝度差ΔＰ（乖離度合いの一例）のそれぞれをプロットすることでデジタル標準見本を生成し、生成されたデジタル標準見本においてプロットされていない領域に基づいて、境界を更新する。
　なお、上記では、生成部２３は、頻度最大範囲に属するムラプロファイルを抽出する例について説明したが、さらに頻度が頻度最大範囲に隣接する範囲のムラ指標の範囲に属するムラプロファイルを抽出してもよいし、例えば、ランクＡに属する全てのムラプロファイルを抽出してもよい。そして、生成部２３は、抽出したムラプロファイルのそれぞれを用いて、上記のデジタル標準見本を生成してもよい。
　続いて、第２の変形例として、予め設定されているムラ視認エリアから所定の領域を除外するまたは特定のエリアのみをムラ視認エリアとする例について、図１８及び図１９を参照しながら説明する。図１８は、本変形例に係るムラプロファイルの一例を示す図である。
　図１８に示すように、算出部２４は、ムラプロファイル上のムラ視認エリアから所定の領域を除外した領域に基づいて、ムラの個数を算出してもよい。所定の領域は、例えば、ノイズ領域である。ノイズ領域は、例えば、画像処理等に起因したノイズが発生する可能性がある領域であり、画像処理等の手法に応じて予め取得可能である。ノイズ領域は、例えば、記憶部（図示しない）に記憶されており、算出部２４は、例えば、カメラ１０、取得部２１、除去部２２及び生成部２３のいずれかの処理に応じたノイズ領域を記憶部から読み出してもよい。
　そして、算出部２４は、ムラ視認エリアとノイズ領域とが重なる重複領域（図１８に示す斜線領域）にプロットされている点を、ムラ指標（例えば、ムラの個数）を算出するときにカウントしない。言い換えると、算出部２４は、ムラ視認エリアのうち、重複領域以外の領域にプロットされている点の数をムラ指標としてカウントする。
　これにより、ムラ指標におけるＳ／Ｎ比（Ｓｉｇｎａｌ－Ｎｏｉｓｅ　Ｒａｔｉｏ：信号雑音比）を高めることができるので、判定部２５における判定結果をより正確に行うことができる。
　図１９は、本変形例に係るムラプロファイルの他の一例を示す図である。
　図１９に示すように、自動車３０の製造装置（例えば、塗装装置）の特性等により、問題となり得る特定のムラが発生することが予めわかっている場合、当該特定のムラを重点的に判定できるようなムラ視認エリアが設定されてもよい。例えば、特定のムラが横スジ状のムラである場合、図１９に示すように、横スジ状のムラに特化したムラ視認エリアが設定されてもよい。例えば、ムラの幅（距離Δｙ）が４０ピクセル以上８０ピクセル以下のムラのみがムラ指標としてカウントされるようにムラ視認エリアが設定されてもよい。
　ムラの幅は、検出するムラの種類に応じて決定されてもよい。ムラ視認エリアは、輝度差ΔＰと、検出されるムラの種類に応じて決定される輝度の空間分布とに基づいて設定されてもよい。言い換えると、境界は、輝度差ΔＰと、検出されるムラの種類に応じて決定される輝度の空間分布とに基づいて設定されてもよい。なお、ムラ視認エリアは、境界に基づく領域の一例である。
　これにより、問題となり得るムラを効果的に検出することができる。
　続いて、第３の変形例として、上記実施の形態とは異なる輝度差の算出方法について、図２０を参照しながら説明する。図２０は、本変形例に係る輝度差の算出方法を説明するための図である。
　図２０に示すように、生成部２３は、近接するエリアにおける輝度の強度との差分に基づいて、輝度差ΔＰを算出してもよい。人は、輝度の基準線（例えば、Ｐ値が１２８の基準線）と輝度プロファイルとの輝度差ではなく、近接するエリアの輝度差が大きい場合に、ムラを認識しやすい特性がある。そのため、生成部２３は、そのような人の特性を考慮し、例えば、隣り合うエリア（例えば、隣り合う距離Δｙ）における輝度差ΔＰを算出する。
　生成部２３は、ｉ番目の距離Δｙにおける輝度差ΔＰｉを、例えば、以下の式１により算出する。
　ΔＰｉ＝ＭＡＸ（｜ΔＰｉ－ΔＰｉ－１｜、（｜ΔＰｉ＋１－ΔＰｉ｜）　　　（式１）
　なお、距離Δｙは、例えば、０番目（例えば、最も左側の距離Δｙ）からｎ番目（例えば、最も右側の距離Δｙ）までのｎ＋１個あり、上記式１のｉは、以下の式２を満たす。
　１≦ｉ≦ｎ－１　　　（式２）
　式２より、０番目及びｎ番目を除く距離Δｙに対する輝度差ΔＰｉは、式１により算出される。生成部２３は、式１により、ｉ番目の距離Δｙの輝度の強度と、ｉ－１番目の距離Δｙの輝度の強度との差分の絶対値、及び、ｉ番目の距離Δｙの輝度の強度と、ｉ＋１番目の距離Δｙの輝度の強度との差分の絶対値のいずれか大きい方を、ｉ番目の距離Δｙの輝度差ΔＰｉとして算出する。
　また、生成部２３は、例えば、ｉ＋１番目の距離Δｙの輝度差ΔＰｉ＋１等も同様に算出する。生成部２３は、例えば、ｉ＋１番目の距離Δｙの輝度の強度と、ｉ番目の距離Δｙの輝度の強度との差分の絶対値、及び、ｉ＋１番目の距離Δｙの輝度の強度と、ｉ＋２番目の距離Δｙの輝度の強度との差分の絶対値のいずれか大きい方を、ｉ＋１番目の距離Δｙの輝度差ΔＰｉ＋１として算出する。
　生成部２３は、例えば、輝度の基準線と輝度プロファイルとが交差する点を第１交点、第２交点及び第３交点とし、第１交点と第２交点との間における輝度プロファイルが有する輝度の強度を第１強度、第２交点と第３交点との間における輝度プロファイルが有する輝度の強度を第２強度としたとき、輝度の強度（輝度差ΔＰ）は、第１強度と第２強度との差分に基づく強度である。
　また、生成部２３は、０番目の輝度差ΔＰ０及びｎ番目の輝度差ΔＰｎを、例えば、以下の式３及び４により算出する。
　ΔＰ０＝｜ΔＰ１－ΔＰ０｜　　　（式３）
　ΔＰｎ＝｜ΔＰｎ－ΔＰｎ－１｜　　　（式４）
　生成部２３は、式３により、１番目の距離Δｙの輝度の強度と、０番目の距離Δｙの輝度の強度との差分の絶対値を、０番目の距離Δｙの輝度差ΔＰ０として算出する。また、生成部２３は、式４により、ｎ番目の距離Δｙの輝度の強度と、ｎ－１番目の距離Δｙの輝度の強度との差分の絶対値を、ｎ番目の距離Δｙの輝度差ΔＰｎとして算出する。
　これにより、輝度の基準を用いて輝度差ΔＰを算出する場合に比べて、輝度差ΔＰを大きくすることができるので、例えば、軽微なムラを検出することが可能となる。
　なお、上記の式１～４は、一例であり、生成部２３の輝度差ΔＰの算出方法は、近接するエリアの輝度差を用いていれば、上記式１～４を用いた方法に限定されない。
　（他の実施の形態）
　以上、１つまたは複数の態様に係るムラ判定装置について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
　例えば、上記実施の形態では、カメラとムラ判定装置とは別体の装置として説明されたが、一体の装置として実現されてもよい。
　また、上記実施の形態では、検査対象の表面は、塗装面である例について説明したが、これに限定されない。表面は、例えば、樹脂等が塗布された塗布面、金属等がメッキ処理されたメッキ面、その他、いかなる物体の表面であってもよい。
　また、上記実施の形態のステップＳ１２において、輝度プロファイルを生成する際、図４に示す画像を当該画像と直交する方向（紙面の裏表方向）を回転軸として所定の角度を回転してもよい。所定の角度は、特に限定されず、例えば、０度以上１８０度以下である。所定の角度は、例えば、４５度、９０度等であってもよい。そして、回転した画像に対して、紙面の上下方向に沿うＡ１－Ａ２線上の輝度の強度を取得し、取得した輝度の強度に基づいて、輝度プロファイル及びムラプロファイルを生成してもよい。
　このように、ムラ判定装置は、例えば、図３に示すステップＳ１２において、画像を複数の角度に回転させることで、ステップＳ１３において複数のムラプロファイルを生成し、ステップＳ１４において、複数のムラプロファイルのそれぞれに対して、ムラの個数を算出してもよい。これにより、様々な方向に延在するムラを検出することが可能となる。
　また、上記実施の形態における判定部は、さらに、ムラの種別を判定してもよい。判定部は、例えば、ムラプロファイルを入力としてムラの種別を出力する学習済みモデルに、ステップＳ１３で生成されたムラプロファイルを入力することにより得られる出力を、ムラの種別として取得してもよい。学習済みモデルは、ムラプロファイルを入力としてムラの種別をクラスタリングする機械学習モデルである。機械学習モデルは、例えば、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた機械学習モデルであるが、例えば、Ｒａｎｄｏｍ　Ｆｏｒｅｓｔ、Ｇｅｎｅｔｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ等を用いた機械学習モデルであってもよい。機械学習モデルは、ムラプロファイルを入力データとし、ムラの種別を正解情報とする訓練用データセットを用いて、予め訓練されている。正解情報は、アノテーション情報とも称される。
　また、上記実施の形態等において説明された複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。また、複数の処理の一部は、実行されなくてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェアまたはソフトウェアが並列または時分割に処理してもよい。
　また、ムラ判定装置は単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。ムラ判定装置が複数の装置によって実現される場合、ムラ判定装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。また、複数の装置間の通信方法は、有線通信であってもよいし、無線通信であってもよい。また、通信に用いられる通信規格は、特に限定されない。
　また、上記実施の形態等で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）または、ＬＳＩ内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。
　システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　また、本開示の一態様は、図３または図６に示すムラ判定方法に含まれる特徴的な各ステップ（Ｓ１１～Ｓ１６、及び、Ｓ２１～Ｓ２４）をコンピュータに実行させるコンピュータプログラムであってもよい。
　さらに、本開示の技術は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。例えば、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、またはネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実行されてもよい。
　また、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、上記の各実施の形態は、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、対象物の表面状態を評価する装置などに利用することができる。
　１　　ムラ判定システム
　１０　　カメラ
　２０　　ムラ判定装置
　２１　　取得部
　２２　　除去部
　２３　　生成部
　２４　　算出部
　２５　　判定部
　２６　　出力部
　３０　　自動車

Claims (17)

  1. 　対象物を撮像した画像から、前記画像における位置ごとの輝度の強度を示す輝度プロファイルを取得するステップと、
    　前記輝度の強度と前記輝度の空間分布とに基づいて定まる境界に基づいて、前記輝度プロファイルに含まれるムラの個数を算出するステップと、を含む
    　表面状態の評価方法。
  2. 　前記輝度プロファイルに基づいて、前記輝度の基準と前記輝度プロファイルとが交差する複数の交点間の距離と、前記交点間のそれぞれの前記輝度の基準からの乖離度合いとを抽出し、抽出された複数の前記距離及び前記乖離度合いをプロットすることでムラプロファイルを生成するステップを含み、
    　前記算出するステップでは、前記ムラプロファイルと前記境界とに基づいて、前記ムラの個数を算出する
    　請求項１に記載の表面状態の評価方法。
  3. 　前記境界は、前記交点間の前記乖離度合いと前記距離とに基づいて定められる
    　請求項２に記載の表面状態の評価方法。
  4. 　前記距離は、前記輝度の基準と前記輝度プロファイルとの交点を第１交点及び第２交点とした場合、前記第１交点と前記第２交点との間の隣接距離であり、
    　前記境界は、前記輝度の強度と前記隣接距離とに基づいて定められる
    　請求項２または３に記載の表面状態の評価方法。
  5. 　前記乖離度合いは、前記第１交点と前記第２交点との間における前記輝度プロファイルが有する前記輝度の強度の前記輝度の基準との差分である
    　請求項４に記載の表面状態の評価方法。
  6. 　前記ムラの個数を横軸とするヒストグラムの頻度最大範囲に属する２以上のムラプロファイルに基づいて、前記境界を更新するステップをさらに含む
    　請求項２または３に記載の表面状態の評価方法。
  7. 　前記更新するステップでは、前記２以上のムラプロファイルに含まれる前記距離及び前記乖離度合いのそれぞれをプロットすることで標準見本を生成し、生成された前記標準見本においてプロットされていない領域に基づいて、前記境界を更新する
    　請求項６に記載の表面状態の評価方法。
  8. 　前記ムラの個数に基づいて前記対象物の前記表面状態に対する良否判定またはランク選別を行うステップを更に含む
    　請求項１～７のいずれか１項に記載の表面状態の評価方法。
  9. 　前記良否判定または前記ランク選別を行うステップは、前記ムラの個数を横軸とするヒストグラムに対して設定された閾値に基づいて、前記対象物に対する前記良否判定また前記ランク選別を行う
    　請求項８に記載の表面状態の評価方法。
  10. 　前記算出するステップでは、前記境界に基づく領域から所定の領域を除外した領域に基づいて、前記ムラの個数を算出する
    　請求項１～９のいずれか１項に記載の表面状態の評価方法。
  11. 　前記境界は、前記強度と、検出されるムラの種類に応じて決定される前記輝度の前記空間分布とに基づいて定められる
    　請求項１～１０のいずれか１項に記載の表面状態の評価方法。
  12. 　前記算出するステップでは、前記ムラプロファイルにおける前記乖離度合いに応じて前記ムラの個数を重み付けする
    　請求項２、３または７のいずれか１項に記載の表面状態の評価方法。
  13. 　前記輝度の基準線と前記輝度プロファイルとが交差する点を第１交点、第２交点及び第３交点とし、前記第１交点と前記第２交点との間における前記輝度プロファイルが有する前記輝度の強度を第１強度、前記第２交点と前記第３交点との間における前記輝度プロファイルが有する前記輝度の強度を第２強度としたとき、前記輝度の強度は、前記第１強度と前記第２強度との差分に基づく強度である
    　請求項１に記載の表面状態の評価方法。
  14. 　前記輝度プロファイルは、前記画像から少なくとも輝度傾斜成分を取り除いたものであり、
    　前記輝度の基準は、前記輝度傾斜成分が取り除かれた前記輝度プロファイルにおいて所定値に定められる
    　請求項１～１３のいずれか１項に記載の表面状態の評価方法。
  15. 　前記画像は、前記対象物の塗装面を撮像した画像である
    　請求項１～１４のいずれか１項に記載の表面状態の評価方法。
  16. 　対象物の画像から、前記画像における位置ごとの輝度の強度を示す輝度プロファイルを取得する取得部と、
    　輝度の強度と前記輝度の空間分布とに基づいて定まる境界に基づいて、前記輝度プロファイルに含まれるムラの個数を算出する算出部とを備える
    　表面状態の評価装置。
  17. 　請求項１～１５のいずれか１項に記載の表面状態の評価方法をコンピュータに実行させるためのプログラム。
PCT/JP2021/014125 2020-04-03 2021-04-01 表面状態の評価方法、表面状態の評価装置、及び、プログラム WO2021201205A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063005007P 2020-04-03 2020-04-03
US63/005,007 2020-04-03

Publications (1)

Publication Number Publication Date
WO2021201205A1 true WO2021201205A1 (ja) 2021-10-07

Family

ID=77929555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014125 WO2021201205A1 (ja) 2020-04-03 2021-04-01 表面状態の評価方法、表面状態の評価装置、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2021201205A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01301151A (ja) * 1988-05-30 1989-12-05 Fujitsu Ltd プリント配線検査装置
JP2000205846A (ja) * 1999-01-13 2000-07-28 Nissan Motor Co Ltd 塗装ムラ検査装置および方法
JP2004101338A (ja) * 2002-09-09 2004-04-02 Seiko Epson Corp 画像処理方法及び装置並びに画像処理方法のプログラム
DE102009034466A1 (de) * 2008-07-22 2010-01-28 Software Competence Center Hagenberg Gmbh Verfahren zur Güteprüfung von Oberflächen
JP2012251933A (ja) * 2011-06-06 2012-12-20 Denso Corp 湿度センサ及びその製造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01301151A (ja) * 1988-05-30 1989-12-05 Fujitsu Ltd プリント配線検査装置
JP2000205846A (ja) * 1999-01-13 2000-07-28 Nissan Motor Co Ltd 塗装ムラ検査装置および方法
JP2004101338A (ja) * 2002-09-09 2004-04-02 Seiko Epson Corp 画像処理方法及び装置並びに画像処理方法のプログラム
DE102009034466A1 (de) * 2008-07-22 2010-01-28 Software Competence Center Hagenberg Gmbh Verfahren zur Güteprüfung von Oberflächen
JP2012251933A (ja) * 2011-06-06 2012-12-20 Denso Corp 湿度センサ及びその製造方法

Similar Documents

Publication Publication Date Title
Agrawal et al. A novel joint histogram equalization based image contrast enhancement
US10789696B2 (en) Patch selection for neural network based no-reference image quality assessment
CN108805023B (zh) 一种图像检测方法、装置、计算机设备及存储介质
JP5647878B2 (ja) 鋼管内部腐食解析装置及び鋼管内部腐食解析方法
US11107210B2 (en) Image data generating apparatus generating image data for inspecting external appearance of product
US8452109B2 (en) Image segregation system with method for handling textures
US9053537B2 (en) Classifier for use in generating a diffuse image
JP4725298B2 (ja) 画像による外観検査方法
JP2004294202A (ja) 画面の欠陥検出方法及び装置
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN104637031A (zh) 眼部图像处理方法和装置
EP2478469A1 (en) Method and system for learning a same-material constraint in an image
US9396411B2 (en) Method and system for generating intrinsic images using a single reflectance technique
US20130114911A1 (en) Post processing for improved generation of intrinsic images
CN108921857A (zh) 一种面向监视场景的视频图像焦点区域分割方法
CN114066857A (zh) 红外图像质量评价方法、装置、电子设备及可读存储介质
Bora et al. A new efficient color image segmentation approach based on combination of histogram equalization with watershed algorithm
US20220061659A1 (en) System and method for finding an area of an eye from a facial image
WO2021201205A1 (ja) 表面状態の評価方法、表面状態の評価装置、及び、プログラム
WO2015171355A1 (en) A method for identifying color-based vectors for analysis of frames of a video
US9158989B1 (en) Color pure scale-spaced pyramid arrangement for use in an image segregation
Wang et al. Effective detection of retinal exudates in fundus images
Fawzi et al. Adaptive clip limit tile size histogram equalization for non-homogenized intensity images
Lecca et al. T-Rex: a Milano Retinex implementation based on intensity thresholding
Dehesa‐González et al. Lighting source classification applied in color images to contrast enhancement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21778717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21778717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP