WO2020262615A1 - 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム - Google Patents

光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム Download PDF

Info

Publication number
WO2020262615A1
WO2020262615A1 PCT/JP2020/025246 JP2020025246W WO2020262615A1 WO 2020262615 A1 WO2020262615 A1 WO 2020262615A1 JP 2020025246 W JP2020025246 W JP 2020025246W WO 2020262615 A1 WO2020262615 A1 WO 2020262615A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature amount
pigment
bright pigment
value
Prior art date
Application number
PCT/JP2020/025246
Other languages
English (en)
French (fr)
Inventor
準治 赤羽
山長　伸
Original Assignee
関西ペイント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 関西ペイント株式会社 filed Critical 関西ペイント株式会社
Priority to CN202080042303.3A priority Critical patent/CN113939729A/zh
Priority to JP2020565911A priority patent/JP6854992B1/ja
Publication of WO2020262615A1 publication Critical patent/WO2020262615A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/57—Measuring gloss
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating

Definitions

  • the present invention relates to a brilliant pigment determination method for determining the brilliant pigment from a subject to be determined containing the brilliant pigment, a brilliant pigment determination device, and a brilliant pigment determination program.
  • the present application claims priority based on Japanese Patent Application No. 2019-121936 filed in Japan on June 28, 2019, the contents of which are incorporated herein by reference.
  • a bright material-containing coating film using a bright pigment such as an aluminum flake pigment or an interference mica pigment is often used for automobile outer panels and the like.
  • a bright pigment also referred to as a bright material
  • an aluminum flake pigment or an interference mica pigment is often used for automobile outer panels and the like.
  • a determination operation by visual confirmation or microscopic observation has been performed.
  • the judgment accuracy by such a judgment work depends on the experience and knowledge of the observer, the photographing device is expensive or large, and the analysis takes time.
  • the variation index obtained by numerically processing the variation reflectance data in which the light receiving angle is a variable and the spectral reflectance data in which a wavelength is a variable are numerically obtained.
  • a method for identifying the type of bright material based on the correlation information of the two indices of the spectral index obtained by processing is described.
  • multiple bright pigments such as aluminum flake pigments and interfering mica pigments have been used, and the structure has a multi-layer structure such as pearl clear. , It is becoming difficult to identify by this method.
  • Patent Document 2 an image feature amount obtained by extracting image data of a portion including one particle of a bright pigment in the vicinity thereof as image data to be processed from an image obtained by imaging a coating film containing a bright pigment.
  • a method for identifying a brilliant pigment using a database that associates information with the brilliant pigment is described.
  • the image feature amount and the information of the bright pigment are related by pre-learning by a neural network.
  • the method for identifying a bright pigment described in Patent Document 1 can easily determine and estimate the brand of a bright pigment or the like by collating a database created in advance.
  • Patent Document 3 discloses that image data is acquired from a target coating, image analysis is performed using the processor so as to determine at least one bright spot from the image data, and bright color is obtained from the bright spot. To perform hue analysis using the processor, to calculate the bright color distribution using the processor, and to use the processor to have the same appearance as the target coating. Disclosures are computer-implemented methods, including producing coating formulations that are or substantially similar. Although this method is easy to acquire image data, it is indispensable to perform hue analysis and calculate the bright color distribution so that at least one bright spot can be discriminated as much as possible, and it takes time. In addition, it is not suitable for identifying a coating film having a complicated structure such as a multi-layer coating film.
  • the present invention provides a bright pigment determination method, a bright pigment determination device, and a bright pigment determination program that can determine the bright pigment contained in the coating film more easily and with high accuracy than before.
  • the purpose is to do.
  • the method for determining a brilliant pigment according to the first aspect of the present embodiment is a method for determining the brilliant pigment from an object to be determined containing the brilliant pigment, and the reflective surface of the object to be determined is imaged by an image pickup element. Based on the imaging step, the extraction step of extracting the image feature amount from the captured reflection image, and the image feature amount, the type and / or content of the bright pigment is determined by the image feature amount and the bright pigment.
  • the actual field size of the reflected image is 0.01 cm 2 or more, which comprises a determination step of determining the relationship with the image using a trained model learned by machine learning.
  • the brilliant pigment determination device includes an image input unit that captures an image of the reflective surface to be determined by an image sensor, an extraction unit that extracts an image feature amount from the captured reflected image, and an extraction unit.
  • a determination unit that determines the type and / or content of the bright pigment based on the image feature amount using a learned model in which the relationship between the image feature amount and the bright pigment is learned by machine learning, and the above.
  • An output unit for displaying the determination result of the determination unit is provided, and the actual field size of the reflected image is 0.01 cm 2 or more.
  • the bright pigment determination program is a bright pigment including an image input unit having an image pickup element having an actual field size of 0.01 cm 2 or more, an extraction unit, and a determination unit.
  • a program that controls a determination device the image input unit is made to image a reflection surface to be judged by the image pickup element, and the extraction unit is made to extract an image feature amount from the captured reflection image, and the determination is made.
  • the unit is made to determine the type and / or content of the glitter pigment using a learned model in which the relationship between the image feature amount and the glitter pigment is learned by machine learning.
  • the brilliant pigment contained in the coating film can be determined more easily and with high accuracy than before.
  • the glitter pigment that can be determined by the glitter pigment determination method according to the present embodiment is, for example, a vapor-deposited metal flake pigment, an aluminum flake pigment, a photocoherent pigment, or the like.
  • the vapor-deposited metal flake pigment is a pigment obtained by depositing a metal film on a base base material, peeling off the base base material, and then pulverizing the vapor-deposited metal film.
  • the material of the metal is not particularly limited, and examples thereof include aluminum, gold, silver, copper, brass, titanium, chromium, nickel, nickel chromium, and stainless steel.
  • Examples of commercially available products that can be used as the vapor-filmed aluminum flake pigments include the "METALURE” series (trade name, manufactured by Ecult), the “Hydrosine WS” series (trade name, manufactured by Ecult), and the “Decomet” series (trade name, manufactured by Schlenk). (Manufactured by BASF), "Metaseen” series (trade name, manufactured by BASF) and the like.
  • vapor-filmed chrome flake pigment examples include the "Metalure Liquid Black” series (trade name, manufactured by Ecult Co., Ltd.) and the like.
  • the surface of the vapor-deposited aluminum flake pigment may be silica-treated.
  • Aluminum flake pigments are generally produced by pulverizing and grinding aluminum in a ball mill or an attritor mill in the presence of a pulverizing medium solution using a pulverizing aid, and usually has an average particle size (D50) of 1 for paints. Those having a diameter of about 50 ⁇ m, particularly about 5 to 20 ⁇ m, are used from the viewpoint of stability in the paint and the finish of the formed coating film.
  • D50 average particle size
  • Examples of commercially available products that can be used as the aluminum flake pigment include the "Alpaste” series (trade name, manufactured by Toyo Aluminum Co., Ltd.).
  • the aluminum flake pigment may have a silica-treated surface.
  • the photocoherent pigment is a pigment in which a transparent or translucent scaly substrate is coated with a metal oxide.
  • the scaly substrate include natural mica, artificial mica, alumina flakes, silica flakes, glass flakes and the like.
  • the natural mica is a scaly base material obtained by crushing ore mica (mica).
  • the above alumina flakes mean flaky (flaky) aluminum oxide and are colorless and transparent.
  • the aluminum oxide does not have to be a single component and may contain oxides of other metals.
  • the silica flakes are scaly silica.
  • the glass flakes are scaly glass.
  • metal oxide examples include titanium oxide and iron oxide. It is possible to develop different interference colors depending on the thickness of the metal oxide that coats the scaly substrate.
  • the photointerfering pigment is surface-treated from the viewpoint of obtaining a coating film having excellent storage stability and weather resistance.
  • Examples of commercially available products that can be used as the above-mentioned photointerfering pigments include the "Iriodin” series (trade name, manufactured by Merck Japan) and the “Silaric” series (trade name, manufactured by Merck Japan).
  • FIG. 1 is an overall configuration diagram of the glitter pigment determination device 100.
  • the glitter pigment determination device 100 includes an image input unit 1, a computer 2 capable of executing a program, and an output unit 3 such as an LCD monitor.
  • FIG. 2 is a diagram showing an outline of the image input unit 1.
  • the image input unit 1 includes a light source 11 that irradiates the coating film F to be determined, and an image sensor 12 that captures the reflected light from the coating film F.
  • This embodiment is an example.
  • the image sensor 12 may be arranged at the position of the light source 11, and the light source 11 may be arranged at the position of the image sensor 12.
  • the light source 11 may be any one that irradiates white light, for example, a white LED or a halogen light.
  • the light source 11 is REVOX SLG-150U.
  • the image sensor (imaging element) 12 receives the reflected light obtained from the reflecting surface of the coating film F that reflects the incident light from the light source 11.
  • the image sensor 12 one mounted on a general digital camera or the like can be used.
  • the reflected light may be collected by using a lens, or the reflected light may be received by the image sensor 12 without using a lens.
  • the image acquisition size by the image sensor 12 is 6x10 mm, and the field of view size is 15x40 mm.
  • the image acquisition size and the visual field size of the image sensor 12 are not limited to this.
  • the image sensor 12 can capture a sufficient image in the subsequent image processing as long as the actual field size of the reflected image obtained by capturing the reflective surface of the coating film F by the image input unit 1 is 0.01 cm 2 or more. From the viewpoint that the actual field size of the reflected image to be captured is preferably 0.01 cm 2 or more, a general digital camera can be used as the image sensor 12. Acquiring a reflected image using an electron microscope is unsuitable in that the actual visual field size required for subsequent image processing cannot be obtained and that it is not easy. A more preferable actual visual field size is 0.5 cm 2 or more, further 1 cm 2 or more, and the upper limit is not particularly limited, but may be 50 cm 2 or less and 10 cm 2 or less.
  • the image sensor 12 is an example of an image sensor.
  • the image sensor is, for example, a CCD module, a CMOS module, a photodiode array, or the like.
  • the center position of the coating film F irradiated by the light source 11 is defined as "irradiation center point O".
  • the image sensor 12 is arranged at a position where the reflected light reflected in the normal direction N at the irradiation center point O of the coating film F is vertically incident on the image sensor 12.
  • 3 to 5 are examples of reflection images obtained by capturing the reflection surface of the coating film F with the image input unit 1.
  • the light source 11 is arranged at positions where the incident angles of the incident light on the irradiation center point O of the coating film F with respect to the normal direction N are about 25 degrees, about 45 degrees, and about 75 degrees, respectively. It is a reflection image which imaged the reflection surface of the coating film F.
  • the reflected image may be a reflected image obtained by capturing the reflecting surface of the coating film F that receives light from one incident angle with a plurality of image sensors 12.
  • FIG. 6 is a diagram illustrating an aspecular angle.
  • the specular angle is an angle indicating the inclination of the optical path of the reflected light from the specular reflection direction.
  • the illumination angle is expressed by 45 ° from the sample normal direction
  • the light receiving angle is expressed by the angle from the specular reflection angle. It is the angle.
  • the five angles standardized by the international standard ASTM E2194 (sometimes expressed as as15 °, 25 °, 45 °, 75 °, 110 °) can be mentioned.
  • the "as" is an abbreviation for specular and means an angle from specular reflection.
  • the image input unit 1 saves the captured reflection image as an RGB image and transfers it to the computer 2.
  • the storage format of the captured reflection image is not limited to the RGB image format, and may be another image format.
  • FIG. 7 is a configuration diagram of the computer 2.
  • the computer 2 is a program-executable processing device having a processor 20, a memory 21 capable of reading a program, a storage unit 22 capable of storing programs and data, and an input / output control unit 23.
  • the function of the computer 2 is realized by the processor 20 executing the program provided to the computer 2.
  • FIG. 8 is a functional block diagram of the computer 2 when the computer 2 executes a determination program for a bright pigment.
  • the brilliant pigment determination program has a sorting unit 51, an extraction unit 52, and a determination unit 53 as functional blocks.
  • the sorting unit 51 may convert the reflected image of the RGB image format captured by the image input unit 1 into an HSV image or a Lab image before the processing by the sorting unit 51 to be performed later (image conversion step). By converting the image format, it is possible to change the amount of image features that are easy to extract in the subsequent processing. Further, the sorting unit 51 may convert an image in the RGB image format into a monochrome image or a grayscale image and use it. Further, the sorting unit 51 may convert an image in the RGB image format or the converted image into an image subjected to processing such as FFT (Fast Fourier Transform), Laplace transform, wavelet transform, and convolution filter.
  • FFT Fast Fourier Transform
  • Laplace transform Laplace transform
  • wavelet transform wavelet transform
  • convolution filter convolution filter
  • the sorting unit 51 In the sorting unit 51, the reflected image captured by the image input unit 1 is input, and the region of the reflecting surface in the reflected image is a bright range (existence range E) in which there is a high possibility that a bright pigment is present by threshold processing based on the brightness difference. Select. First, the sorting unit 51 selects the existence range E of the bright pigment as the extraction target of the image feature amount from the region of the reflecting surface in the reflected image. The sorting unit 51 specifies the existence range E of the brilliant pigment by the threshold value processing without obtaining the hue distribution of the entire reflected image.
  • the extraction unit 52 extracts the image feature amount from the existence range E separated by the sorting unit 51.
  • the image feature amount to be extracted is at least one of the mean value, median value, mode value, maximum value, minimum value, quartile, percentile, standard deviation, skewness, and kurtosis of the pixel data constituting the image. Including.
  • the extraction unit 52 may use a convolutional neural network or a recursive neural network to extract the image feature amount.
  • the extraction unit 52 may further select the presence range E of the brilliant pigment by the high-luminance image extraction process to extract the image feature amount.
  • the extraction unit 52 is acquired from, for example, a specific range specified within the 10th percentile from the minimum distance from the specific RGB, HSV, and Lab coordinates in the pixel set of the existence range E of the brilliant pigment (A). At least one color value selected from the RGB value, brightness, saturation, hue angle, Lab value, and Fourier conversion value of the pixel or pixel set, and (B) the average value, median value, most frequent value, and maximum value of the above color values. At least one of at least one statistic selected from the value, the minimum value, the quadrant, the percentile, the dispersion, the standard deviation, the skewness, and the kurtosis is extracted as an image feature amount.
  • the extraction unit 52 extracts at least one of pixels and / or a set of pixels acquired from a specific range specified within the 10th percentile from the minimum distance from red or blue in RGB coordinates as an image feature amount. To do.
  • RGB, HSV, Lab coordinates and a reference color in which the characteristics of the brilliant pigment to be determined are likely to appear pixels and / or pixel sets in which the characteristics of the brilliant pigment are likely to appear can be preferably obtained.
  • the image feature amount from the pixels selected from the existence range E and / or the pixel set, the characteristics of the brilliant pigment are reflected as compared with the case where the image feature amount is directly extracted from the existence range E.
  • the amount of image features can be preferably obtained.
  • the extraction unit 52 may further select the existence range E of the bright pigment by the clustering process and extract the image feature amount.
  • the extraction unit 52 uses, for example, at least one of the RGB values, brightness, saturation, hue angle, Lab value, and Fourier conversion value of the pixel set in the existence range E of the bright pigment, and the presence of the bright pigment.
  • Clustering of pixel sets in range E is performed, and the clusters sorted by clustering are ranked according to any of RGB value, brightness, saturation, hue angle, Lab value, Fourier conversion value, and distance from a specific color coordinate.
  • RGB value brightness, saturation, hue angle, Lab value, average value of Fourier transform value, median value, most frequent value, maximum value, minimum value, quadrant, percentile, dispersion, standard deviation, distortion of separated clusters At least one of degree and sharpness is extracted as an image feature amount.
  • the extraction unit 52 performs a clustering process using K-means.
  • the clustering process may be a single link method, a complete link method, a group averaging method, a Ward method, a center of gravity method, a weighted averaging method, a median method, DBSCAN, OPTICS, a Gaussian mixture, a Birch method, or the like.
  • the extraction unit 52 clusters the pixel sets in the existence range E of the bright pigment, selects, for example, the cluster having the largest RGB value from the clusters sorted by the clustering, and extracts the image feature amount. By extracting the image feature amount from the cluster in which the bright pigment is likely to be present, the image feature amount reflecting the characteristic of the bright pigment can be suitably obtained.
  • the determination unit 53 determines the glitter pigment using the "learned model M" which is the learning result of learning the relationship between the glitter pigment and the image feature amount based on the image feature amount extracted for each existence range E.
  • the trained model M is composed of a decision tree (Gradient Boosting Decision Tree) using gradient boosting.
  • the input of the trained model M is the image feature amount extracted by the extraction unit 52.
  • the output of the trained model M is the type of brilliant pigment determined.
  • the determined type of brilliant pigment is output to the output unit 3.
  • the trained model M is provided as a part of the program module of the glitter pigment determination program executed by the computer 2 of the glitter pigment determination device 100.
  • the computer 2 may have a dedicated logic circuit or the like for executing the trained model M.
  • the trained model M is generated by prior learning based on the teacher data described later.
  • the trained model M may be generated by the computer 2 of the bright pigment determination device 100, or may be generated by using another computer having a higher computing power than the computer 2.
  • the trained model M is generated by supervised learning by a well-known technique such as gradient descent, and the weighting coefficient of the decision tree is updated.
  • the teacher data is a reflection image obtained by preliminarily capturing a coating film in which the contained bright pigment is known.
  • the reflection image captured in advance for learning is referred to as a “learning reflection image”.
  • the combination of the reflection image for learning and the bright pigment type code included in the coating film is the teacher data.
  • the computer 2 selects the existence range E of the brilliant pigment by the threshold value processing based on the brightness difference as the image feature amount to be extracted from the reflection image for learning, as in the processing of the sorting unit 51.
  • the computer 2 extracts the image feature amount from the existence range E in the same manner as the processing of the extraction unit 52.
  • the type of image feature amount extracted in the pre-learning is the same as that extracted by the extraction unit 52.
  • the computer 2 receives the image feature amount of the learning reflection image extracted in the pre-learning as an input, and generates a trained model M that outputs a glitter pigment type code by supervised learning.
  • the image input unit 1 images the reflective surface of the coating film (target to be judged) F having different aspecular angles with a general digital camera (imaging process).
  • the computer 2 selects the presence range E of the brilliant pigment as the extraction target of the image feature amount from the region of the reflection surface in the reflection image captured in the imaging step by the threshold processing based on the brightness difference.
  • the computer 2 extracts the image feature amount from the existence range E of the selected bright pigment (extraction step).
  • the computer 2 may further select the existence range E of the brilliant pigment and extract the image feature amount by a high-luminance image extraction process or a clustering process, if necessary.
  • the computer 2 determines the type of the glitter pigment by using the "learned model M" that has learned the relationship between the glitter pigment and the image feature amount based on the image feature amount extracted from the existence range E (determination step). ). At this time, the trained model M may be retrained based on the correct answer rate of the output of the trained model M.
  • the output unit 3 displays the type of the determined bright pigment.
  • the brilliant pigment determination device 100 since a general imaging device such as an area image sensor such as CCD or CMOS or a digital camera is used, an extra large space and preparation time are required. Since the image can be easily carried out without any problem and the actual field size of the captured image is sufficiently larger than that of the microscope, it is possible to accurately determine the bright pigment.
  • a general imaging device such as an area image sensor such as CCD or CMOS or a digital camera
  • the existence range E of the brilliant pigment whose image feature amount is to be extracted is selected by the threshold value processing based on the brightness difference.
  • the existence range E of the bright pigment to be extracted from the image feature amount can be easily specified without obtaining the hue distribution of the entire reflected image.
  • the presence range E of the glitter pigment is further selected and the image feature amount is extracted by a high-luminance image extraction process or a clustering process as needed.
  • the image feature amount is extracted by a high-luminance image extraction process or a clustering process as needed.
  • the bright pigment determination program is recorded on a computer-readable recording medium.
  • the program recorded on this recording medium is read into the computer system and executed.
  • the term "computer system” as used herein includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • a "computer-readable recording medium” is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time.
  • a program may be held for a certain period of time, such as a volatile memory inside a computer system serving as a server or a client. Further, the above program may be for realizing a part of the above-mentioned functions, and may be further realized for realizing the above-mentioned functions in combination with a program already recorded in the computer system. It may be realized by using a programmable logic device such as FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array
  • the trained model M is composed of a decision tree using gradient boosting, but the mode of the trained model is not limited to this. If the trained model is a model that determines the type of bright pigment from the image features and outputs it, for example, linear regression, logistic regression, simple perceptron, MLP, neural network, support vector machine, random forest, Gaussian process, etc. It may be composed of a Bayesian network, a k-nearest neighbor method, or other models used in machine learning.
  • the type of the bright pigment is used in the determination step, but the mode of the determination step is not limited to this.
  • the determination step may also be performed, for example, to determine the content of the bright pigment.
  • the input of the trained model is the image feature amount extracted by the extraction unit 52, and the output of the trained model is the determined type of bright pigment and the content of the bright pigment.
  • the combination of the type code of the bright pigment and the content of the bright pigment contained in the reflection image for learning and the coating film is learned as teacher data.
  • the bright pigment determination device 100B according to the second embodiment of the present invention will be described. In the following description, the same reference numerals will be given to the configurations common to those already described, and duplicate description will be omitted.
  • the image input unit of the glitter pigment determination device 100B is different from that of the first embodiment.
  • the glitter pigment determination device 100B includes an image input unit 1B, a computer 2 capable of executing a program, and an output unit 3 such as an LCD monitor.
  • the image input unit 1B is an imaging device capable of capturing images from multiple angles, and examples thereof include colorimeters such as MAT6 and T12 manufactured by x-rite.
  • the angle of the light receiving portion is 15 degrees from the normal direction N, and there are seven types of imaging angles (aspercular angle -45 degrees, aspercular angle -30 degrees, a. It is possible to take an image at a specular angle of -15 degrees, an aspergular angle of 15 degrees, an assicular angle of 45 degrees, an asspicular angle of 80 degrees, and one type of diffused light irradiation image).
  • the image input unit 1B is not limited to a colorimeter, and may be an imaging device that images a reflecting surface by appropriately changing the imaging angle with a built-in digital camera.
  • the digital camera built in the image input unit 1B is equipped with the image sensor 12 of the first embodiment, and the actual field size of the reflected image to be captured is 0.01 cm 2 or more.
  • the image input unit 1B saves the reflected image obtained by capturing the reflecting surfaces having different aspecular angles as an RGB image and transfers it to the computer 2.
  • a plurality of reflected images captured by the image input unit 1B are input to the sorting unit 51 of the computer 2, and the existence range E is selected by threshold processing based on the brightness difference.
  • the following steps are the same as in the first embodiment.
  • the existence range E of the brilliant pigment whose image feature amount is to be extracted by the threshold value processing based on the luminance difference Select can be easily specified without obtaining the hue distribution of the entire reflected image.
  • the presence range E of the bright pigment is further selected by high-luminance image extraction processing or clustering processing to extract the image feature amount.
  • the reflected image for each incident angle is compared with the bright pigment determination device 100 of the first embodiment. Can be obtained with high accuracy, and a more accurate image feature amount can be extracted and used for determination.
  • the brilliant pigment determination device 100C according to the third embodiment of the present invention will be described. In the following description, the same reference numerals will be given to the configurations common to those already described, and duplicate description will be omitted.
  • the glitter pigment determination device 100C is different from the second embodiment in that it uses spectral reflectance.
  • the glitter pigment determination device 100C includes an image input unit 1C, a computer 2 capable of executing a program, and an output unit 3 such as an LCD monitor.
  • the image input unit 1C further includes a colorimeter or a spectrocolorimeter capable of measuring the spectral reflectance from a plurality of color measurement angles with respect to the image input unit 1B of the second embodiment.
  • a colorimeter or spectrophotometer (sometimes called a spectrophotometer) is a device that can measure colors at multiple viewing angles within the visible region of the spectrum when used to identify color characteristics. There are no particular restrictions.
  • the image input unit 1C including the colorimeter or the spectrophotometer is preferably a portable device. As in the second embodiment, the image input unit 1C images the reflecting surface by the image sensor 12 of the built-in digital camera.
  • the image input unit 1C acquires the spectral reflectance by a light receiver built in the colorimeter or the spectrophotometer.
  • a colorimeter such as MAT6 or T12 manufactured by x-rite can be used.
  • the angle of the receiver is 45 degrees from the normal direction N, and the color measurement angle is 6 angles (spectral angle -15 degrees, spectroscopic angle 15 degrees, a spectroscopic angle).
  • Spectral reflectance can be measured by a specular angle of 25 degrees, an aspecular angle of 45 degrees, an aspecular angle of 75 degrees, and an asspecular angle of 110 degrees.
  • the image input unit 1C stores the reflected image captured at the imaging angle as an RGB image, and further measures the spectral reflectance at the colorimetric angle corresponding to the imaging angle at which the reflecting surface is imaged ( Measurement process).
  • the image input unit 1C may simultaneously capture the reflected image and measure the spectral reflectance, or may separately perform the imaging. Further, the imaging of the reflected image and the measurement of the spectral reflectance may be performed by separate devices. For example, the imaging of the reflected image may be performed using the image input unit 1A of the first embodiment or the image input unit 1B of the second embodiment.
  • the image input unit 1C transfers the spectral reflectance corresponding to the RGB image to the computer 2.
  • the storage format of the captured reflection image is not limited to the RGB image format, and may be another image format.
  • the image input unit 1C may capture a monochrome image or a grayscale image instead of the RGB image.
  • the reflected image captured by the image input unit 1C is used for extracting the image feature amount as in the first embodiment. High-luminance image extraction processing and clustering processing are performed on the reflected image as needed.
  • the spectral reflectance measured by the image input unit 1C is used for extracting the spectral reflection feature amount.
  • the spectral reflection feature amount is a feature amount exemplified below.
  • the spectral reflection feature amount may be a combination of two or more feature amounts. (1) Its value, maximum, minimum, median, quadrant or percentile of spectral reflectance or reflectance (2) Maximum, minimum, median, quadrant, or percenttile of spectral reflectance or reflectance (3) Mean, dispersion, standard deviation, sharpness, or distortion of the reflectance or reflectance of the spectrum (4) Obtained by a convolution filter, Fourier transform, or wavelet transform on the reflectance or reflectance of the spectrum. Value (5) Peak wavelength of reflectance or reflectance of the spectrum, or difference or ratio between peaks of reflectance or reflectance of the spectrum
  • the determination unit 53 has a relationship between the bright pigment, the image feature amount, and the spectral reflection feature amount based on the image feature amount extracted for each existence range E and the spectral reflection feature amount extracted from the corresponding spectral reflectance.
  • the bright pigment is determined using the "learned model M2" which is the learning result of learning (determination step).
  • the spectral reflection feature amount may be the spectral reflectance itself.
  • the trained model M2 is composed of a decision tree (Gradient Boosting Decision Tree) using gradient boosting.
  • the inputs of the trained model M2 are the image feature amount and the spectral reflection feature amount extracted by the extraction unit 52.
  • the output of the trained model M2 is the determined type of bright pigment.
  • the determined type of brilliant pigment is output to the output unit 3.
  • the trained model M2 is generated by prior learning based on the teacher data.
  • the trained model M2 may be generated by the computer 2 of the glitter pigment determination device 100, or may be generated by using another computer having a higher computing power than the computer 2.
  • the teacher data is a reflection image obtained by preliminarily capturing a coating film in which the contained bright pigment is known. Specifically, the combination of the reflection image for learning and the bright pigment type code included in the coating film is the teacher data.
  • the computer 2 selects the existence range E of the bright pigment by the threshold processing based on the brightness difference as the extraction target of the image feature amount and the spectral reflection feature amount from the reflection image for learning, as in the processing of the sorting unit 51. To do.
  • the computer 2 extracts the image feature amount and the spectral reflection feature amount from the existence range E in the same manner as the processing of the extraction unit 52.
  • the types of image features and spectral reflection features extracted in the pre-learning are the same as those extracted by the extraction unit 52.
  • the computer 2 inputs the image feature amount and the spectral reflection feature amount of the learning reflection image extracted in the pre-learning, and generates a trained model M that outputs a glitter pigment type code by supervised learning.
  • the image input unit 1C since the image input unit 1C has a colorimeter or a spectrophotometer, it is compared with the glitter pigment determination device 100 of the first embodiment. , The reflected image and the spectral reflectance for each incident angle can be obtained, and the spectral reflectance can be extracted in addition to the image feature amount and used for the determination.
  • a solid coating color and a metallic coating color were selected from the existing toning-designed automobile top coating color reserve coating plate.
  • the metallic coating color means a coating color containing a scaly pigment (bright material pigment) such as aluminum flakes and mica flakes
  • the solid coating color means a coating color that does not contain the bright material as a pigment.
  • the back coat plate is a test plate obtained by coating a base material having a predetermined size with a paint adjusted so as to obtain the above-mentioned solid paint color and metallic paint color, and then applying a clear paint.
  • the image field of view of the image input unit 1 used is 30 mm ⁇ 5 mm, and the actual field of view size is 0.01 cm 2 or more.
  • the image input unit 1 images the reflective surface of the coating film F having an aspecular angle of about 15 degrees.
  • the image input unit 1 saves the captured reflection image as an RGB image.
  • Example 1 Image conversion step In Example 1, the image conversion step is not carried out.
  • Example 1 Extraction Step In Example 1, the selection of the existence range E by the threshold value processing is not carried out. Image features are extracted from the entire captured reflected image.
  • the number of features used for judgment in Example 1 is eight, and the maximum value and standard deviation of the R value of the single-angle overall image, and the median and maximum value of the G value of the single-angle overall image. It is a combination of the standard deviation, the maximum value, the minimum value, and the standard deviation of the G value of the entire single-angle image (feature amount combination No. 2-1).
  • the trained model M used in the first embodiment is composed of a decision tree (Gradient Boosting Decision Tree) using gradient boosting (machine learning model No. 1-3).
  • Example 2 Only the parts that are different from those of Example 1 are described.
  • the image input unit 1 captures an image of the reflective surface of the coating film F having aspecular angles of about 15 degrees, 25 degrees, 45 degrees, 75 degrees, and 110 degrees, and stores each as an RGB image as a reflected image.
  • Example 3 Only the parts that are different from those of Example 2 are described.
  • Example 3 Extraction Step In Example 3, the existence range E is selected by the threshold value processing, and the image feature amount is extracted from the existence range E of the bright pigment.
  • Example 3 The number of features used for judgment in Example 3 is 200, which is a combination of the maximum value for each G value angle of the image below the threshold value and the FFT amplitude for each G value angle of the entire image (FFT amplitude). Feature combination No. 2-3).
  • Example 4 Only the parts that are different from those of Example 3 are described.
  • Example 4 An image conversion step is carried out, and the RGB image is converted into an HSV image or a Lab image. In addition, FFT (Fast Fourier Transform) for RGB images is also performed.
  • FFT Fast Fourier Transform
  • Example 4 Extraction Step In Example 4, the selection of the existence range E by the threshold value processing is not carried out. Image features are extracted from the entire captured reflected image.
  • Example 5 Only the parts that are different from those of Example 4 are described.
  • Example 5 Extraction Step In Example 5, the existence range E is selected by the threshold value processing, and the image feature amount is extracted from the existence range E of the bright pigment.
  • the number of features used for judgment in Example 5 is 900, and the ratio between the angles of the maximum a value of the image below the threshold, the minimum value for each angle of the a value of the image below the threshold, and the threshold.
  • the ratio between the angles of the average V (brightness) values of the image, the ratio of the G values of the entire image between the angles of the third quartile, and the ratio of the average V (brightness) values of the entire image between the angles. (Feature quantity combination No. 2-5).
  • Example 6 Only the parts that differ from Example 5 are described.
  • the feature amount used for the judgment in Example 6 is 500, and the maximum value for each angle of the a value of the image above the threshold, the minimum value for each angle of the a value of the image above the threshold, and the image below the threshold. It is a combination of the average value for each angle of the a value and the ratio between the angles of the minimum value of the L value of the image above the threshold value (feature amount combination No. 2-6).
  • Example 7 Only the parts that differ from Example 6 are described.
  • the feature amount used for the judgment in Example 7 is 600, and is between the first quartile for each angle of the G value of the image above the threshold and the angle of the maximum value of the a value of the image below the threshold. It is a combination of the ratio, the ratio between the angles of the average value of the b values of the image above the threshold value, and the maximum value for each angle of the B value of the image below the threshold value (feature amount combination No. 2-7).
  • Example 8 Only the parts that differ from Example 7 are described.
  • the number of features used for judgment in Example 8 is 500, and the average value for each angle of the L value of the image above the threshold value, the ratio between the angles of the maximum value of the a value of the image below the threshold value, and the threshold value. It is a combination of the standard deviation for each angle of the b value of the less than image and the first quartile for each angle of the a value of the image above the threshold (feature amount combination No. 2-8).
  • Example 9 Only the parts that differ from Example 8 are described.
  • the number of features used for judgment in Example 9 is 800, the minimum value for each angle of the a value of the image below the threshold, the ratio between the angles of the maximum value of the a value of the image below the threshold, and the whole.
  • Example 10 Only the parts that are different from those of Example 9 are described.
  • Example 9 Extraction Step In Example 9, a clustering process is performed in the extraction step to classify into 20 clusters. The HSV value of the cluster with the maximum average saturation of the pixels included in each cluster is selected.
  • the number of features used for judgment in Example 10 is 660, which is the ratio between the angles of the maximum a values of images below the threshold and the first quartile of the R value of images above the threshold.
  • the ratio between angles, the minimum value of the a value of the image below the threshold for each angle, the maximum value of the H (hue) value of the entire image for each imaging angle, and the images above the threshold are clustered into 20 clusters by the Ward method in each cluster. It is a combination of the HSV value of the cluster having the maximum average value of the saturation of the included pixels (feature amount combination No. 2-10).
  • Example 11 Only the parts that are different from those of Example 9 are described.
  • Example 11 a high-luminance image extraction process is performed in the extraction step.
  • the pixel and / or pixel set closest to the primary color having the maximum hue angle of 270 degree saturation is acquired, and the image feature amount is extracted from the acquired pixel and / or pixel set.
  • the number of features used for judgment in Example 11 is 760, which is the ratio between the angles of the maximum a value of the image below the threshold and the first quartile of the R value of the image above the threshold. It is a combination of the ratio between the angles, the minimum value for each angle of the a value of the image above the threshold value, and the ratio between the angles of the maximum H (hue) value of the entire image (feature amount combination No. 2-11).
  • the reflected image is an image obtained by capturing the coating film F to be judged using an electron microscope.
  • the reflected image obtained using an electron microscope has an actual visual field size of less than 0.01 cm 2 .
  • the trained model M used in Comparative Example 2 is composed of a convolutional neural network (CNN) (machine learning model No. 1-2).
  • the trained model M of Comparative Example 2 composed of a convolutional neural network includes a convolutional layer and a pooling layer for extracting image features from a reflected image.
  • Tables 1 and 2 show the details and determination results of Examples 1 to 11 and Comparative Examples 1 to 2. Comparing Example 1 with Examples 2 to 11, the correct answer probability is higher in Examples 2 to 11. It has been shown that it is possible to determine the brilliant pigment contained in the coating film with higher accuracy by imaging the reflecting surfaces of the coating film F having a plurality of different aspecular angles to create a reflected image.
  • Example 2 Comparing Example 2 and Example 3, the probability of correct answer is higher in Example 3. Further, when comparing Example 4 and Example 5, the probability of correct answer is higher in Example 5. It has been shown that the luminescent pigment contained in the coating film can be determined with higher accuracy by performing the threshold value treatment.
  • Example 4 Comparing Example 2 and Example 4, the probability of correct answer is higher in Example 4. It has been shown that it is easier to set the optimum image feature amount and the bright pigment contained in the coating film can be determined with higher accuracy when the image conversion process is performed.
  • Example 10 Comparing Example 10 with Examples 5 to 9, the correct answer probability is higher in Example 10. It has been shown that the brilliant pigment contained in the coating film can be determined with higher accuracy by performing the clustering treatment.
  • Example 11 Comparing Example 11 with Examples 5 to 9, the probability of correct answer is higher in Example 11. It has been shown that the bright pigment contained in the coating film can be determined with higher accuracy by performing the high-luminance image extraction process.
  • Comparative Example 1 the actual field size of the reflected image acquired by using an electron microscope was less than 0.01 cm 2 , and it was not possible to extract a sufficient amount of image features for determination in the extraction step.
  • the extraction of the image feature amount is performed in the convolutional layer or the pooling layer of the convolutional neural network. It is considered that the convolutional neural network is good at edge detection of an image and not good at extracting the image feature amount of a bright pigment observed as a point.
  • Example 12 (1) Imaging process Similar to Example 1, as the coating film F to be judged for the bright material pigment determination, a solid coating color and a metallic coating color were selected from the existing toning-designed automobile top coating color reserve coating plate.
  • the image field of view of the image input unit 1C used is 30 mm ⁇ 5 mm, and the actual field of view size is 0.01 cm 2 or more.
  • the image input unit 1C images the reflective surface of the coating film F having an aspecular angle of about 15 degrees and 45 degrees.
  • the image input unit 1C saves the captured reflection image as a grayscale image.
  • Example 12 An image conversion step is carried out, and the grayscale image is converted into an L image.
  • FFT Fast Fourier Transform
  • Example 12 the selection of the existence range E by the threshold value processing is performed, and the image feature amount is extracted from the existence range E of the bright pigment. Further, in Example 12, a high-luminance image extraction process is performed in the extraction step. The pixel and / or pixel set closest to the primary color having the maximum hue angle of 270 degree saturation is acquired, and the image feature amount is extracted from the acquired pixel and / or pixel set. In Example 12, the measurement of the spectral reflectance and the extraction of the spectral reflection feature amount from the spectral reflectance are not carried out.
  • the number of feature amounts used for judgment in Example 12 is 248, which is a combination of feature amounts consisting of (A) and (B) shown below (feature amount combination No. 2-12). .. (A) Mean value, standard deviation, distortion, sharpness, maximum value of L value for the whole image of the reflected image taken at 15 degrees and 45 degrees, the image extracted only in the bright part, and the image extracted only in the dark part. , 95th percentile, 90th percentile, 75th percentile, 50th percentile, 25th percentile, 10th percentile, 5th percentile, minimum value, difference between maximum and minimum values, difference between 95th percentile and 5th percentile, and reflection image taken at 15 degrees.
  • the trained model M used in the twelfth embodiment is composed of a decision tree (Gradient Boosting Decision Tree) using gradient boosting (machine learning model No. 1-3).
  • Example 13 Only the parts that are different from Example 12 are described.
  • Example 13 the image input unit 1C measures the spectral reflectance at a colorimetric angle corresponding to the imaging angle at which the reflecting surface is imaged.
  • Example 13 the existence range E is selected by the threshold value processing, and the image feature amount is extracted from the existence range E of the bright pigment. Further, in the thirteenth embodiment, the high-luminance image extraction process is performed in the extraction step. The pixel and / or pixel set closest to the primary color having the maximum hue angle of 270 degree saturation is acquired, and the image feature amount is extracted from the acquired pixel and / or pixel set. Further, in Example 13, the spectral reflection feature amount is extracted from the measured spectral reflectance. The extracted spectral reflection features include features related to the reflectance of the spectrum.
  • Example 13 The number of features used for the determination in Example 13 is 403, which is a combination of features (A) and (B) shown in Example 12 and (C) shown below (feature combination). No. 2-13).
  • C Spectral reflectance of 400 to 700 nm with angles from specular reflection of 15 degrees, 25 degrees, 45 degrees, 75 degrees, and 110 degrees with respect to 45 degrees incident light with specular reflection light as 0 degrees.
  • Table 3 shows the details of Examples 12 to 13 and the determination results. Comparing Comparative Example 2 and Example 12, the probability of correct answer is higher in Example 12. By performing threshold processing and high-brightness image extraction processing on the grayscale image, the brilliant pigment contained in the coating film can be used as compared with Comparative Example 2 in which the convolutional neural network is used to extract the image feature amount of the RGB image. It has been shown that it can be judged with high accuracy.
  • Example 12 Comparing Example 1 to Example 2 with Example 12, the probability of correct answer is higher in Example 12 even though the grayscale image is used. It has been shown that even when a grayscale image is used, the brilliant pigment contained in the coating film can be determined with high accuracy by performing the threshold value processing and the high-luminance image extraction processing.
  • Example 12 Comparing Example 12 and Example 13, the probability of correct answer is higher in Example 13. It has been shown that even when a grayscale image is used, the spectroscopic reflection feature amount related to the reflectance of the spectrum can be used in the extraction step to determine the bright pigment contained in the coating film with higher accuracy. ing.
  • the present invention can be applied to an apparatus for evaluating a painted coating film or the like.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Analysis (AREA)

Abstract

光輝性顔料判定方法は、光輝性顔料を含む被判定対象から前記光輝性顔料を判定する方法であって、前記被判定対象の反射面を撮像素子で撮像する撮像工程と、撮像された反射画像から画像特徴量を抽出する抽出工程と、前記画像特徴量に基づき、前記光輝性顔料の種別および／または含有量を、前記画像特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定する判定工程と、を備え、前記反射画像の実視野サイズは０．０１ｃｍ２以上である。

Description

光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム
　本発明は、光輝性顔料を含む被判定対象から前記光輝性顔料を判定する光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラムに関するものである。本願は、２０１９年０６月２８日に、日本国に出願された特願２０１９－１２１９３６号に基づき優先権を主張し、その内容をここに援用する。
　高意匠性塗色を得るために、アルミニウムフレーク顔料や干渉マイカ顔料等の光輝性顔料（光輝材ともいう）を用いた光輝材含有塗膜が、自動車外板等に多く使用されている。
　例えば自動車外板の補修塗装を行うにあたって、このような光輝材含有塗膜の光輝材種類や有無を非破壊的計測方法で簡便に識別できることが望まれている。
　従来、光輝性顔料を含む塗膜から含まれる光輝性顔料を判定するために、目視確認や顕微鏡観察による判定作業が行われている。しかし、このような判定作業による判定精度は、観察者の経験や知識などに依存したり、撮影装置が高額もしくは大掛かりであったり、解析に時間がかかるものであった。
　例えば、特許文献１には、変角分光反射率データのうちの受光角を変数とする変角反射率データを数値処理して求めた変角指標および波長を変数とする分光反射率データを数値処理して求めた分光指標の２つの指標の相関情報に基づいて光輝材の種類を識別する方法が記載している。しかしながら、近年さらに高意匠性化のため、アルミニウムフレーク顔料や干渉マイカ顔料の光輝性顔料を複数用いたり、パールクリヤーなどの複層構造となっていたり、より多種多様で複雑な仕様が存在するため、この方法で識別することが困難となってきている。
　一方、特許文献２には、光輝性顔料を含む塗膜を撮像して得られた画像から光輝性顔料の粒子１個を含むその近傍部分の画像データを処理対象画像データとして抽出した画像特徴量と光輝性顔料の情報とを関連付けたデータベースを用いた光輝性顔料の同定方法等が記載されている。データベースにおいて画像特徴量と光輝性顔料の情報とはニューラルネットワークにより事前学習により関連付けられている。特許文献１に記載された光輝性顔料の同定方法等は、予め作成されたデータベースを照合することで光輝性顔料の銘柄等の判定や推定を容易に行うことができる。しかしながら、高倍率かつ高額な顕微鏡装置での撮像が必要であり、光輝性顔料の粒子１個を含むその近傍部分の画像データを処理対象画像データとして複数個撮像する必要があり、時間がかかるものであった。また、このような顕微鏡装置は通常手軽に持ち運びをすることができず不便であった。
　特許文献３は、標的コーティングから画像データを取得することと、前記画像データから少なくとも１つの輝点を判定するように、前記プロセッサを使用して画像分析を行うことと、前記輝点から輝色を判定するように、前記プロセッサを使用して色相分析を行うことと、前記プロセッサを使用して、輝色分布を計算することと、前記プロセッサを使用して、前記標的コーティングと外観が同一であるか、または実質的似する、コーティング調合を生成することとを含む、コンピュータ実装方法を開示している。この方法は、画像データの取得は簡便であるものの、少なくとも１つの輝点ができるだけ判別されうるよう色相分析や輝色分布を計算することが必須となっており、時間がかかるものであった。また、複層塗膜等、複雑化した構成の塗膜の識別には不向きであった。
特開２００３－２９４６２２号公報 特開２００７－２１８８９５号公報 特表２０１７－５３５７７１号公報
　しかしながら、近年、塗膜に含まれる光輝性顔料は新しい材料を用いるものや複数の材料が組み合わされたものが次々と開発されて使用されている。そのため、塗膜に含まれる光輝性顔料を判定することは従来より困難となってきている。そこで、光輝性顔料を含む塗膜から含まれる光輝性顔料をより高い精度で判定可能な判定方法等が望まれている。
　上記事情を踏まえ、本発明は、塗膜に含まれる光輝性顔料を従来より手軽でありながらかつ高い精度で判定可能な光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラムを提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本実施形態の第一の態様に係る光輝性顔料判定方法は、光輝性顔料を含む被判定対象から前記光輝性顔料を判定する方法であって、前記被判定対象の反射面を撮像素子で撮像する撮像工程と、撮像された反射画像から画像特徴量を抽出する抽出工程と、前記画像特徴量に基づき、前記光輝性顔料の種別および／または含有量を、前記画像特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定する判定工程と、を備え、前記反射画像の実視野サイズは０．０１ｃｍ２以上である。
　本実施形態の第二の態様に係る光輝性顔料判定装置は、被判定対象の反射面を撮像素子で撮像する画像入力部と、撮像された反射画像から画像特徴量を抽出する抽出部と、前記画像特徴量に基づき、光輝性顔料の種別および／または含有量を、前記画像特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定する判定部と、前記判定部の判定結果を表示する出力部と、を備え、前記反射画像の実視野サイズは０．０１ｃｍ２以上である。
　本実施形態の第三の態様に係る光輝性顔料判定プログラムは、実視野サイズが０．０１ｃｍ２以上である撮像素子を有する画像入力部と、抽出部と、判定部と、を備える光輝性顔料判定装置を制御するプログラムであって、前記画像入力部に、被判定対象の反射面を前記撮像素子で撮像させ、前記抽出部に、撮像された反射画像から画像特徴量を抽出させ、前記判定部に、前記画像特徴量に基づき、光輝性顔料の種別および／または含有量を、前記画像特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定させる。
　本発明の光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラムによれば、塗膜に含まれる光輝性顔料を従来より手軽でありながらかつ高い精度で判定可能である。
本発明の第一実施形態に係る光輝性顔料判定装置の全体構成図である。 同光輝性顔料判定装置の画像入力部の概要を示す図である。 同画像入力部で塗膜の反射面を撮像した反射画像の一例である。 同画像入力部で塗膜の反射面を撮像した反射画像の一例である。 同画像入力部で塗膜の反射面を撮像した反射画像の一例である。 アスペキュラー角を説明する図である。 同光輝性顔料判定装置のコンピュータの構成図である。 同コンピュータが光輝性顔料の判定プログラムを実行する場合におけるコンピュータの機能ブロック図である。
（第一実施形態）
　本発明の第一実施形態について、図１から図８を参照して説明する。
［光輝性顔料］
　本実施形態に係る光輝性顔料判定方法が判定可能な光輝性顔料は、例えば、蒸着金属フレーク顔料、アルミニウムフレーク顔料、光干渉性顔料等である。
　蒸着金属フレーク顔料は、ベース基材上に金属膜を蒸着させ、ベース基材を剥離した後、蒸着金属膜を粉砕することにより得られる顔料である。上記金属の材質としては、特に限定されるものではないが、例えば、アルミニウム、金、銀、銅、真鍮、チタン、クロム、ニッケル、ニッケルクロム、ステンレス等が挙げられる。
　上記蒸着アルミニウムフレーク顔料として使用できる市販品としては例えば、「ＭＥＴＡＬＵＲＥ」シリーズ（商品名、エカルト社製）、「Ｈｙｄｒｏｓｈｉｎｅ　ＷＳ」シリーズ（商品名、エカルト社製）、「Ｄｅｃｏｍｅｔ」シリーズ（商品名、シュレンク社製）、「Ｍｅｔａｓｈｅｅｎ」シリーズ（商品名、ＢＡＳＦ社製）等を挙げることができる。
　上記蒸着クロムフレーク顔料として使用できる市販品としては例えば、「Ｍｅｔａｌｕｒｅ　Ｌｉｑｕｉｄ　Ｂｌａｃｋ」シリーズ（商品名、エカルト社製）等を挙げることができる。
　蒸着アルミニウムフレーク顔料は、表面がシリカ処理されているものであってもよい。
　アルミニウムフレーク顔料は、一般にアルミニウムをボールミルやアトライターミル中で粉砕媒液の存在下、粉砕助剤を用いて粉砕、摩砕して製造され、塗料用としては通常平均粒子径（Ｄ５０）が１～５０μｍ程度、特に５～２０μｍ程度のものが、塗料中における安定性や形成される塗膜の仕上がりの点から使用される。
　上記アルミニウムフレーク顔料として使用できる市販品としては例えば、「アルペースト」シリーズ（商品名、東洋アルミ社製）等を挙げることができる。
　アルミニウムフレーク顔料は、表面がシリカ処理されているものであってもよい。
　上記光干渉性顔料は、透明又は半透明の鱗片状基材に、金属酸化物が被覆された顔料である。該鱗片状基材としては、例えば、天然マイカ、人工マイカ、アルミナフレーク、シリカフレーク、ガラスフレーク等を挙げることができる。該天然マイカとは、鉱石のマイカ（雲母）を粉砕した鱗片状基材である。一方、上記人工マイカとは、フッ素金雲母（ＫＭｇ３ＡｌＳｉ３Ｏ１０Ｆ２）、カリウム四ケイ素雲母（ＫＭｇ２５ＡｌＳｉ４Ｏ１０Ｆ２）、ナトリウム四ケイ素雲母（ＮａＭｇ２５ＡｌＳｉ４Ｏ１０Ｆ２）、Ｎａテニオライト（ＮａＭｇ２ＬｉＳｉ４Ｏ１０Ｆ２）、ＬｉＮａテニオライト（ＬｉＭｇ２ＬｉＳｉ４Ｏ１０Ｆ２）等の工業原料を加熱し、約１５００℃の高温で熔融し、冷却して結晶化させて合成したものであり、天然のマイカと比較した場合において、不純物が少なく、大きさや厚さが均一なものである。
　上記アルミナフレークとは、鱗片状（薄片状）酸化アルミニウムを意味し、無色透明なものである。該酸化アルミニウムは単一成分である必要はなく、他の金属の酸化物を含有するものであってもよい。
　上記シリカフレークとは、鱗片状のシリカである。上記ガラスフレークとは、鱗片状のガラスである。
　上記金属酸化物とは、酸化チタン、酸化鉄等を挙げることができる。上記鱗片状基材を被覆する金属酸化物の厚さによって異なる干渉色を発現することができるものである。
　上記光干渉性顔料は、表面処理されていることが、貯蔵安定性、及び耐候性に優れた塗膜を得る等の観点から好ましい。
　上記光干渉性顔料として使用できる市販品としては例えば、「イリオジン」シリーズ（商品名、メルクジャパン社製）、「シラリック」シリーズ（商品名、メルクジャパン社製）等を挙げることができる。
［光輝性顔料判定装置１００］
　図１は、光輝性顔料判定装置１００の全体構成図である。
　光輝性顔料判定装置１００は、画像入力部１と、プログラム実行可能なコンピュータ２と、ＬＣＤモニタ等の出力部３と、を備える。
　図２は、画像入力部１の概要を示す図である。
　画像入力部１は、被判定対象である塗膜Ｆを照射する光源１１と、塗膜Ｆからの反射光を撮像する画像センサー１２と、を有している。本実施形態は一例であり、例えば、光源１１の位置に画像センサー１２、画像センサー１２の位置に光源１１を配置してもよい。
　光源１１は、白色光を照射するものであればよく、例えば白色ＬＥＤやハロゲンライト等である。例えば光源１１は、ＲＥＶＯＸ　ＳＬＧ－１５０Ｕである。
　画像センサー（撮像素子）１２は、光源１１からの入射光を反射する塗膜Ｆの反射面から得られる反射光を受光する。画像センサー１２は、一般的なデジタルカメラなどに搭載されたものを使用することができる。光学条件が許容される範囲により、レンズを用いて反射光を集光してもよく、レンズを用いず画像センサー１２で反射光を受光してもよい。例えば、画像センサー１２による画像取得サイズは６ｘ１０ｍｍ、視野サイズは１５ｘ４０ｍｍである。なお、画像センサー１２の画像取得サイズや視野サイズは、これに限定されない。画像センサー１２は、画像入力部１で塗膜Ｆの反射面を撮像した反射画像の実視野サイズが０．０１ｃｍ２以上となるものであれば、以降の画像処理において十分な画像を撮像できる。撮像する反射画像の実視野サイズが０．０１ｃｍ２以上であることが望ましい観点から、画像センサー１２としては一般的なデジタルカメラを用いることができる。電子顕微鏡を用いて反射画像を取得することは、以降の画像処理において必要な実視野サイズを得ることができない点、および手軽でない点で不適である。より好ましい実視野サイズとしては、０．５ｃｍ２以上、さらに１ｃｍ２以上、上限としては特に制限されないが、５０ｃｍ２以下、１０ｃｍ２以下であってもよい。画像センサー１２は、撮像素子の一例である。撮像素子は、例えば、ＣＣＤモジュール、ＣＭＯＳモジュール、フォトダイオードアレイなどである。
　光源１１により照射される塗膜Ｆの中心位置を「照射中心点Ｏ」と定義する。図２に示すように、画像センサー１２は、塗膜Ｆの照射中心点Ｏにおいて法線方向Ｎに反射した反射光が画像センサー１２に垂直に入射する位置に配置される。
　図３から図５は、画像入力部１で塗膜Ｆの反射面を撮像した反射画像の一例である。図３から図５は、塗膜Ｆの照射中心点Ｏへの入射光の法線方向Ｎに対する入射角度がそれぞれ約２５度、約４５度、約７５度となる位置に光源１１を配置して、塗膜Ｆの反射面を撮像した反射画像である。光源１１の位置を変えることで、アスペキュラー角が異なる塗膜Ｆの反射面を撮像することができる。なお、反射画像は、１つの入射角度から入光する塗膜Ｆの反射面を複数個の画像センサー１２で撮像した反射画像であっても良い。
　図６はアスペキュラー角を説明する図である。
　アスペキュラー角とは、正反射方向からの反射光の光路の傾きを示す角をいい、例えば、照明角はサンプル法線方向から４５°で、受光角は正反射光角からの角度で表現される角度のことである。例えば、国際規格であるＡＳＴＭ Ｅ２１９４にて規格化された５角度（ａｓ１５°，　２５°，　４５°，　７５°，　１１０°と表されることがある）が挙げられる。前記「ａｓ」はｓｐｅｃｕｌａｒの略で正反射からの角度を意味する。
　本実施形態においては、画像入力部１は撮像した反射画像をＲＧＢ画像として保存して、コンピュータ２に転送する。なお、撮像された反射画像の保存フォーマットは、ＲＧＢ画像フォーマットに限定されず、他の画像フォーマットであってもよい。
　図７は、コンピュータ２の構成図である。
　コンピュータ２は、プロセッサ２０と、プログラムを読み込み可能なメモリ２１と、プログラムおよびデータを記憶可能な記憶部２２と、入出力制御部２３と、を有するプログラム実行可能な処理装置である。コンピュータ２の機能は、コンピュータ２に提供されたプログラムをプロセッサ２０が実行することにより実現される。
　図８は、コンピュータ２が光輝性顔料の判定プログラムを実行する場合におけるコンピュータ２の機能ブロック図である。光輝性顔料の判定プログラムは、機能ブロックとして分別部５１と、抽出部５２と、判定部５３と、を有する。
（画像変換処理）
　分別部５１は、以降で行う分別部５１による処理の前に、画像入力部１が撮像したＲＧＢ画像フォーマットの反射画像をＨＳＶ画像やＬａｂ画像に変換してもよい（画像変換工程）。画像フォーマットを変換することで、以降の処理において抽出しやすい画像特徴量を変化させることができる。また、分別部５１はＲＧＢ画像フォーマットの画像をモノクロ画像やグレースケール画像に変換して用いてもよい。また、分別部５１はＲＧＢ画像フォーマットの画像や変換された画像に対してＦＦＴ（高速フーリエ変換）、ラプラス変換、ウェーブレット変換、畳み込みフィルタなどの処理を施した画像に変換してもよい。
（閾値処理）
　分別部５１は、画像入力部１が撮像した反射画像が入力され、反射画像における反射面の領域を、輝度差による閾値処理により光輝性顔料が存在する可能性が高い明るい範囲（存在範囲Ｅ）を選択する。分別部５１は、まず、反射画像における反射面の領域から、画像特徴量の抽出対象として光輝性顔料の存在範囲Ｅを選択する。分別部５１は、反射画像全体の色相分布を求めることなく、閾値処理によって光輝性顔料の存在範囲Ｅを特定する。
　抽出部５２は、分別部５１が分別した存在範囲Ｅから画像特徴量を抽出する。抽出する画像特徴量は、画像を構成する画素データに関する平均値、中央値、最頻値、最大値、最小値、四分位、パーセンタイル、標準偏差、歪度、尖度のいずれかを少なくともひとつ含む。なお、抽出部５２は、画像特徴量の抽出に畳み込みニューラルネットワークや再帰的ニューラルネットワークを使用してもよい。
（高輝度画像抽出処理）
　抽出部５２は、高輝度画像抽出処理により、光輝性顔料の存在範囲Ｅをさらに選別して画像特徴量を抽出してもよい。抽出部５２は、例えば、（Ａ）光輝性顔料の存在範囲Ｅの画素集合のうち、特定のＲＧＢ、ＨＳＶ、Ｌａｂ座標からの距離が最小から１０パーセンタイル以内で指定される特定範囲から取得される画素または画素集合のＲＧＢ値、輝度、彩度、色相角、Ｌａｂ値、フーリエ変換値から選ばれる少なくとも１つの色彩値と、（Ｂ）上記色彩値の平均値、中央値、最頻値、最大値、最小値、四分位、パーセンタイル、分散、標準偏差、歪度、尖度から選ばれる少なくとも１つの統計量と、のうちいずれか少なくとも一つを画像特徴量として抽出する。
　例えば、抽出部５２は、ＲＧＢ座標において赤や青からの距離が最小から１０パーセンタイル以内で指定される特定範囲から取得される画素および／または画素集合からいずれか少なくとも一つを画像特徴量として抽出する。判定したい光輝性顔料の特徴が表れやすいＲＧＢ、ＨＳＶ、Ｌａｂ座標および基準色を選ぶことで、光輝性顔料の特徴が表れやすい画素および／または画素集合を好適に取得できる。また、存在範囲Ｅから選別した画素および／または画素集合から画像特徴量を抽出することで、存在範囲Ｅから直接画像特徴量として抽出する場合と比較して、光輝性顔料の特徴が反映された画像特徴量を好適に取得できる。
（クラスタリング処理）
　抽出部５２は、クラスタリング処理により、光輝性顔料の存在範囲Ｅをさらに選別して画像特徴量を抽出してもよい。抽出部５２は、例えば、光輝性顔料の存在範囲Ｅの画素集合のＲＧＢ値、輝度、彩度、色相角、Ｌａｂ値、フーリエ変換値のいずれかを少なくとも一つを用いて光輝性顔料の存在範囲Ｅの画素集合のクラスタリングを行い、クラスタリングにより分別したクラスタを、ＲＧＢ値、輝度、彩度、色相角、Ｌａｂ値、フーリエ変換値、特定の色座標からの距離のいずれかにより順位付けし、分別したクラスタのＲＧＢ値、輝度、彩度、色相角、Ｌａｂ値、フーリエ変換値の平均値、中央値、最頻値、最大値、最小値、四分位、パーセンタイル、分散、標準偏差、歪度、尖度のいずれかを少なくとも一つを画像特徴量として抽出する。
　例えば、抽出部５２は、Ｋ－ｍｅａｎｓを用いてクラスタリング処理を行う。クラスタリング処理は、単リンク法、完全リンク法、群平均法、ウォード法、重心法、重み付き平均法、メジアン法、ＤＢＳＣＡＮ、ＯＰＴＩＣＳ、Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ、Ｂｉｒｃｈ法などであってもよい。抽出部５２は、光輝性顔料の存在範囲Ｅの画素集合のクラスタリングを行い、クラスタリングにより分別したクラスタから、例えばＲＧＢ値が一番大きいクラスタを選択して画像特徴量を抽出する。光輝性顔料が存在する可能性が高いクラスタから画像特徴量を抽出することで、光輝性顔料の特徴が反映された画像特徴量を好適に取得できる。
　判定部５３は、存在範囲Ｅごとに抽出された画像特徴量に基づき、光輝性顔料と画像特徴量との関係を学習した学習結果である「学習済みモデルＭ」を用いて光輝性顔料を判定する。本実施形態において、学習済みモデルＭは勾配ブースティングを用いた決定木（Ｇｒａｄｉｅｎｔ　Ｂｏｏｓｔｉｎｇ　Ｄｅｃｉｓｉｏｎ　Ｔｒｅｅ）で構成される。学習済みモデルＭの入力は、抽出部５２が抽出した画像特徴量である。学習済みモデルＭの出力は、判定した光輝性顔料の種類である。判定された光輝性顔料の種類は、出力部３に出力される。
　学習済みモデルＭは、光輝性顔料判定装置１００のコンピュータ２で実行される光輝性顔料の判定プログラムの一部のプログラムモジュールとして提供される。なお、コンピュータ２は、学習済みモデルＭを実行する専用の論理回路等を有していてもよい。
［学習済みモデルＭの生成］
　学習済みモデルＭは、後述する教師データに基づいて、事前の学習により生成する。学習済みモデルＭの生成は、光輝性顔料判定装置１００のコンピュータ２により実施してもよいし、コンピュータ２より演算能力が高い他のコンピュータを用いて実施してもよい。
　学習済みモデルＭの生成は、周知の技術である勾配降下法などによる教師あり学習によって行われ、決定木の重み付け係数等が更新される。
　本実施形態においては、含まれる光輝性顔料が既知である塗膜を事前に撮像した反射画像が教師データである。以降の説明において、学習のために事前に撮像した反射画像を「学習用反射画像」という。具体的には、学習用反射画像と塗膜に含まれる光輝性顔料種別コードとの組み合わせが教師データである。
　教師データは、学習用反射画像の撮像条件を変えて、可能な限り多様なものを用意することが望ましい。特に多様な撮像条件の教師データを用意することで、様々な条件において発生するノイズに対してＳ／Ｎ識別能が高く、かつ、ロバストな光輝性顔料の判定が可能な学習済みモデルＭを生成することができる。
　コンピュータ２は、事前学習において、分別部５１の処理と同様に、学習用反射画像から画像特徴量の抽出対象として、輝度差による閾値処理により光輝性顔料の存在範囲Ｅを選択する。コンピュータ２は、事前学習において、抽出部５２の処理と同様に、存在範囲Ｅから画像特徴量を抽出する。事前学習において抽出される画像特徴量の種類は、抽出部５２が抽出するものを同じである。
　コンピュータ２は、事前学習において抽出した学習用反射画像の画像特徴量を入力とし、光輝性顔料種別コードを出力する学習済みモデルＭを教師あり学習により生成する。
［光輝性顔料判定装置１００の動作］
　光輝性顔料判定装置１００を用いた光輝性顔料判定方法について述べる。
　画像入力部１が、アスペキュラー角が異なる塗膜（被判定対象）Ｆの反射面を一般的なデジタルカメラで撮像する（撮像工程）。
　コンピュータ２は、撮像工程において撮像された反射画像における反射面の領域から、輝度差による閾値処理により光輝性顔料の存在範囲Ｅを、画像特徴量の抽出対象として選択する。コンピュータ２は、選択された光輝性顔料の存在範囲Ｅから画像特徴量を抽出する（抽出工程）。コンピュータ２は、必要に応じて高輝度画像抽出処理やクラスタリング処理により、光輝性顔料の存在範囲Ｅをさらに選別して画像特徴量を抽出してもよい。
　コンピュータ２は、存在範囲Ｅから抽出された画像特徴量に基づき、光輝性顔料と画像特徴量との関係を学習した「学習済みモデルＭ」を用いて光輝性顔料の種別を判定する（判定工程）。この際、学習済みモデルＭの出力の正解率に基づいて、学習済みモデルＭの再学習を実施してもよい。
　出力部３は、判定された光輝性顔料の種類を表示する。
　本実施形態に係る光輝性顔料判定装置１００によれば、ＣＣＤ、ＣＭＯＳなどのエリアイメージセンサやデジタルカメラなどの一般的な撮像機器を用いていることから、特別大きな空間や準備時間などを要することなく容易に実施ができ、かつ、撮像した画像は顕微鏡に比べて実視野サイズが十分に大きいことから、精度良く光輝性顔料の判定をすることができる。
　本実施形態に係る光輝性顔料判定装置１００によれば、輝度差による閾値処理により、画像特徴量を抽出対象となる光輝性顔料の存在範囲Ｅを選択する。反射画像全体の色相分布を求めることなく、画像特徴量を抽出対象となる光輝性顔料の存在範囲Ｅを簡単に特定できる。
　本実施形態に係る光輝性顔料判定装置１００によれば、必要に応じて高輝度画像抽出処理やクラスタリング処理により、光輝性顔料の存在範囲Ｅをさらに選別して画像特徴量を抽出する。光輝性顔料の特徴が表れやすい画素やクラスタから画像特徴量を抽出することで、塗膜に含まれる光輝性顔料を従来より手軽でかつ高い精度で判定できる。
　なお、光輝性顔料の判定プログラムは、コンピュータ読み取り可能な記録媒体に記録される。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第一実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（変形例１）
　例えば、上記実施形態では、学習済みモデルＭは勾配ブースティングを用いた決定木で構成されていたが、学習済みモデルの態様はこれに限定されない。学習済みモデルは画像特徴量から光輝性顔料の種類を決定して出力するモデルであれば、例えば、線形回帰、ロジスティック回帰、単純パーセプトロン、ＭＬＰ、ニューラルネットワーク、サポートベクターマシン、ランダムフォレスト、ガウス過程、ベイジアンネットワーク、ｋ近傍法その他機械学習で用いられるモデルで構成されていてもよい。
（変形例２）
　例えば、上記実施形態では、判定工程において光輝性顔料の種別を行っていたが、判定工程の態様はこれに限定されない。判定工程は、例えば、光輝性顔料の含有量の判定も合わせて実施してもよい。この場合、学習済みモデルの入力は、抽出部５２が抽出した画像特徴量であり、学習済みモデルの出力は、判定した光輝性顔料の種類および光輝性顔料の含有量である。学習済みモデルは、学習用反射画像と塗膜に含まれる光輝性顔料の種別コードと光輝性顔料の含有量の組み合わせを教師データとして学習したものとなる。
（第二実施形態）
　本発明の第二実施形態に係る光輝性顔料判定装置１００Ｂについて説明する。以降の説明において、すでに説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。光輝性顔料判定装置１００Ｂは、画像入力部が第一実施形態と異なっている。
［光輝性顔料判定装置１００Ｂ］
　光輝性顔料判定装置１００Ｂは、画像入力部１Ｂと、プログラム実行可能なコンピュータ２と、ＬＣＤモニタ等の出力部３と、を備える。
　画像入力部１Ｂは、多角度から撮像できる撮像機器であって、例えば、ｘ－ｒｉｔｅ社のＭＡＴ６、Ｔ１２等の測色機が挙げられる。例えば、ｘ－ｒｉｔｅ社のＭＡＴ６を用いた場合は、受光部の角度は法線方向Ｎから１５度であり、撮像角度が７種類（アスペキュラー角－４５度、アスペキュラー角－３０度、アスペキュラー角－１５度、アスペキュラー角１５度、アスペキュラー角４５度、アスペキュラー角８０度および拡散光照射画像の１種類）で撮像可能である。画像入力部１Ｂは、測色機に限定されず、内蔵されたデジタルカメラにより適宜撮像角度を変更して、反射面を撮像する撮像機器であればよい。画像入力部１Ｂが内蔵するデジタルカメラは、第一実施形態の画像センサー１２を搭載し、撮像する反射画像の実視野サイズが０．０１ｃｍ２以上である。画像入力部１Ｂは、アスペキュラー角が異なる反射面を撮像した反射画像をＲＧＢ画像として保存して、コンピュータ２に転送する。
　コンピュータ２の分別部５１は、画像入力部１Ｂが撮像した複数の反射画像が入力され、輝度差による閾値処理により存在範囲Ｅを選択する。以下の工程は、第一実施形態と同様である。
　本実施形態に係る光輝性顔料判定装置１００Ｂによれば、第一実施形態の光輝性顔料判定装置１００同様、輝度差による閾値処理により、画像特徴量を抽出対象となる光輝性顔料の存在範囲Ｅを選択する。反射画像全体の色相分布を求めることなく、画像特徴量を抽出対象となる光輝性顔料の存在範囲Ｅを簡単に特定できる。必要に応じて高輝度画像抽出処理やクラスタリング処理により、光輝性顔料の存在範囲Ｅをさらに選別して画像特徴量を抽出する。光輝性顔料の特徴が表れやすい画素やクラスタから画像特徴量を抽出することで、塗膜に含まれる光輝性顔料を従来より手軽かつ高い精度で判定できる。
　本実施形態に係る光輝性顔料判定装置１００Ｂによれば、画像入力部１Ｂとして測色機を使用するため、第一実施形態の光輝性顔料判定装置１００と比較して、入射角度ごとの反射画像を精度高く取得でき、より精度の高い画像特徴量を抽出して判定に用いることができる。
　以上、本発明の第二実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第二実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（第三実施形態）
　本発明の第三実施形態に係る光輝性顔料判定装置１００Ｃについて説明する。以降の説明において、すでに説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。光輝性顔料判定装置１００Ｃは、分光反射率を用いる点が第二実施形態と異なっている。
［光輝性顔料判定装置１００Ｃ］
　光輝性顔料判定装置１００Ｃは、画像入力部１Ｃと、プログラム実行可能なコンピュータ２と、ＬＣＤモニタ等の出力部３と、を備える。
　画像入力部１Ｃは、第二実施形態の画像入力部１Ｂに対して、複数の測色角度から分光反射率を測定できる測色計または分光測色計をさらに含むものである。測色計または分光測色計（分光光度計と呼ばれることもある）は、色特性を識別する際に用いる場合において、スペクトルの可視領域内において複数の視角で測色が可能な装置であれば特に制限されない。測色計または分光測色計を含む画像入力部１Ｃは、持ち運び可能な装置であることが好ましい。画像入力部１Ｃは、第二実施形態同様、内蔵されたデジタルカメラの画像センサー１２により反射面を撮像する。加えて、画像入力部１Ｃは、測色計または分光測色計に内蔵された受光器により分光反射率を取得する。画像入力部１Ｃは、例えばｘ－ｒｉｔｅ社のＭＡＴ６、Ｔ１２等の測色機を用いることができる。例えば、ｘ－ｒｉｔｅ社のＭＡＴ６を用いた場合は、受光器の角度は法線方向Ｎから４５度であり、測色角度が６角度（アスペキュラー角－１５度、アスペキュラー角１５度、アスペキュラー角２５度、アスペキュラー角４５度、アスペキュラー角７５度、アスペキュラー角１１０度）により分光反射率を測定できる。
　本実施形態においては、画像入力部１Ｃは、撮像角度において撮像した反射画像をＲＧＢ画像として保存して、さらに反射面が撮像された撮像角度に対応する測色角度における分光反射率を測定する（測定工程）。画像入力部１Ｃは、反射画像の撮像と分光反射率の測定とを同時に行ってもよいし、別々に行ってもよい。さらに、反射画像の撮像と分光反射率の測定とは別々の機器で実施されてもよい。例えば、反射画像の撮像は、第一実施形態の画像入力部１Ａや第二実施形態の画像入力部１Ｂを用いて実施されてもよい。
　画像入力部１Ｃは、ＲＧＢ画像と対応する分光反射率をコンピュータ２に転送する。なお、撮像された反射画像の保存フォーマットは、ＲＧＢ画像フォーマットに限定されず、他の画像フォーマットであってもよい。画像入力部１Ｃは、ＲＧＢ画像でなくモノクロ画像やグレースケール画像を撮像してもよい。
　画像入力部１Ｃが撮像した反射画像は、第一実施形態と同様、画像特徴量の抽出に用いられる。反射画像には必要に応じて高輝度画像抽出処理やクラスタリング処理が実施される。
　画像入力部１Ｃが測定した分光反射率は、分光反射特徴量の抽出に用いられる。分光反射特徴量は、以下に例示される特徴量である。分光反射特徴量は、二以上の特徴量の組み合わせであってもよい。
（１）スペクトルの反射率または反射強度のその値、最大、最小、中央値、四分位またはパーセンタイル
（２）スペクトルの反射率または反射強度の最大、最小、中央値、四分位、またはパーセンタイルとなる波長
（３）スペクトルの反射率または反射強度の平均、分散、標準偏差、尖度、または歪度
（４）スペクトルの反射率または反射強度に対する畳み込みフィルタ、フーリエ変換またはウェーブレット変換により得られた値
（５）スペクトルの反射率または反射強度のピーク波長、またはスペクトルの反射率または反射強度のピーク間の差または比
　判定部５３は、存在範囲Ｅごとに抽出された画像特徴量と、対応する分光反射率から抽出された分光反射特徴量とに基づき、光輝性顔料と画像特徴量と分光反射特徴量との関係を学習した学習結果である「学習済みモデルＭ２」を用いて光輝性顔料を判定する（判定工程）。分光反射特徴量は、分光反射率そのものであってもよい。
　本実施形態において、学習済みモデルＭ２は勾配ブースティングを用いた決定木（Ｇｒａｄｉｅｎｔ　Ｂｏｏｓｔｉｎｇ　Ｄｅｃｉｓｉｏｎ　Ｔｒｅｅ）で構成される。学習済みモデルＭ２の入力は、抽出部５２が抽出した画像特徴量と分光反射特徴量である。学習済みモデルＭ２の出力は、判定した光輝性顔料の種類である。判定された光輝性顔料の種類は、出力部３に出力される。
　学習済みモデルＭ２は、教師データに基づいて、事前の学習により生成する。学習済みモデルＭ２の生成は、光輝性顔料判定装置１００のコンピュータ２により実施してもよいし、コンピュータ２より演算能力が高い他のコンピュータを用いて実施してもよい。
　本実施形態においては、含まれる光輝性顔料が既知である塗膜を事前に撮像した反射画像が教師データである。具体的には、学習用反射画像と塗膜に含まれる光輝性顔料種別コードとの組み合わせが教師データである。
　コンピュータ２は、事前学習において、分別部５１の処理と同様に、学習用反射画像から画像特徴量と分光反射特徴量の抽出対象として、輝度差による閾値処理により光輝性顔料の存在範囲Ｅを選択する。コンピュータ２は、事前学習において、抽出部５２の処理と同様に、存在範囲Ｅから画像特徴量と分光反射特徴量を抽出する。事前学習において抽出される画像特徴量と分光反射特徴量の種類は、抽出部５２が抽出するものを同じである。
　コンピュータ２は、事前学習において抽出した学習用反射画像の画像特徴量と分光反射特徴量を入力とし、光輝性顔料種別コードを出力する学習済みモデルＭを教師あり学習により生成する。
　本実施形態に係る光輝性顔料判定装置１００Ｃによれば、画像入力部１Ｃが測色計または分光測色計を有しているため、第一実施形態の光輝性顔料判定装置１００と比較して、入射角度ごとの反射画像および分光反射率を取得でき、画像特徴量に加え分光反射率を抽出して判定に用いることができる。
　以下、本発明を実施例に基づいて詳細に説明するが、本発明の技術範囲はこれらの実施例に限定されるものではない。
＜実施例１＞
（１）撮像工程　
　光輝材顔料判定の被判定対象である塗膜Ｆとして、既存の調色設計した自動車上塗り塗色の控え塗板から、ソリッド塗色およびメタリック塗色を選択した。ここで、メタリック塗色とは、アルミフレーク、マイカフレーク等の鱗片状顔料（光輝材顔料）を含む塗色を意味し、ソリッド塗色とは前記光輝材を顔料として含有しない塗色を意味する。控え塗板とは、前述のソリッド塗色およびメタリック塗色が得られるように調整された塗料を、所定の大きさの基材に塗装し、さらにクリヤー塗料を塗装した試験板である。
　使用した画像入力部１の撮像視野は３０ｍｍｘ５ｍｍであり、実視野サイズが０．０１ｃｍ２以上である。画像入力部１は、アスペキュラー角が約１５度である塗膜Ｆの反射面を撮像する。画像入力部１は撮像した反射画像をＲＧＢ画像として保存する。
（２）画像変換工程
　実施例１においては、画像変換工程は実施されていない。
（３）抽出工程
　実施例１においては、閾値処理による存在範囲Ｅの選択は実施されていない。撮像された反射画像の全体から画像特徴量が抽出される。
（４）判定工程
　実施例１において判定に用いられた特徴量は８個であり、単角度全体画像のＲ値の最大値と標準偏差、単角度全体画像のＧ値の中央値と最大値と標準偏差、単角度全体画像のＧ値の最大値と最小値と標準偏差、の組み合わせである（特徴量組み合わせＮｏ．２－１）。
　また、実施例１において使用された学習済みモデルＭは勾配ブースティングを用いた決定木（Ｇｒａｄｉｅｎｔ　Ｂｏｏｓｔｉｎｇ　Ｄｅｃｉｓｉｏｎ　Ｔｒｅｅ）で構成される（機械学習モデルＮｏ．１－３）。
＜実施例２＞
　実施例１と比較して異なる部分のみを記載する。
（１）撮像工程　
　画像入力部１は、アスペキュラー角が約１５度、２５度、４５度、７５度、１１０度である塗膜Ｆの反射面を撮像し、それぞれを反射画像としてＲＧＢ画像として保存する。
（４）判定工程
　実施例２において判定に用いられた特徴量は２００個であり、全体画像のＢ値の角度ごと最大値、全体画像のＧ値の角度ごと平均値、の組み合わせである（特徴量組み合わせＮｏ．２－２）。
＜実施例３＞
　実施例２と比較して異なる部分のみを記載する。
（３）抽出工程
　実施例３においては、閾値処理による存在範囲Ｅの選択は実施され、光輝性顔料の存在範囲Ｅから画像特徴量が抽出される。
（４）判定工程
　実施例３において判定に用いられた特徴量は２００個であり、閾値以下画像のＧ値の角度ごと最大値、全体画像のＧ値の角度ごとＦＦＴ振幅、の組み合わせである（特徴量組み合わせＮｏ．２－３）。
＜実施例４＞
　実施例３と比較して異なる部分のみを記載する。
（２）画像変換工程
　実施例４においては、画像変換工程が実施され、ＲＧＢ画像は、ＨＳＶ画像やＬａｂ画像に変換されている。また、ＲＧＢ画像に対するＦＦＴ（高速フーリエ変換）も実施している。
（３）抽出工程
　実施例４においては、閾値処理による存在範囲Ｅの選択は実施されていない。撮像された反射画像の全体から画像特徴量が抽出される。
（４）判定工程
　実施例４において判定に用いられた特徴量は３００個であり、全体画像のＳ値の角度ごと第３四分位、全体画像のa値の角度ごと最大値、全体画像のｂ値の第３四分位、の組み合わせである（特徴量組み合わせＮｏ．２－４）。
＜実施例５＞
　実施例４と比較して異なる部分のみを記載する。
（３）抽出工程
　実施例５においては、閾値処理による存在範囲Ｅの選択は実施され、光輝性顔料の存在範囲Ｅから画像特徴量が抽出される。
（４）判定工程
　実施例５において判定に用いられた特徴量は９００個であり、閾値未満画像のa値の最大値の角度間の比、閾値未満画像のa値の角度ごと最小値、閾値以上画像のＶ（明度）値の平均値の角度間の比、全体画像のＧ値の第３四分位の角度間の比、全体画像のＶ（明度）値の平均値の角度間の比、の組み合わせである（特徴量組み合わせＮｏ．２－５）。
＜実施例６＞
　実施例５と比較して異なる部分のみを記載する。
（４）判定工程
　実施例６において判定に用いられた特徴量は５００個であり、閾値以上画像のa値の角度ごと最大値、閾値以上画像のa値の角度ごと最小値、閾値未満画像のa値の角度ごと平均値、閾値以上画像のＬ値の最小値の角度間の比、の組み合わせである（特徴量組み合わせＮｏ．２－６）。
＜実施例７＞
　実施例６と比較して異なる部分のみを記載する。
（４）判定工程
　実施例７において判定に用いられた特徴量は６００個であり、閾値以上画像のＧ値の角度ごと第１四分位、閾値未満画像のa値の最大値の角度間の比、閾値以上画像のｂ値の平均値の角度間の比、閾値未満画像のＢ値の角度ごと最大値、の組み合わせである（特徴量組み合わせＮｏ．２－７）。
＜実施例８＞
　実施例７と比較して異なる部分のみを記載する。
（４）判定工程
　実施例８において判定に用いられた特徴量は５００個であり、閾値以上画像のＬ値の角度ごと平均値、閾値未満画像のa値の最大値の角度間の比、閾値未満画像のｂ値の角度ごと標準偏差、閾値以上画像のa値の角度ごと第１四分位、の組み合わせである（特徴量組み合わせＮｏ．２－８）。
＜実施例９＞
　実施例８と比較して異なる部分のみを記載する。
（４）判定工程
　実施例９において判定に用いられた特徴量は８００個であり、閾値未満画像のa値の角度ごと最小値、閾値未満画像のa値の最大値の角度間の比、全体画像のＲ値の第1四分位の角度間の比、閾値以上画像のa値の角度ごとの第３四分位、閾値以上画像のa値の標準偏差の角度間の比、の組み合わせである（特徴量組み合わせＮｏ．２－９）。
＜実施例１０＞
　実施例９と比較して異なる部分のみを記載する。
（３）抽出工程
　実施例９においては、抽出工程においてクラスタリング処理を実施して２０クラスタに分類している。各クラスタに含まれる画素の彩度の平均値が最大であるクラスタのＨＳＶ値を選択している。
（４）判定工程
　実施例１０において判定に用いられた特徴量は６６０個であり、閾値未満画像のa値の最大値の角度間の比、閾値以上画像のＲ値の第1四分位の角度間の比、閾値未満画像のa値の角度ごとの最小値、撮像角度ごとの全体画像のＨ（色相）値の最大値、閾値以上画像をＷａｒｄ法により２０クラスタにクラスタリングして各クラスタに含まれる画素の彩度の平均値が最大であるクラスタのＨＳＶ値、の組み合わせである（特徴量組み合わせＮｏ．２－１０）。
＜実施例１１＞
　実施例９と比較して異なる部分のみを記載する。
（３）抽出工程
　実施例１１においては、抽出工程において高輝度画像抽出処理を実施している。色相角２７０度彩度最大値である原色からの距離が最も近い画素および／または画素集合を取得し、取得された画素および／または画素集合から画像特徴量が抽出される。
（４）判定工程
　実施例１１において判定に用いられた特徴量は７６０個であり、閾値未満画像のa値の最大値の角度間の比、閾値以上画像のＲ値の第1四分位の角度間の比、閾値以上画像のa値の角度ごと最小値、全体画像のＨ（色相）値の最大値の角度間の比、の組み合わせである（特徴量組み合わせＮｏ．２－１１）。
＜比較例１＞
（１）撮像工程　
　比較例１において、反射画像は被判定対象である塗膜Ｆを電子顕微鏡を用いて撮像した画像である。電子顕微鏡を用いて取得した反射画像は実視野サイズが０．０１ｃｍ２未満である。
＜比較例２＞
　実施例２と比較して異なる部分のみを記載する。
　また、比較例２において使用された学習済みモデルＭは畳み込みニューラルネットワーク（ＣＮＮ）で構成される（機械学習モデルＮｏ．１－２）。畳み込みニューラルネットワークで構成される比較例２の学習済みモデルＭは、反射画像から画像特徴量を抽出する畳み込み層やプーリング層を含む。
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-T000002
　表１および表２に実施例１～実施例１１と比較例１～比較例２の詳細と判定結果を示す。
　実施例１と実施例２～実施例１１とを比較すると、実施例２～実施例１１の方が正解確率が高い。複数の異なるアスペキュラー角の塗膜Ｆの反射面を撮像して反射画像を作成する方が、塗膜に含まれる光輝性顔料をより高い精度で判定できることが示されている。
　実施例２と実施例３とを比較すると、実施例３の方が正解確率が高い。また、実施例４と実施例５とを比較すると、実施例５の方が正解確率が高い。閾値処理を行った方が、塗膜に含まれる光輝性顔料をより高い精度で判定できることが示されている。
　実施例２と実施例４とを比較すると、実施例４の方が正解確率が高い。画像変換処理を行った方が、最適な画像特徴量を設定しやすく、塗膜に含まれる光輝性顔料をより高い精度で判定できることが示されている。
　実施例１０と実施例５～実施例９とを比較すると、実施例１０の方が正解確率が高い。クラスタリング処理を行った方が、塗膜に含まれる光輝性顔料をより高い精度で判定できることが示されている。
　実施例１１と実施例５～実施例９とを比較すると、実施例１１の方が正解確率が高い。高輝度画像抽出処理を行った方が、塗膜に含まれる光輝性顔料をより高い精度で判定できることが示されている。
　比較例１において、電子顕微鏡を用いて取得した反射画像の実視野サイズが０．０１ｃｍ２未満であり、抽出工程において判定に十分な画像特徴量を抽出することができなかった。
　比較例２と実施例１～実施例１１とを比較すると、実施例１～実施例１１の方が正解確率が高い。比較例２において、画像特徴量の抽出は畳み込みニューラルネットワークの畳み込み層やプーリング層で実施される。畳み込みニューラルネットワークは画像のエッジ検出が得意であり、点として観測される光輝性顔料の画像特徴量を抽出することは得意でないと考察される。
　次に、第３実施形態に関連する実施例１２～実施例１３について説明する。
＜実施例１２＞
（１）撮像工程　
　実施例１と同様、光輝材顔料判定の被判定対象である塗膜Ｆとして、既存の調色設計した自動車上塗り塗色の控え塗板から、ソリッド塗色およびメタリック塗色を選択した。
　使用した画像入力部１Ｃの撮像視野は３０ｍｍｘ５ｍｍであり、実視野サイズが０．０１ｃｍ２以上である。画像入力部１Ｃは、アスペキュラー角が約１５度、４５度である塗膜Ｆの反射面を撮像する。画像入力部１Ｃは撮像した反射画像をグレースケール画像として保存する。
（２）画像変換工程
　実施例１２においては、画像変換工程が実施され、グレースケール画像は、Ｌ画像に変換されている。また、グレースケール画像に対するＦＦＴ（高速フーリエ変換）も実施している。
（３）抽出工程
　実施例１２においては、閾値処理による存在範囲Ｅの選択は実施され、光輝性顔料の存在範囲Ｅから画像特徴量が抽出される。また、実施例１２においては、抽出工程において高輝度画像抽出処理を実施している。色相角２７０度彩度最大値である原色からの距離が最も近い画素および／または画素集合を取得し、取得された画素および／または画素集合から画像特徴量が抽出される。なお、実施例１２においては、分光反射率の測定と分光反射率から分光反射特徴量の抽出は実施されていない。
（４）判定工程
　実施例１２において判定に用いられた特徴量は２４８個であり、以下で示す（Ａ）と（Ｂ）からなる特徴量の組み合わせである（特徴量組み合わせＮｏ．２－１２）。
(A)１５度と４５度で撮像した反射画像の全体画像、明るい部分のみ抽出した画像、および暗い部分のみ抽出した画像についてのＬ値の平均値、標準偏差、歪度、尖度、最大値、９５パーセンタイル、９０パーセンタイル、７５パーセンタイル、５０パーセンタイル、２５パーセンタイル、１０パーセンタイル、５パーセンタイル、最小値、最大値と最小値の差、９５パーセンタイルと５パーセンタイルの差、および１５度で撮像した反射画像と４５度で撮像した反射画像とから算出された上記特徴量の差と比
(B)１５度と４５度で撮像した反射画像の全体画像、明るい部分のみ抽出した画像、および暗い部分のみ抽出した画像についてのＬ値をフーリエ変換して取得したパワースペクトルの波長１～１００ピクセル、１００～４００ピクセル、４００～１０００ピクセル、１０００～４０００ピクセルの範囲を合計した値
　また、実施例１２において使用された学習済みモデルＭは勾配ブースティングを用いた決定木（Ｇｒａｄｉｅｎｔ　Ｂｏｏｓｔｉｎｇ　Ｄｅｃｉｓｉｏｎ　Ｔｒｅｅ）で構成される（機械学習モデルＮｏ．１－３）。
＜実施例１３＞
　実施例１２と比較して異なる部分のみを記載する。
（５）測定工程
　実施例１３においては、画像入力部１Ｃは、反射面が撮像された撮像角度に対応する測色角度における分光反射率を測定する。
（３）抽出工程
　実施例１３においては、閾値処理による存在範囲Ｅの選択は実施され、光輝性顔料の存在範囲Ｅから画像特徴量が抽出される。また、実施例１３においては、抽出工程において高輝度画像抽出処理を実施している。色相角２７０度彩度最大値である原色からの距離が最も近い画素および／または画素集合を取得し、取得された画素および／または画素集合から画像特徴量が抽出される。さらに、実施例１３においては、測定した分光反射率から分光反射特徴量が抽出される。抽出された分光反射特徴量には、スペクトルの反射率に関連する特徴量は含まれる。
　実施例１３において判定に用いられた特徴量は４０３個であり、実施例１２で示す（Ａ）と（Ｂ）に加え、以下で示す（Ｃ）からなる特徴量の組み合わせである（特徴量組み合わせＮｏ．２－１３）。
(C)４５度入射光に対し正反射光を０度とした正反射からの角度が１５度,２５度,４５度,７５度,１１０度である４００～７００ｎｍの分光反射率
Figure JPOXMLDOC01-appb-T000003
　表３に実施例１２～実施例１３の詳細と判定結果を示す。
　比較例２と実施例１２とを比較すると、実施例１２の方が正解確率が高い。グレースケール画像に対して閾値処理や高輝度画像抽出処理を実施することで、ＲＧＢ画像の画像特徴量の抽出に畳み込みニューラルネットワークを使用する比較例２よりも、塗膜に含まれる光輝性顔料を高い精度で判定できることが示されている。
　実施例１～実施例２と実施例１２とを比較すると、グレースケール画像を使用しているにも関わらず実施例１２の方が正解確率が高い。グレースケール画像を使用する場合であっても、閾値処理や高輝度画像抽出処理を実施することで、塗膜に含まれる光輝性顔料を高い精度で判定できることが示されている。
　実施例１２と実施例１３とを比較すると、実施例１３の方が正解確率が高い。グレースケール画像を使用する場合であっても、スペクトルの反射率に関連する分光反射特徴量を抽出工程において使用することで、塗膜に含まれる光輝性顔料をより高い精度で判定できることが示されている。
　本発明は、塗装された塗膜等を評価する装置に適用することができる。
１００，１００Ｂ，１００Ｃ　光輝性顔料判定装置
１，１Ｂ，１Ｃ　画像入力部
１１　光源
１２　画像センサー
２　コンピュータ
５１　分別部
５２　抽出部
５３　判定部
３　出力部

Claims (17)

  1. 　光輝性顔料を含む被判定対象から前記光輝性顔料を判定する方法であって、
    　前記被判定対象の反射面を撮像素子で撮像する撮像工程と、
    　撮像された反射画像から画像特徴量を抽出する抽出工程と、
    　前記画像特徴量に基づき、前記光輝性顔料の種別および／または含有量を、前記画像特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定する判定工程と、
    　を備え、
    　前記反射画像の実視野サイズは０．０１ｃｍ２以上である、
    　光輝性顔料判定方法。
  2. 　前記撮像工程は、デジタルカメラに搭載された前記撮像素子で前記反射面を撮像する、
    　請求項1に記載の光輝性顔料判定方法。
  3. 　前記反射画像は、アスペキュラー角が異なる反射面を撮像した画像である、
    　請求項1に記載の光輝性顔料判定方法。
  4. 　ＲＧＢ画像、モノクロ画像、グレースケール画像、ＨＳＶ画像、若しくはＬａｂ画像、又はこれら画像に対してラプラス変換、ウェーブレット変換、若しくは畳み込みフィルタの処理を施した画像から、前記画像特徴量を抽出する、
    　請求項１から請求項３のいずれか一項に記載の光輝性顔料判定方法。
  5. 　前記光輝性顔料の存在範囲を輝度差による閾値処理により抽出し、前記光輝性顔料の前記存在範囲の画素集合から前記画像特徴量を抽出する、
    　請求項１から請求項４のいずれか一項に記載の光輝性顔料判定方法。
  6. 　前記画素集合のうち、特定のＲＧＢ、ＨＳＶ、Ｌａｂ座標からの距離が最小から１０パーセンタイル以内で指定される特定範囲から取得される画素または画素集合のＲＧＢ値、輝度、彩度、色相角、Ｌａｂ値、フーリエ変換値から選ばれる少なくとも１つの色彩値と、
    　前記色彩値の平均値、中央値、最頻値、最大値、最小値、四分位、パーセンタイル、分散、標準偏差、歪度、尖度から選ばれる少なくとも１つの統計量と、
    　のうちいずれか少なくとも一つを前記画像特徴量として用いる、
    　請求項５に記載の光輝性顔料判定方法。
  7. 　前記画素集合のＲＧＢ値、輝度、彩度、色相角、Ｌａｂ値、フーリエ変換値のいずれかを少なくとも一つを用いて前記画素集合のクラスタリングを行い、
    　前記クラスタリングにより分別したクラスタを、ＲＧＢ値、輝度、彩度、色相角、Ｌａｂ値、フーリエ変換値、特定の色座標からの距離のいずれかにより順位付けし、
    　前記クラスタのＲＧＢ値、輝度、彩度、色相角、Ｌａｂ値、フーリエ変換値の平均値、中央値、最頻値、最大値、最小値、四分位、パーセンタイル、分散、標準偏差、歪度、尖度のいずれかを少なくとも一つを前記画像特徴量として用いる、
    　請求項５に記載の光輝性顔料判定方法。
  8. 　前記被判定対象の前記反射面を測色計または分光測色計で分光反射率を測定する測定工程と
    　をさらに備え、
    　前記画像特徴量と対応する前記分光反射率とに基づき、前記光輝性顔料の種別および／または含有量を、前記画像特徴量と前記分光反射率と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定する判定工程と、
    　を備える、
    　請求項１から請求項７のいずれか一項に記載の光輝性顔料判定方法。
  9. 　前記被判定対象の前記反射面を測色計または分光測色計で分光反射率を測定する測定工程と
    　測定された前記分光反射率から分光反射特徴量を抽出する工程と、
    　をさらに備え、
    　前記画像特徴量と対応する前記分光反射特徴量とに基づき、前記光輝性顔料の種別および／または含有量を、前記画像特徴量と前記分光反射特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定する判定工程と、
    　を備える、
    　請求項１から請求項７のいずれか一項に記載の光輝性顔料判定方法。
  10. 　モノクロ画像、グレースケール画像又はこれら画像に対してラプラス変換、ウェーブレット変換、若しくは畳み込みフィルタの処理を施した画像から、前記画像特徴量を抽出する、
    　請求項８または請求項９に記載の光輝性顔料判定方法。
  11. 　前記学習済みモデルは、線形回帰、ロジスティック回帰、単純パーセプトロン、ＭＬＰ、ニューラルネットワーク、サポートベクターマシン、決定木分析、ランダムフォレスト、ガウス過程、ベイジアンネットワーク、ｋ近傍法、勾配ブースティングその他機械学習で用いられるモデルのいずれかにより生成される、
    　請求項１から請求項１０のいずれか一項に記載の光輝性顔料判定方法。
  12. 　前記被判定対象は塗膜である、
    　請求項１から請求項１１のいずれか一項に記載の光輝性顔料判定方法。
  13. 　前記光輝性顔料は蒸着金属フレーク顔料、アルミニウムフレーク顔料又は光干渉性顔料である、
    　請求項１から請求項１２のいずれか一項に記載の光輝性顔料判定方法。
  14. 　被判定対象の反射面を撮像素子で撮像する画像入力部と、
    　撮像された反射画像から画像特徴量を抽出する抽出部と、
    　前記画像特徴量に基づき、光輝性顔料の種別および／または含有量を、前記画像特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定する判定部と、
    　前記判定部の判定結果を表示する出力部と、
    　を備え、
    　前記反射画像の実視野サイズは０．０１ｃｍ２以上である、
    　光輝性顔料判定装置。
  15. 　前記画像入力部は、前記被判定対象の前記反射面を測色計または分光測色計で分光反射率を測定し、
    　前記抽出部は、測定された前記分光反射率から分光反射特徴量を抽出し、
    　前記判定部は、前記画像特徴量と対応する前記分光反射特徴量とに基づき、前記光輝性顔料の種別および／または含有量を、前記画像特徴量と前記分光反射特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定する、
    　請求項１４に記載の光輝性顔料判定装置。
  16. 　実視野サイズが０．０１ｃｍ２以上である撮像素子を有する画像入力部と、
    　抽出部と、
    　判定部と、
    　を備える光輝性顔料判定装置を制御するプログラムであって、
    　前記画像入力部に、被判定対象の反射面を前記撮像素子で撮像させ、
    　前記抽出部に、撮像された反射画像から画像特徴量を抽出させ、
    　前記判定部に、前記画像特徴量に基づき、光輝性顔料の種別および／または含有量を、前記画像特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定させる、
    　光輝性顔料判定プログラム。
  17. 　前記画像入力部に、前記被判定対象の前記反射面を測色計または分光測色計で分光反射率を測定させ、
    　前記抽出部に、測定された前記分光反射率から分光反射特徴量を抽出させ、
    　前記判定部に、前記画像特徴量と対応する前記分光反射特徴量とに基づき、前記光輝性顔料の種別および／または含有量を、前記画像特徴量と前記分光反射特徴量と前記光輝性顔料との関係を機械学習により学習した学習済みモデルを用いて判定させる、
    　請求項１６に記載の光輝性顔料判定プログラム。
PCT/JP2020/025246 2019-06-28 2020-06-26 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム WO2020262615A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080042303.3A CN113939729A (zh) 2019-06-28 2020-06-26 光辉性颜料判定方法、光辉性颜料判定装置以及光辉性颜料判定程序
JP2020565911A JP6854992B1 (ja) 2019-06-28 2020-06-26 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-121936 2019-06-28
JP2019121936 2019-06-28

Publications (1)

Publication Number Publication Date
WO2020262615A1 true WO2020262615A1 (ja) 2020-12-30

Family

ID=74060606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025246 WO2020262615A1 (ja) 2019-06-28 2020-06-26 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム

Country Status (3)

Country Link
JP (1) JP6854992B1 (ja)
CN (1) CN113939729A (ja)
WO (1) WO2020262615A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210201513A1 (en) * 2019-12-31 2021-07-01 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
JP7076867B1 (ja) 2021-12-21 2022-05-30 メック株式会社 物性値予測方法、物性値予測システム及びプログラム
JP7078944B1 (ja) 2021-12-21 2022-06-01 メック株式会社 物性値予測方法、物性値予測システム及びプログラム
WO2023032338A1 (ja) * 2021-08-30 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 色判別装置及び色判別方法
JP2023144868A (ja) * 2022-03-28 2023-10-11 横河電機株式会社 制御装置、濁度計、判定方法、及び学習方法
US20240035969A1 (en) * 2022-07-28 2024-02-01 Axalta Coating Systems Ip Co., Llc Method and system for matching color and/or appearance of a surface

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023075433A1 (ko) * 2021-10-28 2023-05-04 한국과학기술원 양자 이미징을 위한 광자 통계기반의 서포트 벡터 머신

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000065750A (ja) * 1998-06-10 2000-03-03 Kansai Paint Co Ltd 塗膜の光輝感定量評価方法
JP2007218895A (ja) * 2006-01-20 2007-08-30 Kansai Paint Co Ltd 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体
WO2008156147A1 (ja) * 2007-06-20 2008-12-24 Kansai Paint Co., Ltd. 塗色データベースの作成方法及びそのデータベースを用いた検索方法、並びにそれらのシステム、プログラム及び記録媒体
JP2012173272A (ja) * 2011-02-24 2012-09-10 Nissan Motor Co Ltd 塗色評価方法および塗色評価装置
WO2013118868A1 (ja) * 2012-02-08 2013-08-15 関西ペイント株式会社 塗色の評価方法
US20140242271A1 (en) * 2011-09-30 2014-08-28 Axalta Coating Systmes Ip Co., Llc Method for matching color and appearance of coatings containing effect pigments
US20170176254A1 (en) * 2015-12-22 2017-06-22 X-Rite Switzerland GmbH Sparkle Measurement
JP2017200681A (ja) * 2016-05-06 2017-11-09 ダイハツ工業株式会社 塗装条件設定方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3606820B2 (ja) * 2001-06-13 2005-01-05 関西ペイント株式会社 塗装ラインにおける塗色管理方法
WO2005075961A1 (ja) * 2004-02-03 2005-08-18 Kansai Paint Co., Ltd. 光輝感評価方法および光輝感評価装置
JP4827697B2 (ja) * 2006-11-15 2011-11-30 関西ペイント株式会社 塗色の質感マップ、その作成方法、作成プログラム及び作成システム
JP6014048B2 (ja) * 2011-12-09 2016-10-25 日本板硝子株式会社 光輝性顔料と、それを含有する光輝性塗料組成物および自動車外板コート物
WO2015133287A1 (ja) * 2014-03-07 2015-09-11 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
US9607403B2 (en) * 2014-10-28 2017-03-28 Ppg Industries Ohio, Inc. Pigment identification of complex coating mixtures with sparkle color

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000065750A (ja) * 1998-06-10 2000-03-03 Kansai Paint Co Ltd 塗膜の光輝感定量評価方法
JP2007218895A (ja) * 2006-01-20 2007-08-30 Kansai Paint Co Ltd 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体
WO2008156147A1 (ja) * 2007-06-20 2008-12-24 Kansai Paint Co., Ltd. 塗色データベースの作成方法及びそのデータベースを用いた検索方法、並びにそれらのシステム、プログラム及び記録媒体
JP2012173272A (ja) * 2011-02-24 2012-09-10 Nissan Motor Co Ltd 塗色評価方法および塗色評価装置
US20140242271A1 (en) * 2011-09-30 2014-08-28 Axalta Coating Systmes Ip Co., Llc Method for matching color and appearance of coatings containing effect pigments
WO2013118868A1 (ja) * 2012-02-08 2013-08-15 関西ペイント株式会社 塗色の評価方法
US20170176254A1 (en) * 2015-12-22 2017-06-22 X-Rite Switzerland GmbH Sparkle Measurement
JP2017200681A (ja) * 2016-05-06 2017-11-09 ダイハツ工業株式会社 塗装条件設定方法及びプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12100171B2 (en) * 2019-12-31 2024-09-24 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
US20210201513A1 (en) * 2019-12-31 2021-07-01 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
WO2023032338A1 (ja) * 2021-08-30 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 色判別装置及び色判別方法
JP2023091892A (ja) * 2021-12-21 2023-07-03 メック株式会社 物性値予測方法、物性値予測システム及びプログラム
WO2023120061A1 (ja) * 2021-12-21 2023-06-29 メック株式会社 物性値予測方法、及び物性値予測システム
WO2023120057A1 (ja) * 2021-12-21 2023-06-29 メック株式会社 物性値予測方法、及び物性値予測システム
JP7078944B1 (ja) 2021-12-21 2022-06-01 メック株式会社 物性値予測方法、物性値予測システム及びプログラム
JP2023092019A (ja) * 2021-12-21 2023-07-03 メック株式会社 物性値予測方法、物性値予測システム及びプログラム
JP7076867B1 (ja) 2021-12-21 2022-05-30 メック株式会社 物性値予測方法、物性値予測システム及びプログラム
JP2023144868A (ja) * 2022-03-28 2023-10-11 横河電機株式会社 制御装置、濁度計、判定方法、及び学習方法
JP7439853B2 (ja) 2022-03-28 2024-02-28 横河電機株式会社 制御装置、濁度計、判定方法、及び学習方法
US20240035969A1 (en) * 2022-07-28 2024-02-01 Axalta Coating Systems Ip Co., Llc Method and system for matching color and/or appearance of a surface
US12044621B2 (en) * 2022-07-28 2024-07-23 Axalta Coating Systems Ip Co., Llc Method and system for matching color and/or appearance of a surface

Also Published As

Publication number Publication date
JP6854992B1 (ja) 2021-04-07
JPWO2020262615A1 (ja) 2021-09-13
CN113939729A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
JP6854992B1 (ja) 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム
JP5306519B2 (ja) 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体
JP5063076B2 (ja) 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体
JP6039109B2 (ja) 着色検査装置および着色検査方法
JP6039008B2 (ja) 着色評価装置及び着色評価方法
EP2082201B1 (en) Method for matching color and appearance of a coating containing effect pigments
US8705833B2 (en) Computer-aided staining of multispectral images
US8064691B2 (en) Method for identifying color in machine and computer vision applications
JP7412556B2 (ja) 目標コーティング中の効果顔料を識別する方法及び装置
US11060918B2 (en) Evaluator, measurement apparatus, evaluating method, and non-transitory recording medium
JP5984127B2 (ja) 真珠評価システム、真珠評価装置、及び真珠評価方法
CN110073184A (zh) 用于效果颜料识别的装置和方法
CN115032196B (zh) 一种全划片高通量彩色病理成像分析仪器及方法
CN114216867A (zh) 高光谱图像采集识别装置及方法
WO2010066951A1 (en) Method and device for imaging a target
WO2005075961A1 (ja) 光輝感評価方法および光輝感評価装置
JP7570880B2 (ja) 画像処理装置、画像処理方法及びプログラム
Cho et al. Hyperspectral face databases for facial recognition research
Liang et al. Locally weighted model spectral reflectance reconstruction based on LED multi-illuminant
Valero et al. Framework proposal for high-resolution spectral image acquisition of effect-coatings
Hirai et al. A lut-based method for recovering color signals from high dynamic range images
Huang et al. Contrast enhancement method for product packaging colour images based on machine vision
JP2020094936A (ja) 塗装面評価方法、塗装面評価装置、及びプログラム
TWM603527U (zh) 不規則器件塗裝表面顏色辨識之設備
WGC et al. Design of a Multispectral Imaging System for Industrial Applications

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020565911

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20832566

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20832566

Country of ref document: EP

Kind code of ref document: A1