WO2023162426A1 - 画像検査システム及び画像検査方法 - Google Patents

画像検査システム及び画像検査方法 Download PDF

Info

Publication number
WO2023162426A1
WO2023162426A1 PCT/JP2022/046753 JP2022046753W WO2023162426A1 WO 2023162426 A1 WO2023162426 A1 WO 2023162426A1 JP 2022046753 W JP2022046753 W JP 2022046753W WO 2023162426 A1 WO2023162426 A1 WO 2023162426A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wavelengths
wavelength
inspection
image data
Prior art date
Application number
PCT/JP2022/046753
Other languages
English (en)
French (fr)
Inventor
望 鄭
雄一 内田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023162426A1 publication Critical patent/WO2023162426A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the present disclosure relates to an image inspection system and image inspection method for inspecting an object using multi-wavelength images.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, pharmaceutical development, and mineral composition analysis.
  • the accuracy of inspection can be improved by increasing the number of wavelengths included in the image of the object to be inspected. becomes longer.
  • the inspection time is shortened, but the accuracy of inspection is lowered.
  • the present disclosure provides an image inspection system and an image inspection method that can shorten the inspection time required for inspection while suppressing deterioration in inspection accuracy.
  • One aspect of the present disclosure is an image inspection system that inspects an object using a multi-wavelength image, in which light from a first object is received via a spectroscopic unit that disperses light and a confirmation image is obtained. and a processing unit that processes the confirmation image acquired by the imaging unit, the processing unit based on the confirmation image and the spectral characteristics of the spectroscopic unit, the Each image data of each wavelength constituting the multiple wavelengths included in the confirmation image is generated, a plurality of first wavelengths included in the multiple wavelengths are specified, and each image data of the specified first wavelengths are combined.
  • a correct answer rate of the first combined image data is calculated, and if the correct answer rate is equal to or higher than a threshold, the In the image inspection system, a plurality of designated first wavelengths are determined as a plurality of second wavelengths used for inspection of an inspection image obtained by imaging a second object by an imaging unit.
  • One aspect of the present disclosure is an image inspection method for inspecting an object using a multi-wavelength image, in which light from a first object is received via a spectroscopic unit that disperses light and a confirmation image is obtained. and a processing step of processing the acquired confirmation image, wherein the processing step is based on the confirmation image and the spectral characteristics of the spectroscopic unit, the confirmation image generating each image data of each wavelength constituting the multiple wavelengths included in the multiple wavelengths, specifying a plurality of first wavelengths included in the multiple wavelengths, and combining each image data of the specified first wavelengths calculating a correct answer rate of the first combined image data based on the first combined image data and a predetermined correct answer image corresponding to the first object; and and determining the specified plurality of first wavelengths as the plurality of second wavelengths used for the inspection of the inspection image obtained by imaging the second object.
  • FIG. 1 is a block diagram of an image inspection system according to an embodiment of the present disclosure
  • FIG. A diagram showing an example of a confirmation image acquired by a camera
  • Conceptual diagram of correct answer image and confirmation image A diagram showing an example of the area specified in the correct answer image
  • Graph showing the amount of received light for each wavelength in the specified area
  • a graph showing the contribution of each wavelength to the number
  • a diagram showing an example of a state in which image data for each wavelength included in a confirmation image are arranged in order of degree of contribution.
  • FIG. 1 is a block diagram of an image inspection system according to an embodiment of the present disclosure.
  • Image inspection system 100 includes camera 10 , illumination device 20 , control device 30 , and display operation device 40 .
  • the image inspection system 100 inspects the characteristics of an imaged object (workpiece, subject) by analyzing each image data of each wavelength constituting multiple wavelengths contained in the image. do.
  • the camera 10, the illumination device 20, the control device 30, and the display operation device 40 are configured as independent devices.
  • lighting device 20 may be detachable from camera 10 .
  • the control device 30 is connected to the camera 10, lighting device 20, and display operation device 40 via an interface (wired or wireless) not shown. That is, the camera 10, lighting device 20, control device 30, and display operation device 40 have communication devices.
  • the camera 10 is a device capable of capturing an image containing multi-wavelength information such as spectral information of several tens of bands, that is, a so-called multi-wavelength image of an object.
  • a multi-wavelength image is an image containing many (for example, 3 or more, for example, 20 wavelengths (20 bands)) wavelength components.
  • Camera 10 is also called a hyperspectral camera.
  • the camera 10 is installed at a fixed position, for example, and images an object.
  • the camera 10 has a spectroscopic section 11 , an imaging section 12 and a storage section 13 .
  • the spectroscopic section 11 may be configured by a transmissive (for example, filter or prism) optical member, or may be configured by a reflective (for example, diffraction grating) optical member.
  • the spectroscopic unit 11 receives light from an object illuminated by the illumination device 20 and splits the light into a plurality of wavelengths. That is, the spectroscopic section 11 is arranged corresponding to the imaging section 12 and has a wavelength selection function for each pixel of the imaging section 12 .
  • the spectroscopic section 11 may be divided into a plurality of spectral regions. Each spectral region passes a predetermined wavelength. The one or more wavelengths passed in each spectral region may or may not overlap at least partially.
  • the imaging unit 12 is configured by an imaging element or the like that converts the light received via the spectroscopic unit 11 into an electric signal and captures an image of the target object.
  • the wavelength regions of the pixels of the imaging unit 12 may or may not overlap at least partially.
  • the storage unit 13 is configured by a memory, disk, or the like for storing settings of the camera 10, operation programs, captured images, or the like.
  • the illumination device 20 is a device that irradiates an object with illumination light and enables the camera 10 to capture an image of the object.
  • the illumination device 20 has a light projecting section 21 and a storage section 22 .
  • the light projecting unit 21 is a light source that can irradiate an object with illumination light, and is configured by a light emitting element, a light bulb, or the like.
  • the storage unit 22 is configured by a memory, disk, or the like that stores settings, operation programs, or the like of the lighting device 20 .
  • the illumination light from the illumination device 20 may be white light or light having at least one predetermined wavelength.
  • the control device 30 is a device that controls the image inspection system 100, and is, for example, a PC (Personal Computer).
  • the control device 30 constitutes a processing section that performs various processes on the image captured by the camera 10 .
  • the control device 30 has a control section 31 , a calculation section 32 , a determination section 33 and a storage section 34 .
  • the control unit 31 , the calculation unit 32 , and the determination unit 33 read an image inspection program stored in the storage unit 34 , for example, and control the operation of the control device 30 and the image inspection system 100 .
  • the control unit 31 is composed of a processor or the like that controls the overall operation of the control device 30 . Further, the control unit 31 performs, for example, instructions for controlling the camera 10 and the lighting device 20 and various settings (for example, camera settings and lighting settings).
  • the computing unit 32 is composed of, for example, a processor specializing in computational processing.
  • the calculation unit 32 performs, for example, derivation of the percentage of correct answers and contribution, which will be described later, generation of various images, and specification of wavelengths to be inspected among wavelengths included in the images.
  • the determination unit 33 is composed of a processor or the like specialized for various determination processes.
  • the determination process may include, for example, determination as to whether or not the correct answer rate of the later-described confirmation image, inspection image, or combined image data satisfies a predetermined requirement.
  • the confirmation image is an image containing all wavelength components captured by the camera 10, and is an image used for preparation for inspection (designation of wavelengths used for inspection).
  • the inspection image is an image containing all wavelength components captured by the camera 10 and used for inspection.
  • the combined image data is data corresponding to an image including some wavelength components out of a plurality of wavelengths included in the confirmation image or the inspection image. Note that the confirmation image may be used for inspection.
  • the storage unit 34 is configured with a memory, disk, or the like that stores settings, operation programs, or the like of the control device 30 .
  • the display operation device 40 functions as a display device that displays images captured by the camera 10, processing results by the control device 30, and the like, and also functions as an operation unit through which the user inputs various operations.
  • the display operation device 40 has an initial setting section 41 , an inspection condition setting section 42 , an image display section 43 and a result display section 44 .
  • the initial setting unit 41 is one of the operating units that accepts user's operation input for initial setting of the display operation device 40, and is configured by an input device such as a keyboard or a mouse.
  • the initial setting unit 41 performs initial setting based on this operation input.
  • the inspection condition setting unit 42 is one of the operation units that receives operation input of inspection conditions of the image inspection system 100 by the user, and is configured by an input device such as a keyboard or a mouse.
  • the inspection condition setting unit 42 sets inspection conditions based on this operation input.
  • the inspection conditions include, for example, the number of wavelengths used for image inspection, the percentage of correct answers used for image inspection, or other inspection conditions. The percentage of correct answers serves as an index for identifying whether an inspection object is a non-defective product or a defective product.
  • One input device can also serve as an operation unit for the initial setting unit 41 and the inspection condition setting unit 42 .
  • the set initial conditions and inspection conditions may be sent to the control device 30 and held in the storage unit 34 .
  • the image display unit 43 is a display that displays images captured by the camera 10 and the like.
  • the result display unit 44 is a display that displays the result of processing the image by the control device 30 and the like.
  • One display can also serve as the image display section 43 and the result display section 44 .
  • the initial setting unit 41 and the inspection condition setting unit 42 may be configured by an input device, and the image display unit 43 and the result display unit 44 may be configured by a display separate from the input device.
  • FIG. 2A is a diagram showing an example of a confirmation image GC, which is an image acquired by the camera 10.
  • FIG. 2B is a diagram showing each image data gd of each wavelength included in the confirmation image GC of FIG. 2A.
  • the illumination device 20 irradiates illumination light on the first object to be inspected by the image inspection system 100 .
  • a spectroscopic unit 11 receives light from an object irradiated with light from the illumination device 20 and disperses the light into a plurality of wavelengths.
  • the imaging unit 12 converts the light received via the spectroscopic unit 11 into an electrical signal, and acquires the confirmation image GC of FIG. 2A. Therefore, the confirmation image GC is an image showing the first object.
  • the illumination device 20 irradiates illumination light onto the first object to be inspected by the image inspection system 100 .
  • a spectroscopic unit 11 receives light from an object irradiated with light from the illumination device 20 and disperses the light into a plurality of wavelengths.
  • the imaging unit 12 converts the light received via the spectroscopic unit 11 into an electrical signal, and acquires the confirmation image GC of FIG. 2A. Therefore, the confirmation image GC is an image showing the first object.
  • the target (for example, a first target or a second target to be described later) is, for example, a painted object and can be an inspection target.
  • a first object is used in preparation for inspection of a second object using multi-wavelength images.
  • a confirmation image is obtained by imaging the first object.
  • the second object is the actual inspection object.
  • An inspection image is obtained by imaging the second object.
  • the first object and the second object may be objects of the same type (objects with similar coating, objects with similar color distribution, predetermined parts or finished objects).
  • the first object may also be an actual inspection object, and the first object may be one of the second objects. That is, the same wavelengths used in inspecting an object may be used in inspecting a subsequent object.
  • the first object may be the first object inspected of a plurality of second objects.
  • the control device 30 acquires the confirmation image GC in FIG. 2A from the camera 10.
  • the confirmation image GC includes images of wavelengths constituting multiple wavelengths, such as spectral information of several tens of bands, due to the spectral characteristics of the spectroscopic unit 11 .
  • the calculation unit 32 of the control device 30 calculates each image data of wavelengths 1 to 20 constituting multiple wavelengths included in the confirmation image GC, as shown in FIG. 2B. Generate gd.
  • each image data gd the greater the amount of light received at the wavelength indicated by the predetermined image data gd, the larger the pixel value of the predetermined image data gd (whitening), and the smaller the amount of light received at this wavelength, the greater the pixel value of the predetermined image data gd.
  • the pixel value of the predetermined image data gd becomes smaller (becomes black).
  • the number of wavelengths of multiple wavelengths is 20, but the number of wavelengths is not limited to a specific number, and may be 19 or less or 21 or more.
  • FIG. 3 is a conceptual diagram of the correct answer image GA and the confirmation image GC.
  • the correct answer image GA is, for example, an image of the correct reference object that is acquired in advance by the control device 30 and stored in the storage unit 34. Specifically, it is a sample image that serves as a color sample of the object. That is, the correct answer image GA is an image showing the target color distribution of the confirmation image and inspection image.
  • the correct answer image GA like the confirmation image GC, is an image of the first object. Also, the correct answer image GA is the confirmation image GC.
  • the determination unit 33 of the control device 30 determines whether or not the confirmation image GC obtained by imaging the first object to be inspected by the camera 10 matches the correct answer image GA. matches the reference object and determines whether it is a correct article (eg, whether it is defective).
  • the concept used for this judgment is the percentage of correct answers.
  • the determination unit 33 of the control device 30 compares the amount of received light of each wavelength image of the multiple wavelengths included in the confirmation image GC with the amount of received light of each wavelength image in the correct answer image GA, and determines the color of the confirmation image GC ( A portion where the distribution of the amount of received light for each wavelength) is different from the color of the correct answer image GA (distribution of the amount of received light for each wavelength) is determined. Then, the calculation unit 32 calculates the area of the portion determined to be different, that is, the so-called erroneously determined area. Further, the calculation unit 32 calculates the ratio of the erroneously determined area to the area of the object.
  • the correct answer image GA and the confirmation image GC have an area of 1 2 cm 2 .
  • the correct answer image GA has, in its central portion, a second color region whose color is different from the surrounding first color, and its area is 0.3 2 cm 2 .
  • the confirmation image GC like the correct answer image GA, has a second color area in its central portion that is different in color from the surrounding first color, and its area is 0.2 2 cm 2 . Yes, and the size of the area of the second color is different from that of the correct answer image GA.
  • the percentage of correct answers for the confirmation image GC is obtained as follows.
  • the method for calculating the percentage of correct answers described above is only an example, and the method for calculating the percentage of correct answers is not limited to the one described here.
  • 4A, 4B, and 4C are diagrams showing the process of obtaining the contribution of each wavelength.
  • the degree of contribution is a value indicating the degree to which each wavelength among multiple wavelengths included in the confirmation image contributes to the calculation of the percentage of correct answers for the confirmation image described with reference to FIG.
  • the degree of contribution is calculated based on the variation in the amount of received light for each wavelength obtained by imaging the first object with the camera 10 according to each region of the first object.
  • FIG. 4A shows a region specified in the confirmation image or the correct answer image when calculating the degree of contribution.
  • Regions a, b, c, and d in FIG. 4A are regions used in a confirmation image or a correct answer image obtained by imaging the first object in obtaining the contribution of each wavelength.
  • the calculation unit 32 of the control device 30 may designate areas a, b, c, and d in the confirmation image or the correct answer image and store them in the storage unit 34 .
  • Regions a, b, c, and d may be arbitrary regions, such as regions that are inspected frequently.
  • the display operation device 40 accepts an operation input from the user via the inspection condition setting unit 42 to enclose an arbitrary area in the confirmation image or the correct answer image, designates areas a, b, c, and d.
  • the area designation information may be transmitted to the control device 30 .
  • the calculation unit 32 of the control device 30 may designate the regions a, b, c, and d based on the region designation information from the display operation device 40 . Designation of these areas corresponds to designation of areas for later calculating the percentage of correct answers for the confirmation image, the inspection image, or the combined image data.
  • the specified area may match the area to be inspected in the inspection of the actual inspection image.
  • the areas a, b, c, and d may be collectively specified as one area.
  • FIG. 4B shows a graph showing the amount of received light (distribution of received light amount) with respect to the wavelength for each designated region.
  • the amount of light received in each of the regions a, b, c, and d differs for each wavelength shown on the horizontal axis, and the variation in the amount of light received in the regions a, b, c, and d differs for each wavelength.
  • a wavelength near 480 nm has a large amount of received light in any region as compared with a wavelength longer than 550 nm, but the variation in the amount of received light in each of the regions a, b, c, and d is also large. Therefore, it can be said that the wavelength near 480 nm has a larger contribution than the wavelength longer than 550 nm.
  • the calculation unit 32 of the control device 30 compares the amounts of received light in the designated regions a, b, c, and d, and calculates the contribution of each wavelength.
  • degree of contribution for example, multivariate analysis (for example, principal component analysis) may be used, or Mahalanobis distance may be used.
  • the Mahalanobis distance is an index that indicates how far a group of values is from the average (center of gravity) in standard deviation units, and is also a measure that indicates how similar two data groups are. Data groups with a high degree of similarity have a large proportion of overlap, and the Mahalanobis distance is short. At this time, the portion where the two do not overlap becomes the difference between the two data groups. For example, the shorter the Mahalanobis distance, the lower the contribution, and the longer the Mahalanobis distance, the higher the contribution.
  • FIG. 4C shows a graph showing the contribution to the number of selected wavelengths.
  • the horizontal axis indicates the wavelength number
  • the vertical axis indicates the contribution.
  • wavelength numbers are arranged in descending order of contribution. That is, in FIG. 4C, when the contribution of each wavelength calculated by the calculation unit 32 is arranged in descending order, wavelength 3, wavelength 7, wavelength 8, wavelength 4, wavelength 5, . . . , wavelength 19, wavelength 20, wavelength 18, showing the variation in contribution at each of these wavelengths.
  • the areas a, b, c, and d to be inspected in the confirmation image may not be designated. That is, the inspection target in the confirmation image may be the entire confirmation image. More than one correct answer image may match.
  • FIG. 5 shows a state in which the image data for each wavelength included in the confirmation image are arranged in order of contribution.
  • the arrangement of the image data based on the contribution may be performed by the calculator 32 .
  • the calculation unit 32 arranges the image data for each wavelength included in the confirmation image in the order of contribution according to the contribution determined in the above process. This order shown in FIG. 5 is the same as the order of wavelength numbers on the horizontal axis in FIG. 4C.
  • the calculation unit 32 issues a display instruction to the display operation device 40 via, for example, a communication unit (not shown), and the image display unit 43 of the display operation device 40 displays the arrayed image data (wavelength number: Wavelength 3, wavelength 7, wavelength 8, wavelength 4, wavelength 5, . . . wavelength 19, wavelength 20, wavelength 18) may be displayed.
  • the calculation unit 32 of the control device 30 designates a plurality of wavelengths (first wavelengths) from the multiple wavelengths included in the confirmation image, such as the squared areas in FIGS. 4B and 4C.
  • the computing unit 32 designates the first wavelengths of 10 bands from a total of 20 bands of multiple wavelengths.
  • the computing unit 32 may specify a plurality of first wavelengths by, for example, combining a plurality of wavelengths in descending order of contribution.
  • the calculation unit 32 may specify the number of wavelengths specified as the first wavelength. In this case, the number of wavelengths may be designated based on a threshold to be described later, may be predetermined and held in the storage unit 34 , or may be manually set via the inspection condition setting unit 42 of the display operation device 40 . may be specified by
  • the computation unit 32 may combine image data for the specified ten bands to generate first combined image data.
  • the first combined image data is compared with the correct answer image and becomes data used for deriving the correct answer rate in the case of multiple wavelengths.
  • the first combined image data is data in which some of the wavelength components are omitted when compared with the confirmation image in which all wavelengths are added.
  • the calculation unit 32 calculates the correct answer rate of the generated first combined image data based on the correct answer image corresponding to the first object.
  • the correct answer rate can be calculated by the method described with reference to FIG.
  • the first combined image data is used instead of the confirmation image in FIG. That is, in the comparison between the confirmation image and the correct answer image, the correct answer rate is calculated taking into account all the wavelengths included in the confirmation image.
  • the percentage of correct answers is calculated taking into consideration the specific wavelength (first wavelength) of the part.
  • FIG. 6 is a graph showing the percentage of correct answers for first combined image data obtained by combining various combinations of image data of the first wavelength.
  • the calculation unit 32 combines a plurality of wavelengths according to the order of contribution of each wavelength determined in the process described with reference to FIGS.
  • Wavelength image data is designated, and the designated image data are combined to generate first combined image data.
  • first combined image data is generated by sequentially increasing the number of wavelengths to be combined in descending order of contribution, and the percentage of correct answers is plotted on the vertical axis.
  • the percentage of correct answers for the image data of wavelength 3, which has the highest contribution is plotted on the left end of the horizontal axis.
  • the percentage of correct answers for the combined first combined image data is plotted.
  • the correct answer rate of the first combined image data obtained by combining the image data of all wavelengths (20 bands) is plotted. Note that the image corresponding to the first combined image data obtained by combining the image data of all wavelengths is the same as the confirmation image.
  • the correct answer rate of the first combined image data is improved.
  • the number of wavelengths to be combined increases, although the correct answer rate of the first combined image data improves, the improvement in the correct answer rate eventually saturates.
  • the calculation unit 32 designates a threshold th to be compared with the percentage of correct answers, as shown in FIG.
  • the calculation unit 32 generates the first combined image data, for example, using the image data of the minimum number of wavelengths required to reach the threshold th (minimum number of bands, for example, 10 wavelengths).
  • the threshold th may be, for example, a value corresponding to the saturation state of the percentage of correct answers.
  • FIG. 7 shows an operation for manually selecting image data for each wavelength included in the confirmation image.
  • image data may be arranged in order of contribution and displayed, and an operation related to selection may be performed.
  • the calculation unit 32 of the control device 30 automatically arranges the multi-wavelength image data included in the confirmation image (for example, arranges them in order of contribution) regardless of the user's intention. ) and specifying a plurality of first wavelengths.
  • the initial setting unit 41 of the display operation device 40 may set the “automatic mode” by accepting user's operation through the operation unit, for example.
  • the automatic mode is one of operation modes of the control device 30, and is a mode in which a plurality of wavelengths (first wavelengths) to be inspected are automatically specified.
  • the initial setting unit 41 of the display operation device 40 accepts the user's operation through the operation unit and sets the "manual mode", whereby the image display unit 43 configures multiple wavelengths.
  • Each image data of each wavelength to be selected may be displayed with a check box.
  • the manual mode is one of operation modes of the control device 30, and is a mode for manually specifying a plurality of wavelengths (first wavelengths) to be inspected.
  • the inspection condition setting unit 42 may specify arbitrary image data from each displayed image data according to the user's operation on the operation unit, and specify the first wavelength corresponding to the specified image data. good.
  • the inspection condition setting unit 42 designates a plurality of first wavelengths by checking check boxes corresponding to wavelengths (image data) in accordance with the user's operation on the operation unit. may be sent to the control device 30 . Then, the calculation unit 32 of the control device 30 may designate a plurality of first wavelengths based on the wavelength designation information from the display operation device 40 . Thereby, the calculation unit 32 also designates the number of wavelengths of the first wavelength.
  • the image display unit 43 may display each image data of each wavelength, as well as identification information (for example, wavelength number) of each wavelength, contribution of each wavelength, and the like. Thereby, the user may specify the wavelength (image data) via the operation unit of the display operation device 40 while confirming the contribution of each wavelength.
  • identification information for example, wavelength number
  • the user may specify the wavelength (image data) via the operation unit of the display operation device 40 while confirming the contribution of each wavelength.
  • the first combined image data may be data obtained by combining each image data corresponding to the first wavelength, and may not be the image itself (even if the image is not yet generated).
  • an image (integrated image) obtained by synthesizing (integrating) each image data corresponding to the first wavelength may be used.
  • the second combined image data may be data obtained by combining each image data corresponding to the second wavelength, and may not be the image itself (the image is not yet generated). ), or an image (integrated image) obtained by synthesizing (integrating) each image data corresponding to the second wavelength.
  • the calculation unit 32 of the control device 30 acquires the confirmation image based on the imaging of the first object, as described above.
  • the calculation unit 32 compares the combined image data for wavelength designation and the correct answer image, and calculates the correct answer rate of the combined image for wavelength designation.
  • the calculation unit 32 calculates the number of first wavelengths (for example, 10 wavelengths) included in the combined image data for wavelength designation. Specific wavelengths (eg, wavelengths with high contribution) are determined as a plurality of second wavelengths to be used for inspection of inspection images obtained by imaging the second object with the camera 10 .
  • the calculation unit 32 acquires an inspection image based on imaging of a new second object that is the same type as the first object, and acquires an inspection image that includes the determined plurality of second wavelength components. Combined image data (second combined image data) is used.
  • the calculation unit 32 compares the combined image data for inspection and the correct answer image, calculates the correct answer rate of the combined image data for inspection, and the determination unit 33 determines whether the second object is the second object based on this correct answer rate. Determine whether the product is good or bad. For example, the determination unit 33 determines that the second object is non-defective when the percentage of correct answers is equal to or greater than the threshold th, and determines that the second object is non-defective when the percentage of correct answers is less than the threshold th.
  • the method of deriving the percentage of correct answers at the time of inspection and the method of specifying the area to be inspected may be the same as the method for specifying the wavelength for inspection.
  • the threshold for determining whether the second object is good or bad or defective is the same as the threshold compared with the percentage of correct answers for specifying the wavelength described above, these thresholds are different.
  • the calculation unit 32 sequentially captures images of a plurality of second objects, sequentially acquires inspection images, sequentially generates combined image data for inspection, and sequentially calculates the percentage of correct answers for the combined image data for inspection. good. Then, the determination unit 33 may sequentially determine whether the second object is a non-defective product or a defective product.
  • the image inspection system 100 does not inspect all wavelengths when inspecting an inspection image, but uses the designated second wavelength. can reduce the time required for image inspection of objects. In addition, even if the number of wavelengths used for inspection of the inspection image is reduced, the image inspection system 100 uses the confirmation image of the first object to obtain a correct answer rate equal to or higher than the threshold th as the inspection target wavelength. Since it is determined, it is possible to suppress the deterioration of the inspection accuracy of the inspection image.
  • FIG. 8A and 8B are flowcharts showing an example of the procedure of the image inspection method executed by the image inspection system 100.
  • FIG. 8A and 8B are flowcharts showing an example of the procedure of the image inspection method executed by the image inspection system 100.
  • the control device 30 acquires a correct answer image of a reference object to be used as a reference (step S1). For example, when the test condition setting unit 42 instructs acquisition of the correct answer image via the operation unit, the control unit 31 acquires the correct answer image from a predetermined server through a network (not shown), and the storage unit 34.
  • control unit 31 of the control device 30 acquires a confirmation image by imaging the object with the camera 10, and stores it in the storage unit 34 (step S2).
  • the calculation unit 32 designates predetermined areas such as areas a, b, c, and d shown in FIG. 4A in the correct answer image and the confirmation image (step S3). These areas a to d correspond to areas to be inspected.
  • the calculation unit 32 of the control device 30 calculates the percentage of correct answers of the confirmation image with respect to the correct answer image in the designated area, for example, in the manner shown in FIG. 3 (step S4).
  • the calculation unit 32 may calculate the percentage of correct answers for each image data of each designated first wavelength. That is, the calculation unit 32 may compare the image data of a single wavelength with the correct answer image, and calculate the correct answer rate for each single wavelength. Further, the calculation unit 32 calculates the degree of contribution to the correct answer rate for each wavelength in the manner shown in FIGS. 4A to 4C, for example (step S5).
  • the calculation unit 32 determines whether or not to automatically designate the wavelength to be inspected (step S6). For example, when the automatic mode is set by the initial setting unit 41, the control unit 31 automatically designates the wavelength to be inspected (step S6; YES). When the manual mode is set by the initial setting unit 41, the control unit 31 manually designates the wavelength to be inspected (step S6; No).
  • the computing unit 32 specifies a plurality of first wavelengths from multiple wavelengths included in the confirmation image in the manner shown in FIGS. 4C to 6 (step S7).
  • the calculation unit 32 may designate a plurality of first wavelengths according to inspection conditions such as the number of wavelengths and the percentage of correct answers (that is, the threshold th). Specifically, the calculation unit 32 designates a predetermined number of first wavelengths in descending order of correct answer rate and contribution, or designates a plurality of first wavelengths whose correct answer rate and contribution exceed a predetermined threshold set in advance. A wavelength may be specified.
  • the calculation unit 32 combines each image data corresponding to the designated first wavelength and compares the first combined image data with the correct answer image to calculate the correct answer rate of the first combined image data. (Step S9).
  • the computing unit 32 designates a plurality of first wavelengths and manually designates image data in the manner shown in FIG. S8).
  • the calculation unit 32 combines each image data corresponding to the designated first wavelength to generate first combined image data, and compares the first combined image data with the correct answer image to obtain the first A correct answer rate of the combined image data is calculated (step S9).
  • the determination unit 33 of the control device 30 determines whether or not the correct answer rate of the first combined image data calculated in step S9 is equal to or greater than a predetermined threshold value th as shown in FIG. S10). If the percentage of correct answers is smaller than the predetermined threshold th (step S10; NO), the computing unit 32 again specifies the plurality of first wavelengths and manually specifies the image data, for example, in the manner shown in FIG. (Step S8). Then, the calculation unit 32 performs step S9 again, and the determination unit 33 performs step S10 again.
  • step S8 the determination unit 33 instructs the display operation device 40 to perform a guide display (recommended display) for specifying the first wavelength, and the image display unit 43 of the display operation device 40 , the guide display may be performed according to an instruction from the control device 30 .
  • the guide display makes it easier for the user to perform manual designation in step S8.
  • the guide display is a display that makes it easy to identify what is recommended to be designated as the first wavelength, such as a combination of image data that increases the correct answer rate and contribution.
  • the wavelength numbers of wavelengths recommended for designation may be highlighted (eg, displayed in bold or colored).
  • the frame of the image data of the wavelength recommended for designation or the frame of the check box may be emphasized (for example, displayed with a thick frame or displayed with a colored frame).
  • the plurality of first wavelengths specified above are determined as the plurality of second wavelengths used for inspection of inspection images obtained by imaging two objects (step S11). Information on the plurality of determined first wavelengths may be stored in the storage unit 34 .
  • the camera 10 acquires an inspection image by imaging the second object in the same manner as the first object, and transmits the inspection image to the control device 30 .
  • the determination unit 33 of the control device 30 acquires an inspection image from the camera 10 (step S12). Then, the determination unit 33 determines the inspection image, that is, determines whether or not the second object matches the reference object (step S13). In this case, the determination unit 33 generates second combined image data by synthesizing each image data included in the inspection image and corresponding to the designated second wavelength, and combines the second combined image data with the above-mentioned correct answer. By comparing with the image, the correct answer rate of the second combined image data is calculated.
  • the percentage of correct answers is calculated when a plurality of designated second wavelengths are used. Then, for example, when the percentage of correct answers is equal to or greater than the threshold th, the determination unit 33 determines that the second object is non-defective, and when the percentage of correct answers is less than the threshold th, the second object It may be determined that the item is defective.
  • the determination unit 33 transmits information on the inspection result as to whether the product is non-defective or defective to the display operation device 40 via the communication device of the control device 30, and the result display unit 44 of the display operation device 40 displays the information. Information on the test results may be acquired via the communication device of the operation device 40 and the test results may be displayed. A user (inspector) can confirm and understand the display of the inspection result.
  • steps S1 to S11 in FIG. 8A are preparatory stages for inspection of the second object to be inspected (specifying wavelengths used for inspection). Inspection in which steps S12 and S13 of FIG. 8B use the plurality of first wavelengths specified in the preparation stage as the plurality of second wavelengths for inspection and inspect the second object using the multi-wavelength image. It is a stage.
  • FIG. 9A and 9B are graphs showing an example of the percentage of correct answers with respect to the number of combined wavelengths.
  • FIG. 9A shows the correct answer rate of the second combined image data with respect to the number of wavelengths when wavelengths are added and combined in descending order of contribution.
  • FIG. 9A shows substantially the same graph as FIG.
  • FIG. 9B shows the correct answer rate of the second combined image data with respect to the number of wavelengths when wavelengths are arbitrarily combined without depending on the degree of contribution.
  • wavelengths are added in descending order of contribution, and second combined image data is generated by synthesizing each image data of the combined wavelengths.
  • the control device 30 uses the second combined image data of the wavelength combination of about 10 bands in the same manner as the second combined image data of the wavelength combination of all 20 bands in the random case shown in FIG. 9B.
  • a certain degree of correct answer rate can be obtained.
  • the image inspection system 100 can reproduce the second combined image data obtained by combining all wavelengths (that is, the inspection image) even if the second combined image data is obtained by combining the wavelengths in order of contribution. ), it is possible to maintain a high percentage of correct answers while suppressing the amount of data to be processed.
  • the image inspection system 100 can shorten the inspection time required for the image inspection while suppressing the deterioration of the accuracy of the image inspection of the object.
  • FIG. 10 is a block diagram of Modification 1 of the image inspection system.
  • camera unit 10A includes camera 10 and illumination device 20 in FIG. That is, the camera unit 10A is a device that integrally has the function of the camera 10 and the function of the lighting device 20 .
  • FIG. 11 is a block diagram of Modification 2 of the image inspection system.
  • a control unit 30A includes the control device 30 and the display operation device 40 in FIG. That is, the control unit 30A is a device that integrally has the function of the control device 30 and the function of the display operation device 40 .
  • FIG. 12 is a block diagram of Modification 3 of the image inspection system.
  • camera unit 10A includes camera 10 and illumination device 20 in FIG. 1
  • control unit 30A includes control device 30 and display operation device 40 in FIG. That is, the third modification is a combination of the camera unit 10A of the first modification and the control unit 30A of the second modification.
  • the image inspection system 100 can shorten the inspection time while suppressing the deterioration of the inspection accuracy of the inspection object using the multi-wavelength image.
  • the image quality of the second combined image data approaches that of the inspection image.
  • the image inspection system 100 can achieve both improvement in inspection accuracy and reduction in inspection time with a suitable balance.
  • the image inspection system 100 can efficiently detect color unevenness and the like of an inspection object (second object) by using a wavelength with a high degree of contribution as an inspection wavelength (second wavelength). .
  • the image inspection system 100 of this embodiment is an image inspection system that inspects an object using a multi-wavelength image.
  • An imaging unit for example, a camera 10) that receives light from a light source to obtain a confirmation image GC, and a processing unit (for example, a control device 30) that processes the confirmation image GC obtained by the imaging unit.
  • the processing unit Based on the confirmation image GC and the spectral characteristics of the spectroscopic unit 11, the processing unit generates image data gd of each wavelength constituting multiple wavelengths included in the confirmation image GC.
  • the processing unit designates a plurality of first wavelengths included in the multiple wavelengths, and generates first combined image data obtained by combining each image data gd of the designated first wavelengths and predetermined data corresponding to the first target object.
  • the correct answer rate of the first combined image data is calculated based on the correct answer image GA of . If the percentage of correct answers is equal to or greater than the threshold value th, the processing unit selects the plurality of second wavelengths used for inspection of the inspection image obtained by imaging the second object by the imaging unit as the specified plurality of first wavelengths. Determine the wavelength.
  • the image inspection system 100 generates the first combined image data by omitting some of the wavelengths included in the confirmation image GC and compares it with the correct answer image GA, thereby increasing the correct answer rate.
  • a plurality of first wavelengths forming the first combined image data that satisfies the threshold th or more can be determined. Therefore, when the image inspection of the second object is actually performed, part of the wavelengths included in the inspection image are omitted to generate the second combined image data, which is compared with the correct answer image GA. By doing so, the image inspection of the second object can be performed with the percentage of correct answers being equal to or higher than the threshold th.
  • the image inspection system 100 can shorten the inspection time required for inspection while suppressing deterioration in inspection accuracy.
  • processing unit may specify areas a to d for calculating the percentage of correct answers in the confirmation image GC.
  • the image inspection system 100 can specify which part of the confirmation image the percentage of correct answers and image inspection results are to be obtained.
  • the processing unit calculates the correct answer rate for each wavelength based on the variation in the amount of received light for each wavelength obtained by imaging the first object by the imaging unit according to each region of the first object. may be calculated, and a plurality of first wavelengths may be specified based on the contribution.
  • the image inspection system 100 can determine a plurality of first wavelengths in consideration of the degree of contribution to the correct answer rate, that is, the ease of identification of each position of the first object.
  • the processing unit may specify a plurality of first wavelengths by combining a plurality of wavelengths in descending order of contribution.
  • the image inspection system 100 can determine, as the plurality of first wavelengths, a plurality of wavelengths that facilitate identification of each position of the first object.
  • the processing unit may sequentially increase the number of multiple wavelengths to be combined in descending order of contribution until the percentage of correct answers reaches or exceeds the threshold th.
  • the image inspection system 100 can reduce the number of designated first wavelengths as much as possible while satisfying the desired correct answer rate in the image inspection. Therefore, the image inspection system 100 can reduce the processing load related to image inspection as much as possible.
  • the processing unit may designate a plurality of first wavelengths according to an input operation to the operation unit (for example, the initial setting unit 41 or the inspection condition setting unit 42).
  • the image inspection system 100 can manually specify the first wavelength desired by the user.
  • the image inspection system 100 can specify the first wavelength, taking into consideration the naturalness of the combined image data based on the specified first wavelength.
  • the processing unit may specify the number of wavelengths of the first wavelength to be specified.
  • the image inspection system 100 can generate combined image data by taking into account the number of wavelengths of the designated first wavelength.
  • the processing unit may specify a threshold th to be compared with the percentage of correct answers.
  • the image inspection system 100 can adjust the inspection accuracy of the image inspection of the second object by adjusting the threshold th.
  • the imaging unit may receive light from the second object via the spectroscopic unit 11 to acquire an inspection image. Based on the inspection image and the spectral characteristics of the spectroscopic unit 11, the processing unit generates each image data of each wavelength constituting the multiple wavelengths, and combines each image data of the determined plurality of second wavelengths to produce a second and the correct answer image GA, the second object may be inspected.
  • the image inspection system 100 uses the first wavelength specified using the confirmation image in which the first object is imaged to inspect the inspection image obtained by imaging the second object. It can be a second wavelength. That is, the image inspection system 100 can perform the image inspection using the inspection image with the same inspection accuracy and the same inspection time as the image inspection using the confirmation image.
  • the present disclosure is useful for an image inspection system, an image inspection method, and the like that can shorten the inspection time required for inspection while suppressing deterioration in inspection accuracy.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

多波長画像を利用して対象物を検査する画像検査システムであって、分光部を介して確認画像を取得する撮像部と、処理部と、を備える。処理部は、確認画像及び分光部の分光特性に基づいて、確認画像に含まれる多波長を構成する各波長の各画像データを生成し、多波長に含まれる複数の第１の波長を指定し、第１の波長の各画像データを組み合わせた第１の組み合わせ画像データの正答率が閾値以上である場合、検査画像の検査に用いる複数の第２の波長を、複数の第１の波長に決定する。

Description

画像検査システム及び画像検査方法
　本開示は、多波長画像を利用して対象物を検査する画像検査システム及び画像検査方法に関する。
　各々が狭帯域である多数のバンド、例えば数十バンドのスペクトル情報を活用することにより、従来のＲＧＢ画像では不可能であった対象物の詳細な解析が可能となる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、及び鉱物の成分分析などの様々な分野で利用されている。
国際公開第２０２１／１９２８９１号
　ハイパースペクトルカメラにより撮像された画像を用いて検査対象物の検査を行う場合、検査対象の画像に含まれる複数の波長の波長数を増やすことにより、検査の精度を高めることはできるが、検査時間が長くなる。一方、波長数が少ない場合、検査時間は短くなるが、検査の精度が低下する。
　本開示は、検査の精度の低下を抑制しつつ、検査に要する検査時間を短縮できる画像検査システム及び画像検査方法を提供する。
　本開示の一態様は、多波長画像を利用して対象物を検査する画像検査システムであって、光を分光する分光部を介して、第１の対象物からの光を受光して確認画像を取得する撮像部と、前記撮像部により取得された前記確認画像に対して処理を行う処理部と、を備え、前記処理部は、前記確認画像及び前記分光部の分光特性に基づいて、前記確認画像に含まれる多波長を構成する各波長の各画像データを生成し、多波長に含まれる複数の第１の波長を指定し、指定された第１の波長の各画像データを組み合わせた第１の組み合わせ画像データと前記第１の対象物に対応する所定の正答画像データとに基づいて、前記第１の組み合わせ画像データの正答率を算出し、前記正答率が閾値以上である場合、前記撮像部により第２の対象物が撮像されて得られる検査画像の検査に用いる複数の第２の波長を、指定された前記複数の第１の波長に決定する、画像検査システムである。
　本開示の一態様は、多波長画像を利用して対象物を検査する画像検査方法であって、光を分光する分光部を介して、第１の対象物からの光を受光して確認画像を取得する画像取得ステップと、取得された前記確認画像に対して処理を行う処理ステップと、を有し、前記処理ステップは、前記確認画像及び前記分光部の分光特性に基づいて、前記確認画像に含まれる多波長を構成する各波長の各画像データを生成するステップと、多波長に含まれる複数の第１の波長を指定するステップと、指定された第１の波長の各画像データを組み合わせた第１の組み合わせ画像データと前記第１の対象物に対応する所定の正答画像とに基づいて、前記第１の組み合わせ画像データの正答率を算出するステップと、前記正答率が閾値以上である場合、第２の対象物が撮像されて得られる検査画像の検査に用いる複数の第２の波長を、指定された前記複数の第１の波長に決定するステップと、を有する画像検査方法である。
　本開示によれば、検査の精度の低下を抑制しつつ、検査に要する検査時間を短縮できる。
本開示の実施形態に係る画像検査システムのブロック図 カメラが取得する確認画像の一例を示す図 確認画像に含まれる各波長の各画像データの一例を示す図 正答画像及び確認画像の概念図 正答画像において指定された領域の一例を示す図 指定された領域毎の波長に対する受光量を示すグラフ 各波長の番号に対する寄与度を示すグラフ 確認画像に含まれる波長毎の画像データを寄与度の順に並べた状態の一例を示す図 様々な組み合わせの第１の波長の各画像データを組み合せた組み合わせ画像データに対する正答率の一例を示すグラフ 確認画像に含まれる波長毎の画像データを、手動で選択するための操作例を示す図 画像検査システムが実行する画像検査方法の手順の一例を示すフローチャート 画像検査システムが実行する画像検査方法の手順の一例を示すフローチャート（図８Ａの続き） 寄与度の高い順に波長を追加して組み合わせた場合の波長の数に対する正答率の一例を示すグラフ 寄与度に依存せずに任意に波長を組み合わせた場合の波長の数に対する正答率の一例を示すグラフ 画像検査システムの変形例１のブロック図 画像検査システムの変形例２のブロック図 画像検査システムの変形例３のブロック図
　以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　図１は、本開示の実施形態に係る画像検査システムのブロック図である。画像検査システム１００は、カメラ１０と、照明装置２０と、制御装置３０と、表示操作装置４０と、を含む。画像検査システム１００は、撮像した対象物（ワーク、被写体）の画像について、この画像中に含まれる多波長を構成する各波長の各画像データを分析することにより、撮像した対象物の特性を検査する。本実施形態において、カメラ１０と、照明装置２０と、制御装置３０と、表示操作装置４０とは、それぞれ独立した装置により構成されている。例えば、照明装置２０は、カメラ１０に対して着脱可能でもよい。制御装置３０は、図示せぬインターフェース（有線又は無線）を介して、カメラ１０、照明装置２０、及び表示操作装置４０に接続されている。つまり、カメラ１０、照明装置２０、制御装置３０、及び表示操作装置４０は、通信デバイスを有する。 
　カメラ１０は、対象物について、例えば数十バンドのスペクトル情報のような多波長の情報を含む画像、いわゆる多波長画像を撮像可能な装置である。多波長画像とは、多数（例えば３つ以上、例えば２０波長（２０バンド））の波長の成分を含む画像である。カメラ１０は、ハイパースペクトルカメラとも呼ばれる。カメラ１０は、例えば固定位置に設置され、対象物を撮像する。カメラ１０は、分光部１１と、撮像部１２と、記憶部１３と、を有する。
　分光部１１は、透過型（例えばフィルタ又はプリズム）の光学部材により構成されてもよいし、反射型（例えば回折格子）の光学部材により構成されてもよい。分光部１１は、照明装置２０により光を照射された対象物からの光を受光して、複数の波長に分光する。つまり、分光部１１は、撮像部１２に対応して配置され、撮像部１２の画素毎に波長の選択機能を有する。分光部１１は、複数の分光領域に区分されていてもよい。各分光領域は、所定の波長を通過させる。各分光領域で通過される１つ以上の波長は少なくとも一部が重複してもよいし、重複しなくてもよい。
　撮像部１２は、分光部１１を介して受光した光を電気信号に変換し、対象物の画像を撮像する撮像素子等により構成される。撮像部１２の各画素の波長領域は、少なくとも一部が重複してもよいし重複しなくてもよい。
　記憶部１３は、カメラ１０の設定、動作プログラム、又は撮像した画像等を記憶するメモリやディスク等により構成される。
　照明装置２０は、対象物に照明光を照射し、カメラ１０による対象物の撮像を可能にする装置である。照明装置２０は、投光部２１と、記憶部２２と、を有する。投光部２１は、対象物に対して照明光を照射可能な光源であり、発光素子又は電球等により構成される。記憶部２２は、照明装置２０の設定又は動作プログラム等を記憶するメモリやディスク等で構成される。照明装置２０による照明光は、白色光であっても所定の少なくとも１つの波長を有する光であってもよい。
　制御装置３０は、画像検査システム１００の制御を司る装置であり、例えばＰＣ（Personal Computer）である。制御装置３０は、カメラ１０が撮像した画像について種々の処理を行う処理部を構成する。制御装置３０は、制御部３１と、演算部３２と、判定部３３と、記憶部３４と、を有する。制御部３１と演算部３２と判定部３３とは、例えば記憶部３４に記憶された画像検査プログラムを読み込み、制御装置３０ひいては画像検査システム１００の動作を制御する。
　制御部３１は、制御装置３０の全体動作制御を司るプロセッサ等により構成される。また、制御部３１は、例えば、カメラ１０や照明装置２０の制御の指示や各種設定（例えばカメラ設定、照明設定）を行う。
　演算部３２は、例えば演算処理に特化したプロセッサ等により構成される。演算部３２は、例えば、後述する正答率や寄与度の導出、各種画像の生成、画像に含まれる波長のうちの検査対象の波長の指定、を行う。
　判定部３３は、各種の判定処理に特化したプロセッサ等により構成される。判定処理は、例えば、後述する確認画像や検査画像や組み合わせ画像データの正答率が所定の要件を満たすか否かの判定を含んでもよい。確認画像は、カメラ１０により撮像されて得られた全波長の成分を含む画像であり、検査の準備（検査に用いる波長の指定）に用いる画像である。検査画像は、カメラ１０により撮像されて得られた全波長の成分を含む画像であり、検査に用いる画像である。組み合わせ画像データは、確認画像又は検査画像に含まれる複数の波長のうちの一部の波長の成分を含む画像に相当するデータである。なお、確認画像が検査に用いられてもよい。
　記憶部３４は、制御装置３０の設定又は動作プログラム等を記憶するメモリやディスク等に構成される。
　表示操作装置４０は、カメラ１０が撮像した画像、制御装置３０による処理結果等を表示する表示装置として機能するとともに、ユーザが種々の操作を入力する操作部としても機能する。表示操作装置４０は、初期設定部４１と、検査条件設定部４２と、画像表示部４３と、結果表示部４４と、を有する。
　初期設定部４１は、ユーザによる表示操作装置４０の初期設定の操作入力を受け付ける操作部の一つであり、キーボード又はマウス等の入力デバイスにより構成される。初期設定部４１は、この操作入力を基に初期設定する。検査条件設定部４２は、ユーザによる画像検査システム１００の検査の条件の操作入力を受け付ける操作部の一つであり、キーボード又はマウス等の入力デバイスにより構成される。検査条件設定部４２は、この操作入力を基に検査の条件を設定する。検査条件は、例えば、画像検査に用いる波長数、画像検査に用いる正答率、又はその他の検査条件を含む。正答率は、検査対象物が良品であるか不良品であるかを識別するための指標となる。一の入力デバイスが、初期設定部４１及び検査条件設定部４２の操作部を兼ねることもできる。設定された初期条件や検査条件は、制御装置３０に送られ、記憶部３４に保持されてもよい。
　画像表示部４３は、カメラ１０が撮像した画像等を表示するディスプレイである。結果表示部４４は、制御装置３０が画像を処理した結果等を表示するディスプレイである。一のディスプレイが、画像表示部４３及び結果表示部４４を兼ねることもできる。
　また、初期設定部４１及び検査条件設定部４２を入力デバイスにより構成し、画像表示部４３及び結果表示部４４を、この入力デバイスとは別体のディスプレイにより構成してもよい。
　図２Ａはカメラ１０が取得する画像である確認画像ＧＣの一例を示す図である。図２Ｂは図２Ａの確認画像ＧＣに含まれる各波長の各画像データｇｄを示す図である。
　照明装置２０が画像検査システム１００の検査対象である第１の対象物に照明光を照射する。分光部１１が、照明装置２０により光を照射された対象物からの光を受光して、複数の波長に分光する。撮像部１２は、分光部１１を介して受光した光を電気信号に変換し、図２Ａの確認画像ＧＣを取得する。よって、確認画像ＧＣは、第１の対象物が映った画像である。
　同様に、不図示であるが、照明装置２０が画像検査システム１００の検査対象である第１の対象物に照明光を照射する。分光部１１が、照明装置２０により光を照射された対象物からの光を受光して、複数の波長に分光する。撮像部１２は、分光部１１を介して受光した光を電気信号に変換し、図２Ａの確認画像ＧＣを取得する。よって、確認画像ＧＣは、第１の対象物が映った画像である。
　本実施形態では、対象物（例えば第１の対象物や後述の第２の対象物）は、例えば塗装物であり、検査対象となり得る。第１の対象物は、多波長画像を用いた第２の対象物の検査のための事前準備に用いられる。第１の対象物が撮像されることで、確認画像が得られる。第２の対象物は、実際の検査対象である。第２の対象物が撮像されることで、検査画像が得られる。第１の対象物と第２の対象物とは、同種の物（同様の塗装が施された物、同様の色分布を有する物、所定の部品や完成物）でもよい。なお、第１の対象物も実際の検査対象であってもよく、第１の対象物が第２の対象物の１つであってもよい。つまり、対象物の検査において用いた複数の波長と同一の複数の波長を、後続の対象物の検査において用いてもよい。例えば、第１の対象物は、複数の第２の対象物のうちの最初に検査される対象物であってもよい。
　制御装置３０は、図２Ａの確認画像ＧＣをカメラ１０から取得する。この確認画像ＧＣは、分光部１１の分光特性により、例えば数十バンドのスペクトル情報のような多波長を構成する各波長の各画像を含んでいる。制御装置３０の演算部３２は、確認画像ＧＣ及び分光部１１の分光特性に基づいて、図２Ｂに示すように、確認画像ＧＣに含まれる多波長を構成する波長１～波長２０の各画像データｇｄを生成する。なお、各画像データｇｄでは、所定の画像データｇｄが示す波長の受光量が多い程、この所定の画像データｇｄの画素値が大きくなり（白くなり）、この波長の受光量が少ない程、この所定の画像データｇｄの画素値が小さくなる（黒くなる）。本例では、多波長の波長数が２０であるが、波長数は特定の数に限定されるものではなく、１９個以下の波長数でも、２１個以上の波長数でもよい。
　図３は、正答画像ＧＡ及び確認画像ＧＣの概念図である。正答画像ＧＡは、例えば、制御装置３０が予め取得し、記憶部３４に記憶した、正解である基準対象物そのものの画像であり、具体的には対象物の色見本となるサンプル画像である。つまり、正答画像ＧＡとは、確認画像や検査画像が目標とする色分布を示す画像である。正答画像ＧＡは、確認画像ＧＣと同様に、第１の対象物の画像である。また、正答画像ＧＡは、確認画像ＧＣである。制御装置３０の判定部３３は、カメラ１０が検査対象となる第１の対象物を撮像することにより得られる確認画像ＧＣが、正答画像ＧＡに合致するか否かを判定することにより、対象物が基準対象物に合致し、正しい物品であるか否か（たとえば欠陥があるか否か）を判定する。
　この判定にあたって用いられる概念が正答率である。制御装置３０の判定部３３は、確認画像ＧＣに含まれる多波長の各波長の画像の受光量と、正答画像ＧＡにおける各波長の画像の受光量と、を比較し、確認画像ＧＣの色（各波長の受光量の分布）が正答画像ＧＡの色（各波長の受光量の分布）と異なる部分を判定する。そして、演算部３２は、この異なると判定された部分の面積、いわゆる誤判定面積を計算する。さらに、演算部３２は、この誤判定面積が対象物の面積に対し、どれくらいの割合で存在するかを計算する。正答率はこの一連の計算によって求められ、正答率の式は、例えば、（正答率＝１－誤判定面積と対象物の面積の割合）で表される。
　図３の例では、正答画像ＧＡ及び確認画像ＧＣは、１２ｃｍ２の面積を持つ。正答画像ＧＡは、その中央部分において、色が周囲の第１色と異なる第２色の領域を有しており、その面積は０．３２ｃｍ２である。一方、確認画像ＧＣは、正答画像ＧＡと同様に、その中央部分において、色が周囲の第１色と異なる第２色の領域を有しているが、その面積は０．２２ｃｍ２であり、第２色の領域の大きさが正答画像ＧＡと異なっている。この場合、確認画像ＧＣの正答率は以下のように求められる。
・対象物の面積：１２ｃｍ２
・誤判定面積：０．３２－０．２２ｃｍ２
・正答率：１－（０．３２－０．２２）／１２＝９５％
　ただし、上述した正答率の算出方法はあくまで一例であり、正答率の算出方法はここで説明したものには限定されない。
　図４Ａと図４Ｂと図４Ｃとは、各波長の寄与度を求める過程を示す図である。寄与度は、図３で説明した確認画像の正答率の算出にあたって、確認画像に含まれる多波長のうち、各波長が寄与する度合いを示す値である。寄与度は、第１の対象物における領域毎に応じた、カメラ１０により第１の対象物が撮像されて得られた波長毎の受光量のばらつきに基づいて算出される。すなわち、多波長を構成するそれぞれの波長は、第１の対象物における領域毎に受光量のばらつきが存在しており（一の波長であっても、領域が異なれば受光量が異なる）、ばらつきが大きいほど、領域を正しく区別し、特定しやすく、正答率への寄与度が大きい、と言うことができる。
　図４Ａは、寄与度の算出にあたり、確認画像又は正答画像において指定された領域を示す。図４Ａの領域ａ，ｂ，ｃ，ｄは、各波長の寄与度を求めるにあたって、第１の対象物を撮像して得られる確認画像又は正答画像で用いられる領域である。確認画像の取得前に、制御装置３０の演算部３２は、確認画像又は正答画像において領域ａ，ｂ，ｃ，ｄを指定し、記憶部３４に記憶していてもよい。領域ａ，ｂ，ｃ，ｄは、任意の領域でよく、例えば多くの頻度で検査する領域でもよい。また、表示操作装置４０が、検査条件設定部４２を介して、ユーザから確認画像又は正答画像における任意の領域を囲むような操作入力を受け付けて領域ａ，ｂ，ｃ，ｄを指定し、この領域の指定情報を制御装置３０に送信してもよい。そして、制御装置３０の演算部３２が、表示操作装置４０からの領域の指定情報に基づいて、領域ａ，ｂ，ｃ，ｄを指定してもよい。これらの領域の指定は、後に確認画像、検査画像又は組み合わせ画像データの正答率を算出する領域の指定に相当する。また、この指定される領域は、実際の検査画像に対する検査における検査対象の領域と一致してもよい。また、領域ａ，ｂ，ｃ，ｄは、まとめて一つの領域として指定されてもよい。
　図４Ｂは、指定された領域毎の波長に対する受光量（受光量分布）を示すグラフを示す。図４Ｂでは、横軸に示す波長毎に、各領域ａ，ｂ，ｃ，ｄでの受光量が異なり、各波長で領域ａ，ｂ，ｃ，ｄの受光量のばらつきが異なっている。例えば、４８０ｎｍ付近の波長は、５５０ｎｍより長い波長に比べ、どの領域でも受光量は大きいが、各領域ａ，ｂ，ｃ，ｄの受光量のばらつきも大きい。よって、４８０ｎｍ付近の波長は、５５０ｎｍより長い波長に比べて、上記の寄与率が大きいということが言える。
　具体的に、制御装置３０の演算部３２は、指定された領域ａ，ｂ，ｃ，ｄにおいて、受光量の比較を行い、各波長の寄与度を算出する。寄与度の算出にあたっては、例えば多変量分析（例えば主成分分析）が用いられてよく、マハラノビス距離が用いられてもよい。マハラノビス距離は、ある値の群が、標準偏差単位での平均（重心）からどの程度離れているかを示す指標であり、２つのデータ群がどれだけ似ているかを示す尺度でもある。類似度の高いデータ群は重なっている割合が多く、マハラノビス距離は短い。この際、両者の重なりがない部分が両データ群の違いになる。例えば、マハラノビス距離が短い程、寄与度が低く、マハラノビス距離が長い程、寄与度が高い。
　図４Ｃは、選択された波長の番号に対する寄与度を示すグラフを示す。図４Ｃでは、横軸は波長番号を示し、縦軸は寄与度を示している。図４Ｃでは、寄与度の大きい順に波長番号を並べている。つまり、図４Ｃでは、演算部３２により算出された各波長の寄与度を大きい順に並べた場合、波長３、波長７、波長８、波長４、波長５、・・・、波長１９、波長２０、波長１８、であり、これらの各波長における寄与度の変化を示している。
　なお、確認画像における検査対象の領域ａ，ｂ，ｃ，ｄが指定されなくてもよい。つまり、確認画像における検査対象が、確認画像全体であってもよい。正答画像は複数で合ってもよい。
　図５は、確認画像に含まれる波長毎の画像データを寄与度の順に並べた状態を示す。寄与度に基づく画像データの配列は、演算部３２によって実施されてもよい。演算部３２は、上述の過程で決定された寄与度に従い、図５に示すように、確認画像に含まれる波長毎の画像データを、寄与度の順に並べる。図５に示すこの順は、図４Ｃにおける横軸の波長番号の順と同じである。制御装置３０は、演算部３２が、例えば通信部（不図示）を介して表示操作装置４０に表示指示を行い、表示操作装置４０の画像表示部４３が、配列された画像データ（波長番号：波長３、波長７、波長８、波長４、波長５、・・・波長１９、波長２０、波長１８）を表示してもよい。
　制御装置３０の演算部３２は、図４Ｂ及び図４Ｃの四角で囲んだ領域のように、確認画像に含まれる多波長から、複数の波長（第１の波長）を指定する。本例では、演算部３２は、全部で２０バンドの多波長から、１０バンドの第１の波長を指定する。演算部３２は、例えば、寄与度が高い順に複数の波長を組み合わせることで、複数の第１の波長を指定してもよい。演算部３２は、第１の波長として指定される波長数を指定してもよい。この場合、波長数は、後述する閾値に基づいて指定されてもよいし、予め定められて記憶部３４に保持されていてもよいし、表示操作装置４０の検査条件設定部４２を介して手動で指定されてもよい。
　演算部３２は、例えば１０バンドの第１の波長が指定された場合、演算部３２は、この指定された１０バンド分の画像データを組み合わせて、第１の組み合わせ画像データを生成してもよい。第１の組み合わせ画像データは、正答画像と比較され、複数波長の場合の正答率の導出に用いられるデータとなる。第１の組み合わせ画像データは、全波長が加味された確認画像と比較すると、波長成分の一部が省略されたデータである。
　また、演算部３２は、第１の対象物に対応する正答画像に基づいて、生成した第１の組み合わせ画像データの正答率を算出する。正答率の算出は、図３で説明した方法により行うことができる。この場合、図３における確認画像の代わりに、第１の組み合わせ画像データが用いられる。つまり、確認画像と正答画像との比較では、確認画像に含まれる全波長のそれぞれを加味した正答率が算出され、第１の組み合わせ画像データと正答画像との比較では、確認画像に含まれる一部の特定の波長（第１の波長）を加味した正答率が算出される。
　図６は、様々な組み合わせの第１の波長の各画像データを組み合わせた第１の組み合わせ画像データに対する正答率を示すグラフである。
　演算部３２は、図４Ａ～図４Ｃで説明した過程で決定された各波長の寄与度の順に従い、つまり確認画像における寄与度が高い波長の順に複数の波長を組み合わせ、すなわち複数の第１の波長の画像データを指定し、指定された各画像データを組み合わせて第１の組み合わせ画像データを生成する。図６では、寄与度が高い順に組み合わせる複数の波長の数を順次増加させて第１の組み合わせ画像データを生成し、その正答率を縦軸にプロットしている。本例では、最も寄与度が高い波長３の画像データの正答率が横軸の左端にプロットされており、その後、波長７、波長８、・・・と、寄与度の順に波長の画像データを組み合わせた第１の組み合わせ画像データの正答率がプロットされる。横軸の右端には、全ての波長（２０バンド）の画像データを組み合わせた第１の組み合わせ画像データの正答率がプロットされている。なお、全ての波長の画像データを組み合わせた第１の組み合わせ画像データに対応する画像は、確認画像と等しい。
　第１の組み合わせ画像データを生成するための波長数（つまり波長の各画像データの数）が増加することにより、第１の組み合わせ画像データの正答率は向上する。しかしながら、組み合わせ対象の波長数の増加に伴い、第１の組み合わせ画像データの正答率は向上するものの、やがて正答率の向上は飽和する。図６のグラフでは、例えば１０バンド分の画像データに基づく第１の組み合わせ画像データの正答率が所定の閾値ｔｈに達した後、それ以上画像データを追加しても、正答率の大幅な向上は見込めない。そこで、演算部３２は、正答率と比較される閾値ｔｈを、図６に示すように指定する。そして、演算部３２は、例えば、閾値ｔｈに達する必要な最小の波長の数（最小バンド数、例えば波長数１０）の画像データを利用して、第１の組み合わせ画像データを生成する。閾値ｔｈは、例えば正答率の飽和状態に対応した値であってもよい。
　図７は、確認画像に含まれる波長毎の画像データを手動で選択するための操作を示す。例えば、寄与度の順に並べて画像データが表示されて、選択に係る操作が実施されてもよい。
　図４Ａ～図６で示した例においては、制御装置３０の演算部３２が、ユーザの意思にかかわらず、自動的に確認画像に含まれる多波長の画像データを配列（例えば寄与度の順に配列）し、複数の第１の波長を指定することを例示した。この場合、表示操作装置４０の初期設定部４１が、例えば操作部によりユーザの操作を受け付けて「自動モード」を設定していてもよい。自動モードは、制御装置３０の動作モードの１つであり、自動で検査対象の複数の波長（第１の波長）の指定等を行うモードである。
　一方、図７の例では、表示操作装置４０の初期設定部４１が、例えば、操作部によりユーザの操作を受け付けて「手動モード」に設定することにより、画像表示部４３が、多波長を構成する各波長の各画像データを、チェックボックスとともに表示してもよい。手動モードは、制御装置３０の動作モードの１つであり、手動で検査対象の複数の波長（第１の波長）の指定等を行うモードである。検査条件設定部４２は、操作部へのユーザの操作に応じて、表示された各画像データから任意の画像データを指定し、指定された画像データに対応する第１の波長を指定してもよい。本例では、検査条件設定部４２は、操作部へのユーザの操作に応じて、波長（画像データ）に対応するチェックボックスをチェックして複数の第１の波長を指定し、波長の指定情報を制御装置３０に送信してもよい。そして、制御装置３０の演算部３２が、表示操作装置４０からの波長の指定情報に基づいて、複数の第１の波長を指定してもよい。これにより、演算部３２は、第１の波長の波長数を指定することにもなる。
　画像表示部４３は、各波長の各画像データを表示するとともに、各波長の識別情報（例えば波長番号）、各波長の寄与度、等を表示してもよい。これにより、ユーザは、各波長の寄与度を確認しながら、表示操作装置４０の操作部を介して波長（画像データ）を指定してもよい。なお、指定された第１の波長に対応する各画像データが組み合わされた第１の組み合わせ画像データが表示された場合に、この第１の組み合わせ画像データが人にとって見易いかどうかも考慮してもよい。例えば、波長が近い複数の波長が指定されて第１の組み合わせ画像データが生成されて表示されることで、第１の対象物のグラデーションを鮮明に確認し易い。よって、第２の対象物の画像検査時においても、第１の組み合わせ画像データと同様の第２の組み合わせ画像データ（検査用の組み合わせ画像データ）が表示されることで、第２の対象物のグラデーションを鮮明に確認し易くなる。
　なお、第１の組み合わせ画像データは、第１の波長に対応する各画像データがデータ上で組み合わされたものであって画像そのものではなくてもよいし（画像が生成されるまで至らないものでもよいし）、第１の波長に対応する各画像データが合成（統合）された画像（統合画像）であってもよい。同様に、第２の組み合わせ画像データは、第２の波長に対応する各画像データがデータ上で組み合わされたものであって画像そのものではなくてもよいし（画像が生成されるまで至らないものでもよいし）、第２の波長に対応する各画像データが合成（統合）された画像（統合画像）であってもよい。
　次に、多波長画像を用いた第２の対象物の検査について説明する。
　制御装置３０の演算部３２は、上述のように、第１の対象物の撮像を基に確認画像を取得する。演算部３２は、波長指定用の組み合わせ画像データと正答画像とを比較し、波長指定用の組み合わせ画像の正答率を算出する。演算部３２は、この正答率が所定の正答率を満たす場合（閾値ｔｈ以上である場合）に、波長指定用の組み合わせ画像データに含まれる複数の第１の波長（例えば１０個の波長数の特定の波長（例えば寄与度の高い波長））を、カメラ１０により第２の対象物が撮像されて得られる検査画像の検査に用いる複数の第２の波長として決定する。
　また、演算部３２は、第１の対象物と同種で、新たな第２の対象物の撮像を基に検査画像を取得し、決定された複数の第２の波長の成分を含む検査用の組み合わせ画像データ（第２の組み合わせ画像データ）を使用する。演算部３２は、検査用の組み合わせ画像データと正答画像とを比較し、検査用の組み合わせ画像データの正答率を算出し、判定部３３は、この正答率に基づいて、第２の対象物が良品か不良品かを判定する。例えば、判定部３３は、正答率が閾値ｔｈ以上である場合には、第２の対象物が良品であると判定し、正答率が閾値ｔｈ未満である場合には、第２の対象物が不良品であると判定する。なお、検査時の正答率の導出方法や検査対象の領域の指定方法は、検査用の波長指定時の方法と同様でもよい。また、第２の対象物が良否か不良品かを判定するための閾値が、前述の波長指定のために正答率と比較される閾値と同じであることを例示したが、これらの閾値は異なってもよい。
　演算部３２は、複数ある第２の対象物を順次撮像し、検査画像を順次取得し、検査用の組み合わせ画像データを順次生成し、検査用の組み合わせ画像データの正答率を順次算出してもよい。そして、判定部３３は、第２の対象物が良品か不良品かを順次判定してもよい。
　したがって、画像検査システム１００は、検査画像の検査時に、全波長について検査せずに指定された第２の波長を使用して検査するので、全波長を用いて検査する場合と比較すると、第２の対象物の画像検査に要する時間を短縮できる。また、画像検査システム１００は、検査画像の検査に用いる波長数を低減しても、第１の対象物の確認画像を用いて、閾値ｔｈ以上の正答率を得られる波長が検査対象の波長として決定されているので、検査画像の検査精度が低下することを抑制できる。
　図８Ａ及び図８Ｂは、画像検査システム１００が実行する画像検査方法の手順の一例を示すフローチャートである。
　まず、制御装置３０が、基準とすべき基準対象物の正答画像を取得する（ステップＳ１）。例えば、検査条件設定部４２が操作部を介して正答画像の取得指示を行うことにより、制御装置３０は、制御部３１が、図示せぬネットワークを通じて所定のサーバから正答画像を取得し、記憶部３４に記憶させる。
　続いて、制御装置３０の制御部３１が、カメラ１０が対象物を撮像して確認画像を取得し、記憶部３４に記憶させる（ステップＳ２）。演算部３２は、正答画像及び確認画像において、図４Ａで示した領域ａ，ｂ，ｃ，ｄのように、所定の領域を指定する（ステップＳ３）。この領域ａ～ｄは、検査対象の領域に相当する。
　続いて、制御装置３０の演算部３２が、指定された領域において、例えば図３で示した要領にて、正答画像に対する確認画像の正答率を計算する（ステップＳ４）。この場合、演算部３２は、指定された各第１の波長の画像データ毎に、正答率を計算してもよい。つまり、演算部３２は、単一の波長の画像データと正答画像とを比較して、単一の波長毎に正答率を計算してもよい。さらに演算部３２は、例えば図４Ａ～図４Ｃで示した要領にて、波長毎の正答率への寄与度を算出する（ステップＳ５）。
　続いて、演算部３２は、検査対象の波長を自動指定するか否かを判定する（ステップＳ６）。例えば、初期設定部４１により自動モードに設定されている場合、制御部３１は、検査対象の波長を自動指定する（ステップＳ６；ＹＥＳ）。初期設定部４１により手動モードに設定されている場合、制御部３１は、検査対象の波長を手動指定する（ステップＳ６；Ｎｏ）。
　波長を自動指定する場合、演算部３２は、図４Ｃ～図６で示した要領にて、確認画像に含まれる多波長から複数の第１の波長を指定する（ステップＳ７）。この場合、演算部３２は、波長数や正答率（つまり閾値ｔｈ）等の検査条件に従って、複数の第１の波長を指定してもよい。具体的には、演算部３２は、正答率や寄与度の高い順に所定数の第１の波長を指定したり、正答率や寄与度が予め設定される所定の閾値を越える複数の第１の波長を指定したりしてもよい。演算部３２は、指定された第１の波長に対応する各画像データを組み合わせて、第１の組み合わせ画像データと正答画像とを比較することで、第１の組み合わせ画像データの正答率を算出する（ステップＳ９）。
　一方、波長を自動指定しない場合（波長を手動指定する場合）、演算部３２は、図７で示した要領にて、複数の第１の波長を指定して画像データを手動で指定する（ステップＳ８）。演算部３２は、指定された第１の波長に対応する各画像データを組み合わせて第１の組み合わせ画像データを生成し、第１の組み合わせ画像データと正答画像とを比較することで、第１の組み合わせ画像データの正答率を算出する（ステップＳ９）。
　続いて、制御装置３０の判定部３３が、ステップＳ９で算出された第１の組み合わせ画像データの正答率が、図６に示すような所定の閾値ｔｈ以上であるか否かを判定する（ステップＳ１０）。正答率が所定の閾値ｔｈより小さい場合（ステップＳ１０；ＮＯ）、例えば図７で示した要領にて、演算部３２が、複数の第１の波長を再度指定して画像データを手動で指定する（ステップＳ８）。そして、演算部３２が再びステップＳ９を実施し、判定部３３が再びステップＳ１０を実施する。
　なお、ステップＳ８では、判定部３３は、表示操作装置４０に対して、第１の波長を指定するためのガイド表示（推奨表示）を行うよう指示し、表示操作装置４０の画像表示部４３が、制御装置３０からの指示に従って、このガイド表示を行ってもよい。ガイド表示により、ユーザは、ステップＳ８での手動の指定がし易くなる。ガイド表示は、正答率や寄与度が高くなる各画像データの組み合わせ等、第１の波長として指定されることが推奨されるものを識別し易くする表示である。例えば、指定が推奨される波長の波長番号が強調表示（例えば太字での表示、色付けされた表示）されてもよい。例えば指定が推奨される波長の画像データの枠やチェックボックスの枠が強調表示（例えば太枠での表示、色付けされた枠での表示）されてもよい。
　ステップＳ９で算出された第１の組み合わせ画像データの正答率が、図６に示すような所定の閾値ｔｈ以上である場合（ステップＳ１０；ＹＥＳ）、制御部３１は、今後検査すべき新たな第２の対象物が撮像されて得られる検査画像の検査に用いる複数の第２の波長を、上記で指定された複数の第１の波長に決定する（ステップＳ１１）。決定された複数の第１の波長の情報は、記憶部３４に保持されてもよい。
　ステップＳ１１の終了後、図８Ｂに進む。カメラ１０が、第１の対象物と同様に、第２の対象物を撮像して検査画像を取得し、制御装置３０に送信する。制御装置３０の判定部３３は、カメラ１０から検査画像を取得する（ステップＳ１２）。そして、判定部３３は、検査画像を判定する、つまり第２の対象物が基準対象物に合致するか否かを判定する（ステップＳ１３）。この場合、判定部３３は、検査画像に含まれ指定された第２の波長に対応する各画像データを合成して第２の組み合わせ画像データを生成し、第２の組み合わせ画像データと前述の正答画像とを比較することで、第２の組み合わせ画像データの正答率を算出する。つまり、指定された複数の第２の波長を用いた場合の正答率が算出される。そして、判定部３３は、例えば、正答率が閾値ｔｈ以上である場合には、第２の対象物が良品であると判定し、正答率が閾値ｔｈ未満である場合には、第２の対象物が不良品であると判定してもよい。判定部３３は、良品であるか不良品であるかの検査結果の情報を、制御装置３０の通信デバイスを介して表示操作装置４０に送信し、表示操作装置４０の結果表示部４４が、表示操作装置４０の通信デバイスを介して検査結果の情報を取得し、検査結果を表示してもよい。ユーザ（検査者）は、検査結果の表示を確認して把握できる。
　したがって、図８ＡのステップＳ１～Ｓ１１は、検査対象である第２の対象物の検査のための準備段階（検査に用いる波長の指定段階）である。図８ＢのステップＳ１２，Ｓ１３が、準備段階で指定された複数の第１の波長を、検査用の複数の第２の波長として用い、多波長画像を用いて第２の対象物を検査する検査段階である。
　図９Ａ及び図９Ｂは、組み合わせた波長の数に対する正答率の一例を示すグラフである。図９Ａは、寄与度の高い順に波長を追加して組み合わせた場合の波長の数に対する第２の組み合わせ画像データの正答率を示す。図９Ａは、図６と実質的に同じグラフを示す。図９Ｂは、寄与度に依存せずに任意に波長を組み合わせた場合の波長の数に対する第２の組み合わせ画像データの正答率を示す。
　図９Ａでは、寄与度の高い順に波長を追加して、組み合わされた波長の各画像データを合成した第２の組み合わせ画像データを生成する。この場合、制御装置３０は、１０バンド程度の波長の組み合わせの第２の組み合わせ画像データによって、図９Ｂに示すランダムの場合における全２０バンドの波長の組み合わせの第２の組み合わせ画像データの場合と同程度の正答率を得ることができる。これにより、画像検査システム１００は、寄与度の高い順に波長を組合せて得られた第２の組み合わせ画像データであっても、全波長の組み合わせで得られた第２の組み合わせ画像データ（つまり検査画像）と比較して、処理すべきデータ量を抑制しつつも高い正答率を維持可能である。したがって、画像検査システム１００は、結果的に、対象物についての画像検査の精度の低下を抑制しつつ、画像検査に要する検査時間を短縮することができる。
　図１０は、画像検査システムの変形例１のブロック図である。変形例１では、カメラユニット１０Ａが、図１におけるカメラ１０と照明装置２０とを含む。すなわち、カメラユニット１０Ａは、カメラ１０の機能と照明装置２０の機能とを一体的に有する装置である。
　図１１は、画像検査システムの変形例２のブロック図である。変形例２では、制御ユニット３０Ａが、図１における制御装置３０と表示操作装置４０とを含む。すなわち、制御ユニット３０Ａは、制御装置３０の機能と表示操作装置４０の機能とを一体的に有する装置である。
　図１２は、画像検査システムの変形例３のブロック図である。変形例３においては、カメラユニット１０Ａが、図１におけるカメラ１０と照明装置２０とを含むとともに、制御ユニット３０Ａが、図１における制御装置３０と表示操作装置４０とを含む。すなわち、変形例３は、変形例１のカメラユニット１０Ａと、変形例２の制御ユニット３０Ａと、を組み合わせたものである。
　このように、本実施形態の画像検査システム１００によれば、画像検査システム１００は、多波長画像を用いた検査対象物の検査精度の低下を抑制しつつ、検査時間を短縮できる。また、第２の組み合わせ画像データに含まれる波長を増やすことで、この第２の組み合わせ画像データは検査画像の画質に近づくので、正答画像の画質に近づき、正答率が向上するが、画像のデータ量が増大することで処理負荷が増大し処理時間が増大する。画像検査システム１００は、検査精度の向上と検査時間の短縮との双方を好適なバランスで両立できる。また、画像検査システム１００は、寄与度の高い波長を検査用の波長（第２の波長）とすることで、検査対象物（第２の対象物）の色むら等の検出を効率良く実現できる。
　以上のように、本実施形態の画像検査システム１００は、多波長画像を利用して対象物を検査する画像検査システムであって、光を分光する分光部１１を介して、第１の対象物からの光を受光して確認画像ＧＣを取得する撮像部（例えばカメラ１０）と、撮像部により取得された確認画像ＧＣに対して処理を行う処理部（例えば制御装置３０）と、を備える。処理部は、確認画像ＧＣ及び分光部１１の分光特性に基づいて、確認画像ＧＣに含まれる多波長を構成する各波長の各画像データｇｄを生成する。処理部は、多波長に含まれる複数の第１の波長を指定し、指定された第１の波長の各画像データｇｄを組み合わせた第１の組み合わせ画像データと第１の対象物に対応する所定の正答画像ＧＡとに基づいて、第１の組み合わせ画像データの正答率を算出する。処理部は、正答率が閾値ｔｈ以上である場合、撮像部により第２の対象物が撮像されて得られる検査画像の検査に用いる複数の第２の波長を、指定された複数の第１の波長に決定する。
　これにより、画像検査システム１００は、確認画像ＧＣに含まれる各波長のうちの一部の波長を省略して第１の組み合わせ画像データを生成して正答画像ＧＡと比較することで、正答率が閾値ｔｈ以上を満たす第１の組み合わせ画像データを構成する複数の第１の波長を決定できる。よって、実際に第２の対象物の画像検査を行う場合に、検査画像に含まれる各波長のうちの一部の波長を省略して第２の組み合わせ画像データを生成して正答画像ＧＡと比較することで、正答率が閾値ｔｈ以上を満たして第２の対象物の画像検査を実施できる。また、第２の組み合わせ画像データは検査画像における波長の一部が省略されており、画像のデータ量が小さいので、第２の組み合わせ画像データと検査画像との比較に係る処理負荷が低減される。したがって、画像検査システム１００は、検査の精度の低下を抑制しつつ、検査に要する検査時間を短縮できる。
　また、処理部は、確認画像ＧＣにおける正答率を算出する領域ａ～ｄを指定してもよい。
　これにより、画像検査システム１００は、確認画像におけるどの部分の正答率や画像検査結果を得ることを希望するかを指定できる。
　また、処理部は、第１の対象物における領域毎に応じた、撮像部により第１の対象物が撮像されて得られた波長毎の受光量のばらつきに基づいて、波長毎の正答率への寄与度を算出し、寄与度に基づいて、複数の第１の波長を指定してもよい。
　これにより、画像検査システム１００は、正答率への寄与度つまり第１の対象物の各位置の識別のし易さを加味して、複数の第１の波長として決定できる。
　また、処理部は、寄与度が高い順に複数の波長を組み合わせることで、複数の第１の波長を指定してもよい。
　これにより、画像検査システム１００は、第１の対象物の各位置を識別し易い複数の波長を、複数の第１の波長として決定できる。
　また、処理部は、正答率が閾値ｔｈ以上となるまで、寄与度が高い順に組み合わせる複数の波長の数を順次増加させてもよい。
　これにより、画像検査システム１００は、画像検査における所望の正答率を満たしつつ、指定される第１の波長の数をなるべく少なくできる。よって、画像検査システム１００は、画像検査に係る処理負荷を極力低減できる。
　また、処理部は、操作部（例えば初期設定部４１又は検査条件設定部４２）への入力操作に応じて、複数の第１の波長を指定してもよい。
　これにより、画像検査システム１００は、ユーザ所望の第１の波長を手動指定できる。例えば、画像検査システム１００は、指定された第１の波長に基づく組み合わせ画像データの自然さを加味して、第１の波長を指定可能である。
　また、処理部は、指定される第１の波長の波長数を指定してもよい。
　これにより、画像検査システム１００は、指定される第１の波長の波長数を加味して、組み合わせ画像データを生成できる。
　また、処理部は、正答率と比較される閾値ｔｈを指定してもよい。
　これにより、画像検査システム１００は、閾値ｔｈを調整することで、第２の対象物の画像検査の検査精度を調整できる。
　また、撮像部は、分光部１１を介して、第２の対象物からの光を受光して検査画像を取得してもよい。処理部は、検査画像及び分光部１１の分光特性に基づいて、多波長を構成する各波長の各画像データを生成し、決定された複数の第２の波長の各画像データを組み合わせた第２の組み合わせ画像データと正答画像ＧＡとに基づいて、第２の対象物を検査してもよい。
　これにより、画像検査システム１００は、第１の対象物が撮像された確認画像を用いて指定された第１の波長を、第２の対象物が撮像されて得られる検査画像を検査するための第２の波長とすることができる。つまり、画像検査システム１００は、確認画像を用いた画像検査と同じ検査精度、同じ検査時間として、検査画像を用いた画像検査を実施できる。
　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２２年２月２８日出願の日本特許出願（特願２０２２－０２９９５７）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、検査の精度の低下を抑制しつつ、検査に要する検査時間を短縮できる画像検査システム及び画像検査方法等に有用である。
１０　　カメラ
１０Ａ　カメラユニット
１１　　分光部
１２　　撮像部
１３　　記憶部
２０　　照明装置
２１　　投光部
２２　　記憶部
３０　　制御装置
３０Ａ　制御ユニット
３１　　制御部
３２　　演算部
３３　　判定部
３４　　記憶部
４０　　表示操作装置
４１　　初期設定部
４２　　検査条件設定部
４３　　画像表示部
４４　　結果表示部
１００　画像検査システム

Claims (10)

  1. 　多波長画像を利用して対象物を検査する画像検査システムであって、
    　光を分光する分光部を介して、第１の対象物からの光を受光して確認画像を取得する撮像部と、
    　前記撮像部により取得された前記確認画像に対して処理を行う処理部と、
    　を備え、
    　前記処理部は、
    　前記確認画像及び前記分光部の分光特性に基づいて、前記確認画像に含まれる多波長を構成する各波長の各画像データを生成し、
    　多波長に含まれる複数の第１の波長を指定し、
    　指定された第１の波長の各画像データを組み合わせた第１の組み合わせ画像データと前記第１の対象物に対応する所定の正答画像とに基づいて、前記第１の組み合わせ画像データの正答率を算出し、
    　前記正答率が閾値以上である場合、前記撮像部により第２の対象物が撮像されて得られる検査画像の検査に用いる複数の第２の波長を、指定された前記複数の第１の波長に決定する、
    　画像検査システム。
  2. 　前記処理部は、前記確認画像における前記正答率を算出する領域を指定する、
    　請求項１に記載の画像検査システム。
  3. 　前記処理部は、
    　前記第１の対象物における領域毎に応じた、前記撮像部により前記第１の対象物が撮像されて得られた波長毎の受光量のばらつきに基づいて、前記波長毎の前記正答率への寄与度を算出し、
    　前記寄与度に基づいて、前記複数の第１の波長を指定する、
    　請求項１又は２に記載の画像検査システム。
  4. 　前記処理部は、前記寄与度が高い順に複数の波長を組み合わせることで、前記複数の第１の波長を指定する、
    　請求項３に記載の画像検査システム。
  5. 　前記処理部は、前記正答率が前記閾値以上となるまで、前記寄与度が高い順に組み合わせる複数の波長の数を順次増加させる、
    　請求項４に記載の画像検査システム。
  6. 　前記処理部は、操作部への入力操作に応じて、前記複数の第１の波長を指定する、
    　請求項１又は２に記載の画像検査システム。
  7. 　前記処理部は、指定される前記第１の波長の波長数を指定する、
    　請求項１から６のいずれか１項に記載の画像検査システム。
  8. 　前記処理部は、前記正答率と比較される前記閾値を指定する、
    　請求項１から７のいずれか１項に記載の画像検査システム。
  9. 　前記撮像部は、前記分光部を介して、前記第２の対象物からの光を受光して前記検査画像を取得し、
    　前記処理部は、
    　前記検査画像及び前記分光部の分光特性に基づいて、多波長を構成する各波長の各画像データを生成し、
    　決定された前記複数の第２の波長の各画像データを組み合わせた第２の組み合わせ画像データと前記正答画像とに基づいて、前記第２の対象物を検査する、
    　請求項１から８のいずれか１項に記載の画像検査システム。
  10. 　多波長画像を利用して対象物を検査する画像検査方法であって、
    　光を分光する分光部を介して、第１の対象物からの光を受光して確認画像を取得する画像取得ステップと、
    　取得された前記確認画像に対して処理を行う処理ステップと、
    　を有し、
    　前記処理ステップは、
    　前記確認画像及び前記分光部の分光特性に基づいて、前記確認画像に含まれる多波長を構成する各波長の各画像データを生成するステップと、
    　多波長に含まれる複数の第１の波長を指定するステップと、
    　指定された第１の波長の各画像データを組み合わせた第１の組み合わせ画像データと前記第１の対象物に対応する所定の正答画像とに基づいて、前記第１の組み合わせ画像データの正答率を算出するステップと、
    　前記正答率が閾値以上である場合、第２の対象物が撮像されて得られる検査画像の検査に用いる複数の第２の波長を、指定された前記複数の第１の波長に決定するステップと、
    　を有する画像検査方法。
PCT/JP2022/046753 2022-02-28 2022-12-19 画像検査システム及び画像検査方法 WO2023162426A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-029957 2022-02-28
JP2022029957A JP2023125709A (ja) 2022-02-28 2022-02-28 画像検査システム及び画像検査方法

Publications (1)

Publication Number Publication Date
WO2023162426A1 true WO2023162426A1 (ja) 2023-08-31

Family

ID=87765506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046753 WO2023162426A1 (ja) 2022-02-28 2022-12-19 画像検査システム及び画像検査方法

Country Status (2)

Country Link
JP (1) JP2023125709A (ja)
WO (1) WO2023162426A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015148473A (ja) * 2014-02-05 2015-08-20 佐鳥　新 対象物探索装置、対象物探索プログラムおよび人命救助用探索システム
US20170089761A1 (en) * 2014-06-18 2017-03-30 Gary L. McQuilkin Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
CN108872140A (zh) * 2018-05-09 2018-11-23 塔里木大学 一种户外监测红枣品质的方法及装置
JP2019504996A (ja) * 2016-01-28 2019-02-21 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 試料内のアーチファクトを分類する方法と装置
JP2021145185A (ja) * 2020-03-10 2021-09-24 株式会社エヌテック マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015148473A (ja) * 2014-02-05 2015-08-20 佐鳥　新 対象物探索装置、対象物探索プログラムおよび人命救助用探索システム
US20170089761A1 (en) * 2014-06-18 2017-03-30 Gary L. McQuilkin Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2019504996A (ja) * 2016-01-28 2019-02-21 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 試料内のアーチファクトを分類する方法と装置
CN108872140A (zh) * 2018-05-09 2018-11-23 塔里木大学 一种户外监测红枣品质的方法及装置
JP2021145185A (ja) * 2020-03-10 2021-09-24 株式会社エヌテック マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法

Also Published As

Publication number Publication date
JP2023125709A (ja) 2023-09-07

Similar Documents

Publication Publication Date Title
CN108027328B (zh) 宝石的颜色测量
JP6816572B2 (ja) 色測定装置、色測定方法及びプログラム
US11977033B2 (en) Learning device, inspection device, learning method, and inspection method
US8830454B2 (en) Apparatus and methods for setting up optical inspection parameters
JP2010112887A (ja) 主成分分析方法、主成分分析装置、異種品検出装置、主成分分析プログラム、及び、主成分分析プログラムが記録された記録媒体
JP7207124B2 (ja) 校正装置、校正方法、分光カメラ、及び表示装置
JP2012242270A (ja) 特徴量推定装置およびその方法、分光画像処理装置およびその方法、並びにコンピュータープログラム
WO2015102057A1 (ja) 画像処理方法、画像処理システム、およびプログラム
WO2020189189A1 (ja) 検査装置及び方法
WO2020195136A1 (ja) 検査装置及び検査方法
US9558551B2 (en) Image measurement apparatus and image measurement method for determining a proportion of positive cell nuclei among cell nuclei included in a pathologic examination specimen
CN105447878A (zh) 一种图像质量测试分析方法及系统
WO2023162426A1 (ja) 画像検査システム及び画像検査方法
US10567719B2 (en) Method for correcting a color reproduction of a digital microscope and digital microscope
JP4349568B2 (ja) 物体認識装置、物体認識方法、プログラム及び記録媒体
JP7411155B2 (ja) 色ムラ検査装置および色ムラ検査方法
JP7308443B2 (ja) 評価装置、本物感評価方法およびプログラム
CN115668303A (zh) 目标涂层中效果颜料的识别
JP6770541B2 (ja) 診断用辞書登録装置、診断装置、方法、プログラム、及びデータ構造
JP2022006624A (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
KR100809553B1 (ko) 컬러 이미지 센서 평가 장치 및 방법
JP4946265B2 (ja) 色彩測定装置，色彩測定方法および条件等色誤差測定方法
JP7365047B2 (ja) 表面分析方法、表面分析装置
JP2014089156A (ja) 外観検査方法
JP2017194421A (ja) 色差算出装置、色差算出方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22928943

Country of ref document: EP

Kind code of ref document: A1