WO2022190265A1 - 検査システム、検査方法、及びプログラム - Google Patents

検査システム、検査方法、及びプログラム Download PDF

Info

Publication number
WO2022190265A1
WO2022190265A1 PCT/JP2021/009559 JP2021009559W WO2022190265A1 WO 2022190265 A1 WO2022190265 A1 WO 2022190265A1 JP 2021009559 W JP2021009559 W JP 2021009559W WO 2022190265 A1 WO2022190265 A1 WO 2022190265A1
Authority
WO
WIPO (PCT)
Prior art keywords
distortion
inspected
image
degree
inspection
Prior art date
Application number
PCT/JP2021/009559
Other languages
English (en)
French (fr)
Inventor
駿平 西田
禎泰 宮坂
康太郎 吉田
凪 奥谷
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2021/009559 priority Critical patent/WO2022190265A1/ja
Publication of WO2022190265A1 publication Critical patent/WO2022190265A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes

Definitions

  • the present invention relates to an inspection system, an inspection method, and a program for determining whether the distortion of a transparent body is good or bad.
  • Patent Literature 1 describes an optical distortion inspection method capable of simultaneous observation by both the crossed Nicols method and the parallel Nicols method.
  • the determination of the degree of distortion in the distortion inspection described above relies on human (worker) visual observation. For this reason, variations in judgment among workers, an increase in man-hours in the assembly process, an increase in the time required for assembly, and the like occur. In addition, it is necessary to educate workers in order to suppress variations in judgment among workers. It should be noted that such a problem occurs not only in the objective lens assembly process described above, but also in various operations including determining the degree of distortion of a transparent body and determining whether the distortion is good or bad based on the determination result.
  • one object of the present invention is to provide an inspection system, an inspection method, and a program capable of efficiently and highly accurately determining the quality of the distortion of a transparent body.
  • An inspection system is an inspection system for judging whether the distortion of a transparent body is good or bad. and a plurality of learning images, which are images of a transparent body captured by an observation method using a polarizing element, capable of evaluating the degree of distortion of the transparent body to be inspected.
  • a storage unit that stores a learned model that is a model that has learned the above and outputs information about the degree of distortion of the image to be inspected when the image to be inspected is input; and a processing unit for outputting information about the degree of distortion of the transparent body to be inspected from the input image to be inspected.
  • An inspection method is an inspection method for determining whether the distortion of a transparent body is good or bad, and is an observation using a polarizing element capable of evaluating the degree of distortion of a transparent body to be inspected by a computer.
  • a program according to an aspect of the present invention is a program that causes a computer to execute a process for determining whether the distortion of a transparent body is good or bad, wherein the computer is provided with polarized light capable of evaluating the degree of distortion of the transparent body to be inspected.
  • An image to be inspected captured by an observation method using an element is input to a trained model, and information about the degree of distortion of the transparent body to be inspected from the input image to be inspected using the trained model.
  • the trained model is an image of a transparent body captured by an observation method using a polarizing element that can evaluate the degree of distortion of the transparent body to be inspected. It is a model that has learned an image for inspection, and that, when the image to be inspected is input, is a model that outputs information about the degree of distortion of the image to be inspected.
  • FIG. 5 is a diagram illustrating an example of a relationship between a numerical value relating to distortion output by a learned model and the degree of distortion; It is a figure explaining the relationship between the determination by a worker, and the determination using a trained model.
  • 4 is a flowchart illustrating an example of an inspection method by an inspection system according to one embodiment; 7 is a flowchart illustrating another example of an inspection method by the inspection system according to one embodiment;
  • FIG. 10 is a diagram showing an example of specifications of a plurality of products having similar correspondence relationships between the degree of distortion and the image of the pupil; It is a figure explaining the hardware configuration example of a computer.
  • an inspection system including an inspection apparatus an inspection system including a distortion inspection apparatus for determining quality of distortion of an objective lens of a microscope will be given. Also, in the following description, detailed descriptions of known configurations, functions, operations, etc. of the exemplary inspection system will be omitted.
  • FIG. 1 is a diagram illustrating a configuration example of an inspection system according to one embodiment.
  • An inspection system 1 exemplified in this embodiment includes an inspection microscope 2 , a distortion inspection device 3 , a display device 4 , and an operation input device 5 .
  • the inspection microscope 2 is a polarizing microscope for capturing an image capable of evaluating the degree of distortion of the objective lenses 201, 202, and 203 to be inspected.
  • the inspection microscope 2 includes, for example, a light source 210 , a first polarizer (polarizer) 211 , a second polarizer (analyzer) 212 and a digital camera 220 .
  • the first polarizing plate 211 and the second polarizing plate 212 are in the crossed Nicols state, and the pupil image (isogyr) of the objective lens (for example, the objective lens 201) that does not pass through the eyepiece is obtained. , is captured by the digital camera 220 .
  • the inspection microscope 2 is an example of an input device for inputting an image of a transparent body to be inspected captured by an observation method using a polarizing element capable of evaluating the degree of distortion of the transparent body. Further, in order to obtain a trained model, which will be described later, the inspection microscope 2 is also capable of capturing an image of a transparent body by an observation method using a polarizing element that can evaluate the degree of distortion of the transparent body to be inspected. can be used.
  • the distortion inspection device 3 uses the learned model obtained by machine learning using the learning image and the image of the objective lens (for example, the objective lens 201) of the inspection target captured by the inspection microscope 2 to determine the inspection target. This is a device for judging whether the distortion of an objective lens is good or bad.
  • the learning images are a plurality of images captured by an observation method similar to that of the objective lens to be inspected for each of a plurality of lenses having the same or similar degree of distortion as the objective lens to be inspected.
  • the distortion inspection device 3 generates (constructs) a learned model by, for example, unsupervised learning.
  • the generated learned model outputs information about the degree of distortion of the inspection target when an image of the objective lens of the inspection target is input.
  • the distortion inspection device 3 determines whether the distortion of the objective lens to be inspected is good or bad based on the information output by the learned model, and displays the determination result on the display device 4 .
  • the display device 4 displays, for example, the product name for identifying the objective lens to be inspected, the image of the pupil of the objective lens to be inspected (image to be inspected), the rank of distortion, and the result of pass/fail judgment.
  • the distortion inspection device 3 uses a learned model generated by another device to determine whether the distortion of the objective lens to be inspected is good or bad, instead of performing machine learning on its own device and generating a learned model.
  • the operation input device 5 is an input device for performing various operations related to inspection using the inspection system 1, and is, for example, a pointing device such as a mouse device. For example, by operating the operation input device 5 and moving a pointer (not shown) displayed on the display device 4 into an area labeled "imaging" and clicking, the inspection by the digital camera 220 of the inspection microscope 2 is performed. An image of the target objective lens is captured, and the image to be inspected is input to the distortion inspection device 3 .
  • the digital camera 220 of the inspection microscope 2 is an example of an input unit for inputting an inspection object image captured by an observation method using a polarizing element capable of evaluating the degree of distortion of a transparent object to be inspected.
  • FIG. 2 is a block diagram illustrating an example of the functional configuration of the distortion inspection device according to one embodiment.
  • the distortion inspection device 3 of this embodiment includes a first preprocessing unit 310 , a learning unit 320 , a second preprocessing unit 330 , an inference unit 340 , a determination unit 350 , an output unit 360 and a storage unit 390 .
  • the first preprocessing unit 310 preprocesses the learning image.
  • the first preprocessing unit 310 performs, for example, processing (cropping) for cropping a portion used for machine learning out of the learning image, processing (resize) for converting the cropped portion to a predetermined number of pixels, and gray scale of the image. etc.
  • the second preprocessing unit 330 performs preprocessing on the image to be inspected captured by the digital camera 220 of the inspection microscope 2 .
  • the second preprocessing unit 330 performs, for example, processing (cropping) for cropping a portion used for inspection from the image to be inspected, processing (resize) for converting the cropped portion to a predetermined number of pixels, and grayscaling of the image. etc.
  • the first preprocessing unit 310 and the second preprocessing unit 330 determine, for example, the cutout portion of the image under the same conditions, convert the cutout portion to the same number of pixels, and convert the cutout portion to the same grayscale level. become
  • the first preprocessing section 310 and the second preprocessing section 330 may be integrated into one preprocessing section.
  • the second preprocessing unit 330 or one preprocessing unit that integrates the first preprocessing unit 310 and the second preprocessing unit 330 is a polarizing element capable of evaluating the degree of distortion of the transparent object to be inspected. This is an example of a processing unit that performs cropping, resizing, and grayscaling on an inspection target image captured by an observation method using .
  • the learning unit 320 generates (constructs) a learned model by machine learning using the learning images preprocessed by the first preprocessing unit 310 .
  • the trained model generated by the learning unit 320 is a plurality of images of a transparent object captured by an observation method using a polarizing element that can evaluate the degree of distortion of the transparent object (for example, an objective lens) to be inspected. It is a model that has learned a learning image, and that, when an inspection target image is input, outputs information about the degree of distortion of the inspection target image.
  • the transparent body in the image used as the learning image is not limited to the same type (same product) as the transparent body to be inspected and the specifications (for example, optical characteristics, dimensions, etc.). It may also be another type of transparency whose relationship to the image features of the is similar to the relationship in the inspection object transparency.
  • the learning unit 320 inputs the learning image into a Variational Autoencoder (hereinafter referred to as "VAE"), and learns the characteristics of the objective lens pupil image in the learning image.
  • VAE Variational Autoencoder
  • the learning unit 320 generates a trained model that, when inputting an image to be inspected into the trained model, outputs a numerical value that associates the characteristics of the pupil image of the objective lens with the degree of distortion.
  • VAE Variational Autoencoder
  • the machine learning performed by the learning unit 320 is not limited to a specific learning method.
  • the machine learning performed by the learning unit 320 may be, for example, unsupervised learning, supervised learning, or other known learning methods.
  • the inference unit 340 inputs the inspection target image preprocessed by the second preprocessing unit 330 to the trained model and makes an inference about the degree of distortion of the inspection target objective lens associated with the inspection target image, Outputs information about distortion. Based on the distortion-related information output from the inference unit 340, the determination unit 350 determines whether the distortion of the objective lens to be inspected is good or bad. For example, when the inference unit 340 outputs a numerical value that associates the characteristics of the pupil image of the objective lens with the degree of distortion, the determination unit 350 determines the inspection object based on the magnitude relationship between the numerical value and the threshold for pass/fail judgment. is within the permissible range (that is, the objective lens is a non-defective product). The inference unit 340, or the combination of the inference unit 340 and the determination unit 350, uses the learned model to output information about the degree of distortion of the transparent object to be inspected from the input image to be inspected. This is an example of a part.
  • the output unit 360 outputs image data including the pass/fail judgment result of the judging unit 350 to the display device 4 .
  • the output unit 360 outputs image data including, for example, the product name identifying the objective lens to be inspected, the image of the pupil of the objective lens to be inspected (image to be inspected), the rank of distortion, and the result of quality judgment to the display device 4. display (see Figure 1).
  • the storage unit 390 stores various data such as programs executed in the distortion inspection device 3, learning images input to the distortion inspection device 3, and images to be inspected.
  • the storage unit 390 can also be used, for example, to store one or more trained models 391 generated by the learning unit 320 or generated by an external device.
  • the distortion inspection device 3 may be able to select the learned model used by the inference unit 340 from among a plurality of learned models 391 stored in the storage unit 390 according to the transparent body to be inspected.
  • FIG. 3 is a diagram illustrating an example of machine learning using learning images.
  • FIG. 4 is a diagram for explaining an example of the relationship between the distortion-related numerical value output by the trained model and the degree of distortion.
  • FIG. 5 is a diagram for explaining the relationship between the determination by the worker and the determination using the learned model.
  • FIG. 3 shows an image for explaining an example of preprocessing for the learning original image 1001 in the first preprocessing unit 310 .
  • the original image 1001 is, for example, an image of the pupil of the objective lens captured by the digital camera 220 of the inspection microscope 2, and many unnecessary black areas exist around the pupil image of the objective lens.
  • the first preprocessing unit 310 cuts out (crops) a portion (region of interest) 1101 necessary for learning including the image of the pupil of the objective lens from the original image 1001, and converts the cut out portion 1101 into an image 1201 having a predetermined number of pixels. Convert (resize).
  • the image 1201 after resizing is used as an input image for learning.
  • the original image 1001 is a grayscale image with a gradation different from the predetermined gradation for learning, or a color image such as an RGB image
  • an image 1201 that has been resized and converted to a predetermined gradation is used for learning.
  • the first preprocessing unit 310 performs the above-described preprocessing on each of the plurality of learning images input to the distortion inspection device 3 to create a plurality of input images.
  • the second preprocessing unit 330 also performs the same processing as the first preprocessing unit 310 described above with reference to FIG. 3A to create an image to be input to the trained model.
  • FIG. 3B shows a learning method when a set of preprocessed learning images (learning input images 1201, 1202, . . . ) is input to the learning unit 320 to learn features.
  • Training unit 320 includes, for example, a VAE having encoder 321 , hidden layer 322 , and decoder 323 .
  • Input images 1201, 1202, . . In VAE learning is performed so that the image restored by the decoder 323 is the same as the original input image. ). Therefore, by using the intermediate layer (latent variable) 322 after learning by VAE as a trained model, only the information representing the distortion-related features in the image can be used to obtain the distortion of the objective lens to be inspected from the image to be inspected. can be output to determine whether the objective lens is good or bad.
  • Table 20 in FIG. 4 shows an example of the relationship between the numerical values relating to distortion output by the learned model and the degree of distortion.
  • the example images in Table 20 show typical images of the objective lens pupil image at each distortion rank when there are six distortion ranks for evaluating the degree of distortion of the objective lens.
  • the images in table 20 are typically grayscaled, the images may be color images, such as RGB images.
  • the image of the pupil captured in the crossed Nicols state has high symmetry of vertical inversion symmetry and high symmetry of left and right inversion symmetry. The boundary with the dark part is clear. However, as the distortion increases, the symmetry becomes less and the boundaries between bright and dark areas become blurred.
  • the operator visually determines which distortion rank the pupil image in the objective lens image to be inspected is the best. Judging whether it is close.
  • the feature related to the degree of distortion in the image is quantified and machine learning is used to generate (construct) the learned model, and the inspection target is outputs a numerical value relating to the degree of objective lens distortion in the objective lens image of .
  • the distortion numerical value is set so that the smaller the degree of distortion, the larger the value.
  • Graph 21 in (a) of FIG. 5 shows the relationship between the numerical value related to distortion output by the VAE and the distortion rank visually judged by a skilled worker (expert judgment rank) for a plurality of learning images.
  • An example is shown. Since a skilled operator can determine the appropriate strain rank from each image, there is relatively little variation in the numerical values for strain for each strain rank, as exemplified in graph 21 .
  • images judged by skilled workers to have a low distortion rank e.g., B or B'
  • images judged by skilled workers to have a low distortion rank also include those with a value corresponding to an image with a higher rank in the numerical value X output by the trained model.
  • the quality of distortion disortion rank
  • an inexperienced worker may take longer to make a decision.
  • a distortion rank can be determined based on the range of .
  • the learned model generated (constructed) by unsupervised learning using the above-described VAE and the like with the distortion rank determination threshold value shown in Table 22, the objective lens, etc. It becomes possible to classify the degree of distortion of the transparent body.
  • the degree of distortion quantitatively and with high reproducibility.
  • an annotation that assigns a distortion rank to each learning image is unnecessary, and a trained model can be efficiently generated.
  • the determination unit 350 of the distortion inspection device 3 determines the transparency of the object to be inspected based on, for example, the threshold value X related to distortion output by the trained model and the correspondence relationship between the numerical value X and the distortion rank as illustrated in Table 22. Determine the distortion rank of the body.
  • the determination unit 350 sets, for example, a boundary value between a rank determined as a non-defective product and a rank determined as a defective product among a plurality of distortion ranks as a threshold, and a magnitude relationship between the numerical value X related to distortion output by the trained model and the threshold. may determine whether the distortion of the transparent body to be inspected is good or bad.
  • the boundary value TH4 between the distortion rank B′ and the distortion rank C is set as a threshold, and TH4 ⁇ X If X ⁇ TH4, the product may be determined as a non-defective product.
  • FIG. 6 is a flowchart explaining an example of an inspection method by the inspection system according to one embodiment. The processing according to the flowchart in FIG. 6 is performed after the trained model is generated (constructed).
  • the inspection system 1 first acquires an image of a transparent object to be inspected and performs preprocessing (step S101).
  • step S ⁇ b>101 an image to be inspected captured by the digital camera 220 of the inspection microscope 2 is input to the distortion inspection device 3 .
  • the distortion inspection device 3 acquires a live view image output by the digital camera 220 and displays it on the display device 4 .
  • the operator who conducts the inspection adjusts the direction of the objective lens based on the live view image displayed on the display device 4, and then operates the operation input device 5 to cause the digital camera 220 to capture an image of the inspection target.
  • the distortion inspection apparatus 3 performs preprocessing by the second preprocessing unit 330 when acquiring the image to be inspected.
  • the distortion inspection device 3 inputs the preprocessed image to the learned model, and causes the learned model to output information on the degree of distortion of the transparent object to be inspected (step S102).
  • the distortion inspection device 3 determines whether the distortion of the transparent object to be inspected is good or bad based on the output information (step S103). After that, the distortion inspection device 3 displays the quality determination result of the distortion of the transparent body to be inspected on the display device 4 (step S104).
  • the inspection system 1 of the present embodiment performs the processes of steps S101 to S104 described above each time an inspection start operation is performed using the operation input device 5 or the like by the operator who performs the inspection.
  • the inspection system 1 of the present embodiment uses a trained model to inspect the distortion of a transparent body, so that it is possible to determine the quality of the distortion quantitatively and with high reproducibility without relying on human senses. It can be carried out. Therefore, it is possible to reduce the variation in the result of determination of whether the distortion is good or bad for each operator who performs the inspection, and to reduce the number of man-hours in the assembly process and the time required for assembly. In addition, since it is possible to efficiently and highly accurately determine the quality of the distortion of the transparent body using the trained model, it is possible to reduce the time and cost required for worker training.
  • the present invention is not limited to this, and can also be applied to an inspection method in which a plurality of images are acquired and inspected for one transparent body.
  • FIG. 7 is a flowchart explaining another example of the inspection method by the inspection system according to one embodiment.
  • the processing according to the flowchart in FIG. 7 is performed after the trained model is generated (constructed).
  • the inspection microscope 2 has a rotating mechanism capable of rotating one transparent body (eg, objective lens) by power such as a motor.
  • the digital camera 220 is configured to be able to continuously capture images while rotating one transparent object to be inspected by a rotating mechanism.
  • the inspection system 1 that performs processing according to the flowchart of FIG. 7 first acquires a plurality of images captured while rotating the transparent object to be inspected and performs preprocessing (step S201).
  • step S ⁇ b>201 a plurality of images to be inspected captured by the digital camera 220 of the inspection microscope 2 are input to the distortion inspection device 3 .
  • the distortion inspection device 3 acquires a live view image output by the digital camera 220 and displays it on the display device 4 .
  • the operator who performs the inspection operates the operation input device 5 to cause the digital camera 220 to capture an image of the inspection object.
  • the inspection microscope 2 continuously captures images of the pupil of the objective lens with the digital camera 220 while rotating one objective lens.
  • the inspection microscope 2 takes an image each time the objective lens is rotated by a predetermined angle (eg, 90 degrees) until the objective lens is rotated 360 degrees.
  • a predetermined angle eg, 90 degrees
  • the second preprocessing unit 330 performs preprocessing for each acquired image.
  • the distortion inspection device 3 inputs each of the plurality of preprocessed images to the trained model, and obtains information on the degree of distortion of the transparent object to be inspected corresponding to each of the plurality of images from the trained model. output (step S202).
  • the distortion inspection device 3 determines whether the distortion of the transparent body to be inspected is good or bad based on the information regarding the degree of the largest distortion among the plurality of pieces of output information (step S203). After that, the distortion inspection device 3 displays the quality determination result of the distortion of the transparent object to be inspected on the display device 4 (step S204).
  • the inspection system 1 which performs the processing according to the flowchart of FIG. I do.
  • the inspection microscope 2 is capable of continuously capturing a plurality of images while rotating the transparent body (objective lens) by the power of a motor or the like as described above. By using , a worker can rotate the transparent body in the direction in which the characteristics of the degree of distortion appear most clearly, or repeat the work of rotating the transparent body and capturing an image. It is possible to determine the quality of the distortion of the image with higher accuracy.
  • the set of learning images used in the inspection system 1 of the present embodiment includes only images captured using a transparent body (same product) having the same specifications as the transparent body to be inspected, such as optical characteristics and dimensions. Not only a set, but also a set that includes images captured using a transparent body (other product) with other specifications that has a similar relationship between the degree of distortion and the image of the pupil as the transparent body to be inspected. good too.
  • FIG. 8 is a diagram showing an example of specifications of a plurality of products with similar correspondence relationships between the degree of distortion and the image of the pupil.
  • Table 23 in FIG. 8 shows the magnification, NA, and working distance (W.D.) for each of 13 types of lenses (product A to product N) having similar correspondence relationships between the degree of distortion and the image of the pupil. is exemplified.
  • the inventor of the present application selects one type of lens (for example, product A) from the 13 types of lenses illustrated in FIG. Using a trained model with a plurality of images obtained as learning images, the quality of distortion for each of the other lenses (product B to product N) with respect to the image to be inspected was determined.
  • the learning image is an image obtained by cutting out the region of interest 1101 necessary for judging the quality of distortion, resizing it to a predetermined number of pixels, and converting it into a grayscale image with a predetermined gradation. was used.
  • the image to be inspected an image obtained by cutting out the region of interest 1101 necessary for judging the quality of distortion, resizing it to a predetermined number of pixels, and converting it into a grayscale image with a predetermined gradation is used as in the learning image. .
  • the image to be inspected can be used for learning. It can be input to the trained model under the same conditions as the image.
  • the inventors of the present application have found that the accuracy of the pass/fail judgment is comparable to the accuracy of pass/fail judgment by a trained model using only images of the same type of lens (same product) as the lens to be inspected as learning images. Confirmed by
  • the lens product The inventor of the present application has confirmed that the corresponding relationship between the degree of distortion and the image of the pupil can be similar not only for A to N) but also for other combinations of lenses.
  • the correspondence relationship between the degree of distortion and the image of the pupil is similar to that of the lens to be inspected, and the optical characteristics and dimensions of the lens are different from those of the lens to be inspected. It is possible to use a trained model generated using images as learning images. Therefore, the work of acquiring a plurality of learning images for generating (constructing) a trained model can be efficiently performed in a short time.
  • the distortion inspection device 3 in the inspection system 1 described above is not limited to a dedicated device that performs the functions described with reference to FIG. It is implemented by a program that causes a computer to execute processing.
  • FIG. 9 is a diagram for explaining a hardware configuration example of a computer.
  • the computer 8 illustrated in FIG. 9 includes a processor 801 , a memory (main storage device) 802 , an auxiliary storage device 803 , an input device 804 , a display device 805 , an input/output interface 806 , a media drive device 807 and a communication interface 808 .
  • These elements of computer 8 can send data to and receive data from each other via bus 810 .
  • the processor 801 functions (operates) as the distortion inspection apparatus 3 by executing an OS (Operating System) program and a program including the processing illustrated in FIG. 6 or FIG. controls the behavior of
  • the processor 801 includes, for example, one or more CPUs (Central Processing Units).
  • the processor 801 may include, for example, a DSP (Digital Signal Processor).
  • a processor 801 that executes a program including processing as illustrated in FIG. It is an example of hardware that realizes the functions of H.360.
  • the program to be executed by the processor 801 may include a program including a process of learning distortion features of a transparent body using a learning image and generating a trained model.
  • the memory 802 is a main storage device that stores a part of the program executed by the processor 801, data created by the processor 801 during execution of the program, data to be referenced, and the like.
  • the memory 802 includes a RAM (Random Access Memory) 802a and a ROM (Read Only Memory) 802b.
  • the auxiliary storage device 803 is a storage device having a larger storage capacity than the memory 802, such as a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the memory 802 and the auxiliary storage device 803 provide storage areas for storing programs to be executed by the processor 801 and various data used when the processor 801 executes the programs.
  • the auxiliary storage device 803 is an example of hardware that implements the function of the storage unit 390 of the distortion inspection device 3, and provides a storage area for storing the learned model 391 described above.
  • the input device 804 is an operation input device (for example, the operation input device 5 in FIG. 1) that receives operation input to the computer 8, such as a keyboard device and a mouse device.
  • the display device 805 is a display device such as a liquid crystal display (for example, the display device 4 in FIG. 1) capable of presenting the image to be inspected, the result of quality determination of distortion, and the like to the user.
  • the input/output interface 806 is a hardware interface that receives input signals from an external device such as the digital camera 220 of the inspection microscope 2 and outputs output signals to an output device (for example, a printer) (not shown).
  • the medium drive device 807 reads information stored in the portable recording medium 850 and writes information to the portable recording medium 850 .
  • the portable recording medium 850 includes, for example, optical discs, magnetic discs, magneto-optical discs, and memory cards.
  • the portable recording medium 850 may be read-only, or may be writable or rewritable.
  • the portable recording medium 850 can be used to provide a storage area for storing trained models.
  • a combination of the medium drive device 807 and the portable recording medium 850 can realize the function of the storage unit 390 of the distortion inspection device 3 .
  • Media drives 807 may be connected to bus 810 via input/output interface 806 .
  • the communication interface 808 connects the computer 8 to a communication network such as the Internet and controls communication with external devices via the communication network.
  • Communication interface 808 is connected to a communication network through wired or wireless communication.
  • the communication interface 808 can be used, for example, to acquire training images and trained models stored in a server device connected to a communication network.
  • the hardware configuration of the computer 8 illustrated in FIG. 9 is merely an example of the hardware configuration of a computer that can be used as the distortion inspection device 3.
  • a computer that can be used as the distortion inspection device 3 may not include some of the components illustrated in FIG. 9 (for example, the medium drive device 807, etc.).
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the gist of the present invention at the implementation stage.
  • various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, all the components shown in the embodiments may be combined as appropriate. Furthermore, components across different embodiments may be combined as appropriate. It goes without saying that various modifications and applications can be made without departing from the gist of the invention.
  • the transparent body on which the quality of distortion is judged by the distortion inspection apparatus 3 illustrated in the above-described embodiment is not limited to a lens-shaped transparent body such as an objective lens of a microscope. transparent body, etc.).
  • the trained model used in the distortion inspection device 3 is not limited to unsupervised learning using VAE, and may be generated (constructed) by other learning methods.
  • the information displayed on the display device 4 by the distortion inspection device 3 includes, for example, the image to be inspected, the information (numerical value) regarding the degree of distortion, and some of the results of quality judgment of distortion (for example, quality judgment). result) may be omitted.
  • the images of the transparent body captured by setting the first polarizing plate 211 and the second polarizing plate 212 in the crossed Nicols state are used as the learning image and the inspection target image.
  • images captured by an observation method using a polarizing element capable of evaluating the degree of distortion of a transparent body may be used as the learning image and the inspection target image.
  • the learned model used in the inspection system 1 may be generated (constructed) by an information processing device (external device) different from the distortion inspection device 3, as described above. Therefore, the inspection system 1 is not limited to the configuration illustrated in FIG.
  • the configuration may include a plurality of distortion inspection devices in which the first preprocessing unit 310 and the learning unit 320 are omitted, which acquire the finished model and determine whether the distortion is good or bad.
  • the inspection system 1 may be a combination of two or more individual strain inspection devices 3 as described above with reference to FIGS. 1 and 2 .
  • the first preprocessing unit 310 and the second preprocessing unit 330 may be included in an image processing device or the like different from the distortion inspection device 3 .

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

透明体の歪みの良否判定を効率よく高精度に行う。透明体の歪みの良否判定を行うための検査システム（１）は、検査対象の透明体の歪みの度合いを評価可能な偏光素子（２１１、２１２）を利用した観察手法によって撮像された検査対象画像を入力する入力部（３３０）と、検査対象の透明体の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体が撮像された画像である複数の学習用画像を学習したモデルであり、かつ検査対象画像が入力された際に、検査対象画像の歪みの度合いに関する情報を出力するモデルである学習済みモデル（３９１）を記憶する記憶部（３９０）と、学習済みモデルを用いて、入力された検査対象画像から検査対象の透明体の歪みの度合いに関する情報を出力する処理部（３４０）と、を含む。

Description

検査システム、検査方法、及びプログラム
　本発明は、透明体の歪みの良否判定を行うための検査システム、検査方法、及びプログラムに関する。
　顕微鏡の対物レンズの組み立て工程では、収差補正や収差測定のためにレンズの歪み検査が実施されている。歪み検査では、検査用顕微鏡に検査対象の対物レンズを取り付けて２枚の偏光板を直交ニコル状態にし、接眼レンズを外して対物レンズの瞳の像（アイソジャイヤ）を出し、その分離距離や形状から対物レンズ内部の歪みの程度を判定する。また、特許文献１には、直交ニコル法、及び平行ニコル法の両方で同時観察が可能な光学歪み検査方法が記載されている。
特開平３－２１８４２号公報
　しかしながら、上述した歪み検査における歪みの程度の判定は、人（作業員）の目視という官能に依存している。このため、作業員毎の判定のばらつき、組み立て工程における工数や組み立てに要する時間の増加等が生じる。また、作業員毎の判定のばらつきを抑制するために作業員の教育等を行う必要がある。なお、このような問題は、上述した対物レンズの組み立て工程に限らず、透明体の歪みの度合いの判定や、その判定結果に基づく歪みの良否判定を含む各種作業において生じる。
　本発明は、上記実情に鑑み、透明体の歪みの良否判定を効率よく高精度に行うことが可能な検査システム、検査方法、及びプログラムを提供することを目的の一つとする。
　本発明の一態様に係る検査システムは、透明体の歪みの良否判定を行うための検査システムであって、検査対象の透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象画像を入力する入力部と、前記検査対象の前記透明体の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体が撮像された画像である複数の学習用画像を学習したモデルであり、かつ前記検査対象画像が入力された際に、前記検査対象画像の歪みの度合いに関する情報を出力するモデルである学習済みモデルを記憶する記憶部と、前記学習済みモデルを用いて、入力された前記検査対象画像から前記検査対象の前記透明体の歪みの度合いに関する情報を出力する処理部と、を含むことを特徴とする。
　本発明の一態様に係る検査方法は、透明体の歪みの良否判定を行うための検査方法であって、コンピュータが、検査対象の透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象画像を学習済みモデルに入力し、前記学習済みモデルを用いて、入力された前記検査対象画像から前記検査対象の前記透明体の歪みの度合いに関する情報を出力する処理を実行し、前記学習済みモデルは、前記検査対象の前記透明体の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体が撮像された画像である複数の学習用画像を学習したモデルであり、かつ前記検査対象画像が入力された際に、前記検査対象画像の歪みの度合いに関する情報を出力するモデルである、ことを特徴とする。
　本発明の一態様に係るプログラムは、透明体の歪みの良否判定を行うための処理をコンピュータに実行させるプログラムであって、前記コンピュータに、検査対象の透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象画像を学習済みモデルに入力し、前記学習済みモデルを用いて、入力された前記検査対象画像から前記検査対象の前記透明体の歪みの度合いに関する情報を出力する処理を実行させ、前記学習済みモデルは、前記検査対象の前記透明体の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体が撮像された画像である複数の学習用画像を学習したモデルであり、かつ前記検査対象画像が入力された際に、前記検査対象画像の歪みの度合いに関する情報を出力するモデルである、ことを特徴とする。
　本発明によれば、透明体の歪みの良否判定を効率よく高精度に行うことができる。
一実施形態に係る検査システムの構成例を説明する図である。 一実施形態に係る歪み検査装置の機能構成の一例を説明するブロック図である。 学習用画像を用いた機械学習の一例を説明する図である。 学習済みモデルが出力する歪みに関する数値と歪みの度合いとの関係の一例を説明する図である。 作業員による判定と学習済みモデルを利用した判定との関係を説明する図である。 一実施形態に係る検査システムによる検査方法の一例を説明するフローチャートである。 一実施形態に係る検査システムによる検査方法の別の例を説明するフローチャートである。 歪みの度合いと瞳の像との対応関係が類似した複数の製品の仕様の例を示す図である。 コンピュータのハードウェア構成例を説明する図である。
　以下、図面を参照しながら、本発明の実施形態を説明する。以下の説明では、本発明に係る検査装置を含む検査システムの一例として、顕微鏡の対物レンズの歪みの良否判定を行う歪み検査装置を含む検査システムを挙げる。また、以下の説明では、例示する検査システムにおける既知の構成、機能、動作等に関する詳細な説明を省略する。
　図１は、一実施形態に係る検査システムの構成例を説明する図である。本実施形態で例示する検査システム１は、検査用顕微鏡２、歪み検査装置３、表示装置４、及び操作用入力装置５を含む。
　検査用顕微鏡２は、検査対象の対物レンズ２０１，２０２，２０３の歪みの度合いを評価可能な画像を撮像するための偏光顕微鏡である。検査用顕微鏡２は、例えば、光源２１０、第１の偏光板（ポラライザ）２１１、第２の偏光板（アナライザ）２１２、及びデジタルカメラ２２０を含む。本実施形態の検査システム１では、第１の偏光板２１１と第２の偏光板２１２とを直交ニコル状態にし、接眼レンズを通していない対物レンズ（例えば、対物レンズ２０１）の瞳の像（アイソジャイヤ）を、デジタルカメラ２２０で撮像する。検査用顕微鏡２は、透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象の透明体の画像を入力する入力デバイスの一例である。また、検査用顕微鏡２は、後述する学習済みモデルを得るために、検査対象の透明体の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体の画像を撮像することにも利用することができる。
　歪み検査装置３は、学習用画像を用いた機械学習により得られる学習済みモデルと、検査用顕微鏡２により撮像された検査対象の対物レンズ（例えば、対物レンズ２０１）の画像とにより、検査対象の対物レンズの歪みの良否判定を行う装置である。学習用画像は、歪みの度合いが検査対象の対物レンズと同一の、又は類似する複数のレンズのそれぞれについて、検査対象の対物レンズと同様の観察手法によって撮像した複数の画像である。歪み検査装置３は、例えば、教師無し学習により学習済みモデルを生成（構築）する。生成した学習済みモデルは、検査対象の対物レンズの画像が入力された際に、検査対象の歪みの度合いに関する情報を出力する。歪み検査装置３は、学習済みモデルが出力した情報に基づいて検査対象の対物レンズの歪みの良否判定を行い、判定結果を表示装置４に表示する。表示装置４には、例えば、検査対象の対物レンズを識別する製品名、検査対象の対物レンズの瞳の像（検査対象画像）、歪みのランク、良否判定の結果が表示される。
　なお、歪み検査装置３は、自装置で機械学習を実施して学習済みモデルを生成する代わりに、他の装置により生成された学習済みモデルを利用して検査対象の対物レンズの歪みの良否判定を行う装置であってもよい。
　操作入力装置５は、検査システム１を利用した検査に関する各種操作を行う入力装置であり、例えば、マウス装置等のポインティングデバイスである。例えば、操作入力装置５を操作して表示装置４に表示されたポインタ（図示せず）を「撮像」と書かれた領域内に移動させてクリックすると、検査用顕微鏡２のデジタルカメラ２２０による検査対象の対物レンズの画像の撮像が行われ、検査対象画像が歪み検査装置３に入力される。検査用顕微鏡２のデジタルカメラ２２０は、検査対象の透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象画像を入力する入力部の例である。
　図２は、一実施形態に係る歪み検査装置の機能構成の一例を説明するブロック図である。本実施形態の歪み検査装置３は、第１の前処理部３１０、学習部３２０、第２の前処理部３３０、推論部３４０、判定部３５０、出力部３６０、及び記憶部３９０を含む。
　第１の前処理部３１０は、学習用画像に対する前処理を行う。第１の前処理部３１０は、例えば、学習用画像のうちの機械学習に用いる部分を切り出す処理（クロップ）、切り出した部分を所定の画素数に変換する処理（リサイズ）、及び画像のグレースケール化等を行う。また、第２の前処理部３３０は、検査用顕微鏡２のデジタルカメラ２２０により撮像した検査対象画像に対する前処理を行う。第２の前処理部３３０は、例えば、検査対象画像のうちの検査に用いる部分を切り出す処理（クロップ）、切り出した部分を所定の画素数に変換する処理（リサイズ）、及び画像のグレースケール化等を行う。第１の前処理部３１０と第２の前処理部３３０とは、例えば、画像内の切り出す部分を同一条件で決定し、切り出した部分を同一の画素数に変換し、同一階調でグレースケール化する。第１の前処理部３１０と第２の前処理部３３０とは、１つの前処理部に統合されていてもよい。第２の前処理部３３０、又は第１の前処理部３１０と第２の前処理部３３０とを統合した１つの前処理部は、検査対象の透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象画像に対し、クロップ、リサイズ、及びグレースケール化を行う処理部の例である。
　学習部３２０は、第１の前処理部３１０で前処理をした学習用画像を用いた機械学習により学習済みモデルを生成（構築）する。学習部３２０により生成する学習済みモデルは、検査対象の透明体（例えば、対物レンズ）の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体が撮像された画像である複数の学習用画像を学習したモデルであり、かつ検査対象画像が入力された際に、検査対象画像の歪みの度合いに関する情報を出力するモデルである。学習用画像として用いる画像における透明体は、後述するように、検査対象の透明体と仕様（例えば、光学特性や寸法等）が同一種類のもの（同一製品）に限らず、歪みの度合いと瞳の像の特徴との関係が検査対象の透明体における関係と類似した別の種類の透明体であってもよい。
　学習部３２０は、例えば、学習用画像を変分オートエンコーダ（Ｖａｒｉａｔｉｏｎａｌ　Ａｕｔｏｅｎｃｏｄｅｒ。以下「ＶＡＥ」という）に入力し、学習用画像における対物レンズの瞳の像の特徴を学習する。学習部３２０は、検査対象画像を学習済みモデルに入力した際に、対物レンズの瞳の像の特徴と歪みの度合いとを関連付ける数値を出力するような学習済みモデルを生成する。なお、学習部３２０が行う機械学習は、特定の学習手法に限定されない。学習部３２０が行う機械学習は、例えば、教師無し学習、教師あり学習、又はその他の既知の学習手法のいずれかであればよい。
　推論部３４０は、第２の前処理部３３０で前処理をした検査対象画像を学習済みモデルに入力して検査対象画像と対応付けられる検査対象の対物レンズの歪みの度合いについての推論を行い、歪みに関する情報を出力する。判定部３５０は、推論部３４０が出力した歪みに関する情報に基づいて、検査対象の対物レンズの歪みの良否判定を行う。例えば、推論部３４０が対物レンズの瞳の像の特徴と歪みの度合いとを関連付ける数値を出力する場合、判定部３５０は、その数値と良否判定についての閾値との大小関係に基づいて、検査対象の対物レンズの歪みの度合いが許容範囲内（すなわちその対物レンズが良品）であるか否かを判定する。推論部３４０、又は推論部３４０と判定部３５０との組み合わせは、前記学習済みモデルを用いて、入力された前記検査対象画像から前記検査対象の前記透明体の歪みの度合いに関する情報を出力する処理部の例である。
　出力部３６０は、判定部３５０の良否判定の結果を含む画像データを表示装置４に出力する。出力部３６０は、例えば、検査対象の対物レンズを識別する製品名、検査対象の対物レンズの瞳の像（検査対象画像）、歪みのランク、良否判定の結果を含む画像データを表示装置４に表示させる（図１を参照）。
　記憶部３９０は、歪み検査装置３において実行されるプログラム、歪み検査装置３に入力された学習用画像及び検査対象画像等の各種データを記憶する。記憶部３９０は、例えば、学習部３２０で生成した、又は外部装置で生成された１つ以上の学習済みモデル３９１を記憶することにも利用可能である。例えば、歪み検査装置３は、推論部３４０で用いる学習済みモデルを、検査対象の透明体に応じて記憶部３９０に記憶された複数の学習済みモデル３９１のなかから選択可能であってもよい。
　次に、図３～図５を参照して、本実施形態に係る歪み検査装置３で用いる学習済みモデルの一例を概略的に説明する。
　図３は、学習用画像を用いた機械学習の一例を説明する図である。図４は、学習済みモデルが出力する歪みに関する数値と歪みの度合いとの関係の一例を説明する図である。図５は、作業員による判定と学習済みモデルを利用した判定との関係を説明する図である。
　図３の（ａ）には、第１の前処理部３１０における学習用の元画像１００１に対する前処理の一例を説明する画像が示されている。元画像１００１は、例えば、検査用顕微鏡２のデジタルカメラ２２０で撮像した対物レンズの瞳の像の画像であり、対物レンズの瞳の像の周りに不要な黒色の領域が多く存在する。第１の前処理部３１０は、元画像１００１から対物レンズの瞳の像を含む学習に必要な部分（注目領域）１１０１を切り出し（クロップ）、切り出した部分１１０１を所定の画素数の画像１２０１に変換（リサイズ）する。元画像１００１が学習用の所定の階調（例えば、１２８階調）のグレースケール画像である場合には、リサイズ後の画像１２０１を学習用の入力画像とする。元画像１００１が学習用の所定の階調とは異なる階調のグレースケール画像、又はＲＧＢ画像等のカラー画像である場合には、リサイズ後に所定の階調にグレースケール化した画像１２０１を学習用の入力画像とする。第１の前処理部３１０は、歪み検査装置３に入力される複数の学習用画像のそれぞれに対して上記の前処理を行い、複数の入力画像を作成する。なお、第２の前処理部３３０も、図３の（ａ）を参照して上述した第１の前処理部３１０と同様の処理を行って学習済みモデルに入力する画像を作成する。
　図３の（ｂ）には、前処理をした複数の学習用画像（学習用の入力画像１２０１、１２０２、・・・）のセットを学習部３２０に入力して特徴を学習する際の学習手法の一例を示している。学習部３２０は、例えば、エンコーダ３２１、中間層３２２、及びデコーダ３２３を有するＶＡＥを含む。学習用の入力画像１２０１、１２０２、・・・をＶＡＥに入力すると、各入力画像はエンコーダ３２１で圧縮され、中間層（潜在変数）３２２に変換された後、デコーダ３２３により復元されて出力される。ＶＡＥでは、デコーダ３２３により復元された画像が元の入力画像と同じ画像になるように学習するため、学習後の中間層（潜在変数）３２２は入力画像の特徴量（すなわち、歪みの度合いに関する特徴）を有する。したがって、ＶＡＥでの学習後の中間層（潜在変数）３２２を学習済みモデルとすることで、画像内の歪みに関する特徴を表す情報のみを利用して、検査対象画像から検査対象の対物レンズの歪みに関する情報を出力し、対物レンズの良否を判定することができる。
　図４のテーブル２０には、学習済みモデルが出力する歪みに関する数値と歪みの度合いとの関係の一例を示している。テーブル２０における画像の例は、対物レンズの歪みの度合いを評価する歪みランクが６段階の場合の、各歪みランクにおける対物レンズの瞳の像の画像の典型例を示している。テーブル２０における画像の典型例はグレースケール化されているが、画像は、ＲＧＢ画像等のカラー画像であってもよい。図４に例示したように、対物レンズの歪みが小さい場合には、直交ニコル状態で撮像した瞳の像は上下の反転対称の対称性、及び左右の反転対称の対称性が高く、明るい部分と暗い部分との境界が明瞭である。しかしながら、歪みが大きくなるにつれて、対称性が低くなり、明るい部分と暗い部分との境界が不鮮明になっていく。従来の検査方法では、このような各歪みランクにおける対物レンズの瞳の像の画像の特徴に基づいて、作業員が目視により、検査対象の対物レンズの画像における瞳の像がどの歪みランクに最も近いかを判定している。
　これに対し、本実施形態の検査方法では、上述のように、画像内の歪みの度合いに関する特徴を数値化して機械学習により学習すること生成（構築）した学習済みモデルを利用して、検査対象の対物レンズの画像における対物レンズの歪みの度合いに関する数値を出力する。歪みに関する数値は、例えば、テーブル２０に例示したように、歪みの度合いが小さいほど大きな値となるように設定される。
　図５の（ａ）のグラフ２１には、複数の学習用画像についての、ＶＡＥが出力する歪みに関する数値と、熟練の作業員が目視で判定した歪みランク（熟練者判定ランク）との関係の一例を示している。熟練の作業員は各画像から適切な歪みランクを判定することができるので、グラフ２１に例示したように、歪みランクごとの歪みに関する数値のばらつきが比較的少ない。しかしながら、熟練の作業員が歪みランクが低い（例えば、ＢやＢ’）と判定した画像には、学習済みモデルが出力する数値Ｘがより上位のランクの画像と対応する値のものも含まれる。目視で歪みの良否（歪みランク）を判定する場合、図４に例示した画像の例との比較では適切な歪みランクを判定することが難しいことがある。また、経験の浅い作業員は判定に要する時間が長くなることがある。
　このため、本実施形態の検査システムのように、学習用画像を利用して熟練者の暗黙知を学習することで、例えば、図５の（ｂ）のテーブル２２のように、歪みに関する数値Ｘの範囲に基づいて歪みランクを判定することができる。特に、上述したＶＡＥ等を用いた教師なし学習により生成（構築）した学習済モデルと、テーブル２２のような歪みランクの判定閾値とを組み合わせることにより、人の官能によらず、対物レンズ等の透明体の歪みの度合いを分類することが可能になる。また、画像内の歪みの度合いに関する特徴を数値化して学習した学習済みモデルを利用することにより、定量的で再現性の高い歪みの度合いの分類が可能となる。また、教師なし学習により学習済みモデルを生成する場合には、学習用画像毎に歪みランクを付与するアノテーションが不要であり、学習済みモデルを効率よく生成することができる。
　歪み検査装置３の判定部３５０は、例えば、学習済みモデルが出力する歪みに関する閾値Ｘと、テーブル２２に例示したような数値Ｘと歪みランクとの対応関係と、に基づいて、検査対象の透明体の歪みランクを判定する。判定部３５０は、例えば、複数の歪みランクのうちの良品と判定するランクと不良品と判定するランクとの境界値を閾値とし、学習済みモデルが出力する歪みに関する数値Ｘと閾値との大小関係により、検査対象の透明体の歪みの良否を判定してもよい。例えば、歪みランクがＡ、Ａ’、Ｂ、Ｂ’のいずれかである透明体は良品とみなす検査を行う場合、歪みランクＢ’と歪みランクＣとの境界値ＴＨ４を閾値とし、ＴＨ４≦Ｘであれば良品と判定し、Ｘ＜ＴＨ４であれば不良品と判定してもよい。
　図６は、一実施形態に係る検査システムによる検査方法の一例を説明するフローチャートである。図６のフローチャートに沿った処理は、学習済みモデルを生成（構築）した後で行われる。
　検査システム１は、まず、検査対象の透明体の画像を取得して前処理を行う（ステップＳ１０１）。ステップＳ１０１では、検査用顕微鏡２のデジタルカメラ２２０により撮像された検査対象画像が歪み検査装置３に入力される。このとき、例えば、歪み検査装置３は、デジタルカメラ２２０が出力するライブビュー映像を取得して表示装置４に表示させている。検査を行う作業員は、表示装置４に表示されたライブビュー映像に基づいて対物レンズの向き等を調整した後、操作用入力装置５を操作して検査対象の画像をデジタルカメラ２２０に撮像させる。歪み検査装置３は、検査対象の画像を取得すると、第２の前処理部３３０による前処理を行う。
　次に、歪み検査装置３は、前処理後の画像を学習済みモデルに入力し、検査対象の透明体の歪みの度合いに関する情報を学習済みモデルから出力させる（ステップＳ１０２）。
　次に、歪み検査装置３は、出力した情報に基づいて検査対象の透明体の歪みの良否を判定する（ステップＳ１０３）。その後、歪み検査装置３は、検査対象の透明体の歪みの良否の判定結果を表示装置４に表示する（ステップＳ１０４）。
　本実施形態の検査システム１は、検査を行う作業員による操作用入力装置５等を利用した検査開始のための操作が行われる毎に、上述したステップＳ１０１～Ｓ１０４の処理を行う。
　このように、本実施形態の検査システム１では、学習済みモデルを利用して透明体の歪みに関する検査を行うため、人の官能によらない、定量的かつ再現性の高い歪みの良否の判定を行うことができる。したがって、検査を行う作業員毎の歪みの良否の判定結果のばらつきを少なくすること、組み立て工程における工数や組み立てに要する時間の短縮等が可能になる。また、学習済みモデルを利用して透明体の歪みの良否判定を効率よく高精度に行うことができるので、作業員の教育等に要する時間やコストを削減することができる。
　なお、本実施形態の検査システム１では、図６を参照して上述したような検査対象である１つの透明体（例えば、１つの対物レンズ）に対して１枚の画像を取得する検査方法に限らず、１つの透明体に対して複数枚の画像を取得して検査する検査方法にも適用可能である。
　図７は、一実施形態に係る検査システムによる検査方法の別の例を説明するフローチャートである。図７のフローチャートに沿った処理は、学習済みモデルを生成（構築）した後で行われる。図７のフローチャートに沿った処理を適用可能な検査システム１では、検査用顕微鏡２は、例えば、モータ等の動力により１つの透明体（例えば、対物レンズ）を回転させることが可能な回転機構を含み、回転機構により検査対象の１つの透明体を回転させながらデジタルカメラ２２０により連続して撮像することが可能なように構成されている。
　図７のフローチャートに沿った処理を行う検査システム１は、まず、検査対象の透明体を回転させながら撮像した複数の画像を取得して前処理を行う（ステップＳ２０１）。ステップＳ２０１では、検査用顕微鏡２のデジタルカメラ２２０により撮像された複数の検査対象画像が歪み検査装置３に入力される。このとき、例えば、歪み検査装置３は、デジタルカメラ２２０が出力するライブビュー映像を取得して表示装置４に表示させている。検査を行う作業員は、操作用入力装置５を操作して検査対象の画像をデジタルカメラ２２０に撮像させる。このとき、検査用顕微鏡２は、１つの対物レンズを回転させながら、その対物レンズの瞳の像をデジタルカメラ２２０により連続して撮像する。検査用顕微鏡２は、例えば、対物レンズが３６０度回転するまで、所定の角度（例えば、９０度）だけ回転する毎に画像を撮影する。歪み検査装置３は、複数枚の検査対象の画像を取得すると、取得した画像毎に第２の前処理部３３０による前処理を行う。
　次に、歪み検査装置３は、前処理後の複数の画像のそれぞれを学習済みモデルに入力し、複数の画像のそれぞれに対応する検査対象の透明体の歪みの度合いに関する情報を学習済みモデルから出力させる（ステップＳ２０２）。
　次に、歪み検査装置３は、出力した複数の情報のうちの最も大きい歪みの度合いに関する情報に基づいて検査対象の透明体の歪みの良否を判定する（ステップＳ２０３）。その後、歪み検査装置３は、検査対象の透明体の歪みの良否の判定結果を表示装置４に表示する（ステップＳ２０４）。
　図７のフローチャートに沿った処理を行う検査システム１は、検査を行う作業員による操作用入力装置５等を利用した検査開始のための操作が行われる毎に、上述したステップＳ２０１～Ｓ２０４の処理を行う。
　図７のフローチャートに沿った処理を行う検査システム１では、検査対象である１つの透明体（対物レンズ）における歪みの度合いの特徴が最もよく表れている画像に対する歪みの度合いに関する情報に基づいて、その透明体の歪みの良否を判定することができる。また、複数枚の画像を取得する際に、上述したような、モータ等の動力により透明体（対物レンズ）を回転させながら複数枚の画像を連続して撮像することが可能な検査用顕微鏡２を用いることにより、作業員が、歪みの度合いの特徴が最もよく表れる向きに透明体を回転させる作業をすることなく、又は透明体を回転させて画像を撮像する作業を繰り返すことなく、透明体の歪みの良否をより精度よく判定することができる。
　また、本実施形態の検査システム１で用いる学習用画像のセットは、検査対象の透明体と光学特性や寸法等の仕様が同一の透明体（同一製品）を用いて撮像した画像のみが含まれるセットに限らず、歪みの度合いと瞳の像との対応関係が検査対象の透明体と類似している他の仕様の透明体（他の製品）を用いて撮像した画像を含むセットであってもよい。
　図８は、歪みの度合いと瞳の像との対応関係が類似した複数の製品の仕様の例を示す図である。図８のテーブル２３には、歪みの度合いと瞳の像との対応関係が類似した１３種類のレンズ（製品Ａ～製品Ｎ）のそれぞれにおける、倍率、ＮＡ、及びワーキングディスタンス（Ｗ．Ｄ．）を例示している。
　本願発明者は、図８に例示した１３種類のレンズのうちの１種類のレンズ（例えば、製品Ａ）を選択し、選択した種類の複数のレンズのそれぞれで検査時と同一の観察手法によって撮像された複数の画像を学習用画像とした学習済みモデルを用い、他のレンズ（製品Ｂ～製品Ｎ）のそれぞれについての検査対象画像に対する歪みの良否判定を行った。学習用画像には、図３を参照して上述したように、歪みの良否判定に必要な注目領域１１０１を切り出して所定の画素数にリサイズし、所定の階調のグレースケール画像に変換した画像を用いた。また、検査対象画像には、学習用画像と同様、歪みの良否判定に必要な注目領域１１０１を切り出して所定の画素数にリサイズし、所定の階調のグレースケール画像に変換した画像を用いた。これにより、例えば、学習用のレンズと検査対象のレンズとの光学特性が異なり、デジタルカメラ２２０で撮像した画像内での注目領域の大きさや階調が異なる場合でも、検査対象の画像を学習用画像と同一条件で学習済みモデルに入力することができる。そして、その良否判定の精度が、検査対象のレンズと同じ種類のレンズ（同一製品）の画像のみを学習用画像とした学習済みモデルによる良否判定の精度と比べて遜色ないことが、本願発明者により確認された。
　また、ＮＡが０．１～０．９５であり、かつワーキングディスタンス（Ｗ．Ｄ．）が０．１８ｍｍ～２３ｍｍの範囲のレンズであれば、光学特性がテーブル２３に例示した組み合わせのレンズ（製品Ａ～製品Ｎ）に限らず、他の組み合わせのレンズであっても、歪みの度合いと瞳の像との対応関係が類似し得ることが、本願発明者により確認された。
　このように、本実施形態の検査システム１では、歪みの度合いと瞳の像との対応関係が検査対象のレンズと類似しており、かつ検査対象のレンズとは光学特性や寸法が異なるレンズの画像を学習用画像として生成された学習済みモデルを利用することができる。このため、学習済みモデルを生成（構築）するための複数の学習用画像を取得する作業を効率よく短時間で行うことができる。
　また、上述した検査システム１における歪み検査装置３は、図２を参照して説明した機能を実施する専用の装置に限らず、例えば、汎用のコンピュータと、図６又は図７に例示したような処理をコンピュータに実行させるプログラムとにより実現される。
　図９は、コンピュータのハードウェア構成例を説明する図である。図９に例示したコンピュータ８は、プロセッサ８０１、メモリ（主記憶装置）８０２、補助記憶装置８０３、入力装置８０４、表示装置８０５、入出力インタフェース８０６、媒体駆動装置８０７、及び通信インタフェース８０８を含む。コンピュータ８のこれらの要素は、バス８１０を介して相互にデータを送受信することができる。
　プロセッサ８０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）のプログラムや、図６又は図７に例示したような処理を含むプログラムを実行することにより、上述した歪み検査装置３として機能（動作）するように、コンピュータ８の動作を制御する。プロセッサ８０１は、例えば、１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含む。プロセッサ８０１は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を含んでもよい。図６又は図７に例示したような処理を含むプログラムを実行するプロセッサ８０１は、図２に例示した歪み検査装置３の第２の前処理部３２０、推論部３４０、判定部３５０、及び出力部３６０の機能を実現するハードウェアの一例である。プロセッサ８０１に実行させるプログラムは、学習用画像を用いて透明体の歪みの特徴を学習し、学習済みモデルを生成する処理を含むプログラムを含んでもよい。
　メモリ８０２は、プロセッサ８０１が実行するプログラムの一部、プロセッサ８０１がプログラムの実行中に作成したデータや参照するデータ等を記憶する主記憶装置である。メモリ８０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）８０２ａ、及びＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）８０２ｂを含む。補助記憶装置８０３は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の、メモリ８０２と比べて記憶容量の大きい記憶装置である。メモリ８０２及び補助記憶装置８０３は、プロセッサ８０１に実行させるプログラム、及びプロセッサ８０１がプログラムを実行する際に使用される各種データを記憶（格納）させる記憶領域を提供する。例えば、補助記憶装置８０３は、歪み検査装置３の記憶部３９０の機能を実現するハードウェアの一例であり、上述した学習済みモデル３９１を記憶する記憶領域を提供する。
　入力装置８０４は、キーボード装置やマウス装置等の、コンピュータ８に対する操作入力を受け付ける操作入力装置（例えば、図１の操作入力装置５）である。表示装置８０５は、検査対象画像や歪みの良否判定の結果等を利用者に提示することが可能な、液晶ディスプレイ等の表示装置（例えば、図１の表示装置４）である。入出力インタフェース８０６は、検査用顕微鏡２のデジタルカメラ２２０等の外部装置からの入力信号の受付、図示しない出力装置（例えば、プリンタ等）への出力信号の出力等を行うハードウェアインタフェースである。
　媒体駆動装置８０７は、可搬型機記録媒体８５０に記憶された情報の読み出し、及び可搬型記録媒体８５０への情報の書き込み等を行う。可搬型記録媒体８５０は、例えば、光ディスク、磁気ディスク、光磁気ディスク、及びメモリカードを含む。可搬型記録媒体８５０は、読み取り専用であってもよいし、書き込み又は書き換えが可能なものであってもよい。可搬型記録媒体８５０は、学習済みモデルを記憶する記憶領域を提供することに利用可能である。媒体駆動装置８０７と可搬型記録媒体８５０との組み合わせは、歪み検査装置３の記憶部３９０の機能を実現し得る。媒体駆動装置８０７は、入出力インタフェース８０６を介してバス８１０に接続されてもよい。
　通信インタフェース８０８は、コンピュータ８をインターネット等の通信ネットワークに接続し、通信ネットワークを介した外部装置との通信を制御する。通信インタフェース８０８は、有線又は無線通信により通信ネットワークに接続される。通信インタフェース８０８は、例えば、通信ネットワークに接続されたサーバ装置に格納された学習用画像や学習済みモデルを取得することに利用可能である。
　図９に例示したコンピュータ８のハードウェア構成は、歪み検査装置３として利用可能なコンピュータのハードウェア構成の一例に過ぎない。歪み検査装置３として利用可能なコンピュータは、図９に例示した構成要素のうちのいくつか（例えば、媒体駆動装置８０７等）を含まないものであってもよい。
　本発明は、上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせてもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。
　例えば、上述した実施形態で例示した歪み検査装置３により歪みの良否判定を行う透明体は、顕微鏡の対物レンズのようなレンズ形状の透明体に限らず、他の形状の透明体（例えば平板状の透明体等）であってもよい。また、歪み検査装置３で用いる学習済みモデルは、ＶＡＥを利用した教師なし学習に限らず、他の学習手法により生成（構築）されたものであってもよい。
　また、歪み検査装置３が表示装置４に表示させる情報は、例えば、上述した検査対象画像、歪みの度合いに関する情報（数値）、及び歪みの良否判定の結果のうちのいくつか（例えば、良否判定の結果）が省略されてもよい。
　更に、上述した実施形態では、第１の偏光板２１１と第２の偏光板２１２とを直交ニコル状態にして撮像した透明体の画像を学習用画像及び検査対象画像としたが、本発明は、これに限らず、透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された画像を学習用画像及び検査対象画像としてもよい。
　また、検査システム１で用いる学習済みモデルは、上述したように、歪み検査装置３とは別の情報処理装置（外部装置）で生成（構築）されたものであってもよい。したがって、検査システム１は、図１に例示したような構成に限らず、例えば、学習済みモデルを生成（構築）して格納する１つ以上のサーバ装置と、通信ネットワークを介してサーバ装置から学習済みモデルを取得して歪みの良否判定を行う、第１の前処理部３１０及び学習部３２０が省略された複数の歪み検査装置とを含む構成であってもよい。検査システム１は、図１及び図２を参照して上述した１つの歪み検査装置３が２つ以上の個別の装置の組み合わせであってもよい。例えば、第１の前処理部３１０及び第２の前処理部３３０は、歪み検査装置３とは別の画像処理装置等に含まれてもよい。
１　検査システム
２　検査用顕微鏡
２０１、２０２、２０３　対物レンズ
２１０　光源
２１１　第１の偏光板
２１２　第２の偏光板
２２０　デジタルカメラ
３　歪み検査装置
３１０　第１の前処理部
３２０　学習部
３２１　エンコーダ
３２２　中間層
３２３　デコーダ
３３０　第２の前処理部
３４０　推論部
３５０　判定部
３６０　出力部
３９０　記憶部
３９１　学習済みモデル
４　表示装置
５　操作入力装置
８　コンピュータ
８０１　プロセッサ
８０２　メモリ
８０２ａ　ＲＡＭ
８０２ｂ　ＲＯＭ
８０３　補助記憶装置
８０４　入力装置
８０５　表示装置
８０６　入出力インタフェース
８０７　媒体駆動装置
８０８　通信インタフェース
８１０　バス
８５０　可搬型記録媒体
１００１　学習用の元画像
１２　学習用画像のセット
１２０１、１２０２　学習用の入力画像

Claims (12)

  1. 　透明体の歪みの良否判定を行うための検査システムであって、
    　検査対象の透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象画像を入力する入力部と、
    　前記検査対象の前記透明体の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体が撮像された画像である複数の学習用画像を学習したモデルであり、かつ前記検査対象画像が入力された際に、前記検査対象画像の歪みの度合いに関する情報を出力するモデルである学習済みモデルを記憶する記憶部と、
    　前記学習済みモデルを用いて、入力された前記検査対象画像から前記検査対象の前記透明体の歪みの度合いに関する情報を出力する処理部と、
    を含むことを特徴とする検査システム。
  2. 　前記学習済みモデルは、前記透明体の歪みの度合いを評価可能な、偏光素子を利用した前記観察手法によって透明体が撮像された画像である前記複数の学習用画像を教師なし学習したモデルであり、かつ前記検査対象画像が入力された際に、前記検査対象画像の歪みの度合いに関する数値を出力するモデルであり、
    　前記処理部は、前記学習済みモデルを用いて前記検査対象画像から前記検査対象の前記透明体の歪みの度合いに関する数値を出力する推論部と、出力した前記数値と所定の閾値とに基づいて前記検査対象の前記透明体の歪みの良否判定を行い、判定結果を出力する判定部とを含む、
    ことを特徴とする請求項１に記載の検査システム。
  3. 　前記透明体はレンズであることを特徴とする請求項２に記載の検査システム。
  4. 　前記学習済みモデルは、前記歪みの度合いと画像内での像の特徴との関係が前記検査対象の前記透明体における関係と類似した複数の透明体のそれぞれを同一の観察手法によって撮像した複数の画像を前記複数の学習用画像として学習したモデルであることを特徴とする請求項２に記載の検査システム。
  5. 　前記複数の透明体は、ＮＡが０．１から０．９５までの範囲内であり、かつワーキングディスタンスが０．１８ｍｍから２３ｍｍまでの範囲内のレンズであることを特徴とする請求項４に記載の検査システム。
  6. 　前記複数の学習用画像は、それぞれ、前記透明体が撮像された画像内の注目領域を切り出し、切り出した前記注目領域を所定の画素数に変換し、所定の階調のグレースケール画像に変換した画像であり、
    　前記処理部は、前記検査対象画像内の注目領域を切り出し、切り出した前記注目領域を前記所定の画素数に変換し、前記所定の階調のグレースケール画像に変換して前記学習済みモデルに入力する
    ことを特徴とする請求項４に記載の検査システム。
  7. 　前記学習済みモデルは、変分オートエンコーダであり、出力する前記検査対象画像の歪みの度合いに関する前記数値は、前記変分オートエンコーダの中間層の値であることを特徴とする請求項２に記載の検査システム。
  8. 　前記検査対象の１つの透明体を回転させる回転機構と、前記回転機構により前記１つの透明体を回転させながら複数の前記検査対象画像を撮像する撮像装置と、を更に含み、
    　前記処理部は、前記学習済みモデルを用いて、前記複数の前記検査対象画像のそれぞれから前記１つの透明体についての歪みの度合いに関する情報を出力し、出力した複数の前記情報のうち最も歪みの度合いが大きいことを示す情報に基づいて、前記１つの透明体の歪みの良否判定を行う、
    ことを特徴とする請求項１に記載の検査システム。
  9. 　表示装置と、前記処理部が出力する前記情報を前記表示装置に表示させる出力部とを更に備える請求項１に記載の検査システム。
  10. 　前記出力部は、前記学習済みモデルが出力する前記検査対象の前記透明体の歪みの度合いに関する数値、及び出力した前記数値と所定の閾値とに基づいて判定した前記検査対象の前記透明体の歪みの良否判定の結果、のうち少なくとも１つと、前記検査対象画像とを前記表示装置に表示させることを特徴とする請求項９に記載の検査システム。
  11. 　透明体の歪みの良否判定を行うための検査方法であって、コンピュータが、
    　検査対象の透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象画像を学習済みモデルに入力し、
    　前記学習済みモデルを用いて、入力された前記検査対象画像から前記検査対象の前記透明体の歪みの度合いに関する情報を出力する処理を実行し、
    　前記学習済みモデルは、
    　前記検査対象の前記透明体の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体が撮像された画像である複数の学習用画像を学習したモデルであり、かつ前記検査対象画像が入力された際に、前記検査対象画像の歪みの度合いに関する情報を出力するモデルである、
    ことを特徴とする検査方法。
  12. 　透明体の歪みの良否判定を行うための処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
    　検査対象の透明体の歪みの度合いを評価可能な偏光素子を利用した観察手法によって撮像された検査対象画像を学習済みモデルに入力し、
    　前記学習済みモデルを用いて、入力された前記検査対象画像から前記検査対象の前記透明体の歪みの度合いに関する情報を出力する処理を実行させ、
    　前記学習済みモデルは、
    　前記検査対象の前記透明体の歪みの度合いを評価可能な、偏光素子を利用した観察手法によって透明体が撮像された画像である複数の学習用画像を学習したモデルであり、かつ前記検査対象画像が入力された際に、前記検査対象画像の歪みの度合いに関する情報を出力するモデルである、
    ことを特徴とするプログラム。
PCT/JP2021/009559 2021-03-10 2021-03-10 検査システム、検査方法、及びプログラム WO2022190265A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/009559 WO2022190265A1 (ja) 2021-03-10 2021-03-10 検査システム、検査方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/009559 WO2022190265A1 (ja) 2021-03-10 2021-03-10 検査システム、検査方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022190265A1 true WO2022190265A1 (ja) 2022-09-15

Family

ID=83227601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009559 WO2022190265A1 (ja) 2021-03-10 2021-03-10 検査システム、検査方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2022190265A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0321842A (ja) * 1989-06-20 1991-01-30 Olympus Optical Co Ltd 光学歪検査装置
JPH0450905A (ja) * 1990-06-15 1992-02-19 Olympus Optical Co Ltd 光学素子を保持枠に取付ける方法
WO2015166968A1 (ja) * 2014-04-28 2015-11-05 キヤノン株式会社 表示装置及びその制御方法
JP2020060469A (ja) * 2018-10-11 2020-04-16 キヤノン株式会社 収差推定方法、収差推定装置、プログラムおよび記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0321842A (ja) * 1989-06-20 1991-01-30 Olympus Optical Co Ltd 光学歪検査装置
JPH0450905A (ja) * 1990-06-15 1992-02-19 Olympus Optical Co Ltd 光学素子を保持枠に取付ける方法
WO2015166968A1 (ja) * 2014-04-28 2015-11-05 キヤノン株式会社 表示装置及びその制御方法
JP2020060469A (ja) * 2018-10-11 2020-04-16 キヤノン株式会社 収差推定方法、収差推定装置、プログラムおよび記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKIRA MIYAKE , YUKA ONISHI , SETSUO YOGO: "A new method for measuring c-axis orientations of optically uniaxial crystals with conoscopic figures", THE JOURNAL OF THE GEOLOGICAL SOCIETY OF JAPAN, vol. 108, no. 3, 28 February 2002 (2002-02-28), JP , pages 176 - 185, XP009539881, ISSN: 0016-7630, DOI: 10.5575/geosoc.108.176 *

Similar Documents

Publication Publication Date Title
CN110428475B (zh) 一种医学图像的分类方法、模型训练方法和服务器
CN109949305B (zh) 产品表面缺陷检测方法、装置及计算机设备
JP2024509411A (ja) 欠陥検出方法、装置及びシステム
JP4982213B2 (ja) 欠陥検査装置及び欠陥検査方法
CN102098410A (zh) 信息处理设备和方法、程序及包括光学显微镜的成像设备
JPWO2016174926A1 (ja) 画像処理装置及び画像処理方法及びプログラム
US20220222822A1 (en) Microscopy System and Method for Evaluating Image Processing Results
US20230021099A1 (en) Method and assistance system for checking samples for defects
JP7453813B2 (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
JP7408516B2 (ja) 欠陥管理装置、方法およびプログラム
JP7418639B2 (ja) 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
US11562479B2 (en) Inspection apparatus, inspection method, and non-volatile storage medium
WO2022190265A1 (ja) 検査システム、検査方法、及びプログラム
US9619900B2 (en) Systems and methods for identifying anomalous test item renderings
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
JP2021117155A (ja) 検査装置、検査方法、及び検査プログラム
WO2022130814A1 (ja) 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム
JP7414629B2 (ja) 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム
CN113192070B (zh) 一种基于计算机视觉的焊缝图像处理方法和系统
CN115222691A (zh) 图像缺陷检测方法、系统及相关装置
Socia et al. Detection of trachoma using machine learning approaches
JP7407670B2 (ja) 評価システム、評価方法、および評価プログラム
Hansen et al. Getting crevices, cracks, and grooves in line: Anomaly categorization for aqc judgment models
CN113658183B (zh) 工件质检方法、装置及计算机设备
WO2022168216A1 (ja) 推定装置、顕微鏡システム、処理方法、及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930121

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21930121

Country of ref document: EP

Kind code of ref document: A1