WO2024057644A1 - 検査装置、および、検査方法 - Google Patents

検査装置、および、検査方法 Download PDF

Info

Publication number
WO2024057644A1
WO2024057644A1 PCT/JP2023/022225 JP2023022225W WO2024057644A1 WO 2024057644 A1 WO2024057644 A1 WO 2024057644A1 JP 2023022225 W JP2023022225 W JP 2023022225W WO 2024057644 A1 WO2024057644 A1 WO 2024057644A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
processing unit
image
learning
video
Prior art date
Application number
PCT/JP2023/022225
Other languages
English (en)
French (fr)
Inventor
忠弘 片根
敦史 袖山
望 桐生
和紀 津島
勲 品田
隆浩 日下
Original Assignee
株式会社日立産業制御ソリューションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立産業制御ソリューションズ filed Critical 株式会社日立産業制御ソリューションズ
Publication of WO2024057644A1 publication Critical patent/WO2024057644A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Definitions

  • the present invention relates to an inspection device and an inspection method.
  • Patent Document 1 Conventionally, when inspecting foreign matter in a liquid filled in a transparent container, an automatic foreign matter inspection device as shown in Patent Document 1 has been used.
  • This automatic foreign matter inspection device performs a foreign matter inspection by rotating a transparent container, holding it still, and then using a camera, sensor, etc. to detect foreign matter floating in the inertially rotating liquid inside the transparent container.
  • a visual inspection is also conducted to inspect the external appearance of this liquid-filled container.
  • an object of the present invention is to improve the accuracy of in-liquid foreign matter inspection and visual inspection.
  • an inspection apparatus of the present invention includes an image processing unit that processes an image of an object to be inspected, and an image processing unit that processes an image of an object to be inspected and an image processing unit that processes an image of an object to be inspected and whether the object to be inspected is a good product or a defective product.
  • an AI processing unit that labels a foreign object captured in an image of the inspection object using a learning parameter learned from teacher data that combines indicators indicating whether there is a foreign object, and an image processed by the image processing unit and the AI processing unit.
  • a determining unit that determines whether the object to be inspected is a non-defective product or a defective product based on the labeled image.
  • the inspection method of the present invention includes a step in which an image processing unit performs image processing on an image of an object to be inspected, and an indicator indicating whether the image of the object to be inspected and the object to be inspected is a good product or a defective product.
  • a step in which the AI processing unit labels a foreign object photographed in the image of the inspection object using learning parameters learned from training data that is a combination of the images processed by the image processing unit and the AI processing unit The method is characterized by comprising a step in which the determination unit determines whether the object to be inspected is a non-defective product or a defective product based on the attached image. Other means will be explained in the detailed description.
  • the present invention it is possible to improve the accuracy of appearance inspection. Furthermore, it is possible to reduce blind spots caused by container external inspection and to reduce the number of visually inspected parts.
  • FIG. 1 is a configuration diagram of an inspection device according to the present embodiment.
  • FIG. 2 is a conceptual diagram showing a pedestal and illumination of the inspection device. It is a figure explaining operation at the time of production recording of an inspection device. It is a figure explaining operation at the time of reproduction adjustment of an inspection device.
  • It is a block diagram of a learning environment device.
  • FIG. 13 is a diagram illustrating the learning procedure of the AI processing unit. It is a flowchart of the learning process of an AI processing unit. It is a flowchart of inspection processing.
  • This is an input image related to a black foreign object.
  • This is an image obtained by dividing an input image related to a black foreign object into regions and recognizing defective parts.
  • This is an input image related to a white foreign object.
  • This is an image obtained by dividing an input image related to a white foreign object into regions and recognizing defective parts.
  • This is an input image related to bubbles.
  • 11 is an image obtained by dividing an input video relating to bubbles
  • the first case targeted by the present invention is one in which there is variation in the condition of non-defective products, such as inspection of foreign matter on the top surface of a freeze-dried agent (cake). It is difficult to distinguish between non-defective products and non-defective products because there are larger variations in shape (cake cracking, etc.) than in defective products. The current problem is erroneously detecting cake cracks as defects.
  • the second case is one where there are limitations on the inspection area and detection sensitivity, such as foreign body inspection on the side of a syringe rubber stopper. If there is a defect in a shape-changing area (such as a boundary), the inspection area and detection sensitivity will be limited. The current problem is overlooking defects and erroneously detecting border areas as defects.
  • the third case is one in which the image during the inspection changes every time, such as inspection of a foreign object inside the rubber stopper of a vial. Since the inspection image is captured by rotating, it is necessary to set the inspection area according to the angle. The current problem is overlooking defects and erroneously detecting border areas as defects.
  • the present embodiment relates to a foreign matter inspection device, and will be described using examples of techniques for inspecting foreign matter in a liquid filled in a transparent container such as an ampoule or a vial, and inspecting the appearance of a liquid filled container.
  • a transparent container such as an ampoule or a vial
  • the present invention is not limited to this, and may be applied to the first to third cases described above.
  • FIG. 1 is a configuration diagram of an inspection apparatus 1 according to this embodiment.
  • the inspection device 1 is for inspecting foreign matter inside the subject of the container 8 to be inspected shown in FIG. 2 and the appearance of the container 8 to be inspected.
  • the inspection device 1 includes a camera 2, a control section 13, an image processing unit 3, an AI processing unit 4, and a determination section 7.
  • the inspection apparatus 1 includes a pedestal 11 for rotating the container 8 to be inspected, and an illumination 12 for irradiating light onto the container 8 to be inspected from the side.
  • the camera 2 photographs the container 8 to be inspected.
  • the camera 2 may be any camera that photographs the object to be inspected.
  • the object to be inspected is not limited to the container 8 to be inspected and the liquid therein.
  • the control unit 13 adjusts the conditions of the image of the object to be inspected by correcting the brightness of the camera 2 and correcting the inspection position.
  • the image processing unit 3 includes an inspection processing section 31 that performs filter processing on an input video signal, and is an image processing section that performs image processing on the image of the container 8 to be inspected taken by the camera 2. .
  • the determination unit 7 can determine the presence or absence of foreign matter in the liquid.
  • the AI processing unit 4 is an AI processing section that stores learning parameters 41 that have been learned about foreign objects, and executes an AI (Artificial Intelligence) process for region segmentation on a video shot by the camera 2.
  • the AI processing unit 4 stores learning parameters 41 obtained by learning teacher data that is a combination of an image of the container 8 to be inspected taken by the camera 2 and an index indicating whether the container 8 to be inspected is a good product or a defective product.
  • the AI processing unit 4 uses the learning parameters 41 to label the foreign matter captured in the image of the container 8 to be inspected.
  • labeling a foreign object means that the AI processing unit 4 adds label information indicating that the foreign object is a foreign object to the video area where the foreign object is photographed.
  • the determination unit 7 inspects the video processed by the image processing unit 3 and the video labeled by the AI processing unit 4 for the presence of foreign objects, and further tests for the presence of appearance defects.
  • the determination unit 7 can determine whether each pixel is a foreign object or not based on the AI-processed image.
  • the determination unit 7 extracts a first abnormal region from the video processed by the image processing unit 3, and extracts a second abnormal region from the video labeled by the AI processing unit.
  • the determining unit 7 determines whether the container 8 to be inspected and the liquid therein are good or defective based on the logical product of the first abnormal area and the first abnormal area.
  • the inspection device 1 performs AI processing by the AI processing unit 4 simultaneously with conventional inspection by the image processing unit 3. Then, the determination unit 7 combines the AI processing results and the conventional inspection results and makes a comprehensive determination based on the defect determination (logical product) of both. This makes it possible to improve the accuracy of mechanical visual inspection. Furthermore, it is possible to reduce blind spots caused by container external inspection and to reduce the number of visually inspected parts. Furthermore, since a comprehensive judgment is made based on both defect judgments (logical product), AI processing is allowed to erroneously judge non-defective products as defective to a certain extent. Therefore, the number of learning steps can be reduced.
  • the determination unit 7 may combine the AI processing results and the conventional inspection results and make a comprehensive determination based on the defective determination (logical OR) of either one. In this case, it is possible to erroneously judge a defective product as a non-defective product to a certain extent, so that the number of learning steps can be reduced.
  • the image processing unit 3 uses the recording function of the inspection device 1 shown in FIG. . This makes it possible to record all input videos and acquire a large amount of data for AI learning while evaluating videos and running production.
  • the video recorded in the storage device 6 is played back without mechanical operation, and the image processing unit 3 evaluates and makes adjustments to output the inspection results.
  • Teacher data can be obtained by manually correcting the test results.
  • a learning environment device 5 separate from the inspection device 1 causes a learning section 52 to perform learning and generate learning parameters 51 using this captured video and teacher data.
  • the performance confirmation unit 53 confirms the performance of the test based on the learning parameters 51.
  • the performance confirmation unit 53 uses the captured video recorded in the storage device 6 to simulate the learning parameters 51, which are the learning results, in both conventional processing and AI processing. Therefore, it is possible to confirm the effect by comparing the results.
  • the learning environment device 5 registers the learning parameter 51, which is the learning result of the AI processing, in the inspection device 1 as the learning parameter 41. Thereby, this learning result is reflected on the inspection device 1.
  • AI processing requires a person to specify the background, foreign objects, scratches, bubbles, etc. and make it learn.
  • the functions of the conventional image processing unit 3 are used to extract information such as the background, foreign matter, dirt, etc., and the extraction results are displayed on the screen. Based on the screen display, a person confirms whether there is no error in the judgment made by the image processing unit 3. Thereby, teacher data can be generated relatively easily.
  • the learning environment device 5 learns this teacher data.
  • the learning environment device 5 reduces the number of sheets to be judged by setting conditions such as ignoring foreign objects of a certain size or less and treating thin objects as good. Can be done.
  • FIG. 6 is a diagram illustrating a learning procedure of the AI processing unit 4 shown in FIG. 1. This learning procedure is roughly divided into processing by the inspection device 1, processing by the learning section 52, and processing by the performance confirmation section 53.
  • step S10 the inspection device 1 executes conventional inspection processing.
  • the results of this conventional inspection process and the photographed video are delivered to the learning section 52.
  • step S11 the learning unit 52 learns elements in the video as labels based on the results of the conventional inspection process and the captured video at that time.
  • the learning parameters 51 (FIG. 5), which are the learning results, are delivered to the performance confirmation section 53.
  • step S12 the performance confirmation unit 53 uses the evaluation video to confirm the performance of the learning parameters 51 (FIG. 5).
  • the processes of steps S11 and S12 are repeated until the desired performance is obtained.
  • the desired performance means that the AI processing using the learning parameters 51 determines a bubble or the like that is incorrectly determined to be defective by the image processing unit 3 to be a good product, and the image processing unit 3 correctly determines that it is a defective foreign object or the like to be a good product.
  • the product is actually a good product, it may be erroneously determined as defective by AI processing using the learning parameters 51. Such an erroneous determination can be corrected by the logical sum of the determination unit 7 and does not pose a problem.
  • the learning environment device 5 registers the learning parameter 51, which is the learning result, in the inspection device 1.
  • step S13 the inspection device 1 executes conventional inspection processing and AI processing in parallel. Then, in step S14, the determination unit 7 evaluates the results of the conventional inspection process and the results of the AI process and makes a comprehensive determination. In step S15, when the determination unit 7 selects normal inspection objects, the series of learning processes is completed.
  • FIG. 7 is a flowchart of the learning process of the AI processing unit 4. This flowchart is a rewritten version of the learning procedure in FIG.
  • the inspection device 1 collects data using the recording function of the storage device 6 (step S20).
  • the learning environment device 5 then generates a model through learning (step S21).
  • the model is configured by learning parameters 51.
  • the operator reflects the learning parameters 51, which are the model, on the inspection device 1 and verifies them (step S22), applies them to actual production (step S23), and ends the process of FIG.
  • FIG. 8 is a flowchart of the inspection process. This will be explained with reference to FIG. 1 as appropriate.
  • the control unit 13 corrects the brightness of the camera 2 (step S30), corrects the inspection position (step S31), and aligns the conditions of the image taken of the object to be inspected.
  • the object to be inspected here is the container 8 to be inspected shown in FIG. 2 and the liquid therein.
  • This video is sent to the image processing unit 3 and also to the AI processing unit 4 shown in FIG.
  • the processing from steps S32 to S34 and the processing from steps S35 to S38 are executed in parallel.
  • the image processing unit 3 shown in FIG. 1 executes the processes from steps S32 to S34.
  • the image processing unit 3 uses the inspection processing section 31 to perform filter processing on the video (step S32). Then, the image processing unit 3 creates a binarized image using threshold values for shading (step S33), and performs region extraction by labeling (step S34).
  • the AI processing unit 4 shown in FIG. 1 executes the processes from steps S35 to S38.
  • the AI processing unit 4 classifies foreign objects by label based on the learning parameters 51 (step S35).
  • the AI processing unit 4 then creates an image with the same color or brightness for each label (step S36).
  • the AI processing unit 4 creates a binarized image using threshold values for shading (step S37), and performs region extraction by labeling (step S38).
  • step S39 the determination unit 7 performs a determination based on the logical product of the processing result of the image processing unit 3 and the processing result of the AI processing unit 4.
  • the determination unit 7 extracts a first abnormal region from the video processed by the image processing unit 3, and extracts a second abnormal region from the video labeled by the AI processing unit 4.
  • the determination unit 7 determines whether the object to be inspected is a good product or a defective product based on the logical product of the first abnormal region and the second abnormal region.
  • the process of FIG. 8 ends.
  • this inspection device 1 In order to improve inspection accuracy, the operator of this inspection device 1 combines conventional image processing and AI processing, and repeats comparisons and evaluations.
  • the flowchart in FIG. 8 is for determining whether a foreign object or the like is erroneously detected from the detected defect.
  • the determination unit 7 reflects the AI processing result in the defect determination based on the logical product of the first abnormal area and the second abnormal area. Additionally, there are cases where it is desired to add new AI processing to an uninspected area. In such a case, the determination unit 7 reflects the AI processing result in the defect determination based on the logical sum of the first abnormal area and the second abnormal area.
  • the determination unit 7 is not limited to this, and the determination unit 7 determines the inspection target based on the result of combining the first abnormal area of the first predetermined size and the second abnormal area of the second predetermined size. may determine either a good product or a defective product, and is not limited thereto.
  • An abnormal region that can be suitably detected by the image processing unit 3 is one whose size is larger than a predetermined value.
  • AI processing can suitably detect even small objects. Therefore, the determination unit 7 can suitably determine the presence or absence of an abnormality by selecting both detection results according to the size of the abnormal area and then combining both. In this case, the learning of the AI process can be stopped when it becomes possible to suitably detect small objects, so the learning can be completed in a short time.
  • FIG. 9 is an input image related to a black foreign object.
  • a black area is captured to the left of the center of the image. This black area is an abnormal area.
  • FIG. 10 is an image obtained by dividing the input image related to the black foreign object shown in FIG. 9 into regions and recognizing defective parts. An area with a different color is shown to the left of the center of the image. This corresponds to the defective part.
  • FIG. 11 is an input image related to a white foreign object. A white area is captured slightly above the center of the image.
  • FIG. 12 is an image obtained by dividing the input image related to the white foreign object shown in FIG. 11 into regions and recognizing defective locations. An area with a different color is shown slightly above the center of the image. This corresponds to the defective part.
  • FIG. 13 is an input image related to bubbles.
  • the shadow of a bubble is shown at the bottom left of the center of the image. This corresponds to a non-defective part.
  • FIG. 14 is an image obtained by dividing the input video related to bubbles shown in FIG. 13 into regions. There are no regions of different colors in the video. Therefore, this bubble corresponds to a defective location.
  • the inspection device 1 is applied to distinguish between bubbles and foreign objects on the rubber stopper of a syringe to reduce false detections. Specifically, in the conventional inspection, everything that appears on the rubber stopper is detected and labeled, and in AI processing, what appears to be bubbles is excluded from the detected items.
  • the inspection device 1 is applied to distinguish between bubbles and foreign matter floating on the liquid surface to reduce false detection. Specifically, AI learns how the liquid level is falling and determines whether there is a foreign object. Additionally, if there is a difference in the shape of bubbles and the shape of the foreign object that you want to detect, this can be achieved by learning this difference and excluding the detection of bubbles.
  • the inspection device 1 learns about water droplets in the air layer of the torso (shoulder) and distinguishes them from scratches or dirt. Specifically, everything that is visible in the air space during conventional inspection will be detected and labeled. This is then achieved by using AI processing to remove what appears to be water droplets from the detected objects.
  • the inspection device 1 learns about water droplets in the air layer of the freeze-dried agent and distinguishes them from scratches or dirt. Specifically, everything that is visible in the air space during conventional inspection will be detected and labeled. This is then achieved by using AI processing to remove what appears to be water droplets from the detected objects.
  • the inspection device 1 learns about water droplets adhering to the inside of the rubber stopper of a vial and distinguishes them from dirt or foreign matter. Specifically, everything that appears on the rubber stopper during conventional inspection will be detected and labeled. Discrimination between water droplets and dirt or foreign objects is achieved by using AI processing to remove shadows of rubber stoppers and objects that appear to be water droplets from the detected objects.
  • the present invention is not limited to the embodiments described above, and includes various modifications.
  • the embodiments described above are described in detail to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described. It is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Furthermore, it is also possible to add, delete, or replace some of the configurations of each embodiment with other configurations.
  • Part or all of the above configurations, functions, processing units, processing means, etc. may be realized by hardware such as an integrated circuit.
  • Each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function.
  • Information such as programs, tables, and files that realize each function can be stored in storage devices such as memory, hard disks, SSDs (Solid State Drives), or recording media such as flash memory cards and DVDs (Digital Versatile Disks). can.
  • control lines and information lines are those considered necessary for explanation, and not all control lines and information lines are necessarily shown in the product. In reality, almost all components may be considered interconnected. Modifications of the present invention include, for example, the following (a) to (d).
  • the present invention is not limited to visual inspection, but may be applied to in-liquid inspection.
  • the test object of the present invention is not limited to vials and freeze-dried agents, but may also be containers such as ampoules or other arbitrary objects.
  • the invention is not limited to transparent containers.
  • the labeling method of the present invention is not limited as long as it provides label information indicating a desired foreign object area in an image by machine learning.
  • Inspection target container 1 Inspection device 2 Camera 3 Image processing unit (image processing section) 4 AI processing unit (AI processing section) 31 Inspection processing section 41 Learning parameter 5 Learning environment device 51 Learning parameter 52 Learning section 53 Performance confirmation section 6 Storage device 7 Judgment section 8 Inspection target container

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

外観検査の精度を向上させる。検査装置（１）は、検査対象物を撮影した映像を画像処理する画像処理ユニット（３）と、検査対象物を撮影した映像および検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、検査対象物の映像に撮影された異物をラベル付けするＡＩ処理ユニット（４）と、画像処理ユニット（３）が処理した映像およびＡＩ処理ユニット（４）がラベル付けした映像に基づき、検査対象物が良品と不良品の何れであるかを判定する判定部（７）とを備える。

Description

検査装置、および、検査方法
　本発明は、検査装置、および、検査方法に関する。
　従来、透明容器中に充填された液体中の異物を検査する場合、特許文献１に示すような異物自動検査装置を用いていた。この異物自動検査装置では、透明容器を回転させてから静止させた後、カメラやセンサ等で透明容器内の慣性回転する液体中に浮遊する異物を検出するといった異物検査が行われている。
　また、この液体充填容器の外観状態を検査する外観検査も行われている。
特開２０１４－１０９５２６号公報
　従来の検査装置は、液体充填容器を回転させてから停止することで、内容液のみが動いた状態で内容液を撮影し、移動しているものの有無を検査することで、異物の有無を検査している。しかし、泡がある場合、泡と異物との区別が困難で、誤検出が多発するという問題がある。
　また、液体充填容器の外観検査において、形状の複雑なバイアルのゴム栓部分や、バイアルの肩部付近の水滴付着部分、液面付近などは、製品や環境の影響でばらつきが多く、検査が困難である。この部分は、目視による人手検査を行っていた。よって、このような場合でも十分な精度で機械による外観検査を行うことが求められている。
　そこで、本発明は、液中異物検査及び外観検査の精度を向上させることを課題とする。
　前記した課題を解決するため、本発明の検査装置は、検査対象物を撮影した映像を画像処理する画像処理部と、前記検査対象物の映像および前記検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、前記検査対象物の映像に撮影された異物をラベル付けするＡＩ処理部と、前記画像処理部が処理した映像および前記ＡＩ処理部がラベル付けした映像に基づき、前記検査対象物が良品と不良品のうち何れであるかを判定する判定部と、を備える。
　本発明の検査方法は、検査対象物を撮影した映像を、画像処理部が画像処理するステップと、前記検査対象物の映像および前記検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、ＡＩ処理部が、前記検査対象物の映像に撮影された異物をラベル付けするステップと、前記画像処理部が処理した映像および前記ＡＩ処理部がラベル付けした映像に基づき、判定部が、前記検査対象物が良品と不良品のうち何れであるかを判定するステップと、を備えることを特徴とする。
　その他の手段については、発明を実施するための形態のなかで説明する。
　本発明によれば、外観検査の精度を向上させることが可能となる。また、容器外観検査による死角を減らし、目視による検査部位を減らすことが可能となる。
本実施形態に係る検査装置の構成図である。 検査装置の台座と照明を示す概念図である。 検査装置の生産録画時の動作を説明する図である。 検査装置の再生調整時の動作を説明する図である。 学習環境装置の構成図である。 ＡＩ処理ユニットの学習手順を説明する図である。 ＡＩ処理ユニットの学習処理のフローチャートである。 検査処理のフローチャートである。 黒色異物に係る入力映像である。 黒色異物に係る入力映像を領域分割して不良箇所を認識した画像である。 白色異物に係る入力映像である。 白色異物に係る入力映像を領域分割して不良箇所を認識した画像である。 気泡に係る入力映像である。 気泡に係る入力映像を領域分割した画像である。
　以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
　本発明のターゲットとなる第１の事例は、良品状態にバラツキのあるものであり、凍結乾燥剤（ケーキ）上面異物検査等である。良品形状に不良よりも大きなバラツキ（ケーキ割れ等）があるため、不良との判別が困難である。現状課題は、ケーキ割れを不良と誤検知することである。
　第２の事例は、検査領域や検出感度に制限がでるものであり、シリンジゴム栓横異物検査等である。形状変化部分（境界部など）に不良がある場合、検査領域や検出感度に制限がでる。現状課題は、不良の見逃しや、境界部分を不良と誤検知することである。
　第３の事例は、検査時の画像が毎回変化するものであり、バイアルのゴム栓内側異物検査等である。回転して検査画像を撮像する為、角度に応じた検査領域設定が必要となる。現状課題は、不良の見逃しや、境界部分を不良と誤検知することである。
　以下、本実施形態は、異物検査装置に係り、アンプル、バイアル等の透過性のある容器中に充填された液体中の異物検査、および、液体充填容器の外観検査の技術を例として説明する。しかし、これに限られず、上記第１から第３の事例に適用してもよく、限定されない。
　図１は、本実施形態に係る検査装置１の構成図である。
　検査装置１は、図２に示した検査対象容器８の被検体内の異物、および、検査対象容器８の外観を検査するものである。検査装置１は、カメラ２と、制御部１３と、画像処理ユニット３と、ＡＩ処理ユニット４と、判定部７とを含んで構成される。
　図２に示すように、この検査装置１は、検査対象容器８を回転させる台座１１と、検査対象容器８に側方から光を照射する照明１２とを含んで構成される。
　カメラ２は、検査対象容器８を撮影する。なお、カメラ２は、検査対象物を撮影するものであればよい。検査対象物は、検査対象容器８およびその中の液体に限定されない。制御部１３は、カメラ２の輝度補正と検査位置補正により、検査対象物を撮影した映像の条件を揃える。
　図１に示すように、画像処理ユニット３は、入力された映像信号にフィルタ処理を施す検査処理部３１を備え、カメラ２が撮影した検査対象容器８の映像を画像処理する画像処理部である。これにより、判定部７は、液体内の異物の有無を判定可能となる。ＡＩ処理ユニット４は、異物を学習した学習パラメータ４１を格納しており、カメラ２による撮影映像に対して、領域分割のＡＩ（Artificial Intelligence）処理を実行するＡＩ処理部である。ＡＩ処理ユニット４は、カメラ２が撮影した検査対象容器８の映像および検査対象容器８が良品と不良品のうち何れかを示す指標を組み合わせた教師データを学習した学習パラメータ４１を格納する。ＡＩ処理ユニット４は、学習パラメータ４１を用いて、検査対象容器８の映像に撮影された異物をラベル付けする。ここで異物をラベル付けするとは、ＡＩ処理ユニット４が、この異物が撮影されている映像領域に対して、異物であることを示すラベル情報を付与することをいう。
　判定部７は、画像処理ユニット３が処理した映像と、ＡＩ処理ユニット４がラベル付けした映像により異物の有無を検査し、更に外観不良の有無を検査する。判定部７は、ＡＩ処理した映像により、ピクセルごとに異物か否かを判定可能である。
　判定部７は、画像処理ユニット３が処理した映像から第１の異常領域を抽出し、ＡＩ処理ユニットがラベル付けした映像から第２の異常領域を抽出する。判定部７は、第１の異常領域と第１の異常領域との論理積により、検査対象容器８およびその中の液体が、良品と不良品のうち何れかを判定する。
　検査装置１は、画像処理ユニット３の従来検査と同時に、ＡＩ処理ユニット４によるＡＩ処理を実施する。そして、判定部７は、ＡＩ処理結果と従来検査結果とを合わせ、両方の不良判定（論理積）で総合判定する。これにより、機械による外観検査の精度を向上させることが可能となる。また、容器外観検査による死角を減らし、目視による検査部位を減らすことが可能となる。また、両方の不良判定（論理積）で総合判定するため、ＡＩ処理にて、良品を不良と誤判定することが或る程度まで許される。よって学習工数を低減させることができる。
　なお、判定部７は、ＡＩ処理結果と従来検査結果とを合わせ、何れか一方の不良判定（論理和）で総合判定してもよい。この場合、不良を良品と誤判定することが或る程度まで許されるため、学習工数を低減させることができる。
　また、ＡＩ処理を行うためには学習が必要となるが、検査装置１上での学習では再現が困難であり、かつ生産中にパラメータ調整のための学習が並行して実施できないという問題がある。
　図３に示すように、画像処理ユニット３は、図１に示す検査装置１の録画機能を用いて、カメラ２により撮影した生産中の検査対象容器８の撮影映像を記憶装置６にデジタル録画する。これにより、映像の評価および生産運転しながら、全ての入力映像を録画し、ＡＩ学習用の大量データを取得することができる。
　図４に示すように、機械運転なしに記憶装置６に録画された映像を再生して、これを画像処理ユニット３が評価して調整することで、検査結果を出力する。この検査結果を人手で修正することにより、教師データを得ることができる。
　図５に示すように、検査装置１とは別の学習環境装置５により、この撮影映像と教師データを用いて学習部５２が学習して学習パラメータ５１を生成する。性能確認部５３は、学習パラメータ５１による検査の性能を確認する。
　性能確認部５３は、記憶装置６に録画された撮影映像を用いて、従来処理と、ＡＩ処理の両方で、学習結果である学習パラメータ５１のシミュレーションを実施する。よって、この結果を比較して効果の確認が可能となる。
　効果が確認出来たら、学習環境装置５は、ＡＩ処理の学習結果である学習パラメータ５１を、学習パラメータ４１として検査装置１に登録する。これにより、この学習結果は、検査装置１に反映される。
　ＡＩ処理は、人が背景、異物、傷、泡などを指定して学習させる必要がある。工数低減のため、本実施形態では、従来の画像処理ユニット３の機能を用いて背景と異物と汚れ等の情報を抽出し、抽出結果を画面表示する。その画面表示をもとに、画像処理ユニット３の判断に間違いが無いか否かを人が確認する。これにより、比較的容易に教師データを生成可能である。
　そして、学習環境装置５は、この教師データを学習する。また、このときに、人の判断を減らすため、学習環境装置５は、一定以下の大きさの異物は無視する、薄いものは良品とするなどの条件を付けることで、判断する枚数を減らすことができる。
　図６は、図１に示すＡＩ処理ユニット４の学習手順を説明する図である。
　この学習手順は、検査装置１による処理と、学習部５２による処理と、性能確認部５３による処理とに大別される。
　ステップＳ１０にて、検査装置１は、従来の検査処理を実行する。この従来の検査処理の結果と撮影映像は、学習部５２に引き渡される。
　ステップＳ１１にて、学習部５２は、従来の検査処理の結果と、そのときの撮影映像を元に、映像内の要素をラベルとして学習する。この学習結果である学習パラメータ５１（図５）は、性能確認部５３に引き渡される。
　ステップＳ１２にて、性能確認部５３は、評価用映像を用いて、学習パラメータ５１（図５）の性能を確認する。ステップＳ１１とＳ１２の処理は、所望の性能が得られるまで繰り返される。ここで所望の性能とは、画像処理ユニット３が誤って不良として判定した泡などを、学習パラメータ５１を用いたＡＩ処理が良品として判定し、かつ画像処理ユニット３が正しく不良と判定した異物や傷をＡＩ処理が不良と判定することをいう。実際には良品でありながら、学習パラメータ５１を用いたＡＩ処理により、不良として誤判定してもよい。このような誤判定は、判定部７の論理和によって修正可能であり、問題とはならない。これにより、学習部５２による学習工数と、この学習部５２が学習する教師データの数を減らすことができる。
　所望の性能の学習結果が得られたならは、学習環境装置５は、学習結果である学習パラメータ５１を検査装置１に登録する。
　ステップＳ１３にて、検査装置１は、従来の検査処理とＡＩ処理を並列に実行する。そして、ステップＳ１４にて、判定部７が従来の検査処理の結果とＡＩ処理の結果を評価して総合的に判定する。ステップＳ１５にて、判定部７は、正常な検査対象物を選別すると、一連の学習処理は完了する。
　図７は、ＡＩ処理ユニット４の学習処理のフローチャートである。このフローチャートは、図６の学習手順を書き換えたものである。
　最初、検査装置１は、記憶装置６による録画機能により、データを収集する（ステップＳ２０）。そして、学習環境装置５は、学習によりモデルを生成する（ステップＳ２１）。ここでモデルは、学習パラメータ５１によって構成される。
　次に作業者は、モデルである学習パラメータ５１を検査装置１に反映して検証すると（ステップＳ２２）、実際の生産に適用して（ステップＳ２３）、図７の処理を終了する。
　図８は、検査処理のフローチャートである。適宜、図１を参照しつつ説明する。
　最初、制御部１３は、カメラ２の輝度補正を行い（ステップＳ３０）、検査位置補正を行って（ステップＳ３１）、検査対象物を撮影した映像の条件を揃える。ここで検査対象物とは、図２に示した検査対象容器８およびその中の液体である。この映像は、画像処理ユニット３に送られ、併せて図１に示すＡＩ処理ユニット４にも送られる。以下、ステップＳ３２からＳ３４までの処理と、ステップＳ３５からＳ３８までの処理とは、並列に実行される。
　図１に示す画像処理ユニット３は、ステップＳ３２からＳ３４までの処理を実行する。画像処理ユニット３は、検査処理部３１により、映像にフィルタ処理を施す（ステップＳ３２）。そして、画像処理ユニット３は、濃淡のしきい値による二値化画像を作成し（ステップＳ３３）、ラベル付けによる領域抽出を行う（ステップＳ３４）。
　図１に示すＡＩ処理ユニット４は、ステップＳ３５からＳ３８までの処理を実行する。ＡＩ処理ユニット４は、学習パラメータ５１を元に、異物をラベルごとに分類する（ステップＳ３５）。そしてＡＩ処理ユニット４は、ラベルごとに色または輝度を同じにした映像を作成する（ステップＳ３６）。
　そして、ＡＩ処理ユニット４は、濃淡のしきい値による二値化画像を作成し（ステップＳ３７）、ラベル付けによる領域抽出を行う（ステップＳ３８）。
　ステップＳ３９にて、判定部７は、画像処理ユニット３の処理結果と、ＡＩ処理ユニット４の処理結果の論理積による判定を実施する。ここで判定部７は、画像処理ユニット３が処理した映像から第１の異常領域を抽出し、ＡＩ処理ユニット４がラベル付けした映像から、第２の異常領域を抽出する。そして判定部７は、第１の異常領域と第２の異常領域との論理積により、検査対象物が良品と不良品のうち何れかを判定する。
　そして判定部７は、検査対象物を選別すると（ステップＳ４０）、図８の処理を終了する。
　本実施形態の利点は、従来処理内の特徴抽出の１オプションとして追加可能である。従来処理にＡＩ処理を追加し、両方の処理を並列に実施することで、従来処理の結果と合わせた総合判定が可能となる。
　検査精度を向上させるために、この検査装置１のオペレータは、従来の画像処理とＡＩ処理とを組み合わせ、比較と評価を繰り返す。
　例えば、図８のフローチャートは、検出した検出した不良から異物等の誤検知を判断するものである。このとき、判定部７は、第１の異常領域と第２の異常領域の論理積にて不良判定にＡＩ処理結果を反映する。
　また、未検査エリアに対して、新たなＡＩ処理を追加したい場合がある。このような場合、判定部７は、第１の異常領域と第２の異常領域の論理和にて不良判定にＡＩ処理結果を反映する。
　なお、これに限られず、判定部７は、第１の異常領域のうち第１の所定サイズのものと、第２の異常領域の第２の所定サイズのものを合成した結果により、検査対象物が良品と不良品のうち何れかを判定してもよく、限定されない。
　画像処理ユニット３によって好適に検出可能な異常領域は、サイズが所定値よりも大きなものである。これに対してＡＩ処理は、サイズが小さなものであっても好適に検出可能である。よって、判定部７は、異常領域のサイズに応じて両者の検出結果を選択したのち、両者を合成することで、好適に異常の有無を判定可能である。この場合、ＡＩ処理の学習が、サイズが小さなものについて好適に検出可能になった時点で止めることができるため、短時間で学習を終えることができる。
　図９は、黒色異物に係る入力映像である。映像の中央左寄りに、黒色領域が撮影されている。この黒色領域は、異常領域である。
　図１０は、図９に示す黒色異物に係る入力映像を領域分割して不良箇所を認識した画像である。
　映像の中央左寄りに、他とは異なる色の領域が示されている。これが不良箇所に相当する。
　図１１は、白色異物に係る入力映像である。映像の中央よりやや上寄りに、白色領域が撮影されている。
　図１２は、図１１に示す白色異物に係る入力映像を領域分割して不良箇所を認識した画像である。
　映像の中央よりやや上寄りに、他とは異なる色の領域が示されている。これが不良箇所に相当する。
　図１３は、気泡に係る入力映像である。映像の中央より左下寄りに、気泡の陰影が示されている。これは不良ではない箇所に相当する。
　図１４は、図１３に示す気泡に係る入力映像を領域分割した画像である。
　映像中には、他とは異なる色の領域は存在しない。よって、この気泡は不良箇所に相当する。
　以下、本実施形態の適用例を記載する。
《第１適用例》
　検査装置１をシリンジのゴム栓上の泡と異物の区別に適用し、誤検知を低減させる。具体的には、従来検査で、ゴム栓上に映っているものをすべて検出してラベル付けして、ＡＩ処理にて泡と思われるものを検出したものの中から除く。
《第２適用例》
　検査装置１を液面に浮遊している泡と異物の区別に適用し、誤検知を低減させる。具体的には、液面の下がり具合をＡＩが学習し、異物の有無を判断する。また、泡と、検出したい異物の形状とに違いがあれば、これを学習させて泡の検出を除くことで実現される。
《第３適用例》
　検査装置１は、胴部（肩部）の空気層部分にある水滴を学習し、傷または汚れと区別する。具体的には、従来検査で空気層部分に映っているものをすべて検出してラベル付けする。そして、ＡＩ処理にて、検出したものの中から、水滴と思われるものを除くことで実現される。
《第４適用例》
　検査装置１は、凍結乾燥剤の空気層部分にある水滴を学習し、傷または汚れと区別する。具体的には、従来検査で空気層部分に映っているものをすべて検出してラベル付けする。そして、ＡＩ処理にて、検出したものの中から、水滴と思われるものを除くことで実現される。
《第５適用例》
　検査装置１は、バイアルのゴム栓内側に付着する水滴を学習し、汚れまたは異物と区別する。具体的には、従来検査でゴム栓に映っているものをすべて検出してラベル付けする。そして、水滴と汚れまたは異物との区別は、ＡＩ処理にて、検出したものの中から、ゴム栓の影や水滴と思われるものを除くことで実現される。
（変形例）
　本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
　上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。
　各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
　本発明の変形例として、例えば、次の（ａ）～（ｄ）のようなものがある。
（ａ）本発明は外観検査に限定されず、液中検査に適用してもよい。
（ｂ）本発明の検査対象物は、バイアルおよび凍結乾燥剤に限定されず、アンプル等の容器、および、それ以外の任意のものであってもよい。
（ｃ）本発明は、透明容器に限定されない。
（ｄ）本発明のラベル付け手法は、機械学習により画像中の所望の異物の領域を示すラベル情報を付与するものであればよく、限定されない。
１　検査装置
２　カメラ
３　画像処理ユニット　（画像処理部）
４　ＡＩ処理ユニット　（ＡＩ処理部）
３１　検査処理部
４１　学習パラメータ
５　学習環境装置
５１　学習パラメータ
５２　学習部
５３　性能確認部
６　記憶装置
７　判定部
８　検査対象容器

Claims (6)

  1. 　検査対象物を撮影した映像を画像処理する画像処理部と、
    　前記検査対象物の映像および前記検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、前記検査対象物の映像に撮影された異物をラベル付けするＡＩ処理部と、
    　前記画像処理部が処理した映像および前記ＡＩ処理部がラベル付けした映像に基づき、前記検査対象物が良品と不良品のうち何れであるかを判定する判定部と、
    　を備えることを特徴とする検査装置。
  2. 　前記判定部は、前記画像処理部が処理した映像から第１の異常領域を抽出し、前記ＡＩ処理部がラベル付けした映像から第２の異常領域を抽出する、
    　ことを特徴とする請求項１に記載の検査装置。
  3. 　前記判定部は、前記第１の異常領域と前記第２の異常領域との論理積により、前記検査対象物が良品と不良品のうち何れであるかを判定する、
    　ることを特徴とする請求項２に記載の検査装置。
  4. 　前記判定部は、前記第１の異常領域と前記第２の異常領域との論理和により、前記検査対象物が良品と不良品のうち何れであるかを判定する、
    　ことを特徴とする請求項２に記載の検査装置。
  5. 　前記判定部は、前記第１の異常領域のうち第１の所定サイズのものと、前記第２の異常領域の第２の所定サイズのものを合成した結果により、前記検査対象物が良品と不良品のうち何れかを判定する、
    　ことを特徴とする請求項２に記載の検査装置。
  6. 　検査対象物を撮影した映像を、画像処理部が画像処理するステップと、
    　前記検査対象物の映像および前記検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、ＡＩ処理部が、前記検査対象物の映像に撮影された異物をラベル付けするステップと、
    　前記画像処理部が処理した映像および前記ＡＩ処理部がラベル付けした映像に基づき、判定部が、前記検査対象物が良品と不良品のうち何れであるかを判定するステップと、
    　を備えることを特徴とする検査方法。
PCT/JP2023/022225 2022-09-13 2023-06-15 検査装置、および、検査方法 WO2024057644A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-145315 2022-09-13
JP2022145315A JP7489436B2 (ja) 2022-09-13 2022-09-13 検査装置、および、検査方法

Publications (1)

Publication Number Publication Date
WO2024057644A1 true WO2024057644A1 (ja) 2024-03-21

Family

ID=90274571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022225 WO2024057644A1 (ja) 2022-09-13 2023-06-15 検査装置、および、検査方法

Country Status (2)

Country Link
JP (1) JP7489436B2 (ja)
WO (1) WO2024057644A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020041889A (ja) * 2018-09-10 2020-03-19 日本電気硝子株式会社 ワーク検査方法及びワーク検査システム
JP2020052044A (ja) * 2018-09-21 2020-04-02 古河電気工業株式会社 画像判定装置、画像検査装置、端子付き電線製造システム、および画像判定方法
JP2020187656A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
CN112763506A (zh) * 2019-10-17 2021-05-07 智泰科技股份有限公司 兼具aoi及ai的瑕疵检测方法及其装置
JP2021128406A (ja) * 2020-02-12 2021-09-02 株式会社モルフォ 分析装置及び分析方法
KR20220117092A (ko) * 2021-02-15 2022-08-23 호서대학교 산학협력단 검사 장치 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020041889A (ja) * 2018-09-10 2020-03-19 日本電気硝子株式会社 ワーク検査方法及びワーク検査システム
JP2020052044A (ja) * 2018-09-21 2020-04-02 古河電気工業株式会社 画像判定装置、画像検査装置、端子付き電線製造システム、および画像判定方法
JP2020187656A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
CN112763506A (zh) * 2019-10-17 2021-05-07 智泰科技股份有限公司 兼具aoi及ai的瑕疵检测方法及其装置
JP2021128406A (ja) * 2020-02-12 2021-09-02 株式会社モルフォ 分析装置及び分析方法
KR20220117092A (ko) * 2021-02-15 2022-08-23 호서대학교 산학협력단 검사 장치 및 그 제어 방법

Also Published As

Publication number Publication date
JP7489436B2 (ja) 2024-05-23
JP2024040757A (ja) 2024-03-26

Similar Documents

Publication Publication Date Title
CN109871895B (zh) 电路板的缺陷检测方法和装置
JP6786035B2 (ja) 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法
JPH055709A (ja) 画面検査装置
KR102559021B1 (ko) 불량 이미지 생성 장치 및 방법
KR20210038143A (ko) 인공지능(ai) 기반 대상물 검사 시스템 및 방법
JP6754155B1 (ja) 教師データ生成装置、検査装置およびコンピュータプログラム
US11315229B2 (en) Method for training defect detector
KR20140091916A (ko) 디스플레이 패널 검사방법
US20210216062A1 (en) System and Method for Intelligently Monitoring the Production Line
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
WO2024057644A1 (ja) 検査装置、および、検査方法
US20220343640A1 (en) Learning process device and inspection device
CN101408521A (zh) 用于缺陷增强的方法
CN110880171A (zh) 一种显示装置的检测方法及电子设备
JP2710527B2 (ja) 周期性パターンの検査装置
JP2023137057A (ja) 欠陥予測モデルの生成方法、びん外観検査方法、およびびん外観検査装置
KR20190108805A (ko) 대상물의 결함 발생 유무를 검사하는 비전검사기 및 그 검사방법
KR20070101669A (ko) 마운팅 플레이트 어셈블리의 비전 검사장치 및 검사방법
JP2023551696A (ja) 自動外観検査用の画像拡張技術
JP2006145228A (ja) ムラ欠陥検出方法及び装置
CN110658197A (zh) 人工检测瑕疵图案的效能评估方法与系统
TWI770561B (zh) 產品瑕疵檢測方法、電腦裝置及儲存介質
JPH04270951A (ja) 瓶検査方法
JP5712086B2 (ja) 検査装置、検査方法および検査プログラム
JPH0224322B2 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23865008

Country of ref document: EP

Kind code of ref document: A1