WO2022153743A1 - 判定システム、判定方法及びプログラム - Google Patents

判定システム、判定方法及びプログラム Download PDF

Info

Publication number
WO2022153743A1
WO2022153743A1 PCT/JP2021/045474 JP2021045474W WO2022153743A1 WO 2022153743 A1 WO2022153743 A1 WO 2022153743A1 JP 2021045474 W JP2021045474 W JP 2021045474W WO 2022153743 A1 WO2022153743 A1 WO 2022153743A1
Authority
WO
WIPO (PCT)
Prior art keywords
map information
images
generated
quality
imager
Prior art date
Application number
PCT/JP2021/045474
Other languages
English (en)
French (fr)
Inventor
サヒム コルコス
秀人 本村
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2022153743A1 publication Critical patent/WO2022153743A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to a judgment system, a judgment method, and a program for judging the quality of an object.
  • the manufactured products are inspected (that is, whether they are good or bad). With some exceptions, such inspections have been performed visually due to the variety of types and locations of defects that occur in the product. However, from the viewpoint of inspection uniformity and manufacturing cost, it is desired to automate such inspection.
  • Patent Document 1 the work corresponding to the above-mentioned product is irradiated with light from different directions, and a plurality of images captured by the light from different directions are used for the surface of the work.
  • An image inspection apparatus is disclosed in which a normal vector is calculated, and the contour of the surface of the work is imaged by differential processing from the calculated normal vector to inspect the appearance of the work.
  • Patent Document 1 may not be able to appropriately determine the quality of the object.
  • the present disclosure provides a determination system or the like capable of more appropriately determining the quality of the object.
  • the determination system is an imager that images an object, and continuously moves the object in a state of being relatively moving with respect to the imager.
  • a map including an acquisition unit that acquires the plurality of images generated from an imager that specifically captures images and generates a plurality of images, and a feature relating to the quality of the object based on the acquired plurality of images. It includes a generation unit that generates information, and a determination unit that determines the quality of the object by using the generated map information.
  • the determination method is an imager that images an object, and a plurality of images that continuously image the object in a state of being relatively moving with respect to the imager.
  • the plurality of generated images are acquired from an imager that generates an image, and map information including features related to the quality of the object is generated based on the acquired plurality of images, and the generated map is generated. The information is used to determine the quality of the object.
  • program according to one aspect of the present disclosure is a program for causing a computer to execute the determination method described above.
  • the quality of the object can be judged more appropriately.
  • FIG. 1 is a diagram showing a state of determining the quality of an object according to an embodiment.
  • FIG. 2 is a schematic view showing a state of determining the quality of the object according to the embodiment.
  • FIG. 3A is a diagram illustrating an image generated when the object is a non-defective product in the embodiment.
  • FIG. 3B is a second diagram illustrating an image generated when the object is a non-defective product in the embodiment.
  • FIG. 3C is a diagram illustrating an image generated when the object is a non-defective product in the embodiment.
  • FIG. 4A is a diagram illustrating an image generated when the object is a defective product in the embodiment.
  • FIG. 4B is a second diagram illustrating an image generated when the object is a defective product in the embodiment.
  • FIG. 4A is a diagram illustrating an image generated when the object is a defective product in the embodiment.
  • FIG. 4C is a third diagram illustrating an image generated when the object is a defective product in the embodiment.
  • FIG. 5 is a block diagram showing a functional configuration of the arithmetic unit according to the embodiment.
  • FIG. 6 is a diagram illustrating map information generated when the object is a non-defective product in the embodiment.
  • FIG. 7 is a diagram illustrating map information generated when the object is a defective product in the embodiment.
  • FIG. 8A is a block diagram showing a functional configuration of the determination unit according to the embodiment.
  • FIG. 8B is a block diagram showing a functional configuration of a determination unit according to another example of the embodiment.
  • FIG. 9 is a flowchart showing the operation of the determination system.
  • FIG. 10 is a diagram illustrating a production line in which the determination system according to the embodiment is combined.
  • each figure is a schematic view and is not necessarily exactly illustrated. Therefore, the scales and the like do not always match in each figure.
  • substantially the same configuration is designated by the same reference numerals, and duplicate description will be omitted or simplified.
  • FIG. 1 is a diagram showing a state of determining the quality of an object according to an embodiment.
  • a determination system 100 according to an embodiment and an object 99 which is an object for determining the quality of the determination system 100 are shown.
  • FIG. 2 is a schematic view showing a state of determining the quality of the object according to the embodiment.
  • the determination of quality in the present embodiment means determining whether the object 99 is a non-defective product or a defective product.
  • FIG. 2 is a plan view of the periphery of the imager 20, the illuminator 30, and the mover 40 shown in FIG. 1 as viewed from the direction in which they are arranged and the direction in which the object 99 is moved by the mover 40. It is a figure.
  • a part of the illuminator 30 along the line-of-sight direction is omitted, and the path of the light emitted from the illuminator 30 is shown so as not to be obstructed.
  • the exterior member of the side mirror used for checking the side of the automobile is shown as the object 99, but the determination target of the determination system 100 is limited to such an exterior member of the side mirror. However, anything can be applied.
  • the determination target of the determination system 100 may be a three-dimensional shape such as an exterior member of a side mirror, or a plate-like or sheet-like object having a predetermined thickness.
  • the quality of the non-imaging portion of the object 99 that is not imaged by the imager 20 is not determined.
  • the object 99 the object 99 that does not need to judge the quality of the non-imaging portion may be applied, or after the quality of the imaged portion imaged by the imager 20 is judged, the object The quality of the entire portion of the object 99 may be determined by changing the posture of the object 99 so that the non-imaging portion of the 99 is imaged by the imager 20 and using the non-imaging portion as the imaging portion. ..
  • the determination system 100 includes an arithmetic unit 10, an imager 20, an illuminator 30, and a mobile device 40.
  • the arithmetic unit 10 is realized by, for example, a computer. The details of the arithmetic unit 10 will be described later, but the quality of the object 99 is based on the image acquired from the imager 20 by executing a predetermined program using a processor and a memory generally provided in a computer. Is judged.
  • a part of the functions of the arithmetic unit 10 may be realized by a dedicated circuit or the like.
  • the imager 20 is a device that captures an image pickup area, which is a predetermined area in space, and generates an image.
  • the imager 20 images the object 99 and generates an image in which the object 99 is reflected.
  • the imager 20 is fixed so as to image the above-mentioned predetermined region by a holding mechanism (not shown), and an object 99 moving relative to the imager 120 is imaged by a mover 40 described later.
  • the imager 20 generates a plurality of images with respect to one object 99 that is moving relative to each other.
  • the illuminator 30 is a device that includes a light source 31 and a hood 32 and emits light from the light source 31.
  • the hood 32 is provided to prevent the direct light from the light source of the illuminator 30 from being received by the imager 20. Therefore, the hood 32 is arranged so as to cover the light source 31 when viewed from the imager 20.
  • the illuminator 30 is configured to emit light toward a region through which the object 99 passes. Specifically, as shown in FIG. 2, the emitted light 33 is emitted downward from the light source 31 through which the object 99 passes.
  • the emitted light 33 may be light whose main component is light in the wavelength range of visible light. If the object 99 being moved by the moving device 40 is within the imaging region of the imager 20, the emitted light 33 is reflected on the surface of the object 99. The reflected light 34 generated by this reflection is received by the imager 20 to generate an image.
  • the object 99 passes through a position on an extension line in the line-up direction in which the imager 20 and the illuminator 30 are lined up and on the opposite side of the imager 20 sandwiching the illuminator 30. Therefore, the imager 20 takes an image of the reflected light 34 reflected toward the illuminator 30.
  • the light source 31 of the illuminator 30 is arranged so as to avoid the virtual line connecting the imager 20 and the object 99 in the image pickup region.
  • the hood 32 of the illuminator 30 has an opening 35 that communicates the light source 31 side and the imager 20 side of the hood 32 inside the virtual line connecting the imager 20 and the object 99 in the imaging region. It is provided. By passing through the opening 35, the reflected light 34 can reach the imager 20 without being blocked by the illuminator 30.
  • the mover 40 is a device that moves the object 99 while holding the object 99 by placing it on a belt conveyor or the like.
  • the mover 40 is not limited to the belt conveyor and may be realized in any configuration as long as the object 99 can be moved by a predetermined route.
  • the moving device 40 may be realized by a clamp and an arm that sandwich the object 99, and an automated traveling unit to which the arm is attached.
  • the mover 40 moves the object 99 along the path through which the object 99 passes through the imaging region of the imager 20.
  • the mobile device 40 is connected to a production line 200 for manufacturing the object 99 (see FIG. 10 described later), and the object 99 manufactured on the production line 200 is provided to the determination system 100.
  • the mobile device 40 may then be provided for a device (not shown) that performs various processes such as packing for shipping the object 99.
  • the mover 40 may move the imager 20.
  • the object 99 may be moved or fixed. From the viewpoint of the function of determining the quality of the object 99, the mobile device 40 need only have a function of moving the object 99 relative to the imager 20. Therefore, the mover 40 may be configured so that the imager 20 moves around the fixed object 99. Further, the moving device 40 may also move the illuminating device 30 relative to the object 99.
  • the relative position of the object 99 with respect to the imager 20 is changed, and a plurality of images captured at each relative position are generated. If the change in the relative position of the object 99 with respect to the imager 20 is the same between the case where the object 99 is a non-defective product and the case where the object 99 is a defective product, for a plurality of images in which three-dimensionally different positions are captured, Only the difference between the non-defective product and the defective product appears as a difference in the image. At this time, it is complicated to compare the corresponding images from the plurality of images, but the feature parts related to the quality of the plurality of images are combined into one information (that is, map information) such as a two-dimensional image.
  • map information such as a two-dimensional image.
  • the plurality of images include information on the surface state of the three-dimensional object 99 as a whole. For example, by applying the two-dimensional map information to a determination process described later, the three-dimensional surface state can be easily obtained. It is possible to determine the quality of the object 99 based on the quality of the object 99. This determination can be performed more easily than the process of calculating the normal vector, imaging the contour of the surface by differential processing, and then performing the visual inspection.
  • such two-dimensional map information can be generated after removing non-characteristic parts (for example, background information around the object 99) that are not related to good or bad, and thus these non-characteristics.
  • the noise component caused by the portion can be reduced. That is, it becomes possible to make the feature portion more manifest. In this way, reducing the noise component and making the feature portion more apparent is advantageous when learning the feature of the non-defective product or the feature of the defective product from a large number of samples by machine learning. That is, in the present embodiment, generating map information can be regarded as an operation of optimizing the three-dimensional surface state of the object 99 for machine learning.
  • FIG. 3A is a diagram illustrating an image generated when the object is a non-defective product in the embodiment.
  • FIG. 3B is a second diagram illustrating an image generated when the object is a non-defective product in the embodiment.
  • FIG. 3C is a diagram illustrating an image generated when the object is a non-defective product in the embodiment.
  • FIG. 4A is FIG. 1 for explaining an image generated when the object is a defective product in the embodiment.
  • FIG. 4B is a second diagram illustrating an image generated when the object is a defective product in the embodiment.
  • FIG. 4C is a third diagram illustrating an image generated when the object is a defective product in the embodiment.
  • 3A to 3C are schematic views showing the reflection of the emitted light 33 and the reflected light 34 in a state where the object 99 is moved by the moving device 40 and the relative positions with respect to the imager 20 are different, respectively. Is shown in (a), and a diagram showing the resulting image is shown in (b).
  • the emitted light 33 irradiates the object 99 in a uniform direction, and the reflected direction of the reflected light 34 changes due to the difference in the relative positions between the imager 20 and the object 99. do.
  • the generated images F11 to F13 the area of the portion where the reflected light 34 shown with dot hatching in the figure is received is gradually changed. Further, the region in which the reflected light 34 is received in the image is also gradually changing.
  • FIGS. 4A to 4C are schematic views showing the state of reflection of the emitted light 33 and the reflected light 34 in a state where the object 99 is moved by the moving device 40 and the relative positions with respect to the imager 20 are different, respectively. Is shown in (a), and a diagram showing the resulting image is shown in (b).
  • the emitted light 33 irradiates the object 99 in a uniform direction, and the reflected direction of the reflected light 34 changes due to the difference in the relative positions between the imager 20 and the object 99. do.
  • the generated images F21 to F23 the area of the portion where the reflected light 34 shown with dot hatching in the figure is received is gradually changed.
  • the region in which the reflected light 34 is received in the images F21 to F23 is also gradually changing.
  • a defective portion 99a such as a defect
  • a part of the emitted light 33 irradiated to the defective portion 99a is imaged as reflected light 34. It is lost due to scattering or the like without going to the vessel 20.
  • the image F21 generated as shown in FIG. 4A (b) the light receiving portion of the reflected light 34 is lost, and the brightness is lowered and the image F21 is deformed.
  • by treating such a change in the image as a defect when compared with the normal image F11 it is possible to easily determine the quality of the object 99 only from the image.
  • the map information generated from these images can be used to easily determine the presence or absence of a change in the above image as a characteristic portion of the defective product. Therefore, the object 99 such as a three-dimensional shape can be easily and easily processed. It is possible to judge the quality.
  • FIG. 5 is a block diagram showing a functional configuration of the arithmetic unit according to the embodiment.
  • the arithmetic unit 10 of the determination system 100 is communicatively connected to the imager 20, the illuminator 30, and the mobile device 40, and by controlling these devices, the quality of the object 99 can be determined.
  • the image used for the judgment is acquired.
  • the images obtained here are a plurality of images captured in each of a plurality of states in which the relative positions of the object 99 and the imager 20 are different as described above.
  • the arithmetic unit 10 includes an acquisition unit 11, a generation unit 12, a determination unit 13, and a control unit 14.
  • the acquisition unit 11 is a functional unit that acquires an image generated by the imager 20 as a result of control of the imager 20, the illuminator 30, and the mobile device 40.
  • the acquisition unit 11 acquires an image from the imager 20 and outputs the acquired image to the generation unit 12.
  • the generation unit 12 is a functional unit that acquires an image from the acquisition unit 11 and generates map information including features related to the quality of the object based on the image.
  • the map information includes information on a plurality of images. Since the plurality of images are combined (that is, packed) into one map information in this way, the handling of data becomes easy. Since one map information is generated for one object 99, by determining the quality of the map information, the same effect as that of determining the quality of each of the plurality of images can be obtained. Can be done.
  • the generation unit 12 extracts, for example, at least a part of an imaged object 99 that may include a feature portion in each of a plurality of images.
  • the generation unit 12 may extract only 10% of the central portion of each image, or may extract a strip-shaped portion extending in the vertical or horizontal direction including the central portion of each image.
  • the operation of the generation unit 12 to extract at least a part of the imaged object 99 that may include the feature portion may be performed according to a predetermined rule. For example, if it is known in advance that features are likely to appear on the right side of the image, an extracted region may be set so as to include this region.
  • the generation unit 12 generates map information including information on a part of the extracted time change of the object 99 by arranging a part of the extracted image in a time series of each imaging time of the original image. do.
  • FIG. 6 is a diagram illustrating map information generated when the object is a non-defective product in the embodiment.
  • FIG. 7 is a diagram illustrating map information generated when the object is a defective product in the embodiment. As shown in FIG. 6, a part of the region where the reflected light 34 from the object 99 is received is extracted from each of the plurality of images including the images F11 to F13, and this is extracted in the left-right direction along the time series. When arranged, the map information M10 in the figure is generated.
  • the map information M20 in the figure is generated.
  • the map information generated by the generation unit 12 includes information on changes in the time axis when the image is captured.
  • the map information includes information on the relative position of the object 99 when it is imaged at each time. That is, in the map information, the information of each part of the three-dimensional surface is incorporated (packed) into the information of one two-dimensional image.
  • the map information M20 shown in FIG. 7 has a missing part corresponding to the defect in a part of the right side of the map information M10 shown in FIG.
  • the map information may be generated by calculating the area value of the area on the image occupied by the captured object 99 in each of the plurality of images. Specifically, by calculating the ratio of the region where the reflected light 34 of the object 99 is received to the entire image in each of the plurality of images and arranging them in the time series of the imaging time for each image, the object 99 Map information may be generated including information on the time change of the area value of the image area occupied by the image. In this case, information on the area value at the relative position of the object 99 when the image is taken at each time is generated as map information. Further, in each of the plurality of images, an integrated image obtained by integrating the brightness values of each pixel of the captured image may be generated as map information.
  • the map information is generated when the process when generating the reference map information such as the teacher data for learning or the data of the good product for comparison and when the map information of the object 99 when performing the pass / fail judgment is generated. Any image processing can be applied as long as it matches the processing of. Based on the characteristics of the non-defective product or the defective product appearing in such map information, the quality of the object 99 is determined from the map information.
  • FIG. 8A is a block diagram showing a functional configuration of the determination unit according to the embodiment.
  • FIG. 8B is a block diagram showing a functional configuration of a determination unit according to another example of the embodiment.
  • the determination unit 13 includes a comparison unit 15 and a memory 16.
  • the comparison unit 15 is a processing unit for comparing map information.
  • the comparison unit 15 compares the map information generated from the object 99 to be judged as good or bad with the map information for comparison stored in the memory 16 composed of a semiconductor memory or the like, thereby comparing the object 99 with the map information for comparison. Judgment of the quality of.
  • the memory 16 stores the non-defective product map information which is the map information of the object 99 determined to be a non-defective product in the past.
  • the comparison unit 15 reads out the non-defective product map information with reference to the memory 16, and calculates the degree of agreement with the map information of the object 99, which is the target of the quality determination generated by the generation unit 12. If the degree of coincidence is equal to or greater than the threshold value, the object 99 is determined to be a non-defective product capable of generating map information equivalent to the non-defective product map information. On the other hand, if the degree of agreement is smaller than the threshold value, the object 99 is determined to be a defective product that can generate map information different from the non-defective product map information.
  • the map information may include spatial feature information when the map information is generated by the generation unit 12.
  • the spatial feature information is information indicating a locus of relative movement between the object 99 and the imager 20 when the object 99 is imaged.
  • the comparison unit 15 has non-defective product map information having spatial feature information that matches the spatial feature information of the object 99 that is the target of the quality determination. Is read out and compared.
  • information on the performance (resolution, frame rate, emitted light intensity, etc.) of the imager 20 and the illuminator 30 may be included in the map information and used for selecting non-defective map information.
  • the determination unit 13a may be provided. As shown in FIG. 8B, the determination unit 13a includes a determination model 17 and a learning unit 18.
  • the determination model 17 is a model generated by machine learning by the learning unit 18, and when map information is input, it is configured to output a determination result of the quality of the object 99 corresponding to the map information. ..
  • the learning map information D1 which is the learning map information and the learning result information D2 indicating the quality determination result corresponding to the learning map information D1 are input to the learning unit 18.
  • the learning unit 18 generates a determination model 17 or relearns the determination model based on the input learning map information D1 and learning result information D2. More specifically, by optimizing the weighting coefficient of each neuron in the neural network designed as the judgment model 17, it is possible to appropriately output the judgment result of good or bad for the input of map information. It has become.
  • the determination unit 13 in the present embodiment may be replaced with the determination unit 13a that obtains the determination result as an output by inputting the generated map information to the learned determination model 17. ..
  • the map information is generated as information suitable for machine learning, it is possible to easily realize a configuration in which machine learning is applied in this way to obtain a determination result.
  • the control unit 14 is a processing unit for controlling the imager 20, the illuminator 30, and the mobile device 40 in a preset manner.
  • the control unit 14 When the control unit 14 generates reference map information such as the operation of these devices when imaging the object 99 to be judged as good or bad, and the teacher data for learning or the data of good products for comparison. In each case, a uniform control signal is output to each device in order to make the operation of these devices uniform when the object 99 of the object 99 is imaged.
  • the imager 20, the illuminator 30, and the mover 40 generate a plurality of images with uniform operation in each case.
  • FIG. 9 is a flowchart showing the operation of the determination system.
  • the determination system 100 determines, for example, the quality of the object 99 moved by the belt conveyor as described above. Therefore, first, the imager 20 determines whether or not the object 99 has entered the imaging region (S11). If it is not determined that the object 99 has entered the imaging region (No in S11), step S11 is repeated until the object 99 enters the imaging region. On the other hand, when it is determined that the object has entered the imaging region (Yes in S11), the imager 20 starts imaging the object 99 and generates an image (S12).
  • the image generation may be performed at a high frame rate such as 60 fps or more, or may be performed at a low frame rate such as 15 fps when the moving speed of the object 99 is slow.
  • the imager 20 determines whether or not the object 99 has come out of the imaging region (S13). When it is determined that the object 99 does not come out of the imaging region (No in S13), the imager 20 repeats step S12 to continue imaging the object 99. On the other hand, when it is determined that the object 99 has come out of the imaging region (Yes in S13), the imager 20 ends the imaging of the object 99. After that, the acquisition unit 11 acquires a plurality of images generated by the imager 20 (S14). The imager 20 may constantly perform imaging, and the acquisition unit 11 may acquire only the frame on which the object 99 is projected. In this case, the determinations in steps S11 and S13 may be omitted.
  • the generation unit 12 generates map information based on a plurality of images as described above (S15). After that, the determination unit 13 determines the quality of the object 99 using the generated map information (S16). As a result, the quality of the object 99 is determined based on the map information that can be easily determined even when the object 99 has a three-dimensional surface shape, for example.
  • the map information can be generated easily and automatically based on the uniform rules as described above. That is, it is possible to easily perform the calculation process and judge the quality of the object 99 without going through the complicated process of calculating the normal vector, imaging the contour of the surface by the differential process, and then performing the visual inspection. ..
  • the determination system 100 described above can also be combined with the production line 200 that manufactures the object 99. That is, it is possible to easily automate the line for manufacturing the object 99, determining the quality of the object 99, and shipping the object 99. Specifically, it will be described with reference to FIG.
  • FIG. 10 is a diagram illustrating a production line in which the determination system according to the embodiment is combined.
  • FIG. 10 shows how the determination system 100 is introduced following the production line 200.
  • the production line 200 here, in the exterior member of the side mirror, a step of forming a coating base on the base material, coating the first layer, coating the second layer, and forming the surface coat is performed. .. Therefore, the production line 200 has a station for carrying out each process.
  • the production line 200 includes a coating base forming station S201, a first layer coating station S202, a second layer coating station S203, and a surface coating station S204.
  • the determination system 100 determines the quality of the exterior member of the side mirror manufactured via each of these stations.
  • the exterior member determined to be defective is further generated as a defective exterior member from each of the above stations. Identify the station. Specifically, in the determination system 100, the generated map information is clustered to any of the process defect map information generated for the defective exterior member that frequently occurs in each station, so that the clustered process defect map is used. It is presumed that it is a defective exterior member that occurred at the station corresponding to the information.
  • defective exterior members corresponding to the first process defect map information M201 frequently appear in the coating base forming station S201. Further, in the first layer coating station S202, defective exterior members corresponding to the second process defect map information M202 frequently appear. Further, in the second layer coating station S203, defective exterior members corresponding to the third process defect map information M203 frequently appear. Further, in the surface coating station S204, defective exterior members corresponding to the fourth process defect map information M204 frequently appear. Assuming that the generated map information is clustered in the third process defect map information M203 among these process defect map information, it can be seen that the exterior member is a defective product generated in the second layer coating station S203. .. In this way, the determination system 100 can also be used to track the circumstances in which defective products have occurred.
  • the determination system 100 in the present embodiment is an imager 20 that images the object 99, and continuously moves the object 99 in a state of being relatively moving with respect to the imager 20.
  • a map including the acquisition unit 11 that acquires a plurality of generated images from the imager 20 that specifically captures images and generates a plurality of images, and features related to the quality of the object 99 based on the acquired plurality of images. It includes a generation unit 12 that generates information M10, and a determination unit 13 that determines the quality of the object 99 by using the generated map information M10.
  • Such a determination system 100 can obtain a plurality of images of an object 99 that moves relative to the imager 20. Since the plurality of images have different relative positional relationships, they correspond to images of the object 99 captured from a plurality of angles, and the map information M10 generated based on the plurality of images includes the object 99. Features appear when viewed from various angles.
  • the determination system 100 can generate map information including features related to quality when viewed from such various angles. For example, when determining the quality of the object 99 by comparing the generated map information M10 with the map information of a good product, it is possible to compare the characteristics related to the quality when viewed from various angles.
  • the determination can be easily performed.
  • the features related to the quality that can be used for the quality determination are summarized as the map information M10.
  • the simplified map information M10 is suitable as data for input. Therefore, it is possible to more appropriately determine the quality of the object 99 by generating the map information M10 including the characteristics related to the quality of the object 99 and performing the determination.
  • the generation unit 12 extracts at least a part of the captured object 99 in each of the plurality of images and arranges the captured objects 99 in chronological order of the respective imaging times of the plurality of images.
  • Map information may be generated that includes information on at least a portion of the time change of.
  • features related to quality can be included.
  • a part can be extracted, and the quality of the object 99 can be determined based on the change with respect to the relative position of the part.
  • the generation unit 12 calculates the area value of the image area occupied by the captured object 99 in each of the plurality of images, and arranges the plurality of images in the time series of the respective imaging times. Map information including information on the time change of the area value of the image area occupied by the object 99 may be generated.
  • an object that can include features related to quality from images taken at different timings in time, that is, images taken in each of a plurality of positional relationships in which the relative positions of the imager 20 and the object 99 are different.
  • the area value of the image area occupied by the object 99 can be calculated, and the quality of the object 99 can be determined based on the change of the area value with respect to the relative position.
  • an imager 20 having a fixed position and a mover 40 that moves the object 99 relative to the imager 20 may be provided.
  • the fixed imager 20 can capture an image of the object 99 that is relatively moved by the mover 40 with respect to the imager 20.
  • the mobile device 40 may be connected to a production line 200 that manufactures the object 99, and the object 99 manufactured on the production line 200 may be moved by a path that passes through the imaging region of the imager 20.
  • the object 99 manufactured on the production line 200 can be automatically moved, the object 99 can be moved relative to the imager 20 by the movement, and the quality determination by the determination system 100 can be performed.
  • the production line 200 includes one or more stations each performing one or more steps for manufacturing the object 99, and the determination unit 13 is a defective object 99 which is the object 99 determined to be defective. Further, by comparing the one or more process defect map information, which is the map information corresponding to each of the defects generated in each of the one or more processes, with the generated map information M10, a defective object is generated.
  • the defective station may be identified from one or more stations.
  • the illuminator 30 that emits light toward the object 99 is further provided, and the plurality of images receive the reflected light that is reflected by the illuminator 30 and is reflected by the object 99. , May be generated by the imager 20.
  • the characteristics regarding the quality of the image captured by the light emitted from the controlled illuminator 30 can be made more prominent.
  • the determination unit 13a is trained by using the learning map information D1 which is the learning map information and the learning result information D2 indicating the quality determination result corresponding to the learning map information D1.
  • the quality of the object 99 may be determined by inputting the generated map information M10 to the completed determination model 17.
  • the determination model 17 capable of appropriately learning the characteristics related to the quality of the object 99 and performing the quality determination based on the characteristics.
  • the determination unit 13 may determine the quality of the object 99 by comparing the good product map information, which is the map information for which the result of the quality determination is good, with the generated map information M10. good.
  • the generated map information M10 has features that do not appear in the non-defective map information, it is possible to determine that the object 99 corresponding to the map information M10 is not a non-defective product, that is, a defective product. can.
  • the map information M10 includes spatial feature information indicating a locus of relative movement between the object 99 and the imager 20 when the object 99 is imaged
  • the determination unit 13 includes spatial feature information for each other.
  • the object 99 determined to be a non-defective product uniformly generates map information M10 equivalent to the non-defective map information. Therefore, according to the above aspect, the map information M10 generated by selecting the non-defective map information in which the change in the relative positional relationship between the imager 20 and the object 99 is the same due to the correspondence of the spatial feature information. By comparing with, the object 99 corresponding to the map information M10 can be determined to be not a good product, that is, a defective product.
  • the object 99 has a three-dimensional surface, and the judgment of good or bad by the determination unit 13 may be made based on the state of the surface of the object 99.
  • the quality of the object 99 can be determined more appropriately by generating map information M10 including features related to the quality of the object 99 and making a judgment. It becomes possible to judge.
  • the determination method in the present embodiment is an imager that images an object, and generates a plurality of images that continuously image the object in a state of being relatively moving with respect to the imager.
  • a plurality of generated images are acquired from the imager, map information including features related to the quality of the object is generated based on the acquired multiple images, and the generated map information is used to generate map information of the object. Judge good or bad.
  • the present embodiment can be realized as a program for causing a computer to execute the determination method described above.
  • the determination system may be an arithmetic unit that only determines the quality of the object by acquiring an image from an imager that merely captures the moving part of the object.
  • the present invention can be realized not only as hardware of a determination device or the like, but also as a program including a process performed by each component of the determination device or the like as a step, and as a computer-readable recording medium in which the program is recorded. It can also be realized.
  • the program may be pre-recorded on a recording medium, or may be supplied to the recording medium via a wide area communication network including the Internet or the like.
  • the above-mentioned comprehensive or specific embodiment may be realized by a system, an apparatus, an integrated circuit, a computer program or a computer-readable recording medium, and any of the systems, an apparatus, an integrated circuit, a computer program and a recording medium. It may be realized by various combinations.
  • the determination system and the like of the present disclosure can be widely applied as a device for determining the quality of an object such as a three-dimensional shape.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

対象物を撮像する撮像器（２０）であって、撮像器（２０）に対して相対的に移動している状態の対象物を連続的に撮像して複数の画像を生成する撮像器（２０）から、生成された複数の画像を取得する取得部（１１）と、取得された複数の画像に基づいて、対象物の良否に関する特徴を含むマップ情報を生成する生成部（１２）と、生成されたマップ情報を用いて、対象物の良否を判定する判定部（１３）と、を備える。

Description

判定システム、判定方法及びプログラム
　本開示は、対象物の良否を判定する判定システム、判定方法、及びプログラムに関する。
　製品など（以下、対象物ともいう）の製造において、製造された製品を検査（つまり良否を判定）することが行われている。一部を除き、このような検査は、製品に発生する欠陥の種類及び位置の多様さから、人の目視によって行われてきた。しかしながら、検査の均一さや製造コストなどの観点から、このような検査を自動化することが望まれている。
　これに対して、特許文献１には、上記の製品に相当するワークに対して異なる方向から光を照射し、それぞれ異なる方向からの光によって撮像された複数の画像を用いて、ワークの表面に対する法線ベクトルを算出し、算出された法線ベクトルから、微分処理によってワークの表面の輪郭を画像化してワークの外観検査を行う画像検査装置が開示されている。
特開２０１５－２３２４８３号公報
　しかしながら、上記の特許文献１において開示された画像検査装置では、対象物の良否を適切に判定できない場合がある。
　そこで、本開示は、より適切に対象物の良否を判定することが可能な判定システム等を提供する。
　上記課題を解決するために、本開示の一態様に係る判定システムは、対象物を撮像する撮像器であって、前記撮像器に対して相対的に移動している状態の前記対象物を連続的に撮像して複数の画像を生成する撮像器から、生成された前記複数の画像を取得する取得部と、取得された前記複数の画像に基づいて、前記対象物の良否に関する特徴を含むマップ情報を生成する生成部と、生成された前記マップ情報を用いて、前記対象物の良否を判定する判定部と、を備える。
　また、本開示の一態様に係る判定方法は、対象物を撮像する撮像器であって、前記撮像器に対して相対的に移動している状態の前記対象物を連続的に撮像した複数の画像を生成する撮像器から、生成された前記複数の画像を取得し、取得された前記複数の画像に基づいて、前記対象物の良否に関する特徴を含むマップ情報を生成し、生成された前記マップ情報を用いて、前記対象物の良否を判定する。
　また、本開示の一態様に係るプログラムは、上記に記載の判定方法をコンピュータに実行させるためのプログラムである。
　本開示によれば、より適切に対象物の良否を判定できる。
図１は、実施の形態に係る対象物の良否の判定の様子を示す図である。 図２は、実施の形態に係る対象物の良否の判定の様子を示す概略図である。 図３Ａは、実施の形態において対象物が良品である場合に生成される画像について説明する第１図である。 図３Ｂは、実施の形態において対象物が良品である場合に生成される画像について説明する第２図である。 図３Ｃは、実施の形態において対象物が良品である場合に生成される画像について説明する第３図である。 図４Ａは、実施の形態において対象物が不良品である場合に生成される画像について説明する第１図である。 図４Ｂは、実施の形態において対象物が不良品である場合に生成される画像について説明する第２図である。 図４Ｃは、実施の形態において対象物が不良品である場合に生成される画像について説明する第３図である。 図５は、実施の形態に係る演算器の機能構成を示すブロック図である。 図６は、実施の形態において対象物が良品である場合に生成されるマップ情報について説明する図である。 図７は、実施の形態において対象物が不良品である場合に生成されるマップ情報について説明する図である。 図８Ａは、実施の形態に係る判定部の機能構成を示すブロック図である。 図８Ｂは、実施の形態の別例に係る判定部の機能構成を示すブロック図である。 図９は、判定システムの動作を示すフローチャートである。 図１０は、実施の形態に係る判定システムが組み合わされた製造ラインについて説明する図である。
　以下、本発明の実施の形態について、図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本発明の包括的又は具体的な例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって本発明を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本発明の独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致していない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
　［構成］
　はじめに、図１～図８Ｂを用いて、実施の形態に係る判定システムの構成について説明する。図１は、実施の形態に係る対象物の良否の判定の様子を示す図である。図１では、実施の形態に係る判定システム１００と、その良否の判定対象である対象物９９とが示されている。また、図２は、実施の形態に係る対象物の良否の判定の様子を示す概略図である。なお、本実施の形態における良否の判定とは、対象物９９が良品であるか、又は、不良品であるかを判定することを意味する。
　図２は、図１に示す撮像器２０、照明器３０、及び、移動器４０の周辺を、これらの並び方向、及び、移動器４０による対象物９９の移動方向に交差する方向から見た平面図である。特に、図２では、視線方向（紙面の表裏の方向）に沿う照明器３０の一部の図示を省略し、照明器３０から出射された光の進路が遮られないように示されている。
　本実施の形態では、対象物９９として、自動車の側方確認に用いられるサイドミラーの外装部材が示されているが、判定システム１００の判定対象としては、このようなサイドミラーの外装部材に限らず、あらゆる物を適用することができる。なお、判定システム１００の判定対象は、サイドミラーの外装部材のように立体形状のものであってもよいし、所定の厚みを有する板状またはシート状のものであってもよい。
　また、判定システム１００による良否の判定の詳細については後述するが、対象物９９のうち、撮像器２０によって撮像されない非撮像部分についての良否の判定は行われない。この場合、対象物９９として、非撮像部分の良否の判定が不要な対象物９９を適用してもよいし、撮像器２０によって撮像される撮像部分についての良否の判定を行った後に、対象物９９の非撮像部分が撮像器２０によって撮像されるように対象物９９の姿勢を変更して、非撮像部分を撮像部分とすることによって、対象物９９の全部分の良否を判定してもよい。
　図１に示すように、判定システム１００は、演算器１０と、撮像器２０と、照明器３０と、移動器４０と、を備える。
　演算器１０は、例えば、コンピュータなどによって実現される。演算器１０の詳細は後述するが、コンピュータに一般的に備えられるプロセッサとメモリとを用いて、所定のプログラムを実行することにより、撮像器２０から取得した画像に基づいて、対象物９９の良否の判定を行う。なお、演算器１０として、演算器１０の機能の一部を専用の回路などによって実現してもよい。
　撮像器２０は、空間内の所定の領域である撮像領域を撮像して画像を生成する装置である。所定の領域内に対象物９９が存在する場合、撮像器２０は、対象物９９を撮像して対象物９９が写り込んだ画像を生成する。撮像器２０は、図示しない保持機構によって上記の所定の領域を撮像するように固定されており、後述する移動器４０によって、撮像器１２０に対して相対移動している対象物９９を撮像する。このとき、例えば、連続的に撮像と画像の生成とを行うことで、撮像器２０は、相対移動している１つの対象物９９に対して、複数の画像を生成する。
　照明器３０は、光源３１とフード３２とを備え、光源３１から光を出射する装置である。フード３２は、照明器３０の光源からの直接光が撮像器２０に受光されないようにするために設けられる。このため、フード３２は、撮像器２０から見て、光源３１を覆うように配置されている。
　照明器３０は、対象物９９が通過する領域に向けて光を出射するように構成されている。具体的には、図２に示すように、光源３１から対象物９９が通過する下方に向けて出射光３３が出射される。なお、出射光３３は、可視光の波長域の光を主成分とする光であってもよい。移動器４０によって移動されている対象物９９が、撮像器２０の撮像領域内に入っていれば、出射光３３は、対象物９９の表面において反射される。この反射によって発生する反射光３４が撮像器２０によって受光されて画像が生成される。本実施の形態では、撮像器２０と照明器３０とが並ぶ並び方向の延長線上の位置であって、照明器３０を挟んだ撮像器２０の反対側の位置を対象物９９が通過する。したがって、撮像器２０は、照明器３０に向かって反射する反射光３４を撮像する。このとき、照明器３０の光源３１は、撮像器２０と、撮像領域内の対象物９９とを結ぶ仮想線を避けて配置される。また、照明器３０のフード３２には、撮像器２０と、撮像領域内の対象物９９とを結ぶ仮想線よりも内側にフード３２の光源３１側と撮像器２０側とを連通する開口３５が設けられている。反射光３４はこの開口３５を通過することで、照明器３０に遮られることなく撮像器２０に到達することができる。
　移動器４０は、ベルトコンベヤ等、対象物９９を載置する等によって保持した状態で、対象物９９を移動させる装置である。移動器４０は、対象物９９をあらかじめ定められた経路で移動させることができれば、ベルトコンベヤに限らずどのような構成で実現されてもよい。例えば、移動器４０は、対象物９９を挟持するクランプ及びアームと、当該アームが取り付けられた自動走行ユニットとによって実現されてもよい。移動器４０は、撮像器２０の撮像領域を対象物９９が通過する経路で対象物９９を移動させる。
　また、移動器４０は、対象物９９を製造するための製造ライン２００（後述する図１０参照）に接続されており、製造ライン２００において製造された対象物９９を判定システム１００へと供する。移動器４０は、その後、対象物９９を出荷するための梱包などの各種処理を行う装置（不図示）へと供してもよい。
　なお、移動器４０は、撮像器２０を移動させてもよい。この場合、対象物９９は、移動してもよいし、固定されていてもよい。移動器４０は、対象物９９の良否の判定機能の観点においては、対象物９９を撮像器２０に対して相対的に移動する機能のみを備えていればよい。したがって、固定された対象物９９の周囲を撮像器２０が移動するように移動器４０が構成されてもよい。また、移動器４０は、照明器３０も同様に対象物９９に対して相対的に移動させてもよい。
　本実施の形態では、撮像器２０に対する対象物９９の相対位置が変更されて、そのそれぞれの相対位置において撮像された複数の画像が生成される。対象物９９が良品である場合と不良品である場合とで、撮像器２０に対する対象物９９の相対位置の変化が同様であれば、３次元的に異なる位置が撮像された複数の画像について、良品と不良品との差のみが、画像内に差分として現れる。このとき、複数の画像から対応する画像同士を比較することは煩雑であるが、複数の画像における良否に関する特徴部分を、例えば、２次元画像などの１つの情報（つまり、マップ情報）にまとめることで、このような処理を容易に行うことが可能となる。複数の画像は、全体として３次元的な対象物９９の表面状態の情報を含んでおり、例えば、２次元的なマップ情報を後述する判定処理にかけることで、容易に３次元的な表面状態の良否に基づく、対象物９９の良否の判定を行うことが可能となる。この判定は、法線ベクトルを算出し、微分処理によって表面の輪郭を画像化したうえで外観検査を行うプロセスに比べて、簡便に行うことが可能である。
　また、このような、２次元的なマップ情報は、良否に関与しない非特徴部分（例えば、対象物９９の周囲の背景情報等）を除去したうえで生成することができるので、これらの非特徴部分に起因するノイズ成分を低減できる。つまり、特徴部分をより顕現させることが可能となる。このように、ノイズ成分を低減し、特徴部分をより顕現させることは、良品の特徴又は不良品の特徴を、機械学習によって多サンプルから学習させる際に有利に作用する。つまり、本実施の形態において、マップ情報を生成することは、対象物９９の３次元的な表面状態を、機械学習のために適化させる動作ととらえることもできる。
　撮像器２０、照明器３０、及び移動器４０の動作によって、得られる画像について、図３Ａ～図４Ｃを用いて説明する。図３Ａは、実施の形態において対象物が良品である場合に生成される画像について説明する第１図である。図３Ｂは、実施の形態において対象物が良品である場合に生成される画像について説明する第２図である。図３Ｃは、実施の形態において対象物が良品である場合に生成される画像について説明する第３図である。
　また、図４Ａは、実施の形態において対象物が不良品である場合に生成される画像について説明する第１図である。図４Ｂは、実施の形態において対象物が不良品である場合に生成される画像について説明する第２図である。図４Ｃは、実施の形態において対象物が不良品である場合に生成される画像について説明する第３図である。
　図３Ａ～図３Ｃは、ぞれぞれ、移動器４０によって対象物９９が移動されて撮像器２０に対する相対位置が異なる状態での、出射光３３及び反射光３４の反射の様子を示す模式図を（ａ）に、結果生成される画像を示す図を（ｂ）に示している。図３Ａ～図３Ｃに示すように、出射光３３が一様な方向で対象物９９に照射されており、撮像器２０と対象物９９との相対位置の差によって反射光３４の反射方向が変化する。この結果、生成される画像Ｆ１１～Ｆ１３では、図中にドットハッチングを付して示す反射光３４が受光される部分の面積が徐々に変化している。また、画像内での反射光３４が受光される領域も徐々に変化している。
　図４Ａ～図４Ｃは、ぞれぞれ、移動器４０によって対象物９９が移動されて撮像器２０に対する相対位置が異なる状態での、出射光３３及び反射光３４の反射の様子を示す模式図を（ａ）に、結果生成される画像を示す図を（ｂ）に示している。図４Ａ～図４Ｃに示すように、出射光３３が一様な方向で対象物９９に照射されており、撮像器２０と対象物９９との相対位置の差によって反射光３４の反射方向が変化する。この結果、生成される画像Ｆ２１～Ｆ２３では、図中にドットハッチングを付して示す反射光３４が受光される部分の面積が徐々に変化している。また、画像Ｆ２１～Ｆ２３内での反射光３４が受光される領域も徐々に変化している。ただし、図４Ａの（ａ）に示すように、対象物９９の表面に欠損などの不良個所９９ａが存在するとき、不良個所９９ａに照射された出射光３３の一部は、反射光３４として撮像器２０に向かうことなく、散乱などによって失われてしまう。この結果、図４Ａの（ｂ）に示すように生成される画像Ｆ２１では、反射光３４の受光部分に抜け、輝度低下、及び、変形などが生じる。本実施の形態では、正常な画像Ｆ１１と比べた際の、このような画像の変化を不良として取り扱うことで、画像のみから容易に対象物９９の良否の判定を行うことが可能となる。
　特に、これらの画像から生成されるマップ情報によって、不良品の特徴部分として、上記の画像の変化箇所の有無を容易に判定できるので、簡易かつ容易な処理によって、立体形状などの対象物９９の良否の判定を行うことが可能となる。
　続いて、上記のマップ情報の生成及び対象物９９の良否の判定に関する演算器１０の構成について図５～図８Ｂを参照して説明する。図５は、実施の形態に係る演算器の機能構成を示すブロック図である。図５に示すように、判定システム１００の演算器１０は、撮像器２０、照明器３０、及び移動器４０に通信接続されており、これらの装置を制御することによって、対象物９９の良否の判定に用いられる画像を取得する。ここで得られる画像は、上記したように対象物９９と撮像器２０との相対位置の異なる複数の状態のそれぞれで撮像された複数の画像である。
　具体的には、演算器１０は、取得部１１と、生成部１２と、判定部１３と、制御部１４と、を備える。
　取得部１１は、撮像器２０、照明器３０、及び移動器４０の制御の結果、撮像器２０において生成された画像を取得する機能部である。取得部１１は、撮像器２０から画像を取得し、生成部１２へと取得した画像を出力する。生成部１２は、取得部１１から画像を取得して、当該画像に基づいて、前記対象物の良否に関する特徴を含むマップ情報を生成する機能部である。マップ情報には、複数の画像の情報が含まれている。このように複数の画像が１つのマップ情報にまとめられる（つまり、パッキングされる）ため、データの取り扱いが容易となる。マップ情報は、１つの対象物９９に対して１つ生成されるため、マップ情報について良否の判定を行うことで、複数の画像のそれぞれについて良否の判定を行ったものと同等の効果を得ることができる。
　生成部１２は、例えば、複数の画像のそれぞれにおいて特徴部分を含み得る撮像された対象物９９の少なくとも一部を抽出する。ここでは、例えば、生成部１２は、各画像の中央部１０％のみを抽出してもよいし、各画像の中央部含む、縦方向又は横方向に延びる帯状部分を抽出してもよい。その他、生成部１２による、特徴部分を含み得る撮像された対象物９９の少なくとも一部を抽出する動作は、所定のルールに沿って行われればよい。例えば、画像の右方に特徴が表れやすいことがあらかじめ判明していれば、この領域を包含するように抽出される領域が設定されればよい。
　生成部１２は、抽出した画像の一部を、元の画像のそれぞれの撮像時間の時系列で配列することにより、対象物９９の抽出された一部の時間変化の情報を含むマップ情報を生成する。図６は、実施の形態において対象物が良品である場合に生成されるマップ情報について説明する図である。また、図７は、実施の形態において対象物が不良品である場合に生成されるマップ情報について説明する図である。図６に示すように、画像Ｆ１１～Ｆ１３を含む複数の画像のそれぞれから、対象物９９からの反射光３４が受光された領域の一部を抽出し、これを時系列に沿って左右方向に並べた際に、図中のマップ情報Ｍ１０が生成される。
　同様に、図７に示すように、画像Ｆ２１～Ｆ２３を含む複数の画像のそれぞれから、対象物９９からの反射光３４が受光された領域の一部を抽出し、これを時系列に沿って左右方向に並べた際に、図中のマップ情報Ｍ２０が生成される。このように、生成部１２によって生成されるマップ情報は、画像が撮像された際の時間軸における変化の情報を含んでいる。言い換えると、マップ情報は、各時間で撮像された際の対象物９９の相対位置の情報を含んでいる。つまり、マップ情報では、３次元的な表面の各部の情報が、１つの２次元画像の情報に組み込まれている（パッキングされている）。
　このため、２次元的なマップ情報に基づいて対象物９９の３次元的な表面における良否の判定を行うことが可能となる。例えば、図７に示すマップ情報Ｍ２０は、図６に示すマップ情報Ｍ１０に比べて、右方の一部の領域に欠損に対応する抜けが発生している。
　なお、マップ情報の生成は、複数の画像のそれぞれにおいて、撮像された対象物９９が占める画像上の領域の面積値を算出して行ってもよい。具体的には、複数の画像のそれぞれでの画像全体に対する対象物９９の反射光３４が受光された領域の比率を算出し、画像ごとの撮像時間の時系列で配列することにより、対象物９９が占める画像領域の面積値の時間変化の情報を含むマップ情報を生成してもよい。この場合、各時間で撮像された際の対象物９９の相対位置での面積値の情報がマップ情報として生成される。また、複数の画像のそれぞれにおいて、撮像された画像の各ピクセルの輝度値を積算した積算画像をマップ情報として生成してもよい。マップ情報の生成は、学習用の教師データ又は比較用の良品のデータなどの、基準となるマップ情報を生成するときの処理と、良否判定を行う際の対象物９９のマップ情報の生成のときの処理とが一致していれば、あらゆる画像処理を適用して行うことができる。このようなマップ情報に現れる良品又は不良品の特徴に基づいて、マップ情報から対象物９９の良否の判定が行われる。
　以下、判定部１３による上記の良否の判定について説明する。図８Ａは、実施の形態に係る判定部の機能構成を示すブロック図である。また、図８Ｂは、実施の形態の別例に係る判定部の機能構成を示すブロック図である。図８Ａに示すように、判定部１３は、比較部１５とメモリ１６とを備える。比較部１５は、マップ情報を比較するための処理部である。比較部１５は、良否判定の対象となる対象物９９から生成されたマップ情報を、半導体メモリ等で構成されるメモリ１６に記憶された比較用のマップ情報と比較することにより、当該対象物９９の良否の判定を行う。
　例えば、メモリ１６は、過去に良品と判定された対象物９９のマップ情報である良品マップ情報を記憶している。比較部１５は、メモリ１６を参照して良品マップ情報を読み出し、生成部１２において生成された良否判定の対象である対象物９９のマップ情報との一致度を算出する。この一致度が閾値以上であれば、当該対象物９９は、良品マップ情報と同等のマップ情報を生成しうる良品であると判定される。一方で、一致度が閾値よりも小さければ、当該対象物９９は、良品マップ情報と異なるマップ情報を生成しうる不良品であると判定される。
　なお、生成部１２によるマップ情報の生成の際に、マップ情報には、空間特徴情報が含められていてもよい。空間特徴情報は、対象物９９が撮像されたときの対象物９９と撮像器２０との相対的な移動の軌跡を示す情報である。メモリ１６に空間特徴情報が異なる良品マップ情報が複数記憶されている場合には、比較部１５は、良否判定の対象である対象物９９の空間特徴情報と一致する空間特徴情報を有する良品マップ情報を読み出して比較を行う。なお、空間特徴情報の他に、撮像器２０及び照明器３０の性能（解像度、フレームレート及び出射光強度等）の情報がマップ情報に含められ、良品マップ情報の選択に用いられてもよい。
　また、判定部１３の別例として、判定部１３ａが備えられてもよい。判定部１３ａは、図８Ｂに示すように、判定モデル１７と学習部１８と、を備える。判定モデル１７は、学習部１８による機械学習によって生成されたモデルであり、マップ情報が入力されると、当該マップ情報に対応する対象物９９の良否の判定結果を出力するように構成されている。具体的には、学習部１８には、学習用のマップ情報である学習用マップ情報Ｄ１と、学習用マップ情報Ｄ１に対応する良否の判定結果を示す学習用結果情報Ｄ２とが入力される。学習部１８は、入力された学習用マップ情報Ｄ１と学習用結果情報Ｄ２とに基づいて、判定モデル１７の生成、又は、判定モデルの再学習を行う。より詳細には、判定モデル１７として設計されたニューラルネットワークにおける各ニューロンの重みづけ係数を最適化することで、マップ情報の入力に対して、適切に、良否の判定結果を出力することが可能となっている。
　このようにして、本実施の形態における判定部１３は、学習済みの判定モデル１７に対して、生成されたマップ情報を入力することで出力として判定結果を得る判定部１３ａに置き換えられてもよい。先に説明したように、マップ情報は、機械学習に適した情報として生成されるため、このように機械学習を適用して判定結果を得る構成とすることも容易に実現できる。
　制御部１４は、撮像器２０、照明器３０、及び、移動器４０をあらかじめ設定された態様で制御するための処理部である。制御部１４は、良否判定の対象である対象物９９を撮像する場合のこれらの装置の動作と、学習用の教師データ又は比較用の良品のデータなどの、基準となるマップ情報を生成する場合の対象物９９を撮像する際のこれらの装置の動作とを一様なものとするために、それぞれの場合において、一様な制御信号を各装置に出力する。この結果、撮像器２０、照明器３０、及び、移動器４０は、それぞれの場合において、一様な動作で複数の画像を生成する。
　［動作］
　次に、以上に説明した判定システム１００の動作について図９を用いで説明する。図９は、判定システムの動作を示すフローチャートである。判定システム１００は、例えば、上記のようにベルトコンベヤで移動される対象物９９の良否判定を行う。このため、まず、撮像器２０は、対象物９９が撮像領域に入ったか否かを判定する（Ｓ１１）。対象物９９が撮像領域に入ったと判定されない場合（Ｓ１１でＮｏ）、対象物９９が撮像領域に入るまでステップＳ１１を繰り返す。一方で、対象物が撮像領域に入ったと判定された場合、（Ｓ１１でＹｅｓ）、撮像器２０は、対象物９９の撮像を開始して、画像の生成を行う（Ｓ１２）。画像の生成は、６０ｆｐｓ以上などの高フレームレートで実施されてもよいし、対象物９９の移動速度が遅い場合には、１５ｆｐｓなどの低フレームレートで実施されてもよい。
　その後、撮像器２０は、対象物９９が撮像領域から出たか否かを判定する（Ｓ１３）。対象物９９が撮像領域から出ていないと判定された場合（Ｓ１３でＮｏ）、撮像器２０は、ステップＳ１２を繰り返し、対象物９９の撮像を継続する。一方で対象物９９が撮像領域から出たと判定された場合（Ｓ１３でＹｅｓ）、撮像器２０は、対象物９９の撮像を終了する。その後、取得部１１は、撮像器２０によって生成された複数の画像を取得する（Ｓ１４）。なお、撮像器２０が常時撮像を行い、取得部１１によって、対象物９９が映るフレームのみが取得されてもよい。この場合、ステップＳ１１及びステップＳ１３の判定は省略されてもよい。
　生成部１２は、上記したようにして、複数の画像に基づいてマップ情報を生成する（Ｓ１５）。その後、判定部１３は、生成されたマップ情報を用いて対象物９９の良否を判定する（Ｓ１６）。この結果、対象物９９が、例えば、３次元の表面形状を有する場合にも良否の判定が容易に可能なマップ情報に基づいて当該対象物９９の良否の判定が行われる。マップ情報の生成は、上記したように一様なルールに基づいて簡易かつ自動的に行うことが可能である。つまり、法線ベクトルを算出し、微分処理によって表面の輪郭を画像化したうえで外観検査を行う複雑なプロセスを経ることなく、簡易に計算処理を行い、対象物９９の良否の判定を実施できる。
　［製造ライン］
　なお、上記に説明した判定システム１００は、対象物９９を製造する製造ライン２００と組み合わせることもできる。すなわち、対象物９９を製造し、良否判定し、出荷するまでのラインを容易に自動化することが可能となる。具体的に図１０を用いて説明する。
　図１０は、実施の形態に係る判定システムが組み合わされた製造ラインについて説明する図である。
　図１０では、製造ライン２００に続いて判定システム１００が導入されている様子が示されている。ここでの製造ライン２００では、サイドミラーの外装部材において、基材に塗装下地を形成し、第１層の塗装をし、第２層の塗装をし、表面コートを形成する工程を行っている。このため、製造ライン２００は、各工程をそれぞれ実施するステーションを有する。具体的には、製造ライン２００は、塗装下地形成ステーションＳ２０１、第１層塗装ステーションＳ２０２、第２層塗装ステーションＳ２０３、及び、表面コートステーションＳ２０４を有する。判定システム１００は、これらの各ステーションを経て製造されたサイドミラーの外装部材について、良否の判定を行う。また、ここでの判定システム１００では、外装部材の良否の判定に加えて、不良と判定された外装部材（不良外装部材）について、さらに、上記の各ステーションの中から不良外装部材を発生させたステーションを特定する。具体的には、判定システム１００では、生成されたマップ情報を、各ステーションのそれぞれにおいて頻出する不良外装部材について生成された工程不良マップ情報のいずれかにクラスタリングすることで、クラスタリングされた工程不良マップ情報と対応するステーションで発生した不良外装部材であると推定する。
　例えば、図中では、塗装下地形成ステーションＳ２０１において第１工程不良マップ情報Ｍ２０１に相当する不良外装部材が頻出する。また、第１層塗装ステーションＳ２０２において第２工程不良マップ情報Ｍ２０２に相当する不良外装部材が頻出する。また、第２層塗装ステーションＳ２０３において第３工程不良マップ情報Ｍ２０３に相当する不良外装部材が頻出する。また、表面コートステーションＳ２０４において第４工程不良マップ情報Ｍ２０４に相当する不良外装部材が頻出する。生成されたマップ情報が、これらの工程不良マップ情報のうち、第３工程不良マップ情報Ｍ２０３にクラスタリングされたとすると、当該外装部材は、第２層塗装ステーションＳ２０３において発生した不良品であることがわかる。このようにして、判定システム１００を、不良品が発生した経緯を追跡するために用いることも可能である。
　［効果など］
　以上、説明したように、本実施の形態における判定システム１００は、対象物９９を撮像する撮像器２０であって、撮像器２０に対して相対的に移動している状態の対象物９９を連続的に撮像して複数の画像を生成する撮像器２０から、生成された複数の画像を取得する取得部１１と、取得された複数の画像に基づいて、対象物９９の良否に関する特徴を含むマップ情報Ｍ１０を生成する生成部１２と、生成されたマップ情報Ｍ１０を用いて、対象物９９の良否を判定する判定部１３と、を備える。
　このような判定システム１００は、撮像器２０に対して相対移動する対象物９９を撮像した複数の画像が得られる。この複数の画像は、相対位置関係がそれぞれ異なっているため、複数の角度から撮像された対象物９９の画像に相当し、複数の画像に基づいて生成されるマップ情報Ｍ１０には、対象物９９を様々な角度から見た際の特徴が現れる。判定システム１００では、このような様々な角度から見た際の良否に関する特徴が含まれたマップ情報を生成することができる。例えば、生成されたマップ情報Ｍ１０と良品のマップ情報との比較により対象物９９の良否を判定する場合に、様々な角度から見た際の良否に関する特徴を比較することができる。複数の画像同士を、良品と対象物９９とでそれぞれ対応させつつ比較する必要がなくなるので、判定が簡易に行える。また、良否判定のために利用できる良否に関する特徴がマップ情報Ｍ１０としてまとめられている。例えば、機械学習によって良否判定を行う場合に、単純化されたマップ情報Ｍ１０は、入力用のデータとして適している。よって、対象物９９の良否に関する特徴を含むマップ情報Ｍ１０を生成して判定を行うことで、より適切に対象物９９の良否を判定することが可能となる。
　また、例えば、生成部１２は、複数の画像のそれぞれにおいて、撮像された対象物９９の少なくとも一部を抽出し、複数の画像のそれぞれの撮像時間の時系列で配列することにより、対象物９９の少なくとも一部の時間変化の情報を含むマップ情報を生成してもよい。
　これによれば、時間的に異なるタイミングで撮像された、すなわち、撮像器２０と対象物９９との相対位置が異なる複数の位置関係のそれぞれにおいて撮像された画像から、良否に関する特徴を含み得る一部を抽出し、当該一部の相対位置に対する変化に基づいて対象物９９の良否判定を行うことができる。
　また、例えば、生成部１２は、複数の画像のそれぞれにおいて、撮像された対象物９９が占める画像領域の面積値を算出し、複数の画像のそれぞれの撮像時間の時系列で配列することにより、対象物９９が占める画像領域の面積値の時間変化の情報を含むマップ情報を生成してもよい。
　これによれば、時間的に異なるタイミングで撮像された、すなわち、撮像器２０と対象物９９との相対位置が異なる複数の位置関係のそれぞれにおいて撮像された画像から、良否に関する特徴を含み得る対象物９９が占める画像領域の面積値を算出し、当該面積値の相対位置に対する変化に基づいて対象物９９の良否判定を行うことができる。
　また、例えば、さらに、位置が固定された撮像器２０と、撮像器２０に対して、対象物９９を相対的に移動させる移動器４０とを備えてもよい。
　これによれば、固定された撮像器２０により、当該撮像器２０に対して、移動器４０によって相対的に移動される対象物９９の画像を撮像することができる。
　また、例えば、移動器４０は、対象物９９を製造する製造ライン２００に接続され、製造ライン２００において製造された対象物９９を撮像器２０の撮像領域を通過する経路で移動させてもよい。
　これによれば、製造ライン２００において製造された対象物９９を自動的に移動させ、当該移動によって撮像器２０に対する対象物９９の相対移動を行い判定システム１００による良否判定を行うことができる。
　また、例えば、製造ライン２００は、対象物９９を製造するための１以上の工程をそれぞれ実施する１以上のステーションからなり、判定部１３は、不良と判定された対象物９９である不良対象物において、さらに、１以上の工程のそれぞれにおいて発生する不良のそれぞれに対応するマップ情報である１以上の工程不良マップ情報と、生成されたマップ情報Ｍ１０とを比較することにより、不良対象物が発生した不良ステーションを１以上のステーションの中から特定してもよい。
　これによれば、不良の種別などによって異なるマップ情報に基づき、不良と判定した対象物９９が発生したと推定される不良ステーションを特定することができる。これにより不良ステーションでの不良品の発生率などを管理することができるので、適切なタイミングにて当該不良ステーションのメンテナンスを実施するための指標を得ることができる。
　また、例えば、さらに、対象物９９に向けて光を出射する照明器３０を備え、複数の画像は、照明器３０から出射された光が対象物９９に反射された反射光を受光することで、撮像器２０によって生成されてもよい。
　これによれば、制御された照明器３０から発される光によって撮像される画像上の良否に関する特徴をより顕著なものとすることができる。
　また、例えば、判定部１３ａは、学習用のマップ情報である学習用マップ情報Ｄ１と、学習用マップ情報Ｄ１に対応する良否の判定結果を示す学習用結果情報Ｄ２とを用いて学習させた学習済みの判定モデル１７に対して、生成されたマップ情報Ｍ１０を入力することにより対象物９９の良否を判定してもよい。
　これによれば、対象物９９に生じる良否に関する特徴を適切に学習させ、当該特徴に基づいて良否判定を行うことが可能な判定モデル１７により、より適切に良否の判定を実施することができる。
　また、例えば、判定部１３は、良否の判定の結果が良となるマップ情報である良品マップ情報と、生成されたマップ情報Ｍ１０とを比較することにより、対象物９９の良否を判定してもよい。
　これによれば、生成されたマップ情報Ｍ１０において良品マップ情報に現れないような特徴等がみられる場合に、当該マップ情報Ｍ１０に対応する対象物９９を良品でない、すなわち不良品と判定することができる。
　また、例えば、マップ情報Ｍ１０は、対象物９９が撮像されたときの対象物９９と撮像器２０との相対的な移動の軌跡を示す空間特徴情報を含み、判定部１３は、互いに空間特徴情報が異なる複数の良品マップ情報の中から、生成されたマップ情報Ｍ１０に対して空間特徴情報が対応する良品マップ情報を選択し、選択された良品マップ情報とマップ情報Ｍ１０とを比較することにより、対象物９９の良否を判定してもよい。
　撮像器２０と対象物９９との相対的な位置関係の変化が同様であるときに、良品と判定される対象物９９は、一様に良品マップ情報と同等のマップ情報Ｍ１０が生成される。このため上記態様により、空間特徴情報が対応していることによって撮像器２０と対象物９９との相対的な位置関係の変化が同様である良品マップ情報を選択して、生成されたマップ情報Ｍ１０と比較することで、当該マップ情報Ｍ１０に対応する対象物９９を良品でない、すなわち不良品と判定することができる。
　また、例えば、対象物９９は、立体形状の表面を有し、判定部１３による良否の判定は、対象物９９の表面の状態に基づいて判定されてもよい。
　これによれば、曲面などの立体形状の表面を有する対象物９９について、対象物９９の良否に関する特徴を含むマップ情報Ｍ１０を生成して判定を行うことで、より適切に対象物９９の良否を判定することが可能となる。
　また、本実施の形態における判定方法は、対象物を撮像する撮像器であって、撮像器に対して相対的に移動している状態の対象物を連続的に撮像した複数の画像を生成する撮像器から、生成された複数の画像を取得し、取得された複数の画像に基づいて、対象物の良否に関する特徴を含むマップ情報を生成し、生成されたマップ情報を用いて、対象物の良否を判定する。
　これによれば、上記の判定システム１００と同様の効果を奏することができる。
　また、例えば、本実施の形態を上記に記載の判定方法をコンピュータに実行させるためのプログラムとして実現することもできる。
　これによれば、コンピュータを用いて、上記の判定方法と同様の効果を奏することができる。
　（その他の実施の形態）
　以上、本発明に係る判定装置等について、上記実施の形態等に基づいて説明したが、本発明は、上記の実施の形態に限定されるものではない。例えば、各実施の形態等に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　例えば、上記に記載の撮像器、照明器、及び、移動器は、判定システムに含まれなくてもよい。判定システムは、対象物が移動しているところを単に撮像するのみの撮像器から画像を取得することで、当該対象物の良否の判定を行うのみの演算装置であってもよい。
　また、例えば、本発明は、判定装置等のハードウェアとして実現できるだけでなく、判定装置等の各構成要素が行う処理をステップとして含むプログラム、および、そのプログラムを記録したコンピュータ読み取り可能な記録媒体として実現することもできる。プログラムは、記録媒体に予め記録されていてもよく、あるいは、インターネットなどを含む広域通信網を介して記録媒体に供給されてもよい。
　つまり、上述した包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の判定システム等は、立体形状などの対象物の良否を判定するための装置として広く応用可能である。
　　１０　演算器
　　１１　取得部
　　１２　生成部
　　１３、１３ａ　判定部
　　１４　制御部
　　１５　比較部
　　１６　メモリ
　　１７　判定モデル
　　１８　学習部
　　２０　撮像器
　　３０　照明器
　　３１　光源
　　３２　フード
　　３３　出射光
　　３４　反射光
　　３５　開口
　　４０　移動器
　　９９　対象物
　　９９ａ　不良個所
　　１００　判定システム
　　２００　製造ライン
　　Ｄ１　学習用マップ情報
　　Ｄ２　学習用結果情報
　　Ｆ１１～１３、Ｆ２１～２３　画像
　　Ｍ１０、Ｍ２０　マップ情報
　　Ｍ２０１　第１工程不良マップ情報
　　Ｍ２０２　第２工程不良マップ情報
　　Ｍ２０３　第３工程不良マップ情報
　　Ｍ２０４　第４工程不良マップ情報
　　Ｓ２０１　塗装下地形成ステーション
　　Ｓ２０２　第１層塗装ステーション
　　Ｓ２０３　第２層塗装ステーション
　　Ｓ２０４　表面コートステーション

Claims (13)

  1. 　対象物を撮像する撮像器であって、前記撮像器に対して相対的に移動している状態の前記対象物を連続的に撮像して複数の画像を生成する撮像器から、生成された前記複数の画像を取得する取得部と、
    　取得された前記複数の画像に基づいて、前記対象物の良否に関する特徴を含むマップ情報を生成する生成部と、
    　生成された前記マップ情報を用いて、前記対象物の良否を判定する判定部と、を備える
    　判定システム。
  2. 　前記生成部は、前記複数の画像のそれぞれにおいて、撮像された前記対象物の少なくとも一部を抽出し、前記複数の画像のそれぞれの撮像時間の時系列で配列することにより、前記対象物の少なくとも一部の時間変化の情報を含む前記マップ情報を生成する
    　請求項１に記載の判定システム。
  3. 　前記生成部は、前記複数の画像のそれぞれにおいて、撮像された前記対象物が占める画像領域の面積値を算出し、前記複数の画像のそれぞれの撮像時間の時系列で配列することにより、前記対象物が占める画像領域の面積値の時間変化の情報を含む前記マップ情報を生成する
    　請求項１に記載の判定システム。
  4. 　さらに、位置が固定された前記撮像器と、
    　前記撮像器に対して、前記対象物を相対的に移動させる移動器とを備える
    　請求項１～３のいずれか１項に記載の判定システム。
  5. 　前記移動器は、
    　前記対象物を製造する製造ラインに接続され、
    　前記製造ラインにおいて製造された前記対象物を前記撮像器の撮像領域を通過する経路で移動させる
    　請求項４に記載の判定システム。
  6. 　前記製造ラインは、前記対象物を製造するための１以上の工程をそれぞれ実施する１以上のステーションからなり、
    　前記判定部は、不良と判定された対象物である不良対象物において、さらに、前記１以上の工程のそれぞれにおいて発生する不良のそれぞれに対応する前記マップ情報である１以上の工程不良マップ情報と、生成された前記マップ情報とを比較することにより、前記不良対象物が発生した不良ステーションを前記１以上のステーションの中から特定する
    　請求項５に記載の判定システム。
  7. 　さらに、前記対象物に向けて光を出射する照明器を備え、
    　前記複数の画像は、前記照明器から出射された光が前記対象物に反射された反射光を受光することで、前記撮像器によって生成される
    　請求項１～６のいずれか１項に記載の判定システム。
  8. 　前記判定部は、学習用の前記マップ情報である学習用マップ情報と、前記学習用マップ情報に対応する良否の判定結果を示す学習用結果情報とを用いて学習させた学習済みの判定モデルに対して、生成された前記マップ情報を入力することにより前記対象物の良否を判定する
    　請求項１～７のいずれか１項に記載の判定システム。
  9. 　前記判定部は、良否の判定の結果が良となる前記マップ情報である良品マップ情報と、生成された前記マップ情報とを比較することにより、前記対象物の良否を判定する
    　請求項１～７のいずれか１項に記載の判定システム。
  10. 　前記マップ情報は、前記対象物が撮像されたときの前記対象物と前記撮像器との相対的な移動の軌跡を示す空間特徴情報を含み、
    　前記判定部は、互いに前記空間特徴情報が異なる複数の前記良品マップ情報の中から、生成された前記マップ情報に対して前記空間特徴情報が対応する前記良品マップ情報を選択し、選択された前記良品マップ情報と前記マップ情報とを比較することにより、前記対象物の良否を判定する
    　請求項９に記載の判定システム。
  11. 　前記対象物は、立体形状の表面を有し、
    　前記判定部による良否の判定は、前記対象物の前記表面の状態に基づいて判定される
    　請求項１～１０のいずれか１項に記載の判定システム。
  12. 　対象物を撮像する撮像器であって、前記撮像器に対して相対的に移動している状態の前記対象物を連続的に撮像した複数の画像を生成する撮像器から、生成された前記複数の画像を取得し、
    　取得された前記複数の画像に基づいて、前記対象物の良否に関する特徴を含むマップ情報を生成し、
    　生成された前記マップ情報を用いて、前記対象物の良否を判定する
    　判定方法。
  13. 　請求項１２に記載の判定方法をコンピュータに実行させるための
    　プログラム。
PCT/JP2021/045474 2021-01-15 2021-12-10 判定システム、判定方法及びプログラム WO2022153743A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021004845 2021-01-15
JP2021-004845 2021-01-15

Publications (1)

Publication Number Publication Date
WO2022153743A1 true WO2022153743A1 (ja) 2022-07-21

Family

ID=82448335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045474 WO2022153743A1 (ja) 2021-01-15 2021-12-10 判定システム、判定方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2022153743A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009092476A (ja) * 2007-10-05 2009-04-30 Cosmograph Inc 透明搬送物検査装置及び検査方法
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2018179939A (ja) * 2017-04-21 2018-11-15 オムロン株式会社 シート検査装置及び検査システム。

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009092476A (ja) * 2007-10-05 2009-04-30 Cosmograph Inc 透明搬送物検査装置及び検査方法
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2018179939A (ja) * 2017-04-21 2018-11-15 オムロン株式会社 シート検査装置及び検査システム。

Similar Documents

Publication Publication Date Title
CN113226612B (zh) 借助深度卷积神经网络识别激光加工系统的加工缺陷
US20130057678A1 (en) Inspection system and method of defect detection on specular surfaces
KR102430186B1 (ko) 기판의 결함 검사 장치, 기판 결함 검사용 감도 파라미터 값의 조정 방법 및 기억 매체
EP3388781A1 (en) System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection
US10861179B2 (en) Image inspecting apparatus, image inspecting method and image inspecting program
CN112884743B (zh) 检测方法及装置、检测设备和存储介质
US20230053085A1 (en) Part inspection system having generative training model
Zhang et al. Robust pattern recognition for measurement of three dimensional weld pool surface in GTAW
JP2019184380A (ja) 撮像装置及び撮像装置を用いた検査システム
JP6771905B2 (ja) 検査装置、検査方法及び物品の製造方法
JP2006113073A (ja) パターン欠陥検査装置及びパターン欠陥検査方法
WO2022153743A1 (ja) 判定システム、判定方法及びプログラム
JP3752849B2 (ja) パターン欠陥検査装置及びパターン欠陥検査方法
JP2022083487A (ja) 検査システム、管理装置、検査方法、プログラム、記録媒体および物品の製造方法
CN114689604A (zh) 具有光滑表面的待测物于光学检测上的影像处理方法及其检测系统
JP2017194380A (ja) 検査装置、記憶媒体、及びプログラム
CA3223417A1 (en) Modular apparatus for the inspection of industrial products and related methods
CN115203815A (zh) 生产速度部件检查系统和方法
CN116601665A (zh) 用于对图像进行分类的方法和用于对物体进行光学检查的方法
JP2022150065A (ja) 検査装置、コンピュータプログラム、および、検査方法
KR102494890B1 (ko) 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템
CN112926439B (zh) 检测方法及装置、检测设备和存储介质
WO2023026699A1 (ja) 外観検査装置および外観検査方法
WO2024026932A1 (en) Optimized Path Planning for Defect Inspection based on Effective Region Coverage
JP2021032657A (ja) 撮像領域決定システム、撮像領域決定方法および撮像領域決定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919632

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21919632

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP