JP7391579B2 - Visual inspection system and visual inspection method - Google Patents
Visual inspection system and visual inspection method Download PDFInfo
- Publication number
- JP7391579B2 JP7391579B2 JP2019163358A JP2019163358A JP7391579B2 JP 7391579 B2 JP7391579 B2 JP 7391579B2 JP 2019163358 A JP2019163358 A JP 2019163358A JP 2019163358 A JP2019163358 A JP 2019163358A JP 7391579 B2 JP7391579 B2 JP 7391579B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- unit
- inspection object
- degrees
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011179 visual inspection Methods 0.000 title claims description 55
- 238000000034 method Methods 0.000 title claims description 10
- 238000007689 inspection Methods 0.000 claims description 130
- 238000003384 imaging method Methods 0.000 claims description 104
- 238000005286 illumination Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 66
- 230000006870 function Effects 0.000 claims description 15
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 25
- 230000002950 deficient Effects 0.000 description 22
- 230000033458 reproduction Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 16
- 235000013351 cheese Nutrition 0.000 description 11
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 229910052782 aluminium Inorganic materials 0.000 description 8
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 8
- 239000011888 foil Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 238000007711 solidification Methods 0.000 description 2
- 230000008023 solidification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Description
本発明は、外観検査システム、及び外観検査方法に関する。 The present invention relates to a visual inspection system and a visual inspection method.
チーズ等の食品は、アルミ箔などの主に樹脂を基材とした包装材料にて包装される。アルミ箔に包装されたチーズ等は、固化していない状態で、目視検査が行われ、冷却装置、乾燥装置等の固化装置に搬入される。アルミ箔に包装されたチーズ等は、その固化装置の内部で、コンベアにより搬送されつつ固化される。固化されたチーズ等は、撮像され、撮像された対象物を画像認識させることによって、検品作業が行われる。
検品作業に関して、台紙上のサンプル等の検査対象の数量の検査を好適に行う技術が知られている（例えば、特許文献１参照）。この技術では、検査システムは、検査装置、撮影装置、照明等を有し、表面に光沢があり凹凸を有する検査対象の数量の検査を行う。
Foods such as cheese are packaged with packaging materials mainly made of resin, such as aluminum foil. Cheese and the like packaged in aluminum foil are visually inspected in an unsolidified state, and then transported to a solidification device such as a cooling device or a drying device. Cheese and the like packaged in aluminum foil are solidified inside the solidification device while being conveyed by a conveyor. Solidified cheese or the like is imaged and inspected by image recognition of the imaged object.
Regarding inspection work, a technique for suitably inspecting the quantity of an inspection target such as a sample on a mount is known (see, for example, Patent Document 1). In this technique, an inspection system includes an inspection device, a photographing device, a lighting device, and the like, and inspects a quantity of inspection objects that have glossy and uneven surfaces.
目視検査では、検品対象の良否を判断する基準が、人によって異なるため、目視検査の結果にばらつきが生じる。また、目視検査では、熟練者の経験値を、他者と共有し難い。
撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、複雑な形状・反射の多い表面を有する製品などでは十分な精度が出せない。また、撮像された対象物を画像処理し、画像処理された対象物を画像認識させることによって検品作業を行う場合には、対象物の特定面に対して正面から撮影した画像を使用していた。このため、対象物の複数の他の面を画像認識させる場合には複数の他の面の数の撮影装置と、照明装置とが必要である。
本発明は、このような事情に鑑みてなされたものであり、その目的は、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる外観検査システム、及び外観検査方法を提供することである。
In visual inspection, the criteria for determining the quality of the inspection object differs from person to person, resulting in variations in the results of the visual inspection. Furthermore, in visual inspection, it is difficult to share the experience values of experts with others.
When performing inspection work by image processing a captured object and performing image recognition on the image-processed object, sufficient accuracy cannot be achieved for products with complex shapes or highly reflective surfaces. In addition, when performing inspection work by image processing the imaged object and performing image recognition on the image-processed object, images taken from the front of a specific surface of the object were used. . For this reason, when performing image recognition of a plurality of other surfaces of a target object, as many photographing devices and illumination devices as there are plural other surfaces are required.
The present invention has been made in view of the above circumstances, and its purpose is to provide a visual inspection system and a visual inspection method that can improve the accuracy in inspection work of inspection objects having complex shapes and highly reflective surfaces. The goal is to provide the following.
（１）本発明の一態様は、検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムであって、検査対象物の一主面に対して、前記一主面と平行な第１軸周りに第１角度の入射角度で光を照射する第１照明部と、前記第１照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第１撮像部と、前記検査対象物の前記一主面に対して、前記第１軸と同軸または平行な第２軸周りに、前記第１照明部とは反対側から前記第１角度の入射角度で光を照射する第２照明部と、前記第２照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第２撮像部と、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の複数の前記画像の各々を複数に分割することによって複数の分割画像を取得する画像処理部と、複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記画像処理部が取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別する判別部と、前記判別部によって、判別された前記検査対象物の良否の結果を出力する出力部とを備え、前記第１角度は、前記一主面の法線方向を０度としたとき、５０度以上７０度以下であり、前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第１照明部と前記第２照明部との各々が照射する前記光の照射方向とが、前記一主面の法線方向から見て第２角度をなし、前記第２角度は、１５度以上２５度以下である、外観検査システムであり、前記画像処理部は、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の３面の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得し、前記判別部は、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別し、前記学習モデルは、複数の分割画像の各々と、各分割画像に表された検査対象物を再構成した画像とに基づいて、所定の損失関数を最小にするように前記学習モデルのパラメータを最適化したものである。
（２）本発明の一態様は、前記判別部は、複数の前記再現精度の各々が、閾値以上であるか否かを判定し、複数の前記再現精度の閾値以上である割合に基づいて、前記検査対象物の良否を判定する、上記（１）に記載の外観検査システムである。
（３）本発明の一態様は、前記第１角度は、前記一主面の法線方向を０度としたとき、５５度以上６５度以下である、上記（１）又は上記（２）に記載の外観検査システムである。
(1) One aspect of the present invention is an appearance inspection system that uses an image of the object to be inspected to determine the quality of the object. a first illumination unit that irradiates light at a first incident angle around a first axis parallel to the first axis; and a first illumination unit that images the inspection object irradiated by the first illumination unit at a reflection angle with respect to the incident angle. 1 imaging section, and an incident angle of the first angle from the opposite side to the first illumination section around a second axis coaxial or parallel to the first axis with respect to the one principal surface of the inspection object. a second illumination unit that irradiates light with light, a second imaging unit that images the inspection object irradiated by the second illumination unit at a reflection angle with respect to the incident angle, the first imaging unit and the second an image processing unit that obtains a plurality of divided images by dividing each of the plurality of images of the inspection object captured by each of the imaging units into a plurality of images; and an image processing unit that uses the plurality of images of the inspection object. Using the learning model generated by learning, a plurality of reproduction images that are images that reproduce each of the plurality of divided images acquired by the image processing unit are generated, and each of the plurality of divided images and the plurality of divided images are reproduced. a determining unit that determines the quality of the inspection target based on each of the reproduced images; and an output unit that outputs a result of the quality of the inspection target determined by the determining unit, the first The angle is 50 degrees or more and 70 degrees or less when the normal direction of the one principal surface is 0 degrees, and the object to be inspected is a rectangular parallelepiped, and the two opposing sides of the one principal surface are The irradiation direction of the light emitted by each of the first illumination section and the second illumination section forms a second angle when viewed from the normal direction of the one main surface, and the second angle is 15 degrees or more and 25 degrees or more. In the visual inspection system, the image processing unit extracts images of three sides of the inspection target from images of three sides of the inspection target captured by each of the first imaging unit and the second imaging unit. A plurality of divided images are obtained by extracting a portion of the inspected object and dividing the image of the extracted portion of the inspection object into a plurality of parts, and the discriminating unit uses each of the plurality of divided images and the learning model. A plurality of reproduction accuracies are derived for each of a plurality of reproduction images that reproduce each of the plurality of divided images, and based on the plurality of derived reproduction accuracies, the quality of the inspection object is determined, and the learning model is the one in which the parameters of the learning model are optimized so as to minimize a predetermined loss function based on each of a plurality of divided images and the reconstructed image of the inspection object represented in each divided image. It is .
(2 ) In one aspect of the present invention, the determination unit determines whether each of the plurality of reproduction accuracies is equal to or greater than a threshold value, and based on the proportion of the plurality of reproduction accuracies equal to or greater than the threshold value, The appearance inspection system according to ( 1 ) above, which determines the quality of the inspection object.
( 3 ) One aspect of the present invention is according to (1) or ( 2) above , wherein the first angle is 55 degrees or more and 65 degrees or less, when the normal direction of the one principal surface is 0 degrees. This is the visual inspection system described.
（４）本発明の一態様は、検査対象物の画像を用いて、前記検査対象物の良否を判別する外観検査システムが実行する外観検査方法であって、第１照明部が、検査対象物の一主面に対して、前記一主面と平行な第１軸周りに第１角度の入射角度で光を照射するステップと、第１撮像部が、前記第１照明部によって光が照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、第２照明部が、前記検査対象物の前記一主面に対して、前記第１軸と同軸または平行な第２軸周りに、前記第１照明部とは反対側から前記第１角度の入射角度で光を照射するステップと、第２撮像部が、第２照明部によって光が照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の前記画像を複数に分割することによって複数の分割画像を取得するステップと、複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記分割するステップで取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別するステップと、前記判別するステップによって判別された前記検査対象物の良否の結果を出力するステップとを有し、前記第１角度は、前記一主面の法線方向を０度としたとき、５０度以上７０度以下であり、前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第１照明部と前記第２照明部との各々が照射する前記光の照射方向とが、前記一主面の法線方向から見て第２角度をなし、前記第２角度は、１５度以上２５度以下である、外観検査方法であり、前記取得するステップでは、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の３面の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得し、前記判別するステップでは、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別し、前記学習モデルは、複数の分割画像の各々と、各分割画像に表された検査対象物を再構成した画像とに基づいて、所定の損失関数を最小にするように前記学習モデルのパラメータを最適化したものである。
( 4 ) One aspect of the present invention is an appearance inspection method performed by an appearance inspection system that uses an image of the inspection object to determine the quality of the inspection object, wherein the first illumination unit irradiating one principal surface with light at a first incident angle around a first axis parallel to the one principal surface; capturing an image of the inspection object at a reflection angle with respect to the incident angle; irradiating the object with light at an incident angle of the first angle from a side opposite to the first illumination section; capturing an image at a reflection angle with respect to the incident angle; and obtaining a plurality of divided images by dividing the image of the inspection object captured by each of the first imaging section and the second imaging section into a plurality of parts. and a learning model generated by learning using the plurality of images of the inspection object to generate a plurality of reproduction images that are images that reproduce each of the plurality of divided images obtained in the dividing step. and determining the quality of the inspection target based on each of the plurality of divided images and each of the plurality of reproduced images, and the quality of the inspection target determined by the determining step. outputting a result, the first angle is 50 degrees or more and 70 degrees or less when the normal direction of the one principal surface is 0 degrees, and the inspection object is a rectangular parallelepiped. , the two opposing sides of the one principal surface and the irradiation direction of the light irradiated by each of the first illumination section and the second illumination section are second when viewed from the normal direction of the one principal surface. the second angle is 15 degrees or more and 25 degrees or less; The step of extracting a portion of the inspection object from images of three sides of the inspection object, dividing the extracted image of the portion of the inspection object into a plurality of parts to obtain a plurality of divided images, and determining the , derive a plurality of reproduction accuracies for each of the plurality of divided images and each of a plurality of reproduction images that reproduce each of the plurality of divided images using the learning model, and based on the derived plurality of reproduction accuracies. The learning model determines the quality of the inspection object, and the learning model calculates a predetermined loss function based on each of the plurality of divided images and the reconstructed image of the inspection object represented in each divided image. The parameters of the learning model are optimized to minimize the learning model .
本発明によれば、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できるという効果が得られる。 According to the present invention, it is possible to improve the accuracy in inspection work of an inspection object having a complicated shape and a surface with many reflections.
次に、本実施形態の外観検査システム、及び外観検査方法を、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
Next, the visual inspection system and visual inspection method of this embodiment will be explained with reference to the drawings. The embodiments described below are merely examples, and the embodiments to which the present invention is applied are not limited to the following embodiments. In addition, in all the figures for explaining the embodiment, parts having the same functions are denoted by the same reference numerals, and repeated explanations will be omitted.
Moreover, "based on XX" as used in the present application means "based on at least XX", and includes cases where it is based on another element in addition to XX. Furthermore, "based on XX" is not limited to the case where XX is used directly, but also includes the case where XX is subjected to calculations or processing. "XX" is an arbitrary element (for example, arbitrary information).
（実施形態）
図１は、本発明の実施形態に係る外観検査システムの一例を示す図である。外観検査システムは、ワークＷ（検査対象物）の外観検査、ワークＷの形状と、表面の状態とに基づいて、ワークＷの良否を判断する。外観検査システムは、ベルトコンベアに載置されたワークが撮像される位置より前の異なる２点の各々を通過する時刻を検出する。外観検査システムは、検出した２点の各々を通過する時刻に基づいて、２点の間を通過するのに要した時間である通過時間Ｔｓを導出する。外観検査システムは、導出した通過時間Ｔｓに基づいて、撮像部にワークを撮像させるタイミングである撮像タイミングを導出する。外観検査システムは、導出した撮像タイミングに基づいて、ワークＷを照明し、照明したワークＷを撮像し、所定の処理を行うことによって、検査用の画像を取得する。外観検査システムは、取得した検査用の画像に基づいて、ワークＷが良品であるか不良品であるかを判別する。外観検査システムは、ワークＷが不良品であると判別した場合に、通過時間Ｔｓに基づいて、ワークＷを排出する排出部にワークＷを排出させるタイミングである排出タイミングを導出する。外観検査システムは、導出した排出タイミングに基づいて、排出部に不良品と判別されたワークＷを排出させる。以下、ワークＷの一例として、アルミ箔に包装されたチーズである製品を適用する場合について説明する。
(Embodiment)
FIG. 1 is a diagram showing an example of a visual inspection system according to an embodiment of the present invention. The appearance inspection system determines the quality of the workpiece W (inspection object) based on the appearance inspection of the workpiece W (inspection target object), the shape of the workpiece W, and the surface condition. The visual inspection system detects the time when a workpiece placed on a belt conveyor passes through two different points before the imaged position. The visual inspection system derives the passing time Ts, which is the time required to pass between the two detected points, based on the time at which the object passes through each of the two detected points. The visual inspection system derives an imaging timing, which is the timing at which the imaging unit is caused to image the workpiece, based on the derived passing time Ts. The visual inspection system illuminates the workpiece W based on the derived imaging timing, images the illuminated workpiece W, and performs predetermined processing to obtain an image for inspection. The appearance inspection system determines whether the workpiece W is a good product or a defective product based on the acquired inspection image. When the visual inspection system determines that the workpiece W is defective, it derives the discharge timing, which is the timing at which the workpiece W is discharged to the discharger that discharges the workpiece W, based on the transit time Ts. The appearance inspection system causes the discharge section to discharge the workpiece W determined to be defective based on the derived discharge timing. Hereinafter, as an example of the workpiece W, a case will be described in which a cheese product packaged in aluminum foil is applied.
外観検査システム１００は、ベルトコンベアＢＣ－１と、ベルトコンベアＢＣ－２ａと、ベルトコンベアＢＣ－２ｂと、ベルトコンベアＢＣ－２ｃと、ベルトコンベアＢＣ－２ｄとを備える。外観検査システム１００は、センサー１１０ａと、センサー１２０ａと、センサー１１０ｂと、センサー１２０ｂと、センサー１１０ｃと、センサー１２０ｃと、センサー１１０ｄと、センサー１２０ｄとを備える。外観検査システム１００は、照明部１０２ａと、照明部１０２ｂと、照明部１０２ｃと、照明部１０２ｄと、照明部１０５ａと、照明部１０５ｂと、照明部１０５ｃと、照明部１０５ｄと、撮像部１０３ａと、撮像部１０３ｂと、撮像部１０３ｃと、撮像部１０３ｄと、撮像部１０４ａと、撮像部１０４ｂと、撮像部１０４ｃと、撮像部１０４ｄと、排出部１３０ａと、排出部１３０ｂと、排出部１３０ｃと、排出部１３０ｄと、排出エリア１４０ａと、排出エリア１４０ｂと、排出エリア１４０ｃと、排出エリア１４０ｄと、制御装置１５０とを備える。
第１検査ラインは、ベルトコンベアＢＣ－２ａと、センサー１１０ａと、センサー１２０ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、排出部１３０ａと、排出エリア１４０ａとを含む。第２検査ラインは、ベルトコンベアＢＣ－２ｂと、センサー１１０ｂと、センサー１２０ｂと、照明部１０２ｂと、撮像部１０３ｂと、撮像部１０４ｂと、照明部１０５ｂと、排出部１３０ｂと、排出エリア１４０ｂとを含む。第３検査ラインは、ベルトコンベアＢＣ－２ｃと、センサー１１０ｃと、センサー１２０ｃと、照明部１０２ｃと、撮像部１０３ｃと、撮像部１０４ｃと、照明部１０５ｃと、排出部１３０ｃと、排出エリア１４０ｃとを含む。第４検査ラインは、ベルトコンベアＢＣ－２ｄと、センサー１１０ｄと、センサー１２０ｄと、照明部１０２ｄと、撮像部１０３ｄと、撮像部１０４ｄと、照明部１０５ｄと、排出部１３０ｄと、排出エリア１４０ｄとを含む。第１検査ラインから第４検査ラインは同様の構成であるため、第１検査ラインについて説明する。第２検査ラインから第４検査ラインは、第１検査ラインを適用できる。制御装置１５０は、ベルトコンベアＢＣ－１と、ベルトコンベアＢＣ－２ａと、センサー１１０ａと、センサー１２０ａと、照明部１０２ａと、照明部１０５ａと、撮像部１０３ａと、撮像部１０４ａと、排出部１３０ａと接続される。図１では、第１検査ラインについての接続が示され、それ以外の接続については省略されている。
The
The first inspection line includes belt conveyor BC-2a,
ベルトコンベアＢＣ－１は、制御装置１５０によって制御される。ベルトコンベアＢＣ－１は、輪状にした幅広のベルトを台車の上で回転させ、その上に製品１０１を載置して移動させる。水平面を構成する互いに垂直である２軸をＸ軸とＹ軸とし、水平面に垂直な方向をＺ軸とする。複数の製品１０１の各々は、ベルトコンベアＢＣ－１によって、Ｘ軸の正の方向に移動する。複数の製品１０１の各々の移動方向を矢印で示す。コンベアＢＣ－１によって搬送される複数の製品１０１の各々は、ベルトコンベアＢＣ－２ａからベルトコンベアＢＣ－２ｄのうち、ベルトコンベアＢＣ－２ａに搬送されることによって、第１検査ラインに搬送される。
ベルトコンベアＢＣ－２ａに搬送された製品１０１は、ベルトコンベアＢＣ－２ａ上で、センサー１１０ａに検出される。センサー１１０ａは、製品１０１を検出した場合に、センサー１１０ａのＩＤと、製品１０１を検出したことを示す情報と、製品１０１を検出した時刻を示す情報である第１時刻情報とを含む第１検出通知情報を作成し、作成した第１検出通知情報を、制御装置１５０に出力する。ベルトコンベアＢＣ－２ａに搬送された製品１０１は、センサー１１０ａに検出された後に、センサー１２０ａに検出される。センサー１２０ａは、製品１０１を検出した場合に、センサー１２０ａのＩＤと、製品１０１を検出したことを示す情報と、製品１０１を検出した時刻を示す情報である第２時刻情報とを含む第２検出通知情報を作成し、作成した第２検出通知情報を、制御装置１５０に出力する。センサー１１０ａと、センサー１２０ａとの一例は、光電センサーである。
Belt conveyor BC-1 is controlled by
The
図２は、製品の一例を示す図である。製品１０１はアルミ箔に包装されたチーズであるため、その表面はアルミ箔である。このため、製品１０１の表面は、光沢があり、光を照射した場合に、その光が反射する場合がある。また、製品１０１は、アルミ箔を折り、溶融したチーズを注入することで成型する。このため、製品１０１の形状は、アルミ箔の折り目などによる凹凸を有する。図１に戻り説明を続ける。
照明部１０２ａと照明部１０５ａとは、制御装置１５０によって制御される。照明部１０２ａと照明部１０５ａとは、製品１０１に光を照射する。照明部１０２ａと照明部１０５ａとが照射する光の色の一例は、青色である。図３は、本実施形態に係る外観検査システムにおける照明部の一例を示す図である。製品１０１において、Ｘ軸とＹ軸とからなる平面に平行な面を、一主面とする。照明部１０２ａは、一主面と平行な第１軸周りに、第１角度θ１の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第１角度θ１の一例は５０度以上７０度以下であり、より好ましくは５５度以上６５度以下である。照明部１０５ａは、一主面に対して、第１軸と同軸または平行な第２軸周りに、照明部１０２ａとは反対側から第１角度θ１の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第１角度θ１の一例は５０度以上７０度以下であり、より好ましくは５５度以上６５度以下である。以下、第１角度θ１を５０度として説明を続ける。図１に戻り説明を続ける。
FIG. 2 is a diagram showing an example of a product. Since the
The
撮像部１０３ａと撮像部１０４ａとは、制御装置１５０によって制御される。撮像部１０３ａと撮像部１０４ａとは、製品１０１を撮像する。撮像部１０３ａは、照明部１０２ａが照射した光を、製品１０１が反射することによって得られる反射光を受光することによって撮像する。撮像部１０４ａは、照明部１０５ａが照射した光を、製品１０１が反射することによって得られる反射光を受光することによって撮像する。撮像部１０３ａと撮像部１０４ａとは、複数の受光素子と、集光系光学系とを有している。受光素子は、集光系光学系を通して得られた光の強度を電気信号に変換するＣＣＤ(charge-coupled device)やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子からなるイメージセンサである。集光系光学系は、外部から入射する光を集光するための光学系である。具体的には、集光系光学系は、一以上の光学レンズを有している。撮像部１０３ａは、照明部１０２ａが照射した光を、製品１０１が反射した反射光を受光素子が受光できる位置に設置される。撮像部１０４ａは、照明部１０５ａが照射した光を、製品１０１が反射した反射光を受光素子が受光できる位置に設置される。撮像部１０３ａと、撮像部１０４ａとは、撮像することによって得られる画像（以下「検査用の画像」という）を示す情報を、制御装置１５０に出力する。
The
図４は、本実施形態に係る外観検査システムの制御装置の一例を示すブロック図である。制御装置１５０は、ＣＰＵ（Central Processing Unit）等のプロセッサによって所定のプログラムが実行されることにより機能するソフトウェア機能部である。ソフトウェア機能部は、ＣＰＵ等のプロセッサ、プログラムを格納するＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、及びタイマー等の電子回路を備える。なお、制御装置１５０の少なくとも一部は、ＬＳＩ（Large Scale Integration）等の集積回路であってもよい。制御装置１５０は、処理部１５２と、取得部１５４と、画像処理部１５６と、学習部１５７と、判別部１５８と、出力部１６０として機能する。
処理部１５２は、ベルトコンベアＢＣ－１を制御することによって、ベルトコンベアＢＣ－１に載置された製品１０１を、Ｘ軸の正の方向に搬送する。処理部１５２は、ベルトコンベアＢＣ－２ａを制御することによって、ベルトコンベアＢＣ－１の後に、ベルトコンベアＢＣ－２ａに載置された製品１０１を、Ｘ軸の正の方向に、搬送する。処理部１５２は、センサー１１０ａが出力した第１検出通知情報と、センサー１２０ａが出力した第２検出通知情報とを取得する。処理部１５２は、第１検出通知情報に含まれる第１時刻情報を取得し、第２検出通知情報に含まれる第２時刻情報を取得し、取得した第１時刻情報と第２時刻情報とに基づいて、第１時刻から第２時刻が経過するまでの経過時間Ｔｓを導出する。処理部１５２は、導出した経過時間Ｔｓに撮像タイミング調整用の係数Ｗ１を乗算することによって、撮像タイミングを導出する。撮像タイミング調整用の係数Ｗ１は、予め設定される。処理部１５２は、経過時間Ｔｓを示す情報を出力部１６０に出力する。処理部１５２は、撮像タイミングに基づいて、その撮像タイミングで、撮像部１０３ａと撮像部１０４ａとが製品１０１を撮像できるように、照明部１０２ａと照明部１０５ａに光を照射させる。処理部１５２は、撮像タイミングの直前までの間に、照明部１０２ａと照明部１０５ａに光を照射させるための制御情報を出力する。処理部１５２は、撮像タイミングに、撮像部１０３ａと撮像部１０４ａとに撮像させるための制御信号を出力する。
FIG. 4 is a block diagram showing an example of a control device of the visual inspection system according to this embodiment. The
The
図５は、本実施形態に係る外観検査システムにおける製品の載置の一例を示す図である。製品１０１の一主面の短辺の二辺と、照明部１０２ａと照明部１０５ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て第２角度θ２となるように載置される。第２角度θ２の一例は１５度以上２５度以下であり、より好ましくは１７．５度以上２２．５度以下である。以下、第２角度θ２が２０度として説明を続ける。図４に戻り説明を続ける。処理部１５２が、ベルトコンベアＢＣ－２ａを制御することによって、製品１０１の一主面の中心が、位置Ｐと一致する。位置Ｐの一例は、照明部１０２ａと位置Ｐとを結んだ線と、位置Ｐから一主面の法線方向にのばした線とのなす角度が、第１角度θ１となる位置である。処理部１５２は、製品１０１の一主面の中心が、位置Ｐと一致する前に、照明部１０２ａと照明部１０５ａとを制御することによって、製品１０１に光を照射させる。処理部１５２は、製品１０１に光を照射させた状態で、製品１０１の一主面の中心が、位置Ｐと一致するタイミングで、撮像部１０３ａと撮像部１０４ａとに、製品１０１を撮像させる。取得部１５４は、撮像部１０３ａと撮像部１０４ａとの各々が出力した検査用の画像を示す情報を取得し、取得した検査用の画像示す情報を、画像処理部１５６に出力する。
FIG. 5 is a diagram showing an example of product placement in the visual inspection system according to the present embodiment. The angle between the two short sides of one principal surface of the
図６は、本実施形態に係る外観検査システムの制御装置の処理の例１を示す図である。画像処理部１５６は、取得部１５４が出力した複数の検査用の画像を示す情報を取得する。ここでは、二枚の画像を取得した場合について説明を続ける。画像処理部１５６は、取得した複数の検査用の画像を示す情報の各々に基づいて、複数の検査用の画像の各々から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する（１）。画像処理部１５６は、取得した製品１０１の複数の画像の各々を複数に分割し、分割することによって得られる複数の分割画像の各々を取得する（２）。画像処理部１５６は、製品１０１の画像に基づいて、ピクセル数が４％から６％の面積で分割する。以下、一例として、製品１０１の画像を、４×４の１６分割する場合について説明を続ける。
ベルトコンベアＢＣ－２ａに製品１０１が、製品１０１の一主面の短辺の二辺と、照明部１０２ａと照明部１０５ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て第２角度θ２となるように載置されているため、検査用の複数の画像の各々には、製品１０１の３面の画像（上面、短辺を含む側面、長辺を含む側面）が含まれている。さらに、製品１０１の表面は銀色で、光沢を有するため、撮像部１０３ａと撮像部１０４ａとの各々が撮像するときに、製品１０１には青色の光が照射される。製品１０１に対して、照明部１０２ａと照明部１０５ａとが所定の位置に設置されているため、照射された光の乱反射を抑えることができるため、コントラストを高くできる。製品１０１に青色の光が照射されることによって、青色の光がチーズの黄色成分に反応して、チーズ部分のコントラストを高くできるため、チーズ部分のコントラストをはっきりできる。ただし、金色などの銀色とは異なる色の包装の場合には包装とチーズのコントラスト差が出にくいため色調の検証を行うことが好ましい。この結果、検査用の画像に含まれる製品１０１の画像は、コントラストが高く、はっきりする。
FIG. 6 is a diagram illustrating a first example of processing of the control device of the visual inspection system according to the present embodiment. The
When the
複数の分割画像の各々を使用して、学習モデルを生成する場合と、生成した学習モデルを使用して、製品１０１の良否を判定する場合とに分けて説明を続ける。
学習モデルを生成する場合について、図６を参照して引き続き説明する。画像処理部１５６は、取得した複数の分割画像を、学習部１５７に出力する。学習部１５７は、画像処理部１５６が出力した複数の分割画像を取得し、取得した複数の分割画像の各々を使用して、変分オートエンコーダなどのオートエンコーダによって、複数の学習モデルを生成する。学習部１５７が、製品１０１の画像を分割した数と同数の学習モデルを生成する場合について説明を続ける。画像処理部１５６によって、製品１０１の画像が、４×４の１６分割されるため、分割することによって得られた複数の分割画像の各々に対応する学習モデルを生成する。変分オートエンコーダは、教師なし学習器として機能する。変分オートエンコーダは、複数の製品１０１の画像の各々に対応する複数の分割画像が入力されると、各分割画像に表された製品１０１のピクセルの位置の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再現画像」という）を出力する（（３）－（４））。学習部１５７は、各分割画像に表された製品１０１のピクセルの画素値の和を、画素数で割ることによって得られる平均値の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再構成平均値画像」という）を生成する。学習部１５７は、各分割画像に表された製品１０１のピクセルの画素値の２乗平均と平均の２乗との差によって得られる分散の分布を学習し、各分割画像に表された製品１０１を再構成した画像（以下「再構成分散画像」という）を生成する。学習部１５７は、生成した再構成平均値画像と、再構成分散画像とに基づいて、各１６区分区画（３２×３２＝１０２４）の最大値を、その区画の異常値とする。学習部１５７は、複数の分割画像の各々と、各分割画像に表された製品１０１を再構成した画像とに基づいて、所定の損失関数を最小にするようにモデルのパラメータを最適化することにより、入力されたデータを学習する。学習部１５７は、生成した学習モデルを、判別部１５８へ出力する。
The explanation will be divided into two cases: a case where a learning model is generated using each of a plurality of divided images, and a case where the quality of the
The case of generating a learning model will be further described with reference to FIG. 6. The
製品の良否を判定する場合について、図７を参照して説明する。図７は、本実施形態に係る外観検査システムの制御装置の処理の例２を示す図である。（１）から（３）は、図６を参照して説明した（１）－（３）と同様である。画像処理部１５６は、取得した分割画像の各々を、判別部１５８に出力する。判別部１５８は、学習部１５７が出力した学習モデルを取得し、取得した学習モデルを記憶する。判別部１５８は、取得した学習モデルを用いて、画像処理部１５６が出力した複数の分割画像の各々を再現した画像である再現画像を複数生成する（４）。判別部１５８は、複数の分割画像の各々と複数の再現画像の各々とに基づいて、複数の分割画像の各々と複数の再現画像の各々とを比較することによって、分割画像に対する再現画像の再現精度を導出する。具体的には、判別部１５８は、交差エントロピー、カルバックライブラ情報量、マハラノビス距離をベースとした評価関数を使用することによって、再現精度を導出する。判別部１５８は、複数の分割画像の各々の再現精度の導出結果に基づいて、製品１０１の不具合を判定する（５）。図５の（５）には、複数の分割画像のうち、再現精度の導出結果が閾値未満である分割画像が太線で示され、再現精度の導出結果が閾値以上である分割画像が破線で示されている。つまり、図５の（５）では、１６個の分割画像のうち、５個の分割画像が再現精度の導出結果が閾値未満であると評価されている。この場合、判別部１５８は、一例として、製品１０１の不具合を示す指標（以下「判定スコア」という）を、０．３１２５（５／１６）に基づいて導出する。判別部１５８は、導出した判定スコアに基づいて、製品１０１が良品であるか不良品であるかを判別する。判別部１５８は、判定スコアが判定スコア閾値以上である場合には良品であると判定し、閾値未満である場合には不良品であると判定する。図８は、判定スコア閾値の設定例を示す図である。図８は、重欠点品（不良品）の製品とＯＫ品（良品）の製品との分布を示す。横軸は判定スコアであり、縦軸は尤度である。図８に示されるように、判定スコア閾値の一例は、重欠点品とＯＫ品との分布が重複する判定スコアに設定される。判別部１５８は、製品１０１が不良品であると判別した場合に、不良品と判別されたことを示す情報を、出力部１６０に出力する。図４に戻り説明を続ける。
出力部１６０は、処理部１５２が出力した経過時間Ｔｓを示す情報を取得する。出力部１６０は、判別部１５８が出力した不良品と判別されたことを示す情報を取得した場合に、通過時間Ｔｓに基づいて、排出部１３０ａに不良品と判別された製品１０１を排出させるタイミングである排出タイミングを導出する。具体的には、出力部１６０は、経過時間Ｔｓに排出タイミング調整用の係数Ｗ２を乗算することによって、排出タイミングを導出する。排出タイミング調整用の係数Ｗ２は、予め設定される。出力部１６０は、導出した排出タイミングに基づいて、その排出タイミングで、不良品と判別された製品１０１が排出エリア１４０ａに排出されるように、排出部１３０ａに制御信号を出力する。
The case of determining the quality of a product will be described with reference to FIG. 7. FIG. 7 is a diagram showing a second example of processing of the control device of the visual inspection system according to the present embodiment. (1) to (3) are the same as (1) to (3) described with reference to FIG. The
The
図９は、本実施形態に係る外観検査システムの動作の例１を示すシーケンス図である。図１０は、本実施形態に係る外観検査システムの動作の一例を示す図である。ベルトコンベアＢＣ－２ａに製品１０１が載置された後に、撮像タイミングを導出する場合について説明する。
（ステップＳ１） 処理部１５２は、ベルトコンベアＢＣ－２ａにベルトを回転させるための制御信号を出力する。
（ステップＳ２） ベルトコンベアＢＣ－２ａは、制御装置１５０が出力した制御信号に基づいて動作する。ベルトコンベアＢＣ－２ａは、製品１０１を搬送する。
（ステップＳ３） センサー１１０ａは、製品１０１を検出する。
（ステップＳ４） センサー１１０ａは、センサー１１０ａのＩＤと、製品１０１を検出したことを示す情報と、第１時刻情報とを含む第１検出通知情報を作成する。
（ステップＳ５） センサー１１０ａは、作成した第１検出通知情報を、制御装置１５０に出力する。
（ステップＳ６） センサー１２０ａは、製品１０１を検出する。
（ステップＳ７） センサー１２０ａは、センサー１２０ａのＩＤと、製品１０１を検出したことを示す情報と、第２時刻情報とを含む第２検出通知情報を作成する。
（ステップＳ８） センサー１２０ａは、作成した第２検出通知情報を、制御装置１５０に出力する。
（ステップＳ９） 処理部１５２は、センサー１１０ａが出力した第１検出通知情報と、センサー１２０ａが出力した第２検出通知情報とを取得する。処理部１５２は、第１検出通知情報に含まれる第１時刻情報を取得する。処理部１５２は、第２検出通知情報に含まれる第２時刻情報を取得する。処理部１５２は、第１時刻情報と第２時刻情報とに基づいて、第１時刻から第２時刻が経過するまでの経過時間Ｔｓを導出する。処理部１５２は、経過時間Ｔｓに撮像タイミング調整用の係数Ｗ１を乗算することによって、撮像タイミングを導出する。
FIG. 9 is a sequence diagram showing an example 1 of the operation of the visual inspection system according to this embodiment. FIG. 10 is a diagram illustrating an example of the operation of the visual inspection system according to this embodiment. A case will be described in which the imaging timing is derived after the
(Step S1) The
(Step S2) Belt conveyor BC-2a operates based on the control signal output by
(Step S3) The
(Step S4) The
(Step S5) The
(Step S6) The
(Step S7) The
(Step S8) The
(Step S9) The
図１１は、本実施形態に係る外観検査システムの動作の例２を示すシーケンス図である。学習モデルを生成する場合について、図１０と図１１とを参照して説明する。
（ステップＳ１１） 処理部１５２は、撮像タイミングに基づいて、照明部１０２ａと照明部１０５ａとに光を照射させるための制御情報を出力する。
（ステップＳ１２） 照明部１０２ａは、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０２ａが発光することによって、製品１０１に光が照射される。
（ステップＳ１３） 照明部１０５ａは、制御装置１５０が出力した制御信号に基づいて、発光する。照明部１０５ａが発光することによって、製品１０１に光が照射される。
（ステップＳ１４） 処理部１５２は、撮像タイミングに、撮像部１０３ａと撮像部１０４ａとに撮像させるための制御信号を出力する。
（ステップＳ１５） 撮像部１０３ａは、制御信号に基づいて製品１０１を撮像する。
（ステップＳ１６） 撮像部１０３ａは、制御信号に基づいて製品１０１を撮像する。
（ステップＳ１７） 撮像部１０３ａと撮像部１０４ａとは、製品１０１を撮像することによって得られた検査用の画像を示す情報を、制御装置１５０に出力する。
（ステップＳ１８） 取得部１５４は、撮像部１０３ａと撮像部１０４ａとが出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部１５６に出力する。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割することによって得られる複数の分割画像の各々を、学習部１５７に出力する。
（ステップＳ１９） 学習部１５７は、画像処理部１５６が出力した複数の分割画像を取得し、取得した複数の分割画像を使用して、変分オートエンコーダによって、複数の学習モデルを生成する。学習部１５７は、学習モデルを、判別部１５８へ出力する。
FIG. 11 is a sequence diagram showing a second example of the operation of the visual inspection system according to this embodiment. The case of generating a learning model will be described with reference to FIGS. 10 and 11.
(Step S11) The
(Step S12) The
(Step S13) The
(Step S14) The
(Step S15) The
(Step S16) The
(Step S17) The
(Step S18) The
(Step S19) The
図１２は、本実施形態に係る外観検査システムの動作の例３を示すシーケンス図である。図９のステップＳ１からＳ９の動作の後に、製品１０１の良否を判定する動作について説明する。ステップＳ２１からＳ２７の処理は、図１１のステップＳ１１からＳ１７の処理を適用できる。
（ステップＳ２８） 取得部１５４は、撮像部１０３ａと撮像部１０４ａとが出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報を、画像処理部１５６に出力する。画像処理部１５６は、取得部１５４が出力した検査用の画像を示す情報を取得し、取得した検査用の画像を示す情報に基づいて、検査用の画像から、製品１０１の部分を切り出すことによって、製品１０１の画像を取得する。画像処理部１５６は、取得した製品１０１の画像を複数に分割し、分割によって得られる複数の分割画像の各々を、判別部１５８に出力する。
（ステップＳ２９） 判別部１５８は、画像処理部１５６が出力した複数の分割画像の各々を取得し、取得した複数の分割画像の各々の良否を判別する。判別部１５８は、複数の分割画像の各々の良否を判別した結果に基づいて、良と判別された割合に基づいて、製品１０１が良品であるか不良品であるかを判別する。判別部１５８は、製品１０１が不良品であると判別した場合に、不良品と判別されたことを示す情報を、出力部１６０に出力する。ここで、制御装置１５０は、パトライト（登録商標）（図示なし）を点灯してもよい。
（ステップＳ３０） 判別部１５８は、製品１０１が良品であると判別した場合に、製品１０１が良品であることを示す情報を出力する。
（ステップＳ３１） 出力部１６０は、処理部１５２が出力した経過時間Ｔｓを示す情報を取得する。出力部１６０は、判別部１５８が出力した不良品と判別されたことを示す情報を取得した場合に、通過時間Ｔｓに基づいて、排出部１３０ａに不良品と判別された製品１０１を排出させるタイミングである排出タイミングを導出する。
（ステップＳ３２） 出力部１６０は、導出した排出タイミングに基づいて、不良品と判別された製品１０１が排出エリア１４０ａに排出されるように、排出部１３０ａに制御信号を出力する。
（ステップＳ３３） 排出部１３０ａは、出力部１６０が出力した制御情報に基づいて、不良品と判別された製品１０１を、排出エリア１４０ａに排出する。
FIG. 12 is a sequence diagram showing a third example of the operation of the visual inspection system according to this embodiment. The operation for determining the quality of the
(Step S28) The
(Step S29) The determining
(Step S30) When the determining
(Step S31) The
(Step S32) Based on the derived discharge timing, the
(Step S33) The
前述した実施形態において、製品１０１の表面の色と、光を反射する程度とのいずれか一方又は両方に基づいて、青色以外の色の光が照射されてもよい。
本実施形態に係る外観検査システムによれば、撮像部が撮像した画像に含まれる検査対象物のコントラストを高く、はっきりできるため、エッジ強調フィルタ処理を省略でき、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。さらに、撮像部によって撮像された画像には検査対象物の三面を含むため、撮影装置と、照明装置とを増加させることなく実現できる。検査対象物の画像を複数に分割し、複数の分割画像の各々に対応する学習モデルに基づいて、複数の分割画像の各々の判定を行うため、検査対象物の画像を複数に分割しない場合よりも、微細な不具合箇所を検出できる。このため、検品作業における精度を向上できる。
In the embodiment described above, light of a color other than blue may be irradiated based on either or both of the color of the surface of the
According to the appearance inspection system according to the present embodiment, the contrast of the inspection object included in the image captured by the imaging unit can be made high and clear, so edge enhancement filter processing can be omitted, and complex shapes and surfaces with many reflections can be inspected. It is possible to improve the accuracy in the inspection work of the inspection target object. Furthermore, since the image captured by the imaging unit includes three sides of the object to be inspected, it can be realized without increasing the number of imaging devices and illumination devices. The image of the inspection target is divided into multiple parts, and each of the multiple divided images is judged based on the learning model corresponding to each of the multiple divided images. It is also possible to detect minute defects. Therefore, accuracy in inspection work can be improved.
（変形例）
図１３は、本実施形態の変形例に係る外観検査システムの一例を示す図である。外観検査システム１００ａは、ベルトコンベアＢＣ－２ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａと、制御装置１５０とを備える。制御装置１５０は、ベルトコンベアＢＣ－２ａと、照明部１０２ａと、撮像部１０３ａと、撮像部１０４ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａと接続される。図１４は、本実施形態の変形例に係る外観検査システムにおける照明部の配置の一例を示す図である。図１４において、照明部１０２ａと撮像部１０３ａと撮像部１０４ａと照明部１０５ａとは省略されている。照明部１０７ａと、照明部１０８ａとは、制御装置１５０によって制御される。照明部１０７ａと、照明部１０８ａとは、製品１０１に光を照射する。照明部１０７ａと、照明部１０８ａとが照射する光の色の一例は、青色である。照明部１０７ａは、製品１０１が載置された面に対して、一主面と平行かつ第１軸と垂直な第３軸周りに、第３角度θ３の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第３角度θ３の一例は１５度以上２５度以下であり、より好ましくは１７．５度以上２２．５度以下である。以下、第３角度θ３を２０度として説明を続ける。照明部１０８ａは、製品１０１が載置された面に対して、第３軸と平行な第４軸周りに、照明部１０７ａとは反対側から、第３角度θ３の入射角度で光を照射する。一主面の法線方向を０度とした場合に、第３角度θ３の一例は、１５度以上２５度以下であり、より好ましくは、１７．５度以上２２．５度以下である。以下、第３角度θ３を２０度として説明を続ける。照明部１０７ａと、照明部１０８ａとの一例は、複数のＬＥＤをＸ方向に並べたものである。
(Modified example)
FIG. 13 is a diagram showing an example of a visual inspection system according to a modification of this embodiment. The
変形例に係る外観検査システムの制御装置の一例は、図４を適用できる。図１５は、本実施形態の変形例に係る外観検査システムにおける製品の載置の一例を示す図である。製品１０１の一主面の短辺の二辺と、照明部１０２ａと照明部１０５ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て、第２角度θ２となるように載置される。製品１０１の一主面の長辺の二辺と、照明部１０７ａと、照明部１０８ａとが光を照射する方向とのなす角度が、一主面の法線方向から見て、第４角度θ４となるように載置される。第４角度θ４の一例は６５度以上７５度以下であり、より好ましくは６７．５度以上７２．５度以下である。以下、第４角度θ４が、７０度であるとして説明を続ける。処理部１５２が、ベルトコンベアＢＣ－２ａを制御することによって、製品１０１の一主面の中心が、位置Ｐと一致する。処理部１５２は、製品１０１の一主面の中心が、位置Ｐと一致する前に、照明部１０２ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａとを制御することによって、製品１０１に光を照射させる。処理部１５２は、製品１０１に光を照射させた状態で、製品１０１の一主面の中心が、位置Ｐと一致するタイミングで、撮像部１０３ａと、撮像部１０４ａとに、製品１０１を撮像させる。
FIG. 4 can be applied to an example of the control device of the visual inspection system according to the modification. FIG. 15 is a diagram showing an example of product placement in the visual inspection system according to a modification of the present embodiment. The angle between the two short sides of one principal surface of the
変形例において、照明部１０２ａと、照明部１０５ａと、照明部１０７ａと、照明部１０８ａとの各々が照射する光の色が異なっていてもよい。変形例においては、第１検査ラインについて説明したが、第２検査ラインから第４検査ラインにも適用できる。変形例において、外観検査システム１００に、照明部１０７ａと、照明部１０８ａとのいずれか一方を適用してもよい。
変形例に係る外観検査システムによれば、外観検査システム１００の効果に加え、照明部１０７ａによって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。また、外観検査システム１００の効果に加え、照明部１０８ａによって、検査対象物に光を照射できるため、撮像部によって撮像された画像に含まれる検査対象物のコントラストをさらに高く、はっきりできる。このため、複雑な形状・反射の多い表面を有する検査対象物の検品作業における精度を向上できる。
In a modification, the colors of the light emitted by each of the
According to the visual inspection system according to the modification, in addition to the effects of the
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
Although the embodiment of the present invention has been described above in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and design changes and the like may be made without departing from the gist of the present invention. For example, a computer program for realizing the functions of each device described above may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. Note that the "computer system" here may include hardware such as an OS and peripheral devices.
Furthermore, "computer-readable recording media" refers to flexible disks, magneto-optical disks, ROMs, writable non-volatile memories such as flash memory, portable media such as DVDs (Digital Versatile Discs), and media built into computer systems. A storage device such as a hard disk. Furthermore, "computer-readable recording medium" refers to volatile memory (for example, DRAM (Dynamic It also includes those that retain programs for a certain period of time, such as Random Access Memory). Further, the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in a transmission medium. Here, the "transmission medium" that transmits the program refers to a medium that has a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Moreover, the above-mentioned program may be for realizing a part of the above-mentioned functions. Furthermore, it may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
１００、１００ａ…外観検査システム、１０１…製品、１０２ａ、１０５ａ、１０７ａ、１０８ａ…照明部、１０３ａ、１０４ａ…撮像部、１１０ａ…センサー、１２０ａ…センサー、１３０ａ…排出部、１４０ａ…排出エリア、１５０…制御装置、１５２…処理部、１５４…取得部、１５６…画像処理部、１５７…学習部、１５８…判別部、１６０…出力部 100, 100a... Visual inspection system, 101... Product, 102a, 105a, 107a, 108a... Illumination section, 103a, 104a... Imaging section, 110a... Sensor, 120a... Sensor, 130a... Ejection section, 140a... Ejection area, 150... Control device, 152... Processing unit, 154... Acquisition unit, 156... Image processing unit, 157... Learning unit, 158... Discrimination unit, 160... Output unit
Claims (4)
検査対象物の一主面に対して、前記一主面と平行な第１軸周りに第１角度の入射角度で光を照射する第１照明部と、
前記第１照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第１撮像部と、
前記検査対象物の前記一主面に対して、前記第１軸と同軸または平行な第２軸周りに、前記第１照明部とは反対側から前記第１角度の入射角度で光を照射する第２照明部と、
前記第２照明部によって照射された前記検査対象物を、前記入射角度に対する反射角度で撮像する第２撮像部と、
前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の複数の前記画像の各々を複数に分割することによって複数の分割画像を取得する画像処理部と、
複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記画像処理部が取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別する判別部と、
前記判別部によって、判別された前記検査対象物の良否の結果を出力する出力部と
を備え、
前記第１角度は、前記一主面の法線方向を０度としたとき、５０度以上７０度以下であり、
前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第１照明部と前記第２照明部との各々が照射する前記光の照射方向とが、前記一主面の法線方向から見て第２角度をなし、前記第２角度は、１５度以上２５度以下であり、
前記画像処理部は、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の３面の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得し、
前記判別部は、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別し、
前記学習モデルは、複数の分割画像の各々と、各分割画像に表された検査対象物を再構成した画像とに基づいて、所定の損失関数を最小にするように前記学習モデルのパラメータを最適化したものである、外観検査システム。 An appearance inspection system that uses an image of the inspection object to determine the quality of the inspection object, the system comprising:
a first illumination unit that irradiates light onto one main surface of the object to be inspected at a first incident angle around a first axis parallel to the one main surface;
a first imaging unit that images the inspection object irradiated by the first illumination unit at a reflection angle with respect to the incident angle;
irradiating the one principal surface of the inspection object with light at an incident angle of the first angle from a side opposite to the first illumination unit around a second axis coaxial or parallel to the first axis; a second lighting section;
a second imaging unit that images the inspection object illuminated by the second illumination unit at a reflection angle with respect to the incident angle;
an image processing unit that obtains a plurality of divided images by dividing each of the plurality of images of the inspection object captured by each of the first imaging unit and the second imaging unit;
A learning model generated by learning using a plurality of images of the inspection object is used to generate a plurality of reproduction images that are images that reproduce each of the plurality of divided images acquired by the image processing unit, and a determining unit that determines the quality of the inspection object based on each of the divided images and each of the plurality of reproduced images;
an output unit that outputs a result of the quality of the inspection object determined by the determination unit;
The first angle is 50 degrees or more and 70 degrees or less, when the normal direction of the one principal surface is 0 degrees,
The object to be inspected is a rectangular parallelepiped, and two opposing sides of the one principal surface and the irradiation direction of the light irradiated by each of the first illumination section and the second illumination section are the same as the one principal surface. forms a second angle when viewed from the normal direction, and the second angle is 15 degrees or more and 25 degrees or less,
The image processing section extracts parts of the inspection object from images of three sides of the inspection object captured by each of the first imaging section and the second imaging section, and extracts the extracted inspection object. Obtain multiple divided images by dividing the image of the part of the object into multiple parts ,
The discrimination unit derives a plurality of reproduction accuracies for each of the plurality of divided images and each of a plurality of reproduced images obtained by reproducing each of the plurality of divided images using the learning model, and Determining the quality of the inspection target based on the reproducibility accuracy,
The learning model optimizes the parameters of the learning model so as to minimize a predetermined loss function based on each of the plurality of divided images and the reconstructed image of the inspection object represented in each divided image. Visual inspection system.
第１照明部が、検査対象物の一主面に対して、前記一主面と平行な第１軸周りに第１角度の入射角度で光を照射するステップと、
第１撮像部が、前記第１照明部によって光が照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、
第２照明部が、前記検査対象物の前記一主面に対して、前記第１軸と同軸または平行な第２軸周りに、前記第１照明部とは反対側から前記第１角度の入射角度で光を照射するステップと、
第２撮像部が、第２照明部によって光が照射された前記検査対象物を、前記入射角度に対する反射角度で撮像するステップと、
前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の前記画像を複数に分割することによって複数の分割画像を取得するステップと、
複数の前記検査対象物の画像を用いた学習によって生成された学習モデルを用いて、前記分割するステップで取得した複数の前記分割画像の各々を再現した画像である再現画像を複数生成し、複数の前記分割画像の各々と、複数の前記再現画像の各々とに基づいて、前記検査対象物の良否を判別するステップと、
前記判別するステップによって判別された前記検査対象物の良否の結果を出力するステップと
を有し、
前記第１角度は、前記一主面の法線方向を０度としたとき、５０度以上７０度以下であり、
前記検査対象物は、直方体であり、前記一主面の対向する二辺と、前記第１照明部と前記第２照明部との各々が照射する前記光の照射方向とが、前記一主面の法線方向から見て第２角度をなし、前記第２角度は、１５度以上２５度以下であり、
前記取得するステップでは、前記第１撮像部と前記第２撮像部との各々によって撮像された前記検査対象物の３面の画像から、前記検査対象物の部分を抽出し、抽出した前記検査対象物の部分の画像を複数に分割することによって複数の分割画像を取得し、
前記判別するステップでは、複数の前記分割画像の各々と、前記学習モデルを用いて複数の前記分割画像の各々を再現した複数の再現画像の各々との再現精度を複数導出し、導出した複数の前記再現精度に基づいて、前記検査対象物の良否を判別し、
前記学習モデルは、複数の分割画像の各々と、各分割画像に表された検査対象物を再構成した画像とに基づいて、所定の損失関数を最小にするように前記学習モデルのパラメータを最適化したものである、外観検査方法。 An appearance inspection method performed by an appearance inspection system that determines the quality of the inspection object using an image of the inspection object, the method comprising:
a step in which the first illumination unit irradiates light onto one principal surface of the object to be inspected at a first incident angle around a first axis parallel to the one principal surface;
a first imaging unit imaging the inspection object irradiated with light by the first illumination unit at a reflection angle with respect to the incident angle;
A second illumination section is configured to illuminate the one main surface of the inspection object around a second axis coaxial or parallel to the first axis at the first angle from a side opposite to the first illumination section. a step of irradiating light at an angle;
a second imaging unit imaging the inspection object irradiated with light by the second illumination unit at a reflection angle with respect to the incident angle;
acquiring a plurality of divided images by dividing the image of the inspection object captured by each of the first imaging unit and the second imaging unit into a plurality of parts;
A learning model generated by learning using a plurality of images of the inspection object is used to generate a plurality of reproduction images that are images that reproduce each of the plurality of divided images obtained in the dividing step, and determining the quality of the inspection object based on each of the divided images and each of the plurality of reproduced images;
outputting a result of the quality of the inspection object determined in the determining step;
The first angle is 50 degrees or more and 70 degrees or less, when the normal direction of the one principal surface is 0 degrees,
The object to be inspected is a rectangular parallelepiped, and two opposing sides of the one principal surface and the irradiation direction of the light irradiated by each of the first illumination section and the second illumination section are the same as the one principal surface. forms a second angle when viewed from the normal direction, and the second angle is 15 degrees or more and 25 degrees or less,
In the acquiring step, a portion of the inspection object is extracted from images of three sides of the inspection object captured by each of the first imaging section and the second imaging section, and the extracted inspection object is Obtain multiple divided images by dividing the image of the part of the object into multiple parts ,
In the step of determining, a plurality of reproduction accuracies are derived for each of the plurality of divided images and each of a plurality of reproduced images obtained by reproducing each of the plurality of divided images using the learning model. determining whether the inspection target is good or bad based on the reproducibility;
The learning model optimizes the parameters of the learning model so as to minimize a predetermined loss function based on each of the plurality of divided images and the reconstructed image of the inspection object represented in each divided image. Visual inspection method
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019163358A JP7391579B2 (en) | 2019-09-06 | 2019-09-06 | Visual inspection system and visual inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019163358A JP7391579B2 (en) | 2019-09-06 | 2019-09-06 | Visual inspection system and visual inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021042994A JP2021042994A (en) | 2021-03-18 |
| JP7391579B2 true JP7391579B2 (en) | 2023-12-05 |
Family
ID=74862573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019163358A Active JP7391579B2 (en) | 2019-09-06 | 2019-09-06 | Visual inspection system and visual inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7391579B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113916895A (en) * | 2021-10-29 | 2022-01-11 | 辽宁春光制药装备股份有限公司 | Method and device for detecting and processing bar cheese lack |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001255275A (en) | 2000-03-13 | 2001-09-21 | Kawasaki Steel Corp | Surface defect inspection method and device |
| JP2017009523A (en) | 2015-06-25 | 2017-01-12 | Ｊｆｅスチール株式会社 | Surface defect detection method, surface defect detection device, and method of manufacturing steel |
| JP2017190962A (en) | 2016-04-11 | 2017-10-19 | 日本電産トーソク株式会社 | Device and method for inspecting workpiece appearance |
| JP2018205163A (en) | 2017-06-06 | 2018-12-27 | 株式会社デンソー | Visual inspection device, conversion data generator, and program |
| JP2019135461A (en) | 2018-02-05 | 2019-08-15 | 株式会社Ｓｃｒｅｅｎホールディングス | Image acquisition device, image acquisition method, and inspection device |
-
2019
- 2019-09-06 JP JP2019163358A patent/JP7391579B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001255275A (en) | 2000-03-13 | 2001-09-21 | Kawasaki Steel Corp | Surface defect inspection method and device |
| JP2017009523A (en) | 2015-06-25 | 2017-01-12 | Ｊｆｅスチール株式会社 | Surface defect detection method, surface defect detection device, and method of manufacturing steel |
| JP2017190962A (en) | 2016-04-11 | 2017-10-19 | 日本電産トーソク株式会社 | Device and method for inspecting workpiece appearance |
| JP2018205163A (en) | 2017-06-06 | 2018-12-27 | 株式会社デンソー | Visual inspection device, conversion data generator, and program |
| JP2019135461A (en) | 2018-02-05 | 2019-08-15 | 株式会社Ｓｃｒｅｅｎホールディングス | Image acquisition device, image acquisition method, and inspection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021042994A (en) | 2021-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6189127B2 (en) | Soldering inspection apparatus, soldering inspection method, and electronic component | |
| JP2020042044A (en) | Appearance inspection device, lighting device, and imaging lighting device | |
| US20020196432A1 (en) | Defect detector and method of detecting defect | |
| JPH0412416B2 (en) | ||
| JP5174540B2 (en) | Wood defect detection device | |
| US20170186148A1 (en) | Inspection apparatus, inspection system, and method of manufacturing article | |
| JP7391579B2 (en) | Visual inspection system and visual inspection method | |
| TW201738985A (en) | System, method and computer program product for correcting a difference image generated from a comparison of target and reference dies | |
| JP5344792B2 (en) | Measurement system and method for detecting defects in an object | |
| JPH0575062B2 (en) | ||
| TW200839916A (en) | Polarization imaging | |
| JP7458158B2 (en) | Visual inspection system and visual inspection method | |
| JP7336322B2 (en) | APPEARANCE INSPECTION SYSTEM AND APPEARANCE INSPECTION METHOD | |
| JP7390828B2 (en) | Visual inspection system and visual inspection method | |
| JPS62232504A (en) | Position detector | |
| JPS6355445A (en) | Appearance inspection system | |
| JP4534827B2 (en) | Film defect detection method and defect detection apparatus | |
| JPS63284455A (en) | Surface defect inspection device | |
| JPH08233747A (en) | Method and apparatus for inspecting defect | |
| JPH10253543A (en) | Instrument and method for visual examination of substrate | |
| EP4220075B1 (en) | Method and arrangements for obtaining and associating 2d image data with 3d image data from light triangulation | |
| US20230028335A1 (en) | Abnormality inspection system, abnormality inspection method and program | |
| JP2005189167A (en) | Bridge inspection device of cap | |
| JPS59157507A (en) | Shape defect detector | |
| JPH11173828A (en) | Bore blowhole inspecting method for cylinder block |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191018 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231122 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7391579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |