JP7308301B2 - Inspection device, bag making system, judgment model, and inspection method - Google Patents

Inspection device, bag making system, judgment model, and inspection method Download PDF

Info

Publication number
JP7308301B2
JP7308301B2 JP2021574505A JP2021574505A JP7308301B2 JP 7308301 B2 JP7308301 B2 JP 7308301B2 JP 2021574505 A JP2021574505 A JP 2021574505A JP 2021574505 A JP2021574505 A JP 2021574505A JP 7308301 B2 JP7308301 B2 JP 7308301B2
Authority
JP
Japan
Prior art keywords
sheet
pair
image
pattern
defective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021574505A
Other languages
Japanese (ja)
Other versions
JPWO2021153029A1 (en
Inventor
圭介 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyoto Seisakusho Co Ltd
Original Assignee
Kyoto Seisakusho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyoto Seisakusho Co Ltd filed Critical Kyoto Seisakusho Co Ltd
Publication of JPWO2021153029A1 publication Critical patent/JPWO2021153029A1/ja
Application granted granted Critical
Publication of JP7308301B2 publication Critical patent/JP7308301B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents

Description

本開示は、袋体の検査を行う検査装置、検査に用いられる判定モデル、検査装置を備える袋体の製袋システム、及び検査方法に関する。 The present disclosure relates to an inspection device that inspects bags, a judgment model used for inspection, a bag-making system including the inspection device, and an inspection method.

各種の製品を包装する、及び、液状の製品を搬送するためにパッキングする等の目的から、これらの製品は袋体に入れられる。このような袋体は、傷の形成及び異物の混入等の異常の発生を抑制するために製品が入れられる前にこのような異常の有無について検査が行われる。従来、このような検査では、一部の簡易なものを除き、検査作業員による目視での検査が一般的である。これに対して、例えば、特許文献1には、袋体の一種である包装体を封止する封止箇所において不良を検出する包装物の検査装置が開示されている。特許文献1に開示された検査装置では、検査画像と基準画像とを比較し、パターンマッチング等により封止部の不良の検出が行われる。 For the purpose of packaging various products and packing liquid products for transportation, these products are put into bags. Such bags are inspected for defects such as flaws and contamination before the product is put into the bag. Conventionally, in such inspections, except for some simple inspections, visual inspections by inspection workers are common. On the other hand, for example, Patent Literature 1 discloses a package inspection apparatus that detects defects in a sealed portion of a package, which is a type of bag. The inspection apparatus disclosed in Patent Document 1 compares an inspection image with a reference image, and detects defects in the sealing portion by pattern matching or the like.

特開2017-083403号公報JP 2017-083403 A

しかしながら、上記の特許文献1において開示された検査装置では、正確な検査ができない場合がある。 However, the inspection apparatus disclosed in Patent Literature 1 may not be able to perform accurate inspection.

そこで、本開示は、より正確に検査できる検査装置等を提供する。 Therefore, the present disclosure provides an inspection apparatus and the like that can perform inspections more accurately.

上記課題を解決するために、本開示の一態様に係る検査装置は、第1パターンを有する第1シートと、少なくとも一部が透光性を有する第2シートと、を重ねたシート対であって、前記第1シート及び前記第2シートの各々の端部が接合されることで袋体を形成するシート対の検査を行う検査装置であって、前記シート対を前記第2シート側から撮像した画像を取得する取得部と、前記検査において、良又は不良のうち良であると判定される良品シート対、及び、良又は不良のうち不良であると判定される不良品シート対の少なくとも一方が前記第2シート側から撮像された教師画像を用いた機械学習によって構築された判定モデルにより、取得された前記画像に対応する前記シート対の良及び不良の少なくとも一方の判定を行う判定部と、を備える。 In order to solve the above problems, an inspection apparatus according to an aspect of the present disclosure is a pair of sheets in which a first sheet having a first pattern and a second sheet having at least a part of it being translucent are stacked. an inspection device for inspecting a pair of sheets forming a bag body by joining respective ends of the first sheet and the second sheet, wherein the pair of sheets is imaged from the side of the second sheet. at least one of a non-defective sheet pair determined to be good out of good or defective in the inspection, and a defective sheet pair determined to be defective out of good or defective in the inspection a judgment unit that judges at least one of good and bad of the pair of sheets corresponding to the acquired image by a judgment model constructed by machine learning using a teacher image captured from the second sheet side; , provided.

また、本開示の一態様に係る製袋システムは、第1パターンを有する第1シートと、少なくとも一部が透光性を有する第2シートと、を重ねたシート対において、前記第1シート及び前記第2シートの各々の端部を接合することで袋体を形成する形成装置と、上記に記載の検査装置と、を備える。 In addition, a bag-making system according to an aspect of the present disclosure is a pair of sheets in which a first sheet having a first pattern and a second sheet having at least a portion thereof are translucent are stacked, wherein the first sheet and A forming device for forming a bag by joining respective ends of the second sheet, and the inspection device described above.

また、本開示の一態様に係る判定モデルは、コンピュータによって実行されるプログラムに含まれ、入力データとして入力された画像に基づいて判定された出力データを出力する判定モデルであって、第1パターンを有する第1シートと、少なくとも一部が透光性を有する第2シートと、を重ねたシート対であって、前記第1シート及び前記第2シートの各々の端部が接合されることで袋体を形成するシート対を前記第2シート側から撮像された画像が前記入力データとして入力された場合に、取得された前記画像に対応する前記シート対の良及び不良の少なくとも一方の判定を行い、判定結果を前記出力データとして出力する。 Further, a determination model according to an aspect of the present disclosure is a determination model that is included in a program executed by a computer and that outputs output data determined based on an image that is input as input data, the first pattern and a second sheet at least partially translucent, wherein the ends of the first sheet and the second sheet are joined to each other Determining at least one of good and bad of the pair of sheets corresponding to the acquired image when an image of the pair of sheets forming the bag body captured from the side of the second sheet is input as the input data. and output the determination result as the output data.

また、本開示の一態様に係る検査方法は、第1パターンを有する第1シートと、少なくとも一部が透光性を有する第2シートと、を重ねたシート対であって、前記第1シート及び前記第2シートの各々の端部が接合されることで袋体を形成するシート対の検査における検査方法であって、前記シート対を前記第2シート側から撮像した画像を取得する取得ステップと、前記検査において、良又は不良のうち良であると判定される良品シート対、及び、良又は不良のうち不良であると判定される不良品シート対の少なくとも一方が前記第2シート側から撮像された教師画像を用いた機械学習によって構築された判定モデルにより、取得された前記画像に対応する前記シート対の良及び不良の少なくとも一方の判定を行う判定ステップと、を含む。 Further, an inspection method according to an aspect of the present disclosure is a pair of sheets in which a first sheet having a first pattern and a second sheet having at least a part thereof having translucency are stacked, wherein the first sheet and an inspection method for inspecting a pair of sheets formed by joining the ends of the second sheets to form a bag, wherein an acquisition step of acquiring an image of the pair of sheets taken from the side of the second sheet and at least one of a pair of non-defective sheets determined to be good out of good or defective in the inspection and a pair of defective sheets determined to be defective out of good or defective from the second sheet side. a determination step of determining at least one of good and bad of the pair of sheets corresponding to the acquired image by a determination model constructed by machine learning using the captured teacher image.

本開示によれば、より正確に検査できる検査装置等が提供される。 According to the present disclosure, an inspection device and the like that can perform inspections more accurately are provided.

図1は、実施の形態に係る検査装置の外観を示す概観図である。FIG. 1 is a schematic diagram showing the appearance of an inspection apparatus according to an embodiment. 図2は、実施の形態に係るシート対について説明する図である。FIG. 2 is a diagram for explaining the sheet pair according to the embodiment. 図3Aは、実施の形態に係る重畳パターンについて説明する第1図である。FIG. 3A is a first diagram illustrating a superimposed pattern according to the embodiment; FIG. 図3Bは、実施の形態に係る重畳パターンについて説明する第2図である。FIG. 3B is a second diagram illustrating superimposed patterns according to the embodiment. 図3Cは、実施の形態に係る重畳パターンについて説明する第3図である。FIG. 3C is a third diagram illustrating superimposed patterns according to the embodiment. 図4は、実施の形態に係る検査装置を示すブロック図である。FIG. 4 is a block diagram showing the inspection device according to the embodiment. 図5は、実施の形態に係る撮像装置を説明する図である。FIG. 5 is a diagram for explaining an imaging device according to an embodiment. 図6は、実施の形態において取得される画像の内容を説明する図である。FIG. 6 is a diagram explaining the content of an image acquired in the embodiment. 図7は、実施の形態に係る判定部において用いられる判定モデルを説明する図である。FIG. 7 is a diagram for explaining a determination model used in the determination unit according to the embodiment; 図8は、実施の形態に係る製袋システムの動作を示すフローチャートである。FIG. 8 is a flow chart showing the operation of the bag making system according to the embodiment. 図9は、実施の形態に係る生成装置及び検査装置を示すブロック図である。FIG. 9 is a block diagram showing a generation device and an inspection device according to the embodiment. 図10は、生成装置の動作を示すフローチャートである。FIG. 10 is a flow chart showing the operation of the generator. 図11は、実施の形態の変形例に係る製袋システムの外観を示す概観図である。FIG. 11 is an overview diagram showing the appearance of a bag-making system according to a modification of the embodiment. 図12は、実施の形態の変形例に係る製袋システムの動作を示すフローチャートである。FIG. 12 is a flow chart showing the operation of the bag making system according to the modification of the embodiment.

(本開示を得るに至った知見)
2枚のシートを重ねて端部どうしを接合することで袋体を形成する手法が多くの製品におけるパッケージングに採用されている。例えば、略同サイズの方形のシート2枚を重ね、端部の四方を接合した四方シールは、無駄の少ない輸送に適したパッケージであるため、一般に広く使用されている。このようにして端部をシール(つまり、接合)することで形成された袋体は、製品メーカに供給され、内部に製品が内包された状態で出荷される。すなわち、袋体には、内包される製品を入れるための開口が残されており、製品を入れた後に当該開口をさらにシールすることで製品がパッケージングされる。
(Knowledge leading to the present disclosure)
The technique of forming a bag by stacking two sheets and joining the ends together is used in the packaging of many products. For example, a four-sided seal, which is obtained by stacking two rectangular sheets of approximately the same size and joining them at the four sides, is generally widely used because it is a package suitable for transportation with little waste. The bag formed by sealing (that is, joining) the ends in this way is supplied to the product maker and shipped with the product enclosed therein. That is, the bag body has an opening for containing the product to be enclosed, and the product is packaged by further sealing the opening after the product is contained.

従来では、このようにして製品が内包されたパッケージは、さらに外装箱等に装填されていた。しかしながら、近年では、このようなパッケージに用いられるシート材の耐久性が向上され、また、外装箱等を使用することの環境負荷への配慮から、パッケージに内包されるのみの状態で出荷されることも普及しつつある。 Conventionally, the package containing the product in this manner was further loaded into an exterior box or the like. However, in recent years, the durability of the sheet material used for such packages has been improved, and due to the consideration of the environmental burden of using an outer box etc., the product is shipped in a state of being only enclosed in the package. is also becoming popular.

ここで、このようにパッケージに内包されるのみで製品が出荷されるためには、パッケージに用いられるシートに各種の情報がパターンとして形成される必要がある。具体的には、パッケージに用いられるシートには、文字及び数字等を用いて内包される製品の製品名及びメーカ名等が形成され、図形、記号、及び模様等を用いてメーカロゴ及び装飾模様等が形成される。 Here, in order for the product to be shipped only by being enclosed in the package, it is necessary to form various kinds of information as patterns on the sheet used for the package. Specifically, on the sheet used for the package, the product name and manufacturer name of the enclosed product are formed using letters and numbers, etc., and the manufacturer's logo and decorative patterns are formed using figures, symbols, patterns, etc. is formed.

また、出荷される製品には、パッケージに用いられたシート(端部のシールが行われる箇所も含む全面)における傷、フィッシュアイ、及びピンホールの形成、ならびにシートへの異物の混入等の異常が生じないように、これらの異常の有無の検査が行われる。検査は、(i)製品が内包された後に行われる場合と、(ii)製品が内包される前に行われる場合と、(iii)この双方を行う場合とがある。上記のように、パッケージング用の袋体と製品とが別のメーカによって製造される、又は別の製造ラインにおいて製造される等の場合には、少なくとも製品が内包される前に検査が行われること(上記の(ii)又は(iii))が主流である。 In addition, defects such as scratches, fisheyes, and pinholes on the sheet used for the package (the entire surface including the part where the edge is sealed), and foreign matter entering the sheet may be detected in the shipped product. Inspections for the presence or absence of these abnormalities are carried out so as not to occur. The inspection may be (i) after the product is packaged, (ii) before the product is packaged, or (iii) both. As described above, when the packaging bag and the product are manufactured by different manufacturers or manufactured on different production lines, inspection is performed at least before the product is enclosed. ((ii) or (iii) above) is the mainstream.

このような検査では、様々な異常の発生要因に基づく、様々なバリエーションの異常が存在し、自動化が困難であるとされている。そのため、近年まで、検査は検査員等の人手によって実施されてきた経緯がある。 In such inspections, there are various variations of abnormalities based on various causes of abnormalities, and automation is considered to be difficult. For this reason, until recently, inspections have been conducted manually by inspectors and the like.

近年に至り、このような検査の一部が画像等を用いた自動検査に置き換えられつつあるものの、その正確度は十分とはいえない場合がある。そこで、本開示は上記に鑑みてなされ、より正確に検査できる検査装置等の提供を目的とする。 In recent years, some of such inspections have been replaced by automatic inspections using images, etc., but the accuracy of such inspections may not be sufficient. Therefore, the present disclosure is made in view of the above, and aims to provide an inspection apparatus and the like that can perform inspections more accurately.

以下、本開示の実施の形態について、図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本開示の包括的又は具体的な例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置及び接続形態、ならびに、ステップ及びステップの順序等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 Embodiments of the present disclosure will be described below with reference to the drawings. It should be noted that all of the embodiments described below represent comprehensive or specific examples of the present disclosure. Therefore, numerical values, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are examples and are not intended to limit the present disclosure. Therefore, among constituent elements in the following embodiments, constituent elements not described in independent claims of the present disclosure will be described as optional constituent elements.

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致していない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。 Each figure is a schematic diagram and is not necessarily strictly illustrated. Therefore, scales and the like are not always the same in each drawing. In each figure, the same reference numerals are assigned to substantially the same configurations, and duplicate descriptions are omitted or simplified.

(実施の形態)
[構成]
はじめに、図1~図6を用いて、実施の形態に係る検査装置の構成、及び検査装置によって検査される対象である袋体の構成について説明する。図1は、実施の形態に係る検査装置の外観を示す概観図である。図1では、検査装置100に加えて、撮像装置200及び搬送路400が図示されている。また、図1には、撮像装置200によるシート対13(後述する図2参照)の撮像に用いられる第1光源207及び第2光源208が図示されている。
(Embodiment)
[composition]
First, the configuration of an inspection apparatus according to an embodiment and the configuration of a bag to be inspected by the inspection apparatus will be described with reference to FIGS. 1 to 6. FIG. FIG. 1 is a schematic diagram showing the appearance of an inspection apparatus according to an embodiment. In FIG. 1, in addition to the inspection device 100, an imaging device 200 and a transport path 400 are illustrated. FIG. 1 also shows a first light source 207 and a second light source 208 used for imaging the sheet pair 13 (see FIG. 2 described later) by the imaging device 200 .

図1に示すように、本実施の形態における検査装置100は、撮像装置200によって撮像された画像209(後述する図6参照)を用いて、搬送路400の搬送面を搬送される袋体14におけるシート対13の良及び不良の少なくとも一方を判定する装置である。袋体14は、あらかじめ形成装置によって形成されて搬送路400上に略一定間隔で複数配置され、撮像装置200に備えられた第1カメラ201、第2カメラ202、及び第3カメラ203の下方に搬送されたものから順に検査装置100による検査が行われる。つまり、本実施の形態では、自動的かつ連続的に袋体14が形成された後のシート対13の検査が行われる。 As shown in FIG. 1, the inspection apparatus 100 according to the present embodiment uses an image 209 (see FIG. 6, which will be described later) captured by the imaging device 200 to detect the bag body 14 transported on the transport surface of the transport path 400. It is a device that determines at least one of the quality and the quality of the sheet pair 13 in. A plurality of bags 14 are formed in advance by a forming device and arranged on a conveying path 400 at substantially regular intervals, and are positioned below a first camera 201, a second camera 202, and a third camera 203 provided in an imaging device 200. Inspection by the inspection apparatus 100 is performed in order from the conveyed items. That is, in this embodiment, the sheet pair 13 after the bag body 14 has been formed is automatically and continuously inspected.

ここで、本開示におけるシート対13の「良又は不良の少なくとも一方の判定」とは、「良品」(つまり良と判定されるシート対13)と「不良品」(つまり不良と判定されるシート対13)との双方の判定を直接的に行って選別する「良否判定」のみを意図するものではない。例えば、「良又は不良の少なくとも一方の判定」は、「良品」と判定する動作を直接的に行い、「不良品」との判定を直接的に行わない「良か否か」の選別も包含する概念である。また、「良又は不良の少なくとも一方の判定」は、「不良品」と判定する動作を直接的に行い、「良品」との判定を直接的に行わない「不良か否か」の選別も包含する概念である。これらのうち、どのような判定を適用するかは、要求される正確さ、歩留まり、及びコストなどの条件により、適宜、選択され使い分けられる。 Here, the “determination of at least one of good or bad” of the sheet pair 13 in the present disclosure means “non-defective product” (that is, the sheet pair 13 that is determined to be good) and “defective product” (that is, the sheet that is determined to be defective). It is not intended only for "pass/fail judgment" in which the judgment of both pair 13) is directly performed and sorted. For example, "determining at least one of good or bad" includes the selection of "good or bad" that directly performs the operation of determining "good" and does not directly determine "defective". This is the concept of In addition, "determining at least one of good or bad" includes the selection of "defective or not" that directly performs the operation of determining "defective product" and does not directly determine "defective product". This is the concept of Which of these determinations is applied is appropriately selected and used according to conditions such as required accuracy, yield, and cost.

搬送路400は、例えば、動力源の回転駆動等によって載置された被搬送物(つまり袋体14)を所定の方向に移動させることで搬送を行うベルトコンベア等の装置である。搬送路400は、搬送の対象となる袋体14がシート形状であるため、サクションコンベアを用いて実現してもよい。搬送路400をサクションコンベアによって実現することで、袋体14を搬送面に吸引して保持することができる。このとき袋体14のうねり等が抑制されるため、撮像装置200による撮像の際により良好な画像209が取得される。 The conveying path 400 is, for example, a belt conveyor or other device that conveys the placed object (that is, the bag body 14) by moving it in a predetermined direction by rotating a power source or the like. The conveying path 400 may be realized by using a suction conveyor since the bag body 14 to be conveyed is in the form of a sheet. By realizing the conveying path 400 with a suction conveyor, the bag body 14 can be sucked and held on the conveying surface. At this time, since the undulation of the bag body 14 and the like is suppressed, a better image 209 is obtained when the imaging device 200 captures the image.

ただし、搬送路400は、第1光源207から出射された光が袋体14に到達するように、第1光源207に対応する箇所において離間した、少なくとも2つの搬送路400から成る。このため、搬送路400の離間箇所においては、サクションコンベアと異なる構成(例えば、単に被搬送物が載置されるのみのベルトコンベア等)が採用される。袋体14が離間箇所をまたぐようにして搬送されながら、第1光源207から出射された光が透過して、撮像装置200において受光されることで、画像209が撮像される。 However, the transport path 400 is composed of at least two transport paths 400 spaced apart at locations corresponding to the first light sources 207 so that the light emitted from the first light sources 207 reaches the bag body 14 . For this reason, a configuration different from that of the suction conveyor (for example, a belt conveyor on which the object to be transported is simply placed, etc.) is employed at the separated portion of the transport path 400 . Light emitted from the first light source 207 is transmitted while the bag body 14 is conveyed across the spaced location, and is received by the imaging device 200 to capture an image 209 .

ここで、袋体14について説明する。図2は、実施の形態に係るシート対について説明する図である。図2の(a)は、袋体14が形成される前のシート対13を示しており、図2の(b)は、袋体14が形成された後のシート対13を示している。図2の(b)では、接合された端部11a及び12aに対応する箇所を、ドットハッチングを付して示している。 Now, the bag body 14 will be described. FIG. 2 is a diagram for explaining the sheet pair according to the embodiment. 2(a) shows the sheet pair 13 before the bag 14 is formed, and FIG. 2(b) shows the sheet pair 13 after the bag 14 is formed. In FIG. 2B, portions corresponding to the joined ends 11a and 12a are indicated by dot hatching.

上記に説明したように、本実施の形態における袋体14は、シート対13を構成するフィルム状の第1シート11及び第2シート12が重ねられ、第1シート11の端部11a及び第2シート12の端部12aが接合されることで、形成される。本実施の形態においては、上記した方形かつ同サイズの第1シート11及び第2シート12を重ねて、端部11a及び12aを接合することで袋体14が形成される例を説明する。なお、本開示は、このような形状の袋体14を形成するシート対13のみに限定されることなく、任意の形状の第1シート11及び第2シート12を使用する袋体14の形成に対して適用可能である。 As described above, the bag body 14 in the present embodiment includes the film-like first sheet 11 and the film-like second sheet 12 that form the sheet pair 13, and the end portion 11a of the first sheet 11 and the second sheet 12 are overlapped. It is formed by joining the ends 12 a of the sheet 12 . In this embodiment, an example will be described in which the bag body 14 is formed by stacking the first sheet 11 and the second sheet 12 of the same size and having the same size and joining the ends 11a and 12a. It should be noted that the present disclosure is not limited to only the sheet pair 13 forming the bag 14 having such a shape, but is applicable to forming the bag 14 using the first sheet 11 and the second sheet 12 having any shape. applicable to

また、本実施の形態では、上記したように、別途製品が入れられるための開口を有する袋体14を形成しており、具体的には、四方シールのうち、一方が接合されていない三方シールの状態の袋体14の検査を行うものとして説明する。 In addition, in the present embodiment, as described above, the bag body 14 having an opening for inserting a separate product is formed. It is assumed that the bag body 14 in the state of is inspected.

第1シート11及び第2シート12は、同一の材料が用いられてもよく、異なる材料が用いられてもよい。例えば、第1シート11及び第2シート12は、ともにナイロン、ポリエチレン、ポリプロピレン等から構成される樹脂製シート材料である。また、例えば、第1シート11は、ナイロン、ポリエチレン、ポリプロピレン等から構成される樹脂製シート材料であり、第2シート12は、各種の天然又は化成繊維を集積した不織布であってもよい。 The same material may be used for the first sheet 11 and the second sheet 12, or different materials may be used. For example, the first sheet 11 and the second sheet 12 are both resin sheet materials made of nylon, polyethylene, polypropylene, or the like. Also, for example, the first sheet 11 may be a resin sheet material composed of nylon, polyethylene, polypropylene, or the like, and the second sheet 12 may be a non-woven fabric in which various natural or synthetic fibers are accumulated.

また、第1シート11及び第2シート12の少なくとも一方(図中では両方)に、形成された袋体14を開封するためのミシン目15が形成されている。このようなミシン目15に沿って袋体14を割くことで、袋体14を開封する際の開口部の形状を制御でき、内包される製品の取りこぼし等の事故を抑制できる。 At least one of the first sheet 11 and the second sheet 12 (both in the figure) is formed with a perforation 15 for opening the formed bag 14 . By splitting the bag 14 along such perforations 15, it is possible to control the shape of the opening when the bag 14 is unsealed, and to prevent accidents such as dropping the enclosed product.

ここで、第1シート11及び第2シート12に形成される第1パターン11b及び第2パターン12bについて説明する。図3Aは、実施の形態に係る重畳パターンについて説明する第1図である。図3Bは、実施の形態に係る重畳パターンについて説明する第2図である。図3Cは、実施の形態に係る重畳パターンについて説明する第3図である。図3A~図3Cでは、第1パターン11bの一例として左右反転された「A剤」の印字を示し、また、第2パターン12bの一例として「抗ウイルス薬」の印字をそれぞれ示している。なお、図中では「A剤」及び「抗ウイルス薬」の印字の内部は、外部よりも透過率の低い半遮光性を示す箇所であるが、後述の重畳パターンの説明において煩雑であるため、便宜上白抜きで示している。例えば、上記した印字は、透明の第1シート11及び第2シート12に着色された文字として印刷等の方法によって形成される。例えば、赤又は青等、透明であるシートの下地及び影等に対してコントラスト比の高い色によって印刷される。 Here, the first pattern 11b and the second pattern 12b formed on the first sheet 11 and the second sheet 12 will be described. FIG. 3A is a first diagram illustrating a superimposed pattern according to the embodiment; FIG. FIG. 3B is a second diagram illustrating superimposed patterns according to the embodiment. FIG. 3C is a third diagram illustrating superimposed patterns according to the embodiment. FIGS. 3A to 3C show left-right reversed printing of "agent A" as an example of the first pattern 11b, and show printing of "antiviral drug" as an example of the second pattern 12b. In the figure, the inside of the "Agent A" and "Antiviral drug" printed is a portion that exhibits a semi-light-shielding property with a lower transmittance than the outside. It is shown in white for convenience. For example, the above-described print is formed as colored characters on the transparent first sheet 11 and the second sheet 12 by a method such as printing. For example, it is printed with a color such as red or blue, which has a high contrast ratio with respect to the background and shadow of the transparent sheet.

図3A~図3Cに示すように、第1シート11及び第2シート12には、それぞれ、第1パターン11b及び第2パターン12bがあらかじめ形成されている。ここで、第1シート11は、少なくとも一部が透光性を有する。透光性を有するとは、例えば、透明であることをいい、第1シート11を介して反対側を視認可能な状態をいう。 As shown in FIGS. 3A to 3C, a first pattern 11b and a second pattern 12b are formed in advance on the first sheet 11 and the second sheet 12, respectively. Here, at least a portion of the first sheet 11 has translucency. Having translucency means, for example, being transparent, and means a state in which the opposite side can be visually recognized through the first sheet 11 .

図3Aにハッチングで示すように、第1パターン11bと第2パターン12bとが重複することで比較的透過率の低い重畳パターン14aが形成される。 As indicated by hatching in FIG. 3A, the first pattern 11b and the second pattern 12b overlap to form a superimposed pattern 14a with relatively low transmittance.

ここで、図3Bに示すように、第1シート11及び第2シート12の配置位置によっては第1パターン11bと第2パターン12bとの重複の態様が異なる。具体的には、重畳パターン14aのうち、一部に狭小な重畳パターン14aである疑似異常パターン14bが形成される。このような疑似異常パターン14bは、単に第1パターン11bと第2パターン12bとの重複によって形成されているものの、シート対13に形成された傷、フィッシュアイ、及びピンホール、ならびにシート対13に混入した異物等と、サイズによる閾値判断での区別が困難である。 Here, as shown in FIG. 3B, the manner in which the first pattern 11b and the second pattern 12b are overlapped differs depending on the arrangement positions of the first sheet 11 and the second sheet 12 . Specifically, a pseudo-abnormal pattern 14b, which is a narrow superimposed pattern 14a, is formed in part of the superimposed pattern 14a. Such a pseudo abnormal pattern 14b is formed simply by overlapping the first pattern 11b and the second pattern 12b, but the flaws, fisheyes, and pinholes formed in the sheet pair 13 and the sheet pair 13 It is difficult to distinguish between mixed foreign matter and the like by threshold judgment based on size.

特に、上記したように、第1パターン11bと第2パターン12bとの配置位置によっては、疑似異常パターン14bの形成位置が大きく変化する。具体的には、図3B及び図3Cに示すように、第1パターン11bと第2パターン12bとの配置位置がわずかに異なるのみで、疑似異常パターン14bは、「薬」の文字の右側から左側へと、形成位置が変化する。このような場合に、図3Cに示すように、実際に傷、フィッシュアイ、ピンホール、及び異物等の異常痕16が形成された場合、これらと、疑似異常パターン14bとの区別は困難である。特に、異常痕16が第1パターン11bに重複するように形成される場合(図3C参照)、及び、ミシン目15が投影されたミシンパターンに重複する場合は、区別がさらに困難となる。 In particular, as described above, depending on the arrangement positions of the first pattern 11b and the second pattern 12b, the formation position of the pseudo abnormal pattern 14b greatly changes. Specifically, as shown in FIGS. 3B and 3C, the placement positions of the first pattern 11b and the second pattern 12b are only slightly different, and the pseudo-abnormal pattern 14b extends from the right side of the character "medicine" to the left side. , the formation position changes. In such a case, as shown in FIG. 3C, when abnormal marks 16 such as scratches, fisheyes, pinholes, and foreign substances are actually formed, it is difficult to distinguish these from the pseudo abnormal patterns 14b. . In particular, when the abnormal mark 16 is formed so as to overlap the first pattern 11b (see FIG. 3C), and when the perforation 15 overlaps the projected sewing pattern, the distinction becomes even more difficult.

図4は、実施の形態に係る検査装置を示すブロック図である。図1を用いて説明したように、本実施の形態における検査装置100は、撮像装置200と接続され、撮像装置200から画像209を取得することで、当該画像209を用いたシート対13の良及び不良の少なくとも一方の判定を行う。 FIG. 4 is a block diagram showing the inspection device according to the embodiment. As described with reference to FIG. 1, the inspection apparatus 100 in the present embodiment is connected to the imaging device 200, acquires the image 209 from the imaging device 200, and determines the quality of the sheet pair 13 using the image 209. and at least one of failure is determined.

図4に示すように検査装置100は、取得部102と判定部101とを備える。取得部102は、撮像装置200から画像209を取得する処理部である。取得部102は、必要に応じて後述の判定部101において処理可能な形式に、取得した画像209を変換する等の処理を行う。 As shown in FIG. 4 , the inspection apparatus 100 includes an acquisition section 102 and a determination section 101 . The acquisition unit 102 is a processing unit that acquires the image 209 from the imaging device 200 . The acquisition unit 102 performs processing such as converting the acquired image 209 into a format that can be processed by the determination unit 101 described later as necessary.

判定部101は、取得部102において取得された画像209を用いて、当該画像209に対応するシート対13の良又は不良の少なくとも一方の判定を行う処理部である。つまり、判定部101は、取得した画像209に基づいて、当該画像209に写る袋体14のシート対13を構成する第1シート11及び第2シート12に異常痕16が存在するか否かに基づく判定を行う。このとき判定部101は、あらかじめ機械学習により構築(言い換えると生成)された判定モデル101aを用いて上記の判定を行う。判定モデル101aの詳細については後述する。 The determination unit 101 is a processing unit that uses the image 209 acquired by the acquisition unit 102 to determine at least one of whether the sheet pair 13 corresponding to the image 209 is good or bad. That is, based on the acquired image 209, the determination unit 101 determines whether the abnormal mark 16 exists on the first sheet 11 and the second sheet 12 that constitute the sheet pair 13 of the bag body 14 reflected in the image 209. Make a judgment based on At this time, the determination unit 101 performs the above determination using a determination model 101a constructed (in other words, generated) in advance by machine learning. Details of the determination model 101a will be described later.

取得部102及び判定部101は、いずれも、回路及び当該回路に接続されたメモリを用い、プログラムが実行されることで実現される。したがって、取得部102及び判定部101は、取得部102及び判定部101の機能をコンピュータにより実行させるための検査プログラムとして実現することも可能である。取得部102と判定部101とは、それぞれ別の回路とメモリとを用いて実現されてもよく、一つの回路とメモリとが共通化されてもよい。 Both the acquisition unit 102 and the determination unit 101 are realized by executing a program using a circuit and a memory connected to the circuit. Therefore, the acquisition unit 102 and the determination unit 101 can also be implemented as an inspection program for causing a computer to execute the functions of the acquisition unit 102 and the determination unit 101 . The acquisition unit 102 and the determination unit 101 may be implemented using separate circuits and memories, respectively, or one circuit and memory may be shared.

ここで、画像209の撮像に用いられる撮像装置200及び撮像された画像209について説明する。図5は、実施の形態に係る撮像装置を説明する図である。また、図6は、実施の形態において取得される画像の内容を説明する図である。図5では、撮像装置200による撮像に関わる各種構成要素と、撮像によって出力される各種画像とをブロック図で示している。 Here, the imaging device 200 used to capture the image 209 and the captured image 209 will be described. FIG. 5 is a diagram for explaining an imaging device according to an embodiment. Also, FIG. 6 is a diagram for explaining the content of an image acquired in the embodiment. FIG. 5 is a block diagram showing various components related to imaging by the imaging device 200 and various images output by imaging.

図5に示すように、また、上記に説明したように、撮像装置200は、第1カメラ201、第2カメラ202、及び第3カメラ203を備える。撮像装置200は、第2シート12側に配置されており、第2シート12側からシート対13の撮像を行う。また、撮像装置200による撮像は、第1シート11側に設けられた第1光源207、及び第2シート12側に設けられた第2光源208を用いて実施される。 As shown in FIG. 5 and as described above, the imaging device 200 comprises a first camera 201 , a second camera 202 and a third camera 203 . The imaging device 200 is arranged on the second sheet 12 side, and images the sheet pair 13 from the second sheet 12 side. Further, imaging by the imaging device 200 is performed using a first light source 207 provided on the first sheet 11 side and a second light source 208 provided on the second sheet 12 side.

第1カメラ201は、搬送路400による袋体14の搬送方向と直交する方向に配列された複数の撮像素子から成るラインカメラである。このように構成することで、第1カメラ201は、搬送される袋体14の全面を少ない撮像素子数で撮像することができる。図6に示すように、第1カメラ201が出力する第1画像204は、第1光源207によって照射された光が第1輝度の光であるときに、撮像された第1濃淡像と、第1輝度とは異なる第2輝度の光であるときに、撮像された第2濃淡像と、を含んで出力される。 The first camera 201 is a line camera composed of a plurality of imaging elements arranged in a direction perpendicular to the transport direction of the bag 14 along the transport path 400 . By configuring in this way, the first camera 201 can image the entire surface of the conveyed bag body 14 with a small number of imaging elements. As shown in FIG. 6, the first image 204 output by the first camera 201 includes a first grayscale image captured when the light emitted by the first light source 207 has a first luminance, and a first grayscale image. and a second gray-scale image captured when the light has a second luminance different from the first luminance.

例えば、遮光性を有する異物の混入等において、第1濃淡像及び第2濃淡像のいずれにおいても同様に、異物の混入箇所では、異物の外形に対応する異物痕が形成される。また、第1濃淡像と第2濃淡像との差分画像を生成することでシート対13のシワ等の影響を低減できる。 For example, when a foreign substance having a light-shielding property is mixed, a foreign substance mark corresponding to the outer shape of the foreign substance is similarly formed at the position where the foreign substance is mixed in both the first grayscale image and the second grayscale image. Further, by generating a differential image between the first grayscale image and the second grayscale image, the influence of wrinkles and the like on the sheet pair 13 can be reduced.

第2カメラ202は、搬送路400による袋体14の搬送方向と直交する方向に配列された複数の撮像素子から成るラインカメラである。このように構成することで、第2カメラ202は、搬送される袋体14の全面を少ない撮像素子数で撮像することができる。図6に示すように、第2カメラ202が出力する第2画像205は、第1光源207によって照射された光が第2カメラ202によって受光された赤色光として撮像されたR画像を含む。また、第2画像205は、第1光源207によって照射された光が第2カメラ202によって受光された緑色光として撮像されたG画像を含む。また、第2画像205は、第1光源207によって照射された光が第2カメラ202によって受光された青色光として撮像されたB画像を含んで出力される。このような、各色の光の撮像は、バンドパスフィルタ等を使用する公知の方法が任意に用いられる。 The second camera 202 is a line camera composed of a plurality of imaging elements arranged in a direction perpendicular to the direction in which the bag 14 is conveyed along the conveying path 400 . By configuring in this way, the second camera 202 can image the entire surface of the conveyed bag body 14 with a small number of imaging elements. As shown in FIG. 6 , the second image 205 output by the second camera 202 includes an R image in which the light emitted by the first light source 207 is captured as red light received by the second camera 202 . Also, the second image 205 includes a G image captured as green light in which the light emitted by the first light source 207 is received by the second camera 202 . The second image 205 is output including a B image captured as blue light in which the light emitted by the first light source 207 is received by the second camera 202 . A known method using a bandpass filter or the like is arbitrarily used for such imaging of light of each color.

R画像、G画像、及びB画像は、透過した光の色に応じて、濃淡をより強調することができる。つまり、特定の色の異物等について、よりコントラストを向上することができる。 The R image, the G image, and the B image can emphasize the shading according to the color of the transmitted light. In other words, it is possible to further improve the contrast of a foreign substance or the like of a specific color.

第3カメラ203は、搬送路400による袋体14の搬送方向と直交する方向に配列された複数の撮像素子から成るラインカメラである。このように構成することで、第3カメラ203は、搬送される袋体14の全面を少ない撮像素子数で撮像することができる。図6に示すように、第3カメラ203が出力する第3画像206は、第2光源208によって照射された光がシート対13において反射した光が撮像された反射光画像を含んで出力される。 The third camera 203 is a line camera composed of a plurality of imaging elements arranged in a direction perpendicular to the transport direction of the bag 14 along the transport path 400 . By configuring in this way, the third camera 203 can image the entire surface of the conveyed bag body 14 with a small number of imaging elements. As shown in FIG. 6, the third image 206 output by the third camera 203 includes a reflected light image in which the light emitted by the second light source 208 and reflected by the sheet pair 13 is captured. .

反射光画像は、界面での反射に依存する輝度値の情報であり、例えば、吸光性を示す異物等が存在する場合に、当該異物に対応する箇所で反射光の減衰が生じ、輝度の濃淡が形成される。 The reflected light image is information on the luminance value that depends on the reflection at the interface. is formed.

このように本実施の形態においては、撮像される画像209が、実際には袋体14の同じ個所を撮像する3種類のカメラによって撮像され出力された6種類の画像を含んでいる例を説明するが、画像209は、単に1種類の可視光画像が撮像された画像であってもよい。 As described above, in the present embodiment, an example in which the captured image 209 actually includes six types of images captured and output by three types of cameras that capture the same portion of the bag body 14 will be described. However, the image 209 may simply be an image obtained by capturing one type of visible light image.

図7は、実施の形態に係る判定部において用いられる判定モデルを説明する図である。上記したように、本実施の形態では、判定部101において判定モデル101aを用いた判定を行うことにより、シート対13における良又は不良の少なくとも一方の判定が行われる。このような判定モデル101aは、前述した回路及びメモリを用いて実行されるプログラムに含まれ、入力された画像に基づいて判定された出力データを出力する処理モジュールである。 FIG. 7 is a diagram for explaining a determination model used in the determination unit according to the embodiment; As described above, in the present embodiment, the determining unit 101 performs determination using the determination model 101a, so that at least one determination of whether the sheet pair 13 is good or bad is performed. Such a determination model 101a is a processing module that is included in a program that is executed using the above-described circuit and memory, and that outputs output data determined based on an input image.

図7に示すように、判定モデル101aには、撮像装置200によって撮像され、取得部102によって取得された画像209が入力データとして入力され、当該入力に応じて判定結果が出力される。判定結果は、良か否か、及び、不良か否かの少なくとも一方として出力される。判定モデル101aは、あらかじめ機械学習によって生成されるが、判定モデルの生成に関する動作等については、図9及び図10を用いて後述する。 As shown in FIG. 7, the judgment model 101a receives an image 209 captured by the imaging device 200 and acquired by the acquisition unit 102 as input data, and outputs a judgment result according to the input. The determination result is output as at least one of good or bad and bad or bad. The determination model 101a is generated in advance by machine learning, and the operation and the like related to the generation of the determination model will be described later with reference to FIGS. 9 and 10. FIG.

[動作]
次に、製袋システムの動作について、図1~図5を適宜参照しつつ、図8を用いて説明する。図8は、実施の形態に係る製袋システムの動作を示すフローチャートである。
[motion]
Next, the operation of the bag making system will be described using FIG. 8 while referring to FIGS. 1 to 5 as appropriate. FIG. 8 is a flow chart showing the operation of the bag making system according to the embodiment.

本実施の形態における製袋システムでは、はじめに袋体14の形成が行われる(形成ステップS11)。例えば、図1に示す搬送路400の上流で、第1シート11と第2シート12とを重ねたシート対13において、第1シート11と第2シート12との端部同士を接合する形成装置によって袋体14が形成される。 In the bag-making system of the present embodiment, the bag body 14 is first formed (formation step S11). For example, in the sheet pair 13 in which the first sheet 11 and the second sheet 12 are stacked, upstream of the conveying path 400 shown in FIG. The bag body 14 is formed by

袋体14の形成は、上記したように、第1シート11と第2シート12とを重ねて、端部同士を接合することによって行われる。このような接合は、接着材による接着接合であってもよく、超音波発生器又は加熱器等により端部同士を溶融して互いに拡散状態とした後、冷却して硬化させる溶着接合であってもよい。第1シート11及び第2シート12の材質及び形状等に応じで、適切な接合方法が採用されればよい。 Formation of the bag body 14 is performed, as described above, by stacking the first sheet 11 and the second sheet 12 and joining the ends thereof. Such bonding may be adhesive bonding using an adhesive material, or welding bonding in which the ends are melted by an ultrasonic generator, a heater, or the like to diffuse each other, and then cooled and hardened. good too. An appropriate bonding method may be adopted depending on the material, shape, etc. of the first sheet 11 and the second sheet 12 .

製袋システムでは、続いて、形成された袋体14を構成する第1シート11及び第2シート12のシート対13に対して、検査装置100による検査を行う(検査ステップS12)。検査ステップS12では、まず、撮像装置200によりシート対13が写る画像を撮像し、取得部102によって当該画像を取得する(取得ステップS21)。検査ステップS12では、次に、取得した画像により画像に写るシート対13の良又は不良の少なくとも一方を判定する(判定ステップS22)。 In the bag making system, the sheet pair 13 of the first sheet 11 and the second sheet 12 forming the formed bag body 14 is then inspected by the inspection device 100 (inspection step S12). In the inspection step S12, first, the imaging device 200 captures an image of the sheet pair 13, and the acquisition unit 102 acquires the image (acquisition step S21). In the inspection step S12, at least one of the sheet pair 13 appearing in the image is judged to be good or defective based on the obtained image (judgment step S22).

この判定は、シート対13が良であるか否か、及び、不良であるか否かの少なくとも一方を判定すればよく、例えば、実施の形態では、良であるか否か、及び、不良であるか否かの両方を判定する良否判定を行う。なお、判定ステップS22におけるシート対13の判定には、あらかじめ生成された判定モデル101aが用いられる。 This determination may be made by determining at least one of whether the sheet pair 13 is good and bad. A good/bad decision is made to determine both whether there is or not. Note that the judgment model 101a generated in advance is used for the judgment of the sheet pair 13 in the judgment step S22.

検査ステップS12では、次に、判定ステップS22における判定結果を出力する(出力ステップS23)。 In the inspection step S12, next, the determination result in the determination step S22 is output (output step S23).

このように、検査ステップS12において出力された判定結果に基づき、製袋システムが制御される。具体的には、判定結果においてシート対13が良でない、又は、不良であるかの判定により制御対象となるシート対13を決定する(決定ステップS13)。対象としているシート対13(つまり画像に写るシート対13)の判定結果が、良でない、又は、不良であると判定された場合(決定ステップS13でYes)、製袋システムを制御して、当該シート対13に相当する袋体14を特定可能なようにするための動作が行われる(制御ステップS14)。 In this manner, the bag making system is controlled based on the determination result output in the inspection step S12. Specifically, the sheet pair 13 to be controlled is determined by determining whether the sheet pair 13 is non-defective or defective in the determination result (determination step S13). If the determination result of the target sheet pair 13 (that is, the sheet pair 13 that appears in the image) is not acceptable or is determined to be defective (Yes in decision step S13), the bag making system is controlled to An operation is performed to enable identification of the bag 14 corresponding to the sheet pair 13 (control step S14).

例えば、製袋システムは、制御ステップS14において対象としているシート対13に相当する袋体14にステッカ、マーキング、又はピンホール等を付す等の動作により、良でない又は不良であると判定されたシート対13を特定可能にする。つまり、製袋システムは、制御ステップS14において、このようなシート対13にステッカ、マーキング、又はピンホール等を付す等の動作を行う装置を制御する。言い換えると、製袋システムは、シート対13にステッカ、マーキング、又はピンホール等を付す等の動作を行う、図示しない装置をさらに備える。 For example, in the control step S14, the bag-making system processes sheets judged to be unacceptable or defective by attaching stickers, markings, pinholes, or the like to the bag body 14 corresponding to the target sheet pair 13. Make pair 13 identifiable. In other words, the bag making system controls a device that performs operations such as attaching stickers, markings, pinholes, or the like to the sheet pair 13 in the control step S14. In other words, the bag making system further includes a device (not shown) that performs operations such as attaching stickers, markings, pinholes, or the like to the sheet pair 13 .

また、搬送路400が、検査装置100よりも下流側に分岐点を境にして分岐した第1分岐路と第2分岐路と(いずれも不図示)を有する構成であってもよい。製袋システムは、通常の袋体14を第1分岐路へと搬送するように分岐点を制御し、制御ステップS14では、良でない又は不良であると判定されたシート対13に相当する袋体14を第2分岐路へと搬送するように分岐点を制御する。 Further, the transport path 400 may have a first branched path and a second branched path (both not shown) branched at a branch point on the downstream side of the inspection apparatus 100 . The bag making system controls the branch point to convey the normal bag body 14 to the first branch path, and in control step S14, the bag body corresponding to the sheet pair 13 determined to be unacceptable or defective. 14 to the second fork.

このようにすることで、自動的に良でない又は不良であると判定されたシート対13に相当する袋体14を第2分岐路の下流に回収することができる。また、例えば、分岐路を4路備える構成とすれば、袋体14を、シート対13の良である、不良でない、良でない、及び不良である、の4つの判定結果に応じて分別することもできる。この例では、シート対13が不良であると判定された袋体14を廃棄し、シート対13が不良でない又は良でないと判定された袋体14を回収して再検査(例えば検査員による目視検査)等に供してもよい。 By doing so, the bags 14 corresponding to the sheet pairs 13 automatically determined to be non-defective or defective can be collected downstream of the second branch path. Further, for example, if four branch paths are provided, the bags 14 can be sorted according to the four determination results that the sheet pair 13 is good, not defective, not good, and defective. can also In this example, the bag 14 whose sheet pair 13 is determined to be defective is discarded, and the bag 14 whose sheet pair 13 is determined not to be defective or not good is collected and re-inspected (for example, visually by an inspector). inspection), etc.

対象としているシート対13の判定結果が、良である、又は、不良でないと判定された場合(決定ステップS13でNo)、当該シート対13に対する動作を終了する。なお、本実施の形態は、連続的に袋体14が供給される製袋システムに関するもののため、製袋システムは、次に搬送された袋体14のシート対13に対する動作に移行する(形成ステップS11に戻る)。 If the determination result of the target sheet pair 13 is determined to be good or not defective (No in determination step S13), the operation for the sheet pair 13 is terminated. Since this embodiment relates to a bag-making system in which bag bodies 14 are continuously supplied, the bag-making system shifts to the operation of the next transported bag body 14 on the sheet pair 13 (formation step return to S11).

[判定モデルの生成]
次に、図9及び図10を用いて、判定モデル101aの生成のための構成及び動作について説明する。図9は、実施の形態に係る生成装置及び検査装置を示すブロック図である。図9では、図4に示した検査装置100のブロック図に、判定モデル101aの生成に用いられる生成装置300を併せて示している。以下の判定モデル101aの生成のための構成に関する説明では、既述の構成についての説明を省略又は簡略化して説明する。
[Generation of decision model]
Next, the configuration and operation for generating the judgment model 101a will be described with reference to FIGS. 9 and 10. FIG. FIG. 9 is a block diagram showing a generation device and an inspection device according to the embodiment. FIG. 9 shows the block diagram of the inspection apparatus 100 shown in FIG. 4 together with a generation device 300 used to generate the judgment model 101a. In the following description of the configuration for generating the determination model 101a, the description of the configuration already described will be omitted or simplified.

図9に示すように、本実施の形態における検査装置100によって用いられる判定モデル101aは、生成装置300によって生成される。例えば、検査装置100を製造する検査装置メーカが生成装置300を所有し、あらかじめ機械学習によって生成された判定モデル101aを判定部101等のメモリに格納することで、検査装置100は、検査装置100単独でも使用可能である。つまり、検査装置100と、生成装置300とは、別体として実現されてもよく、判定モデル101aを生成する際に、互いに通信可能に接続されて使用される。また、検査装置100を使用するユーザが、用途に応じた判定モデル101aを構築する等の場合は、検査装置100と生成装置300とが一体化されてもよい。 As shown in FIG. 9, the determination model 101a used by the inspection device 100 in this embodiment is generated by the generation device 300. FIG. For example, the inspection apparatus maker that manufactures the inspection apparatus 100 owns the generation apparatus 300 and stores the determination model 101a generated in advance by machine learning in the memory of the determination unit 101 or the like. Can be used alone. In other words, the inspection device 100 and the generating device 300 may be realized as separate bodies, and are used while being communicably connected to each other when generating the judgment model 101a. Moreover, when the user who uses the inspection apparatus 100 constructs the determination model 101a according to the application, the inspection apparatus 100 and the generation apparatus 300 may be integrated.

生成装置300は、上記のように判定部101において用いられる判定モデル101aの生成を行うための装置である。生成装置300は、具体的には、受付部302と生成部301とを備える。受付部302は、判定モデル101aを機械学習によって生成するための教師データである教師画像を受け付ける処理部である。教師画像としては、検査において良であると判定される良品シート対を第2シート12側から撮像した画像が用いられる。受付部302は、受け付けた教師画像を、必要に応じて後述の生成部301において処理可能な形式に変換する等の処理を行う。 The generation device 300 is a device for generating the determination model 101a used in the determination unit 101 as described above. The generation device 300 specifically includes a reception unit 302 and a generation unit 301 . The receiving unit 302 is a processing unit that receives a teacher image, which is teacher data for generating the determination model 101a by machine learning. As the teacher image, an image of a pair of non-defective sheets, which is determined to be good in the inspection, captured from the second sheet 12 side is used. The reception unit 302 performs processing such as converting the received teacher image into a format that can be processed by the generation unit 301 described later, if necessary.

生成部301は、教師画像を教師データとして用いて、機械学習により判定モデル101aを生成する処理部である。生成部301は、判定モデル101aとして例えば、複数の階層を有するニューラルネットワークに学習させることで最適化されたモデルを生成する。生成部301において生成されるニューラルネットワークは、一例としてディープラーニングによって教師画像を用いた機械学習を行うことで生成される。このような機械学習においては、バックプロパゲーション等の手法によりニューラルネットワークにおける各人工ニューロン間の結合計数が修正される。入力される教師画像は、上記の6種類の画像の各々のピクセルにおける輝度値等に分解され、各々が入力層に入力される。また、出力される値は、「良である」もしくは「良でない」の2値、又は、「不良でない」もしくは「不良である」の2値のうち、いずれか一方の2値から選択された1つの値である。 The generation unit 301 is a processing unit that uses a training image as training data to generate the judgment model 101a by machine learning. The generating unit 301 generates an optimized model as the judgment model 101a by learning, for example, a neural network having a plurality of hierarchies. The neural network generated by the generation unit 301 is generated, for example, by performing machine learning using a teacher image by deep learning. In such machine learning, a technique such as backpropagation corrects the connection counts between artificial neurons in a neural network. An input teacher image is decomposed into luminance values and the like in pixels of the six types of images described above, and each is input to the input layer. In addition, the value to be output is selected from either one of the two values of "good" or "not good" or the two values of "not bad" or "bad". A single value.

受付部302及び生成部301は、いずれも、回路及び当該回路に接続されたメモリを用い、プログラムが実行されることで実現される。したがって、受付部302及び生成部301の機能をコンピュータにより実行させるためのプログラムとして実現することも可能である。受付部302と生成部301とは、それぞれ別の回路とメモリとを用いて実現されてもよく、一つの回路とメモリとが共通化されて実現されてもよい。また、取得部102、判定部101、受付部302、及び生成部301が、共通化された一つの回路とメモリとを使用してもよい。 Both the receiving unit 302 and the generating unit 301 are realized by executing a program using a circuit and a memory connected to the circuit. Therefore, it is also possible to implement the functions of the reception unit 302 and the generation unit 301 as a program for causing a computer to execute the functions. The reception unit 302 and the generation unit 301 may be implemented using different circuits and memories, respectively, or may be implemented by sharing one circuit and memory. Alternatively, the acquisition unit 102, the determination unit 101, the reception unit 302, and the generation unit 301 may use one common circuit and memory.

以下、生成装置300による判定モデル101aの生成の動作について説明する。図10は、生成装置の動作を示すフローチャートである。図10では、図9に示すように検査装置100を介して撮像装置200が接続されているため、実体のある良品シート対を撮像させ、教師画像を取得することができる。 The operation of generating the determination model 101a by the generation device 300 will be described below. FIG. 10 is a flow chart showing the operation of the generator. In FIG. 10, since the imaging device 200 is connected via the inspection device 100 as shown in FIG. 9, it is possible to capture the image of the actual good sheet pair and acquire the teacher image.

はじめに良品と判定される良品シート対が供給される(供給ステップS31)。良品シート対は、例えば、検査装置100を用いた検査におけるシート対13と同様に搬送路400上に載置されて搬送されることで供給される。搬送路400を供給される良品シート対は、撮像装置200によって撮像され、撮像された教師画像が生成装置300へと送信される。生成装置300では、受付部302が教師画像を受け付ける(受付ステップS32)。 First, a pair of non-defective sheets determined to be non-defective are supplied (supply step S31). The non-defective sheet pair is supplied by being placed and conveyed on the conveying path 400 in the same manner as the sheet pair 13 in the inspection using the inspection apparatus 100, for example. A good sheet pair fed through the conveying path 400 is imaged by the imaging device 200 , and the captured teacher image is transmitted to the generating device 300 . In the generation device 300, the reception unit 302 receives the teacher image (reception step S32).

生成装置300では、受け付けた教師画像を教師データとして用いた機械学習によって、ニューラルネットワーク等のモデルに学習させることで、判定モデル101aを生成する。このようにして、自動供給方式で、次々と良品シート対を供給して、判定モデル101aに機械学習させることで、判定モデル101aによる判定の正確度をより向上できる。なお、実体のある良品シート対を用いる必要はなく、例えば、良品シート対が撮像された教師画像を入手することが可能であれば、供給ステップS31は必須ではない。つまり、判定モデル101aの生成の動作を、受付ステップS32から開始することもできる。 The generation device 300 generates the determination model 101a by having a model such as a neural network learn by machine learning using the received teacher image as teacher data. In this manner, by automatically supplying pairs of non-defective sheets one after another and performing machine learning on the determination model 101a, the accuracy of determination by the determination model 101a can be further improved. It should be noted that it is not necessary to use a substantial good sheet pair. For example, if it is possible to obtain a teacher image in which a good sheet pair is captured, the supply step S31 is not essential. That is, the operation of generating the determination model 101a can also be started from the receiving step S32.

このようにして生成された判定モデル101aは、第2シート12を透過して見える第1シート11に形成された第1パターン11bを許容するように構築されている。したがって、判定モデル101aは、第1パターン11bが投影された投影パターンを含む画像209に対応するシート対13を、良でない、又は、不良であるとは判定しない。また、生成された判定モデル101aは、第1シート11及び第2シート12に形成されたミシン目15を許容するように構築されている。したがって、判定モデル101aは、ミシン目15が投影されたミシンパターンを含む画像209に対応するシート対13を、良でない、又は、不良であるとは判定しない。また、生成された判定モデル101aは、第1シート11及び第2シート12の配置位置を許容するように構築されている。したがって、判定モデル101aは、第1パターン11bと第2パターン12bとが重畳して投影された重畳パターン14a及び疑似異常パターン14bを含む画像209に対応するシート対13を、良でない、又は、不良であるとは判定しない。 The determination model 101a generated in this manner is constructed so as to allow the first pattern 11b formed on the first sheet 11 to be seen through the second sheet 12. FIG. Therefore, the determination model 101a does not determine that the sheet pair 13 corresponding to the image 209 including the projection pattern on which the first pattern 11b is projected is not acceptable or defective. Also, the generated judgment model 101a is constructed so as to allow the perforations 15 formed on the first sheet 11 and the second sheet 12 . Therefore, the judgment model 101a does not judge the sheet pair 13 corresponding to the image 209 including the perforation pattern on which the perforations 15 are projected as non-defective or defective. Also, the generated judgment model 101a is constructed so as to allow the arrangement positions of the first seat 11 and the second seat 12 . Therefore, the judgment model 101a determines that the sheet pair 13 corresponding to the image 209 including the superimposed pattern 14a projected by superimposing the first pattern 11b and the second pattern 12b and the pseudo-abnormal pattern 14b is not acceptable or defective. not determined to be

一方で、生成された判定モデル101aは、第1シート11及び第2シート12に形成された傷、フィッシュアイ、及びピンホール、ならびに混入された異物等を異常として検出するように構築されている。これらは、良品シート対には含まれないものであるため、判定モデル101aは、形成された傷、フィッシュアイ、及びピンホール、ならびに混入された異物等の少なくとも一つに起因して出現する異常痕16を含む画像209に対応するシート対13を、良でない、又は、不良であると判定する。 On the other hand, the generated determination model 101a is constructed to detect scratches, fisheyes, and pinholes formed in the first sheet 11 and the second sheet 12, as well as mixed foreign matter, etc., as abnormalities. . Since these are not included in the non-defective sheet pair, the judgment model 101a is based on an abnormality that appears due to at least one of formed scratches, fisheyes, pinholes, mixed foreign matter, and the like. The sheet pair 13 corresponding to the image 209 containing the marks 16 is determined to be unacceptable or defective.

このように、判定モデル101aが最適化されるため、第1パターン11bを有する第1シート11と、少なくとも一部が透光性を有する第2シート12と、を重ねたシート対13であって、第1シート11及び第2シート12の各々の端部11a及び12aが接合されることで袋体14を形成するシート対13に対して、検査を行うことができる。よって、本開示により、このようなシート対13に対してより正確な検査が可能となる。 Since the determination model 101a is optimized in this way, the sheet pair 13 in which the first sheet 11 having the first pattern 11b and the second sheet 12 at least partially translucent are stacked, , the sheet pair 13 formed by joining the ends 11a and 12a of the first sheet 11 and the second sheet 12 to form the bag 14 can be inspected. Thus, the present disclosure allows for more accurate inspection of such sheet pairs 13 .

なお、良品シート対に代えて、良又は不良のうち不良であると判定される不良品シート対を用いて、判定モデル101aが、良でない、又は、不良であると判定されるシート対13を許容しないように構築されてもよい。 Instead of the good sheet pair, the judgment model 101a uses a defective sheet pair that is judged to be defective among good and defective sheets, and the sheet pair 13 that is judged to be non-good or defective. May be constructed to disallow.

[変形例]
以下ではさらに、図11及び図12を用いて、実施の形態の変形例について説明する。図11は、実施の形態の変形例に係る製袋システムの外観を示す概観図である。図11では、図1に対して、検査装置100の下流側で袋体14が形成されている点が異なっている。つまり、本変形例では、検査装置100は、袋体14が形成される前のシート対13について検査を行う。その後、袋体14を形成するため、図中には袋体を形成する形成装置500が示されている。すなわち、図11には、製袋システム900を構成する構成要素が示されている。
[Modification]
A modification of the embodiment will be further described below with reference to FIGS. 11 and 12. FIG. FIG. 11 is an overview diagram showing the appearance of a bag-making system according to a modification of the embodiment. 11 differs from FIG. 1 in that the bag body 14 is formed on the downstream side of the inspection device 100. FIG. That is, in this modification, the inspection device 100 inspects the sheet pair 13 before the bag body 14 is formed. To then form the bag 14, the figure shows a forming apparatus 500 for forming the bag. That is, FIG. 11 shows the constituent elements that make up the bag making system 900 .

図11に示すように、本変形例では、第1シート11及び第2シート12が重ねられ、シート対13として撮像装置200の下方に配置される。第1シート11及び第2シート12は、形成装置500に至るまで一続きのフィルム形状である。検査装置100及び撮像装置200の構成は、上記実施の形態と同様のため説明を省略する。形成装置500は、このような一続きのフィルム形状のシート対13から、所定の長さのシート対を溶断して、第1シート11と第2シート12との端部同士を接合することで袋体14を形成する装置である。形成される袋体14の形状は、上記実施の形態と同様である。 As shown in FIG. 11 , in this modified example, a first sheet 11 and a second sheet 12 are stacked to form a sheet pair 13 and arranged below the imaging device 200 . The first sheet 11 and the second sheet 12 have a continuous film shape up to the forming device 500 . The configurations of the inspection apparatus 100 and the imaging apparatus 200 are the same as those of the above-described embodiment, and thus description thereof is omitted. The forming apparatus 500 fuses a sheet pair of a predetermined length from the continuous film-shaped sheet pair 13 and joins the ends of the first sheet 11 and the second sheet 12 to each other. An apparatus for forming a bag 14. FIG. The shape of the formed bag body 14 is the same as that of the above embodiment.

上記に説明した構成により、本変形例における製袋システム900の動作は、図8で説明した実施の形態における製袋システムの動作と順序が異なる。図12は、実施の形態の変形例に係る製袋システムの動作を示すフローチャートである。具体的に、本変形例では、図8の形成ステップS11が、図12に示すように、制御ステップS14よりも後に実施される形成ステップS11aに置き換えられる。その他の動作については、上記実施の形態と同様であるため、説明を省略する。 Due to the configuration described above, the order of operations of the bag-making system 900 in this modified example is different from that of the bag-making system in the embodiment described with reference to FIG. FIG. 12 is a flow chart showing the operation of the bag making system according to the modification of the embodiment. Specifically, in this modification, the formation step S11 in FIG. 8 is replaced with a formation step S11a that is performed after the control step S14, as shown in FIG. Other operations are the same as those in the above embodiment, so description thereof will be omitted.

検査装置100によって、良でない又は不良であると判定されたシート対13の一部分は、例えば、袋体14を形成する際に当該一部分が含まれないように形成装置500の溶断を行う機構によって切り離され、廃棄される。このようにすることで、廃棄されるシート対13の量を縮小でき、環境負荷及びコスト削減への効果が期待できる。 A portion of the sheet pair 13 determined to be non-defective or defective by the inspection device 100 is cut off by a fusing mechanism of the forming device 500 so that the portion is not included when forming the bag body 14, for example. and discarded. By doing so, the amount of sheet pairs 13 to be discarded can be reduced, and the effect of reducing the environmental load and cost can be expected.

ただし、本構成では、袋体14の形成の最終工程である第1シート11及び第2シート12の接合の前に検査が実施されるため、形成された袋体14におけるシート対13の良又は不良の少なくとも一方の判定が行われない。つまり、袋体14そのものの良否が担保されない。一例として、袋体14内に製品が内包された後に、再度検査が行われる等の特定の条件で使用される場合に、本構成の適用が検討され得る。 However, in this configuration, since the inspection is performed before joining the first sheet 11 and the second sheet 12, which is the final step of forming the bag 14, the sheet pair 13 in the formed bag 14 is good or not. At least one determination of failure is not performed. That is, the quality of the bag body 14 itself is not guaranteed. As an example, the application of this configuration may be considered when the product is used under specific conditions such as being inspected again after the product is enclosed in the bag 14 .

[効果等]
以上、説明したように、本実施の形態における検査装置100は、第1パターン11bを有する第1シート11と、少なくとも一部が透光性を有する第2シート12と、を重ねたシート対13であって、第1シート11及び第2シート12の各々の端部11a及び11bが接合されることで袋体14を形成するシート対13の検査を行う検査装置100であって、シート対13を第2シート12側から撮像した画像209を取得する取得部102と、検査において、良又は不良のうち良であると判定される良品シート対、及び、良又は不良のうち不良であると判定される不良品シート対の少なくとも一方が第2シート12側から撮像された教師画像を用いた機械学習によって構築された判定モデル101aにより、取得された画像209に対応するシート対13の良及び不良の少なくとも一方の判定を行う判定部101と、を備える。
[Effects, etc.]
As described above, the inspection apparatus 100 according to the present embodiment includes the sheet pair 13 in which the first sheet 11 having the first pattern 11b and the second sheet 12 at least partially translucent are stacked. The inspection device 100 inspects the sheet pair 13 forming the bag body 14 by joining the ends 11a and 11b of the first sheet 11 and the second sheet 12, respectively. a pair of non-defective sheets determined to be good out of good or defective in the inspection, and a pair of non-defective sheets determined to be defective out of good or defective A determination model 101a constructed by machine learning using a teacher image in which at least one of the pair of defective sheets is picked up from the side of the second sheet 12 determines whether the sheet pair 13 corresponding to the acquired image 209 is good or bad. and a determination unit 101 that determines at least one of

このような検査装置100は、第1パターン11bが、第2シート12の透光性を有する箇所において透過され、重なり合うことで形成される、第1シート11には現れ得ないパターンを有する場合についても、良及び不良の少なくとも一方の判定を行うことができる。例えば、第1パターン11bは、第2シート12側から見た際に表裏の裏側にあたるパターンとして見えるため、第1パターン11bを形成させた際のマスタ画像を用いたパターンマッチングでは、識別が困難である。このため、このような裏側から見える第1パターン11bを含み得る画像209を機械学習によって学習させた判定モデル101aを用いることで、第1パターン11bと、良でない、又は、不良であると判定される箇所とを区別し、シート対13の良及び不良の少なくとも一方の判定を正確に行うことができる。よって、検査装置100は、正確な判定結果を用いて、シート対13を正確に検査できる。 Such an inspection apparatus 100 is used for the case where the first pattern 11b has a pattern that cannot appear on the first sheet 11, which is formed by being transmitted through a translucent portion of the second sheet 12 and being overlapped. can also determine at least one of good and bad. For example, when the first pattern 11b is viewed from the side of the second sheet 12, the first pattern 11b appears as a pattern corresponding to the front and back sides of the sheet. be. Therefore, by using the judgment model 101a that is learned by machine learning the image 209 that can include the first pattern 11b that can be seen from the back side, the first pattern 11b and the first pattern 11b are judged to be non-defective or defective. Therefore, it is possible to accurately determine whether the sheet pair 13 is good or defective. Therefore, the inspection apparatus 100 can accurately inspect the sheet pair 13 using accurate determination results.

また、例えば、第1パターン11bは、文字、図形、数字、記号、模様、又はこれらの少なくとも2つの組み合わせによって第1シート11にあらかじめ形成されてもよい。 Also, for example, the first pattern 11b may be preliminarily formed on the first sheet 11 by letters, figures, numbers, symbols, patterns, or a combination of at least two of these.

これによれば、文字、図形、数字、記号、模様、又はこれらの少なくとも2つの組み合わせによってあらかじめ形成された第1パターン11bを有する第1シート11を含むシート対13の良及び不良の少なくとも一方の判定を正確に行うことができる。よって、検査装置100は、正確な判定結果を用いて、シート対13を正確に検査できる。 According to this, at least one of good and bad of the sheet pair 13 including the first sheet 11 having the first pattern 11b preformed by letters, graphics, numbers, symbols, patterns, or a combination of at least two of these Judgment can be made accurately. Therefore, the inspection apparatus 100 can accurately inspect the sheet pair 13 using accurate determination results.

また、例えば、判定モデル101aによる判定では、第1パターン11bが投影された投影パターンを含む画像209に対応するシート対13を、良でない、又は、不良であるとは判定せず、シート対13に形成された傷、フィッシュアイ、及びピンホール、ならびにシート対13に混入した異物の少なくとも一つに起因して画像209上に出現する異常痕16を含む画像209に対応するシート対13を、良でない、又は、不良であると判定してもよい。 Further, for example, in the determination by the determination model 101a, the sheet pair 13 corresponding to the image 209 including the projected pattern on which the first pattern 11b is projected is not determined to be non-defective or defective. The sheet pair 13 corresponding to the image 209 including the abnormal mark 16 appearing on the image 209 due to at least one of scratches, fisheyes, and pinholes formed in the sheet pair 13 and foreign matter mixed in the sheet pair 13, It may be determined that it is not good or that it is defective.

これによれば、画像209に形成されるパターンが、第1パターン11bが投影された投影パターンを含んでいる場合に、異常痕16と区別できるため、このような投影パターンは、良及び不良の少なくとも一方の判定に寄与しない。つまり、画像209に投影パターンが含まれていても、シート対13を良でない、又は、不良であるとする判定には至らない。一方で、シート対13に形成された傷、フィッシュアイ、及びピンホール、ならびにシート対13に混入した異物の少なくとも一つに起因して画像209上に出現する異常痕16は、上記の投影パターンとは区別され、良及び不良の少なくとも一方の判定に寄与する。すなわち、投影パターンに加えてこのような異常痕16が含まれる場合には、シート対13を良でない、又は、不良であると判定することができる。よって、シート対13の良及び不良の少なくとも一方の正確な判定結果に基づいて、検査装置100は、シート対13を正確に検査できる。 According to this, when the pattern formed in the image 209 includes a projection pattern in which the first pattern 11b is projected, it can be distinguished from the abnormal mark 16, so such a projection pattern can be classified as good or bad. Does not contribute to at least one decision. In other words, even if the projected pattern is included in the image 209, the sheet pair 13 is not determined to be non-defective or defective. On the other hand, the abnormal mark 16 appearing on the image 209 due to at least one of scratches, fisheyes, and pinholes formed on the sheet pair 13 and foreign matter mixed in the sheet pair 13 is the projection pattern described above. and contributes to the determination of at least one of good and bad. In other words, when such an abnormal mark 16 is included in addition to the projected pattern, the sheet pair 13 can be determined to be non-defective or defective. Therefore, the inspection apparatus 100 can accurately inspect the sheet pair 13 based on the accurate determination result of at least one of the sheet pair 13 being acceptable or defective.

また、例えば、第2シート12は、第1パターン11bとは異なる第2パターン12bを有し、判定モデル101aによる判定では、第1パターン11bと第2パターン12bとが重畳して投影された重畳パターン14aを含む画像209に対応するシート対13を、良でない、又は、不良であるとは判定しなくてもよい。 Further, for example, the second sheet 12 has a second pattern 12b different from the first pattern 11b, and in the determination by the determination model 101a, the first pattern 11b and the second pattern 12b are superimposed and projected. The sheet pair 13 corresponding to the image 209 including the pattern 14a may not be determined as non-good or defective.

これによれば、画像209に形成されるパターンが、第1パターン11bと第2パターン12bとが重畳して投影された重畳パターン14aを含んでいる場合に、異常痕16と区別できるため、このような重畳パターン14aは、良及び不良の少なくとも一方の判定に寄与しない。つまり、画像209に重畳パターン14aが含まれていても、シート対13を良でない、又は、不良であるとする判定には至らない。よって、シート対13の良及び不良の少なくとも一方の正確な判定結果に基づいて、検査装置100は、シート対13を正確に検査できる。 According to this, when the pattern formed in the image 209 includes the superimposed pattern 14a projected by superimposing the first pattern 11b and the second pattern 12b, it can be distinguished from the abnormal mark 16. Such a superimposed pattern 14a does not contribute to the determination of at least one of good and bad. In other words, even if the superimposed pattern 14a is included in the image 209, the sheet pair 13 is not determined to be non-defective or defective. Therefore, the inspection apparatus 100 can accurately inspect the sheet pair 13 based on the accurate determination result of at least one of the sheet pair 13 being acceptable or defective.

また、例えば、第2パターン12bは、文字、図形、数字、記号、模様、又はこれらの少なくとも2つの組み合わせによって第2シート12にあらかじめ形成されてもよい。 Also, for example, the second pattern 12b may be pre-formed on the second sheet 12 by letters, figures, numbers, symbols, patterns, or a combination of at least two of these.

これによれば、文字、図形、数字、記号、模様、又はこれらの少なくとも2つの組み合わせによってあらかじめ形成された第2パターン12bを有する第2シート12を含むシート対13の良及び不良の少なくとも一方の判定を正確に行うことができる。よって、検査装置100は、正確な判定結果を用いて、シート対13を正確に検査できる。 According to this, at least one of good and bad of the sheet pair 13 including the second sheet 12 having the second pattern 12b pre-formed with letters, graphics, numbers, symbols, patterns, or a combination of at least two of these. Judgment can be made accurately. Therefore, the inspection apparatus 100 can accurately inspect the sheet pair 13 using accurate determination results.

また、例えば、第1シート11及び第2シート12の少なくとも一方は、形成された袋体14を開封するためのミシン目15を有し、判定モデル101aによる判定では、ミシン目15が投影されたミシンパターンを含む画像209に対応するシート対13を、良でない、又は、不良であるとは判定しない。 Further, for example, at least one of the first sheet 11 and the second sheet 12 has a perforation 15 for opening the formed bag body 14, and the perforation 15 is projected according to the determination by the determination model 101a. The sheet pair 13 corresponding to the image 209 containing the sewing pattern is not determined to be unacceptable or defective.

これによれば、画像209に形成されるパターンが、ミシン目15が投影されたミシンパターンを含んでいる場合に、異常痕16と区別できるため、このようなミシンパターンは、良及び不良の少なくとも一方の判定に寄与しない。つまり、画像209にミシンパターンが含まれていても、シート対13を良でない、又は、不良であるとする判定には至らない。よって、シート対13の良及び不良の少なくとも一方の正確な判定結果に基づいて、シート対13を正確に検査できる。 According to this, when the pattern formed in the image 209 includes a perforation pattern in which the perforation 15 is projected, it can be distinguished from the abnormal mark 16. Therefore, such a perforation pattern is at least good and bad. It does not contribute to the judgment of one side. In other words, even if the image 209 includes a sewing machine pattern, the sheet pair 13 is not judged to be good or defective. Therefore, the sheet pair 13 can be accurately inspected based on the accurate determination result of at least one of the sheet pair 13 being acceptable or defective.

また、例えば、検査装置100は、袋体14が形成された後のシート対13について、検査を行ってもよい。 Further, for example, the inspection apparatus 100 may inspect the sheet pair 13 after the bag body 14 is formed.

これによれば、検査装置100は、袋体14を形成するための形成装置500を経て供給される袋体14について、袋体14を構成するシート対13を正確に検査できる。 According to this, the inspection device 100 can accurately inspect the sheet pair 13 forming the bag 14 supplied through the forming device 500 for forming the bag 14 .

また、例えば、検査装置100は、袋体14が形成される前のシート対13について、検査を行ってもよい。 Further, for example, the inspection apparatus 100 may inspect the sheet pair 13 before the bag body 14 is formed.

これによれば、検査装置100は、袋体14を形成するための形成装置500へと供給されるシート対13について、正確に検査を行うことができる。 According to this, the inspection device 100 can accurately inspect the sheet pair 13 supplied to the forming device 500 for forming the bag body 14 .

また、例えば、画像209は、第1シート11側に設けられた第1光源207によって照射された光が第1輝度の光であるときに、第2シート12側に設けられた撮像装置200によって撮像された第1濃淡像と、第1光源207によって照射された光が第1輝度とは異なる第2輝度の光であるときに、撮像装置200によって撮像された第2濃淡像と、を含む第1画像204を含んでもよい。 Further, for example, the image 209 is captured by the imaging device 200 provided on the second sheet 12 side when the light emitted by the first light source 207 provided on the first sheet 11 side has the first luminance. A captured first grayscale image, and a second grayscale image captured by the imaging device 200 when the light emitted by the first light source 207 has a second brightness different from the first brightness. A first image 204 may be included.

これによれば、第1濃淡像と第2濃淡像とを含む第1画像204に現れ得る特徴量を学習した判定モデル101aを構築できる。したがって、判定部101は、当該判定モデル101aを用いて、検査対象のシート対13において撮像された第1画像204の特徴量をもとに、シート対13の良及び不良の少なくとも一方の判定を正確に行うことができる。よって、検査装置100は、正確な判定結果を用いて、シート対13を正確に検査できる。 According to this, it is possible to construct the determination model 101a that has learned the feature amount that can appear in the first image 204 including the first grayscale image and the second grayscale image. Therefore, using the determination model 101a, the determination unit 101 determines at least one of the sheet pair 13 to be acceptable or defective based on the feature amount of the first image 204 captured in the sheet pair 13 to be inspected. can be done accurately. Therefore, the inspection apparatus 100 can accurately inspect the sheet pair 13 using accurate determination results.

また、例えば、画像209は、第1シート11側に設けられた第1光源207によって照射された光が、第2シート12側に設けられた撮像装置200によって受光された赤色光、緑色光、及び青色光の各々の輝度値として撮像された第2画像205を含んでもよい。 Further, for example, the image 209 is formed by red light, green light, and red light received by the imaging device 200 provided on the second sheet 12 side. and a second image 205 captured as luminance values of each of blue light.

これによれば、赤色光の輝度値(つまりR画像)、緑色光の輝度値(つまりG画像)、及び青色光の輝度値(つまりB画像)として撮像された第2画像205に現れ得る特徴量を学習した判定モデル101aを構築できる。したがって、判定部101は、当該判定モデル101aを用いて、検査対象のシート対13において撮像された第2画像205の特徴量をもとに、シート対13の良及び不良の少なくとも一方の判定を正確に行うことができる。よって、検査装置100は、正確な判定結果を用いて、シート対13を正確に検査できる。 According to this, features that can appear in the second image 205 captured as luminance values of red light (i.e., R image), luminance values of green light (i.e., G image), and luminance values of blue light (i.e., B image) A judgment model 101a that has learned the quantity can be constructed. Therefore, using the determination model 101a, the determination unit 101 determines at least one of the sheet pair 13 to be acceptable or defective based on the feature amount of the second image 205 captured in the sheet pair 13 to be inspected. can be done accurately. Therefore, the inspection apparatus 100 can accurately inspect the sheet pair 13 using accurate determination results.

また、例えば、画像209は、第2シート12側に設けられた第2光源208によって照射された光がシート対13において反射し、第2シート12側に設けられた撮像装置200によって受光されることで撮像された第3画像206を含んでもよい。 Further, for example, the image 209 is received by the imaging device 200 provided on the second sheet 12 side after the light emitted by the second light source 208 provided on the second sheet 12 side is reflected by the sheet pair 13 . may include a third image 206 captured by

これによれば、反射光画像である第3画像206に現れ得る特徴量を学習した判定モデル101aを構築できる。したがって、判定部101は、当該判定モデル101aを用いて、検査対象のシート対13において撮像された第3画像206の特徴量をもとに、シート対13の良及び不良の少なくとも一方の判定を正確に行うことができる。よって、検査装置100は、正確な判定結果を用いて、シート対13を正確に検査できる。 According to this, it is possible to construct the determination model 101a that has learned the feature amount that can appear in the third image 206, which is the reflected light image. Therefore, using the determination model 101a, the determining unit 101 determines at least one of the sheet pair 13 to be acceptable or defective based on the feature amount of the third image 206 captured in the sheet pair 13 to be inspected. can be done accurately. Therefore, the inspection apparatus 100 can accurately inspect the sheet pair 13 using accurate determination results.

また、本実施の形態における製袋システム900等は、第1パターン11bを有する第1シート11と、少なくとも一部が透光性を有する第2シート12と、を重ねたシート対13において、第1シート11及び第2シート12の各々の端部11a及び12aを接合することで袋体14を形成する形成装置500と、上記のいずれかに記載の検査装置100と、を備える。 Moreover, in the bag-making system 900 and the like in the present embodiment, in the sheet pair 13 in which the first sheet 11 having the first pattern 11b and the second sheet 12 at least partially translucent are overlapped, the A forming apparatus 500 that forms the bag body 14 by joining the ends 11a and 12a of the first sheet 11 and the second sheet 12, and the inspection apparatus 100 described above.

このような製袋システム900等は、構成するシート対13の良及び不良の少なくとも一方の判定に基づく正確な検査によって、品質が担保された袋体14を形成することができる。 Such a bag-making system 900 and the like can form a bag body 14 whose quality is ensured by an accurate inspection based on determination of at least one of good and bad of the constituting sheet pair 13 .

また、本実施の形態における判定モデル101aは、コンピュータによって実行されるプログラムに含まれ、入力データとして入力された画像209に基づいて判定された出力データを出力する判定モデル101aであって、第1パターン11bを有する第1シート11と、少なくとも一部が透光性を有する第2シート12と、を重ねたシート対13であって、第1シート11及び第2シート12の各々の端部11a及び12aが接合されることで袋体14を形成するシート対13を第2シート12側から撮像された画像209が入力データとして入力された場合に、入力された画像209に対応するシート対13の良及び不良の少なくとも一方の判定を行い、判定結果を出力データとして出力する。 Further, the determination model 101a in the present embodiment is a determination model 101a that is included in a program executed by a computer and that outputs output data determined based on the image 209 input as input data. A pair of sheets 13 in which a first sheet 11 having a pattern 11b and a second sheet 12 at least partially translucent are stacked, and edge portions 11a of each of the first sheet 11 and the second sheet 12 and 12a are joined to form the bag body 14, and when an image 209 obtained by imaging the sheet pair 13 from the second sheet 12 side is input as input data, the sheet pair 13 corresponding to the input image 209 is input. At least one of good and bad is determined, and the determination result is output as output data.

このような判定モデル101aは、第1パターン11bが、第2シート12の透光性を有する箇所において透過され、重なり合うことで形成される、第1シート11には現れ得ないパターンを有する場合についても、良及び不良の少なくとも一方の判定を行うことができる。画像209を機械学習によって学習させた判定モデル101aを用いることで、第1パターン11bと、良でない、又は、不良であると判定される箇所とを区別し、シート対13の良及び不良の少なくとも一方の判定を正確に行うことができる。 Such a judgment model 101a is for the case where the first pattern 11b has a pattern that cannot appear on the first sheet 11, which is formed by being transmitted through a translucent portion of the second sheet 12 and overlapping. can also determine at least one of good and bad. By using the judgment model 101a which is learned by machine learning the image 209, the first pattern 11b is distinguished from the portion judged to be not good or defective, and at least the good and bad of the sheet pair 13 are determined. One determination can be made accurately.

また、本実施の形態における生成装置300は、第1パターン11bを有する第1シート11と、少なくとも一部が透光性を有する第2シート12と、を重ねたシート対13であって、第1シート11及び第2シート12の各々の端部11a及び12aが接合されることで袋体14を形成するシート対13を撮像した画像209に基づき、シート対13の良及び不良の少なくとも一方の判定を行うための判定モデル101aを生成する生成装置300であって、検査において、良又は不良のうち良と判定される良品シート対、及び、良又は不良のうち不良であると判定される不良品シート対の少なくとも一方を第2シート12側から撮像した教師画像を受け付ける受付部302と、受付部302が受け付けた教師画像を教師データとして用いて、機械学習により判定モデル101aを生成する生成部301と、を備える。 In addition, the generating device 300 in the present embodiment is a pair of sheets 13 in which the first sheet 11 having the first pattern 11b and the second sheet 12 at least partially translucent are stacked. Based on an image 209 of the sheet pair 13 that forms the bag 14 by joining the ends 11a and 12a of the first sheet 11 and the second sheet 12, at least one of good and bad of the sheet pair 13 is determined. A generating device 300 for generating a judgment model 101a for making a judgment, which includes a pair of non-defective sheets that are judged to be good among good or defective sheets and a defective sheet pair that is judged to be defective among good or defective sheets in the inspection. A reception unit 302 that receives a teacher image obtained by imaging at least one of the non-defective sheet pair from the second sheet 12 side, and a generation unit that generates the determination model 101a by machine learning using the teacher image received by the reception unit 302 as teacher data. 301 and.

このような生成装置300は、上記の効果を奏する判定モデル101aを生成できる。 Such a generation device 300 can generate the determination model 101a that has the above effects.

また、本実施の形態における検査方法は、第1パターン11bを有する第1シート11と、少なくとも一部が透光性を有する第2シート12と、を重ねたシート対13であって、第1シート11及び第2シート12の各々の端部11a及び12aが接合されることで袋体14を形成するシート対13の検査における検査方法であって、シート対13を第2シート12側から撮像した画像209を取得する取得ステップS21と、検査において、良又は不良のうち良であると判定される良品シート対、及び、良又は不良のうち不良であると判定される不良品シート対の少なくとも一方が第2シート12側から撮像された教師画像を用いた機械学習によって構築された判定モデル101aにより、取得された画像209に対応するシート対13の良及び不良の少なくとも一方の判定を行う判定ステップS22と、を含む。 Further, the inspection method according to the present embodiment relates to the sheet pair 13 in which the first sheet 11 having the first pattern 11b and the second sheet 12 at least partially translucent are stacked. An inspection method for inspecting a sheet pair 13 forming a bag body 14 by joining the ends 11a and 12a of the sheet 11 and the second sheet 12, wherein the sheet pair 13 is imaged from the second sheet 12 side. an acquisition step S21 for acquiring the image 209 obtained by the inspection, and at least a pair of non-defective sheets determined to be good out of good or defective in the inspection and a pair of defective sheets determined to be defective out of good or defective. Determination of at least one of good and bad of the sheet pair 13 corresponding to the acquired image 209 by the determination model 101a constructed by machine learning using a teacher image, one of which is captured from the second sheet 12 side. and step S22.

このような検査方法は、第1パターン11bが、第2シート12の透光性を有する箇所において透過され、重なり合うことで形成される、第1シート11には現れ得ないパターンを有する場合についても、良及び不良の少なくとも一方の判定を行うことができる。画像209を機械学習によって学習させた判定モデル101aを用いることで、第1パターン11bと、良でない、又は、不良であると判定される箇所とを区別し、シート対13の良及び不良の少なくとも一方の判定を正確に行うことができる。よって、上記の検査方法により正確な判定結果を用いて、シート対13を正確に検査できる。 Such an inspection method can also be applied to the case where the first pattern 11b has a pattern that cannot appear on the first sheet 11, which is formed by being transmitted through a translucent portion of the second sheet 12 and overlapping. , at least one of good and bad can be determined. By using the judgment model 101a which is learned by machine learning the image 209, the first pattern 11b is distinguished from the portion judged to be not good or defective, and at least the good and bad of the sheet pair 13 are determined. One determination can be made accurately. Therefore, the sheet pair 13 can be accurately inspected using the accurate determination results obtained by the above inspection method.

また、本実施の形態における製袋方法は、第1パターン11bを有する第1シート11と、少なくとも一部が透光性を有する第2シート12と、を重ねたシート対13において、第1シート11及び第2シート12の各々の端部11a及び12aを接合することで袋体14を形成する形成ステップS11又はS11aと、上記の検査方法によりシート対13の良及び不良の少なくとも一方を判定することでシート対13を検査する検査ステップS12と、を含む。 In the bag-making method of the present embodiment, in the sheet pair 13 in which the first sheet 11 having the first pattern 11b and the second sheet 12 at least partially translucent are stacked, the first sheet Forming step S11 or S11a of forming bag body 14 by joining ends 11a and 12a of 11 and second sheet 12, and determining at least one of good and bad of sheet pair 13 by the above inspection method. and an inspection step S12 for inspecting the sheet pair 13 by.

このような製袋方法は、構成するシート対13の良及び不良の少なくとも一方の判定に基づく正確な検査によって、品質が担保された袋体14を形成することができる。 Such a bag-making method can form a bag body 14 whose quality is ensured by an accurate inspection based on determination of at least one of good and bad of the constituting sheet pair 13 .

また、本実施の形態における生成方法は、第1パターン11bを有する第1シート11と、少なくとも一部が透光性を有する第2シート12と、を重ねたシート対13であって、第1シート11及び第2シート12の各々の端部11a及び12aが接合されることで袋体14を形成するシート対13を撮像した画像209に基づき、シート対13の検査においてシート対13の良及び不良の少なくとも一方の判定に用いられる判定モデル101aの生成方法であって、検査において、良又は不良のうち良と判定される良品シート対、及び、良又は不良のうち不良であると判定される不良品シート対の少なくとも一方を第2シート12側から撮像した教師画像を受け付ける受付ステップS32と、受付ステップS32において受け付けた教師画像を教師データとして用いて、機械学習により判定モデル101aを生成する生成ステップS33と、を含む。 Further, the generation method in the present embodiment is the sheet pair 13 in which the first sheet 11 having the first pattern 11b and the second sheet 12 at least partially translucent are stacked, and the first sheet 13 Based on an image 209 of the sheet pair 13 that forms the bag body 14 by joining the ends 11a and 12a of the sheet 11 and the second sheet 12, the sheet pair 13 is inspected to determine whether the sheet pair 13 is good or not. A method for generating a determination model 101a used for determining at least one of defects, in which a pair of non-defective sheets determined to be good out of good or defective in inspection, and a pair of good sheets determined to be defective out of good or defective A reception step S32 for receiving a teacher image of at least one of the pair of defective sheets taken from the second sheet 12 side, and a generation for generating a determination model 101a by machine learning using the teacher image received in the reception step S32 as teacher data. and step S33.

このような生成方法は、上記の生成装置300と同様の効果を奏する。 Such a generation method has the same effects as the generation device 300 described above.

(その他の実施の形態)
以上、本開示に係る検査装置等について、上記実施の形態等に基づいて説明したが、本開示は、上記の実施の形態等に限定されるものではない。例えば、各実施の形態等に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
(Other embodiments)
As described above, the inspection apparatus and the like according to the present disclosure have been described based on the above embodiments and the like, but the present disclosure is not limited to the above embodiments and the like. For example, a form obtained by applying various modifications that a person skilled in the art can think of for each embodiment, etc., or a form obtained by arbitrarily combining the constituent elements and functions of each embodiment without departing from the scope of the present disclosure. Also included in the present disclosure is the form of

上記実施の形態等において、第1シートが鉛直下側、第2シートが鉛直上側の姿勢のシート対を検査する構成を説明したが、搬送路における検査装置の下流側にさらに裏面検査装置を備えてもよい。このような裏面検査装置を構成する構成要素は、検査装置と同様でよく、説明を省略する。検査装置と裏面検査装置との間には、シート対の姿勢を反転するための反転装置が設けられ、当該反転装置によって第1シートが鉛直上側、第2シートが鉛直下側の姿勢になるようにシート対の姿勢が反転される。このようにして、第1シート側から撮像した画像を用いて検査した結果を用いて、さらに正確度の高い検査によって品質が担保された袋体を形成してもよい。 In the above-described embodiment and the like, the configuration for inspecting a pair of sheets in which the first sheet is the vertically lower side and the second sheet is the vertically upper side has been described. may Components constituting such a back surface inspection apparatus may be the same as those of the inspection apparatus, and description thereof will be omitted. A reversing device for reversing the orientation of the pair of sheets is provided between the inspection device and the back surface inspection device. , the posture of the sheet pair is reversed. In this way, the results of the inspection using the image captured from the first sheet side may be used to form bags whose quality is ensured by even more accurate inspection.

また、上記実施の形態等では、撮像装置が3つのカメラ(第1~第3カメラ)を一つの筐体に内蔵する図を示して説明したが、撮像装置の3つのカメラは、それぞれ搬送路上の異なる箇所に配置されてもよい。つまり、搬送路の第1位置で第1カメラによる第1画像の撮像を行い、搬送路の第2位置で第2カメラによる第2画像の撮像を行い、搬送路の第3位置で第3カメラによる第3画像の撮像を行ってもよい。撮像装置を1筐体化することによる大型化を抑制でき、撮像装置の設置の空間的制約を縮小できる。したがって、このような変形例では、検査装置を適用する適用可能性を拡大することができる。 Further, in the above-described embodiments and the like, the imaging device has three cameras (first to third cameras) built in one housing. may be placed at different locations. That is, a first image is captured by a first camera at a first position on the transport path, a second image is captured by a second camera at a second position on the transport path, and a third camera is captured at a third position on the transport path. You may image a 3rd image by. It is possible to suppress an increase in size due to the use of a single housing for the imaging device, and to reduce spatial restrictions on installation of the imaging device. Therefore, in such a variant, the applicability of applying the inspection device can be expanded.

また、上記実施の形態において、検査装置は、搬送路に設置される構成として説明したが、これに限らない。検査ステージのように、移動しない載置台に、シート対13を載置し、ラインカメラに代わるエリアカメラによって撮像された画像を用いて検査を行うことも、本開示に含まれる。 Moreover, in the above-described embodiment, the inspection device has been described as being installed in the transport path, but the configuration is not limited to this. The present disclosure also includes placing the sheet pair 13 on a stationary table, such as an inspection stage, and performing an inspection using an image captured by an area camera instead of a line camera.

また、上記実施の形態において説明したシート対は、2枚のシートを重ねる構成であったが、3枚以上のシートを重ねて接合することで立体形状の袋体を形成する場合における、3枚以上のシートから構成されるシート対に対して検査を行うこともできる。 In addition, the sheet pair described in the above embodiment has a configuration in which two sheets are stacked, but when three or more sheets are stacked and joined to form a three-dimensional bag body, three sheets A sheet pair composed of the above sheets can also be inspected.

また、例えば、本開示は、検査装置等のハードウェアとして実現できるだけでなく、検査装置等の各構成要素が行う処理をステップとして含むプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体として実現することもできる。プログラムは、記録媒体に予め記録されていてもよく、あるいは、インターネットなどを含む広域通信網を介して記録媒体に供給されてもよい。 Further, for example, the present disclosure can be realized not only as hardware such as an inspection device, but also as a program that includes steps performed by each component such as an inspection device, and a computer-readable recording medium that records the program. It can also be realized. The program may be pre-recorded on a recording medium, or may be supplied to the recording medium via a wide area network including the Internet.

つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 That is, any of the general or specific aspects described above may be implemented in a system, device, integrated circuit, computer program or computer readable recording medium, and any of the system, device, integrated circuit, computer program and recording medium may be implemented. may be implemented in any combination.

本開示の検査装置等は、袋体等を形成するシート対等について、より正確に良否を判定して検査する目的等に利用される。 The inspection apparatus and the like of the present disclosure are used for the purpose of more accurately judging and inspecting the quality of a pair of sheets forming a bag or the like.

11 第1シート
11a 第1端部
11b 第1パターン
12 第2シート
12a 第2端部
12b 第2パターン
13 シート対
14 袋体
14a 重畳パターン
14b 疑似異常パターン
15 ミシン目
16 異常痕
100 検査装置
101 判定部
101a 判定モデル
102 取得部
200 撮像装置
201 第1カメラ
202 第2カメラ
203 第3カメラ
204 第1画像
205 第2画像
206 第3画像
207 第1光源
208 第2光源
209 画像
300 生成装置
301 生成部
302 受付部
400 搬送路
500 形成装置
900 製袋システム
11 1st sheet 11a 1st end 11b 1st pattern 12 2nd sheet 12a 2nd end 12b 2nd pattern 13 sheet pair 14 bag body 14a superimposed pattern 14b pseudo abnormal pattern 15 perforation 16 abnormal mark 100 inspection device 101 determination Unit 101a Judgment model 102 Acquisition unit 200 Imaging device 201 First camera 202 Second camera 203 Third camera 204 First image 205 Second image 206 Third image 207 First light source 208 Second light source 209 Image 300 Generation device 301 Generation unit 302 Receiving Unit 400 Conveyance Path 500 Forming Device 900 Bag Making System

Claims (13)

第1パターンを有する第1シートと、少なくとも一部が透光性を有する第2シートと、を重ねたシート対であって、前記第1シート及び前記第2シートの各々の端部が接合されることで袋体を形成するシート対の検査を行う検査装置であって、
前記シート対を前記第2シート側から撮像した画像を取得する取得部と、
前記検査において、良又は不良のうち良であると判定される良品シート対、及び、良又は不良のうち不良であると判定される不良品シート対の少なくとも一方が前記第2シート側から撮像された教師画像を用いた機械学習によって構築された判定モデルにより、取得された前記画像に対応する前記シート対の良及び不良の少なくとも一方の判定を行う判定部と、を備え
前記判定モデルによる判定では、
前記第1パターンが投影された投影パターンから形成される疑似異常パターンと、前記シート対に形成された傷、フィッシュアイ、及びピンホール、ならびに前記シート対に混入した異物の少なくとも一つに起因して前記画像上に出現する異常痕とを区別することにより、前記異常痕を含む前記画像に対応する前記シート対を、良でない、又は、不良であると判定する
検査装置。
A pair of sheets in which a first sheet having a first pattern and a second sheet having at least a portion of a light-transmitting property are stacked, and edges of each of the first sheet and the second sheet are joined An inspection device for inspecting a pair of sheets forming a bag by
an acquisition unit that acquires an image of the sheet pair captured from the second sheet side;
At least one of a non-defective sheet pair determined to be good out of good or defective in the inspection and a defective sheet pair determined to be defective out of good or defective is imaged from the second sheet side. a judgment unit that judges at least one of the pair of sheets corresponding to the acquired image as being good or defective by a judgment model constructed by machine learning using the teacher image ,
In the judgment by the judgment model,
caused by at least one of a pseudo-abnormal pattern formed from a projected pattern obtained by projecting the first pattern, scratches, fisheyes, and pinholes formed in the pair of sheets, and foreign matter mixed in the pair of sheets. The pair of sheets corresponding to the image including the abnormal mark is determined to be non-defective or defective by distinguishing the abnormal mark appearing on the image using the
inspection equipment.
前記第1パターンは、文字、図形、数字、記号、模様、又はこれらの少なくとも2つの組み合わせによって前記第1シートにあらかじめ形成される
請求項1に記載の検査装置。
The inspection apparatus according to claim 1, wherein the first pattern is pre-formed on the first sheet by letters, figures, numbers, symbols, patterns, or a combination of at least two of these.
前記第2シートは、前記第1パターンとは異なる第2パターンを有し、
前記判定モデルによる判定では、前記第1パターンと前記第2パターンとが重畳して投影された重畳パターンから形成される前記疑似異常パターンと、前記異常痕とを区別することにより、前記異常痕を含む前記画像に対応する前記シート対を、良でない、又は、不良であると判定する
請求項1又は2に記載の検査装置。
The second sheet has a second pattern different from the first pattern,
In the determination by the determination model, the abnormal trace is determined by distinguishing the abnormal trace from the pseudo-abnormal pattern formed from the superimposed pattern in which the first pattern and the second pattern are superimposed and projected. determining that the pair of sheets corresponding to the image containing the sheet is not good or defective
The inspection device according to claim 1 or 2 .
前記第2パターンは、文字、図形、数字、記号、模様、又はこれらの少なくとも2つの組み合わせによって前記第2シートにあらかじめ形成される
請求項に記載の検査装置。
4. The inspection apparatus according to claim 3 , wherein the second pattern is pre-formed on the second sheet by letters, figures, numbers, symbols, patterns, or a combination of at least two of these.
前記第1シート及び前記第2シートの少なくとも一方は、形成された前記袋体を開封するためのミシン目を有し、
前記判定モデルによる判定では、前記ミシン目が投影されたミシンパターンと、前記異常痕とを区別することにより、前記異常痕を含む前記画像に対応する前記シート対を、良でない、又は、不良であると判定する
請求項1~4のいずれか一項に記載の検査装置。
At least one of the first sheet and the second sheet has perforations for opening the formed bag,
In the determination by the determination model, by distinguishing between the sewing pattern on which the perforations are projected and the abnormal marks, the sheet pair corresponding to the image including the abnormal marks is determined to be non-defective or defective. determine that there is
The inspection device according to any one of claims 1 to 4 .
前記検査装置は、前記袋体が形成された後の前記シート対について、前記検査を行う
請求項1~5のいずれか一項に記載の検査装置。
The inspection device according to any one of claims 1 to 5 , wherein the inspection device performs the inspection on the pair of sheets after the bag body is formed.
前記検査装置は、前記袋体が形成される前の前記シート対について、前記検査を行う
請求項1~5のいずれか一項に記載の検査装置。
The inspection device according to any one of claims 1 to 5 , wherein the inspection device performs the inspection on the sheet pair before the bag body is formed.
前記画像は、前記第1シート側に設けられた第1光源によって照射された光が第1輝度の光であるときに、前記第2シート側に設けられた撮像装置によって撮像された第1濃淡像と、前記第1光源によって照射された光が前記第1輝度とは異なる第2輝度の光であるときに、前記撮像装置によって撮像された第2濃淡像と、を含む第1画像を含む
請求項1~7のいずれか一項に記載の検査装置。
The image has a first gradation imaged by an imaging device provided on the second sheet side when light emitted by a first light source provided on the first sheet side has a first luminance. and a second grayscale image captured by the imaging device when the light emitted by the first light source is light of a second brightness different from the first brightness. The inspection device according to any one of claims 1 to 7 .
前記画像は、前記第1シート側に設けられた第1光源によって照射された光が、前記第2シート側に設けられた撮像装置によって受光された赤色光、緑色光、及び青色光の各々の輝度値として撮像された第2画像を含む
請求項1~8のいずれか一項に記載の検査装置。
The image is composed of red light, green light, and blue light emitted by a first light source provided on the first sheet side and received by an imaging device provided on the second sheet side. The inspection device according to any one of claims 1 to 8, comprising a second image captured as a luminance value.
前記画像は、前記第2シート側に設けられた第2光源によって照射された光が前記シート対において反射し、前記第2シート側に設けられた撮像装置によって受光されることで撮像された第3画像を含む
請求項1~9のいずれか一項に記載の検査装置。
The image is captured by light emitted by a second light source provided on the second sheet side, reflected by the sheet pair, and received by an imaging device provided on the second sheet side. The inspection apparatus according to any one of claims 1 to 9, comprising three images.
第1パターンを有する第1シートと、少なくとも一部が透光性を有する第2シートと、を重ねたシート対において、前記第1シート及び前記第2シートの各々の端部を接合することで袋体を形成する形成装置と、
請求項1~10のいずれか一項に記載の検査装置と、を備える
製袋システム。
In a pair of sheets in which a first sheet having a first pattern and a second sheet having at least a portion thereof translucent are stacked, the ends of the first sheet and the second sheet are joined together. a forming device for forming a bag;
A bag making system comprising the inspection device according to any one of claims 1 to 10 .
コンピュータによって実行されるプログラムに含まれ、入力データとして入力された画像に基づいて判定された出力データを出力する判定モデルであって、
第1パターンを有する第1シートと、少なくとも一部が透光性を有する第2シートと、を重ねたシート対であって、前記第1シート及び前記第2シートの各々の端部が接合されることで袋体を形成するシート対を前記第2シート側から撮像された画像が前記入力データとして入力された場合に、取得された前記画像に対応する前記シート対の良及び不良の少なくとも一方の判定を、前記第1パターンが投影された投影パターンから形成される疑似異常パターンと、前記シート対に形成された傷、フィッシュアイ、及びピンホール、ならびに前記シート対に混入した異物の少なくとも一つに起因して前記画像上に出現する異常痕とを区別することにより、前記異常痕を含む前記画像に対応する前記シート対を、良でない、又は、不良であると判定することで行い、判定結果を前記出力データとして出力する
判定モデル。
A determination model that is included in a program executed by a computer and outputs output data determined based on an image input as input data,
A pair of sheets in which a first sheet having a first pattern and a second sheet having at least a portion of a light-transmitting property are stacked, and edges of each of the first sheet and the second sheet are joined When an image of the pair of sheets forming the bag is captured from the side of the second sheet as the input data, at least one of good and bad of the pair of sheets corresponding to the acquired image is determined. at least one of a pseudo-abnormal pattern formed from a projected pattern obtained by projecting the first pattern, scratches, fisheyes, and pinholes formed on the pair of sheets, and foreign matter mixed in the pair of sheets. by distinguishing the sheet pair corresponding to the image including the abnormal trace from the abnormal trace appearing on the image due to one reason, determining that the sheet pair corresponding to the image including the abnormal trace is not good or defective; A judgment model that outputs judgment results as the output data.
第1パターンを有する第1シートと、少なくとも一部が透光性を有する第2シートと、を重ねたシート対であって、前記第1シート及び前記第2シートの各々の端部が接合されることで袋体を形成するシート対の検査における検査方法であって、
前記シート対を前記第2シート側から撮像した画像を取得する取得ステップと、
前記検査において、良又は不良のうち良であると判定される良品シート対、及び、良又は不良のうち不良であると判定される不良品シート対の少なくとも一方が前記第2シート側から撮像された教師画像を用いた機械学習によって構築された判定モデルにより、取得された前記画像に対応する前記シート対の良及び不良の少なくとも一方の判定を行う判定ステップと、を含み、
前記判定ステップでは、
前記第1パターンが投影された投影パターンから形成される疑似異常パターンと、前記シート対に形成された傷、フィッシュアイ、及びピンホール、ならびに前記シート対に混入した異物の少なくとも一つに起因して前記画像上に出現する異常痕とを区別することにより、前記異常痕を含む前記画像に対応する前記シート対を、良でない、又は、不良であると判定する
検査方法。
A pair of sheets in which a first sheet having a first pattern and a second sheet having at least a portion of a light-transmitting property are stacked, and edges of each of the first sheet and the second sheet are joined An inspection method for inspecting a pair of sheets forming a bag by
an acquisition step of acquiring an image of the sheet pair captured from the second sheet side;
At least one of a non-defective sheet pair determined to be good out of good or defective in the inspection and a defective sheet pair determined to be defective out of good or defective is imaged from the second sheet side. a determination step of determining at least one of good and bad of the sheet pair corresponding to the acquired image by a determination model constructed by machine learning using the teacher image ,
In the determination step,
caused by at least one of a pseudo-abnormal pattern formed from a projected pattern obtained by projecting the first pattern, scratches, fisheyes, and pinholes formed in the pair of sheets, and foreign matter mixed in the pair of sheets. The pair of sheets corresponding to the image including the abnormal mark is determined to be non-defective or defective by distinguishing the abnormal mark appearing on the image using the
Inspection method.
JP2021574505A 2020-01-27 2020-12-10 Inspection device, bag making system, judgment model, and inspection method Active JP7308301B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020010855 2020-01-27
JP2020010855 2020-01-27
PCT/JP2020/046120 WO2021153029A1 (en) 2020-01-27 2020-12-10 Inspection device, bag manufacturing system, determination model, and inspection method

Publications (2)

Publication Number Publication Date
JPWO2021153029A1 JPWO2021153029A1 (en) 2021-08-05
JP7308301B2 true JP7308301B2 (en) 2023-07-13

Family

ID=77078203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021574505A Active JP7308301B2 (en) 2020-01-27 2020-12-10 Inspection device, bag making system, judgment model, and inspection method

Country Status (2)

Country Link
JP (1) JP7308301B2 (en)
WO (1) WO2021153029A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291929A (en) 2002-04-02 2003-10-15 Xiware Technology Kk Inspection method and apparatus for single-dose package sheet
JP2006105746A (en) 2004-10-04 2006-04-20 Toppan Printing Co Ltd Method and apparatus for inspecting package
JP2013028390A (en) 2011-07-29 2013-02-07 Yamaki Co Ltd Seal inspection apparatus
JP2017054239A (en) 2015-09-08 2017-03-16 株式会社Screenホールディングス Image classification device and image classification method
JP2017080996A (en) 2015-10-28 2017-05-18 東洋製罐株式会社 Deviation detection device and deviation correction device, and deviation detection method and deviation correction method
JP2017166865A (en) 2016-03-14 2017-09-21 凸版印刷株式会社 Appearance inspection device and appearance inspection method
JP2019087044A (en) 2017-11-07 2019-06-06 オムロン株式会社 Inspection device, data generation device, data generation method, and data generation program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018059772A (en) * 2016-10-04 2018-04-12 オムロン株式会社 Sheet inspection device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291929A (en) 2002-04-02 2003-10-15 Xiware Technology Kk Inspection method and apparatus for single-dose package sheet
JP2006105746A (en) 2004-10-04 2006-04-20 Toppan Printing Co Ltd Method and apparatus for inspecting package
JP2013028390A (en) 2011-07-29 2013-02-07 Yamaki Co Ltd Seal inspection apparatus
JP2017054239A (en) 2015-09-08 2017-03-16 株式会社Screenホールディングス Image classification device and image classification method
JP2017080996A (en) 2015-10-28 2017-05-18 東洋製罐株式会社 Deviation detection device and deviation correction device, and deviation detection method and deviation correction method
JP2017166865A (en) 2016-03-14 2017-09-21 凸版印刷株式会社 Appearance inspection device and appearance inspection method
JP2019087044A (en) 2017-11-07 2019-06-06 オムロン株式会社 Inspection device, data generation device, data generation method, and data generation program

Also Published As

Publication number Publication date
JPWO2021153029A1 (en) 2021-08-05
WO2021153029A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
JP6235684B1 (en) Inspection device and PTP packaging machine
JP6149098B1 (en) Inspection method and inspection device for packaged product of absorbent article
WO2018128197A1 (en) System for examining image of packaging body
JP5895575B2 (en) Quality inspection equipment for soft bags
JP4368808B2 (en) Appearance inspection device and PTP packaging machine
CN107340304B (en) Method for testing cigarettes or cigarette packs
JP2013122455A (en) Method and device for optically testing object to be tested during production and/or packing of cigarette
JP7308301B2 (en) Inspection device, bag making system, judgment model, and inspection method
JP3779790B2 (en) Inspection method for sealed package
JP2822830B2 (en) Defect detection method for printed sheets
JP3904981B2 (en) Wrapping / unfolding determination method and apparatus for wrapping paper
JP6997036B2 (en) Package inspection method and package inspection device
JP6699694B2 (en) Inspection system, inspection method
JP4213108B2 (en) Lighting device for visual inspection
JP4477516B2 (en) Inspection device and PTP packaging machine
US20210154946A1 (en) Manufacturing device of package and manufacturing method of package
WO2021161619A1 (en) Inspection device, packaging sheet manufacturing device, and inspection method
JP7053840B2 (en) Inspection equipment, manufacturing equipment, and inspection method for packaging containers for smoking articles
JPH10170231A (en) Detecting device for skip stitch of seam
JP2013177148A (en) Packaging sheet, package using the packaging sheet and inspection equipment for the package
JP7041583B2 (en) Package inspection method and package inspection device
JP4251325B2 (en) Appearance inspection device and PTP packaging machine
JP2004271238A (en) Method and apparatus for inspecting package
JP6639452B2 (en) Packaging quality inspection device
JP4750612B2 (en) Shrink film inspection apparatus and shrink film inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R150 Certificate of patent or registration of utility model

Ref document number: 7308301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150