JP7422588B2 - 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 - Google Patents
製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 Download PDFInfo
- Publication number
- JP7422588B2 JP7422588B2 JP2020062065A JP2020062065A JP7422588B2 JP 7422588 B2 JP7422588 B2 JP 7422588B2 JP 2020062065 A JP2020062065 A JP 2020062065A JP 2020062065 A JP2020062065 A JP 2020062065A JP 7422588 B2 JP7422588 B2 JP 7422588B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- film
- cylindrical member
- inspection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 140
- 238000004519 manufacturing process Methods 0.000 title claims description 66
- 238000000034 method Methods 0.000 title claims description 48
- 230000037303 wrinkles Effects 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 63
- 238000003384 imaging method Methods 0.000 claims description 38
- 230000032258 transport Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 description 47
- 239000011159 matrix material Substances 0.000 description 36
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 22
- 238000003860 storage Methods 0.000 description 12
- 239000005022 packaging material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 7
- 230000002950 deficient Effects 0.000 description 7
- 239000004744 fabric Substances 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 229920001328 Polyvinylidene chloride Polymers 0.000 description 1
- BZHJMEDXRYGGRV-UHFFFAOYSA-N Vinyl chloride Chemical compound ClC=C BZHJMEDXRYGGRV-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229920006280 packaging film Polymers 0.000 description 1
- 239000012785 packaging film Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000005033 polyvinylidene chloride Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Description
図1は、実施形態におけるラップフィルム製品の製造工程の一例を示すフローチャートである。ラップフィルム製品の製造工程は、例えば、前処理工程(ステップS100)と、巻き替え工程(ステップS102)と、検査工程(ステップS104)と、選別工程(ステップS106)と、後処理工程(ステップS110)とを含む。
図2は、実施形態におけるラップフィルム製品を製造する製造装置100の一例を示す図である。製造装置100は、例えば、搬送部110と、制御装置140と、撮像装置150A、150B、150C、および150Dと、照明装置(光源)160とを備える。なお、撮像装置150A、150B、150C、および150Dを総称する場合には単に「撮像装置150」と記載する。
図3は、実施形態における製品検査システムの一例を示すブロック図である。製品検査システム300は、例えば、制御装置140と、製品検査装置310と、端末装置400とを備える。制御装置140、製品検査システム300、および端末装置400は、例えば、通信ネットワークに接続される。通信ネットワークに接続される各装置は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェース(不図示)を備えている。通信ネットワークは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。
以下、上述した製品検査システム300における製品の検査の具体例について説明する。
図8は、実施形態における認識結果の他の一例を示す図である。図9は、ラップフィルム製品の外観的な状態を示す図である。認識装置320は、撮像装置150による撮影画像を入力した場合、例えば図9に示したようなラップフィルム製品130のように、「斜めの皺が有り」、「縦筋の皺が有り」、「皺の密集度が高い」、「良好」といった認識結果を出力する。縦筋の皺は、フィルム200の搬送方向に並行して連続し厚さ方向で交差しない皺である。縦筋の皺は、下層の皺に対しても並行である皺である。縦筋の皺は、ラップフィルム製品130の製造後の経時的な変化により消失する皺の一例である。縦筋の皺は、フィルムの引張方向(引き出し方向)に平行に入る縦筋皺であり、経時変化によるラップフィルム製品130の巻き締まりで目視確認しにくくなる。縦筋の皺は、撮像装置150により検知される小さな皺に相当する。フィルム200を第2円柱部材134へ巻き替える際に引き出し方向(搬送方向)に繰り出すため、フィルム200が延伸された状態で巻き取られる。経時によるフィルム200の巻き締まりは、フィルム200を形成するポリマー分子が経時で緩和して最安定な状態になるに従い、分子鎖が縮まることで起こる。斜めの皺は、フィルム200の搬送方向(Y方向)と交わる方向に連続する皺である。斜めの皺は、撮像装置150により検知される大きな皺に相当する。斜めの皺は、ラップフィルム製品130の製造後に消失しない皺の一例である。
以下、実施形態における畳み込みニューラルネットワーク333および畳み込みニューラルネットワーク323の一例について説明する。なお、この説明において、畳み込みニューラルネットワーク333および畳み込みニューラルネットワーク323を総称して「畳み込みニューラルネットワーク」と記載する。
中間層L1の畳み込み処理の一例について説明する。畳み込み処理は、元の画像にフィルタをかけて特徴マップを出力する処理である。具体的には、入力された画素値は、それぞれ、Rのサブ画素行列D121と、Bのサブ画素行列D122と、Gのサブ画素行列D123とに分けられる。各サブ画素行列D121、D122、D123(各々を「サブ画素行列D12」とも称する)は、それぞれ、s行t列の部分行列ごとに、その部分行列の各要素とs行t列のコンボリューション行列CM1(カーネルとも呼ばれる)の要素が乗算され、加算されることで、第1画素値が算出される。各サブ画素行列D12で算出された第1画素値は、それぞれ、重み係数が乗算されて加算されることで、第2画素値が算出される。第2画素値は、部分行列の位置に対応する行列要素として、畳込画像行列D131の各要素として設定される。各サブ画素行列D12において部分行列の位置が要素(サブ画素)ごとにずらされることで、各位置での第2画素値が算出され、畳込画像行列D131の全ての行列要素が算出される。
中間層L1のプーリング処理の一例について説明する。プーリング処理は、画像の特徴を残しながら画像を縮小する処理である。具体的には、畳込画像行列D131におけるu行v列の領域PMごとに、領域内の行列要素の代表値が算出される。代表値は、例えば、領域内の行列要素の最大値である。代表値は、領域PMの位置に対応する行列要素として、CNN画像行列D141の各要素に設定される。畳込画像行列D131における領域が、領域PMごとにずらされることで、各位置での代表値が算出され、CNN画像行列D141の全ての要素が算出される。
学習処理部332は、畳み込みニューラルネットワークについて、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列といった処理パラメータを設定する。学習処理部332は、例えば、層数として、3層(I=3)を設定する。学習処理部332は、各層のノードの数(「ノード数」とも称する)として、ベクトルXの要素数(ノード数N)に800、第2番目の中間層(i=2)のノード数に500、出力層(i=3)に10を設定する。ただし、実施形態はこれに限らず、総数は4層以上であってもよいし、ノード数には別の値が設定されてもよい。
以上に説明したように、実施形態の製品検査システム300によれば、透明のフィルム200を第2円柱部材134に搬送し、搬送されたフィルム200を第2円柱部材134に巻き付けたラップフィルム製品130を検査する製品検査システムであって、第2円柱部材134へと搬送されるフィルム200を撮像する撮像装置150と、第2円柱部材134へと搬送されるフィルム200を過去に撮像した画像と当該フィルム200を用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、撮像装置150により撮像された画像を入力することで、ラップフィルム製品130の外観に関する検査情報を取得し、検査情報に基づいてラップフィルム製品130の外観を検査する制御装置140と、を備える、製品検査システムを実現することができる。実施形態の製品検査システム300によれば、製造工程におけるフィルム200を用いてラップフィルム製品130を検査することができる。
110 搬送部
114 第1円柱部材
120 原反
122 フィルム
124 第1の円柱部材
130 ラップフィルム製品
134 第2の円柱部材
140 制御装置
142 制御部
144 通知部
150 撮像装置
160 照明装置
200 フィルム
300 製品検査システム
310 製品検査装置
311 学習データ取得部
320 認識装置
321 撮影画像取得部
322 認識処理部
323 畳み込みニューラルネットワーク
324 認識結果記憶部
330 学習装置
331 学習データ取得部
332 学習処理部
333 畳み込みニューラルネットワーク
334 学習結果記憶部
340 学習画像データベース
400 端末装置
Claims (13)
- 透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品を検査する製品検査システムであって、
前記円柱部材へと搬送される前記フィルムを撮像する撮像部と、
前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、前記撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、
を備える、製品検査システム。 - 前記予測モデルは、前記撮像部により撮像された画像が入力された場合に、前記検査情報として前記製品におけるフィルムの外観的な印象に関する情報を出力するように機械学習される、
請求項1に記載の製品検査システム。 - 前記検査部は、前記製品の製造後の経時的な変化により消失する皺の有無、および前記製品の製造後に消失しない皺の有無を検査する、
請求項1または2に記載の製品検査システム。 - 前記製品の製造後の経時的な変化により消失する皺は、前記フィルムの搬送方向に並行して連続し厚さ方向で交差しない皺であり、および前記製品の製造後に消失しない皺は、前記フィルムの搬送方向と交わる方向に連続する皺である、
請求項3に記載の製品検査システム。 - 前記検査部は、前記フィルムの搬送方向にける皺の密集度を検査する、
請求項2に記載の製品検査システム。 - 前記円柱部材へと搬送されるフィルムに光を照射する光源をさらに備え、
前記光源は、前記フィルムの搬送方向に対して交わる方向に進行する光を照射し、
前記撮像部は、前記フィルムにより透過または反射された光に基づく画像を撮像する、
請求項1から5のうち何れか1項に記載の製品検査システム。 - 前記予測モデルにより出力された検査情報と、前記製品の識別情報とを対応づけ、前記検査情報に基づいて前記製品を選別する、
請求項2から6のうち何れか1項に記載の製品検査システム。 - 前記検査部の検査結果に基づいて前記円柱部材へと搬送されるフィルムの皺を抑制する、
請求項1から7のうち何れか1項に記載の製品検査システム。 - 透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品を検査する製品検査方法であって、
前記円柱部材へと搬送される前記フィルムを撮像するステップと、
前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、前記撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査するステップと、
を含む、製品検査方法。 - 円柱部材へと搬送されるフィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像、および前記製品の外観に関する情報を含む学習データを取得する学習データ取得部と、
予測モデルを学習する学習処理部であって、円柱部材へと搬送されるフィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像を前記予測モデルに入力した場合に、前記予測モデルから前記製品の外観に関する情報を出力するように、前記予測モデルの処理パラメータを学習する学習処理部と、
を備える、学習装置。 - 透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品の製造工程において、前記円柱部材へと搬送される前記フィルムを撮像した撮影画像を取得する撮影画像取得部と、
前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、
を備える、認識装置。 - 透明のフィルムを円柱部材に巻き付けた製品を製造する製品製造システムであって、
前記フィルムを前記円柱部材に搬送する搬送部と、
前記円柱部材へと搬送される前記フィルムを撮像する撮像部と、
前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして予測モデルを機械学習する学習部と、
前記予測モデルに、前記撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、
を備える、製品製造システム。 - 透明のフィルムを円柱部材に巻き付けた製品を製造する製品製造方法であって、
前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして予測モデルを機械学習するステップと、
前記フィルムを前記円柱部材に搬送するステップと、
前記円柱部材へと搬送される前記フィルムを撮像するステップと、
前記予測モデルに、撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査するステップと、
を含む、製品製造方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062065A JP7422588B2 (ja) | 2020-03-31 | 2020-03-31 | 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062065A JP7422588B2 (ja) | 2020-03-31 | 2020-03-31 | 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021162389A JP2021162389A (ja) | 2021-10-11 |
JP7422588B2 true JP7422588B2 (ja) | 2024-01-26 |
Family
ID=78003123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020062065A Active JP7422588B2 (ja) | 2020-03-31 | 2020-03-31 | 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7422588B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017215277A (ja) | 2016-06-02 | 2017-12-07 | 住友化学株式会社 | 欠陥検査システム、フィルム製造装置及び欠陥検査方法 |
JP2019174293A (ja) | 2018-03-28 | 2019-10-10 | 大日本印刷株式会社 | 枚葉フィルムの検査装置および枚葉フィルムの検査方法 |
-
2020
- 2020-03-31 JP JP2020062065A patent/JP7422588B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017215277A (ja) | 2016-06-02 | 2017-12-07 | 住友化学株式会社 | 欠陥検査システム、フィルム製造装置及び欠陥検査方法 |
JP2019174293A (ja) | 2018-03-28 | 2019-10-10 | 大日本印刷株式会社 | 枚葉フィルムの検査装置および枚葉フィルムの検査方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021162389A (ja) | 2021-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020042741A1 (zh) | 电池检测方法及装置 | |
US11106193B1 (en) | Neural network-based error compensation method, system and device for 3D printing | |
US9595096B2 (en) | Composite inspection and structural check of multiple layers | |
TWI805723B (zh) | 捲繞條件生成裝置、捲繞裝置、捲繞缺陷等級預測値生成裝置、捲繞條件計算方法、捲繞方法及捲繞缺陷等級預測値生成方法 | |
JP2015172576A5 (ja) | 複合アイテムの検査方法及びシステム | |
KR102636470B1 (ko) | 학습 완료 모델의 생성 방법, 학습 완료 모델, 표면 결함 검출 방법, 강재의 제조 방법, 합부 판정 방법, 등급 판정 방법, 표면 결함 판정 프로그램, 합부 판정 프로그램, 판정 시스템 및, 강재의 제조 설비 | |
WO2019219826A1 (en) | Method and apparatus for evaluating an unknown effect of defects of an element of a photolithography process | |
US20120207381A1 (en) | Systems and Methods Eliminating False Defect Detections | |
JP6860079B2 (ja) | 異常検知装置、異常検知方法、及びプログラム | |
CA3166581A1 (en) | Method and system for training inspection equipment for automatic defect classification | |
US20160078608A1 (en) | Reticle inspection apparatus and method | |
US20210031507A1 (en) | Identifying differences between images | |
JP2014115140A (ja) | 基板の基準画像作成方法、基板の欠陥検査方法、基板の基準画像作成装置、基板の欠陥検査ユニット、プログラム及びコンピュータ記憶媒体 | |
WO2020210574A1 (en) | System for in-line inspection of seal integrity | |
JP7422588B2 (ja) | 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 | |
JP2020071271A (ja) | 機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 | |
JP2013108878A (ja) | フィルム検査装置 | |
CN114820618B (zh) | 瑕疵检测模型的训练方法、装置、设备及存储介质 | |
JP2022079097A (ja) | 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、および製品製造方法 | |
JP6423064B2 (ja) | 基板処理システム | |
JP2023031529A (ja) | 学習装置、推定装置、不良検査装置、および不良検査方法 | |
JP2020060398A (ja) | 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム | |
JP2020190485A (ja) | 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム | |
JP2023163175A (ja) | 検査システム、検査方法、学習方法、及びプログラム | |
WO2024014020A1 (ja) | 包装体検査装置及び包装体検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7422588 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |