JP7422588B2 - 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 - Google Patents

製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 Download PDF

Info

Publication number
JP7422588B2
JP7422588B2 JP2020062065A JP2020062065A JP7422588B2 JP 7422588 B2 JP7422588 B2 JP 7422588B2 JP 2020062065 A JP2020062065 A JP 2020062065A JP 2020062065 A JP2020062065 A JP 2020062065A JP 7422588 B2 JP7422588 B2 JP 7422588B2
Authority
JP
Japan
Prior art keywords
product
film
cylindrical member
inspection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020062065A
Other languages
English (en)
Other versions
JP2021162389A (ja
Inventor
利香 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shin Etsu Polymer Co Ltd
Original Assignee
Shin Etsu Polymer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shin Etsu Polymer Co Ltd filed Critical Shin Etsu Polymer Co Ltd
Priority to JP2020062065A priority Critical patent/JP7422588B2/ja
Publication of JP2021162389A publication Critical patent/JP2021162389A/ja
Application granted granted Critical
Publication of JP7422588B2 publication Critical patent/JP7422588B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法に関する。
従来より、搬送するフィルムの欠陥を検査する技術が知られている。この種の技術は、例えば、特許文献1に記載された欠陥検査システムがある。この欠陥検査システムは、フィルムを撮像した画像を用いてフィルムにおける欠陥の位置を特定し、位置が特定された欠陥の種別を識別している。
特開2017-215277号公報
しかしながら、上述したい欠陥検査システムはフィルムの欠陥の種別が識別できるが、当該フィルムを用いた製品を検査することはできなかった。
本発明は、フィルムを用いた製品を検査することができる製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法を提供することを目的の一つとする。
(1)本発明の一態様に係る製品検査システムは、透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品を検査する製品検査システムであって、前記円柱部材へと搬送される前記フィルムを撮像する撮像部と、前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、前記撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、を備える、製品検査システムである。
(2)上記(1)の態様において、前記予測モデルは、前記撮像部により撮像された画像が入力された場合に、前記検査情報として前記製品におけるフィルムの外観的な印象に関する情報を出力するように機械学習される。
(3)上記(1)または(2)の態様において、前記検査部は、前記製品の製造後の経時的な変化により消失する皺の有無、および前記製品の製造後に消失しない皺の有無を検査する
(4)上記(3)の態様において、前記製品の製造後の経時的な変化により消失する皺は、前記フィルムの搬送方向に並行して連続し厚さ方向で交差しない皺であり、および前記製品の製造後に消失しない皺は、前記フィルムの搬送方向と交わる方向に連続する皺である。
(5)上記(2)の態様において、前記検査部は、前記フィルムの搬送方向にける皺の密集度を検査する
(6)上記(1)から(5)のうち何れかの態様において、前記円柱部材へと搬送されるフィルムに光を照射する光源をさらに備え、前記光源は、前記フィルムの搬送方向に対して交わる方向に進行する光を照射し、前記撮像部は、前記フィルムにより透過または反射された光に基づく画像を撮像する。
(7)上記(1)から(6)のいずれかの態様において、前記予測モデルにより出力された検査情報と、前記製品の識別情報とを対応づけ、前記検査情報に基づいて前記製品を選別する。
(8)上記(1)から(7)のいずれかの態様において、前記検査部の検査結果に基づいて前記円柱部材へと搬送されるフィルムの皺を抑制する。
(9)本発明の一態様に係る製品検査方法は、透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品を検査する製品検査方法であって、前記円柱部材へと搬送される前記フィルムを撮像するステップと、前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、前記撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査するステップと、を含む、製品検査方法である。
(10)本発明の一態様に係る学習装置は、円柱部材へと搬送されるフィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像、および前記製品の外観に関する情報を含む学習データを取得する学習データ取得部と、予測モデルを学習する学習処理部であって、円柱部材へと搬送されるフィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像を前記予測モデルに入力した場合に、前記予測モデルから前記製品の外観に関する情報を出力するように、前記予測モデルの処理パラメータを学習する学習処理部と、を備える、学習装置である。
(11)本発明の一態様に係る認識装置は、透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品の製造工程において、前記円柱部材へと搬送される前記フィルムを撮像した撮影画像を取得する撮影画像取得部と、前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、前記撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、を備える、認識装置である。
(12)本発明の一態様に係る製品製造システムは、透明のフィルムを円柱部材に巻き付けた製品を製造する製品製造システムであって、前記フィルムを前記円柱部材に搬送する搬送部と、前記円柱部材へと搬送される前記フィルムを撮像する撮像部と、前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして予測モデルを機械学習する学習部と、前記予測モデルに、前記撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、を備える、製品製造システムである。
(13)本発明の一態様に係る製品製造方法は、透明のフィルムを円柱部材に巻き付けた製品を製造する製品製造方法であって、前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして予測モデルを機械学習するステップと、前記フィルムを前記円柱部材に搬送するステップと、前記円柱部材へと搬送される前記フィルムを撮像するステップと、前記予測モデルに、撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査するステップと、を含む、製品製造方法である。
本発明によれば、フィルムを用いた製品を検査することができる製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法を提供することができる。
実施形態におけるラップフィルム製品の製造工程の一例を示すフローチャートである。 実施形態におけるラップフィルム製品を製造する製造装置100の一例を示す図である。 実施形態における製品検査システムの一例を示すブロック図である。 実施形態における学習装置330の一例を示すブロック図である。 畳み込みニューラルネットワーク333における入力変数と出力変数との関係を示す図である。 実施形態における認識装置320の一例を示すブロック図である。 実施形態における認識結果の一例を示す図である。 実施形態における認識結果の他の一例を示す図である。 ラップフィルム製品の外観的な状態を示す図である。 ラップフィルム製品の外観的な状態を示す他の図である。 実施形態における畳み込みニューラルネットワークを用いた認識処理を行う処理を説明するための図である。 実施形態における畳み込みニューラルネットワークを用いた学習処理を説明するための図である。
以下、図面を参照し、製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法の実施形態について説明する。
実施形態の製品検査システムは、フィルムを用いた製品を検査する。実施形態において、フィルムは、例えば、ポリ塩化ビニリデン、塩化ビニル樹脂、ポリエチレン等の包装用のフィルムであり、製品は、例えば、フィルムが円筒形状等の芯部材に巻き付けられたラップフィルム製品であり、実施形態における製品は、フィルムが円筒形状等の芯部材に巻き付けられたものであり、当該製品が包装された化粧箱等は含まないものとする。なお、製品は、後述するように、フィルムが搬送されて芯部材に巻き付けられた製品であれば、ラップフィルム製品に限定されないものとする。
[製品の製造工程]
図1は、実施形態におけるラップフィルム製品の製造工程の一例を示すフローチャートである。ラップフィルム製品の製造工程は、例えば、前処理工程(ステップS100)と、巻き替え工程(ステップS102)と、検査工程(ステップS104)と、選別工程(ステップS106)と、後処理工程(ステップS110)とを含む。
前処理工程(ステップS100)は、例えば、ラップフィルム製品の製造のための工程、およびラップフィルム製品の検査のための工程を含む。ラップフィルム製品の製造のための工程は、太巻き原反を製造する工程、太巻き原反を設置する工程、および芯部材を設置する工程等を含む。太巻き原反は、ラップフィルム製品に用いられるフィルムを、第1の円柱部材に巻き付けたものである。第1の円柱部材には、例えば、多数のラップフィルム製品を製造するためのフィルムが巻き付けられる。ラップフィルム製品の検査のための工程は、フィルムの皺等を検出するための条件を設定する処理や、ラップフィルム製品の検査のための認識エンジンを構築するための学習処理などを含む。
巻き替え工程(ステップS102)は、太巻き原反におけるフィルムを芯部材(第2の円柱部材)に搬送し、搬送したフィルムを芯部材に巻き替える工程である。
検査工程(ステップS104)は、自動的にラップフィルム製品を検査する工程である。具体的に、検査工程は、太巻き原反から芯部材に搬送されるフィルムの画像に基づいて当該フィルムを用いてラップフィルム製品を検査する工程である。
選別工程(ステップS106)は、検査工程の結果に基づいてラップフィルム製品を選別する工程である。選別工程は、例えば、ラップフィルム製品を後処理工程から排除する工程を含む。
後処理工程(ステップS108)は、実施形態において説明した製品製造システム以降の工程である。後処理工程は、例えば、ラップフィルム製品を包装する工程や、ラップフィルム製品を目視等で検査する工程や、学習処理のための画像を取得する処理等を含む学習フィードバック工程などを含む。なお、後処理工程には、上述した選別工程を含んでよい。後処理工程には、太巻き原反から巻き替えられた小巻のラップフィルム製品の製造装置から不良の製品を排出する工程を含んでよい。
[製品の製造装置]
図2は、実施形態におけるラップフィルム製品を製造する製造装置100の一例を示す図である。製造装置100は、例えば、搬送部110と、制御装置140と、撮像装置150A、150B、150C、および150Dと、照明装置(光源)160とを備える。なお、撮像装置150A、150B、150C、および150Dを総称する場合には単に「撮像装置150」と記載する。
搬送部110は、例えば、モータ等を備え、第1円柱部材124および第2円柱部材134を回転させる。第2円柱部材134は、例えば紙管である。第1円柱部材124および第2円柱部材134を回転させることで、太巻き原反120に巻き付けられたフィルム122は、搬送方向(Y方向)に沿ってフィルム200として搬送され、フィルム200は第2円柱部材134に巻き付けられる。これにより、製造装置100は、フィルム132が第2円柱部材134に巻き付けられたラップフィルム製品130を製造する。
なお、製造装置100は、フィルム200を搬送する機構としてモータ等を備えるが、フィルム200の搬送方向を調整するローラ等の機構や、搬送方向や幅方向におけるフィルム200の張力を調整する機構や、1つのラップフィルム製品130を製造するために必要な長さにフィルム200を切断する機構等を備えていてもよい。製造装置100は、例えば、フィルム200のY方向の皺を伸ばす手段として、X方向において弓状に湾曲した治具を備えてよい。さらに、製造装置100は、フィルム200の幅方向における張力を検出するセンサ、およびフィルム200の幅方向における張力を制御する機構を備えてもよい。
制御装置140は、製造装置100の各部を制御する。制御装置140は、例えば、搬送部110および照明装置160を制御すると共に、撮像装置150から画像データを取得する。撮像装置150A、150B、150C、および150Dは、フィルム200の幅方向(X方向)と並行するライン200a上のフィルム200をそれぞれ撮像する。これにより、撮像装置150A、150B、150C、および150Dは、フィルム200の幅方向における両端に亘る状態を撮像することができる。撮像装置150A、150B、150C、および150Dは、それぞれ画像データを制御装置140に出力する。照明装置160は、撮像装置150により撮像する時にライン200a上に光160#を照射する位置に設けられる。照明装置160は、光160#の進行方向と搬送方向とが交わる方向となるように設置されている。なお、照明装置160は、搬送方向に並行した皺により影が撮像されるように光160#を照射することが望ましい。なお、照明装置160は、撮像装置150と対向せずにフィルム200の上方に設けられてよく、フィルム200の下方に設けられて撮像装置150と対向した位置に設けられてよい。
[製品検査システム]
図3は、実施形態における製品検査システムの一例を示すブロック図である。製品検査システム300は、例えば、制御装置140と、製品検査装置310と、端末装置400とを備える。制御装置140、製品検査システム300、および端末装置400は、例えば、通信ネットワークに接続される。通信ネットワークに接続される各装置は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェース(不図示)を備えている。通信ネットワークは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。
制御装置140は、制御部142と、通知部144とを備える。制御部142や通知部144といった機能部は、例えばCPU(Central Processing Unit)等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。制御部142は、製造装置100の各部を制御し、撮像装置150から取得した撮影画像を製品検査装置310に送信する。制御部142は、検査結果を受信する。通知部144は、ディスプレイ等を備え、検査結果に基づいて表示等を行う。
端末装置400は、例えばスマートフォンやタブレット端末などのカメラ装置を備えた携帯型端末装置である。端末装置400は、ユーザの操作に基づいてラップフィルム製品130を撮像する。ユーザは、例えば、ラップフィルム製品130を目視等で検査する作業員である。ユーザは、ラップフィルム製品130の状態を検査する。端末装置400は、ラップフィルム製品130におけるフィルム132の外観的な印象に関する情報として、ラップフィルム製品130を撮像した撮像画像を取得する。撮像画像は、例えば、ラップフィルム製品130における皺などを含む負例画像である。端末装置400は、負例画像を製品検査装置310に送信する。なお、端末装置400は、ユーザの操作に基づいて、「印象が良または不良である」ことや、「製品の製造後に消失しない皺である」ことや、「フィルムの搬送方向と交わる方向に連続する皺である」ことを示す情報を、画像に付加して送信してもよい。
製品検査装置310は、例えば、認識装置320と、学習装置330と、学習画像データベース340とを備える。認識装置320および学習装置330といった機能部は、例えばCPU等のプロセッサなどがプログラムメモリに格納されたプログラムを実行することにより実現される。学習画像データベース340は、例えばHDD装置などの記憶装置や、情報管理装置などを含む。
図4は、実施形態における学習装置330の一例を示すブロック図である。学習装置330は、例えば、学習データ取得部331、学習処理部332、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)333、および学習結果記憶部334を備える。学習データ取得部311は、端末装置400から、学習データとして、学習画像、検査結果、皺に関する情報、皺の密度に関する情報、ラップフィルム製品130の印象に関する情報を取得する。なお、学習データは、教師データのセットと読み替えてよい。
図5は、畳み込みニューラルネットワーク333における入力変数と出力変数との関係を示す図である。学習画像は、畳み込みニューラルネットワーク333における入力変数に相当し、検査結果、皺に関する情報、皺の密度に関する情報、製品検査システム300の印象に関する情報は、畳み込みニューラルネットワーク333における出力変数に相当する。出力変数は、認識装置320が出力すべき検査情報に相当する。なお、製品検査システム300の印象は、製造作業員の目視による検査結果や、顧客が初めて製品を開封した時の印象のアンケート結果、過去の苦情(クレーム)の事例等に基づく情報であってよい。
学習処理部332は、学習画像を畳み込みニューラルネットワーク333に入力し、畳み込みニューラルネットワーク333から出力変数を出力するように処理パラメータを学習する。具体的に、学習処理部332は、学習データを用い、図5に示した入力変数に対応する出力変数と、目標とする出力との差が小さくなるように、処理パラメータを再帰的に算出(更新)する。学習処理部332は、処理パラメータを取得するために、例えば、深層学習を行う。深層学習とは、多層構造、特に3層以上のニューラルネットワークを用いた機械学習である。多層構造のニューラルネットワークとして、実施形態においては、畳み込みニューラルネットワーク333を用いる。学習処理部332は、更新した処理パラメータを学習結果記憶部334に保存する。
図6は、実施形態における認識装置320の一例を示すブロック図である。認識装置320は、撮影画像取得部321、認識処理部322、畳み込みニューラルネットワーク323、および認識結果記憶部324を備える。撮影画像取得部321は、制御装置140から撮影画像を取得する。畳み込みニューラルネットワーク323は、学習結果記憶部334に記憶された処理パラメータが設定された予測モデルである。畳み込みニューラルネットワーク323は、撮影画像を入力し、検査結果等の認識結果を出力する。認識処理部322は、畳み込みニューラルネットワーク323から出力された認識結果を認識結果記憶部324に保存する。認識結果は、図5に示した学習データ(教師データのセット)に対応した情報を含む。すなわち、認識結果には、検査結果、皺に関する情報、皺の密度に関する情報、ラップフィルム製品130の印象に関する情報が含まれる。
図7は、実施形態における認識結果の一例を示す図である。認識処理部322は、撮影画像IDと、畳み込みニューラルネットワーク323の出力としての認識結果と、製品IDとを対応付けて記憶する。製品IDは、ラップフィルム製品130の識別情報であり、例えば、ラップフィルム製品130の製造番号やロット番号である。認識処理部322は、例えば、制御装置140から撮影画像に対応する撮影画像ID、および撮影画像に関連する製品IDを取得する。認識処理部322は、畳み込みニューラルネットワーク323から出力された認識結果に、撮影画像IDおよび製品IDを対応付けて認識結果記憶部324に保存する。なお、製品IDは、例えば、第2円柱部材134に印刷された文字列を撮像装置150により撮像した画像に基づいて認識した情報であってよい。
認識装置320は、認識結果記憶部324に記憶された情報を制御装置140に出力する。通知部144は、例えば、製品IDに対応した認識結果を通知する。これにより、制御装置140は、製品IDに対応したラップフィルム製品130ごとに、認識結果に基づく選別工程や、後処理工程を行わせることができる。
なお、検査情報として、検査結果、皺、印象を記載したが、これに限定されず、ラップフィルム製品130の外観に関するパラメータであればよい。例えば、ラップフィルム製品130におけるフィルムの外観的な異常に関する情報は、縦筋の皺であっても、フィルム200の幅方向における厚さ変化に基づくラップフィルム製品130の凸部(こぶ)を含むか否かを示す情報であってよい。
[検査の具体例]
以下、上述した製品検査システム300における製品の検査の具体例について説明する。
図8は、実施形態における認識結果の他の一例を示す図である。図9は、ラップフィルム製品の外観的な状態を示す図である。認識装置320は、撮像装置150による撮影画像を入力した場合、例えば図9に示したようなラップフィルム製品130のように、「斜めの皺が有り」、「縦筋の皺が有り」、「皺の密集度が高い」、「良好」といった認識結果を出力する。縦筋の皺は、フィルム200の搬送方向に並行して連続し厚さ方向で交差しない皺である。縦筋の皺は、下層の皺に対しても並行である皺である。縦筋の皺は、ラップフィルム製品130の製造後の経時的な変化により消失する皺の一例である。縦筋の皺は、フィルムの引張方向(引き出し方向)に平行に入る縦筋皺であり、経時変化によるラップフィルム製品130の巻き締まりで目視確認しにくくなる。縦筋の皺は、撮像装置150により検知される小さな皺に相当する。フィルム200を第2円柱部材134へ巻き替える際に引き出し方向(搬送方向)に繰り出すため、フィルム200が延伸された状態で巻き取られる。経時によるフィルム200の巻き締まりは、フィルム200を形成するポリマー分子が経時で緩和して最安定な状態になるに従い、分子鎖が縮まることで起こる。斜めの皺は、フィルム200の搬送方向(Y方向)と交わる方向に連続する皺である。斜めの皺は、撮像装置150により検知される大きな皺に相当する。斜めの皺は、ラップフィルム製品130の製造後に消失しない皺の一例である。
また、認識装置320は、例えば、「斜めの皺」がラップフィルム製品130の製造後に消失せずに、目視等の検査により「不良」であると判断されたことを学習した場合において、畳み込みニューラルネットワーク323が「斜めの皺が有り」という認識結果を出力した場合、「不良」という認識結果を生成してよい。認識装置320は、例えば、「縦筋の皺」がラップフィルム製品130の製造後に消失し、目視等の検査により「良好」であると判断されたことを学習した場合において、畳み込みニューラルネットワーク323が「縦筋の皺が有り」という認識結果を出力した場合、「良好」という認識結果を生成してよい。さらに望ましくは、認識装置320は、畳み込みニューラルネットワーク323が「斜めの皺が有り」という認識結果を出力しただけでは「不良」という認識結果を生成せず、「斜めの皺が有り」という認識結果に加え、斜めの皺の量・数、幅方向の長さ、斜めの皺が存在する領域の広さや位置といったパラメータも掛け合わせて不良であると判定してよい。例えば、認識装置320は、ラップフィルム製品130のうち全幅の1/3以内に斜めの皺が存在しても、良品であると判定してよい。
図10は、ラップフィルム製品の外観的な状態を示す他の図である。図10において上図はラップフィルム製品130の外観的な状態を示し、下図は、1つのラップフィルム製品130における1枚のフィルム132に検出された皺を模式的に示す。
例えば、フィルム132のうち、ラップフィルム製品130に斜めの皺が目視される箇所に対応するフィルム部分132aには、撮影画像において検出される、Y方向に長い斜めの皺136aが存在するものとする。このような皺136aは、一つの長い皺であり、X方向の密集度Dx1およびY方向の密集度Dy1は低い値になる。しかし、皺136aは、フィルム132が第2円柱部材134に巻き付けられることで、多数の皺として目視される場合がある。これに対し、認識装置320は、撮影画像から皺136aに対応する認識結果として、「斜めの皺が有り」や、「不良」という出力をすることができる。
例えば、フィルム132のうち、ラップフィルム製品130に皺が目視されない箇所に対応するフィルム部分132bには、撮影画像において検出される、Y方向に長い縦筋の皺136bが存在するものとする。このような皺136bは、ラップフィルム製品130の製造後の経時変化により消失する皺であり、ラップフィルム製品130の出荷後等には目視されない。これに対し、認識装置320は、撮影画像から皺136bに対応する認識結果として、「縦筋の皺が有り」や、「良好」という出力をすることができる。
例えば、フィルム132のうち、ラップフィルム製品130に多数の微細な皺が目視される箇所に対応するフィルム部分132cには、撮影画像において検出される、斜めの皺136cが存在するものとする。このような皺136cは、X方向の密集度Dx2およびY方向の密集度Dy2は高い値になる。これに対し、認識装置320は、撮影画像から皺136bに対応する認識結果として、「斜めの皺が有り」、「皺の密集度が高い」、または「不良」という出力をすることができる。
例えば、フィルム132のうち、ラップフィルム製品130に多数の微細な皺が目視される箇所に対応するフィルム部分132dには、撮影画像において検出される、斜めの皺136dが存在し、当該皺136dがY方向の一方(図中上方)に隔たって存在するものとする。このような皺136cは、Y方向の密集度Dy3#は高い値になる。これに対し、認識装置320は、撮影画像から皺136bに対応する認識結果として、「斜めの皺が有り」、「皺の密集度が高い」、または「不良」という出力をすることができる。
[畳み込みニューラルネットワーク]
以下、実施形態における畳み込みニューラルネットワーク333および畳み込みニューラルネットワーク323の一例について説明する。なお、この説明において、畳み込みニューラルネットワーク333および畳み込みニューラルネットワーク323を総称して「畳み込みニューラルネットワーク」と記載する。
上述したように、学習処理部332は、学習用の畳み込みニューラルネットワーク333に対して、学習画像の画素値を入力層に入力する入力変数とし、検査情報を出力層から出力される出力変数として設定する。学習処理部332は、学習画像と検査情報の学習データセットを用いて、機械学習を行う。認識処理部322は、学習済の畳み込みニューラルネットワーク323に対して、撮影画像の画素値を入力層へ入力し、出力層から検査情報を取得する。
図11は、実施形態における畳み込みニューラルネットワークを用いた認識処理を行う処理を説明するための図である。畳み込みニューラルネットワークは、例えば層L0、層L1、層L2、層Li、および層LIを含む。層L0は入力層、層L1~層Liは中間層或いは隠れ層、層LIは出力層とも呼ばれる。畳み込みニューラルネットワークは、入力層L0に、入力画像が入力される。入力画像は、入力画像の垂直方向の位置と水平方向の位置を、行列の位置とする画素行列D11で表される。画素行列D11の各要素は、行列の位置に対応する画素のサブ画素値として、R(赤)のサブ画素値、G(緑)のサブ画素値、およびB(青)サブ画素値を含む。1番目の中間層L1は、畳み込み処理(フィルター処理とも呼ばれる)とプーリング処理が行われる層である。
(畳み込み処理(Convolution))
中間層L1の畳み込み処理の一例について説明する。畳み込み処理は、元の画像にフィルタをかけて特徴マップを出力する処理である。具体的には、入力された画素値は、それぞれ、Rのサブ画素行列D121と、Bのサブ画素行列D122と、Gのサブ画素行列D123とに分けられる。各サブ画素行列D121、D122、D123(各々を「サブ画素行列D12」とも称する)は、それぞれ、s行t列の部分行列ごとに、その部分行列の各要素とs行t列のコンボリューション行列CM1(カーネルとも呼ばれる)の要素が乗算され、加算されることで、第1画素値が算出される。各サブ画素行列D12で算出された第1画素値は、それぞれ、重み係数が乗算されて加算されることで、第2画素値が算出される。第2画素値は、部分行列の位置に対応する行列要素として、畳込画像行列D131の各要素として設定される。各サブ画素行列D12において部分行列の位置が要素(サブ画素)ごとにずらされることで、各位置での第2画素値が算出され、畳込画像行列D131の全ての行列要素が算出される。
図11は、例えば、3行3列のコンボレーション行列CM1を用いた畳み込みニューラルネットワークの一例であり、畳込画素値D1311は、各サブ画素行列D12の2行目から4行目、かつ、2列目から4列目までの3行3列の部分行列について第1画素値が算出される。各サブ画素行列D121、D122、およびD123の各第1画素値に、重み係数が算出されて加算されることで、畳込画像行列D131の2行目2列目の行列要素として、第2画素値が算出される。同様に、3行目から5行目、かつ、2列目から4列目の部分行列から、畳込画像行列D131の3行目2列目の行列要素の第2画素値が算出される。また同様に、他の重み付け係数又は他のコンボリューション行列を用いて、畳込画像行列D132、・・・が算出される。
(プーリング処理(Pooling))
中間層L1のプーリング処理の一例について説明する。プーリング処理は、画像の特徴を残しながら画像を縮小する処理である。具体的には、畳込画像行列D131におけるu行v列の領域PMごとに、領域内の行列要素の代表値が算出される。代表値は、例えば、領域内の行列要素の最大値である。代表値は、領域PMの位置に対応する行列要素として、CNN画像行列D141の各要素に設定される。畳込画像行列D131における領域が、領域PMごとにずらされることで、各位置での代表値が算出され、CNN画像行列D141の全ての要素が算出される。
図11は、例えば2行2列の領域PMを用いた畳み込みニューラルネットワークの一例であり、畳込画像行列D131の3行目から4行目、かつ、3列目から4列目までの2行2列の領域PMについて、領域PM内の最大値が、代表値として算出される。この代表値は、CNN画像行列D141の2行目2列目の行列要素に設定される。同様に、5行目から6行目、かつ、2列目から4列目の部分行列から、CNN画像行列D141の3行目2列目の行列要素の代表値が算出される。また同様に、畳込画像行列D132、・・・から、CNN画像行列D142、・・・が算出される。
CNN画像行列D141、D142、・・・の各行列要素(N個)は、予め定められた順序で並べられることで、ベクトルXとして生成される。ベクトルXは、N個の要素x(n=1、2、3、・・・N)を含む。ベクトルXは、ベクトルu(0)に相当する。
中間層Liは、第i番目(i=2,・・・)の中間層を表している。中間層Liは、ベクトルu(i)を含む。中間層Liの各ノードからは、ベクトルz(i)が出力される。ベクトルz(i)は、ベクトルu(i)が活性化関数である関数f(u(i))に入力された値を持つ。ベクトルu(i)は、第i-1目の中間層のノードから出力されたベクトルz(i-1)に重み行列W(i)を乗算した値と、ベクトルb(i)とを加算した値を持つ。ベクトルb(i)は、バイアスである。
出力層LIは、ベクトルz(I-1)を含む。出力層LIの出力は、M個のy(m=1、2、・・・M)である。つまり、出力層LIは、M個のyを要素として含むベクトルY(y、y、y、・・・y)を出力する。以上により、畳み込みニューラルネットワークは、入力変数として画像の画素値が入力された場合に、出力変数としてベクトルYを出力する。実施形態におけるベクトルYは、検査情報を表す。
図12は、実施形態における畳み込みニューラルネットワークを用いた学習処理を説明するための図である。学習データセットの画像の画素値に対して、第1番目の中間層L1から出力されたベクトルをベクトル[X]とする。学習データセットにおける確定クラスを表すベクトルをベクトル[Y]とする。確定クラスは、実施形態における図5に示した出力係数(検査結果、皺、密度、目視による印象等の検査情報)である。
重み行列W(i)には、初期値が設定される。入力画像が入力層L0に入力されたことに基づいて第2番目の中間層L2にベクトル[X]が入力された場合、出力層LIからベクトル[X]に基づくベクトルY(X)が出力される。ベクトルY(X)とベクトル[Y]の誤差Eは、損失関数を用いて計算される。第i層の勾配ΔEは、各層からの出力zと誤差信号δと用いて計算される。誤差信号δは、誤差信号δi-1を用いて計算される。なお、出力層LIから入力層L0に向かって、出力層側の誤差信号から入力層側の誤差信号を計算する処理は、逆伝搬とも呼ばれる。重み行列W(i)は、勾配ΔEに基づいて更新される。同様に、第1番目の中間層L1においても、コンボリューション行列CMまたは重み係数が更新される。
[予測モデルの設定]
学習処理部332は、畳み込みニューラルネットワークについて、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、および重み行列といった処理パラメータを設定する。学習処理部332は、例えば、層数として、3層(I=3)を設定する。学習処理部332は、各層のノードの数(「ノード数」とも称する)として、ベクトルXの要素数(ノード数N)に800、第2番目の中間層(i=2)のノード数に500、出力層(i=3)に10を設定する。ただし、実施形態はこれに限らず、総数は4層以上であってもよいし、ノード数には別の値が設定されてもよい。
学習処理部332は、20個の5行5列のコンボリューション行列CMをし、2行2列の領域PMを設定する。ただし、実施形態はこれに限らず、別の行列数又は別の個数のコンボリューション行列CMが設定されてもよい。また、別の行列数の領域PMが設定されてもよい。学習処理部332は、より多くの畳み込み処理又はプーリング処理を行ってもよい。
学習処理部332は、畳み込みニューラルネットワークの各層の結合として、全結合を設定する。ただし、実施形態はこれに限らず、一部或いは全ての層の結合は、非全結合に設定であってもよい。学習処理部332は、活性化関数として、全ての層の活性化関数にシグモイド関数を設定する。ただし、実施形態はこれに限らず、各層の活性化関数は、ステップ関数、線形結合、ソフトサイン、ソフトプラス、ランプ関数、切断冪関数、多項式、絶対値、動径基底関数、ウェーブレット、maxout等、他の活性化関数であってもよい。また、ある層の活性化関数は、他の層とは異なる種類であってもよい。
学習処理部332は、誤差関数として、二乗損失(平均二乗誤差)を設定する。ただし、本発明はこれに限らず、誤差関数は、交差エントロピー、τ-分位損失、Huber損失、ε感度損失(ε許容誤差関数)であってもよい。また、学習処理部332は、勾配を計算するアルゴリズム(勾配降下アルゴリズム)として、SGD(確率的勾配降下)を設定する。ただし、本発明はこれに限らず、勾配降下アルゴリズムには、Momentum(慣性項) SDG、AdaGrad、RMSprop、AdaDelta、Adam(Adaptive moment estimation)等が用いられても良い。
学習処理部332は、畳み込みニューラルネットワーク(CNN)に限らず、パーセプトロンのニューラルネットワーク、再起型ニューラルネットワーク(RNN)、残差ネットワーク(ResNet)等の他のニューラルネットワークを設定してもよい。また、学習処理部332は、決定木、回帰木、ランダムフォレスト、勾配ブースティング木、線形回帰、ロジスティック回帰、又は、SVM(サポートベクターマシン)等の教師あり学習の予測モデルを一部或いは全部に設定してもよい。
[実施形態の効果]
以上に説明したように、実施形態の製品検査システム300によれば、透明のフィルム200を第2円柱部材134に搬送し、搬送されたフィルム200を第2円柱部材134に巻き付けたラップフィルム製品130を検査する製品検査システムであって、第2円柱部材134へと搬送されるフィルム200を撮像する撮像装置150と、第2円柱部材134へと搬送されるフィルム200を過去に撮像した画像と当該フィルム200を用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、撮像装置150により撮像された画像を入力することで、ラップフィルム製品130の外観に関する検査情報を取得し、検査情報に基づいてラップフィルム製品130の外観を検査する制御装置140と、を備える、製品検査システムを実現することができる。実施形態の製品検査システム300によれば、製造工程におけるフィルム200を用いてラップフィルム製品130を検査することができる。
実施形態の製品検査システム300によれば、認識装置320が、撮像装置150により撮像された画像が入力された場合に、ラップフィルム製品130におけるフィルムの外観的な状態に関する情報である検査情報を出力するように処理パラメータが学習された予測モデルを含む。実施形態の製品検査システム300によれば、畳み込みニューラルネットワークにより実現される予測モデルを用い、フィルム200を用いてラップフィルム製品130を検査することができる。
実施形態の製品検査システム300によれば、予測モデルが、撮像装置150により撮像された画像が入力された場合に、検査情報としてラップフィルム製品130におけるフィルムの外観的な印象に関する情報を出力するように処理パラメータが学習される。実施形態の製品検査システム300によれば、フィルム200を撮像するだけで、目視等の検査を行わなくても、ラップフィルム製品130の外観的な印象を検査することができる。
実施形態の製品検査システム300によれば、ラップフィルム製品130におけるフィルムの外観的な状態として、ラップフィルム製品130の製造後の経時的な変化により消失する皺の有無、およびラップフィルム製品130の製造後に消失しない皺の有無を検査することができる。
実施形態の製品検査システム300によれば、ラップフィルム製品130の製造後の経時的な変化により消失する皺としてフィルム200の搬送方向に並行して連続し厚さ方向で交差しない皺を検査し、ラップフィルム製品130の製造後に消失しない皺としてフィルム200の搬送方向と交わる方向に連続する皺を検査することができる。
実施形態の製品検査システム300によれば、ラップフィルム製品130におけるフィルム200の外観的な状態に関する情報としてフィルム200の搬送方向における皺の密集度を検査することができる。
実施形態の製品検査システム300によれば、ラップフィルム製品130におけるフィルムの外観的な異常に関する検査として、フィルム200の幅方向における厚さ変化に基づくラップフィルム製品130の凸部を含むか否かを検査することができる。
実施形態の製品検査システム300によれば、照明装置160によりフィルム200の搬送方向に対して交わる方向に進行する光160#を照射するので、搬送方向に並行する皺や、搬送方向と交わる方向の皺の影を撮像することができる。この結果、実施形態によれば、搬送方向に並行する皺や、搬送方向と交わる方向の皺に対する検査の精度を高くすることができる。
実施形態の製品検査システム300によれば、認識装置320により出力された検査情報と、ラップフィルム製品130の識別情報とを対応づけ、検査情報に基づいてラップフィルム製品130を選別することができる。この結果、実施形態の製品検査システム300によれば、顧客の第一印象を悪くする外観異常品が流出することや、皺による密着不良品が流出することを抑制することができる。さらに、これらの品質異常品が流出することによる資材の削減、および流通コストの削減を図ることができる。
実施形態の製品検査システム300によれば、検査結果に基づいて第2円柱部材134へと搬送されるフィルム200の皺を抑制する動作部を備える。動作部は、例えば、太巻き原反120とラップフィルム製品130との間に配置されたエキスパンドロールである。これにより、ラップフィルム製品130の外観に影響する皺を抑制することができる。
実施形態の製品検査システム300によれば、透明のフィルム200を第2円柱部材134に搬送し、搬送されたフィルム200を第2円柱部材134に巻き付けたラップフィルム製品130を検査する製品検査方法であって、第2円柱部材134へと搬送されるフィルム200を撮像するステップと、第2円柱部材134へと搬送されるフィルム200を過去に撮像した画像と当該フィルム200を用いて製造されたラップフィルム製品130の外観画像とを教師データとして機械学習された予測モデルに、撮像された画像を入力することで、ラップフィルム製品130の外観に関する検査情報を取得し、検査情報に基づいてラップフィルム製品130の外観を検査するステップと、を含む、製品検査方法を実現することができる。実施形態の製品検査システム300によれば、製造工程におけるフィルム200を用いてラップフィルム製品130を検査することができる。
実施形態によれば、透明のフィルム200を第2円柱部材134に搬送し、搬送されたフィルム200を第2円柱部材134に巻き付けたラップフィルム製品130の学習画像、およびラップフィルム製品130の外観に関する情報を含む学習データを取得する学習データ取得部331と、予測モデルを学習する学習処理部であって、学習画像を予測モデルに入力した場合に、予測モデルからラップフィルム製品130の外観に関する情報を出力するように、予測モデルの処理パラメータを学習する学習処理部332と、を備える、学習装置を実現することができる。実施形態によれば、製造工程におけるフィルム200を用いてラップフィルム製品130を検査するための認識エンジンを構築することができる。
実施形態によれば、透明のフィルム200を第2円柱部材134に搬送し、搬送されたフィルム200を第2円柱部材134に巻き付けたラップフィルム製品130の製造工程において、第2円柱部材134へと搬送されるフィルム200を撮像した撮影画像を取得する撮影画像取得部321と、第2円柱部材134へと搬送されるフィルム200を過去に撮像した画像と当該フィルム200を用いて製造されたラップフィルム製品130の外観画像とを教師データとして機械学習された予測モデルに、撮像装置150により撮像された画像を入力することで、ラップフィルム製品130の外観に関する検査情報を取得し、検査情報に基づいてラップフィルム製品130の外観を検査する認識処理部322(検査部)と、を備える、認識装置を実現することができる。実施形態によれば、製造工程におけるフィルム200を用いてラップフィルム製品130を検査することができる。
実施形態によれば、透明のフィルム200を第2円柱部材134に巻き付けたラップフィルム製品130を製造する製品製造システムであって、フィルム200を第2円柱部材134に搬送する搬送部110と、第2円柱部材134へと搬送されるフィルム200を撮像する撮像装置150と、第2円柱部材134へと搬送されるフィルム200を過去に撮像した画像と当該フィルム200を用いて製造されたラップフィルム製品130の外観画像とを教師データとして機械学習する学習装置330と、予測モデルに、撮像装置150により撮像された画像を入力することで、ラップフィルム製品130の外観に関する検査情報を取得し、検査情報に基づいてラップフィルム製品130の外観を検査する制御装置140と、を備える、製品製造システムを実現することができる。実施形態によれば、製造工程におけるフィルム200を用いてラップフィルム製品130を検査することができる。
実施形態によれば、透明のフィルム200を第2円柱部材134に巻き付けたラップフィルム製品130製品を製造する製品製造方法であって、第2円柱部材134へと搬送されるフィルム200を過去に撮像した画像と当該フィルム200を用いて製造されたラップフィルム製品130の外観画像とを教師データとして機械学習するステップと、フィルム200を第2円柱部材134に搬送するステップと、第2円柱部材134へと搬送されるフィルム200を撮像するステップと、予測モデルに、撮像された画像を入力することで、ラップフィルム製品130の外観に関する検査情報を取得し、検査情報に基づいてラップフィルム製品130の外観を検査するステップと、を含む、製品製造方法を実現することができる。実施形態によれば、製造工程におけるフィルム200を用いてラップフィルム製品130を検査することができる。
なお、本発明の一態様における製品検査システム300のプログラムは、本発明の一態様に関わる上記の各実施形態や変形例で示した機能を実現するように、1つ、または複数の、CPU等のプロセッサを制御するプログラム(コンピュータを機能させるプログラム)であっても良い。そして、これらの各装置で取り扱われる情報は、その処理時に一時的にRAMに蓄積され、その後、フラッシュメモリ、SSDやHDD等の各種ストレージに格納され、必要に応じてCPUによって読み出し、修正・書き込みが行われても良い。
なお、上述した各実施形態や変形例における製品検査システム300が備える学習装置または認識装置の一部又は全部を1つ、または複数のプロセッサを備えたコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した各実施形態や変形例における製品検査システム300が備える学習装置または認識装置の一部、又は全部を典型的には集積回路であるLSIとして実現してもよいし、チップセットとして実現してもよい。また、集積回路化の手法は、LSIに限らず専用回路、および/または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
以上、この発明の一態様として各実施形態や変形例に関して図面を参照して詳述してきたが、具体的な構成は各実施形態や変形例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
例えば、上記各実施形態の一部または全部を組み合わせることで本発明の一態様を実現してもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
100 製造装置
110 搬送部
114 第1円柱部材
120 原反
122 フィルム
124 第1の円柱部材
130 ラップフィルム製品
134 第2の円柱部材
140 制御装置
142 制御部
144 通知部
150 撮像装置
160 照明装置
200 フィルム
300 製品検査システム
310 製品検査装置
311 学習データ取得部
320 認識装置
321 撮影画像取得部
322 認識処理部
323 畳み込みニューラルネットワーク
324 認識結果記憶部
330 学習装置
331 学習データ取得部
332 学習処理部
333 畳み込みニューラルネットワーク
334 学習結果記憶部
340 学習画像データベース
400 端末装置

Claims (13)

  1. 透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品を検査する製品検査システムであって、
    前記円柱部材へと搬送される前記フィルムを撮像する撮像部と、
    前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、前記撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、
    を備える、製品検査システム。
  2. 前記予測モデルは、前記撮像部により撮像された画像が入力された場合に、前記検査情報として前記製品におけるフィルムの外観的な印象に関する情報を出力するように機械学習される、
    請求項1に記載の製品検査システム。
  3. 前記検査部は、前記製品の製造後の経時的な変化により消失する皺の有無、および前記製品の製造後に消失しない皺の有無を検査する、
    請求項1または2に記載の製品検査システム。
  4. 前記製品の製造後の経時的な変化により消失する皺は、前記フィルムの搬送方向に並行して連続し厚さ方向で交差しない皺であり、および前記製品の製造後に消失しない皺は、前記フィルムの搬送方向と交わる方向に連続する皺である、
    請求項3に記載の製品検査システム。
  5. 前記検査部は、前記フィルムの搬送方向にける皺の密集度を検査する、
    請求項2に記載の製品検査システム。
  6. 前記円柱部材へと搬送されるフィルムに光を照射する光源をさらに備え、
    前記光源は、前記フィルムの搬送方向に対して交わる方向に進行する光を照射し、
    前記撮像部は、前記フィルムにより透過または反射された光に基づく画像を撮像する、
    請求項1から5のうち何れか1項に記載の製品検査システム。
  7. 前記予測モデルにより出力された検査情報と、前記製品の識別情報とを対応づけ、前記検査情報に基づいて前記製品を選別する、
    請求項2から6のうち何れか1項に記載の製品検査システム。
  8. 前記検査部の検査結果に基づいて前記円柱部材へと搬送されるフィルムの皺を抑制する、
    請求項1から7のうち何れか1項に記載の製品検査システム。
  9. 透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品を検査する製品検査方法であって、
    前記円柱部材へと搬送される前記フィルムを撮像するステップと、
    前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、前記撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査するステップと、
    を含む、製品検査方法。
  10. 円柱部材へと搬送されるフィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像、および前記製品の外観に関する情報を含む学習データを取得する学習データ取得部と、
    予測モデルを学習する学習処理部であって、円柱部材へと搬送されるフィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像を前記予測モデルに入力した場合に、前記予測モデルから前記製品の外観に関する情報を出力するように、前記予測モデルの処理パラメータを学習する学習処理部と、
    を備える、学習装置。
  11. 透明のフィルムを円柱部材に搬送し、搬送された前記フィルムを前記円柱部材に巻き付けた製品の製造工程において、前記円柱部材へと搬送される前記フィルムを撮像した撮影画像を取得する撮影画像取得部と、
    前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして機械学習された予測モデルに、撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、
    を備える、認識装置。
  12. 透明のフィルムを円柱部材に巻き付けた製品を製造する製品製造システムであって、
    前記フィルムを前記円柱部材に搬送する搬送部と、
    前記円柱部材へと搬送される前記フィルムを撮像する撮像部と、
    前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして予測モデルを機械学習する学習部と、
    前記予測モデルに、前記撮像部により撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査する検査部と、
    を備える、製品製造システム。
  13. 透明のフィルムを円柱部材に巻き付けた製品を製造する製品製造方法であって、
    前記円柱部材へと搬送される前記フィルムを過去に撮像した画像と当該フィルムを用いて製造された製品の外観画像とを教師データとして予測モデルを機械学習するステップと、
    前記フィルムを前記円柱部材に搬送するステップと、
    前記円柱部材へと搬送される前記フィルムを撮像するステップと、
    前記予測モデルに、撮像された画像を入力することで、前記製品の外観に関する検査情報を取得し、前記検査情報に基づいて前記製品の外観を検査するステップと、
    を含む、製品製造方法。
JP2020062065A 2020-03-31 2020-03-31 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法 Active JP7422588B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020062065A JP7422588B2 (ja) 2020-03-31 2020-03-31 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020062065A JP7422588B2 (ja) 2020-03-31 2020-03-31 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法

Publications (2)

Publication Number Publication Date
JP2021162389A JP2021162389A (ja) 2021-10-11
JP7422588B2 true JP7422588B2 (ja) 2024-01-26

Family

ID=78003123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020062065A Active JP7422588B2 (ja) 2020-03-31 2020-03-31 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法

Country Status (1)

Country Link
JP (1) JP7422588B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017215277A (ja) 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法
JP2019174293A (ja) 2018-03-28 2019-10-10 大日本印刷株式会社 枚葉フィルムの検査装置および枚葉フィルムの検査方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017215277A (ja) 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法
JP2019174293A (ja) 2018-03-28 2019-10-10 大日本印刷株式会社 枚葉フィルムの検査装置および枚葉フィルムの検査方法

Also Published As

Publication number Publication date
JP2021162389A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
WO2020042741A1 (zh) 电池检测方法及装置
US11106193B1 (en) Neural network-based error compensation method, system and device for 3D printing
US9595096B2 (en) Composite inspection and structural check of multiple layers
TWI805723B (zh) 捲繞條件生成裝置、捲繞裝置、捲繞缺陷等級預測値生成裝置、捲繞條件計算方法、捲繞方法及捲繞缺陷等級預測値生成方法
JP2015172576A5 (ja) 複合アイテムの検査方法及びシステム
KR102636470B1 (ko) 학습 완료 모델의 생성 방법, 학습 완료 모델, 표면 결함 검출 방법, 강재의 제조 방법, 합부 판정 방법, 등급 판정 방법, 표면 결함 판정 프로그램, 합부 판정 프로그램, 판정 시스템 및, 강재의 제조 설비
WO2019219826A1 (en) Method and apparatus for evaluating an unknown effect of defects of an element of a photolithography process
US20120207381A1 (en) Systems and Methods Eliminating False Defect Detections
JP6860079B2 (ja) 異常検知装置、異常検知方法、及びプログラム
CA3166581A1 (en) Method and system for training inspection equipment for automatic defect classification
US20160078608A1 (en) Reticle inspection apparatus and method
US20210031507A1 (en) Identifying differences between images
JP2014115140A (ja) 基板の基準画像作成方法、基板の欠陥検査方法、基板の基準画像作成装置、基板の欠陥検査ユニット、プログラム及びコンピュータ記憶媒体
WO2020210574A1 (en) System for in-line inspection of seal integrity
JP7422588B2 (ja) 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、製品製造方法
JP2020071271A (ja) 機械学習装置、データ処理システム、機械学習方法及びデータ処理方法
JP2013108878A (ja) フィルム検査装置
CN114820618B (zh) 瑕疵检测模型的训练方法、装置、设备及存储介质
JP2022079097A (ja) 製品検査システム、製品検査方法、学習装置、認識装置、製品製造システム、および製品製造方法
JP6423064B2 (ja) 基板処理システム
JP2023031529A (ja) 学習装置、推定装置、不良検査装置、および不良検査方法
JP2020060398A (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
JP2020190485A (ja) 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム
JP2023163175A (ja) 検査システム、検査方法、学習方法、及びプログラム
WO2024014020A1 (ja) 包装体検査装置及び包装体検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240116

R150 Certificate of patent or registration of utility model

Ref document number: 7422588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150