WO2023210745A1

WO2023210745A1 - 検査システム、検査方法、学習方法、及びプログラム

Info

Publication number: WO2023210745A1
Application number: PCT/JP2023/016637
Authority: WO
Inventors: 洋平大谷; 歩紀村田
Original assignee: Asahi Kasei Corp; Asahi Chemical Industry Co Ltd
Current assignee: Asahi Kasei Corp; Asahi Chemical Industry Co Ltd
Priority date: 2022-04-27
Filing date: 2023-04-27
Publication date: 2023-11-02
Anticipated expiration: 2024-10-27
Also published as: JP2023163175A

Abstract

製品が巻かれて形成された巻物製品の外観に関する検査のための検査システムであって、検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、を実施するプロセッサを備える。

Description

検査システム、検査方法、学習方法、及びプログラム

　本発明は、検査システム、検査方法、学習方法、及びプログラムに関する。

　製造された対象製品を撮像等することによって得られた画像に基づいて、対象製品の外観に関する検査を行う技術が知られている。特許文献１には、撮像部により得られた画像に基づいて、円筒体の鋼管の表面欠陥を検査する技術が開示されている。特許文献２には、被包装物を包み込んだ包装フィルムが端部で捻られた捻り包装品の撮像画像に基づいて、当該捻り包装品が良品又は不良品であるかを判定する技術が開示されている。特許文献３及び特許文献４には、巻芯に巻き付けるために搬送されるシートを撮像して得られた画像を用いて、巻芯に巻き付け中のシートの巻きしわの有無を検出する技術が開示されている。

特開２０１５－０６４３０１号公報特開２０１９－１９１０８６号公報特開２０２０－０３０１１８号公報特開２０２１－１６２３８９号公報

　取得した対象製品の画像に基づいて、当該対象製品の外観に関する検査をより高い精度で行うことが望まれている。

　本発明の目的は、対象製品の外観に関する検査をより高い精度で行うことに関する技術を提供することである。

　本開示の一態様に係る検査システムは、製品が巻かれて形成された巻物製品の外観に関する検査のための検査システムであって、検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、を実施するプロセッサを備える。

　本開示の一態様に係る検査方法は、製品が巻かれて形成された巻物製品の外観に関する検査のために、プロセッサを有するシステムで実行される検査方法であって、前記プロセッサが、検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、を含む。

　本開示の一態様に係るプログラムは、製品が巻かれて形成された巻物製品の外観に関する検査のために、プロセッサを有するシステムで実施される検査方法を実行するためのプログラムであって、前記プロセッサが、検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、を実行する。

　本開示の一態様に係る学習方法は、製品が巻かれて形成された巻物製品の外観に関する検査のための学習方法であって、システムにおいてプロセッサが、前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を取得することと、取得された前記複数の製品画像を教師データとして、検査対象となる前記巻物製品である対象製品の外観に関する検査情報を出力するように機械学習された学習モデルを生成することと、を実施する。

　本発明によれば、対象製品の外観に関する検査をより高い精度で行うことに関する技術を提供することができる。

一実施形態に係るシステムの概略構成を示す概念図である。一実施形態に係る巻物製品の外観を説明するための概念図である。一実施形態に係る巻物製品の外観を説明するための概念図である。一実施形態に係る巻物製品の外観を説明するための概念図である。一実施形態に係る巻物製品の外観を説明するための概念図である。一実施形態に係る巻物製品の外観を説明するための概念図である。一実施形態に係るコンピュータのハードウェア構成を示すブロック図である。一実施形態に係るコンピュータの機能構成を示すブロック図である。一実施形態に係る学習モデルを説明するための概念図である。一実施形態に係るコンピュータによる処理フローを説明するためのフローチャートである。一実施形態に係る検査システムの構成を示すブロック図である。一実施形態に係る検査システムのコンピュータ（集約部）によって取得される情報を示す表の一例である。一実施形態に係る検査システムのコンピュータ（統計処理部）によって取得される情報を示すグラフの一例である。一実施形態に係る検査システムの構成を示すブロック図である。一実施形態に係る検査システムの構成を示すブロック図である。一実施形態に係る検査システムの構成を示すブロック図である。一実施形態に係る検査システムのコンピュータ（判定部）によって取得される情報を示す表の一例である。

　以下、本発明の実施形態について図面を用いて説明する。以下の実施形態は、本発明を説明するための例示であり、本発明をその実施形態のみに限定する趣旨ではない。

　以下に、本実施形態において使用する主な用語について説明する。

　製品：製造した品物を意味する。本実施形態では特に製品は、例えば、シート、フィルム、ホイル、又は織物を含む。シートは例えば、キッチンシート、トイレットペーパー、壁紙、印刷媒体（例えば、紙）、又は不織布であってもよい。フィルムは、例えば、ラップフィルム又はフィルムテープであってもよい。ホイルは例えば、アルミホイルであってもよい。織物は、例えば、織布であってもよい。

　巻物製品：製品が巻かれることにより形成されたものである。巻物製品は、製品が巻芯に巻き付けられることにより形成されてもよいし、巻芯を含まずに製品が巻かれることにより形成されてもよい。巻物製品は、限定はしないが、円柱形状又は円筒形状で形成されてもよい。ただし巻物製品は、円柱形状又は円筒形状のように、中心軸を有する軸対称に形成されていることが好ましい。巻物製品が中心軸を有し中心軸を基準とする軸対称に形成されることにより、検査対象となる対象製品の外観の側面を、当該対象製品の中心軸を基準とする周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像は、同一の対象製品の異なる部分を撮像して得られた画像でありながら、同様の画像データを構成する。したがって後述するように、複数の検査対象画像の画像データを、それぞれ異なる畳み込み層ブロックに並列に入力し、各畳み込み層ブロックの畳み込み処理により得られた値をさらに結合して全結合層に入力する処理を実行することにより、対象製品の外観に関する検査をより高い精度で行うことが可能となる。

　対象製品：検査対象となる巻物製品である。検査対象ではない巻物製品には、例えば、後述する機械学習に使用される教師データとなる画像を撮像するための巻物製品が含まれる。

　製品画像：巻物製品を撮像することにより得られる画像である。本実施形態において製品画像は特に、巻物製品の外観の画像であってもよい。

　検査対象画像：対象製品を撮像した画像である。本実施形態において特に、検査対象画像は、対象製品の外観に関する検査のために使用される画像である。

＜システム構成＞
　図１を参照して、本実施形態に係るシステムの概要を説明する。システム１は、例えば、検査対象の巻物製品Ｐである対象製品を撮像等することによって得られた複数の画像に基づいて、当該対象製品の外観に関する検査を行うための検査システムである。本実施形態において、システム１は、例えば、コンピュータ１０及び撮像装置２０を備える。コンピュータ１０は、撮像装置２０により撮像された対象製品の画像を取得し、当該画像に基づいて、対象製品の外観に関する検査を行う。

　コンピュータ１０及び撮像装置２０は、画像及び制御データを含む各種データを相互に送受信可能なように、無線又は有線により接続されている。コンピュータ１０及び撮像装置２０は、プライベートネットワーク又はパブリックネットワークなどのネットワークを介して相互に通信可能であってもよい。

　図１に示す例において、システム１は、コンピュータ１０とは別に撮像装置２０を備えているが、コンピュータ１０は撮像装置２０を内蔵していてもよい。コンピュータ１０は、撮像装置２０以外の他の装置から取得された対象製品の画像に基づいて、対象製品の外観に関する検査を行ってもよい。システム１は、撮像装置２０を有さなくてもよい。また、システム１は、図１に示す以外の構成を備えてもよい。例えば、システム１は、対象製品に向けて照射光を照射するための照射装置を備えてもよい。当該照射装置は、撮像装置２０に内蔵されていてもよいし、撮像装置２０とは別に設けられてもよい。システム１は、対象製品を搬送するための搬送装置を備えてもよい。また、図１には、１つの撮像装置２０が示されているが、システム１は、複数の撮像装置２０を備えてもよい。

　撮像装置２０は、巻物製品Ｐの外観を撮像することにより巻物製品Ｐの画像を取得するように構成されている。撮像装置２０は、例えば、エリアセンサ等を用いて構成される。円柱形状又は円筒形状の巻物製品Ｐは、例えば、当該形状の軸方向ｄ１を中心に回転しながら搬送され、撮像装置２０は、当該巻物製品Ｐの外観の側面を中心軸を基準とする周方向ｄ２に沿って複数方向から撮像することにより得られた複数の画像を取得する。

　巻物製品Ｐの搬送のために、搬送装置として、例えば、図示しないコンベアが使用される。巻物製品Ｐは、コンベア上に直接載置されて搬送されてもよいし、巻物製品Ｐを支持する支持部材などの他の部材を介してコンベア上に載置されて搬送されてもよい。支持部材は、例えば、巻物製品Ｐを収納可能なバケット（容器）であってもよい。当該バケットは、巻物製品Ｐを支持するために、例えば、巻物製品Ｐの収容部に底板、並びに搬送方向の前後それぞれに板を有してもよい。

　巻物製品Ｐは、例えば、巻物製品Ｐの軸方向と垂直方向ｄ３に搬送される。巻物製品Ｐは、コンベア上を周方向ｄ２に転動しながら搬送されてもよいし、転動せずに搬送されてもよい。転動しながら搬送される場合、巻物製品Ｐの撮像装置２０の撮像領域への進入から退出までの間、撮像装置２０は、当該撮像領域を連続して撮像することにより、巻物製品Ｐの外観において周方向に延在する側面の複数の領域を撮像する。この場合において、撮像領域は、転動しながら搬送される巻物製品Ｐが少なくとも一回転するようなサイズで設定される。また、巻物製品Ｐを転動しながら搬送しつつ、一回転分撮像することにより、転動せずに搬送する場合と比較して、撮影時間を短くでき、検査速度を早くできる。なお、ラインセンサにより巻物製品Ｐを撮像し、製品画像を取得することも可能であるが、ラインセンサには、ライン速度の制約があり、また、撮影のために一定速度で精密に回転させる機械的な機構等の制約がある結果、一定の画質、及び生産性の要件を満たしつつ、ラインセンサにより製品画像を取得することが困難である場合がある。一方、撮像装置２０がエリアセンサで構成されている場合、上記のように搬送させながら巻物製品Ｐを撮像することにより、ラインセンサにおける上記のような制約を受けずに、一定の画質、及び生産性の要件を満たしつつ、製品画像の取得が可能である。

　転動せずに搬送される場合、複数（Ｎ個）の撮像装置２０が設置され、巻物製品Ｐの撮像装置２０の撮像領域への進入から退出までの間、巻物製品Ｐの外観において周方向に延在する側面が、Ｎ個の撮像装置２０によりＮ方向から撮像される。撮像装置２０の数及び設置位置は、巻物製品Ｐの外観において周方向に延在する側面の全体が複数の撮像装置２０により撮像可能なように設定される。

　本実施形態によれば、上記の構成により、巻物製品Ｐの外観において周方向に延在する側面の複数の領域が撮像装置２０により撮像され、複数の製品画像（又は複数の検査対象画像）として取得される。このとき、巻物製品Ｐについて撮像装置２０により取得される複数の製品画像の少なくとも一部分を結合した画像又は複数の検査対象画像の少なくとも一部分を結合した画像は、巻物製品Ｐの側面の全周の外観を含むように、撮像装置２０により撮像が行われる。

　撮像装置２０により上記のように取得された巻物製品Ｐの複数の画像は、コンピュータ１０に送信される。

　コンピュータ１０は、端末装置又はサーバ装置などの情報処理装置により構成される。コンピュータ１０は、１つの情報処理装置（又はコンピュータ。以下同様。）によって構成されてもよいし、クラウドコンピューティング技術又は分散コンピューティング技術等を使用して複数の情報処理装置によって構成されてもよい。

　コンピュータ１０は、取得した巻物製品Ｐの複数の画像に基づいて、対象製品の外観に関する検査の処理、又は当該検査に使用される学習モデルを生成する処理などを行う。当該検査のためのコンピュータ１０と、当該学習モデルの生成のためのコンピュータ１０とは、別の装置であってもよいし、同じ装置であってもよい。

　対象製品の外観に関する検査のために、コンピュータ１０のプロセッサは、まず、撮像装置２０から上記のとおり送信された画像を取得する。当該画像は、検査対象となる巻物製品Ｐである対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を含む。さらに、コンピュータ１０のプロセッサは、過去に巻物製品Ｐの外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、複数の検査対象画像を入力することにより、対象製品の外観に関する検査情報の出力を得る。本実施形態における対象製品の外観に関する検査の処理の詳細は、後述する。

　以上のように本実施形態によれば、検査対象となる巻物製品Ｐである対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像に基づいて、対象製品の外観に関する検査情報を出力する。すわなち、１つの対象製品についての複数の検査対象画像のそれぞれに基づいて検査情報を出力するのではなく、複数の検査対象画像に基づいて検査情報が出力される。その結果、例えば、複数の検査対象画像の全体を確認しなければ特定できないような検査情報を出力することが可能である。すなわち、本実施形態によれば、対象製品の外観に関する検査をより高い精度で行うことが可能である。

　上記検査に使用される学習モデルの生成のために、コンピュータ１０のプロセッサは、まず、教師データとして、巻物製品Ｐの外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を取得する。教師データとして取得される当該製品画像は、例えば、外観に異常のない巻物製品Ｐ（良品の巻物製品）を撮像することにより得られた画像と、外観に異常のある巻物製品Ｐ（不良品の巻物製品）を撮像することにより得られた画像とを含む。ここで、「外観に異常のない」とは、後述する折り返し不良、カット不良、テープ貼り付け不良、又はシワなどが完全に存在しない場合のみでなく、製品の外観において製品の品質あるいは美観の観点で許容できる程度の不良が存在する場合も含みうる。
次に、コンピュータ１０のプロセッサは、上記複数の製品画像を教師データとして、検査対象となる巻物製品Ｐである対象製品の外観に関する検査情報を出力するように機械学習された学習モデルを生成する。本実施形態における学習モデルの生成の処理の詳細については後述する。

　図２Ａから図２Ｅを参照して、本実施形態における良品及び不良品の巻物製品Ｐの一例を説明する。図２Ａは、外観から特定できる不良項目を有さない良品である巻物製品Ｐ１の外観を示している。巻物製品Ｐ１は、製品が巻芯Ｓ１に巻き付けられることにより形成されている。巻き付けられた製品の長手方向（周方向）の端部（製品の巻芯Ｓ１への巻き終わり側の端部、すなわち、終端部）Ｅ１は、領域Ｒ１において（及び端部Ｅ１の他の領域においても）、意図された方法で正常に折り返されている。良品である巻物製品Ｐにおいて、製品の長手方向の端部は、折り返されていることに限定されず、巻き付けられた製品を取り出しやすくするための工夫がされた端部形状であればよい。このような端部形状として、例えば、端部がV字のような形状をしていて、このＶ字のような形状は、端部がＶ字にカットされることにより形成されてもよいし、端部が直線状にカットされたカット面を外側または内側に折り返して実現されても良い。また、巻き付けられた製品の長手方向の端部を固定するように、テープＴ１が意図された方法で巻物製品Ｐ１の表面（製品の表面）に正常に貼り付けられている。

　本実施形態において、外観から特定できる不良項目は、例えば、製品の折返し不良、製品のカット不良、製品のシワ、及び製品へのテープ貼付不良のうち少なくとも一部を含む。

　図２Ｂは、製品の折返し不良を有する巻物製品Ｐ２の外観を示している。図２Ｂは、製品の終端部である端部Ｅ２の領域Ｒ２において、端部Ｅ２が、意図されていない異常な方法で折り返されている（すなわち、正常に折り返されていない）ことを示している。

　図２Ｃは、製品のカット不良を有する巻物製品Ｐ３の外観を示している。図２Ｃは、製品の終端部である端部Ｅ３が正常にカットされておらず、その結果、製品の端部Ｅ３が、正常にカットされた場合に現れる領域とは異なる領域Ｒ３に現れていることを示している。

　図２Ｄは、製品のシワを有する巻物製品Ｐ４の外観を示している。図２Ｄは、巻物製品Ｐ４が領域Ｒ４に複数のシワを有していることを示している。

　図２Ｅは、製品へのテープ貼付不良を有する巻物製品Ｐ５の外観を示している。図２Ｅは、テープＴ５が正常に貼り付けられた場合に現れる領域とは異なる領域Ｒ５に現れていることを示している。

＜ハードウェア構成＞
　図３を参照して、コンピュータ１０のハードウェア構成の一例を説明する。図３に示すように、コンピュータ１０は、プロセッサ２２、記憶装置２４、ＲＡＭ２６、表示装置２８、通信Ｉ／Ｆ部３０、及び入力装置３２を備える。コンピュータ１０は、図３に示す構成のうち、一部を有さなくてもよいし、さらに他の構成を備えてもよい。

　プロセッサ２２は、記憶装置２４に記憶されたコンピュータプログラムを実行して、本実施形態に示される各演算処理を実行する。従って、プロセッサ２２及び記憶装置２４に記憶されたコンピュータプログラムは、協働して、コンピュータ１０が有する各種機能を実現する。プロセッサ２２は、例えば、複数の演算コアを備えるＡＳＩＣ（Application Specific Integrated Circuit)、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field Programmable Gate Array)等から構成される。

　記憶装置２４は、本実施形態に示される各演算処理を実行するためのコンピュータプログラムを含む各命令その他の情報を記憶する。記憶装置２４は、ＮＡＮＤフラッシュメモリ、ＦｅＲＡＭ、ＭＲＡＭ等の電気的に情報を記録及び読取可能な不揮発性半導体記憶素子（一時的でない記憶素子）又はＨＤＤ（Hard Disc Drive）等の磁気記憶素子から構成される。

　ＲＡＭ２６は、本実施形態に示される各演算処理等のために使用するデータその他の情報を一次記憶するためのＳＲＡＭ(Static Random Access Memory）及びＤＲＡＭ（Dynamic Random Access Memory）等の揮発性半導体記憶素子から構成される。

　表示装置２８は、プロセッサ２２による演算結果を表示するためのディスプレイを備える。通信Ｉ／Ｆ部３０は、コンピュータ１０がネットワーク等の通信経路を介して、外部装置と通信を行うためのインタフェースである。入力装置３２は、ユーザによる入力を受け付けるための装置である。入力装置３２は、例えば、キーボード等であってもよい。

　コンピュータ１０が備える上記構成は、バスＢを介して相互にデータ送受信可能に接続される。ただし、一部構成は、コンピュータ１０とは別に設けられ、コンピュータ１０と通信可能に構成されてもよい。

＜機能構成＞
　図４を参照して、コンピュータ１０が有する機能を説明する。コンピュータ１０は、主な機能構成として、記憶部１０１、画像取得部１０２、学習部１０３、及び判定部１０４を有する。コンピュータ１０は、一般的な情報処理装置又は専用装置などの情報処理装置が有する他の機能構成を有してもよい。コンピュータ１０が有する機能構成は、例えば、コンピュータ１０が有するプロセッサ２２などの制御装置が、記憶装置２４などの記憶部に記憶されたコンピュータプログラムを読み込み実行することによって、コンピュータプログラム（ソフトウェア）とハードウェアの協働により実現される。

　記憶部１０１は、コンピュータ１０が取得したデータ、及びコンピュータ１０により生成されたデータを含む、各種のデータを記憶する。記憶部１０１は、例えば、巻物製品Ｐを撮像した画像データ、学習モデルのデータ、及び対象製品の外観に関する検査情報を記憶する。

　画像取得部１０２は、巻物製品Ｐの外観を撮像することにより得られた複数の製品画像を取得する。当該複数の製品画像は、例えば、巻物製品Ｐの外観の側面を周方向に沿って複数方向から撮像することにより得られた画像である。画像取得部１０２は、上記製品画像を撮像装置２０から取得してもよいし、他の外部装置から取得してもよい。また、画像取得部１０２は、取得した製品画像に対して、後述する学習部１０３又は判定部１０４による処理の前処理（例えば、製品画像における巻物製品Ｐが写っている領域の切り出し等）を行う。

　巻物製品Ｐについて画像取得部１０２により取得される複数の製品画像の少なくとも一部分を結合した画像又は複数の検査対象画像の少なくとも一部分を結合した画像は、巻物製品Ｐの側面の全周の外観を含むように、撮像装置２０により撮像が行われる。

　上記複数の製品画像の少なくとも一部及び上記複数の検査対象画像の少なくとも一部は、巻かれた製品の周方向端部を含むように、上記複数の製品画像は、撮像装置２０により撮像され、また、画像取得部１０２により取得される。このように、製品画像が製品の周方向端部を含むことにより、当該周方向端部に関係する不良（例えば、製品の折返し不良、製品のカット不良）の検出に使用される学習モデルを生成することが可能である。また、当該学習モデルを使用して周方向端部に関係する不良を検出することが可能である。

　学習部１０３は、検査対象となる巻物製品Ｐである対象製品の外観に関する検査情報を出力するように機械学習された学習モデルを生成する。より詳細には、学習部１０３は、複数の製品画像を含む教師データに対して畳み込みニューラルネットワークを利用した画像認識処理を実行し、良品及び不良品に対応する巻物製品Ｐの画像の特徴量を抽出し、機械学習により学習された学習モデル（畳み込みニューラルネットワーク）を生成する。すなわち、本実施形態において学習部１０３は、画像取得部１０２により取得された複数の製品画像を教師データとして、検査対象となる巻物製品Ｐである対象製品の外観に関する検査情報を出力するように機械学習された学習モデルを構築（生成）する。

　図５を参照して、学習部１０３による学習モデルの生成処理の一例を説明する。図５に示すように、畳み込みニューラルネットワークＮは、レイヤーＬ１及びレイヤーＬ２を有する。レイヤーＬ１は、畳み込み層ブロックＢ１からＢ４を有する。レイヤーＬ１に含まれる畳み込み層ブロックの数は、４に限定されず、４未満、又は５以上であってもよい。畳み込み層ブロックＢ１からＢ４のそれぞれは、例えば、畳み込み層、プーリング層、及びＲｅＬＵ層などの複合体であり、複数のフィルタを有する。レイヤーＬ２は、全結合層を有する。

　巻物製品Ｐの外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の画像（製品画像）Ｉ１からＩ４と、事前に定義された複数の分類カテゴリーであるクラスとが教師データとして畳み込みニューラルネットワークＮに入力される。詳細には、画像Ｉ１は、畳み込み層ブロックＢ１に入力され、画像Ｉ２は、畳み込み層ブロックＢ２に入力され、画像Ｉ３は、畳み込み層ブロックＢ３に入力され、画像Ｉ４は、畳み込み層ブロックＢ４に入力される。クラスは例えば、巻物製品Ｐの外観に関する検査情報に対応する情報である。

　畳み込み層ブロックＢ１からＢ４はそれぞれ、入力された製品画像に対して畳み込み処理（フィルター処理）を行い製品画像の特徴量を抽出し、処理結果の値として特徴量のベクトル（行列）を出力する。入力される製品画像は、例えば、カラー画像又はグレー画像であってもよい。当該カラー画像は、例えば、３ｃｈｘ縦画素数ｘ横画素数の３次元配列のデータであってもよい。当該グレー画像は、例えば、１ｃｈｘ縦画素数ｘ横画素数の３次元配列のデータであってもよい。畳み込み層ブロックＢ１からＢ４のそれぞれから出力されたベクトルは、互いに結合される。例えば、畳み込み層ブロックＢ１からＢ４がそれぞれ、要素数が５１２ｘ７ｘ７の３次元配列を出力したのち、要素数２５０８８（＝５１２ｘ７ｘ７）の１次元配列へ変換するとする。このとき、畳み込み層ブロックＢ１からＢ４から出力された４つの配列が結合され、要素数１００３５２（＝２５０８８ｘ４）の１次元配列が生成されてもよい。

　結合されたベクトルは、レイヤーＬ２に入力される。すなわち、畳み込みニューラルネットワークＮは、複数の畳み込み層ブロックのそれぞれにおける畳み込み処理により得られた値が結合されて入力されるレイヤーＬ２（全結合層）を有する。レイヤーＬ２は、特徴量が抽出された画像をノードに結合し、活性化関数によって変換された値を出力し、画像の分類を行う。畳み込みニューラルネットワークＮに対して教師データが入力され、出力を行うにつれて、畳み込みニューラルネットワークＮにおける畳み込み層の重みや全結合層の結合重み等のパラメータが更新され、最適化されてゆく。すなわち、機械学習により学習されるにつれて、より最適化された畳み込みニューラルネットワークＮが生成される。従って、教師データには、複数の巻物製品Ｐについての製品画像が含まれる。また、教師データには、それぞれの巻物製品Ｐについて、複数の製品画像が含まれる。機械学習により学習されたニューラルネットワークＮのデータは、記憶部１０１に記憶される。

　判定部１０４は、学習部１０３により機械学習されたニューラルネットワークＮに、複数の検査対象画像を入力することにより、対象製品の外観に関する検査情報の出力を得る。当該検査情報は、例えば、対象製品が良品であるか不良品であるかを示す情報を含んでもよい。また、当該検査情報は、不良品であるかを示す情報として、製品の折返し不良、製品のカット不良、製品のシワ、及びテープ貼付不良のうち、少なくともいずれかを示す情報を含んでもよい。

　図５を参照して、判定部１０４による対象製品の外観に関する検査情報の出力処理の一例をより詳細に説明する。判定部１０４は、検査対象となる巻物製品Ｐである対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の画像（検査対象画像）Ｉ１からＩ４を畳み込みニューラルネットワークＮに入力する。詳細には、画像Ｉ１は、畳み込み層ブロックＢ１に入力され、検査対象画像Ｉ２は、畳み込み層ブロックＢ２に入力され、検査対象画像Ｉ３は、畳み込み層ブロックＢ３に入力され、検査対象画像Ｉ４は、畳み込み層ブロックＢ４に入力される。

　畳み込み層ブロックＢ１からＢ４はそれぞれ、入力された検査対象画像に対して畳み込み処理を行い検査対象画像の特徴量を抽出し、処理結果の値として特徴量のベクトル（行列）を出力する。畳み込み層ブロックＢ１からＢ４のそれぞれから出力されたベクトルは、互いに結合される。例えば、畳み込み層ブロックＢ１からＢ４がそれぞれ、要素数が５１２ｘ７ｘ７の３次元配列を出力したのち、要素数２５０８８（＝５１２ｘ７ｘ７）の１次元配列へ変換するとする。このとき、畳み込み層ブロックＢ１からＢ４から出力された４つの配列が結合され、要素数１００３５２（＝２５０８８ｘ４）の１次元配列が生成されてもよい。

　結合されたベクトルは、レイヤーＬ２に入力される。すなわち、畳み込みニューラルネットワークＮは、複数の畳み込み層ブロックのそれぞれにおける畳み込み処理により得られた値が結合されて入力されるレイヤーＬ２（全結合層）を有する。レイヤーＬ２は、特徴量が抽出された画像を一つのノードに結合し、活性化関数によって変換された値を出力し、画像の分類を行う。判定部１０４は、当該分類に基づいて、対象製品の外観に関する検査情報を出力する。

　上記のとおり、図５を参照して説明した判定部１０４の処理の例において、畳み込みニューラルネットワークＮ（学習モデル）は、４つの畳み込み層ブロックを有し、畳み込みニューラルネットワークＮに、対象製品Ｐの外観を４方向から撮像することにより得られた４つの検査対象画像が入力される。

　また、畳み込みニューラルネットワークＮに入力される検査対象画像の数は、４に限定されず、４未満、又は５以上であってもよい。入力される検査対象画像の数は、畳み込みニューラルネットワークＮにおける畳み込み層ブロックの数に対応する数であってもよい。換言すれば、畳み込みニューラルネットワークＮ（学習モデル）は、入力される検査対象画像の数に対応する数の畳み込み層ブロックを有してもよい。また、検査対象画像のそれぞれは、畳み込み層ブロックのいずれかに入力されてもよい。

　すなわち、畳み込みニューラルネットワークＮは、入力される検査対象画像の数と同じ数の畳み込み層ブロックを有し、当該検査対象画像のそれぞれは、異なる畳み込み層ブロックに入力されてもよい。

　また、レイヤーＬ１から出力され結合されたベクトルは、レイヤーＬ２に入力される。すなわち、畳み込みニューラルネットワークＮは、複数の畳み込み層ブロックのそれぞれにおける畳み込み処理により得られた値が結合されて入力されるレイヤーＬ２（全結合層）を有する。

　以上のように本実施形態によれば、検査対象となる巻物製品Ｐである対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像（例えば、画像Ｉ１からＩ４）を畳み込みニューラルネットワークＮに入力する。詳細には、例えば、画像Ｉ１は、畳み込み層ブロックＢ１に入力され、検査対象画像Ｉ２は、畳み込み層ブロックＢ２に入力され、検査対象画像Ｉ３は、畳み込み層ブロックＢ３に入力され、検査対象画像Ｉ４は、畳み込み層ブロックＢ４に入力される。複数の畳み込み層ブロックのそれぞれにおける畳み込み処理により得られた値が結合されてレイヤーＬ２（全結合層）に入力される。レイヤーＬ２は、入力に基づいて、画像の分類を行う。判定部１０４は、当該分類に基づいて、対象製品の外観に関する検査情報を出力する。

　その結果、本実施形態によれば、複数の検査対象画像を俯瞰しなければ判断できない情報を特定することができる。すなわち、本実施形態によれば、上記の外観に関する検査情報は、複数の検査対象画像のうち、２つ以上の検査対象画像に基づいて特定される情報を含む。これにより、本実施形態によれば、対象製品の外観に関する検査をより高い精度で行うことが可能である。

　複数の検査対象画像を俯瞰しなければ判断できない情報には、例えば、複数の検査対象画像に渡って映り込んでいる製品（巻かれた製品）の折返し不良、製品のカット不良、製品のシワ、又はテープ貼付不良に関する情報が含まれる。従って、例えば、上記の外観に関する検査情報は、巻かれた製品の折り返し不良、製品のカット不良、製品のシワ、又はテープ貼付不良に関する情報を含んでもよい。

　また、本実施形態によれば、上記のとおり、外観に関する検査情報は、複数の検査対象画像のうち、２つ以上の検査対象画像に基づいて特定される情報を含む。そのため、複数の検査対象画像のうち、一部の検査対象画像が良品である巻物製品Ｐの外観を示し、一部の検査対象画像が不良品である巻物製品Ｐの外観を示す場合に、判定部１０４は、不良品であるかを示す情報を含む上記外観に関する検査情報を出力することも可能である。

　より具体的な例として、複数の検査対象画像のうち、少なくとも第１検査対象画像は、折り返し不良、製品のカット不良、製品のシワ、又は製品へのテープ貼付不良のうち少なくとも一部を含み、その他の複数の検査対象画像のうち、少なくとも１の検査対象画像は、第１検査対象画像に含まれている折り返し不良、製品のカット不良、製品のシワ、又は製品へのテープ貼付不良のうち少なくとも一部を含まない場合がある。この場合において、判定部１０４は、不良品（折り返し不良、製品のカット不良、製品のシワ、又は製品へのテープ貼付不良のうち少なくとも一部）であるかを示す情報を含む上記外観に関する検査情報を出力することも可能である。

＜処理フロー＞
　図６を参照して、コンピュータ１０における学習モデルの生成処理、及び対象製品の外観に関する検査情報の出力処理のフローの一例を説明する。以下に説明する各処理ステップは、例えば、コンピュータ１０が有するプロセッサ２２が、記憶装置２４に記憶されたコンピュータプログラムを読み込み実行することによって、コンピュータプログラム（ソフトウェア）とハードウェアの協働により実現される。

　コンピュータ１０において実行される処理の詳細は既に説明しているため、以下の処理フローの説明において、既に説明した内容については簡略化又は省略する場合がある。

　まず、ステップＳ１０１において、コンピュータ１０は、巻物製品Ｐの外観を撮像することにより得られた複数の製品画像と、分類カテゴリー（クラス）とを含むデータを教師データとして取得する。当該複数の製品画像は、例えば、巻物製品Ｐの外観の側面を周方向に沿って複数方向から撮像することにより得られた画像である。教師データとして取得される当該製品画像は、複数の巻物製品Ｐについての画像を含む。また、教師データとして取得される当該製品画像は、例えば、外観に異常のない巻物製品Ｐ（良品の巻物製品）を撮像することにより得られた画像と、外観に異常のある巻物製品Ｐ（不良品の巻物製品）を撮像することにより得られた画像とを含む。コンピュータ１０は、上記製品画像を撮像装置２０から取得してもよいし、他の外部装置から取得してもよい。

　次に、ステップＳ１０２において、コンピュータ１０は、検査対象となる巻物製品Ｐである対象製品の外観に関する検査情報を出力するように機械学習された学習モデルを生成する。より詳細には、コンピュータ１０は、ステップＳ１０１で取得された教師データを使用して畳み込みニューラルネットワークを利用した画像認識処理を実行し、良品及び不良品に対応する巻物製品Ｐの画像の特徴量を抽出し、機械学習により学習された学習モデル（畳み込みニューラルネットワーク）を生成する。

　次に、ステップＳ１０３において、コンピュータ１０は、検査対象となる巻物製品Ｐである対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得する。

　次に、ステップＳ１０４において、コンピュータ１０は、ステップＳ１０２で生成した学習モデルに、ステップＳ１０３で取得した複数の検査対象画像を入力する。コンピュータ１０は、当該学習モデルの出力に基づいて、対象製品の外観に関する検査情報の出力を得る。当該検査情報は、例えば、対象製品が良品であるか不良品であるかを示す情報を含んでもよい。また、当該検査情報は、不良品であるかを示す情報として、製品の折返し不良、製品のカット不良、製品のシワ、及びテープ貼付不良のうち、少なくともいずれかを示す情報を含んでもよい。

　なお、図６を参照して説明した処理の例において、学習モデルの生成処理（ステップＳ１０１及びＳ１０２）と、対象製品の外観に関する検査及び検査情報の出力処理（ステップＳ１０３及びＳ１０４）とが連続して行われたが、これに限定されない。コンピュータ１０は、学習モデルの生成処理が終了したタイミングで、対象製品の外観に関する検査及び検査情報の出力処理を実施しなくてもよい。また、コンピュータ１０は、学習モデルの生成処理が終了したタイミングとは異なるタイミングで、対象製品の外観に関する検査及び検査情報の出力処理を実施してもよい。また、学習モデルの生成処理を実行するコンピュータ１０は、対象製品の外観に関する検査及び検査情報の出力処理を実行するコンピュータ１０とは異なる装置であってもよい。

＜変形例＞
　上記実施形態におけるコンピュータ１０による機能を実装するためのコンピュータプログラムは、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

　本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

＜第２変形例＞
　本出願の発明者らは、搬送装置を用いて巻物製品を転動させるとき、巻物製品が意図通りに周方向に回転しない可能性がある点に着目した。巻物製品が転動しないと、巻物製品の側面の全周を含む検査対象画像を取得できないため、十分な検査を行うことが困難となってしまう。

　そこで本変形例に係る検査システムは、上記実施形態に示される検査システム１の各構成に加えて、複数の検査対象画像の少なくとも一部分を結合した画像が、対象製品である巻物製品の側面全周の外観を含むか否かを判定する判定手段を備えている。

　このような判定手段を備えることにより、巻物製品の側面の全周の外観を検査することが可能となる。以下具体的な構成について説明する。なお検査システム１の各構成と同一乃至類似する機能を発揮する構成については、同一乃至類似する名称乃至符号を付して詳細な説明を省略し、異なる部分を中心に説明する。

　本変形例においては、コンピュータ１０の判定部１０４に、上述した判定手段としての機能が実装される。したがって判定部１０４は、第１実施形態において説明されたように対象製品の外観に関する検査情報の出力を得ると共に、複数の検査対象画像の少なくとも一部分を結合した画像が、対象製品である巻物製品の側面全周の外観を含むか否かを判定可能に構成されている。

　より具体的には、判定部１０４は、ステップＳ１０３において取得された検査対象となる巻物製品Ｐである対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像に基づいて、対象製品である巻物製品Ｐの側面全周の外観を含むか否かを判定するように構成されている。

　判定手段の一例として判定部１０４は、検査対象画像内において巻物製品Ｐの側面に設けられるマークの占める面積の複数の検査対象画像間の変動量に基づいて判定を行う。このようなマーク（「目印」と呼ばれる場合もある。）は、例えば、巻物製品Ｐの側面に貼り付けられたテープである。

　図５に示されるようにステップＳ１０３において複数の検査対象画像である画像Ｉ１～画像Ｉ４を取得した後、判定部１０４は、画像Ｉ１内において、テープが占める面積を取得する。同様に判定部１０４は、画像Ｉ１の状態から周方向に９０度転動させた巻物製品Ｐを撮像して取得される画像Ｉ２内において、テープが占める面積を取得する。同様に判定部１０４は、画像Ｉ２の状態からさらに周方向に９０度及び１８０度転動させた巻物製品Ｐを撮像してそれぞれ取得される画像Ｉ３及び画像Ｉ４内において、テープが占める面積をそれぞれ取得する。

　続いて判定部１０４は、各画像Ｉ１～画像Ｉ４におけるテープが占める面積の変動量を取得する。図５に示される画像の場合、判定部１０４は、画像Ｉ１及び画像Ｉ２はテープを含んでいるため、それぞれにおいてテープの面積を示す情報を取得する。一方画像Ｉ３及び画像Ｉ４は、テープの反対方向から撮像された検査対象画像であることから、テープが検出されなかったことを示す情報（すなわちテープの面積がゼロであることを示す情報）を取得する。テープの面積を示す情報を取得する方法は、知られた方法を用いることが可能である。例えばテープが所定の色に着色されている場合、判定部１０４は、検査対象画像の色情報に基づいてテープを検出してもよいし、テープが所定の形状を有している場合、判定部１０４は、パターン認識技術を用いてテープを検出してもよい。

　画像Ｉ１～画像Ｉ４は、巻物製品Ｐの側面の半周部分（１８０度）を含んでいる。このため図５に示されるように巻物製品Ｐが意図通りに９０度ずつ転動（回転）している場合、９０度ごとに撮像される画像Ｉ１～画像Ｉ４のうち、連続する２つの画像において所定の面積を占めるテープが検出され、残る２つの画像においてテープが検出されない。このため、判定部１０４は、画像Ｉ１及び画像Ｉ２においてテープが検出され、画像Ｉ３及び画像Ｉ４においてテープが検出されなかったことに基づいて、複数の検査対象画像である画像Ｉ１～画像Ｉ４を結合した画像は、対象製品である巻物製品Ｐの側面全周の外観を含んでいる、と判断する。その後ステップＳ１０４以下が実行される。

　一方で仮に判定部１０４が画像Ｉ１～画像Ｉ４のそれぞれにおいてテープが検出された場合、または、画像Ｉ１～画像Ｉ４のいずれにおいてもテープが検出されなかった場合、巻物製品Ｐが転動しなかったことを示しているから、判定部１０４は、複数の検査対象画像である画像Ｉ１～画像Ｉ４を結合した画像は、対象製品である巻物製品Ｐの側面全周の外観を含んでいない、と判断し、例えば検査を中止し、警告を報知させる。

　以上のとおり本変形例に係るシステムによれば、複数の検査対象画像の少なくとも一部分を結合した画像が、対象製品である巻物製品の側面全周の外観を含むか否かを判定する判定手段を備えているから、巻物製品の側面全周の外観を含まない検査対象画像に基づいて検査を行ってしまう事態を抑制することが可能となる。

　なお、マークの形状は、本変形例に示されるものに限られない。例えばマークは、巻物製品Ｐの側面に貼付される周方向に、全周未満の長さ（例えば、９０度より大きく１８０度以下の長さ）を有する、周方向に長い帯状に形成されたテープであってもよい。

　このような構成によれば、例えば、巻物製品Ｐを周方向に９０度ごとに転動させた場合であっても、検査対象画像Ｉ１～画像Ｉ４においてテープが占める面積が撮像角度に応じて変動することとなるから、判定部１０４は、より正確に複数の検査対象画像である画像Ｉ１～画像Ｉ４を結合した画像が対象製品である巻物製品Ｐの側面全周の外観を含んでいる、と判断することが可能となる。その他、巻物製品Ｐの形状、撮像装置２０が巻物製品Ｐを撮像する間隔及び回数（例えば、９０度ごとに４回や、６０度ごとに６回）等に応じて適宜変更可能である。またテープの面積をより精度よく取得するため、テープは赤や黄色等、巻物製品Ｐの側面とは異なる色で着色されていてもよいし、複数のテープを貼付してもよい。

　さらに巻物製品Ｐの側面の全周の外観を含んでいることの判定手法も、上述したアルゴリズムに限られるものではない。例えば、判定部１０４は、判定手段の他の一例として、検査対象画像同士を比較することにより、巻物製品Ｐの側面全周の外観を含んでいることを判定可能に構成されていてもよい。例えば判定部１０４は、画像Ｉ１～画像Ｉ４を比較し、両者の相似度をそれぞれ算出し、相似度が所定の閾値未満の場合に、画像Ｉ１～画像Ｉ４を結合した画像が対象製品である巻物製品Ｐの側面全周の外観を含んでいる、と判断することように構成されてもよい。巻物製品Ｐが転動しなかった場合、画像Ｉ１と画像Ｉ２は、ほぼ同じ検査対象画像となるため、相似度が高くなる。このため、各画像を他の画像と比較し、各画像間の相似度に応じて、巻物製品Ｐの側面全周の外観を含んでいることを判定可能に構成することが可能となる。なお相似度の算出方法は検査対象画像に応じて適宜選択可能であり、例えば、画像ヒストグラムの比較（両画像の色分布の比較）、特徴抽出及び照合（両画像から固有の特徴を抽出し、照合する手法）、画像ハッシュ比較（画像に固有の数値表現を作成し、ハッシュを比較する手法）等であってもよい。また、判定部１０４は、巻物製品Ｐが転動乃至回転しているか否かという情報を、回転を検出可能なセンサ等、画像以外の情報に基づいて取得し、その情報に基づいて巻物製品Ｐの側面全周の外観を含んでいることを判定するように構成されてもよい。

　なお、撮像装置２０は、転動している（回転している）巻物製品Ｐの外観の側面（すなわち回転運動中の巻物製品Ｐの外観の側面）を、少なくとも二次元領域を撮像可能なＣＭＯＳイメージセンサ等のセンサまたは一次元領域を撮像可能なラインセンサ等を用いて撮像可能に構成されてもよいが、これに限られるものではない。例えば撮像装置２０は、所定角度（例えば９０度）転動（回転）した後静止している巻物製品Ｐを、少なくとも二次元領域を撮像可能なＣＭＯＳイメージセンサ等のセンサを備えたカメラを用いて撮像して検査対象画像を取得し、さらに所定角度（例えば９０度）転動（回転）した後静止している巻物製品Ｐを撮像して検査対象画像を取得することを繰り返すことにより、複数の検査対象画像を取得可能に構成されてもよい。

＜第２実施形態＞
　以下、本発明の他の実施形態について図面を用いて説明する。以下の実施形態は、本発明を説明するための例示であり、本発明をその実施形態のみに限定する趣旨ではない。また第１実施形態に示された構成と類似乃至同一の機能を発揮することが当業者に理解できる構成要素については、名称等を共通化して、説明を適宜省略乃至簡略化する。

　本実施形態に係るシステム１Ａ（図７）は、搬送装置４０Ａによって搬送される巻物製品Ｐを製造した製造装置Ｍを示す情報と、この巻物製品Ｐの外観に関する検査情報という２つの異なる情報を収集（取得）し、両情報を関連付けて記録する集約部１０５Ａと、製造装置Ｍごとに、その製造装置Ｍにより製造された複数の巻物製品Ｐの検査情報を示す情報を取得する統計処理部１０６Ａ（「情報取得部」の一例）とを備えている。

　このような構成の下、システム１Ａは、製造装置Ｍごとに、その製造装置Ｍにより製造された巻物製品Ｐの検査情報を取得することが可能となる。このため所定の製造装置Ｍが他の製造装置Ｍと比較して品質の悪い巻物製品Ｐを製造していることを知ることが可能となる。以下詳細構成について説明する。

　図７は第２実施形態に係るシステム１Ａを用いた巻物製品Ｐの検査プロセスを説明するための機能ブロック図である。ただし図７において実線は、巻物製品Ｐの搬送経路を示し、図７において点線は、情報経路を示している。

　同図に示されるように、システム１Ａは、コンピュータ１０Ａと撮像装置２０Ａとを備える。コンピュータ１０Ａは、記憶部、画像取得部、学習部及び判定部１０４Ａを備えている。コンピュータ１０Ａは、コンピュータ１０と同様のハードウェア構成（図３）を備えており、コンピュータ１０Ａの記憶部、画像取得部、学習部及び判定部は、それぞれ、コンピュータ１０の記憶部１０１、画像取得部１０２、学習部１０３及び判定部１０４と同等の機能を発揮するので、詳細な説明を省略する。さらに撮像装置２０Ａは、撮像装置２０と同様のハードウェア構成を備え、同様の機能を発揮するので、同様に詳細な説明を省略する。

　本実施形態に係るコンピュータ１０Ａはさらに、集約部１０５Ａと、統計処理部１０６Ａと、統計処理部１０６Ａにより得られた情報に基づいて製造装置Ｍが製造する巻物製品Ｐの品質が低下した場合にアラートを報知するためのアラート処理部１０７Ａとを備えている。

　さらにシステム１Ａは、巻物製品Ｐを搬送するためのコンベア４０（「搬送装置」の一例）と、コンベア４０に搬送させる巻物製品Ｐを、巻物製品Ｐをそれぞれ製造可能に構成されるＮ台の製造装置Ｍのうちの一の製造装置Ｍから他の製造装置Ｍに切り替える切替装置５０と、判定部１０４から受信する検査情報に基づいて、良品の巻物製品Ｐを出荷し、不良品の巻物製品Ｐを破棄または手直しするために、巻物製品Ｐを良品または不良品に仕分けるための仕分け部６０とを備えている。

　図７において製造装置Ｍ１乃至製造装置ＭＮは、それぞれ巻物製品Ｐを製造可能に構成されたＮ台（ただしＮは２以上の整数）の製造装置を示している。各製造装置を製造装置Ｍ１、製造装置Ｍ２等と呼び、任意の製造装置を製造装置Ｍと呼ぶ場合がある。各製造装置は、同時に稼働することによりそれぞれ巻物製品Ｐを製造してもよいし、例えばある製造装置Ｍをメンテナンスしている間に他の一、または、複数の製造装置Ｍが同時に稼働することにより巻物製品Ｐを製造してもよい。なお各製造装置Ｍは、一部において共通のユニットを備えていてもよい。例えば製造装置Ｍ１乃至製造装置ＭＮは、上流部分において共通のユニットを備えていてもよい。また、製造装置Ｍは、巻物製品Ｐの製造プロセスのうち一つのプロセスで使用される製造装置を含んでいる。さらに製造装置Ｍは、製造装置を構成する部品または製造設備を含んでいる。このような製造設備が複数存在し、各製造設備が代替的に、または、同時並列的に、それぞれ巻物製品Ｐの製造に使用される場合、本発明を適用することにより、巻物製品Ｐの製造品質に与える影響を製造設備間で比較することが可能となる。

　各製造装置Ｍは巻物製品Ｐを製造しコンベア４０に供給可能に構成されており、コンベア４０はＮ台の製造装置Ｍによりそれぞれ製造された複数の巻物製品Ｐを搬送可能に構成されている。上述したようにコンベア４０は、巻物製品Ｐを周方向ｄ２（図１）に転動させながら搬送可能に構成されてもよいし、巻物製品Ｐを転動することなく搬送可能に構成されてもよい。また、コンベア４０は、撮像装置２０Ａに到着するまでは転動することなく巻物製品Ｐを搬送し、撮像装置２０Ａによって複数方向から撮像される位置において巻物製品Ｐを転動または回転させるように構成されてもよい。また巻物製品Ｐは、コンベア４０上に直接配置されて搬送されてもよいし、コンベア４０上に配置されたバケット（容器）に収納された状態で搬送されてもよい。

　切替装置５０は、コンベア４０に供給される巻物製品Ｐを製造する製造装置Ｍを、一の製造装置Ｍから他の製造装置Ｍに切り替える。さらに切替装置５０は、所定の製造装置Ｍによって製造された巻物製品Ｐがコンベア４０上のどの位置（例えばコンベアベルトの基準位置に対する相対的な位置）に供給されたかを示す情報を取得し、集約部１０５Ａに送信する。

　切替装置５０が備える、コンベア４０に巻物製品Ｐを供給する製造装置Ｍを切り替えるための構成は、知られた構成を採用することが可能である。例えば、各製造装置Ｍに製造された巻物製品Ｐを排出するための搬出経路とコンベア４０とが接続されている構成において、切替装置５０は、各製造装置Ｍの搬出経路とコンベア４０との間を開閉する開閉ゲートをそれぞれ備え、選択される一の製造装置Ｍとコンベア４０との間を開放することでその製造装置Ｍによって製造される巻物製品Ｐをコンベア４０に供給させる一方で、他の製造装置Ｍとコンベア４０との間を閉塞することで他の製造装置Ｍによって製造される巻物製品Ｐをコンベア４０に供給しないように構成されてもよい。このような構成により切替装置５０は、開閉ゲートが開いている一の製造装置Ｍによって製造された巻物製品Ｐをコンベア４０に供給しているという情報を取得することが可能となる。
　上記に替えて切替装置５０は、各製造装置Ｍの搬出経路をスライド可能な可動コンベヤとして備え、コンベア４０と接続してその製造装置Ｍによって製造される巻物製品Ｐをコンベア４０に供給させる一方で、他の製造装置Ｍの排出経路とコンベア４０とを離間して他の製造装置Ｍによって製造される巻物製品Ｐをコンベア４０に供給しないように構成されてもよい。
　上記に替えて切替装置５０は、選択される一の製造装置Ｍによって製造された巻物製品Ｐをピックアップしてコンベア４０に供給するロボットアームであってもよい。

　以上のような構成において切替装置５０は、コンベア４０に巻物製品Ｐを供給する製造装置Ｍを切り替えることが可能となるから、現在コンベア４０に供給されている巻物製品Ｐを製造した製造装置Ｍを示す情報を取得することが可能である。

　加えて切替装置５０は、巻物製品Ｐがコンベア４０上のどの位置に供給されたかを示す情報を取得し、製造装置Ｍを示す情報と共に集約部１０５Ａに送信する。例えば切替装置５０は、所定の巻物製品Ｐがコンベア４０上に供給された時点におけるコンベア４０を駆動する歯車の回転数を示す情報を、その巻物製品Ｐが存在するコンベア４０上の位置情報として取得し、製造装置Ｍを示す情報と共に集約部１０５Ａに送信する。巻物製品Ｐがコンベア４０上に供給されてから撮像装置２０Ａに到達して判定部１０４Ａによって判定されるまでに必要な歯車の回転量は、巻物製品Ｐが供給されるコンベア４０上の位置と、撮像装置２０Ａに撮像されるコンベア４０上の位置との距離を示す情報であり、予めわかっているから、集約部１０５Ａは、巻物製品Ｐが撮像装置２０Ａに到達した時の検査情報を判定部１０４Ａから取得することによって、所定の製造装置Ｍによって製造された巻物製品Ｐの検査情報を取得することが可能となる。

　例えば、切替装置５０が製造装置Ｍ１によって製造された巻物製品Ｐがコンベア４０に供給された時点におけるエンコーダ等を用いてカウントされるコンベア４０の歯車の回転量が１０００回転であり、その巻物製品Ｐ１が撮像装置２０Ａに到達して撮像されるまでに必要な歯車の回転量が５００回転の場合、集約部１０５Ａは、コンベア４０の歯車の回転量が１５００回転（１０００＋５００）の時に判定部１０４Ａから得られる検査情報が、製造装置Ｍ１によって製造された巻物製品Ｐの検査情報であると判断し、製造装置Ｍ１と巻物製品Ｐの検査情報とを関連付けて記録する。

　以上述べたように集約部１０５Ａは、切替装置５０からコンベア４０によって搬送される巻物製品Ｐを製造した製造装置Ｍを示す情報（「製造装置情報」の一例）を取得し、判定部１０４Ａからその巻物製品Ｐの外観に関する検査情報を取得し、両情報を関連付けて例えばコンピュータ１０Ａの記憶装置に記録する。図８は、集約部１０５Ａによって関連付けられ、記憶装置に記録された情報の一例である。ここで判定部１０４が出力する検査情報は、０～１００の値を取り得る判定値（スコア）であってもよい。本実施形態では判定値が高いほど良品であり、低いほど不良品であるように、検査情報に相当する判定値が出力される。同図に示されるように、例えば製造装置Ｍ１によって製造された２つの巻物製品Ｐの判定値は、それぞれ、６３及び６４である。一方で製造装置Ｍ３によって製造された２つの巻物製品Ｐの判定値は、それぞれ、３０及び１５である。このような情報を取得することによって、製造装置Ｍ３によって製造される巻物製品Ｐの品質が製造装置Ｍ３によって製造される巻物製品Ｐの品質よりも悪いということを把握することが可能となる。

　なお同図に示されるように集約部１０５Ａはさらに、検査情報と、検査対象画像を撮像した日付及び／又は時刻情報とを関連付けて不図示の記録装置に記録してもよい。後述するように、ある日付における所定の製造装置Ｍによって製造された巻物製品Ｐの検査情報と、異なる日付けにおける所定の製造装置Ｍによって製造された巻物製品Ｐの検査情報とを比較することにより、季節的な要因が検査情報に与える影響や、経時的な要因（例えば製造装置Ｍに使用される所定の部品の消耗度）が検査情報に与える影響を把握することも可能となる。
　また、全ての製造装置Ｍの検査情報が一様に変動している場合は、製造装置Ｍ以外の要因（例えば判定部１０４Ａの判定方法）に問題が生じていることを把握すること等も可能となる。

　統計処理部１０６Ａ（「情報取得部」の一例）は、製造装置Ｍごとに、その製造装置Ｍにより製造された複数の巻物製品Ｐの検査情報を示す情報を取得する。本実施形態における統計処理部１０６Ａは、同一の製造装置Ｍにより製造された複数の巻物製品Ｐの検査情報に基づいて計算される統計的情報を取得可能に構成されており、具体的には、製造装置Ｍごとに、その製造装置Ｍによって製造された複数の巻物製品Ｐの異常度スコアの平均値（「複数の前記巻物製品の前記検査情報を示す情報」の一例）または中央値及びその分散（「複数の前記巻物製品の前記検査情報を示す情報」の一例）を算出可能に構成されている。ここで異常度スコアは、高いほど不良品であり低いほど良品となる値であってよく、例えば上述した判定値を１００から引いた値であってもよい。さらに統計処理部１０６Ａは、全ての巻物製品Ｐの異常度スコアの平均値を取得可能に構成されてよい。

　図９は、統計処理部１０６Ａによって取得される情報を示すグラフである。なおシステム１Ａは、同図に示されるグラフを表示する表示装置（ディスプレイ）をさらに備えてもよい。

　同図に示されるように、他の製造装置Ｍと比較して、製造装置Ｍ２により製造された巻物製品Ｐの異常度スコアが高いことが把握される。このため製造装置Ｍ２の状態を調査し適切な対策を講じることにより、巻物製品Ｐの歩留まりを向上させることが可能となる。

　アラート処理部１０７Ａは、統計処理部１０６Ａからの情報に基づいて、所定の製造装置Ｍが製造する巻物製品Ｐの品質が低下したことを報知するためのアラート情報を生成する。本実施形態の場合、アラート処理部１０７Ａは、所定の製造装置Ｍ（例えば製造装置Ｍ２）の異常度スコアの平均値が、他の製造装置Ｍの異常度スコアの平均値より所定量（例えば、３０％）悪い値に乖離していたら、その製造装置Ｍが設備異常であることを示すアラート情報を生成し、例えば、管理者に送信する。

　以上のとおりであるから本実施形態に係るシステム１Ａによれば、製造設備の異常を容易に把握することが可能となる。このため巻物製品Ｐ等、製造装置によって製造される製品の製造歩留まりを向上することが可能となる。

　なお、ある巻物製品Ｐを製造した製造装置Ｍと、その巻物製品Ｐの検査情報とを関連付ける方法は、上述した方法に限られるものではない。

　例えば、コンベア上に載置された複数のバケット（容器）を連結し、各バケットに１つの巻物製品Ｐを収納して搬送する態様において、所定のバケットが所定の位置を通過したときを基準として例えばエンコーダを用いて所定の歯車の回転量のカウントを行い、そのカウント値をバケット１個分のその歯車の回転量で除することによって、各バケットに搬送される巻物製品Ｐのコンベア４０上の位置を容易に把握することが可能となる。このため、巻物製品Ｐが所定のバケットに収容されるコンベア４０上の位置情報と、巻物製品Ｐが撮像装置２０によって撮像され検査されるコンベア４０上の位置情報と、切替装置５０がコンベア４０上に供給している巻物製品Ｐを製造した製造装置Ｍの情報を取得することにより、ある巻物製品Ｐを製造した製造装置Ｍと、その巻物製品Ｐの検査情報とを関連付けることが可能となる。

　またバケットに数字を印字することとし、切替装置５０をある製造装置Ｍ（例えば製造装置Ｍ４）によって製造された１０個の巻物製品Ｐを所定の番号（例えば４１～５０）のバケットにそれぞれ収納するように構成するとともに、撮像装置２０Ａをバケットに印刷された数字を撮像して読み取るように構成すれば、その巻物製品Ｐを製造した製造装置Ｍを示す情報と、その巻物製品Ｐの検査情報とを関連付けることが可能となる。また、数字を印字することに替えて、バケットにＲＦＩＤ等を搭載してもよい。

　以上のとおりであるから本実施形態に係るシステム１Ａによれば、複数の製造装置（製造設備を含む）を同時並列的に、または、代替的に使用して複数の巻物製品Ｐを製造する場合に、巻物製品Ｐの製造品質に与える影響を製造装置間で容易に比較することが可能となり、ひいては巻物製品Ｐの品質向上または歩留まり向上を図ることが可能となる。

＜第３実施形態＞
　以下、本発明の第３実施形態について図面を用いて説明する。第２実施形態と同様に、他の実施形態に示された構成と類似乃至同一の機能を発揮することが当業者に理解できる構成要素については、名称等を共通化して、説明を適宜省略乃至簡略化する。

　本実施形態に係るシステム１Ｂは、教師データを効率よく収集できることを可能とするための構成を備えている点において他の実施形態と異なるためこの点を中心に説明する。

　図１０は、本実施形態に係るシステム１Ｂを用いた巻物製品Ｐの検査プロセスを説明するための機能ブロック図である。同図に示されるように、システム１Ｂは、コンピュータ１０Ｂと撮像装置２０Ａとを備える。コンピュータ１０Ｂは、表示部１０８Ｂ、結果蓄積部１０９Ｂ及び再学習部１１０Ｂを備えている点においてコンピュータ１０Ａと異なり、他の点において共通するため共通部分の説明を省略する。

　コンピュータ１０Ｂの表示部１０８Ｂは、検査対象画像のうち検査情報の出力に影響した部位（「特徴部位」と呼ばれる場合がある。）を特定し、検査対象画像と特徴部位を特定する情報とを表示する。特徴部位の特定は、コンピュータ１０が有するプロセッサ２２が、記憶装置２４に記憶されたコンピュータプログラムを読み込み実行することによって、コンピュータプログラム（ソフトウェア）とハードウェアの協働により実現される。検査対象画像と特徴部位を特定する情報との表示は、プロセッサ２２からの指令に基づいて対象画像と特徴部位を特定する情報を表示するディスプレイ（「表示装置」の一例）により実現される。

　特徴部位の抽出は、知られた方法を採用することが可能であり、例えば、ＣＡＭ（Class Activation Map）またはＧｒａｄ－ＣＡＭを採用することが可能である。ＣＡＭは、畳み込みニューラルネットワークの最後の畳み込み層が出力した特徴量マップに重みをかけて判断根拠を可視化する方法であり、Ｇｒａｄ－ＣＡＭは、ＣＡＭにおいて、出力値の変動率に基づいて重みを算出することにより、判断根拠を可視化する方法である。

　表示部１０８Ｂは、検査対象画像と、コンピュータ１０Ｂのプロセッサを用いて取得された特徴部位とを重ね合わせて表示する。本実施形態の表示部１０８Ｂはさらに、異常の種類ごとに、異常の名称、検査対象画像、特徴部位、その異常度のスコアを表示可能に構成されている。

　図１１は、表示部１０８Ｂの表示画面の一例である。同図に示されるように、表示部１０８Ｂは、「折り返し」と呼ばれる種類の異常について、異常の名称（「折り返し」）、巻物製品Ｐの検査対象画像（画像Ｉ５）、特徴部位（特徴部位ＣＲ５）と、折り返し異常の判定値のスコアである「２３」（「検査情報の出力」の一例）を表示し、さらに「シワ」と呼ばれる種類の異常について、異常の名称（「シワ」）、同一の巻物製品Ｐの検査対象画像（画像Ｉ６）、特徴部位（特徴部位ＣＲ６）と、シワ異常の判定値のスコアである「８３」（「検査情報の出力」の一例）を表示する。

　特徴部位ＣＲ５は、「折り返し」のスコア２３（「検査情報の出力」の一例）に影響を与えた部位であり、特徴部位ＣＲ６は、「シワ」のスコア８３（「検査情報の出力」の一例）に影響を与えた部位であるため、同一の巻物製品Ｐの異なる部位をそれぞれ示す場合がある。なお、表示されるスコアは、スコアが高いほどその異常が発生しており、スコアが低いほどその異常が発生していないことを示すように予め設定されてもよいし、反対にスコアが低いほどその異常が発生しており、スコアが高いほどその異常が発生していないことを示すように予め設定されてもよい。本実施形態は、例えば、スコアが０に近いほどその異常が発生しており、スコアが１００に近いほどその異常が発生していないようにスコアが設定されている実施態様に相当する。

　本実施形態において特徴部位ＣＲ５及び特徴部位ＣＲ６は、それぞれ半透明で、画像Ｉ５及び画像Ｉ６にそれぞれ重ね合わせて表示されるため、検査者は、画像Ｉ５及び画像Ｉ６のうち特徴部位ＣＲ５及び特徴部位ＣＲ６を観察することにより、コンピュータ１０Ｂが「折り返し」異常について「２３」というスコアをつけたことの妥当性、ならびに「シワ」異常について「８３」というスコアをつけたことの妥当性を判断することが可能となる。検査者は、コンピュータ１０Ｂの入力装置３２（図３。「入力部」の一例）であるマウス、キーボード、または、タッチパネル等を用いて、コンピュータ１０Ｂによる判断が妥当であるか（「妥当」）、妥当でないか（「異議あり」）、それぞれの異常について入力する。

　コンピュータ１０Ｂの入力装置３２は、表示部１０８に表示される画像Ｉ５、画像Ｉ６、特徴部位ＣＲ５及び特徴部位ＣＲ６を見た検査者が入力した「折り返し」異常についてのスコアならびに「シワ」異常についてのスコアの妥当性に関する情報を受け付ける。

　結果蓄積部１０９Ｂは、良品及び不良品についての教師データを格納するデータベースを備えている。ここで入力装置３２が「異議あり」の入力を受け付けた場合、すなわち検査者がコンピュータ１０Ｂによる検査結果が誤っていると判断した場合、結果蓄積部１０９Ｂは、その入力に対応する検査対象画像を教師データとして追加する。

　例えば、コンピュータ１０Ｂの入力装置３２が「折り返し」異常について「異議あり」の入力を受け付けた場合とは、「２３」という「折り返し」異常が発生している可能性が高いことを示すスコアが検査情報として出力されたにもかかわらず、「折り返し」異常が発生している可能性が低いと評価者が判断した状態に相当する。このような場合、コンピュータ１０Ｂの結果蓄積部１０９Ｂは、折り返し異常が発生していない良品の教師データとして、画像Ｉ５を追加する。

　一方で、コンピュータ１０Ｂの入力装置３２が「シワ」異常について「異議あり」の入力を受け付けた場合とは、「８３」という「シワ」異常が発生している可能性が低いことを示すスコアが検査情報として出力されたにもかかわらず、「シワ」異常が発生している可能性が高いと評価者が判断した状態に相当する。このような場合、コンピュータ１０Ｂの結果蓄積部１０９Ｂは、シワ異常が発生している不良品の教師データとして、画像Ｉ６を追加する。

　再学習部１１０Ｂは、結果蓄積部１０９Ｂに新たに追加された検査対象画像を含む教師データに基づいて、例えば第１実施形態と同様の方法で、新たな学習モデルを生成する。なお教師データとして新たな検査対象画像が追加された点を除いて、学習部１０３及び再学習部１１０Ｂは、学習モデルを生成する点において共通する。このため、学習部１０３及び再学習部１１０Ｂは、同一のコンピュータプログラム（ソフトウェア）及びハードウェアの協働により実現されてよい。

　判定部１０４Ａは、再学習部１１０Ｂにより機械学習されて新たに生成されたニューラルネットワークに、複数の検査対象画像を入力することにより、対象製品の外観に関する検査情報の出力を得る。

　またコンピュータ１０Ｂは、入力装置３２が所定の巻物製品Ｐの検査情報の出力に対し「異議あり」の入力を受け付けた場合、「異議あり」の情報の入力に基づいて生成される情報を仕分け部６０に送信する。例えば巻物製品Ｐが良品であることを示す検査情報の出力に対し「異議あり」の入力を受け付けた場合、コンピュータ１０Ｂは、その巻物製品Ｐが不良品であること（または、不良品の可能性があること）を示す情報を仕分け部６０に送信する。

　仕分け部６０は、判定部１０４から受信する検査情報を、「異議あり」の情報の入力に基づいて生成される情報に基づいて更新する。仕分け部６０は、評価者によりフィードバックを受けた情報に基づいて、巻物製品Ｐを良品または不良品に仕分けることが可能となるため、不良品が良品として出荷されてしまう可能性や、良品が不良品として破棄等されてしまう可能性を低減することが可能となる。

　なおコンピュータ１０Ｂは、入力装置３２が所定の巻物製品Ｐの検査情報の出力に対し「異議あり」の入力を受け付けた場合、「異議あり」の情報の入力に基づいて生成される情報を判定部１０４Ａに送信し、判定部１０４Ａは、受信した情報に基づいて検査情報の出力を更新し、仕分け部６０に更新された情報を送信するように構成してもよい。

　その他の構成（プロセスを含む）については、他の実施形態で説明された構成と同様であるため説明を省略する。

　なお、システム１Ｂのコンピュータ１０Ｂは、多数の検査対象画像の中から表示部１０８Ｂに表示させる検査対象画像を選択するためのサンプリング部１１１Ｂ（図１０）をさらに備えていてもよい。例えばサンプリング部１１１Ｂは、判定部１０４が検査対象画像に基づいて取得した数値に基づいて、表示部１０８Ｂに表示させる検査対象画像を選択するように構成されてよい。例えば、判定部１０４が検査対象画像に基づいて数値を取得可能に構成されており、この数値を所定の閾値と比較することにより検査対象が良品であるか不良品であるかを示す検査情報を出力するように構成されているとき、サンプリング部１１１Ｂは、取得した数値とこの閾値との差が所定値（「第２閾値」と呼ばれる場合がある。）以下である検査対象画像を、表示部１０８Ｂに表示させるように構成されてよい。

　このような構成とすることにより、検査者が観察する検査対象画像を選択することが可能となる。このため、例えば生産性が高く製造ラインの速度が大きすぎるために検査者が全ての検査対象画像を観察し、観察した結果を入力することが困難な場合であっても、良品であるか不良品であるかの判断が難しい検査対象画像を選択的にチェックすることが可能となる。また、良品であるか不良品であるか判断が難しい検査対象画像についての教師データを効率的に収集することが可能となる。

　上記に替えてサンプリング部１１１Ｂは、判定部１０４が良品であることを示す検査情報を出力した検査対象画像を除き、判定部１０４が不良品であることを示す検査情報を出力した一部または全ての検査対象画像を表示部１０８Ｂに表示させるように構成されてもよい。

　上記に替えてサンプリング部１１１Ｂは、ランダムに選択された検査対象画像を表示部１０８Ｂに表示させるように構成されてもよい。例えばサンプリング部１１１Ｂは、検査者が検査対象画像を観察して、観察した結果に基づいて入力するのに要する時間を取得し、この時間ごとに検査対象画像を表示部１０８Ｂに表示させるように構成されてもよい。

　以上のとおりであるから本実施形態に示されるシステム１Ｂによれば、コンピュータ１０Ｂによる検査情報の出力に対する検査者による妥当性の評価を可能とし、必要に応じて教師データの追加が可能に構成されているから、再学習用の教師データの効率的な収集及び精度の高い学習モデルの生成が可能となる。特に歩留まりの高い製品においては収集困難な不良品の教師データを効率的に収集することが可能となる。

　なお当業者の創作能力の発揮により、一の実施形態の構成を他の実施形態の構成に追加してもよく、例えば表示部１０８Ｂは、第２実施形態において示されたグラフ（図９）を表示可能に構成されてもよく、また、システム１Ｂはさらにアラート処理部１０７Ａ等他の実施形態の構成を備えてもよい。

＜第４実施形態＞
　以下、本発明の第４実施形態について図面を用いて説明する。他の実施形態に示された構成と類似乃至同一の機能を発揮することが当業者に理解できる構成要素については、類似乃至同一の名称等を使用して、説明を適宜省略乃至簡略化する。
　本実施形態に係るシステム１Ｃは、不良品と判断された結果、本来破棄される、または、リサイクル処理される巻物製品Ｐを出荷できるように手直しすることを可能とするための構成を備えている点において他の実施形態と異なるためこの点を中心に説明する。

　図１２は、本実施形態に係るシステム１Ｃを用いた巻物製品Ｐの検査プロセスを説明するための機能ブロック図である。同図に示されるように、システム１Ｃは、コンピュータ１０Ｃと撮像装置２０Ａとを備える。コンピュータ１０Ｃは、判定部１０４Ｃを備えている点においてコンピュータ１０Ａと異なり、他の点において共通するため共通部分の説明を省略する。

　コンピュータ１０Ｃの判定部１０４Ｃは、検査情報の出力として少なくとも３種類の検査情報の出力を得るように構成されている。畳み込みニューラルネットワークＮ（図５）は、少なくとも３種類の検査情報の出力を得るために知られた構成を備えることが可能であり、例えば、全結合層のノードを、異常の種類に応じて分割することにより、少なくとも３種類の検査情報の出力を得るように構成されることが可能となる。ここで全結合層は、非全結合層であってもよい。

　そして判定部１０４Ｃは、全結合層の各ノードの値が例えば所定の閾値以上の場合にそのノードに対応する異常が発生しているとの出力を取得し、閾値未満の場合にそのノードに対応する異常が発生していないとの出力を取得するように構成されてよい。

　図１３は、製品番号を有する巻物製品Ｐについて、判定部１０４Ｃによって取得された検査情報と、検査時刻と、検査された巻物製品Ｐのコンベア４０上の位置情報と、検査情報に基づいて仕分け部６０に送信される指示情報を示す表の一例である。上述したように、判定部１０４Ｃは、良品と不良品の２種類の検査情報の出力のみならず、不良品をさらに「シワ」異常と「折り返し」異常の２つの観点から判断することにより、製品番号１の巻物製品Ｐについて、「シワ」異常がなく、かつ、「折り返し」異常があることを示す検査情報の出力（「第３種類の前記検査情報の出力」の一例）を取得し、製品番号２の巻物製品Ｐについて、「シワ」異常があり、かつ、「折り返し」異常がないことを示す検査情報の出力（「第２種類の前記検査情報の出力」の一例）を取得し、製品番号３の巻物製品Ｐについて、「シワ」異常がなく、かつ、「折り返し」異常がないことを示す検査情報の出力（「第１種類の前記検査情報の出力」の一例）を取得する。

　そしてコンピュータ１０Ｃの判定部１０４Ｃは、仕分け部６０に指示情報として、製品番号１の巻物製品Ｐについて「手直し」、製品番号２の巻物製品Ｐについて「破棄」、製品番号３の巻物製品Ｐについて「出荷」を示す情報を送信する。

　あわせて判定部１０４Ｃは、検査時刻を示す情報と、その巻物製品Ｐのコンベア４０上の位置を示す情報（例えば「製品番号１」について「１００」）を取得する。検査時刻を示す情報は、撮像装置２０により巻物製品Ｐが撮像され、検査が実行された時刻を用いてもよい。コンベア４０上の位置は、コンベアベルトの基準位置に対する相対位置を示す情報でよく、上述したように、例えば、コンベア４０上にバケットが連結されて巻物製品Ｐが搬送される実施態様において、巻物製品Ｐが収納されるバケットの番号を示す情報であってもよい。その番号のバケットがコンベア４０によって仕分け部６０に到達するタイミングは予めわかっているから、そのタイミングで仕分け部６０において指示情報が表示されるように構成してもよいし、バケットに番号を印刷等で表示するとともに、バケットの番号を指示情報に含めることにより、仕分け部６０が指示情報の対象となる巻物製品Ｐを容易に把握可能なように構成してもよい。

　「シワ」異常がなく、かつ、「折り返し」異常がある製品Ｐは、折り返しを手直しすることにより出荷可能な製品であるから、製品番号１の巻物製品Ｐは、仕分け部６０において手直しされた後出荷される。一方で「シワ」異常は手直しできないため、製品番号２の巻物製品Ｐは破棄またはリサイクル処理される。「シワ」異常も「折り返し」異常もない製品番号３の巻物製品Ｐは仕分け部６０においてそのまま出荷される。

　以上のとおりであるから、本実施形態に係るシステム１Ｃによれば、本来破棄等される巻物製品Ｐを手直しすることで出荷することが可能となる。

　以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
　製品が巻かれて形成された巻物製品の外観に関する検査のための検査システムであって、
　検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、
　過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、
　を実施するプロセッサを備える検査システム。
（付記２）
　前記学習モデルは、入力される前記検査対象画像の数に対応する数の畳み込み層ブロックを有し、前記検査対象画像のそれぞれは、前記畳み込み層ブロックのいずれかに入力される、付記１に記載の検査システム。
（付記３）
　前記学習モデルは、複数の前記畳み込み層ブロックのそれぞれにおける畳み込み処理により得られた値が結合されて入力される全結合層を有する、付記２に記載の検査システム。
（付記４）
　前記複数の製品画像の少なくとも一部分を結合した画像又は前記複数の検査対象画像の少なくとも一部分を結合した画像は、前記巻物製品の側面の全周の外観を含む、付記１から３のいずれか一項に記載の検査システム。
（付記５）
　前記複数の製品画像の少なくとも一部及び前記複数の検査対象画像の少なくとも一部は、巻かれた前記製品の周方向端部を含む、付記１から４のいずれか一項に記載の検査システム。
（付記６）
　前記外観に関する検査情報は、複数の前記検査対象画像のうち、２つ以上の前記検査対象画像に基づいて特定される情報を含む、付記１から５のいずれか一項に記載の検査システム。
（付記７）
　前記学習モデルは、入力される前記検査対象画像の数と同じ数の畳み込み層ブロックを有し、前記検査対象画像のそれぞれは、異なる前記畳み込み層ブロックに入力される付記２に記載の検査システム。
（付記８）
　前記学習モデルは、４つの畳み込み層ブロックを有し、前記学習モデルに、前記対象製品の外観を４方向から撮像することにより得られた４つの検査対象画像が入力される、付記１から７のいずれか一項に記載の検査システム。
（付記９）
　前記外観に関する検査情報は、巻かれた前記製品の折り返し不良、前記製品のカット不良、前記製品のシワ、又は前記製品へのテープ貼付不良のうち少なくとも一部に関する情報を含む、付記１から８のいずれか一項に記載の検査システム。
（付記１０）
　複数の前記検査対象画像のうち、少なくとも第１検査対象画像は、前記折り返し不良、前記製品のカット不良、前記製品のシワ、又は前記製品へのテープ貼付不良のうち少なくとも一部を含み、その他の複数の前記検査対象画像のうち、少なくとも１の前記検査対象画像は、前記第１検査対象画像に含まれている前記折り返し不良、前記製品のカット不良、前記製品のシワ、又は前記製品へのテープ貼付不良のうち少なくとも一部を含まない、付記９に記載の検査システム。
（付記１１）
　前記製品は、シート、フィルム、ホイル、又は織物を含む、付記１から１０のいずれか一項に記載の検査システム。
（付記１２）
　前記巻物製品を転動させながら搬送する搬送装置を備え、
　複数の前記検査対象画像が、前記搬送装置により転動させながら搬送された前記巻物製品を複数の方向から撮像することにより取得された画像を含む付記１から１１のいずれか一項に記載の検査システム。
（付記１３）
　製品が巻かれて形成された巻物製品の外観に関する検査のために、プロセッサを有するシステムで実行される検査方法であって、前記プロセッサが、
　検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、
　過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、
　を含む検査方法。
（付記１４）
　製品が巻かれて形成された巻物製品の外観に関する検査のために、プロセッサを有するシステムで実施される検査方法を実行するためのプログラムであって、前記プロセッサが、
　検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、
　過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、
　を実行するためのプログラム。
（付記１５）
　製品が巻かれて形成された巻物製品の外観に関する検査のための学習方法であって、システムにおいてプロセッサが、
　前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を取得することと、
　取得された前記複数の製品画像を教師データとして、検査対象となる前記巻物製品である対象製品の外観に関する検査情報を出力するように機械学習された学習モデルを生成することと、
　を実施する学習方法。
（付記１６）
　複数の製造装置によりそれぞれ製造された複数の巻物製品を搬送可能に構成された搬送装置と、
　前記搬送装置によって搬送される前記巻物製品を製造した前記製造装置を、一の前記製造装置から他の前記製造装置に切り替える切替装置と、
　前記搬送装置によって搬送される前記巻物製品を製造した前記製造装置を示す製造装置情報と、この製造装置によって製造された前記巻物製品の外観に関する検査情報とを取得し、前記製造装置情報と前記検査情報とを関連付ける集約部と、
　前記製造装置ごとに、その製造装置により製造された複数の前記巻物製品の前記検査情報を示す情報を取得する情報取得部と、備える検査システム。

　１　システム
　１０　コンピュータ
　２０　撮像装置
　２２　プロセッサ
　２４　記憶装置
　２６ＲＡＭ
　２８　表示装置
　３０　通信Ｉ／Ｆ部
　３２　入力装置

Claims

　製品が巻かれて形成された巻物製品の外観に関する検査のための検査システムであって、
　検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、
　過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、
　を実施するプロセッサを備える検査システム。
　前記学習モデルは、入力される前記検査対象画像の数に対応する数の畳み込み層ブロックを有し、前記検査対象画像のそれぞれは、前記畳み込み層ブロックのいずれかに入力される、請求項１に記載の検査システム。
　前記学習モデルは、複数の前記畳み込み層ブロックのそれぞれにおける畳み込み処理により得られた値が結合されて入力される全結合層を有する、請求項２に記載の検査システム。
　前記複数の製品画像の少なくとも一部分を結合した画像又は前記複数の検査対象画像の少なくとも一部分を結合した画像は、前記巻物製品の側面の全周の外観を含む、請求項１に記載の検査システム。
　前記複数の製品画像の少なくとも一部及び前記複数の検査対象画像の少なくとも一部は、巻かれた前記製品の周方向端部を含む、請求項１に記載の検査システム。
　前記外観に関する検査情報は、複数の前記検査対象画像のうち、２つ以上の前記検査対象画像に基づいて特定される情報を含む、請求項１に記載の検査システム。
　前記学習モデルは、入力される前記検査対象画像の数と同じ数の畳み込み層ブロックを有し、前記検査対象画像のそれぞれは、異なる前記畳み込み層ブロックに入力される請求項２に記載の検査システム。
　前記学習モデルは、４つの畳み込み層ブロックを有し、前記学習モデルに、前記対象製品の外観を４方向から撮像することにより得られた４つの検査対象画像が入力される、請求項１に記載の検査システム。
　前記外観に関する検査情報は、巻かれた前記製品の折り返し不良、前記製品のカット不良、前記製品のシワ、又は前記製品へのテープ貼付不良のうち少なくとも一部に関する情報を含む、請求項１に記載の検査システム。
　複数の前記検査対象画像のうち、少なくとも第１検査対象画像は、前記折り返し不良、前記製品のカット不良、前記製品のシワ、又は前記製品へのテープ貼付不良のうち少なくとも一部を含み、その他の複数の前記検査対象画像のうち、少なくとも１の前記検査対象画像は、前記第１検査対象画像に含まれている前記折り返し不良、前記製品のカット不良、前記製品のシワ、又は前記製品へのテープ貼付不良のうち少なくとも一部を含まない、請求項９に記載の検査システム。
　前記製品は、シート、フィルム、ホイル、又は織物を含む、請求項１に記載の検査システム。
　前記巻物製品を転動させながら搬送する搬送装置を備え、
　複数の前記検査対象画像が、前記搬送装置により転動させながら搬送された前記巻物製品を複数の方向から撮像することにより取得された画像を含む請求項１に記載の検査システム。
　前記プロセッサは、前記複数の検査対象画像の少なくとも一部分を結合した画像が、前記巻物製品の側面の全周の外観を含むか否かを判断することをさらに実施する、請求項１に記載の検査システム。
　複数の製造装置によりそれぞれ製造された複数の前記巻物製品を搬送可能に構成された搬送装置と、
　前記搬送装置によって搬送される前記巻物製品を製造した前記製造装置を、一の前記製造装置から他の前記製造装置に切り替える切替装置と、
　前記搬送装置によって搬送される前記巻物製品を製造した前記製造装置を示す製造装置情報と、この巻物製品の外観に関する前記検査情報とを取得し、前記製造装置情報と前記検査情報とを関連付ける集約部と、
　前記製造装置ごとに、その製造装置により製造された複数の前記巻物製品の前記検査情報を示す情報を取得する情報取得部と、をさらに備える請求項１に記載の検査システム。
　前記プロセッサは、前記検査対象画像のうち、前記学習モデルに基づいて得られた前記検査情報の出力に影響した部位を特定することをさらに実施し、
　前記検査対象画像と、前記部位を特定する情報と、前記検査情報の出力とを表示する表示装置と、
　前記表示装置に表示される前記検査情報の出力の妥当性を受け付ける入力部とを備え、
　前記入力部が受け付けた妥当性に関する情報に基づいて、前記検査対象画像を前記教師データに追加可能に構成される、請求項１に記載の検査システム。
　前記プロセッサは、少なくとも３種類の前記検査情報の出力を得ることを実施し、かつ、第１種類の前記検査情報の出力が得られた前記対象製品が良品であることを示す情報を出力し、第２種類の前記検査情報の出力が得られた前記対象製品が不良品であることを示す情報を出力し、第３種類の前記検査情報の出力が得られた前記対象製品が修正可能な製品であることを示す情報を出力すること、をさらに実施する請求項１に記載の検査システム。
　製品が巻かれて形成された巻物製品の外観に関する検査のために、プロセッサを有するシステムで実行される検査方法であって、前記プロセッサが、
　検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、
　過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、
　を含む検査方法。
　製品が巻かれて形成された巻物製品の外観に関する検査のために、プロセッサを有するシステムで実施される検査方法を実行するためのプログラムであって、前記プロセッサが、
　検査対象となる前記巻物製品である対象製品の外観の側面を周方向に沿って複数方向から撮像することにより得られた複数の検査対象画像を取得することと、
　過去に前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を教師データとして機械学習された学習モデルに、前記複数の検査対象画像を入力することにより、前記対象製品の外観に関する検査情報の出力を得ることと、
　を実行するためのプログラム。
　製品が巻かれて形成された巻物製品の外観に関する検査のための学習方法であって、システムにおいてプロセッサが、
　前記巻物製品の外観の側面を周方向に沿って複数方向から撮像して得られた複数の製品画像を取得することと、
　取得された前記複数の製品画像を教師データとして、検査対象となる前記巻物製品である対象製品の外観に関する検査情報を出力するように機械学習された学習モデルを生成することと、
　を実施する学習方法。