JP7248316B2 - 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム - Google Patents

Description

本願発明は、豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラムに関する。

従来、製造物の品質管理として、製造ラインにおける製造物の良品・不良品を検出し、不良品として判定されたものを出荷対象から除去する検査動作が行われている。このような検査動作は、製造物の製造ラインの自動化が進む今日においても、人の経験や目視に頼ることが多く、その人的負担は大きいものであった。

このような製造物の製造ラインの自動化に関し、製造物の品質を向上させるために様々な方法が開示されている。特許文献１では、豆腐やコンニャク等の直方体形状の製造物を対象として、光切断法を用いて形状欠損を検査する装置が開示されている。特許文献２では、食品の良品・不良品を自動選別するために、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による深層学習と多変量解析の手法を適用する技術が開示されている。特許文献３では、油揚げなどの製造機械において、製造の際の制御パラメータを学習データとしてニューロシミュレータにて学習させ、その学習結果として得られる情報を用いて、それ以降の製造時の制御パラメータを決定することが開示されている。特許文献４では、食品の異物検出において、良品のみの画像正規化データを畳み込みニューラルネットワークからカーネル画像が取り出されるように予め深層学習された識別手段を用いて、搬送中の実画像との差分を計算し、異物や良品の識別を行うことが記載されている。

特開２００１－１３３２３３号公報 特開２０１９－２１１２８８号公報 特開平０６－１１０８６３号公報 特開２０１９－１７４４８１号公報

しかしながら、例えば、豆腐や油揚げなどは、製造時の状況や原材料の品質などによって微妙な変化が生じることが想定される。また、製造必要数や廃棄率などの製造条件に応じて、良品・不良品として判断するための判断基準も適時変動させる必要がある。従来、このような判断は人により行われており、判断基準も人の経験等に応じて調整されていた。そのため、人による作業を要することとなり、作業負荷は、大きいものとなっていた。上記の先行技術では、このような豆腐類の製造時の特性に基づく観点からの検査ができておらず、人手による検査の負荷を軽減することができていなかった。

上記課題を鑑み、本願発明は、豆腐類の製造時の特性を考慮しつつ、人手による検査の負荷を軽減することを目的とする。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、
豆腐類検査装置であって、
検査対象となる豆腐類を撮影する撮像部と、
豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記撮像部にて撮影された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査手段と
を有する。

また、本願発明の別の一形態として以下の構成を有する。すなわち、
豆腐類の検査方法であって、
検査対象となる豆腐類の撮影画像を取得する取得工程と、
豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記取得工程にて取得された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査工程と
を有する。

また、本願発明の別の一形態として以下の構成を有する。すなわち、
プログラムは、コンピュータに、
検査対象となる豆腐類の撮影画像を取得する取得工程と、
豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記取得工程にて取得された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査工程と
を実行させる。

本願発明により、豆腐類の製造時の特性を考慮しつつ、人手による検査の負荷を軽減することが可能となる。

本願発明に係る豆腐類製造システムの全体構成の例を示す概略構成図。 本実施形態に係る豆腐類の搬送を説明するための概略図。 第１の実施形態に係る制御装置の機能構成の例を示すブロック図。 第１の実施形態に係る学習処理の概要を説明するための概念図。 第１の実施形態に係る制御装置の処理のフローチャート。 第２の実施形態に係る学習処理の概要を説明するための概念図。

以下、本願発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本願発明を説明するための一実施形態であり、本願発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本願発明の課題を解決するために必須の構成であるとは限らない。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。

＜第１の実施形態＞
以下、本願発明の第１の実施形態について説明を行う。

まず、本願発明の検査対象としての製造物である豆腐類の製造時における特性について述べる。豆腐類は、原材料や製造環境などの影響により、製品の形状や外観が変動しやすいという特性がある。例えば、豆腐類の一種である油揚げなどでは、生地の膨張具合や揚げ油の劣化の進行度合いなどによって外観が変動し得る。また、豆腐類は、製造環境にも影響を受けるため、製造場所、日々の環境変化、製造機械の状態などによっても製品の形状や外観が変動しうる。つまり、豆腐類は、例えば、電子機器などの工業製品と比べて、形状や外観が多様となりうる。

また、豆腐類の製造物を人手で検査する際には、その日の製造条件（製造必要数や廃棄率など）などを踏まえ、品質の判断基準を経験などから微調整することなどが行われている。つまり、豆腐類の品質の判断基準は、製造者や製造のタイミングなどに応じて変動させる必要性が生じうる。さらには、豆腐類は、地域性や、製造者または購入者の嗜好性なども考慮した上で製造を行う場合があり、このような観点からも品質の判断基準は多様性が生じ得る。

本願発明の第１の実施形態では、上記のような豆腐類の製造における特性を考慮した豆腐類の検査方法について説明を行う。

［構成概要］
図１は、本実施形態に係る豆腐類製造システム（以下、単に「製造システム」）の全体構成を示す概略構成図である。製造システムにおいて、制御装置１、検査装置２、排除装置５、第１の搬送装置６、第２の搬送装置７、および格納装置８を含んで構成される。ここでは、製造物を「豆腐類」としてまとめて記載するが、それに含まれるより詳細な分類は特に限定するものではない。豆腐類としては、例えば、油揚げ、寿司揚げ、薄揚げ、厚揚げ、生揚げ、ガンモドキなどが含まれてもよい。また、豆腐類として、例えば、充填豆腐、絹豆腐、木綿豆腐、焼き豆腐、または凍り豆腐などが含まれてもよい。また、それらの中間の生地、包装前後の製品、冷却・冷凍・加熱前後の製品であってもよい。以下の説明において製造物（豆腐類）について、一定の品質以上（すなわち、良品）であると判定された製造物をＰにて示し、一定の品質よりも低い（すなわち、不良品）と判定された製造物をＰ’にて示す。なお、製造物を包括的に説明する場合には上記符号を省略して説明する。

制御装置１は、検査装置２にて取得した画像に基づき、排除装置５の動作を制御する。検査装置２は、撮像部３と照射部４を備える。撮像部３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどのエリアカメラや、ラインスキャンカメラにより構成され、第１の搬送装置６にて搬送されている製造物を撮影する。照射部４は、撮像部３による撮影の際に、より適切な画像を取得するために第１の搬送装置６（すなわち、検査対象の製造物）に対して光を照射する。検査装置２による撮影動作は、制御装置１からの指示に基づいて行われてよい。排除装置５は、制御装置１からの指示に基づき、第１の搬送装置６にて搬送されている製造物の中から不良品として特定された製造物Ｐ’を取り出し、格納装置８へ運搬する。

図１では、排除装置５として、パラレルリンクロボットの例を示しているが、シリアルリンクロボットが用いられてもよい。また、排除装置５として、直動シリンダーが用いられてもよい。また、排除装置５は、複数の指部を備える手形状の把持手段や、真空吸着パッド式や旋回気流吸着式などの保持手段などから構成されてよい。また、排除装置５は、双腕ロボットや、協働ロボットなどから構成されてもよい。本実施形態に係る排除装置５や検査装置２などは、豆腐類といった食品を扱うため、例えば、電子機器の防水・防塵の規格であるＩＰ規格（Ｉｎｇｒｅｓｓ Ｐｒｏｔｅｃｔｉｏｎ Ｓｔａｎｄａｒｄ）にて一定の品質を有することが望ましい。具体的には、ＩＰ規格が５４以上の防水・防塵等級が好ましく、ＩＰ６５以上がより好ましい。

第１の搬送装置６は、複数の製造物を所定の搬送方向に搬送する。ここで搬送される製造物は、１列にて搬送されてもよいし、複数列にて並べられた状態で搬送されてもよい。行列状ないしは千鳥状に整然と並べられた状態が好ましいが、製造物は、重ならない状態でランダムに搬送されていてもよい。第１の搬送装置６の搬送経路上に、検査装置２による検査領域（すなわち、撮像部３による撮影領域）が設けられる。

図２は、本実施形態に係る第１の搬送装置６において、製造物が搬送されている状態を説明するための概念図である。図２に示す矢印Ａは、製造物の搬送方向を示す。また、領域Ｒは、撮像部３における撮像範囲を示し、照射部４により光が照射される領域でもある。ここでは、３列にて製造物が搬送されている例を示す。また、製造物に対する検査の結果、良品と判定された製造物Ｐと、不良品と判定された製造物Ｐ’とがそれぞれ示されている。ここでの不良品の例としては、形状に欠けや割れが生じたものや、表面上に異物が検出されたものなどが挙げられる。

排除装置５は、第１の搬送装置６の搬送経路上にて製造物Ｐ’を取り出しができるように、３軸方向（Ｘ軸，Ｙ軸，Ｚ軸）のいずれにも動作可能に構成される。なお、軸方向および原点の設定は任意であり、図では省略する。本実施形態に係る第１の搬送装置６は、無端ベルトにて構成され、この無端ベルトが継続的に回転されることで製造物が所定の搬送方向（例えば、図２の矢印Ａの方向）に搬送される。なお、図１には示していないが、第１の搬送装置６の搬送方向上流側には、製造物の製造を行う機械が設置され、製造された製造物が順次搬送されてくるものとする。また、第１の搬送装置６にて搬送される製造物の状態は特に限定するものではなく、例えば、包装前の製造物そのもののみの状態であってもよいし、製造物が包装された状態であってもよい。つまり、本実施形態に係る検査は、包装前の製造物に対して行われてもよいし、包装後の製造物に対して行われてもよい。または、包装前後の両方にて検査が行われてもよい。

第２の搬送装置７は、第１の搬送装置６から搬送されてきた複数の製造物Ｐを受け取り、所定の搬送方向に搬送する。図１の例では、第１の搬送装置６の搬送方向と、第２の搬送装置７の搬送方向とは直交して、行列配列から一列配列に変更して搬送している例を示している。第１の搬送装置６の搬送速度と、第２の搬送装置７の搬送速度は、同じであってもよいし、異なっていてもよい。第１の搬送装置６および第２の搬送装置７はそれぞれ、コンベア式（例えば、ベルトコンベア、ネットコンベア、バーコンベア、またはスラットバンドチェーンなど）で構成されてよく、特に限定しない。図示しないが、第２の搬送装置７は製造物Ｐ（良品のみ）を段積みして搬送したり、反転させて搬送したり、整列させて搬送してもよい。その後、更なる搬送装置を備えてもよく、適宜な箇所に、更なる検査装置や更なる排除装置を備えてもよい。この場合に拡張される搬送装置、検査装置、または排除装置は、上述した第１の搬送装置６、第２の搬送装置７、検査装置２、または排除装置５と同等の構成であってもよいし、異なる構成であってもよい。

格納装置８は、不良品として判定された製造物Ｐ’が格納される。格納された製造物Ｐ’は、格納装置８を介して異なる場所へ搬送されるような構成であってもよいし、人手にて除去されるような構成であってもよい。なお、不良品として判定された製造物Ｐ’は、廃棄されてもよいし、別の用途（例えば、生地再生や刻み油揚などの加工品）にて用いられてもよい。

図１の例では、不良品と判定された製造物Ｐ’を排除装置５にて排除する構成を示したが、これに限定するものではない。例えば、良品と判定される製造物Ｐと、不良品と判定される製造物Ｐ’の割合に応じて、搬送されている製造物の中から良品と判定された製造物Ｐを整列装置（不図示）にて取り出して後続の搬送装置に運搬して整列させるような構成であってもよい。このとき、製造物Ｐの箱詰めや、垂直方向または水平方向に所定の数（例えば、油揚げの場合に１０枚など）を重ねるような整列などの動作を整列装置（不図示）に行わせてもよい。または、排除装置５を用いて不良品と判定された製造物Ｐ’を排除しつつ、中継装置（不図示）を用いて良品と判定された製造物Ｐを第１の搬送装置６から第２の搬送装置７へ運搬を行うような構成であってもよい。もしくは、製造物を一定間隔にて搬送する搬送装置において、搬送経路上に分岐を設け、良品と判定された製造物Ｐと、不良品と判定された製造物Ｐ’とが異なる経路へ進むように搬送が切り替えて仕分けが行われるような構成であってもよい。このような判定結果に応じて製造物を排除したり選別したりする仕分け機能は、例えば、フリッパー式、アップアウト式、ドロップアウト式、エアジェット式、トリップ式、キャリア式、プッシャー式、シュート式、シャトル式、チャネライザー式、タッチラインセレクタ式などの機構が搬送経路上に設けられることで実現されてよい。

また、図１の例では、製造システムにおいて、各装置により製造物の搬送や仕分けなどが行われる構成を示したが、これに限定するものではない。例えば、仕分けの一部に人手による作業が行われるような構成であってもよい。例えば、不良品と判定された製造物Ｐ’を作業者が目視にて確認できるように、製造システムにて報知し、作業者はその製造物Ｐ’を除去するような作業を行うような構成であってもよい。ここでの報知は、例えば、表示装置（不図示）にて不良品であると判定された製造物Ｐ’の画像を表示することで行われてもよいし、搬送装置上にて製造物Ｐ’に対してライトなどで照明を当てることで報知してもよい。このとき、作業者は製造システムから報知された製造物を確認した上で、その製造物を実際に除去するか否かを判断してもよい。

［装置構成］
図３は、本実施形態に係る制御装置１の機能構成の例を示すブロック図である。制御装置１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの情報処理装置などであってよい。図３に示す各機能は、不図示の制御部が、不図示の記憶部に記憶された本実施形態に係る機能のプログラムを読み出して実行することで実現されてよい。記憶部としては、揮発性の記憶領域であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、不揮発性の記憶領域であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などが含まれてよい。制御部としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、またはＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）などが用いられてよい。

制御装置１は、検査装置制御部１１、排除装置制御部１２、学習用データ取得部１３、学習処理部１４、検査データ取得部１５、検査処理部１６、検査結果判定部１７、および表示制御部１８を含んで構成される。

検査装置制御部１１は、検査装置２を制御し、撮像部３の撮影タイミングや撮影設定の制御、照射部４の照射タイミングや照射設定の制御を行わせる。排除装置制御部１２は、製造物に対する良品／不良品の判定結果に基づき、排除装置５を制御して第１の搬送装置６の搬送経路上の製造物Ｐ’を排除させる。

学習用データ取得部１３は、学習処理部１４にて行われる学習処理に用いられる学習用データを取得する。学習用データの詳細は後述するが、学習用データは、例えば製造システムの管理者の操作に基づいて入力されてよい。学習処理部１４は、取得した学習用データを用いて学習処理を行い、学習済みモデルを生成する。本実施形態に係る学習処理の詳細は後述する。検査データ取得部１５は、検査装置２にて撮影された画像を検査データとして取得する。検査処理部１６は、検査データ取得部１５にて取得した検査データに対して、学習処理部１４にて生成した学習済みモデルを適用することで、検査データにて撮影されている製造物に対する検査を行う。

検査結果判定部１７は、検査処理部１６による検査結果に基づいて、排除装置制御部１２に対する制御内容を決定する。そして、検査結果判定部１７は、決定した制御内容に基づく信号を排除装置制御部１２に出力する。表示制御部１８は、検査結果判定部１７による判定結果に基づき、表示部（不図示）にて表示される表示画面（不図示）の制御を行う。表示画面（不図示）には、例えば、検査結果判定部１７による判定結果に基づき不良品として判定された製造物の統計値や、不良品として判定された製造物Ｐ’の実際の画像などが表示されてよい。

［学習処理］
本実施形態においては、学習手法として機械学習のうちのニューラルネットワークによるディープラーニング（深層学習）の手法を用い、教師あり学習を例に挙げて説明する。なお、ディープラーニングのより具体的な手法（アルゴリズム）は特に限定するものではなく、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など公知の方法が用いられてよい。図４は、本実施形態に係る学習処理の概念を説明するための概略図である。本実施形態にて用いられる学習用データは、入力データとしての製造物の画像データと、教師データとしての当該製造物に対して人（豆腐類の製造者）が評価した評価値との対から構成される。ここでは、評価値として、０～１００の値を設定し、数字が大きいほど評価がより高いものとして扱う。なお、評価値の粒度はこれに限定するものではなく、例えば、Ａ、Ｂ、Ｃの３段階や、良品／不良品の２値にて行われてもよく、複数の不良品項目毎の評価値にて行われてもよい。また、製造物に対する評価値の正規化の方法は上記に限定するものではなく、他の分類を用いてもよい。なお、ニューラルネットワーク以外の機械学習として、決定木、サポートベクトルマシン、ランダムフォレスト、回帰分析（多変量解析、重回帰分析）など、広義での機械学習であれば、特に限定しない。

学習モデルに対して、学習用データとして用意された入力データ（ここでは、豆腐類の画像データ）を入力すると、その入力データに対する出力データとして、評価値が出力される。次に、この出力データと、学習用データとして用意された教師データ（ここでは、画像データにて示される豆腐類に対する評価値）とを用いて、損失関数により誤差を導出する。そして、その誤差が小さくなるように、学習モデルにおける各パラメータが調整される。パラメータの調整には、例えば、誤差逆伝搬法などを用いてよい。このようにして、複数の学習用データを用いて繰り返し学習が行われることで、学習済みモデルが生成される。

本実施形態で用いる学習モデルは、全く学習が行われていない状態から学習用データを用いて学習を行う構成であってもよい。しかし、最適な学習済みモデルを得るには、多くの学習用データを要し、また、その学習用データを用いた学習処理の繰り返しによる処理負荷も高い。そのため、新しい学習用データによる学習済みモデルの更新もユーザー（例えば、豆腐類の製造者）には負担になる場合がある。そのため、画像を識別する目的のため、膨大な数の画像データについて、一定程度の学習が進んだ学習モデルのパラメータを利用してもよい。画像認識という点に特化してディープラーニングによる学習処理が進んだ学習モデルは、画像認識の対象が異なっても共通して活用できる部分を含む。その画像認識に強化された学習モデルは、既に数十～数百層の畳み込み層やプーリング層におけるパラメータの調整が進んでいる。本実施形態では、例えば、その入力側の大半の畳み込み層のパラメータの値は変更せずに固定し、出力側のいくつかの層（例えば、最後の1層～数層のみ）について、新規な学習用データ（ex.豆腐類の画像）を学習させてパラメータの調整を行う、いわゆる転移学習された学習モデルを用いてもよい。このような転移学習モデルを用いれば、新規の学習用データの数は比較的少数で済み、再学習の処理負荷を抑えつつ、学習済みモデルの更新も容易に行えるというメリットがある。

なお、学習処理は、必ずしも制御装置１が実行する必要はない。例えば、製造システムは、学習用のデータの提供を、製造システムの外部に設けられた学習用のサーバ（不図示）に対して行い、当該サーバ側で学習処理を行うような構成であってもよい。そして、必要に応じて、当該サーバが制御装置１に学習済みモデルを提供するような構成であってもよい。このような学習用のサーバは、例えばインターネットなどのネットワーク（不図示）上に位置してよく、サーバと制御装置１は、通信可能に接続されているものとする。

［処理フロー］
以下、本実施形態に係る制御装置１の処理フローについて、図５を用いて説明する。以下に示す処理は、例えば、制御装置１が備えるＣＰＵ（不図示）やＧＰＵ（不図示）がＨＤＤなどの記憶装置（不図示）に記憶されたプログラムを読み出して実行することにより実現される。なお、以下の処理は、製造システムが動作している間、継続的に行われてよい。

Ｓ５０１にて、制御装置１は、学習処理が行われることで生成された学習済みモデルのうち、最新の学習済みモデルを取得する。学習モデルに対して学習処理が適時繰り返し行われることに伴って、学習済みモデルはその都度更新される。そのため、制御装置１は、本処理が開始された際の最新の学習済みモデルを取得し、以降の処理にて用いるものとする。

Ｓ５０２にて、制御装置１は、検査装置２に対し、第１の搬送装置６の搬送経路上の撮影を開始させる。さらに、制御装置１は、第１の搬送装置６および第２の搬送装置７を動作させ、製造物の搬送を開始させる。

Ｓ５０３にて、制御装置１は、第１の搬送装置６による製造物の搬送に伴って、検査装置２から適時送信されてくる検査データ（製造物の画像）を取得する。なお、搬送経路上において、搬送されてくる製造物間の搬送間隔や、個々の製造物が配置される搬送位置が予め規定されている場合には、その位置に基づき製造物の画像を別個に撮影してもよい。または、検査装置２から適時送信されてくる検査データが動画である場合には、その動画の中から所定間隔にてフレーム抽出を行い、そのフレームを画像データとして扱ってもよい。製造物の画像は、撮影した生の画像データをそのまま用いてもよい。また、生の画像データに対して、データクレンジング処理（人が見て特徴がわかりにくいデータを除く）や水増し処理（ノイズを増やした複数の画像や明るさを調整した複数の画像等のも学習用データに加える）を適宜行うことで、学習用データとしてもよい。また、生の画像データに対して任意の画像処理を適用した加工画像データを学習用データにて用いてもよい。任意の画像処理としては、例えば、輪郭処理（エッジ処理）、位置補正処理（回転、中心位置移動等）、明るさ補正、濃淡補正、コントラスト変換、畳み込み処理、差分（一次微分、二次微分）、二値化、ノイズ除去（平滑化）、輪郭平滑化、リアルタイム濃淡補正、ぼかし処理、リアルタイム差分、コントラスト拡張、フィルター係数処理（平均化、メジアン、収縮、膨張）などの各種フィルター処理などが用いられてよい。これらの前処理やデータ加工によって、学習用データの数の削減や調整、学習効率向上、外乱影響の軽減などのメリットがある。

Ｓ５０４にて、制御装置１は、Ｓ５０３にて取得した検査データ（製造物の画像データ）を学習済みモデルに入力する。これにより、出力データとして、当該検査データにて示される製造物の評価値が出力される。この評価値に応じて、検査対象の製造物の良品／不良品が判定される。

Ｓ５０５にて、制御装置１は、Ｓ５０４にて得られた評価値に基づき、検査対象の製造物が不良品か否かを判定する。不良品を検出した場合（Ｓ５０５にてＹＥＳ）、制御装置１の処理はＳ５０６へ進む。一方、不良品を検出していない場合（Ｓ５０５にてＮＯ）、制御装置１の処理はＳ５０７へ進む。

例えば、評価値を０～１００にて評価する構成においては、評価値に対する閾値を設定しておき、この閾値と、学習済みモデルから出力された評価値との比較により、検査対象とする製造物が良品か不良品かを判定してよい。この場合において、製造物の良品／不良品の判断基準となる閾値は、製造システムの管理者（例えば、豆腐類の製造者）が任意のタイミングにて設定画面（不図示）を介して設定できるような構成であってもよい。上述したように、本実施形態において検査対象とする豆腐類は、様々な要因に応じて外観や形状が変化し得る。このような変化を考慮して、管理者が、学習済みモデルにて得られた出力データに対する閾値を制御できるような構成であってよい。また、評価値をＡ，Ｂ，Ｃにて評価する構成においては、評価値ＡおよびＢを良品とし、評価値Ｃを不良品として扱うような構成であってもよい。このとき、評価値Ａの製造物を良品とし、評価値Ｂの製造物を準良品として扱ってもよい。また、複数の閾値を設定しておき、良品と不良品の中間に位置する準良品を判定する際に用いてもよい。

Ｓ５０６にて、制御装置１は、Ｓ５０５にて不良品として検出された製造物を排除するように、排除装置５に指示を行い制御する。このとき、制御装置１は、不良品として検出された製造物Ｐ’を排除するために、検査装置２から取得した検査データや第１の搬送装置６の搬送速度などから、排除対象となる製造物Ｐ’の位置を特定する。なお、製造物の位置の特定手法は、公知の方法を用いてよく、ここでの詳細な説明は省略する。この制御装置１からの指示に基づき、排除装置５は、排除対象となる製造物Ｐ’を格納装置８へ運搬する。

また、豆腐類は、外観上の品質が一定の基準を満たしていない場合であっても、他の加工品の原料として転用することが可能となる場合がある。そのため、例えば、評価値をＡ，Ｂ，Ｃにて評価する構成において、評価値Ａを良品とし、評価値Ｂを加工用とし、評価値Ｃを不良品として扱うような構成であってもよい。もしくは、加工用として転用する場合に、その転用先に応じて、更に多くの分類を用いてもよい。この場合、制御装置１は、評価値Ｂとして判定された製造物を加工品用の格納装置（不図示）に格納するように、排除装置５を制御してもよい。転用する加工品の例としては、油揚げから刻み油揚げを製造することや、豆腐からガンモドキを製造したり、細かくペースト状にした液（再生液）を呉液や豆乳に混ぜて再利用したりすることなどが挙げられる。

Ｓ５０７にて、制御装置１は、製造動作が停止したか否かを判定する。製造動作の停止は、第１の搬送装置６の上流から製造物の供給が行われなくなったことを検知したことに応じて判定してもよいし、上流の装置からの通知に基づいて判定してもよい。製造動作が停止した場合（Ｓ５０７にてＹＥＳ）、制御装置１の処理はＳ５０８へ進む。一方、製造動作が停止していない場合（Ｓ５０７にてＮＯ）、制御装置１の処理はＳ５０３へ戻り、該当する処理を繰り返す。

Ｓ５０８にて、制御装置１は、第１の搬送装置６による搬送動作を停止させる。また、制御装置１は、Ｓ５０１にて取得した学習済みモデルに対して初期化処理を行う動作を行ってもよい。そして、本処理フローを終了する。

なお、Ｓ５０３にて取得した検査データは、今後の学習処理に用いるために記憶するような構成であってもよい。この場合、取得した検査データを学習用の画像データとなるように画像処理を行うような構成であってもよい。

［表示処理］
本実施形態において、豆腐類の製造物に対して行った検査結果として、不良品として判定された製造物Ｐ’の画像を表示部（不図示）にて表示する際に、その不良品として判定された根拠（不良個所）を表示するような構成であってもよい。上述したようなニューラルネットワークの学習においては、ＧＲＡＤ－ＣＡＭやＧｕｉｄｅｄ Ｇｒａｄ－ＣＡＭといった可視化手法がある。このような手法を用いて、検査対象である製造物が不良品として判定された際にその根拠として着目した領域を特定し、可視化して表示するような構成であってもよい。また、良品として判定された製造物の場合であっても、その評価値が不良品として判定される評価値に近い場合には、上記のような手法を用いて着目した領域を特定し、表示するような構成であってもよい。

以上、本実施形態により、豆腐類の製造時の特性を考慮しつつ、人手による検査の負荷を軽減することが可能となる。

また、製造環境や原材料などにより外観の影響を受けやすい豆腐類において、製造者（例えば、製造システムの管理者）が状況に応じて良品・不良品を判定できる基準を反映できるため、製造者に合わせた品質判定が可能となる。

＜第２の実施形態＞
以下、本願発明の第２の実施形態について説明を行う。第１の実施形態では、学習処理として教師あり学習を用いた例について説明した。これに対し、本願発明の第２の実施形態として、学習処理として教師なし学習を用いた例について説明する。なお、第１の実施形態と重複する構成については、説明を省略し、差分に着目して説明を行う。

［学習処理］
本実施形態においては、学習手法として機械学習のうちのニューラルネットワークによるディープラーニング（深層学習）の手法を用い、教師なし学習を例に挙げて説明する。なお、ディープラーニングのより具体的な手法（アルゴリズム）は特に限定するものではなく、オートエンコーダ（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）など公知の方法が用いられてよい。図６は、本実施形態に係る学習処理の概念を説明するための概略図である。

本実施形態にて用いられる学習用データは、製造物の画像データである。ここでの画像データは、製造システムの管理者（例えば、豆腐類の製造者）が良品であると判断した製造物（豆腐類）の画像データのみが用いられる。従来、不良品と判定されるべき製造物を示すバリエーションの教師データ（画像データ）全てを用意することは困難である。そのため、本実施形態では、良品の画像データのみを用いて学習を行い、良品か否かを判断するための学習済みモデルを生成する。

本実施形態に係る学習モデルは、エンコーダとデコーダから構成される。エンコーダは、入力データを用いて複数次元から構成されるベクトルデータを生成する。デコーダは、エンコーダにて生成されたベクトルデータを用いて画像データの復元を行う。

学習モデルに対して、学習用データとして用意された入力データ（ここでは、豆腐類（良品）の画像データ）を入力すると、エンコーダとデコーダの動作により、当該入力データに対する出力データとして、復元された豆腐類（良品）の画像データが出力される。次に、この出力データと、元の入力データ（すなわち、豆腐類（良品）の画像データ）とを用いて、損失関数により誤差を導出する。そして、その誤差が小さくなるように、学習モデルにおけるエンコーダとデコーダそれぞれのパラメータが調整される。パラメータの調整には、例えば、誤差逆伝搬法などを用いてよい。このようにして、複数の学習用データを用いて繰り返し学習が行われることで、豆腐類（良品）の画像データを復元可能な学習済みモデルが生成される。

本実施形態においては、上記学習済みモデルを用いて不良品の検知を行う検知機能を実現する。上記学習済みモデルに対して豆腐類の画像データを入力し、その出力として得られる復元された画像データと、入力された画像データとを比較し、その差分が所定の閾値よりも大きい場合には、入力された画像データが示す豆腐類は不良品として判定される。一方、差分が所定の閾値以下である場合には、入力された画像データが示す豆腐類は良品として判定される。言い換えると、良品として判定される豆腐類の画像データから、どれほど差分があるかによって、入力された画像データが示す製造物が不良品か否かを判定する。ここでの閾値は、差分となる領域のサイズ（例えば、画素数）に対する閾値であってもよいし、差分となる領域の数に対する閾値であってもよい。または、画像上における画素値（ＲＧＢ値）の差を用いてもよい。

なお、学習モデルの中間段階におけるベクトルデータ（潜在変数）の次元数は、特に限定するものではなく、製造システムの管理者（例えば、豆腐類の製造者）が指定してもよいし、公知の手法を用いて決定してもよい。次元数は、処理負荷や検出精度に応じて決定してよい。

［処理フロー］
本実施形態に係る処理フローは、第１の実施形態にて図５を用いて説明した処理フローと基本的な流れは同じである。このとき、図６にて示したような教師なし学習による学習処理がすでに行われており、学習済みモデルが生成されているものとする。処理の差異としては、Ｓ５０４の処理内容が異なる。

Ｓ５０４にて、制御装置１は、教師なし学習により生成された学習済みモデルに、検査対象の製造物を示す画像データを入力する。その結果、復元された画像データが得られる。制御装置１は、この再現された画像データと、入力された画像データとの差分を求める。そして、制御装置１は、その差分が所定の閾値よりも大きい場合には、入力された画像データが示す豆腐類は不良品として判定する。一方、制御装置１は、上記差分が所定の閾値以下である場合には、入力された画像データが示す豆腐類は良品として判定する。ここでの差分は、図６に示した損失関数を用いて算出してもよい。つまり、上記差分が入力された画像データに対する評価値として扱うことができる。判定の際に用いる所定の閾値は、製造システムの管理者（例えば、豆腐類の製造者）が任意のタイミングにて任意の値を設定してもよいし、製造システムが所定の条件に基づいて設定してもよい。ここでの設定条件としては、例えば、製造必要数や、廃棄率などに基づいて設定されてよい。

［表示処理］
本実施形態において、豆腐類の製造物に対して行った検査結果として、不良品や準良品など良品ではないとして判定された製造物Ｐ’の画像を表示部（不図示）にて表示する際に、その不良品や準良品として判定された根拠や原因を表示するような構成であってもよい。上述したようなオートエンコーダでは、入力データと出力データとの比較により、その差分となる位置を特定することができる。この特定された位置に対して、アイコン（赤丸など）を付与したり、色分けしたりすることで可視化して表示するような構成であってもよい。

本実施形態では、豆腐類（良品）の画像データのみを用いて学習を行い、その学習結果として得られた学習済みモデルを用いて豆腐類の製造物に対する良品／不良品の判定を行う。

本実形態において、上記Ｓ５０４の工程で良品と判定された製造物Ｐを示す画像データは、以降の学習用データとして用いられるように保持されてもよい。この場合、保持された画像データは、学習用データとして用いるか否かを製造システムの管理者に選択可能に提示されてもよい。

以上、本実施形態により、教師なし学習を用いることにより、第１の実施形態の効果に加え、学習用データの生成に係る手間を削減させることが可能となる。

＜その他の実施形態＞
上記の実施形態では、図１に示すように、検査装置２は、製造物の一方の面（図１では上面）のみを撮影し、検査する構成を示した。しかし、これに限定するものではなく、例えば、表面に加え、裏面や側面の画像を取得して検査するような構成であってもよい。この場合、複数の検査装置２を備え、複数の検査装置２それぞれが備える撮像部（カメラ）により、複数の方向から製造物を撮影するような構成であってもよい。例えば、第１の撮像部（不図示）が第１の方向から製造物の表面を撮影するように設置され、第２の撮像部（不図示）が第２の方向から当該製造物の裏面を撮影するように設置されてよい。または、第１の搬送装置６において搬送経路上で製造物を反転させるような構成（反転機構）を設け、反転前後でそれぞれ製造物を撮影し、各撮影画像を用いて検査を行うような構成であってもよい。このとき、製造物の表面、裏面、側面それぞれに対して異なる学習済みモデルを用いて検査を行ってもよい。つまり、第１の搬送装置６にて搬送される製造物の種類や包装状態などに応じて、表面、裏面、側面それぞれの異なる学習用データを用いて学習を行っておくことで各面に対応した学習済みモデルを生成する。そして、撮影方向に対応したそれらの学習済みモデルを用いて検査を行うような構成であってよい。

また、上記の実施形態では、図１に示すように照射部４は、製造物に対して撮像部３（カメラ）と同じ方向から光を照射する構成を示した。しかし、この構成に限定するものではなく、例えば、撮像部３と照射部４はそれぞれ、製造物に対向する位置や向きが異なっていてもよい。この構成の場合、照射部４は、例えば、製造物に対して赤外線の波長を照射するような光源を備え、撮像部３は、製造物の透過光、透過反射光、または透過散乱光に基づく画像データを取得するような構成であってもよい。そして、その画像データが示す製造物の内部情報に基づいて、製造物の検査を行うような構成であってもよい。

以上の通り、本明細書には次の事項が開示されている。
（１） 検査対象となる豆腐類を撮影する撮像部と、
豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記撮像部にて撮影された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査手段と
を有することを特徴とする豆腐類検査装置。
この構成によれば、豆腐類の製造時の特性を考慮しつつ、人手による検査の負荷を軽減することができる。

（２） 前記検査手段は、前記入力データに対する評価値と所定の閾値との比較により、当該入力データにて示される豆腐類の品質を、良品を含む複数の分類にて判定することを特徴とする（１）に記載の豆腐類検査装置。
この構成によれば、予め設定された閾値を基準として豆腐類の品質を良品を含む複数の分類にて判定を行うことができる。

（３） 前記所定の閾値の設定を受け付ける設定手段を更に有することを特徴とする（２）に記載の豆腐類検査装置。
この構成によれば、豆腐類の良品／不良品の判定を行う際に用いられる基準としての閾値を豆腐類の製造者が任意に設定することが可能となる。

（４） 豆腐類の新たな（未知の、未学習の）撮影画像を用いて機械学習を繰り返し行うことにより、前記学習済みモデルを新たに生成および更新する学習処理手段を更に有することを特徴とする（１）～（３）のいずれかに記載の豆腐類検査装置。
この構成によれば、豆腐類検査装置は、未知（未学習）の評価値を有する新たな撮影画像データについて学習済みモデルを更新していくことができ、検査対象となる豆腐類に応じた学習処理が可能となる。

（５） 前記機械学習は、豆腐類の撮影画像と、当該撮影画像にて示される豆腐類の品質に対応する評価値とを対とした学習用データを用いた教師あり学習であることを特徴とする（１）～（４）のいずれかに記載の豆腐類検査装置。
この構成によれば、豆腐類の製造者が設定した設定値に基づく学習用データを用いて教師あり学習による検査を行うことが可能となる。

（６） 前記評価値は、所定の範囲の点数にて表現された値であることを特徴とする（５）に記載の豆腐類検査装置。
この構成によれば、豆腐類の製造者が、豆腐類に対して任意の範囲の評価値を正規化して設定して学習用データとして用いることができ、それに基づいた検査結果を取得することが可能となる。

（７） 前記機械学習は、豆腐類の良品を示す撮影画像を学習用データとして用いた教師なし学習であることを特徴とする（１）～（３）のいずれかに記載の豆腐類検査装置。
この構成によれば、豆腐類の製造者は良品である豆腐類の画像データのみを用意すればよく、学習に要するデータを準備するための負荷を低減することが可能となる。

（８） 前記検査手段による検査結果に基づいて、良品とは異なる分類として判定された豆腐類を示す撮影画像を表示する表示手段を更に有することを特徴とする（１）～（７）のいずれかに記載の豆腐類検査装置。
この構成によれば、豆腐類の製造者は、良品とは異なる分類として判定された実際の豆腐類の画像を確認することが可能となる。

（９） 前記表示手段は、不良品と判定された豆腐類を示す撮影画像において、良品とは異なる分類として判定された原因となる箇所を特定して表示することを特徴とする（８）に記載の豆腐類検査装置。
この構成によれば、豆腐類の製造者は、より明確に良品とは異なる分類として判定された実際の豆腐類の画像およびその原因を確認することが可能となる。

（１０） 前記撮像部は、
前記豆腐類を第１の方向から撮影する第１の撮像部と、
前記豆腐類を前記第１の方向とは異なる第２の方向から撮影する第２の撮像部と
を含んで構成され、
前記検査手段は、前記第１の撮像部および前記第２の撮像部それぞれにて撮影された撮影画像を入力データとして用いることを特徴とする（１）～（９）のいずれかに記載の豆腐類検査装置。
この構成によれば、複数の視点からの豆腐類の検査が可能となり、より精度の高い検査が可能となる。

（１１） 前記第１の方向は、前記豆腐類の表面を撮影するための方向であり、
前記第２の方向は、前記豆腐類の裏面を撮影するための方向である
ことを特徴とする（１０）に記載の豆腐類検査装置。
この構成によれば、豆腐類の表面と裏面に対する検査を行うことで、より精度の高い検査が可能となる。

（１２） 前記検査手段において、前記第１の撮像部にて撮影された撮影画像を入力データとして用いる場合の学習済みモデルと、前記第２の撮像部にて撮影された撮影画像を入力データとして用いる場合の学習済みモデルとは異なることを特徴とする（１０）または（１１）に記載の豆腐類検査装置。
この構成によれば、豆腐類の検査対象となる方向に応じて用いる学習済みモデルを切り替えることで、その方向に合わせた検査が可能となり、より精度の高い検査が可能となる。

（１３） 前記豆腐類は、充填豆腐、絹豆腐、木綿豆腐、焼き豆腐、凍り豆腐、油揚、寿司揚げ、薄揚、厚揚、生揚、または、ガンモドキのいずれかであることを特徴とする（１）～（１２）のいずれかに記載の豆腐類検査装置。
この構成によれば、豆腐類として、具体的な種類の製造物に対応した検査が可能となる。

（１４） （１）～（１３）のいずれかに記載の豆腐類検査装置と、
豆腐類を搬送する搬送装置と、
前記豆腐類検査装置による検査結果に基づき、前記搬送装置にて搬送されている豆腐類を仕分ける仕分け機構と、
を備えることを特徴とする豆腐類製造システム。
この構成によれば、豆腐類の製造時の特性を考慮しつつ、人手による検査および品質に応じた製造物の仕分けの負荷を軽減する豆腐類の製造システムを提供することができる。

（１５） 前記豆腐類検査装置による検査結果に基づき、前記仕分け機構にて仕分けられた豆腐類を所定の規則にて整列させる整列装置を更に備えることを特徴とする（１４）に記載の豆腐類製造システム。
この構成によれば、豆腐類の製造時の特性を考慮しつつ、人手による検査および品質に応じた製造物の整列の負荷を軽減する豆腐類の製造システムを提供することができる。

（１６） 検査対象となる豆腐類の撮影画像を取得する取得工程と、
豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記取得工程にて取得された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査工程と
を有することを特徴とする豆腐類の検査方法。
この構成によれば、豆腐類の製造時の特性を考慮しつつ、人手による検査の負荷を軽減することができる。

（１７） コンピュータに、
検査対象となる豆腐類の撮影画像を取得する取得工程と、
豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記取得工程にて取得された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査工程と
を実行させるためのプログラム。
この構成によれば、豆腐類の製造時の特性を考慮しつつ、人手による検査の負荷を軽減することができる。

１…制御装置
２…検査装置
３…撮像部
４…照射部
５…排除装置
６…第１の搬送装置
７…第２の搬送装置
８…格納装置
Ｐ…製造物（良品）
Ｐ’…製造物（不良品）
１１…検査装置制御部
１２…排除装置制御部
１３…学習用データ取得部
１４…学習処理部
１５…検査データ取得部
１６…検査処理部
１７…検査結果判定部
１８…表示制御部

Claims (14)

1. 検査対象となる豆腐類を撮影する撮像部と、
   豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記撮像部にて撮影された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査手段と、
   前記検査手段による検査結果に基づいて、複数の分類のうち、良品とは異なる分類として判定された豆腐類を示す撮影画像および判定の統計値を表示する表示手段と、
   前記出力データとして得られる評価値の範囲において複数の値の設定を、所定の閾値として受け付ける設定手段と、
   を有し、
   前記検査手段は、前記入力データに対する評価値と前記所定の閾値との比較により、当該入力データにて示される豆腐類の品質を、良品および不良品を含む複数の分類にて判定し、
   前記表示手段は、前記複数の分類のうち、良品とは異なる分類として判定された豆腐類を示す撮影画像において、良品とは異なる分類として判定された原因となる箇所を特定して表示することを特徴とする豆腐類検査装置。
2. 豆腐類の新たな撮影画像を用いて機械学習を繰り返し行うことにより、前記学習済みモデルを新たに生成および更新する学習処理手段を更に有することを特徴とする請求項１に記載の豆腐類検査装置。
3. 前記機械学習は、豆腐類の撮影画像と、当該撮影画像にて示される豆腐類の品質に対応する評価値とを対とした学習用データを用いた教師あり学習であることを特徴とする請求項１または２に記載の豆腐類検査装置。
4. 前記評価値は、所定の範囲の点数にて表現された値であることを特徴とする請求項３に記載の豆腐類検査装置。
5. 前記機械学習は、豆腐類の良品を示す撮影画像を学習用データとして用いた教師なし学習であることを特徴とする請求項１または２に記載の豆腐類検査装置。
6. 前記機械学習は、転移学習による学習モデルを用いることを特徴とする請求項１乃至５のいずれか一項に記載の豆腐類検査装置。
7. 前記撮像部は、
   前記豆腐類を第１の方向から撮影する第１の撮像部と、
   前記豆腐類を前記第１の方向とは異なる第２の方向から撮影する第２の撮像部と
   を含んで構成され、
   前記検査手段は、前記第１の撮像部および前記第２の撮像部それぞれにて撮影された撮影画像を入力データとして用いることを特徴とする請求項１乃至６のいずれか一項に記載の豆腐類検査装置。
8. 前記第１の方向は、前記豆腐類の表面を撮影するための方向であり、
   前記第２の方向は、前記豆腐類の裏面を撮影するための方向である
   ことを特徴とする請求項７に記載の豆腐類検査装置。
9. 前記検査手段において、前記第１の撮像部にて撮影された撮影画像を入力データとして用いる場合の学習済みモデルと、前記第２の撮像部にて撮影された撮影画像を入力データとして用いる場合の学習済みモデルとは異なることを特徴とする請求項７または８に記載の豆腐類検査装置。
10. 前記豆腐類は、充填豆腐、絹豆腐、木綿豆腐、焼き豆腐、凍り豆腐、油揚、寿司揚げ、薄揚、厚揚、生揚、または、ガンモドキのいずれかであることを特徴とする請求項１乃至９のいずれか一項に記載の豆腐類検査装置。
11. 請求項１乃至１０のいずれか一項に記載の豆腐類検査装置と、
    豆腐類を搬送する搬送装置と、
    前記豆腐類検査装置による検査結果に基づき、前記搬送装置にて搬送されている豆腐類を仕分ける仕分け機構と、
    を備えることを特徴とする豆腐類製造システム。
12. 前記豆腐類検査装置による検査結果に基づき、前記仕分け機構にて仕分けられた豆腐類を所定の規則にて整列させる整列装置を更に備えることを特徴とする請求項１１に記載の豆腐類製造システム。
13. 検査対象となる豆腐類の撮影画像を取得する取得工程と、
    豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記取得工程にて取得された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査工程と、
    前記検査工程における検査結果に基づいて、複数の分類のうち、良品とは異なる分類として判定された豆腐類を示す撮影画像および判定の統計値を表示させる表示制御工程と、
    前記出力データとして得られる評価値の範囲において複数の値の設定を、所定の閾値として受け付ける設定工程と、
    を有し、
    前記検査工程では、前記入力データに対する評価値と前記所定の閾値との比較により、当該入力データにて示される豆腐類の品質を、良品および不良品を含む複数の分類にて判定し、
    前記表示制御工程では、前記複数の分類のうち、良品とは異なる分類として判定された豆腐類を示す撮影画像において、良品とは異なる分類として判定された原因となる箇所を特定して表示させることを特徴とする豆腐類の検査方法。
14. コンピュータに、
    検査対象となる豆腐類の撮影画像を取得する取得工程と、
    豆腐類の撮影画像を含む学習用データを用いて機械学習を行うことにより生成された、入力データにて示される豆腐類の品質の判定を行うための学習済みモデルに対して、前記取得工程にて取得された豆腐類の撮影画像を入力データとして入力することで得られる出力データとしての評価値を用いて、当該撮影画像にて示される豆腐類の品質を判定する検査工程と、
    前記検査工程における検査結果に基づいて、複数の分類のうち、良品とは異なる分類として判定された豆腐類を示す撮影画像および判定の統計値を表示させる表示制御工程と、
    前記出力データとして得られる評価値の範囲において複数の値の設定を、所定の閾値として受け付ける設定工程と、
    を実行させ、
    前記検査工程では、前記入力データに対する評価値と前記所定の閾値との比較により、当該入力データにて示される豆腐類の品質を、良品および不良品を含む複数の分類にて判定し、
    前記表示制御工程では、前記複数の分類のうち、良品とは異なる分類として判定された豆腐類を示す撮影画像において、良品とは異なる分類として判定された原因となる箇所を特定して表示させるプログラム。

Images