JP2024089960A - 海苔等級学習システム、海苔等級学習方法、およびプログラム - Google Patents

Abstract

【課題】乾海苔の等級を高い精度で判定可能な学習モデルを構築するのに必要な学習データを効率よく収集する海苔等級学習システム、海苔等級学習方法、およびプログラムを提供する。【解決手段】海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習システム１は、海苔の表面画像を撮像する撮像装置２００の撮像部２２０と、作業員が等級表示印で海苔の帯上に等級を押印する際に、等級表示印から前記等級を取得する取得装置３００の取得部３２０と、海苔の表面画像と等級とを対応付けて記憶する海苔等級学習装置１００の学習データ記憶部１１１と、を備える。【選択図】図１

Description

本発明は、海苔等級学習システム、海苔等級学習方法、およびプログラムに関する。

海苔の市場価格は、等級によって決定されるため、生産者にとって、海苔の等級判定は重要な関心事である。等級判定は、乾海苔の状態で、漁業組合において、特定の検査員の目視により実施されている。しかし、人による等級判定では、例えば、検査員によって、また同じ検査員であっても疲労などによって判定結果にばらつきが生じるという問題点があった。また、検査員の高齢化による後継者不足が深刻となっているという問題点もあった。そのため、乾海苔の等級判定の自動化が要望されている。

例えば、特許文献１には、乾海苔の色彩を色彩色差計によって測定して、Ｌ^＊ａ^＊ｂ^＊表色系における色彩値であるｂ^＊値を得た後、得られたｂ^＊値に基づいて乾海苔の品質を判定する判定方法が開示されている。また、特許文献２には、乾海苔をカラー撮像装置で撮像しそれをＡ／Ｄ変換して得た画像の各画素のＲＧＢ値に基づいて乾海苔の品質を検査する方法が開示されている

特開２００２‐２０７０１２号公報 特許３２３０２１７号

ところで、特許文献１、２に記載の方法などによって乾海苔の等級を自動で判定する場合に、判定精度を高めるためには、機械学習モデル（単に学習モデルともいう）を活用するのが好ましい。しかしながら、機械学習モデルを構築するためには、学習データとなる、検査員によって等級判定された乾海苔のデータが大量に必要であり、この大量のデータを効率的に収集するシステムはない。

そこで、本発明は、上記課題に鑑みて、乾海苔の等級を高い精度で判定可能な学習モデルを構築するのに必要な学習データを効率よく収集する海苔等級学習システム、海苔等級学習方法、およびプログラムを提供する。

本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムであって、海苔の表面画像を撮像する撮像部と、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を取得する取得部と、前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部と、を備える海苔等級学習データ収集システムを提供する。

また、本発明は、前記等級は、当該等級を示すコードで、前記等級表示印の側面に少なくとも１つ付与され、前記取得部は、前記コードを読み取ることで前記等級を取得する海苔等級学習データ収集システムを提供する。

また、本発明は、前記コードは、２次元コードである海苔等級学習データ収集システムを提供する。

また、本発明は、前記コードは、データマトリックスコードである海苔等級学習データ収集システムを提供する。

また、本発明は、前記コードは、前記等級を２桁または３桁の数字で示した識別子から生成される海苔等級学習データ収集システムを提供する。

また、本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムにおける海苔等級学習データ収集方法であって、海苔の表面画像を撮像するステップと、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を取得するステップと、前記海苔の表面画像と、前記等級と、を対応付けて記憶するステップと、を含む方法を提供する。

また、本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムを、海苔の表面画像を撮像する撮像部、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を取得する取得部、前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部、として機能させるコンピュータ読み取り可能なプログラムを提供する。

本発明によれば、乾海苔の等級を高い精度で判定可能な学習モデルを構築するのに必要な学習データを効率よく収集することができる。

海苔等級学習処理システムの概要を説明する図である。 海苔等級処理システムの機能構成を示す図である。 海苔等級処理システムで用いる、海苔の等級表示印の一例を示す正面図である。 海苔の等級名と等級コードとを対応付けた等級一覧を模式的に示す図である。 海苔等級学習システムの海苔等級学習処理を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
＜第１の実施形態＞

［基本概念／基本構成］
図１は、本発明の第１の実施形態に係る海苔等級学習システム１の概要を説明するための図である。図１に示すように海苔等級学習システム１は、海苔等級学習装置１００と、撮像装置２００と、取得装置３００と、搬送装置４００と、を備える。

生産者によって梱包箱Ｐに箱詰めされた海苔積層体が、梱包箱Ｐから取り出されて搬送装置４００に投入される（Ｓ１）。海苔積層体は、１０帖の海苔を束ねて海苔帯（以下、単に帯という）Ｂと呼ばれる紙帯で閉じられたものであって、一般的に１つの梱包箱Ｐに３６個詰められている。以下、海苔積層体を単に海苔Ｎといい、搬送装置４００で搬送される海苔を区別する場合には、Ｎ_ｉ（ｉ＝１，２，・・・ｎとする）とする。搬送装置４００への海苔Ｎの投入は、作業員が行ってもよいし、ロボットアーム等を用いて自動でおこなってもよい。

搬送装置４００に投入された海苔Ｎ_ｉが所定位置まで搬送方向に進むと、撮像装置２００は、海苔Ｎ_ｉの表面画像を撮影し（Ｓ２）、撮像した海苔Ｎ_ｉの表面画像を海苔等級学習装置１００に送信する（Ｓ３）。

取得装置３００は、作業員が海苔Ｎ_ｉの帯上に等級表示印Ｓで等級を押印する際に、等級表示印Ｓから等級を取得する。本実施形態では、等級表示印Ｓの等級として２次元コードが等級表示印Ｓの側面に付与されており、取得装置３００はコードリーダである。よって、本実施形態において、具体的には、コードリーダである取得装置３００が、等級表示印Ｓに付与された２次元コードを読み取り、２次元コードをデコードして等級を取得する（Ｓ４）。
取得装置３００は、取得した等級を海苔等級学習装置１００に送信する（Ｓ５）。

海苔等級学習装置１００は、受信した海苔Ｎ_ｉの表面画像と受信した海苔Ｎ_ｉの等級とを対応付けて、学習データとして記憶する（Ｓ６）。

このような海苔等級学習システムによれば、海苔の等級判定の学習モデルを生成するための学習データとして必要な、判定対象の海苔の表面画像を自動で撮影して取得し、かつ正解の判定結果である作業員が海苔の帯上に押印する等級を、押印する際に等級表示印から自動で取得することができ、海苔の表面画像と当該海苔の等級とを対応付けた学習データを効率よく迅速に収集することができる。

［機能構成］
図２は本発明の第１の実施形態に係る海苔等級学習システム１の機能構成を説明するための図である。図に示すように、海苔等級学習システム１は、海苔等級学習装置１００と、撮像装置２００と、取得装置３００と、搬送装置４００とを備える。撮像装置２００および取得装置３００は、有線または無線で海苔等級学習装置１００と接続されている。
本実施形態において、撮像装置２００および取得装置３００は、海苔等級学習装置１００から独立した装置であるが、海苔等級学習装置１００に備えられ、各機能部として機能してもよい。また、撮像装置２００と取得装置３００とはそれぞれ独立した装置であるが、１つの装置であってもよい。さらに、本実施形態において、搬送装置４００は、海苔等級学習装置１００から独立し、かつ海苔等級学習装置１００と接続されていない。

搬送装置４００は、海苔Ｎを搬送する、例えば、ベルトコンベアーである。具体的には、搬送装置４００は、作業員等によって梱包箱Ｐに箱詰めされている海苔Ｎが投入され、投入された海苔Ｎを上流から下流へと搬送する。

なお、搬送装置４００が搬送する海苔Ｎは、重なることなく、また、積層方向に水平な平面が上部となっているのが望ましい。収集する学習データの質を高めるためである。また、搬送装置４００が搬送する海苔Ｎは、所定の間隔を空けて投入されるのが望ましい。後述する撮像装置２００で撮影する際に、隣り合う海苔Ｎの表面画像が入り込むのを防ぐためや、作業員が等級を押印する際に海苔の詰まりが生じるのを防ぐためである。

撮像装置２００は、検知部２１０と、撮像部２２０とを備え、搬送装置４００で搬送される海苔Ｎ_ｉの表面画像を撮影する。詳細には、まず、検知部２１０が、搬送装置４００で搬送される海苔Ｎ_ｉが撮影範囲に入ったことを検知する。そして、検知されたことに応じて、撮像部２２０が、撮影範囲にある海苔Ｎ_ｉの表面画像を撮影する。

検知部２１０は、撮影範囲に海苔が入った否かを検知できるものであればよく、例えば光電センサーである。搬送装置４００がベルトコンベアーである場合、検知部２１０が、搬送装置４００で搬送される海苔Ｎ_ｉが撮影範囲に入ったこと検知しやすいように、ベルトの表面色を白をはじめとする淡色とするのが望ましい。海苔Ｎは黒または濃緑であるので、海苔Ｎとベルトの表面とのコントラストを高くすることで、検知部２１０が海苔Ｎを検知しやすくなる。

取得装置３００は、検知部３１０と、取得部３２０とを備え、作業員が海苔Ｎ_ｉの帯Ｂ上に等級表示印Ｓで等級を押印する際に、等級表示印Ｓから等級を取得する。
本実施形態では、等級表示印Ｓの等級として２次元コードが等級表示印Ｓの側面に付与されており、取得装置３００はコードリーダである。
取得装置３００は、等級表示印Ｓで等級を押印する作業員の上や前面、横に設置され、作業員から離れて、例えば２ｍ離れて、設置されてもよい。

ここで、等級表示印Ｓについて、図３に示す一例を用いて説明する。
等級表示印Ｓは、海苔Ｎの等級を海苔Ｎ_ｉの帯Ｂ上に押印するための、いわゆるハンコである。
等級表示印Ｓは、等級が彫ってある印面５１０、印面に接した面である印側５２０、および印面の反対側にあってハンコの天頂部である天５３０から構成される。図において等級表示印Ｓは角印であるが、丸印であってもよい。また、図において、等級表示印Ｓは、角柱状の寸胴とであるが、天５３０から印面５１０までの間にくびれがある天丸であってもよい。

等級表示印Ｓは、印側５２０の印面側に、印面に彫ってある等級として２次元コード５４０を備える。
２次元コード５４０は、印側５２０の印面側に少なくとも１つ備えられればよいが、複数備えられるのが望ましい。例えば、図に示す寸胴の等級表示印Ｓでは、各側面に２次元コード５４０が備えられるのが望ましい。

２次元コード５４０は、データマトリックスコード、ＱＲコード、マイクロＱＲコードなどであってよいが、好ましくはデータマトリックスコードである。データマトリックスコードは、コードを構成する四角形のセルを大きく構成でき、コードの読み取りの精度や速さが高いためである。
２次元コード５４０は、等級から生成されてもよいし、等級を２桁または３桁の数字やアルファベットで示した識別子から生成されてもよい。図４に、海苔の等級の名称である等級名と、等級を２桁または３桁の数字で示した識別子である等級コードとを対応付けた一覧を例示する。図４に示す等級名または等級コードから２次元コードは、生成される。

本実施形態において、印面５１０に彫ってある等級を示すコードは、２次元コードに限らず、１次元コードや３次元コードや、ＲＦＩＤであってもよい。

図２に戻って、詳細には、まず、検知部３１０が、等級表示印Ｓまたは２次元コード５４０が予め設定された範囲に入ったことを、検知する。そして、検知されたことに応じて、取得部３２０は、等級表示印Ｓに付与された２次元コード５４０を含む画像を読み取り、読み取った画像から２次元コード５４０を検出する。そして、取得部３２０は、検出した２次元コード５４０をデコードして等級名または等級コードを取得し、取得した等級を海苔等級学習装置１００へ送信する。

海苔等級学習装置１００は、記憶部１１０と、画像取得部１２０と、等級取得部１３０と、学習データ生成部１４０と、を備える。なお、本実施形態において、海苔等級学習装置１００はオンプレミスとするが、クラウドサーバであってもよい。

記憶部１１０は、学習データを記憶する学習データデータベース（以下、ＤＢという）１１１と、図４に示す等級一覧のデータベースである等級ＤＢ１１２と、を備える。

画像取得部１２０は、撮像装置２００で取得された海苔Ｎ_ｉの表面画像を取得する。
等級取得部１３０は、取得装置３００で取得された海苔Ｎ_ｉの等級名または等級コードを取得する。
学習データ生成部１４０は、画像取得部１２０で取得した海苔Ｎ_ｉの表面画像と、等級取得部１３０で取得した海苔Ｎ_ｉの等級名とを対応付けて、学習データを生成し、学習データＤＢ１１１に記憶する。
等級取得部１３０で等級コードを取得した場合には、等級ＤＢ１１２を参照して等級名を取得した後に、学習データを生成する。
学習データＤＢ１１１に記憶された学習データは、海苔等級判定の学習モデルを生成するための機械学習に用いられる。海苔等級判定の学習モデルは、詳細には、海苔Ｎの表面画像が入力された場合に、当該海苔Ｎの等級を判定する学習済モデルである。

上記の本システムの機能構成は、あくまで一例であり、１つの機能ブロック（データベース及び機能処理部）を分割したり、複数の機能ブロックをまとめて１つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置や端末に内蔵されたＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＳＤ(Solid State Drive)、ハードディスクなどの記憶装置（記憶部）に格納されたコンピュータ・プログラム（例えば、基幹ソフトや上述の各種処理をＣＰＵに実行させるアプリなど）を読み出し、ＣＰＵにより実行されたコンピュータ・プログラムによって実現される。すなわち、各機能処理部は、このコンピュータ・プログラムが、記憶装置に格納されたデータベース（ＤＢ;Data Base)やメモリ上の記憶領域からテーブルなどの必要なデータを読み書きし、場合によっては、関連するハードウェア（例えば、入出力装置、表示装置、通信インターフェース装置）を制御することによって実現される。また、本発明の実施形態におけるデータベース（ＤＢ）は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。

[海苔等級学習処理]
図５を用いて、本発明の実施形態に係る海苔等級学習システム１の海苔等級学習処理について説明する。海苔等級学習処理は、海苔Ｎが、梱包箱Ｐから搬送装置４００へ投入が開始されたことに応じて、開始する。

撮像装置２００が、搬送装置４００で搬送される海苔Ｎ_ｉが撮影範囲に入ると、海苔Ｎ_ｉの表面画像を撮影する（Ｓ１１）。
続いて、画像取得部１２０は、撮像装置２００から海苔Ｎ_ｉの表面画像を取得する（Ｓ１２）。

次に、取得装置３００が、海苔Ｎ_ｉの帯Ｂ上に等級を押印する等級表示印Ｓまたは２次元コード５４０が予め設定された範囲に入ると、２次元コード５４０を検出する（Ｓ１３）。
続いて、取得装置３００は、Ｓ１３で検出した２次元コードをデコードして等級名または等級コードを取得する（Ｓ１４）。
続いて、等級取得部１３０は、取得装置３００から海苔Ｎ_ｉの等級名または等級コードを取得する（Ｓ１５）。

学習データ生成部１４０は、Ｓ１２で取得した海苔Ｎ_ｉの表面画像と、Ｓ１５で取得した海苔Ｎ_ｉの等級名とを対応付けて、学習データとして学習データＤＢ１１１に記憶する。または、学習データ生成部１４０は、Ｓ１２で取得した海苔Ｎ_ｉの表面画像と、Ｓ１５で取得した海苔Ｎ_ｉの等級コードから等級ＤＢ１１２を参照して取得した等級名とを対応付けて、学習データとして学習データＤＢ１１１に記憶する（Ｓ１６）。

画像取得部１２０は、撮像装置２００から海苔Ｎ_ｉ＋１の表面画像を取得したか否かを判定する（Ｓ１７）。海苔Ｎ_ｉ＋１の表面画像を取得した場合には（ＹＥＳ）、Ｓ１３に処理を戻す。一方、海苔Ｎ_ｉ＋１の表面画像を取得していない場合には（ＮＯ）、処理を終了する。

以上説明したように、本実施形態の海苔等級学習システムによれば、海苔の等級判定の学習モデルを生成するのに必要な学習データとして必要な、判定対象の海苔の表面画像を自動で撮影して取得し、かつ正解の判定結果である作業員が海苔の帯上に押印する等級を、押印する際に等級表示印から自動で取得することができ、海苔の表面画像と当該海苔の等級とを対応付け学習データを効率よく迅速に収集することができる。

等級表示印の印側の印面側に、印面に彫ってある等級を示すコード、好ましくは２次元コード、を付与することにより、等級表示印で押印される等級を自動で取得することができる。また、コードは、等級表示印の印側の印面側に付与することにより、作業員の等級表示印を持つ手によってコードが隠れてしまうことを防ぐことができる。

２次元コードは、データマトリックスコードとすることで、読取精度や読取速度を向上させることができ、さらに、取得装置が等級表示印から離れていても、コードを検出することが可能となる。また、２次元コードを等級を２桁または３桁の数字で示した識別子から生成することで、２次元コードの情報量を少なくし、更なる読取精度や読取速度を向上させることができる。

海苔の表面画像と当該海苔について作業員が判定した等級を対応付けた学習データを効率よく迅速に収集できることにより、大量の学習データを用いて機械学習をすることが可能となる。その結果、等級未判定の海苔の表面画像の等級判定に用いる、判定精度の高い学習モデルを生成することができる。

[変形例]
（１）本実施形態では、海苔の表面画像を１つ取得した後に、当該海苔の帯Ｂ上に等級を押下する等級表示印Ｓの２次元コードを１つ取得し、学習データを１つ生成する遂次処理であるが、所定数の海苔の表面画像を取得した後に、当該海苔の帯Ｂ上に等級を押下する等級表示印Ｓの２次元コードを所定数取得し、所定数の学習データをまとめて生成するバッチ処理であってもよい。さらに、所定数の海苔の表面画像、および／または所定数の２次元コードは同時に取得してもよい。

（２）本実施形態では、海苔の表面画像と、当該海苔の帯Ｂ上に等級を押下する等級表示印Ｓの２次元コードとを、別々に取得しているが、同時に取得してもよい。

（３）本実施形態において、学習データＤＢ１１１は、海苔等級学習装置１００に備えられているが、クラウド上に備えられ、複数の海苔等級学習装置の学習データを蓄積できるようにしてもよい。それにより、より大量の学習データを収集でき、機械学習して得られる学習モデルによる、等級未判定の海苔の表面画像の等級判定の判定精度を向上させることができる。

（４）本実施形態において、学習データは、海苔の表面画像と、当該海苔の等級とが対応付けられているが、当該等級を判定した検査員の経験年数や判定精度など等級判定に影響する加味要素を併せて対応つけてもよい。加味要素を重み付けとして用いて学習データを機械学習することで、生成される学習モデルによる等級判定の精度をさらに向上させることができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。なお、上記の実施形態では、本発明を物の発明として、海苔等級学習システムについて説明したが、本発明において海苔等級学習システムが実行する方法や、海苔等級学習システムを各種手段として機能させるコンピュータ読み取り可能なプログラムの発明と捉えることもできる。

１ 海苔等級学習システム
１００ 海苔等級学習装置
１１０ 記憶部
１１１ 学習データＤＢ
１１２ 等級ＤＢ
１２０ 画像取得部
１３０ 等級取得部
１４０ 学習データ生成部
２００ 撮像装置
２１０ 検知部
２２０ 撮像部
３００ 取得装置
３１０ 検知部
３２０ 取得部
４００ 搬送装置
５１０ 印面
５２０ 印側
５３０ 天
５４０ ２次元コード
Ｂ 帯
Ｎ 海苔
Ｓ 等級表示印

本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムであって、海苔の表面画像を撮像する撮像部と、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得する取得部と、前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部と、を備える海苔等級学習データ収集システムを提供する。

また、本発明は、前記コードは、前記等級表示印の側面に少なくとも１つ付与される海苔等級学習データ収集システムを提供する。

また、本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムにおける海苔等級学習データ収集方法であって、海苔の表面画像を撮像するステップと、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得するステップと、前記海苔の表面画像と、前記等級と、を対応付けて記憶するステップと、を含む方法を提供する。

また、本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムを、海苔の表面画像を撮像する撮像部、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得する取得部、前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部、として機能させるコンピュータ読み取り可能なプログラムを提供する。

Claims (7)

1. 海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムであって、
   海苔の表面画像を撮像する撮像部と、
   作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を取得する取得部と、
   前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部と、
   を備える海苔等級学習データ収集システム。
2. 前記等級は、当該等級を示すコードで、前記等級表示印の側面に少なくとも１つ付与され、
   前記取得部は、前記コードを読み取ることで前記等級を取得する請求項１に記載の海苔等級学習データ収集システム。
3. 前記コードは、２次元コードである請求項２に記載の海苔等級学習データ収集システム。
4. 前記コードは、データマトリックスコードである請求項２に記載の海苔等級学習データ収集システム。
5. 前記コードは、前記等級を２桁または３桁の数字で示した識別子から生成される請求項２に記載の海苔等級学習データ収集システム。
6. 海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムにおける海苔等級学習データ収集方法であって、
   海苔の表面画像を撮像するステップと、
   作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を取得するステップと、
   前記海苔の表面画像と、前記等級と、を対応付けて記憶するステップと、
   を含む方法。
7. 海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムを、
   海苔の表面画像を撮像する撮像部、
   作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を取得する取得部、
   前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部、
   として機能させるコンピュータ読み取り可能なプログラム。
   
   

Images