JP7107331B2 - データ収集方法、データ収集システム、データ収集装置、データ提供方法、及び、コンピュータプログラム - Google Patents

Description

本発明は、投入された物品を搬送先別に仕分ける仕分け機で使用されるデータを収集するデータ収集方法、データ収集システム、データ収集装置、データ提供方法、及び、コンピュータプログラムに関する。

物品を搬送するために、搬送先別に物品を仕分けする仕分け機が、多数の物品の発送を担う物流センターで使用されている。仕分け機への物品の投入は、仕分け作業者が物品に付されている物品識別コードを、リーダで読み取ることにより実行される。物品識別コードが読み取られることにより、仕分け機は、受け皿に投入された物品を識別し、識別した物品を梱包するコンテナ、又は箱が用意されるシュータ部へ吐き出す。

大規模な物流センターでは物品数が膨大であり、また、規模に拘わらず物品の種類が多い場合には、仕分け作業者の負荷が大きく、物品の識別の自動化が望まれる。物品の外観を撮像した画像のデータから、ディープラーニングによって得られる学習モデルを用いて被写体の物品を識別する自動識別が実用化されている。特許文献１には、画像データへ、識別データをラベリングするアノテーションの誤りを判別し、識別精度を向上させる学習データを提供する方法が開示されている。

特開２０２０－０３０６９２号公報

特許文献１に開示されているように、アノテーションは従来、人間が目視によってラベリングしている。人間の目視によるラベリングでは、精度を担保する程度に学習データを蓄積するまでに要する時間が、商品の外観が月日、季節に応じて移り変わるといった商品サイクルに追い付かないなどの可能性がある。

本発明は、仕分けの段階で自動的にデータを収集するデータ収集方法、データ収集システム、データ収集装置、データ提供方法、及び、コンピュータプログラムを提供することを目的とする。

本開示の一実施形態のデータ収集方法は、物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機から、前記リーダで読み取られる前記識別コードを取得し、前記仕分け機で搬送される物品を撮像するように取り付けられたカメラから、取得した前記識別コードで識別される物品の画像データを取得し、取得した画像データを、取得した識別コードと対応付けて記憶する処理を含む。

本開示の一実施形態のデータ収集システムは、物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機と、前記仕分け機で搬送される物品を撮像するように取り付けられたカメラと、前記仕分け機、及び前記カメラに接続されており、前記物品の画像データを収集するデータ収集装置とを含み、前記データ収集装置は、前記リーダにて読み取られる前記識別コードを取得し、前記カメラから、取得した前記識別コードで識別される物品の画像データを取得し、取得した画像データを、取得した識別コードと対応付けて記憶部に記憶する。

本開示の一実施形態のデータ収集装置は、物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機と接続する手段と、前記リーダにて読み取られる前記識別コードを取得する手段と、前記仕分け機で搬送される物品を撮像するように取り付けられたカメラから、取得した前記識別コードで識別される物品の画像データを取得する手段と、取得した画像データを、取得した識別コードと対応付けて記憶する手段とを備える。

本開示の一実施形態のコンピュータプログラムは、物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機と接続されるコンピュータに、前記リーダにて読み取られる前記識別コードを取得し、前記仕分け機で搬送される物品を撮像するように取り付けられたカメラから、取得した前記識別コードで識別される物品の画像データを取得し、取得した画像データを、取得した識別コードと対応付けて記憶する処理を実行させる。

本開示のデータ収集方法、データ収集システム、データ収集装置、データ提供方法、及びコンピュータプログラムでは、仕分け機にて物品の識別コードを読み取るリーダから取得された識別コードが、物品の画像データに自動的に対応付けられる。仕分け機自体の運用を阻害せずに、逐次正確にラベリングされた画像データを収集することができる。識別コードは例えば、世界共通で使用されるＥＡＮ（ＪＡＮ）コードである。仕分け機の仕分け対象は、識別コードで識別できる物品であれば多種多様であるので、良／不良の２択といった識別のためではなく、多種多様な種類の物品の画像データから複数の選択肢で識別するための学習用データを収集することが可能になる。

複数のカメラを用いることによって、同一の物品について異なる角度で撮像された画像データを対応付けることができ、画像データを用いて識別モデルを学習させた場合に識別の精度を向上させることが期待される。

本開示のデータ収集方法で収集されたデータは、物品を異なる仕分け先へ搬送して仕分ける仕分け機に取り付けられたカメラから取得され、搬送される物品を撮像した画像データと、前記画像データに撮像されている物品に対し、前記仕分け機に備えられるリーダによって読み取られた前記物品を識別する識別コードとを含む。データは、物品の画像データが入力された場合に、前記物品を識別するデータ及び確度を出力するように識別モデルを学習させるために使用される。

本開示の一実施形態のデータ収集方法は、取得した画像データを、前記画像データの撮像日時と対応付けて記憶する処理を含んでもよい。

本開示のデータ収集方法では、画像データの撮像日時も対応付けられる。仕分け機の運用時に、仕分け機の運用を阻害せずに常時的に収集できるので、月日、季節に応じて変更される可能性がある物品の外観を、期間別に収集できる。

本開示の一実施形態のデータ収集方法は、記憶された画像データ及び識別コードに基づき、画像データが入力された場合に前記物品を識別するデータ及び確度を出力するように学習された識別モデルに、前記カメラから新たに取得した画像データを入力し、前記識別モデルから出力されるデータと、前記画像データで撮像された物品に対して前記リーダで読み取られた識別コードとが一致し、且つ、前記確度が所定値以上であるか否かを判断し、前記確度が所定値未満であると判断された場合に、前記新たに取得した画像データを、前記識別コードと対応付けて記憶する。

本開示のデータ収集方法では、収集された画像データ及び識別コードで学習された識別モデルが用いられ、識別モデルでの識別精度が低下した場合に、再学習用に画像データが収集される。識別モデルの学習範囲から外れるような物品の外観の変更がなされた場合に、これに対応することができる。

本開示の一実施形態のデータ提供方法では、上述したいずれか１つのデータ収集方法によって記憶されたデータを記憶した記憶装置から、前記画像データが物品の識別コードと対応付けて提供される。

収集された画像データは、仕分け機のリーダに代替する識別モデルによる識別で使用されるのみならず、他の通信装置へ記憶装置から提供される。他の通信装置にて学習するために用いられてもよい。

本開示によれば、物品の仕分けで使用される仕分け機で読み取られた汎用性の高い識別コードを自動的に対応付けた画像データを収集することができる。

本実施形態のデータ収集方法の概要図である。 実施の形態１におけるデータ収集装置の構成を示すブロック図である。 制御部によるデータ収集処理手順の一例を示すフローチャートである。 データ収集処理によって収集されるデータの内容例を示す図である。 実施の形態２におけるデータ収集システムの構成を示すブロック図である。 実施の形態２におけるデータ収集処理手順の一例を示すフローチャートである。 収集されたデータに基づき学習される識別モデルの模式図である。 実施の形態３におけるデータ収集システムの構成を示すブロック図である。 実施の形態３におけるデータ収集処理手順の一例を示すフローチャートである。

本開示をその実施の形態を示す図面を参照して具体的に説明する。

図１は、本実施形態のデータ収集方法の概要図である。データ収集システム２００は、仕分け機１００と、仕分け機１００のトレイ１２１を画角に含むように取り付けられたカメラ１０１と、カメラ１０１及び仕分け機１００の制御部１０に接続されたデータ収集装置２とを含む。データ収集装置２は、カメラ１０１で撮像された画像データと、仕分け機１００にて読み取られた物品の識別コードとを対応付けて収集し、記憶する。

仕分け機１００は、投入部１１、搬送部１２、及びシュート部１３に分けられる。

投入部１１は、作業台１１１と、物品に付されている識別コードを読み取るリーダ１１２とを含む。リーダ１１２は、バーコードリーダ、二次元コードリーダ、又はＲＦＩＤ（Radio Frequency IDentifier）リーダである。リーダ１１２は、近距離無線通信を用いたリーダであってもよい。識別コードは例えばＥＡＮ（ＪＡＮ）コードである。識別コードはその他、書籍又は雑誌を識別するコードであってもよい。識別コードはその他、CODE128 、NW-7、CODE39、ITF であってもよい。投入部１１は、図１に示すように、複数の作業台１１１及びリーダ１１２の組を含んでもよい。

搬送部１２は、無端環状の軌道で設けられたレール１２２に沿って連結して走行する複数のトレイ１２１と、トレイ１２１を傾斜させる傾斜機構とを含む。複数のトレイ１２１が走行するレール１２２は、図１に示すように、複数のトレイ１２１が水平面に平行に循環するように設けられてもよいし、複数のトレイ１２１が直線状に、上下ですれ違うように走行するように設けられてもよいし、複数のトレイ１２１が螺旋状に循環するように設けられてもよい。

複数のトレイ１２１には、トレイ１２１が空であるか否かを判別するためのセンサが設けられている。センサは、一例では、複数のトレイ１２１夫々に付されている重量センサである。センサは他の例では、光電センサ、変異センサを用いてトレイ１２１に物品が載置されたこと、及び、物品のサイズを判別するものであってもよい。センサは、他の一例では、トレイ１２１を撮像する画像センサであり、空の状態のトレイ１２１の画像との比較によって空か否かが判別できる。

複数のトレイ１２１には、各々識別データが付されている。搬送部１２には、複数のトレイ１２１の内、少なくとも特定のトレイ１２１が、搬送部１２内のいずれの箇所に存在するかを検出する検出機構が備えられている。搬送部１２は、トレイ１２１の連結順序によって複数のトレイ夫々についてトレイの搬送部１２内における位置を検出することが可能である。検出機構は例えば、トレイ１２１を走行させる駆動部のモータに取り付けられたエンコーダと、エンコーダから出力されるパルス信号を受信して位置を検出する検出部とを含む機構である。検出機構は他の例では、トレイ１２１を撮像するカメラから得られる画像データに対する画像解析によって、少なくとも特定のトレイの位置を検出する機構である。検出機構は他の例では、トレイ１２１に取り付けられた識別タグを特定の場所で読み取るリーダを用いて位置を検出してもよい。

トレイ１２１を傾斜させる傾斜機構は例えば、レール１２２のトレイ１２１を支持する支持部が屈曲可能な構成で実現される。傾斜機構は、トレイ１２１の下面の一部を突き上げて傾斜させる機構であってもよい。搬送部１２は、制御部１０から指示されたトレイ１２１を、指示された位置で傾斜させることができる。

シュート部１３は、搬送部１２のトレイ１２１のレール１２２の一部に平行して設けられており、トレイ１２１の傾斜によってトレイから放出される物品を受け取る受け部１３１を備える。受け部１３１は一例では、図１に示すように搬送に用いられる小型コンテナ又は段ボール箱である物流資材Ｃが載置されている。受け部１３１は、区分けされた作業台であって、梱包作業者が作業台に放出された物品を物流資材Ｃに梱包してもよい。

仕分け機１００の投入部１１、搬送部１２及びシュート部１３は、制御部１０と信号線で接続され、制御部１０によって制御される。制御部１０は、仕分け作業者が投入部１１でリーダ１１２に物品の識別コードを読み取らせたタイミングで、識別コードが読み取られたこと及びその識別コードを検知する。制御部１０は、検知した識別コードについて、ほどなく物品が投入されたトレイ１２１を識別するデータを、センサ１２３からの出力及びトレイ１２１の検出機構によって取得する。これにより制御部１０は、いずれのトレイ１２１にいずれの識別コードの物品が載置されているかを一時的に記憶する。制御部１０は、予め与えられている仕分け計画のデータに基づいて、シュート部１３で傾斜させるトレイ１２１を決定し、決定したトレイ１２１を識別するデータを搬送部１２へ指示する。搬送部１２にて検出されているトレイ１２１の位置に基づいて搬送部１２は、指示されたトレイ１２１を傾斜機構によって傾斜させる。制御部１０は、シュート部１３へ、ある搬送先への物流資材Ｃに投入すべき物品の個数、種類等を出力してもよい。上述したように、仕分け作業者が物品の識別コードを、仕分け機１００の投入部１１のリーダ１１２に読み取らせて投入するという作業により、仕分け機１００にて仕分け計画に基づく仕分けが自動で実施される。

本開示のデータ収集方法では、データ収集装置２が、投入部１１から物品が投入されたトレイ１２１をカメラ１０１で撮像して得られる物品の画像データを、投入部１１で読み取られた識別コードと対応付けて収集する。カメラ１０１は、図１に示すようにトレイ１２１を異なる角度で撮像するように設けられている。図１の例ではカメラ１０１は２台設けられている。データ収集装置２は、カメラ１０１から各々異なる角度で撮像された画像データを収集する。カメラ１０１は、図１では２つであるが１つ、又は３つ以上であってもよい。

図１に示した仕分け機１００は、複数のトレイで物品を搬送するタイプである。仕分け機１００はこれに限らず、搬送部１２が搬送コンベヤ（ローラ、スラット等）で物品をシュート部１３へ搬送するものであってよい。

このようなデータ収集方法では、仕分け作業者による作業を増やすことなく、つまり、仕分け機１００を用いた仕分けの運用方法を変更することなく、物品を確実に識別する識別コードと共に画像データを収集することができる。本実施の形態におけるデータ収集方法では、データ収集装置２は、識別コードで識別される物品の種類、メーカ、生産者の相違に応じて物品の画像データを収集できる。識別コードはＥＡＮコードを利用することによって事業者を区別することが容易であるから、識別コードで識別される物品別のみならず、メーカ別に画像データを収集することも容易である。また識別コードを利用するので、データ収集装置２は、良／不良、Ａ／Ｂ／Ｃといった２から３択の判定ではなく、多様多種な物品を識別するための画像データを収集できる。データ収集方法では、データ収集装置２は、時期又は季節別に画像データを収集することもできる。収集された画像データの応用方法は多岐にわたる。収集された画像データは、仕分け機１００の投入部１１にて識別コードをリーダで読み取る作業を省略するために用いられてよい。収集された画像データを用いて学習される学習モデルを用い、物品を撮像した画像から物品の識別コードを特定することができる。収集された画像データは、物品の搬送先の小売店での物品の識別に用いられてもよい。

以下、上述したデータ収集方法を実現するデータ収集装置２の構成を複数の実施の形態を挙げて説明する。

（実施の形態１）
図２は、実施の形態１におけるデータ収集装置２の構成を示すブロック図である。データ収集装置２は、制御部２０と、記憶部２１と、入出力部２２とを備える。データ収集装置２はＰＬＣ（Programmable Logic Controller ）であってもよい。制御部２０は、ＣＰＵ（Central Processing Unit ）２００及び不揮発性のメモリ２０１を含む。制御部２０はマイクロコントローラであってもよい。制御部２０は、ＣＰＵ２００がメモリ２０１に記憶されたデータ収集プログラム２Ｐに基づく処理を実行することにより、データを収集する。

記憶部２１は、ハードディスク又はＳＳＤ（Solid State Drive ）等である不揮発性の記憶媒体である。記憶部２１には、収集される画像データが、画像データに写っている物品の識別コードと対応付けられて記憶される。画像データは、撮影時期を対応付けて記憶されてもよい。

記憶部２１には、後述するデータ収集のための設定情報が記憶されている。設定情報は例えば、リーダ１１２で識別コードが読み取られてからカメラ１０１でその識別コードで識別される物品を画角内に捉えることができるタイミングを決定するための情報を含む。設定情報は、時間でもよいし、後述するようにパルスカウントであってもよい。

入出力部２２は、仕分け機１００及びカメラ１０１と接続されるインタフェースである。制御部２０は、入出力部２２によって仕分け機１００から、リーダ１１２で読み取られた識別コードを取得できる。制御部２０は、入出力部２２によって、物品が投入されたトレイ１２１を特定するためのセンサ１２３からデータを取得できる。制御部２０は、仕分け機１００の搬送部１２がコンベヤ式である場合、入出力部２２によって、識別コードで識別される物品が載置されている搬送部１２における範囲（仮想的なトレイ）を示すデータを取得できる。物品が載置されている範囲は、センサ１２３によって測定された物品のサイズによって決定可能である。制御部２０は、入出力部２２によって、対象のトレイ１２１の位置を示すデータを所得できる。位置を示すデータは例えばトレイ１２１を走行させるモータのエンコーダ１２４であり、制御部２０は、エンコーダ１２４からのパルスカウントによってトレイ１２１の位置を取得できる。制御部２０はカメラ１０１からモニタ出力される画像信号を入出力部２２にて受信し、決定されたタイミングの画像信号から物品を撮像した画像の画像データを取得できる。入出力部２２は、図２に示すように、仕分け機１００から取得する信号毎に異なる信号線で仕分け機１００と接続されるとよい。

図３は、制御部２０によるデータ収集処理手順の一例を示すフローチャートである。制御部２０は稼働中に、データ収集プログラム２Ｐに基づいて以下の処理を継続して実行する。

制御部２０は、リーダ１１２で読み取られた識別コードを取得する（ステップＳ２０１）。このため、仕分け機１００の制御部１０は、識別コードを投入部１１のリーダ１１２から受信する都度、リーダ１１２を識別するデータと共にデータ収集装置２へ出力する。入出力部２２は、投入部１１のリーダ１１２から制御部１０へ出力される信号を分岐したものを受信し、制御部２０は、制御部１０を介さずに識別コードを取得してもよい。

制御部２０は、取得された識別コードによって識別される物品がカメラ１０１の画角に入るタイミングで、カメラ１０１から画像データを取得する（ステップＳ２０２）。画像データを取得するタイミングは例えば、予め仕分け機１００のレイアウト、カメラ１０１の設置位置、及び搬送部１２の搬送速度に応じて設定された識別コード取得からの待機時間によって決定される。待機時間は予め、設定情報として記憶部２１又は不揮発性メモリに記憶されている。

画像データを取得するタイミングは、仕分け機１００の制御部１０から出力されるトレイ１２１（コンベヤ式の場合は位置、範囲）の移動距離に対応するパルスカウントによって決定されてもよい。パルスカウントは予め、設定情報として記憶部２１又は不揮発性メモリに記憶されている。パルスカウントに基づく場合、仕分け機１００は、トレイ１２１のパルスカウントをエンコーダ１２４から出力する。その他、画像データを取得するタイミングは、対象となるトレイ１２１の識別データを別途読み取る画像センサに基づいて決定されてもよい。投入部１１にリーダ１１２が複数設けられ、カメラ１０１までの距離が異なる場合、リーダ１１２別にタイミングが決定される。

制御部２０は、ステップＳ２０２で取得した画像データを、ステップＳ２０１で取得した識別コード及び撮像日時を対応付けて記憶部２１に記憶し（ステップＳ２０３）、１回の画像データの収集を終了する。ステップＳ２０３における撮像時刻の記憶は必須ではない。

データ収集装置２は、図３のフローチャートに示した処理手順を、稼働中に継続して実行する。データ収集装置２の記憶部２１に収集される画像データは、定期的に、仕分け機１００のメンテナンス業者によって記憶部２１から読み出されて利用される。

図４は、データ収集処理によって収集されるデータの内容例を示す図である。図４に示すように、リーダ１１２で読み取られた識別コードに対応付けて、カメラ１０１から得られる画像データが複数記憶される。図４に示すように、画像データには撮像日時が対応付けられてよい。なお識別コードは、上位桁及び下位桁に分けて事業者別としてもよい。画像データのデータ夫々を識別する画像データＩＤを対応付けて記憶してもよい。

識別コードは、ＥＡＮ（ＪＡＮ）コードを用いており、ＥＡＮコードと、物品名、メーカ名、商品番号、価格等のデータとの対応を記憶したデータベースを共に使用することで、どこの国のいずれの事業者によるどの商品か、を識別することができる。識別コードに対応付けて画像データを収集することにより、識別コードで識別される多種多様な物品の種類、メーカ、生産者の相違に応じて物品の画像データを収集できる。また、撮像時期を対応付けて画像データを収集することにより、搬送のために仕分けが行なわれる時期に応じて物品の画像データを収集できる。例えば、季節限定の色、又は模様のパッケージが用いられていても、これを学習時に反映させるか、又は、除外することも可能になる。

（実施の形態２）
図５は、実施の形態２におけるデータ収集システム２００の構成を示すブロック図である。実施の形態２におけるデータ収集システム２００は、データ収集装置２にて収集されたデータをネットワークＮ経由で受信し記憶する記憶装置３を更に含む。実施の形態２におけるデータ収集装置２は、制御部２０、記憶部２１及び入出力部２２に加え、通信部２３を備える。データ収集装置２は、記憶部２１に設定情報を記憶するが、画像データを順次、通信部２３を介して記憶装置３へ送信する。データ収集装置２は複数存在し、仕分け機１００毎に、画像データを送信する。

通信部２３は、インターネットを含むネットワークＮを介した記憶装置３との画像データの送受信を実現する。通信部２３は例えば、ネットワークカード、又は、無線通信モジュールである。ネットワークＮは、インターネット、及びキャリアネットワークを含んでよい。ネットワークＮは、専用線であってもよい。

記憶装置３は、制御部３０、記憶部３１、及び、通信部３２を備える。記憶装置３はサーバコンピュータである。記憶装置３は例えば、仕分け機１００のメーカによって管理されている。制御部３０は、ＣＰＵ及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサであり、内蔵する揮発性メモリ、クロック等を含んで構成されて記憶処理を実行する。

記憶部３１は、ＳＳＤ又はハードディスク等の不揮発性の記憶媒体を含む。記憶部３１には、収集される画像データが、画像データに写っている物品の識別コードに分別されて記憶される。画像データは、撮影時期を対応付けて記憶されてもよいし、送信元のデータ収集装置２を示す装置識別データと対応付けて記憶されてもよい。

通信部３２は、ネットワークＮを介したデータ収集装置２、及び、通信端末装置４とのデータの送受信を実現する。通信部３２は例えば、ネットワークカード、又は、無線通信モジュールである。

図６は、実施の形態２におけるデータ収集手順の一例を示すフローチャートである。データ収集装置２の制御部２０は稼働中に、データ収集プログラム２Ｐに基づいて以下の処理を継続して実行し、記憶装置３においても制御部３０が継続的に以下の処理を実行する。図６のフローチャートに示す処理手順の内、図３のフローチャートに示した処理手順と共通する手順については、詳細な説明を省略する。

データ収集装置２の制御部２０は、リーダ１１２で読み取られた識別コードを仕分け機１００から受信する都度にこれを取得し（Ｓ２０１）、取得した識別コードによって識別される物品を撮像した画像データをカメラ１０１から取得する（Ｓ２０２）。

制御部２０は、取得した画像データを、ステップＳ１０１で取得した識別コード及び撮像日時を対応付けて、通信部２３を介して記憶装置３へ送信し（ステップＳ２１３）、１つの物品投入に応じた処理を終了する。

記憶装置３の制御部３０は、データ収集装置２から送信される識別コード及び撮像日時が対応付けられた物品の画像データを受信し（ステップＳ３０１）、記憶部３１に記憶し（ステップＳ３０２）、終了する。

このように、記憶装置３の記憶部３１には、識別コードと対応付けて、その識別コードで識別される物品の画像データが蓄積される。記憶装置３は、複数の仕分け箇所から識別コードと共に画像データを収集することができる。記憶装置３は、蓄積された画像データをそのまま記憶しておいてもよいし、収集された画像データによって物品を識別する識別モデルを生成してもよい。

図７は、収集されたデータに基づき学習される識別モデル３Ｍの模式図である。図７に示すように、識別モデル３Ｍは、畳み込み層、プーリング層、及び全結合層を含む。識別モデル３Ｍは、入力される画像データの特徴量に基づいて、画像データに写っている物品を識別するデータ及びその確度を示すスコアを出力するように学習される。物品を識別するデータは、識別モデル３Ｍの学習に適したラベルであってよい。物品を識別するデータは、識別コードそのものであってよい。

学習用データは、記憶装置３の記憶部３１に収集されている画像データである。識別モデル３Ｍは学習当初から全物品を識別することは困難である。したがって、識別モデル３Ｍは、仕分け作業で同時期に同一の仕分け機１００の仕分け対象となる物品毎、同一の事業者から供給される物品毎、異なる事業者から提供される物品であるが分類が共通する物品毎、予め識別コードを基に分類された画像データによって学習されてもよい。例えば、識別モデル３Ｍは、識別コードを付することが困難な野菜等の生鮮食品について、生産者（事業者）別に識別できるように、同種の野菜の識別コードが対応付けられている画像データのみ抽出して学習してもよい。この場合、元の識別コードは、生鮮食品に取り付けられるタグに印刷されている。例えば、識別モデル３Ｍは、共に物流資材Ｃに収容されやすい物品について識別できるように、同時期に同一の仕分け機１００で仕分けされた物品の画像データに絞って学習してもよい。あるいは識別モデル３Ｍは、画像データの撮像された日時を用いて、期間別に又は季節別に画像データを学習してもよい。

学習済みの識別モデル３Ｍは、仕分け機１００の投入部１１のリーダ１１２に代替して使用されてもよい。投入部１１は、リーダ１１２に代替して、カメラ、識別モデル３Ｍを記憶した記憶部、及び識別処理を実行する処理部を含む識別装置を備える。この識別装置は、カメラで撮像された撮像データを、識別モデル３Ｍに入力し、識別モデル３Ｍから出力される確度を示すスコアが最も高い識別データに基づいて、物品を識別し、識別コードを制御部１０へ出力する。これにより、仕分け作業者が仕分け機１００で作業せずとも、仕分け機１００が自動的に仕分けを実行することができる。

記憶装置３は、ネットワークＮを介して、例えばパーソナルコンピュータ、タブレットコンピュータ、又はＰＯＳ（Point Of Sales）端末である通信端末装置４と通信接続が可能である。記憶装置３は、通信端末装置４にて使用されるユーザ識別データに応じて、ユーザに対して許可されている種類、又は属性（例えば、物品の製造元事業者）の画像データについて、記憶装置３の記憶部３１に収集されている画像データの検索を受け付けることが可能である。記憶装置３は、学習リクエストを受け付けてリクエストに基づいて学習済みの識別モデル３Ｍを、通信端末装置４へ提供してもよい。記憶装置３は例えば、特定の製造元事業者の物品の画像データのみを抽出して送信することで、所望のデータを提供できる。記憶装置３は、特定の種類の物品のみの画像データを抽出して通信端末装置４へ送信することで、所望のデータを提供できる。記憶装置３は、特定の時期の特定の物品の画像データのみを抽出して送信することで、データを提供することもできる。

例えば、通信端末装置４は、小売店舗に設置された端末であり、販売する物品を自動的に識別するための識別モデル３Ｍの提供を記憶装置３から受けてもよい。通信端末装置４は、必要な物品のみの画像データの提供、識別コードと共に記憶装置３から受けてもよい。

このように、複数箇所の仕分け機１００を用いて収集された画像データは、多様な用途で使用される。識別コードを読み取って物品を識別している仕分け機１００にて、新しいデータが集まり続け、また物品を識別すべき小売店舗に、収集された画像データに基づく情報を反映させることができる。

（実施の形態３）
実施の形態３では、データ収集装置２で収集されたデータによって学習済みの識別モデル３Ｍを用いて、データを収集する。図８は、実施の形態３におけるデータ収集システム２００の構成を示すブロック図である。実施の形態３におけるデータ収集システム２００の構成は、データ収集装置２の記憶部２１に識別モデル３Ｍの定義データが記憶されていることと、データの収集方法が異なること以外は、実施の形態１と同様である。以下の実施の形態３におけるデータ収集システム２００の構成の内、実施の形態１と共通する構成については同一の符号を付して詳細な説明を省略する。

記憶部２１に記憶されている識別モデル３Ｍの定義データは、実施の形態２にて図７を用いて説明した通りに、識別コードが対応付けられて収集された画像データに基づき学習されたモデルのパラメータ及びネットワーク定義データである。物品を撮像した画像データが入力された場合に、識別モデル３Ｍは、画像データに写っている物品の識別コード及び確度を示すスコアを出力する。識別モデル３Ｍは、物品の製造事業者毎に分別されるなど、学習の単位で分別されていてもよい。

図９は、実施の形態３におけるデータ収集処理手順の一例を示すフローチャートである。データ収集装置２の制御部２０は稼働中に、データ収集プログラム２Ｐに基づいて以下の処理を継続して実行する。図９のフローチャートに示す処理手順の内、図３のフローチャートに示した処理手順と共通する手順については、詳細な説明を省略する。

制御部２０は、リーダ１１２で読み取られた識別コードを仕分け機１００から受信する都度にこれを取得し（Ｓ２０１）、取得した識別コードによって識別される物品を撮像した画像データをカメラ１０１から取得する（Ｓ２０２）。

制御部２０は、ステップＳ２０２で取得した画像データを、識別モデル３Ｍに与え（ステップＳ２２３）、識別モデル３Ｍから出力された確度を示すスコア及び識別コードを取得する（ステップＳ２２４）。制御部２０は、識別モデル３Ｍから出力されたスコア、即ち確度が最も高い識別コードを特定する（ステップＳ２２５）。

制御部２０は、ステップＳ２２５で特定した識別コードは、ステップＳ２０１で取得した識別コードと一致するか否かを判断する（ステップＳ２２６）。一致しないと判断された場合（Ｓ２２６：ＮＯ）、制御部２０は、ステップＳ２０１で取得した識別コードを対応付けて、ステップＳ２０２で取得した画像データを記憶部２１に記憶する（ステップＳ２２７）。これにより、再学習用に画像データが記憶される。

ステップＳ２２６において一致すると判断された場合（Ｓ２２６：ＹＥＳ）、制御部２０は、ステップＳ２２４で取得した識別コードに対応する確度を示すスコアが所定値以上であるか否かを判断する（ステップＳ２２８）。確度を示すスコアが所定値未満であると判断された場合（Ｓ２２８：ＮＯ）、制御部２０は、ステップＳ２０１で取得した識別コードを対応付けて、ステップＳ２０２で取得した画像データを記憶部２１に記憶する（Ｓ２２７）。ステップＳ２２７において制御部２０は、撮像日時を更に対応付けて画像データを記憶してもよい。

ステップＳ２２８にて確度を示すスコアが所定値以上であると判断された場合（Ｓ２２８：ＹＥＳ）、制御部２０は、処理を終了する。ステップＳ２２８で確度を示すスコアが所定値以上であり、学習済みの識別モデル３Ｍで正確に識別できている場合には、画像データを再学習用に収集せずともよい。

記憶部２１に記憶される再学習用の画像データは、仕分け機１００のメンテナンス業者によって記憶部２１から読み出されて、識別モデル３Ｍの再学習に利用される。実施の形態３においても、ステップＳ２２７で記憶部２１に記憶することに代替して、ネットワークＮを介して記憶装置３へ、識別コードと対応付けて画像データを送信してもよい。

仕分け機１００にて、対応する識別コード及び画像データを常時的に取得できるので、他所で使用している識別モデル３Ｍの精度を確かめることができ、例えば、物品の外観の変更などで識別精度が低くなった場合に、再学習が可能になる。

制御部２０は、リーダ１１２で読み取られる識別コードを取得できるから、精度が低くなったこと以外に、既に記憶されている画像データに対応付けられている撮像日時が、所定期間以上前の期間であって新たなデータが必要であることなどをトリガにデータを収集してもよい。

実施の形態１から３に示したデータ収集システム２００の態様は一例であり、適宜組み合わせてもよい。

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１００ 仕分け機
１０ 制御部
１１ 投入部
１２ 搬送部
１０１ カメラ
２００ データ収集システム
２ データ収集装置
２０ 制御部
２１ 記憶部
２Ｐ データ収集プログラム
３ 記憶装置
３１ 記憶部
３Ｍ 識別モデル

Claims (10)

1. 物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機から、前記リーダで読み取られる前記識別コードを取得し、
   前記仕分け機の搬送部における物品が載置される範囲を異なる角度から撮像するように取り付けられた２つ以上のカメラによって撮像される画像データのうち、取得された前記識別コードで識別される物品を各々の画角に捉えた画像データを、前記識別コードが読み取られてからのタイミング又は前記物品が載置された搬送部における範囲が特定されてからのタイミングに基づいて取得し、
   取得した異なる角度から撮影された複数の画像データを、取得した識別コードと対応付けて記憶する
   処理を含むデータ収集方法。
2. 前記識別コードは、付される物品の種類、メーカ、又は生産者を識別可能に付されており、
   異なる物品について、異なる角度から撮影された複数の画像データを、前記異なる物品それぞれの識別コードと対応付けて、種類別、メーカ別、又は生産者別に記憶する
   請求項１に記載のデータ収集方法。
3. 前記複数の画像データを、前記識別コード及び撮影日時を対応付けて記憶する
   請求項１又は２に記載のデータ収集方法。
4. 前記物品の種類、メーカ、又は撮影日時の指定を受け付けた場合、指定された種類の物品の複数の画像データ、又は、指定された撮影日時の複数の画像データを抽出し、
   抽出した画像データを、前記仕分け機と異なる指定元の端末装置へ送信する
   請求項２又は３に記載のデータ収集方法。
5. 記憶された画像データ及び識別コードに基づき、画像データが入力された場合に前記物品を識別するデータ及び確度を出力するように学習された識別モデルに、前記カメラから新たに取得した画像データを入力し、
   前記識別モデルから出力されるデータと、前記画像データで撮像された物品に対して前記リーダで読み取られた識別コードとが一致し、且つ、前記確度が所定値以上であるか否かを判断し、
   前記確度が所定値未満であると判断された場合に、前記新たに取得した画像データを、前記識別コードと対応付けて記憶する
   請求項１から請求項４のいずれか１項に記載のデータ収集方法。
6. 物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機から、前記リーダで読み取られる前記識別コードを取得し、
   前記仕分け機で搬送される物品を撮像するように取り付けられたカメラから、取得した前記識別コードで識別される物品の画像データを取得し、
   取得した画像データを、取得した識別コードと対応付けて記憶し、
   記憶された画像データ及び識別コードに基づき、画像データが入力された場合に前記物品を識別するデータ及び確度を出力するように学習された識別モデルに、前記カメラから新たに取得した画像データを入力し、
   前記識別モデルから出力されるデータと、前記画像データで撮像された物品に対して前記リーダで読み取られた識別コードとが一致し、且つ、前記確度が所定値以上であるか否かを判断し、
   前記確度が所定値未満であると判断された場合に、前記新たに取得した画像データを、前記識別コードと対応付けて記憶する
   データ収集方法。
7. 物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機と、
   前記仕分け機の搬送部における物品が載置される範囲を異なる角度から撮像するように取り付けられた２つ以上のカメラと、
   前記仕分け機、及び前記２つ以上のカメラに接続されており、前記物品の画像データを収集するデータ収集装置と
   を含み、
   前記データ収集装置は、
   前記リーダにて読み取られる前記識別コードを取得し、
   前記２つ以上のカメラによって撮像される画像データのうち、取得された前記識別コードで識別される物品を各々の画角に捉えた画像データを、前記識別コードが読み取られてからのタイミング又は前記物品が載置された搬送部における範囲が特定されてからのタイミングに基づいて取得し、
   取得した異なる角度から撮影された複数の画像データを、取得した識別コードと対応付けて記憶部に記憶する
   データ収集システム。
8. 物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機と接続する手段と、
   前記リーダにて読み取られる前記識別コードを取得する手段と、
   前記仕分け機の搬送部における物品が載置される範囲を異なる角度から撮像するように取り付けられた２つ以上のカメラによって撮像される画像データのうち、取得された前記識別コードで識別される物品を各々の画角に捉えた画像データを、前記識別コードが読み取られてからのタイミング又は前記物品が載置された搬送部における範囲が特定されてからのタイミングに基づいて取得する手段と、
   取得した異なる角度から撮影された複数の画像データを、取得した識別コードと対応付けて記憶する手段と
   を備えるデータ収集装置。
9. 請求項１又は請求項６のデータ収集方法によって記憶されたデータを記憶した記憶装置から、物品の識別コードに基づいて抽出される画像データを提供する
   データ提供方法。
10. 物品を識別する識別コードを読み取るリーダを含み、前記識別コードに基づいて前記物品を異なる仕分け先へ搬送して仕分ける仕分け機と接続されるコンピュータに、
    前記リーダにて読み取られる前記識別コードを取得し、
    前記仕分け機の搬送部における物品が載置される範囲を異なる角度から撮像するように取り付けられた２つ以上のカメラによって撮像される画像データのうち、取得された前記識別コードで識別される物品を各々の画角に捉えた画像データを、前記識別コードが読み取られてからのタイミング又は前記物品が載置された搬送部における範囲が特定されてからのタイミングに基づいて取得し、
    取得した異なる角度から撮影された複数の画像データを、取得した識別コードと対応付けて記憶する
    処理を実行させるコンピュータプログラム。

Images