JP7300699B2

JP7300699B2 - 教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置

Info

Publication number: JP7300699B2
Application number: JP2018212304A
Authority: JP
Inventors: 弘法堤; 修廣瀬; 祥憲樽本
Original assignee: Ishida Co Ltd
Current assignee: Ishida Co Ltd
Priority date: 2018-11-12
Filing date: 2018-11-12
Publication date: 2023-06-30
Anticipated expiration: 2038-11-12
Also published as: JP2020080003A; EP3651067A1; US20200151511A1; CN111178379B; CN111178379A

Description

本開示は、教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置に関する。

特許文献１（特開２０１７－２７１３６号公報）が開示する店舗システムは、商品を画像認識により識別する。このようなシステムは、商店の会計係などにおける応用が期待されている。

複数の商品が写った画像を撮影する際に、商品が部分的に重なることがある。このような場合、従来の画像処理では、重なり合う複数の商品の区別に支障をきたすことがある。この問題は、近年注目されている機械学習を用いた画像処理においても同様である。

本開示の課題は、複数の商品を識別する商品識別装置等において、商品の数量を演算する演算器を機械学習によって学習する際、重なった商品を区別できるようにすることである。

第１観点に係る教師データの生成方法は、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各種類の商品の数量を演算する商品識別装置のための、演算器の生成に用いるものである。教師データは、複数の学習用集合画像および複数の学習用集合画像の各々に付されたラベルを含む。教師データの生成方法は、各種類の１つの商品を写した個別画像を取得する第１ステップと、個別画像をランダムに配置することによって１又は複数の商品を含む複数の学習用集合画像を生成する第２ステップと、を備える。第２ステップで生成される複数の学習用集合画像は、個別画像どうしが少なくとも部分的にオーバーラップした学習用集合画像を含む。

この方法によれば、学習用集合画像の少なくとも一部として、個別画像どうしが少なくとも部分的にオーバーラップしたものが存在する。したがって、オーバーラップした商品を識別可能な演算器を構成する教師画像データを得ることができる。

第２観点に係る教師データの生成方法は、第１観点に係る教師データの生成方法において、第２ステップで生成される学習用集合画像に含まれる各種類の商品の数量を、ラベルとして学習用集合画像に付す第３ステップ、をさらに備える。

この方法によれば、教師データは、各商品の数量をラベルとして含む。したがって、商品の数量を識別できるよう、演算器を訓練できる。

第３観点に係る教師データの生成方法は、第１観点に係る教師データの生成方法において、第２ステップで生成される学習用集合画像に含まれる個別画像の各々に対応する重心の座標を、ラベルとして学習用集合画像に付す第３ステップ、をさらに備える。

この方法によれば、教師データは、個別画像の重心の座標を、ラベルとして含む。したがって、複数の商品を単一の商品であると誤認しないよう、演算器を訓練できる。

第４観点に係る教師データの生成方法は、第１観点に係る教師データの生成方法において、第２ステップで生成される集合画像に含まれる個別画像の各々を、それぞれ、対応する代表画像で置換した置換画像を、ラベルとして学習用集合画像に付す第３ステップ、をさらに備える。

この方法によれば、教師データは、個別画像を代表画像で置換した置換画像をラベルとして含む。

第５観点に係る教師データの生成方法は、第４観点に係る教師データの生成方法において、代表画像は、個別画像の各々の重心を示す画素である。

この方法によれば、教師データは、個別画像をその重心画素で置換した置換画像をラベルとして含む。

第６観点に係る教師データの生成方法は、第４観点に係る教師データの生成方法において、代表画像は、個別画像の各々の輪郭である。

この方法によれば、教師データは、個別画像をその輪郭で置換した置換画像をラベルとして含む。

第７観点に係る教師データの生成方法は、第１観点から第６観点のいずれか１項に記載の教師データの生成方法であって、第２ステップにおいて、個別画像の面積に対するオーバーラップ箇所の面積の割合で規定されるオーバーラップ率の、上限値及び下限値を指定できる。

この方法によれば、学習用集合画像における、個別画像のオーバーラップの度合いが指定される。したがって、現実的に起こりうるオーバーラップの度合いに適した演算器の学習が可能である。

第８観点に係る教師データの生成方法は、第１観点から第７観点のいずれか１項に記載の教師データの生成方法であって、第２ステップにおいて、個別画像を配置する際に、個別画像ごとに、ランダムな比率で個別画像を拡大又は縮小する処理、ランダムな角度で個別画像を回転させる処理、ランダムな度合いで個別画像のコントラストを変化させる処理、及び、ランダムに個別画像を反転させる処理、の少なくとも１つを行う。

この方法によれば、教師データの量が増える。したがって、演算器の認識精度を向上できる。

第９観点に係る教師データの生成方法は、第１観点から第８観点のいずれか１項に記載の教師データの生成方法であって、商品は、食品である。

この方法によれば、食品について演算器の認識精度を向上できる。

第１０観点に係る教師データの生成プログラムは、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各種類の商品の数量を演算する商品識別装置のための、演算器の生成に用いるものである。教師データは、複数の学習用集合画像および複数の学習用集合画像の各々に付されたラベルを含む。教師データの生成プログラムは、コンピュータを、各種類の１つの商品を写した個別画像を取得する個別画像取得部、及び、個別画像をランダムに配置することによって１又は複数の商品を含む複数の学習用集合画像を生成する学習用集合画像生成部、として機能させる。学習用集合画像のなかに、個別画像どうしが少なくとも部分的にオーバーラップするものが含まれる。

この構成によれば、学習用集合画像の少なくとも一部として、個別画像どうしが少なくとも部分的にオーバーラップしたものが存在する。したがって、オーバーラップした商品を識別可能な演算器を構成する教師画像データを得ることができる。

第１１観点に係る教師データの生成装置は、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各種類の商品の数量を演算する商品識別装置のための、演算器の生成に用いるものである。教師データは、複数の学習用集合画像および複数の学習用集合画像の各々に付されたラベルを含む。教師データの生成装置は、各種類の１つの商品を写した個別画像を取得する個別画像取得部、及び、個別画像をランダムに配置することによって１又は複数の商品を含む複数の学習用集合画像を生成する学習用集合画像生成部、を備える。学習用集合画像生成部は、個別画像どうしを少なくとも部分的にオーバーラップさせる。

第１２観点に係る商品識別装置は、１又は複数の種類の商品が写った集合画像から、集合画像に含まれる各種類の商品の数量を演算するものである。商品識別装置は、カメラと、カメラの出力を処理するニューラルネットワークと、を備える。ニューラルネットワークは、教師データを用いて学習したものである。教師データは、複数の学習用集合画像および複数の学習用集合画像の各々に付されたラベルを含む。複数の学習用集合画像は、少なくとも部分的にオーバーラップした複数の商品の個別画像を含む学習用集合画像を含む。

この構成によれば、ニューラルネットワークの学習には、オーバーラップした複数の商品の個別画像を含む教師データが用いられる。したがって、ニューラルネットワークの認識精度が向上している。

本開示によれば、オーバーラップした商品を識別可能な演算器を構成する教師画像データを得ることができる。

商品識別装置１０を示す模式図である。識別コンピュータ３０のブロック図である。教師データ４０を示す模式図である。個別画像４３ａ～４３ｃを示す模式図である。商品識別装置１０の学習フェーズを示す模式図である。商品識別装置１０の推論フェーズを示す模式図である。本開示の第１実施形態に係る教師データ生成装置５０を示す模式図である。生成コンピュータ６０のブロック図である。教師データ４０の生成方法のフローチャートである。第１実施形態に係る、教師データ４０の生成方法（個別画像を取得するための撮影）を示す模式図である。第１実施形態に係る、教師データ４０の生成方法（個別画像の切り出し）を示す模式図である。第１実施形態に係る、教師データ４０の生成方法（学習用集合画像の生成、及びラベルの付与）を示す模式図である。第２実施形態に係る、教師データ４０の生成方法（学習用集合画像の生成、及びラベルの付与）を示す模式図である。第３実施形態に係る、教師データ４０の生成方法（学習用集合画像の生成、及びラベルの付与）を示す模式図である。第４実施形態に係る、教師データ４０の生成方法（学習用集合画像の生成、及びラベルの付与）を示す模式図である。

以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の具体例であって、本発明の技術的範囲を限定するものではない。

＜第１実施形態＞
（１）商品識別装置１０
（１－１）構成
図１は商品識別装置１０を示す模式図である。商品識別装置１０は、トレイＴの上に置かれた商品Ｇを識別するものである。商品Ｇは、典型的にはパンや惣菜などの食品である。商品識別装置１０は、例えば、パン販売店、又はスーパーマーケットの惣菜売り場などの店舗の会計係に設置される。商品識別装置１０のユーザは、それらの店舗の店員などである。

商品識別装置１０は、撮影装置２０及び識別コンピュータ３０を有する。撮影装置２０と識別コンピュータ３０はネットワークＮを介して接続されている。ここでいうネットワークＮとは、ＬＡＮでもよいし、ＷＡＮでもよい。撮影装置２０と識別コンピュータ３０は、互いに遠隔地に設置されてもよい。例えば、識別コンピュータ３０はクラウドサーバとして構成されてもよい。あるいは、撮影装置２０と識別コンピュータ３０は、ネットワークＮを介さずに直接接続されてもよい。

（１－１－１）撮影装置２０
撮影装置２０は、ベース２１、支持部２２、光源２３、カメラ２４、表示部２５、入力部２６を有する。ベース２１は、トレイＴを載置するための台として機能する。支持部２２は、光源２３及びカメラ２４を支持する。光源２３は、トレイＴの上に置かれた商品を照らすためのものである。カメラ２４は、トレイＴの上に置かれた商品Ｇを撮影するためのものである。表示部２５は、商品Ｇの識別結果を表示するためのものである。入力部２６は、商品Ｇの名称などを入力するためのものである。

（１－１－２）識別コンピュータ３０
図２に示すように、識別コンピュータ３０は、専用のプログラムを実行することによって、画像取得部３２、商品判定部３５として機能する。画像取得部３２は、カメラ２４と通信を行い、商品Ｇが置かれたトレイＴの静止画を取得する。商品判定部３５は、静止画の中に含まれる商品Ｇを識別し、商品Ｇの数量を算出する。

商品判定部３５は、演算器Ｘを有する。演算器Ｘは、入出力の関係を学習可能な関数近似器である。演算器Ｘは、典型的には多層ニューラルネットワークとして構成される。演算器Ｘは、事前の機械学習の結果として、学習済みモデルＭを獲得している。機械学習は、典型的にはディープラーニングとして行われるが、この態様に限定されるものではない。

（１－２）学習と推論
（１－２－１）教師データ
識別コンピュータ３０の演算器Ｘが学習済みモデルＭを獲得するための学習フェーズは、教師あり学習によって行われる。教師あり学習は、図３に示す教師データ４０を用いて実行される。教師データ４０は、複数の学習用集合画像４１、および、当該複数の学習用集合画像４１の各々に付されたラベル４２からなる。学習用集合画像４１は、演算器Ｘに入力される画像の例を示している。ラベル４２は、学習用集合画像４１を入力された演算器Ｘが出力すべき回答の内容を示している。

本実施形態では、各学習用集合画像４１は、図４に示す個別画像４３ａ～４３ｃの組み合わせからなる。個別画像４３ａ～４３ｃの各々は、１種類の商品１つを写した画像である。この例では、個別画像４３ａはクロワッサン（商品Ｇ１）の画像であり、個別画像４３ｂはコーンブレッド（商品Ｇ２）の画像であり、個別画像４３ｃはロールパン（商品Ｇ３）の画像である。図３に示す学習用集合画像４１は、トレイＴの上に置かれた１つ又は複数の商品Ｇ１～Ｇ３を表現している。また、本実施形態では、ラベル４２は、対応する学習用集合画像４１の中に含まれる各商品Ｇ１～Ｇ３の数量を表現している。

（１－２－２）学習フェーズ
図５に示すように、学習フェーズでは、教師データ４０を用いて、演算器Ｘに教師あり学習を行わせる。これにより、例えば誤差逆伝播法によって、演算器Ｘが学習済みモデルＭを獲得する。

（１－２－３）推論フェーズ
図６に示すように、推論フェーズは、商品識別装置１０を実際に使用する場面である。店舗において、顧客は購入したい商品ＧをトレイＴに載せる。顧客は会計係までトレイＴを運び、撮影装置２０のベース２１の上に置く。ユーザである店員が、商品識別装置１０を作動させる。カメラ２４が、トレイＴの上の商品の集合画像を撮影する。なお、ここでいう「集合画像」は、商品を１つだけ撮影した画像も含まれる。カメラ２４が撮影した集合画像は、ネットワークＮを介して識別コンピュータ３０の画像取得部３２へ送信される。集合画像は、商品判定部３５へ送られる。商品判定部３５は、集合画像に含まれる各商品Ｇ１～Ｇ３の数量を推論する。推論の結果は、ネットワークＮを介して撮影装置２０へ転送される。推論の結果は、表示部２５に表示されるとともに、会計処理に利用される。

（２）教師データ生成装置５０
（２－１）構成
図７に示す教師データ生成装置５０は、商品識別装置１０の学習フェーズで用いる教師データ４０（図３）を生成する。教師データ生成装置５０は、商品識別装置１０に用いられるものと同じまたは類似する撮影装置２０、及び生成コンピュータ６０を有する。撮影装置２０と生成コンピュータ６０はネットワークＮを介して接続されている。ここでいうネットワークＮとは、ＬＡＮでもよいし、ＷＡＮでもよい。撮影装置２０と生成コンピュータ６０は、互いに遠隔地に設置されてもよい。例えば、撮影装置２０は、調理場に設置されてもよい。生成コンピュータ６０はクラウドサーバとして構成されてもよい。あるいは、撮影装置２０と生成コンピュータ６０は、ネットワークＮを介さずに直接接続されてもよい。生成コンピュータ６０は、専用のプログラムを搭載されたコンピュータである。図８に示すように、生成コンピュータ６０は、当該プログラムを実行することによって、個別画像取得部６１、学習用集合画像生成部６２、ラベル付与部６３として機能する。

（２－２）教師データの生成
教師データ生成装置５０は、図９に示す手順で教師データ４０を生成する。まず、個別画像取得部６１が商品の個別画像を取得する（ステップ１０４）。具体的には、図１０に示すように、同一の種類の商品Ｇ１を１又は複数個並べたトレイＴを、商品識別装置１０にセットする。次いで、商品Ｇ１の名前を入力部２６から入力する。図１０では、商品Ｇ１の名前として“クロワッサン”が入力されている。次いで、同一の種類の商品Ｇ１の集合画像を撮影する。集合画像は生成コンピュータ６０に送られる。図１１に示すように、生成コンピュータ６０の個別画像取得部６１は、集合画像４５から背景を取り除き、１又は複数の個別画像を、商品名と関連付けて取得する。これにより、６つの個別画像４３ａ１～４３ａ６が商品名“クロワッサン”と関連付けて取得される。なお、同時に取得された個別画像４３ａ１～４３ａ６の中に、他の個別画像と比較して極端に大きさ又は形が異なるものが含まれる場合には、その個別画像は廃棄してもよい。これは、例えば、２つの商品Ｇ１が不適切に接触している場合などに起こりうる。

この個別画像の取得を商品Ｇ２、Ｇ３についても行う。

次いで、設定が教師データ生成装置５０に入力される（ステップ１０６）。設定とは、例えば次の値である。

・画像枚数：生成される教師データ４０が何枚の学習用集合画像４１を含むか。
・オーバーラップ率の上限値及び下限値：個別画像のオーバーラップに関し、個別画像の面積に対するオーバーラップ箇所の面積の割合。その上限値と下限値。
・個別画像の含有数：１枚の学習用集合画像４１が最大でいくつの個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６を含むか。

次いで、学習用集合画像生成部６２が、個別画像をランダムに配置することによって、学習用集合画像４１を１枚生成する（ステップ１０８）。具体的には、図１２に示すように、学習用集合画像生成部６２が、複数種類の個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６を使用して、学習用集合画像４１を１枚生成する。学習用集合画像４１の中に含まれる各商品の数量、及び配置される各個別画像の位置は、設定の範囲内で無作為に選ばれる。個別画像の配置に際しては、次の処理が行われる。

・ランダムな比率で個別画像を拡大又は縮小する処理。
・ランダムな角度で個別画像を回転させる処理。
・ランダムな度合いで個別画像のコントラストを変化させる処理。
・ランダムに個別画像を反転させる処理。

これらの処理は、食品によく見られる個体差を再現することを意図している。個体差とは、同一の商品について、例えば、大きさ、形、色（パンの焼き加減）などに違いが生じることである。さらに、回転処理によって、商品Ｇの配置方向のバリエーションを扱うことができる。

さらに、図１２に示すように、個別画像の配置に際して、１つの個別画像が他の個別画像とオーバーラップすることが許可される。学習用集合画像４１の中の箇所Ｌ１、箇所Ｌ２、箇所Ｌ３においては、オーバーラップが発生している。このオーバーラップは、オーバーラップ率がステップ１０６で入力されたオーバーラップ率の上限値及び下限値の間に収まるようになされる。典型的には、オーバーラップは一定の割合で発生するように構成される。複数の学習用集合画像４１のうちの一部においてオーバーラップした個別画像が含まれる。

次いで、ラベル付与部６３がラベル４２を生成し、そのラベル４２を学習用集合画像４１に付与する（ステップ１１０）。具体的には、ラベル付与部６３が、学習用集合画像４１に配置した個別画像の記録から、ラベル４２を生成する。ラベル４２は、本実施形態では各商品Ｇ１～Ｇ３の数量である。ラベル４２は、学習用集合画像４１に付与され、すなわち、学習用集合画像４１と関連付けて記録される。

教師データ生成装置５０は、ラベル４２を付された学習用集合画像４１の枚数が設定された枚数に到達するまで、ステップ１０８とステップ１１０を繰り返す。それによって、学習用集合画像４１とラベル４２の組が多数生成される。

（３）特徴
（３－１）複数の学習用集合画像４１の少なくとも一部として、個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６どうしが少なくとも部分的にオーバーラップしたものが存在する。したがって、本開示による教師データ４０の生成方法、教師データ４０の生成プログラム、教師データ生成装置５０によれば、オーバーラップした商品Ｇを識別可能な演算器Ｘを構成する教師データ４０を得ることができる。

（３－２）教師データ４０は、各商品Ｇの数量をラベルとして含む。したがって、商品Ｇの数量を識別できるよう、演算器Ｘを訓練できる。

（３－３）学習用集合画像４１における、個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６のオーバーラップの度合いが指定される。したがって、現実的に起こりうるオーバーラップの度合いに適した演算器Ｘの学習が可能である。

（３－４）学習用集合画像４１の中に配置される前に、個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６は、拡大縮小、回転、コントラスト変化、反転を施される。したがって、教師データ４０の量が増えるので、演算器Ｘの認識精度を向上できる。

（３－５）食品について演算器Ｘの認識精度を向上できる。

（３－６）本開示による商品識別装置１０によれば、ニューラルネットワークの学習に、オーバーラップした複数の商品Ｇの個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６を含む教師データ４０が用いられる。したがって、ニューラルネットワークの認識精度が向上している。

＜第２実施形態＞
（１）教師データの生成
図１３は、本開示の第２実施形態に係る教師データ４０の生成方法を示す。本実施形態に係る教師データ４０の生成方法は、ラベル４２のフォーマットが第１実施形態と異なっており、それ以外の点については第１実施形態と同様である。

本実施形態では、ラベル４２は、学習用集合画像４１に配置された個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６の重心の座標を含む。図９のステップ１１０において、学習用集合画像４１にはこのようなラベル４２が付与される。

この教師データ４０を用いて学習済みモデルＭを獲得した商品識別装置１０は、推論フェーズにおいて、まず各商品Ｇの重心の座標を得る。重心の座標から商品Ｇの数量への換算は、識別コンピュータ３０に格納された別の専用のプログラムにより行われる。

（２）特徴
教師データ４０は、個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６の重心の座標を、ラベル４２として含む。したがって、複数の商品Ｇを単一の商品であると誤認しないよう、演算器Ｘを訓練できる。

＜第３実施形態＞
（１）教師データの生成
図１４は、本開示の第３実施形態に係る教師データ４０の生成方法を示す。本実施形態に係る教師データ４０の生成方法は、ラベル４２のフォーマットが第１実施形態と異なっており、それ以外の点については第１実施形態と同様である。

本実施形態では、ラベル４２は、学習用集合画像４１に含まれる個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６を、代表画像で置換した置換画像である。本実施形態においては、代表画像は、個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６の重心画素Ｐである。図９のステップ１１０において、学習用集合画像４１にはこのようなラベル４２が付与される。

ラベル４２のフォーマットについてさらに説明する。ラベル４２は、例えば、学習用集合画像４１と同じサイズの画像である。学習用集合画像４１がＸ列及びＹ行に配列したＸ×Ｙ個の画素を有する場合、ラベル４２も、Ｘ列及びＹ行に配列したＸ×Ｙ個の画素を有する。ラベル４２の画素は、ＲＧＢで構成されるのではなく、Ｎ次元のベクトルとして構成される。ここで、Ｎは、教師データ生成装置５０に登録された商品Ｇの種類の数である。（例えば商品Ｇ１、Ｇ２、Ｇ３が登録されている場合、Ｎ＝３である。）ｘ列目、ｙ行目の画素は、下記のベクトルとして表される。

ここで、ａ_ｘｙｉは、座標（ｘ，ｙ）におけるｉ番目の種類の商品Ｇの数であり、すなわち、座標（ｘ，ｙ）に存在するｉ番目の種類の商品Ｇに相当する重心画素Ｐの個数である。

この教師データ４０を用いて学習済みモデルＭを獲得した商品識別装置１０は、推論フェーズにおいて、まず置換画像を得る。この置換画像もまた、ベクトルＡで表される画素により構成されている。置換画像から商品Ｇの数量への換算は、識別コンピュータ３０に格納された別の専用のプログラムにより行われる。例えば、プログラムは、学習用集合画像４１に含まれるｉ番目の種類の商品Ｇの数量Ｈ_ｉを下記の数式により求める。

（２）特徴
教師データ４０は、学習用集合画像４１に含まれる個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６を、重心画素Ｐで置換した置換画像を、ラベル４２として含む。したがって、複数の商品Ｇを単一の商品であると誤認しないよう、演算器Ｘを訓練できる。

（３）変形例
（３－１）
上述の第３実施形態では、１つの個別画像を表現する代表画像として１つの重心画素Ｐを用いる。これに代えて、１つの個別画像を表現する代表画像として、重心位置を示す複数画素からなる領域を使用してもよい。この場合、上述の数式は、ｉ番目の種類の商品Ｇの数量Ｈ_ｉを正確に算出できるように、例えば係数を乗じるなどの手段により、適宜修正される。

（３－２）
上述の第３実施形態では、代表画像として重心画素Ｐを用いる。これに代えて、代表画像は他の画素であってもよい。例えば、代表画像は、個別画像を囲む四角形の領域（領域の四辺のそれぞれが個別画像の上下左右の端点を通過する）の中心点の画素であってもよい。あるいは、代表画像は、個別画像を囲む四角形の領域の、１つの頂点（例えば左下の頂点）の画素であってもよい。

＜第４実施形態＞
（１）教師データの生成
図１５は、本開示の第４実施形態に係る教師データ４０の生成方法を示す。本実施形態に係る教師データ４０の生成方法は、ラベル４２のフォーマットが第１実施形態と異なっており、それ以外の点については第１実施形態と同様である。

本実施形態では、ラベル４２は、学習用集合画像４１に含まれる個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６を、代表画像で置換した置換画像である。本実施形態においては、代表画像は、個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６の輪郭画像Ｏである。図９のステップ１１０において、学習用集合画像４１にはこのようなラベル４２が付与される。

この教師データ４０を用いて学習済みモデルＭを獲得した商品識別装置１０は、推論フェーズにおいて、まず置換画像を得る。置換画像から商品Ｇの数量への換算は、識別コンピュータ３０に格納された別の専用のプログラムにより行われる。

（２）特徴
教師データ４０は、学習用集合画像４１に含まれる個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６を、当該個別画像４３ａ１～４３ａ６、４３ｂ１～４３ｂ６、４３ｃ１～４３ｃ６の輪郭画像Ｏで置換した置換画像を、ラベル４２として含む。したがって、複数の商品を単一の商品であると誤認しないよう、演算器Ｘを訓練できる。

１０：商品識別装置
２０：撮影装置
３０：識別コンピュータ
４０：教師データ
４１：学習用集合画像
４２：ラベル
４３ａ（４３ａ１～４３ａ６）：個別画像
４３ｂ（４３ｂ１～４３ｂ６）：個別画像
４３ｃ（４３ｃ１～４３ｃ６）：個別画像
４５：集合画像
５０：教師データ生成装置
６０：生成コンピュータ
６１：個別画像取得部
６２：学習用集合画像生成部
６３：ラベル付与部
１０４：ステップ
１０６：ステップ
１０８：ステップ
１１０：ステップ
Ｇ（Ｇ１～Ｇ３）：商品
Ｌ１～Ｌ３：オーバーラップの箇所
Ｍ：モデル
Ｎ：ネットワーク
Ｏ：輪郭画像
Ｐ：重心画素
Ｘ：演算器

特開２０１７－２７１３６号公報

Claims

１又は複数の種類の商品が写った集合画像から、前記集合画像に含まれる各種類の前記商品の数量を演算する商品識別装置のための、演算器の生成に用いる教師データの生成方法であって、
前記教師データは、複数の学習用集合画像および複数の前記学習用集合画像の各々に付されたラベルを含み、
各種類の１つの前記商品を写した個別画像を取得する第１ステップと、
前記個別画像をランダムに配置することによって１又は複数の前記商品を含む複数の前記学習用集合画像を生成する第２ステップと、
前記第２ステップにおいてランダムに配置された前記個別画像の記録から、前記学習用集合画像に含まれる前記商品の数量を前記ラベルとして、前記学習用集合画像に付与する第３ステップと、
を備え、
前記第２ステップで生成される複数の前記学習用集合画像は、前記個別画像どうしが少なくとも部分的にオーバーラップした前記学習用集合画像を含む、
教師データの生成方法。
前記第３ステップにおける前記ラベルは、前記個別画像の重心の座標を含む、
請求項１に記載の教師データの生成方法。
前記第３ステップにおける前記ラベルは、前記個別画像を、対応する代表画像で置換した置換画像を含む、
請求項１に記載の教師データの生成方法。
前記代表画像は、前記個別画像の各々の重心を示す画素である、
請求項３に記載の教師データの生成方法。
前記代表画像は、前記個別画像の各々の輪郭である、
請求項３に記載の教師データの生成方法。
前記第２ステップにおいて、前記個別画像の一つを、他の前記個別画像とオーバーラップさせるときの面積の割合で規定されるオーバーラップ率の、上限値及び下限値を指定できる、
請求項１から５のいずれか１項に記載の教師データの生成方法。
前記第２ステップにおいて、前記個別画像を配置する際に、前記個別画像ごとに、
ランダムな比率で前記個別画像を拡大又は縮小する処理、
ランダムな角度で前記個別画像を回転させる処理、
ランダムな度合いで前記個別画像のコントラストを変化させる処理、及び、
ランダムに前記個別画像を反転させる処理、
の少なくとも１つを行う、
請求項１から６のいずれか１項に記載の教師データの生成方法。
前記商品は、食品である、
請求項１から７のいずれか１項に記載の教師データの生成方法。
１又は複数の種類の商品が写った集合画像から、前記集合画像に含まれる各種類の前記商品の数量を演算する商品識別装置のための、演算器の生成に用いる教師データの生成プログラムであって、
前記教師データは、複数の学習用集合画像および複数の前記学習用集合画像の各々に付されたラベルを含み、
コンピュータを、
各種類の１つの前記商品を写した個別画像を取得する個別画像取得部、
前記個別画像をランダムに配置することによって１又は複数の前記商品を含む複数の前記学習用集合画像を生成する学習用集合画像生成部、及び、
前記学習用集合画像生成部においてランダムに配置された前記個別画像の記録から、前記学習用集合画像に含まれる前記商品の数量を前記ラベルとして、前記学習用集合画像に付与するラベル付与部、
として機能させ、
前記学習用集合画像のなかに、前記個別画像どうしが少なくとも部分的にオーバーラップするものが含まれる、
教師データの生成プログラム。
１又は複数の種類の商品が写った集合画像から、前記集合画像に含まれる各種類の前記商品の数量を演算する商品識別装置のための、演算器の生成に用いる教師データの生成装置であって、
前記教師データは、複数の学習用集合画像および複数の前記学習用集合画像の各々に付されたラベルを含み、
各種類の１つの前記商品を写した個別画像を取得する個別画像取得部、
前記個別画像をランダムに配置することによって１又は複数の前記商品を含む複数の前記学習用集合画像を生成する学習用集合画像生成部、及び、
前記学習用集合画像生成部においてランダムに配置された前記個別画像の記録から、前記学習用集合画像に含まれる前記商品の数量を前記ラベルとして、前記学習用集合画像に付与するラベル付与部、
を備え、
前記学習用集合画像生成部は、前記個別画像どうしを少なくとも部分的にオーバーラップさせる、
教師データの生成装置。
請求項１０に記載の教師データの生成装置と、
前記集合画像を撮影するカメラと、
前記集合画像を処理するニューラルネットワークと、
前記集合画像に含まれる前記商品の数量を推論する商品判定部と、
前記商品判定部の推論結果を表示する表示部と、
を備え、
前記ニューラルネットワークは、前記教師データを用いて学習したものである、
商品識別装置。