JP7069736B2 - 商品情報管理プログラム、方法及び装置 - Google Patents

Description

本発明は、商品情報管理プログラム、方法及び装置、並びに商品管理プログラム、方法及び装置に関する。

小売店舗においては、商品を陳列する棚の状態を自動的又は半自動的に把握して、把握した状態に基づいて、品出し指示や商品の発注を行いたいというニーズがある。棚の状態を把握する方法としては、重量センサを用いた方法や画像を利用した方法などが検討されている。

なお、セルフＰＯＳ（point of sales）装置において、スキャナにより商品コード（バーコード）を読み取る際に、カメラで撮影された商品の３次元画像のデータを商品コードと関連付けて記憶する技術が知られている（例えば、特許文献１等参照）。

特開２０１０－２３７８８６号公報

画像を用いた商品認識技術として、予め撮影した商品の画像を用いて機械学習を行い、機械学習の結果得られたモデルを用いて商品認識を行う技術が知られている。一方、棚に陳列される商品の画像は、商品の向きや形状（袋の凹み）、光の当たり具合など様々な要因により変化する。このため、商品認識精度を向上するためには、機械学習において、商品の向きや形状、光の当たり具合などを異ならせながら撮影した多数の画像を用いる必要がある。

しかしながら、商品の画像を多数撮影するには手間と時間がかかるため、作業負担が大きい。

１つの側面では、本発明は、商品情報を記憶部において管理する際の作業負担を軽減することが可能な商品情報管理プログラム、方法及び装置を提供することを目的とする。また、本発明は、商品管理を適切に行うことが可能な商品情報管理プログラム、方法及び装置を提供することを目的とする。

一つの態様では、商品情報管理プログラムは、商品の画像を取得し、取得した前記商品の画像に対して、光を反射する箇所の画像を合成する位置、前記光を反射する箇所の画像の大きさ、前記光を反射する箇所の画像の角度の少なくとも１つを変更しつつ、複数の画像を生成し、生成した複数の新たな画像を用いて機械学習を行い、学習結果としてモデルを取得し、取得した前記モデルと、前記商品の識別情報とを関連付けて記憶部に記憶する、処理をコンピュータに実行させるための商品情報管理プログラムである。

商品情報を記憶部において管理する際の作業負担を軽減することができる。また、商品管理を適切に行うことができる。

第１の実施形態に係る商品管理システムの構成を概略的に示す図である。 図２（ａ）は、管理装置のハードウェア構成を示す図であり、図２（ｂ）は、店員端末のハードウェア構成を示す図である。 第１の実施形態に係る管理装置及び店員端末の機能ブロック図である。 図４（ａ）は、第１の実施形態に係る商品情報テーブルの一例を示す図であり、図４（ｂ）は、第１の実施形態に係る商品マスタの一例を示す図であり、図４（ｃ）は、第１の実施形態に係る棚卸情報テーブルの一例を示す図である。 第１の実施形態に係る商品登録処理を示すフローチャートである。 図６（ａ）、図６（ｂ）は、図５の処理を説明するための図（その１）である。 図７（ａ）、図７（ｂ）は、図５の処理を説明するための図（その２）である。 第１の実施形態に係る品切れ箇所登録処理を示すフローチャートである。 第１の実施形態に係る棚卸処理を示すフローチャートである。 図９の処理を説明するための図である。 第２の実施形態に係る商品管理システムの構成を概略的に示す図である。 第２の実施形態に係る管理装置及び店員端末の機能ブロック図である。 図１３（ａ）は、第２の実施形態に係る商品マスタの一例を示す図であり、図１３（ｂ）は、第２の実施形態に係る商品情報テーブルの一例を示す図であり、図１３（ｃ）は、第２の実施形態に係る棚卸情報テーブルの一例を示す図である。 第２の実施形態に係る商品登録処理を示すフローチャートである。 第２の実施形態に係る棚卸処理を示すフローチャートである。 変形例に係る棚卸処理を示すフローチャートである。

《第１の実施形態》
以下、商品管理システムの第１の実施形態について、図１～図１０に基づいて詳細に説明する。本第１の実施形態の商品管理システム１００は、スーパーマーケットなどの小売店において、商品（袋詰めや箱詰めされた加工食品等）の棚卸情報を管理するシステムである。図１には、商品管理システム１００のシステム構成が概略的に示されている。

図１に示すように、商品管理システム１００は、撮影機材１５と、商品情報管理装置及び商品管理装置としての管理装置１０と、店員端末７０と、を備える。管理装置１０と店員端末７０とは、インターネットやＬＡＮ（Local Area Network）などのネットワーク８０に接続されている。

（撮影機材１５）
撮影機材１５は、小売店において新たに棚卸情報等を管理する必要のある商品を撮影するために用いる機材である。撮影機材１５は、図１に示すように、ターンテーブル２０と、照明器具３０と、カメラ４０と、を有する。

ターンテーブル２０は、商品を搭載した状態でモータ等の駆動力により回転する台である。ターンテーブル２０は、管理装置１０からの指示を受けて回転することで、照明器具３０及びカメラ４０に対する商品の姿勢を変更する。

照明器具３０は、ターンテーブル２０近傍に設けられたポール３２に取り付けられており、ターンテーブル２０上に搭載される商品を照明する蛍光灯やＬＥＤランプ等を有する。照明器具３０は、管理装置１０からの指示を受けて、照度を調整する。なお、照明器具３０の高さ位置や設置角度についても、管理装置１０の制御の下、変更できるようになっていてもよい。

カメラ４０は、ターンテーブル２０近傍に設けられたポール４２に取り付けられている。カメラ４０は、管理装置１０からの指示を受けて、ターンテーブル２０上に搭載されている商品を撮影する。なお、カメラ４０の高さ位置や設置角度が、管理装置１０の制御の下、変更できるようになっていてもよい。

なお、照明器具３０が取り付けられているポール３２と、カメラ４０が取り付けられているポール４２の位置関係が、管理装置１０の制御の下、変更できるようになっていてもよい。

（管理装置１０）
管理装置１０は、カメラ４０を用いて撮影された画像を取得し、取得した画像から得られる情報を、商品と対応付けて管理する。また、管理装置１０は、店員端末７０と協働して、小売店における商品の棚卸情報を収集し、管理する。

図２（ａ）には、管理装置１０のハードウェア構成が示されている。管理装置１０は、サーバやＰＣ（Personal Computer）などの情報処理装置であり、図２（ａ）に示すように、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、ネットワークインタフェース９７、可搬型記憶媒体用ドライブ９９、表示部９３、及び入力部９５等を備えている。これら管理装置１０の構成各部は、バス９８に接続されている。表示部９３は、液晶ディスプレイ等を含み、入力部９５は、キーボード等を含む。

管理装置１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（商品情報管理プログラム及び商品管理プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラムをＣＰＵ９０が実行することにより、図３に示す各部の機能が実現されている。より具体的には、管理装置１０では、ＣＰＵ９０がプログラムを実行することで、撮影条件変更部５１、商品画像取得部としての画像取得部５２、バーコード情報取得部５３、生成部としての画像増殖部５５、モデル取得部及び処理部としての機械学習部５６、通信部５７、棚卸情報登録部５８、としての機能が実現されている。なお、図３には、管理装置１０のＨＤＤ９６等に格納されている各種ＤＢ（Database）やマスタなども図示されている。

撮影条件変更部５１は、ターンテーブル２０を回転したり、照明器具３０の照度を変更したり、カメラ４０の高さ位置を変更したりすることで、ターンテーブル２０上に搭載されている商品の撮影条件を変更する。

画像取得部５２は、カメラ４０を制御して撮影を行い、撮影した画像を取得する。画像取得部５２は、取得した画像を画像格納ＤＢ６１に格納する。なお、画像格納ＤＢ６１の１つの格納場所には、１つの商品について撮影条件を変更しながら撮影した複数枚（例えば１０００枚）の画像が格納されるものとする。

バーコード情報取得部５３は、カメラ４０を用いて商品を撮影した画像からバーコードを抽出し、抽出したバーコードから商品の識別情報（以下、バーコード情報と呼ぶ）を読み取り、取得する。バーコード情報取得部５３は、取得したバーコード情報を商品情報テーブル６４に格納する。なお、バーコード情報は、カメラ４０が撮影した画像から取得しなくてもよい。例えば、ターンテーブル２０近傍にバーコードリーダを設けておき、バーコードリーダによって読み取られたバーコード情報をバーコード情報取得部５３が取得するようにしてもよい。

ここで、商品情報テーブル６４は、図４（ａ）に示すように、「バーコード」と「モデルＩＤ」とを関連付けて格納するテーブルである。バーコード情報取得部５３が新たな商品のバーコード情報を取得すると、商品情報テーブル６４の「バーコード」のフィールドに新たな商品のバーコード情報を格納する。また、後述する機械学習部５６により新たな商品の画像を用いた機械学習が行われると、機械学習の結果として得られたモデルの識別情報（モデルＩＤ）が、新たな商品のバーコード情報と対応付けて「モデルＩＤ」のフィールドに格納される。

図３に戻り、画像増殖部５５は、画像取得部５２が取得し、画像格納ＤＢ６１に格納された画像を用いて、画像を増殖する処理を実行する。なお、画像の増殖処理の詳細については後述する。画像増殖部５５は、増殖処理の結果得られた画像を、画像格納ＤＢ６１に格納する。

機械学習部５６は、画像取得部５２が取得した画像、及び画像増殖部５５の増殖処理の結果得られた画像を画像格納ＤＢ６１から読み出し、機械学習する。そして、機械学習部５６は、機械学習の結果得られたモデルを学習結果ＤＢ６３に格納する。また、機械学習部５６は、モデルの識別情報（モデルＩＤ）を商品情報テーブル６４に格納する。なお、機械学習部５６は、モデルＩＤに代えて又はモデルＩＤとともに、商品情報テーブル６４にモデルの格納場所（パス）の情報を格納することとしてもよい。

通信部５７は、店員端末７０において取得された商品が陳列される棚の画像を取得し、棚卸情報登録部５８に受け渡す。

棚卸情報登録部５８は、通信部５７から受け取った棚の画像に基づいて棚に商品の在庫があるか、ないか、及び正しい商品が適切に陳列されているかを判定し、判定結果を棚卸情報テーブル６５に登録する。ここで、棚卸情報登録部５８は、商品マスタ６２を利用して、棚卸情報テーブル６５を生成する。

商品マスタ６２は、商品の情報を管理するマスタである。なお、商品マスタ６２は、管理装置１０とは異なる装置（例えば商品を製造等する企業や、商品に関する情報を提供する企業のサーバなど）において管理されていてもよい。商品マスタ６２には、図４（ｂ）に示すように、「バーコード」、「商品名」、「価格」、「寸法」等の商品の情報が格納されている。

棚卸情報テーブル６５は、棚卸情報（棚に商品の在庫があるか否かの情報）を管理するテーブルである。棚卸情報テーブル６５には、図４（ｃ）に示すように、商品マスタ６２から取得した商品の情報（「バーコード」、「商品名」、「価格」、「寸法」など）や、「商品有無」、「棚卸日時」等の情報が格納されている。

（店員端末７０）
店員端末７０は、店員が店舗内を歩きながら棚を撮影し、撮影した画像を管理装置１０に送信するための端末である。図２（ｂ）には、店員端末７０のハードウェア構成が示されている。店員端末７０は、図２（ｂ）に示すように、ＣＰＵ１９０、ＲＯＭ１９２、ＲＡＭ１９４、記憶部（ここではＨＤＤ）１９６、ネットワークインタフェース１９７、カメラ１８９、表示部１９３、及び入力部１９５等を備えている。これら店員端末７０の構成各部は、バス１９８に接続されている。店員端末７０では、ＣＰＵ１９０がプログラムを実行することで、図３に示すように、画像取得部７２及び通信部７１としての機能が実現されている。

画像取得部７２は、店員がカメラ１８９を用いて撮影した棚の画像を取得する。また、通信部７１は、画像取得部７２が取得した棚の画像を管理装置１０の通信部５７に送信する。

（商品登録処理について）
次に、管理装置１０による商品登録処理について、図５のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。なお、本処理は、小売店が新たな商品の取り扱いを始める際に行われる処理であり、店員などの作業者による操作に応じて実行される処理である。

図５の処理においては、まず、ステップＳ１０において、撮影条件変更部５１が、商品がターンテーブル２０上に搭載された後、作業者によって開始ボタンが押されるまで待機する。なお、開始ボタンは、管理装置１０の入力部９５に含まれている。作業者がターンテーブル２０上に商品を載置し、開始ボタンを押すと、ステップＳ１２に移行する。

ステップＳ１２に移行すると、バーコード情報取得部５３が、カメラ４０を用いてターンテーブル２０上に搭載された商品のバーコード情報の読み取りを実行する。この場合、商品が置かれている姿勢によってはバーコードを読み取ることができない場合がある。したがって、バーコード情報取得部５３は、ターンテーブル２０を回転しつつ、カメラ４０により一定間隔で商品を撮影する処理を、バーコードの読み取りができるまで実行するものとする。

次いで、ステップＳ１４では、バーコード情報取得部５３が、商品情報テーブル６４にステップＳ１２で取得したバーコード情報を登録する。次いで、ステップＳ１６では、バーコード情報取得部５３が、ステップＳ１２で取得したバーコード情報に紐付く格納場所を画像格納ＤＢ６１に生成する。

次いで、ステップＳ１８では、撮影条件変更部５１が照明条件を変化させつつ、画像取得部５２がカメラ４０を制御し、商品の外観をカメラ４０で複数枚撮影する。この場合、撮影条件変更部５１は、例えばターンテーブル２０を回転したり、照明器具３０の照度を変更したり、カメラ４０の高さ位置を変更したりすることで、照明条件を変化させる。

次いで、ステップＳ２０では、画像取得部５２が、取得した画像を画像格納ＤＢ６１の対象の格納場所に保存する。一例として、画像取得部５２は、１つの商品に対して、１０００枚程度の画像を保存するものとする。

次いで、ステップＳ２２では、画像増殖部５５が、画像の増殖処理を実施するか否かを判断する。例えば、画像増殖部５５は、ステップＳ２０において保存した画像が機械学習に必要な所定枚数に満たない場合に、画像処理を実施すると判断する。ステップＳ２２の判断が肯定された場合には、ステップＳ２４に移行する。

ステップＳ２４では、画像増殖部５５が、画像格納ＤＢ６１内の画像を光の明るさで二値化し、光を反射している部分（箇所）を複数抽出する。図６（ａ）には、画像格納ＤＢ６１に格納された商品の画像の一例が示されている。この商品の画像には、袋の凹みや照明の当たり具合により、光を反射する部分が３か所存在している（符号Ｒ１～Ｒ３参照）。画像増殖部５５は、この図６（ａ）の画像を光の明るさで二値化することで、図６（ｂ）に示すような画像を得る。そして、画像増殖部５５は、図６（ｂ）の画像のうち、明るさが所定の閾値以上の部分を光を反射している部分として抽出する。なお、図６（ｂ）に示すように商品の画像の上端部と下端部には、明るさが閾値以上の箇所（元々白色の部分）があるが、画像増殖部５５は、所定の処理によりこれを除外するものとする。例えば、画像増殖部５５は、所定面積以上の部分を抽出しないこととすることで、商品の上端部と下端部の明るさが閾値以上の部分を抽出しないようにしてもよい。ただし、これに限らず、その他の処理により、商品の上端部と下端部の明るさが閾値以上の部分を除外するようにしてもよい。なお、図７（ａ）には、ステップＳ２４の処理により抽出された部分の画像が図示されている。なお、画像増殖部５５は、画像格納ＤＢ６１に格納されている複数の画像を取り出し、複数の画像それぞれから光を反射している部分を抽出することとしてもよい。

次いで、ステップＳ２６では、画像増殖部５５が、抽出した光を反射している部分を画像格納ＤＢ６１に格納している画像に合成して、画像を増殖する。この場合、画像増殖部５５は、図７（ａ）に示すような光を反射している部分の画像の中から１つを選択するとともに、画像格納ＤＢ６１に格納している画像を１つ選択する。また、画像増殖部５５は、選択した光を反射している部分の画像を合成する位置、大きさ、角度の少なくとも１つを変更しながら、多数の画像を合成する。そして、画像増殖部５５は、光を反射している部分の画像と画像格納ＤＢ６１に格納している画像とを異ならせて上記処理を繰り返し実行する。

ここで、光を反射している部分の画像を合成する位置を変更する場合、図７（ｂ）において矢印で示すように、所定ピクセルずつ移動しながら画像を合成する処理を繰り返す。また、光を反射している部分の画像の大きさを変更する場合、倍率をランダムに変更する。また、光を反射している部分の画像の角度を変更する場合、回転角をランダムに（例えば０．１～１の範囲で）変更する。このようにして画像を増殖することで、機械学習が可能な程度の数の画像を得る。そして、画像増殖部５５は、ステップＳ２６で合成した画像を画像格納ＤＢ６１（ステップＳ１６で生成された格納場所）に格納する。

次いで、ステップＳ２８では、機械学習部５６が、画像格納ＤＢ６１内の対象の格納場所に格納されている全画像を用いて機械学習を実行する。この機械学習としては、様々な技術を採用することができるが、例えば、論文「Quac V. Le, et al., "Building High-level Features Using Large Scale Unsupervised Learning," Intl. Conf. on Machine Learning (ICML) 2012」などの技術を採用することができる。この機械学習の結果、機械学習部５６は、画像に商品が含まれているか否かを判定するためのモデルを得ることができる。

次いで、ステップＳ３０では、機械学習部５６が、学習結果のモデルを学習結果ＤＢ６３に格納するとともに、バーコード情報に紐付けてモデルの識別情報（モデルＩＤ）を商品情報テーブル６４に保存する。以上により、図５の全処理が終了する。

なお、ステップＳ２２の判断が否定された場合、すなわち、画像の増殖処理を実施する必要がなかった場合には、ステップＳ２４、Ｓ２６の処理を実行せずに、ステップＳ２８に直接移行する。そして、機械学習部５６は、画像格納ＤＢ６１内の対象の格納場所に格納されている画像を用いて、ステップＳ２８、Ｓ３０の処理を実行する。以上により図５の全処理が終了する。

本第１の実施形態では、図５の処理を実行することで、作業者は、新たな商品をターンテーブル２０に乗せ、開始ボタンを押すのみで、後述する棚卸処理の際に利用する商品のモデルを、管理装置１０において自動的に生成し、管理することができる。

（品切れ箇所登録処理について）
次に、図８のフローチャートに沿って、商品が陳列されていない棚（品切れ箇所）のモデルを登録する処理について説明する。なお、店員などの作業者は、品切れ箇所の照明条件を変化させながら、様々な角度から複数枚の画像を撮影するものとする。また、図８の処理は、作業者が撮影した品切れ箇所の複数枚の画像が入力されたタイミングで実行される。

図８の処理では、まずステップＳ５０において、画像取得部５２が、照明条件を変化させながら品切れ箇所を撮影した複数枚の画像を取得する。次いで、ステップＳ５２では、画像取得部５２が、画像を画像格納ＤＢ６１の所定の格納場所（品切れ箇所用格納場所と呼ぶ）に保存する。

次いで、ステップＳ５４では、画像増殖部５５が、画像の増殖処理を実施するか否かを判断する。この場合、前述したステップＳ２２の処理と同様、品切れ箇所用格納場所に保存されている品切れ箇所の画像が所定枚数に満たない場合などにおいて、ステップＳ５４の判断が否定されるようにすればよい。

ステップＳ５４の判断が肯定されてステップＳ５６に移行すると、画像増殖部５５は、図５のステップＳ２４と同様、画像格納ＤＢ６１の品切れ箇所用格納場所に格納されている品切れ箇所の画像を光の明るさで二値化し、光を反射している部分を複数抽出する。また、次のステップＳ５８では、画像増殖部５５が、図５のステップＳ２６と同様の方法により、光を反射している部分を画像格納ＤＢ６１の品切れ箇所用格納場所に格納されている品切れ箇所の画像に合成して、画像を増殖する。その後は、ステップＳ６０に移行する。

ステップＳ６０では、機械学習部５６が、図５のステップＳ２８と同様、画像格納ＤＢ６１の品切れ箇所用格納場所に格納されている全画像を用いて機械学習を行う。そして、ステップＳ６２では、機械学習部５６が、学習結果のモデルを学習結果ＤＢ６３に格納する。以上により図８の全処理が終了する。

本第１の実施形態では、図８の処理を実行することで、後述する棚卸処理の際に利用する品切れ箇所のモデルを、管理装置１０において生成し、管理することができる。

（棚卸処理について）
次に、棚卸処理について、図９のフローチャートに沿って、その他図面を適宜参照しつつ、詳細に説明する。なお、図９の処理は、店員端末７０の画像取得部７２が、店員の操作の下、商品を陳列する棚の画像を取得し、取得した画像が通信部７１を介して管理装置１０の通信部５７に送信されてきた段階で開始される。なお、棚の画像とは、一例として、図１０に示すような画像であるものとする。棚には、商品の陳列位置に対応付けて、各商品のプライスカード１１が設けられているものとする。プライスカード１１には、商品名や価格の他、商品のバーコードが記載されているものとする。

図９の処理では、まず、ステップＳ７０において、棚卸情報登録部５８が、プライスカード１１のバーコードが撮影された画像（図１０参照）を取得する。なお、画像にバーコードが含まれない場合には、棚卸情報登録部５８は、通信部５７を介して店員端末７０にエラーを出力し、店員に対して撮影のやり直しを要求すればよい。

次いで、ステップＳ７２では、棚卸情報登録部５８が、商品マスタ６２を参照する。次いで、ステップＳ７４では、棚卸情報登録部５８が、商品マスタ６２に該当する商品（取得したバーコード情報が一致する商品）が存在するか否かを判断する。このステップＳ７４の判断が否定された場合には、ステップＳ７６に移行し、棚卸情報登録部５８は、通信部５７を介して店員端末７０に対してエラーを出力し、ステップＳ９６に移行する。一方、ステップＳ７４の判断が肯定された場合には、ステップＳ７８に移行する。

ステップＳ７８に移行すると、棚卸情報登録部５８は、商品を撮影した画像を取得する。なお、棚卸情報登録部５８は、撮影すべき商品を特定したうえで、通信部５７を介して店員端末７０に対して撮影を促す指示を出すようにしてもよい。店員端末７０では、当該指示を表示部９３に表示することで、店員に商品の画像を撮影させることができる。

次いで、ステップＳ８０では、棚卸情報登録部５８が、商品のバーコードに対応するモデルを抽出する。具体的には、棚卸情報登録部５８は、商品情報テーブル６４を参照して、ステップＳ７０において得られたバーコード情報と対応するモデルＩＤを特定する。そして、特定したモデルＩＤに基づいて、学習結果ＤＢ６３から撮影された商品に対応するモデルを抽出する。

次いで、ステップＳ８２では、棚卸情報登録部５８が、抽出したモデルとステップＳ７８で取得した撮影画像を用いて、撮影した商品が抽出したモデルの商品と一致するかを判定する。次いで、ステップＳ８４では、棚卸情報登録部５８が、撮影した商品が抽出したモデルの商品と一致していたかを判断し、判断が肯定された場合には、ステップＳ８６に移行する。

ステップＳ８６に移行すると、棚卸情報登録部５８は、「商品あり」として棚卸情報テーブル６５を更新する。なお、棚卸情報テーブル６５に商品の情報が存在しない場合には、商品マスタ６２の商品の情報をコピーする。その後は、ステップＳ９６に移行する。

一方、ステップＳ８４の判断が否定されると、ステップＳ８８に移行し、棚卸情報登録部５８は、学習結果ＤＢ６３に格納されている品切れ箇所のモデルと撮影された画像を用いて、撮影された画像は品切れ箇所の画像であるか否かを判定する。次いで、ステップＳ９０では、棚卸情報登録部５８が、品切れ箇所か否かを判断する。このステップＳ９０の判断が肯定された場合には、ステップＳ９２に移行し、棚卸情報登録部５８は、「品切れ」として棚卸情報テーブル６５を更新する。その後は、ステップＳ９６に移行する。

これに対し、ステップＳ９０の判断が否定された場合には、ステップＳ９４に移行し、棚卸情報登録部５８は、「別商品が置かれている」として通信部５７を介して店員端末７０に対しエラーを出力する。なお、店員は、エラーに基づいて、別商品を正しい位置に直すことができる。その後は、ステップＳ９６に移行する。

ステップＳ７６、Ｓ８６、Ｓ９２、Ｓ９４のいずれかを経て、ステップＳ９６に移行すると、棚卸情報登録部５８は、全商品の棚卸が終了したか否かを判断する。このステップＳ９６の判断が否定されると、ステップＳ９８に移行し、棚卸情報登録部５８は、処理対象を次の商品として、ステップＳ７０に戻る。その後は、ステップＳ７０以降の処理を上述したのと同様に実行する。一方、ステップＳ９６の判断が肯定された場合には、図９の全処理を終了する。

本第１の実施形態では、図９の処理を実行することで、店員がプライスカード１１の画像及び商品の陳列棚の画像を撮影するだけで、棚卸処理を行うことができる。

これまでの説明からわかるように、本第１の実施形態では、学習結果ＤＢ６３及び商品情報テーブルを含んで、機械学習の結果として得られるモデルと、商品の識別情報（バーコード情報）とを関連付けて記憶する記憶部が実現されている。また、本第１の実施形態では、棚卸情報登録部５８により、商品が陳列される棚から商品のバーコードを取得する商品情報取得部、棚の画像を取得する棚画像取得部、商品情報テーブル６４及び学習結果ＤＢ６３を参照してバーコード情報に対応するモデルを取得し、取得したモデルと取得した棚の画像とを用いて、棚に商品が存在するか否かを判定する判定部、としての機能が実現されている。

以上、詳細に説明したように、本第１の実施形態によると、画像取得部５２が、商品の画像を取得し（Ｓ１８）、画像増殖部５５が、取得した商品の画像に対して、光を反射している部分の画像を合成することで新たな画像を複数生成し（Ｓ２６）、機械学習部５６が、生成した複数の新たな画像を用いて機械学習を行い（Ｓ２８）、学習結果としてモデルを取得する。そして、機械学習部５６は、取得したモデルと、商品の識別情報（バーコード）とを関連付けて商品情報テーブル６４及び学習結果ＤＢ６３に記憶する。これにより、本第１の実施形態では、取得した商品の画像に光を反射している部分の画像を合成することで、機械学習に用いる多数の画像を生成するため、機械学習に用いる多数の画像を撮影する場合と比べて、作業者の作業負担を軽減することができる。また、商品の画像を撮影する枚数を低減することができるため、機械学習に必要な画像を用意するのに要する時間を短縮することができる。特に、スーパーマーケットなどの小売店では、商品数が数千～数万点と非常に多く、また、新商品も次々に取り扱い始めなければならないため、商品登録における作業者負担の軽減効果は非常に大きい。また、機械学習により得られたモデルを商品のバーコードと関連付けておくことで、実際の棚卸作業の際に適切な位置に適切な商品が陳列されているか否かを、棚の画像から自動的に判断することができる。

また、本第１の実施形態では、画像増殖部５５は、光を反射している部分の画像を合成する位置、大きさ、角度の少なくとも１つを変更しつつ、複数の画像を合成する。これにより、光を反射している部分の抽出個数が少なくても、多数の画像を合成することが可能である。

また、本第１の実施形態では、光を反射している部分の画像を、同一の商品の画像から抽出することとしているので、別の種類の商品の画像から光を反射している部分の画像を抽出する場合よりも適切な画像を生成することができる。

また、本第１の実施形態では、棚卸情報登録部５８は、商品が陳列される棚のプライスカード１１からある商品のバーコード情報を取得し（Ｓ７０）、棚の画像を取得し（Ｓ７８）、商品情報テーブル６４を参照して、取得した商品のバーコードに対応するモデルを学習結果ＤＢ６３から抽出し（Ｓ８０）、抽出したモデルと取得した画像とを用いて、棚に商品が存在しているか否かを判定する（Ｓ８２）。これにより、店員がプライスカード１１の画像及び商品の陳列棚の画像を撮影するだけで、棚に商品が存在しているか、正しい商品が陳列されているかを自動的に特定し、棚卸情報テーブル６５を更新することができる。したがって、棚卸情報を更新する際の店員の作業負担を軽減することができる。

また、本第１の実施形態では、学習結果ＤＢ６３には、商品が何も陳列されていない状態の棚（品切れ箇所）の画像を用いて機械学習した結果得られたモデルが記憶されており、図９のステップＳ８８において、棚卸情報登録部５８は、該モデルと、取得した棚の画像とを用いて、棚に商品が何も陳列されていないかを判定する。これにより、棚が品切れ状態か、別の商品が置かれているかを判定することができるため、別の商品が置かれている場合にエラーを出力することができる（ステップＳ９４）。

なお、上記第１の実施形態では、棚卸の際に、店員が店員端末７０を操作して棚の画像を撮影する場合について説明したが、これに限られるものではない。例えば、カメラを有する自立移動型のロボットや自立式の無人航空機（ドローン）が店内を移動しながら棚の画像を撮影してもよい。また、棚近傍に固定されたカメラにより棚の画像を撮影することとしてもよい。

なお、上記第１の実施形態では、図５の処理を実行する際に、光を反射している部分を予め用意しておいてもよい。例えば、袋の商品や箱の商品など、包装の種別ごとに、光を反射している部分の画像を用意しておき、新たな商品の包装の種別に応じて、適切な画像を抽出して、合成に用いることとしてもよい。また、品切れ箇所のモデルは、各小売店で用意しなくてもよく、複数の小売店において共用することとしてもよい。

なお、上記第１の実施形態では、棚卸情報登録部５８が、図９のステップＳ７０において、プライスカード１１に記載されたバーコードから棚に陳列される商品の情報を取得する場合について説明したが、棚に陳列される商品の情報はバーコード以外から取得することとしてもよい。例えば、棚にＲＦＩＤ（radio frequency identifier）タグ等を設けておき、ＲＦＩＤタグ等から商品の情報を取得するようにしてもよい。

《第２の実施形態》
以下、第２の実施形態に係る商品管理システム１００’について、図１１～図１５に基づいて詳細に説明する。なお、第１の実施形態の商品管理システム１００と同一又は同等の構成についての説明は省略するものとする。

図１１には、第２の実施形態に係る商品管理システム１００’の構成が概略的に示されている。図１１に示すように、第２の実施形態の商品管理システム１００’は、重量センサ５０と管理装置１０とが無線通信可能であるとともに、重量センサ５０と店員端末７０とが無線通信可能である。

作業者は、新たな商品の情報を管理装置１０において登録する場合には、管理装置１０の近傍に、新たな商品が陳列される棚に設けられる重量センサ５０を配置するものとする。なお、重量センサ５０は、通常は、商品が陳列される棚に設置され、商品の個数の判別に用いる特徴量として、商品の重量（商品が複数陳列される場合には総重量）を計測する。

第２実施形態の管理装置１０は、図１２に示すように、第１の実施形態で説明した機能に加えて、重量センサ情報取得部５９としての機能を有する。ここで、本第２の実施形態の商品管理システム１００’においては、ターンテーブル２０に重量センサが内蔵されている。これにより、ターンテーブル２０上に商品が搭載されたときに、商品の重量を検出することができる。重量センサ情報取得部５９は、ターンテーブル２０上に搭載された商品の重量の情報を取得する。また、管理装置１０の近傍に配置された重量センサ５０と無線通信を行い、重量センサ５０の識別情報（重量センサＩＤであり、例えばＭＡＣアドレスやＲＦＩＤ）を取得する。

重量センサ情報取得部５９は、商品のバーコード情報に対応付けて、取得した商品の重量の情報を商品マスタ６２に格納するとともに、取得した重量センサ５０の情報（重量センサＩＤ）を商品情報テーブル６４に格納する。すなわち、重量センサ情報取得部５９は、商品の個数の判別に用いる特徴量と、特徴量を検出するセンサの識別情報を取得して、バーコード情報と対応付けて商品マスタ６２及び商品情報テーブル６４に記憶する特徴量記憶処理部としての機能を有する。ここで、図１３（ａ）には、本第２の実施形態の商品マスタ６２が示されている。図１３（ａ）に示すように、商品マスタ６２には、第１の実施形態で説明した情報に加え、「重量」の情報が格納される。また、図１３（ｂ）には、本第２の実施形態の商品情報テーブル６４が示されている。図１３（ｂ）に示すように、商品情報テーブル６４には、第１の実施形態で説明した「バーコード」、「モデルＩＤ」の情報に加え、「重量センサＩＤ」の情報も格納される。

図１３（ｃ）には、本第２の実施形態の棚卸情報テーブル６５が示されている。図１３（ｃ）に示すように、棚卸情報テーブル６５には、第１の実施形態の「商品有無」の情報（図４（ｃ））に代えて、「棚にある個数」及び「品出し閾値」の情報が格納される。本実施形態では、重量センサ５０を用いて検出される商品の重量に基づいて商品の個数を求め、棚卸情報テーブル６５において管理する。なお、管理装置１０は、棚卸情報テーブル６５において管理する商品の個数が品出し閾値を超えた場合に、店員端末７０に対して品出し指示を出すようにしている。なお、商品マスタ６２において「重量」の情報が最初から管理されている場合もある。この場合には、ターンテーブル２０において商品の重量を計測しなくてもよい。

（商品登録処理について）
次に、図１４のフローチャートに基づいて、本第２の実施形態における商品登録処理について説明する。

図１４の処理では、ステップＳ１４とＳ１６の間に、ステップＳ１５の処理を実行する点が第１の実施形態（図５）と異なっている。なお、図１４の処理が実行される場合、作業者は、管理装置１０の近傍に、新たな商品に対応する重量センサ５０を配置しているものとする。

ステップＳ１５では、棚卸情報登録部５８は、ターンテーブル２０で測定した重量を取得して商品マスタ６２に登録するとともに、無線通信した重量センサ５０の識別情報（重量センサＩＤ）を商品情報テーブル６４に登録する。なお、管理装置１０が無線通信可能な範囲には、新たな商品に対応する重量センサ５０以外は配置しないか、電源をオフにしておき、新たな商品に対応する重量センサ５０以外と管理装置１０とが無線通信を行わないようにするものとする。

上述したステップＳ１５以外の処理は、上記第１の実施形態と同様である。また、品切れ箇所登録処理については、上記第１の実施形態（図８）と同様である。

（棚卸処理について）
次に、図１５のフローチャートに基づいて、本第２の実施形態における棚卸処理について説明する。図１５の処理では、ステップＳ８４の判断が肯定された場合に、上記第１の実施形態で説明したステップＳ８６に代えて、ステップＳ８７Ａ，Ｓ８７Ｂの処理を実行する点に特徴を有する。

ステップＳ８４の判断が肯定された場合、すなわち、商品が適切な棚に陳列されている場合には、ステップＳ８７Ａに移行し、重量センサ情報取得部５９は、商品情報テーブル６４から、現在棚卸処理を行っている商品（ステップＳ７０で取得したバーコード情報）に対応する重量センサＩＤを取得し、取得した重量センサＩＤの重量センサ５０と無線通信して得られた重量（商品の総重量）の情報を取得する。

次いで、ステップＳ８７Ｂでは、商品マスタ６２に登録されている商品の重量で、ステップＳ８７Ａで取得した総重量を割ることで、商品の個数を特定し、特定した個数を棚卸情報テーブル６５に登録する。これにより、本第２の実施形態では、棚卸情報テーブル６５において、商品の個数を管理することができる。

その他の処理については、上記第１の実施形態と同様となっている。

以上説明したように、本第２の実施形態によると、商品の重量と、棚において商品の重量を検出する重量センサ５０の識別情報とを、商品の識別情報（バーコード情報）と対応付けて管理している。これにより、棚卸情報登録部５８は、商品が適切に陳列されている場合に、重量センサ５０を用いて測定される商品の総重量から陳列されている個数を求め、棚卸情報テーブル６５に登録することができる。したがって、より詳細な棚卸情報を棚卸情報テーブル６５に登録することができる。

なお、上記第２の実施形態では、図１４の商品登録処理において、管理装置１０が重量センサ５０と無線通信することで、重量センサＩＤを取得する場合について説明したが、これに限られるものではない。例えば、管理装置１０は、ＵＳＢケーブル等を介して接続された重量センサ５０から重量センサＩＤを取得するようにしてもよい。また、管理装置１０は、その他の手段により、重量センサＩＤを取得することとしてもよい。

（変形例）
なお、上記第２の実施形態では、図１５のステップＳ８８において、品切れ箇所のモデルを用いることとしているが、これに限られるものではない。例えば、図１６に示すように、ステップＳ８８、Ｓ９０に代えて、ステップＳ８９Ａ、Ｓ８９Ｂの処理を実行することとしてもよい。

図１６の処理では、ステップＳ８４の判断が否定された場合、すなわち、棚に適切な商品が陳列されていない場合に、ステップＳ８９Ａに移行し、棚卸情報登録部５８は、ステップＳ８７Ａと同様にして重量センサ５０から商品の総重量を取得する。次いで、ステップＳ８９Ｂでは、棚卸情報登録部５８は、総重量が０であるか否かを判断する。このステップＳ８９Ｂの判断が肯定された場合には、棚に商品が陳列されていない状態であるので、ステップＳ９２に移行して、棚卸情報登録部５８は、「品切れ」として棚卸情報テーブル６５を更新する。

一方、ステップＳ８９Ｂの判断が否定された場合には、ステップＳ９４に移行し、棚卸情報登録部５８は、「別商品が置かれている」として通信部５７を介して店員端末７０に対しエラーを出力する。

その他の処理は、上述した第２の実施形態と同様である。

以上のように、本変形例によれば、品切れ箇所のモデルを用意しなくてもよい（図８の処理を実行しなくてもよい）ため、処理を簡素化することができる。

なお、上記第２の実施形態及び変形例では、商品の個数の判別に用いる特徴量として商品の重量を計測する場合について説明したが、これに限らず、商品の個数の判別に用いることが可能な特徴量であれば、例えば静電容量センサを用いて計測される静電容量など、その他の特徴量を用いることとしてもよい。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上の第１、第２の実施形態及び変形例の説明に関して、更に以下の付記を開示する。
（付記１） 商品の画像を取得し、
取得した前記商品の画像に対して、光を反射する箇所の画像を合成することで新たな画像を複数生成し、
生成した複数の新たな画像を用いて機械学習を行い、学習結果としてモデルを取得し、
取得した前記モデルと、前記商品の識別情報とを関連付けて記憶部に記憶する、処理をコンピュータに実行させるための商品情報管理プログラム。
（付記２） 前記新たな画像を複数生成する処理では、前記光を反射する箇所の画像を合成する位置、前記光を反射する箇所の画像の大きさ、前記光を反射する箇所の画像の角度の少なくとも１つを変更しつつ、複数の画像を生成する、ことを特徴とする付記１に記載の商品情報管理プログラム。
（付記３） 前記光を反射する箇所の画像を、前記商品の画像から抽出する、処理を前記コンピュータに更に実行させる、ことを特徴とする付記１又は２に記載の商品情報管理プログラム。
（付記４） 前記商品の個数の判別に用いる特徴量と、該特徴量を検出するセンサの識別情報と、を取得し、
前記商品の識別情報と関連付けて、該商品の個数の判別に用いる特徴量と、該商品の特徴量を検出するセンサの識別情報と、を前記記憶部に記憶する、処理を前記コンピュータに更に実行させることを特徴とする付記１～３のいずれかに記載の商品情報管理プログラム。
（付記５） 特定の商品が陳列される棚から該特定の商品の識別情報を取得し、
前記棚の画像を取得し、
付記１～４のいずれかに記載の商品情報管理プログラムを用いて情報が記憶された前記記憶部を参照して、取得した前記特定の商品の識別情報に対応するモデルを取得し、取得した該モデルと取得した前記棚の画像とを用いて、前記棚に前記特定の商品が存在するか否かを判定する、処理をコンピュータに実行させるための商品管理プログラム。
（付記６） 前記記憶部には、前記商品の識別情報と関連付けて、該商品の個数の判別に用いる特徴量と、該商品の特徴量を検出するセンサの識別情報と、が記憶されており、
前記コンピュータに、
前記記憶部を参照して、前記特定の商品に対応するセンサの識別情報を取得し、取得した該識別情報に対応するセンサの検出結果と前記特定の商品の特徴量とから、前記棚に陳列されている前記特定の商品の個数を判定する、処理を更に実行させることを特徴とする付記５に記載の商品管理プログラム。
（付記７） 前記記憶部には、商品が何も陳列されていない状態の棚の画像を用いて機械学習した結果得られた、棚の画像のモデルが記憶されており、
前記コンピュータに、
前記棚の画像のモデルと、取得した前記棚の画像とを用いて、前記棚に商品が何も陳列されていないかを判定する、処理を更に実行させることを特徴とする付記５又は６に記載の商品管理プログラム。
（付記８） 商品の画像を取得し、
取得した前記商品の画像に対して、光を反射する箇所の画像を合成することで新たな画像を複数生成し、
生成した複数の新たな画像を用いて機械学習を行い、学習結果としてモデルを取得し、
取得した前記モデルと、前記商品の識別情報とを関連付けて記憶部に記憶する、処理をコンピュータが実行することを特徴とする商品情報管理方法。
（付記９） 特定の商品が陳列される棚から該特定の商品の識別情報を取得し、
前記棚の画像を取得し、
付記８に記載の商品情報管理方法を用いて情報が記憶された前記記憶部を参照して、取得した前記特定の商品の識別情報に対応するモデルを取得し、取得した該モデルと取得した前記棚の画像とを用いて、前記棚に前記特定の商品が存在するか否かを判定する、処理をコンピュータが実行することを特徴とする商品管理方法。
（付記１０） 商品の画像を取得する商品画像取得部と、
取得した前記商品の画像に対して、光を反射する箇所の画像を合成することで新たな画像を複数生成する生成部と、
生成した複数の新たな画像を用いて機械学習を行い、学習結果としてモデルを取得するモデル取得部と、
取得した前記モデルと、前記商品の識別情報とを関連付けて記憶部に記憶する処理部と、
を備える商品情報管理装置。
（付記１１） 前記生成部は、前記光を反射する箇所の画像を合成する位置、前記光を反射する箇所の画像の大きさ、前記光を反射する箇所の画像の角度の少なくとも１つを変更しつつ、複数の画像を生成する、ことを特徴とする付記１０に記載の商品情報管理装置。
（付記１２） 前記生成部は、前記光を反射する箇所の画像を、前記商品の画像から抽出することを特徴とする付記１０又は１１に記載の商品情報管理装置。
（付記１３） 前記商品の個数の判別に用いる特徴量と、該特徴量を検出するセンサの識別情報と、を取得し、前記商品の識別情報と関連付けて、該商品の個数の判別に用いる特徴量と、該商品の特徴量を検出するセンサの識別情報と、を前記記憶部に記憶する特徴量記憶処理部を更に備える付記１０～１２のいずれか一項に記載の商品情報管理装置。
（付記１４） 特定の商品が陳列される棚から該特定の商品の識別情報を取得する商品情報取得部と、
前記棚の画像を取得する棚画像取得部と、
付記１０～１３のいずれかに記載の商品情報管理装置を用いて情報が記憶された前記記憶部を参照して、取得した前記特定の商品の識別情報に対応するモデルを取得し、取得した該モデルと取得した前記棚の画像とを用いて、前記棚に前記特定の商品が存在するか否かを判定する判定部と、を備える商品管理装置。
（付記１５） 前記記憶部には、前記商品の識別情報と関連付けて、該商品の個数の判別に用いる特徴量と、該商品の特徴量を検出するセンサの識別情報と、が記憶されており、
前記判定部は、前記記憶部を参照して、前記特定の商品に対応するセンサの識別情報を取得し、取得した該識別情報に対応するセンサの検出結果と前記特定の商品の特徴量とから、前記棚に陳列されている前記特定の商品の個数を判定する、ことを特徴とする付記１４に記載の商品管理装置。
（付記１６） 前記記憶部には、商品が何も陳列されていない状態の棚の画像を用いて機械学習した結果得られた、棚の画像のモデルが記憶されており、
前記判定部は、前記棚の画像のモデルと、取得した前記棚の画像とを用いて、前記棚に商品が何も陳列されていないかを判定する、ことを特徴とする付記１４又は１５に記載の商品管理装置。

１０ 管理装置（商品情報管理装置、商品管理装置）
５２ 画像取得部（商品画像取得部）
５５ 画像増殖部（生成部）
５６ 機械学習部（モデル取得部、処理部）
５８ 棚卸情報登録部（商品情報取得部、棚画像取得部、判定部）
５９ 重量センサ情報取得部（特徴量記憶処理部）
６３ 学習結果ＤＢ（記憶部の一部）
６４ 商品情報テーブル（記憶部の一部）

Claims (10)

1. 商品の画像を取得し、
   取得した前記商品の画像に対して、光を反射する箇所の画像を合成する位置、前記光を反射する箇所の画像の大きさ、前記光を反射する箇所の画像の角度の少なくとも１つを変更しつつ、複数の画像を生成し、
   生成した複数の新たな画像を用いて機械学習を行い、学習結果としてモデルを取得し、
   取得した前記モデルと、前記商品の識別情報とを関連付けて記憶部に記憶する、処理をコンピュータに実行させるための商品情報管理プログラム。
2. 前記光を反射する箇所の画像を、前記商品の画像から抽出する、処理を前記コンピュータに更に実行させる、ことを特徴とする請求項１に記載の商品情報管理プログラム。
3. 前記商品の個数の判別に用いる特徴量と、該特徴量を検出するセンサの識別情報と、を取得し、
   前記商品の識別情報と関連付けて、該商品の個数の判別に用いる特徴量と、該商品の特徴量を検出するセンサの識別情報と、を前記記憶部に記憶する、処理を前記コンピュータに更に実行させることを特徴とする請求項１又は２に記載の商品情報管理プログラム。
4. 特定の商品が陳列される棚から該特定の商品の識別情報を取得し、
   前記棚の画像を取得し、
   前記記憶部を参照して、取得した前記特定の商品の識別情報に対応するモデルを取得し、取得した該モデルと取得した前記棚の画像とを用いて、前記棚に前記特定の商品が存在するか否かを判定する、処理を前記コンピュータに更に実行させることを特徴とする請求項１又は２に記載の商品情報管理プログラム。
5. 前記商品の識別情報と関連付けて、該商品の個数の判別に用いる特徴量と、該商品の特徴量を検出するセンサの識別情報と、を前記記憶部に記憶し、
   前記記憶部を参照して、前記特定の商品に対応するセンサの識別情報を取得し、取得した該識別情報に対応するセンサの検出結果と前記特定の商品の特徴量とから、前記棚に陳列されている前記特定の商品の個数を判定する、処理を前記コンピュータに更に実行させることを特徴とする請求項４に記載の商品情報管理プログラム。
6. 商品が何も陳列されていない状態の棚の画像を用いて機械学習した結果得られた、棚の画像のモデルを前記記憶部に記憶し、
   前記棚の画像のモデルと、取得した前記棚の画像とを用いて、前記棚に商品が何も陳列されていないかを判定する、処理を前記コンピュータに更に実行させることを特徴とする請求項４又は５に記載の商品情報管理プログラム。
7. 商品の画像を取得し、
   取得した前記商品の画像に対して、光を反射する箇所の画像を合成する位置、前記光を反射する箇所の画像の大きさ、前記光を反射する箇所の画像の角度の少なくとも１つを変更しつつ、複数の画像を生成し、
   生成した複数の新たな画像を用いて機械学習を行い、学習結果としてモデルを取得し、
   取得した前記モデルと、前記商品の識別情報とを関連付けて記憶部に記憶する、処理をコンピュータが実行することを特徴とする商品情報管理方法。
8. 特定の商品が陳列される棚から該特定の商品の識別情報を取得し、
   前記棚の画像を取得し、
   前記記憶部を参照して、取得した前記特定の商品の識別情報に対応するモデルを取得し、取得した該モデルと取得した前記棚の画像とを用いて、前記棚に前記特定の商品が存在するか否かを判定する、処理を前記コンピュータが更に実行することを特徴とする請求項７に記載の商品情報管理方法。
9. 商品の画像を取得する商品画像取得部と、
   取得した前記商品の画像に対して、光を反射する箇所の画像を合成する位置、前記光を反射する箇所の画像の大きさ、前記光を反射する箇所の画像の角度の少なくとも１つを変更しつつ、複数の画像を生成する生成部と、
   生成した複数の新たな画像を用いて機械学習を行い、学習結果としてモデルを取得するモデル取得部と、
   取得した前記モデルと、前記商品の識別情報とを関連付けて記憶部に記憶する処理部と、
   を備える商品情報管理装置。
10. 特定の商品が陳列される棚から該特定の商品の識別情報を取得する商品情報取得部と、
    前記棚の画像を取得する棚画像取得部と、
    前記記憶部を参照して、取得した前記特定の商品の識別情報に対応するモデルを取得し、取得した該モデルと取得した前記棚の画像とを用いて、前記棚に前記特定の商品が存在するか否かを判定する判定部と、を更に備える請求項９に記載の商品情報管理装置。

Images