JP7841738B2 - 商品候補提示装置、電子秤、商品候補提示システム及び商品候補提示方法 - Google Patents

Description

本発明は、商品候補提示装置、電子秤、商品候補提示システム及び商品候補提示方法に関する。

商品候補提示装置は、商品の画像を取得する取得部と、画像に基づいて商品群から商品の候補を推定する推定部と、推定部によって推定された商品の候補を提示する提示部と、を備える（例えば、特許文献１参照）。

特許６１７７０６８号公報

商品候補提示装置において、新製品等の新たな商品（以下、「新商品」と称する。）が登録された場合、商品を推定する学習済みモデルにおいて新商品に該当するデータがなかったり、学習済みモデルの学習が不十分であったりするため、新商品については商品群から推定され難い。商品候補提示装置では、推定された商品の候補の少なくとも一部が、推定結果順（商品として尤もらしい順）に表示される。この場合、商品群から推定され難い新商品は、推定結果において上位には表示されない。提示部において、商品の選択画面が複数にわたって表示される場合や、商品の選択画面がスクロールによって表示される場合には、新商品が最後の方の画面やスクロールの下方に表示され得る。そのため、新商品については、商品選択に手間を要していた。

本発明の一側面は、商品選択に要する手間を低減することができる商品候補提示装置、電子秤、商品候補提示システム及び商品候補提示方法を提供することを目的とする。

本発明の一側面に係る商品候補提示装置は、撮像された商品の画像に基づいて、商品の候補をユーザに選択させせるために提示する商品候補提示装置であって、商品の画像を取得する取得部と、画像に基づいて商品群から商品の候補を推定する推定部と、商品群において所定の条件を満たす商品を特定商品として記憶する記憶部と、推定部によって推定された商品の候補と、記憶部に記憶されている特定商品とを提示する提示部と、を備える。

本発明の一側面に係る商品候補提示装置では、記憶部において商品群において所定の条件を満たす商品を特定商品として記憶し、提示部において推定部によって推定された商品の候補と、記憶部に記憶されている特定商品とを提示する。この構成では、例えば、新商品を特定商品として記憶部に記憶することによって、推定部によって推定された商品の候補と同等に特定商品を提示部に提示することができる。そのため、提示部において、商品の選択画面が複数にわたって表示される場合や、商品の選択画面がスクロールによって表示される場合であっても、新商品が最後の方の画面やスクロールの下方に表示されることを回避できる。したがって、商品候補提示装置では、商品選択に要する手間を低減することができる。

一実施形態においては、推定部は、学習済みモデルによって商品の候補を推定してもよい。学習済みモデルによって商品の候補を推定する構成では、推定部において新商品が推定され難い。そのため、新商品を特定商品として記憶して提示部に表示させる構成は、学習済みモデルによって商品の候補を推定する場合において特に有効である。

一実施形態においては、所定の条件は、商品が登録されてから所定の期間内である場合、商品に対応する学習済みモデルがない場合、及び、特定商品として指定されている場合の少なくとも一つであってもよい。新商品は、商品が登録されてから所定の期間内である場合や、商品に対応する学習済みモデルがない場合に該当する。また、ユーザが任意に商品を特定商品として設定したい場合もある。したがって、所定の条件を上記内容に設定することにより、特定商品として記憶部に記憶させることができる。

一実施形態においては、記憶部は、提示部における提示に対して特定商品が選択された場合、取得部によって取得された画像と特定商品とを対応付けて記憶してもよい。この構成では、画像と特定商品とを対応付けたデータを学習済みモデルの教師データとして使用することができる。これにより、推定部における特定商品の推定精度の向上を図ることができる。

一実施形態においては、提示部は、商品群に複数の特定商品が含まれる場合、複数の特定商品のそれぞれについての推定部における推定結果に基づいて、複数の特定商品の提示の順番を変更してもよいも。この構成では、複数の特定商品について、例えば商品として尤もらしい順に掲示することができる。

一実施形態においては、提示部は、推定部によって推定された商品の候補を第一画面に提示すると共に、記憶部に記憶されている特定商品を第一画面とは異なる第二画面に表示してもよい。この構成では、推定部によって推定された商品の候補と特定商品とが別の画面に表示されため、特定商品を一見して確認することができる。

一実施形態においては、提示部は、推定部の推定結果において、特定商品の尤度が商品群において所定の順位内である場合には、特定商品を第一画面に提示してもよい。この構成では、画像に基づく商品が特定商品である可能性が高い場合には、第二画面ではなく第一画面に特定商品が掲示される。そのため、特定商品を選択し易くなる。

本発明の一側面に係る電子秤は、上記の商品候補提示装置と、商品の重量を計量する計量部と、商品候補提示装置で提示された候補の中から商品を選択する選択部と、選択部において選択された商品と計量部において計量された当該商品の重量とに基づいて、商品の価格を算出する算出部と、を備える。

本発明の一側面に係る電子秤では、上記の商品候補提示装置を備えている。したがって、電子秤では、商品選択に要する手間を低減することができる。

本発明の一側面に係る商品候補提示システムは、撮像された商品の画像に基づいて、商品の候補をユーザに選択させせるために提示する商品候補提示システムであって、商品の画像を取得する取得部と、画像に基づいて商品群から商品の候補を推定する推定部と、商品群において所定の条件を満たす商品を特定商品として記憶する記憶部と、推定部によって推定された商品の候補と、記憶部に記憶されている特定商品とを提示する提示部と、を備える。

本発明の一側面に係る商品候補提示システムでは、記憶部において商品群において所定の条件を満たす商品を特定商品として記憶し、提示部において推定部によって推定された商品の候補と、記憶部に記憶されている特定商品とを提示する。この構成では、例えば、新商品を特定商品として記憶部に記憶することによって、推定部によって推定された商品の候補と同等に特定商品を提示部に提示することができる。そのため、提示部において、商品の選択画面が複数にわたって表示される場合や、商品の選択画面がスクロールによって表示される場合であっても、新商品が最後の方の画面やスクロールの下方に表示されることを回避できる。したがって、商品候補提示システムでは、商品選択に要する手間を低減することができる。

本発明の一側面に係る商品候補提示方法は、撮像された商品の画像に基づいて、商品の候補をユーザに選択させせるために提示する商品候補提示方法であって、商品の画像を取得する取得ステップと、画像に基づいて商品群から商品の候補を推定する推定ステップと、商品群において所定の条件を満たす商品を特定商品として記憶する記憶ステップと、推定ステップにおいて推定された商品の候補と、記憶ステップにおいて記憶されている特定商品とを提示する提示ステップと、を含む。

本発明の一側面に係る商品候補提示方法では、記憶ステップにおいて商品群において所定の条件を満たす商品を特定商品として記憶し、提示ステップにおいて推定部によって推定された商品の候補と、記憶ステップにおいて記憶されている特定商品とを提示する。この方法では、例えば、新商品を特定商品として記憶ステップにおいて記憶することによって、推定ステップにおいて推定された商品の候補と同等に特定商品を提示することができる。そのため、商品の選択画面が複数にわたって表示される場合や、商品の選択画面がスクロールによって表示される場合であっても、新商品が最後の方の画面やスクロールの下方に表示されることを回避できる。したがって、商品候補提示方法では、商品選択に要する手間を低減することができる。

本発明の一側面によれば、商品選択に要する手間を低減することができる。

図１は、一実施形態に係る会計処理システムを示す模式図である。 図２は、会計処理システムが有する価格決定装置のブロック図である。 図３は、表示部に表示される商品の候補の例である。 図４は、表示部に表示される商品の候補の例である。 図５は、表示部に表示される商品の価格の例である。 図６は、商品候補提示システムのブロック図である。 図７は、学習モデルのアルゴリズムのニューラルネットワークを概念的に表した図である。 図８は、会計処理システムの会計処理のフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。

（１）全体概要
商品候補提示システム１０及び会計処理システム４０の概要を、図１を参照して説明する。図１は、商品候補提示システム１０を備える会計処理システム４０を模式的に示す図である。

図１に示されるように、会計処理システム４０は、商品候補提示システム１０と価格決定装置２０と、を含む。商品候補提示システム１０は、撮像された商品の画像に基づいて、商品の候補をユーザに選択させるために提示する。会計処理システム４０は、商品候補提示システム１０で提示された候補の中から、ユーザが選択した商品の価格を価格決定装置２０で決定する。

商品候補提示システム１０は、制御ユニット（商品候補提示装置）１１を含む。制御ユニット１１は、ネットワークＮＷを介して、価格決定装置２０と通信可能に接続されている。ネットワークＮＷは、ＬＡＮであってもよいし、インターネット等のＷＡＮであってもよい。また、他の態様では、価格決定装置２０に、制御ユニット１１の機能の一部又は全部が組み込まれていてもよい。さらに他の態様では、制御ユニット１１の機能の一部又は全部がクラウドサーバに組み込まれている。すなわち、制御ユニット１１の各機能部は、一部又は全部がクラウドサーバに含まれていてもよい。また、クラウドサーバは複数あってもよい。そのため、制御ユニット１１の各機能部は、複数のクラウドサーバに分散して含まれていてもよい。

制御ユニット１１は、ネットワークＮＷを介して、ストアコンピュータ１００とも通信可能に接続されていてもよい。ストアコンピュータ１００は、会計処理システム４０が利用される店舗等で販売や提供している商品群に関する各種情報を管理するコンピュータである。商品群に関する各種情報は、商品に係る商品関連情報が商品毎に記録された商品マスタを含む。商品マスタは、例えば、商品名、商品番号、単価等が対応付けられたテーブルである。

会計処理システム４０は、用途を限定するものではないが、例えば、スーパーマーケット等の店舗で利用される。会計処理システム４０により会計処理が行われる商品は、例えば、惣菜等の各種類の商品２００である。なお、会計処理システム４０により会計処理が行われる商品（商品候補提示システム１０により提示される候補の商品）は、パンや野菜等の食品であってもよいし、食品以外の商品であってもよい。

（２）価格決定装置
会計処理システム４０を構成する価格決定装置２０について、図１～図５を参照して説明する。図２は、価格決定装置２０のブロック図である。図３及び図４は、表示部２６に表示される商品候補提示システム１０で提示された商品の候補の表示の例である。図５は、表示部２６に表示される商品価格の表示の例である。

価格決定装置２０は、商品の売り場等に設置されている。価格決定装置２０は、ネットワークＮＷを介して、商品候補提示システム１０の制御ユニット１１及びストアコンピュータ１００と通信可能に接続されている。価格決定装置２０は、ネットワークＮＷを介して制御ユニット１１から、計量台２４ａに載置された商品２００の候補を受信する。価格決定装置２０（計量部２４）は、計量台２４ａに載置された商品２００の重量を計量する機能を有する。価格決定装置２０は、制御ユニット１１から送信される商品の候補と、ストアコンピュータ１００から取得される商品の単価と、計量部２４が計量した商品２００の重量とに基づき、商品２００の価格を決定する。

図１に示されるように、価格決定装置２０は、筐体２１と、撮像部２２と、光源２３と、計量部２４と、固定キー２５と、表示部２６と、制御ユニット２７と、を備える。図２に示されるように、制御ユニット２７は、制御部２８と、選択部２９と、記憶部３０と、算出部３１と、を含む。表示部２６は、選択部２９を含む。

（２－１）筐体
図１に示されるように、筐体２１は、収容部２１ａと、保持部２１ｂと、連結部２１ｃと、を含む。収容部２１ａは、計量部２４を収容する。保持部２１ｂは、収容部２１ａ上に配置されている。連結部２１ｃは、収容部２１ａと保持部２１ｂとを連結している。連結部２１ｃは、上下方向に延びる。

（２－２）撮像部
図１及び図２に示されるように、撮像部２２は、商品２００を撮像する。撮像部２２は、保持部２１ｂに設けられる。撮像部２２は、計量台２４ａの上に商品２００が載置されると、後述する制御ユニット２７の制御部２８に制御されて、商品２００を撮像し画像Ｉ（図３、図４参照）を取得する。撮像部２２は、例えば、カラーの画像を取得するＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等である。撮像部２２は、ステレオカメラ、商品２００の温度画像を取得する赤外線カメラ等を含んでもよい。撮像部２２は、撮像した画像Ｉを、価格決定装置２０から、ネットワークＮＷを介して商品候補提示システム１０の制御ユニット１１へと送信する。

なお、撮像部２２は、価格決定装置２０とは独立した装置であってもよく、撮像部２２が撮像した画像Ｉは、撮像部２２の有する通信装置や、撮像部２２が接続されるゲートウェイを用いて制御ユニット１１へと送信されてもよい。

（２－３）光源
光源２３は、撮像部２２が撮像する商品２００を照らす。光源２３は、保持部２１ｂに設けられる。１または複数の光源２３が、撮像部２２の近傍に配置される。

（２－４）計量部
計量部２４は、商品の重量を計量する。計量部２４は、収容部２１ａに設けられる。計量部２４は、計量台２４ａと、図示しないロードセル、信号処理回路、及び送信モジュールと、を含む。計量台２４ａには、商品２００が載置される。計量台２４ａの下方には、ロードセルが設けられる。ロードセルは、計量台２４ａに商品２００が載置された際に生じる機械的な歪みを電気信号に変換する。信号処理回路は、ロードセルの出力する信号を増幅してデジタル信号に変換し、送信モジュールは、デジタル信号を制御ユニット２７に送信する。

（２－５）固定キー
固定キー２５は、価格決定装置２０の操作に必要な各種のキーを有する。固定キーは、収容部２１ａに設けられる。

（２－６）表示部
表示部２６は、各種の情報を表示する。本実施形態の表示部２６は、タッチパネル式のディスプレイである。表示部２６は、１つの画面を有してもよく、複数の画面を有してもよい。表示部２６は、収容部２１ａに設けられる。

図３及び図４に示されるように、表示部２６には、撮像部２２で撮像された商品２００の画像Ｉと、この画像Ｉに基づいて、商品候補提示システム１０で提示された商品の複数の候補とが表示される。図３及び図４に示される例では、左側に画像Ｉが表示され、右側に商品の候補が表示されている。

図５に示されるように、表示部２６は、選択部２９により商品の候補の中からユーザが（タッチすることにより）選択した商品名、計量部２４が計量した商品２００の重量値、ストアコンピュータ１００から取得される商品の単価、及び算出部３１が算出した商品２００の価格を表示する。

（２－７）制御ユニット
図１に示されるように、制御ユニット２７は、収容部２１ａに設けられる。制御ユニット２７は、コンピュータにより実現されるものである。制御ユニット２７は、制御演算装置と記憶装置とを備える。制御演算装置には、ＣＰＵ又はＧＰＵといったプロセッサを使用できる。制御演算装置は、記憶装置に記憶されているプログラムを読み出し、このプログラムに従って所定の画像処理や演算処理を行う。さらに、制御演算装置は、プログラムに従って、演算結果を記憶装置に書き込んだり、記憶装置に記憶されている情報を読み出したりすることができる。

制御ユニット２７は、ネットワークＮＷを介して、制御ユニット１１やストアコンピュータ１００と通信可能に接続されている。図２に示されるように、制御ユニット２７は、制御部２８と、選択部２９と、記憶部３０と、算出部３１と、出力部と、を含む。

（２－７－１）制御部
制御部２８は、計量部２４の計量値に基づき、計量部２４の計量台２４ａに商品２００が載置されたことを検知すると、撮像部２２を制御して、撮像部２２に計量台２４ａに載置された商品２００の画像を撮像させる。なお、制御部２８は、記憶部３０に予め記憶されている計量台２４ａのベース画像（商品が映り込んでいない状態で撮像された画像）と、現在撮像している画像とに差が生じたことを検知した際に、撮像部２２に計量台２４ａに載置された商品２００の画像を撮像させてもよい。また、制御部２８は、自動で撮像部２２を制御するのではなく、固定キー２５等から入力される操作に基づいて、撮像部２２に商品２００の画像を撮像させてもよい。また、制御部２８は、表示部２６の表示を制御する。

（２－７－２）選択部
選択部２９は、商品候補提示システム１０で提示された候補の中から商品を選択する。図３及び図４に示されるように、選択部２９は、表示部２６に含まれる。ユーザは、タッチパネル式のディスプレイである表示部２６の選択部２９を操作して、表示される商品の候補の中から正しい商品を選択する。

図３では、選択部２９は、商品Ａ～商品Ｇと記載された各選択ボタン（区画して表示される各領域）である。図４では、商品Ｈ～商品Ｌと記載された各選択ボタンである。表示部２６に表示された複数の候補としての商品Ａ～商品Ｇ、商品Ｈ～商品Ｌの中に正しい商品があれば、ユーザは、選択部２９として正しい商品が記載された選択ボタンを押すことで、正しい商品を選択できる。選択部２９で選択された商品を、画像Ｉに対応する商品の入力として受け付ける。このため、選択部２９で選択された商品に関する情報は、算出部に送信される。ユーザの選択結果は、価格決定装置２０から、ネットワークＮＷを介してストアコンピュータ１００に送信される。

なお、制御ユニット２７は、撮像部２２に撮像させた商品２００の画像と、選択部２９で選択された商品に関する情報（人間が判断した正解の商品名）との組を、教師データとして出力する。出力された教師データは、制御ユニット１１に入力され、後述する記憶部１２の図示しない教師データ記憶領域に記憶される。そして、制御ユニット１１は、新たな学習済みモデルを生成（構築）する際、元々存在した教師データの少なくとも一部と、新たに記憶された教師データの少なくとも一部とについて、生成前の学習モデルに学習させる。すなわち、追加された教師データを適宜学習することにより、学習済みモデルは更新される。このような学習は、会計処理とは別に行われるものであり、例えば店舗の閉店時等に行われる。

（２－７－３）記憶部
記憶部３０は、商品マスタや商品識別に必要な情報を記憶する。記憶部３０は、ストアコンピュータ１００から商品マスタを取得する。商品マスタは、少なくとも商品番号（ＩＤ）と、商品名、単価、定額等とが対応付けられたデータテーブルを含む。商品マスタは、更新（変更）可能である。

（２－７－４）算出部
算出部３１は、選択部２９で選択された商品及び計量部２４で計量された重量に基づき、商品の価格を算出する。具体的には、算出部３１は、選択部２９で選択された商品に関する情報を受信すると、その商品に関する情報を商品マスタから読み出す。ここでは、算出部３１は、選択された商品に対応する商品の単価を商品マスタから取得する。算出部３１は、計量部２４から計量された重量値を取得する。そして、算出部３１は、取得した重量値と、商品の単価とに基づいて、商品の価格を算出する。算出部３１は、算出した価格を、表示部２６に送信する。

（３）商品候補提示システム
商品候補提示システム１０について、図１～図７を参照して説明する。図６は、商品候補提示システム１０のブロック図である。図７は、制御ユニット１１の記憶部１２が有する学習済みモデルのアルゴリズムのニューラルネットワークを概念的に表した図である。

図６に示されるように、商品候補提示システム１０は、上述した制御ユニット１１と、表示部２６と、を備えている。制御ユニット１１は、表示部２６の表示を制御する。本実施形態の表示部２６は、価格決定装置２０に組み込まれている。制御ユニット１１と表示部２６とは、別部材であるが、一体化されたタブレット端末等であってもよい。

制御ユニット１１はコンピュータにより実現されるものである。制御ユニット１１は、制御演算装置と記憶装置とを備える。制御演算装置には、ＣＰＵ又はＧＰＵといったプロセッサを使用できる。制御演算装置は、記憶装置に記憶されているプログラムを読み出し、このプログラムに従って所定の画像処理や演算処理を行う。さらに、制御演算装置は、プログラムに従って、演算結果を記憶装置に書き込んだり、記憶装置に記憶されている情報を読み出したりすることができる。

制御ユニット１１は、記憶部１２と、取得部１３と、推定部１４と、提示部１５と、を含む。

（３－１）記憶部
記憶部１２は、各種情報を記憶する記憶領域として、商品マスタ記憶領域１２ａと、学習済みモデル記憶領域１２ｂと、特定情報記憶領域１２ｃと、を有する。

商品マスタ記憶領域１２ａは、商品マスタを記憶する。商品マスタは、価格決定装置２０の記憶部３０に記憶されている商品マスタと同様である。ただし、記憶部３０に記憶されている商品マスタは、上述した会計処理に用いるため、ストアコンピュータ１００から得た最新の商品マスタに常に更新されているのが望ましい。一方、商品マスタ記憶領域１２ａに記憶されている商品マスタは、後述する学習済みモデルによる商品の推定結果に用いられるため、学習済みモデル記憶領域１２ｂに記憶されている学習済みモデルが学習を行った時点の商品マスタとしてもよい。すなわち、商品マスタの内容は、記憶部３０と商品マスタ記憶領域１２ａとの間で、販売商品の追加又は廃止に伴う不一致が生じていてもよい。

学習済みモデル記憶領域１２ｂは、学習済みモデルを記憶する。学習済みモデルは、機械学習によって生成されたモデルである。学習済みモデルは、記憶媒体、ネットワーク等を介して取得されている。

特定情報記憶領域１２ｃは、特定商品に係る特定情報を記憶する。特定商品は、商品群において所定の条件を満たす商品である。商品群とは、店舗等で販売や提供している商品を集めたものである。所定の条件は、商品が登録されてから所定の期間内である場合、商品に対応する学習済みモデルがない場合、及び、特定商品として指定されている場合の少なくとも一つである。

本実施形態では、特定情報は、所定の条件として、商品が登録されてから所定の期間内である場合における商品に係る情報である。制御ユニット１１は、ストアコンピュータ１００から得た最新の商品マスタを商品マスタ記憶領域１２ａに記憶する際、最新の商品マスタ（以下、「新商品マスタ」と称する。）と商品マスタ記憶領域１２ａに記憶されている商品マスタ（以下、「旧商品マスタ」と称する。）とを比較する。制御ユニット１１は、新商品マスタと旧商品マスタとの比較に基づいて差分を抽出し、差分の商品を一定期間（例えば、７日）、特定情報として設定する。特定情報記憶領域１２ｃは、当該特定情報を記憶する。本実施形態では、特定情報記憶領域１２ｃに、特定情報が五つ記憶されている（五つの特定商品がある）形態を一例に説明する。制御ユニット１１は、特定商品について、一定期間が経過した場合には、当該商品に係る特定情報を特定情報記憶領域１２ｃから削除する。

（３－２）取得部
取得部１３は、商品２００の画像Ｉを取得する。商品２００の画像Ｉは、撮像部２２で撮像された画像であってもよく、撮像部２２で撮像された画像から商品が抽出されたものであってもよい。また、商品２００の画像Ｉは、撮像部２２で撮像された画像に画像処理（例えば、撮像された画像の輝度値を、学習済みモデルが学習した画像の輝度値に合わせる補正等）が加えられたものであってもよい。ここでは、取得部１３は、価格決定装置２０からネットワークＮＷを介して送信されてくる画像Ｉを取得する。

（３－３）推定部
推定部１４は、画像Ｉに基づいて商品群から商品の候補を推定する。推定部１４は、取得部１３から、商品２００の推定に利用する画像Ｉを取得する。

本実施形態では、推定部１４は、学習済みモデルによって商品の候補を推定する。学習済みモデルは、画像データに基づく画像が示す商品を機械学習によって予測して出力する。学習済みモデルは、ニューラルネットワークを含む。学習済みモデルは、畳み込みニューラルネットワークを含むものであってもよい。さらに、学習済みモデルは、複数の階層（例えば８層以上）のニューラルネットワークを含むものであってもよい。すなわち、ディープラーニングによって学習済みモデルが生成されてもよい。

図７に示されるように、ニューラルネットワークは、例えば、入力層と、多層の中間層（隠れ層）と、出力層と、で構成されている。入力層は、ｐ個のパラメータを要素とする入力値ｘ（＝ｘ０、ｘ１、ｘ２、・・・ｘｐ）をそのまま中間層に出力する。中間層のそれぞれは、活性化関数により総入力を出力に変換してその出力を次の層に渡す。出力層は、活性化関数により総入力を、ｑ個のパラメータを要素とするニューラルネットワークの出力ベクトルｙ（＝ｙ０、ｙ１、・・・、ｙｑ）に変換する。各ｙｉは、商品Ｓｉである可能性を数値として表現したものであり、商品Ｓｉごとに出力される。ｉは、商品ごとに付与される識別のための値であり、商品（の種類）の総数に基づいて決定されるパラメータの要素数から、１～ｑの値のいずれかと対応させる。

ここでは、ニューラルネットワークは、画像の各画素の画素値を入力して、商品の推定結果を示す情報（出力ベクトルｙ）を出力する。ニューラルネットワークの入力層には、画像の画素数分のニューロンが設けられる。ニューラルネットワークの出力層には、商品の推定結果に係る情報を出力するためのニューロンが設けられる。出力層のニューロンの出力値に基づいて、商品を推定することができる。ニューロンの出力値は、例えば０～１の値である。この場合、ニューロンの値が大きいほど（値が１に近い程）、画像の商品である可能性が高く、ニューロンの値が小さい程（値が０に近い程）、画像の商品である可能性が低いことを示している。すなわち、商品Ｓｉのニューロン値（ｙｉ、又はｙｉに基づいて算出される値）が大きい場合、画像の商品は商品Ｓｉである確率が高く、商品Ｓｉのニューロン値が小さい場合、商品Ｓｉである確率が低いことを示している。

推定部１４は、画像Ｉを、学習済みモデルに入力する。推定部１４は、入力させる画像を正規化してもよい。画像の正規化には、例えば、画像の縮小、拡大、トリミング等を行うことで行われる。また、推定部１４は、入力する画像に対して、コントラストの調整、色の変更、フォーマットの変更等の各種の処理を行ってもよい。推定部１４は、学習済みモデルのニューラルネットワークに画像を入力したことに応じて、ニューラルネットワークから出力された出力値を含む推定結果を取得する。推定結果には、商品マスタに登録されている全ての種類の商品が含まれる。

推定部１４は、推定結果に基づいて、候補の商品に対して順位をつける。すなわち、推定部１４は、画像Ｉから推定される商品の尤度（上述したニューロン値に基づく、各商品である推定の確からしさ）を候補となりうる商品ごとに算出する。具体的には、推定部１４は、ニューロン値が最も大きい商品から順に順位をつける。推定部１４は、全ての商品について、商品番号と順位とを対応付けた推定情報を生成する。推定部１４は、推定処理に使用した画像の画像情報及び推定情報を提示部１５に送信する。

（３－４）提示部
提示部１５は、推定部１４で推定された商品の候補（推定部１４が推定した商品の内、尤度の大きいものから並べて所定の順位までに入る商品）を第一候補群として選び出すと共に、特定情報に基づいて商品の候補を第二候補群として選び出して、第一候補群及び第二候補群を提示する。第一候補群及び第二候補群は、商品マスタに含まれる商品で構成され、同じ商品を重複して含まない。第一候補群及び第二候補群のそれぞれは、１以上の商品で構成される。提示部１５で提示する商品の候補は、表示部２６に表示される。

本実施形態の第一候補群は、推定部１４（学習済みモデル）によって画像Ｉから推定される結果（尤度）に基づいて、候補の商品に対して順位をつけたものに基づいて決定される。第一候補群は、推定部１４で推定された商品の順位のうち、所定の順位までの商品を順位が高い順に並べたものである。具体的には、第一候補群は、学習済みモデルが出力する推定の確からしさが大きい順に所定の順位であるｋ位（番目）までの商品を抽出したものである。詳細には、学習済みモデルの出力した各商品Ｓｉに対応するニューロン値ｙｉが大きいものから、１位（番目）、２位（番目）、…、ｑ位（番目）と順位をつけた商品Ｓｉにおいて、１～ｋ位（番目）までの商品Ｓｉを抽出したものである。

本実施形態の第二候補群は、第一候補群で選び出された商品を除いて、特定情報に基づいて決定される。第二候補群は、特定商品のうち、推定部１４で推定された順位が高い順に並べたものである。なお、特定商品について、推定部１４による推定の結果、推定部１４で推定された商品の順位のうち、所定の順位までに含まれる場合には、特定商品であっても第一候補群に含まれる。

ここでは、提示部１５は、第二候補群を第一候補群とは異なる画面に提示する。この場合、表示部２６は、最初の画面（第一画面）Ｇ１に推定部１４に基づく尤度が高い順に所定個（数）の商品を並べて表示し、次の画面（第二画面）Ｇ２に、特定商品を推定部１４に基づく尤度が高い順に並べて表示する。ここで、表示部２６に同時に表示可能な商品の数には制限があるため、後述するように、提示部１５により、表示部２６の画面に表示される第一候補群及び第二候補群は限定される。表示部２６の画面Ｇ２に表示しきれなかった第二候補群については、表示部２６に表示される頁送りボタンＢを（タッチして）選択することによって表示される次以降の画面に表示される。

また、提示部１５は、表示部２６の最初の画面Ｇ１に第一候補群の少なくとも一部と、表示部２６の画面Ｇ２に第二候補群の少なくとも一部と、を提示する。すなわち、提示部１５は、表示部２６が第一候補群及び第二候補群を異なる画面に表示できるように提示する。具体的には、上述したように、提示部１５は、推定部１４で推定された商品の順位のうち、１～ｋ（ｋは任意の整数）番目までを第一候補群とする。また、提示部１５は、特定情報記憶領域１２ｃから特定情報を読み出して、特定情報のうち、第一候補群で選び出された商品を除いて順位をつけたものを第二候補群とする。

なお、提示部１５は、表示部２６に、第一候補群の商品と、第二候補群の商品とを、非一つの画面において区画を分けて表示させることにより提示してもよい。また、提示部１５は、表示部２６に、第一候補群の商品と、第二候補群の商品とを、視覚的に異なるように表示させることにより提示してもよい。

比較的正しく推定できる商品の画像（苦手でない商品の画像）に対して学習済みモデルが推定を行う場合、学習済みモデルの推定する商品は、尤度の高い方から特定の順位の商品までは、正解となる可能性が高いが、特定の順位以降の商品については、正解となる可能性が低いことがわかっている。例えば、ある商品群に対して、上位から１番目の商品まで、２番目の商品まで、…、４番目の商品までと順に候補に含めていく場合、含める商品を増やす度に、いずれかが正解である統計的な確率が向上して８０％程度に到達するが、５番目、６番目の商品をさらに候補として加えても、いずれかが正解である統計的な確率がさして８０％から向上しない（飽和する）ことがある。

この場合、ｋを４と設定するのが好適である。ｋが４の場合、図３の表示部２６の画面Ｇ１において、商品Ａ～Ｄ（４つの商品）は、推定部１４で推定された商品の候補の１～４番であり、商品Ｅ～Ｇ（同時に表示できる商品の数から決まり、この場合３つの商品）は、ランダムに選択された商品である。また、この場合、提示部１５は、商品Ｄと商品Ｅとの間に境界線を設けてもよいし、商品Ａ～Ｄの色と商品Ｅ～Ｇの色とを変えるように提示してもよい。ｋの値は、推定する商品群によって変わりうる値であり、商品群によっては４に限らない。

（３－５）表示部
表示部２６は、提示部１５が提示する第一候補群及び第二候補群を表示する画面を有する。ここでは、表示部２６は、価格決定装置２０のディスプレイである。このため、提示部１５が提示する画像Ｉに対応する商品の候補は、ネットワークＮＷを介して価格決定装置２０の表示部２６に送信される。

表示部２６は、画面を有している。上述したように、表示部２６は、提示部１５の出力（提示）に基づいて、最初の画面から次の画面に向けて、順に、正しい商品である確率が高い方から候補の商品が並んで表示される。図３及び図４では、各画面において、商品の画像Ｉを表示すると共に、提示部１５が提示する商品の候補を表示する。図３に示されるように、表示部２６の画面Ｇ１には、画像Ｉに対応する商品の候補が、確率の高い商品が上方にくるように、上下方向に並べて所定数（例えば、７つ）表示される。図４に示されるように、表示部２６の画面Ｇ２には、特定商品の候補が、確率の高い商品が上方にくるように、上下方向に並べて所定数（例えば、５つ）表示される。

（４）商品候補提示方法及び会計処理方法
商品候補提示方法及び会計処理方法について、図８を参照しながら説明する。図８は、価格処理方法を示すフローチャートである。なお、図８に示すフローチャートは、商品価格の決定処理の一例に過ぎず、矛盾のない範囲で適宜変更されてもよい。例えば、図８のフローチャートは、各ステップの順序を限定するものではなく、互いに矛盾しない範囲で各ステップの順序は適宜変更されてもよい。

商品候補提示方法は、上述した商品候補提示システム１０を用いる。会計処理方法は、上述した会計処理システム４０を用いる。

最初に、取得部１３は、商品２００の画像Ｉを取得する（ステップＳ１：取得ステップ）。このステップＳ１は、例えば以下のように実施される。商品２００が計量台２４ａに載置されると、制御部２８は撮像部２２を制御して、撮像部２２に商品２００を撮像させる。次いで、ネットワークＮＷを介して、価格決定装置２０の制御ユニット２７が商品候補提示システム１０の制御ユニット１１に画像Ｉを送信する。取得部１３は、送信されてきた画像Ｉを取得する。

次に、推定部１４により、画像Ｉに基づいて商品群から商品の候補を推定する（ステップＳ２：推定ステップ）。ここでは、推定部１４は、機械学習による学習済みモデルを用いて、画像Ｉから推定される結果に基づいて、候補の商品に対して順位をつける。

次に、提示部１５により、推定部１４で推定された商品の候補を第一候補群として選び出すと共に、特定情報に基づいて商品の候補を第二候補群として選び出して、第一候補群及び第二候補群を提示する（ステップＳ３：提示ステップ）。このステップＳ３は、例えば以下のように実施される。

推定部１４で推定された商品の順位のうち、１～ｋ（ｋは任意の整数）番目までを第一候補群として選び出す。提示部１５は、記憶部１２の特定情報記憶領域１２ｃの記憶された（記憶ステップ）特定情報を記憶部１２から読み出して、特定情報のうち、第一候補群で選び出された商品を除いて順位をつけたものを第二候補群として選び出す。

次に、提示部１５が提示する第一候補群及び第二候補群を表示部２６に表示する（ステップＳ４）。このステップＳ４では、制御ユニット１１は、提示部１５により提示された第一候補群及び第二候補群を、価格決定装置２０の制御ユニット２７に送信する。制御ユニット２７は、商品の候補をユーザに選択させるために表示部２６に表示する。

次に、選択部２９により、商品候補提示システム１０で提示された候補の中から商品を選択する（ステップＳ５）。ここでは、ユーザが、タッチパネル式のディスプレイである表示部２６を操作して、表示部２６に表示されている商品の複数の候補から１の商品が記載された選択部２９を押す。上記ステップＳ４及びＳ５は、例えば以下のように実施される。

表示部２６の最初の画面に、図３に示されるように、画像Ｉに対応する商品の候補が、確率の高い商品が上方にくるように、上下方向に並べて７つ表示させる。表示部２６の次の画面に、図４に示されるように、特定商品の候補が、確立の高い商品が上方にくるように、上下方向に並べて５つ表示させる。これを見たユーザは、表示部２６の選択部２９を操作して、商品Ａ～Ｇ、商品Ｈ～Ｌの中から正しい商品を選択する。例えば、ユーザは、正しい商品が記載された選択部２９を押すことで、正しい商品を選択する。

また、表示部２６は、仮に推定部１４による推定が全て正しくない場合には、ユーザが正しい商品を選択できるように構成されている。ここでは、最初の画面Ｇ１に第一候補群、次の画面Ｇ２に第二候補群が表示されているので、商品Ａ～Ｇ、商品Ｈ～Ｌに正しい商品がない場合には、次の画面に、その他の商品を表示する。このように、ユーザは、正しい商品が含まれる画面まで、順次画面を繰り出すことが可能である。なお、この例では、表示部２６は、画面Ｇ１に７つの商品、画面Ｇ２に５つの商品を表示しているが、画面に表示する商品の数は限定されるものではない。また、各画面に表示する商品の数は、一定であってもよく、一定でなくてもよい。

ユーザの商品の選択結果は、価格決定装置２０から、ネットワークＮＷを介して制御ユニット１１に送信される。また、価格決定装置２０の計量部２４は、計量台２４ａに置かれた商品２００の重量を計量する（ステップＳ６）。このステップＳ６では、制御ユニット２７は商品２００の重量値を取得する。

次に、選択部２９で選択された商品及び計量部２４で計量された重量に基づき、商品２００の価格を算出する（ステップＳ７）。このステップＳ７では、算出部３１は、記憶部３０から読み出したステップＳ５でユーザが選択した商品の単価（ストアコンピュータ１００から送信されてきた商品の単価）と、ステップＳ６で取得した商品２００の重量値と、を乗じる計算を行い、算出値を商品２００の価格に決定する。最後に、制御ユニット２７により、図５に示されるように、ステップＳ７で決定された商品２００の価格を、商品２００の重量値及び単価と共に表示部２６に表示する。

（作用効果）
以上説明したように、本実施形態に係る商品候補提示システム１０では、記憶部１２において商品群において所定の条件を満たす商品を特定商品として記憶し、提示部１５において推定部１４によって推定された商品の候補と、記憶部１２に記憶されている特定商品とを提示する。この構成では、例えば、新商品を特定商品として記憶部１２に記憶することによって、推定部１４によって推定された商品の候補と同等に特定商品を提示部１５に提示することができる。そのため、提示部１５において、商品の選択画面が複数にわたって表示される場合や、商品の選択画面がスクロールによって表示される場合であっても、新商品が最後の方の画面やスクロールの下方に表示されることを回避できる。したがって、商品候補提示システム１０では、商品選択に要する手間を低減することができる。

本実施形態に係る商品候補提示システム１０では、推定部１４は、学習済みモデルによって商品の候補を推定する。学習済みモデルによって商品の候補を推定する構成では、推定部において新商品が推定され難い。そのため、新商品を特定商品として記憶して提示部１５に表示させる構成は、学習済みモデルによって商品の候補を推定する場合において特に有効である。

本実施形態に係る商品候補提示システム１０では、所定の条件は、商品が登録されてから所定の期間内である場合、商品に対応する学習済みモデルがない場合、及び、特定商品として指定されている場合の少なくとも一つであってもよい。新商品は、商品が登録されてから所定の期間内である場合や、商品に対応する学習済みモデルがない場合に該当する。また、ユーザが任意に商品を特定商品として設定したい場合もある。したがって、所定の条件を上記内容に設定することにより、特定商品として記憶部１２に記憶させることができる。

本実施形態に係る商品候補提示システム１０では、記憶部１２は、提示部１５における提示に対して特定商品が選択された場合、取得部１３によって取得された画像と特定商品とを対応付けて記憶する。この構成では、画像と特定商品とを対応付けたデータを学習済みモデルの教師データとして使用することができる。これにより、推定部１４における特定商品の推定精度の向上を図ることができる。

本実施形態に係る商品候補提示システム１０では、提示部１５は、商品群に複数の特定商品が含まれる場合、複数の特定商品のそれぞれについての推定部１４における推定結果に基づいて、複数の特定商品の提示の順番を変更する。この構成では、複数の特定商品について、例えば商品として尤もらしい順に掲示することができる。

本実施形態に係る商品候補提示システム１０では、提示部１５は、推定部１４によって推定された商品の候補を第一画面に提示すると共に、記憶部１２に記憶されている特定商品を画面Ｇ１（図３参照）とは異なる画面Ｇ２（図４参照）に表示する。この構成では、推定部１４によって推定された商品の候補と特定商品とが別の画面に表示されため、特定商品を一見して確認することができる。

本実施形態に係る商品候補提示システム１０では、提示部１５は、推定部１４の推定結果において、特定商品の尤度が商品群において所定の順位内である場合には、特定商品を画面Ｇ１に提示する。この構成では、画像に基づく商品が特定商品である可能性が高い場合には、画面Ｇ２ではなく画面Ｇ１に特定商品が掲示される。そのため、特定商品を選択し易くなる。

以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

上記実施形態では、制御ユニット１１と価格決定装置２０とを備える形態を一例に説明した。しかし、制御ユニット１１及び価格決定装置２０が電子秤として構成されていてもよい。

上記実施形態では、記憶部１２に記憶される特定情報は、所定の条件として、商品が登録されてから所定の期間内である場合における商品に係る情報である形態を一例に説明した。しかし、特定情報の所定の条件としては、商品に対応する学習済みモデルがない場合、及び／又は、特定商品として指定されている場合であってもよい。特定商品として指定される場合には、ユーザによる所定の操作によって、特定情報として記憶部１２の特定情報記憶領域１２ｃに記憶される。

上記実施形態では、提示部１５は、表示部２６の画面Ｇ２に第二候補群を表示する形態を一例に説明した。特定情報として５つの商品が記憶部１２に記憶されているため、図４に示す例では、表示部２６の画面Ｇ２に商品Ｈ～Ｌを表示している。これについて、画面Ｇ２に表示される商品が所定数（例えば、７個）以下である場合、画面Ｇ２において、ランダムに選択された商品を表示してもよい。例えば、商品Ｈ～Ｌの他に、商品Ｍ及び商品Ｎを表示してもよい。

上記実施形態では、第一候補群は、推定部１４で推定された商品の順位のうち、１～ｋ（ｋは任意の整数）番目の商品としているが、個数で区切らなくてもよい。この構成では、第一候補群は、ニューロン値が閾値以上の商品とする。このため、推定部でのニューロン値によって、第一候補群の数は異なる。

上記実施形態では、推定部１４は、学習済みモデルを利用して、画像Ｉに対応する商品を推定するが、これに限定されない。推定部１４は、学習済みモデルを利用せずにルールベースで画像Ｉから商品を推定してもよい。例えば、制御ユニット１１では、画像と商品との関係が予めプログラムで記述され、推定部１４はこのプログラムに基づいて画像Ｉに対応する商品を推定してもよい。

上記実施形態では、商品候補提示システム１０は、ネットワークＮＷを介してストアコンピュータ１００と通信可能に構成されているが、ストアコンピュータ１００は省略されてもよい。

上記実施形態では、推定部１４は、商品マスタに登録されている全ての商品群から、撮像された商品の画像に基づいて、商品の候補を推定している。商品群には、欠品等の理由で取り扱われていない商品が含まれる。本変形例では、推定部は、取り扱いの無い商品を含まない商品群（取り扱いのある商品からなる商品群）から、撮像された商品の画像Ｉに基づいて、商品の候補を推定する。具体的には、商品マスタ記憶領域１２ａは、取り扱いのある商品を集めた商品マスタを記憶する。取り扱いのある商品とは、商品候補提示システム１０の動作時に、商品候補提示システム１０が使用される店舗等において、販売・提供している商品や、在庫が有る商品等を意味する。なお、販売・提供している商品とは、より具体的には、販売・提供しているとして店舗で管理されている商品である。また、在庫が有る商品とは、より具体的には、在庫が有るとして管理されている商品である。

例えば、ストアコンピュータ１００は、ネットワークＮＷを介して、制御ユニット１１に対して各商品について取り扱いの有無に関する情報（以下、「取扱商品情報」とも称する。）を送信するように構成される。取扱商品情報は、要するに、取り扱いのある商品及び取り扱いの無い商品に関する情報である。ストアコンピュータ１００は、所定のタイミングで取扱商品情報を送信する。また、ストアコンピュータ１００は、制御ユニット１１からの送信要求に応じて取扱商品情報を送信してもよい。制御ユニット１１は、価格決定装置２０から送信されてきたこれらの情報に基づき、記憶部１２の商品マスタ記憶領域１２ａに記憶される商品マスタを書き換える。

なお、取扱商品情報は、ストアコンピュータ１００ではなく、価格決定装置２０から制御ユニット１１に送信されてもよい。例えば、スーパーマーケット等の店舗の店員等は、タッチパネル式のディスプレイである表示部２６等の入力装置に対し、その日に取り扱われる（販売・提供される）商品を価格決定装置２０に入力する。また、例えば、店員等は、在庫切れになった商品を、表示部２６等の入力装置に対し、価格決定装置２０に適宜入力する。価格決定装置２０は、入力されたこれらの情報を、制御ユニット１１に送信する。制御ユニット１１は、価格決定装置２０から送信されてきたこれらの情報に基づき、記憶部１２の商品マスタ記憶領域１２ａに記憶される商品マスタを書き換える。

また、商品マスタの内容が、記憶部３０と商品マスタ記憶領域１２ａとの間で、販売商品の追加又は廃止に伴う不一致が生じている場合、推定部１４を、記憶部３０に記憶される取り扱いのある商品を集めた商品マスタ（商品マスタ記憶領域１２ａの商品マスタとの差分）を取得するように構成してもよい。本変形例の商品候補提示システム及び会計処理システムによれば、推定部１４により、取り扱いの無い商品が画像Ｉに対応する商品として推定される可能性が低減される。したがって、推定部で画像Ｉから商品を精度良く推定できるので、第一候補群に正しい商品が含まれる可能性を向上できる。

上記実施形態では、会計処理システム４０は、商品２００を計量し、商品２００の重量に商品２００の単価を乗ずることで商品２００の価格を決定するが、これに限定されない。会計処理システムの価格決定装置は、商品２００の計量機能を有さなくてもよい。本変形例の会計処理システムは、商品２００の選択結果と、ストアコンピュータ１００から取得される商品の価格の情報とに基づき、商品２００の価格を決定する。

１０…商品候補提示システム、１１…制御ユニット（商品候補提示装置）、１２…記憶部、１３…取得部、１４…推定部、１５…提示部、２４…計量部、２９…選択部、３１…算出部、Ｇ１…画面（第一画面）、Ｇ２…画面（第二画面）、Ｉ…画像。

Claims (8)

1. 撮像された商品の画像に基づいて、前記商品の候補をユーザに選択させるために提示する商品候補提示装置であって、
   前記商品の画像を取得する取得部と、
   前記画像に基づいて商品群から前記商品の候補を推定する推定部と、
   前記商品群において所定の条件を満たす商品を特定商品として記憶する記憶部と、
   前記推定部によって推定された前記商品の候補と、前記記憶部に記憶されている前記特定商品とを提示する提示部と、を備え、
   前記推定部は、学習済みモデルによって前記商品の候補を推定し、
   前記所定の条件は、前記商品が登録されてから所定の期間内である場合、及び、前記商品に対応する前記学習済みモデルがない場合の少なくとも一つである、商品候補提示装置。
2. 前記記憶部は、前記提示部における提示に対して前記特定商品が選択された場合、前記取得部によって取得された前記画像と前記特定商品とを対応付けて記憶する、請求項１に記載の商品候補提示装置。
3. 前記提示部は、前記商品群に複数の前記特定商品が含まれる場合、複数の前記特定商品のそれぞれについての前記推定部における推定結果に基づいて、複数の前記特定商品の提示の順番を変更する、請求項１又は２に記載の商品候補提示装置。
4. 前記提示部は、前記推定部によって推定された前記商品の候補を第一画面に提示すると共に、前記記憶部に記憶されている前記特定商品を前記第一画面とは異なる第二画面に表示する、請求項１～３のいずれか一項に記載の商品候補提示装置。
5. 前記提示部は、前記推定部の推定結果において、前記特定商品の尤度が前記商品群において所定の順位内である場合には、前記特定商品を前記第一画面に提示する、請求項４に記載の商品候補提示装置。
6. 請求項１～５のいずれか一項に記載の商品候補提示装置と、
   前記商品の重量を計量する計量部と、
   前記商品候補提示装置で提示された候補の中から前記商品を選択する選択部と、
   前記選択部において選択された前記商品と前記計量部において計量された当該商品の重量とに基づいて、前記商品の価格を算出する算出部と、を備える、電子秤。
7. 撮像された商品の画像に基づいて、前記商品の候補をユーザに選択させるために提示する商品候補提示システムであって、
   前記商品の画像を取得する取得部と、
   前記画像に基づいて商品群から前記商品の候補を推定する推定部と、
   前記商品群において所定の条件を満たす商品を特定商品として記憶する記憶部と、
   前記推定部によって推定された前記商品の候補と、前記記憶部に記憶されている前記特定商品とを提示する提示部と、を備え、
   前記推定部は、学習済みモデルによって前記商品の候補を推定し、
   前記所定の条件は、前記商品が登録されてから所定の期間内である場合、及び、前記商品に対応する前記学習済みモデルがない場合の少なくとも一つである、商品候補提示システム。
8. 撮像された商品の画像に基づいて、前記商品の候補をユーザに選択させるために提示する商品候補提示方法であって、
   前記商品の画像を取得する取得ステップと、
   前記画像に基づいて商品群から前記商品の候補を推定する推定ステップと、
   前記商品群において所定の条件を満たす商品を特定商品として記憶する記憶ステップと、
   前記推定ステップにおいて推定された前記商品の候補と、前記記憶ステップにおいて記憶されている前記特定商品とを提示する提示ステップと、を含み、
   前記推定ステップでは、学習済みモデルによって前記商品の候補を推定し、
   前記所定の条件は、前記商品が登録されてから所定の期間内である場合、及び、前記商品に対応する前記学習済みモデルがない場合の少なくとも一つである、商品候補提示方法。