JP7137594B2 - 情報処理端末、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理端末、情報処理方法及びプログラムに関する。

従来、スーパーマーケット等の小売店において、顧客の買物の利便性を向上させるためにショッピングカートが提供されている。また、近年では、決済機能を有する情報処理端末を付加したショッピングカートの導入が検討されている。

例えば、特許文献１には、商品に付されたバーコード等を読み取ることにより商品を登録し、登録済みの商品の決済処理を行うことが可能なカート端末を備えたショッピングカートが記載されている。このようなショッピングカートを導入することにより、顧客は購入を希望する商品を、小売店の従業員による応対を待たずに自ら登録して決済をすることができるため、円滑に買物をすることが可能となる。また、小売店は従業員にＰＯＳ（Point of Sales）端末やレジスタ等の端末を操作させる必要がなくなるため、効率的な店舗運営が可能となる。

特開２０２０－６７９４７号公報

一般に、スーパーマーケット等の小売店において、生鮮食品等の一部の商品にはバーコード等の識別コードが付されていない。したがって、従来、これらの商品が購入される際には、小売店において販売されている複数の商品について十分な知識を有し且つＰＯＳ端末の操作に習熟した従業員が商品の種類を判定している。そして、従業員がＰＯＳ端末を操作して、判定した商品を検索して選択することにより、購入対象商品として登録している。しかしながら、商品について十分な知識を有しておらず且つＰＯＳ端末の操作に習熟していない顧客では、識別コードが付されていない商品の種類を適切に判定し、購入対象商品として登録することは困難であった。

本発明は、上述の課題を解決するためになされたものであり、顧客が購入対象商品を登録することを支援することを可能とする情報処理端末、ショッピングカート、情報処理方法及びプログラムを提供することを目的とする。

本発明に係る情報処理端末は、小売店に配置される情報処理端末であって、撮像部と、小売店において販売されている複数の商品に関する商品情報を記憶するとともに、複数の商品のうちのいずれかの商品を含む商品画像が入力された場合に、複数の商品のそれぞれについて、各商品が商品画像に含まれる確信度を出力するように学習された学習済みモデルを記憶する記憶部と、複数の商品のうちの何れかの商品を撮像部に撮像させて、商品画像を生成する画像生成部と、商品画像を学習済みモデルに入力することにより、複数の商品のそれぞれについて確信度を算出する算出部と、確信度に基づいて、複数の商品のうちから一部の商品を抽出する抽出部と、抽出した商品に関する商品情報を、確信度に応じた表示態様で表示する表示制御部と、商品情報が表示された商品のうち、顧客によって選択された商品を購入対象商品として登録する登録部と、を有することを特徴とする。

また、本発明に係る情報処理端末は、小売店における情報処理端末の現在の位置を示す位置情報を算出する位置情報算出部と、算出された確信度を位置情報に基づいて補正する補正部と、をさらに有し、表示制御部は、抽出した商品に関する商品情報を、補正された確信度に応じた表示態様で表示する、ことが好ましい。

また、本発明に係る情報処理端末において、位置情報算出部は、情報処理端末の周辺を撮像部に撮像させて周辺画像を生成し、周辺画像に基づいて位置情報を算出する、ことが好ましい。

また、本発明に係る情報処理端末は、画像生成部によって生成された商品画像と、顧客によって選択された商品とを関連付けて、学習済みモデルの再学習用データとして機械学習サーバに送信する送信制御部をさらに有する、ことが好ましい。

また、本発明に係る情報処理端末は、小売店における情報処理端末の現在の位置を示す位置情報を算出する位置情報算出部をさらに有し、算出部は、商品画像及び位置情報を学習済みモデルに入力することにより、複数の商品のそれぞれについて確信度を算出し、画像生成部によって生成された商品画像と、位置情報算出部によって算出された位置情報と、顧客によって選択された商品とを関連付けて、学習済みモデルの再学習用データとして機械学習サーバに送信する送信制御部をさらに有する、ことが好ましい。

また、本発明に係る情報処理端末において、記憶部は、複数の商品の識別情報をさらに記憶し、算出部は、商品に付された、識別情報に対応する識別画像が検出されたか否かを判定し、識別画像が検出されていないと判定した場合に、商品画像を学習済みモデルに入力することにより確信度を算出し、登録部は、識別画像が検出されたと算出部が判定した場合に、識別画像に対応する識別情報に示される商品を購入対象商品として登録する、ことが好ましい。

また、本発明に係る情報処理端末は、小売店に配置されるショッピングカートに設けられる、ことが好ましい。

本発明に係る情報処理方法は、小売店に配置される、撮像部を有する情報処理端末における情報処理方法であって、小売店において販売されている複数の商品に関する商品情報を記憶するとともに、複数の商品のうちのいずれかの商品を含む商品画像が入力された場合に、複数の商品のそれぞれについて、各商品が商品画像に含まれる確信度を出力するように学習された学習済みモデルを記憶し、複数の商品のうちの何れかの商品を撮像部に撮像させて、商品画像を生成し、商品画像を学習済みモデルに入力することにより、複数の商品のそれぞれについて確信度を算出し、確信度に基づいて、複数の商品のうちから一部の商品を抽出し、抽出した商品に関する商品情報を、確信度に応じた表示態様で表示し、商品情報が表示された商品のうち、顧客によって選択された商品を購入対象商品として登録する、ことを含むことを特徴とする。

本発明に係るプログラムは、小売店に配置される、撮像部を有する情報処理端末のプログラムであって、小売店において販売されている複数の商品に関する商品情報を記憶するとともに、複数の商品のうちのいずれかの商品を含む商品画像が入力された場合に、複数の商品のそれぞれについて、各商品が商品画像に含まれる確信度を出力するように学習された学習済みモデルを記憶し、複数の商品のうちの何れかの商品を撮像部に撮像させて、商品画像を生成し、商品画像を学習済みモデルに入力することにより、複数の商品のそれぞれについて確信度を算出し、確信度に基づいて、複数の商品のうちから一部の商品を抽出し、抽出した商品に関する商品情報を、確信度に応じた表示態様で表示し、商品情報が表示された商品のうち、顧客によって選択された商品を購入対象商品として登録する、ことを情報処理端末に実行させることを特徴とする。

本発明に係る情報処理端末、情報処理方法及びプログラムは、顧客が購入対象商品を登録することを支援することを可能とする。

本発明の概要を説明するための模式図である。 情報処理システム１の概略構成の一例を示す図である。 ショッピングカート２の斜視図である。 情報処理端末３の概略構成の一例を示す図である。 ログイン画面５００の一例を示す図である。 買物画面６００の一例を示す図である。 商品選択画面７００の一例を示す図である。 買物画面８００の一例を示す図である。 第１商品テーブルＴ１のデータ構造の一例を示す図である。 第２商品テーブルＴ２のデータ構造の一例を示す図である。 顧客情報テーブルＴ３のデータ構造の一例を示す図である。 位置情報テーブルＴ４のデータ構造の一例を示す図である。 学習用データテーブルＴ５のデータ構造の一例を示す図である。 決済処理の流れの一例を示すシーケンス図である。 商品登録処理の流れの一例を示すフロー図である。 ショッピングカート２ａの斜視図である。 情報処理端末３ａの概略構成の一例を示す図である。

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。本発明の技術的範囲はそれらの実施形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

（本発明の概要）
図１は、本発明の概要を説明するための模式図である。本発明に係るショッピングカート１００は、小売店に配置され、利用者が小売店で買物をするために利用者に提供される。ショッピングカート１００は、商品を収容可能な収容部１０１を備える。ショッピングカート１００には、表示部１１１及び撮像部１１２を有する情報処理端末１１０が設けられる。撮像部１１２は、表示部１１１の裏面に設けられ、収容部１０１の上方を撮像可能に備えられる。

利用者は、小売店の売場に陳列されている複数の商品のうちから購入を希望する商品１２０をショッピングカート１００の収容部１０１に収容することにより、小売店で買物をする。利用者は、収容部１０１に商品１２０を収容する際に、撮像部１１２の前方に商品１２０をかざすことにより、情報処理端末１１０に商品１２０を撮像させる。これにより、情報処理端末１１０は、商品画像１３０を生成する。

情報処理端末１１０は、小売店において販売されている複数の商品のそれぞれについて、各商品が商品画像１３０に含まれる確信度１４０を算出する。確信度は、各商品が商品画像に含まれる確からしさを示す値であり、その値が大きいほど各商品が商品画像に含まれる可能性が大きいことを示す。情報処理端末１１０は、商品画像が入力された場合に、各商品が商品画像に含まれる確信度を出力するように学習された学習済みモデルに商品画像１３０を入力することにより、確信度１４０を算出する。図１に示す例では、商品画像１３０に「キャベツ」が含まれる確信度が「０．６」、「レタス」が含まれる確信度が「０．３」、「白菜」が含まれる確信度が「０．１」等と算出されている。

続いて、情報処理端末１１０は、確信度に基づいて、複数の商品のうちから一部の商品を抽出する。例えば、情報処理端末１１０は、複数の商品のうちから確信度が所定値以上である商品を抽出する。図１に示す例では、「キャベツ」、「レタス」及び「白菜」が抽出されたものとする。

続いて、情報処理端末１１０は、あらかじめ情報処理端末１１０に記憶された複数の商品に関する商品情報のうちから、抽出した商品に関する商品情報を、確信度に応じた表示態様で表示する。図１に示す例では、商品情報は、確信度に応じた大きさで表示される。表示部１１１に表示される商品選択画面１５０において、確信度が最も大きい「キャベツ」の商品情報が最も大きく表示されている。また、商品選択画面１５０において、確信度が「キャベツ」よりも小さい「レタス」及び「白菜」の商品情報が「キャベツ」の商品情報よりも小さく表示されている。

続いて、情報処理端末１１０は、商品情報が表示された商品のうち、顧客によって選択された商品を購入対象商品として登録する。顧客は、情報処理端末１１０に対してクレジットカード番号等の決済情報を入力することにより、登録された購入対象商品についての決済をし、商品を購入する。

以上説明したように、情報処理端末１１０は、商品を撮像して生成された商品画像に各商品が含まれる確信度を算出し、確信度に基づいて抽出された商品のうち、ユーザによって選択された商品を購入対象商品として登録する。このようにすることで、情報処理端末１１０は、顧客が購入対象商品を登録することを支援することを可能とする。

購入しようとしている商品を購入対象商品として端末に登録するためには、購入しようとしている商品の種類を判定する必要がある。通常、商品の種類の判定は、小売店において販売されている商品のうち、購入しようとしている商品に最も類似する商品を特定することによりなされるため、小売店において販売されている商品について十分な知識を有しない顧客は、商品を適切に判定することができない。他方、情報処理端末１１０は、小売店において販売されている複数の商品のうちから商品画像に示される商品を推定し、推定結果に示される商品情報を選択可能に表示する。これにより、顧客は商品情報が表示された商品のうちから購入対象商品に最も類似する商品を特定すればよいため、顧客が商品について十分な知識を有しない場合でも、商品の判定が可能となる。

また、商品について十分な知識を有しない顧客は、表示された商品情報のうちから購入対象商品に最も類似する商品をどのように特定すればよいかが判断できず、商品の判定ができないことがある。他方、情報処理端末１１０は、商品情報を確信度に応じた表示態様で表示する。これにより、購入対象商品に最も近いと推定される商品が顧客に対し示されるため、顧客はより適切に商品の判定をすることができる。

また、端末の操作に習熟していない顧客は、端末において小売店において販売されている多数の商品から購入対象商品を検索し、選択するという操作ができないことがある。他方、情報処理端末１１０は、小売店において販売されている商品のうち、推定結果に示される商品についての商品情報のみを表示する。これにより、表示される商品情報の数が推定結果に基づいて絞り込まれるため、顧客が端末の操作に習熟していない場合でも、顧客が商品を選択して登録することが容易になる。

上述した図１の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、以下に説明する種々の実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例は、全て本発明及び本明細書の開示範囲に含まれる。

（第１の実施形態）
図２は、本発明に係る情報処理システム１の概略構成の一例を示す図である。情報処理システム１は、小売店に配置されるショッピングカート２が有する情報処理端末３、決済サーバ４、認証サーバ５、ＰＯＳ（Point of Sales）サーバ６、機械学習サーバ７及びビーコン端末８を有する。情報処理端末３は、インターネット又はイントラネット等であるネットワーク９を介して、決済サーバ４、認証サーバ５、ＰＯＳサーバ６及び機械学習サーバ７と相互に通信可能に接続される。

決済サーバ４、認証サーバ５、ＰＯＳサーバ６及び機械学習サーバ７は、小売店又はデータセンター等に配置されるサーバである。決済サーバ４は、顧客が購入を希望する購入対象商品に関する決済処理を実行する。情報処理システム１が複数の決済方法に対応する場合、決済サーバ４は、決済方法ごとに設けられてもよい。認証サーバ５は、情報処理端末３から顧客の認証情報を取得し、顧客の認証処理を実行する。ＰＯＳサーバ６は、商品に関する商品情報を記憶するとともに、商品情報を情報処理端末３に提供する。機械学習サーバ７は、所定の学習モデルに対して機械学習を実行して学習済みモデルを生成し、生成した学習済みモデルを情報処理端末３に提供する。また、機械学習サーバ７は、再学習用データを情報処理端末から取得する。

ビーコン端末８は、ショッピングカート２が配置された小売店の複数の位置（例えば、売場ごと）にそれぞれ配置される複数の端末である。各ビーコン端末８は、ＢＬＥ（Bluetooth Low Energy）等の所定の無線通信方式に従うビーコン信号を送信する。ビーコン信号は、情報処理端末３が小売店における位置を示す位置情報を算出するために用いられる。

図３は、ショッピングカート２の斜視図である。ショッピングカート２は、収容部２１、ハンドル２２及びハンドル２２の近傍に設けられた情報処理端末３を有する。収容部２１は、上面が開放された箱型の形状を有し、顧客が購入を決定した商品を収容するために用いられる。ショッピングカート２は、買物かごを載置可能なかご受けを収容部２１として有してもよい。ハンドル２２は、顧客がショッピングカート２を移動させる際に把持するために用いられる。情報処理端末３は、タブレット型のＰＣ（Personal Computer）である。情報処理端末３は、ハンドル２２の近傍に、ショッピングカート２と一体として又は取外し可能に設けられる。情報処理端末３は、多機能携帯電話（スマートフォン）又はラップトップ型等の任意の形状のＰＣ等でもよい。

図４は、情報処理端末３の概略構成の一例を示す図である。情報処理端末３は、通信部３１、記憶部３２、表示部３３、操作部３４、撮像部３５、識別画像検出部３６、位置情報受信部３７、決済部３８及び処理部３９を有する。

通信部３１は、情報処理端末３を他の装置と通信可能にするためのデバイスであり、無線通信インタフェース回路を備える。通信部３１が備える通信インタフェース回路は、ＬＴＥ（Long Term Evolution）又は５Ｇ等の移動体通信インタフェース回路である。通信部３１が備える無線通信インタフェース回路は、無線ＬＡＮ（Local Area Network）等の通信インタフェース回路でもよい。通信部３１は、処理部３９から供給されたデータを他の装置に送信するとともに、他の装置から受信したデータを処理部３９に供給する。

記憶部３２は、データ及びプログラムを記憶するためのデバイスであり、半導体メモリを備える。記憶部３２は、処理部３９による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）等のコンピュータ読み取り可能且つ非一時的な可搬型記憶媒体から、セットアッププログラム等を用いて記憶部３２にインストールされる。

表示部３３は、画像を表示するためのデバイスであり、例えば、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイを備える。表示部３３は、処理部３９から供給された表示データに基づいて画像を表示する。表示部３３は、ハンドル２２を把持する顧客から画像が視認可能となるように、ハンドル２２の上方を向いて設けられる。

操作部３４は、情報処理端末３に対する入力操作を受付けるためのデバイスであり、例えば、表示部３３と一体化されたタッチパネルを備える。操作部３４は、キーパッド又はタッチパッド等を備えてもよい。操作部３４は、入力操作に応じた信号を生成して処理部３９に供給する。

撮像部３５は、被写体を撮像するためのデバイスであり、例えば、カメラを備える。撮像部３５は、光学レンズ等を用いて被写体からの光線を集束することにより結像した被写体像に対応する画像信号を生成し、所定の形式の画像データに変換して処理部３９に供給する。撮像部３５は、顧客が商品を収容部２１に収容する際に商品を撮像可能となるように、収容部２１の上方を向いて設けられる。

識別画像検出部３６は、商品に付されたバーコード等の識別画像を検出するためのデバイスであり、ＣＣＤ（Charge Coupled Device）方式又はレーザ方式のバーコードスキャナを備える。識別画像検出部３６は、識別画像が検出された場合、検出された識別画像を復号した識別情報を処理部３９に供給する。識別画像検出部３６は、顧客が商品を収容部２１に収容する際に商品に付された識別画像を検出可能となるように、撮像部３５と並んで収容部２１の上方を向いて設けられる。

位置情報受信部３７は、ビーコン端末８が送信するビーコン信号を受信するためのデバイスであり、例えば、無線通信インタフェース回路を備える。位置情報受信部３７が備える無線通信インタフェース回路は、ビーコン端末８の通信方式に対応する、ＢＬＥ等の近距離無線通信方式の通信インタフェース回路である。位置情報受信部３７は、ビーコン信号に含まれるデータを処理部３９に供給する。

決済部３８は、決済処理に必要な情報を読込むためのデバイスである。決済方法が二次元コード決済である場合、決済部３８は、カメラを備える。決済方法がクレジットカード等の接触型ＩＣカード又は非接触型ＩＣカードである場合、決済部３８は、それぞれのＩＣカードを読込可能な決済端末を備える。決済部３８は、読込んだ決済処理に必要な情報を処理部３９に供給する。決済部３８は、複数の決済方法にそれぞれ対応する複数のデバイスを備えてもよい。

処理部３９は、情報処理端末３の動作を統括的に制御するデバイスであり、一又は複数個のプロセッサ及びその周辺回路を備える。処理部３９は、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）又はＡＳＩＣ（Application Specific Integrated Circuit）等を備える。処理部３９は、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等を備えてもよい。処理部３９は、記憶部３２に記憶されているプログラムに基づいて情報処理端末３の処理が適切に実行されるように情報処理端末３の各構成の動作を制御するとともに、処理を実行する。

処理部３９は、取得部３９０、画像生成部３９１、確信度算出部３９２、位置情報算出部３９３、補正部３９４、表示制御部３９６、登録部３９７、決済制御部３９８及び送信制御部３９９を機能ブロックとして備える。これらの各部は、処理部３９によって実行されるプログラムによって実現される機能モジュールである。これらの各部は、ファームウェアとして情報処理端末３に実装されてもよい。なお、確信度算出部３９２は、算出部の一例である。

図５は、表示部３３に表示されるログイン画面５００の一例を示す図である。ログイン画面５００は、顧客がショッピングカート２を用いて買物を始めるときに表示される。ログイン画面５００には、文字情報５０１及び顧客識別情報入力オブジェクト５０２が含まれる。

文字情報５０１は、顧客に対してログイン操作を促すための指示を示す。図５に示す例では、文字情報５０１は、ログイン操作として、ログイン用のバーコード等の識別画像を情報処理端末３に検出させること、又は、顧客ＩＤ及びパスワードを入力することを促している。ログイン用の識別画像は、あらかじめ小売店によって顧客情報が登録された顧客ごとに発行された顧客識別情報を符号化した画像である。顧客は、ログイン用の識別画像が印字されたカード等の印字媒体又はログイン用の識別画像が表示された携帯端末等を識別画像検出部３６の前方にかざすことにより、情報処理端末３にログイン用の識別画像を検出させる。ログイン用の識別画像が検出された場合、情報処理端末３は、撮像された識別画像に対応する顧客識別情報を取得し、顧客識別情報を含む認証要求を認証サーバ５に送信する。

顧客識別情報入力オブジェクト５０２は、顧客がログイン用の識別画像を所持していない場合等に、顧客が顧客識別情報を入力するためのオブジェクト群であり、顧客識別情報及びパスワードがそれぞれ入力される２つのテキストボックス５０２ａ及び５０２ｂ並びに決定ボタン５０２ｃを含む。顧客は、操作部３４を介して２つのテキストボックス５０２ａ及び５０２ｂに顧客識別情報及びパスワードをそれぞれ入力する操作をし、決定ボタン５０２ｃを選択する。決定ボタン５０２ｃが選択された場合、情報処理端末３は、入力された顧客識別情報及びパスワードを取得し、顧客識別情報及びパスワードを含む認証要求を認証サーバ５に送信する。

図６は、表示部３３に表示される、商品登録前の買物画面６００の一例を示す図である。買物画面６００は、ログイン画面５００においてログイン操作がされ、認証サーバ５において認証処理がされたときに表示される。買物画面６００には、顧客情報６０１、文字情報６０２、撮像画像６０３及び購入対象商品情報６０４が含まれる。

顧客情報６０１は、認証処理が成功した顧客の氏名を示す。文字情報６０２は、顧客に対して商品登録操作を促すための指示を示す。図６に示す例では、文字情報６０２は、商品登録処理として、情報処理端末３に商品を撮像させること、及び、バーコード等の識別画像が付された商品については、情報処理端末３に識別画像を検出させることを促している。撮像画像６０３は、撮像部３５において撮像されている画像をリアルタイムに表示する。顧客は、撮像画像６０３において商品の位置等を確認しながら撮像部３５の前方に商品をかざすことで、商品を適切に撮像することができる。購入対象商品情報６０４は、顧客が購入対象商品として登録した商品の情報を示す。図６に示す例では、購入対象商品情報６０４は、顧客がまだ商品を登録していないことを示している。

図７は、表示部３３に表示される商品選択画面７００の一例を示す図である。商品選択画面７００は、買物画面６００において、識別画像が付されていない商品が撮像された場合に表示される。商品選択画面７００には、顧客情報７０１、文字情報７０２及び複数の商品選択オブジェクト７０３が含まれる。

顧客情報７０１は、認証処理が成功した顧客の氏名を示す。文字情報７０２は、顧客が撮像した商品を選択することを促すための指示を示す。商品選択オブジェクト７０３は、撮像された商品を購入対象商品として登録するためのオブジェクトである。顧客は、表示された複数の商品選択オブジェクト７０３のうち、撮像した商品に対応すると考えられる商品選択オブジェクト７０３を選択することで、選択した商品選択オブジェクトに対応する商品を購入対象商品として登録することができる。

各商品選択オブジェクト７０３は、小売店において販売されている複数の商品のうちから、情報処理端末３が確信度に基づいて抽出した商品に関する商品情報を含む。図７に示す例では、商品情報は商品の名称及び画像である。また、各商品選択オブジェクト７０３は、確信度に応じた表示態様で表示される。確信度に応じた表示態様が確信度に応じた大きさである場合、確信度が大きいほど、商品選択オブジェクト７０３は大きく表示される。

図７に示す例は、「キャベツ」、「レタス」及び「白菜」が抽出され、「キャベツ」の確信度が最も大きく、「レタス」及び「白菜」の確信度が等しく算出された場合の例である。この場合、「キャベツ」の確信度は最も大きいため、「キャベツ」の商品選択オブジェクト７０３は最も大きく表示される。また、「レタス」及び「白菜」の確信度は互いに等しく、何れも「キャベツ」の確信度よりも小さいため、「レタス」及び「白菜」の商品選択オブジェクト７０３は、互いに等しい大きさで、「キャベツ」の商品選択オブジェクト７０３よりも小さく表示される。

なお、各商品選択オブジェクト７０３は、確信度の順位に応じた大きさで表示されてもよい。すなわち、抽出された商品を、確信度が大きい商品から順位付けし、順位が高い商品ほど、商品選択オブジェクト７０３が大きく表示されてもよい。また、確信度が最も大きい商品の商品選択オブジェクト７０３のみを大きく表示し、他の商品の商品選択オブジェクト７０３を何れも等しい大きさで表示してもよい。

また、確信度に応じた表示態様は、確信度に応じた大きさに限られない。例えば、各商品選択オブジェクト７０３の背景色又は形状が確信度の大きさに応じて変更されてもよい。各商品選択オブジェクト７０３に含まれる文字の大きさや太さが確信度に応じて変更されてもよい。各商品選択オブジェクト７０３が、確信度に応じて、点滅表示等の効果を伴って表示されてもよい。これらの場合において、確信度が最も大きい商品の商品選択オブジェクト７０３のみの表示態様を異ならせてもよい。これにより、商品の種類が判定できない顧客に対して確信度が最も大きい商品を選択することを促すことができ、購入対象商品が正しく登録される可能性を高めることができる。

また、各商品選択オブジェクト７０３は、確信度の順位に従って配列されてもよい。また、各商品選択オブジェクト７０３は、確信度の順位を示す情報を含んでもよい。

図８は、表示部３３に表示される、商品登録後の買物画面８００の一例である。買物画面８００は、商品選択画面７００において商品が登録された場合、又は、買物画面６００において識別画像が付された商品の識別画像が検出された場合に表示される。買物画面８００には、顧客情報８０１、文字情報８０２、撮像画像８０３、購入対象商品情報８０４及び決済オブジェクト８０５が含まれる。

顧客情報８０１は、認証処理が成功した顧客の氏名を示す。文字情報８０２は、顧客に対して商品登録処理を促すための指示を示す。撮像画像８０３は、撮像部３５において撮像されている画像をリアルタイムに表示する。購入対象商品情報８０４は、顧客が購入対象商品として登録した商品の情報を示す。図８に示す例では、購入対象商品情報８０４は、商品選択画面７００において選択された商品選択オブジェクト７０３に対応する商品である「白菜」が購入対象商品として登録されたことを示している。また、買物画面６００において商品の識別画像が検出された場合、購入対象商品情報８０４は、検出された識別画像に対応する商品が購入対象商品として登録されたことを示す。

決済オブジェクト８０５は、購入対象商品の決済をするためのオブジェクトである。決済オブジェクト８０５が選択された場合、情報処理端末３は、決済サーバ４との間で決済処理を実行する。

図９は、記憶部３２に記憶される、バーコード又は二次元コード等の識別画像が付される商品に関する情報を管理する第１商品テーブルＴ１のデータ構造の一例を示す図である。第１商品テーブルＴ１は、商品識別情報、名称、価格及び売場等を関連付ける。

商品識別情報は、商品を識別するための識別情報であり、例えばＪＡＮ／ＥＡＮ／ＵＰＣ等の規格に従う商品コードである。所定の変換プログラムを用いて商品識別情報を画像に変換することにより、商品に付されるバーコード等の識別画像が生成される。名称及び価格は、商品の名称及び価格である。売場は、小売店において商品が配置されている売場を識別するための情報である。

図１０は、記憶部３２に記憶される、識別画像が付されない商品に関する情報を管理する第２商品テーブルＴ２のデータ構造の一例を示す図である。第２商品テーブルＴ２は、商品識別情報、名称、価格、画像及び売場等を関連付ける。

商品識別情報は、商品を識別するための識別情報である。第２商品テーブルＴ２における商品識別情報は、小売店において商品を識別するための識別情報であり、例えば、第２商品テーブルＴ２における商品識別情報は、ＪＡＮコードのインストアマーキングの規格に従う。第２商品テーブルＴ２における商品識別情報は、小売店における独自の体系に従って設定されてもよい。名称及び価格は、商品の名称及び価格である。画像情報は、商品を含む画像ファイルに関する情報であり、例えば、ファイル名及びファイルパスである。売場は、小売店において商品が配置されている売場を識別するための情報である。

第１商品テーブルＴ１及び第２商品テーブルＴ２は、あらかじめＰＯＳサーバ６から取得され、記憶部３２に記憶される。

図１１は、記憶部３２に記憶される、顧客に関する情報を管理する顧客情報テーブルＴ３のデータ構造の一例を示す図である。顧客情報テーブルＴ３は、顧客識別情報、氏名及び決済情報を関連付ける。

顧客識別情報は、顧客を識別するための識別情報である。氏名は、顧客の氏名である。決済情報は、顧客が用いる決済方法に関する情報であり、決済種別及び詳細情報を含む。決済種別は、顧客が用いる決済方法の種別を示す情報であり、例えば、情報処理端末３において決済が可能な、「クレジットカード」、「二次元コード決済」及び「プリペイドカード」等である。詳細情報は、種別に示される決済方法で決済するために必要な情報であり、例えば、カード番号等である。

ログイン画面における顧客のログイン操作に応じて認証サーバ５における認証処理が成功した場合に、情報処理端末３によって、認証処理に係る顧客に関するデータのみが認証サーバ５から取得され、記憶部３２に記憶される。

図１２は、記憶部３２に記憶される位置情報テーブルＴ４のデータ構造の一例を示す図である。位置情報テーブルＴ４は、ビーコン識別情報及び売場を関連付ける。

ビーコン識別情報は、ビーコン信号に含まれる、ビーコン信号を送信したビーコン端末８を識別するための識別情報である。ビーコン信号がＢＬＥの規格に従う場合、ビーコン識別情報は、例えばＵＵＩＤ（Universal Unique Identifier）である。売場は、小売店において、ビーコン識別情報に対応するビーコン端末８が設置された売場を識別するための情報である。

位置情報テーブルＴ４は、小売店におけるビーコン端末８の配置に応じてあらかじめ小売店の従業員によって設定され、記憶部３２に記憶される。

図１３は、記憶部３２に記憶される学習用データテーブルＴ５のデータ構造の一例を示す図である。学習用データテーブルＴ５は、画像及びラベルを関連付ける。

画像情報は、情報処理端末３が商品を撮像したことによって生成された商品画像の画像ファイルに関する情報であり、ファイル名及びファイルパス等である。ラベルは、商品選択画面７００において顧客に選択された商品を示す情報である。図１３に示す例では、ラベルは、小売店において販売されている複数の商品のそれぞれに対応する要素を有するOne-hotベクトルである。すなわち、情報処理端末３が商品画像として「画像１」を撮像し、顧客が商品選択画面７００において「キャベツ」を選択した場合には、「キャベツ」に対応する要素のみが「１」であるOne-hotベクトルが生成され、「画像１」に関連付けられる。

学習用データテーブルＴ５は、顧客が商品選択画面７００において商品を選択した時に生成され、記憶部３２に記憶される。学習用データテーブルＴ５は、情報処理端末３から再学習用データとして機械学習サーバ７に送信され、学習済みモデルの再学習に用いられる。

図１４は、情報処理システム１によって実行される決済処理の流れの一例を示すシーケンス図である。決済処理は、情報処理端末３、決済サーバ４、認証サーバ５、ＰＯＳサーバ６及び機械学習サーバ７に記憶されたプログラムに基づいて、これらの装置の処理部が各装置の構成要素と協働することにより実現される。

まず、情報処理端末３の取得部３９０は、機械学習サーバ７から学習済みモデルを取得して記憶部３２に記憶する（Ｓ１０１）。取得部３９０は、通信部３１を介して、学習済みモデルの送信要求を機械学習サーバ７に送信する。取得部３９０は、通信部３１を介して、学習済みモデルの送信要求に応じて機械学習サーバ７から送信された学習済みモデルを受信する。取得部３９０は、受信した学習済みモデルを記憶部３２に記憶する。学習済みモデルの送信要求は、あらかじめ設定された時刻に定期的に送信される。学習済みモデルの送信要求は、情報処理端末３の管理者（例えば、小売店の従業員等）の操作に応じて送信されてもよい。

学習済みモデルは、小売店において販売されている、識別画像が付されない商品を含む商品画像を入力した場合に、識別画像が付されない複数の商品のそれぞれについて、各商品が商品画像に含まれる確信度を出力するように学習された学習モデルである。学習モデルは、例えば、画像分類用のＣＮＮ（Convolutional Neural Network）である。学習済みモデルは、学習用商品画像を学習モデルに入力した場合に学習モデルから出力される確信度と、学習用商品画像についてあらかじめ設定されたラベルとの誤差が小さくなるようにパラメータが更新された学習モデルである。パラメータは、例えば、学習モデルから出力された確信度を示すベクトルとラベルとの交差エントロピー誤差が小さくなるように、誤差逆伝搬法を用いて更新される。学習済みモデルは、機械学習サーバ７があらかじめ機械学習プログラムを実行することにより生成される。

続いて、取得部３９０は、ＰＯＳサーバ６から第１商品テーブルＴ１及び第２商品テーブルＴ２を取得して記憶部３２に記憶する（Ｓ１０２）。取得部３９０は、通信部３１を介して、商品情報の送信要求を機械学習サーバ７に送信する。取得部３９０は、通信部３１を介して、商品情報の送信要求に応じてＰＯＳサーバ６から送信された第１商品テーブルＴ１及び第２商品テーブルＴ２を受信する。取得部３９０は、受信した第１商品テーブルＴ１及び第２商品テーブルＴ２を記憶部３２に記憶する。商品情報の送信要求は、あらかじめ設定された時刻に定期的に送信される。商品情報の送信要求は、情報処理端末３の管理者の操作に応じて送信されてもよい。

続いて、取得部３９０は、認証サーバ５から顧客情報テーブルＴ３を取得する（Ｓ１０３）。取得部３９０は、表示部３３にログイン画面５００を表示する。取得部３９０は、ログイン画面５００におけるユーザの操作に応じて顧客識別情報を取得する。取得部３９０は、通信部３１を介して顧客識別情報を含む認証要求を認証サーバ５に送信する。認証サーバ５において認証要求が認証された場合、取得部３９０は、通信部３１を介して、顧客識別情報に対応する顧客についての顧客情報テーブルＴ３を受信する。取得部３９０は、受信した顧客情報テーブルＴ３を記憶部３２に記憶する。

続いて、情報処理端末３は、商品を購入対象商品として登録する商品登録処理を実行する（Ｓ１０４）。商品登録処理の詳細は後述する。

続いて、決済制御部３９８は、登録された商品についての決済処理を実行する（Ｓ１０５）。決済制御部３９８は、顧客情報テーブルＴ３に含まれる顧客の決済種別に基づいて、決済処理を実行する決済サーバ４を特定する。決済制御部３９８は、通信部３１を介して、特定された決済サーバ４に対して、顧客情報テーブルＴ３に含まれるクレジットカード番号等の詳細情報を送信する。決済サーバ４において決済処理が正常に実行された場合、決済制御部３９８は、通信部３１を介して、決済完了通知を決済サーバ４から受信する。決済制御部３９８は、決済完了通知を受信したことに応じて、決済が完了した旨を表示部３３に表示する。なお、決済制御部３９８は、顧客情報テーブルＴ３を参照せずに、決済部３８を制御して顧客の決済種別及び詳細情報を取得してもよい。

続いて、送信制御部３９９は、通信部３１を介して、商品登録処理において生成された学習用データテーブルＴ５を、学習済みモデルの再学習用データとして機械学習サーバ７に送信する（Ｓ１０６）。機械学習サーバ７は、送信された再学習用データを用いて学習済みモデルを再学習させる。再学習は、機械学習サーバ７に記憶された学習済みモデルに対して、再学習用データを用いて確率的勾配降下法等のオンライン機械学習をさせるためのプログラムを実行し、学習済みモデルのパラメータを更新することによりなされる。再学習された学習済みモデルは、機械学習サーバ７に記憶され、取得部３９０による学習済みモデルの送信要求があった場合に情報処理端末３に送信される。

図１５は、決済処理のＳ１０４において、情報処理端末３によって実行される商品登録処理の流れの一例を示すフロー図である。

まず、画像生成部３９１は、撮像部３５を制御して小売店において販売されている複数の商品のうちのいずれかの商品を撮像することにより、商品画像を生成する（Ｓ２０１）。画像生成部３９１は、生成された商品画像を買物画面６００の撮像画像６０３にリアルタイムに表示する。

続いて、確信度算出部３９２は、複数の商品の商品識別情報に対応する識別画像が検出されたか否かを判定する（Ｓ２０２）。確信度算出部３９２は、識別画像検出部３６から識別情報が供給されたか否かを判定する。識別情報が供給されたと判定した場合、確信度算出部３９２は、供給された識別情報が第１商品情報テーブルＴ１に商品識別情報として含まれるか否かを判定する。供給された識別情報が商品識別情報として含まれると判定した場合、確信度算出部３９２は、商品識別情報に対応する識別画像が検出されたと判定する。識別情報が供給されないと判定した場合、又は、供給された識別情報が商品識別情報として含まれないと判定した場合、確信度算出部３９２は、商品識別情報に対応する識別画像が検出されていないと判定する。

識別画像が検出されていないと判定された場合（Ｓ２０２－Ｎｏ）、確信度算出部３９２は、商品画像を学習済みモデルに入力することにより、複数の商品のそれぞれについて確信度を算出する（Ｓ２０３）。確信度算出部３９２は、商品画像を、記憶部３２に記憶された学習済みモデルに入力し、学習済みモデルから出力された確信度を取得することにより、確信度を含む推定結果を算出する。

続いて、確信度算出部３９２は、何れかの推定結果の確信度が基準値以上であるか否かを判定する（Ｓ２０４）。何れの推定結果の確信度も基準値未満であると判定された場合（Ｓ２０４－Ｎｏ）、確信度算出部３９２は、商品画像に商品が含まれないと判定し、処理をＳ２０１に戻す。基準値は、商品画像に何れかの商品が含まれる場合の確信度と商品画像に商品が含まれない場合の確信度との中間の値となるように設定される。

何れかの推定結果の確信度が基準値以上であると判定された場合（Ｓ２０４－Ｙｅｓ）、位置情報算出部３９３は、情報処理端末３の小売店における位置を示す位置情報を算出する（Ｓ２０５）。位置情報は、例えば、情報処理端末３が位置する売場を特定する情報である。位置情報算出部３９３は、位置情報受信部３７を制御して、小売店の各売場に配置されたビーコン端末８が送信したビーコン信号を受信し、ビーコン信号に含まれるビーコン識別情報を取得する。位置情報算出部３９３は、位置情報テーブルＴ４を参照し、取得したビーコン識別情報に対応する売場を特定することにより、位置情報を算出する。

続いて、補正部３９４は、算出された確信度を位置情報に基づいて補正する（Ｓ２０６）。補正部３９４は、第２商品テーブルＴ２を参照し、Ｓ２０５において特定された売場が各商品の売場と一致するか否かを判定する。特定された売場と商品の売場とが一致すると判定された場合、補正部３９４は、その商品の確信度が大きくなるように補正する。補正は、０より大きい所定値を確信度に加算すること、又は、１より大きい所定値を確信度に乗算することによりなされる。

続いて、抽出部３９５は、確信度に基づいて、複数の商品のうちから一部の商品を抽出する（Ｓ２０７）。抽出部３９５は、複数の商品のそれぞれについて、補正された確信度が第２の基準値以上であるか否かを判定する。抽出部３９５は、複数の商品のうちから確信度が第２の基準値以上であると判定した商品を抽出する。第２の基準値は、あらかじめ設定された値でもよく、所定数の商品が抽出されるように、補正された確信度に応じて設定された値でもよい。

続いて、表示制御部３９６は、抽出した商品に関する商品情報を、確信度に応じた表示態様で表示する（Ｓ２０８）。表示制御部３９６は、補正された確信度に基づいて、商品選択画面７００に含まれる、抽出した商品に関する商品情報を表示する商品選択オブジェクト７０３の大きさを決定する。表示制御部３９６は、決定された商品選択オブジェクト７０３を配置した商品選択画面の表示データを生成し、生成された表示データに基づいて商品選択画面７００を表示部３３に表示させる。

補正された確信度が大きいほど、その商品に対応する商品選択オブジェクト７０３の大きさが大きくなるように決定される。商品選択オブジェクト７０３の大きさは、例えば、確信度に比例するように決定されてもよい。また、商品選択オブジェクト７０３の大きさが確信度に対して正の相関を有するように、商品選択オブジェクト７０３の大きさと確信度との間にあらかじめ対応関係が設定されていてもよい。商品選択オブジェクト７０３は、確信度の順位に応じた大きさで表示されてもよい。この場合、確信度の順位が高い商品の商品選択オブジェクト７０３の大きさが、確信度の順位が低い商品の商品選択オブジェクト７０３の大きさ以上となるように決定される。

続いて、登録部３９７は、商品情報が表示された商品のうち、ユーザによって選択された商品を購入対象商品として登録する（Ｓ２０９）。登録部３９７は、商品選択画面７００において、何れかの商品選択オブジェクト７０３を選択するユーザの、操作部３４に対する操作を受付ける。登録部３９７は、ユーザの操作によって選択された商品選択オブジェクト７０３に対応する商品を購入対象商品として登録する。登録部３９７は、選択された商品が購入対象商品として登録されたことを示す買物画面８００の表示データを生成し、生成された表示データに基づいて買物画面８００を表示部３３に表示させる。

また、登録部３９７は、商品画像と顧客によって選択された商品とを関連付けて記憶する。登録部３９７は、顧客によって選択された商品に対応するラベルを生成し、商品画像とラベルとを関連付けて学習用データテーブルＴ５に記憶する。

Ｓ２０２において、識別画像が検出されたと判定された場合（Ｓ２０２－Ｙｅｓ）、登録部３９７は、識別画像に対応する商品を購入対象商品として登録する（Ｓ２１０）。登録部３９７は、第１商品テーブルＴ１を参照して、識別画像検出部３６から供給された識別情報に対応する商品を特定する。確信度算出部３９２は、特定された商品を購入対象商品として登録する。確信度算出部３９２は、購入対象商品が登録されたことを示す買物画面８００の表示データを生成し、生成した表示データに基づいて買物画面８００を表示部３３に表示させる。

続いて、登録部３９７は、ユーザによって決済指示がされたか否かを判定する（Ｓ２１１）。決済指示がされたと判定された場合（Ｓ２１１－Ｙｅｓ）、商品登録処理は終了する。決済指示がされていないと判定された場合（Ｓ２１１－Ｎｏ）、商品登録処理はＳ２０１に戻る。

以上説明したように、情報処理端末３は、商品を撮像して生成された商品画像を学習済みモデルに入力し、商品画像に各商品が含まれる確信度を算出する。また、情報処理端末３は、確信度に基づいて抽出された商品に関する商品情報を確信度に応じた大きさで表示し、商品情報が表示された商品のうち、ユーザによって選択された商品を購入対象商品として登録する。これにより、情報処理端末３は、顧客が購入対象商品を登録することを支援することを可能とする。

また、情報処理端末３は、小売店における情報処理端末３の位置を示す位置情報を算出し、確信度を位置情報に基づいて補正する。これにより、情報処理端末３は、顧客に対して推定精度のよい商品情報を提示し、顧客がより適切に購入対象商品を登録することを支援することを可能とする。

すなわち、一般に、顧客は売場において購入を希望する商品を手にすると、すぐに商品を撮像部３５の前方にかざし、ショッピングカート２の収容部２１に収容すると考えられる。したがって、商品画像が生成される商品は、情報処理端末３が位置する売場に配置されている商品である可能性が高い。情報処理端末３は、このような商品の種類と位置情報との関係に基づいて推定結果を補正するため、商品の推定精度を向上させることを可能とする。

また、情報処理端末３は、学習用データテーブルＴ５を、学習済みモデルの再学習用データとして機械学習サーバ７に送信する。これにより、機械学習サーバ７において再学習が可能となり、学習済みモデルの確信度の精度を向上させることができる。また、事前に十分な学習用データを収集することが困難な場合でも、小売店がショッピングカート２を導入することが可能となる。

また、情報処理端末３は、商品画像に識別画像が含まれている場合に、識別画像に対応する識別情報に示される商品を購入対象商品として登録する。これにより、情報処理端末３は、識別画像が付されている商品の種類をより高精度に判定し、購入対象商品として登録することが可能となる。

なお、上述した商品選択処理において、Ｓ２０５及びＳ２０６が省略されてもよい。また、商品選択処理において、Ｓ２０２及びＳ２１０が省略されてもよい。

上述した説明では、学習済みモデルとして画像分類用のＣＮＮが用いられるものとしたが、このような例に限られない。学習済みモデルとして、Ｒ－ＣＮＮ（Region with Convolutional Neural Network）、ＳＳＤ（Single Shot Detector）等の物体検出用のニューラルネットワークが用いられてもよい。これにより、顧客は情報処理端末３に複数の商品を同時に撮像させて登録することが可能となる。

この場合、確信度算出部３９２は、Ｓ２０３において、複数の商品を示す商品画像を学習済みモデルに入力し、商品画像において各商品に対応する領域を特定するとともに、各領域に関する確信度を含む推定結果を算出する。確信度算出部３９２は、各領域についての推定結果のそれぞれについて、Ｓ２０４～Ｓ２０９の処理を順次実行する。なお、Ｓ２０４において、一の領域に関する全ての推定結果の確信度が基準値未満であると判定された場合、確信度算出部３９２は、その領域に関する推定結果についての処理を終了し、次の領域に関する推定結果について、Ｓ２０４～Ｓ２０９の処理を実行する。

また、学習済みモデルとして物体検出用のニューラルネットワークが用いられる場合において、撮像部３５は収容部２１の内部を撮像するように設けられてもよい。この場合において、推定部３３３は、収容部に収容された商品を示す商品画像を学習済みモデルに入力し、収容部２１に収容された各商品に対応する領域を特定する。推定部３３３は、特定された領域を、直前に入力した商品画像において特定された領域と比較することにより、新たに収容部２１に収容された商品があるか否かを判定する。新たに収容された商品があると判定した場合、その商品についての推定結果を算出し、Ｓ２０４～Ｓ２０９の処理を実行する。このようにすることで、顧客は商品を撮像部３５の前方にかざす必要がなくなり、より円滑に買物ができるようになるとともに、顧客が商品の登録を怠ることを防ぐことができるようになる。

また、確信度算出部３９２は、学習済みモデルを用いずに、あらかじめ各商品について設定された特徴量を商品画像から抽出することによって、商品画像に各商品が含まれる確信度を算出してもよい。

上述した説明では、情報処理端末３は識別画像検出部３６を有するものとしたが、このような例に限られない。情報処理端末３は、商品画像に基づいて識別画像を検出してもよい。この場合、Ｓ２０２において、確信度算出部３９２は、撮像部３５によって撮像された商品画像に対して所定の識別画像検出プログラムを適用し、識別画像が検出された否かを判定する。これにより、顧客は商品に識別画像が付されているか否かにかかわらず商品を撮像部３５の前方にかざすこととなるため、利便性が向上する。

上述した説明では、位置情報算出部３９３は、売場の位置を特定することにより位置情報を算出するものとしたが、このような例に限られない。位置情報算出部３９３は、小売店における情報処理端末３の現在の位置を示す２次元又は３次元座標を位置情報として算出してもよい。この場合、情報処理端末３は、位置情報テーブルＴ４に、各ビーコン端末８の位置を示す座標を記憶する。位置情報算出部３９３は、位置情報受信部３７が受信したビーコン信号の強度に基づいて、情報処理端末３と複数のビーコン端末８との距離を算出する。位置情報算出部３９３は、各ビーコン端末８の位置を示す座標と、算出された距離とに基づいて、情報処理端末３の現在の位置を示す座標を位置情報として算出する。

この場合において、補正部３９４は、情報処理端末３の現在の位置と売場との距離に応じて、確信度を補正してもよい。この場合、情報処理端末３は、第１商品テーブルＴ１及び第２商品テーブルＴ２に、各商品が配置されている売場の位置を示す座標を記憶する。補正部３９４は、情報処理端末３の現在の位置と売場との距離を算出し、距離に応じた補正値を確信度に加算又は乗算することにより、確信度を補正する。距離に応じた補正値は、距離が小さいほど大きい値である。これにより、情報処理端末３が複数の売場の中間地点に位置している場合でも、適切に確信度を補正することができる。

なお、上述した説明では、情報処理端末３は、商品画像を学習済みモデルに入力することにより確信度を算出し、位置情報に基づいて確信度を補正したが、このような例に限られない。情報処理端末３は、商品画像及び位置情報が入力された場合に、商品画像に各商品が含まれる確信度を出力するように学習された学習済みモデルを用いてもよい。これにより、位置情報に応じた適切な確信度が算出される。この場合、情報処理端末３は、補正部３９４を備えなくてもよい。

また、学習済みモデルに商品画像及び位置情報が入力される場合、送信制御部３９９は、Ｓ１０６において、商品画像と、位置情報と、顧客によって選択された商品とを関連付けて、学習済みモデルの再学習用データとして機械学習サーバ７に送信する。これにより、位置情報を用いる場合においても、学習済みモデルの確信度の精度を向上させることができる。

（第２の実施形態）
図１６は、第２の実施形態に係るショッピングカート２ａの斜視図であり、図１７は、ショッピングカート２ａが有する情報処理端末３ａの概略構成の一例を示す図である。情報処理端末３ａは、Ｓ２０５の位置情報を算出する処理において、第１の実施形態と相違する。なお、上述した説明と同様の構成については同一の符号を付し、適宜説明を省略する。

情報処理端末３ａは、位置情報受信部３７に代えて第２撮像部３７ａを有する点で情報処理端末３と相違する。

第２撮像部３７ａは、被写体を撮像するためのデバイスであり、例えば、カメラを備える。第２撮像部３７ａは、光学レンズ等を用いて被写体からの光線を集束することにより結像した被写体像に対応する画像信号を生成し、所定の形式の画像データに変換して処理部３９に供給する。第２撮像部３７ａは、ショッピングカート２ａの周辺を撮像可能となるように、収容部２１の外側面の下部に、前方を向いて設けられる。

決済処理のＳ１０１において、情報処理端末３ａの取得部３９０ａは、機械学習サーバ７から第１の学習済みモデル及び第２の学習済みモデルを取得する。第１の学習済みモデルは、第１の実施形態の学習済みモデルと同様である。すなわち、第１の学習済みモデルは、小売店において販売されている、識別画像が付されない複数の商品のうちの何れかの商品を示す商品画像を入力した場合に、識別画像が付されない各商品が商品画像に含まれる確信度を出力するように学習された学習モデルである。第１の学習済みモデルは、商品登録処理のＳ２０３において、確信度算出部３９２が商品画像に示される商品を推定するために用いられる。

第２の学習済みモデルは、識別画像が付されない商品に加えて、識別画像が付される商品も認識可能となるように学習されている点で第１の学習済みモデルと相違する。すなわち、第２の学習済みモデルは、小売店において販売されている商品のうちの何れかの商品を示す商品画像を入力した場合に、各商品が商品画像に含まれる確信度を出力するように学習された学習モデルである。第２の学習済みモデルは、入力された画像において、小売店において販売されている商品が含まれている一つ又は複数の領域を特定し、各領域に含まれる商品の推定結果を出力する、Ｒ－ＣＮＮ、ＳＳＤ等の物体検出用のニューラルネットワークである。第２の学習済みモデルは、商品登録処理のＳ２０５において、位置情報算出部３９３ａが位置情報を算出するために用いられる。

商品登録処理のＳ２０５において、位置情報算出部３９３ａは、ショッピングカート２の周辺を撮像した周辺画像に基づいて、位置情報を算出する。位置情報算出部３９３ａは、第２撮像部３７ａを制御して、ショッピングカート２ａの周辺を撮像した周辺画像を生成する。位置情報算出部３９３ａは、周辺画像を第２の学習済みモデルに入力することにより、各商品が周辺画像に含まれる確信度を算出する。周辺画像には、ショッピングカート２ａの周辺の売場に陳列されている商品が含まれるため、算出された確信度は、ショッピングカート２ａの位置情報を算出するために用いられる。

位置情報算出部３９３ａは、第１商品テーブルＴ１及び第２商品テーブルＴ２を参照し、最も大きい確信度が算出された商品の売場を特定する。位置情報算出部３９３ａは、最も多く特定された売場を、ショッピングカート２ａが位置している売場として特定することにより、位置情報を算出する。例えば、周辺画像を第２の学習済みモデルに入力することにより、３つの商品が検出され、そのうちの２つの商品について「緑茶」の確信度が最も大きく算出され、１つの商品について「キャベツ」の確信度が最も大きく算出されたとする。この場合、「緑茶」の売場である「飲料（紙パック）」が最も多く特定された売場となるため、位置情報算出部３９３ａは、「飲料（紙パック）」をショッピングカート２ａが位置している売場として特定する。

このようにすることで、小売店にビーコン端末８が配置されていない場合でも、ショッピングカート２ａを導入することが可能となる。また、一般に、同一のカテゴリ（例えば、常温で保存される野菜、冷蔵で保存される野菜、菓子、等）に属する商品は同一の売場で販売されるから、小売店のレイアウトを変更した場合も、小売店は、変更を加えることなくショッピングカート２ａを利用することができる。また、ある小売店で利用されているショッピングカート２ａを他の小売店で利用することもできる。

上述した説明では、第２の学習済みモデルは、小売店において販売されている商品を検出するものとしたが、このような例に限られず、第２の学習済みモデルは、小売店の柱や壁面等の構造物や、陳列棚等の造作を検出するものとしてもよい。これにより、商品を検出する場合よりも周辺画像に含まれる検出対象物の数が減少するため、検出精度が向上する。

上述した説明では、情報処理端末３ａは撮像部３５及び第２撮像部３７ａを有するものとしたが、第２撮像部３７ａを有しないものとしてもよい。この場合、撮像部３５によって撮像された画像のうち、収容部２１の上方に対応する、あらかじめ定められた領域を商品画像として用い、それ以外の領域を周辺画像として用いてもよい。

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した各部の処理は、本発明の範囲において、適宜に異なる順序で実行されてもよい。また、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。

１ 情報処理システム
２ ショッピングカート
３ 情報処理端末
３１ 通信部
３２ 記憶部
３３ 表示部
３４ 操作部
３５ 撮像部
３６ 識別画像検出部
３７ 位置情報受信部
３８ 決済部
３９ 処理部
３９０ 取得部
３９１ 画像生成部
３９２ 確信度算出部
３９３ 位置情報算出部
３９４ 補正部
３９５ 抽出部
３９６ 表示制御部
３９７ 登録部
３９８ 決済制御部
３９９ 送信制御部

Claims (8)

1. 小売店に配置される情報処理端末であって、
   撮像部と、
   前記小売店において販売されている複数の商品の商品情報および売場を関連付けて記憶するとともに、前記複数の商品のうちのいずれかの商品を含む画像が入力された場合に、前記複数の商品のそれぞれについて、各商品が前記画像に含まれる確信度を出力するように学習された学習済みモデルを記憶する記憶部と、
   前記複数の商品のうちの何れかの商品を前記撮像部に撮像させて、商品画像を生成する画像生成部と、
   前記商品画像を前記学習済みモデルに入力することにより、前記複数の商品のそれぞれについて確信度を算出する算出部と、
   前記情報処理端末の周辺を前記撮像部に撮像させて周辺画像を生成し、前記周辺画像を前記学習済みモデルに入力することにより、各商品が前記周辺画像に含まれる確信度を算出し、前記記憶部に記憶された前記複数の商品の商品情報および売場を参照して、最も大きい確信度が算出された一つまたは複数の商品のそれぞれについて対応する売場を特定し、最も多く特定された売場を前記情報処理端末が位置している売場として特定することにより前記小売店における前記情報処理端末の現在の位置を示す位置情報を算出する位置情報算出部と、
   前記複数の商品のそれぞれについて、当該商品の売場と前記情報処理端末が位置している売場とが一致している場合に、当該商品についての確信度が大きくなるように、前記算出された確信度を補正する補正部と、
   前記補正された確信度に基づいて、前記複数の商品のうちから一部の商品を抽出する抽出部と、
   前記抽出した商品に関する商品情報を、前記補正された確信度に応じた表示態様で表示する表示制御部と、
   前記商品情報が表示された商品のうち、顧客によって選択された商品を購入対象商品として登録する登録部と、
   を有することを特徴とする情報処理端末。
2. 前記画像生成部によって生成された商品画像と、前記顧客によって選択された商品とを関連付けて、前記学習済みモデルの再学習用データとして機械学習サーバに送信する送信制御部をさらに有する、
   請求項１に記載の情報処理端末。
3. 前記小売店における前記情報処理端末の現在の位置を示す位置情報を算出する位置情報算出部をさらに有し、
   前記算出部は、前記商品画像及び前記位置情報を前記学習済みモデルに入力することにより、前記複数の商品のそれぞれについて前記確信度を算出し、
   前記画像生成部によって生成された商品画像と、前記位置情報算出部によって算出された位置情報と、前記顧客によって選択された商品とを関連付けて、前記学習済みモデルの再学習用データとして機械学習サーバに送信する送信制御部をさらに有する、
   請求項１に記載の情報処理端末。
4. 前記記憶部は、前記複数の商品の識別情報をさらに記憶し、
   前記算出部は、前記商品に付された、前記識別情報に対応する識別画像が検出されたか否かを判定し、前記識別画像が検出されていないと判定した場合に、前記商品画像を前記学習済みモデルに入力することにより前記確信度を算出し、
   前記登録部は、前記識別画像が検出されたと前記算出部が判定した場合に、前記識別画像に対応する識別情報に示される商品を購入対象商品として登録する、
   請求項１－３の何れか一項に記載の情報処理端末。
5. 前記情報処理端末は、小売店に配置されるショッピングカートに設けられる、請求項１－４の何れか一項に記載の情報処理端末。
6. 前記画像生成部は、前記撮像部によって撮像された画像のうち、あらかじめ定められた第１領域を前記商品画像として用い、
   前記位置情報算出部は、前記撮像部によって撮像された画像のうち、前記第１領域以外の第２領域を前記周辺画像として用いる、
   請求項１－５のいずれか一項に記載の情報処理端末。
7. 小売店に配置される、撮像部を有する情報処理端末における情報処理方法であって、
   前記小売店において販売されている複数の商品の商品情報および売場を関連付けて記憶するとともに、前記複数の商品のうちのいずれかの商品を含む画像が入力された場合に、前記複数の商品のそれぞれについて、各商品が前記画像に含まれる確信度を出力するように学習された学習済みモデルを記憶し、
   前記複数の商品のうちの何れかの商品を前記撮像部に撮像させて、商品画像を生成し、
   前記商品画像を前記学習済みモデルに入力することにより、前記複数の商品のそれぞれについて前記確信度を算出し、
   前記情報処理端末の周辺を前記撮像部に撮像させて周辺画像を生成し、前記周辺画像を前記学習済みモデルに入力することにより、各商品が前記周辺画像に含まれる確信度を算出し、前記記憶された前記複数の商品の商品情報および売場を参照して、最も大きい確信度が算出された一つまたは複数の商品のそれぞれについて対応する売場を特定し、最も多く特定された売場を前記情報処理端末が位置している売場として特定することにより前記小売店における前記情報処理端末の現在の位置を示す位置情報を算出し、
   前記複数の商品のそれぞれについて、当該商品の売場と前記情報処理端末が位置している売場とが一致している場合に、当該商品についての確信度が大きくなるように、前記算出された確信度を補正し、
   前記補正された確信度に基づいて、前記複数の商品のうちから一部の商品を抽出し、
   前記抽出した商品に関する商品情報を、前記補正された確信度に応じた表示態様で表示し、
   前記商品情報が表示された商品のうち、顧客によって選択された商品を購入対象商品として登録する、
   ことを含むことを特徴とする情報処理方法。
8. 小売店に配置される、撮像部を有する情報処理端末のプログラムであって、
   前記小売店において販売されている複数の商品の商品情報および売場を関連付けて記憶するとともに、前記複数の商品のうちのいずれかの商品を含む画像が入力された場合に、前記複数の商品のそれぞれについて、各商品が前記画像に含まれる確信度を出力するように学習された学習済みモデルを記憶し、
   前記複数の商品のうちの何れかの商品を前記撮像部に撮像させて、商品画像を生成し、
   前記商品画像を前記学習済みモデルに入力することにより、前記複数の商品のそれぞれについて前記確信度を算出し、
   前記情報処理端末の周辺を前記撮像部に撮像させて周辺画像を生成し、前記周辺画像を前記学習済みモデルに入力することにより、各商品が前記周辺画像に含まれる確信度を算出し、前記記憶された前記複数の商品の商品情報および売場を参照して、最も大きい確信度が算出された一つまたは複数の商品のそれぞれについて対応する売場を特定し、最も多く特定された売場を前記情報処理端末が位置している売場として特定することにより前記小売店における前記情報処理端末の現在の位置を示す位置情報を算出し、
   前記複数の商品のそれぞれについて、当該商品の売場と前記情報処理端末が位置している売場とが一致している場合に、当該商品についての確信度が大きくなるように、前記算出された確信度を補正し、
   前記確信度に基づいて、前記複数の商品のうちから一部の商品を抽出し、
   前記抽出した商品に関する商品情報を、前記確信度に応じた表示態様で表示し、
   前記商品情報が表示された商品のうち、顧客によって選択された商品を購入対象商品として登録する、
   ことを前記情報処理端末に実行させることを特徴とするプログラム。

Images