JP6210811B2 - 店舗システム及び店舗システムでの苦情処理方法 - Google Patents

Description

この発明は、パン、野菜等の商品を画像認識により識別する店舗システムに関する。

出願人は、パン、生野菜、果物等の食品、あるいは透明の袋に詰めた錠剤等を、画像識別により識別するシステムを開発している（例えば特許文献１ 特開2011-170745）。商品を画像識別により自動的に識別できると、POS端末でのレジ打ち作業を軽減でき、またパン、生野菜等のようにバーコード等を付けるのに適さない商品を、POS端末で容易に処理できる。

特開2011-170745

画像により商品を識別し会計を済ませると、後で苦情が生じることがある。例えば客が選択した商品とは別の商品として識別され会計をした等である。画像による識別では100%正確に商品を識別することが難しいため、このような苦情が生じやすい。そこで苦情を客観的に解決できるようにすることが必要である。

この発明の課題は、商品の識別が誤っているとの苦情を、客観的に解決できるようにすることにある。

この発明は、商品を画像識別により識別し、会計を行う店舗システムにおいて、
商品を撮像するデジタルカメラと、
デジタルカメラからの画像に対して、画像識別を行うことにより、商品を識別する識別コンピュータと、
識別コンピュータにより識別した商品に対し、会計を行い、レシートを発行するPOS端末と、
ディスプレイと、
レシートを発行した商品に対する、デジタルカメラからの画像を、レシートのデータをキーとして検索可能に記憶するメモリとを備え、
メモリからレシートをキーとして検索した画像を、ディスプレイに表示するように構成されていることを特徴とする。

この発明では、苦情に対してレシートをキーに、実際に販売した商品の画像を検索して表示できる。この画像は、商品毎に用意されている標準的な画像ではなく、デジタルカメラで撮像し、識別した商品自体の画像である。従ってレシートに記載の商品名及びその個数と、実際に販売した商品が一致するか否かを客観的に確認できる。なおメモリ及びディスプレイは、POS端末に設けても、識別コンピュータ側にPOS端末とは別体に設けても良い。また識別コンピュータは物理的にはPOS端末と同じものでも良い。

好ましくはキーはレシートの番号及び販売日時である。このようにすると簡単に画像を検索でき、かつレシートの番号が汚れて判読できなくても販売日時が判読できるなどのことにより、画像を検索できないケースを減らすことができる。

また好ましくは、メモリはデジタルカメラから出力された画像を画素数を減少させて記憶する。このようにすると、小容量のメモリに多数の画像を記憶できる。画素数を減らすためには、例えば解像度を低下させ、あるいは撮像した画像中の商品以外の背景部分を省略する等の処理が好ましい。

好ましくは、会計に商品を乗せたトレイ等の容器を用いる場合に、複数の容器を用いて会計した場合、各容器の商品の画像を記憶する。従ってレシートには記載されているが画像が無い商品が生じない。

実施例の店舗システムのブロック図 識別コンピュータのブロック図 実施例でのPOS端末のブロック図 実施例での苦情の処理アルゴリズムを示すフローチャート

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

図１〜図４に、実施例の店舗システム２を示す。４はパネルで、乳白色の半透明なパネル５と、その下部にある白色のバックライト光源６とから成り、乳白色で半透明のトレイ８を乗せるようにされている。１０はデジタルカメラで、これ以外に距離画像用カメラ１１（図２）を設けても良い。１２はタッチパネルで、商品を識別する過程でのヒューマンインターフェースとして用いる。バックライトパネル４と、デジタルカメラ１０と、距離画像用カメラ１１と、タッチパネル１２は、USB（ユニバーサル・シリアル・バス）等により、パーソナルコンピュータ等から成る識別コンピュータ１４に接続されている。またLAN等により、識別コンピュータ１４はPOS端末１６に接続され、１８はそのディスプレイである。

図２は識別コンピュータ１４の構成を示し、カメラドライブ２０はデジタルカメラ１０を動作させると共に、その出力画像を一時記憶し、カメラ調整インターフェース２１により、R,G,Bの各値に対するゲインを調整する。ゲインの調整では、例えばデジタルカメラ１０内でゲインを調整するが、カメラドライブ２０でゲインを変えても良い。バックライトパネルドライブ２２はバックライトパネル４をオン／オフさせる。距離画像用のカメラ１１を設ける場合、ドライブ３０によりカメラ１１をドライブし、メモリ３１に空のトレイ８の距離画像、もしくはその表面を表す方程式を記憶させて、以降の距離画像（商品を乗せたトレイ８の距離画像）との差分を求め、トレイ８の表面を基準とする距離画像とする。

学習データメモリ２４は、識別用の商品の特徴量と商品名、価格等から成る学習用のデータを記憶し、商品の種類（品番）毎に例えば最大500データ等の所定個数のデータを記憶し、有効期間は学習から例えば100日等の所定期間である。特徴量は、商品のRGB画像に基づいて、商品を識別するための特徴となるデータを表し、距離画像を用いる場合は、距離画像上での商品の特徴を学習用データに含める。学習データ管理部２６は、学習データを学習データメモリ２４に追加すると共に、期限切れ、オーバーフロー等の学習データを削除する。商品識別部２８は、デジタルカメラ１０からのRGB画像（ゲイン調整済み）及び距離画像（トレイの距離画像との差分後の画像）とにより、商品の種類を識別する。POSインターフェース３６は、識別した商品に対する、商品名、個数、及び撮像したRGB画像（例えばJPEG画像で、分解能を低下させた小容量の画像）等から成る売上げデータをPOS端末１６へ送出する。

図３において、POS端末１６は、送出された売上げデータ中の、商品名と個数とに基づき売上げを計算し、現金等の授受を行ってレシート４４を発行する。レシート４４には、商品名と個数、価格等の他に、例えば連続番号のレシートのID（レシート番号）、売上げの日時等が記載されている。日時は月日等でも、年月日及び時刻等でも良い。また会計の間、識別した商品の画像と商品名とをディスプレイ１８に表示し、客が確認できるようにする。

売上げメモリ４１は、レシート番号、売上げ日時、販売商品のリスト（商品名あるいは商品IDと、個数等）及び、撮像した商品の画像を記憶する。画像はデジタルカメラ１０からの画像の画素数を減じたもので、例えば画像識別時に商品と背景のトレイとを切り分けるので、背景部分のデータを削除し、かつ商品部分の解像度を低下させた画像である。管理部４２は売上げメモリ４１のデータを、レシート番号及び販売日時をキーに検索でき、１月等の保存期間を越えた売上げ記録を抹消する。

画像識別では100%正確に商品を識別することは望めないので、誤識別との苦情を客観的に解決できるようにすることが好ましい。そこで苦情と共にレシート４４が提示されると（図４のステップＳ１）、取引番号（レシート番号）あるいは販売日時をキーとして、メモリ４１を検索できる（ステップＳ２）。複数のキーを設けると、一方のキーが汚れ等により判読不能な場合にも対処できる。検索したデータには、識別対象の商品の画像が含まれているので、この画像をディスプレイ１８に他の売上げデータと共に表示すると、識別が正しかったかどうかを客観的に判別できる（ステップＳ３）。なお売上げメモリ４１中の画像データは、識別コンピュータ１４に記憶させても良く、レシートに対応する商品の画像は、タッチパネル１２に表示しても良い。

商品をトレイ８等の容器に乗せて会計する場合、複数の容器に１枚のレシートが対応することがある。売上げメモリ４１には、レシート４４で会計した全商品の画像（デジタルカメラ１０からの画像の規模、即ち画素数を小さくしたもの）を記憶し、レシート４４に記載の全商品に対して、画像での確認ができるようにする。

実施例ではパンの識別を示したが、野菜、果物、魚介類、肉類、薬品の錠剤等、識別対象の商品は任意である。距離画像用カメラ１１には、複眼視によるカメラ、液晶シャッタアレイカメラ等を用いても良い。また識別コンピュータ１４は、物理的にはPOS端末１６と一体でも良い。

２ 店舗システム
４ バックライトパネル
５ パネル
６ バックライト光源
８ トレイ
１０ デジタルカメラ
１１ 距離画像用カメラ
１２ タッチパネル
１４ 識別コンピュータ
１５ LAN
１６ POS端末
１８ ディスプレイ
２０ カメラドライブ
２１ カメラ調整インターフェース
２２ バックライトパネルドライブ
２４ 学習データメモリ
２６ 学習データ管理部
２８ 商品識別部
３０ ドライブ
３１ メモリ
３６ POSインターフェース
４０ POS端末本体
４１ 売上げメモリ
４２ 管理部
４４ レシート

Claims (4)

1. 商品を画像識別により識別し、会計を行う店舗システムにおいて、
   商品を撮像するデジタルカメラと、
   前記デジタルカメラからの画像に対して、画像識別を行うことにより、商品を識別する識別コンピュータと、
   前記識別コンピュータにより識別した商品に対し、会計を行い、レシートを発行するPOS端末と、
   ディスプレイと、
   レシートを発行した商品に対する、前記デジタルカメラからの画像を、レシートのデータをキーとして検索可能に記憶するメモリとを備え、
   前記メモリから前記レシートをキーとして検索した画像を、前記ディスプレイに表示するように構成されていることを特徴とする、店舗システム。
2. 前記キーが、レシートの番号及び販売日時であることを特徴とする、請求項１の店舗システム。
3. 前記メモリは、デジタルカメラから出力された画像を、商品以外の背景部分を省略して記憶することを特徴とする、請求項１または２の店舗システム。
4. 商品を画像識別により識別し、会計を行う店舗システムでの苦情処理方法であって、
   デジタルカメラにより商品を撮像するステップと、
   前記デジタルカメラからの画像に対して、識別コンピュータにより画像識別を行い、商品を識別するステップと、
   前記識別コンピュータにより識別した商品に対し、POS端末を用いて会計を行い、レシートを発行するステップ、とを行うと共に、
   レシートを発行した商品に対する、前記デジタルカメラからの画像を、管理部がレシートのデータをキーとして検索可能なように、メモリに記憶するステップと、
   顧客からの苦情に対応して、顧客の提示したレシートをキーとして、前記管理部が前記メモリから画像を検索し、検索した画像をディスプレイに表示するステップ、
   とを行うことを特徴とする、店舗システムでの苦情処理方法。

Images