JP6908491B2 - 商品情報読取装置およびプログラム - Google Patents

Description

本発明の実施の形態は、商品情報読取装置およびプログラムに関する。

従来、スーパーマーケット等の小売店（店舗）では、商品に付されたバーコードを読み取ることによって、客が購入する商品の登録を行っている。また、昨今では、商品の外観を撮像した画像から当該商品を特定する、いわゆるオブジェクト認識を利用した商品登録装置が利用されている（例えば、特許文献１）。

オブジェクト認識を利用した商品登録装置にあっては、撮像した商品の外観の画像から抽出した特徴量と、予め登録されている各商品の外観の画像が有する特徴量との類似度に基づいて、商品を認識している。したがって、外観が似ている商品を、商品の候補として誤認識する可能性があった。そのため、オブジェクト認識を利用した商品登録装置では、一般に、所定の閾値を超える類似度を有する商品を、候補商品として選択可能に提示している。そして、商品登録を行う者（例えば顧客や店員）は、提示された複数の候補商品の中から、実際の商品を選択して商品登録を行っている。しかしながら、このような装置では、商品登録を行う者が、故意に、実際の商品よりも安価な商品を選択して不正登録する可能性があるという問題があった。

本発明が解決しようとする課題は、商品の不正登録の抑制を図ることが可能な商品情報読取装置およびプログラムを提供することである。

実施の形態の商品情報読取装置は、検知手段と、認識手段と、選択手段と、表示制御手段と、受付手段と、報知手段とを備える。検知手段は、撮像装置が撮像した画像の中に物品があるかを検知する。認識手段は、検知手段が検知した物品の特徴量と商品の基準となる特徴量との類似度に基づいて、物品に該当する一の商品を特定する認識処理を実行する。選択手段は、認識手段が物品に該当する一の商品を特定できない場合に、物品に該当する可能性のある候補商品と、当該候補商品以外の非候補商品とを選択する。表示制御手段は、候補商品と非候補商品とを選択可能に表した操作画面を表示する。受付手段は、操作画面から一の候補商品または一の非候補商品の選択を受け付けるとともに、候補商品の選択を受け付けた場合に、当該候補商品を商品として受け付ける。報知手段は、受付手段が、非候補商品の選択を受け付けた場合に報知を行う。

図１は、セルフＰＯＳ端末の外観図である。 図２は、セルフＰＯＳ端末のハードウェア構成の一例を示すハードウェアブロック図である。 図３は、商品マスタのデータ構造の一例を示す図である。 図４は、セルフＰＯＳ端末の機能構成の一例を示す機能ブロック図である。 図５は、セルフＰＯＳ端末の表示部に表示される操作画面の一例を示す第１の図である。 図６は、セルフＰＯＳ端末の表示部に表示される操作画面の一例を示す第２の図である。 図７は、セルフＰＯＳ端末が行う商品登録処理の流れの一例を示すフローチャートである。

（セルフＰＯＳ端末の概略構成の説明）
本実施の形態は、本発明を、顧客自身が商品の登録および決済を行うセルフＰＯＳ（Point Of Sales）端末に適用した例である。

まず、図１を用いて、セルフＰＯＳ端末の概略構成について説明する。図１は、セルフＰＯＳ端末２の外観図である。セルフＰＯＳ端末２は、顧客が、購入する商品を自ら登録して決済を行う端末である。セルフＰＯＳ端末２は、図１に示すように、正面右側に設けられた第１荷置台２１と、正面左側に設けられた第２荷置台２２と、正面中央に設けられた第１筐体２３とを備える。なお、セルフＰＯＳ端末２は、商品情報読取装置の一例である。

セルフＰＯＳ端末２を使用する顧客は、購入する商品を入れたカゴ等を第１荷置台２１に載置する。また、顧客は、登録が完了した商品を入れる袋を第２荷置台２２に載置する。顧客は、第１筐体２３に載置された装置を使用して、カゴから取り出した商品を登録する。そして、顧客は、登録した商品を、第２荷置台２２に載置した袋に入れる。顧客は、この登録をカゴに収集した其々の商品に対して行う。顧客は、其々の商品の登録が完了した場合に、第１筐体２３が備える装置を使用して、登録された商品の決済処理を行う。このような手順により、顧客は、購入する商品の登録処理と決済処理とを行う。

更に詳しくは、第２荷置台２２は、台座２２１と、袋掛けフック２２２と、一時置台２２３とを備える。袋掛けフック２２２と、一時置台２２３とは、台座２２１に設けられた支柱２２４に支持されて、台座２２１の上方に設けられている。台座２２１は、例えば袋より大きい商品等の袋に入れるのに適さない商品等が載置される台である。袋掛けフック２２２は、登録した商品を入れる袋を吊り下げるフックである。一時置台２２３は、例えば壊れやすい商品等の袋詰めに注意を要する商品を一時的に載置する台である。

第１筐体２３は、硬貨や紙幣等の入金や出金を実行する入出金部２３１（図２参照）を内部に備える。また、第１筐体２３は、硬貨投入口２３２と、硬貨払出口２３３と、紙幣投入口２３４と、紙幣払出口２３５とを備える。硬貨投入口２３２は、顧客が商品の代金として入出金部２３１に入金する硬貨の入金口である。硬貨払出口２３３は、釣銭として入出金部２３１から出金する硬貨の出金口である。紙幣投入口２３４は、顧客が商品の代金として入出金部２３１に入金する紙幣の入金口である。紙幣払出口２３５は、釣銭として入出金部２３１から出金する紙幣の出金口である。なお、入出金部２３１が格納する紙幣及び硬貨の在高（或いは数量）は、公知の技術により金種毎に計数されているとする。

セルフＰＯＳ端末２は、第１筐体２３の上面に、第２筐体２４と、表示部２５と、ハンディスキャナ２６と、リーダライタ２７と、警告灯２８とを備える。

第２筐体２４は、スキャナ２４１（図２参照）と、プリンタ２４２（図２参照）とを内部に備える。また、第２筐体２４は、スキャナ２４１が、商品に付されたバーコード等のコードシンボルに登録された商品コードを読み取る読取窓２４３を備える。読取窓２４３は、スキャナ２４１が射出したレーザ光を第２筐体２４の外部に透過させるとともに、レーザ光の反射光を第２筐体２４の内部に透過させる。また、スキャナ２４１は、コードシンボルが付されていない商品について、商品の画像を撮像して、後述するオブジェクト認識処理によって、撮像された商品の商品名称を認識する。なお、スキャナ２４１は、先ず読取窓２４３にかざされた商品にコードシンボルが付されているかを認識する。そして、スキャナ２４１は、コードシンボルが付されている場合にはコードシンボルの読み取りを行う。一方、コードシンボルが付されていない場合には、スキャナ２４１は、オブジェクト認識による商品の認識を行う。

第２筐体２４は、プリンタ２４２が出力したレシート等を排出するレシート発行口２４４を備える。プリンタ２４２は、取引処理された商品の売上情報を用紙に印字したレシートを、レシート発行口２４４から排出する。

また、第２筐体２４は、第２筐体２４の上部に設けられた表示部２５を支持する。表示部２５は、例えば液晶ディスプレイ等である。表示部２５は、認識された商品の候補である候補商品の情報を表示する。また、表示部２５は、登録した商品の商品情報等を表示する。さらに、表示部２５は、顧客にセルフＰＯＳ端末２の操作方法を知らせるための案内画面や、商品の合計金額や預かり金額、釣銭額等を表示するとともに、支払い方法の選択をする精算画面等を表示する。表示部２５は、セルフＰＯＳ端末２を操作するタッチパネル２５１を備える。タッチパネル２５１は、表示部２５上の操作（タッチ）された箇所を検知して、表示部２５が表示している表示要素に応じた操作要求がなされたものと判断する。これにより、タッチパネル２５１は、当該キーに対応する操作要求を受け付ける。

ハンディスキャナ２６は、手持ち型のスキャナである。ハンディスキャナ２６は、商品が重い場合や商品が大きい場合等、商品に付されたバーコード等を読取窓２４３にかざすことが困難な場合に使用される。

リーダライタ２７は、クレジットカードや電子マネー等の電子決済に用いるカード媒体等の記憶媒体から、電子決済に関する情報の読み取りおよび書き込みを実行する。

警告灯２８は、例えば赤色等で点滅することによって、セルフＰＯＳ端末２に異常が発生したことを店員に報知する。また、警告灯２８は、顧客が、セルフＰＯＳ端末２を誤って操作したことを店員に報知する。

（セルフＰＯＳ端末のハードウェア構成の説明）
次に、図２を用いて、セルフＰＯＳ端末２のハードウェア構成について説明する。図２は、セルフＰＯＳ端末２のハードウェア構成の一例を示すハードウェアブロック図である。

セルフＰＯＳ端末２は、図２に示すように、制御部２０１と、記憶部２０２と、通信インタフェース２０４と、入出金部２３１と、スキャナ２４１と、プリンタ２４２と、表示部２５と、タッチパネル２５１と、ハンディスキャナ２６と、リーダライタ２７と、警告灯２８とを備える。これら各部は、データバスやアドレスバス等のシステムバス２０５を介して、互いに接続される。

制御部２０１は、セルフＰＯＳ端末２の全体の動作を制御し、セルフＰＯＳ端末２が有する各種の機能を実現するコンピュータである。制御部２０１は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを備える。ＣＰＵは、セルフＰＯＳ端末２の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムを一時的に記憶したり、各種データを書き換えたりする記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリアとしてＲＯＭ又は記憶部２０２等に格納されたプログラムを実行する。すなわち、制御部２０１は、一般的なコンピュータの構成を有する。

記憶部２０２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶装置である。記憶部２０２は、制御プログラムＰ１等を記憶する。制御プログラムＰ１は、オペレーティングシステムや、セルフＰＯＳ端末２が備えている機能を発揮させるためのプログラムである。制御プログラムＰ１には、本実施の形態に係る特徴的な機能を実現させるプログラムが含まれる。また、記憶部２０２は、セルフＰＯＳ端末２を管理する店舗サーバ（不図示）から提供される商品マスタＭを記憶する。商品マスタＭは、店舗で販売する商品毎に、当該商品を識別可能な商品コードや商品名、単価等を関連付けたデータである。なお、商品マスタＭについて、詳しくは後述する。

通信インタフェース２０４は、不図示のネットワークを介して、店舗サーバと通信するための通信インタフェースである。

（商品マスタのデータ構造の説明）
次に、図３を用いて、商品マスタＭのデータ構造について説明する。図３は、商品マスタＭのデータ構造の一例を示す図である。商品マスタＭは、各商品の商品情報と、各商品の外観を撮像した画像Ｉ（ｔ）（図５参照）から抽出した特徴量Ｆとを対応付けて格納したデータファイルである。商品情報は、商品コードＭ１と、商品分類Ｍ２と、商品名称Ｍ３と、単価Ｍ４等を含む。図３の例では、各商品情報が、其々商品コード欄ｆ１、商品分類欄ｆ２、商品名欄ｆ３、単価欄ｆ４に格納されており、特徴量Ｆが特徴量欄ｆ５に格納されている。

なお、商品を特徴付ける特徴量Ｆの種類は、一般に、商品毎に異なっている。また、１つの商品に対して複数の特徴量Ｆが対応付けられている場合もある。

したがって、特徴量欄ｆ５には、商品毎に、特徴の種類と特徴の値とがペアになって格納されている。例えば、図３において、商品名称ＡＡＡの商品には、商品ＡＡＡを特徴付ける特徴量Ｆとして、Ｆ１１，Ｆ１２，…，Ｆ１ａが格納されている。ここで、特徴量Ｆｉｊは、商品ｉのｊ番目の特徴量を示す。なお、具体的な特徴量Ｆｉｊとしては、各商品を撮像した画像Ｉ（ｔ）から抽出される、商品の色合いや表面の凹凸等の表面状態（テクスチャ）、あるいは商品の形状を表す量等を用いる。

（セルフＰＯＳ端末の機能構成の説明）
次に、図４を用いて、セルフＰＯＳ端末２が備える特徴的な機能構成について説明する。図４は、セルフＰＯＳ端末２の機能構成の一例を示す機能ブロック図である。

セルフＰＯＳ端末２の制御部２０１は、記憶部２０２の制御プログラムＰ１をＲＡＭに展開し、制御プログラムＰ１に従って動作することで、図４に示す各機能部を、ＲＡＭ上に生成する。具体的には、制御部２０１は、検知部１０１と、認識部１０２と、商品選択部１０３と、表示制御部１０４と、選択受付部１０５と、報知部１０６とを機能部として実現する。

検知部１０１は、スキャナ２４１が撮像した連続する複数の画像Ｉ（ｔ）に基づいて、商品がスキャナ２４１にかざされたことを検知する。ここで、画像Ｉ（ｔ）は、時刻ｔにおいてスキャナ２４１が撮像した画像を表す。スキャナ２４１は、予め決められた時間間隔Δｔで撮像を行うものとする。また、検知部１０１は、撮像した画像Ｉ（ｔ）の中にコードシンボルが写っているかを検知して、コードシンボルが写っていた場合は、当該コードシンボルが含む商品コードを読み取る。なお、検知部１０１は、検知手段の一例である。

スキャナ２４１で撮像された画像Ｉ（ｔ）は、制御部２０１のＲＡＭに一時記憶される。そして、検知部１０１は、画像Ｉ（ｔ）をＲＡＭから読み出し、直前に撮像された画像Ｉ（ｔ−Δｔ）と、同じ画素の明るさを比較する。検知部１０１は、この明るさに変化があったことを条件として、画像Ｉ（ｔ）は、手や商品等の何等かの写り込みがある画像であると判断する。さらに、検知部１０１は、写り込みのある画像Ｉ（ｔ）を２値化して、写り込んだ領域の輪郭線を抽出する。そして、検知部１０１は、連続する複数の画像Ｉ（ｔ）の輪郭線の位置に変化があったときに、その輪郭線内の領域が、スキャナ２４１にかざされた商品を示す領域であると特定する。このようにして、検知部１０１は、商品がスキャナ２４１にかざされたことを検知する。

認識部１０２は、画像Ｉ（ｔ）に写っている領域から、特徴量Ｆの値を算出する。このとき、画像Ｉ（ｔ）に写っている領域は、商品であるのか、その他の対象物（例えば顧客の手）であるのか不明であるため、認識部１０２は、商品マスタＭに、各商品と対応付けて登録された複数の特徴量Ｆの値を算出する。なお、認識部１０２は、認識手段の一例である。

認識部１０２は、スキャナ２４１が撮像した画像Ｉ（ｔ）から算出された特徴量Ｆと、商品マスタＭが記憶する商品の特徴量Ｆとの類似度Ｃを算出する。

また、認識部１０２は、類似度Ｃが所定の閾値Ｃ１以上である商品を選出する。そして、認識部１０２は、撮像された商品が、商品マスタＭに登録されたいずれの商品であるかを認識する。

なお、画像Ｉ（ｔ）の中に含まれる商品を認識するオブジェクト認識は、一般物体認識（generic object recognition）とも呼ばれる。一般物体認識で用いられる各種認識技術については、下記の文献に詳しく解説されているため、説明は省略する。

柳井 啓司、“一般物体認識の現状と今後”、情報処理学会論文誌、Ｖｏｌ．４８、Ｎｏ．ＳＩＧ１６ [平成２９年８月２２日検索]、インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

Jamie Shottonら、“Semantic Texton Forests for Image Categorization and Segmentation”、[平成２９年８月２２日検索]、インターネット<URL: http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf>

認識部１０２がオブジェクト認識を行って商品を特定する場合に利用する類似度Ｃは、画像Ｉ（ｔ）の中に写っている商品の特徴量Ｆの値と、商品マスタＭに登録された各商品の特徴量Ｆとがどの程度類似しているかを示す尺度である。この類似度Ｃは、例えば、完全一致を類似度Ｃ＝１．０とする絶対評価値で算出すればよい。

商品選択部１０３は、認識部１０２が物品に該当する一の商品を特定できない場合に、当該物品に該当する可能性のある候補商品と、当該候補商品以外の非候補商品とを、商品マスタＭ等の中から選択する。なお、商品選択部１０３は選択手段の一例である。

より具体的には、認識部１０２が、スキャナ２４１が撮像した画像Ｉ（ｔ）の中に、レタス（１玉）が写っているのか、レタス（１／２切）（半カット）が写っているのかを特定できない場合（図５参照）、すなわち、候補商品であるレタス（１玉）とレタス（１／２切）とが一意に確定できない場合に、商品選択部１０３は、候補商品以外の非候補商品を、商品マスタＭの中から選択する。すなわち、商品選択部１０３は、認識部１０２の認識結果に応じた商品を選択する。

このとき、商品選択部１０３は、商品マスタＭの中から、画像Ｉ（ｔ）との類似度Ｃが所定の閾値Ｃ２よりも低い商品（非候補商品）を選択する。その際、候補商品であるレタス（１玉）およびレタス（１／２切）よりも安価な商品を選択するのが望ましい。また、商品選択部１０３は、店頭で取り扱っていない、レタス（１玉）およびレタス（１／２切）よりも安価な架空の商品を、非候補商品として選択してもよい。架空の商品は、予め記憶部２０２に登録しておく。具体的には、オブジェクト認識によって誤認識が発生する可能性がある商品のペアと関連する商品を、架空の商品として登録しておくのが望ましい。そして、その際に、登録する架空の商品には、オブジェクト認識によって誤認識が発生する可能性がある商品よりも安い価格を割り当てておくのが望ましい。架空の商品について、詳しくは後述する。

表示制御部１０４は、認識部１０２が物品に該当する一の商品を特定できない場合に、当該物品に該当する可能性のある候補商品と、物品に該当しない非候補商品とを選択可能に表す操作画面５０を、セルフＰＯＳ端末２の表示部２５に表示する。なお、操作画面５０の詳細は後述する。なお、表示制御部１０４は表示制御手段の一例である。

選択受付部１０５は、表示制御部１０４が操作画面５０に表示した候補商品および非候補商品の中から、一の候補商品または一の非候補商品の選択を受け付ける。また、選択受付部１０５は、一の候補商品の選択を受け付けた場合に、当該候補商品を商品として受け付ける。なお、選択受付部１０５は、受付手段の一例である。

報知部１０６は、選択受付部１０５が非候補商品の選択を受け付けた場合に報知を行う。なお、報知部１０６は、報知手段の一例である。具体的には、報知部１０６は、非候補商品の選択を受け付けた場合に、表示部２５に「正しい商品を選択して下さい」というメッセージを表示して、選択受付部１０５に、商品の選択を再度受け付けさせる。そして、報知部１０６は、選択受付部１０５が再び非候補商品の選択を受け付けた場合に、例えば、警告灯２８を点滅させて、非候補商品が選択されたことを店員に知らせる。

また、報知部１０６は、選択受付部１０５が、候補商品のうち類似度Ｃが２番目に高い候補商品の選択を受け付けた場合に、当該商品の登録を実行してもよいかを顧客に尋ねる。そして、顧客が登録を許可した場合に、商品の登録を行う。

すなわち、報知部１０６は、故意に非候補商品を選択した者に対して、まずは「正しい商品を選択して下さい」というメッセージを出力して、商品の再選択を促す。それにも関わらずに非候補商品が選択された場合には、店員に知らせるという２段階の報知を行う。これによって、商品登録を行う者に対して、故意に安価な商品を選択すると、エラーメッセージが出力されるということを学習させる。したがって、候補商品のうち類似度Ｃが２番目に高い候補商品を故意に選択することも抑制させる効果が期待できる。

さらに、報知部１０６は、候補商品のうち類似度Ｃが２番目に高い候補商品の選択を受け付けた場合に、商品登録の再確認を促す。これによって、商品登録を行う者は、故意に類似度Ｃが２番目に高い候補商品を選択すると、非候補商品を選択した場合と同様にエラーメッセージが出力される可能性があると想起して、故意の選択を思い留まらせる効果が期待できる。なお、実際に候補商品のうち類似度Ｃが２番目に高い候補商品を購入する顧客は、当該商品を登録することを再確認することによって、商品の登録を実行することができる。以上説明した報知部１０６が行う具体的な処理の流れについて、詳しくは後述する。

（操作画面の説明）
次に、図５を用いて、表示制御部１０４が表示する操作画面５０について説明する。図５は、セルフＰＯＳ端末２の表示部２５に表示される操作画面５０の一例を示す図である。なお、図５は、顧客がスキャナ２４１に、コードシンボルが付されていないレタス（１玉）をかざした際に、セルフＰＯＳ端末２の表示部２５に表示される操作画面５０の一例を示す図である。

操作画面５０は、スキャナ２４１が撮像した商品を含む画像Ｉ（ｔ）と、ボタンＢ１，Ｂ２，Ｂ３，Ｂ４と、メッセージ欄５１とを含む。画像Ｉ（ｔ）は、オブジェクト認識を行う際に使用した画像Ｉ（ｔ）の中の任意の１枚である。ボタンＢ１，Ｂ２は、認識部１０２がオブジェクト認識を行った結果、選出された候補商品の一例を示す。

特に、図５には、オブジェクト認識による商品の認識が難しい例として、「レタス（１玉）」と「レタス（１／２切）」の例を示す。具体的には、図５の画像Ｉ（ｔ）のみでは、画像Ｉ（ｔ）に写っているのが、「レタス（１玉）」なのか「レタス（１／２切）」なのかを識別するのが難しい。このように、類似度Ｃが所定値を超える候補が複数見つかった場合、セルフＰＯＳ端末２は、それらを候補商品として表示して、顧客の選択を受け付ける。本実施の形態では、類似度Ｃが所定値を超える候補が複数見つかった場合には、上位２個を表示するものとする。ここで、ボタンＢ１は所定値を超える最も高い類似度Ｃを有する商品を示す。また、ボタンＢ２は、ボタンＢ１の商品の次に類似度Ｃが高い商品を示す。なお、ボタンＢ１，Ｂ２には、商品名称と価格（単価）とを表示する。なお、操作画面５０に表示する候補商品の数は２個に限定されるものではなく、３個以上の候補商品を表示してもよい。そして、表示する商品の数が増えた場合は、操作画面を複数ページに亘って表示してもよい。

ボタンＢ３，Ｂ４は、商品選択部１０３が選択した、候補商品以外の非候補商品の一例を示す。特に、ボタンＢ３は、店頭で取り扱っていない架空の商品である「レタス（１／６切）」を示す。また、ボタンＢ４は、商品選択部１０３が商品マスタＭの中から選択した、類似度Ｃが所定の閾値Ｃ２よりも低く、なおかつ「レタス（１玉）」および「レタス（１／２切）」よりも安価な商品である「リンゴ（１個）」を示す。なお、ボタンＢ３，Ｂ４には、商品名称と価格（単価）とを表示する。

図５の例では、架空の商品とした「レタス（１／６切）」は、オブジェクト認識によって誤認識が発生する可能性があることが予めわかっている、「レタス（１玉）」および「レタス（１／２切）」と関連する商品として、予め記憶部２０２に登録されている。そして、登録する架空の商品には、オブジェクト認識によって誤認識が発生する可能性が高い、「レタス（１玉）」および「レタス（１／２切）」よりも安い価格を割り当てておくのが望ましい。同様にして、オブジェクト認識によって誤認識が発生する可能性があることが予めわかっている商品に関連する架空の商品が、予め記憶部２０２に登録されている。

メッセージ欄５１には、顧客等の操作者に対する操作ガイドが表示される。図５の例では、「ボタンを押して商品を登録して下さい」という操作ガイドが表示される。

選択受付部１０５は、ボタンＢ１〜Ｂ４に対する顧客の選択を受け付ける。このとき、顧客は、本来であればボタンＢ１を選択すべきであるが、支払金額を不正に安くしようと考えて、「レタス（１玉）」よりも安価な商品である「レタス（１／２切）」を選択することができる。そして、このときセルフＰＯＳ端末２は、不正な入力であることを認識できないため、「レタス（１／２切）」が購入されたと判断する。

本実施の形態のセルフＰＯＳ端末２は、このとき、図５に示すように、店頭で取り扱っていない商品を示すボタンＢ３と、明らかにレタスとは異なる商品を示すボタンＢ４とを表示する。そして、ボタンＢ４として表示する商品は、ボタンＢ１，Ｂ２の商品よりも安価なものが選択される。また、ボタンＢ３として表示する商品は、店頭で取り扱っていないため、本来であれば価格は設定されていないが、ここでは、仮の価格として、ボタンＢ１，Ｂ２の商品よりも安い価格が設定される。なお、ボタンＢ３とボタンＢ４の表示位置は問わず、両ボタンの位置が入れ替わってもよい。また、ボタンＢ３とボタンＢ４を、ともに店頭で取り扱っていない商品としてもよいし、ボタンＢ３とボタンＢ４を、ともに本来の商品とは明らかに異なる商品としてもよい。

図５の操作画面５０が表示された場合に、商品の不正登録を行おうとする顧客は、ボタンＢ２、または、より安価な商品であるボタンＢ３，Ｂ４を選択する可能性が高い。

選択受付部１０５が、非候補商品を示すボタンＢ３，Ｂ４の選択を受け付けた場合、報知部１０６は、不正な選択がなされたものと判断して、前記したように、「正しい商品を選択して下さい」というメッセージの表示を行う。さらに、ボタンＢ３，Ｂ４の選択が連続して発生した場合、警告灯２８を点滅させて店員を呼び出す等の対処を行う。

このような報知を１度でも経験した顧客は、次の機会にボタンＢ３，Ｂ４を選択しにくくなる。さらに、ボタンＢ２を選択した際にも、同様に報知されるものと予測するため、ボタンＢ２も選択しにくくなる。このようにして、商品の不正登録の抑制を図ることができる。

なお、選択受付部１０５が、候補商品を示すボタンＢ２の選択を受け付けた場合、報知部１０６は、図６に示すように、メッセージ欄５１に「登録してもよろしいですか？」等のメッセージを表示させる。さらに、報知部１０６は、操作画面５０に、「はい」ボタンＢ５と「いいえ」ボタンＢ６とを表示させる。なお、図６は、セルフＰＯＳ端末２の表示部２５に表示される操作画面５０の一例を示す図である。

実際にレタス（１／２切）を購入する顧客は、「はい」ボタンＢ５を選択することによって商品登録を行わせる。一方、「いいえ」ボタンＢ６が選択されると、再び図５の操作画面５０に戻って、商品の再選択が可能となる。

（セルフＰＯＳ端末が行う商品登録処理の流れの説明）
次に、図７を用いて、セルフＰＯＳ端末２が行う商品登録処理の流れについて説明する。図７は、セルフＰＯＳ端末２が行う商品登録処理の流れの一例を示すフローチャートである。

検知部１０１は、読取窓２４３にかざされた物品を検知したかを判定する（ステップＳ１０）。物品を検知したと判定される（ステップＳ１０：Ｙｅｓ）とステップＳ１１に進む。一方、物品を検知したと判定されない（ステップＳ１０：Ｎｏ）とステップＳ１０を繰り返す。

検知部１０１は、スキャナ２４１が撮像した画像Ｉ（ｔ）の中にコードシンボルがあるかを判定する（ステップＳ１１）。コードシンボルがあると判定される（ステップＳ１１：Ｙｅｓ）と、ステップＳ１２に進み、コードシンボルが含む商品コードを読み取る。そして、読み取った商品コードの商品を登録する（ステップＳ２５）。その後、図７の一連の商品登録処理を終了する。

一方、ステップＳ１１において、コードシンボルがあると判定されない（ステップＳ１１：Ｎｏ）と、ステップＳ１３において、認識部１０２は、スキャナ２４１が撮像した画像Ｉ（ｔ）から、特徴量Ｆの値を算出する。さらに、認識部１０２は、類似度Ｃを算出する（ステップＳ１４）。

次に、認識部１０２は、候補商品が１つに特定されたかを判定する（ステップＳ１５）。候補商品が１つに特定されたと判定される（ステップＳ１５：Ｙｅｓ）と、ステップＳ２５に進んで、１つに特定された候補商品が商品登録される。一方、候補商品が１つに特定されたと判定されない（ステップＳ１５：Ｎｏ）と、ステップＳ１６に進む。

続いて、商品選択部１０３は、商品マスタＭの中から、スキャナ２４１にかざされた物品と類似する候補商品を選択する（ステップＳ１６）。

さらに、商品選択部１０３は、商品マスタＭの中から、非候補商品を選択する（ステップＳ１７）。なお、このとき、商品選択部１０３は、商品マスタＭの中から非候補商品を選択する以外に、店頭で取り扱っていない架空の商品を選択してもよい。

表示制御部１０４は、表示部２５に操作画面５０を表示する（ステップＳ１８）。

選択受付部１０５は、操作画面５０のボタンＢ１が選択されたかを判定する（ステップＳ１９）。ボタンＢ１が選択されたと判定される（ステップＳ１９：Ｙｅｓ）と、ステップＳ２５に進んで、ボタンＢ１の商品（図５の例ではレタス（１玉））が商品登録される。

一方、ボタンＢ１が選択されたと判定されない（ステップＳ１９：Ｎｏ）と、選択受付部１０５は、続いて、操作画面５０のボタンＢ２が選択されたかを判定する（ステップＳ２０）。ボタンＢ２が選択されたと判定される（ステップＳ２０：Ｙｅｓ）と、ステップＳ２１に進み、前記した図６の操作画面５０を表示して、商品登録を行ってよいかを確認する。

ステップＳ２１において、商品登録を行ってよいと確認される（ステップＳ２１：Ｙｅｓ）と、ステップＳ２５に進んで、ボタンＢ２の商品が商品登録される。

一方、ステップＳ２１において、商品登録を行ってよいと確認されない（ステップＳ２１：Ｎｏ）と、ステップＳ１８に戻り、表示制御部１０４は、操作画面５０を表示する。

なお、ステップＳ２０に戻って、ボタンＢ２が選択されたと判定されない（ステップＳ２０：Ｎｏ）場合は、ステップＳ２２に進む。ステップＳ２２では、報知部１０６が、操作画面５０のメッセージ欄５１に、「正しい商品を選択して下さい」等の表示を行う。

選択受付部１０５は、操作画面５０のボタンＢ３またはボタンＢ４が選択されたかを判定する（ステップＳ２３）。ボタンＢ３またはボタンＢ４が選択されたと判定される（ステップＳ２３：Ｙｅｓ）と、ステップＳ２４に進む。

ステップＳ２４では、報知部１０６が、警告灯２８を点滅させる等して店員を呼び出す。その後、図７の一連の商品登録処理を終了する。

一方、ステップＳ２３において、ボタンＢ３またはボタンＢ４が選択されないと判定される（ステップＳ２３：Ｎｏ）と、ステップＳ１９に戻る。その後、選択されたボタンＢ１またはボタンＢ２に応じた、前記した処理が行われる。

以上説明したように、実施の形態のセルフＰＯＳ端末２（商品情報読取装置）によれば、検知部１０１（検知手段）が、スキャナ２４１（撮像装置）が撮像した画像Ｉ（ｔ）の中に物品があると検知した場合に、認識部１０２（認識手段）が、検知部１０１が検知した物品の特徴量Ｆと商品の基準となる特徴量Ｆとの類似度Ｃに基づいて、物品に該当する一の商品を特定する認識処理を実行する。そして、商品選択部１０３（選択手段）は、認識部１０２が物品に該当する一の商品を特定できない場合に、物品に該当する可能性のある候補商品と、候補商品以外の非候補商品とを選択して、表示制御部１０４（表示制御手段）が、候補商品と非候補商品とを選択可能に表した操作画面５０を表示する。そして、選択受付部１０５（受付手段）は、操作画面５０から候補商品の選択を受け付けた際に、当該候補商品を商品として受け付けるとともに、操作画面５０から非候補商品の選択を受け付けた際に、報知部１０６（報知手段）に報知を行わせる。したがって、非候補商品を選択した際になされる報知を経験した者に対して、本来登録すべき商品とは異なる候補商品あるいは非候補商品の選択を躊躇させる。そのため、結果として商品の不正登録の抑制を図ることができる。

また、実施の形態のセルフＰＯＳ端末２において、商品選択部１０３は、候補商品よりも安価な商品を非候補商品として選択する。したがって、本来支払うべき金額よりも安価な非候補商品が選択されて、操作画面５０に表示されるため、セルフＰＯＳ端末２の操作者に対して、故意の不正登録を行わせやすくする。そして、故意に不正登録を行った操作者に対して、報知を与えやすくなる。

そして、実施の形態のセルフＰＯＳ端末２において、商品選択部１０３は、店頭で取り扱いのない商品を非候補商品として選択する。したがって、候補商品と関連する商品を非候補商品として選択して提示することができるため、セルフＰＯＳ端末２の操作者に対して、故意の不正登録をより一層行わせやすくする。そして、故意に不正登録を行った操作者に対して、報知を与えやすくなる。

さらに、実施の形態のセルフＰＯＳ端末２において、表示制御部１０４は、操作画面５０に、候補商品と非候補商品とを、価格とともに表示する。したがって、セルフＰＯＳ端末２の操作者に対して、故意の不正登録をより一層行わせやすくする。そして、故意に不正登録を行った操作者に対して、報知を与えやすくなる。

また、実施の形態のセルフＰＯＳ端末２において、報知部１０６は、選択受付部１０５が非候補商品の選択を受け付けたことを条件として、商品の再選択を促すとともに、選択受付部１０５が非候補商品の選択を再度受け付けた際に、非候補商品が選択されたことを店員に通知する。すなわち、非候補商品の１度目の選択は、操作者の選択間違えの可能性があるため、再選択を促すことによって許容する。そして、非候補商品が再度選択された場合には、故意に非候補商品を選択している可能性が高いため、店員に通知する。これによって、商品の不正登録を行った可能性が高いときに限り報知を行うことができるため、報知の効果が高まる。

本発明の実施の形態を説明したが、これらの実施の形態は、いずれも例示であり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、本実施の形態は、本発明をセルフＰＯＳ端末２に適用した例として説明したが、本発明の適用範囲はセルフＰＯＳ端末２に限定されるものではない。すなわち、商品登録処理を店員が行って、決済処理を顧客が行う、いわゆるセミセルフＰＯＳ端末に適用してもよい。

２ セルフＰＯＳ端末（商品情報読取装置）
５０ 操作画面
５１ メッセージ欄
１０１ 検知部（検知手段）
１０２ 認識部（認識手段）
１０３ 商品選択部（選択手段）
１０４ 表示制御部（表示制御手段）
１０５ 選択受付部（受付手段）
１０６ 報知部（報知手段）
２４１ スキャナ（撮像装置）
Ｂ１，Ｂ２，Ｂ３，Ｂ４ ボタン
Ｃ 類似度
Ｆ 特徴量
Ｍ 商品マスタ
Ｐ１ 制御プログラム

特開２０１６−０９５７６５号公報

Claims (6)

1. 撮像装置が撮像した画像の中に物品があるかを検知する検知手段と、
   前記検知手段が検知した物品の特徴量と商品の基準となる特徴量との類似度に基づいて、前記物品に該当する一の前記商品を特定する認識処理を実行する認識手段と、
   前記認識手段が前記物品に該当する一の前記商品を特定できない場合に、前記物品に該当する可能性のある候補商品と、当該候補商品以外の非候補商品とを選択する選択手段と、
   前記候補商品と前記非候補商品とを選択可能に表した操作画面を表示する表示制御手段と、
   前記操作画面から一の前記候補商品または一の前記非候補商品の選択を受け付けるとともに、前記候補商品の選択を受け付けた場合に、当該候補商品を前記商品として受け付ける受付手段と、
   前記受付手段が、前記非候補商品の選択を受け付けた場合に報知を行う報知手段と、
   を備える商品情報読取装置。
2. 前記選択手段は、前記候補商品よりも安価な商品を前記非候補商品として選択する、
   ことを特徴とする請求項１に記載の商品情報読取装置。
3. 前記選択手段は、店頭で取り扱いのない商品を前記非候補商品として選択する、
   ことを特徴とする請求項１または請求項２に記載の商品情報読取装置。
4. 前記表示制御手段は、前記操作画面に、前記候補商品と前記非候補商品とを、価格とともに表示する、
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の商品情報読取装置。
5. 前記報知手段は、前記受付手段が前記非候補商品の選択を受け付けたことを条件として、商品の再選択を促すとともに、前記受付手段が前記非候補商品の選択を再度受け付けた際に、非候補商品が選択されたことを店員に通知する、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の商品情報読取装置。
6. コンピュータに対して、
   撮像装置が撮像した画像の中に物品があるかを検知する検知手段と、
   前記検知手段が検知した物品の特徴量と商品の基準となる特徴量との類似度に基づいて、前記物品に該当する一の前記商品を特定する認識処理を実行する認識手段と、
   前記認識手段が前記物品に該当する一の前記商品を特定できない場合に、前記物品に該当する可能性のある候補商品と、当該候補商品以外の非候補商品とを選択する選択手段と、
   前記候補商品と前記非候補商品とを選択可能に表した操作画面を表示する表示制御手段と、
   前記操作画面から一の前記候補商品または一の前記非候補商品の選択を受け付けるとともに、前記候補商品の選択を受け付けた場合に、当該候補商品を前記商品として受け付ける受付手段と、
   前記受付手段が、前記非候補商品の選択を受け付けた場合に報知を行う報知手段と、
   を実行させるためのプログラム。

Images