JP5403657B2 - 定置スキャナ、ｐｏｓ端末および決済商品選別方法 - Google Patents

Description

本発明は、定置スキャナ、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体に関し、特に、スーパマーケットや量販店等の決済場所（料金支払所：レジ）のレジスタ端末機等において適用される定置スキャナ、ＰＯＳ端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体に関する。

従来、スーパマーケットや量販店等の決済場所（料金支払所：レジ）に設置するレジスタ端末機においては、バーコードの付いた商品は、バーコード入力装置によって入力を行い、バーコードの付けられない商品はキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じるため、購入商品に関する決済をしようとして、レジスタ端末機によって決済することに不慣れな店員が処理している列に並んだ顧客は、待ち時間が長くなり、不満を訴える場面が発生している。

かかる事態を解決するために、特許文献１の特開平９−２４５２５３号公報「販売時点情報管理システム」にて提案されているように、キーボードとして、図１０に示すようなタッチパネル式のＬＣＤキーボードを用いて、バーコードの付けられない商品に関する表示をして、店員が表示内容を見てタッチパネルによって入力を行うことを可能としたり、あるいは、特許文献２の特開２０００−３３９５５０号公報「操作パネル制御装置」にて提案されているように、良く売れる商品については、優先グループとして図１１に示すような１つのページに纏めてタッチパネル式のディスプレイに表示してキー操作を減らすことを可能にしたりする試みがなされている。ここに、図１０は、従来のレジスタ端末機における商品表示方法の一例を示す模式図であり、図１１は、従来のレジスタ端末機における商品表示方法の他の例を示す模式図である。また、特許文献３の特開２００２−７４５１１号公報「商品販売登録データ処理装置」には、バーコードなしの商品の外観特徴を抽出して登録しておくことにより、バーコードがない商品を販売した際に、販売商品を撮像した画像の特徴に近似した登録商品を表示して、販売商品の売上処理を行うという試みが提案されている。

特開平９−２４５２５３号公報（第３−４頁） 特開２０００−３３９５５０号公報（第４−６頁） 特開２００２−７４５１１号公報（第３−５頁）

しかしながら、バーコードが付けられていない商品は、毎週あるいは任意の時間帯によって変わることが多く、このため、キーの配置が時間帯によって変わってしまうので、前記特許文献１や前記特許文献２のような工夫を採用したとしても、決済しようとする商品に関する商品キーを捜すことに手間取って、タッチパネルの操作やキー入力に時間がかかってしまい、顧客のレジ待ち時間が長くなってしまうという問題を解決することができない。

また、バーコードが付けられていない商品とバーコードが付けられている商品とで、決済しようとする際の商品のハンドリング操作が異なっていることも、店員が素早い決済処理を行うことができない要因の一つとなっている。

さらに、前記特許文献３のような仕組みでは、バーコードが付けられていない商品として例えば「キャベツ」と「レタス」のように類似する商品がある場合、経験が少ない店員の場合、決済しようとする商品がいずれの商品であるかを容易には判別することができない場合もあり、スムーズな決済処理を行うことができない。

本発明は、かかる事情に鑑みてなされたものであり、バーコードが付けられない商品に関するデータのキー入力時間を短縮することが可能な定置スキャナ、ＰＯＳ端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体を提供することを目的としている

前述の課題を解決するため、本発明による定置スキャナは、次のような特徴的な構成を採用している。

（１）商品の決済を行うために、商品に貼付されているバーコードをバーコードスキャナによって読み取る定置スキャナであって、決済しようとする商品を撮像して画像データを取得する撮像手段と、該撮像手段によって取得された商品の画像データを処理して当該商品の形状を認識する画像認識処理手段とを備え、バーコードが貼付されていない商品の決済を行う場合に、前記画像認識処理手段によって認識した商品形状に基づいて、決済しようとする商品の候補を選別して、ディスプレイに商品選択画面として画面表示する定置スキャナ。

本発明の定置スキャナ、ＰＯＳ端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体によれば、以下のような効果を奏することができる。

第１に、商品にバーコードが貼付されていないような商品を決済する場合であっても、撮像手段例えばカメラによって決済しようとする商品を自動的に撮像して、当該商品の画像認識を行った結果に基づいて選別された商品候補が、タッチ式の商品ボタンからなる商品選択画面として画面表示されることによって、店員の商品選択操作を支援しているので、経験の浅い店員であっても、決済しようとする商品を判別して、商品ボタンを素早く押下（タッチパネル式であれば画面にタッチ）して、決済処理を行うことができる。

第２に、バーコードスキャナの近傍（例えば、横）に撮像手段例えばカメラを配置することによって、野菜や魚などのようにバーコードが貼付されていない商品を決済しようとする場合であっても、店員は、バーコードが貼付されている通常の商品の場合と全く同様に、バーコードスキャナの面上を、決済しようとする商品を移動させて、決済済みのバスケットに移動させる操作を行えば良く、商品のハンドリング操作を画一化させることによって、より素早い決済処理を行うことができる。

第３に、「キャベツ」と「レタス」のように、類似の商品が画像認識結果の商品候補として商品選択画面に画面表示された場合であっても、商品選択待ち時間としてあらかじめ定めた一定時間経過後には、店員が各商品を区別する方法に関する補助情報を商品選択補助画面として自動的に画面表示するので、店員が、決済しようとする商品を正しく判別することができ、該当する商品ボタンを正しく押下して、決済処理を行うことができる。

第４に、撮像手段例えばカメラによって撮像された画像データに基づく画像認識処理によって、決済しようとする商品を特定することができる場合には、商品の決済処理をすべて自動的に行うことが可能であるが、現状の画像認識技術における認識率は必ずしも１００％ではない。このため、各商品の図形データを基準図形としてあらかじめ登録しておき、撮像手段例えばカメラによって撮像された画像データと、各基準図形との比較結果に基づいて、両者の相関値があらかじめ定めた相関閾値以上に高い基準図形に該当する商品を、抽出することによって、決済しようとする商品に関する商品候補を絞り込む仕組みを採用し、決済しようとする商品をより確実に識別することを可能としている。

第５に、前記相関閾値以上に高い基準図形に該当する商品が複数抽出された場合には、画像処理による選別結果として得られた複数の商品候補を、商品選択画面として画面表示するので、最終的には、店員が該商品選択画面の中から正しい商品を選択することができ、間違いなく、正しい商品を選択することができる。

本発明の実施形態の定置スキャナの概観を示す斜視図である。 本発明の実施形態の定置スキャナのブロック構成を示すブロック構成図である。 本発明に係る定置スキャナのＬＣＤディスプレイに画面表示される初期画面の一例を示す画面図である。 本発明に係る定置スキャナの動作の一例を説明するための模式図である。 本発明に係る定置スキャナにおける画像認識処理部の動作の一例を示すフローチャートである。 本発明に係る定置スキャナのＬＣＤディスプレイに商品の画像認識結果として画面表示される商品選択画面の一例を示す画面図である。 本発明に係る定置スキャナのＬＣＤディスプレイに商品の画像認識結果とは異なる商品グループが画面表示されている場合の画像グループ変更指示画面の一例を示す画面図である。 本発明に係る定置スキャナのＬＣＤディスプレイに画面表示される商品選択補助画面の一例を示す画面図である。 セルフＰＯＳ端末に本発明の仕組みを応用した例を示す模式図である。 従来のレジスタ端末機における商品表示方法の一例を示す模式図である。 従来のレジスタ端末機における商品表示方法の他の例を示す模式図である。

以下、本発明による定置スキャナ、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体の好適な実施例について添付図を参照して説明する。なお、以下の説明においては、本発明による定置スキャナ、決済商品選別方法について説明するが、商品決済処理を行うＰＯＳ端末として、かかる定置スキャナを搭載したＰＯＳ端末を構成するようにしても良いし、また、かかる決済商品選別方法をコンピュータにより実行可能な決済商品選別プログラムとして実施するようにしても良いし、あるいは、決済商品選別プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。

（本発明の特徴）
本発明の実施形態の説明に先立って、本発明の特徴についてその概要をまず説明する。本発明は、特にスーパマーケットや量販店等の決済場所（料金支払場所：レジ）のレジスタ端末機等において好適に用いられる定置スキャナに関するものであり、定置スキャナに撮像手段例えばカメラを取り付けて、該カメラにより撮像された情報に基づいて商品の形状認識を行い、候補となる商品のキーを表示することにより、バーコードが付けられていない商品のキー入力時間を短縮することを、主要な特徴としている。

（本発明の実施形態）
次に、本発明の定置スキャナに関する実施形態についてその一例を説明する。本発明の実施形態に係る定置スキャナは、商品をスキャンするスキャナ部の近傍すなわち脇にカメラを搭載し、商品に貼付されているバーコードをスキャンすると同時に、該カメラによって撮像した商品画像を分析して、商品の認識を行うように構成されている。ここで、物体の形状認識技術としては、例えば特開平０７−０６５１７６号公報「形状認識装置」等に開示されているように、たとえ物体（商品）が回転しても、素早く認識することが可能なように、処理時間の短い形状認識方法が提案されている。

しかしながら、特開平０７−０６５１７６号公報のような技術を用いても、残念ながら、形状認識率は１００％にはならない。このため、本発明の実施形態においては、カメラから入力された画像を画像データとして処理し、各商品の基準となる図形との相関値を求めることによって、形状認識を行い、物体（商品）の判定を行う形状認識技術を採用している。

通常は、求めた各相関値のうち、相関値の一番高い基準図形に該当する物体（商品）を認識結果として出力するが、常に正しく形状認識を行うことができないのが現状である。そこで、本実施形態においては、相関値に閾値を設け、画像認識結果として、該閾値以上の相関値を有する物体（商品）については、画像認識結果として、商品の候補を正しく認識することができたものと判断して、定置スキャナの商品ボタンの色を変化させて店員に提示するようにしている。店員は、色が変化した商品ボタンの中から決済しようとする商品を選択すれば良く、商品選択のスピードアップを図ることができる。

一方、画像認識の結果、前記閾値以上の相関値を有する商品が無かった場合は、定置スキャナの商品ボタンは何も変化しないので、店員は、通常通りに、商品選択作業を行うことができる。

さらに、画像認識結果として、複数の商品が前記閾値を超えて、定置スキャナの複数の商品ボタンに色付けがなされたにも関わらず、店員が、いずれの商品ボタンも、あらかじめ定めた一定時間の間押下されなかった場合、店員が、複数の商品のうちいずれの商品が該当しているのかを識別することができない（例えば、ほうれん草と小松菜との区別がつかない等）ものと判断して、定置スキャナは、商品の見分け方を示す補助情報を表示する画面に移行して、店員が商品を選択することができるように支援する。つまり、従来技術とは異なり、本発明は、一定時間の間に、店員の操作がなく、ＬＣＤ画面の切り替えがない場合、該一定時間経過後は、店員が商品を見分けるための判断補助画面に切り替えることとし、定置スキャナのＬＣＤ画面や操作は、画像認識が無い状態と同じにして、人間による入力操作の補助機能として機能するようにしている。

（実施形態の構成）
次に、本発明の実施形態の定置スキャナの構成例について、図１、図２を用いて説明する。図１は、本発明の実施形態の定置スキャナの概観を示す斜視図であり、図２は、本発明の実施形態の定置スキャナのブロック構成を示すブロック構成図である。

図１に示すように、本発明の実施形態に係る定置スキャナは、テーブル１１の上に脚部１２によって固定されている。脚部１２の上にはバーコードスキャナ１３が配置されている。バーコードスキャナ１３は、図示していないが、鏡を回転させることによって、あらゆる方向にレーザ光を投射して走査を行っており、該投射光の反射光を受光部によって読み取る構造になっている。これにより、バーコードスキャナ１３に対してバーコードが如何なる向き（方向）にかざされても、かざされたバーコードを読み取ることができる。読み取り結果は、内蔵されているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｏｒ Ｕｎｉｔ）に送られる。

バーコードスキャナ１３の脇にはカメラ１０が取り付けられており、バーコードスキャナ１３にかざされた商品の画像を取り込むようになっている。取り込まれた画像は、内蔵されている画像認識処理部において画像認識処理がなされ、画像認識結果は、内蔵されているＣＰＵに送られる。

また、バーコードスキャナ１３の上方には、タッチパネル１４ａが装着されたＬＣＤディスプレイ１４と、ＬＣＤディスプレイ１４の脇には、主に、数量などのデータを入力するためのキーボード１４ｂが取り付けられている。

また、図２に示すように、本発明の実施形態に係る定置スキャナには、画像認識処理部２０、音声処理部２１、スピーカ２２、バーコードスキャナ制御部２３、ＬＣＤドライバ２４、デコーダ２４ａ、ＣＰＵ２５、ＲＯＭ２６、ＲＡＭ２７、ＩＦ部２８が少なくとも備えられている。

画像認識処理部２０は、前述のように、カメラ１０によって撮像された画像を処理して、画像の認識結果をＣＰＵ２５に送信する。音声処理部２１は、店員等に通知するための音声情報を作成してスピーカ２２から出力する。バーコードスキャナ制御部２３は、バーコードスキャナ１３の動作を制御して、バーコードスキャナ１３のスキャン結果をＣＰＵ２５に送信する。ＬＣＤドライバ２４は、ＣＰＵ２５からの指示に従ってＬＣＤディスプレイ１４を駆動して画面表示する。デコーダ２４ａは、タッチパネル１４ａにタッチされた位置情報をデコードして、ＣＰＵ２５に送信する。

ＣＰＵ２５は、定置スキャナの全体の動作を制御する。ＲＯＭ２６は、プログラムや商品に関する情報や定置スキャナに関する設定データなどの各種のデータを記憶する不揮発性のメモリである。ＲＡＭ２７は、カメラ１０による撮像画像や形状認識結果に関する情報やＬＣＤディスプレイ１４に画面表示する情報等の各種の情報を記憶するランダムアクセスが可能なメモリである。ＩＦ部２８は、外部のＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）端末との情報のやり取りを行う外部インタフェース機能を司る。

（実施形態の動作の説明）
次に、図１、図２に示す定置スキャナの動作について説明する。図３は、本発明に係る定置スキャナのＬＣＤディスプレイ１４に画面表示される初期画面の一例を示す画面図である。図３に示すように、タッチパネル１４ａ付きのＬＣＤディスプレイ１４に最初に画面表示される初期画面の例えば左側には、「野菜」「くだもの」「魚」「その他」等のバーコードが付けられていない複数の商品グループ用（つまり画面右側のメイン画面のページ切り替え用）の商品グループボタンがあり、当該商品グループボタンの先頭の商品グループボタン例えば「野菜」ボタンがデフォルトとして選択されている状態になっている。

右側のメイン画面には、商品グループごとのページに切り替えて表示する画面として、左側の商品グループボタンによって選択された商品グループに属する各商品に関する名称と写真とを各商品ボタンとして一覧表示しており、デフォルトの商品グループボタンとして「野菜」ボタンが選択されている場合には、「野菜」の商品グループに属する商品の名称および商品の写真として、「キャベツ」「レタス」「はくさい」「クレソン」「セリ」…等の名称と写真とを、各商品を選択するためのタッチ式の商品ボタンの形式で一覧で表示している。したがって、該初期画面を見た店員は、バーコードが付けられていない商品であっても、選択したい商品を直感的に認識することができ、該当する商品の表示位置にタッチすれば、当該商品を選択する商品ボタンとして動作するので、店員は各商品を選択する商品ボタンの位置を認識し易く、操作性に富む初期画面の画面構成になっている。

（従来の定置スキャナの場合）
ここで、まず、本実施形態の定置スキャナの動作を理解し易くするために、従来の定置スキャナの場合の動作についてその概要を説明する。従来の定置スキャナの場合、決済場所（レジ）の店員は、顧客が持って来た買物バスケットに入っている商品を順次取り出して、定置スキャナのバーコードスキャナの窓に商品に貼付されているバーコードを向けて、１商品ずつ、バーコードをスキャンしていく。バーコードが付けられていない商品例えば「キャベツ」のような商品の場合には、顧客が持って来た買物バスケットの中から、バーコードが付けられていない商品例えば「キャベツ」を取り出し、定置スキャナによるスキャン済みの商品が入った決済済みバスケットに移した後、定置スキャナのキーボードを探索して、当該キーボードに配置されている「キャベツ」のキーを押下して、キャベツに関する商品データを入力する。

（本実施形態による定置スキャナの場合）
次に、本実施形態の定置スキャナの動作について説明する。決済場所（レジ）の店員は、顧客が持って来た買物バスケットに入っている商品を順次に取り出して、従来の定置スキャナの場合と同様に、定置スキャナのバーコードスキャナ１３の窓に商品に貼付されているバーコードを向けて、１商品ずつ、バーコードをスキャンしていく。

ここで、バーコードが付けられていない商品例えば「キャベツ」のような商品であった場合、従来の定置スキャナの場合とは異なり、図４に示すように、バーコードが付いている商品と同様に、定置スキャナのバーコードスキャナ１３の窓の前を通過させて、決済済みバスケットに移す。図４は、本発明に係る定置スキャナの動作の一例を説明するための模式図であり、バーコードが付けられていない商品例えば「キャベツ」を決済する際の商品の移動経路の一例を示している。

定置スキャナのバーコードスキャナ１３の脇には、定置スキャナのバーコードスキャナ１３の窓の前を通過する商品の画像を取り込むためのカメラ１０を取り付けているので、バーコードが付けられていない商品例えば「キャベツ」が定置スキャナを通過する際に、当該商品例えば「キャベツ」の画像がカメラ１０により自動的に撮像されて、図２に示した画像認識処理部２０に送信される。

カメラ１０から送信されてきた画像データを受け取った画像認識処理部２０においては、図５に示すフローチャートの手順にしたがって、バーコードが付けられていない商品として受け取った可能性がある画像データに関する画像認識処理を行う。図５は、本発明に係る定置スキャナにおける画像認識処理部の動作の一例を示すフローチャートであり、図５（Ａ）には、フローチャートを示し、図５（Ｂ）には、バーコードが付けられていない商品として例えば「キャベツ」に関する画像データを受け取っていた場合について、画像データの処理結果として計算された、バーコードが付けられていない各商品として登録されている基準図形との相関値の一例を示している。

なお、図５（Ｂ）の相関値計算結果には、バーコードが付けられていない商品グループが「野菜」であり、かつ、カメラ１０から受け取った画像データが「キャベツ」であった場合を例にとって示しており、また、図５（Ｂ）の最下段には、受け取った商品の画像データとの強い相関を有する商品を抽出するため相関閾値としてあらかじめ定めた数値（図５（Ｂ）の例では８０％）が設定されている例を示している。

図５（Ａ）のフローチャートにおいて、画像認識処理部２０は、カメラ１０から送信されてきた画像データを取り込んで（ステップＳ１）、取り込んだ画像データの形状を認識するための図形データとして数値化する（ステップＳ２）。次いで、バーコードが付けられていない商品としてあらかじめ登録している各商品の形状を示す基準図形に関する数値化データとの比較を行うために、バーコードが付けられていない商品としてあらかじめ登録している商品の個数つまり基準図形の個数に達しているか否かを判別するためのカウンタＮを“１”に初期設定する（ステップＳ３）。

しかる後、バーコードが付けられていない商品としてあらかじめ登録している各商品のうち、第Ｎ番目の商品の形状を示す基準図形と、ステップＳ２において算出した図形データとの相関値を算出して、図５（Ｂ）に示すような各商品ごとの相関値計算結果を設定する相関値計算結果テーブルに記憶する（ステップＳ４）。次いで、バーコードが付けられていない商品としてあらかじめ登録している商品の個数つまり基準図形の個数に達しているか否かを判定して（ステップＳ５）、まだ達していない場合は（ステップＳ５のＮＯ）、カウンタＮに“１”加算して（ステップＳ６）、ステップＳ４に復帰し、次の基準図形との相関値を算出する動作を繰り返す。

バーコードが付けられていない商品としてあらかじめ登録している商品の個数つまり基準図形の個数に達した場合は（ステップＳ５のＹＥＳ）、図５（Ｂ）に示すように、バーコードが付けられていない商品としてあらかじめ登録している商品すべてについて、各商品の基準図形との相関値が算出されて相関値計算結果テーブルに記憶されているので、算出された各相関値と、強い相関を有する商品を抽出するためにあらかじめ定めた相関閾値との比較を行う（ステップＳ７）。該比較結果として、相関値計算結果テーブルの中から、前記相関閾値以上に大きい相関値を有する商品（図５（Ｂ）の例では、相関閾値８０％以上の「キャベツ」と「レタス」）を抽出してＣＰＵ２５へ通知する。

画像認識処理部２０から前記相関閾値以上の相関値を有する商品（図５の例では「キャベツ」と「レタス」）の通知を受け取ったＣＰＵは、図６に示すように、画像認識結果に基づいて選別した商品候補として、ＬＣＤディスプレイ１４に初期画面として画面表示している各商品ボタンのうち、画像認識処理部２０から通知された商品（図５の例では「キャベツ」と「レタス」）に関する商品ボタンの背景色を変更する。図６は、本発明に係る定置スキャナのＬＣＤディスプレイ１４に商品の画像認識結果として画面表示される商品選択画面の一例を示す画面図であり、バーコードが付けられていない商品の画像認識結果として「キャベツ」と「レタス」とを選別していることをＬＣＤディスプレイ１４に画面表示している例を示している。

なお、図６に示す商品選択画面において、選別した商品候補に関する商品ボタンの背景色の設定方法としては、図６の右側に「表示色例１」として例示しているように、基準図形との相関値の大小によってあらかじめ定めた色に背景色を分けて表示する（図６の表示色例１の場合、相関値が９０％以上の場合には「赤」、８０％以上９０％未満の場合は「ピンク」を表示する）ようにしても良いし、あるいは、「表示色例２」として例示しているように、該相関値の順位によってあらかじめ定めた色に背景色を分けて表示する（図６の表示色例２の場合、第１位が「赤」、第２位が「ピンク」、第３位が「黄色」、第４位が「山吹色」、第５位が薄黄色にして表示する）ようにしても良い。

また、画像認識処理部２０における画像認識結果として、前記相関閾値以上の相関値を有する商品が、図５の例のように、「キャベツ」と「レタス」のような「野菜」の商品グループに属する商品であった場合において、定置スキャナのＬＣＤディスプレイ１４の表示が「野菜」のページではなく、別のページ例えば図７に示すように「魚」のページを表示していたような場合、画像認識処理部２０から、画像認識結果に基づいて選別した商品候補として、「キャベツ」と「レタス」とを受け取ったＣＰＵ２５は、商品グループボタンを「野菜」に変更することを店員に促すために、「野菜」のページに変更するためのページ選択部分つまり商品グループボタン「野菜」の背景色を変更して、ＬＣＤディスプレイ１４に画面表示する。

図７は、本発明に係る定置スキャナのＬＣＤディスプレイ１４に商品の画像認識結果とは異なる商品グループが画面表示されている場合の画像グループ変更指示画面の一例を示す画面図であり、商品グループ「魚」のページ（メイン画面には、バーコードが付けられていない商品として「魚」に関する各商品ボタンを一覧表示するページ）を開いている状態で、「野菜」の商品グループに属する商品（例えば「キャベツ」と「レタス」）を画像認識結果に基づく商品候補として受け取った場合に「野菜」の商品グループボタン（ページ切り替えボタン）の背景色を異なる色（例えば「赤」）に変更している例を示している。

なお、図７のように、画像認識結果に基づいて選択する商品グループボタンの変更を店員に促すために、当該商品グループボタンの背景色を変更して画面表示する代わりに、画像認識結果に基づいて自動的に該当する商品グループボタンを選択して、当該商品グループボタンの各商品を一覧表示するページに切り替えることも可能である。

しかし、ベテランの店員になればなるほど、画像認識結果が得られる時点よりも早く、決済しようとする商品が属する商品グループを識別して、該当する商品グループボタンの選択操作を行って、当該商品グループボタンの各商品を一覧表示するページに切り替えて、該当する商品の商品ボタンを選択するという場合も多くなる。したがって、図７に示す例は、定置スキャナを操作する店員に、ベテラン店員のような素早い操作を学習させるために、あえて、画像認識結果に基づいて選択する商品グループボタンの変更を行い、当該商品グループボタンの各商品を一覧表示するページに切り替えることを促す表示を行うこととし、自動的にページを切り替える動作を行わない場合を例示している。

そこで、図７のようなページ切り替えを促す画面表示を行った後、商品選択待ち時間としてあらかじめ定めた一定の切り替え待ち時間が経過しても、画像認識結果に基づいて選択する商品グループボタンの変更を行い、当該商品グループボタンの各商品を一覧表示するページに切り替えを行うという選択操作がなされなかった場合には、自動的に、画像認識結果に基づいて自動的に該当する商品グループボタンを選択して、当該商品グループボタンの各商品を一覧表示するページに切り替えるようにしても良い。あるいは、商品選択待ち時間としてあらかじめ定めた一定の切り替え待ち時間が経過した場合は、後述するように、店員が各商品候補の中から決済しようとする商品の選択を行うことができないものと看做して、商品の選択を行うことを補助する補助情報を画面表示するようにしても良い。

（商品選択補助機能）
図６に示すような商品選択画面（図６の画面表示例ではバーコードが付けられていない商品の画像認識結果として「キャベツ」と「レタス」とが商品候補として選別されている）になった後、商品選択待ち時間としてあらかじめ定めた一定時間（例えば５秒）が経過しても、店員によって商品ボタンを押下（タッチ）する選択操作がなされず、商品が選択されない場合、定置スキャナは、店員が商品の選択を迷っているものと判断して、図８に示すような選別された各商品候補の中から各商品の判別を行うことを補助するための補助情報を、商品選択補助画面として、ＬＣＤディスプレイ１４に画面表示する。図８は、本発明に係る定置スキャナのＬＣＤディスプレイ１４に画面表示される商品選択補助画面の一例を示す画面図である。図８には、商品選択待ち時間としてあらかじめ定めた一定時間が、５秒に設定されていることを示している

図６の画面表示例では、店員が、商品候補として画面表示されている「キャベツ」と「レタス」との違いが分からず、決済しようとする商品を選択することができない状態にあって、商品選択待ち時間としてあらかじめ定めた一定時間が経過しても、決済しようとする商品に関する商品ボタンを押下する選択操作がなされなかった場合であった。そのため、商品選択待ち時間としてあらかじめ定めた一定時間が経過した時点で、図８に示すような商品選択補助画面に遷移する。

図８の商品選択補助画面の表示例においては、画面表示されている「キャベツ」と「レタス」との違いを店員に理解させるために、「キャベツ」と「レタス」とを区別するための情報として、両者の葉の様子や葉の色や叩いたときの音色等の情報がＬＣＤディスプレイ１４に画面表示されている。そこで、店員は、例えば、決済しようとする商品を叩いてみて、その音色によって、当該商品が「キャベツ」であるかあるいは「レタス」であるかを判断して、いずれかの商品ボタンを押下することができる。

（セルフＰＯＳ端末への応用）
顧客自身に購入商品の決済を行わせて省力化を図ることが可能なセルフＰＯＳ端末に本発明に係る定置スキャナの仕組みを応用することも可能である。図９は、セルフＰＯＳ端末に本発明の仕組みを応用した例を示す模式図であり、図９（Ａ）は、セルフＰＯＳ端末を鳥瞰した模式図であり、図９（Ｂ）は、セルフＰＯＳ端末の正面図である。図９に示すように、バーコードスキャナ１３ａの近傍（横）には、本発明の特徴であるカメラ１０ａが配置されており、カメラ１０ａによって撮像した商品の認識処理を行う図２に示すような画像認識処理部が内蔵されている。

図９のセルフＰＯＳ端末の場合、バーコードが貼付されている通常の商品については、正面に配置されているバーコードスキャナ１３ａに対して決済しようとする商品を顧客自身が通過させることによって決済処理を行う。一方、キャベツのようにバーコードが付けられていない商品の場合であっても、バーコードが貼付されている通常の商品の場合と同様に、バーコードスキャナ１３ａの前を通過させることによって、バーコードスキャナ１３ａの横に取り付けられたカメラ１０ａによって、当該商品の画像データが取得されて、内蔵している画像認識処理部に送信される。

画像認識処理部は、図５にて説明したような画像認識処理を行うことによって、図６の商品選択画面に示したように、セルフＰＯＳ端末のＬＣＤディスプレイ１４ｃに選択商品を画面表示する。ここで、選択待ち時間としてあらかじめ定めた一定時間（例えば５秒）が経過しても、商品ボタンの押下操作が顧客によってなされなかった場合には、図７の商品選択補助画面に示したように、セルフＰＯＳ端末のＬＣＤディスプレイ１４ｃに、画像認識処理によって選別した商品候補を区別するための情報を画面表示したりすることによって、顧客に対して、決済しようとしている購入商品の選択を促すことができる。したがって、図９に示すようなセルフＰＯＳ端末であっても、図１ないし図８に前述した仕組みと全く同様の仕組みを適用することができ、セルフＰＯＳ端末の操作に不慣れな顧客であっても、当該顧客自身による効率的な決済処理が可能である。

（本発明の実施形態による効果の説明）
以上に詳細に説明したように、本発明の実施形態によれば、次のような効果を得ることができる。

第１に、商品にバーコードが貼付されていないような商品を決済する場合であっても、カメラ１０によって決済しようとする商品を自動的に撮像して、当該商品の画像認識を行った結果に基づいて選別された商品候補が、ＬＣＤディスプレイ１４にタッチ式の商品ボタンからなる商品選択画面として画面表示されることによって、店員の商品選択操作を支援しているので、経験の浅い店員であっても、決済しようとする商品を判別して、商品ボタンを素早く押下して、決済処理を行うことができる。

第２に、バーコードスキャナ１３の近傍（横）にカメラ１０を配置することによって、野菜や魚などのようにバーコードが貼付されていない商品を決済しようとする場合であっても、店員は、バーコードが貼付されている商品の場合と全く同様に、定置スキャナのバーコードスキャナの面上を、決済しようとする商品を移動させて、決済済みのバスケットに移動させる操作を行えば良く、商品のハンドリング操作を画一化させることによって、より素早い決済処理を行うことができる。

第３に、「キャベツ」と「レタス」のように、類似の商品が画像認識結果の商品候補として商品選択画面に画面表示された場合であっても、商品選択待ち時間としてあらかじめ定めた一定時間経過後には、店員が各商品を区別する方法に関する補助情報を商品選択補助画面として自動的に画面表示するので、店員が、決済しようとする商品を正しく判別することができ、該当する商品ボタンを正しく押下して、決済処理を行うことができる。

第４に、カメラ１０によって撮像された画像データに基づく画像認識処理によって、決済しようとする商品を特定することができる場合には、商品の決済処理をすべて自動的に行うことが可能であるが、現状の画像認識技術における認識率は必ずしも１００％ではない。このため、本発明による実施形態において説明したように、各商品の図形データを基準図形としてあらかじめ登録しておき、カメラ１０によって撮像された画像データと、各基準図形との比較結果に基づいて、両者の相関値があらかじめ定めた相関閾値以上に高い基準図形に該当する商品を、抽出することによって、決済しようとする商品に関する商品候補を絞り込む仕組みを採用し、決済しようとする商品をより確実に識別することを可能としている。

第５に、前記相関閾値以上に高い基準図形に該当する商品が複数抽出された場合には、画像処理による選別結果として得られた複数の商品候補を、ＬＣＤディスプレイ１４に商品選択画面として画面表示するので、最終的には、店員が該商品選択画面の中から正しい商品を選択することができ、間違いなく、正しい商品を選択することができる。

以上、本発明の好適実施例の構成を説明した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることが、当業者には容易に理解できよう。例えば、本発明の実施態様は、課題を解決するための手段における構成（１）に加えて、次のような構成として表現できる。
（２）前記カメラが、前記バーコードスキャナの近傍に配置され、決済しようとする商品を前記バーコードスキャナの上を通過させることにより、前記カメラによって、当該商品の画像を撮像する上記（１）の定置スキャナ。
（３）前記画像認識処理手段は、各商品の形状を特定するための画像データとして基準図形をあらかじめ登録しており、決済しようとする商品の形状を認識する際に、前記撮像手段によって取得された商品に関する画像データを、あらかじめ登録されている各商品に関する前記基本図形と比較することによって、両者の相関値を算出し、算出した相関値があらかじめ定めた相関閾値以上であった場合、前記相関閾値以上の相関値となった前記基準図形の商品を、決済しようとする商品の候補として選別する上記（１）または（２）の定置スキャナ。
（４）前記ディスプレイはタッチパネル方式のディスプレイであり、前記ディスプレイに画面表示する前記商品選択画面は、各商品の名称とその写真とからなる商品がタッチ式の商品ボタンとして一覧表示されている画面であり、かつ、商品候補として選別された商品ボタンの背景色を変更して画面表示する上記（１）ないし（３）のいずれかの定置スキャナ。
（５）商品候補として選別された商品ボタンの背景色を変更する際、前記撮像手段によって取得された商品に関する画像データとの相関値の大きさに応じてあらかじめ定めた背景色に変えて画面表示する、あるいは、前記撮像手段によって取得された商品に関する画像データとの相関値の大きい順番に背景色を異なる色に変えて画面表示する上記（４）の定置スキャナ。
（６）前記商品選択画面は、各商品が属する商品グループを示す商品グループボタンが一覧表示される商品グループ画面と、各商品グループごとの商品ボタンが一覧表示されるページを表示するメイン画面とからなり、前記商品グループ画面のいずれかの商品グループボタンを押下操作することにより、前記メイン画面が当該商品グループに属する商品ボタンが一覧表示されるページに切り替わる構成とされている上記（４）または（５）の定置スキャナ。
（７）前記商品選択画面の前記メイン画面が、商品候補として選別された商品ボタンが属する商品グループとは異なる商品グループの商品ボタンを一覧表示するページが画面表示されていた場合、前記商品グループ画面の各商品グループボタンのうち、商品候補として選別された商品ボタンが属する商品グループを示す商品グループボタンの背景色を変更して画面表示する上記（６）の定置スキャナ。
（８）前記商品選択画面が画面表示された以降、商品選択待ち時間としてあらかじめ定めた一定時間が経過しても、利用者による商品の選択操作がなされない場合、商品候補として選別された各商品の判別を行うための補助情報を、ディスプレイに商品選択補助画面として画面表示する上記（１）ないし（７）のいずれかの定置スキャナ。
（９）商品に貼付されているバーコードを読み取るバーコードスキャナを備えて、商品の決済を行うＰＯＳ端末において、前記バーコードスキャナが、上記（１）ないし（８）のいずれかの定置スキャナから構成されているＰＯＳ端末。
（１０）当該ＰＯＳ端末が、顧客自身が購入商品の決済を行うことが可能なセルフＰＯＳ端末である上記（９）のＰＯＳ端末。
（１１）決済しようとする商品に貼付されているバーコードをバーコードスキャナによって読み取って、決済しようとする商品の選別を行う決済商品選別方法であって、バーコードが貼付されていない商品の決済を行う場合、決済しようとする商品を撮像手段により撮像して得た画像データから当該商品の形状を認識し、認識した該商品形状に基づいて、決済しようとする商品の候補を選別して、ディスプレイに商品選択画面として画面表示する決済商品選別方法。
（１２）各商品の形状を特定するための画像データとして基準図形をあらかじめ登録しておき、決済しようとする商品の形状を認識する際に、決済しようとする商品を撮像して得た画像データを、あらかじめ登録されている各商品に関する前記基準図形と比較することによって、両者の相関値を算出し、算出した相関値があらかじめ定めた相関閾値以上であった場合、前記相関閾値以上の相関値となった前記基準図形の商品を、決済しようとする商品の候補として選別する上記（１１）の決済商品選別方法。
（１３）前記ディスプレイはタッチパネル方式のディスプレイであり、前記ディスプレイに画面表示する前記商品選択画面は、各商品の名称とその写真とからなる商品がタッチ式の商品ボタンとして一覧表示されている画面であり、かつ、商品候補として選別された商品ボタンの背景色を変更して画面表示する上記（１１）または（１２）の決済商品選別方法。
（１４）商品候補として選別された商品ボタンの背景色を変更する際、決済しようとする商品を撮像して得た画像データとの相関値の大きさに応じてあらかじめ定めた背景色に変えて画面表示する、あるいは、決済しようとする商品を撮像して得た画像データとの相関値の大きい順番に背景色を異なる色に変えて画面表示する上記（１３）の決済商品選別方法。
（１５）前記商品選択画面が画面表示された以降、商品選択待ち時間としてあらかじめ定めた一定時間が経過しても、利用者による商品の選択操作がなされない場合、商品候補として選別された各商品の判別を行うための補助情報を、ディスプレイに商品選択補助画面として画面表示する上記（１１）ないし（１４）のいずれかの決済商品選別方法。
（１６）上記（１１）ないし（１５）のいずれかの決済商品選別方法を、コンピュータによって実行可能なプログラムとして実施している決済商品選別プログラム。
（１７）上記（１６）の決済商品選別プログラムを、コンピュータによって読み取り可能な記録媒体に記録しているプログラム記録媒体。

１０ カメラ
１０ａ カメラ
１１ テーブル
１２ 脚部
１３ バーコードスキャナ
１３ａ バーコードスキャナ
１４ ＬＣＤディスプレイ
１４ａ タッチパネル
１４ｂ キーボード
１４ｃ ＬＣＤディスプレイ
２０ 画像認識処理部
２１ 音声処理部
２２ スピーカ
２３ バーコードスキャナ制御部
２４ ＬＣＤドライバ
２４ａ デコーダ
２５ ＣＰＵ
２６ ＲＯＭ
２７ ＲＡＭ
２８ ＩＦ部

Claims (8)

1. 商品の決済を行うために、商品に貼付されているバーコードをバーコードスキャナによって読み取る定置スキャナであって、決済しようとする商品を撮像して画像データを取得する撮像手段と、該撮像手段によって取得された商品の画像データを処理して当該商品の形状を認識する画像認識処理手段とを備え、バーコードが貼付されていない商品の決済を行う場合に、前記画像認識処理手段によって認識した商品形状に基づいて、決済しようとする商品の候補を選別して、ディスプレイに商品選択画面として画面表示し、
   前記ディスプレイはタッチパネル方式のディスプレイであり、前記ディスプレイに画面表示する前記商品選択画面は、各商品の名称とその写真とからなる商品がタッチ式の商品ボタンとして一覧表示されている画面であり、かつ、商品候補として選別された商品ボタンの背景色を変更して画面表示し、
   前記商品候補として選別された商品ボタンの背景色を変更する際、前記撮像手段によって取得された商品に関する画像データとの相関値の大きさに応じてあらかじめ定めた背景色に変えて画面表示する、あるいは、前記撮像手段によって取得された商品に関する画像データとの相関値の大きい順番に背景色を異なる色に変えて画面表示することを特徴とする定置スキャナ。
2. 商品の決済を行うために、商品に貼付されているバーコードをバーコードスキャナによって読み取る定置スキャナであって、決済しようとする商品を撮像して画像データを取得する撮像手段と、該撮像手段によって取得された商品の画像データを処理して当該商品の形状を認識する画像認識処理手段とを備え、バーコードが貼付されていない商品の決済を行う場合に、前記画像認識処理手段によって認識した商品形状に基づいて、決済しようとする商品の候補を選別して、ディスプレイに商品選択画面として画面表示し、
   前記ディスプレイはタッチパネル方式のディスプレイであり、前記ディスプレイに画面表示する前記商品選択画面は、各商品の名称とその写真とからなる商品がタッチ式の商品ボタンとして一覧表示されている画面であり、かつ、商品候補として選別された商品ボタンの背景色を変更して画面表示し、
   前記商品選択画面は、各商品が属する商品グループを示す商品グループボタンが一覧表示される商品グループ画面と、各商品グループごとの商品ボタンが一覧表示されるページを表示するメイン画面とからなり、前記商品グループ画面のいずれかの商品グループボタンを押下操作することにより、前記メイン画面が当該商品グループに属する商品ボタンが一覧表示されるページに切り替わる構成とされ、
   前記商品選択画面の前記メイン画面が、前記商品候補として選別された商品ボタンが属する商品グループとは異なる商品グループの商品ボタンを一覧表示するページが画面表示されていた場合、前記商品グループ画面の各商品グループボタンのうち、前記商品候補として選別された商品ボタンが属する商品グループを示す商品グループボタンの背景色を変更して画面表示することを特徴とする定置スキャナ。
3. カメラが、前記バーコードスキャナの近傍に配置され、決済しようとする商品を前記バーコードスキャナの上を通過させることにより、前記カメラによって、当該商品の画像を撮像することを特徴とする請求項１または２に記載の定置スキャナ。
4. 前記画像認識処理手段は、各商品の形状を特定するための画像データとして基準図形をあらかじめ登録しており、決済しようとする商品の形状を認識する際に、前記撮像手段によって取得された商品に関する画像データを、あらかじめ登録されている各商品に関する前記基準図形と比較することによって、両者の相関値を算出し、算出した相関値があらかじめ定めた相関閾値以上であった場合、前記相関閾値以上の相関値となった前記基準図形の商品を、決済しようとする商品の候補として選別することを特徴とする請求項１ないし３のいずれかに記載の定置スキャナ。
5. 商品に貼付されているバーコードを読み取るバーコードスキャナを備えて、商品の決済を行うＰＯＳ端末において、前記バーコードスキャナが、請求項１ないし４のいずれかに記載の定置スキャナから構成されていることを特徴とするＰＯＳ端末。
6. 当該ＰＯＳ端末が、顧客自身が購入商品の決済を行うことが可能なセルフＰＯＳ端末であることを特徴とする請求項５に記載のＰＯＳ端末。
7. 決済しようとする商品に貼付されているバーコードをバーコードスキャナによって読み取って、決済しようとする商品の選別を行う決済商品選別方法であって、バーコードが貼付されていない商品の決済を行う場合、決済しようとする商品を撮像手段により撮像して得た画像データから当該商品の形状を認識し、認識した該商品形状に基づいて、決済しようとする商品の候補を選別して、ディスプレイに商品選択画面として画面表示し、
   前記ディスプレイはタッチパネル方式のディスプレイであり、前記ディスプレイに画面表示する前記商品選択画面は、各商品の名称とその写真とからなる商品がタッチ式の商品ボタンとして一覧表示されている画面であり、かつ、商品候補として選別された商品ボタンの背景色を変更して画面表示し、
   前記商品候補として選別された商品ボタンの背景色を変更する際、決済しようとする商品を撮像して得た画像データとの相関値の大きさに応じてあらかじめ定めた背景色に変えて画面表示する、あるいは、前記決済しようとする商品を撮像して得た画像データとの相関値の大きい順番に背景色を異なる色に変えて画面表示することを特徴とする決済商品選別方法。
8. 各商品の形状を特定するための画像データとして基準図形をあらかじめ登録しておき、決済しようとする商品の形状を認識する際に、決済しようとする商品を撮像して得た画像データを、あらかじめ登録されている各商品に関する前記基準図形と比較することによって、両者の相関値を算出し、算出した相関値があらかじめ定めた相関閾値以上であった場合、前記相関閾値以上の相関値となった前記基準図形の商品を、決済しようとする商品の候補として選別することを特徴とする請求項７に記載の決済商品選別方法。

Images