以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
図1は、チェックアウトシステム1の外観構成を示す斜視図である。図1に示すように、チェックアウトシステム1は、POS端末11と、情報処理装置としての商品読取装置101とを備える。
POS端末11は、チェックアウト台51上のドロワ21上面に載置する。ドロワ21は、POS端末11によって開放動作の制御を受ける。オペレータ(店員等)によって押下操作されるキーボード22は、POS端末11の上面に配置する。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23を備える。表示デバイス23は、その表示面23aに情報を表示する。タッチパネル26は、表示面23aに積層される。顧客用表示デバイス24は、表示デバイス23よりもさらに奥側に回転自在に立設される。顧客用表示デバイス24は、その表示面24aに情報を表示する。
なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向いた状態であるが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
POS端末11が載置されるチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151が配置される。カウンタ台151の上面には、荷受け面152が形成される。荷受け面152には、商品Gを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に載置される第2の買物カゴ153bとに分けて考えることができる。
カウンタ台151の荷受け面152には、POS端末11とデータ送受信可能に接続された商品読取装置101が設置される。商品読取装置101は、薄型矩形形状のハウジング102を備える。
ハウジング102の正面には、読取窓103が配置される。ハウジング102の上部には、表示・操作部104が取り付けられる。表示・操作部104には、タッチパネル105が表面に積層された液晶表示器等の表示デバイス106が設けられる。表示デバイス106の右隣にはキーボード107が配設される。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられる。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置される。
顧客によって持ち込まれた第1の買物カゴ153aには、一取引に係る商品Gが収納される。第1の買物カゴ153a内の商品Gは、商品読取装置101を操作するオペレータにより第2の買物カゴ153bへと移動される。この移動過程で、商品Gが商品読取装置101の読取窓103に向けられる。この際、読取窓103内に配置された撮像部164(図2参照)は商品Gを撮像する。
図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。
POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61と、ROM(Read Only Memory)62と、RAM(Random Access Memory)63とを備える。ROM62は、CPU61が実行するプログラムを記憶する。また、マイクロコンピュータ60は、時間を計時するRTC(Real Time Clock)等の計時部(図示せず)を備える。
POS端末11のCPU61には、ドロワ21、キーボード22、表示デバイス23、顧客用表示デバイス24、通信インターフェース25、タッチパネル26、HDD(Hard Disk Drive)64、接続インターフェース65及びプリンタ66が何れも各種の入出力回路(何れも図示せず)を介して接続される。
キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。
HDD64は、各種プログラムや各種ファイルを記憶する。CPU61は、POS端末11の起動時等に、HDD64に記憶されたプログラムの全部又は一部をRAM63にコピーし、実行する。
また、HDD64は、PLUファイルF1等のデータファイルを記憶する。PLUファイルF1は、接続インターフェース65を介し、商品読取装置101から読み出し可能である。
PLUファイルF1は、店舗内で販売される商品Gと、その商品Gの売上登録等に関する情報との関連付けが設定されたデータファイルである。図3は、PLUファイルF1のデータ構成の一例を模式的に示す図である。同図に示すように、PLUファイルF1には、商品G毎に、ユニークに割り当てられた商品IDと、商品名、単価等の商品に関する情報と、その商品Gを撮像した商品画像とが関連付けて登録される。また、PLUファイルF1には、商品G毎に、その商品Gの特徴量(基準商品の特徴量データ)が関連付けられて登録される。
商品画像は、後述する類似度判定の際に、比較の対象とされる基準商品の各々を撮像した画像である。商品画像は、後述する商品候補の表示の際に、その商品候補を表す画像として表示される。また、各商品Gの撮像画像(例えば、商品画像)から予め抽出された、その商品Gの特徴量が、対応する商品IDに関連付けて登録される。ここで、特徴量とは、商品G表面の色合いや模様、凹凸状況、形状等、商品Gの特徴を表した情報である。
なお、本実施形態では、各商品Gの特徴量をPLUファイルF1に予め登録しておく形態としているが、これに限らず、特徴量を登録しない形態としてもよい。この場合、後述する特徴量抽出部1613により、各商品画像から特徴量を抽出することで、その都度特徴量を取得する形態としてもよい。また、商品画像の代わりに表示用の画像を登録する形態としてもよい。以下では、PLUファイルF1に登録された商品を「登録商品」という。
図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続される。ストアコンピュータSCは、店舗のバックヤード等に設置される。ストアコンピュータSCのHDD(図示せず)は、POS端末11に配信されるPLUファイルF1、当該PLUファイルF1に登録された各登録商品の在庫状態を管理するための在庫管理ファイル等を記憶する。
接続インターフェース65は、商品読取装置101との間でデータ送受信を可能にする。接続インターフェース65には、商品読取装置101が接続される。また、プリンタ66は、レシート等に印字を行う。POS端末11は、CPU61の制御の下、プリンタ66にて、一取引の取引内容をレシートに印字する。
商品読取装置101は、商品読取部110と、表示・操作部104とを備える。商品読取部110は、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161と、ROM162と、RAM163とを備える。ROM162は、CPU161が実行するプログラムを記憶する。また、マイクロコンピュータ160は、時間を計時するRTC等の計時部(図示せず)を備える。
CPU161には、撮像部164、音声出力部165及び接続インターフェース175が各種の入出力回路(何れも図示せず)を介して接続される。撮像部164、音声出力部165及び接続インターフェース175は、CPU161によって動作が制御される。
撮像部164は、カラーCCDセンサやカラーCMOSセンサ等であり、読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像(撮像画像)はRAM163に保存される。音声出力部165は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部165は、CPU161の制御の下で警告音等の音声による報知を行う。
表示・操作部104は、タッチパネル105、表示デバイス106、キーボード107、顧客用表示デバイス109及び接続インターフェース176を備える。商品読取部110の接続インターフェース175は、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする。接続インターフェース175は、接続インターフェース176を介して、表示・操作部104と接続し、CPU161は、接続インターフェース175を介して、商品読取部110と表示・操作部104との間でデータ送受信を行う。
次に、CPU161、CPU61がプログラムを実行することで実現されるCPU161、CPU61の機能構成について、図4を参照して説明する。
図4は、POS端末11及び商品読取装置101の機能構成を示すブロック図である。図4に示すように、商品読取装置101のCPU161は、プログラムを順次実行することにより、画像取込部1611、商品検出部1612、特徴量抽出部1613、類似度判定部1614、商品候補表示部1615、入力受付部1616及び情報出力部1617としての機能を備える。
画像取込部1611は、取込手段に対応する機能部である。画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。画像取込部1611は、撮像動作開始後に撮像部164が撮像してRAM163に保存された撮像画像を順次取り込む。画像取込部1611による撮像画像の取り込みは、RAM163に保存された順に行う。
商品検出部1612は、検出手段に対応する機能部である。商品検出部1612は、画像取込部1611が取り込んだ撮像画像に含まれる商品Gの全部又は一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、前回の撮像画像(フレーム画像)から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分、すなわち、読取窓103に向けられた商品Gの写り込み領域を検出する。
商品Gを検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品Gの輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品Gを検出する。
特徴量抽出部1613は、抽出手段に対応する機能部である。特徴量抽出部1613は、画像取込部1611が取り込んだ撮像画像から、商品検出部1612で検出された商品Gの表面の状態(表面の色合い、模様、凸凹状況、形状等)を特徴量として抽出する。
類似度判定部1614は、算出手段及び認識手段に対応する機能部である。類似度判定部1614は、PLUファイルF1に登録された各登録商品の特徴量と、特徴量抽出部1613が抽出した特徴量とを比較し、その類似度をそれぞれ算出する。類似度判定部1614は、算出した類似度のうち、その値が所定の閾値以上となる登録商品(商品ID)を、撮像部164で撮像された商品Gの候補(商品候補)として認識する。
また、類似度判定部1614は、類似度が閾値以上の登録商品のうち、その類似度の値が他と比べて非常に高くなる登録商品が一つ存在するような場合、該当する一の登録商品を商品候補とする自動確定機能を有する。なお、類似度の比較基準は任意に設定可能であるとする。例えば、他の商品候補について算出した類似度の最高値と比較し、20%以上の類似度を有する一の登録商品を自動確定してもよい。
また、類似度は、商品Gの特徴量と、PLUファイルF1に登録された商品の基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値(類似度)であればよい。なお、類似度の概念は、この例に限らず、PLUファイルF1に登録された各登録商品の特徴量との一致度を示す値や、商品Gの特徴量とPLUファイルF1に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
上記のように画像中に含まれる物体を認識することは、一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成25年12月12日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像を物品(オブジェクト)毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成25年12月12日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合、撮像された商品Gの画像と、登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Gと、各登録商品との類似度の総和が1.0(100%)となるよう算出すればよい。
商品候補表示部1615は、選択手段及び表示制御手段に対応する機能部である。商品候補表示部1615は、類似度判定部1614で商品候補と認識された登録商品に関する情報を、表示デバイス106に表示する。より詳細には、商品候補表示部1615は、商品候補として認識された登録商品のレコードをPLUファイルF1から読み出し、表示デバイス106の商品候補画面内に表示する。
図5は、商品候補画面の表示例を示す図である。表示デバイス106に表示される商品候補画面A1は、撮像画像領域A11と、商品候補領域A12とを含む。
撮像画像領域A11は、画像取込部1611が取り込んだ撮像画像を表示するための領域である。撮像画像領域A11の下部には、部門コードや商品リスト等から手動で商品Gを認識(登録)するための手動登録ボタンB1が設けられる。CPU161は、手動登録ボタンB1の操作に応じて、商品Gの認識(登録)を手動で行うための手動登録画面(図示せず)を表示デバイス106に表示する。なお、手動登録画面を介して指定された商品は、後述する確定商品として処理される。
商品候補領域A12は、商品候補として認識された登録商品に関する情報を表示するための領域である。商品候補領域A12には、表示領域A2が配置される。図5では、商品候補領域A12に4つの表示領域A2を設定した例を示しているが、表示領域A2の個数は特に問わないものとする。商品候補表示部1615は、表示領域A2に、商品候補の商品画像や商品名等の商品情報(G1、G2)を配置して表示する。なお、商品候補領域A12に表示された商品候補は、タッチパネル105を介して選択可能に構成される。上記の構成により、商品読取装置101のオペレータは、商品候補領域A12に表示された商品候補の中から、商品Gに該当する商品候補を選択することができる。
ところで、類似度の高い商品候補の順に表示領域A2に配置することで、選択時の利便性向上を図ることができる。この表示方法を採用した場合、類似度が高い順に商品候補を表示するため、先に表示された商品候補よりも高い類似度の商品候補が現れると、表示の順序(配置順序)が入れ替わることになる。この場合、オペレータが商品候補を選択しようとするタイミングで商品候補の表示順序が入れ替わると、意図しない商品候補を選択してしまう可能性がある。
そこで、上記のような誤操作の発生を防ぐため、商品候補表示部1615は、表示位置(順序)が変わらないよう、類似度判定部1614で認識された商品候補を2段階に分けて表示する。
具体的に、商品候補表示部1615は、類似度判定部1614が商品候補の認識に係る処理を実行している所定時間(以下、待機時間という)の間、商品候補の表示を待機する。次いで、商品候補表示部1615は、待機時間が経過すると、この待機時間の間に類似度判定部1614で認識された商品候補の商品情報を、類似度の高い順に表示領域A2に配置することで当該商品情報の表示を行う。
さらに、商品候補表示部1615は、待機時間以降に類似度判定部1614で商品候補が認識されると、対応する商品情報を表示領域A2に順次配置していくことで、当該商品情報の表示を行う。
例えば、待機時間の間に認識された商品候補が「白菜」及び「長ネギ」であり、「白菜」の類似度が「長ネギ」より高かったとする。この場合、商品候補表示部1615は、図5に示すように、類似度のより高い「白菜」、「長ネギ」の順に、該当する商品情報G1、G2を表示領域A2に配置することで、商品情報G1、G2を一度に表示する。なお、図5の商品候補領域A12では、左上から右上に、次いで左下から右下の表示領域A2にかけて配置を行うものとするが、配置方法はこの例に限らないものとする。
また、上記の待機時間以降に、商品候補「キャベツ」と「レタス」とが順次認識されたとする。この場合、商品候補表示部1615は、図6に示すように、「キャベツ」が認識されたタイミングで、該当する商品情報G3を表示領域A2に配置することで、商品情報G3の表示を行う。そして、商品候補表示部1615は、図7に示すように、「レタス」が認識されたタイミングで、該当する商品情報G4を表示領域A2に配置することで、商品情報G4の表示を行う。図5〜図7の例では、待機時間の間に認識された商品候補(「白菜」と「長ネギ」)の表示を維持した状態で、表示領域A2の領域が空いている場合に、待機時間以降に認識された商品候補(「キャベツ」と「レタス」)を表示領域A2に表示を行う。なお、待機時間の間に認識された商品候補の数が、表示領域A2の領域数に達していれば、待機時間以降に認識された商品候補の表示領域A2への表示は行わない。
このように、商品候補表示部1615は、所定の待機時間が経過するまでに認識された商品候補を類似度の高い順に表示するとともに、待機時間以降に認識された商品候補を順次表示する。これにより、一度表示された商品候補(商品情報)の表示位置(順序)を保持することができるため、表示順序の入れ替わりに伴う誤操作の発生を低減することができる。また、待機時間までに認識された商品候補を類似度の高い順に表示するため、商品候補の表示に係る利便性を向上させるとともに、当該商品候補の選択に係る操作性を向上させることができる。
なお、待機時間の長さは、例えば500ミリ秒等、任意の値を設定することが可能である。また、待機時間の計時を開始する基点も、任意に設定することが可能である。本実施形態では、商品検出部1612が撮像画像から商品Gを検出したタイミングを、待機時間の計時を開始する基点とする。
図4に戻り、入力受付部1616は、タッチパネル105又はキーボード107を介して表示デバイス106の表示に対応する各種入力操作を受け付ける。例えば、入力受付部1616は、表示デバイス106に表示された商品候補の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部1616は、選択された商品候補を、撮像部164によって撮像された商品Gに対応する商品(確定商品)として受け付ける。なお、商品検出部1612が複数の商品Gを検出可能である場合には、入力受付部1616は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。
情報出力部1617は、上述のように確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名等)を、接続インターフェース175を介してPOS端末11に出力する。
なお、情報出力部1617は、タッチパネル105又はキーボード107を介して別途入力された販売個数を、商品ID等とともにPOS端末11に出力してもよい。また、情報出力部1617がPOS端末11に出力する情報としては、情報出力部1617がPLUファイルF1から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、商品画像のファイル名を通知してもよいし、その商品IDの格納場所(PLUファイルF1での格納アドレス)を通知してもよい。
一方、POS端末11のCPU61は、プログラムを実行することにより、売上登録部611としての機能を備える。売上登録部611は、商品読取装置101の情報出力部1617から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部611は、PLUファイルF1を参照し、通知された商品ID及び当該商品IDに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。
以下、チェックアウトシステム1の動作について説明する。まず、図8を参照して、商品読取装置101の動作について説明する。ここで、図8は、商品読取装置101が実行する商品認識処理の手順を示すフローチャートである。なお、本処理の前提として、表示デバイス106には商品候補画面A1が表示されているものとする。
まず、POS端末11による商品登録の開始等に応じて本処理が開始されると、画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する(ステップS11)。
画像取込部1611は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS12)。次いで、商品検出部1612は、ステップS12で取り込まれた撮像画像から商品Gの全部又は一部の検出を行う(ステップS13)。ここで、商品Gが検出されない場合には(ステップS13;No)、ステップS12に戻る。
ステップS13において商品Gが検出された場合(ステップS13;Yes)、商品候補表示部1615は、待機時間を計時中か否かを判定する(ステップS14)。ここで、計時中と判定した場合(ステップS14;Yes)、ステップS16に移行する。また、計時中でないと判定した場合(ステップS14;No)、商品候補表示部1615は、待機時間の計時を開始した後(ステップS15)、ステップS16に移行する。
特徴量抽出部1613は、ステップS12で取り込まれた撮像画像から、ステップS13で検出された商品Gの特徴量を抽出する(ステップS16)。次いで、類似度判定部1614は、ステップS14で抽出された特徴量と、PLUファイルF1に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する(ステップS17)。そして、類似度判定部1614は、算出した類似度のうち、その値が所定の閾値以上の登録商品が存在すると、その登録商品(商品ID)を商品候補として認識する。
次いで、商品候補表示部1615は、待機時間が経過したか否かを判定する(ステップS18)。ここで、待機時間が経過していないと判定した場合(ステップS18;No)、ステップS12に再び戻る。また、待機時間が経過したと判定した場合(ステップS18;Yes)、商品候補表示部1615は、類似度判定部1614で認識された商品候補が存在するか否かを判定する(ステップS19)。
ステップS19において、商品候補が存在しないと判定した場合には(ステップS19;No)、ステップS12に再び戻る。また、商品候補が存在すると判定した場合には(ステップS19;Yes)、商品候補表示部1615は、その商品候補が待機時間内に認識されたものか否かを判定する(ステップS20)。
ここで、商品候補表示部1615は、待機時間内に認識された商品候補を(ステップS20;Yes)、類似度の高い順に表示する(ステップS21)。より詳細には、商品候補表示部1615は、該当する各商品候補のレコードをPLUファイルF1から読み出し、類似度の高い順に表示領域A2に配置することで、待機時間内に認識された商品候補を一度に表示する。
一方、商品候補表示部1615は、待機時間の経過後に認識された商品候補を(ステップS20;No)、認識された順に順次表示する(ステップS22)。より詳細には、商品候補表示部1615は、該当する商品候補のレコードをPLUファイルF1から読み出し、表示領域A2に順次配置していくことで、認識された順に商品候補を表示する。
続いて、入力受付部1616は、タッチパネル105又はキーボード107を介して、商品候補の選択を受け付けたか否かを判定する(ステップS23)。ここで、商品候補の選択操作を受け付けない場合(ステップS23;No)、ステップS12に再び戻る。
また、ステップS23において、何れか一の商品候補を選択する操作を受け付けると(ステップS23;Yes)、商品候補表示部1615は、計時を停止する(ステップS24)。これにより、一の商品Gに係る待機時間の計時が停止されることになる。
次いで、情報出力部1617は、確定商品を示す商品ID等の情報を、POS端末11に出力し(ステップS25)、ステップS26に移行する。ここで、タッチパネル105又はキーボード107を介して販売個数が別途入力された場合には、ステップS22において、確定商品を示す情報とともに、その販売個数をPOS端末11に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“1”を出力する形態としてもよい。
続くステップS26において、CPU161は、POS端末11から商品登録の終了通知等による業務終了の有無を判定する(ステップS26)。業務を継続する場合(ステップS26;No)、CPU161は、ステップS12に処理を戻して処理を継続させる。また、業務を終了する場合(ステップS26;Yes)、画像取込部1611は、撮像部164に撮像オフ信号を出力することで、撮像部164による撮像を終了し(ステップS27)、商品認識処理を終了する。
次に、POS端末11の処理動作について説明する。図9は、POS端末11が実行する売上登録処理の手順を示すフローチャートである。
まず、キーボード22の操作指示による商品登録の開始等に応じて処理が開始されると、CPU61は、商品読取装置101が図8のステップS25で出力した、確定商品の商品IDと、その販売個数とを受信する(ステップS31)。次いで、売上登録部611は、ステップS31で受信した商品ID及び販売個数に基づいて、PLUファイルF1から商品種別や単価等を読み出し、商品読取装置101で読み取られた商品Gの売上を売上マスタファイルに登録する(ステップS32)。
続いて、CPU61は、キーボード22の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS33)。業務を継続する場合(ステップS33;No)、CPU61は、ステップS31へ戻り処理を継続させる。業務を終了する場合(ステップS33;Yes)、CPU61は売上登録処理を終了する。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、商品検出部1612が撮像画像から商品Gを検出したタイミングで、待機時間の計時を開始する形態としたが、これに限らないものとする。例えば、類似度判定部1614が商品候補の認識に係る処理を開始したタイミングで、待機時間の計時を開始する形態としてもよい。具体的には、特徴量の抽出や類似度の算出等を開始したタイミングを待機時間の計時を開始する基点としてもよい。
また、類似度判定部1614が商品Gの商品候補を最初に認識したタイミングで、待機時間の計時を開始する形態としてもよい。この形態を採用する場合、商品候補が一つも認識されない間は、待機時間の計時が行われないことになる。そのため、商品候補を最初に認識するまで時間を要した場合であっても、最初に認識されてから待機時間が経過するまでの間に認識された商品候補については類似度の高い順に表示することができるため、利便性向上を図ることができる。
また、上記実施形態では、POS端末11が、PLUファイルF1を備える形態としたが、これに限らず、商品読取装置101が、PLUファイルF1の一部又は全てを備える形態としてもよい。
また、上記実施形態では、商品読取装置101において、商品候補の識別を行う形態としたが、商品読取装置101が備える機能部の一部又は全てをPOS端末11が備える形態としてもよい。
例えば、POS端末11が、特徴量抽出部1613及び類似度判定部1614を備え、商品読取装置101が、画像取込部1611、商品検出部1612、商品候補表示部1615、入力受付部1616及び情報出力部1617を備える形態としてもよい。この場合、商品読取装置101側では、画像取込部1611により取り込まれ、商品検出部1612で商品を検出した撮像画像をPOS端末11に送信する。また、商品読取装置101は、POS端末11側で認識された商品(登録商品)の結果を受信し、この受信した結果を商品候補表示部1615が商品候補として表示する構成とする。また、商品読取装置101の機能部の全てをPOS端末11が備える場合、商品読取装置101は撮像装置として機能し、POS端末11では、商品読取装置101から送信された撮像画像に基づき商品候補の表示を行う。
また、上記実施形態では、据置型のスキャナ装置(商品読取装置101)を用いた例を説明したが、これに限らず、いわゆるハンディタイプのスキャナ装置がPOS端末11に接続された形態であってもよい。
また、上記実施形態では、POS端末11と商品読取装置101とで構成されるチェックアウトシステム1のうち、商品読取装置101に本発明の実施形態を適用したが、これに限るものではなく、POS端末11及び商品読取装置101の機能を備えた1台構成の装置又は、例えば、図1に示す商品読取装置101及びPOS端末11が有線又は無線にて接続されて構成されるチェックアウトシステム1に適用するようにしてもよい。POS端末11及び商品読取装置101の機能を備えた1台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置(以降、単にセルフPOSと称する)が挙げられる。
ここで、図10は、セルフPOS200の外観構成を示す斜視図、図11は、セルフPOS200のハードウェア構成を示すブロック図である。なお、以下では、図1及び図2に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。
図10及び図11に示すように、セルフPOS200の本体202は、タッチパネル105が表面に配設された表示デバイス106や、商品の種別等を認識(検出)するために商品画像を読み取る商品読取部110を備える。
表示デバイス106としては例えば液晶表示器が用いられる。表示デバイス106は、客にセルフPOS200の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部110で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
商品読取部110は、客が商品に付されたコードシンボルを商品読取部110の読取窓103にかざすことで商品画像を撮像部164により読み取るものである。
また、本体202の右側には、かごに入った未精算の商品を置くための商品載置台203を設け、本体202の左側には、精算済みの商品を置くための商品載置台204を設ける。また、精算済みの商品を入れるための袋を掛ける袋掛けフック205や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台206を設ける。商品載置台203及び204は、計量器207、208をそれぞれ備えており、精算の前後で商品の重量が同じであることを確認する機能を有する。
また、セルフPOS200の本体202には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器201を設ける。
このような構成のセルフPOS200に本発明の実施形態を適用した場合、セルフPOS200が情報処理装置として機能する。なお、POS端末11と商品読取装置101との機能を備えた1台構成の装置は、上述した構成のセルフPOS200に限らず、計量器207及び208を除いて構成された装置であってもよい。
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることで提供する構成としてもよい。また、上記実施形態の各装置で実行されるプログラムを、インターネット等のネットワーク経由で配布する構成としてもよい。
また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、PDA(Personal Digital Assistant)等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。