以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
図1は、チェックアウトシステム1の一例を示す斜視図である。図1に示すように、チェックアウトシステム1は、一取引に係る商品の登録・精算を行うPOS端末10と、商品に関する情報を読み取る商品読取装置20とを備える。以下では、POS端末10を本実施形態にかかる情報処理装置として適用する例について説明する。
POS端末10は、チェックアウト台30上のドロワ40上面に載置されている。ドロワ40は、POS端末10によって開放動作の制御を受ける。POS端末10の上面には、オペレータ(店員)によって押下操作されるキーボード11が配置されている。キーボード11を操作するオペレータから見てキーボード11よりも奥側には、オペレータに向けて情報を表示する第1表示デバイス12が設けられている。第1表示デバイス12は、その表示面12aに情報を表示する。表示面12aには、タッチパネル13が積層されている。第1表示デバイス12よりも更に奥側には、第2表示デバイス14が回転可能に立設されている。第2表示デバイス14は、その表示面14aに情報を表示する。なお、第2表示デバイス14は、表示面14aを図1中奥側に向くように回転させることによって、顧客に向けて情報を表示する。
POS端末10が載置されているチェックアウト台30とL字を形成するようにして、横長テーブル状のカウンタ台50が配置されている。カウンタ台50の上面には、荷受け面51が形成されている。荷受け面51には、商品Gを収納する買物カゴ60が載置される。買物カゴ60は、顧客によって持ち込まれる第1買物カゴ60aと、第1買物カゴ60aから商品読取装置20を挟んだ位置に載置される第2買物カゴ60bとに分けて考えることができる。なお、買物カゴ60は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ60(第2買物カゴ60b)は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
カウンタ台50の荷受け面51には、POS端末10とデータ送受信可能に接続された商品読取装置20が設置されている。商品読取装置20は、薄型矩形形状のハウジング21を備える。ハウジング21の正面には読取窓22が配置されている。ハウジング21の上部には、表示・操作部23が取り付けられている。表示・操作部23には、タッチパネル24が表面に積層された表示部である第1表示デバイス25が設けられている。第1表示デバイス25の右隣にはキーボード26が配設されている。キーボード26の右隣には、図示しないカードリーダのカード読取溝27が設けられている。オペレータから見て表示・操作部23の裏面左奥側には、顧客に情報を提供するための第2表示デバイス28が設置されている。
このような商品読取装置20は、商品読取部210(図2参照)を備えている。商品読取部210は、読取窓22の奥側に撮像部204(図2参照)を配置している。
顧客によって持ち込まれた第1買物カゴ60aには、一取引に係る商品Gが収納されている。第1買物カゴ60a内の商品Gは、商品読取装置20を操作するオペレータにより第2買物カゴ60bに移動される。この移動過程で、商品Gが商品読取装置20の読取窓22に向けられる。この際、読取窓22内に配置された撮像部204(図2参照)は商品Gを撮像する。
商品読取装置20では、撮像部204により撮像された画像に含まれる商品Gが、後述するPLUファイルF1(図3参照)に登録されたどの商品に対応するかを指定させるための画面を表示・操作部23に表示する。そして、商品読取装置20は、指定された商品の商品IDをPOS端末10に通知する。POS端末10では、商品読取装置20から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル(図示せず)等に記録して売上登録を行う。
図2は、POS端末10及び商品読取装置20のハードウェア構成を示すブロック図である。POS端末10は、情報処理を実行する情報処理部としてのマイクロコンピュータ100を備える。マイクロコンピュータ100は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)101に、ROM(Read Only Memory)102とRAM(Random Access Memory)103とがバス接続されて構成されている。
POS端末10のCPU101には、前述したキーボード11、第1表示デバイス12、タッチパネル13、第2表示デバイス14、ドロワ40が何れも各種の入出力回路(何れも図示せず)を介して接続されている。これらは、CPU101による制御を受ける。
キーボード11は、数字や算術演算子が上面に表示されているテンキー11a、仮締めキー11b、及び締めキー11c等を含む。
POS端末10のCPU101には、HDD(Hard Disk Drive)104が接続されている。HDD104には、プログラムや各種ファイルが記憶されている。HDD104に記憶されているプログラムや各種ファイルは、POS端末10の起動時に、その全部又は一部がRAM103にコピーされてCPU101により実行される。HDD104に記憶されているプログラムの一例は、後述する辞書登録処理や売上登録処理用のプログラム等である。また、HDD104に記憶されているファイルの一例は、PLUファイルF1である。
PLUファイルF1は、店舗に陳列して販売する商品Gの各々について、商品Gの売上登録に係る情報を格納する商品ファイルである。以下の説明では、PLUファイルF1を辞書として用いるが、辞書はPLUファイルF1と異なるファイルであってもよい。辞書は、撮像した画像データから抽出した商品の照合用データ(特徴量)を記憶する。辞書はPLUファイルF1と異なるファイルである場合、辞書に記憶される照合用データ(特徴量)と、PLUファイルF1の情報(識別情報)は紐付けられる。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。
図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、各商品Gの商品情報を格納する。商品情報は、商品G毎にユニークに割り当てられた識別情報である商品ID、商品Gが属する商品分類、商品名、単価等の商品に関する情報を含む。また、商品情報は、商品Gを示すイラスト画像と、その商品Gの外観の特徴を示す特徴量とを含む。特徴量は、後述する類似度の判定の際に、照合用のデータとして用いられる。なお、PLUファイルF1は、後述する接続インターフェース106を介し、商品読取装置20が読み出し可能に構成されている。
なお、物品のカテゴリ(商品)のみならず品種まで認識(検出)する必要がある場合には、図3に示すように、品種毎に商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを管理する。例えば、物品のカテゴリ(商品)が「YY」の場合において、「YY_1」、「YY_2」、「YY_3」のような品種毎にその商品に関する情報と、イラスト画像と、特徴量とを管理する。また、候補の表示にイラスト画像を用いず、文字で候補を表示する場合は、イラスト画像をPLUファイルF1に格納しなくてもよい。
また、HDD104は、後述する背景記憶部1041及び除外色域記憶部1042として用いられる。
図2に戻り、POS端末10のCPU101には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース105が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末10に配信されるPLUファイルF1が格納されている。
更に、POS端末10のCPU101には、商品読取装置20との間でデータ送受信を可能にする接続インターフェース106が接続されている。接続インターフェース106には、商品読取装置20が接続されている。また、POS端末10のCPU101には、レシート等に印字を行うプリンタ107が接続されている。POS端末10は、CPU101の制御の下、一取引の取引内容をレシートに印字する。
商品読取装置20も、マイクロコンピュータ200を備える。マイクロコンピュータ200は、CPU201にROM202とRAM203とがバス接続されて構成されている。ROM202には、CPU201によって実行されるプログラムが記憶されている。CPU201には、撮像部204、音声出力部205が各種の入出力回路(何れも図示せず)を介して接続されている。撮像部204、音声出力部205は、CPU201によって動作が制御される。
表示・操作部23は接続インターフェース206を介して、商品読取部210及びPOS端末10に接続されている。表示・操作部23は、商品読取部210のCPU201、POS端末10のCPU101によって動作が制御される。第1表示デバイス25は、CPU101やCPU201の制御の下、後述する商品候補画面(図6参照)等の各種画面を表示する。また、第1表示デバイス25は、各種の業務を選択指示するための業務選択画面(図示せず)を表示する。業務選択画面は、例えば、背景登録、除外色域登録、特徴量登録、売上登録等、後述する各処理の実行を指示するための選択メニューを有する。
撮像部204は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等の撮像装置である。撮像部204は、CPU201の制御の下で読取窓22からの撮像を行う。例えば、撮像部204は、30fpsで動画像の撮像を行う。撮像部204が所定のフレームレートで順次撮像したフレーム画像(撮像画像)はRAM203に保存される。
音声出力部205は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部205は、CPU201の制御の下で警告音や音声による報知を行う。
更に、CPU201には、POS端末10の接続インターフェース106に接続して、POS端末10との間でデータ送受信を可能にする接続インターフェース207が接続されている。また、CPU201は、接続インターフェース207を介して、表示・操作部23との間でデータ送受信を行う。
次に、CPU101がプログラムを実行することで実現される、POS端末10の機能構成について、図4を参照して説明する。
図4は、POS端末10の機能構成を示すブロック図である。POS端末10のCPU101は、HDD104に記憶されたプログラムを実行することにより、図4に示す各機能部を実現する。以下、各機能部について説明する。
まず、商品の売上登録に係る、画像取込部111、商品検出部112、類似度算出部113、類似度判定部114、商品提示部115、入力受付部116、情報入力部117及び売上登録部118について説明する。
画像取込部111は、撮像部204に撮像オン信号を出力して撮像部204に撮像動作を開始させる。画像取込部111は、撮像動作開始後に撮像部204が撮像してRAM203に保存されたフレーム画像を順次取り込む。画像取込部111によるフレーム画像の取り込みは、RAM203に保存された順に行われる。
図5は、画像取込部111によって取り込まれたフレーム画像の一例を示す図である。図5に示すように、オペレータが読取窓22に商品Gをかざすと、撮像部204の撮像範囲Rに入った商品Gの全部又は一部が、撮像部204により撮影される。画像取込部111は、撮像部204によって撮像されたフレーム画像を順次取り込む。
商品検出部112は、画像取込部111により取り込まれたフレーム画像に含まれる商品Gの全部又は一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を2値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓22に向けられた商品を検出する。
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行う。これにより、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。
類似度算出部113は、撮像部204により撮像された商品Gの全部又は一部の画像から、商品Gの色合いや凹凸状況等の表面の状態を特徴量として抽出する。なお、類似度算出部113は、処理時間の短縮を図るため、商品Gの輪郭や大きさは考慮しないものとする。
また、類似度算出部113は、PLUファイルF1に辞書登録された各商品(以下、登録商品)の特徴量と、商品Gの特徴量とを比較することで、商品Gと登録商品との類似度を算出する。ここで、類似度は、登録商品の画像を100%=「類似度:1.0」とした場合に、商品Gの全部又は一部の画像がどの程度類似しているかを示すものである。なお、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれる。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成24年5月19日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成24年5月19日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
なお、撮像された商品Gの画像と、登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Gの画像と、各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合、撮像された商品Gの画像と、各登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Gと、各登録商品との類似度の総和が1.0(100%)となるよう算出すればよい。
また、類似度は、商品Gの特徴量と、PLUファイルF1に登録された商品の基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値(類似度)であればよい。なお、類似度の概念は、この例に限らず、PLUファイルF1に登録された各登録商品の特徴量との一致度を示す値や、商品Gの特徴量とPLUファイルF1に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
類似度判定部114は、算出した類似度のうち、その値が所定の閾値以上となる登録商品(商品ID)を、撮像部204で撮像された商品Gの候補(商品候補)として認識する。ここで、類似度が閾値以上の登録商品の中で、その値が他と比べて非常に高くなる登録商品が一つ存在するような場合には、その登録商品を確定商品として自動確定してもよい。なお、類似度の比較基準は任意に設定可能であるとする。
商品提示部115は、類似度判定部114で商品候補と認識された登録商品に関する情報を、第1表示デバイス25に表示させる。より詳細には、商品提示部115は、商品候補として認識された登録商品のレコードをPLUファイルF1から読み出し、第1表示デバイス25の商品候補画面内に表示させる。
図6は、商品候補画面の表示例を示す図である。図6に示すように、第1表示デバイス25に表示される商品候補画面A1は、撮像画像領域A11と、商品候補領域A12とを含む。
撮像画像領域A11は、画像取込部111が取り込んだ撮像画像を表示するための領域である。撮像画像領域A11の下部には、部門コードや商品リスト等から手動で商品Gを認識(登録)するための手動登録ボタンB1が設けられる。CPU201は、手動登録ボタンB1の操作に応じて、商品Gの認識(登録)を手動で行うための手動登録画面(図示せず)を第1表示デバイス25に表示する。なお、手動登録画面を介して指定された商品は、確定商品として処理される。
商品候補領域A12は、商品候補として認識された登録商品に関する情報を表示するための領域である。商品候補領域A12には、表示領域A2が配置される。図6では、商品候補領域A12に4つの表示領域A2を設定した例を示しているが、表示領域A2の個数は特に問わないものとする。商品提示部115は、表示領域A2に、商品候補の商品画像や商品名等の商品情報(XX、XA等)を配置して表示する。なお、商品候補領域A12に表示された商品候補は、タッチパネル24を介して選択可能に構成される。上記の構成により、商品読取装置20のオペレータは、商品候補領域A12に表示された商品候補の中から、商品Gに該当する商品候補を確定商品として選択することができる。
入力受付部116は、タッチパネル24又はキーボード26を介して第1表示デバイス25の表示に対応する各種入力操作を受け付ける。例えば、入力受付部116は、商品候補に対する選択操作に基づき、表示された商品候補の中から商品Gに該当する確定商品の選択操作を受け付ける。
情報入力部117は、入力受付部116が受け付けた操作内容に応じた情報を、接続インターフェース207を介して自装置に入力する。例えば、情報入力部117は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名等)を入力する。なお、情報入力部117は、タッチパネル24又はキーボード26を介して別途入力された販売個数を、商品ID等とともに入力するとしてもよい。
売上登録部118は、情報入力部117から入力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部118は、PLUファイルF1を参照して、通知された商品ID及び当該商品IDに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
次に、辞書登録に係る機能構成について説明する。
上述したように、POS端末10は、撮像部204により撮像した画像データから抽出した商品Gの特徴量と、辞書登録された特徴量との類似度に応じて、対象物の種別等を認識する一般物体認識を採用している。このような一般物体認識での認識精度は、辞書登録された特徴量の精度に依存する。係る特徴量は、認識時と同様に、登録対象の対象物を撮像した画像から抽出される。
ところで、対象物の撮像方法によっては、対象物以外の非対象物が一緒に撮像されてしまう場合がある。例えば、対象物を手で把持しながら撮像するような場合、当該対象物と一緒に手も撮像されることになる。また、対象物と一緒にその背景が撮像されることになる。このような場合、画像から抽出される特徴量には、対象物の特徴以外に非対象物の特徴も含まれることになる。しかしながら、非対象物の特徴を含む特徴量を照合用のデータとして使用すると、その非対象物の特徴が認識に影響することで認識精度が低下する可能性がある。
そこで、POS端末10では、PLUファイルF1への特徴量の登録に関し、画像に含まれた非対象物を取り除くことが可能な機能構成を備える。具体的には、POS端末10のCPU101は、HDD104に記憶されたプログラムを実行することにより、図4に示すように、背景登録部121、除外色域登録部122、色域除外部123、背景除外部124、特徴量抽出部125及び辞書登録部126を、辞書登録に係る機能部として備える。
図7は、図4に示した辞書登録に係る機能部間の関係を示す図である。なお、画像取込部111については、上述した売上登録に係る機能部と同様であるため説明を省略する。また、タッチパネル24又はキーボード26を介した操作については、上述した入力受付部116及び情報入力部117(図示せず)の機能を用いるものとする。
背景登録部121は、対象物を撮像する際の背景、つまり撮像部204による撮像範囲Rの背景を表した背景画像を、除外情報として背景記憶部1041に登録する。背景画像は、画像取込部111が取り込んだ画像を利用することできる。具体的には、読取窓22に対象物を翳さない状態で撮像した画像を背景画像として利用する。
除外色域登録部122は、除外の対象となる色域(除外色域)を、除外情報として除外色域記憶部1042に登録する。除外色域は、例えば、対象物を把持する手(手袋)の表面色や、対象物を支持する支持具の表面色等が挙げられる。なお、対象物を手で把持する場合には、その対象物と補色の関係にある色域の手袋を装着することが好ましい。このように、対象物と補色の関係にある色域の手袋を用いることで、対象物と非対象物(手袋)との切り分けが容易となる。
また、除外色域の指定方法は、特に問わないものとする。例えば、カラーチャートや色空間から指定する形態としてもよいし、RGB値等の入力により指定する形態としてもよい。また、画像取込部111が取り込んだ画像から、手等の非対象物を表す領域を指定することで、その領域に含まれる画素の色域を除外色域として指定する形態としてもよい。なお、画像取込部111が取り込んだ画像を用いる場合には、後述する背景除外部124で背景が除外された画像から除外色域を指定する形態としてもよい。除外色域登録部122は、表示・操作部23等を介して指定された除外色域を受け付けると、その除外色域を除外色域記憶部1042に登録する。
色域除外部123は、画像取込部111が取り込んだ画像から、除外色域記憶部1042に記憶された除外色域で表される領域を除外する。具体的には、公知のクロマキー処理等を実行することで、画像取込部111が取り込んだ画像を構成する各画素から、除外色域に該当する色情報を有する画素部分を除外する。除外の対象とする画素部分は、一画素単位であってもよいし、所定数(例えば10画素)以上の画素で構成される部分としてもよい。なお、本実施形態において「除外」とは、該当する領域を予め定められた色(例えば黒色)に置き換える等することで、後述する特徴量抽出部125での特徴量の抽出対象から除外するよう設定することを意味する。
背景除外部124は、背景記憶部1041に登録された背景画像を用いることで、画像取込部111が取り込んだ画像から背景に相当する領域(背景部分)を除外する。背景部分の除外方法は特に問わないものとする。一例としては、背景記憶部1041に登録された背景画像と、画像取込部111が取り込んだ画像との対応する各画素について、その画素値の排他的論理和を演算する。そして、背景画像の画素値と同値(或いは略同値)となった画素部分を画像取込部111が取り込んだ画像から除外する。これにより、画像中から背景部分を除外することができる。
なお、本実施形態では、色域除外部123で除外色域が除外された画像に対し、背景部分を除外する形態を説明するが、これに限らず、背景部分の除外を先に行う形態としてもよい。
特徴量抽出部125は、除外色域及び背景部分が除外された画像から特徴量を抽出する機能部である。具体的に、特徴量抽出部125は、画像に表された形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化した値を特徴量として抽出する。なお、特徴量抽出部125は、色域除外部123及び背景除外部124で除外するよう設定された画像中の領域(画像部分)については、特徴量の抽出対象から除外する。そのため、特徴量抽出部125が抽出する特徴量は、対象物の外観上の特徴を表したものに相当する。
辞書登録部126は、特徴量抽出部125が抽出した特徴量を、その商品の商品ID、商品分類、商品名、単価等の情報とともに、辞書であるPLUファイルF1に登録する。PLUファイルF1に登録された特徴量は、上述したように商品Gの特徴量と照合するための照合用データとして用いられる。なお、本実施形態では、特徴量とともに、商品ID、商品分類、商品名、単価等の他の情報を登録する形態としたが、他の情報については他のタイミングで登録する形態としてもよい。
以下、チェックアウトシステム1の動作について説明する。まず、図8を参照して、商品の辞書登録に係る背景登録処理について説明する。図8は、POS端末10が実行する背景登録処理の一例を示すフローチャートである。
POS端末10のCPU101は、第1表示デバイス25に表示された業務選択画面(図示せず)のメニューから「背景登録」が選択されるまで待機する(ステップS11;No)。「背景登録」が選択されると(ステップS11;Yes)、画像取込部111は、撮像部204に撮像オン信号を出力して撮像部204に撮像動作を開始させる(ステップS12)。次いで、CPU101は、画像取込部111が取り込んだ画像を第1表示デバイス25に表示させる(ステップS13)。
第1表示デバイス25に表示する画像は一であってもよいし複数であってもよい。例えば、画像取込部111が取り込んだ複数の画像を、並べて表示する形態としてもよい。オペレータは、タッチパネル24を介して、第1表示デバイス25に表示された画像の中から背景とする背景画像を指定する。
背景登録部121は、背景画像の指定を受け付けると(ステップS14)、その背景画像を背景記憶部1041に登録し(ステップS15)、本処理を終了する。
なお、本処理では、撮像部204が撮像した画像をリアルタイムで使用する形態を説明したが、これに限らないものとする。例えば、撮像部204で撮像された画像をHDD104等に記憶しておき、これらの画像中から背景画像を指定する形態としてもよい。
次に、図9を参照して、商品の辞書登録に係る除外色域登録処理について説明する。ここで、図9は、POS端末10が実行する除外色域登録処理の一例を示すフローチャートである。なお、本処理では、撮像部204が撮像した画像を用いて除外色域を指定する方法について説明する。
POS端末10のCPU101は、第1表示デバイス25に表示された業務選択画面(図示せず)のメニューから「除外色域登録」が選択されるまで待機する(ステップS21;No)。「除外色域登録」が選択されると(ステップS21;Yes)、画像取込部111は、撮像部204に撮像オン信号を出力して撮像部204に撮像動作を開始させる(ステップS22)。
商品読取装置20のオペレータは、商品Gを把持するための手袋や支持するための支持具等を撮像部204の撮像範囲に置くことで、撮像部204に撮像させる。なお、手袋や支持具には、所定の色(色域)が付されているものとする。
次いで、背景除外部124は、背景記憶部1041に記憶された背景画像を用いることで、画像取込部111が取り込んだ画像から背景部分を除外する(ステップS23)。続いて、CPU101は、ステップS23で背景部分が除外された画像を第1表示デバイス25に表示させる(ステップS24)。
POS端末10のオペレータは、タッチパネル13を介して、第1表示デバイス25に表示された画像の中から、手袋や支持具が表された部分(領域)を指定する。なお、第1表示デバイス25に表示する画像のうち、ステップS23で除外された背景部分については、除外色域の指定が不可能な状態で表示することが好ましい。例えば、ステップS23で除外された背景部分を、非表示としたり、他の画像(例えば白背景)に置き換えて表示してもよい。
除外色域登録部122は、画像中の領域が指定されると、その領域内の各画素が表す色域を除外色域として抽出する(ステップS25)。そして、除外色域登録部122は、除外色域を除外色域記憶部1042に登録し(ステップS26)、本処理を終了する。
なお、本処理では、撮像部204が撮像した画像を用いて除外色域を指定する形態を説明したが、これに限らず、カラーチャートや色空間から指定する形態としてもよい。また、本処理では、撮像部204が撮像した画像をリアルタイムで使用する形態を説明したが、これに限らないものとする。例えば、撮像部204で撮像された画像をHDD104等に記憶しておき、これらの画像を用いて除外色域を指定する形態としてもよい。また、本処理では、背景部分を除外した画像を用いて除外色域を指定する形態としたが、これに限らず、撮像部204が撮像したままの画像を用いて除外色域を指定する形態としてもよい。
次に、図10を参照して、辞書登録に係る辞書登録処理について説明する。ここで、図10は、POS端末10が実行する辞書登録処理の一例を示すフローチャートである。
POS端末10のCPU101は、第1表示デバイス12に表示された業務選択画面(図示せず)のメニューから「辞書登録」が選択されるまで待機する(ステップS31;No)。「辞書登録」が選択されると(ステップS31;Yes)、画像取込部111は、撮像部204に撮像オン信号を出力して撮像部204に撮像動作を開始させる(ステップS32)。
商品読取装置20のオペレータは、除外色域の登録時に用いた手袋や支持具等を用いて商品Gを把持又は支持し、撮像部204に向けることで商品Gの撮像を行う。
画像取込部111が画像を取り込むと、色域除外部123は、その画像から除外色域記憶部1042に登録された色域(除外色域)を除外する(ステップS33)。続いて、背景除外部124は、背景記憶部1041に登録された背景画像を用いることで、ステップS33で生成された画像から背景部分を除外する(ステップS34)。次いで、特徴量抽出部125は、ステップS34で生成された画像から特徴量を抽出する(ステップS35)。
そして、辞書登録部126は、ステップS35で抽出された特徴量を、対応する商品の情報とともに、PLUファイルF1に登録し(ステップS36)、本処理を終了する。
なお、本処理では、撮像部204が撮像した画像を用いて、自動的に特徴量を抽出する形態としたが、これに限らないものとする。例えば、撮像部204が撮像した画像を第1表示デバイス12に表示し、使用する画像をオペレータに選択させる形態としてもよい。また、本処理では、撮像部204が撮像した画像をリアルタイムで使用する形態を説明したが、これに限らないものとする。例えば、撮像部204が撮像した画像をHDD104等に記憶しておき、これらの画像から使用する画像を選択する形態としてもよい。
次に、図11を参照して、商品の売上登録に係る売上登録処理について説明する。ここで、図11は、POS端末10が実行する売上登録処理の一例を示すフローチャートである。
POS端末10のCPU101は、第1表示デバイス12に表示された業務選択画面(図示せず)のメニューから「売上登録」が選択されるまで待機する(ステップS41;No)。「売上登録」が選択されると(ステップS41;Yes)、画像取込部111は、撮像部204に撮像オン信号を出力して撮像部204に撮像動作を開始させる(ステップS42)。これに伴い、画像取込部111は、撮像部204が撮像してRAM203に保存された画像を取り込む(ステップS43)。
次いで、商品検出部112は、ステップS43で取り込まれた画像から商品Gの全部又は一部の検出を行う(ステップS44)。ステップS44において、商品Gが検出されない場合には(ステップS44;No)、ステップS43に戻る。商品Gが検出された場合には(ステップS44;Yes)、類似度判定部114は、ステップS43で取り込まれた撮像画像から、ステップS44で検出された商品Gの特徴量を抽出する(ステップS45)。
次いで、類似度判定部114は、ステップS45で抽出された特徴量と、PLUファイルF1に登録された各商品の特徴量とを比較し、その類似度をそれぞれ算出する(ステップS46)。類似度判定部114は、算出した類似度のうち、その値が所定の閾値以上の登録商品が存在するか否かを判定する(ステップS47)。閾値以上の登録商品が存在しない場合(ステップS47;No)、ステップS43に戻る。また、閾値以上の登録商品が存在する場合(ステップS47;Yes)、類似度判定部114は、その登録商品(商品ID)を商品候補として認識する。
商品提示部115は、ステップS47で認識された商品候補を第1表示デバイス25に表示する(ステップS48)。続いて、入力受付部116は、タッチパネル24又はキーボード26を介して、確定商品の選択を受け付けたか否かを判定する(ステップS49)。確定商品の選択操作を受け付けない場合(ステップS49;No)、ステップS43に戻る。
また、ステップS49において、確定商品の選択操作を受け付けると(ステップS49;Yes)、情報入力部117は、その商品の商品ID等の情報を、POS端末10に入力し(ステップS50)、ステップS51に移行する。タッチパネル24又はキーボード26を介して販売個数が別途入力された場合には、ステップS50において、確定商品を示す情報とともに、その販売個数をPOS端末10に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“1”を出力する形態としてもよい。
次いで、売上登録部118は、ステップS49で入力された商品ID及び販売個数に基づいて、PLUファイルF1から商品種別や単価等の商品情報を読み出し、売上マスタファイルに登録する(ステップS51)。
続いて、CPU101は、キーボード11の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS52)。業務を継続する場合(ステップS52;No)、CPU101は、ステップS43へ戻り処理を継続させる。業務を終了する場合(ステップS52;Yes)、画像取込部111は、撮像部204に撮像オフ信号を出力することで、撮像部204による撮像を終了させ(ステップS53)、本処理を終了する。
以上のように、本実施形態のチェックアウトシステム1によれば、撮像部204で撮像された画像から非対象物を除外した後、当該画像から特徴量を抽出する。これにより、画像中から対象物の特徴量を精度よく抽出することができるため、当該対象物の照合用データを精度よく生成することができる。また、本実施形態のチェックアウトシステム1によれば、非対象物を除外した画像から抽出される特徴量を、照合用データとしてPLUファイルF1に辞書登録する。これにより、非対象物による影響を抑えることができるため、商品Gの認識精度の向上を図ることができる。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、POS端末10がPLUファイルF1を備える形態としたが、これに限らず、商品読取装置20がPLUファイルF1を備える形態としてもよいし、POS端末10及び商品読取装置20がアクセス可能な外部装置がPLUファイルF1を備える形態としてもよい。
また、上記実施形態では、画像から背景部分と除外色域との両方を除外する形態としたが、これに限らず、何れか一方を除外する形態としてもよい。また、上記実施形態では、背景部分及び除外色域の除外を辞書登録時に行う形態としたが、これに限らず、売上登録処理時に行う形態としてもよい。具体的には、認識の対象となる商品Gを撮像した画像に対し、背景部分及び除外色域の除外を行った後、特徴量を抽出する形態としてもよい。
また、上記実施形態では、非対象物の特徴を表す除外情報として、背景画像と色域とを登録する形態としたが、除外情報はこれらに限定されないものとする。例えば、他の特徴として非対象物の形状等を除外情報として登録する形態としてもよい。なお、この形態を採用する場合には、画像中から非対象物の形状に該当する領域を除外することが可能な除外手段を更に備えるものとする。
また、上記実施形態では、背景登録部121、除外色域登録部122、色域除外部123、背景除外部124、特徴量抽出部125、辞書登録部126の機能を有する情報処理装置としてPOS端末10を適用したが、これに限らないものとする。例えば、背景登録部121、除外色域登録部122、色域除外部123、背景除外部124、特徴量抽出部125、辞書登録部126の機能を備えて、登録対象の特徴量をPOS端末10に出力する情報処理装置として商品読取装置20を適用してもよい。また、上記実施形態では、照合用データを特徴量としたが、背景部分及び除外色域を除外設定した画像自体を照合用データとして辞書登録してもよい。
また、上記実施形態では、店舗システムとしてPOS端末10と商品読取装置20とで構成されるチェックアウトシステム1を適用したがこれに限るものではなく、POS端末10及び商品読取装置20の機能を備えた1台構成の装置に適用するようにしてもよい。POS端末10及び商品読取装置20の機能を備えた1台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置(以降、単にセルフPOSと称する)が挙げられる。
図12はセルフPOS70の構成を示す外観斜視図、図13はセルフPOS70のハードウェア構成を示すブロック図である。なお、以下では、図1及び図2に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図11及び図12に示すように、セルフPOS70の本体71には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器72が設けられている。また、本体71は、タッチパネル24が表面に配設された第1表示デバイス25や、商品の種別等を認識(検出)するための商品読取部210を備えている。
第1表示デバイス25としては例えば液晶表示器が用いられる。第1表示デバイス25は、客にセルフPOS70の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部210で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
商品読取部210は、客が商品を商品読取部210の読取窓22にかざすことで、当該商品を表す画像を撮像部204により読み取るものである。
本体71の右側には、かごに入った未精算の商品を置くための商品載置台73が設けられる。また、本体71の左側には、精算済みの商品を置くための商品載置台74が設けられる。商品載置台74には、精算済みの商品を入れるための袋を掛けるための袋掛けフック75や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台76が設けられている。また、商品載置台73、74には計量器77、78がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。
このような構成のセルフPOS70を店舗システムに適用した場合、セルフPOS70が情報処理装置として機能することになる。
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。