JP5483629B2 - 情報処理装置、店舗システム及びプログラム - Google Patents

情報処理装置、店舗システム及びプログラム Download PDF

Info

Publication number
JP5483629B2
JP5483629B2 JP2012044238A JP2012044238A JP5483629B2 JP 5483629 B2 JP5483629 B2 JP 5483629B2 JP 2012044238 A JP2012044238 A JP 2012044238A JP 2012044238 A JP2012044238 A JP 2012044238A JP 5483629 B2 JP5483629 B2 JP 5483629B2
Authority
JP
Japan
Prior art keywords
product
reference value
registered
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012044238A
Other languages
English (en)
Other versions
JP2013182326A (ja
Inventor
広志 菅澤
仁志 飯坂
英浩 内藤
Original Assignee
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝テック株式会社 filed Critical 東芝テック株式会社
Priority to JP2012044238A priority Critical patent/JP5483629B2/ja
Publication of JP2013182326A publication Critical patent/JP2013182326A/ja
Application granted granted Critical
Publication of JP5483629B2 publication Critical patent/JP5483629B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3233Determination of region of interest
    • G06K9/3241Recognising objects as potential recognition candidates based on visual cues, e.g. shape
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader

Description

本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。

従来、対象となる物品(オブジェクト)をイメージセンサデバイスにより撮像した画像データから当該対象物品の特徴量を抽出し、予め用意された辞書における照合用のデータ(特徴量)と比較して類似度を算出し、算出した類似度に応じて当該物品の種別等を認識(検出)する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、オブジェクト認識された商品を売上登録する店舗システムが提案されている。

一般に、フレーム画像から輪郭線等を抽出するパターンマッチング技術等を用いる場合、背景フレーム画像との差分をとってフレーム画像に含まれるオブジェクト認識対象となる物品(オブジェクト)を抽出してオブジェクト認識処理を開始させている。

しかしながら、例えば、茄子等の色が濃い物体をオブジェクト認識対象とする際には、色の属性(例えば、明度)の差がつきにくく背景フレーム画像との差分が小さい為に、オブジェクト認識処理を開始できない場合がある。

また、オブジェクト認識処理を開始できた場合であっても、背景フレーム画像との差分が小さい為に誤認識されてしまう場合もある。例えば、暗い状態で判断すると、茄子以外の物体が茄子として認識されてしまうことがある。

実施形態の情報処理装置は、撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、取り込んだ前記フレーム画像の色の属性が所定の基準値を超えていない場合に、前記基準値を下げる基準値変更手段と、取り込んだ前記フレーム画像の色の属性が前記基準値を超えている場合に、当該フレーム画像に含まれる前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していない場合、または、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していて色の濃いものである場合、当該登録商品の候補を前記物体に対応する前記登録商品として確定する確定手段と、を備える。

実施形態の店舗システムは、撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、取り込んだ前記フレーム画像の色の属性が所定の基準値を超えていない場合に、前記基準値を下げる基準値変更手段と、取り込んだ前記フレーム画像の色の属性が前記基準値を超えている場合に、当該フレーム画像に含まれる前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していない場合、または、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していて色の濃いものである場合、当該登録商品の候補を前記物体に対応する前記登録商品として確定する確定手段と、確定した前記登録商品を、売上登録処理する売上登録処理手段と、を備える。

実施形態のプログラムは、コンピュータを、撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、取り込んだ前記フレーム画像の色の属性が所定の基準値を超えていない場合に、前記基準値を下げる基準値変更手段と、取り込んだ前記フレーム画像の色の属性が前記基準値を超えている場合に、当該フレーム画像に含まれる前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していない場合、または、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していて色の濃いものである場合、当該登録商品の候補を前記物体に対応する前記登録商品として確定する確定手段と、として機能させる。

図1は、実施形態に係るチェックアウトシステム(店舗システム)の一例を示す斜視図である。 図2は、POS端末及び商品読取装置のハードウェア構成を示すブロック図である。 図3は、PLUファイルのデータ構成を例示する概念図である。 図4は、POS端末及び商品読取装置の機能構成を示すブロック図である。 図5は、画像取込部によって取り込まれたフレーム画像の一例を示す図である。 図6は、確定画面の一例を示す図である。 図7は、確認画面の一例を示す図である。 図8は、商品候補のイラスト画像が表示された画面例を示す図である。 図9は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。 図10は、POS端末が実行する売上登録処理の手順を示すフローチャートである。 図11は、セルフPOSの構成を示す外観斜視図である。 図12は、セルフPOSのハードウェア構成を示すブロック図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置、店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図1は、チェックアウトシステム1の一例を示す斜視図である。図1に示すように、チェックアウトシステム1は、商品に関する情報を読み取る商品読取装置101と、一取引に係る商品の登録、精算を行うPOS端末11とを備える。以下では、商品読取装置101を本実施形態にかかる情報処理装置として適用する例について説明する。

POS端末11は、チェックアウト台41上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転可能に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。

POS端末11が載置されているチェックアウト台41とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受け面152が形成されている。荷受け面152には、商品Gを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に載置される第2の買物カゴ153bとに分けて考えることができる。なお、買物カゴ153は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ153(第2の買物カゴ153b)は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台151の荷受け面152には、POS端末11とデータ送受信可能に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。

このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部164(図2参照)を配置している。

顧客によって持ち込まれた第1の買物カゴ153aには、一取引に係る商品Gが収納されている。第1の買物カゴ153a内の商品Gは、商品読取装置101を操作するオペレータにより第2の買物カゴ153bに移動される。この移動過程で、商品Gが商品読取装置101の読取窓103に向けられる。この際、読取窓103内に配置された撮像部164(図2参照)は商品Gを撮像する。

商品読取装置101では、撮像部164により撮像された画像に含まれる商品Gが、後述するPLUファイルF1(図3参照)に登録されたどの商品に対応するかを指定させるための画面を表示・操作部104に表示し、指定された商品の商品IDをPOS端末11に通知する。POS端末11では、商品読取装置101から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル(図示しない)等に記録して売上登録を行う。

図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。

POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。

キーボード22は、「1」、「2」、「3」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。

POS端末11のCPU61には、HDD(Hard Disk Drive)64が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により実行される。HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1である。

PLUファイルF1は、店舗に陳列して販売する商品Gの各々について、商品Gの売上登録にかかる情報と、その商品Gの画像との関連付けが設定された商品ファイルである。

図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、商品Gごとに、ユニークに割り当てられた商品ID、商品Gが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像(基準画像)と、その商品を示すイラスト画像とを、その商品Gの商品情報として格納するファイルである。尚、商品画像は、類似度の判定に用いられる商品の撮像画像(写真)である。なお、PLUファイルF1は、後述する接続インターフェース65を介し、商品読取装置101が読み出し可能に構成されている。

また、図3に示すように、PLUファイルF1は、商品Gごとに濃度フラグが対応付けられて記憶している。濃度フラグは、色が濃い商品については“1”、色が濃くない商品については“0”となっている。

なお、PLUファイルF1のデータ構成は図3の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等の特徴量を、各商品について格納する形態としてもよい。

図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。

さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシート等に印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像部164、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介して、商品読取部110及びPOS端末11に接続されている。表示・操作部104は、商品読取部110のCPU161、POS端末11のCPU61によって動作が制御される。

撮像部164は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等のイメージセンサ(図示せず)とLEDなどの光源(図示せず)とを有しており、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像(撮像画像)はRAM163に保存される。

音声出力部165は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部165は、CPU161の制御の下で警告音や音声による報知を行う。

さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。また、CPU161は、接続インターフェース175を介して、表示・操作部104との間でデータ送受信を行う。

次に、CPU161、CPU61がプログラムを実行することで実現されるCPU161、CPU61の機能構成について、図4を参照して説明する。

図4は、POS端末11及び商品読取装置101の機能構成を示すブロック図である。図4に示すように、商品読取装置101のCPU161は、ROM162が格納するプログラムを実行することにより、背景取込手段および取込手段である画像取込部51、検出手段である商品検出部52、類似度算出手段である類似度算出部53、商品候補抽出手段である類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、情報出力部58、基準値変更手段である基準値変更部59、確定手段である確定部50としての機能を備える。また、同様に、POS端末11のCPU61は、プログラムPRを実行することにより、売上登録部611としての機能を備える。

画像取込部51は、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。画像取込部51は、撮像動作開始後に撮像部164が撮像してRAM163に保存されたフレーム画像を順次取り込む。画像取込部51によるフレーム画像の取り込みは、RAM163に保存された順に行われる。

図5は、画像取込部51によって取り込まれたフレーム画像の一例を示す図である。図5に示すように、オペレータが読取窓103に商品Gをかざすと、撮像部164の読取領域Rには商品Gの全部または一部が撮影される。

ところで、撮像部164の光源の近く、すなわち読取窓103の近くに商品G(オブジェクト)が位置していない場合、撮像部164による撮影画像は明度0かそれに近い状態となる。そして、読取窓103に認識させたい商品G(オブジェクト)を近づけることにより、光源からの光が商品G(オブジェクト)に反射するので撮像部164による撮影画像の明度が明るく変化する。

画像取込部51は、このような明度変化(色の属性の変化)を検知し、明度が所定の基準値を超えた場合に、オブジェクト認識処理を実行するオブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、基準値変更部59、確定部50)を起動させる。これにより、後述するオブジェクト認識処理が不要の際のCPU負荷を抑制することができる。

なお、商品読取装置101の設置環境によっては、商品G(オブジェクト)がない状態での撮影画像にはばらつきが生じることがある。そこで、不要な外乱による影響による不要なオブジェクト認識処理によりCPU負荷を増やすことの無いように、オブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、基準値変更部59、確定部50)を動作させる明度の基準値を制御・設定する必要がある。

なお、色の属性としては、色の明るさを表す明度の他に、色味の強さを表す彩度を用いるようにしてもよい。なお、オブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、基準値変更部59、確定部50)起動のための判断は、複数の色の属性に基づいて、基準値を超えたか否かの判定を行っても良い。

基準値変更部59は、画像取込部51が検知したフレーム画像の色の属性(明度)が所定の基準値を超えていない場合に、基準値を所定値だけ下げる処理を実行する。

商品検出部52は、画像取込部51により取り込まれたフレーム画像に含まれる商品Gの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を2値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較した差分に基づいて、売上登録のために読取窓103に向けられた商品を検出する。

なお、前回のフレーム画像とは、例えば、オブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、基準値変更部59、確定部50)を起動させる前、すなわちオブジェクト認識処理の起動前に、画像取込部51によって取り込まれた背景のフレーム画像である。このようなオブジェクト認識アプリケーション起動前に前回のフレーム画像として背景のフレーム画像を自動的に取得することは、背景が比較的余り変わらない環境の場合(例えば、撮像部164がカウンタ台151上面の荷受け面152に向けて鉛直下向き方向を読取方向として取り付けられている場合など)での利用に有用である。なお、環境には、照明(周囲と商品読取装置101自体の照明)の状態と、利用者の服装などが含まれる。

また、前回のフレーム画像として、前回のオブジェクト認識処理の実行直後に、画像取込部51によって取り込まれた背景のフレーム画像を用いるようにしても良い。このようにすることは、背景が比較的変わりやすい環境や、セルフレジなどのようにお客様の服装や商品読取装置101との距離などがさまざまに変わることが予測されるような場合での利用に有用である。

さらに、利用者が任意のタイミングで前回のフレーム画像を背景として取得するようにしても良い。任意のタイミングで前回のフレーム画像を背景として取得するケースとしては、様々な場合が考えられるが、例えば辞書であるPLUファイルF1の作成時などに有効である。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度算出部53は、撮像部164により撮像された商品Gの全部または一部の画像から、商品Gの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部53は、処理時間の短縮を図るため、商品Gの輪郭や大きさは考慮しないものとする。

また、類似度算出部53は、PLUファイルF1に登録された各商品(以下、登録商品という)の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Gの特徴量とそれぞれ比較することで、商品GとPLUファイルF1に登録された商品との類似度を算出する。ここで、類似度は、PLUファイルF1に記憶されている各商品の商品画像を100%=「類似度:1.0」とした場合に、商品Gの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Gの画像と、PLUファイルF1に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Gの画像と、PLUファイルF1に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Gの画像と、PLUファイルF1に登録された各登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、PLUファイルF1に5つの登録商品(商品GA、GB、GC、GD、GE)が登録されていたとすると、撮像された商品Gは、商品GAに対して類似度が0.6、商品GBに対しては類似度が0.1、商品GCに対しては類似度が0.1、商品GDに対しては類似度が0.1、商品GEに対しては類似度が0.1等、各登録商品との類似度の総和が1.0(100%)となるよう算出すればよい。

類似度判定部54は、画像取込部51が取り込んだフレーム画像ごとに、商品Gの画像と、PLUファイルF1に登録されている商品画像との類似度を比較する。本実施形態では、登録商品の商品画像と商品Gの画像との類似度について複数の条件が段階的に設けられており、類似度判定部54は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件a〜cを用いる場合について説明する。

ここで、条件aおよび条件bは、本実施形態に係る第1の条件であり、撮像部164が撮像した商品GをPLUファイルF1に登録された登録商品のうち一の商品として確定するための条件である。また、条件cは、本実施形態に係る第2の条件であり、PLUファイルF1に登録された登録商品から、撮像部164が撮像した商品Gの候補を抽出するための条件である。

類似度判定部54は、条件aまたは条件bを満たす登録商品を、撮像部164が撮像した商品Gに一対一で対応する商品(以下、確定商品という)であると判定(確定)する。また、類似度判定部54は、条件cを満たす登録商品については、確定商品ではなく、撮像部164が撮像した商品Gの候補(以下、商品候補という)であると判定する。そして、PLUファイルF1に登録された複数の登録商品から条件cを満たす登録商品を抽出することにより、商品Gに対する商品候補を抽出する。

条件a〜cは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件a〜cを設けることができる。ここでは、第1閾値〜第3閾値によって条件a〜cを設定する場合について説明する。なお、第1〜3閾値の大小関係は、第1閾値>第2閾値>第3閾値とする。

類似度判定部54は、登録商品との類似度が予め定められた第1閾値(例えば90%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件aが満たされたと判定する。尚、第1閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を1回として条件aを判定してもよい。

また、類似度判定部54は、登録商品との類似度が第1閾値(例えば90%)未満、かつ、第1閾値より小さい第2閾値(例えば75%)以上となった場合に条件bが満たされたと判定する。そして、条件bを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第1閾値(例えば90%)未満、かつ、第1閾値より小さい第2閾値(例えば75%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件bが満たされたと判定してもよい。

さらに、類似度判定部54は、登録商品との類似度が第2閾値(例えば75%)未満、かつ、第2閾値より小さい第3閾値(例えば10%)以上である場合に、条件cが満たされたと判定する。なお、さらには登録商品との類似度が第2閾値(例えば75%)未満、かつ、第2閾値より小さい第3閾値(例えば10%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件cが満たされたと判定してもよい。

なお、各条件a〜cは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件a〜cの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。

確定部50は、条件aまたは条件bを満たした登録商品の候補、または条件cを満たした登録商品の候補が複数の場合は選択された一の登録商品の候補について基準値変更部59による基準値を下げる処理を実行していない場合、または、当該登録商品の候補について基準値変更部59による基準値を下げる処理を実行していて色の濃いものである場合、当該登録商品の候補を物体に対応する登録商品として確定する。

確定報知部55は、撮像部164によって撮像された商品が、条件aまたは条件bを満たした登録商品であるとして確定部50により一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。

より詳細には、確定報知部55は、条件aを満たした登録商品が、撮像部164によって撮像された商品(確定商品)として確定部50により一意的に確定されたことを示す確定画面71(図6参照)を表示デバイス106に表示させる。

図6は、確定画面71の一例を示す図である。条件aを満たす登録商品があった場合に、確定報知部55は読取領域R(図5参照)の撮像画像の表示を停止し、確定商品に対応するイラスト画像G1および商品名「にんじん」をPLUファイルF1から読み出して、確定画面71に表示する。また、確定報知部55は、PLUファイルF1から読み出した確定商品の商品名、商品価格(単価)を、商品名表示領域81、価格表示領域82にそれぞれ表示する。尚、確定報知部55は、イラスト画像G1の代わりに、PLUファイルF1から読み出した商品画像(写真)を表示してもよい。

また、確定報知部55は、この確定画面71の表示のタイミングに合わせて、オブジェクト認識が十分な信頼性を持つ状態で確定したとして、従来のバーコード読み取りと同等の音声を鳴動させることで、認識が正常終了しデータが確定したことを知らせる。

また、確定報知部55は、この確定画面71の表示のタイミングに合わせて、PLUファイルF1から読み出した商品名等、確定商品に関する情報を音声出力部165に出力する。音声出力部165は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。

また、確定報知部55は、条件bを満たした登録商品(確定商品)が、撮像部164によって撮像された商品Gであるか否かの最終確認操作を受付ける確認画面72(図7参照)を表示デバイス106に表示させる。

図7は、確認画面72の一例を示す図である。条件bを満たす登録商品があった場合に、確定報知部55は確定商品に対応するイラスト画像G1をPLUファイルF1から読み出して、確認画面72に表示する。また、確定報知部55は、PLUファイルF1から読み出した確定商品の商品名を用いて、読み取られた商品Gがイラスト画像G1の商品であるか否かを問うメッセージを「にんじんですか?」等と表示する。また、確認画面72には、「はい/いいえ」等のボタンがタッチパネル105に対するタッチ操作によって選択操作可能に設けられる。

このように、確認画面72においては、類似度判定の結果、1つの商品Gに対して唯一に選別された登録商品(確定商品)の商品名や商品画像が示され、商品Gと登録商品とが一対一の関係を持って表示される。従って、確認画面72は、条件bを満たす登録商品が撮像部164によって撮像された商品Gを登録商品の候補として報知する画面である。

本実施形態では、このように撮像された商品が登録商品の候補として抽出された場合に、撮像画像に替えて確定商品のイラスト画像を表示する。従って、オペレータは登録商品の候補として抽出された商品がどの商品であるかを一目で認識することができる。

なお、確定報知部55は、確認画面72が表示されるタイミングに合わせて、確定商品に関する情報および確認を促す情報を音声出力部165に音声出力させるとしてもよいし、確認画面72では音声出力を行わないとしてもよい。確定画面71、確認画面72における音声出力の有無は、適宜設定可能である。

商品候補提示部56は、条件cを満たした登録商品に関する情報を、商品候補として表示デバイス106に表示させる。より詳細には、商品候補提示部56は、条件cを満たした登録商品のイラスト画像および商品名をPLUファイルF1から読み出し、類似度算出部53が算出した類似度の高いものから、表示デバイス106に順次出力する。表示デバイス106は、商品候補提示領域83(図8参照)において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。

図8は、商品候補のイラスト画像G1、G2、G3が表示された画面例を示す図である。図8に示すように、商品候補提示領域83には、類似度の高い登録商品から順に、商品候補のイラスト画像G1、G2、G3および各商品名が表示される。これらイラスト画像G1、G2、G3はタッチパネル105に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域83の下部には、商品リストから商品を選択するための選択ボタン84が設けられており、商品リストから選択された商品は上述した確定商品として処理される。尚、図8では、イラスト画像G1〜G3に対応する3つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に替えて商品画像(写真)を表示してもよい。

なお、表示デバイス106に商品候補のイラスト画像G1〜G3が表示されていても、これら商品候補に対する選択操作を受付けない場合には、画像取込部51による画像取込処理、商品検出部52による検出処理、および類似度算出部53による類似度算出処理は継続される。従って、商品候補が選択されない間は、表示デバイス106の画面に読取領域Rの撮像画像が表示される。

入力受付部57は、タッチパネル105またはキーボード107を介して表示デバイス106の表示に対応する各種入力操作を受付ける。例えば入力受付部57は、確認画面72(図7参照)に対する選択操作に基づいて、表示されたイラスト画像G1の商品が確定商品であることを最終確認した旨の入力操作(確認操作)を受付ける。尚、確定報知部55は、入力受付部57が確認操作を受付けた場合に、上述の確定画面71を表示デバイス106に表示する。

入力受付部57は、表示デバイス106に表示された商品候補のイラスト画像G1〜G3(図8参照)の中からいずれか1つのイラスト画像に対する選択操作を受付ける。入力受付部57は、選択されたイラスト画像の登録商品を、商品Gに対する確定商品であるとして受付ける。尚、商品検出部52が複数の商品Gを検出可能である場合には、入力受付部57は商品候補の中から、複数の商品候補の選択操作を受付けてもよい。尚、確定報知部55は、入力受付部57が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面71を表示デバイス106に表示させる。

情報出力部58は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名等)を、接続インターフェース175を介してPOS端末11に出力する。

尚、情報出力部58は、タッチパネル105又はキーボード107を介して別途入力された販売個数を、商品ID等とともにPOS端末11に出力するとしてもよい。また、情報出力部58がPOS端末11に出力する情報としては、情報出力部58がPLUファイルF1から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、または、商品画像、イラスト画像のファイル名を通知してもよいし、その商品IDの格納場所(PLUファイルF1での格納アドレス)をPOS端末11に通知してもよい。

POS端末11の売上登録部611は、情報出力部58から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部611は、PLUファイルF1を参照して、通知された商品ID及び当該商品IDに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

なお、商品読取装置101は、商品に関する情報としてバーコードや二次元コードなどのコードシンボルを光学的に読み取る周知のコードシンボル読取部(図示せず)も備えている。商品読取装置101は、コードシンボル読取部でコードシンボルを読み取って得られた番号である商品IDをPOS端末11に送信する。商品読取装置101は、前述したような商品読取部110によるオブジェクト認識処理によって商品に関する情報を読み取るオブジェクト認識処理モードと、コードシンボル読取部によるコードシンボル読取処理によって商品に関する情報を読み取るコードシンボル読取モードと、をキーボード107のキー操作などによって切り替えることができる。

商品読取装置101がコードシンボル読取モードに設定されている場合のチェックアウトシステム1の動作について簡単に説明する。商品読取装置101がコードシンボル読取モードに設定されている場合、POS端末11は、コードシンボル読取部においてコードシンボルを読み取って得られた番号がPLUファイルF1に記憶された商品IDと一致する場合に、その旨を示す信号および当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を商品読取装置101に送信する。一方、商品読取装置101は、商品IDと一致した旨を示す信号および当該商品IDに対応する商品の売上登録に係る情報を受信すると、例えば短いブザー音の鳴動による“ピッ”という報知音を発するとともに、売上登録に係る情報を表示デバイス106に表示する。

POS端末11は、商品読取装置101から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報をPLUファイルF1から取得し、売上マスタファイル(図示せず)等に記録して売上登録を行う。

次に、オブジェクト認識処理モードにおけるチェックアウトシステム1の動作について詳細に説明する。先ず、商品読取装置101の動作について説明する。図9は、商品読取装置101が実行する商品識別処理の手順を示すフローチャートである。図9では、第1閾値を類似度90%(0.90)、第2閾値を類似度75%(0.75)、第3閾値を類似度10%(0.10)と設定した場合について説明するが、各閾値はこれらに限定されるものではない。

POS端末11による商品登録の開始等に応じて処理が開始されると、画像取込部51は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始し(ステップS11)、撮像部164が撮像してRAM163に保存された背景画像データを取り込む(ステップS12)。

このようにオブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、基準値変更部59、確定部50)を起動させる前に、背景のフレーム画像を取得することで、現時点における照明(周囲と商品読取装置101自体の照明)の状態や利用者の服装などを含む背景を取得することができる。

次いで、画像取込部51は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS13)。

次いで、画像取込部51は、画像取込部51が取り込んだフレーム画像の色の属性(例えば、明度)を取得し(ステップS14)、色の属性(例えば、明度)が所定の基準値を超えている場合には(ステップS15:Yes)、売上登録のために読取窓103に商品Gが向けられたとして、オブジェクト認識処理を実行するオブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、基準値変更部59、確定部50)を起動させ(ステップS16)、ステップS17に進む。

一方、画像取込部51は、画像取込部51が取り込んだフレーム画像の色の属性(例えば、明度)を取得し(ステップS14)、色の属性(例えば、明度)が所定の基準値を超えていない場合には(ステップS15:No)、基準値変更部59は、色の属性(例えば、明度)の基準値を下げ(ステップS18)、ステップS13に戻る。

上述のように色の属性(例えば、明度)の基準値を下げることにより、通常の基準値ではオブジェクト認識処理を開始させる背景のフレーム画像との差分が得られない場合であっても、オブジェクト認識処理を開始させる背景のフレーム画像との差分を得やすくすることができる。

例えば、色が濃いために色の属性(例えば、明度)の差がつきにくく背景フレーム画像との差分が小さな茄子等の物体をオブジェクト認識対象とする際には、基準値変更部59による基準値を下げる処理を行うことでオブジェクト認識処理が開始できるようになる。

なお、色の属性(例えば、明度)の基準値を下げるのみならず、商品読取装置101の撮像部164のLEDなどの光源の「全光束(ルーメン)」「光度(カンデラ)」「照度(ルクス)」「明るさ感」などが明るくなるように制御するようにしても良い。

なお、このように基準値を変化させた場合には、色の属性(例えば、明度)が基準値を超えていると判断した(ステップS15:Yes)ことをトリガーにして、元の基準値に戻すようにすれば良い。

オブジェクト認識エンジンが起動すると、商品検出部52は、背景のフレーム画像と画像取込部51が取り込んだフレーム画像との差分に基づいて、画像取込部51が取り込んだフレーム画像から商品Gの全部または一部の検出を行う(ステップS17)。

ここで、画像取込部51が取り込んだフレーム画像から商品Gの全部または一部の検出ができなかった場合には(ステップS17:No)、データ無しとして、色の属性(例えば、明度)の基準値を下げ(ステップS18)、ステップS13に戻る。

一方、画像取込部51が取り込んだフレーム画像から商品Gの全部または一部の検出ができた場合には(ステップS17:Yes)、類似度算出部53は、商品Gの全部または一部の画像から商品Gの特徴量を読み取り、PLUファイルF1に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する(ステップS19)。

類似度判定部54は、類似度が90%以上となる登録商品があるか否かを判定する(ステップS20)。90%以上となる登録商品が無い場合(ステップS20:No)には、ステップS22に移行する。90%以上となる登録商品がある場合(ステップS20:Yes)には、同一の登録商品に対する類似度が90%以上となった回数が所定回数(例えば、3回)となったか否かを判定する(ステップS21)。所定回数に満たない場合(ステップS21:No)は、ステップS12に戻り、画像取込部51は撮像部164により撮像された新たなフレーム画像を取り込む。

所定回数となった場合(ステップS21:Yes)には、確定部50は、ステップS18における色の属性(例えば、明度)の基準値を下げる処理が実行されているか否かを判断する(ステップS28)。

ステップS18における色の属性(例えば、明度)の基準値を下げる処理が実行されていない場合には(ステップS28:No)、確定部50は通常のオブジェクト認識処理と判断する。そして、確定報知部55は、確定商品のイラスト画像を含む確定画面71(図6参照)を表示させるとともに、商品が確定された旨を第1音声および確定商品の商品名を音声通知することにより確定商品を報知する(ステップS30)。第1音声は、商品読取装置101がコードシンボル読取モードに設定されている場合における、例えば短いブザー音の鳴動による“ピッ”という商品IDと一致した旨を示す報知音に類する音である。このようにコードシンボル読取モード時における商品IDと一致した旨を示す報知音に類する音とすることで、長年の慣習から確定したことが分かりやすくなっている。なお、コードシンボル読取モードを有さずに、オブジェクト認識処理モードのみの場合であっても、第1音声は、商品読取装置101がコードシンボル読取モードに設定されている場合における、例えば“ピッ”という商品IDと一致した旨を示す報知音に類する音としたほうが良い。

また、情報出力部58は、確定商品とされた登録商品の商品ID等を、キーボード107を介して別途入力された販売個数とともにPOS端末11に出力し(ステップS31)、その後はステップS32の処理に移行する。

一方、ステップS18における色の属性(例えば、明度)の基準値を下げる処理が実行されている場合には(ステップS28:Yes)、確定部50は、確定商品とされた登録商品の商品IDに対応付けてPLUファイルF1に登録されている濃度フラグが“1”であるか否かを判断する(ステップS29)。

確定商品とされた登録商品の商品IDに対応付けてPLUファイルF1に登録されている濃度フラグが“1”である場合には(ステップS29:Yes)、確定部50は、色が濃い商品として登録されているので、正しくオブジェクト認識処理が実行されたと判断する。そして、確定報知部55は、確定商品のイラスト画像を含む確定画面71(図6参照)を表示させるとともに、商品が確定された旨を第1音声および確定商品の商品名を音声通知することにより確定商品を報知する(ステップS30)。

一方、確定商品とされた登録商品の商品IDに対応付けてPLUファイルF1に登録されている濃度フラグが“0”である場合には(ステップS29:No)、色が濃い商品としては登録されておらず、ステップS18における色の属性(例えば、明度)の基準値を下げる処理が実行される商品ではないので、確定部50は、誤認識の可能性があると判断して、ステップS12に戻る。

ステップS20:Noの場合に、類似度判定部54は、類似度が75%以上90%未満となる登録商品があるか否かを判定する(ステップS22)。類似度がこの範囲内となる登録商品がある場合(ステップS22:Yes)には、その登録商品をオペレータの確認を要する確定商品であると判定し、表示デバイス106に確認画面72を表示させるとともに、商品に関する情報および確認を促す情報を音声通知する(ステップS23)。入力受付部57は、確認画面72(図7参照)において「はい」が選択されたか否かを判定する(ステップS24)。「はい」が選択された場合(ステップS24:Yes)には、ステップS28に移行し、ステップS18における色の属性(例えば、明度)の基準値を下げる処理が実行されていない場合には(ステップS28:No)、確定部50は、通常のオブジェクト認識処理と判断する。そして、確定報知部55は確定画面71を表示させるとともに、確定商品の商品名を音声通知する(ステップS30)。一方、「いいえ」が選択された場合(ステップS24:No)にはステップS12に戻る。

一方、類似度が75%以上90%未満となる登録商品が無い場合(ステップS22:No)に、類似度判定部54は、類似度が10%以上75%未満の登録商品があるか否かを判定し、類似度がこの範囲内である登録商品を商品Gの商品候補として抽出する(ステップS25)。この範囲内の登録商品が無い場合(ステップS25:No)には、ステップS12に戻る。類似度が10%以上75%未満の登録商品がある場合(ステップS25:Yes)には、類似度判定部54は、該当する登録商品を商品Gの商品候補であると判定する。そして、商品候補提示部56は、商品候補として判定された登録商品のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域83に表示するとともに、複数の候補が有る旨を第2音声で音声通知する(ステップS26)。第2音声は、上述した第1音声とは異なる音声であって、例えば少し長いブザー音の鳴動による“ピピピッ”という音や選択を促す音声である。

入力受付部57は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する(ステップS27)。選択を受付けた場合(ステップS27:Yes)には、ステップS28に移行し、ステップS18における色の属性(例えば、明度)の基準値を下げる処理が実行されていない場合には(ステップS28:No)、確定部50は通常のオブジェクト認識処理と判断する。そして、確定報知部55は確定画面71を表示させるとともに、確定商品の商品名を音声通知する(ステップS30)。一方、選択を受付けない場合(ステップS27:No)にはステップS12に移行する。

ステップS32においてCPU161は、POS端末11から商品登録の終了通知等による業務終了の有無を判定する。業務を継続する場合(ステップS32:No)、CPU161は、ステップS12へ処理を戻し、画像取込部51は、撮像部164が撮像してRAM163に保存された背景画像データを取り込んで処理を継続させる。このように前回のオブジェクト認識処理の実行直後に、画像取込部51によって取り込まれた背景のフレーム画像を用いるようにすることで、背景が比較的変わりやすい環境や、セルフレジなどのようにお客様の服装や商品読取装置101との距離などがさまざまに変わることが予測されるような場合においても、商品Gの全部または一部の検出を確実に行うことができる。

なお、本実施形態では、RAM163に記憶される背景画像データは、ステップS31にて、商品読取装置101にて商品を特定してPOS端末11に商品IDを出力した後は、画像取込部51によって新たな背景画像データが取り込まれるため、最新のものに更新される。

また、ステップS24にて確認画面72(図7参照)において「はい」が選択されなかった場合や、ステップS27にて選択操作を受け付けなかった場合においても、ステップS12の処理に戻り、新たな背景画像データが取り込まれるため、RAM163に記憶される背景画像データは最新のものに更新される。

業務を終了する場合(ステップS32:Yes)、画像取込部51は、撮像部164に撮像オフ信号を出力して撮像部164による撮像を終了し(ステップS33)、処理を終了する。

次に、POS端末11の動作について説明する。図10は、POS端末11が実行する売上登録処理の手順を示すフローチャートである。

まず、キーボード22の操作指示による商品登録の開始等に応じて処理が開始されると、CPU61は、商品読取装置101が図9のステップS31で出力した、確定商品の商品IDとその販売個数とを受信する(ステップS41)。次いで、売上登録部611は、ステップS41で受信した商品ID及び販売個数に基づいて、PLUファイルF1から商品種別や単価等を読み出し、商品読取装置101で読み取られた商品Gの売上を売上マスタファイルに登録する(ステップS42)。続いて、CPU61は、キーボード22の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS43)。業務を継続する場合(ステップS43:No)、CPU61は、ステップS41へ再び戻り処理を継続させる。業務を終了する場合(ステップS43:Yes)、CPU61は処理を終了する。

以上のように、本実施形態によれば、登録商品の候補について基準値変更部59による基準値を下げる処理を実行していない場合、当該登録商品の候補を物体に対応する登録商品として確定するようにした。または、登録商品の候補について基準値変更部59による基準値を下げる処理を実行していて色の濃いものである場合、当該登録商品の候補を物体に対応する登録商品として確定するようにした。これにより、色が濃いために色の属性(例えば、明度)の差がつきにくく背景フレーム画像との差分が小さな茄子等の物体をオブジェクト認識対象とする際には、基準値変更部59による基準値を下げる処理を行うことでオブジェクト認識処理を開始できるようにすることができる。また、基準値変更部59による基準値を下げる処理を行ったにもかかわらず色の濃くない物体が認識された場合には誤認識の可能性があるので、これを排除することができる。

なお、本実施形態においては、PLUファイルF1に登録されている濃度フラグに応じて登録商品の候補について色の濃いものであるか否かを判断するようにしたが、これに限るものではない。例えば、PLUファイルF1に登録されている基準画像に応じて登録商品の候補について色の濃いものであるか否かを判断するようにしても良い。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、商品読取装置101において、商品Gを一つずつ撮像する形態について説明したが、一度に撮像する商品Gの個数は特に限らず、複数であってもよい。一度に複数の商品Gを撮像するような場合には、複数の商品Gと登録商品の画像(G1、G2、G3、・・・)との類似度をそれぞれ算出し、算出結果と上記閾値とを比較することにより、確定商品、候補商品を選別すればよい。

また、上述した各表示画面の構成は、図5〜図8の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。

また、上記実施形態では、POS端末11がPLUファイルF1を備える形態としたが、これに限らず、商品読取装置101がPLUファイルF1を備える形態としてもよいし、POS端末11及び商品読取装置101がアクセス可能な外部装置がPLUファイルF1を備える形態としてもよい。

また、上記実施形態では、商品読取装置101が類似度算出部53、類似度判定部54の機能を有するとしたが、これに限らず、POS端末11が類似度算出部53、類似度判定部54の機能を備えて、算出結果や判定結果を商品読取装置101に出力する形態としてもよい。

なお、上述では、複数の閾値として、第1〜第3閾値の3つの閾値によって類似度を4段階に判定する例を挙げて説明したが、実施形態はこれに限定されるものではない。3つ以上の閾値を用いてより多段階に判定するとしてもよいし、2つ以下の閾値を用いて判定してもよい。また、各閾値はユーザによって変更可能に設けられていてもよい。また、上述では、第1〜第3閾値、および条件a〜cを全商品で共通とした例を挙げたが、これに限定されず、登録商品ごとに各閾値や条件がそれぞれ設定されてもよい。

また、上述では、第1の条件を、確認画面72を表示させる場合(条件b)と確認画面72を表示させない場合(条件a)との2段階に分ける実施形態としたが、このように第1の条件を多段階に分けずともよい。即ち、上述の例に沿って他の例を示すと、いずれの条件a、bが満たされた場合にも確認画面72を表示させずに商品を確定する形態としてもよく、また、確認画面72を表示させるか否かを設定可能としてもよい。

また、上記実施形態では、店舗システムとしてPOS端末11と商品読取装置101とで構成されるチェックアウトシステム1を適用したがこれに限るものではなく、POS端末11及び商品読取装置101の機能を備えた1台構成の装置に適用するようにしても良い。POS端末11及び商品読取装置101の機能を備えた1台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置(以降、単にセルフPOSと称する)が挙げられる。

ここで、図11はセルフPOS200の構成を示す外観斜視図、図12はセルフPOS200のハードウェア構成を示すブロック図である。尚、以下では、図1および図2に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図11および図12に示すように、セルフPOS200の本体202は、タッチパネル105が表面に配設された表示デバイス106や、商品の種別等を認識(検出)するために商品画像を読み取る商品読取部110を備えている。

表示デバイス106としては例えば液晶表示器が用いられる。表示デバイス106は、客にセルフPOS200の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部110で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部110は、客が商品に付されたコードシンボルを商品読取部110の読取窓103にかざすことで商品画像を撮像部164により読み取るものである。

また、本体202の右側にはかごに入った未精算の商品を置くための商品載置台203が設けられ、本体202の左側には精算済みの商品を置くための商品載置台204が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック205や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台206が設けられている。商品載置台203および204には計量器207,208がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。

また、セルフPOS200の本体202には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器201が設けられている。

このような構成のセルフPOS200を店舗システムに適用した場合、セルフPOS200が情報処理装置として機能することになる。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

1 店舗システム
50 確定手段
51 取込手段
53 類似度算出手段
54 商品候補抽出手段
59 基準値変更手段
101,200 情報処理装置
164 撮像手段
611 売上登録処理手段
F1 辞書

特開2003−173369号公報

Claims (6)

  1. 撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、
    取り込んだ前記フレーム画像の色の属性が所定の基準値を超えていない場合に、前記基準値を下げる基準値変更手段と、
    取り込んだ前記フレーム画像の色の属性が前記基準値を超えている場合に、当該フレーム画像に含まれる前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
    前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していない場合、または、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していて色の濃いものである場合、当該登録商品の候補を前記物体に対応する前記登録商品として確定する確定手段と、
    を備える情報処理装置。
  2. 前記確定手段は、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していて色の濃いものではない場合、前記取込手段に新たなフレーム画像を取り込ませる、
    請求項1記載の情報処理装置。
  3. 前記辞書には、前記基準画像と濃淡を表す濃度フラグとが前記登録商品に対応付けて登録されており、
    前記確定手段は、前記濃度フラグに応じて前記登録商品の候補について色の濃いものであるか否かを判断する、
    請求項1記載の情報処理装置。
  4. 前記確定手段は、前記辞書に登録されている前記基準画像に応じて前記登録商品の候補について色の濃いものであるか否かを判断する、
    請求項1記載の情報処理装置。
  5. 撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、
    取り込んだ前記フレーム画像の色の属性が所定の基準値を超えていない場合に、前記基準値を下げる基準値変更手段と、
    取り込んだ前記フレーム画像の色の属性が前記基準値を超えている場合に、当該フレーム画像に含まれる前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
    前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していない場合、または、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していて色の濃いものである場合、当該登録商品の候補を前記物体に対応する前記登録商品として確定する確定手段と、
    確定した前記登録商品を、売上登録処理する売上登録処理手段と、
    を備える店舗システム。
  6. コンピュータを、
    撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、
    取り込んだ前記フレーム画像の色の属性が所定の基準値を超えていない場合に、前記基準値を下げる基準値変更手段と、
    取り込んだ前記フレーム画像の色の属性が前記基準値を超えている場合に、当該フレーム画像に含まれる前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
    前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していない場合、または、前記登録商品の候補について前記基準値変更手段による前記基準値を下げる処理を実行していて色の濃いものである場合、当該登録商品の候補を前記物体に対応する前記登録商品として確定する確定手段と、
    として機能させるためのプログラム。
JP2012044238A 2012-02-29 2012-02-29 情報処理装置、店舗システム及びプログラム Active JP5483629B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012044238A JP5483629B2 (ja) 2012-02-29 2012-02-29 情報処理装置、店舗システム及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012044238A JP5483629B2 (ja) 2012-02-29 2012-02-29 情報処理装置、店舗システム及びプログラム
US13/773,287 US20130223682A1 (en) 2012-02-29 2013-02-21 Article recognition system and article recognition method
CN201310061450.7A CN103295346B (zh) 2012-02-29 2013-02-27 信息处理装置、店铺系统及信息处理方法

Publications (2)

Publication Number Publication Date
JP2013182326A JP2013182326A (ja) 2013-09-12
JP5483629B2 true JP5483629B2 (ja) 2014-05-07

Family

ID=49002914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012044238A Active JP5483629B2 (ja) 2012-02-29 2012-02-29 情報処理装置、店舗システム及びプログラム

Country Status (3)

Country Link
US (1) US20130223682A1 (ja)
JP (1) JP5483629B2 (ja)
CN (1) CN103295346B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9082114B2 (en) * 2011-07-29 2015-07-14 Ncr Corporation Self-service terminal
JP6191701B2 (ja) * 2013-11-11 2017-09-06 日本電気株式会社 Pos端末装置、商品認識方法及びプログラム
JP6141207B2 (ja) * 2014-01-07 2017-06-07 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6193136B2 (ja) * 2014-01-21 2017-09-06 東芝テック株式会社 画像情報処理装置及びプログラム
US20170185985A1 (en) * 2014-03-28 2017-06-29 Nec Corporation Sales registration apparatus, program, and sales registration method
WO2015147328A1 (ja) 2014-03-28 2015-10-01 日本電気株式会社 Pos端末装置
MX364903B (es) * 2015-05-16 2019-05-10 Tata Consultancy Services Ltd Procedimiento y sistema de comprobación del cumplimiento de un planograma basado en análisis visual.
JP6336656B2 (ja) * 2017-05-16 2018-06-06 東芝テック株式会社 情報処理装置、店舗システム及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US20010014167A1 (en) * 1997-03-03 2001-08-16 Maurice M Gifford Security check provision
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2002074511A (ja) * 2001-06-21 2002-03-15 Toshiba Tec Corp 商品販売登録データ処理装置
CN101034442A (zh) * 2006-03-08 2007-09-12 刘欣融 基于图像识别技术的商品的外观设计相同和相近似判断系统
CN101639891B (zh) * 2008-07-28 2012-05-02 汉王科技股份有限公司 一种双摄像头人脸识别装置和方法
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
JP4949488B2 (ja) * 2010-02-01 2012-06-06 シャープ株式会社 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法

Also Published As

Publication number Publication date
JP2013182326A (ja) 2013-09-12
CN103295346A (zh) 2013-09-11
CN103295346B (zh) 2016-04-27
US20130223682A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
US8856035B2 (en) Store system and sales registration method
CN102376136B (zh) 店铺系统及商品销售数据处理方法
US9076177B2 (en) System and method for providing commodity information, and storage medium containing related program
US20130182899A1 (en) Information processing apparatus, store system and method
JP6189761B2 (ja) 商品データ登録装置、チェックアウトシステムおよびプログラム
CN102855713A (zh) 信息处理装置及信息处理方法
CN102375976B (zh) 店铺系统及商品销售数据处理方法
US9042660B2 (en) Information processing apparatus and information processing method
US20140023241A1 (en) Dictionary registration apparatus and method for adding feature amount data to recognition dictionary
US20130057692A1 (en) Store system and method
CN103226687B (zh) 商品读取装置及商品读取方法
JP2014102678A (ja) 商品認識装置及び商品認識プログラム
US20120327202A1 (en) Commodtiy list issuing apparatus and method
CN102431692B (zh) 标签发放装置及标签发放方法
JP5619095B2 (ja) 商品認識装置及び商品認識プログラム
JP2013054593A (ja) 情報処理装置及びプログラム
JP2014092975A (ja) 商品認識装置及び商品認識プログラム
US9165191B2 (en) Commodity recognition apparatus and commodity recognition method
US9990541B2 (en) Commodity recognition apparatus and commodity recognition method
US20120047040A1 (en) Store system and sales registration method
US10108830B2 (en) Commodity recognition apparatus and commodity recognition method
US8403216B2 (en) Code reading apparatus, sales registration processing apparatus, and code reading method
JP2011221585A (ja) コード読取装置、販売登録装置およびプログラム
JP2013033361A (ja) 商品買取装置、プログラム、および商品買取方法
US20130058541A1 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140214

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5483629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150