JP5451787B2 - 情報処理装置、店舗システム及びプログラム - Google Patents

情報処理装置、店舗システム及びプログラム Download PDF

Info

Publication number
JP5451787B2
JP5451787B2 JP2012018805A JP2012018805A JP5451787B2 JP 5451787 B2 JP5451787 B2 JP 5451787B2 JP 2012018805 A JP2012018805 A JP 2012018805A JP 2012018805 A JP2012018805 A JP 2012018805A JP 5451787 B2 JP5451787 B2 JP 5451787B2
Authority
JP
Japan
Prior art keywords
product
unit
image
similarity
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012018805A
Other languages
English (en)
Other versions
JP2013156933A (ja
Inventor
広志 菅澤
仁志 飯坂
英浩 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2012018805A priority Critical patent/JP5451787B2/ja
Publication of JP2013156933A publication Critical patent/JP2013156933A/ja
Application granted granted Critical
Publication of JP5451787B2 publication Critical patent/JP5451787B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。
従来、対象となる物品(オブジェクト)をイメージセンサデバイスにより撮像した画像データから当該対象物品の特徴量を抽出し、予め用意された辞書における照合用のデータ(特徴量)と比較して類似度を算出し、算出した類似度に応じて当該物品の種別等を認識(検出)する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、オブジェクト認識された商品を売上登録する店舗システムが提案されている。
しかしながら、商品読取装置(情報処理装置)やチェックアウトシステム(店舗システム)においては、オブジェクト認識処理に用いるエンジンを常時動作させるようにしている。そのため、オブジェクト認識処理が不要な際においても、常時CPUに負荷がかかってしまう、という問題がある。
実施形態の情報処理装置は、撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記撮像された物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、を備え、前記取込手段は、取り込んだ前記フレーム画像の色の属性の変化を検知し、当該色の属性が所定の基準値を超えた場合に、前記類似度算出手段と前記商品候補抽出手段とを起動させる。
実施形態の店舗システムは、撮像手段と、前記撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記撮像された物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、前記登録商品の候補が一の場合は当該登録商品を、または、前記登録商品の候補が複数の場合は選択された一の登録商品を、売上登録処理する売上登録処理手段と、を備え、前記取込手段は、取り込んだ前記フレーム画像の色の属性の変化を検知し、当該色の属性が所定の基準値を超えた場合に、前記類似度算出手段と前記商品候補抽出手段とを起動させる。
実施形態のプログラムは、コンピュータを、撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記撮像された物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、として機能させ、前記取込手段は、取り込んだ前記フレーム画像の色の属性の変化を検知し、当該色の属性が所定の基準値を超えた場合に、前記類似度算出手段と前記商品候補抽出手段とを起動させる。
図1は、実施形態に係るチェックアウトシステム(店舗システム)の一例を示す斜視図である。 図2は、POS端末及び商品読取装置のハードウェア構成を示すブロック図である。 図3は、PLUファイルのデータ構成を例示する概念図である。 図4は、POS端末及び商品読取装置の機能構成を示すブロック図である。 図5は、画像取込部によって取り込まれたフレーム画像の一例を示す図である。 図6は、確定画面の一例を示す図である。 図7は、確認画面の一例を示す図である。 図8は、商品候補のイラスト画像が表示された画面例を示す図である。 図9は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。 図10は、POS端末が実行する売上登録処理の手順を示すフローチャートである。 図11は、セルフPOSの構成を示す外観斜視図である。 図12は、セルフPOSのハードウェア構成を示すブロック図である。
以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置、店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
図1は、チェックアウトシステム1の一例を示す斜視図である。図1に示すように、チェックアウトシステム1は、商品に関する情報を読み取る商品読取装置101と、一取引に係る商品の登録、精算を行うPOS端末11とを備える。以下では、商品読取装置101を本実施形態にかかる情報処理装置として適用する例について説明する。
POS端末11は、チェックアウト台41上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転可能に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
POS端末11が載置されているチェックアウト台41とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受け面152が形成されている。荷受け面152には、商品Gを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に載置される第2の買物カゴ153bとに分けて考えることができる。なお、買物カゴ153は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ153(第2の買物カゴ153b)は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
カウンタ台151の荷受け面152には、POS端末11とデータ送受信可能に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。
このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部164(図2参照)を配置している。
顧客によって持ち込まれた第1の買物カゴ153aには、一取引に係る商品Gが収納されている。第1の買物カゴ153a内の商品Gは、商品読取装置101を操作するオペレータにより第2の買物カゴ153bに移動される。この移動過程で、商品Gが商品読取装置101の読取窓103に向けられる。この際、読取窓103内に配置された撮像部164(図2参照)は商品Gを撮像する。
商品読取装置101では、撮像部164により撮像された画像に含まれる商品Gが、後述するPLUファイルF1(図3参照)に登録されたどの商品に対応するかを指定させるための画面を表示・操作部104に表示し、指定された商品の商品IDをPOS端末11に通知する。POS端末11では、商品読取装置101から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル(図示しない)等に記録して売上登録を行う。
図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。
キーボード22は、「1」、「2」、「3」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。
POS端末11のCPU61には、HDD(Hard Disk Drive)64が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により実行される。HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1である。
PLUファイルF1は、店舗に陳列して販売する商品Gの各々について、商品Gの売上登録にかかる情報と、その商品Gの画像との関連付けが設定された商品ファイルである。
図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、商品Gごとに、ユニークに割り当てられた商品ID、商品Gが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像(基準画像)と、その商品を示すイラスト画像とを、その商品Gの商品情報として格納するファイルである。尚、商品画像は、類似度の判定に用いられる商品の撮像画像(写真)である。なお、PLUファイルF1は、後述する接続インターフェース65を介し、商品読取装置101が読み出し可能に構成されている。
なお、PLUファイルF1のデータ構成は図3の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等の特徴量を、各商品について格納する形態としてもよい。
図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。
さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシート等に印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御の下、一取引の取引内容をレシートに印字する。
商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とタイマTとがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像部164、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介して、商品読取部110及びPOS端末11に接続されている。表示・操作部104は、商品読取部110のCPU161、POS端末11のCPU61によって動作が制御される。
撮像部164は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等のイメージセンサ(図示せず)とLEDなどの光源(図示せず)とを有しており、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像(撮像画像)はRAM163に保存される。
なお、本実施形態においては、詳細は後述するが、背景のフレーム画像と、商品Gを含むフレーム画像との差分から売上登録のために読取窓103に向けられた商品Gを検出するため、撮像部164の撮像方向は、背景の変化が少ない方向(例えば、上方向や下方向など)が好ましい。
音声出力部165は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部165は、CPU161の制御の下で警告音や音声による報知を行う。
さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。また、CPU161は、接続インターフェース175を介して、表示・操作部104との間でデータ送受信を行う。
次に、CPU161、CPU61がプログラムを実行することで実現されるCPU161、CPU61の機能構成について、図4を参照して説明する。
図4は、POS端末11及び商品読取装置101の機能構成を示すブロック図である。図4に示すように、商品読取装置101のCPU161は、ROM162が格納するプログラムを実行することにより、取込手段である画像取込部51、商品検出部52、類似度算出手段である類似度算出部53、商品候補抽出手段である類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、情報出力部58としての機能を備える。また、同様に、POS端末11のCPU61は、プログラムPRを実行することにより、売上登録部611としての機能を備える。
画像取込部51は、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。画像取込部51は、撮像動作開始後に撮像部164が撮像してRAM163に保存されたフレーム画像を順次取り込む。画像取込部51によるフレーム画像の取り込みは、RAM163に保存された順に行われる。
図5は、画像取込部51によって取り込まれたフレーム画像の一例を示す図である。図5に示すように、オペレータが読取窓103に商品Gをかざすと、撮像部164の読取領域Rには商品Gの全部または一部が撮影される。
ところで、撮像部164の光源の近く、すなわち読取窓103の近くに商品G(オブジェクト)が位置していない場合、撮像部164による撮影画像は明度0かそれに近い状態となる。そして、読取窓103に認識させたい商品G(オブジェクト)を近づけることにより、光源からの光が商品G(オブジェクト)に反射するので撮像部164による撮影画像の明度が明るく変化する。
画像取込部51は、このような明度変化(色の属性の変化)を検知し、明度が所定の基準値を超えた場合に、オブジェクト認識処理を実行するオブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57)を起動させる。これにより、後述するオブジェクト認識処理が不要の際のCPU負荷を抑制することができる。
なお、商品読取装置101の設置環境によっては、商品G(オブジェクト)がない状態での撮影画像にはばらつきが生じることがある。そこで、不要な外乱による影響による不要なオブジェクト認識処理によりCPU負荷を増やすことの無いように、オブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57)を動作させる明度の基準値を制御・設定する必要がある。
なお、色の属性としては、色の明るさを表す明度の他に、色味の強さを表す彩度を用いるようにしてもよい。なお、オブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57)起動のための判断は、複数の色の属性に基づいて、基準値を超えたか否かの判定を行っても良い。
商品検出部52は、画像取込部51により取り込まれたフレーム画像に含まれる商品Gの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を2値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較した差分に基づいて、売上登録のために読取窓103に向けられた商品を検出する。
なお、前回のフレーム画像とは、例えば、オブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57)を起動させる前、すなわちオブジェクト認識処理の起動前に、画像取込部51によって取り込まれた背景のフレーム画像である。このようなオブジェクト認識アプリケーション起動前に前回のフレーム画像として背景のフレーム画像を自動的に取得することは、背景が比較的余り変わらない環境の場合(例えば、撮像部164がカウンタ台151上面の荷受け面152に向けて鉛直下向き方向を読取方向として取り付けられている場合など)での利用に有用である。なお、環境には、照明(周囲と商品読取装置101自体の照明)の状態と、利用者の服装などが含まれる。
また、前回のフレーム画像として、前回のオブジェクト認識処理の実行直後に、画像取込部51によって取り込まれた背景のフレーム画像を用いるようにしても良い。このようにすることは、背景が比較的変わりやすい環境や、セルフレジなどのようにお客様の服装や商品読取装置101との距離などがさまざまに変わることが予測されるような場合での利用に有用である。
さらに、利用者が任意のタイミングで前回のフレーム画像を背景として取得するようにしても良い。任意のタイミングで前回のフレーム画像を背景として取得するケースとしては、様々な場合が考えられるが、例えば辞書であるPLUファイルF1の作成時などに有効である。
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。
類似度算出部53は、撮像部164により撮像された商品Gの全部または一部の画像から、商品Gの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部53は、処理時間の短縮を図るため、商品Gの輪郭や大きさは考慮しないものとする。
また、類似度算出部53は、PLUファイルF1に登録された各商品(以下、登録商品という)の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Gの特徴量とそれぞれ比較することで、商品GとPLUファイルF1に登録された商品との類似度を算出する。ここで、類似度は、PLUファイルF1に記憶されている各商品の商品画像を100%=「類似度:1.0」とした場合に、商品Gの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
なお、撮像された商品Gの画像と、PLUファイルF1に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Gの画像と、PLUファイルF1に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合、撮像された商品Gの画像と、PLUファイルF1に登録された各登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、PLUファイルF1に5つの登録商品(商品GA、GB、GC、GD、GE)が登録されていたとすると、撮像された商品Gは、商品GAに対して類似度が0.6、商品GBに対しては類似度が0.1、商品GCに対しては類似度が0.1、商品GDに対しては類似度が0.1、商品GEに対しては類似度が0.1等、各登録商品との類似度の総和が1.0(100%)となるよう算出すればよい。
類似度判定部54は、画像取込部51が取り込んだフレーム画像ごとに、商品Gの画像と、PLUファイルF1に登録されている商品画像との類似度を比較する。本実施形態では、登録商品の商品画像と商品Gの画像との類似度について複数の条件が段階的に設けられており、類似度判定部54は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件a〜cを用いる場合について説明する。
ここで、条件aおよび条件bは、本実施形態に係る第1の条件であり、撮像部164が撮像した商品GをPLUファイルF1に登録された登録商品のうち一の商品として確定するための条件である。また、条件cは、本実施形態に係る第2の条件であり、PLUファイルF1に登録された登録商品から、撮像部164が撮像した商品Gの候補を抽出するための条件である。
類似度判定部54は、条件aまたは条件bを満たす登録商品を、撮像部164が撮像した商品Gに一対一で対応する商品(以下、確定商品という)であると判定(確定)する。また、類似度判定部54は、条件cを満たす登録商品については、確定商品ではなく、撮像部164が撮像した商品Gの候補(以下、商品候補という)であると判定する。そして、PLUファイルF1に登録された複数の登録商品から条件cを満たす登録商品を抽出することにより、商品Gに対する商品候補を抽出する。
条件a〜cは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件a〜cを設けることができる。ここでは、第1閾値〜第3閾値によって条件a〜cを設定する場合について説明する。なお、第1〜3閾値の大小関係は、第1閾値>第2閾値>第3閾値とする。
類似度判定部54は、登録商品との類似度が予め定められた第1閾値(例えば90%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件aが満たされたと判定する。尚、第1閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を1回として条件aを判定してもよい。
また、類似度判定部54は、登録商品との類似度が第1閾値(例えば90%)未満、かつ、第1閾値より小さい第2閾値(例えば75%)以上となった場合に条件bが満たされたと判定する。そして、条件bを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第1閾値(例えば90%)未満、かつ、第1閾値より小さい第2閾値(例えば75%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件bが満たされたと判定してもよい。
さらに、類似度判定部54は、登録商品との類似度が第2閾値(例えば75%)未満、かつ、第2閾値より小さい第3閾値(例えば10%)以上である場合に、条件cが満たされたと判定する。なお、さらには登録商品との類似度が第2閾値(例えば75%)未満、かつ、第2閾値より小さい第3閾値(例えば10%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件cが満たされたと判定してもよい。
なお、各条件a〜cは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件a〜cの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。
確定報知部55は、撮像部164によって撮像された商品が、条件aまたは条件bを満たした登録商品であるとして一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。
より詳細には、確定報知部55は、条件aを満たした登録商品が、撮像部164によって撮像された商品(確定商品)として一意的に確定されたことを示す確定画面71(図6参照)を表示デバイス106に表示させる。
図6は、確定画面71の一例を示す図である。条件aを満たす登録商品があった場合に、確定報知部55は読取領域R(図5参照)の撮像画像の表示を停止し、確定商品に対応するイラスト画像G1および商品名「にんじん」をPLUファイルF1から読み出して、確定画面71に表示する。また、確定報知部55は、PLUファイルF1から読み出した確定商品の商品名、商品価格(単価)を、商品名表示領域81、価格表示領域82にそれぞれ表示する。尚、確定報知部55は、イラスト画像G1の代わりに、PLUファイルF1から読み出した商品画像(写真)を表示してもよい。
また、確定報知部55は、この確定画面71の表示のタイミングに合わせて、オブジェクト認識が十分な信頼性を持つ状態で確定したとして、従来のバーコード読み取りと同等の音声を鳴動させることで、認識が正常終了しデータが確定したことを知らせる。
また、確定報知部55は、この確定画面71の表示のタイミングに合わせて、PLUファイルF1から読み出した商品名等、確定商品に関する情報を音声出力部165に出力する。音声出力部165は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。
また、確定報知部55は、条件bを満たした登録商品(確定商品)が、撮像部164によって撮像された商品Gであるか否かの最終確認操作を受付ける確認画面72(図7参照)を表示デバイス106に表示させる。
図7は、確認画面72の一例を示す図である。条件bを満たす登録商品があった場合に、確定報知部55は確定商品に対応するイラスト画像G1をPLUファイルF1から読み出して、確認画面72に表示する。また、確定報知部55は、PLUファイルF1から読み出した確定商品の商品名を用いて、読み取られた商品Gがイラスト画像G1の商品であるか否かを問うメッセージを「にんじんですか?」等と表示する。また、確認画面72には、「はい/いいえ」等のボタンがタッチパネル105に対するタッチ操作によって選択操作可能に設けられる。
このように、確認画面72においては、類似度判定の結果、1つの商品Gに対して唯一に選別された登録商品(確定商品)の商品名や商品画像が示され、商品Gと登録商品とが一対一の関係を持って表示される。従って、確認画面72は、条件bを満たす登録商品が撮像部164によって撮像された商品Gとして一意的に確定されたことを報知する画面である。
本実施形態では、このように撮像された商品が一意的に確定した場合に、撮像画像に替えて確定商品のイラスト画像を表示する。従って、オペレータは商品の識別が確定したことを直感的に認識することができ、かつ、識別された商品がどの商品であるかを一目で認識することができる。
なお、確定報知部55は、確認画面72が表示されるタイミングに合わせて、確定商品に関する情報および確認を促す情報を音声出力部165に音声出力させるとしてもよいし、確認画面72では音声出力を行わないとしてもよい。確定画面71、確認画面72における音声出力の有無は、適宜設定可能である。
商品候補提示部56は、条件cを満たした登録商品に関する情報を、商品候補として表示デバイス106に表示させる。より詳細には、商品候補提示部56は、条件cを満たした登録商品のイラスト画像および商品名をPLUファイルF1から読み出し、類似度算出部53が算出した類似度の高いものから、表示デバイス106に順次出力する。表示デバイス106は、商品候補提示領域83(図8参照)において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。
図8は、商品候補のイラスト画像G1、G2、G3が表示された画面例を示す図である。図8に示すように、商品候補提示領域83には、類似度の高い登録商品から順に、商品候補のイラスト画像G1、G2、G3および各商品名が表示される。これらイラスト画像G1、G2、G3はタッチパネル105に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域83の下部には、商品リストから商品を選択するための選択ボタン84が設けられており、商品リストから選択された商品は上述した確定商品として処理される。尚、図8では、イラスト画像G1〜G3に対応する3つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に替えて商品画像(写真)を表示してもよい。
また、商品候補提示部56は、商品候補提示領域83が表示されるタイミングに合わせて、複数の候補が有る旨を、音声出力部165に音声出力させるようにしてもよいし、商品候補提示領域83が表示されるタイミングでは音声出力を行わないとしてもよい。
さらに、商品候補提示部56は、野菜や果物の区別などを容易に判断できるような情報を、音声出力部165に音声出力させるようにしてもよい。さらにまた、商品候補提示部56は、例えば、商品候補提示領域83に表示される商品が類似性の高い商品(同一カテゴリにおける品種、似たような緑の野菜など)の場合に、選択ボタン84の存在や自動絞込みなどの情報を、音声出力部165に音声出力させるようにしてもよい。
なお、表示デバイス106に商品候補のイラスト画像G1〜G3が表示されていても、これら商品候補に対する選択操作を受付けない場合には、画像取込部51による画像取込処理、商品検出部52による検出処理、および類似度算出部53による類似度算出処理は継続される。従って、商品候補が選択されない間は、表示デバイス106の画面に読取領域Rの撮像画像が表示される。
入力受付部57は、タッチパネル105またはキーボード107を介して表示デバイス106の表示に対応する各種入力操作を受付ける。例えば入力受付部57は、確認画面72(図7参照)に対する選択操作に基づいて、表示されたイラスト画像G1の商品が確定商品であることを最終確認した旨の入力操作(確認操作)を受付ける。尚、確定報知部55は、入力受付部57が確認操作を受付けた場合に、上述の確定画面71を表示デバイス106に表示する。
入力受付部57は、表示デバイス106に表示された商品候補のイラスト画像G1〜G3(図8参照)の中からいずれか1つのイラスト画像に対する選択操作を受付ける。入力受付部57は、選択されたイラスト画像の登録商品を、商品Gに対する確定商品であるとして受付ける。尚、商品検出部52が複数の商品Gを検出可能である場合には、入力受付部57は商品候補の中から、複数の商品候補の選択操作を受付けてもよい。尚、確定報知部55は、入力受付部57が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面71を表示デバイス106に表示させる。
情報出力部58は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名等)を、接続インターフェース175を介してPOS端末11に出力する。
尚、情報出力部58は、タッチパネル105又はキーボード107を介して別途入力された販売個数を、商品ID等とともにPOS端末11に出力するとしてもよい。また、情報出力部58がPOS端末11に出力する情報としては、情報出力部58がPLUファイルF1から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、または、商品画像、イラスト画像のファイル名を通知してもよいし、その商品IDの格納場所(PLUファイルF1での格納アドレス)をPOS端末11に通知してもよい。
POS端末11の売上登録部611は、情報出力部58から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部611は、PLUファイルF1を参照して、通知された商品ID及び当該商品IDに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
なお、商品読取装置101は、商品に関する情報としてバーコードや二次元コードなどのコードシンボルを光学的に読み取る周知のコードシンボル読取部(図示せず)も備えている。商品読取装置101は、コードシンボル読取部でコードシンボルを読み取って得られた番号である商品IDをPOS端末11に送信する。商品読取装置101は、前述したような商品読取部110によるオブジェクト認識処理によって商品に関する情報を読み取るオブジェクト認識処理モードと、コードシンボル読取部によるコードシンボル読取処理によって商品に関する情報を読み取るコードシンボル読取モードと、をキーボード107のキー操作などによって切り替えることができる。
商品読取装置101がコードシンボル読取モードに設定されている場合のチェックアウトシステム1の動作について簡単に説明する。商品読取装置101がコードシンボル読取モードに設定されている場合、POS端末11は、コードシンボル読取部においてコードシンボルを読み取って得られた番号がPLUファイルF1に記憶された商品IDと一致する場合に、その旨を示す信号および当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を商品読取装置101に送信する。一方、商品読取装置101は、商品IDと一致した旨を示す信号および当該商品IDに対応する商品の売上登録に係る情報を受信すると、例えば短いブザー音の鳴動による“ピッ”という報知音を発するとともに、売上登録に係る情報を表示デバイス106に表示する。
POS端末11は、商品読取装置101から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報をPLUファイルF1から取得し、売上マスタファイル(図示せず)等に記録して売上登録を行う。
次に、オブジェクト認識処理モードにおけるチェックアウトシステム1の動作について詳細に説明する。先ず、商品読取装置101の動作について説明する。図9は、商品読取装置101が実行する商品識別処理の手順を示すフローチャートである。図9では、第1閾値を類似度90%(0.90)、第2閾値を類似度75%(0.75)、第3閾値を類似度10%(0.10)と設定した場合について説明するが、各閾値はこれらに限定されるものではない。
POS端末11による商品登録の開始等に応じて処理が開始されると、画像取込部51は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始し(ステップS11)、撮像部164が撮像してRAM163に保存された背景画像データを取り込む(ステップS12)。
このようにオブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57)を起動させる前に、背景のフレーム画像を取得することで、現時点における照明(周囲と商品読取装置101自体の照明)の状態や利用者の服装などを含む背景を取得することができる。
次いで、画像取込部51は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込み(ステップS13)、タイマーTによる計時を開始する(ステップS14)。
次いで、画像取込部51は、画像取込部51が取り込んだフレーム画像の色の属性(例えば、明度)を取得し(ステップS15)、所定時間内に色の属性に変化があり(ステップS16:No)、色の属性(例えば、明度)が所定の基準値を超えている場合には(ステップS17:Yes)、売上登録のために読取窓103に商品Gが向けられたとして、タイマーTによる計時を停止し(ステップS18)、オブジェクト認識処理を実行するオブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57)を起動させ(ステップS19)、ステップS20に進む。
一方、所定時間内に色の属性に変化が無い場合には(ステップS16:No)、例えば、商品読取装置101の前に商品Gが置きっぱなしになっていて色の属性(例えば、明度)に変化がないことが考えられるので、色の属性(例えば、明度)の基準値を変更する(ステップS21)。つまり、所定時間経過後(例えば2秒後)に現在の明度以上に基準値を設定すれば、置きっぱなしになっている商品Gについての認識処理は実行しないことになる。なお、このように基準値を変化させた場合には、次の物体が撮像されたことで明度が変化したことをトリガーにして、元の基準値に戻すようにすれば良い。
色の属性(例えば、明度)が所定の基準値を超えていない場合には(ステップS17:No)、ステップS13に戻り、次のフレーム画像(撮像画像)を取り込む。
次いで、商品検出部52は、背景のフレーム画像と画像取込部51が取り込んだフレーム画像との差分に基づいて、画像取込部51が取り込んだフレーム画像から商品Gの全部または一部の検出を行う(ステップS20)。
続いて、類似度算出部53は、商品Gの全部または一部の画像から商品Gの特徴量を読み取り、PLUファイルF1に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する(ステップS22)。
類似度判定部54は、類似度が90%以上となる登録商品があるか否かを判定する(ステップS23)。90%以上となる登録商品が無い場合(ステップS23:No)には、ステップS25に移行する。90%以上となる登録商品がある場合(ステップS23:Yes)には、同一の登録商品に対する類似度が90%以上となった回数が所定回数(例えば、3回)となったか否かを判定する(ステップS24)。所定回数に満たない場合(ステップS24:No)は、ステップS12に戻り、画像取込部51は撮像部164により撮像された新たなフレーム画像を取り込む。
所定回数となった場合(ステップS24:Yes)には、確定報知部55は、確定商品のイラスト画像を含む確定画面71(図6参照)を表示させるとともに、商品が確定された旨を第1音声および確定商品の商品名を音声通知することにより確定商品を報知する(ステップS31)。第1音声は、商品読取装置101がコードシンボル読取モードに設定されている場合における、例えば短いブザー音の鳴動による“ピッ”という商品IDと一致した旨を示す報知音に類する音である。このようにコードシンボル読取モード時における商品IDと一致した旨を示す報知音に類する音とすることで、長年の慣習から確定したことが分かりやすくなっている。なお、コードシンボル読取モードを有さずに、オブジェクト認識処理モードのみの場合であっても、第1音声は、商品読取装置101がコードシンボル読取モードに設定されている場合における、例えば“ピッ”という商品IDと一致した旨を示す報知音に類する音としたほうが良い。
また、情報出力部58は、確定商品とされた登録商品の商品ID等を、キーボード107を介して別途入力された販売個数とともにPOS端末11に出力し(ステップS32)、その後はステップS33の処理に移行する。
ステップS23:Noの場合に、類似度判定部54は、類似度が75%以上90%未満となる登録商品があるか否かを判定する(ステップS25)。類似度がこの範囲内となる登録商品がある場合(ステップS25:Yes)には、その登録商品をオペレータの確認を要する確定商品であると判定し、表示デバイス106に確認画面72を表示させるとともに、商品に関する情報および確認を促す情報を音声通知する(ステップS26)。入力受付部57は、確認画面72(図7参照)において「はい」が選択されたか否かを判定する(ステップS27)。「はい」が選択された場合(ステップS27:Yes)にはステップS31に移行し、確定報知部55は確定画面71を表示させるとともに、確定商品の商品名を音声通知する。一方、「いいえ」が選択された場合(ステップS27:No)にはステップS12に戻る。
一方、類似度が75%以上90%未満となる登録商品が無い場合(ステップS25:No)に、類似度判定部54は、類似度が10%以上75%未満の登録商品があるか否かを判定し、類似度がこの範囲内である登録商品を商品Gの商品候補として抽出する(ステップS28)。この範囲内の登録商品が無い場合(ステップS28:No)には、ステップS12に戻る。類似度が10%以上75%未満の登録商品がある場合(ステップS28:Yes)には、類似度判定部54は、該当する登録商品を商品Gの商品候補であると判定する。そして、商品候補提示部56は、商品候補として判定された登録商品のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域83に表示するとともに、複数の候補が有る旨を第2音声で音声通知する(ステップS29)。第2音声は、上述した第1音声とは異なる音声であって、例えば少し長いブザー音の鳴動による“ピピピッ”という音や選択を促す音声である。
なお、複数の候補が有る場合において、商品候補提示部56は、野菜や果物の区別、同一カテゴリにおける品種、似たような野菜などを容易に判断できるような音声を通知するようにしても良い。例えば、類似性の高い商品(緑の野菜やりんごの品種など)の場合に、選択の絞り込みの補助とすることができる。
入力受付部57は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する(ステップS30)。選択を受付けた場合(ステップS30:Yes)にはステップS31に移行し、確定報知部55は確定画面71を表示させる。一方、選択を受付けない場合(ステップS30:No)にはステップS12に移行する。
ステップS33においてCPU161は、POS端末11から商品登録の終了通知等による業務終了の有無を判定する。業務を継続する場合(ステップS33:No)、CPU161は、ステップS12へ処理を戻し、画像取込部51は、撮像部164が撮像してRAM163に保存された背景画像データを取り込んで処理を継続させる。このように前回のオブジェクト認識処理の実行直後に、画像取込部51によって取り込まれた背景のフレーム画像を用いるようにすることで、背景が比較的変わりやすい環境や、セルフレジなどのようにお客様の服装や商品読取装置101との距離などがさまざまに変わることが予測されるような場合においても、商品Gの全部または一部の検出を確実に行うことができる。
業務を終了する場合(ステップS33:Yes)、画像取込部51は、撮像部164に撮像オフ信号を出力して撮像部164による撮像を終了し(ステップS34)、処理を終了する。
次に、POS端末11の動作について説明する。図10は、POS端末11が実行する売上登録処理の手順を示すフローチャートである。
まず、キーボード22の操作指示による商品登録の開始等に応じて処理が開始されると、CPU61は、商品読取装置101が図9のステップS32で出力した、確定商品の商品IDとその販売個数とを受信する(ステップS41)。次いで、売上登録部611は、ステップS41で受信した商品ID及び販売個数に基づいて、PLUファイルF1から商品種別や単価等を読み出し、商品読取装置101で読み取られた商品Gの売上を売上マスタファイルに登録する(ステップS42)。続いて、CPU61は、キーボード22の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS43)。業務を継続する場合(ステップS43:No)、CPU61は、ステップS41へ再び戻り処理を継続させる。業務を終了する場合(ステップS43:Yes)、CPU61は処理を終了する。
以上のように、本実施形態によれば、撮像部164によって撮像された商品Gの画像を含むフレーム画像を取り込む画像取込部51は、取り込んだフレーム画像の色の属性の変化を検知し、当該色の属性が所定の基準値を超えた場合に、オブジェクト認識エンジン(商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57)を起動させる。従って、オブジェクト認識処理が不要の際のCPU負荷を抑制することができる。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、商品読取装置101において、商品Gを一つずつ撮像する形態について説明したが、一度に撮像する商品Gの個数は特に限らず、複数であってもよい。一度に複数の商品Gを撮像するような場合には、複数の商品Gと登録商品の画像(G1、G2、G3、・・・)との類似度をそれぞれ算出し、算出結果と上記閾値とを比較することにより、確定商品、候補商品を選別すればよい。
また、上述した各表示画面の構成は、図5〜図8の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。
また、上記実施形態では、POS端末11がPLUファイルF1を備える形態としたが、これに限らず、商品読取装置101がPLUファイルF1を備える形態としてもよいし、POS端末11及び商品読取装置101がアクセス可能な外部装置がPLUファイルF1を備える形態としてもよい。
また、上記実施形態では、商品読取装置101が類似度算出部53、類似度判定部54の機能を有するとしたが、これに限らず、POS端末11が類似度算出部53、類似度判定部54の機能を備えて、算出結果や判定結果を商品読取装置101に出力する形態としてもよい。
なお、上述では、複数の閾値として、第1〜第3閾値の3つの閾値によって類似度を4段階に判定する例を挙げて説明したが、実施形態はこれに限定されるものではない。3つ以上の閾値を用いてより多段階に判定するとしてもよいし、2つ以下の閾値を用いて判定してもよい。また、各閾値はユーザによって変更可能に設けられていてもよい。また、上述では、第1〜第3閾値、および条件a〜cを全商品で共通とした例を挙げたが、これに限定されず、登録商品ごとに各閾値や条件がそれぞれ設定されてもよい。
また、上述では、第1の条件を、確認画面72を表示させる場合(条件b)と確認画面72を表示させない場合(条件a)との2段階に分ける実施形態としたが、このように第1の条件を多段階に分けずともよい。即ち、上述の例に沿って他の例を示すと、いずれの条件a、bが満たされた場合にも確認画面72を表示させずに商品を確定する形態としてもよく、また、確認画面72を表示させるか否かを設定可能としてもよい。
また、上記実施形態では、店舗システムとしてPOS端末11と商品読取装置101とで構成されるチェックアウトシステム1を適用したがこれに限るものではなく、POS端末11及び商品読取装置101の機能を備えた1台構成の装置に適用するようにしても良い。POS端末11及び商品読取装置101の機能を備えた1台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置(以降、単にセルフPOSと称する)が挙げられる。
ここで、図11はセルフPOS200の構成を示す外観斜視図、図12はセルフPOS200のハードウェア構成を示すブロック図である。尚、以下では、図1および図2に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図11および図12に示すように、セルフPOS200の本体202は、タッチパネル105が表面に配設された表示デバイス106や、商品の種別等を認識(検出)するために商品画像を読み取る商品読取部110を備えている。
表示デバイス106としては例えば液晶表示器が用いられる。表示デバイス106は、客にセルフPOS200の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部110で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
商品読取部110は、客が商品に付されたコードシンボルを商品読取部110の読取窓103にかざすことで商品画像を撮像部164により読み取るものである。
また、本体202の右側にはかごに入った未精算の商品を置くための商品載置台203が設けられ、本体202の左側には精算済みの商品を置くための商品載置台204が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック205や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台206が設けられている。商品載置台203および204には計量器207,208がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。
また、セルフPOS200の本体202には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器201が設けられている。
このような構成のセルフPOS200を店舗システムに適用した場合、セルフPOS200が情報処理装置として機能することになる。
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
1 店舗システム
51 取込手段
53 類似度算出手段
54 商品候補抽出手段
101,200 情報処理装置
164 撮像手段
611 売上登録処理手段
F1 辞書
特開2003−173369号公報

Claims (6)

  1. 撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、
    前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記類似度に基づいて前記撮像された物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
    を備え、
    前記取込手段は、取り込んだ前記フレーム画像の色の属性の変化を検知し、当該色の属性が所定の基準値を超えた場合に、前記類似度算出手段と前記商品候補抽出手段とを起動させる、
    情報処理装置。
  2. 前記取込手段が変化を検知する前記色の属性は、色の明るさを表す明度である、
    請求項1記載の情報処理装置。
  3. 前記取込手段が変化を検知する前記色の属性は、色味の強さを表す彩度である、
    請求項1または2記載の情報処理装置。
  4. 前記取込手段は、前記基準値を動的に変化させる、
    請求項1記載の情報処理装置。
  5. 撮像手段と、
    前記撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、
    前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記類似度に基づいて前記撮像された物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
    前記登録商品の候補が一の場合は当該登録商品を、または、前記登録商品の候補が複数の場合は選択された一の登録商品を、売上登録処理する売上登録処理手段と、
    を備え、
    前記取込手段は、取り込んだ前記フレーム画像の色の属性の変化を検知し、当該色の属性が所定の基準値を超えた場合に、前記類似度算出手段と前記商品候補抽出手段とを起動させる、
    店舗システム。
  6. コンピュータを、
    撮像手段が撮像した物体の画像を含むフレーム画像を取り込む取込手段と、
    前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記類似度に基づいて前記撮像された物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、
    として機能させ、
    前記取込手段は、取り込んだ前記フレーム画像の色の属性の変化を検知し、当該色の属性が所定の基準値を超えた場合に、前記類似度算出手段と前記商品候補抽出手段とを起動させる、
    プログラム。
JP2012018805A 2012-01-31 2012-01-31 情報処理装置、店舗システム及びプログラム Expired - Fee Related JP5451787B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012018805A JP5451787B2 (ja) 2012-01-31 2012-01-31 情報処理装置、店舗システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012018805A JP5451787B2 (ja) 2012-01-31 2012-01-31 情報処理装置、店舗システム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013267457A Division JP5798175B2 (ja) 2013-12-25 2013-12-25 情報処理装置、店舗システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2013156933A JP2013156933A (ja) 2013-08-15
JP5451787B2 true JP5451787B2 (ja) 2014-03-26

Family

ID=49052022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012018805A Expired - Fee Related JP5451787B2 (ja) 2012-01-31 2012-01-31 情報処理装置、店舗システム及びプログラム

Country Status (1)

Country Link
JP (1) JP5451787B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056616A (ja) * 2013-12-25 2014-03-27 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6862888B2 (ja) * 2017-02-14 2021-04-21 日本電気株式会社 画像認識装置、システム、方法およびプログラム
WO2018151008A1 (ja) 2017-02-14 2018-08-23 日本電気株式会社 画像認識システム、画像認識方法及び記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5403657B2 (ja) * 2009-02-23 2014-01-29 Necインフロンティア株式会社 定置スキャナ、pos端末および決済商品選別方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056616A (ja) * 2013-12-25 2014-03-27 Toshiba Tec Corp 情報処理装置、店舗システム及びプログラム

Also Published As

Publication number Publication date
JP2013156933A (ja) 2013-08-15

Similar Documents

Publication Publication Date Title
JP5483629B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5194160B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP5518918B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
JP6141207B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5656796B2 (ja) 商品データ処理装置、商品データ処理方法及び制御プログラム
JP5612645B2 (ja) 情報処理装置及びプログラム
JP6208091B2 (ja) 情報処理装置およびプログラム
JP2013117872A (ja) 店舗システムおよびプログラム
JP2013186548A (ja) 情報処理装置、店舗システム及びプログラム
JP5551140B2 (ja) 情報処理装置及びプログラム
JP2015053030A (ja) 情報処理装置、店舗システム及びプログラム
JP6239460B2 (ja) 情報処理装置及びプログラム
JP5437404B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6376955B2 (ja) 情報処理装置、販売データ処理装置およびプログラム
JP5770899B2 (ja) 情報処理装置及びプログラム
JP2013156940A (ja) 情報処理装置、店舗システム及びプログラム
JP5451787B2 (ja) 情報処理装置、店舗システム及びプログラム
JP2013156934A (ja) 情報処理装置、店舗システム及びプログラム
JP5802803B2 (ja) 情報処理装置及びプログラム
JP6177199B2 (ja) 情報処理装置及びプログラム
JP5529982B2 (ja) 情報処理装置
JP5798175B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5758527B2 (ja) 情報処理装置、店舗システム及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131226

R150 Certificate of patent or registration of utility model

Ref document number: 5451787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees