JP5579202B2 - 情報処理装置、店舗システム及びプログラム - Google Patents

情報処理装置、店舗システム及びプログラム Download PDF

Info

Publication number
JP5579202B2
JP5579202B2 JP2012006435A JP2012006435A JP5579202B2 JP 5579202 B2 JP5579202 B2 JP 5579202B2 JP 2012006435 A JP2012006435 A JP 2012006435A JP 2012006435 A JP2012006435 A JP 2012006435A JP 5579202 B2 JP5579202 B2 JP 5579202B2
Authority
JP
Japan
Prior art keywords
product
similarity
registered
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012006435A
Other languages
English (en)
Other versions
JP2013145526A (ja
Inventor
英浩 内藤
広志 菅澤
仁志 飯坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2012006435A priority Critical patent/JP5579202B2/ja
Priority to CN201210507212.XA priority patent/CN103208154B/zh
Priority to US13/737,105 priority patent/US20130182899A1/en
Publication of JP2013145526A publication Critical patent/JP2013145526A/ja
Application granted granted Critical
Publication of JP5579202B2 publication Critical patent/JP5579202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。
従来、対象となる物品(オブジェクト)をイメージセンサデバイスにより撮像した画像データから当該対象物品の特徴量を抽出し、予め用意された辞書における照合用のデータ(特徴量)と比較して類似度を算出し、算出した類似度に応じて当該物品の種別等を認識(検出)する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。
ところで、上記した一般物体認識に係る技術では、物品のカテゴリ(商品)のみならず、品種まで認識(検出)するようにしている。
しかしながら、類似度を相対評価として算出する場合に品種まで認識(検出)すると、物品のカテゴリ(商品)に含まれる品種が多いほど各品種の類似度が低くなってしまい、結果的に対象物の候補となる商品として複数個の品種と他の商品とが混在して認識される場合もあり、商品の選定をかえって妨げる可能性がある。
実施形態の情報処理装置は、撮像手段が撮像した画像を取り込む取込手段と、前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品に関する情報を示す上位分類とともに登録されている前記各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、同一の前記上位分類に属する複数の品種の類似度を合算した前記上位分類の類似度が所定の条件を満たしているかを判定する判定手段と、前記判定手段で前記所定の条件を満たした場合には、前記撮像された商品の候補として当該所定の条件を満たした前記複数の品種に対応する商品に関する情報を出力する手段と、を備える。
実施形態の店舗システムは、撮像手段が撮像した画像を取り込む取込手段と、前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品に関する情報を示す上位分類とともに登録されている前記各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、同一の前記上位分類に属する複数の品種の類似度を合算した前記上位分類の類似度が所定の条件を満たしているかを判定する判定手段と、前記判定手段で前記所定の条件を満たした場合には、前記撮像された商品の候補として当該所定の条件を満たした前記複数の品種に対応する商品に関する情報を出力する手段と、前記商品の候補から少なくとも1つが選択操作された場合に、当該商品の候補を前記撮像手段によって撮像された商品として確定する操作を受付ける受付手段と、前記判定手段または前記受付手段によって確定された前記撮像手段によって撮像された商品を、売上登録処理する売上登録処理手段と、を備える。
実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像を取り込む取込手段と、前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品に関する情報を示す上位分類とともに登録されている前記各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、同一の前記上位分類に属する複数の品種の類似度を合算した前記上位分類の類似度が所定の条件を満たしているかを判定する判定手段と、前記判定手段で前記所定の条件を満たした場合には、前記撮像された商品の候補として当該所定の条件を満たした前記複数の品種に対応する商品に関する情報を出力する手段と、として機能させる。
図1は、実施形態のチェックアウトシステムの一例を示す斜視図である。 図2は、POS端末及び商品読取装置のハードウェア構成を示すブロック図である。 図3は、PLUファイルのデータ構成を例示する概念図である。 図4は、POS端末及び商品読取装置の機能構成を示すブロック図である。 図5は、フレーム画像の一例を示す図である。 図6は、確定画面の一例を示す図である。 図7は、確認画面の一例を示す図である。 図8は、商品候補のイラスト画像が表示された画面例を示す図である。 図9は、商品候補の品種選択画面例を示す図である。 図10は、商品識別処理の手順を示すフローチャートである。 図11は、売上登録処理の手順を示すフローチャートである。 図12は、セルフPOSの構成を示す外観斜視図である。 図13は、セルフPOSのハードウェア構成を示すブロック図である。
以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置、店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
図1は、チェックアウトシステム1の一例を示す斜視図である。図1に示すように、チェックアウトシステム1は、商品に関する情報を読み取る商品読取装置101と、一取引に係る商品の登録、精算を行うPOS端末11とを備える。以下では、商品読取装置101を本実施形態にかかる情報処理装置として適用する例について説明する。
POS端末11は、チェックアウト台41上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転可能に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
POS端末11が載置されているチェックアウト台41とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受け面152が形成されている。荷受け面152には、商品Gを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に載置される第2の買物カゴ153bとに分けて考えることができる。なお、買物カゴ153は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ153(第2の買物カゴ153b)は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
カウンタ台151の荷受け面152には、POS端末11とデータ送受信可能に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示部である表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。
このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部164(図2参照)を配置している。
顧客によって持ち込まれた第1の買物カゴ153aには、一取引に係る商品Gが収納されている。第1の買物カゴ153a内の商品Gは、商品読取装置101を操作するオペレータにより第2の買物カゴ153bに移動される。この移動過程で、商品Gが商品読取装置101の読取窓103に向けられる。この際、読取窓103内に配置された撮像部164(図2参照)は商品Gを撮像する。
商品読取装置101では、撮像部164により撮像された画像に含まれる商品Gが、後述するPLUファイルF1(図3参照)に登録されたどの商品に対応するかを指定させるための画面を表示・操作部104に表示し、指定された商品の商品IDをPOS端末11に通知する。POS端末11では、商品読取装置101から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル(図示しない)等に記録して売上登録を行う。
図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。
キーボード22は、「1」、「2」、「3」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。
POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により実行される。HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されているPLUファイルF1である。
PLUファイルF1は、辞書として用いられるものであって、店舗に陳列して販売する商品Gの各々について、商品Gの売上登録にかかる情報と、その商品Gの画像との関連付けが設定された商品ファイルである。
図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、商品Gごとに、ユニークに割り当てられた商品ID、商品Gが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像(基準画像)と、その商品を示すイラスト画像と、撮像した商品画像や基準画像から読み取られる色合いや表面の凹凸状況等の特徴量とを、その商品Gの商品情報として格納するファイルである。尚、特徴量は、後述する類似度の判定に用いられる。なお、PLUファイルF1は、後述する接続インターフェース65を介し、商品読取装置101が読み出し可能に構成されている。
なお、物品のカテゴリ(商品)のみならず品種まで認識(検出)する必要がある場合においては、PLUファイルF1は、図3に示すように、品種ごとに商品名や単価等の商品に関する情報と、その商品を撮像した商品画像(基準画像)と、その商品を示すイラスト画像と、特徴量とを管理する。例えば、物品のカテゴリ(商品)が「リンゴ」の場合において、「ふじ」「ジョナゴールド」「つがる」「紅玉」のような品種ごとに商品名や単価等の商品に関する情報と、その商品を撮像した商品画像(基準画像)と、その商品を示すイラスト画像と、特徴量とを管理する。
図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるPLUファイルF1が格納されている。
さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシート等に印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御の下、一取引の取引内容をレシートに印字する。
商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像部164、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介して、商品読取部110及びPOS端末11に接続されている。表示・操作部104は、商品読取部110のCPU161、POS端末11のCPU61によって動作が制御される。
撮像部164は、カラーCCDイメージセンサやカラーCMOSイメージセンサ等であり、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像(撮像画像)はRAM163に保存される。
音声出力部165は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部165は、CPU161の制御の下で警告音や音声による報知を行う。
さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。また、CPU161は、接続インターフェース175を介して、表示・操作部104との間でデータ送受信を行う。
次に、CPU161、CPU61がプログラムを実行することで実現されるCPU161、CPU61の機能構成について、図4を参照して説明する。
図4は、POS端末11及び商品読取装置101の機能構成を示すブロック図である。図4に示すように、商品読取装置101のCPU161は、ROM162が格納するプログラムを実行することにより、画像取込部51、商品検出部52、類似度算出部53、類似度判定部54、確定報知部55、商品候補提示部56、入力受付部57、情報出力部58としての機能を備える。また、同様に、POS端末11のCPU61は、プログラムPRを実行することにより、売上登録処理手段である売上登録部611としての機能を備える。
画像取込部51は、取込手段として機能するものであって、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。画像取込部51は、撮像動作開始後に撮像部164が撮像してRAM163に保存されたフレーム画像を順次取り込む。画像取込部51によるフレーム画像の取り込みは、RAM163に保存された順に行われる。
図5は、画像取込部51によって取り込まれたフレーム画像の一例を示す図である。図5に示すように、オペレータが読取窓103に商品Gをかざすと、撮像部164の読取領域Rには商品Gの全部または一部が撮影されて商品読取装置101の表示デバイス106に表示される。
商品検出部52は、画像取込部51により取り込まれたフレーム画像に含まれる商品Gの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を2値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓103に向けられた商品を検出する。
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。
類似度算出部53は、類似度算出手段として機能するものであって、撮像部164により撮像された商品Gの全部または一部の画像から、商品Gの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部53は、処理時間の短縮を図るため、商品Gの輪郭や大きさは考慮しないものとする。
また、類似度算出部53は、PLUファイルF1に登録されている各商品(以下、登録商品という)の商品画像の色合いや表面の凹凸状況等の表面の状態である特徴量と、商品Gの特徴量とをそれぞれ比較することで、商品GとPLUファイルF1に登録された登録商品との類似度を算出する。ここで、類似度は、PLUファイルF1に記憶されている各商品の商品登録時の商品画像を100%=「類似度:1.0」とした場合に、商品Gの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
なお、撮像された商品Gの画像と、PLUファイルF1に登録された登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Gの画像と、PLUファイルF1に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合、撮像された商品Gの画像と、PLUファイルF1に登録された各登録商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、PLUファイルF1に5つの登録商品(商品GA、GB、GC、GD、GE)が登録されていたとすると、撮像された商品Gは、商品GAに対して類似度が0.6、商品GBに対しては類似度が0.1、商品GCに対しては類似度が0.1、商品GDに対しては類似度が0.1、商品GEに対しては類似度が0.1等、各登録商品との類似度の総和が1.0(100%)となるよう算出すればよい。
類似度判定部54は、判定手段として機能するものであって、画像取込部51が取り込んだフレーム画像ごとに、商品Gの画像と、PLUファイルF1に登録されている登録商品との類似度を比較する。本実施形態では、登録商品の商品画像と商品Gの画像との類似度について複数の条件が段階的に設けられており、類似度判定部54は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件a〜dを用いる場合について説明する。
ここで、条件aおよび条件bは、本実施形態に係る第1の条件であり、撮像部164が撮像した商品GをPLUファイルF1に登録された登録商品のうち一の商品として確定するための条件である。また、条件cは、本実施形態に係る第2の条件であり、PLUファイルF1に登録された登録商品中に同一のカテゴリ(商品)に属する異なる品種の物品が複数含まれていない場合に、撮像部164が撮像した商品Gの候補を抽出するための条件である。さらに、条件dは、本実施形態に係る第3の条件であり、条件cを満たした商品の候補中に同一のカテゴリ(商品)に属する異なる品種の物品が複数含まれている場合に、撮像部164が撮像した商品Gの候補を抽出するための条件である。
類似度判定部54は、条件aまたは条件bを満たす登録商品を、撮像部164が撮像した商品Gに一対一で対応する商品(以下、確定商品という)であると判定(確定)する。また、類似度判定部54は、条件cを満たす登録商品については、確定商品ではなく、撮像部164が撮像した商品Gの候補(以下、商品候補という)であると判定する。そして、PLUファイルF1に登録された複数の登録商品から条件cを満たす登録商品を抽出することにより、商品Gに対する商品候補を抽出する。
また、類似度判定部54は、条件dを満たす登録商品(同一のカテゴリ(商品)に属する異なる品種の物品)についても、確定商品ではなく、撮像部164が撮像した商品Gの候補であると判定する。そして、PLUファイルF1に登録された複数の登録商品から条件dを満たす登録商品を抽出することにより、商品Gに対する商品候補を抽出する。
条件a〜cは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件a〜cを設けることができる。ここでは、第1閾値〜第3閾値によって条件a〜cを設定する場合について説明する。なお、第1〜3閾値の大小関係は、第1閾値>第2閾値>第3閾値とする。
類似度判定部54は、登録商品との類似度が予め定められた第1閾値(例えば90%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件aが満たされたと判定する。尚、第1閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を1回として条件aを判定してもよい。
また、類似度判定部54は、登録商品との類似度が第1閾値(例えば90%)未満、かつ、第1閾値より小さい第2閾値(例えば75%)以上となった場合に条件bが満たされたと判定する。そして、条件bを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第1閾値(例えば90%)未満、かつ、第1閾値より小さい第2閾値(例えば75%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件bが満たされたと判定してもよい。
さらに、類似度判定部54は、登録商品との類似度が第2閾値(例えば75%)未満、かつ、第2閾値より小さい第3閾値(例えば10%)以上である場合に、条件cが満たされたと判定する。なお、さらには登録商品との類似度が第2閾値(例えば75%)未満、かつ、第2閾値より小さい第3閾値(例えば10%)以上となった回数をカウントし、この回数が所定回数以上となった場合に条件cが満たされたと判定してもよい。
なお、各条件a〜cは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件a〜cの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。
加えて、類似度判定部54は、条件cを満たした登録商品中に同一のカテゴリ(商品)に属する異なる品種の物品が複数含まれている場合には、当該複数の品種の類似度を合算し、複数の品種の類似度を合算したカテゴリ(商品)の類似度が予め定められた第2閾値(例えば75%)以上となった場合、条件dが満たされたと判定する。
確定報知部55は、報知手段として機能するものであって、撮像部164によって撮像された商品が、条件aまたは条件bを満たした登録商品であるとして一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。
より詳細には、確定報知部55は、条件aを満たした登録商品が、撮像部164によって撮像された商品(確定商品)として一意的に確定されたことを示す確定画面71(図6参照)を表示デバイス106に表示させる。
図6は、確定画面71の一例を示す図である。条件aを満たす登録商品があった場合に、確定報知部55は読取領域R(図5参照)の撮像画像の表示を停止し、確定商品に対応するイラスト画像G1および商品名「にんじん」をPLUファイルF1から読み出して、確定画面71に表示する。また、確定報知部55は、PLUファイルF1から読み出した確定商品の商品名、商品価格(単価)を、商品名表示領域81、価格表示領域82にそれぞれ表示する。尚、確定報知部55は、イラスト画像G1の代わりに、PLUファイルF1から読み出した商品画像(写真)を表示してもよい。
また、確定報知部55は、この確定画面71の表示のタイミングに合わせて、PLUファイルF1から読み出した商品名等、確定商品に関する情報を音声出力部165に出力する。音声出力部165は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。
また、確定報知部55は、条件bを満たした登録商品(確定商品)が、撮像部164によって撮像された商品Gであるか否かの最終確認操作を受付ける確認画面72(図7参照)を表示デバイス106に表示させる。
図7は、確認画面72の一例を示す図である。条件bを満たす登録商品があった場合に、確定報知部55は確定商品に対応するイラスト画像G1をPLUファイルF1から読み出して、確認画面72に表示する。また、確定報知部55は、PLUファイルF1から読み出した確定商品の商品名を用いて、読み取られた商品Gがイラスト画像G1の商品であるか否かを問うメッセージを「にんじんですか?」等と表示する。また、確認画面72には、「はい/いいえ」等のボタンがタッチパネル105に対するタッチ操作によって選択操作可能に設けられる。
このように、確認画面72においては、類似度判定の結果、1つの商品Gに対して唯一に選別された登録商品(確定商品)の商品名や商品画像が示され、商品Gと登録商品とが一対一の関係を持って表示される。従って、確認画面72は、条件bを満たす登録商品が撮像部164によって撮像された商品Gとして一意的に確定されたことを報知する画面である。
本実施形態では、このように撮像された商品が一意的に確定した場合に、撮像画像に替えて確定商品のイラスト画像を表示する。従って、オペレータは商品の識別が確定したことを直感的に認識することができ、かつ、識別された商品がどの商品であるかを一目で認識することができる。
なお、確定報知部55は、確認画面72が表示されるタイミングに合わせて、確定商品に関する情報を音声出力部165に音声出力させるとしてもよいし、確認画面72では音声出力を行わないとしてもよい。確定画面71、確認画面72における音声出力の有無は、適宜設定可能である。
商品候補提示部56は、条件cを満たした登録商品に関する情報を、商品候補として表示デバイス106に表示させる。より詳細には、商品候補提示部56は、条件cを満たした登録商品のイラスト画像および商品名をPLUファイルF1から読み出し、類似度算出部53が算出した類似度の高いものから、表示デバイス106に順次出力する。表示デバイス106は、商品候補提示領域83(図8参照)において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。
図8は、商品候補のイラスト画像G1、G2、G3が表示された画面例を示す図である。図8に示すように、商品候補提示領域83には、類似度の高い登録商品から順に、商品候補のイラスト画像G1、G2、G3および各商品名が表示される。これらイラスト画像G1、G2、G3はタッチパネル105に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域83の下部には、商品リストから商品を選択するための選択ボタン84が設けられており、商品リストから選択された商品は上述した確定商品として処理される。尚、図8では、イラスト画像G1〜G3に対応する3つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に替えて商品画像(写真)を表示してもよい。
なお、表示デバイス106に商品候補のイラスト画像G1〜G3が表示されていても、これら商品候補に対する選択操作を受付けない場合には、画像取込部51による画像取込処理、商品検出部52による検出処理、および類似度算出部53による類似度算出処理は継続される。従って、商品候補が選択されない間は、表示デバイス106の画面に読取領域Rの撮像画像が表示される。
加えて、商品候補提示部56は、条件dを満たした同一のカテゴリ(商品)に属する異なる品種の物品である登録商品に関する情報を、商品候補として表示デバイス106に表示させる。より詳細には、商品候補提示部56は、条件dを満たした登録商品(同一のカテゴリ(商品)に属する異なる品種の物品)のイラスト画像および商品名をPLUファイルF1から読み出し、類似度算出部53が算出した類似度の高いものから、表示デバイス106に順次出力する。表示デバイス106は、品種選択画面85(図9参照)において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。
なお、商品候補提示部56は、条件dを満たした登録商品(同一のカテゴリ(商品)に属する異なる品種の物品)のイラスト画像および商品名をPLUファイルF1から読み出し、予め表示デバイス106の品種選択画面85における商品の選択回数をカウントしていることを条件として、選択回数が多いものから、表示デバイス106に順次出力するようにしても良い。
図9は、商品候補の品種選択画面例を示す図である。図9に示すように、実際に認識した画像であるフレーム画像に重畳されて表示される品種選択画面85には、類似度の高い登録商品(同一のカテゴリ(商品)に属する異なる品種の物品)から順に、商品候補のイラスト画像G4、G5、G6および各品種名が表示される。なお、商品候補のイラスト画像G4、G5、G6に類似度も表示するようにしても良い。これらイラスト画像G4、G5、G6はタッチパネル105に対する選択操作に応じて選択可能に構成されている。尚、図9では、イラスト画像G1のカテゴリ(商品)に属する異なる品種の物品である商品候補のイラスト画像G4、G5、G6の3つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。商品候補数が多い場合には、「他の品種を選択」ボタンやスクロールボタンを設けるようにして、ボタン操作によって商品候補のイラスト画像を順に表示するようにしても良い。また、イラスト画像に替えて商品画像(写真)を表示してもよい。
入力受付部57は、受付手段として機能するものであって、タッチパネル105またはキーボード107を介して表示デバイス106の表示に対応する各種入力操作を受付ける。例えば入力受付部57は、確認画面72(図7参照)に対する選択操作に基づいて、表示されたイラスト画像G1の商品が確定商品であることを最終確認した旨の入力操作(確認操作)を受付ける。尚、確定報知部55は、入力受付部57が確認操作を受付けた場合に、上述の確定画面71を表示デバイス106に表示する。
入力受付部57は、表示デバイス106に表示された商品候補のイラスト画像G1〜G3(図8参照)の中からいずれか1つのイラスト画像に対する選択操作を受付ける。入力受付部57は、選択されたイラスト画像の登録商品を、商品Gに対する確定商品であるとして受付ける。尚、商品検出部52が複数の商品Gを検出可能である場合には、入力受付部57は商品候補の中から、複数の商品候補の選択操作を受付けてもよい。尚、確定報知部55は、入力受付部57が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面71を表示デバイス106に表示させる。
また、入力受付部57は、表示デバイス106に表示された品種選択画面85のイラスト画像G4〜G6(図9参照)の中からいずれか1つのイラスト画像に対する選択操作を受付ける。尚、確定報知部55は、入力受付部57が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面71を表示デバイス106に表示させる。
情報出力部58は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名等)を、接続インターフェース175を介してPOS端末11に出力する。
尚、情報出力部58は、タッチパネル105又はキーボード107を介して別途入力された販売個数を、商品ID等とともにPOS端末11に出力するとしてもよい。また、情報出力部58がPOS端末11に出力する情報としては、情報出力部58がPLUファイルF1から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、または、商品画像、イラスト画像のファイル名を通知してもよいし、その商品IDの格納場所(PLUファイルF1での格納アドレス)をPOS端末11に通知してもよい。
POS端末11の売上登録部611は、情報出力部58から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部611は、PLUファイルF1を参照して、通知された商品ID及び当該商品IDに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。
次に、チェックアウトシステム1の動作について詳細に説明する。先ず、商品読取装置101の動作について説明する。図10は、商品読取装置101が実行する商品識別処理の手順を示すフローチャートである。図10では、第1閾値を類似度90%(0.90)、第2閾値を類似度75%(0.75)、第3閾値を類似度10%(0.10)と設定した場合について説明するが、各閾値はこれらに限定されるものではない。
POS端末11による商品登録の開始等に応じて処理が開始されると、画像取込部51は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する(ステップS11)。
画像取込部51は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS12)。次いで、商品検出部52は、画像取込部51が取り込んだフレーム画像から商品Gの全部または一部の検出を行う(ステップS13)。続いて、類似度算出部53は、商品Gの全部または一部の画像から商品Gの特徴量を読み取り、PLUファイルF1に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する(ステップS14)。
類似度判定部54は、類似度が90%以上となる登録商品があるか否かを判定する(ステップS15)。90%以上となる登録商品が無い場合(ステップS15:No)には、ステップS17に移行する。90%以上となる登録商品がある場合(ステップS15:Yes)には、同一の登録商品に対する類似度が90%以上となった回数が所定回数(例えば、3回)となったか否かを判定する(ステップS16)。所定回数に満たない場合(ステップS16:No)は、ステップS12に戻り、画像取込部51は撮像部164により撮像された新たなフレーム画像を取り込む。
所定回数となった場合(ステップS16:Yes)には、確定報知部55は、確定商品のイラスト画像を含む確定画面71(図6参照)を表示させるとともに、確定商品の商品名を音声通知することにより確定商品を報知する(ステップS23)。また、情報出力部58は、確定商品とされた登録商品の商品ID等を、キーボード107を介して別途入力された販売個数とともにPOS端末11に出力し(ステップS24)、その後はステップS25の処理に移行する。
ステップS15:Noの場合に、類似度判定部54は、類似度が75%以上90%未満となる登録商品があるか否かを判定する(ステップS17)。類似度がこの範囲内となる登録商品がある場合(ステップS17:Yes)には、その登録商品をオペレータの確認を要する確定商品であると判定し、表示デバイス106に確認画面72を表示させる(ステップS18)。入力受付部57は、確認画面72(図7参照)において「はい」が選択されたか否かを判定する(ステップS19)。「はい」が選択された場合(ステップS19:Yes)にはステップS23に移行し、確定報知部55は確定画面71を表示させる。一方、「いいえ」が選択された場合(ステップS19:No)にはステップS12に戻る。
一方、類似度が75%以上90%未満となる登録商品が無い場合(ステップS17:No)に、類似度判定部54は、類似度が10%以上75%未満の登録商品があるか否かを判定し、類似度がこの範囲内である登録商品を商品Gの商品候補として抽出する(ステップS20)。この範囲内の登録商品が無い場合(ステップS20:No)には、ステップS12に戻る。
類似度が10%以上75%未満の登録商品がある場合(ステップS20:Yes)には、類似度判定部54は、同一のカテゴリに属する異なる品種の物品が複数あるか否かを判定する(ステップS27)。同一のカテゴリに属する異なる品種の物品が複数無い場合(ステップS27:No)には、類似度判定部54は、該当する登録商品を商品Gの商品候補であると判定する。そして、商品候補提示部56は、商品候補として判定された登録商品のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域83に表示する(ステップS21)。
入力受付部57は、登録商品の商品画像に対する選択操作を受付けたか否かを判定する(ステップS22)。選択を受付けた場合(ステップS22:Yes)にはステップS23に移行し、確定報知部55は確定画面71を表示させる。一方、選択を受付けない場合(ステップS22:No)にはステップS12に移行する。
一方、同一のカテゴリに属する異なる品種の物品が複数ある場合(ステップS27:Yes)には、当該複数の品種の類似度を合算し(ステップS28)、合算した類似度が予め定められた第2閾値(例えば75%)以上となった場合(ステップS29:Yes)には、類似度判定部54は、同一のカテゴリに属する異なる品種の複数の物品を商品Gの商品候補であると判定する。そして、商品候補提示部56は、商品候補として判定された登録商品(同一のカテゴリ(商品)に属する異なる品種の物品)のイラスト画像および商品名を、類似度の高い順にソートして商品候補提示領域83に品種選択画面85を表示する(ステップS30)。
入力受付部57は、登録商品(同一のカテゴリ(商品)に属する異なる品種の物品)の商品画像に対する選択操作を受付けたか否かを判定する(ステップS31)。選択を受付けた場合(ステップS31:Yes)にはステップS23に移行し、確定報知部55は確定画面71を表示させる。一方、選択を受付けない場合(ステップS31:No)にはステップS12に移行する。
ステップS25においてCPU161は、POS端末11から商品登録の終了通知等による業務終了の有無を判定する。業務を継続する場合(ステップS25:No)、CPU161は、ステップS12へ処理を戻して処理を継続させる。業務を終了する場合(ステップS25:Yes)、画像取込部51は、撮像部164に撮像オフ信号を出力して撮像部164による撮像を終了し(ステップS26)、処理を終了する。
次に、POS端末11の動作について説明する。図11は、POS端末11が実行する売上登録処理の手順を示すフローチャートである。
まず、キーボード22の操作指示による商品登録の開始等に応じて処理が開始されると、CPU61は、商品読取装置101が図10のステップS24で出力した、確定商品の商品IDとその販売個数とを受信する(ステップS41)。次いで、CPU61(売上登録部611)は、ステップS41で受信した商品ID及び販売個数に基づいて、PLUファイルF1から商品種別や単価等を読み出し、商品読取装置101で読み取られた商品Gの売上を売上マスタファイルに登録する(ステップS42)。続いて、CPU61は、キーボード22の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS43)。業務を継続する場合(ステップS43:No)、CPU61は、ステップS41へ再び戻り処理を継続させる。業務を終了する場合(ステップS43:Yes)、CPU61は処理を終了する。
以上のように、本実施形態によれば、撮像された商品の候補を抽出する第2の条件を満たした商品の候補中に同一の上位分類に属する異なる品種の物品が複数含まれている場合に、当該複数の品種の類似度を合算した上位分類の類似度が、複数の品種の中から撮像された商品の候補を抽出する第3の条件を満たしているかを判定し、第3の条件を満たした場合には、撮像された商品の候補として当該第3の条件を満たした基準画像に対応する商品に関する情報を報知する。従って、第3の条件が満たされた場合には、同一の上位分類に属する異なる品種の物品を一つの物品とし、どの品種を認識した場合でもその上位分類を認識するようにすることができるため、物品の認識率を向上させることができる。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、商品読取装置101において、商品Gを一つずつ撮像する形態について説明したが、一度に撮像する商品Gの個数は特に限らず、複数であってもよい。一度に複数の商品Gを撮像するような場合には、複数の商品Gと登録商品の画像(G1、G2、G3、・・・)との類似度をそれぞれ算出し、算出結果と上記閾値とを比較することにより、確定商品、候補商品を選別すればよい。
また、上述した各表示画面の構成は、図5〜図9の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。
また、上記実施形態では、POS端末11がPLUファイルF1を備える形態としたが、これに限らず、商品読取装置101がPLUファイルF1を備える形態としてもよいし、POS端末11及び商品読取装置101がアクセス可能な外部装置がPLUファイルF1を備える形態としてもよい。
また、上記実施形態では、類似度算出部53、類似度判定部54の機能を有する情報処理装置として商品読取装置101を適用したが、これに限らず、類似度算出部53、類似度判定部54の機能を備えて、算出結果や判定結果を商品読取装置101に出力する情報処理装置としてPOS端末11を適用してもよい。
なお、上述では、複数の閾値として、第1〜第3閾値の3つの閾値によって類似度を4段階に判定する例を挙げて説明したが、実施形態はこれに限定されるものではない。3つ以上の閾値を用いてより多段階に判定するとしてもよいし、2つ以下の閾値を用いて判定してもよい。また、各閾値はユーザによって変更可能に設けられていてもよい。また、上述では、第1〜第3閾値、および条件a〜dを全商品で共通とした例を挙げたが、これに限定されず、登録商品ごとに各閾値や条件がそれぞれ設定されてもよい。
また、上述では、第1の条件を、確認画面72を表示させる場合(条件b)と確認画面72を表示させない場合(条件a)との2段階に分ける実施形態としたが、このように第1の条件を多段階に分けずともよい。即ち、上述の例に沿って他の例を示すと、いずれの条件a、bが満たされた場合にも確認画面72を表示させずに商品を確定する形態としてもよく、また、確認画面72を表示させるか否かを設定可能としてもよい。
また、上記実施形態では、店舗システムとしてPOS端末11と商品読取装置101とで構成されるチェックアウトシステム1を適用したがこれに限るものではなく、POS端末11及び商品読取装置101の機能を備えた1台構成の装置に適用するようにしても良い。POS端末11及び商品読取装置101の機能を備えた1台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置(以降、単にセルフPOSと称する)が挙げられる。
ここで、図12はセルフPOS200の構成を示す外観斜視図、図13はセルフPOS200のハードウェア構成を示すブロック図である。尚、以下では、図1および図2に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図12および図13に示すように、セルフPOS200の本体202は、タッチパネル105が表面に配設された表示デバイス106や、商品の種別等を認識(検出)するために商品画像を読み取る商品読取部110を備えている。
表示デバイス106としては例えば液晶表示器が用いられる。表示デバイス106は、客にセルフPOS200の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部110で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
商品読取部110は、客が商品に付されたコードシンボルを商品読取部110の読取窓103にかざすことで商品画像を撮像部164により読み取るものである。
また、本体202の右側にはかごに入った未精算の商品を置くための商品載置台203が設けられ、本体202の左側には精算済みの商品を置くための商品載置台204が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック205や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台206が設けられている。商品載置台203および204には計量器207,208がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。
また、セルフPOS200の本体202には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器201が設けられている。
このような構成のセルフPOS200を店舗システムに適用した場合、セルフPOS200が情報処理装置として機能することになる。
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
1 店舗システム
51 取込手段
53 類似度算出手段
54 判定手段
55 報知手段
57 受付手段
101 情報処理装置
106 表示部
164 撮像手段
611 売上登録処理手段
F1 辞書
特開2003−173369号公報

Claims (9)

  1. 撮像手段が撮像した画像を取り込む取込手段と、
    前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品に関する情報を示す上位分類とともに登録されている前記各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、同一の前記上位分類に属する複数の品種の類似度を合算した前記上位分類の類似度が所定の条件を満たしているかを判定する判定手段と、
    前記判定手段で前記所定の条件を満たした場合には、前記撮像された商品の候補として当該所定の条件を満たした前記複数の品種に対応する商品に関する情報を出力する手段と、
    を備える情報処理装置。
  2. 前記判定手段は、前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、当該類似度が、前記撮像された物体を前記基準画像に対応する一の商品として確定する第1の条件を満たしているかを判定し、
    前記報知手段は、前記判定手段で前記第1の条件を満たした場合には、前記撮像された商品が当該第1の条件を満たした前記基準画像に対応する商品として確定されたことを報知する、
    請求項1記載の情報処理装置。
  3. 前記報知手段は、前記所定の条件を満たした同一の前記上位分類に属する異なる品種の物品である登録商品に関する情報を、商品候補として表示部に表示する、
    請求項1または2記載の情報処理装置。
  4. 前記報知手段は、前記商品候補である登録商品に関する情報を類似度の高いものから順に表示する、
    請求項3記載の情報処理装置。
  5. 前記報知手段は、前記商品候補である登録商品に関する情報を選択回数の多いものから順に表示する、
    請求項3記載の情報処理装置。
  6. 撮像手段が撮像した画像を取り込む取込手段と、
    前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品に関する情報を示す上位分類とともに登録されている前記各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、同一の前記上位分類に属する複数の品種の類似度を合算した前記上位分類の類似度が所定の条件を満たしているかを判定する判定手段と、
    前記判定手段で前記所定の条件を満たした場合には、前記撮像された商品の候補として当該所定の条件を満たした前記複数の品種に対応する商品に関する情報を出力する手段と、
    前記商品の候補から少なくとも1つが選択操作された場合に、当該商品の候補を前記撮像手段によって撮像された商品として確定する操作を受付ける受付手段と、
    前記判定手段または前記受付手段によって確定された前記撮像手段によって撮像された商品を、売上登録処理する売上登録処理手段と、
    を備える店舗システム。
  7. コンピュータを、
    撮像手段が撮像した画像を取り込む取込手段と、
    前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品に関する情報を示す上位分類とともに登録されている前記各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、同一の前記上位分類に属する複数の品種の類似度を合算した前記上位分類の類似度が所定の条件を満たしているかを判定する判定手段と、
    前記判定手段で前記所定の条件を満たした場合には、前記撮像された商品の候補として当該所定の条件を満たした前記複数の品種に対応する商品に関する情報を出力する手段と、
    として機能させるためのプログラム。
  8. 撮像手段が撮像した画像を取り込む取込手段と、
    前記撮像手段で撮像された物体の画像と、辞書に登録された各登録商品に関する情報を示す上位分類とともに登録されている前記各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
    前記取込手段が取り込んだ画像ごとに基準画像との類似度を比較し、同一の前記上位分類の類似度が所定の条件を満たした場合には、当該上位分類に対応する商品に関する情報を、前記撮像された商品の候補として表示デバイスに表示する商品候補提示部と、
    を備え
    前記表示デバイスは、第1の表示領域と第2の表示領域とを有しており、
    前記商品候補提示部は、前記第1の表示領域には、同一の前記上位分類に属する複数の品種に対応する商品に関する情報を表示し、前記第2の表示領域には、前記第1の表示領域に表示されている商品以外の商品候補についての情報を表示する、
    情報処理装置。
  9. 前記商品候補提示部は、前記第1の表示領域を、前記撮像手段で撮像された物体の画像に重畳して表示する、
    請求項記載の情報処理装置。
JP2012006435A 2012-01-16 2012-01-16 情報処理装置、店舗システム及びプログラム Active JP5579202B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012006435A JP5579202B2 (ja) 2012-01-16 2012-01-16 情報処理装置、店舗システム及びプログラム
CN201210507212.XA CN103208154B (zh) 2012-01-16 2012-11-30 信息处理装置、店铺系统及信息处理方法
US13/737,105 US20130182899A1 (en) 2012-01-16 2013-01-09 Information processing apparatus, store system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012006435A JP5579202B2 (ja) 2012-01-16 2012-01-16 情報処理装置、店舗システム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014139892A Division JP5802803B2 (ja) 2014-07-07 2014-07-07 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2013145526A JP2013145526A (ja) 2013-07-25
JP5579202B2 true JP5579202B2 (ja) 2014-08-27

Family

ID=48755368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012006435A Active JP5579202B2 (ja) 2012-01-16 2012-01-16 情報処理装置、店舗システム及びプログラム

Country Status (3)

Country Link
US (1) US20130182899A1 (ja)
JP (1) JP5579202B2 (ja)
CN (1) CN103208154B (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5553866B2 (ja) * 2012-07-23 2014-07-16 東芝テック株式会社 商品認識装置及び認識辞書追加プログラム
JP2015038719A (ja) * 2013-07-16 2015-02-26 東芝テック株式会社 情報処理装置及びプログラム
JP5885708B2 (ja) * 2013-08-08 2016-03-15 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP5797703B2 (ja) * 2013-08-08 2015-10-21 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6360350B2 (ja) * 2013-08-08 2018-07-18 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP5903414B2 (ja) * 2013-09-04 2016-04-13 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
CN103632461B (zh) * 2013-11-08 2016-07-06 青岛中科英泰商用系统股份有限公司 一种超市自助结算用防损的方法
JP6141207B2 (ja) * 2014-01-07 2017-06-07 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
EP3591577A1 (en) * 2014-05-22 2020-01-08 Sony Corporation Information processing apparatus, information processing method, and program
JP6329840B2 (ja) * 2014-07-30 2018-05-23 東芝テック株式会社 認識辞書管理装置及びプログラム
JP6369258B2 (ja) * 2014-09-22 2018-08-08 カシオ計算機株式会社 商品登録装置、商品登録方法およびプログラム
JP6555866B2 (ja) * 2014-09-22 2019-08-07 カシオ計算機株式会社 商品登録装置及びプログラム
US20160110791A1 (en) 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
JP6348827B2 (ja) * 2014-11-17 2018-06-27 東芝テック株式会社 情報処理装置、店舗システムおよびプログラム
JP6428240B2 (ja) * 2014-12-17 2018-11-28 カシオ計算機株式会社 商品登録装置、商品認識方法、およびプログラム
JP6263483B2 (ja) * 2015-01-26 2018-01-17 東芝テック株式会社 物品認識装置、販売データ処理装置および制御プログラム
JP6648408B2 (ja) * 2015-03-23 2020-02-14 日本電気株式会社 商品登録装置、プログラム、及び制御方法
JP6329112B2 (ja) * 2015-09-16 2018-05-23 東芝テック株式会社 情報処理装置及びプログラム
JP6272810B2 (ja) * 2015-09-30 2018-01-31 東芝テック株式会社 情報処理装置およびプログラム
JP6517666B2 (ja) * 2015-11-02 2019-05-22 株式会社東芝 物品管理装置、その方法、及びそのプログラム
US20170193290A1 (en) * 2016-01-06 2017-07-06 Toshiba Tec Kabushiki Kaisha Commodity registration apparatus and commodity registration method
WO2017126217A1 (ja) * 2016-01-21 2017-07-27 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
KR101769981B1 (ko) * 2016-03-29 2017-08-22 네이버 주식회사 이미지를 이용한 번역문 제공 방법, 사용자 단말, 서버, 시스템 및 컴퓨터 프로그램
JP2017211880A (ja) * 2016-05-26 2017-11-30 東芝テック株式会社 情報処理装置及びプログラム
JP6760780B2 (ja) * 2016-07-04 2020-09-23 東芝テック株式会社 情報処理装置およびプログラム
JP6838903B2 (ja) * 2016-09-13 2021-03-03 東芝テック株式会社 物品読取装置およびプログラム
US10331969B2 (en) * 2016-10-28 2019-06-25 Ncr Corporation Image processing for scale zero validation
JP6869742B2 (ja) * 2017-02-20 2021-05-12 東芝テック株式会社 情報処理装置およびプログラム
JP6336656B2 (ja) * 2017-05-16 2018-06-06 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
KR102457894B1 (ko) * 2017-08-22 2022-10-25 삼성전자주식회사 디스플레이에 표시된 텍스트를 번역하는 방법 및 장치
CN107578582A (zh) * 2017-08-31 2018-01-12 昆山中骏博研互联网科技有限公司 一种批量商品计费系统及计费方法
CN107967773A (zh) * 2017-12-01 2018-04-27 旗瀚科技有限公司 一种基于视觉识别的超市自助购物方法
CN108364422A (zh) * 2018-02-24 2018-08-03 广州逗号智能零售有限公司 无人售货方法及装置
JP7006767B2 (ja) * 2018-03-02 2022-01-24 日本電気株式会社 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム
JP7248010B2 (ja) * 2018-03-22 2023-03-29 日本電気株式会社 登録システム、登録方法及びプログラム
US20210027062A1 (en) * 2018-03-22 2021-01-28 Nec Corporation Object detection system using image recognition, object detection device using image recognition, object detection method using image recognition, and non-transitory storage medium
CN111435096A (zh) * 2019-01-14 2020-07-21 北京京东尚科信息技术有限公司 商品自动称重设备、系统及方法
CN109858441A (zh) * 2019-01-30 2019-06-07 广州轨道交通建设监理有限公司 一种用于施工现场的异常状态监测方法与装置
JP7398779B2 (ja) * 2019-02-12 2023-12-15 株式会社イシダ 計量機
JP7187377B2 (ja) * 2019-04-23 2022-12-12 株式会社日立製作所 物体情報登録装置及び物体情報登録方法
JP7235119B2 (ja) * 2019-08-08 2023-03-08 日本電気株式会社 処理装置、会計装置、処理方法及びプログラム
JP2020074082A (ja) * 2019-10-11 2020-05-14 日本電気株式会社 商品登録装置、プログラム、及び制御方法
JP7457347B2 (ja) * 2020-02-10 2024-03-28 株式会社イシダ 商品候補提示システム及び会計処理システム
JP7487520B2 (ja) * 2020-03-27 2024-05-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、画像読取装置、及びプログラム
CN112181968B (zh) * 2020-09-29 2024-07-19 京东科技控股股份有限公司 统一商品信息的方法、装置、系统及存储介质
JP7144082B2 (ja) * 2021-01-20 2022-09-29 Necプラットフォームズ株式会社 商品認識装置、システム、方法及びプログラム
CN114638613B (zh) * 2022-03-04 2024-10-15 支付宝(杭州)信息技术有限公司 基于身份识别的菜品结算处理方法及装置
WO2024122506A1 (ja) * 2022-12-06 2024-06-13 京セラ株式会社 情報処理装置、情報処理方法及び表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5631976A (en) * 1994-04-29 1997-05-20 International Business Machines Corporation Object imaging system
US5588071A (en) * 1994-10-26 1996-12-24 Minnesota Mining And Manufacturing Company Identifying an area of interest using histogram data arranged in predetermined sequence
US5649070A (en) * 1995-02-17 1997-07-15 International Business Machines Corporation Learning system with prototype replacement
EP0727760A3 (en) * 1995-02-17 1997-01-29 Ibm Product size detection system
US6075594A (en) * 1997-07-16 2000-06-13 Ncr Corporation System and method for spectroscopic product recognition and identification
US6424745B1 (en) * 1998-05-19 2002-07-23 Lucent Technologies Inc. Method and apparatus for object recognition
JP2000194560A (ja) * 1998-12-25 2000-07-14 Fujitsu Ltd 仲介エ―ジェント装置およびこれを備えたエ―ジェントシステム
JP2001229382A (ja) * 2000-02-17 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> 情報蓄積装置,情報検索装置および情報蓄積方法,情報検索方法並びにこれらの方法を記録した記録媒体
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2004127013A (ja) * 2002-10-03 2004-04-22 Matsushita Electric Ind Co Ltd 販売時点情報管理装置
US7118026B2 (en) * 2003-06-26 2006-10-10 International Business Machines Corporation Apparatus, method, and system for positively identifying an item
US8032469B2 (en) * 2008-05-06 2011-10-04 Microsoft Corporation Recommending similar content identified with a neural network
CN101639891B (zh) * 2008-07-28 2012-05-02 汉王科技股份有限公司 一种双摄像头人脸识别装置和方法
JP5403657B2 (ja) * 2009-02-23 2014-01-29 Necインフロンティア株式会社 定置スキャナ、pos端末および決済商品選別方法
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法
JP5551140B2 (ja) * 2011-10-19 2014-07-16 東芝テック株式会社 情報処理装置及びプログラム
JP5194160B1 (ja) * 2011-10-19 2013-05-08 東芝テック株式会社 情報処理装置、情報処理方法及びプログラム
JP5270770B2 (ja) * 2012-01-13 2013-08-21 東芝テック株式会社 情報処理装置及びプログラム
JP2014032539A (ja) * 2012-08-03 2014-02-20 Toshiba Tec Corp オブジェクト認識スキャナシステム、辞書サーバ、オブジェクト認識スキャナ、辞書サーバプログラムおよび制御プログラム
JP6360350B2 (ja) * 2013-08-08 2018-07-18 東芝テック株式会社 情報処理装置、店舗システム及びプログラム

Also Published As

Publication number Publication date
CN103208154B (zh) 2015-09-30
JP2013145526A (ja) 2013-07-25
US20130182899A1 (en) 2013-07-18
CN103208154A (zh) 2013-07-17

Similar Documents

Publication Publication Date Title
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5194160B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6141207B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
JP6147676B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5612645B2 (ja) 情報処理装置及びプログラム
JP6306775B2 (ja) 情報処理装置、及びプログラム
JP5518918B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6360350B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6258761B2 (ja) 情報処理装置及びプログラム
JP5551140B2 (ja) 情報処理装置及びプログラム
JP5437404B2 (ja) 情報処理装置、店舗システム及びプログラム
JP2015038719A (ja) 情報処理装置及びプログラム
JP5770899B2 (ja) 情報処理装置及びプログラム
JP5797703B2 (ja) 情報処理装置、店舗システム及びプログラム
JP2013156940A (ja) 情報処理装置、店舗システム及びプログラム
JP5802803B2 (ja) 情報処理装置及びプログラム
JP5451787B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5529982B2 (ja) 情報処理装置
JP6177199B2 (ja) 情報処理装置及びプログラム
JP2013156934A (ja) 情報処理装置、店舗システム及びプログラム
JP5820011B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP5885708B2 (ja) 情報処理装置、店舗システム及びプログラム
JP5698856B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP6336656B2 (ja) 情報処理装置、店舗システム及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140708

R150 Certificate of patent or registration of utility model

Ref document number: 5579202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150