JP5349554B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP5349554B2
JP5349554B2 JP2011193213A JP2011193213A JP5349554B2 JP 5349554 B2 JP5349554 B2 JP 5349554B2 JP 2011193213 A JP2011193213 A JP 2011193213A JP 2011193213 A JP2011193213 A JP 2011193213A JP 5349554 B2 JP5349554 B2 JP 5349554B2
Authority
JP
Japan
Prior art keywords
image
imaging
unit
customer
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011193213A
Other languages
English (en)
Other versions
JP2013054593A (ja
Inventor
正嗣 福田
Original Assignee
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝テック株式会社 filed Critical 東芝テック株式会社
Priority to JP2011193213A priority Critical patent/JP5349554B2/ja
Publication of JP2013054593A publication Critical patent/JP2013054593A/ja
Application granted granted Critical
Publication of JP5349554B2 publication Critical patent/JP5349554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/206Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、スーパーマーケット等の各種店舗では、会員登録を行った会員(顧客)に対し、所定の特典を提供することで販売促進を図ることが行われている。会員に対する特典としては、例えば、ポイントを発行するポイントサービス制度が利用されている。係るポイントサービス制度では、会員となった顧客に対して取引金額に応じたポイントを付与し、そのポイントを次回以降の取引時に値引等に利用できるものとしている。

上記の会員登録に際して、店舗側では会員となる各顧客に対し、会員番号等の固有の会員識別情報を記録した会員カードを配布することで、各会員の管理を行っている。例えば、上記ポイントサービス制度では、店舗側は会員識別情報を記憶した会員カードを各会員に発行し、各会員の会員識別情報とポイント数と対応付けて管理している。そして、商品の決済時等において、会員カードに記憶された会員識別情報をカードリーダ装置等で読み取り、この会員識別情報に対応する会員に付与されたポイントを特定している。

また、従来、撮像手段で撮像した顧客の顔画像に基づいて顧客を認識し、認識した顧客に関連付けて記憶していた購買履歴等の情報を、店舗側のオペレータ(販売員)に提示する技術が知られている。

しかしながら、上記従来の会員管理に関する技術では、会員(顧客)はポイントサービス制度等の恩恵を受けるために店舗側から発行された会員カードを持参する必要があり、利便性に欠けるものとなっている。また、上記従来の顔認識に関する技術は、販売員側への情報提供及びワントゥーワンマーケティングの実現が主な目的であるため、会員への特典付与の管理に適用することは困難である。

実施の形態の情報処理装置は、購入対象の商品を撮像する第1撮像手段と、前記第1撮像手段で撮像された第1画像と、予め記憶された各商品の商品画像とを照合し、この照合により得られる前記各商品の商品画像との類似度に基づいて、前記第1撮像手段で撮像された商品を認識する商品認識手段と、前記商品を購入する顧客の顔を撮像する第2撮像手段と、前記第2撮像手段で撮像された第2画像と、第1記憶手段に予め記憶された各会員の顔画像とを照合し、この照合により得られる前記各会員の顔画像との類似度に基づいて、前記第2撮像手段で撮像された顧客が会員か否かを判定する会員判定手段と、前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が会員と判定した顧客に対し所定の特典を付与する特典付与手段と、前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が非会員と判定した顧客の前記第2画像を、この取引を識別する取引識別情報と関連付けて第2記憶手段に格納する格納手段と、前記取引識別情報を、会員登録を促すメッセージととともに印字した用紙を出力する出力手段と、前記用紙に印字された前記取引識別情報の入力を受け付けると、当該取引識別情報関連付けられた前記第2画像を前記第2記憶手段から読み出し、前記会員の顔画像として前記第1記憶手段に格納する会員登録手段と、を備える。

図1は、実施形態に係るチェックアウトシステムの一例を示す斜視図である。 図2は、POS端末及び商品撮像装置のハードウェア構成を示すブロック図である。 図3は、PLUファイルのデータ構成を例示する概念図である。 図4は、会員管理ファイルのデータ構成を例示する概念図である。 図5は、POS端末及び商品撮像装置の機能構成を示すブロック図である。 図6は、POS端末が出力するレシートの一例を示す図である。 図7は、商品撮像装置が行う画像出力処理の手順を示すフローチャートである。 図8は、POS端末が行う売上登録処理の手順を示すフローチャートである。 図9は、商品撮像装置の他の構成例を示す図である。

以下、チェックアウトシステムを例に、本実施形態にかかる情報処理装置及びプログラムを説明する。なお、本実施形態では、飲食店やスーパーマーケット等の店舗に導入されたチェックアウトシステムに適用した例について説明する。

図1は、チェックアウトシステム1の一例を示す斜視図である。図1に示すように、チェックアウトシステム1は、POS(Point Of Sale)端末11と、商品撮像装置101とを備える。

POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。

POS端末11が載置されているチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受け面152が形成されている。荷受け面152には、商品Gを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品撮像装置101を挟んだ位置に載置される第2の買物カゴ153bとに分けて考えることができる。なお、買物カゴ153は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ153(第2の買物カゴ153b)は、いわゆるカゴ形状のものに限らず、紙箱やレジ袋等であってもよい。

カウンタ台151の荷受け面152には、POS端末11とデータ送受信可能に接続された商品撮像装置101が設置されている。商品撮像装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス108が設置されている。

また、商品撮像装置101は、画像取得部110(図2参照)を備えている。画像取得部110は、読取窓103の奥側に設けられた第1撮像部164(図2参照)と、顧客用表示デバイス108の上部に設けられた第2撮像部165とを有している。

顧客によって持ち込まれた第1の買物カゴ153aには、一取引に係る商品Gが収納されている。第1の買物カゴ153a内の商品Gは、商品撮像装置101を操作するオペレータの手によって第2の買物カゴ153bに移動される。この移動過程で、商品Gが商品撮像装置101の読取窓103に向けられる。この際、第1撮像部164(図2参照)は、読取窓103に向けられた商品Gを撮像する。

商品撮像装置101では、第1撮像部164により撮像された画像に含まれる商品Gの全部又は一部を検出する。商品撮像装置101では、第1撮像部164で撮像された画像に商品Gの全部又は一部が含まれることを検出した場合、その撮像された画像を商品画像としてPOS端末11へ出力する。POS端末11では、商品Gの各々について、商品Gの売上登録に係る情報と商品Gの商品画像とが関連付けて登録されたPLU(Price LookUp)ファイルF1(図3参照)を参照して、画像取得部110の第1撮像部164で撮像された商品画像からPLUファイルF1に登録された商品Gを特定する。そして、POS端末11は、その特定した商品Gの商品ID、販売価格、販売点数等の売上登録に係る情報を、売上マスタファイル(図示しない)等に記録して売上登録を行う。

また、第1の買物カゴ153aを持ち込んだ顧客は、POS端末11での精算を待機するため、第2の買物カゴ153bの近傍に移動する。第2撮像部165は、第2の買物カゴ1153bの近傍に移動した顧客の顔部を撮像する。なお、図1では、第2撮像部165を顧客用表示デバイス108の上部に設置する形態としたが、顧客の顔部を撮像可能な位置であれば設置位置は特に問わず、商品撮像装置101と別体として設ける形態としてもよい。

商品撮像装置101では、第2撮像部165により撮像された画像に含まれる顧客の顔部を検出する。商品撮像装置101では、第2撮像部165で撮像された画像に顔を表す画像が含まれることを検出した場合、その撮像された画像を顔画像としてPOS端末11へ出力する。POS端末11では、予め会員登録を行った顧客(以下、会員という)の各々について、会員ごとにユニークに割り当てられた会員ID(IDentification)、氏名、連絡先等の会員自身に係る会員情報と、その会員の顔画像と、ポイントの累積値等の会員特典に係る特典情報とが関連付けられた会員管理ファイルF2(図4参照)を参照して、第2撮像部165で撮像された顔画像から会員管理ファイルF2に登録された会員を特定する。そして、POS端末11は、特定した会員に対し、商品の買い上げ金額に応じたポイント等の特典を付与する。

図2は、POS端末11及び商品撮像装置101のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。

POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。

キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。

POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により順次実行される。ここで、HDD64に記憶されているプログラムは、商品販売データ処理用のプログラムPR等である。また、HDD64に記憶されているファイルは、PLUファイルF1及び会員管理ファイルF2等である。

PLUファイルF1は、店舗に陳列して販売する商品Gの各々について、商品Gに関する商品情報と、その商品Gの商品画像との関連付けが設定されたデータファイルである。

図3は、PLUファイルF1のデータ構成を例示する概念図である。図3に示すように、PLUファイルF1は、商品Gごとに、ユニークに割り当てられた商品ID、商品Gが属する商品分類、商品名、単価等の商品に関する商品情報と、その商品を撮像した商品画像とを格納する。なお、PLUファイルF1のデータ構成は図3の例に限らず、例えば、商品画像から読み取ることが可能な各商品についての後述する特徴量(色合いや表面の状態等)や、類似度の判定に係る閾値を、商品毎に関連付けて格納する形態としてもよい。

会員管理ファイルF2は、店舗に対して会員登録を行った顧客(会員)の各々について、会員に関する会員情報と、その会員の顔画像と、付与された特典に関する特典情報との関連付けが設定されたデータファイルである。

図4は、会員管理ファイルF2のデータ構成を例示する概念図である。図4に示すように、会員管理ファイルF2は、会員毎に、ユニークに割り当てられた会員ID、氏名、連絡先等の会員に関する会員情報と、その会員の顔を撮像した顔画像と、ポイントの累積値等のこの会員に付与された特典に関する特典情報とを格納する。なお、会員管理ファイルF2のデータ構成は図3の例に限らず、他の情報を関連付けて格納する形態としてもよい。

図2に戻り、POS端末11のCPU61には、ストアコンピュータ201及び会員登録端末301とデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ここで、ストアコンピュータ201は、店舗のバックヤード等に設置されている。ストアコンピュータ201のHDD(図示せず)には、POS端末11に配信されるPLUファイルF1や会員管理ファイルF2が記憶されている。また、会員登録端末301は、店舗のサービスカウンタ等に配置されている。会員登録端末301のHDD(図示せず)には、POS端末11から入力される顔画像と、後述する取引識別情報とを関連付けて格納するためのファイルが記憶されている。

さらに、POS端末11のCPU61には、商品撮像装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品撮像装置101が接続されている。また、POS端末11のCPU61には、レシート等に印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御のもと、一取引の取引内容をレシートに印字する。

商品撮像装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、第1撮像部164、第2撮像部165、音声出力部166が各種の入出力回路(いずれも図示せず)を介して接続されている。第1撮像部164、第2撮像部165及び音声出力部166は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介して、画像取得部110及びPOS端末11に接続されている。表示・操作部104は、画像取得部110のCPU161、POS端末11のCPU61によって動作が制御される。

第1撮像部164及び第2撮像部165は、カラーCCD(Charge Coupled Device)イメージセンサやカラーCOMS(Complementary Metal Oxide Semiconductor)イメージセンサ等であり、CPU161の制御の下で読取窓103からの撮像を行う撮像手段である。例えば第1撮像部164、第2撮像部165では、30fps(Frames Per Second)の動画像の撮像を行う。第1撮像部164及び第2撮像部165が所定のフレームレートで順次撮像した画像はRAM163に保存される。

音声出力部166は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部166は、CPU161の制御の下で警告音等の音声による報知を行う。

さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。また、CPU161は、接続インターフェース175を介して、表示・操作部104との間でデータ送受信を行う。

次に、CPU161、CPU61がプログラムを順次実行することで実現されるCPU161、CPU61の機能部について、図5を参照して説明する。

図5は、POS端末11及び商品撮像装置101の機能構成を示すブロック図である。図5に示すように、商品撮像装置101のCPU161は、プログラムを順次実行することにより、画像取込部1611、商品検出部1612、商品画像出力部1613、顔検出部1614、顔画像出力部1615としての機能を備える。また、同様に、POS端末11のCPU61は、照合用データ切替部611、認識処理部612、売上登録部613、特典付与部614、レシート生成部615としての機能を備える。

画像取込部1611は、第1撮像部164及び第2撮像部165に撮像オン信号を出力することで撮像動作を開始させる。画像取込部1611は、撮像動作開始後に第1撮像部164が撮像してRAM163に保存された画像を順次取り込む。また、画像取込部1611は、撮像動作開始後に第2撮像部165が撮像してRAM163に保存された画像を順次取り込む。以下、第1撮像部164が撮像した画像を第1画像、第2撮像部165が撮像した画像を第2画像と表記する。なお、画像取込部1611による第1画像及び第2画像の取り込みは、RAM163に保存された順に行われる。

商品検出部1612は、画像取込部1611により取り込まれた第1画像から、商品Gの全部または一部を表す画像を公知のパターンマッチング技術等を用いて検出する。具体的には、取り込まれた第1画像を2値化した画像から輪郭線等を抽出する。次いで、直近の第1画像から抽出された輪郭線と、今回の第1画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、読取窓103に向けられた商品の写り込みを検出する。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

商品画像出力部1613は、商品検出部1612により商品Gの全部又は一部が検出された第1画像を商品画像として、接続インターフェース175を介してPOS端末11へ出力する。

顔検出部1614は、画像取込部1611により取り込まれた第2画像から、顧客の顔を表す画像を公知のパターンマッチング技術や顔検出等を用いて検出する。具体的には、取り込まれた第2画像から顔の輪郭線や、目、口、鼻等の配置位置を検出する。

顔画像出力部1615は、顔検出部1614により顔が検出された第2画像を顔画像として、接続インターフェース175を介してPOS端末11へ出力する。なお、商品画像及び顔画像は、互いの画像種別を識別可能な画像識別情報とともに、POS端末11へ出力されるものとする。

照合用データ切替部611は、商品撮像装置101から入力された画像が、商品画像か顔画像かを判別し、この判別結果に応じて認識処理部612が認識処理に用いる照合用の画像データ(以下、照合用画像という)を切り替える。具体的に、照合用データ切替部611は、商品撮像装置101から入力された画像を商品画像と判別した場合に、PLUファイルF1に格納された各商品画像を、認識処理部612の照合用画像に設定する。また、照合用データ切替部611は、商品撮像装置101から入力された画像を顔画像と判別した場合、会員管理ファイルF2に格納された各顔画像を、認識処理部612の照合用画像に設定する。

認識処理部612は、商品撮像装置101から入力された商品画像又は顔画像と、照合用データ切替部611が設定した照合用画像とを照合し、商品画像又は顔画像で表されたオブジェクト(商品又は顧客)を認識する。

具体的に、認識処理部612は、商品撮像装置101から入力された商品画像から、商品Gの形状や色合い、色の配置状態等を特徴量として読み取る。また、認識処理部612は、商品画像から読み取った特徴量と、この商品画像により照合用データ切替部611が照合用画像に設定したPLUファイルF1の各商品画像の特徴量とを照合(比較)することで、商品GとPLUファイルF1に登録された各商品との類似度を算出する。ここで、類似度は、PLUファイルF1に記憶されている各商品の商品画像を100%とした場合に、商品Gの全部または一部の画像がどの程度類似しているかを示すものである。例えば、特徴量の種別に応じて重み付けを変えるようにしてもよい。

そして、認識処理部612は、PLUファイルF1の各商品画像について算出した類似度が、予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超えた商品画像の商品を、商品撮像装置101の第1撮像部164で撮像された商品Gとして認識(特定)する。

なお、認識処理部612での処理の結果、類似度が閾値を超えた商品画像が複数存在する場合には、これらの商品画像を表示デバイス23に表示させることで、POS端末11のオペレータに選択させるものとする。また、認識処理部612での処理の結果、閾値を超える商品画像が存在しなかった場合には、商品Gに対応する商品を手動で選択するための画面(グラフィカルユーザインターフェース)を表示デバイス23に表示させることで、POS端末11のオペレータに選択させるものとする。

また、認識処理部612は、商品撮像装置101から入力された顔画像から、顧客の顔の形状や色合い、目、鼻、口等の配置状態等を特徴量として読み取る。また、認識処理部612は、顔画像から読み取った特徴量と、この顔画像により照合用データ切替部611が照合用画像に設定した会員管理ファイルF2の各顔画像の特徴量とを照合(比較)することで、顧客の顔と会員管理ファイルF2に登録された各会員の顔画像との類似度を算出する。ここで、類似度は、会員管理ファイルF2に記憶されている各会員の顔画像を100%とした場合に、顧客の顔画像がどの程度類似しているかを示すものである。なお、例えば、特徴量の種別に応じて重み付けを変えるようにしてもよい。

そして、認識処理部612は、会員管理ファイルF2の各顔画像について算出した類似度が、予め定められた閾値を超えたか否かを判定し、類似度がこの閾値を超える顔画像の会員が存在するか否かを判定する。ここで、類似度が閾値を超える顔画像が会員管理ファイルF2に存在する場合、認識処理部612は、商品撮像装置101の第2撮像部165で撮像された顧客が、この閾値を超えた顔画像の会員であると認識する。また、類似度が閾値を超える顔画像が会員管理ファイルF2に存在しない場合、認識処理部612は、第2撮像部165で撮像された顧客を特定できないと判定する。

なお、認識処理部612での処理の結果、類似度が閾値を超えた顔画像が複数存在する場合には、これらの顔画像を表示デバイス23に表示させることで、POS端末11のオペレータに選択させるものとする。

ところで、画像に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。認識処理部612は、これらの各種認識技術や公知の顔認証技術等を用いて、商品画像及び顔画像から、商品や人物の認識処理を行うものとする。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

このように、本実施形態の認識処理部612は、上記一般物体認識等に係る技術を商品及び顧客の認識に用いることで、第1撮像部164が撮像した第1画像(商品画像)から当該第1画像中に含まれた商品Gを認識(特定)するとともに、第2撮像部165が撮像した第2画像(顔画像)から当該第2画像中に含まれた顧客が、会員か否かを判定する。これにより、認識処理部612を共用することができるため、認識処理部612を効率的に利用することができる。なお、商品及び顧客の認識用に認識処理部612をそれぞれ備える形態としてもよい。

売上登録部613は、認識処理部612で認識された商品に係る商品情報を、PLUファイルF1から読み出し、その商品の単価と販売点数から販売金額を算出する。そして、売上登録部613は、その商品の商品名、商品ID、販売金額等を含んだ売上登録データを売上マスタファイル(図示しない)に記録し売上登録を行う。また、売上登録部613は、売上登録した各商品についての販売金額の合計金額を算出する。

特典付与部614は、認識処理部612が会員と認識した顧客に対し、予め定められた特典を付与する。ここで、付与する特典の内容は特に問わないものとする。例えば、特典付与部614で算出された各商品についての販売金額の合計金額に応じて、値引きやポイントを付与する形態としてもよい。なお、特典として値引きを行った場合には、特典付与部614が算出した合計金額から所定の値引き額を値引きする。

また、特典付与部614は、取引終了時において、認識処理部612が顧客を特定できないと判断していた場合、今回の取引を識別することが可能な取引識別情報と、商品撮像装置101から入力された顔画像とを、会員登録端末301に送信することで、会員登録端末301のHDDに取引識別情報と顔画像とを関連付けて格納する。ここで、取引識別情報は、例えば、取引毎に発行する固有の取引IDや、各POS端末11に予め割り当てられた固有のレジ番号と現在日時とを組み合わせた情報等を用いることができる。

レシート生成部615は、売上登録部613にて売上登録された売上登録データに含まれる商品名、単価等の所定の情報や、特典付与部614が付与した特典内容等を含んだレシート印刷用の印刷データを生成し、プリンタ66から出力させる。また、レシート生成部615は、特典付与部614が顔画像を会員登録端末301に格納した場合、即ち認識処理部612が顧客を特定できないと判断していた場合に、売上登録部613にて売上登録された売上登録データに含まれる所定の情報と、今回の取引に係る取引識別情報と、会員登録を促すメッセージとを含んだレシート印刷用の印刷データを生成し、プリンタ66から出力させる。なお、取引識別情報は、平文のまま出力させる形態としてもよいし、バーコードや二次元コード等のシンボルコードに変換して出力させる形態としてもよい。

ここで、図6は、認識処理部612が顧客を特定することができなかった場合に出力されるレシートの一例を示す図である。同図に示すように、レシート70は、売上登録された各商品の商品名、販売価格が印刷される登録商品印刷領域71と、商品の合計金額が印刷される合計金額印刷領域72と、顧客が支払った金額とお釣り金額とが印刷される支払額印刷領域73と、取引識別情報が印刷される取引識別情報印刷領域74と、会員登録を促すメッセージ等の各種コメントが印刷されるコメント印刷領域75とを備えている。なお、図6では、取引識別情報を二次元コードに変換して印刷する形態としたが、これに限らないものとする。

図6に示すレシートを手にした顧客は、当該レシートを、会員登録端末301を操作するオペレータに手渡し、会員登録する旨を通知する。会員登録端末301では、顧客から手渡されたレシート中の取引識別情報が、図示しないキーボードやコードスキャナ等を介して入力されると、この取引識別情報に関連付けて格納された顔写真を図示しないHDDから読み出す。そして、会員登録端末301は、読み出した顔写真を、別途入力された会員ID、氏名、連絡先等の会員情報と関連付け、ストアコンピュータ201や各POS端末11が管理する会員管理ファイルF2に登録することで、顧客の会員登録を実行する。

このように、顧客が会員未登録の場合には、レシートに印字された取引識別情報を用いて、商品登録時に撮像された顔画像を読み出す。これにより、商品登録時に撮像された顔画像を用いて会員登録を行うことができるため、会員登録に係る手続きを円滑に進めることができる。なお、会員管理ファイルF2に登録する顔画像は、商品登録時に撮像されたものに限らず、変更が可能であるとする。

次に、図7及び図8を参照して、チェックアウトシステム1の動作を説明する。まず、図7を参照して、商品撮像装置101で実行される画像出力処理について説明する。ここで、図7は、商品撮像装置101が行う画像出力処理の手順を示すフローチャートである。

商品撮像装置101のCPU161は、POS端末11からの信号により取引開始が指示されると、画像出力処理を開始する。画像取込部1611は、第1撮像部164及び第2撮像部165に撮像オン信号を出力し、当該第1撮像部164及び第2撮像部165による撮像動作を開始させる(ステップS11)。次いで、画像取込部1611は、第1撮像部164及び第2撮像部165で撮像された第1画像及び第2画像を、RAM163に取り込む(ステップS12)。

商品検出部1612は、ステップS12で取り込まれた第1画像から、商品Gの全部または一部を表す画像を検出できたか否かを判定する(ステップS13)。ここで、商品検出部1612が、第1画像から商品Gの全部または一部を表す画像を検出した場合(ステップS13;Yes)、商品画像出力部1613は、この第1画像を商品画像としてPOS端末11へ出力し(ステップS14)、ステップS15に移行する。なお、ステップS13において、第1画像から商品Gの全部または一部を表す画像を検出できない場合には(ステップS13;No)、ステップS15に直ちに移行する。

顔検出部1614は、ステップS12で取り込まれた第2画像から、顧客の顔を表す画像を検出できたか否かを判定する(ステップS15)。ここで、顔検出部1614が第2画像から顔を表す画像を検出した場合(ステップS15;Yes)、顔画像出力部1615は、この第2画像を顔画像としてPOS端末11へ出力し(ステップS16)、ステップS17に移行する。なお、ステップS15において、第2画像から顔部を表す画像を検出できない場合には(ステップS15;No)、ステップS17に直ちに移行する。

続くステップS17において、CPU161は、POS端末11からの信号により取引終了が指示されたか否かを判定する(ステップS17)。取引終了が指示されない場合には(ステップS17;No)、ステップS12に再び戻り、ステップS12〜S17を取引終了が指示されるまで繰り返し実行する。また、取引終了が指示された場合(ステップS17;Yes)、画像取込部1611は、第1撮像部164及び第2撮像部165に撮像オフ信号を出力し(ステップS18)、第1撮像部164及び第2撮像部165による撮像動作を停止させる。

次に、図8を参照し、POS端末11で実行される売上登録処理の手順について説明する。ここで、図8は、POS端末11が行う売上登録処理の手順を示すフローチャートである。

まず、POS端末11のCPU61は、キーボード22の所定のキー操作に応じて、取引開始を指示する信号を商品撮像装置101に送信する(ステップS21)。これにより、商品撮像装置101では上述した商品読取処理を開始する。

続いて、照合用データ切替部611は、商品撮像装置101から画像が入力されるまで待機する(ステップS22;No)。商品撮像装置101から画像が入力されると(ステップS22;Yes)、照合用データ切替部611は、この入力された画像が商品画像か顔画像かを判別する(ステップS23)。

ステップS23において、入力された画像が顔画像と判別した場合(ステップS23;No)、照合用データ切替部611は、会員管理ファイルF2に格納された各顔画像を、認識処理部612の照合用画像に設定する(ステップS24)。続いて、認識処理部612は、ステップS22で入力された顔画像から特徴量を読み取ると、ステップS24で設定された照合用画像(会員管理ファイルF2の各顔画像)と照合する(ステップS25)。そして、認識処理部612は、類似度が所定の閾値を超えた照合用画像(顔画像)が存在するか否かを判定する(ステップS26)。

ここで、類似度が閾値を超える照合用画像が存在すると判定した場合(ステップS26;Yes)、認識処理部612は、ステップS22で入力された顔画像の顧客が、この照合用画像の会員であると認識し(ステップS27)、ステップS22に再び戻る。また、ステップS26において、類似度が閾値を超える照合用画像が存在しないと判定した場合(ステップS26;No)、認識処理部612は顧客を特定できないと判断し、ステップS22に再び戻る。

なお、一取引中において、顧客が会員であることを一度認識すればよい。そのため、顧客が会員であることを認識した場合には、それ以降に発生したステップS24〜S27の処理をスキップすることで、顧客の認識処理が不用意に行われてしまうことを防止する形態としてもよい。また、認識済みである旨を商品撮像装置101のCPU161に通知することで、第2撮像部165の撮像動作を停止させたり、画像取込部1611による第2画像の取り込みを停止させたり、顔検出部1614及び顔画像出力部1615の動作を停止させる形態としてもよい。

一方、ステップS23において、商品画像と判別すると(ステップS23;Yes)、照合用データ切替部611は、PLUファイルF1に格納された各商品画像を、認識処理部612の照合用画像に設定する(ステップS28)。続いて、認識処理部612は、ステップS22で入力された商品画像から読み取った特徴量と、ステップS24で設定された照合用画像(PLUファイルF1の各商品画像)とを照合する(ステップS29)。そして、認識処理部612は、ステップS22で入力された商品画像に含まれる商品Gが、類似度が所定の閾値を超えた照合用画像(商品画像)の商品であると認識する(ステップS30)。

なお、ステップS29での照合の結果、類似度が閾値を超えた商品画像が複数存在する場合には、これらの商品画像を表示デバイス23に表示させることで、POS端末11のオペレータに選択させるものとする。また、閾値を超える商品画像が存在しない場合には、商品Gに対応する商品を手動で選択するための画面(GUI)を表示デバイス23に表示させることで、POS端末11のオペレータに選択させるものとする。

売上登録部613は、ステップS30で認識された商品に係る商品情報をPLUファイルF1から読み出し、この商品情報に基づき生成した売上登録データを、図示しない売上マスタファイルに売上登録する(ステップS31)。次いで、売上登録部613は、これまでに売上登録した各商品の販売金額を合計し、合計金額を算出する(ステップS32)。

CPU61は、キーボード22から「締め」キーを表わすキー情報の入力を受け付けたか否かを判定する(ステップS33)。ここで、「締め」キーの入力を確認できない場合には(ステップS33;No)、ステップS22に再び戻る。また、ステップS33において、「締め」キーの入力を受け付けた場合(ステップS33;Yes)、CPU61は、接続インターフェース65を介して、取引の終了を指示する信号を商品撮像装置101に出力する(ステップS34)。

続いて、特典付与部614は、ステップS26及びS27での処理結果に基づき、顧客が会員であることが認識済か否かを判定する(ステップS35)。ここで、会員であることが認識済と判定した場合(ステップS35;Yes)、特典付与部614は、ステップS32で算出された合計金額等に基づき、この会員に所定の特典を付与する(ステップS36)。

ここで、特典として、合計金額に応じたポイントを付与した場合には、この会員の特典情報(PLUファイルF1)に格納されたポイント累積値に、付与したポイントの加算を行うものとする。また、特典として、値引きを行う場合には、ステップS32で算出された合計金額から所定の金額の値引きを行うものとする。

そして、レシート生成部615は、オペレータの操作等に応じて、商品代金の精算が完了したことを確認すると、これまでに売上登録された各売上登録データに含まれる所定の項目、特典内容を示す項目等を有したレシートをプリンタ66から出力させ(ステップS37)、本処理を終了する。

また、ステップS35において、顧客を特定できないと判断されていた場合(ステップS35;No)、特典付与部614は、この取引の取引識別情報と、ステップS22で入力された顔画像とを会員登録端末301に送信することで、当該会員登録端末301に取引識別情報と顔画像とを関連付けて格納する(ステップS38)。なお、会員登録端末301に送信する顔画像は一つでよく、例えば、商品撮像装置101から入力された最新の顔画像を会員登録端末301に送信する。

そして、レシート生成部615は、オペレータの操作等に応じて、商品代金の精算が完了したことを確認すると、これまでに売上登録された売上登録データに含まれる所定の項目、取引識別情報、会員登録を促すメッセージ等を有したレシートをプリンタ66から出力させ(ステップS39)、本処理を終了する。

以上のように、本実施形態によれば、POS端末11は、商品撮像装置101の第1撮像部164で撮像された第1画像(商品画像)に基づいて、この画像中に含まれた商品を特定するとともに、商品撮像装置101の第2撮像部165で撮像された第2画像(顔画像)に基づいて、この画像中に含まれた顧客が会員か否かを判定する。また、POS端末11は、第2画像(顔画像)中に含まれた顧客が会員である場合には、所定の特典を付与し、顧客が会員でない場合には、会員登録に係る手続きの円滑化を図るため、この第2画像(顔画像)と取引識別情報とを関連付けて会員登録端末301に格納し、この取引識別情報を含んだレシートを出力する。

これにより、店舗側では顧客に会員カードの提示を要求することなく、その顧客が会員であるか否かを判定し、会員である場合に特典を付与することができるため、会員に対する特典の付与を効率的に行うことができる。また、顧客側においても、会員カードを携帯する必要がなく、会員であることを店員に通知する必要もないため、利便性を向上させることができる。

ところで、上記実施形態におけるPOS端末11での撮像に係る構成は、種々の形態を採用することが可能である。例えば、図1の構成では、商品画像及び顔画像の撮像用に第1撮像部164と第2撮像部165とを個別に設ける形態としたが、1台の撮像部を用いて第1画像(商品画像)及び第2画像(顔画像)を撮像する形態としてもよい。

例えば、図9に示すように、撮像方向(破線矢印参照)を、商品撮像装置101のオペレータ側と、顧客側とに切り替えることが可能な一の撮像部167を備えることで、この撮像部167を用いて第1画像及び第2画像を取得する形態としてもよい。この形態を採用する場合には、撮像方向(オペレータ側/顧客側)の切り替えを商品撮像装置101からPOS端末11に通知する構成とし、POS端末11の照合用データ切替部611では、商品撮像装置101から通知された撮像方向に応じて、認識処理部612の照合用画像を切り替える構成としてもよい。

なお、図9では、撮像部本体の回転により、撮像方向をオペレータ側及び顧客側に向けることが可能に構成された撮像部167を、表示・操作部104の上部に配置した例を示しているが、撮像方向をオペレータ側及び顧客側に向けることが可能であり、且つ、商品及び顧客の顔を撮像可能な位置であれば、その構成や配置位置は、この例に限らないものとする。また、反射鏡(ミラー)等を用いることで、撮像部167の撮像範囲を、オペレータ側及び顧客側方向に向ける形態としてもよい。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、商品撮像装置101が第2撮像部165及び顔検出部1614を備える形態としたが、これに限らず、POS端末11が第2撮像部165及び顔検出部1614を備える形態としてもよい。

また、上記実施形態では、POS端末11と商品撮像装置101とを個別に設ける形態としたが、これに限らず、POS端末11及び商品撮像装置101の機能を、一台の端末装置で実現する形態としてもよい。

また、上記実施形態では、取引識別情報及び会員登録を促すメッセージを、レシートとして出力する形態としたが、これに限らず、レシートとは異なる独立した用紙に出力(印字)する形態としてもよい。

また、上記実施形態では、図7に示すように、顧客を特定できない場合に出力されるレシートに取引識別情報を含めることとしたが、これに限らず、この取引識別情報を、顧客が会員である場合に出力されるレシートに含めてて出力してもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

1 チェックアウトシステム
11 POS端末
61 CPU
611 照合用データ切替部
612 認識処理部
613 売上登録部
614 特典付与部
615 レシート生成部
101 商品撮像装置
161 CPU
1611 画像取込部
1612 商品検出部
1613 商品画像出力部
1614 顔検出部
1615 顔画像出力部
164 第1撮像部
165 第2撮像部
167 撮像部

特開2004−326208号公報

Claims (5)

  1. 購入対象の商品を撮像する第1撮像手段と、
    前記第1撮像手段で撮像された第1画像と、予め記憶された各商品の商品画像とを照合し、この照合により得られる前記各商品の商品画像との類似度に基づいて、前記第1撮像手段で撮像された商品を認識する商品認識手段と、
    前記商品を購入する顧客の顔を撮像する第2撮像手段と、
    前記第2撮像手段で撮像された第2画像と、第1記憶手段に予め記憶された各会員の顔画像とを照合し、この照合により得られる前記各会員の顔画像との類似度に基づいて、前記第2撮像手段で撮像された顧客が会員か否かを判定する会員判定手段と、
    前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が会員と判定した顧客に対し所定の特典を付与する特典付与手段と、
    前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が非会員と判定した顧客の前記第2画像を、この取引を識別する取引識別情報と関連付けて第2記憶手段に格納する格納手段と、
    前記取引識別情報を、会員登録を促すメッセージととともに印字した用紙を出力する出力手段と、
    前記用紙に印字された前記取引識別情報の入力を受け付けると、当該取引識別情報関連付けられた前記第2画像を前記第2記憶手段から読み出し、前記会員の顔画像として前記第1記憶手段に格納する会員登録手段と、
    を備える情報処理装置。
  2. 前記商品認識手段及び前記会員判定手段は、認識対象となる物体を撮像した撮像画像と、各種の物体を撮像した照合用画像とを照合し、この照合により得られる前記各種の物体の照合用画像との類似度に基づいて、前記撮像画像中に含まれた物体を認識する一の認識手段により構成される請求項1に記載の情報処理装置。
  3. 前記第1撮像手段及び前記第2撮像手段からの出力画像に応じて、前記認識手段が当該出力画像との照合に用いる前記照合用画像を、前記各商品の商品画像又は前記各会員の顔画像に切り替える切替手段を更に備える請求項2に記載の情報処理装置。
  4. 前記第1撮像手段及び前記第2撮像手段は、一の撮像装置を用いて実現される請求項1〜3の何れか一項に記載の情報処理装置。
  5. コンピュータを、
    購入対象の商品を撮像する第1撮像手段と、
    前記第1撮像手段で撮像された第1画像と、予め記憶された各商品の商品画像とを照合し、この照合により得られる前記各商品の商品画像との類似度に基づいて、前記第1撮像手段で撮像された商品を認識する商品認識手段と、
    前記商品を購入する顧客の顔を撮像する第2撮像手段と、
    前記第2撮像手段で撮像された第2画像と、第1記憶手段に予め記憶された各会員の顔画像とを照合し、この照合により得られる前記各会員の顔画像との類似度に基づいて、前記第2撮像手段で撮像された顧客が会員か否かを判定する会員判定手段と、
    前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が会員と判定した顧客に対し所定の特典を付与する特典付与手段と、
    前記商品認識手段が認識した各商品の精算時に、前記会員判定手段が非会員と判定した顧客の前記第2画像を、この取引を識別する取引識別情報と関連付けて第2記憶手段に格納する格納手段と、
    前記取引識別情報を、会員登録を促すメッセージととともに印字した用紙を出力する出力手段と、
    前記用紙に印字された前記取引識別情報の入力を受け付けると、当該取引識別情報関連付けられた前記第2画像を前記第2記憶手段から読み出し、前記会員の顔画像として前記第1記憶手段に格納する会員登録手段と、
    して機能させるためのプログラム。
JP2011193213A 2011-09-05 2011-09-05 情報処理装置及びプログラム Active JP5349554B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011193213A JP5349554B2 (ja) 2011-09-05 2011-09-05 情報処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011193213A JP5349554B2 (ja) 2011-09-05 2011-09-05 情報処理装置及びプログラム
US13/603,636 US20130057670A1 (en) 2011-09-05 2012-09-05 Information processing apparatus and method

Publications (2)

Publication Number Publication Date
JP2013054593A JP2013054593A (ja) 2013-03-21
JP5349554B2 true JP5349554B2 (ja) 2013-11-20

Family

ID=47752844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011193213A Active JP5349554B2 (ja) 2011-09-05 2011-09-05 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20130057670A1 (ja)
JP (1) JP5349554B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5525117B2 (ja) * 2012-05-16 2014-06-18 楽天株式会社 ポイントシステム、ポイントシステムの制御方法、ポイント管理装置、プログラム、及び情報記憶媒体
US20140211017A1 (en) * 2013-01-31 2014-07-31 Wal-Mart Stores, Inc. Linking an electronic receipt to a consumer in a retail store
JP2015026133A (ja) * 2013-07-24 2015-02-05 東芝テック株式会社 情報処理装置、サーバおよびプログラム
JP6310234B2 (ja) * 2013-11-18 2018-04-11 株式会社イシダ 会員管理システム
US20150178731A1 (en) * 2013-12-20 2015-06-25 Ncr Corporation Mobile device assisted service
JP6208046B2 (ja) * 2014-02-28 2017-10-04 東芝テック株式会社 商品販売データ処理装置およびこれを用いる商品販売データ処理システム
JP6354233B2 (ja) * 2014-03-19 2018-07-11 日本電気株式会社 販売促進装置、情報処理装置、情報処理システム、販売促進方法及びプログラム
JP5720841B1 (ja) * 2014-09-08 2015-05-20 富士ゼロックス株式会社 確認行動検出装置及び確認行動検出プログラム
CN104392217A (zh) * 2014-11-21 2015-03-04 苏州福丰科技有限公司 基于人脸识别的超市会员识别仪
JP6645655B2 (ja) * 2014-12-24 2020-02-14 Necソリューションイノベータ株式会社 画像処理装置、画像処理方法、およびプログラム
JP2017004432A (ja) * 2015-06-15 2017-01-05 パナソニックIpマネジメント株式会社 顔認識システム、顔認識サーバ及び顧客情報提示方法
JP6313731B2 (ja) * 2015-09-14 2018-04-18 東芝テック株式会社 決済装置及びその制御プログラム
JP6651347B2 (ja) * 2015-12-22 2020-02-19 東芝テック株式会社 チェックアウトシステム、商品登録装置、決済装置及びチェックアウト方法
US20170316396A1 (en) * 2016-04-28 2017-11-02 Toshiba Tec Kabushiki Kaisha Management device and method
KR20200031216A (ko) * 2018-09-14 2020-03-24 나모웹비즈주식회사 증강 현실, 가상 현실 또는 혼합 현실 컨텐츠를 제공하는 디스플레이 장치, 방법 및 서버

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628575A (ja) * 1992-07-10 1994-02-04 Omron Corp 商品登録システム
JP3143241B2 (ja) * 1992-11-20 2001-03-07 株式会社エムアンドシーシステム 販売管理装置
JP3223064B2 (ja) * 1995-02-21 2001-10-29 東芝テック株式会社 商品販売登録データ処理装置
JP2001052045A (ja) * 1999-08-06 2001-02-23 Dainippon Printing Co Ltd ポイント付与システム
JP2004206357A (ja) * 2002-12-25 2004-07-22 Nec Infrontia Corp 販売商品データの出力装置及び販売商品データの出力方法
JP2005284408A (ja) * 2004-03-26 2005-10-13 Matsushita Electric Works Ltd キッチン作業支援システム
JP2010061467A (ja) * 2008-09-04 2010-03-18 Itac:Kk ポイントサービスシステム

Also Published As

Publication number Publication date
US20130057670A1 (en) 2013-03-07
JP2013054593A (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
EP2423891B1 (en) Store system and a sales registration method
US10108830B2 (en) Commodity recognition apparatus and commodity recognition method
US9042660B2 (en) Information processing apparatus and information processing method
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
CN102375977B (zh) 店铺系统及商品销售数据处理方法
JP5553866B2 (ja) 商品認識装置及び認識辞書追加プログラム
JP6189761B2 (ja) 商品データ登録装置、チェックアウトシステムおよびプログラム
JP5826152B2 (ja) 商品認識装置及び商品認識プログラム
JP5744824B2 (ja) 商品認識装置及び商品認識プログラム
JP5619095B2 (ja) 商品認識装置及び商品認識プログラム
JP2008033640A (ja) データコード読取装置及びその読取方法
JP2013054666A (ja) 店舗システム及びプログラム
CN102375976B (zh) 店铺系统及商品销售数据处理方法
JP6274097B2 (ja) 商品識別装置および商品認識ナビゲーション方法
US10169752B2 (en) Merchandise item registration apparatus, and merchandise item registration method
JP5707375B2 (ja) 商品認識装置及び商品認識プログラム
JP5554796B2 (ja) 情報処理装置およびプログラム
US20120327202A1 (en) Commodtiy list issuing apparatus and method
JP5228010B2 (ja) 商品情報処理装置及びプログラム
CN103984914B (zh) 信息处理装置及其控制方法
US20160358150A1 (en) Information processing apparatus and commodity recognition method by the same
JP4987922B2 (ja) データコード読取装置及びその読取方法
US8403216B2 (en) Code reading apparatus, sales registration processing apparatus, and code reading method
US8424761B2 (en) Commodity code reading apparatus and commodity code reading method
US8342401B2 (en) Code reading apparatus and control method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130820

R150 Certificate of patent or registration of utility model

Ref document number: 5349554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150