JP6730076B2 - 商品販売データ処理装置、商品販売データ処理システムおよびプログラム - Google Patents

商品販売データ処理装置、商品販売データ処理システムおよびプログラム Download PDF

Info

Publication number
JP6730076B2
JP6730076B2 JP2016089145A JP2016089145A JP6730076B2 JP 6730076 B2 JP6730076 B2 JP 6730076B2 JP 2016089145 A JP2016089145 A JP 2016089145A JP 2016089145 A JP2016089145 A JP 2016089145A JP 6730076 B2 JP6730076 B2 JP 6730076B2
Authority
JP
Japan
Prior art keywords
clerk
unit
biometric information
store
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016089145A
Other languages
English (en)
Other versions
JP2017199188A (ja
Inventor
大輔 宮城
大輔 宮城
孝弘 小越
孝弘 小越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2016089145A priority Critical patent/JP6730076B2/ja
Priority to US15/490,984 priority patent/US20170316397A1/en
Priority to EP17167203.3A priority patent/EP3244363A1/en
Priority to CN201710266721.0A priority patent/CN107403528A/zh
Publication of JP2017199188A publication Critical patent/JP2017199188A/ja
Application granted granted Critical
Publication of JP6730076B2 publication Critical patent/JP6730076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/206Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated
    • G07G1/14Systems including one or more distant stations co-operating with a central processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、商品販売データ処理装置、商品販売データ処理システムおよびプログラムに関する。
店舗で買い物を行った際に、顧客が自ら会計処理を行うことができる、セルフ会計システム、セミ・セルフ会計システムと呼ばれる会計システムが知られている。セルフ会計システム、セミ・セルフ会計システムは、顧客が会計処理を行う前提で設計されている。したがって、顧客が会計処理を行っている最中に何らかのエラーが発生した際、或いは、店員がシステムのメンテナンス等の操作を行う際には、店員が、会計システムを店員モードに切り替えて、エラーに対応する操作やメンテナンス操作を行う。
店員が会計システムを店員モードに切り替える際には、従来、例えば、会計システムに店員の顔画像を認識させることによって、店員モードへの切り替えを行う技術が知られている。しかしながら、このような従来の会計システムにあっては、例えば、店員自身が買い物を行った際の会計処理を行う場合に、意図せずに店員モードに切り替わってしまい、会計処理を行うことが出来ないという問題があった。
本発明が解決しようとする課題は、店員が店員モードに切り替えることを意図しているときにだけ、確実に店員モードに切り替えることができる商品販売データ処理装置、商品販売データ処理システムおよびプログラムを提供することである。
実施形態の商品販売データ処理装置は、生体情報検出部と、店員識別部と、動作検出部と、動作モード変更部と、を備える。生体情報検出部は、商品販売データ処理装置を操作する操作者の生体情報を検出する。店員識別部は、店舗の店員の生体情報に基づいて、生体情報検出部で検出された生体情報を有する操作者が、店員のいずれであるかを識別する。動作検出部は、予め登録された、操作者の固有の動作を検出する。動作モード変更部は、店員識別部が、操作者を店員であると識別するとともに、動作検出部が、固有の動作を検出したことを条件として、商品販売データ処理装置の動作モードを変更する。
図1は、第1の実施形態に係る複数のセルフPOS端末を店舗に設置した際の構成の一例を示すブロック図である。 図2は、第1の実施形態に係るセルフPOS端末の外観の一例を示す斜視図である。 図3は、セルフPOS端末のハードウェア構成の一例を示すハードウェアブロック図である。 図4は、セルフPOS端末が店員モードへの切り替え処理を行う際の機能構成の一例を示す機能ブロック図である。 図5は、顔の動きに基づく動作検出例について説明する図である。 図6は、セルフPOS端末が行う店員モードと顧客モードの切り替え処理の流れを示すフローチャートである。 図7は、セルフPOS端末が行う店員識別処理および動作検出処理の流れを示すフローチャートである。 図8は、第2の実施形態に係るセルフPOSシステムのハードウェア構成の一例を示すハードウェアブロック図である。 図9は、第2の実施形態に係るセルフPOSシステムが店員モードへの切り替え処理を行う際の機能構成の一例を示す機能ブロック図である。
(第1の実施形態)
以下、図面を参照して、第1の実施形態に係る商品販売データ処理装置について詳細に説明する。本実施形態では、顧客自身が売上登録操作および決済操作を実行するセルフPOS(Point of Sales)端末を商品販売データ処理装置の一例として説明する。なお、店員が売上登録処理を実行し、顧客が決済処理を実行するセミ・セルフPOS端末を商品販売データ処理装置としてもよい。
図1は、第1の実施形態に係るセルフPOS端末を、店舗内に複数設定した際の構成の一例を示す模式図である。図1に示すように、店舗には、複数のセルフPOS端末1とアテンダントPC(Personal Computer)2とが設置される。各セルフPOS端末1とアテンダントPC2とは、例えばLAN(Local Area Network)回線等の通信回線NTで電気的に接続されている。
各セルフPOS端末1は、購入する商品に付されたバーコードや二次元コード等のシンボルを読み取らせる登録部と、読み取らせたシンボルに対応した商品情報に基づいて決済操作を行う決済部とを備える。登録部における売上登録操作と決済部における決済操作は、いずれも顧客自身が行う。セルフPOS端末1は、顧客が行った売上登録操作に基づいて売上登録処理を実行する。また、セルフPOS端末1は、顧客が行った決済操作に基づいて決済処理を実行する。なお、セルフPOS端末1の詳細な構成については後述する。
なお、売上登録処理とは、入力された商品コードに基づいて当該商品の商品名や価格等の商品情報をセルフPOS端末1に表示し記憶する処理をいう。また、決済処理とは、売上登録処理した商品情報に基づいて、顧客との取引に係る合計金額や釣銭額をセルフPOS端末1に表示し、会計を行う処理をいう。
アテンダントPC2は、PCあるいはモバイルPCで構成される。アテンダントPC2は、通信回線NTを介して、セルフPOS端末1の使用状況やエラー発生状況を示す諸情報を受信する。アテンダントPC2は、受信した諸情報を、図1に非図示の表示部に表示する。店舗の店員は、アテンダントPC2に表示される諸情報に基づいて、セルフPOS端末1の使用状況、エラー等の状態および顧客による不正の有無等を監視する。
(セルフPOS端末の概略構成の説明)
図2は、セルフPOS端末1の外観の一例を示す斜視図である。図2に示すように、セルフPOS端末1は、第1筐体41と第2筐体42とを備えている。第1筐体41は、内部に釣銭機27を収納している。釣銭機27は、顧客から預かった貨幣(硬貨および紙幣)を金種別に収納し、かつ顧客に対して釣銭としての貨幣(硬貨および紙幣)を払い出す。
また、第1筐体41は、釣銭機27に硬貨を入金するための硬貨入金口271と釣銭機27から硬貨を払い出す硬貨排出口273を備えている。また、第1筐体41は、釣銭機27に紙幣を入金するための紙幣入金口274と釣銭機27から払い出された紙幣の釣銭を払い出す紙幣出金口275を備える。
さらに、第1筐体41は、右側面部に、購入する商品が入れられたカゴを載置する載置台25を備えている。載置台25は第1計量部251を有している。また、第1筐体41は、左側面部に、商品を投入するレジ袋(図示せず)をセットする載置台26を有している。載置台26は第2計量部261を有している。第1計量部251は、載置台25に載置されたカゴとカゴ内の商品の合計重量を計量する。第2計量部261は、載置台26に載置されたレジ袋とレジ袋内の商品の合計重量を計量する。
また、載置台26は、載置台26の上面から上方に延出する2本の支柱43と支柱43の上部に形成された一時置台44と2本の延出棒45を備える。延出棒45は、売上登録操作を行った商品を詰めるレジ袋を引っ掛ける棒である。レジ袋は延出棒45に取手を引っ掛けられた状態で開口し、商品を投入し易くする。また、一時置台44は、後述する読取部23で商品コードを読み取らせた商品のうち、壊れやすい商品(豆腐や卵)を一時的に載置する台である。一時置台44に載置された商品は最後に袋に詰める。
第2筐体42は、第1筐体41の上部に設けられている。第2筐体42は、内部に、読取部23と印字部24とカード読取部28を収納する。読取部23は、商品に付されたシンボルに含まれる商品コードを例えば光学的に読み取る装置である。印字部24は、顧客が購入した商品の取引情報を印字してレシートを発行する。カード読取部28は、挿入された顧客カードから顧客コードを電気的に読み出す。なお、顧客コードは、顧客カードに印字されたシンボルを読取部23で光学的に読み取って入力するようにしてもよい。
また、第2筐体42の上部には、顧客による登録操作に伴う商品の商品情報や会計情報を表示する表示部22が備えられる。表示部22は、顧客に対して、顧客が適切に登録操作や会計操作を行うためのガイダンスを表示する。また、表示部22は、顧客が誤操作したときの訂正方法や店員の呼出方法などを表示する。
表示部22は、表面にタッチパネル21を備えている。タッチパネル21はキーの役目を果たす。表示部22上に表示された各種キーに対応する位置のタッチパネル21を操作することによって、当該キーが操作される。なお、表示部22の外枠近傍には、セルフPOS端末1を操作中の顧客の顔を含む画像を撮影する撮像部30が設置されている。撮像部30は、CMOS(Complementary Metal-Oxide Semiconductor)、CCD(Charge Coupled Device)等の固体撮像素子を備えたカメラで構成されている。
また、第2筐体42は、後方に、上部に延出する円柱状のポール46を備えている。ポール46の上方先端部には、顧客が店員を呼び出す操作をしたときに発光する発光部29が設置されている。
顧客は、載置台25に載置されたカゴから商品を取り出して、取り出した商品を読取部23に翳すことによって、当該商品に付されたシンボルを読取部23に読み取らせる。そして顧客は、当該商品を載置台26に載置されたレジ袋に投入する。第1計量部251が、載置台25に載置されたカゴから商品を取り出した前後の重量を計量することによって、後述する制御部100(図3参照)は、変化した重量を計測する。第2計量部261が、載置台26に載置されたカゴに商品が投入された前後の重量を計量することによって、制御部100は、変化した重量を計測する。この前後の重量が等しい場合、制御部100は、顧客が正しく操作をしている(すなわち顧客は不正をしていない)と判定する。一方、前後の重量が異なる場合、制御部100は顧客が正しく操作をしていない(すなわち顧客が不正をしている)可能性があると判定する。そして、前後の重量が異なる場合には、例えば、表示部22に、「計量できません」、「置き台から離れて下さい」等のメッセージを表示することによって、顧客に対する注意喚起を行う。
(セルフPOS端末のハードウェア構成の説明)
次に、図3を用いて、セルフPOS端末1のハードウェア構成について説明する。図3は、セルフPOS端末1のハードウェア構成の一例を示すブロック図である。図3に示すように、セルフPOS端末1は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、メモリ部14等を備えている。CPU11は、制御主体となる。ROM12は、各種プログラムを記憶する。RAM13は、各種データを展開する。メモリ部14は、制御プログラム141および店員マスタ142を記憶する。
CPU11、ROM12、RAM13、メモリ部14は、互いにデータバス15を介して接続されている。CPU11とROM12とRAM13が、制御部100を構成する。すなわち、制御部100は、メモリ部14に記憶された制御プログラム141を読み出してRAM13上に展開する。そして、制御部100は、CPU11が制御プログラム141に従って動作することによって、後述する各種処理を実行する。すなわち、セルフPOS端末1は、CPU(Central Processing Unit)11が制御主体となって制御プログラム141を実行する、一般的なコンピュータシステムの構成を有する。
制御プログラム141は、インストール可能な形式または実行可能な形式のファイルで、CD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。或いは、インターネット等のネットワークに接続されたコンピュータに格納した制御プログラム141を、ネットワーク経由で、後述する通信部47を介してセルフPOS端末1にダウンロードしてもよい。
RAM13は、商品情報を記憶する商品マスタ131を有する。商品マスタ131は、各商品の商品コードと、その商品の「商品名」や「商品単価」等の商品情報と、を対応付けて記憶したテーブルである。メモリ部14は、電源を切っても記憶情報が保持されるHDD(Hard Disc Drive)やフラッシュメモリ等の不揮発性メモリで構成されて、制御プログラム141を記憶する。また、メモリ部14は、店員マスタ142を有する。店員マスタ142は、セルフPOS端末1を店員モードで使用する可能性のある店員の顔特徴と、当該店員がセルフPOS端末1を店員モードで使用する際に、セルフPOS端末1を店員モードで使用する意志表示を表す動作情報と、をそれぞれ店舗の店員と関連付けて、店員データとして記憶したテーブルである。なお、顔特徴と店員が行う動作について、詳しくは後述する。
また、制御部100は、データバス15およびコントローラ16を介して、前述したタッチパネル21、表示部22、読取部23、印字部24、第1計量部251、第2計量部261、釣銭機27、カード読取部28、発光部29、撮像部30と、それぞれ接続している。
タッチパネル21は、表示部22に表示する「開始キー」に対応した開始キー211、表示部22に表示する「終了キー」に対応した終了キー213、および表示部22に表示する「店員モードキー」に対応した店員モードキー212を備える。
開始キー211は、セルフPOS端末1の操作を行う顧客が、売上登録処理を開始する際に押下する。すなわち、顧客が開始キー211を押下すると、セルフPOS端末1は売上登録処理を開始する。
終了キー213は、セルフPOS端末1の操作を行う顧客が、売上登録操作を終了する際に押下する。すなわち、顧客が終了キー213を押下すると、セルフPOS端末1は売上登録処理を終了する。
店員モードキー212は、店員がセルフPOS端末1を店員モードで使用する際に押下する。すなわち、店員が店員モードキー212を押下すると、セルフPOS端末1は店員モードで動作を行うスタンバイ状態となる。その後、セルフPOS端末1は、店員モードキー212を押下したのが、予め登録された店員であるかを確認した上で、店員モードでの動作を開始する。なお、店員モードキー212を押下したのが、予め登録された店員であるかを確認する処理については後述する。
なお、店員モードでの使用を終了した際に、店員が終了キー213を押下すると、セルフPOS端末1は店員モードを終了する。すなわち、終了キー213は、店員モードの終了を指示する機能も併せ持つ。
また、制御部100は、データバス15を介して通信部47と接続する。通信部47は、通信回線NTを介して、他のセルフPOS端末1やアテンダントPC2と情報の送受信を行う。
(セルフPOS端末の機能構成の説明)
次に、図4を用いて、セルフPOS端末1が店員モードへの切り替え処理を行う際の機能構成について説明する。図4は、セルフPOS端末1が店員モードへの切り替え処理を行う際の機能構成の一例を示す機能ブロック図である。
セルフPOS端末1の制御部100は、制御プログラム141(図3)に従って動作することで、図4に示す顔画像登録部80、動作登録部82、検出動作起動部84、顔特徴検出部86、店員識別部88、動作検出部92、動作モード変更部90として動作する。なお、制御部100は、前述した売上登録処理と決済処理も実行するが、ここでは、本発明の特徴的な構成である店員モードへの切り替え処理を行う機能構成についてのみ説明する。
顔画像登録部80は、セルフPOS端末1を店員モードで使用する可能性のある店員の顔特徴または顔画像を、店員マスタ142に登録する顔画像登録処理を行う。具体的には、撮像部30で撮影した店員の顔画像に対して、後述する顔特徴検出部86において、生体情報としての顔特徴を検出する顔特徴検出処理を行う。そして、セルフPOS端末1を店員モードで使用する可能性のある店員から検出した顔特徴を、当該店員と関連付けて、店員マスタ142に登録する。なお、顔画像登録処理は、特定のセルフPOS端末1において実行される。
顔特徴とは、個人の顔を特徴付ける視覚的な特徴である。本実施形態の例では、例えば、顔の中に普遍的に存在する特徴点(目、鼻、口等)の位置、各特徴点同士の位置関係を顔特徴として利用する。なお、登録される店員が増えると、各店員を高い精度で識別するために、使用する顔特徴の変更、および識別を行うためのしきい値の変更ができるのが望ましい。したがって、検出した顔特徴と併せて、撮像部30で撮影した店員の顔画像も店員マスタ142に登録しておく。これによって、登録される店員の数が増加した際には、登録した顔画像の中から、改めて顔特徴を検出することによって、識別のための基準を変更することができる。ここで、顔画像に基づく個人認証は、現在では広く一般に用いられており、数々の顔特徴の検出方法、および識別アルゴリズムが提案されている。本実施形態では、そのいずれの顔特徴を用いてもよい。また、いずれの識別アルゴリズムを用いてもよい。
動作登録部82は、セルフPOS端末1を店員モードで使用する意志表示を表す各店員固有の動作情報を、店員マスタ142に登録する動作登録処理を行う。本実施形態では、店員に顔の動きを伴う動作を行わせて、そのときに撮像部30で撮影した画像(動画像)を店員マスタ142に登録する。その際、少なくとも、撮像部30で撮影した動画像の中から検出した顔特徴の動きを数値化して、店員と関連付けた動作情報として店員マスタ142に登録する。各店員に行わせる、顔の動きを伴う具体的な動作の例については後述する。このようにして、店舗の店員と関連付けられて店員マスタ142に登録された顔特徴と顔特徴の動きを示す動作情報とは、店員データとして、通信回線NTを介して、他のセルフPOS端末1が備える店員マスタ142に送信され、登録される。これによって、店舗に備えられたいずれのセルフPOS端末1においても、以下に説明する各処理が同様に実行される。なお、セルフPOS端末1を店員モードで使用する意志表示を表す所定の動作は、各店員で異なる動作としてもよいし、店員間で同じ動作としてもよい。特に、所定の動作を店員間で同じ動作としたときには、店員マスタ142には、店員データとして、店舗の店員と各店員の顔特徴のみを対応付けて登録しておけばよく、動作情報は対応付けて登録しておく必要はない。この場合、店員間で共通する所定の動作の内容は、後述する動作検出部92に登録する。
検出動作起動部84は、後述する顔特徴検出部86に対して、顔特徴検出処理を開始するトリガーを与える。具体的には、検出動作起動部84は、前述した店員モードキー212(図3)が押下されたかを検出して、店員モードキー212が押下されたときに、顔特徴検出部86に対して顔特徴検出処理を開始させる。
顔特徴検出部86は、生体情報検出部の一例である。顔特徴検出部86は、撮像部30で画像を撮影して、撮影された画像の中から顔特徴を検出する顔特徴検出処理を行う。具体的には、顔特徴検出部86は、撮影された画像の中から、顔画像登録部80が前述した顔画像登録処理を行う際に検出した顔特徴と同じ顔特徴を検出する。なお、店員が店員モードキー212を押下してから表示部22を覗き込むまでにはタイムラグがあるため、撮影された画像の中には、店員が写っていない可能性がある。したがって、撮像部30は、所定の時間間隔(例えば1/30秒間隔)で画像を連続的に撮影する。そして、撮影された各画像に対して、それぞれ顔特徴検出処理を行う。顔特徴検出部86は、検出した顔特徴を店員識別部88と動作検出部92に送る。このとき、画像の中に店員の顔が写っていないときには顔特徴が検出できないため、撮影した一連の画像の中から、顔特徴が検出された画像のみについて、顔特徴の検出結果と、その画像が得られた時刻(例えばタイムスタンプ)と、を店員識別部88と動作検出部92に送る。
店員識別部88は、顔特徴検出部86が検出した顔特徴を、店員マスタ142に登録された各店員の顔特徴と照合する店員識別処理を行う。そして、店員識別部88は、撮影された画像に写っているのがどの店員であるかを判定する。店員識別部88は、識別された店員を表す、例えば固有のID番号を後述する動作モード変更部90に送る。このとき、店員識別部88には、前述したように、顔特徴検出部86から顔特徴の検出結果が複数送られるため、店員識別部88は、複数の顔特徴の検出結果のそれぞれに対して店員識別処理を行う。そして、店員識別部88は、予め設定した複数枚の画像で同一店員と照合がとれたとき(すなわち、所定の時間に亘って同一店員であると認識されたとき)に、当該店員であると判定する。表示部22を覗き込む店員の顔にはぶれが発生するおそれがあるため、顔の大きさや顔の位置が変動する。したがって、異なる時間に撮影された複数枚の画像を用いて照合を行うことによって、照合の精度を向上させることができる。
動作検出部92は、顔特徴検出部86が検出した顔特徴に基づいて、店員が行った動作を検出する動作検出処理を行う。具体的には、顔特徴検出部86が時間的に連続した複数の画像から検出した顔特徴の動きに基づいて、店員が行った動作の種類を検出する。検出された動作は、店員マスタ142に登録された各店員の動作情報と照合する。そして、動作検出部92は、撮影された画像に写っている動作が、どの店員が登録した動作情報に合致するかを識別する。動作検出部92は、識別された動作情報を表す固有のID番号を後述する動作モード変更部90に送る。なお、店員間で同じ動作を設定したときには、動作検出部92は、動作検出部92に登録された動作を検出すればよい。
店員識別部88が行う店員識別処理と、動作検出部92が行う動作検出処理と、は、いかなる順序で処理を行ってもよい。具体的には、店員識別処理を先に実行して、店員を識別した後で動作検出処理を行ってもよい。この順序で処理を行うことによって、店員マスタ142に登録された情報に基づいて、識別された店員が行うであろう動作が予測できるため、動作検出処理は、予測された動作がなされたかを検出すればよい。そのため、動作検出処理を効率的に行うことができる。
逆に、動作検出処理を先に実行して、動作を検出した後で店員識別処理を行ってもよい。この順序で処理を行うことによって、店員マスタ142に登録された情報に基づいて、検出された動作を行う店員が予測できるため、店員識別処理は、予測された店員が写っているかを識別すればよい。そのため、店員識別処理を効率的に行うことができる。
さらに、店員識別処理と動作検出処理とを同時並行的に実行することもできる。前述したように、表示部22を覗き込む店員の顔にはぶれが発生するおそれがあるため、店員識別処理を行うためにも複数枚の画像から得た顔特徴を用いて照合を行うのが望ましい。また、動作検出処理を行うためにも、複数枚の画像が必要となる。したがって、撮影された画像(動画像)の状態によっては、店員識別処理の識別結果が先に確定する場合もあれば、動作検出処理の検出結果が先に確定する場合もある。
例えば、顔が小さく写っている場合には、店員識別処理を行うには不十分な画像であっても、必要な特徴点が検出できさえすれば、動作検出処理を実行できる可能性がある。そのため、時間的に先に確定した結果(店員識別処理の識別結果または動作検出処理の検出結果)に基づいて、他方の処理における識別対象または検出対象を絞り込むことができる。このような処理形態をとることによって、より効率的に処理を行うことができる。後述する店員識別処理および動作検出処理の流れの説明(図7参照)では、店員識別処理と動作検出処理とを同時並行的に実行する例を用いて説明する。
動作モード変更部90は、店員識別処理の識別結果と動作検出処理の検出結果が、店員マスタ142に登録された情報と合致するかを判定する。すなわち、店員識別部88が識別した店員のID番号および動作検出部92が検出した動作のID番号が、店員マスタ142に登録された情報と合致するかを判定する。そして、動作モード変更部90は、店員のID番号および動作のID番号がともに一致したとき、セルフPOS端末1を、顧客モードから店員モードに切り替える。一方、店員のID番号および動作のID番号が登録情報と一致しないとき、または店員識別部88が店員であることを識別できなかったとき、或いは動作検出部92が動作を検出できなかったときには、動作モード変更部90は、セルフPOS端末1を顧客モードから店員モードへ切り替えない。
また、動作モード変更部90は、セルフPOS端末1が店員モードの状態にあるときに終了キー213が押下されたことを条件として、セルフPOS端末1を顧客モードに切り替える。
(動作検出方法の説明)
次に、図5を用いて、セルフPOS端末1の動作検出部92が行う動作検出例について説明する。図5は、顔の動きに基づく動作検出例について説明する図である。
動作検出部92は、顔特徴の位置が、時間とともにどのように動いたかを検出することによって、動作を検出する。動作検出部92は、図5に示す複数の種類の動作を検出することができる。
顔特徴である目、鼻、口の位置をひとまとめにして、それらが時間とともにどのように動いたかを検出することによって、顔の向き、首の縦振り(うなずき)、首の横振り、表情を検出することができる。
また、目(まぶた)の位置に着目することによって、まばたき、ウインクを検出することができる。
さらに、目(眼球)の位置および顔全体に着目することによって、視線方向を検出することができる。
また、口の位置に着目することによって、唇の動きを検出することができる。
このように、動作検出部92は、顔の中の着目すべき部位に対応した動作を検出することができる。
(店員モードと顧客モードの切り替え処理の流れの説明)
図6を用いて、セルフPOS端末1が行う店員モードと顧客モードの切り替え処理の流れについて説明する。図6は、セルフPOS端末1が行う店員モードと顧客モードの切り替え処理の流れを示すフローチャートである。
検出動作起動部84は、店員モードキー212が押下されたかを判定する(ステップS10)。店員モードキー212が押下されたとき(ステップS10;Yes)はステップS12に進み、それ以外のとき(ステップS10;No)はステップS22に進む。なお、ステップS10の処理は、割り込み処理として実行される。
店員識別部88が店員識別処理を行い、動作検出部92が動作検出処理を行う(ステップS12)。なお、ステップS12で行う詳細な処理の流れについては後述する。
動作モード変更部90は、店員識別処理の結果および動作検出処理の結果に基づいて、撮像部30が撮影した画像に写っているのが、店員マスタ142に登録された店員であるかを判定する(ステップS14)。登録された店員であるとき(ステップS14;Yes)はステップS16に進み、それ以外(ステップS14;No)はステップS22に進む。
動作モード変更部90は、セルフPOS端末1を店員モードに切り替える(ステップS16)。
動作モード変更部90は、終了キー213が押下されたかを判定する(ステップS18)。終了キー213が押下されたとき(ステップS18;Yes)はステップS20に進み、それ以外のとき(ステップS18;No)はステップS18を繰り返す。
動作モード変更部90は、セルフPOS端末1を顧客モードに切り替える(ステップS20)。その後、ステップS22に進む。
セルフPOS端末1は、売上登録処理と決済処理を行う(ステップS22)。
制御部100は、店員を呼び出す操作がなされたかを判定する(ステップS24)。店員を呼び出す操作がなされたとき(ステップS24;Yes)はステップS26に進み、それ以外のとき(ステップS24;No)はステップS38に進む。なお、ステップS24の処理は、割り込み処理として実行される。
検出動作起動部84は、店員モードキー212が押下されたかを判定する(ステップS26)。店員モードキー212が押下されたとき(ステップS26;Yes)はステップS28に進み、それ以外のとき(ステップS26;No)はステップS26を繰り返す。
店員識別部88が店員識別処理を行い、動作検出部92が動作検出処理を行う(ステップS28)。なお、ステップS28で行う詳細な処理の流れについては後述する。
動作モード変更部90は、店員識別処理の結果および動作検出処理の結果に基づいて、撮像部30が撮影した画像に写っているのが、店員マスタ142に登録された店員であるかを判定する(ステップS30)。登録された店員であるとき(ステップS30;Yes)はステップS32に進み、それ以外(ステップS30;No)はステップS28に戻る。
動作モード変更部90は、セルフPOS端末1を店員モードに切り替える(ステップS32)。
動作モード変更部90は、終了キー213が押下されたかを判定する(ステップS34)。終了キー213が押下されたとき(ステップS34;Yes)はステップS36に進み、それ以外のとき(ステップS34;No)はステップS34を繰り返す。
動作モード変更部90は、セルフPOS端末1を顧客モードに切り替える(ステップS36)。その後、ステップS22に戻る。
制御部100は、決済処理が完了したことを検出することによって、セルフPOS端末1における会計処理が終了したかを判定する(ステップS38)。会計処理が終了したとき(ステップS38;Yes)は図6の処理を終了し、それ以外のとき(ステップS38;No)は、ステップS22に戻る。
(店員識別処理および動作検出処理の流れの説明)
次に、図6のステップS12およびステップS28で行われる、店員識別処理および動作検出処理の流れについて、図7を用いて説明する。図7は、セルフPOS端末1が行う店員識別処理および動作検出処理の流れを示すフローチャートである。
撮像部30は画像を撮影する(ステップS50)。
顔特徴検出部86は、撮影された画像の中から顔特徴を検出する顔特徴検出処理を行う(ステップS52)。
店員識別部88は、顔特徴検出部86が検出した顔特徴を、店員マスタ142に登録された各店員の顔特徴と照合する店員識別処理を行う(ステップS54)。
店員識別部88は、顔照合が完了したかを判定する(ステップS56)。顔照合が完了したとき(ステップS56;Yes)はステップS58に進み、それ以外のとき(ステップS56;No)はステップS66に進む。
動作検出部92は、店員識別処理の結果と、店員マスタ142に登録された情報と、に基づいて、動作検出処理によって検出する動作を、識別された店員が行う動作に絞り込む(ステップS58)。
動作検出部92は、顔特徴検出部86が検出した顔特徴に基づいて、店員が行った動作を検出する動作検出処理を行う(ステップS60)。
動作検出部92は、動作検出が完了したかを判定する(ステップS62)。動作検出が完了したとき(ステップS62;Yes)はメインルーチン(図6)に戻り、それ以外のとき(ステップS62;No)はステップS64に進む。
撮像部30は画像を撮影する(ステップS64)。その後、ステップS60に戻る。
ステップS56において、店員識別部88が顔照合を完了していないとき(ステップS56;No)は、動作検出部92は、動作検出処理を行う(ステップS66)。
動作検出部92は、動作検出が完了したかを判定する(ステップS68)。動作検出が完了したとき(ステップS68;Yes)はステップS70に進み、それ以外のとき(ステップS68;No)はステップS50に戻る。
店員識別部88は、動作検出処理の結果に基づいて、店員マスタ142に登録された店員の中から、店員識別処理によって照合すべき店員を絞り込む(ステップS70)。
撮像部30は画像を撮影する(ステップS72)。
顔特徴検出部86は、顔特徴検出処理を行う(ステップS74)。
店員識別部88は、店員識別処理を行う(ステップS76)。
店員識別部88は、顔照合が完了したかを判定する(ステップS78)。顔照合が完了したとき(ステップS78;Yes)はメインルーチン(図6)に戻り、それ以外のとき(ステップS78;No)はステップS72に戻る。
図7のフローチャートに沿って店員識別処理と動作検出処理を行うことによって、撮像部30が撮影する画像の状態によらずに、店員識別処理と動作検出処理とを、ともに効率的に実行することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。第2の実施形態は、第1の実施形態で説明したセルフPOS端末1(商品販売データ処理装置)を、セルフPOS端末1aと、セルフPOS端末1aと通信回線NTを介して接続されたサーバ装置3と、を備えるセルフPOSシステム1b(商品販売データ処理システム)として構成したものである。セルフPOSシステム1bは、前述したセルフPOS端末1と構成が異なるのみで、同じ機能を有する。
(セルフPOSシステムのハードウェア構成の説明)
図8を用いて、セルフPOSシステム1bのハードウェア構成について説明する。図8は、セルフPOSシステム1bのハードウェア構成の一例を示すブロック図である。図8に示すように、セルフPOSシステム1bは、セルフPOS端末1aとサーバ装置3と、を備える。セルフPOS端末1aとサーバ装置3は協働することによって、第1の実施形態で説明したセルフPOS端末1と同じ機能を実現する。
セルフPOS端末1aは、前述したセルフPOS端末1と同じハードウェア構成を有しており、メモリ部14が制御プログラム143を備える点のみが異なっている。なお、個々の部位はセルフPOS端末1と同じであるため、説明は省略する。
サーバ装置3は、セルフPOS端末1aと通信回線NTを介して電気的に接続されている。サーバ装置3は、CPU(Central Processing Unit)50、ROM(Read Only Memory)52、RAM(Random Access Memory)54、メモリ部56、および通信部58を備えている。CPU50は、制御主体となる。ROM52は、各種プログラムを記憶する。RAM54は、各種データを展開する。メモリ部56は、制御プログラム144および店員マスタ142aを記憶する。通信部58は、通信回線NTを介して、セルフPOS端末1aやアテンダントPC2(図1)と情報の送受信を行う。
CPU50、ROM52、RAM54、メモリ部56は、互いにデータバス60を介して接続されている。CPU50とROM52とRAM54が、制御部100aを構成する。すなわち、制御部100aは、メモリ部56に記憶された制御プログラム144を読み出してRAM54上に展開する。そして、制御部100aは、CPU50が制御プログラム144に従って動作することによって、後述する各種処理を実行する。すなわち、サーバ装置3は、CPU(Central Processing Unit)50が制御主体となって制御プログラム144を実行する、一般的なコンピュータシステムの構成を有する。
制御プログラム144は、インストール可能な形式または実行可能な形式のファイルで、CD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。或いは、インターネット等のネットワークに接続されたコンピュータに格納した制御プログラム144を、ネットワーク経由で、通信部58を介してサーバ装置3にダウンロードしてもよい。
(セルフPOSシステムの機能構成の説明)
次に、図9を用いて、セルフPOS端末1aが店員モードへの切り替え処理を行う際の機能構成について説明する。図9は、セルフPOS端末1aが店員モードへの切り替え処理を行う際の機能構成の一例を示す機能ブロック図である。
セルフPOSシステム1b(商品販売データ処理システム)は、第1の実施形態においてセルフPOS端末1が実行していた機能の一部を、サーバ装置3において実行する。すなわち、セルフPOSシステム1bは、撮像部30が撮影した顔画像の中から検出した顔特徴、および撮影した画像をサーバ装置3に送信して、サーバ装置3において店員識別処理と動作検出処理を行う。そして、サーバ装置3において顧客モードを店員モードに切り替えるかを判定して、判定結果をセルフPOS端末1aに送信する構成になっている。
セルフPOS端末1aの制御部100は、制御プログラム143に従って動作することで、図9に示す顔画像登録部80、動作登録部82、検出動作起動部84、顔特徴検出部86、顔特徴送信部94、動作モード変更部90aとして動作する。なお、制御部100は、第1の実施形態で説明した売上登録処理と決済処理も実行するが、ここでは、本発明の特徴的な構成である店員モードへの切り替え処理を行う機能構成についてのみ説明する。
制御部100が有する、顔画像登録部80、動作登録部82、検出動作起動部84、顔特徴検出部86の機能は、第1の実施形態で説明した通りであるため、説明は省略する。
顔特徴送信部94は、生体情報送信部の一例である。顔特徴送信部94は、顔特徴検出部86が検出した顔特徴、および撮像部30が撮影した顔画像を、通信回線NTを介してサーバ装置3に送信する。
動作モード変更部90aは、サーバ装置3が備える、後述する動作モード変更指示部98からの指示を受けて、セルフPOS端末1aを顧客モードから店員モードに切り替える。
サーバ装置3の制御部100aは、制御プログラム144に従って動作することで、図9に示す顔特徴受信部96、店員識別部88a、動作検出部92a、動作モード変更指示部98として動作する。
制御部100aが有する、店員識別部88a、動作検出部92aの機能は、第1の実施形態で説明した通りであるため、説明は省略する。
顔特徴受信部96は、生体情報受信部の一例である。顔特徴受信部96は、顔特徴送信部94が送信した顔特徴および顔画像を受信する。
動作モード変更指示部98は、店員識別部88aの識別結果および動作検出部92aの検出結果に基づいて、セルフPOS端末1aを顧客モードから店員モードに切り替えるかを判定する。そして、セルフPOS端末1aを顧客モードから店員モードに切り替える際には、セルフPOS端末1aの動作モード変更部90aに対して、顧客モードから店員モードへの切り替えを指示する。
セルフPOSシステム1bが行う店員モードと顧客モードの切り替え処理の流れは、第1の実施形態で説明したセルフPOS端末1が行う処理の流れと、セルフPOS端末1aとサーバ装置3との間で情報の送受信が発生する部分を除くと実質的に同じであるため、説明は省略する。
以上説明したように、第1の実施形態のセルフPOS端末1(商品販売データ処理装置)によれば、検出動作起動部84によって起動された顔特徴検出部86(生体情報検出部)が顔特徴(生体情報)を検出する。そして、店員識別部88が、検出された顔特徴を店員マスタ142に登録された店員の顔特徴と照合することによって、セルフPOS端末1の操作者が、登録されたいずれの店員であるかを識別する。また、動作検出部92が、店員の所定の動作を検出する。そして、動作モード変更部90は、店員識別部88が、セルフPOS端末1の操作者を予め登録された店員であると識別するとともに、動作検出部92が、所定の動作を検出したことを条件として、セルフPOS端末1を、店員に応じた動作モードに変更する。すなわち、店員は、店員モードに切り替える際には、店員モードに切り替える意志表示を示す所定の動作を行う必要がある。したがって、店員自身が買い物を行う際には、所定の動作を行わないことによって、勝手に店員モードに切り替わらないようにすることができる。また、名札やコード入力を用いないため、他人になりすますことによって、セルフPOS端末1を不正に使用する危険性を低減することができる。
また、第1の実施形態のセルフPOS端末1(商品販売データ処理装置)によれば、検出動作起動部84によって起動された顔特徴検出部86(生体情報検出部)が顔特徴(生体情報)を検出する。そして、店員識別部88が、検出された顔特徴を店員マスタ142に登録された店員データと照合することによって、セルフPOS端末1の操作者が、登録されたいずれの店員であるかを識別する。また、動作検出部92が、店員の所定の動作を検出する。そして、動作モード変更部90は、店員識別部88が、セルフPOS端末1の操作者を予め登録された店員であると識別するとともに、動作検出部92が、当該店員に関連付けられた動作を検出したことを条件として、セルフPOS端末1を、店員に応じた動作モードに変更する。したがって、店員自身が買い物を行う際には、所定の動作を行わないことによって、勝手に店員モードに切り替わらないようにすることができる。また、名札やコード入力を用いないため、他人になりすますことによって、セルフPOS端末1を不正に使用する危険性を低減することができる。
また、第1の実施形態のセルフPOS端末1によれば、動作検出部92は、顔特徴検出部86(生体情報検出部)が検出した操作者の顔特徴(生体情報)に基づいて、操作者の動作を検出する。したがって、個人識別のために必要な情報を検出するセンサと、動作検出を行うために必要な情報を検出するセンサと、を共用することができるため、装置の構成を簡単にすることができる。
そして、第1の実施形態のセルフPOS端末1によれば、顔特徴検出部86(生体情報検出部)は、操作者の顔を含む画像の中から顔特徴を検出する。そして、動作検出部92は、操作者の顔の動きを伴う動作を検出する。したがって、店員は自然な動作によって、セルフPOS端末1を店員モードに移行させることができる。
さらに、第1の実施形態のセルフPOS端末1によれば、店員識別部88が識別した店員(操作者)の識別結果と、動作検出部92が検出した動作の検出結果と、のうち、店員の識別結果が動作の検出結果よりも時間的に先に確定したことを条件として、動作検出部92は、識別結果に基づく店員に関連付けられて店員マスタ142に登録された動作に絞って検出する。また、動作の検出結果が店員の識別結果よりも時間的に先に確定したことを条件として、店員識別部88は、操作者を、検出された動作に関連付けられて店員マスタ142に登録された店員の中から識別する。したがって、店員は好きなタイミングで所定の動作を行うことができるため、より一層自然な動作によって、セルフPOS端末1を店員モードに移行させることができる。
また、第2の実施形態のセルフPOSシステム1b(商品販売データ処理システム)によれば、セルフPOS端末1aが備える検出動作起動部84によって起動された顔特徴検出部86(生体情報検出部)が、顔特徴(生体情報)を検出する。そして、顔特徴送信部94(生体情報送信部)が、検出された顔特徴をサーバ装置3に送信する。サーバ装置3が備える店員識別部88aは、顔特徴受信部96(生体情報受信部)が受信した顔特徴を店員マスタ142aに登録された店員の顔特徴と照合することによって、セルフPOS端末1aの操作者が、登録されたいずれの店員であるかを識別する。また、動作検出部92aが、顔特徴に基づいて店員の所定の動作を検出する。そして、動作モード変更指示部98は、店員識別部88aが、セルフPOS端末1aの操作者を予め登録された店員であると識別するとともに、動作検出部92aが、当該店員の所定の動作を検出したことを条件として、セルフPOS端末1aに対して、セルフPOS端末1aを店員モードで動作するように指示を出す。セルフPOS端末1aの動作モード変更部90aは、動作モード変更指示部98からの指示を受けて、セルフPOS端末1aを店員モードに切り替える。したがって、店舗に複数のセルフPOS端末1aを備える場合に、各セルフPOS端末1aに店員マスタを備える必要がない。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、本実施形態では、本発明を、顧客が自身で商品登録および決済を行うセルフPOS端末1に適用した例について説明したが、本発明の適用範囲は、セルフPOS端末1に限るものではない。例えば、決済装置として、セミ・セルフのチェックアウトレーンに設置されて、店員による商品登録の後、顧客による決済処理を行うセミ・セルフPOS端末に適用してもよい。
また、本実施形態では、登録された店員が所定の動作を行ったことを認識して、セルフPOS端末1を店員モードに切り替えたが、店員モードに切り替えた際に、識別された店員に応じた操作権限を与えるようにしてもよい。すなわち、経営者やマネージャが操作可能な権限と、一般社員が操作可能な権限と、アルバイト店員が操作可能な権限と、を分けて設定することも可能である。
さらに、本実施形態は、セルフPOS端末1を顧客モードから店員モードに切り替える際の個人識別に適用したものであるが、適用範囲はそれに限定されるものではない。すなわち、セルフPOS端末1の操作者である顧客が、予め登録された顧客のうち誰であるのかを識別する際にも適用することができる。そして、識別した結果に基づいて、セルフPOS端末1を、「お得意様」、「習熟者」、「初心者」等の顧客の属性に応じた操作形態に切り替えることができる。
また、本実施形態では、店員識別処理と動作検出処理を、撮像部30が撮影した画像の中から検出した、生体情報である顔特徴に基づいて行ったが、店員識別処理と動作検出処理は、それ以外の情報に基づいて行ってもよい。例えば、セルフPOS端末1に、撮像部30の代わりに、指紋検出機能を有するパッドを設置して、店員がセルフPOS端末1を店員モードに変更して作業を行う際に、前記パッドに指を押し当てて、予め登録した所定の手書き文字を入力する構成にしてもよい。この場合、パッドに押し当てた指の指紋を検出することによって店員識別処理を行うことができる。そして、入力した手書き文字を認識することによって、動作検出処理を行うことができる。したがって、本実施形態で説明したのと同じ機能を実現することができる。
さらに、動作検出処理によって検出する動作は、店員識別処理を行うために利用する生体情報とは異なる情報を用いて検出してもよいのは勿論である。すなわち、店員の識別は顔特徴や指紋等の生体情報を用いて行い、動作検出は別の手段で行ってもよい。例えば、セルフPOS端末1の操作者の半身像を撮影して、撮影された画像の中から検出した、操作者の手や指の動き(ジェスチャー)に基づいて、動作を検出してもよい。或いは、セルフPOS端末1に、表示部22から対象物までの距離を測定する測距センサを設置して、この測距センサを用いて、表示部22を覗き込んだ店員までの距離の変化を測定して、店員の体の前後の動きを認識することによって所定の動作を検出してもよい。
また、顔画像登録部80による顔画像登録処理、および動作登録部82による動作登録処理は、本実施形態で説明したように、セルフPOS端末が備える撮像部30で撮影した画像を用いて実行する以外に、例えば、店舗のバックヤードに設置された店員用端末にカメラを備えて、このカメラを用いて撮影した画像を用いて行ってもよい。
さらに、店員識別処理および動作検出処理を行う際には、適切な時間制限を設けてもよい。すなわち、予め設定した所定時間に亘って、店員識別処理または動作検出処理が終了しないときは、店員が写っていない、または、店員モードに切り替える意志がないものと判断して、店員モードへの切り替えを行わないようにしてもよい。
1 セルフPOS端末(商品販売データ処理装置)
1b セルフPOSシステム(商品販売データ処理システム)
3 サーバ装置
80 顔画像登録部
82 動作登録部
84 検出動作起動部
86 顔特徴検出部(生体情報検出部)
88 店員識別部
90 動作モード変更部
92 動作検出部
94 顔特徴送信部(生体情報送信部)
96 顔特徴受信部(生体情報受信部)
100 制御部
142,142a 店員マスタ
特開2015−125480号公報

Claims (6)

  1. 店舗で買い物した際の決済処理を、顧客自らが行う商品販売データ処理装置であって、
    前記商品販売データ処理装置を操作する操作者の生体情報を検出する生体情報検出部と、
    前記店舗の店員の生体情報に基づいて、前記生体情報検出部で検出された生体情報を有する前記操作者が、前記店員のいずれであるかを識別する店員識別部と、
    予め登録された、前記操作者の固有の動作を検出する動作検出部と、
    前記店員識別部が、前記操作者を店員であると識別するとともに、前記動作検出部が、前記固有の動作を検出したことを条件として、前記商品販売データ処理装置の動作モードを変更する動作モード変更部と、
    を有することを特徴とする商品販売データ処理装置。
  2. 前記店員識別部は、前記店舗の店員の生体情報と当該店員の前記固有の動作とを、前記店員と関連付けて記憶した店員データに基づいて、前記生体情報検出部で検出された生体情報を有する前記操作者が、前記店員のいずれであるかを識別するとともに、
    前記動作検出部は、前記店員識別部が識別した前記店員に関連付けられた前記固有の動作を検出すること、
    を特徴とする請求項1に記載の商品販売データ処理装置。
  3. 前記動作検出部は、前記生体情報検出部が検出した前記操作者の前記生体情報に基づいて、前記操作者の前記固有の動作を検出する、
    ことを特徴とする請求項1または2に記載の商品販売データ処理装置。
  4. 前記生体情報検出部は、前記操作者の顔を含む画像の中から顔特徴を検出するものであって、
    前記動作検出部は、前記操作者の少なくとも顔の動きを伴う動作を検出するものである、
    ことを特徴とする請求項3に記載の商品販売データ処理装置。
  5. 店舗で買い物した際の決済処理を、顧客自らが行う商品販売データ処理システムであって、
    前記商品販売データ処理システムを操作する操作者の生体情報を検出する生体情報検出部と、前記生体情報を外部に送信する生体情報送信部と、前記商品販売データ処理システムの動作モードを変更する動作モード変更部と、を有するPOS端末と、
    前記POS端末から前記生体情報を受信する生体情報受信部と、前記店舗の店員の生体情報に基づいて、前記生体情報検出部で検出された生体情報を有する前記操作者が、前記店員のいずれであるかを識別する店員識別部と、予め登録された、前記操作者の固有の動作を検出する動作検出部と、前記店員識別部が、前記操作者を店員であると識別するとともに、前記動作検出部が、前記固有の動作を検出したことを条件として、前記POS端末に対して、当該POS端末の動作モードを変更する指示を与える動作モード変更指示部と、を有するサーバ装置と、
    を備えることを特徴とする商品販売データ処理システム。
  6. 店舗で買い物した際の決済処理を、顧客自らが行う商品販売データ処理装置を制御するコンピュータを、
    前記商品販売データ処理装置を操作する操作者の生体情報を検出する生体情報検出と、
    前記店舗の店員の生体情報に基づいて、前記生体情報検出で検出された生体情報を有する前記操作者が、前記店員のいずれであるかを識別する店員識別と、
    予め登録された、前記操作者の固有の動作を検出する動作検出と、
    前記店員識別が、前記操作者を店員であると識別するとともに、前記動作検出が、前記固有の動作を検出したことを条件として、前記商品販売データ処理装置の動作モードを変更する動作モード変更と、
    して機能させるためのプログラム。
JP2016089145A 2016-04-27 2016-04-27 商品販売データ処理装置、商品販売データ処理システムおよびプログラム Active JP6730076B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016089145A JP6730076B2 (ja) 2016-04-27 2016-04-27 商品販売データ処理装置、商品販売データ処理システムおよびプログラム
US15/490,984 US20170316397A1 (en) 2016-04-27 2017-04-19 Commodity sales data processing device, commodity sales data processing system, and commodity sales data processing method
EP17167203.3A EP3244363A1 (en) 2016-04-27 2017-04-20 Commodity sales data processing device, commodity sales data processing system, and commodity sales data processing method
CN201710266721.0A CN107403528A (zh) 2016-04-27 2017-04-21 商品销售数据处理装置及系统、以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016089145A JP6730076B2 (ja) 2016-04-27 2016-04-27 商品販売データ処理装置、商品販売データ処理システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2017199188A JP2017199188A (ja) 2017-11-02
JP6730076B2 true JP6730076B2 (ja) 2020-07-29

Family

ID=58692313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016089145A Active JP6730076B2 (ja) 2016-04-27 2016-04-27 商品販売データ処理装置、商品販売データ処理システムおよびプログラム

Country Status (4)

Country Link
US (1) US20170316397A1 (ja)
EP (1) EP3244363A1 (ja)
JP (1) JP6730076B2 (ja)
CN (1) CN107403528A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6272810B2 (ja) * 2015-09-30 2018-01-31 東芝テック株式会社 情報処理装置およびプログラム
JP7186997B2 (ja) * 2018-03-26 2022-12-12 株式会社寺岡精工 商品販売データ処理装置及びプログラム
JP7156855B2 (ja) * 2018-08-17 2022-10-19 東芝テック株式会社 チェックアウトシステム
JP6870669B2 (ja) 2018-08-30 2021-05-12 日本電気株式会社 精算装置及び制御方法
US20200394628A1 (en) * 2019-06-12 2020-12-17 Toshiba Tec Kabushiki Kaisha Store clerk call system and store clerk call processing method
CN110472870B (zh) * 2019-08-15 2023-02-28 成都睿晓科技有限公司 一种基于人工智能的收银台服务规范检测系统
JP6942765B2 (ja) * 2019-08-22 2021-09-29 東芝テック株式会社 ユーザ端末、買物支援方法、買物支援プログラム
JP2022052586A (ja) * 2020-09-23 2022-04-04 東芝テック株式会社 購入支援装置、購入支援方法及びプログラム
WO2023007601A1 (ja) * 2021-07-28 2023-02-02 日本電気株式会社 動作検出システム、動作検出方法、及び非一時的なコンピュータ可読媒体
JP2023025847A (ja) * 2021-08-11 2023-02-24 東芝テック株式会社 取引処理システム、決済装置及びそのプログラム
US11983689B2 (en) * 2022-03-29 2024-05-14 Shopify Inc. Method and system for customer responsive point of sale device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US6522772B1 (en) * 1998-09-30 2003-02-18 Ncr Corporation Self-service checkout terminal having a biometric sensing device for verifying identity of a user and associated method
JP3827600B2 (ja) * 2001-04-17 2006-09-27 松下電器産業株式会社 個人認証方法および装置
JP2004110813A (ja) * 2002-08-30 2004-04-08 Victor Co Of Japan Ltd 人物認証装置
JP4365189B2 (ja) * 2003-02-05 2009-11-18 富士フイルム株式会社 認証装置
JP2011054128A (ja) * 2009-09-04 2011-03-17 Toshiba Tec Corp 商品販売データ処理装置およびその制御プログラム
JP2013045300A (ja) * 2011-08-24 2013-03-04 Toshiba Tec Corp 顔認証装置、顔認証方法及びプログラム
KR101242390B1 (ko) * 2011-12-29 2013-03-12 인텔 코오퍼레이션 사용자를 인증하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
JP2015088095A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2015095164A (ja) * 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2015141682A (ja) * 2014-01-30 2015-08-03 東芝テック株式会社 会計装置、チェックアウトシステムおよびプログラム
CN203909940U (zh) * 2014-02-27 2014-10-29 东芝泰格有限公司 Pos系统
US9129274B1 (en) * 2014-06-11 2015-09-08 Square, Inc. Controlling access based on display orientation
CN204990534U (zh) * 2015-08-03 2016-01-20 东芝泰格有限公司 结账终端

Also Published As

Publication number Publication date
US20170316397A1 (en) 2017-11-02
CN107403528A (zh) 2017-11-28
JP2017199188A (ja) 2017-11-02
EP3244363A1 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
JP6730076B2 (ja) 商品販売データ処理装置、商品販売データ処理システムおよびプログラム
US20170140360A1 (en) Checkout apparatus
JP6890996B2 (ja) チェックアウト装置およびプログラム
JP6295228B2 (ja) 販売データ処理装置、サーバおよびプログラム
US10902435B2 (en) Checkout system
JP6138068B2 (ja) 商品販売データ処理装置及びプログラム
JP6672597B2 (ja) 情報処理システム、情報処理方法、およびプログラム
JP2015152959A (ja) 読取装置
JP2013045300A (ja) 顔認証装置、顔認証方法及びプログラム
US20170345027A1 (en) Sales data processing apparatus and method for acquiring attribute information of customer
US9245264B2 (en) Reading apparatus
EP3379477A1 (en) Point-of-sale terminal having a dynamically set user interface
US20170300932A1 (en) Sales data processing apparatus, server and method for acquiring attribute information
JP6375926B2 (ja) 商品認識装置及び商品登録装置
US11995629B2 (en) Merchandise registration apparatus and method
JP2020149639A (ja) 商品登録システム及びプログラム
JP6401333B2 (ja) 商品販売データ処理装置及びプログラム
US12062053B2 (en) Information processing system, purchase registration device, and control method thereof
JP6773865B2 (ja) チェックアウト装置およびプログラム
US20240220956A1 (en) Checkout apparatus, monitoring apparatus, and monitoring method
EP4109369A1 (en) Self-service checkout device and program
JP6938236B2 (ja) セルフレジ、チェックアウト装置、チェックアウトシステムおよびプログラム
JP2022088173A (ja) 商品読取装置および商品読取プログラム
JP2016186714A (ja) 販売データ処理装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6730076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150