JPWO2015140853A1 - Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム - Google Patents

Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム Download PDF

Info

Publication number
JPWO2015140853A1
JPWO2015140853A1 JP2016508314A JP2016508314A JPWO2015140853A1 JP WO2015140853 A1 JPWO2015140853 A1 JP WO2015140853A1 JP 2016508314 A JP2016508314 A JP 2016508314A JP 2016508314 A JP2016508314 A JP 2016508314A JP WO2015140853 A1 JPWO2015140853 A1 JP WO2015140853A1
Authority
JP
Japan
Prior art keywords
product
customer
flow line
settlement
shelf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016508314A
Other languages
English (en)
Other versions
JP6172380B2 (ja
Inventor
和記 土持
和記 土持
英路 村松
英路 村松
道生 永井
道生 永井
信一 阿南
信一 阿南
準 小林
準 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015140853A1 publication Critical patent/JPWO2015140853A1/ja
Application granted granted Critical
Publication of JP6172380B2 publication Critical patent/JP6172380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

効率的に商品認識を行うことが可能なＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供する。ＰＯＳ端末装置（１）は、動線検出部（２）と、決済顧客識別部（４）と、商品認識処理部（６）とを有する。動線検出部（２）は、少なくとも１つの撮像装置で撮像された画像を用いて、店舗内における顧客の動線を検出する。決済顧客識別部（４）は、商品を決済しようとする顧客を識別する。商品認識処理部（６）は、決済顧客識別部（４）によって識別された顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の商品の認識処理を行う。

Description

本発明は、ＰＯＳ（Point Of Sales）端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に商品の決済を行うＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
コンビニエンスストア、スーパマーケット又は量販店等の決済場所（料金支払所：レジ）に設置するＰＯＳ（Point Of Sales）端末においては、バーコードの付いた商品については、店員がバーコード入力装置によって入力を行い、バーコードの付けられない商品については、店員がキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じる。店員が、バーコードが付されていない商品に予め店舗用のバーコードを付すことも行われているが、作業時間の増大につながっている。さらに、近年は、顧客が自分で直接ＰＯＳ端末装置を操作するセルフレジも増加している。顧客は、商品のどの位置にバーコードが付されているかの判断に時間がかかるため、ＰＯＳ端末装置の操作に要する時間はさらに増大する。
そのため、ＰＯＳ端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。この技術に関連して、特許文献１には、撮像された対象物に対応する商品の確定を簡便化して、より効率的に行うことが可能な情報処理装置が開示されている。特許文献１にかかる情報処理装置は、撮像手段が撮像した画像を取り込む取込手段と、前記撮像手段で撮像された物体の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度が、前記撮像された商品を前記基準画像に対応する商品のうち一の商品として確定する条件を満たした場合に、前記撮像された商品が前記条件を満たした前記基準画像に対応する商品として確定されたことを報知する報知手段とを備える。
特開２０１３− ８９０８５号公報
店舗内に陳列される商品の数は膨大である。したがって、画像認識技術を用いて商品を認識する際に、店舗内の全ての商品と決済対象の商品とをマッチングさせると、商品の認識処理に膨大な時間を要してしまう。さらに、店舗内の全ての商品と決済対象の商品とをマッチングさせた場合、店舗内には決済対象の商品と類似した商品も陳列されることから、類似商品との誤認識が発生するおそれがある。上述した特許文献１にかかる情報処理装置は、店舗内に陳列された全商品の基準画像と、撮像手段で撮像された物体の画像との類似度を算出している。したがって、その処理時間は膨大なものとなる。さらに、店舗内に陳列された全商品の基準画像を処理対象とすることから、類似商品との誤認識を発生させるおそれがある。したがって、効率的に商品認識を行うことができなかった。
本発明は、このような課題を解決するためになされたものであり、効率的に商品認識を行うことが可能なＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
本発明にかかるＰＯＳ端末装置は、少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出手段と、商品を決済しようとする前記顧客を識別する顧客識別手段と、前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理手段とを有する。
また、本発明にかかるＰＯＳシステムは、少なくとも１つの撮像装置と、前記撮像装置で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出手段と、商品を決済しようとする前記顧客を識別する顧客識別手段と、前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理手段とを有する。
また、本発明にかかる商品認識方法は、少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出し、商品を決済しようとする前記顧客を識別し、前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う。
また、本発明にかかるプログラムは、少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出ステップと、商品を決済しようとする前記顧客を識別する顧客識別ステップと、前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理ステップとをコンピュータに実行させる。
本発明によれば、効率的に商品認識を行うことが可能なＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供できる。
本発明の実施の形態にかかるＰＯＳ端末装置の概要を示す図である。 実施の形態１にかかるＰＯＳシステムを示す図である。 実施の形態１にかかるＰＯＳシステムが適用される店舗を例示する図である。 実施の形態１にかかるＰＯＳ端末装置の外観を示す側面図である。 実施の形態１にかかるＰＯＳ端末装置のハードウェア構成を示す図である。 実施の形態１にかかるＰＯＳ端末装置の機能ブロック図である。 動線情報格納部に格納される動線情報を例示する図である。 商品棚情報格納部に格納される商品棚情報を例示する図である。 実施の形態１にかかるＰＯＳ端末装置の処理を示すフローチャートである。 実施の形態２にかかるＰＯＳシステムが適用される店舗を例示する図である。 実施の形態２にかかるＰＯＳ端末装置の機能ブロック図である。 実施の形態２にかかる動線検出処理を示すフローチャートである。 実施の形態２にかかる商品認識処理を示すフローチャートである。 実施の形態３にかかるＰＯＳシステムが適用される店舗を例示する図である。 実施の形態３にかかるＰＯＳ端末装置の機能ブロック図である。 実施の形態３にかかる動線検出処理を示すフローチャートである。 実施の形態３にかかる商品認識処理を示すフローチャートである。
（本発明にかかる実施の形態の概要）
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかるＰＯＳ端末装置１の概要を示す図である。図１に示すように、ＰＯＳ端末装置１は、動線検出部２（動線検出手段）と、決済顧客識別部４（顧客識別手段）と、商品認識処理部６（認識処理手段）とを有する。
動線検出部２は、少なくとも１つの撮像装置（撮像手段）で撮像された画像を用いて、店舗内における顧客の動線を検出する。決済顧客識別部４は、商品を決済しようとする顧客を識別する。商品認識処理部６は、決済顧客識別部４によって識別された顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の商品の認識処理を行う。このような構成により、本発明の実施の形態にかかるＰＯＳ端末装置１は、効率的に商品認識を行うことが可能となる。また、上記ＰＯＳ端末装置１を有するＰＯＳシステム、上記処理を実行する商品認識方法及びプログラムについても、効率的に商品認識を行うことが可能となる。
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。
図２は、実施の形態１にかかるＰＯＳシステム１０を示す図である。また、図３は、実施の形態１にかかるＰＯＳシステム１０が適用される店舗５０を例示する図である。
ＰＯＳシステム１０は、ＰＯＳ端末装置１００と、少なくとも１つの動線用撮像装置２０とを有する。ＰＯＳ端末装置１００と、動線用撮像装置２０とは、通信可能に接続されている。両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。ＰＯＳ端末装置１００と、動線用撮像装置２０とは、ネットワーク（例えば、無線ＬＡＮ（Local Area Network）又はインターネット等）を介して互いに接続されていてもよい。また、ＰＯＳ端末装置１００と、動線用撮像装置２０とは、赤外線通信又はＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信方式によって互いに通信してもよい。
図３に例示するように、店舗５０には、例えば商品棚Ａ〜Ｆが設置されており、各商品棚に商品が陳列されている。また、店舗５０内を、例えば顧客Ａ〜Ｃが移動している。ＰＯＳ端末装置１００は、店舗５０に設置されたカウンタ台５２の上に載置されている。ＰＯＳ端末装置１００を挟んで、商品を決済しようとする顧客（決済顧客）と、店員（図示せず）が対峙する。図３の例では、顧客Ａが決済顧客である。
動線用撮像装置２０は、顧客Ａ〜Ｃの店舗５０における動線を検出するために用いられる。これによって、ＰＯＳ端末装置１００は、顧客Ａ〜Ｃの動線を検出する。動線用撮像装置２０は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子（カメラ）であって、店舗５０内の画像（静止画又は動画）を読み取る処理を行う。具体的には、動線用撮像装置２０は、店舗５０内を撮像して、その店舗５０内の画像を含むカラー画像又はモノクロ画像（動線用画像）を生成する。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。動線用撮像装置２０は、店舗５０のいずれかの位置に設置され、顧客Ａ〜Ｃを撮像する。動線用撮像装置２０は、撮像して得られた動線用画像を、ＰＯＳ端末装置１００に対して送信する。
図４は、実施の形態１にかかるＰＯＳ端末装置１００の外観を示す側面図である。また、図５は、実施の形態１にかかるＰＯＳ端末装置１００のハードウェア構成を示す図である。ＰＯＳ端末装置１００は、店員用表示操作部１０２と、顧客用表示部１０４と、情報処理装置１１０と、商品撮像部１３０とを有する。上述したように、ＰＯＳ端末装置１００は、例えばカウンタ台５２に載置され、ＰＯＳ端末装置１００を挟んで、図４の左側に顧客が、右側に店員が対峙する。
店員用表示操作部１０２は、例えばタッチパネル、ＬＣＤ（Liquid Crystal Display）、又はキーボード等である。店員用表示操作部１０２は、情報処理装置１１０の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。
顧客用表示部１０４は、例えばタッチパネル又はＬＣＤ等である。顧客用表示部１０４は、情報処理装置１１０の制御によって、顧客に必要な情報を表示する。また、顧客用表示部１０４は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。
情報処理装置１１０は、例えばコンピュータである。情報処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等の制御部１１２と、例えばメモリ又はハードディスク等の記憶部１１４と、通信装置１１６とを有する。情報処理装置１１０は、店員用表示操作部１０２、顧客用表示部１０４及び商品撮像部１３０の動作を制御する。また、情報処理装置１１０は、店員用表示操作部１０２によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置１１０は、商品撮像部１３０によって読み取られた画像情報に応じて、画像処理等の必要な処理を行う。通信装置１１６は、ネットワークを介して接続された動線用撮像装置２０及びサーバ等の管理装置と通信を行うために必要な処理を行う。
商品撮像部１３０は、店員が決済顧客から受け取った決済対象の商品Ｘ（決済商品）の画像（決済商品画像）を読み取る。これによって、ＰＯＳ端末装置１００は、決済商品Ｘの認識処理を行う。詳しくは後述する。商品撮像部１３０は、例えばＣＣＤ等の撮像素子（カメラ）であって、決済商品Ｘの画像を読み取る処理を行う。具体的には、商品撮像部１３０は、決済商品Ｘを撮像して、その決済商品Ｘの画像を含む画像（カラー画像又はモノクロ画像）を生成する。
図６は、実施の形態１にかかるＰＯＳ端末装置１００の機能ブロック図である。実施の形態１にかかるＰＯＳ端末装置１００は、決済処理部２００を有する。決済処理部２００は、動線検出部２０２と、動線情報格納部２０４と、決済顧客識別部２１０と、商品画像取得部２２０と、商品認識処理部２３０と、商品棚情報格納部２３２と、基準商品情報格納部２３４とを有する。
なお、決済処理部２００は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、決済処理部２００は、制御部１１２の制御により、記憶部１１４に格納されたプログラムを実行させることによって実現される。また、決済処理部２００の各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、決済処理部２００の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態における決済処理部についても同様である。
動線検出部２０２は、通信装置１１６を介して、動線用撮像装置２０から動線用画像を受信する。動線検出部２０２は、動線用画像を解析して、動線用画像に撮像された各顧客を識別する。そして、動線検出部２０２は、その識別された各顧客に対応する顧客識別子を生成する。また、動線検出部２０２は、動線用画像における各顧客に対し、生成された顧客識別子を割り当てる。また、動線検出部２０２は、動線用画像を解析して、顧客識別子を割り当てられた各顧客が、店舗５０内をどう移動したかを示す動線を検出する。具体的には、動線検出部２０２は、各顧客が店舗５０内のどの位置を訪問したかを検出する。さらに具体的には、動線検出部２０２は、各顧客が店舗５０内のどの商品棚を訪問したかを検出する。そして、動線検出部２０２は、顧客がどの商品棚を訪問したかを示す動線情報を生成して、動線情報格納部２０４に格納する。
なお、「顧客が商品棚を訪問する」とは、例えば、顧客がその商品棚に陳列された商品を手に取ることを含む概念である。但し、「顧客が商品棚を訪問する」とは、必ずしも顧客が商品を手に取る必要はなく、顧客がその商品棚に陳列された商品に手を伸ばすこと、及び、単に顧客がその商品棚に陳列された商品を見ること等の、顧客が商品棚に陳列された商品に興味を持ち、その商品を選択するまでの、一般的な購買活動をも含む概念である。
図７は、動線情報格納部２０４に格納される動線情報を例示する図である。動線情報は、顧客識別子と、その顧客識別子に対応する顧客が訪問した商品棚の識別子（商品棚識別子）とを含む。つまり、動線情報において、顧客識別子と商品棚識別子とが対応付けられている。図７の例においては、顧客Ａが、商品棚Ｃ，Ｂ，Ａを訪問し、顧客Ｂが、商品棚Ｅ，Ｃを訪問し、顧客Ｃが、商品棚Ｄ，Ｅ，Ｆを訪問したことが、示されている。図７において、例えば「顧客Ａ」とは、顧客Ａに対応する顧客識別子を示す。また、例えば「商品棚Ａ」とは、商品棚Ａに対応する商品棚識別子を示す。
なお、動線検出部２０２が動線用画像を解析して各顧客を識別する方法として、既存の様々な方法が挙げられる。例えば、動線検出部２０２は、動線用画像に撮像された顧客に対して顔認識処理を行って、その顧客に対応する顔データを生成してもよい。そして、動線検出部２０２は、生成された顔データを、顧客識別子としてもよいし、顔データを用いて生成された識別子を、顧客識別子としてもよい。また、例えば、動線検出部２０２は、動線用画像に撮像された顧客の特徴を示す情報（顧客特徴情報）を抽出し、その顧客特徴情報を、顧客識別子としてもよい。例えば、動線検出部２０２は、顧客の服装の色、顧客の身長、顧客の年齢及び性別等を解析して、これらの特徴を示す顧客特徴情報を、顧客識別子としてもよい。
また、動線検出部２０２が動線用画像を解析して各顧客が訪問した商品棚を検出する方法として、既存の様々な方法が挙げられる。例えば、動線検出部２０２は、動線用画像に撮像された顧客が商品棚の前に一定時間留まった場合に、その顧客がその商品棚を訪問したと判定してもよい。また、例えば、動線検出部２０２は、動線用画像に撮像された顧客が一定距離以内に商品棚に近づいたことを検出した場合に、その顧客がその商品棚を訪問したと判定してもよい。また、動線検出部２０２は、動線用画像に撮像された顧客が商品棚に手を伸ばしたことを検出した場合に、その顧客がその商品棚を訪問したと判定してもよい。さらに、動線検出部２０２は、動線用画像に撮像された顧客が単に商品棚の前を通過した場合に、その顧客がその商品棚を訪問したと判定してもよい。このことは、後述する他の実施の形態においても同様である。
また、動線情報は、各顧客が各商品棚を訪問した時刻（時刻情報）を含んでもよい。さらに、動線情報は、各顧客が店舗５０に入店した時刻（時刻情報）を含んでもよい。つまり、動線検出部２０２は、各顧客の動線を、各顧客が各商品棚を訪問した時刻と対応付けて検出する。図７の例では、顧客Ａに関する動線情報は、顧客Ａが入店した時刻情報、顧客Ａが商品棚Ｃを訪問した時刻情報、顧客Ａが商品棚Ｂを訪問した時刻情報、及び顧客Ａが商品棚Ａを訪問した時刻情報を含んでもよい。なお、各顧客が各商品棚を訪問した時刻とは、動線検出部２０２が、その顧客がその商品棚を訪問したと判定した時刻であってもよい。
決済顧客識別部２１０は、ＰＯＳ端末装置１００の前に決済顧客が存在することを判定する。また、決済顧客識別部２１０は、決済顧客の識別処理を行う。さらに、決済顧客識別部２１０は、決済顧客を示す決済顧客識別子を生成して、生成された決済顧客識別子を、商品認識処理部２３０に対して出力する。なお、決済顧客識別部２１０がＰＯＳ端末装置１００の前に決済顧客が存在ことを判定する具体的な方法は、後述する実施の形態で説明する。また、決済顧客識別部２１０は、動線検出部２０２が顧客識別子を生成する方法と同様の方法で、決済顧客識別子を生成する。例えば、動線検出部２０２が顔認識処理を行う場合、決済顧客識別子は、顔データを示してもよいし、顔データを用いて生成された識別子でもよい。また、動線検出部２０２が顧客特徴情報を抽出する場合、決済顧客識別子は、顧客特徴情報を示してもよい。
商品画像取得部２２０は、商品撮像部１３０を制御して、商品撮像部１３０に向けられた商品を撮像させる。そして、商品画像取得部２２０は、商品撮像部１３０によって生成された決済商品画像を取得し、商品認識処理部２３０に対して出力する。
商品棚情報格納部２３２は、各商品棚と、その商品棚に陳列された商品との関係を示す商品棚情報を格納する。商品棚情報は、商品棚識別子と、その商品棚識別子に対応する商品棚に陳列される商品の識別子（商品識別子）とを含む。つまり、商品棚情報において、商品棚識別子と商品識別子とが対応付けられている。
図８は、商品棚情報格納部２３２に格納される商品棚情報を例示する図である。図８の例においては、商品棚Ａには、商品Ａ１，Ａ２，Ａ３が陳列されていることが、示されている。同様に、商品棚Ｂには、商品Ｂ１，Ｂ２，Ｂ３が陳列され、商品棚Ｃには、商品Ｃ１，Ｃ２，Ｃ３が陳列され、商品棚Ｄには、商品Ｄ１，Ｄ２，Ｄ３が陳列され、商品棚Ｅには、商品Ｅ１，Ｅ２，Ｅ３が陳列され、商品棚Ｆには、商品Ｆ１，Ｆ２，Ｆ３が陳列されていることが、示されている。図８において、例えば「商品棚Ａ」とは、商品棚Ａに対応する商品棚識別子を示す。また、例えば「商品Ａ１」とは、商品Ａ１に対応する商品識別子を示す。
基準商品情報格納部２３４は、各商品（商品Ａ１，商品Ｂ１等）の商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。この基準商品情報は、商品認識処理部２３０における商品認識処理で用いられる。例えば、基準商品情報は、商品の基準となる画像（基準商品画像）であってもよい。また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ（商品特徴データ）であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感（つや等）を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。
商品認識処理部２３０は、商品画像取得部２２０によって抽出された決済商品画像を用いて、商品認識処理を行う。具体的には、商品認識処理部２３０は、基準商品情報格納部２３４に記憶された基準商品情報を検索して、決済商品画像と基準商品情報とのパターンマッチングを行う。ＰＯＳ端末装置１００は、商品認識処理部２３０による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。ここで、商品情報は、商品を識別するための情報であって、例えば、商品名、商品メーカ名、商品の価格等を含んでもよい。
例えば、基準商品情報が基準商品画像である場合、商品認識処理部２３０は、決済商品画像と、基準商品情報格納部２３４に格納された各商品に対応する基準商品画像とを、商品ごとに照合する。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、決済商品を、その基準商品画像に対応する商品名と対応付ける。また、例えば、基準商品情報が商品特徴データである場合、商品認識処理部２３０は、決済商品画像から、その画像の特徴を抽出する。そして、商品認識処理部２３０は、抽出された画像の特徴と、基準商品情報格納部２３４に格納された各商品に対応する商品特徴データとを、商品ごとに照合する。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、決済商品を、その商品特徴データに対応する商品名と対応付ける。
ここで、本実施の形態にかかる商品認識処理部２３０は、決済顧客が訪問した商品棚に陳列された商品を候補として、決済商品の商品認識処理を行う。具体的には、例えば、商品認識処理部２３０は、決済顧客が訪問した商品棚に陳列された商品を商品認識処理における検索対象とする。そして、商品認識処理部２３０は、検索対象とされた商品から決済商品を検索することによって、決済商品の認識処理を行う。つまり、商品認識処理部２３０は、基準商品情報格納部２３４から、決済顧客が訪問した商品棚に陳列された商品に対応する基準商品情報を取得する。そして、商品認識処理部２３０は、取得された基準商品情報を用いて、決済商品の認識処理を行う。具体的な処理については後述する。
図９は、実施の形態１にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、各顧客の動線を検出する（Ｓ１００）。具体的には、上述したように、動線検出部２０２は、動線用撮像装置２０から、動線用画像を取得する。動線検出部２０２は、動線用画像に撮像された各顧客について顧客識別子を生成する。また、動線検出部２０２は、各顧客が店舗５０内のどの商品棚（どの位置）を訪問したかを検出する。そして、動線検出部２０２は、各顧客について動線情報を生成して、動線情報格納部２０４に格納する。このＳ１００の処理は、常に行われ得る。
ＰＯＳ端末装置１００は、決済顧客がＰＯＳ端末装置１００の前に存在するか否かを判定する（Ｓ１０２）。具体的には、例えば、決済顧客識別部２１０は、ＰＯＳ端末装置１００の近傍に設置された撮像装置によって決済顧客が撮像されたことを検出することによって、ＰＯＳ端末装置１００の前に決済顧客が存在することを判定してもよい。また、例えば、決済顧客識別部２１０は、動線用撮像装置２０からの動線用画像を受け付けて、その動線用画像を解析することによって、ＰＯＳ端末装置１００の前に決済顧客が存在することを判定してもよい。
決済顧客がＰＯＳ端末装置１００の前に存在しないと判定された場合（Ｓ１０２のＮＯ）、Ｓ１００及びＳ１０２の処理が繰り返される。一方、決済顧客がＰＯＳ端末装置１００の前に存在すると判定された場合（Ｓ１０２のＹＥＳ）、決済顧客識別部２１０は、決済顧客を識別する（Ｓ１０４）。具体的には、決済顧客識別部２１０は、上述したように、顔認識処理又は顧客特徴情報の抽出処理を行うことによって、決済顧客を識別する。そして、決済顧客識別部２１０は、決済顧客識別子を生成する。
商品認識処理部２３０は、動線情報格納部２０４から、決済顧客に対応付けられた商品棚情報を取得する（Ｓ１０６）。具体的には、商品認識処理部２３０は、決済顧客識別部２１０から、決済顧客識別子を受け付ける。商品認識処理部２３０は、動線情報格納部２０４に格納された動線情報から、その決済顧客識別子に対応する顧客識別子を検索する。さらに、商品認識処理部２３０は、検索された顧客識別子に対応付けられた商品棚識別子を取得する。そして、商品認識処理部２３０は、取得された商品棚識別子に対応する商品棚情報を、商品棚情報格納部２３２から取得する。
例えば、決済顧客識別子が顧客Ａを示すものである場合、商品認識処理部２３０は、図７に例示する動線情報から、顧客Ａに対応付けられた商品棚Ｃ，Ｂ，Ａに対応する商品棚識別子を取得する。そして、商品認識処理部２３０は、商品棚Ｃ，Ｂ，Ａそれぞれに対応する商品棚情報を、商品棚情報格納部２３２から取得する。
商品認識処理部２３０は、取得された商品棚情報に対応する商品を、決済商品の候補とする（Ｓ１０８）。具体的には、商品認識処理部２３０は、取得された商品棚情報に対応する商品に関する基準商品情報を、画像検索の対象とする。上述した例では、商品認識処理部２３０は、取得された商品棚情報が商品棚Ｃに対応するので、図８に例示するように、商品棚Ｃに対応付けられた商品Ｃ１，Ｃ２，Ｃ３を、検索対象とする。同様に、商品認識処理部２３０は、取得された商品棚情報が商品棚Ｂに対応するので、商品棚Ｂに対応付けられた商品Ｂ１，Ｂ２，Ｂ３を、検索対象とする。同様に、商品認識処理部２３０は、取得された商品棚情報が商品棚Ａに対応するので、商品棚Ａに対応付けられた商品Ａ１，Ａ２，Ａ３を、検索対象とする。
ＰＯＳ端末装置１００は、決済商品を撮像する（Ｓ１１０）。具体的には、商品画像取得部２２０は、商品撮像部１３０を制御して、商品撮像部１３０に向けられた決済商品を撮像させる。そして、商品画像取得部２２０は、商品撮像部１３０によって生成された決済商品画像を取得する。
次に、商品認識処理部２３０は、Ｓ１０８の処理で候補とされた（検索対象とされた）商品の基準商品情報を用いて、商品認識処理を行う（Ｓ１１２）。具体的には、商品認識処理部２３０は、Ｓ１０８の処理で検索対象とされた商品の基準商品情報と、決済商品画像とのパターンマッチングを行う。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、その決済商品を、その基準商品画像に対応する商品と判定する。上述した例では、検索対象の商品は、商品Ｃ１，Ｃ２，Ｃ３、商品Ｂ１，Ｂ２，Ｂ３及び商品Ａ１，Ａ２，Ａ３である。したがって、商品認識処理部２３０は、商品Ｃ１，Ｃ２，Ｃ３、商品Ｂ１，Ｂ２，Ｂ３及び商品Ａ１，Ａ２，Ａ３それぞれの基準商品情報と、決済商品画像とのパターンマッチングを行う。そして、商品認識処理部２３０は、決済商品画像と商品Ａ１に対応する基準商品情報との類似度が許容値を満たす場合に、決済商品を、商品Ａ１であると判定する。
決済顧客が決済しようとする決済商品は、通常、決済顧客によって商品棚に陳列された商品から持ち出されたものである。したがって、実施の形態１においては、商品認識処理において、決済顧客が訪問した商品棚に関する商品に検索対象を絞り込む。
本実施の形態のように検索対象の絞り込みを行わないと、商品認識処理部２３０は、基準商品情報格納部２３４に格納された情報全てについて、商品認識処理（パターンマッチング処理）を行う必要がある。基準商品情報格納部２３４に格納された情報が膨大である場合、商品認識処理に膨大な時間を要してしまう。
一方、本実施の形態のように検索対象の絞り込みを行うことによって、ＰＯＳ端末装置１００は、決済顧客が訪問した商品棚に関する商品に対応する基準商品情報のみについて、商品認識処理（パターンマッチング処理）を行えばよい。これによって、検索対象の商品の数が削減されるので、商品認識処理に要する時間を削減することが可能となる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、効率的に商品認識を行うことが可能となる。
また、本実施の形態のように、決済顧客が訪問した商品棚に陳列された商品を候補として商品認識処理を行うことにより、誤認識を抑制することが可能となる。例えば、決済商品がリンゴであって、リンゴは商品棚Ａに陳列されているとする。また、リンゴと外観が類似するトマトが、商品棚Ｅに陳列されているとする。また、決済顧客は、商品棚Ａを訪問したが商品棚Ｅを訪問していないとする。このとき、本実施の形態にかかるＰＯＳ端末装置１００は、商品認識処理を行う際に、リンゴを検索対象とし、トマトを検索対象としない。したがって、ＰＯＳ端末装置１００は、商品認識処理の際に、決済商品をトマトと誤認識しない。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、誤認識を抑制することが可能となり、効率的に商品認識を行うことが可能となる。
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２は、実施の形態１における、動線用撮像装置２０が商品棚ごとに対応して設けられている例を示す。なお、実施の形態１と実質的に同様の構成部分については同じ符号を付し、説明を省略する（後述する他の実施の形態についても同様）。
図１０は、実施の形態２にかかるＰＯＳシステム３００が適用される店舗５０を例示する図である。ＰＯＳシステム３００は、ＰＯＳ端末装置１００と、動線用撮像装置Ａ２０Ａ〜動線用撮像装置Ｆ２０Ｆと、決済顧客撮像装置３０２とを有する。実施の形態２にかかるＰＯＳ端末装置１００のハードウェア構成は、実施の形態１にかかるＰＯＳ端末装置１００と実質的に同一である。また、動線用撮像装置Ａ２０Ａ〜動線用撮像装置Ｆ２０Ｆは、動線用撮像装置２０と同様の機能を有する。つまり、動線用撮像装置Ａ２０Ａ〜動線用撮像装置Ｆ２０Ｆは、ＰＯＳ端末装置１００と通信可能に接続されている。
動線用撮像装置Ａ２０Ａは、商品棚Ａの近傍に設置され、商品棚Ａを訪問する顧客を撮像する。同様に、動線用撮像装置Ｂ２０Ｂは、商品棚Ｂの近傍に設置され、商品棚Ｂを訪問する顧客を撮像する。動線用撮像装置Ｃ２０Ｃは、商品棚Ｃの近傍に設置され、商品棚Ｃを訪問する顧客を撮像する。動線用撮像装置Ｄ２０Ｄは、商品棚Ｄの近傍に設置され、商品棚Ｄを訪問する顧客を撮像する。動線用撮像装置Ｅ２０Ｅは、商品棚Ｅの近傍に設置され、商品棚Ｅを訪問する顧客を撮像する。動線用撮像装置Ｆ２０Ｆは、商品棚Ｆの近傍に設置され、商品棚Ｆを訪問する顧客を撮像する。
決済顧客撮像装置３０２は、ＰＯＳ端末装置１００の近傍に設置される。決済顧客撮像装置３０２は、動線用撮像装置２０と同様に、ＰＯＳ端末装置１００と通信可能に接続されている。決済顧客撮像装置３０２は、例えばＣＣＤ等の撮像素子（カメラ）であって、決済顧客の画像（静止画又は動画）を読み取る処理を行う。具体的には、決済顧客撮像装置３０２は、決済顧客を撮像して、その決済顧客の画像を含むカラー画像又はモノクロ画像（決済顧客画像）を生成する。決済顧客撮像装置３０２は、撮像して得られた決済顧客画像を、ＰＯＳ端末装置１００に対して送信する。
図１１は、実施の形態２にかかるＰＯＳ端末装置１００の機能ブロック図である。実施の形態２にかかるＰＯＳ端末装置１００は、決済処理部３１０を有する。決済処理部３１０は、動線検出部３１２と、動線情報格納部２０４と、決済顧客識別部３２０と、商品画像取得部２２０と、商品認識処理部２３０と、商品棚情報格納部２３２と、基準商品情報格納部２３４とを有する。
動線検出部３１２は、動線用撮像装置Ａ２０Ａ〜動線用撮像装置Ｆ２０Ｆそれぞれによって撮像された動線用画像を、動線用撮像装置Ａ２０Ａ〜動線用撮像装置Ｆ２０Ｆそれぞれから受信する。動線検出部３１２は、受信された動線用画像を解析して、商品棚Ａ〜Ｆそれぞれについて、訪問した顧客を識別する。そして、動線検出部２０２と同様に、各顧客がどの商品棚を訪問したかを示す動線情報を生成して、動線情報格納部２０４に格納する。動線検出部３１２の具体的な処理については後述する。
決済顧客識別部３２０は、決済顧客撮像装置３０２によって撮像された決済顧客画像を受信する。決済顧客識別部３２０は、決済顧客画像を解析して、ＰＯＳ端末装置１００の前に決済顧客が存在することを判定する。また、決済顧客識別部３２０は、決済顧客画像を解析して、決済顧客の識別処理を行う。さらに、決済顧客識別部３２０は、決済顧客を示す決済顧客識別子を生成して、生成された決済顧客識別子を、商品認識処理部２３０に対して出力する。決済顧客識別部３２０の具体的な処理については後述する。
図１２は、実施の形態２にかかる動線検出処理を示すフローチャートである。なお、図１２には、商品棚Ａについての動線検出処理が示されているが、商品棚Ｂ〜Ｆについても同様の処理がなされる。
動線検出部３１２は、商品棚Ａの前を撮像されて得られた動線用画像を、動線用撮像装置Ａ２０Ａから取得する（Ｓ２０２）。具体的には、動線用撮像装置Ａ２０Ａは、商品棚Ａの前を撮像し、得られた動線用画像を、ＰＯＳ端末装置１００に送信する。これによって、動線検出部３１２は、商品棚Ａに対応する動線用画像を、動線用撮像装置Ａ２０Ａから取得する。
動線検出部３１２は、商品棚Ａの前に顧客が存在するか否かを判定する（Ｓ２０４）。具体的には、動線検出部３１２は、商品棚Ａに対応する動線用画像を解析して、動線用画像に人の画像が含まれているか否かを判定する。動線用画像に人の画像が含まれているか否かを判定する方法としては、例えば顔認識処理が挙げられるが、これに限られない。顔認識処理を用いる場合、動線検出部３１２は、動線用画像に人の顔の画像が含まれていると判定した場合に、商品棚Ａの前に顧客が存在すると判定する。
商品棚Ａの前に顧客が存在しないと判定された場合（Ｓ２０４のＮＯ）、Ｓ２０２及びＳ２０４の処理が繰り返される。一方、商品棚Ａの前に顧客が存在すると判定された場合（Ｓ２０４のＹＥＳ）、動線検出部３１２は、商品棚Ａの前にその顧客が予め定められた時間Ｔ１以上留まっているか否かを判定する（Ｓ２０６）。具体的には、動線検出部３１２は、商品棚Ａに対応する動線用画像を解析して、時間Ｔ１の間に撮像された動線用画像にその顧客（人）の画像が含まれ続けた場合に、商品棚Ａの前にその顧客が時間Ｔ１以上留まっていると判定する。
商品棚Ａの前に時間Ｔ１以上顧客が留まっていなかったと判定された場合（Ｓ２０６のＮＯ）、Ｓ２０２からＳ２０６の処理が繰り返される。一方、商品棚Ａの前に時間Ｔ１以上顧客が留まっていると判定された場合（Ｓ２０６のＹＥＳ）、動線検出部３１２は、その商品棚Ａの前に留まっている顧客について、識別処理を行う（Ｓ２０８）。識別処理の方法については、上述した方法がある。例えば、動線検出部３１２は、商品棚Ａに対応する動線用画像を解析して、動線用画像に撮像された顧客に対して顔認識処理を行って、その顧客に対応する顔データを生成する。そして、動線検出部３１２は、生成された顔データを用いて、顧客識別子を生成する。これによって、動線検出部３１２は、動線用画像に撮像された顧客Ｘが商品棚Ａを訪問したと判定する（Ｓ２１０）。
また、動線検出部３１２は、商品棚Ｂ〜Ｆについても、図１２に示された処理を行う。そして、実施の形態１と同様に、動線検出部３１２は、図７に例示された動線情報を生成し、生成された動線情報を、動線情報格納部２０４に格納する。
図１０において、顧客Ａが移動した軌跡Ｔａが例示されている。この例において、顧客Ａは、商品棚Ｃの前、商品棚Ｄの前、商品棚Ｂの前、商品棚Ａの前の順に移動し、ＰＯＳ端末装置１００の前まで移動して、商品の決済を行おうとしている。商品棚Ｃの前の位置ｃに顧客Ａが時間Ｔ１以上留まった場合、動線検出部３１２は、顧客Ａが商品棚Ｃを訪問したと判定する。同様に、商品棚Ｂの前の位置ｂに顧客Ａが時間Ｔ１以上留まった場合、動線検出部３１２は、顧客Ａが商品棚Ｂを訪問したと判定する。また、商品棚Ａの前の位置ａに顧客Ａが時間Ｔ１以上留まった場合、動線検出部３１２は、顧客Ａが商品棚Ａを訪問したと判定する。一方、顧客Ａが商品棚Ｄの前を単に通過したのみであって商品棚Ｄの前に時間Ｔ１以上留まらなかった場合、動線検出部３１２は、顧客Ａが商品棚Ｄを訪問しなかったと判定する。
図１３は、実施の形態２にかかる商品認識処理を示すフローチャートである。
決済顧客識別部３２０は、ＰＯＳ端末装置１００の前を撮像されて得られた決済顧客画像を、決済顧客撮像装置３０２から取得する（Ｓ２２０）。具体的には、決済顧客撮像装置３０２は、ＰＯＳ端末装置１００の前を撮像し、得られた決済顧客画像を、ＰＯＳ端末装置１００に送信する。これによって、決済顧客識別部３２０は、決済顧客画像を、決済顧客撮像装置３０２から取得する。
決済顧客識別部３２０は、決済顧客がＰＯＳ端末装置１００の前に存在するか否かを判定する（Ｓ２２２）。具体的には、決済顧客識別部３２０は、決済顧客撮像装置３０２によって撮像された決済顧客画像を解析して、決済顧客画像に人の画像が含まれているか否かを判定する。決済顧客画像に人の画像が含まれているか否かを判定する方法としては、例えば顔認識処理が挙げられるが、これに限られない。顔認識処理を用いる場合、決済顧客識別部３２０は、決済顧客画像に人の顔の画像が含まれていると判定した場合に、ＰＯＳ端末装置１００の前に決済顧客が存在すると判定する。
決済顧客がＰＯＳ端末装置１００の前に存在しないと判定された場合（Ｓ２２２のＮＯ）、Ｓ２２０及びＳ２２２の処理が繰り返される。一方、決済顧客がＰＯＳ端末装置１００の前に存在すると判定された場合（Ｓ２２２のＹＥＳ）、決済顧客識別部３２０は、決済顧客を識別する（Ｓ２２４）。識別処理の方法については、上述した方法がある。例えば、決済顧客識別部３２０は、例えば顔認識処理を行って、決済顧客に対応する顔データを生成する。そして、決済顧客識別部３２０は、生成された顔データを用いて、決済顧客識別子を生成する。
商品認識処理部２３０は、Ｓ１０６の処理と同様に、動線情報格納部２０４から、決済顧客に対応付けられた商品棚情報を取得する（Ｓ２２６）。具体的には、商品認識処理部２３０は、決済顧客識別部３２０から、決済顧客識別子を受け付ける。商品認識処理部２３０は、動線情報格納部２０４に格納された動線情報から、その決済顧客識別子に対応する顧客識別子を検索する。さらに、商品認識処理部２３０は、検索された顧客識別子に対応付けられた商品棚識別子を取得する。そして、商品認識処理部２３０は、取得された商品棚識別子に対応する商品棚情報を、商品棚情報格納部２３２から取得する。
商品認識処理部２３０は、Ｓ１０８の処理と同様に、取得された商品棚情報に対応する商品に関する基準商品情報を、画像検索の対象とする（Ｓ２２８）。ＰＯＳ端末装置１００は、Ｓ１１０の処理と同様に、決済商品を撮像する（Ｓ２３０）。具体的には、商品画像取得部２２０は、商品撮像部１３０を制御して、商品撮像部１３０に向けられた決済商品を撮像させ、決済商品画像を取得する。
次に、商品認識処理部２３０は、Ｓ１１２の処理と同様に、Ｓ２２８の処理で検索対象とされた商品の基準商品情報を用いて、商品認識処理を行う（Ｓ２３２）。具体的には、商品認識処理部２３０は、Ｓ２２８の処理で検索対象とされた商品の基準商品情報と、決済商品画像とのパターンマッチングを行う。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、その決済商品を、その基準商品画像に対応する商品と判定する。
上述したように、実施の形態２においても、実施の形態１と同様に検索対象の絞り込みを行うことによって、ＰＯＳ端末装置１００は、決済顧客が訪問した商品棚に関する商品に対応する基準商品情報のみについて、商品認識処理（パターンマッチング処理）を行えばよい。これによって、商品認識処理に要する時間を削減することが可能となる。したがって、実施の形態２にかかるＰＯＳ端末装置１００は、効率的に商品認識を行うことが可能となる。
さらに、実施の形態２においては、商品棚ごとに対応して設けられた撮像装置を用いてその商品棚を訪問した顧客を撮像するので、顧客がどの商品棚を訪問したかを、より確実に検出することが可能となる。したがって、実施の形態２にかかるＰＯＳ端末装置１００は、より確実に、決済顧客が訪問した商品棚に陳列された商品に検索対象を絞り込むことが可能となる。これによって、検索対象から決済商品が漏れることを抑制することが可能となる。したがって、実施の形態２にかかるＰＯＳ端末装置１００は、効率的に商品認識を行うことが可能となる。
（実施の形態３）
次に、実施の形態３について説明する。実施の形態３は、実施の形態１における、動線用撮像装置２０が商品棚ごとに対応して設けられていない例を示す。なお、実施の形態３においては、動線用撮像装置２０が１つである例が挙げられているが、動線用撮像装置２０の数は任意である。
図１４は、実施の形態３にかかるＰＯＳシステム４００が適用される店舗５０を例示する図である。ＰＯＳシステム４００は、ＰＯＳ端末装置１００と、動線用撮像装置２０とを有する。実施の形態３にかかるＰＯＳ端末装置１００のハードウェア構成は、実施の形態１にかかるＰＯＳ端末装置１００と実質的に同一である。動線用撮像装置２０は、ＰＯＳ端末装置１００と通信可能に接続されている。
動線用撮像装置２０は、店舗５０内を移動する各顧客を撮像して、動線用画像を得る。動線用撮像装置２０は、商品棚Ａ〜Ｆそれぞれの前に存在する顧客を撮像可能な位置に設置されている。つまり、動線用撮像装置２０は、商品棚Ａ〜Ｆそれぞれを訪問する顧客を撮像する。また、動線用撮像装置２０は、店舗５０内の広い範囲を撮像するため、広角レンズを有してもよい。
図１５は、実施の形態３にかかるＰＯＳ端末装置１００の機能ブロック図である。実施の形態３にかかるＰＯＳ端末装置１００は、決済処理部４１０を有する。決済処理部４１０は、動線検出部４１２と、動線情報格納部２０４と、決済顧客識別部４２０と、商品画像取得部２２０と、商品認識処理部２３０と、商品棚情報格納部２３２と、基準商品情報格納部２３４とを有する。
動線検出部４１２は、動線用撮像装置２０によって撮像された動線用画像を、動線用撮像装置２０から受信する。動線検出部４１２は、受信された動線用画像を解析して、各顧客Ａ〜Ｃそれぞれの動き（動線）を追跡する。動線検出部４１２は、受信された動線用画像を解析して、各顧客Ａ〜Ｃそれぞれが訪問した商品棚を検出することによって、商品棚Ａ〜Ｆそれぞれについて、訪問した顧客を識別する。そして、動線検出部２０２と同様に、各顧客がどの商品棚を訪問したかを示す動線情報を生成して、動線情報格納部２０４に格納する。動線検出部４１２の具体的な処理については後述する。
決済顧客識別部４２０は、動線用撮像装置２０によって撮像された動線用画像を受信する。決済顧客識別部４２０は、動線用画像を解析して、ＰＯＳ端末装置１００の前に顧客が存在することを判定し、その顧客を、決済顧客であると識別する。さらに、決済顧客識別部４２０は、決済顧客を示す決済顧客識別子を生成して、生成された決済顧客識別子を、商品認識処理部２３０に対して出力する。決済顧客識別部４２０の具体的な処理については後述する。
図１６は、実施の形態３にかかる動線検出処理を示すフローチャートである。なお、図１６には、顧客Ａについての動線検出処理が示されているが、顧客Ｂ，Ｃについても同様の処理がなされる。
動線検出部４１２は、動線用撮像装置２０によって生成された動線用画像を解析して、顧客Ａの動線を追跡する（Ｓ３０２）。具体的には、動線検出部４１２は、動線用画像において、店舗５０の入口５４から顧客が進入したことを検出する。動線用画像における入口５４の画像の位置は各時刻によらず固定され得る。したがって、動線検出部４１２は、動線用画像を解析して、動線用画像において入口５４に対応する位置に人物の画像があることを検出した場合に、その人を「顧客Ａ」と識別する。さらに、動線検出部４１２は、その「顧客Ａ」を示す顧客識別子を生成する。そのとき、動線検出部４１２は、顧客Ａについての顧客特徴情報を抽出して、その顧客特徴情報を用いて顧客識別子を生成してもよい。また、動線検出部４１２は、動線用画像において顧客Ａの顔を認識することが可能であれば、顔データを用いて顧客識別子を生成してもよい。
さらに、動線検出部４１２は、「顧客Ａ」と識別した人物が、店舗５０をどのように移動するかを追跡する。言い換えると、動線検出部４１２は、「顧客Ａ」と識別した人物の店舗５０における動線を追跡する。動線用画像における店舗５０内の画像は各時刻によらず固定され得る。したがって、例えば、動線検出部４１２は、動線用画像において、「顧客Ａ」と識別した人物の画像が店舗５０の画像のどの位置に移動するかを追跡する。さらに、動線検出部４１２は、時刻とその時刻における顧客Ａの位置情報（座標データ等）とを示す軌跡データを、逐次、生成してもよい。これにより、動線検出部４１２は、顧客Ａの移動した軌跡Ｔａ（図１４に示す）を示す軌跡データを生成することができる。
動線検出部４１２は、商品棚Ｘ（商品棚Ａ〜Ｆ）の前に顧客Ａが存在するか否かを判定する（Ｓ３０４）。具体的には、動線検出部４１２は、商品棚Ｘ（商品棚Ａ〜Ｆ）の前の予め定められた領域Ｘ（領域Ａ〜Ｆ；図１４に一点鎖線で示す）に顧客Ａが存在するか否かを判定する。さらに具体的には、動線検出部４１２は、動線用画像を解析して、動線用画像における領域Ｘに、「顧客Ａ」と識別した人物の画像があるか否かを判定する。動線用画像における領域Ｘに「顧客Ａ」と識別した人物の画像がある場合に、動線検出部４１２は、商品棚Ｘの前に顧客Ａが存在すると判定する。
商品棚Ｘの前に顧客Ａが存在しないと判定された場合（Ｓ３０４のＮＯ）、Ｓ３０２及びＳ３０４の処理が繰り返される。一方、商品棚Ｘの前に顧客Ａが存在すると判定された場合（Ｓ３０４のＹＥＳ）、動線検出部４１２は、商品棚Ｘの前に顧客Ａが予め定められた時間Ｔ１以上留まっているか否かを判定する（Ｓ３０６）。具体的には、動線検出部４１２は、動線用画像を解析して、時間Ｔ１の間に撮像された動線用画像において、領域Ｘに顧客Ａの画像が含まれ続けた場合に、商品棚Ｘの前に顧客Ａが時間Ｔ１以上留まっていると判定する。
商品棚Ｘの前に時間Ｔ１以上顧客Ａが留まっていなかったと判定された場合（Ｓ３０６のＮＯ）、Ｓ３０２からＳ３０６の処理が繰り返される。一方、商品棚Ｘの前に時間Ｔ１以上顧客Ａが留まっていると判定された場合（Ｓ３０６のＹＥＳ）、動線検出部４１２は、顧客Ａが商品棚Ｘ（商品棚Ａ〜Ｆのいずれか）を訪問したと判定する（Ｓ３１０）。
また、動線検出部４１２は、顧客Ｂ，Ｃについても、図１６に示された処理を行う。そして、実施の形態１と同様に、動線検出部４１２は、図７に例示された動線情報を生成し、生成された動線情報を、動線情報格納部２０４に格納する。なお、動線情報には、上述した、顧客Ａ〜Ｃそれぞれについての軌跡データが含まれてもよい。
図１４において、顧客Ａが移動した軌跡Ｔａが例示されている。この例において、顧客Ａは、商品棚Ｃの前、商品棚Ｄの前、商品棚Ｂの前、商品棚Ａの前の順に移動し、ＰＯＳ端末装置１００の前まで移動して、商品の決済を行おうとしている。このとき、動線検出部４１２は、顧客Ａが入口５４から入店して、商品棚Ｃの前、商品棚Ｄの前、商品棚Ｂの前、商品棚Ａの前の順に移動し、ＰＯＳ端末装置１００の前まで移動した軌跡を、逐次、追跡する。
商品棚Ｃの前の領域Ｃに顧客Ａが時間Ｔ１以上留まった場合、動線検出部４１２は、顧客Ａが商品棚Ｃを訪問したと判定する。同様に、商品棚Ｂの前の領域Ｂに顧客Ａが時間Ｔ１以上留まった場合、動線検出部４１２は、顧客Ａが商品棚Ｂを訪問したと判定する。また、商品棚Ａの前の領域Ａに顧客Ａが時間Ｔ１以上留まった場合、動線検出部４１２は、顧客Ａが商品棚Ａを訪問したと判定する。一方、顧客Ａが商品棚Ｄの前を単に通過したのみであって商品棚Ｄの前の領域Ｄに時間Ｔ１以上留まらなかった場合、動線検出部４１２は、顧客Ａが商品棚Ｄを訪問しなかったと判定する。
図１７は、実施の形態３にかかる商品認識処理を示すフローチャートである。なお、図１７には、顧客Ａについての商品認識処理が示されているが、顧客Ｂ，Ｃについても同様の処理がなされる。
決済顧客識別部４２０は、顧客ＡがＰＯＳ端末装置１００の前に存在するか否かを判定する（Ｓ３２２）。具体的には、決済顧客識別部４２０は、ＰＯＳ端末装置１００の予め定められた領域Ｙ（図１４に一点鎖線で示す）に顧客Ａが存在するか否かを判定する。動線用画像におけるＰＯＳ端末装置１００の画像の位置は各時刻によらず固定され得る。したがって、動線検出部４１２は、動線用画像を解析して、動線用画像における領域Ｙに「顧客Ａ」と識別した人物の画像があるか否かを判定する。動線用画像における領域Ｙに「顧客Ａ」と識別した人物の画像がある場合に、動線検出部４１２は、ＰＯＳ端末装置１００の前に顧客Ａが存在すると判定する。
顧客ＡがＰＯＳ端末装置１００の前に存在しないと判定された場合（Ｓ３２２のＮＯ）、Ｓ３２０の処理が繰り返される。一方、顧客ＡがＰＯＳ端末装置１００の前に存在すると判定された場合（Ｓ３２２のＹＥＳ）、決済顧客識別部４２０は、顧客Ａを決済顧客であると識別する（Ｓ３２４）。
商品認識処理部２３０は、Ｓ１０６の処理と同様に、動線情報格納部２０４から、決済顧客（顧客Ａ）に対応付けられた商品棚情報を取得する（Ｓ３２６）。具体的には、商品認識処理部２３０は、決済顧客識別部４２０から、顧客Ａを示す決済顧客識別子を受け付ける。商品認識処理部２３０は、動線情報格納部２０４に格納された動線情報から、その決済顧客識別子に対応する（顧客Ａの）顧客識別子を検索する。さらに、商品認識処理部２３０は、検索された顧客識別子に対応付けられた商品棚識別子を取得する。そして、商品認識処理部２３０は、取得された商品棚識別子に対応する商品棚情報を、商品棚情報格納部２３２から取得する。
商品認識処理部２３０は、Ｓ１０８の処理と同様に、取得された商品棚情報に対応する商品に関する基準商品情報を、画像検索の対象とする（Ｓ３２８）。ＰＯＳ端末装置１００は、Ｓ１１０の処理と同様に、決済商品を撮像する（Ｓ３３０）。具体的には、商品画像取得部２２０は、商品撮像部１３０を制御して、商品撮像部１３０に向けられた決済商品を撮像させ、決済商品画像を取得する。
次に、商品認識処理部２３０は、Ｓ１１２の処理と同様に、Ｓ３２８の処理で検索対象とされた商品の基準商品情報を用いて、商品認識処理を行う（Ｓ３３２）。具体的には、商品認識処理部２３０は、Ｓ３２８の処理で検索対象とされた商品の基準商品情報と、決済商品画像とのパターンマッチングを行う。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、その決済商品を、その基準商品画像に対応する商品と判定する。
上述したように、実施の形態３においても、実施の形態１と同様に検索対象の絞り込みを行うことによって、ＰＯＳ端末装置１００は、決済顧客が訪問した商品棚に関する商品に対応する基準商品情報のみについて、商品認識処理（パターンマッチング処理）を行えばよい。これによって、検索対象の商品の数が削減されるので、商品認識処理に要する時間を削減することが可能となる。したがって、実施の形態３にかかるＰＯＳ端末装置１００は、効率的に商品認識を行うことが可能となる。
さらに、実施の形態３においては、各商品棚に対応した撮像装置を設ける必要がない。したがって、店舗５０に設置する撮像装置の数を削減することが可能となる。特に、店舗５０の面積が比較的狭い場合、及び、商品棚ごとに撮像装置を設置することができない場合等に、実施の形態３の構成を適用することができる。
（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも１つは、なくても構わない。例えば、図９において、Ｓ１１０の処理は、Ｓ１０２〜Ｓ１０８の任意の処理の後で行われてもよいし、Ｓ１０２〜Ｓ１０８の処理と同時に行われてもよい。図１３及び図１７においても同様である。
また、上述した実施の形態において、商品棚の数を６個としたが、商品棚の数は任意である。また、上述した実施の形態において、顧客の数を３人としたが、顧客の数は任意である。同様に、各商品棚に陳列される商品の数も任意である。
また、実施の形態２において、動線用撮像装置２０は、商品棚ごとに設けられているとしたが、このような構成に限られない。つまり、実施の形態２において、動線用撮像装置２０の数は、商品棚の数と同じでなくてもよい。動線検出部３１２において顧客がどの商品棚を訪問したかを判別可能であれば、動線用撮像装置２０の数は、商品棚の数よりも少なくてよい。例えば、図１０において、動線用撮像装置２０は、商品棚Ａと商品棚Ｂとの間に設置されてもよい。また、実施の形態３において、動線用撮像装置２０は、１つ設けられているとしたが、このような構成に限られない。動線用撮像装置２０は、２つ以上設けられてもよい。
また、実施の形態２において、動線検出部３１２は、商品棚Ａの前に存在する顧客が時間Ｔ１以上留まっている場合、その顧客が商品棚Ａを訪問したと判定するとしたが、このような構成に限られない。例えば、動線検出部３１２は、顧客が予め定められた距離以内に商品棚Ａに近づいたことを検出した場合に、その顧客が商品棚Ａを訪問したと判定してもよい。また、例えば、動線検出部３１２は、顧客が商品棚Ａに向けて手を伸ばしたことを検出した場合に、その顧客が商品棚Ａを訪問したと判定してもよい。このことは、実施の形態３においても同様である。
また、動線用撮像装置は、３次元画像を撮像してもよい。このように構成することによって、奥行き方向の位置をより正確に検出することが可能となる。また、この場合、動線検出部は、商品棚のどの位置（例えば上段／下段等）に手を伸ばしたかを検出してもよい。この場合、商品棚情報は、商品棚のどの位置にどの商品が陳列されるかを示してもよい。このように構成することによって、さらに検索対象とする商品を絞り込むことが可能となる。これにより、商品認識処理に要する時間をさらに削減することが可能となる。
また、上述した実施の形態においては、各顧客は互いに独立しているとしたが、このような構成に限られない。つまり、各「顧客」は１人に限られず、「顧客」を複数の人物から構成されるグループとしてもよい。この場合、動線検出部は、複数の人物から構成されるグループを認識し、そのグループの構成員それぞれの動線を検出してもよい。このとき、動線検出部は、複数の人物が店舗の入口に存在すると検出された場合に、それらの複数の人物をグループであると認識してもよい。また、決済顧客識別部は、グループのうちの少なくとも１人が決済しようとすることを検出してもよく、この場合、商品認識処理部は、グループの構成員全員についての動線情報を用いて、商品棚情報を抽出してもよい。
グループで購買活動を行う場合、構成員それぞれが個別に商品棚を訪問して商品を手に取り、決済するときは、グループの代表者がまとめてそれらの商品を決済することがある。そのような場合でも、本実施の形態にかかるＰＯＳ端末装置は、検索対象から決済商品が漏れることを抑制しつつ、検索対象を絞り込むことが可能となる。
また、上述した実施の形態において、「決済顧客が訪問した商品棚に陳列された商品を候補として、決済商品の商品認識処理を行う」ことの具体例として、決済顧客が訪問した商品棚に陳列された商品を、画像認識処理における検索対象とするとしたが、このような構成に限られない。例えば、上記「決済顧客が訪問した商品棚に陳列された商品を候補とする」という概念は、検索対象の絞り込みだけでなく、基準商品情報の優先度を上げることをも包含する。また、この概念は、決済顧客が訪問した商品棚に陳列された商品に関する基準商品情報を優先的に用いて、商品認識処理を行うことをも包含する。これにより、効率的に商品認識を行うことが可能となる。なお、この場合、決済顧客が訪問した商品棚に陳列された商品に関する基準商品情報を用いても決済商品を検索できなかった場合に、決済顧客が訪問しなかった商品棚に陳列された商品に関する基準商品情報を用いて、決済商品を検索してもよい。
本実施の形態にかかる動線検出処理は、上述した方法に限られず、既存の様々な方法を用いて行われてもよい。また、上述した実施の形態において、ＰＯＳ端末装置が動線検出処理を行うとしたが、このような構成に限られない。ＰＯＳ端末装置と通信可能な他の装置が、動線用画像を解析して動線情報を生成し、ＰＯＳ端末装置に送信してもよい。つまり、「動線検出」とは、動線の解析処理を他の装置が行って、その解析結果（動線情報等）をＰＯＳ端末装置が受信することも包含する。
本実施の形態にかかる顧客識別処理は、上述した方法に限られず、既存の様々な方法を用いて行われてもよい。また、上述した実施の形態において、ＰＯＳ端末装置が顧客を識別するとしたが、このような構成に限られない。ＰＯＳ端末装置と通信可能な他の装置が、動線用画像又は決済顧客画像を解析して顧客を識別し、その識別結果をＰＯＳ端末装置に送信してもよい。つまり、「顧客を識別する」とは、顧客の識別処理を他の装置が行って、その識別結果をＰＯＳ端末装置が受信することも包含する。
また、動線情報に時刻情報が含まれる場合、ＰＯＳ端末装置１００は、商品を決済するとき以前の予め定められた時間以内に決済顧客が訪問した商品棚に陳列された商品を商品認識処理における検索対象としてもよい。例えば、顧客Ａは、店舗５０に複数回入店する可能性がある。このとき、顧客Ａが、前回入店したときには商品棚Ｅを訪問したが、今回入店したときには商品棚Ａのみを訪問し商品棚Ｅを訪問していない場合であっても、ＰＯＳ端末装置１００は、前回顧客Ａが店舗５０に入店したときに生成された動線情報を用いると、商品棚Ｅに陳列された商品を検索対象としてしまうおそれがある。したがって、商品を決済するときから予め定められた時間以内に決済顧客が訪問した商品棚に陳列された商品を商品認識処理における検索対象とすることにより、ＰＯＳ端末装置１００は、今回顧客Ａが訪問した商品棚Ａの商品のみを検索対象とすることができる。したがって、ＰＯＳ端末装置１００は、より適切に検索対象の絞り込みを行うことが可能となるので、さらに効率的に商品認識を行うことが可能となる。
なお、この「決済するとき以前の予め定められた時間」は、その店舗に顧客が通常滞在する時間を考慮して設定され得る。例えば、店舗がコンビニエンスストアである場合は、決済のとき以前の３０分の間に決済顧客が訪問した商品棚に陳列された商品を、商品認識処理における検索対象としてもよい。また、例えば、店舗が量販店である場合は、決済のとき以前の５時間の間に決済顧客が訪問した商品棚に陳列された商品を、商品認識処理における検索対象としてもよい。
また、実施の形態２の構成要素及び実施の形態３の構成要素を組み合わせることも可能である。例えば、店舗５０の入口を撮像する撮像装置を設置して、その撮像装置で入口から入店した顧客を撮像して顔認識処理を行ってもよい。そして、動線用撮像装置でその顧客の入口からの動線を追跡してもよい。さらに、ＰＯＳ端末装置の近傍に設置された決済顧客撮像装置でその顧客（決済顧客）を撮像して顔認識処理を行ってもよい。本実施の形態にかかるＰＯＳ端末装置及びＰＯＳシステムは、このような構成をも包含する。
また、上述した実施の形態においては、商品は商品棚に陳列されるとしたが、このような構成に限られない。つまり、商品棚は必須ではなく、商品棚情報において、店舗内のどの「位置」にどの商品が陳列されているかが特定できればよい。この場合、動線検出部は、顧客が訪問した「位置」を検出してもよい。また、商品認識処理部は、決済顧客が訪問した「位置」に陳列された商品を候補として、決済商品の商品認識処理を行うようにしてもよい。本実施の形態にかかるＰＯＳ端末装置及びＰＯＳシステムは、このような構成をも包含する。
また、本実施の形態にかかる構成は、ＰＯＳ端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。
また、本実施の形態にかかるＰＯＳ端末装置１００は、例えば、セルフレジにも適用可能である。セルフレジのように、顧客がＰＯＳ端末を使用する場合、顧客は、商品に付されたバーコードを読取装置に読み取らせることに慣れていない。そのため、セルフレジにおいては、バーコードを使用しない方法、つまり、商品を直接読み取らせる方法が求められる。したがって、セルフレジについて本実施の形態にかかるＰＯＳ端末装置１００を適用することで、上述したような、商品を直接読み取らせることに起因する問題が解決される。
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
（付記）
以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出し、
商品を決済しようとする前記顧客を識別し、
前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う
商品認識方法。
（付記２）
前記顧客が訪問した商品棚を検出し、
前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
付記１に記載の商品認識方法。
（付記３）
前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を検索対象とし、当該検索対象とされた商品から前記決済対象の商品を検索することによって、前記決済対象の商品の認識処理を行う
付記２に記載の商品認識方法。
（付記４）
複数の前記商品棚に対応して設けられた複数の撮像手段が前記顧客を撮像することによって、当該顧客が当該商品棚を訪問したことを検出する
付記２又は３に記載の商品認識方法。
（付記５）
前記動線を、前記顧客が当該動線に対応する各位置を訪問した時刻と対応付けて検出し、
前記商品を決済するとき以前の予め定められた時間以内に前記顧客が訪問した位置に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
付記１から４のいずれか１項に記載の商品認識方法。
（付記６）
少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出ステップと、
商品を決済しようとする前記顧客を識別する顧客識別ステップと、
前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理ステップと
をコンピュータに実行させるプログラム。
（付記７）
前記動線検出ステップは、前記顧客が訪問した商品棚を検出し、
前記認識処理ステップは、前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
付記６に記載のプログラム。
（付記８）
前記認識処理ステップは、前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を検索対象とし、当該検索対象とされた商品から前記決済対象の商品を検索することによって、前記決済対象の商品の認識処理を行う
付記７に記載のプログラム。
（付記９）
前記動線検出ステップは、複数の前記商品棚に対応して設けられた複数の撮像手段が前記顧客を撮像することによって、当該顧客が当該商品棚を訪問したことを検出する
付記７又は８に記載のプログラム。
（付記１０）
前記動線検出ステップは、前記動線を、前記顧客が当該動線に対応する各位置を訪問した時刻と対応付けて検出し、
前記認識処理ステップは、前記決済対象の商品を決済するとき以前の予め定められた時間以内に前記顧客が訪問した位置に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
付記６から９のいずれか１項に記載のプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１４年３月２０日に出願された日本出願特願２０１４−０５８１０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ ＰＯＳ端末装置
２ 動線検出部
４ 決済顧客識別部
６ 商品認識処理部
１０ ＰＯＳシステム
２０ 動線用撮像装置
５０ 店舗
１００ ＰＯＳ端末装置
１１０ 情報処理装置
１１２ 制御部
１１４ 記憶部
１１６ 通信装置
１３０ 商品撮像部
２００ 決済処理部
２０２ 動線検出部
２０４ 動線情報格納部
２１０ 決済顧客識別部
２２０ 商品画像取得部
２３０ 商品認識処理部
２３２ 商品棚情報格納部
２３４ 基準商品情報格納部
３００ ＰＯＳシステム
３０２ 決済顧客撮像装置
３１０ 決済処理部
３１２ 動線検出部
３２０ 決済顧客識別部
４００ ＰＯＳシステム
４１０ 決済処理部
４１２ 動線検出部
４２０ 決済顧客識別部
本発明は、ＰＯＳ（Point Of Sales）端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に商品の決済を行うＰＯＳシステム、商品認識方法及びプログラムに関する。
本発明は、このような課題を解決するためになされたものであり、効率的に商品認識を行うことが可能なＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムを提供することにある。
本発明によれば、効率的に商品認識を行うことが可能なＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムを提供できる。


Claims (9)

  1. 少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出手段と、
    商品を決済しようとする前記顧客を識別する顧客識別手段と、
    前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理手段と
    を有するＰＯＳ端末装置。
  2. 前記動線検出手段は、前記顧客が訪問した商品棚を検出し、
    前記認識処理手段は、前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
    請求項１に記載のＰＯＳ端末装置。
  3. 前記認識処理手段は、前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を検索対象とし、当該検索対象とされた商品から前記決済対象の商品を検索することによって、前記決済対象の商品の認識処理を行う
    請求項２に記載のＰＯＳ端末装置。
  4. 前記動線検出手段は、複数の前記商品棚に対応して設けられた複数の撮像手段が前記顧客を撮像することによって、当該顧客が当該商品棚を訪問したことを検出する
    請求項２又は３に記載のＰＯＳ端末装置。
  5. 前記動線検出手段は、前記動線を、前記顧客が当該動線に対応する各位置を訪問した時刻と対応付けて検出し、
    前記認識処理手段は、前記決済対象の商品を決済するとき以前の予め定められた時間以内に前記顧客が訪問した位置に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
    請求項１から４のいずれか１項に記載のＰＯＳ端末装置。
  6. 少なくとも１つの撮像装置と、
    前記撮像装置で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出手段と、
    商品を決済しようとする前記顧客を識別する顧客識別手段と、
    前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理手段と
    を有するＰＯＳシステム。
  7. 前記撮像装置は、前記店舗内の複数の商品棚に対応して設けられ、
    前記動線検出手段は、前記撮像装置が前記顧客を撮像することによって、当該顧客が当該商品棚を訪問したことを検出する
    請求項６記載のＰＯＳシステム。
  8. 少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出し、
    商品を決済しようとする前記顧客を識別し、
    前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う
    商品認識方法。
  9. 少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出ステップと、
    商品を決済しようとする前記顧客を識別する顧客識別ステップと、
    前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理ステップと
    をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
JP2016508314A 2014-03-20 2014-11-05 Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム Active JP6172380B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014058107 2014-03-20
JP2014058107 2014-03-20
PCT/JP2014/005548 WO2015140853A1 (ja) 2014-03-20 2014-11-05 Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2015140853A1 true JPWO2015140853A1 (ja) 2017-04-06
JP6172380B2 JP6172380B2 (ja) 2017-08-02

Family

ID=54143879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508314A Active JP6172380B2 (ja) 2014-03-20 2014-11-05 Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム

Country Status (3)

Country Link
US (1) US20170068945A1 (ja)
JP (1) JP6172380B2 (ja)
WO (1) WO2015140853A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015258708B2 (en) * 2014-05-13 2021-03-04 Lightspeed Pos Inc. Technologies for point-of-sale transactions
JP6540195B2 (ja) * 2014-08-05 2019-07-10 セイコーエプソン株式会社 会計システム、及び、情報処理方法
US9911290B1 (en) 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
JP7160430B2 (ja) * 2016-03-23 2022-10-25 日本電気株式会社 動線判定装置、動線判定システム、動線判定方法及びプログラム
US10990945B2 (en) * 2016-07-11 2021-04-27 Itab Shop Products Ab Self-checkout system
US10510125B2 (en) * 2016-11-17 2019-12-17 International Business Machines Corporation Expense compliance checking based on trajectory detection
SE542438C2 (en) * 2016-12-21 2020-05-05 Itab Scanflow Ab An automatic in-store registration system
JP7318039B2 (ja) * 2017-07-21 2023-07-31 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
JP7036548B2 (ja) * 2017-07-21 2022-03-15 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
US11475673B2 (en) 2017-12-04 2022-10-18 Nec Corporation Image recognition device for detecting a change of an object, image recognition method for detecting a change of an object, and image recognition system for detecting a change of an object
JP7010030B2 (ja) 2018-01-31 2022-01-26 日本電気株式会社 店内監視装置、店内監視方法、および店内監視プログラム
JP7135329B2 (ja) 2018-01-31 2022-09-13 日本電気株式会社 情報処理方法、情報処理装置、および情報処理プログラム
JP7040596B2 (ja) 2018-03-09 2022-03-23 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP7517549B2 (ja) 2018-03-09 2024-07-17 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP6992874B2 (ja) 2018-03-09 2022-01-13 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP7210221B2 (ja) * 2018-10-19 2023-01-23 東芝テック株式会社 商品データ処理システム
CN111126110B (zh) * 2018-10-31 2024-01-05 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售系统
US11017641B2 (en) * 2018-12-21 2021-05-25 Sbot Technologies Inc. Visual recognition and sensor fusion weight detection system and method
WO2020179730A1 (ja) * 2019-03-04 2020-09-10 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
CN112348606A (zh) * 2019-08-08 2021-02-09 阿里巴巴集团控股有限公司 信息推荐方法、装置及系统
JP7372099B2 (ja) * 2019-09-24 2023-10-31 東芝テック株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP7398706B2 (ja) * 2020-02-25 2023-12-15 Ａｗｌ株式会社 不正防止システム、及び不正防止プログラム
WO2021245835A1 (ja) * 2020-06-03 2021-12-09 日本電気株式会社 処理装置、処理方法及びプログラム
US20220292827A1 (en) * 2021-03-09 2022-09-15 The Research Foundation For The State University Of New York Interactive video surveillance as an edge service using unsupervised feature queries
US20240242470A1 (en) * 2023-01-14 2024-07-18 Radiusai, Inc. Automatic item recognition from captured images during assisted checkout

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161651A1 (en) * 2000-08-29 2002-10-31 Procter & Gamble System and methods for tracking consumers in a store environment
JP2005309951A (ja) * 2004-04-23 2005-11-04 Oki Electric Ind Co Ltd 販売促進支援システム
JP2009048229A (ja) * 2007-08-13 2009-03-05 Toshiba Tec Corp 人物行動分析装置，方法及びプログラム
US20100158310A1 (en) * 2008-12-23 2010-06-24 Datalogic Scanning, Inc. Method and apparatus for identifying and tallying objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380558B1 (en) * 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
US9031858B2 (en) * 2007-04-03 2015-05-12 International Business Machines Corporation Using biometric data for a customer to improve upsale ad cross-sale of items
US20110320322A1 (en) * 2010-06-25 2011-12-29 Symbol Technologies, Inc. Inventory monitoring using complementary modes for item identification
US9311645B2 (en) * 2012-08-31 2016-04-12 Ncr Corporation Techniques for checkout security using video surveillance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161651A1 (en) * 2000-08-29 2002-10-31 Procter & Gamble System and methods for tracking consumers in a store environment
JP2005309951A (ja) * 2004-04-23 2005-11-04 Oki Electric Ind Co Ltd 販売促進支援システム
JP2009048229A (ja) * 2007-08-13 2009-03-05 Toshiba Tec Corp 人物行動分析装置，方法及びプログラム
US20100158310A1 (en) * 2008-12-23 2010-06-24 Datalogic Scanning, Inc. Method and apparatus for identifying and tallying objects

Also Published As

Publication number Publication date
JP6172380B2 (ja) 2017-08-02
US20170068945A1 (en) 2017-03-09
WO2015140853A1 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
JP6172380B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム
US11127061B2 (en) Method, product, and system for identifying items for transactions
JP6529078B2 (ja) 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
JP6555866B2 (ja) 商品登録装置及びプログラム
JP6992874B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
US10169752B2 (en) Merchandise item registration apparatus, and merchandise item registration method
JP6707940B2 (ja) 情報処理装置及びプログラム
US10372998B2 (en) Object recognition for bottom of basket detection
US20170330208A1 (en) Customer service monitoring device, customer service monitoring system, and customer service monitoring method
JP2013238973A (ja) 購買情報管理システム、商品移動検出装置および購買情報管理方法
US20170308938A1 (en) Digitization of a catalog of retail products
JP7040596B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US11941604B2 (en) Automatic payment system
US20230252698A1 (en) Information processing device, display method, and program storage medium for monitoring object movement
US20180293598A1 (en) Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method
JP2018045390A (ja) 物品読取装置およびプログラム
KR20230060452A (ko) 행동 판정 프로그램, 행동 판정 방법 및 행동 판정 장치
EP3474184A1 (en) Device for detecting the interaction of users with products arranged on a stand or display rack of a store
CN112154488B (zh) 信息处理装置、控制方法和程序
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
JP2022036983A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP2016045743A (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170619

R150 Certificate of patent or registration of utility model

Ref document number: 6172380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150