JPWO2020066444A1 - 顧客情報登録装置 - Google Patents

顧客情報登録装置 Download PDF

Info

Publication number
JPWO2020066444A1
JPWO2020066444A1 JP2020548234A JP2020548234A JPWO2020066444A1 JP WO2020066444 A1 JPWO2020066444 A1 JP WO2020066444A1 JP 2020548234 A JP2020548234 A JP 2020548234A JP 2020548234 A JP2020548234 A JP 2020548234A JP WO2020066444 A1 JPWO2020066444 A1 JP WO2020066444A1
Authority
JP
Japan
Prior art keywords
unit
customer
storage unit
information
face data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020548234A
Other languages
English (en)
Other versions
JP7092205B2 (ja
Inventor
真 五十嵐
真 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020066444A1 publication Critical patent/JPWO2020066444A1/ja
Application granted granted Critical
Publication of JP7092205B2 publication Critical patent/JP7092205B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Abstract

店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、を有する。

Description

本発明は、顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムに関する。
マーケティングなどの目的のため、顧客の顔画像に基づいて算出される特徴量を示す情報を登録、管理することがある。
このような技術の一つとして、例えば、特許文献１がある。特許文献１には、顧客の属性を顧客データベース（DB：database）に登録して管理する顧客情報管理システムが記載されている。特許文献１によると、顧客データベースには、顧客がレジにおいて商品を購入する際、または、顧客が商品を購入せずに退店する際に、顧客の属性が登録される。
特開２００２−３２５５８号公報
特許文献１に記載の技術によると、顧客データベースには、顧客の店内における行動にかかわらず顧客の属性が登録される。その結果、データ容量が肥大したりや有用性の低いデータが増大したりするという問題が生じていた。
そこで、本発明の目的は、データ容量の肥大化や有用性の低いデータの増大を抑制することが難しい、という問題を解決する顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムを提供することにある。
かかる目的を達成するため本発明の一形態である顧客情報登録装置は、
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
を有する
という構成をとる。
また、本発明の他の形態である顧客情報登録方法は、
記憶部を有する顧客情報登録装置が、
店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合し、
前記照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納し、
顧客の前記店舗内における行動に応じた行動情報を取得し、
取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定し、
判定の結果に基づいて、前記記憶部に格納した顔データを削除する
という構成をとる。
また、本発明の他の形態である記録媒体は、
記憶部を有する顧客情報登録装置に、
店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合する照合部と、
前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
また、本発明の他の形態であるカメラは、
取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
を有する
という構成をとる。
また、本発明の他の形態である顧客情報登録システムは、
顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
前記顧客情報登録装置は、
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、を備える
という構成をとる。
本発明は、以上のように構成されることにより、データ容量の肥大化や有用性の低いデータの増大を抑制することが難しい、という問題を解決する顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムを提供することが可能となる。
本発明の第１の実施形態における顧客情報登録システムの全体の構成の一例を示す図である。 図１で示す顧客情報登録装置の構成の一例を示すブロック図である。 図２で示す付随情報の一例を示す図である。 図２で示す顧客情報の一例を示す図である。 図２で示す判定条件情報の一例を示す図である。 登録条件の一例を示す図である。 出力部による出力の一例を示す図である。 顧客情報登録装置の動作の一例を示すフローチャートである。 本発明の第２の実施形態における顧客情報登録装置の構成の一例を示すブロック図である。 本発明の第２の実施形態における顧客情報登録システムの構成の一例を示すブロック図である。
［第１の実施形態］
本発明の第１の実施形態を図１から図８までを参照して説明する。図１は、顧客情報登録システム１の全体の構成の一例を示す図である。図２は、顧客情報登録装置２の構成の一例を示すブロック図である。図３は、付随情報２４２の一例を示す図である。図４は、顧客情報２４３の一例を示す図である。図５は、判定条件情報２４４の一例を示す図である。図６は、登録条件の一例を示す図である。図７は、出力部２５７による出力の一例を示す図である。図８は、顧客情報登録装置２の動作の一例を示すフローチャートである。
本発明の第１の実施形態では、顧客情報登録装置２を有する顧客情報登録システム１について説明する。顧客情報登録装置２は、リピーター検出などの顧客分析に活用することを目的に、顧客の顔画像から算出した特徴量などを含む情報を顧客情報２４３として記憶部２４に格納する。後述するように、本実施形態における顧客情報登録装置２は、顧客の顔データと、記憶部２４が格納している顔データと、を照合する。また、顧客情報登録装置２は、照合が失敗した場合（すなわち、取得した顔データが記憶部２４に格納されていない場合）、顔データを含む情報を顧客情報２４３として記憶部２４に格納する。その後、顧客情報登録装置２は、格納した顔データに対応する顧客の店舗内における行動が所定の条件を満たすか否か判定する。そして、顧客の行動が所定の条件を満たさない場合、顧客情報登録装置２は、記憶部２４に格納した顔データなどの情報を削除する。ここで、顔データとは、顔画像から算出された特徴量や顔画像のことをいう。以降の説明では、顔データとして特徴量を採用した場合について説明する。
図１は、顧客情報登録システム１の全体の構成の一例を示している。図１を参照すると、顧客情報登録システム１は、例えば、顧客情報登録装置２と、カメラ３と、レジ端末４と、を有している。
図１で示すように、顧客情報登録装置２とカメラ３とは、互いに通信可能なよう接続されている。また、顧客情報登録装置２とレジ端末４とは、互いに通信可能なよう接続されている。
なお、顧客情報登録システム１の構成は、図１で示す場合に限定されない。例えば、カメラ３やレジ端末４の数は、１つであっても構わないし、２つ以上の複数であっても構わない。また、例えば、顧客情報登録システム１は、商品棚や店舗の入り口に設置された重みセンサなどの各種センサやＲＦＩＤ（radio frequency identifier）リーダーなどを有しても構わない。また、例えば、顧客情報登録システム１は、レジ端末４を有さなくても構わない。
顧客情報登録装置２は、特徴量を格納する情報処理装置である。図２は、顧客情報登録装置２の構成の一例を示している。図２を参照すると、顧客情報登録装置２は、主な構成要素として、操作入力部２１と、画面表示部２２と、通信Ｉ／Ｆ部２３と、記憶部２４と、演算処理部２５と、を有している。
操作入力部２１は、キーボードやマウスなどの操作入力装置からなる。操作入力部２１は、オペレータの操作を検出して演算処理部２５に出力する。
画面表示部２２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部２２は、演算処理部２５からの指示に応じて、各種情報を画面表示する。例えば、画面表示部２２は、演算処理部２５からの指示に応じて、画像データ情報２４１、付随情報２４２、顧客情報２４３、条件判定部２５５による判定の結果に基づく情報、などを画面表示する。
通信Ｉ／Ｆ部２３は、例えば、データ通信回路からなる。通信Ｉ／Ｆ部２３は、通信回線を介して接続された各種装置との間でデータ通信を行う。例えば、顧客情報登録装置２は、通信Ｉ／Ｆ部２３を介して、カメラ３、レジ端末４、その他センサなど外部装置と通信を行う。
記憶部２４は、ハードディスクやメモリなどの記憶装置である。記憶部２４は、演算処理部２５における各種処理に必要な処理情報やプログラム２４５を記憶する。プログラム２４５は、演算処理部２５に読み込まれて実行されることにより各種処理部を実現する。プログラム２４５は、通信Ｉ／Ｆ部２３などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部２４に格納されている。記憶部２４で記憶される主な情報としては、画像データ情報２４１と付随情報２４２と顧客情報２４３と判定条件情報２４４とがある。
画像データ情報２４１は、通信Ｉ／Ｆ部２３を介してカメラ３から取得した画像データである。画像データ情報２４１は、例えば、特徴量算出部２５２や分析部２５３で利用される。
付随情報２４２は、例えば、店舗内などカメラ３による撮影箇所における顧客個人を特定しない統計的なデータを示している。付随情報２４２は、例えば、画像データ情報２４１に基づいて分析部２５３で生成される。
図３は、付随情報２４２として含むことが可能な情報の一例を示している。図３を参照すると、付随情報２４２には、例えば、来店者分析情報、通過人数情報、コンバージョン情報、などの各種統計的な情報を含むことが出来る。なお、来店者分析情報は、来店回数ごとに顧客の数を計測した情報、購買までの来店数ごとに顧客の数を計測した情報、年齢・性別ごとに顧客の数を計測した情報など、予め定められた属性ごとの顧客の数を示す情報である。また、通過人数情報は、所定時間内に予め定められた箇所を顧客が通過した人数を予め定められた箇所ごとに示す情報である。また、コンバージョン情報は、顧客が店舗内のどのエリアに長く滞在するかを示す情報であり、顧客の滞在状況を把握する際などに用いることが出来る。
なお、付随情報２４２には、上記例示した以外の情報を含んでも構わない。例えば、付随情報２４２には、ヒートマップ情報、天気ごとの顧客数を示す情報など、上記例示した以外の顧客個人を特定しない統計的な情報を含んでいても構わない。
顧客情報２４３は、店舗内などカメラ３による撮影エリア内、監視対象エリア内に訪れた顧客に関する情報を示している。顧客情報２４３には、少なくとも、顧客の顔画像から算出した特徴量を示す顔特徴量情報が含まれている。また、顧客情報２４３には、顔画像などから判断される顧客の年齢や性別などを示す属性情報、来店回数や前回来店日などを示す過去の来店情報、店舗内などカメラ３による撮影エリア内、監視対象エリア内における顧客の行動に関連する情報である行動関連情報（行動情報）、などを含むことが出来る。
図４は、顧客情報２４３の一例を示している。図４を参照すると、顧客情報２４３では、例えば、ＩＤと、顔特徴量情報と、属性情報と、来店回数と、前回来店日と、行動関連情報と、を対応付けている。例えば、図４の１行目では、ID「Av+E3sCH」と、顔特徴量情報「xxxxxxxxxx」と、属性情報「aaaaa」と、来店回数「２」と、前回来店日「2018/07/20」と、行動関連情報「XXXXXX」とを対応付けている。顔特徴量情報と行動関連情報とが対応付けて格納されることにより、例えばマーケティング担当者は、該顔特徴量情報が記憶部２４に格納された根拠を知ることができる。
なお、IDとは、顧客を識別するための識別情報である。IDは、例えば、新たな顔特徴量情報を記憶部２４に格納する際に照合部２５４などにより自動的に付与される。顔特徴量情報は、顔画像の特徴量を示す情報である。顔特徴量情報は、後述する特徴量算出部２５２により顔画像（画像データ情報２４１）に基づいて算出される。属性情報は、年齢や性別など顧客の属性を示す情報である。属性情報は、例えば、画像データ情報２４１などに基づいて、分析部２５３で判断される。来店回数は、前回までの（または、現在を含む）顧客の来店回数を示しており、前回来店日は、顧客が前回来店した日を示している。来店回数や前回来店日などの来店情報は、例えば、照合部２５４などにより更新される。行動関連情報は、店舗内などカメラ３による撮影エリア内、監視対象エリア内における顧客の行動に関連する情報である。行動関連情報には、例えば、１回の来店で対応する顧客を撮影したカメラの数、店舗内全体や店舗内を予め複数のエリアに区切った際のエリアごとの顧客の滞在時間、商品への手伸ばしの検出の有無、商品購入の有無、顧客の動線、顧客の視線などを示す情報を含むことが出来る。
なお、図４は顧客情報２４３の一例を示している。顧客情報２４３に含まれる情報は、図４で例示した場合に限定されない。例えば、顧客情報２４３は、顔特徴量情報のみから構成されるなど、顔特徴量情報を含む図４で例示した情報の一部から構成されても構わない。また、顧客情報２４３には、顧客が来店した際の天気や時刻を示す情報など図４で例示した以外の情報を含んでも構わない。
判定条件情報２４４は、記憶部２４に格納された特徴量を示す情報（顔特徴量情報）を削除するか否か条件判定部２５５が判定する際に用いる、条件を示す情報である。
判定条件情報２４４には、店舗内における顧客の行動に応じた条件が含まれている。例えば、判定条件情報２４４には、「同一人物の特徴量を予め定められた所定数（任意の数で構わない）以上のカメラから取得した画像データに基づいて算出したか」、「特徴量に基づいて特定される同一人物の店舗内の滞在時間（任意の時間で構わない）が所定以上か」「商品への手伸ばしを検出したか」、「レジ端末４から取得したPOS（Point of sale）情報などとの関連付けにより商品の購入を検出したか」、「動線の追跡などにより予め定められた一定のエリアの滞在時間が予め定められた閾値を超えたか」、「人物の動線が所定の条件を満たしたか」などの条件を含むことが出来る。
また、記憶部２４の記憶容量を考慮して、例えば顧客情報の一日の登録件数（登録人数）を決めることも考えられる。この場合、判定条件情報２４４に「一日の登録人数を超えていないか」という条件を含むことができる。これにより、記憶部２４の容量に制限があってもより有用性の高い情報を記憶部２４に残すことができる。なお、登録人数は、予め定められた値であっても構わないし、例えば、記憶部２４の記憶容量などに応じて変化する値であっても構わない。
このように、判定条件情報２４４には、店舗内における顧客の行動に応じた各種条件が含まれている。換言すると、判定条件情報２４４には、店舗内における顧客の行動に基づいて、顧客に商品購入の意思があると判断できるか否かを判定するための条件が含まれている。また、判定条件情報２４４には、店舗内における顧客の行動に基づいて、顧客が商品購入を検討したと判断できるか否かを判定するための条件が含まれている。このように判定条件情報２４４を設定することで、例えば、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報を記憶部２４から削除することが可能となる。つまり、リピーター分析など分析対象とするのに適切な顧客の情報のみを記憶部２４に残すことが可能となる。
なお、判定条件情報２４４には、例えば、「顧客近傍に位置する商品棚における重量変化を検出したか」など、上記例示した以外の条件を含んでも構わない。「顧客近傍に位置する商品棚における重量変化を検出したか」という条件の場合、後述の条件判定部２５５は、重量センサを設けた棚から顧客が商品を手に取った場合の重量変化に基づいて、顧客情報２４３に含まれていない特徴量を記憶部２４に格納するか否か判定する。
また、判定条件情報２４４は、上述した各種条件と、重みを示す情報と、を対応づけた情報であっても構わない。図４は、条件と重みとの対応づけを示す判定条件情報２４４の一例を示している。例えば、図４の１行目では、条件「同一人物の特徴量を所定数以上のカメラからの画像データから算出」と重み「１５」とを対応づけている。また、重みを示す情報を含む場合、判定条件情報２４４には、重みの合計値と比較する値である重み閾値を含むことが出来る。なお、各種条件と対応づけられる重みの値は任意に設定して構わない。
演算処理部２５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２４からプログラム２４５を読み込んで実行することにより、上記ハードウェアとプログラム２４５とを協働させて各種処理部を実現する。演算処理部２５で実現される主な処理部として、例えば、画像データ取得部２５１と、特徴量算出部２５２と、分析部２５３（行動情報取得部）と、照合部２５４（照合部、格納部）と、条件判定部２５５と、削除部２５６と、出力部２５７と、がある。
画像データ取得部２５１は、通信Ｉ／Ｆ部２３を介して、カメラ３から画像データを取得する。そして、画像データ取得部２５１は、取得した画像データを画像データ情報２４１として記憶部２４に格納する。
なお、顧客情報登録システム１が複数のカメラ３を有する場合、画像データ取得部２５１は、複数のカメラ３のそれぞれから画像データを取得する。このような場合、例えば、画像データ取得部２５１は、カメラ３の識別情報と画像データとを対応づけて、当該対応付けた情報を記憶部２４に格納することが出来る。換言すると、画像データ取得部２５１は、どのカメラ３により取得された画像データであるか判別可能なように画像データを記憶部２４に格納することが出来る。
特徴量算出部２５２は、顔画像の特徴量を算出する。例えば、特徴量算出部２５２は、画像データ情報２４１から顧客の顔を示す領域である顔画像（顔領域）を抽出する。そして、特徴量算出部２５２は、抽出した顔画像の特徴量を算出する。
なお、本実施形態においては、特徴量算出部２５２が顔画像の特徴量を算出する際の処理については特に限定しない。例えば、特徴量算出部２５２は、顔画像から検出した目・鼻・口端などの顔の特徴点位置に基づいて特徴量を算出するなど、既知の方法を用いて顔画像の特徴量を算出することが出来る。もちろん、特徴量算出部２５２は、輝度情報を用いる、局所領域間の関連性に応じた値を用いるなど、その他既知の方法を用いて特徴量を算出しても構わない。
また、上述したように、顧客情報登録装置２が複数のカメラ３を有する場合、画像データ取得部２５１は、例えば、カメラ３の識別情報と画像データとを対応づけて、当該対応付けた情報を記憶部２４に格納する。そのため、特徴量算出部２５２は、例えば、算出した顔画像の特徴量に、対応するカメラ３の識別情報を対応付けることが出来る。換言すると、特徴量算出部２５２は、どのカメラ３により取得された画像データに基づいて算出されたものであるか判別可能なように、特徴量を算出することが出来る。
分析部２５３は、画像データ情報２４１が示す画像データや当該画像データから抽出した顔画像を分析することで、顧客の性別や年齢を示す属性情報を取得したり、顧客の店舗内又はエリアごとの滞在時間、商品への手伸ばしの有無、動線の検出、視線の検出などの行動関連情報（行動情報）を取得したりする。また、分析部２５３は、画像データ情報２４１が示す画像データや当該画像データから抽出した顔画像を分析することで、来店者分析情報、通過人数情報、コンバージョン情報などの顧客個人を特定しない統計的な情報を取得する。そして、分析部２５３は、統計的な情報を付随情報２４２として記憶部２４に格納する。
このように、分析部２５３は、画像データ情報２４１に基づいて、顧客ごとの情報である属性情報や行動関連情報を取得するとともに顧客個人を特定しない統計的な情報を取得する。また、分析部２５３は、例えば、顔画像の特徴量を用いてレジ端末４から取得したPOS（Point of sale）情報などとの関連付けを行うことで、顧客が商品を購入したか、どのような商品を購入したか、を示す行動関連情報を取得する。なお、分析部２５３の処理も、特徴量に基づく性別や年齢の推定など既知の方法を用いて実現して構わない。そのため、分析部２５３の処理の詳細な説明は省略する。
照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する。例えば、照合部２５４は、特徴量算出部２５２が算出した特徴量と、記憶部２４に格納された顧客情報２４３に含まれる顔特徴量情報と、を照合することで、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する。
算出した特徴量に応じた顔特徴量情報が顧客情報２４３に含まれている場合、照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されていると判定する。この場合、照合部２５４は、顧客情報２４３の更新を行うことが出来る。例えば、照合部２５４は、顧客情報２４３のうち、照合した特徴量に対応する来店回数を１増やしたり、前回来店日の更新を行ったりすることが出来る。なお、更新部を設け、照合部２５４が更新部に対して更新を指示するようしてもよい。また、照合部２５４は、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を画面表示部２２などに出力するよう出力部２５７に対して指示することが出来る。一方、算出した特徴量が顧客情報２４３に含まれていない場合（つまり、照合が失敗した場合）、照合部２５４は、特徴量を記憶部２４に格納する。つまり、照合部２５４は、格納対象となる特徴量を示す顔特徴量情報を、分析部２５３が分析した属性情報や行動関連情報と対応づけて記憶部２４に格納する。この際、来店回数は１となり、前回来店日は顧客が来店した日となる。なお、格納部を設け、照合部２５４が格納部に対して格納処理を指示するようしてもよい。
条件判定部２５５は、記憶部２４に格納された特徴量を削除するか否か判定する。例えば、条件判定部２５５は、店舗内における顧客の行動が商品購入の意思があると判断できるか否かに基づいて、記憶部２４に格納された特徴量を削除するか否か判定する。具体的には、例えば、条件判定部２５５は、特徴量算出部２５２による特徴量算出の結果や分析部２５３による分析の結果を確認するとともに、判定条件情報２４４を確認する。そして、条件判定部２５５は、特徴量算出部２５２による特徴量算出の結果や分析部２５３による分析の結果取得した行動関連情報（行動情報）などに基づいて判断される店舗内における顧客の行動と、判定条件情報２４４が示す条件と、に基づいて、記憶部２４に格納された特徴量を削除するか否か判定する。
例えば、条件判定部２５５は、顧客の店舗内における行動が、判定条件情報２４４が示す条件を満たすか否かに基づいて、記憶部２４に格納された特徴量を削除するか否か判定する。例えば、図５は、店舗内における顧客の行動の一例を示している。図５では、同一の顧客が３つのカメラ３（カメラ３−１、カメラ３−２、カメラ３−３）で撮影された後、退店した場合について例示している。このような状態において、判定条件情報２４４に、「同一人物の特徴量を、５つ以上のカメラから取得した画像データに基づいて算出したか」という条件が含まれているとする。この場合、条件判定部２５５は、３つのカメラから取得した画像データに基づいて同一の特徴量を算出しているため、５つ以上ではなく、判定条件情報２４４が示す条件を店舗内における顧客の行動が満たしていない、と判断する。また、判定条件情報２４４に含まれるその他の条件も顧客の行動が満たさなかったとする。その場合、条件判定部２５５は、記憶部２４に格納された特徴量を削除すると判定する。そして、条件判定部２５５は、記憶部２４に格納された特徴量を削除すると判定した旨を削除部２５６に通知する。
このように、条件判定部２５５は、「同一人物の特徴量を予め定められた所定数以上のカメラから取得した画像データに基づいて算出したか」、「特徴量に基づいて特定される同一人物の店舗内の滞在時間が所定以上か」「商品への手伸ばしを検出したか」、「レジ端末４から取得したPOS（Point of sale）情報などとの関連付けにより商品の購入を検出したか」、など、判定条件情報２４４が示す条件のいずれも顧客の店舗内の行動が満たさなかった場合、記憶部２４から対象の特徴量を削除すると判定する。そして、条件判定部２５５は、記憶部２４に格納された特徴量を削除すると判定した旨を削除部２５６に通知する。一方、判定条件情報２４４が示す条件のいずれかを顧客の店舗内における行動が満たす場合、条件判定部２５５は、上記通知を行わない。
なお、条件判定部２５５は、判定条件情報２４４が示す条件を予め定められた数以上満たすか否かに基づいて、記憶部２４から対象の特徴量を削除するか否か判定するよう構成しても構わない。また、条件判定部２５５は、判定条件情報２４４が示す条件を満たした場合に記憶部２４から対象の特徴量を削除すると判定するよう構成しても構わない。このように条件判定部２５５を構成する場合、判定条件情報２４４は、例えば、「同一人物の特徴量を予め定められた所定数以上のカメラから取得した画像データに基づいて算出しなかったか」などの条件を含むことが出来る。
また、例えば、条件判定部２５５は、顧客の店舗内における行動に基づいて算出される値が予め定められた重み閾値を超えるか否かに基づいて、記憶部２４に格納された特徴量を削除するか否か判定することが出来る。例えば、条件判定部２５５は、「同一人物の特徴量を、予め定められた所定数である３つ以上のカメラから取得した画像データに基づいて算出」して、かつ、「特徴量に基づいて特定される同一人物の店舗内の滞在時間が予め定められた閾値を超えた」場合、１５＋１０＝２５を算出する（図４参照）。このように、条件判定部２５５は、顧客の店舗内における行動が所定の条件を満たすごとに、当該条件に対応付けられた値を加算する。そして、加算した値が予め定められた重み閾値以下であった場合、条件判定部２５５は、記憶部２４から特徴量を削除すると判定して、記憶部２４から特徴量を削除すると判定した旨を削除部２５６に通知する。一方、加算した値が予め定められた重み閾値よりも大きくなる場合、条件判定部２５５は、上記通知を行わない。
このように、条件判定部２５５は、店舗内の顧客の行動に基づいて、記憶部２４に格納された特徴量を削除するか否か判定する。
なお、判定条件情報２４４に顧客情報の一日の登録件数（最終的な登録人数、以下、単に登録人数という）に関する条件が含まれる場合、条件判定部２５５は、顧客の店舗内における行動に基づいて顧客ごとに算出された値を顧客間で比較して値の高い順（または低い順）に順位をつけることができる。そして、条件としている登録人数よりも人数（一時的な登録人数）が多い場合、条件判定部２５５は、例えば値の高い順に全人数の上位１０％に入らない顧客の特徴量を削除することができる。逆に条件としている登録人数よりも人数が少ない場合、条件判定部２５５は、条件としている登録人数に達するまで、順位に基づいて登録人数を補完することができる。このように、条件判定部２５５は、登録人数に応じた判定を行うよう構成しても構わない。
また、条件判定部２５５は、任意のタイミングで条件の判定を行うよう構成して構わない。例えば、条件判定部２５５は、レジ端末や店舗の出口にカメラを設けることで、レジ端末による商品の精算処理が終わったタイミングや顧客が退店したタイミングで判定を行うよう構成しても構わないし、予め定められた所定の間隔（例えば、１日１回など）で条件の判定を行うよう構成しても構わない。
削除部２５６は、条件判定部２５５が記憶部２４から削除すると判定した特徴量を削除する。この際、削除部２５６は、顧客情報２４３として削除対象の特徴量と対応づけられている情報（IDや属性情報など）も特徴量（顔特徴量情報）と一緒に削除する。例えば、削除部２５６は、条件判定部２５５から特徴量を削除すると判定した旨の通知を受信する。すると、削除部２５６は、記憶部２４から該当する情報を削除する。つまり、削除部２５６は、顔特徴量情報と、当該顔特徴量情報と対応付けられた各種情報とを削除する。このように削除部２５６が条件判定部２５５による判定の結果に応じた削除を行うため、条件判定部２５５が記憶部２４から削除すると判定した特徴量が記憶部２４に残り続けることはない。
なお、削除部２５６は、任意のタイミングで削除処理を行うよう構成して構わない。例えば、削除部２５６は、条件判定部２５５による判定の結果を受けて待機せず特徴量を記憶部２４から削除するよう構成しても構わないし、バッチ的に日に１回などある所定のタイミングで特徴量を記憶部２４から削除するよう構成しても構わない。
また、削除部２５６は、特徴量を削除する際に、付随情報２４２から削除対象の人物に起因する情報を削除するよう構成することが出来る。例えば、削除部２５６は、付随情報２４２に含まれる来店者分析情報のうち削除対象の特徴量に対応する顧客の数を１減算させることが出来る。また、削除部２５６は、通過人数情報から、削除対象の人物をカウントした数を減算させることが出来る。また、削除部２５６は、削除対象の人物が最初からいなかったものとするようコンバージョン情報を更新することが出来る。なお、削除部２５６は、分析部２５３に対して、削除対象の人物が最初からいなかったものとして画像データ情報２４１に対する分析を再度行うよう指示しても構わないし、削除部２５６により直接、付随情報２４２を更新するよう構成しても構わない。
出力部２５７は、画面表示部２２やそのほか外部装置に所定の出力を行うよう指示する。
例えば、出力部２５７は、照合部２５４からの通知に応じて、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を出力するよう画面表示部２２などに対して指示する。また、出力部２５７は、削除部２５６による削除の結果に応じた情報（例えば、一日のうちの削除されずに新たに登録された登録件数などの統計情報や削除されなかった登録者に関する情報）を出力するよう画面表示部２２などに対して指示することが出来る。出力部２５７による削除の結果に応じた情報の出力指示は、例えば、日に１回予め定められた時間に出力するなど、所定の間隔で行われて構わない。
また、出力部２５７は、例えば、図７で示すように、カメラ３が取得した画像情報２２１や天気情報２２３などとともに、顧客情報２４３などを出力するよう画面表示部２２に対して指示することが出来る。図７は、出力部２５７による指示の結果出力される画面表示部２２の表示の一例を示している。図７を参照すると、出力部２５７からの指示に応じて、画面表示部２２上には、例えば、画像情報２２１、来店顧客情報２２２、天気情報２２３、来店回数統計情報２２４、属性統計情報２２５、コンバージョン情報２２６、通過人数情報２２７、などを表示することが出来る。
なお、画像情報２２１は、カメラ３から取得した画像データ（画像データ情報２４１）を示している。また、来店顧客情報２２２は、現在来店している顧客の情報を示している。来店顧客情報２２２には、顧客情報２４３の少なくとも一部を含めることが出来る。天気情報２２３は、天気を示している。図７で例示する場合、天気情報２２３は、当日前後３日間の天気を示している。来店回数統計情報２２４は、現在店舗内に存在する顧客のそれぞれが過去に何回来店しているかなどを示す情報を示している。属性統計情報２２５は、顧客の数を年齢、性別ごとに示す情報である。コンバージョン情報２２６は、顧客が店舗内のどのエリアに長く滞在するかを示す情報である。通過人数情報２２７は、所定時間内に顧客が通過した人数を示す情報である。来店回数統計情報２２４、属性統計情報２２５、コンバージョン情報２２６、通過人数情報２２７は、例えば、分析部２５３による分析の結果として取得される付随情報２４２と対応している。
このように、出力部２５７は、画像データ取得部２５１が取得した画像データとともに、付随情報２４２や顧客情報２４３などを出力するよう画面表示部２２に対して指示することが出来る。出力部２５７は、上記例示した以外の情報を出力するよう画面表示部２２に対して指示しても構わない。
以上が、顧客情報登録装置２の構成の一例である。
カメラ３は、画像データを取得する。カメラ３は、例えば、店舗内の所定位置に予め設置されており、店舗内を監視している。カメラ３は、既存の監視カメラなどであって構わない。
レジ端末４は、商品の購入など顧客とのやり取りに応じた販売情報を管理する。例えば、レジ端末４は、POSシステムを搭載している。レジ端末４は、顧客が商品を購入した際、当該顧客が商品を購入した旨を示す情報を顧客情報登録装置２に対して送信することが出来る。
以上が、顧客情報登録システム１の構成の一例である。
次に、顧客情報登録装置２の動作について説明する。図８は、顧客情報登録装置２の動作の一例を示すフローチャートである。
図８を参照すると、画像データ取得部２５１は、通信Ｉ／Ｆ部２３を介して、カメラ３から画像データを取得する（ステップＳ１０１）。そして、画像データ取得部２５１は、取得した画像データを画像データ情報２４１として記憶部２４に格納する。
特徴量算出部２５２は、顔画像の特徴量を算出する（ステップＳ１０２）。例えば、特徴量算出部２５２は、画像データ情報２４１から顧客の顔を示す領域である顔画像（顔領域）を抽出する。そして、特徴量算出部２５２は、抽出した顔画像の特徴量を算出する。
照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されている否か確認する（ステップＳ１０３）。算出した特徴量が記憶部２４に格納されている場合（ステップＳ１０３、ＹＥＳ）、照合部２５４は、顧客情報２４３の更新を行う（ステップＳ１０７）。また、照合部２５４は、記憶部２４格納された特徴量を有する顧客が来店した旨を示す情報を画面表示部２２などに出力するよう出力部２５７に対して指示することが出来る。一方、算出した特徴量が記憶部２４に格納されていない場合（ステップＳ１０３、ＮＯ）、照合部２５４は、特徴量算出部２５２が算出した特徴量を記憶部２４に格納する（ステップＳ１０４）。
条件判定部２５５は、店舗内の顧客の行動に基づいて、記憶部２４に格納された特徴量を削除するか否か判定する（ステップＳ１０５）。店舗内の顧客の行動が所定の条件（例えば、判定条件情報２４４が示す条件）を満たさない場合（ステップＳ１０４、ＹＥＳ）、条件判定部２５５は、記憶部２４から特徴量を削除すると判定する。そして、条件判定部２５５は、記憶部２４から特徴量を削除すると判定した旨を削除部２５６に通知する。これにより、削除部２５６は、記憶部２４から特徴量を削除する（ステップＳ１０６）。つまり、削除部２５６は、顧客情報２４３に含まれる、対象となる顔特徴量情報と当該顔特徴量情報と対応付けられた各種情報とを削除する。一方、店舗内の顧客の行動が所定の条件を満たす場合（ステップＳ１０５、ＮＯ）、条件判定部２５５は、上記通知を行わない。
以上が、顧客情報登録装置２の動作の一例である。
このように、顧客情報登録装置２は、条件判定部２５５と、削除部２５６と、を有している。このような構成により、削除部２５６は、記憶部２４に格納された特徴量のうち、条件判定部２５５により所定の条件を満たさないと判断された特徴量を削除することが出来る。その結果、有用性の高い顔画像の特徴量のみを記憶部２４に格納させることが可能となる。これにより、例えば、有用蓋然性の低い情報の蓄積などを抑制することが可能となり、データ容量の肥大化を抑制することが可能となる。また、効率的にリピーター検出などを行うことが可能となる。
また、条件判定部２５５は、店舗内における顧客の行動に応じた各種条件が含まれる判定条件情報２４４に含まれる条件に基づいて、記憶部２４から削除するか否か判定することが出来るよう構成されている。このように構成することで、例えば、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報により記憶部２４に格納される情報が肥大化することを抑制することが可能となる。
また、本実施形態の場合、削除部２５６は、特徴量を削除する際に、付随情報２４２から削除対象の人物に起因する情報を削除するよう構成することが出来るよう構成されている。このように構成することで、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報を含まないように統計的な情報を取得することを可能とすることが出来る。
なお、本実施形態では、１台の情報処理装置により顧客情報登録装置２を実現する場合について説明した（図２参照）。しかしながら、顧客情報登録装置２は、例えば、ネットワークを介して通信可能なよう接続された複数台の情報処理装置により実現されても構わない。
また、本実施形態においては、判定条件情報２４４は、記憶部２４に予め格納されているものとした。しかしながら、判定条件情報２４４が示す各種条件は、例えば、機械学習部による学習の結果得られる条件などであっても構わない。
また、本実施形態においては、顧客情報登録装置２の外部にカメラ３を有する場合について例示した。しかしながら、顧客情報登録装置２がカメラ３としての機能を有しても構わない。また、カメラ３が顧客情報登録装置２としての機能を有しても構わない。つまり、本実施形態で説明した各機能を有するようにカメラ３を構成しても構わない。
また、本実施形態では、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に格納されている場合、照合部２５４は、顧客情報２４３の更新を行うとした。顧客情報登録装置２は、当該更新の処理の後も、条件判定部２５５による判定を行うよう構成しても構わない。また、条件判定部２５５は、店舗内の顧客の行動に基づいて、顧客情報２４３に含まれる来店回数や前回来店日の修正を行うか否か判定するよう構成することが出来る。
また、本実施形態で説明した顧客情報登録システム１は、リピーターを効率的に検出するためのシステムの他、例えば、万引き犯などの店舗が注意を払うべき不審者を効率的に検出するためのシステムなどとしても活用可能である。この場合、顧客情報登録装置２は、店舗内における顧客の行動に基づいて顧客に商品購入の意思がないと判断できる場合などに顔画像の特徴量を記憶部２４に格納するよう構成しても構わない。
［第２の実施形態］
次に、図９、図１０を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、顧客情報登録装置５及び顧客情報登録システム７の構成の概要について説明する。
まず、図９を参照して、顧客情報登録装置５について説明する。図９は、顧客情報登録装置５の構成の一例を示している。図９を参照すると、顧客情報登録装置５は、例えば、照合部５１と、格納部５２と、行動情報取得部５３と、条件判定部５４と、削除部５５と、を有している。
例えば、顧客情報登録装置５は、ＣＰＵ（Central Processing Unit）などの演算装置と、プログラムを記憶した記憶装置とを有している。顧客情報登録装置５は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
照合部５１は、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する。
格納部５２は、照合部５１による照合が失敗した場合、記憶部に格納されていない顔データを記憶部に格納する。
行動情報取得部５３は、顧客の店舗内における行動に応じた行動情報を取得する。例えば、行動情報取得部５３は、店舗のカメラにより取得された画像データに基づいて行動情報を取得する。行動情報取得部５３は、上記例示した以外の方法により行動情報を取得しても構わない。
条件判定部５４は、行動情報取得部５３が取得した行動情報に基づいて、記憶部に格納した顔データを削除するか否か判定する。
削除部５５は、条件判定部５４による判定の結果に基づいて、記憶部に格納した顔データを削除する。
このように、顧客情報登録装置５は、行動情報取得部５３と、条件判定部５４と、削除部５５と、を有している。このような構成により、削除部５５は、行動情報取得部５３が取得した行動情報に基づいて行われる条件判定部５４による判定の結果に応じて、記憶部に格納した顔データを削除することが出来る。その結果、有用性の高い顔画像の顔データのみを記憶部に格納させ続けることが可能となる。これにより、例えば、有用蓋然性の低い情報の蓄積などを抑制することが可能となり、データ容量の肥大化を抑制することが可能となる。
また、上述した顧客情報登録装置５は、当該顧客情報登録装置５に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、記憶部を有する顧客情報登録装置に、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部５１と、照合が失敗した場合、記憶部に格納されていない顔データを記憶部に格納する格納部５２と、顧客の店舗内における行動に応じた行動情報を取得する行動情報取得部５３と、行動情報取得部５３が取得した行動情報に基づいて、記憶部に格納した顔データを削除するか否か判定する条件判定部５４と、条件判定部５４による判定の結果に基づいて、記憶部に格納した顔データを削除する削除部５５と、を実現するためのプログラムである。
また、上述した顧客情報登録装置５により実行される顧客情報登録方法は、記憶部を有する顧客情報登録装置５が、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、照合が失敗した場合、記憶部に格納されていない顔データを記憶部に格納し、顧客の店舗内における行動に応じた行動情報を取得し、取得した行動情報に基づいて、記憶部に格納した顔データを削除するか否か判定し、判定の結果に基づいて、記憶部に格納した顔データを削除する、という方法である。
また、上述した顧客情報登録装置５が有する各種機能は、カメラが有しても構わない。具体的に、本発明の他の形態であるカメラは、取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部５１と、記憶部が記憶していない顔データを記憶部に格納する格納部５２と、顧客の店舗内における行動に応じた行動情報を取得する行動情報取得部５３と、行動情報取得部５３が取得した行動情報に基づいて、記憶部に格納した顔データを削除するか否か判定する条件判定部５４と、条件判定部５４による判定の結果に基づいて、記憶部に格納した顔データを削除する削除部５５と、を有する、カメラである。
また、図１０で示すように、画像データを取得するカメラ６と、顧客情報登録装置５と、を有する顧客情報登録システム７であっても構わない。図１０で示す場合、カメラ６と顧客情報登録装置５とは、互いに通信可能なよう接続されている。なお、図１０で示す顧客情報登録装置５の構成は、図９を用いて既に説明したものと同様である。そのため、詳細な説明は省略する。
上述した構成を有する、プログラム、顧客情報登録方法、カメラ、顧客情報登録システムの発明であっても、上記顧客情報登録装置５と同様の効果、作用を有するために、上述した本発明の目的を達成することが出来る。また、上記プログラムを記録した、コンピュータが読み取り可能な記録媒体であっても、上記顧客情報登録装置５と同様の効果、作用を有するために、上述した本発明の目的を達成することが出来る。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における顧客情報登録装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
を有する
顧客情報登録装置。
（付記２）
付記１に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報から前記顧客に商品購入の意思がある、又は前記顧客が商品購入を検討したと判断されるか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
顧客情報登録装置。
（付記３）
付記１または付記２に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たすか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
顧客情報登録装置。
（付記４）
付記３に記載に顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たさない場合に、前記記憶部に格納した顔データを削除すると判定する
顧客情報登録装置。
（付記５）
付記１または付記２に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が予め定められた重み閾値を超えるか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
顧客情報登録装置。
（付記６）
付記５に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記店舗内における前記顧客の行動に応じた値が前記重み閾値以下である場合、前記記憶部に格納した顔データを削除すると判定する
顧客情報登録装置。
（付記７）
付記１または付記２に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記店舗内における前記顧客の行動に応じて前記顧客ごとに算出された値を前記顧客間で比較し、前記比較の結果に基づいて前記記憶部に格納した顔データを削除するか否か判定する
顧客情報登録装置。
（付記８）
付記１から付記７までのいずれか１項に記載の顧客情報登録装置であって、
前記行動情報取得部は、前記行動情報を取得するとともに、前記カメラによる撮影箇所における顧客個人を特定しない統計的なデータである付随情報を取得するよう構成され、
前記削除部は、前記記憶部に格納した顔データを削除するとともに、前記付随情報から削除対象の人物に起因する情報を削除する
顧客情報登録装置。
（付記９）
付記１から付記８までのいずれか１項に記載の顧客情報登録装置であって、
前記条件判定部による判定の結果に応じた所定の出力を行う出力部を有する
顧客情報登録装置。
（付記１０）
付記１から付記９までのいずれか１項に記載の顧客情報登録装置であって、
前記行動情報取得部は、前記カメラにより取得された画像データに基づいて前記行動情報を取得する
顧客情報登録装置。
（付記１１）
記憶部を有する顧客情報登録装置が、
店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合し、
前記照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納し、
顧客の前記店舗内における行動に応じた行動情報を取得し、
取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定し、
判定の結果に基づいて、前記記憶部に格納した顔データを削除する
顧客情報登録方法。
（付記１２）
記憶部を有する顧客情報登録装置に、
店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合する照合部と、
前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
を実現するためのプログラム。
（付記１３）
取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
を有する
カメラ。
（付記１４）
顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
前記顧客情報登録装置は、
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、を備える
顧客情報登録システム。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
なお、本発明は、日本国にて２０１８年９月２６日に特許出願された特願２０１８−１８０２１３の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１ 顧客情報登録システム
２ 顧客情報登録装置
２１ 操作入力部
２２ 画面表示部
２２１ 画像情報
２２２ 来店顧客情報
２２３ 天気情報
２２４ 来店回数統計情報
２２５ 属性統計情報
２２６ コンバージョン情報
２２７ 通過人数情報
２３ 通信Ｉ／Ｆ部
２４ 記憶部
２４１ 画像データ情報
２４２ 付随情報
２４３ 顧客情報
２４４ 判定条件情報
２４５ プログラム
２５ 演算処理部
２５１ 画像データ取得部
２５２ 特徴量算出部
２５３ 分析部
２５４ 照合部
２５５ 条件判定部
２５６ 削除部
２５７ 出力部
３ カメラ
４ レジ端末
５ 顧客情報登録装置
５１ 照合部
５２ 格納部５３ 行動情報取得部
５４ 条件判定部
５５ 削除部
６ カメラ
７ 顧客情報登録システム

Claims (14)

  1. 店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
    顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
    前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
    を有する
    顧客情報登録装置。
  2. 請求項１に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報から前記顧客に商品購入の意思がある、又は前記顧客が商品購入を検討したと判断されるか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
    顧客情報登録装置。
  3. 請求項１または請求項２に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たすか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
    顧客情報登録装置。
  4. 請求項３に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たさない場合に、前記記憶部に格納した顔データを削除すると判定する
    顧客情報登録装置。
  5. 請求項１または請求項２に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が予め定められた重み閾値を超えるか否かに基づいて、前記記憶部に格納した顔データを削除するか否か判定する
    顧客情報登録装置。
  6. 請求項５に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記店舗内における前記顧客の行動に応じた値が前記重み閾値以下である場合、前記記憶部に格納した顔データを削除すると判定する
    顧客情報登録装置。
  7. 請求項１または２に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記店舗内における前記顧客の行動に応じて前記顧客ごとに算出された値を前記顧客間で比較し、前記比較の結果に基づいて前記記憶部に格納した顔データを削除するか否か判定する
    顧客情報登録装置。
  8. 請求項１から請求項７までのいずれか１項に記載の顧客情報登録装置であって、
    前記行動情報取得部は、前記行動情報を取得するとともに、前記カメラによる撮影箇所における顧客個人を特定しない統計的なデータである付随情報を取得するよう構成され、
    前記削除部は、前記記憶部に格納した顔データを削除するとともに、前記付随情報から削除対象の人物に起因する情報を削除する
    顧客情報登録装置。
  9. 請求項１から請求項８までのいずれか１項に記載の顧客情報登録装置であって、
    前記条件判定部による判定の結果に応じた所定の出力を行う出力部を有する
    顧客情報登録装置。
  10. 請求項１から請求項９までのいずれか１項に記載の顧客情報登録装置であって、
    前記行動情報取得部は、前記カメラにより取得された画像データに基づいて前記行動情報を取得する
    顧客情報登録装置。
  11. 記憶部を有する顧客情報登録装置が、
    店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合し、
    前記照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納し、
    顧客の前記店舗内における行動に応じた行動情報を取得し、
    取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定し、
    判定の結果に基づいて、前記記憶部に格納した顔データを削除する
    顧客情報登録方法。
  12. 記憶部を有する顧客情報登録装置に、
    店舗のカメラにより取得された画像データに基づく顧客の顔データと前記記憶部が格納している顔データとを照合する照合部と、
    前記照合部による照合が失敗した場合、前記記憶部に格納されていない顔データを前記記憶部に格納する格納部と、
    顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
    前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
    を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
  13. 取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
    顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
    前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、
    を有する
    カメラ。
  14. 顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
    前記顧客情報登録装置は、
    店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    前記照合部による照合が失敗した場合、前記記憶部が記憶していない顔データを前記記憶部に格納する格納部と、
    顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    前記行動情報取得部が取得した前記行動情報に基づいて、前記記憶部に格納した顔データを削除するか否か判定する条件判定部と、
    前記条件判定部による判定の結果に基づいて、前記記憶部に格納した顔データを削除する削除部と、を備える
    顧客情報登録システム。

JP2020548234A 2018-09-26 2019-08-28 顧客情報登録装置 Active JP7092205B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018180213 2018-09-26
JP2018180213 2018-09-26
PCT/JP2019/033746 WO2020066444A1 (ja) 2018-09-26 2019-08-28 顧客情報登録装置

Publications (2)

Publication Number Publication Date
JPWO2020066444A1 true JPWO2020066444A1 (ja) 2021-08-30
JP7092205B2 JP7092205B2 (ja) 2022-06-28

Family

ID=69950568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548234A Active JP7092205B2 (ja) 2018-09-26 2019-08-28 顧客情報登録装置

Country Status (3)

Country Link
US (4) US11830002B2 (ja)
JP (1) JP7092205B2 (ja)
WO (1) WO2020066444A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023105741A (ja) * 2022-01-19 2023-07-31 株式会社Ridge-i 情報処理装置、情報処理方法及び情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141584A (ja) * 2003-11-07 2005-06-02 Omron Corp 画像削除装置，及び画像圧縮装置
JP2009009231A (ja) * 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
JP2009284167A (ja) * 2008-05-21 2009-12-03 Toshiba Tec Corp 人物行動監視装置及び人物行動監視プログラム
JP2014232495A (ja) * 2013-05-30 2014-12-11 パナソニック株式会社 客層分析装置、客層分析システムおよび客層分析方法
JP2015130155A (ja) * 2013-12-02 2015-07-16 Ｌｙｋａｏｎ株式会社 防犯システム
JP2016126749A (ja) * 2014-12-29 2016-07-11 東芝テック株式会社 情報処理システムおよび情報処理プログラム
JP2017139010A (ja) * 2017-04-05 2017-08-10 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
WO2018042549A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 被写体情報表示システム、被写体情報表示方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010622A1 (en) 2000-07-18 2002-01-24 Fumino Okamoto System and method capable of appropriately managing customer information and computer-readable recording medium having customer information management program recorded therein
JP2002032558A (ja) 2000-07-18 2002-01-31 Minolta Co Ltd 顧客情報管理システムおよびその方法ならびに顧客情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体
US10078693B2 (en) * 2006-06-16 2018-09-18 International Business Machines Corporation People searches by multisensor event correlation
US20080243614A1 (en) * 2007-03-30 2008-10-02 General Electric Company Adaptive advertising and marketing system and method
JP2010113692A (ja) * 2008-11-10 2010-05-20 Nec Corp 顧客行動記録装置及び顧客行動記録方法並びにプログラム
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition
JP5907362B1 (ja) * 2014-10-08 2016-04-26 パナソニックＩｐマネジメント株式会社 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
EP3142040A1 (en) * 2015-09-11 2017-03-15 Canon Kabushiki Kaisha Information processing apparatus, method of controlling the same, and program
US11354683B1 (en) * 2015-12-30 2022-06-07 Videomining Corporation Method and system for creating anonymous shopper panel using multi-modal sensor fusion

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141584A (ja) * 2003-11-07 2005-06-02 Omron Corp 画像削除装置，及び画像圧縮装置
JP2009009231A (ja) * 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
JP2009284167A (ja) * 2008-05-21 2009-12-03 Toshiba Tec Corp 人物行動監視装置及び人物行動監視プログラム
JP2014232495A (ja) * 2013-05-30 2014-12-11 パナソニック株式会社 客層分析装置、客層分析システムおよび客層分析方法
JP2015130155A (ja) * 2013-12-02 2015-07-16 Ｌｙｋａｏｎ株式会社 防犯システム
JP2016126749A (ja) * 2014-12-29 2016-07-11 東芝テック株式会社 情報処理システムおよび情報処理プログラム
WO2018042549A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 被写体情報表示システム、被写体情報表示方法及びプログラム
JP2017139010A (ja) * 2017-04-05 2017-08-10 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
JP7092205B2 (ja) 2022-06-28
WO2020066444A1 (ja) 2020-04-02
US20230368205A1 (en) 2023-11-16
US20230376956A1 (en) 2023-11-23
US11830002B2 (en) 2023-11-28
US20220036359A1 (en) 2022-02-03
US20240005326A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
JP7371614B2 (ja) 店舗管理装置および店舗管理方法
JP4778532B2 (ja) 顧客情報収集管理システム
JP5950484B2 (ja) 防犯システム
JP2004348618A (ja) 顧客情報収集管理方法及びそのシステム
JP2013196043A (ja) 特定人物監視システム
US20190327451A1 (en) Video image analysis apparatus and video image analysis method
JP7416165B2 (ja) 情報処理装置
JP5785667B1 (ja) 人物特定システム
JP2012252613A (ja) 顧客行動追跡型映像配信システム
JP2015090579A (ja) 行動分析システム
US20240005326A1 (en) Customer information registration apparatus
WO2016088401A1 (ja) 防犯システム
JP5260233B2 (ja) 追跡装置、追跡方法及び追跡プログラム
JPWO2019123714A1 (ja) 情報処理装置、商品推薦方法、およびプログラム
US20230102033A1 (en) Payment processing system, payment processing method, and recording medium
JP7184089B2 (ja) 顧客情報登録装置
TWI613601B (zh) 智慧型影像辨識動態規劃之系統及方法
WO2021230123A1 (ja) 店舗システム、情報処理装置、情報処理方法、およびプログラム
JP7452622B2 (ja) 提示制御装置、システム、方法及びプログラム
US20170269683A1 (en) Display control method and device
JP7056749B2 (ja) 顧客情報登録装置
JP2021106330A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015133131A (ja) 販売機会損失分析用データ出力システム及び方法
WO2023127122A1 (ja) 店舗支援装置、システム及び方法、並びに、コンピュータ可読媒体
JP7135329B2 (ja) 情報処理方法、情報処理装置、および情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R151 Written notification of patent or utility model registration

Ref document number: 7092205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151