JPWO2020066443A1 - 顧客情報登録装置 - Google Patents

顧客情報登録装置 Download PDF

Info

Publication number
JPWO2020066443A1
JPWO2020066443A1 JP2020548233A JP2020548233A JPWO2020066443A1 JP WO2020066443 A1 JPWO2020066443 A1 JP WO2020066443A1 JP 2020548233 A JP2020548233 A JP 2020548233A JP 2020548233 A JP2020548233 A JP 2020548233A JP WO2020066443 A1 JPWO2020066443 A1 JP WO2020066443A1
Authority
JP
Japan
Prior art keywords
customer
unit
information
behavior
store
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020548233A
Other languages
English (en)
Other versions
JP7184089B2 (ja
Inventor
真 五十嵐
真 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020066443A1 publication Critical patent/JPWO2020066443A1/ja
Application granted granted Critical
Publication of JP7184089B2 publication Critical patent/JP7184089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、を有する。

Description

本発明は、顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムに関する。
マーケティングなどの目的のため、顧客の顔画像に基づいて算出される特徴量情報を登録、管理することがある。
このような技術の一つとして、例えば、特許文献１がある。特許文献１には、顧客が購入を希望する商品情報を入力する手段と、商品情報と顧客の顔画像とを入力して結合し顧客情報として記憶する手段と、商品の販売を行う売り場を識別する手段と、売場のサーバに顧客情報を送信する手段と、を有する商品販売システムが記載されている。特許文献１によると、接客終了後、顧客情報を登録するか店員の端末に通知する。そして、店員が登録必要と判断した場合に、顧客情報の登録が行われる。
特開２００５−２５０７４５号公報
特許文献１に記載の技術によると、顧客情報の登録を行う際には、店員の判断が必要になる。そのため、手間がかかり非効率であるという問題があった。一方、顧客情報が登録されているか否かのみに基づいて、顧客情報が登録されていないものをすべて登録するとすると、例えば、ごく短い時間のみカメラに映りこんだ人など有用性の低い情報も登録されてしまう。その結果、データ容量の肥大化や有用性の低いデータの増大という問題が生じることになる。
このように、効率的に有用性の高い顧客情報を登録することが難しい、という問題が生じていた。
そこで、本発明の目的は、効率的に有用性の高い顧客情報を登録することが難しい、という問題を解決する顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムを提供することにある。
かかる目的を達成するため本発明の一形態である顧客情報登録装置は、
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
を有する
という構成をとる。
また、本発明の他の形態である顧客情報登録方法は、
記憶部を有する顧客情報登録装置が、
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、
前記顧客の前記店舗内における行動に応じた行動情報を取得し、
前記照合が失敗した場合、取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する
という構成をとる。
また、本発明の他の形態である記録媒体は、
記憶部を有する顧客情報登録装置に、
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
また、本発明の他の形態であるカメラは、
取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
を有する
という構成をとる。
また、本発明の他の形態である顧客情報登録システムは、
顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
前記顧客情報登録装置は、
前記カメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、を備える、
という構成をとる。
本発明は、以上のように構成されることにより、効率的に有用性の高い顧客情報を登録することが難しい、という問題を解決する顧客情報登録装置、顧客情報登録方法、記録媒体、カメラ、顧客情報登録システムを提供することが可能となる。
本発明の第１の実施形態における顧客情報登録システムの全体の構成の一例を示す図である。 図１で示す顧客情報登録装置の構成の一例を示すブロック図である。 図２で示す顧客情報の一例を示す図である。 図２で示す判定条件情報の一例を示す図である。 登録条件の一例を示す図である。 出力部による出力の一例を示す図である。 顧客情報登録装置の動作の一例を示すフローチャートである。 本発明の第２の実施形態における顧客情報登録装置の構成の一例を示すブロック図である。 本発明の第２の実施形態における顧客情報登録システムの構成の一例を示すブロック図である。
［第１の実施形態］
本発明の第１の実施形態を図１から図７までを参照して説明する。図１は、顧客情報登録システム１の全体の構成の一例を示す図である。図２は、顧客情報登録装置２の構成の一例を示すブロック図である。図３は、顧客情報２４２の一例を示す図である。図４は、判定条件情報２４３の一例を示す図である。図５は、登録条件の一例を示す図である。図６は、出力部２５７による出力の一例を示す図である。図７は、顧客情報登録装置２の動作の一例を示すフローチャートである。
本発明の第１の実施形態では、顧客情報登録装置２を有する顧客情報登録システム１について説明する。顧客情報登録装置２は、リピーター検出などの顧客分析に活用することなどを目的に、顧客の顔画像から算出した特徴量などを含む情報を顧客情報２４２として記憶部２４に格納する。後述するように、本実施形態における顧客情報登録装置２は、顧客の顔データと、記憶部２４が格納している顔データと、を照合する。また、顧客情報登録装置２は、照合が失敗した場合（すなわち、取得した顔データが記憶部２４に格納されていない場合）、顔データに対応する顧客の店舗内における行動が所定の条件を満たすか否か判定する。そして、顧客の行動が所定の条件を満たす場合、顧客情報登録装置２は、顧客の顔データなどを含む情報を新たに顧客情報２４２として登録する。ここで、顔データとは、顔画像から算出された特徴量や顔画像のことをいう。以降の説明では、顔データとして特徴量を採用した場合について説明する。
図１は、顧客情報登録システム１の全体の構成の一例を示している。図１を参照すると、顧客情報登録システム１は、例えば、顧客情報登録装置２と、カメラ３と、レジ端末４と、を有している。
図１で示すように、顧客情報登録装置２とカメラ３とは、互いに通信可能なよう接続されている。また、顧客情報登録装置２とレジ端末４とは、互いに通信可能なよう接続されている。
なお、顧客情報登録システム１の構成は、図１で示す場合に限定されない。例えば、カメラ３やレジ端末４の数は、１つであっても構わないし、２つ以上の複数であっても構わない。また、例えば、顧客情報登録システム１は、商品棚や店舗の入り口に設置された重みセンサなどの各種センサやＲＦＩＤ（radio frequency identifier）リーダーなどを有しても構わない。また、例えば、顧客情報登録システム１は、レジ端末４を有さなくても構わない。
顧客情報登録装置２は、特徴量を格納する情報処理装置である。図２は、顧客情報登録装置２の構成の一例を示している。図２を参照すると、顧客情報登録装置２は、主な構成要素として、操作入力部２１と、画面表示部２２と、通信Ｉ／Ｆ部２３と、記憶部２４と、演算処理部２５と、を有している。
操作入力部２１は、キーボードやマウスなどの操作入力装置からなる。操作入力部２１は、オペレータの操作を検出して演算処理部２５に出力する。
画面表示部２２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部２２は、演算処理部２５からの指示に応じて、各種情報を画面表示する。例えば、画面表示部２２は、演算処理部２５からの指示に応じて、画像データ情報２４１、顧客情報２４２、条件判定部２５５による判定の結果に基づく情報、などを画面表示する。
通信Ｉ／Ｆ部２３は、例えば、データ通信回路からなる。通信Ｉ／Ｆ部２３は、通信回線を介して接続された各種装置との間でデータ通信を行う。例えば、顧客情報登録装置２は、通信Ｉ／Ｆ部２３を介して、カメラ３、レジ端末４、その他センサなど外部装置と通信を行う。
記憶部２４は、ハードディスクやメモリなどの記憶装置である。記憶部２４は、演算処理部２５における各種処理に必要な処理情報やプログラム２４４を記憶する。プログラム２４４は、演算処理部２５に読み込まれて実行されることにより各種処理部を実現する。プログラム２４４は、通信Ｉ／Ｆ部２３などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部２４に保存されている。記憶部２４で記憶される主な情報としては、画像データ情報２４１と顧客情報２４２と判定条件情報２４３とがある。
画像データ情報２４１は、通信Ｉ／Ｆ部２３を介してカメラ３から取得した画像データである。画像データ情報２４１は、例えば、特徴量算出部２５２や分析部２５３で利用される。
顧客情報２４２は、店舗内などカメラ３による撮影エリア内、監視対象エリア内に訪れた顧客に関する情報を示している。顧客情報２４２には、少なくとも、顧客の顔画像から算出した特徴量を示す顔特徴量情報が含まれている。また、顧客情報２４２には、顔画像などから判断される顧客の年齢や性別などを示す属性情報、来店回数や前回来店日などを示す過去の来店情報、店舗内などカメラ３による撮影エリア内、監視対象エリア内における顧客の行動に関連する情報である行動関連情報（行動情報）、などを含むことが出来る。
図３は、顧客情報２４２の一例を示している。図３を参照すると、顧客情報２４２では、例えば、ＩＤと、顔特徴量情報と、属性情報と、来店回数と、前回来店日と、行動関連情報と、を対応付けている。例えば、図３の１行目では、ID「Av+E3sCH」と、顔特徴量情報「xxxxxxxxxx」と、属性情報「aaaaa」と、来店回数「２」と、前回来店日「2018/07/20」と、行動関連情報「XXXXXX」とを対応付けている。顔特徴量情報と行動関連情報とが対応付けて格納されることにより、例えばマーケティング担当者は、該顔特徴量情報が記憶部２４に格納された根拠を知ることができる。
なお、IDとは、顧客を識別するための識別情報である。IDは、例えば、新たな顔特徴量情報を記憶部２４に格納する際に自動的に付与される。顔特徴量情報は、顔画像の特徴量を示す情報である。顔特徴量情報は、後述する特徴量算出部２５２により顔画像（画像データ情報２４１）に基づいて算出される。属性情報は、年齢や性別など顧客の属性を示す情報である。属性情報は、例えば、画像データ情報２４１などに基づいて、分析部２５３で判断される。来店回数は、前回までの（または、現在を含む）顧客の来店回数を示しており、前回来店日は、顧客が前回来店した日を示している。来店回数や前回来店日などの来店情報は、例えば、照合部２５４などにより更新される。行動関連情報は、店舗内などカメラ３による撮影エリア内、監視対象エリア内における顧客の行動に関連する情報である。行動関連情報には、例えば、１回の来店で対応する顧客を撮影したカメラの数、店舗内全体や店舗内を予め複数のエリアに区切った際のエリアごとの顧客の滞在時間、商品への手伸ばしの検出の有無、商品購入の有無、顧客の動線、顧客の視線などを示す情報を含むことが出来る。
なお、図３は顧客情報２４２の一例を示している。顧客情報２４２に含まれる情報は、図３で例示した場合に限定されない。例えば、顧客情報２４２は、顔特徴量情報のみから構成されるなど、顔特徴量情報を含む図３で例示した情報の一部から構成されても構わない。また、顧客情報２４２には、顧客が来店した際の天気や時刻を示す情報や、判定条件情報２４３に含まれる各種条件のうち前回来店時に満たした条件（顔特徴量情報を記憶部２４に格納すると判断する際に満たした条件）など図３で例示した以外の情報を含んでも構わない。
判定条件情報２４３は、特徴量算出部２５２により算出された特徴量を顧客情報２４２として記憶部２４に格納するか否か条件判定部２５５が判定する際に用いる、条件を示す情報である。
判定条件情報２４３には、店舗内における顧客の行動に応じた条件が含まれている。例えば、判定条件情報２４３には、「同一人物の特徴量を予め定められた所定数（任意の数で構わない）以上のカメラから取得した画像データに基づいて算出したか」、「特徴量に基づいて特定される同一人物の店舗内の滞在時間（任意の時間で構わない）が所定以上か」「商品への手伸ばしを検出したか」、「レジ端末４から取得したPOS（Point of sale）情報などとの関連付けにより商品の購入を検出したか」、「動線の追跡などにより予め定められた一定のエリアの滞在時間が予め定められた閾値を超えたか」、「人物の動線が所定の条件を満たしたか」などの条件を含むことが出来る。
このように、判定条件情報２４３には、店舗内における顧客の行動に応じた各種条件が含まれている。換言すると、判定条件情報２４３には、店舗内における顧客の行動に基づいて、顧客に商品購入の意思があると判断できるか否かを判定するための条件が含まれている。また、判定条件情報２４３には、店舗内における顧客の行動に基づいて、顧客が商品購入を検討したと判断できるか否かを判定するための条件が含まれている。このように判定条件情報２４３を設定することで、例えば、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報を記憶部２４に格納することを抑制することが可能となる。つまり、リピーター分析など分析対象とするのに適切な顧客の情報を登録することが可能となる。
なお、判定条件情報２４３には、例えば、「顧客近傍に位置する商品棚における重量変化を検出したか」など、上記例示した以外の条件を含んでも構わない。「顧客近傍に位置する商品棚における重量変化を検出したか」という条件の場合、後述の条件判定部２５５は、重量センサを設けた棚から顧客が商品を手に取った場合の重量変化に基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。
また、判定条件情報２４３は、上述した各種条件と、重みを示す情報と、を対応づけた情報であっても構わない。図４は、条件と重みとの対応づけを示す判定条件情報２４３の一例を示している。例えば、図４の１行目では、条件「同一人物の特徴量を所定数以上のカメラからの画像データから算出」と重み「１５」とを対応づけている。また、重みを示す情報を含む場合、判定条件情報２４３には、重みの合計値と比較する値である重み閾値を含むことが出来る。なお、各種条件と対応づけられる重みの値は任意に設定して構わない。
演算処理部２５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２４からプログラム２４４を読み込んで実行することにより、上記ハードウェアとプログラム２４４とを協働させて各種処理部を実現する。演算処理部２５で実現される主な処理部として、例えば、画像データ取得部２５１と、特徴量算出部２５２と、分析部２５３と、照合部２５４と、条件判定部２５５と、登録部２５６と、出力部２５７と、がある。
画像データ取得部２５１は、通信Ｉ／Ｆ部２３を介して、カメラ３から画像データを取得する。そして、画像データ取得部２５１は、取得した画像データを画像データ情報２４１として記憶部２４に格納する。
なお、顧客情報登録システム１が複数のカメラ３を有する場合、画像データ取得部２５１は、複数のカメラ３のそれぞれから画像データを取得する。このような場合、例えば、画像データ取得部２５１は、カメラ３の識別情報と画像データとを対応づけて、当該対応付けた情報を記憶部２４に格納することが出来る。換言すると、画像データ取得部２５１は、どのカメラ３により取得された画像データであるか判別可能なように画像データを記憶部２４に格納することが出来る。
特徴量算出部２５２は、顔画像の特徴量を算出する。例えば、特徴量算出部２５２は、画像データ情報２４１から顧客の顔を示す領域である顔画像（顔領域）を抽出する。そして、特徴量算出部２５２は、抽出した顔画像の特徴量を算出する。
なお、本実施形態においては、特徴量算出部２５２が顔画像の特徴量を算出する際の処理については特に限定しない。例えば、特徴量算出部２５２は、顔画像から検出した目・鼻・口端などの顔の特徴点位置に基づいて特徴量を算出するなど、既知の方法を用いて、顔画像の特徴量を算出することが出来る。もちろん、特徴量算出部２５２は、輝度情報を用いる、局所領域間の関連性に応じた値を用いるなど、その他既知の方法を用いて特徴量を算出しても構わない。
また、上述したように、顧客情報登録装置２が複数のカメラ３を有する場合、画像データ取得部２５１は、例えば、カメラ３の識別情報と画像データとを対応づけて、当該対応付けた情報を記憶部２４に格納する。そのため、特徴量算出部２５２は、例えば、算出した顔画像の特徴量に、対応するカメラ３の識別情報を対応付けることが出来る。換言すると、特徴量算出部２５２は、どのカメラ３により取得された画像データに基づいて算出されたものであるか判別可能なように、特徴量を算出することが出来る。
分析部２５３は、画像データ情報２４１が示す画像データや当該画像データから抽出した顔画像を分析することで、顧客の性別や年齢を示す属性情報を取得したり、顧客の店舗内又はエリアごとの滞在時間、商品への手伸ばしの有無、動線の検出、視線の検出などの行動関連情報（行動情報）を取得したりする。また、分析部２５３は、像データ情報２４１が示す画像データや当該画像データから抽出した顔画像を分析することで、顧客の年齢や性別などの合計値や割合を示す属性統計情報や、顧客が店舗内のどのエリアに長く滞在するかを示すヒートマップ情報、所定時間内に顧客が通過した人数を示す通過人数情報などの、店舗内などカメラ３による撮影箇所における顧客個人を特定しない統計的な情報を取得することが出来る。
このように、分析部２５３は、画像データ情報２４１に基づいて、顧客ごとの情報である属性情報や行動関連情報を取得するとともに顧客個人を特定しない統計的な情報を取得することが出来る。また、分析部２５３は、例えば、顔画像の特徴量を用いてレジ端末４から取得したPOS（Point of sale）情報などとの関連付けを行うことで、顧客が商品を購入したか、どのような商品を購入したか、を示す行動関連情報を取得することが出来る。なお、分析部２５３の処理も、特徴量に基づく性別や年齢の推定など既知の方法を用いて実現して構わない。そのため、分析部２５３の処理の詳細な説明は省略する。
照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する。例えば、照合部２５４は、特徴量算出部２５２が算出した特徴量と、記憶部２４に格納された顧客情報２４２に含まれる特徴量（顔特徴量情報）と、を照合することで、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する。
算出した特徴量が顧客情報２４２に含まれている場合、照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されていると判定する。この場合、照合部２５４は、顧客情報２４２の更新を行うことが出来る。例えば、照合部２５４は、顧客情報２４２のうち、照合した特徴量に対応する来店回数を１増やしたり、前回来店日の更新を行ったりすることが出来る。なお、更新部を設け、照合部２５４が更新部に対して更新を指示するようしてもよい。また、照合部２５４は、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を画面表示部２２などに出力するよう出力部２５７に対して指示することが出来る。
一方、算出した特徴量が顧客情報２４２に含まれていない場合、照合部２５４は、特徴量が顧客情報２４２に含まれていない（つまり、特徴量算出部２５２が算出した特徴量は記憶部２４に格納されていない）旨を条件判定部２５５に通知する。換言すると、照合部２５４は、特徴量が顧客情報２４２に含まれていない旨を判定すると、直ちに当該特徴量を記憶部２４へ格納することはせず、記憶部２４へ特徴量を格納するか否か判定するよう条件判定部２５５へ通知する。
条件判定部２５５は、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。例えば、条件判定部２５５は、店舗内における顧客の行動が商品購入の意思があると判断できるか否かに基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。具体的には、例えば、条件判定部２５５は、特徴量が顧客情報２４２に含まれていない旨の通知を照合部２５４から受信すると、特徴量算出部２５２による特徴量算出の結果や分析部２５３による分析の結果を確認するとともに、判定条件情報２４３を確認する。そして、条件判定部２５５は、特徴量算出部２５２による特徴量算出の結果や分析部２５３による分析の結果取得した行動関連情報（行動情報）などに基づいて判断される店舗内における顧客の行動と、判定条件情報２４３が示す条件と、に基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。
例えば、条件判定部２５５は、顧客の店舗内における行動が、判定条件情報２４３が示す条件を満たすか否かに基づいて、特徴量を記憶部２４に格納するか否か判定する。例えば、図５は、店舗内における顧客の行動の一例を示している。図５では、３つのカメラ３（カメラ３−１、カメラ３−２、カメラ３−３）のそれぞれで、同一の顧客を映した画像データを取得している。このような状態において、判定条件情報２４３に、「同一人物の特徴量を、３つ以上のカメラから取得した画像データに基づいて算出したか」という条件が含まれているとする。この場合、条件判定部２５５は、３つのカメラから取得した画像データに基づいて同一の特徴量を算出しているため、判定条件情報２４３が示す条件を店舗内における顧客の行動が満たしている、と判断する。その結果、条件判定部２５５は、特徴量を記憶部２４に格納すると判定する。そして、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨を登録部２５６に通知する。
このように、条件判定部２５５は、「同一人物の特徴量を、予め定められた所定数以上のカメラから取得した画像データに基づいて算出した」、「特徴量に基づいて特定される同一人物の店舗内の滞在時間が予め定められた閾値を超えた」「商品への手伸ばしを検出した」、「レジ端末４から取得したPOS（Point of sale）情報などとの関連付けにより商品の購入を検出した」、など、判定条件情報２４３が示す条件を顧客の店舗内の行動が満たす場合、特徴量を記憶部２４に格納すると判定する。そして、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨を登録部２５６に通知する。一方、判定条件情報２４３が示す条件を顧客の店舗内における行動が満たさない場合、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨の登録部２５６への通知を保留する。
また、例えば、条件判定部２５５は、顧客の店舗内における行動に基づいて算出される値が予め定められた重み閾値を超えるか否かに基づいて、特徴量を記憶部２４に格納するか否か判定することが出来る。例えば、条件判定部２５５は、「同一人物の特徴量を、予め定められた所定数である３つ以上のカメラから取得した画像データに基づいて算出」して、かつ、「特徴量に基づいて特定される同一人物の店舗内の滞在時間が予め定められた閾値を超えた」場合、１５＋１０＝２５を算出する（図４参照）。このように、条件判定部２５５は、顧客の店舗内における行動が所定の条件を満たすごとに、当該条件に対応付けられた値を加算する。そして、加算した値が予め定められた重み閾値を超えた場合、条件判定部２５５は、特徴量を記憶部２４に格納すると判定して、特徴量を記憶部２４に格納すると判定した旨を登録部２５６に通知する。一方、加算した値が予め定められた重み閾値以下である場合、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨の登録部２５６への通知を保留する。
このように、条件判定部２５５は、店舗内の顧客の行動に基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する。
なお、条件判定部２５５は、任意のタイミングで条件の判定を行うよう構成して構わない。例えば、特徴量算出部２５２が特徴量を算出したり照合部２５４による照合を行ったりするごとに条件の判定を行うよう構成しても構わないし、予め定められた所定の間隔ごとに条件の判定を行うよう構成しても構わない。また、例えば、レジ端末や店舗の出口にカメラを設けることで、条件判定部２５５は、レジ端末による商品の精算処理が終わったタイミングや顧客が退店したタイミングで判定を行うことができる。
登録部２５６は、条件判定部２５５が記憶部２４に格納すると判定した特徴量を記憶部２４に格納する。例えば、登録部２５６は、条件判定部２５５から特徴量を記憶部２４に格納すると判定した旨の通知を受信する。すると、登録部２５６は、特徴量を顧客情報２４２として記憶部２４に格納する。この際、登録部２５６は、顔特徴量情報として特徴量を格納するとともに、当該顔特徴量情報と対応づけて、属性情報などを格納する。
このように、登録部２５６は、条件判定部２５５が記憶部２４に格納すると判定した特徴量を、顧客情報２４２として記憶部２４に格納する。そのため、条件判定部２５５が記憶部２４に格納すると判定しない特徴量は、顧客情報２４２として記憶部２４に格納されない。
なお、登録部２５６は、任意のタイミングで特徴量の格納を行うよう構成して構わない。例えば、登録部２５６は、条件判定部２５５による判定の結果を受けて待機せず特徴量を記憶部２４に格納するよう構成しても構わないし、バッチ的に日に１回などある所定のタイミングで特徴量を記憶部２４に格納するよう構成しても構わない。
出力部２５７は、照合部２５４からの指示や登録部２５６による処理の結果などに基づいて、画面表示部２２やそのほか外部装置に所定の出力を行うよう指示する。
例えば、出力部２５７は、照合部２５４からの通知に応じて、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を出力するよう画面表示部２２などに対して指示する。また、出力部２５７は、登録部２５６による登録の結果に応じた情報（例えば、一日のうちの登録件数などの統計情報や登録者に関する情報）を出力するよう画面表示部２２などに対して指示することが出来る。出力部２５７による登録の結果に応じた情報の出力指示は、顧客情報２４２に情報が格納されるごとに行われても構わないし、日に１回予め定められた時間に出力するなど、所定の間隔で行われても構わない。
また、出力部２５７は、例えば、図６で示すように、カメラ３が取得した画像情報２２１や天気情報２２３などとともに、顧客情報２４２などを出力するよう画面表示部２２に対して指示することが出来る。図６は、出力部２５７による指示の結果出力される画面表示部２２の表示の一例を示している。図６を参照すると、出力部２５７からの指示に応じて、画面表示部２２上には、例えば、画像情報２２１、来店顧客情報２２２、天気情報２２３、来店回数統計情報２２４、属性統計情報２２５、ヒートマップ情報２２６、通過人数情報２２７、などを表示することが出来る。
なお、画像情報２２１は、カメラ３から取得した画像データ（画像データ情報２４１）を示している。また、来店顧客情報２２２は、現在来店している顧客の情報を示している。来店顧客情報２２２には、顧客情報２４２の少なくとも一部を含めることが出来る。天気情報２２３は、天気を示している。図６で例示する場合、天気情報２２３は、当日前後３日間の天気を示している。来店回数統計情報２２４は、現在店舗内に存在する顧客のそれぞれが過去に何回来店しているかなどを示す情報を示している。属性統計情報２２５は、顧客の数を年齢、性別ごとに示す情報である。ヒートマップ情報２２６は、顧客が店舗内のどのエリアに長く滞在するかを示す情報である。通過人数情報２２７は、所定時間内に顧客が通過した人数を示す情報である。来店回数統計情報２２４、属性統計情報２２５、ヒートマップ情報２２６、通過人数情報２２７は、例えば、分析部２５３による分析の結果として取得される。
このように、出力部２５７は、画像データ取得部２５１が取得した画像データや分析部２５３による分析の結果とともに、顧客情報２４２などを出力するよう画面表示部２２に対して指示することが出来る。出力部２５７は、上記例示した以外の情報を出力するよう画面表示部２２に対して指示しても構わない。
以上が、顧客情報登録装置２の構成の一例である。
カメラ３は、画像データを取得する。カメラ３は、例えば、店舗内の所定位置に予め設置されており、店舗内を監視している。カメラ３は、既存の監視カメラなどであって構わない。
レジ端末４は、商品の購入など顧客とのやり取りに応じた販売情報を管理する。例えば、レジ端末４は、POSシステムを搭載している。レジ端末４は、顧客が商品を購入した際、当該顧客が商品を購入した旨を示す情報を顧客情報登録装置２に対して送信することが出来る。
以上が、顧客情報登録システム１の構成の一例である。
次に、顧客情報登録装置２の動作について説明する。図７は、顧客情報登録装置２の動作の一例を示すフローチャートである。
図７を参照すると、画像データ取得部２５１は、通信Ｉ／Ｆ部２３を介して、カメラ３から画像データを取得する（ステップＳ１０１）。そして、画像データ取得部２５１は、取得した画像データを画像データ情報２４１として記憶部２４に格納する。
特徴量算出部２５２は、顔画像の特徴量を算出する（ステップＳ１０２）。例えば、特徴量算出部２５２は、画像データ情報２４１から顧客の顔を示す領域である顔画像（顔領域）を抽出する。そして、特徴量算出部２５２は、抽出した顔画像の特徴量を算出する。
照合部２５４は、特徴量算出部２５２が算出した顔画像の特徴量が記憶部２４に既に格納されているか否か確認する（ステップＳ１０３）。算出した特徴量が記憶部２４に格納されている場合（ステップＳ１０３、ＹＥＳ）、照合部２５４は、顧客情報２４２の更新を行う（ステップＳ１０６）。また、照合部２５４は、記憶部２４に格納された特徴量を有する顧客が来店した旨を示す情報を画面情報部２２などに出力するよう出力部２５７に対して指示することが出来る。一方、算出した特徴量が記憶部２４に格納されていない場合（ステップＳ１０３、ＮＯ）、照合部２５４は、特徴量算出部２５２が算出した特徴量が記憶部２４に格納されていない旨を条件判定部２５５に通知する。
条件判定部２５５は、店舗内の顧客の行動に基づいて、顧客情報２４２に含まれていない特徴量を記憶部２４に格納するか否か判定する（ステップＳ１０４）。店舗内の顧客の行動が所定の条件（例えば、判定条件情報２４３が示す条件）を満たす場合（ステップＳ１０４、ＹＥＳ）、条件判定部２５５は、特徴量を記憶部２４に格納すると判定する。そして、条件判定部２５５は、特徴量を記憶部２４に格納すると判定した旨を登録部２５６に通知する。これにより、登録部２５６は、特徴量を記憶部２４に格納する。一方、店舗内の顧客の行動が所定の条件を満たさない場合（ステップＳ１０４、ＮＯ）、条件判定部２５５は、特徴量を記憶部２４に格納しない。
以上が、顧客情報登録装置２の動作の一例である。
このように、顧客情報登録装置２は、照合部２５４と、条件判定部２５５と、登録部２５６と、を有している。このような構成により、登録部２５６は、照合部２５４により記憶部２４に格納されていないと判断された特徴量のうち、条件判定部２５５により所定の条件を満たすと判断された特徴量のみを、記憶部２４に格納することが出来る。その結果、有用性の高い顔画像の特徴量のみを記憶部２４に格納させることが可能となる。これにより、例えば、有用蓋然性の低い情報の蓄積などを抑制することが可能となり、データ容量の肥大化を抑制することが可能となる。また、効率的にリピーター検出などを行うことが可能となる。
また、条件判定部２５５は、店舗内における顧客の行動に応じた各種条件が含まれる判定条件情報２４３に含まれる条件に基づいて、特徴量を記憶部２４に格納するか否か判定することが出来るよう構成されている。このように構成することで、例えば、店舗内を単純に通り過ぎた人などリピーターとして扱うのに不適切な人の情報を記憶部２４に格納することを抑制することが可能となる。
なお、本実施形態では、１台の情報処理装置により顧客情報登録装置２を実現する場合について説明した（図２参照）。しかしながら、顧客情報登録装置２は、例えば、ネットワークを介して通信可能なよう接続された複数台の情報処理装置により実現されても構わない。
また、本実施形態においては、判定条件情報２４３は、記憶部２４に予め格納されているものとした。しかしながら、判定条件情報２４３が示す各種条件は、例えば、機械学習部による学習の結果得られる条件などであっても構わない。
また、本実施形態においては、顧客情報登録装置２の外部にカメラ３を有する場合について例示した。しかしながら、顧客情報登録装置２がカメラ３としての機能を有しても構わない。また、カメラ３が顧客情報登録装置２としての機能を有しても構わない。つまり、本実施形態で説明した各機能を有するようにカメラ３を構成しても構わない。
また、本実施形態においては、算出した特徴量が記憶部２４に格納されていない場合、照合部２５４（または、更新部）は、顧客情報２４２の更新を行うとした。しかしながら、照合部２５４は、条件判定部２５５による判定の結果を受けてから顧客情報２４２の更新を行うよう構成しても構わない。つまり、条件判定部２５５は、照合部２５４による照合の結果にかかわらず、条件の判定を行うよう構成しても構わない。
また、本実施形態で説明した顧客情報登録システム１は、リピーターを効率的に検出するためのシステムの他、例えば、万引き犯などの店舗が注意を払うべき不審者を効率的に検出するためのシステムなどとしても活用可能である。この場合、顧客情報登録装置２は、店舗内における顧客の行動に基づいて顧客に商品購入の意思がない、万引き犯特有の行動をしていると判断できる場合などに顔画像の特徴量を記憶部２４に格納するよう構成しても構わない。
［第２の実施形態］
次に、図８、図９を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、顧客情報登録装置５及び顧客情報登録システム７の構成の概要について説明する。
まず、図８を参照して、顧客情報登録装置５について説明する。図８は、顧客情報登録装置５の構成の一例を示している。図８を参照すると、顧客情報登録装置５は、例えば、照合部５１と、行動情報取得部５２と、条件判定部５３と、を有している。
例えば、顧客情報登録装置５は、ＣＰＵ（Central Processing Unit）などの演算装置と、プログラムを記憶した記憶装置とを有している。顧客情報登録装置５は、記憶装置が記憶するプログラムを演算装置が実行することで、上述した各処理部を実現する。
照合部５１は、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する。
行動情報取得部５２は、顧客の前記店舗内における行動に応じた行動情報を取得する。例えば、行動情報取得部５２は、店舗のカメラにより取得された画像データに基づいて行動情報を取得する。行動情報取得部５２は、上記例示した以外の方法により行動情報を取得しても構わない。
条件判定部５３は、照合が失敗した場合、行動情報取得部５２が取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定する。条件判定部５２による判定の結果に基づいて、記憶部に顔データを格納することになる。
このように、本実施形態における顧客情報登録装置５は、照合部５１と、行動情報取得部５２と、条件判定部５３と、を有している。このような構成により、条件判定部５３は、照合部５１による照合が失敗した場合、行動情報取得部５３が取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定することが出来る。その結果、有用性の高い顔データのみを記憶部に格納することが可能となる。これにより、例えば、有用蓋然性の低い情報の蓄積などを抑制することが可能となり、データ容量の肥大化を抑制することが可能となる。また、効率的にリピーター検出などを行うことが可能となる。
また、上述した顧客情報登録装置５は、当該顧客情報登録装置５に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、記憶部を有する顧客情報登録装置に、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部５１と、顧客の店舗内における行動に応じた行動情報を取得する行動情報取得部５２と、照合が失敗した場合、行動情報取得部５２が取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定する条件判定部５３と、を実現するためのプログラムである。
また、上述した顧客情報登録装置５により実行される顧客情報登録方法は、記憶部を有する顧客情報登録装置が、店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、顧客の店舗内における行動に応じた行動情報を取得し、照合が失敗した場合、取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定する、という方法である。
また、上述した顧客情報登録装置５が有する各種機能は、カメラが有しても構わない。具体的に、本発明の他の形態であるカメラは、取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部５１と、顧客の店舗内における行動に応じた行動情報を取得する行動情報取得部５２と、照合が失敗した場合、行動情報取得部が取得した行動情報に基づいて、当該顔データを記憶部に格納するか否か判定する条件判定部５３と、を有する、カメラである。
また、図９で示すように、画像データを取得するカメラ６と、顧客情報登録装置５と、を有する顧客情報登録システム７であっても構わない。図９で示す場合、カメラ６と顧客情報登録装置５とは、互いに通信可能なよう接続されている。なお、図９で示す顧客情報登録装置５の構成は、図８を用いて既に説明したものと同様である。そのため、詳細な説明は省略する。
上述した構成を有する、プログラム、顧客情報登録方法、カメラ、顧客情報登録システムの発明であっても、上記顧客情報登録装置５と同様の効果、作用を有するために、上述した本発明の目的を達成することが出来る。また、上記プログラムを記録した、コンピュータが読み取り可能な記録媒体であっても、上記顧客情報登録装置５と同様の効果、作用を有するために、上述した本発明の目的を達成することが出来る。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における顧客情報登録装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
を有する
顧客情報登録装置。
（付記２）
付記１に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報から前記顧客に商品購入の意思がある、又は顧客が商品購入を検討したと判断されるか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
顧客情報登録装置。
（付記３）
付記１または付記２に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たすか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
顧客情報登録装置。
（付記４）
付記３に記載に顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たす場合に、前記特徴量を前記記憶部に格納すると判定する
顧客情報登録装置。
（付記５）
付記１または付記２に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が予め定められた重み閾値を超えるか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
顧客情報登録装置。
（付記６）
付記５に記載の顧客情報登録装置であって、
前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が前記重み閾値を超える場合、前記顔データを前記記憶部に格納すると判定する
顧客情報登録装置。
（付記７）
付記１から付記６までのいずれか１項に記載の顧客情報登録装置であって、
前記記憶部は、前記顔データと前記行動情報とを対応づけて格納している
顧客情報登録装置。
（付記８）
付記１から付記７までのいずれか１項に記載の顧客情報登録装置であって、
前記記憶部は、前記顔データと対応づけて、顧客の来店回数、又は、顧客が来店した日、のうちの少なくとも一方を含む来店情報を格納しており、
前記照合部は、前記照合が成功した場合、前記来店情報の更新を行う
顧客情報登録装置。
（付記９）
付記１から付記８までのいずれか１項に記載の顧客情報登録装置であって、
前記条件判定部による判定の結果に応じた所定の出力を行う出力部を有する
顧客情報登録装置。
（付記１０）
付記１から付記９までのいずれか１項に記載の顧客情報登録装置であって、
前記行動情報取得部は、前記カメラにより取得された画像データに基づいて前記行動情報を取得する
顧客情報登録装置。
（付記１１）
記憶部を有する顧客情報登録装置が、
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、
前記顧客の前記店舗内における行動に応じた行動情報を取得し、
前記照合が失敗した場合、取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する
顧客情報登録方法。
（付記１２）
記憶部を有する顧客情報登録装置に、
店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
を実現するためのプログラム。
（付記１３）
取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
を有する
カメラ。
（付記１４）
顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
前記顧客情報登録装置は、
前記カメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、を備える、
顧客情報登録システム。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
なお、本発明は、日本国にて２０１８年９月２６日に特許出願された特願２０１８−１８０２１２の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１ 顧客情報登録システム
２ 顧客情報登録装置
２１ 操作入力部
２２ 画面表示部
２２１ 画像情報
２２２ 来店顧客情報
２２３ 天気情報
２２４ 来店回数統計情報
２２５ 属性統計情報
２２６ ヒートマップ情報
２２７ 通過人数情報
２３ 通信Ｉ／Ｆ部
２４ 記憶部
２４１ 画像データ情報
２４２ 顧客情報
２４３ 判定条件情報
２４４ プログラム
２５ 演算処理部
２５１ 画像データ取得部
２５２ 特徴量算出部
２５３ 分析部
２５４ 照合部
２５５ 条件判定部
２５６ 登録部
２５７ 出力部
３ カメラ
４ レジ端末
５ 顧客情報登録装置
５１ 照合部
５２ 行動情報取得部
５３ 条件判定部
６ カメラ
７ 顧客情報登録システム

Claims (14)

  1. 店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
    を有する
    顧客情報登録装置。
  2. 請求項１に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報から前記顧客に商品購入の意思がある、又は顧客が商品購入を検討したと判断されるか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
    顧客情報登録装置。
  3. 請求項１または請求項２に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たすか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
    顧客情報登録装置。
  4. 請求項３に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記顧客の行動が、予め定められた判定の条件を満たす場合に、前記特徴量を前記記憶部に格納すると判定する
    顧客情報登録装置。
  5. 請求項１または請求項２に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が予め定められた重み閾値を超えるか否かに基づいて、前記顔データを前記記憶部に格納するか否か判定する
    顧客情報登録装置。
  6. 請求項５に記載の顧客情報登録装置であって、
    前記条件判定部は、前記行動情報が示す前記顧客の行動に応じた値が前記重み閾値を超える場合、前記顔データを前記記憶部に格納すると判定する
    顧客情報登録装置。
  7. 請求項１から請求項６までのいずれか１項に記載の顧客情報登録装置であって、
    前記記憶部は、前記顔データと前記行動情報とを対応づけて格納している
    顧客情報登録装置。
  8. 請求項１から請求項７までのいずれか１項に記載の顧客情報登録装置であって、
    前記記憶部は、前記顔データと対応づけて、顧客の来店回数、又は、顧客が来店した日、のうちの少なくとも一方を含む来店情報を格納しており、
    前記照合部は、前記照合が成功した場合、前記来店情報の更新を行う
    顧客情報登録装置。
  9. 請求項１から請求項８までのいずれか１項に記載の顧客情報登録装置であって、
    前記条件判定部による判定の結果に応じた所定の出力を行う出力部を有する
    顧客情報登録装置。
  10. 請求項１から請求項９までのいずれか１項に記載の顧客情報登録装置であって、
    前記行動情報取得部は、前記カメラにより取得された画像データに基づいて前記行動情報を取得する
    顧客情報登録装置。
  11. 記憶部を有する顧客情報登録装置が、
    店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合し、
    前記顧客の前記店舗内における行動に応じた行動情報を取得し、
    前記照合が失敗した場合、取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する
    顧客情報登録方法。
  12. 記憶部を有する顧客情報登録装置に、
    店舗のカメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
    を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
  13. 取得した画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、
    を有する
    カメラ。
  14. 顧客情報登録装置とカメラとを含む顧客情報登録システムであって、
    前記顧客情報登録装置は、
    前記カメラにより取得された画像データに基づく顧客の顔データと記憶部が格納している顔データとを照合する照合部と、
    前記顧客の前記店舗内における行動に応じた行動情報を取得する行動情報取得部と、
    前記照合が失敗した場合、前記行動情報取得部が取得した前記行動情報に基づいて、当該顔データを前記記憶部に格納するか否か判定する条件判定部と、を備える、
    顧客情報登録システム。

JP2020548233A 2018-09-26 2019-08-28 顧客情報登録装置 Active JP7184089B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018180212 2018-09-26
JP2018180212 2018-09-26
PCT/JP2019/033745 WO2020066443A1 (ja) 2018-09-26 2019-08-28 顧客情報登録装置

Publications (2)

Publication Number Publication Date
JPWO2020066443A1 true JPWO2020066443A1 (ja) 2021-08-30
JP7184089B2 JP7184089B2 (ja) 2022-12-06

Family

ID=69952610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548233A Active JP7184089B2 (ja) 2018-09-26 2019-08-28 顧客情報登録装置

Country Status (3)

Country Link
US (1) US11978068B2 (ja)
JP (1) JP7184089B2 (ja)
WO (1) WO2020066443A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325643A (ja) * 2000-05-12 2001-11-22 Hitachi Ltd 自動取引装置の防犯カメラ制御方法
JP2004348618A (ja) * 2003-05-26 2004-12-09 Nec Soft Ltd 顧客情報収集管理方法及びそのシステム
JP2008257488A (ja) * 2007-04-05 2008-10-23 Multi Solution:Kk 顔認証応用インストアマーケティング分析システム
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
WO2018042549A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 被写体情報表示システム、被写体情報表示方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010622A1 (en) * 2000-07-18 2002-01-24 Fumino Okamoto System and method capable of appropriately managing customer information and computer-readable recording medium having customer information management program recorded therein
JP3947877B2 (ja) 2004-03-03 2007-07-25 Ｎｅｃソフト株式会社 商品販売システム、商品販売方法、商品販売プログラム及び売場サーバ
US7636365B2 (en) * 2004-05-13 2009-12-22 Korea Advanced Institute Of Science And Technology (Kaist) Smart digital modules and smart digital wall surfaces combining the same, and context aware interactive multimedia system using the same and operation method thereof
JP2010113692A (ja) * 2008-11-10 2010-05-20 Nec Corp 顧客行動記録装置及び顧客行動記録方法並びにプログラム
JP5217922B2 (ja) * 2008-11-10 2013-06-19 日本電気株式会社 電子広告システム、電子広告配信装置、及びプログラム
US20130218634A1 (en) * 2010-03-19 2013-08-22 Hills-Kahn, Inc. Dba Prmconnect System and method for lead management and literature delivery
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition
US20160071118A1 (en) * 2014-09-09 2016-03-10 Fliptop Inc. System and method for lead prioritization based on results from multiple modeling methods
US9881236B2 (en) * 2015-12-28 2018-01-30 Google Llc Organizing images associated with a user
US11113734B2 (en) * 2016-01-14 2021-09-07 Adobe Inc. Generating leads using Internet of Things devices at brick-and-mortar stores
US11068696B2 (en) * 2016-08-24 2021-07-20 International Business Machines Corporation Protecting individuals privacy in public through visual opt-out, signal detection, and marker detection
JP6812268B2 (ja) * 2017-02-21 2021-01-13 東芝テック株式会社 情報処理装置およびプログラム
CN107729419A (zh) * 2017-09-27 2018-02-23 惠州Tcl移动通信有限公司 一种智能保存图片和视频的方法、移动终端及存储介质
US20190108561A1 (en) * 2017-10-05 2019-04-11 Mindtree Ltd. Purchase Intent Determination And Real Time In-store Shopper Assistance
US11006038B2 (en) * 2018-05-02 2021-05-11 Qualcomm Incorporated Subject priority based image capture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325643A (ja) * 2000-05-12 2001-11-22 Hitachi Ltd 自動取引装置の防犯カメラ制御方法
JP2004348618A (ja) * 2003-05-26 2004-12-09 Nec Soft Ltd 顧客情報収集管理方法及びそのシステム
JP2008257488A (ja) * 2007-04-05 2008-10-23 Multi Solution:Kk 顔認証応用インストアマーケティング分析システム
JP2009246799A (ja) * 2008-03-31 2009-10-22 Secom Co Ltd 画像監視装置
WO2018042549A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 被写体情報表示システム、被写体情報表示方法及びプログラム

Also Published As

Publication number Publication date
US11978068B2 (en) 2024-05-07
JP7184089B2 (ja) 2022-12-06
WO2020066443A1 (ja) 2020-04-02
US20220036379A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
US11847689B2 (en) Dynamic customer checkout experience within an automated shopping environment
US11257086B2 (en) Automated sensor-based customer identification and authorization systems within a physical environment
JP5950484B2 (ja) 防犯システム
JP2004348618A (ja) 顧客情報収集管理方法及びそのシステム
US20220351219A1 (en) Store use information distribution device, store use information distribution system equipped with same, and store use information distribution method
US20190327451A1 (en) Video image analysis apparatus and video image analysis method
JP2013196043A (ja) 特定人物監視システム
JPWO2018163547A1 (ja) 商品監視装置、商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
JP2018005691A (ja) 情報処理システム、情報処理装置及び情報処理方法
WO2016088401A1 (ja) 防犯システム
JP2017204013A (ja) 広告表示システム、表示制御装置、及び広告表示方法
US20210089757A1 (en) Information processing device and reporting method
JPWO2019123714A1 (ja) 情報処理装置、商品推薦方法、およびプログラム
JP6860815B2 (ja) 決済処理装置、方法およびプログラム
US20240005326A1 (en) Customer information registration apparatus
US20230102033A1 (en) Payment processing system, payment processing method, and recording medium
JP7294663B2 (ja) 接客支援装置、接客支援方法、及びプログラム
JP2019053735A (ja) 情報処理装置
US20210090135A1 (en) Commodity information notifying system, commodity information notifying method, and program
JP7184089B2 (ja) 顧客情報登録装置
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
JP7056749B2 (ja) 顧客情報登録装置
JP7476881B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20230053269A (ko) 고객의 이동 및 행동을 추적하고 예측하는 결제 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R151 Written notification of patent or utility model registration

Ref document number: 7184089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151