JP6520218B2 - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP6520218B2
JP6520218B2 JP2015040918A JP2015040918A JP6520218B2 JP 6520218 B2 JP6520218 B2 JP 6520218B2 JP 2015040918 A JP2015040918 A JP 2015040918A JP 2015040918 A JP2015040918 A JP 2015040918A JP 6520218 B2 JP6520218 B2 JP 6520218B2
Authority
JP
Japan
Prior art keywords
store
information
customer
flow line
entrance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015040918A
Other languages
English (en)
Other versions
JP2016162256A (ja
Inventor
昌嗣 外池
昌嗣 外池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2015040918A priority Critical patent/JP6520218B2/ja
Priority to US14/804,652 priority patent/US20160260106A1/en
Publication of JP2016162256A publication Critical patent/JP2016162256A/ja
Application granted granted Critical
Publication of JP6520218B2 publication Critical patent/JP6520218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、チェックアウトレーンには顧客が密集するのでカメラ画像で顧客一人一人を個別に認識して動線計測を継続することは困難であることを課題とし、顧客動向収集システムは、顧客の移動経路を示す動線情報を生成する動線計測手段、動線計測手段が生成した各々の動線情報に固有の動線インデックスを発行する動線インデックス発行手段、動線計測手段が生成した各々の動線情報を動線インデックス毎に記憶する動線情報記憶手段、精算時に顧客の購買商品の情報を管理する販売時点情報管理手段、販売時点情報管理手段が管理する購買商品の情報を顧客毎に記憶する購買情報記憶手段、同一顧客の動線情報と購買情報とを関連付ける顧客動向連結手段及び顧客動向連結手段が関連付けた情報を記憶する連結情報記憶手段を具備することが開示されている。
特許文献2には、店内の客の移動データを作成することができ、さらに、移動データを購買データやパーソナルデータと合わせて分析することができる装置が望まれることを課題とし、移動分析装置は、特定の領域内の複数の範囲の画像を撮影する複数の撮像装置であるカメラと、画像を処理し画像内で移動する移動物体の特徴量と画像から解析される個々の範囲内での移動物体の軌跡を示す軌跡データとを抽出する画像処理装置と、各々の範囲で撮影された移動物体を特徴量のデータを照合して認証し同一の前記移動物体の軌跡置データを統合して移動物体の領域内での移動の様子を示す移動データを作成するデータ統合分析装置と、を具備することが開示されている。
特開2007−087208号公報 特開2003−263641号公報
本発明は、支払いのための顧客の列ができた場合であっても、購買に関する情報と店舗内での顧客の動線に関する情報を対応付けるようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、複数のレジがある店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付ける第1の対応付手段と、前記店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける第2の対応付手段と、前記店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける第3の対応付手段と、前記第1の対応付手段と第2の対応付手段と第3の対応付手段によって対応付けられた情報を用いて、前記購買に関する情報と前記店舗内での顧客の動線に関する情報を対応付ける第4の対応付手段を具備し、前記第2の対応付手段は、前記顧客の動線に関する情報が、前記購買に関する情報で特定されるレジに該当するレジの前となっている場合に、該動線に関する情報と該購買に関する情報を対応付けることを特徴とする情報処理装置である。
請求項2の発明は、前記出入口における入店又は退店した顧客に関する情報は、該出入口を上から撮影した第1の画像から抽出したものであり、前記店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報は、店舗内を撮影した第2の画像から抽出したものであることを特徴とする請求項1に記載の情報処理装置である。
請求項3の発明は、前記第3の対応付手段は、入店した顧客の画像と対称となっている退店した顧客の画像を対応付けることによって、入店した顧客に関する情報と退店した顧客に関する情報を対応付けることを特徴とする請求項1又は2に記載の情報処理装置である。
請求項4の発明は、前記第4の対応付手段は、前記店舗内での顧客の動線に関する情報から前記入店した顧客に関する情報を抽出し、該入店した顧客に関する情報から前記退店した顧客に関する情報を抽出し、該退店した顧客に関する情報から前記支払領域から出入口までの顧客の動線に関する情報を抽出し、該支払領域から出入口までの顧客の動線に関する情報から前記購買に関する情報を抽出することによって、該購買に関する情報と該店舗内での顧客の動線に関する情報を対応付けることを特徴とする請求項1から3のいずれか一項に記載の情報処理装置である。
請求項5の発明は、コンピュータを、複数のレジがある店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付ける第1の対応付手段と、前記店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける第2の対応付手段と、前記店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける第3の対応付手段と、前記第1の対応付手段と第2の対応付手段と第3の対応付手段によって対応付けられた情報を用いて、前記購買に関する情報と前記店舗内での顧客の動線に関する情報を対応付ける第4の対応付手段として機能させ、前記第2の対応付手段は、前記顧客の動線に関する情報が、前記購買に関する情報で特定されるレジに該当するレジの前となっている場合に、該動線に関する情報と該購買に関する情報を対応付ける情報処理プログラムである。
請求項1の情報処理装置によれば、支払いのための顧客の列ができた場合であっても、購買に関する情報と店舗内での顧客の動線に関する情報を対応付けることができる。
請求項2の情報処理装置によれば、出入口を上から撮影した画像から、出入口における入店又は退店した顧客に関する情報を抽出することができる。
請求項3の情報処理装置によれば、入店した顧客の画像と対称となっている退店した顧客の画像を対応付けることによって、入店した顧客に関する情報と退店した顧客に関する情報を対応付けることができる。
請求項4の情報処理装置によれば、支払いのための顧客の列ができた場合であっても、購買に関する情報と店舗内での顧客の動線に関する情報を対応付けることができる。
請求項5の情報処理プログラムによれば、支払いのための顧客の列ができた場合であっても、購買に関する情報と店舗内での顧客の動線に関する情報を対応付けることができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 店舗における顧客の列の例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 店舗のレイアウト例を示す説明図である。 店内動線テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 店内動線テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 入店/退店テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 店内動線テーブルのデータ構造例を示す説明図である。 入店/退店テーブルのデータ構造例を示す説明図である。 ID対応テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、すべての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
本実施の形態である処理装置100は、購買に関する情報(以下、購買データともいう)と店舗内での顧客の動線に関する情報(以下、動線データともいう)を対応付けるものであって、図1の例に示すように、店内動線追跡記録モジュール102、入口真上動線追跡記録モジュール104、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108、入店/退店データの入店と退店のID対応付けモジュール110、店内動線と購買データの対応付けモジュール112、提示モジュール114を有している。店舗内において、顧客がどのような移動経路を示すと何を買うか、又は、逆に、ある商品を購入するための移動経路を調査したい場合がある。そのために、顧客の移動経路を示す動線データと、その顧客の購買内容を示す購買データとを関連付けるものである。
図3は、店舗200における顧客の列の例を示す説明図である。
店舗200内には、撮影装置(入口真上カメラ)122があり、商品棚290A、商品棚290B、商品棚290C、商品棚290D、商品棚290Eがあり、顧客は商品を選択して、レジ受付台218へ進み、それぞれ支払い(レジ処理装置220Aで顧客306、レジ処理装置220Bで顧客304、レジ処理装置220Cで顧客302)が行われる。その場合、図3の例に示すように、支払いをするために待っている顧客の列(顧客308、顧客310、顧客312、顧客314、顧客316)がフォーク型となる場合がある。待っているときでは、静止している状態となる場合が多く、静止していると背景との区別がつきにくく、人体を抽出することが困難となる場合がある。なお、この状況は、フォーク型に限らず、待ちの列が発生した場合にも発生する。また、特にフォーク型の場合は、列に並んだ順序とレジで処理を完了する順序が一致しない場合が発生する。例えば、顧客302、顧客304、顧客306の順序で並んでいたとしても、必ずしもこの順序で支払いが完了するわけではない。例えば、購入する商品の量、店員が不慣れである場合等によって、顧客306の支払いが他の2人(顧客302、顧客304)よりも先に完了する場合がある。その場合、前述の特許文献等に示した技術では、動線データと購買データを誤って対応付けてしまうことがある。また、レジ受付台218に立ち寄ったが何も買わない場合もあるので、対応付けは自明ではない。そして、レジ受付台218で顧客の顔を撮影することは望ましくない。
処理装置100は、店内動線と購買情報を抽出し、入店における動線と退店における動線の対応付けを行い、退店における動線と購買情報を対応付ける。これにより、レジ待ち行列に関係なく、店内動線と購買情報を対応付けるようにしている。
図1を用いて、処理装置100内のモジュール、処理装置100に接続されている装置等の機能、処理内容等の説明を行う。
処理装置100は、撮影装置(撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122)から動画ストリームを受け取り、これを動線データに変換し、購買データDB140上の購買データと対応付けるところまでを行う装置である。処理装置100内での処理に関しては、以下に説明する。
撮影装置(全方位カメラ)120は、店内動線追跡記録モジュール102と接続されている。撮影装置(全方位カメラ)120は、180度(360度であってもよい)の視野角を持つカメラである。撮影装置(全方位カメラ)120は店舗の天井に取り付けられる。撮影装置(全方位カメラ)120と処理装置100間の通信は、アナログ通信でもデジタル通信でもよい。デジタル通信の場合は、無線通信であっても有線通信であってもよい。処理装置100には、カメラ画像をデジタルデータとして取り込むインタフェースが内蔵されているものとする。また、全方位カメラに限定されることなく、静止画又は動画を撮影するための2Dカメラ、3Dカメラ、サーモカメラ等であってもよい。また、撮影装置(全方位カメラ)120は、固定されたものであってもよいし、角度、位置等を変更することができるものであってもよい。
店内動線追跡記録モジュール102は、撮影装置(全方位カメラ)120、店内動線DB130と接続されている。店内動線追跡記録モジュール102は、店舗のエリア内に設置されたカメラを用いて人物を追跡して動線を記録する。
店内動線DB130は、店内動線追跡記録モジュール102、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108、提示モジュール114と接続されている。店内動線DB130は、店内動線追跡記録モジュール102による処理結果を記憶しており、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108からアクセスされる。具体的には、店内動線DB130は、店内動線が記録されるDBである。1人の店内動線に対して1つの店内動線IDが割り当てられる。
撮影装置(入口真上カメラ)122は、入口真上動線追跡記録モジュール104と接続されている。撮影装置(入口真上カメラ)122は、任意の視野角を持つカメラである。撮影装置(入口真上カメラ)122は、店舗の出入口付近の天井に取り付けられる。そのほかの説明は、撮影装置(全方位カメラ)120と同等である。
入口真上動線追跡記録モジュール104は、撮影装置(入口真上カメラ)122、入店/退店データDB132と接続されている。入口真上動線追跡記録モジュール104は、出入口を出入りする人物を追跡し、境界線をクロスしたときの画像、時刻、方向と、境界線上の座標(例えば、人物の中央等)を記録する。
入店/退店データDB132は、入口真上動線追跡記録モジュール104、入店/退店データと入口を通る動線の対応付けモジュール106、入店/退店データの入店と退店のID対応付けモジュール110と接続されている。入店/退店データDB132は、入口真上動線追跡記録モジュール104による処理結果を記憶しており、入店/退店データと入口を通る動線の対応付けモジュール106、入店/退店データの入店と退店のID対応付けモジュール110からアクセスされる。入店/退店データDB132は、入店/退店が記録されるDBである。
入店/退店データと入口を通る動線の対応付けモジュール106は、店内動線DB130、入店/退店データDB132、ID対応DB150と接続されている。入店/退店データと入口を通る動線の対応付けモジュール106は、店舗内を撮影した画像から、出入口における入店した顧客に関する情報とその店舗内での顧客の動線に関する情報を対応付ける。「店舗内での顧客の動線に関する情報」は、出入口(入り口)から支払領域まで又は支払いを行うための列待ち状態までの動線情報を含む。例えば、入店した顧客における、商品を選択して、支払いをするために支払領域までの動線情報がある。具体的には、出入口の真上から撮影した画像に写っている人物と店内動線追跡記録モジュール102で得られた動線を対応付ける。
レジから入口までの動線と購買データの対応付けモジュール108は、店内動線DB130、購買データDB140、ID対応DB150と接続されている。レジから入口までの動線と購買データの対応付けモジュール108は、店舗内の支払領域から出入口までの顧客の動線に関する情報とその店舗における購買(以下、購買データともいう)に関する情報を対応付ける。「店舗内の支払領域から出入口までの顧客の動線に関する情報」は、例えば、支払いを済ませた顧客における、支払領域から出入口(出口)までの動線情報を含む。そして、「支払領域」とは、顧客が商品を購入するための支払いを行う場所であり、一般的にはレジスターが設置されている場所の近辺(以下、レジともいう)である。具体的には、動線がレジから離れた時刻と購買データを時刻に基づいて対応付けする。
入店/退店データの入店と退店のID対応付けモジュール110は、入店/退店データDB132、ID対応DB150と接続されている。入店/退店データの入店と退店のID対応付けモジュール110は、店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける。また、入店/退店データの入店と退店のID対応付けモジュール110は、入店した顧客の画像と対称となっている退店した顧客の画像を対応付けることによって、入店した顧客に関する情報と退店した顧客に関する情報を対応付けるようにしてもよい。具体的には、入退店画像(撮影装置(入口真上カメラ)122が撮影した場合、又は、後述するように撮影装置(全方位カメラ)120が撮影した画像)を用いて、入店/退店データの入店と退店のIDを対応付ける。
店内動線と購買データの対応付けモジュール112は、ID対応DB150と接続されている。店内動線と購買データの対応付けモジュール112は、入店/退店データと入口を通る動線の対応付けモジュール106とレジから入口までの動線と購買データの対応付けモジュール108と入店/退店データの入店と退店のID対応付けモジュール110によって対応付けられた情報を用いて、購買に関する情報と店舗内での顧客の動線に関する情報を対応付ける。店内動線と購買データの対応付けモジュール112は、「店舗内での顧客の動線に関する情報」から「入店した顧客に関する情報」を抽出し、「その入店した顧客に関する情報」から「退店した顧客に関する情報」を抽出し、「その退店した顧客に関する情報」から「支払領域から出入口までの顧客の動線に関する情報」を抽出し、「その支払領域から出入口までの顧客の動線に関する情報」から「購買に関する情報」を抽出することによって、「その購買に関する情報」と「その店舗内での顧客の動線に関する情報」を対応付けるようにしてもよい。具体的には、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108、入店/退店データの入店と退店のID対応付けモジュール110で得られた対応から、店内動線ID(出入口からレジ待ち列におけるID)とレシートIDを対応させる。
購買データDB140は、レジから入口までの動線と購買データの対応付けモジュール108、提示モジュール114と接続されている。具体的には、購買データDB140は、POS(Point Of Sale system)等の購買データが格納されるDBである。1レシートにつき、1つのレシートIDが割り当てられている。また、決済完了時刻も記録されている。例えば、時刻は分までとする。もちろんのことながら、ここでの時刻は日時(年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい)を含む概念である。
ID対応DB150は、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108、入店/退店データの入店と退店のID対応付けモジュール110、店内動線と購買データの対応付けモジュール112、提示モジュール114と接続されている。具体的には、ID対応DB150は、入店ID、退店ID、店内動線ID、レシートIDを対応付けるためのデータベースである。テーブル構成としては、1テーブル構成としてもよいし、一対一対応のテーブルを複数個用意する構成であってもよい。
提示モジュール114は、店内動線DB130、購買データDB140、ID対応DB150、表示装置190と接続されている。提示モジュール114は、店内動線DB130、購買データDB140、ID対応DB150に記憶されているデータを用いて、店内動線と購買データの対応付けモジュール112による処理結果を表示装置190に提示させる。なお、店内動線と購買データの対応付けモジュール112による処理結果(ID対応DB150内のデータ)を、例えば、プリンタ等の印刷装置で印刷すること、ファックス等の画像送信装置で画像を送信すること、購買データベース等の記憶装置へ書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等を行うようにしてもよい。
表示装置190は、提示モジュール114と接続されている。表示装置190は、店内動線と購買データの対応付け結果が表示されるディスプレイ等の装置である。
なお、「出入口における入店又は退店した顧客に関する情報」、「店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報」は、店舗内を撮影した画像から抽出したものであってもよい。具体的には、撮影装置(全方位カメラ)120によって撮影された画像から、「出入口における入店又は退店した顧客に関する情報」、「店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報」の両方を抽出する。この場合、撮影装置(全方位カメラ)120は、店舗の出入口における画像も撮影する。
また、「出入口における入店又は退店した顧客に関する情報」は、その出入口を上から撮影した第1の画像から抽出したものであってもよい。具体的には、撮影装置(入口真上カメラ)122によって撮影された画像から、「出入口における入店又は退店した顧客に関する情報」を抽出する。そして、「店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報」は、店舗内を撮影した第2の画像から抽出したものであってもよい。具体的には、撮影装置(全方位カメラ)120によって撮影された画像から、「店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報」を抽出する。
さらに、撮影装置(入口真上カメラ)122によって撮影された画像から、「出入口における入店又は退店した顧客に関する情報」、「店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報」の両方を抽出するようにしてもよい。この場合、撮影装置(入口真上カメラ)122は、店舗の出入口の画像のほかに、店舗内の画像も撮影する。
また、ここでの「第1の画像又は第2の画像」は、複数のカメラ(撮影装置(全方位カメラ)120が複数、又は撮影装置(入口真上カメラ)122が複数)によって撮影された複数の画像を合成した画像であってもよい。
図2は、本実施の形態を利用したシステム構成例を示す説明図である。
図2(a)の例では、店舗200内に処理装置100を設置した場合を示している。
店舗200には、処理装置100、撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122、入り口210、レジ受付台218、購買データ記憶装置230、商品棚290A、商品棚290B、商品棚290C、商品棚290D、商品棚290Eが設置されている。購買データ記憶装置230は、購買データDB140を有している。レジ受付台218には、レジ処理装置220A、レジ処理装置220B、レジ処理装置220Cが設置されている。
処理装置100、撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122、購買データ記憶装置230は、通信回線を介してそれぞれ接続されている。通信回線は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのイントラネット等であってもよい。
図2(b)の例では、店舗200外に処理装置100を設置した場合を示している。
各店舗200には、撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122、購買データ記憶装置230が設置されている。処理装置100、店舗200A、店舗200B、店舗200Cは、通信回線299を介してそれぞれ接続されている。通信回線299は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、処理装置100による機能は、クラウドサービスとして実現してもよい。
図4は、本実施の形態による処理例を示すフローチャートである。図5〜17に示す例を用いて、各ステップの処理について説明する。
ステップS402では、店内動線追跡記録モジュール102は、店内における動線を追跡し、記録する。具体的には、店内動線追跡記録モジュール102は、エリア内に設置された撮影装置(全方位カメラ)120を用いて、出入口(入店)から、レジ待ち行列までの追跡及び、レジから出入口(退店)までの追跡を行う。
処理装置100では、図5の例に示すようにエリア内の天井に設置された撮影装置(全方位カメラ)120(複数の場合もある)からの情報を前提とする例を示すが、全方位カメラでなくとも、動線が途切れずに追跡できるように、カメラが配置されていれば問題ない。
人物追跡には、既知の手法を用いればよい。例えば、前段の人体検出にはMOG2による背景差分法(Zivkovic 2004)、後段の追跡にはKLTトラッキング法(Tomasi et al. 1991)などを用いればよい。
なお、処理装置100の前提上、レジ待ちの列に並んだときに動線が分断されてしまうことは問題ないものとする。
追跡の結果としては、最低限、タイムスタンプと追跡IDと人物を囲う矩形の座標情報が出力されるのが一般的である。ここでは、追跡IDのことを店内動線IDと呼ぶものとする。ステップS402の処理結果を、例えば、店内動線テーブル600として記憶する。図6は、店内動線テーブル600のデータ構造例を示す説明図である。店内動線テーブル600は、タイムスタンプ欄610、店内動線ID欄620、人物を囲う矩形の左上X座標欄630、人物を囲う矩形の左上Y座標欄640、人物を囲う矩形の幅欄650、人物を囲う矩形の高さ欄660を有している。
タイムスタンプ欄610は、撮影した画像のタイムスタンプ(撮影日時)を記憶している。店内動線ID欄620は、本実施の形態において、店内動線を一意に識別するための情報(店内動線ID:IDentification)を記憶している。人物を囲う矩形の左上X座標欄630は、その店内動線IDにおける人物を囲う矩形(外接矩形)の左上X座標を記憶している。人物を囲う矩形の左上Y座標欄640は、その店内動線IDにおける人物を囲う矩形の左上Y座標を記憶している。人物を囲う矩形の幅欄650は、その店内動線IDにおける人物を囲う矩形の幅を記憶している。人物を囲う矩形の高さ欄660は、その店内動線IDにおける人物を囲う矩形の高さを記憶している。
なお、人物を矩形として扱うと、処理上扱いにくいので、矩形情報から足元座標を計算して、これを人物の位置情報として用いてもよい。足元座標の計算方法としては、例えば、画像の中心と人物を囲う矩形の中心を通る直線を描画し、その直線と矩形の2つ交点を求め、図7の例に示すように、画像中心702から近いほうの交点を足元座標とすればよい。具体的には、撮影装置(全方位カメラ)120が撮影した画像700で左上を原点とした座標系として、顧客の人物矩形情報710が図7の例のような位置にあるとする。この場合、画像700の画像中心702と人物矩形情報710の人物矩形中心712とを結ぶ直線715と、人物矩形情報710の外縁(4本の線分)の交点であって、画像中心702に近い足元座標720を、足元座標とする。
また、全方位カメラの画像は歪んでいて扱いにくいので、既知の幾何学補正技術により歪みを除去し、平面図の座標系の動線データに変換してもよい。簡単には、床に等間隔にマーカーを貼った状態で全方位カメラ画像を取得し、中心からの距離を変換する回帰式を導出しておけばよい。処理装置100の説明では、簡便のため、平面図の座標系に変換した動線データを用いる。
ステップS402の足元座標を用いた処理結果を、例えば、店内動線テーブル800として記憶する。図8は、店内動線テーブル800のデータ構造例を示す説明図である。店内動線テーブル800は、タイムスタンプ欄810、店内動線ID欄820、X座標欄830、Y座標欄840を有している。
タイムスタンプ欄810は、撮影した画像のタイムスタンプを記憶している。店内動線ID欄820は、店内動線IDを記憶している。X座標欄830は、その店内動線IDにおける足元座標のX座標を記憶している。Y座標欄840は、その店内動線IDにおける足元座標のY座標を記憶している。
店内動線追跡記録モジュール102では、以下の2種類の動線を取得する
・入口からレジ待ち行列までの動線(例えば、図9に示す入店からレジ行列までの動線910参照)
・レジから入口までの動線(例えば、図10に示すレジから入口までの動線1010参照)
なお、レジ及び入口の座標情報は予め保持しておくものとする。
また、1つの全方位カメラで対象エリアすべてをカバーできない場合は、複数カメラを用いる視体積交差法(窪田ら 2008)等の技術を用いて店内動線を取得すればよい。
このステップS402の説明における前述の参考文献は、以下の通りである。
「Zivkovic, Zoran. ”Improved adaptive Gaussian mixture model for background subtraction.” Pattern Recognition, 2004. ICPR 2004. Proceedings of the 17th International Conference on. Vol. 2. IEEE, 2004.」
「Carlo Tomasi and Takeo Kanade. Detection and Tracking of Point Features. Carnegie Mellon University Technical Report CMU−CS−91−132, April 1991.」
「窪田進, 丸山昌之, and 伊久美智則. ”複数の全方位カメラによる人物動線計測システム.” 東芝レビュー 63.10 (2008): 44−47.」
ステップS404では、入口真上動線追跡記録モジュール104は、店舗の入口真上における動線を追跡し、記録する。具体的には、入口真上動線追跡記録モジュール104は、撮影装置(入口真上カメラ)122を利用して、入口真上を通る人物の動線を記録する。入口真上動線追跡記録モジュール104の処理として、例えば、店内動線追跡記録モジュール102と同等の背景差分とKLTトラッキングによる方法等を利用する。動線データの形式は、図6の例に示した店内動線テーブル600を用いればよい。
ここで、店外と店内の境界線を越えたとき(入店と退店のとき)の画像を保存しておく。
また、境界線を越えたときの時刻と方向(人物が移動する方向であって、店外から店内への入店と店内から店外への退店の2方向がある)と、境界線上の座標(例えば、人物の中央等)も記録しておく。
入店、退店の区別は、予め与えておいた出入口を表す線分(境界線)をどちらの方から越えたのか、に基づいて区別する。
画像ファイルは例えば、入退店IDをファイル名としておくことで対応付けられる。ステップS404の処理結果を、例えば、入店/退店テーブル1100として記憶する。図11は、入店/退店テーブル1100のデータ構造例を示す説明図である。入店/退店テーブル1100は、タイムスタンプ欄1110、入退店ID欄1120、入店/退店欄1130、境界線上の座標欄1140を有している。
タイムスタンプ欄1110は、撮影した画像のタイムスタンプを記憶している。入退店ID欄1120は、本実施の形態において、入退店を一意に識別するための情報(入退店ID)を記憶している。入店/退店欄1130は、その入退店IDは入店であるか退店であるかを記憶している。境界線上の座標欄1140は、その入退店IDにおける境界線上の座標を記憶している。この境界線上の座標は、図12の例に示すように、入り口210における1次元の座標である。
なお、入店と退店を別テーブルとしても問題ない。つまり、入店用テーブルとして、タイムスタンプ欄1110と入退店ID欄1120と境界線上の座標欄1140を有しており、退店用テーブルとして、タイムスタンプ欄1110と入退店ID欄1120と境界線上の座標欄1140を有している2つのテーブルを用いてもよい。
ステップS406では、入店/退店データと入口を通る動線の対応付けモジュール106は、入店/退店データDB132内の入店/退店データと入口を通る動線の対応付けを行う。具体的には、入店/退店データと入口を通る動線の対応付けモジュール106は、タイムスタンプや、座標の対応関係に基づいて、入店/退店データと店内動線追跡記録モジュール102で得られた動線のIDを対応付ける。
このとき、入店/退店データが入店であれば、店内動線データのうち、入店からレジまでの動線と対応付ける。逆に、入店/退店データが退店であれば、店内動線データのうち、レジから退店までの動線と対応付ける。
図13の例に示す荒い座標系の店内平面図を前提とし、図14の例に示す店内動線テーブル1400内の店内動線データと、図15の例に示す入店/退店テーブル1500内の入店/退店データを用いて説明する。なお、店内動線テーブル1400は店内動線テーブル800と、入店/退店テーブル1500は入店/退店テーブル1100と同等のデータ構造である。
図15の例に示す入店/退店テーブル1500の入店に関する行カラムを1つずつ取り出す。ここでは、以下の入店/退店データ(入店/退店テーブル1500内の2行目)が取り出されたものとする。
(17:22:34, 40, 入店, 4)
次に、図14の例に示す店内動線テーブル1400からタイムスタンプ(17:22:34)の店内動線データを検索すると、以下の店内動線データ(店内動線テーブル1400内の14、15行目)が取り出される。
(17:22:34, 50, 4, 1)
(17:22:34, 51, 4, 5)
次に、取り出された店内動線データの中から、入口を越えてすぐの位置にあるもの(図13の例に示すように、Y座標が5で、X座標が1か2か3か4か5)だけを抽出する。すると、以下の店内動線データ(店内動線テーブル1400内の15行目)だけが残ることになる。
(17:22:34, 51, 4, 5)
次に、通過した入口のX座標位置が同じかどうかを確認し、異なるものは除外する。この例の場合は、店内動線データ、入店/退店データとも4であるので、除外されないことになる。
次に残った店内動線データに対して、同じ店内動線ID(51)で、ひとつ前の時刻(17:22:33)の店内動線データを検索すると以下(店内動線テーブル1400内の13行目)が得られる。
(17:22:33, 51, 4, 6)
次に、この店内動線データを検査し、場所が店外かどうかを判定する。図13の例に示すように、場所(4, 6)は店外であるので、店内動線ID=51の店内動線データ(図13の例に示す動線1320)は、入店の動線であることが分かる。取り出した入店/退店データと同じ方向であれば残し、そうでなければ除外する。この例の場合は、取り出した入店/退店データは入店であったので、残すことになる。
以上により、入退店ID=40の入店データは、店内動線ID=51の店内動線データに対応することが分かる。
得られた対応は、図16のように示すようなテーブルとして、ID対応DB150に記録される。図16は、ID対応テーブル1600のデータ構造例を示す説明図である。ID対応テーブル1600は、店内動線ID欄1610、入退店ID欄1620、入店/退店欄1630を有している。
店内動線ID欄1610は、店内動線IDを記憶している。入退店ID欄1620は、その店内動線IDに対応する入退店IDを記憶している。入店/退店欄1630は、その入退店IDは入店であるか退店であるかを記憶している。
ここでは、処理の一例として上記を示したが、逆に、図14の例に示す店内動線テーブル1400内のデータを先に選択して、対応する処理を行ってもよい。
なお、タイムスタンプのマッチングは、完全に同一でなくとも、例えば、前後0.5秒などの幅を持たせてもよい。
ステップS408では、レジから入口までの動線と購買データの対応付けモジュール108は、レジから入口までの動線と購買データDB140内の購買データの対応付けを行う。具体的には、レジから入口までの動線と購買データの対応付けモジュール108は、動線がレジから離れた時刻と購買データを時刻に基づいて対応付けする。対応付けの方法は、入店/退店データと入口を通る動線の対応付けモジュール106と同様である。もし、同じ時刻にデータがあった場合は、順序関係を優先する。
処理の手順は、以下の通りである。
(ステップA1)購買データDB140からレシート(レシートデータ)を1つ取り出す。
(ステップA2)店内動線DB130から、取り出したレシートと近い時刻のデータを取り出す。
(ステップA3)取り出した店内動線データの場所がレジ前になっているかをチェックする。もし、レシートにレジ番号が記載されているならば、当該レジ番号に該当するレジの前かをチェックする。
(ステップA4)取り出した店内動線データが退店する動線かどうかをチェックする。取り出した店内動線データの店内動線IDを持ち、取り出した店内動線データより未来の時刻のデータを店内動線DB130から取り出す。そのデータが、入口を店内→店外の順に越えているかを確認する。
(ステップA5)もし、この段階で複数の店内動線データが対応付け候補として残っている場合は、順序関係によって、どれに対応付くかを決める。例えば、20時15分のレシートが2つあり、今回取り出したのは、2つ目のレシートであった場合、残っている店内動線データのうち2番目の時刻のデータと対応付ける。
(ステップA6)レシートIDと店内動線IDの対応をID対応DB150に格納する。
(ステップA7)未処理のレシートが残っている場合は、ステップA1に戻る。
ステップS408による処理結果としてのデータ形式の例は、以下の通りである。
・(タイムスタンプ、店内動線ID(レジ→入口)、レシートID)
ステップS410では、入店/退店データの入店と退店のID対応付けモジュール110は、入店/退店データDB132内の入店/退店データの入店と退店のID対応付けを行う。具体的には、入店/退店データの入店と退店のID対応付けモジュール110は、入店/退店データDB132において、予め取得してある境界線上の静止画を用いて、退店者のIDを入店者のIDに対応付けていく処理を行う。
まず、入店/退店データDB132から退店の情報を時系列順に1つずつ取り出す。例えば、以下の退店情報(入店/退店テーブル1500の3行目)が取り出されたとする。
(17:30:38, 41, 退店, 2)
このときの境界線上の静止画は、「41.jpg」という名前で保存されていたとする。例えば、図17(b)に示す退店時画像1750である。この退店時画像1750には、境界線1730上の顧客1720が撮影されている。この例では、退店の方向(図17の例では上から下へ)に顧客1720が移動しているところを撮影した画像である。
次に、入店/退店データDB132から入店の情報を時系列順に1つずつ取り出し、それに対応する境界線上の静止画を「41.jpg」と順次、人物の照合をする。例えば、退店時画像1750と図17(a)に示す入店時画像1710とを照合する。入店時画像1710には、境界線1730上の顧客1720が撮影されている。この例では、入店の方向(図17の例では下から上へ)に顧客1720が移動しているところを撮影した画像である。この照合処理では、退店時画像1750を180度回転させた画像を用いるようにしてもよい。つまり、退店時と入店時では顧客は逆方向を向いているからである。画像間の類似度を算出するようにしてもよいし、両画像から特徴抽出を行い、その特徴間の類似度を算出するようにしてもよい。また、既知の人物照合手法(井尻ら 2011)で比較するようにしてもよい。
そして、41.jpgと最も近い入口真上画像をもつ入店データが、入退店ID=41の退店データと対応付くと判断し、入退店ID(入店)と入退店ID(退店)の対応をID対応DB150に保存する。
ステップS410による処理結果としてのデータ形式の例は、以下の通りである。
・(入退店ID(入店)、入退店ID(退店))
この処理を、退店データがすべて処理されるまで繰り返す。
なお、本実施の形態では、入口真上画像を用いて入店と退店の対応付けを行ったが、入口真上に設置されたカメラでなくとも、人物の照合ができる程度に入口の入退店がとらえられるカメラであればよい。
店内に設置した動線追跡用カメラで、人物の照合ができる程度に入退店をとらえることができれば、動線追跡用カメラで入店と退店の対応付けを行ってもよい。
このステップS410の説明における前述の参考文献は、以下の通りである。
「井尻 善久, 川西 康友, 村瀬 洋, 美濃 導彦. ”サーベイ論文:視野を共有しない複数カメラ間での人物照合,” パターン認識・メディア理解研究会(PRMU), 2011−11.」
ステップS412では、店内動線と購買データの対応付けモジュール112は、店内動線と購買データDB140内の購買データの対応付けを行う。具体的には、店内動線と購買データの対応付けモジュール112は、対応付けをたどって、購買データと店内動線を対応付ける。
本手段を実行するまでに、得られているIDの対応関係は以下の通りである。
・「店内動線ID(入口→レジ待ち列)」と「入退店ID(入店)」(入店/退店データと入口を通る動線の対応付けモジュール106による処理結果)
・「入退店ID(入店)」と「入退店ID(退店)」(入店/退店データの入店と退店のID対応付けモジュール110による処理結果)
・「入退店ID(退店)」と「店内動線ID(レジ→入口)」(入店/退店データと入口を通る動線の対応付けモジュール106による処理結果)
・「店内動線ID(レジ→入口)」と「レシートID」(レジから入口までの動線と購買データの対応付けモジュール108による処理結果)
これらから、「店内動線ID(入口→レジ待ち列)」→「入退店ID(入店)」→「入退店ID(退店)」→「店内動線ID(レジ→入口)」→「レシートID」とたどることができる。
以上により、求めたい「店内動線ID(入口→レジ待ち列)」と「レシートID」を対応付けることができる。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図18に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU1801を用い、記憶装置としてRAM1802、ROM1803、HD1804を用いている。HD1804として、例えばハードディスク、SSD(Solid State Drive)を用いてもよい。店内動線追跡記録モジュール102、入口真上動線追跡記録モジュール104、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108、入店/退店データの入店と退店のID対応付けモジュール110、店内動線と購買データの対応付けモジュール112、提示モジュール114等のプログラムを実行するCPU1801と、そのプログラムやデータを記憶するRAM1802と、本コンピュータを起動するためのプログラム等が格納されているROM1803と、補助記憶装置(フラッシュメモリ等であってもよい)であるHD1804(店内動線DB130、入店/退店データDB132、購買データDB140、ID対応DB150等の機能を有していてもよい)と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置1806と、CRT、液晶ディスプレイ、スピーカー等の出力装置1805(表示装置190としての機能を有していてもよい)と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース1807(撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122等との通信の機能を有していてもよい)、そして、それらをつないでデータのやりとりをするためのバス1808により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図18に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図18に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図18に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明としてとらえてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
100…処理装置
102…店内動線追跡記録モジュール
104…入口真上動線追跡記録モジュール
106…入店/退店データと入口を通る動線の対応付けモジュール
108…レジから入口までの動線と購買データの対応付けモジュール
110…入店/退店データの入店と退店のID対応付けモジュール
112…店内動線と購買データの対応付けモジュール
114…提示モジュール
120…撮影装置(全方位カメラ)
122…撮影装置(入口真上カメラ)
130…店内動線DB
132…入店/退店データDB
140…購買データDB
150…ID対応DB
190…表示装置
200…店舗
210…入り口
218…レジ受付台
220…レジ処理装置
230…購買データ記憶装置
290…商品棚
299…通信回線

Claims (5)

  1. 複数のレジがある店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付ける第1の対応付手段と、
    前記店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける第2の対応付手段と、
    前記店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける第3の対応付手段と、
    前記第1の対応付手段と第2の対応付手段と第3の対応付手段によって対応付けられた情報を用いて、前記購買に関する情報と前記店舗内での顧客の動線に関する情報を対応付ける第4の対応付手段
    を具備し、
    前記第2の対応付手段は、前記顧客の動線に関する情報が、前記購買に関する情報で特定されるレジに該当するレジの前となっている場合に、該動線に関する情報と該購買に関する情報を対応付ける
    ことを特徴とする情報処理装置。
  2. 前記出入口における入店又は退店した顧客に関する情報は、該出入口を上から撮影した第1の画像から抽出したものであり、
    前記店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報は、店舗内を撮影した第2の画像から抽出したものである
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記第3の対応付手段は、入店した顧客の画像と対称となっている退店した顧客の画像を対応付けることによって、入店した顧客に関する情報と退店した顧客に関する情報を対応付ける
    ことを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記第4の対応付手段は、前記店舗内での顧客の動線に関する情報から前記入店した顧客に関する情報を抽出し、該入店した顧客に関する情報から前記退店した顧客に関する情報を抽出し、該退店した顧客に関する情報から前記支払領域から出入口までの顧客の動線に関する情報を抽出し、該支払領域から出入口までの顧客の動線に関する情報から前記購買に関する情報を抽出することによって、該購買に関する情報と該店舗内での顧客の動線に関する情報を対応付ける
    ことを特徴とする請求項1から3のいずれか一項に記載の情報処理装置。
  5. コンピュータを、
    複数のレジがある店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付ける第1の対応付手段と、
    前記店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける第2の対応付手段と、
    前記店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける第3の対応付手段と、
    前記第1の対応付手段と第2の対応付手段と第3の対応付手段によって対応付けられた情報を用いて、前記購買に関する情報と前記店舗内での顧客の動線に関する情報を対応付ける第4の対応付手段
    として機能させ
    前記第2の対応付手段は、前記顧客の動線に関する情報が、前記購買に関する情報で特定されるレジに該当するレジの前となっている場合に、該動線に関する情報と該購買に関する情報を対応付ける
    情報処理プログラム。
JP2015040918A 2015-03-03 2015-03-03 情報処理装置及び情報処理プログラム Active JP6520218B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015040918A JP6520218B2 (ja) 2015-03-03 2015-03-03 情報処理装置及び情報処理プログラム
US14/804,652 US20160260106A1 (en) 2015-03-03 2015-07-21 Information processing apparatus, information processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015040918A JP6520218B2 (ja) 2015-03-03 2015-03-03 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2016162256A JP2016162256A (ja) 2016-09-05
JP6520218B2 true JP6520218B2 (ja) 2019-05-29

Family

ID=56846996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015040918A Active JP6520218B2 (ja) 2015-03-03 2015-03-03 情報処理装置及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20160260106A1 (ja)
JP (1) JP6520218B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6792446B2 (ja) * 2016-12-27 2020-11-25 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
CN110473232B (zh) * 2017-07-14 2024-02-09 腾讯科技(深圳)有限公司 图像识别方法、装置、存储介质及电子设备
JP6894398B2 (ja) * 2018-03-28 2021-06-30 Kddi株式会社 オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
DE102020203461A1 (de) * 2020-03-18 2021-09-23 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanlage, Verfahren, Computerprogramm und Speichermedium
JP7420672B2 (ja) 2020-07-17 2024-01-23 株式会社日立エルジーデータストレージ 測距システム及び測距センサの検知強度分布表示方法
JP7318684B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380558B1 (en) * 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
WO2009001827A1 (ja) * 2007-06-26 2008-12-31 Toshiba Tec Kabushiki Kaisha 顧客行動管理装置,方法及びプログラム
JP2010002997A (ja) * 2008-06-18 2010-01-07 Toshiba Tec Corp 人物行動分析装置及び人物行動分析プログラム
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
US8812344B1 (en) * 2009-06-29 2014-08-19 Videomining Corporation Method and system for determining the impact of crowding on retail performance
JP4802285B2 (ja) * 2010-02-17 2011-10-26 東芝テック株式会社 動線関連付け方法、装置及びプログラム

Also Published As

Publication number Publication date
US20160260106A1 (en) 2016-09-08
JP2016162256A (ja) 2016-09-05

Similar Documents

Publication Publication Date Title
JP6520218B2 (ja) 情報処理装置及び情報処理プログラム
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
JP6730079B2 (ja) 監視装置及びプログラム
US11049373B2 (en) Storefront device, storefront management method, and program
JP6261197B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2022009251A (ja) 情報処理装置およびプログラム
US20190019207A1 (en) Apparatus and method for store analysis
JP2020061044A (ja) 情報処理システム
US20160063519A1 (en) Data analysis apparatus, data analysis system, commodity exchange forecasting apparatus, commodity exchange forecasting system, data analysis method, commodity exchange forecasting method, and computer-readable medium
WO2021179137A1 (zh) 结算方法、装置和系统
JP2022048234A (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
JP4209413B2 (ja) 顧客動向収集システムおよび顧客動向収集プログラム
WO2020170854A1 (ja) セルフposシステム、セルフpos端末装置、制御方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体
US20190043033A1 (en) Point-of-sale terminal
JP6428062B2 (ja) 情報処理装置及び情報処理プログラム
US20170345027A1 (en) Sales data processing apparatus and method for acquiring attribute information of customer
JP6418270B2 (ja) 情報処理装置及び情報処理プログラム
JP2024015277A (ja) 情報提供装置及びその制御プログラム
JP7070674B2 (ja) 登録システム、登録方法及びプログラム
US20230169460A1 (en) Registration device, method carried out by registration device, and non-transitory computer readable medium
JP6503670B2 (ja) 商品登録装置、商品登録方法、および商品登録プログラム
JP2020061164A (ja) 情報処理システム
WO2020170963A1 (ja) 処理装置、処理方法及びプログラム
JP2022012399A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN112700235A (zh) 线下支付用户的识别方法、装置和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R150 Certificate of patent or registration of utility model

Ref document number: 6520218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350