JP6067527B2 - 移動体情報管理方法及び装置並びにプログラム - Google Patents
移動体情報管理方法及び装置並びにプログラム Download PDFInfo
- Publication number
- JP6067527B2 JP6067527B2 JP2013203615A JP2013203615A JP6067527B2 JP 6067527 B2 JP6067527 B2 JP 6067527B2 JP 2013203615 A JP2013203615 A JP 2013203615A JP 2013203615 A JP2013203615 A JP 2013203615A JP 6067527 B2 JP6067527 B2 JP 6067527B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- flow line
- attribute
- time
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、顧客の移動情報（動線）と顧客属性（年齢・性別）とを対応付ける方法及び装置並びにプログラムに関する。
近年、様々なセンサの低価格化やネットワークの進化に伴い、店舗内にカメラや位置測定装置を設置することで、店舗内で顧客がどのように回遊したかの情報を分析し、店舗の売上向上の施策を講じるといったことが行われている。特にどのような属性（年齢・性別）を持った顧客が、どのように店舗内を移動しているか（動線）を把握して分析することは、店舗改善を行う上で重要である。
例えば、下記の非特許文献１には、カメラ画像に映った顔を検出し、人物の属性（年齢・性別）を判定する方法が開示されている。店舗の出入口をカメラで撮影し、非特許文献１の技術を用いる事で、入店した顧客の属性を分析することが可能となる。
また、非特許文献２には、レーザ光線で周囲をスキャンして対象物までの距離を測定する装置が開示されている。前記装置を店舗内に設置することで、顧客が店舗内を時々刻々とどのように回遊しているかの情報が得られる。この情報を元に、店舗が意図した順路で顧客が回遊しているか（動線）などを分析することが可能となる。
また、下記の特許文献１には、顧客が所有しているカード（例えばポイントカード）に記録された属性情報を入店時等に読み取り、読み取った属性情報と動線とを対応づけるシステムについて開示されている。
また、非特許文献２には、レーザ光線で周囲をスキャンして対象物までの距離を測定する装置が開示されている。前記装置を店舗内に設置することで、顧客が店舗内を時々刻々とどのように回遊しているかの情報が得られる。この情報を元に、店舗が意図した順路で顧客が回遊しているか（動線）などを分析することが可能となる。
また、下記の特許文献１には、顧客が所有しているカード（例えばポイントカード）に記録された属性情報を入店時等に読み取り、読み取った属性情報と動線とを対応づけるシステムについて開示されている。
サイトセンシング株式会社、Face Grapher、http://site-sensing.com
北陽電機株式会社、スキャナ式レンジセンサ（測域センサ）、http://www.hokuyo-aut.co.jp/02senser/#scanner
しかし特許文献１は、顧客がカードを所有していることを前提としており、ポイントカードを所持していない顧客、若しくはポイントカードがない店舗には適用できない。また、非特許文献１、非特許文献２は、それぞれ顧客の属性と動線とを取得する装置であり、属性と動線とを対応付ける具体的な方法を開示していない。
本発明はこのような状況に鑑みてなされたものであり、カメラで取得した顧客の属性情報と測域センサで取得した動線情報とを対応付ける方法及び装置を提供することを目的とするものである。
上記課題を解決するために、本発明に係る移動体情報管理方法は、カメラで撮影された情報を分析して得られる人物の属性情報と、位置測定装置で測定された情報を分析して得られる人物の動線情報とを移動体情報管理装置によって対応付ける方法であって、
前記移動体情報管理装置が、
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１のステップと、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２のステップと、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３のステップと、を備えることを特徴とする。
また、前記位置測定装置として測域センサを用いることを特徴とする。
また、前記第１のステップと前記第２のステップにおいて、ｙ座標値ｙ１とｙ座標値ｙ２の他に更に人物の性別と年齢とから推定される平均身長の情報を加えて推定点ｅ１と推定点ｅ２とを算出することを特徴とする。
前記移動体情報管理装置が、
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１のステップと、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２のステップと、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３のステップと、を備えることを特徴とする。
また、前記位置測定装置として測域センサを用いることを特徴とする。
また、前記第１のステップと前記第２のステップにおいて、ｙ座標値ｙ１とｙ座標値ｙ２の他に更に人物の性別と年齢とから推定される平均身長の情報を加えて推定点ｅ１と推定点ｅ２とを算出することを特徴とする。
本発明に係る移動体情報管理装置は、カメラで撮影された情報を分析して得られる人物の属性情報と、位置測定装置で測定された情報を分析して得られる人物の動線情報とを対応づける装置であって、
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１の手段と、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２の手段と、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３の手段と、を備えることを特徴とする。
また、位置測定装置として測域センサを用いることを特徴とする。
また、前記第１の手段と前記第２の手段において、ｙ座標値ｙ１とｙ座標値ｙ２の他に更に人物の性別と年齢とから推定される平均身長の情報を加えて推定点ｅ１と推定点ｅ２とを算出することを特徴とする。
また、位置測定装置として測域センサを用いることを特徴とする。
また、前記第１の手段と前記第２の手段において、ｙ座標値ｙ１とｙ座標値ｙ２の他に更に人物の性別と年齢とから推定される平均身長の情報を加えて推定点ｅ１と推定点ｅ２とを算出することを特徴とする。
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１の手段と、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２の手段と、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３の手段と、を備えることを特徴とする。
また、位置測定装置として測域センサを用いることを特徴とする。
また、前記第１の手段と前記第２の手段において、ｙ座標値ｙ１とｙ座標値ｙ２の他に更に人物の性別と年齢とから推定される平均身長の情報を加えて推定点ｅ１と推定点ｅ２とを算出することを特徴とする。
また、位置測定装置として測域センサを用いることを特徴とする。
また、前記第１の手段と前記第２の手段において、ｙ座標値ｙ１とｙ座標値ｙ２の他に更に人物の性別と年齢とから推定される平均身長の情報を加えて推定点ｅ１と推定点ｅ２とを算出することを特徴とする。
本発明に係るプログラムは、カメラで撮影された情報を分析して得られる人物の属性情報と、位置測定装置で測定された情報を分析して得られる人物の動線情報とを対応づける移動体情報管理で使用するプログラムであって、
前記移動体情報管理を、
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１の手段と、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２の手段と、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３の手段として機能させることを特徴とするプログラム。
前記移動体情報管理を、
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１の手段と、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２の手段と、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３の手段として機能させることを特徴とするプログラム。
本発明によれば、カメラで取得した顧客の属性情報と測域センサで取得した動線情報とを対応付けることが可能となり、どのような属性を持った顧客がどのように店舗を回遊したかが把握できる。さらに、この情報を元にして店舗のレイアウト変更など店舗の売上向上などの施策を実施することが可能となる。
以下、図面に基づいて、本発明の実施の形態を説明する。なお、本発明の実施態様は、後述する形態例に限定されるものではなく、その技術思想の範囲において、種々の変形が可能である。また、実施の形態を説明するための全図において、同一の機能を有する部材には同一または関連する符号を付し、その繰り返しの説明は省略する。
図１は、本発明の実施形態に関わる移動体情報管理システム構成のブロック図である。
この実施形態の移動情報管理システムは、店舗１０１に設置されたカメラ１０２、位置測定装置１０３、移動体情報管理サーバ１０６で構成される。
この実施形態の移動情報管理システムは、店舗１０１に設置されたカメラ１０２、位置測定装置１０３、移動体情報管理サーバ１０６で構成される。
カメラ１０２は、店舗１０１の出入口１０５の方向を撮影し、映像をネットワーク１０７を介して移動体情報管理サーバ１０６に送信する。ここでは、カメラ１０２は出入口１０５の方向を撮影しているとしたが、撮影する領域は任意で良い。また、カメラも１台だけでなく複数台あってもよい。カメラとしては、店舗に設置された防犯カメラやウェブカメラが相当する。
位置測定装置１０３は、店舗内を顧客が時々刻々とどのように移動したか（動線）の情報を記録する装置である。位置測定装置１０３としては、測域センサ、屋内GPS(Global Positioning System)、Wi-Fi電波強度による位置測定装置が該当する。例えば位置測定装置１０３が測域センサである場合、ある時刻における測域センサと店舗内の対象物との距離を測定し、対象物が人物の部分を分析して抽出することで、店舗内の動線を知ることができる。なお、図１には位置測定装置１０３を４つ示したが、台数は限定されない。
ネットワーク１０７は、カメラ１０２と位置測定装置１０３とが、移動体情報管理サーバ１０６に対して通信できるようにするためのものであり、例えばイーサネット（登録商標）、Wi-Fi（登録商標）、USB(Universal Serial Bus)等が相当するが、これらに限定されない。
なお、カメラ１０２、位置測定装置１０３は測定中にネットワーク１０７と必ずしも接続されている必要はない。例えば、カメラ１０２が撮影した映像をカメラ内に情報として記録し、店舗の閉店後にカメラ１０２内の情報を移動体情報管理サーバ１０６に送信してもよい。
図２に、移動体情報管理サーバ１０６の構成を示す。
移動体情報管理サーバ１０６は、位置測定装置１０３から測定情報を取得して動線情報２０５を作成する移動情報管理部２０１と、カメラ１０２から映像を取得して分析することで、カメラに映った顧客の属性（年齢、性別等）を推測して属性情報２０６を作成する属性情報管理部２０２と、カメラ１０２の前を通過した顧客の動線と属性とを対応付けて動線属性対応情報２０７を作成する動線属性情報管理部２０３と、記憶部２０４と、
ネットワーク接続部２０８とで構成される。
移動体情報管理サーバ１０６は、位置測定装置１０３から測定情報を取得して動線情報２０５を作成する移動情報管理部２０１と、カメラ１０２から映像を取得して分析することで、カメラに映った顧客の属性（年齢、性別等）を推測して属性情報２０６を作成する属性情報管理部２０２と、カメラ１０２の前を通過した顧客の動線と属性とを対応付けて動線属性対応情報２０７を作成する動線属性情報管理部２０３と、記憶部２０４と、
ネットワーク接続部２０８とで構成される。
記憶部２０４には、動線情報２０５と、属性情報２０６と、動線属性対応情報２０７とが保存される。記憶部２０４としては、RAM、HDDなどが相当する。
本実施形態の場合、移動体情報管理サーバ１０６は、サーバ、PC(Personal Computer)、仮想マシンなどを想定する。なお、移動体情報管理サーバ１０６には、図示しないが、CPU(Central Processing Unit)、メモリ、入力指示装置（キーボード、マウス）などが必要に応じて搭載されているものとする。
また、移動体情報管理サーバ１０６が設置されている場所については限定しない。店舗内に設置されていてもよいし、クラウド上にあってもよい。図２に移動体情報管理サーバ１０６の構成を示しているが、個々の構成要素は別々の移動体情報管理サーバ１０６にあってもよい。
図３は属性情報２０６の構成を示す図である。
図３の属性情報２０６について、二行目の項目を例に取って説明する。
属性情報管理部２０２が、カメラ１０２が撮影した映像を解析して人物の顔を検出する。検出した顔毎に固有の識別子「１」をfield_id３０１として割り当て、検出した時刻「2013-05-01T10:00:00.000+09:00」をstart_time３０２とし、映像内の顔の中心座標の横成分「２００」をstart_cx３０４、縦成分「３００」をstart_cy３０５とする。
属性情報管理部２０２は、顔を検出した後に当該人物を追跡し、当該人物がカメラの撮影範囲から外れたり、顔が識別不能になった場合に追跡を終了する。
その際の終了時刻「2013-05-01T10:00:05.123+09:00」をend_time３０３とし、映像内の顔の中心座標の横成分「５００」をend_cx３０６、縦成分「４００」をend_cy３０７とする。
また、属性情報管理部２０２は、当該人物の年齢や性別を推定し、年齢「２０」をage３０８、性別「男」をgender３０９とする。
図３の属性情報２０６について、二行目の項目を例に取って説明する。
属性情報管理部２０２が、カメラ１０２が撮影した映像を解析して人物の顔を検出する。検出した顔毎に固有の識別子「１」をfield_id３０１として割り当て、検出した時刻「2013-05-01T10:00:00.000+09:00」をstart_time３０２とし、映像内の顔の中心座標の横成分「２００」をstart_cx３０４、縦成分「３００」をstart_cy３０５とする。
属性情報管理部２０２は、顔を検出した後に当該人物を追跡し、当該人物がカメラの撮影範囲から外れたり、顔が識別不能になった場合に追跡を終了する。
その際の終了時刻「2013-05-01T10:00:05.123+09:00」をend_time３０３とし、映像内の顔の中心座標の横成分「５００」をend_cx３０６、縦成分「４００」をend_cy３０７とする。
また、属性情報管理部２０２は、当該人物の年齢や性別を推定し、年齢「２０」をage３０８、性別「男」をgender３０９とする。
ここで、例えば「2013-05-01T10:00:00.000+09:00」は、2013年5月1日10時00分00秒000ミリ秒(時差9時間)を意味するが、時刻の表現方法は限定しない。
なお、属性情報２０６は一例であり、年齢や性別以外の属性情報を含んでいてもよい。
なお、属性情報２０６は一例であり、年齢や性別以外の属性情報を含んでいてもよい。
図４は動線情報２０５の構成を示す図である。
図４の動線情報２０５について、二行目の項目を例に取って説明する。
動線情報管理部２０１が、位置測定装置１０３が測定した情報を解析して店舗内の顧客の位置を検出する。検出した顧客毎に固有の識別子「１」をhuman_id４０１として割り当て、検出した時刻「2013-05-01T10:00:00.000+09:00 」をtime４０２とし、店舗内の顧客の座標の横成分「１００」をx４０３、縦成分「２００」をy４０４とする。
動線情報管理部２０１は、定期的若しくは非定期的に店舗内の顧客の位置情報を動線情報２０５として記録する。但し、human_id４０１については、以前に検出した顧客と同一人物と推定される場合には、その際に採番した識別子を用いる。
従って、例えば動線情報２０５からhuman_id４０１が「１」のものだけ取り出すと、human_id４０１が「１」と割り当てられた顧客が、どの時刻に店舗内のどこに存在したかの一連の情報が分かることになる。
図４の動線情報２０５について、二行目の項目を例に取って説明する。
動線情報管理部２０１が、位置測定装置１０３が測定した情報を解析して店舗内の顧客の位置を検出する。検出した顧客毎に固有の識別子「１」をhuman_id４０１として割り当て、検出した時刻「2013-05-01T10:00:00.000+09:00 」をtime４０２とし、店舗内の顧客の座標の横成分「１００」をx４０３、縦成分「２００」をy４０４とする。
動線情報管理部２０１は、定期的若しくは非定期的に店舗内の顧客の位置情報を動線情報２０５として記録する。但し、human_id４０１については、以前に検出した顧客と同一人物と推定される場合には、その際に採番した識別子を用いる。
従って、例えば動線情報２０５からhuman_id４０１が「１」のものだけ取り出すと、human_id４０１が「１」と割り当てられた顧客が、どの時刻に店舗内のどこに存在したかの一連の情報が分かることになる。
上記までは動線情報２０５と属性情報２０６とを別々に関連がないものとして説明した。しかし、店舗内でどのような属性（性別・年齢）をもった顧客が、どのような経路で買い回りをしているか、という情報が得られると、店舗の売上向上などの施策を打ち立てる際に、より価値の高い情報として利用できる。
次に、店舗の出入口１０５から入店した顧客に対して割り当てられた属性と動線とを対応付ける方法について説明する。
まず、図６を用いて属性と動線との対応付けに必要となる基準線について説明する。ここでカメラ画像６０１は、カメラ１０２で出入口１０５を撮影した場合の一例である。
始点６０５、終点６０７は顧客の顔の中心を表している。ここでは仮想的に、顧客がカメラ１０２の前を始点６０５から終点６０７の位置まで移動した場合の始点６０５と終点６０７とを同一のカメラ画像６０１に図示している。
まず、図６を用いて属性と動線との対応付けに必要となる基準線について説明する。ここでカメラ画像６０１は、カメラ１０２で出入口１０５を撮影した場合の一例である。
始点６０５、終点６０７は顧客の顔の中心を表している。ここでは仮想的に、顧客がカメラ１０２の前を始点６０５から終点６０７の位置まで移動した場合の始点６０５と終点６０７とを同一のカメラ画像６０１に図示している。
カメラ画像６０１で撮影した領域が店舗１０１内の実空間内のどの領域に対応するか決めるために、基準線６０２を設定する。ここで基準線６０２の左端を点Ｐ６０３、右端を点Ｑ６０４とする。基準線６０２としては、例えば店舗の自動ドアや防犯ゲートの床面接地部分のように直線になっており、かつ点Ｐ６０３、点Ｑ６０４が自動ドアの両端、防犯ゲートの両端のようにカメラ画像内の位置と、店舗内の実際の位置とが対応付けられるものが良い。
＜基準線からの距離の推定＞
図６の始点６０５と終点６０７とを比較すると、顧客がカメラ１０２に近づくほど、顔の中心位置はカメラ画像６０１の下部に移動していくことが分かる。具体的に図６、図７を用いて説明をする。終点６０７から基準線６０２に垂直に引いた線との交点を交点E６０８とし、交点E６０８の実空間上の対応する点を図７の交点E'７０４とし、カメラ１０２の実空間上の設置位置を点O'７０６とすると、終点６０７を持つ人物は、実空間上では交点E'７０４と点O'７０６とを結ぶ直線上に存在することになる。交点E６０８と交点E'７０４との対応方法としては、交点E６０８が基準線６０２をｍ対ｎに内分したとすると、基準線７０１をｍ対ｎに内分するような点を交点E'７０４とする。
ここでカメラ画像６０１内の基準線６０２、点P６０３、点Q６０４は、実空間上では、基準線７０１、点P'７０２、点Q'７０３にそれぞれ対応するとする。
図６の始点６０５と終点６０７とを比較すると、顧客がカメラ１０２に近づくほど、顔の中心位置はカメラ画像６０１の下部に移動していくことが分かる。具体的に図６、図７を用いて説明をする。終点６０７から基準線６０２に垂直に引いた線との交点を交点E６０８とし、交点E６０８の実空間上の対応する点を図７の交点E'７０４とし、カメラ１０２の実空間上の設置位置を点O'７０６とすると、終点６０７を持つ人物は、実空間上では交点E'７０４と点O'７０６とを結ぶ直線上に存在することになる。交点E６０８と交点E'７０４との対応方法としては、交点E６０８が基準線６０２をｍ対ｎに内分したとすると、基準線７０１をｍ対ｎに内分するような点を交点E'７０４とする。
ここでカメラ画像６０１内の基準線６０２、点P６０３、点Q６０４は、実空間上では、基準線７０１、点P'７０２、点Q'７０３にそれぞれ対応するとする。
次に、当該人物の実空間上の存在位置を推定する方法を説明する。
推定された位置を推定点E'７０５とすると、推定点E'７０５は、基準線７０１から距離RE'７０６離れた距離に基準線７０１と平行に引いた直線L'７０７と交点E'７０４と点O'７０８との交点になる。したがって、カメラ画像６０１内の終点６０７から距離RE'７０６が推定できれば、推定点E'７０５が算出できることになる。
推定された位置を推定点E'７０５とすると、推定点E'７０５は、基準線７０１から距離RE'７０６離れた距離に基準線７０１と平行に引いた直線L'７０７と交点E'７０４と点O'７０８との交点になる。したがって、カメラ画像６０１内の終点６０７から距離RE'７０６が推定できれば、推定点E'７０５が算出できることになる。
距離RE'７０６の推定方法の一例を説明する。
例えば、カメラ画像６０１の縦幅を６００ピクセルとし、人物が基準線６０２上に立った場合の顔の中心位置のｙ座標値をカメラ画像６０１の上部から測って２００ピクセルであり、カメラ１０２前に立った場合に顔の中心位置のｙ座標値が６００ピクセルだったとする。この場合、ｙ座標値と基準線６０２からの距離を線形補間することで、ｙ座標値が４００であれば、基準線６０２とカメラ１０２との中間地点に人物が存在したと推定することができる。
例えば、カメラ画像６０１の縦幅を６００ピクセルとし、人物が基準線６０２上に立った場合の顔の中心位置のｙ座標値をカメラ画像６０１の上部から測って２００ピクセルであり、カメラ１０２前に立った場合に顔の中心位置のｙ座標値が６００ピクセルだったとする。この場合、ｙ座標値と基準線６０２からの距離を線形補間することで、ｙ座標値が４００であれば、基準線６０２とカメラ１０２との中間地点に人物が存在したと推定することができる。
上記ではｙ座標値のみを用いたが、属性情報２０６には年齢・性別の情報も含まれることから、例えば年代別性別ごとの全国平均身長の情報を加味して距離RE'７０６を推定してもよい。例えば、子どもと大人では身長が子どもの方が一般に低いため、大人と子供が出入口に立った場合に、カメラ画像内のｙ座標値は子どもの方が大きくなる。これを踏まえた上で上記補間方法を変更することもできる。
＜スコアの導入＞
以下に、本発明の特徴となるスコアの概念について述べる。まず、店舗の出入口が狭いために同一時刻には一人しか入店できない場合や、出入口が広くても人の出入りが少ない場合を考える。この場合は、カメラ１０２に人が映った時刻と、位置測定装置１０３が出入口で人を検出した時刻とを対応させることで、動線と属性を簡単に対応付けることができる。
以下に、本発明の特徴となるスコアの概念について述べる。まず、店舗の出入口が狭いために同一時刻には一人しか入店できない場合や、出入口が広くても人の出入りが少ない場合を考える。この場合は、カメラ１０２に人が映った時刻と、位置測定装置１０３が出入口で人を検出した時刻とを対応させることで、動線と属性を簡単に対応付けることができる。
しかし、例えば家族連れ顧客など複数人が同時に出入口から入店する場合は、カメラ１０２に人が映った時刻に、位置測定装置１０３は複数人検知するため、時刻のみではどの属性とどの動線とを対応付けてよいか判断できない。
そこで本発明では、顔が検出された時刻における推定点と、前記時刻における人の位置との距離をスコアとして、スコアを最小化する動線を抽出する。
図１０を用いて、スコア最小化の意味を説明する。図１０では、二人が出入口１０５から入店し、それぞれ動線Ａ１００１、動線Ｂ１００２が位置測定装置１０３により得られた場合を想定する。また、カメラ１０２が入店者を検出して対応する属性情報２０６を作成した場合を想定する。この時のstart_time３０２の値を、仮に「時刻Ｔ」とする。
そこで本発明では、顔が検出された時刻における推定点と、前記時刻における人の位置との距離をスコアとして、スコアを最小化する動線を抽出する。
図１０を用いて、スコア最小化の意味を説明する。図１０では、二人が出入口１０５から入店し、それぞれ動線Ａ１００１、動線Ｂ１００２が位置測定装置１０３により得られた場合を想定する。また、カメラ１０２が入店者を検出して対応する属性情報２０６を作成した場合を想定する。この時のstart_time３０２の値を、仮に「時刻Ｔ」とする。
上記想定のもと、前述の方法に従って「時刻Ｔ」における推定点１００７を求める。次に、動線Ａ１００１・動線Ｂ１００２のそれぞれについて「時刻Ｔ」に最も近い時刻における位置測定装置１０３が測定した位置を、それぞれ位置Ａ１００３、位置Ｂ１００４とする。この時、位置Ａ１００３と推定点１００７との距離を距離Ａ１００５、位置Ｂ１００４と推定点１００７との距離を距離Ｂ１００６を求める。距離Ａ１００５と距離Ｂ１００６とを比較すると、距離Ａ１００５の方が小さい。すなわち、「時刻Ｔ」においてカメラ１０２に映った顔の位置から推定された推定点１００７に最も近い場所に存在したのが動線Ａに対応する人だと判断できる。
このように、スコアを導入することで、複数人が出入口１０５から入店した場合においても、属性情報２０６と対応させるべき人を適切に選び出すことが可能となる。
このように、スコアを導入することで、複数人が出入口１０５から入店した場合においても、属性情報２０６と対応させるべき人を適切に選び出すことが可能となる。
尚、上記では説明を簡単にするため、スコアとしてstart_time３０２に対応する推定点と前記時刻に最も近い時刻における人の位置との距離をスコアとしたが、左記に加えてend_time３０３に対応する推定点と前記時刻に最も近い時刻における人の位置との距離の合計値をスコアとした方が、より精度が高まる。
＜動線と属性との対応方法＞
以上に基づき、動線情報２０５と属性情報２０６とが与えられた場合に、動線属性情報管理部２０３が動線属性対応情報２０７を作成する方法について説明する。
動線属性対応情報２０７は図５に示すように、face_id３０１とhuman_id４０１とを対応付ける表で構成される。
以上に基づき、動線情報２０５と属性情報２０６とが与えられた場合に、動線属性情報管理部２０３が動線属性対応情報２０７を作成する方法について説明する。
動線属性対応情報２０７は図５に示すように、face_id３０１とhuman_id４０１とを対応付ける表で構成される。
以下、図８と図９のフローチャートとを用いて、動線属性対応情報２０７を作成する手順を説明する。
まず、属性情報２０６から上から順に一行取り出す（ステップ９０１）。
次に、動線情報２０５の中の各human_id４０１毎に、ステップ９０１で取り出した属性のstart_time３０２、end_time３０３ぞれぞれに対して最も近いtime４０２を持つ行を探す（ステップ９０２）。例えば、human_id４０１が「１」のものが含まれていたとすると、図８の動線T'８０９に示すように、顧客が店舗を時々刻々と移動しているうち、前記start_time３０２に最も近いtime４０２の時に、位置S'８０４、同様に前記end_time３０３に最も近いtime４０２の時に、位置E'８０８に存在したということが分かる。
ここで、前記start_time３０２を始点、前記end_time３０３を終点とすると、カメラ画像６０１において、人物の顔の中心はそれぞれ始点６０５、終点６０７に対応することになる。
まず、属性情報２０６から上から順に一行取り出す（ステップ９０１）。
次に、動線情報２０５の中の各human_id４０１毎に、ステップ９０１で取り出した属性のstart_time３０２、end_time３０３ぞれぞれに対して最も近いtime４０２を持つ行を探す（ステップ９０２）。例えば、human_id４０１が「１」のものが含まれていたとすると、図８の動線T'８０９に示すように、顧客が店舗を時々刻々と移動しているうち、前記start_time３０２に最も近いtime４０２の時に、位置S'８０４、同様に前記end_time３０３に最も近いtime４０２の時に、位置E'８０８に存在したということが分かる。
ここで、前記start_time３０２を始点、前記end_time３０３を終点とすると、カメラ画像６０１において、人物の顔の中心はそれぞれ始点６０５、終点６０７に対応することになる。
次に、上記で説明したように、カメラ画像内で始点６０５、終点６０７に対応する交点S６０６、交点E６０８を求め、実空間上で対応する交点S'８０１、交点E'８０５を求める。これらの情報を用い、ステップ９０１で取得した顔の中心位置のｙ座標値start_cy３０５、end_cy３０７から、推定点S'８０２、推定点E'８０６を推定する（ステップ９０３）。
さらに、各human_id毎に推定点S'８０２と位置S'８０４との距離RS'８０３、および推定点E'８０６と位置E'８０８との距離RE'８０７を求め、距離RS'８０３と距離RE'８０７との合計値をスコアとする（ステップ９０４）。
さらに、各human_id毎に推定点S'８０２と位置S'８０４との距離RS'８０３、および推定点E'８０６と位置E'８０８との距離RE'８０７を求め、距離RS'８０３と距離RE'８０７との合計値をスコアとする（ステップ９０４）。
以上により、face_id３０１ひとつにつき、各human_id４０１とスコアとの組の情報が得られることになる。この中からスコアを最小とするhuman_id４０１を選ぶ（ステップ９０５）。これにより、face_id３０１に対応したhuman_id４０１をひとつ与えることができ、face_id３０１とhuman_id３０１との組を動線属性対応情報２０７として記録する（ステップ９０６）。
上述の手順を属性情報２０５の項目がなくなるまで繰り返し（ステップ９０７）、動線属性対応情報２０７の作成を終了する。
上述の手順を属性情報２０５の項目がなくなるまで繰り返し（ステップ９０７）、動線属性対応情報２０７の作成を終了する。
以上のようにして店舗内でカメラ１０２と位置測定装置１０３との測定情報から得られた顧客の属性と動線とを、上記の手法で対応付けることにより、属性情報付きの動線が得られる。これを元にして、どの属性を持つ顧客が店舗内をどのように回遊しているかなどを分析することができ、店舗の売上向上の施策の計画に利用できる。
１０１…店舗
１０２…カメラ
１０３…位置測定装置
１０６…移動体情報管理サーバ
２０１…動線情報管理部
２０２…属性情報管理部
２０３…動線属性情報管理部
２０５…動線情報
２０６…属性情報
２０７…動線属性対応情報
１０２…カメラ
１０３…位置測定装置
１０６…移動体情報管理サーバ
２０１…動線情報管理部
２０２…属性情報管理部
２０３…動線属性情報管理部
２０５…動線情報
２０６…属性情報
２０７…動線属性対応情報
Claims (7)
- カメラで撮影された情報を分析して得られる人物の属性情報と、
位置測定装置で測定された情報を分析して得られる人物の動線情報とを移動体情報管理装置によって対応付ける方法であって、
前記移動体情報管理装置が、
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１のステップと、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２のステップと、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３のステップと、を備えることを特徴とする移動体情報管理方法。 - 前記位置測定装置として測域センサを用いることを特徴とする請求項１に記載の移動体情報管理方法。
- 前記第１のステップと前記第２のステップにおいて、ｙ座標値ｙ１とｙ座標値ｙ２の他に更に人物の性別と年齢とから推定される平均身長の情報を加えて推定点ｅ１と推定点ｅ２とを算出することを特徴とする請求項１または請求項２に記載の移動体情報管理方法。
- カメラで撮影された情報を分析して得られる人物の属性情報と、位置測定装置で測定された情報を分析して得られる人物の動線情報とを対応付ける装置であって、
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１の手段と、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２の手段と、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３の手段と、を備えることを特徴とする移動体情報管理装置。 - 前記位置測定装置として測域センサを用いることを特徴とする請求項４に記載の移動体情報管理装置。
- 前記第１の手段と前記第２の手段において、ｙ座標値ｙ１とｙ座標値ｙ２の他に更に人物の性別と年齢とから推定される平均身長の情報を加えて推定点ｅ１と推定点ｅ２とを算出することを特徴とする請求項４または請求項５に記載の移動体情報管理装置。
- カメラで撮影された情報を分析して得られる人物の属性情報と、位置測定装置で測定された情報を分析して得られる人物の動線情報とを対応づける移動体情報管理で使用するプログラムであって、
前記移動体情報管理を、
前記属性情報内の特定の属性識別子を持つ属性に含まれる時刻ｔ１におけるカメラ画像内の顔の中心位置のｙ座標値ｙ１から実空間内で人物が存在する推定点ｅ１を算出する第１の手段と、
前記属性情報内の前記特定の属性識別子を持つ属性に含まれる時刻ｔ２におけるカメラ画像内の顔の中心位置のｙ座標値ｙ２から実空間内で人物が存在する推定点ｅ２を算出する第２の手段と、
前記動線情報内の各動線識別子毎に前記時刻ｔ１に最も近い時刻における実空間内の位置と前記推定点ｅ１との間の距離と、前記動線情報内の各動線識別子毎に前記時刻ｔ２に最も近い時刻における実空間内の位置と前記推定点ｅ２との間の距離との和をスコアとし、前記スコアを最小とする動線識別子と前記特定の属性識別子とを対応付ける第３の手段として機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013203615A JP6067527B2 (ja) | 2013-09-30 | 2013-09-30 | 移動体情報管理方法及び装置並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013203615A JP6067527B2 (ja) | 2013-09-30 | 2013-09-30 | 移動体情報管理方法及び装置並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015069452A JP2015069452A (ja) | 2015-04-13 |
| JP6067527B2 true JP6067527B2 (ja) | 2017-01-25 |
Family
ID=52836037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013203615A Active JP6067527B2 (ja) | 2013-09-30 | 2013-09-30 | 移動体情報管理方法及び装置並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6067527B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11023739B2 (en) | 2016-11-21 | 2021-06-01 | Nec Corporation | Flow line combining device, flow line combining method, and recording medium |
| US20230267506A1 (en) | 2020-06-22 | 2023-08-24 | Nec Corporation | Matching device, sales promotion assistance system, matching method, and non-transitory computer-readable medium |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6658348B2 (en) * | 2001-10-09 | 2003-12-02 | Hewlett-Packard Development Company, L.P. | Systems and methods for providing information to users |
| JP4125634B2 (ja) * | 2003-05-26 | 2008-07-30 | Ｎｅｃソフト株式会社 | 顧客情報収集管理方法及びそのシステム |
| JP4753193B2 (ja) * | 2008-07-31 | 2011-08-24 | 九州日本電気ソフトウェア株式会社 | 動線管理システムおよびプログラム |
| JP5147760B2 (ja) * | 2009-03-02 | 2013-02-20 | セコム株式会社 | 画像監視装置 |
| JP5448952B2 (ja) * | 2010-03-16 | 2014-03-19 | グローリー株式会社 | 同一人判定装置、同一人判定方法および同一人判定プログラム |
| JP5950296B2 (ja) * | 2012-01-27 | 2016-07-13 | 国立研究開発法人産業技術総合研究所 | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム |
-
2013
- 2013-09-30 JP JP2013203615A patent/JP6067527B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015069452A (ja) | 2015-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Structural displacement monitoring using deep learning-based full field optical flow methods | |
| Wang et al. | Vision-based framework for automatic progress monitoring of precast walls by using surveillance videos during the construction phase | |
| Liu et al. | Tracking-based 3D human skeleton extraction from stereo video camera toward an on-site safety and ergonomic analysis | |
| JP6622894B2 (ja) | 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード | |
| JP5950296B2 (ja) | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム | |
| US8965050B2 (en) | Behavior analysis device | |
| CN107025658A (zh) | 采用单个相机检测运动物体的方法和系统 | |
| JP5853141B2 (ja) | 人数計測装置、人数計測システムおよび人数計測方法 | |
| JP6120404B2 (ja) | 移動体行動分析・予測装置 | |
| US10638115B2 (en) | Calibration device | |
| EP2450832A1 (en) | Image processing apparatus and image processing method | |
| KR102096230B1 (ko) | 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정 | |
| US20210209793A1 (en) | Object tracking device, object tracking method, and object tracking program | |
| CN105424026A (zh) | 一种基于点云轨迹的室内导航定位方法与系统 | |
| Zhao et al. | Video‐based multiscale identification approach for tower vibration of a cable‐stayed bridge model under earthquake ground motions | |
| CN109961472B (zh) | 3d热力图生成的方法、系统、存储介质及电子设备 | |
| JP2017083980A (ja) | 行動分析装置及びシステム及び方法 | |
| JP2021536649A (ja) | 対象の検出と追跡のためのビデオ監視システムを構築する方法 | |
| JP2017224148A (ja) | 人流解析システム | |
| JP6067527B2 (ja) | 移動体情報管理方法及び装置並びにプログラム | |
| CN112513870A (zh) | 用于利用改进的高度计算对感兴趣的人类对象进行检测、跟踪和计数的系统和方法 | |
| JP2016066111A (ja) | 動線編集装置及び動線編集方法、動線編集プログラム | |
| Ettehadieh | Systematic parameter optimization and application of automated tracking in pedestrian-dominant situations | |
| WO2023152825A1 (ja) | 動作評価システム、動作評価方法、及び非一時的なコンピュータ可読媒体 | |
| JP7010030B2 (ja) | 店内監視装置、店内監視方法、および店内監視プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150413 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150420 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6067527 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |