JP6800820B2 - 人流分析方法、人流分析装置、及び人流分析システム - Google Patents

Description

本開示は、人の流れを分析する人流分析方法、人流分析装置、及び該人流分析装置を備える人流分析システムに関し、例えば、人物がどの順序で店舗を移動したかを判断する人流分析方法、人流分析装置、及び該人流分析装置を備える人流分析システムに関するものである。

近年、多数の店舗が併設されたショッピングモール等の商業施設が多く建設され、ユーザは、多数の店舗から種々の商品を購入することができる。このような商業施設又は各店舗では、ユーザの消費動向を把握し、さらに販売を増加させるため、ユーザがどのような店舗をどのような順序で巡回して商品を購入したかを調査することにより、人の流れを分析する人流分析が行われている。

上記の人流分析に関して、例えば、特許文献１には、動線管理システムが、顔画像を登録する登録者データベースと、複数の撮影エリアで撮影された画像から顔画像を検出する顔検出エンジンと、顔検出エンジンで検出された顔画像と、登録者データベースに登録された顔画像と照合する顔認証エンジンを備え、複数の撮影エリアで撮影された画像に映る来店客の動線を算出・記録することが開示されている。

また、特許文献２には、各店舗の区画に合わせて通信範囲が設定された近距離無線通信のアクセスポイントに接続される情報処理端末と情報処理システムとを含み、情報処理端末は、店舗に設置されたアクセスポイントの通信範囲に進入した利用客の携帯端末からユーザ識別情報を取得したことに応答して利用客の入店情報を情報処理システムに送信する入店情報送信部と、携帯端末との間に確立した近距離無線通信の切断に応答して利用客の退店情報を情報処理システムに送信する退店情報送信部とを含み、情報処理システムは、入店情報を記録する入店情報記録部と、退店情報を記録する退店情報記録部と、各利用客の入店情報及び退店情報に基づいて行動履歴情報を生成する行動履歴情報生成部とを含む情報収集システムが開示されている。

特開２０１０−５５５９４号公報 特開２０１６−１７７５３９号公報

しかしながら、上記の従来技術では、人物が所有する所有物については何ら検討されておらず、人物が来店した店舗の順序を分析する方法について、更なる改善が必要とされていた。

本開示は、上記の課題を解決するためになされたもので、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる人流分析方法、人流分析装置、及び人流分析システムを提供することを目的とするものである。

本開示の一態様に係る人流分析方法は、人の流れを分析する人流分析装置における人流分析方法であって、人物の外観画像を取得し、前記外観画像から前記人物を識別し、前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する。

本開示によれば、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる。

本開示の実施の形態１に係る人流分析システムの構成の一例を示すブロック図である。 人物画像の時系列的な変化の一例を示す模式図である。 図１に示すカメラの配置例を示す図である。 図１に示す人流分析装置の構成の一例を示すブロック図である。 人物が所有する所有物の変化の一例を説明するための模式図である。 図４に示す画像情報取得部が作成する画像ファイルテーブルの一例を示す図である。 図４に示す人物識別部が使用する人物識別用テーブルの一例を示す図である。 図４に示す店舗推定部が使用する店舗推定用テーブルの一例を示す図である。 図４に示す来店順序判断部が使用する店舗テーブルの一例を示す図である。 図４に示すデータベースに格納される来店順序推定テーブルの一例を示す図である。 人物が所有する所有物の変化の他の例を説明するための模式図である。 図４に示すデータベースに格納される来店順序推定テーブルの他の例を示す図である。 図４に示す来店順序判断部が作成する統合店舗テーブルの一例を示す図である。 図１に示す人流分析システムによる人流分析処理の一例を示すシーケンス図である。 本開示の実施の形態２に係る人流分析システムの人流分析装置の構成の一例を示すブロック図である。 図１５に示す人物グループ識別部が作成する人物グループテーブルの一例を示す図である。 図１５に示すデータベースに格納される来店順序推定テーブルの一例を示す図である。 本開示の実施の形態２に係る人流分析システムによる人流分析処理の一例を示すシーケンス図である。 人物を撮影するカメラと所有物を撮影するカメラとを用いる場合の第１の配置例を示す模式図である。 人物が荷物袋を所持している場合の側面図である。 人物が荷物袋を所持している場合の正面図である。 人物を撮影するカメラと所有物を撮影するカメラとを用いる場合の第２の配置例を示す模式図である。 荷物袋の手持ち部分の第１の例及びこの例の荷物袋の持ち方を示す模式図である。 荷物袋の手持ち部分の第２の例及びこの例の荷物袋の持ち方を示す模式図である。 荷物袋の手持ち部分の第３の例及びこの例の荷物袋の持ち方を示す模式図である。 荷物袋に貼られる貼付部材の第１の例を示す図である。 荷物袋に貼られる貼付部材の第２の例を示す図である。 商品の種類と貼付部材の色との対応関係を示す第１の色彩情報テーブルの一例を示す図である。 商品の値段と貼付部材の色の濃度との対応関係を示す第２の色彩情報テーブルの一例を示す図である。 図１９に示す荷物袋の外観画像を撮影するカメラにより撮影された外観画像の一例を示す図である。 バーコードが付与された貼付部材の一例を示す図である。

（本開示の基礎となった知見）
上記の特許文献１では、監視カメラが複数の撮影エリア（例えば、正面入り口、化粧品売り場、雑貨売り場、婦人服売り場、通用口など）に配置され、当該撮影エリアにいる来店客を撮影して画像を取得している。したがって、多数の店舗が併設された商業施設では、監視カメラを店舗又は売り場ごとに配置する必要がある。このため、多数の監視カメラを使用する必要があり、動線管理システムの構成が複雑になる。

また、特許文献２でも、店舗に設置されたアクセスポイントを使用しているため、多数の店舗が併設された商業施設では、アクセスポイントを店舗又は売り場ごとに配置する必要がある。このため、多数のアクセスポイントを使用する必要があり、情報収集システムの構成が複雑になる。

また、特許文献１では、撮影された画像から顔画像を検出して登録者データベースに登録された顔画像と照合することにより、複数の撮影エリアで撮影された画像に映る来店客の動線を算出及び記録している。しかしながら、人物の顔が十分に特定可能に撮影されていない場合、顔画像のみでは人物を正確に識別することができず、人物が来店した店舗の順序を正確に判断することができない。

一方、来店客が商品を購入等した時に店舗で渡された荷物袋（バッグ、包装紙等を含む）には、店舗名やブランド名が描かれているので、商品を購入等した後、来店客は所有物として荷物袋を所持している。したがって、人物が所持している荷物袋を認識し、同じ人物が直前に持っていた荷物袋との差分を取ることにより、人物がどの順番で店舗間を移動したかがわかる。このように、人物の所有物を利用することにより、人物が来店した店舗を正確に判断することができる。

上記の知見に基づき、本願発明者らは、人物が来店した店舗の順序を如何にして簡易な構成で高精度に判断できるかについて鋭意検討を行った結果、人物が所有する所有物に着目し、本開示を完成したものである。

本開示の一態様に係る人流分析方法は、人の流れを分析する人流分析装置における人流分析方法であって、人物の外観画像を取得し、前記外観画像から前記人物を識別し、前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する。

このような構成により、人物の外観画像を取得し、取得した外観画像から人物を識別するとともに、取得した外観画像から人物が所有する所有物を特定して、特定した所有物から所有物を取得した店舗を推定し、識別した人物を示す人物情報と、推定した店舗を示す店舗情報と、外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、記憶部に記憶された店舗情報が示す店舗の時系列上の変化を基に、人物が来店した店舗の順序を判断している。

したがって、外観画像を撮影するカメラを店舗毎に配置することなく、人物の外観画像から所有物を特定し、特定した所有物から所有物を取得した店舗を正確に推定することができるので、推定した店舗の時系列上の変化、例えば、新たに追加された店舗を次に来店した店舗であると判断することができる。この結果、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる。

前記所有物は、前記店舗で取得した荷物袋を含むようにしてもよい。

このような構成により、店舗で取得した荷物袋は当該店舗を識別可能な標章、色彩、形状等を有しているので、荷物袋から当該荷物袋を取得した店舗を正確に推定することができ、人物が来店した店舗の順序をより高精度に判断することができる。

前記荷物袋は、前記店舗を識別するための標章を有し、前記推定は、前記荷物袋が有する前記標章を基に、前記荷物袋を取得した店舗を推定するようにしてもよい。

このような構成により、荷物袋が有する、店舗を識別するための標章を基に、荷物袋を取得した店舗を推定しているので、人物が来店した店舗をより正確に推定することができる。

前記判断は、第１の時刻に前記人物が所有する前記所有物から推定した店舗の一覧を示す第１の店舗リスト情報と、前記第１の時刻より後の第２の時刻に前記人物が所有する前記所有物から推定した店舗の一覧を示す第２の店舗リスト情報との差分を算出し、前記差分を基に、前記人物が来店した店舗の順序を判断するようにしてもよい。

このような構成により、第１の時刻に人物が所有する所有物から推定した店舗の一覧を示す第１の店舗リスト情報と、第１の時刻より後の第２の時刻に人物が所有する所有物から推定した店舗の一覧を示す第２の店舗リスト情報との差分を算出し、算出した差分を基に、人物が来店した店舗の順序を判断しているので、算出した差分が新たに追加された店舗を示す場合、新たに追加された店舗を次に来店した店舗であると判断することができる。

前記判断は、前記第１の店舗リスト情報が示す店舗のうち前記第２の店舗リスト情報が示す店舗に該当するものがない消失店舗がある場合、前記消失店舗で取得された前記所有物が前記第２の店舗リスト情報が示す店舗で取得された前記所有物のいずれかに統合されたと判断するようにしてもよい。

このような構成により、第１の店舗リスト情報が示す店舗のうち第２の店舗リスト情報が示す店舗に該当するものがない消失店舗がある場合、消失店舗で取得された所有物が第２の店舗リスト情報が示す店舗で取得された所有物のいずれかに統合されたと判断しているので、人物が小さい所有物を大きい所有物の中に入れ、小さい所有物から推定した店舗が店舗リスト情報の店舗にない場合でも、小さい所有物が店舗リスト情報のいずかの店舗で取得された大きい所有物に入れられたと判断し、以降の差分から小さい所有物を取得した店舗を除外することにより、新たに追加された店舗を次に来店した店舗であると正確に判断することができる。

前記取得は、複数の人物を含む複数人物外観画像を取得し、前記識別は、前記複数人物外観画像から前記複数の人物が同一グループか否かを判断し、前記複数人物外観画像から前記同一グループと判断した前記複数の人物を含むグループ画像を切り出し、前記グループ画像から前記同一グループの前記複数の人物を識別し、前記推定は、前記グループ画像から前記同一グループの前記複数の人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、前記記憶は、前記同一グループの前記複数の人物を示すグループ情報と、前記同一グループの前記複数の人物が所有する前記所有物から推定した前記店舗を示す店舗情報と、前記複数人物外観画像が取得された時刻を示す時刻情報とを関連づけて前記記憶部に記憶し、前記判断は、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記同一グループが来店した店舗の順序を判断するようにしてもよい。

このような構成により、複数の人物を含む複数人物外観画像を取得し、取得した複数人物外観画像から複数の人物が同一グループか否かを判断し、複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出し、切り出したグループ画像から同一グループの複数の人物を識別するとともに、切り出したグループ画像から同一グループの複数の人物が所有する所有物を特定して、特定した所有物から所有物を取得した店舗を推定し、同一グループの複数の人物を示すグループ情報と、同一グループの複数の人物が所有する所有物から推定した店舗を示す店舗情報と、複数人物外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、記憶部に記憶された店舗情報が示す店舗の時系列上の変化を基に、同一グループが来店した店舗の順序を判断している。

したがって、同一グループの複数の人物が複数の店舗に来店し、各店舗で取得した所有物を所持する人物がグループ内で変わった場合でも、同一グループが来店した店舗の順序を簡易な構成で高精度に判断することができる。

また、本開示は、以上のような特徴的な処理を実行する人流分析方法として実現することができるだけでなく、人流分析方法に含まれる特徴的な処理に対応する特徴的な構成を備える人流分析装置、人流分析システムなどとして実現することもできる。したがって、以下の他の態様でも、上記の人流分析方法と同様の効果を奏することができる。

本開示の他の態様に係る人流分析装置は、人物の外観画像を取得する画像情報取得部と、前記外観画像から前記人物を識別する人物識別部と、前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定する店舗推定部と、前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶する記憶部と、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する来店順序判断部とを備える。

前記所有物は、前記店舗で取得した荷物袋を含むようにしてもよい。

このような構成により、店舗で取得した荷物袋は当該店舗を識別可能な標章、色彩、形状等を有しているので、荷物袋から当該荷物袋を取得した店舗を正確に推定することができ、人物が来店した店舗の順序をより高精度に判断することができる。

前記荷物袋の外観画像を取得する荷物袋画像情報取得部をさらに備え、前記荷物袋の外観画像の撮像領域は、前記人物の外観画像の撮像領域よりも地面に近い部分であってもよい。

このような構成により、画像情報取得部により人物の外観画像を取得し、荷物袋画像情報取得部により荷物袋の外観画像を取得し、荷物袋の外観画像の撮像領域が、人物の外観画像の撮像領域よりも地面に近い部分であるので、人物の特定と荷物袋の特定とを高精度に実施できるようになる。

前記荷物袋の外観画像を取得する荷物袋画像情報取得部をさらに備え、前記人物の外観画像は、前記人物を上方から撮影した画像であり、前記荷物袋の外観画像は、前記荷物袋を側方から撮影した画像であってもよい。

このような構成により、画像情報取得部により人物の外観画像を取得し、荷物袋画像情報取得部により荷物袋の外観画像を取得し、人物の外観画像が人物を上方から撮影した画像であり、荷物袋の外観画像が荷物袋を側方から撮影した画像であるので、人物の特定と荷物袋の特定とを高精度に実施できるようになる。

前記荷物袋の手持ち部分は、人間の上腕部よりも小さくなるようにしてもよい。

このような構成により、荷物袋の手持ち部分が人間の上腕部よりも小さいので、荷物袋を肩にかけることなく、手で持つようになる。したがって、地面からの荷物袋の標章等の距離が一定になり、荷物袋の外観画像の撮像領域を絞ることができ、認識処理の性能を高めることが可能になる。

前記人物が購入した商品に関する情報を付与された貼付部材が前記荷物袋に装着されるようにしてもよい。

このような構成により、人物が購入した商品に関する情報を付与された貼付部材が荷物袋に装着されるので、購入した商品に関する情報を荷物袋にもたせることができる。

前記貼付部材は、前記人物が購入した商品の種類及び値段を示す色彩情報を有するようにしてもよい。

このような構成により、貼付部材が、人物が購入した商品の種類及び値段を示す色彩情報を有しているので、貼付部材の色彩情報により、人物が購入した商品の種類及び値段を特定することができる。

また、本開示の他の態様に係る人流分析システムは、人物の外観画像を撮影する撮影装置と、人流分析装置とを備え、前記人流分析装置は、前記撮影装置により撮影された前記外観画像を取得する画像情報取得部と、前記外観画像から前記人物を識別する人物識別部と、前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定する店舗推定部と、前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶する記憶部と、前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する来店順序判断部とを備える。

また、本開示の人流分析方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、このようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体又はインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。また、本開示の実施の形態に係る人流分析システム又は人流分析装置の構成要素の一部とそれ以外の構成要素とを複数のコンピュータに分散させたシステムとして構成してもよい。

以下、本開示の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本開示の実施の形態１に係る人流分析システムの構成の一例を示すブロック図である。図１に示す人流分析システムは、人流分析装置１、複数のカメラ２１〜２ｎ、及びディスプレイ３を備える。

人流分析装置１は、例えば、プロセッサ、メモリ、通信装置、及び外部記憶装置等を備えるクラウドサーバ等から構成され、有線又は無線のネットワーク４を介して、複数のカメラ２１〜２ｎ及びディスプレイ３に通信可能に接続されている。

複数のカメラ２１〜２ｎは、例えば、周囲３６０度の範囲を撮影可能な全方位カメラ及び通信装置等から構成され、複数の店舗が併設された商業施設等の所定位置に設置される。複数のカメラ２１〜２ｎは、商業施設を訪れた人物の外観画像を撮影する撮影装置の一例であり、ネットワーク４を介して、撮影した外観画像を人流分析装置１に送信する。なお、カメラ２１〜２ｎの構成は、上記の例に特に限定されず、人物の外観画像を撮影できれば、種々の撮影装置を用いることができる。

人流分析装置１は、複数のカメラ２１〜２ｎから受信した外観情報を用いて、人物がどの順序で店舗を移動したかを判断し、ネットワーク４を介して、人物の来店順序を示す来店順序情報等をディスプレイ３に送信する。

ディスプレイ３は、例えば、タブレット等から構成され、人流分析装置１から受信した来店順序情報等を商業施設又は各店舗の経営者又は管理者等に対して表示する。なお、ディスプレイ３の構成は、上記の例に特に限定されず、スマートフォン、パーソナルコンピュータ等の一又は複数の通信端末を用いてもよい。

図２は、人物画像の時系列的な変化の一例を示す模式図である。図２に示すように、例えば、時刻１３：１０の人物画像として、人物Ｐ１が撮影され、時刻１４：１５の人物画像として、荷物袋Ｂ１を所持する人物Ｐ１が撮影され、時刻１４：３８の人物画像として、荷物袋Ｂ１及び荷物袋Ｂ２を所持する人物Ｐ１が撮影されている。

このように、ショッピングモール等の商業施設で買い物を行うと、店舗及びブランド名等の描かれた荷物袋が手渡され、人物Ｐ１の所有物として、時刻１４：１５では、荷物袋Ｂ１が増え、時刻１４：３８では、荷物袋Ｂ２が増えている。したがって、人物Ｐ１は、１３：１０〜１４：１５の間に荷物袋Ｂ１を買った店舗を来店し、１４：１５〜１４：３８の間に荷物袋Ｂ２を買った店舗を来店したことがわかる。

本実施の形態では、後述するように、上記の荷物袋Ｂ１、Ｂ２を利用することにより、人物が来店した店舗を判断しているので、以下のように、商業施設のうち人物の往来が多い代表箇所のみにカメラ２１〜２ｎを設置すればよい。

図３は、図１に示すカメラ２１〜２ｎの配置例を示す図であり、複数のカメラ２１〜２ｎのうち２台のカメラ２１、２２を用いる例を示す。図３に示す例では、商業施設のあるフロアーの店舗レイアウトとして、例えば、中央部に広場が設置され、広場を取り囲むように通路が設置され、店舗Ａ〜Ｆの６店舗が略コの字状に配置されている。

この場合、従来の動線管理システム等の監視カメラは、店舗毎に設置する必要があるため、店舗Ａ〜Ｆ及び広場毎に１台のカメラ、すなわち、７台の監視カメラを設置しなければならなかった。

一方、本実施の形態では、図３に示すように、カメラ２１は、店舗Ａ〜Ｃ及び広場に来店又出店する人物を撮影可能な位置に配置され、カメラ２２は、店舗Ｄ〜Ｆ及び広場に来店又出店する人物を撮影可能な位置に配置される。カメラ２１は、店舗Ａ〜Ｃ及び広場に来店又出店する人物を撮影し、撮影した外観画像を人流分析装置１に送信し、カメラ２２は、店舗Ｄ〜Ｆ及び広場に来店又出店する人物を撮影し、撮影した外観画像を人流分析装置１に送信する。したがって、本実施の形態では、例えば、２台のカメラ２１、２２により人物の外観画像を撮影し、この外観画像を用いて、店舗Ａ〜Ｆ及び広場に来店した人物の来店順序を正確に判断することができる。

上記のように、従来の動線管理システム等では、７台の監視カメラを必要としたが、本実施の形態では、外観画像を撮影するカメラを店舗毎に配置する必要がなく、例えば、２台のカメラ２１、２２を用いて、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる。なお、上記の例は、２台のカメラ２１、２２を用いたが、この例に特に限定されず、１台又は３台以上のカメラを用いてもよい。

図４は、図１に示す人流分析装置１の構成の一例を示すブロック図である。図４に示すように、人流分析装置１は、画像情報取得部１１、人物識別部１２、店舗推定部１３、時刻情報取得部１４、データベース１５、来店順序判断部１６、及び通信部１７を備える。

通信部１７は、ネットワーク４を介して、複数のカメラ２１〜２ｎから送信された外観情報を受信して画像情報取得部１１に出力する。画像情報取得部１１は、通信部１７から人物の外観画像を取得して外観画像を人物識別部１２及び店舗推定部１３に出力し、外観画像を取得した時刻を示す時刻情報を時刻情報取得部１４に出力する。

人物識別部１２は、画像情報取得部１１が取得した外観画像から人物を識別し、識別した人物を示す人物情報をデータベース１５に出力する。

店舗推定部１３は、画像情報取得部１１が取得した外観画像から人物が所有する所有物を特定し、特定した所有物から所有物を取得した店舗を推定する。また、店舗推定部１３は、所有物が店舗で取得した荷物袋である場合、荷物袋が有する、店舗を識別可能な標章、色彩、形状等を基に、荷物袋を取得した店舗を推定する。また、店舗推定部１３は、荷物袋が店舗を識別するための標章を有している場合、荷物袋が有する標章を基に、荷物袋を取得した店舗を推定する。店舗推定部１３は、推定した店舗を示す店舗情報をデータベース１５に出力する。

時刻情報取得部１４は、画像情報取得部１１から取得した時刻情報をデータベース１５に出力する。

データベース１５は、メモリ及び／又は外部記憶装置等から構成され、人物識別部１２から取得した人物情報と、店舗推定部１３から取得した店舗情報と、時刻情報取得部１４から取得した時刻情報とを関連づけて記憶する。

来店順序判断部１６は、データベース１５に記憶された店舗情報が示す店舗の時系列上の変化を基に、人物が来店した店舗の順序を人物毎に判断し、判断した人物毎の来店順序を示す来店順序情報を人物情報とともに通信部１７に出力する。

具体的には、来店順序判断部１６は、第１の時刻に人物が所有する所有物から推定した店舗の一覧を示す第１の店舗リスト情報と、第１の時刻より後の第２の時刻に人物が所有する所有物から推定した店舗の一覧を示す第２の店舗リスト情報との差分を算出し、算出した差分を基に、人物が来店した店舗の順序を人物毎に判断する。

通信部１７は、ネットワーク４を介して、来店順序情報及び人物情報をディスプレイ３に送信する。ディスプレイ３は、受信した来店順序情報及び人物情報から人物毎の来店順序を表示し、人物毎の来店順序を商業施設又は各店舗の経営者又は管理者等に通知する。

次に、上記のように構成された人流分析装置１の動作について、具体例を用いて説明する。図５は、人物が所有する所有物の変化の一例を説明するための模式図である。なお、以下の説明では、カメラ２１〜２ｎのうちの１台をカメラ２と記載する。

図５に示すように、例えば、時刻１３：１０に人物Ｐ１が所有物として荷物袋Ｂ１を所有しており、カメラ２が荷物袋Ｂ１を所持している人物Ｐ１を撮影する。このとき、カメラ２は、荷物袋Ｂ１を所持している人物Ｐ１の外観画像として、画像ファイル名ＦＡ２４６．ｐｎｇの画像データを人流分析装置１に送信する。

次に、時刻１４：１５に人物Ｐ１が所有物としてさらに荷物袋Ｂ２を所有しており、カメラ２が荷物袋Ｂ１及び荷物袋Ｂ２を所持している人物Ｐ１を撮影する。このとき、カメラ２は、荷物袋Ｂ１及び荷物袋Ｂ２を所持している人物Ｐ１の外観画像として、画像ファイル名ＦＡ２４７．ｐｎｇの画像データを人流分析装置１に送信する。

次に、時刻１４：３８に人物Ｐ１が所有物としてさらに荷物袋Ｂ３を所有しており、カメラ２が荷物袋Ｂ１、荷物袋Ｂ２及び荷物袋Ｂ３を所持している人物Ｐ１を撮影する。このとき、カメラ２は、荷物袋Ｂ１、荷物袋Ｂ２及び荷物袋Ｂ３を所持している人物Ｐ１の外観画像として、画像ファイル名ＦＡ２４８．ｐｎｇの画像データを人流分析装置１に送信する。

図６は、図４に示す画像情報取得部１１が作成する画像ファイルテーブルの一例を示す図である。例えば、図５に示すような外観画像が人流分析装置１に送信された場合、画像情報取得部１１は、外観画像を取得した時刻とカメラ２が撮影した画像ファィル名とを対応付けた動的なテーブルとして、例えば、図６に示す画像ファイルテーブルを作成する。

図６に示す画像ファイルテーブルには、時刻と画像ファイル名とがテーブル形式で格納されており、例えば、時刻１３：１０の外観画像の画像フィル名はＦＡ２４６．ｐｎｇであることがわかる。画像情報取得部１１は、作成した画像ファイルテーブルと外観画像とを人物識別部１２及び店舗推定部１３に出力するとともに、画像ファイルテーブルを時刻情報取得部１４に出力する。

図７は、図４に示す人物識別部１２が使用する人物識別用テーブルの一例を示す図である。人物識別部１２は、人物ＩＤ（識別情報）とラベル済み人物画像ファイルリストとを対応付けた静的なテーブルとして、例えば、図７に示す人物識別用テーブルを予め記憶している。

図７に示す人物識別用テーブルには、人物ＩＤとラベル済み人物画像ファイルリストとがテーブル形式で予め格納されており、例えば、人物ＩＤがＰ１２３の人物が撮影されている画像として、ラベル済み人物画像ファイルリストのＦＡ１１１．ｐｎｇ、ＦＡ１１２．ｐｎｇ、…の画像データが予め記憶されている。

人物識別部１２は、人物識別用テーブルのデータを基に、学習モデルを構築し、構築した学習モデルを用いて外観画像の人物を推定する。この場合、人物識別部１２は、人物の顔画像だけでなく、人物の容貌、服装、体型等を総合的に学習することができ、カメラ２１〜２ｎの数が少ない場合でも、人物を高精度に識別することができる。

図８は、図４に示す店舗推定部１３が使用する店舗推定用テーブルの一例を示す図である。店舗推定部１３は、店舗ＩＤ（識別情報）とラベル済み所有物画像ファイルリストとを対応付けた静的なテーブルとして、例えば、図８に示す店舗推定用テーブルを予め記憶している。

図８に示す店舗推定用テーブルには、店舗ＩＤとラベル済み所有物画像ファイルリストとがテーブル形式で予め格納されており、例えば、店舗ＩＤがＳＨ２３４の店舗が提供する荷物袋等の所有物の画像として、ラベル済み所有物画像ファイルリストＢ７７７．ｐｎｇ、Ｂ７７８．ｐｎｇ、…の画像データが予め記憶されている。店舗推定部１３は、店舗推定用テーブルのデータを基に、学習モデルを構築し、構築した学習モデルを用いて外観画像の人物が所持する所有物を特定し、特定した所有物から店舗を推定する。

ここで、所有物として、例えば、荷物袋を用いた場合、ブランド名、店舗名、ロゴマーク、商標、特徴的なデザイン等の店舗を識別するための標章が荷物袋の表面に形成されている。したがって、店舗推定部１３は、荷物袋の形態だけでなく、店舗を識別するための標章も含めて荷物袋を全体的に学習することができ、カメラ２１〜２ｎの数が少ない場合でも、荷物袋を高精度に特定し、特定した荷物袋から店舗を高精度に推定することができる。なお、所有物は、上記の例に特に限定されず、種々の所有物を用いることができ、例えば、店舗を識別できれば、店舗が配布するパンフレット等の他の所有物であってもよい。

図９は、図４に示す来店順序判断部１６が使用する店舗テーブルの一例を示す図である。来店順序判断部１６は、店舗ＩＤと店舗名とを対応付けた静的なテーブルとして、例えば、図９に示す店舗テーブルを予め記憶している。図９に示す店舗テーブルには、店舗ＩＤと店舗名とがテーブル形式で予め格納されており、例えば、店舗ＩＤがＳＨ２３４の店舗名として、店舗Ａが予め記憶されている。

図１０は、図４に示すデータベース１５に格納される来店順序推定テーブルの一例を示す図である。時刻情報取得部１４は、図６に示す画像ファイルテーブルの時刻を図１０に示す来店順序推定テーブルの時刻（時刻情報の一例）に格納する。人物識別部１２は、図６に示す画像ファイルテーブルの外観画像を用いて推定した人物ＩＤを図１０に示す来店順序推定テーブルの推定人物ＩＤ（人物情報の一例）に格納する。店舗推定部１３は、図６に示す画像ファイルテーブルの外観画像を用いて推定した店舗ＩＤを図１０に示す来店順序推定テーブルの推定店舗ＩＤリスト（店舗情報又は店舗リスト情報の一例）に格納する。

来店順序判断部１６は、現在の推定店舗ＩＤリストと直前の時刻の推定店舗ＩＤリストとの差分を求め、現在の推定店舗ＩＤリストに存在し且つ直前の時刻の推定店舗ＩＤリストに存在しない店舗ＩＤを人物が新規に来店した店舗の店舗ＩＤと判断する。来店順序判断部１６は、図９に示す店舗テーブルを参照して、新規と判断した店舗ＩＤに対応する店舗名を図１０に示す来店順序推定テーブルの新規来店店舗名に格納する。

上記の動作により、データベース１５には、時刻、推定人物ＩＤ、推定店舗ＩＤリスト、及び新規来店店舗名を対応付けた来店順序推定テーブルが作成され、来店順序判断部１６は、新規来店店舗名に格納された店舗名を時刻順に読み出すことにより、人物が来店した店舗の順序を人物毎に判断し、人物毎の来店順序を示す来店順序情報を通信部１７に出力する。例えば、図１０に示す例では、人物ＩＤがＰ１２３の人物は、店舗Ａ、店舗Ｂ、店舗Ｃの順に店舗を来店したことがわかる。なお、上記の例では、外観画像として、ｐｎｇ形式の画像データを用いたが、この例に特に限定されず、ｇｉｆ形式、ｊｐｇ形式等の他の形式の画像データを用いてもよい。

次に、直前の時刻の推定店舗ＩＤリストに存在する店舗のうち現在の推定店舗ＩＤリストに存在しない消失店舗がある場合の来店順序判断部１６の動作について詳細に説明する。

図１１は、人物が所有する所有物の変化の他の例を説明するための模式図である。図１１に示すように、人物Ｐ１が小さい荷物袋Ｂ１を所持している外観画像が撮影された後、人物Ｐ１が小さい荷物袋Ｂ１を所持しておらず、大きい荷物袋Ｂ２のみを所持して外観画像が撮影される場合がある。これは、人物Ｐ１が大きな荷物袋Ｂ２に小さい荷物袋Ｂ１を入れて所持する場合があるからである。

この場合、本実施の形態では、直前まで持っていた荷物袋Ｂ１が認識されない時は、荷物袋Ｂ１を荷物袋Ｂ２にまとめたと解釈し、以後、荷物袋Ｂ１を除外して、荷物袋Ｂ２のみとの差分を取り、店舗情報が示す店舗の時系列上の変化を基に、人物が来店した店舗の順序を判断する。

具体的には、来店順序判断部１６は、直前の時刻の推定店舗ＩＤリスト（第１の店舗リスト情報の一例）が示す店舗のうち現在の推定店舗ＩＤリスト（第２の店舗リスト情報の一例）が示す店舗に該当するものがない消失店舗がある場合、消失店舗で取得された所有物が直前の時刻の推定店舗ＩＤリストが示す店舗で取得された所有物のいずれかに統合されたと判断する。

すなわち、来店順序判断部１６は、人物が小さい所有物を大きい所有物の中に入れ、小さい所有物から推定した店舗が店舗リスト情報の店舗にない場合、小さい所有物を店舗リスト情報のいずかの店舗で取得された大きい所有物に統合し、以降の差分から小さい所有物を取得した店舗を除外することにより、新たに追加された店舗を次に来店した店舗であると判断し、人物が来店した店舗の順序を人物毎に判断する。

図１２は、図４に示すデータベース１５に格納される来店順序推定テーブルの他の例を示す図である。時刻情報取得部１４は、図６に示す画像ファイルテーブルの時刻を図１２に示す来店順序推定テーブルの時刻に格納する。人物識別部１２は、図６に示す画像ファイルテーブルの外観画像を用いて推定した人物ＩＤを図１２に示す来店順序推定テーブルの推定人物ＩＤに格納する。店舗推定部１３は、図６に示す画像ファイルテーブルの外観画像を用いて推定した店舗ＩＤを図１２に示す来店順序推定テーブルの推定店舗ＩＤリストに格納する。

ここで、来店順序判断部１６は、現在の推定店舗ＩＤリストと直前の時刻の推定店舗ＩＤリストとの差分を求め、現在の推定店舗ＩＤリストに含まれない店舗ＩＤ（消失店舗）が存在すれば、その店舗ＩＤに相当する所有物が、直前の時刻の推定店舗ＩＤリストの先頭の店舗ＩＤに相当する所有物に統合されたと判断し、統合先店舗ＩＤと統合元店舗ＩＤとを対応付けた統合店舗テーブルを作成する。

図１３は、図４に示す来店順序判断部１６が作成する統合店舗テーブルの一例を示す図である。例えば、図１２に示すように、直前の時刻１４：１５の推定店舗ＩＤリストに店舗ＩＤとしてＳＨ２３４が存在し、現在の時刻１４：３８の推定店舗ＩＤリストに店舗ＩＤとしてＳＨ２３４（消失店舗）が存在せず、先頭の店舗ＩＤとしてＳＨ５６７が存在する場合、図１３に示すように、来店順序判断部１６は、消失店舗のＳＨ２３４を先頭のＳＨ５６７に統合するため、統合先店舗ＩＤにＳＨ５６７を格納し、統合元店舗ＩＤにＳＨ２３４を格納した統合店舗テーブルを作成する。

次に、来店順序判断部１６は、統合店舗テーブルを参照して、現在の推定店舗ＩＤリストに存在しない統合元店舗ＩＤが現在の推定店舗ＩＤリスト及び直前の時刻の推定店舗ＩＤリストに存在する統合先店舗ＩＤに統合されたと判断して差分から除外し、現在の推定店舗ＩＤリストに存在し且つ直前の時刻の推定店舗ＩＤリストに存在しない店舗ＩＤを、人物が新規に来店した店舗の店舗ＩＤと判断し、図９に示す店舗テーブルを参照して、新規と判断した店舗ＩＤに対応する店舗名を図１２に示す新規来店店舗名に格納する。

図１２に示す例では、現在時刻が１４：３８である場合、直前の時刻１４：１５の推定店舗ＩＤリストにＳＨ２３４が存在するが、現在の推定店舗ＩＤリストにはＳＨ２３４が存在せず、直前の推定店舗ＩＤリスト及び現在の推定店舗ＩＤリストにＳＨ５６７が存在する。この場合、来店順序判断部１６は、時刻１４：１５に存在した店舗ＩＤであるＳＨ２３４の店舗で取得した所有物が現在の推定店舗ＩＤリストの先頭の店舗ＩＤであるＳＨ５６７の店舗で取得した所有物に統合されたと判断してＳＨ２３４を除外して、直前の推定店舗ＩＤリストと現在の推定店舗ＩＤリストとの差分を求め、差分であるＳＨ７８９が新規に来店した店舗の店舗ＩＤであると判断し、店舗Ｃを図１２に示す新規来店店舗名に格納する。

したがって、人物が小さい所有物を大きい所有物の中に入れ、小さい所有物から推定した店舗が店舗リスト情報（推定店舗ＩＤリスト）の店舗にない場合でも、小さい所有物が店舗リスト情報（推定店舗ＩＤリスト）のいずかの店舗で取得された大きい所有物に入れられたと判断し、以降の差分から小さい所有物を取得した店舗を除外することにより、新たに追加された店舗を次に来店した店舗であると正確に判断することができる。

次に、上記のように構成された人流分析システムによる人流分析処理について説明する。図１４は、図１に示す人流分析システムによる人流分析処理の一例を示すシーケンス図である。

まず、複数のカメラ２１〜２ｎは、商業施設を訪れた人物の外観画像を撮影し、撮影した外観画像を、人流分析装置１に送信する画像送信処理を実行する（ステップＳ１１）。ここで、複数のカメラ２１〜２ｎは、自身を識別するためのカメラＩＤ（識別情報）を外観画像とともに送信するようにしてもよい。この場合、後述する人物識別処理、店舗推定処理及び来店順序判断処理等において、カメラＩＤを用いて外観画像を撮影したカメラの位置を特定し、特定したカメラの位置を用いて各処理の精度を高めることができる。

次に、人流分析装置１の通信部１７は、複数のカメラ２１〜２ｎから送信された外観情報を受信して画像情報取得部１１に出力し、画像情報取得部１１は、人物の外観画像を取得して外観画像を人物識別部１２及び店舗推定部１３に出力し、外観画像を取得した時刻を示す時刻情報を時刻情報取得部１４に出力する画像情報取得処理を実行する（ステップＳ１２）。

次に、時刻情報取得部１４は、画像情報取得部１１から取得した時刻情報をデータベース１５の来店順序推定テーブルに格納する時刻情報取得処理を実行する（ステップＳ１３）。

次に、人物識別部１２は、画像情報取得部１１が取得した外観画像から人物を識別し、識別した人物を示す人物情報（推定人物ＩＤ）をデータベース１５の来店順序推定テーブルに格納する人物識別処理を実行する（ステップＳ１４）。

次に、店舗推定部１３は、画像情報取得部１１が取得した外観画像から人物が所有する所有物を特定し、特定した所有物から所有物を取得した店舗を推定し、推定した店舗を示す店舗情報（推定店舗ＩＤリスト）をデータベース１５の来店順序推定テーブルに格納する店舗推定処理を実行する（ステップＳ１５）。

次に、来店順序判断部１６は、データベース１５の来店順序推定テーブルから、店舗の時系列上の変化を基に、人物が来店した店舗の順序を人物毎に判断し、人物が新規に来店した店舗ＩＤに対応する店舗名をデータベース１５の来店順序推定テーブルに格納し、人物毎の来店順序を示す来店順序情報を人物情報とともに通信部１７に出力し、通信部１７は、来店順序情報及び人物情報をディスプレイ３に送信する来店順序判断処理を実行する（ステップＳ１６）。

次に、ディスプレイ３は、来店順序情報及び人物情報を受信する来店順序受信処理を実行する（ステップＳ１７）。

最後に、ディスプレイ３は、受信した来店順序情報から人物毎の来店順序を表示する表示処理を実行する（ステップＳ１８）。

上記の処理により、本実施の形態では、人物の外観画像を取得し、取得した外観画像から人物を識別するとともに、取得した外観画像から人物が所有する所有物を特定して、特定した所有物から所有物を取得した店舗を推定し、識別した人物を示す人物情報（推定人物ＩＤ）と、推定した店舗を示す店舗情報（推定店舗ＩＤリスト）と、外観画像が取得された時刻を示す時刻情報とを関連づけてデータベース１５に記憶し、データベース１５に記憶された店舗情報が示す店舗の時系列上の変化を基に、人物が来店した店舗の順序を判断している。

したがって、本実施の形態では、外観画像を撮影するカメラ２１〜２ｎを店舗毎に配置することなく、人物の外観画像から所有物を特定し、特定した所有物から所有物を取得した店舗を正確に推定することができるので、新たに追加された店舗を次に来店した店舗であると判断することができ、人物が来店した店舗の順序を簡易な構成で高精度に判断することができる。

なお、本実施の形態では、取得した外観画像から、人物が所有する所有物を特定し、特定したすべての所有物から、所有物を取得したすべての店舗を推定した。ここで、人物が、ある店舗名が描かれた所有物、例えば、マイバッグを所持して、商業施設を訪れることがある。その場合、人物は、その店舗に来店していないにもかかわらず、外観画像上はあたかも来店したかのように見える。したがって、商業施設の入り口付近にもカメラを設置し、入り口付近に設置されたカメラが取得した外観画像から、人物が所有すると特定された所有物（例えば、マイバッグ）を来店順序の推定対象から除外するようにしてもよい。

（実施の形態２）
上記の実施の形態１では、人物毎に来店順序を判断したが、来店者は、一人で買い物を行うだけでなく、親子、友人等のグループで来店する場合もある。この場合、グループの構成員間で所有物、例えば、荷物袋を所持する人が変わることがある。このため、本実施の形態では、来店者のグループを識別し、グループ毎に所有する所有物を特定し、特定した所有物から来店した店舗をグループ毎に推定し、グループ毎に来店順序を判断する。

図１５は、本開示の実施の形態２に係る人流分析システムの人流分析装置の構成の一例を示すブロック図である。なお、本実施の形態の人流分析システムの構成は、図１に示す人流分析装置１が図１５に示す人流分析装置１ａに変更された点を除き、図１に示す人流分析システムと同様であるので、人流分析システムの図示を省略し、以下、図１の符号を適宜使用し、図１に示す人流分析システムと異なる点について詳細に説明する。

図１５に示す人流分析装置１ａは、例えば、プロセッサ、メモリ、通信装置、及び外部記憶装置等を備えるクラウドサーバ等から構成され、有線又は無線のネットワーク４を介して、複数のカメラ２１〜２ｎ及びディスプレイ３に通信可能に接続されている。人流分析装置１ａは、画像情報取得部１１、店舗推定部１３、時刻情報取得部１４、データベース１５、来店順序判断部１６、通信部１７、グループ判断部１８、グループ画像切り出し部１９、及び人物グループ識別部２０を備える。

複数のカメラ２１〜２ｎは、商業施設を訪れた複数の人物を含む複数人物外観画像を撮影し、ネットワーク４を介して、撮影した複数人物外観画像を人流分析装置１ａに送信する。

通信部１７は、ネットワーク４を介して、複数のカメラ２１〜２ｎから送信された複数人物外観情報を受信して画像情報取得部１１に出力する。画像情報取得部１１は、通信部１７から複数人物外観画像を取得して複数人物外観画像をグループ判断部１８に出力し、複数人物外観画像を取得した時刻を示す時刻情報を時刻情報取得部１４に出力する。

グループ判断部１８は、画像情報取得部１１が取得した複数人物外観画像から複数の人物が同一グループか否かを判断し、複数の人物が同一グループであると判断した複数人物外観画像を抽出してグループ画像切り出し部１９に出力する。なお、複数の人物が同一グループでない場合、実施の形態１と同様に、各人物を識別するようにしてもよい。

グループ画像切り出し部１９は、複数の人物が同一グループであると判断された複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出して人物グループ識別部２０及び店舗推定部１３に出力する。

人物グループ識別部２０は、グループ画像切り出し部１９が切り出したグループ画像から同一グループの複数の人物を識別し、識別した同一グループの複数の人物を示すグループ情報をデータベース１５に出力する。

店舗推定部１３は、グループ画像切り出し部１９が切り出したグループ画像から同一グループの複数の人物が所有する所有物を特定し、特定した所有物から所有物を取得した店舗を推定し、推定した店舗を示す店舗情報をデータベース１５に出力する。

時刻情報取得部１４は、画像情報取得部１１から取得した時刻情報をデータベース１５に出力する。

データベース１５は、人物グループ識別部２０から取得したグループ情報と、店舗推定部１３から取得した店舗情報と、時刻情報取得部１４から取得した時刻情報とを関連づけて記憶する。

来店順序判断部１６は、データベース１５に記憶された店舗情報が示す店舗の時系列上の変化を基に、同一グループの複数の人物が来店した店舗の順序をグループ毎に判断し、判断したグループ毎の来店順序を示す来店順序情報をグループ情報とともに通信部１７に出力する。

通信部１７は、ネットワーク４を介して、来店順序情報及びグループ情報をディスプレイ３に送信する。ディスプレイ３は、受信した来店順序情報からグループ毎の来店順序を表示し、グループ毎の来店順序を商業施設又は各店舗の経営者又は管理者等に通知する。

次に、上記のように構成された人流分析装置１ａの動作について、具体例を用いて説明する。グループ判断部１８は、公知のグループ判別方法を用いて、図６に示す画像ファイルテーブルと同様の、複数人物外観画像を取得した時刻と画像ファィル名とを対応付けた画像ファイルテーブルの画像ファイル（複数人物外観画像）から複数の人物が同一グループか否かを判断し、複数の人物が同一グループであると判断した複数人物外観画像を抽出してグループ画像切り出し部１９に出力する。グループ画像切り出し部１９は、複数の人物が同一グループであると判断された複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出して人物グループ識別部２０に出力する。人物グループ識別部２０は、公知のグループ判別方法を用いて、グループ画像から人物ＩＤを推定するとともに、同一グループの複数の人物をまとめた人物グループテーブルを作成する。

図１６は、図１５に示す人物グループ識別部２０が作成する人物グループテーブルの一例を示す図である。例えば、図１６に示すように、グループを識別する人物グループＩＤ（識別情報）と、グループに含まれる複数の人物の人物ＩＤを示す人物ＩＤリストとを対応付けた人物グループテーブルが作成される。図１６に示す例では、人物グループＩＤがＧ１１１のグループには、人物ＩＤがＰ１２３、Ｐ１２４、Ｐ１２５の３人の人物が含まれていることがわかる。

ここで、上記のグループ判別方法としては、例えば、特開２０１４−２２９０６８号公報に記載の方法（画像から人物の座標を推定することで人物の動線を取得し、同じ動線を描く行動をする複数の人物が集団で行動していると推定する方法）や特開２０１３−５０９４５号公報に記載の方法（カメラ映像から、人物の身体姿勢方向や視線方向を取得し、その方向が互いに向き合っている、又は同じ方向を向いている複数の人物を集団と見なす方法）等を用いることができる。

なお、上記のグループ判別方法は一例であり、この例に特に限定されず、例えば、予めグループＩＤと複数の人物の顔画像ＩＤを関連付けて登録したデータベースを用意し、当該複数の人物の顔画像が検出されたら、グループであると判断する方法を用いたり、画像以外に、携帯端末やその他の無線端末の位置情報を利用する方法を用いたり、画像に加え、音声を取得し、会話が検出された人物の集団をグループであると判断する方法を用いたりしてもよい。

図１７は、図１５に示すデータベース１５に格納される来店順序推定テーブルの一例を示す図である。時刻情報取得部１４は、複数人物外観画像を取得した時刻と画像ファィル名とを対応付けた画像ファイルテーブルの時刻を図１７に示す来店順序推定テーブルの時刻（時刻情報の一例）に格納する。人物グループ識別部２０は、上記の画像ファイルテーブルの複数人物外観画像から切り出したグループ画像を用いて推定した図１６に示す人物グループテーブルの人物グループＩＤを図１７に示す来店順序推定テーブルの推定人物グループＩＤ（グループ情報の一例）に格納する。店舗推定部１３は、上記の画像ファイルテーブルの複数人物外観画像を用いて推定した店舗ＩＤを図１７に示す来店順序推定テーブルの推定店舗ＩＤリスト（店舗情報又は店舗リスト情報の一例）に格納する。

来店順序判断部１６は、現在の推定店舗ＩＤリストと直前の時刻の推定店舗ＩＤリストとの差分を求め、現在の推定店舗ＩＤリストに存在し且つ直前の時刻の推定店舗ＩＤリストに存在しない店舗ＩＤを人物が新規に来店した店舗の店舗ＩＤと判断する。来店順序判断部１６は、図９に示す店舗テーブルを参照して、新規と判断した店舗ＩＤに対応する店舗名を図１７に示す来店順序推定テーブルの新規来店店舗名に格納する。

上記の動作により、データベース１５には、時刻、推定人物グループＩＤ、推定店舗ＩＤリスト、及び新規来店店舗名を対応付けた来店順序推定テーブルが作成され、来店順序判断部１６は、新規来店店舗名に格納された店舗名を時刻順に読み出すことにより、同一グループの複数の人物が来店した店舗の順序をグループ毎に判断し、グループ毎の来店順序を示す来店順序情報を通信部１７に出力する。例えば、図１７に示す例では、人物グループＩＤがＧ１１１のグループは、店舗Ａ、店舗Ｂ、店舗Ｃの順に店舗を来店したことがわかる。

次に、上記のように構成された人流分析システムによる人流分析処理について説明する。図１８は、本開示の実施の形態２に係る人流分析システムによる人流分析処理の一例を示すシーケンス図である。

まず、複数のカメラ２１〜２ｎは、商業施設を訪れた複数の人物を含む複数人物外観画像を撮影し、撮影した複数人物外観画像を、人流分析装置１ａに送信する画像送信処理を実行する（ステップＳ１１）。

次に、人流分析装置１ａの通信部１７は、複数のカメラ２１〜２ｎから送信された複数人物外観情報を受信して画像情報取得部１１に出力し、画像情報取得部１１は、複数の人物を含む複数人物外観画像を取得して複数人物外観画像をグループ判断部１８に出力し、複数人物外観画像を取得した時刻を示す時刻情報を時刻情報取得部１４に出力する画像情報取得処理を実行する（ステップＳ１２）。

次に、時刻情報取得部１４は、画像情報取得部１１から取得した時刻情報をデータベース１５の来店順序推定テーブルに格納する時刻情報取得処理を実行する（ステップＳ１３）。

次に、グループ判断部１８は、画像情報取得部１１が取得した複数人物外観画像から複数の人物が同一グループか否かを判断し、複数の人物が同一グループであると判断した複数人物外観画像を抽出してグループ画像切り出し部１９に出力するグループ抽出処理を実行する（ステップＳ２１）。

次に、グループ画像切り出し部１９は、複数の人物が同一グループであると判断された複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出して人物グループ識別部２０及び店舗推定部１３に出力するグループ画像切り出し処理を実行する（ステップＳ２２）。

次に、人物グループ識別部２０は、グループ画像切り出し部１９が切り出したグループ画像から同一グループの複数の人物を識別し、識別した同一グループの複数の人物を示すグループ情報（推定人物グループＩＤ）をデータベース１５の来店順序推定テーブルに格納する人物グループ識別処理を実行する（ステップＳ２３）。

次に、店舗推定部１３は、グループ画像切り出し部１９が切り出したグループ画像から同一グループの複数の人物が所有する所有物を特定し、特定した所有物から所有物を取得した店舗を推定し、推定した店舗を示す店舗情報（推定店舗ＩＤリスト）をデータベース１５の来店順序推定テーブルに格納する店舗推定処理を実行する（ステップＳ１５）。

次に、来店順序判断部１６は、データベース１５の来店順序推定テーブルから、店舗の時系列上の変化を基に、同一グループの複数の人物が来店した店舗の順序をグループ毎に判断し、同一グループの複数の人物が新規に来店した店舗ＩＤに対応する店舗名をデータベース１５の来店順序推定テーブルに格納し、グループ毎の来店順序を示す来店順序情報をグループ情報とともに通信部１７に出力し、通信部１７は、来店順序情報及びグループ情報をディスプレイ３に送信する来店順序判断処理を実行する（ステップＳ１６）。

次に、ディスプレイ３は、来店順序情報及びグループ情報を受信する来店順序受信処理を実行する（ステップＳ１７）。

最後に、ディスプレイ３は、受信した来店順序情報からグループ毎の来店順序を表示する表示処理を実行する（ステップＳ１８）。

上記の処理により、本実施の形態では、複数の人物を含む複数人物外観画像を取得し、取得した複数人物外観画像から複数の人物が同一グループか否かを判断し、複数人物外観画像から同一グループと判断した複数の人物を含むグループ画像を切り出し、切り出したグループ画像から同一グループの複数の人物を識別するとともに、切り出したグループ画像から同一グループの複数の人物が所有する所有物を特定して、特定した所有物から所有物を取得した店舗を推定し、同一グループの複数の人物を示すグループ情報（推定人物グループＩＤ）と、同一グループの複数の人物が所有する所有物から推定した店舗を示す店舗情報（推定店舗ＩＤリスト）と、複数人物外観画像が取得された時刻を示す時刻情報とを関連づけてデータベース１５に記憶し、データベース１５に記憶された店舗情報が示す店舗の時系列上の変化を基に、同一グループが来店した店舗の順序を判断している。

したがって、本実施の形態では、同一グループの複数の人物が複数の店舗に来店し、各店舗で取得した所有物を所持する人物がグループ内で変わった場合でも、同一グループが来店した店舗の順序を簡易な構成で高精度に判断することができる。

（変形例）
なお、上記の各実施の形態においては、人物を撮影するカメラと、所有物を撮影するカメラとして、同一のカメラ２１〜２ｎを用いる例について説明したが、カメラ２１〜２ｎの構成は、上記の例に特に限定されず、下記のように種々の変更が可能である。

図１９は、人物を撮影するカメラと所有物を撮影するカメラとを用いる場合の第１の配置例を示す模式図である。人物を認識するためには、顔付近の画像を高解像度に取得する必要があるが、荷物袋等の所有物を認識するためには、顔と離れた場所の画像が必要になる。このため、図１９に示す第１の配置例では、カメラ２１に代えて、カメラ２１ａとカメラ２１ｂとを用い（カメラ２２〜２ｎも同様）、カメラ２１ａは、人物Ｐ１の外観画像を撮影し、カメラ２１ｂは、所有物すなわち荷物袋Ｂ１の外観画像を撮影する。この場合、図４に示す画像情報取得１１は、カメラ２１ａから人物の外観画像を取得する画像情報取得部と、カメラ２１ｂから荷物袋の外観画像を取得する荷物袋画像情報取得部とから構成される。

人物Ｐ１が人流の方向、すなわち、進行方向Ｄ１に移動している場合、カメラ２１ａの光軸Ｏ１すなわち撮影方向が人物Ｐ１の進行方向Ｄ１に対して前方から交わるように、カメラ２１ａが支柱ＳＰに設置され、カメラ２１ａは人物Ｐ１の顔等を撮影する。また、カメラ２２ａの光軸Ｏ２すなわち撮影方向が人物Ｐ１の進行方向Ｄ１に対して側面から直交するように、カメラ２２ａが支柱ＳＰに設置され、カメラ２２ａは荷物袋Ｂ１を撮影する。したがって、荷物袋の外観画像の撮像領域（図中の破線の領域）は、人物の外観画像の撮像領域（図中の破線の領域）よりも地面に近い部分となる。

このように、人物Ｐ１の全身を撮影するカメラ２１ａと、荷物袋Ｂ１の画像を撮影するカメラ２１ｂとを設置することにより、人物Ｐ１の特定と、荷物袋Ｂ１の特定とを高精度に実施することができる。また、カメラ２１ａの撮像領域とカメラ２１ｂの撮像領域とで共通に撮像される衣服の部分等を利用することにより、人物Ｐ１と荷物袋Ｂ１とを照合することができ、人物Ｐ１が所持している荷物袋Ｂ１を高精度に特定することができる。

図２０は、人物が荷物袋を所持している場合の側面図であり、図２１は、人物が荷物袋を所持している場合の正面図である。図２０及び図２１に示すように、人物Ｐ１が荷物袋Ｂ１を手にもって移動するときには、荷物袋Ｂ１の大きい面は、人物Ｐ１の進行方向に対して垂直の方向となる場合が多い。また、図２０に示す荷物袋Ｂ１の大きい面に形成された大きい標章Ｔ１（例えば、「ＡＢＣ」）も、人物Ｐ１の進行方向に対して垂直の方向となる場合が多い。一方、図２１に示す荷物袋Ｂ１の小さい側面に形成された小さい標章Ｔ２（例えば、「ＡＢＣ」）は、人物Ｐ１の進行方向と反対方向（又は同じ方向）になる場合が多い。したがって、人物の顔画像を撮影するカメラを、顔画像を撮影し易い位置に設置し、荷物袋Ｂ１の大きい面及び大きい標章Ｔ１を撮影するためには、人物Ｐ１の進行方向と実質的に直交する方向に光軸が設定されたカメラを用いた方が、荷物袋の画像情報を取得しやすくなる。

上記のように、人物の顔画像を撮影するカメラを、顔画像を撮影し易い位置に設置し、また、荷物袋を撮影するカメラとして、人物の進行方向と実質的に直交する方向に光軸が設定されたカメラを用いる例について説明する。図２２は、人物を撮影するカメラと所有物を撮影するカメラとを用いる場合の第２の配置例を示す模式図である。

図２２に示す第２の配置例で、カメラ２１に代えて、カメラ２１ａとカメラ２１ｂとを用い、カメラ２１ａは、例えば、天井ＣＥに取り付けられ、人物Ｐ１を上方から撮影し、カメラ２１ｂは、支柱ＳＰに取り付けられ、荷物袋Ｂ１を側方から撮影する。

すなわち、人物Ｐ１が人流の方向、すなわち、進行方向Ｄ１に移動している場合、カメラ２１ａの光軸Ｏ１すなわち撮影方向が人物Ｐ１の進行方向Ｄ１に対して上方から直交するように、カメラ２１ａが天井ＣＥに設置される。また、カメラ２２ａの光軸Ｏ２すなわち撮影方向が人物Ｐ１の進行方向Ｄ１に対して側面から直交するように、カメラ２２ａが支柱ＳＰに設置される。

このように、カメラ２１ａの光軸Ｏ１とカメラ２１ｂの光軸Ｏ２とがなす角度が直交に近い角度になるように設置することにより、人物Ｐ１の外観画像が、人物Ｐ１を上方から撮影した画像となり、荷物袋Ｂ１の外観画像が、荷物袋Ｂ１を側方から撮影した画像となり、荷物袋Ｂ１の標章（例えば、図２０の大きい標章Ｔ１）をさらに精度よく認識することができる。なお、顔画像を撮影するカメラ２１ａで、同時に荷物袋Ｂ１の標章の画像を撮影する場合には、図２１に示すように、荷物袋Ｂ１の側面に標章Ｔ２を設けることが好ましい。この場合、顔画像を認識するカメラ２１ａで撮影した外観画像から標章の認識も容易になる。

また、一般に、荷物袋は、保持する部分すなわち手持ち部分が紐状で長い場合がある。図２３は、荷物袋の手持ち部分の第１の例及びこの例の荷物袋の持ち方を示す模式図であり、図２４は、荷物袋の手持ち部分の第２の例及びこの例の荷物袋の持ち方を示す模式図であり、図２５は、荷物袋の手持ち部分の第３の例及びこの例の荷物袋の持ち方を示す模式図である。

図２３に示すように、荷物袋Ｂ１の手持ち部分Ｆ１が人間の上腕部以上に大きい場合、荷物袋Ｂ１の持ち方としては、人物Ｐ１ａのように、手で持つ場合と、人物Ｐ１ｂのように、腕を通して肩から下げる場合がある。この場合、荷物袋Ｂ１の標章Ｔ１の位置の地面からの距離が大きく異なることとなり、荷物袋Ｂ１の画像を取得するカメラの撮像領域を広げる必要がある。また、肩から下げる場合、荷物袋Ｂ１の標章Ｔ１が手で隠されることがあり、認識性能が低下することがある。

一方、図２４に示すように、荷物袋Ｂ２の手持ち部分Ｆ２が人間の上腕部よりも小さい場合、又は、図２５に示すように、荷物袋Ｂ３にくり抜き部Ｆ３が形成され、荷物袋Ｂ３の手持ち部分として機能するくり抜き部Ｆ３が人間の上腕部よりも小さい場合、荷物袋Ｂ２、Ｂ３の大きさが同一サイズであれば、荷物袋Ｂ２、Ｂ３の標章Ｔ２、Ｔ３の位置の地面からの距離は一定範囲内となる。

したがって、荷物袋の手持ち部分は、人間の上腕部よりも小さくなることが好ましい。この場合、荷物袋の手持ち部分が人間の上腕部よりも小さくなり、荷物袋を肩にかけることなく、手で持つようになるので、地面からの荷物袋の標章等の距離が一定になる。この結果、荷物袋の画像を取得するカメラの撮像領域を絞ることができ、認識処理の性能を高めることが可能になる。

また、商品を購入したときに、荷物袋に対して、開口部が空かないように荷物袋にシール等の貼付部材が貼付されることがある。図２６は、荷物袋に貼られる貼付部材の第１の例を示す図であり、図２７は、荷物袋に貼られる貼付部材の第２の例を示す図である。

図２６に示すように、貼付部材Ｓ１は、標章Ｔ１を有する荷物袋Ｂ１の側方上部に貼られたり、また、図２７に示すように、貼付部材Ｓ２は、標章Ｔ１を有する荷物袋Ｂ１の上部中央に貼られたりする。このように、荷物袋Ｂ１の開口部が開かないように、貼付部材Ｓ１、Ｓ２が荷物袋Ｂ１の開口部に添付されることが多い。この場合、シール等の貼付部材Ｓ１、Ｓ２に、購入した商品に関する情報をもたせることができる。

したがって、人物が購入した商品に関する情報を付与された貼付部材が荷物袋に装着されることが好ましい。例えば、店員が、購入した商品に関する情報を付与された貼付部材を荷物袋に装着し、購入品毎に、異なる貼付部材を添付する。これにより、大型のショッピングセンター等で、ある店舗で購入した商品の種類や値段に関する情報を貼付部材によって推定でき、別の店舗に入ったときに、その貼付部材の情報から、店員が勧める商品を、顧客が既に購入した商品に応じて選択することが可能になる。

例えば、購入商品が高価な物の場合には、新たな店においても、高額の商品を購入する可能性が高く、そのような商品を、店員は勧めることが可能になる。また、大型ショッピングモールで、複数の店舗が協力して、顧客が購入した商品の情報を外観からわかるようにすることにより、商品の購入を促進することが可能になる。

また、貼付部材は、人物が購入した商品の種類及び値段を示す色彩情報を有することが好ましい。図２８は、商品の種類と貼付部材の色との対応関係を示す第１の色彩情報テーブルの一例を示す図であり、図２９は、商品の値段と貼付部材の色の濃度との対応関係を示す第２の色彩情報テーブルの一例を示す図である。

図２８に示すように、商品の種類と貼付部材の色とを対応付けた第１の色彩情報テーブルがデータベース１５に予め記憶される。例えば、商品の種類「アウター」と貼付部材の色「赤」とが対応付けて記憶されている。また、図２９に示すように、商品の値段と貼付部材の色の濃度とを対応付けた第２の色彩情報テーブルがデータベース１５に予め記憶される。例えば、商品の値段「１円〜９９９円」と貼付部材の色の濃度「１０％」とが対応付けて記憶されている。例えば、購入した商品の種類が「アウター」であり、その値段が８００円である場合、濃度１０％の赤色の貼付部材が荷物袋に貼られることなる。

上記のように、貼付部材の色と濃度に商品の種類と値段の情報を対応させることにより、外観から購入した商品の情報がわかるようになる。一方、購入者のプライバシーの問題もあるので、図２８及び図２９の第１及び第２の色彩情報テーブルの対応関係を、例えば、曜日によって変更するようにしてもよい。この場合、店員のみが購入した商品に関する情報を共有することが可能になる。

図３０は、図１９に示す荷物袋の外観画像を撮影するカメラ２１ｂにより撮影された外観画像の一例を示す図である。例えば、第１の人物Ｐ１が標章Ｔ１及び貼付部材Ｓ１を有する荷物袋Ｂ１を所持し、第２の人物Ｐ２が標章Ｔ２及び貼付部材Ｓ２を有する荷物袋Ｂ２を所持し、第３の人物Ｐ３が標章Ｔ３及び貼付部材Ｓ３を有する荷物袋Ｂ３を所持している場合、カメラ２１ｂは、図３０に示す外観画像を撮影する。ここで、貼付部材Ｓ１〜Ｓ３の色及び濃度は、購入された商品の種類及び値段によって異なっており、貼付部材Ｓ１〜Ｓ３の色及び濃度により、商品の種類と値段を特定することができる。したがって、人流分析装置１は、カメラ２１ｂが撮影した荷物袋の外観画像を取得することにより、貼付部材Ｓ１〜Ｓ３の色及び濃度の色彩情報を得て、商品の種類及び値段を特定し、購入者と移動先の情報とを対応させることが可能になる。

なお、貼付部材に付加する情報は、上記の例に特に限定されず、他の情報を付加してもよい。図３１は、バーコードが付与された貼付部材の一例を示す図である。例えば、図３１に示すように、荷物袋Ｂ１の貼付部材Ｓ１にバーコードＢＣを添付するようにしてもよい。この場合、バーコードＢＣの情報として、さらに詳細な情報を付与することが可能になる。

本開示に係る人流分析方法、人流分析装置、及び人流分析システムは、人物が来店した店舗の順序を簡易な構成で高精度に判断することができるので、人の流れを分析する人流分析方法、人流分析装置、及び該人流分析装置を備える人流分析システムに有用である。

１、１ａ 人流分析装置
２、２１〜２ｎ 複数のカメラ
３ ディスプレイ
１１ 画像情報取得部
１２ 人物識別部
１３ 店舗推定部
１４ 時刻情報取得部
１５ データベース
１６ 来店順序判断部
１７ 通信部
１８ グループ判断部
１９ グループ画像切り出し部
２０ 人物グループ識別部

Claims (14)

1. 人の流れを分析する人流分析装置における人流分析方法であって、
   人物の外観画像を取得し、
   前記外観画像から前記人物を識別し、
   前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、
   前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶部に記憶し、
   前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する、
   人流分析方法。
2. 前記所有物は、前記店舗で取得した荷物袋を含む、
   請求項１記載の人流分析方法。
3. 前記荷物袋は、前記店舗を識別するための標章を有し、
   前記推定は、
   前記荷物袋が有する前記標章を基に、前記荷物袋を取得した店舗を推定する、
   請求項２記載の人流分析方法。
4. 前記判断は、
   第１の時刻に前記人物が所有する前記所有物から推定した店舗の一覧を示す第１の店舗リスト情報と、前記第１の時刻より後の第２の時刻に前記人物が所有する前記所有物から推定した店舗の一覧を示す第２の店舗リスト情報との差分を算出し、前記差分を基に、前記人物が来店した店舗の順序を判断する、
   請求項１〜３のいずれかに記載の人流分析方法。
5. 前記判断は、
   前記第１の店舗リスト情報が示す店舗のうち前記第２の店舗リスト情報が示す店舗に該当するものがない消失店舗がある場合、前記消失店舗で取得された前記所有物が前記第２の店舗リスト情報が示す店舗で取得された前記所有物のいずれかに統合されたと判断する、
   請求項４記載の人流分析方法。
6. 前記取得は、
   複数の人物を含む複数人物外観画像を取得し、
   前記識別は、
   前記複数人物外観画像から前記複数の人物が同一グループか否かを判断し、前記複数人物外観画像から前記同一グループと判断した前記複数の人物を含むグループ画像を切り出し、前記グループ画像から前記同一グループの前記複数の人物を識別し、
   前記推定は、
   前記グループ画像から前記同一グループの前記複数の人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定し、
   前記記憶は、
   前記同一グループの前記複数の人物を示すグループ情報と、前記同一グループの前記複数の人物が所有する前記所有物から推定した前記店舗を示す店舗情報と、前記複数人物外観画像が取得された時刻を示す時刻情報とを関連づけて前記記憶部に記憶し、
   前記判断は、
   前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記同一グループが来店した店舗の順序を判断する、
   請求項１記載の人流分析方法。
7. 人物の外観画像を取得する画像情報取得部と、
   前記外観画像から前記人物を識別する人物識別部と、
   前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定する店舗推定部と、
   前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶する記憶部と、
   前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する来店順序判断部とを備える、
   人流分析装置。
8. 前記所有物は、前記店舗で取得した荷物袋を含む、
   請求項７記載の人流分析装置。
9. 前記荷物袋の外観画像を取得する荷物袋画像情報取得部をさらに備え、
   前記荷物袋の外観画像の撮像領域は、前記人物の外観画像の撮像領域よりも地面に近い部分である、
   請求項８記載の人流分析装置。
10. 前記荷物袋の外観画像を取得する荷物袋画像情報取得部をさらに備え、
    前記人物の外観画像は、前記人物を上方から撮影した画像であり、
    前記荷物袋の外観画像は、前記荷物袋を側方から撮影した画像である、
    請求項８記載の人流分析装置。
11. 前記荷物袋の手持ち部分は、人間の上腕部よりも小さい、
    請求項８記載の人流分析装置。
12. 前記人物が購入した商品に関する情報を付与された貼付部材が前記荷物袋に装着される、
    請求項８記載の人流分析装置。
13. 前記貼付部材は、前記人物が購入した商品の種類及び値段を示す色彩情報を有する、
    請求項１２記載の人流分析装置。
14. 人物の外観画像を撮影する撮影装置と、
    人流分析装置とを備え、
    前記人流分析装置は、
    前記撮影装置により撮影された前記外観画像を取得する画像情報取得部と、
    前記外観画像から前記人物を識別する人物識別部と、
    前記外観画像から前記人物が所有する所有物を特定し、特定した前記所有物から前記所有物を取得した店舗を推定する店舗推定部と、
    前記識別した前記人物を示す人物情報と、前記推定した前記店舗を示す店舗情報と、前記外観画像が取得された時刻を示す時刻情報とを関連づけて記憶する記憶部と、
    前記記憶部に記憶された前記店舗情報が示す店舗の時系列上の変化を基に、前記人物が来店した店舗の順序を判断する来店順序判断部とを備える、
    人流分析システム。

Images