JP6798549B2 - 動線表示システム、動線表示方法および動線表示プログラム - Google Patents

Description

本発明は、動線表示システム、動線表示方法およびプログラム記録媒体に関する。

関連技術として、特許文献１には、監視カメラなどの固定カメラにおいて撮影された動画像を用いて人物動線の情報を生成し、顔の向きなどの方向情報を人物動線の情報に付加して表示するシステムが知られている。

特開２０１１−２４８８３６号公報 特開２００７−００３４４８号公報

しかしながら、特許文献１では、人物などの対象の顔向きを動線とともに表示しているだけであった。

本発明の目的は、人物などの対象の向きおよび向きに応じた時間を動線とともに表示することで、より精度の高いマーケティング情報を収集することが可能な動線表示システム、動線表示方法およびプログラム記録媒体を提供することである。

本発明の動線表示システムは、画像を撮影する撮像部と、画像から対象を抽出し、対象の動線と対象の向きと向きに応じた時間とを特定する情報処置装置と、対象の向きおよび向きに応じた時間を対象の動線とともに表示する表示部とを備えることを特徴とする。

本発明の動線表示方法は、撮影された画像から対象を抽出する抽出ステップと、対象の動線と対象の向きと向きに応じた時間とを特定する特定ステップと、対象の向きおよび向きに応じた時間を対象の動線とともに表示する表示ステップとを備えることを特徴とする。

本発明のプログラム記録媒体は、コンピュータに、撮影された画像から対象を抽出する抽出ステップと、対象の動線と対象の向きと向きに応じた時間とを特定する特定ステップと、対象の向きおよび向きに応じた時間を対象の動線とともに表示する表示ステップとを実行させるためのプログラムをコンピュータ読み取り可能に記録することを特徴とする。

本発明は、人物などの対象の向きおよび向きに応じた時間を動線とともに表示することで、より精度の高いマーケティング情報を収集することができるという効果を有する。

図１は、本発明の第１の実施形態における動線表示システム１を示すブロック図である。 図２は、抽出情報テーブル１２２２を示す図である。 図３は、顔向きと方向を意味する記号（アルファベットＡ〜Ｈ）との対応関係を示す図である。 図４は、動線情報テーブル１２２３を示す図である。 図５は、表示部１３の出力例を示す図である。 図６は、サイズテーブル１２２４を示す図である。 図７は、画像処理部１２１の処理フローを示すフローチャートである。 図８は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図９は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１０は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１１は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１２は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１３は、第１の実施形態の変形例における表示部１３の出力例を示す図である。 図１４は、第２の実施形態における動線表示システム１４を示すブロック図である。 図１５は、色テーブル１２２５を示す図である。 図１６は、動線情報テーブル１２２６を示す図である。 図１７は、表示部１３の出力例を示す図である。 図１８は、画像処理部１２１の処理フローを示すフローチャートである。 図１９は、第３の実施形態における抽出情報テーブル１２２７を示す図である。 図２０は、動線情報テーブル１２２８を示す図である。 図２１は、表示部１３の出力例を示す図である。 図２２は、画像処理部１２１の処理フローを示すフローチャートである。 図２３は、第３の実施形態の変形例における表示部１３の出力例を示す図である。 図２４は、第３の実施形態の変形例における表示部１３の出力例を示す図である。 図２５は、第４の実施形態における動線表示システム２５を示すブロック図である。 図２６は、速度情報テーブル１２２９を示す図である。 図２７は、線情報テーブル１２２１０を示す図である。 図２８は、表示部１３の出力例を示す図である。 図２９は、画像処理部１２１の処理フローを示すフローチャートである。

次に、本発明の第１の実施形態について図面を参照して詳細に説明する。

図１は、本発明の第１の実施形態における動線表示システム１のブロック図である。

図１のように、本実施形態の動線表示システム１は、撮像部１１、情報処理装置１２および表示部１３を備える。情報処理装置１２は画像処理部１２１および記憶部１２２を備える。

撮像部１１は、人物などの対象を撮影するカメラである。撮像部１１は動画および静止画を含む画像を撮影する。本実施形態では、撮像部１１は動画を撮影するものとして説明するがこれに限定されるものではない。また、本実施形態では、撮像部１１であるカメラは店舗などに設置され、商品棚の前の通路を含む領域を撮影範囲として撮影するものとして説明するが、これに限定されるものではない。例えば、撮像部１１であるカメラは、店舗の天井や壁、商品棚に設置される。

撮像部１１は撮影範囲の画像を撮影し、画像データを画像が撮影された時間を示す撮影時間情報とともに画像処理部１２１へ送る。本実施形態では、撮像部１１が画像データとともに撮影時間情報を画像処理部１２１へ送るものとして説明するが、これに限定されず、画像データが撮影時間情報を含むようにしても良い。また、本実施形態では、撮像部１１が人物を対象として撮影するものとして説明するが、これに限定されるものではない。

記憶部１２２には、向きを特定するための情報が顔向き判定情報１２２１として予め格納されている。例えば、人物の正面の頭部画像、右向きの頭部画像および左向きの頭部画像などがサンプル画像として登録されている。本実施形態では、向きの一例として、対象の顔向きを特定するものとして説明するが、これに限定されるものではない。

画像処理部１２１は、撮像部１１から受け取った画像データから人物を抽出する。画像処理部１２１は、抽出された人物と記憶部に格納されている顔向き判定情報１２２１とのマッチングを行い、抽出された人物の顔向きを特定する。さらに、画像処理部１２１は、画像データから、抽出された人物が位置する平面上の座標を算出し、抽出情報テーブル１２２２を生成して記憶部１２２に格納する。

図２に、抽出情報テーブル１２２２の具体例を示す。

抽出情報テーブル１２２２は、位置１２２２−１と撮影時間１２２２−２と顔向き１２２２−３とから構成される。

位置１２２２−１は、抽出された人物が位置する平面上の座標（位置情報）を示す。

撮影時間１２２２−２は、画像が撮影された日時（撮影時間情報）を示す。例えば、2016/03/01/9:00:00は２０１６年３月１日９時０分０秒を示す。本実施形態では、画像処理部１２１が画像データから１５秒ごとに人物を検出しているが、これに限定されず、任意の時間間隔に設定可能である。

顔向き１２２２−３は、抽出された人物の顔向き（顔向き情報）を示す。本実施形態では、顔向きと記号とが予め対応付けられており、顔向き１２２２−３には各顔向きに対応する記号が格納されている。本実施形態では、顔向きに対応する記号としてアルファベットＡ〜Ｈが設定されているが、これに限定されるものはない。

図３は、商品棚３０および通路３１を上から見た図である。

例えば、図３に示すように、商品棚３０との位置関係で８つの方向が予め設定され、各方向に対してアルファベットＡ〜Ｈが予め設定されている。例えば、商品棚３０の前に通路３１があり、通路３１に存在する人物の顔向きが商品棚３０に向いていて、かつ、商品棚３０に対して顔向きが略垂直な場合、対応する顔向きの記号は「Ａ」となる。ただし、アルファベットに対応する顔向きには幅があり、例えば、人物の顔向きがアルファベットＡとＢとの間にあり、かつ、ＢよりもＡに近い場合に、対応する顔向きの記号を「Ａ」とすることができる。

なお、顔向きを特定する方法は一例であり、本実施形態に限定されず、公知の方法を利用することができる。例えば、特開２００１−２９１１０８号公報や特開平１１−２８１６６１号公報に記載の方法が知られている。特開２００１−２９１１０８号公報では、予め複数人の正面顔データを取得して平均顔を作成し、平均顔を３Ｄモデルに貼り合わせて任意の角度回転させた画像を生成して、入力画像と最も相関度の高い角度の画像を決定することで入力画像の顔向きを推定している。また、特開平１１−２８１６６１号公報では、撮像された顔画像から肌色領域を抽出し、肌色領域から両目および口の位置と顔幅とを検出し、それらの位置関係から顔向きを推定している。

なお、本実施形態では、抽出情報テーブル１２２２の３つのエントリが同じ座標(Ｘ３，Ｙ３）であり、(Ｘ３，Ｙ３）の各エントリに対応する顔向きはいずれも同じ（「Ａ」方向）として説明する。

画像処理部１２１は、抽出情報テーブル１２２２から動線情報テーブル１２２３を生成し、記憶部１２２に格納する。動線情報テーブル１２２３は、出力位置１２２３−１と顔向き１２２３−２と出力サイズ１２２３−３とから構成される。

出力位置１２２３−１は、表示部１３に出力する動線の各座標を示す。本実施形態では、出力位置１２２３−１は基本的に位置１２２２−１と同じであるが、抽出情報テーブル１２２２において位置１２２２−１の座標が同じで、かつ、対応する顔向きも同じであるエントリが連続していた場合、動線情報テーブル１２２３では、その連続するエントリは１つに纏められている。

顔向き１２２３−２は出力位置１２２３−１の各座標に対応する顔向きを示す。本実施形態では、詳細は後述するが、顔向きを二等辺三角形の三角マークで表示部１３に表示する。

出力サイズ１２２３−３は、顔向きを示す三角マークの大きさを示す。詳細は後述するが、三角マークの大きさは顔向きに応じた時間を示しており、その顔向きに対象が顔を向けていた時間に応じて大きさが変更される。

画像処理部１２１は、動線情報テーブル１２２３を参照し、出力位置１２２３−１の各座標をつなげることで抽出された人物の動線を生成し、顔向き（顔向き情報）および顔向きに応じた時間（時間情報）を意味する三角マークとともに生成された動線（動線情報）を表示部１３に出力する。なお、顔向き情報は対象の向きを示す向き情報の一例である。

なお、動線の生成は公知の技術を利用することができる。例えば、特開２００６−３５０７１号公報では、カメラで撮影された映像データを画像処理し、画像処理結果から人物を抽出して抽出された人物が位置する平面上の座標を算出し、各座標をつなげることで動線データが生成されている。さらに、複数の人物が撮影されている場合は、各々の人物の位置する座標を算出する。複数の人物は画像処理により、外形、上下の服の色などで識別され、識別された人物のそれぞれにＩＤが付されてその後に撮影された次の画像データの画像処理を同様に行って追跡が行われ、動線データが生成される。

表示部１３は、顔向きおよび顔向きに応じた時間を人物の動線とともに表示する。表示部１３はディスプレイを備えた装置であれば良く、例えば、パーソナルコンピュータやタブレット端末などの携帯端末などが考えられる
次に、表示部１３の出力例について説明する。

図５は、人物の顔向きと顔向きに応じた時間とが動線とともに表示された場合の例である。

顔向きおよび顔向きに応じた時間は二等辺三角形の三角マークで表示され、頂角が人物の顔向きを示す。さらに、人物がその顔向きに顔を向けていた時間に応じて三角マークの大きさが変更され、人物がその顔向きに顔を向けていた時間が長いほど大きく表示される。図５では、人物の顔向きおよび顔向きに応じた時間が動線に重ねて表示されているが、これに限定されず、人物の顔向きおよび顔向きに応じた情報が動線とともに表示されていれば良い。

本実施形態では、図６に示されるように、記憶部１２２が、表示する三角マークの大きさを示すサイズテーブル１２２４を予め格納している。画像処理部１２１はサイズテーブル１２２４を参照して表示する三角マークの大きさを変更し、表示部１３に出力する。

サイズテーブル１２２４はエントリ数１２２４−１とサイズ１２２４−２とから構成される。

エントリ数１２２４−１は、抽出情報テーブル１２２２において人物の位置（位置１２２２−１の座標）と顔向き（顔向き１２２２−３のアルファベット）との両方が一致するエントリが何回連続しているか（エントリの連続数）を示す。また、サイズ１２２４−２はエントリの連続数に対応する三角マークの表示サイズを示す。エントリの連続数が「１」のときの三角マークのサイズを基準とし、ここでは標準サイズと呼ぶ。

エントリの連続数が「１」の場合、三角マークは標準サイズである１．００倍で表示される。また、エントリの連続数が「２」の場合、ある位置での顔向きが１５秒以上継続されていたことを意味し、三角マークのサイズは標準サイズの１．２５倍で表示される。また、エントリの連続数が「３」の場合、ある位置での顔向きが３０秒以上継続されていたことを意味し、三角マークのサイズは標準サイズの１．５倍で表示される。また、エントリの連続数が「４」の場合、ある位置での顔向きが４５秒以上継続されていたことを意味し、三角マークのサイズは標準サイズの１．７５倍で表示される。また、エントリの連続数が「５〜８」の場合、ある位置で顔向きが１分以上継続されていたことを意味し、三角マークのサイズは標準サイズの２．００倍で表示される。また、エントリの連続数が「９〜１２」の場合、ある位置での顔向きが２分以上継続されていたことを意味し、三角マークのサイズは標準サイズの２．５０倍で表示される。また、エントリの連続数が「１３以上」の場合、ある位置での顔向きが３分以上継続されていたことを意味し、三角マークのサイズは標準サイズの３．０倍で表示される。

本実施形態では、図２の抽出情報テーブル１２２２を参照すると、位置１２２２−１が（Ｘ３，Ｙ３）であり、かつ、対応する顔向き１２２２−３がいずれも「Ａ」であるエントリが３つ連続しているので、動線情報テーブル１２２３の出力位置１２２３−１の（Ｘ３，Ｙ３）に対応するエントリの連続数は「３」となる。画像処理部１２１はサイズテーブル１２２４を参照し、出力位置１２２３−１の（Ｘ３，Ｙ３）に対応する三角マークの表示サイズは標準サイズの１．５０倍と特定する。

位置１２２２−１のその他の各座標はそれぞれ異なるため、出力位置１２２３−１のその他の座標に対応する連続数はそれぞれ「１」となる。画像処理部１２１はサイズテーブル１２２３を参照して、対応する三角マークの表示サイズは標準サイズと特定する。

次に、図５を参照し、表示部１３に表示される動線および三角マークについて詳細に説明する。

動線情報テーブル１２２３における出力位置１２２３−１の（Ｘ１，Ｙ１）が三角マーク３２に対応し、（Ｘ２，Ｙ２）が三角マーク３３に対応し、（Ｘ３，Ｙ３）が三角マーク３４に対応し、（Ｘ４、Ｙ４）が三角マーク３５に対応し、（Ｘ５、Ｙ５）が三角マーク３６に対応する。

動線情報テーブル１２２３における顔向き１２２３−２を参照すると、出力位置１２２３−１の（Ｘ１，Ｙ１）に対応する顔向きは「Ｂ」であり、「Ｂ」の方向が頂角となる二等辺三角形の三角マーク３２が動線とともに表示される。出力サイズ１２２３−３に基づいて三角マーク３２は標準サイズで表示される。

また、出力位置１２２３−１の（Ｘ２，Ｙ２）に対応する顔向きは「Ｂ」であり、「Ｂ」の方向が頂角となる二等辺三角形の三角マーク３３が動線とともに表示される。出力サイズ１２２３−３に基づいて三角マーク３３は標準サイズで表示される。

また、出力位置１２２３−１の（Ｘ３，Ｙ３）に対応する顔向きは「Ａ」であり、「Ａ」の方向が頂角となる二等辺三角形の三角マーク３４が動線とともに表示される。出力サイズ１２２３−３に基づいて三角マーク３４は標準サイズの１．５０倍で表示される。

また、出力位置１２２３−１の（Ｘ４，Ｙ４）に対応する顔向きは「Ｃ」であり、「Ｃ」の方向が頂角となる二等辺三角形の三角マーク３５が動線とともに表示される。出力サイズ１２２３−３に基づいて三角マーク３５は標準サイズで表示される。

また、出力位置１２２３−１の（Ｘ５，Ｙ５）に対応する顔向きは「Ｃ」であり、「Ｃ」の方向が頂角となる二等辺三角形の三角マーク３６が動線とともに表示される。出力サイズ１２２３−３に基づいて三角マーク３６は標準サイズで表示される。

次に、情報処理装置１２の処理フローについて説明する。図７は画像処理部１２１の処理を示すフローチャートである。

まず、画像処理部１２１は撮像部１１であるカメラから画像データを受け取り（ステップＳ７１）、画像データから人物を抽出する（ステップＳ７２）。次に、画像処理部１２１は、記憶部１２２に予め格納されている顔向き判定情報１２２１を参照して、抽出された人物の顔向きを特定する（ステップＳ７３）。次に、画像処理部１２１は、抽出情報テーブル１２２２を生成し、記憶部１２２に格納する（ステップＳ７４）。次に、画像処理部１２１は、エントリの連続数を計算し、予め記憶部に格納されているサイズテーブル１２２４を参照して、動線とともに表示する三角マークの大きさを特定し、動線情報テーブル１２２３を生成する（ステップＳ７５）。次に、画像処理部１２１は動線情報テーブル１２２３を参照して動線を生成し（ステップＳ７６）、三角マークとともに動線を表示部１３に出力する（ステップＳ７７）。

なお、画像処理部１２１は、表示部１３を介してユーザからのリクエストがあった場合に、表示部１３に出力するようにしても良い。

なお、本実施形態では、二等辺三角形の三角マークを用いて顔向きを示す構成にしたが、これに限定されるものではなく、方向を意味するものであれば何でも良い。例えば、矢印などの記号でも良い。また、例えば、図３で示される方向を意味するアルファベットＡ〜Ｈを、その顔向きに顔が向けられていた時間に応じて、大きさを変えて動線とともに表示するようにしても良い。

図８〜１２に、第１の実施形態の変形例における表示部１３の出力例を示す。

図８は三角マークの代わりに矢印を用いた場合の出力例である。矢印３２−１は図５の三角マーク３２に対応し、矢印３３−１は図５の三角マーク３３に対応し、矢印３４−１は図５の三角マーク３４に対応し、矢印３５−１は図５の三角マーク３５に対応し、矢印３６−１は図５の三角マーク３６に対応する。

図９は三角マークの代わりに方向を意味するアルファベットを用いた場合の出力例である。アルファベット「Ｂ」３２−２は図５の三角マーク３２に対応し、アルファベット「Ｂ」３３−２は図５の三角マーク３３に対応し、アルファベット「Ａ」３４−２は図５の三角マーク３４に対応し、アルファベット「Ｃ」３５−２は図５の三角マーク３５に対応し、アルファベット「Ｃ」３６−２は図５の三角マーク３６に対応する。

また、顔向きに応じて動線を色分けし、顔向きに応じた時間を色分けされた動線とともに表示するようにしても良い。

また、本実施形態では、（Ｘ３，Ｙ３）に対応する位置の顔向き方向が「Ａ」で一定であるものとして説明したが、ある位置における人物の顔向きが一定でない場合も考えられる。このような場合は、一定でないことを示す情報を記号など用いて動線とともに表示するようにしても良いし、複数の方向を示す三角マークを動線ともに表示するようにしても良い。また、人物が顔を向けていた時間が長い顔向きの三角マークを選択して動線とともに表示するようにしても良い。

例えば、抽出情報テーブル１２２２の位置１２２２−１が（Ｘ３，Ｙ３）である３つのエントリに対応する顔向きがそれぞれ異なる場合、図１０のように、図５の三角マーク３４に代えて、顔向きが一定ないことを意味するバツマーク３４−３を表示するようにしても良い。

例えば、抽出情報テーブル１２２２の位置１２２２−１が（Ｘ３，Ｙ３）である３つのエントリに対応する顔向きが時系列で「Ｈ」「Ｂ」「Ａ」となっていた場合、図１１のように、「Ｈ」「Ｂ」「Ａ」の３方向を意味する三角マークを重ねたもの３４−４を表示するようにしても良いし、図１２のように、「Ｈ」「Ｂ」「Ａ」の３方向を意味する三角マークを左から並べたもの３４−５を表示するようにしても良い。例えば、抽出情報テーブル１２２２の位置１２２２−１が（Ｘ３，Ｙ３）である３つのエントリに対応する顔向きが時系列に「Ｈ」「Ｈ」「Ａ」の場合、図１３のように、人物が顔を向けていた時間が最も長い「Ｈ」が意味する方向のみを三角マーク３４−６で表示するようにしても良い。なお、この場合、対応するエントリの連続数は「２」となるので、三角マーク３４−６は標準サイズの１．２５倍で表示される。

また、画像処理部１２１が、商品棚３０の前の通路３１に存在する人物の位置に応じて、顔向きおよび顔向きに応じた時間を動線とともに表示するか否かを判断する構成にしても良い。例えば、人物と商品棚３０との距離が予め設定された所定値以下の場合のみ、表示部１３が顔向きおよび顔向きに応じた時間を動線とともに表示するようにすることができる。また、商品棚３０と人物との距離が予め設定された所定値以下、かつ、人物の顔向きが商品棚３０の方向と推測される場合にのみ、表示部１３が顔向きおよび顔向きに応じた時間を動線とともに表示するようにすることができる。

このように、本実施形態では、人物などの対象の向きおよび向きに応じた時間を動線とともに表示することで、より精度の高いマーケティング情報を収集することができる。
次に、本発明の第２の実施形態について説明する。

第１の実施形態では、人物がその顔向きに顔を向けていた時間に応じて三角マークの大きさを変える構成としたが、第２の実施形態では、人物がその顔向きに顔を向けていた時間に応じて三角マークの色を変更する点が異なる。その他については第１の実施形態と同様であるので、詳細な説明は省略する。

図１４に、本実施形態における動線表示システム１４のブロック図を示す。

動線表示システム１４では、サイズテーブル１２２４に代えて、色テーブル１２２５が記憶部１２２に格納されている。

図１５に色テーブル１２２５を示す。色テーブル１２２５はエントリ数１２２５−１と色１２２５−２とから構成される。エントリ数１２２５−１はエントリの連続数を示す。
色１２２５−２はエントリの連続数に対応する動線の色を示す。

エントリの連続数が「１」の場合、三角マークは黒色で表示される。また、エントリの連続数が「２」の場合、三角マークはグレー色で表示される。また、エントリの連続数が「３」の場合、三角マークは青色で表示される。また、エントリの連続数が「４」の場合、三角マークは黄色で表示される。また、エントリの連続数が「５〜８」の場合、三角マークは緑色で表示される。また、エントリの連続数が「９〜１２」の場合、三角マークはオレンジ色で表示される。また、エントリの連続数が「１３以上」の場合、三角マークは赤色で表示される。

画像処理部１２１は、抽出情報テーブル１２２２および色テーブル１２２５を参照して動線情報テーブル１２２６を生成し、記憶部１２２に格納する。

図１６に本実施形態における動線情報テーブル１２２６を示す。

動線情報テーブル１２２６は出力位置１２２６−１と顔向き１２２６−２と色１２２６−３とから構成される。出力位置１２２６−１と顔向き１２２６−２は、第１実施形態における動線情報テーブル１２２３の出力位置１２２３−１と顔向き１２２３−２と同様である。本実施形態では、動線情報テーブル１２２３の出力サイズ１２２３−３に代えて色１２２６−３となっており、出力サイズ１２２３−３の「１．０倍」が色１２２６−３の「黒色」に対応し、出力サイズ１２２３−３の「１．５倍」が色１２２６−３の「青色」に対応している。

図１７に表示部１３の出力例を示す。三角マーク３２〜３６の大きさは全て同じであるが、人物がその顔向きに顔を向けていた時間に応じて表示される色が変更されている。本実施形態においては、三角マーク３２，３３，３５，３６は黒色で表示されるが、三角マーク３４は青色で表示される。

図１８に、本実施形態における画像処理部１２１の処理フローを示す。

第１の実施形態では、ステップＳ７５において、表示する三角マークの大きさを特定していたのに対し、本実施形態では、色テーブル１２２５に基づいて表示する三角マークの色を特定する（ステップＳ１８０５）。その他のステップについては同様なので、詳細な説明は省略する。

本実施形態では、第１の実施形態と同様、人物などの対象の向きおよび向きに応じた時間を動線とともに表示するため、より精度の高いマーケティング情報を収集することができる。

次に第３の実施形態について説明する。

第１および第２の実施形態では、例えば、顔向きが「Ａ」の場合、人物が商品棚３０を見ていることが分かるが、商品棚３０のどの高さを見ているかまでは分からなかった。本実施形態では、人物が商品棚３０を見ていると推測される場合に、顔向きおよび顔向きに応じた時間に加え、人物の視線の高さを示す視線情報も動線に加えて表示する点が異なる。

画像処理部１２１は、撮像部１１から受け取った画像データから、抽出された人物の視線を検出し、人物の視線の高さを特定する。

本実施形態では、画像処理部１２１が、顔向きが「Ａ」の場合に人物が商品棚３０を見ていると判断するものとして説明するが、これに限定されない。例えば、画像処理部１２１が、顔向きが「Ａ」「Ｂ」「Ｈ」のいずれかの方向の場合に、人物が商品棚３０を見ていると判断するようにしても良い。

また、例えば、顔向きに関わらず、人物が抽出された全ての位置において、人物の視線の高さを特定するようにしても良い。また、商品棚３０と人物との距離が予め設定された所定値以下の場合にのみ視線情報を表示するようにしても良い。また、商品棚３０と人物との距離が予め設定された所定値以下、かつ、人物の顔向きが商品棚３０の方向と推測される場合にのみ視線情報を表示するようにしても良い。

図１９に、本実施形態における抽出情報テーブル１２２７を示す。

第１の実施形態の抽出情報テーブル１２２２と比べると、視線高さ１２２７−１が追加されているが、その他の要素は同様である。

本実施形態では、商品棚３０が３段の棚を備えるものとして説明する。人物が商品棚３０の上段の棚の高さに視線を向けた場合、視線高さ１２２５−１の値を「１」とする。人物が商品棚３０の中段の棚の高さに視線を向けた場合、視線高さ１２２５−１の値を「２」とする。人物が商品棚３０の下段の棚の高さに視線を向けた場合、視線高さ１２２５−１の値を「３」とする。

なお、図示しないが、記憶部１２２は、人物の視線高さと抽出情報テーブル１２２７の視線高さ１２２５−１の値との対応関係を示すテーブルを予め格納しているものとする。

画像処理部１２１は、抽出情報テーブル１２２７を参照し、動線情報テーブル１２２８を生成し、記憶部１２２に格納する。

図２０に動線情報テーブル１２２８を示す。

動線情報テーブル１２２８は、出力位置１２２８−１と顔向き１２２８−２と出力サイズ１２２８−３と視線高さ１２２８−４とから構成される。出力位置１２２８−１と顔向き１２２８−２と出力サイズ１２２８−３は、第１の実施形態の動線情報テーブル１２２３の出力位置１２２３−１と顔向き１２２３−２と出力サイズ１２２３−３と同様である。視線高さ１２２８−４は、出力位置１２２８−１の各座標に対応する対象の視線の高さを示す。

なお、本実施形態では、抽出情報テーブル１２２７の位置１２２７−１と動線情報テーブル１２２８の出力位置１２２８−１は基本的に同じであるが、抽出情報テーブル１２２７において位置１２２７−１の座標が同じで、かつ、対応する顔向きおよび視線高さも同じエントリが連続していた場合、動線情報テーブル１２２８では、その連続するエントリは１つに纏められている。

図２１に本実施形態における表示部１３の出力例を示す。

図２１では、三角マーク３４に視線高さ１２２８−４の値である「１」が重ねて表示されている。その他については、第１の実施形態の出力例を示す図５と同様なので、詳細な説明は省略する。

次に、情報処理装置１２の処理フローを示す。図２２は画像処理部１２１の処理を示すフローチャートである。

まず、画像処理部１２１は撮像部１１であるカメラから画像データを受け取り（ステップＳ２２０１）、画像データから人物を抽出する（ステップＳ２２０２）。次に、画像処理部１２１は、記憶部１２２に予め格納されている顔向き判定情報１２２１を参照して、抽出された人物の顔向きを特定する（ステップＳ２２０３）。次に、画像処理部１２１は人物の顔向きが商品棚３０の方向か否かを判定する（ステップＳ２２０４）。具体的には、顔向き１２２７−３が「Ａ」であるか否かを判定する。人物の顔向きが商品棚３０の方向を向いている場合、人物の視線高さを特定する（ステップＳ２２０５）。次に、画像処理部１２１は、抽出情報テーブル１２２７を生成し、記憶部１２２に格納する（ステップＳ２２０６）。一方、人物の顔向きが商品棚３０の方向を向いていない場合、人物の視線高さは特定せずに、抽出情報テーブル１２２７を生成し、記憶部１２２に格納する（ステップＳ２２０６）。次に、画像処理部１２１は、エントリの連続数を計算し、予め記憶部に格納されているサイズテーブル１２２３を参照して、動線情報ともに表示する三角マークの大きさを特定する（ステップＳ２２０７）。次に、画像処理部１２１は動線情報テーブル１２２８を生成し、記憶部１２２に格納する（ステップＳ２２０８）。次に、画像処理部１２１は動線情報テーブル１２２８を参照して動線を生成し（ステップＳ２２０９）、三角マークと視線情報とともに動線を表示部１３に出力する（ステップＳ２２１０）。

本実施形態では、抽出情報テーブル１２２７の位置１２２７−１の（Ｘ３，Ｙ３）に対応するいずれの視線高さ１２２７−１も「１」であるが、人物が複数の方向に視線を向けていた場合（例えば、位置１２２７−１の３つの（Ｘ３，Ｙ３）に対応する視線高さがそれぞれ異なる場合）、視線高さが特定できないことを示す情報を表示するようにしても良い。また、人物が複数の方向に視線を向けていた場合、視線高さ１２２７−１の値の上位いくつかの値を表示するようにしても良いし、視線高さ１２２７−１の値の平均値を表示するようにしても良い。

図２３および図２４は、第３の実施形態の変形例における表示部１３の出力例を示す。

例えば、抽出情報テーブル１２２７の３つの（Ｘ３，Ｙ３）に対応する視線高さ１２２７−３の値が時系列で「３」「２」「１」と異なる場合、図２３のように、視線が一定しないことを意味するバツマークを三角マークとともに表示しても良いし、図２４のように、視線高さを意味する数字を時系列に左から並べて表示するようにしても良い。

本実施形態によれば、対象の向きおよび向きに応じた時間に加え、人物の視線の高さを示す視線情報も動線とともに表示することで、より精度の高いマーケティング情報を収集することができる。

次に第４の実施形態について説明する。

第１および第２の実施形態では、顔向きおよび顔向きに応じた時間を動線に付加して表示する構成であるが、本実施形態では、さらに抽出された人物の歩行速度の情報を付加して表示する点が異なる。

図２５に本実施形態における動線表示システム２５のブロック図を示す。

画像処理部１２１は、抽出情報テーブル１２２２を参照して速度情報テーブル１２２９を生成し、記憶部１２２に格納する。また、記憶部１２２には線情報テーブル１２２１０が予め格納されている。

図２６に速度情報テーブル１２２９を示す。速度情報テーブル１２２９は区間１２２９−１と速度１２２９−２とから構成される。

第１区間を（Ｘ１，Ｙ１）から（Ｘ２，Ｙ２）までとし、第２区間を（Ｘ２，Ｙ２）から（Ｘ３，Ｙ３）までとし、第３区間を（Ｘ３，Ｙ３）から（Ｘ４，Ｙ４）までとし、第４区間を（Ｘ４，Ｙ４）から（Ｘ５，Ｙ５）までとする。

画像処理部１２１は各区間の歩行速度を計算し、速度情報テーブル１２２９に格納する。

本実施形態では、図２６の速度情報テーブル１２２９に示されるように、第１区間および第２区間の歩行速度は０．６ｍ／ｓであり、第３区間の歩行速度は１．２ｍ／ｓであり、第４区間の歩行速度は１．６ｍ／ｓである。

図２７に線情報テーブル１２２１０を示す。

線情報テーブル１２２１０は速度１２２１０−１と線１２２１０−２とから構成される。歩行速度が０．８ｍ／ｓ未満の場合には実線で表示され、歩行速度が０．８ｍ／ｓ以上１．６ｍ／ｓ未満の場合には破線で表示され、歩行速度が１．６ｍ／ｓ以上の場合には点線で表示されることが示されている。なお、表示される線の種類はこれに限定されるものではなく、太線や二重線などで良い。

図２８に本実施形態における表示部１３の出力例を示す。

三角マーク３２から３３までが第１区間に相当し、歩行速度は０．６ｍ／ｓなので実線で表示されている。また、三角マーク３３から３４までが第２区間に相当し、歩行速度は０．６ｍ／ｓなので実線で表示されている。また、三角マーク３４から３５までが第３区間に相当し、歩行速度が１．２ｍ／ｓなので、破線で表示されている。また、三角マーク３５から３６までが第４区間に相当し、１．６ｍ／ｓなので、点線で表示されている。

次に、本実施形態における情報処理装置１２の処理フローについて説明する。図２９は画像処理部１２１の処理を示すフローチャートである。

まず、画像処理部１２１は撮像部１１であるカメラから画像データを受け取り（ステップＳ２９０１）、画像データから人物を抽出する（ステップＳ２９０２）。次に、画像処理部１２１は、記憶部１２２に予め格納されている顔向き判定情報１２２１を参照して、抽出された人物の顔向きを特定する（ステップＳ２９０３）。次に、画像処理部１２１は、抽出情報テーブル１２２２を生成し、記憶部１２２に格納する（ステップＳ２９０４）。次に、画像処理部１２１は、エントリの連続数を計算し、予め記憶部１２２に格納されているサイズテーブル１２２３を参照して、動線情報とともに表示する三角マークの大きさを特定する（ステップＳ２９０５）。次に、画像処理部１２１は、各区間おける人物の歩行速度を計算し（ステップＳ２９０６）、速度情報テーブル１２２９を生成して記憶部１２２に格納する（ステップＳ２９０７）。

次に、画像処理部１２１は、線情報テーブル１２２１０を参照し、各区間における動線の種類を特定し（ステップＳ２９０８）、ステップＳ２９０８で特定された種類の動線を生成する（ステップＳ２９０９）。次に、画像処理部１２１は三角マークとともに動線を表示部１３に出力する（ステップＳ２９１０）。

本実施形態では、対象の向きおよび向きに応じた時間に加えて人物の歩行速度の情報も付加して動線を表示するため、より精度の高いマーケティング情報を収集することができる。

次に第５の実施形態について説明する。

本実施形態では、第１〜４の実施形態で用いられた情報が記憶部１２２に格納されており、ユーザからのリクエストに応じて、表示部１３における出力を変更できる点が第１の実施形態と異なる。その他の構成については、第１の実施形態と同様であるため、詳細な説明は省略する。

本実施形態では、記憶部１２２は第１〜４の実施形態で格納されていたテーブルを全て備えている。表示部１３を介してユーザが表示部１３における表示方法を指示すると、画像処理部１２１が記憶部１２２を参照し、ユーザのリクエストに応じた動線に関する情報を生成して表示部１３に出力する。例えば、顔向きを三角マークで表示し、かつ、その顔向きに顔を向けていた時間に応じて三角マークの大きさを変えて表示したい旨のリクエストを出力部１３から受け取ると、画像処理部１２１は、第１の実施形態における図５のような情報を表示部１３に出力する。

本実施形態では、ユーザのリクエストに応じて出力情報が変更されるため、ユーザはより適切なマーケティング情報を収集することができる。

なお、第１および第２の実施形態では、顔向きおよび顔向きに応じた時間を動線に付加して表示する構成であったが、顔向きに応じた時間は表示せずに、顔向きに応じて動線の色分けをして表示するようにしても良い。例えば、顔向きと動線の色情報との対応テーブルが記憶部１２２に予め格納されており、その対応テーブル（顔向きと動線の色情報との対応テーブル）を参照して、顔向きに応じて、動線を色分けして表示する。

また、顔向きおよび顔向きに応じた時間は表示せずに、人物の歩行速度に応じて動線の種類を変えて表示するようにしても良い。また、人物の歩行速度に応じて動線の種類を変えて表示し、その動線に顔向きのみ付加して表示するようにしても良い。また、顔向きに応じた時間は表示せずに、顔向きおよび視線の高さを示す視線情報のみを動線に付加して表示するようにしても良い。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

［付記］
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
画像を撮影する撮像部と、
前記画像から対象を抽出し、前記対象の動線と前記対象の向きと当該向きに応じた時間とを特定する情報処置装置と、
前記対象の向きおよび前記向きに応じた時間を前記対象の動線とともに表示する表示部と、
を備えることを特徴とする動線表示システム。
（付記２）
前記情報処理装置は、
前記画像から対象を抽出し、前記対象の位置と前記画像の撮影時間と前記対象の向きとを特定する画像処理部と、
前記対象の位置を示す位置情報と前記撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とを対応付けて格納する記憶部と、
を備え、
前記画像処理部は、前記位置情報と前記撮影時間情報と前記向き情報とに基づいて前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、前記向き情報および前記時間情報を前記対象の動線情報とともに表示させることを特徴とする付記１に記載の動線表示システム。
（付記３）
前記向き情報は、前記対象が顔を向けていた時間を示すことを特徴とする付記２に記載の動線表示システム。
（付記４）
前記表示部は、前記向き情報を記号で表示し、前記時間情報に基づいて前記記号の表示を変更する付記２または３に記載の動線表示システム。
（付記５）
前記表示部は、前記向き情報に基づいて、前記記号の大きさまたは色を変更することを特徴とする付記４に記載の動線表示システム。
（付記６）
前記表示部は、前記向き情報および前記時間情報を前記対象の動線情報に重ねて表示することを特徴とする付記２ないし５のいずれかに記載の動線表示システム。
（付記７）
前記情報処理装置は、前記対象の画像から前記対象の視線の高さを示す視線情報を生成し、
前記表示部は、前記向き情報と前記時間情報と前記視線情報とを前記対象の動線情報とともに表示することを特徴とする付記２ないし６のいずれかに記載の動線表示システム。
（付記８）
前記情報処理装置は、前記対象の画像から前記対象の歩行速度を示す速度情報を生成し、
前記表示部は、前記向き情報と前記時間情報と前記速度情報とを前記対象の動線情報とともに表示することを特徴とする付記２ないし７のいずれかに記載の動線表示システム。
（付記９）
前記表示部は、前記速度情報に基づいて、前記動線情報の線の種類を変更して表示することを特徴とする付記８記載の動線表示システム。
（付記１０）
前記表示部は、前記向き情報に応じて前記対象の動線情報を色分けして表示することを特徴とする付記１ないし３のいずれかに記載の動線表示システム。
（付記１１）
撮影された画像から対象を抽出することと、
前記対象の動線と前記対象の向きと当該向きに応じた時間とを特定することと、
前記対象の向きおよび前記向きに応じた時間を前記対象の動線とともに表示することと、
を備えることを特徴とする動線表示方法。
（付記１２）
前記特定することは、前記対象の位置を示す位置情報と前記対象の撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とに基づいて、前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、
前記表示することは、前記向き情報および前記時間情報を前記対象の動線情報とともに表示することを特徴とする付記１１に記載の動線表示方法。
（付記１３）
前記向き情報は、前記対象が顔を向けていた時間を示すことを特徴とする付記１２に記載の動線表示方法。
（付記１４）
コンピュータに
撮影された画像から対象を抽出する抽出ステップと、
前記対象の動線と前記対象の向きと当該向きに応じた時間とを特定する特定ステップと、
前記対象の向きおよび前記向きに応じた時間を前記対象の動線とともに表示する表示ステップと、
を実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体。
（付記１５）
前記特定ステップは、前記対象の位置を示す位置情報と前記対象の撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とに基づいて、前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、
前記表示ステップは、前記向き情報および前記時間情報を前記対象の動線情報とともに表示することを特徴とする付記１４に記載のプログラム記録媒体。
（付記１６）
前記向き情報は、前記対象が顔を向けていた時間を示すことを特徴とする付記１５に記載のプログラム記録媒体。

この出願は、２０１６年３月３１日に出願された日本出願特願２０１６−０６９９２５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 動線表示システム
１１ 撮像部
１２ 情報処理装置
１３ 表示部
１４ 動線表示システム
１２１ 画像処理部
１２２ 記憶部
１２２１ 顔向き判定情報
１２２２ 抽出情報テーブル
１２２３ 動線情報テーブル
１２２４ サイズテーブル
１２２５ 色テーブル
１２２６ 動線情報テーブル
１２２７ 抽出情報テーブル
１２２８ 動線情報テーブル
１２２９ 速度情報テーブル
１２２１０ 線情報テーブル
１２２２−１ 位置
１２２２−２ 撮影時間
１２２２−３ 顔向き
１２２３−１ 出力位置
１２２３−２ 顔向き
１２２３−３ 出力サイズ
１２２４−１ エントリ数
１２２４−２ サイズ
１２２５−１ エントリ数
１２２５−２ 色
１２２６−１ 出力位置
１２２６−２ 顔向き
１２２６−３ 色
１２２７−１ 位置
１２２７−２ 撮影時間
１２２７−３ 顔向き
１２２７−４ 視線高さ
１２２８−１ 出力位置
１２２８−２ 顔向き
１２２８−３ 出力サイズ
１２２８−４ 視線高さ
１２２９−１ 区間
１２２９−２ 速度
１２２１０−１ 速度
１２２１０−２ 線
２５ 動線表示システム
３０ 商品棚
３１ 通路
３２〜３５ 三角マーク
３２−１〜３６−１ 矢印
３２−２〜３６−２ 方向を意味するアルファベット
３４−１ 矢印
３４−２ 方向を意味するアルファベット
３４−３ 顔向きが一定ないことを意味するバツマーク
３４−４ 矢印
３４−５ 矢印
３４−６ 矢印

Claims (16)

1. 画像を撮影する撮像手段と、
   前記画像から対象を抽出し、前記対象の動線と、前記対象の向きと、当該向きに前記対象が顔を向けていた時間と、を特定し、当該向きごとの前記向きおよび前記時間を示す記号の大きさおよび当該記号の向きを特定する情報処理装置と、
   前記向きごとに、特定された前記記号の大きさおよび前記記号の向きに基づく前記記号を前記対象の動線とともに表示する表示手段と、
   を備えることを特徴とする動線表示システム。
2. 前記情報処理装置は、
   前記画像から対象を抽出し、前記対象の位置と前記画像の撮影時間と前記対象の向きとを特定する画像処理手段と、
   前記対象の位置を示す位置情報と前記撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とを対応付けて格納する記憶手段と、
   を備え、
   前記画像処理手段は、前記位置情報と前記撮影時間情報と前記向き情報とに基づいて前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、前記向き情報および前記時間情報を示す前記記号を前記対象の動線情報とともに表示させる
   ことを特徴とする請求項１に記載の動線表示システム。
3. 前記時間情報は、前記向きごとに、前記対象が前記向きに前記顔を向けていた時間を示す
   ことを特徴とする請求項２に記載の動線表示システム。
4. 前記表示手段は、前記時間情報に基づいて前記記号の表示を変更する
   請求項２または３に記載の動線表示システム。
5. 前記表示手段は、前記向き情報に基づいて、前記記号の大きさまたは色を変更することを特徴とする請求項４に記載の動線表示システム。
6. 前記表示手段は、前記向き情報および前記時間情報を前記対象の動線情報に重ねて表示することを特徴とする請求項２ないし５のいずれかに記載の動線表示システム。
7. 前記情報処理装置は、前記対象の画像から前記対象の視線の高さを示す視線情報を生成し、
   前記表示手段は、前記向き情報と前記時間情報と前記視線情報とを前記対象の動線情報とともに表示することを特徴とする請求項２ないし６のいずれかに記載の動線表示システム。
8. 前記情報処理装置は、前記対象の画像から前記対象の歩行速度を示す速度情報を生成し、
   前記表示手段は、前記向き情報と前記時間情報と前記速度情報とを前記対象の動線情報とともに表示することを特徴とする請求項２ないし７のいずれかに記載の動線表示システム。
9. 前記表示手段は、前記速度情報に基づいて、前記動線情報の線の種類を変更して表示することを特徴とする請求項８記載の動線表示システム。
10. 前記表示手段は、前記向き情報に応じて前記対象の動線情報を色分けして表示することを特徴とする請求項１ないし３のいずれかに記載の動線表示システム。
11. 撮影された画像から対象を抽出することと、
    前記対象の動線と、前記対象の向きと、当該向きに前記対象が顔を向けていた時間と、を特定することと、
    当該向きごとの前記向きおよび前記向きに応じた時間を示す記号の大きさおよび当該記号の向きを特定することと、
    前記向きごとに、前記記号の大きさおよび前記記号の向きに基づく前記記号を前記対象の動線とともに表示することと、
    を備えることを特徴とする動線表示方法。
12. 前記特定することは、前記対象の位置を示す位置情報と前記対象の撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とに基づいて、前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、
    前記表示することは、前記向き情報および前記時間情報を前記対象の動線情報とともに表示することを特徴とする請求項１１に記載の動線表示方法。
13. 前記時間情報は、前記向きごとに、前記対象が前記向きに前記顔を向けていた時間を示すことを特徴とする請求項１２に記載の動線表示方法。
14. コンピュータに
    撮影された画像から対象を抽出する抽出ステップと、
    前記対象の動線と前記対象の向きと当該向きに応じた時間とを特定し、当該向きごとの前記向きおよび前記向きに応じた時間を示す記号の大きさおよび当該記号の向きを特定する特定ステップと、
    前記向きごとに、前記記号の大きさおよび前記記号の向きに基づく前記記号を前記対象の動線とともに表示する表示ステップと、
    を実行させるための動線表示プログラム。
15. 前記特定ステップは、前記対象の位置を示す位置情報と前記対象の撮影時間を示す撮影時間情報と前記対象の向きを示す向き情報とに基づいて、前記対象の動線情報と前記向きに応じた時間を示す時間情報とを特定し、
    前記表示ステップは、前記向き情報および前記時間情報を前記対象の動線情報とともに表示することを特徴とする請求項１４に記載の動線表示プログラム。
16. 前記時間情報は、前記向きごとに、前記対象が前記向きに前記顔を向けていた時間を示すことを特徴とする請求項１５に記載の動線表示プログラム。

Images