JP4931895B2 - 人流情報処理方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、人流情報処理方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、ビデオカメラで取得した画像から人影を抽出し、人の位置や移動を捕捉するための人流情報処理方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。

ある場（スポット）に設置されたビデオカメラで得た画像から人影を抽出し、人の流れを計測する人流計測システムが存在する。これまでのシステムでは、スポットのセンサ領域内に仮想的な線分を設定して、その線分を横切る人の方向と人数を計測する方法で人流を計測していた。これによって、センサ領域内に仮想的な区画を設定して、その区画に侵入する人数と、その区画から退出する人数を計測することができる（例えば、非特許文献１参照）。
株式会社日立情報ソリューズ、人流計測システム http://www.hitachi-ics.co.jp/product/seihin/ganin/jin/jin.html

しかしながら、上記従来の方法では「センサ領域の左上部から進入した人物が、センサ領域の上部中央で向きを変えてセンサ領域下部方向へ移動し、センサ領域下部中央を経由してセンサ領域右端より退出する」というような複雑な移動を捕捉するよう設定することは難しい。店舗等の商品が置かれているスポットを想定し、センサ下部付近に商品がある場合を考えると、前述の人の動きは次のような意味を持つ。

「売場の左側後方から近付いた人物に対して、商品を訴求する呼びかけを行った。人物は呼びかけに気付いて、商品を見るために移動方向を変えた。人物は商品に近付いた後、売場の右側から遠ざかった」
従来では、人物の複雑な位置移動を補足して容易に記述することができないという問題がある。

本発明は、上記の点に鑑みなされたもので、あるスポットにおける人物の多種多様な位置移動を簡潔に記述することが可能な人流情報処理方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、ビデオカメラで取得した画像から人影を抽出し、人の位置や移動を捕捉するための人流情報処理方法であって、
履歴データ付与手段が、前記ビデオカメラで撮影したビデオデータを取得し、背景を除去して人影を前景として抽出し、人影オブジェクトとし、人影オブジェクトの重心の座標を該人影オブジェクトの位置として取得して記憶手段に保持し、該人影オブジェクトの位置が前回の位置と異なる場合には、履歴データを付与して該記憶手段に格納する履歴データ付与ステップと、
条件編集・マッチ手段が、前記記憶手段に格納されている前記履歴データが、条件記憶手段に格納されている正規表現で記述された条件と適合するかを判定し、適合する場合には、刺激映像記憶手段から、該条件と関連付けられている刺激映像を取得して表示手段に表示する条件判定ステップと、
を有し、
前記ビデオカメラで撮影する四角形の場（スポット）を、四角形の各辺に沿った領域に位置する４つのセルと、四角形の中央部に位置する複数行複数列にわたる各セルに分割し、前記人影オブジェクトの位置や移動の表記方法を前記セルの名称の正規表現で表す。

図２は、本発明の原理構成図である。

本発明（請求項２）は、ビデオカメラで取得した画像から人影を抽出し、人の位置や移動を捕捉するための人流情報処理装置であって、
前記ビデオカメラで撮影したビデオデータを取得する画像データ取得手段と、
前記ビデオデータから背景を除去して人影を前景として抽出し、人影オブジェクトとし、人影オブジェクトの重心の座標を該人影オブジェクトの位置として取得して記憶手段に保持し、該人影オブジェクトの位置が前回の位置と異なる場合には、履歴データを付与して該記憶手段に格納する履歴データ付与手段と、
前記記憶手段に格納されている前記履歴データが、条件記憶手段に格納されている正規表現で記述された条件と適合するかを判定し、適合する場合には、刺激映像記憶手段から、該条件と関連付けられている刺激映像を取得して表示手段に表示する条件編集・マッチ手段と、
を有し、
前記履歴データ付与手段は、
前記ビデオカメラで撮影する四角形の場（スポット）を、四角形の各辺に沿った領域に位置する４つのセルと、四角形の中央部に位置する複数行複数列にわたる各セルに分割し、前記人影オブジェクトの位置や移動の表記方法を前記セルの名称の正規表現で表す。

本発明（請求項３）は、請求項２記載の人流情報処理装置を構成する各手段としてコンピュータを機能させるための人流情報処理プログラムである。

本発明（請求項４）は、請求項３記載の人流情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体である。

上記のように、本発明によれば、正規表現を用いることによりスポットにおける人物の多種多様な位置移動を簡潔に記述することができる。

また、正規表現による記述は簡潔かつ明瞭であるため、人による作成や保守が容易である。

また、もともと計算機科学に起源を持つ正規表現は、計算機による処理に適している。

以下、図面と共に本発明の実施の形態を説明する。

本発明における手法を用いた基本的な構成単位を「場（スポット）」と呼ぶ。当該スポットの構成を図３に示す。１つのスポットには、映像ディスプレイとこれに映像信号を出力するＰＣ（パーソナルコンピュータ）を中心として構成したシステムを設置する。天井にはビデオカメラがあり、この映像ディスプレイの前の様子を撮影して利用する。これをカメラセンサとして利用するＰＣは、映像信号を出力するＰＣと同一で構わない。映像ディスプレイの前に、訴求したい商品があることを原則とし、人の位置移動に基づいて、映像ディスプレイに商品の訴求を図る刺激映像を提示する。

図４は、本発明の一実施の形態における人流情報処理装置の構成を示す。

同図に示す人流情報処理装置は、カメラセンサ１０、履歴データ付与部２０、条件編集・マッチ処理部３０、条件ＤＢ４０、映像表示部５０、刺激映像ＤＢ６０から構成される。

カメラセンサ１０からの画像データをもとに、履歴データ付与部２０において人影オブジェクトに履歴データを付与する。条件編集・マッチ処理部３０の条件編集機能では、人の位置移動を正規表現によって記述し、これを提示条件とした刺激映像を指定する。指定した条件は、条件ＤＢ４０において保持する。条件編集・マッチ処理部３０の条件マッチ機能では、人影オブジェクトの履歴データと正規表現による提示条件を照合する。履歴と提示条件が適合すれば、映像表示部５０において刺激映像を提示する。

本発明では、人物の位置移動を正規表現によって扱うことにより、複雑な位置移動も容易に記述可能とする。履歴データ付与部２０では、人影オブジェクトの位置や移動の履歴を付与するため、ビデオカメラで撮影したスポット画像を１３の区画に分けて処理する。この区画を「セル」と呼ぶ。それぞれのセルは、特定の位置と、固有の名称を持つ。セルの位置と名称を図５に示す。ここで、「Ｌ」はLeft（左）、「Ｒ」はRight（右）、「Ｆ」はFar（遠い）、「Ｎ」はNear（近い）を表す。図５に示す１〜９のセルは「近い／中くらい／遠い」と「進入してきた／映像ディスプレイの正面／退出していく」を掛け合わせて得られる意味を有する３×３のマトリクスを構成している。１〜９のセルだけでもスポット内の人物の移動を表すことができるが、１〜９の他にＬ／Ｒ／Ｆ／Ｎのセルを設けているのは、カメラセンサの領域端での挙動が不安定になった場合の影響を軽減するためである。ここで、各セルの幅や高さや相対的な比率は固定ではなく、用途に合わせて自由に設定できるものとする。また、左右を対象にする（例：セル１とセル３の幅を揃える）必要はない。

人影処理の例を図６〜図８に示し、カメラセンサ１０の処理のフローを図９に示す。

カメラセンサ１０は、人がいない状態を背景とし、この背景との差分を随時処理することにより人影を抽出し、人影オブジェクトとする。

カメラセンサ１０は、ビデオカメラにより撮影した定常状態の画像を背景画像とし（ステップ１０１）、ビデオカメラにより画像を取得する（図６）（ステップ１０２）。背景画像と取得した画像との差分を抽出し（ステップ１０３）、ノイズを除去する（ステップ１０４）。得られた前景を人影として抽出し（図７）、この人影に通し番号を付けて人影オブジェクトとする。人影オブジェクトの重心の座標（図８の白い領域の点）を人影オブジェクトの位置とする（ステップ１０５）。図８における点線はセルの境界を示す。セルの境界はセンサ領域内において任意の位置を設けることが可能である。

履歴データ付与部２０は、メモリ（図示せず）を有し、カメラセンサ１０から取得した人影オブジェクトの座標データ及びセルの位置と名称を時系列的に保持する。

次に、人影オブジェクトの位置や移動の表記方法の例を以下に示す。

（ａ）人物オブジェクトがあるセルに存在する：
記述例）５
・セル５に存在
（ｂ）人物オブジェクトが特定のセルに移動：
記述例）Ｆ８５２Ｎ
・セルＦ→８→５→２→Ｎと移動した。すなわち遠くから近付いてきた
（ｃ）人物オブジェクトがセルグループに存在：
記述例）［４５６］
・セル４か５か６のいずれかに存在。「［］」はその中のどれかに一致することを示す正規表現
（ｄ）人物オブジェクトがセルグループの中で移動：
記述例）［１２３４５６］＋
・セル１〜６の中で移動。すなわち中央付近のみ移動している。「＋」は直前の表現の１回以上の繰り返しを示す正規表現。

（ｅ）人物オブジェクトがセルグループを移動：
記述例）＾Ｌ［１４７］＋［２５８］＋［３６９］＋Ｒ＄
・セルＬ→［１４７］→［２５８］→［３６９］→Ｒと移動した。すなわち左隅から入ってきて右隅に抜ける。

（ｆ）人物オブジェクトが任意のセルから特定のセルに移動：
記述例）。*N
・任意のセルからセルＮに移動した。すなわち任意の場所からカメラ前に近付いた。「。」は任意のセル、「*」は直前の表現の０回以上繰り返しを示す正規表現。

（ｇ）人物オブジェクトが任意のセルから特定のセルグループに移動：
記述例）＾Ｒ［２３５６８９］
・セルＲから次にセル２，３，５，６，８，９のいずれかに移動した。すなわち右隅から中央付近のセルに移動した。

（ｈ）人物オブジェクトが特定のセルで滞留：
記述例）［ＦＬＲ１２４５６７８９］＋２＄
・セル２の周りからセル２移動して停止した。任意の場所から中央セル２に移動して滞留している。

（ｉ）人物オブジェクトが特定のセル以外から特定のセルに移動：
記述例）＾Ｌ［＾４７］．＋Ｎ＄
・セルＬから検出を始めて、次にセル４，７以外に移動し、セルＮに移動して停止した。すなわち、左から入ってきてカメラ前で滞留している。

このように、ビデオカメラの画像を区画に分けて名前を付けることにより、区画の組み合わせを正規表現で記述できる。この仕組みを用いれば、上述のような人の位置移動を容易に記述可能である。

次に、履歴データ付与部２０の動作を説明する。

図１０は、本発明の一実施の形態における履歴データ付与部の動作のフローチャートである。

履歴データ付与部２０は、ビデオカメラでスポットを撮影し（ステップ２０１）、入力されたデータビデオデータから背景を除去して、人影を前景として抽出し、人影オブジェクトを座標データとして取得し、メモリ（図示せず）に格納する（ステップ２０２）。人影オブジェクトの座標データがどのセルに含まれるかを判定し、人影オブジェクトが存在するセルのセル名を取得し、メモリ（図示せず）に格納する（ステップ２０３）。ステップ２０３で取得したセルが、メモリ（図示せず）に格納されている前回の判定と同じ位置にあるかを判定し、同じ位置にある場合は移動していないため、ステップ２０１に移行し（ステップ２０４、はい）、異なる位置にある場合は（ステップ２０４、いいえ）、判定結果に基づいて人物オブジェクトの移動履歴にセル名を付加し、メモリ（図示せず）に格納し（ステップ２０５）、次のビデオデータを取得する（ステップ２０１に移行）。

次に、条件編集・マッチ処理部３０の動作を説明する。

図１１は、本発明の一実施の形態における条件適合による刺激映像提示のフローチャートである。

条件編集・マッチ処理部３０は、ビデオデータを取得して定常時の映像を映像表示部５０に表示する（ステップ３０１）。条件ＤＢ４０から移動履歴が正規表現で記述された条件に適合するかを判定し、適合しない場合は（ステップ３０２、いいえ）、ステップ３０１に移行し、適合する場合は（ステップ３０２、はい）、条件と結びついた刺激映像を刺激映像ＤＢ６０から取得して映像表示部５０に表示する。

図１２は、本発明の一実施の形態における映像選択の状態遷移図である。同図に示すように、定常時の映像を表示し、人物オブジェクトの移動履歴が正規表現で記述した条件に適合している場合には、当該条件名（条件ＩＤ）で刺激映像ＤＢ６０を検索して、対応する刺激映像を表示し、当該映像が終了すると、再度定常時の映像を表示する。

上記の仕組みを用いた動作例と条件例を以下に示す。

（１）人が映像ディスプレイを視認できる範囲に進入すると「いらっしゃいませ」と呼びかける（条件例：Ｌ［７４１］or Ｒ［９６３］）。

（２）人がそのスポットから出て行こうとすると、「ありがとうございました」という（条件例：［７４１］Ｌ or［９６３］Ｒ）。

（３）順路方向と逆向きに侵入する人には呼びかけない（条件例：Ｌ［７４１］）。

（４）映像ディスプレイ前に来ると商品を推薦する（条件例：[１３４５６］２]。

（５）映像ディスプレイから遠いところを人が通り過ぎようとすると「ちょっと待っていただけますか」と呼び止める（条件例：［ＬＲ］［７９］８）。

また、次に示すように映像ディスプレイと人との距離によって、商品（ケーキ）を訴求する情報表現を変化させることも可能である。

（１）人が映像ディスプレイから遠いと大きな音声で「ケーキはいかがですか」と呼びかける。映像はケーキのイメージ映像で文字は含まれない（条件例：［Ｆ７８９］）。

（２）人が映像ディスプレイに近付いてくると、ケーキの種類の数やそれらの名前がわかる程度の見出し文字を映像として提示する（条件例：Ｆ８５）．
（３）人が映像ディスプレイに最も近付くと、そのケーキの精細な動画映像や詳細なテキスト情報などを提示する（条件例：ｆ８５２）。

（４）人が映像ディスプレイから離れて行くときは、違う種類のケーキを提示して関心を惹くようにする（条件例：２５）。

（５）人がそのスポットから出て行くときは「またお願いします」という（条件例［１４７８９６３］［ＬＦＲ］）。

上記のように本発明によれば、正規表現を用いることにより、スポットにおける人物の多種多様な位置移動を簡潔に記述することができる。すなわち、スポットにおける人物の多種多様な位置移動を条件として扱うシステムを構築することが可能となる。

また、正規表現による記述手法は計算機との親和性が高く、計算機において容易に処理可能である。

なお、上記の図４に示す人流情報処理装置の構成要素をプログラムとして構築し、人流情報処理装置として利用されるコンピュータにインストールして、ＣＰＵに実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、人の流動量を計測するシステムやディジタルサイネージに適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 スポットの構成を示す図である。 本発明の一実施の形態における人流情報処理装置の構成図である。 本発明の一実施の形態におけるスポットにおけるセルの位置と名称を示す図である。 カメラセンサの画像である。 人影の抽出である。 論理空間での人影オブジェクトである。 本発明の一実施の形態における人影抽出処理のフローチャートである。 本発明の一実施の形態における履歴データ付与部の動作のフローチャートである。 本発明の一実施の形態における条件適合による刺激映像提示のフローチャートである。 本発明の一実施の形態における映像選択の状態遷移図である。

符号の説明

１０ 画像データ取得手段、カメラセンサ
２０ 履歴データ付与手段、履歴データ付与部
３０ 条件編集・マッチ手段、条件編集・マッチ処理部
４０ 条件記憶手段、条件ＤＢ
５０ 表示手段、映像表示部
６０ 刺激映像記憶手段、刺激映像ＤＢ

Claims (4)

1. ビデオカメラで取得した画像から人影を抽出し、人の位置や移動を捕捉するための人流情報処理方法であって、
   履歴データ付与手段が、前記ビデオカメラで撮影したビデオデータを取得し、背景を除去して人影を前景として抽出し、人影オブジェクトとし、人影オブジェクトの重心の座標を該人影オブジェクトの位置として取得して記憶手段に保持し、該人影オブジェクトの位置が前回の位置と異なる場合には、履歴データを付与して該記憶手段に格納する履歴データ付与ステップと、
   条件編集・マッチ手段が、前記記憶手段に格納されている前記履歴データが、条件記憶手段に格納されている正規表現で記述された条件と適合するかを判定し、適合する場合には、刺激映像記憶手段から、該条件と関連付けられている刺激映像を取得して表示手段に表示する条件判定ステップと、
   を有し、
   前記ビデオカメラで撮影する四角形の場（スポット）を、四角形の各辺に沿った領域に位置する４つのセルと、四角形の中央部に位置する複数行複数列にわたる各セルに分割し、前記人影オブジェクトの位置や移動の表記方法を前記セルの名称の正規表現で表す
   ことを特徴とする人流情報処理方法。
2. ビデオカメラで取得した画像から人影を抽出し、人の位置や移動を捕捉するための人流情報処理装置であって、
   前記ビデオカメラで撮影したビデオデータを取得する画像データ取得手段と、
   前記ビデオデータから背景を除去して人影を前景として抽出し、人影オブジェクトとし、人影オブジェクトの重心の座標を該人影オブジェクトの位置として取得して記憶手段に保持し、該人影オブジェクトの位置が前回の位置と異なる場合には、履歴データを付与して該記憶手段に格納する履歴データ付与手段と、
   前記記憶手段に格納されている前記履歴データが、条件記憶手段に格納されている正規表現で記述された条件と適合するかを判定し、適合する場合には、刺激映像記憶手段から、該条件と関連付けられている刺激映像を取得して表示手段に表示する条件編集・マッチ手段と、
   を有し、
   前記履歴データ付与手段は、
   前記ビデオカメラで撮影する四角形の場（スポット）を、四角形の各辺に沿った領域に位置する４つのセルと、四角形の中央部に位置する複数行複数列にわたる各セルに分割し、前記人影オブジェクトの位置や移動の表記方法を前記セルの名称の正規表現で表す
   ことを特徴とする人流情報処理装置。
3. 請求項２記載の人流情報処理装置を構成する各手段としてコンピュータを機能させるための人流情報処理プログラム。
4. 請求項３記載の人流情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。