JP6508482B2 - 活動状況分析システムおよび活動状況分析方法 - Google Patents

Description

本発明は、監視エリアにおける動体の活動状況を観測して、その観測結果に基づいて動体の活動状況を可視化した活動マップ画像を生成して表示装置に表示させる活動状況分析システムおよび活動状況分析方法に関するものである。

コンビニエンスストアなどの店舗においては、店舗内での顧客の行動に関する分析に基づいて、店舗経営上の改善策、具体的には売場ごとの商品の種類の見直しや商品の陳列方法などに関する改善策を考えることが、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上や利益を向上させる上で有益である。一方、コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の状況を監視する監視システムが広く普及しており、このカメラの映像を利用して、店舗内での顧客の行動に関する分析を情報処理装置に行わせるようにすると、店舗経営上の改善策の検討作業を効率よく行うことができる。

このようなカメラの映像を利用して人物の行動に関する分析を行う技術として、従来、複数のカメラの映像から、監視エリアにおける人物の活動状況に関する情報を取得して、その活動状況を可視化した活動マップ画像を生成する技術が知られている（特許文献１参照）。この技術では、活動マップ画像が、人物の活動度合いに応じて等高線状に色分けして、監視エリアの配置図上に重畳して表示されるようになっている。また、監視エリアを複数のブロックに分割して、そのブロックごとに人物の滞留度合いを検出する技術が知られている（特許文献２参照）。この技術では、人物の滞留度合いを示す値（スコア）がブロックごとに出力されるようになっている。

特開２００９−１３４６８８号公報 特開２０１１−２４８８３６号公報

さて、監視エリアの映像を表示させることにより、監視エリア内の実際の状況をユーザが把握することができるが、このように監視エリアの映像が表示される最中に、人物の活動状況がどのように変化しているのかを把握することができる画面表示を行うと、監視エリアにおける人物の活動状況を適切に把握することができる。特に、注目する時刻（リアルタイムな表示では現在の時刻）における監視エリア内の実際の状況と、注目する期間における人物の活動状況とを同時に把握することができる構成が望まれる。

しかしながら、前記従来の技術では、監視エリアにおける人物の活動度合いの分布状況、すなわち人物がどの領域でどの程度活動しているかをユーザが把握することができるが、前記のような要望に対する配慮はなんらなされておらず、監視エリアの映像が表示される最中に、人物の活動状況がどのように変化しているのかを全く把握することができないといった問題があった。

また、活動マップ画像により人物の活動状況を把握することができるが、この活動マップ画像を生成する際の活動状況の分析態様、特に、活動マップ画像の元になる活動情報を生成する際の観測期間に関する条件を種々に変更することができるようにすると、監視エリアにおける人物の活動状況を様々な観点から把握することができるため、ユーザの利便性を高めることができることから、ユーザの必要に応じて活動状況の分析態様を種々に変更するカスタマイズを容易に行うことができる構成が望まれる。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、監視エリアの映像が表示される中で、動体の活動状況がどのように変化しているのかをユーザが容易に把握することができ、さらに、ユーザの必要に応じて活動状況の分析態様を種々に変更するカスタマイズを容易に行うことができるように構成された活動状況分析システムおよび活動状況分析方法を提供することにある。

本発明の活動状況分析システムは、監視エリアにおける動体の活動状況を観測して、その観測結果に基づいて動体の活動状況を可視化した活動マップ画像および前記監視エリアの映像を含むモニタリング映像を生成して表示装置で再生させる活動状況分析システムであって、監視エリアの映像から動体を検出して、動体ごとの位置情報を取得する位置情報取得部と、前記動体ごとの位置情報に基づき、活動情報を取得する活動情報取得部と、を有したカメラと、このカメラにより取得される前記活動情報を蓄積する活動情報蓄積部と、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定する表示時刻・観測期間指定部と、前記観測期間の長さにしたがって前記観測期間を制御する観測期間制御部と、この観測期間制御部により制御される前記観測期間で前記活動情報を集約する活動情報集約部と、前記観測期間で集約した活動情報に基づき、前記活動マップ画像を生成する活動マップ画像生成部と、前記活動マップ画像を前記監視エリアの映像上に重畳した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を有した情報処理装置と、を備え、前記観測期間制御部は、前記モニタリング映像の再生に伴ってその表示時刻に追随して前記観測期間が移動するように、前記観測期間を制御する構成とする。

また、本発明の活動状況分析方法は、カメラにより監視エリアにおける動体の活動状況を観測して、その観測結果に基づいて動体の活動状況を可視化した活動マップ画像および前記監視エリアの映像を含むモニタリング映像を生成して表示装置で再生させる処理を情報処理装置に行わせる活動状況分析方法であって、前記カメラは、監視エリアの映像から前記動体を検出して、前記動体ごとの位置情報を取得し、前記動体ごとの位置情報に基づく活動情報を取得し、前記情報処理装置は、前記カメラにより取得された前記活動情報を蓄積し、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定し、この指定された前記観測期間の長さにしたがって前記観測期間を制御し、この制御にかかる前記観測期間で集約した活動情報を取得し、この集約した活動情報に基づき、前記活動マップ画像を生成し、前記活動マップ画像を前記監視エリアの映像上に重畳した前記モニタリング映像を生成して前記表示装置に出力し、前記モニタリング映像の再生に伴ってその表示時刻に追随して前記観測期間が移動するように、前記観測期間を制御する構成とする。

本発明によれば、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定して、活動マップ画像および監視エリアの映像を含むモニタリング映像を生成して表示装置で再生し、モニタリング映像の再生に伴ってその表示時刻に追随して観測期間が移動するように、表示時刻と観測期間が制御されるため、ユーザが必要に応じて活動状況の分析態様を種々に変更するカスタマイズを容易に行うことができる。

第１実施形態に係る活動状況分析システムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 ＰＣ３で行われる処理の概要を説明する説明図 モニタリング映像を生成する処理を説明する説明図 活動マップ画像の元になる活動情報を生成する際の観測期間を説明する説明図 活動マップ画像の元になる活動情報を生成する際の観測期間を説明する説明図 活動マップ画像の元になる活動情報を生成する処理を説明する説明図 ＰＣ３の概略構成を示す機能ブロック図 モニタ７に表示されるモニタリング画面を示す説明図 図９に示した表示時刻・観測期間指定部５９を示す説明図 表示時刻・観測期間指定部５９の別例を示す説明図 表示時刻・観測期間指定部５９の遷移状況を示す説明図 表示時刻および観測期間の別例における表示時刻・観測期間指定部５９の遷移状況を示す説明図 モニタ７に表示される処理条件設定画面を示す説明図 図１４に示した処理条件設定画面の別例を示す説明図 第２実施形態に係る領域分割型の活動マップ画像を示す説明図 第３実施形態に係る活動状況分析システムにおけるカメラ１およびＰＣ３の概略構成を示す機能ブロック図

前記課題を解決するためになされた第１の発明は、監視エリアにおける動体の活動状況を観測して、その観測結果に基づいて動体の活動状況を可視化した活動マップ画像および前記監視エリアの映像を含むモニタリング映像を生成して表示装置で再生させる活動状況分析システムであって、監視エリアの映像から動体を検出して、動体ごとの位置情報を取得する位置情報取得部と、前記動体ごとの位置情報に基づき、活動情報を取得する活動情報取得部と、を有したカメラと、このカメラにより取得される前記活動情報を蓄積する活動情報蓄積部と、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定する表示時刻・観測期間指定部と、前記観測期間の長さにしたがって前記観測期間を制御する観測期間制御部と、この観測期間制御部により制御される前記観測期間で前記活動情報を集約する活動情報集約部と、前記観測期間で集約した活動情報に基づき、前記活動マップ画像を生成する活動マップ画像生成部と、前記活動マップ画像を前記監視エリアの映像上に重畳した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を有した情報処理装置と、を備え、前記観測期間制御部は、前記モニタリング映像の再生に伴ってその表示時刻に追随して前記観測期間が移動するように、前記観測期間を制御する構成とする。

これによると、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定して、活動マップ画像および監視エリアの映像を含むモニタリング映像を生成して表示装置で再生し、モニタリング映像の再生に伴ってその表示時刻に追随して観測期間が移動するように、表示時刻と観測期間が制御されるため、ユーザが必要に応じて活動状況の分析態様を種々に変更するカスタマイズを容易に行うことができる。

また、第２の発明は、前記表示時刻・観測期間指定部は、ユーザの入力操作に応じて、表示時刻および観測期間の長さを指定するスライダにより構成したことを特徴とする。

これによると、表示時刻と観測期間の長さをユーザが任意に指定することができるため、活動状況の分析態様を変更するカスタマイズ性を向上させることができる。

また、第３の発明は、更に、スケール調整部を有し、ユーザの選択操作に応じて、前記スケール調整部で指定可能な表示時刻および観測期間の長さの単位時間を調整する構成とする。

これによると、表示時刻および観測期間の長さの単位時間をユーザが指定することができるため、活動状況の分析態様を変更するカスタマイズ性を向上させることができる。

また、第４の発明は、カメラにより監視エリアにおける動体の活動状況を観測して、その観測結果に基づいて動体の活動状況を可視化した活動マップ画像および前記監視エリアの映像を含むモニタリング映像を生成して表示装置で再生させる処理を情報処理装置に行わせる活動状況分析方法であって、前記カメラは、監視エリアの映像から前記動体を検出して、前記動体ごとの位置情報を取得し、前記動体ごとの位置情報に基づく活動情報を取得し、前記情報処理装置は、前記カメラにより取得された前記活動情報を蓄積し、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定し、この指定された前記観測期間の長さにしたがって前記観測期間を制御し、この制御にかかる前記観測期間で集約した活動情報を取得し、この集約した活動情報に基づき、前記活動マップ画像を生成し、前記活動マップ画像を前記監視エリアの映像上に重畳した前記モニタリング映像を生成して前記表示装置に出力し、前記モニタリング映像の再生に伴ってその表示時刻に追随して前記観測期間が移動するように、前記観測期間を制御する構成とする。

これによると、第１の発明と同様に、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定して、活動マップ画像および監視エリアの映像を含むモニタリング映像を生成して表示装置で再生し、モニタリング映像の再生に伴ってその表示時刻に追随して観測期間が移動するように、表示時刻と観測期間が制御されるため、ユーザが必要に応じて活動状況の分析態様を種々に変更するカスタマイズを容易に行うことができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る活動状況分析システムの全体構成図である。この活動状況分析システムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、カメラ１と、レコーダ（映像蓄積装置）２と、ＰＣ（活動状況分析装置）３と、を備えている。

カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた映像がレコーダ２に蓄積される。

ＰＣ３には、店長などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、モニタリング画面を表示するモニタ（表示装置）７とが接続されている。このモニタ７に表示されるモニタリング画面により、ユーザが、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。

また、カメラ１、レコーダ２およびＰＣ３は、複数の店舗の各々に設置されており、複数の店舗を総括する本部にはＰＣ１１が設置されており、このＰＣ１１では、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができ、これにより本部で店舗内の状況を確認することができる。

本実施形態では、店舗に設置されたＰＣ３が、店舗内での顧客の活動状況に関する分析を行う活動状況分析装置として構成され、このＰＣ３で生成した分析結果情報をＰＣ３で店舗側のユーザ、例えば店長が閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも本部側のユーザ、例えば、担当する地域の各店舗に対して指導や提案を行うスーパーバイザーなどが閲覧することができ、ＰＣ３，１１が分析結果情報を閲覧する閲覧装置として構成される。

次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。

店舗には、出入口、陳列棚およびレジカウンタなどが設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。

また、店舗には、店舗内（監視エリア）を撮影する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、出入口から店舗に出入りする人物、店舗内に滞在する人物、および陳列棚の商品などを撮影することができる。

次に、図１に示したＰＣ３で行われる処理の概要について説明する。図３は、ＰＣ３で行われる処理の概要を説明する説明図である。

図３（Ａ）に示すように、カメラ１により撮影された映像には、陳列棚の前で立ち止まって品定めを行う人物や、商品を探して歩き回っている人物などが写っている。ここで、陳列棚の前で立ち止まって品定めを行う人物は、陳列棚の前で一定時間以上静止し、陳列棚の前で滞留する状態となり、この陳列棚の前での人物の活動状況（滞留状況）は、陳列棚の商品に対する顧客の関心度を表すものとなり、店舗経営上の改善策、すなわち、売場ごとの商品の種類の見直しや商品の陳列方法などに関する改善策を考える上で有益である。

そこで、本実施形態では、店舗マネージャなどのユーザが注目する売場、具体的には注目する商品の陳列棚に対する顧客の関心度を把握するため、その注目する商品の陳列棚の前の通路などが写った領域に観測エリアを設定して、この観測エリア内での人物の活動状況に関する活動情報、具体的には滞留度数（滞留人数）、すなわち観測エリア内に滞留する人物の人数、および滞留時間、すなわち観測エリア内で人物が滞留する時間を取得する。そして、この活動情報を可視化した活動マップ画像を生成して、この活動マップ画像を、図３（Ｂ）に示すように、監視エリアの映像上に重畳したモニタリング映像を生成して表示する。この活動マップ画像により、観測エリアに対応する売場（商品の陳列棚）に対する顧客の関心度を把握することができる。

図３（Ａ）に示す例では、映像上に３つの観測エリアＡ１〜Ａ３が設定され、図３（Ｂ）に示すように、観測エリアＡ１〜Ａ３に対応する位置に活動マップ画像Ｈ１〜Ｈ３が表示されている。

この活動マップ画像では、活動情報の数値の大きさが、表示形態（画像の属性）を変更することで、具体的には大きさおよび色（色相や濃度など）の少なくともいずれかの表示要素を変更することで表現される。特に、図３（Ｂ）に示す例では、活動マップ画像Ｈ１〜Ｈ３が楕円形状をなし、その塗りつぶし色の濃さで滞留時間が表現され、活動マップ画像Ｈ１〜Ｈ３の大きさで滞留度数（滞留人数）が表現されており、滞留時間が長いほど活動マップ画像Ｈ１〜Ｈ３の色が濃くなり、滞留度数が高いほど活動マップ画像Ｈ１〜Ｈ３が大きくなる。

なお、本実施形態では、活動マップ画像を透過性としているため、監視エリアの映像が透けて見える状態となっている。

次に、図３（Ｂ）に示したモニタリング映像を生成する処理について説明する。図４は、モニタリング映像を生成する処理を説明する説明図である。

本実施形態では、各時刻の撮影映像（フレーム）から各時刻の人物ごとの位置情報を取得し、所定の観測期間（例えば３０分間、１時間など）内の各時刻の人物ごとの位置情報に対して時間的な統計処理を行って、人物の活動状況に関する活動情報（滞留時間および滞留度数）を取得する。そして、その活動情報を可視化した活動マップ画像を生成して、その活動マップ画像を、表示時刻の監視エリアの映像上に重畳したモニタリング映像を生成する。

このモニタリング映像では、監視エリアの映像が、表示時刻の進行に応じて時々刻々と変化する。一方、観測期間は、後に詳しく説明するが、表示時刻の進行に応じて観測期間が変化する場合と、観測期間が変化しない場合とがあり、表示時刻の進行に応じて観測期間が変化する場合には、監視エリアの映像とともに活動マップ画像も時々刻々と変化し、観測期間が変化しない場合には、活動マップ画像も変化しない。

なお、活動マップ画像の元になる活動情報を生成する際に、観測期間内の撮影映像の全てを対象として位置情報を取得する必要はなく、観測期間内の撮影映像の中から一定の間隔をおいて選択された撮影映像を対象として位置情報を取得するようにしてもよい。

次に、活動マップ画像の元になる活動情報を生成する際の観測期間について説明する。図５および図６は、活動マップ画像の元になる活動情報を生成する際の観測期間を説明する説明図である。

本実施形態では、観測期間を設定して、その観測期間の範囲内にある各時刻の撮影映像から取得した位置情報に基づいて活動情報を生成して、その活動情報を可視化した活動マップ画像を生成するようにしており、この活動マップ画像の元になる活動情報を生成する際の観測期間には、映像の表示時刻の進行に応じて観測期間が表示時刻に追随して移動する期間移動型と、観測期間が徐々に拡張する期間拡張型と、観測期間が固定された期間固定型と、がある。

図５（Ａ）は、期間移動型の場合である。この場合には、ユーザの入力操作に応じて観測期間の長さＴ（例えば、３０分）が設定され、表示時刻から観測期間の設定長さＴだけ過去に遡った時刻から表示時刻までの期間を観測期間としており、映像の表示時刻の進行に伴ってその表示時刻に追随するように観測期間が移動する。この場合、観測期間に関する設定情報として、例えば３０分や１時間のように観測期間の長さが設定される。

図５（Ｂ）は、期間拡張型の場合である。この場合には、ユーザの入力操作に応じて観測期間の範囲（始点から終点までの期間）が設定され、観測期間の設定範囲の始点が表示開始時刻ｔｓとなり、観測期間の設定範囲の終点が表示終了時刻ｔｅとなる。この場合、観測期間に関する設定情報として、例えば９：００から１２：００のように、観測期間の設定範囲の始点の時刻および終点の時刻が設定される。

なお、期間移動型は、観測期間を比較的短く設定して活動状況を分析する場合に好適であり、期間拡張型は、観測期間を比較的長く設定して活動状況を分析する場合に好適である。また、期間移動型は、表示時刻の直前の期間における活動状況を把握したい場合に用いられ、期間拡張型は、特定の期間に注目して、その期間における活動状況を把握したい場合に用いられる。

ここで、本実施形態では、モニタリング映像の表示開始時刻（再生開始時刻）を任意に指定するユーザの入力操作に応じて、指定された表示開始時刻から各時刻のモニタリング映像を連続して出力する処理が行われ、このとき、図５（Ａ）に示す期間移動型および図５（Ｂ）に示す期間拡張型の場合には、観測期間が表示開始時刻から表示時刻までの期間に制限される。

具体的には、図５（Ａ）に示す期間移動型の場合には、表示開始時刻から表示時刻までの経過時間が観測期間の設定長さＴに達しない場合には、表示開始時刻より前の期間が観測期間から除外され、表示開始時刻から表示時刻までの期間が実際の観測期間となる。図５（Ａ）に示す例では、表示時刻ｔ１の場合に、表示開始時刻ｔｓから表示時刻ｔ１までの経過時間が観測期間の設定長さＴより短いため、表示開始時刻ｔｓから表示時刻ｔ１までの期間が実際の観測期間となる。

したがって、この期間移動型においては、表示開始時刻から表示時刻までの経過時間が観測期間の設定長さＴに達しない状態では、表示時刻の進行に応じて実際の観測期間の範囲が徐々に広げられ、表示開始時刻から表示時刻までの経過時間が観測期間の設定長さＴに達した後は、実際の観測期間の長さは変化しない。

図５（Ｂ）に示す期間拡張型の場合には、表示開始時刻から表示時刻までの期間が実際の観測期間となり、表示時刻が観測期間の設定範囲の終点に達すると、実際の観測期間が観測期間の設定範囲に一致する。図５（Ｂ）に示す例では、観測期間の設定範囲（表示開始時刻（始点）ｔｓから表示終了時刻（終点）ｔｅまでの期間）の中間にある表示時刻ｔ１，ｔ２では、表示開始時刻ｔｓから表示時刻ｔ１，ｔ２までの期間が実際の観測期間となり、表示時刻が観測期間の設定範囲の終点となると、観測期間の設定範囲の全体が実際の観測期間となる。

したがって、この期間拡張型においては、期間移動型において表示開始時刻から表示時刻までの経過時間が観測期間の設定長さＴに達するまでの状態と同様に、表示時刻の進行に応じて実際の観測期間の範囲が徐々に広げられ、この観測期間の拡大は観測期間の設定範囲を限度して行われる。

図６（Ａ）は、期間移動型で観測期間の制限を行わない場合である。図５（Ａ）に示した例では、期間移動型において、実際の観測期間を表示開始時刻から表示時刻までの期間に制限するようにしたが、図６（Ａ）に示す例では、このような観測期間の制限を行わないようにしている。

具体的には、図６（Ａ）に示すように、期間移動型で観測期間の制限を行わない場合には、表示開始時刻から表示時刻までの経過時間が観測期間の設定長さＴに達しない場合でも、表示開始時刻より前の期間が観測期間から除外されず、表示時刻から観測期間の設定長さＴ（例えば、３０分）だけ過去に遡った期間が実際の観測期間となる。図６（Ａ）に示す例では、表示時刻ｔ１の場合に、表示開始時刻ｔｓから表示時刻ｔ１までの経過時間が観測期間の設定長さＴに達しないが、表示時刻ｔ１から観測期間の設定長さＴだけ過去に遡った時刻ｔ１−Ｔから表示時刻ｔ１までの期間が実際の観測期間となる。

また、図６（Ｂ）は、観測期間が固定された期間固定型の場合である。この場合、表示時刻に関係なく、観測期間の設定範囲（表示開始時刻（始点）ｔｓから表示終了時刻（終点）ｔｅまでの期間）が実際の観測期間となり、各時刻で表示される活動マップ画像は変化しない。なお、この期間固定型は、図５（Ｂ）に示した期間拡張型と、観測期間の範囲がユーザの入力操作に応じて設定される点で共通しており、この期間拡張型は、期間固定型において、実際の観測期間を表示開始時刻から表示時刻までの期間に制限したものと考えることもできる。

ここで、図５（Ａ），（Ｂ）および図６（Ａ）に示した方法では、表示時刻より未来の期間が観測期間に含まれないため、カメラ１により撮影された現在の映像からモニタリング映像をリアルタイムで生成して表示するリアルタイム映像表示モード、およびレコーダ２に蓄積された過去の映像からモニタリング映像を生成して表示する蓄積映像表示モードの双方に適用することができるが、図６（Ｂ）に示した方法では、表示時刻より未来の期間が観測期間に含まれるため、蓄積映像表示モードのみに適用することができる。

また、図５（Ａ），（Ｂ）に示した方法では、表示開始時刻より過去の情報および表示時刻より未来の情報が活動マップ画像に含まれないが、図６（Ａ）に示した方法では、表示開始時刻より過去の情報が活動マップ画像に含まれ、図６（Ｂ）に示した方法では、表示時刻より未来の情報が活動マップ画像に含まれる。このため、図６（Ａ），（Ｂ）に示した方法では、活動状況分析の趣旨によっては活動状況分析の邪魔となる情報が活動マップ画像に含まれる場合がある。このような場合には、図５（Ａ），（Ｂ）に示したように、観測期間の制限を行う方法を採用するとよい。例えば午後の時間帯における活動状況を分析したい場合には映像の表示を１３時から開始させることになるが、活動マップ画像に１３時より過去の情報が含まれるのは望ましくない場合があり、このような場合には、図５（Ａ），（Ｂ）に示したように、観測期間を制限する方法を選択するとよい。

なお、本実施形態では、図６（Ｂ）に示したように、期間固定型の場合に、１つの観測期間を設定したが、観測期間を連続して設定する、例えば時間帯ごとに観測期間を設定して、時間帯ごとに活動マップ画像を生成して表示するようにしてもよい。この場合、観測期間に対応する所定の間隔で活動マップ画像が定期的に更新される。

次に、活動マップ画像の元になる活動情報を生成する処理について説明する。図７は、活動マップ画像の元になる活動情報を生成する処理を説明する説明図である。なお、図７には、図５（Ａ）および図６（Ａ）に示した期間移動型の例を示すが、図５（Ｂ）に示した期間拡張型および図６（Ｂ）に示した期間固定型の場合でも、同様の処理が行われる。

本実施形態では、前記のように、各時刻の撮影映像（フレーム）から各時刻の人物ごとの位置情報を取得し、この各時刻の人物ごとの位置情報に対して時間的な統計処理を行って、人物の活動状況に関する活動情報（滞留時間および滞留度数）を取得するが、このとき、まず、観測期間（例えば３０分間、１時間など）より十分に短く設定された単位時間（例えば１０秒、３０秒、１分など）ごとの活動情報を生成し、この単位時間ごとの活動情報を観測期間で集約して、観測期間における活動情報を取得する。

ここで、観測期間における滞留度数の算出方法について説明する。この場合、単位時間において観測エリアを通過した各人物の動線の本数をカウントして、単位時間ごとの滞留度数（滞留人数）を求める。そして、単位時間ごとの滞留度数を単純に加算する処理（統計処理）を行うことで、観測期間の滞留度数を求めることができる。

次に、観測期間における滞留時間の算出方法について説明する。この場合、単位時間において観測エリアを通過した各人物の動線を対象にして、人物ごとの滞留時刻（観測エリアに対する進入時刻および退出時刻）を取得し、次に、この人物ごとの滞留時刻から、人物ごとの滞留時間を算出し、次に、この人物ごとの滞留時間に対して平均化の処理（統計処理）を行って、単位時間ごとの滞留時間を取得する。そして、単位時間ごとの滞留時間に対して平均化の処理（統計処理）を行うことで、観測期間における滞留時間を求めることができる。

また、図５（Ａ）に示したように、期間移動型の場合には、映像の表示時刻の進行に伴ってその表示時刻に追随するように観測期間が移動するが、図７に示したように、単位時間ごとに活動情報を取得する方法では、表示時刻が単位時間分だけ進行するたびに観測期間が単位時間分だけずれた状態となり、これに応じて観測期間の活動情報が更新される。このとき、今回の観測期間と前回の観測期間との差分に相当する単位時間の活動情報を、前回の観測期間の活動情報に対して除外および統合の処理を行うだけで、今回の観測期間の活動情報を取得することができる。すなわち、前回の観測期間内の単位時間のうち、今回の観測期間から外れた単位時間の活動情報を前回の観測期間の活動情報から除外し、同時に、今回の観測期間に新たに加わった単位時間の活動情報を前回の観測期間の活動情報に統合すれば、今回の観測期間の活動情報を取得することができる。

また、表示開始時刻から表示時刻までの経過時間が観測期間の設定長さＴに達しない状態では、表示時刻の進行に応じて観測期間の終点のみが移動するため、今回の観測期間に新たに加わった単位時間の活動情報を、前回の観測期間の活動情報に統合すれば、今回の観測期間の活動情報を取得することができる。

なお、表示時刻の進行が単位時間の範囲内であれば、観測期間に変化はなく、表示時刻が単位時間の終点に達すると、観測期間の活動情報を更新する処理が行われる。このため、表示時刻の進行が単位時間の範囲内であれば、活動マップ画像に変化はなく、表示時刻が次の単位時間に移ると、活動マップ画像が更新される。すなわち、単位時間分だけ表示時刻が進行するたびに活動マップ画像が更新される。

一方、図５（Ｂ）に示したように、期間拡張型の場合には、表示時刻の進行に応じて観測期間の終点のみが移動するため、今回の観測期間に新たに加わった単位時間の活動情報を、前回取得した観測期間の活動情報に統合すれば、今回の観測期間の活動情報を取得することができる。

次に、図１に示したＰＣ３で行われる処理について説明する。図８は、ＰＣ３の概略構成を示す機能ブロック図である。

ＰＣ３は、映像取得部３１と、位置情報取得部３２と、位置情報蓄積部３３と、活動情報取得部３４と、活動情報蓄積部３５と、観測期間制御部３６と、活動情報集約部３７と、活動マップ画像生成部３８と、出力制御部３９と、処理条件設定部（観測条件設定部、単位時間設定部）４０と、を備えている。

映像取得部３１では、カメラ１により店舗内を撮影した映像をカメラ１またはレコーダ２から取得する。ここで、現在の映像をリアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の映像を表示させる場合にはレコーダ２から映像を取得する。

位置情報取得部３２は、映像取得部３１で取得した映像から人物を検出して、人物ごとの位置情報を取得するものであり、人物検出部４５と、動線情報取得部４６と、を備えている。

人物検出部４５では、映像取得部３１で取得した映像（フレーム）から人物を検出する処理が行われる。この人物検出部４５で行われる処理は、公知の画像認識技術を用いればよい。動線情報取得部４６では、人物検出部４５での検出結果に基づいて、人物ごとの動線を取得する処理が行われる。この動線情報取得部４６で取得した人物ごとの動線に関する情報は、人物ごとの位置情報として位置情報蓄積部３３に蓄積される。

なお、この位置情報取得部３２では、人物の中心点の座標を取得して、その中心点を結ぶように動線を生成する。また、位置情報取得部３２で取得する位置情報には、人物が検出された映像の撮影時刻から取得した人物ごとの検出時刻などに関する時間情報が含まれる。

活動情報取得部３４は、位置情報取得部３２により取得して位置情報蓄積部３３に蓄積された人物の位置情報（動線情報）に対して時間的な統計処理を行って、各観測エリア（図３（Ａ）参照）を対象とした人物の活動状況に関する活動情報（滞留時間および滞留度数）を、単位時間ごとに取得するものであり、滞留度数取得部４７と、滞留時間取得部４８と、を備えている。この活動情報取得部３４で取得した単位時間ごとの活動情報は活動情報蓄積部３５に蓄積される。

滞留度数取得部４７では、位置情報蓄積部３３に蓄積された人物ごとの動線情報に基づいて、単位時間ごとの滞留度数（滞留人数）を取得する処理が行われる。この処理では、単位時間において観測エリアを通過した各人物の動線の本数をカウントして、単位時間ごとの滞留度数を求める。この処理は観測エリアごとに行われる。

滞留時間取得部４８では、位置情報蓄積部３３に蓄積された人物ごとの動線情報に基づいて、単位時間ごとの滞留時間を取得する処理が行われる。この処理では、まず、単位時間において観測エリアを通過した各人物の動線を対象にして、人物ごとの滞留時刻（観測エリアに対する進入時刻および退出時刻）を取得し、次に、この人物ごとの滞留時刻から、人物ごとの滞留時間を取得し、次に、この人物ごとの滞留時間に対して平均化の処理（統計処理）を行って、単位時間ごとの滞留時間を取得する。この処理は観測エリアごとに行われる。

活動情報集約部３７では、活動情報取得部３４で取得した単位時間ごとの活動情報（滞留時間および滞留度数）を観測期間で集約して、観測期間における活動情報を取得する処理が行われる。この処理では、単位時間ごとの滞留度数を単純に加算する処理（統計処理）を行って、観測期間での活動情報を求める。また、単位時間ごとの滞留時間に対して平均化の処理（統計処理）を行って、観測期間における滞留時間を取得する。これらの処理は観測エリアごとに行われる。

観測期間制御部３６では、処理条件設定部４０で設定された観測期間の条件にしたがって、観測期間の制御が行われる。本実施形態では、観測期間に関する条件として、観測期間のタイプ（期間移動型、期間拡張型および期間固定型）、期間移動型における観測期間の制限の有無、ならびに観測期間の長さおよび範囲が処理条件設定部４０において設定され、この観測期間の条件と、モニタリング映像の表示開始時刻および現在の表示時刻とに基づいて、観測期間制御部３６において観測期間の制御が行われる。この観測期間制御部３６により制御される観測期間に基づいて活動情報集約部３７において活動情報集約処理が行われる。

活動マップ画像生成部３８では、活動情報集約部３７で取得した観測期間の活動情報（滞留度数および滞留時間）を可視化した活動マップ画像を生成する処理が行われる。なお、活動マップ画像の表示形態（色や透過率など）は予め設定されたものとすればよいが、ユーザが適宜に選択することができるようにしてもよい。

出力制御部３９では、活動マップ画像生成部３８で生成した活動マップ画像を、映像取得部３１で取得した監視エリアの映像上に重畳したモニタリング映像を所定の時刻ごとに生成する処理が行われる。これにより、モニタリング画面（図９参照）がモニタ７に表示される。また、出力制御部３９では、処理条件設定画面（図１４参照）をモニタ７に表示させる処理が行われる。

また、出力制御部３９では、モニタリング映像の出力を、ユーザの入力操作に応じて制御する処理が行われる。特に、この出力制御部３９では、モニタリング映像の表示開始時刻を任意に指定するユーザの入力操作に応じて、指定された表示開始時刻からモニタリング映像を生成して出力する処理が行われる。

処理条件設定部４０では、ユーザの入力操作に応じて、活動マップ画像を生成する際の各種の条件を設定する処理が行われる。本実施形態では、ユーザの入力操作に応じて、観測エリアの位置を設定する処理が行われる。この観測エリアの位置を設定するにあたっては、店舗内の映像を表示させた入力画面をモニタ７に表示させて、その入力画面上で対象エリアの位置をユーザに入力させて、対象エリアの位置情報を取得すればよい。この処理条件設定部４０で設定された対象エリアの位置情報にしたがって、位置情報取得部３２において人物ごとの位置情報を取得する処理が行われる。

また、処理条件設定部４０では、ユーザの入力操作に応じて、観測期間に関する条件として、観測期間のタイプ（期間移動型、期間拡張型および期間固定型）、期間移動型における観測期間の制限の有無、ならびに観測期間の長さおよび範囲を設定する処理が行われる。また、処理条件設定部４０では、ユーザの入力操作に応じて、単位時間を設定する処理が行われる。

観測期間に関する条件および単位時間を設定するにあたっては、処理条件設定画面（図１４参照）をモニタ７に表示させて、その処理条件設定画面上で、観測期間に関する条件および単位時間を指定する入力操作をユーザに行わせて、観測期間に関する条件および単位時間の情報を取得すればよい。この処理条件設定部４０で設定された観測期間に関する条件および単位時間にしたがって、活動情報取得部３４、観測期間制御部３６、および活動情報集約部３７において所定の処理が行われる。

また、本実施形態では、モニタリング映像を表示するモニタリング画面（図９参照）でも一部の処理条件に関する入力が行われ、モニタリング画面が処理条件設定画面を兼ねている。特に、事前に設定しておくことが望まれる処理条件については処理条件設定画面（図１４参照）でユーザに指定させ、モニタリング映像を閲覧する際に必要に応じて設定することができる処理条件についてはモニタリング画面でユーザに指定させる。

なお、図８に示したＰＣ３の各部は、ＰＣ３のＣＰＵで活動状況分析用のアプリケーションプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。

次に、図８に示したモニタ７に表示されるモニタリング画面について説明する。図９は、モニタ７に表示されるモニタリング画面を示す説明図である。図１０は、図９に示した表示時刻・観測期間指定部５９を示す説明図である。

このモニタリング画面は、店舗内での顧客の活動状況を把握するためにユーザが閲覧するものであり、このモニタリング画面には、店舗選択部５１と、開始ボタン５２と、設定ボタン５３と、動作モード選択部５４と、日時指定部５５と、映像操作部５６と、映像表示モード選択部５７と、観測期間タイプ選択部５８と、表示時刻・観測期間指定部５９と、スケール調整部６０と、映像表示部６１と、が設けられている。

店舗選択部５１では、複数の店舗の中から監視対象とする店舗をユーザが選択する。ここでは、プルダウンメニューにより店舗を選択するようにしている。開始ボタン５２は、ＰＣ３で活動状況分析処理を開始させるものである。設定ボタン５３は、活動状況分析処理での各種の条件を設定するものであり、本実施形態では、設定ボタン５３を操作すると、ポップアップで処理条件設定画面（図１４参照）が表示される。動作モード選択部５４は、動作モードを選択するものであり、売場モニタリング、商品モニタリング、陳列アラート、および欠品アラートなどの動作モードが用意されており、売場モニタリングを選択することで、図９に示すモニタリング画面が表示される。

映像表示部６１には、出力制御部３９で生成されたモニタリング映像、すなわち、活動マップ画像を監視エリアの映像上に重畳したモニタリング映像（図３（Ｂ）参照）が動画で表示される。特に図９に示す例では、全方位カメラであるカメラ１により撮影された映像をパノラマ展開した２つの映像が表示されている。この２つの映像に店舗全体が映り、店舗全体の状況を確認することができる。

日時指定部５５は、日時（年、月、日、時、分など）をユーザが指定するものである。ここでは、日時を直接入力するようにしているが、カレンダー画面を表示させて、日時を指定することができるようにしてもよい。この日時指定部５５で日時を入力すると、入力された日時のモニタリング映像が映像表示部６１に表示される。なお、映像表示モード選択部５７でリアルタイム映像表示モードを選択すると、現在の日時が表示される。

映像表示モード選択部５７では、映像表示モード（リアルタイム映像表示モードおよび蓄積映像表示モード）をユーザが選択する。ここで、リアルタイム映像表示モードを選択すると、現在の状況をリアルタイムに表示するモニタリング映像が映像表示部６１に表示され、蓄積映像表示モードを選択すると、日時指定部５５で指定された日時の状況を表示するモニタリング映像が映像表示部６１に表示される。

観測期間タイプ選択部５８では、観測期間のタイプ（期間移動型、期間拡張型および期間固定型）をユーザが選択する。ここで、期間移動型を選択すると、表示時刻・観測期間指定部５９で指定された観測期間の長さに基づいて、図５（Ａ）および図６（Ａ）に示したように、表示時刻の進行に応じて観測期間を徐々に移動させる制御が行われ、期間拡張型を選択すると、表示時刻・観測期間指定部５９で指定された観測期間の範囲に基づいて、図５（Ｂ）に示したように、観測期間の設定範囲内で表示時刻の進行に応じて実際の観測期間の範囲を徐々に広げる制御が行われ、期間固定型を選択すると、図６（Ｂ）に示したように、観測期間を固定した制御が行われる。

表示時刻・観測期間指定部５９は、映像表示部６１に表示される監視エリアの映像の表示時刻、および観測期間の長さや範囲をユーザが指定するものであり、この表示時刻・観測期間指定部５９には、時間軸を表すスケール６３と、映像の表示時刻を表すスライダ（表示時刻操作部）６４と、観測期間の始点を表すスライダ（観測期間操作部）６５ａと、スライダ６４，６５ａにより規定された観測期間の範囲を表す観測期間表示部６６と、が表示されている。

スライダ６４は、リアルタイム映像表示モードでは現在の時刻を示し、蓄積映像表示モードでは再生時刻を示している。また、蓄積映像表示モードでは、マウスなどの入力デバイス６を用いてスライダ６４をスケール６３に沿って移動させる操作（クリック＆ドラッグ）を行うことができ、このスライダ６４を操作することで、所望の時刻のモニタリング映像を映像表示部６１に表示させることができる。

また、図９には、期間移動型の場合を示しており、スライダ６５ａは、観測期間の始点を表している。図１０には、期間拡張型および期間固定型の場合を示しており、スライダ（観測期間操作部）６５ａ，６５ｂはそれぞれ観測期間の始点および終点を表している。図９に示した期間移動型の場合には、監視エリアの映像の表示時刻と観測期間の終点とが一致するため、観測期間の終点を表すスライダ６５ｂは表示されない。

スライダ６５ａ，６５ｂは、スライダ６４と同様に、入力デバイス６を用いてスライダ６５ａ，６５ｂをスケール６３に沿って移動させる操作（クリック＆ドラッグ）を行うことができ、図９に示した期間移動型の場合には、スライダ６５ａを操作することで、観測期間の長さを指定することができ、図１０に示した期間拡張型および期間固定型の場合には、スライダ６５ａ，６５ｂを操作することで、観測期間の範囲を指定することができる。

スケール調整部６０は、表示時刻・観測期間指定部５９のスケール６３の目盛間隔をユーザが指定するものである。ここでは、プルダウンメニューにより目盛間隔（例えば１５分、３０分、１時間、１日など）を選択するようにしている。図９および図１０（Ａ）に示した例では、目盛間隔を３０分としており、図１０（Ｂ）に示した例では、目盛間隔を１日としている。また、表示時刻・観測期間指定部５９では、スケール調整部６０で指定された目盛間隔に応じてスケール６３の表示範囲が変更される。図９および図１０（Ａ）に示した例では、１０時から１４時までの期間が表示され、図１０（Ｂ）に示した例では、２４日から次の月の１日までの期間が表示されている。

なお、スケール調整部６０で指定される目盛間隔を、表示時刻や観測期間を指定する際の最小単位とする、すなわち、表示時刻や観測期間を目盛間隔の幅で調整することができるようにしてもよい。例えば目盛間隔を３０分とすると、３０分間隔で表示時刻や観測期間を調整することができる。また、表示時刻・観測期間指定部５９のスケール６３に、単位時間を表示するようにしてもよい。この場合、スケール調整部６０で指定される目盛間隔を大目盛として、単位時間を小目盛として表示すればよい。

映像操作部５６は、映像表示部６１に表示されるモニタリング映像の再生に関する操作を行うものであり、通常再生、早送り再生、巻き戻し再生、および停止の各操作ボタンが設けられており、これらの操作ボタンを操作することで、長時間に及ぶモニタリング映像を効率的に閲覧することができる。特に、蓄積映像表示モードでは、表示時刻・観測期間指定部５９のスライダ６４を操作して再生開始位置を指定して、映像操作部５６を操作することで、所望の時刻からモニタリング映像を閲覧することができる。

次に、図９に示した表示時刻・観測期間指定部５９の別例について説明する。図１１は、表示時刻・観測期間指定部５９の別例を示す説明図である。

図９に示した例では、モニタリング画面に表示時刻・観測期間指定部５９を設けて、表示時刻および観測期間の指定を同一のスケール６３で行うようにしたが、図１１に示す例では、表示時刻・観測期間指定部５９が、表示時刻指定部７１および観測期間指定部７２に分けて設けられ、表示時刻および観測期間の指定を異なるスケール６３で行うことができるようにしている。

表示時刻指定部７１は、表示時刻をユーザが指定するものであり、観測期間指定部７２は、観測期間をユーザが指定するものであり、表示時刻指定部７１および観測期間指定部７２にそれぞれ対応する２つのスケール調整部６０が設けられており、表示時刻指定部７１および観測期間指定部７２で別々に目盛間隔を指定することができる。図１１に示す例では、表示時刻指定部７１では目盛間隔を３０分としており、観測期間指定部７２では目盛間隔を１日としている。

このようにすると、表示時刻および観測期間の指定を容易に行うことができる。すなわち、観測期間を日単位で指定する場合、スケール６３の目盛間隔を１日として観測期間を指定するとよいが、このようなスケール６３では表示時刻（再生時刻）の指定が難しくなり、逆に、表示時刻の指定が容易になるように、スケール６３の目盛間隔を３０分とすると、観測期間を日単位で指定することが難しくなり、このような場合に、表示時刻および観測期間の指定を異なるスケール６３で行うことができるようすると、表示時刻および観測期間の指定が容易になる。

次に、図９に示した表示時刻・観測期間指定部５９の遷移状況について説明する。図１２は、表示時刻・観測期間指定部５９の遷移状況を示す説明図である。

図１２（Ａ）は、期間移動型の場合である。この場合、表示時刻が進行するのに応じて、表示時刻を表すスライダ６４が移動し、同時に、観測期間の始点を表すスライダ６５ａおよび観測期間の範囲を表す観測期間表示部６６が一体となって、表示時刻を表すスライダ６４に追従するように移動する。

図１２（Ｂ）は、期間拡張型および期間固定型の場合である。この場合、表示時刻が進行するのに応じて表示時刻を表すスライダ６４が移動するが、観測期間の始点および終点を表すスライダ６５ａ，６５ｂおよび観測期間の範囲を表す観測期間表示部６６は静止したままとなる。

次に、表示時刻および観測期間の別例について説明する。図１３は、表示時刻および観測期間の別例における表示時刻・観測期間指定部５９の遷移状況を示す説明図である。

図１３（Ａ）に示した期間移動型の例では、表示時刻を基準にして観測期間の設定長さだけ過去に遡った期間を観測期間としており、表示時刻が観測期間の終点となるが、図１３（Ａ）に示すように、表示時刻と観測期間とが離れた状態とする、すなわち、表示時刻より一定時間前の時刻を基準にして設定長さだけ過去に遡った期間を観測期間として、表示時刻の進行に伴って表示時刻と所定の間隔をおいて観測期間が移動するようにしてもよい。この場合、映像の表示時刻を表すスライダ６４と離れた状態でその表示時刻に追随するように観測期間を表すスライダ６５ａ，６５ｂおよび観測期間表示部６６が移動する。

また、図１３（Ｂ）に示した期間拡張型および期間固定型の例では、表示時刻が観測期間の範囲内にあるが、図１３（Ｂ）に示すように、観測期間の範囲外に表示開始時刻を指定する、すなわち、観測期間から離れた位置から映像の表示を開始させるようにしてもよい。この場合、表示時刻を表すスライダ６４が観測期間から離れた位置から移動を開始し、観測期間の始点および終点を表すスライダ６５ａ，６５ｂおよび観測期間表示部６６は静止したままである。

特に、図１３（Ｂ）に示した方法では、例えば、午前中の活動マップ画像を表示させながら午後の映像を見る、すなわち、観測期間を午前中の時間帯（１０時から１２時まで）に指定し、映像の表示開始時刻を午後の時刻（１３時）に指定するような利用方法が可能になる。また、昨日の同じ時間帯の活動マップ画像を表示させながら今日の映像を見るような利用方法もある。

なお、期間移動型の場合には、観測期間の中間の所定位置に表示時刻が位置するように指定することも可能である。この場合、表示時刻の進行に伴って観測期間が表示時刻の前後にまたがる状態で表示時刻とともに移動する。

次に、図８に示した処理条件設定部４０で行われる処理について説明する。図１４は、モニタ７に表示される処理条件設定画面を示す説明図である。

本実施形態では、処理条件設定部４０において、ユーザの入力操作に応じて、活動マップ画像を生成する際の各種の条件を設定する処理が行われ、このとき、図１４に示す処理条件設定画面がモニタ７に表示される。この処理条件設定画面は、活動マップ画像を生成する際の各種の条件をユーザが指定するものであり、モニタリング画面（図９参照）の設定ボタン５３を操作するのに応じてポップアップで表示される。

この処理条件設定画面には、エリア設定ボタン８１と、単位時間指定部８２と、観測期間制限指定部８３と、設定ボタン８４と、が設けられている。

エリア設定ボタン８１を操作すると、店舗内の映像を表示させた入力画面が表示され、この入力画面上でマウスなどの入力デバイス６を用いて観測エリアの位置を入力する操作をユーザに行わせる。なお、観測エリアの入力を別画面とせず、この処理条件設定画面上で入力することができるようにしてもよい。

単位時間指定部８２では、単位時間の長さをユーザが指定する。ここではプルダウンメニューにより単位時間の長さ（例えば１０秒、３０秒、１分など）を選択するようにしている。この単位時間指定部８２で指定された単位時間に基づいて、図７に示したように、単位時間ごとの活動情報を生成する処理が行われる。

なお、単位時間は観測期間の最小単位となり、観測期間は単位時間の幅で調整することができる。このため、単位時間を変更することで、観測期間の調整幅を変更することができ、例えば観測期間の調整幅を小さくしたい場合には、単位時間を短くすればよい。また、通常、単位時間の変更は頻繁に行うことは少ないので、この設定を既定時間（例えば３０秒）とし、この処理条件設定を省略してもよい。

観測期間制限指定部８３では、観測期間の制限の有無、すなわち、観測期間を表示開始時刻から表示時刻までの期間に制限するか否かをユーザが指定する。ここで、「制限する」を選択すると、図５に示したように、観測期間を制限する処理が行われ、「制限しない」を選択すると、図６に示したように、観測期間を制限しない処理が行われる。

以上のようにして、エリア設定ボタン８１、単位時間指定部８２、および観測期間制限指定部８３においてユーザが所要の操作を行って、設定ボタン８４を操作すると、処理条件設定部４０において、ユーザが指定した内容にしたがって観測エリア、単位時間、および観測期間の制限の有無に関する事項を設定する処理が行われる。

次に、図１４に示した処理条件設定画面の別例について説明する。図１５は、図１４に示した処理条件設定画面の別例を示す説明図である。

図９に示した例では、モニタリング画面上で、観測期間のタイプ、ならびに観測期間の長さおよび範囲を指定するようにしたが、図１２に示す例では、処理条件設定画面上で、観測期間のタイプ、ならびに観測期間の長さおよび範囲を指定するようにしており、この処理条件設定画面には、図１４に示した処理条件設定画面に設けられているエリア設定ボタン８１、単位時間指定部８２、観測期間制限指定部８３、および設定ボタン８４の他に、観測期間タイプ選択部８５と、観測期間長指定部８６と、スケール調整部８７と、観測期間範囲指定部８８と、が設けられている。

観測期間タイプ選択部８５では、図９に示した観測期間タイプ選択部５８と同様に、観測期間のタイプ（期間移動型、期間拡張型および期間固定型）をユーザが選択する。

観測期間長指定部８６では、期間移動型における観測期間の長さをユーザが指定する。ここでは、プルダウンメニューにより観測期間の長さを選択するようにしている。なお、単に観測期間の長さを数値で入力することができるようにしてもよい。

観測期間範囲指定部８８では、期間拡張型および期間固定型における観測期間の範囲をユーザが指定する。ここでは、図９に示した例と同様に、スライダ６５ａ，６５ｂで観測期間の範囲をユーザが指定し、スライダ６５ａ，６５ｂにより規定される観測期間の範囲が観測期間表示部６６により表示される。スケール調整部８７では、観測期間範囲指定部８８のスケール６３の目盛間隔をユーザが指定する。

以上のように本実施形態では、位置情報取得部３２において、監視エリアの映像から人物を検出して、人物ごとの位置情報を取得し、活動情報取得部３４において、人物ごとの位置情報に基づき、単位時間ごとの活動情報を取得し、処理条件設定部（観測条件設定部）４０において、ユーザの入力操作に応じて、人物の活動状況を観測するための観測期間に関する条件を設定し、観測期間制御部３６において、処理条件設定部４０により設定された観測期間に関する条件にしたがって観測期間を制御し、活動情報集約部３７において、観測期間制御部３６により制御される観測期間に基づき、単位時間ごとの活動情報を集約して、観測期間における活動情報を取得し、活動マップ画像生成部３８において、観測期間における活動情報に基づき、活動マップ画像を生成し、出力制御部３９において、活動マップ画像および監視エリアの映像を含むモニタリング映像を所定の時刻ごとに生成して表示装置に出力するようにした。このため、活動マップ画像および監視エリアの映像を含むモニタリング映像が所定の時刻ごとに生成して出力されるため、監視エリアの映像が表示される最中に、人物の活動状況がどのように変化しているのかをユーザが容易に把握することができる。また、ユーザの入力操作に応じて設定された条件にしたがって観測期間が制御されるため、ユーザの必要に応じて活動状況の分析態様を種々に変更するカスタマイズを容易に行うことができる。

また、本実施形態では、出力制御部３９において、活動マップ画像を監視エリアの映像上に重畳したモニタリング映像を生成して出力するようにしたため、監視エリア内の注目する領域における人物の実際の状況と人物の活動状況とをユーザが即座に把握することができる。

また、本実施形態では、観測期間制御部３６において、監視エリアの映像の表示時刻の進行に伴ってその表示時刻に追随して観測期間が移動するように、観測期間を制御するようにした。このため、活動マップ画像により、監視エリアの映像の表示時刻を基準にした期間における人物の活動状況をユーザが把握することができる。そして、表示時刻が単位時間分だけ進行すると、観測期間を単位時間分だけ移動させて、観測期間の活動情報を更新するが、このとき、新たな観測期間と前回の観測期間との差分に相当する単位時間の活動情報を、前回の観測期間の活動情報に対して除外および統合の処理を行うだけで、新たな観測期間の活動情報を取得することができるため、演算負荷を軽減することができる。

また、本実施形態では、観測期間制御部３６において、処理条件設定部（観測条件設定部）４０により設定された観測期間の設定長さに基づき、監視エリアの映像の表示時刻から観測期間の設定長さだけ過去に遡った期間が観測期間となるように、観測期間を制御するようにしたため、活動マップ画像により、監視エリアの映像の直前の期間における人物の活動状況をユーザが把握することができる。

また、本実施形態では、観測期間制御部３６において、監視エリアの映像の表示開始時刻から表示時刻までの経過期間が観測期間の設定長さに達するまでは、表示開始時刻から表示時刻までの期間が観測期間となるように、観測期間を制御するようにしており、監視エリアの映像の表示開始時刻より過去の情報が活動マップ画像に含まれないため、注目する時刻以降の期間における人物の活動状況をユーザが適切に把握することができる。

また、本実施形態では、観測期間制御部３６において、処理条件設定部（観測条件設定部）４０により設定された観測期間の設定範囲に基づき、その観測期間の設定範囲内で、その始点となる監視エリアの映像の表示開始時刻から表示時刻までの期間が観測期間となるように、観測期間を制御するようにした。このため、活動マップ画像により、監視エリアの映像の表示を開始した後の人物の活動状況をユーザが把握することができる。そして、表示時刻が単位時間分だけ進行すると、観測期間を単位時間分だけ移動させて、観測期間の活動情報を更新するが、このとき、前回の観測期間と新たな観測期間との差分に相当する単位時間の活動情報を、前回の観測期間の活動情報に統合するだけで、新たな観測期間の活動情報を取得することができるため、演算負荷を軽減することができる。

また、本実施形態では、処理条件設定部（観測条件設定部）４０において、観測期間の条件として観測期間の長さまたは範囲を任意に指定するユーザの入力操作に応じて、観測期間の長さまたは範囲を設定するようにしており、観測期間の長さや範囲をユーザが任意に指定することができるため、活動状況の分析態様を変更するカスタマイズ性を向上させることができる。

また、本実施形態では、出力制御部３９において、活動マップ画像および監視エリアの現在の映像を含むモニタリング映像をリアルタイムで生成して出力するようにしたため、活動マップ画像および監視エリアの現在の映像をリアルタイムでユーザが閲覧することができる。

また、本実施形態では、処理条件設定部（単位時間設定部）４０において、ユーザの入力操作に応じて、単位時間を設定し、活動情報取得部３４において、処理条件設定部４０により設定された単位時間に基づき、単位時間ごとの活動情報を取得するようにしており、単位時間をユーザが指定することができるため、活動状況の分析態様を変更するカスタマイズ性を向上させることができる。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。図１６は、第２実施形態に係る領域分割型の活動マップ画像を示す説明図である。

第１実施形態では、図３に示したように、監視エリア（カメラ１の撮像エリア）内に観測エリアを設定して、観測エリアごとの活動情報（滞留時間および滞留度数）を可視化した活動マップ画像を監視エリアの映像上に重畳して表示するようにしたが、この第２実施形態では、図１６に示すように、監視エリアの全体を観測エリアとして、その観測エリアを複数のグリッド（分割領域）に分割して、グリッドごとの活動情報を表す活動マップ画像を監視エリアの映像上に重畳して表示するようにしており、この活動マップ画像により、監視エリアにおける活動情報の分布状況を把握することができる。

また、この領域分割型の活動マップ画像では、色、濃淡、パターン（模様）、および透過率の少なくともいずれかの表示要素をグリッドごとに変更することで、グリッドごとの活動情報の数値の大きさを表現することができ、図１６に示す例では、グリッドの濃淡（塗りつぶし色の濃さ）でグリッドごとの滞留度数が表現されている。

なお、図３に示した活動マップ画像では、活動マップ画像の色の濃さおよび大きさで２つの活動情報、すなわち滞留時間および滞留度数を同時に可視化しており、一方、図１６に示す活動マップ画像では、１つの活動情報すなわち滞留度数のみを可視化しているが、滞留度数に代えて滞留時間を可視化する活動マップ画像としてもよい。また、滞留時間および滞留度数をそれぞれ可視化する活動マップ画像を生成して、別のモニタリング映像として表示してもよい。

また、滞留度数を表す活動マップ画像を生成するには、観測期間において各グリッドを通過した人物の動線の本数をカウントして、グリッドごとの滞留度数を求めればよい。また、人物別の滞留時刻をグリッドごとに取得すれば、グリッドごとの滞留時間および滞留人数を同時に取得することができ、これにより、滞留度数を表す活動マップ画像と、滞留時間を表す活動マップ画像とを同時に生成することができる。

（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。図１７は、第３実施形態に係る活動状況分析システムにおけるカメラ１およびＰＣ３の概略構成を示す機能ブロック図である。

この第３実施形態では、第１実施形態においてＰＣ３に設けられた位置情報取得部３２、位置情報蓄積部３３、および活動情報取得部３４が、カメラ１に設けられている。カメラ１には、撮像素子および光学素子を有する撮像部９１が設けられており、この撮像部９１から出力される映像が、位置情報取得部３２に入力される。一方、ＰＣ３には、活動情報蓄積部３５、観測期間制御部３６、活動情報集約部３７、活動マップ画像生成部３８、出力制御部３９、および処理条件設定部４０が設けられている。

カメラ１およびＰＣ３の各部では、第１実施形態と同様の処理が行われるが、特に、この第３実施形態では、処理条件設定部４０で設定された情報、すなわち観測エリアおよび単位時間などに関する情報が、ＰＣ３の制御部９３からカメラ１の制御部９２に送られ、この情報に基づいて、位置情報取得部３２および活動情報取得部３４で所定の処理が行われる。なお、カメラ１およびＰＣ３に実装される構成については、種々の変更が可能であり、カメラ１に大半の構成を実装し、ＰＣ３からはブラウザなどを用いて処理条件設定とモニタリング映像の出力制御だけを行うようにしてもよい。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る活動状況分析装置、活動状況分析システムおよび活動状況分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、前記の実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗、例えば飲食店や銀行などに適用することも可能である。さらに、店舗以外の監視エリアを対象とした用途に適用することも可能である。

また、前記の実施形態では、活動状況分析処理の対象となる動体を人物とした例について説明したが、人物以外の動体、例えば自動車や自転車などの車両を対象としたものであってもよい。

また、前記の実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。

また、前記の実施形態では、図９などに示したように、映像の表示時刻および観測期間の長さおよび範囲（観測期間の始点および終点の時刻）を、スライダ６４，６５ａ，６５ｂにより指定するようにしたが、このスライダ６４，６５ａ，６５ｂの表示形態は図９などに示した例に限定されるものではなく、種々の表示形態を採用することができる。さらに、スライダによる指定の他、選択メニューによる選択や数値を直接入力することにより、表示時刻および観測期間の長さおよび範囲を指定するようにしてもよい。

また、前記の実施形態では、図３および図１６に示したように、活動マップ画像を監視エリアの映像上に重畳したモニタリング映像を表示するようにしたが、活動マップ画像を監視エリアの映像上に重畳しない、すなわち、活動マップ画像と監視エリアの映像とをモニタリング画面上に並べて表示するようにしてもよい。

また、前記の実施形態では、監視エリアにおける動体の活動状況を表す活動情報として、動体の滞留状況を表す滞留情報（滞留時間および滞留度数（滞留人数））を取得するようにしたが、このような滞留情報に限定されるものではなく、種々の活動度合いを表す情報を取得して活動マップ画像を生成することができる。また、活動情報として滞留時間および滞留度数の両方を取得して、滞留時間および滞留度数の両方を表現する活動マップ画像を表示するようにしたが、滞留時間および滞留度数の一方のみを取得して、その一方のみを表現する活動マップ画像を表示するようにしてもよい。

また、前記の実施形態では、人物の動線を取得して、その動線に基づいて活動情報（滞留時間および滞留度数）を取得するようにしたが、この活動情報取得処理は動線に基づくものに限定されない。例えば、人物の位置情報として、人物枠（人物が存在する矩形の領域）に関する座標情報を取得して、画素（検出要素）ごとに人物枠内に位置する回数をカウントして、画素ごとのカウント値を取得し、この画素ごとのカウント値を適宜な統計処理、例えば平均化により、観測エリア（図３参照）またはグリッド（図１６参照）単位で集約して、観測エリアまたはグリッドごとの活動情報を取得するようにしてもよい。また、人物枠の中心点に関する座標情報を取得して、人物枠の中心点が観測エリアまたはグリッド内に位置する回数をカウントして、観測エリアまたはグリッドごとの活動情報を取得するようにしてもよい。

また、前記の第１実施形態では、活動状況分析に必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で活動状況分析システムが構成される。

このような構成では、活動状況分析に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、店舗に設けられたＰＣ３やカメラ１などの装置に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。

また、活動状況分析に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、クラウドコンピュータ１２に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。

また、クラウドコンピュータ１２に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも映像出力処理をクラウドコンピュータ１２に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３やタブレット端末１４などの携帯型端末でも映像を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で店舗内の状況を確認することができる。

また、本実施形態では、店舗に設置されたＰＣ３に活動状況分析に必要な処理を行わせるとともに、ＰＣ３のモニタ７にモニタリング画面や処理条件設定画面を表示させて、ＰＣ３で必要な入力および出力を行う場合について説明したが、活動状況分析に必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やタブレット端末１４などの携帯型端末で必要な入力および出力を行うようにしてもよい。

本発明に係る活動状況分析システムおよび活動状況分析方法は、監視エリアの映像が表示される中で、動体の活動状況がどのように変化しているのかをユーザが容易に把握することができ、さらに、ユーザの必要に応じて活動状況の分析態様を種々に変更するカスタマイズを容易に行うことができる効果を有し、監視エリアにおける動体の活動状況を観測して、その観測結果に基づいて動体の活動状況を可視化した活動マップ画像を生成して表示装置に表示させる活動状況分析システムおよび活動状況分析方法などとして有用である。

１ カメラ
２ レコーダ
３ ＰＣ（活動状況分析装置）
６ 入力デバイス
７ モニタ
１１ ＰＣ
１２ クラウドコンピュータ
１３ スマートフォン
１４ タブレット端末
３２ 位置情報取得部
３４ 活動情報取得部
３６ 観測期間制御部
３７ 活動情報集約部
３８ 活動マップ画像生成部
３９ 出力制御部
４０ 処理条件設定部（観測条件設定部、単位時間設定部）
５９ 表示時刻・観測期間指定部
６０ スケール調整部

Claims (4)

1. 監視エリアにおける動体の活動状況を観測して、その観測結果に基づいて動体の活動状況を可視化した活動マップ画像および前記監視エリアの映像を含むモニタリング映像を生成して表示装置で再生させる活動状況分析システムであって、
   監視エリアの映像から動体を検出して、動体ごとの位置情報を取得する位置情報取得部と、前記動体ごとの位置情報に基づき、活動情報を取得する活動情報取得部と、を有したカメラと、
   このカメラにより取得される前記活動情報を蓄積する活動情報蓄積部と、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定する表示時刻・観測期間指定部と、前記観測期間の長さにしたがって前記観測期間を制御する観測期間制御部と、この観測期間制御部により制御される前記観測期間で前記活動情報を集約する活動情報集約部と、前記観測期間で集約した活動情報に基づき、前記活動マップ画像を生成する活動マップ画像生成部と、前記活動マップ画像を前記監視エリアの映像上に重畳した前記モニタリング映像を生成して前記表示装置に出力する出力制御部と、を有した情報処理装置と、を備え、
   前記観測期間制御部は、前記モニタリング映像の再生に伴ってその表示時刻に追随して前記観測期間が移動するように、前記観測期間を制御することを特徴とする活動状況分析システム。
2. 前記表示時刻・観測期間指定部は、ユーザの入力操作に応じて、表示時刻および観測期間の長さを指定するスライダにより構成したことを特徴とする請求項１に記載の活動状況分析システム。
3. 更に、スケール調整部を有し、ユーザの選択操作に応じて、前記スケールで指定可能な表示時刻および観測期間の長さの単位時間を調整することを特徴とする請求項２に記載の活動状況分析システム。
4. カメラにより監視エリアにおける動体の活動状況を観測して、その観測結果に基づいて動体の活動状況を可視化した活動マップ画像および前記監視エリアの映像を含むモニタリング映像を生成して表示装置で再生させる処理を情報処理装置に行わせる活動状況分析方法であって、
   前記カメラは、監視エリアの映像から前記動体を検出して、前記動体ごとの位置情報を取得し、前記動体ごとの位置情報に基づく活動情報を取得し、
   前記情報処理装置は、前記カメラにより取得された前記活動情報を蓄積し、ユーザの入力操作に応じて、動体の活動状況の表示時刻および、この表示時刻から過去に遡る時刻までの長さに相当する観測期間を指定し、この指定された前記観測期間の長さにしたがって前記観測期間を制御し、この制御にかかる前記観測期間で集約した活動情報を取得し、この集約した活動情報に基づき、前記活動マップ画像を生成し、前記活動マップ画像を前記監視エリアの映像上に重畳した前記モニタリング映像を生成して前記表示装置に出力し、
   前記モニタリング映像の再生に伴ってその表示時刻に追随して前記観測期間が移動するように、前記観測期間を制御することを特徴とする活動状況分析方法。

Images