JP5866523B2 - 施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法 - Google Patents

Description

本発明は、施設内を撮影した映像に基づいて、利用者による施設の利用状況を計測する施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法に関するものである。

レストランや喫茶店などの飲食店においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の状況を監視する監視システムが広く普及しているが、このカメラの映像を利用して、店舗の利用状況、例えば、店舗に設けられた座席がどの程度埋まっているかを表す座席占有率を把握するようにすると、これに基づいて、店舗のレイアウトの変更などの店舗を効率的に運営するための改善策などを考えることができ、店舗の売上や利益の向上を図る上で有益である。

このような映像に基づいて店舗の利用状況を把握することに関連するものとして、従来、映像に基づいて着席および離席を判定して、その判定結果に基づいて座席占有率を計測する技術が知られている（特許文献１参照）。この技術では、店舗に来店した顧客の動線を検出して、その動線に基づいて着席および離席を判定するようにしている。

特開２００３−２５６８４３号公報

さて、前記従来の技術では、動線に基づいて人物の着席および離席を判定するようにしているが、このような動線に基づく処理では、動線が不完全である場合や、座席の近傍を通過する人物との混同により別人と動線が入れ替わる場合には、着席したままであるにも拘らず離席したものと判断され、逆に、離席したにも拘らず着席したままと判断されるという誤判定が顕著に発生し、店舗の利用状況を把握するには誤差が多く、店舗運営上の改善策を検討する用途には信頼性に欠けるものであった。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、施設内を撮影した映像に基づいて、利用者による施設の利用状況を精度良く計測することができるように構成された施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法を提供することにある。

本発明の施設利用状況計測装置は、施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する施設利用状況計測装置であって、前記映像上に、利用者の滞在が想定される複数の判定エリアを設定するエリア設定部と、所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得する映像変化率取得部と、この映像変化率取得部で取得した前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定する滞在判定部と、を有し、前記判定エリアごとの滞在情報を生成する滞在情報生成部と、この滞在情報生成部で生成した前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する利用情報生成部と、この利用情報生成部で生成した前記利用情報を表示する表示情報を生成して出力する表示情報生成部と、を備え、前記滞在判定部は、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする。

また、本発明の施設利用状況計測システムは、施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する施設利用状況計測システムであって、前記施設内を撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記映像上に、利用者の滞在が想定される複数の判定エリアを設定するエリア設定部と、所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得する映像変化率取得部と、この映像変化率取得部で取得した前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定する滞在判定部と、を有し、前記判定エリアごとの滞在情報を生成する滞在情報生成部と、この滞在情報生成部で生成した前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する利用情報生成部と、この利用情報生成部で生成した前記利用情報を表示する表示情報を生成して出力する表示情報生成部と、を備え、前記滞在判定部は、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする。

また、本発明の施設利用状況計測方法は、施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する処理を情報処理装置により行う施設利用状況計測方法であって、前記映像上に、利用者の滞在が想定される複数の判定エリアを設定する第１のステップと、所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得し、前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定し、前記判定エリアごとの滞在情報を生成する第２のステップと、前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する第３のステップと、前記利用情報を表示する表示情報を生成して出力する第４のステップと、を備え、前記第２のステップは、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする。

本発明によれば、判定エリアにおける所定値以上の映像変化率の継続を検出して判定エリアの利用者の滞在の有無を判定するため、判定エリアを単に通過する人物による誤判定を避けることができ、利用者による施設の利用状況を精度良く計測することができる。

本実施形態に係る施設利用状況計測システムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 カメラ１で撮影された映像上に設定される判定エリアの一例を示す説明図 カメラ１で撮影された映像上に設定される判定エリアの一例を示す説明図 ＰＣ３の概略構成を示す機能ブロック図 滞在情報生成部３３の映像変化率取得部４２で取得した映像変化率の一例を示す説明図 滞在情報生成部３３の映像変化率取得部４２で取得した映像変化率の一例を示す説明図 モニタ７やプリンタ８で出力される計測結果レポートを示す説明図 モニタ７やプリンタ８で出力される計測結果レポートを示す説明図 カメラ１で撮影された映像上に設定される判定エリアの別例を示す説明図 第２実施形態において滞在情報生成部３３で行われる処理の概要を説明する説明図 滞在情報生成部３３で生成される滞在情報を示す説明図

前記課題を解決するためになされた第１の発明は、施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する施設利用状況計測装置であって、前記映像上に、利用者の滞在が想定される複数の判定エリアを設定するエリア設定部と、所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得する映像変化率取得部と、この映像変化率取得部で取得した前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定する滞在判定部と、を有し、前記判定エリアごとの滞在情報を生成する滞在情報生成部と、この滞在情報生成部で生成した前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する利用情報生成部と、この利用情報生成部で生成した前記利用情報を表示する表示情報を生成して出力する表示情報生成部と、を備え、前記滞在判定部は、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする。

これによると、判定エリアにおける所定値以上の映像変化率の継続を検出して判定エリアの利用者の滞在の有無を判定するため、判定エリアを単に通過する人物による誤判定を避けることができ、利用者による施設の利用状況を精度良く計測することができる。

また、第２の発明は、前記エリア設定部は、利用者の各々に座席が割り当てられている場合に、その座席ごとに前記判定エリアを設定し、前記滞在情報生成部は、前記座席ごとに利用者の着席の有無に関する前記滞在情報を生成し、前記利用情報生成部は、前記滞在情報に基づき、座席ごとの占有状況を表す前記利用情報を生成する構成とする。

これによると、各座席の占有状況をユーザが把握することができる。

また、第３の発明は、前記利用情報生成部は、前記利用情報として、前記判定エリアの各々において所定の単位時間内に利用者が滞在した占有度を求める構成とする。

これによると、各判定エリアにおける単位時間ごとの占有度が出力されるため、各判定エリアにおける単位時間ごとの利用状況をユーザが把握することができる。

また、第４の発明は、前記利用情報生成部は、前記判定エリアの各々における前記単位時間ごとの占有度を所定の集計期間で平均化して、前記判定エリアごとの平均占有度を求める構成とする。

これによると、集計期間の全体を対象とした判定エリアごとの平均占有度が出力されるため、集計期間全体での判定エリアごとの利用状況をユーザが把握することができる。

また、第５の発明は、前記利用情報生成部は、前記判定エリアの各々における前記単位時間ごとの占有度を集計対象となる複数の前記判定エリアで平均化して、前記単位時間ごとの平均占有度を求める構成とする。

これによると、複数の判定エリアを対象とした単位時間ごとの平均占有度が出力されるため、複数の判定エリアを統合した状態で単位時間ごとの利用状況をユーザが把握することができる。

また、第６の発明は、更に、施設内でのエリア区分に応じて複数の前記判定エリアをグループ分けするための集計グループを設定するグループ設定部を備え、前記利用情報生成部は、前記判定エリアごとの利用情報に基づき、前記集計グループごとの利用情報を生成する構成とする。

これによると、集計グループごとの利用情報が出力されるため、集計グループ単位で利用状況をユーザが把握することができる。
また、第７の発明は、施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する施設利用状況計測装置であって、前記映像上に、利用者の滞在が想定される複数の判定エリアを設定するエリア設定部と、所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得する映像変化率取得部と、この映像変化率取得部で取得した前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定する滞在判定部と、を有し、前記判定エリアごとの滞在情報を生成する滞在情報生成部と、この滞在情報生成部で生成した前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する利用情報生成部と、この利用情報生成部で生成した前記利用情報を表示する表示情報を生成して出力する表示情報生成部と、を備え、前記滞在判定部は、所定の判定期間における複数の時刻の前記映像変化率の連続性に基づき、前記判定エリアにおける利用者の滞在の有無を判定することを特徴とする。
これによると、所定の判定期間における複数の時刻の前記映像変化率の連続性に基づいて、判定エリアの利用者の滞在の有無を判定するため、判定エリアを単に通過する人物による誤判定を避けることができ、利用者による施設の利用状況を精度良く計測することができる。施設内を撮影した映像に基づいて、利用者による施設の利用状況を精度良く計測することができる。

また、第８の発明は、施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する施設利用状況計測システムであって、前記施設内を撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記映像上に、利用者の滞在が想定される複数の判定エリアを設定するエリア設定部と、所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得する映像変化率取得部と、この映像変化率取得部で取得した前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定する滞在判定部と、を有し、前記判定エリアごとの滞在情報を生成する滞在情報生成部と、この滞在情報生成部で生成した前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する利用情報生成部と、この利用情報生成部で生成した前記利用情報を表示する表示情報を生成して出力する表示情報生成部と、を備え、前記滞在判定部は、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする。

これによると、前記の第１の発明と同様に、判定エリアにおける所定値以上の映像変化率の継続を検出して判定エリアの利用者の滞在の有無を判定するため、判定エリアを単に通過する人物による誤判定を避けることができ、利用者による施設の利用状況を精度良く計測することができる。

また、第９の発明は、施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する処理を情報処理装置により行う施設利用状況計測方法であって、前記映像上に、利用者の滞在が想定される複数の判定エリアを設定する第１のステップと、所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得し、前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定し、前記判定エリアごとの滞在情報を生成する第２のステップと、前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する第３のステップと、前記利用情報を表示する表示情報を生成して出力する第４のステップと、を備え、前記第２のステップは、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする。

これによると、前記の第１の発明と同様に、判定エリアにおける所定値以上の映像変化率の継続を検出して判定エリアの利用者の滞在の有無を判定するため、判定エリアを単に通過する人物による誤判定を避けることができ、利用者による施設の利用状況を精度良く計測することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、本実施形態に係る施設利用状況計測システムの全体構成図である。この施設利用状況計測システムは、レストランや喫茶店などの飲食店などを対象にして構築されるものであり、カメラ１と、レコーダ（映像蓄積装置）２と、ＰＣ（施設利用状況計測装置）３と、を備えている。

カメラ１は店舗（施設）内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた映像がレコーダ２に蓄積される。

ＰＣ３には、店舗管理者などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７と、プリンタ８とが接続されている。このＰＣ３は、店舗内の適所に設置され、ユーザが、モニタ７に表示される監視画面により、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。

また、カメラ１、レコーダ２およびＰＣ３は、複数の店舗の各々に設置されており、複数の店舗を総括する本部にはＰＣ１１が設置されており、このＰＣ１１では、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができ、これにより本部で店舗内の状況を確認することができる。

店舗に設置されたＰＣ３は、顧客（利用者）による店舗の利用状況を計測する施設利用状況計測装置として構成され、このＰＣ３で生成した店舗の利用状況に関する情報を、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも閲覧することができ、ＰＣ３，１１が店舗の利用状況に関する情報を閲覧する閲覧装置として構成される。

次に、図１に示した店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。

店舗には、出入口、第１〜第５の客席エリア、レジカウンタ、厨房、および事務室などが設けられている。客席エリアには、テーブルおよび椅子が配置されている。第１〜第３の客席エリアは禁煙エリアとなっており、第４，第５の客席エリアは喫煙エリアとなっている。

また、店舗には、店舗内を撮影する複数のカメラ１が設置されている。このカメラ１は、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、店舗内の客席エリアを撮影することができる。

次に、図１に示したカメラ１で撮影された映像上に設定される判定エリアについて説明する。図３および図４は、カメラ１で撮影された映像上に設定される判定エリアの一例を示す説明図である。

本実施形態では、顧客による店舗の利用状況を計測する、特に、顧客の滞在の有無を判定するために、カメラ１で撮影された映像上に複数の判定エリアが設定される。

図３は、第１，第２の客席エリアの場合である。第１，第２の客席エリアでは、顧客の各々に座席が割り当てられている、すなわち、顧客が１人ずつ着席する椅子が配置されており、人物が滞在する位置が定まっており、椅子に着席した人物の身体が存在することが想定される位置に判定エリアを設定すればよい。

図４は、第４の客席エリアの場合である。第４の客席エリアには立ち席テーブル（カウンタ）が設けられており、この立ち席テーブルでは、人物が滞在する位置が定まっていないが、立ち席テーブルを利用する人物の身体が存在することが想定される位置に判定エリアを設定すればよい。

また、１つの判定エリアが１人の人物に対応するように、人物の身体の大きさを基準にして設定すればよく、図４（Ａ）に示す例では、人物が距離をおいて滞在する場合であり、立ち席テーブルの近傍に３つの判定エリアが設定されており、図４（Ｂ）に示す例では、人物が詰めて滞在する場合であり、立ち席テーブルの近傍に５つの判定エリアが設定されている。

なお、第３，第５の客席エリアの場合については特に図示しないが、第３，第５の客席エリアは、図３に示した第１，第２の客席エリアと同様に、顧客の各々に座席が割り当てられており、第１，第２の客席エリアと同様に判定エリアを設定すればよい。

また、判定エリアの形態（位置、大きさおよび形状）はユーザが適宜に設定すればよく、特に、計測結果と実際の状況とを比較して、判定エリアの形態を調整するようにすると、計測精度を高めることができる。また、図３および図４に示した例では、判定エリアを四角形としたが、この判定エリアの形状は四角形に限定されるものではなく、多角形や円形などでもよく、さらに任意の形状で設定することができるようにしてもよい。

次に、図１に示したＰＣ３で行われる施設利用状況計測処理について説明する。図５は、ＰＣ３の概略構成を示す機能ブロック図である。

ＰＣ３は、エリア設定部３１と、グループ設定部３２と、滞在情報生成部３３と、利用情報生成部３４と、表示情報生成部３５と、を備えている。

エリア設定部３１では、ユーザの入力操作に応じて、顧客の滞在の有無を判定するための複数の判定エリア（図３および図４参照）を映像上に設定する処理が行われる。この処理では、カメラ１またはレコーダ２から取得した映像が表示されるエリア設定画面をモニタ７に表示させて、このエリア設定画面において、マウスなどの入力デバイス６を用いて、映像上にエリアの位置を入力する操作をユーザに行わせればよい。

グループ設定部３２では、ユーザの入力操作に応じて、店舗内でのエリア区分に応じて複数の判定エリアをグループ分けするための集計グループを設定する処理が行われる。本実施形態では、店舗内に第１〜第５の客席エリア（図２参照）が設定されており、この第１〜第５の客席エリアに対応するように、判定エリアが５つの集計グループにグループ分けされる。

滞在情報生成部３３は、エリア設定部３１により設定された判定エリアにおける映像の変化状況に基づき、判定エリアごとの顧客の滞在の有無に関する滞在情報を生成するものであり、エリア映像取得部４１と、映像変化率取得部４２と、滞在判定部４３と、を備えている。

エリア映像取得部４１では、カメラ１で撮影された映像をレコーダ２から取得して、その映像から判定エリアの映像を切り出す処理が行われる。本実施形態では、所定のサンプリング周期（例えば５秒間）をおいた各時刻の映像を対象にして判定エリアの映像を取得する。

映像変化率取得部４２では、エリア映像取得部４１で取得した判定エリアの映像について映像変化率を取得する処理が行われる。本実施形態では、サンプリング周期をおいた直前の時刻の映像と比較して、その直前の時刻の映像に対する映像変化率を取得する。滞在判定部４３では、映像変化率取得部４２で取得した映像変化率に基づき、判定エリアにおける顧客の滞在の有無を判定する処理が行われる。この滞在判定部４３の判定結果に基づいて、滞在情報生成部３３では、サンプリング周期をおいた各時刻での顧客の滞在の有無を表す滞在情報が生成される。

なお、座席ごとに設定された判定エリアでは、滞在情報は各座席における着席および離席の別を表すものとなる。また、この滞在情報は、サンプリング周期のみならず、所定の単位時間内に得られる複数のサンプリング周期ごとの映像変化率を平均化した値（以下、占有度と表現）に基づいて、生成することができる。

利用情報生成部３４では、滞在情報生成部３３で生成した滞在情報に基づき、判定エリアごとの利用状況に関する利用情報を生成する処理が行われる。本実施形態では、利用情報として、各判定エリアの単位時間（例えば１０分間）ごとの占有度に基づく滞在情報を取得し、占有度を所定の集計条件（座席や時間帯ごと）で集計する処理が行われる。これによって、顧客の滞在による座席や時間帯ごとの占有状況を把握することができる。

特に、利用情報生成部３４では、判定エリアごとの利用情報に基づき、集計グループ、すなわち第１〜第５の客席エリアごとの利用情報を生成する処理が行われる。本実施形態では、判定エリアごとの占有度を客席エリア単位で集計して、客席エリアごとの占有度を求める。特に、本実施形態では、判定エリアごとの占有度を客席エリア単位で平均化して、客席エリアごとの平均占有度を求める。また、すべて判定エリアごとの占有度を時間帯単位で平均化して、時間帯ごとの平均占有度を求める。

表示情報生成部３５では、利用情報生成部３４で生成した利用情報を表示する表示情報を生成して出力する処理が行われる。本実施形態では、計測結果レポート（図８および図９参照）に関する表示情報を生成して、この計測結果レポートをモニタ７に表示出力し、また、プリンタ８で印字出力する。

なお、図５に示したＰＣ３の各部は、ＰＣ３のＣＰＵで施設利用状況計測用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。

次に、図５に示した滞在情報生成部３３で行われる処理について説明する。図６および図７は、滞在情報生成部３３の映像変化率取得部４２で取得した映像変化率の一例を示す説明図である。

図６および図７には、各判定エリア（座席）における各時刻の映像変化率（％）を一覧表で示している。なお、図６および図７には、座席ごとに設定された判定エリアで計測を行った結果が示されており、判定エリアを座席番号で表している。また、図６は、各座席に人物が略同時に着席するような状況で得られた計測結果であり、図７は、各座席に人物が順に着席するような状況で得られた計測結果である。

本実施形態では、映像変化率取得部４２において、所定のサンプリング周期（例えば５秒間）をおいた各時刻の判定エリアの映像（フレーム）について、サンプリング周期をおいた直前の時刻の映像に対する映像変化率を取得する処理が行われ、滞在判定部４３において、映像変化率取得部４２で取得した映像変化率に基づき、判定エリアにおける顧客の滞在の有無を判定する処理が行われ、図６および図７のフレーム（時刻）ごとの着色の有無で示されるような滞在情報が得られるようになっている。

図６および図７に示す例では、フレームレートを１０ｆｐｓとして、フレーム番号（FrameNo）が５０置きのフレームを対象にして映像変化率を取得する、すなわち、サンプリング周期を５秒間として、５秒間隔で映像変化率を取得するようにしており、映像変化率は、５秒前の映像に対する変化率となる。

ここで、映像変化率は、判定エリアの映像において顕著な変化が現れた画素がどの程度存在するかを表すものであり、具体的には、判定エリアの映像を画素ごとに比較して、顕著な変化が現れた画素の数の全画素数に対する割合を映像変化率とする。また、映像変化率を算出するにあたっては、画素値（例えば輝度）の変化量を所定のしきい値と比較して、画素値の変化量がしきい値を超えた場合に、顕著な変化が現れた画素とすればよい。

また、本実施形態では、滞在判定部４３において、映像変化率取得部４２で取得した映像変化率を所定のしきい値（例えば０．５％）と比較して、判定エリアにおける顧客の滞在の有無を判定する。すなわち、映像変化率がしきい値以上となると、判定エリアに顧客が滞在しているものと判断し、映像変化率がしきい値未満となると、判定エリアに顧客が滞在していないものと判断する。

ここで、映像変化率は、判定エリア内に存在する人物の身体の動きを反映したものであり、人物が座席に座った状態でも人物の身体は僅かでも動いているため、判定エリア内に人物が存在すると、人物の身体の動きに応じて映像に変化が現れ、人物の身体の動きが大きくなるほど映像変化率が大きくなる。このため、映像変化率の大きさにより、判定エリアにおける顧客の滞在の有無を判定することができ、この判定結果を顧客の滞在情報として用いることができる。また、窓から差し込む外光の変化などの影響で、時間的に離れた映像では、人物が存在しない状況でも大きな変化が現れるが、時間的に近い映像では、このような外光の変化などの影響を避けることができるため、判定エリアにおける人物の滞在の有無を精度良く判定することができる。

なお、図６および図７に示す例では、サンプリング周期を５秒間としたが、このサンプリング周期は５秒間に限定されるものではなく、例えば１分間や２分間としてもよい。また、窓のない部屋であれば、外光の変化の影響がないため、サンプリング周期を大きく設定することもできる。

また、映像変化率のしきい値は例えば０．５％とすればよいが、このしきい値はユーザが適宜に設定すればよく、特に、判定結果と実際の状況とを比較して、しきい値を調整するようにすると、判定精度を高めることができる。

次に、図５に示した利用情報生成部３４および表示情報生成部３５で行われる処理について説明する。図８および図９は、モニタ７やプリンタ８で出力される計測結果レポートを示す説明図である。ここで得られる計測結果レポートでは、前述のように単位時間（例えば１０分間）ごとの占有度に基づく滞在情報を取得し、その滞在情報を単位時間セルへの着色として反映されるようにしている。

本実施形態では、利用情報生成部３４において、滞在情報生成部３３で生成した滞在情報、すなわち、各判定エリアにおける単位時間（例えば１０分間）ごとの占有度に基づく滞在情報を取得する処理が行われる。また、利用情報生成部３４において、各判定エリアでの単位時間ごとの占有度を所定の集計条件で集計する処理が行われる。そして、表示情報生成部３５において、利用情報生成部３４で生成した利用情報を表示する表示情報を生成する処理が行われる。これにより、図８および図９に示す計測結果レポートがモニタ７やプリンタ８で出力される。

図８に示すレポートには、占有度およびその平均値が一覧表で記載されており、占有度記載欄５１と、第１の平均値記載欄５２と、第２の平均値記載欄５３と、が設けられている。なお、各時間帯（７時〜１３時）の０〜５０の数値が記載されたセルは単位時間を表し、例えば７時の「０」のセルは、7:00:00〜7:09:59までの単位時間を表している。

占有度記載欄５１には、各判定エリアの単位時間（ここでは１０分間）ごとの占有度が記載されている。ここで、判定エリアが座席ごとに設定される場合には、判定エリアを座席番号で示している。また、座席のない判定エリア、すなわち第４の客席エリアの立ち席テーブル（カウンタ）では、判定エリアの番号（カウンタ１〜３）が記載されている。

第１の平均値記載欄５２には、集計期間全体での各判定エリアの平均占有度が記載されている。この集計期間全体での各判定エリアの平均占有度は、各判定エリアの単位時間ごとの占有度を所定の集計期間（ここでは７時〜１３時）で平均化することで求められる。

第２の平均値記載欄５３には、全ての判定エリアを対象にした単位時間ごとの平均占有度が記載されている。この全ての判定エリアを対象にした単位時間ごとの平均占有度は、各判定エリアの単位時間ごとの占有度を全ての客席エリアで平均化することで求められる。

図９に示すレポートには、占有度記載欄６１と、第１の平均値記載欄６２と、第２の平均値記載欄６３と、が設けられている。

占有度記載欄６１には、第１〜第５の各客席エリアの単位時間ごとの占有度が記載されている。この各客席エリアの単位時間ごとの占有度は、各判定エリアの単位時間ごとの占有度を客席エリア単位で平均化する、すなわち、各客席エリアに属する複数の判定エリアを集計対象として平均化することで求められる。

第１の平均値記載欄６２には、集計期間全体での各客席エリアの平均占有度が記載されている。この集計期間全体での各客席エリアの平均占有度は、各客席エリアの単位時間ごとの占有度を所定の集計期間（ここでは７時〜１３時）で平均化することで求められる。

第２の平均値記載欄６３には、全ての客席エリアを対象にした単位時間ごとの平均占有度が記載されている。この全ての客席エリアを対象にした単位時間ごとの平均占有度は、各客席エリアの単位時間ごとの占有度を全ての客席エリアで平均化することで求められる。

また、本実施形態では、表示情報生成部３５において、占有度の高さに応じて占有度の表示形態を変更する処理が行われる。図８および図９に示す例では、占有度が記載されたセルの表示色（塗り潰し色）を占有度の高さに応じて変更する、具体的には、占有度が高くなるのに応じて表示色が濃くなるようにしている。これにより、占有度の高低を一目で判別することができる。

なお、図８および図９に示す例では、セルの塗り潰し色を変更するようにしたが、占有度を表す文字の表示色や大きさなどの文字属性を変更するようにしてもよい。

また、図９に示す例では、集計対象を第１〜第５の客席エリアとして平均占有度を求めるようにしたが、集計対象を禁煙エリアや喫煙エリアとして平均占有度を求めることも可能である。

次に、カメラ１で撮影された映像上に設定される判定エリアの別例について説明する。図１０は、カメラ１で撮影された映像上に設定される判定エリアの別例を示す説明図である。

図１０に示す例では、固定式のカウンタ型のテーブルと、可動式の円形のテーブルと、可動式の椅子と、がフロアに配置されている。ここで、テーブルや椅子は可動式で顧客が自由に動かすことができ、座席の位置が固定されていないため、図４に示した立ち席テーブル（カウンタ）の場合と同様に、顧客が滞在する位置が定まっていない。このため、顧客が滞在する可能性のあるエリアを設定して、そのエリアを境界線で仕切るようにして判定エリアを設定している。

特に、図１０（Ａ）に示す例では、カウンタ型のテーブルの周辺に６つの判定エリアを設定し、円形のテーブルの周辺に６つの判定エリアを設定している。図１０（Ｂ）に示す例では、カウンタ型のテーブルの周辺に３つの判定エリアを設定し、円形のテーブルの周辺に３つの判定エリアを設定している。

なお、図３および図４に示した例では、判定エリアを互いに接しないように設定したが、図１０に示す例では、境界線で仕切るように判定エリアを設定しており、判定エリアが互いに接する状態となっている。

以上のように本実施形態では、エリア設定部３１において、映像上に、顧客の滞在の有無を判定するための複数の判定エリアを設定し、滞在情報生成部３３において、判定エリアにおける映像の変化状況に基づき、判定エリアごとの顧客の滞在の有無に関する滞在情報を生成し、利用情報生成部３４において、この滞在情報生成部３３で生成した滞在情報に基づき、判定エリアごとの利用状況に関する利用情報を生成し、表示情報生成部３５において、この利用情報生成部３４で生成した利用情報を表示する表示情報を生成して出力するようにしており、映像の変化状況に基づいて判定エリアにおける顧客の滞在の有無を判定するため、顧客による店舗の利用状況を精度良く計測することができる。

また、本実施形態では、エリア設定部３１において、顧客の各々に座席が割り当てられている場合に、その座席ごとに判定エリアを設定し、滞在情報生成部３３において、座席ごとに顧客の着席の有無に関する滞在情報を生成し、利用情報生成部３４において、滞在情報に基づき、座席ごとの占有状況を表す利用情報を生成するようにしたため、各座席の占有状況をユーザが把握することができる。

また、本実施形態では、滞在情報生成部３３の映像変化率取得部４２において、所定のサンプリング周期をおいた各時刻の映像について、サンプリング周期をおいた直前の時刻の映像に対する映像変化率を取得し、滞在判定部４３において、映像変化率取得部４２で取得した映像変化率に基づき、判定エリアにおける顧客の滞在の有無を判定するようにしており、サンプリング周期をおいた直前の映像と比較して取得した映像変化率は、判定エリア内に存在する顧客の身体の動きを反映したものとなり、判定エリアにおける顧客の滞在の有無を精度良く判定することができる。

また、本実施形態では、利用情報生成部３４において、利用情報として、判定エリアの各々において所定の単位時間内に顧客が滞在した割合を表す占有度を求めるようにしており、各判定エリアにおける単位時間ごとの占有度が出力されるため、各判定エリアにおける単位時間ごとの利用状況をユーザが把握することができる。

また、本実施形態では、利用情報生成部３４において、判定エリアの各々における単位時間ごとの占有度を所定の集計期間で平均化して、判定エリアごとの平均占有度を求めるようにしており、集計期間の全体を対象とした判定エリアごとの平均占有度が出力されるため、集計期間全体での判定エリアごとの利用状況をユーザが把握することができる。

また、本実施形態では、利用情報生成部３４において、判定エリアの各々における単位時間ごとの占有度を集計対象となる複数の判定エリアで平均化して、単位時間ごとの平均占有度を求めるようにしており、複数の判定エリアを対象とした単位時間ごとの平均占有度が出力されるため、複数の判定エリアを統合した状態で単位時間ごとの利用状況をユーザが把握することができる。

また、本実施形態では、グループ設定部３２において、店舗内でのエリア区分に応じて複数の判定エリアをグループ分けするための集計グループを設定し、利用情報生成部３４において、判定エリアごとの利用情報に基づき、集計グループごとの利用情報を生成するようにしており、集計グループごとの利用情報が出力されるため、集計グループ単位で利用状況をユーザが把握することができる。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。

図１１は、第２実施形態において滞在情報生成部３３で行われる処理の概要を説明する説明図である。図１２は、滞在情報生成部３３で生成される滞在情報を示す説明図である。

第１実施形態では、滞在情報生成部３３の滞在判定部４３において、所定のサンプリング周期（例えば５秒間）をおいた各時刻の映像（フレーム）について映像変化率を取得して、その映像変化率または複数の映像変化率を平均化した占有度で、顧客の滞在の有無を判定するようにしたが、第２実施形態では、図１１に示すように、所定の判定期間（例えば１分間）における複数の時刻の映像変化率の連続性に基づいて、顧客の滞在の有無を判定するようにする。これにより、滞在情報生成部３３では、図１２に示すように、判定期間ごとに顧客の滞在の有無を表す滞在情報のみが生成される。

特に、この第２実施形態では、所定の判定期間における各時刻の映像変化率を所定のしきい値（例えば０．５％）と比較して、判定期間において映像変化率がしきい値以上となる状態が継続（少なくとも２回）して検出されると、顧客が滞在しているものと判断し、それ以外は顧客が滞在しないものと判断する。

図１１に示す例では、映像変化率を取得する際のサンプリング周期を５秒間とし、顧客の滞在の有無を判定する際の判定期間を１分間としているため、１２個の映像変化率の連続性に基づいて顧客の滞在の有無を判定する。また、利用情報生成部３４において占有率を求める際の単位時間を１０分間とすると、１０回の判定期間による滞在情報に基づいて占有度を求める。なお、図１２には、８時０分の単位時間（8:00:00〜8:09:59）に含まれる１０回の判定期間（8:00:00〜8:00:59,8:01:00〜8:01:59...）の例を示している。実際には、利用情報生成部３４は、施設の利用状況を把握するため単位時間として日付単位での利用情報が生成され、営業開始から営業終了までの占有率（％）が計測結果レポートに記載されるようになっている。

なお、図１１および図１２に示した例では、判定期間を１分間としたが、この判定期間は１分間に限定されるものではなく、例えば２分間、あるいはこれより長い期間としてもよい。また、この判定期間はユーザが適宜に設定すればよく、特に、判定結果と実際の状況とを比較して、判定期間の長さを調整するようにすると、判定精度を高めることができる。

以上のように本実施形態では、滞在判定部４３において、所定の判定期間における複数の時刻の映像変化率の連続性に基づき、判定エリアにおける顧客の滞在の有無を判定するため、判定エリアを単に通過する人物による誤判定を避けることができ、判定精度を高めることができる。ここで、判定エリアを単に通過する人物の場合、判定エリアに滞在する時間は、数秒間程度であり、判定期間における映像変化率の連続性を考慮することで、通過する人物による誤判定を避けることができる。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、本実施形態では、喫茶店やレストランなど飲食店の例について説明したが、このような飲食店に限定されるものではなく、さらに店舗以外の施設であってもよく、例えば公共施設やイベント会場などには、利用者のために座席が設けられており、このような施設の利用状況として、座席の占有状況を把握することは有益である。また、座席の他に、施設に設けられた種々の設備や物品が配置されたエリアに利用者が滞在する場合もあり、このような場合でも、所定のエリアにおける利用者の滞在状況で、施設の利用状況を判断することができる。

また、前記の各実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。

また、本実施形態では、映像変化率取得部４２において、所定のサンプリング周期をおいた直前の時刻の映像と比較して映像変化率を取得するようにしたが、予め設定された基準となる映像、例えば人物が存在しない状態で撮影された映像や、複数の映像に基づいて人物の領域を取り除いて背景のみとした映像と比較して、映像変化率を取得するようにしてもよい。

また、前記の実施形態では、施設利用状況計測に必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で施設利用状況計測システムが構成される。

特に、クラウドコンピュータ２１を含むシステム構成では、店舗や本部に設けられたＰＣ３，１１の他に、クラウドコンピュータ２１にネットワーク接続されたスマートフォン２２やタブレット端末２３などの携帯型端末で、必要な情報を表示させることができるようにするとよく、これにより店舗や本部の他に外出先などの任意の場所で必要な情報を確認することができる。

また、本実施形態では、カメラ１の映像を蓄積するレコーダ２を店舗に設置するようにしたが、施設利用状況計測に必要な処理を、本部に設置されたＰＣ１１やクラウドコンピュータ２１に行わせる場合には、カメラ１の映像を、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置にカメラ１の映像を蓄積するようにしてもよい。

また、本実施形態では、店舗に設置されたＰＣ３に施設利用状況計測に必要な処理を行わせるとともに、ＰＣ３のモニタ７にエリア設定画面や計測結果表示画面を表示させて、ＰＣ３で必要な入力および出力を行うようにしたが、施設利用状況計測に必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やタブレット端末２３などの携帯型端末で必要な入力および出力を行うようにしてもよい。

本発明に係る施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法は、施設内を撮影した映像に基づいて、利用者による施設の利用状況を精度良く計測することができる効果を有し、施設内を撮影した映像に基づいて、利用者による施設の利用状況を計測する施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法などとして有用である。

１ カメラ
２ レコーダ
３ ＰＣ
６ 入力デバイス
７ モニタ
８ プリンタ
１１ ＰＣ
２１ クラウドコンピュータ
２２ スマートフォン
２３ タブレット端末
３１ エリア設定部
３２ グループ設定部
３３ 滞在情報生成部
３４ 利用情報生成部
３５ 表示情報生成部
４１ エリア映像取得部
４２ 映像変化率取得部
４３ 滞在判定部

Claims (9)

1. 施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する施設利用状況計測装置であって、
   前記映像上に、利用者の滞在が想定される複数の判定エリアを設定するエリア設定部と、
   所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得する映像変化率取得部と、この映像変化率取得部で取得した前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定する滞在判定部と、を有し、前記判定エリアごとの滞在情報を生成する滞在情報生成部と、
   この滞在情報生成部で生成した前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する利用情報生成部と、
   この利用情報生成部で生成した前記利用情報を表示する表示情報を生成して出力する表示情報生成部と、を備え、
   前記滞在判定部は、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする施設利用状況計測装置。
2. 前記エリア設定部は、利用者の各々に座席が割り当てられている場合に、その座席ごとに前記判定エリアを設定し、
   前記滞在情報生成部は、前記座席ごとに利用者の着席の有無に関する前記滞在情報を生成し、
   前記利用情報生成部は、前記滞在情報に基づき、座席ごとの占有状況を表す前記利用情報を生成することを特徴とする請求項１に記載の施設利用状況計測装置。
3. 前記利用情報生成部は、前記利用情報として、前記判定エリアの各々において所定の単位時間内に利用者が滞在した占有度を求めることを特徴とする請求項１または請求項２に記載の施設利用状況計測装置。
4. 前記利用情報生成部は、前記判定エリアの各々における前記単位時間ごとの占有度を所定の集計期間で平均化して、前記判定エリアごとの平均占有度を求めることを特徴とする請求項３に記載の施設利用状況計測装置。
5. 前記利用情報生成部は、前記判定エリアの各々における前記単位時間ごとの占有度を集計対象となる複数の前記判定エリアで平均化して、前記単位時間ごとの平均占有度を求めることを特徴とする請求項３に記載の施設利用状況計測装置。
6. 更に、施設内でのエリア区分に応じて複数の前記判定エリアをグループ分けするための集計グループを設定するグループ設定部を備え、
   前記利用情報生成部は、前記判定エリアごとの利用情報に基づき、前記集計グループごとの利用情報を生成することを特徴とする請求項１から請求項５のいずれかに記載の施設利用状況計測装置。
7. 施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する施設利用状況計測装置であって、
   前記映像上に、利用者の滞在が想定される複数の判定エリアを設定するエリア設定部と、
   所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得する映像変化率取得部と、この映像変化率取得部で取得した前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定する滞在判定部と、を有し、前記判定エリアごとの滞在情報を生成する滞在情報生成部と、
   この滞在情報生成部で生成した前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する利用情報生成部と、
   この利用情報生成部で生成した前記利用情報を表示する表示情報を生成して出力する表示情報生成部と、を備え、
   前記滞在判定部は、所定の判定期間における複数の時刻の前記映像変化率の連続性に基づき、前記判定エリアにおける利用者の滞在の有無を判定することを特徴とする施設利用状況計測装置。
8. 施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する施設利用状況計測システムであって、
   前記施設内を撮影するカメラと、
   複数の情報処理装置と、
   を有し、
   前記複数の情報処理装置のいずれかが、
   前記映像上に、利用者の滞在が想定される複数の判定エリアを設定するエリア設定部と、
   所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得する映像変化率取得部と、この映像変化率取得部で取得した前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定する滞在判定部と、を有し、前記判定エリアごとの滞在情報を生成する滞在情報生成部と、
   この滞在情報生成部で生成した前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する利用情報生成部と、
   この利用情報生成部で生成した前記利用情報を表示する表示情報を生成して出力する表示情報生成部と、を備え、
   前記滞在判定部は、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする施設利用状況計測システム。
9. 施設内を撮影した映像に基づいて、利用者による前記施設の利用状況を計測する処理を情報処理装置により行う施設利用状況計測方法であって、
   前記映像上に、利用者の滞在が想定される複数の判定エリアを設定する第１のステップと、
   所定のサンプリング周期をおいた各時刻の映像について、前記サンプリング周期をおいた直前の時刻の映像、または、予め設定された基準映像に対する映像変化率を取得し、前記映像変化率に基づき、前記判定エリアにおける利用者の滞在の有無を判定し、前記判定エリアごとの滞在情報を生成する第２のステップと、
   前記滞在情報に基づき、前記判定エリアごとの利用状況に関する利用情報を生成する第３のステップと、
   前記利用情報を表示する表示情報を生成して出力する第４のステップと、を備え、
   前記第２のステップは、所定値以上の前記映像変化率の継続を検出して利用者の滞在を判定することを特徴とする施設利用状況計測方法。

Images