JP6489384B2 - 滞在状況表示システムおよび滞在状況表示方法 - Google Patents

Description

本発明は、施設に設置されたカメラにより撮影される映像に基づいて、対象エリアにおける人物の滞在状況に関する表示情報を生成する滞在状況表示システムおよび滞在状況表示方法に関するものである。

オフィスビルなどの施設においては、施設内を撮影するカメラを設置して、そのカメラの映像で施設内の状況を監視する監視システムが広く普及している。このようなカメラの映像を利用して、施設内での人物の滞在状況に関する情報を取得して、その情報をユーザに提示するようにすると、所用で面会したい人物が自席にいるかどうかなどを簡単に確認することができ、ユーザの利便性が向上する。

このような人物の滞在状況をユーザに提示する技術として、従来、カメラの映像に基づいて、人物の在席状況に関する情報、具体的には、在席・空席、会議中、電話中、面会拒否などに関する情報を取得して、その情報をユーザに提示し、また、在席率・空席率などの占有率、混雑度、混雑場所などに関する統計情報をユーザに提示する技術が知られている（特許文献１参照）。

特開２００２−２６０１１０号公報

さて、複数の人物の在席状況を一括して確認したいといった要望がある。例えば、特定の人物の在席状況を確認したいユーザは、その人物の在席状況の他に、その周辺に座席がある別の人物、例えば特定の人物と同じチームに所属する別の人物の在席状況も確認したい場合がある。

しかしながら、従来の技術では、人物が特定の場所にいるか否かに関する滞在情報をユーザに提示するだけであり、複数の人物の滞在状況を一括して確認できないという問題があった。また、複数の人物の滞在状況をユーザに提示する場合、各人物を簡単に識別できるようにすることが望まれる。

そこで、本発明は、複数の人物の在席状況を一括して確認することができ、さらに、各人物を簡単に識別可能な視認性に優れた情報をユーザに提示することができる滞在状況表示システムおよび滞在状況表示方法を提供することを主な目的とする。

本発明の滞在状況表示システムは、施設に設置されたカメラにより撮影される映像をリアルタイムに取得して、対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、前記プロセッサは、前記映像上に予め設定された人物の滞在が想定される検知エリアの所定のサンプリング周期をおいた各時刻の映像を切り出し、その各時刻の切り出し映像について、滞在状態と不在状態との２クラスを予め学習させた識別器を用いて前記検知エリアにおける人物の滞在の有無を判定して、前記検知エリアごとの人物の滞在状況に関する滞在情報を取得し、前記滞在情報に基づいて、在席の有無と不在時間の程度の２つの要素を表わす人物画像が埋め込まれた人物アイコンを生成し、前記対象エリアを表すエリア画像上に前記人物アイコンを重畳した前記表示情報を生成する構成とする。

また、本発明の滞在状況表示方法は、施設に設置されたカメラにより撮影される映像をリアルタイムに取得して、前記施設内の対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、前記プロセッサは、前記映像上に予め設定された人物の滞在が想定される検知エリアの所定のサンプリング周期をおいた各時刻の映像を切り出し、その各時刻の切り出し映像について、滞在状態と不在状態との２クラスを予め学習させた識別器を用いて前記検知エリアにおける人物の滞在の有無を判定して、前記検知エリアごとの人物の滞在状況に関する滞在情報を取得し、前記滞在情報に基づいて、在席の有無と不在時間の程度の２つの要素を表わす人物画像が埋め込まれた人物アイコンを生成し、前記対象エリアを表すエリア画像上に前記人物アイコンを重畳した前記表示情報を生成する構成とする。

本発明によれば、エリア画像上に重畳された人物アイコンにより、各人物の在席の有無と不在時間の程度をユーザが把握することができる。これにより、複数の人物の在席状況を一括して確認することができ、さらに、各人物の滞在状況を簡単に識別可能な視認性に優れた表示情報をユーザに提示することができる。

第１実施形態に係る滞在状況表示システムの全体構成図 第１実施形態に係る施設内の各部屋のレイアウトおよびカメラ１の設置状況を示す説明図 第１実施形態に係るカメラ１の映像に対する検知エリアの設定状況を示す説明図 第１実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図 第１実施形態に係るカメラ設定情報の内容を示す説明図 第１実施形態に係る在席マップ画面を示す説明図 第１実施形態に係るエリア一覧画面を示す説明図 第２実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図 第２実施形態に係るエリア一覧画面を示す説明図 第２実施形態に係る在席マップ画面を示す説明図 第２実施形態に係る人物アイコンの変化状況を示す説明図 第２実施形態に係る在席マップ画面の要部を示す説明図 第３実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図 第３実施形態に係るエリア一覧画面を示す説明図 第３実施形態に係るエリア一覧画面の要部を示す説明図 第３実施形態に係るエリア一覧画面の変形例を示す説明図 第３実施形態に係る施設管理装置３の処理手順を示すフロー図 第３実施形態に係る施設管理装置３の処理手順の変形例を示すフロー図 第４実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図 第４実施形態に係る検知エリアの設定状況を示す説明図 第４実施形態に係る施設管理装置３の処理手順を示すフロー図 第４実施形態に係る施設管理装置３の処理手順の変形例を示すフロー図 第４実施形態に係る検知エリア編集画面を示す説明図 第５実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図 第５実施形態に係る在席マップ編集画面を示す説明図 第５実施形態に係る在席マップ編集画面の要部を示す説明図 第５実施形態に係るエリアマップ編集画面を示す説明図

前記課題を解決するためになされた第１の発明は、施設に設置されたカメラにより撮影される映像をリアルタイムに取得して、対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、前記プロセッサは、前記映像上に予め設定された人物の滞在が想定される検知エリアの所定のサンプリング周期をおいた各時刻の映像を切り出し、その各時刻の切り出し映像について、滞在状態と不在状態との２クラスを予め学習させた識別器を用いて前記検知エリアにおける人物の滞在の有無を判定して、前記検知エリアごとの人物の滞在状況に関する滞在情報を取得し、前記滞在情報に基づいて、在席の有無と不在時間の程度の２つの要素を表わす人物画像が埋め込まれた人物アイコンを生成し、前記対象エリアを表すエリア画像上に前記人物アイコンを重畳した前記表示情報を生成する構成とする。

これによると、エリア画像上に重畳された人物アイコンにより、各人物の在席の有無と不在時間の程度をユーザが把握することができる。これにより、複数の人物の在席状況を一括して確認することができ、さらに、各人物の滞在状況を簡単に識別可能な視認性に優れた表示情報をユーザに提示することができる。

また、第２の発明は、前記プロセッサは、複数の対象エリアを一覧表示する表示情報を生成し、ユーザが前記対象エリアを選択する操作に応じて、選択した前記対象エリアに関する前記表示情報を生成する構成とする。

これによると、大規模な施設で対象となる人物の人数が多い場合に、対象エリアを複数設定して、対象エリアごとに情報を表示することで、人物の滞在状況をユーザが容易に把握することができる。

また、第３の発明は、前記人物画像は、予め登録された顔画像を含む構成とする。

これによると、人物をユーザが容易に識別することができる。

また、第４の発明は、前記プロセッサは、人物の現在の滞在の有無に応じて、前記人物画像の表示色を変化させる構成とする。

これによると、人物の現在の滞在状況をユーザが容易に把握することができる。

また、第５の発明は、前記プロセッサは、人物の不在時間の長さに応じて、前記人物アイコンの少なくとも一部の表示色を変化させる構成とする。

これによると、人物の不在時間をユーザが容易に把握することができる。

また、第６の発明は、前記プロセッサは、前記人物アイコンを選択するユーザの操作に応じて、その選択にかかる人物の過去および未来の滞在状況を表示する構成とする。

これによると、現在不在である人物の過去および未来の在席状況をユーザが確認することができる。

また、第７の発明は、前記プロセッサは、前記人物アイコンを選択するユーザの操作に応じて、その選択にかかる人物のスケジュールを表示する構成とする。

これによると、現在不在である人物のスケジュールをユーザが容易に確認することができる。

また、第８の発明は、前記プロセッサは、前記人物アイコンを選択するユーザの操作に応じて、その選択にかかる人物を宛先とした電子メールを作成する画面を表示する構成とする。

これによると、現在不在である人物を宛先とした電子メールをユーザが容易に作成することができる。

また、第９の発明は、施設に設置されたカメラにより撮影される映像をリアルタイムに取得して、前記施設内の対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、前記プロセッサは、前記映像上に予め設定された人物の滞在が想定される検知エリアの所定のサンプリング周期をおいた各時刻の映像を切り出し、その各時刻の切り出し映像について、滞在状態と不在状態との２クラスを予め学習させた識別器を用いて前記検知エリアにおける人物の滞在の有無を判定して、前記検知エリアごとの人物の滞在状況に関する滞在情報を取得し、前記滞在情報に基づいて、在席の有無と不在時間の程度の２つの要素を表わす人物画像が埋め込まれた人物アイコンを生成し、前記対象エリアを表すエリア画像上に前記人物アイコンを重畳した前記表示情報を生成する構成とする。

これによると、第１の発明と同様に、複数の人物の在席状況を一括して確認することができ、さらに、各人物を簡単に識別可能な視認性に優れた情報をユーザに提示することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る滞在状況表示システムの全体構成図である。

この滞在状況表示システムは、施設内の各部屋（対象エリア）における人物の滞在状況に関する情報をユーザに提示するものであり、カメラ１と、レコーダ２と、施設管理装置３と、ユーザ端末４と、を備えている。カメラ１、レコーダ２、施設管理装置３、およびユーザ端末４は、ネットワークを介して接続されている。

カメラ１は、施設内の各部屋（対象エリア）に設置されており、各部屋に滞在する人物を撮影する。

レコーダ２は、カメラ１から送信される映像を蓄積する。

施設管理装置３は、カメラ１およびレコーダ２から送信される映像を受信して、その映像を解析することで、施設内の各部屋（対象エリア）における人物の滞在状況に関する表示情報を生成する。

ユーザ端末４は、ユーザが操作するＰＣやタブレット端末などである。このユーザ端末４は、施設管理装置３から送信される表示情報に基づいて、施設内の各部屋（対象エリア）における人物の滞在状況に関する画面を表示し、この画面をユーザが閲覧することで、施設内の各部屋における人物の滞在状況をユーザが確認することができる。

次に、第１実施形態に係る施設内の各部屋のレイアウトおよびカメラ１の設置状況について説明する。図２は、施設内の各部屋のレイアウトおよびカメラ１の設置状況を示す説明図である。

本実施形態では、施設に、図２（Ａ）に示すオフィス（事務室）、図２（Ｂ）に示す会議室、および図２（Ｃ）に示す共用室が設けられている。

図２（Ａ）に示すオフィスには、机および椅子が並べて配置されており、１対の机および椅子で構成される座席が各人物に割り当てられて、各人物は自分の座席に着席して業務を行う。図２（Ｂ）に示す会議室には、１つのテーブルの周囲に複数の椅子が配置されており、１つのグループが部屋全体を貸し切って利用する。図２（Ｃ）に示す共用室には、複数のテーブルが配置されるとともに、各テーブルの周囲に複数の椅子が配置されており、１つのテーブルとその周囲の複数の椅子とにより１つの区画（分割エリア）が形成され、この１つの区画を１つのグループが貸し切って利用する。

オフィス、会議室および共用室の各部屋の天井には、カメラ１が設置されており、各部屋に滞在する人物を撮影する。この場合、カメラ１には、魚眼レンズを用いて３６０度の範囲を撮影する全方位カメラを採用するとよいが、所定の画角の範囲を撮影するボックスカメラも可能である。

次に、第１実施形態に係るカメラ１の映像に対する検知エリアの設定状況について説明する。図３は、カメラ１の映像に対する検知エリアの設定状況を示す説明図である。

本実施形態では、図３（Ａ），（Ｂ），（Ｃ）に示すように、カメラ１の映像上に検知エリア（点線の矩形エリア）が予め設定される。この検知エリアは、座席に着席した人物の身体が存在することが想定される位置に設定され、１つの検知エリアが１人の人物に対応するように、人物の身体の大きさを基準にして設定される。

また、本実施形態では、カメラ１の映像上に設定される検知エリアに基づいて在席検知の処理が行われる。この在席検知の処理では、映像上の検知エリアにおける人物の滞在を検知して、検知エリアごとの人物の滞在状況に関する滞在情報を取得する。

ここで、本実施形態では、各部屋（対象エリア）に予め設定された部屋属性（エリア属性）、具体的には、オフィス（事務室）、会議室および共用室の各々に応じた表示項目にしたがって滞在情報を反映させた表示情報を生成する。

図３（Ａ）に示すように、オフィス（第１のエリア属性）の場合には、検知エリアの各々での人物の滞在状況、すなわち、座席ごとの在席状況が表示項目となり、滞在情報に基づいて、各座席に人物が在席するか否かに関する在席状況を表示する。

図３（Ｂ）に示すように、会議室（第２のエリア属性）の場合には、複数の検知エリアを集約した集約エリアの利用状況を表示項目として表示情報を生成する。特にここでは、１つの部屋（対象エリア）全体の利用状況が表示項目となり、各部屋が利用中か否かに関する利用状況を表示する。このとき、部屋（対象エリア）全体を１つの判定エリアとして、滞在情報に基づいて、各部屋が利用中か否かの判定を行う。なお、１つの部屋で１人以上の人物の滞在が検知されると、その部屋は利用中と判定すればよい。

図３（Ｃ）に示すように、共用室（第３のエリア属性）の場合には、会議室と同様に、複数の検知エリアを集約した集約エリアの利用状況を表示項目として表示情報を生成する。特にここでは、１つの部屋（対象エリア）の中に複数設定された各区画（分割エリア）の利用状況が表示項目となり、各区画が利用中か否かに関する利用状況を表示する。このとき、複数の検知エリアを含む１つの区画を１つの判定エリアとして、滞在情報に基づいて、各区画が利用中か否かの判定を行う。なお、１つの区画で１人以上の人物の滞在が検知されると、その区画は利用中と判定すればよい。

なお、検知エリアは、カメラ１の映像を表示した画面上で検知エリアの範囲をユーザが指定する操作を行うことで設定されるようにすればよいが、後述の第４実施形態と同様に、カメラ１の映像から物体（椅子および机）を検出して、その検出結果に基づいて検知エリアを設定するようにしてもよい。

次に、第１実施形態に係る施設管理装置３およびユーザ端末４の概略構成について説明する。図４は、施設管理装置３およびユーザ端末４の概略構成を示すブロック図である。

施設管理装置３は、通信部２１と、プロセッサ２２と、記憶部２３と、モニタ２４（表示装置）と、入力デバイス２５と、を備えている。

通信部２１は、カメラ１およびレコーダ２との間で通信を行い、カメラ１およびレコーダ２から送信される映像を受信する。

記憶部２３は、通信部２１で受信した映像や、検知エリアに関する設定情報やカメラに関する設定情報（図５参照）などの各種の設定情報や、プロセッサ２２で実行されるプログラムなどを記憶する。

モニタ２４では、検知エリアを入力する画面（図示せず）などが表示される。入力デバイス２５では、オペレータが検知エリアを入力する操作などを行う。

プロセッサ２２は、記憶部２３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、在席検知、エリア判定、および画面制御の各処理を行う。

在席検知の処理では、カメラ１の映像に基づいて、映像上に予め設定された人物の滞在が想定される検知エリアにおける人物の滞在を一定時間ごとに検知して、各検知エリアにおける一定時間ごとの人物の滞在状況に関する滞在情報を取得する。

本実施形態では、人物が滞在すると映像に何らかの変化が生じることから、検知エリアにおける映像の変化状況に基づいて、座席に人物が在席しているか否かを検知する。具体的には、まず、所定のサンプリング周期（例えば１分間）をおいた各時刻の映像から、各時刻の検知エリアの映像を切り出す。そして、各時刻の検知エリアの映像について映像変化率を取得する。このとき、サンプリング周期をおいた直前の時刻の映像と比較して、その直前の時刻の映像に対する映像変化率を取得する。次に、各時刻の映像変化率に基づいて、検知エリアにおける人物の滞在の有無を判定する。そして、判定結果に基づいて、サンプリング周期をおいた各時刻での人物の滞在の有無を表す滞在情報を生成する。なお、在席検知処理において、ディープラーニングにより、在席状態と不在状態との２クラスを予め学習させた識別器を用いることができる。在席検知処理の際には、識別器により、検知エリアの画像に関して在席状態としての尤度（確からしさ）と不在状態としての尤度とを求めて、２つの尤度を比較することで、在席と不在とのいずれであるかを判定することができる。

エリア判定の処理では、滞在情報に基づいて、部屋属性（エリア属性）に応じて、複数の検知エリアを集約した集約エリアの利用状況を判定する。すなわち、会議室のように、部屋全体を１つのグループが独占的に利用する部屋では、部屋が利用中か否かに関する利用状況を判定する。また、共用室のように、対象エリア内に複数の区画が設定されている部屋では、各区画が利用中か否かに関する利用状況を判定する。

画面制御の処理では、ユーザ端末４に表示させる画面を制御する。本実施形態では、滞在状況提示画面（図６，図７参照）に関する表示情報を生成する。この滞在状況提示画面は、在席検知の検知結果（滞在情報）およびエリア判定の判定結果に応じて一定時間ごとに更新される。

なお、施設管理装置３では、カメラ１から取得した現在の映像を用いた処理を行うことで、現在の滞在状況をリアルタイムにユーザに提示することができる。また、レコーダ２から取得した過去の映像を用いた処理を行うことで、過去の滞在状況をユーザに提示することができる。これにより、管理者は、過去の各部屋の利用状況を把握して、部屋のレイアウトなどの検討を行うことができ、また、部屋のレイアウトなどを変更した際の改善状況を確認することができる。

ユーザ端末４は、通信部３１と、プロセッサ３２と、記憶部３３と、モニタ３４と、入力デバイス３５と、を備えている。

通信部３１は、施設管理装置３との間で通信を行う。記憶部３３は、プロセッサ２２で実行されるプログラムなどを記憶する。プロセッサ３２は、ユーザ端末４の各部の動作を制御し、ユーザによる入力デバイス３５の操作に応じて、滞在状況提示画面（図６，図７参照）の表示要求を通信部３１から施設管理装置３に送信する。そして、施設管理装置３から送信される滞在状況提示画面に関する表示情報を通信部３１で受信すると、その表示情報に基づいてモニタ３４に滞在状況提示画面を表示する。

なお、ユーザ端末４がタブレット端末などである場合には、入力デバイス３５はタッチパネルとなり、モニタ３４となる表示パネルと組み合わされてタッチパネルディスプレイを構成する。

次に、第１実施形態に係る施設管理装置３の記憶部２３に記憶されるカメラ設定情報について説明する。図５は、カメラ設定情報の内容を示す説明図である。

カメラ設定情報には、カメラＩＤ、カメラ名称、部屋番号、および部屋属性（エリア属性）が登録されている。このカメラ設定情報に基づいて、プロセッサ２２において、各部屋の部屋属性を取得して、その部屋属性に応じた表示項目にしたがって表示情報を生成する。

なお、本実施形態では、１つの部屋を１つの対象エリアとして、部屋ごとに部屋属性（エリア属性）が設定されるようにしたが、１つの部屋を複数の分割エリアに分割して、その分割エリアごとにエリア属性が設定されるようにしてもよい。

次に、第１実施形態に係るユーザ端末４に表示される滞在状況提示画面について説明する。図６は、滞在状況提示画面としての在席マップ画面を示す説明図である。図７は、滞在状況提示画面としてのエリア一覧画面を示す説明図である。

本実施形態では、施設内の各部屋における人物の滞在状況を示す滞在状況提示画面が、ユーザ端末４に表示される。

図６に示す在席マップ画面および図７に示すエリア一覧画面には、各フロア（１Ｆ、２Ｆ、３Ｆ）のタブ４１が設けられている。このタブ４１を選択すると、選択されたフロアの画面が表示される。なお、オフィス（３Ｆ）の場合には、第２実施形態で示すエリア一覧画面（図９参照）と同様の画面で部屋を選択することで、図６に示す在席マップ画面に遷移する。

オフィス（事務室）では、座席ごとに設定された検知エリアの各々での人物の在席状況が表示項目となり、図６に示すように、オフィスにおける滞在状況提示画面としての在席マップ画面には、各人物の在席状況（滞在状況）を表す在席マップ４２（滞在マップ）が表示される。この在席マップ４２では、座席ごとの在席状況を表す座席アイコン４３（定形画像）が、オフィス（対象エリア）のレイアウトを表わすエリアマップ４４（地図画像）上に重畳されている。エリアマップ４４には机の画像４５が描画されている。

座席アイコン４３には、在席状況（在席および不在）に応じて「在」または「不」の文字が表示される。また、座席アイコン４３は、在席状況に応じて色が変化し、在席の場合には赤色で表示され、不在の場合には緑色で表示される。なお、オフィスでの座席アイコン４３の表示態様は、これに限らず、在席状況（在席および不在）が識別できればよく、後述の人物アイコン等を用いることができる。

会議室では、会議室（対象エリア）全体の利用状況が表示項目となり、図７（Ａ）に示すように、エリア一覧画面には、会議室ごとの利用状況を表すエリアアイコン４６が表示される。このエリアアイコン４６には、利用状況に応じて「使用中」または「利用可」の文字が表示される。また、エリアアイコン４６は、利用状況に応じて色が変化し、使用中の場合には赤色で表示され、空き状態で利用可の場合には緑色で表示される。

共用室では、共用室（対象エリア）内に複数設定された各区画（分割エリア）の利用状況が表示項目となり、図７（Ｂ）に示すように、エリア一覧画面には、区画ごとの利用状況を表す区画アイコン４７が表示される。この区画アイコン４７には、利用状況に応じて「使用中」または「利用可」の文字が表示される。また、区画アイコン４７は、利用状況に応じて色が変化し、使用中の場合には赤色で表示され、空き状態で利用可の場合には緑色で表示される。

なお、本実施形態では、図６に示すオフィスの滞在状況提示画面（在席マップ画面）で、オフィスのレイアウトを表わすエリアマップ４４上に座席アイコン４３を重畳するようにしたが、カメラ１の映像上に座席アイコン４３を重畳するようにしてもよい。この場合、映像の歪みを補正する処理を行うようにするとよい。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図８は、第２実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図である。

第１実施形態では、在席マップ（図６参照）を表示するようにしたが、この在席マップでは、オフィスでの人物の在席状況を確認できるが、各人物を簡単に識別することができない。そこで、本実施形態では、人物の顔画像を含む人物アイコンを在席マップに表示して、複数の人物の在席状況を一括して確認するとともに、各人物を簡単に識別できるようにする。

施設管理装置３は、第１実施形態と同様に、通信部２１と、プロセッサ２２と、記憶部２３と、モニタ２４と、入力デバイス２５と、を備えている。

通信部２１、記憶部２３、モニタ２４、および入力デバイス２５は、第１実施形態と同様であるが、この他に、記憶部２３は、各人物のスケジュール情報を記憶する。

プロセッサ２２は、第１実施形態と同様に、在席検知、および画面制御の各処理を行うが、この他に、スケジュール連携、およびメール連携の各処理を行う。在席検知の処理は第１実施形態と同様である。

画面制御の処理では、エリア一覧画面（図９参照）および在席マップ画面（図１０参照）に関する表示情報を生成する。

スケジュール連携の処理では、在席マップ画面（図１０参照）でのユーザの操作に応じて、記憶部から人物のスケジュール情報を取得して、そのスケジュール情報を画面に表示させる。

メール連携の処理では、在席マップ画面（図１０参照）でのユーザの操作に応じて、ユーザ端末４にインストールされたメールアプリケーションプログラムを起動させて、ユーザ端末４に電子メール作成画面を表示させる。

なお、本実施形態では、施設管理装置３が、各人物のスケジュール情報を記憶するようにしたが、このスケジュール情報は、スケジュール管理専用の装置から取得すればよい。また、施設管理装置３自体がスケジュール管理を行うものとしてもよい。

ユーザ端末４は、第１実施形態と同様に、通信部３１と、プロセッサ３２と、記憶部３３と、モニタ３４と、入力デバイス３５と、を備えている。

通信部３１は、施設管理装置３との間で通信を行う。記憶部３３は、プロセッサ２２で実行されるプログラムなどを記憶する。プロセッサ３２は、ユーザ端末４の各部の動作を制御し、ユーザによる入力デバイス３５の操作に応じて、エリア一覧画面（図９参照）や在席マップ画面（図１０参照）の表示要求を通信部３１から施設管理装置３に送信する。そして、施設管理装置３から送信されるエリア一覧画面や滞在状況提示画面に関する表示情報を通信部３１で受信すると、その表示情報に基づいてモニタ３４にエリア一覧画面や滞在状況提示画面を表示する。

また、プロセッサ３２は、在席マップ画面（図１０参照）でのユーザの操作に応じて、記憶部３３に記憶されたメールアプリケーションプログラムを実行して、モニタ３４に電子メール作成画面を表示させる。

次に、第２実施形態に係るユーザ端末４に表示されるエリア一覧画面について説明する。図９は、エリア一覧画面を示す説明図である。

このエリア一覧画面には、各フロア（１Ｆ、２Ｆ、３Ｆ）のタブ４１が設けられており、このタブ４１を選択すると、選択されたフロアのエリア一覧画面が表示される。ここで、オフィス（事務室）があるフロア（３Ｆ）のタブ４１を選択すると、各オフィス（対象エリア）を表す複数のエリアアイコン５１が並べて表示される。

このエリア一覧画面で、ユーザが在席状況を確認したい人物の座席がある部屋のエリアアイコン５１を選択して画面を遷移させる操作を行うと、在席マップ画面（図１０参照）に遷移し、この在席マップ画面に、選択した部屋における各人物の在席状況が表示される。

ここで、画面を遷移させる操作としては、例えば、入力デバイス３５がマウスの場合には、スクロールの操作、すなわち、ポインタをエリアアイコン５１上に重ねて、マウスのスクロールボタンを操作すると、エリアアイコン５１が拡大されて、在席マップ画面に遷移する。また、入力デバイス３５がタッチパネルの場合には、ピンチアウトやスワイプの操作を行うようにするとよい。

次に、第２実施形態に係るユーザ端末４に表示される在席マップ画面について説明する。図１０は、在席マップ画面を示す説明図である。図１１は、人物アイコン５３の変化状況を示す説明図である。図１２は、在席マップ画面の要部を示す説明図である。

図１０に示すように、在席マップ画面には、各人物の在席状況（滞在状況）を表す在席マップ５２（滞在マップ）が表示される。この在席マップ５２では、対象となる部屋の中に座席を有する人物ごとの人物アイコン５３（人物画像）が、オフィス（対象エリア）のレイアウトを表すエリアマップ４４（地図画像）上に重畳されている。エリアマップ４４には机の画像４５が描画されている。

人物アイコン５３は、各人物の座席に対応する位置、具体的には各人物が着座する椅子の位置に表示される。この人物アイコン５３には、人物の顔画像（顔の撮影画像）が埋め込まれている。これにより、人物を容易に識別することができる。

なお、本実施形態では、エリア一覧画面（図９参照）で部屋（対象エリア）を選択することで在席マップ画面に遷移するようにしたが、組織構成を表す部署リストを表示して、その部署リストの中から１つの部署を選択することで、選択した部署がある部屋の在席マップ画面が表示されるようにしてもよい。

また、本実施形態では、各人物を識別するための人物画像として、顔画像が埋め込まれた人物アイコン５３を、エリアマップ４４上に配置するようにしたが、この人物画像は、人物の外観の特徴を模式的に描画した画像（似顔絵、アバター）であってもよく、また、個人を識別する文字、すなわち、人物の名前や、人物の属性（所属や肩書き）を表す文字が描画されたものであってもよい。

図１１に示すように、人物アイコン５３は、人物の在席状況に応じて表示形態が変化する。図１１（Ａ）に示す例では、在席の有無に応じて人物アイコン５３の顔画像の色が変化する。具体的には、在席時には顔画像がカラーで表示され、不在時には顔画像がグレーで表示される。これにより、人物が在席しているか否かをユーザが即座に確認することができる。

また、人物アイコン５３は、現在不在である場合に、不在時間に応じて表示形態が変化する。図１１（Ｂ）に示す例では、在席の有無に応じて人物アイコン５３の顔画像以外の部分の色が変化する。例えば、不在時間が短いと青色で表示され、不在時間が長いと赤色で表示され、不在時間が長くなるのに応じて青色から赤色に変化する。

ここで、不在時間には、過去の不在時間、すなわち、人物が退席した時点から現時点までの時間と、未来の不在時間（不在予想時間）、すなわち、現時点から人物が座席に戻る予定の時点までの時間と、があり、いずれの不在時間で人物アイコン５３を表示させるかをユーザが指定することができる。なお、過去の不在時間は、在席検知で取得した滞在情報に基づいて算出することができる。また、未来の不在時間は、スケジュール情報から算出することができる。

なお、図１０に示した在席マップ画面には、人物アイコン５３の色で表現される不在時間の長さを示す凡例５４が表示される。

また、この在席マップ画面では、人物アイコン５３に対して所定の操作を行うと、スケジュール画面（図示せず）に遷移し、人物のスケジュールを確認することができる。図１２（Ａ）に示す例では、人物アイコン５３上で左クリックの操作を行うことで表示されるポップアップメニュー５５で「スケジュール」を選択すると、その人物のスケジュール画面に遷移する。これにより、ユーザが人物のスケジュールを確認することができる。

また、人物アイコン５３に対して所定の操作を行うと、メール作成画面（図示せず）に遷移し、その人物を宛先とした電子メールを作成することができる。図１２（Ａ）に示す例では、ポップアップメニュー５５で「電子メール」を選択すると、メール作成画面に遷移する。なお、メール作成画面では、宛先のアドレスが予め設定されるため、アドレスを入力する手間を省くことができる。

なお、エリアアイコン上で右クリックの操作を行うことで表示されるリストボックス（図示せず）で、「スケジュール」や「電子メール」を選択できるようにしてもよい。また、ユーザ端末４がタブレット端末である場合など、入力デバイス３５がタッチパネルである場合には、タップ、ダブルタップ、ロングタップ（長押し）などの操作で、スケジュール画面やメール作成画面に遷移するようにすればよい。

また、人物アイコン５３に対して所定の操作を行うと、人物の過去および未来の在席状況が表示される。図１２（Ｂ）に示す例では、人物アイコン５３上にポインタを重ねるマウスオーバーの操作で、吹き出し５７が表示される。この吹き出し５７には、過去の在席状況、すなわち、いつから不在であるかを表す情報（15:00から不在）と、未来の在席状況、すなわち、いつから在席するか（いつまで不在であるか）を表す情報（17:00から予定なし）と、が記載される。これにより、人物の過去および未来の在席状況をユーザが確認することができる。

ここで、人物の過去の在席状況は、在席検知の処理で取得した、各時刻における人物の滞在の有無を表す滞在情報から取得すればよい。また、人物の未来の在席状況は、スケジュール情報から取得すればよい。

なお、本実施形態では、左クリックの操作でポップアップメニュー５５を表示させ、右クリックの操作でリストボックス（図示せず）を表示させ、マウスオーバーの操作で吹き出し５７を表示させるようにしたが、このような操作に限定されるものではない。

（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１３は、第３実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図である。

第１実施形態（図７（Ａ）参照）では、会議室（対象エリア）の利用状況をユーザに提示するようにしたが、会議室が予約により利用できる場合には、会議室が現在利用されていない場合でも予約されている場合には、その会議室は利用することができない。そこで、本実施形態では、会議室の利用状況とともに予約状況もユーザに提示するようにする。

施設管理装置３は、第１実施形態と同様に、通信部２１と、プロセッサ２２と、記憶部２３と、モニタ２４と、入力デバイス２５と、を備えている。

通信部２１、記憶部２３、モニタ２４、および入力デバイス２５は、第１実施形態と同様であるが、この他に、記憶部２３は、会議室の利用予約に関するスケジュール情報を記憶する。

プロセッサ２２は、在席検知、エリア判定、画面制御、予約管理、スケジュール連携、およびメール連携の各処理を行う。

在席検知の処理では、カメラ１の映像に基づいて、検知エリアにおける人物の滞在を一定時間ごとに検知して、会議室における一定時間ごとの人物の滞在状況に関する滞在情報を取得する。

エリア判定の処理では、滞在情報に基づいて、会議室における人物の滞在状況、すなわち、会議室が現在利用されているか否かに関する利用状況を、一定時間ごとに判定する。

画面制御の処理では、会議室（対象エリア）の利用状況および予約状況を表示するエリア一覧画面（図１４参照）に関する表示情報を生成する。

予約管理の処理では、会議室の利用予約に関するスケジュールを管理する。具体的には、ユーザ端末４に予約画面（図示せず）を表示させて、会議室の利用予約の操作をユーザに行わせて、その操作に応じて会議室の利用予約を受け付ける処理を行う。また、ユーザ端末４にキャンセル画面（図示せず）を表示させて、利用予約を解除する操作をユーザに行わせて、その操作に応じて利用予約を解除して予約情報を更新する処理を行う。

また、予約管理の処理では、予約時にユーザが指定することで、利用予約の解除を不可とするキャンセル不可フラグが設定される。

また、予約管理の処理では、会議室が予約されているにも拘わらず会議室が利用されないまま放置されている場合に、その会議室の利用予約を解除する処理を定期的に行う。

スケジュール連携の処理では、エリア一覧画面（図１４参照）でのユーザの操作に応じて、記憶部２３から会議室の予約スケジュール情報を取得して、その予約スケジュール情報を画面に表示させる。

メール連携の処理では、エリア一覧画面（図１４参照）でのユーザの操作に応じて、ユーザ端末４にインストールされたメールアプリケーションプログラムを起動させて、ユーザ端末４に電子メール作成画面を表示させる。

なお、本実施形態では、施設管理装置３が、会議室の利用予約に関するスケジュールを管理するようにしたが、予約管理専用の装置を別に設けるようにとしてもよい。この場合、予約管理専用の装置からスケジュール情報を取得し、利用予約の解除が必要な場合には、利用予約の解除を指示する通知を施設管理装置３から予約管理専用の装置に送信するようにすればよい。

ユーザ端末４は、第１実施形態と同様に、通信部３１と、プロセッサ３２と、記憶部３３と、モニタ３４と、入力デバイス３５と、を備えている。

通信部３１は、施設管理装置３との間で通信を行う。記憶部３３は、プロセッサ２２で実行されるプログラムなどを記憶する。プロセッサ３２は、ユーザ端末４の各部の動作を制御し、ユーザによる入力デバイス３５の操作に応じて、エリア一覧画面（図１４参照）の表示要求を通信部３１から施設管理装置３に送信する。そして、施設管理装置３から送信されるエリア一覧画面に関する表示情報を通信部３１で受信すると、その表示情報に基づいてモニタ３４にエリア一覧画面を表示する。

また、プロセッサ３２は、エリア一覧画面（図１４参照）でのユーザの操作に応じて、記憶部３３に記憶されたメールアプリケーションプログラムを実行して、モニタ３４に電子メール作成画面を表示させる。

次に、第３実施形態に係るエリア一覧画面について説明する。図１４は、エリア一覧画面を示す説明図である。図１５は、エリア一覧画面の要部を示す説明図である。

図１４に示すように、エリア一覧画面（利用状況提示画面）には、各フロア（１Ｆ、２Ｆ、３Ｆ）のタブ４１が設けられており、このタブ４１を選択すると、選択されたフロアのエリア一覧画面が表示される。ここで、会議室があるフロア（１Ｆ）のタブ４１を選択すると、各会議室（対象エリア）を表す複数のエリアアイコン６１（定形画像）が並べて表示される。

エリアアイコン６１は、会議室の現在の利用状況に応じて表示形態が変化する。例えば、利用中であれば赤色で表示され、利用中でなければ緑色で表示される。

また、このエリア一覧画面では、エリアアイコン６１に対して所定の操作を行うと、スケジュール画面（図示せず）に遷移し、会議室の予約スケジュールを確認することができる。図１５（Ａ）に示す例では、エリアアイコン６１上で左クリックの操作を行うことで表示されるポップアップメニュー６５で「スケジュール」を選択すると、会議室の予約スケジュール画面に遷移する。

また、エリアアイコン６１に対して所定の操作を行うと、メール作成画面（図示せず）に遷移し、選択した会議室（対象エリア）の現在の予約者を宛先とした電子メールを作成することができる。図１５（Ａ）に示す例では、ポップアップメニュー６５で「電子メール」を選択すると、メール作成画面に遷移する。なお、メール作成画面では、宛先のアドレスが予め設定されるため、アドレスを入力する手間を省くことができる。

なお、エリアアイコン６１上で右クリックの操作を行うことで表示されるリストボックス（図示せず）で、「スケジュール」や「電子メール」を選択できるようにしてもよい。また、ユーザ端末４がタブレット端末である場合など、入力デバイス３５がタッチパネルである場合には、タップ、ダブルタップ、ロングタップ（長押し）などの操作で、予約スケジュール画面やメール作成画面に遷移するようにすればよい。

また、エリアアイコン６１に対して所定の操作を行うと、会議室（対象エリア）の現在の予約状況が表示される。図１５（Ｂ）に示す例では、エリアアイコン６１上にポインタを重ねるマウスオーバーの操作で、吹き出し６７が表示される。この吹き出し６７には、会議室の現在の予約状況（予約なし）と、会議室の現在の利用状況（15:00から利用なし）と、が記載されている。

これにより、現在利用されていない会議室が予約されているか否かをユーザが簡単に確認することができる。さらに、利用されていない会議室がもともと予約されていないのか、あるいは、会議が予定より早く終了して会議室が空き状態になっているのかをユーザが簡単に確認することができる。

なお、本実施形態では、左クリックの操作でポップアップメニュー６５を表示させ、右クリックの操作でリストボックス（図示せず）を表示させ、マウスオーバーの操作で吹き出し６７を表示させるようにしたが、このような操作に限定されるものではない。

次に、第３実施形態に係るエリア一覧画面の変形例について説明する。図１６は、エリア一覧画面の変形例を示す説明図である。

図１４に示した例では、会議室の現在の利用状況に応じて各会議室（対象エリア）を表すエリアアイコン６１の表示形態（色）を変更するようにしたが、本変形例では、予約が入っている会議室で、予約の解除を不可とするキャンセル不可フラグが設定されている場合に、エリアアイコン６１を操作不能状態として、グレーアウトで表示するようにしている。

なお、キャンセル不可フラグが設定されている場合に、エリアアイコン６１を非表示状態にしてもよい。

次に、第３実施形態に係る施設管理装置３の処理手順について説明する。図１７は、施設管理装置３の処理手順を示すフロー図である。

本実施形態では、利用されないまま放置されている会議室の利用予約を解除する処理を定期的に行う。なお、以下に示す処理は各会議室を対象にして順次行われる。

具体的には、まず、プロセッサ２２において、対象とする会議室に現在予約が入っているか否かを判定する（ＳＴ１０１）。ここで、対象とする会議室に現在予約が入っていない場合には（ＳＴ１０１でＮｏ）、終了する。

一方、対象とする会議室に現在予約が入っている場合には（ＳＴ１０１でＹｅｓ）、次に、予約にキャンセル不可フラグが設定されているか否かを判定する（ＳＴ１０２）。ここで、キャンセル不可フラグが設定されている場合には（ＳＴ１０２でＹｅｓ）、終了する。

一方、キャンセル不可フラグが設定されていない場合には（ＳＴ１０２でＮｏ）、次に、会議室が現在利用中か否かを判定する（ＳＴ１０３）。ここで、会議室が現在利用中である場合には（ＳＴ１０３でＹｅｓ）、終了する。

一方、会議室が現在利用中でない場合には（ＳＴ１０３でＮｏ）、次に、利用されないまま所定時間（例えば１５分間）経過したか否かを判定する（ＳＴ１０４）。ここで、利用されないまま所定時間経過していない場合には（ＳＴ１０４でＹｅｓ）、終了する。

一方、利用されないまま所定時間経過した場合には（ＳＴ１０４でＮｏ）、予約者のユーザ端末４に、予約を解除する旨の通知（キャンセル通知）を電子メールなどで送信する（ＳＴ１０５）。そして、利用予約を解除して予約情報を更新する処理を行う（ＳＴ１０６）。

なお、会議室が予約されているのに利用されていない場合には、予約時間の最初から全く利用しなかった場合と、会議が予定より早く終了して会議室が空き状態になっている場合とがある。このため、所定時間の経過判定（ＳＴ１０４）では、予約時間の最初から全く利用しなかった場合には、予約した利用時間の開始時刻からの経過時間（放置時間）で判定すればよい。また、予約した利用時間の途中から空き状態になっている場合には、空き状態になった以降の経過時間で判定すればよい。

このようにして予約が解除されて予約情報が更新されると、更新された予約情報が、会議室の利用状況を表示するエリア一覧画面（図１４参照）に反映され、マウスオーバーの操作で表示される吹き出し６７（図１５（Ｂ）参照）に、予約が解除されたことが表示される。

次に、第３実施形態に係る施設管理装置３の処理手順の変形例について説明する。図１８は、施設管理装置３の処理手順の変形例を示すフロー図である。

図１７に示した例では、利用されないまま放置されている会議室の利用予約を解除する処理を定期的に行うようにしたが、本変形例では、会議室の利用状況を表示するエリア一覧画面（図１４参照）においてユーザが会議室を選択する操作をトリガとして、会議室の利用予約を解除する処理を開始するようにする。

具体的には、まず、プロセッサ２２において、エリア一覧画面（図１４参照）において会議室（対象エリア）を選択する操作、具体的にはエリアアイコン６１に対するクリックやマウスオーバーの操作が行われたことを検知すると（ＳＴ１１１でＹｅｓ）、対象とする会議室に現在予約が入っているか否かを判定する（ＳＴ１０１）。ここで、対象とする会議室に現在予約が入っていない場合には（ＳＴ１０１でＮｏ）、終了する。

一方、対象とする会議室に現在予約が入っている場合には（ＳＴ１０１でＹｅｓ）、次に、予約にキャンセル不可フラグが設定されているか否かを判定する（ＳＴ１０２）。ここで、キャンセル不可フラグが設定されている場合には（ＳＴ１０２でＹｅｓ）、終了する。

一方、キャンセル不可フラグが設定されていない場合には（ＳＴ１０２でＮｏ）、次に、会議室が現在利用中か否かを判定する（ＳＴ１０３）。ここで、会議室が現在利用中である場合には（ＳＴ１０３でＹｅｓ）、終了する。

一方、会議室が現在利用中でない場合には（ＳＴ１０３でＮｏ）、予約者のユーザ端末４に、予約を解除する旨の通知（キャンセル通知）を電子メールなどで送信する（ＳＴ１０５）。そして、予約の解除を承諾する旨の返信があるか否かを判定する（ＳＴ１１２）。ここで、予約の解除を承諾する旨の返信があった場合には（ＳＴ１１２でＹｅｓ）、利用予約を解除して予約情報を更新する処理を行う（ＳＴ１０６）。

一方、利用予約の解除を承諾する旨の返信がない場合には（ＳＴ１１２でＮｏ）、次に、利用状況が利用中に変化したか否かを判定する（ＳＴ１１３）。ここで、利用状況が利用中に変化している場合には（ＳＴ１１３でＹｅｓ）、終了する。

一方、利用状況が利用中に変化していない場合には（ＳＴ１１３でＮｏ）、次に、キャンセル通知を送信してから所定時間経過したか否かを判定する（ＳＴ１１４）。ここで、キャンセル通知を送信してから所定時間経過していない場合には（ＳＴ１１４でＮｏ）、予約の解除を承諾する旨の返信があるか否かの判定（ＳＴ１１２）に戻る。

一方、キャンセル通知を送信してから所定時間経過した場合には（ＳＴ１１４でＹｅｓ）、予約を解除して予約情報を更新する（ＳＴ１０１６）。

このように本変形例では、会議室を利用したいユーザが、エリア一覧画面（図１４参照、利用状況提示画面）を閲覧して、会議室の利用状況を確認し、さらに、利用したい会議室の予約状況を確認したタイミングで、会議室の利用予約を解除する処理を開始する。これにより、ユーザはキャンセル待ちとなり、利用されないまま放置されている会議室の利用予約が迅速に解除されて、早期に会議室を利用することができる。なお、複数のユーザから会議室の利用状況の確認があり、キャンセル待ちが競合することがある。この場合は、最初にアクセスしたユーザのみをキャンセル待ちユーザとして受け付け、２番目以降のユーザに対しては会議室の利用不可（キャンセル待ち登録あり）とする旨の表示（図示せず）を吹き出し６７に表示させるようにするとよい。

特に、本変形例では、利用予約を解除する旨の通知（キャンセル通知）に対して、利用予約の解除を承諾する旨の返信があった場合に、利用予約を解除して予約情報を更新する。また、利用予約を解除する旨の通知を送信してから、利用予約の解除を承諾する旨の返信がなく、かつ、会議室の利用状況が利用中に変化しないまま、所定時間経過した場合に、利用予約を強制的に解除して予約情報を更新する。これにより、利用しない会議室や、利用される可能性の低い会議室の利用予約を迅速に解除して、会議室の有効利用を図ることができる。

なお、会議室の利用予約が解除されると、エリア一覧画面（図１４参照、利用状況提示画面）を表示してユーザが画面操作を行ったユーザ端末４に、利用予約が解除された旨の通知を電子メールなどにより送信するようにしてもよい。これにより、会議室の利用予約が解除されたことをユーザが迅速に把握することができるため、早期に会議室を利用することができる。

また、本実施形態では、会議室を対象エリアとした例について説明したが、対象エリアはこれに限定されるものではなく、会議以外の用途で利用される部屋でもよい。また、共用室のように、対象エリアとなる１つの部屋の中に複数設定された区画ごとに予約が必要な場合でも同様である。

（第４実施形態）
次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１９は、第４実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図である。

飲食店などの店舗では、フリーレイアウト、すなわち、営業時間内に顧客や店員が椅子およびテーブルを自由に移動させることができる場合がある。この場合、人物の在席を検知するために映像上に設定される検知エリアが、実際の座席の位置からずれた状態となるため、在席検知の精度が低下する。

そこで、本実施形態では、店舗に設置されて人物の滞在位置を規定する定形物体、具体的にはテーブルおよび椅子の位置を検出して、その検出結果に基づいて検知エリアを設定する。この処理を定期的に行うことで、検知エリアが随時更新され、顧客や店員が椅子およびテーブルを移動させた場合でも、在席検知の精度低下を避けることができる。

施設管理装置３は、第１実施形態と同様に、通信部２１と、プロセッサ２２と、記憶部２３と、モニタ２４（表示装置）と、入力デバイス２５と、を備えている。

通信部２１、記憶部２３、モニタ２４、および入力デバイス２５は、第１実施形態と同様である。

プロセッサ２２は、人物検出、物体検出、検知エリア設定、および検知エリア修正の各処理を行う。この他、プロセッサは、第１実施形態と同様に、在席検知、および画面制御の各処理を行う。

人物検出の処理では、カメラ１から取得した映像から人物を検出する。映像内に人物が存在すると、物体検出の処理において椅子およびテーブルの検出精度が低下するため、映像から人物が検出された場合には、以降の物体検出および検知エリア設定の処理は行わない。

物体検出の処理では、カメラ１から取得した映像から椅子およびテーブルを検出して、椅子およびテーブルの位置情報を取得する。なお、物体検出の処理に先だって、店舗に設置される椅子およびテーブル（定形物体）を識別器に予め学習させて物体検出を行うようにするとよく、この定形物体の学習により、物体検出の検出精度を向上させることができる。

検知エリア設定の処理では、物体検出の処理で取得した椅子およびテーブルの位置情報に基づいて、人物が在席するか否かの在席検知の対象となる検知エリアを設定する。このとき、カメラ１から離れた位置にある椅子およびテーブルは映像に小さく映るため、カメラ１からの距離に応じて検知エリアの大きさを補正する。

検知エリア修正の処理では、検知エリア設定の処理で設定された検知エリアに誤りがある場合に、検知エリア編集画面（図２３参照）をモニタ２４に表示して、この検知エリア編集画面上でのオペレータの操作に応じて、検知エリアの位置やサイズを修正する。

なお、本実施形態では、第１実施形態と同様に、在席検知により人物の滞在状況に関する滞在情報を取得して、その滞在情報に基づいて表示情報を生成するが、この表示情報として、第１実施形態と同様に、滞在マップ（在席マップ）を生成するようにしてもよい。これにより、大規模な店舗において、顧客の滞在状況を一目で把握することができる。

また、滞在情報に基づいて、顧客の座席占有時間、在席率、および平均滞在時間など、店舗の運営状況に関する統計情報を生成して、その統計情報に関する表示情報を生成するようにしてもよい。

次に、第４実施形態に係る検知エリアの設定状況について説明する。図２０は、検知エリアの設定状況を示す説明図である。

カメラ１の映像には、店舗内に設置されたテーブルおよび椅子が映っており、この映像に対する物体検出によりテーブルおよび椅子が検出され、その検出結果に基づいて、映像上に検知エリアが設定される。

次に、第４実施形態に係る施設管理装置３の処理手順について説明する。図２１は、施設管理装置３の処理手順を示すフロー図である。

本実施形態では、店舗に設置されて人物の滞在位置を規定する定形物体、具体的にはテーブルおよび椅子の位置を検出して、その検出結果に基づいて検知エリアを設定する。この処理を一定時間（例えば１５分間や３０分間）ごとに定期的に行うことで、検知エリアが随時更新される。

具体的には、まず、プロセッサ２２において、カメラ１の映像を取得して、その映像から人物を検出する処理を行う（ＳＴ２０１）。そして、人物検出の処理で人物が検出されたか否かを判定する（ＳＴ２０２）。

ここで、人物が検出されない場合には（ＳＴ２０２でＮｏ）、次に、カメラ１の映像から物体（椅子およびテーブル）を検出する処理を行う（ＳＴ２０３）。そして、検出された物体の位置と、記憶部２３のエリア設定情報に登録された物体の位置とを比較して、物体の位置に変更があるか否かを判定する（ＳＴ２０４）。

ここで、物体の位置に変更がある場合には（ＳＴ２０４でＹｅｓ）、検出された物体の位置情報に基づいて検知エリアを設定してエリア設定情報を更新する（ＳＴ２０５）。すなわち、検出された物体の位置に基づいて新たに設定された検知エリアの位置情報をエリア設定情報に登録する。

一方、人物が検出された場合や（ＳＴ２０２でＹｅｓ）、物体の位置に変更がない場合には（ＳＴ２０４でＮｏ）、物体検出やエリア設定の処理は行わない。

なお、本実施形態では、物体検出に先だって人物検出を行うようにしたが、人物検出を行わないようにしてよい。また、ユーザ設定で人物検出を行うか否かをユーザが選択できるようにしてよい。

次に、第４実施形態に係る施設管理装置３の処理手順の変形例について説明する。図２２は、施設管理装置３の処理手順の変形例を示すフロー図である。

図２１に示した例では、人物が検出されないタイミングで、物体検出およびエリア設定の処理を行うようにしたが、本変形例では、人物が検出されない場所を対象にして、物体検出およびエリア設定の処理を行うようにする。すなわち、対象エリアを複数の分割エリアに分割して、人物が検出されない分割エリアを対象にして、物体検出およびエリア設定の処理を行う。分割エリアは、例えば、対象エリアを均一な大きさで分割したセルとすればよい。

具体的には、まず、プロセッサ２２において、最初の分割エリアを対象にしてカメラ１の映像から人物を検出する処理を行う（ＳＴ２１１）。そして、人物検出の処理で人物が検出されたか否かを判定する（ＳＴ２１２）。

ここで、人物が検出されない場合には（ＳＴ２１でＮｏ）、次に、分割エリアを対象にして映像から物体を検出する処理を行う（ＳＴ２１３）。そして、検出された物体の位置と、記憶部２３のエリア設定情報に登録された物体の位置とを比較して、物体の位置に変更があるか否かを判定する（ＳＴ２１４）。

ここで、物体の位置に変更がある場合には（ＳＴ２１４でＹｅｓ）、検出された物体の位置情報に基づいて検知エリアを設定してエリア設定情報を更新する（ＳＴ２１５）。すなわち、検出された物体の位置に基づいて新たに設定された検知エリアの位置情報をエリア設定情報に登録する。

次に、全ての分割エリアが終了したか否かを判定する（ＳＴ２１６）。ここで、全ての分割エリアが終了していない場合には（ＳＴ２１６でＮｏ）、次の分割エリアの処理に進む。

一方、人物検出の処理で人物が検出された場合（ＳＴ２１２でＹｅｓ）や、物体の位置に変更がない場合には（ＳＴ２１４でＮｏ）、分割エリアを対象にした物体検出やエリア設定の処理は行わず、分割エリアの終了判定（ＳＴ２１６）に進む。

次に、第４実施形態に係る検知エリア編集画面について説明する。図２３は、検知エリア編集画面を示す説明図である。

本実施形態では、映像に対する物体検出により椅子およびテーブルの位置情報を取得して、その位置情報に基づいて検知エリアを設定するが、物体検出の処理では、例えば、荷物を椅子やテーブルと誤検出する場合があり、この場合、検知エリアの位置やサイズが不適切なものとなる。そこで、本実施形態では、図２３に示す検知エリア編集画面で、検知エリアの位置およびサイズを修正することができるようにする。

この検知エリア編集画面には、エリア設定の処理で取得した検知エリアの位置情報に基づいて、検知エリアの範囲を表す枠線７１（検知エリア画像）がカメラ１の映像７２上に表示され、検知エリアの位置およびサイズが実際と異なるか否かを確認することができる。ここで、検知エリアの位置やサイズが実際と異なる場合には、その検知エリアの枠線７１を選択して、移動やサイズ変更の操作を行うことで、検知エリアの位置やサイズを修正することができる。

例えば、左クリックで検知エリアの枠線７１を選択状態とすることで修正操作が可能になり、ドラッグ＆ドロップ操作により、検知エリアの枠線７１を正しい位置に移動させることができる。また、検知エリアの枠線７１の選択状態で、その検知エリアの枠線７１上にポインタを重ねると、ポインタが両方向の矢印に変化して、検知エリアの枠線７１のサイズを修正することができる。

また、検知エリア修正画面には、「追加」のボタン７５と、「削除」のボタン７６と、が設けられている。「追加」のボタン７５を操作すると、新規の検知エリアの枠線７１が映像７２上に出現し、検知エリアの枠線７１の移動やサイズ変更の操作を行うことで、検知エリアの枠線７１を適切な位置およびサイズに設定することができる。また、「削除」のボタン７６を操作すると、選択状態の検知エリアの枠線７１を削除することができる。

なお、本実施形態では、検知エリアの枠線７１をカメラ１の映像７２上に表示するようにしたが、このとき、全方位カメラの映像に現れる歪みを補正する画像処理を行うようにするとよい。

（第５実施形態）
次に、第５実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図２４は、第５実施形態に係る施設管理装置３およびユーザ端末４の概略構成を示すブロック図である。

第２実施形態では、人物ごとの在席状況を表す在席マップ５２（図１０参照）をユーザ端末４に表示するようにしたが、本実施形態では、施設管理装置３においてオペレータの編集操作で在席マップ５２を作成する。

なお、本実施形態では、在席マップ５２の作成を施設管理装置３で行うようにしたが、管理者が操作するユーザ端末４に、在席マップ編集用のアプリケーションプログラムをインストールして、そのユーザ端末４で在席マップ５２の作成を行うようにしてもよい。

施設管理装置３は、第１実施形態と同様に、通信部２１と、プロセッサ２２と、記憶部２３と、モニタ２４（表示装置）と、入力デバイス２５と、を備えている。

通信部２１、記憶部２３、モニタ２４、および入力デバイス２５は、第１実施形態と同様であるが、この他に、記憶部２３は、各人物の所属情報および顔画像を記憶する。

プロセッサ２２は、人物リスト生成、人物アイコン生成、物体検出、エリアマップ生成、エリアマップ修正、および在席マップ生成の各処理を行う。この他、プロセッサ２２は、第１実施形態と同様に、在席検知および画面制御の各処理を行う。

人物リスト生成の処理では、記憶部２３から取得した各人物の所属情報に基づいて、在席マップ編集画面に表示させる人物リスト８１（図２５参照）を生成する。

人物アイコン生成の処理では、記憶部２３から取得した各人物の顔画像が埋め込まれた人物アイコン５３（図２５参照）を生成する。

物体検出の処理では、カメラ１の映像から物体を検出して、オフィス（対象エリア）における物体の位置情報を取得する。本実施形態では、映像から椅子および机を検出して、椅子および机の位置情報を取得する。

エリアマップ生成の処理では、椅子および机の位置情報に基づいて、オフィス（対象エリア）のレイアウトを表すエリアマップ４４（図２５参照）を生成する。

在席マップ生成の処理では、在席マップ編集画面（図２５参照）をモニタ２４に表示して、在席マップ編集画面上でのオペレータの操作に応じて、エリアマップ４４上の各人物の座席の位置に人物アイコン５３が配置された在席マップ５２を生成する。

エリアマップ修正の処理では、エリアマップ生成の処理で生成したエリアマップ４４に誤りがある場合に、エリアマップ編集画面（図２７参照）をモニタ２４に表示して、このエリアマップ編集画面上でのオペレータの操作に応じて、エリアマップ４４を修正する。

なお、本実施形態では、施設管理装置３が、各人物の所属情報および顔画像を記憶するようにしたが、この所属情報および顔画像は、組織管理専用の装置から取得すればよい。また、施設管理装置３自体が組織管理を行うものとしてもよい。

次に、第５実施形態に係るモニタ２４に表示される在席マップ編集画面について説明する。図２５は、在席マップ編集画面を示す説明図である。図２６は、在席マップ編集画面の要部を示す説明図である。

施設管理装置３では、図２５に示す在席マップ編集画面をモニタ２４に表示させて、オペレータが編集操作を行うことで、在席マップ５２が作成される。この在席マップの編集は、システム導入時に実施される。また、オフィス（対象エリア）のレイアウトが変更されたときや、人物に異動があったときに実施される。

在席マップ編集画面には、各フロア（１Ｆ、２Ｆ、３Ｆ）のタブ４１が設けられている。このタブ４１を選択すると、選択されたフロアの画面が表示される。このとき、第２実施形態で示したエリア一覧画面（図９参照）と同様の画面が表示され、編集対象となる部屋を選択することで、図２５に示す在席マップ編集画面に遷移する。

また、在席マップ編集画面には、人物リスト８１が表示される。この人物リスト８１には、人物が所属する組織の構成に基づいて分類された状態で人物の名前および人物アイコン５３（人物画像）が一覧表示される。具体的には、グループの名称、各グループを構成するチームの名称、各チームに所属する人物の名前および人物アイコン５３が並べて表示される。人物アイコン５３には人物の顔画像が埋め込まれている。

また、在席マップ編集画面には、対象となる部屋を表すエリアマップ４４（エリア画像）が表示される。このエリアマップ４４には、座席（椅子）の位置（各人物の定位置）に、人物アイコン５３が配置される座席枠８３（物体画像）が描画され、机の位置に机の画像４５（物体画像）が描画されている。

人物リスト８１に表示された人物アイコン５３は、オペレータが所定の操作、例えばドラッグ＆ドロップの操作により、エリアマップ４４上に移動させて、エリアマップ４４の座席枠８３上に貼り付けることができる。この人物アイコン５３のエリアマップ４４への貼り付けの操作を、各人物について順次行うことで、各人物の座席の位置に各人物の人物アイコン５３が配置された在席マップが完成する。

このとき、エリアマップ４４の座席枠８３上にのみ人物アイコン５３が貼り付けられるように制御すると、人物アイコン５３をエリアマップ４４上に貼り付けるオペレータの編集操作が容易になる。

なお、本実施形態では、対象エリアを表すエリア画像として、座席枠８３や机の画像４５が描画されたエリアマップ４４上に人物アイコン５３を配置するようにしたが、カメラ１の映像上に人物アイコン５３を配置するようにしてもよい。この場合、映像の歪みを補正する画像処理を行うようにするとよい。

また、図２６に示すように、エリアマップ４４の座席枠８３に貼り付けられた人物アイコン５３に対して所定の操作、例えばマウスオーバーの操作を行うと、その人物アイコン５３に対応する人物の名前および所属（グループ、チーム）が記載された吹き出し８５が表示される。これにより、エリアマップ４４に配置された人物アイコン５３に誤りがないかをオペレータが確認することができる。

なお、本実施形態では、マウスオーバーの操作で吹き出し８５を表示させるようにしたが、このような操作に限定されるものではない。

次に、第５実施形態に係るエリアマップ編集画面について説明する。図２７は、エリアマップ編集画面を示す説明図である。

本実施形態では、映像に対する物体検出により椅子および机の位置情報を取得して、その位置情報に基づいて、座席枠８３や机の画像４５が描画されたエリアマップ４４を生成するが、物体検出で誤検出が発生すると、エリアマップ４４上の座席枠８３や机の画像４５の位置やサイズが実際と異なるものとなる。そこで、本実施形態では、図２７に示すエリアマップ編集画面で、エリアマップ上の座席枠８３や机の画像４５の位置およびサイズを修正することができるようにする。

このエリアマップ編集画面には、エリアマップ生成の処理で生成したエリアマップ４４がカメラ１の映像８６上に表示され、座席枠８３や机の画像４５の位置およびサイズが実際と異なるか否かを確認することができる。ここで、座席枠８３や机の画像４５の位置およびサイズが実際と異なる場合には、その座席枠８３や机の画像４５を選択して、移動やサイズ変更の操作を行うことで、座席枠８３や机の画像４５の位置やサイズを修正することができる。

例えば、左クリックで座席枠８３を選択状態とすることで修正操作が可能になり、ドラッグ＆ドロップ操作により、座席枠８３を正しい位置に移動させることができる。また、座席枠８３の選択状態で、その座席枠８３の枠線上にポインタを重ねると、ポインタが両方向の矢印に変化して、座席枠８３のサイズを修正することができる。なお、机の画像４５も、座席枠８３と同様の要領で位置やサイズを修正することができる。

また、このエリアマップ編集画面には、「追加」のボタン８７と、「削除」のボタン８８と、が設けられている。「追加」のボタン８７を操作すると、エリアマップ４４上に新規の座席枠８３や机の画像４５が出現し、座席枠８３や机の画像４５の移動やサイズ変更の操作を行うことで、座席枠８３や机の画像４５を適切な位置およびサイズに設定することができる。また、「削除」のボタン８８を操作すると、選択状態の座席枠８３や机の画像４５を削除することができる。

なお、本実施形態では、エリアマップ４４をカメラ１の映像８６上に表示するようにしたが、このとき、全方位カメラの映像に現れる歪みを補正する画像処理を行うようにするとよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係る滞在状況表示システムおよび滞在状況表示方法は、複数の人物の在席状況を一括して確認することができ、さらに、各人物を簡単に識別可能な視認性に優れた情報をユーザに提示することができる効果を有し、施設に設置されたカメラにより撮影される映像に基づいて、対象エリアにおける人物の滞在状況に関する表示情報を生成する滞在状況表示システムおよび滞在状況表示方法などとして有用である。

１ カメラ
２ レコーダ
３ 施設管理装置
４ ユーザ端末
２２ プロセッサ
５１ エリアアイコン
５２ 在席マップ
５３ 人物アイコン
５５ ポップアップメニュー
５７ 吹き出し

Claims (9)

1. 施設に設置されたカメラにより撮影される映像をリアルタイムに取得して、対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示システムであって、
   前記プロセッサは、
   前記映像上に予め設定された人物の滞在が想定される検知エリアの所定のサンプリング周期をおいた各時刻の映像を切り出し、
   その各時刻の切り出し映像について、滞在状態と不在状態との２クラスを予め学習させた識別器を用いて前記検知エリアにおける人物の滞在の有無を判定して、前記検知エリアごとの人物の滞在状況に関する滞在情報を取得し、
   前記滞在情報に基づいて、在席の有無と不在時間の程度の２つの要素を表わす人物画像が埋め込まれた人物アイコンを生成し、
   前記対象エリアを表すエリア画像上に前記人物アイコンを重畳した前記表示情報を生成することを特徴とする滞在状況表示システム。
2. 前記プロセッサは、
   複数の対象エリアを一覧表示する表示情報を生成し、
   ユーザが前記対象エリアを選択する操作に応じて、選択した前記対象エリアに関する前記表示情報を生成することを特徴とする請求項１に記載の滞在状況表示システム。
3. 前記人物画像は、予め登録された顔画像を含むことを特徴とする請求項１または請求項２に記載の滞在状況表示システム。
4. 前記プロセッサは、
   人物の現在の滞在の有無に応じて、前記人物画像の表示色を変化させることを特徴とする請求項１から請求項３のいずれかに記載の滞在状況表示システム。
5. 前記プロセッサは、
   人物の不在時間の長さに応じて、前記人物アイコンの少なくとも一部の表示色を変化させることを特徴とする請求項１から請求項４のいずれかに記載の滞在状況表示システム。
6. 前記プロセッサは、
   前記人物アイコンを選択するユーザの操作に応じて、その選択にかかる人物の過去および未来の滞在状況を表示することを特徴とする請求項１から請求項５のいずれかに記載の滞在状況表示システム。
7. 前記プロセッサは、
   前記人物アイコンを選択するユーザの操作に応じて、その選択にかかる人物のスケジュールを表示することを特徴とする請求項１から請求項６のいずれかに記載の滞在状況表示システム。
8. 前記プロセッサは、
   前記人物アイコンを選択するユーザの操作に応じて、その選択にかかる人物を宛先とした電子メールを作成する画面を表示することを特徴とする請求項１から請求項７のいずれかに記載の滞在状況表示システム。
9. 施設に設置されたカメラにより撮影される映像をリアルタイムに取得して、前記施設内の対象エリアにおける現在の人物の滞在状況に関する表示情報を生成する処理をプロセッサにより実行する滞在状況表示方法であって、
   前記プロセッサは、
   前記映像上に予め設定された人物の滞在が想定される検知エリアの所定のサンプリング周期をおいた各時刻の映像を切り出し、
   その各時刻の切り出し映像について、滞在状態と不在状態との２クラスを予め学習させた識別器を用いて前記検知エリアにおける人物の滞在の有無を判定して、前記検知エリアごとの人物の滞在状況に関する滞在情報を取得し、
   前記滞在情報に基づいて、在席の有無と不在時間の程度の２つの要素を表わす人物画像が埋め込まれた人物アイコンを生成し、
   前記対象エリアを表すエリア画像上に前記人物アイコンを重畳した前記表示情報を生成することを特徴とする滞在状況表示方法。

Images