JP6413068B1 - 情報処理システム、情報処理方法、情報処理プログラム、および情報処理装置 - Google Patents

Abstract

【課題】ユーザの在席状況をその座席位置まで移動することなく確認することができるシステムを提供する。
【解決手段】在席情報管理システムはユーザ端末とサーバとを含む。ユーザ端末にはカメラが設けられる。ユーザ端末はカメラからの入力画像に基づいてユーザの顔を検出し、ユーザが在席しているか否かを判定し、判定結果を示す在席情報をサーバに送信する。サーバは各ユーザ端末から送信された在席情報を記憶する。また、サーバは他のユーザの端末からユーザの在席情報の確認要求があった場合、当該他のユーザの端末に、記憶した在席情報を送信する。
【選択図】図１

Description

本発明は、ユーザの在席状況を管理する情報処理システム、情報処理方法、情報処理プログラム、および情報処理装置に関する。

従来より、不在者の情報を提示するシステムがある。例えば、特許文献１に記載の情報処理システムでは、座席を訪問した人がスマートデバイスを用いてＡＲマーカを撮像し、ＡＲマーカに紐づいた座席位置をデータベースから読み取り、座席位置に対応する人物が在席しているか不在かを判定する。そして、不在と判定された人物を特定し、特定された人物のプレゼンス情報を提示する。

特開２０１６−１９２７４６号公報

しかしながら、上記従来の技術では、ユーザは、座席位置に対応する人物が在席しているか否かを、その座席位置まで移動して確認する必要があった。

それ故、本発明の目的は、ユーザの在席状況をその座席位置まで移動することなく確認することができるシステムを提供することである。

本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧書きは例えば実施例との対応を例示するものであって、本発明の範囲を限定するものではない。

本発明の一例は、ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワーク上のサーバに記憶させる記憶制御手段と、ネットワークを介して前記サーバに記憶された前記ユーザの在席情報を取得し、当該取得した前記ユーザの在席情報を他のユーザに提示する提示手段と、を備える。

上記によれば、ユーザが在席しているか否かをカメラで判定し、当該ユーザの在席情報が、サーバに保存される。他のユーザは、ネットワークを介してサーバからユーザの在席情報を取得することで、ユーザの在席情報を確認することができる。

また、他の構成では、前記情報処理システムは、前記ユーザの座席周辺に設けられたユーザ端末を含み、前記画像取得手段、前記顔検出手段、および前記在席判定手段は、前記ユーザ端末に配置されてもよい。前記ユーザ端末は、前記在席判定手段の判定結果に応じた在席情報を、ネットワークを介して前記サーバに送信する。前記サーバは、前記ユーザ端末から送信された在席情報を記憶手段に記憶させる。サーバは、前記他のユーザの端末から前記記憶手段に記憶された在席情報の確認要求を受信する確認要求受信手段と、前記確認要求を受信した場合に、前記記憶手段に記憶された在席情報を、前記他のユーザの端末にネットワークを介して送信する送信手段と、を含む。前記他のユーザの端末は、前記送信手段によって送信された前記在席情報を前記他のユーザに提示する。

上記構成によれば、ユーザ端末において、カメラからの画像を取得し、ユーザが在席しているか否かを判定することができる。ユーザ端末はその判定結果に応じた前記ユーザの在席情報をサーバに送信する。サーバにはカメラからの画像が送信されないため、ネットワークおよびサーバの負荷を低減することができる。また、ユーザ端末からは在席情報が送信され、カメラからの画像はサーバに送信されないため、個人情報保護上の問題も回避することができる。

また、他の構成では、前記ユーザ端末は、前記在席判定手段の判定結果に基づいて前記ユーザの在席状態が変化したか否かを判定し、前記ユーザの在席状態が変化したと判定した場合に、前記在席情報を前記サーバに送信してもよい。

上記構成によれば、ユーザの在席状態が変化した場合に、在席情報がサーバに送信される。このため、在席情報が頻繁にサーバに送信されることを防止することができ、ネットワークおよびサーバの負荷を低減することができる。

また、他の構成では、前記記憶制御手段は、前記在席判定手段の判定結果に応じた時間情報を、前記サーバにさらに記憶させてもよい。

上記構成によれば、ユーザが在席しているか否かの在席情報に加えて、時間情報がサーバに記憶される。このため、ユーザの在席時間、離席時間を把握することができる。なお、サーバに記憶される時間情報は、ユーザが在席していると判定された時点または離席したと判定された時点における時刻情報であってもよいし、ユーザが在席している間の時間または離席している間の時間を示す情報であってもよい。

また、他の構成では、前記提示手段は、前記サーバに記憶された前記ユーザの在席情報と前記時間情報とに基づいて、前記ユーザの過去の在席情報を前記他のユーザに提示してもよい。

上記構成によれば、ユーザの管理者である他のユーザは、当該ユーザの過去の在席情報を確認することができ、例えば所定期間におけるユーザの在席時間、離席時間を確認することができる。

また、他の構成では、前記情報処理システムは、前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、前記ユーザが居眠りしているか否かを判定する居眠り判定手段をさらに備えてもよい。前記提示手段は、前記居眠り判定手段の判定結果を示す居眠り情報を、前記他のユーザに提示してもよい。

上記構成によれば、他のユーザは、ユーザが居眠りをしているか否かを確認することができる。

また、他の構成では、前記情報処理システムは、前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、所定の物体を検知し、前記ユーザが前記所定の物体を用いて所定の作業を行っているか否かを判定する作業判定手段をさらに備えてもよい。前記提示手段は、前記作業判定手段の判定結果を示す作業情報を、前記他のユーザに提示してもよい。

上記構成によれば、他のユーザは、ユーザが所定の物体を用いて所定の作業を行っているか否かを確認することができる。

また、他の構成では、前記情報処理システムは、前記ユーザのスケジュール情報を管理するスケジュール管理手段をさらに備えてもよい。

上記構成によれば、ユーザの在席情報に加えて、スケジュール情報を管理することができる。

また、他の構成では、前記情報処理システムは、前記スケジュール管理手段によって管理されるスケジュール情報と、前記在席情報とを統合した統合情報を生成する統合情報生成手段とをさらに備えてもよい。前記提示手段は、前記統合情報生成手段によって生成された統合情報を、前記他のユーザに提示してもよい。

上記構成によれば、スケジュール情報と在席情報とを統合することができ、ユーザの予定と、実際の在席情報とを他のユーザに提示することができる。

なお、本発明の別の形態では、上記情報処理システムにおいて行われる情報処理方法であってもよい。また、上記情報処理システムの各手段として機能させる情報処理プログラムであってもよいし、上記各手段を備える情報処理装置であってもよい。

本発明によれば、ユーザが在席しているか否かをカメラで判定し、当該ユーザの在席情報をサーバに保存することができる。他のユーザは、ネットワークを介してサーバからユーザの在席情報を取得することで、ユーザの在席情報を確認することができることができる。

本実施形態の在席情報管理システム１の構成の一例を示す図 ユーザ端末２０のハードウェア構成の一例を示す図 第１実施例に係るユーザ端末２０の論理構成の一例を示す図 サーバ１０の論理構成の一例を示す図 第２実施例に係るユーザ端末２０の論理構成の一例を示す図 データベース１３に記憶される情報の一例を示す図 データベース１３に記憶された図６に示す情報を模式的に表した図 管理者であるユーザがサーバ１０にアクセスしたときに端末の表示部に表示される画像の一例を示す図 管理者でないユーザ（一般ユーザ）がサーバ１０にアクセスしたときにユーザ端末２０の表示部に表示される画像の一例を示す図 ユーザ端末２０に記憶されるデータの一例を示す図 ユーザ端末２０によって行われる処理の一例を示すフローチャート サーバ１０によって行われる処理の一例を示すフローチャート 他の実施形態におけるサーバ１０の論理構成の一例を示す図 スケジュール管理部１５と在席状況管理部１１との連携の一例を示す図

（在席情報管理システムの概要）
以下、図面を参照して、本発明の一実施形態に係る在席情報管理システム１について説明する。図１は、本実施形態の在席情報管理システム１の構成の一例を示す図である。在席情報管理システム１は、企業、国、地方公共団体、その他組織に属する従業者、国家公務員、地方公務員等のユーザ（以下、「ユーザ」という）の在席状況、勤務態度等を監視・管理するためのシステムである。

図１に示されるように、在席情報管理システム１は、サーバ１０と、複数のユーザ端末２０とを含む。サーバ１０と、複数のユーザ端末２０とは有線又は無線でネットワーク（例えば、社内ＬＡＮ、ＷＡＮ、インターネット等）に接続されている。

ユーザ端末２０は、各ユーザによって使用される端末であり、例えば各ユーザのデスクに設置される。ユーザ端末２０は、例えば、据置型のパーソナルコンピュータ、ノートパソコン、タブレット端末等であってもよい。ユーザ端末２０には、文書作成・編集ソフト、表計算ソフト、ウェブブラウザソフト、電子メールソフト等のユーザが通常の業務に使用するアプリケーションプログラムがインストールされている。また、ユーザ端末２０には、これらのプログラムの他に、ユーザが在席しているか否かを判定するためのプログラムがインストールされている。

なお、以下では、例えばユーザＡが使用するユーザ端末２０を「ユーザ端末２０ａ」、ユーザＢが使用するユーザ端末２０を「ユーザ端末２０ｂ」と表記する。あるユーザに対応するユーザ端末２０を表す場合には、「ユーザ端末２０」にアルファベットの小文字を付して表記する。複数のユーザ端末をまとめて表す場合には、「ユーザ端末２０」と表記する。

ユーザ端末２０は、その端末を使用するユーザが在席しているか否か（座席に座っているか否か）を判定し、その判定結果に応じた在席情報をサーバ１０に送信する。具体的には、ユーザの座席の周辺にはカメラ２２が設置されている。カメラ２２は、例えば、ユーザ端末２０の表示部の画面の上に設置されてもよい。カメラ２２は、ユーザ端末２０に内蔵されたものでもよいし、ユーザ端末２０に外付けされたものでもよい。ユーザ端末２０は、カメラ２２によって撮像されたリアルタイムの画像を取得し、当該画像に基づいてユーザの顔を検出し、その検出結果に基づいて、ユーザが在席しているか否かを判定する。そして、ユーザ端末２０は、ユーザが在席しているか否かを示す在席情報を、ネットワークを介してサーバ１０に送信する。

サーバ１０は、ユーザ端末２０から送信された在席情報を受信し、その在席情報を時間情報とともにデータベースに記憶する。サーバ１０には、各ユーザ端末２０から送信された各ユーザの在席情報（各ユーザが座席にいるか否かの情報）が、時間情報とともに記憶される。

各ユーザは、例えば、自身が使用するユーザ端末２０のウェブブラウザを用いてサーバ１０にアクセスし、他のユーザの在席情報を確認することができる。例えば、ユーザＡの座席とユーザＢの座席とが物理的に離れている場合、ユーザＡは、ユーザＢが現在、在席しているかどうかを目視で確認することはできない。このような場合、ユーザＡは、サーバ１０にアクセスすることにより、ユーザＢが在席しているか否かを確認することができる。

なお、全てのユーザが、自身のユーザ端末２０を用いてサーバ１０にアクセスすることにより、他の全てのユーザの在席情報をリアルタイムで確認することができてもよいし、ユーザ毎に在席情報を参照する権限が異なってもよい。例えば、管理者のみが、各ユーザの在席情報を確認する権限を有し、当該管理者のユーザ端末２０（又は、他の専用の管理端末）を用いてサーバ１０にアクセスすることにより、各ユーザの在席情報をリアルタイムで確認することができてもよい。また、例えば、ある部署の上司は、その部署に所属するユーザ（部下）の在席情報を確認できる一方、別の部署に所属するユーザの在席情報を確認できないように構成されてもよい。また、人事担当者は、全てのユーザの在席情報を確認できてもよい。また、ユーザ毎に在席情報にアクセスする権限が抑制されてもよい。

例えば、管理者ではないユーザ（一般ユーザ）は、他のユーザの現在の在席情報を確認する権限を有するが、他のユーザの過去の在席情報を確認する権限を有さなくてもよい。一方、管理者（例えば、ある組織の長や人事担当者）は、管理対象のユーザ（例えば部下）の現在の在席情報を確認する権限を有するとともに、当該ユーザの過去の在席情報を確認する権限を有してもよい。

（ユーザ端末およびサーバの構成）
次に、ユーザ端末２０の構成について説明する。図２は、ユーザ端末２０のハードウェア構成の一例を示す図である。

図２に示されるように、ユーザ端末２０は、情報処理部２１と、カメラ２２と、入力部２３と、記憶部２４と、通信部２５と、表示部２６とを備える。

情報処理部２１は、ＣＰＵとメモリとを有する。情報処理部２１は、カメラ２２からの画像を取得し、情報処理プログラム（後述する画像処理プログラム）を実行することにより画像処理を行う。情報処理部２１は、画像認識プログラムを実行することにより、後述する顔検出部２７、在席判定部２８（図３参照）として機能する。

また、情報処理部２１は、画像処理プログラム以外の上記アプリケーションプログラムを実行可能である。また、情報処理部２１は、入力部２３からの信号に基づいた情報処理を行い、その結果に応じた画像や文字を表示部２６に表示させる。また、情報処理部２１は、記憶部２４に記憶されたプログラムやデータを読み込んだり、記憶部２４にデータを書き込んだりする。また、情報処理部２１は、通信部２５を制御する。

カメラ２２は、所定の時間間隔（例えば、１／６０秒間隔）で画像を撮像する。撮像された画像は、情報処理部２１に入力される。カメラ２２は、ユーザ端末２０に内蔵されてもよいし、ユーザ端末２０に外付けされてもよい。カメラ２２は、ユーザが着席しているときにユーザの顔を撮像しやすい位置に設けられる。例えば、カメラ２２は、ユーザが表示部２６の画面を見ているときにユーザの顔を正面から撮像可能な位置（例えば、画面の上）に設けられる。例えば、ユーザ端末２０の本体（情報処理部２１を含む端末本体）と表示部２６とが分離可能に構成されている場合において、カメラ２２は、表示部２６の画面の上に外付けで設置されてもよい。例えば、カメラ２２は、ウェブカメラ（他の端末からウェブ経由でアクセス可能なカメラ）であってもよい。また、ユーザ端末２０の本体と表示部２６とが一体として構成されている場合において、カメラ２２は、表示部２６の画面と同一の面に一体的に設けられてもよい。なお、カメラ２２の設置位置は単なる一例であり、カメラ２２は、着席したユーザを撮像可能な位置であればどのような位置に設けられてもよい。

入力部２３は、キーボードやマウス等であり、ユーザの操作を受け付ける。

記憶部２４は、本実施形態の画像処理プログラムやデータを記憶する記憶装置であり、例えば、ハードディスクや不揮発性のメモリであってもよい。また、記憶部２４は、ユーザが在席しているか否かの在席判定を行うためのデータを記憶する。また、記憶部２４は、画像処理プログラムの他にも、ユーザが通常の業務で用いるアプリケーションプログラム等を記憶する。

通信部２５は、ユーザ端末２０をネットワーク（例えば社内ＬＡＮ）に接続するためのインターフェースである。通信部２５は、サーバ１０やインターネットにデータを送信したり、サーバ１０やインターネットからデータを受信したりする。

（ユーザ端末の論理構成）
次に、第１実施例に係るユーザ端末２０の論理構成について説明する。図３は、第１実施例に係るユーザ端末２０の論理構成の一例を示す図である。図３に示されるように、ユーザ端末２０は、顔検出部２７と、在席判定部２８とを含む。記憶部２４に記憶された画像認識プログラムは、上記情報処理部２１を、顔検出部２７および在席判定部２８として機能させる。

顔検出部２７は、所定の時間間隔でカメラ２２から送信される画像（入力画像）を取得し、当該入力画像の中から人の顔画像を検出する。具体的には、顔検出部２７は、ユーザを特定することなく（つまり、ユーザ本人を認証することなく）、人の顔領域を検出する。顔を検出するためのプログラムとして、公知の商用プログラムやオープンソースプログラムが用いられてもよい。

在席判定部２８は、顔検出部２７によって人の顔が検出された場合、ユーザが在席しているか否かを判定する。例えば、顔検出部２７は、ある座席の周辺に設けられたカメラ２２から送信された入力画像の中から、その座席の背後を通過した人の顔を検出することがある。在席判定部２８は、このように単に人が通過しただけの場合には、ユーザが在席していると判定しない。例えば、在席判定部２８は、一定期間以上（例えば、１０秒以上）、顔検出部２７によって人の顔が検出された場合、ユーザが在席していると判定してもよい。また、在席判定部２８は、顔検出部２７が検出した顔画像の大きさが所定の閾値以上の場合に、ユーザが在席していると判定してもよい。また、在席判定部２８は、入力画像における所定の領域（例えば画像の中心部分）に顔画像を検出した場合に、ユーザが在席していると判定してもよい。また、在席判定部２８は、判定の精度を向上させるために、ユーザの目、鼻、口、耳等を検出し、これらの検出結果に基づいてユーザが在席しているか否かを判定してもよい。例えば、在席判定部２８は、目、鼻、口、耳等の検出結果から顔の向きを判定し、顔の向きや動きに基づいてユーザが在席しているか否かを判定してもよい。また、在席判定部２８は、ユーザが在席していると判定した後、ユーザの顔が検出されなくなったときでも、その直前における顔の動き等に基づいて、ユーザが在席していると判定してもよい。例えば、ユーザが正面を向いているときにカメラ２２がユーザの顔を正面から撮像する場合、ユーザが横を向いたり、後ろを向いたり、下を向いたりしたときには、顔検出部２７はユーザの顔を検出しなくなる。このような場合でも、在席判定部２８は、ユーザの頭や体の一部を検出し、ユーザが引き続き在席していると判定してもよい。また、在席判定部２８は、ユーザの顔に加えて、ユーザの頭を検出しなくなったときには、ユーザが離席したと判定してもよい。このように、在席判定部２８は、ユーザの顔全体、目、鼻、口等の顔の部分、耳、頭等を検出し、これらの検出結果に基づいてユーザの行動を総合的に判断し、ユーザが在席しているか否かを判定してもよい。

なお、在席判定部２８は、本人を特定することなく、人が在席しているか否か（単に人が通過した場合を除いて、人が座席に着席しているか否か）を判定してもよい。すなわち、在席判定部２８は、顔認証により座席にいるはずの人物を特定しなくてもよい。例えば、在席判定部２８は、ユーザＡの座席にユーザＢが着席している場合であっても、ユーザＡが在席していると判定してもよい。

基本的に各ユーザが予め定められた固定の座席に座って業務を行う場合、ユーザＡが、他のユーザＢの座席に所定時間以上座って業務を行う可能性は低い。このような場合には、ユーザＡの座席に人が着席していることを確認すれば、ユーザＡの座席に座っている人が本当にユーザＡなのかを確認しなくても、ある程度、ユーザＡの在席状況を把握することができる。また、在席判定部２８が顔認証により本人を特定しない場合であっても、他の認証手段により本人認証を行ってもよい。例えば、在席判定部２８がユーザＡの座席に人が着席していることを検知しており、かつ、ユーザ端末２０ａにログインしているユーザがユーザＡである場合、在席判定部２８は、ユーザＡ本人が在席していると判定してもよい。

このように、在席判定部２８が本人を特定しない場合には、予め各ユーザの顔の特徴を示す顔データを登録しておく必要はないため、個人情報保護上の問題は発生しない。

また、別の実施例では、在席判定部２８は、カメラ２２からの入力画像に含まれる顔画像と予め記憶された各ユーザの顔の特徴を示す顔データとに基づいて顔認証を行い、人物を特定してもよい。具体的には、在席判定部２８は、入力画像から目、鼻、口、耳等を検出し、これらの形や大きさ、位置関係等に基づく特徴と、予め記憶された顔データとに基づいて、ユーザを特定する。この場合、在席判定部２８は、例えば、ユーザＡの座席にユーザＡが着席している場合にのみ、ユーザＡが在席していると判定する。

例えば、各ユーザが固定の座席を有していない場合（いわゆるフリーアドレスの場合）、誰が座席に座っているかを特定する必要がある。このような場合には、在席判定部２８は、各ユーザの顔を識別し、誰が座席に座っているかを判定する。そして、在席判定部２８は、撮像対象の座席に座っているユーザの在席情報をサーバ１０に送信する。これにより、各ユーザが固定の座席を有していない場合であっても、各ユーザは、サーバ１０にアクセスすることにより、どの席にどのユーザが座っているかを確認することができる。なお、各ユーザが固定の座席を有していない場合においても、在席判定部２８は、顔認証により人物を特定しなくてもよい。この場合、在席判定部２８は、例えば、ログインしているユーザのユーザ名に基づいて、在席しているユーザを特定してもよい。

在席判定部２８は、在席判定の結果に基づいて、在席情報（在席しているか否かを示す情報。後述する在席フラグ）を、通信部２５を介してサーバ１０に送信する。具体的には、在席判定部２８は、ユーザの在席状態が変化した場合、すなわち、在席している状態から離席している状態に変化した場合、又は、離席している状態から在席している状態に変化した場合、在席情報を時間情報とともにサーバ１０に送信する。

なお、上記顔検出部２７によるユーザの顔の検出、および、在席判定部２８によるユーザの在席判定は、開発者が検出や判定のためのルールを予め定めてプログラムすることにより実現されてもよいし、コンピュータに大量のデータを読み込ませて機械学習（深層学習を含む）させることにより実現されてもよい。

通信部２５は、在席判定部２８からの在席情報を、時間情報とともにサーバ１０に送信する。

（サーバの論理構成）
図４は、サーバ１０の論理構成の一例を示す図である。サーバ１０は、所定のプログラムを実行する少なくとも１つのＣＰＵと、メモリと、記憶装置と、ネットワークに接続するための通信部とを備える。所定のプログラムは、サーバ１０のＣＰＵを、図４に示される各部として機能させる。

図４に示されるように、サーバ１０は、在席情報取得部１１と、在席状況管理部１２と、データベース１３と、出力部１４とを含む。

在席情報取得部１１は、各ユーザ端末２０から送信された在席情報と時間情報とを取得し、これら取得した情報を在席状況管理部１２に出力する。

在席状況管理部１２は、在席情報取得部１１が取得した在席情報と時間情報とをデータベース１３に記憶する。なお、在席情報取得部１１によってユーザ端末２０から在席情報が取得された場合、在席状況管理部１２は、その在席情報が取得された時点におけるサーバ１０上の計時手段（ＲＴＣ）によって計時される時間情報を、取得された在席情報とともにデータベース１３に記憶してもよい。

また、在席状況管理部１２は、データベース１３に記憶された在席情報を読み取り、読み取った在席情報に応じた情報を出力部１４に出力する。例えば、ユーザ端末２０から特定のユーザの在席情報の取得要求があった場合、在席状況管理部１２は、データベース１３にアクセスして特定のユーザの在席情報と時間情報とを取得し、出力部１４に出力する。

出力部１４は、在席状況管理部１２からの情報を外部（例えばユーザ端末２０や外部の他の装置）に出力する。例えば、出力部１４は、特定のユーザの在席情報をユーザ端末２０にネットワーク経由で送信してもよいし、複数のユーザの在席情報をユーザ端末２０に送信してもよい。

また、出力部１４は、例えばユーザ端末２０からの要求に応じて、所定期間（例えば、１日間、１ヶ月間、半年間、１年間等）における１又は複数のユーザの在席情報の統計データをレポートとして出力してもよい。この場合、出力部１４は、所定期間における統計データを画像として出力してもよいし、テキストとして出力してもよい。例えば、出力部は、所定期間におけるユーザの在席時間の合計、および、離席時間の合計を棒グラフ、円グラフ等のグラフとして出力してもよい。例えば、あるユーザについて、１ヶ月間の在席時間、および、離席時間を出力してもよい。また、出力部１４は、所定期間における１又は複数のユーザの在席時間および離席時間の割合を出力してもよい。

このように、本実施形態では、ユーザ端末２０は、ユーザの座席の周辺に設置されたカメラ２２を用いてユーザの顔を検知し、ユーザが在席しているか否かの在席判定を行う。ユーザ端末２０による在席判定の結果を示す在席情報がサーバ１０に送信され、サーバ１０に記憶される。各ユーザはサーバ１０にアクセスすることで、他のユーザの在席情報をリアルタイムで確認することができる。

なお、他の実施例では、ユーザ端末２０は、ユーザが在席しているか否かの在席判定に加えて、ユーザの他の状態を判定してもよい。例えば、ユーザ端末２０は、ユーザが居眠りしている状態か否かの居眠り判定を行ってもよい。

図５は、第２実施例に係るユーザ端末２０の論理構成の一例を示す図である。図５に示されるように、ユーザ端末２０は、顔検出部２７、在席判定部２８に加えて、居眠り検知部２９を含む。また、ユーザ端末２０は、物体検知部３０を含む。記憶部２４に記憶された画像認識プログラムは、上記情報処理部２１を、顔検出部２７、在席判定部２８、居眠り検知部２９、および、物体検知部３０として機能させる。

居眠り検知部２９は、在席判定部２８によってユーザが在席していると判定された場合、カメラ２２からの入力画像に含まれる顔画像に基づいて、ユーザが居眠りをしているか否かの居眠り判定を行う。例えば、居眠り検知部２９は、顔画像からユーザの目を検出し、目が開いているか否か、目が閉じている時間、瞬きの時間間隔、これらのパターン等に基づいて、ユーザの居眠り判定を行う。また、居眠り検知部２９は、目の開閉状態、目の動きに加えて、頭の動きや傾き、手の位置や動き、ユーザの姿勢等、ユーザの行動を総合的に判断することにより、居眠り判定を行ってもよい。例えば、ユーザが居眠りしている様子をカメラ２２で撮像し、ユーザ端末２０に学習させることにより、居眠り検知部２９は、ユーザが居眠りしているか否かを判定することができる。また、居眠り検知部２９は、顔検出部２７によってユーザの顔が検出されなくなった後でも、ユーザが居眠りしていると判定することがある。例えば、ユーザが顔を伏せて居眠りする場合には、顔検出部２７によってユーザの顔が検出されないことがある。このような場合でも、在席判定部２８はユーザが引き続き在席していると判定し、居眠り検知部２９は、ユーザが居眠りしているか否かを判定する。例えば、居眠り検知部２９は、ユーザの頭を検出し、頭の傾きに基づいて、ユーザが居眠りしているか否かを判定してもよい。

居眠り検知部２９は、居眠り判定の結果に基づいて、ユーザが居眠りしているか否かを示す居眠り情報（後述する居眠りフラグ）を、通信部２５を介してサーバ１０に送信する。具体的には、居眠り検知部２９は、ユーザの居眠り状態が変化した場合（居眠りしていない状態から居眠りしている状態に変化した場合、又は、居眠りしている状態から居眠りしていない状態に変化した場合）、居眠り情報を時間情報とともにサーバ１０に送信する。

また、物体検知部３０は、在席判定部２８によってユーザが在席していると判定された場合、カメラ２２からの入力画像に基づいて、所定の物体を検知する。例えば、物体検知部３０は、カメラ２２からの入力画像から電話機を検知し、ユーザが電話しているか否かを判定してもよい。また、物体検知部３０は、電話機に加えて、ユーザの目、鼻、口、耳、手（電話を持つ方の手、及び／又は、電話を持たない方の手）を検出し、電話機の動き、電話機と顔（例えば口や耳）との位置関係、電話機と手との位置関係、目や口の動き、手の動き等、ユーザの行動を総合的に判断し、ユーザが電話しているか否かを判定してもよい。例えば、ユーザが電話している様子をカメラ２２で撮像し、ユーザ端末２０に学習させることにより、物体検知部３０はユーザが電話をしているか否かを判定することができる。物体検知部３０は、ユーザが電話をしているか否かの判定結果を、通信部２５を介してサーバ１０に送信する。このとき、時間情報（通話を開始した時刻、終了した時刻）もサーバ１０に送信される。サーバ１０は、ユーザが電話をしているか否かの情報とその時間情報とをデータベース１３に記憶する。ユーザ（例えば管理者）は、サーバ１０にアクセスすることにより、他のユーザが電話をしている時間を把握することができる。

また、物体検知部３０は、電話機に限らず他の物体を検知し、ユーザが物体を用いて所定の作業を行っているか否かを判定してもよい。物体検知部３０は、所定の物体、ユーザの目、鼻、口、頭、手等を検出し、これらの動きやこれらの位置関係等に基づいて、ユーザの行動を総合的に判断し、ユーザが所定の作業を行っているか否かを判定してもよい。物体検知部３０は、ユーザが所定の作業をしているか否かの判定結果とその時間情報とを、通信部２５を介してサーバ１０に送信する。サーバ１０は、これらの情報をデータベース１３に記憶する。

なお、居眠り検知部２９による居眠り判定は、開発者が判定のためのルールを予め定めてプログラムすることにより実現されてもよいし、コンピュータに大量のデータを読み込ませて機械学習させることにより実現されてもよい。また、物体検知部３０による所定の物体（例えば電話機）の検知やユーザが所定の物体を用いて所定の作業を行っているか否かの判定は、開発者が判定のためのルールを予め定めてプログラムすることにより実現されてもよいし、コンピュータに大量のデータを読み込ませて機械学習させることにより実現されてもよい。例えば、ユーザが所定の物体を用いて所定の作業を行っている様子を撮像し、ユーザ端末２０に読み込ませることにより機械学習させてもよい。

図６は、データベース１３に記憶される情報の一例を示す図である。図７は、データベース１３に記憶された図６に示す情報を模式的に表した図である。

図６に示されるように、データベース１３には、ユーザＩＤと、在席時刻と、離席時刻と、居眠り時間と、所定の作業の時間としての電話時間とが記憶される。例えば、ユーザＡが、座席周辺に設置されたカメラ２２によって撮像され、在席判定部２８によって在席していると判定された場合、在席していることを示す情報がユーザＡのユーザ端末２０ａからサーバ１０に送信される。

例えば、時刻８時４５分においてユーザ端末２０ａの在席判定部２８によってユーザＡが在席していると判定された場合、在席情報（ユーザＡが在席していることを示す情報）が、時間情報とともにサーバ１０に送信され、データベース１３に記憶される。次に、ユーザＡが時刻１２時００分において離席した場合、ユーザ端末２０ａの在席判定部２８によってユーザＡが離席していると判定され、在席情報（ユーザＡが離席していることを示す情報）と時間情報とがサーバ１０に送信され、データベース１３に記憶される。その後、ユーザＡが時刻１３時００分において着席した場合、ユーザ端末２０ａの在席判定部２８によってユーザＡが在席していると判定され、在席情報と時間情報とがサーバ１０に送信され、データベース１３に記憶される。さらにその後、ユーザＡが時刻１７時３０分において離席した場合、ユーザ端末２０ａの在席判定部２８によってユーザＡが離席していると判定され、在席情報と時間情報とがサーバ１０に送信され、データベース１３に記憶される。

他のユーザについても同様に、ユーザが着席したとき、および、離席したときに、そのユーザに対応するユーザ端末２０から、在席又は離席していることを示す在席情報が、時間情報とともにサーバ１０に送信される。そして、サーバ１０のデータベース１３には、これらの情報が記憶される。

例えば、図６および図７（２）に示されるように、ユーザＢが時刻８：５８から９：５９の間は在席しており、時刻９：５９から１０：０４の間は休憩のため離席し、時刻１０：０４に再び着席した場合、データベース１３には、在席時刻として時刻８：５８、時刻１０：０４が記憶され、離席時刻として時刻９：５９が記憶される。このように、ユーザＢが、離席している状態から在席している状態に移行した場合、そのときの時刻（ユーザＢのユーザ端末２０ｂの計時手段によって計時されている時刻、又は、サーバ１０の計時手段によって計時されている時刻）が、在席時刻としてデータベース１３に記憶される。また、ユーザＢが、在席している状態から離席している状態に移行した場合、そのときの時刻が、離席時刻としてデータベース１３に記憶される。

このように、在席時刻および離席時刻がデータベース１３に記憶されることで、図７に示されるように、各ユーザが何時から何時まで在席しており、何時から何時まで離席していたかを容易に把握することができ、各ユーザの勤務態度を把握することができる。

例えば、図７（１）に示されるように、ユーザＡは、出勤時刻（８：４５）から１２：００まで離席することなく業務を行っていたことが分かる。また、ユーザＡは、１２：００から１３：００までを昼休憩として、休憩が終了した時刻１３：００から退勤時刻（１７：３０）まで離席することなく業務を行っていたことが分かる。

一方、図７（２）に示されるように、ユーザＢは、およそ１時間毎に５分から１０分程度、離席していることが分かる。ユーザＢがおよそ１時間毎に短時間の休憩を繰り返していることが分かり、ユーザＢの上司や人事担当者がユーザＢの勤務態度を評価する際に、これらの情報を参考にすることができる。

また、図６および図７（３）に示されるように、ユーザＣは、出勤時刻（８：５０）から９：５５まで在席し、時刻９：５５から１３：００まで離席していたことが分かる。その後、ユーザＣは、時刻１３：００から１３：３０までは在席し、時刻１３：３０から１４：３０までは離席し、時刻１４：３０から１５：００までは在席し、時刻１５：００から１６：３０までは離席していたことが分かる。これらの情報から、ユーザＢは、この日は比較的長時間離席していることが多く、ユーザＢは、会議室等で会議を行っていたか、外出していたと推察することができる。

また、ユーザ端末２０の居眠り検知部２９によってユーザが居眠りしていると判定された場合、居眠りしていることを示す居眠り情報および時間情報が、ユーザ端末２０からサーバ１０に送信され、データベース１３に記憶される。また、物体検知部３０によってユーザが所定の物体を用いて所定の作業を行っていると判定された場合（例えば、電話をしていると判定された場合）、所定の作業を行っていることを示す情報および時間情報が、ユーザ端末２０からサーバ１０に送信される。

例えば、時刻１１：００において、ユーザＤに対応するユーザ端末２０ｄの居眠り検知部２９によってユーザＤが居眠りしていると判定された場合、ユーザ端末２０ｄは、居眠り情報（ユーザＤが居眠りしていることを示す情報）と時間情報とをサーバ１０に送信する。次に、時刻１１：３０において、ユーザ端末２０ｄの居眠り検知部２９によってユーザＤが居眠りしていないと判定された場合、ユーザ端末２０ｄは、居眠り情報（ユーザＤが居眠りしていないことを示す情報）と時間情報とをサーバ１０に送信する。この場合、図６に示されるように、サーバ１０のデータベース１３には、ユーザＤが居眠りを開始した時刻、及び、居眠りを終了した時刻が記憶される。

また、時刻１３：３０において、ユーザ端末２０ｄの物体検知部３０によってユーザＤが電話をしていると判定された場合、電話をしていることを示す情報と時間情報とがサーバ１０に送信される。また、時刻１４：００において、物体検知部３０によってユーザＤが電話をしていないと判定された場合、電話をしていないことを示す情報と時間情報とがサーバ１０に送信される。この場合、図６に示されるように、サーバ１０のデータベース１３には、ユーザＤが電話を開始した時刻、及び、電話を終了した時刻が記憶される。

なお、ユーザ端末２０は、ユーザが居眠りしている場合、カメラ２２によって撮像された画像を保存してもよい。具体的には、居眠り検知部２９によってユーザの居眠りが検知されていないときには、ユーザ端末２０は、カメラ２２からの入力画像をユーザ端末２０に保存することなく、当該入力画像に基づいて、上記在席判定や居眠り判定を行う。居眠り検知部２９によってユーザの居眠りが検知されたときには、ユーザ端末２０は、カメラ２２からの入力画像をユーザ端末２０に保存してもよい。また、居眠り検知部２９によってユーザの居眠りが検知されたときには、ユーザ端末２０は、カメラ２２からの入力画像をネットワーク上の他の装置（例えば画像記憶用の記憶装置やサーバ１０等）に送信し、当該他の装置が当該入力画像を保存してもよい。

同様に、ユーザ端末２０は、ユーザが所定の物体を用いて所定の作業を行っている期間、カメラ２２からの入力画像を保存してもよい。具体的には、物体検知部３０によって所定の物体が検知され、かつ、ユーザが所定の物体を用いて所定の作業を行っていると判定されたときには、ユーザ端末２０は、カメラ２２からの入力画像を記憶部２４に保存し、ユーザが所定の作業を行っていないと判定されたときには、入力画像を記憶部２４に保存しなくてもよい。また、ユーザ端末２０は、ユーザが所定の作業を行っている期間、カメラ２２からの入力画像をネットワーク上の他の装置に記憶してもよい。

このように、居眠り検知部２９によってユーザの居眠りを検知し、居眠りしていることを示す情報をデータベース１３に記憶することで、管理者（各ユーザの上司や人事担当者）が各ユーザの勤務態度を評価する際に、これらの情報を参考にすることができる。

例えば、管理者が、ユーザ端末２０（又は専用の管理端末）を用いてサーバ１０にアクセスし、ユーザの在席情報を参照した場合、ユーザの在席情報に加えて、居眠り情報や電話をしているか否かを示す情報が、ユーザ端末２０の表示部に表示されてもよい。

図８は、管理者であるユーザがサーバ１０にアクセスしたときに端末の表示部に表示される画像の一例を示す図である。

図８に示されるように、管理者の画面の左側には、ユーザを選択するためのリスト４１が表示される。例えば、ユーザＡが選択されている場合には、カーソル等を用いてユーザＡが強調表示される。管理者の画面の右側には、選択されているユーザの在席情報が表示される。例えば、現在時刻４２と、現在、在席中か離席中かを示す在席状態４３と、カメラボタン４４とが表示される。また、画面の右側には、本日の在席状態を示すグラフ４５が表示されてもよい。図８に示されるように、グラフ４５では、ユーザＡが在席していた時間と、離席していた時間と、居眠りしていた時間と、電話をしていた時間とが識別可能に表示される。また、ユーザが、カメラボタン４４をマウス等を用いてクリックした場合、選択されているユーザのユーザ端末２０の周辺に設置されたカメラ２２からのリアルタイム映像４６が、画面の右下に表示される。

また、管理者でないユーザ（一般ユーザ）が、ユーザ端末２０を用いてサーバ１０にアクセスし、ユーザの在席情報を参照した場合、ユーザの在席情報が表示され、居眠り情報や電話をしているか否かを示す情報は表示されなくてもよい。

図９は、管理者でないユーザ（一般ユーザ）がサーバ１０にアクセスしたときにユーザ端末２０の表示部に表示される画像の一例を示す図である。

図９に示されるように、管理者でないユーザ（一般ユーザ）の画面には、リスト４１と、現在時刻４２と、在席状態４３と、カメラボタン４４とが表示される。ユーザが、カメラボタン４４をマウス等を用いてクリックした場合、選択されているユーザのユーザ端末２０の周辺に設置されたカメラ２２からのリアルタイム映像４６が画面の右下に表示される。一方、一般ユーザの画面には、図８で示されたグラフ４５は表示されない。図８に示されるように、グラフ４５は、ユーザが居眠りしているか否かの情報や電話をしているか否かの情報を含む。このように、居眠りしているか否かの情報等、人事評価に関わる情報は、管理者でないユーザには提示されなくてもよい。また、一般ユーザの画面には、カメラ２２からのリアルタイム映像４６は表示されないようにしてもよい。

なお、図８および図９はあくまでも一例であり、ユーザがサーバ１０にアクセスしたときにユーザに提示される情報はこれに限られない。例えば、管理者であるユーザは、その部下であるユーザの在席状態４３、グラフ４５、リアルタイム映像４６等に加えて、所定期間（例えば、過去１ヶ月、半年、１年）に蓄積された情報を見ることができてもよいし、所定期間におけるこれらの情報に基づく統計データ（総在席時間、総離席時間、総居眠り時間、及び、これらの割合等）を見ることができてもよい。

（ユーザ端末およびサーバの処理の詳細）
次に、在席情報管理システム１のユーザ端末２０およびサーバ１０において行われる処理について説明する。なお、以下では、ユーザ端末２０が、在席判定部２８および居眠り検知部２９を有している例について説明する。まず、ユーザ端末２０のメモリに記憶されるデータについて説明する。

図１０は、ユーザ端末２０に記憶されるデータの一例を示す図である。図１０に示されるように、ユーザ端末２０のメモリには、画像認識プログラム１００が記憶される。画像認識プログラム１００は、機械学習のためのプログラムを含んでもよい。また、画像認識プログラム１００の一部は、オープンソースプログラムであってもよい。画像認識プログラム１００は、上述した在席判定や居眠り判定を行うためのプログラムを含む。画像認識プログラム１００は、情報処理部２１を上記顔検出部２７、在席判定部２８、および、居眠り検知部２９として機能させる。

また、ユーザ端末２０には、判定データ１０１と、画像データ１０２と、状態情報とが記憶される。状態情報は、在席フラグ１０３および居眠りフラグ１０４を含む。

判定データ１０１は、人の顔を検出するためのデータ、ユーザが在席しているか否かの在席判定を行うためのデータ、および、ユーザが居眠りしているか否かの居眠り判定を行うためのデータを含む。これらのデータは開発者によって予め用意されてもよいし、機械学習（深層学習を含む）によって生成されてもよい。

画像データ１０２は、所定の時間間隔でカメラ２２から送信される画像を示すデータである。

在席フラグ１０３は、ユーザが在席しているか否か（離席しているか否か）示すフラグである。ユーザが在席しているときには、在席フラグ１０３はＯＮに設定され、ユーザが離席しているときには、在席フラグ１０３はＯＦＦに設定される。

居眠りフラグ１０４は、ユーザが居眠りしているか否かを示すフラグである。ユーザが居眠りしているときには、居眠りフラグ１０４はＯＮに設定され、ユーザが居眠りしていないときには、居眠りフラグ１０４はＯＦＦに設定される。

（ユーザ端末の処理の詳細）
図１１は、ユーザ端末２０によって行われる処理の一例を示すフローチャートである。図１１に示す処理は、ユーザ端末２０の情報処理部２１が画像認識プログラム１００を実行することにより、行われる。図１１に示すステップＳ１００〜ステップＳ１１２の処理は、所定の時間間隔で繰り返し実行される。なお、ステップＳ１００〜ステップＳ１１２の処理は、カメラ２２が画像を撮像する時間間隔と同じ間隔で実行されてもよいし、カメラ２２が画像を撮像する時間間隔（例えば、１／６０秒間隔）よりも長い間隔（例えば、１秒間隔）で実行されてもよい。

図１１に示す処理は、ユーザ端末２０の電源がＯＮにされたときに実行が開始され、ユーザ端末２０が通常の業務に用いるアプリケーションプログラムを実行しているときも、常にバックグラウンドで実行される。なお、ユーザ端末２０を使用するユーザが、図１１に示す処理が実行されていることに気付かないようにしてもよい。例えば、図１１に示す処理の実行中であっても、ユーザ端末２０の画面には、当該処理の実行中であることを示すウィンドウやアイコンは表示されないようにしてもよい。逆に、ユーザが図１１に示す処理の実行中であることに気付くように、図１１に示す処理の実行中であることを示すアイコン等がユーザ端末２０の画面に表示されてもよい。また、図１１に示す処理は、各ユーザが勝手に終了できないようにされてもよいし、各ユーザの指示により終了できるようにされてもよい。

図１１に示されるように、ユーザ端末２０は、カメラ２２によって撮像された入力画像を取得する（ステップＳ１００）。次に、ユーザ端末２０は、取得された入力画像に基づいて、顔検出処理を行う（ステップＳ１０１）。具体的には、ユーザ端末２０は、取得された入力画像の中から人の顔画像を検出し、顔領域を決定する。ここでは、ユーザ端末２０は、当該ユーザ端末２０に対応するユーザ本人を特定することなく、人の顔があるか否かを判定する。

続いて、ユーザ端末２０は、ステップＳ１０１の顔検出処理において人の顔を検出したか否かを判定し（ステップＳ１０２）、顔を検出した場合（ステップＳ１０２：ＹＥＳ）は、次にステップＳ１０３の処理を行う。一方、ユーザ端末２０は、ステップＳ１０１の顔検出処理において人の顔を検出しなかった場合（ステップＳ１０２：ＮＯ）は、次にステップＳ１０９の処理を行う。なお、ユーザ端末２０は、顔検出処理においてユーザの顔を検出しなかった場合でも、在席フラグがＯＮに設定されている場合には、ステップＳ１０２においてＹＥＳと判定し、次にステップＳ１０３の処理を行う。すなわち、ユーザ端末２０は、前回の処理ループにおけるステップＳ１０３の在席判定処理でユーザが在席していると判定した場合、ステップＳ１０２でＹＥＳと判定し、次にステップＳ１０３の処理を実行する。

ステップＳ１０３において、ユーザ端末２０は、在席判定処理を行う。具体的には、ステップＳ１０３において、ユーザ端末２０は、顔検出処理において検出された顔領域の大きさ、顔領域の動き、顔領域の数、顔が所定時間以上検出されたか否か等に基づいて、ユーザが在席しているか否かの在席判定を行う。例えば、検出された顔領域が１つであり、顔領域の大きさが所定以上である場合には、ユーザ端末２０は、ユーザが在席していると判定してもよい。また、所定時間以上ユーザの顔が検出されている場合、ユーザ端末２０は、ユーザが在席していると判定してもよい。また、ユーザ端末２０は、目、鼻、口、耳、頭等を検出し、これらの検出結果に基づいて、ユーザが在席しているか否かを判定してもよい。なお、ユーザ端末２０は、機械学習を行うことによって在席判定のためのデータを蓄積してもよい。また、ユーザ端末２０は、検出された顔が、当該ユーザ端末２０に対応するユーザ本人か否かを判定してもよい。例えば、ユーザ端末２０には、ユーザ本人の顔の特徴を示す顔データが記憶され、当該顔データとカメラ２２からの入力画像に含まれる顔画像とに基づいて、ユーザ本人かどうかを判定してもよい。

ステップＳ１０３の在席判定処理においてユーザが在席していると判定した場合（ステップＳ１０４：ＹＥＳ）、ユーザ端末２０は、次にステップＳ１０５の処理を実行する。一方、ステップＳ１０３の在席判定処理においてユーザが在席していないと判定した場合（ステップＳ１０４：ＮＯ）、ユーザ端末２０は、次にステップＳ１０９の処理を実行する。

ステップＳ１０５において、ユーザ端末２０は、在席フラグをＯＮに設定する。次に、ユーザ端末２０は、居眠り判定処理を行う（ステップＳ１０６）。例えば、ステップＳ１０６において、ユーザ端末２０は、ユーザの目を検出し、所定時間以上、目が閉じているか否か、瞬きの回数や頻度、目の動き、又はこれらのパターン等に基づいて、居眠り判定を行う。また、ユーザ端末２０は、目、鼻、口、耳、頭等を検出し、これらの検出結果に基づいて、ユーザが居眠りしているか否かを判定してもよい。なお、ユーザ端末２０は、機械学習を行うことにより居眠り判定のためのデータを蓄積してもよい。

ステップＳ１０６の居眠り判定処理においてユーザが居眠りしていると判定した場合（ステップＳ１０７：ＹＥＳ）、ユーザ端末２０は、居眠りフラグをＯＮに設定する（ステップＳ１０８）。一方、ステップＳ１０６の居眠り判定処理においてユーザが居眠りしていないと判定した場合（ステップＳ１０７：ＮＯ）、ユーザ端末２０は、次にステップＳ１１０の処理を実行する。

一方、ステップＳ１０２又はステップＳ１０４でＮＯと判定した場合、ユーザ端末２０は、在席フラグおよび居眠りフラグをＯＦＦに設定する（ステップＳ１０９）。

ステップＳ１０８を実行した場合、ステップＳ１０９を実行した場合、又は、ステップＳ１０７でＮＯと判定した場合、ユーザ端末２０は、ユーザの状態情報が変化したか否かを判定する（ステップＳ１１０）。ここで状態情報は、在席フラグ又は居眠りフラグである。具体的には、ユーザ端末２０は、今回の処理ループにおけるステップＳ１０５、ステップＳ１０８、又は、ステップＳ１０９で在席フラグおよび居眠りフラグが変化される前の、在席フラグおよび居眠りフラグを記憶している。今回の処理ループにおいて、在席フラグおよび居眠りフラグのうちの少なくとも何れか一方が変化した場合、ユーザ端末２０は、ステップＳ１１０においてユーザの状態情報が変化したと判定する。

状態情報が変化したと判定した場合（ステップＳ１１０：ＹＥＳ）、ユーザ端末２０は、自機の計時手段（例えば、ＲＴＣ）から現在の時刻を示す時間情報を取得する（ステップＳ１１１）。そして、ユーザ端末２０は、状態情報（在席フラグ又は居眠りフラグ）と、時間情報とをサーバ１０に送信する（ステップＳ１１２）。

ステップＳ１１０でＮＯと判定した場合、又は、ステップＳ１１２を実行した場合、ユーザ端末２０は、再びステップＳ１００の処理を実行する。以上でユーザ端末２０において行われる処理の説明を終了する。

（サーバの処理の詳細）
図１２は、サーバ１０によって行われる処理の一例を示すフローチャートである。図１２に示す処理は、サーバ１０のＣＰＵが所定のプログラムを実行することにより、行われる。なお、サーバ１０は、図１２に示す処理を所定の時間間隔で繰り返し実行する。

図１２に示されるように、サーバ１０は、ユーザ端末２０から状態情報（在席フラグ又は居眠りフラグ）を取得したか否かを判定する（ステップＳ２０１）。ユーザ端末２０から状態情報を取得した場合（ステップＳ２０１：ＹＥＳ）、サーバ１０は、取得した状態情報をデータベース１３に記憶する（ステップＳ２０２）。

具体的には、サーバ１０は、状態情報を送信したユーザ端末２０を特定し、当該ユーザ端末２０に対応するユーザのユーザＩＤに対応付けて、状態情報と時間情報とをデータベース１３に記憶する。例えば、サーバ１０は、ユーザ端末２０ａから状態情報と時間情報とを取得した場合、データベース１３におけるユーザＡの情報を更新する。例えば、在席フラグがＯＮに設定された状態情報をユーザ端末２０ａから取得した場合、サーバ１０は、ユーザＡの在席時刻（図６参照）に、ユーザ端末２０ａから取得した時間情報を記憶する。また、例えば、在席フラグがＯＦＦに設定された状態情報をユーザ端末２０ａから取得した場合、サーバ１０は、ユーザＡの離席時刻（図６参照）に、ユーザ端末２０ａから取得した時間情報を記憶する。また、居眠りフラグがＯＮに設定された状態情報をユーザ端末２０ａから取得した場合、サーバ１０は、ユーザＡの居眠り時間（図６参照）に、ユーザ端末２０ａから取得した時間情報を記憶する。

ステップＳ２０２を実行した場合、又は、ステップＳ２０１でＮＯと判定した場合、サーバ１０は、ユーザ端末２０から、ユーザの在席状況を確認するための在席確認要求を受信したか否かを判定する（ステップＳ２０３）。ユーザ端末２０からの在席確認要求には、在席状況を確認する対象のユーザのユーザＩＤが含まれる。

在席確認要求を受信した場合（ステップＳ２０３：ＹＥＳ）、サーバ１０は、データベース１３にアクセスし、在席確認要求に含まれるユーザの在席情報を取得する（ステップＳ２０４）。そして、サーバ１０は、データベース１３から取得した情報を、在席確認要求を送信したユーザ端末２０に送信する（ステップＳ２０５）。

例えば、管理者からユーザＡの在席情報の確認要求があった場合、サーバ１０は、データベース１３にアクセスして、ユーザＡの在席時刻、離席時刻、居眠り時間、電話時間に関する情報を取得する。そして、サーバ１０は、これらデータベース１３から取得したユーザＡの情報を、在席確認要求を送信したユーザ端末２０に送信する。これにより、ユーザ端末２０において、図８に示されるような画面が表示される。また、管理者でない一般ユーザからユーザＡの在席情報の確認要求があった場合、サーバ１０は、データベース１３にアクセスして、ユーザＡの在席時刻、離席時刻に関する情報を取得する。そして、サーバ１０は、これらデータベース１３から取得したユーザＡの情報を、在席確認要求を送信したユーザ端末２０に送信する。これにより、ユーザ端末２０において、図９に示されるような画面が表示される。

以上で図１２に示す処理の説明を終了する。

なお、図１１では、物体検知部３０による処理を省略したが、上述した処理に加えて、物体検知部３０による処理が実行されてもよい。この場合、物体検知部３０による処理は、上記ステップＳ１０２〜ステップＳ１０８の何れにおいて実行されてもよい。例えば、ステップＳ１０５とステップＳ１０６との間で、物体検知部３０による処理として、他の物体を検出する処理、および、ユーザが他の物体を用いて所定の作業を行っているか否かを判定する処理が行われてもよい。また、物体検知部３０による処理は、上記ステップＳ１０８とステップＳ１１０との間で行われてもよい。

例えば、物体検知部３０が他の物体として電話機を検出する場合、物体検知部３０による処理として、電話機を検出する処理、および、ユーザが電話しているか否かを判定する処理が行われる。この場合、ユーザ端末２０のメモリには、在席フラグおよび居眠りフラグに加えて、ユーザが電話しているか否かを示す電話使用フラグが記憶される。ユーザが電話していると判定された場合、電話使用フラグはＯＮに設定され、ユーザが電話していないと判定された場合、電話使用フラグはＯＦＦに設定される。そして、電話使用フラグの値が変化した場合、上記ステップＳ１１０において、状態情報が変化したと判定される。すなわち、ステップＳ１１０においては、ユーザの在席状態が変化した場合、ユーザの居眠り状態が変化した場合、又は、ユーザが電話を開始又は終了した場合に、状態情報が変化したと判定される。このように、ユーザの状態が変化した場合に、サーバ１０にユーザの状態を示す情報が送信される。

以上のように、本実施形態では、ユーザ端末２０は、カメラ２２からリアルタイムで出力される入力画像に基づいて、ユーザの在席判定を行い、ユーザが在席しているか否かを示す在席情報と時間情報とをサーバ１０に送信する。サーバ１０は、各ユーザ端末２０から送信された在席情報をデータベース１３に記憶する。これにより、ユーザの在席情報をリアルタイムでサーバ１０に送信し記憶することができる。各ユーザは、サーバ１０にアクセスして他のユーザが現在、在席しているか否かを確認することができる。

また、本実施形態では、ユーザ端末２０において在席判定を行い、在席判定の結果を示す在席情報をサーバ１０に送信する。カメラ２２によって撮像された画像は、通常はユーザ端末２０およびサーバ１０に保存されないため、各ユーザの個人情報を保護しつつ、各ユーザのリアルタイムの在席情報を他のユーザが確認することができる。

また、本実施形態では、各ユーザの在席情報が時間情報とともにサーバ１０に蓄積される。このため、ユーザ（例えば、管理者）は、他のユーザの過去の在席情報を参照することができる。ユーザは、他のユーザが勤務時間中に実際にどれくらいの時間、在席しているか、離席しているかを確認することができ、各ユーザがどれくらい休憩しているかなどを推測することができる。なお、管理者でないユーザも、各ユーザの過去の在席情報を参照することができてもよい。

また、本実施形態では、ユーザ端末２０は、カメラ２２からの入力画像に基づいて、ユーザが居眠りをしているか否かを判定し、当該判定結果を示す居眠り情報をサーバ１０に送信する。サーバ１０は、ユーザ端末２０から送信された居眠り情報をデータベース１３に記憶する。これにより、ユーザ（管理者又は管理者でないユーザ）は、他のユーザが現在、居眠りしているか否かを確認することができる。また、サーバ１０は、居眠り情報と時間情報とをデータベース１３に蓄積するため、ユーザは、過去に他のユーザが居眠りしていたか否か、および、その時間を確認することができる。

また、本実施形態では、ユーザ端末２０は、カメラ２２からの入力画像に基づいて、所定の物体を検知し、ユーザが所定の物体を用いて所定の作業を行っているか否かを判定し、当該判定結果を示す情報をサーバ１０に送信する。サーバ１０は、ユーザ端末２０から送信された情報をデータベース１３に記憶する。これにより、ユーザ（管理者又は管理者でないユーザ）は、他のユーザが現在、所定の作業を行っているか否か（例えば電話しているか否か）を確認することができる。また、サーバ１０は、ユーザが所定の作業を行っているか否かを示す情報と時間情報とをデータベース１３に蓄積する。このため、ユーザは、他のユーザが所定の作業を行っていた時間を確認することができ、例えば、比較的長時間電話をしているか否かを確認することができる。

また、本実施形態では、ユーザの状態（在席状態、居眠り状態、所定の作業を行っているか否かの状態）が変化した場合に、その状態を示す情報がサーバ１０に送信され、ユーザの状態が変化していない場合は、情報はサーバ１０に送信されない。このため、常にこれらの情報を送信する場合に比べて、サーバ１０およびネットワークの負荷を低減することができる。なお、これらの情報は定期的にサーバ１０に送信されてもよい。

このように、本実施形態の在席情報管理システム１では、ユーザは、サーバ１０にアクセスすることにより、他のユーザが在席しているか否か、居眠りしているか否か、所定の作業を行っているか否か（例えば電話をしているか否か）等を、当該他のユーザの座席の近くに行かなくても確認することができる。このため、遠隔にいるユーザの在席状況をリアルタイムで把握することができ、例えば、在宅勤務のユーザについても、自宅の座席周辺をカメラ２２で撮像することで、在宅勤務のユーザが自宅で実際に業務を行っているか否かを遠隔から確認することができる。

本実施形態の在席情報管理システム１では、ユーザの在席状況やユーザが本来の業務を行っているかどうかなどの勤務実態が可視化されるため、無駄な休憩時間や怠けている時間を削減することができ、業務効率を向上させることができる。

なお、在席情報管理システム１は、上述した在席情報等を管理する機能に加えて、ユーザのスケジュールを管理する機能を有してもよい。図１３は、他の実施形態におけるサーバ１０の論理構成の一例を示す図である。

図１３に示されるように、サーバ１０は、在席状況管理部１１、在席情報取得部１２、データベース１３、出力部１４に加えて、スケジュール管理部１５を含む。

スケジュール管理部１５は、各ユーザのスケジュールを管理する機能を提供する。各ユーザは、スケジュール管理部１５に自身のスケジュールを登録する。例えば、各ユーザは、会議の時間、外出の時間、その他の業務の時間等を登録する。例えば、スケジュール管理部１５はウェブインターフェースを有する。各ユーザはユーザ端末２０のブラウザアプリケーションを用いてサーバ１０のスケジュール管理部１５にアクセスする。そして、各ユーザは自身（又は、他のユーザ）のスケジュールを登録したり、変更したり、確認したりする。各ユーザのスケジュール情報は、他のユーザからも参照可能である。

図１３に示されるように、スケジュール管理部１５は、在席状況管理部１１を有するサーバ１０に配置され、スケジュール管理部１５と在席状況管理部１１とは連携して動作する。なお、スケジュール管理部１５は、在席状況管理部１１を有するサーバ１０とは別のサーバに配置されてもよい。在席状況管理部１１がサーバ１０に配置され、スケジュール管理部１５が別のサーバに配置される場合、サーバ１０と当該別のサーバとはネットワーク経由で連携される。

図１４は、スケジュール管理部１５と在席状況管理部１１との連携の一例を示す図である。

図１４（ａ）に示されるように、スケジュール管理部１５は、各ユーザのスケジュールを管理する。例えば、スケジュール管理部１５によって管理されているユーザＣのある日のスケジュール情報によれば、ユーザＣは、時刻１０：００から１２：００まで会議の予定であり、１３：３０から１４：３０まで会議の予定であり、１５：００から１６：３０までは外出の予定である。それ以外の時間は特に予定がなく通常の業務を行う予定である。

一方、図１４（ｂ）に示されるように、ユーザ端末２０の在席判定部２８によって判定されたユーザＣの在席情報によれば、ユーザは、時刻９：００から１０：００まで在席し、１０：００から１３：００まで離席し、１３：００から１３：３０まで在席し、１３：３０から１４：３０まで離席し、１４：３０から現在時刻である１６：００まで在席している。例えば、ユーザＣは１５：００から１６：３０までは外出の予定であったが、予定が変更されたため、１６：００現在においても在席している。この場合、図１４（ａ）に示されるユーザＣのスケジュール情報と、図１４（ｂ）に示されるユーザＣの在席情報とを統合した統合情報が生成され、他のユーザに提示される。

具体的には、図１４（ｃ）に示されるように、ユーザＣは、時刻９：００から１０：００まで在席しており、時刻１０：００から１２：００まで会議しており、時刻１２：００から１３：００まで離席しており、時刻１３：００から１３：３０まで在席しており、時刻１３：３０から１４：３０まで会議しており、時刻１４：３０から現在まで在席している。他のユーザがサーバ１０にアクセスした場合、図１４（ｃ）に示される統合情報が提示されてもよい。

統合情報は、ユーザのスケジュールを管理するスケジュール管理部１５の機能の一部として、各ユーザに提示されてもよい。例えば、あるユーザがスケジュール管理部１５にアクセスして他のユーザのスケジュールを確認する場合、当該他のユーザのスケジュール情報と在席情報とを統合した統合情報が、当該あるユーザに提示されてもよい。また、図１４（ａ）に示されるスケジュール情報と、図１４（ｂ）に示される在席情報とが、一画面に別々でユーザに提示されてもよい。

また、あるユーザが在席状況管理部１１にアクセスして他のユーザの在席情報を確認する場合、当該他のユーザのスケジュール情報と在席情報とを統合した統合情報が、当該あるユーザに提示されてもよい。また、これらの情報が一画面に別々でユーザに提示されてもよい。

このように、スケジュール管理部１５と在席状況管理部１１とが連携して動作することにより、ユーザの予定と、実際の在席状況とを他のユーザに提示することができる。これにより、ユーザの予定が変更された場合でも、他のユーザは、実際の在席状況を確認することができる。

なお、ユーザが在席しているか否かを確認する機能（在席確認機能）、ユーザが居眠りしているか否かを確認する機能（居眠り検知機能）、および、ユーザが所定の物体を用いて所定の作業を行っているか否かを確認する機能（作業検知機能）は、スケジュール管理部１５によるスケジュール管理機能と一体として提供されてもよい。また、これら在席確認機能、居眠り検知機能、作業検知機能は、スケジュール管理部１５によるスケジュール管理機能のオプションとして提供されてもよい。

また、上記実施形態では、ユーザは、他のユーザの在席情報等をウェブブラウザを用いて参照するものとしたが、専用のアプリケーションソフトを用いて、他のユーザの在席情報等を参照してもよい。

また、上記実施形態では、在席判定部２８は、在席情報とともに判定した時点の時刻に関する時間情報をサーバ１０に送信し、サーバ１０のデータベース１３に時間情報が記憶された。他の実施形態では、在席判定部２８による判定結果に基づいて、ユーザが在席している時間又は離席している時間に関する時間情報（例えば、１日のうちの何時間在席しているかの情報、何時間離席しているかの情報）が、データベース１３に記憶されてもよい。すなわち、データベース１３には、ユーザが在席した時刻、離席した時刻ではなく、ユーザが在席している時間、離席している時間が記憶されてもよい。

また、在席情報管理システム１のサーバ１０は、１つのサーバ装置によって構成されてもよいし、複数のサーバ装置によって構成されてもよい。

また、上記在席情報管理システム１の各部の配置は一例であり、これら各部は、ユーザ端末２０およびサーバ１０の何れに配置されてもよいし、ユーザ端末２０およびサーバ１０とは異なる装置に配置されてもよい。例えば、顔検出部２７、在席判定部２８、居眠り検知部２９、物体検知部３０のうちの少なくとも何れか１つは、ユーザ端末２０とは異なる装置（例えば、画像認識用の専用装置又はサーバ１０）に配置されてもよい。例えば、カメラ２２からの入力画像をユーザ端末２０とは異なる装置が取得し、当該装置において顔検出、在席判定等が行われてもよい。また、複数のユーザ端末２０のうちの何れかが、上記サーバ１０として機能してもよい。また、カメラ２２からの入力画像をサーバ１０が取得し、サーバ１０が上記在席判定、居眠り判定、ユーザが所定の作業を行っているか否かの判定を行い、これらの判定の結果に応じた情報をデータベース１３に記憶してもよい。

また、上記実施形態では、データベース１３はサーバ１０内に配置されるものとしたが、データベース１３はサーバ１０とは異なる装置に配置されて、サーバ１０がネットワークを介してデータベース１３にアクセス可能に構成されてもよい。例えば、データベース１３は、インターネット上に配置されてもよい。また、データベース１３は、複数の装置によって構成されてもよい。また、データベース１３に記憶される各情報は、それぞれ異なるデータベース上に分散されて記憶されてもよい。すなわち、サーバ１０からアクセス可能であれば、データベース１３は、物理的にどのような場所に配置されてもよい。この場合、ユーザがサーバ１０にアクセスして他のユーザの在席情報を確認する場合、サーバ１０は、ネットワーク上のデータベース１３にアクセスして当該他のユーザの在席情報を取得し、取得した在席情報を当該他のユーザに送信する。ユーザから見れば、サーバ１０とデータベース１３とは一体として見え、上記在席情報や居眠り情報、ユーザが所定の作業を行っているか否かの情報は、実質的にサーバ１０に保存されていることと同じである。

また、上述した処理の一部又は全部は、専用回路によって行われてもよいし、汎用プロセッサによって行われてもよい。

１ 在席情報管理システム
１０ サーバ
１１ 在席状況管理部
１２ 在席情報取得部
１３ データベース
１４ 出力部
１５ スケジュール管理部
２０ ユーザ端末
２１ 情報処理部
２２ カメラ
２７ 顔検出部
２８ 在席判定部
２９ 居眠り検知部
３０ 物体検知部３０

Claims (9)

1. ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、
   前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、
   前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワーク上のサーバに記憶させる記憶制御手段と、
   ネットワークを介して前記サーバに記憶された前記ユーザの在席情報を取得し、当該取得した前記ユーザの在席情報を他のユーザに提示する提示手段と、
   前記ユーザのスケジュール情報を管理するスケジュール管理手段と、を備え、
   前記スケジュール管理手段は、前記ユーザの入力に基づいて前記ユーザのスケジュールを予め登録し、
   前記提示手段は、前記スケジュール管理手段によって予め登録されたスケジュール情報と、前記在席判定手段によって判定された在席情報とを前記他のユーザに提示し、
   前記記憶制御手段は、前記在席判定手段の判定結果に応じた時間情報を、前記サーバにさらに記憶させ、
   前記提示手段は、前記サーバに記憶された前記ユーザの在席情報と前記時間情報とに基づいて、前記ユーザの過去の在席情報を前記他のユーザに提示する、情報処理システム。
2. 前記情報処理システムは、前記ユーザの座席周辺に設けられたユーザ端末を含み、
   前記画像取得手段、前記顔検出手段、および前記在席判定手段は、前記ユーザ端末に配置され、
   前記ユーザ端末は、前記在席判定手段の判定結果に応じた在席情報を、ネットワークを介して前記サーバに送信し、
   前記サーバは、
   前記ユーザ端末から送信された在席情報を記憶手段に記憶させ、
   前記他のユーザの端末から前記記憶手段に記憶された在席情報の確認要求を受信する確認要求受信手段と、
   前記確認要求を受信した場合に、前記記憶手段に記憶された在席情報を、前記他のユーザの端末にネットワークを介して送信する送信手段と、を含み、
   前記他のユーザの端末は、前記送信手段によって送信された前記在席情報を前記他のユーザに提示する、請求項１に記載の情報処理システム。
3. 前記ユーザ端末は、前記在席判定手段の判定結果に基づいて前記ユーザの在席状態が変化したか否かを判定し、前記ユーザの在席状態が変化したと判定した場合に、前記在席情報を前記サーバに送信する、請求項２に記載の情報処理システム。
4. 前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、前記ユーザが居眠りしているか否かを判定する居眠り判定手段をさらに備え、
   前記提示手段は、前記居眠り判定手段の判定結果を示す居眠り情報を、前記他のユーザに提示する、請求項１から３の何れかに記載の情報処理システム。
5. 前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、所定の物体を検知し、前記ユーザが前記所定の物体を用いて所定の作業を行っているか否かを判定する作業判定手段をさらに備え、
   前記提示手段は、前記作業判定手段の判定結果を示す作業情報を、前記他のユーザに提示する、請求項１から４の何れかに記載の情報処理システム。
6. 情報処理システムにおいて実行される情報処理方法であって、
   ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得ステップと、
   前記画像取得ステップで取得された画像に基づいて、前記ユーザの顔を検出する顔検出ステップと、
   前記顔検出ステップにおけるユーザの顔の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定ステップと、
   前記在席判定ステップの判定結果に応じた前記ユーザの在席情報を、ネットワーク上のサーバに記憶させる記憶制御ステップと、
   ネットワークを介して前記サーバに記憶された前記ユーザの在席情報を取得し、当該取得した前記ユーザの在席情報を他のユーザに提示する提示ステップと、
   前記ユーザのスケジュール情報を管理するスケジュール管理ステップと、を備え、
   前記スケジュール管理ステップでは、前記ユーザの入力に基づいて前記ユーザのスケジュールを予め登録し、
   前記提示ステップでは、前記スケジュール管理ステップで予め登録されたスケジュール情報と、前記在席判定ステップで判定された在席情報とを前記他のユーザに提示し、
   前記記憶制御ステップでは、前記在席判定ステップの判定結果に応じた時間情報を、前記サーバにさらに記憶させ、
   前記提示ステップでは、前記サーバに記憶された前記ユーザの在席情報と前記時間情報とに基づいて、前記ユーザの過去の在席情報を前記他のユーザに提示する、情報処理方法。
7. ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、
   前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、
   前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワーク上のサーバに記憶させる記憶制御手段と、
   ネットワークを介して前記サーバに記憶された前記ユーザの在席情報を取得し、当該取得した前記ユーザの在席情報を他のユーザに提示する提示手段と、
   前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、前記ユーザが所定の行動を行っているか否かを判定する行動判定手段と、
   前記行動判定手段によって前記ユーザが所定の行動を行っていると判定された場合に前記画像取得手段によって取得された画像を保存する一方、前記行動判定手段によって前記ユーザが所定の行動を行っていると判定されなかった場合に前記画像取得手段によって取得された画像を保存しない保存制御手段と、を備える、情報処理システム。
8. 情報処理装置のコンピュータにおいて実行されるプログラムであって、前記コンピュータを、
   ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、
   前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、
   前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワークを介してサーバに送信する送信手段と、
   前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、前記ユーザが所定の行動を行っているか否かを判定する行動判定手段と、
   前記行動判定手段によって前記ユーザが所定の行動を行っていると判定された場合に前記画像取得手段によって取得された画像を保存する一方、前記行動判定手段によって前記ユーザが所定の行動を行っていると判定されなかった場合に前記画像取得手段によって取得された画像を保存しない保存制御手段として、機能させる、情報処理プログラム。
9. ユーザの座席周辺に設けられたカメラからの画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像に基づいて、前記ユーザの顔を検出する顔検出手段と、
   前記顔検出手段の検出結果に基づいて、前記ユーザが在席しているか否かを判定する在席判定手段と、
   前記在席判定手段の判定結果に応じた前記ユーザの在席情報を、ネットワークを介してサーバに送信する送信手段と、
   前記在席判定手段によって前記ユーザが在席していると判定された場合、前記画像取得手段によって取得された画像に基づいて、前記ユーザが所定の行動を行っているか否かを判定する行動判定手段と、
   前記行動判定手段によって前記ユーザが所定の行動を行っていると判定された場合に前記画像取得手段によって取得された画像を保存する一方、前記行動判定手段によって前記ユーザが所定の行動を行っていると判定されなかった場合に前記画像取得手段によって取得された画像を保存しない保存制御手段と、を備える、情報処理装置。

Images