以下、図面を参照して、本発明の実施形態を詳細に説明する。
[第1の実施形態]
図1は、本発明のテレワーク管理システム(情報処理処理システム)の構成の一例を示すシステム構成図である。
テレワーク管理システム100は、サテライトオフィスにおいては、1又は複数の監視端末102、及び1又は複数のネットワークカメラ104が設置されており、ローカルエリアネットワーク(LAN)106及びルータ108を介してインターネット110と接続することで、サテライトオフィス以外の拠点に設置された各機器と接続される。
本社においては、1又は複数の証跡監査端末112が設置されており、ローカルエリアネットワーク(LAN)106及びルータ108を介してインターネット110と接続することで、本社以外の拠点に設置された各機器と接続される。
データセンターにおいては、1又は複数のストリーミングサーバ116、及び1又は複数の証跡管理サーバ114が、ローカルエリアネットワーク(LAN)106とルータ108、およびインターネット110を介して接続される構成となっている。
監視端末102は、使用するユーザ(テレワーカー)の動静およびユーザ本人以外の人物による使用等といったユーザ異常を検出し、それらの情報をユーザの証跡として証跡管理サーバ114に送信する。
また、動静およびユーザ異常の検出に使用するユーザの特徴を示す特徴量データを証跡管理サーバ114に送信する。
証跡監査端末112は、証跡管理サーバ114に記憶された特徴量データの承認操作と、証跡管理サーバ114に記憶された証跡の監査操作を行う。
証跡監査端末112は、テレワーク管理者の動静をテレワーカーに通知するまたは自身がテレワークを行う際に自身のテレワーク管理者に動静とユーザ異常を通知するために、監視端末102と同様の機能を備えることもある。
証跡管理サーバ114は、監視端末102から受信したテレワーカーの動静やユーザ異常等のユーザの証跡を記憶する。
また、証跡管理サーバ114は、ストリーミングサーバ116と連携し、各拠点での部外者の不正侵入やテレワーカーによる労働時間詐称などの異常を検出しその証跡を記録する。さらに、各証跡に対する証跡監査端末112の監査操作に対して処理を行う。
ネットワークカメラ104は、設置された拠点で撮影した画像をストリーミングサーバ116に送信する。
ストリーミングサーバ116は、ネットワークカメラ104から送られてきた画像を解析して人体を検出し、検出した人体検出情報を画像に合成し、その画像を証跡監査端末112に送信する。また、検出している人体の数の変化を証跡管理サーバ114に通知する。
テレワーカーの数だけ監視端末102を設置し、テレワーク管理者の数だけ証跡監査端末112を設置する。また、拠点の数だけネットワークカメラ104を設置し、場合によっては一つの拠点に複数台のネットワークカメラ104を設置することもある。
尚、サテライトオフィス、本社、及びデータセンターの各拠点をそれぞれ別の拠点としたが、このような拠点はあくまでも一例であり、全ての拠点を1つの拠点としても良いし、それぞれの拠点の組み合わせに応じて1つの拠点としても良い。
以下、図2を用いて、図1に示した監視端末102、証跡監査端末112、証跡管理サーバ114、及びストリーミングサーバ116に適用可能な情報処理装置のハードウェア構成について説明する。
図2は、図1に示した監視端末102、証跡監査端末112、証跡管理サーバ114、及びストリーミングサーバ116に適用可能な情報処理装置のハードウェア構成を示すブロック図である。それぞれの機器は、ほぼ同様な構成を備えるため、同一の符号を用いて以後説明する。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ212には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ212からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)209やカメラデバイス210、不図示のマウス等のポインティングデバイス等からの入力を制御する。
206はビデオコントローラで、CRTディスプレイ(CRT)211等の表示器への表示を制御する。なお、図2では、CRT211と記載しているが、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じてテレワーク管理者が使用するものである。
207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ212へのアクセスを制御する。
208は通信I/Fコントローラで、ネットワーク(例えば、図1に示したLAN130)を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、CRT211上での表示を可能としている。また、CPU201は、CRT211上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するための後述する各種プログラムは、外部メモリ212に記録されており、必要に応じてRAM202にロードされることによりCPU201によって実行されるものである。
さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ212に格納されており、これらについての詳細な説明も後述する。
以上で、監視端末102、証跡監査端末112、証跡管理サーバ114、ストリーミングサーバ116に適用可能な情報処理装置のハードウェア構成の説明を終了する。
次に、図3を用いて、本発明の監視端末102、ネットワークカメラ104、証跡監査端末112、証跡管理サーバ114、及びストリーミングサーバ116の機能ブロック図について説明する。
尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
まず、監視端末102の機能構成について説明する。
認証情報入力部300は、ユーザによるアカウントIDやパスワード等を含む認証情報の入力を受け付け、通信I/Fコントローラ208を介して証跡管理サーバ114の認証部312に送信し、テレワーク管理システム100へのログインを行う。
また、認証部312から拠点リストを取得し、その中から現在の拠点の選択を受け付け、それを認証部312に送信する。
選択方法としては、拠点リストをCRT211に表示してユーザに選択させる方法や、近辺のWifi網から現在地の住所を推定し自動決定するなどの方法がある。
特徴量データ更新部302は、通信I/Fコントローラ208を介して証跡管理サーバ114の特徴量データ制御部318から、ユーザの顔を識別するための特徴量データを取得する。
また、カメラデバイス210で撮影して得られた画像から顔を検出し、その顔から取得した特徴量データを証跡管理サーバ114の特徴量データ制御部318に送信する。
ユーザ監視部304は、カメラデバイス210で撮影して得られた画像を取得し、その画像から正規のログインユーザによる動静情報として「在席」・「離席」、ユーザ異常情報として第三者による「なりすまし」・「覗き見」の状態を検出する。
状態の検出には、顔検出、顔認証、場合によっては顔追跡の技術を利用するが、顔認証には、特徴量データ更新部302で取得した特徴量データを利用する。
既存の状態と異なる状態を検出した場合、その動静情報およびユーザ異常情報を、カメラデバイス210で撮影して得られた画像およびCRT211に出力していたもののスクリーンショットとともに証跡管理サーバ114のユーザ監視情報制御部321に送信する。
次に、証跡監査端末112の機能構成について説明する。
拠点情報表示部306は、通信I/Fコントローラ208を介して証跡管理サーバ114の現在情報管理部326から取得した現在のユーザ情報と現在の拠点情報(詳細後述)と、ストリーミングサーバ116の拠点情報配信部340から取得したネットワークカメラ104で撮影して得られた画像をCRT211に表示する。
証跡管理サーバ114の更新通知部324から更新通知を受け取った際には、その表示の更新を行う。
監査操作部310は、通信I/Fコントローラ208を介して証跡管理サーバ114の監査制御部328から取得したユーザ異常情報及び拠点異常情報(詳細後述)をCRT211に表示し、ユーザに未監査のユーザ異常及び拠点異常が問題かどうか監査させる。
問題ないかどうかの判断材料として、ユーザ異常発生期間および拠点異常発生期間の監視端末102のカメラデバイス210で撮影して得られた画像やスクリーンショットおよびネットワークカメラ104で撮影して得られた画像などを表示する。
次に、証跡管理サーバ114の機能構成について説明する。
認証部312は、監視端末102の認証情報入力部300から受信した認証情報とマスタデータ記憶部314に記憶されたユーザ情報(詳細後述)を比較する。
一致するユーザ情報(詳細後述)があった場合に、現在情報記憶部316にユーザのログイン情報を記憶し(図17参照)、監視端末102にマスタデータ記憶部314に記憶されているユーザが選択可能な拠点リストを返却する。
マスタデータ記憶部314は、ユーザ情報、拠点情報、ネットワークカメラ情報(各情報の詳細は後述)、特徴量データなどの情報を記憶する。
現在情報記憶部316は、各ユーザがテレワーク管理システム100にログインしているか、在席しているか、ユーザ異常が発生しているか、どの拠点にいるかといった、ユーザの今現在の情報を記憶する。
また、各拠点にユーザが何人いるか、異常が発生しているかといった、拠点の今現在の情報をも記憶する。
特徴量データ制御部318は、監視端末102の特徴量データ更新部302からの要求を受けて、マスタデータ記憶部314に特徴量データを記憶したり、記憶されているユーザの特徴量データを返却したりする。
ユーザ監視情報制御部321は、監視端末102のユーザ監視部304から受信した動静情報およびユーザ異常情報を監査情報記憶部322に記憶する。また、現在情報記憶部316に記憶されているユーザがテレワーク管理システム100にログインしているか否かを示すログイン情報を更新する。
監査情報記憶部322は、ユーザの動静情報とユーザ異常情報とを、ユーザ証跡画像(カメラデバイス210で撮影して得られた画像及びスクリーンショット)とともに記憶する。
また、拠点異常情報(詳細後述)を拠点証跡画像(ネットワークカメラ104で撮影して得られた画像)及び人体検出の結果とともに記憶する。
更新通知部324は、ユーザ監視情報制御部321や拠点異常検出部323からの依頼を受けて、証跡監査端末112の更新通知受信部308に動静やユーザ異常等に係る更新通知を送信する。
ネットワークカメラ情報管理部320は、マスタデータ記憶部314に記憶されたネットワークカメラ情報(詳細後述)を元に、ストリーミングサーバ116のネットワークカメラ制御部334にネットワークカメラ104の制御を依頼する。
拠点異常検出部323は、ストリーミングサーバ116の拠点情報配信部340から受信した拠点情報(詳細後述)を現在情報記憶部316に記憶し、現在情報記憶部316に記憶された現在のユーザ情報と現在の拠点情報(詳細後述)をもとに、拠点で発生している異常を検出する。検出した拠点異常情報(詳細後述)は、監査情報記憶部322に記憶する。
現在情報管理部326は、証跡監査端末112の拠点情報表示部306からの要求を受けて、拠点リストや各拠点の現在のユーザ情報(詳細後述)および現在の拠点情報(詳細後述)を返却する。
監査制御部328は、証跡監査端末112の監査操作部310からの要求を受けて、ユーザ異常情報および拠点異常情報(詳細後述)を返却し、監査処理結果を監査情報記憶部322に記憶する。
次に、ネットワークカメラ104の機能構成について説明する。
カメラ制御受信部330は、通信I/Fコントローラ208を介してネットワークカメラ制御部334から送られてきたカメラ制御命令を受け取り、ネットワークカメラ104の本体の向きを変更したり、画像の配信を開始・停止したりする。
画像送信部332は、通信I/Fコントローラ208を介してネットワークカメラ104で撮影して得られた画像を外部に送信する。
最後に、ストリーミングサーバ116の機能構成について説明する。
ネットワークカメラ制御部334は、通信I/Fコントローラ208を介した証跡管理サーバ114のネットワークカメラ情報管理部320からの命令を受けて、ネットワークカメラ104を制御する。
拠点監視部336は、通信I/Fコントローラ208を介してネットワークカメラ104の画像送信部332から送信されたネットワークカメラ104で撮影して得られた画像に対して人体検出を行い、その人体検出情報(詳細後述)を拠点監視情報記憶部338にネットワークカメラ104で撮影して得られた画像とともに記憶し、人の検出位置を埋め込んだ画像を通信I/Fコントローラ208を介して拠点情報配信部340に送信する。また、拠点内の人数が増減した場合に、通信I/Fコントローラ208を介して証跡管理サーバ114の拠点異常検出部323にその情報を送信する。
拠点監視情報記憶部338は、拠点証跡画像と人体検出情報(詳細後述)を記憶する。
拠点情報配信部340は、人体検出情報(詳細後述)を埋め込んだ画像を、通信I/Fコントローラ208を介して証跡監査端末112の拠点情報表示部306に送信する。
証跡管理部342は、通信I/Fコントローラ208を介した証跡管理サーバ114の拠点異常検出部323からの要求を受けて、拠点監視情報記憶部338に記憶されたネットワークカメラ104で撮影して得られた画像を返却する。
以上で、監視端末102、証跡監査端末112および証跡管理サーバ114の機能ブロック図に関する説明を終了する。
以下、図4を参照して、本実施形態のテレワーク管理システム100において、ネットワークカメラ104による拠点監視を行う一連の流れを説明する。
証跡監査端末112、証跡管理サーバ114、及びストリーミングサーバ116の処理は、そのCPU201により、ROM203から取得したプログラム及びデータをRAM202に記憶することで実行される。
また、証跡管理サーバ114の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS100では、証跡管理サーバ114が、マスタデータ記憶部314に記憶されたネットワークカメラ情報(図14参照)をストリーミングサーバ116に送信し、ネットワークカメラ104の監視を開始するようカメラ制御命令を送信する。
図14には、ネットワークカメラ情報を記憶するネットワークカメラテーブルが示されており、ネットワークカメラ104を一意に識別するためのカメラID、ネットワークカメラ104の設置場所等を示す名前、ネットワークカメラ104が設置された拠点を一意に示す拠点IDを備えている。
また、ネットワークカメラテーブルは、ネットワークカメラ104と接続して通信を行うために必要となるURLや接続時に認証を行うためのパスワードを備えている。
ステップS102では、ストリーミングサーバ116が、ステップS100で受信したネットワークカメラ情報を元に、ネットワークカメラ104をセットアップし、ネットワークカメラ104で撮影して得られた画像を受信できる状態にする。
ステップS104では、ストリーミングサーバ116が、ネットワークカメラ104から撮影して得られた画像を受信する。
ステップS106では、ストリーミングサーバ116が、ステップS104で受信したネットワークカメラ104で撮影して得られた画像に対して人の検出を行い、拠点証跡画像(図23)とその人体検出情報(図24)とを拠点監視情報記憶部338に記憶する。尚、記憶するネットワークカメラ104で撮影して得られた画像は、動画像形式であっても複数の静止画像形式であってもよい。
図23には、拠点証跡画像に関する情報を記憶するための証跡画像記憶テーブルの構成が示されており、証跡画像記憶テーブルは、拠点証跡画像を一意に識別するためのID、拠点証跡画像を撮影したネットワークカメラ104を一意に識別するためのカメラID、拠点証跡画像を示す画像データ、拠点証跡画像が撮影された日時等を含んで構成されている。
図24には、人体検出情報を記憶するための人体検出情報記憶テーブルの構成が示されており、人体検出情報記憶テーブルは、人体検出情報を一意に識別するためのID、人体検出を行った画像を撮影したネットワークカメラ104を一意に識別するためのカメラID、当該画像から検出した人体数、画像に対しての検出した人体が位置する座標、当該画像がネットワークカメラ104で撮影された日時などを含んで構成されている。
ステップS108では、ストリーミングサーバ116が、現在、検出した人体の数と過去に検出した人体の数との比較を行う。
同一拠点に複数のネットワークカメラ104を設置している場合、複数のネットワークカメラ104で得られた結果を統合して人体の数を検出する。
最も単純な統合手段としては、最も検出した人体の数の多いネットワークカメラ104の結果を、その拠点内において検出した人体の数とするものである。
拠点内において検出した人体の数が増減しているのであれば、ステップS110では、証跡管理サーバ114に検出した人体の数の変化を通知し、変化がなければステップS118へ処理を進める。
ステップS110では、証跡管理サーバ114が、現在情報記憶部316に記憶された現在の拠点情報(図18参照)の人体数を更新する。
図18には、現在の拠点情報を記憶するための現在拠点情報テーブルの構成が示されており、現在拠点情報テーブルは、拠点を一意に識別するための拠点ID、当該拠点で撮影された画像から検出された人体数、当該拠点において不正侵入者がいるか否かを記憶するための異常フラグ、当該拠点に人が侵入した最終時刻、当該拠点に人が退室した最終時刻を含んで構成されている。
また、マスタデータ記憶部314に記憶された拠点監視情報(図15参照)から、当該拠点の監視者であるテレワーク管理者を特定し、その証跡監査端末112に現在の拠点情報の変化を通知する。
図15には、拠点監視情報を記憶するための拠点監視テーブルの構成が示されており、拠点監視テーブルは、拠点監視情報を一意に識別するためのID、拠点を一意に識別するための拠点ID、テレワーク管理者を一意に識別するための監視者リストID(複数のテレワーク管理者を記憶可)等を含んで構成されている。
ステップS112では、証跡監査端末112が、画面(図9参照)に表示している拠点内の人体の数を更新する。
図9には、拠点監視画面400の構成が示されており、拠点監視画面400は、画面に監視結果を表示したい拠点を選択するための拠点選択欄401、当該拠点における監視結果を表示する監視情報表示領域402、ネットワークカメラ104が設置された拠点を選択するためのカメラ拠点選択欄403、不正侵入の警告表示を行うための警告表示領域404、ネットワークカメラ104で撮影して得られた画像に係る拠点証跡画像として表示するための拠点証跡画像表示領域405等を含んで構成されている。
つまり、本ステップにおいては、警告表示領域の人体検出の数を更新する。
ステップS114では、証跡管理サーバ114が、過去の拠点内の人体の数と比べて人体の数が増えたか否かを確認する。
さらに、当該拠点内のログインユーザ数よりもその人体の数が多いのであれば、拠点内に誰かが侵入したことになるので、ステップS116へ処理を進め、不正侵入者の検出を行い、それ以外の場合は、ステップS118へ処理を進める。
ステップS116では、証跡管理サーバ114が、不正侵入者の検出を行う。詳細は図6を用いて後述する。
ステップS118では、ストリーミングサーバ116が、ステップS106で検出した人体検出情報を埋め込んだネットワークカメラ104で撮影して得られた画像を証跡監査端末112に送信する。
ステップS120では、証跡監査端末112が、ストリーミングサーバ116から取得した人体検出情報が埋め込まれたネットワークカメラ104で撮影して得られた画像を拠点監視画面400の拠点証跡画像表示領域405に表示する。
ステップS122では、ストリーミングサーバ116が、証跡管理サーバ114からネットワークカメラ104に対する監視停止命令がない限り、ステップS104において、ネットワークカメラ104で撮影して得られた画像の人体検出処理を繰り返し、停止命令があれば一連の処理を終了する。
以上で、ネットワークカメラ104による拠点監視を行う一連の流れの説明を終了する。
以下、図5を参照して、本実施形態のテレワーク管理システム100において、監視端末102のカメラデバイス210を使ってユーザを監視する一連の流れを説明する。尚、備え付けのカメラに関わらず、監視端末102に接続されたWebカメラを使ってユーザを監視しても良い。
監視端末102と証跡管理サーバ114の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS200では、ユーザが監視端末102を用いてテレワーク管理システム100にログインすることにより、監視端末102が常駐アプリケーションを起動し、バックグラウンドで証跡管理サーバ114にアカウントIDとパスワードを送信する。
ステップS202では、証跡管理サーバ114は、マスタデータ記憶部314に記憶されたユーザ情報(図12参照)と比較し、一致すればログインを許可する。
図12には、ユーザ情報を記憶するためのユーザテーブルの構成が示されており、ユーザテーブルは、ユーザを一意に示すユーザID、ユーザのアカウント、パスワード、ユーザの名前、ユーザの名前に対するフリガナを備えている。
また、ユーザテーブルは、ユーザがグループか個人等を識別するための種別、ユーザの住所、ユーザ本人の顔画像等の本人を特定するための画像を示すプロフィール画像、動静の監視対象とする居所を示す動静閲覧対象、監査を行う範囲(グループ)を示す監査対象を備える。
さらに、ユーザテーブルは、ユーザに監視権限があるか否かを示す監視権限(TRUEである場合、監視権限あり)、及びユーザが在宅勤務可能であるか否かを示す在宅権限(TRUEである場合、可能)などを備えている。
尚、アカウントとパスワードは、常駐アプリケーションの初回起動時にユーザが設定し、以降は設定された値を使用するものとする。
認証に成功した場合、証跡管理サーバ114は、マスタデータ記憶部314に記憶された当該ユーザの利用可能な拠点に関する拠点情報を、監視端末102に送信する。
ユーザの利用可能な拠点情報とは、マスタデータ記憶部314に記憶された拠点情報(図13)の全てと、ユーザ情報の在宅権限がTRUEな場合は、ユーザの住所から生成した、名前が自宅である拠点情報である。
図13には、拠点情報を記憶するための拠点テーブルの構成が示されており、拠点テーブルは、拠点を一意に識別するための拠点ID、拠点の名称を示す名前、拠点の名称に対するフリガナ、拠点の住所などを備えている。
現在情報記憶部316に当該ユーザの現在のユーザ情報(図17参照)が存在する場合、最終利用拠点としてユーザの利用可能な拠点情報とともに監視端末102に送信する。
図17には、現在のユーザ情報を記憶するための現在ユーザ情報テーブルの構成が示されており、現在ユーザ情報テーブルは、ユーザを一意に識別するためのユーザID、ユーザが利用している監視端末102が接続された拠点を一意に識別するための拠点IDを備えている。
また、現在ユーザ情報テーブルは、在宅勤務か否かを示す在宅フラグ、テレワーク管理システム100にログイン中であるか否かを示すためのオンラインフラグ、ユーザの動静情報、ユーザ異常情報、ユーザがテレワーク管理システム100に最後にログインした日時、ユーザがテレワーク管理システム100から最後にログアウトした日時を備えている。
本ステップでは、ログインがなされたので、ログイン情報を現在ユーザ情報テーブルのオンラインフラグに記憶する。この場合、オンラインフラグにTRUEを記憶する。
ステップS204では、監視端末102が接続している拠点を、証跡管理サーバ114から取得した拠点リストの中から選択を受付ける。
監視端末102では、Wifi網等から近辺住所を取得でき、取得した拠点リストから接続元拠点を特定できる場合、自動で接続元拠点を決定してユーザに確認し、近辺住所を取得できたが取得した拠点リストから接続元拠点の特定には至らない場合、拠点リストを近辺住所から近い順に表示し(最終利用拠点を先頭に表示する)、ユーザに選択させ、近辺住所を取得できない場合、最終利用拠点を先頭として、拠点リストを表示する。選択した拠点情報は証跡管理サーバ114に送信する。
ステップS206では、証跡管理サーバ114が、監視端末102から受け取った拠点情報を、現在情報記憶部316の当該ユーザの現在のユーザ情報の拠点として登録し、当該ユーザがその拠点にログインしたことを、当該拠点の監視者の証跡監査端末112に通知する。
通知を受けた証跡監査端末112は、当該ユーザが「オンライン」であることを画面に表示する。
ステップS208では、証跡管理サーバ114が、ログインしたユーザの特徴量データがマスタデータ記憶部314に登録されているか否かを確認し、登録されていなければ、ステップS210において監視端末102に特徴量データを登録するよう命令し、登録されていれば、ステップS212において特徴量データを監視端末102に送信する。
図16には、特徴量データを記憶するための特徴量テーブルの構成が示されており、特徴量テーブルは、特徴量データを一意に識別するためのID、ユーザを特定するためのユーザ本人が居する画像データ、当該画像データから当該ユーザ本人を特定するための特徴量、当該画像が撮影された日時を含んで構成されている。
ステップS210では、監視端末102が、カメラデバイス210で撮影して得られた画像中のユーザの顔を検出し、その顔画像から特徴量データを算出して証跡管理サーバ114へ送信する。
尚、特徴量データは複数登録可能であり、登録する顔画像はユーザが選択できる。尚、カメラデバイス210で撮影して画像を得た後の処理は、証跡管理サーバ114で実施してもよい。
ステップS212では、監視端末102が、証跡管理サーバ114から取得した特徴量データを使ってユーザの顔を認証できるようにする。
ステップS214では、監視端末102が、ユーザが監視端末102の利用を終了しようとしているか否かを確認し、終了しようとしていなければ、ステップS216において動静を検出し、終了しようとしていれば、ステップS220においてログアウトする。
ステップS216では、監視端末102が、カメラデバイス210で撮影して得られた画像に対して顔検出および顔認証を行うことでテレワーカーの動静(在席、離席)及びユーザ異常(なりすまし、覗き見)の発生を検出する。
ユーザ自身の顔が一つだけ検出できれば「在席」、顔を検出できなければ「離席」、ユーザ自身の顔が検出できたが他にも顔を検出した場合は「覗き見」、ユーザ以外の顔だけ検出した場合は「なりすまし」とする。
一度の検出結果で状態を決定せず、過去の検出結果を踏まえて総合的に状態遷移を判定する。
状態が遷移して動静・ユーザ異常が発生したと判定した場合、その期間のユーザ証跡画像とともに検出結果を証跡管理サーバ114に送信する。
同じ状態が継続した場合、定期的に動静およびユーザ異常の終了時刻の更新指示とともにユーザ証跡画像を証跡管理サーバ114に送信する。
ステップS220では、証跡管理サーバ114が、監視端末102から送られてきた動静情報(図19参照)、ユーザ異常情報(図20参照)、及びユーザ証跡画像(図21参照)を監査情報記憶部322に記憶する。
図19には、ユーザの動静情報を記憶するための動静テーブルの構成が示されており、動静テーブルは、動静情報を一意に識別するためのID、ユーザを一意に識別するためのユーザID、動静を検出した監視端末102を一意に識別するための端末ID、動静を示す状態、監視端末102で監視を開始した日時、終了した日時を含んで構成されている。
図20には、ユーザ異常情報を記憶するためのユーザ異常テーブルの構成が示されており、ユーザ異常テーブルは、ユーザ異常情報を一意に識別するためのID、監視端末102からログインしたユーザのユーザID、ユーザ異常を示す状態、拠点において不正侵入がなされた等の状態、監視端末102で監視を開始した日時、及び終了した日時を備えている。
図21には、ユーザ証跡画像を記憶するための監視端末証跡画像テーブルの構成が示されており、監視端末証跡画像テーブルは、ユーザ証跡画像を一意に識別するためのID、ユーザ証跡画像が監視端末102のカメラデバイス210(あるいは、Webカメラ)で撮影して得られた画像かスクリーンショットかを識別するための種別、ユーザID、ユーザ証跡画像に係る画像データ、当該画像データが撮影あるいは取得された日時を含んで構成されている。
また、ユーザ異常が発生していた場合、拠点証跡画像および人体検出情報をストリーミングサーバ116から取得し、監査情報記憶部322に記憶する。
新たな動静情報およびユーザ異常情報を記憶した場合、現在情報記憶部316の現在ユーザ情報テーブルの当該ユーザの動静および異常を更新し、証跡監査端末112に動静情報及びユーザ異常情報を送信する。
動静情報及びユーザ異常情報を受けた証跡監査端末112は、当該ユーザの動静情報を拠点監視画面400に表示し、ユーザ異常であればユーザにアラートを出してユーザ異常を監査するように促す。
ステップS220では、監視端末102が、ユーザが監視端末102の利用を終了することを受けて、テレワーク管理システム100からログアウトする。
ステップS222では、証跡管理サーバ114が、現在情報記憶部316の当該ユーザのログイン情報をログアウト、つまり現在ユーザ情報テーブルのオンラインフラグをFALSEに変更し、証跡監査端末112に当該ユーザのログアウトを通知する。
通知を受けた証跡監査端末112は、当該ユーザが「オフライン」であることを画面に表示する。
ステップS224では、証跡管理サーバ114が、ユーザがログアウトした後、一定時間内に拠点を退室したかどうかを確認する。
監視端末102の利用を終了した後にも拠点内に居続ける行為は、労働時間の詐称にあたる可能性があるからである。尚、詳細は図7を用いて後述する。
以上で、監視端末102のカメラデバイス210を使ってユーザを監視する一連の流れの説明を終了する。
以下、図6を参照して、本実施形態のテレワーク管理システム100において、ネットワークカメラ104で拠点内の人数が増えたこと、さらにその人数が拠点内のログインユーザ数よりも多くなったことを検出したところから、不正侵入者を検出する一連の流れを説明する。
証跡監査端末112と証跡管理サーバ114の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS300では、証跡管理サーバ114が、拠点内の人数が増えたことを受けて拠点内の人数およびテレワーク管理システム100にログインしているユーザ数(監視端末102の数)を監視する。
本来、拠点内の人数がログインユーザ数よりも多くなったのであれば、新たに別の社員が拠点を訪れて監視端末102を利用するはずなので、その後拠点内のログインユーザ数が増えるはずである。
一定時間何も変化がなければ、社員以外が拠点に進入して目的を達成して出て行くという不正侵入があったものとみなし、不正侵入情報(詳細後述)を登録する。
ステップS302では、証跡管理サーバ114が、当該拠点のログインユーザ数を確認し、その数が増えたのであれば正規ユーザが勤務を開始したと推測できるので問題なしと判断して処理を終了し、そうでなければ、ステップS304へ処理を進めて、拠点内の人数を確認する。
ステップS304では、証跡管理サーバ114が、拠点内の人数を確認し、その人数が減ったのであれば、不正侵入者が拠点から出たと判断して、ステップS306へ処理を進め、そうでなければ引き続き拠点内の人数およびログインユーザ数を監視する。
ステップS306では、証跡管理サーバ114が、監査情報記憶部322に不正侵入情報(拠点異常情報、図22参照)を記憶する。
図22には、拠点異常情報を記憶するための拠点異常テーブルを備えており、拠点異常テーブルは、拠点異常情報を一意に識別するためのID、ネットワークカメラ104を一意に識別するためのカメラID、拠点において不正侵入がなされた等の状態、監視端末102で監視を開始した日時、終了した日時を備えている。
また、拠点異常テーブルは、テレワーク管理者が監査を行った結果を記憶するための監査結果、テレワーク管理者を一意に識別するためのユーザIDからなる監査者を含んで構成されている。
同時に、ストリーミングサーバ116から拠点証跡画像及び人体検出情報を取得して監査情報記憶部322の証跡画像テーブル及び人体検出情報記憶テーブルに記憶する。
また、現在情報記憶部316の当該ユーザの拠点異常情報も更新する。つまり、現在拠点情報テーブルの異常フラグを、例えば、不正侵入を示すフラグで更新する。
ステップS308では、証跡管理サーバ114が、証跡監査端末112に拠点異常の発生を通知する。
ステップS310では、証跡監査端末112が、証跡管理サーバ114から現在の拠点情報を取得して不正侵入の疑いがあることを拠点監視画面400に表示する。
テレワーク管理者が拠点監視画面400を見ているとは限らないし、他の拠点を監視中かもしれないので、警告ダイアログなどを出して証跡を確認するよう促す。例えば、拠点監視画面400の警告表示領域404にその旨を表示する。
以上で、不正侵入者を検出する一連の流れの説明を終了する。
以下、図7を参照して、本実施形態は、テレワーク管理システム100において、テレワーカーが監視端末102の利用を終了してからも拠点内に居続ける労働時間の詐称にあたる行為を検出する一連の流れを説明する。
証跡監査端末112と証跡管理サーバ114との処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS400では、証跡管理サーバ114が、拠点内のログインユーザ数が増えたことを受けて拠点内の人数およびテレワーク管理システム100にログインしているユーザ数(監視端末102の数)を監視する。
本来ユーザが監視端末102の利用を終了してログアウトしたのであれば、その後拠点を退出する(つまり拠点内の人体数は減る)はずである。
一定時間何も変化がなければ、監視端末102の利用を終了することで監視端末102による動静記録を逃れた上で継続して労働を行っている(すなわち労務時間の詐称)ものとみなして労務時間詐称情報(図22参照)を登録する。
労務時間詐称情報は、図22に示す拠点異常テーブルに記憶され、基本的に拠点異常情報と変わりはないが、状態については、労務時間を詐称した旨を示す情報が記憶される。
ステップS402では、証跡管理サーバ114が、当該拠点の人体数を確認し、その人体数が減ったのであれば正規ユーザが退社したと判断して処理を終了し、そうでなければ、ステップS404へ処理を進め、拠点内のログインユーザ数を確認する。
ステップS404では、証跡管理サーバ114が、拠点内のログインユーザ数を確認し、その数が増えたのであればログインしていたユーザが監視端末102を再起動したり場所を移動するために一時的にオフラインになったりしていたと推測できるので問題なしと判断して処理を終了し、そうでなければ、引き続き拠点内の人体数およびログインユーザ数を監視する。
ステップS406では、証跡管理サーバ114が、監査情報記憶部322の拠点異常テーブルに労務時間詐称情報(拠点異常情報)を記憶する。
同時に、ストリーミングサーバ116から拠点証跡画像(静止画像または動画像)及び人体検出情報を取得して監査情報記憶部322の証跡画像テーブル及び人体検出テーブルに記憶する。また、現在情報記憶部316の当該ユーザの拠点異常情報も更新、つまり現在拠点情報テーブルの異常フラグを更新する。
ステップS408では、証跡管理サーバ114が、証跡監査端末112に拠点異常の発生を通知する。
ステップS410では、証跡監査端末112が、証跡管理サーバ114から現在の拠点情報を取得して労務時間詐称の可能性があることを画面に表示する。
テレワーク管理者が画面を見ているとは限らないし、他の拠点を監視中かもしれないので、警告ダイアログなどを出して証跡を確認するよう促す。表示する画面の例を図10に示す。
図10には、拠点監視画面400が示されており、拠点証跡画像表示領域405に労務時間詐称の可能性がある旨を示す情報が表示されている。
以上で、労務時間の詐称にあたる行為を検出する一連の流れの説明を終了する。
以下、図8を参照して、本実施形態のテレワーク管理システム100において、テレワーク管理者がユーザの異常(なりすましや覗き見)と拠点の異常(不正侵入や労務時間詐称)を監査する一連の流れを説明する。
証跡監査端末112と証跡管理サーバ114の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS500では、証跡監査端末112が、監視中の拠点で発生中の異常を監査するかどうかユーザに確認し、確認するのであれば、ステップS506へ処理を進め、その情報を即座に表示し、それ以外の過去の異常を監査するのであれば、ステップS504へ処理を進め、異常の一覧を表示する。
ステップS502では、証跡管理サーバ114が、指定拠点内の異常の一覧を検索して証跡監査端末112に返却する。
ステップS504では、証跡監査端末112が、ユーザからの監査対象の選択を受付ける。その際、一覧を異常の種類によってフィルタリングする機能や、並び順を変えるソート機能を提供してもよい。
ステップS506では、証跡管理サーバ114が、指定の異常の発生期間内のネットワークカメラ104から取得した拠点異常情報(ネットワークカメラの動画像または静止画像および人体検出情報)及び、各ログインユーザの動静情報とユーザ異常情報及びその際のユーザ証跡画像を検索して証跡監査端末112に返却する。
ステップS508では、証跡監査端末112が、拠点異常情報とユーザ異常情報を画面に表示し、テレワーク管理者に確認させて、最終的な異常(または異常なし)を決定させ、その監査結果を証跡管理サーバ114に送信する。
情報の確認のさせ方としては、発生期間内の情報を自動で時系列順に流して確認させる方法や、確認したい時刻を指定させてその際の情報を確認させる方法などがある。異常を監査する画面の例を図11に示す。
図11には、監査画面500の構成が示されており、監査画面500は、監査対象とする拠点を示す拠点表示領域501、拠点の異常の種類によって監査すべき対象を絞り込むための状態選択欄502、当該拠点における監視結果を表示する監視情報表示領域503を備えている。
また、監査画面500は、ネットワークカメラ104が設置された拠点を選択するためのカメラ拠点選択欄504、不正侵入の警告表示を行うための警告表示領域505、ネットワークカメラ104で撮影して得られた画像に係る拠点証跡画像として表示するための拠点証跡画像表示領域506を備えている。
ステップS510では、証跡管理サーバ114が、監査結果を拠点異常テーブルへ記憶し、当該拠点を監視しているすべての証跡監査端末112に監査が行われたことを通知する。
通知を受けた証跡監査端末112は、証跡管理サーバ114から現在の拠点情報を取得して画面の表示を更新する。
ステップS512では、証跡監査端末112が、他の異常を監査するかどうかユーザに確認し、継続するのであれば、ステップS502へ処理を進めて、異常の一覧を表示し、継続しないのであれば処理を終了する。
以上で、テレワーク管理者がユーザの異常と拠点の異常を監査する一連の流れの説明を終了する。
[第2の実施形態]
次に、第2の実施形態について説明を行うが、基本的な構成及び処理については、ほぼ同様な構成及び処理を備えるため、第1の実施形態と同一の構成及び処理については、詳細な説明を省略して、同一符号を用いて説明を行う。
図25及び図26には、ネットワークカメラ104による拠点監視を行う一連の流れを説明する。
ステップS600では、ストリーミングサーバ116において、拠点監視部336は、撮影して得られた画像に対して人の検出を行い、拠点証跡画像と人体検出情報とを拠点監視情報記憶部338に記憶する。そして、証跡管理サーバ114に対して拠点証跡画像と人体検出情報とを送信する。
ステップS602では、証跡管理サーバ114において、拠点異常検出部323は、ストリーミングサーバ116から送信される拠点証跡画像に対して、新たに入室した者(不明者)がいるかいないかの判定を行い、不明者がいると判定した場合は、ステップS604へ処理を進め、不明者がいると判定しない場合は、処理を終了する。
本判定方法の1例として、ネットワークカメラ104の追尾機能を用いて、既に追跡している人体以外の人体が検知できたときに、新たに入室した者(不明者)がいるとして判定を行う。
ステップS604では、証跡管理サーバ114において、不明者の入室した時間(撮影日時)を人体情報テーブル(図28)へ記憶する。
図28には、ネットワークカメラ104で追尾対象となる人体とログインしているユーザとの対応を示す人体情報を記憶するための人体情報テーブルが図示されており、ネットワークカメラ104の追跡対象となる人体を一意に識別するためのNO、追跡対象となる人体に関わる特徴量等の人体情報、人体に紐付けられたユーザID、人体が入室した時間等を含んで構成されている。
ステップS606では、証跡管理サーバ114において、拠点証跡画像から特定される人体のうち、ログインユーザと紐付いていない人体が存在するか否かを判定し、存在すると判定した場合は、ステップS608へ処理を進め、存在すると判定しない場合は、ステップS610へ処理を進める。
本ステップでは、人体情報テーブルにおいて、ユーザIDが登録されていない人体情報が存在する場合、ステップS608へ処理を進め、存在すると判定しない場合、ステップS610へ処理を進める。
ステップS608では、証跡管理サーバ114において、人体とログインユーザとの紐付けを行う。紐付けの方法としては、例えば、人体の顔画像と、ログインしているユーザのユーザ情報に含まれるプロフィール画像(顔画像)との類似度が高いものを紐付ける方法や、人体の顔画像と、カメラデバイス210で撮影して得られた人の画像の上半身との色ヒストグラムによる類似度が高いものを紐付ける方法がある。
また、人体と、ネットワークカメラ104で撮影して得られた監視端末102との距離が近い場合、当該監視端末102にログインしているものとして扱って、紐付ける方法などがあげられる。
そして、紐付けられた人体に関する人体情報に対応して、ログインしているユーザのユーザIDを人体情報テーブルへ記憶する。
ステップS610では、証跡管理サーバ114において、不明者の数が減ったか否かを判定し、減ったと判定した場合は、ステップS614へ処理を進め、減ったと判定しない場合は、ステップS612へ処理を進める。
本ステップにおける判定方法の1例としては、前述したように、ネットワークカメラ104において、追尾対象となる人体の数の増減によって判定することが可能である。
これにより、入室した不明者が、すぐに退室したことが想定され、悪意のある者か、悪意の無い者かに関わらず監視者へ通知を行う。
ステップS612では、証跡管理サーバ114において、不明者が入室してから一定時間経過したか否かを判定し、一定時間経過したと判定した場合は、ステップS614へ処理を進め、一定時間経過したと判定しない場合は、ステップS616へ処理を進める。
これによって、不明者が入室した後、一定時間以内に、監視端末102の前に座って、ログインを行ったか否かによって、不正侵入がなされていることを監視者へ通知することが可能となる。
ステップS614では、不正侵入であることを証跡監査端末112へ通知する。
ステップS616では、証跡管理サーバ114において、人体と紐付けられたユーザの人数が減ったか否かを判定し、減ったと判定した場合は、ステップS618へ処理を進め、減ったと判定しない場合は、ステップS600へ処理を進める。
ステップS618では、監視端末102において、ログインしているユーザの在席状況を判定し、離席、あるいはログアウトしていると判定した場合は、ステップS620へ処理を進め、在席していると判定した場合は、ステップS622へ処理を進める。
ステップS620では、ユーザの動静を退室したものとして、動静情報を監査情報記憶部322へ記憶し、ステップS622では、ログインしているユーザと、まだ紐付いていない人体との紐付けを見直すが、見直しの方法は、ステップS608と同様な処理を行う。
ステップS624では、人体に紐付けられたユーザのログアウトから一定時間経過したか否かを判定し、経過したと判定した場合は、ステップS626へ処理を進め、経過したと判定しない場合は、ステップS600へ処理を進める。
以下、図27を参照して、本実施形態のテレワーク管理システム100において、監視端末102のカメラデバイス210を使ってユーザを監視する一連の流れを説明する。
ステップS700では、監視端末102が、カメラデバイス210で撮影して得られた画像に対して顔検出および顔認証を行うことでテレワーカーの動静(在席、離席)及びユーザ異常(なりすまし、覗き見)を証跡管理サーバ114に送信する。
ステップS701では、証跡管理サーバ114において、監視端末102から送信される動静を受付け、ステップS702では、証跡管理サーバ114において、ステップS702で受付けた動静が、在席であるか否かを判定し、在席であると判定した場合は、ステップS704へ処理を進め、在席であると判定しない場合は、ステップS216へ処理を進める。
ステップS704では、証跡管理サーバ114において、在席であると判定したユーザに紐付いた人体がいるか否かを判定し、いると判定した場合は、ステップS216へ処理を進め、いると判定しない場合は、ステップS706へ処理を進める。
本ステップにおける判定の1例として、人体情報テーブルのユーザIDが存在しない人体情報が存在する場合は、ステップS706へ処理を進める。
ステップS706では、証跡管理サーバ114において、不明者の人数を判定し、1人であると判定した場合は、ステップS708へ処理を進め、2人以上であると判定した場合は、ステップS710へ処理を進める。
ステップS710では、証跡管理サーバ114において、人体とログインユーザとの紐付けを行う。紐付けの方法としては、前述した方法があげられる。
ステップS712では、ユーザの動静を在室したものとして、動静情報を監査情報記憶部322へ記憶する。
尚、本処理では、ログアウトされて、そのユーザが、ネットワークカメラ104において追尾できなくなったときに、人体情報テーブルの人体情報を削除する。
また、本処理において、監視者へ通知を行う際に、図29に示すような拠点監視画面400において通知され、拠点証跡画像表示領域405には、不審者となる人体を識別して表示を行うとともに、人体に紐付けられたログインユーザが識別可能なようにユーザ名や顔画像等を人体の近辺に表示する。
さらに、ログインしているユーザの人数と拠点人数とが一致しない場合であっても、ログインしているユーザが退室した場合であれば、不正侵入がなされたと見做さないような運用を取ることが可能となる。
以上、本発明によれば、拠点における人物の数と情報処理システムにログインしている人数とを比較することで、拠点における人物の監視を精度良く行うことができる。
以上、実施形態例を詳述したが、本発明は、例えば、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能(読み取り可能)なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。
なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク等を用いることができる。
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているOS等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。