JP6485522B2 - 管理サーバ、情報処理端末、制御方法、及びプログラム - Google Patents

Description

本発明は、視線推定技術を用いた情報セキュリティ監視技術に関する。

近年、各企業でテレワークへの関心が高まっている。テレワークには機密情報への第三者のアクセス防止や労働管理の適正化などの課題があり、導入するためにはそれらの課題を解決しなければならない。

現在、それらの課題を解決するため、顔認証技術を利用したテレワーク管理支援システムが開発されており、このシステムを用いることで、ウェブカメラ画像から本人認証を行い、なりすましや第三者による覗き見の状態を検出し、管理者に通知することができる。

また、テレワークでは管理者がテレワーク用の端末画面を直接監視できないため、情報セキュリティ上の問題が発生した場合に、端末画面の表示内容から漏えいの可能性のある機密情報を把握することが重要となる。

特許文献１は、在宅勤務者の勤務状況を管理するための技術であり、在宅勤務者の勤務状態が「勤務中」である場合に定期的に表示画面をキャプチャし、作業の証跡としてサーバに送信する。

特開２０１２−２５６３２９号公報

前記特許文献１の技術では、定期的に表示画面をキャプチャし、証跡として残すことにより、端末画面に表示されていた内容を後で確認することができる。

この方法によると、定期的に端末画面の表示内容を証跡として残すことができるが、第三者の覗き見などの情報セキュリティ上の不具合状態が発生した場合、画面上のどの位置に表示された情報に関心があったかまでは証跡として残すことはできない。

そのため、例えば、第三者に端末画面から秘密情報を覗き見され、漏えい対策を行う場合にどの情報から優先して対処すべきか判断できない時がある。

このように、秘密情報の漏えいがあった場合に、端末画面で表示されていた情報および画面上のどの部分に関心を寄せていたかを証跡として残すことにより、漏えい対策の優先順位を的確に判断可能となる。

そこで、本発明では、画面を見ているユーザを特定し、当該ユーザが画面内のどの表示領域を注視していたかを示すことにより、情報漏えいの可能性を確認できる仕組みを提供することを目的とする。

本発明の管理サーバは、ユーザ端末と通信可能に接続され、前記ユーザ端末の状況を表示装置に表示させる管理サーバであって、前記ユーザ端末の表示画面のスクリーン画像を取得するスクリーン画像取得手段と、前記ユーザ端末の表示画面を見ているユーザを特定するユーザ特定手段と、前記スクリーン画像に対応し、前記スクリーン画像でユーザが注視した視線情報をユーザごとに取得する視線情報取得手段と、前記特定したユーザおよび前記取得した視線情報に基づいて、当該ユーザが前記スクリーン画像内のどの表示領域を注視していたかを表示させるべく制御する表示制御手段と、を有し、前記ユーザ特定手段によりユーザを特定できなかった場合に、前記表示制御手段が前記表示領域を注視したユーザが未知のユーザであることを表示させることを特徴とする。

本発明の制御方法は、ユーザ端末と通信可能に接続され、前記ユーザ端末の状況を表示装置に表示させる管理サーバの制御方法であって、スクリーン画像取得手段が、前記ユーザ端末の表示画面のスクリーン画像を取得するスクリーン画像取得ステップと、ユーザ特定手段が、前記ユーザ端末の表示画面を見ているユーザを特定するユーザ特定ステップと、視線情報取得手段が、前記スクリーン画像に対応し、前記スクリーン画像でユーザが注視した視線情報をユーザごとに取得する視線情報取得ステップと、表示制御手段が、前記特定したユーザおよび前記取得した視線情報に基づいて、当該ユーザが前記スクリーン画像内のどの表示領域を注視していたかを表示させるべく制御する表示制御ステップと、を有し、前記ユーザ特定ステップにてユーザを特定できなかった場合に、前記表示制御ステップにて前記表示領域を注視したユーザが未知のユーザであることを表示させることを特徴とする。

本発明のプログラムは、ユーザ端末と通信可能に接続され、前記ユーザ端末の状況を表示装置に表示させる管理サーバにおいて実行可能なプログラムであって、前記管理サーバを、前記ユーザ端末の表示画面のスクリーン画像を取得するスクリーン画像取得手段と、前記ユーザ端末の表示画面を見ているユーザを特定するユーザ特定手段と、前記スクリーン画像に対応し、前記スクリーン画像でユーザが注視した視線情報をユーザごとに取得する視線情報取得手段と、前記特定したユーザおよび前記取得した視線情報に基づいて、当該ユーザが前記スクリーン画像内のどの表示領域を注視していたかを表示させるべく制御する表示制御手段と、として機能させ、前記ユーザ特定手段によりユーザを特定できなかった場合に、前記表示制御手段が前記表示領域を注視したユーザが未知のユーザであることを表示させることを特徴とする。

本発明によると、画面を見ているユーザを特定し、当該ユーザが画面内のどの表示領域を注視していたかを示すことにより、情報漏えいの可能性を確認できる仕組みを提供可能となる。

本発明におけるテレワーク管理支援システムの構成の一例を示すシステム構成図である。 図１に示した管理サーバ１０１、テレワーカ用ＰＣ１１１、管理者用ＰＣ１２１に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 本発明におけるテレワーク管理支援システムの機能構成の一例を示すブロック図である。 本発明におけるテレワーク管理支援システムのセキュリティ監視処理の一例を示すフローチャートである。 本発明におけるテレワーク管理支援システムの状態判定詳細処理の一例を示すフローチャートである。 本発明におけるテレワーク管理支援システムの機密レベル判定詳細処理の一例を示すフローチャートである。 本発明におけるテレワーク管理支援システムの視線先推定詳細処理の一例を示すフローチャートである。 本発明におけるテレワーク管理支援システムの証跡表示詳細処理の一例を示すフローチャートである。 本発明におけるテレワーク管理支援システムの証跡サマリ表示詳細処理の一例を示すフローチャートである。 本発明におけるテレワーク管理支援システムのパラメータ設定例である。 本発明におけるテレワーク管理支援システムの視線先情報の一例を示すデータ構成図である。 本発明におけるテレワーク管理支援システムのスクリーン画像情報、表示領域情報、機密レベル情報の一例を示すデータ構成図である。 本発明におけるテレワーク管理支援システムの証跡サマリ画面の一例を示す画面イメージである。 本発明におけるテレワーク管理支援システムの証跡詳細画面の一例を示す画面イメージである。 本発明におけるテレワーク管理支援システムの証跡詳細画面の一例を示す画面イメージである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の本人認証処理を適用したテレワーク管理支援システム１００の構成の一例を示すシステム構成図である。

テレワーク管理支援システム１００は、１または複数の管理サーバ１０１、１または複数のデータベース１０２、１または複数のテレワーカ用ＰＣ１１１、１または複数の管理者用ＰＣ１２１がインターネット１３０を介して接続される構成となっている。

管理サーバ１０１は、テレワーカの離席状況や他者による覗き込み、なりすましの証跡データをテレワーク情報として一元管理するサーバであり、サービス環境ネットワーク１０４上に構築されている。管理サーバ１０１へは、テレワーカ用ＰＣ１１１と管理者用ＰＣ１２１が、アカウントＩＤとパスワードを用いた認証処理により接続する。管理サーバ１０１は、テレワーカ用ＰＣ１１１からテレワーク情報を受信した場合はデータベース１０２に格納する。また、管理者用ＰＣ１２１から取得要求があった場合は、データベース１０２から必要なテレワーク情報を取り出す。

データベース１０２は、管理サーバ１０１の操作にもとづいてテレワーク情報を記憶するサーバであり、サービス環境ネットワーク１０４上に構築されている。データベース１０２は、テレワーク情報のほかに、管理サーバ１０１への接続用アカウントＩＤとパスワードも記憶する。

データベース１０２は、管理サーバ１０１からの接続のみ許可し、外部からは接続できない。

テレワーカ用ＰＣ１１１は、テレワーク情報のもととなる証跡データを作成する端末であり、自宅ネットワーク１１０上に存在する。証跡データは、専用アプリケーションにより作成され、ルータ１１２、インターネット１３０、ルータ１０３を介して管理サーバ１０１へ送信される。本実施形態の本人認証処理はこの専用アプリケーション内の機能として動作する。

管理者用ＰＣ１２１は、テレワーク情報を確認するための端末であり、社内ネットワーク１２０上に存在する。テレワーク情報の確認にはウェブ管理コンソール（ウェブブラウザ上で動作）を使用し、ルータ１２２、インターネット１３０、ルータ１０３を介して管理サーバ１０１に接続する。

以下、図２を用いて図１に示した管理サーバ１０１、データベース１０２、テレワーカ用ＰＣ１１１、管理者用ＰＣ１２１に適用可能な情報処理装置のハードウェア構成について説明する。

図２は、図１に示した管理サーバ１０１、データベース１０２、テレワーカ用ＰＣ１１１、管理者用ＰＣ１２１に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１２からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９、ウェブカメラ２１０や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１１への表示を制御する。ディスプレイ２１１は、ＣＲＴや液晶ディスプレイ等の表示器である。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したネットワーク１０４）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１１上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１２に格納されており、これらについての詳細な説明も後述する。

図３は、図１に示した管理サーバ１０１、データベース１０２、テレワーカ用ＰＣ１１１、管理者用ＰＣ１２１の機能を説明するための機能ブロック図である。

テレワーク管理支援システム１００において、主に、テレワーカ用ＰＣ１１１では本人認証処理による労務監視、管理サーバ１０１とデータベース１０２では監視情報の管理、管理者用ＰＣ１２１では監視情報の表示をおこなう。

テレワーカ用ＰＣ１１１は、認証制御部３１１、画像取得部３１２、イベント検出部３１３、画面表示内容取得部３１４、画面表示内容解析部３１５、視線解析部３１６、証跡データ送信制御部３１７から構成される。

テレワーカ用ＰＣ１１１は専用アプリケーションを用いて、認証制御部３１１がウェブカメラ２１０により撮影された画像から本人認証処理をおこなう。認証制御部３１１は認証されたユーザのアカウントＩＤとパスワードを使用して、管理サーバ１０１と通信接続を確立する。管理サーバと接続を確立後、テレワーカの労務監視およびセキュリティ監視をおこなう。

画像取得部３１２は、ウェブカメラ２１０や不図示の監視カメラなどを用いて、テレワーカ用ＰＣのディスプレイ２１１の画面に対向する空間の画像を取得する。

イベント検出部３１３は、画像取得部３１２により取得した画像を基に、画像に写り込んだ人物を特定し、離席や他者による画面覗き込み、本人なりすましなどの状態をイベントとして検出する。

画面表示内容取得部３１４は、定期的、または、イベント検出時等の不定期に、ディスプレイ２１１の画面の表示内容を取得する。

画面表示内容解析部３１５は、画面表示内容取得部３１４が取得した表示内容を基に、画面に表示されていた内容の重要度等を解析する。

視線解析部３１６は、イベント検出部３１３により特定された人物に対し、ウェブカメラ２１０や不図示の赤外線カメラなどにより取得した視線検知用画像を基に、既知の視線検出技術を用いて視線を検出し、画面表示内容取得部３１４により取得された表示内容のどの部分を注視していたかを特定する。

証跡データ送信制御部３１７は、イベント検出部３１３によるイベント内容、画面表示内容取得部３１４による表示内容、画面表示内容解析部３１５による解析結果、視線解析部３１６による視線位置情報を合わせて、管理サーバ１０１に証跡データとして送信する。

管理サーバ１０１は、証跡データ受信制御部３０１、証跡データ登録部３０２、証跡表示制御部３０３から構成される。

管理サーバ１０１はテレワーカ用ＰＣ１１１から証跡データが送信されると、証跡データ受信制御部３０１が当該データを受信し、証跡データ登録部３０２がデータベース１０２の証跡データ記憶部３０４に格納する。証跡データの受信時、管理サーバ１０１から管理者用ＰＣ１２１のユーザにメール通知するようにしてもよい。

証跡表示制御部３０３は、管理者用ＰＣ１２１から証跡表示要求があった場合、証跡データ記憶部３０４に格納されている証跡データを基に表示データを作成し、管理者用ＰＣに送信する。

管理者用ＰＣ１２１は、証跡表示部３２１を持つ。

証跡表示部３２１は、ウェブブラウザから専用ＵＲＬにアクセスするウェブ管理コンソールにより実現され、管理サーバ１０１に証跡表示要求を送信することにより、表示データを受信し、証跡情報を表示する。また、ウェブ管理コンソールでは、証跡情報のほか、本人認証処理に使用しているテレワーカ写真、テレワーカ用ＰＣ１１１の管理サーバへの通信状況などについて確認できる。

なお、本構成例では、イベント検出部３１３、画面表示内容解析部３１５、視線解析部３１６をテレワーカ用ＰＣ１１１の構成としたが、テレワーカ用ＰＣ１１１にて取得した前記の画像、画面表示内容、視線検知用画像を基に処理するように管理サーバ１０１の構成としてもよい。

また、テレワーカ用ＰＣ１１１にて、証跡表示制御部３０３の機能を持ち、証跡データを基に作成した表示用データを管理サーバ１０１に送信し登録してもよい。

また、管理者用ＰＣ１２１にて、証跡表示制御部３０３の機能を持ち、管理サーバ１０１の証跡データ記憶部に格納されている証跡データを基に表示データを作成し証跡情報を表示するようにしてもよい。

以下、図４を参照して、本実施形態のテレワーク管理支援システム１００におけるセキュリティ監視処理について説明する。

本処理は、テレワーカ用ＰＣ１１１に備え付けられたウェブカメラの画像から、本人以外の人物（第三者）が画面を覗き込んだ場合や、本人になりすました場合のディスプレイ上の視線先を推定し、どの表示領域に関心を向けていたかを証跡として取得する。テレワーカ本人以外がディスプレイを覗き見た場合は、管理サーバにスクリーン画像と、視線位置情報と機密レベル情報を証跡情報として送信する。

本処理のポイントとして、テレワーカ本人以外がディスプレイを覗き見た場合や本人になりすました場合に、その人物のディスプレイ上の視線先推定位置と、ディスプレイ表示されている内容とその機密レベルを証跡情報として取得することが挙げられる。

ディスプレイ上の視線先推定位置は、テレワーカ本人以外がディスプレイ上のどの領域に視線を向けているかの推定位置を示す。機密レベルは、ディスプレイに表示されているファイルの属性や、表示されている文字情報を基に算出した機密の度合いを示す。

以下に、図４を参照して本実施形態の視線先推定処理の各ステップについて説明する。

ステップＳ４０１では、テレワーカ用ＰＣ１１１は設定ファイルから各種パラメータを読み込む。読み込んだ各パラメータは、ＲＡＭ２０３に記憶させておき、必要なときに参照する。各パラメータの設定ファイルの記載例は、図１０にて説明する。

ステップＳ４０２では、認証制御部３１１は、Ｓ４１７で証跡情報を送信できるよう、管理サーバとの通信接続を確立する。接続の確立には、あらかじめ管理サーバに登録しているテレワーカのシステムログイン用のアカウントＩＤとログインパスワードを使用する。

ステップＳ４０３では、画像取得部３１２は、ウェブカメラ２１０から画像を取得する。取得した画像はＲＡＭ２０３に記憶しておき、Ｓ５０１、Ｓ５０２、Ｓ６０１、Ｓ６０２、Ｓ６０３の各ステップで使用する。

ステップＳ４０４では、イベント検出部３１３は、ステップＳ４０３で取得した画像から状態を判定する。状態判定処理の詳細は、図５で説明する。

ステップＳ４０５では、判定状態により処理を決定する。判定状態がセキュリティ上問題のある「覗き見」または「なりすまし」の場合は、ステップＳ４０６に進む。一方、セキュリティ上問題のない「在席」または「離席」の場合は、ステップＳ４１２で次回の処理ｄ実行タイミングまで待機する。

なお、本例では「覗き見」または「なりすまし」の場合のみ、証跡を取得するようにしているが、「在席」の場合にも証跡を取得し、セキュリティ監視や勤務状態の確認のために使用してもよい。

ステップＳ４０６では、画面表示内容取得部３１４は、判定状態および画面の表示内容に変化があったかを判断する。前回処理と今回とで、判定状態が異なる場合または画面の表示内容が異なる場合は、新たに画面表示内容を取得するためにステップＳ４０７に進む。、判定状態と表示内容が同じ場合は、ステップＳ４１０に進む。

ここで、画面の表示内容の変化を判断する際に画面スクロールされている状況では、処理サイクルが短い場合には通常通り、画面の表示内容に変化があったとして画面表示内容を取得すればよいし、処理サイクルが長い場合には画面スクロール中の視線先推定は困難であるため、画面スクロールが終了した段階で画面表示内容を取得するようにしてもよい。

また、例えば一度別のウィンドウを前面に表示して、そのウィンドウを非表示にした状況のように、結果的に表示内容が同じであるような場合には、前の画面の表示内容が継続しているとして処理を実施してもよい。それにより、同一の情報に対して注視していた結果をより正確に得ることができる。

ステップＳ４０７では、画面表示内容取得部３１４は、テレワーカ用ＰＣ１１１のディスプレイ２１１の画面に表示されている内容をＯＳ等から取得する。取得する情報は、画面のスクリーン画像、表示されているウィンドウで起動されているアプリケーションや開かれているファイルなど、である。本ステップで取得するスクリーン画像情報、表示領域情報をそれぞれ図１２（ａ）、図１２（ｂ）で説明する。

ステップＳ４０８では、画面表示内容解析部３１５は、ステップＳ４０７にて取得した画面の表示内容を基に、機密レベルを判定する。機密レベル判定処理の詳細は図６で説明する。

ステップＳ４０９では、証跡データ送信制御部３１７は、ステップＳ４０７で取得した画面表示内容およびステップＳ４０８で判定した機密レベル情報を、管理サーバ１０１に送信し、管理サーバ１０１ではデータベース１０２に登録する。なお、本例では画面表示内容を取得するたびに送信しているが、データを蓄積して定期または不定期、イベント発生などのタイミングで一括して送信する形態でもよい。送信する情報の詳細例は、図１２（ａ）〜（ｃ）で説明する。

ステップＳ４１０では、視線解析部３１６は、ウェブカメラ画像に写っている顔に対して視線先推定処理をおこない、ＰＣ画面上のどの領域を見ているかを算出し、視線位置情報を作成する。視線先推定処理の詳細は、図７で説明する。

ステップＳ４１１では、証跡データ送信制御部３１７は、ステップＳ４１０で作成した視線位置情報を、管理サーバ１０１に送信し、管理サーバ１０１ではデータベース１０２に登録する。なお、本例では視線位置情報を取得するたびに送信しているが、データを蓄積して定期または不定期、イベント発生などのタイミングで一括して送信する形態でもよい。送信する情報の詳細例は、図１１で説明する。

ステップＳ４１２では、画像取得部３１２は、次の画像取得タイミングまでの時間調整のためにスリープ処理をおこなう。スリープする時間は、Ｓ４０１で読み込んだ処理サイクルのパラメータを使用する。

ステップＳ４１３では、セキュリティ監視処理を終了させるか判断する。セキュリティ監視処理を終了させるには、メニュー等からテレワーカ本人が明示的に命令する。セキュリティ監視処理を終了させない場合は、再びステップＳ４０３の処理に戻る。

以下、図５を参照して、本実施形態の状態判定処理（Ｓ４０４）について説明する。

状態判定処理は、イベント検出部３１３が実行する。

ステップＳ５０１では、ステップＳ４０３で取得した画像から顔を検出する。顔の検出には外部ライブラリを使用し、顔の個数と画像上での位置を特定する。検出結果はＲＡＭ２０３に記憶しておき、後続処理で使用する。

ステップＳ５０２では、ステップＳ５０１での顔検出結果により状態を判定する。顔の検出数が０個（未検出）の場合、後述するステップＳ５０３で「離席」として判定する。検出数が１個の場合、後述するステップＳ５０５でテレワーカ本人かどうか確認するための顔認証処理をおこなう。検出数が２個以上の場合、後述するＳ５０４で「覗き見」として判定する。

ステップＳ５０３では、判定状態を「離席」に設定する。判定状態はＲＡＭ２０３に記憶しておき、後続処理で使用する。

ステップＳ５０４では、判定状態を「覗き見」に設定する。判定状態はＲＡＭ２０３に記憶しておき、後続処理で使用する。

ステップＳ５０５では、顔認証処理により、ウェブカメラ画像に写る顔とテレワーカが同一人物であるかの類似度を算出する。顔認証処理には、外部ライブラリを使用する。算出した類似度はＲＡＭ２０３に記憶しておき、後続処理で使用する。

ステップＳ５０６では、顔認証処理の類似度の結果とステップＳ４０１で読み込んだ類似度の閾値を比較し、画像に写る顔がテレワーカ本人であるか判断する。類似度が閾値以上の場合は本人と判断し、ステップＳ５０７で「在席」として判定する。類似度が閾値を満たさない場合は他人と判断し、ステップＳ５０８で「なりすまし」として判定する。

以下、図６を参照して、本実施形態の機密レベル判定処理（Ｓ４０８）について説明する。

機密レベル判定処理では、ステップＳ４０７で取得した画面の表示内容を基に機密レベル（言い換えると重要度）を算出する。機密レベルは１〜４の整数で表し、１であれば最も機密性が高い内容が表示されていたことを示す。また４であれば機密性が低い内容が表示されていたことを示す。

機密レベル判定処理は、画面表示内容解析部３１５が実行する。
以下に、各ステップの処理について説明する。

ステップＳ６０１では、取得した画面表示内容から表示領域一覧を取得する。表示領域とは、基本的に各ウィンドウを指すが、ウィンドウ以外のデスクトップであってもよい。取得した表示領域一覧情報はＲＡＭ２０３に記憶しておき、ステップＳ６０２で使用する。

ステップＳ６０２では、表示領域すべてに機密レベル算出処理をおこなったか判断する。未処理の表示領域がある場合、ステップＳ６０３で表示領域の表示位置情報を取得する。すべての表示領域を処理した場合、ステップＳ６０６で機密レベルの値を機密レベル情報に登録する。

ステップＳ６０３では、処理対象の表示領域が画面上のどの位置に表示されているかの情報を、表示領域一覧情報から取得する。取得した表示位置情報はＲＡＭ２０３に記憶しておき、ステップＳ６０４で使用する。

ステップＳ６０４では、表示領域の表示位置情報を使用して、表示領域に表示していた文字情報を抽出する。文字情報の抽出には、外部ライブラリを使用する。抽出した文字情報はＲＡＭ２０３に記憶しておき、ステップＳ６０５で使用する。

ステップＳ６０５では、抽出した文字情報を解析し、表示領域内の表示内容の機密レベルを算出する。機密レベルは、表示領域に表示している文字情報の解析結果から、１〜４の整数で算出する。機密レベルの値は、１が最も機密性が高い内容を意味し、４が最も低い内容であったことを表す。算出単位は、表示領域全体、段落単位、文章単位、単語単位などがあり、その組み合わせであってもよい。

機密レベルの解析には、事前に機密用語を登録した辞書データベースを使用する。例えば、辞書データベースに登録してある用語の出現回数のカウントや、ベイズ分類器と辞書データベースの組み合わせるような使用方法が考えられる。

表示内容が図表の場合には、その図表を説明する文章や段落から機密レベルを算出する。例えば、図表番号が記載されている段落の機密レベルを算出することで、それを図表の機密レベルとするような算出方法も考えられる。

また、表示領域で開いているファイルの属性から表示領域の機密レベルを判定してもよい。

算出した機密レベルはＲＡＭ２０３に記憶しておき、ステップＳ６０６で使用する。

ステップＳ６０６では、ステップＳ６０５で取得した機密レベルを証跡情報の一部として登録する。機密レベルの登録の際には、算出単位を画面上の座標情報に変換して表示位置を特定できるように登録する。機密レベル情報の詳細例は、図１２（ｃ）で説明する。

以下、図７を参照して、本実施形態の視線先推定処理（Ｓ４１０）について説明する。

視線先推定処理では、ウェブカメラ画像に写っているテレワーカ本人を含むすべての顔に対し、画面のどの領域に視線を向けていたか推定し、視線位置情報として算出する。
視線推定処理は、視線解析部３１６が実行する。
以下に、各ステップの処理について説明する。

ステップＳ７０１では、ウェブカメラ画像に写っている顔すべてに視線推定処理をおこなったかを判断する。未処理の顔がある場合、ステップＳ７０２で顔認証処理によりテレワーカ本人との類似度を算出する。すべての顔を処理した場合、ステップＳ７０５で視線位置情報を証跡情報の一部として登録する。

ステップＳ７０２では、顔認証をおこない、処理対象の顔とテレワーカが同一人物であるかの類似度を算出し、テレワーカ本人なのか判定する。テレワーカ本人であるか判定することで、視線位置情報を漏えい情報の絞り込みのほか、テレワーカの勤務状況の管理にも使用できるようになる。

顔認証処理には、外部ライブラリを使用する。算出した類似度はＲＡＭ２０３に記憶しておき、ステップＳ７０５で使用する。

ステップＳ７０３では、処理対象の顔に対して視線検出をおこなう。視線検出には、外部ライブラリを使用する。検出結果はＲＡＭ２０３に記憶しておき、ステップＳ７０５で使用する。

ステップＳ７０４では、視線検出結果をもとに、顔の視線先がスクリーン画像上のどの位置であるかを、視線位置情報として算出する。視線位置情報は、Ｘ方向とＹ方向のピクセル座標で表現する。算出結果はＲＡＭ２０３に記憶しておき、ステップＳ７０５で使用する。

ステップＳ７０５では、算出した視線位置情報を証跡情報の一部として登録する。
視線位置情報の詳細例は、図１１で説明する。

以下、図８を参照して、本実施形態の証跡表示処理について説明する。

証跡表示処理では、取得イベント一覧から確認するイベントの選択後に、証跡情報である画面のスクリーン画像、視線位置情報、機密レベル情報から、覗き見となりすましのイベントが発生したときの第三者の視線先位置をヒートマップにて画面表示する。ヒートマップは、注視時間が長ければ、つまり、検出した視線位置の密度が高いほど、濃い色で表示し、注視時間が短ければ薄い色で表示する。

表示画面には、証跡サマリ画面（図１３）と証跡詳細画面（図１４）があり、画面操作をおこなうことで表示を切り替えられる。それぞれの画面の詳細例については、図１３、図１４で説明する。

証跡サマリ画面は、イベント発生時に取得した証跡情報を概要的に確認するための画面である。この画面では、スクリーン画像とヒートマップを重畳表示した画像（視線先ヒートマップ画像）をサムネイル（縮小画像）形式で一覧で表示し、連続的に確認できる。これにより、第三者がどの画面のどの領域を注視していたかを可視化する。

さらにヒートマップは、表示内容の機密レベルに応じて、色を変える。機密レベルが最も高い１の領域の場合、目立つ赤色を、機密レベルが最も低い４の領域の場合、淡い黄色を、というように機密レベルを一目で判断できるように色を割り当てる。

また、上記方法とは逆に、注視時間の長短を色の違いで、機密レベルを濃淡で表すようにしてもよい。また、機密レベルを記号や模様で、注視時間の長短をその記号や模様の大小で表してもよく、それぞれの内容が識別できればよい。

なお、本例では第三者に対してのみヒートマップを表示するようにしているが、テレワーカ本人についても、色や記号等を変えて第三者との区別を可能にしてヒートマップを表示するようにしてもよい。また、第三者が複数存在する場合は、色や記号等を変えて人物を区別可能にヒートマップを表示させてもよい。

証跡サマリ画面で、一覧表示されているサムネイルをマウスなどで選択すると、別ウィンドウ表示により証跡詳細画面に遷移する。

証跡詳細画面は、第三者に漏洩した表示内容の詳細を確認するための画面である。この画面では、画面表示内容、つまりスクリーン画像とヒートマップを重畳表示する。

証跡表示処理は、証跡表示制御部３０３が実行し、証跡表示部３２１、つまりウェブ管理コンソールに表示される。
以下に、各ステップの処理について説明する。

ステップＳ８０１では、管理サーバに送られてきたイベントの一覧を表示する。ユーザは、イベント一覧から確認したいイベントを選択することで内容を確認できる。

ステップＳ８０２では、イベント一覧でのユーザ操作を判断する。イベント一覧中のイベントの一つを選択した場合、ステップＳ８０３に進む。「ホーム」ボタンを選択した場合、イベント一覧の表示を終了する。

ステップＳ８０３では、ステップＳ８０２で選択されたイベントの証跡情報を取得する。証跡情報は、イベント発生期間内に取得したすべてのスクリーン画像、視線位置情報、機密レベル情報で構成される。取得した証跡情報はＲＡＭ２０３に記憶しておき、ステップＳ８０４、Ｓ８０６で使用する。

ステップＳ８０４では、ステップＳ８０２で選択したイベントの証跡情報をサマリ表示する。証跡情報のサマリ表示処理の詳細は、図９で説明する。

ステップＳ８０５では、証跡サマリ表示でのユーザ操作を判断する。証跡サマリで表示中のサムネイル一覧の中から一つを選択した場合、Ｓ８０６にて証跡情報の詳細を表示する。「戻る」ボタンを選択した場合、Ｓ８０１のイベント一覧表示に戻る。

ステップＳ８０６では、ステップＳ８０５で選択したサムネイルと関連付けられた証跡情報と視線先ヒートマップ画像を、証跡詳細として別ウィンドウで表示する。

ステップＳ８０７では、証跡詳細表示でのユーザ操作を判断する。「戻る」ボタンを選択した場合、Ｓ８０４の証跡サマリ表示に戻る。

以下、図９を参照して、本実施形態の証跡サマリ表示処理について説明する。

証跡サマリ表示処理では主に、ステップＳ８０２で選択されたイベントに対する視線先ヒートマップ画像のサムネイルの一覧表示をおこなう。

証跡サマリ表示処理は、証跡表示制御部３０３が実行し、証跡表示部３２１、つまりウェブ管理コンソールに表示される。
以下に、各ステップの処理について説明する。

ステップＳ９０１では、ステップＳ８０２で選択されたイベントの証跡情報をもとに、イベントのスクリーン画像一覧を取得する。取得した全スクリーン画像はＲＡＭ２０３に記憶しておき、ステップＳ９０６で使用する。

ステップＳ９０２では、ステップＳ８０２で選択されたイベントの証跡情報から、イベント発生期間中の視線情報を取得する。視線情報は、対となるスクリーン画像のＩＤ、視線検出時刻、スクリーン画像上の視線先となるピクセル座標で構成される。取得した視線情報はＲＡＭ２０３に記憶しておき、ステップＳ９０３、Ｓ９０５で使用する。

ステップＳ９０３では、ステップＳ９０２で抽出した視線情報をもとに、各視線の注視時間を算出する。注視時間は、次回の視線検出時刻までの時間を、ミリ秒単位で算出する。イベント終了時では、次回の視線情報が存在しないため、その場合に限りイベント終了時刻までを注視時間として算出する。算出した注視時間はＲＡＭ２０３に記憶しておき、ステップＳ９０５で使用する。

ステップＳ９０４では、ステップＳ８０２で選択されたイベントの証跡情報から、機密レベル情報を取得する。機密レベル情報は、対となるスクリーン画像のＩＤ、画面内に表示されたアプリケーション領域とその機密レベルにより構成される。ステップＳ９０１で取得した各スクリーン画像のＩＤをもとに取得する。取得した機密レベル情報はＲＡＭ２０３に記憶しておき、ステップＳ９０５で使用する。

ステップＳ９０５では、Ｓ９０２、Ｓ９０３、Ｓ９０４の各ステップで取得および算出した視線情報、注視時間、機密レベル情報をもとに、各スクリーン画像に対応するヒートマップを生成する。

ヒートマップの生成には、外部ライブラリを使用する。外部ライブラリには処理対象のすべての視線について、視線位置情報であるピクセル座標、注視時間、機密レベル情報から算出する濃淡パラメータを与えてヒートマップを生成する。

濃淡パラメータは、視線位置のピクセル座標、アプリケーション表示領域情報、機密レベルをもとに算出する。注視時間の長短により濃度を設定し、機密レベルにより色を変えるようにパラメータを設定する。ピクセル座標が表示領域外にある場合は、機密レベル４として濃淡パラメータを設定する。

生成したヒートマップはＲＡＭ２０３に記憶しておき、ステップＳ９０６で使用する。

ステップＳ９０６では、ステップＳ９０５で生成したヒートマップとスクリーン画像を重畳表示した画像（視線先ヒートマップ画像）のサムネイルを一覧表示する。一覧表示の画像サイズは、ユーザ操作により変更できるようにする。ヒートマップについては、ユーザ操作により表示の有無を切り替えられるようにする。

一覧表示されたサムネイルから１つのサムネイルを選択することにより、関連する証跡詳細情報を表示できる。

以下、図１０を参照して、本実施形態のテレワーカ用ＰＣでの設定ファイルの記述例について説明する。

図１０は、ウェブカメラ画像のサイズ、本人認証時の類似度の閾値、本人認証処理のサイクルの設定例である。この例では、各設定項目をタグで囲んで設定している。

ウェブカメラ画像のサイズは、ｉｍａｇｅ＿ｓｉｚｅタグ１００１で指定する。「横×縦」の形式で、ピクセルで指定する。

本人認証時の類似度の閾値は、ｓｉｍｉｌａｒｉｔｙ＿ｔｈｒｅｓｈｏｌｄタグ１００２で指定する。認証処理時に算出する類似度がここで設定する閾値を下回ると、他人と判断される。フォールス・ネガティブの観点から、指定できる範囲は０．５〜１．０とする。

本人認証処理のサイクルは、ｐｒｏｃｅｓｓｉｎｇ＿ｃｙｃｌｅタグ１００３で指定する。指定する値の単位はミリ秒とする。

以下、図１１を参照して、本実施形態の視線位置情報のデータ構成例について説明する。

視線位置情報は、視線位置情報のＩＤ、視線検出の対象となったスクリーン画像のＩＤ、注視位置、検出時刻、テレワーカ本人視線の有無の情報により構成される。

視線位置情報のＩＤは、「視線ＩＤ」１１０１で指定する。このＩＤは、システム全体でユニークなものとする。

視線検出の対象となったスクリーン画像のＩＤは、「画像ＩＤ」１１０２で指定する。このＩＤで指定するスクリーン画像は、システム上に必ず存在することを前提とする。また、視線位置情報とスクリーン画像の関係は、多対一とする。

視線の注視位置はＸＹ座標で指定する。Ｘ座標は「Ｘ」１１０３、Ｙ座標は「Ｙ」１１０４で指定する。指定できる値は、ピクセル値とする。

視線の検出時刻は、「時刻」１１０５で指定する。この例では、時刻はＵＮＩＸ（登録商標）時刻で指定している。

視線検出の対象者がテレワーカ本人であるかの有無は、「テレワーカ」１１０６で指定する。指定できる値は１または０とする。１の場合はテレワーカ本人の視線情報、０の場合はテレワーカ本人以外、つまり第三者の視線情報であることを表す。

以下、図１２を参照して、本実施形態のスクリーン画像情報、表示領域情報、機密レベル情報の記述例について説明する。

図１２（ａ）は、スクリーン画像情報のデータ構成例である。

スクリーン画像情報は、スクリーン画像のＩＤ、画像を取得した端末のＩＤ、テレワーカのユーザＩＤ、スクリーン画像取得時刻、格納したファイル情報で構成される。

スクリーン画像のＩＤは、「画像ＩＤ」１２０１で指定し、システム全体でユニークなＩＤとする。

画像を取得した端末のＩＤは、「端末ＩＤ」１２０２で指定し、スクリーン画像を取得した端末のコンピュータ名やＭＡＣアドレスを設定する。

テレワーカのユーザＩＤは、「ユーザＩＤ」１２０３で指定する。

スクリーン画像取得時刻は、「時刻」１２０４で指定し、ＵＮＩＸ（登録商標）時刻で表現する。

格納したファイル情報は、「画像ファイル」１２０５で指定し、スクリーン画像を格納したフォルダパスも含めた画像ファイル名を設定する。

図１２（ｂ）は、表示領域情報のデータ構成例である。

表示領域情報は、スクリーン画像のＩＤ、スクリーン画像内の表示領域のＩＤ、起動しているプログラム、開いているファイル、表示基準位置、表示サイズ、アクティブ情報で構成される

スクリーン画像のＩＤは、「画像ＩＤ」１２１１で指定する。

スクリーン画像内の表示領域のＩＤは、「領域ＩＤ」１２１２で指定し、画像ＩＤ１２１１に対してユニークなＩＤである。基本的に各ウィンドウに対して設定するが、ウィンドウ以外のデスクトップなどや、スクリーン画像全体を表示領域の１つとしてもよい。

起動しているプログラムは、「プログラム」１２１３で指定し、表示領域で起動しているプログラムの名称やプログラムＩＤを設定する。

開いているファイルは、「ファイル」１２１４で指定し、表示領域で開いているファイル名を設定する。

表示基準位置は、表示範囲の左上角を基準としＸＹ座標で指定する。Ｘ座標は「Ｘ」１２１５、Ｙ座標は「Ｙ」１２１６で指定する。指定できる値は、ピクセル値とする。

表示サイズは縦横の長さで指定する。縦の長さは「縦幅」１２１７、横の長さは「横幅」１２１８で指定する。長さに指定できる値は、ピクセル値とする。

アクティブ情報は、「アクティブ」１２１９で指定し、ユーザが操作中の表示領域であったかどうかを表す。指定できる値は、１または０とする。１の場合はユーザがその表示領域を操作中であったことを表す。

図１２（ｃ）は、機密レベル情報のデータ構成例である。機密レベル情報は、機密レベル情報のＩＤ、機密レベル算出の対象となったスクリーン画像のＩＤ、表示領域のＩＤ、機密レベル算出の基準位置、表示範囲、算出された機密レベルで構成される。

機密レベル情報のＩＤは、「機密ＩＤ」１２２１で指定する。このＩＤは、システム全体でユニークなものとし、機密レベル算出単位（表示領域全体、段落、文章、単語など）ごとに設定する。

機密レベル算出の対象となったスクリーン画像のＩＤは、「画像ＩＤ」１２２２で指定する。このＩＤで指定するスクリーン画像は、システム上に必ず存在することを前提とする。

表示領域のＩＤは、「領域ＩＤ」１２２３で指定し、表示領域情報の「領域ＩＤ」１２１２と対応する。機密レベルを算出したのが、この表示領域全体またはその一部であることを表す。

機密レベル算出の基準位置は、機密レベル算出単位の表示範囲の左上角を基準としＸＹ座標で指定する。Ｘ座標は「Ｘ」１２２４、Ｙ座標は「Ｙ」１２２５で指定する。指定できる値は、ピクセル値とする。

表示範囲は、機密レベル算出単位の縦横の長さで指定する。縦の長さは「縦幅」１２２６、横の長さは「横幅」１２２７で指定する。長さに指定できる値は、ピクセル値とする。

算出された機密レベルは、「機密レベル」１２２８で指定する。機密レベルは１〜４の整数の範囲で指定する。機密レベルは、ステップＳ６０５で算出された値とする。

以下、図１３、図１４を参照して、本実施形態の証跡サマリ画面、証跡詳細画面の画面イメージ例について説明する。

図１３は、証跡サマリ画面の画面イメージ例である。

証跡サマリ画面１３００は、テレワーカ一覧１３０１、イベント一覧１３０２、証跡サマリ１３０３から構成される。また図中にあるようにカレンダ等を表示してもよい。

テレワーカ一覧１３０１は、本テレワーク管理支援システム１００において管理されるテレワーカの一覧を表示し、一覧の中からイベントを表示させたいテレワーカを選択することができる。

イベント一覧１３０２は、選択されたテレワーカに対応するイベントの一覧を表示する。ここでイベントとは、ステップＳ４０４にて判定した判定状態に対応する。一覧の中から証跡を表示させたいイベントを選択することができる。

証跡サマリ１３０３は、選択されたイベントに対応する証跡の一覧を表示する。表示する証跡は、視線先ヒートマップ画像のサムネイル画像１３０４である。一覧の中から詳細表示させたい証跡を選択することにより、証跡詳細画面を呼び出すことができる。

図１４は、証跡詳細画面の画面イメージ例である。

証跡詳細画面１４００は、証跡説明一覧１４０１、証跡詳細１４０２から構成される。

証跡説明一覧１４０１は、対象となる証跡に対する説明情報を表示し、イベントの分類、イベントの発生日時、起動していたアプリケーション（プログラム）、機密レベル等を表示する。

証跡詳細１４０２は、証跡サマリ１３０３で選択されたサムネイル画像に対応する元画像が拡大表示される。スクリーン画像とヒートマップが重畳表示されるため、第三者が注視していた具体的内容を確認することができる。
図１５に証跡詳細画面の別の表示形態を示す。

図１５（ａ）は、機密レベルの高い表示領域が、ユーザによって一定時間以上注視された場合に、その表示領域を強調表示する表示形態の例である。表示領域１５０１は、機密レベルが「１」であり、ユーザ（例えば、第三者）によって一定時間（例えば「５秒」）以上注視されたことにより、表示領域が１５０２のように網掛け表示される。強調表示の方法は、反転、色塗りなど、管理者が認識できる形式であればよい。

図１５（ｂ）は、機密レベルの高い表示領域が、ユーザによって一定時間以上注視された場合に、その表示領域に対してメッセージ表示する表示形態の例である。表示領域１５１１は、機密レベルが「１」であり、ユーザ（例えば、第三者）によって一定時間（例えば「５秒」）以上注視されたことにより、表示領域１５１１に対してメッセージ１５１２が表示される。メッセージ１５１２には、機密レベル、注視していたユーザ名、注視時間等、注視されていた事実を管理者が認識できる情報を出力すればよい。

上記により、機密レベルの高い表示内容を、ユーザが注視していたか否かを確認することができる。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

また、本発明におけるプログラムは、図４、図５、図６、図７、図８、図９の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図４、図５、図６、図７、図８、図９の各処理ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ テレワーク管理支援システム
１０１ 管理サーバ
１０２ データベースサーバ
１０３ ルータ
１０４ サービス環境ネットワーク
１１０ 自宅ネットワーク
１１１ テレワーカ用ＰＣ
１１２ ルータ
１２０ 社内ネットワーク
１２１ 管理者用ＰＣ
１２２ ルータ
１３０ インターネット
２００ コンピュータ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ ＫＢ
２１０ ウェブカメラ
２１１ ディスプレイ
２１２ 外部メモリ
３０１ 証跡データ受信部
３０２ 証跡データ登録部
３０３ 証跡表示制御部
３０４ 証跡データ記憶部
３１１ 認証制御部
３１２ 画像取得部
３１３ イベント検出部
３１４ 画面表示内容取得部
３１５ 画面表示内容解析部
３１６ 視線解析部
３１７ 証跡データ送信制御部
３２１ 証跡表示部

Claims (5)

1. ユーザ端末と通信可能に接続され、前記ユーザ端末の状況を表示装置に表示させる管理サーバであって、
   前記ユーザ端末の表示画面のスクリーン画像を取得するスクリーン画像取得手段と、
   前記ユーザ端末の表示画面を見ているユーザを特定するユーザ特定手段と、
   前記スクリーン画像に対応し、前記スクリーン画像でユーザが注視した視線情報をユーザごとに取得する視線情報取得手段と、
   前記特定したユーザおよび前記取得した視線情報に基づいて、当該ユーザが前記スクリーン画像内のどの表示領域を注視していたかを表示させるべく制御する表示制御手段と、
   を有し、
   前記ユーザ特定手段によりユーザを特定できなかった場合に、前記表示制御手段が前記表示領域を注視したユーザが未知のユーザであることを表示させることを特徴とする管理サーバ。
2. 前記ユーザ特定手段は、顔認証により前記ユーザを特定することを特徴とする請求項１に記載の情報処理システム。
3. 自端末の表示画面のスクリーン画像を取得するスクリーン画像取得手段と、
   前記自端末の表示画面を見ているユーザを特定するユーザ特定手段と、
   前記スクリーン画像に対応し、前記スクリーン画像でユーザが注視した視線情報をユーザごとに取得する視線情報取得手段と、
   前記特定したユーザおよび前記取得した視線情報に基づいて、当該ユーザが前記スクリーン画像内のどの表示領域を注視していたかを表示させるべく制御する表示制御手段と、
   を有し、
   前記ユーザ特定手段によりユーザを特定できなかった場合に、前記表示制御手段が前記表示領域を注視したユーザが未知のユーザであることを表示させることを特徴とする情報処理端末。
4. ユーザ端末と通信可能に接続され、前記ユーザ端末の状況を表示装置に表示させる管理サーバの制御方法であって、
   スクリーン画像取得手段が、前記ユーザ端末の表示画面のスクリーン画像を取得するスクリーン画像取得ステップと、
   ユーザ特定手段が、前記ユーザ端末の表示画面を見ているユーザを特定するユーザ特定ステップと、
   視線情報取得手段が、前記スクリーン画像に対応し、前記スクリーン画像でユーザが注視した視線情報をユーザごとに取得する視線情報取得ステップと、
   表示制御手段が、前記特定したユーザおよび前記取得した視線情報に基づいて、当該ユーザが前記スクリーン画像内のどの表示領域を注視していたかを表示させるべく制御する表示制御ステップと、
   を有し、
   前記ユーザ特定ステップにてユーザを特定できなかった場合に、前記表示制御ステップにて前記表示領域を注視したユーザが未知のユーザであることを表示させることを特徴とする管理サーバの制御方法。
5. ユーザ端末と通信可能に接続され、前記ユーザ端末の状況を表示装置に表示させる管理サーバにおいて実行可能なプログラムであって、
   前記管理サーバを、
   前記ユーザ端末の表示画面のスクリーン画像を取得するスクリーン画像取得手段と、
   前記ユーザ端末の表示画面を見ているユーザを特定するユーザ特定手段と、
   前記スクリーン画像に対応し、前記スクリーン画像でユーザが注視した視線情報をユーザごとに取得する視線情報取得手段と、
   前記特定したユーザおよび前記取得した視線情報に基づいて、当該ユーザが前記スクリーン画像内のどの表示領域を注視していたかを表示させるべく制御する表示制御手段と、
   として機能させ、
   前記ユーザ特定手段によりユーザを特定できなかった場合に、前記表示制御手段が前記表示領域を注視したユーザが未知のユーザであることを表示させることを特徴とするプログラム。
   

Images