JP4247277B2

JP4247277B2 - 端末監視装置とそのプログラム

Info

Publication number: JP4247277B2
Application number: JP2007026845A
Authority: JP
Inventors: 稔和仁; 直樹本永
Original assignee: Ｓｋｙ株式会社
Priority date: 2007-02-06
Filing date: 2007-02-06
Publication date: 2009-04-02
Anticipated expiration: 2027-02-06
Also published as: JP2008193491A

Description

本発明は、コンピュータなどのモニタ付き操作装置に対するユーザの操作内容を示す操作イベントを記述した操作ログとその操作画面をキャプチャして得られたキャプチャ画像とを処理することでこの装置を監視する技術に関する。

ユーザによるコンピュータ操作を監視する技術として、遠隔制御サーバとクライアント端末が通信ネットワークを介して接続され、遠隔制御サーバにおいてクライアント端末からのアクセス要求情報を受け付け、クライアント端末ではモニタに表示されている画像データを遠隔制御サーバに送信し、遠隔制御サーバでは受信した画像データをモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末の画面をキャプチャ画像として、所定のインターバルで操作ログに記録し、この記録の後には、遠隔制御サーバのログ再生処理部が操作ログに記録されたキャプチャ画像の再生を行うものが存在する（例えば、特許文献１参照）。この従来技術では、データ記憶部に格納されたキャプチャ画像を監視モニタに再現することで、ユーザによる端末の操作内容を監視することができるが、ネットワークに接続されているクライアント端末の数が多い場合や長時間にわたって端末を操作している場合、データ記憶部に格納するキャプチャ画像の容量が大きくなり、その格納コストが増大し、再生画像の監視時間が長くなるという問題が生じる。

また、河川等の監視対象となる地域の監視画像を遠隔地の画像表示装置に伝送する広域監視システムとして、撮影対象を撮影する撮影手段と、前記撮像手段が撮影した画像を取り込むと共に、撮影された画像を各々異なる解像度、表示レートに圧縮し、圧縮画像データに変換する複数の画像キャプチャ手段と、複数の圧縮画像データから、要求に応じた最適な圧縮画像データを選択し、ネットワークを介して画像の配信を行なう画像配信手段とを有する画像配信装置や、算出された撮影対象の安全度及び予め設定された撮影対象の重要度、又は、算出された撮影対象の安全度若しくは予め設定された撮影対象の重要度に基づき、外部ネットワークから配信された複数の圧縮画像データ毎の状況を判断し、前記複数の圧縮画像データから表示すべき最適な圧縮画像データを選択する状況判断手段と、前記状況判断手段により選択された１つ又は複数の圧縮画像データを、異なる解像度、表示レート毎に復元する複数の画像デコード手段と、前記画像デコード手段により復元された１つ又は複数の画像を合成して表示する画像合成手段とを有する画像表示装置が知られている（例えば、特許文献２参照）。このシステムでは、撮影画像を各々異なる解像度、表示レートで圧縮して得られた圧縮画像データをネットワークに伝送するため、複数の画像変換が必要であるとともに、そのネットワーク伝送負荷が大きくなるという問題点がある。

特開２００６−１０８９４７号公報（段落番号〔００９４〕〜〔００９９〕、図１、図１７）特開２００６−４１７７０号公報（段落番号〔００２２〕〜〔００２５〕、図１、図１７）

上記実状に鑑み、本発明の課題は、ユーザによる操作中の操作画面をキャプチャして得られたキャプチャ画像を監視目的のために効率よく記録保存する技術を提供することである。

監視対象となっている端末における操作イベントと当該操作イベント発生時の時刻を表すタイムスタンプとを記述した操作ログと前記端末の操作画面をキャプチャして得られた当該キャプチャ時の時刻を表すタイムスタンプを含むキャプチャ画像とを取得する端末監視装置において、操作イベントと危険度とが関連付けて記録されている所定のテーブルから前記操作ログに記述された操作イベントの危険度を表す操作評価値を取得する操作評価値算定部と、前記操作イベントとこの操作イベントが発生した時刻に対応したキャプチャ画像とをリンクするリンク部と、前記キャプチャ画像の記録容量低減化画像処理をこのキャプチャ画像にリンクしている操作イベントの操作評価値に応じて行うキャプチャ画像処理部と、前記キャプチャ画像を記録する端末情報記録部とを備え、前記記録容量低減化画像処理には所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像を削除する処理が含まれ、前記所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像であっても前記所定値を超える操作評価値をもつ操作イベントにリンクされているキャプチャ画像に連続する所定コマ数分に対しては前記削除する処理が禁止される。

この構成では、端末の操作画面のキャプチャ画像とともに受け取ることができる操作ログに記述された操作イベントに対して操作評価値を算定することでその操作イベントの危険度を把握することができる。そして、算定された危険度（操作評価値）に基づいて、その危険度つまり操作イベントにリンクしているキャプチャ画像に対する記録容量低減化画像処理を行う。例えば、危険度の低い操作イベントを表示しているキャプチャ画像は監視画像としての価値が低いと見なしてその記録容量低減する処置を講じることができる。これにより、キャプチャ画像を記録する端末情報記録部の記録容量が節約される。

また、この構成では、記録容量低減化画像処理として、所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像を削除する処理が含まれている。これにより、随時送られてくるキャプチャ画像のほとんどは危険度の低い操作時のものであるので、所定値以下の操作評価値をもつ、つまり極めて危険度が低い操作イベントにリンクされているキャプチャ画像を削除して、端末情報記録部に記録しないようにすると、監視業務に支障を与えることなく、端末情報記録部の記録容量を大幅に節約することができる。また、所定値を超える操作評価値をもつ、危険度が高い操作イベントにリンクされているキャプチャ画像の前後のキャプチャコマであるキャプチャ画像も参考のため必要となるケースが多いので、前記所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像であっても前記所定値を超える操作評価値をもつ操作イベントにリンクされているキャプチャ画像に連続する所定コマ数分に対しては前記削除する処理や解像度やカラー階調度を大幅に低下させる処置が禁止される構成となっている。

操作イベントに対する危険度（操作評価値）の算定処理と危険度に基づく対応キャプチャ画像の記録容量低減化画像処理との処理速度が随時送られてくる操作ログとキャプチャ画像の伝送間隔に較べて余裕がある場合、前記キャプチャ画像処理部は、前記端末から取得したキャプチャ画像に対してリアルタイムで前記記録容量低減化画像処理を施した後、前記端末情報記録部に記録することが可能となり、端末情報記録部におけるキャプチャ画像の格納効率は最適となる。

上記算定処理や記録容量低減化画像処理との処理速度が不十分な場合や、とりあえず伝送されてきた状態のキャプチャ画像を一時的に残しておきたい場合には、前記キャプチャ画像処理部は、リアルタイムに前記端末情報記録部に記録されたキャプチャ画像に対してバッチ処理で前記記録容量低減化画像処理を施した後再び前記端末情報記録部に再記録するとよい。なお、端末情報記録部での記録保存時間が長くなっているキャプチャ画像ほど既に監視の重要性ないしは緊急性が低下していると判断できるので、前記端末情報記録部に記録されたキャプチャ画像に対する記録容量低減化画像処理の際に前記操作評価値とともに当該キャプチャ画像の前記端末情報記録部での記録保存時間も考慮することが好ましい。

キャプチャ画像処理部で行われる記録容量低減化画像処理の好適な具体例の１つは、操作イベントに基づいて対応するキャプチャ画像内の重要領域を決定し、この重要領域以外の領域に対して、解像度低減やカラー階調度低減などの記録容量低減化画像処理を施すことである。この場合、キャプチャ画像の全体構成は保持されるとともに、重要領域だけは明瞭に表示されるので、監視業務の品質をそれほど低下させずに、端末情報記録部の記録容量を節約することができる。特に、カラー階調度低減にあたっては、カラー情報を捨てて、グレースケールに変換したり、極端には二値画像に変換したりしてもよい。

さらには、上述した端末監視装置の操作画面キャプチャ画像記録に関する各機能を全てユーザ操作装置側に搭載すると、いわゆるスタンドアローン型の操作画面キャプチャ画像記録可能な装置（コンピュータ）を実現することができる。このようなスタンドアローン型のキャプチャ画像記録可能コンピュータを実現するためには上述した機能を有する操作画面監視モジュールを装置のコンピュータに実装するだけでよく、そのような不正操作管理モジュールも本発明の権利範囲としている。つまり、そのような本発明による監視モジュールは、前記操作ログに記述された操作イベントに対して危険度を表す操作評価値を算定する操作評価値算定部と、前記操作イベントとこの操作イベント発生時のキャプチャ画像とをリンクするリンク部と、前記キャプチャ画像の記録容量低減化画像処理をこのキャプチャ画像にリンクしている操作イベントの操作評価値に応じて行うキャプチャ画像処理部と、前記キャプチャ画像を端末情報記録部に記録する端末情報記録管理部とを備えている。

また、本発明では、上述した端末管理装置がもつ機能をコンピュータに実現させるプログラムも権利範囲としている。そのような監視プログラムは対応するコンピュータに固定的にインストールされるのが一般的であるが、そのプログラム容量が少ない場合、ネットワーク接続されたサーバからダウンロードして、随時稼働する形態を採用することも可能である。

以下、本発明の第１の実施形態を図面に基づいて説明する。図１には、ユーザによって各種データ処理やデータ閲覧などに関する操作、例えばファイルなどの作成、閲覧、複写、訂正、削除、印刷、インターネットブラウジング、メール送信などの操作が行われる多数の端末１と、この端末１における操作状況を監視する端末監視装置２と、端末１によって取り扱われるファイルなどのデータを格納しているファイルサーバ３とからなるコンピュータネットワークシステムが模式的に示されており、このコンピュータネットワークシステムは図示されていないインターネット管理サーバ（メールサーバやＤＮＳサーバなど）を通じてインターネットと接続されている。

ユーザが端末１を使用する前に行われるログイン操作を通じて入力されたユーザ名やユーザコードなどが、端末ＩＤとともにユーザ属性情報として端末監視装置２に送られることにより、端末監視装置２は端末１を利用しているユーザを特定することができる。さらに端末１から端末監視装置２へは、ユーザがログインからログオフするまでの間で行った操作イベントを記述する操作ログと、その都度の操作画面のキャプチャ画像とが適時送られる。端末監視装置２に送られた操作ログとキャプチャ画像は端末監視装置２のハードディスクなどのデータ格納部に記録されるが、データ格納部におけるキャプチャ画像の記録容量を節約するために、操作ログに記述されている操作イベントに対して操作評価値を算定してその操作イベントの危険度を見積もり、この危険度（操作評価値）に基づいて、その危険度に応じて操作イベントに対応するキャプチャ画像に対する記録容量低減化画像処理を行う。例えば、危険度の低い操作イベントを表示しているキャプチャ画像は監視画像としての価値が低いと見なして削除したり、その解像度やカラー階調度を低下させたりする。さらに、端末監視装置２は、各操作イベントに対して付与した操作評価値（危険度）に基づき、端末１での操作が不正操作又は誤操作と判定された場合、この端末操作を制限する端末操作制限コマンドを該当する端末１に送る機能も備えている。

図２に、端末１と端末監視装置２の機能ブロック図が示されている。端末１は、ノート型パソコンやディスクトップ型パソコンなどの汎用パソコンで構成されているが、図２の機能ブロック図では、本発明に特に関係する機能だけを示している。端末１は、液晶ディスプレイなどのモニタ４１と、操作入力デバイス４２としてのキーボードやマウスと、各種データを格納する据え付けタイプのハードディスク４３やリムーバブルタイプの記録デバイス（ＵＳＢメモリなど）４４を備えている。この端末１にインストールされているＯＳによって作り出されるＧＵＩ部１０が仲介することにより、モニタ４１に表示された操作画面を通じてユーザによって入力された種々の操作命令が実行される。各種ファイル処理を含むユーザ指示に基づくデータ処理はデータ処理部１１で行われる。

各種操作画面をモニタ４１に表示するため、これらの表示データは一時的にビデオメモリ１２に格納されるが、このビデオメモリ１２に展開されている表示データ、つまり操作画面は操作画面キャプチャ部１３で操作画面キャプチャ画像（以下単にキャプチャ画像と称する）としてキャプチャされる。また、ユーザが入力操作デバイス４２を通じて行う全ての操作は、操作ログ生成部１４において、操作イベントとして操作実行プログラム名や操作対象データ名（ファイル名）や操作コマンド名などを列挙する形で記述され、これらの操作イベントは操作ログとしてスクリプト化される。

通常、この端末１を利用するためには、まずユーザ名とパスワードの入力によってログインしなければならないがこのログイン処理を通じて得られたユーザ名は、ログイン・ログオフ制御部１５において、そのままで又は必要に応じてユーザＩＤ等に変換され、端末１を識別するための端末ＩＤとともに端末監視装置２に送るユーザ属性情報となる。

操作ログ生成部１４によって生成された操作ログや操作画面キャプチャ部１３によってキャプチャされたキャプチャ画像はネットワークＩＦを通じて、ネットワークでつながれた端末管理装置２に送られるが、端末監視装置２での管理を容易にするために操作ログとキャプチャ画像にタイムスタンプとユーザ属性情報とが付与される。

なお、ログイン・ログオフ制御部１５には、端末監視装置２がこのログインユーザ自体又はその特定の操作を不適切と判定した場合、警告情報や特定種類の操作イベントの実行を禁止するコマンドやこのユーザのログインを一定期間強制的にログオフするコマンドなどの端末操作制限コマンドが端末監視装置２から送られてくる。ログイン・ログオフ制御部１５は、警告情報を受け取るとこれをモニタ４１に表示し、特定種類の操作イベントの実行を禁止するコマンドを受け取ると、ＧＵＩ部１０に設定されている禁止操作テーブルに禁止された操作を書き込み、以後このユーザによる特定の操作は禁止される。また、強制ログオフコマンドを受け取ると、直ちに強制ログオフし、以後所定期間の間対象ユーザによるログインは禁止される。

端末監視装置２も一般的には汎用コンピュータによって構成され、液晶ディスプレイなどの監視モニタ５１、操作入力デバイス５２としてキーボードやマウス、データをハードコピーするためのプリンタ５３、ハードディスクなどで構成されるデータ格納部５４などが付属している。この端末監視装置２にインストールされているＯＳによってＧＵＩ部２０や端末１から送られてきた端末操作ユーザに関するユーザ属性情報に基づいて特定された端末とこの端末を操作しているユーザを管理する端末管理部２１などを初めとして種々の基本的な機能が作り出される。また、端末監視装置２における本発明に関する機能のほとんどは、この端末監視装置２にインストールされている端末監視プログラムの実行に伴って作り出され、その代表的なものとして、端末１から送られてきたユーザが行っている操作イベントを記述している操作ログとその際の操作画面を示すキャプチャ画像とをネットワークＩＦを介して取得する端末操作ログ取得部２２と端末キャプチャ画像取得部２３、前記操作ログに記述された操作イベントに対して評価値テーブル２４ａを利用しながら危険度を表す操作評価値を算定する操作評価値算定部２４、端末操作ログ取得部２２で取り出された操作イベントとこの操作イベント発生時のキャプチャ画像とをそれぞれのタイムを用いてリンクするリンク部２５と、キャプチャ画像の記録容量低減化画像処理をこのキャプチャ画像にリンクしている操作イベントの操作評価値に応じて行うキャプチャ画像処理部２６、キャプチャ画像と操作イベントとを所定のフォーマットで対応付けるフォーマッター部２７、フォーマット化されたキャプチャ画像と操作イベント（操作ログ）をデータ格納部５４の所定領域に形成された端末情報記録部５４ａに記録するとともに検索抽出可能に保守管理する端末情報管理部２８、端末操作ログ取得部２２や端末キャプチャ画像取得部２３で取得された端末１毎のリアルタイムのキャプチャ画像や操作ログ及び端末情報記録部５４ａに記録されたキャプチャ画像や操作ログを監視モニタ５１に再現する操作画面再生部２９、操作評価値算定部２４で算定された操作評価値及びその累積値に基づいて特定のログインユーザ操作を不適切と判定した場合警告情報や端末操作制限コマンドを該当端末に与える不正操作判定部３０が挙げられる。

キャプチャ画像処理部２６で処理されるキャプチャ画像には、図３で模式的に示されているように端末ＩＤとタイムスタンプが付与されており、リンク部２５がこの端末ＩＤとタイムスタンプを操作イベントに付与されている端末ＩＤとタイムスタンプと照合することによって操作イベントとその操作イベントが発生した時点のキャプチャ画像とを対応付けている。さらに、この操作イベントには、操作評価値算定部２４が図４で例示するような評価値テーブル２４ａを用いて危険度点数としての操作評価値を付与しているので、結果的には操作画面を示している各キャプチャ画像にはその操作の危険度点数がリンクすることになる。キャプチャ画像処理部２６には記録容量低減化処理を実行する機能部として、所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像を削除する画像間引き部２６ａ、操作イベントに基づいて対応するキャプチャ画像内の重要領域を決定して選択する重要領域選択部２６ｂ、重要領域選択部２６ｂによって選択された重要領域以外の領域に対して階調度や解像度を低下させて記録容量を低減させる階調度・解像度変換部２６ｃなどが組み込まれている。

画像間引き部２６ａによる記録容量低減化画像処理が図５に例示されている。ここでは、キャプチャ画像として、（ａ）マウス移動操作時の操作画面、（ｂ）ファイル選択操作時の操作画面、（ｃ）ファイル名称変更操作時の操作画面、（ｄ）マウス移動操作時の操作画面が連続して入力されており、（ａ）には「０点」、（ｂ）には「３点」、（ｃ）には「４点」、（ｄ）には「０点」が操作評価値（危険度点数）として割り当てられている。画像間引き部２６ａは「０点」が割り当てられたキャプチャ画像を削除して、（ｂ）と（ｃ）のキャプチャ画像だけをフォーマッター部２７に送り、端末情報記録部５４ａに記録させる。

重要領域選択部２６ｂは、キャプチャ画像内の重要領域以外の領域に対して記録容量低減化画像処理を施すためにそのキャプチャ画像にリンクしている操作イベントに基づいてキャプチャ画像内の重要領域を決定する。その際、操作イベントに基づいて重要領域のサイズも設定される。例えば、対象となるキャプチャ画像がファイル名称変更操作時の操作画面の場合、図６に例示するように、操作イベントの属性データとしてのファイル名記述位置（個々ではファイルアイコン位置）が重要領域として決定され、そのファイルタイプに応じてその重要領域のサイズが重要なものほど大きくなるように調整される。重要領域が決定されると、その重要領域以外の領域である非重要領域のカラー階調度をフルカラーから１６色カラーや８色カラーに低減する。あるいは、非重要領域を二値画像に変換する。このようなカラー階調度変換は階調度・解像度変換部２６ｃが行う。

記録容量低減化画像処理として画像間引き部２６ａによるキャプチャ画像の削除に代えて、階調度・解像度変換部２６ｃを用いて危険度点数の低いキャプチャ画像のカラー階調度を低減したり、その解像度を低減したりしてもよい。

操作画面再生部２９は、端末操作ログ取得部２２や端末キャプチャ画像取得部２３で取得された端末１毎のキャプチャ画像や操作ログを端末情報記録部５４ａに記録する前に直接監視モニタ５１に表示するモードと、端末情報記録部５４ａに記録されたキャプチャ画像や操作ログを監視モニタ５１に表示するモードを備えている。操作画面再生部２９による端末監視基本画面１００が図７に示されている。

端末監視基本画面１００には、上部位置にキャプチャ画像（端末操作画面）再生ボタン１０１、ログ閲覧ボタン１０２、ＰＣ情報ボタン１０３、リモート制御ボタン１０４、アラート設定ボタン１０５等がアイコンの形で配置され、この基本画面１００の下部には端末別のキャプチャ画像表示領域１１０と、メッセージ表示部１１１と、端末一覧表示部１１２とが形成されている。キャプチャ画像表示領域１１０には、フレーム１２０で取り囲まれる形態でリアルタイムのキャプチャ画像としてのリアルタイム端末操作画面が複数マトリックス状に表示されており、このフレーム１２０の下部に端末名又は端末ＩＤをしめす端末識別表示部１２１が配置されている。

この端末監視基本画面１００において、キャプチャ画像再生ボタン１０１が操作された場合には、その際に選択されている端末１のキャプチャ画像が端末情報記録部５４ａから読み出されながら別ウインドウで再生表示される。基本画面１００においてログ閲覧ボタン１０２が操作された場合には、別ウインドウで操作ログ一覧表示が行われる。基本画面１００においてＰＣ情報ボタン１０３が操作された場合には、選択された端末１の物理データやインストールされているアプリケーション名等のＰＣ情報を表示する処理が行われる。基本画面１００においてリモート制御ボタン１０４が操作された場合には、リモート制御画面において制御を実行するアイコン類を操作することや、コマンドを入力することにより個別端末のリモート制御が可能となる。

端末監視基本画面１００の各端末１に対応するフレーム１２０又は端末一覧表示部１１２に表示されている端末名をダブルクリックすることで、図８に示されるようにそのキャプチャ画像を表示しているフレーム１２０だけが拡大表示される。必要に応じて、同時にフレーム１２０に表示されているキャプチャ画像にリンクしている操作イベントを含む操作ログを別の操作ログ表示ウインドウ１３０に表示させることも可能である。

キャプチャ画像再生ボタン１０１を操作することによって実行される端末別のキャプチャ画像再生は図９に示す再生画面１４０を通じて行われる。なお通常は、画面再生ボタン１０１を操作する以前に端末監視基本画面１００の前記モニタ画面表示領域１１０又は端末一覧表示部１１２に表示されている端末１のモニタ画面（キャプチャ画像の縮小画像を用いられる）を選択することになるが、画面再生ボタン１０１を操作した際に、ダイアログボックス（図示せず）を表示し、端末１を特定する情報を入力操作デバイス５２から入力してもよい。この再生画面１４０は、カレンダー部１４１と、再生開始時刻入力部１４２と、再生終了時刻入力部１４３と、ＯＫボタン１４４と、再生領域１４５と、複数の再生コントロールボタン１４６と、再生スライダー１４７、操作ログ表示ボタン１４８とを配置している。

再生画面１４０においてキャプチャ画像（操作画面）の連続再生表示を行う１つのやり方は、カレンダー部１４１においてカーソルによって再生日（モニタ画面つまりキャプチャ画像が記録された日）を選択し、再生開始時刻入力部１４２においてキーボード等から再生開始時刻を入力し、必要に応じて再生終了時刻入力部１４３に再生終了時刻を入力した後にＯＫボタン１４４をクリックすることである。もう１つは、操作ログ表示ボタン１４８をクリックすることで表示される操作ログ表示ウインドウ１３０から所望の操作イベントをダブルクリックすることで、その操作イベントのタイムスタンプが再生開始時刻入力部１４２に入力された後にＯＫボタン１４４をクリックすることである。これにより、特定された端末１のキャプチャ画像が端末情報記録管理部２８によって端末情報記録部５４ａから読み出され再生領域１４５に対して設定された再生モードで連続的に表示される。

端末監視基本画面１００においてログ閲覧ボタン１０２を操作した場合には、図１０に示す操作ログ表示画面１５０が表示される。表示すべきログの情報、表示条件等を入力するために、この操作ログ表示画面１５０には、複数の操作イベント種別ボタン１５１と、対象期間入力部１５２と、ユーザ情報入力部１５３と、キーワード入力部１５４とが配置され、さらに操作ログ表示画面１５０の下半分には、入力された抽出条件に一致する操作ログ（操作イベント）がスクロール表示される操作イベント表示領域１５５が配置されている。

操作イベント種別ボタン１５１としては、端末の起動と停止の情報を示す起動・停止、ユーザの操作を示すユーザ操作、アプリケーションの実行状況を示すアプリケーション、ファイルに対するアクセスの情報を示すファイルアクセス等の複数のボタンで構成され、この複数のログ種別ボタン１５１を選択しておくことにより、操作イベント表示領域１５５において選択された操作イベントの閲覧が可能となる。尚、操作イベント表示領域１５５には、端末ＩＤ、処理を行った時刻、処理を行った時間、ユーザ名、処理対象のアクティブ・非アクティブの状態、実行時のコマンド等を含む情報を含んでいる。

前記対象期間入力部１５２には表示すべき操作イベントの期間を入力し、ユーザ情報入力部１５３には操作ログの閲覧対象とするユーザＩＤの情報を入力し、キーワード入力部１５４には閲覧対象とする操作イベントの名称を入力する。なお、端末１を特定する情報を入力する操作に代えて、ログ閲覧ボタン１０２を操作する以前に、端末監視基本画面１００のモニタ画面表示領域１１０、あるいは、端末一覧表示部１１２に表示されている端末１を選択しても良い。

表示条件に一致する操作イベントが端末情報記録部５４ａから抽出され、抽出された操作イベントが操作イベント表示領域１５５に一覧化して表示される。この一覧表示された操作イベントを選択してキャプチャ画像表示ボタン１５５をクリックすると、選択された操作イベントにリンクするキャプチャ画像（操作画面）が抽出され、別ウインドウの形態で表示される。

上述した端末監視装置２におけるキャプチャ画像と操作ログ（操作イベント）の端末情報記録部５４ａへの記録方法を図１１のフローチャートを用いて説明する。
まず、端末操作ログ取得部２２が各端末１から操作ログを受け取ると（＃０２）、その操作ログから端末ＩＤ、ユーザＩＤ、タイムスタンプ、操作イベントを読み出し、タイムスタンプで整列される操作イベントデータ群として確保される（＃０４）。確保された操作イベントに対して操作評価値算定部２４が危険度点数である操作評価値を付与し（＃０６）、端末ＩＤ別ないしはユーザＩＤ別にメモリに一時格納する（＃０８）。さらに処理すべき操作ログを受け取っておれば（＃１０Yes分岐）、ステップ＃０２〜＃０８を繰り返す。あらたに処理すべき操作ログがなければ（＃１０No分岐）、端末キャプチャ画像取得部２３が各端末１からキャプチャ画像を受け取っているかどうかをチェックし（＃１２）、キャプチャ画像を受け取っている場合そのキャプチャ画像の端末ＩＤ、ユーザＩＤ、タイムスタンプが読み出され（＃１４）、リンク部２５がそのキャプチャ画像を図３で模式的に示しているように一時格納されている操作イベントとリンク付けする（＃１６）。

キャプチャ画像処理部２６は、処理すべきキャプチャ画像にリンクしている操作評価値に応じて必要なこのキャプチャ画像に対する記録容量低減化処理を施す。この実施の形態では、操作評価値（危険度点数）が「０」の場合（＃１８Yes分岐）、このキャプチャ画像を削除するため、以後の記録処理には進まず、再びステップ＃０２に戻る。操作評価値が「０」でない場合（＃１８No分岐）、さらにその操作評価値が前設定されている閾値α未満であるかどうかがチェックされ（＃２０）、未満である場合（＃２０Yes分岐）、キャプチャ画像にリンクしている操作イベントに基づいてこのキャプチャ画像内の重要領域を決定する（＃２２）。重要領域が決定されるとそのキャプチャ画像内の重要領域以外の領域に対して二値画像化が記録容量低減化画像処理として施される（＃２４）。

評価値が閾値α以上であったキャプチャ画像はそのままで、そして閾値α未満であったキャプチャ画像はその非重要領域の二値画像化により画像データ容量が低減された状態で、リンクされた操作イベントを含む記録データとしてフォーマット化される（＃２６）。フォーマットされたキャプチャ画像と操作イベントは、端末ＩＤ、ユーザＩＤ（ユーザ名）、タイムスタンプが検索条件となるような形態で端末情報記録部５４ａに記録される（＃２８）。

次に、図１２に示された本発明の第２の実施形態を説明する。この第２の実施形態は、前述した第１の実施形態に較べ、端末１から送られてきたキャプチャ画像を端末ＩＤ、ユーザＩＤ、タイプスタンプなどに基づいて対応する操作ログとリンクさせるだけで、とりあえずそのままフォーマット化して端末情報記録部５４ａに記録しておき、バッチ処理で、キャプチャ画像とこれにリンクしている操作イベントを端末情報記録部５４ａから読み出し、図１１のフローチャートのステップ＃１８〜＃２４までの記録容量低減化画像処理を必要に応じて施した後再び端末情報記録部５４ａに再記録する点で異なっている。

端末情報記録部５４ａに記録されたキャプチャ画像に対して緊急的にチェックする必要がある場合、送られてきたままのキャプチャ画像を操作画面再生部２９によって再生させることができる。このことから、端末情報記録部５４ａに記録されたキャプチャ画像に対して記録容量低減化画像処理を施すバッチ処理の間隔がかなり長い場合、一度の再生されていないキャプチャ画像の重要性は低いと判断することも可能である。従ってキャプチャ画像に対して記録容量低減化画像処理を施すかどうかの判定条件として、操作評価値だけではなく、端末情報記録部５４ａに記録されていた時間（記録保存時間）も考慮すると好都合である。いずれにせよ、この第２の実施形態では、記録容量低減化画像処理がバッチ処理となるので、操作評価算定部２４による算定処理やキャプチャ画像処理部２６による記録容量低減化画像処理の処理速度が十分でない場合に適している。

図１３には本発明の第３の実施形態が示されている。上述した２つの実施形態では、多数の端末１における操作ログとキャプチャ画像（操作画面）がネットワークを介して端末監視装置２に送られ、その端末監視装置２で操作ログとキャプチャ画像が必要に応じて記録容量低減化画像処理を施されて記録保存されていた。しかしながら、この端末監視装置２によるキャプチャ画像の記録容量低減化と端末情報記録部５４ａへの記録の機能、つまり、操作ログ生成部１４で生成された操作ログに記述された操作イベントに対して危険度を表す操作評価値を算定する操作評価値算定部２４と、操作評価値算定部２４に利用される評価値テーブル２４ａと、操作イベントとこの操作イベント発生時に操作画面キャプチャ部１３によって生成されたキャプチャ画像とをリンクするリンク部２５と、キャプチャ画像の記録容量低減化画像処理をこのキャプチャ画像にリンクしている操作イベントの操作評価値に応じて行うキャプチャ画像処理部２６と、キャプチャ画像と操作イベントとを対応付けてハードディスク４３に記録する端末情報記録管理部２８とをモジュール化して端末１で実行可能なアプリケーションとし、各端末１にインストールすることで、端末１そのものを、スタンドアローン型の操作画面記録機能付き端末（コンピュータ）としたものが第３の実施形態であり、図１３にはそのような端末の機能ブロック図が示されている。前述したサーバ・クライアント型の端末監視システムに較べ、ネットワークを介しての操作ログとキャプチャ画像（操作画面）の伝送がパソコンデータバスに置き換わっていることに違いがあるが、実質的な技術内容は同じである。

なお、キャプチャ画像と操作イベントの両方にタイプスタンプや端末ＩＤ等が記述されておれば随時ャプチャ画像と操作イベントとリンクすることができるので、端末情報記録部５４ａにキャプチャ画像と操作イベントを記録する際に、キャプチャ画像と操作イベントを対応づけて記録しておく必要はかならずしもなく、端末情報記録部５４ａにはキャプチャ画像だけを記録してもよい。もちろん、キャプチャ画像と操作イベントを対応づけて端末情報記録部５４ａに記録しておくことは好適な実施形態のひとつである。

なお、本明細書で用いられているキャプチャ画像なる語句は、操作画面をキャプチャして得られた静止画ファイルやその静止画ファイルの集合体、及び連続した静止画を動画化して得られた動画ファイルや動画ファイルの集合体を総称している。従って、端末１から端末監視装置２に転送されるキャプチャ画像は静止画であっても動画であってもよい。動画の形式で端末１から端末監視装置２に転送される場合は、端末１のフォーマッター部に静止画を動画化する機能が備えられることになる。また、端末の操作画面（キャプチャ画面）を監視モニタ５１で表示する際も、静止画の連続表示（スライドショーのようなスタイル）でもよいし、動画表示でもよく、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。さらに、端末情報記録部５４ａに記録される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合ＪＰＥＧやＧＩＦなどが、動画の場合ＭＰＥＧやＡＶＩなどが用いられる。

上述した実施形態では、端末監視装置１が単独のコンピュータによって構築されている形態で説明されていたが、この端末監視装置１の機能を区分けして、複数のコンピュータに分散させてもよい。例えば、端末監視装置１におけるデータ格納部をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機からキャプチャ画像や操作ログを読み出して種々の処理を施し監視モニタに表示させる独立した監視端末を配置させても良い。この監視端末とデータ格納専用機をネットワークで接続することで、いつでもどこからでも端末を監視することができる。

本発明の第１実施形態における端末監視システムの模式図本発明の第１実施形態における端末と端末監視装置の機能ブロック図キャプチャ画像と操作イベントのリンク状態を模式化したデータ構造の説明図評価値テーブルを説明する説明図本発明による記録容量低減化画像処理を施すキャプチャ画像の判定例を説明する模式図低減化画像処理の一例を説明する説明図端末監視基本画面を示す図拡大されたキャプチャ画像表示フレームを示す図再生画面を示す図操作ログ表示画面を示す図キャプチャ画像と操作ログの記録手順を示すフローチャート本発明の第２の実施形態における端末監視装置の機能ブロック図本発明の第３の実施形態におけるによるキャプチャ画像記録型装置の機能ブロック図

符号の説明

１：端末
２：端末監視装置
１３：操作画面キャプチャ部
１４：操作ログ生成部
２２：端末操作ログ取得部
２３：端末キャプチャ画像取得部
２４：操作評価値算定部
２４ａ：評価値テーブル
２５：リンク部
２６：キャプチャ画像処理部
２６ａ：画像間引き部
２６ｂ：重要領域選択部
２６ｃ：階調度・解像度変換部
２８：端末情報記録管理部
２９：操作画面再生部
５４：データ格納部
５４ａ：端末情報記録部

Claims

監視対象となっている端末における操作イベントと当該操作イベント発生時の時刻を表すタイムスタンプとを記述した操作ログと前記端末の操作画面をキャプチャして得られた当該キャプチャ時の時刻を表すタイムスタンプを含むキャプチャ画像とを取得する端末監視装置において、
操作イベントと危険度とが関連付けて記録されている所定のテーブルから前記操作ログに記述された操作イベントの危険度を表す操作評価値を取得する操作評価値算定部と、前記操作イベントとこの操作イベントが発生した時刻に対応したキャプチャ画像とをリンクするリンク部と、前記キャプチャ画像の記録容量低減化画像処理をこのキャプチャ画像にリンクしている操作イベントの操作評価値に応じて行うキャプチャ画像処理部と、前記キャプチャ画像を記録する端末情報記録部とを備え、
前記記録容量低減化画像処理には所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像を削除する処理が含まれ、前記所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像であっても前記所定値を超える操作評価値をもつ操作イベントにリンクされているキャプチャ画像に連続する所定コマ数分に対しては前記削除する処理が禁止される端末監視装置。
前記キャプチャ画像処理部には前記操作イベントに基づいて対応するキャプチャ画像内の重要領域を決定して選択する重要領域選択部が含まれており、前記重要領域以外の領域に対して前記記録容量低減化画像処理が施されることを特徴とする請求項１記載の端末監視装置。
前記重要領域のサイズは前記操作イベントに基づいて変更されることを特徴とする請求項２に記載の端末監視装置。
前記重要領域以外の領域に対して施される記録容量低減化画像処理には画像二値化を含むカラー階調度低減処理が含まれていることを特徴とする請求項２又は３に記載の端末監視装置。
監視対象となっている端末における操作イベントと当該操作イベント発生時の時刻を表すタイムスタンプとを記述した操作ログと前記端末の操作画面をキャプチャして得られた当該キャプチャ時の時刻を表すタイムスタンプを含むキャプチャ画像とに基づいて前記端末を監視する端末監視プログラムにおいて、
操作イベントと危険度とが関連付けて記録されている所定のテーブルから前記操作ログに記述された操作イベントの危険度を表す操作評価値を取得する操作評価値算定機能と、前記操作イベントとこの操作イベントが発生した時刻に対応したキャプチャ画像とをリンクするリンク機能と、前記キャプチャ画像の記録容量低減化画像処理をこのキャプチャ画像にリンクしている操作イベントの操作評価値に応じて行うキャプチャ画像処理機能とをコンピュータに実現させ、
前記記録容量低減化画像処理には所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像を削除する処理が含まれ、前記所定値以下の操作評価値をもつ操作イベントにリンクされているキャプチャ画像であっても前記所定値を超える操作評価値をもつ操作イベントにリンクされているキャプチャ画像に連続する所定コマ数分に対しては前記削除する処理が禁止される端末監視プログラム。