JP7298694B2 - 異常検出装置、制御方法、及びプログラム - Google Patents

Description

本発明は異常検出に関する。

コンピュータシステムの異常を検出する技術が開発されている。例えば特許文献１には、正常動作モデルを用いて観測対象ソフトウエアの異常を検出するシステムが開示されている。

特開２０１８－１２９７１４号公報

本発明者は、コンピュータシステムが異常であるか否かを判断するための適切な基準は、そのシステムの状況等に依存することを見出した。この点、特許文献１の基準では、異常検出の基準として、固定的に１つのルールが用いられている。

本発明は、上述の課題に鑑みてなされたものであり、その目的の一つは、コンピュータシステムの異常を高い精度で検出する技術を提供することである。

本発明の異常検出装置は、１）端末における所定動作の開始を検出する第１検出部と、２）所定動作が開始された後における端末の異常検出の基準を表す基準情報を取得する取得部と、３）所定動作が開始されたことを検出した後に、取得した基準情報を用いて、端末の異常を検出する第２検出部と、を有する。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）端末における所定動作の開始を検出する第１検出ステップと、２）所定動作が開始された後における端末の異常検出の基準を表す基準情報を取得する取得ステップと、３）所定動作が開始されたことを検出した後に、取得した基準情報を用いて、端末の異常を検出する第２検出ステップと、を有する。

本発明のプログラムは、本発明の制御方法の各ステップをコンピュータに実行させる。

本発明によれば、コンピュータシステムの異常を高い精度で検出する技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の異常検出装置の動作の概要を例示する図である。 実施形態１の異常検出装置の構成を例示する図である。 異常検出装置を実現するための計算機を例示する図である。 実施形態１の異常検出装置によって実行される処理の流れを例示するフローチャートである。 異常検出装置の利用環境を例示する第１の図である。 異常検出装置の利用環境を例示する第２の図である。 第１基準情報をテーブル形式で例示する図である。 所定動作が行われている期間とそれ以外の期間とで、異なる基準を用いた異常検出が行われる様子を概念的に例示する図である。 実施形態２の異常検出装置の機能構成を例示するブロック図である。 警告情報を例示する図である。 実施形態２の異常検出装置によって行われる処理の流れを例示するフローチャートである。 実施形態３の異常検出装置の機能構成を例示するブロック図である。 実施形態３の異常検出装置によって行われる処理の流れを例示するフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［実施形態１］
＜概要＞
図１は、本実施形態の異常検出装置２０００の動作の概要を例示する図である。図１は、異常検出装置２０００の動作についての理解を容易にするための概念的な説明を表す図であり、異常検出装置２０００の動作を具体的に限定するものではない。

異常検出装置２０００は、端末１０の異常を検出する。ここで、端末１０は、物理マシンであってもよいし、仮想マシンであってもよい。なお、ここでいう「異常」は、正常でない種々の状態を表す。例えば異常とは、マルウエアが存在する可能性があるといったセキュリティ上の異常である。ただし、端末１０の異常は、セキュリティ上の異常に限定されない。

より具体的には、まず、異常検出装置２０００は、端末１０における所定動作の開始を検出する。ここで、所定動作は、端末１０が行う１つ以上の一連の動作を表す。例えば「所定動作」は、端末１０において行われる一連のメンテナンス処理（一連のコマンドの実行など）である。また、異常検出装置２０００は、基準情報３０を取得する。基準情報３０は、上記所定動作が開始された後において端末１０の異常を検出するための基準を表す。

異常検出装置２０００は、端末１０において所定動作が検出された後、取得した基準情報３０を利用して、端末１０の異常を検出する。例えば異常検出装置２０００は、基準情報３０を用いて、端末１０におけるアプリケーションの動作が異常であるか否かを判定する。そして、端末１０においてアプリケーションの異常な動作が検出されたら、異常検出装置２０００は、端末１０が異常であると判定する。

＜作用効果の一例＞
端末１０の異常を検出する方法として、端末１０が通常とは異なる振る舞いをしたことを検出するという方法が考えられる。例えば、端末１０で発生するイベント（例えば、システムコールの実行）を監視し、異常なイベントの発生を検出（異常な動作を検出）することで、端末１０の異常を検出するといった方法である。

しかしながら、端末１０のメンテナンスが行われるときなど、通常時とは異なる状況下では、端末１０の正常な振る舞いが通常時とは異なることがある。すなわち、通常時は異常であると判断すべき動作であっても、メンテナンス時などといった特定の状況下では、正常な動作と判断すべきことがある。そのため、端末１０の異常の検出に用いるべき基準は、端末１０の状況によって変化しうる。

そこで異常検出装置２０００は、端末１０における所定動作の開始を検出し、所定動作が開始された後においては、所定動作が開始された後における異常検出の基準を示す基準情報３０を利用して、端末１０の異常を検出する。このようにすることで、メンテナンスなどの所定の動作が行われている時には、その動作が行われている状況に応じた適切な基準で、端末１０の異常を検出することができるようになる。よって、異常検出装置２０００によれば、端末１０の異常を精度良く検出することができる。

以下、本実施形態の異常検出装置２０００についてさらに詳細に説明する。

＜異常検出装置２０００の機能構成の例＞
図２は、実施形態１の異常検出装置２０００の構成を例示する図である。異常検出装置２０００は、第１検出部２０２０、取得部２０４０、及び第２検出部２０６０を有する。第１検出部２０２０は、端末１０における所定動作の開始を検出する。取得部２０４０は基準情報３０を取得する。第２検出部２０６０は、所定動作の開始が検出された後に、基準情報３０を用いて、端末１０の異常を検出する。

＜異常検出装置２０００のハードウエア構成＞
異常検出装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、異常検出装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

例えば異常検出装置２０００は、１つの計算機で実現される。図３は、異常検出装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、異常検出装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスクドライブ、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。ただし、ストレージデバイス１０８０は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、異常検出装置２０００の機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

異常検出装置２０００は、２つ以上の計算機で実現されてもよい。この場合における各計算機も、例えば、図３に示したハードウエア構成を持つ。

＜処理の流れ＞
図４は、実施形態１の異常検出装置２０００によって実行される処理の流れを例示するフローチャートである。第１検出部２０２０は、端末１０における所定動作の開始を検出する（Ｓ１０２）。取得部２０４０は、基準情報３０を取得する（Ｓ１０４）。検出部２０６０は、基準情報３０を用いて端末１０の異常を検出する（Ｓ１０６）。

＜異常検出装置２０００の利用環境の具体例＞
異常検出装置２０００は、様々な利用環境で実現しうる。ここでは、その具体例をいくつか例示する。

＜＜利用環境の例１＞＞
図５は、異常検出装置２０００の利用環境を例示する第１の図である。この例において、異常検出装置２０００は、端末１０とは別体の装置として実現される。そして、端末１０では、エージェントソフトウエア１２が動作している。エージェントソフトウエア１２は、端末１０において所定動作が開始されたことを検出し、当該検出を異常検出装置２０００に対して通知する。

さらに、エージェントソフトウエア１２は、端末１０の振る舞いを表す情報を異常検出装置２０００へ提供する。例えば、エージェントソフトウエア１２は、端末１０で発生した各イベントを表す情報（以下、イベント情報）を異常検出装置２０００へ提供する。例えばイベント情報は、端末１０で発生したイベントの主体、客体、内容、及び発生時刻を示す。イベントの主体は、例えば、そのイベントを発生させたプロセスである。イベントの客体は、例えば、主体であるプロセスによって操作された他のプロセス、ファイル等のデータ、又はソケットなどである。イベントの内容は、例えば、プロセスの起動や終了、ファイルに対するデータの読み込みや書き込み、又はネットワークに対する（ソケット等に対する）データの読み込みや書き込みなどである。なお、システムコールの実行などといった種々のイベントの発生を検出する技術、及びそのイベントの内容を表す情報を生成する技術には、既存の技術を利用することができる。

＜＜利用環境の例２＞＞
図６は、異常検出装置２０００の利用環境を例示する第２の図である。この例において、異常検出装置２０００は、端末１０で実現される。すなわち、端末１０が、異常検出装置２０００として動作する機能を持つ。よって、端末１０の異常検出を、端末１０自身が行うことになる。このケースでも、前述したイベントの検出を実現するために、端末１０においてエージェントソフトウエア１２が動作している。

例えば異常検出装置２０００の機能は、エージェントソフトウエア１２に持たせることができる。すなわち、エージェントソフトウエア１２に、イベントを検出する機能、検出したイベントに基づいて所定動作の開始を検出する機能、基準情報３０を取得する機能、及び検出したイベント及び基準情報３０に基づいて端末１０の異常を検出する機能を持たせることにより、異常検出装置２０００を実現することができる。ただし、異常検出装置２０００の機能は、エージェントソフトウエア１２とは別のソフトウエアで実装されてもよい。

＜所定動作の開始の検出：Ｓ１０２＞
第１検出部２０２０は、端末１０において所定動作が開始されたことを検出する。ここで、所定動作の開始を検出するため、例えば、当該所定動作が開始されたタイミングにおける端末１０の振る舞いを予め定めておく。以下、所定動作の開始時における端末１０の振る舞いを定めた情報を、トリガ情報と呼ぶ。トリガ情報は、例えば、異常検出装置２０００からアクセス可能な記憶装置に予め格納しておく。

例えば、所定動作が、所定のファイル（スクリプトファイルやアプリケーションの実行ファイルなど）の実行によって開始されるとする。この場合、トリガ情報は、「ファイルの実行」という振る舞いの種類（内容）、及びその振る舞いの客体である所定ファイルの識別情報（ファイルのパスなど）などを示す。その他にも例えば、所定動作が、所定のコマンドの実行によって開始されるとする。この場合、トリガ情報は、「コマンドの実行」という振る舞いの種類、及びその振る舞いの客体である所定コマンドの識別情報（コマンド名など）を示す。

ここで、トリガ情報は、その振る舞いの内容と客体だけでなく、その振る舞いの主体をさらに示してもよい。この場合、特定の振る舞いが特定の主体によって行われたときのみ、所定動作の開始が検出される。

所定ファイルや所定コマンドの実行は、例えば、前述したイベント情報を利用して検出することができる。そこで例えば、第１検出部２０２０は、エージェントソフトウエア１２から繰り返しイベント情報を取得し、取得したイベント情報によって示されるイベントと合致するトリガ情報が存在するか否かを判定する。そして、イベント情報によって示されるイベントと合致するトリガ情報が存在すると判定された場合、第１検出部２０２０は、所定動作が開始されたと判定する。

ここで、イベント情報とトリガ情報との比較は、エージェントソフトウエア１２によって行われてもよい。すなわち、エージェントソフトウエア１２が、イベント情報とトリガ情報とを比較することにより、端末１０において所定動作が開始されたか否かを判定する。エージェントソフトウエア１２は、イベント情報によって示されるイベントと合致するトリガ情報が存在すると判定した場合、第１検出部２０２０に対し、所定動作の開始を通知する。第１検出部２０２０は、この通知を受信することにより、所定動作の開始を検出する。なお、このケースでは、トリガ情報は、エージェントソフトウエア１２からアクセス可能な記憶装置に格納される。

所定動作として扱う動作は、１種類の動作であってもよいし、複数種類の動作であってもよい。所定動作として複数種類の動作を扱う場合、各所定動作について、その所定動作に関するトリガ情報を用意しておく。なお、複数種類の動作を所定動作として扱う場合、端末１０において行われた所定動作の種類にかかわらず異常検出装置２０００が行う動作は同じにしてもよいし、端末１０において行われた所定動作の種類に応じて異常検出装置２０００が行う動作を異ならせてもよい。

所定動作として１種類の動作のみを扱う場合、第１検出部２０２０は、所定動作が開始されたという事実が認識できれば十分である。このことは、所定動作として複数の種類の動作を扱う場合であっても、端末１０において開始された所定動作の種類にかかわらず異常検出装置２０００が行う動作を同じにするのであれば、同様である。そこで、これらの場合においてエージェントソフトウエア１２がイベント情報とトリガ情報の比較を行う場合、エージェントソフトウエア１２は、端末１０における所定動作の開始を表す情報として、予め定められた形式の任意の情報を、第１検出部２０２０に対して送信する。

一方、所定動作として複数の種類の動作を扱い、なおかつ、端末１０で開始された所定動作の種類に応じて異常検出装置２０００の動作を異ならせるとする。この場合、第１検出部２０２０は、端末１０において所定動作が開始されたという事実だけでなく、どの所定動作が開始されたのかを把握する必要がある。そのため、このケースでは、エージェントソフトウエア１２は、端末１０において開始された所定動作の識別情報が含まれる所定の形式の情報を、第１検出部２０２０へ送信する。ここで、前提として、複数の所定動作にはそれぞれ、互いに識別可能な識別情報を割り当てておく。そして、トリガ情報を、そのトリガ情報に対応する所定動作の識別情報と対応づけて、記憶装置に格納しておく。

なお、所定動作が終了した場合に基準情報３０を利用した異常検出を終了する場合、異常検出装置２０００は、所定動作の開始を検出する方法と同様の方法により、所定動作の終了も検出する。

＜基準情報３０について＞
基準情報３０は、所定動作が行われている際に利用される、異常検出の基準を示す。例えば基準情報３０は、アプリケーションの実行、コマンドの実行、システムコールの実行、ライブラリのロード、レジストリの読み書き、又はファイルやネットワークの読み書きなどといった端末１０の動作について、許可や不許可を示す。

基準情報３０は、前述した種々の動作の許可や不許可を、順序付きの動作（順列）で示してもよい。例えば基準情報３０が、「アプリケーションＸの実行、コマンドＹの実行、ファイルＺへの書き込み」という順序で、端末１０で許可される一連の動作列（正常モデルとも呼ぶ）を示しているとする。この場合、基準情報３０が示すこれらの動作は、この順序で実行された場合のみ許可される。そのため、前述の例では、コマンドＹを実行する前にファイルＺへ書き込みを行うことは許可されない。このように、所定動作の中で実行されるコマンドやアプリケーションの順番が予め分かっている場合、その順序を基準情報３０で規定しておくことにより、端末１０の異常をより高い精度で検出することができる。

ここで、所定動作ごとに異常検出の基準を異ならせてもよい。この場合、所定動作ごとに基準情報３０を用意する。ここで、所定動作に対応づけて、その所定動作が行われている間に許可される一連の動作を示す基準情報３０は、その所定動作のシナリオを表す情報（その所定動作において、どのような動作がどのような順番で行われるかを示す情報）とも表現することができる。

図７は、基準情報３０をテーブル形式で例示する図である。図７のテーブルは、識別情報２０２及び動作２０４を示す。識別情報２０２は、所定動作の識別情報であり、本例では所定動作に割り与えられた名称を示している。動作２０４は、許可される１つの動作又は一連の動作を示す。

基準情報３０は、予め生成されており、異常検出装置２０００からアクセス可能な記憶装置に格納されている。ここで、基準情報３０を生成する方法は任意である。例えば基準情報３０は、管理者等によって手動で生成されてもよい。その他にも例えば、基準情報３０は、テスト環境下で行われた所定動作を記録し、その中で実行された１つ以上の動作を示すように、自動で生成されてもよい。この自動生成は、異常検出装置２０００によって行われてもよいし異常検出装置２０００以外の装置によって行われてもよい。ここで、前述したテスト環境には、サンドボックス環境を利用することが好適である。

＜基準情報３０の取得：Ｓ１０４＞
取得部２０４０は、基準情報３０を取得する（Ｓ１０４）。取得部２０４０は、前述した基準情報３０が格納されている記憶装置から、基準情報３０を取得する。

なお、所定動作として１種類の動作のみが扱われる場合や、所定動作の種類にかかわらず共通の基準情報３０が利用される場合、取得部２０４０は、所定動作の開始が検出されるよりも先に、基準情報３０を取得してもよい。一方、所定動作ごとに基準情報３０が用意されている場合、取得部２０４０は、第１検出部２０２０によってその開始が検出された所定動作に対応する基準情報３０を取得する。

ここで、取得部２０４０は、基準情報３０が一連の動作を示している場合、基準情報３０の内容を一度に全てを取得する代わりに、基準情報３０の内容を一部ずつ取得してもよい。例えば取得部２０４０は、許可される動作を先頭から１つずつ順に取得していく。すなわち、まず取得部２０４０は、基準情報３０から、最初に許可される動作を取得する。そして、端末１０においてその動作が行われ、第２検出部２０６０によって正常な動作として検出されたことに応じ、取得部２０４０は、基準情報３０から、次に許可される動作を取得する。

＜端末１０の異常の検出：Ｓ１０６＞
第２検出部２０６０は、基準情報３０を用いて、端末１０の異常を検出する（Ｓ１０６）。端末１０の異常の検出は、例えば、前述したイベント情報と基準情報３０との比較によって行われる。例えば基準情報３０が、正常なイベントを個別に示しているとする。この場合、第２検出部２０６０は、イベント情報が示すイベントが、基準情報３０に含まれるか否かを判定する。そのイベントが基準情報３０に含まれていない場合、第２検出部２０６０は、端末１０は異常であると判定する（端末１０の異常を検出する）。一方、そのイベントが基準情報３０に含まれている場合、第２検出部２０６０は、端末１０は正常であると判定する。

その他にも例えば、基準情報３０が、異常なイベントを個別に示しているとする。この場合、第２検出部２０６０は、イベント情報が示すイベントが、基準情報３０に含まれるか否かを判定する。そのイベントが基準情報３０に含まれていない場合、第２検出部２０６０は、端末１０は正常であると判定する。一方、そのイベントが基準情報３０に含まれている場合、第２検出部２０６０は、端末１０が異常であると判定する（端末１０の異常を検出する）。

その他にも例えば、基準情報３０が、正常なイベント列を表すモデルである正常モデルを示しているとする。この場合、第２検出部２０６０は、エージェントソフトウエア１２から取得した複数のイベントで表されるイベント列を正常モデルと比較することで、イベント列が正常モデルと合致するか否かを判定する。そして、イベント列が正常モデルと合致する場合、第２検出部２０６０は、端末１０が正常であると判定する。一方、イベント列が正常モデルと合致しない場合、第２検出部２０６０は、端末１０が異常であると判定する。

その他にも例えば、基準情報３０が、異常なイベント列を表すモデルである異常モデルを示しているとする。この場合、第２検出部２０６０は、エージェントソフトウエア１２から取得した複数のイベントで表されるイベント列を異常モデルと比較することで、イベント列が異常モデルと合致するか否かを判定する。そして、イベント列が異常モデルと合致する場合、第２検出部２０６０は、端末１０が異常であると判定する。一方、イベント列が異常モデルと合致しない場合、第２検出部２０６０は、端末１０が正常であると判定する。

なお、イベント列が所定のモデルと合致するか否かを判定する具体的な技術には、既存の技術を利用することができる。

＜所定動作が行われていない期間について＞
異常検出装置２０００は、所定動作が開始される前後（すなわち、所定動作が行われていない期間）においても、端末１０について異常検出を行ってもよい。例えば異常検出装置２０００は、常に端末１０の動作を監視するように構成される。ただしこの場合、所定動作が行われていない期間において、異常検出装置２０００は、基準情報３０が示す基準とは異なる基準で、端末１０の異常を検出する。

図８は、所定動作が行われている期間とそれ以外の期間とで、異なる基準を用いた異常検出が行われる様子を概念的に例示する図である。所定動作が行われている期間の前後では、異常検出装置２０００は、通常時のために用意されている基準情報を利用して、端末１０の異常を検出する。一方、所定動作が行われている期間では、異常検出装置２０００は、基準情報３０（所定動作が行われている期間のために用意された基準情報）を利用して、端末１０の異常を検出する。

例えば、所定動作が端末１０のメンテナンスであるとする。一般に、メンテナンスでは、通常時では行われない処理（例えば、メンテナンス用のアプリケーションの実行）が行われる。そこで例えば、基準情報３０では、メンテナンスに利用されるアプリケーションの実行など、所定動作特有の動作を正常な動作として許可する一方、第２基準情報６０では、このような所定動作特有の動作を異常な動作として不許可にする。このように、メンテナンス時など、通常時には利用しない処理が必要となる特殊なタイミングに限って、必要最低限の処理を追加で許可することにより、平常時から端末１０の安全性を高く保ちつつ、メンテナンス時などの特殊なタイミングでも、端末１０の安全性を高くすることができる。

なお、このように通常時と所定動作が行われている時とで異なる基準を利用する場合、基準情報３０は、通常時の基準との差分のみを示す情報として構成されてもよい。

［実施形態２］
図９は、実施形態２の異常検出装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態２の異常検出装置２０００は、実施形態１の異常検出装置２０００と同様の機能を有する。

実施形態２の異常検出装置２０００は警告部２０８０をさらに有する。警告部２０８０は、第２検出部２０６０によって端末１０の異常が検出された場合に、その異常に関する警告を表す警告情報を出力する。

警告情報は、少なくとも、端末１０の異常が検出されたことを把握できる態様の情報である。端末１０の異常が検出されたことのみを把握できればよい場合、警告情報には、予め定められた任意の形式の情報を利用できる。例えば、所定のメッセージが含まれるテキストデータや、所定の音声が含まれる音声データなどが利用できる。

警告情報には、端末１０において検出された異常の内容を把握できる情報が含まれてもよい。例えば端末１０において、本来発生すべきでないイベントが発生したことにより、端末１０の異常が検出されたとする。この場合、例えば警告部２０８０は、そのイベントに関する情報（主体、客体、内容、及び発生時刻など）を警告情報に含める。

その他にも例えば、端末１０において発生したイベントの列が、基準情報３０が示す正常モデルに合致しなかったことにより、端末１０の異常が検出されたとする。この場合、例えば警告情報には、端末１０で発生したイベントの列を表す情報と、基準情報３０が示す正常モデルを表す情報とが含まれる。具体的には、イベント列や正常モデルをグラフ化した情報などが含まれる。

図１０は、警告情報を例示する図である。図１０では、警告情報が、ディスプレイ装置に表示される警告画面６０として実現されている。この例において、異常検出装置２０００は、複数の端末１０を対象に異常検出を行っている。そして、警告画面６０には、検出された各異常について、その異常が発生した時刻、その異常が検出された端末１０の識別情報、その異常を発生させたプログラム又はコマンドの識別情報、及び異常の内容が示されている。

ここで、異常検出装置２０００が、複数の端末１０を対象として動作しているとする。この場合、警告情報には、異常が検出された端末１０の識別情報をさらに含めてもよい。ただし、警告情報の出力先を、異常が検出された端末１０とする場合には、警告情報の中に端末１０の識別情報を含めなくてもよい。

警告情報の出力先は任意である。例えば警告情報は、異常検出装置２０００からアクセス可能な任意のディスプレイ装置に対して出力される。その他にも例えば、警告情報は、異常検出装置２０００からアクセス可能な任意の記憶装置に格納される。その他にも例えば、警告情報は、異常検出装置２０００と通信可能に接続されている他の装置（例えば端末１０など）に対して送信されてもよい。

＜処理の流れ＞
図１１は、実施形態２の異常検出装置２０００によって行われる処理の流れを例示するフローチャートである。なお、Ｓ１０２からＳ１０６については、図４のフローチャートと同様である。Ｓ１０６の後、警告部２０８０は、警告情報を生成して出力する（Ｓ１０８）。

＜ハードウエア構成の例＞
実施形態２の異常検出装置２０００を実現する計算機のハードウエア構成は、例えば、実施形態１の異常検出装置２０００を実現する計算機のハードウエア構成と同様に、図３で表される。ただし、実施形態２の異常検出装置２０００を実現する計算機１０００が有するストレージデバイス１０８０には、実施形態２の異常検出装置２０００が有する各機能構成部の機能を実現するプログラムモジュールが格納されている。

［実施形態３］
図１２は、実施形態３の異常検出装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態３の異常検出装置２０００は、実施形態１又は２の異常検出装置２０００と同様の機能を有する。

実施形態３の異常検出装置２０００は制御部２１００をさらに有する。制御部２１００は、第２検出部２０６０によって端末１０の異常が検出された場合に、その端末１０を制御する。

例えば、制御部２１００は、基準情報３０で許可されていない動作を行ったアプリケーションを停止又は終了する。ただし、制御部２１００が停止又は終了するアプリケーションは、異常な動作を行ったアプリケーションのみに限定されなくてもよい。例えば制御部２１００は、端末１０の異常が検出されたら、所定動作の開始以後に実行された全てのアプリケーションを停止又は終了してもよい。その他にも例えば、制御部２１００は、端末１０の異常が検出されたら、所定動作に関連する全てのアプリケーションを停止又は終了してもよい。例えば、端末１０で開始された所定動作が、複数のアプリケーションの実行を伴う動作（例えば、複数のアプリケーションの実行を伴うスクリプトの実行）であるとする。この場合、例えば制御部２１００は、当該所定動作によって開始された全てのアプリケーションを停止又は終了する。

制御部２１００が行う制御は、アプリケーションの停止又は終了に限定されない。例えば制御部２１００は、端末１０の異常が検出されたら、端末１０の状態を、所定動作が開始される前の状態にロールバックする。なお、ここでいうロールバックは、端末１０の状態を完全に戻す処理だけに限定されず、端末１０の状態の一部を戻す処理（例えば、所定動作の開始が検出された時点以降に更新された各ファイルの内容を元に戻す（更新を破棄する）処理）であってもよい。

システムの状態をロールバックする方法には、様々な方法を利用することができる。例えば制御部２１００は、第１検出部２０２０によって所定動作の開始が検出されたタイミングで、端末１０の状態を記憶装置に保存する。例えば端末１０が仮想マシンで実現されている場合、端末１０の状態は、いわゆるスナップショットとして保存することができる。そして、第２検出部２０６０によって端末１０の異常が検出されたら、制御部２１００は、記憶装置に保存した端末１０の状態を利用して、端末１０の状態をロールバックする。なお、スナップショット等などを利用してコンピュータシステムの状態をロールバックする具体的な技術には、既存の技術を利用することができる。

その他にも例えば、制御部２１００は、第１検出部２０２０によって所定動作の開始が検出された時点以降に端末１０によって行われるファイルに対する書き込みを、そのファイルのコピーに対して行うようにする。この場合、端末１０の異常が検出されることなく所定動作が終了した場合には、コピーのファイルに対して行われた書き込みを、オリジナルのファイルに対して反映する。一方、所定動作が完了する前に端末１０の異常が検出された場合、制御部２１００は、コピーのファイルに対して行われた書き込みをオリジナルのファイルに反映せず、コピーのファイルを破棄する。こうすることで、端末１０の異常が検出された場合には、所定動作の開始時点以降に行われたファイルの更新が破棄されるため、ロールバックを実現できる。

ここで、端末１０で実行される各動作は、異常検出装置２０００によってその動作が異常であるかどうかの判定が終わるまで、中断してもよい。例えば、エージェントソフトウエア１２は、異常検出装置２０００による異常検出の対象とする端末１０の動作（例えば、アプリケーションの実行、ファイルの読み書き、又はネットワークの読み書きを行うシステムコールなど）をフックし、そのシステムコールの実行を中断した状態で、第２検出部２０６０が動作するようにする。そして、第２検出部２０６０によってそのシステムコールの実行が許可されたら、中断していた端末１０の動作を再開する。このようにすることで、許可しない動作の開始前に異常を検出できるため、端末１０をより安全に運用することができる。

＜ユーザへの通知＞
制御部２１００によって行われた制御の内容は、端末１０のユーザに通知されることが好ましい。例えば、制御部２１００がアプリケーションの停止又は終了を行った場合、制御部２１００は、そのアプリケーションが停止又は終了されたことを示す通知を行う。その他にも例えば、制御部２１００が端末１０の状態をロールバックした場合、制御部２１００は、その旨の通知を行う。例えばこの通知は、警告情報と同様の方法で出力することができる。

＜処理の流れ＞
図１３は、実施形態３の異常検出装置２０００によって行われる処理の流れを例示するフローチャートである。なお、Ｓ１０２からＳ１０６については、図４のフローチャートと同様である。Ｓ１０６の後、制御部２１００は、端末１０の動作を制御する（Ｓ１１０）。

＜ハードウエア構成の例＞
実施形態３の異常検出装置２０００を実現する計算機のハードウエア構成は、例えば、実施形態１の異常検出装置２０００を実現する計算機のハードウエア構成と同様に、図３で表される。ただし、実施形態３の異常検出装置２０００を実現する計算機１０００が有するストレージデバイス１０８０には、実施形態３の異常検出装置２０００が有する各機能構成部の機能を実現するプログラムモジュールが格納されている。

以上、図面を参照して本発明の各実施形態について述べたが、これらは本発明の例示であり、各実施形態を組み合わせた構成や、上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 端末における所定動作の開始を検出する第１検出部と、
前記所定動作が開始された後における前記端末の異常検出の基準を表す基準情報を取得する取得部と、
前記所定動作が開始されたことを検出した後に、前記取得した基準情報を用いて、前記端末の異常を検出する第２検出部と、を有する異常検出装置。
２． 互いに異なる２つの前記所定動作に対し、互いに異なる前記基準情報が対応づけられており、
前記取得部は、前記端末において開始された前記所定動作に対応する前記基準情報を取得する、１．に記載の異常検出装置。
３． 前記第２検出部によって前記端末の異常が検出された場合に、その異常に関する警告情報を出力する警告部を有する、１．又は２．に記載の異常検出装置。
４． 前記端末において異常な動作を行ったアプリケーションを停止又は終了する制御部を有する、１．乃至３．いずれか一つに記載の異常検出装置。
５． 前記第２検出部によって前記端末の異常が検出された場合に、前記端末の状態を、前記所定動作が開始される前の状態にロールバックする制御部を有する、１．乃至３．いずれか一つに記載の異常検出装置。
６． 前記第２検出部は、前記所定動作の開始が検出される前は、前記基準情報が示す基準とは異なる基準で、前記端末の異常を検出する、１．乃至５．いずれか一つに記載の異常検出装置。
７． 前記基準情報は、前記所定動作の中で行われる複数の動作の列を示し、
前記第２検出部は、前記端末において検出された動作の列が、前記基準情報が示す動作の列と合致しない場合に、前記端末が異常であると判定する、１．乃至６．いずれか一つに記載の異常検出装置。
８． 前記基準情報が示す前記端末の動作は、アプリケーションの実行、コマンドの実行、ライブラリのロード、レジストリの読み込み、レジストリへの書き込み、及びネットワークの読み込み、ネットワークへの書き込みのいずれか１種類以上である、７．に記載の異常検出装置。
９． コンピュータによって実行される制御方法であって、
端末における所定動作の開始を検出する第１検出ステップと、
前記所定動作が開始された後における前記端末の異常検出の基準を表す基準情報を取得する取得ステップと、
前記所定動作が開始されたことを検出した後に、前記取得した基準情報を用いて、前記端末の異常を検出する第２検出ステップと、を有する制御方法。
１０． 互いに異なる２つの前記所定動作に対し、互いに異なる前記基準情報が対応づけられており、
前記取得ステップにおいて、前記端末において開始された前記所定動作に対応する前記基準情報を取得する、９．に記載の制御方法。
１１． 前記第２検出ステップによって前記端末の異常が検出された場合に、その異常に関する警告情報を出力する警告ステップを有する、９．又は１０．に記載の制御方法。
１２． 前記端末において異常な動作を行ったアプリケーションを停止又は終了する制御ステップを有する、９．乃至１２．いずれか一つに記載の制御方法。
１３． 前記第２検出ステップによって前記端末の異常が検出された場合に、前記端末の状態を、前記所定動作が開始される前の状態にロールバックする制御ステップを有する、９．乃至１１．いずれか一つに記載の制御方法。
１４． 前記第２検出ステップにおいて、前記所定動作の開始が検出される前は、前記基準情報が示す基準とは異なる基準で、前記端末の異常を検出する、９．乃至１３．いずれか一つに記載の制御方法。
１５． 前記基準情報は、前記所定動作の中で行われる複数の動作の列を示し、
前記第２検出ステップにおいて、前記端末において検出された動作の列が、前記基準情報が示す動作の列と合致しない場合に、前記端末が異常であると判定する、９．乃至１４．いずれか一つに記載の制御方法。
１６． 前記基準情報が示す前記端末の動作は、アプリケーションの実行、コマンドの実行、ライブラリのロード、レジストリの読み込み、レジストリへの書き込み、及びネットワークの読み込み、ネットワークへの書き込みのいずれか１種類以上である、１５．に記載の制御方法。
１７． ９．乃至１６．いずれか一つに記載の制御方法が有する各ステップをコンピュータに実行させるプログラム。

Claims (19)

1. 端末における所定動作の開始を検出する第１検出部と、
   前記所定動作が開始された後における前記端末の異常検出の基準を表す基準情報を取得する取得部と、
   前記所定動作が開始されたことを検出した後に、前記取得した基準情報を用いて、前記端末の異常を検出する第２検出部と、を有し、
   前記第１検出部は、前記端末で発生したイベントを表すイベント情報と、前記所定動作が開始されたタイミングにおける前記端末の振る舞いを定めたトリガ情報を比較し、前記イベント情報によって示されるイベントと合致する前記トリガ情報が存在すると判定された場合に、前記所定動作の開始が検出されたと判定する、異常検出装置。
2. 互いに異なる２つの前記所定動作に対し、互いに異なる前記基準情報が対応づけられており、
   前記取得部は、前記端末において開始された前記所定動作に対応する前記基準情報を取得する、請求項１に記載の異常検出装置。
3. 前記第２検出部によって前記端末の異常が検出された場合に、その異常に関する警告情報を出力する警告部を有する、請求項１又は２に記載の異常検出装置。
4. 前記端末において異常な動作を行ったアプリケーションを停止又は終了する制御部を有し、
   前記基準情報は、コマンドの実行、システムコールの実行、ライブラリのロード、レジストリの読み書き、ならびに、ファイルおよびネットワークの読み書きのうち少なくとも一つの前記端末の動作について、許可または不許可を示し、
   前記第２検出部は、前記端末において、前記アプリケーション実行時に、前記基準情報において許可されていない前記動作が行われたことを検出し、
   前記制御部は、前記第２検出部により前記許可されていない動作が検出された場合に、当該許可されていない動作を行った前記端末で実行されているアプリケーションを停止又は終了する、請求項１乃至３いずれか一項に記載の異常検出装置。
5. 前記第２検出部によって前記端末の異常が検出された場合に、前記端末の状態を、前記所定動作が開始される前の状態にロールバックする制御部を有し、
   前記制御部は、前記第１検出部によって前記所定動作の開始が検出されたタイミングで、前記端末の状態を記憶装置に保存し、前記第２検出部によって当該端末の異常が検出されたとき、前記記憶装置に保存した当該端末の状態を利用して、当該端末の状態をロールバックする、請求項１乃至３いずれか一項に記載の異常検出装置。
6. 前記第２検出部によって前記端末の異常が検出された場合に、前記端末の状態を、前記所定動作が開始される前の状態にロールバックする制御部を有し、
   前記制御部は、
   前記第１検出部によって前記所定動作の開始が検出された時点以降に前記端末によった行われるファイルに対する書き込みを、当該ファイルのコピーに対して行い、
   前記端末の異常が検出されることなく前記所定動作が終了した場合は、前記コピーのファイルに対して行われた書き込みを、オリジナルのファイルに対して反映し、
   前記所定動作が完了する前に前記端末の異常が検出された場合は、前記コピーのファイルに対して行われた書き込みをオリジナルのファイルに反映せず、当該コピーのファイルを破棄する、請求項１乃至３いずれか一項に記載の異常検出装置。
7. 前記第２検出部は、前記所定動作の開始が検出される前は、前記基準情報が示す基準とは異なる基準で、前記端末の異常を検出する、請求項１乃至６いずれか一項に記載の異常検出装置。
8. 前記基準情報は、前記所定動作の中で行われる複数の動作の列を示し、
   前記第２検出部は、前記端末において検出された動作の列が、前記基準情報が示す動作の列と合致しない場合に、前記端末が異常であると判定する、請求項１乃至７いずれか一項に記載の異常検出装置。
9. 前記基準情報が示す前記端末の動作は、アプリケーションの実行、コマンドの実行、ライブラリのロード、レジストリの読み込み、レジストリへの書き込み、及びネットワークの読み込み、ネットワークへの書き込みのいずれか１種類以上である、請求項８に記載の異常検出装置。
10. コンピュータによって実行される制御方法であって、
    端末における所定動作の開始を検出する第１検出ステップと、
    前記所定動作が開始された後における前記端末の異常検出の基準を表す基準情報を取得する取得ステップと、
    前記所定動作が開始されたことを検出した後に、前記取得した基準情報を用いて、前記端末の異常を検出する第２検出ステップと、を有し、
    前記第１検出ステップにおいて、前記端末で発生したイベントを表すイベント情報と、前記所定動作が開始されたタイミングにおける前記端末の振る舞いを定めたトリガ情報を比較し、前記イベント情報によって示されるイベントと合致する前記トリガ情報が存在すると判定された場合に、前記所定動作の開始が検出されたと判定する、する制御方法。
11. 互いに異なる２つの前記所定動作に対し、互いに異なる前記基準情報が対応づけられており、
    前記取得ステップにおいて、前記端末において開始された前記所定動作に対応する前記基準情報を取得する、請求項１０に記載の制御方法。
12. 前記第２検出ステップによって前記端末の異常が検出された場合に、その異常に関する警告情報を出力する警告ステップを有する、請求項１０又は１１に記載の制御方法。
13. 前記端末において異常な動作を行ったアプリケーションを停止又は終了する制御ステップを有し、
    前記基準情報は、コマンドの実行、システムコールの実行、ライブラリのロード、レジストリの読み書き、ならびに、ファイルおよびネットワークの読み書きのうち少なくとも一つの前記端末の動作について、許可または不許可を示し、
    前記第２検出ステップにおいて、前記端末において、前記アプリケーション実行時に、前記基準情報において許可されていない前記動作が行われたことを検出し、
    前記制御ステップにおいて、前記第２検出ステップによって前記許可されていない動作が検出された場合に、当該許可されていない動作を行った前記端末で実行されているアプリケーションを停止又は終了する、請求項１０乃至１２いずれか一項に記載の制御方法。
14. 前記第２検出ステップによって前記端末の異常が検出された場合に、前記端末の状態を、前記所定動作が開始される前の状態にロールバックする制御ステップを有し、
    前記制御ステップにおいて、前記第１検出ステップによって前記所定動作の開始が検出されたタイミングで、前記端末の状態を記憶装置に保存し、前記第２検出ステップによって当該端末の異常が検出されたとき、前記記憶装置に保存した当該端末の状態を利用して、当該端末の状態をロールバックする、請求項１０乃至１３いずれか一項に記載の制御方法。
15. 前記第２検出ステップによって前記端末の異常が検出された場合に、前記端末の状態を、前記所定動作が開始される前の状態にロールバックする制御ステップを有し、
    前記制御ステップにおいて、
    前記第１検出ステップによって前記所定動作の開始が検出された時点以降に前記端末によった行われるファイルに対する書き込みを、当該ファイルのコピーに対して行い、
    前記端末の異常が検出されることなく前記所定動作が終了した場合は、前記コピーのファイルに対して行われた書き込みを、オリジナルのファイルに対して反映し、
    前記所定動作が完了する前に前記端末の異常が検出された場合は、前記コピーのファイルに対して行われた書き込みをオリジナルのファイルに反映せず、当該コピーのファイルを破棄する、請求項１０乃至１３いずれか一項に記載の制御方法。
16. 前記第２検出ステップにおいて、前記所定動作の開始が検出される前は、前記基準情報が示す基準とは異なる基準で、前記端末の異常を検出する、請求項１０乃至１５いずれか一項に記載の制御方法。
17. 前記基準情報は、前記所定動作の中で行われる複数の動作の列を示し、
    前記第２検出ステップにおいて、前記端末において検出された動作の列が、前記基準情報が示す動作の列と合致しない場合に、前記端末が異常であると判定する、請求項１０乃至１６いずれか一項に記載の制御方法。
18. 前記基準情報が示す前記端末の動作は、アプリケーションの実行、コマンドの実行、ライブラリのロード、レジストリの読み込み、レジストリへの書き込み、及びネットワークの読み込み、ネットワークへの書き込みのいずれか１種類以上である、請求項１７に記載の制御方法。
19. 請求項１０乃至１８いずれか一項に記載の制御方法が有する各ステップをコンピュータに実行させるプログラム。

Images