JP5963269B2

JP5963269B2 - 情報処理装置、情報処理システム、ログ管理方法、及びプログラム

Info

Publication number: JP5963269B2
Application number: JP2013178478A
Authority: JP
Inventors: 淳生林
Original assignee: NEC Fielding Ltd
Current assignee: NEC Fielding Ltd
Priority date: 2013-08-29
Filing date: 2013-08-29
Publication date: 2016-08-03
Anticipated expiration: 2033-08-29
Also published as: JP2015049527A

Description

本発明は、情報処理装置、情報処理システム、ログ管理方法、及びプログラムに関する。

システムの障害発生時等においては、原因究明のために、保守技術者、システム管理者等は操作内容を理解することが求められる。その際に、保守技術者、システム管理者等は、操作を行ったユーザ（以下、操作者と呼ぶ）に操作内容をヒアリングする場合がある。しかし、操作者の説明が不明瞭である場合、保守技術者、システム管理者等は、障害の原因究明、及び障害の解決に時間を要する場合が多い。そこで、操作内容を、テキストファイル形式、又は画像ファイル形式で、記録する方法が提案されている（特許文献１、２）。

特許文献１においては、所定の操作が行われるごとに、操作実行時点における表示画面をキャプチャする技術が開示されている。そして、特許文献１において開示された技術においては、キャプチャされた画像をログデータベースに保存する。

特許文献２においては、操作内容をイベントログとして記録保存するとともに、イベントログ発生時点の操作者の画面を保存する技術が開示されている。

特開２００７−２７９９９１号公報特開２００５−２６５７４３号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。

上述の通り、保守技術者、システム管理者等が操作者の操作内容を理解できるように、操作の履歴を示す情報（以下、ログ情報と呼ぶ）が記録されることが求められる。例えば、保守技術者等は、電子機器やシステム等を操作し、障害内容の調査、障害原因の調査、及び電子機器、システム等の修理（ソフトウェアの修正、ハードウェアの修理を含む）を行う。その際、保守技術者は、ログ情報から、障害内容、障害原因を検討、究明する場合が多い。そこで、保守技術者等は、画面に表示されたログ情報、修理等の履歴を残す。しかし、ログ情報等の記録漏れ、記録誤りが生じる可能性がある。

また、ログ情報の情報量が多すぎる場合、重要な情報が埋もれてしまう恐れがある。また、ログ情報の情報量が少なすぎる場合、保守技術者等が、必要な情報を取得できない恐れがある。

また、操作の種類によっては、所定時間以上遡った、ログ情報を記録しなければ、ログ情報を理解できない場合がある。つまり、操作の種類によって、ログ情報の記録時間は異なる。

例えば、操作内容を確定する操作に関して、ログ情報を記録する場合を考える。その場合、ログ情報を記録後に、保守技術者、システム管理者等が、確定された内容を理解するために、確定操作を行う画面に表示された情報が、重要である。

また、エラーの発生に関して、ログ情報を記録する場合を考える。その場合、エラーが発生した画面を記録するより、エラーが発生するまでの操作内容を記録することが重要である場合がある。

また、操作内容を取り消す操作に関して、ログ情報を記録する場合を考える。その場合、取り消し操作を行う画面を記録するより、取り消し操作を行うまでの操作内容、及び取り消し操作後に、内容を修正するために行う操作内容を記録することが重要である場合がある。

特許文献１、２に開示された技術においては、所定の操作が行われた時点の表示画像等を記録する。しかし、特許文献１、２に開示された技術においては、記録対象の所定の操作以前の操作内容を記録しない。そのため、特許文献１、２に開示された技術を用いて、ログ情報を記録した場合、ログ情報を記録後に、保守技術者、システム管理者等が操作内容を十分に理解できないおそれがある。

そこで、本発明は、有益なログ情報を適切に記録することに寄与する情報処理装置、情報処理システム、ログ管理方法、及びプログラムを提供することを目的とする。

本発明の第１の視点によれば、時系列でログ候補情報を取得するログ候補情報取得部と、トリガ判断情報を取得するトリガ判断情報取得部と、前記トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断するトリガ判断部と、予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する記録時間決定部と、前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報を、ログ情報として記録するログ情報管理部と、前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出部と、前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合部と、を備え、前記ログ候補情報は、表示画像の画像信号を含む表示画像情報、前記表示画像から抽出される文字情報、操作者の操作に伴い入力される音声情報の少なくともいずれかを含み、前記トリガ判断部は、前記キー候補情報抽出部が、所定の閾値を超える前記類似度の前記キー候補情報を抽出した場合、前記ログ管理トリガが発生したと判断する情報処理装置が提供される。

本発明の第２の視点によれば、ログ情報を記録する情報処理装置と、キー情報を照合するキー情報管理装置と、を含む情報処理システムであって、前記情報処理装置は、時系列でログ候補情報を取得するログ候補情報取得部と、トリガ判断情報を取得するトリガ判断情報取得部と、前記トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断するトリガ判断部と、前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出部と、前記ログ管理トリガのトリガ発生タイミング、及び予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する記録時間決定部と、前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報を、前記ログ情報として記録するログ情報管理部と、前記キー情報管理装置に前記キー候補情報を送信する情報処理装置通信部と、を備え、前記キー情報管理装置は、前記キー候補情報と、予め登録された登録キー情報と、を照合するキー情報照合部と、前記情報処理装置から前記キー候補情報を受信し、前記キー候補情報と、前記登録キー情報の照合結果を、前記情報処理装置に送信する管理装置通信部と、を備え、前記トリガ判断情報取得部は、前記キー候補情報を前記トリガ判断情報として取得し、前記トリガ判断部は、前記キー候補情報と、前記登録キー情報の照合結果に基づいて、前記ログ管理トリガの発生の有無を判断し、前記ログ候補情報は、表示画像の画像信号を含む表示画像情報、前記表示画像から抽出される文字情報、操作者の操作に伴い入力される音声情報の少なくともいずれかを含む、情報処理システムが提供される。

本発明の第３の視点によれば、時系列でログ候補情報を取得するログ候補情報取得工程と、トリガ判断情報を取得するトリガ判断情報決定工程と、前記トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断するトリガ判断工程と、前記ログ管理トリガのトリガ発生タイミング、予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する記録時間決定工程と、前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報を、ログ情報として記録するログ情報管理工程と、前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出工程と、前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合工程と、を含み、前記ログ候補情報は、表示画像の画像信号を含む表示画像情報、前記表示画像から抽出される文字情報、操作者の操作に伴い入力される音声情報の少なくともいずれかを含み、前記トリガ判断工程において、所定の閾値を超える前記類似度の前記キー候補情報が抽出された場合、前記ログ管理トリガが発生したと判断するログ管理方法が提供される。
なお、本方法は、ログ情報を記録する情報処理装置という、特定の機械に結び付けられている。

本発明の第４の視点によれば、情報処理装置を制御するコンピュータに実行させるプログラムであって、時系列でログ候補情報を取得するログ候補情報取得処理と、トリガ判断情報を取得するトリガ判断情報決定処理と、前記トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断するトリガ判断処理と、前記ログ管理トリガのトリガ発生タイミング、及び予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する記録時間決定処理と、前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報を、ログ情報として記録するログ情報管理処理と、前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出処理と、前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合処理と、を前記コンピュータに実行させ、前記ログ候補情報は、表示画像の画像信号を含む表示画像情報、前記表示画像から抽出される文字情報、操作者の操作に伴い入力される音声情報の少なくともいずれかを含み、前記トリガ判断処理において、所定の閾値を超える前記類似度の前記キー候補情報が抽出された場合、前記ログ管理トリガが発生したと判断するプログラムが提供される。
なお、本プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、有益なログ情報を適切に記録することに寄与する情報処理装置、情報処理システム、ログ管理方法、及びプログラムが提供される。

一実施形態の概要を説明するための図である。第１の実施形態に係る情報処理システム１の全体構成の一例を示すブロック図である。第１の実施形態に係る情報処理装置３０の内部構成の一例を示すブロック図である。第１の実施形態に係る情報処理装置３０の動作の一例を示すフローチャートである。第１の実施形態に係る情報処理装置３０の動作の一例を示すフローチャートである。ログ候補情報の選択の一例を示す図である。第２の実施形態に係る情報処理システム１ａの全体構成の一例を示すブロック図である。第２の実施形態に係るキー情報管理装置４０の内部構成の一例を示すブロック図である。第２の実施形態に係る情報処理装置３０ａの内部構成の一例を示すブロック図である。登録キー情報の一例を示す図である。第２の実施形態に係る情報処理システム１ａの動作の一例を示すフローチャートである。第２の実施形態に係る情報処理システム１ａの動作の一例を示すフローチャートである。第２の実施形態に係る情報処理システム１ａの動作の一例を示すフローチャートである。第３の実施形態に係る情報処理システム１ｂの全体構成の一例を示すブロック図である。第３の実施形態に係る情報処理装置３０ｂの内部構成の一例を示すブロック図である。

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述の通り、有益なログ情報を適切に記録することに寄与する情報処理装置が望まれる。

そこで、一例として、図１に示す情報処理装置１００を提供する。図１（ａ）は、情報処理装置１００の内部構成の一例を示すブロック図である。図１（ｂ）は、情報処理装置１００の動作の一例を示すフローチャートである。情報処理装置１００は、ログ候補情報取得部１０１と、トリガ判断情報取得部１０２と、トリガ判断部１０３と、記録時間決定部１０４と、ログ情報管理部１０５と、を備える。

まず、ログ候補情報取得部１０１は、時系列でログ候補情報を取得する（ステップＳ１００１）。ログ候補情報とは、ログ情報の候補とする情報である。例えば、ログ候補情報は、操作者に提示される、表示画面の画像等であっても良い。

そして、トリガ判断情報取得部１０２は、トリガ判断情報を取得する（ステップＳ１００２）。トリガ判断情報とは、ログ管理トリガの発生の有無を判断するための情報を意味する。ここで、ログ管理トリガとは、表示画面の画像等（即ち、ログ候補情報）を、ログ情報として記録するか否かを決定するトリガを意味する。例えば、トリガ判断情報取得部１０２は、操作者の操作内容に関する情報を、トリガ判断情報として取得しても良い。

そして、トリガ判断部１０３は、トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断する（ステップＳ１００３）。

そして、記録時間決定部１０４は、予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する（ステップＳ１００４）。ここで、トリガ発生タイミングとは、ログ管理トリガが発生したタイミング（ログ管理トリガが発生した時刻等）を意味する。また、ログ記録時間とは、所定のログ管理トリガに対応して、ログ情報を記録する時間を意味する。また、記録時間決定条件とは、ログ記録時間を決定するための条件を意味する。例えば、記録時間決定条件は、ログ情報の内容、ログを取る環境等に基づいて、ログ記録時間を決定する条件であってもよい。なお、ログ記録時間は、ログ管理トリガの発生前、及び／又はログ管理トリガの発生後の時間を含んでも良い。

そして、ログ情報管理部１０５は、ログ記録時間内に取得される、１又は２以上のログ候補情報を、ログ情報として記録する（ステップＳ１００５）。

例えば、情報処理装置１００は、所定の操作をログ管理トリガとする場合、ログ管理トリガとする操作が行われた場合、所定時間のログ情報を記録する。ここで、情報処理装置１００は、所定時間のログ情報を記録する。その結果、情報処理装置１００は、保守技術者、システム管理者等の操作内容の理解を促進することができる。従って、情報処理装置１００は、有益なログ情報を適切に記録することに寄与する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、本実施形態に係る情報処理システム１の全体構成の一例を示すブロック図である。情報処理システム１は、入力装置１０と、表示装置２０と、情報処理装置３０と、を含んで構成される。なお、図２は、情報処理システム１の構成を、図２に示す構成に限定する趣旨ではない。

入力装置１０は、操作者の入力操作を検出し、情報処理装置３０に、検出した操作を通知する。例えば、入力装置１０は、キーボード、マウス、タッチパネル等の装置を含む。さらに、入力装置１０は、外界の情報を画像情報、音声情報として取り込み、デジタルデータに変換して情報処理装置３０に伝達する装置、センサ等であっても良い。例えば、入力装置１０は、ビデオカメラ、マイク、イメージスキャナ等であっても良い。なお、図２においては、１つの入力装置１０を図示するが、これは、本発明を１つの入力装置１０に限定する趣旨ではない。情報処理装置３０は、２つ以上の入力装置１０と接続しても良い。

表示装置２０は、情報処理装置３０から情報を取得し、操作者の認識できる形態で提示する装置である。例えば、表示装置２０は、ディスプレイ、プロジェクタ、プロッタ等であってもよい。

情報処理装置３０は、プログラムからの命令を呼び出し、呼び出された命令に基づいて、処理を行う装置、回路等を包含する装置である。例えば、情報処理装置３０は、携帯電話、スマートフォン、デスクトップＰＣ（Personal Computer）、タブレットＰＣ、ノートＰＣ、ＰＤＡ（Personal Data Assistants；携帯情報端末）、サーバ装置等であっても良い。

入力装置１０、表示装置２０、情報処理装置３０は、夫々、ネットワーク（図示せず）を介して接続されていても良い。なお、図２においては、入力装置１０と、表示装置２０と、情報処理装置３０とが、夫々、独立した装置として記載している。しかし、入力装置１０と、表示装置２０と、情報処理装置３０とが、一体化した装置であってもよい。

図３は、本実施形態に係る情報処理装置３０の内部構成の一例を示すブロック図である。情報処理装置３０は、記憶部３０１と、ログ候補情報取得部３０２と、トリガ判断情報取得部３０３と、トリガ判断部３０４と、記録時間決定部３０５と、ログ情報管理部３０６と、を含んで構成される。図３は、簡単のため、本実施形態に係る情報処理装置３０に関係するモジュールを主に記載する。

情報処理装置３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含むコンピュータによって構成されている。ＲＯＭにはプログラムが記憶されている。情報処理装置３０に搭載されたＣＰＵは、ＲＯＭに記憶されているプログラムを読み込み、実行する。その結果、情報処理装置３０に搭載されたＣＰＵは、ログ候補情報取得部３０２、トリガ判断情報取得部３０３、トリガ判断部３０４、記録時間決定部３０５、ログ情報管理部３０６として機能する。

記憶部３０１は、情報処理装置３０の動作に必要な情報を記憶する。記憶部３０１は、ＲＡＭを含んで構成される。例えば、記憶部３０１は、表示画像情報、又は操作者の操作に伴い入力される音声情報等を、ログ候補情報として記憶する。

ログ候補情報取得部３０２は、時系列でログ候補情報を取得する。例えば、ログ候補情報取得部３０２は、所定の時間間隔で、ログ候補情報を取得しても良い。ここで、ログ候補情報取得部３０２は、文字列情報、表示画像情報、音声情報の少なくともいずれかを、ログ候補情報として取得してもよい。

表示画像情報とは、表示装置２０の表示対象の画像（以下、表示画像と呼ぶ）に関する情報を意味する。ただし、表示装置２０に、表示画像が表示されていない状態であっても良い。

なお、表示画像情報のフォーマットは問わない。例えば、表示画像情報は、ＨＴＭＬ（Hyper Text Markup Language）フォーマットであってもよい。また、表示画像情報は、ＪＰＥＧ（Joint Photographic Experts Group）、ＧＩＦ（Graphic Interchange Format）、ＢＭＰ（ビットマップ、Bitmap）等のフォーマットであっても良い。また、表示画像情報は、ＰＤＦ（Portable Document Format）等、画像情報を含む文書フォーマットであっても良い。また、表示画像情報は、表示画像の画像信号であっても良い。また、画像信号を画像キャプチャ装置や回路に入力し、画像データ（例えば、ビットマップ画像データ等）に変換してもよい。そして、変換された画像データを、表示画像情報として用いても良い。

具体的には、ログ候補情報取得部３０２は、時系列でログ候補情報を取得し、取得した１又は２以上の当該ログ候補情報を、記憶部３０１に保存する。例えば、ログ候補情報取得部３０２は、ログ管理トリガの発生の有無に依存せず、所定の時間間隔（例えば、３０フレーム／秒）で、表示画像情報、音声情報等を取得しても良い。ここで、音声情報とは、操作者の操作に伴い入力される音声情報等を含む。そして、ログ候補情報取得部３０２は、取得した表示画像情報等を、ログ候補情報として記憶部３０１に保存する。

なお、ログ候補情報を取得する時間間隔は、操作者の操作内容を理解するために必要な時間間隔であれば良く、その詳細は問わない。ログ候補情報を取得する時間間隔は、実行状態（実行するアプリケーションプログラム等）に応じて、変更しても良い。また、ログ候補情報を取得する時間間隔は、システム管理者等が設定可能であっても良い。

トリガ判断情報取得部３０３は、トリガ判断情報を取得する。具体的には、トリガ判断情報取得部３０３は、入力装置１０に対する操作者の操作に関する情報（以下、操作情報と呼ぶ）を、トリガ判断情報として取得する。例えば、入力装置１０がキーボードである場合、トリガ判断情報取得部３０３は、キーボード上のキーの押下操作を、トリガ判断情報として取得する。また、入力装置１０がマウスである場合、トリガ判断情報取得部３０３は、マウスのクリック操作を、トリガ判断情報として取得しても良い。

トリガ判断部３０４は、トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断する。そして、トリガ判断部３０４は、ログ管理トリガの発生を判断した場合に、そのログ管理トリガに対応する時系列情報に基づいて、トリガ発生タイミングを決定する。なお、時系列情報は、時系列が判別できる情報であれば、その詳細は問わない。例えば、時系列情報は、日時に関する情報であってもよい。

ここで、トリガ判断部３０４は、所定の操作をログ管理トリガとして定義しても良い。その場合、トリガ判断情報取得部３０３が所定の操作情報を取得したときに、トリガ判断部３０４は、ログ管理トリガが発生したと判断する。そして、トリガ判断部３０４は、所定の操作に関する情報が取得されたときの時刻等を、トリガ発生タイミングとして決定する。

例えば、入力装置１０がキーボードである場合、トリガ判断部３０４は、エンターキーを押下する操作を、ログ管理トリガとして定義するとする。その場合、トリガ判断部３０４は、エンターキーを押下する操作情報が取得されたときに、エンターキーを押下する操作情報が取得された時刻等を、トリガ発生タイミングとして決定する。

また、例えば、入力装置１０が、タッチパネルである場合、トリガ判断部３０４は、タッチパネルに対して、所定の入力箇所をタッチ等する入力操作を、ログ管理トリガとして定義しても良い。その場合、トリガ判断部３０４は、タッチパネルに対して、所定の入力箇所をタッチ等する操作情報が取得されたときに、当該操作情報が取得された時刻等を、トリガ発生タイミングとして決定しても良い。なお、上述の通り、入力装置１０の種類は問わない。さらに、入力装置１０に応じて、所定の操作をログ管理トリガとして定義しても良く、操作の詳細は問わない。

記録時間決定部３０５は、ログ管理トリガのトリガ発生タイミング、及び予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する。ここで、記録時間決定条件とは、ログ管理トリガの種類、ログ候補情報に含まれる所定の情報、ログ候補情報の取得環境の少なくともいずれかと、ログ記録時間とを対応付ける条件を含む。

また、記録時間決定条件は、ログ管理トリガの種類、ログ候補情報に含まれる所定の情報、予め登録された所定の条件の少なくともいずれかと、ログ記録時間、及びトリガ発生タイミング前後の記録する時間配分とを対応付けた条件であってもよい。

上記の「ログ管理トリガの種類」とは、ログ管理トリガとする、操作内容等を意味する。例えば、操作内容等に応じて、予め、ログ記録時間等を決定しておいても良い。その場合、記憶部３０１に、予め、操作内容等と、ログ記録時間等との対応関係を、記録時間決定条件として登録しておく。そして、登録された操作の操作情報が取得された場合、記録時間決定部３０５は、記録時間情報を参照し、ログ記録時間等を決定しても良い。

また、上記の「ログ候補情報に含まれる所定の情報」とは、ログ候補情報に含まれる文字列、記号等を意味する。例えば、文字列、記号等に応じて、予め、ログ記録時間等を決定しておいても良い。その場合、記憶部３０１に、予め、文字列、記号等と、ログ記録時間等との対応関係を、記録時間決定条件として登録しておく。そして、ログ候補情報に登録された文字列等が含まれる場合、記録時間決定部３０５は、記録時間決定条件を参照し、ログ記録時間等を決定しても良い。

また、上記の「ログ候補情報の取得環境」とは、ログを取る対象とする電子機器、システム等を意味する。例えば、ログを取る対象とする電子機器、システム等に応じて、予め、ログ記録時間等を決定しておいても良い。その場合、記憶部３０１に、電子機器、システム等と、ログ記録時間等との対応関係を、記録時間決定条件として登録しておく。そして、ログを取る対象とする電子機器、システム等が、記録時間決定条件として登録された電子機器、システム等である場合、記録時間決定部３０５は、記録時間決定条件を参照し、ログ記録時間等を決定しても良い。なお、上記の例示は、記録時間決定条件を限定する趣旨ではない。ログ記録時間を決定するための条件であれば、他の条件が、記録時間決定条件に含まれていても良い。

ここで、記録時間決定部３０５は、トリガ発生タイミング前の時間、前記トリガ発生タイミング後の時間の少なくともいずれかを含めて、ログ記録時間を決定することが好ましい。なぜなら、上述の通り、操作の種類によっては、所定時間以上遡ったログ情報を記録しなければ、ログ情報を確認する人物（保守技術者、システム管理者等）が、操作者の操作内容等を理解できない場合があるからである。また、操作の種類によっては、操作後、所定時間のログ情報を記録しなければ、ログ情報を確認する人物（保守技術者、システム管理者等）が、操作者の操作内容等を理解できない場合があるからである。

ログ情報管理部３０６は、ログ記録時間内に取得される、１又は２以上のログ候補情報を、ログ情報として記録する。具体的には、ログ情報管理部３０６は、ログ記録時間内に取得される、１又は２以上のログ候補情報と、ログ管理トリガと、を対応付けて、ログ情報として記録する。なお、ログ記録時間において、トリガ発生タイミング前の時間の長さと、トリガ発生タイミング後の時間の長さと、が異なっても良い。

または、ログ情報管理部３０６は、ログ記録時間において、時系列で取得される、１又は２以上のログ候補情報と、当該各ログ候補情報に対応する時系列情報と、ログ管理トリガと、を対応付けて、ログ情報として記録してもよい。その場合、ログ情報管理部３０６は、トリガ判断部３０４がログ管理トリガの発生を判断したとき、ログ記録時間に、トリガ発生タイミング前の時間が含まれる場合、蓄積されたログ候補情報のうち、ログ記録時間内に取得されるログ候補情報と、当該各ログ候補情報に対応する時系列情報と、ログ管理トリガと、を対応付けて記録してもよい。

次に、情報処理装置３０の動作について説明する。

まず、トリガ発生タイミング前の情報処理装置３０の動作について説明する。

図４は、トリガ発生タイミング前の情報処理装置３０の動作の一例を示すフローチャートである。

まず、ログ候補情報取得部３０２は、表示画像情報等を、ログ候補情報として取得する（ステップＳ１）。また、ログ候補情報取得部３０２は、時系列情報を取得する（ステップＳ２）。そして、ログ候補情報取得部３０２は、時系列情報を表示画像情報等に対応付ける（ステップＳ３）。そして、ログ候補情報取得部３０２は、時系列情報を対応付けた、表示画像情報等を記憶部３０１に記憶する（ステップＳ４）。

トリガ判断情報取得部３０３は、操作情報をトリガ判断情報として取得する（ステップＳ５）。

トリガ判断情報取得部３０３が所定の操作情報を取得したか否かを、トリガ判断部３０４は判断する（ステップＳ６）。つまり、所定の操作が行われたか否かを、トリガ判断部３０４は判断する。

トリガ判断情報取得部３０３が所定の操作情報を取得した場合（ステップＳ６のＹｅｓ分岐）には、トリガ判断部３０４は、トリガ判断情報取得部３０３が取得した操作情報を、ログ管理トリガとして決定する（ステップＳ７）。そして、トリガ判断部３０４は、操作情報をログ管理トリガとして決定した時刻等を、トリガ発生タイミングとして決定する。そして、図４に示す「Ａ」（ステップＳ８）に遷移する。ステップＳ８に遷移した場合、図５に示すステップＳ１１に遷移する。一方、トリガ判断情報取得部３０３が所定の操作情報を取得しない場合（ステップ６のＮｏ分岐）には、ステップＳ１に戻り、処理を継続する。

ステップＳ８に遷移した場合、図５に示すステップＳ１１に遷移する。

次に、トリガ発生タイミング後の情報処理装置３０の動作について説明する。

図５は、トリガ発生タイミング後の情報処理装置３０の動作の一例を示すフローチャートである。

ステップＳ１１において、記録時間決定部３０５は、トリガ発生タイミング、及び記録時間決定条件に基づいて、ログ記録時間を決定する。そして、ログ情報管理部３０６は、ログ記録時間に含まれるログ候補情報に、ログ管理トリガを対応付ける（ステップＳ１２）。そして、ログ情報管理部３０６は、ログ管理トリガを対応付けたログ候補情報を、ログ情報として記憶部３０１に保存する（ステップＳ１３）。

ログ記録時間に対応する、ログ情報が記録されたか否かを、ログ情報管理部３０６は判断する（ステップＳ１４）。つまり、ログ記録時間に対応する、表示画像情報等を記録したか否かを、ログ情報管理部３０６は判断する。

ログ記録時間に対応する、ログ情報が記録された場合（ステップＳ１４のＹｅｓ分岐）には、図５に示す「Ｂ」（ステップＳ１５）に遷移する。ステップＳ１５に遷移した場合、図４に示すステップＳ１に戻り、処理を継続する。一方、ログ記録時間に対応する、ログ情報が記録されていない場合（ステップＳ１４のＮｏ分岐）には、ステップＳ１６に遷移する。

ステップＳ１６において、所定の時間間隔が経過したか否かを、ログ情報管理部３０６は判断する。具体的には、直前のログ情報の記録後から所定の時間間隔が経過したか否かを、ログ情報管理部３０６は判断する。

所定の時間間隔が経過した場合（ステップＳ１６のＹｅｓ分岐）には、ステップＳ１７に遷移する。一方、所定の時間間隔が経過していない場合（ステップＳ１６のＮｏ分岐）には、ステップＳ１４に戻り、処理を継続する。

ステップＳ１７において、ログ候補情報取得部３０２は、表示画像情報等を取得する。また、ログ候補情報取得部３０２は、時系列情報を取得する（ステップＳ１８）。そして、ログ情報管理部３０６は、時系列情報、及びログ管理トリガを表示画像情報等に対応付けて、ログ情報として生成する（ステップＳ１９）。そして、ログ情報管理部３０６は、生成したログ情報を記憶部３０１に保存する（ステップＳ２０）。そして、ステップＳ１４に戻り、処理を継続する。

図６は、ログ候補情報の選択の一例を示す図である。図６（ａ）〜（ｃ）に示すｄ１〜ｄｎは、夫々、対応する時刻（時刻ｔ１〜ｔｎ）においてのログ候補情報を示す。

まず、トリガ発生タイミング前の処理について、図６（ａ）を参照して説明する。図６（ａ）の場合、トリガ発生タイミング（図６に示す時刻ｔｒｉｇｇｅｒ）前の時刻（時刻ｔ１〜ｔ４）において、ログ候補情報取得部３０２は、所定の時間間隔で、表示画像情報等を取得する。そして、ログ候補情報取得部３０２は、取得した表示画像情報等をログ候補情報ｄ１〜ｄ４として取得する。そして、ログ候補情報取得部３０２は、ログ候補情報ｄ１〜ｄ４を、ログ候補情報として記憶部３０１に保存させる。

そして、トリガ判断部３０４が、ログ管理トリガの発生を判断したとする。その場合、トリガ判断部３０４は、ログ管理トリガに対応する時系列情報に基づいて、トリガ発生タイミングを決定する。ここで、図６（ｂ）に示すように、時刻ｔ４の後、時刻ｔｒｉｇｇｅｒがトリガ発生タイミングであるとする。その場合、記録時間決定部３０５は、時刻ｔｒｉｇｇｅｒに対応する操作情報に基づいて、ログ記録時間を決定する。図６（ｂ）の場合、記録時間決定部３０５は、時刻ｔ３から、時刻ｔｒｉｇｇｅｒの後、時刻ｔｎまでの時間を、ログ記録時間として決定したとする。

その場合、時刻ｔ３、ｔ４は、ログ記録時間に含まれる。そのため、ログ情報管理部３０６は、既に記憶されているログ候補情報ｄ１〜ｄ４のうち、ログ候補情報ｄ３、ｄ４にログ管理トリガを対応づける。そして、ログ情報管理部３０６は、ログ候補情報ｄ３、ｄ４を記憶部３０１に保存する。

そして、ログ情報管理部３０６は、時刻ｔｒｉｇｇｅｒの後、時刻ｔｎまで、所定の時間間隔で、ログ候補情報を取得し、記憶部３０１に保存する。図６（ｃ）の場合、所定の時間間隔で、ログ候補情報ｄ５、ｄ６、．．．、ｄｎを取得し、記憶部３０１に保存する処理を繰り返す。その結果、ログ情報管理部３０６は、ログ候補情報ｄ３、ｄ４、ｄ５、ｄ６、．．．、ｄｎを、ログ情報として記録する。一方、ログ候補情報ｄ１、ｄ２は、ログ情報には含まれない。

なお、上述の通り、ログ記録時間において、トリガ発生タイミング前の時間の長さと、トリガ発生タイミング後の時間の長さと、が異なっていても良い。例えば、図６（ｃ）の場合、時刻ｔ３〜ｔｒｉｇｇｅｒまでの時間の長さと、時刻ｔｒｉｇｇｅｒ〜ｔｎまでの時間の長さと、が異なっていても良い。

［変形例１］
本実施形態に係る情報処理装置３０の変形例１として、トリガ判断情報取得部３０３の取得する操作情報と、予め登録された操作情報（以下、登録操作情報と呼ぶ）と、を比較しても良い。そして、トリガ判断情報取得部３０３の取得する操作情報と、登録操作情報と、の類似度が所定の閾値を超える場合、トリガ判断部３０４は、ログ管理トリガが発生したと判断しても良い。例えば、情報処理装置３０は、所定のキー入力、所定のマウス操作等を、登録操作情報として登録してもよい。

以上のように、本実施形態に係る情報処理装置３０においては、所定の操作が行われたときに、表示画像等をログ情報として記録する。さらに、本実施形態に係る情報処理装置３０においては、操作情報に応じて、ログ情報の記録時間を変更することで、記録する情報量を変更する。従って、本実施形態に係る情報処理装置３０は、有益なログ情報を適切に記録することに寄与する。

また、本実施形態に係る情報処理装置３０は、ログ管理トリガが発生するまで、ログ候補情報として、所定の時間間隔で、表示画像情報等を継続して取得する。そして、本実施形態に係る情報処理装置３０は、ログ管理トリガが発生したとき、操作情報に応じて、必要なログ候補情報を選択する。そのため、本実施形態に係る情報処理装置３０は、重要なログ情報に漏れが生じることを防止できる。

また、本実施形態に係る情報処理装置３０は、必要な情報量のログ情報を記録することに寄与する。そのため、本実施形態に係る情報処理装置３０をコールセンター、ヘルプデスクに適用した場合、コールセンター等の担当者は、操作者の操作内容、実行結果等について、適切な情報を取得できる。

また、本実施形態に係る情報処理装置３０が記録する、ログ情報を用いて、監査を行うことができる。そこで、コンピュータ等の不正使用を抑制するために、本実施形態に係る情報処理装置３０を適用しても良い。

また、本実施形態に係る情報処理装置３０は、有益な操作画面等を、時系列で蓄積できる。そこで、本実施形態に係る情報処理装置３０を、教育等において、教材作成の利便性向上に利用しても良い。

［第２の実施形態］
次に、第２の実施形態について、図面を用いて詳細に説明する。

本実施形態は、表示画像情報から文字情報等を抽出し、抽出された文字情報等に基づいて、ログ管理トリガの発生の有無を判断する形態である。なお、本実施形態における説明では、第１の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、第１の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。また、本実施形態における説明では、第１の実施形態と同一の作用効果についても、その説明を省略する。

図７は、本実施形態に係る情報処理システム１ａの全体構成の一例を示すブロック図である。図２に示す情報処理システム１と、図７に示す情報処理システム１ａとの相違点は、図７に示す情報処理システム１ａは、キー情報管理装置４０を含む点である。

キー情報管理装置４０は、表示画像情報から抽出されたキー情報（以下、キー候補情報と呼ぶ）と、予め登録されたキー情報（以下、登録キー情報と呼ぶ）と、を照合する。また、キー情報管理装置４０は、登録キー情報を管理する。ここで、登録キー情報は、操作者の操作内容を理解するための文字情報、画像情報の少なくともいずれかであることが好ましい。

情報処理装置３０ａと、キー情報管理装置４０とは、ネットワーク５０を介して接続する。ネットワーク５０は、インターネット、イントラネット（ＬＡＮ（Local Area Network）等）のネットワークを含む。ネットワークは、各種の方式があるが、その詳細は問わない。

図８は、本実施形態に係るキー情報管理装置４０の内部構成の一例を示すブロック図である。キー情報管理装置４０は、管理装置通信部４０１と、キー情報データベース４０２と、キー情報照合部４０３と、を含んで構成される。図８は、簡単のため、本実施形態に係るキー情報管理装置４０に関するモジュールを主に記載する。

キー情報管理装置４０は、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータによって構成されている。ＲＯＭにはプログラムが記憶されている。キー情報管理装置４０に搭載されたＣＰＵは、ＲＯＭに記憶されているプログラムを読み込み、実行する。その結果、キー情報管理装置４０に搭載されたＣＰＵは、キー情報照合部４０３として機能する。

管理装置通信部４０１は、ネットワーク５０を介して、情報処理装置３０ａと通信する。特に、管理装置通信部４０１は、情報処理装置３０ａから、キー候補情報を受信する。そして、管理装置通信部４０１は、キー候補情報と、登録キー情報との照合結果を、情報処理装置３０ａに送信する。

キー情報データベース４０２は、登録キー情報を格納する。登録キー情報は、所定の文字情報（単語）、画像情報の少なくともいずれかを含む。例えば、キー情報データベース４０２は、ＨＤＤ（Hard Disk Drive）により構成されていても良い。

キー情報照合部４０３は、キー候補情報と、予め登録された登録キー情報と、を照合する。具体的には、キー情報照合部４０３は、キー候補情報と、予め登録された登録キー情報と、の類似度を算出する。例えば、キー情報照合部４０３は、キー候補情報と、登録キー情報と、の相関値を算出しても良い。そして、算出した類似度が所定の閾値を超える場合、キー候補情報と、登録キー情報とが一致する、とキー情報照合部４０３は判断する。一方、算出した類似度が所定の閾値以下の場合、キー候補情報と、登録キー情報とが一致しない、とキー情報照合部４０３は判断する。

図９は、本実施形態に係る情報処理装置３０ａの内部構成の一例を示すブロック図である。図３に示す情報処理装置３０と、図９に示す情報処理装置３０ａとの相違点は、図９に示す情報処理装置３０ａは、情報処理装置通信部３０７と、キー候補情報抽出部３０８と、を含む点である。なお、図９は、簡単のため、本実施形態に係る情報処理装置３０ａに関するモジュールを主に記載する。

情報処理装置３０ａは、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータによって構成されている。ＲＯＭにはプログラムが記憶されている。情報処理装置３０ａに搭載されたＣＰＵは、ＲＯＭに記憶されているプログラムを読み込み、実行する。その結果、情報処理装置３０ａに搭載されたＣＰＵは、ログ候補情報取得部３０２、トリガ判断情報取得部３０３、トリガ判断部３０４、記録時間決定部３０５、ログ情報管理部３０６、キー候補情報抽出部３０８として機能する。

情報処理装置通信部３０７は、ネットワーク５０を介して、キー情報管理装置４０と通信する。特に、情報処理装置通信部３０７は、キー情報管理装置４０に、キー候補情報を送信する。また、情報処理装置通信部３０７は、キー候補情報と、登録キー情報との照合結果を、キー情報管理装置４０から受信する。

キー候補情報抽出部３０８は、トリガ判断情報からキー候補情報を抽出する。具体的には、本実施形態に係るトリガ判断情報取得部３０３は、表示画像情報を、トリガ判断情報として取得する。そして、キー候補情報抽出部３０８は、表示画像情報から、１又は２以上のキー候補情報を抽出する。例えば、キー候補情報抽出部３０８は、表示画像情報から文字、記号、図形の少なくともいずれかを、キー候補情報として抽出しても良い。ここで、キー候補情報抽出部３０８は、所謂、ＯＣＲ（Optical Character Recognition）の技術を用いて、表示画像情報から文字情報等を抽出してもよい。

具体的には、キー候補情報抽出部３０８は、表示画像情報に基づいて、表示画像を生成する。そして、キー候補情報抽出部３０８は、表示画像を画像処理し、キー候補情報を抽出する。そして、キー候補情報抽出部３０８は、抽出したキー候補情報を、情報処理装置通信部３０７を介して、キー情報管理装置４０に送信する。

より具体的には、キー候補情報抽出部３０８は、表示画像から、文字領域、画像領域等の領域を抽出する。そして、キー候補情報抽出部３０８は、抽出した各領域を、各キー候補情報の領域として決定する。ここで、文字領域、画像領域等を抽出する方法は各種あるがその詳細は問わない。

そして、キー候補情報抽出部３０８は、表示画像において、各キー候補情報の領域に含まれる文字等を識別子、キー候補情報領域として抽出する。例えば、キー候補情報抽出部３０８は、文字を識別する場合、予め、文字の形状を画像として登録した辞書を、記憶部３０１が記憶していても良い。その場合、キー候補情報抽出部３０８は、パターンマッチング等を用いて、辞書に登録された文字の形状と、キー候補情報の領域内の画像とを照合する。そして、キー候補情報抽出部３０８は、照合結果に基づいて、文字を識別しても良い。なお、文字を識別する方法は各種あるが、その詳細は問わない、

本実施形態に係るトリガ判断部３０４は、キー候補情報と、登録キー情報の照合結果に基づいて、ログ管理トリガの発生の有無を判断する。具体的には、トリガ判断部３０４は、キー候補情報抽出部３０８が、所定の閾値を超える類似度のキー候補情報を抽出した場合、ログ管理トリガが発生したと判断する。より具体的には、キー候補情報と、登録キー情報とが一致すると判断された場合、トリガ判断部３０４は、当該キー候補情報を、ログ管理トリガとして判断する。

ここで、ログ情報管理部３０６は、ログ候補情報と、時系列情報と、ログ管理トリガと、を対応付けて、ログ情報として記録する。ログ候補情報は、表示画像情報、音声情報、文字情報の少なくともいずれかを含む。なお、ここで、文字情報は、表示画像情報から抽出される文字情報を含む。

図１０は、登録キー情報の一例を示す図である。図１０は、キー情報番号と、登録キー情報との対応関係を示す。そして、図１０の場合、登録キー情報は、“ＯＫ”、“Ｃａｎｃｅｌ”、“Ｅｒｒｏｒ”、“次へ”、“終了”、“戻る”、“前へ”、“ＳＫＩＰ”、“ＢＡＣＫ”の文字列を含む。なお、図１０の場合、登録キー情報は、表示画面を遷移するときに表示される文字列である。ただし、図１０は、登録キー情報を、図１０に示す文字情報に限定する趣旨ではない。

次に、情報処理システム１ａの動作について説明する。

まず、トリガ発生タイミング前の情報処理システム１ａの動作について説明する。

図１１は、トリガ発生タイミング前の情報処理システム１ａの動作の一例を示すフローチャートである。なお、ステップＳ１０１〜Ｓ１０４については、図４に示すステップＳ１〜Ｓ４と同一であるため、詳細な説明は省略する。

ステップＳ１０５において、キー候補情報抽出部３０８は、表示画像情報から、１又は２以上のキー候補情報を抽出する。例えば、キー候補情報抽出部３０８は、所定の時間間隔（例えば、１０ミリ秒）で、表示画像情報から、１又は２以上のキー候補情報を抽出しても良い。

情報処理装置通信部３０７は、抽出された１又は２以上のキー候補情報を、キー情報管理装置４０に送信する（ステップＳ１０６）。管理装置通信部４０１は、キー候補情報を受信する（ステップＳ１０７）、

そして、キー情報照合部４０３は、受信した各キー候補情報と、登録キー情報との類似度を算出する（ステップＳ１０８）。そして、キー情報照合部４０３は、所定の閾値を超える類似度のキー候補情報が、存在するか否かを照合結果として、情報処理装置３０ａに送信する（ステップＳ１０９）。上述の通り、算出した類似度が所定の閾値を超える場合、キー候補情報と、登録キー情報とが一致する、とキー情報照合部４０３は判断する。一方、算出した類似度が所定の閾値以下の場合、キー候補情報と、登録キー情報とが一致しない、とキー情報照合部４０３は判断する。

情報処理装置通信部３０７は、キー候補情報と、登録キー情報との照合結果を受信する（ステップＳ１１０）。そして、図１１に示す「Ｃ」（ステップＳ１１１）に遷移する。ステップＳ１１１に遷移した場合、図１２に示すステップＳ１２１に遷移する。

次に、トリガ発生タイミング後の情報処理システム１ａの動作について説明する。

図１２は、トリガ発生タイミング後の情報処理システム１ａの動作の一例を示すフローチャートである。

ステップＳ１２１において、キー候補情報と、登録キー情報とが一致したか否かを、トリガ判断部３０４は判断する。キー候補情報と、登録キー情報とが一致した場合（ステップＳ１２１のＹｅｓ分岐）には、トリガ判断部３０４は、ログ管理トリガが発生したと判断する（ステップ１２２）。そして、ステップＳ１２４に遷移する。一方、キー候補情報と、登録キー情報とが一致しない場合（ステップＳ１２１のＮｏ分岐）には、図１２に示す「Ｄ」（ステップＳ１２３）に遷移する。ステップＳ１２２に遷移した場合、図１１に示すステップＳ１０１に戻り、処理を継続する。

ステップＳ１２４において、記録時間決定部３０５は、トリガ発生タイミング、及び記録時間決定条件に基づいて、ログ記録時間を決定する。そして、ログ情報管理部３０６は、ログ記録時間に含まれるログ候補情報に、ログ管理トリガを対応付ける（ステップＳ１２５）。そして、ログ情報管理部３０６は、ログ管理トリガを対応付けたログ候補情報を、ログ情報として記憶部３０１に保存する（ステップＳ１２６）。

そして、ログ記録時間に対応する、ログ情報が保存されたか否かを、ログ情報管理部３０６は判断する（ステップＳ１２７）。ログ記録時間に対応する、ログ情報が保存された場合（ステップＳ１２７のＹｅｓ分岐）には、図１２に示す「Ｄ」（ステップＳ１２３）に遷移する。ステップＳ１２３に遷移した場合、図１１に示すステップＳ１０１に戻り、処理を継続する。一方、ログ記録時間に対応する、ログ情報が保存されていない場合（ステップＳ１２７のＮｏ分岐）には、図１２に示す「Ｆ」（ステップＳ１２８）に遷移する。ステップＳ１２８に遷移した場合、図１３に示すステップＳ１３１に遷移する。

次に、トリガ発生タイミング後、ログ情報を記録する動作について説明する。

図１３は、トリガ発生タイミング後、ログ情報を記録する動作の一例を示すフローチャートである。なお、図１３に示すステップＳ１３１、及びＳ１３３〜Ｓ１３６と、図５に示すステップＳ１５〜Ｓ１９において、同一な処理については詳細な説明を省略し、以下、相違点について詳細に説明する。

図１３に示すステップＳ１３１においては、所定の時間間隔が経過したか否かを、ログ候補情報取得部３０２は判断する。所定の時間間隔が経過した場合（ステップＳ１３１のＹｅｓ分岐）には、ログ候補情報取得部３０２は、表示画像情報等を取得する（ステップＳ１３３）。そして、情報処理装置３０ａは、ステップＳ１３４〜Ｓ１３６の処理を実行する。一方、所定の時間間隔が経過していない場合（ステップＳ１３１のＮｏ分岐）には、図１３に示す「Ｅ」（ステップＳ１３２）に遷移する。ステップＳ１３２に遷移した場合、図１２に示すステップＳ１２７に遷移する。

また、ログ情報管理部３０６が、生成したログ情報を記憶部３０１に保存（ステップＳ１３６）した後には、図１３に示す「Ｄ」（ステップＳ１２３）に遷移する。ステップＳ１２３に遷移した場合、図１１に示すステップＳ１０１に戻り、処理を継続する。

［変形例１］
本実施形態に係る情報処理システム１ａの変形例として、情報処理システム１ａは、画像キャプチャ装置（図示せず）を含んでいても良い。その場合、キー候補情報抽出部３０８は、画像キャプチャ装置を介して、表示装置２０から、表示画像を取得しても良い。

以上のように、本実施形態に係る情報処理装置３０ａは、表示画像情報が所定の文字情報等を含む場合、表示画像等をログ情報として記録する。そのため、本実施形態に係る情報処理装置３０ａは、不必要な表示画像等を記録することを防止できる。また、本実施形態に係る情報処理装置３０ａは、不必要な表示画像等を記録することを防止できるため、記録するログ情報のデータ量の増大を抑制できる。従って、有益なログ情報を、より一層、適切に記録することに寄与する。

［第３の実施形態］
次に、第３の実施形態について、図面を用いて詳細に説明する。

本実施形態は、情報処理装置が、キー情報を照合する形態である。なお、本実施形態における説明では、上述の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、上述の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。また、本実施形態における説明では、上述の実施形態と同一の作用効果についても、その説明を省略する。

図１４は、本実施形態に係る情報処理システム１ｂの全体構成の一例を示すブロック図である。情報処理システム１ｂは、入力装置１０と、表示装置２０と、情報処理装置３０ｂと、を含んで構成される。図１４に示す情報処理システム１ｂの全体構成は、図２に示す情報処理システム１の全体構成と同一であるため、詳細な説明は省略する。

図１５は、本実施形態に係る情報処理装置３０ｂの内部構成の一例を示すブロック図である。図９に示す情報処理装置３０ａと、図１５に示す情報処理装置３０ｂとの相違点は、図１５に示す情報処理装置３０ｂは、キー情報照合部４０３、及びキー情報データベース４０２を含み、情報処理装置通信部３０７を含まない点である。

情報処理装置３０ｂは、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータによって構成されている。ＲＯＭにはプログラムが記憶されている。情報処理装置３０ｂに搭載されたＣＰＵは、ＲＯＭに記憶されているプログラムを読み込み、実行する。その結果、情報処理装置３０ｂに搭載されたＣＰＵは、ログ候補情報取得部３０２、トリガ判断情報取得部３０３、トリガ判断部３０４、記録時間決定部３０５、ログ情報管理部３０６、キー候補情報抽出部３０８、キー情報照合部４０３として機能する。

情報処理装置３０ｂにおいては、キー情報照合部４０３がキー候補情報抽出部３０８からキー候補情報を取得する。そして、キー情報照合部４０３は、キー候補情報と、登録キー情報とを照合する。そして、キー情報照合部４０３は、照合結果をトリガ判断部３０４に通知する。

以上のように、本実施形態に係る情報処理装置３０ｂは、表示画像情報から抽出された文字情報等と、予め登録された文字情報等との照合を行う。そのため、本実施形態に係る情報処理システム１ｂにおいては、キー情報管理装置４０が不要である。従って、本実施形態に係る情報処理システム１ｂにおいては、より一層、少ない装置で、上記した実施形態の効果を奏することができる。

なお、上記した実施形態においては、所定の操作をログ管理トリガとして定義する場合、エンターキーの押下、エスケープキーの押下、マウスのクリック等を例示して説明した。しかし、これは、ログ管理トリガとする操作を、これらの例示に限定する趣旨ではない。例えば、情報処理装置は、ログ管理トリガの設定画面等を表示装置に表示しても良い。そして、情報処理装置は、システム管理者等に、所望の操作をログ管理トリガとして登録させても良い。

また、上記した実施形態においては、表示画像情報等と、時系列情報と、ログ管理トリガと、を対応付けて記憶する形態について説明した。しかし、これは、記憶する情報を、これらの情報に限定する趣旨ではない。必要な情報を、適宜、表示画像情報等に併せて対応付けて記憶しても良いことは勿論である。例えば、操作者を識別するための情報（操作者ＩＤ）、情報処理装置を識別するための情報（装置ＩＤ）等を併せて、表示画像情報等に対応付けて記憶しても良いことは勿論である。

上述の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）上記第１の視点に係る情報処理装置の通りである。

（付記２）前記トリガ判断部は、前記ログ管理トリガの発生を判断した場合には、当該ログ管理トリガに対応する時系列情報に基づいて、前記トリガ発生タイミングを決定し、前記記録時間決定部は、前記トリガ発生タイミング前の時間、前記トリガ発生タイミング後の時間の少なくともいずれかを含めて、前記ログ記録時間を決定する、付記１に記載の情報処理装置。

（付記３）前記記録時間決定条件は、前記ログ管理トリガの種類、前記ログ候補情報に含まれる所定の情報、予め登録された所定の条件の少なくともいずれかと、前記ログ記録時間と、を対応付ける条件を含む、付記１又は２に記載の情報処理装置。

（付記４）前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出部と、前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合部をさらに備え、前記トリガ判断部は、前記キー候補情報抽出部が、所定の閾値を超える前記類似度の前記キー候補情報を抽出した場合、前記ログ管理トリガが発生したと判断する、付記１乃至３のいずれか一記載の情報処理装置。

（付記５）前記キー候補情報抽出部は、前記表示画像情報から文字、記号、図形の少なくともいずれかを、キー候補情報として抽出する、付記４に記載の情報処理装置。

（付記６）前記ログ情報管理部は、前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報と、前記ログ管理トリガと、を対応付けて、前記ログ情報として記録する、付記１乃至５のいずれか一に記載の情報処理装置。

（付記７）前記ログ情報管理部は、前記ログ記録時間において、所定の時間間隔で取得される、１又は２以上のログ候補情報と、当該各ログ候補情報に対応する時系列情報と、ログ管理トリガと、を対応付けて、ログ情報として記録する、付記１乃至６のいずれか一に記載の情報処理装置。

（付記８）前記ログ候補情報取得部は、文字列情報、表示画像情報、音声情報の少なくともいずれかを前記ログ候補情報として取得する、付記１乃至７のいずれか一に記載の情報処理装置。

（付記９）前記トリガ判断情報取得部は、表示画像情報、操作情報の少なくともいずれかを、前記トリガ判断情報として取得する、付記１乃至８のいずれか一に記載の情報処理装置。

（付記１０）上記第２の視点に係る情報処理システムの通りである。

（付記１１）上記第３の視点に係るログ管理方法の通りである。

（付記１２）前記トリガ判断工程において、前記ログ管理トリガの発生が判断された場合には、当該ログ管理トリガに対応する時系列情報に基づいて、前記トリガ発生タイミングを決定し、前記記録時間決定工程において、前記トリガ発生タイミング前の時間、前記トリガ発生タイミング後の時間の少なくともいずれかを含めて、前記ログ記録時間を決定する、付記１１に記載のログ管理方法。

（付記１３）前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出工程と、前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合工程をさらに含み、前記トリガ判断工程において、所定の閾値を超える前記類似度の前記キー候補情報が抽出された場合、前記ログ管理トリガが発生したと判断する、付記１１又は１２に記載のログ管理方法。

（付記１４）前記ログ情報管理工程において、前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報と、前記ログ管理トリガと、を対応付けて、ログ情報として記録する、付記１３に記載のログ管理方法。

（付記１５）前記ログ情報管理工程において、前記ログ記録時間において、所定の時間間隔で取得される、１又は２以上のログ候補情報と、当該各ログ候補情報に対応する時系列情報と、ログ管理トリガと、を対応付けて、ログ情報として記録する、付記１１乃至１４のいずれか一に記載のログ管理方法。

（付記１６）前記キー候補情報抽出工程において、前記表示画像情報から文字、記号、図形の少なくともいずれかを、キー候補情報として抽出する、付記１１乃至１５のいずれか一に記載のログ管理方法。

（付記１７）上記第４の視点に係るプログラムの通りである。

（付記１８）前記トリガ判断処理において、前記ログ管理トリガの発生が判断された場合には、当該ログ管理トリガに対応する時系列情報に基づいて、前記トリガ発生タイミングを決定し、前記記録時間決定処理において、前記トリガ発生タイミング前の時間、前記トリガ発生タイミング後の時間の少なくともいずれかを含めて、前記ログ記録時間を決定する、付記１７記載のプログラム。

（付記１９）前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出処理と、前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合処理をさらに実行し、前記トリガ判断処理において、所定の閾値を超える前記類似度の前記キー候補情報が抽出された場合、前記ログ管理トリガが発生したと判断する、付記１７又は１８に記載のプログラム。

（付記２０）前記キー候補情報抽出処理において、前記表示画像情報から文字、記号、図形の少なくともいずれかを、キー候補情報として抽出する、付記１７乃至１９のいずれか一に記載のプログラム。

（付記２１）前記ログ情報管理処理において、前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報と、前記ログ管理トリガと、を対応付けて、ログ情報として記録する、付記２０に記載のプログラム。

（付記２２）前記ログ情報管理処理において、前記ログ記録時間において、所定の時間間隔で取得される、１又は２以上のログ候補情報と、当該各ログ候補情報に対応する時系列情報と、ログ管理トリガと、を対応付けて、ログ情報として記録する、付記１７乃至２１のいずれか一に記載のプログラム。

なお、引用した上述の特許文献の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１、１ａ、１ｂ情報処理システム
１０入力装置
２０表示装置
３０、３０ａ、３０ｂ、１００情報処理装置
４０キー情報管理装置
５０ネットワーク
１０１、３０２ログ候補情報取得部
１０２、３０３トリガ判断情報取得部
１０３、３０４トリガ判断部
１０４、３０５記録時間決定部
１０５、３０６ログ情報管理部
３０１記憶部
３０７情報処理装置通信部
３０８キー候補情報抽出部
４０１管理装置通信部
４０２キー情報データベース
４０３キー情報照合部

Claims

時系列でログ候補情報を取得するログ候補情報取得部と、
トリガ判断情報を取得するトリガ判断情報取得部と、
前記トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断するトリガ判断部と、
前記ログ管理トリガのトリガ発生タイミング、及び予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する記録時間決定部と、
前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報を、ログ情報として記録するログ情報管理部と、
前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出部と、
前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合部と、
を備え、
前記ログ候補情報は、表示画像の画像信号を含む表示画像情報、前記表示画像から抽出される文字情報、操作者の操作に伴い入力される音声情報の少なくともいずれかを含み、
前記トリガ判断部は、前記キー候補情報抽出部が、所定の閾値を超える前記類似度の前記キー候補情報を抽出した場合、前記ログ管理トリガが発生したと判断する情報処理装置。
前記トリガ判断部は、前記ログ管理トリガの発生を判断した場合には、当該ログ管理トリガに対応する時系列情報に基づいて、トリガ発生タイミングを決定し、
前記記録時間決定部は、前記トリガ発生タイミング前の時間、前記トリガ発生タイミング後の時間の少なくともいずれかを含めて、前記ログ記録時間を決定する、請求項１に記載の情報処理装置。
前記記録時間決定条件は、前記ログ管理トリガの種類、前記ログ候補情報に含まれる所定の情報、前記ログ候補情報の取得環境の少なくともいずれかと、前記ログ記録時間と、を対応付ける条件を含む、請求項１又は２に記載の情報処理装置。
前記ログ情報管理部は、前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報と、前記ログ管理トリガと、を対応付けて、ログ情報として記録する、請求項３に記載の情報処理装置。
前記ログ候補情報取得部は、文字列情報、表示画像情報、音声情報の少なくともいずれかを前記ログ候補情報として取得する、請求項１乃至４のいずれか一に記載の情報処理装置。
前記トリガ判断情報取得部は、表示画像情報、操作情報の少なくともいずれかを、前記トリガ判断情報として取得する、請求項１乃至５のいずれか一に記載の情報処理装置。
ログ情報を記録する情報処理装置と、
キー情報を照合するキー情報管理装置と、
を含む情報処理システムであって、
前記情報処理装置は、
時系列でログ候補情報を取得するログ候補情報取得部と、
トリガ判断情報を取得するトリガ判断情報取得部と、
前記トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断するトリガ判断部と、
前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出部と、
前記ログ管理トリガのトリガ発生タイミング、及び予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する記録時間決定部と、
前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報を、前記ログ情報として記録するログ情報管理部と、
前記キー情報管理装置に前記キー候補情報を送信する情報処理装置通信部と、
を備え、
前記キー情報管理装置は、
前記キー候補情報と、予め登録された登録キー情報と、を照合するキー情報照合部と、
前記情報処理装置から前記キー候補情報を受信し、前記キー候補情報と、前記登録キー情報の照合結果を、前記情報処理装置に送信する管理装置通信部と、
を備え、
前記トリガ判断情報取得部は、前記キー候補情報を前記トリガ判断情報として取得し、
前記トリガ判断部は、前記キー候補情報と、前記登録キー情報の照合結果に基づいて、前記ログ管理トリガの発生の有無を判断し、
前記ログ候補情報は、表示画像の画像信号を含む表示画像情報、前記表示画像から抽出される文字情報、操作者の操作に伴い入力される音声情報の少なくともいずれかを含む、情報処理システム。
時系列でログ候補情報を取得するログ候補情報取得工程と、
トリガ判断情報を取得するトリガ判断情報決定工程と、
前記トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断するトリガ判断工程と、
前記ログ管理トリガのトリガ発生タイミング、及び予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する記録時間決定工程と、
前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報を、ログ情報として記録するログ情報管理工程と、
前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出工程と、
前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合工程と、
を含み、
前記ログ候補情報は、表示画像の画像信号を含む表示画像情報、前記表示画像から抽出される文字情報、操作者の操作に伴い入力される音声情報の少なくともいずれかを含み、
前記トリガ判断工程において、所定の閾値を超える前記類似度の前記キー候補情報が抽出された場合、前記ログ管理トリガが発生したと判断するログ管理方法。
情報処理装置を制御するコンピュータに実行させるプログラムであって、
時系列でログ候補情報を取得するログ候補情報取得処理と、
トリガ判断情報を取得するトリガ判断情報決定処理と、
前記トリガ判断情報に基づいて、ログ管理トリガの発生の有無を判断するトリガ判断処理と、
前記ログ管理トリガのトリガ発生タイミング、及び予め登録された記録時間決定条件に基づいて、ログ記録時間を決定する記録時間決定処理と、
前記ログ記録時間内に取得される、１又は２以上の前記ログ候補情報を、ログ情報として記録するログ情報管理処理と、
前記トリガ判断情報からキー候補情報を抽出するキー候補情報抽出処理と、
前記キー候補情報と、予め登録された登録キー情報と、の類似度を算出するキー情報照合処理と、
を前記コンピュータに実行させ、
前記ログ候補情報は、表示画像の画像信号を含む表示画像情報、前記表示画像から抽出される文字情報、操作者の操作に伴い入力される音声情報の少なくともいずれかを含み、
前記トリガ判断処理において、所定の閾値を超える前記類似度の前記キー候補情報が抽出された場合、前記ログ管理トリガが発生したと判断するプログラム。