JP7380714B2 - 操作ログ取得装置および操作ログ取得方法 - Google Patents

Description

本発明は、操作ログ取得装置および操作ログ取得方法に関する。

業務分析において、操作手順をフローチャート形式で表示する方法が有効である。サービスや商品を顧客に提供する業務を考えた場合、同一サービス・商品を提供するためのシステムの操作手順はサービスや商品ごとに決められており、それはマニュアルなどで操作者に共有されている。

また、初心者に対しては、研修や熟練者による指導により操作手順は教え込まれるので、同一商品・サービスを処理する手順は、同じ操作手順となるはずである。しかし、現実には、顧客が注文後に注文内容を変更する、商品が欠品となる、操作者の操作誤りなど、当初に想定しなかった様々なイレギュラーな事象が発生するのが通常であり、これらのイレギュラーな事象に予めすべての操作手順を規定しておくことは現実的ではないし、仮に規定できたとしても、操作者が全ての操作パターンを覚えて適切に手順を選択するのは困難である。

このため、実際には、同一商品・サービスであっても注文ごとに操作手順は様々であることが一般的である。業務改善を目的とした業務実態の把握においては、これらイレギュラーな事象も含めて全ての操作パターンを網羅的に把握することが重要である。なぜなら、イレギュラー事象は手順が明確化されていないため、進め方を調べたりあるいは業務の責任者に進め方を確認する必要があったり、操作手順に誤りが発生する可能性が高く、通常の操作パターンよりも時間がかかることが多いからである。

このような状況において、操作手順をフローチャート形式で表示する方法が有効である。例えば、各注文に対して、操作者の操作時刻、操作の種類（以下、操作種別）、注文を特定する情報（以下、注文ＩＤ）を記録した操作ログを入力として、注文ごとに操作手順を並べてそれらを重ね合わせてフロー表示することで、注文ごとの操作手順の違いを明確化する仕組みが提案されている。

また、分析者が見たい粒度で操作ログを取得する仕組みとして、例えば、ＧＵＩアプリケーションの操作画面を対象に、イベントの発生時に、操作画面を構成するＧＵＩ部品の属性値を取得し、イベントの発生前後での変更箇所を発見する技術が知られている。これにより、属性値の変更を生じたイベント、つまり業務上意味のある操作イベントのみ抽出すると同時に操作箇所を特定することができる。

しかし、実際の業務においては、メール、Ｗｅｂ、業務システム、Ｗｏｒｄ、Ｅｘｃｅｌ、スケジューラなど多様なアプリケーションを利用しながら業務を進めることが一般的であり、これら全てのアプリケーションの実行環境に応じたＧＵＩ部品の属性値の取得及び変更箇所を特定する仕組みを開発する必要があるが、実際には非常にコストが高く現実的ではない。仮に対象のアプリケーションについて開発しても、対象の実行環境にバージョンアップに伴う仕様変更が発生すると、それにあわせた改造が必要となる。また、近年、コンピュータ資源の有効活用やセキュリティ対策を目的に、企業内ではシンクライアント環境が普及している。これは実際にユーザが行う操作を行う端末（以下、クライアント端末）にはアプリケーションがインストールされておらず、クライアント端末と接続された別の端末（サーバ）にアプリケーションがインストールされていて、クライアント端末にはアプリケーションが提供する操作画面が画像として表示され、ユーザはその表示された画像を通してサーバ側のアプリケーションを操作するものである。この場合、実際にユーザが操作を行う端末には操作画面が画像として表示されるため、クライアント端末から上記記載のＧＵＩ部品の属性値を取得することは不可能である。

また、キーボード入力、マウスクリックのイベントを活用して操作ログを取得する仕組みが提案されている。これは、マウスクリック、キーボードのエンターキー入力のイベントをトリガーにして各タスクに事前に指定された条件を満たすイベントのみを操作ログとして記録するものである。この仕組みを用いることで、分析に不要なイベントを省きつつ、分析者が必要なイベントのみ抽出することができる。

特開２０１５－１５３２１０号公報

小笠原ほか、「業務の実行履歴を活用した業務プロセス可視化・分析システムの開発」、NTT技術ジャーナル、2009.2、P40-P43

しかしながら、従来の技術では、アプリケーションの操作ログの取得は容易ではない。例えば、実際の業務は、一般に多様なアプリケーションを利用しながら進められており、膨大な数のアプリケーションに対して操作ログを取得する仕組みを作りこむことは現実的とは言えない。また、従来の技術では、事前に条件を指定する必要があるため、煩雑であるという問題がある。

これらの問題を鑑み、ＧＵＩアプリケーションの実行環境によらず、汎用的に操作フローを再現するのに必要な操作ログを取得する方法として、ユーザが端末を操作するタイミングに合わせて、操作画面のキャプチャ画像を取得し、画像上の特徴を用いてＧＵＩ部品の候補となりうる画像を抽出し、イベントの発生位置から操作対象のＧＵＩ部品を特定し、それを入力として、操作フローを再現する手法も考えられる。この場合、操作画面には操作可能なＧＵＩ部品に加えて、操作できないＧＵＩ部品も存在するので、これらを区別し、操作可能なＧＵＩ部品の画像のみ抽出するという課題がある。

本発明は、上記に鑑みてなされたものであって、ＧＵＩアプリケーションの操作ログを対象のアプリケーションの実行環境によらず汎用的に取得することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る操作ログ取得装置は、ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する取得部と、取得された前記キャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、前記操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、該操作イベントの発生時刻と該画像とを関連付けて記録する抽出部と、記録された画像の集合に対して、前記画像間の類似度に応じてクラスタに分類する分類部と、分類された前記クラスタごとに前記画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を前記操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する判定部と、を有することを特徴とする。

本発明によれば、ＧＵＩアプリケーションの操作ログを対象のアプリケーションの実行環境によらず汎用的に取得することが可能となる。

図１は、本実施形態の操作ログ取得装置の概略構成を例示する模式図である。 図２は、抽出部の処理を説明するための図である。 図３は、抽出部の処理を説明するための図である。 図４は、抽出部の処理を説明するための図である。 図５は、操作ログ取得処理手順を示すフローチャートである。 図６は、操作ログ取得プログラムを実行するコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［操作ログ取得装置の構成］
図１は、本実施形態の操作ログ取得装置の概略構成を例示する模式図である。図１に示すように、本実施形態の操作ログ取得装置１０は、パソコンやワークステーション等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述する操作ログ取得処理の結果が表示される。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、ユーザが操作する端末等と制御部１５との通信を制御する。なお、この端末は、操作ログ取得装置１０と同一のハードウェアに実装されてもよい。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、操作ログ取得装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。また、記憶部１４は、後述する操作ログ取得処理の結果である操作ログ１４ａを記憶する。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図１に例示するように、取得部１５ａ、抽出部１５ｂ、分類部１５ｃ、および判定部１５ｄとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。

取得部１５ａは、ユーザのマウスクリックやキーボード入力といった操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する。具体的には、取得部１５ａは、操作イベントの発生を検知した場合に、当該操作イベントの発生時刻と、当該操作イベントの発生位置と、操作画面のキャプチャ画像とを取得する。例えば、取得部１５ａは、キーボード入力、マウスクリックの操作イベントの発生を検知する機能と、操作イベントを検知すると、操作画面のキャプチャ画像を取得し、操作イベント発生時刻と、操作イベント発生位置と、操作画面のキャプチャ画像とを、後述する判定部１５ｄに通知する機能を具備する。

取得部１５ａは、操作イベントの発生検知について、例えばＷｉｎｄｏｗｓ（登録商標）ＯＳであればグローバルフックを用いることで実現可能である。同様に、取得部１５ａは、イベント発生位置について、例えばマウスクリックであれば、グローバルフックにより取得可能である。

また、取得部１５ａは、例えばキーボード入力について、ＯＳから入力位置を汎用的に取得する手段が存在しない場合には、通常キーボード入力は文字列の入力を伴うので、操作イベントの発生前後のキャプチャ画像を比較することで、操作イベントの発生位置を特定することが可能である。なお、変化が生じるのは一点ではなく面的な広がりを持つが、そこに含まれる座標であればどこでもよい。また、キーボード入力には、Ｔａｂキー、方向キー、シフトキー等の入力を伴わない操作も存在するが、これらは分析において意味を持たないことが多いので、本実施形態においては無視するものとする。

また、取得部１５ａは、操作イベントの種別（マウスクリック、キーボード入力）に関する情報を取得し、記録してもよい。

抽出部１５ｂは、取得されたキャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生時刻と該画像とを関連付けて記録する。具体的には、抽出部１５ｂは、取得されたキャプチャ画像から例えば、画像上の特徴を用いてＧＵＩ部品の候補となりうる画像を抽出する。例えば、抽出部１５ｂは、ＯｐｅｎＣＶ（Open source Computer Vision library）等を用いて、各ＧＵＩ部品が占める領域とそれ以外の領域の色の差異を特徴として用いて、ＧＵＩ部品のエッジを特定する。そして、抽出部１５ｂは、特定したエッジを輪郭として、エッジを含む外接矩形を切り出すことにより、操作画像からＧＵＩ部品の候補となりうる画像を切り出す。

その際に、抽出部１５ｂは、画像の周辺の画像を含んだ画像を切り出す。これにより、後述する作成部１５ｅが、画像を用いて操作フローとして可視化した際に、操作画面上での操作箇所がユーザに認識されやすくなる。また、テキストボックス等、画像が類似するＧＵＩ部品の画像を区別することが可能となる。

ここで、図２～図４は、抽出部１５ｂの処理を説明するための図である。図３（ａ）～（ｃ）には、図２に示す操作画面から、抽出部１５ｂが操作対象の画像を切り出す場合について例示されている。具体的には、図３（ａ）には、破線で囲んで示すように、画像として切り出される画像が例示されている。また、図３（ｂ）には、操作対象の画像となり得るテキストボックスの画像を抽出する場合について例示されている。図３（ｂ）に示すように、抽出部１５ｂは、テキストボックスの周辺の画像を含む画像を切り出すことにより、同一の操作画面上の異なるテキストボックスを区別することが可能となる。図３（ｂ）に示す例では、例えば、特定したテキストボックスの周辺にある文字画像を含むように画像を切り出すことにより、氏名を入力するためのテキストボックスと住所を入力するためのテキストボックスとを区別することが可能となっている。さらに、共通領域を除いて類似性を判定することでより精度高く分類可能である。

そして、抽出部１５ｂは、切り出した画像のうち、操作イベントの発生位置を含む画像を特定し、特定した画像と、発生位置と、操作イベントの発生時刻とを対応付けて記憶部１４に記憶する。

その際に、抽出部１５ｂは、図３（ｃ）に示すように、切り出した画像が入れ子関係にある場合、内側の画像内で発生したイベントは内側の画像に対するイベントとして扱い、外側の画像と内側の画像の間で発生したイベントは外側の画像に対するイベントとして扱う。

また、図４（ａ）には、図３（ｃ）から切り出された画像（画像１～３）が例示されている。また、図４（ｂ）～（ｄ）には、各画像に対するイベントとみなすイベントの発生位置が例示されている。例えば、図４（ｂ）には、画像１に対するイベントとみなすイベントの発生位置が例示されている。

なお、抽出部１５ｂは、特定した画像と発生位置と、操作イベントの発生時刻とを対応付けて、記憶部１４に記憶せずに、以下に説明する分類部１５ｃに転送してもよい。

図１の説明に戻る。分類部１５ｃは、記録された画像の集合に対して、画像間の類似度に応じてクラスタに分類する。例えば、分類部１５ｃは、各画像の操作画面のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。これにより、操作画面上で同じ位置に表示されるＧＵＩ部品を表す画像が同一のクラスタに分類される。操作画面の構成が固定的な場合には、すべてのＧＵＩ部品は常に同じ位置に表示されることから、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。

あるいは、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。これにより、同一のＧＵＩ部品を切り出した画像が同一のクラスタに分類される。操作画面の構成が動的に変化する場合には、各ＧＵＩ部品の表示位置が変わってしまうため、表示位置の類似性から画像を分類することはできない。そのために、画像上の類似度を用いることで、画像を分類する。画像の類似性の判定には、例えばパターンマッチや、各種特徴量・特徴点を用いた類似性の判定が可能である。

判定部１５ｄは、分類されたクラスタごとに画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する。具体的には、判定部１５ｄは、分類されたクラスタごとに操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻において操作が行われたＧＵＩ部品の画像と判定する。そして、判定部１５ｄは、判定した画像を発生時刻と対応付けて記録し、操作ログ１４ａを生成し、生成した操作ログ１４ａを記憶部１４に記憶させる。また、判定部１５ｄは、画像に、さらに操作イベント種別を対応付けて操作ログ１４ａを生成してもよい。

あるいは、判定部１５ｄは、分類されたクラスタごとに操作イベントの発生回数を集計し、該発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象の画像と判定してもよい。

これにより、操作できないＧＵＩ部品に対する操作イベントは除外される。なぜなら、本来ユーザの操作は操作可能なＧＵＩ部品に対してのみ行われるはずであり、その結果、操作可能なＧＵＩ部品に対するイベント発生頻度はそうではないＧＵＩ部品に対する操作イベント発生頻度に比べて有意な差を生じるはずである。

なお、判定部１５ｄは、入れ子関係にある場合、外側にある画像Ａが操作ログとして記録された場合、内側の画像Ｂを操作ログの候補から除外する。これは、外側の画像が操作可能なＧＵＩ部品で、かつ、その内側の画像が表すＧＵＩ部品も操作可能であることは、一般的な操作画面の構成を考えた場合、極めて不自然なためである。

また、内側の画像が複数存在する場合、一つの画像が操作対象の画像であれば他の内側の画像も操作対象の画像である可能性が高いので、全ての入れ子関係を判定条件に加えることで、判定の精度を高めることも可能である。

また、操作ログを生成する際、分析者がクラスタに含まれる画像を区別するために、クラスタごとに該クラスタに含まれる画像に分析者が任意の文字列を付与し、その文字列を用いてフローを生成してもよい。また、クラスタに含まれる画像に対してＯＣＲにより特徴的な文字列を抽出し、それをラベルとして付与することも可能である。

［操作ログ取得処理］
次に、図５を参照して、本実施形態に係る操作ログ取得装置１０による操作ログ取得処理について説明する。図５は、操作ログ取得処理手順を示すフローチャートである。図５のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。

まず、取得部１５ａが、ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する（ステップＳ１）。

次に、抽出部１５ｂが、取得されたキャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出する（ステップＳ２）。また、抽出部１５ｂは、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生時刻と該画像とを関連付けて記録する。例えば、抽出部１５ｂは、キャプチャ画像から、画像上の特徴を用いてＧＵＩ部品の候補となりうる画像を特定し、特定した画像をキャプチャ画像から切り出す。

次に、分類部１５ｃが、抽出された画像を、画像間の類似度に応じてクラスタに分類する（ステップＳ３）。例えば、分類部１５ｃは、各画像のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。あるいは、各画像の画像上の類似度に応じて、画像を分類する。

判定部１５ｄが、分類されたクラスタごとに画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する（ステップＳ４）。また、判定部１５ｄは、該画像と発生時刻とを関連付けて記録する。

あるいは、判定部１５ｄは、分類されたクラスタごとの操作イベントの発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する。

また、判定部１５ｄは、操作対象のＧＵＩ部品の画像と判定した画像と、操作イベント発生時刻および操作イベント種別とを対応付けて、操作ログ１４ａを生成する（ステップＳ５）。また、判定部１５ｄは、生成した操作ログ１４ａを記憶部１４に記憶させる。あるいは、判定部１５ｄは、操作ログ１４ａを、例えば操作フローを作成する装置に出力する。これにより、一連の操作ログ取得処理が終了する。

以上、説明したように、本実施形態の操作ログ取得装置１０において、取得部１５ａが、ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する。また、抽出部１５ｂが、取得されたキャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生時刻と該画像とを関連付けて記録する。また、分類部１５ｃが、記録された画像の集合に対して、画像間の類似度に応じてクラスタに分類する。また、判定部１５ｄが、分類されたクラスタごとに画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する。

これにより、操作ログ取得装置１０は、ＧＵＩアプリケーションの種類によらず、事前に教師データを用意したり条件を指定したりすることなく、容易かつ自動的にアプリケーションの操作ログを取得することが可能となる。また、操作ログ取得装置１０は、操作可能なＧＵＩ部品に対して行われた操作イベントのみを抽出可能となる。

また、分類部１５ｃは、各画像のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。これにより、操作ログ取得装置１０は、操作画面の構成が動的に変化しない場合に、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。

また、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。これにより、操作ログ取得装置１０は、作画面の構成が動的に変化する場合に、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。

また、判定部１５ｄは、集計した発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、クラスタに含まれる画像を発生時刻における操作対象のＧＵＩ部品の画像と判定する。このように、操作ログ取得装置１０は、操作可能なＧＵＩ部品に対して行われた操作イベントのみを抽出可能となる。

［プログラム］
上記実施形態に係る操作ログ取得装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、操作ログ取得装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の操作ログ取得処理を実行する操作ログ取得プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の操作ログ取得プログラムを情報処理装置に実行させることにより、情報処理装置を操作ログ取得装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）などのスレート端末などがその範疇に含まれる。また、操作ログ取得装置１０の機能を、クラウドサーバに実装してもよい。

図６は、操作ログ取得プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、操作ログ取得プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した操作ログ取得装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、操作ログ取得プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、操作ログ取得プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、操作ログ取得プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１０ 操作ログ取得装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１４ａ 操作ログ
１５ 制御部
１５ａ 取得部
１５ｂ 抽出部
１５ｃ 分類部
１５ｄ 判定部

Claims (3)

1. ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する取得部と、
   取得された前記キャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、前記操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、該操作イベントの発生時刻と該画像とを関連付けて記録する抽出部と、
   記録された画像の集合に対して、前記画像間の類似度に応じてクラスタに分類する分類部と、
   分類された前記クラスタごとに前記画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を前記操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する判定部と、
   を有し、
   前記判定部は、前記発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、前記クラスタに含まれる画像を前記発生時刻における操作対象のＧＵＩ部品の画像と判定することを特徴とする操作ログ取得装置。
2. 前記分類部は、各画像の類似度、または各画像の前記キャプチャ画像における表示位置の類似度の少なくともいずれかに応じて、前記画像を分類することを特徴とする請求項１に記載の操作ログ取得装置。
3. 操作ログ取得装置で実行される操作ログ取得方法であって、
   ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する取得工程と、
   取得された前記キャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、前記操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、該操作イベントの発生時刻と該画像とを関連付けて記録する抽出工程と、
   記録された画像の集合に対して、前記画像間の類似度に応じてクラスタに分類する分類工程と、
   分類された前記クラスタごとに前記画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を前記操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する判定工程と、
   を含み、
   前記判定工程は、前記発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、前記クラスタに含まれる画像を前記発生時刻における操作対象のＧＵＩ部品の画像と判定することを特徴とする操作ログ取得方法。

Images