JP6212373B2

JP6212373B2 - 操作ログ管理装置及び方法

Info

Publication number: JP6212373B2
Application number: JP2013251909A
Authority: JP
Inventors: 弘毅中西; 増田　健; 健増田
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc
Current assignee: NTT Inc
Priority date: 2013-12-05
Filing date: 2013-12-05
Publication date: 2017-10-11
Anticipated expiration: 2033-12-05
Also published as: JP2015109001A

Description

本発明は、コンピュータ上で動作するＧＵＩ（Graphical User Interface）アプリケーションプログラムに対するオペレータ（ユーザ）の操作を支援する技術に関し、特に操作支援としてオペレータに提供する操作ログの管理技術に関する。

近年ＩＣＴ（Information and Communication Technology）技術の進歩により、企業等における業務がシステム化され、さらに業務が集約されたことによって、一人のオペレータが様々な業務システムを使いこなす必要が発生している。その際に熟練者等の過去の操作事例から類似操作を検索し比較することによって、操作マニュアルからでは得られないきめ細かい操作支援情報を提供することが可能になると考えられる（非特許文献１及び２参照）。オペレータが操作の参考情報として参照する操作ログとしては操作画面ログがオペレータにとって直観的に理解しやすく適していると考えられる。

画像を検索する技術として様々な方法が考えられている（非特許文献３及び４参照）。操作画面をログとしデータベース化した場合、画像検索技術を操作画面画像に適用した方法が考えられている（非特許文献５参照）。しかし、画像検索技術を用いて操作画面の画像検索を行った場合、操作画面上の文字認識や、ＧＵＩ部品の状態（ボタンの活性、非活性、スライダーの位置、チェックボックス、ラジオボタンのオン／オフ、ＧＵＩ部品の位置など）を特定する状態認識技術等のメタな検索ができないという課題がある。そこで、ＯＳ（Operating System）から提供されるＡｃｃｅｓｓｉｂｉｌｉｔｙＡＰＩ（Application Programming Interface）によって得られるＧＵＩ部品の情報を操作画面画像のメタ情報として付与しメタ情報を検索する方法が提案されている。

森崎修司、門田暁人、松本健一、井上克郎、鳥居宏次、「機能実行履歴を用いたソフトウェア利用知識の共有」、情報処理学会論文誌、 41(10)、 pp.2770-2781、2000年10月海野瑛里、吉井光、櫨山淳雄、「操作履歴を用いたサーバ管理のための知識継承支援システム」、人工知能学会第１０回知識流通ネットワーク研究会、2013年3月長谷山美紀、「画像・映像意味理解の現状と検索インタフェース」、電子情報通信学会誌、Vol.93、No.9、2010年 Yeh, T., Chang, T.-H. and Miller, R.C. Sikuli, "Using GUI Screenshots for Search and Automation", UIST 2009, 183-192 Chang, T., Yeh, T., and Miller, M., "Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata", UIST, 2011, 245-256

オペレータへの操作支援など操作ログを有効活用するためには、蓄積した操作ログから如何にして必要なものを検索するかが重要となる。近年、Ｇｏｏｇｌｅ（登録商標）社のＧｏｏｇｌｅＭａｐｓなど高度なグラフィック機能を有したＷＥＢアプリケーションが広まっているが、このようなアプリケーションではオペレータの操作によって操作画面が大きく変化することから従来の操作画面の画像情報の比較によって操作ログを検索した場合、適切な操作ログを得ることが困難であった。また、ＷＥＢアプリケーションでは、ブラウザの提供する各種スクリプトの実効環境や、更にブラウザ上に構築されるアプリケーション実行環境（例えばＪＡＶＡ（登録商標）実効環境）上でスクリプトやアプレット等が動作されることが多いため、従来の技術では、取得可能なＧＵＩメタ情報が操作ログの検索においては十分ではなく、適切な操作ログの検索が困難であった。

さらに、操作ログの検索では、操作画面の画像そのもの或いはメタ情報を基準として検索を行うだけではなく、アプリケーションの取り扱っている情報（モデルデータ）そのものを比較対象にしたいという要望がある。例えば前述のＧｏｏｇｌｅＭａｐｓでは、住所情報や緯度経度情報を基準として操作ログを抽出したいという要望があった。しかし、前述の従来の技術では、あくまで操作画面の画像そのもの或いはメタ情報のみで検索処理を行っているので、このような要望に応えることは困難であった。

本発明は、上記事情に鑑みてなされたものであり、その目的とするところの１つは、従来のＧＵＩメタ情報や画像情報などの処理技術では実現できなかったアプリケーションが処理対象としているデータの情報を考慮した抽象度の高い操作ログの分析を可能にすることである。また、本発明の他の目的は、地図やネットワークトポロジー情報などを扱う高度なグラフィック機能を有するアプリケーションに対する操作ログを分析とすることである。

上記目的を達成するために、本願発明は、コンピュータ上で動作するＧＵＩ（Graphical User Interface）アプリケーションの操作ログを管理する操作ログ管理装置であって、前記ＧＵＩアプリケーションは少なくとも画面表示制御部とデータ供給部とに分割されており且つ画面表示制御部はデータ供給部から取得したモデルデータに基づき画面表示を制御するものであり、操作ログ管理装置は、ＧＵＩアプリケーションの操作画面に係るＧＵＩメタ情報を取得するＧＵＩメタ情報取得部と、操作画面の表示で用いられたモデルデータを取得するモデルデータ取得部と、取得したＧＵＩメタ情報とモデルデータとを関連づけて操作ログとして所定の記憶部に記録する操作ログ記録部と、前記モデルデータ取得部により取得した第１のモデルデータと前記記憶部に記録されている第２のモデルデータとの類似性を評価することにより前記記憶部から操作ログを抽出する操作ログ検索部とを備えたことを特徴とする。本発明によれば、現在表示されているＧＵＩアプリケーションの操作画面から、該操作画面と一致又は類似する操作画面を有する操作ログを抽出できる。

また、本発明によれば、操作ログとして、ＧＵＩアプリケーションが処理対象としているモデルデータと、操作画面のＧＵＩメタ情報とを関連づけて記録するので、ＧＵＩメタ情報を用いた検索だけでなく、アプリケーションが処理対象としている情報を用いた検索が可能となるので、柔軟且つ高度な操作ログの活用が可能となる。また、高度なグラフィック機能を有するアプリケーションであっても、操作画面イメージではなく該操作画面イメージの表示で用いられるモデルデータでの検索が可能となるので、操作ログの検索を高精度且つ低負荷で行うことができる。

本発明の好適な態様の一例としては、さらに、前記モデルデータ取得部により取得した第１のモデルデータと前記操作ログ検索部により抽出した操作ログに係る第２のモデルデータとの一致点及び不一致点を各モデルデータのデータ要素毎に比較するモデルデータ比較部と、該モデルデータ比較部で一致したデータ要素及び不一致のデータ要素に対応するＧＵＩ部品のメタ情報を前記抽出した操作ログに含まれるＧＵＩメタ情報からそれぞれ抽出するＧＵＩ部品抽出部を備えたものが挙げられる。本発明によれば、２つの操作画面の一致点及び不一致点をＧＵＩ部品毎に認識することができる。

本発明の好適な態様の一例としては、さらに、前記ＧＵＩ部品抽出部により抽出されたＧＵＩ部品のメタ情報に基づき、第１のモデルデータに係る操作画面と第２のモデルデータの操作画面とを比較する比較画面を生成する比較画面生成部を備えたことを特徴とするものが挙げられる。本発明によれば、２つの操作画面の一致点及び不一致点を比較画面として表示できるのでオペレータにとって使い勝手のよいものとなる。

本発明においてＧＵＩメタ情報の取得手段としては、ＧＵＩアプリケーションが動作しているコンピュータ環境上で提供されているアクセシビリティＡＰＩ（Application Programming Interface）を用いる方法や、ＧＵＩアプリケーションが動作しているコンピュータ環境で提供されているＤＯＭ（Document Object Model）を用いてＧＵＩメタ情報を取得する方法などが挙げられる。

また本発明においてＧＵＩメタ情報とモデルデータとの関連づけの手法としては種々のものが挙げられる。本発明の好適な態様の一例としては、前記ＧＵＩアプリケーションは、データ供給部から取得するモデルデータの各データ要素を一意に識別するモデルデータ識別子を、該モデルデータを表示するＧＵＩ部品のメタ情報として付加する識別子付与部を備えたものが挙げられる。本発明によれば、操作ログ記録部においてはモデルデータ識別子を用いてＧＵＩメタ情報とモデルデータとを関連づければよい。

以上詳述したように、本発明によれば、操作ログとして、ＧＵＩアプリケーションが処理対象としているモデルデータと、操作画面のＧＵＩメタ情報とを関連づけて記録するので、ＧＵＩメタ情報を用いた検索だけでなく、アプリケーションが処理対象としている情報を用いた検索が可能となるので、柔軟且つ高度な操作ログの活用が可能となる。また、高度なグラフィック機能を有するアプリケーションであっても、操作画面イメージではなく該操作画面イメージの表示で用いられるモデルデータでの検索が可能となるので、操作ログの検索を高精度且つ低負荷で行うことができる。

操作ログ管理装置のシステム構成図ＷＥＢアプリケーションの動作を説明する図モデルデータのデータ構造を説明する図ＧＵＩメタ情報のデータ構造を説明する図操作ログ管理装置の動作を説明するフローチャート操作ログテーブルの一例を示す図モデルデータのデータ要素とＧＵＩ部品情報との対応関係を記述した変換テーブルの一例を示す図操作ログに記録された操作画面とモデルデータの一例現在の操作画面とモデルデータの一例モデルデータの比較・照合処理を説明する一例比較画面の一例を説明する図比較画面の他の例を説明する図比較画面の他の例を説明する図

本発明の一実施の形態に係る操作ログ管理装置について図面を参照して説明する。図１は操作ログ管理装置のシステム構成図である。

本実施の形態に係る操作ログ管理装置１００は、図１に示すように、オペレータが操作するコンピュータ端末１０上に実装されている。端末１０上では、ＧＵＩを有するアプリケーションが動作している。オペレータは入力装置１１を用いてアプリケーションの操作を行い、操作画面は出力装置１２に出力される。入力装置１１としては、キーボード、マウス、トラックボール、タッチスクリーン、音声入力用のマイクなどが挙げられる。出力装置１２は液晶ディスプレイなどが挙げられる。操作ログ管理装置１００は、オペレータが操作するアプリケーションの操作ログを記録すること、及び、オペレータが操作しているアプリケーションの現在の操作画面から一致又は類似する操作画面を操作ログから抽出して表示することを主たる目的とする。また本実施の形態に係る操作ログ管理装置１００は、現在の操作画面と操作ログから抽出した操作画面との相違点・一致点を明示することも目的としている。

まず、本実施の形態に係る操作ログ管理装置１００が対象としているアプリケーションについて説明する。本実施の形態に係るアプリケーションは、ＷＥＢブラウザ２００上で動作する所謂「ＷＥＢアプリケーション」である。該アプリケーションは、インターネットやイントラネットなどのネットワーク２５０を介してサーバ２６０からアプリケーション文書２１０を取得し、該文書をＷＥＢブラウザで解釈することにより動作する。ＷＥＢブラウザ２００は、例えばＪＡＶＡＳｃｒｉｐｔなどの所定のスクリプト言語の実効環境を備えており、アプリケーション文書２１０に含まれるスクリプトを実行することによりアプリケーション固有の処理機能を実現する。

本実施の形態に係るアプリケーションは、ＷＥＢブラウザ２００上で処理されるアプリケーション文書２１０と、ＷＥＢブラウザ２００に対してアプリケーション文書２１０だけでなくアプリケーションで処理対象とする各種データ（以下「モデルデータ」と呼ぶ）を供給するサーバ２６０とにより構成される。ＷＥＢブラウザ２００上には、サーバ２６０から取得したモデルデータを操作画面内の指定された位置に指定された態様で表示する画面表示制御部２２０が構成される。また、ＷＥＢブラウザ２００上には、操作画面から導出されるＧＵＩメタ情報に対して後述するモデルデータ識別子を付与するモデルデータ識別子付与部２３０が構成される。画面表示制御部２２０及びモデルデータ識別子付与部２３０は、前述したようにアプリケーション文書２１０に記述されたスクリプトにより構成される。なお、モデルデータ識別子付与部２３０をＷＥＢブラウザ２００へのプラグインとして構成することにより、既存のＷＥＢアプリケーションに本願発明を容易に適用することができるので好適である。

本実施の形態に係るアプリケーションの一例について図２を参照して説明する。図２に示すアプリケーションは地図アプリケーションの一例であり、操作画面５００上のテキストボックス５０１に地名や住所等を入力すると、その地名等で示される場所の周辺に位置する店舗（例えばレストラン）が検索され、検索結果として操作画面５００上に既に表示されている地図上に各店舗の位置を示すマーカー５１０を表示するものである。このようなアプリケーションでは、テキストボックス５０１に地名等が入力され検索ボタンが押下されるとアプリケーション文書２１０により構成された検索機能部（図示省略）が当該地名を緯度経度に変換し、該緯度経度を検索キーとしたクエリー５５０をサーバ２６０に発行する（ステップＳ１０１）。サーバ２６０は、クエリー５５０に含まれる緯度経度で示される位置の周辺に含まれる店舗の情報をデータベース（図示省略）で検索し（ステップＳ１０２）、検索結果であるモデルデータ５６０をＷＥＢブラウザ２００に返信する（ステップＳ１０３）。画面表示制御部２２０は、取得したモデルデータ５６０に基づき該モデルデータ５６０のデータ要素に対応する店舗等をマーカー５１０として画面上に表示するよう制御する（ステップＳ１０４）。またモデルデータ識別子付与部２３０は、モデルデータ５６０の各データ要素の表示に係るＧＵＩ部品であるマーカー５１０のメタ情報に対して、各データ要素を一意に識別するモデルデータ識別子を付与する（ステップＳ１０５）。

本実施の形態に係るアプリケーションにおいて、モデルデータ５６０の記述形態としては種々のものを用いることができるが、例えばＸＭＬ（Extensible Markup Language）やＪＳＯＮ（JavaScript Object Notation）などが挙げられる。図３にＸＭＬにより上記地図アプリケーションで用いられるモデルデータ５６０の一例を示す。図３に示すように、モデルデータ５６０は、複数のデータ要素を含むことができるとともに、図３下側が示すようにデータ要素をツリー構造で表現することにより「パス」の形式で各データ要素を一意に識別することができる。なお、図３上側の図は階層構造が１層である一方、図３下側は多階層のツリー構造であり両者の整合性がとれていないが、これは単に説明の便宜上の問題である点に注意されたい。

本実施の形態に係るアプリケーションにおいて、ＧＵＩメタ情報の記述形態としては種々のものを用いることができるが、例えばＯＳで提供されるアクセシビリティＡＰＩ（Application Programming Interface）で取得可能なものや、ＤＯＭ（Document Object Model）により記述されたものが挙げられる。図４にＧＵＩメタ情報の一例を示す。ＧＵＩメタ情報は、複数のＧＵＩ部品のメタ情報を含むことができるとともに、各ＧＵＩ部品をツリー構造で表現することにより「パス」の形式で各ＧＵＩ部品のメタ情報を一意に識別することができる。各ＧＵＩ部品のメタ情報には、各種メタ情報が含まれており、該ＧＵＩ部品に対してモデルデータ５６０のデータ要素の表示が行われた際には、モデルデータ識別子付与部２３０により、該データ要素を一意に識別するモデルデータ識別子が付与されている。モデルデータ識別子としては種々のものを用いることができる。例えば、ＲＥＳＴ（REpresentational State Transfer）ＡＰＩの規定にしたがって各モデルデータのデータ要素を一意に識別する識別子が挙げられる。

次に、本実施の形態に係る操作ログ管理装置１００について再び図１を参照して説明する。図１に示すように、操作ログ管理装置１００は、モデルデータ取得部１１１と、ＧＵＩメタ情報取得部１１２と、操作画面情報取得部１１３と、操作ログ記録部１２０と、モデルデータ検索部１３１と、モデルデータ比較部１３２と、ＧＵＩ部品抽出部１３３と、表示機能部１３４と、操作ログを蓄積する記憶手段である記憶部１５０とを備えている。記憶部１５０には、操作ログテーブル１５１と、モデルデータ記憶部１５２と、ＧＵＩメタ情報記憶部１５３と、ＧＵＩメタ情報に含まれるＧＵＩ部品からモデルデータに含まれるデータ要素を導出するための変換テーブル１５４とが記憶される。以下、操作ログ管理装置１００について図１及び図５のフローチャートを参照して説明する。

モデルデータ取得部１１１は、ＷＥＢブラウザ２００とサーバ２６０間の通信トラヒックを監視し、ＷＥＢブラウザ２００がサーバ２６０からモデルデータを取得したことを検出すると、検出したモデルデータを取得する。

ＧＵＩメタ情報取得部１１２は、前記モデルデータ取得部１１１がモデルデータを取得した際に、該モデルデータに基づき画面表示制御部２２０が画面表示制御を行った後におけるアプリケーションの操作画面のＧＵＩメタ情報を取得する。ここで取得するＧＵＩメタ情報には、モデルデータ識別子付与部２３０によりモデルデータ識別子が含まれている点に留意されたい。ＧＵＩメタ情報の取得方法としては種々のものを用いることができるが、アクセシビリティＡＰＩを用いる方法やＤＯＭを用いる方法が挙げられる。

操作画面情報取得部１１３は、前記モデルデータ取得部１１１がモデルデータを取得する契機となったオペレータの操作情報、操作日時、操作後の操作画面（すなわちモデルデータに基づき画面表示制御部２２０が画面表示制御を行った後におけるアプリケーションの操作画面）の画面イメージなど各種データ（操作画面情報）を取得する。

操作ログ記録部１２０は、モデルデータ取得部１１１で取得したモデルデータと、ＧＵＩメタ情報取得部１１２で取得したＧＵＩメタ情報と、操作画面情報取得部１１３で取得した各種データとを、関連づけて記憶部１５０に記録する（図５のステップＳ２０１）。本実施の形態では、図６に示すように、操作ログテーブル１５１という形態で操作ログを保持するものとし、操作ログＩＤによりモデルデータとＧＵＩメタ情報とを関連づける。なお本実施の形態では、図６に示すように、操作ログテーブル１５１には、モデルデータ及びＧＵＩメタ情報の実体は保持せずにファイル名などの識別情報のみを保持し、その実体はそれぞれモデルデータ記憶部１５２、ＧＵＩメタ情報記憶部１５３に記録する。

モデルデータ検索部１３１は、現在のアプリケーションの操作画面についてモデルデータ取得部１１２により取得したモデルデータ（便宜的に「現モデルデータ」と呼ぶ。）に対して、現モデルデータに一致又は類似する過去のモデルデータをモデルデータ記憶部１５２から抽出する（図５のステップＳ２０２）。

モデルデータ比較部１３２は、現モデルデータと、モデルデータ取得部１３１で抽出したモデルデータとをデータ要素単位で比較し、両モデルデータの一致点及び不一致点を検出する。当該データ要素の比較においては、モデルデータのデータ要素を示すモデルデータパスに基づき一致・不一致を評価する（図５のステップＳ２０３）。

ＧＵＩ部品抽出部１３３は、モデルデータ比較部１３２で検出されたモデルデータのデータ要素と、現モデルデータの各データ要素の一致点及び不一致点を検出し、各データ要素に対応するＧＵＩ部品を抽出する（図５のステップＳ２０４）。具体的には、まず操作ログテーブル１５１を参照してモデルデータに対応するＧＵＩメタ情報をＧＵＩメタ情報記憶部１５３から取得する。次に、該ＧＵＩメタ情報に含まれる各ＧＵＩ部品のメタ情報にモデルデータ識別子が含まれる場合には、該ＧＵＩ部品のメタ情報とモデルデータ識別子により特定されるモデルデータのデータ要素との対応関係を変換テーブル１５４に追加する。該ＧＵＩ部品に対応するデータ要素は、モデルデータ識別子により導出する。前記変換テーブル１５４は、図７に示すように、ＧＵＩ部品のパス（ＧＵＩ部品パス）とモデルデータの要素のパス（モデルデータパス）が含まれる。そして、ＧＵＩ部品抽出部１３３は、該変換テーブル１５４を参照して、モデルデータ比較部１３２で検出した一致しているデータ要素に対応するＧＵＩ部品のメタ情報、及び、不一致のデータ要素に対応するＧＵＩ部品のメタ情報を抽出する。

表示機能部１３４は、モデルデータ検索部１３１で検索されたモデルデータに係る操作画面情報を記憶部１５０の操作ログテーブル１５１から取得して、検索結果である操作画面を比較画面として表示する（図５のステップＳ２０４）。また表示機能部１３４は、ＧＵＩ部品抽出部１３３により得られた一致・不一致点をオペレータに分かりやすく示すための画面制御を行う。当該画面制御としては種々の形態が考えられる。例えば、（ａ）現在のアプリケーションの操作画面に対して一致しているＧＵＩ部品を強調表示すること、（ｂ）現在のアプリケーションの操作画面に対して、不一致のＧＵＩ部品について、現在の操作画面に存在しているものを強調表示すること、（ｃ）現在のアプリケーションの操作画面に対して、不一致のＧＵＩ部品について、現在の操作画面に存在していないものを新たに追加表示すること、などが挙げられる。

図８〜図１３を参照して本発明に係る操作ログ管理装置１００による操作ログの検索及び表示の一例を説明する。まず、記憶部１５０には操作ログとして図８左の操作画面８００に係る操作ログが記録されているとする。ここで、アプリケーションのモデルデータ８１０のデータ要素８１１〜８１４は、操作画面８００に表示するＧＵＩ部品であるマーカー８０１〜８０４に対応しているものとする。一方、オペレータが現在操作しているアプリケーションの操作画面９００が図９左に示すものであるとする。

操作ログ管理装置１００は、該操作画面９００についてモデルデータ取得部１１１により図９右に示すモデルデータ９１０を取得する。該モデルデータ９１０のデータ要素９１１〜９１３は、操作画面９００に表示するＧＵＩ部品であるマーカー９０１〜９０３に対応している。モデルデータ検索部１３１は、モデルデータ９１０に一致又は類似する過去のモデルデータとして図８右のモデルデータ８１０を抽出する。次に、モデルデータ比較部１３２は、図１０に示すように、モデルデータ８１０とモデルデータ９１０の各モデル要素を比較照合し、一致するモデル要素、不一致のモデル要素を検出する。次に、ＧＵＩ部品抽出部１３３は、モデルデータ８１０及びモデルデータ９１０の各データ要素に対して対応するＧＵＩ部品（ここではマーカー）のメタ情報を抽出する。次に、表示機能部１３４は、検索結果であるモデルデータ８１０に係る操作画面である図９左の操作画面８００を比較画面として表示する。また、表示機能部１３４は、現在の操作画面９００に対して、過去の操作画面８００との一致点・不一致点を種々の形態で表示する。例えば、図１１に示すように、現在の操作画面９００に含まれるが過去の操作画面８００には含まれない要素について、他のＧＵＩ部品とは異なる形態で表示することができる。また例えば、図１２に示すように、さらに、現在の操作画面９００に含まれないが過去の操作画面８００には含まれる要素について、他のＧＵＩ部品とは異なる形態で表示することができる。また例えば、図１３に示すように、過去の操作画面８００と現在の操作画面９００を並べて表示させ、同一の要素について対応関係を示すように矢印等を表示する。

このように本実施の形態に係る操作ログ管理装置１００によれば、操作ログとして、ＧＵＩアプリケーションが処理対象としているモデルデータと、操作画面のＧＵＩメタ情報とを関連づけて記録するので、ＧＵＩメタ情報を用いた検索だけでなく、アプリケーションが処理対象としている情報を用いた検索が可能となるので、柔軟且つ高度な操作ログの活用が可能となる。また、高度なグラフィック機能を有するアプリケーションであっても、操作画面イメージではなく該操作画面イメージの表示で用いられるモデルデータでの検索が可能となるので、操作ログの検索を高精度且つ低負荷で行うことができる。

以上本発明の一実施の形態について詳述したが本発明はこれに限定されるものではない。すなわち、上記実施の形態で説明したデータ構造等は実装上の一例であり、他のデータ構造等であっても本発明を実施できる。また、上記実施の形態では、アプリケーションの一例としてＷＥＢブラウザ２００上で動作するものについて説明したが、専用のクライアントサーバシステムなど他のシステムであってもよい。また、上記実施の形態では、アプリケーションが、ＷＥＢブラウザ２００上で動作する機能部と、モデルデータをＷＥＢブラウザ２５０に供給する機能部が異なる装置上に実装されていたが、モデルデータの取得が可能であるならば同一の装置上に実装されていてもよい。また、上記実施の形態では、１つの装置上に操作ログ管理装置１００が構成されているが、例えば記憶部１５０については他の装置上のデータベースに構築するなど各機能部を異なる装置上に分散して配置するようにしてもよい。すなわち、本願発明に係る操作ログ管理装置１００を含むシステムの形態は、各種仮想技術や各種分散技術等によって任意に構成することができる。

また、上記実施の形態では、モデルデータ内のデータ要素とＧＵＩ部品のメタ情報とを対応づける方法としてアプリケーション側に実装したモデルデータ識別子付与部２３０を用いているが、実装形態・実装環境によっては該モデルデータ識別子付与部２３０を操作ログ管理装置１００側に設けるようにしてもよい。また、モデルデータ識別子を用いることなくモデルデータ内のデータ要素とＧＵＩ部品のメタ情報との対応関係を得ることができるような実装形態・実装環境であるならば、モデルデータ識別子付与部は必ずしも必要ではない点に留意されたい。また、操作ログ管理装置１００の記憶部には、モデルデータ内のデータ要素とＧＵＩ部品のメタ情報との対応付けを記述した変換テーブル１５４を保持することにより、重複する処理時の負荷を軽減しているが、重複処理の度に対応付けを導出するようにしてもよい。

１００…操作ログ管理装置、１１１…モデルデータ取得部、１１２…ＧＵＩメタ情報取得部、１１３…操作画面情報取得部、１２０…操作ログ記録部、１３１…モデルデータ検索部、１３２…モデルデータ比較部、１３３…ＧＵＩ部品抽出部、１３４…表示機能部、１５０…記憶部、１５１…操作ログテーブル、１５２…モデルデータ記憶部、１５３…ＧＵＩメタ情報記憶部、１５４…変換テーブル、２００…ＷＥＢブラウザ、２１０…アプリケーション文書、２２０…画面表示制御部、２３０…モデルデータ識別子付与部、２５０…ネットワーク、２６０…サーバ

Claims

コンピュータ上で動作するＧＵＩ（Graphical User Interface）アプリケーションの操作ログを管理する操作ログ管理装置であって、
前記ＧＵＩアプリケーションは少なくとも画面表示制御部とデータ供給部とに分割されており且つ画面表示制御部はデータ供給部から取得したモデルデータに基づき画面表示を制御するものであり、
操作ログ管理装置は、ＧＵＩアプリケーションの操作画面に係るＧＵＩメタ情報を取得するＧＵＩメタ情報取得部と、操作画面の表示で用いられたモデルデータを取得するモデルデータ取得部と、取得したＧＵＩメタ情報とモデルデータとを関連づけて操作ログとして所定の記憶部に記録する操作ログ記録部と、
前記モデルデータ取得部により取得した第１のモデルデータと前記記憶部に記録されている第２のモデルデータとの類似性を評価することにより前記記憶部から操作ログを抽出する操作ログ検索部とを備えた
ことを特徴とする操作ログ管理装置。
前記モデルデータ取得部により取得した第１のモデルデータと前記操作ログ検索部により抽出した操作ログに係る第２のモデルデータとの一致点及び不一致点を各モデルデータのデータ要素毎に比較するモデルデータ比較部と、
該モデルデータ比較部で一致したデータ要素及び不一致のデータ要素に対応するＧＵＩ部品のメタ情報を前記抽出した操作ログに含まれるＧＵＩメタ情報からそれぞれ抽出するＧＵＩ部品抽出部を備えた
ことを特徴とする請求項１記載の操作ログ管理装置。
前記ＧＵＩ部品抽出部により抽出されたＧＵＩ部品メタ情報に基づき、第１のモデルデータに係る操作画面と第２のモデルデータの操作画面とを比較する比較画面を生成する比較画面生成部を備えた
ことを特徴とする請求項２記載の操作ログ管理装置。
前記ＧＵＩメタ情報取得部は、ＧＵＩアプリケーションが動作しているコンピュータ環境上で提供されているアクセシビリティＡＰＩ（Application Programming Interface）を用いてＧＵＩメタ情報を取得する
ことを特徴とする請求項１乃至３何れか１項記載の操作ログ管理装置。
前記ＧＵＩメタ情報取得部は、ＧＵＩアプリケーションが動作しているコンピュータ環境で提供されているＤＯＭ（Document Object Model）を用いてＧＵＩメタ情報を取得する
ことを特徴とする請求項１乃至３何れか１項記載の操作ログ管理装置。
前記ＧＵＩアプリケーションは、データ供給部から取得するモデルデータの各データ要素を一意に識別するモデルデータ識別子を、該モデルデータを表示するＧＵＩ部品のメタ情報として付加する識別子付与部を備えた
ことを特徴とする請求項１乃至５何れか１項記載の操作ログ管理装置。
コンピュータ上で動作するＧＵＩ（Graphical User Interface）アプリケーションの操作ログを管理する操作ログ管理方法であって、
前記ＧＵＩアプリケーションは少なくとも画面表示制御部とデータ供給部とに分割されており且つ画面表示制御部はデータ供給部から取得したモデルデータに基づき画面表示を制御するものであり、
操作ログ管理装置は、ＧＵＩアプリケーションの操作画面情報と、操作画面に係るＧＵＩメタ情報と、操作画面の表示で用いられたモデルデータとを取得し、取得した操作画面情報とＧＵＩメタ情報とモデルデータとを関連づけて操作ログとして所定の記憶部に記録し、
前記操作画面の表示で用いられた第１のモデルデータと前記記憶部に記録されている第２のモデルデータとの類似性を評価することにより前記記憶部から操作ログを抽出する
ことを特徴とする操作ログ管理方法。