JP7287485B2 - 表示制御装置及び表示制御方法 - Google Patents

Description

本発明は、表示制御装置及び表示制御方法に関する。

一般に、企業の業務改善プロセスでは、まず人手によるヒアリング、観察・時間計測による作業量の見積り等によって業務実態を把握し、問題箇所を発見した上で、改善案を検討するというアプローチが取られることが多い。しかしながら、ヒアリング等による業務実態把握は、稼働がかかることに加え、一部の分析者の主観や手順に偏る場合があり、正確性、網羅性等に課題がある。

そこで、従来、端末の操作ログを取得し、可視化することによって、より効率的かつ広範囲、細粒度の業務実態の把握を可能にする方法が提案されている。

操作ログを可視化する方法の中でも、画面上のｘ軸方向に時間軸をとり、ｙ軸方向の各行を要素（例えばユーザ）として、要素の継続時間を矩形で表現するタイムラインは、業務分析における端末上の操作実態を把握する上で有効な方法として知られている。例えば、非特許文献１では操作ログをユーザやアプリケーション、ウィンドウ、操作等、同じ粒度の情報で階層化し、タイムライン可視化する方法が提案されている。また、タイムライン上の操作とキャプチャ画像とを関連付けて表示する方法も提案されている（例えば、非特許文献２参照）。

八木佐也香，土川公雄，横瀬史拓，卜部有記，増田健, "操作ログのタイムライン可視化における対話的なグルーピング方法の検討"，信学技報，vol.119，no.111，ICM2019-13，pp.41-46，2019年7月. Phong H. Nguyen et al., "SensePath：Understanding the Sensemaking Process through Analytic Provenance", IEEE transactions on visualization and computer graphics，vol.22，no.1，pp.41-50，2016.

しかしながら、既存のタイムライン表示方法（非特許文献１）では、特定の階層（例えば、アプリケーション、ウィンドウ）を観察する際、他の階層（例えば、操作）を同時に概観することができなかった。また、タイムライン上の操作とキャプチャ画像を関連付けて表示する方法（非特許文献２）では、キャプチャ画像や、選択した範囲における操作列のアニメーション表示から、個々の操作内容や、選択した時間帯における操作の流れを観察することはできるが、操作の詳細を概観することは困難であった。

このように、従来の方法では、分析者が着目する操作単位（例えばアプリケーション、ウィンドウ）とそれ以外の操作単位とを同時に表示することができない。このため、従来の方法では、問題箇所の発見や問題の原因の追求のために、階層の展開操作、階層の縮約操作、個々の画像の確認操作等を繰り返す必要があり、効率的な分析が困難であった。

本発明は、上記に鑑みてなされたものであって、端末の操作ログを基に、業務実態を効率的に分析することができる表示制御装置及び表示制御方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、操作ログファイルを読み込み、第１の操作単位について第１の操作単位の所定の可視化表現で可視化された操作情報を示す第１のオブジェクトと、第１の操作単位と粒度が異なる第２の操作単位の操作情報を示す第２のオブジェクトと、を生成する生成部と、第１のオブジェクトを基に描画を行い、画面表示を行う可視化部と、画面表示された第１のオブジェクトのいずれかの部分が選択された場合、選択された部分に対応する第２のオブジェクトをグループ化した要約情報を生成する要約情報生成部と、を有し、可視化部は、指定された領域に要約情報を重畳あるいは関連付けて表示することを特徴とする。

また、本発明に係る表示制御方法は、表示制御装置が実行する表示制御方法であって、操作ログファイルを読み込み、第１の操作単位について第１の操作単位の所定の可視化表現で可視化された操作情報を示す第１のオブジェクトと、第１の操作単位と粒度が異なる第２の操作単位の操作情報を示す第２のオブジェクトと、を生成する工程と、第１のオブジェクトを基に描画を行い、画面表示を行う工程と、画面表示された第１のオブジェクトのいずれかの部分が選択された場合、選択された部分に対応する第２のオブジェクトをグループ化した要約情報を生成する工程と、指定された範囲に要約情報を重畳あるいは関連付けて表示する工程と、を含んだことを特徴とする。

本発明によれば、端末の操作ログを基に、業務実態を効率的に分析することができる。

図１は、実施の形態に係る表示制御装置の機能構成の一例を示す図である。 図２は、操作ログのデータ構成の一例を示す図である。 図３は、画面出力部に表示されるタイムラインの一例を示す図である。 図４は、画面出力部に表示されるタイムラインの一例を示す図である。 図５は、画面出力部に表示されるタイムラインの一例を示す図である。 図６は、操作履歴画像の一例を示す図である。 図７は、操作ログのデータ構成の他の例を示す図である。 図８は、操作履歴画像の他の例を示す図である。 図９は、画面出力部に表示されるタイムラインの他の例を示す図である。 図１０は、画面出力部に表示される操作履歴画像の他の例を示す図である。 図１１は、実施の形態に係る表示制御処理の処理手順を示すフローチャートである。 図１２は、プログラムが実行されることにより、表示制御装置が実現されるコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［実施の形態］
まず、実施の形態に係る表示制御装置について説明する。本実施の形態に係る表示制御装置は、端末を用いたユーザの業務実態分析のために、端末（不図示）画面のウィンドウに対する操作内容を示す操作ログをタイムライン形式で可視化する。例えば、タイムラインは、画面上のｘ軸方向に時間軸をとり、ｙ軸方向にデータを構成する要素を配置し、ｙ軸上の行に相当する各要素の出現する時間帯を横長の矩形で表示したものである。

そして、本実施の形態に係る表示制御装置は、分析者がタイムラインの一部を選択すると、選択部分に対応する操作履歴を、これらの操作が行われたウィンドウ画面を示すキャプチャ画像上に重畳あるいは関連付けて表示した操作履歴画像を、要約画像として、タイムライン上に重畳表示する。このように、本実施の形態では、操作の概要と同時に操作の詳細も概観可能とすることで、分析者による業務実態の分析を効率化する。

［表示制御装置の構成］
図１は、実施の形態に係る表示制御装置の機能構成の一例を示す図である。図１に示すように、本実施の形態に係る表示制御装置１０は、分析者の操作を受け付けるユーザ入力部２０と、画面を出力する画面出力部３０とに接続する。表示制御装置１０は、操作ログファイルと、初期の画面の表示設定を示す表示設定ファイルとの入力を受け付ける。

操作ログファイルは、複数の操作単位の情報ログを含む。操作ログは、例えば、端末情報、ログインユーザ情報、アプリケーション情報、ウィンドウ情報、操作内容、発生時刻を示した情報である。ウィンドウ情報は、例えば、ウィンドウタイトル、ＵＲＬ／ファイルパス、ウィンドウハンドル等である。操作内容は、例えば操作対象、操作種別、値、キャプチャ画像等であり、ウィンドウ内のオブジェクトに対する操作が発生した際に記録される。

図２は、操作ログのデータ構成の一例を示す図である。図２に示すように、操作ログは、端末画面上におけるウィンドウ状態が変化した際に、ウィンドウにおけるユーザの操作時間、ユーザ名、操作対象のウィンドウタイトル、該ウィンドウにおいて用いられているアプリケーション名、ウィンドウハンドルを記録したウィンドウ単位の情報と、該ウィンドウ内のオブジェクトに対する操作が発生した際に、上記に加えて操作対象、オブジェクトに対する操作時間、該操作時間に操作されたウィンドウのキャプチャ画像、操作種別、操作によって入力された値等の操作単位の情報を記録した情報である。ウィンドウ状態の変化は、ウィンドウのアクティブ状態の変化、タイトルやＵＲＬの変化等である。操作対象は、操作対象を特定する入力欄名等の情報であり、操作対象ウィンドウ中のＧＵＩ（Graphical User Interface）部品ごとに異なる情報で識別される。ブラウザの場合、ＤＯＭ（Document Object Model）オブジェクトのｉｄやｎａｍｅ属性などでもよい。

表示制御装置１０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。また、表示制御装置１０は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースを有する。例えば、表示制御装置１０は、ＮＩＣ（Network Interface Card）等を有し、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置との間の通信を行う。表示制御装置１０は、表示状態管理部１１、表示加工部（生成部）１２、可視化部１３及び要約情報生成部１４を有する。

表示状態管理部１１は、行オブジェクトの配置構造を示す表示状態情報１１１を管理する。表示状態情報１１１は、表示加工部１２によって生成された情報であり、表示加工部１２によって新たな表示状態情報が生成された場合には更新される。行オブジェクト（第１のオブジェクト）は、タイムラインの構成要素であり、端末画面上におけるユーザの操作ログ中でタイムスタンプ以外のデータ項目が一致するレコードをまとめたオブジェクトである。

表示加工部１２は、表示設定情報１２１を有する。表示設定情報１２１は、タイムライン表示に関する設定情報である。表示設定情報１２１は、表示対象の項目、階層構造を示す情報、表示対象のオブジェクトを設定する情報である。表示設定情報１２１は、初期の画面の表示設定を示す表示設定ファイルを基に、例えば、分析者によるユーザ入力装置２０による指示情報にしたがって生成される。

ここで、階層は、操作ログ等に示されるユーザの操作内容を構成する要素のうち、同じデータ項目あるいはユーザの設定した単位（例えば、グループや期間）に属する要素をまとめたものである。グループは、ユーザの操作内容のうち、任意の要素に着目してまとめたものである。

表示加工部１２は、操作ログを読み込み、表示設定情報１２１にしたがって、タイムラインを構成するオブジェクトを生成する。表示加工部１２は、行オブジェクトを生成する。行オブジェクトは、第１の操作単位について第１の操作単位の所定の可視化表現、具体的には、二次元可視化表現で可視化された操作情報を示すオブジェクトである。行オブジェクトは、ユーザ名、操作対象のウィンドウタイトル、該ウィンドウにおいて用いられているアプリケーション名、ウィンドウハンドルが一致するレコードに相当する。

表示加工部１２は、操作ログを読み込み、操作単位の情報を示す操作オブジェクト（第２のオブジェクト）を生成する。操作オブジェクトは、第１の操作単位と粒度が異なる第２の操作単位の操作情報を示すオブジェクトである。操作オブジェクトは、操作を行ったユーザ名、操作対象のウィンドウタイトル、操作種別、操作時間、操作が発生した時刻（操作時間）等を示す情報である。

表示加工部１２は、表示設定情報１２１に記載の階層の設定に基づき、生成した行オブジェクトを階層化した表示状態情報１１１を作成する。表示状態情報１１１は、操作ログのうちのウィンドウ単位の操作情報を表す行オブジェクトの、画面出力部３０における画面上での配置位置を示す情報である。表示状態情報１１１は、行オブジェクト全体の階層構造の他、各行オブジェクトについての情報（例えば、当該行オブジェクトのキーであるデータ項目、値等）を含む。表示状態情報１１１は、操作オブジェクトの配置情報を含む。表示加工部１２は、表示状態情報１１１を生成すると、表示状態情報１１１を可視化部１３に送信する。

可視化部１３は、表示加工部１２により生成された表示状態情報１１１を基に、タイムラインのｙ軸上での行オブジェクトの配置を決定し、行オブジェクトを表現する矩形の色相や透明度等の属性値を決定した上で、タイムラインを構成するオブジェクト（矩形、ラベル、軸等を含む）を生成し、当該生成結果をディスプレイ等の画面出力部３０に出力する。具体的には、可視化部１３は、行オブジェクトと階層構造とを基に、階層化したタイムラインを構成する矩形を描画して、画面表示を行う。

また、可視化部１３は、操作オブジェクトの発生時刻を基に、操作を示すプロットを生成する。そして、可視化部１３は、操作が実行された発生時刻に対応させて、行オブジェクトを表現する矩形上にプロットを重畳表示する。

要約情報生成部１４は、画面表示された行オブジェクトのいずれかの範囲が選択された場合、選択された部分に対応する操作オブジェクトをグループ化した要約情報を生成する。

要約情報生成部１４は、画面表示された矩形のいずれかが選択された場合、読み込んだ操作ログの中から、この矩形で表現された行オブジェクトによってまとめられたレコードを取得する。そして、要約情報生成部１４は、取得したレコードに含まれるウィンドウ情報に基づいて、該ウィンドウ内で実行された操作オブジェクトのうち選択された範囲の開始・終了時間に含まれるオブジェクトをグループ化する。そして、要約情報生成部１４は、操作対象を、それぞれノードで示し、操作順をノード間のリンクで示した有向グラフを、操作が行われたウィンドウ画面を示すキャプチャ画像上に重畳表示した操作履歴画像を、要約情報として生成する。ここで、グループ化とは、ユーザの選択範囲に含まれる操作オブジェクトをまとめることである。同一グループの操作オブジェクトは、操作履歴画像に該当し、各ノードはグループ化した操作オブジェクトの中で、さらに操作対象が同じオブジェクト（レコード）を集計した結果に該当する。可視化部１３は、表示されているタイムライン上の指定された範囲に、この要約情報を重畳表示する

［表示制御処理の流れ］
続いて、表示制御装置１０における表示制御処理の流れについて説明する。図３～図５は、画面出力部３０に表示されるタイムラインの一例を示す図である。

表示加工部１２は、図２に示す操作ログを読み込み、タイムラインを構成するオブジェクトを生成する。表示加工部１２は、表示設定情報１２１に記載された階層の設定に基づいて、行オブジェクトを階層化した表示状態情報１１１を生成する。可視化部１３は、表示状態情報１１１を基にタイムラインのｙ軸上での各オブジェクト（矩形、ラベル、軸等）の配置を決定し、行オブジェクトを表現する矩形の色相や透明度等の属性値を決定して、描画する。

この結果、図３に示すように、画面には、ユーザ名－アプリケーション名－ウィンドウタイトルの順で階層化されたタイムライン５１０が表示される。例えば、矩形５１１は、UserAが、2019/7/11 09:15:20から2019/7/11 09:18:55の間に、iexplore.exeを用いて、「オーダ詳細-オーダ管理システム」というタイトルのウィンドウ」を参照していたことを示す。

そして、表示加工部１２は、読み込んだ操作ログを基に、操作内容を含むレコードから、操作単位を示す操作オブジェクトを生成する。例えば、表示加工部１２は、UserAによる2019/7/11 09:15:20から2019/7/11 09:18:55の間のオーダ詳細ウィンドウに対する入力操作またはクリック操作の情報を示す操作オブジェクトを生成する。この操作オブジェクトは、2019/7/11 09:15:38に実行された入力操作１、2019/7/11 09:15:43に実行されたクリック操作２、2019/7/11 09:17:05に実行された入力操作３、2019/7/11 09:17:58に実行された入力操作４、2019/7/11 09:18:49に実行されたクリック操作５を示す。

そして、可視化部１３は、表示加工部１２が生成した操作オブジェクトを基に、入力操作１、クリック操作２、入力操作３，４、クリック操作５をそれぞれ示すプロット５１１ａ～５１１ｅを生成する。可視化部１３は、各プロット５１１ａ～５１１ｅを、それぞれの発生時刻に対応させて、矩形５１１上に重畳して描画する。この結果、タイムラインには、操作の実行を示すプロットが表示される。なお、表示制御装置１０は、プロットの形状や色によって、操作種別や操作対象等を区別してもよい。また、プロット表示は、ＧＵＩ操作等により、表示または非表示を切り替えられる。プロット表示は、一括して表示または非表示を切り替えることもでき、ユーザ或いは操作内容等ごとに表示または非表示を切り替えることもできる。

続いて、表示制御装置１０は、分析者によるユーザ入力装置２０の操作によって、タイムライン上でのマウスオーバ、クリック操作等が実行されると、該当部分の操作履歴画像を、要約情報として表示する。図４に示すように、カーソル２１０によって矩形５１１が選択され、クリック操作が行われた場合を例に説明する。

この場合、表示制御装置１０は、図５に示すように、この矩形５１１で示す期間にオーダー詳細ウィンドウにおいて行われた操作の履歴を示す操作履歴画像５２１を生成し、矩形５１１の近傍の領域に紐づけて表示する。操作履歴画像５２１の表示領域は、選択された矩形の近傍の領域であって予め指定された領域である。

この場合、表示制御装置１０は、操作ログから、選択された矩形５１１部分の期間に操作されたウィンドウ画面のキャプチャ画像と、操作履歴とを取得し、取得したキャプチャ画像上に、選択された矩形５１１に対応する時間における操作履歴を重ねた操作履歴画像を生成し、表示する。図５の例では、表示制御装置１０は、操作対象をノードで示し、滞留時間をノードの大きさで示し、操作順をリンクで示した有向グラフを重ねたキャプチャ画像（操作履歴画像５２１）を、矩形５１１に関連付けて表示している。

この操作履歴画像５２１は、要約情報生成部１４によって生成される。ここで、要約情報生成部１４による操作履歴画像５２１の生成処理について説明する。

まず、要約情報生成部１４は、タイムライン上の矩形の選択入力を受け取ると、選択された矩形の開始時刻、終了時刻及び階層を特定し、操作オブジェクトから当該範囲に含まれる操作列を特定する。要約情報生成部１４は、特定した操作列に含まれる操作対象ウィンドウ数を特定する。要約情報生成部１４は、該操作列のうち、ウィンドウ情報が異なる操作は、操作対象ウィンドウが異なるとみなす。そして、要約情報生成部１４は、ウィンドウ情報が共通する操作について、例えば、キャプチャ画像のクラスタリングにより、異なるクラスタに含まれる画像は操作対象ウィンドウが異なるとみなす。

続いて、要約情報生成部１４は、各操作対象ウィンドウについて、同一の操作対象に対する操作にかかった時間、操作回数等を集計する。要約情報生成部１４は、各操作対象ウィンドウに対応するキャプチャ画像に対し、同一の操作対象をノードで示し、操作順をリンクで示した有向グラフを重畳表示した操作履歴画像を生成する。

図６は、操作履歴画像の一例を示す図である。図６の操作履歴画像５２０に示すように、各操作を示すノードＮａ～Ｎｅは、キャプチャ画像に対し、この操作が実際に行われた操作位置に重畳表示される。リンクＥ１～Ｅ４の矢印の向きは、操作順を示す。

例えば、要約情報生成部１４は、滞留時間をノードの大きさにより区別し、操作順をリンクで表示することにより、操作順に加え、時間のかかった操作等を視覚的に表現することができる。要約情報生成部１４は、操作回数をノードの色相や明度等により区別して表示して、時間のかかった操作等を視覚的に表現してもよい。

なお、要約情報生成部１４は、次の操作時間から、一つ前の操作時間を減ずることによって滞留時間を算出する。また、要約情報生成部１４は、図２に示す操作ログのうち、操作時間～キャプチャ画像の情報を用いて操作履歴画像５２０を生成する。要約情報生成部１４は、ノードの色等で操作種別や値の種類等を表現する場合には、操作種別及び操作ログの値を使用する。

図７は、操作ログのデータ構成の他の例を示す図である。図８は、操作履歴画像の他の例を示す図である。図７の操作ログの場合、開始時間と終了時間によって操作時間を定義している。開始時間は、操作対象にフォーカスした時間である。終了時間は、操作対象からフォーカスが外れた時間である。要約情報生成部１４は、図７に示す操作ログのうち、開始時間～操作種別の情報を用いて操作履歴画像５２１´（図８参照）を生成する。なお、要約情報生成部１４は、ノードの形状色等で値の種類等を表現する場合には、操作ログの値を使用する。

操作履歴画像５２１´は、操作をノードＮａ´～Ｎｅ´で示し、滞留時間をノードＮａ´～Ｎｅ´の大きさで示し、操作種別をノードＮａ´～Ｎｅ´の色で示し、操作順をリンクＥ１´～Ｅ４´で示し、遷移時間をリンクＥ１´～Ｅ４´の太さで示した有向グラフを、キャプチャ画像に重ねている。このように、要約情報生成部１４は、滞留時間をノードの大きさにより区別し、操作種別をノードの色相や明度等により区別して表示し、遷移時間をリンクの太さで表示することにより、時間のかかった操作や、遷移に時間がかかった操作等を視覚的に表現することができる。

なお、要約情報生成部１４は、終了時間から開始時間を減ずることによって滞留時間を算出する。また、要約情報生成部１４は、次の操作の開始時間から、一つ前の操作の終了時間を減ずることによって、遷移時間を算出する。

図９は、画面出力部３０に表示されるタイムラインの他の例を示す図である。図３～図５の例では、タイムラインの表示結果が階層構造になっているが、これに限らない。表示制御装置１０は、図９のタイムライン５３０に示すように、端末情報、ログインユーザ情報、アプリケーション情報、ウィンドウ情報のうち、設定されたいずれかの項目（階層）を表示したタイムライン上でも同様に、プロットの表示と操作履歴画像５２１とを表示することも可能である。この場合、表示制御装置１０は、表示設定情報１２１から、階層構造を示す情報を省略できる。

なお、図４～５および図９の例では、単一の矩形に対する選択操作を例に挙げているが、複数の矩形を含むように範囲選択してもよい。図１０は、画面出力部に表示される操作履歴画像の他の例を示す図である。その場合、図１０に示すように、選択範囲に含まれる複数の操作対象ウィンドウに対応する各キャプチャ画像５２１ａ～５２１ｄ上に、操作履歴をノード及びリンクで重ねた操作履歴画像を生成する。また、矩形の一部を含むように範囲選択してもよい。

［表示制御処理の処理手順］
次に、図１１を参照して、表示制御装置１０が実行する表示制御処理の処理手順について説明する。図１１は、実施の形態に係る表示制御処理の処理手順を示すフローチャートである。

図１１に示すように、表示制御装置１０は、表示対象となる操作ログを読み込む（ステップＳ１）。

そして、表示加工部１２は、表示設定情報１２１にしたがって、タイムラインを構成する行オブジェクトを生成するとともに、操作オブジェクトを生成する表示加工処理を行う（ステップＳ２）。可視化部１３は、表示加工部１２は、表示加工部１２が生成した行オブジェクト及び操作オブジェクトを基に描画し、タイムラインを画面表示する可視化処理を行う（ステップＳ３）。

要約情報生成部１４は、要約情報の表示指示が有るか否かを判定する（ステップＳ４）。要約情報生成部１４は、画面表示された行オブジェクトを表現するいずれかの矩形が選択された場合に、この矩形が示す期間の操作履歴情報を、要約情報として生成することを指示されたと判定する。要約情報の表示指示がない場合（ステップＳ４：Ｎｏ）、表示制御装置は、要約情報を生成せず、タイムラインの表示を継続する。

要約情報の表示指示があった場合（ステップＳ４：Ｙｅｓ）、要約情報生成部１４は、選択された部分に対応する操作オブジェクトをグループ化した要約情報を生成する要約情報生成処理を行う（ステップＳ５）。ステップＳ６において、要約情報生成部１４は、選択された矩形が示す期間に、表示されたウィンドウにおいて行われた操作の履歴を示す操作履歴画像を、要約情報として生成する。可視化部１３は、表示されているタイムライン上の指定された領域に要約情報を重畳表示する要約情報可視化処理を行う（ステップＳ６）。ステップＳ６において、可視化部１３は、選択された矩形の近傍の領域に、操作履歴画像を紐づけて表示する。

［実施の形態の効果］
このように、実施の形態に係る表示制御装置１０は、タイムライン上で分析者が着目する階層上に、他の階層の要約情報を重畳あるいは関連付けて表示する。具体的には、表示制御装置１０は、所定の範囲に含まれる操作履歴を、キャプチャ画像をベースとした操作履歴画像として、例えばアプリケーション或いはウィンドウ単位で表示したタイムラインと関連付けて表示する。或いは、表示制御装置１０は、操作単位の情報（発生時刻、操作対象、操作種別、値、キャプチャ画像等）を基に、タイムライン上に操作の発生時刻をプロットする。

この結果、分析者は、タイムライン上で分析者が着目する階層を表示しながら他の階層の要約情報を把握できるため、掘り下げて分析すべき箇所を絞り込むことが容易になる。このため、表示制御装置１０によれば、分析者による階層の展開操作、縮約操作、個々の画像の確認等の煩雑な作業を減らし、業務分析の効率を向上することができる。したがって、表示制御装置１０を用いることによって、分析者は、端末の操作ログを基に、業務実態を効率的に分析することができる。

［実施の形態のシステム構成について］
図１に示した表示制御装置１０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、表示制御装置１０の機能の分散及び統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。

また、表示制御装置１０においておこなわれる各処理は、全部または任意の一部が、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及び、ＣＰＵ、ＧＰＵにより解析実行されるプログラムにて実現されてもよい。また、表示制御装置１０においておこなわれる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。

また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。

［プログラム］
図１２は、プログラムが実行されることにより、表示制御装置１０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、表示制御装置１０の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、表示制御装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

１０ 表示制御装置
１１ 表示状態管理部
１２ 表示加工部
１３ 可視化部
１４ 要約情報生成部
２０ ユーザ入力部
３０ 画面出力部
１１１ 表示状態情報
１２１ 表示設定情報

Claims (5)

1. 操作ログを読み込み、第１の操作単位の所定の可視化表現で可視化された操作情報を示す第１のオブジェクトと、前記第１の操作単位と粒度が異なる第２の操作単位の操作情報を示す第２のオブジェクトと、を生成する生成部と、
   前記第１のオブジェクトを基に描画を行い、画面表示を行う可視化部と、
   画面表示された前記第１のオブジェクトのいずれかの部分が選択された場合、選択された部分に対応する前記第２のオブジェクトをグループ化した要約情報を生成する要約情報生成部と、
   を有し、
   前記可視化部は、指定された領域に前記要約情報を重畳または関連付けて表示し、
   前記要約情報生成部は、前記操作ログに含まれるウィンドウ情報に基づいて前記選択された部分に対応する第２のオブジェクトをグループ化し、グループ化した前記第２のオブジェクトのうち操作対象が同じオブジェクトに対応する時間の集計結果と、操作順とを示す操作履歴画像を要約情報として生成することを特徴とする表示制御装置。
2. 前記第１のオブジェクトは、タイムラインを構成する行オブジェクトであることを特徴とする請求項１に記載の表示制御装置。
3. 前記要約情報生成部は、前記グループ化した前記第２のオブジェクトのうち操作対象が同じオブジェクトの集計結果をノードで示し、操作順を前記ノード間のリンクで示した有向グラフを、操作が行われたウィンドウ画面を示すキャプチャ画像上に重畳表示した操作履歴画像を要約情報として生成することを特徴とする請求項１または２に記載の表示制御装置。
4. 前記可視化部は、前記第２のオブジェクトを前記第１のオブジェクト上に重畳または関連付けて表示する
   ことを特徴とする請求項１～３のいずれか一つに記載の表示制御装置。
5. 表示制御装置が実行する表示制御方法であって、
   操作ログファイルを読み込み、第１の操作単位の所定の可視化表現で可視化された操作情報を示す第１のオブジェクトと、前記第１の操作単位と粒度が異なる第２の操作単位の操作情報を示す第２のオブジェクトと、を生成する工程と、
   前記第１のオブジェクトを基に描画を行い、画面表示を行う工程と、
   画面表示された前記第１のオブジェクトのいずれかの部分が選択された場合、選択された部分に対応する前記第２のオブジェクトをグループ化した要約情報を生成する工程と、
   指定された範囲に前記要約情報を重畳または関連付けて表示する工程と、
   を含み、
   前記生成する工程は、前記操作ログに含まれるウィンドウ情報に基づいて前記選択された部分に対応する第２のオブジェクトをグループ化し、グループ化した前記第２のオブジェクトのうち操作対象が同じオブジェクトに対応する時間の集計結果と、操作順とを示す操作履歴画像を要約情報として生成することを特徴とする表示制御方法。

Images