JP7314997B2 - タイムライン表示装置、タイムライン表示方法およびタイムライン表示プログラム - Google Patents

Description

本発明は、タイムライン表示装置、タイムライン表示方法およびタイムライン表示プログラムに関する。

従来、ウィンドウを基本としたＧＵＩ（Graphical User Interface）をもつＰＣは、様々な業務分野において不可欠な存在であり、このＰＣを使った作業の効率改善は大きな効果をもたらす。ＰＣの作業効率の改善には、まず、ＰＣ上の作業履歴を記録・分析し、問題点を明らかにすることが有効である。

その際の分析手法として、例えば、タイムライン形式で可視化する手法がある（非特許文献１参照）。タイムライン形式の表示（以下、タイムライン表示と記す）とは、ｘ軸（またはｙ軸）方向を時間軸とし、ｙ軸（またはｘ軸）方向に、横長の矩形で表現した操作履歴要素を表示する方法である。タイムライン表示では、各要素の継続時間や前後関係・共起関係をわかりやすく表示することができる。そのため、タイムライン表示は、ウィンドウの利用状況を直観的に把握する定性的な評価には適している。

八木佐也香、他３名、「業務実態把握を目的とした複数ウィンドウ併用状況の可視化手法の検討」、信学技報、2018年11月、vol.118、no.303、ICM2018-29、pp.27-32

しかしながら、従来の技術では、ウィンドウの利用状況を定量的に分析することが困難であった。例えば、タイムライン表示は図形による表現のため、特定パターンが発生している時間の長さを測ったり、特定パターンが発生した回数を数えたりする等の定量的な評価には適していない。定量的な評価のために、タイムライン表示を利用せず、例えば、操作履歴ログを直接加工して所要時間や回数を集計することも可能である。しかし、「開始時間」、「終了時刻」、およびウィンドウ固有の情報等の文字情報の集合である操作履歴ログを、タイムライン表示の助けを借りずに加工することは容易ではない。

本発明は、上記に鑑みてなされたものであって、発見された定性的な特徴を用いて、ウィンドウの利用状況の定量的な評価を容易に可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係るタイムライン表示装置は、操作の開始時刻および終了時刻を含み、該操作を表す図形を時間軸に沿って表示するためのイベントデータを記憶する記憶部と、表示された前記図形の出現パターンを指定する検索条件を取得する検索条件取得部と、取得された前記検索条件に合致する前記イベントデータを検索する検索部と、を備えることを特徴とする。

本発明によれば、発見された定性的な特徴を用いて、ウィンドウの利用状況の定量的な評価が容易に可能となる。

図１は、本実施形態のタイムライン表示装置の概略構成を例示する模式図である。 図２は、イベントデータのデータ構成を例示する図である。 図３は、ウィンドウ特定情報のデータ構成を例示する図である。 図４は、検索条件取得部の処理を説明するための図である。 図５は、検索結果の画面表示例を示す図である。 図６は、タイムライン表示処理手順を示すフローチャートである。 図７は、順序モードの検索処理手順を説明するための図である。 図８は、順序モードの検索処理を説明するための図である。 図９は、順序モードの検索処理を説明するための図である。 図１０は、割合モードの検索処理手順を説明するための図である。 図１１は、割合モードの検索処理を説明するための図である。 図１２は、存在モードの検索処理手順を説明するための図である。 図１３は、存在モードの検索処理を説明するための図である。 図１４は、タイムライン表示プログラムを実行するコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［タイムライン表示装置の構成］
図１は、本実施形態のタイムライン表示装置の概略構成を例示する模式図である。図１に例示するように、本実施形態のタイムライン表示装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述するタイムライン表示処理の結果が表示される。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、等に関する各種情報を管理する管理装置等と制御部１５との通信を制御する。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、タイムライン表示装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

本実施形態において、記憶部１４は、イベントデータ１４ａ、検索条件１４ｂ等を記憶する。これらの情報は、後述するタイムライン表示処理に先立って、記憶部１４に記憶される。なお、これらの情報は、記憶部１４に記憶される場合に限定されず、例えば、後述するタイムライン表示処理が実行される際に取得されてもよい。その場合には、例えば、後述する情報取得部１５ａが、表示加工部１５ｂおよび検索部１５ｄの処理に先立って、操作履歴ログを取得してイベントデータ１４ａを生成してもよい。また、検索条件取得部１５ｃが、検索部１５ｄの処理に先立って、入力部１１あるいは通信制御部１３を介して検索条件１４ｂを取得してもよい。

イベントデータ１４ａは、操作の開始時刻および終了時刻を含み、該操作を表す図形を時間軸に沿って表示するためのデータである。例えば、イベントデータ１４ａは、操作履歴ログのタイムライン表示を行うためのデータである。イベントデータ１４ａは、後述する情報取得部１５ａにより、ユーザが操作する情報端末や情報端末の操作履歴ログを管理する管理装置等から取得された操作履歴ログを用いて生成される。そして、後述する表示加工部１５ｂがイベントデータ１４ａを加工して、出力部１２が操作を表す図形を時間軸に沿ってタイムライン表示する。

図２は、イベントデータのデータ構成を例示する図である。図２に例示するように、イベントデータ１４ａの各行は、「開始時刻」「終了時刻」「ウィンドウハンドル」「ウィンドウタイトル」「ｅｘｅ名」「ＵＲＬ／パス名」「ウィンドウ状態」「ウィンドウ露出レベル」等の情報を含む。なお、イベントデータには、画面上に表示されているウィンドウの情報のみが含まれており、最小化されているウィンドウの情報は含まれていない。

ここで、「開始時刻」「終了時刻」により、タイムライン表示において操作を表す図形の時間軸上の大きさが特定される。また、「ウィンドウタイトル」「ｅｘｅ名」「ＵＲＬ／パス名」により、操作対象のウィンドウが特定される。

「ウィンドウ状態」は、ウィンドウがＡｃｔｉｖｅ状態かＩｎａｃｔｉｖｅ状態かを表す。ここで、Ａｃｔｉｖｅ状態とは、ウィンドウを基本としたＧＵＩを持つＰＣ上で、マウスやキーボード等の入力操作を受け付けるウィンドウの状態を意味する。Ｉｎａｃｔｉｖｅ状態とは、Ａｃｔｉｖｅ状態ではないウィンドウの状態を意味する。

「ウィンドウハンドル」は、画面上のウィンドウやオブジェクトを識別するための数値であり、ウィンドウが生成される度に変化する。また、「ウィンドウ露出レベル」は、複数のウィンドウが重なっている部分や画面から外れた部分を除いたウィンドウの露出部分が画面上に占める割合を表す。

図１の説明に戻る。検索条件１４ｂは、後述する検索部１５ｄの処理対象を特定するための条件であり、後述する検索条件取得部１５ｃにより、入力部１１あるいは通信制御部１３を介して取得される。検索条件１４ｄは、表示された操作を表す図形の出現パターンを指定する情報を含む。具体的には、検索条件１４ｂは、表示状態、検索モード、ウィンドウ特定情報、時間適合率、および許容インターバルを含む。

表示状態は、後述する検索部１５ｄの処理対象を、Ａｃｔｉｖｅ状態のウィンドウのみとするか、Ｉｎａｃｔｉｖｅ状態のウィンドウを含めるかを指定する情報である。

ここで、ＰＣ上で同時に複数のウィンドウが表示されている場合において、Ａｃｔｉｖｅ状態のウィンドウは、同時に１つのみ存在する。ユーザは、Ｉｎａｃｔｉｖｅ状態のウィンドウをＡｃｔｉｖｅ状態に切り替えながらＰＣ操作を行う。

表示状態がＹｅｓの場合には、Ａｃｔｉｖｅ状態のウィンドウのみを検索対象とし、表示状態がＮｏの場合には、Ａｃｔｉｖｅ状態とＩｎａｃｔｉｖｅ状態との双方の状態のウィンドウを検索対象とする。

検索モードは、後述する検索部１５ｄの処理方式を指定する情報であり、順序モード、割合モード、存在モードが定義されている。順序モードは、操作を表す図形の出現する順序に応じて検索を行う処理方式である。割合モードは、図形の出現時間の割合に応じて検索を行う処理方式である。存在モードは、同時刻に出現している複数の図形に応じて検索を行う処理方式である。

なお、表示状態がＹｅｓ、すなわちＡｃｔｉｖｅ状態のウィンドウのみを検索対象とする場合には、順序モード、割合モードのいずれかが選択され得る。また、表示状態がＮｏ、すなわちＩｎａｃｔｉｖｅ状態のウィンドウを検索対象に含む場合には、存在モードが選択され得る。

ウィンドウ特定情報は、タイムライン表示されているウィンドウのうち、検索対象のウィンドウを特定する情報である。ここで、図３は、ウィンドウ特定情報のデータ構成を例示する図である。図３に例示するように、ウィンドウ特定情報の各行は、「通番」「出現時間」「ウィンドウハンドル」「ウィンドウタイトル」「ｅｘｅ名」「ＵＲＬ／パス名」の情報を含む。

ここで、「通番」は、各行のウィンドウの出現順序を表す項目であり、検索モードが順序モードの場合にのみ指定される。「出現時間」は、当該行のウィンドウの表示が継続した時間を示す項目であり、検索モードが順序モード、または割合モードの場合に指定される。

「ウィンドウハンドル」「ウィンドウタイトル」「ｅｘｅ名」「ＵＲＬ／パス名」の各値が指定されていない場合には、後述する検索部１５ｄの処理において、イベントデータ１４ａの任意の値にマッチするものとされる。また、指定されている値については、部分一致によるマッチングが行われる。

なお、画面上のウィンドウやオブジェクトを識別するための「ウィンドウハンドル」等のようにウィンドウが生成される度に変化する値は検索条件として有用性が低いため、ウィンドウ特定情報に含まれなくてもよい。

図３に例示するウィンドウ特定情報では、順序モードによる検索の対象とするウィンドウの出現パターンが指定されている。つまり、まず、ｅｘｅ名が「iexplore.exe」の文字列を含み、ウィンドウタイトルが「オーダ一覧」の文字列を含むウィンドウが２２７秒表示されることが指定されている。次に、ｅｘｅ名が「iexplore.exe」の文字列を含み、ウィンドウタイトルが「オーダ詳細」の文字列を含むウィンドウが１７８秒表示されることが指定されている。次に、ｅｘｅ名が「EXCEL.EXE」の文字列を含み、ウィンドウタイトルが「特殊オーダリスト.xlsx」の文字列を含むウィンドウが１５６秒表示されることが指定されている。

図１の説明に戻る。時間適合率は、イベントデータ１４ａとの間で操作を表す図形の出現時間が合致すると判定する範囲を指定する時間適合情報である。時間適合率により、出現時間がどの程度厳密に考慮されるかが決まる。例えば、図３に示した例において、通番「１」のウィンドウ特定情報で出現時間が２２７秒のウィンドウが指定されているが、出現時間が厳密に２２７秒であるイベントデータを検索してもほとんど意味がないため、時間適合率で所定の幅を持たせて検索を行う。

例えば、時間適合率１．０の場合には、厳密に出現時間が一致するイベントデータ１４ａのみが検索される。一方、時間適合率０．０の場合には、出現時間が検索条件として考慮されない。時間適合率が１．０および０．０を除いた中間の値の場合には、下限を［出現時間］×［時間適合率］、上限を［出現時間］÷［時間適合率］とした時間範囲（適合時間範囲）で適合するイベントデータ１４ａが検索される。例えば、時間適合率０．５の場合には、出現時間２２７秒に対して、１１３．５秒～４５４秒の範囲でイベントデータ１４ａが検索される。

なお、時間適合率と適合時間範囲との関係は、上記に限定されない。例えば、所定の関数を用いて関係が定義されてもよい。また、上限と下限とに対して、異なる時間適合率が適用されてもよい。また、時間適合率の代わりに適合時間が指定されてもよい。時間適合率はパーセント表示でユーザに提示されてもよい。

許容インターバルは、操作を表す複数の図形が切り替わる際に許容される時間間隔の範囲を指定する間隔情報である。許容インターバルは、検索モードが順序モードまたは割合モードの場合に有効である。

例えば、ユーザがウィンドウＡからウィンドウＢに切り替える際に、作業上の意味が特になくてもウィンドウＣを経由したり、一旦全ウィンドウを閉じたりして、ウィンドウＡから直接ウィンドウＢに切り替わらない場合がある。そこで、ウィンドウの切り替えの時間間隔（インターバル時間）に幅（許容範囲）を持たせている。許容インターバルとはこの許容範囲のことである。

例えば、許容インターバルが５秒としてウィンドウＡからウィンドウＢへの切り替えのパターンを検索する場合には、ウィンドウＡからウィンドウＢへの切り替えが５秒以内に行われていれば、ウィンドウＡからウィンドウＢに切り替わった、と判定される。

なお、３つ以上のウィンドウの切り替えを検索する場合に指定される２つ以上の許容インターバルは、同一の値でもよいし、それぞれが異なる値でもよい。許容インターバルは上記のように秒単位で表されてもよいし、検索するウィンドウの表示時間に対する割合で表されてもよい。例えば、ウィンドウＡからウィンドウＢへの切り替えの許容インターバル０．１のように定義できる。この場合には、ウィンドウＡが４０秒表示された後、ウィンドウＢが２０秒表示された際、表示時間６０秒に対する割合０．１以内、すなわち６秒以内に表示されれば、ウィンドウＡからウィンドウＢに切り替わったと判定される。

制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図１に例示するように、情報取得部１５ａ、表示加工部１５ｂ、検索条件取得部１５ｃ、および検索部１５ｄとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。

情報取得部１５ａは、ユーザが操作する情報端末や情報端末の操作履歴ログを管理する管理装置等から、入力部１１あるいは通信制御部１３を介して操作履歴ログを取得し、取得した操作履歴ログを用いてイベントデータ１４ａを生成し、記憶部１４に記憶させる。なお、上記したように、情報取得部１５ａは、生成したイベントデータ１４ａを記憶部１４に記憶させずに、表示加工部１５ｂおよび検索部１５ｄに転送してもよい。

表示加工部１５ｂは、出力部１２が操作を表す図形を時間軸に沿って表示するように、イベントデータ１４ａを加工する。具体的には、表示加工部１５ｂは、操作を表す矩形等の図形、並び順、色、グルーピング等のタイムライン表示での表示状態を指定する所定の表示設定情報を用いてイベントデータ１４ａを加工して、出力部１２に出力する。出力部１２は、加工されたイベントデータ１４ａのタイムライン表示を描画する。なお、表示設定情報は、入力部１１あるいは通信制御部１３を介してタイムライン表示装置１０に入力される。

検索条件取得部１５ｃは、表示された操作を表す図形の出現パターンを指定する検索条件１４ｂを取得する。検索条件取得部１５ｃは、入力部１１あるいは通信制御部１３を介して検索条件１４ｂの入力を受け付けて、記憶部１４に記憶させる。なお、上記のとおり、検索条件取得部１５ｃは、取得した検索条件１４ｂを記憶部１４に記憶させずに、検索部１５ｄに転送してもよい。

検索条件取得部１５ｃは、ユーザとの間でインタラクティブに検索条件１４ｂの入力を受け付けてもよい。これにより、ユーザが容易に検索条件１４ｂを入力することが可能となる。

例えば、図４は、検索条件取得部の処理を説明するための図である。図４に例示したように、検索条件取得部１５ｃは、ウィンドウ特定情報の入力をユーザとの間でインタラクティブに受け付けてもよい。図４に示す例では、太破線で囲んで示すように、ユーザがマウス等でタイムライン上の矩形を選択することにより、ウィンドウ特定情報に設定するウィンドウの情報が指定されている。このように、検索条件取得部１５ｃは、タイムライン表示上のユーザ操作を受け付けて、ウィンドウ特定情報の自動入力を行う。

あるいは、検索条件取得部１５ｃは、検索条件指定の負担を軽減するため、特定の検索目的に特化したウィザード機能を用いて対話形式で検索条件１４ｂの入力を受け付けてもよい。例えば、検索条件取得部１５ｃは、「特定のウィンドウの遷移」を検索目的として検索条件１４ｂへの入力を受け付けるウィザードを用意する。このウィザードでは、検索条件取得部１５ｃは、タイムライン表示上で、検索したい遷移順にＡｃｔｉｖｅ状態のウィンドウを選択させることにより、ウィンドウ特定情報を設定し、検索条件１４ｂの他の条件は固定とする。例えば、検索条件取得部１５ｃは、表示状態はＹｅｓ（Ａｃｔｉｖｅのみ）、検索モードは順序モード、時間適合率は０．０、許容インターバルは５秒というように設定する。これにより、Ａｃｔｉｖｅ状態のウィンドウの遷移している時間範囲を検索するための検索条件１４ｂが設定される。

また、検索条件取得部１５ｃは、「特定のウィンドウの利用割合」を検索目的として検索条件１４ｂへの入力を受け付けるウィザードを用意する。このウィザードでは、検索条件取得部１５ｃは、タイムライン表示上で、検索したいＡｃｔｉｖｅ状態のウィンドウを選択させることにより、ウィンドウ特定情報を設定し、検索条件１４ｂの他の条件は固定とする。例えば、検索条件取得部１５ｃは、表示状態はＹｅｓ、検索モードは割合モード、時間適合率は０．５、許容インターバルは５秒というように設定する。これにより、Ａｃｔｉｖｅ状態のウィンドウが所定の割合で利用されている時間範囲を検索するための検索条件１４ｂが設定される。

また、検索条件取得部１５ｃは、「ウィンドウが頻繁に切り替わる期間」を検索目的として検索条件１４ｂへの入力を受け付けるウィザードを用意する。このウィザードでは、検索条件取得部１５ｃは、切り替わるウィンドウの回数を入力させることにより、入力された回数に等しい行数のウィンドウ特定情報を設定する。その際、検索条件取得部１５ｃは、「ウィンドウハンドル」「ウィンドウタイトル」「ｅｘｅ名」「ＵＲＬ／パス名」は指定せず、あらゆるウィンドウにマッチングするように設定する。また、検索条件取得部１５ｃは、ウィンドウを使ったと見なすためのＡｃｔｉｖｅ状態での所定の秒数に応じて、適切な出現時間（例えば３０秒）を「出現時間」に設定する。また、検索条件取得部１５ｃは、検索条件１４ｂの他の条件は固定とする。例えば、検索条件取得部１５ｃは、表示状態はＹｅｓ、検索モードは順序モード、時間適合率は０．５、許容インターバルは５秒というように設定する。これにより、頻繁にウィンドウが切り替わる時間範囲を検索するための検索条件１４ｂが設定される。

図１の説明に戻る。検索部１５ｄは、取得された検索条件１４ｂに合致するイベントデータ１４ａを検索する。具体的には、検索部１５ｄは、イベントデータ１４ａとウィンドウ特定情報とを比較して、検索条件１４ｂで指定されたウィンドウの出現パターンと合致する時間範囲（合致時間範囲）を特定する。

その際に、検索部１５ｄは、イベントデータ１４ａのうち、ウィンドウ特定情報で指定されている列との部分一致条件による検索を行う。なお、検索部１５ｄは、部分一致条件による検索に限定されず、より高度な正規表現等で指定される条件による検索を行ってもよい。

検索部１５ｄは、操作を表す図形の出現する順序、図形の出現時間の割合、または同時刻に出現している複数の図形に応じて検索を行う。すなわち、検索部１５ｄは、指定された検索モードに応じて、順序モード、割合モード、または存在モードで検索処理を実行する。各検索モードでの詳細な手順の実施例については後述する。

検索部１５ｄは、検索結果を出力部１２に出力する。例えば、検索部１５ｄは、特定した合致時間範囲を表示する。ここで、図５は、検索結果の画面表示例を示す図である。検索部１５ｄは、例えば、図５の領域Ａに示すように、検索条件１４ｂに合致したイベントデータ１４ａの合致時間範囲を、タイムライン表示上に重ねて表示する。加えて、合致時間範囲の情報をツールチップなどで文字情報としても表示できるようにする。これにより、ユーザがタイムライン表示で着目したウィンドウ表示パターンの時間や回数等、ウィンドウの利用状況の定量的な評価を容易に行うことが可能となる。

［タイムライン表示処理］
次に、図６を参照して、本実施形態に係るタイムライン表示装置１０によるタイムライン表示処理について説明する。図６は、タイムライン表示処理手順を示すフローチャートである。図６のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。

まず、検索部１５ｄは、イベントデータ１４ａと検索条件１４ｂとを取得する（ステップＳ１～Ｓ２）。そして、検索部１５ｄは、検索条件１４ｂを参照し、検索対象の表示状態がＡｃｔｉｖｅ状態のウィンドウのみかＩｎａｃｔｉｖｅ状態のウィンドウを含むかを確認する（ステップＳ３）。

検索対象の表示状態がＡｃｔｉｖｅ状態のウィンドウのみの場合には（ステップＳ３、Ｙｅｓ）、検索部１５ｄは、イベントデータ１４ａのうち、Ａｃｔｉｖｅ状態のウィンドウの行のみを残す（ステップＳ４）。また、検索部１５ｄは、イベントデータ１４ａのうち、検索条件１４ｂのウィンドウ特定情報の各行で指定されているウィンドウと合致する行のみを残す（ステップＳ５）。

そして、検索部１５ｄは、検索条件１４ｂの検索モードを確認し（ステップＳ６）、ステップＳ５で抽出された処理対象のイベントデータ１４ａに対し、指定されている検索モードで検索を行う。つまり、検索モードが順序モードの場合には、検索部１５ｄは、順序モードの検索を行う（ステップＳ７）。また、検索モードが割合モードの場合には、検索部１５ｄは、割合モードの検索を行う（ステップＳ８）。

一方、ステップＳ３の処理において、検索対象の表示状態がＩｎａｃｔｉｖｅ状態のウィンドウを含む場合には（ステップＳ３、Ｎｏ）、検索部１５ｄは、上記のステップＳ４の処理を行わずにステップＳ５に処理を進める。その後、検索部１５ｄは、検索モードが存在もードであることを確認し、ステップＳ５で抽出された処理対象のイベントデータ１４ａに対し、存在モードの検索を行う（ステップＳ９）。

検索部１５ｄは、各モードの検索を行った後、検索結果を出力部１２に表示出力する（ステップＳ１０）。これにより、一連のタイムライン表示処理が終了する。

［実施例］
次に、図７～図１３を参照して、検索処理の実施例について説明する。まず、図７～図９は、順序モードの検索処理を説明するための図である。図７は、順序モードの検索処理（図６のステップＳ７）の詳細な処理手順を例示している。図８は、順序モードの検索処理で生成されるウィンドウ出現状況配列のデータ構成を例示している。図９は、検索処理で生成される合致時間範囲のデータ構成を例示している。

検索部１５ｄは、処理対象のイベントデータ１４ａを、時刻情報が古いものから新しいものの順にソートする（ステップＳ１０１）。また、検索部１５ｄは、ウィンドウ特定情報の行数Ｋに対応して、図８に例示するように、配列の長さＫのウィンドウ出現状況配列のデータ構造を生成する（ステップＳ１０２）。

次に、検索部１５ｄは、Ｎ行のイベントデータ１４ａの各行ｎ（ｎ＝１～Ｎ）のデータに対し、ステップＳ１０３～Ｓ１１８の処理を繰り返す。まず、検索部１５ｄは、ウィンドウ出現状況配列の初期化を行い、初期値として「合致行なし」を意味する「－１」を設定する（ステップＳ１０４）。また、検索部１５ｄは、後述する変数ｉを初期値０として初期化する（ステップＳ１０５）。そして、検索部１５ｄは、Ｋ行のウィンドウ特定情報の各行ｋ（ｋ＝１～Ｋ）の情報に対し、ステップＳ１０６～Ｓ１１４の処理を繰り返す。

まず、検索部１５ｄは、イベントデータ１４ａに（ｎ＋ｋ＋ｉ－１）行目が存在し（ステップＳ１０７、Ｙｅｓ）、かつ変数ｋ＝１ではない場合には（ステップＳ１０８、Ｎｏ）、ウィンドウ出現状況配列のｋ－１番目に記録されているデータを確認する。そして、検索部１５ｄは、イベントデータ１４ａの（ｎ＋ｋ＋ｉ－１）行目のデータの開始時刻と、ウィンドウ出現状況配列のｋ－１番目に記録されているデータの終了時刻との時間差を計算する（ステップＳ１０９）。検索部１５ｄは、計算した時間差が検索条件１４ｂの許容インターバルの範囲内である場合には（ステップＳ１１０、Ｙｅｓ）、ステップＳ１１１に処理を進め、範囲内ではない場合には（ステップＳ１１０、Ｎｏ）、ステップＳ１１８に処理を進める。

なお、検索部１５ｄは、変数ｋ＝１の場合には（ステップＳ１０８、Ｙｅｓ）、ステップＳ１１１に処理を進める。また、検索部１５ｄは、イベントデータ１４ａに（ｎ＋ｋ＋ｉ－１）行目が存在しない場合（ステップＳ１０７、Ｎｏ）には、ステップＳ１１８に処理を進める。

ステップＳ１１１の処理では、検索部１５ｄは、イベントデータ１４ａの（ｎ＋ｋ＋ｉ－１）行目のデータと、ウィンドウ特定情報のｋ行目の情報とがマッチするか否かをチェックする。その際に、検索部１５ｄは、検索条件１４ｂの時間適合率も考慮する。

マッチした場合には（ステップＳ１１２、Ｙｅｓ）、検索部１５ｄは、ウィンドウ出現状況配列のｋ番目に、マッチしたイベントデータ１４ａの行番号（ｎ＋ｋ＋ｉ－１）を記録して（ステップＳ１１３）、ウィンドウ特定情報のｋ行目の情報に対する処理を終了する（ステップＳ１１４→Ｓ１０６）。検索部１５ｄは、ウィンドウ特定情報の全行に対する処理を終了した場合に、ステップＳ１１７に処理を進める。

また、マッチしなかった場合には（ステップＳ１１２、Ｎｏ）、検索部１５ｄは、変数ｋ＝１ではない場合には変数ｉに１を加算して（ステップＳ１１５、Ｎｏ→Ｓ１１６）、ステップＳ１０７に処理を戻す。また、検索部１５ｄは、変数ｋ＝１の場合には（ステップＳ１１５、Ｙｅｓ）、ステップＳ１１８に処理を進める。また、検索部１５ｄは、ウィンドウ特定情報の全行に対する処理を終了した場合に、ステップＳ１１７に処理を進める。

ステップＳ１１７の処理では、検索部１５ｄは、ウィンドウ出現状況配列の１番目（最初）に記録されたデータの開始時刻と、Ｋ番目（最後）のデータの終了時刻とを、図９に例示したデータ構造に、合致時間範囲として記録する。

ここで、図９に示すように、合致時間範囲は、入れ子構造の連想配列で表される。配列の数は合致時間範囲の数によって動的に伸長し、各配列に、開始時刻と終了時刻とが記録される。

そして、検索部１５ｄは、イベントデータの全行に対する処理を終了したら（ステップＳ１１８→Ｓ１１９）、記録された複数の合致時間範囲について、隣接する時間範囲や重複する時間範囲を結合して、検索結果とする（ステップＳ１１９）。これにより、一連の順序モードの検索処理が終了する。

なお、上記のステップＳ１１９の処理は、検索で合致した範囲をまとめて表示する場合の処理を例示しているが、検索結果の表示方法はこれに限定されない。例えば、検索で合致した範囲が順次表示されてもよい。例えば、文字列「もももすももももものうち」から「ももも」を検索する場合に、文字列上の合致範囲「ももも」の表示位置を４回変えて表示する。その場合には、検索部１５ｄは、ステップＳ１１９の処理を行わずに、検索結果を出力部１２に順次出力する。

また、図１０および図１１は、割合モードの検索処理を説明するための図である。図１０は、割合モードの検索処理（図６のステップＳ８）の詳細な処理手順を例示している。図１１は、割合モードの検索処理で生成されるウィンドウ合計出現時間配列のデータ構成を例示している。

検索部１５ｄは、処理対象のイベントデータ１４ａを、時刻情報が古いものから新しいものの順にソートする（ステップＳ２０１）。また、検索部１５ｄは、検索条件１４ｂを参照し、適合時間範囲の下限と上限とを算出する（ステップＳ２０２）。例えば、検索部１５ｄは、ウィンドウ特定情報の全行の出現時間の合計に時間適合率を乗算して、下限を算出する。また、検索部１５ｄは、ウィンドウ特定情報の全行の出現時間の合計を時間適合率で除算し、許容インターバルを加算して、上限を算出する。

また、検索部１５ｄは、ウィンドウ特定情報の行数Ｋに対応して、図１１に例示するように、配列の長さＫのウィンドウ合計出現時間配列のデータ構造を生成する（ステップＳ２０３）。

次に、検索部１５ｄは、Ｎ行のイベントデータ１４ａの各行ｎ（ｎ＝１～Ｎ）のデータに対し、ステップＳ２０４～Ｓ２２０の処理を繰り返す。まず、検索部１５ｄは、ウィンドウ合計出現時間配列の初期化を行い、０を設定する（ステップＳ２０５）。また、検索部１５ｄは、変数ｉ（ｉ＝ｎ～Ｎ）について、ステップＳ２０６～Ｓ２１９の処理を繰り返す。

つまり、ステップＳ２０７の処理では、検索部１５ｄは、イベントデータ１４ａのｎ行目のデータの開始時刻からｉ行目の開始時刻の時間差が適合時間範囲の上限以下か否かを確認する。上限以下ではない場合には（ステップＳ２０７、Ｎｏ）、検索部１５ｄは、ステップＳ２２０に処理を進める。

上限以下の場合には（ステップＳ２０７、Ｙｅｓ）、検索部１５ｄは、Ｋ行のウィンドウ特定情報の各行ｋ（ｋ＝１～Ｋ）の情報に対し、ステップＳ２０８～Ｓ２１２の処理を繰り返す。

すなわち、検索部１５ｄは、ウィンドウ特定情報のｋ行目の情報が、イベントデータ１４ａのｉ行目のデータと、出現時間を除いてマッチするか否かをチェックする（ステップＳ２０９）。マッチした場合に（ステップＳ２１０、Ｙｅｓ）、検索部１５ｄは、ウィンドウ合計出現時間配列のｋ番目に、イベントデータ１４ａのｉ行目のデータの出現時間（終了時刻－開始時刻）を加算して、合計出現時間を記録する（ステップＳ２１１）。なお、マッチしなかった場合には（ステップＳ２１０、Ｎｏ）、検索部１５ｄは、ステップＳ２１１の処理を行わずに、ステップＳ２１２に処理を進める。

そして、検索部１５ｄは、ウィンドウ特定情報のｋ行目の情報に対する処理を終了する（ステップＳ２１２→Ｓ２０８）。また、検索部１５ｄは、ウィンドウ特定情報の全行に対する処理を終了した場合に、ステップＳ２１３に処理を進める。

次に、検索部１５ｄは、イベントデータ１４ａのｎ行目のデータの開始時刻からｉ行目の開始時刻の時間差が適合時間範囲の下限以上か否かを確認する。下限以上ではない場合には（ステップＳ２１３、Ｎｏ）、検索部１５ｄは、ステップＳ２１９に処理を進める。

下限以上の場合には（ステップＳ２１３、Ｙｅｓ）、検索部１５ｄは、Ｋ行のウィンドウ特定情報の各行ｋ（ｋ＝１～Ｋ）の情報に対し、ステップＳ２１４～Ｓ２１６の処理を繰り返す。すなわち、検索部１５ｄは、ウィンドウ合計出現時間配列ｋ番目の合計出現時間が、ウィンドウ特定情報のｋ行目の情報の出現時間と合致するか否かをチェックする。その際に、検索部１５ｄは、検索条件１４ｂの時間適合率も考慮する（ステップＳ２１５）。

そして、検索部１５ｄは、ウィンドウ特定情報のｋ行目の情報に対する処理を終了する（ステップＳ２１６→Ｓ２１４）。また、検索部１５ｄは、ウィンドウ特定情報の全行に対する処理を終了した場合に、ステップＳ２１７に処理を進める。

ステップＳ２１７の処理では、検索部１５ｄは、ステップＳ２１５の処理で、全てのｋについて合致したか否か確認する。合致した場合には（ステップＳ２１７、Ｙｅｓ）、検索部１５ｄは、イベントデータ１４ａのｎ行目のデータの開始時刻とｉ行目のデータの終了時刻とを、図９に示したように、合致時間範囲として記録する（ステップＳ２１８）。合致しなかった場合には（ステップＳ２１７、Ｎｏ）、検索部１５ｄは、ステップＳ２１９に処理を進める。

検索部１５ｄは、変数ｉに対する処理を終了する（ステップＳ２１９→Ｓ２０６）。また、検索部１５ｄは、全ての変数ｉに対する処理を終了した場合に、ステップＳ２２０に処理を進める。

そして、検索部１５ｄは、イベントデータの全行に対する処理を終了したら（ステップＳ２２０→Ｓ２２１）、記録された複数の合致時間範囲について、隣接する時間範囲や重複する時間範囲を結合して、検索結果とする（ステップＳ２２１）。これにより、一連の割合モードの検索処理が終了する。

なお、上記のステップＳ２２１の処理は、上記ステップＳ１１９の処理と同様に、検索で合致した範囲をまとめて表示する場合の処理を例示しているが、検索結果の表示方法はこれに限定されない。例えば、検索で合致した範囲が順次表示されてもよい。その場合には、検索部１５ｄは、ステップＳ２２１の処理を行わずに、検索結果を出力部１２に順次出力する。

また、図１２および図１３は、存在モードの検索処理を説明するための図である。図１２は、存在モードの検索処理（図６のステップＳ９）の詳細な処理手順を例示している。図１３は、存在モードの検索処理で生成される出現状況フラグ配列のデータ構成を例示している。

検索部１５ｄは、処理対象のイベントデータ１４ａから、時刻情報（開始時刻および終了時刻）を抽出する（ステップＳ３０１）。また、検索部１５ｄは、イベントデータ１４ａを、時刻情報を古いものから新しいものの順にソートして（ステップＳ３０２）、重複する時刻情報を除去する（ステップＳ３０３）。また、検索部１５ｄは、ウィンドウ特定情報の行数Ｋに対応して、図１３に例示するように、配列の長さＫの出現状況フラグ配列のデータ構造を生成する（ステップＳ３０４）。

ここで、図１３に示すように、出現状況フラグ配列は、入れ子構造の連想配列で表される。すなわち、出現状況フラグ配列は、（Ｍ＋１）個の各時刻情報間の時間であるＭ個の時間ブロックに対応した、長さＭの配列のｍ番目（ｍ＝１～Ｍ）に格納される時間ブロック連想配列に格納される。この出現状況フラグ配列は、ｍ番目の時間ブロックにおいて、ウィンドウ特定情報で指定されるＫ種類のウィンドウについて、合致するウィンドウが存在することをｔｒｕｅ、存在しないことをｆａｌｓｅで表す。

検索部１５ｄは、ｍ番目の時間ブロックに対し、ステップＳ３０５～Ｓ３１４の処理を繰り返す。また、検索部１５ｄは、Ｎ行のイベントデータ１４ａの各行ｎ（ｎ＝１～Ｎ）のデータに対し、ステップＳ３０６～Ｓ３１３の処理を繰り返す。

ステップＳ３０７の処理では、検索部１５ｄは、イベントデータ１４ａのｎ行目のデータがｍ番目の時間ブロックと時間的に重なっているか否かを確認する（ステップＳ３０７）。重なっていない場合には（ステップＳ３０７、Ｎｏ）、検索部１５ｄは、ステップＳ３１３に処理を進める。

重なっている場合には（ステップＳ３０７、Ｙｅｓ）、検索部１５ｄは、Ｋ行のウィンドウ特定情報の各行ｋ（ｋ＝１～Ｋ）の情報に対し、ステップＳ３０８～Ｓ３１２の処理を繰り返す。

すなわち、検索部１５ｄは、ウィンドウ特定情報のｋ行目の情報が、イベントデータ１４ａのｎ行目のデータとマッチするか否かをチェックする（ステップＳ３０９）。その際に、検索部１５ｄは、出現時間は考慮しない。

マッチした場合には（ステップＳ３１０、Ｙｅｓ）、検索部１５ｄは、ｍ番目の時間ブロックに対応する出現状況フラグ配列のｋ番目をｔｒｕｅとする（ステップＳ３１１）。なお、マッチしなかった場合には（Ｓ３１０、Ｎｏ）、検索部１５ｄは、ステップＳ３１１の処理を行わずに、ステップＳ３１２に処理を進める。

そして、検索部１５ｄは、ウィンドウ特定情報のｋ行目の情報に対する処理を終了する（ステップＳ３１２→Ｓ３０８）。また、検索部１５ｄは、ウィンドウ特定情報の全行に対する処理を終了した場合に、ステップＳ３１３に処理を進める。

また、検索部１５ｄは、イベントデータの全行に対する処理および全時間ブロックに対する処理を終了したら（ステップＳ３１３→Ｓ３１４→Ｓ３１５）、検索部１５ｄは、出現状況フラグを確認し、全てのウィンドウがｔｒｕｅである出現状況フラグ対応する時間ブロックを特定し（ステップＳ３１５）、特定した時間ブロックの開始時刻および終了時刻（時間ブロック連想配列に記録されている）を、図９に示したように、合致時間範囲として記録する（ステップＳ３１６）。

検索部１５ｄは、記録された複数の合致時間範囲について、隣接する時間範囲や重複する時間範囲を結合して、検索結果とする（ステップＳ３１７）。これにより、一連の存在モードの検索処理が終了する。

以上、説明したように、本実施形態のタイムライン表示装置１０において、記憶部１４が、操作の開始時刻および終了時刻を含み、該操作を表す図形を時間軸に沿って表示するためのイベントデータ１４ａを記憶する。検索条件取得部１５ｃが、表示された図形の出現パターンを指定する検索条件１４ｂを取得する。検索部１５ｄが、取得された検索条件１４ｂに合致するイベントデータ１４ａを検索する。

これにより、タイムライン表示装置１０は、タイムライン表示で発見された定性的な特徴を用いて、ウィンドウの利用状況の定量的な評価が容易に可能となる。

また、検索条件１４ｂは、イベントデータ１４ａとの間で図形の出現時間が合致すると判定する範囲を指定する時間適合情報を含む。また、検索条件１４ｂは、複数の図形が切り替わる際に許容される該図形間の時間の範囲を指定する間隔情報を含む。これにより、タイムライン表示装置１０は、より実効的な検索を行うことが可能となる。

また、検索部１５ｄは、図形の出現する順序、図形の出現時間の割合、または同時刻に出現している複数の図形に応じて検索を行う。これにより、タイムライン表示装置１０は、より実効的に定量評価を行うことが可能となる。

また、検索条件取得部１５ｃは、ユーザとの間でインタラクティブに検索条件１４ｂの入力を受け付ける。これにより、ユーザがより容易にウィンドウの利用状況の定量的な評価を行うことが可能となる。

［プログラム］
上記実施形態に係るタイムライン表示装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、タイムライン表示装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記のタイムライン表示処理を実行するタイムライン表示プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記のタイムライン表示プログラムを情報処理装置に実行させることにより、情報処理装置をタイムライン表示装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）などのスレート端末などがその範疇に含まれる。また、タイムライン表示装置１０の機能を、クラウドサーバに実装してもよい。

図１０は、タイムライン表示プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、タイムライン表示プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明したタイムライン表示装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、タイムライン表示プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、タイムライン表示プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、タイムライン表示プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１０ タイムライン表示装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１４ａ イベントデータ
１４ｂ 検索条件
１５ 制御部
１５ａ 情報取得部
１５ｂ 表示加工部
１５ｃ 検索条件取得部
１５ｄ 検索部

Claims (6)

1. 操作の開始時刻および終了時刻を含み、該操作を表す図形を時間軸に沿って表示するためのイベントデータを記憶する記憶部と、
   表示された前記図形の出現パターンを指定する検索条件を取得する検索条件取得部と、
   取得された前記検索条件に合致する前記イベントデータを検索する検索部と、
   を備え、
   前記検索条件は、前記イベントデータとの間で前記図形の表示が継続した時間を示す出現時間が合致すると判定可能な範囲を指定する時間適合情報を含むことを特徴とするタイムライン表示装置。
2. 前記検索条件は、複数の前記図形が切り替わる際に許容される該図形間の時間間隔の範囲を指定する間隔情報を含むことを特徴とする請求項１に記載のタイムライン表示装置。
3. 前記検索部は、前記図形の出現する順序、前記図形の出現時間の割合、または同時刻に出現している複数の前記図形に応じて検索を行うことを特徴とする請求項１に記載のタイムライン表示装置。
4. 前記検索条件取得部は、ユーザとの間でインタラクティブに前記検索条件の入力を受け付けることを特徴とする請求項１に記載のタイムライン表示装置。
5. タイムライン表示装置で実行されるタイムライン表示方法であって、
   前記タイムライン表示装置は、操作履歴を表す図形を時間軸に沿って表示するためのイベントデータを記憶する記憶部を備え、
   表示された前記図形の出現パターンを指定する検索条件を取得する検索条件取得工程と、
   取得された前記検索条件に合致する前記イベントデータを検索する検索工程と、
   を含み、
   前記検索条件は、前記イベントデータとの間で前記図形の表示が継続した時間を示す出現時間が合致すると判定可能な範囲を指定する時間適合情報を含むことを特徴とするタイムライン表示方法。
6. 操作の開始時刻および終了時刻を含み、該操作を表す図形を時間軸に沿って表示するためのイベントデータを記憶する記憶部を参照し、
   表示された前記図形の出現パターンを指定する検索条件を取得する検索条件取得ステップと、
   取得された前記検索条件に合致する前記イベントデータを検索する検索ステップと、
   をコンピュータに実行させ、
   前記検索条件は、前記イベントデータとの間で前記図形の表示が継続した時間を示す出現時間が合致すると判定可能な範囲を指定する時間適合情報を含むことを特徴とするタイムライン表示プログラム。

Images