JPH08153022A - グラフィカルユーザインタフェースを有する対話システムの操作性評価装置 - Google Patents

Abstract

(57)【要約】 【構成】 評価対象の対話システム10のＧＵＩに対しユ
ーザがメニュー選択等の操作を行うと、それが基準イベ
ントとしてイベント検出装置101 で検出され、それと同
期して複数の状態検出ユニット1021が対話システム10か
らウィンドウ状態，カーソル位置等の複数の対話状態パ
ラメータを検出する。基準イベントと対話状態パラメー
タとは関連づけられて対話履歴として対話履歴記録装置
104 に記録される。複数の図化ユニット1070は対話履歴
に基づきそれぞれの形式で対話状況を示す図を生成し、
配置装置108 は各図を表示装置109 の１画面内に同時に
表示する。 【効果】 複数の側面から対話履歴を記録して複数の図
で視覚化でき、対話状況を１画面の表示内容で総合的に
分析することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、グラフィカルユーザイ
ンタフェースを有する対話システムの操作性を評価する
際に使用するツールに関する。

【０００２】

【従来の技術】従来より、対話システムの操作性の評価
を支援するために、評価対象である対話システムにおけ
る利用者の対話履歴を記録し、これを視覚化して分析者
に提示するシステムが提案されている。

【０００３】例えば１９９１年１０月、第７回ヒューマ
ン・インタフェース・シンポジウム論文集のＰ１〜Ｐ４
や特開平３−３１８１６１号公報「対話履歴作成装置」
においては、ファクシミリなどユーザが装置の応答を表
示部で観察しながら作業を進める対話装置に対して、発
生したイベント（入力信号，出力信号）を検出して、そ
のイベントの内容（操作内容，応答内容（表示内容））
をユーザの対話履歴として記録し、表示内容をノード、
ユーザ操作内容をアークとした１つの状態遷移図で表示
するシステムが提案されている。

【０００４】また、１９９２年３月、情報処理学会研究
報告９２−ＨＩ−４１、Ｐ７７〜Ｐ８４の『多段差分生
成によるユーザー操作記録の自動比較』においては、グ
ラフィカルユーザインタフェースを有する対話システム
において、或るアプリケーションを使っているときのユ
ーザの操作イベントを検出して記録しておき、適当なフ
ィルタを通した後、テキストデータで列挙するシステム
が提案されている。

【０００５】

【発明が解決しようとする課題】上述したように、従来
においては、評価対象である対話システムで発生したイ
ベントを検出しそれを対話履歴として記録しているに過
ぎないため、イベントとして発生しない他の状態は記録
として残らない。例えば、或るウィンドウのオープンに
かかるイベントが発生したとき、そのイベントの内容が
記録されることによりウィンドウがオープンされたこと
自体は記録されるが、そのときにカーソルがどの位置に
あったか、他にどのようなウィンドウが表示されていた
かは記録としては残らない。このため、後に対話状況を
総合的に把握することが困難になる。

【０００６】そこで本発明の目的は、対話の進行状況を
特徴づけるユーザ入力イベント等の基準イベントの発生
時に、この基準イベント以外に、それと同期して各種の
状態を採取して互いに関連づけて記録することができる
ようにしたツールを提供することにある。

【０００７】また、ファクシミリなど小面積の表示部を
有する単純なユーザインタフェースについては、表示内
容をノード、ユーザ操作内容をアークとした１つの状態
遷移図で対話状況を図示化することができ、このような
図示化によっても或る程度の評価は可能である。しか
し、パーソナルコンピュータやワークステーション等の
如き複雑なグラフィカルユーザインタフェースを有する
対話システムでは、ユーザの操作内容も多様でシステム
の応答内容も多様であるため、履歴として採取すべき状
態も多く、それらを１つの図でもって表示することは到
底困難である。このため、或る限られた状態のみを選択
的に取り出して図示化せざるを得ず、対話状況を総合的
に把握することができない。更に、一般に対話履歴デー
タは大量であり、人間が直接処理するのは困難なため、
対話履歴データをテキストデータで列挙する方式では、
これを評価者が読み取って対話状況を分析するために過
大な労力を要する。

【０００８】そこで本発明の別の目的は、複数の対話状
態パラメータを記録しさらにこれらを複数の図で視覚化
することにより、グラフィカルユーザインタフェース上
での対話状況を１つの画面にて総合的に分析し得るよう
にすることにある。

【０００９】なお、本発明の他の目的および利点につい
ては、以下の詳細な説明において詳しく説明する。

【００１０】

【課題を解決するための手段】本発明は、入出力部とグ
ラフィカルユーザインタフェース制御部と対話処理部と
を含む対話システムの操作性を評価するために、対話履
歴記録部とこの対話履歴記録部に記録された対話履歴を
図示化する対話履歴分析部とを有している。そして、対
話の進行状況を特徴づけるユーザ入力イベント等の基準
イベントの発生時にそれと同期して各種の状態を採取し
て互いに関連づけて記録することができるようにするた
めに、前記対話履歴記録部に、前記グラフィカルユーザ
インタフェース制御部から基準とするイベントを検出し
且つその検出時点でトリガ信号を発するイベント検出装
置と、前記トリガ信号に同期して前記対話システムの状
態を表す対話状態パラメータを検出する複数の状態検出
ユニットを有する状態検出装置と、前記検出された基準
イベントと前記各状態検出ユニットで検出された複数の
パラメータとを互いに関連づけて対話履歴として記録す
る対話履歴記録装置とを備えている。

【００１１】また、記録された複数の対話状態パラメー
タに基づき対話履歴を複数の図で視覚化し得るようにす
るために、前記対話履歴分析部に、前記対話履歴記録装
置に対する検索を行う検索装置と、それぞれが前記検索
装置を介して前記対話履歴記録装置から対話履歴を取得
して自ユニットが担う図を生成する複数の図化ユニット
を有する図化装置と、この図化装置で生成された複数の
図を表示装置の画面内に配置して同時に表示する配置装
置とを備えている。

【００１２】更に、基準イベントの検出時に、その基準
イベントが対話システムの対話処理部で処理される前に
状態検出装置における対話状態パラメータの採取が確実
に行えるようにするために、前記対話履歴記録部に、前
記状態検出装置をモニタし前記イベント検出装置の発す
るトリガ信号に同期して全ての或いは特定の前記状態検
出ユニットが前記対話状態パラメータの検出を完了した
ことを判定してトリガ信号を発する条件判定装置と、前
記グラフィカルユーザインタフェース制御部から前記対
話処理部に送られるイベント信号を前記条件判定装置か
らトリガ信号が発せられるまで一時的に捕獲する信号捕
獲装置とを備えている。

【００１３】また更に、グラフィカルユーザインタフェ
ースを有する対話システムでは、複数のアプリケーショ
ンを立ち上げておき、これらを順次切り替えながら作業
を進める形態が一般的である。従って、或るアプリケー
ションの動作中に限って対話システムの操作性を評価し
ようとする場合には、そのアプリケーションを駆動する
直前に履歴データの記録を人為的に指示し、且つ、履歴
データの混在を避けるために他のアプリケーションの操
作を禁止する必要がある。しかしながら、このような操
作は面倒であるばかりか、通常の作業形態を阻害するこ
とになる。そこで、本発明では、たとえ複数のアプリケ
ーションを順次切り替えながら作業が進められていて
も、予め指定したアプリケーションの動作中に限って対
話システムの対話履歴を選択的に記録できるようにする
ために、評価対象とするアプリケーションを示すコード
を記録するＡＰ記録装置と、前記対話処理部をモニタし
前記ＡＰ記録装置に記録されたコードのアプリケーショ
ンが駆動されている期間に限って駆動信号を出力するＡ
Ｐ検出装置とを備え、前記対話履歴記録部は、前記駆動
信号が出力されている期間に限り対話履歴の記録動作を
行うように構成している。

【００１４】また、同一時点で採取された複数の対話状
態パラメータに基づきそれぞれの形式で生成された複数
の図における同一時点のデータ部分を利用者が容易に認
識し得るようにするために、前記対話履歴分析部に、前
記表示装置の画面に表示された何れかの図における特定
の箇所を指示するための入力装置と、前記指示された特
定の箇所を強調表示すると共に、その他の図の前記指定
された箇所に対応する部分を強調表示する表示制御装置
とを備えている。

【００１５】更に、グラフィカルユーザインタフェース
上で、どのようなウィンドウがどういう順序でアクティ
ブにされ、またそれらのウィンドウに対しどういう操作
がどういう順序で成されたかといった対話の流れを示す
グラフを図示し得るようにするために、前記図化ユニッ
トの少なくとも１つに、前記対話履歴に記録されている
基準イベントに対しこれを処理したウィンドウを判定す
るウィンドウ情報抽出装置と、前記対話履歴に記録され
ている基準イベントの発生時刻を前記対話履歴から抽出
する時刻抽出装置と、前記ウィンドウ情報抽出装置が判
定したウィンドウの種類毎にｘ座標値，ｙ座標値の何れ
か一方の座標値を割り当て、前記時刻抽出装置が検索し
た発生時刻に対し他方の座標値を順次に割り当てる座標
算出装置と、前記対話履歴から前記基準イベントの対象
となったオブジェクトを検出するオブジェクト抽出装置
と、各基準イベントの対象となるオブジェクト毎の記号
を記録する記号記録装置と、前記オブジェクト抽出装置
で検出されたオブジェクトに対応する記号を前記記号記
録装置を参照して判定する記号判定装置と、前記座標算
出装置で割り当てられたウィンドウおよび発生時刻の座
標値ならびに前記記号判定装置で判定された記号に基づ
き対話の流れを示すグラフを生成するグラフ作成装置と
を備えている。

【００１６】また、或るアプリケーションが開始してか
ら或る時点までに、ウィンドウに対し何回操作された
か、カーソルがどの程度移動されたか、操作時間は幾ら
かかったか等の、変化する物理的な事象の累積値をグラ
フ化して図示できるようにするために、前記図化ユニッ
トの少なくとも１つに、前記対話履歴記録装置に記録さ
れた或る期間内の対話履歴に基づき、その期間内におい
て変化した物理的な事象の累積値を算出する少なくとも
１つのデータ蓄積ユニットを有するデータ蓄積装置と、
このデータ蓄積装置で算出された累積値を入力して累積
値グラフを作成するグラフ化装置とを備えている。

【００１７】

【作用】グラフィカルユーザインタフェースを介し対話
システムとユーザとが対話による処理を進めている最中
に、メニューやボタンなどに対する操作やウィンドウの
生成，消去等、対話の進行を特徴づける予め定められた
基準イベントが発生すると、対話履歴記録部内のイベン
ト検出装置が、対話システムのグラフィカルユーザイン
タフェース制御部から上記基準イベントを検出してトリ
ガ信号を発し、状態検出装置内の各状態検出ユニットが
そのトリガ信号に同期して対話システムの状態を表す１
つ或いは複数の対話状態パラメータ、たとえばカーソル
の位置，ウィンドウの状態，現在時刻，選択されたオブ
ジェクト等を検出し、対話履歴記録装置は、前記検出さ
れた基準イベントと前記各状態検出ユニットで検出され
た複数のパラメータとを互いに関連づけて対話履歴とし
て記録する。

【００１８】このとき、条件判定装置および信号捕獲装
置を有する構成においては、信号捕獲装置が、グラフィ
カルユーザインタフェース制御部から対話処理部に送ら
れる上記基準イベントを捕獲し、条件判定装置が全ての
或いは特定の状態検出ユニットにおける対話状態パラメ
ータの検出完了を判定した時点で、信号捕獲装置が上記
捕獲した基準イベントを対話処理部に送る。

【００１９】また、ＡＰ記録装置およびＡＰ検出装置を
備える構成においては、ＡＰ記録装置が、評価対象とし
たい特定のアプリケーションを示すコードを保持してお
り、ＡＰ検出装置は、対話処理部をモニタしてＡＰ記録
装置に記録された前記特定のアプリケーションが駆動さ
れている期間に限って駆動信号を出力し、対話履歴記録
部は、前記駆動信号が出力されている期間に限り対話履
歴の記録動作を行う。

【００２０】一方、対話履歴分析部においては、図化装
置に含まれる各図化ユニットが、検索装置を介して対話
履歴記録装置から対話履歴を取得して自ユニットが担う
図を生成し、配置装置が、これらの図化ユニットで生成
された複数の図を表示装置の画面内に配置して同時に表
示する。

【００２１】そして、表示制御装置を有する構成におい
ては、分析者が入力装置を使用して表示装置の画面に表
示された何れかの図における特定の箇所を指示すると、
表示制御装置が、前記指示された特定の箇所を強調表示
すると共に、その他の図の前記指定された箇所に対応す
る部分を強調表示する。

【００２２】各図化ユニットはそれぞれの形式で任意の
図を生成する。特に、ウィンドウ情報抽出装置，時刻抽
出装置，座標算出装置，オブジェクト抽出装置，記号記
録装置，記号判定装置，グラフ作成装置を備えた図化ユ
ニットにおいては、ウィンドウ情報抽出装置が対話履歴
に記録されている基準イベントに対しこれを処理したウ
ィンドウを判定すると共に、時刻抽出装置が対話履歴に
記録されている基準イベントの発生時刻を前記対話履歴
から抽出し、座標算出装置がウィンドウ情報抽出装置が
判定したウィンドウの種類毎にｘ座標値，ｙ座標値の何
れか一方の座標値を割り当て、時刻抽出装置が検索した
発生時刻に対し他方の座標値を順次に割り当てる。ま
た、オブジェクト抽出装置が対話履歴から基準イベント
の対象となったオブジェクトを検出し、記号判定装置が
この検出されたオブジェクトに対応する記号を記号記録
装置を参照して判定する。そして、グラフ作成装置が、
座標算出装置で割り当てられたウィンドウおよび発生時
刻の座標値ならびに記号判定装置で判定された記号に基
づき対話の流れを示すグラフを生成する。

【００２３】更に、データ蓄積装置，グラフ化装置を有
する図化ユニットにおいては、データ蓄積装置に含まれ
る各データ蓄積ユニットが、対話履歴記録装置に記録さ
れた或る期間内の対話履歴に基づき、その期間内におい
て変化した物理的な事象の累積値、例えばカーソル移動
距離，操作時間，ウィンドウ操作回数等を算出し、グラ
フ化装置がこの算出された累積値を入力して例えば棒グ
ラフの如き累積値グラフを作成する。

【００２４】

【実施例】次に本発明の実施例について図面を参照して
詳細に説明する。

【００２５】図１は本発明の実施例のブロック図であ
る。同図において、１０が評価対象となるグラフィカル
ユーザインタフェース（以下ＧＵＩと略記する）を有す
る対話システムであり、入出力部１１，ＧＵＩ制御部１
２および対話処理部１３から構成されている。入出力部
１１はマウスやキーボード等からなる入力装置と、ＣＲ
Ｔや液晶表示装置等で実現される表示デバイスで構成さ
れるものであり、ユーザはこの入出力部１１を介して対
話システム１０上で作業を進める。ＧＵＩ制御部１２は
ＧＵＩを統合して制御する機構であり、ウィンドウや様
々な対話オブジェクト（メニューやボタン等）の管理を
行う。その一方で、入出力部１１からユーザの入力イベ
ント（対話オブジェクトに対する操作やウィンドウの生
成等の操作やテキストデータの入力等）を受け取り、し
かるべき処理を加えた後に対話処理部１３に送る。対話
処理部１３は送られた入力イベントに従い必要な計算や
処理を行う。その結果は再びＧＵＩ制御部１２を介して
入出力部１１に送られ、ユーザに提示される。

【００２６】他方、図１において、１２０は対話履歴記
録部、１３０は対話履歴分析部であり、これらと表示装
置１０９および入力装置１１１とで対話システム１０の
操作性評価装置が構成されている。そして、対話履歴記
録部１２０は、イベント検出装置１０１，状態検出装置
１０２，信号捕獲装置１０３，対話履歴記録装置１０４
および条件判定装置１０５から構成され、対話履歴分析
部１３０は、検索装置１０６，図化装置１０７，配置装
置１０８および表示制御装置１１０から構成されてい
る。なお、表示装置１０９と入力装置１１１は評価対象
である対話システム１０の入出力部１１のものを流用す
ることも可能である。以下、対話履歴記録部１２０の詳
細について説明し、次に対話履歴分析部１３０の詳細を
説明する。

【００２７】ＧＵＩでは対話状態を表すパラメータ（対
話状態パラメータ）として、例えば画面内オブジェクト
の状態、マウスカーソルの位置、操作時刻、表示ウィン
ドウの状態など多数考えることができる。対話履歴記録
部１２０における状態検出装置１０２は複数の状態検出
ユニット１０２１から構成され、各状態検出ユニット１
０２１はＧＵＩ制御部１２からそれぞれ１種類の或いは
複数の対話状態パラメータを検出する。本発明の特徴の
１つは、同一時点における複数の対話状態パラメータを
読み取り、且つこれらを同期して記録する点にある。そ
こで、これを実現するため、イベント検出装置１０１
は、例えばユーザ操作による入力イベントを基準イベン
トとして検出し、同時にトリガ信号を送出する。複数の
状態検出ユニット１０２１は、このトリガ信号を検出し
た時点でＧＵＩ制御部１２から対話状態パラメータを読
み取り、対話履歴記録装置１０４に送出する。対話履歴
記録装置１０４は、基準イベントと複数の対話状態パラ
メータとを互いに関連づけて対話履歴として記録する。

【００２８】上記の基準イベントとしては、対話の進行
状況を特徴づけるイベントが好ましく、例えばメニュー
やボタンなどのＧＵＩの対話オブジェクトに対する操作
や、ウィンドウの生成，移動，拡大，縮小，消去などの
操作や、テキストデータの入力などの一連のユーザ入力
イベントが採用される。

【００２９】図２は対話履歴記録装置１０４に記録され
た対話履歴の例である。基準イベント２１とそれぞれの
基準イベントが検出された時点の対話システム１０の状
態を示す複数の対話状態パラメータとが互いに関連づけ
られ、一塊として、基準イベントの発生順に、「対話履
歴１」，「対話履歴２」，…として記録されている。対
話状態パラメータとして、この例では、「カーソル位置
座標」２２、「マウスボタン状態」２３、「選択された
オブジェクト」２４、「画面上のウィンドウとその位
置」２５、「作業対象のウィンドウ」２６、「操作時
刻」２７、「画面上の対話オブジェクトの数」２８、
「画面上の文字数」２９が採用され、それらがテキスト
データとして記録されている。或る基準イベントにおけ
る対話状態パラメータは、ある瞬間の状態を示すものに
過ぎないが、時系列的に追って行くことにより多くの状
態が把握できる。例えば、「カーソル位置座標」２２を
時系列的に追えば、カーソル移動距離が把握できる。ま
た、「画面上のウィンドウとその位置」２５について
も、記述されている順に画面にウィンドウを描画してい
けば、ウィンドウの上下関係を含めて作業時のウィンド
ウの状態を把握することができる。なお、この例では、
基準イベント２１として、メニュー選択，ウィンドウの
クローズなど、対話オブジェクトが状態変化するレベル
のものを採用することを前提としているが、この他に
も、例えばマウスカーソルのドット単位の移動やマウス
ボタン押下に伴う全てのイベントを対象にすることも可
能である。この場合は図２の例に比べてより詳細な対話
履歴が収集されることになる。

【００３０】以上のようにして、図１の対話履歴記録部
１２０は、対話システム１０の種々の対話状態パラメー
タを基準イベントを契機に採取して、対話履歴として対
話履歴記録装置１０４に記録している。

【００３１】ところで、イベント検出装置１０１で基準
イベントが検出された時点の対話状況を採取するには、
その基準イベントが対話処理部１３で処理される前に、
各状態検出ユニット１０２１が対話状態パラメータの採
取を完了する必要がある。しかし、対話状態パラメータ
の種類が多くその採取に時間がかかる場合には、基準イ
ベントの処理前に採取を完了することが困難になること
が予想される。そこで、図１の実施例の対話履歴記録部
１２０には、そのような問題点を解決するために、信号
捕獲装置１０３と条件判定装置１０５とが設けられてい
る。即ち、条件判定装置１０５は、状態検出装置１０２
の各状態検出ユニット１０２１をモニタして対話状態パ
ラメータの検出状態を判定しており、全ての状態検出ユ
ニット１０２１が対話状態パラメータの読み取りを完了
した時点で、トリガ信号を信号捕獲装置１０３に送出す
る。他方、信号捕獲装置１０３は、入出力部１１から入
力されてＧＵＩ制御部１２から対話処理部１３に通知さ
れようとしたユーザ入力イベント（基準イベント）を捕
獲し、条件判定装置１０５からトリガ信号が送出された
時点で、対話処理部１３にユーザ入力イベントを送出す
る。これにより、基準イベントが処理される前に各状態
検出ユニット１０２１が対話状態パラメータを確実に採
取することができる。

【００３２】なお、上記の例では、条件判定装置１０５
は全ての状態検出ユニット１０２１が対話状態パラメー
タの検出を完了した時点でトリガ信号を発するようにし
たが、特定の状態検出ユニット（例えば、対話状態パラ
メータの検出に最も長い時間を必要とするユニットや、
基準イベントの処理前に採取すべきことが強く要求され
る対話状態パラメータを採取しているユニット）が採取
完了した時点でトリガ信号を発生するようにしても良
い。また、信号捕獲装置１０３は捕獲した基準イベント
を解析し、その基準イベントが予め定められた条件、た
とえば状態検出装置１０２が検出対象としている対話状
態パラメータの変化を起こすイベントであるという条件
を満たす場合に限って、条件判定装置１０５からのトリ
ガ信号を待って対話処理部１３に送出し、そのような条
件を満たさないイベントの場合には直ちに対話処理部１
３に送出するように構成しても良い。

【００３３】ここで、上述したように基準イベントが検
出された時点の対話システムの状態を確実に採取し得る
ようにしたことと、基準イベントが検出された時点で採
取された全ての対話状態パラメータをその基準イベント
と関連づけて１つの対話履歴として記録することとは必
ずしも結び付かないことに注意すべきである。即ち、対
話状態パラメータの種類によっては、その検出契機とな
った基準イベントの次の基準イベントと関連づけて記録
する方が対話状態を把握する上で好ましい場合があるか
らである。このような対話状態パラメータの例として
は、ウィンドウ状態がある。即ち、例えばユーザが或る
ウィンドウをオープンする操作を行ったとすると、この
基準イベントに対応して記録すべき状態としては、ウィ
ンドウがオープンされた後の状態を記録する方が、オー
プンされる前の状態を記録するより対話の進行状況を直
感的に把握し易い。同様に、ユーザが或るウィンドウを
消去する操作を行ったとすると、この基準イベントに対
応して記録すべきウィンドウ状態としては、ウィンドウ
が消えた後の状態を記録する方が、消える前の状態を記
録するより対話の進行状況を直感的に把握し易い。以
下、ウィンドウ状態について、その検出契機となった基
準イベントの次の基準イベントと関連づけて記録する例
について説明する。

【００３４】今、或る時点において入出力部１１の画面
に図３（ａ）に示すようにウィンドウ３１とアイコン３
２が配置されていたとする。この画面に対しユーザがウ
ィンドウをオープンしたい為にアイコン３２をクリック
すると、このユーザ入力イベントが１つの基準イベント
ｅｖｅｎｔ１としてイベント検出装置１０１で検出され
ると共に信号捕獲装置１０３で捕獲される。状態検出ユ
ニット１０２１の１つは、上記のユーザ入力イベントの
検出時にイベント検出装置１０１から発せられるトリガ
信号に同期して、ウィンドウ状態を検出する。この時点
では、上記ユーザ入力イベントは信号捕獲装置１０３で
捕獲されていて未だ対話処理部１３に通知されていない
ため、入出力部１１の画面状態は図３（ａ）のままであ
る。従って、その状態検出ユニット１０２１は図３
（ａ）に示す時点のウィンドウ状態を検出することにな
り、ウィンドウの名称やその座標値などの情報を示すコ
ード｛Ｗ１｝を対話履歴記録装置１０４に送出する。対
話履歴記録装置１０４はこのコード｛Ｗ１｝を直前に検
出されていた基準イベントと関連付けて記録する。他
方、条件判定装置１０５は、上記の状態検出ユニット１
０２１でウィンドウ状態の検出が完了するとトリガ信号
を発し、信号捕獲装置１０３は捕獲しているユーザ入力
イベントを対話処理部１３に通知する。これにより、入
出力部１１の画面は図３（ｂ）のように切り替わり、ウ
ィンドウ３３が現れる。

【００３５】その後、ユーザが図３（ｃ）に示すように
ウィンドウ３３のクローズボックス３４をクリックする
と、このユーザ入力イベントが１つの基準イベントｅｖ
ｅｎｔ２としてイベント検出装置１０１で検出されると
共に信号捕獲装置１０３で捕獲される。状態検出ユニッ
ト１０２１の１つは、上記のユーザ入力イベントの検出
時に図３（ｃ）に示す時点のウィンドウ状態を検出し、
ウィンドウの名称やその座標値などの情報を示すコード
｛Ｗ１、Ｗ２｝を対話履歴記録装置１０４に送出する。
対話履歴記録装置１０４はこのコード｛Ｗ１、Ｗ２｝を
直前の基準イベントｅｖｅｎｔ１と関連づけて記録す
る。即ち、｛ｅｖｅｎｔ１、Ｗ１、Ｗ２｝とする。これ
により、対話履歴記録装置１０４には、見かけ上各イベ
ントと各イベントの処理が終了した時点のウィンドウ状
態とが対応づけられて記録されることになる。なお、図
３（ｄ）の状態で基準イベントが発生すると、その時点
のウィンドウ状態｛Ｗ１｝が採取され、それが直前の基
準イベントｅｖｅｎｔ２と関連づけられて、｛ｅｖｅｎ
ｔ２、Ｗ１｝として対話履歴記録装置１０４に記録され
る。

【００３６】次に、対話履歴記録部１２０に関する他の
実施例について説明する。

【００３７】図４は本発明の別の実施例の要部ブロック
図であり、図１と同一符号は同一部分を示し、４０１は
図１のイベント検出装置１０１，状態検出装置１０２，
信号捕獲装置１０３および条件判定装置１０５から構成
される装置群、４０２はＡＰ検出装置、４０３はＡＰ記
録装置である。この実施例は、特定のアプリケーション
が対話システム１０上で動作している期間中に限って、
上述した対話履歴の記録動作を行わせるようにしたもの
である。この場合、上記特定のアプリケーションを評価
対象アプリケーションと呼ぶ。

【００３８】図４において、ＡＰ記録装置４０３には、
評価対象アプリケーションを示すコードが記録される。
ＡＰ検出装置４０２は、対話処理部１３（もしくはＧＵ
Ｉ制御部１２であっても良い）の信号をモニタし、イベ
ント発生毎に、起動されるアプリケーションのコードを
識別する。そして、識別したアプリケーションのコード
がＡＰ記録装置４０３に記録されているコードと等しい
ときに限り、装置群４０１に対し対話履歴記録動作を指
定する。即ち、ＡＰ検出装置４０２は評価対象アプリケ
ーションが起動された時点で装置群４０１に対し対話履
歴記録動作の実行を指示し、その評価対象アプリケーシ
ョンが終了した時点で記録動作の中止を指示する。従っ
て、対話履歴記録装置１０４には、予め設定されたアプ
リケーションが操作されている間の対話履歴が選択的に
記録されることになる。なお、装置群４０１の図１に示
す信号捕獲装置１０３は、対話履歴記録動作が指定され
ていない期間においては、ＧＵＩ制御部１２から捕獲し
たイベントを直ちに対話処理部１３に通知する。

【００３９】ＡＰ記録装置４０３には１つのアプリケー
ションのコードを登録しておく以外に、複数のアプリケ
ーションコードを登録しておいても良い。この場合に
は、ＡＰ検出装置４０２は、登録された複数のアプリケ
ーションの全ての場合について対話履歴の記録を装置群
４０１に指示し、かつ作業対象となっているアプリケー
ションのコードを対話履歴記録装置１０４に通知する。
対話履歴記録装置１０４は、対話履歴を記録する際、対
応するアプリケーションのコードも併せて記録する。以
上の動作により、複数のアプリケーションの対話履歴を
同時に記録することができ、かつ分析時には対象とする
アプリケーションを区別しながら作業を進めることが可
能になる。なお、対話履歴記録装置１０４に複数の記録
部を用意しておき、アプリケーション毎に対話履歴を振
り分けて記録することでも同様の効果が得られる。

【００４０】次に、図１の対話履歴分析部１３０につい
て説明する。

【００４１】対話履歴分析部１３０における検索装置１
０６は、対話履歴記録装置１０４に記録された対話履歴
から、図化装置１０７の各図化ユニット１０７０から指
定された対話状態パラメータや基準イベントを検索す
る。図化装置１０７は、複数の図化ユニット１０７０か
ら構成され、それぞれの図化ユニット１０７０は検索装
置１０６を介して１つ或いは複数の種別の対話状態パラ
メータや基準イベントを読み取り、自ユニットが担う図
をそれぞれの形式で生成する。配置装置１０８は、これ
らの図化ユニット１０７０で生成された複数の図を表示
装置１０９の画面内に配置する。複数の図が１画面内に
同時に表示されるため、評価者は対話状況を異なる側面
から総合的に把握することが可能となる。

【００４２】但し、その一方で、それぞれの表示様式が
異なるため、各図間において対応する部分を発見し難
い。対話履歴分析部１３０に設けられた表示制御装置１
１０はこのような問題を解決するために、各図化ユニッ
ト１０７０に接続されている。評価者が入力装置１１１
を介して例えば表示装置１０９上のカーソルを用いて特
定の図の特定の箇所を指定すると、表示制御装置１１０
は、指定された箇所を強調表示すべく該当の図を生成し
た図化ユニット１０７０を制御する。さらに表示制御装
置１１０は、その他の図において前記特定の箇所に対応
する部分を強調表示すべく各図化ユニット１０７０を制
御する。対話履歴は基準イベントに対応づけられて対話
履歴記録装置１０４に記録されているため、評価者から
指定された特定の図における特定の箇所に対応する他の
図の部分は検索装置１０６を介して対話履歴記録装置１
０４を検索することにより容易に判明する。なお、該当
する部分が画面内に表示されていない場合には、スクロ
ールやページ切り替えの動作も表示制御装置１１０が制
御する。このように、評価者が図の特定箇所を能動的に
指定することによって、複数の図の対応箇所の発見が容
易になる。

【００４３】次に図化装置１０７における図化ユニット
１０７０について説明する。各々の図化ユニット１０７
０でどのような形式の図を生成するかは、対話履歴の内
容や評価したい項目等によって適宜決定される。以下で
は、特徴的な図化ユニットの実施例について説明する。

【００４４】図６は図化ユニット１０７０の一実施例の
ブロック図であり、図７に例示するような図を生成する
場合のものである。この例の図化ユニット１０７０は、
ウィンドウ情報抽出装置６０１，時刻抽出装置６０２，
オブジェクト抽出装置６０３，座標算出装置６０４，記
号判定装置６０５，記号記録装置６０６，グラフ作成装
置６０７で構成される。

【００４５】ウィンドウ情報抽出装置６０１は、検索装
置１０６を介して対話履歴記録装置１０４から、図２中
の項目２１，２６を読み取って解析することでユーザの
入力イベントを処理したウィンドウを求め、座標算出装
置６０４に出力する。また、時刻抽出装置６０２は、検
索装置１０６を介して対話履歴記録装置１０４から、前
記イベントの発生時刻（図２中の項目２７）を検索し、
座標算出装置６０４に出力する。座標算出装置６０４
は、入力されたウィンドウに対しｙ座標値を、入力され
た発生時刻に対しｘ座標値を算出する（割り当てる）。
ここで、ｙ座標値の算出は、対話履歴に記録された各ウ
ィンドウに対しそれぞれ固有のｙ座標値を割り当てるこ
とによって実現する。また、ｘ座標値の算出は、イベン
トの発生時刻に比例した座標値を与えても良いし、単に
イベントが発生した順番に従って決まった値だけ増加さ
せていくだけでも良い。

【００４６】他方、オブジェクト抽出装置６０３は、検
索装置１０６を介して対話履歴記録装置１０４から、前
記イベントが対象とした対話オブジェクト（図２中の項
目２４）を検索し、記号判定装置６０５に出力する。記
号記録装置６０６には対話オブジェクトの種類別にその
記号が予め記録されている。記号判定装置６０５はオブ
ジェクト抽出装置６０３が検索した対話オブジェクトの
種類を判定し、且つ記号記録装置６０６を参照すること
で、前記イベントに対し特定の記号を割り当てる。

【００４７】グラフ作成装置６０７は、座標算出装置６
０４と記号判定装置６０５とで割り当てられた座標値と
記号とを用いて、時系列的な対話の流れを示す図７に示
す如き図を生成する。図７の例では、入力イベントは
「対話部品に対する操作」，「ウィンドウに対する操
作」，「文字入力操作」に分けられ、それぞれに対し
「○」，「△」，「□」の各記号が割り振られている。
更に、作業が進行した３つのウィンドウＷ１〜Ｗ３のそ
れぞれに対し、特定のｙ座標値７１，７２，７３が割り
当てられている。各ノードは発生時刻と対象ウィンドウ
に従ってプロットされ、流れを明示するためアーク７４
で結合されている。

【００４８】このように図６に示した図化ユニット１０
７０を使用することにより、１つのグラフにおいて作業
対象のウィンドウ、入力イベントの種類とその発生時刻
（順序）を同時に表示することができる。なお、上記の
例では、ウィンドウ情報からｙ座標値を、発生時刻（順
序）からｘ座標値を算出したが、これを逆にしてウィン
ドウ情報からｘ座標値を、発生時刻（順序）からｙ座標
値を算出するようにしても同様の効果が得られる。ま
た、ウィンドウ情報を記号で、イベントの種類を座標値
で区別する構成にしても良い。

【００４９】図８は図化ユニット１０７０の他の実施例
のブロック図であり、図９に例示するような図を生成す
る場合のものである。この例の図化ユニット１０７０
は、データ蓄積装置８０１とグラフ化装置８０２とから
構成されている。

【００５０】データ蓄積装置８０１は、１個あるいは複
数個のデータ蓄積ユニット８０１１から構成されてい
る。各データ蓄積ユニット８０１１には、表示制御装置
１１０から前述した或る図の特定の箇所の情報つまり対
話履歴における或る時点を指定する信号が送られる。各
データ蓄積ユニット８０１１は、対話開始時から前記指
定された時点までの所定の対話状態パラメータを検索装
置１０６を介して対話履歴記録装置１０４から検索し、
それらから自ユニットが担う物理的な事象の累積値を算
出して、グラフ化装置８０２に出力する。ここで、物理
的な事象の累積値とは、カーソル移動距離，ウィンドウ
遷移回数，操作時間等を意味している。カーソル移動距
離を担うデータ蓄積ユニット８０１１においては、図２
の項目２２の「カーソル位置座標」を検索し、前後する
基準イベント間で幾らの距離だけカーソルが移動したか
を計算し、それを累積することでカーソル移動距離を求
める。またウィンドウ遷移回数を担うデータ蓄積ユニッ
ト８０１１においては、図２の項目２６の「作業対象の
ウィンドウ」の情報を検索して、前後する基準イベント
間で作業対象のウィンドウが変化していれば、ウィンド
ウ遷移回数を＋１していくことにより、ウィンドウ遷移
回数を求める。他の種類の事象についても、それに合致
した演算処理により累積値が求められる。

【００５１】グラフ化装置８０２は、各データ蓄積ユニ
ット８０１１で求められた累積値から図９に例示するよ
うなグラフを作成する。図９の例では、「対話部品の操
作回数」，「ウィンドウ操作回数」，「ウィンドウ遷移
回数」，「カーソル移動距離」，「操作時間」がそれぞ
れ棒グラフとして表現されている。従って、この例で
は、対話部品の操作回数を累積するデータ蓄積ユニッ
ト，ウィンドウの操作回数を累積するデータ蓄積ユニッ
ト，ウィンドウの遷移回数を累積するデータ蓄積ユニッ
ト，カーソルの移動距離を累積するデータ蓄積ユニッ
ト，操作時間を累積するデータ蓄積ユニットという５種
類のデータ蓄積ユニットが使用されている。

【００５２】グラフ化装置８０２における各棒グラフの
高さは、各データ蓄積ユニット８０１１から送られる累
積値そのものを使用しても良い。但し、そうすると、そ
れぞれの累積値の単位が異なるため、共通のスケールで
表示することはできない。これを解決するためには、各
データ蓄積ユニットが対話履歴を最後まで読み込んで最
終的な累積値を算出してグラフ化装置８０２に出力して
おき、グラフ化装置８０２は、表示制御装置１１０から
指定された時点までの累積値が各データ蓄積ユニット８
０１１から通知されたとき、それを各々の最終的な累積
値で除算して、棒グラフの高さを決定すれば良い。こう
すると、棒グラフの高さが最終的な累積値からの割合を
示すものとなり、グラフのスケールを百分率に統一する
ことができる。

【００５３】次に、複数の図化ユニット１０７０によっ
て生成された複数の図を表示装置１０９の１画面内に同
時に表示する例について、説明する。

【００５４】図１０は表示装置１０９に或る時点で表示
された複数の図の例を示している。図１０において、１
２１は図７に示した対話の流れ図である。また、１２２
は操作時間グラフであり、横軸はユーザの入力イベント
を、縦軸はそれぞれ入力イベント間の経過時間を表して
いる。更に、１２３はカーソル移動距離グラフであり、
横軸はユーザの入力イベントを、縦軸は画面上における
入力イベントの発生位置（イベントが発生したときのカ
ーソル位置）間の距離を示している。これらの図１２
１，１２２，１２３は対話開始から対話終了までの対話
状況をそれぞれ異なる側面から表示している。

【００５５】図１０の対話の流れ図１２１において、ノ
ード１２７が強調表示されているのは、分析者がカーソ
ル１２６でこのノード１２７を指定した為である。この
とき、操作時間グラフ１２２とカーソル移動グラフ１２
３では、同じイベントに関連したそれぞれ対応する部分
１２８，１２９が強調表示される。そして、この時点
で、画面上にウィンドウ状態図１２４と累積値グラフ１
２５とが表示される。ウィンドウ状態図１２４は前記イ
ベントが発生した時点のウィンドウ位置や重なり状態を
模式的に表現した図である。また、累積値グラフ１２５
は図９で説明したものと同じであり、前記イベントが発
生した時点までの例えば部品操作回数，ウィンドウ操作
回数，ウィンドウ遷移回数，操作時間等がＰ１〜Ｐ４と
して表示されている。なお、カーソル１２６でノード１
２７を指定する代わりに、カーソル１２６で操作時間グ
ラフ１２２のバー１２８やカーソル移動距離グラフ１２
３のバー１２９を指定した場合にも図１０と同様の状態
の図が表示される。このように、ＧＵＩ上のアプリケー
ションに対して、ユーザの対話状況を総合的に分析する
ことができ、かつ各グラフや図間におけるデータの対応
関係を容易に調べることができる。

【００５６】なお、各図化ユニット１０７０で生成する
図の種類は以上説明した種類のものに限られないことは
言うまでもない。例えば図５に示すような図を表示する
こともできる。図５は、或る１つの図化ユニット１０７
０において対話履歴中のカーソル座標データ（図２の２
３に相当する）から生成された図の例である。図５
（ａ）では、ユーザと対話システム１０との対話時にお
いて、入出力部１１の画面上で移動したカーソルの軌跡
を模式的に表現している。表示領域５１は入出力部１１
の画面を表現したものであり、ノード５２は対話履歴記
録時にイベントが起こった時点のカーソル位置を示して
いる。各イベントの発生順序を表現するため、ノード５
２はそれぞれアーク５３で結ばれる。このような図によ
り、ユーザがどの程度の距離や頻度でカーソル移動を行
ったかや、その移動が画面のどの位置で行われたかが把
握できる。アーク５３は、ノード間の距離として長さを
持っており、且つイベントの発生順序を示す方向も有す
るため、ベクトルとして考えることができる。他方、図
５（ｂ）は、図５（ａ）の各アーク５３の始点を画面中
心部５４に一致させ、ベクトル表示したものである。こ
のような形式の図により、ユーザがどの方向、距離に、
どの程度の頻度でカーソル移動を行ったかをより一層容
易に把握することができる。

【００５７】

【発明の効果】以上説明した本発明のグラフィカルユー
ザインタフェースを有する対話システムの操作性評価装
置によれば、以下のような効果を得ることができる。

【００５８】対話の進行状況を特徴づけるユーザ入力イ
ベント等の基準イベントの発生時にそれと同期して各種
の対話状態パラメータを採取して互いに関連づけて記録
するようにしたので、イベントとして独立して発生しな
い対話状態パラメータも同時に記録として残すことがで
き、評価時に各対話状態パラメータの相互関係が明らか
になり、対話状況をきめ細かく再現することができる。

【００５９】複数の対話状態パラメータを記録しさらに
１画面に複数の図で視覚化したことにより、ＧＵＩ上の
対話状況を１画面に表示された各図を観察することによ
り総合的に分析することができる。

【００６０】信号捕獲装置を有する構成においては、基
準イベントが対話処理部で処理される前の対話状態を示
す対話状態パラメータを確実に記録することができる。

【００６１】ＡＰ検出装置を有する構成においては、複
数のアプリケーションを順次切り替えながら作業を進め
ていても、予め指定したアプリケーションの動作中に限
って対話システムの対話履歴を選択的に記録することが
できる。

【００６２】表示制御装置を有する構成においては、評
価者が或る図において注目したい箇所を指定すると、そ
の部分が強調表示されると共にその他の図においても対
応する部分が強調表示されるため、複数の図における同
一時点のデータ部分を利用者が容易に認識することが可
能となる。

【００６３】ウィンドウ情報抽出装置，座標算出装置，
記号判定装置等を有する図化ユニットを備える構成にお
いては、イベントを処理したウィンドウにそれぞれ特定
の座標値を割り当て、かつイベントの対象となったオブ
ジェクトの種類毎に特定の記号を割り当ててグラフ化す
ることができ、時系列上の対話の流れを総合的に表示す
ることができる。

【００６４】データ蓄積装置等を有する図化ユニットを
備える構成においては、カーソル移動距離，ウィンドウ
遷移回数などといった累積値を棒グラフ等でグラフ化す
ることができ、統計的な観点から対話状況を分析するこ
とができる。

【図面の簡単な説明】

【図１】本発明の実施例のブロック図である。

【図２】本発明で記録される対話履歴の例を示す図であ
る。

【図３】入力イベントと表示システムの生成，消去のタ
イミングを説明するための図である。

【図４】本発明の別の実施例の要部ブロック図である。

【図５】図化ユニットによって生成される図の例を示す
図である。

【図６】図化ユニットの構成例を示すブロック図であ
る。

【図７】図６の図化ユニットによって生成される図の例
を示す図である。

【図８】図化ユニットの別の構成例を示すブロック図で
ある。

【図９】図８の図化ユニットによって生成される図の例
を示す図である。

【図１０】複数の図を１画面に配置して同時に表示した
例を示す図である。

【符号の説明】

１０…評価対象である、ＧＵＩを有する対話システム １１…入出力部 １２…ＧＵＩ制御部 １３…対話処理部 １０１…イベント検出装置 １０２…状態検出装置 １０３…信号捕獲装置 １０４…対話履歴記録装置 １０５…条件判定装置 １０６…検索装置 １０７…図化装置 １０８…配置装置 １０９…表示装置 １１０…表示制御装置 １１１…入力装置 １２０…対話履歴記録部 １３０…対話履歴分析部 ４０１…イベント検出装置１０１，状態検出装置１０
２，信号捕獲装置１０３，条件判定装置１０５を含む装
置群 ４０２…ＡＰ検出装置 ４０３…ＡＰ記録装置 ６０１…ウィンドウ情報抽出装置 ６０２…時刻抽出装置 ６０３…オブジェクト抽出装置 ６０４…座標算出装置 ６０５…記号判定装置 ６０６…記号記録装置 ６０７…グラフ作成装置 ８０１…データ蓄積装置 ８０２…グラフ化装置

Claims (7)

【特許請求の範囲】
1. 【請求項１】 対話履歴記録部とこの対話履歴記録部に
   記録された対話履歴を図示化する対話履歴分析部とを有
   し、入出力部とグラフィカルユーザインタフェース制御
   部と対話処理部とを含む対話システムの操作性を評価す
   る装置であって、 前記対話履歴記録部に、 前記グラフィカルユーザインタフェース制御部から基準
   とするイベントを検出し且つその検出時点でトリガ信号
   を発するイベント検出装置と、 前記トリガ信号に同期して前記対話システムの状態を表
   す対話状態パラメータを検出する複数の状態検出ユニッ
   トを有する状態検出装置と、 前記検出された基準イベントと前記各状態検出ユニット
   で検出された複数のパラメータとを互いに関連づけて対
   話履歴として記録する対話履歴記録装置とを備えること
   を特徴とするグラフィカルユーザインタフェースを有す
   る対話システムの操作性評価装置。
2. 【請求項２】 前記対話履歴分析部に、 前記対話履歴記録装置に対する検索を司る検索装置と、 それぞれが前記検索装置を介して前記対話履歴記録装置
   から対話履歴を取得して自ユニットが担う図を生成する
   複数の図化ユニットを有する図化装置と、 この図化装置で生成された複数の図を表示装置の画面内
   に配置して同時に表示する配置装置とを備えることを特
   徴とする請求項１記載のグラフィカルユーザインタフェ
   ースを有する対話システムの操作性評価装置。
3. 【請求項３】 前記対話履歴記録部に、 前記状態検出装置をモニタし前記イベント検出装置の発
   するトリガ信号に同期して全ての或いは特定の前記状態
   検出ユニットが前記対話状態パラメータの検出を完了し
   たことを判定してトリガ信号を発する条件判定装置と、 前記グラフィカルユーザインタフェース制御部から前記
   対話処理部に送られるイベント信号を前記条件判定装置
   からトリガ信号が発せられるまで一時的に捕獲する信号
   捕獲装置とを備えることを特徴とする請求項２記載のグ
   ラフィカルユーザインタフェースを有する対話システム
   の操作性評価装置。
4. 【請求項４】 評価対象とするアプリケーションを示す
   コードを記録するＡＰ記録装置と、 前記対話処理部をモニタし前記ＡＰ記録装置に記録され
   たコードのアプリケーションが駆動されている期間に限
   って駆動信号を出力するＡＰ検出装置とを備え、 前記対話履歴記録部は、前記駆動信号が出力されている
   期間に限り対話履歴の記録動作を行うことを特徴とする
   請求項２記載のグラフィカルユーザインタフェースを有
   する対話システムの操作性評価装置。
5. 【請求項５】 前記対話履歴分析部に、 前記表示装置の画面に表示された何れかの図における特
   定の箇所を指示するための入力装置と、 前記指示された特定の箇所を強調表示すると共に、その
   他の図の前記指定された箇所に対応する部分を強調表示
   する表示制御装置とを備えることを特徴とする請求項２
   記載のグラフィカルユーザインタフェースを有する対話
   システムの操作性評価装置。
6. 【請求項６】 前記図化ユニットの少なくとも１つに、 前記対話履歴に記録されている基準イベントに対しこれ
   を処理したウィンドウを判定するウィンドウ情報抽出装
   置と、 前記対話履歴に記録されている基準イベントの発生時刻
   を前記対話履歴から抽出する時刻抽出装置と、 前記ウィンドウ情報抽出装置が判定したウィンドウの種
   類毎にｘ座標値，ｙ座標値の何れか一方の座標値を割り
   当て、前記時刻抽出装置が検索した発生時刻に対し他方
   の座標値を順次に割り当てる座標算出装置と、 前記対話履歴から前記基準イベントの対象となったオブ
   ジェクトを検出するオブジェクト抽出装置と、 各基準イベントの対象となるオブジェクト毎の記号を記
   録する記号記録装置と、 前記オブジェクト抽出装置で検出されたオブジェクトに
   対応する記号を前記記号記録装置を参照して判定する記
   号判定装置と、 前記座標算出装置で割り当てられたウィンドウおよび発
   生時刻の座標値ならびに前記記号判定装置で判定された
   記号に基づき対話の流れを示すグラフを生成するグラフ
   作成装置とを備えることを特徴とする請求項５記載のグ
   ラフィカルユーザインタフェースを有する対話システム
   の操作性評価装置。
7. 【請求項７】 前記図化ユニットの少なくとも１つに、 前記対話履歴記録装置に記録された或る期間内の対話履
   歴に基づき、その期間内において変化した物理的な事象
   の累積値を算出する少なくとも１つのデータ蓄積ユニッ
   トを有するデータ蓄積装置と、 このデータ蓄積装置で算出された累積値を入力して累積
   値グラフを作成するグラフ化装置とを備えることを特徴
   とする請求項５記載のグラフィカルユーザインタフェー
   スを有する対話システムの操作性評価装置。