JP2616563B2 - ユーザインタフェース評価装置 - Google Patents
ユーザインタフェース評価装置Info
- Publication number
- JP2616563B2 JP2616563B2 JP6170601A JP17060194A JP2616563B2 JP 2616563 B2 JP2616563 B2 JP 2616563B2 JP 6170601 A JP6170601 A JP 6170601A JP 17060194 A JP17060194 A JP 17060194A JP 2616563 B2 JP2616563 B2 JP 2616563B2
- Authority
- JP
- Japan
- Prior art keywords
- storage device
- pattern
- data
- condition
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】本発明はユーザインタフェース評
価装置に関し、特にユーザインタフェース部を有する対
話システムの操作性（使いやすさ）を評価するユーザイ
ンタフェース評価装置に関する。
価装置に関し、特にユーザインタフェース部を有する対
話システムの操作性（使いやすさ）を評価するユーザイ
ンタフェース評価装置に関する。
【０００２】
【従来の技術】従来から、使いやすい対話システムを開
発するため、設計された対話システムに内在する使いに
くさの問題点を抽出しこれを改善することが試みられて
いる。例えば、被験者に被評価システムを実際に操作し
てもらい、このときの対話の状況を、ユーザインタフェ
ース評価装置で分析することによって、使いやすさを評
価することが行われているが、この場合、ユーザインタ
フェース評価装置によっては、被験者の個人差が評価結
果に大きな影響を与えることも考えられる。この個人差
の影響を低減させることが可能なユーザインタフェース
評価装置の一例として、情報処理学会研究報告、Ｖｏ
ｌ．９３、Ｎｏ．８０、２５頁〜３２頁（１９９３年９
月１７日発行）には、複数の被験者から得られた対話履
歴の間に共通する誤操作パタンを自動的に抽出し、誰も
が同じように行ってしまう誤操作を見つけることが可能
な、ユーザインタフェース評価装置が提案されている。
このユーザインタフェース評価装置の使用により、誤操
作の観点から、操作者の個人差の影響を最小限に抑えた
客観的な評価を行うことができるようになっている。
発するため、設計された対話システムに内在する使いに
くさの問題点を抽出しこれを改善することが試みられて
いる。例えば、被験者に被評価システムを実際に操作し
てもらい、このときの対話の状況を、ユーザインタフェ
ース評価装置で分析することによって、使いやすさを評
価することが行われているが、この場合、ユーザインタ
フェース評価装置によっては、被験者の個人差が評価結
果に大きな影響を与えることも考えられる。この個人差
の影響を低減させることが可能なユーザインタフェース
評価装置の一例として、情報処理学会研究報告、Ｖｏ
ｌ．９３、Ｎｏ．８０、２５頁〜３２頁（１９９３年９
月１７日発行）には、複数の被験者から得られた対話履
歴の間に共通する誤操作パタンを自動的に抽出し、誰も
が同じように行ってしまう誤操作を見つけることが可能
な、ユーザインタフェース評価装置が提案されている。
このユーザインタフェース評価装置の使用により、誤操
作の観点から、操作者の個人差の影響を最小限に抑えた
客観的な評価を行うことができるようになっている。
【０００３】
【発明が解決しようとする課題】上述した従来のユーザ
インタフェース評価装置は、複数の被験者から得られた
対話履歴の間に共通する誤操作パタンを自動的に抽出
し、誰もが同じように行ってしまう誤操作を見つけるこ
とでは、個人差の影響を低減させている。しかし、誰も
が同じところで正しい操作を見つけるまでに長い時間が
かかってしまい使いにくいといった、操作時間の観点か
ら見た場合の問題個所については、このとき行われた操
作自体は正しいものであるため、誤操作パタンには該当
せず、共通的な誤操作を抽出するという従来のユーザイ
ンタフェース評価装置では、このような操作時間がかか
り過ぎて使いにくいといった、操作時間の観点から見た
問題個所を見つけることはできないという問題点があ
る。
インタフェース評価装置は、複数の被験者から得られた
対話履歴の間に共通する誤操作パタンを自動的に抽出
し、誰もが同じように行ってしまう誤操作を見つけるこ
とでは、個人差の影響を低減させている。しかし、誰も
が同じところで正しい操作を見つけるまでに長い時間が
かかってしまい使いにくいといった、操作時間の観点か
ら見た場合の問題個所については、このとき行われた操
作自体は正しいものであるため、誤操作パタンには該当
せず、共通的な誤操作を抽出するという従来のユーザイ
ンタフェース評価装置では、このような操作時間がかか
り過ぎて使いにくいといった、操作時間の観点から見た
問題個所を見つけることはできないという問題点があ
る。
【０００４】本発明の目的は、複数の操作者の対話履歴
から、操作の正誤にかかわらず操作時間に関する共通的
傾向を自動的に抽出し、操作者の個人差の影響を最小限
に抑え客観的な評価を可能にするユーザインタフェース
評価装置を提供することにある。
から、操作の正誤にかかわらず操作時間に関する共通的
傾向を自動的に抽出し、操作者の個人差の影響を最小限
に抑え客観的な評価を可能にするユーザインタフェース
評価装置を提供することにある。
【０００５】
【課題を解決するための手段】本発明のユーザインタフ
ェース評価装置は、操作者がユーザインタフェース部を
有する対話システムを操作したときに得られる一つない
し複数の対話履歴の中から任意に定めた条件を満足する
すべてのパタンのデータを抽出するパタン抽出装置と、
前記パタン抽出装置で用いる任意に定めた条件の集合を
保存する条件保存装置と、前記パタン抽出装置が抽出し
たパタンのデータを保存するパタン保存装置と、前記パ
タン保存装置の保存するパタンのデータに含まれる操作
時間データを集計する集計装置と、前記集計装置が求め
た集計値の集合を保存する集計値保存装置と、前記集計
値保存装置が保存する操作時間データの集計値の集合か
ら集計結果を表す図表を作成し出力装置に表示する表示
制御装置とを有する構成である。
ェース評価装置は、操作者がユーザインタフェース部を
有する対話システムを操作したときに得られる一つない
し複数の対話履歴の中から任意に定めた条件を満足する
すべてのパタンのデータを抽出するパタン抽出装置と、
前記パタン抽出装置で用いる任意に定めた条件の集合を
保存する条件保存装置と、前記パタン抽出装置が抽出し
たパタンのデータを保存するパタン保存装置と、前記パ
タン保存装置の保存するパタンのデータに含まれる操作
時間データを集計する集計装置と、前記集計装置が求め
た集計値の集合を保存する集計値保存装置と、前記集計
値保存装置が保存する操作時間データの集計値の集合か
ら集計結果を表す図表を作成し出力装置に表示する表示
制御装置とを有する構成である。
【０００６】本発明のユーザインタフェース評価装置
は、前記条件保存装置の保存する任意に定めた条件が、
操作の分類および操作回数を含んでもよい。
は、前記条件保存装置の保存する任意に定めた条件が、
操作の分類および操作回数を含んでもよい。
【０００７】
【作用】本発明のユーザインタフェース評価装置におい
ては、操作者の行った対話が特定の状況にあるときに要
した操作時間のデータを、複数の操作者の対話履歴のデ
ータの中から抽出し、集計する。このデータ抽出のため
に、注目すべき対話の状況を規定する条件を設定し、対
話履歴のデータの個々の要素（対話システムの各時点で
の状態と、そのときに操作者が行った操作）が条件を満
足するかどうかを判定する。この条件は、使いやすさ評
価の目的上ノイズとなるデータを計算から除外するため
のものであり、例えば「任意の状態Ｓのときに行った正
解操作の時間だけに注目する」、「任意の状態Ｓのとき
に行った１回目の操作の時間だけに注目する」などであ
る。条件を満足した操作時間データの集合を保存し、こ
のデータを用いて操作時間の統計量を計算する。さら
に、計算された統計量の値を図表の形式で出力装置に表
示する。
ては、操作者の行った対話が特定の状況にあるときに要
した操作時間のデータを、複数の操作者の対話履歴のデ
ータの中から抽出し、集計する。このデータ抽出のため
に、注目すべき対話の状況を規定する条件を設定し、対
話履歴のデータの個々の要素（対話システムの各時点で
の状態と、そのときに操作者が行った操作）が条件を満
足するかどうかを判定する。この条件は、使いやすさ評
価の目的上ノイズとなるデータを計算から除外するため
のものであり、例えば「任意の状態Ｓのときに行った正
解操作の時間だけに注目する」、「任意の状態Ｓのとき
に行った１回目の操作の時間だけに注目する」などであ
る。条件を満足した操作時間データの集合を保存し、こ
のデータを用いて操作時間の統計量を計算する。さら
に、計算された統計量の値を図表の形式で出力装置に表
示する。
【０００８】以上述べたように 本発明のユーザインタ
フェース評価装置は、複数の操作者の対話履歴のデータ
から、操作時間に関する共通的傾向を自動的に抽出し、
図表を用いて評価者に表示できるため、操作時間の側面
から、操作者の個人差の影響を最小限に抑えた客観的な
評価が可能となる。
フェース評価装置は、複数の操作者の対話履歴のデータ
から、操作時間に関する共通的傾向を自動的に抽出し、
図表を用いて評価者に表示できるため、操作時間の側面
から、操作者の個人差の影響を最小限に抑えた客観的な
評価が可能となる。
【０００９】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
て説明する。
【００１０】図１は本発明の一実施例のブロック図であ
る。
る。
【００１１】本発明のユーザインタフェース評価装置１
は、操作者がユーザインタフェース部を有する被評価装
置１０を操作したときに得られる一つないし複数の対話
履歴を対話履歴収集装置１１が収集し、この対話履歴収
集装置１１が収集した対話履歴を保存する対話履歴保存
装置１２と接続している。ユーザインタフェース評価装
置１の内部には、対話履歴保存装置１２の保存する対話
履歴を受け、この中から任意に定めた条件を満足するす
べてのパタンのデータを抽出するパタン抽出装置２と、
パタン抽出装置２で用いる任意に定めた条件の集合を保
存する条件保存装置３と、パタン抽出装置２が抽出した
パタンのデータを保存するパタン保存装置４と、パタン
保存装置４の保存するパタンのデータに含まれる操作時
間データを集計する集計装置５と、集計装置５が求めた
集計値の集合を保存する集計値保存装置６と、集計値保
存装置６が保存する操作時間データの集計値の集合から
集計結果を表す図表を作成し、外部の出力装置１４を制
御して表示する表示制御装置７とが備えられている。
は、操作者がユーザインタフェース部を有する被評価装
置１０を操作したときに得られる一つないし複数の対話
履歴を対話履歴収集装置１１が収集し、この対話履歴収
集装置１１が収集した対話履歴を保存する対話履歴保存
装置１２と接続している。ユーザインタフェース評価装
置１の内部には、対話履歴保存装置１２の保存する対話
履歴を受け、この中から任意に定めた条件を満足するす
べてのパタンのデータを抽出するパタン抽出装置２と、
パタン抽出装置２で用いる任意に定めた条件の集合を保
存する条件保存装置３と、パタン抽出装置２が抽出した
パタンのデータを保存するパタン保存装置４と、パタン
保存装置４の保存するパタンのデータに含まれる操作時
間データを集計する集計装置５と、集計装置５が求めた
集計値の集合を保存する集計値保存装置６と、集計値保
存装置６が保存する操作時間データの集計値の集合から
集計結果を表す図表を作成し、外部の出力装置１４を制
御して表示する表示制御装置７とが備えられている。
【００１２】図２は本実施例における操作者の対話履歴
と正解の対話履歴の構成対応図である。図２分図(a) は
操作者i(ただしi=1,2,…,I) の対話履歴Uiを表し、図２
分図(b) は正解の対話履歴U'を表す。
と正解の対話履歴の構成対応図である。図２分図(a) は
操作者i(ただしi=1,2,…,I) の対話履歴Uiを表し、図２
分図(b) は正解の対話履歴U'を表す。
【００１３】図３はパタン抽出装置のデータ処理のアル
ゴリズムを示す流れ図である。
ゴリズムを示す流れ図である。
【００１４】図４は操作者の対話履歴からパタンを抽出
する条件の集合を説明するための説明図である。
する条件の集合を説明するための説明図である。
【００１５】図５は図４で示される条件の集合を形成す
る要素を説明するための説明図である。
る要素を説明するための説明図である。
【００１６】図６は集計装置のデータ処理のアルゴリズ
ムを示す流れ図である。
ムを示す流れ図である。
【００１７】図７は操作時間の平均と標準偏差とを表す
図表の一例を説明するための説明図である。
図表の一例を説明するための説明図である。
【００１８】図８は操作時間の平均のみを表す図表の一
例を説明するための説明図である。
例を説明するための説明図である。
【００１９】図９は実際の操作時間データの分布を表す
図表の一例を説明するための説明図である。
図表の一例を説明するための説明図である。
【００２０】次に動作について説明する。説明には主に
図１を使用し、適宜他の図面を引用する。
図１を使用し、適宜他の図面を引用する。
【００２１】対話履歴収集装置１１は、操作者が被評価
装置１０を用いて任意の作業を行うとき、操作者が被評
価装置１０に対して行う入力操作と、操作者がこの入力
操作を選択するまでに要した時間と、該当の入力に対す
る応答を行った後の被評価装置１０の内部状態とをモニ
タして収集する。対話履歴の内容は、入力操作と内部状
態と操作時間の３つを基本単位としたものである。
装置１０を用いて任意の作業を行うとき、操作者が被評
価装置１０に対して行う入力操作と、操作者がこの入力
操作を選択するまでに要した時間と、該当の入力に対す
る応答を行った後の被評価装置１０の内部状態とをモニ
タして収集する。対話履歴の内容は、入力操作と内部状
態と操作時間の３つを基本単位としたものである。
【００２２】即ち、操作者i(ただしi=1,2,…,I) の対話
履歴Uiは、図２分図(a) に示すように、Ui={Si(0),T
i(1),ti(1),Si(1),…,Ti(j),ti(j), Si(j),…,Ti(Ji),t
i(Ji),Si(Ji)} となる。ここで、Si(j)(ただしj=0,1,
…,Ji)は、対話の各時点j における被評価装置１０の内
部状態（特にSi(0) は初期状態、Si(Ji)は最終状態）で
あり、Ti(j)(ただしj=1,2,…,Ji)は、対話の各時点j に
おける被評価装置１０に対する操作者の入力操作（特に
Ti(Ji)は最終操作）であり、ti(j)(ただしj=1,2,…,Ji)
は、被評価装置１０が状態Si(j-1) に遷移して入力待ち
状態になってから、操作者が入力操作Ti(j) を選択する
までにかかった時間である。
履歴Uiは、図２分図(a) に示すように、Ui={Si(0),T
i(1),ti(1),Si(1),…,Ti(j),ti(j), Si(j),…,Ti(Ji),t
i(Ji),Si(Ji)} となる。ここで、Si(j)(ただしj=0,1,
…,Ji)は、対話の各時点j における被評価装置１０の内
部状態（特にSi(0) は初期状態、Si(Ji)は最終状態）で
あり、Ti(j)(ただしj=1,2,…,Ji)は、対話の各時点j に
おける被評価装置１０に対する操作者の入力操作（特に
Ti(Ji)は最終操作）であり、ti(j)(ただしj=1,2,…,Ji)
は、被評価装置１０が状態Si(j-1) に遷移して入力待ち
状態になってから、操作者が入力操作Ti(j) を選択する
までにかかった時間である。
【００２３】又、操作者が行った作業に関する被評価装
置の正解の操作手順（設計者の意図する操作手順であ
り、通常は、任意の作業を達成するために必要かつ最小
な手順のこと）に従って、一つ一つの操作に標準的な時
間をかけて作業を行った場合を想定し（この標準時間
は、例えば理論的な式を用いて計算する）、図２分図
(b)に示すように、正解の対話履歴U'={S'(0),T'(1),t'
(1),S'(1),…,T'(k),t'(k),S'(k),…,T'(K),t'(K),S'
(K)} を対話履歴Uiと同形式で記録する。
置の正解の操作手順（設計者の意図する操作手順であ
り、通常は、任意の作業を達成するために必要かつ最小
な手順のこと）に従って、一つ一つの操作に標準的な時
間をかけて作業を行った場合を想定し（この標準時間
は、例えば理論的な式を用いて計算する）、図２分図
(b)に示すように、正解の対話履歴U'={S'(0),T'(1),t'
(1),S'(1),…,T'(k),t'(k),S'(k),…,T'(K),t'(K),S'
(K)} を対話履歴Uiと同形式で記録する。
【００２４】これらの対話履歴{U1,U2,…,UI,U'} を対
話履歴保存装置１２に保存する。
話履歴保存装置１２に保存する。
【００２５】次に、ユーザインタフェース評価装置１で
は、パタン抽出装置２が、対話履歴{U1,U2, …,UI}のな
かから、任意の条件Rp（ただしp=1,2,…,P）を満足する
パタンをすべて抽出する。対象とする操作が、正解操作
か誤操作かを判定するため、正解の対話履歴U'も条件判
定に用いる。このパタン抽出に用いる条件{R1,R2, …,R
P}は、条件保存装置３に保存してある。パタン抽出装置
２は、抽出したパタンのデータをパタン保存装置４に保
存する。
は、パタン抽出装置２が、対話履歴{U1,U2, …,UI}のな
かから、任意の条件Rp（ただしp=1,2,…,P）を満足する
パタンをすべて抽出する。対象とする操作が、正解操作
か誤操作かを判定するため、正解の対話履歴U'も条件判
定に用いる。このパタン抽出に用いる条件{R1,R2, …,R
P}は、条件保存装置３に保存してある。パタン抽出装置
２は、抽出したパタンのデータをパタン保存装置４に保
存する。
【００２６】集計装置５では、パタン保存装置４に保存
されたパタンのデータに含まれる操作時間データを読み
込み、このデータを用いて、例えば操作時間の平均や標
準偏差の値を計算することにより、複数の操作者に関す
る操作時間の集計を行う。
されたパタンのデータに含まれる操作時間データを読み
込み、このデータを用いて、例えば操作時間の平均や標
準偏差の値を計算することにより、複数の操作者に関す
る操作時間の集計を行う。
【００２７】次に、パタン抽出装置２におけるデータ処
理のアルゴリズムを図３を用いて説明する。
理のアルゴリズムを図３を用いて説明する。
【００２８】 動作を開始すると、ステップ（以下Ｓｔ
と記す）１〜３では、条件番号ｐと、正解対話の時点ｋ
と、操作者番号ｉとのそれぞれについて、順次初期設定
する。次に、Ｓｔ４では、抽出パタンを示す添字集合C
pkiを空集合｛φ｝として初期化し、Ｓｔ５で操作者ｉ
の対話の時点ｊを初期設定する。続いてＳｔ６〜１１で
は、操作者 i(=1,2,…,I) の対話履歴Uiのなかから、条
件Rpを満足するパタンを抽出し、その部分を表す添字ｊ
を集合Cpkiの要素として追加していく。例えば、「任意
の状態Ｓにおける操作Ｔが正解操作（又は誤操作）」と
いう条件や、「任意の状態Ｓにおける操作Ｔが１回目の
操作（又は２回目以降の操作）」という条件を用いる場
合、条件Rpは図４のように表される。ただし、図４の例
ではP=9 である。又、図４の中のq1〜q7は、具体的には
図５に示す内容である。例えば条件R4を用いる場合で
は、Si(j-1)=S'(k-1) でかつSi(j)=S'(k) であり、かつ
Ti(j)=T'(k) である場合に、添字ｊで示される対話履歴
Ui中のパタンのデータ{Ti(j),ti(j),Si(j)} が条件を満
足すると判定され、ｊが集合Cpkiの要素として追加され
る。条件R1〜R3は、正解の操作と誤操作の両方を対象と
する場合の条件であり、条件R4〜R6は、正解の操作だけ
を対象とする場合の条件であり、条件R7〜R9は、誤操作
だけを対象とする場合の条件である。又、条件要素q6を
含む条件（即ちR2、R5、R8）は、操作者がある状態で１
回目に行った操作だけを対象とする場合の条件であり、
条件要素q7を含む条件（即ちR3、R6、R9）は、操作者が
ある状態で行った操作のなかで２回目以降のものだけを
対象とする場合の条件であり、条件要素q6とq7のどちら
も含まない条件（即ちR1、R4、R7）は、操作者がある状
態で行った操作を、何回目であっても構わずに対象とす
る場合の条件である。このパタン抽出処理が、Ｓｔ１２
〜１５ですべての k(=1,2,…,K) およびすべての p(=1,
2,…,P) についての設定を順次行うことで、すべての組
合せで実行可能となる。
と記す）１〜３では、条件番号ｐと、正解対話の時点ｋ
と、操作者番号ｉとのそれぞれについて、順次初期設定
する。次に、Ｓｔ４では、抽出パタンを示す添字集合C
pkiを空集合｛φ｝として初期化し、Ｓｔ５で操作者ｉ
の対話の時点ｊを初期設定する。続いてＳｔ６〜１１で
は、操作者 i(=1,2,…,I) の対話履歴Uiのなかから、条
件Rpを満足するパタンを抽出し、その部分を表す添字ｊ
を集合Cpkiの要素として追加していく。例えば、「任意
の状態Ｓにおける操作Ｔが正解操作（又は誤操作）」と
いう条件や、「任意の状態Ｓにおける操作Ｔが１回目の
操作（又は２回目以降の操作）」という条件を用いる場
合、条件Rpは図４のように表される。ただし、図４の例
ではP=9 である。又、図４の中のq1〜q7は、具体的には
図５に示す内容である。例えば条件R4を用いる場合で
は、Si(j-1)=S'(k-1) でかつSi(j)=S'(k) であり、かつ
Ti(j)=T'(k) である場合に、添字ｊで示される対話履歴
Ui中のパタンのデータ{Ti(j),ti(j),Si(j)} が条件を満
足すると判定され、ｊが集合Cpkiの要素として追加され
る。条件R1〜R3は、正解の操作と誤操作の両方を対象と
する場合の条件であり、条件R4〜R6は、正解の操作だけ
を対象とする場合の条件であり、条件R7〜R9は、誤操作
だけを対象とする場合の条件である。又、条件要素q6を
含む条件（即ちR2、R5、R8）は、操作者がある状態で１
回目に行った操作だけを対象とする場合の条件であり、
条件要素q7を含む条件（即ちR3、R6、R9）は、操作者が
ある状態で行った操作のなかで２回目以降のものだけを
対象とする場合の条件であり、条件要素q6とq7のどちら
も含まない条件（即ちR1、R4、R7）は、操作者がある状
態で行った操作を、何回目であっても構わずに対象とす
る場合の条件である。このパタン抽出処理が、Ｓｔ１２
〜１５ですべての k(=1,2,…,K) およびすべての p(=1,
2,…,P) についての設定を順次行うことで、すべての組
合せで実行可能となる。
【００２９】 集合Cpki（ただしp=1,2,…,Pおよびk=1,
2,…,Kおよびi=1,2,…,I）と、この集合Cpkiの要素ｊに
よって指し示されるすべてのパタンのデータ{Ti(j),t
i(j),Si(j)} が、パタン保存装置４に保存される。
2,…,Kおよびi=1,2,…,I）と、この集合Cpkiの要素ｊに
よって指し示されるすべてのパタンのデータ{Ti(j),t
i(j),Si(j)} が、パタン保存装置４に保存される。
【００３０】次に集計装置５におけるデータ処理のアル
ゴリズムを図６を用いて説明する。
ゴリズムを図６を用いて説明する。
【００３１】 Ｓｔ２１〜２２では、条件番号ｐと、正
解対話の時点ｋとのそれぞれについて、順次初期設定す
る。次に、Ｓｔ２３では、条件Rpを満足したパタンが対
話履歴{U1,U2, …,UI}のなかにいくつあったかをカウン
トし、すなわち集合Cpkiの要素の数を表している｜Cpki
｜を積算し、その値をＺに格納する。次に、Ｓｔ２４で
Z＝0 であることは、条件を満足するパタンが一つもな
かったことを表しているので、Ｓｔ２９，３０で状態S'
(k) において操作者が要した操作時間の平均μpkと、標
準偏差σpkとを、それぞれμpk=0、σpk=0とする。
解対話の時点ｋとのそれぞれについて、順次初期設定す
る。次に、Ｓｔ２３では、条件Rpを満足したパタンが対
話履歴{U1,U2, …,UI}のなかにいくつあったかをカウン
トし、すなわち集合Cpkiの要素の数を表している｜Cpki
｜を積算し、その値をＺに格納する。次に、Ｓｔ２４で
Z＝0 であることは、条件を満足するパタンが一つもな
かったことを表しているので、Ｓｔ２９，３０で状態S'
(k) において操作者が要した操作時間の平均μpkと、標
準偏差σpkとを、それぞれμpk=0、σpk=0とする。
【００３２】 次に、Ｓｔ２４で Z≠0 のときは、Ｓｔ
２５〜２８で条件を満足したパタンのデータに含まれる
操作時間データt i(j) を用いて、μpkとσpkを計算す
る。以下、この計算が、Ｓｔ３１〜３４ですべての k(=
1,2,…,K) およびすべての p(=1,2,…,P) についての設
定を順次行うことで、すべての組合せで実行可能とな
る。
２５〜２８で条件を満足したパタンのデータに含まれる
操作時間データt i(j) を用いて、μpkとσpkを計算す
る。以下、この計算が、Ｓｔ３１〜３４ですべての k(=
1,2,…,K) およびすべての p(=1,2,…,P) についての設
定を順次行うことで、すべての組合せで実行可能とな
る。
【００３３】計算されたμpkとσpk（ただしp=1,2,…,P
およびk=1,2,…,K）の値は集計値保存装置６に保存され
る。
およびk=1,2,…,K）の値は集計値保存装置６に保存され
る。
【００３４】 表示制御装置７では、対話履歴保存装置
１２に保存された正解の対話履歴U'、パタン保存装置４
に保存されたパタンのデータに含まれる操作時間データ
ti(j) （ただしi=1,2,…,Iおよび j∈Cpki）、および集
計値保存装置６に保存されたμpk、σpk（ただしp=1,2,
…,Pおよびk=1,2,…,K）の値を用いて、出力装置１４に
図表を表示させる。図７〜図９はこの図表の例である。
図７に示すノード７０１およびアーク７０２は、それぞ
れ正解の対話履歴U'における状態S'(k) および操作T'
(k) を表しており（図中の他のノードとアークも同様で
ある）、グラフ記号７０３、７０４はそれぞれ、任意の
ｐに関する平均μpkと標準偏差σpkの大きさを表してい
る（k=1,2,…,K）。このグラフにより、正解の対話履歴
U'の各状態S'(k) ごとの、複数の操作者が要した操作時
間の平均や標準偏差の値の大きさを、グラフ記号７０３
や７０４の大きさによって視覚的に把握することができ
る。又、図８では、ノード８０１とアーク８０２とは、
図７と同様、それぞれ正解の対話履歴U'における状態S'
(k) および操作T'(k) を表しており、ノードの大きさ
（面積）が平均μpkの値に比例するよう表示している。
このグラフにより、基準対話の状態遷移の流れを、操作
時間の情報と関連させて直感的に把握することができ
る。又、図９では、ノード９０１とアーク９０２とは、
図７と同様、それぞれ正解の対話履歴U'における状態S'
(k) および操作T'(k) を表しており、プロット点９０３
は、任意のｐに関するti(j) の値を表す（ただしi=1,2,
…,Iおよび j∈Cpki）。このグラフにより、平均μpkと
標準偏差σpkとの値だけからでは把握できない実際のデ
ータ分布を、プロット点によって視覚的に把握すること
ができるようになる。
１２に保存された正解の対話履歴U'、パタン保存装置４
に保存されたパタンのデータに含まれる操作時間データ
ti(j) （ただしi=1,2,…,Iおよび j∈Cpki）、および集
計値保存装置６に保存されたμpk、σpk（ただしp=1,2,
…,Pおよびk=1,2,…,K）の値を用いて、出力装置１４に
図表を表示させる。図７〜図９はこの図表の例である。
図７に示すノード７０１およびアーク７０２は、それぞ
れ正解の対話履歴U'における状態S'(k) および操作T'
(k) を表しており（図中の他のノードとアークも同様で
ある）、グラフ記号７０３、７０４はそれぞれ、任意の
ｐに関する平均μpkと標準偏差σpkの大きさを表してい
る（k=1,2,…,K）。このグラフにより、正解の対話履歴
U'の各状態S'(k) ごとの、複数の操作者が要した操作時
間の平均や標準偏差の値の大きさを、グラフ記号７０３
や７０４の大きさによって視覚的に把握することができ
る。又、図８では、ノード８０１とアーク８０２とは、
図７と同様、それぞれ正解の対話履歴U'における状態S'
(k) および操作T'(k) を表しており、ノードの大きさ
（面積）が平均μpkの値に比例するよう表示している。
このグラフにより、基準対話の状態遷移の流れを、操作
時間の情報と関連させて直感的に把握することができ
る。又、図９では、ノード９０１とアーク９０２とは、
図７と同様、それぞれ正解の対話履歴U'における状態S'
(k) および操作T'(k) を表しており、プロット点９０３
は、任意のｐに関するti(j) の値を表す（ただしi=1,2,
…,Iおよび j∈Cpki）。このグラフにより、平均μpkと
標準偏差σpkとの値だけからでは把握できない実際のデ
ータ分布を、プロット点によって視覚的に把握すること
ができるようになる。
【００３５】
【発明の効果】以上説明したように、本発明は、操作者
が対話システムを操作したことで得られる対話履歴から
任意に定めた条件を満足するすべてのパタンのデータを
抽出し、このパタンのデータに含まれる操作時間データ
を集計し、この集計値の集合から操作時間に関する共通
的傾向を自動的に抽出し、図表を用いて評価者に表示す
るようにしたので、操作時間の観点から、操作者の個人
差の影響を最小限に抑えた客観的な評価が可能になると
いう効果が有る。
が対話システムを操作したことで得られる対話履歴から
任意に定めた条件を満足するすべてのパタンのデータを
抽出し、このパタンのデータに含まれる操作時間データ
を集計し、この集計値の集合から操作時間に関する共通
的傾向を自動的に抽出し、図表を用いて評価者に表示す
るようにしたので、操作時間の観点から、操作者の個人
差の影響を最小限に抑えた客観的な評価が可能になると
いう効果が有る。
【図１】本発明の一実施例のブロック図である。
【図２】本実施例における操作者の対話履歴と正解の対
話履歴の構成対応図である。
話履歴の構成対応図である。
【図３】 パタン抽出装置のデータ処理のアルゴリズム
を示す流れ図である。
を示す流れ図である。
【図４】操作者の対話履歴からパタンを抽出する条件の
集合を説明するための説明図である。
集合を説明するための説明図である。
【図５】図４で示される条件の集合を形成する要素を説
明するための説明図である。
明するための説明図である。
【図６】集計装置のデータ処理のアルゴリズムを示す流
れ図である。
れ図である。
【図７】操作時間の平均と標準偏差とを表す図表の一例
を説明するための説明図である。
を説明するための説明図である。
【図８】操作時間の平均のみを表す図表の一例を説明す
るための説明図である。
るための説明図である。
【図９】実際の操作時間データの分布を表す図表の一例
を説明するための説明図である。
を説明するための説明図である。
１ ユーザインタフェース評価装置 ２ パタン抽出装置 ３ 条件保存装置 ４ パタン保存装置 ５ 集計装置 ６ 集計値保存装置 ７ 表示制御装置 １０ 被評価装置 １１ 対話履歴収集装置 １２ 対話履歴保存装置 １４ 出力装置
フロントページの続き (56)参考文献 「情報処理学会研究報告」ＶＯＬ．93 ＮＯ．80（93−ＨＩ−50）（1993年９ 月）Ｐ．17−24 「情報処理学会研究報告」ＶＯＬ．93 ＮＯ．80（93−ＨＩ−50）（1993年９ 月）Ｐ．33−40 「情報処理学会研究報告」ＶＯＬ．92 ＮＯ．15（92−ＨＩ−41）（1992年３ 月）Ｐ．77−84 「情報処理学会研究報告」ＶＯＬ．91 ＮＯ．76（91−ＨＩ−38）（1991年９ 月）Ｐ．１−７ 「情報処理学会研究報告」ＶＯＬ．93 ＮＯ．15（93−ＨＩ−47）（1993年３ 月）Ｐ．７−14 「第８回ヒューマンインターフェース シンポジウム」（1992年）情報処理学会 「情報処理学会研究報告」ＶＯＬ．93 ＮＯ．80（93−ＨＩ−50）（1993年) Ｐ．25−32 「情報処理学会研究報告」ＶＯＬ．94 ＮＯ．34（94−ＨＩ−54）（1994年５ 月）Ｐ．25−32
Claims (4)
- 【請求項１】操作者がユーザインタフェース部を有する
対話システムを操作したときに得られる一つないし複数
の対話履歴の中から任意に定めた条件を満足するすべて
のパタンのデータを抽出するパタン抽出装置と、 前記パタン抽出装置で用いる任意に定めた条件の集合を
保存する条件保存装置と、 前記パタン抽出装置が抽出したパタンのデータを保存す
るパタン保存装置と、 前記パタン保存装置の保存するパタンのデータに含まれ
る操作時間データを集計する集計装置と、 前記集計装置が求めた集計値の集合を保存する集計値保
存装置と、 前記集計値保存装置が保存する操作時間データの集計値
の集合から集計結果を表す図表を作成し出力装置に表示
する表示制御装置とを有することを特徴とするユーザイ
ンタフェース評価装置。 - 【請求項２】前記条件保存装置の保存する任意に定めた
条件が、操作の分類および操作回数を含むことを特徴と
する請求項１記載のユーザインタフェース評価装置。 - 【請求項３】操作者がユーザインタフェース部を有する
対話システムを操作したときの対話履歴として、前記操
作者が前記対話システムに行った入力操作に関するデー
タと、前記対話システムの内部状態に関するデータと、
前記入力操作を選択するまでに要した操作時間に関する
データを収集する対話履歴収集装置と、前記入力操作と
前記内部状態と前記操作時間からなる対話履歴を複数保
存する対話履歴保存装置とを少なくとも備えるユーザイ
ンタフェース評価装置において、 前記対話履歴保存装置に複数保存された対話履歴の中か
ら任意の条件を満足するパタンを抽出するために１つ以
上の前記条件を保存した条件保存装置と、 前記条件保存装置に保存された条件を読み込み、前記対
話履歴保存装置に複数保存された対話履歴から、前記条
件を満足するパタンを抽出するパタン抽出装置 と、 前記パタン抽出装置で抽出されたパタンを保存するパタ
ン保存装置と、 前記パタン保存装置に保存された前記パタンに含まれて
いる操作時間を取り出し、前記操作時間の平均と標準偏
差のどちらか一方もしくは両方の計算を行う集計装置
と、 前記集計装置で計算されたデータを保存する集計値保存
装置と、 前記集計値保存装置で保存されたデータを図表として出
力装置に表示させる表示制御装置と を有することを特徴
とするユーザインタフェース評価装置。 - 【請求項４】請求項３に記載のユーザインタフェース評
価装置において、 前記対話履歴保存装置に正解の対話履歴をさらに保存
し、 前記条件保存装置において保存する条件が、少なくとも
前記操作者が前記対話システムに対して行った操作が正
解の操作もしくは誤操作であるかを記述することがで
き、 前記パタン抽出装置においては、前記条件保存装置に保
存された条件を読み込み、前記対話履歴保存装置に保存
された正解の対話履歴と、前記対話履歴保存装置に複数
保存された対話履歴から、前記条件を満足するパタンを
抽出することを特徴とするユーザインタフェース評価装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6170601A JP2616563B2 (ja) | 1994-07-22 | 1994-07-22 | ユーザインタフェース評価装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6170601A JP2616563B2 (ja) | 1994-07-22 | 1994-07-22 | ユーザインタフェース評価装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0836510A JPH0836510A (ja) | 1996-02-06 |
| JP2616563B2 true JP2616563B2 (ja) | 1997-06-04 |
Family
ID=15907879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6170601A Expired - Fee Related JP2616563B2 (ja) | 1994-07-22 | 1994-07-22 | ユーザインタフェース評価装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2616563B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH103410A (ja) * | 1996-06-17 | 1998-01-06 | Nec Corp | ユーザインタフェース評価装置 |
| JP3901975B2 (ja) * | 2001-10-01 | 2007-04-04 | 株式会社ノーバス | 評価方法およびプログラム |
| JP2004102564A (ja) | 2002-09-09 | 2004-04-02 | Fuji Xerox Co Ltd | ユーザビリティ評価支援装置 |
| JP2004110548A (ja) | 2002-09-19 | 2004-04-08 | Fuji Xerox Co Ltd | ユーザビリティ評価支援装置および方法 |
| JP4180630B2 (ja) * | 2006-11-27 | 2008-11-12 | 株式会社ノーバス | 評価装置 |
| JP4926117B2 (ja) * | 2008-04-18 | 2012-05-09 | 三菱電機株式会社 | 操作画面改善装置 |
| FR2952200A1 (fr) * | 2009-10-29 | 2011-05-06 | Alcatel Lucent | Dispositif et procede d'analyse automatique de l'utilisation de l'interface utilisateur d'une application |
-
1994
- 1994-07-22 JP JP6170601A patent/JP2616563B2/ja not_active Expired - Fee Related
Non-Patent Citations (8)
| Title |
|---|
| 「情報処理学会研究報告」ＶＯＬ．９１ＮＯ．７６（９１−ＨＩ−３８）（１９９１年９月）Ｐ．１−７ |
| 「情報処理学会研究報告」ＶＯＬ．９２ＮＯ．１５（９２−ＨＩ−４１）（１９９２年３月）Ｐ．７７−８４ |
| 「情報処理学会研究報告」ＶＯＬ．９３ＮＯ．１５（９３−ＨＩ−４７）（１９９３年３月）Ｐ．７−１４ |
| 「情報処理学会研究報告」ＶＯＬ．９３ＮＯ．８０（９３−ＨＩ−５０）（１９９３年）Ｐ．２５−３２ |
| 「情報処理学会研究報告」ＶＯＬ．９３ＮＯ．８０（９３−ＨＩ−５０）（１９９３年９月）Ｐ．１７−２４ |
| 「情報処理学会研究報告」ＶＯＬ．９３ＮＯ．８０（９３−ＨＩ−５０）（１９９３年９月）Ｐ．３３−４０ |
| 「情報処理学会研究報告」ＶＯＬ．９４ＮＯ．３４（９４−ＨＩ−５４）（１９９４年５月）Ｐ．２５−３２ |
| 「第８回ヒューマンインターフェースシンポジウム」（１９９２年）情報処理学会 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0836510A (ja) | 1996-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20070083854A1 (en) | Testing usability of a software program | |
| US8132051B2 (en) | Method and system for sampling input data | |
| US8515801B2 (en) | Automated methods and apparatus for analyzing business processes | |
| JP2616563B2 (ja) | ユーザインタフェース評価装置 | |
| JP5003084B2 (ja) | 業務監視装置、業務監視システム、業務監視方法およびプログラム | |
| CN111368104B (zh) | 信息处理方法、装置及设备 | |
| JP2020024529A (ja) | 作業管理システム | |
| JP7294348B2 (ja) | 業務効率化装置、業務効率化方法、及びプログラム | |
| JP2000200230A (ja) | クライアント・サ―バシステムの性能測定方法及びクライアント・サ―バシステム | |
| JPH11296480A (ja) | 遠隔障害監視システム | |
| US20060041668A1 (en) | Method and system to automatically define resources forming an it service | |
| JP2010250677A (ja) | セキュリティ評価装置及びセキュリティ評価装置のセキュリティ評価方法及びセキュリティ評価装置のセキュリティ評価プログラム | |
| JP3634085B2 (ja) | 実装工場診断システム | |
| Dohmen et al. | Combining data envelopment analysis and business process simulation for analyzing the efficiency of business processes | |
| CN112905430B (zh) | 日志输出方法、装置、存储介质及电子装置 | |
| JP3923773B2 (ja) | プラント異常事象診断装置とその診断方法、ならびに記録媒体 | |
| JP3085298B2 (ja) | ユーザインタフェース評価装置 | |
| JP2001331655A (ja) | 窓口端末装置及びオペレータの操作能力評価方法 | |
| JPH05197727A (ja) | 要員調査集計方法 | |
| Law et al. | Expert fit: how the expertfit distribution-fitting software can make your simulation models more valid | |
| CN114547414A (zh) | 数据互通抓取方法与系统 | |
| Law et al. | How the ExpertFit distribution-fitting software can make your simulation models more valid | |
| JPH10148656A (ja) | 半導体試験装置の自己診断装置及び自己診断方法 | |
| JP2782245B2 (ja) | 入力操作情報による推論処理装置および方法 | |
| CN114860121A (zh) | 网络安全等级保护中的信息匹配方法及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |