JP4370209B2 - 評価装置および方法 - Google Patents

Description

本発明は、ユーザの機器の使いやすさを評価するための技術に関するものである。

世の中に送り出される様々な機器は、ユーザの使用を前提にする場合、その使いやすさを事前に評価する必要がある。ユーザの機器の使いやすさはユーザビリティと呼ばれ、このユーザビリティ評価を適切に行うことにより、その評価結果を機器の設計修正や次回の機器の仕様決定に活用することができる。

従来のユーザビリティ評価方法としては、アンケート形式でユーザの主観評価を主に収集するもの、ユーザの機器の操作履歴情報を使用するもの、ビデオ撮影した画像からユーザの表情や行動を観察により抽出して困惑等の情報を抽出するもの等がある。ユーザの行動記録を用いて、ユーザの機器操作のタスクの達成度、ユーザの困惑度、ユーザの機器操作の印象などが評価できる。

また、ユーザの行動や状態を客観的に把握できる指標として、生理信号を用いる場合がある。生理信号の代表的なものとしては、心拍、脈拍、血圧、脳波などが挙げられ、その特徴としては、アンケート等の主観的な回答とは異なり、ユーザ自身も気がつかない生理状態の変化が記録できること、また外部からの観察では知ることのできない状態も記録できることなどがある。

以下、従来の技術を概観する。

まずは、インタフェース応用に関し、ユーザの操作履歴等を用いる方法がある、例えばキーボードの入力履歴を用いて、文章作成操作のアドバイスを生成したり、疲労度を測定したりする方法が考えられている。

生理信号を用いるものとしては、瞬きを監視することによってユーザの疲労を検出する方法や、特許文献１に開示されているユーザインタフェース装置や、特許文献２に開示されているユーザインタフェースシステムがあった。

特許文献１の技術では、携帯型情報端末（ＰＤＡ）に情報を入力するためのペンに、体温、脈拍、握力や皮膚電気抵抗等を測定するセンサを設けている。このセンサによってユーザの生理的情報を取得し、取得された情報を解析することによって、熱があるとか、緊張しているとかいった状態を測定する。このような情報を用いて、単純にユーザの行動に対する情報提供を行うだけでなく、ユーザの生理的状態に応じて情報表示方法を変更する。

特許文献２では、作業内容と脳波を組み合わせて測定して疲労状態を測定することによって、適切な反応を返すシステムが提案されている。また、作業内容と疲労状態の結果を合わせることによって、疲労の原因を推定できるとされている。

このように生理信号を用いることによって、ユーザの状態をより詳しく知ることができるようになり、ユーザビリティの向上が可能になった。
特開２００３−２１６２９４号公報 特開２００１−１８４１３９号公報 加我他，「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に−」，篠原出版新社，１９９５ 藤沢他、「新生理心理学」、北大路書房、１９９８

しかしながら、上述の従来技術でも、まだ測定が困難なことがあった。それは、ユーザがどのような考えに基づいて行動したかという点である。

すなわち、これまでの生理信号の利用方法では、特許文献１，２に開示されているように、緊張度合いや疲労度などのユーザの状態に関する信号が取得されていた。これらの考えを応用すれば、ユーザの機器に対する全般的な評価との関連付けが可能になる。例えば、ユーザがある機器を使用したときに、ストレスが少なく利用できた、とか、普段と変わらない状態で使えた、などといった評価は可能となる。

ところが、ある特定の機器の、ある特定の機能に対して、ユーザビリティを評価しようとした場合には、上述の従来技術では、必ずしも十分ではなかった。なぜなら、疲労や緊張度合は、特定の機器の特定の機能に由来するものではなく、それまでの作業時間や体調その他の影響を受けて徐々に現れるものであるからである。また、疲労や緊張度合の測定には一定以上の時間が必要とされており、このため、特定の機器の特定の機能と対応付けることは困難である。

また、ビデオ撮影等のデータを人間が解析したり、機器操作のログを用いたりして、特定の機能のユーザビリティを評価する方法も考えられるが、人間が何を考えて機器の操作を行うかは、機器操作ログにおける操作時間間隔やビデオ撮影における表情に確実に表れるわけではない。また、ビデオデータを解析する場合、人間が画像を見ながらデータを獲得するために膨大な作業が必要となった。

前記の問題に鑑み、本発明は、機器のユーザビリティ評価において、ユーザの心的状態を生体信号を利用して検知し、機器の特定の機能についても容易に評価できるようにし、評価精度を向上させることを課題とする。

前記の課題を解決するために、本発明は、機器を操作するユーザの生体信号を計測し、機器がユーザの操作に応じて反応したとき、計測した生体信号から、機器の反応後の所定の時間範囲において、期待はずれ信号の有無を検出し、この期待はずれ信号の有無を基にして、機器のユーザビリティを評価するものである。

この発明によると、機器がユーザの操作に応じて反応した場合に、その反応を見てユーザが「期待はずれ感」を抱いたとき、これを生体信号から検出して、ユーザビリティ評価に利用することができる。すなわち、思っていた通りに機器が動作したか否かという、ユーザの心的状態に関するデータを、評価に用いることができる。これにより、ある操作に係る特定の機能について、ユーザビリティを評価することが可能になり、機器のユーザビリティ評価の精度を格段に向上させることができる。

また、指示した機器操作とユーザの操作とを対比することによって、ユーザ操作が正しかったか否かを判定し、このユーザ操作の正誤とともに期待はずれ信号の有無を用いて、機器操作に対するユーザの理解度を判定するようにしてもよい。これによって、同じようにユーザ操作が正しい場合であっても、ユーザがどのような心的状態で操作したのかを区別して把握することができるので、従来は判別できなかった、勘違いをしている場合なども判別できる。

また、機器操作の種類ごとに、ユーザ操作の正誤および期待はずれ信号の有無を蓄積し、この蓄積結果を基にして、機器のユーザビリティを機器操作ごとに評価してもよい。これによって、機器全体ではなく、各機能について多数のユーザによるユーザビリティ評価ができる。また、高齢者や若者など、ある属性を有するユーザグループ毎のユーザビリティにも応用でき、機器の設計改善や次の機器設計に反映させることができる。

あるいは、他のユーザビリティ評価のためのデータを取得し、この取得したデータを、期待はずれ信号をタグとして、記録するようにしてもよい。これにより、ビデオ画像や操作履歴といったユーザビリティ評価のデータについて、着目すべきタイミングが期待はずれ信号を参照して特定できるので、解析に要する労力を大幅に削減できるとともに、解析精度が大きく改善される。

（本願発明の着想）
ここで、ユーザにとって機器が使いにくい場合、設計者が想定した機器動作と、ユーザが見た目の印象やそれまでの経験から想定する機器動作とが一致していないことが、大きな原因の１つと考えられる。従来は、結果として疲労状態になったり、緊張したり、表情が変化したりということを取得するのみであり、機器動作がユーザの考えていた操作方法と合っていたかについて、測定は試みられていなかった。

図１０（ａ）はユーザが機器を操作する場面の模式図である。ユーザ１１はリモコンやキーボードなどの操作機器１２を用いて、テレビなどの機器１３を操作しようとしている。図１０（ａ）の場面では、ユーザ１１の心理や行動として、図１０（ｂ）のようなフローが考えられる。ユーザ１１は「テレビを見よう」と思い立つと（Ｓ１１）、目の前にあるリモコン１２を手にとって電源のボタンを押す（Ｓ１２）。この場合、ユーザ１１が正しくボタンを押し、テレビ１３側にも問題がないときは、電源が入ってテレビ１３が映るので（Ｓ１３）、ユーザ１１はそのまま普段通りにテレビ１３を視聴する（Ｓ１４）。これが通常の場合である。これに対して、リモコン１２の電源ボタンを押した（Ｓ１２）のに、テレビ１３が映らないときは（Ｓ１５）、ユーザ１１は「あれ？おかしいな」と思うであろう（Ｓ１６）。

図１１は図１０（ｂ）を一般化して表記したフローである。ユーザは、まず何かしたいことを思いつき（Ｓ２０）、機器の操作を行い（Ｓ２１）、機器がその操作に対して動作する（Ｓ２２）。この動作を見て、ユーザは、機器が自分の思った通りに動いたか否かを感じとり（Ｓ２３）、もし思った通りに動いていなかったときは（Ｓ２３でＮｏ）、ユーザの期待と機器動作のずれが生じたことから（Ｓ２４）、不満を感じる（Ｓ２５）はずである。ただし、このとき感じる不満は、「不満である」とユーザが自覚するかどうか分からない程度の、ちょっとした違和感である、と考えられる。

ここで、機器のユーザビリティ評価において、ユーザの思った通りに機器が動作したか否か（Ｓ２３の分岐）を信号として取得することができれば、これは、評価の精度向上のために、重要な情報源になり得る。このような重要な情報源を、事象関連電位などの生体信号の計測から取得できないか、ということが、本発明の着眼点である。

ここで、本願明細書において、「期待はずれ信号」とは、ユーザの思った通りに機器が動作していないとき、ユーザの生体信号から検出される特徴的な信号のことをいう。具体的には例えば、脳波の事象関連電位から検出することができる。

（期待はずれ信号取得の実験）
以下、本願発明者らが行った、期待はずれ信号を取得するための実験について、説明する。

図１２は実験手順の概要を示す図である。この実験は、被験者に指示を与え（手順Ａ）、その指示を受けて被験者が必要な行動を思い浮かべて機器を操作し（手順Ｂ）、その操作結果としての動作を被験者に提示する（手順Ｃ）、という手順からなっている。

まず、実験施行者から、被験者に対して、『画面に「Ｌ」または「Ｒ」の文字が表示されるので、Ｌの文字に対してはマウスの左クリック、Ｒの文字に対しては右クリックを押して欲しい」と説明する。そして、「Ｌ」「Ｒ」を５０％の確率でランダムに選択して、画面に表示する（手順Ａ）。被験者は、表示された文字を見て、教示されたルールに従って、右か左のクリックを行う（手順Ｂ）。そして、その操作に対して、正しくクリックがなされたか否かを、「○」「×」で画面に表示する（手順Ｃ）。

ただし、この実験では、クリックが正しくなされたとしても（ほぼ１００％正しくなされるはずである）、２０％の確率で「×」を表示するものとする。被験者からすると、正しくクリックしたから「○」が表示されると期待していたのに「×」が表示されると、「あれっ」と思うはずである。すなわち、思った通りに機器が動作していない「期待はずれ」の状況になる。この「期待はずれ」の状況が、脳波における事象関連電位から検出できないかを確認することが、本実験の目的である。

図１３は一試行分の手順を示すフローチャートである。まず、画面に「Ｌ」または「Ｒ」の文字を５０％の確率で選択して表示し（Ｓ３０）、被験者はその表示を見てどちらのボタンをクリックするかを決定して、マウスを操作する（Ｓ３１）。被験者の操作を受けて、正しく操作されたか否かに基づいて「○」「×」を表示する。このとき、「○」を表示すべき場合でも、２０％の確率で「×」を表示する（Ｓ３２）。「○」「×」が表示されたタイミングを起点として、被験者の脳波における事象関連電位を測定し（Ｓ３３）、その測定された事象関連電位を処理して、期待はずれ信号を識別する（Ｓ３４）。

実験では、複数の被験者について、まず練習として常に「○」が表示される試行を３０試行行った後に、図１３に示す手順による試行を１００試行行った。

図１４は実験結果のうち４人の被験者（Subject 1-4）の実験データを示すグラフである。図１４の各グラフは、脳波計で測定された電位波形を積算したものであり、横軸は刺激提示（「○」「×」が表示されたとき）からの時間で単位はｍｓ、縦軸は電位で単位はμＶである。太線は「期待はずれ」すなわち正しくクリックしたにもかかわらず「×」が表示されたときの波形、細線は通常時すなわち正しくクリックして「○」が表示されたときの波形である。なお、電極は、国際１０−２０法に従い、１）Ｐｚ：正中頭頂、２）３）Ａ１，Ａ２：両耳朶、４）ボディーアース（Ｚ）：鼻根部の４箇所に貼り付けた。サンプリング周波数は１０００Ｈｚとした。

図１４の各グラフから、「期待はずれ」のときは、刺激提示から約６００ｍｓ前後に、通常時とは異なった特徴を持つ事象関連電位が現れていることが分かる。すなわち、この事象関連電位を計測することによって、ユーザの「期待はずれ感」を検出することができる、と予想される。

なお、この実験で測定された事象関連電位は、非特許文献１等に示されたＰ３００と比べて、刺激提示からの反応時間が遅めである。この理由は、必ずしも定かではないが、次のように考えられる。

すなわち、事象関連電位に関して従来（非特許文献１，２等）行われたのは、音程や画像の違いなどを判断する、という受動的な測定による実験であった。これに対して、本願発明者らが実行した実験では、ユーザは、ある期待を持って行動を選択して実行し、その期待通りの動作が行われたか否かを判断している。ユーザが行動を選択する、というステップを含めた点が、これまでとは大きく異なっている。そして、自分の期待通りの動作が行われたか否かの判定は、ただ単に音程や画像の違いを判断する場合と比べると、高次の判断になる。このため、刺激提示からの反応時間が、これまでの測定よりも遅めになって、刺激提示後６００ｍｓ程度のところにピークが現れるようになったと考えられる。

この実験で明らかになったように、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合とにおいて、脳波計で計測される事象関連電位には、明確な差がある。したがって、この事象関連電位は、機器のユーザビリティ評価において、「期待はずれ信号」として用いることが可能である。

（期待はずれ信号の検出）
期待はずれ信号の具体的な検出方法の例について、図１５のフローチャートを参照して説明する。この方法では、予め、期待はずれ時の信号を加算した標準波形（ターゲットのテンプレート）と、期待はずれでない通常時の信号を加算した標準波形（コントロールのテンプレートと表記）とを作成しておき、これらテンプレートを「期待はずれ信号」の検出に用いるものとする。

図１５に示すように、まず、応答内容を出力したタイミング（応答提示時）を起点として、脳波の電位変化のサンプリングを行う（Ｓ５１）。サンプリング周波数としては例えば、２００Ｈｚ、５００Ｈｚ、１０００Ｈｚなどがある。次に、得られた脳波の電位変化から、「期待はずれ信号」の検出に関係する領域の波形を切り出す（Ｓ５２）。上述した実験結果から、「期待はずれ信号」は刺激提示後６００ｍｓ前後の部分あたりに検出されることが分かっている。また、応答提示後比較的早い領域の波形は、聴覚刺激や視覚刺激に反応して現れるものであり、人の期待とは関係ないと考えられるので、その部分は除去するのが好ましい。そこで、例えば、応答提示後２００ｍｓから８００ｍｓの領域を切り出すものとする。

もちろん、この切り出す範囲はこれに限られるものではなく、例えば、５００ｍｓから７００ｍｓ、３００ｍｓから９００ｍｓなどとしてもよい。あるいは、下限を設定せずに、応答提示後から１ｓ程度の範囲を切り出してもよい。

次に、切り出した波形からノイズを除去する（Ｓ５３）。ここでは、信号に混入する高周波成分をカットしたり、信号を例えば４０Ｈｚのローパスフィルタに通したり、瞬きによる眼電の影響を低減するために、４０μＶ以上の振幅を持つ波形を識別対象から除去したりする。

次に、ノイズ除去された信号について、ターゲットのテンプレートおよびコントロールのテンプレートとそれぞれ相関をとる（Ｓ５４）。この相関計算によって、信号波形がそれぞれのテンプレートとどの程度相関があるかが計算される。

そして、信号波形と各テンプレートとの距離計算を行う（Ｓ５５）。距離計算には、例えばマハラノビス距離が用いられる。このマハラノビス距離は、データの分散・共分散を考慮に入れたグループの重心からの距離を示す。このマハラノビス距離を用いて、信号波形がターゲットとコントロールのどちらに近いかを判別する（Ｓ５６）。マハラノビス距離を用いた判別は、単純に相関の大小によって判別するよりも、識別能力が高いことが知られている。

信号波形はターゲットに近いと判断したときは（Ｓ５６でＹｅｓ）、期待はずれ信号が検出された、すなわち、ユーザは期待はずれと思っている状態である、と識別する（Ｓ５７）。一方、信号波形はコントロールに近いと判断したときは（Ｓ５８）、期待はずれ信号は検出されなかった、すなわち、ユーザは期待どおりの応答が得られたと思っている、と識別する。

このようなテンプレートを用いた方法を採ることによって、波形にばらつきが大きく、一回の波形ごとの識別が困難であるとされる脳波においても、ある程度、期待はずれ信号の検出が可能になる。

図１６は上述した実験データを用いて、図１５のフローに従って期待はずれ信号を検出した結果を示す図である。図１６では、各被験者のターゲット数（期待はずれのデータ数）と正しく判別できた数とを示している。図１６から、単一波形であっても、約８割の精度で期待はずれの状況を識別できることが分かる。

なお、ここでは、ターゲットとコントロールの信号テンプレートを用いるものとしたが、ターゲットの信号テンプレートだけを用いるようにしてもかまわない。例えば、ターゲットの信号テンプレートとのマハラノビス距離を計算し、所定値との比較によって、期待はずれが否かを判別してもよい。

また、テンプレートの利用に代えて、またはテンプレートの利用とともに、他の手法を用いてもかまわない。例えば、極大値や極小値を用いてもよいし、波形の中で最大の陽性成分を検出し、その振幅を閾値と大小比較してもよいし、あるいは、適応形相関フィルタなどを用いてもよい。その他、波形識別方法についてはまだまだ改良の余地があり、パターン識別方法と脳波信号の前処理方法を組合せることによっても、識別精度は向上させられると考えられる。

本発明によると、期待はずれ信号によって、思っていた通りに機器が動作したか否かという、ユーザの心的状態に関するデータを取得でき、これをユーザビリティ評価に用いることができるので、より詳細な機器のユーザビリティ評価が可能になる。

本発明の第１態様では、評価装置として、機器を操作するユーザの脳波を計測するユーザ反応検出部と、前記機器がユーザの操作に応じて反応したとき、前記脳波から前記機器の反応時から約６００ｍｓ前後の時間範囲において期待はずれ信号の有無を検出する期待はずれ判定部とを備え、前記期待はずれ信号の有無を基にして前記ユーザが思っていた通りに前記機器が動作したか否かを評価するものを提供する。

本発明の第２態様では、評価装置として、機器を操作するユーザの脳波を計測するユーザ反応検出部と、前記機器がユーザの操作に応じて反応したとき、前記脳波から、前記機器の反応時から約６００ｍｓ前後の時間範囲において、期待はずれ信号の有無を検出する期待はずれ判定部と、前記ユーザに機器の操作を指示する操作指示部と、前記ユーザの操作を受ける操作入力部と、前記操作入力部によって受けたユーザ操作を前記操作指示部によって指示した機器操作と対比し、前記ユーザ操作の正誤を判定する操作正誤判定部と、前記操作正誤判定部および期待はずれ判定部の出力を受け、前記ユーザ操作の正誤および期待はずれ信号の有無を基にして、前記機器操作に対するユーザの理解度を判定する理解度判定部とを備えたものを提供する。

本発明の第３態様では、前記理解度判定部は、ユーザ操作が正しい場合において、期待はずれ信号が有るときは、ユーザは操作を知らなかったが正しく操作できたと判定する一方、期待はずれ信号が無いときは、ユーザは正しい操作を知っていたと判定し、ユーザ操作が誤っている場合において、期待はずれ信号が有るときは、ユーザは操作を勘違いしていたと判定する一方、期待はずれ信号が無いときは、ユーザは操作が分からなかったと判定する第２態様の評価装置を提供する。

本発明の第４態様では、機器操作毎にユーザ操作の正誤および期待はずれ信号の有無を蓄積する結果蓄積部と、前記結果蓄積部の蓄積結果を基にして、前記機器操作毎に前記ユーザが思っていた通りに前記機器が動作したか否かを評価する結果評価部とを備えた第２態様の評価装置を提供する。

本発明の第５態様では、前記ユーザ反応検出部は、脳波計を有し、前記脳波として、脳波における事象関連電位を計測する第１又は第２態様の評価装置を提供する。

本発明の第６態様では、前記期待はずれ判定部は、期待はずれ信号のテンプレートを用いて検出を行う第１又は第２態様の評価装置を提供する。

本発明の第７態様では、評価方法として、機器を操作するユーザの脳波を計測するステップと、前記機器がユーザの操作に応じて反応したとき、前記脳波から前記機器の反応時から約６００ｍｓ前後の時間範囲において期待はずれ信号の有無を検出するステップと、前記期待はずれ信号の有無を基にして前記ユーザが思っていた通りに前記機器が動作したか否かを評価するステップとを備えたものを提供する。

本発明の第８態様では、評価方法として、機器を操作するユーザの脳波を計測するステップと、前記ユーザに機器の操作を指示する操作指示ステップと、前記ユーザの操作を受ける操作入力ステップと、前記機器がユーザの操作に応じて反応したとき、前記脳波から、前記機器の反応時から約６００ｍｓ前後の時間範囲において、期待はずれ信号の有無を検出するステップと、前記操作入力ステップによって受けたユーザ操作を、前記操作指示ステップによって指示した機器操作と対比し、前記ユーザ操作の正誤を判定する操作正誤判定ステップと、前記操作正誤判定ステップおよび期待はずれ判定ステップの出力を受け、前記ユーザ操作の正誤および期待はずれ信号の有無を基にして、前記機器操作に対するユーザの理解度を判定する理解度判定ステップとを備えたものを提供する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係るユーザビリティ評価装置の構成を示すブロック図である。図１では、ユーザビリティ評価装置１は、ユーザビリティを評価する対象機器と一体に構成されているものとする。

図１において、２はユーザ５０に機器の操作を指示する操作指示部、３はユーザ５０の操作を受ける操作入力部、４は操作入力部３が受けたユーザ５０の操作に応じて機器の反応を出力する機器反応部、５はユーザ５０の生体信号を計測するユーザ反応検出部、６は機器がユーザ５０の操作に応じて反応したとき、ユーザ反応検出部５によって計測された生体信号から、機器の反応後の所定の時間範囲において期待はずれ信号の有無を検出する期待はずれ判定部である。機器のユーザビリティは、この期待はずれ信号の有無を基にして、評価される。

７は操作入力部３が受けたユーザ５０の操作を操作指示部２が指示した機器操作と対比し、ユーザ５０の操作の正誤、すなわち指示したとおりにユーザ５０が操作を行ったか否かを判定する操作正誤判定部、８は操作正誤判定部７および期待はずれ判定部６の出力を受け、操作指示部２によって指示した機器操作に対するユーザ５０の理解度を判定する理解度判定部である。

操作指示部２は機器のユーザビリティ評価のために、評価したい機能を順にユーザに操作してもらうよう提示する。例えばビデオを評価対象とする場合は、「再生してください」「早送りをしてください」などと順に指示を出す。ユーザ５０は、操作指示部２からの指示を受けて機器を操作する。機器の操作は評価したい操作手段を用いてもらう。操作手段としては例えば、リモコン、音声認識、キーボード、マウス、ジェスチャなどが考えられる。

操作入力部３はこのユーザ操作を取り込み、機器反応部４は操作入力部３によって取り込まれたユーザ操作に応じて、決められた入力に対する反応をユーザ５０に返す。ユーザ５０はこの機器の反応を見て、心的状態に何らかの影響を受ける。ユーザ反応検出部５は、ユーザ５０の心的状態の変化を把握するために、ユーザ５０の生体信号を計測する。

ここでは、ユーザ反応検出部５は脳波計を有し、生体信号として、脳波における事象関連電位を計測する。ユーザ５０は予め、脳波計を装着している。電極は例えば、基準電極(standard electrode)は耳たぶなどに装着し、探査電極(exploring electrode)は、国際式１０−２０法または拡張１０−２０法に従って装着すればよい。最適な電極の設置位置は、実験等によって決定すればよい。測定されたユーザ５０の脳波は、コンピュータで処理できるようにサンプリングされ、期待はずれ判定部６に送られる。

期待はずれ判定部６は、生体信号として計測されたユーザ５０の脳波から、機器の反応後の所定の時間範囲において、期待はずれ信号の有無を検出する。この検出は、上述した実験における方法と同様に行えばよい。例えば、機器の反応時から約６００ｍｓ前後の部分を所定の時間範囲として設定し、検出を行えばよい。６００ｍｓ前後の部分としては、例えば、反応後、２００ｍｓから８００ｍｓとしてもよいし、５００ｍｓから７００ｍｓ、３００ｍｓから９００ｍｓなどとしてもよい。あるいは、下限を設定せずに、反応後から１ｓ程度の範囲としてもよい。

なお、例えば機器の反応が複雑であるとき、ユーザは、その内容を認知するために時間を要する場合がある。この場合は、６００ｍｓにずれ時間を増減させた時間を中心にした、前後の部分の信号を用いて、期待はずれ信号の検出を行うようにすればよい。このずれ時間は、予め、測定したい表示内容を用いた実験などによって求めておけばよい。また、ずれ時間を決定する要因としては、表示された画像等の応答内容の複雑さ以外にも、例えば、ユーザ毎の個人差や年齢といったユーザの特性も考えられる。

また、操作正誤判定部７は、操作入力部３が受けたユーザ５０の操作を、操作指示部２によってユーザ５０に指示した機器操作と対比し、指示したとおりにユーザ５０が操作を行うことができたか否かを判定する。操作正誤判定部７によって判定されたユーザ操作の正誤は、期待はずれ判定部６によって検出された期待はずれ信号の有無とともに、理解度判定部８に送られる。

理解度判定部８は、期待はずれ判定部６によって検出された期待はずれ信号の有無と、操作正誤判定部７によって判定されたユーザ操作の正誤とを基にして、機器操作に対するユーザ５０の理解度を判定する。図２は理解度判定部８における判定ロジックを示すテーブルである。図２に示すテーブルに従って、ユーザ５０が、指示された機器操作方法をどの程度理解しているかが判定される。

図２のテーブルでは、期待はずれ信号の有無とユーザ操作の正誤とによって、４つのケースに分類されている。具体的には、次のとおりである。

（Ａ）：ユーザ操作が正しく、かつ、期待はずれ信号が有る
このケースは、ユーザ５０は、操作方法が分からず「間違っているだろう」と想像しつつ操作してみたら、指示された通りに機器が動作したので、「あれっ」と思ったため期待はずれ信号が出たものと考えられる。すなわち、操作方法を知らなかったにもかかわらず、正しい機能が実行されたと判定する。

（Ｂ）：ユーザ操作が正しく、かつ、期待はずれ信号が無い
このケースは、ユーザ５０は、操作方法を正しく理解していたと判定する。

（Ｃ）：ユーザ操作が正しくなく、かつ、期待はずれ信号が有る
このケースは、ユーザ５０は、正しい操作方法だと信じて操作したのに、機器の反応が期待していたものとは異なっており、「あれっ」と思ったため期待はずれ信号が出たものと考えられる。すなわち、ユーザ５０は、機器の動作モデルに対して勘違いをしていると判定する。

（Ｄ）：ユーザ操作が正しくなく、かつ、期待はずれ信号が無い
このケースは、ユーザ５０は、操作方法が分からずに適当に操作したところ、やはり、指示された通りの反応は見られなかった、と考えられる。すなわち、ユーザ５０は、操作方法を理解していないと判定する。

なお、操作指示部２が操作を指示してから所定時間が経過しても、操作入力部３にユーザ５０の操作が入力されない場合も、ユーザ５０は操作に迷っている、または操作が分からないと判定する。

このように本実施形態によると、機器操作が正しく行われたか否かという評価指標に加えて、その機器操作がユーザの意図したものであったか否かを期待はずれ信号の有無によって判定できるので、機器のユーザビリティ評価の性能を向上させることができ、設計修正等に活用することができる。

なお、ユーザ操作の正誤検出を行わない場合であっても、期待はずれ信号の有無を、ユーザが機器を思い通りに操作できているか否かの指針とすることによって、機器のユーザビリティ評価に利用することは可能である。

また本実施形態では、ユーザ５０から脳波を取得するものとしたが、これ以外の情報、例えば操作履歴、表情などのビデオ撮影、他の生体信号（脈拍、体温等）などを併せて取得し、ユーザビリティ評価に利用してもよい。これにより、従来用いられていた情報に期待はずれ信号の有無を加味して、機器のユーザビリティを評価することができる。

また、図２におけるケース（Ａ）は、ユーザ５０が本当の操作方法を知らないのに指示通りの機能を実現できた、という点において、この機器はよくデザインされたインタフェースを備えているという評価も可能である。すなわち、初心者ユーザが、ユーザマニュアルを読まなくても、その機能を正しく使えるデザインである、といえる。良いデザインは正しい操作を引き起こす、という「アフォーダンス」の概念とも関連して、本実施形態はインタフェースデザインの評価にも利用可能と考えられる。

また図１の構成では、ユーザビリティ評価装置１は、その内部に機器反応部４を有しており、評価対象となる機器と一体に構成されているものとしたが、ユーザビリティ評価装置は評価対象機器と別個に構成してもかまわない。これにより、独立した機器のユーザビリティの評価が可能になる。

図３は評価対象機器１５と別個に構成されたユーザビリティ評価装置１Ａの構成を示すブロック図である。図３では、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。図３のユーザビリティ評価装置１Ａでは、機器反応部４が省かれている。操作指示部２から操作を指示されたユーザ５０は、評価対象機器１５に対して操作を行い、評価対象機器１５からその反応を受ける。また評価対象機器１５は、ユーザ５０の操作内容をユーザビリティ評価装置１Ａの操作入力部３に送る。その他の動作は図１の構成と同様である。

（第２の実施形態）
図４は本発明の第２の実施形態に係るユーザビリティ評価装置の構成を示すブロック図である。図４では、図１と共通の構成要素には図１と同一の符号を付している。図４のユーザビリティ評価装置１Ｂは、機器操作の種類毎に、ユーザ操作の正誤および期待はずれ信号の有無を蓄積する結果蓄積部９と、結果蓄積部１０の蓄積結果を基にして、機器のユーザビリティを機器操作毎に評価する結果評価部１０とを備えている。

結果蓄積部９は、ユーザが指示どおりに正しい操作を行えたかという点と、その際に期待はずれ信号が出たかという点とを、各ユーザごと、各機能ごとに記憶する。そして、この記憶されたデータを基に、ユーザビリティ評価を行うのが、本実施形態の特徴である。

すなわち、第１の実施形態では、あるユーザがある機能を操作したときの期待はずれ信号を計測することによって、このユーザにとって、その機能がどのように理解されているかを判定した。これに対して本実施形態では、複数の操作者に、評価対象機器の各機能を操作してもらい、期待はずれ信号を各機能ごとに積算して、その機器が一般的にどの程度使いやすいかを評価する。

図５は本実施形態におけるデータ収集の手順を示すフローチャートである。図５に示すように、まず、操作指示部２が、評価対象となる機器に関して予め準備されたリストから定めた評価対象機能について、「機能Ａを実現するように操作してください」などとユーザ５０に操作指示を提示する（Ｓ１０１）。操作指示は例えば、ユーザビリティ評価装置１Ｂから画面等に表示したり音声によって提示したりしてもよいし、評価を行う実験者から口頭や文書によって提示してもよい。

ユーザ５０は、ステップＳ１０１において提示された操作指示に従って、機器に備えられたインタフェースを操作して機能を実現しようとする（Ｓ１０２）。ユーザ５０の操作は操作入力部３によって検出される。このとき、ユーザ５０は、実行した操作に対して機能が実現されると期待したり、しなかったりするはずである。

ステップＳ１０２において入力された操作によって、機器は設計どおりに動作する（Ｓ１０３）。機器の反応は機器反応部４によってユーザ５０に提示される。ユーザ５０は自分の操作によって機器がどのように動作したかを受け、何らかの生理的な反応を見せる。この反応をユーザ反応検出部５によって検出する（Ｓ１０４）。

期待はずれ判定部６が期待はずれ信号の有無を検出し、操作正誤判定部７がユーザ５０の操作が正しいか否かを判定する。そして、理解度判定部８が、期待はずれ判定部６および操作正誤判定部７の出力を基にして、ユーザ５０の理解度を判定する（Ｓ１０５）。そして、期待はずれ信号の有無、ユーザ操作の正誤、理解度判定部８の判定結果、ユーザ５０のＩＤ、評価対象機能のＩＤなどが、結果蓄積部９に蓄えられる（Ｓ１０６）。

ステップＳ１０７において、想定している全機能の評価が終了したか否かを判定し、終了していないときは（Ｓ１０７でＮｏ）ステップＳ１０８に進み、次に評価する機能をリストに従って定め、再度ステップＳ１０１に戻る。

全機能の評価が終了したときは（Ｓ１０７でＹｅｓ）ステップＳ１０９に進み、全ての被験者の評価が終了したか否かを判定し、終了していないときは（Ｓ１０９でＮｏ）ステップＳ１１０に進み、予め準備された被験者リストから次の被験者を選び準備して、ステップＳ１０１に戻る。

このような手順によって、各機能について複数の操作者による評価データを収集することができる。

図６は本実施形態において蓄積されたデータの一例を示す図である。また図７は比較例としての従来の蓄積データの一例である。図６および図７のいずれも、各操作者の操作結果を機能ごとに集計したものである。機能ごとに集計することによって、各機能の使いやすさなどを評価することができる。数値の単位はいずれも％である。

図７から分かるように、従来では、期待はずれ信号の有無は検出されなかったので、各機能の評価は「使えた」「使えなかった」の２つに分類されるだけである。したがって、従来の場合はただ単に、使えた人の割合によって機能を評価するに過ぎない。例えば、機能１は、８０％の人が使いこなせて２０％の人が使いこなせなかったことから、評価は「良好」としている。反対に、機能３は、使えなかった人が８０％もいるために、評価は「要改善」としている。このような評価では、結果として使えたか使えなかったかが判定されるだけであった。

これに対して本実施形態では、図６に示すように、図２で説明した４種類の解釈に分類している。すなわち、同じ「使えた」場合でも、「操作者の意図通りに使えた」（期待はずれ信号無し）場合と、「知らなくても使えた」（期待はずれ信号有り）場合とを、切り分けることができる。

例えば、機能１と機能２はいずれも８０％の人が使えたので、従来では同じ評価がなされる。ところが本実施形態によると、機能１は、期待はずれなしで使えた人が７０％であり、問題なく使えているということが分かり、一方、機能２は、使い方を知らなかったがそれでも使えた人が７０％であり、デザインの良さによって操作誘導ができていると評価することができる。この機能２はデザインの良さによって理解されているので、さらに機能そのものの説明を加えることによって、使える人の割合を増やすことができる。

これと同様に、使えなかった人が多い機能についても、期待はずれ信号の有無を検出することによって、機能３のように機能自体が全然理解されていないのか、あるいは、機能４のように機能は分かっているがその操作に勘違いがあるのか、といった点を区別することができる。これにより、改善方法も個別に検討することができる。例えば、機能３については、操作性の向上を図っても効果的ではなく、機能そのものの説明を加える必要があると考えられるし、機能４については、機能そのものの説明よりも、どのように操作するか、すなわち機能と操作との関係の説明が重要と考えられる。

このように本実施形態によると、同じ「使えた」場合、「使えなかった」場合でも、操作者がどのように思って操作したのかを区別して評価できるので、機器のユーザビリティ評価の精度を向上させることができ、個別の状況に応じた改善策をとることができる。

なお、本実施形態でも、ユーザビリティ評価装置は評価対象機器と別個に構成してもかまわない。

また、本実施形態では、データを機能ごとに集計することによって各機能の評価を行ったが、操作者ごとにデータを集計し、評価することもできる。これにより、ある操作者が、どのような機能については機能と操作を理解しており、どのような機能については勘違いをしているか、などを識別することができる。これにより、操作者の理解度も判定することができる。

また、操作者のグループごとにデータを集計することも考えられる。例えば、高齢者のグループと若者のグループというように、操作者を特定の属性で分類してデータ集計することによって、どの機能が使えてどの機能が理解されていないかをグループごとに評価することができる。例えば、情報端末において同じ機能が使えない場合でも、高齢者のグループでは、メールの送受信という電子メールそのものの概念が理解されていないために使えておらず、一方、若者のグループでは、電子メールそのものの概念は分かっているが、文章入力をテンキーで行うと勘違いしており、キーボードのローマ字入力を想定した設計ではメール本文の入力ができていない、といったようなことが分かる。このような場合においても、期待はずれ信号がどの機能のどのタイミングで発生しているかを把握することによって、各グループの特性を把握して、それぞれのグループに合った機能設計や機能説明を実現することができる。

なお、本実施形態では機器のユーザビリティ評価について説明したが、形にならないようなもの、例えば学校での先生の教え方の評価にも、本発明は活用できる。すなわち、同じ概念について複数の教え方が存在する場合、生徒にそれぞれの教え方で教えた後にテストを行い、その回答の正誤とともに回答に対する生徒の反応を見る。これによって、教え方について精度の高い評価ができる。これまでの評価は単純に正答率を見るのみであったが、期待はずれ信号識別が可能になると、図２のテーブルで説明したように、正解したときでも本当に理解して正解できたのか否かが分かるために、生徒の理解度を判定することができる。これにより、生徒集団のテストの成績が同じ場合であっても、教え方が誤解を招きやすかったり、理解困難であったりすることを判定できる。また、教材の評価も同様に行うことができる。

すなわち、従来は、生徒が実際にどのように考えて分からない状態に陥ったのかは、生徒からの主観的な報告に依らなければ分からなかったが、本発明を応用することによって、間違えた生徒のうち、勘違いしていた生徒と、そもそもどのように答えてよいかも分からなかった生徒とを区別して把握することができる。このことは、教え方や教材をどのように修正すればよいかの情報として活用できる。

（第３の実施形態）
図８は本発明の第３の実施形態に係るユーザビリティ評価装置の構成を示すブロック図である。図８では、図１と共通の構成要素には図１と同一の符号を付している。図８のユーザビリティ評価装置１Ｃは、ユーザ５０について、ユーザ反応検出部５が計測する生体信号以外の、ユーザビリティ評価のためのデータを取得するデータ取得部２１と、データ取得部２１によって取得されたデータを、期待はずれ判定部６によって検出された期待はずれ信号をタグとして、記録するデータ記録部２２とを備えている。ここでのユーザビリティ評価のためのデータとしては、例えば、操作履歴、表情のビデオ画像などが考えられる。

本実施形態では、ユーザビリティ評価において一般的に問題とされるデータ解析方法を、期待はずれ信号を利用して改善する。

一般に、ユーザビリティ評価では、評価の質を向上させるために、ユーザに関してなるべく多くのデータを取得しようとする。例えば、機器の操作履歴だけでなく、そのときの表情のビデオ撮影や、視線移動軌跡、実験中に考えたことや思ったことの口述、実験後のアンケートなどが取得される。このため、取得されるデータ量は膨大なものになる。ところが、ユーザビリティ評価にとって実際に必要となるのはその一部分であり、したがって、その必要部分の抽出が重要な作業になる。特に、ユーザが困っている、迷っている等の状況は客観的に検出することが困難であり、人手によるビデオ画像の解析等が行われていた。すなわち、従来は、ユーザビリティ評価のために要するデータ解析の作業量は膨大であった。

これに対して本実施形態では、ユーザが困惑している状況を検出するために、期待はずれ信号を用いる。すなわち、ユーザビリティ評価のためのデータを、期待はずれ信号をタグとして、記録する。これにより、データ解析の際には、期待はずれ信号がタグとして記録された周辺のデータに特に着目することによって、ユーザビリティ評価に必要となるデータを、容易に取得できると考えられる。

図９は本実施形態における動作を示すフローチャートである。図９において、ステップＳ１２１〜Ｓ１２５は図５におけるステップＳ１０１〜Ｓ１０５と同様の処理である。そして、ステップＳ１２６において、データ取得部２１が取得しているユーザビリティ評価のためのデータとともに、期待はずれ判定部６によって検出された期待はずれ信号をデータログに追加する。

本実施形態において、データ記録部２２に記録された期待はずれ信号は、データ解析の際には、（Ａ）新たな評価データとして、または（Ｂ）データ解析のタイミングを示すタグとして、それぞれ利用できる。（Ａ）については、すでに第１および第２の実施形態で説明したとおりであり、ユーザが機器操作にあたってどのような意図を持っていたかを判定するための新たな評価データとして利用される。

また（Ｂ）については、ユーザが困っている状況にあるタイミングを識別するためのタグとして、利用することができる。期待はずれ信号が検出される場面は、ユーザが機器をスムーズに操作できていない場面であると考えられる。このような場面を検出することは、従来は手作業であっても困難であった。本実施形態によると、このような場面が発生した前後における他のユーザビリティ評価データに着目し、従来は検出不可能だった期待はずれ時の機器状態や操作履歴や表情などの相互の対応関係を解析することによって、より詳細なユーザビリティ評価が実現できる。

このように本実施形態によると、期待はずれ信号をデータログに追加するので、データ解析の際に、期待はずれ信号を参照して自動的に注目すべきタイミングが分かるようになり、したがって、従来と比べて、データ解析の大幅な省力化が可能になる。もちろん、第１および第２の実施形態と同様に、機器操作がユーザの意図したものであったか否かを期待はずれ信号の有無によって判定できるので、機器のユーザビリティ評価の性能を向上させることもできる。

また、本実施形態の拡張事例として、ユーザが日常生活を送る中で、どのような場面で思った通りでない状況に遭遇しているかを測定することも可能である。例えば、家庭内の機器が連携して様々なサービスを提供する知能化住宅において、期待はずれ信号の検出が可能になっているとすると、どのような状況においてユーザの期待とサービスとがずれていたかという情報を取得することができる。これにより、複数機器の連携などについても、ユーザビリティ評価を行うことができる。

従来では、これらの状況では、ユーザの主観的な評価をアンケートや報告によって把握する方法が取られてきたが、本発明によると、見落としや報告漏れ、またユーザが報告しなければならないと考えることによる評価変化の影響を受けることなく、データを収集することができる。

なお、ここでは知能化住宅の例で説明したが、例えば、車内の各種機器の操作、情報端末のＧＵＩの評価なども、同様の手法を用いることによって、ユーザの意図と機器動作のずれを検出することができる。

本発明に係るユーザビリティ評価は、ユーザが操作する機器全般の使いやすさの評価に有用である。

本発明の第１の実施形態に係るユーザビリティ評価装置の構成を示すブロック図である。 図１の理解度判定部における判定ロジックを示すテーブルである。 本発明の第１の実施形態に係るユーザビリティ評価装置の構成の他の例を示すブロック図である。 本発明の第２の実施形態に係るユーザビリティ評価装置の構成を示すブロック図である。 本発明の第２の実施形態におけるデータ収集の手順を示すフローチャートである。 本発明の第２の実施形態において蓄積されたデータの一例を示す図である。 比較例としての従来の蓄積データの一例である。 本発明の第３の実施形態に係るユーザビリティ評価装置の構成を示すブロック図である。 本発明の第３の実施形態における動作を示すフローチャートである。 （ａ）はユーザが機器を操作する場面、（ｂ）は（ａ）におけるユーザの意思や行動を示すフローチャートである。 図１０（ｂ）を一般化したフローチャートである。 本願発明者らが行った実験の手順の概要図である。 図１２の実験の一施行分の手順を示すフローチャートである。 ４人の被験者の実験データを示すグラフである。 期待はずれ信号の具体的な検出方法の例を示すフローチャートである。 期待はずれ信号の検出結果を示す図である。

１，１Ａ，１Ｂ，１Ｃ ユーザビリティ評価装置
２ 操作指示部
３ 操作入力部
５ ユーザ反応部
６ 期待はずれ判定部
７ 操作正誤判定部
８ 理解度判定部
９ 結果蓄積部
１０ 結果評価部
１５ 評価対象機器
２１ データ取得部
２２ データ記録部
５０ ユーザ

Claims (8)

1. 機器を操作するユーザの脳波を計測するユーザ反応検出部と、
   前記機器がユーザの操作に応じて反応したとき、前記脳波から、前記機器の反応時から約６００ｍｓ前後の時間範囲において、期待はずれ信号の有無を検出する期待はずれ判定部とを備え、
   前記期待はずれ信号の有無を基にして、前記ユーザが思っていた通りに前記機器が動作したか否かを評価する
   ことを特徴とする評価装置。
2. 機器を操作するユーザの脳波を計測するユーザ反応検出部と、
   前記機器がユーザの操作に応じて反応したとき、前記脳波から、前記機器の反応時から約６００ｍｓ前後の時間範囲において、期待はずれ信号の有無を検出する期待はずれ判定部と、
   前記ユーザに、機器の操作を指示する操作指示部と、
   前記ユーザの操作を受ける操作入力部と、
   前記操作入力部によって受けたユーザ操作を、前記操作指示部によって指示した機器操作と対比し、前記ユーザ操作の正誤を判定する操作正誤判定部と、
   前記操作正誤判定部および期待はずれ判定部の出力を受け、前記ユーザ操作の正誤および期待はずれ信号の有無を基にして、前記機器操作に対するユーザの理解度を判定する理解度判定部とを備えた
   ことを特徴とする評価装置。
3. 請求項２において、
   前記理解度判定部は、
   ユーザ操作が正しい場合において、期待はずれ信号が有るときは、ユーザは操作を知らなかったが正しく操作できたと判定する一方、期待はずれ信号が無いときは、ユーザは正しい操作を知っていたと判定し、
   ユーザ操作が誤っている場合において、期待はずれ信号が有るときは、ユーザは操作を勘違いしていたと判定する一方、期待はずれ信号が無いときは、ユーザは操作が分からなかったと判定するものである
   ことを特徴とする評価装置。
4. 請求項２において、
   機器操作毎に、ユーザ操作の正誤および期待はずれ信号の有無を蓄積する結果蓄積部と、
   前記結果蓄積部の蓄積結果を基にして、前記機器操作毎に、前記ユーザが思っていた通りに前記機器が動作したか否かを評価する結果評価部とを備えた
   ことを特徴とする評価装置。
5. 請求項１又は２において、
   前記ユーザ反応検出部は、脳波計を有し、前記脳波として、脳波における事象関連電位を計測するものである
   ことを特徴とする評価装置。
6. 請求項１又は２において、
   前記期待はずれ判定部は、期待はずれ信号のテンプレートを用いて、検出を行うものである
   ことを特徴とする評価装置。
7. 機器を操作するユーザの脳波を計測するステップと、
   前記機器がユーザの操作に応じて反応したとき、前記脳波から、前記機器の反応時から約６００ｍｓ前後の時間範囲において、期待はずれ信号の有無を検出するステップと、
   前記期待はずれ信号の有無を基にして、前記ユーザが思っていた通りに前記機器が動作したか否かを評価するステップとを備えた
   ことを特徴とする評価方法。
8. 機器を操作するユーザの脳波を計測するステップと、
   前記ユーザに、機器の操作を指示する操作指示ステップと、
   前記ユーザの操作を受ける操作入力ステップと、
   前記機器がユーザの操作に応じて反応したとき、前記脳波から、前記機器の反応時から約６００ｍｓ前後の時間範囲において、期待はずれ信号の有無を検出するステップと、
   前記操作入力ステップによって受けたユーザ操作を、前記操作指示ステップによって指示した機器操作と対比し、前記ユーザ操作の正誤を判定する操作正誤判定ステップと、
   前記操作正誤判定ステップおよび期待はずれ判定ステップの出力を受け、前記ユーザ操作の正誤および期待はずれ信号の有無を基にして、前記機器操作に対するユーザの理解度を判定する理解度判定ステップとを備えた
   ことを特徴とする評価方法。

Images