JPH07325802A - ユーザビリティ測定方法 - Google Patents

ユーザビリティ測定方法

Info

Publication number
JPH07325802A
JPH07325802A JP15413895A JP15413895A JPH07325802A JP H07325802 A JPH07325802 A JP H07325802A JP 15413895 A JP15413895 A JP 15413895A JP 15413895 A JP15413895 A JP 15413895A JP H07325802 A JPH07325802 A JP H07325802A
Authority
JP
Japan
Prior art keywords
usability
adjective
user
group
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP15413895A
Other languages
English (en)
Inventor
Bahador Ghahramani
ガーラマニ バハドー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc, AT&T Corp filed Critical American Telephone and Telegraph Co Inc
Publication of JPH07325802A publication Critical patent/JPH07325802A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • G06F11/3616Software analysis for verifying properties of programs using software metrics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375Prediction of business process outcome or impact based on a proposed change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Debugging And Monitoring (AREA)

Abstract

(57)【要約】 【目的】 システムの客観的かつ定量的測定を実現し、
ユーザビリティ測定方法を提供すること。 【構成】 本発明に係る方法は、ユーザビリティサティ
スファクション(US)、ユーザビリティパフォーマン
ス(UP)、ユーザビリティパフォーマンスインジケー
タ(UPI)に係る定量的測度を提供する。USは、そ
のシステムに関して識別された一組のクリティカルファ
クタに関するシステムユーザ群からのデータを取得する
ことによって測定される。UPは、エキスパート群にお
いて特定の回数の試行でのあるタスクの実行に要した平
均時間と、入門者群において同一回数の試行での同一タ
スクの実行に要する平均時間の推定値との間の統計的重
要度を定量化するデータを取得することによって測定さ
れる。UPIは、目的達成インジケータ、ワークレート
インジケータ、及びオペラビリティインジケータを含ん
でおり、これらは、パフォーマンス時間、遭遇した問題
点の数、なされたアクションの数、問題点に関してさか
れた時間、アシスタンスコールの数、未解決の問題点の
数を測定可能なパラメータに従って計算される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、エンジニアリング、エ
ルゴノミクス、信頼性、及び情報システムに関し、特に
システムあるいは製品の有用性を測定する定量的方法に
関する。
【0002】
【従来の技術】利用者はシステムの品質を決定する。通
常、品質は、良好に形成されている、長期間持続する、
あるいは欠陥がない、といった観点から考えられてい
る。これらは品質を考察する際の重要なポイントではあ
るが、利用者がある製品を難しすぎて利用できないと考
えてしまった場合には、利用者がその製品が如何に良好
に形成されているかを見い出すのに充分な期間その製品
を利用することはない、という事実を認識することも重
要である。利用者が内部のものであってシステムを利用
するか否かという選択肢を有さない場合にも、そのシス
テムをできる限り有用にするという多くの理由が存在す
る。ユーザの視点から製品の品質を記述するためにしば
しば用いられ、特にコンピュータ製品に関連して一般的
な術語は、”ユーザフレンドリ”である。
【0003】システムあるいは製品を記述するために用
いられるより広義の術語は”有用性(ユーザビリテ
ィ)”である。本明細書において定義されるユーザビリ
ティメソッドは、システムとユーザとの相互作用を定量
化する方法である。通常、”ユーザフレンドリである”
及び”簡単に学べる”などという言葉は、ユーザビリテ
ィを定性的に記述するために用いられる。しかしなが
ら、本明細書において用いられるユーザビリティという
術語は、定量的及び客観的測定に基づいている、という
ことをしっかりと留意されたい。すなわち、ユーザビリ
ティという術語は、システムあるいは製品がユーザに対
して如何に良好に機能するかを決定して表現しうる、シ
ステムあるいは製品のパフォーマンスに関する測定の全
ての側面に係る総合的、定量的、及び客観的アセスメン
トを意味している。
【0004】これまでのところ、システムのユーザビリ
ティを測定する定量的かつ客観的方法は存在していな
い。(例えば、相異なったワードプロセシングプログラ
ムなどの)多くのソフトウエア製品に関しては、”ユー
ザフレンドリ性”は、ユーザインターフェースの”ルッ
クアンドフィール”、ある種の関数の実行の”直感
性”、プルダウンメニューの論理構成等の術語で記述さ
れる。その反対に、定量的な”ベンチマーク”テスト
は、処理能力を測定するために用いられる。例えば、
(浮動小数点演算、整数演算などの)相異なった処理機
能を強調する(例えばワードプロセシング、グラフィッ
クス、スプレッドシート、データベースなどの)相異な
ったソフトウエア製品を用いた種々のタスクを完了する
までの時間を測定することによるものである。しかしな
がら、これらのベンチマークテストは処理能力に焦点を
当てているものであってユーザビリティではない。ユー
ザビリティの評価に係る従来の試みの更なる例は、開発
された製品あるいはシステムとのユーザの相互作用の心
理学的な”一方通行”観察の利用である。さらに、シス
テム評価技法は、システムが開発されたあるいはその分
野に用いられた後にのみ適用されてきている。明らか
に、完成後だけではなく、製品の開発前及び開発中に定
量的かつ客観的なユーザビリティ測定を行なうことが望
ましい。
【0005】この種のユーザビリティ測定方法は、ユー
ザビリティそのものを増強する数多くの新しくかつ有用
な方法を提供すべきであり、”高い”ユーザビリティ
は、直接、コスト、品質、パフォーマンス、及び満足に
係る利点に結び付いている。もちろん、品質を追求する
と必ず高コストになる、という考え方は存在する。実際
には、高品質製品を製造するためには初期に付加投資が
必要となるが、長期間で考えれば計り知れないほどのコ
ストが低減されている。ユーザビリティの改良は、いく
つかのキー領域においては、速やかにコスト削減に帰着
する。ユーザビリティ測定による改善は、顧客を増加さ
せてさらにユーザを満足させ、エラーを低減し、ユーザ
の生産性を増大させる。簡潔に述べれば、コスト、品
質、及び顧客の満足に係る多くの利点が、ユーザビリテ
ィアセスメントを実行し、弱点領域を改良するための製
品修正を行なうことによって期待される。
【0006】コストに関しては、プロトタイプの段階で
システムのユーザビリティをテストすることによって、
フルスケールの開発を行なう以前に改良が必要な領域を
明らかにすることができる。プロトタイプ段階での改良
に対しては、開発サイクルにおけるそれ以降の段階にお
けるものよりもより少しのリソースしか必要としない。
また、ユーザビリティの定量的かつ客観的測定は、(心
理学的研究などの)必然的により曖昧な定性的解析に対
して、エンジニア及び設計者によってより効率的にリエ
ンジニアリング努力に転換される。加えて、高度に有用
な製品はより直感的なものであって、それゆえ習熟段階
での開発及び伝達に関してよりわずかの投資しか必要と
しない。有用なシステムのオペレータは、利用が困難な
システムに関する場合よりも速やかにエキスパートにな
ることが可能である。さらに、エラーができる限り少な
いこと、及びタスクが可能な限り効率的に実行されるこ
とを保証する目的で、ユーザビリティテストの際にはク
リティカルかつしばしば実行されるタスクに対して特別
の注意が払われる。加えて、利用効率の定量的測定によ
り、システムとユーザとの相互作用がより効率的になさ
れるべき領域が決定され得る。
【0007】品質に関しては、ユーザビリティテストに
よって、エラーを起こしやすいタスク及びアクティビテ
ィが分離され、それらは改善され得る。ユーザビリティ
測定に基づいて、ヒューマンファクタエンジニアリング
技法が、標準的なエラー検出方法に加えてエラー防止技
法に焦点を当てる目的で利用され得る。加えて、ユーザ
ビリティテストにより、システムユーザの、特定のコマ
ンドを覚えて処理する能力を追跡することも可能であ
る。特定の機能を実行するための情報をユーザが記憶し
て処理する必要を低減することにより、全体としてエラ
ーが低減される。さらに、既存の製品と非常に整合性が
とれていてコンパチブルであるシステムは、ユーザがシ
ステムの機能を実行して問題を解決するために既に開発
した技巧(スキル)を伝達することを可能にする。コン
パチブルなシステムは、他の熟知しているシステムと同
一のルールに従って動作する。また、システムの操作
は、ユーザにとって自然であると感じられるものである
べきである。
【0008】エラーを低減し、コストを低減し、ユーザ
の生産性を向上させることによって、コスト及び品質に
係る利点と同時に顧客満足も増加させられる。さらに、
システムをより利用しやすくする、エルゴノミクスに基
づいた改良を行なう、種々のユーザニーズ及びユーザに
よる好みを満たすためにシステムのフレキシビリティを
増大させる、及びシステムをより楽しんで利用できるよ
うにすることにより、システムに係るユーザの満足は増
大させられる。
【0009】システムのユーザビリティの増大は、エラ
ーを低減して必要となるトレーニング時間を低減するこ
とによってコストを低減し、効率、生産性、品質及び顧
客満足を増大させる。ユーザビリティ測定は、既存のシ
ステムのユーザビリティを客観的かつ定量的に測定し、
可能なリエンジニアリング努力をアシストするプロセス
を提供する。
【0010】
【発明が解決しようとする課題】それゆえ、定量的かつ
客観的なユーザビリティ測定方法は、非常に大きな有用
性を本質的に有している。にもかかわらず、従来技術に
おいては、このような本質的な利点を有効活用する目的
で利用されうる、客観的かつ定量的情報を提供するユー
ザビリティ測定方法が全く存在していなかった。
【0011】
【課題を解決するための手段】本発明は、従来技術に係
るユーザビリティ測定技法に係る、前述されている、さ
らにはその他の制限を、システムの客観的かつ定量的測
定を実現し、従来技術において実現不可能であった種々
の機能及び利点を実現するユーザビリティ測定方法を提
供することによって、克服する。本発明に従ったユーザ
ビリティ測定の一実施例においては、ユーザビリティを
測定して定量化する3つの方法、すなわちユーザビリテ
ィサティスファクション法、ユーザビリティパフォーマ
ンス法、及びユーザビリティパフォーマンスインジケー
タ法、が含まれている。
【0012】ユーザビリティサティスファクション法に
は、クリティカルファクタを識別する段階と、そのクリ
ティカルファクタに係るサーベイを実行する段階と、こ
こで、クリティカルファクタの各々は、少なくとも一組
の双極形容詞対に関連しており、各々の双極形容詞対は
ある範囲の数値に関連している、クリティカルファクタ
及びユーザに従ってユーザビリティサティスファクショ
ンを計算する段階と、が含まれる。例えば、個々のユー
ザの全体としてのサティスファクションは、全てのクリ
ティカルファクタに係る、重み付けをされた総和によっ
て表現される。さらに、個々のユーザの全体としてのサ
ティスファクションは全てのユーザに亘って平均され、
それによって全体としてのサティスファクションの平均
が与えられる。あるいは、特定のクリティカルファクタ
に係るユーザビリティサティスファクションが定量化さ
れる。すなわち、ある与えられたクリティカルファクタ
に係る各々のユーザのサティスファクションが全てのユ
ーザに亘って平均化される。
【0013】ユーザビリティパフォーマンスの測定に
は、複数個の試行の各々に係るタスクを実行するために
必要となる、エキスパートグループに属する各々のメン
バーに係る時間を測定する段階と、同一のタスクを実行
する際に、入門者グループに属するメンバーが必要とす
る時間を測定する段階と、手段間の差異の重要性を表現
する統計的指標を得る目的で、エキスパートグループに
属するメンバーによって所定の試行回数実行するために
必要とされた時間の平均値を入門者グループに属するメ
ンバーによって必要とされた時間と比較する段階と、が
含まれる。本発明のより望ましい実施例に従って、学習
に係る指数則を適用することにより、入門者グループに
よる実行時間の測定を第一試行に関してのみ測定して、
その後の所定の試行回数だけ試行した場合の入門者ユー
ザに関する平均実行時間を推定することが可能になる。
この際、所定の試行回数が、エキスパートグループに属
する者に対する実行時間が測定された試行回数に対応す
ることが望ましい。
【0014】パフォーマンス指標を提供する方法には、
実行時間、遭遇した問題点の数、なされたアクションの
数、問題点に対して割り当てられた時間、学習時間、ア
シスタンスコールを行なった回数、及び未解決の問題点
の数を含む測定可能なパラメータに従って、ゴールアチ
ーブメントインジケータ、ワークレートユーザビリティ
インジケータ、及びオペラビリティインジケータを生成
する段階が含まれる。
【0015】本発明に係る数多くの特徴及び利点は、本
発明の実施例の説明によって明確となる。
【0016】ユーザビリティモデルの特徴は、それが本
質的に定量的なものであり、本質的に定性的な既存のユ
ーザビリティ測定とは一線を画している。本発明に係る
ユーザビリティモデルに用いられた数学的方法は、サー
ベイ及びテスト結果から収集された結果を定量化する、
矛盾の無い方法を提供する。
【0017】本発明の別の特徴は、本発明によって矛盾
が無くかつ反復可能なユーザビリティ測定がなされる、
という点である。特定のシステムに関する同様な技量、
トレーニング及びバックグラウンドを有するユーザは、
本発明に係るモデルを用いることによってシステムの類
似性のユーザビリティを測定することができる。結果は
同一であって、テストの時間とは独立である。簡単に述
べれば、同様のユーザは同一のシステムに関しては同様
のユーザビリティ結果をもたらすものであって、それら
の応答は種々の時間間隔においてなされた測定に関して
同一であるべきである。
【0018】本発明に係るユーザビリティモデルのさら
に別の特徴は、それによってコストエフェクティブ性が
提供される、ということである。本発明に係るユーザビ
リティモデルは、システムを機能させるために配備され
たリソースを識別する測定として見なされ得る。本発明
に係るモデルは、出力の品質(利益)の増大あるいは配
備するために必要とされるリソース(コスト)の低減に
係る解析を容易にする特別の情報を提供する。利益は、
リソース低減からワークの増大までの連続に依存してい
る。本発明に係るモデルは、既存のリソースからより高
い生産性を実現するための手段を明らかにする。よっ
て、システムユーザグループは、システムのユーザビリ
ティが改善された場合には、より多くの出力を生成する
ものと期待されている。
【0019】本発明のさらに別の特徴は、本発明が種々
のプラットフォームに亘って用いられうる、ということ
である。クリティカルファクタを調節し、適切なタスク
を選択することにより、本発明に係るモデルはあらゆる
プロダクトのユーザビリティを評価するように適応され
得る。このプロダクトには、ハードウエア、ソフトウエ
ア及び環境が含まれる。
【0020】本発明の他の特徴は、本発明に係るユーザ
ビリティ測定方法が、相異なったテストを比較すること
によって有効化することが容易な、矛盾の無い結果を生
成することである。
【0021】本発明のさらに別の側面は、それが容易に
適応されうるものであって、システムのあらゆる側面
が、その側面に関連するクリティカルファクタを含ませ
ることによって取り扱われることである。調節可能なク
リティカルファクタによって、本発明に係るユーザビリ
ティモデルが、システムユーザビリティをテストするチ
ームによって要求される柔軟性及びカバレッジを提供す
ることが可能になる。本発明に係るユーザビリティモデ
ルはシステムの問題領域を明らかにし、なされるべき修
正測定を規定するのに役立つ結果を生成する。
【0022】
【実施例】本発明に係るユーザビリティ測定方法(以
下、”ユーザビリティモデル”あるいは”ユーザビリテ
ィ方法”と呼称される)は、製品あるいはサービスシス
テムの、ユーザサティスファクション及びパフォーマン
スに関する定量的測定に係る手段を提供する。本発明に
係るユーザビリティモデルは、適用された場合には、改
善が必要とされる領域、及びユーザによって望まれてい
る、追加されるべき機能を明らかにする出力を生成す
る。このモデルに係るアプリケーションは広範であり、
特に、例えば製造業、商業、金融業、製品開発、及び情
報システムなどの製品及びサービスの領域で特に有効で
ある。
【0023】それゆえ、本発明は、現在及び将来の製品
及びサービスシステムの設計、開発及び操作に資するも
のである。本明細書において記述されている実施例は主
として情報システムに焦点を当てたものであるが、本発
明に係るモデルはあらゆるタイプのシステムに対して適
用可能である。本明細書においては、”システム”及
び”製品(プロダクト)”という術語は、本発明に係る
ユーザビリティモデルによって利益を受けるあらゆる単
位を表現するために用いられる。システムは、利用者あ
るいは顧客が用いるあらゆるタイプの製品あるいはサー
ビスである。このシステムという術語は、必ずしもコン
ピュータあるいは情報システムに厳密に言及しているわ
けではない。システムあるいは製品は、外部あるいは内
部利用者を予定している。
【0024】本発明に係るユーザビリティモデルが、コ
ンピュータや製品あるいはサービスを産み出す他のあら
ゆるイニシアティブなどの、あらゆるタイプのシステム
のユーザビリティ測定に適用可能であることを強調して
おくことは重要である。あらゆる製品のユーザビリティ
は、本発明に係るユーザビリティモデルを利用して測定
可能である。ユーザビリティモデルには、ユーザによる
システムの理解及びその操作に係るユーザの経験が利用
されている。このモデルは、ハードウエア、ソフトウエ
ア、及び環境を含む、既存のシステムのあらゆる側面を
取り扱う。ユーザビリティ測定は、例えば、システム工
学、電気/電子工学、機械工学などの、システムの設計
及び開発スペシフィケーションの評価などよりも、シス
テムに係る顧客満足、という観点で、より興味深い。
【0025】一般に、システムのユーザビリティは、そ
の社会的なアクセプタビリティとアプリケーションアク
セプタビリティとの組み合わせである。本発明に係るユ
ーザビリティモデルは、システムのアプリケーションア
クセプタビリティの評価を強調する。アプリケーション
アクセプタビリティは、信頼性、時機に適しているこ
と、及び利便性などのファクタに直接関連している。
【0026】本発明のより望ましい実施例に従って、ユ
ーザビリティモデルが3つの方法、すなわちユーザビリ
ティサティスファクション法、ユーザビリティパフォー
マンス法、及びユーザビリティパフォーマンスインジケ
ータ法、から構成されていると見なすことが可能であ
る。これらの3つの方法は互いに補完しあい、ユーザの
視点からのユーザビリティの完全な評価を提供する。し
かしながら、本発明に係るユーザビリティモデルは、本
発明の範疇を逸脱することなく、あるいはその有する利
点を消失してしまうことなく、種々の変更がなされうる
ことにも留意されたい。これらの変更のうちの一つは、
例えば、ユーザビリティモデルがユーザビリティパフォ
ーマンスインジケータ法を必ずしも有さない、というも
のである。にもかかわらず、そのユーザビリティモデル
は種々の特徴及び利点を有している。
【0027】以下に、本発明が記述され、前記各々の方
法がより詳細に記述される。本明細書において掲げられ
ているあらゆる参照文献は、本発明の参照文献として取
り扱われる。加えて、以下の実施例に関する詳細な記述
は本発明の特徴及び特性を例示し、本発明に係るユーザ
ビリティモデルのインプリメンテーションを明確にする
目的のものである。これらの実施例は本発明を制限する
ものとしては解釈されるべきものではない。また、本発
明に係る方法は無数のシステムに対して広範に適用可能
であるが、システムが(例えばコンピュータシステムに
基づくシステムのような)情報システムであるような本
発明の実施例においては、時間間隔の測定、完了したス
テップの数などのデータの獲得が、以下により詳細に記
述されているように、全てその情報システムを介してな
されうる。
【0028】方法論 システムのユーザビリティ満足を評価するために、”ク
リティカルファクタ”の組が規定される。クリティカル
ファクタは、効率的かつ効果的にシステムを操作するユ
ーザの能力に影響を与えるコンポーネントである。一度
規定されると、これらのファクタはシステムユーザによ
って完了されるべきサーベイを開発するために用いられ
る。
【0029】ユーザビリティ満足測定は、特定のタスク
あるいはジョブ機能に影響を与える全てのクリティカル
ファクタに対する個々人の認識あるいは態度の重み付け
がなされた総和である(Wanous J., and Lawler E., 19
72, Measurement and Meaning of Job Satisfaction. J
ournal of Applied Psychology, 56:95-105)。サーベイ
の結果は、クリティカルファクタ及びユーザによるユー
ザビリティ満足を計算するために用いられる。
【0030】一例として、単純なコンピュータシステム
に関する提案されているクリティカルファクタは、5つ
のカテゴリー、すなわちスクリーンの視認性の明瞭さ、
ソフトウエアの機能性、ソフトウエアの使い易さ、シス
テムトレーニング、及びメッセージ及びヘルプ、に分類
される。
【0031】相異なったプロダクトは、それぞれに独自
のクリティカルファクタの組に基づいてテストされなけ
ればならない、ということに留意することは重要であ
る。プロダクトは独自のものであって他のプロダクトと
は分離して評価されるべきであると見なされているた
め、あるプロダクトに対して適用可能なクリティカルフ
ァクタの組は相異なったプロダクトに対して適用される
クリティカルファクタの組とは異なっている。
【0032】ユーザビリティパフォーマンス法は、ヒュ
ーマン−マシンシステム原理のエルゴノミクスに基づい
ている。これらの原理は、システムを操作する個人の知
覚的、認識的及び運動的技能を解析する。このモデルに
おいては、一連のタスクがテストのために選択される。
タスクは、単一の操作(例えばファンクションキーF1
もしくはAltを用いるもの)、もしくは一連の操作と
して規定される。このモデルにおいては、選択されたタ
スクを実行するために必要とされる時間に基づいて、シ
ステムのユーザビリティの定量的な測定が可能になる。
ユーザビリティパフォーマンス法は、”学習に係る指数
則”法(Snoddy, G.S., 1926, Learningand Stability,
Journal of Applied Psychology, 10, 1-36)として知
られているもの、及び客観的であって学習曲線に依存し
ない、パフォーマンスユーザビリティの全体としての指
数を生成するための統計的解析、を適用することが望ま
しい。
【0033】ユーザビリティパフォーマンスインジケー
タ法すなわちモデルは、複数個のキー領域におけるシス
テムパフォーマンスを定量化するために用いられる。こ
のユーザビリティパフォーマンスインジケータ法は、ユ
ーザビリティにおける相異なった側面及び問題点を指向
したユーザビリティパフォーマンスインジケータを提供
し、目的達成ユーザビリティインジケータ、ワークレー
トユーザビリティインジケータ、及びオペラビリティイ
ンジケータを含むことが望ましい。これらのインジケー
タは、第一義的には、効果性、効率、生産性、能力、意
志などのシステムユーザパフォーマンスのレベルを測定
するものである。
【0034】より詳細に述べれば、目的達成ユーザビリ
ティインジケータは、システムユーザがタスクを実行し
てその目的に到達する成功の度合を測定する。目的達成
ユーザビリティインジケータは、システムを操作しその
目的を達成するユーザの効果性を測定する。これに対し
て、ワークレートユーザビリティインジケータは、シス
テムユーザがその目的に到達するために実行するレート
を測定する。ワークレートユーザビリティインジケータ
は、タスクを実行するためにシステムを操作するユーザ
の効率及び生産性を測定する。オペラビリティインジケ
ータは、システム機能を利用するシステムユーザの能力
を測定する。オペラビリティインジケータは、システム
の問題点を解決するために、経験、ツール、及び機能を
利用するシステムユーザの能力を測定する。オペラビリ
ティインジケータは、ジョブを実行する際にユーザが遭
遇する問題点のレベルも測定する。
【0035】ユーザビリティモデルの適用には、システ
ムに係るユーザの理解度を収集する段階、及び選択され
たタスクの組を用いてパフォーマンステストを実行する
段階が含まれる。図1には、本発明に係るユーザビリテ
ィモデルを適用する際に含まれる基本的な段階の概略が
示されている。
【0036】まず、ステップ101において、システム
が選択される。前述されているように、”システム”は
コンピュータシステムに限定されているのではなく、あ
らゆるプロダクト、システム、サービス、すなわちユー
ザがそのシステムによって提供される手段に従って目的
あるいはタスクを達成する目的で相互作用するあらゆる
ファシリティに亘るものである。
【0037】システムが選択されると、ユーザビリティ
サティスファクション法を適用する目的で、ユーザビリ
ティサティスファクション情報獲得シーケンス125が
実行される。このシーケンスの第一ステップ103に
は、前述されているように、クリティカルファクタの組
及びそのクリティカルファクタに基づくサーベイを規定
してリファインする段階が含まれている。その後、サー
ベイされるユーザが選択されて(ステップ105)サー
ベイが処理され(ステップ107)、その後サーベイ応
答が収集される(ステップ109)。
【0038】ユーザビリティパフォーマンス法を適用す
るために、ユーザビリティパフォーマンスデータ獲得シ
ーケンス127が実行される。まず、タスクの組が規定
されなければならない(ステップ111)。その後、ス
テップ113において、タスク要求及び希望される実験
条件に従って適切なテストの組が選択される。本発明に
係るユーザビリティパフォーマンス法は、ステップ11
5において選択されるエキスパート及び入門者ユーザの
双方を利用する。ユーザビリティパフォーマンス法の目
的に関しては、エキスパートユーザはシステム、プロダ
クトあるいはサービスを有用に用いることができる個人
であり、入門者ユーザはそれらに関して熟知していない
ユーザである。しかしながら、入門者ユーザは、ステッ
プ117において単一あるいは複数個のタスクに係るエ
キスパート及び入門者のパフォーマンスを記録する実際
のテストがなされる前に簡潔なトレーニングすなわち習
熟プロセスを経験する。
【0039】ステップ119においては、ステップ10
9において収集されて記録されたデータがコンパイルさ
れ、ユーザビリティパフォーマンス及びユーザビリティ
サティスファクションを定量的かつ客観的な様式で計算
して解明するために適切な計算が実行される。その結果
得られた定量的な情報は解析され(ステップ121)、
それに従ってシステムの変更に関する推奨事項が作成さ
れる。
【0040】上記ステップを模式的に図示した図1は例
示目的であって種々の修正及び適応化がなされうること
に留意されたい。ユーザビリティサティスファクション
及びユーザビリティパフォーマンスデータは同時に収集
され得ることにも注意されたい。さらに、ユーザビリテ
ィパフォーマンスインジケータ法は図1には明確には示
されていないが、一般的にはデータのコンパイル及び計
算を行なうステップ(すなわちステップ119)の一部
として含まれていることにも留意されたい。しかしなが
ら、以下により理解されるように、ある種のパフォーマ
ンスインジケータを導出するためには、付加的な測定及
びデータ収集がなされることが望ましい。
【0041】以上の方法論に関する議論は、本発明に係
るユーザビリティモデルを構成する3つのモデルすなわ
ち方法の概説である。ユーザビリティモデルの特徴及び
利点は、以下のユーザビリティサティスファクション
法、ユーザビリティパフォーマンス法、及びユーザビリ
ティパフォーマンスインジケータ法の望ましい実施例に
関する記述に従ってより理解される。
【0042】ユーザビリティサティスファクション法 信頼できるユーザビリティサティスファクション測定の
望ましい方法は、タスクあるいはジョブ機能に影響を与
える全てのクリティカルファクタに対する個々人の認識
あるいは態度の重み付けがなされた総和である(前掲の
Wanousによる参照文献(1972)を参照)。ユーザビリティ
測定のこの定義をユーザビリティモデルをテストし、そ
の有効性を確認し、そして適用するために利用するため
には、システムに対するクリティカルファクタのサンプ
ルを収集しなければならない。システムのユーザビリテ
ィを測定するクリティカルファクタを識別することは、
考慮されているシステムを効率的かつ効果的に操作する
ユーザの能力に対して影響を与えるクリティカルファク
タを決定することに基づいている。一例としてマネージ
メント情報システムサンプルを取り上げると、全ての適
切なファクタを注意深く評価することによって、図4に
表として示されているような36個のクリティカルファ
クタが識別された。これらのファクタはこのコンピュー
タシステムサンプルのユーザビリティを測定する第一義
的な基礎となるものである。結果を統計的によりよく解
析するために、これらのファクタはさらに4つのカテゴ
リ、すなわちスクリーンの視認性、ソフトウエアの機能
性、ソフトウエア、システムメッセージ及びヘルプの使
い易さ、及びシステムトレーニング、に分割される。各
々のカテゴリは、システムに対するユーザの満足に係る
重要な側面を示している。
【0043】本発明の実施例に従うと、システムに対す
るユーザの認識あるいは態度を測定する、望ましくかつ
広範に受け入れられている方法は、意味論的差分技法
(Semantic Differential Technique)である。この技
法は、本来は複合概念の意味を測定するために開発され
たものである(Osgood,C.E., Suci,G.J., and Tannenha
um,P.H., 1957, The Measurement of Meaning, In: Uni
versity of Illinois Press, Urbana, Illinois)。意
味論的差分技法は、クリティカルファクタの各々に係る
適切な双極形容詞対、例えば”オン”及び”オフ”、”
効率的な”及び”非効率的な”、”よい”及び”悪
い”、に注目している。これらの形容詞対は、7段階の
スケールに分割される。この7段階スケールの各々は、
さらにインテンシティモディファイヤによってラベリン
グされる。
【0044】意味論的差分技法に従うと、前記具体例に
おいては36個のクリティカルファクタの各々に対して
形容詞対が割り当てられる。”システムの出力のタイム
リーさ”を測定する双極スケールの一例が図2に示され
ている。この例から、クリティカルファクタは複数個の
形容詞対(例えば2つの形容詞対:速い/遅い及びリー
ズナブル/アンリーズナブル)を含みうることが理解さ
れる。さらに、各々のクリティカルファクタは、相異な
った個数の双極形容詞対を有しうることも理解される。
【0045】システムユーザは、各々の質問で当てはま
るものをマークするように要求される。”当てはまらな
い”という解答がマークされる場合には、ユーザはその
質問に対する双極形容詞対にマークしない。ファクタが
当てはまるものである場合には、ユーザは7段階のスケ
ールをマークする。ユーザビリティサティスファクショ
ンアルゴリズムを適用する場合には、システムのユーザ
ビリティを定量的に測定するために、7段階のスケール
の各々に対して−3(第一スケール)から+3(第七ス
ケール)までの値が割り当てられる。
【0046】この場合、各々のクリティカルファクタの
ユーザに対する重要度を測る、全く不要から非常に重要
までに亘る別のスケールが存在することが望ましい。こ
の重要度スケールに対しては、0から1.0に対応する
値が割り当てられている。クリティカルファクタのユー
ザに対する重要度を表わすスケールの一例が図3に示さ
れている。ユーザビリティサティスファクション法の実
施に際しては、識別された各々のシステムユーザは、質
問事項に解答するための指示と質問事項とからなるパッ
ケージを受信する。質問事項は、各々のクリティカルフ
ァクタに対して、重要度スケール、少なくとも一組の形
容詞対スケール、及び”当てはまらない”をマークする
ためのエントリ、を含むことが望ましい。結果が有効か
つ正確であるために、ユーザはランダムに選択されるべ
きであり、統計的に有為なサンプルサイズが用いられる
べきである。加えて、これらのユーザは、質問事項に解
答するために、考察されているシステムに関する充分な
知識を有していなければならない。
【0047】ユーザがある双極形容詞対の代わりに”当
てはまらない”という解答を選択した場合には、そのユ
ーザに対して対応する重要度に係る質問に応答する機会
が与えられなければならない。このことは、クリティカ
ルファクタはある一群のユーザに対しては当てはまらな
いが、それでも彼らにとって重要である場合がある、と
いう事実によるものである。
【0048】7段階の重要度スケールは表1に定義され
ている。
【表1】
【0049】システムのユーザビリティは、システムに
対するそのユーザの感じ方すなわちユーザのサティスフ
ァクションの総和よりなる。それゆえ、システムのユー
ザビリティは、システムによって提供されている製品及
びサービスに対するユーザの感じ方の総和として測定さ
れる(Baily, J.E., and Rollier, D.A., 1988, An Emp
irical Study of the Factors Which Affect User Sati
sfaction in Hospitals, Proceedings of the Twelfth
Annual Symposium on Computer Applicationsin Medica
l Care)。
【0050】以下のユーザビリティサティスファクショ
ン測定モデルはこの原理を決定しそれを反映するもので
ある。
【数1】
【数2】 ここで、 i=ユーザi、 j=クリティカルファクタj、 k=形容詞対k、 I=システムを用いてテストされているユーザ数、 J=クリティカルファクタ数、 Kj=クリティカルファクタjに対して用いられている
形容詞対数(Kj>0)、 U(i)=ユーザiサティスファクション、 U(j)=クリティカルファクタjサティスファクショ
ン、 S(i,j)=ユーザiにとってのファクタjの重要度
値 A(i,j,k)=ファクタjの形容詞対kに対するユ
ーザiの解答 である。
【0051】すなわち、ある与えられたユーザの満足を
測定するために、全てのクリティカルファクタに対する
応答に亘る重み付けがなされた総和がそのユーザに関し
て実行される。詳細に述べれば、クリティカルファクタ
jの各々に対して、重要度値にそのクリティカルファク
タに対する形容詞対応答値の総和が乗ぜられ、クリティ
カルファクタjの各々に対するユーザサティスファクシ
ョン値が計算される。この与えられたユーザに対する全
体としてのユーザサティスファクションを得るために
は、クリティカルファクタjの各々に対するユーザサテ
ィスファクション値の総和が計算される(すなわちjに
関する総和が計算される)。
【0052】U(j)がクリティカルファクタjに関す
るユーザサティスファクションを表現していることにも
留意されたい。すなわち、U(j)は、ある与えられた
クリティカルファクタ(j)に関する全てのユーザから
の応答の重み付けがなされた総和である。U(i)及び
U(j)は、獲得された情報がユーザビリティサティス
ファクションの指標として定量的に表現されていること
を表わす方法の一つであることにも留意されたい。既に
議論されているように、クリティカルファクタは、複数
個のカテゴリ(例えばソフトウエアの機能性、スクリー
ンの視認性など)にグループ分けされうる。よって、ユ
ーザビリティサティスファクションは、それぞれの識別
されたカテゴリ内のクリティカルファクタに関して適切
に総和を計算することによって、各々のカテゴリに関し
て計算され得る。同様に、ユーザも相異なったカテゴリ
すなわちタイプのユーザにグループ分けされ得るもので
あり、これらのカテゴリ内のユーザに亘っての総和、例
えば一群のユーザに亘るU(i)の総和、あるいは限定
されたU(j)を計算するためのiに関する限定された
総和、も計算され得る。さらに、全体としてのユーザビ
リティサティスファクション値は全てのユーザiに亘っ
てU(i)の総和を計算することによって得られるが、
全てのクリティカルファクタjに関してU(j)の総和
を計算することも等価である。ユーザビリティサティス
ファクション法の出力の解析及び比較を容易にする目的
で、当業者は本発明に係るユーザビリティサティスファ
クション法に従って計算された種々の量を適切に正規化
することが可能である。
【0053】例えば、あるクリティカルファクタがわず
かのユーザにとってのみ重要である、という場合が起こ
り得る。同様に、あるユーザが全てのクリティカルファ
クタを重要であると見なさない場合も有り得る。このよ
うな場合には、正規化を行なうことによって、クリティ
カルファクタが重要ではない数人のユーザからなるグル
ープに関する結果の解析が容易になる。結果を正規化す
るために、以下の計算式に従って、データが−100か
ら+100の範囲で正規化される:
【数3】
【数4】 ここで、 NU(i)=ユーザiにとっての正規化された重要度 NU(j)=ファクタjに関する正規化された重要度 NF(i)=ユーザiが当てはまると考えたファクタの
個数 NF(j)=ファクタjを当てはまるものと考えたユー
ザの数
【0054】本発明に係るユーザビリティサティスファ
クション法に従って、クリティカルファクタに関連する
システムのユーザビリティが、そのファクタに関する”
最も悪い状態”から”最もよい状態”までの連続の間で
のユーザのポジションによって評価される。それゆえ、
このモデルの正確さ及び客観性は、システムに関するユ
ーザサティスファクションのドメインを構成しているク
リティカルファクタの注意深い描写に大きく依存してい
る。
【0055】ここで、本発明に係るユーザビリティサテ
ィスファクション法がシステムとそのユーザとの間の関
係の数学的表現を強調していることに留意されたい。こ
の関係は、ポリシーやシステムを支配している他のイン
フォーマルなルール及び制限によって影響される。
【0056】ユーザビリティサティスファクション法の
実施例として、クリティカルファクタの各々のカテゴリ
の統計的解析が表の形で表現されることが望ましい。例
えば、ユーザビリティサティスファクション法による結
果の表示は、以下のフォーマットからなる。
【表2】
【0057】この表においては、各々のエントリは、ク
リティカルファクタのカテゴリ、あるいはクリティカル
ファクタに関してユーザビリティサティスファクション
に係る適切に正規化された値を有している。例えば、”
色の使い方”というクリティカルファクタに関しては、
あるユーザに関して計算された最小値、全てのユーザに
関する平均値(すなわち正規化されたU(j))、メデ
ィアン、及びその範囲が表現される。この表はユーザビ
リティサティスファクション法によって得られた定量的
データを明瞭に表現しており、そのため、クリティカル
ファクタが解析され、システムの弱点が定量的に識別さ
れてそれに従って修正されうることに留意されたい。前
述されている議論に従って、全てのクリティカルファク
タに関する表は、クリティカルファクタ及び/あるいは
ユーザに基づいて、全体としてのサティスファクショ
ン、及びユーザサティスファクションに係るさらなるエ
ントリを含んでいる。ここで、前述されている表のフォ
ーマットは定量的データが表現される種々の方法のうち
の一つを例示しているのみであり、本発明に係るユーザ
ビリティサティスファクション法を制限するものではな
いことに留意されたい。例えば、グラフィカルな表現
(例えばヒストグラム)も有用である。さらに、分布に
関する統計的指標(例えば標準偏差)も有用である。
【0058】ユーザビリティパフォーマンス法 本発明に従って、望ましいユーザビリティパフォーマン
ス法(すなわちモデル)は、ヒューマン−マシンシステ
ムに係るエルゴノミクス原理に基づいている。これらの
原理は、システムを操作する個々人の知覚的、認識的、
及び運動的スキルを解析する。これらの原理に従うと、
システムユーザの心は情報処理システムのように機能
し、メモリ(記憶)、プロセッサ、パラメータ、及びそ
れらをサポートするハードウエア及びソフトウエアから
構成されている。ユーザビリティパフォーマンスモデル
は、3つのプライマリサブシステム、すなわち知覚シス
テム、認識システム、及び運動システム、の相互作用及
び相互依存関係に基づいて、システムのユーザビリティ
パフォーマンスを測定する。
【0059】ヒューマン−マシンシステムにおいては、
知覚システムはセンサ及び関連するバッファメモリから
信号を受信する。視覚イメージメモリが最も重要なバッ
ファであり、重要な記憶をストアし、それらを視覚イメ
ージデータベース及び聴覚イメージデータベースに保存
する。
【0060】これら2つのデータベースはヒューマン−
マシン知覚システムの出力を保持しているが、この出力
は脳の中においてシンボリックに符号化されている。シ
ステムのユーザビリティを正確に定量的に測定するため
には、視覚イメージメモリ特性が実現されて解析されな
ければならない。
【0061】知覚システムを介して、ヒューマン−マシ
ンシステムは環境から(感覚システムによって活性化さ
れた)感覚を検出し、それらを脳に対して送出する。一
例として、ヒューマン−マシンシステムを操作するエン
ドユーザの視覚は、光に対する感覚を有する眼の網膜を
活性化し、物理的外界からの情報を脳内に登録する。
【0062】ヒューマン−マシンシステムにおいては、
認識システムは視覚イメージメモリセンサからのシンボ
リックに符号化された情報を受信し、その情報をワーキ
ングメモリプロセッサに入力してユーザによってそれ以
前にストアされている、長期記憶プロセッサ中の視覚イ
メージデータベース及び聴覚イメージデータベースのデ
ータを、如何にして適切に応答するかに関して能動的に
決定するために活性化する。
【0063】認識システムは、知覚システムを介して受
信されて脳の中に維持されている情報を最良の可能な選
択肢(決定)を決定するために利用する。
【0064】ヒューマン−マシンシステムにおいては、
運動システムは認識システムからの決定を受信してその
応答を実行する。それゆえ、認識システムから受信され
た決定は、運動システムを活性化するために用いられ、
応答を誘起する。
【0065】以下に記述されている数学的方法論は、シ
ステムを操作する個人の知覚的、認識的及び運動的スキ
ルを解析するヒューマン−マシンシステムの原理のエル
ゴノミクス及び前述の学習に係る指数則(前掲のSnoddy
を参照)に基づいている。この方法論においては、タス
クは単一の操作(例えばファンクションキーF1、ある
いはAltキーを用いるもの)、あるいは一連の操作の
いずれかであると規定される。以下でさらに理解される
ように、この方法論を実現することにより、ユーザのパ
フォーマンス時間に基づいてシステムタスクのユーザビ
リティを定量的に測定することが可能になる。
【0066】学習に係る指数則を適用するためには、測
定されるタスク、及び、入門者ユーザがそのタスクの完
遂を成功させるために従わなければならない必要とされ
る手順を明らかに規定し、識別し、文書化することが鍵
である。学習に係る指数則に従って、j回目の試行にお
いてユーザがタスクを実行するために必要とする時間T
(i,J)は、以下のように測定される:
【数5】
【数6】 ”I”番目のユーザの”J”回の試行の後では、
【数7】
【数8】 式(6)の指数表現を簡潔にすると、
【数9】
【数10】 ここで、 i=i番目のユーザ j=j番目の試行 α=定数 I=タスクを実行するユーザの総数 J=試行総数 T(i,j)=i番目のユーザがj回目の試行としてタ
スクを実行する際に必要とされる時間。 T(i,1)=i番目のユーザがタスクを最初の試行実
行する際に必要とされる時間。 T ̄(i,j)=ユーザ”I”がj回目の試行でタスク
を実行するために必要とされる平均実行時間。 T ̄(i,1)=ユーザ”I”が最初の試行でタスクを
実行するために必要とされる平均実行時間。
【0067】学習に係る指数則によれば、タスクが反復
されるにつれて、タスクを完了するために必要とされる
時間は試行回数のべき乗に反比例することが示されてい
る。すなわち、一度指数αが決定されれば、この学習に
係る指数則に従って、将来のタスクに対して必要とされ
る時間が見積もられ得る。さらに、特定の主題(あるい
は複数個の主題)によって実行されるあるタスクに対す
る指数αが既知である場合には、他の主題に関するj回
目の試行において必要とされる時間の平均値(あるいは
複数個の主題に関する平均時間)は、学習に係る指数則
に従って、後者の主題に関して第1回目の試行を行なう
際に必要とされた時間の測定を行なうのみで計算され得
る。本発明のより望ましい実施例に従うと、ユーザビリ
ティパフォーマンスが、エキスパート群に関するj回目
の試行におけるタスク完遂までの平均時間と入門者群に
関するものとの差の統計的な重要性(例えば信頼の度
合)に従って定量的に測定される。ここで、入門者群に
関するj回目の試行におけるタスク完遂までの平均時間
は、エキスパート群における複数個の試行回数に関する
タスク完遂時間の測定によって決定された指数αの値を
用いて、学習に係る指数則に従って測定される。
【0068】図5の流れ図に従って、本発明に係るユー
ザビリティパフォーマンス法の一実施例の進行する様子
が以下に記述される。この方法の記述に関連して提供さ
れる例は単に例示及び明確化目的のものであり、本発明
に係る方法を制限するものではないことを強調しておき
たい。例えば、この実施例においては特定のサンプルサ
イズが用いられているが、実際に用いられるサンプルサ
イズは大幅に変化し得ることに留意されたい。
【0069】まず、ステップ501において、測定され
るタスク(あるいは複数個のタスク)が決定される。つ
いで、複数(例えば5人から10人の)の経験豊富でよ
く訓練されたユーザ(すなわちエキスパート)が複数個
の試行回数(例えば5回から10回の試行)前記タスク
を実行するように選択され、第一試行に係る完遂時間T
(i,1)、及びj回目の試行に係る完遂時間T(i,
j)が各々のエキスパートユーザに関して正確に記録さ
れる(ステップ503)。各々の試行毎の完遂時間が記
録されうるが、本発明の一実施例に従って、わずか2回
の試行に係る完遂時間(すなわち所定のjに対してT
(i,1)及びT(i,j))のみが必要とされる。
【0070】ステップ505においては、エキスパート
ユーザに対する、第1回目と第j回目の試行に関する対
応する平均完遂時間(すなわちT ̄(i,1)及びT ̄
(i,j))が計算される。その後、(9)式を用いて
これらの平均完遂時間値がエキスパートユーザに関する
定数αを決定するために用いられる(ステップ50
7)。ユーザビリティパフォーマンス法に従って、ステ
ップ531において複数の入門者ユーザ(例えば9人)
がランダムに選択される。これらの入門者ユーザはシス
テムに慣れさせられ、ステップ533においてタスクを
初めて実行するように要求され、そのそれぞれの実行時
間が注意深く記録される。
【0071】次いで、ステップ551において、入門者
ユーザ群に関する第一試行パフォーマンス時間の平均値
が計算される。ついで、ステップ507においてエキス
パートユーザに関して計算された定数αと(6)式をも
ちいて、入門者ユーザに関するj回目の試行でのパフォ
ーマンス時間の平均値(すなわちT ̄(i,j))が推
定される。あるいは、(5)式及び計算された定数αを
用いて、各々の入門者ユーザに対するT(i,j)が計
算され、その後、個々のT(i,j)値が平均される。
【0072】本発明に従って、ユーザビリティパフォー
マンスの定量的表現を実現する目的で、エキスパートユ
ーザに関するパフォーマンス時間と入門者ユーザのそれ
との比較を行なうために統計的解析が実行される。本発
明のより望ましい実施例においては、学習に係る指数則
に従って入門者ユーザに関して推定されたj回目の試行
に対する平均パフォーマンス時間が、エキスパートユー
ザに関して測定されたj回目の試行に対する平均パフォ
ーマンス時間に関して統計的に解析される。スチューデ
ント(Student)t−分布に従って、統計的固有
性あるいは仮説テストが用いられることが望ましい。
【0073】従って、ステップ553においては、モデ
ルの仮説テストにより、エキスパートユーザ及び入門者
ユーザに関して取得されたデータが定量的かつ統計的に
比較される。仮説テストは、j回目の試行に係るパフォ
ーマンス時間の平均値がエキスパートユーザ群及び入門
者ユーザ群に関して等しいという仮説を立てることによ
って実行される。すなわち、
【数11】 対立する仮説は、以下のように立てられる。
【数12】 ここで、 T ̄E(i,j)=エキスパートユーザ群に関するj回
目の試行の平均パフォーマンス時間 T ̄N(i,j)=入門者ユーザ群に関するj回目の試
行の平均パフォーマンス時間 H(0)=ヌル仮説 H(1)=対立仮説
【0074】仮説H(0)を受け入れるあるいは否定す
る確率は、受容に係るb%重要度レベルに基づいてい
る。この重要度レベルが、システムのユーザビリティパ
フォーマンスを定量的に反映するものである。例えば、
仮説が5%重要度レベルで受容されうるか否かを知りた
いと欲していると仮定する。この問いは、t−分布の2
つの棄却側(テール)に対するb=0.05あるいはb
/2=0.025を表しており、よって、12個の自由
度があるような例における2つの棄却領域のt値が値+
2.18から−2.18(t確率分布表による)によっ
て線引きされていることを意味している。当業者には公
知であるが、ある群に対する自由度の数は、群内の要素
の個数から1を減じたものに等しく、2つの群の比較に
関する自由度の数は各々の群に対する自由度の総和に等
しい。
【0075】t−分布に従って、それぞれのランダム変
数に関する統計の標準偏差が未知であるような条件にお
いては、決定のためのルールは、以下の表式に従ってt
値を用いて記述される。
【数13】 及び
【数14】
【数15】
【数16】 ここで、 t=スチューデントt−分布、あるいはt−分布、テス
ト統計 sE=エキスパートユーザに対する標準偏差 sN=入門者ユーザに対する標準偏差 S=平均間の差の標準誤差 IN=入門者ユーザ総数 IE=エキスパートユーザ総数 であり、下付き添字”E”及び”N”は、それぞれエキ
スパート及び入門者を表している。
【0076】よって、これらの表式を用いて、t−分布
値がエキスパートユーザ及び入門者ユーザに関して記録
された値を用いて計算される。
【0077】ステップ555においては、このt−分布
値が、システムのユーザビリティパフォーマンスに関す
る定量的出力を生成するために用いられる。例えば、所
定の信頼レベルが決定の基礎である場合には、t−分布
値が受容可能範囲と比較される。例えば、前述された5
%重要度レベルと12個の自由度の場合には、t−分布
値が−2.18よりも大きいあるいは2.18よりも小
さい場合には仮説は受容され、システムのユーザビリテ
ィは受容に係る5%信頼レベルで評価される。t−分布
値がこの範囲内に入らない場合には、システムのユーザ
ビリティは受容に係る5%信頼レベルでは評価されな
い、すなわち仮説H(0)は棄却される。一度t−分布
値が計算されると信頼レベルはt−分布に従って決定さ
れることが可能であり、それゆえ、ユーザビリティパフ
ォーマンス法は、0から1(百分率でいえば0%から1
00%)に亘る範囲に入る、受容に係るあらゆる信頼レ
ベルを出力として提供することができる。あるいは、連
続した信頼レベルを提供する代わりに、信頼レベルにお
ける有為な差を表わすと見なされ得る種々の間隔に信頼
レベルが分割(すなわち量子化)される。例えば、前述
の例においては、単一の信頼レベルカットオフ値(例え
ば5%)が用いられている。
【0078】それゆえ、本発明に係るユーザビリティパ
フォーマンス法は、システムのユーザビリティパフォー
マンスに係る定量的測度を提供することが理解される。
すなわち、信頼レベルが、選択されたタスクを実行する
ために必要とされる時間に基づいたシステムのユーザビ
リティに係る定量的評価であり、これはシステムを操作
する個人に対して必要とされる知覚的、認識的、及び運
動的スキルを反映したものである。実際、信頼レベル
は、ユーザの視点からシステムが如何に”直感的”ある
いは”自然的(ナチュラル)”かを定量的に表してお
り、よって、システムの”ユーザフレンドリ性”を定量
的に表している。と同時に、それはシステムを学習して
上手に利用するための困難さの相対値をも表している。
【0079】学習に係る指数則をヒューマン−マシンシ
ステム原理に対して適用することにより、ユーザビリテ
ィ解析が各々の入門者ユーザによる複数回の試行を要求
することなく実行される。このようなアプローチは、任
意回の試行に関して入門者及びエキスパートユーザの双
方に対して測定されたパフォーマンス時間を比較する方
法とは異なって、ユーザビリティの測定に密接な関係を
有するファクタ以外のファクタ(例えば学習及び他の環
境的なファクタに由来するその後の試行における改善な
ど)を除去することが可能である。加えて、エキスパー
トによる最初の試行に係る平均値が入門者による最初の
試行に係る平均値と統計的に比較されうる(すなわち、
学習に係る指数則を適用せずに学習及び環境ファクタを
回避する)が、ヒューマンファクタエンジニアリング原
理に基づいて、結果の信頼性及び重要性の観点から、エ
キスパート群が複数回の試行を実行した後にエキスパー
ト群に対して測定されたパフォーマンス時間を利用する
ことが望ましい(学習はエキスパート群に対するファク
タではないことに留意されたい)。実行された試行回数
より大きい”j”回目の試行に関する平均パフォーマン
ス時間を推定する目的では、学習に係る指数則がエキス
パート群に対しても適用可能であることが理解される。
しかしながら、第1回目の試行に引き続いた試行に関し
ては、エキスパート群に対する実際に測定された平均パ
フォーマンス時間値を用いることが望ましい。
【0080】ユーザビリティパフォーマンスインジケー
タ法 本発明のより望ましい実施例に従って、ユーザビリティ
パフォーマンスインジケータ法が全体としてのユーザビ
リティ法の一部として含まれる。ユーザビリティパフォ
ーマンスインジケータ法は、システムのユーザビリティ
を、目的達成、ワークレート、及び操作性を含む4つの
キー領域において定量的に評価する。
【0081】これらのインジケータは、第一義的はシス
テムユーザの、例えば効果性、効率性、生産性、能力、
意志などのパフォーマンスレベルを測定する。前述され
ているように、目的達成ユーザビリティインジケータ
は、システムユーザがタスクを実行して目的に到達する
成功度を測定する。このインジケータは、システムを操
作して目的を達成するユーザの効果性を測定する。
【0082】ワークレートユーザビリティインジケータ
は、システムユーザがその目標に到達するために実行す
るレートを測定する。このインジケータは、それぞれの
タスクを実行するためのユーザオペレーションの効率及
び生産性を測定する。
【0083】オペラビリティインジケータは、システム
ユーザのシステム機能を用いる能力を測定する。このイ
ンジケータは、システムユーザによる、自らの経験、ツ
ール、及び機能をシステムの問題点を解決するための利
用の能力を測定する。さらに、仕事を実行する際にユー
ザが遭遇する問題点のレベルをも測定する。
【0084】これらのインジケータ(Rengger, R.E., 1
991, Measuring System Usability,Proceeding of the
8th International Conference on Systems Engineerin
g,Conventry, United Kingdom)は、効果性、効率、生産
性及び他の重要なユーザビリティインジケータの測定を
アシストする。本発明の実施例に従って、以下に示され
ているインジケータが用いられる。
【0085】目的達成ユーザビリティインジケータ
【数17】
【数18】 ここで、 QU=タスクのパフォーマンスの際に入力されることが
必要なステップあるいは情報(ページ、信号、スクリー
ン、生産ユニット、パルスなど)、すなわちユーザによ
って入力されるステップの量; QL=タスクを実行するために必要とされるクオリティ
ステップの数; EE=エキスパートユーザの効果性; NE=入門者ユーザの効果性。
【0086】特定のタスク、あるいは一連のタスク、を
達成するためには、(ユーザマニュアルによって記述さ
れた)特定の数のステップが必要である。このステップ
数は、QLによって表現される。入門者に対するQLは
エキスパートに対するQLより大きいことに留意された
い。なぜなら、例えばエキスパートは、タスクをマニュ
アルによって記述されたものよりも少ないステップで実
行することを可能にするような、システムに係る知識を
有しているからである。理想的には、ユーザはこれらの
ステップを、他のステップを実行することなく連続して
実行し、同時にステップの実行に際してエラーを生成し
ない。しかしながら、問題点あるいはエラーのために、
タスクを完遂するためにシステムを用いる入門者あるい
はエキスパートは、QUによって表現される数のステッ
プを実行する。例えば、入門者はヘルプを要求し(これ
はステップを構成する)、あるいは必要とされていない
もしくは完全に余計な単一あるいは複数個のステップを
実行する。それゆえ、一般にはQUはQLより大きく、
最大の効果性は、NEあるいはEEの最小値に対応して
QUがQLと等しい場合に実現される。
【0087】ワークレートユーザビリティインジケータ
【数19】
【数20】
【数21】 ここで、 QLt=入門者あるいはエキスパートがタスク中で必要
とされる数のステップを完遂する、すなわちQLステッ
プ全てを実行するために必要とされる時間; QUt=入門者あるいはエキスパートがタスクを完遂す
る、すなわちQUステップ全てを実行するために必要と
される時間; PTt=問題時間:タスクを実行するために必要とされ
てはいないステップを実行するために入門者ユーザが費
やす時間期間; NT=入門者ユーザのタスク時間(例えば入門者に対す
るQUtと等価) ET=エキスパートユーザのタスク時間(例えばエキス
パートに対するQUtと等価) PP=入門者ユーザの生産性期間 LT=入門者ユーザの学習時間 RE=入門者ユーザのエキスパートユーザに対する相対
的な効率
【0088】相対的な効率は入門者ユーザの効率とエキ
スパートユーザの効率との間の相対的な効率を表してい
る。この際、効率は効率性と時間との積(すなわちEE
*ET)であって、REの値は1に等しいかあるいは1
より大きい。1という値は、システムがワークレートユ
ーザビリティに関して理想的であること、すなわち入門
者が、エキスパートが同一のタスクを実行するために必
要とする時間と同一の時間で効率的にタスクを実行しう
ること、を表している。さらに、入門者ユーザの生産性
期間、PP、は、タスクを完遂するためのステップを実
行する際に入門者ユーザによって実際に費やされた入門
者ユーザタスク総時間の比を表している。この観点で
は、学習時間は、入門者ユーザがタスクを実行する目的
でシステムに慣れるために必要とされる時間を表してい
る。さらに、これらのインジケータを百分率で表現する
ことが望ましいことにも留意されたい。
【0089】オペラビリティインジケータ
【数22】
【数23】
【数24】
【数25】 ここで、 RT=単位時間あたりの入門者ユーザの問題点の相対数 RU=単位タスクあたりの入門者ユーザの問題点の相対
数 PT=入門者ユーザが遭遇した問題点の数 PU=単位タスクあたりの入門者ユーザの問題点の数 NA=入門者ユーザがタスクを完遂するために起こした
アクションの数 RL=入門者ユーザに対する問題点リカバリレベル UP=入門者ユーザがタスク時間内に遭遇した未解決の
問題点の数 CF=入門者ユーザに係る複雑度ファクタ CA=入門者ユーザがタスク時間内に行なったアシスタ
ンスコールの数 TP=入門者ユーザ問題点時間(例えば入門者に対する
PTt
【0090】システム機能を利用するユーザの能力を測
定するオペラビリティインジケータに従って、定義か
ら、RTインジケータによって、タスクを実行するため
には必要とされていないが入門者ユーザが実行した付加
ステップとタスクを完遂するために入門者ユーザによっ
て必要とされた時間との比が測定されることが理解され
る。あるいは、このようなインジケータは、PTtのE
Tに対する比、すなわち問題点に関して費やされた時間
の比、によって表現される。なされたアクションの数に
対する遭遇した問題点の数であるRUに関して、NAが
多くの場合、タスク及びアクションがどのように規定さ
れているかに依存して、QUと等価であることに留意さ
れたい。すなわち、”アクション”は解析されているシ
ステムに依存して都合がよいように規定される:”アク
ション”は複数個のタスクとして規定されうる;あるい
はタスクが複数個のアクションとして規定されうる;も
しくは”アクション”は”タスク”と等価なものである
として規定されうる。2つの変数QL及びNAを用いる
ことによって、インジケータが解析を容易にする目的で
定義されるということが強調されている。さらに、遭遇
した問題点の数は以下のあらゆる組み合わせを内包して
いることにも留意されたい。すなわち、ユーザがヘルプ
を要求した回数、ユーザが問題点に遭遇していると知覚
した回数、ユーザが活動を所定の時間期間以上中断した
回数、システムによって実行された余計なステップの
数、等々。
【0091】さらに、リカバリレート、RL,が、入門
者ユーザが遭遇して解決あるいは克服に成功した問題点
の割合を表現していることにも留意されたい。加えて、
複雑度ファクタが、タスクを完遂するためにステップを
実行する時間に対して、アシスタンスコールの相対数及
びシステムを習得して遭遇した問題点を扱うために費や
された時間の相対量に基づいた、システムの利用に係る
全体としての困難さに対する指標を提供している。最後
に、これらのオペラビリティインジケータを百分率で表
わすことが望ましい。
【0092】前述されたユーザビリティパフォーマンス
インジケータは、与えられたタスクのパフォーマンス
(例えば時間、ステップ数)の測定に従って利用されう
るインジケータを例示するためだけのものである。加え
て、インジケータは前記インジケータの関数として導出
され得る。例えば、与えられたタスクに関してNEをE
Eと比較することが便利であるため、NEのEEに対す
る比として相対的な効果性を定義することが望ましい。
本発明に係るユーザビリティモデルがユーザビリティパ
フォーマンスインジケータ法に係るインジケータを含む
ことは望ましい。しかしながら、本明細書において記載
されている各々の方法(すなわち、ユーザビリティサテ
ィスファクション法、ユーザビリティパフォーマンス
法、及びユーザビリティパフォーマンスインジケータ
法)はユーザビリティに係る相補的かつ独立な定量的情
報を提供するため、ユーザビリティパフォーマンスイン
ジケータ法が全体としてのユーザビリティ法の一部とし
て含まれることは必ずしも必要ではない。にもかかわら
ず、これらのインジケータを提供するために必要とされ
るデータの多くはユーザビリティパフォーマンス法に従
って取得されるため、インジケータの決定に必要とされ
る付加的努力はわずかである。さらに、前述されている
ように、これらのインジケータは相補的な解析的情報を
提供する。
【0093】本発明に係るユーザビリティ法に従って、
前述されているように、システムのユーザビリティが3
つの相補的方法に従って定量的に測定される。このよう
なユーザビリティ法は、リエンジニアリングのための努
力を効果的に増強する。加えて、この方法は、システム
のユーザビリティに係る根源的な原因評価に関する診断
情報プロセスを提供し、意図されている目的に適合する
ようなシステム能力の評定すなわちランク付けを行い、
現時点での問題点領域及び将来の開発において遭遇する
であろう問題点領域に対する適切なアクションを識別す
る。この方法を用いて得られた結果は定量的であり、プ
ラットフォームを横断するものであり、適用可能なもの
であり、コストエフェクティブなものであり、反復可能
なものであり、矛盾が無く容易に有効化されうるもので
ある。
【0094】上記記述には多くの限定が含まれている
が、これらの詳細は本発明の範疇を制限するものとして
解釈されるべきものではなく、当業者が種々の修正、変
更、及び等価なインプリメンテーションを行ないうるが
それらは本発明の範疇に含まれる。
【0095】例えば、ユーザビリティサティスファクシ
ョン法に関連して既に記述されているように、本発明に
従うと、ユーザがサンプリングしたクリティカルファク
タデータをカテゴリー分けして表現するための方法は無
数に存在する。さらに、ユーザビリティパフォーマンス
法においては、個々人の学習を表現するために相異なっ
た方法論が用いられうる。さらに、ある適切な場合にお
いては、相異なったテスト統計さらには相異なった群を
用いた統計が利用され得る。加えて、前述されているユ
ーザビリティインジケータの数多くの相異なった組み合
わせ、及び新たに定義されたインジケータも利用されう
る。
【0096】以上の説明は、本発明の一実施例に関する
もので,この技術分野の当業者であれば、本発明の種々
の変形例が考え得るが、それらはいずれも本発明の技術
的範囲に包含される。
【0097】
【発明の効果】以上述べたごとく、本発明によれば、シ
ステムの客観的かつ定量的測定を実現し、従来技術にお
いて実現不可能であった種々の機能及び利点を実現する
ユーザビリティ測定方法が提供される。
【図面の簡単な説明】
【図1】本発明に従ってユーザビリティモデルをインプ
リメントするための流れ図。
【図2】本発明に従う、情報システムに関するあるクリ
ティカルファクタに係る2つの双極形容詞対を図示した
図。
【図3】本発明に従った、重要度情報を獲得するための
クリティカルファクタに係る重要度スケールの一例を示
した図。
【図4】本発明の一実施例に従った、ある種のマネージ
メント情報システムに関する、カテゴリー分けされた3
6個の可能なクリティカルファクタを示した図。
【図5】本発明の一実施例に従った、ユーザビリティパ
フォーマンス測定をインプリメントするためのプロセス
例を示す流れ図。

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 システムのユーザビリティを測定する方
    法において、前記システムはタスクを実行する手段を有
    しており、前記タスクが少なくとも1ステップからな
    り、前記方法が、 (A)エキスパート群の各々のメンバーに関して複数個
    の試行の各々について前記タスクを実行する時間を測定
    する段階と、 (B)入門者群の各々のメンバーに関して少なくとも1
    回の試行の各々について前記タスクを実行する時間を測
    定する段階と、 (C)所定の関係に従って前記入門者群に関して将来の
    試行について前記タスクを実行する平均時間を推定する
    段階と、 (D)入門者群とエキスパート群との間の差異の重要度
    を表わす統計的指数を得る目的で前記エキスパート群に
    関する前記タスクの実行に係る前記複数個の試行の中の
    前記将来の試行に対応する試行についての平均時間を前
    記入門者群に関する前記平均時間と比較する段階と、を
    有することを特徴とするユーザビリティ測定方法。
  2. 【請求項2】 前記所定の関係が学習に係る指数則に基
    づくことを特徴とする請求項第1項に記載のユーザビリ
    ティ測定方法。
  3. 【請求項3】 前記比較段階が、スチューデント(St
    udent)t−分布テスト統計を前記エキスパート群
    と前記入門者群に関して生成する段階を有しており、前
    記統計指数が前記スチューデントt−分布テスト統計に
    対応する重要度レベルに基づいていることを特徴とする
    請求項第1項に記載のユーザビリティ測定方法。
  4. 【請求項4】 前記方法が、さらに、 (E)前記システムに関するクリティカルファクタを識
    別する段階と、 (F)前記各々のクリティカルファクタに対して少なく
    とも一対の双極形容詞対を識別する段階と、ここで、前
    記双極形容詞対は、対立する語義上の意味を有するポジ
    ティブな形容詞とネガティブな形容詞とによって構成さ
    れている、 (G)前記双極形容詞対の各々に対してシステムユーザ
    群の各々のメンバーから形容詞対データを取得する段階
    と、ここで、前記各々の形容詞対に対する前記形容詞対
    データは、前記ポジティブな形容詞に対して割り当てら
    れた値と前記ネガティブな形容詞に対して割り当てられ
    た値とによって限定された範囲内の数値を有し、前記メ
    ンバーによって決定された、前記クリティカルファクタ
    の前記ネガティブな形容詞によって表現される特性に対
    する前記ポジティブな形容詞によって表現される相対的
    な特性にリニアに関係している、 (H)前記各々のクリティカルファクタに対して前記シ
    ステムユーザ群の各々のメンバーから重要度データを取
    得する段階と、ここで、前記重要度データは、前記メン
    バーによって決定された、前記クリティカルファクタの
    相対的な重要度を数値的に表現している、 (I)前記形容詞対データ及び前記重要度データに従っ
    てユーザビリティサティスファクション値を生成する段
    階と、を有することを特徴とする請求項第1項に記載の
    ユーザビリティ測定方法。
  5. 【請求項5】 前記ユーザビリティサティスファクショ
    ン値がある与えられたクリティカルファクタに関するユ
    ーザ群のサティスファクションを表現していることを特
    徴とする請求項第4項に記載のユーザビリティ測定方
    法。
  6. 【請求項6】 前記ユーザビリティサティスファクショ
    ン値が一組のクリティカルファクタに関するある与えら
    れたユーザのサティスファクションを表現していること
    を特徴とする請求項第4項に記載のユーザビリティ測定
    方法。
  7. 【請求項7】 前記ユーザビリティサティスファクショ
    ン値が、前記クリティカルファクタのうちの少なくとも
    一つに関する、前記形容詞対データ及び前記重要度デー
    タの総和より得られる値を有することを特徴とする請求
    項第4項に記載のユーザビリティ測定方法。
  8. 【請求項8】 前記ユーザビリティサティスファクショ
    ン値が、ある与えられたユーザに対する各々のクリティ
    カルファクタに関する前記得られる値の総和を含むこと
    を特徴とする請求項第7項に記載のユーザビリティ測定
    方法。
  9. 【請求項9】 前記ユーザビリティサティスファクショ
    ン値が、ある与えられたクリティカルファクタに関する
    前記各々のユーザに対する前記得られる値の総和を含む
    ことを特徴とする請求項第7項に記載のユーザビリティ
    測定方法。
  10. 【請求項10】 前記方法が、さらに、測定されたパラ
    メータに従って少なくとも一つのユーザビリティパフォ
    ーマンスインジケータを生成する段階を有することを特
    徴とする請求項第4項に記載のユーザビリティ測定方
    法。
  11. 【請求項11】 前記測定されたパラメータが前記タス
    クを完遂するためのパフォーマンス時間及びそのために
    実行されたステップ数を含むことを特徴とする請求項第
    10項に記載のユーザビリティ測定方法。
  12. 【請求項12】 前記ユーザビリティパフォーマンスイ
    ンジケータが、目的達成インジケータ、ワークレートイ
    ンジケータ、及びオペラビリティインジケータよりなる
    群から選択されていることを特徴とする請求項第10項
    に記載のユーザビリティ測定方法。
  13. 【請求項13】 前記方法が、さらに、測定されたパラ
    メータに従って少なくとも一つのユーザビリティパフォ
    ーマンスインジケータを生成する段階を有することを特
    徴とする請求項第1項に記載のユーザビリティ測定方
    法。
  14. 【請求項14】 前記システムがコンピュータシステム
    であることを特徴とする請求項第1項に記載のユーザビ
    リティ測定方法。
  15. 【請求項15】 システムのユーザビリティを測定する
    方法において、当該方法が、 前記システムに関するクリティカルファクタを識別する
    段階と、 前記各々のクリティカルファクタに対して少なくとも一
    対の双極形容詞対を識別する段階と、ここで、前記双極
    形容詞対は、対立する語義上の意味を有するポジティブ
    な形容詞とネガティブな形容詞とによって構成されてい
    る、 前記双極形容詞対の各々に対してシステムユーザ群の各
    々のメンバーから形容詞対データを取得する段階と、こ
    こで、前記各々の形容詞対に対する前記形容詞対データ
    は、前記ポジティブな形容詞に対して割り当てられた値
    と前記ネガティブな形容詞に対して割り当てられた値と
    によって限定された範囲内の数値を有し、前記メンバー
    によって決定された、前記クリティカルファクタの前記
    ネガティブな形容詞によって表現される特性に対する前
    記ポジティブな形容詞によって表現される相対的な特性
    にリニアに関係している、 前記各々のクリティカルファクタに対して前記システム
    ユーザ群の各々のメンバーから重要度データを取得する
    段階と、ここで、前記重要度データは、前記メンバーに
    よって決定された、前記クリティカルファクタの相対的
    な重要度を数値的に表現している、 前記形容詞対データ及び前記重要度データに従ってユー
    ザビリティサティスファクション値を生成する段階と、
    を有することを特徴とするユーザビリティ測定方法。
  16. 【請求項16】 システムのユーザビリティを定量的に
    測定する方法において、当該方法が、システムユーザ群
    の各々のメンバーに対して少なくとも一つのステップよ
    り構成されているタスクの実行に係るデータを取得する
    段階と、及び、ユーザビリティパフォーマンスインジケ
    ータを生成する目的で前記データを処理する段階と、を
    有することを特徴とするユーザビリティ測定方法。
  17. 【請求項17】 前記ユーザビリティパフォーマンスイ
    ンジケータが、ユーザビリティ目的達成インジケータ、
    ユーザビリティワークレートインジケータ、及びユーザ
    ビリティオペラビリティインジケータよりなる群から選
    択されていることを特徴とする請求項第16項に記載の
    ユーザビリティ測定方法。
  18. 【請求項18】 システムのユーザビリティを定量的に
    測定する方法において、当該方法が、 前記システムに係る一群のクリティカルファクタに従っ
    てユーザビリティサティスファクションを測定する第一
    データを取得する段階と、 タスクを実行する際のエキスパート群と入門者群とに対
    するパフォーマンス時間の差異に従ってユーザビリティ
    パフォーマンスを測定する第二データを取得する段階
    と、 ユーザビリティパフォーマンスインジケータを測定する
    第三データを取得する段階と、 前記ユーザビリティサティスファクション、前記ユーザ
    ビリティパフォーマンス、及び前記ユーザビリティパフ
    ォーマンスインジケータに対する定量的値を生成する目
    的で前記第一、第二、及び第三データを処理する段階
    と、を有することを特徴とするユーザビリティ測定方
    法。
JP15413895A 1994-05-31 1995-05-30 ユーザビリティ測定方法 Pending JPH07325802A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US25107994A 1994-05-31 1994-05-31
US251079 1994-05-31

Publications (1)

Publication Number Publication Date
JPH07325802A true JPH07325802A (ja) 1995-12-12

Family

ID=22950390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15413895A Pending JPH07325802A (ja) 1994-05-31 1995-05-30 ユーザビリティ測定方法

Country Status (4)

Country Link
US (2) US5724262A (ja)
EP (1) EP0687988A2 (ja)
JP (1) JPH07325802A (ja)
CA (1) CA2147403A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015913A (ja) * 2001-06-29 2003-01-17 Sharp Corp 操作分析装置、操作分析方法、操作分析プログラムおよびコンピュータ読み取り可能な記録媒体
JP2004013242A (ja) * 2002-06-04 2004-01-15 Hitachi Ltd ユーザビリティ評価支援方法
WO2005048118A1 (ja) * 2003-11-17 2005-05-26 Kenji Katsui オンライン手続きにおける計測方法、評価方法及びアンケート実施方法
JP2011145728A (ja) * 2010-01-12 2011-07-28 Nec Corp 業務システム用ユーザビリティ評価装置、業務システム用ユーザビリティ評価方法およびプログラム

Families Citing this family (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998025195A2 (en) 1996-12-03 1998-06-11 Ergolight Ltd. Computerized apparatus and methods for identifying usability problems of a computerized system
IL119746A (en) * 1996-12-03 2000-06-01 Ergolight Ltd Computerized apparatus and methods for identifying usability problems of a computerized system
US6430536B2 (en) * 1997-04-28 2002-08-06 General Electric Company Method and systems for asset management
US6033226A (en) * 1997-05-15 2000-03-07 Northrop Grumman Corporation Machining tool operator training system
JP3507302B2 (ja) * 1997-10-02 2004-03-15 株式会社日立製作所 システム構成提案支援方法およびツール
US6047261A (en) * 1997-10-31 2000-04-04 Ncr Corporation Method and system for monitoring and enhancing computer-assisted performance
US6405159B2 (en) 1998-06-03 2002-06-11 Sbc Technology Resources, Inc. Method for categorizing, describing and modeling types of system users
AU4861899A (en) * 1998-07-06 2000-01-24 Bios Group Lp A method for performing market segmentation and for predicting consumer demand
US6249769B1 (en) * 1998-11-02 2001-06-19 International Business Machines Corporation Method, system and program product for evaluating the business requirements of an enterprise for generating business solution deliverables
US6741967B1 (en) * 1998-11-02 2004-05-25 Vividence Corporation Full service research bureau and test center method and apparatus
US6381635B1 (en) 1998-11-19 2002-04-30 Ncr Corporation Method for displaying multiple performance measurements of a web site using a platform independent program
US6101489A (en) * 1998-12-22 2000-08-08 Ac Properties, B.V. System, method and article of manufacture for a goal based system utilizing a time based model
US6434714B1 (en) 1999-02-04 2002-08-13 Sun Microsystems, Inc. Methods, systems, and articles of manufacture for analyzing performance of application programs
US6327571B1 (en) * 1999-04-15 2001-12-04 Lucent Technologies Inc. Method and apparatus for hardware realization process assessment
US7086007B1 (en) 1999-05-27 2006-08-01 Sbc Technology Resources, Inc. Method for integrating user models to interface design
US6735570B1 (en) * 1999-08-02 2004-05-11 Unisys Corporation System and method for evaluating a selectable group of people against a selectable set of skills
US6519552B1 (en) * 1999-09-15 2003-02-11 Xerox Corporation Systems and methods for a hybrid diagnostic approach of real time diagnosis of electronic systems
US6629004B1 (en) * 1999-09-20 2003-09-30 Ut-Battelle, Llc Method for automatically evaluating a transition from a batch manufacturing technique to a lean manufacturing technique
WO2001026010A1 (en) * 1999-10-06 2001-04-12 Accenture Llp Method and estimator for production scheduling
US6876991B1 (en) 1999-11-08 2005-04-05 Collaborative Decision Platforms, Llc. System, method and computer program product for a collaborative decision platform
US6526526B1 (en) 1999-11-09 2003-02-25 International Business Machines Corporation Method, system and program for performing remote usability testing
US6557008B1 (en) 1999-12-07 2003-04-29 International Business Machines Corporation Method for managing a heterogeneous IT computer complex
GB2365571A (en) 2000-01-18 2002-02-20 Valuestar Inc System and method for realtime updating service provider ratings
US7035989B1 (en) 2000-02-16 2006-04-25 Sun Microsystems, Inc. Adaptive memory allocation
US6631365B1 (en) 2000-03-14 2003-10-07 Requisite Technology, Inc. Method and apparatus for analyzing the quality of the content of a database
US6778643B1 (en) 2000-03-21 2004-08-17 Sbc Technology Resources, Inc. Interface and method of designing an interface
US20040006473A1 (en) 2002-07-02 2004-01-08 Sbc Technology Resources, Inc. Method and system for automated categorization of statements
WO2001071625A2 (en) * 2000-03-21 2001-09-27 Accenture Llp Method for generating a project for an electronic supply chain value assessment
US6546359B1 (en) * 2000-04-24 2003-04-08 Sun Microsystems, Inc. Method and apparatus for multiplexing hardware performance indicators
US6647546B1 (en) 2000-05-03 2003-11-11 Sun Microsystems, Inc. Avoiding gather and scatter when calling Fortran 77 code from Fortran 90 code
US6802057B1 (en) 2000-05-03 2004-10-05 Sun Microsystems, Inc. Automatic generation of fortran 90 interfaces to fortran 77 code
US20010049621A1 (en) * 2000-05-08 2001-12-06 Paul Raposo Benchmarking surveys
US6986130B1 (en) 2000-07-28 2006-01-10 Sun Microsystems, Inc. Methods and apparatus for compiling computer programs using partial function inlining
US6910107B1 (en) 2000-08-23 2005-06-21 Sun Microsystems, Inc. Method and apparatus for invalidation of data in computer systems
US6778807B1 (en) 2000-09-15 2004-08-17 Documus, Llc Method and apparatus for market research using education courses and related information
EP1320841A1 (en) * 2000-09-28 2003-06-25 Scientific Learning Corp. Method and apparatus for automated training of language learning skills
CA2324119A1 (en) * 2000-10-23 2002-04-23 Ardexus Inc. Method of assisting a sales representative in selling
US6957208B1 (en) 2000-10-31 2005-10-18 Sun Microsystems, Inc. Method, apparatus, and article of manufacture for performance analysis using semantic knowledge
US7483842B1 (en) 2001-02-21 2009-01-27 The Yacobian Group System and method for determining recommended action based on measuring and analyzing store and employee data
US6789047B1 (en) * 2001-04-17 2004-09-07 Unext.Com Llc Method and system for evaluating the performance of an instructor of an electronic course
US20020165763A1 (en) * 2001-05-04 2002-11-07 International Business Machines Corporation System and method for implementing technical change in an organization having multiple hierarchies
US20030004778A1 (en) * 2001-05-10 2003-01-02 Gareau Brian R. Computer architecture and computer iplemented and/or assisted method of performing a cultural assessment of an organization and making improvements thereon
US7890387B2 (en) * 2001-06-15 2011-02-15 Harris Interactive Inc. System and method for conducting product configuration research over a computer-based network
US7398233B1 (en) * 2001-06-15 2008-07-08 Harris Interactive, Inc. System and method for conducting product configuration research over a computer-based network
US6790045B1 (en) 2001-06-18 2004-09-14 Unext.Com Llc Method and system for analyzing student performance in an electronic course
US7065201B2 (en) 2001-07-31 2006-06-20 Sbc Technology Resources, Inc. Telephone call processing in an interactive voice response call management system
US20030055718A1 (en) * 2001-09-18 2003-03-20 Cimini Michael Orlando Methods and systems for evaluating process production performance
US7101185B2 (en) * 2001-09-26 2006-09-05 Scientific Learning Corporation Method and apparatus for automated training of language learning skills
JP3901975B2 (ja) * 2001-10-01 2007-04-04 株式会社ノーバス 評価方法およびプログラム
WO2003032274A1 (en) 2001-10-05 2003-04-17 Vision Works Llc A method and apparatus for periodically questioning a user using a computer system or other device to facilitate memorization and learning of information
US10347145B1 (en) 2001-10-05 2019-07-09 Vision Works Ip Corporation Method and apparatus for periodically questioning a user using a computer system or other device to facilitate memorization and learning of information
US20030101093A1 (en) * 2001-11-27 2003-05-29 Coomber Jill Susan System and method for measuring
US20030207238A1 (en) * 2002-01-04 2003-11-06 Markus Latzina Training methods and systems
US7305070B2 (en) 2002-01-30 2007-12-04 At&T Labs, Inc. Sequential presentation of long instructions in an interactive voice response system
US20030149571A1 (en) * 2002-02-01 2003-08-07 Steve Francesco System and method for facilitating decision making in scenario development
US20030149717A1 (en) * 2002-02-05 2003-08-07 William Heinzman Batch processing job streams using and/or precedence logic
US6914975B2 (en) 2002-02-21 2005-07-05 Sbc Properties, L.P. Interactive dialog-based training method
US7280976B2 (en) * 2002-03-28 2007-10-09 Xerox Corporation Method for generating a rating for assessing accessibility standards compliance
US6768968B2 (en) 2002-04-18 2004-07-27 International Business Machines Corporation Method and system of an integrated simulation tool using business patterns and scripts
US20080091492A1 (en) * 2002-04-19 2008-04-17 Bowler Steven B Web-enabled deliverable-gate program management with scoring method for product development processes
US20080065515A1 (en) * 2002-04-26 2008-03-13 Bowler Steve B Program management of supplier deliverables using web-enabled software
CA2393902A1 (en) * 2002-07-16 2004-01-16 Cognos Incorporated Automated usability testing system and method
JP2004102564A (ja) * 2002-09-09 2004-04-02 Fuji Xerox Co Ltd ユーザビリティ評価支援装置
JP2004110548A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd ユーザビリティ評価支援装置および方法
US20080195446A1 (en) * 2002-10-24 2008-08-14 Bowler Steven B Cross-program dependency scheduling
US7121830B1 (en) * 2002-12-18 2006-10-17 Kaplan Devries Inc. Method for collecting, analyzing, and reporting data on skills and personal attributes
JP2004325878A (ja) * 2003-04-25 2004-11-18 Idt Data System Ltd 操作ダイヤル
US8484060B2 (en) * 2003-05-28 2013-07-09 International Business Machines Corporation Project estimating system and method
US7407384B2 (en) 2003-05-29 2008-08-05 Robert Bosch Gmbh System, method and device for language education through a voice portal server
US7010463B1 (en) * 2003-10-14 2006-03-07 The United States Of America As Represented By The Secretary Of The Army Method of determining whether an improved item has a better mean lifetime than an existing item
EP1526448B1 (en) * 2003-10-24 2008-11-12 Sap Ag Method and computer system for document authoring
US7376083B2 (en) * 2003-12-09 2008-05-20 International Business Machines Corporation Apparatus and method for modeling queueing systems with highly variable traffic arrival rates
DE60325076D1 (de) * 2003-12-18 2009-01-15 Sap Ag Verfahren und Rechnersystem zur Bestimmung der Komplexität einer Benutzerschnittstelle
US7027586B2 (en) 2003-12-18 2006-04-11 Sbc Knowledge Ventures, L.P. Intelligently routing customer communications
US20050191603A1 (en) * 2004-02-26 2005-09-01 Scientific Learning Corporation Method and apparatus for automated training of language learning skills
US7810070B2 (en) * 2004-03-29 2010-10-05 Sas Institute Inc. System and method for software testing
US7587324B2 (en) * 2004-03-30 2009-09-08 Sap Ag Methods and systems for detecting user satisfaction
WO2005099255A2 (en) * 2004-04-01 2005-10-20 Techsmith Corporation Automated system and method for conducting usability testing
US20050246241A1 (en) * 2004-04-30 2005-11-03 Rightnow Technologies, Inc. Method and system for monitoring successful use of application software
US20110099053A1 (en) * 2004-04-30 2011-04-28 Irizarry Jr Robert T Method and system for monitoring successful use of application software
WO2005117531A2 (en) * 2004-06-04 2005-12-15 Mats Danielson A support system for decision analysis
US20050288992A1 (en) * 2004-06-28 2005-12-29 International Business Machines Corporation System and method for selection of development processes needing corrective action
US20060155611A1 (en) * 2004-12-10 2006-07-13 France Telecom System and a method for controlling the quality of business applications
US8560462B2 (en) * 2005-07-20 2013-10-15 International Business Machines Corporation Management of usage costs of a resource
EP1758026A1 (en) 2005-08-25 2007-02-28 Siemens Aktiengesellschaft Computer-based method of mesuring the usability of a web site
US7624098B2 (en) * 2005-10-07 2009-11-24 International Business Machines Corporation Generating suitable data for statistical analysis
US8467715B2 (en) * 2006-01-03 2013-06-18 General Electric Company System and method for just-in-time training in software applications
US8660953B2 (en) 2006-01-18 2014-02-25 International Business Machines Corporation Computer-implemented method, system, and program product for identifying business offerings based on customer needs
US20070209010A1 (en) * 2006-03-01 2007-09-06 Sas Institute Inc. Computer implemented systems and methods for testing the usability of a software application
US9110934B2 (en) * 2006-06-02 2015-08-18 International Business Machines Corporation System and method for delivering an integrated server administration platform
US20070282692A1 (en) * 2006-06-05 2007-12-06 Ellis Edward Bishop Method and apparatus for model driven service delivery management
US20070288274A1 (en) * 2006-06-05 2007-12-13 Tian Jy Chao Environment aware resource capacity planning for service delivery
US8468042B2 (en) * 2006-06-05 2013-06-18 International Business Machines Corporation Method and apparatus for discovering and utilizing atomic services for service delivery
US7877284B2 (en) * 2006-06-05 2011-01-25 International Business Machines Corporation Method and system for developing an accurate skills inventory using data from delivery operations
US8001068B2 (en) * 2006-06-05 2011-08-16 International Business Machines Corporation System and method for calibrating and extrapolating management-inherent complexity metrics and human-perceived complexity metrics of information technology management
US8554596B2 (en) * 2006-06-05 2013-10-08 International Business Machines Corporation System and methods for managing complex service delivery through coordination and integration of structured and unstructured activities
US20070282876A1 (en) * 2006-06-05 2007-12-06 Yixin Diao Method for service offering comparitive it management activity complexity benchmarking
US7659897B1 (en) * 2006-06-30 2010-02-09 Nvidia Corporation System, method, and computer program product for video benchmarking
US20080040195A1 (en) * 2006-08-11 2008-02-14 Yahoo! Inc. Quantitative analysis of web page clutter that accounts for subjective preferences
US7913229B2 (en) * 2006-09-18 2011-03-22 Sas Institute Inc. Computer-implemented system for generating automated tests from a web application
US8254648B2 (en) * 2007-01-04 2012-08-28 General Electric Company Method for providing adaptive hanging protocols for image reading
US8112305B2 (en) * 2007-01-30 2012-02-07 International Business Machines Corporation Systems and methods for distribution-transition estimation of key performance indicator
US8296732B2 (en) * 2007-03-23 2012-10-23 Sas Institute Inc. Computer-implemented systems and methods for analyzing product configuration and data
US8087001B2 (en) * 2007-06-29 2011-12-27 Sas Institute Inc. Computer-implemented systems and methods for software application testing
US8561026B2 (en) * 2007-11-27 2013-10-15 International Business Machines Corporation Method, apparatus and computer program for facilitating the improvement of a user interface
US8320741B1 (en) * 2007-12-17 2012-11-27 Nvidia Corporation Media capture system, method, and computer program product for assessing processing capabilities
US9235644B2 (en) * 2008-07-14 2016-01-12 Qualcomm Incorporated Operator, device and platform independent aggregation, cross-platform translation, enablement and distribution of user activity catalogs
US20100223212A1 (en) * 2009-02-27 2010-09-02 Microsoft Corporation Task-related electronic coaching
US20100318409A1 (en) * 2009-06-12 2010-12-16 Accenture Global Services Gmbh Component Based Productivity Measurement
US20110154293A1 (en) * 2009-12-17 2011-06-23 Honeywell International Inc. System and method to identify product usability
US11494793B2 (en) 2010-05-26 2022-11-08 Userzoom Technologies, Inc. Systems and methods for the generation, administration and analysis of click testing
US11348148B2 (en) 2010-05-26 2022-05-31 Userzoom Technologies, Inc. Systems and methods for an intelligent sourcing engine for study participants
US11934475B2 (en) 2010-05-26 2024-03-19 Userzoom Technologies, Inc. Advanced analysis of online user experience studies
US11068374B2 (en) 2010-05-26 2021-07-20 Userzoom Technologies, Inc. Generation, administration and analysis of user experience testing
US11544135B2 (en) 2010-05-26 2023-01-03 Userzoom Technologies, Inc. Systems and methods for the analysis of user experience testing with AI acceleration
US11562013B2 (en) * 2010-05-26 2023-01-24 Userzoom Technologies, Inc. Systems and methods for improvements to user experience testing
US10691583B2 (en) 2010-05-26 2020-06-23 Userzoom Technologies, Inc. System and method for unmoderated remote user testing and card sorting
US8856750B2 (en) 2010-09-28 2014-10-07 International Business Machines Corporation Task-based evaluation of user interfaces
US9588879B2 (en) 2011-03-15 2017-03-07 Hewlett Packard Enterprise Development Lp Usability testing
US8869115B2 (en) * 2011-11-23 2014-10-21 General Electric Company Systems and methods for emotive software usability
WO2014181190A2 (en) * 2013-03-13 2014-11-13 Mindmarker BV Method and system for creating interactive training and reinforcement programs
US20140344257A1 (en) * 2013-05-16 2014-11-20 International Business Machines Corporation Detecting a Preferred Implementation of an Operation
US10559216B2 (en) * 2013-10-22 2020-02-11 D2L Corporation Systems and methods for conducting assessments in an electronic learning system
US11403711B1 (en) 2013-12-23 2022-08-02 Massachusetts Mutual Life Insurance Company Method of evaluating heuristics outcome in the underwriting process
US10489861B1 (en) 2013-12-23 2019-11-26 Massachusetts Mutual Life Insurance Company Methods and systems for improving the underwriting process
US10277645B2 (en) 2014-03-26 2019-04-30 Unanimous A. I., Inc. Suggestion and background modes for real-time collaborative intelligence systems
US10712929B2 (en) 2014-03-26 2020-07-14 Unanimous A. I., Inc. Adaptive confidence calibration for real-time swarm intelligence systems
US10439836B2 (en) 2014-03-26 2019-10-08 Unanimous A. I., Inc. Systems and methods for hybrid swarm intelligence
AU2015236010A1 (en) 2014-03-26 2016-11-10 Unanimous A.I. LLC Methods and systems for real-time closed-loop collaborative intelligence
US10353551B2 (en) 2014-03-26 2019-07-16 Unanimous A. I., Inc. Methods and systems for modifying user influence during a collaborative session of real-time collective intelligence system
US11151460B2 (en) 2014-03-26 2021-10-19 Unanimous A. I., Inc. Adaptive population optimization for amplifying the intelligence of crowds and swarms
US10110664B2 (en) * 2014-03-26 2018-10-23 Unanimous A. I., Inc. Dynamic systems for optimization of real-time collaborative intelligence
US10310802B2 (en) 2014-03-26 2019-06-04 Unanimous A. I., Inc. System and method for moderating real-time closed-loop collaborative decisions on mobile devices
US12001667B2 (en) 2014-03-26 2024-06-04 Unanimous A. I., Inc. Real-time collaborative slider-swarm with deadbands for amplified collective intelligence
US10222961B2 (en) 2014-03-26 2019-03-05 Unanimous A. I., Inc. Methods for analyzing decisions made by real-time collective intelligence systems
US9940006B2 (en) 2014-03-26 2018-04-10 Unanimous A. I., Inc. Intuitive interfaces for real-time collaborative intelligence
US10817158B2 (en) 2014-03-26 2020-10-27 Unanimous A. I., Inc. Method and system for a parallel distributed hyper-swarm for amplifying human intelligence
US10416666B2 (en) 2014-03-26 2019-09-17 Unanimous A. I., Inc. Methods and systems for collaborative control of a remote vehicle
US11941239B2 (en) 2014-03-26 2024-03-26 Unanimous A.I., Inc. System and method for enhanced collaborative forecasting
US10122775B2 (en) 2014-03-26 2018-11-06 Unanimous A.I., Inc. Systems and methods for assessment and optimization of real-time collaborative intelligence systems
US12079459B2 (en) 2014-03-26 2024-09-03 Unanimous A. I., Inc. Hyper-swarm method and system for collaborative forecasting
WO2016064827A1 (en) * 2014-10-21 2016-04-28 Unanimous A.I., Inc. Systems and methods for performance analysis and moderation of a real-time multi-tier collaborative intelligence
US10551999B2 (en) 2014-03-26 2020-02-04 Unanimous A.I., Inc. Multi-phase multi-group selection methods for real-time collaborative intelligence systems
US10817159B2 (en) 2014-03-26 2020-10-27 Unanimous A. I., Inc. Non-linear probabilistic wagering for amplified collective intelligence
US10133460B2 (en) 2014-03-26 2018-11-20 Unanimous A.I., Inc. Systems and methods for collaborative synchronous image selection
US11269502B2 (en) 2014-03-26 2022-03-08 Unanimous A. I., Inc. Interactive behavioral polling and machine learning for amplification of group intelligence
US9818076B2 (en) * 2014-06-02 2017-11-14 Oracle International Corporation Visual resource allocation system
US10332113B2 (en) * 2014-11-19 2019-06-25 Eyelock Llc Model-based prediction of an optimal convenience metric for authorizing transactions
US20190354913A1 (en) * 2018-05-17 2019-11-21 Tata Consultancy Services Limited Method and system for quantifying quality of customer experience (cx) of an application
US11409363B2 (en) 2018-05-30 2022-08-09 West Texas Technology Partners, Llc Augmented reality hand gesture recognition systems
US11909100B2 (en) 2019-01-31 2024-02-20 Userzoom Technologies, Inc. Systems and methods for the analysis of user experience testing with AI acceleration
US11995670B2 (en) 2020-06-02 2024-05-28 Express Scripts Strategic Development, Inc. User experience management system
US11243788B1 (en) 2020-10-01 2022-02-08 Bank Of America Corporation Cognitive tracking and navigation training system for improved application performance
CN115407750B (zh) * 2022-08-12 2023-11-21 北京津发科技股份有限公司 人机协同智能系统决策能力的测评方法及系统
US11949638B1 (en) 2023-03-04 2024-04-02 Unanimous A. I., Inc. Methods and systems for hyperchat conversations among large networked populations with collective intelligence amplification

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4583280A (en) * 1982-12-23 1986-04-22 The Budd Company Methods and means for sequentially measuring the times involved in a plurality of manufacturing operations and for detecting mechanical malfunctions in an automated system
DE3529301A1 (de) * 1984-08-28 1986-03-27 Jost von Dr. Grüningen Fellenberg Psychotechnisches verfahren und einrichtung zur durchfuehrung des verfahrens
US4671772A (en) * 1985-10-22 1987-06-09 Keilty, Goldsmith & Boone Performance appraisal and training system and method of utilizing same
US5086393A (en) * 1986-03-10 1992-02-04 International Business Machines Corp. System for testing human factors and performance of a system program
US5041972A (en) * 1988-04-15 1991-08-20 Frost W Alan Method of measuring and evaluating consumer response for the development of consumer products
US5124911A (en) * 1988-04-15 1992-06-23 Image Engineering, Inc. Method of evaluating consumer choice through concept testing for the marketing and development of consumer products
US4937439A (en) * 1988-05-13 1990-06-26 National Computer Systems, Inc. Method and system for creating and scanning a customized survey form
US5084819A (en) * 1988-11-10 1992-01-28 Response Technologies Inc. Data collection, analysis, and response system and method
US5212635A (en) * 1989-10-23 1993-05-18 International Business Machines Corporation Method and apparatus for measurement of manufacturing technician efficiency
JPH04246791A (ja) * 1991-02-01 1992-09-02 Hitachi Ltd アンケートデータ収集・分析システム
DE69327691D1 (de) * 1992-07-30 2000-03-02 Teknekron Infowitch Corp Verfahren und System zur Überwachung und/oder Steuerung der Leistung einer Organisation
US5365425A (en) * 1993-04-22 1994-11-15 The United States Of America As Represented By The Secretary Of The Air Force Method and system for measuring management effectiveness
US5523960A (en) * 1994-08-10 1996-06-04 Samsung Electronics Co., Ltd. Evaluation method of assembly sequences
US5526257A (en) * 1994-10-31 1996-06-11 Finlay Fine Jewelry Corporation Product evaluation system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015913A (ja) * 2001-06-29 2003-01-17 Sharp Corp 操作分析装置、操作分析方法、操作分析プログラムおよびコンピュータ読み取り可能な記録媒体
JP2004013242A (ja) * 2002-06-04 2004-01-15 Hitachi Ltd ユーザビリティ評価支援方法
WO2005048118A1 (ja) * 2003-11-17 2005-05-26 Kenji Katsui オンライン手続きにおける計測方法、評価方法及びアンケート実施方法
JP2011145728A (ja) * 2010-01-12 2011-07-28 Nec Corp 業務システム用ユーザビリティ評価装置、業務システム用ユーザビリティ評価方法およびプログラム

Also Published As

Publication number Publication date
EP0687988A2 (en) 1995-12-20
CA2147403A1 (en) 1995-12-01
US5808908A (en) 1998-09-15
EP0687988A3 (ja) 1996-01-17
US5724262A (en) 1998-03-03

Similar Documents

Publication Publication Date Title
US5808908A (en) Method for measuring the usability of a system
Lent et al. Discriminant and predictive validity of academic self-concept, academic self-efficacy, and mathematics-specific self-efficacy.
Karat Software evaluation methodologies
Vera-Munoz The effects of accounting knowledge and context on the omission of opportunity costs in resource allocation decisions
JP2020509498A5 (ja)
Hopkins et al. Looking forward: The role of multiple regression in family business research
Reilly et al. The assessment of self-insight in judgment policies
Bedard et al. The effects of decision aid orientation on risk factor identification and audit test planning
Lallé et al. Prediction of users' learning curves for adaptation while using an information visualization
Howard et al. The “other” relationships of self-assessed intelligence: A meta-analysis
Humberg et al. Cubic response surface analysis: Investigating asymmetric and level-dependent congruence effects with third-order polynomial models.
Souza et al. Comparing business value modeling methods: A family of experiments
Pham et al. Factors influencing construction workers’ intention to transfer occupational health and safety training
JP2020535526A (ja) リハビリ状態のための評価及び管理システム並びに関係する方法
Jarupathirun Dialectic decision support systems: System design and empirical evaluation
Sims Scientific standards in econometric modeling
Haake et al. Toward an operationalization of effective use
JP7349125B2 (ja) 美容判定方法、官能評価方法、及びシステム
Meyer jMetrik
Ma et al. Psychological User Characteristics and Meta-Intents in a Conversational Product Advisor.
Kimbrough et al. An empirical comparison of utility assessment programs
Wheeler et al. The effects of exclusive user choice of decision aid features on decision making
Dougherty Partnering people with deep learning systems: human cognitive effects of explanations
Cooksey et al. Inferential statistics for hypothesis testing
Lancaster et al. Evaluation of interactive knowledge‐based systems: Overview and design for empirical testing