JP5775417B2 - ユーザインタフェース自動分析評価システム及びユーザインタフェース自動分析評価方法 - Google Patents

Description

本発明は、アプリケーションのユーザインタフェースに対する分析評価を自動的に行うシステム及び方法に関し、特に、タッチパネル操作を伴う携帯情報通信端末上で動作するアプリケーションを対象としたユーザインタフェース自動分析評価システム及びその評価方法に関する。

アプリケーションのユーザインタフェースを評価する方法としては、被験者がアプリケーションを実際に使った上で、主観的な評価結果をアンケート形式で行う方法が主流である。例えば、非特許文献1では、ウェブユーザビリティに関する２１項目の質問に対して、それぞれ５段階で評価を行い、２１項目の質問から生成される７つの評価因子でウェブサイトのユーザビリティを評価することが行われている。

また、非特許文献２では、アプリケーションの画面配置を、ゲシュタルト理論のデザイン原則に基づいて決定する。具体的には、Simplicity（簡潔さ: 中核でない機能を排除しているか）、Structuring（構造: 文脈上関連しているものをグループ化しているか）、Proportion（均衡: 幅、高さ、余白の割合が等比で最適化されているか）に関する美的評価関数を導入し、画面配置を評価することが行われている。

更に、特許文献１では、画面の上方に設置したカメラを利用して、画面を操作する指の動きを撮影するとともに画像解析を行い、指先の動きと停留時間を解析することで、画面操作に伴う思考動作と探索動作の検出、及び、その位置と時間を算出する。これにより、ユーザビリティを低下する要因を分析評価することが行われている。

特開２０１１−１００３４４号公報

http://www.usability.gr.jp/wp-content/uploads/2011/01/his_10th_paper.pdf Aesthetics Matter: Leveraging Design Heuristics to Synthesize Visually Satisfying Handheld Interfaces／Stanford University／CHI 2009, Spotlight on Works in Progress, Session 2, April 4-9, 2009

しかしながら、非特許文献１に記載された評価方法では、アプリケーションを構築・改良するたびに、複数の被験者を募り評価実験を実施する必要があるため、多大なコストと時間を必要とする。
また、非特許文献２に記載された評価方法では、一画面内の各部品の配置が整然と並んでいるかを評価するだけであり、複数画面で構成するアプリケーション全体に渡る画面遷移や階層関係まで考慮できていない。
特許文献１に記載された評価方法では、非特許文献１の課題と同様、アプリケーションを構築・改良するたびに、被験者を募り評価実験を実施する必要があるのに加え、被験者が思考した箇所と、熟読した箇所との区別など、指先の動きのみでは評価できない現象を考慮していない。

すなわち、上述した既存技術の各評価方法は、アプリケーションに対して被験者の主観的な観点による評価と、画面配置や操作行動から得た客観的な観点による評価とを、それぞれ単独で評価しているに留まっており、これらの関係性まで考慮していないという課題が存在した。
特に、開発中のアプリケーションについては、試作段階での改良毎に被験者の主観的評価をその都度得ることは困難であり、主観的評価が自動的に取得できる評価システムが期待されていた。

本発明は上記実情に鑑みて提案されたもので、被験者の主観的な観点による評価結果と、画面配置や画面構成などの物理特徴から得られる客観的な観点による評価結果との相関関係を捉えるモデルを構築することで、アプリケーションの自動的な評価を行うユーザインタフェース自動分析評価システム及び自動分析評価方法を提供することを目的とする。

上記目的を達成するため本発明のユーザインタフェース自動分析評価システム（請求項１）は、評価対象とするアプリGUIのユーザビリティを評価する評価システムであって、次の各構成を備えたことを特徴としている。
予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値として蓄積した主観評価結果記憶部。
主観評価されたアプリGUIに使用されているGUI物理パラメータに対する計測値を蓄積したGUI物理パラメータ計測結果記憶部。
前記主観評価結果記憶部及びGUI物理パラメータ計測結果記憶部から読み出し、GUI物理パラメータと主観評価項目との相関関係を分析して、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを出力する相関関係分析部。
前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して、主観評価結果を予測するアプリGUI評価部。

請求項２は、請求項１のユーザインタフェース自動分析評価システムにおいて、前記相関関係分析部は、前記GUI物理パラメータの計測値の行列データと、前記主観評価値の行列データから、正準相関分析を行うことを特徴としている。

請求項３は、請求項２のユーザインタフェース自動分析評価システムにおいて、前記相関関係分析部は、正準相関分析結果から得られる構造係数に基づき、主観評価項目に対して影響を及ぼし易いGUI物理パラメータを予測することを特徴としている。

請求項４は、請求項２又は請求項３のユーザインタフェース自動分析評価システムにおいて、前記アプリGUI評価部は、前記相関関係分析部の正準相関分析の出力結果と、前記評価対象アプリGUIのGUI物理パラメータの計測値を元づき、評価対象アプリGUIの影響のある主観評価値を予測することを特徴としている。

請求項５は、請求項１のユーザインタフェース自動分析評価システムにおいて、前記相関関係分析部は、分析結果に基づき各評価項目を軸とする多次元特徴空間に分析対象アプリGUIをプロットするプロット部と、前記多次元特徴空間において類似した特徴を有するアプリケーション毎に分類するアプリ特徴分類部と、前記多次元特徴空間において人気アプリケーションのランキング順位に基づき分類するアプリ人気分類部とを備えることを特徴としている。

請求項６は、請求項１のユーザインタフェース自動分析評価システムにおいて、前記相関関係分析部は、前記アプリGUIから当該アプリGUIに使用されているGUI物理パラメータを判定し、前記GUI物理パラメータが存在した場合に、当該GUI物理パラメータに関するデータを計測するGUI物理パラメータ計測部を有し、前記データを前記GUI物理パラメータ計測結果記憶部に蓄積することを特徴としている。

請求項７は、請求項６のユーザインタフェース自動分析評価システムにおいて、前記GUI物理パラメータ計測部は、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を自動で行う画像解析処理部を備えたことを特徴としている。

請求項８は、請求項６のユーザインタフェース自動分析評価システムにおいて、前記GUI物理パラメータ計測部は、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を手作業で入力するGUI物理パラメータ計測手入力部を備えたことを特徴としている。

請求項９は、請求項１のユーザインタフェース自動分析評価システムにおいて、前記アプリGUIを評価及び分析するGUI物理パラメータを取捨選択、追加、削除するGUI物理パラメータ追加・削除指定部を有し、該指定に基づき前記相関関係分析部が相関関係の分析を行うことを特徴としている。

本発明のユーザインタフェース自動分析評価方法（請求項１０）は、評価対象とするアプリGUIのユーザビリティを評価する評価方法であって、予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値と、主観評価されたアプリGUIに使用されているGUI物理パラメータに対する計測値との相関関係を分析し、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを作成し、前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して主観評価結果を予測することをソフトウエアによりコンピュータに実行させることを特徴としている。

本発明によれば、多数のアプリケーションを用いて分析モデルを学習することで、主観評価結果が高くなる要因となるGUI物理特徴を統計的に求めることができる。その結果、GUI設計時のポイントを押さえることができる。
アプリケーションの学習により得られた分析モデルを用いて、評価対象アプリGUIを入力すると、主観的評価に悪影響を及ぼすと予想されるGUI物理特徴をチェックできる。その結果、何度も主観評価実験とGUI改良案検討・実装を繰り返す必要がなくなる。
分析モデルを学習するための対象アプリケーションを、想定するユーザ層毎、人気の高いものと低いもの等のカテゴリに分けて学習することで、カテゴリ毎に主観評価項目とGUI物理特徴の相関性を比較することができる。

本発明のユーザインタフェース自動分析評価システムの全体構成を示すブロック図である。 ユーザインタフェース自動分析評価システムの相関関係分析部の構成を示すブロック図である。 ユーザインタフェース自動分析評価システムの相関関係分析部において、GUI物理パラメータに対する計測値を取得する手順を示すフローチャートである。 ユーザインタフェース自動分析評価システムの相関関係分析部において、GUI物理パラメータの計測値とユーザが試用した主観評価結果を元に、GUI物理パラメータと主観評価項目との相関関係を分析する手順（学習ステップ）を示すフローチャートである。 ユーザインタフェース自動分析評価システムのGUI評価部において、相関関係分析部での分析によりGUI学習部で得られた分析モデルを用いてアプリGUIを評価する手順（評価ステップ）を示すフローチャートである。

本発明のユーザインタフェース自動分析評価システムの実施形態の一例について、図１及び図２を参照しながら説明する。図１はユーザインタフェース自動分析評価システムの全体構成図、図２はユーザインタフェース自動分析評価システムにおける相関関係分析部の構成を示すブロック図である。

ユーザインタフェース自動分析評価システムは、評価対象となるアプリケーションのアプリGUIに対して、既に学習済のアプリケーションの主観的評価及び客観的評価から求めた分析モデルを使用して主観評価結果を予測することで、ユーザビリティの評価を自動的に行うものである。
ユーザインタフェース自動分析評価システムは、図１に示すように、GUI物理パラメータと主観評価項目との相関関係を分析し分析モデルを算出する相関関係分析部１０と、相関関係分析部１０との間で主観評価値データの送受信を行う主観評価結果記憶部１１と、相関関係分析部１０との間でGUI物理パラメータ計測値データの送受信を行うGUI物理パラメータ計測結果記憶部１２と、前記分析モデルを適用して主観評価結果を予測するアプリGUI評価部１３と、前記分析モデルからGUI学習モデルを設定するGUI学習部１４を備えている。

相関関係分析部１０は、学習対象となるアプリケーションのアプリGUIに使用されているGUI物理パラメータを判定し、GUI物理パラメータに関するデータを計測するGUI物理パラメータ計測部１０ａを備えている。また、GUI物理パラメータ計測部１０ａは、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を自動で行う画像解析処理部を備えている。また、GUI物理パラメータ計測部１０ａは、前記した画像解析処理部に代えて、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定が手作業で入力されるGUI物理パラメータ計測手入力部を備えていても良い。

GUI物理パラメータ計測結果記憶部１２は、主観評価されたアプリGUIに使用されている各GUI物理パラメータに対する計測値をGUI物理パラメータ計測部１０ａで計測し、計測されたデータは行列データとして蓄積する。
GUI物理パラメータは、アプリGUIに対する客観的評価に関わるGUI分析指標であり、例えば、フォントサイズやボタンの数、状態遷移の平均分岐数、階層の深さなど画面構成・状態遷移・階層構造に関する様々な物理的特徴が自動的に算出される。
分析指標によっては、自動処理が難しい指標が存在する場合があるため、分析内容を入力するためのGUI物理特徴入力部２１が設けられ、分析者（ユーザ）が手作業で入力できるように構成してもよい。また、他の実現方法として、画面キャプチャ画像に対する画像解析処理を導入してもよい。GUI物理特徴入力部２１で入力された情報は、GUI物理パラメータ計測部１０ａのGUI物理パラメータ計測手入力部へ出力される。

主観評価結果記憶部１１は、相関関係分析部１０を介して得られたアプリGUIに対し、主観評価項目毎に付けた点数を行列データとして蓄積する。
すなわち、対象アプリに対して、主観的評価に関わる評価指標に基づき、アンケート評価実験を実施する。複数の被験者から得た主観評価に基づく評価指標（画面構成の分かりやすさ、画面遷移の分かり易さ、操作の分かり易さ、見易さ等）毎の主観的評価値を取得し、主観評価項目毎に付けた点数を行列データとして蓄積する。
主観的評価指標に関する評価関数について、主観的評価指標を変数とする線形結合関数として定義する。

相関関係分析部１０は、アプリケーションデータベース２２及びGUI物理特徴入力部２１に接続され、アプリケーションデータベース２２から読み込まれたアプリケーションのアプリGUIを学習対象とする。学習対象となるアプリGUIは、相関関係分析部１０のGUI物理パラメータ計測部１０ａで自動的に選択されたり、GUI物理特徴入力部２１で指定される。GUI物理特徴入力部２１は、アプリGUIを手作業で入力するためのフォームを備えたインタフェース部である。
相関関係分析部１０は、主観評価結果記憶部１１及びGUI物理パラメータ計測結果記憶部１２から読み出し、アプリGUIに関して客観的評価に関わるGUI分析指標に基づき、GUI物理パラメータと主観評価項目との相関関係を分析する分析部１０ｃを有している。この分析部１０ｃでは、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルをGUI学習部１４に出力する。GUI学習部１４では分析モデルからGUI学習モデルが設定される。
すなわち、相関関係分析部１０の分析部１０ｃでは、GUI物理パラメータ計測結果記憶部１２で考慮したGUIパラメータについて、予め定義したモデル（評価関数）と、前記分析によって得られた物理的特徴量とを利用して、客観的評価値を算出する。
客観的評価指標に関する評価関数について、GUIパラメータを変数とする線形結合関数として定義する。

また、相関関係分析部１０は、分析結果に基づき各評価項目を軸とする多次元特徴空間に分析対象アプリGUIをプロットするプロット部１０ｄと、前記多次元特徴空間において類似した特徴を有するアプリケーション毎に分類するアプリ特徴分類部１０ｅと、前記多次元特徴空間において人気アプリケーションのランキング順位に基づき分類するアプリ人気分類部１０ｆとを備えている。
プロット部１０ｄは、上記機能を通じて得られた評価指標と評価値を元に、対象アプリの全てについて、客観的分析結果及び主観的評価実験結果に基づき、それぞれの分析指標を軸とする多次元特徴空間にマッピングする。アプリ特徴分類部１０ｅは、上記特徴空間において、類似した特徴を有するアプリ毎に分類する。アプリ人気分類部１０ｆは、上記特徴空間において、人気アプリランキングの順位に基づき分類する。
多次元特徴空間でのマッピングや、アプリ特徴，アプリ人気を分類することにより、分析部１０ｃにおける分析モデルの学習において、アプリ特徴やアプリ人気との相関関係を把握し易くすることができる。

相関関係分析部１０の分析部１０ｃでは、客観的評価指標に基づく分析結果（GUIパラメータと客観的評価値のセット）と、主観的評価指標に基づく評価結果（評価指標と主観的評価値のセット）を元に、前記した２つの評価関数から、双方の相関関係を求める。本実施例では、正準相関分析を用いることで、双方の相関関係が最大になるように、線形結合関数のパラメータが決定され、主観的評価指標に対して関係性の深い客観的評価指標の組み合わせが得られる。
また、分析モデルを学習するための対象アプリケーションについて、想定するユーザ層毎、人気の高いものと低いもの等のカテゴリに分けて学習すれば、カテゴリ毎に主観評価項目とGUI物理特徴の相関性を比較することができる。

アプリGUI評価部１３は、前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して、主観評価結果を予測する。
すなわち、上記機能を通じて得られた客観的評価関数と主観的評価関数のパラメータを元に、以下のような処理を行う。
上述したGUI学習に用いたアプリケーションとは異なるアプリケーション（アプリGUI）が評価対象GUI入力部３１から入力され、アプリGUIのGUI物理パラメータに対する物理的特徴が自動的に選択され、又は、GUI物理特徴入力部３２から入力されると、前記した多次元特徴空間にマッピングしたり、主観的評価値の低い客観的評価指標を指摘し、評価結果出力部３３に評価結果を出力する。

次に、ユーザインタフェース自動分析評価システムにおける処理手順について、図３〜図５を参照しながら説明する。
ユーザインタフェース自動分析評価システムでは、「GUI物理パラメータに対する計測値の取得」「GUI物理パラメータと主観評価項目との相関関係の分析」「アプリGUIの評価」の順に処理が行われる。

先ず、相関関係分析部１０における「GUI物理パラメータに対する計測値の取得」手順（学習ステップ）について、図３のフローチャートを参照して説明する。

［学習するアプリGUIの指定］
アプリケーションデータベース２２から対象アプリケーションを読み込み、学習対象の複数個（学習数Ａ）のアプリGUIを選択して入力とする（ステップ１０１）。
入力するデータ形式としては、画面構成・画面階層関係を示すテキストデータ（XMLデータやプログラムソースコード）が存在する場合と、そのようなデータが存在せず、画面をキャプチャした画像データが存在する場合がある。

［GUI物理パラメータの判定］
GUI物理パラメータ判定部において、選択された学習対象のアプリGUIが有るかどうか（アプリGUIの学習数が「０」かどうか）を判断し（ステップ１０２）、学習対象のアプリGUIが無い場合は終了する（ステップ１０３）。
学習対象のアプリGUIが有る場合、学習対象のアプリGUIから、そのGUIに使用されている複数のGUI物理パラメータを判定する（ステップ１０４）。
GUI物理パラメータの判定は、学習対象アプリGUIにテキストデータが存在する場合、そのテキストデータを解析して、GUI物理パラメータを抽出することで行われる。また、学習対象アプリGUIに画像データが存在する場合、画像解析でGUI物理パラメータの存在の判定とその種類の判別を自動で行う。或いは、GUI物理特徴入力部２１から、作業者が手作業でGUI物理パラメータの存在位置／領域の指定とその種類の指定を行うようにしても良い。

［GUI物理パラメータの計測］
判別された複数個（パラメータ数Ｂ）のGUI物理パラメータにおいて、処理対象となるGUI物理パラメータが有るかどうか（パラメータ数が「０」かどうか）を判断し（ステップ１０５）、GUI物理パラメータが無い場合は次の学習対象アプリGUI（Ａ＝Ａ−１）を処理対象とする（ステップ１０６）。
GUI物理パラメータが有る場合、判別されたGUI物理パラメータに関する計測値を取得する（ステップ１０７）。例えば、GUI物理パラメータがボタンである場合、高さ，幅，色を計測する。
また、GUI物理パラメータにおいて、画面内で主要な情報を記述しているテキストのフォントサイズと、補助的に使われているテキストのフォントサイズとを区別して判別及び計測したい場合、画像解析やテキスト解析などの技術を用いて、テキストの意味や画面内での使われ方を判別することは難しい。このような場合は、GUI物理パラメータの判別及び計測を、GUI物理パラメータ追加・削除指定部２３から作業者が手作業で行うようにする。

［GUI物理パラメータの計測値の出力］
GUI物理パラメータ計測結果記憶部１２は、相関関係分析部１０に対して、ステップ１０８で取得したGUI物理パラメータの計測値を所定のフォーマットで出力する（ステップ１０８）。判別された各GUI物理パラメータについて、上述の処理が順次行われることで（ステップ１０９）、計測された全てのGUI物理パラメータの値が所定のフォーマットで相関関係分析部１０に出力される。

次に、相関関係分析部１０において、GUI物理パラメータの計測値とユーザが試用した主観評価結果を元に、GUI物理パラメータと主観評価項目との相関関係を分析する手順（学習ステップ）について、図４のフローチャートを参照して説明する。

［分析するアプリGUIの指定、GUI物理パラメータの計測値の読み出し］
GUI物理特徴入力部２１において、アプリGUIを選択して入力とすると（ステップ２０１）、相関関係分析部１０では、GUI物理パラメータ計測結果記憶部１２から上記所定のフォーマットで記述されたGUI物理パラメータ計測値を読み出す（ステップ２０２）。

［ユーザの主観評価結果の読み出し］
別途、分析対象のアプリGUIに対しては、主観評価実験を実施して所定フォーマットで出力されているので、相関関係分析部１０では、主観評価結果記憶部１１からその主観評価結果を読み出す（ステップ２０３）。

［相関関係の分析］
相関関係分析部１０では、GUI物理パラメータの計測値とユーザが試用した主観評価結果を元に、GUI物理パラメータと主観評価項目との相関関係を分析する。本実施例では、正準相関分析による分析方法で例示するが、それ以外の分析方法、例えば、単純な単相関分析方法を使用しても良い。

表１に、GUI物理パラメータに対する計測結果の例を示す。
表１では、アプリ識別子APPIDに、GUI物理パラメータMPX（X=1,2,3,…）毎の計測値が対応した行列データＤＭとして計測結果を出力する。

GUI物理パラメータには、テキストフォントサイズ、ボタンサイズ（高さと幅）、挿絵の数など、GUIを構成する要素に関する大きさや数などの計測可能な項目（MP１〜MP4に示されるように、データで表示される）であったり、ボタン自体が存在するかどうか、ボタンをタップしたときのアニメーションが存在するかどうかなど、GUIを構成する要素やそれに対して操作したときの反応の有無を示す項目（MP5に示されるように、「０」「１」で表示される）である。
この実施例においては、これらのパラメータは、どのようなアプリケーションに対しても固定的に扱うものではなく、必要に応じて追加や削除など行うことができるようにGUI物理パラメータ計測結果記憶部１２に接続されたGUI物理パラメータ追加・削除指定部２３（図１）から設定できるようにしている。
また、GUI物理パラメータの各データは、各GUI物理パラメータに対する計測値をそのまま利用してもよいし、項目毎に数値変換した値を利用してもよい。

表１は、各GUI物理パラメータの計測値に対して数値変換された結果を示す。例えば、MP1は、対象とする全アプリの計測値を元に、平均23.83、標準偏差11.15の正規分布に従うとみなして基準化した数値に変換したものである。各パラメータで数値変換する基準は異なっていてよく、正規分布や線形回帰直線など、各パラメータの特性に応じて選ばれた関数を利用してよい。

表２に、主観評価結果の例を示す。
表２では、アプリ識別子APPIDに、主観評価項目SPY（Y=1,2,3,…）毎の計測値が対応した行列データＤＳとして計測結果を出力する。

アプリケーションの主観評価項目は、評価者がアプリケーションを実際に動作させ、画面内の情報のまとまりの分かり易さ、触って反応する領域の分かり易さ、読み易さなどの項目であり、例えば５段階で評点（数が多い程高い評価）が付けられる。

上述した２つの行列データ（変量）ＤＭとＤＳとから、正準相関分析を行い、正準係数PMとPS、正準変量VMとVS、及び、正準相関係数rを求める。
表３に、正準相関分析により得られた正準係数PM、PSの例を示す。
表３中、GUI物理パラメータMPX（X=1,2,3,…）に対応するのがPM、主観評価項目SPY（Y=1,2,3,…）に対応するのがPSである。
表４に、正準相関分析により得られた正準変量VM、VSの例を示す。
表４中、GUI物理パラメータMPX（X=1,2,3,…）に対応するのがＶM、主観評価項目SPY（Y=1,2,3,…）に対応するのがＶSである。

更に、標準化した変量と正準変量を元に、構造係数Sを求める。
表５に、正準相関分析により得られた構造係数の例を示す。

表５の構造係数において、第１因子に対応する主観評価項目では、SP3の絶対値が一番大きい。したがって、主観評価項目SP3に大きな影響を与えるのは第１因子であることが解る。そして、GUI物理パラメータでは、主観評価項目SP3と符号が同じで絶対値が大きいのは、GUI物理パラメータMP3とGUI物理パラメータMP1である。
同様に、第２因子に対応する主観評価項目では、SP2の絶対値が一番大きい。したがって、主観評価項目SP2に大きな影響を与えるのは第２因子であることが解る。そして、GUI物理パラメータでは、主観評価項目SP2と符号が同じで絶対値が大きいのは、GUI物理パラメータMP1とGUI物理パラメータMP2である。
また、第３因子に対応する主観評価項目では、SP1の絶対値が一番大きい。したがって、主観評価項目SP1に大きな影響を与えるのは第３因子であることが解る。そして、GUI物理パラメータでは、主観評価項目SP1と符号が同じで絶対値が大きいのは、GUI物理パラメータMP5とGUI物理パラメータMP2である。
すなわち、表５に示された構造係数の結果から、主観評価項目SP3にはGUI物理パラメータMP3とGUI物理パラメータMP1が、主観評価項目SP2にはGUI物理パラメータMP1とGUI物理パラメータMP2が、主観評価項目SP1にはGUI物理パラメータMP5とGUI物理パラメータMP2が強く影響していると分析できる。

［分析結果の出力］
相関関係分析部１０では、上記分析結果の内容を分析モデル（主観評価項目と相関の高いGUI物理パラメータの組の選出）として、GUI学習部１４に所定のフォーマットで出力する（ステップ２０５）。

GUI学習部１４では、分析結果を元に、以下のような処理を行うことで学習モデルを作成する。
対象アプリ全てについて、客観的分析結果及び主観的評価実験結果に基づき、それぞれの分析指標を軸とする多次元特徴空間にマッピングする。加えて、上記特徴空間において、類似した特徴を有するアプリケーション毎に分類する。さらに加えて、上記特徴空間において、人気アプリケーションランキングの順位に基づき分類する。

次に、GUI評価部１３において、相関関係分析部１０での分析によりGUI学習部１４で得られた学習モデル（分析モデル）を用いて、アプリGUIを評価する手順（評価ステップ）について、図５のフローチャートを参照して説明する。
［評価するアプリGUIの指定］
評価対象GUI入力部３１から評価する対象のアプリGUIを１つ選択して入力とする（ステップ３０１）。
入力するデータ形式としては、画面構成・画面階層関係を示すテキストデータ（XMLデータやプログラムソースコード）が存在する場合と、そのようなデータが存在せず、画面をキャプチャした画像データが存在する場合がある。
入力するものは、基本的には学習ステップ時のアプリGUI選択と同じ考えで、あるアプリケーションに対するGUI物理パラメータ計測結果が得られたとして、それをGUI評価部１３に入力する。その計測結果は、自動処理の場合は、アプリケーションのソースコードや画面構成を記述したＸＭＬデータのテキストデータから解析し、手動処理の場合は、アプリの画像キャプチャ画像から計測する。

［GUI物理パラメータの判定］
GUI評価部１３においては、評価対象のアプリGUIから、そのアプリGUIに使用されているGUI物理パラメータを判定する（ステップ３０２）
GUI物理パラメータの判定は、上述したGUI物理パラメータ計測結果記憶部１２での判定と同様に、評価対象アプリGUIにテキストデータが存在する場合、そのテキストデータを解析して、GUI物理パラメータを抽出することで行われる。また、評価対象アプリGUIに画像データが存在する場合、画像解析でGUI物理パラメータの存在の判定とその種類の判別を自動で行う。或いは、GUI物理特徴入力部３２から、作業者が手作業でGUI物理パラメータの存在位置／領域の指定とその種類の指定を行うようにしても良い。

［GUI物理パラメータの計測、出力］
続いてGUI評価部１３では、判別された複数個（パラメータ数Ｃ）のGUI物理パラメータが有るかどうか（パラメータ数が「０」かどうか）を判断する（ステップ３０３）。
GUI物理パラメータが有る場合、判別されたGUI物理パラメータに関する計測値を取得する（ステップ３０４）。例えば、GUI物理パラメータがボタンである場合、高さ，幅，色を計測する。更に、計測された全てのGUI物理パラメータの値を所定のフォーマットで出力する。
次に、ステップ３０４で取得したGUI物理パラメータの計測値を所定のフォーマットで出力する（ステップ３０５）。判別された各GUI物理パラメータについて、上述の処理が順次行われることで（ステップ３０６）、計測された全てのGUI物理パラメータの値が所定のフォーマットで出力される。

［評価］
GUI評価部１３では、GUI学習部１４の学習モデル（分析モデル）に基づいて、評価対象アプリGUIで使用されているGUI物理パラメータから、主観評価結果を推定する。
本実施例では、上記正準相関分析により得られた分析モデルから、評価対象アプリGUIのGUI物理パラメータから、主観評価の傾向を予測する。

上記正準相関分析において、GUI物理パラメータ（説明変数）に関する正準係数PM＝{PM1, PM2, PM3,…}と、標準化した評価対象アプリGUIのGUI物理パラメータ計測値DO＝{DO1, DO2, DO3,…}を元に、評価対象アプリの正準得点VOを算出する。
第１因子に関する正準得点VO1は、
VO1＝PM1×DO1+PM2×DO2+PM3×DO3+…
の線形結合関数により求められる。

例えば、評価対象アプリGUIの正準得点VO1＝2.6612だったとする。このとき、表４のMPXの第１因子の正準変量の全ての値に対して、VO1の絶対値が最大となる。
一方、分析モデル（表５の構造係数）では、第１因子は、段落番号００５１で述べたように、主観評価項目SPYのSP3に影響を与えると予想される。
以上から、評価対象アプリGUIの主観評価項目SP3は、高得点を示すと予測できる。

また、例えば、評価対象アプリGUIにおいて、第３因子に関する正準得点VO3＝−0.18218だったとする。このとき、表４のMPXの第３因子の正準変数の全ての値に対して、VO3の絶対値が小さい方である。
一方、分析モデルでは、第３因子は、段落番号００５１で述べたように、主観評価項目SPYのSP1に影響を与えると予想される。
以上から、評価対象アプリGUIの主観評価項目SP1は、低得点を示すと予測できる。

［評価結果の出力］
ステップ３０３において、判別された複数個（パラメータ数Ｃ）のGUI物理パラメータが無い（パラメータ数が「０」）場合、分析モデルを適用し（ステップ３０７）、上記評価結果を所定のフォーマットで評価結果出力部３３に出力する（ステップ３０８）。
出力のフォーマット自体は、いずれの形式であってもよい。評価結果出力部３３においては、評価対象アプリに対して、主観評価項目SP3に対する評価予想＝高、主観評価項目SP1に対する評価予想＝低、のような情報が出力される。この評価結果は、構造係数から自動的に処理して出力する。

上述した自動ユーザインタフェース分析評価システムによれば、多数のアプリケーションを用いてこのモデルを学習し、モデルに基づいて評価を行うことで、評価の高い主観評価指標に関係が深い客観指標を得ることができる。すなわち、初期のモデル学習のときに、主観評価実験を実施しておけば、再度実施する必要がなくなるため、分析評価を行う場合に効率的なコスト及び時間を削減することができる。

モデル学習のステップでは、フォントサイズやボタンの数、状態遷移の平均分岐数、階層の深さなど画面構成・状態遷移・階層構造に関する様々なGUIパラメータに対する物理的特徴を算出するとともに、複数のユーザ層（年代や性別）から得た主観評価に基づく評価指標（画面構成の分かり易さ、画面遷移の分かり易さ、操作の分かり易さ、見易さ）毎の評点を元に、物理的特徴と主観評価の相関関係を捉えるモデルを構築する。
そして、多数のアプリケーションを用いてこの分析モデルを学習することで、主観評価の高い評価指標と関係の深いルールが学習された分析モデルを構築できる。

上述したシステムによる分析方法により、あるアプリGUIに分析モデルを適用することで、GUIパラメータに関するミクロな分析から、主観評価に通ずるマクロな分析が可能となる。
また、主観的評価と客観的評価の関係性を捉えたモデルとなるため、単独の評価結果と比較して分析の信頼性を向上できる。
更に、分析結果で低い評価を示したGUIパラメータに関して推奨値を提示するなど、具体的な改良内容を提案することが可能となる。

１０…相関関係分析部、 １０ａ…GUI物理パラメータ計測部， １０ｃ…分析部、 １０ｄ…プロット部、 １０ｅ…アプリ特徴分類部、 １０ｆ…アプリ人気分類部、 １１…主観評価結果記憶部、 １２…GUI物理パラメータ計測結果記憶部、 １３…GUI評価部、 １４…GUI学習部、 ２１…GUI物理特徴入力部、 ２２…アプリケーションデータベース、 ２３…GUI物理パラメータ追加・削除指定部、 ３１…評価対象GUI入力部、 ３２…GUI物理特徴入力部、 ３３…評価結果出力部。

Claims (10)

1. 評価対象とするアプリGUIのユーザビリティを評価する評価システムであって、
   予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値として蓄積した主観評価結果記憶部と、
   主観評価されたアプリGUIに使用されているGUI物理パラメータに対する計測値を蓄積したGUI物理パラメータ計測結果記憶部と、
   前記主観評価結果記憶部及びGUI物理パラメータ計測結果記憶部から読み出し、GUI物理パラメータと主観評価項目との相関関係を分析して、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを出力する相関関係分析部と、
   前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して、主観評価結果を予測するアプリGUI評価部と
   を備えたことを特徴とするユーザインタフェース自動分析評価システム。
2. 前記相関関係分析部は、前記GUI物理パラメータの計測値の行列データと、前記主観評価値の行列データから、正準相関分析を行う請求項１に記載のユーザインタフェース自動分析評価システム。
3. 前記相関関係分析部は、正準相関分析結果から得られる構造係数に基づき、主観評価項目に対して影響を及ぼし易いGUI物理パラメータを予測する請求項２に記載のユーザインタフェース自動分析評価システム。
4. 前記アプリGUI評価部は、前記相関関係分析部の正準相関分析の出力結果と、前記評価対象アプリGUIのGUI物理パラメータの計測値を元づき、評価対象アプリGUIの影響のある主観評価値を予測する請求項２又は請求項３に記載のユーザインタフェース自動分析評価システム。
5. 前記相関関係分析部は、
   分析結果に基づき各評価項目を軸とする多次元特徴空間に分析対象アプリGUIをプロットするプロット部と、
   前記多次元特徴空間において類似した特徴を有するアプリケーション毎に分類するアプリ特徴分類部と、
   前記多次元特徴空間において人気アプリケーションのランキング順位に基づき分類するアプリ人気分類部と
   を備える請求項１に記載のユーザインタフェース自動分析評価システム。
6. 前記相関関係分析部は、
   前記アプリGUIから当該アプリGUIに使用されているGUI物理パラメータを判定し、前記GUI物理パラメータが存在した場合に、当該GUI物理パラメータに関するデータを計測するGUI物理パラメータ計測部を有し、
   前記データを前記GUI物理パラメータ計測結果記憶部に蓄積する請求項１に記載のユーザインタフェース自動分析評価システム。
7. 前記GUI物理パラメータ計測部は、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を自動で行う画像解析処理部を備えた請求項６に記載のユーザインタフェース自動分析評価システム。
8. 前記GUI物理パラメータ計測部は、GUI物理パラメータの存在の有無と、GUI物理パラメータの種類の判定を手作業で入力するGUI物理パラメータ計測手入力部を備えた請求項６に記載のユーザインタフェース自動分析評価システム。
9. 前記アプリGUIを評価及び分析するGUI物理パラメータを取捨選択、追加、削除するGUI物理パラメータ追加・削除指定部を有し、該指定に基づき前記相関関係分析部が相関関係の分析を行う請求項１に記載のユーザインタフェース自動分析評価システム。
10. 評価対象とするアプリGUIのユーザビリティを評価する評価方法であって、
    予め評価対象以外のアプリGUIに対して主観評価項目毎に付けた点数を主観評価値と、主観評価されたアプリGUIに使用されているGUI物理パラメータに対する計測値との相関関係を分析し、主観評価項目と相関の高いGUI物理パラメータの組を選出した分析モデルを作成し、
    前記評価対象アプリGUIに使用されている前記GUI物理パラメータに対して、前記分析モデルを適用して主観評価結果を予測することをソフトウエアによりコンピュータに実行させることを特徴とするユーザインタフェース自動分析評価方法。