JPWO2004072883A1 - ユーザビリティ評価支援方法及びシステム - Google Patents

Abstract

本願は、評価者の評価対象コンテンツに対する評価を適正なタイミングで取得できるようにすることを課題とする。タイトル表示領域と操作領域とコンテンツ表示領域とが設けられ、コンテンツ表示領域には、評価者が評価する評価対象コンテンツが表示される。操作領域には、ヘルプボタンとしての顔写真が表示されるとともに、評価対象コンテンツの評価作業のときに生ずる感情に合わせて評価者が選択するための感情入力ボタンが設けられている。操作者は、この評価対象コメントの評価のための閲覧中にこの評価対象コメントに対する感情が生じたときには、該当する感情入力ボタンを選択操作する。これにより、評価対象コンテンツに対する評価者の評価がより正確に得られる。

Description

本発明は、使い易いかどうかといったＷｅｂサイトに対するユーザの評価を支援するユーザビリティ評価支援方法及びシステムに関する。

ユーザが利用するＷｅｂサイトとしては、非常に使い易く、そのユーザに適合したものもあるし、また、アクセスに時間を要したり、内容が分かりにくいなどといった利用しにくいものなどがある。このように利用しにくいＷｅｂサイトに対しては、これを改善しなければ、ユーザに利用されなくなってしまう。
Ｗｅｂサイトの改善方法としては、このＷｅｂサイトが発信する情報（コンテンツ）を端末に表示し、ユーザにそれを閲覧させ、この閲覧結果を基にアンケートを取る方法が一般的である。
その一例として、閲覧者の要求によリ、情報提供機能から情報の提供を受けてクライアント端末に表示させ、閲覧者がこの情報の閲覧の終了操作をして、この情報に対する評価点を入力すると、あるいは閲覧者の操作履歴からこの情報に対する評価点が決定されると、この評価点が評価点登録機能に送信されるようにした技術が知られている（例えば、特開平１０−３２７１８９号公報参照）。
また、他の例として、Ｗｅｂサーバと配信サーバとアンケートサーバとユーザ端末とで１つのシステムを構成し、ユーザが提供されるコンテンツの評価をすることができるようにした技術が知られており、次のようにして、ユーザのコンテンツに対する評価（アンケート）を取得できるようにしている（例えば、特開２００１−５１９７３号公報参照）。
即ち、ユーザがコンテンツを評価する場合、ユーザ端末からＷｅｂサーバにコンテンツの閲覧を要求し、Ｗｅｂサーバは、この要求により、コンテンツの一覧をユーザ端末に送信して表示させる。ユーザはこのコンテンツ一覧から希望するコンテンツを選択し、その配信をアンケートサーバに要求する。アンケートサーバは、この要求により、この要求されたコンテンツのアドレスとアンケートの質問票とをユーザ端末に送信し、これらを表示させる。そこで、ユーザはこのアドレスに基づいて配信サーバにコンテンツの配信を要求し、配信サーバは、この要求により、要求されるコンテンツをユーザ端末に配信する。これにより、ユーザ端末には、このコンテンツと質問票とが表示され、ユーザはコンテンツを閲覧し、それに対するアンケートを質問票に答えることができる。ユーザがこのアンケートの回答データの送信操作を行なうと、この回答データはアンケートサーバに送信され、アンケートサーバでは、この回答データを受信して保存，処理する。
さらに、特開２００１−５１８７６号に示されるユーザビリティ評価装置は、システムの状態を履歴すると共に履歴を再現し、システムの使い勝手の程度の評価に資するものである。また、特開平８−１６１１９７号に示される」ユーザ・インターフェース評価支援装置及びユーザ・インターフェース評価支援方法は、画面上に表示されたユーザ・インターフェースに対する操作の過程を記憶しておき、記憶された操作の過程に基づき、ユーザ・インターフェースにおける問題となる操作を判定しあるいはユーザ・インタフェース上の各ボタン間の操作の関連度を求め、その結果を画面上に表示するものである。
さらにまた、Ｗｅｂ Ｃｏｍｐｌａｉｎｔ Ｄｅｓｋ：Ａ ｓｙｓｔｅｍ ｆｏｒ ｅｘｔｒａｃｔｉｎｇ ｕｓｅｒ’ｓ ｐｏｔｅｎｔｉａｌ ｎｅｅｄｓ（ＨＣＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ ２００３ Ａｄｊｕｎｃｔ Ｐｒｏｃｅｅｄｉｎｇｓ，ｐｐ．２９３−２９４，２００３．）では、評価ツールをプロキシーサーバ内に組み込むことにより、評価対象サイトを改変することなく、Ｗｅｂ上でのユーザのページ遷移履歴とサイト閲覧時にユーザが抱いた不満、意見、要望をインターネット越しに取り込むことを可能とするものである。

ところで、上記の特開平１０−３２７１８９号に記載の技術では、閲覧情報に対する評価方法として、例えば、５０点というように評価点を用いたり、例えば、ページのプリントアウトやファイルのダウンロードといった各閲覧操作毎に評価点を与え、これらの合計点をサーバに送るようにしており、閲覧した結果の総合的な評価は可能であって、かかる総合的な評価によって閲覧情報の善し悪しが決まるものであるが、閲覧情報の個々の部分についての正確な評価を取得することはできない。閲覧者は情報の閲覧中にその情報の内容に応じて様々な感情を持つものであり、かかる感情は情報の個々の部分の評価にとって重要なものである。むしろかかる閲覧中の情報に対する感情がこの情報に対する正しい評価とみることができるものであって、上記特許文献１に記載の技術では、かかる感情を総合したものを閲覧後に表明するものである。
また、上記特開２００１−５１９７３号に記載の技術も、ユーザは、コンテンツの閲覧後、質問票に回答するものであって、この回答は閲覧後の総合評価に基づくものである。しかも、質問票による質問形式のアンケートとなるので、質問票の質問の内容によっては、ユーザのコンテンツに対する正しい評価を回答として得られない場合もある。
さらに、特開２００１−５１８７６号および特開平８−１６１１９７号記載の方法においては、ユーザが任意に操作した履歴を分析するのみであり、評価対象システムに対しするユーザの主観的評価結果を取得する方法がなかった。ユーザビリティの評価においては、ユーザが使いやすいと判断するか否かが重要であり、従来の方法では、この判断を取得する方法が無く操作履歴のみを分析していた為、ユーザビリティの評価を性格に行ない得なかった。
さらにまた、ＨＣＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ ２００３ Ａｄｊｕｎｃｔ Ｐｒｏｃｅｅｄｉｎｇｓ，ｐｐ．２９３−２９４，２００３．に記載の方法は、プロキシーサーバ上でユーザのページ遷移履歴とサイト閲覧時にユーザが抱いた不満、意見、要望を取得するものである。近年、Ｗｅｂサイトにおいて、動的コンテンツなどクライアントサイドで遷移すコンテンツが多用されるようになってきた。その為、サイトのユーザビリティ評価支援において、サーバサイドだけで取得可能なデータだけはユーザの操作を把握するのに不十分であり、上記ＨＣＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ ２００３ Ａｄｊｕｎｃｔ Ｐｒｏｃｅｅｄｉｎｇｓ，ｐｐ．２９３−２９４，２００３．に記載の方法では、ユーザビリティを評価する方法として十全とは言えない。
本発明の目的は、かかる問題を解消し、閲覧対象とするコンテンツに対し、その閲覧者の評価を適正なタイミングで得ることができるようにしたユーザビリティ評価支援方法及びシステムを提供することにある。
この発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
本願において開示される発明のうち代表的なものの概要と効果とを簡単に説明すれば下記の通りである。
本発明は、評価者端末に評価対象サイトの評価対象コンテンツを表示させ、評価者に評価させるユーザビリティ評価支援方法であって、評価者端末に評価対象コンテンツとともに複数の感情入力ボタンを表わす調査画面を表示させて、評価対象コンテンツの評価中での評価者の感情入力ボタンの選択操作を可能とし、評価対象コンテンツの評価中に任意のタイミングで該評価者の感情情報を入力可能としたものである。これにより、評価対象コンテンツに対する評価者の感情をこの評価対象コンテンツの評価のために閲覧しているときに取得でき、評価者の評価対象コンテンツに対する評価がより正確に得られることになる。

図１ 本発明によるユーザビリティ評価支援方法及びシステムの一実施形態を示す概略構成図である。
図２ 図１におけるプロキシサーバのコンテンツ評価のための動作の一具体例を示すフローチャートである。
図３ 図１に示す実施形態による評価支援のための評価者端末での操作手順とこれに伴う画面表示とを示すフローチャートである。
図４ 図３におけるステップ２００で表示されるアンケート実施確認画面の一具体例を示す図である。
図５ 図３におけるステップ２０１で表示されるエージェント選択画面の一具体例を示す図である。
図６ 図３におけるステップ２０２で表示されるエージェント挨拶画面の一具体例を示す図である。
図７ 図３におけるステップ２０３で表示される操作方法説明画面の一具体例を示す図である。
図８ 図３におけるステップ２０４で表示されるプロフィールアンケート画面の一具体例を示す図である。
図９ 図３におけるステップ２０５で表示されるプロフィールアンケート後画面の一具体例を示す図である。
図１０ 図３でのステップ２０６で表示される調査画面の一具体例を示す図である。
図１１ 図３におけるステップ２０８で表示される無操作時質問画面の一具体例を示す図である。
図１２ 図３におけるステップ２１０で表示される「戻る」ボタン押下時質問画面の一具体例を示す図である。
図１３ 図３におけるステップ２１２で表示される同一画面質問画面の一具体例を示す図である。
図１４ 図３におけるステップ２１４で表示される操作時間超過画面の一具体例を示す図である。
図１５ 図３におけるステップ２１６で表示される「イライラ」押下時質問画面の一具体例を示す図である。
図１６ 図３におけるステップ２１７で表示される「困っている」押下時質問画面の一具体例を示す図である。
図１７ 図３におけるステップ２１８で表示される「楽しい」押下時質問画面の一具体例を示す図である。
図１８ 図３におけるステップ２１９で表示される「すごくいい」押下時質問画面の一具体例を示す図である。
図１９ 図３におけるステップ２２０で表示される「一言いいたい」押下時質問画面の一具体例を示す図である。
図２０ 図３におけるステップ２２１で表示されるエージェントの顔押下時質問画面の一具体例を示す図である。
図２１ 図３におけるステップ２２３で表示される「作業終了」押下時質問画面の一具体例を示す図である。
図２２ 図３におけるステップ２２４で表示される実験後アンケート画面の一具体例を示す図である。
図２３ 図３におけるステップ２２５で表示される終了挨拶画面の一具体例を示す図である。
図２４ 図１に示すプロキシサーバの評価内容管理ＤＢに補間される評価結果をリスト状に示す図である。
図２５ 図１に示すプロキシサーバで作成された評価結果に伴う統計データの一具体例を模式的に示す図である。
図２６ 実施例２で述べるユーザビリティ評価のための評価プラグインプログラムが内在する情報処理装置のブロック構成を示す図である。
図２７ 実施例２で述べる情報入力手段と情報表示手段をもつネットワークに接続可能な情報処理装置のハードウェア構成を示す図である。
図２８ 実施例２で述べる方法を実施する際のネットワーク構成を示す図である。
図２９ 評価イベント処理部２１０４の処理アルゴリズムを示す図である。
図３０ 操作イベント情報取得部２１０６の処理アルゴリズムを示す図である。
図３１ コンテンツイベント情報取得部２１０７の処理アルゴリズムを示す図である。
図３２ 評価ログテーブル７００の構成の一例を示す図である。
図３３ 操作ログテーブル８００の構成の一例を示す図である。
図３４ コンテンツログテーブル９００の構成の一例を示す図である。
図３５ 評価に関する情報をユーザが入力するための評価インタフェースの一例を示す図である。
図３６ 図３５における自由記述を許す入力箇所１００３が別ウィンドウ１１０１内に表示される場合の一例を示す図である。
図３７ 評価ログテーブル７００の情報から作成可能な評価結果の一例を示す図である。
図３８ データ送信部２１０７の処理アルゴリズムを示す図である。
図３９ 集計結果テーブルの一例を示す図である。
図４０ 集計結果テーブル１４００の情報を利用して表示する評価結果の一例を示す図である。
図４１ ユーザの評価をＵＲＬ単位でまとめて評価結果を表示する表示画面の一例を示す図である。
図４２ 図４１の例においてＵＲＬがｈｏｇｅｌ．ｈｔｍｌで表示される画面に対して，「イライラする」，という評価を下したユーザのコメント一覧を表示した例を示す図である。
図４３ 表示されている情報のなかで評価する箇所を特定することを可能とする評価インタフェースの一例を示す図である。
図４４ プラグインＤＢ２１０８の構成の一例を示す図である。
図４５ 従来の情報処理装置のブロック構成を示す図である。

図１は本発明によるユーザビリティ評価支援方法及びシステムの一実施形態を示す概略構成図であり、１はプロキシサーバ（Ｐｒｏｘｙ Ｓｅｒｖｅｒ）、１１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１２は主記憶装置、１３はネットワーク接続装置、１４は評価内容管理ＤＢ（データベース）、１５はユーザ管理ＤＢ、１６は操作情報蓄積ＤＢ、１７は表示装置、１８はデータ入力手段、２は評価対象サイトのＷｅｂサーバ（以下、評価対象サーバという）、３は評価者端末、４はインターネットである。
同図において、プロキシサーバ１と評価対象サーバ２と評価者端末３とが、ネットワーク、例えば、インターネット４を介して接続されており、これ間で相互にアクセス可能としている。評価対象サーバ２は評価者端末３での評価者による評価の対象となるコンテンツを提供するものであり、プロキシサーバ１はコンテンツ評価の際の評価対象サーバ２と評価者端末３との仲介を行なうものである。
プロキシサーバ１は、ネットワーク接続装置１３によってインターネット４に接続されており、また、評価者のボタン操作や入力操作による評価内容を操作情報として蓄積する操作情報蓄積ＤＢ１６や評価者に関する情報を管理するための評価者情報（評価者の識別情報（ＩＤ）や氏名，住所など）を蓄積したユーザ管理ＤＢ１５，評価に際して評価者が操作に必要な情報（以下、表示情報という）を格納した評価内容管理ＤＢ１４などのデータベースを備えている。さらに、プロキシサーバ１には、これらデータベース１４〜１６などでの情報のモニタやデータ入力手段１８から必要なデータを入力する際のモニタなどとして用いるための表示装置１７が設けられている。さらにまた、プロキシサーバ１には、ネットワーク接続装置１３を介して送受信するデータを一次格納するための主記憶装置１２も設けられており、以上の各装置の動作はＣＰＵ１１によって制御・管理される。
評価者がコンテンツの評価をする場合には、そのための要求（評価開始要求）が評価者端末３からプロキシサーバ１に対してなされる。プロキシサーバ１は、ＣＰＵ１１の制御の基に、ネットワーク接続装置１３を介してこの要求情報を受信する。この要求情報は一旦主記憶装置１２に記憶され、ＣＰＵ１１によってその内容が識別され、また、ユーザ管理ＤＢ１５の管理データを用いてこの要求情報が管理する評価者からのものかどうかを判定する。以上の処理が終了すると、ＣＰＵ１１は評価対象コンテンツの要求情報を作成し、ネットワーク接続装置１３からインターネット４を介して評価対象サーバ２に送信する。評価対象サーバ２は、この要求に応答して、要求される評価対象コンテンツをインターネット４を介してプロキシサーバ１に送信する。
プロキシサーバ１では、この評価対象コンテンツがネットワーク接続装置１３を介して受信され、主記録装置１２に一時蓄積される。ＣＰＵ１１はこの評価対象コンテンツの評価操作に必要な情報（表示情報）を評価内容管理ＤＢ１４から読み出し、主記憶装置１２に記憶されている評価対象コンテンツとともにネットワーク接続装置１３からインターネット４を介して評価者端末３に送信する。
評価者端末３では、プロキシサーバ１から評価対象コンテンツと表示情報が送られてくると、評価者がこの表示情報に基づいてこの評価対象コンテンツの評価作業が行なわれるが、その結果得られた評価データは、操作情報として、インターネット４を介してプロキシサーバ１に送信される。プロキシサーバ１では、ＣＰＵ１１の制御の基に、この評価データがネットワーク接続装置１３，主記憶装置１２を介して操作情報蓄積ＤＢ１６に格納されて保存される。また、図示しない操作部での操作により、ＣＰＵ１１は操作情報蓄積ＤＢ１６から必要な評価データを読み取り、これを分析処理して表示装置１７で表示したり、図示しないプリンタでもってプリントアウトすることもできる。また、インターネット４を介して接続された他の端末の表示部に表示させることも可能である。このような評価データの分析結果などをもとにして、評価対象サーバ２での評価コンテンツの改善などを行なうことができる。
次に、図２により、図１におけるプロキシサーバ１のコンテンツ評価のための動作について説明する。
図１及び図２において、プロキシサーバ１は、電源オンして起動すると、評価者端末３からのアクセス待ち状態となり、アクセスがあると（ステップ１００）、端末３に対して評価者のＩＤ（ユーザＩＤ）を要求する（ステップ１０１）。評価者がユーザＩＤを所有し、これを評価者端末３に入力すると（ステップ１０２）、プロキシサーバ１はこれを確認し（ステップ１０３）、これにエラーがあれば、ステップ１０１に戻って再度ユーザＩＤを要求する。また、評価者（新規ユーザ）がユーザＩＤを持たない場合には、この評価者のこの旨を示す操作により、ユーザ登録のための所定の情報（新規ユーザの個人情報など）の入力を要求し（ステップ１０４）、この情報の入力がなされると（ステップ１０５）、かかる入力データをユーザ管理ＤＢ１５に登録するデータベースの更新を行なうとともに、この評価者にユーザＩＤを付与する（ステップ１０６）。
以上のようにして、評価者からそのユーザＩＤが正しく入力されると（ステップ１０３）、あるいは新規のユーザが評価者としてユーザ管理ＤＢ１５に登録されると（ステップ１０６）、かかるユーザＩＤの評価者に関する情報（ユーザ情報：ユーザＩＤでもよい）が操作情報蓄積ＤＢ１６に記憶されるとともに、これに伴ってアンケート（評価対象サーバ２からの評価対象コンテンツの評価）のための動作が開始されることから、プロキシサーバ１に内蔵のタイマから得られる日時情報（アンケート開始時刻情報）も操作情報蓄積ＤＢ１６に記憶される（ステップ１０７）。以下のこの評価者による評価作業に関する情報は、操作情報として、このユーザ情報のもとに区分されて操作情報蓄積ＤＢ１６に記憶され、これにより、評価者が複数人の場合には、評価者毎に区分してその評価内容が格納されることになる。
動作が開始すると、プロキシサーバ１は、評価内容管理ＤＢ１４から後述するアンケート実施確認画面３０（図４）の表示情報を読み出し、評価者端末３に送信する。これにより、後述するように、評価者端末３にアンケート実施確認画面３０が表示され、これに対して評価者が所定の操作をし、アンケートに協力することを承諾した場合には、評価者端末３から次の画面のための表示情報の要求があり、プロキシサーバ１はこれに応答した次の表示情報を評価内容管理ＤＢ１４から読み取り、評価者端末３に送信する。このようにして、評価者端末３での画面表示，画面操作（従って、これに伴う評価者端末３からの操作情報の送信）とプロキシサーバ１からの表示情報の送信とが交互に繰り返されることにより、評価者端末３で図５に示すエージェント選択画面３１からエージェント挨拶画面３２，操作方法説明画面３３，プロフィールアンケート画面３４，プロフィールアンケート後画面３５の順に画面表示が行なわれ、その間、夫々の画面で評価者による操作が行なわれる（ステップ１０８）。
プロフィールアンケート後画面３５で評価者が次に進む操作をすると、プロキシサーバ１は評価対象サーバ１にアクセスし、評価対象コンテンツを取得する（ステップ１０９）。そして、この評価対象コンテンツと評価内容管理ＤＢ１４から取り込んだ該当の表示情報を評価者端末３に送信し、図１０に示す調査画面３６を表示させる（ステップ１１０）。
この調査画面３６では、後に詳細に説明するが、タイトル表示領域３６ａと操作領域３６ｂとコンテンツ表示領域３６ｃとが設けられており、コンテンツ表示領域３６ｃには、評価対象サーバ２から供給される評価対象コンテンツが表示され（例えば、そのウィンドウが開かれる）、タイトル表示領域３６ａには、この評価対象コンテンツのタイトルが表示される。また、操作領域３６ｂには、評価者が評価対象コンテンツの閲覧時に生ずる感情を入力するための感情入力ボタン３６ｄ〜３６ｈやヘルプボタンとしてのエージェントの顔写真３１ａなどの操作ボタンが設けられている。
この調査画面３６でコンテンツ表示領域３６ｃが操作されると（ステップ１１１）、その操作内容とそのときの日時情報とが評価者端末３から送信される。プロキシサーバ１は、これを受信して評価内容管理ＤＢ１４に格納する（ステップ１１２）。そして、評価対象サーバ１にアクセスして評価対象コンテンツを取得し（ステップ１１３）、評価者端末３に送信してコンテンツ表示領域３６ｃに表示する評価対象コンテンツを更新させ（ステップ１１４）、次のボタン操作を待つ（ステップ１１１）。
調査画面３６の操作領域３６ｂが操作されると（ステップ１１１）、その操作内容が操作情報として評価者端末３から送信される。プロキシサーバ１は、これを受信して、内蔵のタイマからの日時情報とともに、操作情報蓄積ＤＢ１６に格納する（ステップ１１５）。この操作内容が感情入力ボタン３６ｄ〜３６ｈやエージェントの顔写真３１ａの操作である場合には、この操作に応じた画面（ウィンドウ）を表示させ、評価者による画面操作や入力操作の情報を取り込み、日時情報とともに、操作情報蓄積ＤＢ１６に格納する（ステップ１１６）。ステップ１１５での操作内容が、後に詳細に説明するが、同一画面が複数回訪れるような場合や、画面遷移後直ぐに「戻る」操作をするような場合には、この操作に応じた後述の質問画面を表示させ、その回答内容を取り込んで、日時情報とともに、操作情報蓄積ＤＢ１６に格納する（ステップ１１７）。以上のような操作後、調査画面３６での「作業終了」ボタン３６ｊが操作されると（ステップ１１８）、「作業終了」押下時質問画面４７（図２１），実験後アンケート画面４８（図２２），終了挨拶画面４９（図２３）を順に表示させた後（ステップ１２１）、作業が終了する。これら画面４７，４８でも、ボタン操作がなされ、そのことを示す情報や入力情報を取り込んでプロキシサーバ１に送信し、その操作情報蓄積ＤＢ１６に、内蔵のタイマからのこれらに関する日時情報とともに、格納させる。
また、調査画面３６での操作の待ち状態で（ステップ１１１）、所定時間操作がなかった場合には、その旨を示す画像を評価者端末３に表示させ、これに対して入力操作があると、その操作内容を示す操作情報を取り込んでプロキシサーバ１に送信し、その評価内容管理ＤＢ１４に日時情報とともに格納させる（ステップ１１９）。また、予め決められた時間を超えると、その旨を示す画像を評価者端末３に表示させ、作業を続けるか、止めるかを決めさせる（ステップ１２０）。続ける場合には、ボタン操作の待機状態とし（ステップ１１１）、止める場合には、ステップ１２１を介して作業を終了させる。
以上の作業では、各画面で評価者が作業をする毎に、その内容を示す操作情報（操作された操作ボタンの種類や選択された項目の情報，コメントなどの入力情報）が、次の表示情報の要求とともに、評価者端末３からプロキシサーバ１に送信され、プロキシサーバ１は、これら操作情報を、日時情報とともに、操作情報蓄積ＤＢ１６に格納するとともに、次の表示情報を評価内容管理ＤＢ１４から読み取って評価者端末３に送り、次の画面を表示させる。
次に、この実施形態での評価者端末３での表示画面とこれに対する評価者の操作について説明する。
図３はかかる操作手順の一具体例を示すフローチャートであり、図４〜図２３はかかる操作過程で評価者端末３に表示される画面の一具体例を示す図である。
上記のように、評価者端末３からの評価要求に対し、プロキシサーバ１からこの要求に応答して評価対象コンテンツと表示情報（上記の画面の情報も含む）が送られてくると、評価者端末３では、図３に示す動作が行なわれる。
図３において、まず、プロキシサーバ１からの表示情報に基づいて評価者端末３に図４に示すアンケート実施確認画面３０が表示される（ステップ２００）。このアンケート実施確認画面３０では、アンケートの目的やその実施に際しての注意点（アンケート調査の操作可能時間を約１０分間とするなど）などが示され、「承諾しない」ボタン３０ａと「承諾する」ボタン３０ｂとが設けられていてそのいずれかを選択操作するように、指示がなされる。かかる選択ボタンの選択のための操作方法としては、クリック操作で行なうようにしてもよいし、タッチパネルを設けてタッチ操作が行なわれるようにしてもよい。このことは、以下の各画面についても同様である。
このアンケート実施確認画面３０で「承諾しない」ボタン３０ａが選択された場合には、これで処理動作は終了するが、「承諾する」ボタン３０ｂが選択された場合には、評価者端末３は、そのボタン操作がなされたことを示す操作情報をプロキシサーバ１に送信し、次の表示情報を要求する。プロキシサーバ１は、受信したこれら情報を、内蔵のタイマからの日時情報とともに、操作情報蓄積ＤＢ１６に格納するとともに、次の表示情報を評価内容管理ＤＢ１４から読み取り、評価者端末３に送信する。なお、このような情報の送受信は、評価者端末３に表示される各画面でのボタン操作毎に行なわれるものであり、各画面についてのかかる動作説明は重複するので、必要な場合以外省略する。
この表示情報に基づいて、評価者端末３に図５に示すエージェント選択画面３１が表示される（ステップ２０１）。このエージェント選択画面３１では、アンケート調査の手順の概略が説明されるとともに、アンケート調査の相手をするためのエージェントの顔写真３１ａが表示され、これらエージェントのうちのいずれか１名を指定するように指示される。ここでは、４名のエージェント１〜４の顔写真３１ａが表示されるものとする。このように、エージェントを選択することにより、評価者にエージェントの助けがあるような印象を与えるようにするとともに、直接エージェントが立ち会わないようにして、評価者に不要な緊張を引き起こさないようにする。
このエージェント選択画面３１でいずれかのエージェントが選択されると、プロキシサーバ１からの次の表示情報に基づいて評価者端末３に図６に示すエージェント挨拶画面３２が表示される（ステップ２０２）。このエージェント挨拶画面３１では、エージェント選択画面３１で選択されたエージェントの顔写真３１ａが表示され、この顔写真３１ａからこのエージェントの挨拶が吹出し３２ａで表示される。この挨拶方法としては、音声で行なうようにしてもよいし、音声と吹出し３２ａとで行なうようにしてもよい。また、この挨拶では、アンケートの対象となるコンテンツ（評価対象アンケート）に関することやこのアンケートの目的などが説明される。また、このアンケートでは、アンケート調査の際中に評価者に生ずる感情をも取得するものであり、このことがアンケートの目的として説明される。
また、このエージェント挨拶画面３２では、「一つ前の画面へ」ボタン３２ｂと「次の画面へ」ボタン３２ｃとが設けられており、そのいずれかを選択操作できるようにしている。エージェントを選択し直したり、アンケート調査の注意点を再確認したりする場合には、「一つ前の画面へ」ボタン３２ｂを選択することにより、図５に示すエージェント選択画面３１に戻せばよい。
エージェント挨拶画面３２で「次の画面へ」ボタン３２ｃが選択されると、プロキシサーバ１からの次の表示情報に基づいて評価者端末３に図７に示す操作方法説明画面３３が表示される（ステップ２０３）。この操作方法説明画面３３では、実際の評価対象コンテンツを含む調査画面３３ａとともに、その紹介文や説明文などの３３ｂ〜３３ｅが表示される。また、選択されたエージェントの顔写真３１ａも表示され、吹出し３３ｆや音声でもってその案内がなされる。この操作方法説明画面３３においても、「一つ前の画面へ」ボタン３３ｇと「次の画面へ」ボタン３３ｈとが設けられており、そのいずれかを選択操作できるようにしている。１つ前のエージェント挨拶画面３２（図６）に戻し、さらに、エージェントを選択し直したり、アンケート調査の注意点を再確認したりする場合には、「一つ前の画面へ」ボタン３３ｇを選択すればよい。
操作方法説明画面３３で「次の画面へ」ボタン３３ｈが選択されると、プロキシサーバ１からの次の表示情報に基づいて評価者端末３に図８に示すプロフィールアンケート画面３４が表示される（ステップ２０４）。このプロフィールアンケート画面３４は評価者のプロフィールを入力するためのものであり、プロキシサーバ１のユーザ管理ＤＢ１５（図１）にこの評価者に関するデータがない場合には、ここで、この評価者に対するデータ（プロフィール）を入力して貰うものである。プロフィールアンケート画面３４には、ユーザ管理に必要な質問事項３４ａが設けられており、各質問に対して該当する事項を選択したり、文字などの入力をしたりすることができるようにしている。また、選択されたエージェントの顔写真３１ａも表示され、そこからの吹出し３４ｂにより、さらには、音声により、プロフィールアンケートの協力を呼び掛ける。このプロフィールアンケート画面３４においても、「一つ前の画面へ」ボタン３４ｃと「次の画面へ」ボタン３４ｄとが設けられており、そのいずれかを選択操作できるようにしている。１つ前のエージェント挨拶画面３３（図７）に戻したい場合には、「一つ前の画面へ」ボタン３４ｃを選択すればよい。
プロフィールアンケート画面３４で「次の画面へ」ボタン３４ｄが選択されると、この場合には、評価者端末３は、「次の画面へ」ボタン３４ｄが選択されたことを示す情報と質問事項３４ａの選択項目の情報とを、操作情報として、プロキシサーバ１（図１）に送信し、次の表示情報を要求する。このような質問事項が設けられた他の画面も、説明は省略するが、同様である。
このようにしてプロキシサーバ１から得られた表示情報に基づいて、評価者端末３に図９に示すプロフィールアンケート後画面３５が表示される（ステップ２０５）。このプロフィールアンケート後画面３５では、選択されたエージェントの顔写真３１ａが表示され、そこからの吹出し３５ａや音声により、評価者のプロフィールアンケートの終了とともに、評価対象コンテンツの評価作業に進むことが知らされる。なお、このエージェントの顔写真３１ａはヘルプボタンとしての機能も備えており、この旨も評価者に知らされる。また、このプロフィールアンケート後画面３５においても、「一つ前の画面へ」ボタン３５ｂと「次の画面へ」ボタン３５ｃとが設けられており、そのいずれかを選択操作できるようにしている。１つ前のプロフィールアンケート画面３４（図８）に戻したい場合には、「一つ前の画面へ」ボタン３５ｂを選択すればよい。
プロフィールアンケート後画面３５で「次の画面へ」ボタン３５ｃが選択されると、これに対してプロキシサーバ１から送られてきた表示情報に基づいて評価者端末３に図１０に示す調査画面３６が表示される（ステップ２０６）。この調査画面３６では、タイトル表示領域３６ａと操作領域３６ｂとコンテンツ表示領域３６ｃとが設けられており、コンテンツ表示領域３６ｃには、評価対象サーバ２から供給される評価対象コンテンツが表示され、タイトル表示領域３６ａには、この評価対象コンテンツのタイトルが表示される。
また、操作領域３６ｂには、ヘルプボタンとして機能する選択されたエージェントの顔写真３１ａが表示されるとともに、評価対象コンテンツの評価作業のときに生ずる感情に合わせて評価者が選択するための感情入力ボタンとしての「イライラする」ボタン３６ｄ，「困っている」ボタン３６ｅ，「楽しい！」ボタン３６ｆ，「すごくいい！」ボタン３６ｇ及び「一言いいたい」ボタン３６ｈと、操作方法説明画面へ進めるための「操作方法説明画面へ」ボタン３６ｉと、この調査画面３６での作業を終了するための「終了」ボタン３６ｊとが設けられている。
なお、「操作方法説明画面へ」ボタン３６ｉが選択されることによって表示される操作方法説明画面は、図示しないが、図７に示す操作方法説明画面３３と同様の画面である。但し、「一つ前の画面へ」ボタンや「次の画面へ」ボタンは設けられておらず、「戻る」ボタンが設けられている。この操作方法説明画面で操作方法などを確認し、この「戻る」ボタンを選択すると、調査画面３６に戻る。
これら感情入力ボタン３６ｄ〜３６ｈや顔写真３１ａは、評価者がコンテンツ表示領域３６ｃの評価対象コンテンツを閲覧しているときに生ずる感情を取得するためのものであって、この調査画面３６の表示開始とともに、選択可能であり、評価者がこの感情に応じたボタンを選択すると、選択された感情入力ボタンはこれに即座に応答する。例えば、評価対象コンテンツの閲覧でイライラし始めると、これによって評価者が「イライラする」ボタン３６ｄを選択すると、評価者端末３はこの「イライラする」という情報（感情データ）を取得し、この情報（「イライラする」ボタン３６ｄを選択したことを示す操作情報）をプロキシサーバ１に送信し、この感情入力ボタン３６ｄに対する表示情報を要求する。他の感情入力ボタンを操作した場合も、これと同様である。プロキシサーバ１では、評価者端末３からのこの情報を受信し、内蔵のタイマからの日時情報とともに操作情報蓄積ＤＢ１６に蓄積する。
この調査画面３６の表示状態で予め決められた一定時間操作領域３６ｄの選択操作がなされない場合には（ステップ２０７）、これに対する表示情報がプロキシサーバ１から送信され、この表示情報に基づいて調査画面３６上に、図１１に示すように、無操作時質問画面３７のウィンドウが開く（ステップ２０８）。無操作時質問画面３７では、選択されたエージェントの顔写真３１ａからの吹出し３７ａや音声により、評価者に「どうしたのか」といった問い合わせがあり、これに対する回答例３７ｂが表示されて評価者が答える（選択する）ことができるようにしている。なお、この回答例３７ｂが「その他」の場合には、回答欄３７ｃにその理由を具体的に入力できるようにしている。また、「今後このウィンドウを表示しない」という項目３７ｄを選択すると、この無操作時質問画面３７のウィンドウが開かないようにすることができる。さらに、「キャンセル」ボタン３７ｅが選択されると、この無操作時質問画面３７でのこれまでの入力がキャンセルされる。無操作時質問画面３７での必要な入力が終了して「ＯＫ」ボタン３７ｆが選択されると、無操作時質問画面３７のウィンドウが閉じ、図１０に示す調査画面３６に戻る（ステップ２０９，２１１，２１３，２１５，２２２，２０６）。
また、調査画面３６において、評価対象コンテンツの閲覧中、画面を選択して表示させた途端に、元の画面に戻る操作をした場合（ステップ２０９）には、これに対する表示情報がプロキシサーバ１から送信され、この表示情報に基づいて調査画面３６上に、図１２に示すように、「戻る」ボタン押下時質問画面３８のウィンドウが開く（ステップ２１０）。「戻る」ボタン押下時質問画面３８では、選択されたエージェントの顔写真３１ａからの吹出し３８ａや音声により、評価者にどうしたのかといった問い合わせがあり、これに対する回答例３８ｂが表示されて評価者が答える（いずれかを選択する）ことができるようにしている。なお、この回答例３８ｂが「その他」の場合には、回答欄３８ｃにその理由を具体的に入力できるようにしている。また、「キャンセル」ボタン３８ｄが選択されると、この「戻る」ボタン押下時質問画面３８でのこれまでの入力がキャンセルされる。「戻る」ボタン押下時質問画面３８での必要な入力が終了して「ＯＫ」ボタン３８ｅが選択されると、「戻る」ボタン押下時質問画面３８のウィンドウが閉じ、図１０に示す調査画面３６に戻る（ステップ２１１，２１３，２１５，２２２，２０６）。
また、例えば、調査画面３６のコンテンツ表示領域３６ｃの中で、そこでのボタン操作により、画面（コンテンツ）の表示が行ったり来たりして代わり、同じ画面が所定回数表示されるような場合もある。あるいは、感情入力ボタン３６ｄ〜３６ｈのいずれかを選択すると、後述するように、この選択された感情入力ボタンに対する質問画面が表示され、これに答えると、調査画面３６に戻るが、このように調査画面３６が表示される毎に、例えば、同じ感情入力ボタンを選択して同じ質問画面が所定回数表示されるような場合もある。その他、選択操作に応じて同じ画面が複数回表示されるようなことがあるが、このように同じ画面が所定回数表示される場合には（ステップ２１１）、これに対する表示情報がプロキシサーバ１から送信され、この表示情報に基づいて調査画面３６上に、図１３に示すように、同一画面質問画面３９のウィンドウが開く（ステップ２１２）。同一画面質問画面３９では、選択されたエージェントの顔写真３１ａからの吹出し３９ａや音声により、評価者にどうしたのかといった問い合わせがあり、これに対する回答例３９ｂが表示されて評価者が答える（いずれかを選択する）ことができるようにしている。なお、この回答令ｂが「その他」の場合には、回答欄３９ｃにその理由を具体的に入力できるようにしている。また、「キャンセル」ボタン３９ｄを選択すると、この同一画面質問画面３９でのこれまでの入力がキャンセルされる。同一画面質問画面３９での必要な入力が終了して「ＯＫ」ボタン３９ｅが選択されると、同一画面質問画面３９のウィンドウが閉じ、図１０に示す調査画面３６に戻る（ステップ２１３，２１５，２２２，２０６）。
また、この調査画面３６によるアンケート調査は、先に図４に示したアンケート実施確認画面３０で予め決められた時間内（ここでは、約１０分間としている）で行なわれると説明されており、調査画面３６が表示されてこの予め決められた時間が経過しても、「作業終了ボタン」３６ｉが選択されない場合には（ステップ２１３）、これに対する表示情報がプロキシサーバ１から送信され、この表示情報に基づいて調査画面３６上に、図１４に示すように、操作時間超過画面４０のウィンドウが開く（ステップ２１１）。操作時間超過画面４０では、選択されたエージェントの顔写真３１ａからの吹出し４０ａや音声により、時間が経過したことを通知するとともに、評価者にどうするかといった問い合わせをし、「アンケートをやめて、続きの操作を行う」ボタン４０ｂと「アンケートを続ける」ボタン４０ｃとのいずれかを評価者が選択できるようにする。「アンケートをやめて、続きの操作を行う」ボタン４０ｂが選択されると、アンケート調査は中止され、また、「アンケートを続ける」ボタン４０ｃが選択されると、図１０に示す調査画面３６に戻る（ステップ２１５，２２２，２０６）。
なお、以上のステップ２０７，２０９，２１１，２１３は調査画面３６が表示されたステップ２０６の後に行われるものとしたが、他の画面、即ち、エージェントが選択された後の図７に示す画面３３以降の画面表示のときにも、同様である。
図１０に示す調査画面３６において、コンテンツ表示領域３６ｃの評価対象コンテンツ閲覧するにつれて、評価者がイライラした気持ちになり、かかる感情に該当する感情入力ボタン、即ち、「イライラする」ボタン３６ｄを選択すると（ステップ２１５）、これに対してプロキシサーバ１から送られる表示情報に基づいて調査画面３６上に、図１５に示すように、感情入力画面としての「イライラ」押下時質問画面４１のウィンドウが開く（ステップ２１６）。この「イライラ」押下時質問画面４１では、選択されたエージェントの顔写真３１ａからの吹出し４１ａや音声により、評価者に対して記載欄４１ｂにイライラする理由を具体的に記載するように指示する。この指示に従って評価者が記載欄４１ｂにイライラの原因を記載し、「ＯＫ」ボタン４１ｄを選択すると、この選択操作がなされたことを示す情報と記載欄４１ｂでの入力情報とが、操作情報として、プロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られるとともに、この「イライラ」押下時質問画面４１のウィンドウが閉じて図１０に示す調査画面３６に戻る（ステップ２２２，２０６）。また、「キャンセル」ボタン４１ｃを選択すると、この記載欄４１ｂでのこれまでの入力がキャンセルされ、この選択操作がなされたことを示す操作情報がプロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られる。このようにして、イライラする気持ちを、これが実際に生じている時点で、感情の詳細情報として、入力することができて、システム側も、評価者に実際に生じた感情を取得することができる。
図１０に示す調査画面３６において、コンテンツ表示領域３６ｃでの評価対象コンテンツの閲覧中に評価者が何らかの原因で困ってしまい、「困っている」ボタン３６ｅを選択すると（ステップ２１５）、これに対してプロキシサーバ１から送られる表示情報に基づいて調査画面３６上に、図１６に示すように、感情入力画面としての「困っている」押下時質問画面４２のウィンドウが開く（ステップ２１７）。この「困っている」押下時質問画面４２では、選択されたエージェントの顔写真３１ａからの吹出し４２ａや音声により、評価者に対して記載欄４２ｂに困っている原因を具体的に記載するように指示する。この指示に従って評価者が記載欄４２ｂに困っている理由を記載し、「ＯＫ」ボタン４２ｄを選択すると、この選択操作がなされたことを示す情報と記載欄４２ｂでの入力情報とが、操作情報として、プロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られるとともに、この「困っている」押下時質問画面４２のウィンドウが閉じて図１０に示す調査画面３６に戻る（ステップ２２２，２０６）。また、「キャンセル」ボタン４２ｃを選択すると、この記載欄４２ｂでのこれまでの入力がキャンセルされ、この選択操作がなされたことを示す情報がプロキシサーバ１の評価内容管理ＤＢ１４（図１）に送られる。このようにして、困っている気持ちを、これが実際に生じている時点で、感情の詳細情報として、入力することができて、システム側も、評価者に実際に生じた感情を取得することができる。
図１０に示す調査画面３６において、コンテンツ表示領域３６ｃの評価対象コンテンツを閲覧していて評価者が楽しくなってきて、「楽しい！」ボタン３６ｆを選択すると（ステップ２１５）、これに対してプロキシサーバ１から送られる表示情報に基づいて調査画面３６上に、図１７に示すように、感情入力画面としての「楽しい」押下時質問画面４３のウィンドウが開く（ステップ２１８）。この「楽しい」押下時質問画面４３では、選択されたエージェントの顔写真３１ａからの吹出し４３ａや音声により、評価者に対して記載欄４３ｂに楽しいと思われることの原因を具体的に記載するように指示する。この指示に従って評価者が記載欄４３ｂに楽しいと思う理由を記載して、「ＯＫ」ボタン４３ｄを選択すると、この選択操作がなされたことを示す情報と記載欄４３ｂでの入力情報とが、操作情報として、プロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られるとともに、この「楽しい」押下時質問画面４３のウィンドウが閉じて図１０に示す調査画面３６に戻る（ステップ２２２，２０６）。また、「キャンセル」ボタン４３ｃを選択すると、この記載欄４３ｂでのこれまでの入力がキャンセルされ、この選択操作がなされたことを示す操作情報がプロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られる。このようにして、楽しい気持ちを、これが実際に生じている時点で、感情の詳細情報として、入力することができて、システム側も、評価者に実際に生じた感情を取得することができる。
図１０に示す調査画面３６において、コンテンツ表示領域３６ｃの評価対象コンテンツを閲覧していて評価者がこの評価対象コンテンツをすごく良いように思えて、「すごくいい！」ボタン３６ｇを選択すると（ステップ２１５）、これに対してプロキシサーバ１から送られる表示情報に基づいて調査画面３６上に、図１８に示すように、感情入力画面としての「すごくいい」押下時質問画面４４のウィンドウが開く（ステップ２１９）。この「すごくいい」押下時質問画面４４では、選択されたエージェントの顔写真３１ａからの吹出し４４ａや音声により、評価者に対して記載欄４４ｂにすごくいいと思われることの原因を具体的に記載するように指示する。この指示に従って評価者が記載欄４４ｂにすごくいいと思う理由を記載し、「ＯＫ」ボタン４４ｄを選択すると、この選択操作がなされたことを示す情報と記載欄４４ｂでの入力情報とが、操作情報として、プロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られるとともに、この「すごくいい」押下時質問画面４４のウィンドウが閉じて図１０に示す調査画面３６に戻る（ステップ２２２，２０６）。また、「キャンセル」ボタン４４ｃを選択すると、この記載欄４４ｂでのこれまでの入力がキャンセルされて、この選択操作がなされたことを示す操作情報がプロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られる。このようにして、すごく良い気持ちをこれが実際に生じている時点で、感情の詳細情報として、入力することができて、システム側も、評価者に実際に生じた感情を取得することができる。
図１０に示す調査画面３６において、コンテンツ表示領域３６ｃの評価対象コンテンツを閲覧していて評価者がこの評価対象コンテンツに対して一言いいたい気分になって、「一言いいたい」ボタン３６ｇを選択すると（ステップ２１５）、これに対してプロキシサーバ１から送られる表示情報に基づいて調査画面３６上に、図１９に示すように、感情入力画面としての「一言いいたい」押下時質問画面４５のウィンドウが開く（ステップ２２０）。この「一言いいたい」押下時質問画面４５では、選択されたエージェントの顔写真３１ａからの吹出し４５ａや音声により、評価者に対して記載欄４５ｂにこの評価対象コンテンツ（ページ）に対する苦情や要望，意見など一言いいたいことを具体的に記載するように指示する。この指示に従って評価者が記載欄４５ｂに記載し、「ＯＫ」ボタン４５ｄを選択すると、この選択操作がなされたことを示す情報と記載欄４５ｂでの入力情報とが、操作情報として、プロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られるとともに、この「一言いいたい」押下時質問画面４５のウィンドウが閉じて図１０に示す調査画面３６に戻る（ステップ２２２，２０６）。また、「キャンセル」ボタン４５ｃを選択すると、この記載欄４５ｂでのこれまでの入力がキャンセルされ、この選択操作がなされたことを示す情報が、操作情報として、プロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られる。このようにして、一言いいたい気持ちを、これが実際に生じている時点で、感情の詳細情報として、入力することができて、システム側も、評価者に実際に生じた感情を取得することができる。
図１０に示す調査画面３６で評価者がヘルプボタンとしてのエージェントの顔写真３１ａを選択すると（ステップ２１５）、これに対してプロキシサーバ１から送られる表示情報に基づいて調査画面３６上に、図２０に示すように、顔写真押下時質問画面４６のウィンドウが開く（ステップ２２１）。この顔写真押下時質問画面４６では、選択されたエージェントの顔写真３１ａからの吹出し４６ａや音声により、「どうされましたか」といったような評価者に対する問い合わせをするとともに、この問い合わせに対する回答例４６ｂを表示し、評価者にそのいずれかを選択させるようにする。この回答が「その他」の場合には、回答欄４６ｃにその理由を具体的に入力できるようにしている。この指示に従って評価者が回答例４６ｂを選択し、「ＯＫ」ボタン４６ｅを選択すると、この選択操作がなされたことを示す情報と回答例４６ｂ，回答欄４６ｃでの入力情報とが、操作情報として、プロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られるとともに、この顔写真押下時質問画面４６のウィンドウが閉じて図１０に示す調査画面３６に戻る（ステップ２２２，２０６）。また、「キャンセル」ボタン４６ｄを選択すると、この写真押下時質問画面４６でのこれまでの入力がキャンセルされ、この選択操作がなされたことを示す操作情報がプロキシサーバ１の操作情報蓄積ＤＢ１６（図１）に送られる。
図１０に示す調査画面３６では、感情入力ボタン３６ｄ〜３６ｈのいずれかを選択すると、「作業終了」ボタン３６ｊが選択されない限り、ステップ２１５からステップ２１６〜２２１にいずれかを通り、さらに、ステップ２２２を通ってステップ２０６に戻って調査画面３６の表示状態となる。従って、「作業終了」ボタン３６ｊが選択される前であれば、例えば、「イライラする」ボタン３６ｄと「一言いいたい」ボタン３６ｈというように、２種類以上の感情入力ボタンを選択することができる。
また、評価対象コメントの閲覧過程で、最初はその内容が良いと思われるが、閲覧が進むにつれてイライラしてくる場合もある。このアンケートでは、その時々の感情を入力することを要求しており、また、そのような入力の仕方も可能としている。従って、上記の場合、評価者には、評価対象コンテンツの内容がよいと思われるとき、「すごくいい」ボタン３６ｇを選択させ、その後、イライラし出すと、「イライラする」ボタン３６ｄを選択させるようにする。プロキシサーバ１は、表示情報により、評価者端末３（図１）でボタン操作によって調査画面３６や上記の各画面３７〜４０，後述の「作業終了」押下時質問画面４７などを表示させると、そのときの日時情報（表示開始時刻）も図示しない内蔵のタイマから取り込んで操作情報蓄積ＤＢ１６に蓄積する。従って、上記の調査画面３６でのボタン操作では、「すごくいい」ボタン３６ｇを選択したときの日時情報や「イライラする」ボタン３６ｄを選択したときの日時情報も、即ち、操作されたボタン毎に日時情報も、内蔵のタイマから取得してプロキシサーバ１の操作情報蓄積ＤＢ１６に保持されることになる。
調査画面３６での必要な選択操作とこれに伴う画面４１〜４６での必要な操作が終了し、調査画面３６の「作業終了」ボタン３６ｊが選択されると（ステップ２２２）、これに対してプロキシサーバ１から送られる表示情報に基づいて評価者端末３に図２１に示す「作業終了」押下時質問画面４７が表示される（ステップ２２３）。この「作業終了」押下時質問画面４７は、アンケート調査を中断して息抜きをし、次に続く作業を通知するために設けられるものであって、この旨が選択されたエージェントの顔写真３１ａからの吹出し４７ａや音声によって通知される。そして、評価者が「次の画面へ」ボタン４７ｂを選択すると、これに対してプロキシサーバ１から送られる表示情報に基づいて評価者端末３に図２２に示す実験後アンケート画面４８が表示される（ステップ２２４）。
この実験後アンケート画面４８は、評価したコンテンツ（Ｗｅｂサイト）についての総合的な評価のアンケートを行うものであるが、いくつかの設問がなされて夫々毎に選択できる回答が付されたり、コメントの記載欄４８ｃが設けられたりなどしており、選択されたエージェントの顔写真３１ａからの吹出し４８ａや音声により、このアンケートの案内がなされる。
この実験後アンケート画面４８で「次の画面へ」ボタン４８ｄが選択されると、これに対してプロキシサーバ１から送られる表示情報に基づいて評価者端末３に図２３に示す終了挨拶画面４９が表示される（ステップ２２５）。この終了挨拶画面４９では、選択されたエージェントの顔写真３１ａからの吹出し４９ａや音声により、アンケート調査の終了挨拶などがなされ、「終了」ボタン４９ｃの選択により、一連のアンケート調査の作業が終了する。また、終了挨拶画面４９で「１つ前の画面へ」ボタン４９ｂを選択すると、図２２に示す実験後アンケート画面４８に戻る（ステップ２２４）。この場合には、先に入力されたアンケートの回答はキャンセルされるようにしてもよいし、入力されたまま残しておいてもよい。いずれにしても、アンケートの設問に再度答えるようにすることができる。
なお、以上の図２１〜図２３に示す画面４７〜４９で顔写真３１ａを選択すると、図２０に示すようなエージェントの顔押下時質問画面４６のウィンドウが開き、評価者に対処できるようにしている（但し、画面４７〜４９毎に内容が異なる場合もある）。
以上のようにして、一連のコンテンツ評価作業が行われるが、この間、各画面毎に選択されたエージェントの顔写真３１ａが表示され、吹出しや音声によってその表示された画面についての案内がなされるから、実際にエージェントによって案内されているのと同様の状況で評価作業を行なうことができるし、顔写真３１ａを選択すると、そのときの状況を伝えることができるので（図２０に示すエージェントの顔押下時質問画面４６）、実際のエージェントがそばについているのと同様の状況のもとで評価作業を行なうことができる。しかも、実際には、エージェントは側にいないため、その分緊張感がほぐれた状態で作業を行なうことができる。また、評価者が選択したエージェントの顔写真をかかる画面に表示することにより、この画面が評価対象サイトが開いた評価対象コンテンツの評価（アンケート）に用いられるサブウィンドウであるかどうかの判別が容易となり、他のウィンドウとの区別が明確となる。このため、コンテンツの評価に用いられる画面は容易にかつ格別意識することなく確認できるから、かかる画面は不用意に関係ない画面として閉じられてしまうようなことも回避できる。
なお、エージェントの顔写真３１ａの代わりに、エージェントのキャラクタなど顔写真以外のエージェントの顔などを表わした他の画像を表示するようにしてもよい。
この実施形態では、以上の作業によって得られたアンケート結果（ボタンの操作情報や入力情報など）やその他の必要な操作情報は、その操作情報が発生する毎に、評価者端末３からプロキシサーバ１に送信され、このプロキシサーバ１では、そのときの日時情報とともに、操作情報蓄積ＤＢ１６に格納されるものであるが、これら情報はアンケートが終了するまで（例えば、図２３に示す終了挨拶画面４９で「終了」ボタン４９ｃが選択されるまで）評価者端末３に保存されており、この終了とともにプロキシサーバ１に送信され、操作情報蓄積ＤＢ１６に格納されるようにしてもよい。この場合、日時情報としては、評価者端末３で得られるようにしてもよいし、また、プロキシサーバ１の内蔵タイマから取得し、評価者端末３に送る表示情報、従って、この表示情報に対する操作情報と対応づけて、操作情報蓄積ＤＢ１６に格納されるようにしてもよい。
図２４はこの評価内容管理ＤＢ１４に格納されたＩＤが「１」の評価者に対するアンケート結果を示すユーザ別記録データの一具体例を示すものであって、評価者のＩＤ欄５０，感情入力ボタン３６ｄ〜３６ｈのいずれかの操作（選択）時刻欄５１，評価者の感情の種別欄（即ち、操作された感情入力ボタンを示す欄）５２，画面で評価者が選択した項目を示す選択欄５３，感情入力ボタン３６ｄ〜３６ｈの操作に伴って表示される画面４１〜４６で入力されたコメントの内容を表わすコメント欄５４，評価対象コンテンツのＵＲＬ欄５５，コメントの入力に要した時間を示す時間（ｓｅｃ）欄５６とからなっている。
かかる評価内容は必要に応じて集計，分析され、例えば、図２５に示すような統計データを示す結果一覧画面が表示装置１７に表示される。この場合の評価対象コンテンツとしては、ｌｏｇｉｎ（ログイン）画面やカレンダ操作画面，カレンダ画面，サブボタン押下画面などとし、かかる評価対象コンテンツの評価に参加する人員は２６名としている。そして、各評価対象コンテンツ毎に表示回数や平均表示時間，評価者が操作に要した時間（例えば、アンケート調査での選択操作やコメントの入力操作などの操作に要した時間の累計）である評価支援システム平均操作時間，実質表示時間（累計），感情入力ボタン３６ｄ〜３６ｈの選択回数などが集計されている。また、参加者１人当りの平均操作時間やこの実施形態が作動した累積時間の参加者１人当りの平均である平均実質時間，参加者１人当りの平均評価支援システム平均操作時間なども表示される。
また、評価内容管理ＤＢ１４に蓄積される表示情報は、評価対象コンテンツに応じて異ならせることができるが、表示装置１７を用いながらデータ入力手段１８でこれを作成することができる。
なお、この実施形態では、「イライラ」，「困っている」，「楽しい」，「すごくいい」，「一言いいたい」という感情を評価結果として入力できるようにするために、これらに対する感情入力ボタン３６ｄ〜３６ｈを設けたが、これら以外の感情も追加して入力できるようにしてもよい。

本発明の他の実施例について、以下図２６〜図４４を用いて詳細に説明する．なお、これにより本発明が限定されるものではない。
本発明は、ユーザビリティ評価支援方法、およびプログラムに関するものであり、情報入力手段と情報出力手段をもち、ネットワークに接続可能な情報処理装置で操作可能なアプリケーションおよびコンテンツに対するユーザビリティの評価に実施可能である。上記、情報処理装置には、計算機システム、携帯電話システム、個人用携帯情報端末、ネットワーク対応型テレビなどが挙げられる。さらに、本発明はこれに限定されるものではなく、ネットワークに接続されておらず、必要な情報を全て内部で保持し、情報入力手段と情報出力手段をもつ情報処理装置についても適用できる。
実施例２では、情報入力手段と情報表示手段をもちネットワークに接続可能な情報処理装置において、情報入力手段と情報表示制御部に介在し、情報を制御する機能をもつ組み込み可能なプログラム（以下プラグインプログラム）を用い、ＷｅｂアプリケーションまたはＷｅｂコンテンツに関して、ページまたは表示されている情報の特定箇所に対するユーザのフィードバックを取得することで対象コンテンツのユーザビリティ評価を支援する方法について述べる。さらに、ユーザの操作履歴と情報発信元であるサーバからのコンテンツ情報を併せて取得し、上記取得した情報をコンテンツと時間で関連づけることにより、ユーザの操作手順とその一連の操作のなかでのユーザの評価が関連づいて表示することにより、対象コンテンツに関するユーザビリティ評価を支援する方法について述べる。
本実施例ではＷｅｂサイトをユーザビリティ評価の対象とし説明するが、本発明は、Ｃｌｉｅｎｔ／ＳｅｒｖｅｒシステムやＰｅｅｒ ｔｏ Ｐｅｅｒシステムで運用するＷｅｂシステム以外のアプリケーション画面およびコンテンツについても実施可能である。
図２６は本実施例で述べるユーザビリティ評価のための評価プラグインプログラムが内在する情報処理装置のブロック構成を示す図である。
本実施例で述べる評価プラグインプログラムは、評価イベント処理部２１０４、操作イベント情報取得部２１０５、コンテンツイベント情報取得部２１０６、データ送信部２１０７から構成される。
図４５に従来の情報処理装置のブロック構成図を示す。図２６に破線で囲み示した箇所が、本発明の評価プラグインプログラムである。
ユーザは情報表示装置２１０１を介して評価対象となるアプリケーションまたはコンテンツの情報を閲覧し、キーボード、マウス、タッチパネル、バーコードリーダ、音声認識装置などから構成される情報入力手段２１０３を介して情報の閲覧指示などアプリケーションやコンテンツに対する操作および評価情報の入力を行う。
評価イベント処理部２１０４は、情報入力手段２１０３から送られてくるユーザからの入力情報のうち評価に関する操作を受信し、評価操作履歴を取得し、プラグインデータベース（以下、プラグインＤＢという）２１０８に記録する。また、操作イベント情報取得部２１０５、コンテンツイベント情報取得部２１０６へ、情報取得の開始指示や終了指示を送る。
評価に関する操作とは、図３５記載の画面例における上部の評価用ボタン１００２ａ、１００２ｂ、１００２ｃ、１００２ｄ、１００２ｅ、１００４、１００５、１００６と、評価用入力欄１００３に関する操作である。
操作イベント情報取得部２１０５は、情報入力手段２１０３から送られてくるユーザからの入力情報のうち評価に関する操作以外を受信し、操作履歴を取得し、プラグインＤＢ２１０８へ記録し、受信した入力情報を情報表示制御部２１０２に送る。
コンテンツイベント情報取得部２１０６は、評価イベント処理部２１０４から情報取得の開始指示を受信したら、情報表示制御部からの情報を受信しサーバとの情報通信を行う。サーバとの通信履歴を取得しプラグインＤＢ２１０８に記録する。
プラグインＤＢ２１０８の構成の一例を図４４に示す。プラグインＤＢ２１０８は評価操作履歴テーブル７００、操作履歴テーブル８００、通信履歴テーブル９００から構成される。
評価操作履歴、操作履歴、通信履歴に関しては、それぞれ図３２、図３３、図３４を用いて別途詳細に説明する。
情報表示制御部２１０２は、情報入力手段２１０３を介して送られてくるユーザからの入力情報を操作イベント情報取得部２１０５を介して受信し、情報表示装置２１０１またはコンテンツイベント情報取得部２１０６に適切に渡して処理し、またサーバからのコンテンツ情報をコンテンツイベント情報取得部２１０６から受信し処理することで表示情報を制御する。
プラグインＤＢ２１０８は、評価操作履歴、操作履歴、通信履歴を記録する。
データ送信部２１０７は、プラグインＤＢに記録された情報をネットワーク経由で図２８記載の評価サーバ３０３へ送信する。
図２７は、本実施例で述べる情報入力手段と情報表示手段をもつネットワークに接続可能な情報処理装置のハードウェア構成を示す図である。本装置は情報入力手段２１０３と、情報表示装置２１０１と、ＣＰＵ２２０１と、主記憶装置２２０２と、ネットワーク接続装置２２０３と、外部記憶装置２２０４から構成される。
図２８は、本実施例で述べる方法を実施する際のネットワーク構成を示す図である。ネットワークは、ユーザビリティ評価の対象となるＷｅｂコンテンツの送信元であるＷｅｂサーバ３０３と、図２７記載のハードウェア構成をもち、図２６の説明で述べた評価プラグインプログラムをもつユーザ端末３０２、図２６記載のプラグインＤＢ２１０８からデータを受け取り、集計し、集計結果ＤＢ３０４に記録する評価サーバ３０３から構成される。
Ｗｅｂサーバ３０１および評価サーバ３０３は図２７記載のハードウェア構成に準ずる構成の情報処理装置である。
評価対象であるＷｅｂアプリケーションまたはＷｅｂコンテンツに対して、評価に関する情報をユーザが入力するための評価インタフェースの一例を図３５に示す。
図３５の例では、評価対象サイトが表示される領域１００１の上部に、評価に関する操作を行うためのボタンと入力フォームを表示している。ユーザは評価開始ボタン１００４を押下することで評価開始を指示し、評価終了ボタン１００５を押下することで評価終了を指示することができる。また、それぞれふたつのプラスの感情とマイナスの感情を表現したボタン１００２ｂ、１００２ｃ、１００２ｄ、１００２ｅを表示しており、ユーザは自分の感情に即したボタンを選択することで、評価対象であるＷｅｂアプリケーション、またはＷｅｂコンテンツに対する評価を返すことが可能である。さらに、これらの感情のフィードバックに加えて、ユーザが評価対象を操作している間に感じたことを入力箇所１００３に入力し登録ボタン１００６を押下することによって評価として返すことができる。また、感情に関係なくコメントを返すことができるように、ボタン１００２ａが存在する。この入力箇所１００３はボタン１００２ａ、１００２ｂ、１００２ｃ、１００２ｄ、１００２ｅを押下することのより入力可能となる。
図３５の例では、ボタンによって表現された感情は４つであるが、評価に用いる感情はいくつであっても構わない。また、評価用の機能は、評価対象サイトが表示される領域１００１の下部、左部、右、部、などブラウザ上のどこに表示されていてもよい。
図４３に、表示されている情報のなかで評価する箇所を特定することを可能とする評価インタフェースの一例を示す。
図４３に示す例では、ユーザは、ブラウザ上に表示されている評価のためのボタン１００２ａ、１００２ｂ、１００２ｃ、１００２ｄ、１００２ｅを、ドラッグ＆ドロップ操作によって、ブラウザ上の、評価を返したいコンテンツの位置に移動させる１１０４ことにより、評価箇所を特定することを可能とする。評価箇所の特定方法は、感情ボタンをクリックし、次にその評価箇所をクリックするという方法で評価箇所を特定させる仕様でも実施可能である。
図２９は、評価イベント処理部２１０４の処理アルゴリズムを示す図である。まず、情報入力手段を介して、評価に関するユーザの入力情報をイベントとして受信する（ステップ４０１）。
受信したイベントが評価開始を指示するものであれば（ステップ４０２）、評価中フラグをオンにし（ステップ４０３）、初期値０の評価セッションＩＤのカウンタの値を１増やす（ステップ４０４）。次に、操作イベント情報取得部２１０５とコンテンツイベント情報取得部２１０６に評価ＩＤを渡し、データの取得開始を指示する（ステップ４０５）。そして受信したイベントの評価履歴を取得し、評価ログテーブル７００にデータを記録し（ステップ４０６）、イベントの受信待機状態に戻る。
図３２に評価ログテーブル７００の構成の一例を示す。評価ログテーブル７００は評価イベント処理部２１０４で取得した評価履歴情報を記録するテーブルで、評価ログＩＤ７０１、評価セッションＩＤ７０２、プラグインＩＤ７０３、イベント発生時刻７０４、イベント発生画面７０５、評価イベント種別７０６、コメント内容７０７、位置情報７０８、登録ボタン押下時刻７０９から構成される。
評価ログＩＤ７０１は履歴情報を一意に識別するためのＩＤであり、評価イベント処理部２１０４がステップ４０６で割り当てる。
評価セッションＩＤ７０２は、ユーザからの評価開始指示を受けてから評価終了指示を受けるまでの間に発生したイベントを紐付けるためのＩＤであであり、評価イベント処理部１０４がステップ４０４において割り当てる。
プラグインＩＤ７０３は、どの評価プラグインプログラムによって取得された情報が判断するためのＩＤであり、プラグインプログラム毎に一意になるようにプラグインプログラム毎に予め設定しておく値である。プラグインプログラム毎に評価イベント処理部２１０４、操作イベント情報取得部２１０５、コンテンツイベント情報取得部２１０６全てが同じ値を保持している。
イベント発生時刻７０４は、評価イベントが発生した時刻を表すものでステップ４０１でイベントを受信した時刻である。
イベント発生時画面は７０５は、評価イベントが発生した時点での画面を画像として記録するものでステップ４０６において取得する。
評価イベント種別７０６は、ユーザの評価に関する操作を識別するためのもので図１０で示した評価開始ボタン１００４、評価終了ボタン１００５、それぞれふたつのプラスの感情とマイナスの感惰を表現したボタン１００２ｂ、１００２ｃ、１００２ｄ、１００２ｅ、感情に関係なくコメントを評価として返すためのボタン１００２ａ、のいずれが選択されたかを示している。
コメント内容７０７は、図３５で示したコメント入力欄１００３に入力されたユーザのコメント内容である。
位置情報７０８は、図４３の説明で述べた方法により、ユーザが評価箇所を特定した場合、その位置を座標軸である。
登録ボタン押下時刻は、ユーザが図３５または図４３の登録ボタン１００６、図３６の送信ボタン１１０３を押下した時刻である。
受信したイベントが評価開始を指示するものでなく（ステップ４０２）、さらに評価終了を指示するものでない場合（ステップ４０７）、評価中フラグがオンであるかどうかを判定し（ステップ４１０）、オンであったならば受信したイベントの評価履歴を取得し、評価ログテーブル７００にデータを記録し（ステップ４０６）、イベントの受信待機状態に戻る。ステップ４１０で評価フラグがオンでない場合、評価開始の指示を出すようにユーザにメッセージを表示し（ステップ４１１）、イベントの受信待機状態に戻る。
受信したイベントが評価終了を指示するものであった場合（ステップ４０７）、評価中フラグがオフにし（ステップ４０８）、操作イベント情報取得部２１０５とコンテンツイベント情報取得部２１０６にデータの取得終了を指示する（ステップ４０９）。そして受信したイベントの評価履歴を取得し、評価ログテーブル７００にデータを記録し（ステップ４０６）、イベントの受信待機状態に戻る。
次に、操作イベント情報取得部２１０６の処理アルゴリズムを、図３０を用いて説明する。評価イベント処理部２１０４からデータの取得開始指示を受信したら（ステップ５０１）、評価イベント処理部２１０４から評価セッションＩＤを受け取り（ステップ５０２）る。操作イベントを受信したら（ステップ５０３）、受信イベントの操作履歴データを取得し、評価セッションＩＤと併せて操作ログテーブル８００に操作履歴データを記録し（ステップ５０４）、受信した操作イベントを情報表示制御部２１０２に渡す（ステップ５０５）。評価イベント処理部２１０４からデータの取得停止指示を受信するまで（ステップ５０６）、上記ステップ５０３、ステップ５０４、ステップ５０５を繰り返す。評価イベント処理部２１０４からデータの取得終了指示を受信したら（ステップ５０６）、操作履歴データの取得を停止する（ステップ５０７）。
図３３に操作ログテーブル８００の構成の一例を示す。操作ログテーブル８００は操作イベント情報取得部２１０６で取得した操作履歴情報を記録するテーブルで、操作ログＩＤ８０１、評価セッションＩＤ８０２、プラグインＩＤ８０３、イベント発生時刻８０４、操作ターゲット８０５、イベント８０６から構成される。
操作ログＩＤ８０１は操作履歴情報を一意に識別するためのＩＤであり、操作イベント情報取得部２１０６がステップ５０４において割り当てる。
評価セッションＩＤ８０２は、ユーザからの評価開始指示を受けてから評価終了指示を受けるまでの間に発生したイベントを紐付けるためのＩＤであり、ステップ５０２で評価イベント処理部２１０４から渡される。
プラグインＩＤ８０３は、どの評価プラグインプログラムによって取得された情報が判断するためのＩＤであり、評価イベント処理部２１０４、操作イベント情報取得部２１０５、コンテンツイベント情報取得部２１０６がそれぞれ保持している。
イベント発生時刻８０４は、イベントが発生した時刻を表すものでステップ５０３でイベントを受信した時刻である。
操作ターゲット８０５は、クリックや入力など操作イベントの対象を識別するためのもので情報入力手段から受信する。
イベント８０６は、クリックや入力などユーザの操作を識別するためのもので情報入力手段から受信する。
図３１を用いて、コンテンツイベント情報取得部２１０７の処理アルゴリズムを説明する。評価イベント処理部２１０４からデータの取得開始指示を受信したら（ステップ６０１）、評価イベント処理部２１０４から評価セッションＩＤを受け取とる（ステップ６０２）。情報表示制御部２１０２からＷｅｂサーバ３０１との情報通信指示を受信したら（ステップ６０３）、Ｗｅｂサーバ３０１と通信しＵＲＬを受信する（ステップ６０４）。通信前のＵＲＬと通信後のＵＲＬのデータを取得し、評価セッションＩＤと併せてコンテンツログテーブル９００に記録する（ステップ６０５）。評価イベント処理部２１０４からデータの取得終了の指示があるまで（ステップ６０６）、ステップ６０３、ステップ６０４、ステップ６０５を繰り返す。評価イベント処理部２１０４からデータの取得終了の指示を受信したら（ステップ６０６）、ＵＲＬデータの取得を停止する（ステップ６０７）。
図３４にコンテンツログテーブル９００の構成の一例を示す。コンテンツログテーブル９００はコンテンツイベント情報取得部２１０７で取得したＵＲＬ情報を記録するテーブルで、コンテンツログＩＤ９０１、評価セッションＩＤ９０２、プラグインＩＤ９０３、イベント発生時刻９０４、現在のＵＲＬ９０５、通信後のＵＲＬ９０６から構成される。
コンテンツログＩＤ９０１はコンテンツログ情報を一意に識別するためのＩＤであり、コンテンツログ情報取得部２１０７により割り当てられる。
評価セッションＩＤ９０２は、ユーザからの評価開始指示を受けてから評価終了指示を受けるまでの間に発生したイベントを紐付けるためのＩＤであり、ステップ５６０２で評価イベント処理部２１０４から渡される。
プラグインＩＤ９０３は、どの評価プラグインプログラムによって取得された情報が判断するためのＩＤであり、評価イベント処理部２１０４、操作イベント情報取得部２１０５、コンテンツイベント情報取得部２１０６がそれぞれ保持している。
イベント発生時刻９０４は、サーバと通信した時刻を表すものでステップ６０４でサーバと通信した時刻である。
現在のＵＲＬ９０５は、情報表示制御部２１０２からＷｅｂサーバ３０１との通信指示を受信した時点でのＵＲＬである。
変更後のＵＲＬ９０６は、Ｗｅｂサーバ３０１から受け取った新しいＵＲＬ情報である。
上記取得した情報を利用して、例えば図３７に示すような評価結果を表示する。図３７は評価ログテーブル７００の情報から作成可能な評価結果の一例であり、イベント発生時刻７０２の順、つまりユーザの操作の順番に、ユーザの評価した時間１２０２、評価した時点の画像１２０３、ユーザの評価１２０５、ユーザのコメント１２０５が表示されている。ここで、評価ログテーブル７００の位置情報７０８の値がｎｕｌｌでない場合には、評価した時点の画像１２０３上の対応する位置に、評価を示す印１２０６を重ねて表示し、評価結果を直感的に理解し易くしている。
ユーザの評価した時間１２０２は、評価ログテーブル７００のイベント発生時刻７０４から、評価した時点の画像１２０３は評価ログテーブル７００のイベント発生時画像７０５から、ユーザの評価１２０５は評価ログテーブル７００の評価イベント種別７０６から、ユーザのコメント１２０５は評価ログテーブル７００のコメント内容７０８から、それぞれ取得する情報である。
プラグインＤＢ３０４に格納された評価操作履歴テーブル７００、操作履歴テーブル８００、通信履歴テーブル９００の情報は、データ送信部２１０７によって集計サーバ３０３へ送信される。
データ送信部２１０７の処理アルゴリズムを図３８に示す。
予め設定されている送信トリガイベントが起動したら（ステップ１３０１）、プラグインＤＢ２１０８からデータを取得し（ステップ１３０２）、評価サーバ３０３へデータを送信して（ステップ１３０３）終了する。
ここで、データ送信部に予め設定されている送信トリガイベントは、プラグインＤＢ２１０８に格納されたデータ量が閾値を超えた場合や月曜日の１０時などのよう予め設定された時間などである。また、予め設定されている送信トリガが起動する以外に、ユーザからの送信指示を受信することで送信を実施する仕様でも実施可能である。
データ送信部２１０８からデータを受け取った集計サーバ３０３は、評価ログテーブル７００、操作ログテーブル８００、コンテンツログテーブル９００それぞれがもつ項目の和集合を項目とする、集計結果テーブルを作成する。
評価ログテーブル７００から一行を取得し、集計結果テーブルの一行として書き込む。これを評価ログテーブルのデータが終わるまで繰り返す。このとき、対応する項目がない場合はその項目欄は空し、対応する項目の欄にのみ値がはいる。
操作ログテーブル８００、コンテンツログテーブル９００のデータに関しても同じ手順で行い、集計結果テーブルを作成する。
全てのデータを取得し終わったら、プラグインＩＤを第一キーと、評価セッションＩＤを第二キーと、イベント発生時刻を第三キーとしてソートする。
図３９に集計結果テーブルの一例を示す。集計結果テーブル１４００は、ログＩＤ１４０１、評価セッションＩＤ１４０２、プラグインＩＤ１４０３、現在のＵＲＬ１４０４、イベント発生時刻１４０５、イベント発生時画面１４０６、操作ターゲット１４０７、イベント１４０８、評価イベント種別１４０９、コメント内容１４１０、位置情報１４１１、登録ボタン押下１４１２、変更後のＵＲＬ１４１３から構成される。
ログＩＤ１４０１は、評価履歴テーブル７００では評価ログＩＤ７０１、操作履歴テーブル８００では操作ログＩＤ８０１、通信履歴テーブル９００ではコンテンツログＩＤ９０１に対応する項目である。
評価セッションＩＤ１４０２は、評価履歴テーブル７００では評価セッションＩＤ７０２、操作履歴テーブル８００では評価セッションＤＩ８０２、通信履歴テーブル９００では評価セッションＩＤ９０２に対応する項目である。
プラグインＩＤ１４０３は、評価履歴テーブル７００ではプラグインＩＤ７０３、操作履歴テーブル８００ではプラグインＩＤ８０３、通信履歴テーブル９００ではプラグインＩＤ９０３に対応する項目である。
現在のＵＲＬ１４０４は通信履歴テーブル９００の現在のＵＲＬ９０５に対応する項目である。
イベント発生時刻１４０５は、評価履歴テーブル７００ではイベント発生時刻７０４に、操作履歴テーブル８００ではイベント発生時刻８０４に、通信履歴テーブル９００ではイベント発生時刻９０４に対応する項目である。
イベント発生時画面１４０６は評価履歴テーブル７００のイベント発生時画面７０５に、操作ターゲット１４０７は操作履歴テーブル８００の操作ターゲット８０５に、イベント１４０８は操作履歴テーブル８００の操作ターゲット８０６に、評価イベント種別１４０９は評価履歴テーブル７００の評価イベント種別７０６に、コメント内容１４１０は評価履歴テーブル７００のコメント内容７０７に、位置情報１４１１は評価履歴テーブル７００の位置情報７０８に、登録ボタン押下時刻１４１２は評価履歴テーブルの登録ボタン押下時刻７０９に、変更後のＵＲＬ１４１３は通信履歴テーブル９００の変更後のＵＲＬ９０６に対応する項目である。
集計結果テーブル１４００の情報を利用して表示する評価結果の一例を図４０に示す。
図４０はユーザの評価開始指示から評価終了指示までの一連の操作をひとまとまりの評価結果として表示するもので、同一の評価セッションＩＤをもつログを結果表示の対象とする。
イベント発生時刻１４０５の順、つまりユーザの操作の順番に、遷移順を示す１５０１、操作時刻を示す１５０２、操作時点でのＵＲＬを示す１５０３、操作時点での画面の画像を示す１５０４、ユーザの操作対象または評価を示す１５０５、ユーザの操作またはコメント内容を示す１５０６を表示する。
操作時刻１５０２はイベント発生時刻１４０５から取得する。
ＵＲＬは現在のＵＲＬ１４０４から取得する。このとき、ＵＲＬ１４０４のカラムに値が入っている行、図２９の例で言えばログＩＤ＝ｃ０の行、と次にＵＲＬの値が入っている行、図２９の例で言えばログＩＤ＝ｃ１の行の間にある行は、ログＩＤ＝ｃ０の行のＵＲＬで表示されるコンテンツに関するものと判断する。
操作した時点の画像１５０４は、イベント発生時画面１４０６から取得する。この時、位置情報１４１１の値がｎｕｌｌでない場合には、操作時点の画像１５０４上の対応する位置に、評価を示す印１５０７を重ねて表示し、評価結果を直感的に理解し易くしている。
ユーザの操作対象または評価を示す１５０５は操作ターゲット１４０７または評価イベント種別１４０９から取得し、ユーザの操作またはコメント内容を示す１５０６は、イベト１４０８またはコメント内容１４１０から取得する情報である。
ユーザの評価をＵＲＬ単位でまとめて評価結果を表示する表示画面の一例を図４１に示す。図４１は集計結果テーブル１４００の情報を用いて表示する。
評価対象のＵＲＬと画面画像のひとつを示す１６０１、１６０１で示されているＵＲＬの表示回数を示す１６０２、１６０１のＵＲＬで表示されるコンテンツに対して評価のための各ボタンが何回押下されたかを示す１６０３、各ユーザの評価時間の平均を示す１６０４を表示する。
図４１の表示例において、コメント表示ボタン１６０８を押下すると、該当するＵＲＬで表示される画面に関するユーザのコメント一覧が表示される。その表示例を図４２に示す。
図４２は、図４１の例においてＵＲＬがｈｏｇｅｌ．ｈｔｍｌで表示される画面に対して、「イライラする」、という評価を下したユーザのコメント一覧を表示した例である。１７０２は、集計結果ＤＢ１４００において、ＵＲＬがｈｏｇｅｌ．ｈｔｍｌであるイベント発生時画面１４０６をひとつ選択してきたものである。本例においては行を上から検索し、最初にイベント発生時画面１４０６の項目に値があったものを選択しているが、ＵＲＬがｈｏｇｅｌ．ｈｔｍｌであるイベント発生時画面であるならばどれでもよい。
画面上の数字１７０１はコメント番号１７０３と対応しており、その対応するコメントをユーザが残した際に画面上の位置を特定していた場合、つまり、図３９に例を示した集計結果ＤＢ１４００の１４１１に値が記録されていた場合、その１４１１に記録されている位置を画面上に示したものである。
画面の絵１７０２の下には、ＵＲＬがｈｏｇｅｌ．ｈｔｍｌで表示される画面に対して、「イライラする」、という評価を下したユーザのコメント一覧を表示する。評価１７０４は、ユーザがどの評価ボタンを押下したかを、コメント内容１７０５はユーザがどんなコメントを残したかを示すものであり、集計結果ＤＢ１４００の評価イベント種別１４０９を、コメント内容は１７０５は、集計結果ＤＢのコメント内容１４１０から取得する。
本実施例において、評価プラグインプログラムは、図２８記載の評価サーバ３０３からダウンロードすることを前提とした。ダウンロードされたプログラムを一意に区別するために、ダウンロード時に、サーバから評価プラグインプログラムに対してプラグインＩＤが割り当てられる。
プラグインプログラムは、評価サーバ以外の特定のＷｅｂサイトからのダウンロードや記憶媒体に保存しそこから呼び出すことによってもインストール可能である。
本実施例では、評価対象ページを示すものとして評価対象のＵＲＬを表示したが画面名称方法もある。この場合、ＵＲＬと画面名称を対応付ける表を別途用意することで実施可能である。
本実施例では、集計サーバ上に集計機能が存在するが、集計機能は図２８記載のＷｅｂサーバ３０１、評価サーバ３０３、ユーザ端末３０２上のどこにあっても実施可能である。同様に集計結果ＤＢ３０４も場所を問わない。また、ユーザ端末３０２とＷｅｂサーバ３０１が同一の計算機、ユーザ端末３０２と評価サーバ３０３が同一の計算機、Ｗｅｂサーバ３０１と評価サーバ３０３が同一の計算機、ユーザ端末３０２とＷｅｂサーバ３０１と評価サーバ３０３が全て同一の計算機であっても実施可能である。
図３６に、図３５における自由記述を許す入力箇所１００３が別ウィンドウ１１０１内に表示される場合の一例を示す。この例では、ユーザが評価のためにボタン１００２ａ、１００２ｂ、１００２ｃ、１００２ｄ、１００２ｅを押下すると別ウィンドウ１１０１が立ち上がり、自由記述を許す入力箇所１１０２が表示される。ユーザが入力箇所１１０２に評価を書き込んだ後に送信ボタン１１０３を押すと、メイン画面１００１に戻る。図３６に例示したポップアップウィンドウは、図２９で示した評価イベント処理部２１０４が表示する。ステップ４１０からステップ４０６の間で、ユーザが押下したボタンが１００２ａ、１００２ｂ、１００２ｃ、１００２ｄ、１００２ｅかどうかを判定し、もし１００２ａ、１００２ｂ、１００２ｃ、１００２ｄ、１００２ｅであれば、ポップアップウィンドウ１１０１を表示し、送信ボタン１１０３を受信後、ステップ４０６へ処理を進める。
図３６、図３７、図４４では、ユーザの評価を簡潔に示すものと感情に着目し、それをデフォルメしたボタンを用いたが、悪から良までを５等分した数値的５段階評価や、役に立つ、役に立たないなどのＷｅｂアプリケーションやＷｅｂコンテンツの特性に合わせた効果からみた評価も可能である。
以上のように、実施例２によれば、評価者端末と情報制御部に介在し、イベントを受信し、評価イベントかどうか判定し、評価イベントであればイベント関連情報と評価者フィードバックの取得し、ＤＢに格納することで、複数のユーザ・インタフェース画面間の遷移を伴う評価対象システムに対するユーザ操作とユーザコメントを同時に取得することができる。

本発明は、使い易いかどうかといったＷｅｂサイトに対するユーザの評価を支援するユーザビリティ評価支援方法及びシステムに利用可能である。

Claims (7)

1. 評価者端末に評価対象サイトの評価対象コンテンツを表示させ、評価者に評価させるユーザビリティ評価支援方法であって、
   該評価者端末に該評価対象コンテンツとともに複数の感情入力ボタンを表わす調査画面を表示させて、該評価対象コンテンツの評価中での該評価者の該感情入力ボタンの選択操作を可能とし、該評価対象コンテンツの評価中に任意のタイミングで該評価者の感情情報を入力可能としたことを特徴とするユーザビリティ評価支援方法。
2. 請求項１において、
   前記感情入力ボタンのいずれかが選択操作されると、選択された前記感情入力ボタンに該当する感情入力画面を表示させ、前記評価者の前記評価対象コンテンツに対する感情の詳細を詳細情報として入力可能としたことを特徴とするユーザビリティ評価支援方法。
3. 請求項２において、
   前記評価対象コンテンツの評価に先立ち、前記評価者端末にエージェントの選択画面を表示して前記評価者による該エージェントの選択を可能とし、
   前記調査画面や前記感情入力画面に選択された該エージェントの画像を表示し、選択された該エージェントによって前記調査画面や前記感情入力画面の案内をさせることを特徴とするユーザビリティ評価支援方法。
4. 請求項３において、
   前記顔写真は、前記調査画面や前記感情入力画面のヘルプボタンとして機能させることを特徴とするユーザビリティ評価支援方法。
5. 評価者端末に評価対象コンテンツを表示させ、評価者に評価させるユーザビリティ評価支援システムであって、
   該評価者端末と、該評価対象コンテンツを提供する評価対象サイトのＷｅｂサーバと、該評価対象サイトのＷｅｂサーバから提供される該評価対象コンテンツに操作情報を付加して該評価者端末に提供するプロキシサーバとからなり、該評価者端末では、該評価対象コンテンツとともに該操作情報による複数の感情入力ボタンを表わす調査画面が表示されて、該評価者に該感情入力ボタンの選択操作による該評価対象コンテンツの評価を可能とさせ、
   該プロキシサーバは、該評価者端末での評価結果を保存する手段を有することを特徴とするユーザビリティ評価支援システム。
6. 評価者端末に評価対象コンテンツを表示させ、評価者に評価させるユーザビリティ評価支援方法であって、
   前記評価者端末は、制御部と、情報入力手段と、情報表示装置と、ネットワーク接続装置と、プラグインＤＢとを備え、
   前記制御部は、
   前記情報入力手段からイベントを受信し、
   前記イベントが評価イベントか否かを判定し、
   評価イベントであれば評価操作履歴として前記プラグインＤＢに格納し、
   評価イベント以外であれば、操作履歴として前記プラグインＤＢに格納し、
   前記ネットワーク接続装置によりネットワークを介して接続されたサーバとの間の通信記録を通信履歴として前記プラグインＤＢに格納し、
   前記プラグインＤＢに記録された情報をネットワークを介して接続された評価サーバへ送信することを特徴とするユーザビリティ評価支援方法。
7. 請求項１において、
   前記感情入力ボタンを前記評価対象コンテンツの任意の位置に移動可能に表示することを特徴とするユーザビリティ評価支援方法。

Images