JP7289169B1 - 情報処理装置、方法、プログラム、およびシステム - Google Patents

Abstract

【課題】ユーザの行動または心理の分析を支援するための技術を提供する【解決手段】本開示の一態様のプログラムは、コンピュータを、ユーザが第１クライアント装置を操作して対象に関与する過程中における第１クライアント装置の画面の表示内容を表す画面画像を取得する手段、過程中におけるユーザの視線方向の推定結果を取得する手段、過程中におけるユーザの眼の動き以外のユーザもしくは過程におけるユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報を取得する手段、画面画像と、視線方向の推定結果と、付加情報とをそれぞれ日時に関連付けて保存する手段、として機能させる。【選択図】図４

Description

本開示は、情報処理装置、方法、プログラム、およびシステムに関する。

製品またはサービスの開発においてユーザテストが実施されることがある。ユーザテストでは、製品またはサービスのプロトタイプの使い勝手を実際のユーザに試してもらい、質疑応答を行うことで、当該プロトタイプの問題点または改善点の抽出が試みられる。

特許文献１には、ユーザテストにおいて、同じ質問の繰り返しを減らすために、ユーザの動作パターンに加えて当該動作パターンに対応する過去の質問状況に基づいて、ユーザへの質問を決定する技術思想について記載されている。

特開2018-136667号公報

ユーザテストでは通常、テスト対象となるプロトタイプに対するユーザの行動または心理に関して立てられた仮説を検証する。故に、ユーザの行動または心理を読み解くための判断材料として様々な情報を収集し、蓄積することが望まれる。特許文献１の技術思想では、質問に対する回答以上の情報を得ることはできない。

本開示の目的は、ユーザの行動または心理の分析を支援するための技術を提供することである。

本開示の一態様のプログラムは、コンピュータを、ユーザが第１クライアント装置を操作して対象に関与する過程中における第１クライアント装置の画面の表示内容を表す画面画像を取得する手段、過程中におけるユーザの視線方向の推定結果を取得する手段、過程中におけるユーザの眼の動き以外のユーザもしくは過程におけるユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報を取得する手段、画面画像と、視線方向の推定結果と、付加情報とをそれぞれ日時に関連付けて保存する手段、として機能させる。

本実施形態の情報処理システムの構成を示すブロック図である。 本実施形態のクライアント装置の構成を示すブロック図である。 本実施形態のサーバの構成を示すブロック図である。 本実施形態の一態様の説明図である。 本実施形態のテストデータベースのデータ構造を示す図である。 本実施形態のログデータベースのデータ構造を示す図である。 本実施形態のユーザテスト支援処理のフローチャートである。 本実施形態のユーザテスト支援処理において表示される画面例を示す図である。 本実施形態の分析支援処理のフローチャートである。 本実施形態の分析支援処理において表示される画面例を示す図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

以降の説明において、複数の同種の要素について共通の説明を述べる場合に、例えば「９９」のような共通の符号を用いることがある。他方、これらの要素について個別に説明を述べる場合に、「９９－１」、または「９９－２」のように共通の符号に添え字を付した符号を用いることがある。

（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。

図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。

クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、またはＨＭＤ（Head Mounted Display）（特に、ＶＲ（Virtual Reality）ゴーグル、またはＡＲ（Augmented Reality）ゴーグル）である。

クライアント装置１０のユーザは、当該クライアント装置１０によって利用可能な製品またはサービスに対するユーザテストの被験者（以下、「ユーザ」という）、実施者、または分析者である。ユーザテストの実施者には、ユーザに指示を与えたり質疑応答を行ったりする者のほか、書記を担当する者を含み得る。また、実施者または分析者には、ユーザテストの様子をリアルタイムまたは事後的に確認するだけで特段の行動（発言、メモ作成等）を行わない者（同席者）も含まれ得る。ユーザテスト中には、ユーザのクライアント装置１０（「ユーザ端末」と呼ぶこともできる）と、実施者のクライアント装置１０（「実施者端末」と呼ぶこともできる）とがサーバ３０に接続され得る。ユーザテストの分析中には、分析者のクライアント装置１０（「分析者端末」と呼ぶこともできる）がサーバ３０に接続され得る。

サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、サーバコンピュータである。

（１－１）クライアント装置の構成
クライアント装置の構成について説明する。図２は、本実施形態のクライアント装置の構成を示すブロック図である。

図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。クライアント装置１０は、ディスプレイ２１に接続される。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）

入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスから情報（例えば、ユーザの指示（操作）、画像、または音声）を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報（例えば画像、音声、または振動）を出力するように構成される。

入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、物理ボタン、カメラ、マイクロホン、モーション・キャプチャシステム、他のセンサ、又は、それらの組合せである。
センサは、加速度センサ、地磁気センサ、位置センサ、またはそれらの組み合わせを含むことができるが、これらに限定されない。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、アクチュエータ、又は、それらの組合せである。

通信インタフェース１４は、クライアント装置１０と外部装置（例えば、サーバ３０、または他のクライアント装置１０）との間の通信を制御するように構成される。

ディスプレイ２１（「表示部」の一例）は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

（１－２）サーバの構成
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。

図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ

入出力インタフェース３３は、サーバ３０に接続される入力デバイスから情報（例えばユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに情報（例えば画像）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース３４は、サーバ３０と外部装置（例えばクライアント装置１０）との間の通信を制御するように構成される。

（２）実施形態の一態様
本実施形態の一態様について説明する。図４は、本実施形態の一態様の説明図である。

図４に示すように、実施者Ｔ１２は、ユーザＵ１１に対してユーザテストを行う。ユーザテスト時に、ユーザＵ１１のクライアント装置１０－１および実施者Ｔ１２のクライアント装置１０－２は、ともにユーザテスト用アプリケーションを実行するか、或いはユーザテスト用ＳａａＳ（Software as a Service）を利用する。ユーザテスト中、クライアント装置１０－１およびクライアント装置１０－２は、音声（および必要に応じて映像、またはテキストの少なくとも１つ）のデータを互いにやり取りする。音声または他のデータは、外部装置（例えばサーバ３０または他のサーバ）を経由してもよいし、直接やり取りされてもよい（つまりＰ２Ｐ（Peer to Peer））。

ユーザテスト中に、ユーザＵ１１は、クライアント装置１０－１を操作し、テスト対象（例えば、アプリケーション、ＳａａＳ、Ｗｅｂサイト、コンテンツ（ＡＲ（Augmented Reality）コンテンツを含み得る）、仮想空間または現実空間に配置された物体または施設、など）を体験する。なお、仮想空間に配置された物体または施設をテスト対象とする場合に、現実空間における物体（例えば製品）または施設（例えば店舗）を模擬したものであってもよい。この場合には、現実空間における物体または施設を間接的なテスト対象とすることができる。ユーザＵ１１は、テスト対象からの指示または実施者Ｔ１２からの指示に応じて、或いは自らの自由意思でクライアント装置１０－１を操作する。ユーザＵ１１は、実施者Ｔ１２からの質問に答えたり、実施者Ｔ１２に質問したりすることができる。かかる質疑応答は、音声ベースで行われてもよいし、例えばチャットツールなどのテキストベースで行われてもよい。

クライアント装置１０－１は、ユーザテスト中におけるディスプレイ２１の画面の表示内容を表す画面画像を繰り返し取得（キャプチャ）し、サーバ３０へ送信する。また、クライアント装置１０－１は、ユーザテスト中におけるユーザＵ１１の行動（例えば、クライアント装置１０－１に対する操作、発言（発話、またはチャットへの投稿）など）に関する情報を取得し、サーバ３０へ送信する。さらに、クライアント装置１０－１は、ユーザテスト中にユーザＵ１１または当該ユーザＵ１１の周囲をカメラにより撮影した画像（以下、「ユーザ画像」という）を繰り返し取得し、サーバ３０へ送信してもよい。ここで、ユーザ画像には、以下の画像の少なくとも１つが含まれてよい。
・ユーザＵ１１を正面からカメラにより撮影した画像（例えばユーザの顔を含む画像）
・ユーザＵ１１を周囲（正面以外の方向）からカメラにより撮影した画像（例えばユーザの手または足を含む画像）
・ユーザＵ１１の周囲を撮影した画像

ここで、ユーザ画像の取得のために用いられるカメラの数は１つ限られず、複数あってもよい。また、カメラは、ＲＧＢ画像を取得するＲＧＢカメラに限られず、赤外線カメラ、またはＴｏＦ（Time of Flight）カメラなどの３Ｄカメラなどであってもよい。

他方、実施者Ｔ１２は、ユーザＵ１１に端末操作に関する指示を与えたり、ユーザＵ１１にテスト対象の使用感等について質問したり、ユーザＵ１１からの質問に答えたりする。かかる指示や質疑応答は、音声ベースで行われてもよいし、例えばチャットツールなどのテキストベースで行われてもよい。また、実施者Ｔ１２は、ユーザＵ１１の様子を観察して気づいた点などのメモを作成することができる。メモは、ユーザＵ１１には提示されないが、例えばユーザテスト中におけるユーザＵ１１の行動または心理の分析において判断材料の１つとして用いることができる。

クライアント装置１０－２は、ユーザテスト中における実施者Ｔ１２の行動（例えば、発言（発話、またはチャットへの投稿）、または作成したメモなど）に関する情報を取得し、サーバ３０へ送信する。さらに、クライアント装置１０－２は、ユーザテスト中に実施者Ｔ１２を正面からカメラにより撮影した画像（以下、「実施者画像」という）を繰り返し取得し、サーバ３０へ送信してもよい。

サーバ３０は、クライアント装置１０－１およびクライアント装置１０－２から取得した各種情報を日時に関連付けて記憶装置３１に保存する。各種情報に関連付けられる日時は、例えば当該情報の作成日時である。また、サーバ３０は、例えばユーザ画像に基づいてユーザの視線計測（つまり、視線方向の推定）を行い、視線計測結果を例えば元となるユーザ画像の作成日時に関連付けて記憶装置３１に保存する。

なお、上記の情報の一部（例えば、ユーザ画像、実施者画像、またはユーザＵ１１および実施者Ｔ１２の音声もしくはチャットへの投稿に関する情報）は、既存のビデオ会議のアプリケーションまたはＳａａＳなどのツールを用いて取得することも可能である。

また、サーバ３０は、記憶装置３１に保存した情報をクライアント装置１０－２へ送信する。クライアント装置１０－２は、サーバ３０から取得した情報に基づく画面を当該クライアント装置１０－２のディスプレイ２１に表示する。これにより、遅延を無視すれば、実施者Ｔ１２は、ユーザテストに関わる各種情報をリアルタイムに把握することができる。例えば、実施者Ｔ１２は、ユーザＵ１１が現在テスト対象のどのＵＩのどの部分を見ているか、ユーザＵ１１が現在どんな表情をしているか、ユーザＵ１１がいつどのような操作を行ったか、ユーザＵ１１または実施者Ｔ１２がいつどのようなやり取りをしたか、実施者Ｔ１２がいつどのようなメモを残したか、などが把握可能となる。

さらに、ユーザテストの終了後であっても、記憶装置３１に保存した情報に基づいて、ユーザテストの任意の場面を再現したり、必要な情報のみを抽出したりすることが可能であるため、分析者はユーザの行動または心理を多面的にかつ効率的に分析することが可能である。

（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に保存される。なお、データベースは、テーブル形式であるとして説明するが、形式は問わない。

（３－１）テストデータベース
本実施形態のテストデータベースについて説明する。図５は、本実施形態のテストデータベースのデータ構造を示す図である。

テストデータベースには、テスト情報が格納される。テストデータベースは、ユーザテストの概要に関する情報である。テストデータベースは、テスト対象毎に構築されてもよいし、テスト対象間で共通に構築されてもよい。テストデータベースをテスト対象間で共通に構築する場合に、テスト情報は、対応するテスト対象を識別する情報（例えばテストＩＤ）を含み得る。

図５に示すように、テストデータベースは、「テストＩＤ」フィールドと、「ユーザＩＤ」フィールドと、「実施者ＩＤ」フィールドと、「実施日時」フィールドと、「ステータス」フィールドと、「分析者ＩＤ」フィールドとを含む。各フィールドは、互いに関連付けられている。

「テストＩＤ」フィールドには、テストＩＤが格納される。テストＩＤは、該当レコードに対応するユーザテストを識別する情報である。

「ユーザＩＤ」フィールドには、ユーザＩＤが格納される。ユーザＩＤは、該当レコードに対応するユーザテストの被験者（ユーザ）を識別する情報である。

「実施者ＩＤ」フィールドには、実施者ＩＤが格納される。実施者ＩＤは、該当レコードに対応するユーザテストの実施者を識別する情報である。なお、実施者が２名以上となることを許容する場合に、複数の「実施者ＩＤ」フィールドが設けられてもよい。

「実施日時」フィールドには、実施日時情報が格納される。実施日時情報は、該当レコードに対応するユーザテストの実施日時に関する情報である。

「ステータス」フィールドには、ステータス情報が格納される。ステータス情報は、該当レコードに対応するユーザテストのステータスに関する情報である。一例として、ステータス情報は、ユーザテストが未実施であること、ユーザテストが実施済みであるが未分析であること、またはユーザテストが実施済みかつ分析済みであることを示す値を持つ。

「分析者」フィールドには、分析者情報が格納される。分析者情報は、該当レコードに対応するユーザテストの分析者を識別する情報である。なお、分析者が２名以上となることを許容する場合に、複数の「分析者ＩＤ」フィールドが設けられてもよい。

（３－２）ログデータベース
本実施形態のログデータベースについて説明する。図６は、本実施形態のログデータベースのデータ構造を示す図である。

ログデータベースには、ログ情報が格納される。ログ情報は、ユーザテスト中におけるユーザの眼の動き以外のユーザもしくは当該ユーザテストの実施者の行動、または当該ユーザテストの分析者による行動のログに関する情報（つまり、付加情報）を含む。さらに、ログ情報は、ユーザテストの実施状況のログに関する情報を含むことができる。

図６に示すように、ログデータベースは、「テストＩＤ」フィールドと、「日時」フィールドと、「ログ種別」フィールドと、「内容」フィールドとを含む。各フィールドは、互いに関連付けられている。

「テストＩＤ」フィールドには、テストＩＤが格納される。テストＩＤは、該当レコードに対応する行動が取られたユーザテストを識別する情報である。ログデータベースのテストＩＤは、テストデータベースのテストＩＤと同一であるか、或いは一対一対応する。

「日時」フィールドには、日時情報が格納される。日時情報は、該当レコードに対応する行動に関連付けられている日時に関する情報である。第１例として、日時情報は、ユーザまたはユーザテストの実施者が該当レコードに対応する行動（例えば、発話、チャットの投稿、またはメモの作成）を取った日時である。第２例として、日時情報は、ユーザテストの分析者が該当レコードに対応する行動を取った時におけるクライアント装置１０（分析者端末）によるユーザ画像、実施者画像および画面画像の再生時点に対応する日時である。

「ログ種別」フィールドには、ログ種別情報が格納される。ログ種別情報は、該当レコードに対応する行動の種別に関する情報である。ログ種別情報は、例えば、行動の種別が、ユーザによる発言（発話、またはチャットへの投稿を含み得る）であること、ユーザによる操作であること、実施者による発言（発話、またはチャットへの投稿を含み得る）であること（および必要に応じてどの実施者であるかを示す情報）、実施者によるメモ作成であること（および必要に応じてどの実施者であるかを示す情報）、分析者によるメモ作成であること（および必要に応じてどの分析者であるかを示す情報）、またはユーザによる自身またはテスト対象の状況を維持もしくは変化させる行動であることを示す値を持つ。

「内容」フィールドには、内容情報が格納される。内容情報は、該当レコードに対応する行動の内容に関する情報である。内容情報は、例えば、以下のいずれか、または以下のいずれかの所在（例えば、リンク）を示す情報を含むことができる。
・発話した音声
・発話した音声を音声認識したテキスト
・チャットへの投稿内容であるテキスト
・操作情報（例えば、操作の検出結果）
・操作情報を要約した結果
・作成したメモ（典型的にはテキストであるが、画像または音声メモでもよい）
・ユーザの状況（例えば、笑った、しばらく目を閉じた、渋い顔をしたなどの表情）の推定結果
・テスト対象（例えばアプリケーション）の状況（例えばアプリケーションの画面遷移が生じた）の推定結果
・ユーザテストの状況（例えば、ユーザもしくは実施者のクライアント装置１０がサーバ３０に接続した、ユーザもしくは実施者のクライアント装置１０がサーバ３０から接続された、ユーザもしくは実施者がカメラをオンもしくはオフにした、またはユーザもしくは実施者がマイクをオンもしくはオフにした、など）
・ユーザテスト時のネットワーク品質に関する情報（例えば、ユーザの接続状況が悪い、など）

なお、ログデータベースは、ログ種別毎に構築されてもよい。この場合に、ログ種別情報は省略可能である。

（３－３）その他のデータ
上記のほか、サーバ３０は、例えば、ユーザ画像、実施者画像、ユーザの視線計測結果、またはユーザの視線計測結果を要約した結果、などを例えば動画ファイルなどの時系列データとして、または日時に関連付けてデータベースとして保存する。

（４）情報処理
本実施形態の情報処理について説明する。

（４－１）ユーザテスト支援処理
本実施形態のユーザテスト支援処理について説明する。図７は、本実施形態のユーザテスト支援処理のフローチャートである。図８は、本実施形態のユーザテスト支援処理において表示される画面例を示す図である。

本実施形態のユーザテスト支援処理は、例えば、ユーザのクライアント装置１０および実施者のクライアント装置１０がサーバ３０に接続した状態でユーザテストを始めたことに応じて開始する。

図７に示すように、サーバ３０は、各種情報の取得（Ｓ１３０）を実行する。
具体的には、サーバ３０は、ユーザ（被験者）のクライアント装置１０、実施者のクライアント装置１０、または外部装置（例えば、ビデオ会議ツールのサーバ）から以下の少なくとも１つの情報を取得する。
・画面画像
・ユーザ画像
・実施者画像
・ユーザの視線に関する情報（これは、ユーザ画像であってもよいし、視線計測結果であってもよいし、他の情報であってもよい）
・ユーザによる発言（発話、またはチャットへの投稿を含み得る）に関する情報
・実施者による発言（発話、またはチャットへの投稿を含み得る）に関する情報
・ユーザによる操作に関する情報
・実施者によるメモの作成に関する情報
さらに、オプションとして、サーバ３０は、上記情報とは別に、実施者を正面からカメラにより撮影した画像を実施者のクライアント装置１０または外部装置（例えばビデオ会議ツールのサーバ）から取得してもよい。

換言すれば、ステップＳ１３０に先立って、クライアント装置１０は前述の情報のいずれかをサーバ３０へ送信する。なお、例えば画面画像の送信開始は、ユーザテストの開始よりも後であってもよい。ユーザテストの開始～画面画像の送信開始までの期間に、例えば実施者からユーザへの挨拶、またはテストの説明などが行われる。同様に、画面画像の送信終了は、ユーザテストの終了よりも前であってもよい。画面画像の送信終了～ユーザテストの終了までの期間に、例えばユーザからの感想の聞き取りなどが行われる。なお、１回のユーザテストの中で画面画像の送信開始または送信終了は１回に限られず、２回以上生じる場合もある。

ステップＳ１３０の後に、サーバ３０は、各種情報の分析（Ｓ１３１）を実行する。
具体的には、サーバ３０は、ステップＳ１３０において取得した情報を、必要に応じて分析する。なお、ステップＳ１３０において取得した情報がいずれも分析を要しない場合には、本ステップは省略可能である。

各種情報の分析（Ｓ１３１）の第１例として、サーバ３０は、ユーザの視線に関する情報（例えば、ユーザ画像）に基づいてユーザの視線計測を行う。サーバ３０は、ユーザが見ている方向（特に、クライアント装置１０のディスプレイ２１の画面のどのあたりを見ているか）を示す視線計測結果を得る。なお、視線計測は、クライアント装置１０（ユーザ端末）によって行われてもよく、この場合にサーバ３０は視線計測を行わず、各種情報の取得（Ｓ１３０）においてクライアント装置１０から視線計測結果を取得する。さらに、サーバ３０は、ユーザの視線計測結果を解析することで、ユーザの視線の動きを要約してもよい。例えば、サーバ３０は、ユーザがアプリ内のボタンＡを５秒間注視したことを示す情報を生成してもよい。

各種情報の分析（Ｓ１３１）の第２例として、サーバ３０は、ユーザによる発話内容（音声）または実施者による発話内容（音声）の少なくとも１つを音声認識し、当該発話内容に対応するテキスト（「発言情報」の一例）を生成する。

各種情報の分析（Ｓ１３１）の第３例として、サーバ３０は、ユーザによる操作内容を要約する。例えば、サーバ３０は、ユーザによる単一または一連の操作内容を、予め定められたパターンと比較し、適合したパターン（例えば、タップした場所（一例として画面の座標）、指を置きっぱなしにしている、スクロールしている、３秒以上の操作停止、またはボックスにチェックを入れずにボタンを押した、など）を示す情報（「操作情報」の一例）を生成する。

各種情報の分析（Ｓ１３１）の第４例として、サーバ３０は、ユーザ画像に基づいてユーザの表情または感情を推定する。表情または感情の推定には、多数の学習データを用いた教師あり学習により構築された学習済みモデルを用いることができる。各学習データは、例えば、顔画像の特徴量と対応する表情または感情を表す正解ラベルとを含むことができる。同様に、サーバ３０は、実施者画像に基づいて実施者の表情または感情を推定してもよい。

各種情報の分析（Ｓ１３１）の第５例として、サーバ３０は、ユーザ画像に基づいて、ユーザの状況（つまり、ユーザの置かれた状況）を推定する。例えば、サーバ３０は、ユーザが移動しながらアプリケーションを利用していると推定する。別の例として、サーバ３０は、ユーザの場所の移動（例えば、部屋間の移動、屋内から屋外への移動、または予め定められたエリアへの進入もしくは当該エリアからの離脱）を推定する。サーバ３０は、ユーザ画像のうち、ユーザの周囲の画像に基づいて、ユーザの状況を推定できる。具体的には、サーバ３０は、オプティカルフローのように時間経過による画面内の特徴点の動きを検出することにより、ユーザの状況を推定する。また、サーバ３０は、一般物体認識技術や特定物体認識技術によって画像内のオブジェクトを認識することによってユーザの状況（場所）を推定してもよい。さらに、サーバ３０は、他のセンサやユーザの周囲に置かれたカメラを併用してもよいが、ユーザの状況を推定するための技法はこれらの方法に限られない。

各種情報の分析（Ｓ１３１）の第６例として、サーバ３０はユーザの画面画像に基づいて、アプリケーションの状況を推定する。アプリケーションの状況は、例えば、通信や処理などに伴うローディング画面、タップなどによる画面遷移、またはエラーの表示などである。サーバ３０は、オプティカルフローのように時間経過による画面内の特徴点の動きによって検出することにより、アプリケーションの状況を推定する。また、サーバ３０は、事前に画面種別を辞書として学習しておき、その辞書との照合により、アプリケーションの状況を推定してもよい。さらに、サーバ３０は、特徴点によらない検出方法を用いてもよいが、アプリケーションの状況を推定するための技法はこれらの方法に限られない。

ステップＳ１３１の後に、サーバ３０は、各種情報の保存（Ｓ１３２）を実行する。
具体的には、サーバ３０は、ステップＳ１３０において取得した情報、またはステップＳ１３１において取得した情報の少なくとも１つを、日時に関連付けて記憶装置３１に保存する。一例として、サーバ３０は、ステップＳ１３０において取得した情報、またはステップＳ１３１において取得した情報の少なくとも１つに基づいて、前述の日時情報、ログ種別情報および内容情報を生成し、実行中のユーザテストに対応するテストＩＤに関連付け、ログデータベース（図６）の新規レコードとして保存する。このようにして、ユーザテストの進行に伴って、ログデータベースにレコードが追加される。

また、サーバ３０は、取得した一連のユーザ画像を動画ファイルとして構成してもよい。同様に、サーバ３０は、取得した一連の実施者画像を動画ファイルとして構成してもよい。サーバ３０は、取得した一連の画面画像を動画ファイルとして構成してもよい。サーバ３０は、一連のユーザの視線計測結果を、時系列データ（つまり、日時と視線計測結果との組）として保存してもよいし、視線計測結果に基づく情報（例えばアイコン）を一連の画面画像に重畳し、動画ファイルとして構成してもよい。サーバ３０は、取得した一連のユーザおよび実施者の発話を音声ファイルとして構成してもよい。

ステップＳ１３２の後に、サーバ３０は、ＵＩ情報の出力（Ｓ１３３）を実行する。
具体的には、サーバ３０は、ステップＳ１３２において記憶装置３１に保存した情報の少なくとも一部を、実施者のクライアント装置１０にＵＩ（User Interface）情報として送信する。ＵＩ情報は、ユーザテストの実施を支援するためのＵＩに関する情報である。

実施者のクライアント装置１０は、ステップＳ１３３においてサーバ３０から受信したＵＩ情報に基づくＵＩ（画面のみ、または画面および音声）を提示する。例えば、クライアント装置１０は、ＵＩ情報に基づく画面を経時的に表示（更新）するとともに、ユーザが発話した音声を出力する。

ＵＩ情報に基づく画面の例を図８に示す。図８の画面は、オブジェクトＪ２０～Ｊ２６を含む。
オブジェクトＪ２０は、画面画像を表示する。オブジェクトＪ２０に表示される画面画像は基本的に最新のものである。

オブジェクトＪ２１は、ユーザの視線計測結果を例えばその表示位置により表現する。オブジェクトＪ２１は、オブジェクトＪ２０に重畳される。オブジェクトＪ２１によって表現される視線計測結果は、基本的に最新のものであるが、例えば直近の所定期間の軌跡を示してもよい。また、ユーザが注視している（視線の動きが停止している）場合に、オブジェクトＪ２１の外観（例えば、形状、色、大きさ、模様、など）が変化してもよい。また、サッケード（素早い眼球運動）に対してはオブジェクトＪ２１の動き（追従）を穏やかにするか、或いは動かさないようにしてもよい。

オブジェクトＪ２２は、ユーザ画像を表示する。オブジェクトＪ２２に表示されるユーザ画像は、基本的に最新のものである。

オブジェクトＪ２６は、実施者画像を表示する。オブジェクトＪ２６に表示される実施者画像は、基本的に最新のものである。

オブジェクトＪ２０に表示される画面画像、オブジェクトＪ２１によって表現される視線計測結果、オブジェクトＪ２２に表示されるユーザ画像、およびオブジェクトＪ２６に表示される実施者画像は、好ましくは互いに同期するように制御される。これにより、実施者は、ユーザが、現在、どのような表情で、画面（つまりテスト対象）のどこを見ているのか、また実施者がユーザからどのように見えているか、を容易に把握することができる。

オブジェクトＪ２３は、ユーザの眼の動き以外の当該ユーザまたはユーザテストの実施者による行動に関する（例えば行動の結果生じる）情報（「付加情報」の一例）を時系列順に表示する。オブジェクトＪ２３に表示される付加情報は、基本的に最新のものを含むように表示範囲が適宜変更（例えばスクロール）されるが、実施者による指示に応じて再生位置よりも過去の範囲を表示してもよい。さらに、オブジェクトＪ２３は、ユーザの視線計測結果を要約した結果を、付加情報と同様に表示してもよい。

なお、各種情報の分析（Ｓ１３１）において、推定、検出、または判別などの処理に時間がかかる場合には、当該処理が完了次第、付加情報が時系列順に発生した箇所に挿入されてもよいし、最新の箇所に追加されても良い。その際、付加情報が挿入されたことを色やテキスト、背景色、音などの変化やメッセージなどによって実施者に通知する処理を含めてもよい。

なお、オブジェクトＪ２３は、行動の種別毎に付加情報を切り替えて表示（例えばタブ表示）してもよい。また、オブジェクトＪ２３は、付加情報と、実施者向けの注意事項に関する情報（「ＵＩ情報」の一例）とを切り替えて表示（例えばタブ表示）してもよい。実施者向けの注意事項は、例えば、ユーザテストの構成、タイムスケジュール、質問事項、などを含むことができる。或いは、実施者向けの注意事項を表示するオブジェクトが、オブジェクトＪ２３とは別に用意されてもよい。

オブジェクトＪ２４は、実施者によるメモの入力を受け付ける。
オブジェクトＪ２５は、オブジェクトＪ２４に入力されているメモを投稿する指示を実施者から受け付ける。実施者のクライアント装置１０は、オブジェクトＪ２５が選択されると、オブジェクトＪ２４に入力されているメモをサーバ３０へ送信する。

このほか、画面には、例えばユーザテストの参加者（実施者のみ、または実施者およびユーザ）の一覧を示す情報が表示されてもよい。一例として、ユーザテストの実施者全員の名称、ＩＤ、アイコン、またはそれらの組み合わせが画面に表示されてよい。

ステップＳ１３３の後、ユーザテストが継続している場合に処理はステップＳ１３０に戻る。他方、ユーザテストが終了した場合に図７のユーザテスト支援処理も終了する。ユーザテストは、実施者による指示により終了するように構成されてもよいし、所定時間が経過または所定時刻に到達したことにより終了するように構成されてもよいし、いずれかのクライアント装置１０の接続の切断が所定時間継続した場合に終了するように構成されてもよい。

（４－２）分析支援処理
本実施形態の分析支援処理について説明する。図９は、本実施形態の分析支援処理のフローチャートである。図１０は、本実施形態の分析支援処理において表示される画面例を示す図である。

本実施形態のユーザテスト支援処理は、分析者のクライアント装置１０がサーバ３０に接続した状態で、いずれかのユーザテストの分析を始めたことに応じて開始する。

図９に示すように、サーバ３０は、ＵＩ情報の出力（Ｓ２３０）を実行する。
具体的には、サーバ３０は、分析者が分析する対象となるユーザテスト（以下、「分析対象」という）のＵＩ情報を例えばログデータベース（図６）から取得する。ＵＩ情報は、ユーザテストの分析を支援するためのＵＩに関する情報である。サーバ３０は、取得したＵＩ情報を分析者のクライアント装置１０へ出力する。例えば、サーバ３０は、分析対象のＵＩ情報のうち分析者がクライアント装置１０を介して現在視聴している位置（再生位置）付近の日時情報を有するＵＩ情報を分析者のクライアント装置１０へ送信する。或いは、サーバ３０は、分析対象のＵＩ情報一式をクライアント装置１０へ送信してもよい。

分析者のクライアント装置１０は、ステップＳ２３１においてサーバ３０から受信したＵＩ情報に基づくＵＩ（画面のみ、または画面および音声）を提示する。例えば、クライアント装置１０は、ＵＩ情報に基づく画面を経時的に表示（更新）するとともに、ユーザが発話した音声を出力する。

ＵＩ情報に基づく画面の例を図１０に示す。図１０の画面は、オブジェクトＪ３０～Ｊ４０を含む。
オブジェクトＪ３０は、画面画像を表示する。オブジェクトＪ３０に表示される画面画像は基本的にクライアント装置１０による現在の再生位置に対応する日時のものである。

オブジェクトＪ３１は、ユーザの視線計測結果を例えばその表示位置により表現する。オブジェクトＪ３１は、オブジェクトＪ３０に重畳される。オブジェクトＪ３１によって表現される視線計測結果は、基本的にクライアント装置１０による現在の再生位置に対応する日時のものであるが、例えば当該再生位置から直近の所定期間の軌跡を示してもよい。また、ユーザが注視している（視線の動きが停止している）場合に、オブジェクトＪ２１の外観（例えば、形状、色、大きさ、模様、など）が変化してもよい。また、サッケード（素早い眼球運動）に対してはオブジェクトＪ２１の動き（追従）を穏やかにするか、或いは動かさないようにしてもよい。

オブジェクトＪ３２は、ユーザ画像を表示する。オブジェクトＪ３２に表示されるユーザ画像は、基本的にクライアント装置１０による現在の再生位置に対応する日時のものである。

オブジェクトＪ３６は、実施者画像を表示する。オブジェクトＪ３６に表示される実施者画像は、基本的にクライアント装置１０による現在の再生位置に対応する日時のものである。

オブジェクトＪ３０に表示される画面画像、オブジェクトＪ３１によって表現される視線計測結果、オブジェクトＪ３２に表示されるユーザ画像、およびオブジェクトＪ３６に表示される実施者画像は、好ましくは互いに同期するように制御される。これにより、分析者は、ユーザが、クライアント装置１０による現在の再生位置に対応する日時に、どのような表情で、画面（つまりテスト対象）のどこを見ていたのか、また実施者がどのような表情でユーザに情報を伝えていたのかを容易に把握することができる。

オブジェクトＪ３３は、ユーザの眼の動き以外の当該ユーザまたはユーザテストの実施者もしくは分析者による行動に関する（例えば行動の結果生じる）情報（「付加情報」の一例）を時系列順に表示する。図１０の画面では、オブジェクトＪ３３に表示される付加情報は、基本的にクライアント装置１０による現在の再生位置に対応するものを含むように表示範囲が適宜変更（例えばスクロール）されるが、分析者による指示に応じて再生位置よりも過去の範囲を表示したり、再生位置よりも将来の範囲を表示したりしてもよい。例えば、チェックボックスなどのオブジェクトに対する入力状態に応じて、表示範囲を現在の再生位置に追従させるか、分析者の指示した位置に追従させるかを切り替えられるようにしてもよい。さらに、オブジェクトＪ３３は、ユーザの視線計測結果を要約した結果を、付加情報と同様に表示してもよい。

また、オブジェクトＪ３３は、いずれかの付加情報を選択する指示を分析者から受け付ける。分析者のクライアント装置１０は、かかる指示を受け付けると、必要に応じてサーバ３０に未取得のＵＩ情報を要求し、選択した付加情報に対応する再生位置にジャンプする。この結果、オブジェクトＪ３０～Ｊ３３，Ｊ３６，Ｊ４０の表示が更新され得る。

なお、オブジェクトＪ３３は、行動の種別毎に付加情報を切り替えて表示（例えばタブ表示）してもよい。また、オブジェクトＪ３３は、付加情報と、前述の実施者向けの注意事項、または分析者向けの注意事項に関する情報とを切り替えて表示（例えばタブ表示）してもよい。或いは、かかる注意事項を表示するオブジェクトが、オブジェクトＪ３３とは別に用意されてもよい。

オブジェクトＪ３４は、分析者によるメモの入力を受け付ける。
オブジェクトＪ３５は、オブジェクトＪ３４に入力されているメモを投稿する指示を分析者から受け付ける。分析者のクライアント装置１０は、オブジェクトＪ３５が選択されると、オブジェクトＪ３４に入力されているメモをサーバ３０へ送信する。

オブジェクトＪ４０は、クライアント装置１０による現在の再生位置を表示する。また、オブジェクトＪ４０は、再生位置を変更する指示を分析者から受け付ける。分析者のクライアント装置１０は、かかる指示を受け付けると、必要に応じてサーバ３０に未取得のＵＩ情報を要求し、変更後の再生位置にジャンプする。この結果、オブジェクトＪ３０～Ｊ３３，Ｊ４０の表示が更新され得る。
なお、オブジェクトＪ４０上に、重要な再生位置を示す情報（例えば、アイコン、テキスト、またはそれらの組み合わせ）が表示されてもよい。重要な再生位置は、以下の少なくとも１つを含むことができる。
・画面共有の開始時点（画面画像の送信開始時点）
・画面共有の終了時点（画面画像の送信終了時点）
・画面遷移の発生時点
・実施者が重要として指定した時点
・分析者が重要として指定した時点

オブジェクトＪ３７は、再生位置を所定時間戻す指示を分析者から受け付ける。分析者のクライアント装置１０は、かかる指示を受け付けると、必要に応じてサーバ３０に未取得のＵＩ情報を要求し、選択した変更後の再生位置にジャンプする。この結果、オブジェクトＪ３０～Ｊ３３，Ｊ３６，Ｊ４０の表示が更新され得る。

オブジェクトＪ３８は、再生を一時停止／再開する指示を分析者から受け付ける。分析者のクライアント装置１０は、かかる指示を受け付けると、再生位置の進行を一時停止／再開する。

オブジェクトＪ３９は、再生位置を所定時間進める指示を分析者から受け付ける。分析者のクライアント装置１０は、かかる指示を受け付けると、必要に応じてサーバ３０に未取得のＵＩ情報を要求し、選択した変更後の再生位置にジャンプする。この結果、オブジェクトＪ３０～Ｊ３３，Ｊ３６，Ｊ４０の表示が更新され得る。

このほか、画面には、例えばユーザテストの参加者（実施者のみ、または実施者およびユーザ）の一覧を示す情報が表示されてもよい。一例として、ユーザテストの実施者全員の名称、ＩＤ、アイコン、またはそれらの組み合わせが画面に表示されてよい。

また、画面には、分析結果（例えば、注目すべき事象のあったと分析者が判断した再生位置、分析者の作成したメモ、ユーザテストの報告書等）をシェアするためのリンク（例えばＵＲＬ）を発行するユーザ指示を受け付けるオブジェクトが配置されてもよい。クライアント装置１０は、このオブジェクトが選択されると、分析結果にアクセスするためのリンクを取得する。

ステップＳ２３０の後、分析者のクライアント装置１０からＵＩ情報の取得要求を受信した場合に、サーバ３０は、ＵＩ情報の出力（Ｓ２３１）を実行する。
具体的には、サーバ３０は、分析者のクライアント装置１０から受信した取得要求に応じて、該当するＵＩ情報を当該クライアント装置１０へ送信する。

ステップＳ２３０の後、分析者のクライアント装置１０からメモを受信した場合に、サーバ３０は、メモ情報の保存（Ｓ２３２）を実行する。
具体的には、サーバ３０は、取得したメモに関する情報を、日時に関連付けて記憶装置３１に保存する。一例として、サーバ３０は、取得したメモに関する情報に基づいて、前述の日時情報、ログ種別情報および内容情報を生成し、分析対象に対応するテストＩＤに関連付け、ログデータベース（図６）の新規レコードとして保存する。ここで、日時情報として、例えば分析者がメモを投稿した時点におけるクライアント装置１０による再生位置に対応する日時情報が生成される。このようにして、ユーザテストの分析時にも、ログデータベースにレコードが追加される。

分析対象の再生が終了した場合に図９のユーザテスト分析処理も終了する。分析対象の再生は、分析者による指示により終了するように構成されてもよいし、再生位置が終端に到達したことにより終了するように構成されてもよい。

（５）小括
以上説明したように、本実施形態のサーバ３０は、ユーザがクライアント装置１０を操作する過程を含むユーザテスト中における当該クライアント装置１０のディスプレイ２１の画面の表示内容を表す画面画像を取得する。サーバ３０は、ユーザテスト中におけるユーザの視線方向の推定結果を取得し、ユーザテスト中におけるユーザの眼の動き以外のユーザもしくはユーザテストの実施者による行動、または当該ユーザテストの分析者による行動に関する付加情報を取得する。サーバ３０は、取得した画面画像と、視線方向の推定結果と、付加情報とをそれぞれ日時に関連付けて記憶装置３１に保存する。これにより、ユーザテスト中におけるユーザの視線方向の推定結果に加えて、眼の動き以外の行動に関する付加情報を時系列で保存できる。これにより、ユーザテストの内容を要約して蓄積することができ、蓄積された情報を活用することで、ユーザテストの内容を確認する手間を抑えながら、ユーザ体験（つまり、ユーザの行動と心理）をより的確に分析することができる。

サーバ３０は、画面画像または視線方向の推定結果の少なくとも１つと、付加情報の少なくとも１つとを、経時的に表示するためのＵＩ情報を出力してもよい。これにより、実施者または分析者は、画面画像または視線方向の推定結果の少なくとも１つと、ユーザ等の行動に関する付加情報とをまとめて確認することができる。

サーバ３０は、ユーザテスト後に、画面画像または視線方向の推定結果の少なくとも１つと、付加情報の少なくとも１つとを、経時的に表示するためのＵＩ情報を出力してもよい。サーバ３０は、ユーザ端末とは異なるクライアント装置１０（つまり分析者端末）からの要求に応じて、第１日時に関連付けられている画面画像または視線方向の推定結果の少なくとも１つを表示するための情報を出力してもよい。このクライアント装置１０は、当該クライアント装置１０のディスプレイ２１に表示され、かつ第１日時に関連付けられている付加情報が選択されたことに応じて要求を行ってもよい。他方、このクライアント装置１０は、ユーザテストの後に、サーバ３０から、ユーザテスト中におけるユーザ端末の画面の表示内容を表す画面画像、またはユーザテスト中におけるユーザの視線方向の推定結果の少なくとも１つと、ユーザテスト中におけるユーザの眼の動き以外のユーザもしくはユーザテストの実施者による行動、または当該ユーザテストの分析者による行動に関する付加情報とを表示するためのＵＩ情報を取得し、ＵＩ情報に基づく画面をディスプレイ２１に表示させてもよい。クライアント装置１０は、第１日時に関連付けられている付加情報が選択されたことに応じて、当該第１日時に関連付けられている画面画像または視線方向の推定結果の少なくとも１つをディスプレイ２１に表示させてもよい。これにより、分析者は、関心のある付加情報と同一または付近の日時に関連付けられている画面画像または視線方向の推定結果の少なくとも１つを容易に確認することができる。

サーバ３０は、ユーザテスト中に、当該ユーザテストの実施者向けの注意事項を表示するためのＵＩ情報を出力してもよい。これにより、実施者は、注意事項を必要に応じて確認しながらユーザテストを進行することができる。

付加情報は、ユーザテスト中におけるユーザまたはユーザテストの実施者の発話、またはチャットへの投稿に関する発言情報を含んでもよく、サーバ３０は、発言情報を、対応する発話日時または投稿日時に関連付けて記憶装置３１に保存してもよい。これにより、ユーザテスト中にユーザまたは実施者が発言した内容を、後から確認することができる。

付加情報は、ユーザテスト中にユーザがクライアント装置１０に対して行った操作に関する操作情報を含んでもよく、サーバ３０は、操作情報を、対応する操作が行われた日時に関連付けて保存してもよい。これにより、ユーザテスト中にユーザが操作した内容を、後から確認することができる。

操作情報は、ユーザテスト中にユーザがクライアント装置１０に対して行った操作を要約した情報を含んでもよい。これにより、ユーザテスト中にユーザが操作した内容を、後から効率的に確認することができる。

付加情報は、ユーザテストの実施者または分析者が作成したメモに関するメモ情報を含んでもよい。サーバ３０は、メモ情報を、ユーザテストの実施者が対応するメモを作成した日時、またはユーザテストの分析者が対応するメモを作成した時に当該分析者の操作するクライアント装置１０のディスプレイ２１に表示されていた情報に関連付けられている日時に関連付けて保存してもよい。これにより、ユーザテスト中に実施者が残したメモ、またはユーザテストの分析中に分析者が残したメモを、後から確認することができる。

付加情報は、ユーザテスト中に、ユーザまたは当該ユーザの周囲を撮影したユーザ画像を含んでもよく、サーバ３０は、ユーザ画像を、当該ユーザ画像の撮影日時に関連付けて保存してもよい。これにより、ユーザテスト中におけるユーザの表情を後から確認したり、ユーザの視線方向を計測したり、ユーザの状況を分析したりすることができる。

（６）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。ディスプレイ２１は、クライアント装置１０に内蔵されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。例えば、いずれかの装置によって行われるとして説明された処理が別の装置によって行われたり、複数の装置のやり取りによって行われるとして説明された処理が単一の装置によって行われたりしてもよい。また、上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。

クライアント装置１０（分析者端末）は、分析者から条件の指定を受け付けたことに応じて、サーバ３０にフィルタまたは検索要求を送信してもよい。サーバ３０は、フィルタまたは検索要求に応じて、指定された条件を満たす付加情報をクライアント装置１０へ送信してもよい。また、サーバ３０は、この付加情報を含む画面を表示するためのＵＩ情報をクライアント装置１０へ送信してもよい。これにより、分析者は、関心のある条件に合致した付加情報を容易に発見し、分析を効率的に進めることができる。

上記説明では、カメラを用いてユーザ画像を取得する例を述べた。しかしながら、クライアント装置１０（ユーザ端末）は、単にユーザ画像を送信するだけでなく、ユーザ画像から特定の物体の存在有無、物体の種別もしくは位置姿勢、物体の大きさを推定し、また特定の物体やユーザの動きの有無を推定・検出しその結果をサーバ３０へ送信してもよく、クライアント装置１０は推定・検出結果によって挙動を変えてもよい。また、クライアント装置１０は、ユーザ画像から三次元再構成処理などを実施して、三次元空間に関する情報を生成し、かかる情報をサーバ３０へ送信してもよい。さらに、クライアント装置１０は、カメラの位置姿勢の変更を例えばセンサにより検知し、カメラの位置姿勢情報をサーバ３０へ送信してもよい。サーバ３０は、これらの情報の少なくとも１つに基づいて前述のユーザの状況を分析してもよい。

上記説明では、ユーザテストの実施者が人間であることを前提に述べた。しかしながら、ユーザテストの実施者は、人間に限られず機械（例えば、ユーザテストを実施するプログラムを実行するコンピュータ）であってもよい。換言すれば、ユーザテストの実施者は、機械を含み得る概念である。分析者も同様に、人間に限られず機械（例えば、ユーザテストにおいて保存された情報に基づいてユーザテストの分析を実施するプログラムを実行するコンピュータ）を含み得る概念である。実施者が機械である場合に、実施者としての機械はサーバ３０に組み込めるので、実施者端末は不要となり得るし、ユーザテスト支援処理は、ユーザのクライアント装置１０がサーバ３０に接続した状態でユーザテストを始めたことに応じて開始し得る。同様に、分析者が機械である場合に、分析者としての機械はサーバ３０に組み込めるので、分析者端末は不要となり得る。

視線計測は、サーバ３０ではなくクライアント装置１０で実行されてもよい。また、視線計測には任意の方法（ユーザ画像に基づかない視線計測方法を含み得る）が適用可能である。例えば、視線追跡機能付きのＶＲ（Virtual Reality）ゴーグルなどのＨＭＤ（Head Mounted Display）をクライアント装置１０として使用し、またはクライアント装置１０と併用して、当該ＨＭＤによる視線計測結果をサーバ３０へ送信してもよい。或いは、クライアント装置１０およびサーバ３０とは異なる視線計測装置によって視線計測が実行されてもよい。この場合に、視線計測装置は、視線計測結果をクライアント装置１０経由でサーバ３０へ送信してもよいし、クライアント装置１０を経由することなくサーバ３０へ送信してもよい。

上記説明では、ユーザテスト中にサーバ３０が各種情報を都度取得する例を示した。しかしながら、クライアント装置１０は、ユーザテスト中に各種情報をリアルタイムに保存しておき、ユーザテストの終了後に各種情報をまとめてサーバ３０へ送信してもよい。

上記説明では、本実施形態をユーザテストに適用することを前提に述べた。しかしながら、本実施形態は、ユーザテストに限られず、例えば、ユーザが人間または機械の相手と対話しながらクライアント装置１０を操作することで対象（例えば、アプリケーション、ＳａａＳ、Ｗｅｂサイト、コンテンツ（ＡＲコンテンツを含み得る）、仮想空間または現実空間に配置された物体または施設、など）に関与する過程における証跡の記録および分析にも適用可能である。対象に対する関与とは、対象の使用、または対象の知覚（つまり、視覚、聴覚、触覚等の感覚刺激を受けること）を含むことができる。この変形例では、上記説明において、「実施者」は「対話相手」としてそれぞれ読み替え可能である。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース

Claims (14)

1. コンピュータを、
   ユーザが第１クライアント装置を操作して対象に関与する過程中における前記第１クライアント装置の画面の表示内容を表す画面画像を取得する手段、
   前記過程中における前記ユーザの視線方向の推定結果を取得する手段、
   前記過程中における前記ユーザの眼の動き以外の前記ユーザもしくは前記過程における前記ユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報を取得する手段、
   前記画面画像と、前記視線方向の推定結果と、前記付加情報とをそれぞれ日時に関連付けて保存する手段、
   前記画面画像または前記視線方向の推定結果の少なくとも１つと、前記付加情報の少なくとも１つとを、経時的に表示するためのＵＩ（User Interface）情報を出力する手段、
   として機能させ、
   前記ＵＩ情報を出力する手段は、前記視線方向の推定結果に基づく情報を一連の前記画面画像に重畳した動画を表示するためのＵＩ情報を出力する、
   プログラム。
2. コンピュータを、
   ユーザが第１クライアント装置を操作して対象に関与する過程中における前記第１クライアント装置の画面の表示内容を表す画面画像を取得する手段、
   前記過程中における前記ユーザの視線方向の推定結果を取得する手段、
   前記過程中における前記ユーザの眼の動き以外の前記ユーザもしくは前記過程における前記ユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報を取得する手段、
   前記画面画像と、前記視線方向の推定結果と、前記付加情報とをそれぞれ日時に関連付けて保存する手段、
   前記過程後に、前記画面画像または前記視線方向の推定結果の少なくとも１つと、前記付加情報の少なくとも１つとを、経時的に表示するためのＵＩ（User Interface）情報を出力する手段、
   前記第１クライアント装置とは異なる第２クライアント装置からの要求に応じて、第１日時に関連付けられている画面画像または視線方向の推定結果の少なくとも１つを表示するためのＵＩ情報を出力する手段、
   として機能させ、
   前記第２クライアント装置は、前記第２クライアント装置の表示部に表示され、かつ前記第１日時に関連付けられている付加情報が選択されたことに応じて前記要求を行う、
   プログラム。
3. 前記コンピュータを、前記過程中に、当該過程における前記ユーザの対話相手向けの注意事項を表示するためのＵＩ（User Interface）情報を出力する手段、として機能させる、
   請求項１または請求項２に記載のプログラム。
4. 前記過程後に、当該過程の分析者によって指定された条件を満たす付加情報、または当該付加情報を含む画面を表示するためのＵＩ（User Interface）情報の少なくとも１つを出力する手段、として機能させる、
   請求項１または請求項２に記載のプログラム。
5. 前記付加情報は、前記過程中における前記ユーザまたは当該過程における前記ユーザの対話相手の発話、またはチャットへの投稿に関する発言情報を含み、
   前記保存する手段は、前記発言情報を、対応する発話日時または投稿日時に関連付けて保存する、
   請求項１または請求項２に記載のプログラム。
6. 前記付加情報は、前記過程中に前記ユーザが前記第１クライアント装置に対して行った操作に関する操作情報を含み、
   前記保存する手段は、前記操作情報を、対応する操作が行われた日時に関連付けて保存する、
   請求項１または請求項２に記載のプログラム。
7. 前記操作情報は、前記過程中に前記ユーザが前記第１クライアント装置に対して行った操作を要約した情報を含む、
   請求項６に記載のプログラム。
8. 前記付加情報は、前記過程における前記ユーザの対話相手または前記過程の分析者が作成したメモに関するメモ情報を含み、
   前記保存する手段は、前記メモ情報を、前記過程における前記ユーザの対話相手が対応するメモを作成した日時、または前記過程の分析者が対応するメモを作成した時に当該分析者の操作する第２クライアント装置の表示部に表示されていた情報に関連付けられている日時に関連付けて保存する、
   請求項１または請求項２に記載のプログラム。
9. 前記付加情報は、前記過程中に、前記ユーザまたは当該ユーザの周囲を撮影したユーザ画像を含み、
   前記保存する手段は、前記ユーザ画像を、当該ユーザ画像の撮影日時に関連付けて保存する、
   請求項１または請求項２に記載のプログラム。
10. コンピュータを、
    ユーザがクライアント装置を操作して対象に関与する過程の後に、サーバから、前記過程中における当該クライアント装置の画面の表示内容を表す画面画像、または前記過程中における前記ユーザの視線方向の推定結果の少なくとも１つと、前記過程中における前記ユーザの眼の動き以外の前記ユーザもしくは前記過程における前記ユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報とを表示するためのＵＩ（User Interface）情報を取得する手段、
    前記ＵＩ情報に基づく画面を表示部に表示させる手段、
    として機能させ、
    前記ＵＩ情報に基づく画面を前記表示部に表示させる手段は、第１日時に関連付けられている付加情報が選択されたことに応じて、当該第１日時に関連付けられている画面画像または視線方向の推定結果の少なくとも１つを前記表示部に表示させる、
    プログラム。
11. コンピュータによって実行される方法であって、
    ユーザが第１クライアント装置を操作して対象に関与する過程中における前記第１クライアント装置の画面の表示内容を表す画面画像を取得するステップと、
    前記過程中における前記ユーザの視線方向の推定結果を取得するステップと、
    前記過程中における前記ユーザの眼の動き以外の前記ユーザもしくは前記過程における前記ユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報を取得するステップと、
    前記画面画像と、前記視線方向の推定結果と、前記付加情報とをそれぞれ日時に関連付けて保存するステップと、
    前記画面画像または前記視線方向の推定結果の少なくとも１つと、前記付加情報の少なくとも１つとを、経時的に表示するためのＵＩ（User Interface）情報を出力するステップと
    を実行し、
    前記ＵＩ情報を出力するステップでは、前記視線方向の推定結果に基づく情報を一連の前記画面画像に重畳した動画を表示するためのＵＩ情報を出力する、
    方法。
12. コンピュータによって実行される方法であって、
    ユーザが第１クライアント装置を操作して対象に関与する過程中における前記第１クライアント装置の画面の表示内容を表す画面画像を取得するステップと、
    前記過程中における前記ユーザの視線方向の推定結果を取得するステップと、
    前記過程中における前記ユーザの眼の動き以外の前記ユーザもしくは前記過程における前記ユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報を取得するステップと、
    前記画面画像と、前記視線方向の推定結果と、前記付加情報とをそれぞれ日時に関連付けて保存するステップと、
    前記過程後に、前記画面画像または前記視線方向の推定結果の少なくとも１つと、前記付加情報の少なくとも１つとを、経時的に表示するためのＵＩ（User Interface）情報を出力するステップと、
    前記第１クライアント装置とは異なる第２クライアント装置からの要求に応じて、第１日時に関連付けられている画面画像または視線方向の推定結果の少なくとも１つを表示するためのＵＩ情報を出力するステップと
    を実行し、
    前記第２クライアント装置は、前記第２クライアント装置の表示部に表示され、かつ前記第１日時に関連付けられている付加情報が選択されたことに応じて前記要求を行う、
    方法。
13. ユーザが第１クライアント装置を操作して対象に関与する過程中における前記第１クライアント装置の画面の表示内容を表す画面画像を取得する手段と、
    前記過程中における前記ユーザの視線方向の推定結果を取得する手段と、
    前記過程中における前記ユーザの眼の動き以外の前記ユーザもしくは前記過程における前記ユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報を取得する手段と、
    前記画面画像と、前記視線方向の推定結果と、前記付加情報とをそれぞれ日時に関連付けて保存する手段と、
    前記画面画像または前記視線方向の推定結果の少なくとも１つと、前記付加情報の少なくとも１つとを、経時的に表示するためのＵＩ（User Interface）情報を出力する手段と
    を具備し、
    前記ＵＩ情報を出力する手段は、前記視線方向の推定結果に基づく情報を一連の前記画面画像に重畳した動画を表示するためのＵＩ情報を出力する、
    情報処理装置。
14. 第１情報処理装置と、第２情報処理装置とを具備するシステムであって、
    前記第１情報処理装置は、
    ユーザがクライアント装置を操作して対象に関与する過程中における前記クライアント装置の画面の表示内容を表す画面画像を取得する手段と、
    前記過程中における前記ユーザの視線方向の推定結果を取得する手段と、
    前記過程中における前記ユーザの眼の動き以外の前記ユーザもしくは前記過程における前記ユーザの対話相手による行動、または当該過程の分析者による行動に関する付加情報を取得する手段と、
    前記画面画像と、前記視線方向の推定結果と、前記付加情報とをそれぞれ日時に関連付けて保存する手段と、
    前記画面画像または前記視線方向の推定結果の少なくとも１つと、前記付加情報の少なくとも１つとを、経時的に表示するためのＵＩ（User Interface）情報を出力する手段と
    を備え、
    前記ＵＩ情報を出力する手段は、前記視線方向の推定結果に基づく情報を一連の前記画面画像に重畳した動画を表示するためのＵＩ情報を出力し、
    前記第２情報処理装置は、
    前記ＵＩ情報を取得する手段、
    前記ＵＩ情報に基づく画面を表示部に表示させる手段、
    を備える、
    システム。

Images