WO2023228931A1

WO2023228931A1 - 情報処理システム、情報処理装置、情報処理方法及びプログラム

Info

Publication number: WO2023228931A1
Application number: PCT/JP2023/019075
Authority: WO
Inventors: 司本田
Original assignee: 株式会社ジオクリエイツ
Priority date: 2022-05-26
Filing date: 2023-05-23
Publication date: 2023-11-30
Also published as: WO2023228342A1

Abstract

情報処理装置２は、ユーザＵが見ている、ユーザＵの操作により表示領域及び表示向きが変化する仮想空間画像を特定するための表示状態データを取得するデータ取得部２３１と、ユーザＵが仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定する注視特定部２３２と、ユーザＵが使用する情報端末１に表示された仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定する特徴特定部２３３と、注視時点と特徴発生時点とを関連付けて出力する出力部２３４と、を有する。

Description

情報処理システム、情報処理装置、情報処理方法及びプログラム

　本発明は、情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。

　従来、仮想現実空間又は拡張現実空間の画像（以下、「仮想空間画像」という）を見たユーザの反応を示す情報を出力するシステムが知られている（例えば、特許文献１を参照）。

国際公開第２０２０／０３２３３９号

　従来のシステムでは、ユーザが仮想空間画像を見ている間の反応の変化を示す情報を出力することができる。仮想空間画像の設計者又は提供者（以下、「設計者等」という）は、ユーザの反応の変化を把握することで、仮想空間画像を改善することができる。しかしながら、設計者等は、ユーザの反応の変化を把握するだけでは、仮想空間画像にどのような特徴がある場合にユーザがどのような反応を示すかを認識することが困難である。したがって、設計者等が、どのように仮想空間画像を変更すればよいかを把握しづらいという問題があった。

　そこで、本発明はこれらの点に鑑みてなされたものであり、仮想空間画像の設計者等が仮想空間画像を改善しやすくすることを目的とする。

　本発明の第１の態様の情報処理システムは、情報端末と、前記情報端末と通信可能な情報処理装置と、を備え、前記情報端末は、ユーザの操作を受け付ける操作受付部と、前記操作受付部が受け付けた前記ユーザの操作に基づいて、前記情報処理装置から提供される仮想空間画像データの表示領域及び表示向きを変化させることにより仮想空間画像を表示する表示処理部と、を有し、前記情報処理装置は、前記ユーザが見ている前記仮想空間画像を特定するための表示状態データを取得するデータ取得部と、前記表示状態データに基づいて、前記仮想空間画像を見ている前記ユーザが前記仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定する注視特定部と、前記情報端末に表示された前記仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定する特徴特定部と、前記注視時点と前記特徴発生時点とを関連付けて出力する出力部と、を有する。

　前記データ取得部は、前記ユーザが前記仮想空間画像の閲覧を終了したことを示す終了データを前記情報端末から取得し、前記出力部は、前記注視時点及び前記特徴発生時点に関連付けて、前記終了データが示す閲覧終了時点を示す情報を出力してもよい。

　前記出力部は、前記注視時点及び前記特徴発生時点に基づいて前記ユーザの生体状態を推定した結果を示す状態データを出力してもよい。

　前記特徴特定部は、前記情報端末に表示された前記仮想空間画像の構図が一点透視の構図を含む前記特徴発生時点を特定してもよい。

　前記特徴特定部は、前記ユーザが前記仮想空間画像において移動することができる進路を示す案内情報の種別、大きさ又は位置のうち、少なくともいずれかを含む前記特徴発生時点を特定してもよい。

　前記注視特定部は、前記ユーザが前記案内情報を注視した時点を特定してもよい。
　前記仮想空間画像に複数の前記案内情報が含まれている場合、前記注視特定部は、複数の前記案内情報のうち、より長い時間にわたって注視された前記案内情報を特定してもよい。

　前記特徴特定部は、前記注視時点を含む所定の時間内に表示された前記仮想空間画像に複数の物体それぞれが表示された時間の割合を特定し、前記出力部は、前記仮想空間画像に関連付けて前記時間の割合を示す情報を出力してもよい。

　前記出力部は、前記ユーザが前記仮想空間画像の閲覧を継続した時間を示す情報を出力してもよい。

　前記情報処理装置は、前記ユーザの属性を記憶する記憶部をさらに有し、前記出力部は、前記ユーザの属性に関連付けて、前記注視時点と前記特徴発生時点とを関連付けて出力してもよい。

　前記出力部は、前記ユーザが前記仮想空間画像の閲覧を継続した時間が異なる場合における前記注視時点と、前記特徴発生時点と、を時系列で示す複数の画像を同じ時間軸で表示してもよい。

　本発明の第２の態様の情報処理装置は、ユーザが見ている、前記ユーザの操作により表示領域及び表示向きが変化する仮想空間画像を特定するための表示状態データを取得するデータ取得部と、前記ユーザが前記仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定する注視特定部と、前記ユーザが使用する情報端末に表示された前記仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定する特徴特定部と、前記注視時点と前記特徴発生時点とを関連付けて出力する出力部と、を有する。

　本発明の第３の態様の情報処理方法は、コンピュータが実行する、ユーザが見ている、前記ユーザの操作により表示領域及び表示向きが変化する仮想空間画像を特定するための表示状態データを取得するステップと、前記ユーザが前記仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定するステップと、前記ユーザが使用する情報端末に表示された前記仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定するステップと、前記注視時点と前記特徴発生時点とを関連付けて出力するステップと、を有する。

　本発明の第４の態様のプログラムは、コンピュータに、ユーザが見ている、前記ユーザの操作により表示領域及び表示向きが変化する仮想空間画像を特定するための表示状態データを取得するステップと、前記ユーザが前記仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定するステップと、前記ユーザが使用する情報端末に表示された前記仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定するステップと、前記注視時点と前記特徴発生時点とを関連付けて出力するステップと、を実行させるためのプログラムである。

　本発明によれば、仮想空間画像の設計者等が仮想空間画像を改善しやすくなるという効果を奏する。

情報処理システムＳの概要を示す図である。仮想空間画像データの全体を模式的に示す図である。ユーザＵが見る仮想空間画像の例を示す図である。情報端末１の構成を示す図である。情報処理装置２の構成を示す図である。出力部２３４が出力する情報を含む画面の例を示す図である。生体状態の推定結果が表示された画面の例を示す図である。それぞれ閲覧継続時間が異なる場合における注視時点（破線）と所定の特徴が含まれていた時点（実線）とを時系列で示す画像の例を示す図である。情報処理システムＳ１の概要を示す図である。情報端末１に表示された画面の例を示す図である。情報端末１の構成を示す図である。推奨状態データの例を示す図である。推奨状態データの例を示す図である。情報処理装置２の構成を示す図である。情報処理システムＳ１における処理の流れの一例を示すシーケンス図である。情報処理システムＳ２の概要を示す図である。情報処理装置４の構成を示す図である。

＜第１実施形態＞
［情報処理システムＳの概要］
　図１は、情報処理システムＳの概要を示す図である。情報処理システムＳは、ユーザＵに仮想空間画像を提示して、ユーザＵが仮想空間画像を閲覧している間にユーザＵが注視した時点と、ユーザＵが見ている仮想空間画像に所定の特徴が含まれていた時点と、を仮想空間画像データの設計者等が把握できるようにするためのシステムである。仮想空間画像の所定の特徴は、仮想空間画像に所定の構図（例えば一点透視の構図又は二点透視の構図）が含まれていること、仮想空間画像に所定の物体の画像が含まれていること、仮想空間画像に進路案内の情報が含まれていること、又は仮想空間画像における所定の色の割合が閾値以上であることの少なくともいずれかである。

　仮想空間画像データは、例えばコンピュータグラフィックスにより作成された三次元空間を表す画像データであるが、仮想空間画像データに、現実の被写体を撮影することにより生成された画像データが含まれていてもよい。また、仮想空間画像データは、拡張現実画像データを含んでもよい。

　仮想空間画像データは、例えば、仮想空間画像が表示される端末をユーザＵが操作することにより、表示される領域が変化するように構成されている。すなわち、仮想空間画像データは、ユーザＵが使用する端末に表示可能な画像領域よりも大きな領域に対応している。仮想空間画像データは、例えば、イベント会場、街並み、建物の内部のように、ユーザＵが閲覧する位置を移動することができる空間を仮想的に示す画像データである。

　一例として、仮想空間画像データが、イベント会場の空間を示す画像データである場合、仮想空間画像データの提供者であるイベントの主催者としては、できるだけ多くのエリアをユーザＵに見てもらいたい。例えば、イベントの主催者が商品の宣伝をしたいという場合、商品の説明を行っているエリアまでユーザＵに進んでもらいたい。しかしながら、仮想空間画像データの構成によっては、ユーザＵが進むべき方向がわからなくなったり、ユーザＵが途中で興味を失ったりすることにより、仮想空間画像の閲覧を終了してしまうことがある。

　情報処理システムＳは、ユーザＵが仮想空間画像を見ている間にユーザＵが注視した時点と、ユーザＵが見ている間に変化する仮想空間画像の特徴と、を出力するので、仮想空間画像データの設計者等が、ユーザＵがどのような特徴を持つ仮想空間画像を注視したかを把握しやすくすることができる。また、情報処理システムＳは、ユーザＵが仮想空間画像を注視した時点を示す情報及び仮想空間画像の特徴を示す情報に関連付けて、ユーザＵが仮想空間画像の閲覧終了時点を示す情報を出力することもできる。

　設計者等は、これらの情報を見ることで、仮想空間画像がどのように構成されているとユーザＵが閲覧を終了しやすくなり、仮想空間画像がどのように構成されているとユーザＵが閲覧を継続しやすいかを把握できる。その結果、仮想空間画像の設計者等が仮想空間画像データを改善しやすくなる。

　以下、図１を参照しながら、情報処理システムＳの概要を説明する。情報処理システムＳは、情報端末１と、情報処理装置２と、出力端末３と、を備える。情報端末１、情報処理装置２及び出力端末３は、ネットワークＮに接続されており、他の装置との間でデータを送受信することができる。

　情報端末１は、ユーザＵが仮想空間画像を見るために使用する端末であり、例えばパーソナルコンピュータ、タブレット、スマートフォン、又は眼鏡形状若しくはゴーグル形状の端末である。情報端末１は、ネットワークＮを介して情報処理装置２から受信した仮想空間画像データに基づく仮想空間画像をディスプレイに表示する。

　情報端末１は、ユーザＵの操作に基づいて、仮想空間画像データのうち、ディスプレイに表示する仮想空間画像の位置及び向きを変化させる。情報端末１は、ディスプレイに表示している仮想空間画像の領域の仮想空間画像データにおける位置及び向きを示す表示状態データを情報処理装置２に送信する。表示状態データは、例えば、空間画像データにおける情報端末１が表示している位置、及びユーザＵの向きを示す情報を含むデータであり、時刻に関連付けられている。表示状態データは、情報端末１が仮想空間画像を表示している画面をキャプチャしたデータであってもよい。この場合、キャプチャしたデータに時刻が関連付けられている。なお、時刻は、例えば、ユーザＵが仮想空間画像の閲覧を開始してからの経過時間により表される。

　仮想空間画像データにおける位置は、仮想空間画像データが表す三次元空間の原点を基準とする三次元座標又は二次元座標により表される。三次元空間の原点は、例えば、仮想空間画像をユーザＵが見始める位置（すなわち、ユーザＵが進み始める位置）である。仮想空間画像データにおける位置は、例えば、ディスプレイの中央位置に対応する仮想空間画像データの座標である。

　仮想空間画像データには、仮想空間画像データに含まれる所定の情報又は所定の物体の位置を示す座標がメタデータとして含まれていてもよい。当該メタデータには、例えば、標識（すなわちサイン）又は広告等の案内情報が表示される位置の座標が含まれている。当該メタデータには、物体の種別に関連付けて当該物体が表示される位置の座標が含まれていてもよい。

　仮想空間画像データにおける向きは、仮想空間画像データが表す三次元空間の基準向きに対する向きにより表される。基準向きは、例えばユーザＵが仮想空間画像の表示位置及び向きを変化させる操作をする前にディスプレイに表示された仮想空間画像の向きである。

　情報処理装置２は、仮想空間画像データを情報端末１に提供する。また、情報処理装置２は、情報端末１から受信した表示状態データに基づいて、ユーザＵが注視した時点と、ユーザＵが閲覧した仮想空間画像における特徴と、を関連付けて出力する。情報処理装置２は、例えば、ネットワークＮを介して出力端末３に注視時点と所定の特徴を含む仮想空間画像が表示された時点とを示す情報を出力する。

　図２は、仮想空間画像データの全体を模式的に示す図である。図２（ａ）に示す仮想空間画像データはイベント会場を上方から見たレイアウトを示している。図２における斜線の領域は、建物、看板、サイネージ等である。図２（ｂ）は、ユーザＵの操作に伴ってユーザＵが破線に示すルートでイベント会場内を移動したことを示している。

　図３は、ユーザＵが見る仮想空間画像の例を示す図である。図３（ａ）は、図２（ｂ）におけるＡ地点で矢印の向きにユーザＵが向いた状態でユーザＵが見る仮想空間画像である。図３（ｂ）は、図２（ｂ）におけるＢ地点で矢印の向きにユーザＵが向いた状態でユーザＵが見る仮想空間画像である。図３（ｃ）は、図２（ｂ）におけるＣ地点で矢印の向きにユーザＵが向いた状態でユーザＵが見る仮想空間画像である。

　図３（ｂ）における符号Ｋが付された物体は、ユーザＵに進行方向を示す案内情報の一例である。符号Ｋに付された物体には、例えば当該物体の方向にある場所で開催されているイベントの内容、又はユーザＵが進むべき向きを示す情報が記載されている。

［情報端末１の構成］
　図４は、情報端末１の構成を示す図である。情報端末１は、通信部１１と、表示部１３と、操作部１４と、記憶部１５と、制御部１６と、を有する。制御部１６は、データ取得部１６１と、操作受付部１６２と、表示処理部１６３と、を有する。

　通信部１１は、ネットワークＮを介して情報処理装置２との間でデータを送受信するための通信インターフェースを有する。通信部１１は、例えば情報処理装置２から送信された仮想空間画像データを受信し、受信した仮想空間画像データをデータ取得部１６１に入力する。また、通信部１１は、表示部１３に表示された仮想空間画像の位置及び向きを示す表示状態データを表示処理部１６３から取得し、表示状態データを時刻に関連付けて情報処理装置２に送信する。通信部１１は、表示部１３に表示された仮想空間画像がキャプチャされたデータを表示状態データとして時刻に関連付けて情報処理装置２に送信してもよい。

　表示部１３は、各種の情報を表示するディスプレイである。表示部１３は、例えば仮想空間画像データに基づく仮想空間画像を表示する。

　操作部１４は、ユーザＵの操作を受けるデバイスであり、例えばキーボード及びマウスを有する。操作部１４は、ユーザＵの操作内容を示すデータを操作受付部１６２に入力する。

　記憶部１５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１５は、制御部１６が実行するプログラムを記憶する。また、記憶部１５は、仮想空間画像データ及び表示状態データ等を一時的に記憶する。記憶部１５は、例えば、ユーザＵが仮想空間画像を見始めてからの経過時間に関連付けて表示状態データを記憶する。

　制御部１６は、ＣＰＵ（Central Processing Unit）を有する。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、データ取得部１６１、操作受付部１６２及び表示処理部１６３として機能する。

　データ取得部１６１は、情報処理装置２から送信された仮想空間画像データを取得する。データ取得部１６１は、取得した仮想空間画像データを記憶部１５に記憶する。データ取得部１６１は、取得した仮想空間画像データを表示処理部１６３に入力してもよい。

　操作受付部１６２は、操作部１４において行われたユーザＵの操作を受け付ける。具体的には、操作受付部１６２は、例えば、表示部１３に仮想空間画像が表示された状態でユーザＵが表示部１３にタッチしたり、マウスをクリックしたりした位置を示す座標を、ユーザＵの操作の内容として受け付ける。

　表示処理部１６３は、仮想空間画像データに基づく仮想空間画像を表示部１３に表示させる。表示処理部１６３は、例えば、操作受付部１６２が受け付けたユーザＵの操作に基づいて、情報処理装置２から提供される仮想空間画像データの表示領域及び表示向きを変化させることにより、仮想空間画像データの一部の画像データに対応する仮想空間画像を表示する。

［情報処理装置２の構成］
　図５は、情報処理装置２の構成を示す図である。情報処理装置２は、通信部２１と、記憶部２２と、制御部２３と、を有する。制御部２３は、データ取得部２３１と、注視特定部２３２と、特徴特定部２３３と、出力部２３４と、を有する。

　通信部２１は、ネットワークＮを介して情報端末１及び出力端末３とデータを送受信するための通信インターフェースを有する。通信部２１は、受信したデータをデータ取得部２３１に入力する。また、通信部２１は、出力部２３４から入力されたデータを送信する。

　記憶部２２は、ＲＯＭ、ＲＡＭ及びＳＳＤ等の記憶媒体を有する。記憶部２２は、制御部２３が実行するプログラムを記憶する。また、記憶部２２は仮想空間画像データを記憶する。記憶部２２は、通信部２１を介してデータ取得部２３１が取得した表示状態データをユーザＵに関連付けて記憶する。

　制御部２３は、ＣＰＵを有しており、記憶部２２に記憶されたプログラムを実行することにより、データ取得部２３１、注視特定部２３２、特徴特定部２３３及び出力部２３４として機能する。

　データ取得部２３１は、通信部２１を介して、情報端末１から、ユーザＵが見ている仮想空間画像を特定するための表示状態データを取得する。データ取得部２３１は、取得した表示状態データをユーザＵに関連付けて記憶部２２に記憶させる。データ取得部２３１は、ユーザＵが仮想空間画像データの閲覧を開始してからの経過時間に関連付けて表示状態データを記憶部２２に記憶させてもよい。データ取得部２３１は、ユーザＵが仮想空間画像の閲覧を終了したことを示す終了データを情報端末１から取得してもよい。

　注視特定部２３２は、表示状態データに基づいて、仮想空間画像を見ているユーザＵが仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定する。所定時間は、ユーザＵが関心を示している仮想空間画像が表示されている場合にユーザＵが仮想空間画像を動かさないことが想定される時間の最小値であり、例えば３秒である。所定時間は、出力端末３等の外部装置を介して設計者等が設定できる時間であってもよく、固定された時間であってもよい。

　注視特定部２３２は、複数の時刻に対応する複数の表示状態データが示す位置及び向きを比較することにより、ユーザＵが同じ位置で同じ向きを向いた状態で所定時間にわたって停止している場合に、ユーザＵが注視している時点であることを特定する。表示状態データが、情報端末１においてキャプチャされた画像データである場合、注視特定部２３２は、複数の時刻に対応する複数のキャプチャデータが所定時間にわたって同一である場合に、ユーザＵが注視している時点であることを特定する。

　注視特定部２３２は、仮想空間画像データにおいてユーザＵが注視した位置を特定してもよい。注視特定部２３２は、例えば、注視時点であると特定した時点で情報端末１に表示された仮想空間画像の中央位置をユーザＵが注視している位置として特定する。情報端末１がユーザＵの視線を検出する機能を有する場合、注視特定部２３２は、注視時点で情報端末１が検出したユーザＵの視線の位置をユーザＵが注視した位置として特定してもよい。

　注視特定部２３２は、ユーザＵが案内情報を注視した時点を特定してもよい。注視特定部２３２は、例えば、仮想空間画像データのメタデータを参照することにより案内情報の位置を示す座標を特定し、案内情報が情報端末１のディスプレイの中央位置から所定範囲内に含まれている時点を、ユーザＵが案内情報を注視した時点として特定する。この所定範囲は、情報端末１のディスプレイを正面から見ているユーザＵが案内情報を鮮明に視認が可能な範囲であり、例えば中央位置から半径５ｃｍの範囲である。

　仮想空間画像に複数の案内情報が含まれている場合、注視特定部２３２は、複数の案内情報のうち、より長い時間にわたって注視された案内情報を特定してもよい。注視特定部２３２は、仮想空間画像に複数の案内情報が含まれている場合、注視された時間が閾値以上の１以上の案内情報を注視された案内情報として特定してもよい。

　特徴特定部２３３は、ユーザＵが使用する情報端末１に表示された仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定する。特徴特定部２３３は、例えば、表示状態データが示す仮想空間画像に含まれる物体の形状を解析することにより、情報端末１に表示された仮想空間画像の構図が一点透視の構図であった時点を特徴発生時点として特定する。特徴特定部２３３は、ユーザＵが仮想空間画像において移動することができる進路を示す案内情報の種別、大きさ又は位置のうち、少なくともいずれかが含まれていた時点を、特徴発生時点として特定してもよい。

　特徴特定部２３３は、注視時点を含む所定の時間内に表示された仮想空間画像に複数の物体それぞれが表示された時間の割合を特定してもよい。複数の物体は、例えば、通路、交差点、案内情報、緑色の領域（例えば草地又は樹木の葉）、茶色の領域（例えば樹木の幹又は枝）、ランドマークである。この所定の時間は、例えばユーザＵが継続して同じ位置を注視している時間である。この所定の時間は、ユーザＵが仮想空間画像の閲覧を開始してから閲覧を終了するまでの時間であってもよい。この所定の時間は、ユーザＵが仮想空間画像の閲覧を終了した時点の直前の注視時点から閲覧の終了時点までの間であってもよい。

　出力部２３４は、注視特定部２３２が特定した注視時点と、特徴特定部２３３が特定した特徴発生時点と、を関連付けて出力する。出力部２３４は、例えば通信部２１を介して、注視時点を示す情報と、特徴発生時点を示す情報と、を出力端末３に送信する。出力部２３４は、注視時点及び特徴発生時点に関連付けて、データ取得部２３１が情報端末１から取得した終了データが示す閲覧終了時点を示す情報を出力してもよい。

　図６は、出力部２３４が出力する情報を含む画面の例を示す図である。図６には、領域Ｒ１、領域Ｒ２、領域Ｒ３、領域Ｒ４及び領域Ｒ５が含まれている。出力部２３４が図６に示す画面を出力端末３に表示させる場合、出力部２３４は、出力端末３において行われた設計者等の操作に応じて、画面に含める情報を変化させることができる。

　領域Ｒ１は、ユーザＵが仮想空間画像の閲覧を開始してからの経過時間がそれぞれ異なる複数の仮想空間画像の複数のサムネイル画像が表示される領域である。複数のサムネイル画像は、例えば、閲覧開始時点から所定の時間（例えば２０秒）の倍数の時間が経過した時点でユーザＵが閲覧していた仮想空間画像に対応する。出力端末３を使用する設計者等は、領域Ｒ１に表示される複数のサムネイル画像から１つのサムネイル画像を選択することにより、他の領域に表示される情報を変更することができる。

　領域Ｒ２は、設計者等が選択したサムネイル画像に対応する仮想空間画像が表示される領域である。領域Ｒ２には、設計者等が指定した経過時間に対応する仮想空間画像が表示されてもよい。また、領域Ｒ２には複数のサムネイル画像が時系列で表示されてもよい。この際、出力部２３４は、設計者等によって指定された特徴を有するサムネイル画像を他のサムネイル画像と異なる態様で表示するようにしてもよい。出力部２３４は、例えば案内情報が含まれるサムネイル画像を、枠で囲んだ状態で出力端末３に表示させる。

　出力部２３４は、特徴発生時点と注視時点とが重なっている時点に対応する仮想空間画像のサムネイル画像を領域Ｒ２に表示させてもよい。出力部２３４がこのようなサムネイル画像を表示させることで、設計者等は、ユーザＵがどのような特徴が含まれている仮想空間画像を注視したのかを把握しやすくなる。

　領域Ｒ３は、設計者等により選択されたサムネイル画像に対応する経過時間から所定の時間内における注視時点と特徴発生時点とを示す画像が表示される領域である。領域Ｒ３における横軸は、選択されたサムネイル画像に対応する仮想空間画像の閲覧をユーザＵが開始してからの経過時間に対応する。領域Ｒ３における縦軸は、ユーザＵによる注視の強さ、及び仮想空間画像が示す所定の特徴の強さに対応する。領域Ｒ３における破線Ｅは、ユーザＵが閲覧を終了した時点を示している。

　ユーザＵが仮想空間画像の位置を変化させる速度が小さいほど注視の強さが大きい。また、仮想空間画像に所定の特徴が表れている度合いが強いほど、所定の特徴の強さが大きい。一例として、一点透視の構図を示す輪郭線が長いほど、一点透視の構図という特徴の強さが大きい。案内情報の大きさが大きいほど、案内情報が含まれるという特徴の強さが大きい。

　図６の領域Ｒ３における破線が示す山は注視時点を示している。山のピークの継続時間が長いほど、注視状態の継続時間が長い。領域Ｒ３における実線が示す山は特徴発生時点を示している。注視時点及び特徴発生時点を示す画像の態様は図６に示す態様に限らず任意である。

　領域Ｒ３に示すように、出力部２３４は、注視時点又は特徴発生時点に関連付けて、閲覧継続時間を示す情報（例えば符号Ｅの破線）を出力してもよい。出力部２３４がこのような情報を出力することで、設計者等が、ユーザＵが閲覧を継続した時間と、ユーザＵが注視した傾向と、仮想空間画像の特徴の傾向との相関関係を把握しやすくなる。

　出力部２３４は、設計者等による設定により、特徴発生時点を出力する対象とする特徴の種別を変更するように構成されていてもよい。具体的には、「一点透視の構図」が特徴として選択された場合、出力部２３４は図６の領域Ｒ３に示す画像を出力端末３に表示させる。「二点透視の構図」が特徴として選択された場合、出力部２３４は、二点透視の構図が特徴特定部２３３により特定された時点を示す画像を領域Ｒ３に表示させる。

　出力部２３４は、複数の特徴それぞれが特徴特定部２３３により特定された時点を示す画像を、それぞれ異なる態様で同時に領域Ｒ３に表示させてもよい。すなわち、出力部２３４は、複数の異なる特徴に対応する複数の種類の特徴発生時点を、特徴の種類ごとに異なる態様で領域Ｒ３に表示させてもよい。出力部２３４が、このように複数の異なる特徴が発生した時点を注視時点と同じ時間軸上に表示させることで、設計者等が、ユーザＵが注視しやすい仮想空間画像の特徴を把握しやすくなる。

　領域Ｒ４は、所定の期間（例えば領域Ｒ３に示す画像に対応する時間）においてユーザＵが仮想空間画像を注視した回数、仮想空間画像において所定の特徴が特定された回数、及びユーザＵが閲覧を継続した時間が表示される領域である。このように、出力部２３４は、ユーザＵが注視した回数又は所定の特徴が仮想空間画像に含まれていた回数に関連付けて、ユーザＵが仮想空間画像の閲覧を継続した時間を示す情報をさらに出力してもよい。

　領域Ｒ５は、ユーザＵが閲覧した仮想空間画像に各種の物体が含まれていた時間の割合を示す情報が表示される領域である。図６に示すように、出力部２３４は、仮想空間画像に関連付けて、時間の割合を示す情報を出力する。領域Ｒ５には、例えば、領域Ｒ３に示す画像に対応する時間内に各物体が表示された割合が表示される。

　領域Ｒ５には、設計者等に指定された時間範囲において各物体が表示された割合が表示されてもよい。領域Ｒ５には、ユーザＵが仮想空間画像の閲覧を終了した時点の直前の所定の時間範囲において各物体が表示された割合と、他の時間範囲において各物体が表示された割合とが同時に表示されてもよい。このような情報が表示されることで、設計者等は、どのような仮想空間画像をユーザＵが見ている場合にユーザＵが閲覧を中止する確率が高いかを把握しやすくなる。

　出力部２３４は、注視時点と特徴発生時点とに基づいてユーザＵの生体状態を推定した結果を示す状態データを出力してもよい。生体状態は、例えば、脳波、心拍数又は発汗量である。出力部２３４は、例えば、単位時間あたりの注視回数が多い時間帯において所定の生体状態になっているという推定結果を示す状態データを出力する。所定の生体状態は、例えば、ユーザＵの脳波にθ波が発生しているという状態である。θ波が発生している状態は、４Ｈｚ以上８Ｈｚ未満の脳波が発生している状態である。θ波は、空間の認知の状況と相関性を有することが知られており、ユーザＵは、θ波が大きい時点で見ている画像を記憶しやすいと考えられる。

　図７は、生体状態の推定結果が表示された画面の例を示す図である。図７には、推定された生体状態を示す領域Ｒ６が含まれている。図７においては、注視の頻度が閾値以上であり、かつ注視時点と、仮想空間画像に一点透視の構図が含まれている時点とが重なっている時間帯にθ波のレベルが高くなっていることを示している。出力部２３４がこのような状態データを出力することで、設計者等は、ユーザＵが仮想空間画像を閲覧している間のユーザＵの生体状態を把握することができるので、生体状態を考慮して仮想空間画像を改善することが可能になる。

　出力部２３４は、例えば、注視時点と、仮想空間画像に一点透視の構図が含まれている時点とが重なっている時間帯にθ波が発生しているという推定結果を示す状態データを出力してもよい。ユーザＵにθ波が発生している場合、θ波が発生している時点の仮想空間画像に進路を示す案内情報の画像、通路の画像、又はランドマークの画像等が含まれていれば、ユーザＵが仮想空間画像を長時間にわたって見続けて記憶し易くなる蓋然性が高い。したがって、θ波の発生状態を知ることで、ユーザＵが仮想空間画像を長時間にわたって見続けて記憶しやすくなるように、設計者等が仮想空間画像データを改善しやすくなる。

　ユーザＵが、生体状態を測定する装置を装着しており、例えば情報端末１を介して、データ取得部２３１が測定された生体状態を示すデータを取得した場合、出力部２３４は、推定した生体状態とともに測定された生体状態を同時に表示させてもよい。出力部２３４がこのように動作することで、設計者等が、推定された生体状態と実際の生体状態との違いを把握することができる。その結果、設計者等が、ユーザＵが生体状態を測定する装置を装着していない場合であっても、推定された生体状態に基づいて、実際の生体状態を把握しやすくなる。

　出力部２３４は、推定された生体状態を示すデータと測定された生体状態を示すデータとを教師データとして深層学習した機械学習モデルに、推定された生体状態を示すデータを入力し、当該機械学習モデルにおいて補正された後の生体状態を示すデータを出力してもよい。

　なお、図７においては、図６における領域Ｒ２に代えて領域Ｒ６が含まれているが、図７に領域Ｒ２が含まれていてもよい。この場合、所定の生体状態になっている時点における仮想空間画像が領域Ｒ２に表示されてもよい。例えば、出力部２３４は、θ波が高いレベルになっている時点における仮想空間画像を領域Ｒ２に表示させる。生体状態が所定の状態である時点における仮想空間画像を出力部２３４が出力することで、設計者等が、生体状態と仮想空間画像との関係性を把握しやすくなり、仮想空間画像を改善しやすくなる。

　出力部２３４は、注視時点を示す情報と、特徴発生時点を示す情報と、を入力することにより、生体状態を出力する機械学習モデルを用いて生体状態の推定結果を出力してもよい。当該機械学習モデルは、生体状態を測定しながら仮想空間画像を閲覧した多数のユーザＵが注視した時点と、仮想空間画像に所定の特徴が含まれている時点と、時間ごとの生体状態値（例えばθ波）のレベルと、の組み合わせを教師データとして深層学習することにより作成されたモデルである。出力部２３４は、領域Ｒ３に表示されているような注視時点を示す情報と、特徴発生時点を示す情報と、を機械学習モデルに入力し、機械学習モデルから出力される生体状態の推定結果を出力する。

　ところで、注視時点と特徴発生時点との関係は、ユーザＵの属性（例えば、性別、年齢、職業）によって異なると考えられる。そこで、出力部２３４は、記憶部２２に記憶されたユーザＵの属性に関連付けて、注視時点と特徴発生時点と、を関連付けて出力してもよい。出力部２３４がこのように構成されていることで、設計者等は、ユーザＵの複数の属性それぞれに適した仮想空間画像データを作成しやすくなる。

　設計者等が、ユーザＵが途中で閲覧を中止しづらい仮想空間画像データを作成できるようにするためには、設計者等が、ユーザＵが短時間で閲覧を中止した場合の注視時点とユーザＵが長時間にわたって閲覧を継続した場合の注視時点とを比較できることが望ましい。そこで、出力部２３４は、ユーザＵが仮想空間画像の閲覧を継続した時間が異なる場合における注視時点と特徴発生時点と、を時系列で示す複数の画像を同じ時間軸で表示してもよい。

　図８は、それぞれ閲覧継続時間が異なる場合における注視時点（破線）と特徴発生時点（実線）とを時系列で示す画像の例を示す図である。図８は、それぞれ異なる仮想空間画像を同じ属性のユーザＵが閲覧した場合の注視時点等を示している。図８における破線Ｈは、平均的な閲覧継続時間を示している。図８（ａ）は、図８（ｂ）、図８（ｃ）に比べて最も閲覧時間が長かったことを示している。図８（ｃ）は、最も閲覧時間が短かったことを示している。

　所定の特徴が一点透視の構図を含むことである場合、図８（ａ）、図８（ｂ）、図８（ｃ）を比較することにより、設計者等は、一点透視の構図を多く含むようにすることが望ましいということを把握することができる。ただし、設計者等がこれらの図を比較するだけでは、閲覧継続時間との相関性がある要因を見落とす可能性がある。そこで、出力部２３４は、閲覧継続時間が平均的な閲覧継続時間よりも長い仮想空間画像の複数の特徴それぞれの発生パターンを特定した結果を出力してもよい。一例として、出力部２３４は、閲覧継続時間が平均的な閲覧継続時間よりも長い仮想空間画像データにおいて所定の特徴が含まれる位置の間隔を、発生パターンを特定した結果として出力する。

　出力部２３４は、閲覧継続時間が平均的な閲覧継続時間よりも長い多数の仮想空間画像の所定の複数の特徴の発生パターンを教師データとして深層学習することにより作成された機械学習モデルを用いて、仮想空間画像の改善策を出力してもよい。当該機械学習モデルは、例えば、図８（ｂ）、図８（ｃ）のように、所定の特徴が含まれていた時点を示すデータが入力されると、閲覧継続時間が平均的な閲覧継続時間よりも長く、かつ入力されたデータに最も近い、所定の特徴が含まれていた時点を示すデータを出力する。出力部２３４が機械学習モデルに入力されたデータと、機械学習モデルが出力したデータとの差分を示す情報を出力することで、設計者等は、仮想空間画像データをどのように修正することで閲覧継続時間を延ばせる可能性があるかを把握しやすくなる。

　なお、出力部２３４は、多数のユーザＵが仮想空間画像を閲覧した結果の統計情報を出力してもよい。一例として、出力部２３４は、１つの仮想空間画像を複数のユーザＵが閲覧した場合の注視回数の平均値と、閲覧継続時間の平均値を出力してもよい。また、出力部２３４は、注視回数と閲覧継続時間を縦軸と横軸にプロットした相関図を出力してもよい。このような統計情報を設計者等が把握することで、設計者等は、多数のユーザＵの閲覧継続時間が長くなるように仮想空間画像データを改善しやすくなる。

　また、出力部２３４は、図２に示したような仮想空間画像に対応するレイアウト図に、ユーザＵの移動経路、各地点での滞在時間、ユーザＵの生体状態、ユーザＵの見回し角度（同じ地点で変えた向きの範囲）を表示させてもよい。さらに、出力部２３４は、ユーザＵの動きに基づいて、ユーザＵの状態を、どのように進めばよいかを把握していない選択段階、進むべき方向を把握した進行段階、目的物を注視している到達段階に分類した結果を出力してもよい。

＜第２実施形態＞
［情報処理システムＳ１の概要］
　図９は、情報処理システムＳ１の概要を示す図である。情報処理システムＳ１は、ユーザＵが見ている空間画像に重ねて、ユーザＵの状態を示すデータを表示するシステムである。空間画像は、ユーザＵが実際に見ている空間の画像であってもよく、コンピュータにより作成された仮想現実画像（ＶＲ画像）を含むメタバースの画像であってもよい。

　ユーザＵの状態を示すデータは、例えば、時間の経過に伴うユーザＵの生体情報の値の変化を示す生体情報画像データ、又は生体情報画像データに基づいて特定された状態データである。生体情報は、例えば測定器Ｍにより測定されるユーザＵの心拍数、脳波、発汗、皮膚電位、ユーザＵの視線、又はユーザＵの視線の範囲を示す画面範囲を設定するマウス若しくはキーボードの操作内容に基づく情報であり、例えばグラフの画像情報である。ユーザＵの状態は、ユーザＵの生体情報に基づいて特定される、ユーザＵが空間画像を見ている間に感じていること、又はユーザＵの心身の状態であってもよい。ユーザＵの状態は、例えば、リラックスしている状態、緊張している状態、集中している状態、又は興奮している状態である。

　情報端末１は、例えば、情報処理装置２が生体情報画像データに基づいて特定したユーザＵの状態を空間画像に重ねて表示する。ユーザＵが見ている空間画像に重ねてユーザＵの状態が表示されることにより、空間画像を見ているユーザＵが自分自身の状態を把握できるので、ユーザＵは、見ている空間画像がユーザＵに適しているかどうかを判断することが可能になる。ユーザＵは、見ている空間画像が自身に適していないと判断した場合に、自身に適した空間画像に変更することができる。このような情報処理システムＳ１は、メタバースに自身のアバターの画像を表示させる場合に好適である。

　図９に示すように、情報処理システムＳ１は、情報端末１と、情報処理装置２と、出力端末３と、を備える。情報端末１、情報処理装置２及び出力端末３は、ネットワークＮに接続されており、他の装置との間でデータを送受信することができる。

　情報端末１は、ユーザＵが空間画像を見るために使用する端末であり、例えばパーソナルコンピュータ、タブレット、スマートフォン、又は眼鏡形状若しくはゴーグル形状の端末である。情報端末１は、例えばユーザＵが装着した測定器Ｍから生体情報を取得する。情報端末１は、時間の経過に伴う生体情報の値の変化を示す生体情報画像データを空間画像データとともに表示する。生体情報画像データは、例えば拡張現実画像（ＡＲ画像）である。情報端末１は、生体情報画像データ及び空間画像データを情報処理装置２に送信する。

　情報処理装置２は、情報端末１に表示されるユーザＵの生体情報画像データに基づいてユーザＵの状態を特定する。情報処理装置２は、例えば、生体情報画像データが入力されると、ユーザＵの状態を示すデータを出力する機械学習モデルに生体情報画像データを入力することによりユーザＵの状態を特定する。情報処理装置２は、特定した状態を示す状態データを情報端末１に送信する。状態データを受信した情報端末１は、空間画像データとともに状態データを表示する。

　図１０は、情報端末１に表示された画面の例を示す図である。領域Ｒ１１には空間画像データが表示されており、領域Ｒ１２には生体情報画像データが表示されており、領域Ｒ１３には、情報処理装置２から送信された状態データが表示されている。ユーザＵは、領域Ｒ１２に表示された生体情報画像データを見ることによっても自分自身の状態を把握できるが、領域Ｒ１３に表示された状態データを見ることにより、客観的に自分自身の状態を把握することができる。

　領域Ｒ１１には、空間画像の態様を変更するための操作をユーザＵから受けるための「変更」アイコンが表示されている。ユーザＵが「変更」アイコンを選択することにより、領域Ｒ１に表示される空間画像の態様が変更される。空間画像の態様は、例えば、床・壁・天井・家具等の、色相・彩度・明度、凹凸度合い、形状又は配置等である。情報端末１は、「変更」アイコンが選択されたことに応じて、変更後の空間画像の複数の候補を表示してもよく、推奨される空間画像を表示してもよい。また、アイコンを選択する方法は、クリック、タップ以外に、アイトラッキングによる注視・瞬き・ウインク等、又はハンドトラッキングによるジェスチャー等であってもよい。

　また、領域Ｒ１１には、表示されている空間画像を、ユーザＵのお気に入りの画像として登録するための「登録」アイコンが表示されている。情報端末１は、「登録」アイコンが選択された場合、表示されている空間画像を、ユーザＵのお気に入りの画像として記憶したり、空間画像を情報処理装置２に送信したりする。

　図１０（ａ）に示す例においては、領域Ｒ１１に表示された空間画像の明度が高く、領域Ｒ１３には、リラックス度が低く、緊張度が高いという状態が示されている。領域Ｒ１に表示されている空間画像がリビングの画像であり、ユーザＵがリビングではリラックスしたいと感じている場合、ユーザＵが「変更」アイコンを選択することにより、情報端末１は、領域Ｒ１３に表示されているユーザＵの状態が変化する可能性がある態様に空間画像を変更する。

　図１０（ｂ）は、図１０（ａ）に表示されている空間画像よりも明度が低い空間画像が表示された画面を示している。この状態で、領域Ｒ１２に表示されている生体情報の変動が小さくなっており、領域Ｒ１３には、リラックス度が高くなっていることが示されている。ユーザＵは、「登録」アイコンを選択することにより、図１０（ｂ）に表示された空間画像を登録することができる。なお、空間画像の態様は、明度に代えて、又は明度とともに、色相・彩度により示されてもよい。

　情報端末１は、表示した空間画像データを情報処理装置２に送信してもよい。そして、情報処理装置２は、情報端末１以外の装置に状態データと空間画像データとを関連付けて出力してもよい。情報処理装置２は、例えば情報端末１と異なる出力端末３に状態データと空間画像データとを関連付けて送信したり、状態データと空間画像データとを関連付けて印刷したりしてもよい。出力端末３は、例えばデザイナー、研究者又はマーケターのように建物や空間、又はこれらの画像データを設計する人（以下、「設計者等」という）が使用するコンピュータである。出力端末３が状態データと空間画像データとを関連付けて表示することで、設計者等は、どのような空間に対してユーザＵがどのような印象を持つかを把握することができ、設計に活用することができる。

［情報端末１の構成］
　図１１は、情報端末１の構成を示す図である。情報端末１は、表示部１３と、操作部１４と、記憶部１５と、制御部１６と、第１通信部１７と、第２通信部１８と、を有する。制御部１６は、操作受付部１６２と、表示処理部１６３と、生体情報取得部１６４と、状態データ取得部１６５と、データ送信部１６６と、を有する。

　第１通信部１７は、測定器Ｍとの間でデータを送受信するための通信インターフェースを有する。第１通信部１７は、例えばBluetooth（登録商標）又はWi-Fi（登録商標）のような無線通信インターフェースを有する。第１通信部１７は、測定器Ｍから受信した生体情報を生体情報取得部１６４に入力する。

　第２通信部１８は、ネットワークＮを介して情報処理装置２との間でデータを送受信するための通信インターフェースを有する。第２通信部１８は、例えばデータ送信部１６６から入力された生体情報画像データ及び空間画像データを情報処理装置２に送信し、情報処理装置２から受信した状態データを状態データ取得部１６５に入力する。

　表示部１３は、各種の情報を表示するディスプレイである。表示部１３は、例えば空間画像データに基づく空間画像を表示する。また、表示部１３は、空間画像を見ているユーザＵの生体情報に基づく生体情報画像データを作成し、作成した生体情報画像データに基づく生体情報画像を表示する。さらに、表示部１３は、第１通信部１７が状態データを情報処理装置２から受信した場合、状態データに基づくテキストを表示する。

　記憶部１５は、ＲＯＭ、ＲＡＭ及びＳＳＤ等の記憶媒体を有する。記憶部１５は、制御部１６が実行するプログラムを記憶する。また、記憶部１５は、空間画像データ、生体情報、生体情報画像データ等を一時的に記憶する。記憶部１５は、例えば、生体情報が取得された時刻に関連付けて、生体情報画像データ、及び当該時刻に表示部１３に表示されていた空間画像データを記憶する。

　さらに、記憶部１５は、表示処理部１６３が表示部１３に表示する空間画像の態様を変更するために用いる推奨状態データを記憶する。推奨状態データは、空間画像を識別するための情報（例えば空間画像名）と、空間画像を見たユーザの状態として推奨される状態とが関連付けられたデータである。

　図１２及び図１３は、推奨状態データの例を示す図である。図１２に示す例において、玄関の空間画像に「驚き度：高」という推奨状態が関連付けられている。また、リビングの空間画像に「リラックス度：高」という推奨状態が関連付けられている。推奨状態データにおいては、１つの空間画像名に複数の推奨状態が関連付けられていてもよい。

　推奨状態データは、制御部１６が実行するアプリケーションソフトウェアのプログラムに記述されていてもよいが、各空間においてどのような状態になりたいかという点は、ユーザＵによって異なり得る。そこで、記憶部１５は、操作部１４を介してユーザＵにより設定された空間画像別の推奨状態を記憶してもよい。また、推奨状態データは、推奨状態ではなく、推奨されない状態を示すデータを含んでもよい。

　図１３に示すように、推奨状態データは、空間画像名に関連付けて、空間画像を見たユーザＵの状態を示すスコアの許容範囲を示す数値を含んでもよい。図１３に示す例において、玄関においては、「驚き度」に要求されるスコアが「８以上」であり、「開放度」に要求されるスコアが「５以上」であり、その他の状態に要求されるスコアは任意になっている。このように、推奨状態データが、状態の種別ごとに許容される範囲を示すデータを含んでいることで、空間ごとにユーザＵの好みを反映させやすくなる。

　さらに、記憶部１５は、空間画像の態様とユーザＵの状態との関係の傾向を示すデータを記憶してもよい。一例として、記憶部１５は、明度が低い空間画像をユーザＵが見た場合に、明度が高い空間画像をユーザＵが見た場合よりも落ち着きを感じやすいといった傾向、又はユーザＵが一点透視の構図の空間画像を見た場合に、二点透視の構図の空間画像を見た場合よりも落ち着きを感じやすいといった傾向を示すデータを記憶する。このデータは、表示処理部１６３が表示する空間画像の態様を変更する場合に用いられる。

　制御部１６は、ＣＰＵを有する。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、操作受付部１６２、生体情報取得部１６４、状態データ取得部１６５、表示処理部１６３及びデータ送信部１６６として機能する。

　操作受付部１６２は、操作部１４から入力されるデータに基づいて、ユーザＵの操作を受け付ける。操作受付部１６２は、受け付けた操作の内容を、制御部１６内の適切な処理部に通知する。操作受付部１６２は、例えば、図１０に示した「変更」アイコンをユーザＵが選択する操作を受け付けたことを表示処理部１６３に通知する。また、操作受付部１６２は、表示部１３に表示された変更後の空間画像の複数の候補から１つの候補を選択する操作を受け付けたことを表示処理部１６３に通知する。アイコンを選択する方法は、クリック、タップ以外に、アイトラッキングによる注視・瞬き・ウインク等、又はハンドトラッキングによるジェスチャー等であってもよい。

　生体情報取得部１６４は、第１通信部１７を介して、情報端末１において空間画像を見ているユーザの生体情報を取得する。生体情報取得部１６４は、取得した生体情報を表示処理部１６３に入力する。

　状態データ取得部１６５は、第２通信部１８を介して、情報処理装置２が出力した状態データを取得する。状態データ取得部１６５は、取得した状態データを表示処理部１６３に入力する。

　表示処理部１６３は、表示部１３に表示するための画面データを作成することにより、各種の情報を表示部１３に表示させる。表示処理部１６３は、例えば、記憶部１５に記憶された仮想画像データに基づく仮想画像を表示部１３に表示させる。また、表示処理部１６３は、図１０に示すように、空間画像に重ねて生体情報に基づく生体情報画像を表示させる。さらに、表示処理部１６３は、状態データ取得部１６５が第２通信部１８を介して状態データを取得した場合、取得した状態データに基づくテキスト又は画像を空間画像に重ねて表示部１３に表示させる。表示処理部１６３は、リアルタイムでユーザＵの生体情報画像を表示させてもよく、過去の所定の時間（例えばユーザＵにより設定された数秒間）の生体情報を示す画像を表示させてもよい。

　表示処理部１６３は、状態データ取得部１６５が取得した状態データが、空間画像データを変更する場合に対応する所定の状態を示している場合に、表示中の空間画像と異なる更新空間画像に対応する更新空間画像データを表示させる。所定の状態は、例えば、空間画像名に関連付けて記憶部１５に記憶された推奨状態データが示す推奨状態と異なる状態である。

　表示処理部１６３は、推奨状態データが示す状態に状態データが示す状態を近づけるように空間画像の態様を変更したり、空間画像を他の空間画像に更新したりする。表示処理部１６３は、例えば、記憶部１５に記憶された空間画像の態様とユーザＵの状態との関係の傾向を示すデータを参照することにより、空間画像の明度を変更したり、構図を変更したりする。表示処理部１６３は、状態データが示す状態が、推奨状態データが示す許容範囲になるまで空間画像の態様の変更を継続してもよい。

　表示処理部１６３は、状態データ取得部１６５が取得した状態データを表示部１３に表示させた後に、推奨状態データが示す状態に状態データが示す状態が近づく可能性がある、一以上の更新空間画像候補を表示させてもよい。表示処理部１６３は、記憶部１５に記憶された空間画像の態様とユーザＵの状態との関係の傾向を示すデータを参照することにより更新空間画像候補を決定する。一例として、落ち着き度を高める必要がある場合、表示処理部１６３は、表示していた空間画像よりも明度が低い空間画像を更新空間画像候補に決定する。

　表示処理部１６３は、一以上の更新空間画像候補を表示させた後に、一以上の更新空間画像候補から一つの更新空間画像候補を選択する操作を操作受付部１６２が受け付けたことに応じて、選択された更新空間画像候補に対応する更新空間画像を表示させてもよい。表示処理部１６３がこのように動作することで、ユーザＵの状態が推奨状態になるとともに、ユーザＵが好む態様の空間画像を表示部１３に表示させることができる。

　表示処理部１６３は、ユーザＵのアバターの画像を、メタバースの画像である空間画像に重ねて表示させてもよい。表示処理部１６３は、例えばユーザＵにより選択された色の服装を装着したアバターの画像と、生体情報画像又は状態データとを、空間画像とともに表示させる。表示処理部１６３がユーザＵのアバターの画像と生体情報画像又は状態データとを表示させることで、自身が選択したアバターがメタバースに表示される場合にユーザＵの状態が適切な状態になるように、アバターの画像又はメタバースの画像を調整することが可能になる。

　データ送信部１６６は、生体情報画像に対応する生体情報画像データを情報処理装置２に送信する。データ送信部１６６は、例えば、表示部１３に表示されている画面から、図１０の領域Ｒ２に表示されている生体情報画像データを切り出して、切り出した生体情報画像データを情報処理装置２に送信する。仮想空間画像データに比べて生体情報画像データのサイズは小さいので、データ送信部１６６がこのように動作することで、情報処理装置２に送信するデータ量を少なくすることができる。

　データ送信部１６６は、生体情報画像データと、当該生体情報画像データに対応する生体情報画像が表示された空間画像に対応する空間画像データとを情報処理装置２に送信してもよい。データ送信部１６６は、通常は生体情報画像データのみを情報処理装置２に送信し、情報処理装置２から空間画像データの要求を受けた場合に、生体情報画像データに対応する生体情報を測定器Ｍが取得した時点で表示部１３に表示されていた空間画像データを記憶部１５から読み出して、読み出した空間画像データを情報処理装置２に送信してもよい。

　また、データ送信部１６６は、アバターの画像が空間画像に重ねて表示されている場合に、アバターの画像を削除した状態の空間画像データを情報処理装置２に送信してもよい。データ送信部１６６が、アバターの画像が含まれていない空間画像データを情報処理装置２に送信することで、情報処理装置２が出力する空間画像データを見る設計者等が、アバター画像の影響を受けずに空間画像データを評価したり解析したりすることが可能になる。

［情報処理装置２の構成］
　図１４は、情報処理装置２Ａの構成を示す図である。情報処理装置２は、通信部２１と、記憶部２２と、制御部２３と、を有する。制御部２３は、データ取得部２３１と、状態特定部２３５と、出力部２３４と、データ要求部２３６と、を有する。

　通信部２１は、ネットワークＮを介して情報端末１及び出力端末３とデータを送受信するための通信インターフェースを有する。通信部２１は、受信したデータをデータ取得部２３１に入力する。また、通信部２１は、出力部２３４及びデータ要求部２３６から入力されたデータを送信する。

　記憶部２２は、ＲＯＭ、ＲＡＭ及びＳＳＤ等の記憶媒体を有する。記憶部２２は、制御部２３が実行するプログラムを記憶する。また、記憶部２２は、生体情報画像データに基づいてユーザＵの状態を特定するために用いるデータを記憶する。当該データは、例えば、生体情報画像データが示す生体情報の波形の特徴とユーザＵの状態とが関連付けられたデータである。当該データは、生体情報画像データが入力されるとユーザＵの状態を示すデータを出力する機械学習モデルであってもよい。

　また、記憶部２２は、ユーザＵを識別するためのユーザ識別情報に関連付けてユーザＵの属性を記憶してもよい。ユーザＵの属性は、例えば、年齢、性別、家族構成又は居住地域である。

　制御部２３は、ＣＰＵを有しており、記憶部２２に記憶されたプログラムを実行することにより、データ取得部２３１、状態特定部２３５、出力部２３４及びデータ要求部２３６として機能する。

　データ取得部２３１は、通信部２１を介して、情報端末１から生体情報画像データを取得する。データ取得部２３１は、例えば、ユーザＵのユーザ識別情報に関連付けて生体情報画像データを取得する。データ取得部２３１は、取得した生体情報画像データを状態特定部２３５及び出力部２３４に入力する。

　データ取得部２３１は、通信部２１を介して、情報端末１に表示された空間画像データを取得してもよい。データ取得部２３１は、生体情報画像データと空間画像データとを関連付けて取得してもよく、生体情報画像データを取得した後に、当該生体情報画像データに対応する生体情報が測定器Ｍにより取得された時点で情報端末１に表示された空間画像データを取得してもよい。

　状態特定部２３５は、生体情報画像データに基づいてユーザＵの状態を特定する。状態特定部２３５は、記憶部２２において、生体情報画像データが示す生体情報の波形の特徴に関連付けられた状態を、ユーザＵの状態として特定する。状態特定部２３５は、予め、多数の生体情報画像データとユーザＵの状態とのセットを教師データとして用いて学習した機械学習モデルに生体情報画像データを入力し、機械学習モデルから出力される状態を示すデータに基づいてユーザＵの状態を特定してもよい。状態特定部２３５は、特定したユーザの状態を出力部２３４に通知する。

　出力部２３４は、状態特定部２３５が特定したユーザＵの状態を示す状態データを出力する。出力部２３４は、例えば、通信部２１を介して、ユーザＵが使用する情報端末１に対してユーザＵの状態データを送信する。出力部２３４は、通信部２１を介して、出力端末３に対してユーザＵの状態データを送信してもよい。

　出力部２３４は、空間画像データに関連付けて、当該空間画像データが表示されていた時点で取得された生体情報に対応する生体情報画像データに基づいて特定されたユーザの状態を示す状態データを出力してもよい。すなわち、出力部２３４は、状態データと、当該状態データの特定に用いられた生体情報画像データに対応する生体情報が測定器Ｍにより取得された時点で情報端末１に表示されていた空間画像データとを関連付けて送信してもよい。出力部２３４が状態データと空間画像データとを関連付けて出力することで、これらのデータを確認する設計者等が、それぞれの空間においてユーザＵがどのような状態になるかを把握しやすくなる。

　ユーザＵの属性によって、空間を見たユーザＵの感じ方が異なるという場合がある。そこで、出力部２３４は、記憶部２２を参照することにより、データ取得部２３１が取得した生体情報画像データに関連付けられたユーザ識別情報に対応する属性を特定し、当該生体情報画像データに対応する生体情報が取得された時点で表示されていた空間画像に対応する空間画像データと、状態データと、特定した属性とを関連付けて出力してもよい。出力部２３４が、ユーザＵの属性に関連付けて、空間画像データと状態データとを出力することで、これらのデータを確認する設計者等が、ユーザＵの属性によって、それぞれの空間における感じ方がどのように異なるかを把握しやすくなる。

　ところで、設計者等には、ユーザＵが所定の状態になりやすい空間がどのような空間であるかを把握したいというニーズがある。そこで、出力部２３４は、状態データが示す状態の種別に関連付けて、それぞれの種別のユーザＵの状態に対応する一以上の生体情報画像データに関連付けて送信された一以上の空間画像データを出力してもよい。一例として、設計者等が、人がリラックスできる空間の例を把握するための操作を行った場合、出力部２３４は、状態特定部２３５がリラックスした状態に対応することを特定した生体情報画像データに関連付けられた一以上の空間画像データを選択し、リラックスしやすい空間として、選択した空間画像データを出力する。

　ユーザＵの個性によるばらつきを抑制するために、出力部２３４は、複数の情報端末１からデータ取得部２３１が取得した生体情報画像データを用いて状態特定部２３５が特定したさまざまなユーザＵの状態のうち、ユーザＵがリラックスした状態に対応することを特定した複数の生体情報画像データに関連付けられた複数の空間画像データを選択してもよい。設計者等は、このような複数の空間画像データを見ることで、多数のユーザＵがリラックスしやすい空間がどのような空間であるかを把握しやすくなる。

　ユーザＵの属性によって傾向が異なるという可能性があるので、出力部２３４は、ユーザＵの属性と状態の種別とに関連付けて複数の空間画像データを出力してもよい。この場合、出力部２３４は、設計者等が設定した状態に対応する複数の生体情報画像データを、生体情報画像データを送信した情報端末１のユーザＵの属性ごとに分類する。そして、出力部２３４は、分類した属性ごとに、複数の生体情報画像データに対応する複数の空間画像データを選択する。

　出力部２３４が、所定の状態に対応する空間画像データを出力する場合、データ取得部２３１が生体情報画像データとともに空間画像データを取得し続けると、ネットワークＮを流れるデータが多くなるとともに、データ取得部２３１の処理の負荷も増大してしまう。そこで、データ要求部２３６は、状態特定部２３５がユーザＵの状態が所定の状態になったことを特定した場合に、所定の状態が特定された生体情報画像データに対応する生体情報が取得された時点で表示されていた空間画像に対応する空間画像データを要求するための要求データを情報端末１に送信する。

　この所定の状態は、例えば、設計者等によって設定された状態、又はユーザＵの状態に変化が生じた後の状態である。要求データには、例えば、生体情報画像データを識別するための情報として、ＩＤ又はタイムスタンプが含まれている。

　情報端末１は、要求データを受信したことに応じて、要求データが示す生体情報画像データに対応する生体情報が取得された時刻に表示していた空間画像データを記憶部１５から読み出して、データ送信部１６６が、読み出した空間画像データを送信する。出力部２３４は、データ要求部２３６が要求データを情報端末１に送信したことに応じて情報端末１が送信した空間画像データを、所定の状態を示す状態データに関連付けて出力する。情報端末１及び情報処理装置２がこのように構成されていることで、情報端末１と情報処理装置２との間で送受信される空間画像データの量を少なくすることができ、ネットワークＮ、情報端末１及び情報処理装置２の負荷を軽減することができる。

［情報処理システムＳ１における処理の流れ］
　図１５は、情報処理システムＳ１における処理の流れの一例を示すシーケンス図である。図１５に示すシーケンス図においては、状態データが情報端末１に表示される場合を例示している。図１５に示すシーケンス図は、ユーザＵが空間画像を見ている状態から開始している。

　情報端末１においては、表示処理部１６３が空間画像データに基づく空間画像を表示部１３に表示させている間に（Ｓ１１）、生体情報取得部１６４が測定器ＭからユーザＵの生体情報を取得する（Ｓ１２）。表示処理部１６３は、生体情報に基づく生体情報画像データを作成し、生体情報画像を表示部１３に表示させる（Ｓ１３）。また、データ送信部１６６は、生体情報画像データを情報処理装置２に送信する（Ｓ１４）。

　情報処理装置２においては、情報端末１から受信した生体情報画像データを状態特定部２３５が解析し（Ｓ２１）、ユーザＵの状態を特定する（Ｓ２２）。出力部２３４は、特定した状態データを出力する（Ｓ２３）。図１５に示す例において、出力部２３４は状態データを情報端末１に送信しているが、出力部２３４は、状態データを出力端末３に送信してもよい。状態データ取得部１６５が状態データを取得すると、表示処理部１６３は状態データを表示部１３に表示させる（Ｓ１５）。

　Ｓ１１からＳ１５までの処理が行われている間、データ要求部２３６は、状態特定部２３５が特定した状態が所定の状態であるかどうかを監視する（Ｓ２４）。データ要求部２３６は、状態特定部２３５が特定した状態が所定の状態であると判定した場合（Ｓ２４においてＹＥＳ）、空間画像データを要求するための要求データを情報端末１に送信する（Ｓ２５）。

　データ送信部１６６は、記憶部１５に記憶された空間画像データを参照することにより、要求データに基づいて特定される時刻において表示部１３に表示されていた空間画像データを特定し（Ｓ１６）、特定した空間画像データを情報処理装置２に送信する（Ｓ１７）。出力部２３４は、空間画像データと状態データとを関連付けて出力する（Ｓ２６）。

　表示部１３に空間画像データが表示されている間、情報端末１においては、空間画像を変更するための操作が行われたことを操作受付部１６２が監視する（Ｓ１８）。空間画像の態様を変更するための操作が行われたことを操作受付部１６２が検出した場合（Ｓ１８においてＹＥＳ）、表示処理部１６３は、その時点で表示している空間画像データと、状態データが示している状態とに基づいて、ユーザＵの状態が改善するように空間画像データを更新する（Ｓ１９）。

［情報処理システムＳ１による効果］
　従来のシステムでは、仮想現実空間や拡張現実画像が表示された空間等の仮想空間を見ているユーザ以外の人（例えばデザイナー、研究者又はマーケター）が、ユーザの反応を知ることはできたが、ユーザ（例えば仮想空間を見るだけのユーザ、及び仮想空間の制作関与しているデザイナー、研究者又はマーケターを含む）が、空間を見ている間の自分自身の状態を客観的に把握することができないという問題があった。

　これに対して、情報処理システムＳ１における情報端末１は、ユーザＵが空間画像を見ている間に取得された生体情報の波形を示す生体情報画像データを情報処理装置２に送信し、情報処理装置２は、生体情報画像データに基づいてユーザＵの状態を特定して状態データを作成する。情報端末１は、情報処理装置２から受信した状態データを空間画像とともに表示させることで、ユーザＵが、空間画像を見ている間の自分自身の状態を客観的に把握することが可能になる。その結果、ユーザＵが自身に適した空間画像に切り替えることが可能になる。このような情報処理システムＳ１は、自身のアバターをメタバースに表示させる用途に好適である。

　また、情報処理システムＳ１においては、情報処理装置２が、情報端末１に表示された生体情報画像データを解析することにより、ユーザＵの状態を特定する。したがって、情報処理装置２は、測定器Ｍから生体情報を直接取得することができない場合であっても、ユーザＵの状態を特定することができる。

　そして、情報処理装置２は、情報端末１から空間画像データを取得して、取得した空間画像データと状態データとを関連付けて出力する。情報処理装置２がこのようなデータを出力することで、設計者等が、どのような空間画像にすることが望ましいかを把握しやすくなる。また、情報処理装置２は、所定の状態を検出した場合に空間画像データを取得することで、空間画像データを常に情報端末１から情報処理装置２に送信する場合に比べて、データの受信量を少なくすることができ、情報処理装置２の処理の負荷を軽くすることもできる。

　本実施形態に係る技術は、現実の空間、仮想空間（メタバース空間を含む）を見るユーザが、空間のデザイナーに頼らずに自身が体験する空間に対して積極的に能動的に関心を持ち、ユーザ自身が空間を改良することに寄与できるようにする際に好適である。

［情報処理システムＳ２の概要］
　図１６は、情報処理システムＳ２の概要を示す図である。情報処理システムＳ２は、情報処理システムＳ１における情報処理装置２に代えて情報処理装置４を有しており、情報処理装置４が、空間画像データを情報端末１に送信する。そして、ユーザＵが空間画像を見ている間に、測定器ＭがネットワークＮを介して情報処理装置４に生体情報を送信する。情報処理装置４は、受信した生体情報に基づいてユーザＵの状態を特定し、状態データを情報端末１に送信する。情報処理装置４は、生体情報画像データを情報端末１に送信してもよい。このような構成により、情報端末１は、図１０に示したように空間画像を表示中にユーザＵの状態を表示することができる。

　図１７は、情報処理装置４の構成を示す図である。情報処理装置４は、通信部４１と、記憶部４２と、制御部４３と、を有する。

　通信部４１は、図１４に示した情報処理装置２における通信部２１に対応しており、記憶部４２は、情報処理装置２における記憶部２２に対応している。記憶部４２は、情報端末１に表示させる空間画像データを記憶している。記憶部４２は、後述する出力部４３３が空間画像データを送信した場合、空間画像データの送信先を示す情報（例えば情報端末１の識別情報又はユーザＵの識別情報）と、送信時刻とを空間画像データに関連付けて記憶する。

　記憶部４２は、情報処理システムＳ１における情報端末１の記憶部１５が記憶する推奨状態データ、及び空間画像の態様とユーザＵの状態との関係の傾向を示すデータを記憶してもよい。

　制御部４３は、情報処理装置２における制御部２３に対応するＣＰＵを有しており、記憶部４２に記憶されたプログラムを実行することにより、生体情報取得部４３１、状態特定部４３２及び出力部４３３として機能する。

　生体情報取得部４３１は、通信部４１を介して、測定器Ｍが送信した生体情報を取得する。すなわち、生体情報取得部４３１は、情報端末１に表示された空間画像データを見ているユーザＵの生体情報を取得する。生体情報取得部４３１は、取得した生体情報を状態特定部４３２に入力する。

　状態特定部４３２は、情報処理装置２における状態特定部２３５と同等の機能を有しており、生体情報取得部４３１から入力された生体情報に基づいて、ユーザＵの状態を特定する。状態特定部４３２は、特定した状態を示す状態データを出力部４３３に入力する。

　出力部４３３は、情報処理システムＳ１における表示処理部１６３が有していた機能と同等の機能を有する。具体的には、出力部４３３は、空間画像データを送信することにより、空間画像データを情報端末１に表示させる。また、出力部４３３は、状態特定部４３２が特定したユーザＵの状態を示す状態データと、当該状態データに対応する生体情報が取得された時点で情報端末１に表示されていた空間画像データとを関連付けて出力する。出力部４３３は、例えば、状態特定部４３２から入力された状態データを情報端末１に送信することで、ユーザＵが空間画像を見ている間に、ユーザＵの状態を情報端末１に表示させることができる。

　出力部４３３は、状態特定部４３２が特定したユーザＵの状態に基づいて、情報端末１に表示させる空間画像データを変更してもよい。具体的には、情報処理システムＳ１における表示処理部１６３と同様に、記憶部４２に記憶された推奨状態データ、及び空間画像の態様とユーザＵの状態との関係の傾向を示すデータを用いて、ユーザＵの状態を推奨状態に近づけるように空間画像データの態様を変更してもよい。

　出力部４３３は、空間画像データと状態データとを関連付けて出力端末３に出力してもよい。この場合、出力部４３３は、生体情報取得部４３１が生体情報を取得した時刻に関連付けて記憶部４２に記憶された空間画像データを特定し、特定した空間画像データと状態データとを関連付けて出力端末３に送信する。情報処理システムＳ１と同様に、出力部４３３は、ユーザＵの属性にさらに関連付けて、空間画像データと状態データとを出力してもよい。

　なお、情報処理装置４は、ネットワークＮを介することなく情報処理装置４に接続された情報端末１に、空間画像データと、生体情報画像データ又は状態データの少なくともいずれかと、を表示させてもよい。また、情報処理装置４が、ユーザＵが使用するコンピュータであり、情報処理装置４は、空間画像データと、生体情報画像データ又は状態データの少なくともいずれかと、をディスプレイに表示させてもよい。

　また、情報処理装置４は、複数のユーザＵが使用する情報端末１から、複数のユーザＵの生体情報を取得し、同じ空間画像を見ている複数のユーザＵの生体情報を示す複数の生体情報画像データを、同じ空間画像を見ている複数のユーザＵが使用している複数の情報端末１に送信してもよい。この場合、それぞれの情報端末１は、情報処理装置４から送信された複数のユーザＵに対応する複数の生体情報画像データを空間画像データに重ねて表示する。情報端末１がこのような画面を表示することで、ユーザＵは、自身の状態と他の人の状態とを比較することが可能になる。

　情報処理装置４は、複数のユーザＵに対応する複数の生体情報画像データを出力端末３に送信してもよい。この場合、出力端末３は、複数の生体情報画像データを空間画像データに重ねて表示する。出力端末３がこのような画面を表示することで、設計者等は、空間画像を見た複数のユーザＵがどのように状態になるかを把握することができるので、多くのユーザＵを考慮して空間画像を設計することが可能になる。

［情報処理システムＳ２による効果］
　情報処理システムＳ２においても、情報処理システムＳ１と同様に、ユーザＵが空間画像を見ている間のユーザＵの状態が情報端末１に表示されるので、ユーザＵが、空間画像を見ている間の自分自身の状態を客観的に把握することが可能になる。情報処理システムＳ２においては、情報処理装置４が、空間画像データを情報端末１に提供するとともに、取得した生体情報に基づいて特定した状態データを情報端末１に提供するので、情報端末１が生体情報を取得したり、空間画像データを予め記憶したりする機能を有していない汎用的なコンピュータであっても情報処理システムＳ１と同様の効果を得ることができる。

［変形例］
　以上の説明においては、生体情報画像データとして、心拍数又は脳波に基づくグラフの画像データを主に例示したが、生体情報画像データは、ユーザＵの視線の位置を示す画像データであってもよい。ユーザＵの視線の位置を示す画像データは、例えば、空間画像においてユーザＵが見ている時間が長い領域と、ユーザＵが見ている時間が短い領域とによって色又は模様が異なるヒートマップ画像のデータである。この場合、測定器Ｍは例えば眼鏡型又はゴーグル型の端末であり、当該端末が有するセンサーによりユーザＵの視線の方向を特定することにより、ユーザＵが見ている領域が特定される。ユーザＵは、ヒートマップ画像を見ることで、自身が空間画像のどの領域を見る傾向が強いかを把握することができる。

　情報処理装置２又は情報処理装置４は、ヒートマップ画像データを重ねた空間画像データを出力端末３に出力してもよい。これにより、設計者等は、ユーザＵが注目しやすい領域を考慮して空間画像を設計することが可能になる。また、情報処理装置２又は情報処理装置４は、ヒートマップ画像データを解析することにより、ユーザＵが見る傾向が強い領域を解析したり、ユーザＵの視線の動きの傾向によりユーザＵの感情を解析したりして、解析した結果を出力してもよい。これにより、設計者等は、感情を考慮して空間画像を設計しやすくなる。

（付記）
　本発明の他の態様の情報処理システムは、情報端末と、前記情報端末と通信可能な情報処理装置と、を備え、前記情報端末は、前記情報端末において空間画像を見ているユーザの生体情報を取得する生体情報取得部と、前記情報端末に、前記空間画像に重ねて前記生体情報に基づく生体情報画像を表示させる表示処理部と、前記生体情報画像に対応する生体情報画像データを前記情報処理装置に送信するデータ送信部と、を有し、前記情報処理装置は、前記情報端末から前記生体情報画像データを取得するデータ取得部と、前記生体情報画像データに基づいて、前記ユーザの状態を特定する状態特定部と、前記状態特定部が特定した前記ユーザの状態を示す状態データを出力する出力部と、を有してもよい。

　前記出力部は、前記状態データを前記情報端末に送信し、前記情報端末は、前記出力部が出力した前記状態データを取得する状態データ取得部をさらに有し、前記表示処理部は、前記空間画像に重ねて前記状態データを表示させてもよい。

　前記表示処理部は、前記状態データ取得部が取得した前記状態データが、前記空間画像を変更する場合に対応する所定の状態を示している場合に、表示中の前記空間画像と異なる更新空間画像を表示させてもよい。

　前記情報端末は、前記ユーザの操作を受け付ける操作受付部をさらに有し、前記表示処理部は、前記状態データ取得部が取得した前記状態データを表示させた後に、一以上の更新空間画像候補を表示させ、前記一以上の更新空間画像候補から一つの更新空間画像候補を選択する操作を前記操作受付部が受け付けたことに応じて、選択された前記更新空間画像候補に対応する更新空間画像を表示させてもよい。

　前記情報処理装置は、前記ユーザを識別するためのユーザ識別情報に関連付けて前記ユーザの属性を記憶する記憶部をさらに有し、前記データ取得部は、前記ユーザ識別情報に関連付けて前記生体情報画像データを取得し、前記出力部は、前記記憶部を参照することにより、前記データ取得部が取得した前記生体情報画像データに関連付けられた前記ユーザ識別情報に対応する前記属性を特定し、前記生体情報画像データに対応する前記生体情報が取得された時点で表示されていた前記空間画像に対応する空間画像データと、前記状態データと、特定した前記属性とを関連付けて出力してもよい。

　前記データ送信部は、前記生体情報画像データと、当該生体情報画像データに対応する前記生体情報画像が表示された前記空間画像に対応する空間画像データとを前記情報処理装置に送信し、前記出力部は、前記空間画像データに関連付けて、当該空間画像データが表示されていた時点で取得された生体情報に対応する前記生体情報画像データに基づいて特定された前記ユーザの状態を示す前記状態データを出力してもよい。

　前記データ送信部は、前記生体情報画像データと、当該生体情報画像データに対応する前記生体情報画像が表示された前記空間画像に対応する空間画像データとを前記情報処理装置に送信し、前記出力部は、前記状態データが示す状態の種別に関連付けて、それぞれの前記種別の前記ユーザの状態に対応する一以上の前記生体情報画像データに関連付けて送信された一以上の前記空間画像データを出力してもよい。

　前記情報処理装置は、前記状態特定部が前記ユーザの状態が所定の状態になったことを特定した場合に、前記所定の状態が特定された前記生体情報画像データに対応する前記生体情報が取得された時点で表示されていた前記空間画像に対応する空間画像データを要求するための要求データを前記情報端末に送信するデータ要求部をさらに有し、前記出力部は、前記データ要求部が前記要求データを前記情報端末に送信したことに応じて前記情報端末が送信した前記空間画像データを、前記所定の状態を示す前記状態データに関連付けて出力してもよい。

　本発明の他の態様の情報処理装置は、空間画像データを送信することにより、前記空間画像データを情報端末に表示させる出力部と、前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得する生体情報取得部と、前記生体情報に基づいて、前記ユーザの状態を特定する状態特定部と、を有し、前記出力部は、前記状態特定部が特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力してもよい。

　本発明の他の態様の情報処理方法は、コンピュータが実行する、空間画像データを送信することにより、前記空間画像データを情報端末に表示させるステップと、前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得するステップと、前記生体情報に基づいて、前記ユーザの状態を特定するステップと、特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力するステップと、を有してもよい。

　本発明の他の態様のプログラムは、コンピュータに、空間画像データを送信することにより、前記空間画像データを情報端末に表示させるステップと、前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得するステップと、前記生体情報に基づいて、前記ユーザの状態を特定するステップと、特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力するステップと、を実行させてもよい。

　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１　情報端末
２　情報処理装置
３　出力端末
４　情報処理装置
１１　通信部
１３　表示部
１４　操作部
１５　記憶部
１６　制御部
１７　第１通信部
１８　第２通信部
２１　通信部
２２　記憶部
２３　制御部
４１　通信部
４２　記憶部
４３　制御部
１６１　データ取得部
１６２　操作受付部
１６３　表示処理部
１６４　生体情報取得部
１６５　状態データ取得部
１６６　データ送信部
２３１　データ取得部
２３２　注視特定部
２３３　特徴特定部
２３４　出力部
２３５　状態特定部
２３６　データ要求部
４３１　生体情報取得部
４３２　状態特定部
４３３　出力部

Claims

　情報端末と、前記情報端末と通信可能な情報処理装置と、を備え、
　前記情報端末は、
　　ユーザの操作を受け付ける操作受付部と、
　　前記操作受付部が受け付けた前記ユーザの操作に基づいて、前記情報処理装置から提供される仮想空間画像データの表示領域及び表示向きを変化させることにより仮想空間画像を表示する表示処理部と、
　を有し、
　前記情報処理装置は、
　　前記ユーザが見ている前記仮想空間画像を特定するための表示状態データを取得するデータ取得部と、
　　前記表示状態データに基づいて、前記仮想空間画像を見ている前記ユーザが前記仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定する注視特定部と、
　　前記情報端末に表示された前記仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定する特徴特定部と、
　　前記注視時点と前記特徴発生時点とを関連付けて出力する出力部と、
　を有する情報処理システム。
　前記データ取得部は、前記ユーザが前記仮想空間画像の閲覧を終了したことを示す終了データを前記情報端末から取得し、
　前記出力部は、前記注視時点及び前記特徴発生時点に関連付けて、前記終了データが示す閲覧終了時点を示す情報を出力する、
　請求項１に記載の情報処理システム。
　前記出力部は、前記注視時点及び前記特徴発生時点に基づいて前記ユーザの生体状態を推定した結果を示す状態データを出力する、
　請求項１に記載の情報処理システム。
　前記特徴特定部は、前記情報端末に表示された前記仮想空間画像の構図が一点透視の構図を含む前記特徴発生時点を特定する、
　請求項１に記載の情報処理システム。
　前記特徴特定部は、前記ユーザが前記仮想空間画像において移動することができる進路を示す案内情報の種別、大きさ又は位置のうち、少なくともいずれかを含む前記特徴発生時点を特定する、
　請求項１に記載の情報処理システム。
　前記注視特定部は、前記ユーザが前記案内情報を注視した時点を特定する、
　請求項５に記載の情報処理システム。
　前記仮想空間画像に複数の前記案内情報が含まれている場合、前記注視特定部は、複数の前記案内情報のうち、より長い時間にわたって注視された前記案内情報を特定する、
　請求項６に記載の情報処理システム。
　前記特徴特定部は、前記注視時点を含む所定の時間内に表示された前記仮想空間画像に複数の物体それぞれが表示された時間の割合を特定し、
　前記出力部は、前記仮想空間画像に関連付けて前記時間の割合を示す情報を出力する、
　請求項１に記載の情報処理システム。
　前記出力部は、前記ユーザが前記仮想空間画像の閲覧を継続した時間を示す情報を出力する、
　請求項１に記載の情報処理システム。
　前記情報処理装置は、前記ユーザの属性を記憶する記憶部をさらに有し、
　前記出力部は、前記ユーザの属性に関連付けて、前記注視時点と前記特徴発生時点とを関連付けて出力する、
　請求項１に記載の情報処理システム。
　前記出力部は、前記ユーザが前記仮想空間画像の閲覧を継続した時間が異なる場合における前記注視時点と、前記特徴発生時点と、を時系列で示す複数の画像を同じ時間軸で表示する、
　請求項１に記載の情報処理システム。
　ユーザが見ている、前記ユーザの操作により表示領域及び表示向きが変化する仮想空間画像を特定するための表示状態データを取得するデータ取得部と、
　前記ユーザが前記仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定する注視特定部と、
　前記ユーザが使用する情報端末に表示された前記仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定する特徴特定部と、
　前記注視時点と前記特徴発生時点とを関連付けて出力する出力部と、
　を有する情報処理装置。
　コンピュータが実行する、
　ユーザが見ている、前記ユーザの操作により表示領域及び表示向きが変化する仮想空間画像を特定するための表示状態データを取得するステップと、
　前記ユーザが前記仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定するステップと、
　前記ユーザが使用する情報端末に表示された前記仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定するステップと、
　前記注視時点と前記特徴発生時点とを関連付けて出力するステップと、
　を有する情報処理方法。
　コンピュータに、
　ユーザが見ている、前記ユーザの操作により表示領域及び表示向きが変化する仮想空間画像を特定するための表示状態データを取得するステップと、
　前記ユーザが前記仮想空間画像の少なくとも一部を所定時間以上にわたって注視した時点である注視時点を特定するステップと、
　前記ユーザが使用する情報端末に表示された前記仮想空間画像に所定の特徴が含まれていた時点である特徴発生時点を特定するステップと、
　前記注視時点と前記特徴発生時点とを関連付けて出力するステップと、
　を実行させるためのプログラム。