JP7467094B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、仮想空間の表示設定を行う際の情報処理技術に関する。

仮想空間を体験する技術として人工現実感（VR：Virtual Reality）技術が知られている。また、現実空間と仮想空間とをリアルタイムに融合させる技術として、複合現実感（MR：Mixed Reality）技術や拡張現実感（AR：Augmented Reality）技術が知られている。これらの技術は、コンピュータによって作られる仮想空間をあたかも現実空間に存在するかのように表示する技術である。

体験者が、仮想物体を現実空間に実在するように感じるための装置の一つとして、ビデオシースルー型の情報処理装置がある。ビデオシースルー型の情報処理装置は、ビデオカメラで現実世界を撮影し、その画像に仮想物体を重畳した合成画像を、リアルタイムにディスプレイ等に表示させて体験者に提示する装置である。一般にこのような情報処理装置としては、背面にビデオカメラを有するタブレット端末と呼ばれる携帯型情報端末や、頭部装着型のビデオシースルー型ＨＭＤ（Head Mounted Display）などが用いられる。体験者は、これら携帯型情報端末やＨＭＤを通して仮想物体などを観察する。以下では、仮想空間上に表示される３次元情報を持った仮想物体を３ＤＣＧと呼ぶ。

しかし、３ＤＣＧを観察する場合、現実物を観察する場合との目の輻輳の違いや、画像表示が実時間に対して遅れて表示される現象（表示レイテンシ）などにより、体験者によっては疲労や動揺病に似た症状（以下、３Ｄ酔いと呼ぶ）が生ずる場合がある。このような問題を緩和するために、時間経過とともに色温度を調整する手法（特許文献１）や、体験者の生理状態に基づいて表示する物体の奥行を調整する手法（特許文献２）などが提案されている。また、３ＤＣＧの観察に伴う３Ｄ酔いや疲労の軽減のために色温度（特許文献１）、動画像の動き（特許文献３）、３Ｄ物体の出現頻度（特許文献４）などを調整する手法が提案されている。

特開２０１３－２５７４５７号公報 特開２００４－３５７７６０号公報 特開２００８－２３０５７５号公報 特開２０１０－８８７４９号公報

しかし、特許文献１～４に開示されているような表示設定を変更する手法を用いることによる３Ｄ酔いや疲労の軽減効果は、体験者によってまちまちである。このため、各体験者のそれぞれにとって効果のある表示設定を探す必要がある。さらに、どの表示設定がどの程度３Ｄ酔いや疲労を軽減するかを調べるには、複数の表示設定に対して実際に３ＤＣＧを観察して効果を確かめる必要がある。しかしながら、このような体験者にとって効果のある表示設定を探すことは、非常に手間がかかり容易ではない。

そこで、本発明は、体験者に生ずる可能性がある３Ｄ酔いや疲労などの症状を軽減できる効果的な表示設定を容易に実現できるようにすることを目的とする。

本発明の情報処理装置は、仮想空間を体験する体験者に生ずる可能性がある酔い又は疲労の症状を表す指標を取得する指標取得手段と、前記体験者が見る画像の表示設定を取得する設定取得手段と、前記取得された指標と前記表示設定とを、前記体験者に通知する通知手段と、を有し、前記指標取得手段は、複数の種類の指標の中の少なくとも一つを取得し、前記複数の種類の指標は、ユーザによって入力された指標と、前記体験者の位置姿勢の変化を表す指標と、前記体験者の瞬き回数を表す指標と、前記体験者の眼球のサッケード運動の発生回数を表す指標と、前記体験者の温度を表す指標と、前記体験者の発汗を表す指標と、前記体験者の心拍または脈拍を表す指標と、の一つ以上を含むことを特徴とする。

本発明によれば、各体験者に生ずる可能性がある３Ｄ酔いや疲労などの症状を軽減できる効果的な表示を容易に実現することができる。

第一の実施形態に係る情報処理装置の構成を示すブロック図である。 情報処理装置のハードウェア構成例を示す図である。 第一の実施形態の情報処理装置における処理のフローチャートである。 第一の実施形態に係る変形例の構成を示すブロック図である。 第二の実施形態に係る情報処理装置の構成を示すブロック図である。 第一の時点における処理手順のフローチャートである。 第二の時点における処理手順のフローチャート図である。 第二の実施形態に係る変形例の構成を示すブロック図である。

以下、添付の図面を参照して、本発明に係る実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜第一の実施形態＞
本実施形態では、人工現実感（VR：Virtual Reality）、特に複合現実感（MR：Mixed Reality）や拡張現実感（AR：Augmented Reality）を、体験者に対して提供するシステムを例に挙げる。なお、ＭＲやＡＲは、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待されている。

本実施形態では、体験者が頭部装着型のビデオシースルー型ＨＭＤを装着し、仮想空間に表示される３次元情報を持った仮想物体（３ＤＣＧ）を、当該ＨＭＤの表示パネルに表示させて、体験者にＭＲやＡＲを提供する例を挙げる。本実施形態の情報処理装置は、仮想空間の体験者に生ずる可能性がある症状を表す指標を取得する指標取得機能と、体験者がＨＭＤの表示パネル上で見る画像の表示設定を取得する表示設定取得機能とを有する。そして、本実施形態の情報処理装置は、それら取得された指標と表示設定とを、体験者に通知する通知機能と、記録する記録機能とを有している。詳細は後述するが、本実施形態の情報処理装置は、ＨＭＤを装着して３ＤＣＧを観察する体験者の位置及び姿勢を基に、体験者に生ずる疲労や動揺病に似た症状（３Ｄ酔い）の程度を示す指標（酔い・疲労指標とする）を算出する。そして本実施形態の情報処理装置は、その酔い・疲労指標とその時のＨＭＤにおける表示設定とを、体験者へ通知し、さらに記録する。すなわち本実施形態では、ＨＭＤの表示パネルに表示される画像の例えば表示画角の違いが、体験者の酔い・疲労にどの程度影響を及ぼすかを、体験者への通知、記録等することでフィードバックする。ＨＭＤの表示パネルに表示される画像の表示画角の違いとは、ＨＭＤの種類による差やＨＭＤに表示する画像の設定による差を挙げることができる。なお、ＨＭＤについては既知であるためその図示や構成等の説明は省略する。

図１は、本実施形態に係る情報処理装置１００を含むシステムの構成例を示すブロック図である。
図１に示すように、本実施形態に係るシステムは、情報処理装置１００、位置姿勢出力部１１０、指標出力部１５０、表示部１２０、記録部１３０、及び画角設定部１４０を有して構成されている。また情報処理装置１００は、指標取得部１０１、表示設定取得部１０２、及び通知部１０３を有して構成されている。なお情報処理装置１００は、例えば、位置姿勢出力部１１０と指標出力部１５０と画角設定部１４０の一つ以上を含んでいてもよい。

位置姿勢出力部１１０は、ＨＭＤに搭載されている加速度センサ、角速度センサ等からの検出データを基に、当該ＨＭＤを装着している体験者の頭部位置と頭部の向き及び動きを含む姿勢とを算出等して取得する。以下、体験者の頭部の位置と姿勢を合わせて位置姿勢と表記する。なお、体験者の位置姿勢等の算出手法等は既知であるためその説明は省略する。そして、位置姿勢出力部１１０は、体験者の位置姿勢の情報を指標出力部１５０に出力する。
指標出力部１５０は、位置姿勢出力部１１０から出力された位置姿勢の情報を、情報処理装置１００の指標取得部１０１に出力する。

情報処理装置１００の指標取得部１０１は、指標出力部１５０から送出されてきた位置姿勢の情報を取得する。そして、指標取得部１０１は、位置姿勢の情報を基に、ＨＭＤを装着して３ＤＣＧを観察する体験者に生ずる可能性がある疲労や動揺病に似た症状（３Ｄ酔い）を表す指標（以下、酔い・疲労指標と呼ぶ）を算出等して取得する。酔い・疲労指標の詳細は後述する。指標取得部１０１にて取得された酔い・疲労指標の情報は、通知部１０３に送られる。

画角設定部１４０は、ＨＭＤに搭載されている表示パネル上に表示される画像の表示画角を、表示設定を表す情報として、情報処理装置１００の表示設定取得部１０２に出力する。

情報処理装置１００の表示設定取得部１０２は、画角設定部１４０から表示画角を表す表示設定の情報を取得する。そして、表示設定取得部１０２は、その取得した表示設定の情報を、通知部１０３に出力する。

通知部１０３は、指標取得部１０１から酔い・疲労指標の情報を取得し、また、表示設定取得部１０２から表示設定の情報を取得する。そして、通知部１０３は、その取得した酔い・疲労指標と表示設定の情報を、表示部１２０及び記録部１３０に出力する。

表示部１２０は、ＨＭＤの表示パネルに、通知部１０３から送られてきた酔い・疲労指標及び表示設定を表示する。なお、酔い・疲労指標と表示設定の表示は、それら酔い・疲労指標と表示設定の内容を表すテキストや記号、アイコン、画像など、体験者がそれら酔い・疲労指標と表示設定の内容を認識できる情報として表示される。
記録部１３０は、通知部１０３から送られてきた酔い・疲労指標及び表示設定の情報を、ハードディスクやメモリカードなどの記憶媒体に記録する。

図２は、本実施形態の情報処理装置１００のハードウェア構成例を示した図である。
図２において、ＣＰＵ２０１は、バス２１０を介して接続されている各デバイスを統括的に制御する。ＣＰＵ２０１は、読み出し専用メモリであるＲＯＭ２０３に記憶された処理ステップやプログラムを読み出して実行する。ＲＯＭ２０３には、オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等が記憶されており、それらは、ランダムアクセスメモリであるＲＡＭ２０２に一時記憶され、ＣＰＵ２０１によって適宜実行される。

Ｉ／Ｆ２０９は、入力Ｉ／Ｆと出力Ｉ／Ｆを含む。入力Ｉ／Ｆは、外部の装置（ＨＭＤや操作装置など）からの入力信号を、情報処理装置１００で処理可能な形式の信号として入力する。出力Ｉ／Ｆは、情報処理装置１００からの出力信号を、外部の装置（ＨＭＤとその表示パネルなど）が処理可能な形式として出力する。

キーボード２０４とマウス２０５は、本情報処理装置１００の操作者が指示等を入力するための操作デバイスである。
表示部２０６は、情報処理装置１００のディスプレイ装置に画像やテキスト、ユーザインターフェース画面等を表示する。
外部記憶装置２０７は、情報処理装置１００に接続された記憶装置である。記憶媒体ドライブ２０８は、情報処理装置１００にメモリカード等の記憶媒体が装着された際に記憶媒体を駆動するドライブ装置である。本実施形態の場合、図１の記録部１３０は、通知部１０３から送られてきた酔い・疲労指標と表示設定の情報を、外部記憶装置２０７に記憶又は記憶媒体ドライブ２０８を介して記憶媒体に記録する。

図１に示した情報処理装置１００の各機能部は、図２に示したハードウェア構成におけるＣＰＵ２０１が、ＲＯＭ２０３に格納されたプログラムをＲＡＭ２０２に展開し、後述する各フローチャート等に従った処理を実行することで実現することができる。また例えば、ＣＰＵ２０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、本実施形態で説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

次に第一の実施形態に係る情報処理装置１００における処理手順について説明する。図３は、第一の実施形態の情報処理装置１００の処理手順を示すフローチャートである。
ステップＳ３００で処理が開始されると、指標取得部１０１は、ステップＳ３０１として、指標出力部１５０から、現時点から前の直近６０秒間における体験者の位置姿勢の情報を取得する。例えば、ＨＭＤに搭載されている加速度センサ、角速度センサ等の検出データを基に、指標取得部１０１は、直近６０秒間における体験者の位置姿勢の情報を例えばフレーム毎に取得する。そして、指標取得部１０１は、直近６０秒間で取得した各位置姿勢の情報から、空間上での移動距離（軌跡長）をその移動した空間の外周面積で割った単位面積当たりの軌跡長を算出し、それを酔い・疲労指標として取得する。指標取得部１０１は、酔い・疲労指標の情報を通知部１０３に出力し、その後、情報処理装置１００の処理はステップＳ３０２に移る。

なお、位置姿勢に基づく単位面積当たりの軌跡長は、下記の参考文献１に開示されている手法により算出することができる。酔い・疲労指標は、体験者における同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など、位置姿勢に基づく体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。

参考文献１：大川剛、喬・柴田康成、小川哲也、宮田秀雄: 重心動揺検査―単位面積軌跡長の意義―健常者における検討、Equilibrium Res Vol. 54

ステップＳ３０２に移ると、表示設定取得部１０２は、画角設定部１４０からＨＭＤの表示パネルに表示される画像の表示画角を表す表示設定の情報を取得する。表示設定取得部１０２は表示設定の情報を通知部１０３に出力し、その後、情報処理装置１００の処理はステップＳ３０３に移る。

ステップＳ３０３に移ると、通知部１０３は、ステップＳ３０３で取得された酔い・疲労指標の情報と、ステップＳ３０２で取得された表示設定の情報とを、表示部１２０に通知する。表示部１２０は、通知された酔い・疲労指標と表示設定とを表示パネルに表示する。ステップＳ３０３の後、情報処理装置１００の処理はステップＳ３０４に移る。

ステップＳ３０４に移ると、通知部１０３は、酔い・疲労指標と表示設定の情報を、記録部１３０に通知する。記録部１３０は、通知された酔い・疲労指標と表示設定の情報を記憶媒体に記録する。

本実施形態によれば、体験者は、ステップＳ３０３でＨＭＤの表示パネルに表示された酔い・疲労指標と表示設定の情報を見ることにより、現在の表示画角における自身の単位面積当たりの軌跡長の変化のフィードバックをリアルタイムに知ることができる。これにより、体験者は、現在の表示画角設定が自身の酔い・疲労に与える影響を把握することができることになる。そして、体験者は、複数の表示画角設定において同様の体験を繰り返すことにより、自身の酔い・疲労への影響が少なく、３ＤＣＧの表示にも違和感のない適切な画角設定を学習することができる。

また本実施形態の情報処理装置１００は、ステップＳ３０４で記録部１３０によって記録された表示画角設定と酔い・疲労指標の変化を集計し、表示画角と酔い・疲労指標の相関分析や回帰分析などを行うことができる。これらの分析を行うことで、酔い・疲労と画角設定の相関関係を明らかにでき、この結果に従って、酔い・疲労を軽減するような画角設定を導くことができる。

（第一の実施形態の変形例１）
第一の実施形態の変形例１として、体験者の位置姿勢を出力する位置姿勢出力部１１０の代わりに、図４に示すように、酔い・疲労によって変動する指標を取得して出力する変動指標出力部４００が用いられてもよい。なお、第一の実施形態の変形例１の場合、変動指標出力部４００以外の構成は前述の図１と同様であるとする。また変形例１の情報処理装置１００は、変動指標出力部４００と指標出力部１５０と画角設定部１４０の少なくとも一つを含んでいてもよい。

変形例１において、変動指標出力部４００が取得する、酔い・疲労によって変動する指標は、体験者の酔い・疲労に影響のある可能性のある指標であれば、どのような指標であってもよい。変形例１の場合、変動指標出力部４００は、酔い・疲労によって変動する指標として、例えば以下の（１）～（８）のような複数の種類の情報の少なくとも一つを、取得して指標出力部１５０に出力する。

（１）体験者自身が酔い・疲労を感じたことをシステムに通知するためユーザ入力
（２）直近の一定期間における体験者の位置の空間上の移動距離（軌跡長）
（３）直近の一定期間における体験者の姿勢の変化量
（４）直近の一定期間における体験者の瞬き回数
（５）直近の一定期間における体験者の眼球のサッケード運動の発生回数
（６）体験者の温度（体温）
（７）体験者の発汗（体験者の掌の伝導率など、体験者の発汗によって変動する指標であれば、公知のいずれの指標でも良い）
（８）直近の一定期間における体験者の心拍数または脈拍数

上記の（１）に挙げた、体験者からの酔い・疲労を感じたことに関するユーザ入力は、システムが通知を認識できる手法であれば、公知のいずれの手法が用いられてもよい。当該ユーザ入力として、例えば図２のキーボード２０４やマウス２０５の操作、不図示のソフトウェアによるボタンやハードウェアによるボタン操作、音声認識を介した入力などが挙げられる。

変形例１において、変動指標出力部４００は、上記の（１）～（８）に挙げた少なくとも一つの指標（それらの組み合わせを含む）の情報を、指標出力部１５０に出力する。指標出力部１５０は、変動指標出力部４００から送られてきた情報を、情報処理装置１００の指標取得部１０１に出力する。

指標取得部１０１は、指標出力部１５０から送られてきた酔い・疲労の変動指標と、前述の表示設定と、酔い・疲労指標とをセットとして、通知部１０３に入力する。
そして変形例１の通知部１０３は、入力された酔い・疲労指標の一覧と、表示設定取得部１０２から入力された表示設定とを、表示部１２０と記録部１３０に出力する。

第一の実施形態の変形例１によれば、体験者の酔い・疲労の程度をより多くの種類の指標で判別できるようになる。これにより各体験者の酔い・疲労の程度を反映しやすい指標を利用することができるようになり、表示設定と酔い・疲労の相関関係をより正確に検知、分析することが可能となる。

（第一の実施形態の変形例２）
第一の実施形態の変形例２として、ＨＭＤの表示パネルに表示される画像の画角表示設定を出力する画角設定部１４０の代わりに、図４に示すように、酔い・疲労に影響のある表示設定の情報を出力する表示設定部４１０が用いられてもよい。なお変形例２の情報処理装置１００は、表示設定部４１０を含んでいてもよい。また第一の実施形態の変形例２の場合、表示設定部４１０以外の構成は前述の図１と同様であってもよく、前述の変形例１と同様に変動指標出力部４００が備えられていてもよい。

変形例２において、表示設定部４１０が取得する、酔い・疲労に影響のある表示設定は、体験者の酔い・疲労に影響のある可能性のある表示設定であれば、いずれの表示設定であってもよい。変形例２の場合、表示設定部４１０は、酔い・疲労に影響のある表示設定に関する情報として、例えば以下の（９）～（１９）のような複数の種類の情報の少なくとも一つを、取得して表示設定取得部１０２に出力する。

（９）Timewarp（参考文献２）の有効・無効と表示画像の最大移動量（強度）
（１０）表示パネルに画像が表示されている時間の割合（DutyRate）
（１１）表示画像の解像度及び表示パネルの解像度
（１２）表示パネルの輝度
（１３）表示パネルの色空間
（１４）表示パネルの色設定
（１５）表示パネル上の一定位置に同じ画像を表示し続けるか否か、及びその画像の表示パネル上での専有面積率（固定画像表示設定）
（１６）表示パネル上のＣＧ（Computer Graphics）表示領域の専有面積率
（１７）FoveatedRendering（参考文献３）の有効・無効と解像度低下範囲と解像度低下率（FoveatedRendering設定）
（１８）体験者の視線移動中の表示パネルへの黒画面の挿入の有効・無効と黒挿入する移動速度の閾値
（１９）体験者の視線移動中の表示パネルのメッシュ分割の有効・無効とメッシュ分割を有効にする移動速度の閾値

なお上記の（９）に挙げたTimewarpに関する技術は下記の参考文献２に開示されており、ＨＭＤ装着者の視線の動きに合わせて画像の表示位置を変更する技術である。

参考文献２：Daniel Evangelakos, Michael Mara:Extendted TimeWarp Compensation for Virtual Reality, poster at I3D 2016

また上記の（１０）に挙げた表示パネルに画像が表示されている時間の割合（DutyRate）は、１フレームのうち、表示パネルに画像が表示されている時間の割合である。
上記の（１４）に挙げた表示パネルの色設定は、ガンマ補正やカラープロファイルなど、実際にパネルに表示される色に関する設定であれば、公知のいずれであってもよい。
上記の（１７）に挙げたFoveatedRenderingに関する技術は、下記の参考文献３に開示されており、ＨＭＤ装着者の注視点以外の画像の解像度を落として描画する技術である。

参考文献３：Wilson S. Geisler, Jeffrey S. Perry:Variable-Resolution Displays for Visual Communication and Simulation, SID Symposium Digest of Technical Papers Volume 30, Issue1 May 1999

第２の実施形態の変形例２において、表示設定部４１０は、上記の（９）～（１９）に挙げた少なくとも一つの表示設定に関する情報（それらの組み合わせを含む）を、表示設定取得部１０２に出力する。
変形例２の場合、表示設定取得部１０２は、表示設定部４１０から送られてきた表示設定と、前述の酔い・疲労指標とをセットとして、通知部１０３に入力する。
そして変形例２の通知部１０３は、入力された表示項目と酔い・疲労指標とを、表示部１２０と記録部１３０に出力する。

第一の実施形態の変形例２によれば、より多くの表示設定が体験者の酔い・疲労に及ぼす影響を検知、分析できるようになる。これにより、各体験者の酔い・疲労をより多く軽減するような表示設定を把握、分析することができるようになる。

（第一の実施形態の変形例３）
第一の実施形態の変形例３として、体験者に対する酔い・疲労と表示設定の関係を体験後に分析することのみを目的とする場合には、第一の実施形態の表示部１２０を無くし、通知部１０３が記録部１３０に通知するようにしてもよい。
本変形例３によれば、体験中に体験者を邪魔することなく、後から酔い・疲労に関連する表示設定を分析することが可能となる。

（第一の実施形態の変形例４）
第一の実施形態の変形例４として、体験者に対する酔い・疲労と表示設定の関係をリアルタイムなフィードバックのみから学習するために、第一の実施形態の記録部１３０を無くし、通知部１０３が表示部１２０のみに通知するようにしてもよい。
本変形例４によれば、酔い・疲労指標と表示設定の記録の負荷がなくなり、体験中の計算負荷を減らしつつ、体験者には現在の表示設定における酔い・疲労指標の変化のフィードバックを与えることができるようになる。

（第一の実施形態の変形例５）
第一の実施形態の変形例５として、図３のステップＳ３０３において表示部１２０への通知を単位面積当たりの軌跡長が一定の基準値を超えた場合のみに行うようにしてもよい。この時の基準値は、ユーザが指定した値でも良いし、前述した参考文献１に開示されている健常者の重心動揺の軌跡長など、体験者の酔い・疲労の増大を示すものであれば公知のいずれの値でも良い。
本変形例５によれば、体験者が酔い・疲労を感じた際に有効になっていた表示設定のみを選別することができる。これにより、より精度の高い表示設定の影響度の把握、分析ができるようになる。

＜第二の実施形態＞
第二の実施形態では、体験者の酔い・疲労指標として体験者の位置姿勢の軌跡長とユーザ入力とを用い、表示設定として表示画角設定とTimewarp表示設定とを用いる。第二の実施形態では、酔い・疲労指標と表示設定の記録と変更を、第一の時点と第二の時点の二つの時点で別々に行う。第一の時点では、各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値とを記録することで、各体験者の表示設定が酔い・疲労指標へ及ぼす影響を記録する。第二の時点では、第一の時点で記録した結果に基づき、表示設定を自動的に変更する。

図５は、第二の実施形態に係るシステムの構成例を示したブロック図である。なお第一の実施形態と同じ構成については説明を省略する。
第二の実施形態のシステムは、図５に示すように、前述した第一の実施形態の構成に加えて、Timewarp設定取得部５５０、ユーザ入力部５０４、指標及び設定保持部５０６、時間取得部５０７、及び表示設定変更部５０８を有して構成されている。

Timewarp設定取得部５５０は、現在のTimewarpの有効・無効と最大移動量（強度）を取得し、表示設定取得部１０２に送る。
ユーザ入力部５０４は、体験者が酔いや疲労を感じた際の入力を受け付け、指標及び設定保持部５０６に送る。なお、ユーザ入力部５０４はソフトウェアによるボタン入力、ハードウェアによるボタン入力、音声入力などユーザがシステムに酔いや疲労を感じたことを通知できるものであれば、公知のいずれのものでも良い。

指標及び設定保持部５０６は、第一の時点では指標取得部１０１から取得した酔い・疲労指標と、表示設定取得部１０２から取得した表示設定と、時間取得部５０７から取得した体験時間との各情報を保持する。体験時間は、当該表示設定によって体験者に酔い・疲労の症状が生じるまでの時間に相当し、その時間によって当該表示設定による酔い・疲労の症状への影響を評価することが可能な時間である。また指標及び設定保持部５０６は、第二の時点では第一の時点で保持した酔い・疲労指標を判定部５０９に出力する。さらに指標及び設定保持部５０６は、第一の時点で保持した表示設定と体験時間の情報を、表示設定変更部５０８に出力する。

時間取得部５０７は、体験者によるＭＲやＡＲの体験開始からの経過時間の情報を、指標及び設定保持部５０６に出力する。
表示設定変更部５０８は、通知部１０３からの通知を受け、指標及び設定保持部５０６から、第一の時点で保持した表示設定と体験時間の情報を取得する。
判定部５０９は、指標及び設定保持部５０６が第一の時点で保持した酔い・疲労指標の情報を取得し、判定基準とする。さらに、判定部５０９は、指標取得部１０１から酔い・疲労指標を取得し、その酔い・疲労指標の値が判定基準を超えていた場合には通知部１０３に通知を出力する。

次に第二の実施形態に係る情報処理装置５００の処理手順について説明する。図６は第一の時点における情報処理装置５００の処理手順を示すフローチャートである。図７は、第二の時点における情報処理装置５００の処理手順を示すフローチャートである。

第二の実施形態の情報処理装置５００は、第一の時点では各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を記録する。

以下、図６に示すフローチャートを用いて第一の時点における情報処理装置５００の処理の流れを説明する。
ステップＳ６０１で処理が開始されると、指標取得部１０１は、ステップＳ６０２において、指標出力部１５０から、現時点から前の直近６０秒間の体験者の位置姿勢の情報を取得する。

そして、指標取得部１０１は、取得した位置姿勢の空間上での移動距離（軌跡長）を移動した空間の外周面積で割った単位面積当たりの軌跡長を、酔い・疲労指標として取得する。さらに指標取得部１０１は、直近６０秒間の姿勢変化量についても酔い・疲労指標として取得する。なお、第一の実施形態の場合と同様に、酔い・疲労指標は、同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など位置姿勢を用いて体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。ステップＳ６０２の後、情報処理装置５００の処理はステップＳ６０３に移る。

ステップＳ６０３に移ると、表示設定取得部１０２は、Timewarp設定取得部５５０からTimewarpの有効・無効と最大移動量（強度）の情報を取得し、画角設定部１４０から表示されている画像の表示画角に係る表示設定の情報を取得する。ステップＳ６０３の後、情報処理装置５００の処理はステップＳ６０４へ移る。

ステップＳ６０４に移ると、指標及び設定保持部５０６は、ユーザ入力部５０４からのユーザ入力があったか否かを判定する。ここで、体験者は、酔いまたは疲労を感じた場合、それをユーザ入力部５０４から入力する。指標及び設定保持部５０６は、ステップＳ６０４において、酔いまたは疲労を感じたユーザ入力があった場合には処理をステップＳ６０５に移し、一方、ユーザ入力がない場合には処理をステップＳ６０１に戻す。

ステップＳ６０５に移ると、指標及び設定保持部５０６は、指標取得部１０１の出力を受け取る。指標取得部１０１は、第一の実施形態で説明したのと同様に、直近６０秒間の体験者の位置姿勢の空間上での移動距離（軌跡長）を移動した空間の外周面積で割った単位面積当たりの軌跡長を出力する。さらに、指標取得部１０１は、直近６０秒間の姿勢変化量を出力する。そして、指標及び設定保持部５０６は、これらを体験者の酔い・疲労時の位置姿勢の単位面積当たりの軌跡長と姿勢変化量として保持する。ステップＳ６０５の後、情報処理装置５００の処理はステップＳ６０６に移る。

ステップＳ６０６に移ると、時間取得部５０７は、体験者の連続体験時間を取得し、その連続体験時間の情報を指標及び設定保持部５０６に送る。ステップＳ６０６の後、情報処理装置５００の処理はステップＳ６０７に移る。

ステップＳ６０７に移ると、指標及び設定保持部５０６は、表示設定取得部１０２からTimewarpの有効・無効と最大移動量（強度）の情報と、表示されている画像の表示画角に係る表示設定の情報を取得する。また、指標及び設定保持部５０６は、ステップＳ６０６で取得された体験者の連続体験時間を、Timewarpの有効・無効と最大移動量と表示されている表示画角の表示設定における酔い・疲労到達時間として保持する。このステップＳ６０７の後、情報処理装置５００は、第一の時間における処理を終了する。

次に、図７に示すフローチャートを用いて第二の時点における処理の流れを説明する。情報処理装置５００は、第二の時点では体験者の酔い・疲労状態に応じて自動的に表示設定を変更する。
ステップＳ７０１で処理が開始されると、指標取得部１０１は、ステップＳ７０２において、指標出力部１５０から、現時点から前の直近６０秒間の体験者の位置姿勢の情報を取得する。ステップＳ７０２では、前述のステップＳ６０２の処理と同様に、取得した位置姿勢の空間上での移動距離（軌跡長）を移動した空間の外周面積で割った単位面積当たりの軌跡長を、酔い・疲労指標として取得する。また指標取得部１０１は、直近６０秒間の姿勢変化量についても酔い・疲労指標として取得する。なお、この場合も前述同様に、酔い・疲労指標は、同一姿勢の連続時間、同一位置の連続時間、姿勢の変化速度、位置の変化速度など位置姿勢を用いて体験者の状態変化を示す指標であれば、公知のいずれの指標でも良い。ステップＳ７０２の後、情報処理装置５００の処理はステップＳ７０３に移る。

ステップＳ７０３に移ると、判定部５０９は、指標取得部１０１から、現在の酔い・疲労指標を取得する。さらに判定部５０９は、指標及び設定保持部５０６から図６のステップＳ６０７で記録した体験者の酔い・疲労時の体験者の位置姿勢の軌跡長と姿勢変化量とを取得する。そして、判定部５０９は、酔い・疲労指標が第一の基準に達したか否かを判定する。本実施形態の場合、第一の基準は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の３０％に達しているか、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の８０％以下である場合として設定されている。判定部５０９は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の３０％に達している、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の８０％以下であると判定した場合にステップＳ７０４に処理を移す。一方、判定部５０９は、現在の単位面積当たりの軌跡長が酔い・疲労時の体験者の単位面積当たりの軌跡長の３０％に達していない、若しくは現在の姿勢変化量が酔い・疲労時の体験者の姿勢変化量の８０％を超えている場合にはステップＳ７０２に処理を戻す。なお第一の基準は、ユーザが任意に決めた値やユーザ入力の有無でも良く、ステップＳ６０５で保持した体験者の酔い・疲労時の酔い・疲労指標に対する任意の割合でも良く、体験者が酔い・疲労の程度が大きくなっていることを示すものであればいずれでも良い。また、酔い・疲労指標は、複数の指標に対して、各指標の酔い・疲労時の値を１として正規化した後に、各指標に対する正規化した値を重み付けして加算した値が用いられても良い。ステップＳ７０３の後、情報処理装置５００の処理はステップＳ７０４に移る。

ステップＳ７０４に移ると、表示設定変更部５０８は、指標及び設定保持部５０６からステップＳ６０７で保持した表示設定の情報を取得する。そして、表示設定変更部５０８は、取得した表示設定のうち、最も酔い・疲労到達時間の短かったTimewarp設定を取得し、表示部１２０のTimewarp設定に反映する。ステップＳ７０４の後、情報処理装置５００の処理はステップＳ７０５に移る。

ステップＳ７０５に移ると、判定部５０９は、指標取得部１０１から現在の単位面積当たりの軌跡長を取得する。さらに判定部５０９は、指標及び設定保持部５０６からステップＳ６０７で記録した体験者の酔い・疲労時の単位面積当たりの軌跡長を取得する。そして、判定部５０９は、酔い・疲労指標が第二の基準に達したか否か判定する。本実施形態の場合、第二の基準は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の８０％に達しているか、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の３０％以下である場合として設定されている。判定部５０９は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の８０％に達している、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の３０％以下であると判定した場合にステップＳ７０６に処理を移す。一方、判定部５０９は、現在の単位面積当たりの軌跡長が酔い・疲労時の単位面積の軌跡長の８０％に達していない、若しくは姿勢変化量が酔い・疲労時の姿勢変化量の３０％を超えていると判定した場合にはステップＳ７０２に処理を戻す。なお第二の基準は、ユーザが任意に決めた値やユーザ入力の有無でも良く、ステップＳ６０５で保持した体験者の酔い・疲労時の酔い・疲労指標に対する任意の割合でも良く、体験者が酔い・疲労の程度が大きくなっていることを示すものであればいずれでも良い。また前述同様に、酔い・疲労指標は、複数の指標に対して、各指標の酔い・疲労時の値を１として正規化した後に、各指標に対する正規化した値を重み付けして加算した値が指標として用いられても良い。また、基準は、第一の基準や第二の基準に限らず任意の数の基準が設けられても良い。

ステップＳ７０６に移ると、表示設定変更部５０８は、指標及び設定保持部５０６からステップＳ６０７で保持されている画角の表示設定のうち、最も酔い・疲労到達時間の短かった画角の表示設定の情報を取得し、表示部１２０の画角の表示設定に反映する。

第２の実施形態によれば、それぞれの体験者が酔い・疲労を感じる前に、酔い・疲労を軽減する表示設定を適用することができる。また、体験者自身が、酔い・疲労を軽減する表示設定を把握していない場合でも、酔い・疲労を軽減する表示設定を推測し、適用することができる。さらに、第２の実施形態によれば、体験の酔い・疲労状態を判別する指標が明らかになっていない場合でも、体験者ごとの酔い・疲労指標と基準と推測し、体験者ごとの酔い・疲労度合を判別することができる。

（第二の実施形態の変形例１）
第二の実施形態においても変形例１として、前述の第一の実施形態の変形例１と同様に、体験者の位置姿勢を出力する位置姿勢出力部１１０の代わりに、酔い・疲労によって変動する指標を取得して出力する変動指標出力部が用いられてもよい。第二の実施形態の変形例１に係る構成の図示は省略するが、第二の実施形態の場合は図５の位置姿勢出力部１１０に代えて、前述の図４に示したのと同様の変動指標出力部４００が設けられる。

第二の実施形態の変形例１の場合、変動指標出力部４００は、前述の第一の実施形態の変形例１において（２）～（８）で説明した複数の種類の指標のうち、少なくとも一つの指標の情報を、指標出力部１５０に出力する。指標出力部１５０は、変動指標出力部４００から送られてきた情報を、情報処理装置１００の指標取得部１０１に出力する。
第二の実施形態の変形例１においても、指標取得部１０１は、酔い・疲労の変動指標と前述の表示設定と酔い・疲労指標とをセットとして、通知部１０３に入力する。

第二の実施形態の変形例１においても、第一の実施形態の場合と同様に、体験者の酔い・疲労の程度をより多くの指標で判別できるようになる。これにより各体験者の酔い・疲労の程度を反映しやすい指標を利用することができるようになり、表示設定と酔い・疲労の相関関係をより正確に検知、分析することができる。

（第二の実施形態の変形例２）
第二の実施形態においても変形例２として、前述の第一の実施形態の変形例２と同様に、ＨＭＤの表示パネルに表示される画像の画角表示設定を出力する画角設定部１４０の代わりに、酔い・疲労に影響のある表示設定の情報を出力する表示設定部を用いても良い。第二の実施形態の変形例２に係る構成の図示は省略するが、第二の実施形態の場合は図５の画角設定部１４０に代えて、前述の図４に示したのと同様の表示設定部４１０が設けられる。

第二の実施形態の変形例２の場合、表示設定部４１０は、前述の第一の実施形態の変形例２において（９）～（１９）で説明した複数の種類の情報の少なくとも一つを取得して、情報処理装置５００の表示設定取得部１０２に出力する。そして、第二の実施形態の変形例２の場合、表示設定取得部１０２は、それら各表示設定と、Timewarp設定取得部５５０から取得したTimewarpの有効・無効と最大移動量（強度）の情報とを、指標及び設定保持部５０６に出力する。

第二の実施形態の変形例２によれば、第一の実施形態の場合と同様に、より多くの表示設定が体験者の酔い・疲労に及ぼす影響を検知、分析できるようになり、各体験者の酔い・疲労をより多く軽減するような表示設定を把握、分析することができるようになる。

（第二の実施形態の変形例３）
第二の実施形態の変形例３では、表示設定と体験者の酔い・疲労の関係を機械学習する例を挙げる。第二の実施形態の変形例１と変形例２の場合、指標及び設定保持部５０６は、図６のステップＳ６０７において表示設定取得部１０２から表示設定を取得し、ステップＳ６０６で取得した体験者の連続体験時間を、表示設定の酔い・疲労到達時間として保持する。第二の実施形態の変形例３では、その代わりに、表示設定、酔い・疲労指標を入力とし、ユーザ入力を出力として学習を行い、その結果を保持する。当該学習に用いる学習アルゴリズムは、ニューラルネットワークでの学習など、原因と結果の因果関係を推測するアルゴリズムであれば、公知のいずれの学習アルゴリズムを用いて良い。

第二の実施形態の変形例３によれば、複数の表示設定の中からどの表示設定がどの程度酔い・疲労に影響するのかをより正確に分析することができる。また、酔い・疲労の判定基準についても複数の酔い・疲労指標の中からより正確に酔い・疲労を判定できる組み合わせを分析することができる。

（第二の実施形態の変形例４）
第二の実施形態の変形例４では、第一の時点での酔い・疲労指標と第二の時点での酔い・疲労指標とで異なる指標を用いる。
本変形例４の場合、情報処理装置は、前述した図５の構成に指標選定部８０１を加えた、図８に示すような情報処理装置８００となされる。

指標選定部８０１は、第一の時点においては、保持した酔い・疲労指標から、体験者の酔い・疲労状態をより高い精度で判定できる指標や、より簡便な指標を選定する。そして、判定部５０９は、第二の時点において、指標選定部８０１によって選定された指標を用いて体験者の酔い・疲労状態を判定する。このため、指標選定部８０１は、第一の時点において、指標及び設定保持部５０６から、酔い・疲労状態での酔い・疲労指標を取得する。一方、第二の時点において、指標選定部８０１は、判定部５０９へ酔い・疲労の判定に用いる酔い・疲労指標の種類を出力する。

以下、第二の実施形態の変形例４の場合において、図６、図７に示した第二の実施形態のフローチャートとの差異を説明する。
変形例４の場合、指標選定部８０１は、第二の時点のステップＳ７０３、Ｓ７０４で基準とする酔い・疲労指標として、第一の時点のステップＳ６０５で保持した体験者の酔い・疲労状態での酔い・疲労指標のみを基準として出力し、ユーザ入力を出力しない。また単に、ユーザ入力を除くだけでなく、より体験者の酔い・疲労状態と相関の高い指標を学習・分析し、その結果に基づき選定しても良い。

また第一の時点の処理を、第二の実施形態の変形例１で述べたように複数の酔い・疲労指標で複数回行い、各試行のステップＳ６０５で保持した体験者の酔い・疲労状態での酔い・疲労指標が学習、分析されても良い。
このとき、学習や分析は、各酔い・疲労指標を入力とし、ユーザ入力による酔い・疲労状態を出力としたものであれば、相関分析や回帰分析、ニューラルネットによる学習など公知のいずれの手段でも良い。
そして、この学習・分析結果から、ユーザ入力を除く体験者の酔い・疲労状態と相関の高い酔い・疲労指標のみを、第二の時点のステップＳ７０３、Ｓ７０４において指標選定部８０１が出力しても良い。

第二の実施形態の変形例４によれば、第二の時点ではユーザ入力の必要がなくなり、体験者の体験を阻害することなく、酔い・疲労を軽減することができる。また、体験者の酔い・疲労状態に関係ない指標を排除することでより軽い負荷と高い精度で酔い・疲労状態を判定するができるようなる。

（第二の実施形態の変形例５）
第二の実施形態の変形例５では、体験者ごとに、酔い・疲労指標と表示設定の保持、設定を行う例を挙げる。
本変形例５の場合、情報処理装置は、前述した図５の構成にユーザ特定部８０２を加えた、図８に示す情報処理装置８００となされる。

ユーザ特定部８０２は、現在の体験者を特定し、指標及び設定保持部５０６と判定部５０９へ体験者のＩＤ（識別情報）を出力する。体験者の特定は、ユーザによる入力や、指紋認証など、個人を特定できる方法であれば公知のいずれの手段でも良い。

本変形例５の場合、指標及び設定保持部５０６は、第一の時点のステップＳ６０５での各表示設定における酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を、体験者ごとに保持する。
本変形例５の場合、第二の時点でも体験者を選び、該当する体験者の酔い・疲労状態への到達時間と、酔い・疲労状態での酔い・疲労指標の値を基準として用いる。

さらに、本変形例５においても、前述した第二の実施形態の変形例４と同様に、第一の時点と第二の時点で異なる酔い・疲労指標を用いても良い。このとき、各酔い・疲労指標を入力とし、ユーザ入力による酔い・疲労状態を出力とした、学習・分析が体験者ごとに行い、その学習・分析結果が保持される。

第二の実施形態の変形例５によれば、体験者ごとに酔い・疲労状態を良く反映する指標が異なる場合でも、適切な酔い・疲労指標を選択することができ、より正確に酔い・疲労状態を判定することができる。これによって、体験者ごとの酔い・疲労を軽減する表示設定の分析と自動設定をより正確に行うことができる。

以上説明したように、各実施形態によれば、各体験者にとって、３Ｄ酔いや疲労の軽減効果のある表示設定を提供することができる。これによって、体験者が複数の表示設定の中から３Ｄ酔い、疲労を軽減する設定を選ぶことができるようになる。また、システムが３Ｄ酔いや疲労の度合いに応じて自動的に表示設定を変更することができるようになる。また、機械学習の入力、出力として本発明の表示設定、酔い・疲労の度合いを利用することで、表示設定と酔い・疲労の関係を学習させることができる。

本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、１０１：指標取得部、１０２：表示設定取得部、１０３：通知部、１１０：位置姿勢出力部、１２０：表示部、１３０：記録部、１４０：画角設定部、１５０：指標出力部

Claims (7)

1. 仮想空間を体験する体験者に生ずる可能性がある酔い又は疲労の症状を表す指標を取得する指標取得手段と、
   前記体験者が見る画像の表示設定を取得する設定取得手段と、
   前記取得された指標と前記表示設定とを、前記体験者に通知する通知手段と、
   を有し、
   前記指標取得手段は、複数の種類の指標の中の少なくとも一つを取得し、
   前記複数の種類の指標は、
   ユーザによって入力された指標と、
   前記体験者の位置姿勢の変化を表す指標と、
   前記体験者の瞬き回数を表す指標と、
   前記体験者の眼球のサッケード運動の発生回数を表す指標と、
   前記体験者の温度を表す指標と、
   前記体験者の発汗を表す指標と、
   前記体験者の心拍または脈拍を表す指標と、
   の一つ以上を含むことを特徴とする情報処理装置。
2. 前記設定取得手段は、複数の種類の表示設定の中の少なくとも一つを取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記複数の種類の表示設定は、
   表示パネルに表示される画像の表示画角を表す表示設定と、
   前記体験者の視線の動きに合わせて画像の表示位置を変更する機能の有効又は無効及び表示画像の最大移動量を表す表示設定と、
   前記表示パネルに画像が表示されている時間の割合を表す表示設定と、
   前記表示パネルの解像度及び表示画像の解像度を表す表示設定と、
   前記表示パネルの輝度を表す表示設定と、
   前記表示パネルの色空間を表す表示設定と、
   前記表示パネルの色設定を表す表示設定と、
   前記表示パネルの一定位置に同じ画像を表示し続けるか否か及びその画像の表示パネル上での専有面積率を表す表示設定と、
   前記表示パネルのＣＧ（Computer Graphics）表示領域の専有面積率を表す表示設定と、
   前記体験者の注視点以外の画像の解像度を落として描画する機能の有効・無効と解像度低下範囲と解像度低下率の設定を表す表示設定と、
   前記体験者の視線移動中の前記表示パネルへの黒画面の挿入の有効又は無効と黒挿入する移動速度の閾値を表す表示設定と、
   前記体験者の視線移動中の表示パネルのメッシュ分割の有効・無効とメッシュ分割を有効にする移動速度の閾値を表す表示設定と、
   の一つ以上を含むことを特徴とする請求項２に記載の情報処理装置。
4. 前記指標取得手段によって取得された前記指標と、前記設定取得手段によって取得された前記表示設定とを、記録する記録手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記指標と前記表示設定との関係を保持する保持手段と、
   前記保持された関係に基づいて、前記表示設定を変更する設定変更手段と、を有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 情報処理装置が実行する情報処理方法であって、
   仮想空間を体験する体験者に生ずる可能性がある酔い又は疲労の症状を表す指標を取得する指標取得工程と、
   体験者が見る画像の表示設定を取得する設定取得工程と、
   前記取得された指標と前記表示設定とを、前記体験者に通知する通知工程と、
   を有し、
   前記指標取得工程では、複数の種類の指標の中の少なくとも一つを取得し、
   前記複数の種類の指標は、
   ユーザによって入力された指標と、
   前記体験者の位置姿勢の変化を表す指標と、
   前記体験者の瞬き回数を表す指標と、
   前記体験者の眼球のサッケード運動の発生回数を表す指標と、
   前記体験者の温度を表す指標と、
   前記体験者の発汗を表す指標と、
   前記体験者の心拍または脈拍を表す指標と、
   の一つ以上を含むことを特徴とする情報処理方法。
7. コンピュータを、請求項１乃至５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images