JP6934806B2 - 表示装置、表示装置の制御方法 - Google Patents

Description

本発明は、現実空間と仮想空間との合成空間である複合現実空間の提示技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、次のような技術が知られている。ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして該撮像により得られる撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳した画像をＨＭＤ使用者に提示する。

ビデオシースルー型ＨＭＤではＣＣＤ等の電荷結合素子により被写体を撮像して該被写体のデジタル画像データを取得し、該デジタル画像データにＣＧ画像を重畳したＭＲ画像（複合現実空間画像）を液晶や有機ＥＬ等の表示デバイスを介して装着者に表示する。ＨＭＤの他に外部装置があり、ＨＭＤから外部装置にＨＭＤで撮像した撮像画像を送信する。外部装置は、ＨＭＤから受信した撮像画像からＨＭＤの位置姿勢を計算し、この計算結果を元に撮像画像に対してＣＧ画像を重畳した重畳画像を生成してＨＭＤへ送信する。ＨＭＤは、外部装置から受信した重畳画像を表示する。ＨＭＤ使用者はＨＭＤ装着することでＭＲ空間を体験することが可能となる。

ＨＭＤを装着して没入しているようなとき、ＨＭＤ使用者によっては映像酔いが発生する。特許文献１では、ＨＭＤ装着者が視認する情報量を抑えることによって映像酔いを低減する技術が提案されている。

特開２０１７−０５９１９６号公報

特許文献１には、仮想カメラの移動量が所定以上の場合は視認する情報量を抑える処理が開示されている。しかし特許文献１に開示されている技術では、ＨＭＤ使用者は映像酔いを発生しやすい動作を認識せず、映像酔いを感じることがあった。

本発明はこのような問題に鑑みてなされたものであり、表示装置を観察するユーザの映像酔いを軽減するための技術を提供する。

本発明の一様態は、表示装置であって、
前記表示装置の動きが、酔い易い動きとして予め設定されている酔い動作である場合に、該酔い動作の酔い易さを判定する判定手段と、
前記酔い動作の酔い易さに対応する警告を報知する報知手段と
を備えることを特徴とする。

本発明の構成によれば、表示装置を観察するユーザの映像酔いを軽減することができる。

システムの構成例を示す図。 ＨＭＤ１１０１及び画像処理装置１１０４のそれぞれの機能構成例を示すブロック図。 動作判定部１２０５の機能構成例を示すブロック図。 酔い動作の一例を示す図。 動作判定の一例を示す図。 複合現実空間画像、警告メッセージを重畳した複合現実空間画像、の一例を示す図。 ＨＭＤ１１０１が行う処理のフローチャート。 ステップＳ１７０５における処理の詳細を示すフローチャート。 動作定義部１３０１に格納されている情報の構成例を示す図。 ＨＭＤ１１０１及び画像処理装置１１０４のそれぞれの機能構成例を示すブロック図。 動作判定部１２０５の機能構成例を示すブロック図。 動作判定の一例を示す図。 動作定義部１３０１が保持しているテーブルの構成例を示す図。 ステップＳ１７０５における処理の詳細を示すフローチャート。 動作判定部１２０５の機能構成例を示すブロック図。 点数部２５０１が保持しているテーブルの構成例を示す図。 第３の実施形態を説明する図。 ステップＳ１７０５における処理の詳細を示すフローチャート。 ＨＭＤ１１０１及び画像処理装置１１０４のそれぞれの機能構成例を示すブロック図。 動作判定部１２０５の機能構成例を示すブロック図。 点数部３００１が保持している情報の構成例を示す図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、現実空間の画像と仮想空間の画像との合成画像（複合現実空間の画像）を頭部装着型表示装置に提示するシステムであって、該頭部装着型表示装置の動きが酔い易い動きに該当するのであれば警告を報知するシステムの一例について説明する。

先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ＨＭＤ１１０１、表示装置１１０３、画像処理装置１１０４、操作装置１１０５、を有する。そしてＨＭＤ１１０１と画像処理装置１１０４とは、無線若しくは有線のネットワークを介して互いにデータ通信が可能なように構成されている。ＨＭＤ１１０１と画像処理装置１１０４との間の無線ネットワークには、例えば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を適用することができる。なお、ＨＭＤ１１０１及び画像処理装置１１０４は、１つ以上の通信機器を介して互いにデータ通信を行うようにしても良い。また画像処理装置１１０４には、表示装置１１０３及び操作装置１１０５が接続されている。

本実施形態では、ＨＭＤ１１０１を頭部装着型表示装置の一例として使用したケースについて説明するが、ＨＭＤ１１０１以外の頭部装着型表示装置を用いても構わない。また、頭部装着型表示装置に限らず、ハンドヘルド型の表示装置など、他の種類の表示装置を用いても良い。

次に、ＨＭＤ１１０１及び画像処理装置１１０４のそれぞれの機能構成例について、図２のブロック図を用いて説明する。

先ずＨＭＤ１１０１について説明する。撮像部１２０２は、現実空間の動画像を撮像し、撮像した動画像の各フレームの画像（現実空間の撮像画像）を順次、通信部１２０４を介して画像処理装置１１０４に対して送信する。撮像部１２０２は、例えば、ＨＭＤ１１０１を頭部に装着したユーザ（以下、ＨＭＤユーザと称する場合がある）の眼の近傍に位置するようにＨＭＤ１１０１に取り付けられる。

姿勢センサ部１２０３は、加速度センサやジャイロセンサ等のセンサである。姿勢センサ部１２０３は、「自身の姿勢を表す姿勢情報（例えばクオータ二オン）」、「自身の加速度」、「自身の位置姿勢を基準とするローカル座標系を構成する各軸（Ｘ軸、Ｙ軸、Ｚ軸）周りの自身の角速度」、を測定する。以下では姿勢センサ部１２０３が測定した姿勢情報、角速度、加速度をそれぞれ、ＨＭＤ１１０１の姿勢情報、角速度、加速度と称する場合がある。そして姿勢センサ部１２０３は、測定した情報のうち姿勢情報を通信部１２０４を介して画像処理装置１１０４に対して送信する。

なお、姿勢センサ部１２０３が測定するものは自身の姿勢情報、角速度、加速度の全てに限らず、このうち１つ以上であっても良いし、これらに代えて若しくは加えて自身の位置など自身に係る他の情報を測定するようにしても良い。

表示部１２０６は、ＨＭＤユーザの眼前に位置するようにＨＭＤ１１０１に取り付けられており、動作判定部１２０５から出力された画像や文字を表示する。

音声出力部１２０８は、ＨＭＤユーザの耳（両方の耳若しくは片方の耳）に対して音声を出力可能な位置に取り付けられており、動作判定部１２０５から出力された音声信号に基づく音声を出力する。

動作判定部１２０５は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１（ＨＭＤユーザの頭部）の動きが、酔い易い動きとして予め設定されている規定の動きに該当するのか否かを判断する。そして動作判定部１２０５は、ＨＭＤ１１０１の動きが規定の動きに該当するのであれば、ユーザに対して警告を報知するべく、画像処理装置１１０４から受信した画像に警告を表す情報を重畳して表示部１２０６に出力する。また動作判定部１２０５は、ＨＭＤ１１０１の動きが規定の動きに該当するのであれば、警告を表す音声の音声信号を音声出力部１２０８に出力する。動作判定部１２０５の詳細については、図３のブロック図を用いて後述する。

制御部１２０７は、ＣＰＵ等のプロセッサと、該プロセッサが実行するコンピュータプログラムやデータが格納されているメモリと、を有する。プロセッサがメモリ内のコンピュータプログラムやデータを用いて処理を実行することで、ＨＭＤ１１０１全体の動作制御を行うと共に、ＨＭＤ１１０１が行うものとして後述する各処理を実行若しくは制御する。通信部１２０４は、画像処理装置１１０４との間のデータ通信を行うためのインターフェースとして機能する。

次に、画像処理装置１１０４について説明する。画像処理装置１１０４は、ＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）、タブレット端末装置やスマートフォン等のコンピュータ装置である。通信部１２１１は、ＨＭＤ１１０１との間のデータ通信を行うためのインターフェースとして機能する。

算出部１２１２は、ＨＭＤ１１０１から送信された撮像画像及び姿勢情報を通信部１２１１を介して取得する。そして算出部１２１２は、該取得した撮像画像から該撮像画像を撮像したときの撮像部１２０２の位置を算出する。撮像画像から該撮像画像を撮像した撮像装置の位置を算出するための技術は周知であり、本実施形態では如何なる技術を採用してもよい。例えば、現実空間において位置が既知の特徴（現実物体のエッジや角など）の現実空間における３次元位置と、撮像画像中の該特徴の画像座標（２次元座標）と、に基づいて、該撮像画像を撮像した撮像装置の位置を算出する技術を採用してもよい。また、撮像装置の位置を、該撮像装置若しくは該撮像装置を有する頭部装着型表示装置に取り付けられている位置センサによる計測値に基づいて取得するようにしてもよいし、ＧＰＳを用いて撮像装置の位置を取得してもよい。つまり、算出部１２１２は、ＨＭＤ１１０１から送信された撮像画像を撮像したときの撮像部１２０２の位置を取得することができるのであれば、如何なる技術を適用してもよい。また算出部１２１２は、該取得した姿勢情報が表す姿勢センサ部１２０３の姿勢を、撮像部１２０２と姿勢センサ部１２０３との間の相対的な姿勢関係（既知の情報であり、コンテンツＤＢ１２１４に予め登録されている）を用いて変換する。この変換により、撮像部１２０２の姿勢を求めることができる。なお、撮像部１２０２の姿勢を取得するための構成についても特定の構成に限らず、例えば、撮像画像から該撮像画像を撮像したときの撮像部１２０２の姿勢を上記の既知の方法でもって求めるようにしても良い。

ＣＧ描画部１２１３は、コンテンツＤＢ１２１４に登録されている仮想物体データを用いて仮想物体を構築し、該構築した仮想物体を該仮想物体データが規定する位置姿勢でもって仮想空間中に配置する。仮想物体データは、仮想物体の幾何形状、色、質感、テクスチャ等の該仮想物体の外観を規定するモデルデータ、仮想物体を配置する位置姿勢を示すデータ、仮想空間を照射する光源に係るデータ、等を含む。

そしてＣＧ描画部１２１３は、視点（視点の位置は撮像部１２０２の位置、視点の姿勢は撮像部１２０２の姿勢）から見える仮想物体の画像を仮想空間画像として生成する。そしてＣＧ描画部１２１３は、算出部１２１２が通信部１２１１を介してＨＭＤ１１０１から取得した撮像画像と、該生成した仮想空間画像とを合成した合成画像を複合現実空間画像として生成する。そしてＣＧ描画部１２１３は、該生成した複合現実空間画像を通信部１２１１を介してＨＭＤ１１０１に対して送信する。

制御部１２１９は、ＣＰＵ等のプロセッサと、該プロセッサが実行するコンピュータプログラムやデータが格納されているメモリと、を有する。プロセッサがメモリ内のコンピュータプログラムやデータを用いて処理を実行することで、画像処理装置１１０４全体の動作制御を行うと共に、画像処理装置１１０４が行うものとして後述する各処理を実行若しくは制御する。通信部１２１５は、操作装置１１０５及び表示装置１１０３を画像処理装置１１０４に接続するためのインターフェースとして機能するものである。

次に、操作装置１１０５について説明する。操作装置１１０５は、キーボードなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示を入力することができる。ユーザインターフェースはキーボードに限らず、マウスやタッチパネルなどの他の種類のインターフェースであってもよい。ユーザによる操作によって入力された指示は、通信部１２２１を介して画像処理装置１１０４に入力され、制御部１２１９は、該指示に応じた処理を実行する。

次に、表示装置１１０３について説明する。表示装置１１０３は、ＣＲＴや液晶画面などにより構成されており、画像処理装置１１０４による処理結果を画像や文字などでもって表示することができる。例えば表示装置１１０３には、画像処理装置１１０４がＨＭＤ１１０１に出力する画像を表示することができる。また表示装置１１０３には、上記の警告の内容（テキストや音声）や後述するテーブルの内容等を編集するためのＧＵＩを表示することもできる。なお、表示装置１１０３は、タッチパネル画面であっても良い。

画像処理装置１１０４の上記の各機能部は何れもハードウェアで実装しても良いが、算出部１２１２、ＣＧ描画部１２１３をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムはコンテンツＤＢ１２１４に格納され、制御部１２１９がこのコンピュータプログラムを用いて処理を実行することで、算出部１２１２及びＣＧ描画部１２１３の機能を実現することができる。

次に、動作判定部１２０５の機能構成例について、図３のブロック図を用いて説明する。

動作定義部１３０１には、複数種類の「ＨＭＤ１１０１を頭部に装着して表示部１２０６を観察しているユーザが酔ってしまうような該ユーザの頭部（ＨＭＤ１１０１）の動き」（酔い動作）のそれぞれについて、酔い易さ、検知順番が格納されている。動作定義部１３０１に格納されている情報の構成例を図９に示す。図９のテーブルには、「下を向く」、「Ｒｏｌｌ動作」、「急な加速」、「二軸回転」の４つの酔い動作のそれぞれについて、「酔い易さ」及び「検知順番」が対応付けて登録されている。

酔い動作「下を向く」の一例を図４（ａ）に示す。図４（ａ）では、ＨＭＤ１１０１を頭部に装着したユーザ１４０１の頭部の向きが図４（ａ）の左側に示した状態（頭部が正面方向を向いている）から右側に示した状態（頭部が正の俯角方向を向いている）に変化している。

酔い動作「Ｒｏｌｌ動作」の一例を図４（ｂ）に示す。図４（ｂ）では、ＨＭＤ１１０１を頭部に装着したユーザ１４０１の頭部が矢印で示す如く、Ｒｏｌｌ方向に回転している。

酔い動作「急な加速」の一例を図４（ｃ）に示す。図４（ｃ）では、ＨＭＤ１１０１を頭部に装着したユーザ１４０１が、矢印で示す如く、自身の首を該ユーザ１４０１の左側に早く振っている。

酔い動作「二軸回転」の一例を図４（ｄ）に示す。図４（ｄ）では、ＨＭＤ１１０１を頭部に装着したユーザ１４０１の頭部が２つの矢印で示す如く、二軸で回転（例えばパン方向及びチルト方向の両方向に回転）している。

図９のテーブルでは、酔い動作「下を向く」に対応する「酔い易さ」として「段々と酔う」、酔い動作「Ｒｏｌｌ動作」に対応する「酔い易さ」として「直ぐに酔う」、が登録されている。また、図９のテーブルでは、酔い動作「急な加速」に対応する「酔い易さ」として「段々と酔う」、酔い動作「二軸回転」に対応する「酔い易さ」として「直ぐに酔う」が登録されている。「直ぐに酔う」とは、動作を行うことで直ぐに映像酔いを起こしやすい、ことを意味している。また「段々と酔う」とは、動作を続けることで映像酔いを起こしやすい、ことを意味している。このように図９のテーブルには、酔い動作ごとに、その酔い易さを示す情報が管理されている。

また、図９のテーブルでは、「下を向く」に対応する検知順番として「４」、「Ｒｏｌｌ動作」に対応する検知順番として「２」、「急な加速」に対応する検知順番として「３」、「二軸回転」に対応する検知順番として「１」が登録されている。検知順番については後述する。以下の説明では、動作定義部１３０１は図９のテーブルを保持しているものとして説明するが、テーブルに登録される酔い動作は図９に示した酔い動作に限らず、図９の４つの酔い動作に代えて若しくは加えて他の酔い動作を登録してもよい。また、酔い動作に対応する酔い易さや検知順番についても図９に示したものに限らない。

判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１の動きが酔い動作に該当するのかを判断する。動作定義部１３０１が図９のテーブルを保持している場合、判定部１３０２は先ず、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１の動きが、検知順番「１」に対応する酔い動作である「二軸回転」に該当するか否かを判断する。この判断の結果、ＨＭＤ１１０１の動きが「二軸回転」には該当しない場合、判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１の動きが、検知順番「２」に対応する酔い動作である「Ｒｏｌｌ動作」に該当するか否かを判断する。この判断の結果、ＨＭＤ１１０１の動きが「Ｒｏｌｌ動作」には該当しない場合、判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１の動きが、検知順番「３」に対応する酔い動作である「急な加速」に該当するか否かを判断する。この判断の結果、ＨＭＤ１１０１の動きが「急な加速」には該当しない場合、判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１の動きが、検知順番「４」に対応する酔い動作である「下を向く」に該当するか否かを判断する。この判断の結果、ＨＭＤ１１０１の動きが「下を向く」には該当しない場合、判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１の動きは酔い動作ではなく、「通常動作」であると判断する。

それぞれの動きに対する検知順番は、直ぐ酔いにつながり易い順番となっており、図９の場合は、「二軸回転」、「Ｒｏｌｌ動作」、「急な加速」、「下を向く」の順に直ぐ酔いにつながり易い動きとなっている。

ここで、判定部１３０２が、ＨＭＤ１１０１（頭部）の動きが酔い動作に該当するのか否かを、図４（ａ）〜（ｄ）のそれぞれに示した酔い動作（「下を向く」、「Ｒｏｌｌ動作」、「急な加速」、「二軸回転」）を例にとり説明する。姿勢センサ部１２０３は図５（ａ）に示す如く、自身の位置を原点とし、撮像部１２０２の視線方向をＸ軸の正方向、撮像部１２０２の鉛直上向き方向をＹ軸の正方向、Ｘ軸及びＹ軸と直交する軸をＺ軸とする座標系における姿勢情報、角速度、加速度を測定する。

このような場合において、先ず、判定部１３０２がＨＭＤ１１０１（頭部）の動きが「下を向く」であるか否かを判断する処理について、図５（ｂ）を用いて説明する。図５（ｂ）の左側に示す如く、ＨＭＤユーザ１５９０が水平方向を観察している状態では、姿勢センサ部１２０３の重力軸は矢印１５０２で示す如くＹ軸の負の方向に向く。然るに、ＨＭＤユーザ１５９０が水平方向を観察している状態では、姿勢センサ部１２０３からは加速度として「Ｙ軸の負の方向に１Ｇを示すベクトル」が出力される。ここでＨＭＤユーザ１５９０が下を向くと、図５（ｂ）の右側に示す如く、姿勢センサ部１２０３の軸が傾くため、姿勢センサ部１２０３から出力される加速度は、Ｙ軸方向のベクトル１５０３とＸ軸方向のベクトル１５０４として出力される。ＨＭＤユーザ１５９０が下を向くほど、Ｘ軸方向のベクトル１５０４の大きさが大きくなる。そこで、例えば判定部１３０２は、Ｘ軸方向のベクトルのサイズが規定サイズ以上であれば、ＨＭＤ１１０１（頭部）の動きは「下を向く」であると判断する。

次に、判定部１３０２がＨＭＤ１１０１（頭部）の動きが「Ｒｏｌｌ動作」であるか否かを判断する処理について、図５（ｃ）を用いて説明する。矢印で示す如く、ＨＭＤユーザ１５９０が首をひねるなどして頭部をＲｏｌｌ方向に回転させると、姿勢センサ部１２０３からは、矢印１５０５で示す如く、Ｘ軸周りの角速度として規定値以上の角速度が出力される。そこで、例えば判定部１３０２は、Ｘ軸周りの角速度が規定値以上であれば、ＨＭＤ１１０１（頭部）の動きは「Ｒｏｌｌ動作」であると判断する。

次に、判定部１３０２がＨＭＤ１１０１（頭部）の動きが「急な加速」であるか否かを判断する処理について、図５（ｄ）を用いて説明する。図５（ｄ）の左側に示すように、ＨＭＤユーザ１５９０が矢印で示す如く自身の首を早く振ると、図５（ｄ）の右側に示すように、姿勢センサ部１２０３からは、矢印１５０６で示す如くＹ軸周りの角速度として規定値以上の角速度が出力される。そこで、例えば判定部１３０２は、Ｙ軸周りの角速度の変化量が規定値以上であれば、ＨＭＤ１１０１（頭部）の動きは「急な加速」であると判断する。なお、角速度の代わりに加速度を用いても良く、一定値以上の加速度が得られた場合に、ＨＭＤ１１０１（頭部）の動きは「急な加速」であると判断してもよい。

次に、判定部１３０２がＨＭＤ１１０１（頭部）の動きが「二軸回転」であるか否かを判断する処理について、図５（ｅ）を用いて説明する。図５（ｅ）に示す如く、ＨＭＤユーザ１５９０が自身の頭部を２つの矢印で示す如くパン方向及びチルト方向に回転させたとする。このとき姿勢センサ部１２０３からは、矢印１５０８で示す如くＹ軸周りの角速度として規定値以上の角速度が出力されると共に、矢印１５０７で示す如くＺ軸周りの角速度として規定値以上の角速度が出力される。そこで、例えば判定部１３０２は、姿勢センサ部１２０３からＹ軸周りの角速度として規定値以上の角速度が出力され且つＺ軸周りの角速度として規定値以上の角速度が出力されると、ＨＭＤ１１０１（頭部）の動きは「二軸回転」であると判断する。

このようにして判定部１３０２は、姿勢センサ部１２０３から出力される測定結果に基づいてＨＭＤ１１０１（頭部）の動きが何れの酔い動作であるのかを判断することができる。なお、姿勢センサ部１２０３による測定結果がどのような動きを示すのかを判断するための処理については特定の処理に限らない。

そして判定部１３０２は、ＨＭＤ１１０１（頭部）の動きが酔い動作に該当すると判断した場合には、保持部１３０３に格納されている文字情報のうち、該酔い動作に対応する酔い易さに対応する文字情報を取得する。文字情報は、警告を示す文字／文字列（警告メッセージ）である。本実施形態では、保持部１３０３には、酔い易さごとに対応する文字情報が保持されているものとする。例えば、酔い易さが「段々と酔う」と「直ぐに酔う」の２種類である場合、保持部１３０３には、「段々と酔う」に対応する文字情報、「直ぐに酔う」に対応する文字情報、が格納されている。然るに例えば判定部１３０２は、ＨＭＤ１１０１（頭部）の動きが「下を向く」であると判断した場合、図９のテーブルより、対応する酔い易さは「段々と酔う」であるから、保持部１３０３から酔い易さ「段々と酔う」に対応付けられている文字情報を取得する。また例えば判定部１３０２はＨＭＤ１１０１（頭部）の動きが「Ｒｏｌｌ動作」であると判断した場合、図９のテーブルより、対応する酔い易さは「直ぐに酔う」であるから、保持部１３０３から酔い易さ「直ぐに酔う」に対応付けられている文字情報を取得する。なお、保持部１３０３は、酔い易さごとに対応する文字情報を保持することに加えて若しくは代えて、酔い動作ごとに対応する文字情報を保持するようにしてもよい。この場合、判定部１３０２は、ＨＭＤ１１０１（頭部）の動きに対応する文字情報及び／又はＨＭＤ１１０１（頭部）の動きに対応する酔い易さに対応する文字情報を保持部１３０３から取得することになる。そして判定部１３０２は、保持部１３０３から文字情報を取得すると、該取得した文字情報を重畳部１３０４に対して送出する。

また判定部１３０２は、ＨＭＤ１１０１（頭部）の動きが酔い動作に該当すると判断した場合には、保持部１３０５に格納されている音声データのうち、該酔い動作に対応する酔い易さに対応する音声データを取得する。本実施形態では、保持部１３０５には、酔い易さごとに対応する音声データが保持されているものとする。例えば、酔い易さが「段々と酔う」と「直ぐに酔う」の２種類である場合、保持部１３０５には、「段々と酔う」に対応する音声データ、「直ぐに酔う」に対応する音声データ、が格納されている。然るに例えば判定部１３０２はＨＭＤ１１０１（頭部）の動きが「下を向く」であると判断した場合、図９のテーブルより、対応する酔い易さは「段々と酔う」であるから、保持部１３０５から酔い易さ「段々と酔う」に対応付けられている音声データを取得する。また例えば判定部１３０２はＨＭＤ１１０１（頭部）の動きが「Ｒｏｌｌ動作」であると判断した場合、図９のテーブルより対応する酔い易さは「直ぐに酔う」であるから、保持部１３０５から酔い易さ「直ぐに酔う」に対応付けられている音声データを取得する。なお、保持部１３０５は、酔い易さごとに対応する音声データを保持することに加えて若しくは代えて、酔い動作ごとに対応する音声データを保持するようにしてもよい。この場合、判定部１３０２は、ＨＭＤ１１０１（頭部）の動きに対応する音声データ及び／又はＨＭＤ１１０１（頭部）の動きに対応する酔い易さに対応する音声データを保持部１３０５から取得することになる。そして判定部１３０２は、保持部１３０５から音声データを取得すると、該取得した音声データを音声生成部１３０６に対して送出する。

重畳部１３０４は、判定部１３０２から文字情報を取得した場合、通信部１２０４を介して画像処理装置１１０４から受信した複合現実空間画像に該文字情報が示すメッセージを重畳し、該メッセージが重畳された複合現実空間画像を表示部１２０６に送出する。一方、重畳部１３０４は、判定部１３０２から文字情報を取得していない場合には、通信部１２０４を介して画像処理装置１１０４から受信した複合現実空間画像を表示部１２０６に対して送出する。

例えば、重畳部１３０４が画像処理装置１１０４から図６（ａ）に示した複合現実空間画像を受信したとする。このとき、現在のＨＭＤ１１０１の動きが酔い動作ではない通常動作である場合には、重畳部１３０４は、画像処理装置１１０４から受信した図６（ａ）の複合現実空間画像を、警告メッセージを重畳することなく表示部１２０６に対して送出する。一方、現在のＨＭＤ１１０１の動きが酔い動作であり且つ該酔い動作の酔い易さが「段々と酔う」であるとする。このとき重畳部１３０４は図６（ｂ）に示す如く、画像処理装置１１０４から受信した図６（ａ）の複合現実空間画像に、ＨＭＤユーザが現在の動作（頭部の動作）を続けると映像酔いになる可能性があることを報知するための警告メッセージ６０１を重畳する。そして重畳部１３０４は、警告メッセージ６０１が重畳された複合現実空間画像を表示部１２０６に対して送出する。また、現在のＨＭＤ１１０１の動きが酔い動作であり且つ該酔い動作の酔い易さが「直ぐに酔う」であるとする。このとき重畳部１３０４は図６（ｃ）に示す如く、画像処理装置１１０４から受信した図６（ａ）の複合現実空間画像に対して、ＨＭＤユーザの現在の動作（頭部の動作）は映像酔いになる可能性があることを報知するための警告メッセージ６０２を重畳する。そして重畳部１３０４は、警告メッセージ６０２が重畳された複合現実空間画像を表示部１２０６に対して送出する。なお、警告メッセージの内容や表示方法については特定の内容、表示方法に限らない。

音声生成部１３０６は、判定部１３０２から音声データを取得した場合には、該音声データに基づく音声信号を生成して音声出力部１２０８に対して送出する。これにより、現在のＨＭＤ１１０１の動きが酔い動作である場合には、その酔い易さに応じた警告を示す音声が音声出力部１２０８から出力される。つまり、酔い易さが「段々と酔う」であれば、ＨＭＤユーザが現在の動作（頭部の動作）を続けると映像酔いになる可能性があることを報知するための音声が音声出力部１２０８から出力される。一方、酔い易さが「直ぐに酔う」であれば、ＨＭＤユーザの現在の動作（頭部の動作）は映像酔いになる可能性があることを報知するための音声が音声出力部１２０８から出力される。一方、現在のＨＭＤ１１０１の動きが酔い動作ではなく通常動作である場合には、判定部１３０２は音声データを音声生成部１３０６に対して送出しないので、音声出力部１２０８からは何も音声が出力されない。

ＨＭＤユーザへの警告の報知は、表示部１２０６による上記の表示報知のみで行っても良いし、音声出力部１２０８による上記の音声報知のみで行っても良いし、上記の表示報知及び音声報知の両方でもって警告を報知するようにしても良い。

次に、ＨＭＤ１１０１が１フレーム分の複合現実空間画像を表示部１２０６に表示するために行う処理について、同処理のフローチャートを示す図７を用いて説明する。ＨＭＤ１１０１は図７のフローチャートに従った処理を繰り返し行うことで、複数フレーム分の複合現実空間画像を表示部１２０６に表示することができる。

ステップＳ１７０１では、撮像部１２０２は、現実空間を撮像することで該現実空間の撮像画像を取得し、該取得した撮像画像を通信部１２０４を介して画像処理装置１１０４に対して送信する。ステップＳ１７０２では、姿勢センサ部１２０３は、自身の姿勢情報、加速度、角速度を測定することで取得し、該取得した姿勢情報を通信部１２０４を介して画像処理装置１１０４に対して送信する。

ステップＳ１７０３では、重畳部１３０４は、画像処理装置１１０４から送信された複合現実空間画像を、通信部１２０４を介して受信する。ステップＳ１７０５で判定部１３０２は、ステップＳ１７０２で姿勢センサ部１２０３が取得した測定結果（姿勢情報、角速度、加速度）に基づくＨＭＤ１１０１（ＨＭＤユーザの頭部）の動きが通常動作であるのか、何れかの酔い動作であるのかを判断する。ステップＳ１７０５における処理の詳細について、図８のフローチャートを用いて説明する。

ステップＳ１８０１では、判定部１３０２は、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、動作定義部１３０１が保持する図９のテーブルにおいて検知順番が「１」である酔い動作「二軸回転」に該当する条件を満たすか否かを判断する。この判断処理の一例については図５（ｅ）を用いて説明した通りである。

この判断の結果、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、酔い動作「二軸回転」に該当する条件を満たす（姿勢センサ部１２０３による測定結果が示す動きが「二軸回転」に該当する）、とする。このとき判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１（頭部）の動きが「二軸回転」であると判断して、処理はステップＳ１８０５に進む。一方、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、酔い動作「二軸回転」に該当する条件を満たさない（姿勢センサ部１２０３による測定結果が示す動きが「二軸回転」には該当しない）場合には、処理はステップＳ１８０２に進む。

ステップＳ１８０２では判定部１３０２は、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、動作定義部１３０１が保持する図９のテーブルにおいて検知順番が「２」である酔い動作「Ｒｏｌｌ動作」に該当する条件を満たすか否かを判断する。この判断処理の一例については図５（ｃ）を用いて説明した通りである。

この判断の結果、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、酔い動作「Ｒｏｌｌ動作」に該当する条件を満たす（姿勢センサ部１２０３による測定結果が示す動きが「Ｒｏｌｌ動作」に該当する）、とする。このとき判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１（頭部）の動きが「Ｒｏｌｌ動作」であると判断して、処理はステップＳ１８０５に進む。一方、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、酔い動作「Ｒｏｌｌ動作」に該当する条件を満たさない（姿勢センサ部１２０３による測定結果が示す動きが「Ｒｏｌｌ動作」には該当しない）場合には、処理はステップＳ１８０３に進む。

ステップＳ１８０３では、判定部１３０２は、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、動作定義部１３０１が保持する図９のテーブルにおいて検知順番が「３」である酔い動作「急な加速」に該当する条件を満たすか否かを判断する。この判断処理の一例については図５（ｄ）を用いて説明した通りである。

この判断の結果、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、酔い動作「急な加速」に該当する条件を満たす（姿勢センサ部１２０３による測定結果が示す動きが「急な加速」に該当する）、とする。このとき判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１（頭部）の動きが「急な加速」であると判断して、処理はステップＳ１８０５に進む。一方、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、酔い動作「急な加速」に該当する条件を満たさない（姿勢センサ部１２０３による測定結果が示す動きが「急な加速」には該当しない）場合には、処理はステップＳ１８０４に進む。

ステップＳ１８０４では、判定部１３０２は、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、動作定義部１３０１が保持する図９のテーブルにおいて検知順番が「４」である酔い動作「下を向く」に該当する条件を満たすか否かを判断する。この判断処理の一例については図５（ｂ）を用いて説明した通りである。

この判断の結果、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、酔い動作「下を向く」に該当する条件を満たす（姿勢センサ部１２０３による測定結果が示す動きが「下を向く」に該当する）、とする。このとき判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１（頭部）の動きが「下を向く」であると判断して、処理はステップＳ１８０５に進む。一方、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、酔い動作「下を向く」に該当する条件を満たさない（姿勢センサ部１２０３による測定結果が示す動きが「下を向く」には該当しない）、とする。このとき判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１（頭部）の動きが通常動作であると判断して、処理はステップＳ１７０６に進む。

ステップＳ１８０５では、判定部１３０２は、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１（頭部）の動きに該当する酔い動作に対応する酔い易さを、動作定義部１３０１が保持する図９のテーブルから取得する。そして処理はステップＳ１７０６に進む。

図７に戻って、次に、ステップＳ１７０６では、判定部１３０２は、ステップＳ１７０５における処理の結果、ＨＭＤ１１０１（頭部）の動きは通常動作であるか否かを判断する。この判断の結果、ＨＭＤ１１０１（頭部）の動きが通常動作であれば、処理はステップＳ１７０７に進む。一方、ＨＭＤ１１０１（頭部）の動きが通常動作ではない（何れかの酔い動作）であれば、処理はステップＳ１７０８に進む。

ステップＳ１７０７では、重畳部１３０４は、上記のステップＳ１７０３において画像処理装置１１０４から受信した複合現実空間画像を表示部１２０６に対して送出することで、該複合現実空間画像を表示部１２０６に表示させる。

ステップＳ１７０８では、判定部１３０２は、上記のステップＳ１８０５で取得した酔い易さが「直ぐに酔う」であるか否かを判断する。この判断の結果、上記のステップＳ１８０５で取得した酔い易さが「直ぐに酔う」であれば、処理はステップＳ１７０９に進む。一方、上記のステップＳ１８０５で取得した酔い易さが「段々と酔う」であれば、処理はステップＳ１７１０に進む。

ステップＳ１７０９では、判定部１３０２は、「直ぐに酔う」に対応する文字情報を保持部１３０３から取得し、該取得した文字情報を重畳部１３０４に対して送出する。重畳部１３０４は、判定部１３０２から受けた文字情報が示す警告メッセージを、上記のステップＳ１７０３において画像処理装置１１０４から受信した複合現実空間画像に重畳し、警告メッセージが重畳された複合現実空間画像を表示部１２０６に送出する。

ステップＳ１７１０では、判定部１３０２は、「段々と酔う」に対応する文字情報を保持部１３０３から取得し、該取得した文字情報を重畳部１３０４に対して送出する。重畳部１３０４は、判定部１３０２から受けた文字情報が示す警告メッセージを、上記のステップＳ１７０３において画像処理装置１１０４から受信した複合現実空間画像に重畳し、警告メッセージが重畳された複合現実空間画像を表示部１２０６に送出する。

なお、図７のフローチャートでは、姿勢センサ部１２０３による測定結果に基づくＨＭＤ１１０１（頭部）の動きが酔い動作である場合における警告の報知として表示報知のみを示している。しかし、ステップＳ１７０９，Ｓ１７１０のそれぞれにおいて対応する音声報知を更に行うようにしても良い。即ちステップＳ１７０９では「直ぐに酔う」に対応する音声データに基づく音声通知を表示通知に加えて又は代えて行い、ステップＳ１７１０では「段々と酔う」に対応する音声データに基づく音声通知を表示通知に加えて又は代えて行うようにしても良い。

このように本実施形態によれば、ＨＭＤユーザが酔いを発生させやすい頭部の動きを行った場合には警告を通知することで、ＨＭＤユーザに注意喚起を行ってＨＭＤユーザに認識させることができる。

＜第１の実施形態の変形例＞
第１の実施形態では、ＨＭＤ１１０１が有する各機能部は何れもハードウェアで実装されているものとして説明した。しかし、動作判定部１２０５の一部の機能（例えば、図３の判定部１３０２、重畳部１３０４、音声生成部１３０６）についてはソフトウェア（コンピュータプログラム）で実装しても良い。この場合、このコンピュータプログラムは制御部１２０７が有するメモリに格納されている。そして、制御部１２０７が有するプロセッサが該コンピュータプログラムを実行することで、判定部１３０２、重畳部１３０４、音声生成部１３０６の各機能部の機能を実現することができる。

第１の実施形態では、加速度センサやジャイロセンサ等のセンサにより上記の姿勢情報、加速度、角速度を測定していたが、他の手法を用いてＨＭＤ１１０１（頭部）の動きを取得するようにしても構わない。例えば、磁気センサ、光学式センサ、超音波センサを用いてＨＭＤ１１０１の位置や姿勢を測定し、ＨＭＤ１１０１若しくは画像処理装置１１０４が、該測定した位置や姿勢の変化から加速度や角速度等を求めるようにしても構わない。また、現実空間中にＨＭＤユーザを撮像する撮像装置を設置し、ＨＭＤ１１０１若しくは画像処理装置１１０４が、該撮像装置による撮像画像からＨＭＤユーザの頭部の姿勢情報、加速度、角速度を求めるようにしても構わない。

また、第１の実施形態では、警告の報知を表示及び／又は音声によって行ったが、他の報知方法でもって警告を報知するようにしても良い。例えば、ＨＭＤ１１０１にバイブレータを搭載し、現在のＨＭＤ１１０１（頭部）の動きに対応する酔い易さに応じた振動パターンでもってＨＭＤユーザに警告や酔い易さを報知しても良い。また、ランプの点灯／点滅パターンでもって警告や酔い易さを報知しても良い。その場合、例えば、画像処理装置１１０４が現在のＨＭＤ１１０１（頭部）の動きに対応する酔い易さに応じてランプの点灯／点滅パターンを制御することで、警告や酔い易さを報知しても良い。

また、第１の実施形態では、ＨＭＤ１１０１はビデオシースルー型のＨＭＤであるものとして説明したが、光学シースルー型のＨＭＤを採用しても良い。その場合、視点の位置は、センサなど上記の様々な周知技術を用いて求める必要がある。また、画像処理装置１１０４は生成した仮想空間画像をＨＭＤ１１０１に送出する。そして重畳部１３０４は、判定部１３０２から文字情報を取得した場合には、画像処理装置１１０４から受信した仮想空間画像上に該文字情報に応じた警告メッセージを重畳し、該警告メッセージを重畳した仮想空間画像を表示部１２０６に表示する。一方、重畳部１３０４は、判定部１３０２から文字情報を取得していない場合には、画像処理装置１１０４から受信した仮想空間画像を表示部１２０６に表示する。

また、第１の実施形態では、警告メッセージの代わりに若しくは加えて警告画像を複合現実空間画像に重畳させるようにしても良い。警告画像は、例えば、警告を表すマークやキャラクタの画像等、警告に関連する画像である。警告画像は予め作成された２次元画像であっても良いし、重畳部１３０４が視点の位置姿勢に基づいて生成した３次元仮想物体のＣＧ画像であっても良い。

また、第１の実施形態では加速度は姿勢センサ部１２０３が測定していたが、加速度の取得方法は特定の取得方法に限らない。例えば、ＨＭＤ１１０１若しくは画像処理装置１１０４は、撮像部１２０２の位置を取得した場合には、位置の変化に基づいて加速度を求めても良い。

また、第１の実施形態では、警告の内容は、ＨＭＤユーザが現在の動作（頭部の動作）を続けると映像酔いになる可能性があることや、ＨＭＤユーザの現在の動作（頭部の動作）は映像酔いになる可能性があること、を報知するためのものであった。しかし、警告の内容は、警告に関連するものであれば如何なる内容であっても良い。また、報知する内容は警告に限らず、例えば、単に現在のＨＭＤユーザの頭部の動きを報知するためのメッセージであっても良い。

また、算出部１２１２をＨＭＤ１１０１に移動させても良い。この場合、算出部１２１２は、撮像部１２０２の位置姿勢を求め、該位置姿勢を画像処理装置１１０４に送信する。ＣＧ描画部１２１３は、該位置姿勢に基づいて仮想空間画像を生成し、該仮想空間画像をＨＭＤ１１０１に対して送信する。重畳部１３０４は、撮像部１２０２による撮像画像と、画像処理装置１１０４から受信した仮想空間画像との合成画像を複合現実空間画像として生成する。このように、複合現実空間画像を生成するための処理を画像処理装置１１０４及びＨＭＤ１１０１でどのように分担するのかについては特定の構成に限らない。

［第２の実施形態］
本実施形態を含む以下の各実施形態や各変形例では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。先ず、ＨＭＤ１１０１及び画像処理装置１１０４のそれぞれの機能構成例について、図１０のブロック図を用いて説明する。

図１０に示した構成は、図２に示した構成において画像処理装置１１０４が有していた算出部１２１２をＨＭＤ１１０１側に移動させている。算出部１２１２は、撮像部１２０２による撮像画像から該撮像画像を撮像したときの撮像部１２０２の位置を算出する。また算出部１２１２は、姿勢センサ部１２０３が測定した姿勢を、撮像部１２０２と姿勢センサ部１２０３との間の相対的な姿勢関係（既知の情報であり、ＨＭＤ１１０１内の不図示のメモリに予め登録されている）を用いて変換する。この変換により、撮像部１２０２の姿勢を求めることができる。そして算出部１２１２は、撮像部１２０２の位置及び姿勢を通信部１２０４を介して画像処理装置１１０４に対して送信する。

ＣＧ描画部１２１３は、視点（視点の位置、姿勢はそれぞれ、通信部１２１１を介してＨＭＤ１１０１から受信した撮像部１２０２の位置、姿勢）から見える仮想物体の画像を仮想空間画像として生成する。そしてＣＧ描画部１２１３は、通信部１２１１を介してＨＭＤ１１０１から受信した撮像画像と、該生成した仮想空間画像と、の合成画像を複合現実空間画像として生成し、該生成した複合現実空間画像を通信部１２１１を介してＨＭＤ１１０１に対して送信する。

動作判定部１２０５は、算出部１２１２が算出した撮像部１２０２の位置姿勢や姿勢センサ部１２０３が測定した加速度及び角速度に基づくＨＭＤユーザの頭部の動きが、酔い易い動きとして予め設定されている規定の動きに該当するのか否かを判断する。本実施形態に係る動作判定部１２０５の機能構成例について、図１１のブロック図を用いて説明する。

算出部１２１２は、上記の通り求めた撮像部１２０２の位置及び姿勢と、姿勢センサ部１２０３が測定した加速度及び角速度と、を判定部１３０２に対して送出する。判定部１３０２は、撮像部１２０２の位置も取得しているため、第１の実施形態で説明したような動作判定に加え、撮像部１２０２の位置に基づく動作判定も行うことができ、例えば、図１２に示すような歩く動作も検知可能となる。

図１２では、ＨＭＤユーザ１５９０は下を向いたまま矢印で示す方向に歩いている。ＨＭＤユーザがこのような動作を行っているか否かの判定については、例えば、次のようにして行う。ＨＭＤユーザ１５９０が下を向いていると判定するための方法については図５（ｂ）を用いて説明したとおりである。歩いていると判定するためには、例えば、単位時間あたりのＨＭＤユーザ１５９０の位置の変化が規定量以上であれば、歩いていると判定することができる。

動作定義部１３０１が保持しているテーブルの構成例を図１３に示す。図１３に示したテーブルは、図９に示したテーブルに新たに酔い動作として「下を向いて歩く」を加えると共に、対応する酔い易さとして「段々と酔う」を加えている。また、それぞれの酔い動作に対する検知順番を図９から変更している。動作定義部１３０１が保持するテーブルが図９のテーブルから図１３のテーブルに変更されても、判定部１３０２の動作は同様である。すなわち、算出部１２１２から受けた位置姿勢、角速度、加速度に基づくＨＭＤユーザの頭部の動きが図１３の何れの酔い動作に該当するのかを、検知順番で判断する。

本実施形態では、ＨＭＤ１１０１は、図７のフローチャートにおいてステップＳ１７０２及びステップＳ１７０５のそれぞれで以下のような処理を行う点で第１の実施形態と異なる。

ステップＳ１７０２では、姿勢センサ部１２０３は、自身の姿勢情報、加速度、角速度を測定することで取得する。算出部１２１２は、撮像部１２０２による撮像画像から撮像部１２０２の位置を求め、姿勢センサ部１２０３による姿勢情報から撮像部１２０２の姿勢を求め、撮像部１２０２の位置及び姿勢を通信部１２０４を介して画像処理装置１１０４に対して送信する。

ステップＳ１７０５では、図１４のフローチャートに従った処理を行う。ステップＳ１８０１〜Ｓ１８０４では、図９のテーブルではなく図１３のテーブルを用いる点が第１の実施形態と異なる。

ステップＳ１８０３において判定部１３０２が、姿勢センサ部１２０３による測定結果の一部若しくは全部が、酔い動作「急な加速」に該当する条件を満たさないと判断した場合には、処理はステップＳ２４０１に進む。

ステップＳ２４０１で判定部１３０２は、算出部１２１２から取得した位置姿勢、加速度、角速度の一部若しくは全部が、動作定義部１３０１が保持する図１３のテーブルにおいて検知順番が「４」である酔い動作「下を向いて歩く」に該当する条件を満たすか否かを判断する。

この判断の結果、算出部１２１２から取得した位置姿勢、加速度、角速度の一部若しくは全部が、酔い動作「下を向いて歩く」に該当する条件を満たす、とする。このとき判定部１３０２は、ＨＭＤ１１０１（頭部）の動きが「下を向いて歩く」であると判断して、処理はステップＳ１８０５に進む。一方、算出部１２１２から取得した位置姿勢、加速度、角速度の一部若しくは全部が、酔い動作「下を向いて歩く」に該当する条件を満たさない場合には、処理はステップＳ１８０４に進む。ステップＳ１８０４では、判定部１３０２は、姿勢センサ部１２０３が取得した測定結果の一部若しくは全部が、動作定義部１３０１が保持する図１３のテーブルにおいて検知順番が「５」である酔い動作「下を向く」に該当する条件を満たすか否かを判断する。

［第３の実施形態］
本実施形態に係る動作判定部１２０５の機能構成例について、図１５のブロック図を用いて説明する。点数部２５０１は、酔い動作ごとに、酔い易さ、検知順番、に加えて、点数を保持しているテーブルを保持している。点数部２５０１が保持しているテーブルの構成例を図１６に示す。

図１６に示したテーブルは、図１３のテーブルに点数の項目を付加したもので、それぞれの酔い動作に対応する点数が登録されている。図１６のテーブルには、酔い動作「下を向く」、「Ｒｏｌｌ動作」、「急な加速」、「二軸回転」、「下を向いて歩く」のそれぞれの点数として、「０．５」、「５」、「１」、「１０」、「１」が登録されている。

本実施形態では判定部１３０２は、ＨＭＤ１１０１の動きが何れかの酔い動作に該当すると判断する度に、該酔い動作に対応する点数を取得し、該取得した点数を累積する。そして判定部１３０２は、該累積した点数の和（累積点数）が規定値以上になると、警告を報知するべく、文字情報や音声データの出力を行う。そして判定部１３０２は、警告の報知後、累積点数を０に初期化する。なお、ＨＭＤ１１０１の起動時にも累積点数は０に初期化されている。

例えば図１７に示す如く、時刻ｔまではＨＭＤ１１０１の動きは通常動作であると判断されており、時刻ｔにおいてＨＭＤ１１０１の動きが酔い動作「Ｒｏｌｌ動作」であると判断されると、図１６のテーブルから対応する点数「５」が取得される。この時点で累積した点数の和（累積点数）は「５」となる。その後、時刻（ｔ＋１）においてＨＭＤ１１０１の動きが酔い動作「急な加速」であると判断されると、図１６のテーブルから対応する点数「１」が取得され、この時点で累積点数は「６」となる。その後、時刻（ｔ＋２）においてＨＭＤ１１０１の動きが酔い動作「急な加速」であると判断されると、図１６のテーブルから対応する点数「１」が取得され、この時点で累積点数は「７」となる。その後、時刻（ｔ＋３）においてＨＭＤ１１０１の動きが酔い動作「急な加速」であると判断されると、図１６のテーブルから対応する点数「１」が取得され、この時点で累積点数は「８」となる。その後、時刻（ｔ＋４）においてＨＭＤ１１０１の動きが酔い動作「急な加速」であると判断されると、図１６のテーブルから対応する点数「１」が取得され、累積点数は「９」となる。その後、時刻（ｔ＋５）においてＨＭＤ１１０１の動きが酔い動作「下を向いて歩く」であると判断されると、図１６のテーブルから対応する点数「１」が取得され、累積点数は「１０」となる。ここで、規定値を「１０」とした場合、時刻（ｔ＋５）において累積点数が規定値以上となったため、判定部１３０２は、警告の報知を行うべく、文字情報や音声データの出力を行う。

なお、時刻ｔ、（ｔ＋１）、（ｔ＋２）、…は隣接する離散時刻を表したものではなく、ＨＭＤ１１０１の動きが何れかの酔い動作に該当すると判断されたタイミングを表したものである。

本実施形態では、図７のフローチャートにおいて以下の点が第１の実施形態と異なる。本実施形態に係るステップＳ１７０２は第２の実施形態に係るステップＳ１７０２と同様である。ステップＳ１７０５では、図１８のフローチャートに従った処理を行う。ステップＳ２８０５では、判定部１３０２は、ＨＭＤ１１０１（頭部）の動きに該当する酔い動作に対応する点数を取得して累積する。そして判定部１３０２は、累積点数が規定値以上であれば、ＨＭＤ１１０１（頭部）の動きは通常動作ではないと判断し、累積点数が規定値未満であれば、ＨＭＤ１１０１（頭部）の動きは通常動作であると判断する。そして処理はステップＳ１７０６に進む。

更に本実施形態では、図７のフローチャートからステップＳ１７０８，Ｓ１７０９を削除し、ＨＭＤ１１０１（頭部）の動きが通常動作ではない場合は、処理はステップＳ１７０６を介してステップＳ１７１０に進む。本実施形態では、保持部１３０３には、１種類の警告用のメッセージが格納されているので、本実施形態に係るステップＳ１７１０では、判定部１３０２は、このメッセージを保持部１３０３から取得して重畳部１３０４に対して送出する。

［第４の実施形態］
第１〜３の実施形態では、ＨＭＤユーザが誰であるのかに関係なく、該ＨＭＤユーザの頭部の動きに応じて警告を報知していた。しかし、映像酔いは個人差が大きく、例えばＨＭＤを装着して下を向いて歩く動作が酔い易い人もいれば、下を向いて歩く動作は酔い難い人もいる。本実施形態では、この点に鑑み、第３の実施形態で説明した点数を、ユーザ若しくはユーザの属性ごとに管理する。そして累積点数の計算には、ＨＭＤユーザに対応する点数を用いる。以下では、第３の実施形態との差分について説明する。

ＨＭＤ１１０１及び画像処理装置１１０４のそれぞれの機能構成例について、図１９のブロック図を用いて説明する。図１９の構成は、図１０のＨＭＤ１１０１の構成に認証部２９０１を加えたものとなっている。認証部２９０１は、ＨＭＤ１１０１を装着するユーザを識別するためのものであり、該識別が可能な構成であれば、如何なる構成を採用してもよい。例えば、認証部２９０１は、ユーザの虹彩や指紋を認証することで、該ユーザを一意に識別するようにしてもよい。また、ＨＭＤ１１０１にユーザが自身のユーザＩＤ及びパスワードを入力可能な操作部を設け、認証部２９０１は、該ユーザが該操作部を操作することで入力したユーザＩＤ及びパスワードを認証することで、該ユーザを一意に識別するようにしてもよい。認証部２９０１は、ＨＭＤ１１０１を頭部に装着するユーザが該ＨＭＤ１１０１を使用する前に該ユーザの識別を行う。そして認証部２９０１は、識別したユーザに固有の情報（ユーザ情報）を動作判定部１２０５に対して送出する。

動作判定部１２０５の機能構成例について、図２０のブロック図を用いて説明する。図２０の構成は、図１５の構成において、認証部２９０１からの出力（ユーザ情報）が判定部１３０２に入力され、点数部２５０１の代わりに点数部３００１が設けられている構成となっている。

点数部３００１は、図１６に例示したような「酔い動作ごとに酔い易さ、検知順番、点数を管理するテーブル」を、ユーザごとに保持している。点数部３００１が保持している情報の構成例を図２１（ａ）に示す。

図２１（ａ）のテーブルは、ユーザ（使用者）ごとに、酔い動作、酔い易さ、検知順番、点数を管理しているテーブルの一例である。図２１（ａ）では、テーブルは、使用者「Ａさん」に対する酔い動作、酔い易さ、検知順番、点数、使用者「Ｂさん」に対する酔い動作、酔い易さ、検知順番、点数、を管理している。図２１（ａ）のテーブルでは、「Ａさん」は「Ｂさん」より、「急な加速」、「二軸回転」は高い点数で定義されており、「下を向いて歩く」は低い点数で定義されている。つまりこれは、「Ａさん」は「Ｂさん」よりも「下を向いて歩く」動作は酔い難いことを示しており、「Ｂさん」は「Ａさん」よりも「下を向いて歩く」動作は酔い易いことを示している。

なお、点数部３００１は、図２１（ａ）のテーブルの代わりに、図２１（ｂ）のテーブルを保持するようにしてもよい。図２１（ｂ）では、テーブルは、「Ａさん」及び「Ｃさん」を「初心者」として管理しており、「Ｂさん」及び「Ｄさん」を「経験者」として管理している。そしてこのテーブルは、「初心者」に対する酔い動作、酔い易さ、検知順番、点数、「経験者」に対する酔い動作、酔い易さ、検知順番、点数、を管理している。一般的に経験者の方が酔い難いため、図２１（ｂ）の例では、経験者の方の点数が低くなっている。このように、ユーザは初心者であるのか、それとも経験者であるのかなど、ユーザの属性に応じて、酔い動作、酔い易さ、検知順番、点数のセットを管理するようにしてもよい。

なお、点数部３００１は、図２１（ａ）のテーブル及び図２１（ｂ）のテーブルの両方を保持し、判定部１３０２は、ユーザが操作装置１１０５を操作することで選択した一方のテーブルを使用するようにしてもよい。

本実施形態では、図７のフローチャートに従った処理の開始前に、認証部２９０１は、ＨＭＤユーザのユーザ情報を取得して動作判定部１２０５に送出する。そして本実施形態では、図７のフローチャートにおいてステップＳ１７０２では第２の実施形態に係るステップＳ１７０２と同様の処理を行い、ステップＳ１７０５では、判定部１３０２は、図１８のフローチャートに従った処理を行う。しかし、ステップＳ２８０５では、判定部１３０２は、ユーザ情報が示す使用者及びＨＭＤ１１０１（頭部）の動きに該当する酔い動作の組み合わせに対応する点数を取得して累積する。そして判定部１３０２は、累積点数が規定値以上であれば、ＨＭＤ１１０１（頭部）の動きは通常動作ではないと判断し、累積点数が規定値未満であれば、ＨＭＤ１１０１（頭部）の動きは通常動作であると判断する。そして処理はステップＳ１７０６に進む。

なお、以上説明した各実施形態や各変形例の一部若しくは全部は適宜組み合わせても良い。また、以上説明した各実施形態や各変形例の一部若しくは全部は選択的に使用しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２０２：撮像部 １２０３：姿勢センサ部 １２０５：動作判定部 １２０７：制御部 １２０６：表示部 １２０８：音声出力部

Claims (11)

1. 表示装置であって、
   前記表示装置の動きが、酔い易い動きとして予め設定されている酔い動作である場合に、該酔い動作の酔い易さを判定する判定手段と、
   前記酔い動作の酔い易さに対応する警告を報知する報知手段と
   を備えることを特徴とする表示装置。
2. 前記判定手段は、前記表示装置の動きが前記酔い動作であるかを判定し、前記表示装置の動きが前記酔い動作である場合に該酔い動作の酔い易さを判定することを特徴とする請求項１に記載の表示装置。
3. 前記判定手段は、複数の酔い動作のうち、より酔い易い酔い動作から順に、前記表示装置の動きが該酔い動作であるか否かを判定することを特徴とする請求項２に記載の表示装置。
4. 前記報知手段は、前記表示装置の動きが前記酔い動作であると判定される度に、該酔い動作に対応する点数を取得して累積し、該累積した点数の和が規定値以上であれば、警告を報知することを特徴とする請求項２に記載の表示装置。
5. 前記報知手段は、前記表示装置の動きが前記酔い動作であると判定される度に、該酔い動作及び前記表示装置の使用者の組み合わせに対応する点数を累積し、該累積した点数の和が規定値以上であれば、警告を報知することを特徴とする請求項２に記載の表示装置。
6. 更に、
   撮像手段と、
   前記表示装置の位置姿勢に応じた仮想空間の画像と前記撮像手段による撮像画像との合成画像を取得する手段と
   を備え、
   前記報知手段は、
   前記表示装置の動きが前記酔い動作であると判定された場合には、前記合成画像に警告を示す情報を重畳し、該情報を重畳した該合成画像を表示することを特徴とする請求項２乃至５の何れか１項に記載の表示装置。
7. 前記判定手段は、前記表示装置の姿勢、加速度、角速度、位置のうち１つ以上に基づいて前記表示装置の動きを判定することを特徴とする請求項２乃至６の何れか１項に記載の表示装置。
8. 前記報知手段は、
   前記表示装置の動きが前記酔い動作である場合には、警告を示す音声を出力することを特徴とする請求項１乃至７の何れか１項に記載の表示装置。
9. 前記表示装置は、頭部装着型表示装置であることを特徴とする請求項１乃至８の何れか１項に記載の表示装置。
10. 表示装置の制御方法であって、
    前記表示装置の判定手段が、前記表示装置の動きが、酔い易い動きとして予め設定されている酔い動作である場合に、該酔い動作の酔い易さを判定する判定工程と、
    前記表示装置の報知手段が、前記酔い動作の酔い易さに対応する警告を報知する報知工程と
    を備えることを特徴とする表示装置の制御方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の表示装置の各手段として機能させるためのコンピュータプログラム。

Images