JP7048520B2 - 頭部装着型表示装置および仮想空間表示制御方法 - Google Patents

Description

本発明は、ユーザの頭部に装着して仮想空間の画像を表示する頭部装着型表示装置および仮想空間表示制御方法に関する。

近年、ユーザの頭部に装着して、現実空間に仮想空間の画像を重畳して表示するシースルー型頭部装着型表示装置（ヘッドマウントディスプレイとも呼ばれる）が注目されている。工場などでは、作業工程などのコンテンツを見ながら作業を行うケースがあるが、作業対象の近くにディスプレイなどの情報表示装置を配置することが難しい場合がある。そのようなとき、シースルー型頭部装着型表示装置を使用すれば、作業者は情報表示装置を手に持ったり、遠くの情報表示装置を見に行ったりする必要がなく、作業効率を改善することができる。

頭部装着型表示装置における仮想空間の表示制御については、ユーザの動きに応じて表示画像を切り替える構成とすることで使いやすいものとなる。例えば特許文献１に記載のヘッドマウントディスプレイでは、装着者が歩行中であることを検知したとき、仮想空間の特定の範囲に配置された表示オブジェクトを表示する。また、装着者が歩行中でないことを検知したとき、仮想空間における複数の表示オブジェクトの配置座標が固定されるように、装着者の頭部の動きに連動して表示オブジェクトを変更するものである。

また特許文献２に記載の表示装置では、表示動作のオン／オフや、表示動作態様、ソース切換など、各種の表示動作に関する制御として、ユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、判定結果に基づいて適切な制御を行うものである。

特開２０１６－０８２４１１号公報 特開２００８－０６５１６９号公報

作業者が、作業工程などのコンテンツを見ながら作業を行う場合、現実空間と仮想空間の位置関係が重要である。つまり、作業者が現実空間で動きながら作業するときに仮想空間を常に現実空間に重なるよう固定させると、仮想空間の画像が作業者の目前に存在して作業の妨げになる場合がある。逆に、仮想空間を現実空間から遠ざけて配置すると、作業者から見たい画像が遠くに離れてコンテンツが見にくくなり、いずれにしても作業者の見易い位置に仮想空間を配置することができない。

このような課題に関し、本発明者等は、従来は作業者の頭部と腰部の動きを区別しないで、作業者の視線方向だけに着目して表示画像を制御していたことに原因があることを見出した。

特許文献１に記載の方法では、装着者が歩行中か否かの検知と、装着者の頭部の動きの検知を行っているが、頭部と腰部の動きを区別して扱っていない。また、特許文献２に記載の方法では、ユーザの頭部の動きや身体全体の動きなどを検出しているが、これらの情報は表示制御を行うためのユーザの意志を判定するために用いられるものであるから、上記の課題を解決するものではない。

本発明は上記課題に鑑みなされたもので、頭部装着型表示装置において、ユーザの頭部と腰部の動きを区別して扱うことで、ユーザから見易い位置に仮想空間を配置してユーザの見たい画像を快適に選択表示することを目的とする。

本発明は、ユーザの頭部に装着して仮想空間の画像を表示する頭部装着型表示装置において、ユーザの頭部の動きを検出する第１センサと、ユーザの腰部の動きを検出する第２センサと、第１センサおよび第２センサの検出値からユーザの腰部に対する頭部の差分回転量を算出する頭部回転認識部と、１つ以上の表示する画像が予め位置決めして収納された仮想空間を保存する仮想空間保存部と、仮想空間保存部が保存する仮想空間に表示領域を決定して表示する画像を選択する表示制御部と、表示制御部により選択された画像を表示するディスプレイと、を備える。表示制御部は、頭部回転認識部が算出した頭部の差分回転量に応じて仮想空間に表示領域を決定し、決定した表示領域に位置する画像を選択してディスプレイに出力することを特徴とする。

本発明によれば、ユーザの動きに応じて仮想空間を現実空間に最適に配置し、ユーザは所望の画像を快適に選択して見ることができる。

頭部装着型表示装置１を装着したユーザ２の状態を示す図。 実施例１に係る頭部装着型表示装置１のハードウェア構成を示す図。 頭部装着型表示装置１の機能構成を示すブロック図。 頭部の差分回転量に応じた表示領域の制御を説明する図。 仮想空間を現実空間に固定した場合の作業例を示す図。 実施例１における表示制御の効果を説明する図。 実施例２に係る頭部装着型表示装置１ａの機能構成を示すブロック図。 頭部前方移動量に応じた仮想空間の拡縮処理を説明する図。 実施例３に係る頭部装着型表示装置１ｂの機能構成を示すブロック図。 歩行判定と頭部前方移動量の修正処理のフローチャート。 実施例４に係る頭部装着型表示装置１ｃの機能構成を示すブロック図。 仮想空間の切り出し処理を説明する図。 実施例５に係る頭部装着型表示装置１ｄのハードウェア構成を示す図。 頭部装着型表示装置１ｄの機能構成を示すブロック図。 実施例６に係る頭部装着型表示装置１ｅのハードウェア構成を示す図。 頭部装着型表示装置１ｅの機能構成を示すブロック図。

以下、本発明の複数の実施形態について、図面を参照して説明する。

実施例１では、ユーザの頭部および腰部にセンサを装着して腰部に対する頭部の相対的動き（差分回転量）を検出し、これに応じて仮想空間内の表示領域を移動させる構成とした。
図１は、頭部装着型表示装置１を装着したユーザ２の状態を示す図である。また図２は、実施例１に係る頭部装着型表示装置１のハードウェア構成を示す図である。

図１のように、ユーザ２は頭部に頭部装着型表示装置１を装着することで、ディスプレイ１２に表示される画像を、前方の現実空間に重畳させて視認することができる。なお、以下の説明では、ユーザ２の左右方向をＸ軸、前後方向をＹ軸、上下方向をＺ軸とする。

図２のように、頭部装着型表示装置１のハードウェアは、センサ１１、ディスプレイ１２、ＣＰＵ（Central Processing Unit）１３、ＲＯＭ（Read Only Memory）１４およびＲＡＭ（Random Access Memory）１５等を備えている。

センサ１１は２つ以上のセンサを含み、装着部位の動きに応じた検出値を出力する。ここでは、ユーザ２の頭部に装着する第１センサ１１ａと腰部に装着する第２センサ１１ｂの２つを示している。第１センサ１１ａは頭部装着型表示装置１の本体と一体で取り付けられ、ユーザ２の頭部の動きを検出する。もちろん、第１センサ１１ａをユーザ２の頭部に直接取り付けてもよい。第２センサ１１ｂは、ユーザ２の腰部に取り付けて、ユーザ２の腰部の動きを検出する。なお、腰部に取り付けた第２センサ１１ｂは、頭部の動きとは別に体全体の動きを検出するためのもので、装着部位は、頭部のみを左右、上下、前後方向に動かした場合でもその位置や方向が変化しない部位であれば腰部以外に取り付けても構わない。

センサの種類としては、加速度センサ、角速度センサ、地磁気センサだけでなく、カメラ、マイクなども使用可能である。また、それぞれのセンサは、異なる種類のセンサであってもよく、複数のセンサを組み合わせた複合センサでもよい。なお、以下の説明では、加速度を取得可能なセンサと角速度を取得可能なセンサとする。

ディスプレイ１２は、ＲＯＭ１４またはＲＡＭ１５に保存された画像を表示する。ディスプレイ１２の表示方式は、透過型ディスプレイでも非透過型ディスプレイでもよいが、以下では、現実空間に重畳させて画像を視認するため、透過型ディスプレイとして説明する。ディスプレイ１２は、両眼用に２つ備えてもよいし、片眼用に１つ備えてもよい。

ＣＰＵ１３は、ＲＯＭ１４またはＲＡＭ１５に格納されているプログラムを実行する。具体的には、ＣＰＵ１３がプログラムを実行することにより、頭部装着型表示装置１の各部の機能が実現される。ＲＯＭ１４は、ＣＰＵ１３が実行するプログラムおよび実行に必要な各種パラメータを格納するための記憶媒体である。ＲＡＭ１５は、ディスプレイ１２で表示するための画像および各種情報を格納するための記憶媒体である。また、ＲＡＭ１５は、ＣＰＵ１３が使用するデータの一時保管領域としても機能する。頭部装着型表示装置１は、ＣＰＵ１３とＲＯＭ１４とＲＡＭ１５をそれぞれ複数有する構成でもよい。

なお、頭部装着型表示装置１のハードウェア構成は、図２に示す構成に限定されない。例えばＣＰＵ１３、ＲＯＭ１４、ＲＡＭ１５を頭部装着型表示装置１とは別体として設けるようにしてもよい。その場合、頭部装着型表示装置１は汎用のコンピュータ（例えばサーバコンピュータやパーソナルコンピュータ、スマートフォン等）を用いて実現するようにしてもよい。

また、複数のコンピュータをネットワークで接続して、頭部装着型表示装置１の各部の機能を各コンピュータが分担することもできる。一方で、頭部装着型表示装置１の機能の１つ以上を、専用のハードウェアを用いて実現することもできる。

図３は、頭部装着型表示装置１の機能構成を示すブロック図である。頭部装着型表示装置１は、前記した第１センサ１１ａ、第２センサ１１ｂ、ディスプレイ１２の他に、機能構成として頭部回転認識部２１、表示制御部２２、仮想空間保存部２３を備える。

第１センサ１１ａおよび第２センサ１１ｂは、それぞれ、頭部と腰部の加速度および角速度を測定し出力する。具体的には、例えば、３つ以上の加速度センサと２つ以上の角速度センサからなる。

頭部回転認識部２１は、第１センサ１１ａおよび第２センサ１１ｂから得られたそれぞれの装着部位の角速度から、ユーザ２の腰部に対する頭部の回転量（差分回転量）を算出する。これにより、ユーザ２の頭部だけが回転しているのか、腰部（胴体）ごと回転しているのかを識別できる。

仮想空間保存部２３は、仮想空間ＶＳを保存する。仮想空間ＶＳには１つ以上のコンテンツ（画像）が予め位置決めして収納され、ユーザ２は、頭部装着型表示装置１を通して保存されたコンテンツを見ることができる。仮想空間保存部２３は、具体的にはＲＯＭ１４またはＲＡＭ１５で実現される。

表示制御部２２は、頭部回転認識部２１で算出した頭部の差分回転量を入力し、仮想空間保存部２３内の仮想空間ＶＳのうちユーザに提示する領域をどの部分にするかを決定し、決定した表示領域Ｓに位置するコンテンツ（画像）を選択して出力する。
ディスプレイ１２は、表示制御部２２から出力された表示領域Ｓのコンテンツ（画像）を表示する。

次に、本実施例の頭部装着型表示装置１の動作を詳細に説明する。
第１センサ１１ａおよび第２センサ１１ｂが含む２つ以上の角速度センサは、測定軸が互いに直交するように配置され、少なくとも装着部位の仰俯角速度（Ｘ軸周りの上下方向）および方位角速度（Ｚ軸周りの左右方向）を計測する。

頭部回転認識部２１は、第１センサ１１ａおよび第２センサ１１ｂから得られたそれぞれの装着部位の角速度から、ユーザ２の頭部の差分回転量、すなわち頭部仰俯角回転量Ｒａ_ｘおよび頭部方位角回転量Ｒａ_ｚを出力する。頭部仰俯角回転量Ｒａ_ｘは、頭部に装着された第１センサ１１ａが出力する仰俯角速度と、腰部に装着された第２センサ１１ｂが出力する仰俯角速度の差分を時間積分することで求められる。同様にして、頭部方位角回転量Ｒａ_ｚは、頭部に装着された第１センサ１１ａが出力する方位角速度と、腰部に装着された第２センサ１１ｂが出力する方位角速度の差分を時間積分することで求められる。

図４は、頭部の差分回転量に応じた表示領域の制御を説明する図である。仮想空間保存部２３に保存される仮想空間ＶＳには、複数のコンテンツの画像が、それぞれ仮想空間ＶＳ内の所定の位置に位置決めされて収納されている。この例では、３つのコンテンツＡ，Ｂ，Ｃが左右方向に位置をずらして収納されている。仮想空間ＶＳの保存形式は、例えば、ビットマップイメージなどの画像ファイルである。ここで、頭部装着型表示装置１を装着したユーザ２がディスプレイ１２にて見ることができるのは、仮想空間ＶＳに収納されるコンテンツのうち、表示領域Ｓ（破線で示す）に位置するコンテンツだけであり、その表示領域Ｓは表示制御部２２により決定される。この例では、表示領域Ｓは左側のコンテンツＡに重なっており、ユーザ２はコンテンツＡを見ることができる。

次に、表示制御部２２による表示領域Ｓの制御方法を説明する。表示制御部２２は、頭部回転認識部２１から入力された頭部の差分回転量（頭部仰俯角回転量Ｒａ_ｘおよび頭部方位角回転量Ｒａ_ｚ）からユーザの視線Ｌの方向を求め、これに合わせるように表示領域Ｓの位置を決定する。表示領域Ｓの位置は、表示領域Ｓの左上の座標（Ｘｖ、Ｙｖ）であり数式１に従って算出する。

ここに座標（Ｘｖ、Ｙｖ）は仮想空間の左上を原点として、Ｘｖは右方向を正、Ｙｖは下方向を正とする。Ｆｈは仮想空間ＶＳの横方向サイズ、Ｖｈは表示領域Ｓの横方向のサイズ、Ｆｗは仮想空間ＶＳの縦方向のサイズ、Ｖｗは表示領域Ｓの縦方向のサイズを示す。なお、本例では、仮想空間ＶＳの視角は、横方向、縦方向のどちらも９０°である。

次に、表示制御部２２は、表示領域Ｓのコンテンツの画像を出力する。表示領域Ｓの画像とは、仮想空間ＶＳの内、座標（Ｘｖ、Ｙｖ）を左上として、右方向にＶｈ、下方向にＶｗの部分２次元データである。表示制御部２２は、表示領域Ｓの画像を、例えばラスタースキャン方式で出力する。その結果、頭部と腰部が同じ方向（頭部方位角回転量Ｒａ_ｚ＝０）のときはＸｖ＝（Ｆｈ－Ｖｈ）／２となり、表示領域Ｓ内の中央部に配置されたコンテンツＢの画像を表示する。一方、図４のように頭部の方向が腰部に対して左に回転した場合（頭部方位角回転量Ｒａ_ｚ＞０）には、左側に配置されたコンテンツＡの画像を表示する。同様に、頭部の方向が腰部に対して上下方向に回転した場合には、頭部仰俯角回転量Ｒａ_ｘに応じて表示する画像を選択する。

上記の表示制御部２２の制御によれば、頭部の差分回転量を入力することによって、ユーザ２は、仮想空間ＶＳ内から表示領域Ｓに映すコンテンツＡ～Ｃを選択したことになる。そして、仮想空間ＶＳ内で表示領域Ｓが移動する（すなわちコンテンツを選択できる）のは頭部のみが動いた場合であり、頭部と腰部が一緒に動いた場合は仮想空間ＶＳ内の表示領域Ｓは固定され、常に同一のコンテンツ（例えばコンテンツＢ）の画像が表示される。言い換えれば、ユーザ２から見ると、仮想空間ＶＳは常に腰部の方向に固定されている、あるいは腰部の方向に合わせて移動している、と言うことができる。

次に、上記の表示制御部２２を有する頭部装着型表示装置１を用いた作業の例を説明する。比較のため、従来の方式として、仮想空間を現実空間に固定した場合の課題から説明する。

図５は、仮想空間を現実空間に固定した場合の作業例を示す図である。ここでは、現実空間には作業台Ａと作業台Ｂが存在し、仮想空間ＶＳには作業マニュアルなどのコンテンツＣが収納されている。ここに、仮想空間ＶＳの位置は現実空間に固定され、作業台Ａと作業台Ｂに跨って配置されているとする。従来の頭部装着型表示装置１’では、仮想空間ＶＳ内で頭部装着型表示装置１’の正面方向に配置されたコンテンツを表示する。よって、頭部装着型表示装置１’を装着したユーザ２は、頭部の方向を変えることで、視線方向に配置されたコンテンツを見ることができる。その際、腰部の方向は関係しない。

ユーザ２が作業台Ａで作業を行う場合は、作業で参照するコンテンツＣ（作業マニュアル）を作業台Ａの位置ではなく、例えば右側にずらして配置することで、作業マニュアルを見ながらの作業が行い易くなる。よって、コンテンツＣの位置は、仮想空間ＶＳの右側（例えば作業台Ｂの位置）に配置するのが望ましい。

しかし、ユーザ２が隣の作業台Ｂで作業台Ａと異なる作業をする場合、コンテンツＣの表示位置が作業台Ｂと重なってしまい、作業台Ｂでの作業がやりにくくなるという課題がある。かりに、作業台Ａの左側にコンテンツＣを配置したとしても、作業台Ｂでの作業時にはコンテンツＣまでの距離が遠くなることで、視線を動かす距離が長くなり、ユーザにとって使いにくいことは同様である。

図６は、本実施例における表示制御の効果を説明する図である。本実施例では、仮想空間を現実空間に固定するのではなく、図４で説明したように、ユーザ２から見ると、仮想空間ＶＳは常にユーザの腰部の方向に固定されている。よって作業台Ｂでの作業時には、ユーザ２は体全体を作業台Ｂに向けることで、仮想空間ＶＳはユーザの正面方向に移動する。これと同時に、仮想空間ＶＳ上のコンテンツＣもユーザから見て右手方向に移動する。これによって、初期状態として図５のようにコンテンツＣを作業台Ａの右に配置した場合でも、作業台Ｂでの作業時には、体全体を作業台Ｂに向けることで、コンテンツＣが作業台Ｂに重ならないようになる。ユーザがコンテンツＣを見たいときは、腰部はそのままで頭部だけ右側を向ければよい。

すなわちこの効果は、図４で述べたように、頭部の差分回転量からユーザの視線方向を求め、これに合わせるように表示領域Ｓの位置を移動させること、その結果、仮想空間ＶＳがユーザ２の体の正面に固定されていることに基づく。これにより、例えば、仮想空間ＶＳ上のコンテンツが、現実空間の見たい物体（作業台）に重なり合っている場合には、ユーザ２自身が体の向きを変えることによって仮想空間ＶＳとコンテンツを動かすことができ、コンテンツおよび現実空間の視認性を向上させることができる。

実施例２では、実施例１の動作に加え、さらにユーザの頭部の前後方向の動き（差分移動量）を検出し、差分移動量に応じて仮想空間のサイズを拡大または縮小させる構成とする。これにより、例えばユーザが前傾姿勢になることで、表示画像のズーム操作を行うことができる。

図７は、実施例２に係る頭部装着型表示装置１ａの機能構成を示すブロック図である。なお、実施例１（図３）と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。頭部装着型表示装置１ａは、新たに、頭部移動認識部２４と仮想空間拡縮部２５を追加している。

本実施例では、第１センサ１１ａおよび第２センサ１１ｂが含む３つ以上の加速度センサは、互いに測定軸が直交するように配置され、少なくとも装着部位の左右（Ｘ軸）、前後（Ｙ軸）、上下（Ｚ軸）の加速度を測定する。頭部移動認識部２４は、第１センサ１１ａおよび第２センサ１１ｂから得られたそれぞれの装着部位の加速度および角速度から、ユーザ２の腰部に対する頭部の前後（Ｙ軸）方向の移動量（差分移動量）を算出する。すなわち、頭部のみが移動しているのか、腰部ごと移動しているのかを識別する。以下、頭部の前後方向の差分移動量を、頭部前方移動量Ｍと呼ぶ。また仮想空間拡縮部２５は、頭部移動認識部２４から入力する頭部前方移動量Ｍに応じて、仮想空間保存部２３に保存されている仮想空間ＶＳを拡大／縮小して出力する。

頭部移動認識部２４の行う頭部前方移動量Ｍの算出方法を具体的な説明する。なお、説明を簡易にするために仰俯角については考慮しない。頭部移動認識部２４は、まず、頭部の位置（Ｘａ_ｔ、Ｙａ_ｔ）を数式２に従って更新する。

ここに、θａ_ｔは時刻ｔにおける頭部の角度、Ｖθａは頭部方位角速度、Δｔは時刻ｔ－１から時刻ｔまでの時間である。Ｖｘａは時刻ｔ－１から時刻ｔにおける頭部のＸ軸方向速度、Ｖｙａは時刻ｔ－１から時刻ｔにおける頭部のＹ軸方向速度である。Ｘａ_ｔは時刻ｔにおける頭部Ｘ軸位置、Ｙａ_ｔは時刻ｔにおける頭部Ｙ軸位置である。Ｖθｋは腰部方位角速度、Ｖｘｋは時刻ｔ－１から時刻ｔにおける腰部のＸ軸方向速度、Ｖｙｋは時刻ｔ－１から時刻ｔにおける腰部のＹ軸方向速度である。なお、θａ_ｔは腰部前方を角度０、ＶｘａおよびＶｙａは頭部前方をＹ軸、Ｘａ_ｔ、Ｙａ_ｔ、Ｖｘｋ、Ｖｙｋは腰部前方をＹ軸とする。このとき、ＶｘａおよびＶｙａは第１センサ１１ａに含まれる加速度センサの出力値の時間積分、ＶｘｋおよびＶｙｋは第２センサ１１ｂに含まれる加速度センサの出力値の時間積分によって求められる。

次に、頭部前方移動量Ｍを求める。頭部位置（Ｘａ_ｔ，Ｙａ_ｔ）から、腰部位置を通るＸＺ面に平行な面への垂線の長さを頭部前方移動量Ｍとする（後述する図８（ｂ）参照）。このように頭部前方移動量Ｍを求めることで、頭部を横に向けた状態で頭部を前方に動かした場合でも頭部前方移動量Ｍが変化するため、自然な拡縮処理（ズーム動作）を実現することができる。

図８は、頭部前方移動量Ｍに応じた仮想空間の拡縮処理を説明する図である。頭部装着型表示装置１ａを装着したユーザ２の正面には仮想空間ＶＳが配置されている。頭部装着型表示装置１ａを介して見える仮想空間までの距離Ｌａは、予め決められている。（ａ）はユーザ２が直立しているとき、（ｂ）は、ユーザ２が前傾姿勢をしているときである。（ａ）の直立状態とは、頭部に装着された頭部装着型表示装置１の地平面に対する位置と、腰部の地平面に対する位置が一致している。このとき、頭部前方移動量Ｍは０となる。一方、（ｂ）は前傾姿勢状態で、頭部装着型表示装置１ａの地平面上の位置（Ｘａ_ｔ，Ｙａ_ｔ）と腰部の地平面上の位置に差がある。この差のうち、頭部の前方方向（Ｙ方向）の位置の差が頭部前方移動量Ｍである。つまり、頭部前方移動量Ｍは、仮想空間ＶＳにユーザの頭部のみがどれだけ近づいたかを表し、近づいた時をＭ＞０、遠ざかった時をＭ＜０とする。

仮想空間拡縮部２５は、頭部移動認識部２４が算出した頭部前方移動量Ｍに応じて、仮想空間保存部２３に保存されている仮想空間ＶＳを拡大または縮小して出力する。すなわち、Ｍ＞０ならば拡大（ズームイン）、Ｍ＜０ならば縮小（ズームアウト）するズーム動作となる。（ｂ）はＭ＞０で仮想空間ＶＳ’に拡大した場合を示す。

仮想空間拡縮部２５は、まず、ズーム動作を行ったときの仮想空間までの距離Ｌｂを求める。仮想空間距離Ｌｂは、仮想空間距離Ｌａと頭部前方移動量Ｍの差であり（Ｌｂ＝Ｌａ－Ｍ）、頭部を通り仮想空間ＶＳに垂直な線分の長さである。次に、仮想空間ＶＳの拡大率Ｚを計算する。拡大率Ｚは、仮想空間距離Ｌａを仮想空間距離Ｌｂで除算した値Ｚ＝Ｌａ／Ｌｂである。つまり、拡大率Ｚ＞１ならば仮想空間ＶＳを拡大し、拡大率Ｚ＜１ならば仮想空間ＶＳを縮小し、これにより仮想空間ＶＳに含まれるコンテンツも拡縮される。拡縮する手法には、例えば、最近傍法、バイリニア法、バイキュービック法などのアルゴリズムを用いる。その後、拡縮した仮想空間ＶＳ’を出力する。出力形式は、ビットマップイメージなどの画像ファイル形式や、コンテンツの画像と座標の配列形式である。

表示制御部２２は、仮想空間拡縮部２５が出力する拡縮された仮想空間ＶＳ’のうち表示領域Ｓをどの部分にするかを決定し、表示領域Ｓのコンテンツをディスプレイ１２へ出力する。表示領域Ｓの決定方法は実施例１と同様であり、頭部回転認識部２１が出力する頭部の差分回転量に応じて表示領域Ｓを移動させる。なお、ディスプレイ１２で見える表示領域Ｓの大きさと表示領域Ｓまでの距離Ｌａは仮想空間ＶＳの拡縮とは関係なく一定であるが、仮想空間ＶＳを拡縮したことにより、ユーザ２が表示領域Ｓ内に視認する画像は上記拡大率Ｚだけ拡大または縮小されたものとなる。

実施例２によれば、前傾姿勢による頭部前方移動量を検出することで仮想空間ＶＳを拡縮し、表示画像のズーム制御を行うことができる。これにより、ユーザにとって自然な動作で表示画像のズーム操作を行うことができる。

実施例３では、センサの検出値からユーザの歩行状態を判定し、実施例２で述べた表示画像の拡縮処理（ズーム動作）の有効／無効を制御する構成とする。これにより、例えばユーザが歩行時にふらつく場合でも、表示画像を安定化することができる。

図９は、実施例３に係る頭部装着型表示装置１ｂの機能構成を示すブロック図である。頭部装着型表示装置１ｂは、実施例２（図７）の構成に対し、歩行判定部２６を追加している。なお、実施例２と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。

歩行判定部２６は、ユーザ２が歩行しているかの判定を行う。歩行とは、腰部が所定以上の速度で移動するとともにこれに頭部が追従している状態である。よって、腰部と頭部の速度を比較することで判定する。歩行判定部２６は、歩行している場合は歩行信号を、歩行していない場合は静止信号を頭部移動認識部２４へ出力する。頭部移動認識部２４は、歩行判定部２６から入力した歩行信号または静止信号に応じて、算出した頭部前方移動量Ｍを修正し（有効または無効とし）、その結果仮想空間拡縮部２５は仮想空間の拡縮処理を実行または中止する。

図１０は、歩行判定と頭部前方移動量の修正処理のフローチャートである。
ステップＳ１０１：第１センサ１１ａおよび第２センサ１１ｂからセンサ値を取得する。センサ値とは、それぞれの装着部位の加速度の値および角速度の値である。
ステップＳ１０２：頭部前方移動速度Ｖａおよび腰部前方移動速度Ｖｋを数式３に従って計算する。ここに、頭部の位置（Ｘａ_ｔ、Ｙａ_ｔ）は前記数式２から求められ、Ｖｙｋは数式２で用いた腰部のＹ軸方向速度である。

ステップＳ１０３：腰部前方移動速度Ｖｋが閾値Ｄ１よりも大きいか判定する。Ｖｋが閾値Ｄ１よりも大きい場合にはステップＳ１０４に遷移し、Ｖｋが閾値Ｄ１以下である場合にはステップＳ１０７に遷移する。
ステップＳ１０４：頭部前方移動速度Ｖａと腰部前方移動速度Ｖｋの速度差Ｖｓを求める。
ステップＳ１０５：速度差Ｖｓの絶対値が閾値Ｄ２よりも小さい場合にはステップＳ１０６に遷移する。速度差Ｖｓの絶対値が閾値Ｄ２以上の場合には、ステップＳ４０７に遷移する。

ステップＳ１０６：頭部と腰部が一緒に移動している「歩行状態」であると判定して頭部移動認識部２４へ歩行信号を出力し、ステップＳ１０８に遷移する。
ステップＳ１０７：ユーザは「静止状態」と判定して頭部移動認識部２４へ静止信号を出力し、ステップＳ１０９に遷移する。

ステップＳ１０８：頭部移動認識部２４は、歩行判定部２６から歩行信号を受け取った場合には、頭部のみの移動ではないと認識し頭部前方移動量Ｍを０（無効）として出力する。その結果、仮想空間拡縮部２５は仮想空間の拡縮処理（ズーム動作）を中止する。
ステップＳ１０９：頭部移動認識部２４は、歩行判定部２６から静止信号を受け取った場合には、算出した頭部前方移動量Ｍを有効として出力する。そして仮想空間拡縮部２５は、仮想空間の拡縮処理（ズーム動作）を実行する。

実施例４によれば、ユーザが歩行状態（速度Ｄ１より速く歩行）である場合には、表示画像の拡縮処理（ズーム動作）を中止させる。これにより、ユーザが歩行中でふらつく場合でも、頭部装着型表示装置１ｂの画像表示が見やすくなる効果がある。

実施例４では、仮想空間ＶＳの拡縮処理前に、仮想空間ＶＳの前処理として切り出しを行う構成とした。切り出し処理とは、拡縮処理に伴う仮想空間ＶＳのサイズ変化分を事前に補正し、拡縮処理後の仮想空間ＶＳのサイズを一定にするものである。これにより、拡縮処理（ズーム動作）時にも、仮想空間ＶＳ内の表示領域Ｓの選択（位置決め）を精度良く行うことができる。

図１１は、実施例４に係る頭部装着型表示装置１ｃの機能構成を示すブロック図である。頭部装着型表示装置１ｃは、実施例２（図７）の構成に対し、仮想空間切り出し部２７を追加している。なお、実施例２と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。

仮想空間切り出し部２７は、仮想空間ＶＳの切り出しを行う。ここに切り出し処理とは、仮想空間拡縮部２５にて仮想空間ＶＳを拡縮することにより生じる拡縮後の外形サイズの変化分を補正するように、事前に仮想空間ＶＳの周辺部をトリミング（切り取り）またはパディング（埋め込み）する処理のことである。

そのため仮想空間切り出し部２７は、頭部移動認識部２４が出力する頭部前方移動量Ｍによって、仮想空間拡縮部２５が行う仮想空間ＶＳの拡縮処理の拡大率Ｚを計算する。実施例２（図８）で説明した通り、拡大率Ｚは仮想空間距離Ｌａを仮想空間距離Ｌｂで除算した値であり（Ｚ＝Ｌａ／Ｌｂ）、頭部前方移動量Ｍを用いて算出する。

図１２は、仮想空間の切り出し処理を説明する図である。（ａ）は切り出し前の仮想空間ＶＳ０を、（ｂ）は切り出し後の仮想空間ＶＳ１を、（ｃ）は拡縮処理後の仮想空間ＶＳ２を示す。

仮想空間切り出し部２７は、拡大率Ｚに従い、仮想空間保存部２３に保存された仮想空間ＶＳ０の切り出しを行う。切り出し形状は、仮想空間ＶＳ０の中心位置に合わせて、横の長さがＦｈ／Ｚ、縦の長さがＦｗ／Ｚとなる長方形とする。このとき、拡大率Ｚが１より大きい場合は、長方形の外側の仮想空間部分をトリミングする。拡大率Ｚが１より小さい場合は、長方形と仮想空間の隙間に空白部をパディングする。このようにして仮想空間切り出し部２７は、切り出し後の長方形の仮想空間ＶＳ１を仮想空間拡縮部２５に出力する。

仮想空間拡縮部２５は、仮想空間切り出し部２７が切り出した仮想空間ＶＳ１を入力して、頭部前方移動量Ｍに従い拡縮処理を行う。その際、拡縮後の仮想空間２のサイズは、仮想空間保存部２３に保存された元の仮想空間ＶＳ０のサイズと等しくなる。その後、表示制御部２２は、頭部回転認識部２１からの頭部差分回転量に応じて、仮想空間に対し表示領域Ｓを決定する。

実施例４によれば、仮想空間ＶＳの拡縮前に仮想空間ＶＳの切り出し処理を行うことで、拡縮処理（ズーム動作）を行っても仮想空間内の表示領域Ｓを精度良く位置決めできるという効果がある。

実施例５は、腰部の動きを検出する第２センサの代わりに、外部から腰部動き信号を受信する構成とする。

図１３は、実施例５に係る頭部装着型表示装置１ｄのハードウェア構成を示す図である。本実施例の頭部装着型表示装置１ｄは、実施例１（図２）における２つのセンサのうち第２センサ１１ｂを受信部１６で置き換え、外部デバイス３から腰部動き信号を受信する構成としている。受信部１６は、例えば、イーサネット（登録商標）、ＵＳＢ（Universal Serial Bus）などの通信手段であり、有線／無線接続のいずれでも良い。他の構成は、実施例１（図２）と同一である。

図１４は、頭部装着型表示装置１ｄの機能構成を示すブロック図である。ここでは、実施例２（図７）と同様の機能を実現する構成例を示す。すなわち、第１センサ１１ａからの頭部動き信号と、受信部１６で受信した腰部動き信号を用いて表示制御を行うため、頭部回転認識部２１、頭部移動認識部２４、表示制御部２２、仮想空間拡縮部２５、などを備えている。

受信部１６は、外部デバイス３から腰部動き信号を受信する。腰部動き信号とは、ユーザの腰部の回転や移動を示す信号であり、例えば、外部に設置したカメラシステムや、腰部に取り付けたスマートフォンから取得することができる。

頭部回転認識部２１は、第１センサ１１ａから得られた頭部の角速度および受信部１６から得られた腰部の角速度から、ユーザ２の頭部の差分回転量（頭部仰俯角回転量Ｒａ_ｘおよび頭部方位角回転量Ｒａ_ｚ）を算出して出力する。

頭部移動認識部２４は、第１センサ１１ａから得られた頭部の移動量および受信部６１０から得られた腰部の移動量から、ユーザ２の頭部の差分移動量（頭部前方移動量Ｍ）を算出して出力する。

その後、表示制御部２２は、頭部仰俯角回転量Ｒａ_ｘおよび頭部方位角回転量Ｒａ_ｚに基づき、仮想空間ＶＳの表示領域Ｓを決定する（実施例１と同様）。また、仮想空間拡縮部２５は、頭部前方移動量Ｍに基づき、仮想空間ＶＳのサイズを拡大または縮小する（実施例２と同様）。

なお、上記の表示制御では実施例２の仮想空間の拡縮処理に基づいて説明したが、さらに、実施例３で述べた歩行判定や、実施例４で述べた仮想空間の切り出し処理を組み合わせることも可能であることは言うまでもない。

実施例５によれば、ユーザは腰部に第２センサを装着することなく頭部の差分回転量や差分移動量を算出し、これに応じた表示制御を行うことができるので、頭部装着型表示装置１ｄの構成が簡素化できる効果がある。

実施例６では、第１、第２センサの代わりに、外部から頭部動き信号を受信する構成とする。

図１５は、実施例６に係る頭部装着型表示装置１ｅのハードウェア構成を示す図である。本実施例の頭部装着型表示装置１ｅは、実施例１（図２）における第１、第２センサ１１ａ，１１ｂを受信部１６で置き換え、外部デバイス３から頭部動き信号を受信する構成としている。受信部１６は、例えば、イーサネット（登録商標）、ＵＳＢ（Universal Serial Bus）などの通信手段であり、有線／無線接続のいずれでも良い。他の構成は、実施例１（図２）と同一である。

図１６は、頭部装着型表示装置１ｅの機能構成を示すブロック図である。ここでは、実施例１（図３）と同様の機能を実現する構成例を示す。すなわち、受信部１６で受信した頭部動き信号を用いて表示制御を行うため、表示制御部２２を備えている。

受信部１６は、外部デバイス３から、腰部に対する頭部の動き信号として、実施例１で説明した頭部差分回転量（頭部仰俯角回転量Ｒａ_ｘおよび頭部方位角回転量Ｒａ_ｚ）を受信する。

表示制御部２２は、受信した頭部の差分回転量に応じて、仮想空間保存部２３内の仮想空間ＶＳのうちユーザに提示する表示領域Ｓを決定する。ディスプレイ１２は、表示制御部２２から出力された表示領域Ｓの画像（コンテンツ）を表示する。頭部の差分回転量に応じた表示領域の決定は、実施例１（図４～図６）に述べた通りである。

実施例６によれば、実施例１と同様に、ユーザ２から見て仮想空間ＶＳは常に腰部の方向に固定されているので、作業者の動きに対して常に見易い位置に画像を表示することができる。さらに本実施例では、頭部装着型表示装置はユーザの動きを検出するセンサを含まない構成としたので、簡単な構成で実現できる。

なお、実施例６では実施例１の機能を実現する場合を説明したが、外部デバイス３から頭部の差分回転量だけでなく差分移動量を受信することも可能であり、これにより実施例２～実施例４の機能への拡張も可能であることは言うまでもない。

本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施例の構成の一部を、他の実施例の構成に置き換えることが可能であり、ある実施例の構成に、他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除および置換をすることが可能である。

また、上記各構成、機能、処理部および処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成および各機能は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブルおよびファイル等の情報は、メモリ、ハードディスクおよびＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ等の記憶媒体に置くことができる。また、制御線および情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線および情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、頭部装着型表示装置だけなく、頭部装着型表示装置で実行されるコンピュータ読み取り可能なプログラム、頭部装着型表示装置における処理方法等の様々な態様で提供することができる。

１，１ａ～１ｅ：頭部装着型表示装置、２：ユーザ、３：外部デバイス、１１，１１ａ，１１ｂ：センサ、１２：ディスプレイ、１３：ＣＰＵ、１４：ＲＯＭ、１５：ＲＡＭ、１６：受信部、２１：頭部回転認識部、２２：表示制御部、２３：仮想空間保存部、２４：頭部移動認識部、２５：仮想空間拡縮部、２６：歩行判定部、２７：仮想空間切り出し部、ＶＳ：仮想空間、Ｓ：表示領域。

Claims (9)

1. ユーザの頭部に装着して仮想空間の画像を表示する頭部装着型表示装置において、
   前記ユーザの頭部の動きを検出する第１センサと、
   前記ユーザの腰部の動きを検出する第２センサと、
   前記第１センサおよび前記第２センサの検出値から前記ユーザの腰部に対する頭部の差分回転量を算出する頭部回転認識部と、
   １つ以上の表示する画像が予め位置決めして収納された前記仮想空間を保存する仮想空間保存部と、
   前記仮想空間保存部が保存する前記仮想空間に表示領域を決定して表示する画像を選択する表示制御部と、
   前記表示制御部により選択された画像を表示するディスプレイと、を備え、
   前記表示制御部は、前記頭部回転認識部が算出した頭部の差分回転量に応じて前記仮想空間に表示領域を決定し、決定した表示領域に位置する画像を選択して前記ディスプレイに出力することを特徴とする頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、さらに、
   前記第１センサおよび前記第２センサの検出値から前記ユーザの腰部に対する頭部の前方差分移動量を算出する頭部移動認識部と、
   前記仮想空間保存部に保存されている前記仮想空間を拡大／縮小する仮想空間拡縮部と、を備え、
   前記仮想空間拡縮部は、前記頭部移動認識部が算出した頭部の前方差分移動量に応じて前記仮想空間を拡大／縮小し、
   前記表示制御部は、前記仮想空間拡縮部が拡大／縮小した前記仮想空間に対し、前記頭部回転認識部が算出した頭部の差分回転量に応じて表示領域を決定することを特徴とする頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、さらに、
   前記第１センサおよび前記第２センサの検出値から、前記ユーザの腰部の前方移動速度Ｖｋが閾値Ｄ１より大きく、頭部と腰部の前方移動速度差Ｖｓの絶対値が閾値Ｄ２より小さいとき、前記ユーザは歩行中であると判定する歩行判定部、を備え、
   前記歩行判定部が歩行中と判定した場合には、前記頭部移動認識部は、頭部の前方差分移動量を０として出力することを特徴とする頭部装着型表示装置。
4. 請求項２に記載の頭部装着型表示装置であって、さらに、
   前記仮想空間保存部に保存されている仮想空間の周辺部を切り取り／埋め込み（以下、切り出し処理）を行う仮想空間切り出し部、を備え、
   前記仮想空間切り出し部は、前記頭部移動認識部が算出した頭部の前方差分移動量に応じて前記仮想空間の切り出し処理を行い、
   前記仮想空間拡縮部は、前記仮想空間切り出し部が切り出し処理を行った前記仮想空間に対し、前記頭部移動認識部が算出した頭部の前方差分移動量に応じて拡大／縮小することを特徴とする頭部装着型表示装置。
5. 請求項１ないし請求項４のいずれかに記載の頭部装着型表示装置であって、
   前記第２センサに代えて、外部デバイスから前記ユーザの腰部の動き信号を受信する受信部を備え、
   前記第２センサの検出値として、前記受信部の受信信号を用いることを特徴とする頭部装着型表示装置。
6. ユーザの頭部に装着して仮想空間の画像を表示する頭部装着型表示装置において、
   外部デバイスから、前記ユーザの腰部に対する頭部の差分回転量を示す信号を受信する受信部と、
   １つ以上の表示する画像が予め位置決めして収納された前記仮想空間を保存する仮想空間保存部と、
   前記仮想空間保存部が保存する前記仮想空間に表示領域を決定して表示する画像を選択する表示制御部と、
   前記表示制御部により選択された画像を表示するディスプレイと、を備え、
   前記表示制御部は、前記受信部が受信した頭部の差分回転量に応じて前記仮想空間に表示領域を決定し、決定した表示領域に位置する画像を選択して前記ディスプレイに出力することを特徴とする頭部装着型表示装置。
7. 請求項６に記載の頭部装着型表示装置であって、さらに、
   前記受信部は、外部デバイスから、前記ユーザの腰部に対する頭部の前方差分移動量を示す信号を受信するとともに、
   前記仮想空間保存部に保存されている前記仮想空間を拡大／縮小する仮想空間拡縮部、を備え、
   前記仮想空間拡縮部は、前記受信部が受信した頭部の前方差分移動量に応じて前記仮想空間を拡大／縮小し、
   前記表示制御部は、前記仮想空間拡縮部が拡大／縮小した前記仮想空間に対し、前記受信部が受信した頭部の差分回転量に応じて表示領域を決定することを特徴とする頭部装着型表示装置。
8. ユーザが装着した頭部装着型表示装置により仮想空間の画像表示を行う仮想空間表示制御方法において、
   前記仮想空間に、予め１つ以上の表示する画像を位置決めして収納するステップと、
   前記ユーザの腰部に対する頭部の差分回転量を取得するステップと、
   取得した頭部の差分回転量に応じて前記仮想空間に表示領域を決定するステップと、
   前記仮想空間から決定された表示領域に位置する画像を選択するステップと、
   選択された画像を表示するステップと、
   を備えることを特徴とする仮想空間表示制御方法。
9. 請求項８に記載の仮想空間表示制御方法であって、さらに、
   前記ユーザの腰部に対する頭部の前方差分移動量を取得するステップと、
   取得した頭部の前方差分移動量に応じて前記仮想空間を拡大／縮小するステップと、を備え、
   前記表示領域を決定するステップでは、拡大／縮小された前記仮想空間に対し、取得した頭部の差分回転量に応じて表示領域を決定することを特徴とする仮想空間表示制御方法。

Images