JP7466733B1 - 画像表示装置および画像表示システム - Google Patents

Abstract

【課題】画像表示装置において、装着するユーザーの負担を軽減することが好ましい。【解決手段】ユーザーの頭部に装着され、画像を表示する画像表示部と、頭部以外の第１部位に装着され、第１部位に関する第１情報を取得し、画像表示部に対する相対位置が変更可能である第１情報取得部と、画像表示部と第１情報取得部の相対位置情報を取得する相対位置情報取得部とを備える、画像表示装置を提供する。第１情報は、第１部位の絶対位置情報および第１部位の姿勢情報を含んでよい。【選択図】図２

Description

発明の詳細な説明

本発明は、画像表示装置および画像表示システムに関する。

ヘッドマウントディスプレイ(Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)方式の拡張現実型ウェアラブルデバイスとして、スマートグラスやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス等が知られている（例えば、特許文献１－３参照）。また、拡張現実型ウェアラブルデバイスにおいて、位置トラッキング技術が用いられている（例えば、特許文献４－６参照）。
特開２０１６－１４９５８７号公報 特開２０１６－１３９１７４号公報 特開２０１４－１７４７９０号公報 特開２０２０－１８６９８１号公報 特開２０１５－０８４２２９号公報 特開２０２２－１８６２９９号公報

スマートグラスやＡＲグラス等のウェアラブルデバイスにおいて、ウェアラブルデバイスを装着するユーザーの負担を軽減することが好ましい。

本発明の第１の態様においては、画像表示装置を提供する。画像表示装置は、画像表示部を備えてよい。画像表示部は、ユーザーの頭部に装着されてよい。画像表示部は、画像を表示してよい。画像表示装置は、第１情報取得部を備えてよい。第１情報取得部は、頭部以外の第１部位に装着されてよい。第１情報取得部は、第１部位に関する第１情報を取得してよい。第１情報取得部は、画像表示部に対する相対位置が変更可能であってよい。画像表示装置は、相対位置情報取得部を備えてよい。相対位置情報取得部は、画像表示部と第１情報取得部の相対位置情報を取得してよい。

前記第１情報は、第１部位の絶対位置情報および第１部位の姿勢情報を含んでよい。

画像表示部は、絶対位置情報および相対位置情報を取得してよい。画像表示部は、絶対位置情報および相対位置情報に基づいて、画像を表示してよい。

画像表示部は、第１姿勢センサを含んでよい。第１姿勢センサは、頭部の姿勢情報を取得してよい。

画像表示部は、頭部の姿勢情報と第１部位の姿勢情報の差分に基づいて、画像を表示してよい。

画像表示部は、ＡＲグラスであってよい。

第１情報取得部は、電源部を含んでよい。電源部は、画像表示部に電力を供給してよい。

第１情報取得部は、ユーザーの首部に装着されてよい。

相対位置情報取得部は、多関節ロボットアームを含んでよい。多関節ロボットアームは、画像表示部および第１情報取得部と接続してよい。相対位置情報取得部は、多関節ロボットアームの各関節角度に基づいて、画像表示部と第１情報取得部の相対位置情報を取得してよい。

多関節ロボットアームは、第１関節を含んでよい。第１関節は、第１情報取得部と前記多関節ロボットアームの接続点である第１接続点に設けられてよい。相対位置情報取得部は、第１角度センサを含んでよい。第１角度センサは、第１関節の角度を計測してよい。

多関節ロボットアームは、第２関節を含んでよい。第２関節は、第１情報取得部と多関節ロボットアームの接続点である第１接続点と、画像表示部と多関節ロボットアームの接続点である第２接続点との間に設けられてよい。相対位置情報取得部は、第２角度センサを含んでよい。相対位置情報取得部は、第２関節の角度を計測してよい。

第２角度センサは、第２関節に設けられてよい。

第２角度センサは、第１接続点に設けられてよい。

相対位置情報取得部は、カメラを含んでよい。カメラは、第１情報取得部に設けられてよい。カメラは、画像情報を取得してよい。相対位置情報取得部は、カメラが取得した画像表示部の画像情報に基づいて、画像表示部と第１情報取得部の相対位置情報を取得してよい。

画像表示部は、マーカーを含んでよい。カメラは、マーカーを含んだ画像情報を取得してよい。

相対位置情報取得部は、第１姿勢センサを含んでよい。第１姿勢センサは、画像表示部に設けられてよい。第１姿勢センサは、頭部の姿勢情報を取得してよい。相対位置情報取得部は、第２姿勢センサを含んでよい。第２姿勢センサは、第１情報取得部に設けられてよい。第２姿勢センサは、第１部位の姿勢情報を取得してよい。相対位置情報取得部は、頭部の姿勢情報および第１部位の姿勢情報に基づいて、画像表示部と第１情報取得部の相対位置情報を取得してよい。

相対位置情報取得部は、ユーザーの身体的情報に基づいて、画像表示部と第１情報取得部の相対位置情報を取得してよい。

本発明の第２の態様においては、画像表示システムを提供する。画像表示システムは、画像表示手段を備えてよい。画像表示手段は、ユーザーの頭部に装着されてよい。画像表示手段は、画像を表示してよい。画像表示システムは、第１情報取得手段を備えてよい。第１情報取得手段は、頭部以外の第１部位に装着されてよい。第１情報取得手段は、第１部位に関する第１情報を取得してよい。第１情報取得手段は、画像表示手段に対する相対位置が変更可能であってよい。画像表示システムは、相対位置情報取得手段を備えてよい。相対位置情報取得手段は、画像表示手段と第１情報取得手段の相対位置情報を取得してよい。

本発明の一つの実施形態に係る画像表示装置１００の構成の一例を示す図である。 画像表示装置１００の構成の一例を示す斜視図である。 画像表示装置１００の多関節ロボットアーム３２の一例を示す図である。 極座標系を示す図である。 画像表示装置２００の多関節ロボットアーム３２の一例を示す図である。 画像表示装置２００の多関節ロボットアーム３２の別の例を示す図である。 画像表示装置３００の構成の一例を示す斜視図である。 画像表示装置４００の構成の一例を示す斜視図である。 画像表示装置１００がユーザーに装着される例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一つの実施形態に係る画像表示装置１００の構成の一例を示す図である。本例の画像表示装置１００は、画像表示部１０、第１情報取得部２０および相対位置情報取得部３０を備える。画像表示装置１００は、画像表示部１０、第１情報取得部２０および相対位置情報取得部３０以外の構成を備えていてもよい。本例の画像表示装置１００は、ウェアラブルデバイスである。つまり画像表示装置１００は、ユーザーに装着されるデバイスである。画像表示装置１００は、少なくとも一部がユーザーに装着されればよい。画像表示装置１００は、ヘッドマウントディスプレイ方式であってよい。つまり画像表示装置１００は、少なくとも一部がユーザーの頭部に装着されてよい。画像表示装置１００は、画像表示装置１００が装着されたユーザーに画像を表示する。画像表示装置１００が表示する画像は、例えば、ＡＲ画像である。画像表示装置１００が表示する画像は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像であってもよい。画像表示装置１００が表示する画像は、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）画像であってもよい。なお画像表示装置１００は、画像表示システムであってもよい。画像表示システムは、画像表示手段として画像表示部１０、第１情報取得手段として第１情報取得部２０および相対位置情報取得手段として相対位置情報取得部３０をそれぞれ備えてよい。

図２は、画像表示装置１００の構成の一例を示す斜視図である。画像表示部１０は、画像を表示してよい。画像表示部１０は、ＡＲ画像やＶＲ画像を表示してよい。画像表示部１０は、２つのディスプレイ１２を含んでよい。ディスプレイ１２は、ＡＲ画像やＶＲ画像を表示してよい。２つのディスプレイ１２は、一体となっていてもよい。

画像表示部１０は、ユーザーの頭部に装着されてよい。画像表示部１０は、眼鏡方式であってよい。画像表示部１０は、スマートグラスであってよい。画像表示部１０は、ＡＲグラスであってよい。画像表示部１０は、ユーザーの目線に画像を表示してよい。画像表示部１０は、フレーム１４を含んでよい。フレーム１４は、一部がユーザーの頭部に接触する。フレーム１４を含むことにより、画像表示部１０をユーザーの目から所定距離離した状態で、画像表示部１０をユーザーの頭部に装着することができる。

画像表示部１０は、第１姿勢センサ１６を含んでよい。第１姿勢センサ１６は、画像表示部１０に設けられてよい。第１姿勢センサ１６は、画像表示部１０に接するように設けられてよい。本例において第１姿勢センサ１６は、ディスプレイ１２に接するように設けられる。第１姿勢センサ１６は、ユーザーの頭部の姿勢情報を取得してよい。姿勢情報とは、Ｘ軸、Ｙ軸、Ｚ軸等の各軸に対する傾きを示す情報であってよい。姿勢情報とは、Ｘ軸、Ｙ軸、Ｚ軸等の各軸に対して傾いていない場合を初期状態とした場合、当該初期状態からの傾きの変化を示す情報であってよい。また、第１姿勢センサ１６は、画像表示部１０の姿勢情報を取得してよい。第１姿勢センサ１６は、画像表示部１０の姿勢情報を取得することにより、ユーザーの頭部の姿勢情報を取得してよい。第１姿勢センサ１６は、一例としてＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサである。ＩＭＵセンサは、角速度センサ、加速度センサ等を含んでよい。本例では、１つの第１姿勢センサ１６が、画像表示部１０に設けられているが、複数の第１姿勢センサ１６が、画像表示部１０に設けられていてもよい。複数の第１姿勢センサ１６が画像表示部１０に設けられると、より高精度に画像表示部１０の姿勢情報を取得することができる。

本例の画像表示部１０は、第１姿勢センサ１６によってユーザーの頭部の姿勢情報を取得するため、ユーザーの頭部の姿勢情報に基づいて、画像を表示することができる。例えばユーザーの頭部が傾いた場合、傾いた変化分に応じてディスプレイ１２が表示する画像を傾けることができる。したがって、画像表示装置１００を装着したユーザーは、画像表示部１０が表示した画像により、ＡＲ、ＶＲ空間を楽しむことができる。このように、ユーザーの頭部の姿勢情報を取得するデバイスは、３ＤｏＦ（Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ）デバイスとして一般的に知られている。

一方で、６ＤｏＦデバイスというデバイスも一般的に知られている。６ＤｏＦデバイスは、ユーザーの頭部の姿勢情報を取得するとともに、ユーザーの頭部の絶対位置情報も取得する。ユーザーの頭部の絶対位置情報とは、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向における特定の基準点に対するユーザーの頭部の位置を示す情報であってよい。６ＤｏＦデバイスは、ユーザーの頭部の姿勢情報に加えて、ユーザーの頭部の位置情報も取得するため、ユーザーはＡＲ、ＶＲ空間内を歩き、ＡＲ、ＶＲ空間内のオブジェクトに近づくことができる。したがって、ユーザーはＡＲ、ＶＲ空間において３ＤｏＦデバイスに比べて現実に近い没入感を楽しむことができる。また６ＤｏＦデバイスは、３Ｄ酔いしにくいことが一般的に知られている。

６ＤｏＦデバイスは、３ＤｏＦデバイスに比べてより多くの情報を取得するため、３ＤｏＦデバイスに比べてデバイスの重量が大きくなる傾向にある。デバイスの重量が大きくなると、装着するユーザーがデバイスを負担に感じ、ＡＲ、ＶＲ空間への没入感が得られにくくなる。そのため、６ＤｏＦデバイスにおいてウェアラブルデバイスを装着するユーザーの負担を軽減することが好ましい。

本例の画像表示装置１００は、第１情報取得部２０を備える。第１情報取得部２０は、頭部以外の部位（以下、第１部位とする）に装着されてよい。例えば、図２において、第１情報取得部２０は、ユーザーの首部に装着されるデバイスである（図９参照）。第１情報取得部２０は、ユーザーの首部に装着されるデバイスに限定されず、ユーザーの腰、背中、肩等に装着されるデバイスであってもよい。図２において、ユーザーの首部に掛けるため、第１情報取得部２０は、湾曲した形状を有する。

第１情報取得部２０は、第１情報取得部２０が装着される部位に関する情報を取得してよい。第１情報取得部２０が装着される部位に関する情報とは、ユーザーの第１部位の絶対位置情報およびユーザーの第１部位の姿勢情報を含んだ情報である。ユーザーの第１部位の絶対位置情報とは、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向における特定の基準点に対するユーザーの第１部位の位置を示す情報であってよい。ユーザーの第１部位の姿勢情報とは、Ｘ軸、Ｙ軸、Ｚ軸等の各軸に対する傾きを示す情報であってよい。ユーザーの第１部位の姿勢情報とは、Ｘ軸、Ｙ軸、Ｚ軸等の各軸に対して傾いていない場合を初期状態とした場合、当該初期状態からの傾きの変化を示す情報であってよい。

本例において第１情報取得部２０は、カメラ２２を含む。第１情報取得部２０は、複数のカメラ２２を含んでよい。カメラ２２を含むことにより、第１情報取得部２０は、第１情報取得部２０が装着される部位に関する情報を取得することができる。カメラ２２は、カメラ２２の映像を利用したＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術により、第１情報取得部２０が装着される部位に関する情報を取得してもよい。また第１情報取得部２０は、カメラ２２のみを含む例に限定されない。第１情報取得部２０は、カメラ２２の代わりに、姿勢センサおよび位置センサを含んでよい。第１情報取得部２０は、カメラ２２に加えて、姿勢センサおよび位置センサを含んでよい。第１情報取得部２０は、カメラ２２の代わりに、レーザートラッカー（Ｌａｓｅｒ Ｔｒａｃｋｅｒ）を含んでよい。第１情報取得部２０は、カメラ２２に加えて、レーザートラッカーを含んでよい。第１情報取得部２０は、カメラ２２の代わりに、デプスセンサ（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）を含んでよい。デプスセンサは、深度を測定してよい。第１情報取得部２０は、カメラ２２に加えて、デプスセンサを含んでよい。

また第１情報取得部２０は、画像表示部１０に対する相対位置が変更可能であってよい。つまり第１情報取得部２０は、画像表示部１０に対して位置が固定されなくてよい。図２において、後述する多関節ロボットアーム３２により画像表示部１０と第１情報取得部２０が接続されているため、第１情報取得部２０は、画像表示部１０に対する相対位置が変更可能である。

本例の画像表示装置１００は、相対位置情報取得部３０を備える。相対位置情報取得部３０は、画像表示部１０と第１情報取得部２０の相対位置情報を取得してよい。画像表示部１０と第１情報取得部２０の相対位置情報は、画像表示部１０に対する第１情報取得部２０の相対位置に関する情報であってよい。画像表示部１０と第１情報取得部２０の相対位置情報は、第１情報取得部２０に対する画像表示部１０の相対位置に関する情報であってもよい。

画像表示装置１００は第１情報取得部２０を備えるため、第１情報取得部２０が装着される部位に関する情報を取得することができる。また画像表示装置１００は相対位置情報取得部３０を備えるため、画像表示部１０と第１情報取得部２０の相対位置情報を取得することができる。したがって、画像表示装置１００は、第１情報取得部２０が取得する情報（例えば、ユーザーの第１部位の絶対位置情報およびユーザーの第１部位の姿勢情報）および相対位置情報取得部３０が取得する情報を用いて、画像表示部１０の絶対位置に関する情報を取得することができる。したがって、画像表示装置１００を６ＤｏＦデバイスとして運用することが可能になる。ここで第１情報取得部２０は、ユーザーの首部に装着されるため、ユーザーの負担を軽減することができる。また、第１情報取得部２０が取得する情報は、ユーザーの第１部位の絶対位置情報およびユーザーの第１部位の姿勢情報のみに限定されず、相対位置情報取得部３０が取得する情報と合わせて画像表示部１０に表示する情報を変える構成であってよい。例えば、ＢＬＥビーコン等を利用して、危険な機械とのおおよその距離と、方向、機械の種類、機械の情報だけを取得し、相対位置情報取得部３０が取得する情報と合わせて、画像表示部１０に表示する情報を変える構成であってよい。

画像表示部１０は、第１情報取得部２０が取得するユーザーの第１部位の絶対位置情報および相対位置情報取得部３０が取得する相対位置情報を取得してよい。画像表示部１０は、第１情報取得部２０が取得する絶対位置情報および相対位置情報取得部３０が取得する相対位置情報に基づいて、画像を表示してよい。つまり、画像表示部１０は、第１情報取得部２０が取得するユーザーの第１部位の絶対位置情報および相対位置情報取得部３０が取得する相対位置情報に基づいて、ユーザーの頭部の絶対位置情報を取得してよい。画像表示部１０は、ユーザーの頭部の絶対位置情報に基づいて、画像を表示してよい。例えば、画像表示部１０は、ユーザーの頭部の絶対位置が変化した場合、その変化量に応じて表示する画像を変化させる。ユーザーの頭部の絶対位置の変化量に応じて、表示するオブジェクトの大きさを変化させてよい。以上より、画像表示部１０は第１情報取得部２０が取得する絶対位置情報および相対位置情報取得部３０が取得する相対位置情報に基づいて画像を表示するため、画像表示装置１００を６ＤｏＦデバイスとして使用することができる。

画像表示部１０は、頭部の姿勢情報と第１部位の姿勢情報の差分に基づいて、画像を表示してよい。つまり、ユーザーの頭部の姿勢がユーザーの第１部位（首部）の姿勢と異なる場合に、表示する画像を変化させる。例えば、ＶＲ空間内の運転シミュレーションで表示される画像を例にして説明する。運転シミュレーションにおいて、頭部の姿勢と第１部位の姿勢が同じ場合、進行方向（前方）の画像を表示する。一方、頭部の姿勢と第１部位の姿勢が異なる場合、例えば運転中顔を横に向けた場合に視線に入る画像を表示する。このように頭部の姿勢情報と第１部位の姿勢情報の差分に基づいて、画像を表示することにより、ユーザーはＡＲ、ＶＲ空間への没入感をさらに得ることができる。

本例において、相対位置情報取得部３０は、多関節ロボットアーム３２を含む。多関節ロボットアーム３２は、複数の関節を含んでよい。多関節ロボットアーム３２は、画像表示部１０および第１情報取得部２０と接続してよい。多関節ロボットアーム３２が画像表示部１０および第１情報取得部２０と接続しているため、画像表示部１０と第１情報取得部２０の相対位置情報を取得することができる。詳細は図３で説明するが、相対位置情報取得部３０は、多関節ロボットアーム３２の各関節角度に基づいて、画像表示部１０と第１情報取得部２０の相対位置情報を取得してよい。なお前述した通りＡＲ、ＶＲ空間への没入感を得るため、画像表示部１０と第１情報取得部２０の相対位置が変更可能であることが好ましい。したがって、多関節ロボットアーム３２は、柔軟に移動可能であることが好ましい。また多関節ロボットアーム３２の重量は小さいことが好ましい。多関節ロボットアーム３２の重量が小さいことにより、ユーザーの負担を軽減することができる。

なお画像表示装置１００は、画像表示部１０、第１情報取得部２０および相対位置情報取得部３０間で情報通信を行うため、不図示の通信手段を備えてよい。画像表示部１０、第１情報取得部２０および相対位置情報取得部３０間は、有線接続されてよい。有線接続の場合、有線ケーブルが多関節ロボットアーム３２内に埋め込まれてもよい。画像表示部１０、第１情報取得部２０および相対位置情報取得部３０間は、無線接続されてもよい。無線接続とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）等であってよい。画像表示装置１００が通信手段を備えるため、画像表示部１０、第１情報取得部２０および相対位置情報取得部３０間において相互に情報通信を行うことができる。

また第１情報取得部２０は、不図示の電源部を含んでよい。電源部は、画像表示部１０に電力を供給してよい。電源部は、第１情報取得部２０に埋め込まれてよい。電源部は、充電が可能なバッテリー等であってよい。電源部は、多関節ロボットアーム３２を介して画像表示部１０に電力を供給してよい。電源部は、不図示のワイヤ等を介して画像表示部１０に電力を供給してよい。重量が大きい電源部を第１情報取得部２０に設けることができるため、ユーザーの負担を軽減することができる。

図３は、画像表示装置１００の多関節ロボットアーム３２の一例を示す図である。図３の多関節ロボットアーム３２は、第１関節３４および第２関節３６を含む。本例では、多関節ロボットアーム３２は、２つの関節を含むが、３つ以上の関節を含んでもよい。

第１関節３４は、第１接続点３８に設けられる。第１接続点３８は、第１情報取得部２０と多関節ロボットアーム３２の接続点であってよい。第１接続点３８は、第１情報取得部２０と多関節ロボットアーム３２を接続する部品であってよい。第１関節３４が第１接続点３８に設けられるとは、第１関節３４を介して第１情報取得部２０と多関節ロボットアーム３２が接続していることであってよい。第１関節３４が第１接続点３８に設けられるとは、第１関節３４が第１接続点３８に接して設けられることであってもよい。

本例の第１関節３４は、第１回転方向４０および第２回転方向４２において回転可能である。図３において、第１回転方向４０および第２回転方向４２を矢印で示している。第１回転方向４０は、第１接続点３８と接する第１情報取得部２０の平面における回転方向である。第２回転方向４２は、第１接続点３８と接する第１情報取得部２０の平面と垂直な平面における回転方向である。

第２関節３６は、第１接続点３８と、第２接続点４４との間に設けられる。第２接続点４４は、第１情報取得部２０と多関節ロボットアーム３２の接続点であってよい。第２接続点４４は、第１情報取得部２０と多関節ロボットアーム３２を接続する部品であってよい。また多関節ロボットアーム３２の第１関節３４（または第１接続点３８）と第２関節３６までの部分を第１アーム４６とし、多関節ロボットアーム３２の第２関節３６から第２接続点４４までの部分を第２アーム４８とする。第２関節３６は、第１アーム４６と第２アーム４８を接続する関節であってよい。

本例の第２関節３６は、第３回転方向５０において回転可能である。図３において、第３回転方向５０を矢印で示している。第３回転方向５０は、第１アーム４６と第２アーム４８が設けられる平面における回転方向である。

相対位置情報取得部３０は、第１角度センサ５２を含む。第１角度センサ５２は、第１関節３４の角度を計測する。例えば、第１角度センサ５２は、第１回転方向４０および第２回転方向４２における第１関節３４の角度を計測する。第１角度センサ５２は、第１回転方向４０および第２回転方向４２においてそれぞれ設けられていてよい。第１角度センサ５２は、例えば、ロータリーセンサである。ロータリーセンサは、光学式、磁気式、電磁誘導式のいずれの方式であってよい。第１角度センサ５２は、ひずみゲージ等を用いた曲げセンサであってもよい。第１角度センサ５２を含むことにより、第１関節３４（第１接続点３８）に対する多関節ロボットアーム３２の第２関節３６の相対位置情報を取得可能である。

第１角度センサ５２は、第１関節３４に設けられてよい。第１角度センサ５２は、第１関節３４に接して設けられてよい。第１角度センサ５２は、第１関節３４の近傍に（例えば、０．５ｃｍ～１．０ｃｍ離れて）設けられてよい。第１角度センサ５２は、第１接続点３８に設けられてよい。第１角度センサ５２は、第１接続点３８に接して設けられてよい。第１角度センサ５２は、第１接続点３８の近傍に（例えば、０．５ｃｍ～１．０ｃｍ離れて）設けられてよい。第１角度センサ５２は、相対位置情報取得部３０に設けられてもよい。第１角度センサ５２が第１関節３４または第１接続点３８に設けられるため、第１角度センサ５２を第１情報取得部２０の近傍に配置することができ、通信手段であるワイヤ等をコンパクトにすることができる。本例では、第１回転方向４０の角度を計測する第１角度センサ５２－１、第２回転方向４２の角度を計測する第１角度センサ５２－２が設けられている。

相対位置情報取得部３０は、第２角度センサ５４を含む。第２角度センサ５４は、第２関節３６の角度を計測する。例えば、第２角度センサ５４は、第３回転方向５０における第２関節３６の角度を計測する。第２角度センサ５４は、例えば、ロータリーセンサである。第２角度センサ５４は、ひずみゲージ等を用いた曲げセンサであってもよい。第２角度センサ５４を含むことにより、多関節ロボットアーム３２の第２関節３６に対する第２接続点４４（つまり、画像表示部１０）の相対位置情報を取得可能である。したがって、第１角度センサ５２および第２角度センサ５４を備えることにより、第１情報取得部２０に対する画像表示部１０の相対位置情報を取得可能である。つまり、第１角度センサ５２および第２角度センサ５４を備えることにより、相対位置情報取得部３０は、多関節ロボットアーム３２の各関節角度に基づいて、画像表示部１０と第１情報取得部２０の相対位置情報を取得することができる。

第２角度センサ５４は、第２関節３６に設けられてよい。第２角度センサ５４は、第２関節３６に接して設けられてよい。第２角度センサ５４は、第２関節３６の近傍に（例えば、０．５ｃｍ～１．０ｃｍ離れて）設けられてよい。第２角度センサ５４が第２関節３６に設けられるため、直接第２関節３６の角度を計測することができ、高精度に第２関節３６の角度を計測可能である。

第２接続点４４において、多関節ロボットアーム３２（第２アーム４８）と画像表示部１０（フレーム１４）は、自由回転できるように接続されてよい。また第２接続点４４において、角度センサが設けられていてもよい。第２接続点４４に角度センサが設けられる場合、第１情報取得部２０に対する画像表示部１０の相対位置情報をより高精度に取得可能である。また第２接続点４４において、関節が設けられていてもよい。

図４は、極座標系を示す図である。図４に示す通り、極座標系の位置は、Ｚ軸を中心とした回転角度φと、Ｚ軸に対する傾きθおよび距離ｒによって計算可能である。多関節ロボットアーム３２において、距離ｒは第１アーム４６および第２アーム４８の長さと、それらがなす角度、すなわち第２角度センサ５４の角度から算出可能である。それに加え、Ｚ軸を中心とした回転角度φを第１角度センサ５２－１から、Ｚ軸に対する傾きθを第１角度センサ５２－２から取得することで、第１情報取得部２０に対する画像表示部１０の相対位置情報を取得可能である。

図５は、画像表示装置２００の多関節ロボットアーム３２の一例を示す図である。画像表示装置２００は、多関節ロボットアーム３２の構成が画像表示装置１００と異なる。画像表示装置２００のそれ以外の構成は、画像表示装置１００と同一であってよい。なお画像表示装置１００と同一の構成に関しては、説明を省略する。

本例の多関節ロボットアーム３２は、第３アーム５６、第４アーム５８および第５アーム６０を含む。第３アーム５６は、第１関節３４に設けられてよい。第３アーム５６は、第１接続点３８に設けられてよい。第３アーム５６は、第１アーム４６と別方向に延伸してよい。つまり、第１アーム４６と第３アーム５６のなす角度θ２とした場合、θ２は０°または１８０°以外であってよい。

第４アーム５８は、第２関節３６に設けられてよい。第４アーム５８は、第２アーム４８と一直線に設けられてよい。第４アーム５８は、第２関節３６において第２アーム４８と反対側に設けられてよい。第４アーム５８は、第２アーム４８と平行であってよい。

第５アーム６０は、第３アーム５６と接続してよい。第３関節６２は、第３アーム５６と第５アーム６０を接続してよい。第５アーム６０は、第４アーム５８と接続してよい。第４関節６４は、第４アーム５８と第５アーム６０を接続してよい。

第１アーム４６、第３アーム５６、第４アーム５８および第５アーム６０が成す形状は、平行四辺形状であってよい。つまり、第１アーム４６と第５アーム６０は平行であってよい。第１アーム４６の長さと第５アーム６０の長さは同一であってよい。第３アーム５６と第４アーム５８は平行であってよい。第３アーム５６の長さと第４アーム５８の長さは同一であってよい。第１アーム４６、第３アーム５６、第４アーム５８および第５アーム６０が成す形状を平行四辺形状にすることにより、重心がコンパクトになり、安定性が高くなる。

本例において第２角度センサ５４は、第１接続点３８に設けられる。第２角度センサ５４は、第１関節３４に設けられてもよい。本例において第１アーム４６、第３アーム５６、第４アーム５８および第５アーム６０が成す形状は、平行四辺形状であるため、第２関節３６の角度（第１アーム４６と第２アーム４８がなす角度θ１）は、第１アーム４６と第３アーム５６のなす角度θ２と等しくなる。第１アーム４６と第３アーム５６のなす角度θ２を取得すれば、第２関節３６の角度を計測することが可能である。第１アーム４６と第３アーム５６はそれぞれ第１接続点３８に設けられるため、第２角度センサ５４を第１接続点３８に設けることができる。第２角度センサ５４を第１接続点３８に設けることにより、通信手段であるワイヤ等をコンパクトにすることができる。また図５における第２角度センサ５４は、図３における第１角度センサ５２－１と同一の機能を有してよい。図５における第２角度センサ５４は、第２関節３６の角度を計測するとともに、第２回転方向４２（図３参照）における第１関節３４の角度を計測してよい。

図６は、画像表示装置２００の多関節ロボットアーム３２の別の例を示す図である。図６の画像表示装置２００は、多関節ロボットアーム３２の角度が図５の画像表示装置２００と異なる。図６の画像表示装置２００のそれ以外の構成は、図５の画像表示装置２００と同一であってよい。なお画像表示装置２００と同一の構成に関しては、説明を省略する。図６において、多関節ロボットアーム３２の角度がθ１からθ３変わった場合でも、角度θ４を計測することで角度θ３を計測することができる。図６において、角度θ３、θ４は、角度θ１、θ２より大きい。

図７は、画像表示装置３００の構成の一例を示す斜視図である。画像表示装置３００は、相対位置情報取得部３０の構成が画像表示装置１００と異なる。画像表示装置３００のそれ以外の構成は、画像表示装置１００と同一であってよい。なお画像表示装置１００と同一の構成に関しては、説明を省略する。

本例において、相対位置情報取得部３０は、カメラ６６を含む。カメラ６６は、第１情報取得部２０に設けられてよい。カメラ６６は、画像情報を取得する。カメラ６６は、カメラ６６の映像を利用したＳＬＡＭ技術により、画像表示部１０と第１情報取得部２０の相対位置情報を取得してもよい。カメラ６６は、カメラ２２を兼ねてよく、カメラ２２をＳＬＡＭの計算に利用してもよい。相対位置情報取得部３０は、複数のカメラ６６を含んでよい。本例において、相対位置情報取得部３０は、２つのカメラ６６を含む。

カメラ６６は、画像表示部１０の画像情報を取得してよい。したがって、カメラ６６は、画像表示部１０に対向して設けられる。画像表示部１０の画像情報とは、画像表示部１０全体の画像情報であってよい。画像表示部１０の画像情報とは、画像表示部１０の一部の画像情報であってよい。画像表示部１０の画像情報は、画像表示部１０の少なくとも一部の画像情報であってよい。

本例において、相対位置情報取得部３０は、カメラ６６が取得した画像表示部１０の画像情報に基づいて、画像表示部１０と第１情報取得部２０の相対位置情報を取得する。例えば、画像表示部１０と第１情報取得部２０の相対位置が既知の状態で画像表示部１０の画像情報を事前に取得し、画像表示部１０の画像情報と相対位置の情報をあらかじめ紐づける。事前に取得した画像表示部１０の画像情報と新たに取得した画像表示部１０の画像情報を比較し、画像表示部１０と第１情報取得部２０の相対位置を推定する。例えば、画像表示部１０の特定の部位に着目した場合、事前に取得した画像表示部１０の画像情報に比べ、新たに取得した画像表示部１０の画像情報の方が画像表示部１０の特定の部位が大きい場合、画像表示部１０と第１情報取得部２０の相対位置は小さくなる。したがって、カメラ６６を備えることにより、画像表示部１０と第１情報取得部２０の相対位置情報を取得することが可能である。この場合、画像表示部１０と第１情報取得部２０を直接接続する必要がなく、ＡＲ、ＶＲ空間への没入感をさらに得ることができる。

画像表示部１０は、マーカー６８を含んでよい。カメラ６６は、マーカー６８を含んだ画像情報を取得してよい。マーカー６８を含んだ画像情報とは、マーカー６８の少なくとも一部の画像情報であってよい。マーカー６８を含んだ画像情報とは、マーカー６８全体の画像情報であってよい。マーカー６８は、画像表示部１０に対して突出していてよい。本例において、マーカー６８は、第１姿勢センサ１６に接して設けられる。マーカー６８を設けることにより、ユーザーの耳や髪等によって画像表示部１０が認識しにくい場合に、画像表示部１０の画像情報を取得しやすくなる。本例において、マーカー６８は、画像表示部１０に２つ設けられているが、３つ以上設けられていてもよい。設けるマーカー６８の数を増加させることにより、画像表示部１０の画像情報取得精度を向上することができる。また、マーカー６８の画像情報取得精度が低下して、尤度が下がった場合には尤度に応じて、画像表示部１０に投影する映像の明るさを変更することが好ましい。尤度とは、画像情報に基づいて推測される相対位置の算出結果が、どれほど確からしいかといった確率情報である。例えば識別できたマーカー６８の数が少ない場合や、マーカー６８が障害物によって隠れている場合は、推定された相対位置情報が誤っている確率が高くなり、尤度が低くなる。

図８は、画像表示装置４００の構成の一例を示す斜視図である。画像表示装置４００は、相対位置情報取得部３０の構成が画像表示装置１００と異なる。画像表示装置４００のそれ以外の構成は、画像表示装置１００と同一であってよい。なお画像表示装置１００と同一の構成に関しては、説明を省略する。

第１情報取得部２０は、第２姿勢センサ７０を含んでよい。第２姿勢センサ７０は、第１情報取得部２０に設けられてよい。第２姿勢センサ７０は、第１情報取得部２０に接するように設けられてよい。第２姿勢センサ７０は、ユーザーの第１部位の姿勢情報を取得してよい。姿勢情報とは、Ｘ軸、Ｙ軸、Ｚ軸等の各軸に対する傾きを示す情報であってよい。姿勢情報とは、Ｘ軸、Ｙ軸、Ｚ軸等の各軸に対して傾いていない場合を初期状態とした場合、当該初期状態からの傾きの変化を示す情報であってよい。また、第２姿勢センサ７０は、第１情報取得部２０の姿勢情報を取得してよい。第２姿勢センサ７０は、第１情報取得部２０の姿勢情報を取得することにより、ユーザーの第１部位の姿勢情報を取得してよい。第２姿勢センサ７０は、一例としてＩＭＵセンサである。ＩＭＵセンサは、角速度センサ、加速度センサ等を含んでよい。本例では、１つの第２姿勢センサ７０が、画像表示部１０に設けられているが、複数の第２姿勢センサ７０が、画像表示部１０に設けられていてもよい。なお第２姿勢センサ７０は、カメラ２２の情報から算出されたＳＬＡＭ等による姿勢情報をもとにしてもよい。また、カメラ２２が第１情報取得部２０の姿勢情報を取得する機能を有していてもよい。

本例において、相対位置情報取得部３０は、第１姿勢センサ１６および第２姿勢センサ７０を含む。つまり本例において相対位置情報取得部３０は、頭部の姿勢情報および第１部位の姿勢情報に基づいて、画像表示部１０と第１情報取得部２０の相対位置情報を取得する。例えば、画像表示部１０の姿勢情報と第１情報取得部２０の姿勢情報から画像表示部１０と第１情報取得部２０の相対位置情報を取得する関数を事前のキャリブレーションで取得する。相対位置情報を取得する関数とは、画像表示部１０の姿勢情報および第１情報取得部２０の姿勢情報をそれぞれ変数として入力した場合に、画像表示部１０と第１情報取得部２０の相対位置情報を算定する関数である。画像表示部１０の姿勢情報と第１情報取得部２０の姿勢情報から画像表示部１０と第１情報取得部２０の相対位置情報を取得する関数を事前のキャリブレーションで取得することにより、画像表示部１０の姿勢情報と第１情報取得部２０の姿勢情報から画像表示部１０と第１情報取得部２０の相対位置情報を取得することができる。また相対位置情報取得部３０は、画像表示部１０の姿勢情報と第１情報取得部２０の姿勢情報から画像表示部１０と第１情報取得部２０の相対位置情報を取得できない場合、その旨を画像表示部１０に通知してもよい。

事前のキャリブレーションにおいて、第１姿勢センサ１６の取得するＺ軸に対する傾き、Ｘ軸に対する傾き、Ｙ軸に対する傾きをｙ１、ｒ１、ｐ１とする。また、事前のキャリブレーションにおいて、第２姿勢センサ７０の取得するＺ軸に対する傾き、Ｘ軸に対する傾き、Ｙ軸に対する傾きをｙ２、ｒ２、ｐ２とする。また、ｙ３、ｒ３、ｐ３をそれぞれ（ｙ１－ｙ２）、（ｒ１－ｒ２）、（ｐ１－ｐ３）とする。ｙ３、ｒ３、ｐ３の時の、既知である相対位置角度を記憶しデータベースに保存する。ｙ３、ｒ３、ｐ３と相対位置角度の関係は複数取得してデータベースに保存する。推定時において、ｙ３、ｒ３、ｐ３を新たに取得し、データベースとの差が最小の相対位置角度を推定相対位置角度としてよい。推定相対位置角度は、複数の値から補間することにより取得してもよい。

相対位置情報取得部３０は、推定相対位置角度を取得後、推定相対位置角度から相対位置を取得してよい。相対位置情報取得部３０は、ユーザーの身体的情報に基づいて、画像表示部１０と第１情報取得部２０の相対位置情報を取得してもよい。ユーザーの身体的情報と取得した推定相対位置角度から相対位置を取得してよい。ユーザーの身体的情報とは、例えば、ユーザーの目から首部までの距離Ｌ（図９参照）、ユーザーの身長、首の長さ等である。また、ユーザーの身体的情報を変数としてもよい。つまり、画像表示部１０の姿勢情報、第１情報取得部２０の姿勢情報、ユーザーの身体的情報から画像表示部１０と第１情報取得部２０の相対位置情報を取得する関数を事前のキャリブレーションで取得してよい。

ユーザーの変更がない場合、つまり同一人物で相対位置情報を取得する場合は、再度のキャリブレーションの必要はない。一方、ユーザーが変更された場合は、再度のキャリブレーションが必要である。この場合、元のユーザーの目から首部までの距離をＬ１とし、新たにキャリブレーションするユーザーの目から首部までの距離をＬ２とした場合、比Ｌ１／Ｌ２を用いて、前述した相対位置情報を取得する関数を推定することができる。例えば、相対位置の距離を比Ｌ２／Ｌ１倍する。ユーザーの目から首部までの距離の比により、簡易的にキャリブレーションすることが可能である。なお首部の長さや身長の比でキャリブレーションしてもよい。ユーザーごとに、新たにキャリブレーションしなおしてもよい。

図９は、画像表示装置１００がユーザーに装着される例を示す図である。図９に示す通り、画像表示部１０は、ユーザーの頭部に装着されてよい。図９に示す通り、第１情報取得部２０は、ユーザーの首部に装着されてよい。図９において、ユーザーの目から首部までの距離をＬで示している。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

１０・・画像表示部、１２・・ディスプレイ、１４・・フレーム、１６・・第１姿勢センサ、２０・・第１情報取得部、２２・・カメラ、３０・・相対位置情報取得部、３２・・多関節ロボットアーム、３４・・第１関節、３６・・第２関節、３８・・第１接続点、４０・・第１回転方向、４２・・第２回転方向、４４・・第２接続点、４６・・第１アーム、４８・・第２アーム、５０・・第３回転方向、５２・・第１角度センサ、５４・・第２角度センサ、５６・・第３アーム、５８・・第４アーム、６０・・第５アーム、６２・・第３関節、６４・・第４関節、６６・・カメラ、６８・・マーカー、７０・・第２姿勢センサ、１００・・画像表示装置、２００・・画像表示装置、３００・・画像表示装置

Claims (12)

1. ユーザーの頭部に装着され、画像を表示する画像表示部と、
   前記頭部以外の第１部位に装着され、前記第１部位に関する第１情報を取得し、前記画像表示部に対する相対位置が変更可能である第１情報取得部と、
   前記画像表示部と前記第１情報取得部の相対位置情報を取得する相対位置情報取得部と
   を備え、
   前記第１情報は、前記第１部位の絶対位置情報および前記第１部位の姿勢情報を含み、
   前記相対位置情報取得部は、前記画像表示部および前記第１情報取得部と接続する多関節ロボットアームを含み、
   前記相対位置情報取得部は、前記多関節ロボットアームの各関節角度に基づいて、前記画像表示部と前記第１情報取得部の相対位置情報を取得する、画像表示装置。
2. 前記画像表示部は、
   前記絶対位置情報および前記相対位置情報を取得し、
   前記絶対位置情報および前記相対位置情報に基づいて、画像を表示する、請求項１に記載の画像表示装置。
3. 前記画像表示部は、前記頭部の姿勢情報を取得する第１姿勢センサを含む、請求項２に記載の画像表示装置。
4. 前記画像表示部は、前記頭部の姿勢情報と前記第１部位の姿勢情報の差分に基づいて、画像を表示する、請求項３に記載の画像表示装置。
5. 前記画像表示部は、ＡＲグラスである、請求項１に記載の画像表示装置。
6. 前記第１情報取得部は、前記画像表示部に電力を供給する電源部を含む、請求項１に記載の画像表示装置。
7. 前記第１情報取得部は、ユーザーの首部に装着される、請求項１から６のいずれか１項に記載の画像表示装置。
8. 前記多関節ロボットアームは、前記第１情報取得部と前記多関節ロボットアームの接続点である第１接続点に設けられた第１関節を含み、
   前記相対位置情報取得部は、前記第１関節の角度を計測する第１角度センサを含む、請求項１に記載の画像表示装置。
9. 前記多関節ロボットアームは、前記第１情報取得部と前記多関節ロボットアームの接続点である第１接続点と、前記画像表示部と前記多関節ロボットアームの接続点である第２接続点との間に設けられた第２関節を含み、
   前記相対位置情報取得部は、前記第２関節の角度を計測する第２角度センサを含む、請求項１または８に記載の画像表示装置。
10. 前記第２角度センサは、前記第２関節に設けられる、請求項９に記載の画像表示装置。
11. 前記第２角度センサは、前記第１接続点に設けられる、請求項９に記載の画像表示装置。
12. ユーザーの頭部に装着され、画像を表示する画像表示手段と、
    前記頭部以外の第１部位に装着され、前記第１部位に関する第１情報を取得し、前記画像表示手段に対する相対位置が変更可能である第１情報取得手段と、
    前記画像表示手段と前記第１情報取得手段の相対位置情報を取得する相対位置情報取得手段と
    を備え、
    前記第１情報は、前記第１部位の絶対位置情報および前記第１部位の姿勢情報を含み、
    前記相対位置情報取得手段は、前記画像表示手段および前記第１情報取得手段と接続する多関節ロボットアームを含み、
    前記相対位置情報取得手段は、前記多関節ロボットアームの各関節角度に基づいて、前記画像表示手段と前記第１情報取得手段の相対位置情報を取得する、画像表示システム。