WO2012172719A1 - ヘッドマウントディスプレイおよびその位置ずれ調整方法 - Google Patents

Abstract

頭部からずれた状態で装着されても、立体視の異常や、視聴時の疲労あるいは映像酔いを引き起こすことが抑制されたＨＭＤ等を提供する。３次元映像を表示するディスプレイ（８０）と、視聴者のディスプレイ（８０）に対する目頭または目じりの位置を計測する位置取得部（１００）と、その位置に関する標準位置を決定するキャリブレーションにおいて計測された目頭または目じりの位置を標準位置として取得して記憶する標準位置記憶部（５０）と、新たに計測されたコンテンツ視聴中の視聴者のディスプレイに対する目頭または目じりの位置と標準位置との差を位置ずれとして検出する位置ずれ検出部（６０）と、検出された位置ずれに応じてディスプレイ（８０）に表示される３次元映像が回転または平行移動するように３次元映像に対する画像処理をする画像処理部（７０）とを備える。

Description

ヘッドマウントディスプレイおよびその位置ずれ調整方法

　本発明は、ヘッドマウントディスプレイに関し、特に、ヘッドマウントディスプレイにおける３次元映像を表示する技術、および、その位置ずれを調整する技術に関する。

　頭部装着型映像表示装置、つまり、ヘッドマウントディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ；以下「ＨＭＤ」とも記述する。）は、人間が直接操作することのできない危険区域での作業や、遠隔地での作業のために遠隔操作システムのディスプレイとして用いられる他、没入型のゲーム等のディスプレイに用いられてきた。没入型の場合、目の周りを覆い、頭部に固定するゴーグル型のものが提案されてきたが、機器の小型軽量化により、携帯型の映像コンテンツ観賞用としてより軽量なめがね型のものが提案されている。

　一方、３次元映像は、映画のみでなく、家庭用の３次元テレビやコンピュータディスプレイの普及とともにテレビコンテンツやゲームの映像として広まりつつある。３次元映像は、右目に提示する画像と左目に提示する画像との間に視差を作ることで、視聴者に奥行きがあるように錯覚させる映像である。ＨＭＤはディスプレイを視聴者の目の至近に維持しており、左右の目に異なる画像を提示するのが容易である。そのため、３次元映像を視聴するのに向いている。

　しかしながら、ＨＭＤは視聴者の頭部に固定されているため、視聴者が頭部を傾けた場合に、画面は頭部とともに傾き、画面の垂直軸と実際の視聴空間での垂直軸とがずれてしまう。そのために、前庭器官により重力加速度を感じている人間は、実際の空間の垂直軸と、画面の垂直軸ずれにより、酔ってしまうことがある。これに対して、従来、特許文献１のように、頭部の傾きをセンサで検出し、その傾きを補正するように矩形の表示領域を回転して表示することで、頭部が傾いても表示される画像の向きが水平に固定されているように視聴者に認識させることができるという技術がある。

　近年はＨＭＤも小型軽量化され、大きなゴーグル型でなく、手軽なめがね型の提案が増えている。周辺の実環境をまったく見えなくする没入型の視聴を行うゴーグル型とは異なり、シースルーレンズや、小さめのレンズ径を採用しためがね型ＨＭＤでは視聴者はＨＭＤディスプレイ上の画像のみでなく、周辺実環境をも見ることになる。このタイプは携帯型の映像コンテンツ観賞用に適している。乗り物での移動中や歩きながらの使用が想定されている。このように頭部が動く、あるいは、振動する状態で、軽量のめがね型ＨＭＤを使用した場合、ＨＭＤと頭部との位置関係がずれる可能性がある。

　ＨＭＤの装着状態により、視聴者の目の位置と画面位置との間にずれが生じる課題に対しては、特許文献２では、視聴者の視野にあわせて水平方向と垂直方向のずれを補正する技術があり、特許文献３のように、虹彩あるいは瞳孔の画像から眼球の位置を求めて水平方向と垂直方向のずれを補正する技術がある。

特開２００２－１４３００号公報 特開２０１０－２３２７１８号公報 特開平７－１５４８２９号公報

　しかしながら、特許文献２および特許文献３の技術では、ＨＭＤが頭部からずれた状態で装着された場合には、立体視の異常や、視聴時の疲労あるいは映像酔いを引き起こすという課題を有している。

　そこで、本発明は、上記課題に鑑みてなされたものであり、頭部からずれた状態で装着されても、その視聴者が立体視の異常や、視聴時の疲労、あるいは、映像酔いを引き起こすことが抑制されるヘッドマウントディスプレイ等を提供することを目的とする。

　上記目的を達成するために、本発明に係るヘッドマウントディスプレイの一形態は、３次元映像を表示するディスプレイと、視聴者の前記ディスプレイに対する目頭または目じりの位置を計測する位置取得部と、前記位置に関する標準位置を決定するためのキャリブレーションにおいて前記位置取得部で計測された前記目頭または前記目じりの位置を前記標準位置として取得して記憶する標準位置記憶部と、前記位置取得部により新たに計測されたコンテンツ視聴中の前記視聴者の前記ディスプレイに対する前記目頭または前記目じりの位置と、前記標準位置記憶部に記憶された前記視聴者の前記標準位置との差を位置ずれとして検出する位置ずれ検出部と、前記位置ずれ検出部により位置ずれが検出された際に、前記検出された位置ずれに応じて前記ディスプレイに表示される３次元映像が回転または平行移動するように、前記３次元映像に対する画像処理をする画像処理部とを備える。

　なお、本発明は、このような構成を備えるヘッドマウントディスプレイとして実現できるだけでなく、ヘッドマウントディスプレイが備える処理部をステップとして含む、ヘッドマウントディスプレイに表示される３次元映像の位置ずれを調整（あるいは、補償）する方法として実現したり、その調整方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能な非一時的なＣＤ－ＲＯＭ等の記録媒体として実現することもできる。

　本発明のヘッドマウントディスプレイ（ＨＭＤ）によれば、ＨＭＤの装着位置のずれに影響されることなく３次元映像を快適に視聴することができる。

　よって、本発明により、頭部からずれた状態で装着されても、その視聴者が立体視の異常や、視聴時の疲労、あるいは、映像酔いを引き起こすことが抑制されるヘッドマウントディスプレイが提供され、３次元映像が普及してきた今日における本発明の実用的価値は極めて高い。

図１は、ヘッドマウントディスプレイの装着位置のずれと３次元映像の見え方を説明する模式図である。 図２は、視聴者が頭を傾けた場合に生じる頭の縦方向のずれに対して視聴者の目が動く方向を模式的に示した図である。 図３は、右に１０度回転させて表示した立体画像を正立して視聴した際の左右眼球の視点を視線検出装置によって記録した図である。 図４は、図３における視線検出装置の概略図と視線検出に用いる目の映像の例を示す図である。 図５は、本発明の実施の形態１におけるヘッドマウントディスプレイの全体構成の一例を示すブロック図である。 図６は、目頭と眼球と瞳の位置を示す図である。 図７は、同ヘッドマウントディスプレイが備える画像処理部の詳細な構成の一例を示すブロック図である。 図８は、本実施の形態１におけるヘッドマウントディスプレイの処理部をソフトウェアで実現する場合に用いられるハードウェア構成を示すブロック図である。 図９は、本発明の実施の形態１におけるヘッドマウントディスプレイの動作の一例を示すフローチャートである。 図１０は、図９におけるキャリブレーションステップ（Ｓ１２０）の詳細な処理の流れの一例を示すフローチャートである。 図１１は、目頭形状のモデルの情報の一例を示す図である。 図１２は、左右のカメラの撮像範囲を示す図である。 図１３は、標準位置記憶部に記憶されるデータの例を示す図である。 図１４は、図９における位置ずれ計算ステップ（Ｓ１５０）の詳細な処理の流れの一例を示すフローチャートである。 図１５は、図９における補正処理ステップ（Ｓ１７０）の詳細な処理の流れの一例を示すフローチャートである。 図１６は、本発明の実施の形態１におけるヘッドマウントディスプレイの装着位置のずれのセンシング状態を示す模式図と装着位置のずれを座標平面状で計算する方法の一例を説明するための図である。 図１７は、標準位置蓄積部に蓄積されるデータの例を示す図である。 図１８は、本発明の実施の形態１における微調整（Ｓ２２０）の詳細な処理の流れの一例を示すフローチャートである。 図１９は、目頭標準位置の周辺領域の一例を示す図である。 図２０は、図９における補正処理ステップ（Ｓ１７０）の別の詳細な処理の流れの一例を示すフローチャートである。 図２１は、図９における補正処理ステップ（Ｓ１７０）のさらに別の詳細な処理の流れの一例を示すフローチャートである。 図２２は、本発明の実施の形態２におけるヘッドマウントディスプレイのハードウェア構成の一例を示す図である。 図２３は、同ヘッドマウントディスプレイの装着状態の各種例を示す図である。 図２４は、本発明の実施の形態２におけるヘッドマウントディスプレイにおいて傾いた角度を算出する方法を説明する図である。

　（背景技術における課題の詳細）
　本発明者は、「背景技術」の欄において記載した特許文献２および特許文献３の技術に関し、以下の問題が生じることを見出した。

　しかしながら、特許文献２特許文献３の技術では、視野や眼球位置、すなわち視聴者の目の動きに合わせて画像の位置補正を行うため、視聴者が画面の端に視線を移した際には不必要に画像がずれることがある。また、視野や眼球位置からは水平と垂直の眼球の動きしか捉えることができず、視聴者の頭部の水平垂直軸と画面の水平垂直軸とがずれた状態を検出することはできない。

　図１はＨＭＤにより３次元映像を視聴する際の左右の目と画像との関係を示した図である。左欄（「正常時」）に、ＨＭＤと頭部との位置が正常な場合を示し、右欄（「装着位置ずれ時」）にＨＭＤが頭部に対してずれている場合の例（「ディスプレイと目の位置関係」、「見え方」）を示している。図１に示される右欄の例では、ＨＭＤの右側が右目の位置に対して下がっており、かつ、左側が左目の位置に対して上がっている状態を示している。先述のとおり、３次元映像は右目に提示する画像と左目に提示する画像との間に水平方向の視差を作っているが、この視差は両眼を結ぶ直線に平行である必要がある。ＨＭＤの右目用と左目用のディスプレイが視聴者の右目と左目を結ぶ直線と平行に配置されている場合、すなわち、図１の左欄に示した「正常時」には、３次元映像の右目用画像と左目用画像との視差は正しく両眼を結ぶ直線に平行に配置される。ところが、ＨＭＤと視聴者頭部との位置関係がずれた場合、すなわち、図１の右欄に例示した「装着位置ずれ時」には、ＨＭＤが頭部からずれたことにより、左の画面はより上に提示され、右の画面はより下に提示される。左右の画面で上下位置が同じで水平方向の視差がある本来の画像は、ＨＭＤの傾きにより、視聴者からは水平方向だけでなく垂直方向にも差のある左右画像となってしまう。右目用、左目用の各画面の水平軸の傾きは先述の特許文献１の技術で画像を回転させることで解消することができるが、左右の画面の上下位置のずれは、特許文献１の技術では解消することができない。人間の眼球はもともと近くを見るときには、より目（輻輳）となり、遠くを見るときには、両目が開く（散開）。水平方向の視差に対して左右の目が互いに逆方向に動くことは自然な動作である。ところが、実世界で対象物を見る際には、左右の目が垂直方向に逆向きに動くことはない。３次元映像における垂直方向のずれは、対象物を見ようとする左右の目に垂直方向で逆向きの動きをさせる。そのために、３次元映像における垂直方向のずれは立体視の異常や、視聴時の疲労あるいは映像酔いの原因となる。すなわちＨＭＤが頭部からずれた状態で装着された場合には、特許文献１～３のいずれの補正を施したとしても、立体視の異常や、視聴時の疲労あるいは映像酔いを引き起こすという課題を有している。

　（課題を解決するための態様）
　そこで、本願発明者らは、頭部からずれた状態で装着されても、その視聴者が立体視の異常や、視聴時の疲労、あるいは、映像酔いを引き起こすことが抑制されるヘッドマウントディスプレイ等を考案した。

　つまり、本発明に係るヘッドマウントディスプレイの一形態は、３次元映像を表示するディスプレイと、視聴者の前記ディスプレイに対する目頭または目じりの位置を計測する位置取得部と、前記位置に関する標準位置を決定するためのキャリブレーションにおいて前記位置取得部で計測された前記目頭または前記目じりの位置を前記標準位置として取得して記憶する標準位置記憶部と、前記位置取得部により新たに計測されたコンテンツ視聴中の前記視聴者の前記ディスプレイに対する前記目頭または前記目じりの位置と、前記標準位置記憶部に記憶された前記視聴者の前記標準位置との差を位置ずれとして検出する位置ずれ検出部と、前記位置ずれ検出部により位置ずれが検出された際に、前記検出された位置ずれに応じて前記ディスプレイに表示される３次元映像が回転または平行移動するように、前記３次元映像に対する画像処理をする画像処理部とを備える。

　これにより、視線が移動しても、移動しない目頭または目じりとディスプレイとの相対位置により、視線にかかわり無く、目とディスプレイとの相対位置のずれが補正されるので、ヘッドマウントディスプレイの装着位置がずれた場合であっても、目とディスプレイとの相対位置のずれによる立体視の異常や疲労および映像酔いを防止することができる。

　ここで、前記位置取得部は、前記視聴者の瞳と前記ディスプレイとの相対位置を計測するセンサを有し、前記ヘッドマウントディスプレイはさらに、前記センサにより計測された、前記ディスプレイに前記３次元映像を表示しない状態における、前記相対位置に基づき、前記標準位置を決定し、決定した標準位置を前記標準位置記憶部に格納するキャリブレーション部を備えるのが好ましい。これにより、視聴者が無限遠を見る場合と同等の瞳位置と画像の中心とを一致させることができ、視聴者の眼軸のずれに合わせて画像の表示位置を設定することができ、視聴者の映像視聴による疲労を軽減することができる。

　また、前記画像処理部は、前記３次元映像を構成する左目用と右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行ってもよい。これにより、目とディスプレイとの相対位置のずれを補償して、両眼の垂直軸方向の差をなくし、両眼の水平軸上に映像作成時の両眼視差を持つ画像を表示することができる。したがって、ヘッドマウントディスプレイの装着位置がずれても、視聴者は快適に３次元映像の視聴を続けられる。

　また、前記画像処理部はさらに、前記３次元映像を構成する左目用と右目用の画像のどちらか一方を左右両方の目用の画像として前記ディスプレイに表示されるための画像処理を行ってもよい。これにより、目とディスプレイとの相対位置がずれた場合には、３次元映像を２次元映像に切り替えて表示することで、ヘッドマウントディスプレイの装着位置のずれによる立体視の異常や疲労、映像酔いを防ぐことができる。

　また、前記位置取得部は、前記視聴者の左目と右目のそれぞれについて前記位置を計測し、前記標準位置記憶部は、前記視聴者の左目と右目のそれぞれについて前記標準位置を記憶し、前記位置ずれ検出部は、前記視聴者の左目と右目のそれぞれについて前記位置ずれを検出し、前記画像処理部は、前記位置ずれ検出部により検出された前記視聴者の左目と右目のそれぞれについての前記位置ずれのうち、ずれ量の小さい方の目用の画像に対して前記画像処理を行ってもよい。これにより、ヘッドマウントディスプレイの装着位置がずれた場合には、目とディスプレイの相対位置が、視聴者が、より見やすい相対位置であるほうの目に対応する画像を連続して見ることになり、３次元画像から２次元画像へ切り替える際の違和感を小さくすることができる。

　また、前記画像処理部は、前記位置ずれ検出部により検出された位置ずれの量があらかじめ定められた値を超えた場合には前記３次元映像を構成する左目用と右目用の画像のどちらか一方を左右両方の目用の画像として前記ディスプレイに表示されるための画像処理を行い、前記位置ずれ検出部により検出された位置ずれの量があらかじめ定められた値を超えない場合は前記左目用と前記右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行ってもよい。これにより、ヘッドマウントディスプレイの装着位置のずれが大きいときには、３次元画像から２次元画像へ切り替え、装着位置のずれが小さいときには、ずれを補償する画像処理を行うことで、ヘッドマウントディスプレイの装着ずれが起こっても、ずれが大きすぎるとき以外は３次元映像を楽しむことができるとともに、装着のずれが大きすぎる時には２次元映像に切り替えて安全に映像を視聴し続けることができる。

　また、前記画像処理部は、前記位置ずれ検出部により検出された位置ずれを回転と水平方向および垂直方向への移動とに分解し、前記回転の角度があらかじめ定められた値を超えた場合には前記左目用と前記右目用の画像のどちらか一方を左右両方の目用の画像として前記ディスプレイに表示されるための画像処理を行い、前記回転の角度があらかじめ定められた値を超えない場合は前記左目用と前記右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行ってもよい。これにより、ヘッドマウントディスプレイの装着位置のずれが大きい、両眼の垂直ずれを起こしている場合は、３次元画像から２次元画像へ切り替え、一方、装着位置のずれが起こす両眼の垂直ずれが小さい場合は、ずれを補償する画像処理を行うことで、ヘッドマウントディスプレイの装着ずれのうち、より視聴者に負荷がかかるずれの場合以外は３次元映像を楽しむことができるともに、３次元映像の視聴により視聴者に大きな負荷がかかる場合には２次元映像に切り替えて安全に映像を視聴し続けることができる。

　また、前記位置ずれ検出部は、前記位置ずれとして、前記視聴者の鼻を支点とする当該ヘッドマウントディスプレイの回転による位置ずれを検出し、かつ、当該ヘッドマウントディスプレイの右が下がる回転は、前記視聴者の鼻の右の凸面の一点を中心とする回転であり、ヘッドマウントディスプレイの左が下がる回転は、前記視聴者の鼻の左の凸面の一点を中心とする回転であるとして、前記位置ずれを検出してもよい。これにより、予め位置関係が分った支点を中心にＨＭＤの位置がずれることを想定して位置ずれが検出されるので、より少ない画像の特徴量でＨＭＤの位置ずれが検出される。

　また、前記位置取得部は、前記目頭を撮像するカメラを有し、前記位置ずれ検出部は、前記位置ずれとして、前記視聴者の鼻の凸面の一部である支点から前記カメラの位置までの相対位置を用いて当該ヘッドマウントディスプレイの回転量を算出することで、前記位置ずれを検出してもよい。これにより、位置ずれとして、視聴者の鼻の凸面の一部である支点からカメラの位置までの相対位置を用いてＨＭＤの回転量が算出されるので、より簡易に、ＨＭＤの位置ずれ（傾き）が検出される。

　また、前記位置ずれ検出部は、前記標準位置として、前記カメラで撮像された画像の中心に近い前記目頭または前記目じりの位置を用いて前記位置ずれを検出してもよい。これにより、標準位置として、カメラで撮像された画像の中心に近い目頭または目じりの標準位置を用いて決定されるので、ＨＭＤの位置ずれがより高い精度で検出される。

　以下、図面を用いて、本発明に係るヘッドマウントディスプレイおよびその位置ずれ調整方法の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成する任意の構成要素として説明される。

　（本発明者らが得た知見）
　次に、本発明の実施の形態を詳細に説明する前に、本発明に関して発明者らが実験で得た知見について以下に説明する。

　本願発明者らは、実験により、視聴者が頭を傾けて立体視を行う際に、実空間の目の動きとしてはありえない、左右反対方向の上下の動きをすることを確認した。頭部又は画像が傾き、視聴者の両眼を結ぶ線と立体画像の水平軸すなわち視差の方向にずれがある場合、視聴者の目は傾きによって生じた縦ずれを修正する方向に動く。すなわち、傾きにより下に位置する目は上向きに動き、上に位置する目は下向きに動く。

　図２は視聴者が頭を傾けた場合に生じる頭の縦方向のずれに対して視聴者の目が動く方向を模式的に示した図である。図３は右に１０度回転させて表示した立体画像を正立して視聴した際の左右眼球の視点を、視線検出装置によって記録した図である。図４は、その視線検出装置の概略図と視線検出に用いる目の映像の例を示す図である。

　図４に示されるように、視線検出装置は、眼球に向けて近赤外線を照射し、角膜表面での反射光と瞳孔中心位置を画像処理により求め、それらの相対位置の関係を利用することで、視線を検出する装置である。視線位置が変わると反射光の位置は変わらないが、瞳孔中心位置が変わる。この両者の相対位置関係の変化を利用して、本実験では、左右の視線を独立に検出した。図３には、画像の傾きがなく、視聴者の両眼を結ぶ線と立体画像の水平軸すなわち視差の方向が一致している際の水平方向の視線の動きを示すグラフ(図３の（ａ）)と、垂直方向の視線の動きを示すグラフ(図３の（ｂ）)と、画像が視聴者から見て右周りに１０度回転し、視聴者の両眼を結ぶ線と立体画像の水平軸が１０度ずれた条件での水平方向の視線の動きを示すグラフ(図３の（ｃ）)と、垂直方向の視線の動きを示すグラフ(図３の（ｄ）)が示されている。図３における縦軸はディスプレイ上の位置に換算された視線の相対移動量であり、図４に示されるディスプレイの表示サイズを１とする移動量である。すなわち、水平方向の移動量はディスプレイの横幅を１とした比で表され、垂直方向の移動量はディスプレイの高さを１とした比で表される。また、何も出力されていない暗い画面を見ている状態（ターゲットなし）での視線位置の平均を０とする。図３の（ａ）と図３の（ｃ）においては、左方向への移動が負の値、右方向への移動が正の値として示されている。図３の（ｂ）と図３の（ｄ）においては、上方向への移動が負の値、下方向への移動が正の値として示されている。横軸は時間を表しており、単位は秒である。約１７ｍｓごとに測定された左目の視線を○で示し、右目の視線を×で示している。

　本実験では、データは４０代女性を被験者として得られたデータである。ディスプレイは視聴者顔面から９０ｃｍの位置に配置した。図４に示されるように、黒の背景に白抜きの十字図形をターゲットとして提示した。ターゲットは視聴者正面に提示され、立体画像として、図形の奥行きがディスプレイ面より奥３０ｃｍ、１０ｃｍ、ディスプレイ面より手前１０ｃｍ、３０ｃｍ、５０ｃｍ、７０ｃｍとなるように視差を調節した。ターゲットなしの画面を５秒提示した後、上記の順で各奥行き設定の画面を５秒ずつ提示した。図３の（ａ）では、ディスプレイより奥のターゲットに対しては右目が右(負側)を、左目が左(正側)を見ており、ディスプレイより手前のターゲットに対しては右目が左(負側)を、左目が右（正側）を見ている。図３の（ｂ）では、ターゲットが提示されている間は、奥行きにかかわらず両眼の垂直方向の位置は一定である。画面の水平軸と視聴者の両眼を結んだ線とが平行でない場合は、図３の（ｃ）に示した水平方向の視線は、図３の（ａ）の傾きがない場合に比べて移動量が減っている。図３の（ｄ）に示した垂直方向の視線はディスプレイより奥ではわずかに右目が下（正側）を、左目が上（負側）を見ており、ディスプレイより手前では右目が上を、左目が下を見ている。ただしディスプレイの手前７０ｃｍでは左目の視線は右目と同様の位置を見ている。これはディスプレイの手前７０ｃｍの条件では左右画像の融像ができなかった（視聴者内観報告）ことと合致している。この実験により、ディスプレイ位置がずれる等、画面の水平軸と視聴者の両眼を結んだ線とが平行でない場合には、実空間あるいは平面画像を見る際には起こらない上下逆向きの目の動きが起こることが示された。これにより、ＨＭＤの装着位置がずれた状態で立体画像を視聴することの視聴者の負荷が非常に高いことが示された。

　次に、本発明に係るヘッドマウントディスプレイおよびその位置ずれ調整方法について、図面を参照しながら詳細に説明する。

　（実施の形態１）
　まず、本発明の実施の形態１におけるヘッドマウントディスプレイおよびその位置ずれ調整方法について説明する。

　図５は、本実施の形態によるヘッドマウントディスプレイ１の構成図である。

　このヘッドマウントディスプレイ１は、頭部からずれて装着されても、その視聴者が立体視の異常や、視聴時の疲労、あるいは、映像酔いを引き起こすことが抑制されたＨＭＤであり、視聴者からの操作指示を受け取る入力部１１０と、視聴者の目頭と瞳の位置を取得する位置取得部１００と、位置取得部１００で検出された目頭と瞳の位置から瞳と目頭の標準位置を取得する眼球位置キャリブレーション部４０と、眼球位置キャリブレーション部４０で計算された瞳と目頭の標準位置とを記憶する標準位置記憶部５０と、標準位置記憶部５０に記憶された瞳と目頭の標準位置とカメラ１０で新たに撮像された画像から目頭検出部３０で検出された目頭位置とのずれを検出する位置ずれ検出部６０と、画像を記憶する、あるいは、画像情報を通信路で受信する画像記憶・受信部１２０と、位置ずれ検出部６０で検出された位置ずれに対応して、ＨＭＤの右目用と左目用のディスプレイに表示する画像（画像記憶・受信部１２０から取得した画像）を回転および垂直方向と水平方向に移動する画像処理部７０と、左右それぞれの画像を表示するディスプレイ８０とを備えている。

　ここで、目に関する用語の意味を明確にしておくために、図６に、目頭と眼球と瞳の位置を示す。目頭の位置は目頭の上まぶたと下まぶたがつながる接合部分の点であり、瞳は眼球中の黒目の中心である。

　入力部１１０は、視聴者からの操作指示を受け取るスイッチまたはダイヤル等の入力機器であり、このヘッドマウントディスプレイ１の動作を開始／終了させる指示等を視聴者から受け付ける。

　位置取得部１００は、視聴者のディスプレイ８０に対する目頭または目じりの位置を計測する処理部であり、目頭と眼球を撮像するカメラ１０と、カメラ１０で撮像された画像から瞳を検出する瞳検出部２０と、カメラ１０で撮像された画像から目頭を検出する目頭検出部３０とから成る。

　カメラ１０は、視聴者の瞳とディスプレイ８０との相対位置を計測するセンサの一例（デジタルカメラ等の撮像装置）であり、ここでは、スイッチやダイヤル等の入力部１１０による視聴者の操作に基づく制御信号を受付、表示開始、表示終了、表示切替等の制御信号入力のタイミングを０時点として、一定時間間隔たとえば１０ｍｓごとに撮像を反復する。カメラ１０は可視光により撮像を行うものであっても、赤外線発光部を伴い、赤外線による撮像を行うものであっても良い。

　眼球位置キャリブレーション部４０は、ディスプレイ８０に３次元映像を表示しない状態（つまり、視聴者が見るものが何もない状態）において位置取得部１００によって取得された視聴者の瞳とディスプレイとの相対位置に基づき、視聴者の目頭または目じりの標準位置を決定し、決定した標準位置を標準位置記憶部５０に格納する処理部であり、ここでは、位置取得部１００で検出された目頭と瞳の位置から瞳と目頭の標準位置を算出する。なお、「標準位置」とは、視聴者がヘッドマウントディスプレイ１をずれなく装着したときにおける、ヘッドマウントディスプレイ１（あるいは、ディスプレイ８０）に対する、視聴者の目頭および目じりの少なくとも一方の位置を意味し、本実施の形態では、視聴者がヘッドマウントディスプレイ１を装着した状態で行うキャリブレーションにおける視聴者の目頭および目じりの少なくとも一方の位置である。

　標準位置記憶部５０は、眼球位置キャリブレーション部４０によるキャリブレーションにおいて位置取得部１００で計測された視聴者の目頭または目じりの位置を標準位置として取得して記憶するハードディスク等であり、ここでは、眼球位置キャリブレーション部４０によって算出された標準位置を保持する。

　位置ずれ検出部６０は、位置取得部１００により新たに計測されたコンテンツ視聴中の視聴者のディスプレイ８０に対する目頭または目じりの位置と、位置記憶部に記憶された視聴者の標準位置との差を位置ずれとして検出する処理部である。

　画像記憶・受信部１２０は、視聴者に提示する３次元映像を予め保存しているハードディスク等のメモリ、あるいは、無線等の通信路を介して外部から３次元映像を受信する通信インターフェイスである。

　画像処理部７０は、位置ずれ検出部６０により位置ずれが検出された際に、検出された位置ずれに応じてディスプレイ８０に表示される３次元映像（つまり、画像記憶・受信部１２０から送られてくる３次元映像）が回転または平行移動するように、その３次元映像に対する画像処理をする処理部であり、画像を記憶するあるいは画像情報を受信する、画像記憶・受信部１２０からの入力を受け、入力された画像の処理を行う。

　より具体的には、画像処理部７０は、視聴者に提示する３次元映像を構成する左目用と右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行ったり、その左目用と右目用の画像のどちらか一方を左右両方の目用の画像としてディスプレイ８０に表示されるための画像処理（２次元化処理）を行ったりする。つまり、この画像処理部７０は、位置ずれ検出部６０により検出された位置ずれの量があらかじめ定められた値を超えた場合は、視聴者に提示する３次元映像を構成する左目用と右目用の画像のどちらか一方を左右両方の目用の画像としてディスプレイ８０に表示させるための画像処理を行い、一方、位置ずれ検出部６０により検出された位置ずれの量があらかじめ定められた値を超えない場合は、左目用と右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行う。

　また、ディスプレイ８０は、３次元映像を表示するＬＣＤ等であり、スイッチやダイヤル等の入力部１１０による視聴者の操作に基づく制御信号を受付け、表示開始、表示終了、表示切替等を行う。

　なお、図５において、点線枠で囲まれた構成要素（眼球位置キャリブレーション部４０、入力部１１０、画像記憶・受信部１２０）は、本発明に係るヘッドマウントディスプレイ１として必須ではない。つまり、ヘッドマウントディスプレイ１として、３次元映像を表示するディスプレイ８０と、視聴者のディスプレイ８０に対する目頭または目じりの位置を計測する位置取得部１００と、その位置に関する標準位置を決定するキャリブレーションにおいて計測された目頭または目じりの位置を標準位置として取得して記憶する標準位置記憶部５０と、新たに計測されたコンテンツ視聴中の視聴者のディスプレイ８０に対する目頭または目じりの位置と標準位置との差を位置ずれとして検出する位置ずれ検出部６０と、検出された位置ずれに応じてディスプレイ８０に表示される３次元映像が回転または平行移動するように３次元映像に対する画像処理をする画像処理部７０とを備えることで、視聴者の視線が移動したとしても、移動しない目頭または目じりとディスプレイ８０との相対位置により、視線にかかわり無く、目とディスプレイ８０との相対位置のずれが補正されるので、目とディスプレイ８０との相対位置のずれによる立体視の異常や疲労および映像酔いが防止されるからである。

　また、カメラ１０とディスプレイ８０は、いずれも、右目用と左目用の２つを備える。左右の区別をして説明する際には、左目用カメラ１０をカメラ１０Ｌ、右目用カメラ１０をカメラ１０Ｒ、左目用ディスプレイ８０をディスプレイ８０Ｌ、右目用ディスプレイ８０をディスプレイ８０Ｒと表記して区別する。

　また、瞳検出部２０、目頭検出部３０、眼球位置キャリブレーション部４０、位置ずれ検出部６０、画像処理部７０は、例えば、１つ以上のＣＰＵと１つ以上のメモリとそのＣＰＵによって実行されるプログラムによって実現される。また、標準位置記憶部５０は、１つ以上のメモリによって実現される。

　図７は本実施の形態における画像処理部７０の詳細な構成図である。

　画像処理部７０は、判定部７１、回転計算部７２、画像記憶部７３、回転処理部７４、平行移動計算部７５、平行移動処理部７６、左右画像制御部７７よりなる。

　判定部７１は、位置ずれ検出部６０が計算した現在の目頭の位置と目頭標準位置との距離と、あらかじめ定められた基準値とを比較する。

　回転計算部７２は、判定部７１での判定において、現在の目頭の位置と目頭標準位置との距離が基準値より小さいと判定された場合に、ＨＭＤ１の装着位置のずれによるディスプレイ８０と視聴者の目との位置のずれを示す座標変換のうち、回転による部分を算出する。

　平行移動計算部７５は、判定部７１での判定において、現在の目頭の位置と目頭標準位置との距離が基準値より小さいと判定された場合に、ヘッドマウントディスプレイ１の装着位置のずれによるディスプレイ８０と視聴者の目との位置のずれを示す座標変換のうち、平行移動による部分を算出する。

　画像記憶部７３は、ディスプレイ８０に表示する３次元映像を一時的に記憶するバッファメモリである。

　回転処理部７４は、画像記憶部７３に記憶された３次元映像に対して、回転計算部７２で得られた回転を施す。

　平行移動処理部７６は、画像記憶部７３に記憶された３次元映像に対して、平行移動計算部７５で得られた平行移動を施す。

　左右画像制御部７７は、画像記憶部７３に記憶された３次元映像に対して、その３次元映像を構成する左目用と右目用の画像のどちらか一方を左右両方の目用の画像としてディスプレイ８０に表示されるための画像処理を行う。例えば、左目用画像を右目用画像に入れ替える。

　なお、画像記憶部７３は１つ以上のメモリにより実現され、判定部７１、回転計算部７２、回転処理部７４、平行移動計算部７５、平行移動処理部７６、左右画像制御部７７は１つ以上のＣＰＵと１つ以上のメモリとそのＣＰＵによって実行されるプログラムによって実現される。

　図８は、本実施の形態におけるヘッドマウントディスプレイ１の処理部をソフトウェアで実現する場合に用いられるハードウェア構成を示すブロック図である。本実施の形態におけるヘッドマウントディスプレイ１の処理部をソフトウェア的で実現する場合には、図８に示されるように、キーボード、マウス等の入力部２１１、ハードディスク等の記憶部２１２と、ディスプレイ装置等の出力部２１３、ＣＰＵ２１４、ＲＯＭ２１５、ＲＡＭ２１６、および、外部機器との間で信号の入出力をする入出力Ｉ／Ｆ２１７で構成されるコンピュータ２２０によって本実施の形態におけるヘッドマウントディスプレイ１を実現することができる。つまり、図５における入力部１１０は主にコンピュータ２２０が備える入力部２１１で実現され、図５におけるディスプレイ８０は主にコンピュータ２２０が備える出力部２１３で実現され、図５における画像記憶・受信部１２０は主にコンピュータ２２０が備える記憶部２１２または入出力Ｉ／Ｆ２１７で実現され、図５における標準位置記憶部５０は主にコンピュータ２２０が備える記憶部２１２で実現され、他の処理部（瞳検出部２０、目頭検出部３０、眼球位置キャリブレーション部４０、位置ずれ検出部６０、画像処理部７０）は、コンピュータ２２０が備えるＲＯＭ２１５または記憶部２１２に格納されたプログラムに従ってＲＡＭ２１６を一時的な記憶エリアとして利用しながらＣＰＵ２１４が実行することによって実現される。

　図９は、以上のように構成された本実施の形態のヘッドマウントディスプレイ１の処理手順を示すフローチャート、つまり、本発明に係るヘッドマウントディスプレイ１の位置ずれを調整する方法を示す図である。図１０、図１４、図１５は、ヘッドマウントディスプレイ１の処理手順（図９のフローチャート）の一部を詳細に示した図である。以下処理手順を図９、図１０、図１４、図１５に従って説明する。

　まず、視聴者がＨＭＤ１を装着し、入力部１１０を用いて視聴開始を指示する入力を行う（Ｓ１１０）。視聴開始入力の直後には、眼球位置キャリブレーション部４０は、ディスプレイ８０に表示のない状態で瞳と目頭を検出して、瞳と目頭の相対位置を標準位置として決定するキャリブレーションを行う（Ｓ１２０）。キャリブレーションの詳細な手順については後述する。

　Ｓ１２０でキャリブレーションを行った後に、視聴者は入力部１１０で指示すること等によって映像コンテンツの視聴を行う（Ｓ１３０）。映像コンテンツの視聴時には、まず、カメラ１０は入力部１１０から３次元視聴終了を指示する制御信号が入力されたか否かを判断する（Ｓ１４０）。３次元視聴終了を指示する制御信号が入力された場合は（Ｓ１４０でＹｅｓ）、ＨＭＤ１は、動作を終了する（Ｓ１９０）。３次元視聴終了を指示する制御信号が入力されていない場合には（Ｓ１４０でＮｏ）、目頭検出部３０は、視聴中の視聴者の目をカメラ１０で撮影しながら前記視聴者の目頭の位置を検出する。位置ずれ検出部６０は、標準位置記憶部５０に記憶された目頭の標準位置と目頭検出部３０で検出した目頭の位置とのずれを計算する（Ｓ１５０）。

　そして、位置ずれ検出部６０は、Ｓ１５０で計算された位置ずれがあらかじめ定められた許容範囲を超えた位置ずれであるか否かを検出する（Ｓ１６０）。位置ずれの許容範囲は、例えば、両目の位置ずれを合計して２ｍｍとする。

　その結果、目頭の標準位置とカメラ１０で撮像された目頭の位置との間にずれがあった（位置ずれが許容範囲を超えていた）場合（Ｓ１６０でＹｅｓ）、画像処理部７０で目頭位置のずれに応じて画面を回転させ、さらに水平移動させる処理を行う（Ｓ１７０）。一方、目頭の標準位置とカメラ１０で撮像された目頭の位置との間にずれがなかった場合（Ｓ１６０でＮｏ）、画像処理部７０は入力された画像に対して処理を加えずにディスプレイ８０に画像を出力する（Ｓ１８０）。なお、以上のような映像コンテンツ視聴の間（Ｓ１３０）、ステップＳ１４０からＳ１８０が繰り返される。

　以上のように、本実施の形態におけるヘッドマウントディスプレイ１の位置ずれ調整方法は、ヘッドマウントディスプレイ１に表示される３次元映像の位置ずれを調整する調整方法であって、主要なステップとして、３次元映像をディスプレイ８０に表示する表示ステップ（Ｓ１８０等）と、視聴者のディスプレイ８０に対する目頭または目じりの位置を計測する位置取得ステップ（Ｓ１２０、Ｓ１５０等）と、その位置に関する標準位置を決定するためのキャリブレーションにおいて位置取得ステップで計測された目頭または目じりの位置を標準位置として標準位置記憶部５０に格納する標準位置記憶ステップ（Ｓ１２０）と、位置取得ステップにより新たに計測されたコンテンツ視聴中の視聴者のディスプレイ８０に対する目頭または目じりの位置と標準位置との差を位置ずれとして検出する位置ずれ検出ステップ（Ｓ１５０、Ｓ１６０）と、位置ずれ検出ステップにより位置ずれが検出された際に（Ｓ１６０でＹｅｓ）、検出された位置ずれに応じてディスプレイ８０に表示される３次元映像が回転または平行移動するように、３次元映像に対する画像処理をする画像処理ステップ（Ｓ１８０）とを含む。

　これにより、本実施の形態におけるヘッドマウントディスプレイ１の位置ずれ調整方法によれば、視聴者の視線が移動したとしても、移動しない目頭または目じりとディスプレイ８０との相対位置により、視線にかかわり無く、目とディスプレイ８０との相対位置のずれが補正されるので、目とディスプレイ８０との相対位置のずれによる立体視の異常や疲労および映像酔いが防止される。

　ここで、図１０に従って、図９に示されるＳ１２０のキャリブレーションの手順の詳細を説明する。

　まず、キャリブレーションの最初にディスプレイ８０に何も表示しない状態で（Ｓ１２１）、カメラ１０により、視聴者の目全体を含む範囲を撮像する（Ｓ１２２）。瞳検出部２０と目頭検出部３０は、Ｓ１２２で撮像した画像より、それぞれ瞳がある部分と目頭がある部分とを切り出す（Ｓ１２３）。例えば、図６に示されるように、瞳検出部２０はＳ１２２で撮像した目を含む画像を縦に３分割した中央の１／３を瞳用に切り出し、目頭検出部３０はＳ１２２で撮像した鼻側の１／３を目頭認識用に切り出す。

　続いて、目頭検出部３０は目頭に特徴的な上瞼と下瞼とがなす形を認識する（Ｓ１２４）。認識の方法は、例えば、典型的な目頭形状のモデルを複数保持し、画像中の形とモデルとを照合する方法である。目頭形状のモデルの情報としては、例えば、図１１に示されるように、「モデルＩＤ」と、類似したモデルをまとめた「類型」と、モデル図形とモデル図形における目頭位置の情報（図中における「モデル」）を保持する。目頭検出部３０は、合致したモデル上の目頭位置より画像中の目頭位置を決定する。モデルは図形としてではなく、線分の傾きや角度といった特徴量によって記述しても良い。

　眼球位置キャリブレーション部４０は画像で認識した目頭の座標上の位置を決定する（Ｓ１２５）。位置は、例えば、左右のディスプレイを結ぶ線をｘ軸とし、それに直行する方向をｙ軸とする座標平面であらわす。

　ｘ軸の０点を、例えば、カメラ１０Ｌとカメラ１０Ｒの撮像範囲の中間点とする。ｙ軸の０点を、例えば、カメラ１０の上下方向の中心とする。図１２においては、ｘ軸の０点はカメラ１０Ｌとカメラ１０Ｒのどちらの撮像範囲からも外れた位置にある。座標系はカメラ１０Ｌとカメラ１０Ｒの撮像範囲の実際の位置関係を反映するように設定される。カメラ１０Ｌとカメラ１０Ｒの撮像範囲が重なる場合には、ｘ軸の０点は両撮像範囲に含まれることになる。瞳検出部２０は、ステップＳ１２４での処理（目頭認識）と並行して、あるいは、順次に、Ｓ１２３で切り出した中央の１／３の画像から楕円形で周辺より色の濃い部分を特定し、瞳を認識する（Ｓ１２６）。瞳については、虹彩の色が濃い場合は虹彩の輪郭を認識し、虹彩の色が薄い場合は瞳孔の輪郭を認識する。そして、眼球位置キャリブレーション部４０は瞳として認識された虹彩または瞳孔の楕円の中心を瞳の位置として決定する（Ｓ１２７）。位置は目頭と同一座標平面で表す。

　さらに、眼球位置キャリブレーション部４０は、標準の画像表示位置を決定する（Ｓ１２８）。画像表示位置は、ディスプレイ８０ＬについてはＳ１２７で決定された左の瞳位置の正面を画像中心位置とし、ディスプレイ８０ＲついてはＳ１２７で決定された右の瞳位置の正面を画像中心位置とする。そして、標準位置記憶部５０はＳ１２５で眼球位置キャリブレーション部４０が決定した左右の目頭位置を記憶する（Ｓ１２９）。ここで、標準位置記憶部５０に記憶されるデータは、例えば図１３のように、左右の目頭の標準位置を２次元座標で表したデータである。

　このように、何も表示されていない、暗いディスプレイ８０を見ている状態で瞳の位置を特定することで、無限遠を見た際の瞳位置を特定し、標準位置として、画像表示の中心とすることができる。映像観賞中の瞳の位置は視線によって移動するが、目頭の位置は映像観賞中も移動しない。目頭の標準位置を設定することで、映像観賞中でも無限遠を見た場合の瞳位置を相対的に求めることができる。また、何も表示されていない、暗いディスプレイ８０を見ている状態で瞳の位置を特定することで、斜視や斜位等の左右の眼球の向きにずれのある、あるいは、ずれが起こる視聴者に対して、注視点があるときの負荷のかかった眼球の向きではなく、最も負荷のかからない眼球の向きに対して左右それぞれの眼球の正面に画像を提示することができ、視聴者が注視するための眼球への負荷の少ない画像の提示ができる。

　また、瞳位置の情報は、標準位置における画像の提示位置を決定するためにのみ利用する。映像視聴中の瞳は、視聴者が画像のどこを見ているかによって移動する。例えば画像の中心でなく、右端を見ている場合には、瞳は目の中で右端へ寄る。そのため、映像視聴中の瞳位置は必ずしも画像の中心位置の指標としてふさわしくない。そこで、本実施の形態では、ステップＳ１２０のキャリブレーションで標準位置を定める際にのみ瞳位置を用い、以降は目頭の位置を用いてＨＭＤのずれに対応する画像提示位置を調整する。

　次に、図９に示されるＳ１５０の目頭の位置ずれを計算する手順の詳細を図１４のフローチャートに従って説明する。

　まず、カメラ１０により視聴者の目全体を含む範囲を撮像する（Ｓ１５１）。目頭検出部３０は、Ｓ１５１で撮像した画像より、目頭がある部分を切り出す（Ｓ１５２）。画像の切り出しは、例えば、Ｓ１２０のキャリブレーションにおけるＳ１２３の切り出しと同様に画像の鼻側１／３を切り出すものとする。そして、目頭検出部３０は目頭に特徴的な上瞼と下瞼とがなす形を認識する（Ｓ１５３）。ここで、認識の方法は、例えば、Ｓ１２４と同様にモデルとの照合を行うものとする。Ｓ１２４で複数のモデルから特定のモデルにより目頭が特定された場合、目頭検出部３０はＳ１２４で特定されたモデルを記憶しておき、Ｓ１５３で目頭の認識を行う際には、記憶されたＳ１２４で特定されたモデルのみあるいは当該のモデルとそれに類似したモデルのみを用いて目頭の認識を行うことで、処理時間を短縮することができる。類似したモデルを用いる場合、例えば、図１１に示したモデルの類型に従い、Ｓ１２４で特定されたモデルと同じ類型のモデルのみを認識に用いる。

　続いて、位置ずれ検出部６０は画像中に認識した目頭の位置を決定する（Ｓ１５４）。この位置については、Ｓ１２５でキャリブレーション時の目頭位置を決定した座標軸上で決定する。さらに、位置ずれ検出部６０は、Ｓ１２９で標準位置記憶部５０に記憶された目頭標準位置とＳ１５４で決定した目頭の位置との距離を計算し（Ｓ１５５）、Ｓ１６０で位置ずれ検出を行う。

　次に、図９に示されるＳ１７０の補正処理の手順を図１５のフローチャートに従って詳細に説明する。

　まず、判定部７１は、Ｓ１５５で位置ずれ検出部が計算した現在の目頭の位置と目頭標準位置との距離と、あらかじめ定められた基準値とを比較する（Ｓ１７１）。ここで、基準値は、例えば、３０ｍｍとし、現在の目頭の位置と目頭標準位置との距離が基準値以上の場合、すなわち、図１５のＳ１７１ではＮｏの場合、左右画像制御部７７は、左目用の画像を右目用の画像に入れ替える（Ｓ１７２）。すなわち、両目に同一の画像を提示することで、３次元ではなく２次元の映像として表示する。

　Ｓ１７１において現在の目頭の位置と目頭標準位置との距離が基準値より小さい場合、すなわち図１５のＳ１７１ではＹｅｓの場合、平行移動計算部７５および回転計算部７２は、ＨＭＤ１の装着位置のずれによるディスプレイ８０と視聴者の目との位置のずれを座標変換として求め、回転処理部７４および平行移動処理部７６は、その座標変換を補償する画像の表示位置の座標変換を行う。

　図１６はディスプレイ８０と視聴者の目との位置のずれの一例と、ずれを座標変換として計算する過程を模式的に示した図である。図１６の（ａ）は映像の視聴中にカメラ１０で撮像された眼球を実線で示し、Ｓ１２０で行ったキャリブレーションの際にカメラ１０Ｌで撮像された状態を点線で示している。左側が右目用カメラ１０Ｒの画像を示し、右側が左目用カメラ１０Ｌの画像を示す。

　映像視聴中瞳の位置は視聴者の注視点によって移動する。注視点が画像の端にある場合、瞳位置はディスプレイ８０と目との位置にずれがなくてもＳ１２０のキャリブレーション時の標準瞳位置から大きく外れる。一方、目頭は注視点が移動しても固定されており、ディスプレイ８０と目との相対位置をより正確に捉えることができる。そこで、ディスプレイ８０と目との相対位置のずれを補正するため、画像処理部７０により、目頭標準位置と目頭の現在位置のずれを補償する画像変換処理を行う。

　ここで、右目目頭と左目目頭の相対位置には変化がないため、右目目頭標準位置から右目目頭現在位置への移動と左目目頭標準位置から左目目頭現在位置への移動を実現する座標変換はアフィン変換に当たる。２次元のアフィン変換は回転と平行移動によって表現できることが知られている。従って、２次元のアフィン変換は、以下の式１のように記述できる。

　ただし（ｘｐ、ｙｐ）は変換後の座標、（ｘｓ、ｙｓ）は変換前の座標を示し、行列

　は座標の回転を示し、

　は平行移動を示す。

　図１６の（ａ）に示される例では、Ｓ１２０のキャリブレーションで得られた左右の目頭の座標を変換前の座標とし、Ｓ１５４で決定された現在の左右の目頭の位置を変換後の座標として上記の式を解き、変換行列

　と変換ベクトル

とを得る。変換行列と変換ベクトルは、Ｓ１２０のキャリブレーション時に設定した画像の中心と瞳の位置の相対位置が、現在どのようにずれたかを示すベクトルである。従って、得られた変換行列と変換ベクトルの逆行列を用いて画像を処理することにより、現在の瞳の位置の正面に画像中心点が位置するように画像を変換することができる。

　実際の計算方法の一例として、ここでは、幾何的に回転と平行移動を求める方法を図１６の（ｂ）に従って説明する。

　左右の目頭の標準位置から左右の目頭の現在位置への変換は、右目または左目の目頭標準位置を中心として、左右の目頭標準位置を結ぶ線分と、左右の目頭現在位置を結ぶ線分とがなす角度θで回転し、回転中心とした側の目頭の標準位置から現在位置へのベクトルを移動ベクトルとして平行移動することで実現できる。ここでは、右目頭標準位置を回転中心として変換行列を求める場合を例に説明する。

　まず、回転計算部７２は左右の目頭標準位置を結ぶ線分と、左右の目頭現在位置を結ぶ線分とがなす角度θを求め、－θを画像の回転角度として算出する（Ｓ１７３）。左右の目頭標準位置を結ぶ線分と座標のｘ軸とがなす角をθｓ、左右の目頭現在位置を結ぶ線分と座標のｘ軸とがなす角をθｐとすると、回転計算部７２は、以下の式２ように、θおよび－θを求めることができる。

　ただし、左目頭標準位置を（ｘｌｓ，ｙｌｓ）、右目頭標準位置を（ｘｒｓ，ｙｒｓ）、左目頭現在位置を（ｘｌｐ，ｙｌｐ）、右目頭現在位置を（ｘｒｐ，ｙｒｐ）とする。

　次に、平行移動計算部７５は、図１６の（ｂ）の右目頭標準位置を始点とし右目頭現在位置を終点とする移動ベクトルＤを求め、ベクトル－Ｄを画像の移動ベクトルとする（Ｓ１７４）。その移動ベクトルＤは以下の式３となる。

　続いて、回転処理部７４は画像記憶部７３に記憶された視聴中の映像に含まれる左右の画像をＳ１７３で求められた－θだけ回転する（Ｓ１７５）。各点の座標の変換は以下の式４で示される変換行列によって行われる。

　次いで、平行移動処理部７６はＳ１７５で回転された左右の画像を－Ｄだけ移動する（Ｓ１７６）。各点の座標の移動はｘ座標に（－ｘｒｐ＋ｘｒｓ）を加算し、ｙ座標に（－ｙｒｐ＋ｙｒｓ）を加算することで行う。

　以上のように、本実施の形態におけるＨＭＤ１は、視聴者の目とディスプレイ８０との初期位置を決定し、その位置のずれを検出するためのカメラ１０と眼球位置キャリブレーション部４０と位置ずれ検出部６０と画像処理部７０を備え、ＨＭＤ装着当初に表示のない暗いディスプレイ８０を見たときの瞳位置と目頭位置を標準位置として記憶し、映像視聴中は、逐次目頭の位置の標準位置からのずれを検出する。目頭の位置が標準位置からずれている場合には、目頭のずれを補償する画像提示位置および角度の変換を行って表示する。このように動作するＨＭＤ１では、何も表示されていない、暗いディスプレイ８０を見ている状態で瞳の位置を特定することで、無限遠を見た際の瞳位置を特定し、画像表示の中心を決める。

　さらに、本実施の形態におけるＨＭＤ１では、映像観賞中も移動しない目頭の位置を基準にしてＨＭＤの装着位置ずれによるディスプレイ８０と目の位置のずれを補償することで左右の目に対して上下方向のずれの無い、正しい視差の画像を表示することができる。これにより３次元映像視聴時の立体視の異常や、３次元映像の視聴による違和感、疲労、不快感を低減することができる。また、何も表示されていない、暗いディスプレイ８０を見ている状態で左右の瞳の位置を独立に特定することで、斜視等の左右の眼球の向きにずれのある視聴者の疲労を低減することができる。

　つまり、本実施の形態におけるＨＭＤ１によれば、視聴者の視線が移動したとしても、移動しない目頭または目じりとディスプレイ８０との相対位置により、視線にかかわり無く、目とディスプレイ８０との相対位置のずれが補正されるので、ＨＭＤ１の装着位置がずれても、目とディスプレイ８０との相対位置のずれによる立体視の異常や疲労および映像酔いが防止される。

　なお、本実施の形態では視聴開始直後にＳ１２１で暗画面を表示し、Ｓ１２２で目全体を撮像し、Ｓ１２３で大まかに画像を切り出してＳ１２４の目頭認識、Ｓ１２６の瞳認識の動作を行うとしたが、Ｓ１９０の視聴終了時に瞳標準位置と目頭標準位置および目頭認識の適用モデルを図１７に示す、不揮発性のメモリである標準位置蓄積部１３０に記憶し、次回の視聴開始時には暗画面表示によるキャリブレーションを行わず、直前の標準位置の微調整のみを行うとしても良い。この場合は、ステップＳ１２９で目頭標準位置を標準位置記憶部５０に記憶する際に、ステップＳ１２７で決定した瞳位置の座標も標準位置記憶部５０に記憶する。標準位置蓄積部１３０は、データとして、たとえば視聴終了時の左右の目頭標準位置と左右の瞳標準位置と目頭の検出に用いられた適用モデルのＩＤと視聴終了時の日時を蓄積する。次回視聴開始時には直近のデータを呼び出して利用する他、次回視聴開始時に蓄積された日時をディスプレイ８０に表示し、視聴者は表示された日時から自分のデータを選択しても良い。データに視聴者を識別する個人ＩＤを入力蓄積するものとして、個人ＩＤにより視聴者本人がデータを選択しても良い。また、次回視聴開始時に、これまで当該のＨＭＤを利用したことのない視聴者である場合には、キャリブレーションを行うため入力を入力部１１０から入力する。

　標準位置の微調整は、例えば、図１８に示すとおり、Ｓ１１０の視聴開始の後に置かれるステップＳ２２０である微調整を行う。Ｓ２２０の微調整は以下の動作である。

　まず、カメラ１０により目全体を撮像する（Ｓ１２２）。次に、眼球位置キャリブレーション部４０は、標準位置蓄積部１３０に記憶された直前使用時の瞳標準位置と目頭標準位置および目頭認識の適用モデルを呼び出す（Ｓ２２１）。目頭検出部３０はＳ２２１で呼び出した直前の視聴時の目頭標準位置の周辺領域のみを切り出す（Ｓ２２３）。周辺領域は、図１９に示すように、例えば、Ｓ２２１で呼び出した目頭標準位置のｘ軸上の位置からｘ軸上で±５ｍｍの範囲とする。

　さらに、目頭検出部３０はＳ２２１で呼び出した直前使用時の目頭認識の適用モデルとの照合によりＳ２２３で切り出した直前使用時の目頭標準位置の周辺領域内で目頭の認識を行う（Ｓ２２４）。

　次に、眼球位置キャリブレーション部４０は画像中に認識した目頭の位置を決定する（Ｓ１２５）。続いて、眼球位置キャリブレーション部４０は瞳位置を決定する（Ｓ２２７）。ここで、瞳位置は瞳を認識することなく、以下の手順で決定する。まず、Ｓ２２１で呼び出した直前使用時の目頭標準位置からＳ２２４で認識し、Ｓ１２５で決定された目頭位置への移動ベクトルを左右の目頭それぞれについて求める。次いで、Ｓ２２１で呼び出した直前使用時の左右の瞳標準位置の座標を、左右それぞれ求めた移動ベクトルにしたがって変換する。変換した座標を左右それぞれの瞳の位置として決定する。

　以降本実施の形態と同様に眼球位置キャリブレーション部４０が画像表示位置を決定し（Ｓ１２８）、標準位置記憶部５０はＳ１２５で眼球位置キャリブレーション部４０が決定した左右の目頭位置を記憶する（Ｓ１２９）。さらに標準位置記憶部５０はＳ２２７で眼球位置キャリブレーション部４０が決定した左右の瞳の位置を記憶する（Ｓ１３１）。これにより、ＨＭＤ１のユーザが固定の場合には、初回使用時にキャリブレーションすれば、その後の使用時のキャリブレーションは微調整のみとなり、視聴開始時に暗画面表示を見る手間を省くことができる。さらにキャリブレーションの時間も短縮することができ、視聴者が視聴開始入力してからコンテンツ映像を視聴するまでの時間を短縮することができる。また、不揮発性のメモリに複数ユーザの直前使用時の情報を記憶する。ユーザは視聴開始時に、開始信号とともにユーザを指定する信号を入力する。入力部は、例えば、ダイヤルやスイッチ、タッチパネルなどである。Ｓ１１０の視聴開始時に視聴開始信号とともにユーザを特定する信号を受け付け、Ｓ２２１で特定されたユーザの直前使用時の情報を読み出すことで、複数のユーザに対応することもできる。

　また、本実施の形態では、Ｓ１７２において左右両方のディスプレイに左目用画像を表示することで３次元映像を２次元映像に切り替えたが、両方のディスプレイに右目用画像を表示しても良い。また、瞳の位置とディスプレイの中心位置との距離が短い側の画像を両側のディスプレイに表示することで、３次元映像を２次元映像に切り替えても良い。

　例えば、図９におけるＳ１７０の詳細を示す別のフローチャート（図２０）のように、Ｓ１７３の回転角度の計算とＳ１７４の移動ベクトルの計算の後、目頭位置のずれ量が基準値を超えないかを判断する（Ｓ２７１）。その結果、ずれ量が基準値以上の場合、すなわちＳ２７１でＮｏの場合に、左右画像制御部７７は標準位置記憶部５０に記憶された左右の瞳標準位置の座標をＳ１７３とＳ１７４で決定された回転θと平行移動Ｄに基づいて変換し、現在の無限遠を見た場合の瞳の位置を求める。さらに、左右画像制御部７７は瞳標準位置の変換座標、すなわち現在の無限遠を見た場合の瞳の位置と、現在のディスプレイ中心との距離を求める（Ｓ２７２）。基準値は、例えば、両目のずれ量の合計が６．５ｍｍとする。３次元映像を作成する際に一般的に用いられる左右の瞳孔間の距離が６．５ｃｍであり、６．５ｍｍはその１０％である。左右画像制御部７７はＳ２７２で求めた距離を左右のディスプレイについて比較する（Ｓ２７３）。右側の瞳とディスプレイの距離が左側より大きい場合、すなわちＳ２７３でＹｅｓの場合には、左右画像制御部７７は左目用画像を右目用画像に入れ替える（Ｓ２７４）。すなわち、右目用画像として左目用画像を利用して、左右両方の目に左目用画像を提示することになる。Ｓ２７３において左側の瞳とディスプレイの距離が右側より大きい場合、すなわちＳ２７３でＮｏの場合には、左右画像制御部７７は右目用画像を左画像に入れ替える（Ｓ２７５）。すなわち、左右両方の目に右目用画像を提示することになる。このように、２次元化処理では、画像処理部７０は、位置ずれ検出部６０により検出された視聴者の左目と右目のそれぞれについての位置ずれのうち、ずれ量の大きい方の目用の画像に対して画像処理を行う。

　これにより、３次元映像を２次元映像に切り替えた際により映像が見やすい状態の目に合わせた２次元映像を表示することができる。この処理を行う場合、ステップＳ１２０でキャリブレーションを行う際に、標準位置記憶部５０はＳ１２５で決定した目頭標準位置のみでなく、Ｓ１２７で決定した瞳標準位置をも記憶する。

　また、本実施の形態では、Ｓ１７１でキャリブレーション時の目とディスプレイ８０の相対位置に対して現在の目とディスプレイ８０の相対位置のずれの量が基準値以上か否かを判断して、３次元画像表示のための補正を行うか、３次元画像から２次元画像への切り替えを行うかを決定しているが、ずれ量で判断せず、回転計算部７２でずれを回転と移動とに分解した際の回転角を求め、回転角の大きさがあらかじめ定められた基準値以上である場合には３次元画像から２次元画像への切り替えを行うとしても良い。

　つまり、画像処理部７０は、位置ずれ検出部６０により検出された位置ずれを回転と水平方向および垂直方向への移動とに分解し、分解された回転の角度があらかじめ定められた値を超えた場合は、左目用と右目用の画像のどちらか一方を左右両方の目用の画像としてディスプレイ８０に表示されるための画像処理を行い、一方、分解された回転の角度があらかじめ定められた値を超えない場合は、左目用と右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行ってもよい。

　例えば、図９におけるＳ１７０の詳細を示す別のフローチャート（図２１）のように、ずれ量による判断はせず、まず回転計算部７２で図１６の（ｂ）に示す回転角θを求め（Ｓ１７３）、判定部７１が、その回転角θとあらかじめ定められた値、例えば６度、とを比較する（Ｓ３７１）。回転角θが６度以上の場合、すなわちＳ３７１でＮｏの場合、左右画像制御部７７は左目用画像を右画像に入れ替えて、３次元画像を２次元画像に切り替える（Ｓ１７２）。３次元画像を２次元画像に切り替える方法については、右目用画像を左画像に入れ替えても良い。また、前記のＳ２７２からＳ２７５の動作で行っても良い。一方、Ｓ３７１で回転角θが６度未満の場合、すなわちＳ３７１でＹｅｓの場合は、本実施の形態と同様にＳ１７４からＳ１７６の動作で、移動ベクトルを計算し、画像の回転と平行移動を行う。これにより、ＨＭＤ１の装着ずれのうち、立体視の障害となる縦ずれ画像の原因となる回転の成分が大きすぎる場合に２次元映像に切り替えることができる。すなわち、立体視の異常や疲労あるいは映像酔いを起こしやすいずれに対してのみ２次元映像に切り替えることになり、必要以上に３次元映像の視聴を妨げないようにすることができる。

　また、本実施の形態では、Ｓ１５１において、必ず目頭が撮像されるものとして説明したが、極端にＨＭＤ１の装着位置がずれた場合には、目頭がカメラ１０の撮像範囲から外れる場合がある。その場合には、左右どちらか一方の画像を左右両側のディスプレイ８０に提示して、２次元映像に切り替えてもよい。これにより、ＨＭＤ１の装着位置が大きくずれて、３次元映像を視聴するための視差を正確に作ることができない場合にも、視聴者が無理なく映像の視聴を続けことができる。

　また、本実施の形態では、映像コンテンツの視聴中はＳ１４０からＳ１８０の動作を逐次行い、都度、ＨＭＤ１の装着位置のずれに対して画像処理を行うとしたが、一定のずれが、一定の時間以上続く場合にだけ、画像処理を行うものとしても良い。一定のずれとは、ずれの変動がある範囲内で、一定とみなせる場合をさす。例えば、ずれの変動がＳ１６０で許容範囲内とされる範囲にあれば一定のずれとみなす。本実施の形態ではＳ１６０での許容範囲を両眼のずれの和が２ｍｍ以内とした。例えば、両眼のずれの和の時間変動が２ｍｍ以内である場合に一定のずれとみなす。さらに一定の時間とは、例えば、１秒である。視聴者がＨＭＤ１の装着位置がずれたまま視聴を続けるのは、視聴者が装着位置のずれに気がついていない場合と考えることができる。ずれに気がついて装着しなおすまでを約１秒として、１秒以上一定のずれが維持された場合にＳ１７０の補正処理を行うものとする。これにより、視聴者がすぐに修正する装着ずれや、ＨＭＤの一時的な揺れに対して画像処理を施すことで、かえって違和感のある表示になることを防ぐことができる。さらに、逐次の画像処理の必要がなくなり処理量が削減できる。また、ずれが一定でない状態が、一定時間以上続く場合には、左右どちらか一方の画像を左右両側のディスプレイに提示して、２次元映像に切り替える。ずれが一定でない状態は、視聴者の頭部が激しく動いていることを示す。すなわち、視聴者が歩行等の運動をしているか、乗り物等の振動が伝わっている可能性がある。このように頭部が激しく運動している状態は、映像酔いを起こしやすい状態であるため、ずれが一定でない場合に２次元映像に切り替えることで、視聴者の映像酔いを防ぐことができる。ずれが一定でない状態が続く時間については、例えば５分とする。

　また、本実施の形態では、目頭の位置を指標としてディスプレイ８０と目との相対位置のずれを検出したが、目じり等、映像視聴中に位置の変わらない目の周辺部位であれば目頭以外でも良い。

　（実施の形態２）
　次に、本発明の実施の形態２におけるヘッドマウントディスプレイおよびその位置ずれ調整方法について説明する。

　実施の形態１においては、ＨＭＤ１の形状に拘束されずに、ＨＭＤ１が眼球の前からずれた場合に、そのずれのベクトルを算出する方法について説明した。しかしながら、一般に、ＨＭＤ１は視聴者の鼻の凸部分によって、支えられている場合が多い。図２２は、本実施の形態におけるＨＭＤ１のハードウェア構成の一例を示す図である。視聴者の左目の前に左目用ディスプレイ８０Ｌを設置し、視聴者の右目の前に右目用ディスプレイ８０Ｒを設置する。２つのディスプレイの間に視聴者の目を撮影するためのカメラ１０を設置する。赤外線カメラである場合は、赤外線の発光部をカメラ１０に隣接して設置する。ＨＭＤ１を装着、固定するためにつると鼻あてを備える。ＨＭＤ１の支点が両耳と鼻であり、中心位置を支えるのが鼻であるため、ＨＭＤ１が傾く場合には、つまり、正常時におけるＨＭＤ１の装着状態を示す図２３の（ａ）に対して、図２３の（ｂ）に示すように、右下がりにずれる場合には、Ｐａを支点として傾く場合が多い。逆に、図２３の（ｃ）に示すように、左下がりにずれる場合には、Ｐｂを支点としてずれる場合が多い。これらの支点ＰａおよびＰｂを中心にずれる場合には、より少ない画像特徴量でＨＭＤ１のずれを検出することが可能になる。

　つまり、本実施の形態では、位置ずれ検出部６０は、検出する位置ずれとして、視聴者の鼻を支点とするヘッドマウントディスプレイ１の回転による位置ずれを検出し、かつ、ヘッドマウントディスプレイ１の右が下がる回転は、視聴者の鼻の右の凸面の一点を中心とする回転であり、ヘッドマウントディスプレイの左が下がる回転は、視聴者の鼻の左の凸面の一点を中心とする回転であるとして、位置ずれを検出する。

　より詳しくは、位置ずれ検出部６０は、位置ずれとして、視聴者の鼻の凸面の一部である支点からカメラ１０の位置までの相対位置を用いてヘッドマウントディスプレイ１の回転量を算出することで、位置ずれを検出する。このとき、位置ずれ検出部６０は、標準位置として、カメラ１０で撮像された画像の中心に近いほうの目頭または目じりの位置を用いて位置ずれを検出する。

　以下、具体的に、本実施の形態における位置ずれの検出方法、つまり、ＨＭＤ１の傾いた角度を算出する方法について、図２４を用いて説明する。図２４における点Ｘｓは実施の形態１のステップＳ１２０でキャリブレーションにより決定された標準目頭位置である。本実施の形態では、原点を左右のカメラ１０の間に設定せず、右目用カメラの左上端（点Ｏｓ）に設定する。図２４の（ａ）に示される状態では、鼻の点Ｐａの点を支点にＨＭＤ１が支えられており、視聴者の眼球を撮像しているカメラからは、原点をＯｓに対して、目頭の位置がＸｓ（ｘｒｓ，ｙｒｓ）の座標値として検出されている。このとき、点Ｐａを支点として、傾きθだけＨＭＤ１が図２４の（ｂ）に示すように、傾いたとする。このとき、カメラの原点Ｏｓも、基準座標系（カメラ、眼球の位置に依存しない基準の座標系）に対してθだけ傾いた位置にずれることとなる。その結果、基準座標系に対して原点Ｏｓは原点Ｏ’ｓに、Ｐａを中心に、回転し、また、点Ｘｓの座標もＸ’ｓに、Ｐａを中心に、回転することとなる。すなわち、回転座標変換行列をＲとすると

　となる。ただし、

で表現することができる。また、図２４の（ａ）において、点Ｐａに対する点Ｏｓのベクトルを、基準座標系において、（Ｘ０，Ｙ０）とする。すなわち、ＨＭＤ１が支えられている鼻の位置と、カメラ１０が撮像している原点の座標との相対的な位置関係が設計時の計測等によって、あらかじめ、与えられているものとする。このとき、基準座標系における点Ｐａに対する点Ｘｓの位置ベクトル（座標値）は、

によって計算することができる。

　一方、ＨＭＤ１がθだけ傾いたときの状態での点Ｘｓの位置座標について計算する。図２４の（ｂ）に示される状態において、基準座標系における点Ｐａに対する点Ｘｓの位置ベクトルは（座標値）は、回転後の点Ｏ’ｓの位置を利用して、

で表現できる。さらに、点Ｏ’ｓが、点Ｐａを中心に点Ｏｓの位置をθだけ回転させた座標であり、また、図２４の（ｂ）に示されるカメラ１０の画像において、視聴者の目頭の位置座標Ｘ’ｓが（ｘｒｐ，ｙｒｐ）として計測されたとき、ＰａＸｓのベクトルは、

で算出することができる。ここで、基準座標系において、目頭の位置が固定されているとすると、

という、２つの式（式１１、式１２）が成立することとなる。

　ここで、鼻の支点座標Ｐａに対する点Ｏｓの位置座標（Ｘ０，Ｙ０）は、設計時に視聴者の鼻のあたる位置として想定されていたときには、あらかじめ与えられている値となる。さらに、眼球を撮像しているカメラ１０によって、図２４の（ａ）の状態での目頭の座標値として（ｘｒｓ，ｙｒｓ）が与えられ、ＨＭＤ１が点Ｐａを支点として傾いた図２４の（ｂ）の状態での目頭の座標値として（ｘｒｐ，ｙｒｐ）が与えられたとき、ＨＭＤ１の傾きθを計算することができる。

　上記、２つの式（式１１、式１２）では、各式から傾きθを計算することが可能である。しかしながら、点Ｐａを中心とした回転方向のずれは、目頭の位置により測定する場合、目頭と支点との位置関係は、ｙ軸方向のずれの方がｘ軸方向のずれより大きい。そのため、図２４の（ｂ）に示されるようにθ回転したときには、水平方向のずれ量の方が大きくなる。よって、式１１におけるｘｒｓとｘｒｐを計測して、θの値を計算する方が、精度がよくなる。

　なお、図２４に示される例では、ヘッドマウントディスプレイの一方が下に下がることにより、ずれ量を算出したが、逆の場合には、Ｐｂを支点とした回転として計算することが可能である。

　また、図２４に示される例では、ＨＭＤ１が右に傾いたときに、右目の目頭の位置を用いて回転角を求めた。しかしながら、目頭の画像が鮮明に取得できなかったり、目頭の位置がカメラ１０の画角からはずれてしまったりするときには、左目の目頭の位置を用いて回転量を計算することも可能である。ただし、回転中心は、同じ点Ｐａを回転中心とする算出方法を用いる必要がある。

　また、上記の計算では、カメラ１０のレンズによる歪を考慮しないで算出を行っている。一般に、カメラで撮像される画像は、撮像される画像が中心から離れるほど（周辺部分に近づくほど）歪が生じる。そこで、カメラ１０で撮像された画像からＨＭＤ１の傾きの量を算出するに当って、目頭または目じりを用いる場合には、なるべく、カメラ１０の中心で撮像されている対象を基準にする方が、精度がよくなる。そこで、目頭または目じりの２つのうち、撮像中心に近い対象を用いて、傾き量を検出する方が精度よく算出可能となる。

　また、実施の形態１および２では、視聴者の目頭を検出して目頭の位置のずれに対応して画像の表示位置を補正するとしたが、目尻を検出して目尻の位置のずれに対応して画像の表示位置を補正するとしても良い。図２２に示される例では、カメラ１０を左右のディスプレイの間、すなわち撮像するそれぞれの目頭側にカメラを設置したが、目尻を検出する場合には、左右のカメラ１０をＨＭＤ１のつる側、すなわち撮像するそれぞれの目尻側に設置しても良い。このとき、目頭検出部３０は目尻検出部となり、目頭認識用モデルではなく目尻認識用モデルを持つ。標準位置記憶部５０は目頭標準位置でなく目尻標準位置を記憶する。これにより、目尻の位置のずれに対応して画像の表示位置を補正することができる。

　以上、本発明に係るヘッドマウントディスプレイ１およびその位置ずれ調整方法について、実施の形態１および２を用いて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲で、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、各実施の形態および変形例における構成要素を任意に組み合わせて得られる形態も、本発明に含まれる。

　たとえば、上記ブロック図（図５、図７）における処理系の機能ブロックは、半導体集積回路であるＬＳＩで実現されてもよい。そのＬＳＩは、機能ブロックごとに１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されるものが含まれる。

　また、集積回路化の手法としては、ＬＳＩ化に限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用して集積回路化をしてもよい。

　また、上記実施の形態におけるヘッドマウントディスプレイ１は、図８を用いて説明したように、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現されてもよい。ここで、ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサがそのコンピュータプログラムにしたがって動作することにより、ヘッドマウントディスプレイ１はその機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

　すなわち、そのようなプログラムは、コンピュータ（あるいは、プロセッサ）に、ヘッドマウントディスプレイに表示される３次元映像の位置ずれを調整する方法であって、３次元映像をディスプレイに表示する表示ステップと、視聴者の前記ディスプレイに対する目頭または目じりの位置を計測する位置取得ステップと、前記位置に関する標準位置を決定するためのキャリブレーションにおいて前記位置取得ステップで計測された前記目頭または前記目じりの位置を前記標準位置として標準位置記憶部に格納する標準位置記憶ステップと、前記位置取得ステップにより新たに計測されたコンテンツ視聴中の前記視聴者の前記ディスプレイに対する前記目頭または前記目じりの位置と、前記標準位置記憶部に記憶された前記視聴者の前記標準位置との差を位置ずれとして検出する位置ずれ検出ステップと、前記位置ずれ検出ステップにより位置ずれが検出された際に、前記検出された位置ずれに応じて前記ディスプレイに表示される３次元映像が回転または平行移動するように、前記３次元映像に対する画像処理をする画像処理ステップととを実行させてもよい。

　また、上記実施の形態におけるヘッドマウントディスプレイ１を構成する構成要素の一部または全部は、脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、超多機能ＬＳＩを含んでもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

　また、本発明は、上記実施の形態におけるフローチャートに示す方法として実現してもよい。また、その方法をコンピュータにより実現するコンピュータプログラムとして実現してもよいし、そのコンピュータプログラムを表すデジタル信号として実現してもよい。さらに、そのコンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなどに記録した記録媒体として実現してもよい。

　また、上記コンピュータプログラムまたはデジタル信号は、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送することができるのは言うまでもない。

　また、上記コンピュータプログラムまたはデジタル信号を記録媒体に記録して移送することにより、または、上記コンピュータプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより、本発明に係るヘッドマウントディスプレイまたはその位置ずれ調整方法を実施してもよい。

　本発明にかかるヘッドマウントディスプレイは、３次元映像を表示する場合に広く利用可能であり、映画やビデオ等の収録済みコンテンツを視聴するシステムを構築する際に有用である。また、遠隔作業や遠隔手術あるいはゲームや教育、訓練用のバーチャルリアリティによる体験システム等の用途にも応用できる。

１　ヘッドマウントディスプレイ（ＨＭＤ）
１０　カメラ
１０Ｌ　カメラ（左目用カメラ）
１０Ｒ　カメラ（右目用カメラ）
２０　瞳検出部
３０　目頭検出部
４０　眼球位置キャリブレーション部
５０　標準位置記憶部
６０　位置ずれ検出部
７０　画像処理部
７１　判定部
７２　回転計算部
７３　画像記憶部
７４　回転処理部
７５　平行移動計算部
７６　平行移動処理部
７７　左右画像制御部
８０　ディスプレイ
８０Ｌ　ディスプレイ（左目用ディスプレイ）
８０Ｒ　ディスプレイ（右目用ディスプレイ）
１００　位置取得部
１１０　入力部
１２０　画像記憶・受信部
１３０　標準位置蓄積部
２１１　　入力部
２１２　　記憶部
２１３　　出力部
２１４　　ＣＰＵ
２１５　　ＲＯＭ
２１６　　ＲＡＭ
２１７　　入出力Ｉ／Ｆ
２２０　　コンピュータ

Claims (12)

1. 　３次元映像を表示するディスプレイと、
   　視聴者の前記ディスプレイに対する目頭または目じりの位置を計測する位置取得部と、
   　前記位置に関する標準位置を決定するためのキャリブレーションにおいて前記位置取得部で計測された前記目頭または前記目じりの位置を前記標準位置として取得して記憶する標準位置記憶部と、
   　前記位置取得部により新たに計測されたコンテンツ視聴中の前記視聴者の前記ディスプレイに対する前記目頭または前記目じりの位置と、前記標準位置記憶部に記憶された前記視聴者の前記標準位置との差を位置ずれとして検出する位置ずれ検出部と、
   　前記位置ずれ検出部により位置ずれが検出された際に、前記検出された位置ずれに応じて前記ディスプレイに表示される３次元映像が回転または平行移動するように、前記３次元映像に対する画像処理をする画像処理部と
   　を備えるヘッドマウントディスプレイ。
2. 　前記位置取得部は、前記視聴者の瞳と前記ディスプレイとの相対位置を計測するセンサを有し、
   　前記ヘッドマウントディスプレイはさらに、前記センサにより計測された、前記ディスプレイに前記３次元映像を表示しない状態における、前記相対位置に基づき、前記標準位置を決定し、決定した標準位置を前記標準位置記憶部に格納するキャリブレーション部を備える
   　請求項１に記載のヘッドマウントディスプレイ。
3. 　前記画像処理部は、前記３次元映像を構成する左目用と右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行う
   　請求項１に記載のヘッドマウントディスプレイ。
4. 　前記画像処理部はさらに、前記３次元映像を構成する左目用と右目用の画像のどちらか一方を左右両方の目用の画像として前記ディスプレイに表示されるための画像処理を行う
   　請求項１に記載のヘッドマウントディスプレイ。
5. 　前記位置取得部は、前記視聴者の左目と右目のそれぞれについて前記位置を計測し、
   　前記標準位置記憶部は、前記視聴者の左目と右目のそれぞれについて前記標準位置を記憶し、
   　前記位置ずれ検出部は、前記視聴者の左目と右目のそれぞれについて前記位置ずれを検出し、
   　前記画像処理部は、前記位置ずれ検出部により検出された前記視聴者の左目と右目のそれぞれについての前記位置ずれのうち、ずれ量の小さい方の目用の画像に対して前記画像処理を行う
   　請求項４に記載のヘッドマウントディスプレイ。
6. 　前記画像処理部は、前記位置ずれ検出部により検出された位置ずれの量があらかじめ定められた値を超えた場合には前記３次元映像を構成する左目用と右目用の画像のどちらか一方を左右両方の目用の画像として前記ディスプレイに表示されるための画像処理を行い、前記位置ずれ検出部により検出された位置ずれの量があらかじめ定められた値を超えない場合は前記左目用と前記右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行う
   　請求項１に記載のヘッドマウントディスプレイ。
7. 　前記画像処理部は、前記位置ずれ検出部により検出された位置ずれを回転と水平方向および垂直方向への移動とに分解し、前記回転の角度があらかじめ定められた値を超えた場合には前記左目用と前記右目用の画像のどちらか一方を左右両方の目用の画像として前記ディスプレイに表示されるための画像処理を行い、前記回転の角度があらかじめ定められた値を超えない場合は前記左目用と前記右目用の画像を各々回転させる処理と水平方向および垂直方向に移動させる処理とを行う
   　請求項６に記載のヘッドマウントディスプレイ。
8. 　前記位置ずれ検出部は、前記位置ずれとして、前記視聴者の鼻を支点とする当該ヘッドマウントディスプレイの回転による位置ずれを検出し、かつ、当該ヘッドマウントディスプレイの右が下がる回転は、前記視聴者の鼻の右の凸面の一点を中心とする回転であり、ヘッドマウントディスプレイの左が下がる回転は、前記視聴者の鼻の左の凸面の一点を中心とする回転であるとして、前記位置ずれを検出する
   　請求項１に記載のヘッドマウントディスプレイ。
9. 　前記位置取得部は、前記目頭を撮像するカメラを有し、
   　前記位置ずれ検出部は、前記位置ずれとして、前記視聴者の鼻の凸面の一部である支点から前記カメラの位置までの相対位置を用いて当該ヘッドマウントディスプレイの回転量を算出することで、前記位置ずれを検出する
   　請求項８に記載のヘッドマウントディスプレイ。
10. 　前記位置ずれ検出部は、前記標準位置として、前記カメラで撮像された画像の中心に近い前記目頭または前記目じりの位置を用いて前記位置ずれを検出する
    　請求項９に記載のヘッドマウントディスプレイ。
11. 　ヘッドマウントディスプレイに表示される３次元映像の位置ずれを調整する方法であって、
    　３次元映像をディスプレイに表示する表示ステップと、
    　視聴者の前記ディスプレイに対する目頭または目じりの位置を計測する位置取得ステップと、
    　前記位置に関する標準位置を決定するためのキャリブレーションにおいて前記位置取得ステップで計測された前記目頭または前記目じりの位置を、前記標準位置として、取得し、標準位置記憶部に格納する標準位置記憶ステップと、
    　前記位置取得ステップにより新たに計測されたコンテンツ視聴中の前記視聴者の前記ディスプレイに対する前記目頭または前記目じりの位置と、前記標準位置記憶部に記憶された前記視聴者の前記標準位置との差を位置ずれとして検出する位置ずれ検出ステップと、
    　前記位置ずれ検出ステップにより位置ずれが検出された際に、前記検出された位置ずれに応じて前記ディスプレイに表示される３次元映像が回転または平行移動するように、前記３次元映像に対する画像処理をする画像処理ステップと
    　を含むヘッドマウントディスプレイの位置ずれ調整方法。
12. 　ヘッドマウントディスプレイに表示される３次元映像の位置ずれを調整するためのプログラムであって、
    　請求項１１記載の位置ずれ調整方法に含まれるステップをコンピュータに実行させる
    　プログラム。

Images