JPWO2013145147A1 - ヘッドマウントディスプレイ及び表示方法 - Google Patents

Abstract

ヘッドマウントディスプレイは、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させ、表示手段と、撮影手段と、調整手段とを有する。表示手段は、利用者に認識させるＡＲ画像を表示させる。撮影手段は、ヘッドマウントディスプレイを装着した利用者の鏡像の少なくとも一部である調整用画像を撮影する。調整手段は、表示手段によって調整用画像を表示させることで利用者に認識される調整用画像の風景中での位置と、透過部材を介して利用者に観察される鏡像の位置とに基づいて、ＡＲ画像の表示位置を利用者に調整させる。

Description

本発明は、情報を表示する技術に関する。

近年、ヘッドマウントディスプレイなどの表示装置を用いて、所定の情報をユーザの前方の景色に重畳して表示させるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する技術が提案されている。例えば、特許文献１には、装着者の頭部の傾きを検知することで、ＡＲ画像の表示位置を変化させるヘッドマウントディスプレイが開示されている。

特開２００８−１７６０９６号公報

一般に、ユーザごとに視差等が異なることから、ヘッドマウントディスプレイによる画像（ＡＲ画像）の適切な表示位置は、ユーザごとに異なる。従って、特許文献１のように、装着者の頭部の傾きを検知することでは、ユーザごとの視差等の個人差に基づく画像の表示位置の調整を行うことができない。

本発明は、上記のような課題を解決するためになされたものであり、画像の表示位置をユーザごとに適切な位置に調整可能なヘッドマウントディスプレイ及び表示方法を提供することを主な目的とする。

請求項１に記載の発明は、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイであって、前記利用者に認識させる画像を表示させる表示手段と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影手段と、前記表示手段によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示手段による前記画像の表示位置を前記利用者に調整させる調整手段と、を有する。

請求項９に記載の発明は、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイが実行する表示方法であって、前記利用者に認識させる画像を表示させる表示工程と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影工程と、前記表示工程によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示工程による前記画像の表示位置を調整させる調整工程と、を有する。

本実施例に係るヘッドマウントディスプレイの概略構成を示す。 ヘッドマウントディスプレイの装着状態での正面図を示す。 ヘッドマウントディスプレイを装着したユーザが鏡に正対した状態を示す。 撮影画像及びトリミング画像を示す。 トリミング画像が表示された際のユーザの視界を示す。 ユーザの操作手順及びそれに伴い制御部が実行する処理手順を示すフローチャートである。 視点から表示対象物までの距離が短い場合及び長い場合のＡＲ画像の表示位置をそれぞれ示す。

本発明の１つの好適な実施形態では、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイであって、前記利用者に認識させる画像を表示させる表示手段と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影手段と、前記表示手段によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示手段によるＡＲ画像の表示位置を前記利用者に調整させる調整手段と、を有する。

上記ヘッドマウントディスプレイは、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させ、表示手段と、撮影手段と、調整手段とを有する。表示手段は、利用者に認識させる画像（ＡＲ画像）を表示させる。撮影手段は、ヘッドマウントディスプレイを装着した利用者の、鏡像の少なくとも一部である調整用画像を撮影する。調整手段は、表示手段によって調整用画像を表示させることで利用者に認識される、調整用画像の風景中での位置と、透過部材を介して利用者に観察される鏡像の位置とに基づいて、ＡＲ画像の表示位置を利用者に調整させる。このようにすることで、ヘッドマウントディスプレイは、ＡＲ画像の表示位置をユーザごとに適切な位置に調整することができる。

上記ヘッドマウントディスプレイの一態様では、前記調整手段は、前記透過部材を介して前記利用者に認識された前記調整用画像と、前記透過部材を介して前記利用者が観察する鏡像とが重複して認識されるように、前記画像の表示位置を前記利用者に調整させる。このようにすることで、ヘッドマウントディスプレイは、好適に、ＡＲ画像の表示位置のずれをユーザの視線位置に合わせて調整することができる。

上記ヘッドマウントディスプレイの他の一態様では、前記調整手段は、前記ヘッドマウントディスプレイに設けられた目印が中心に位置する前記調整用画像を表示させる。このようにすることで、ヘッドマウントディスプレイは、好適に、ＡＲ画像の表示位置のずれをユーザの視線位置に合わせて調整することができる。

上記ヘッドマウントディスプレイの他の一態様では、前記ヘッドマウントディスプレイに設けられた目印の大きさと、前記調整用画像内での前記目印の大きさとに基づき、前記目印から前記利用者の視点までの光路の距離を算出する算出手段を有し、前記表示手段は、前記光路の距離に基づいて、前記画像を表示させる位置を決定する。この態様により、ヘッドマウントディスプレイは、ＡＲ画像の表示位置を的確に定めることができる。

上記ヘッドマウントディスプレイの他の一態様では、前記表示手段は、前記画像を描画するための光の一部を前記透過部材に反射させることで、前記利用者に前記画像を認識させる。このようにすることで、ヘッドマウントディスプレイは、好適に、ＡＲ画像の表示位置のずれをユーザの視線位置に合わせて調整することができる。

上記ヘッドマウントディスプレイの他の一態様では、前記調整手段は、前記利用者の片眼ごとに、前記表示手段による前記画像の表示位置を前記利用者に調整させる。このようにすることで、いずれかの眼にＡＲ画像を表示する場合や両眼にＡＲ画像を表示する場合であっても、ヘッドマウントディスプレイは、ＡＲ画像の表示位置をユーザごとに適切な位置に設定することができる。

上記ヘッドマウントディスプレイの他の一態様では、前記撮影手段は、前記ヘッドマウントディスプレイの装着時に前記利用者の各眼の近傍にそれぞれ位置するカメラを有する。この態様により、ヘッドマウントディスプレイは、調整用画像を、ＡＲ画像を視認する眼の視点の近傍から撮影することができるため、より高精度にＡＲ画像の表示位置を調整することができる。

上記ヘッドマウントディスプレイの他の一態様では、前記撮影手段は、前記ヘッドマウントディスプレイの長手方向における中央部分に設けられたカメラを有する。この態様により、カメラは、ユーザのいずれの眼にも近い両眼の間の位置に配置されるため、ヘッドマウントディスプレイは、高精度にＡＲ画像の表示位置を調整することができる。

本発明の他の好適な実施形態では、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイが実行する表示方法であって、前記利用者に認識させる画像を表示させる表示工程と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影工程と、前記表示工程によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示工程による前記画像の表示位置を調整させる調整工程と、を有する。ヘッドマウントディスプレイは、この表示方法を実行することで、ＡＲ画像の表示位置をユーザごとに適切な位置に調整することが可能となる。

以下、図面を参照して本発明の好適な実施例について説明する。

［装置構成］
図１は、本実施例に係るヘッドマウントディスプレイ１の一例を示した概略構成図である。以下では、ヘッドマウントディスプレイを適宜「ＨＭＤ」と表記する。

図１に示すように、ＨＭＤ１は、主に、制御部２と、光源ユニット３と、ハーフミラー４と、カメラ５とを有する。ＨＭＤ１は、例えば眼鏡型に構成されたシースルー型ＨＭＤであり、ユーザの頭部に装着可能に構成されている。また、ＨＭＤ１は、例えばユーザの片眼にのみ画像を表示したり、両眼に対して画像を表示したりするように構成されている。

光源ユニット３は、制御部２によって生成された画像を構成する光を、ハーフミラー４に向けて出射する。例えば、光源ユニット３は、レーザ光源やＬＣＤ光源などを有しており、このような光源から光を出射する。このように、制御部２及び光源ユニット３は、本発明における「表示手段」として機能する。

ハーフミラー４は、光源ユニット３からの光を、ユーザの眼球に向けて反射する。これにより、ＨＭＤ１によって形成された画像（「ＡＲ画像」とも呼ぶ。）に対応する虚像が、ユーザに視認されることとなる。なお、ハーフミラー４は透過率と反射率とが概ね等しいが、このようなハーフミラー４を用いる代わりに、透過率と反射率とが等しくないようなミラー（所謂ビームスプリッタ）を用いても良い。ハーフミラー４は、本発明における「透過部材」の一例である。

カメラ５は、制御部２の制御に基づき、ＨＭＤ１の前方の景色を撮影し、撮影画像「Ｉｃ」を生成する。カメラ５は、生成した撮影画像Ｉｃを制御部２に供給する。カメラ５は、好適には、ＨＭＤ１の長手方向における中央部分に設置され、ＨＭＤ１の装着状態において、ユーザの両眼の間に位置するように設定される。このように、制御部２及びカメラ５は、本発明における「撮影手段」として機能する。

入力部７は、ユーザの操作に基づく入力信号を生成して制御部２に送信する。入力部７は、例えばユーザが操作するためのボタンや十字キー及びボタンなどを有するリモートコントローラである。本実施例では、入力部７は、ユーザの操作に基づき、ＡＲ画像の位置調整の開始を指示する入力信号を生成したり、ユーザの操作量に応じたＡＲ画像の表示位置の変更を指示する入力信号を生成したりする。このように、制御部２及び入力部７は、本発明における「調整手段」として機能する。

制御部２は、図示しないＣＰＵなどのプロセッサやＲＡＭやＲＯＭなどのメモリを有しており、ＨＭＤ１の全体的な制御を行う。例えば、制御部２は、ハーフミラー４を透して観察される景色に重畳させたＡＲ画像をユーザに認識させるための制御を行う。つまり、ＡＲ表示のための制御を行う。

具体的には、制御部２は、ハーフミラー４を透して観察される景色に含まれる所定のオブジェクト（「表示対象物」とも呼ぶ。）について、当該表示対象物の情報を示すＡＲ画像を生成する。ここで、「ＡＲ画像」は、場所や、施設や、看板などの対象物についての情報を示す画像であり、アイコンや、タグや、コメントや、吹き出しなどによって表される。例えば、制御部２は、カメラ５の撮影画像Ｉｃを解析することで情報を表示すべき表示対象物を特定して、当該表示対象物についての情報を生成し、当該情報に対応するＡＲ画像を生成する。他の例では、制御部２は、図示しないナビゲーション装置（スマートフォンなどの携帯型端末装置も含む）などから表示対象物についての情報を取得し、当該情報に対応するＡＲ画像を生成する。

さらに、制御部２は、ＡＲ画像に対応する虚像が、景色中の表示対象物に応じた位置にて認識されるように制御を行う。ここで、「表示対象物に応じた位置」とは、例えば表示対象物に重畳する位置や、表示対象物の近傍の位置が該当する。一般に、ＡＲ画像の表示位置は、両目の間隔の違い等に起因して、ユーザごとに適切な位置が異なる。従って、本実施例では、制御部２は、ＡＲ画像の表示位置（焦点位置）をユーザの操作に基づき適切に補正する。具体的には、制御部２は、入力部７へのユーザの操作量に応じて、光源ユニット３の光の出射方向を変更することなどにより、ＡＲ画像の表示位置を変更する。これについては、［ＡＲ画像位置調整］のセクションで詳しく説明する。

図２は、ＨＭＤ１の装着状態での正面図を示す。以後では、ＨＭＤ１の長手方向を「Ｘ軸方向」、ＨＭＤ１の短手方向を「Ｙ軸方向」とし、各正方向を図２に示すように定める。

図２に示すように、ユーザ１０と対向する面と反対側にあるＨＭＤ１の正面には、マーカ６が貼り付けられている。マーカ６は、ユーザ１０の視界を遮らないように、ＨＭＤ１において光源ユニット３が光を出射可能な範囲を示す描画可能範囲「Ｒｄ」と重ならない位置に貼り付けられる。また、マーカ６は、好適には、取得した撮影画像Ｉｃから制御部２がマーカ６の位置を容易に認識できるように、ＨＭＤ１等とは異なる色等を有する。マーカ６のＸ軸方向の幅「Ｗｍ」及びマーカ６を識別するための色などの情報は、制御部２のメモリにより予め記憶される。マーカ６は、本発明における「目印」の一例である。

［ＡＲ画像位置調整］
次に、ＡＲ画像の位置調整方法について説明する。概略的には、制御部２は、カメラ５が撮影してＡＲ画像として表示したマーカ６の鏡像と、ハーフミラー４を透して観察したマーカ６の鏡像との位置合わせを、ユーザ１０の操作に基づき行う。これにより、制御部２は、ＨＭＤ１を装着したユーザ１０に適したＡＲ画像の表示位置を設定する。

（１）処理概要
まず、図３乃至図５を参照してＡＲ画像の位置調整方法の概要を説明する。

図３は、ＨＭＤ１を装着したユーザ１０が鏡８に正対した状態を示す。図３では、ＸＹ平面と垂直な方向であって、ＨＭＤ１から鏡８に向かう方向をＺ軸正方向とする。図３に示すように、ユーザ１０は、まず、鏡８とマーカ６とが平行な位置となるように、鏡８に正対した状態で静止する。この状態では、ユーザ１０は、ハーフミラー４を透してユーザ１０及びマーカ６が付されたＨＭＤ１の鏡像を視認する。このとき、鏡８からマーカ６までの距離は、概ね鏡８からユーザ１０の視点の距離（「調整対象距離Ｄｔａｇ」とも呼ぶ。）と一致する。即ち注視点距離は、ユーザ１０の視点から鏡８までの距離の２倍となる。即ち、図３の両矢印９０が示す幅は、調整対象距離Ｄｔａｇの１／２に相当する。

本実施例では、ユーザ１０が鏡８に正対した状態でＡＲ画像の位置調整を行うことで、ユーザ１０と鏡８との距離の２倍の距離が調整対象距離Ｄｔａｇとなる。従って、この場合、屋内等でＡＲ画像の表示位置を調整する場合であっても、調整対象距離Ｄｔａｇが過度に短くなるのを抑制することができる。また、ユーザ１０が鏡８に正対した状態で後述するＡＲ画像の位置調整を行うことで、ユーザ１０がＡＲ画像の位置調整時に無意識に動くのを防ぎ、高精度にＡＲ画像の位置調整を行うことができる。

次に、制御部２は、図３に示す状態でカメラ５から取得された撮影画像Ｉｃからマーカ６を認識し、撮影画像Ｉｃ内でのマーカ６のＸ軸方向における幅（「画像内マーカ幅」とも呼ぶ。）を測定する。そして、制御部２は、メモリに予め記憶したマーカ６の幅Ｗｍと画像内マーカ幅とに基づき、所定のマップ又は式などを参照して、調整対象距離Ｄｔａｇを算出する。上述のマップ及び式は、例えば実験又は理論的に定められ、制御部２のメモリに予め記憶される。算出した調整対象距離Ｄｔａｇの用途については、［焦点距離の変化への対応］のセクションで詳しく説明する。

図４（ａ）は、図３の状態で生成された撮影画像Ｉｃを示す。図４（ａ）の撮影画像Ｉｃには、説明の便宜上、縦中心線「９１Ｖ」、横中心線「９１Ｈ」、及びこれらの交点である中心点「９１Ｃ」が示されている。図４（ａ）に示すように、撮影画像Ｉｃは、主に、鏡８の表示領域８Ａと、ＨＭＤ１の鏡像の表示領域１Ａと、マーカ６の鏡像の表示領域６Ａと、ユーザ１０の鏡像の表示領域１０Ａとを有する。撮影画像Ｉｃでは、カメラ５の設置位置等に起因して、ＨＭＤ１の鏡像の表示領域１Ａが、撮影画像Ｉｃの縦中心線９１Ｖからずれている。

ここで、制御部２は、マーカ６の鏡像の表示領域６Ａが画像の中心に位置するように撮影画像Ｉｃを切り出した画像（「トリミング画像Ｉｔ」とも呼ぶ。）を生成する。図４（ｂ）は、マーカ６の鏡像の表示領域６Ａが中心に位置するように撮影画像Ｉｃから切り取られたトリミング画像Ｉｔを示す。図４（ｂ）に示すように、トリミング画像Ｉｔでは、縦中心線９２Ｖ及び横中心線９２Ｈとの交点である中心点９２Ｃと、マーカ６の鏡像の表示領域６Ａの中心とが重なっている。即ち、トリミング画像Ｉｔの中心点９２Ｃには、マーカ６の鏡像の表示領域６Ａが存在する。トリミング画像Ｉｔは、本発明における「調整用画像」の一例である。

次に、制御部２は、トリミング画像ＩｔをＡＲ画像として表示する。図５（ａ）は、図４（ｂ）に示すトリミング画像Ｉｔが表示された際のユーザ１０の視界を示す。図５（ａ）に示すように、ユーザ１０の視界には、ＡＲ画像であるトリミング画像Ｉｔと、ＨＭＤ１を透して観察される鏡８と、鏡８内のＨＭＤ１の鏡像１Ｂと、マーカ６の鏡像６Ｂと、ユーザ１０の鏡像１０Ｂとが存在する。

ここで、ＡＲ画像であるトリミング画像Ｉｔ内のマーカ６の表示領域６Ａと、ＨＭＤ１を透して観察されるマーカ６の鏡像６Ｂとにずれが生じている。従って、制御部２は、ユーザ１０の入力部７への操作に基づき、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａが、ＨＭＤ１を透して観察されるマーカ６の鏡像６Ｂの位置に一致させる。ここで、ユーザ１０は、ＡＲ画像のＸＹ平面内での平行移動及びＸＹ平面内での回転移動等を指示する。これにより、制御部２は、入力部７から受信した入力信号に応じて光源ユニット３の位置調整などを行うことで、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａを、実際に観察されるマーカ６の鏡像６Ｂに重ねる。ここで、制御部２は、トリミング画像Ｉｔを、描画可能範囲Ｒｄよりも小さい範囲に描画している。これにより、制御部２は、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａをマーカ６の鏡像６Ｂに重ねるための指示を行う操作を、容易に実行させることができる。

図５（ｂ）は、ユーザ１０の入力部７への操作によりＡＲ画像の表示位置が調整された後のユーザ１０の視界を示す。図５（ｂ）に示すように、この場合、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａは、実際に観察されるマーカ６の鏡像６Ｂと重なる位置に移動している。これにより、制御部２は、ＡＲ画像の表示位置を、ユーザ１０に適した位置に調整することができる。

なお、制御部２及びユーザ１０は、上述した処理を、ユーザ１０の右眼及び左眼の各々を対象にしてそれぞれ実行する。これにより、制御部２は、左眼若しくは右眼のいずれか一方又は両眼にＡＲ画像を視認させる場合のいずれであっても、ユーザ１０に適した表示位置でＡＲ画像を表示させることができる。これについては、後述する図６のフローチャートで説明する。

（２）フローチャート
図６は、ユーザ１０の操作手順及びそれに伴い制御部２が実行する処理手順を示すフローチャートの一例である。図６に示す例では、制御部２は、ユーザ１０の両眼を対象に片眼ずつＨＭＤの位置調整を行う。

まず、ＨＭＤ１を装着したユーザ１０は、鏡８に正対する（ステップＳ２０１）。次に、ユーザ１０は、ＡＲ画像の位置調整の開始を指示する操作を入力部７に対して行う（ステップＳ２０２）。これにより、ＨＭＤ１の制御部２は、ステップＳ１０１以降の処理を開始する。

そして、制御部２は、ステップＳ２０２の後、所定の片眼（例えば右眼）を対象にＡＲ画像の位置調整を行う旨をユーザ１０に通知する（ステップＳ１０１）。この場合、制御部２は、例えば図示しないスピーカにより、対象となる眼以外の眼を閉じる旨の音声案内を行う。これに従い、ユーザ１０は、ＡＲ画像の表示位置の調整対象でない眼を閉じる（ステップＳ２０３）。

次に、制御部２は、カメラ５が生成した撮影画像Ｉｃ（図４（ａ）参照）を取得する（ステップＳ１０２）。そして、制御部２は、撮影画像Ｉｃ内のマーカ６の幅である画像内マーカ幅に基づき、調整対象距離Ｄｔａｇを算出する（ステップＳ１０３）。具体的には、制御部２は、予め記憶したマーカ６の幅Ｗｍと、画像内マーカ幅とに基づき、所定の式などを用いて、調整対象距離Ｄｔａｇを算出する。算出した調整対象距離Ｄｔａｇの用途については、［焦点距離の変化への対応］のセクションで詳しく説明する。

次に、制御部２は、マーカ６の表示領域６Ａが中心となるように、撮影画像Ｉｃのトリミングを行う（ステップＳ１０４）。これにより、制御部２は、トリミング画像Ｉｔを生成する（図４（ｂ）参照）。そして、制御部２は、トリミング画像ＩｔをＡＲ画像として表示する（ステップＳ１０５）。これにより、ユーザ１０は、トリミング画像Ｉｔを視認した状態で、ＨＭＤ１を透してマーカ６の鏡像６Ｂ等を視認する（図５（ａ）参照）。そして、制御部２は、好適には、ユーザ１０に対し、後述するステップＳ２０４の操作を実行すべき旨の音声案内などを行う。

次に、ユーザ１０は、トリミング画像Ｉｔのマーカ６の表示領域６Ａが、マーカ６の鏡像６Ｂと重なるように入力部７に対して操作を行う（ステップＳ２０４）。この場合、ユーザ１０は、入力部７への操作により、ＡＲ画像のＸＹ平面内での平行移動及びＸＹ平面内での回転移動を制御部２に対して指示する。

そして、制御部２は、入力部７から送信される入力信号に基づき、光源ユニット３の位置等を変更することで、ＡＲ画像であるトリミング画像Ｉｔの位置を変更する（ステップＳ１０６）。これにより、制御部２は、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａが、ＨＭＤ１を透して観察されるマーカ６の鏡像６Ｂと重なる位置に、ＡＲ画像であるトリミング画像Ｉｔの位置を変更する（図５（ｂ）参照）。このようにすることで、制御部２は、装着するユーザごとの個人差やＨＭＤ１の各部品のアライメント誤差等によらず、ＡＲ画像を装着者であるユーザ１０に適した表示位置に設定することができる。そして、制御部２は、調整を行った片眼を特定する情報及びステップＳ１０３で算出した調整対象距離Ｄｔａｇと共に、ステップＳ１０６実行後のＡＲ画像の位置情報又はステップＳ１０６で調整したＸＹ平面の移動量や回転角度などの調整情報をメモリに記憶する。

次に、制御部２は、ユーザ１０の両方の眼とも調整を行ったか否か判定する（ステップＳ１０７）。言い換えると、制御部２は、右眼及び左眼の各々に対し、ステップＳ１０２乃至ステップＳ１０６の処理を行ったか否か判定する。そして、ユーザ１０の両方の眼とも調整を行った場合（ステップＳ１０７：Ｙｅｓ）、制御部２は、フローチャートの処理を終了する。この場合、同様に、ユーザ１０は、ＡＲ画像の位置調整のための操作を終了する（ステップＳ２０５）。一方、ユーザ１０の一方の眼に対するＡＲ画像の位置調整を行っていない場合（ステップＳ１０７：Ｎｏ）、制御部２は、ステップＳ１０１へ処理を戻す。この場合、制御部２は、前回ステップＳ１０１で対象とした片眼（例えば右眼）とは異なる片眼を対象にＡＲ画像位置の調整を行う旨の通知を行い（ステップＳ１０１）、ステップＳ１０２乃至ステップＳ１０６の処理を再度行う。また、この場合、ユーザ１０は、ステップＳ２０３及びステップＳ２０４の処理を行う。

このように、左眼及び右眼の両方について、それぞれＡＲ画像の位置調整を行うことで、制御部２は、左眼若しくは右眼のいずれか一方又は両眼にＡＲ画像を視認させる場合のいずれであっても、ユーザ１０に適した表示位置でＡＲ画像を表示することができる。

［焦点距離の変化への対応］
次に、種々の表示対象物にＡＲ画像を重畳して表示させる場合のＡＲ画像の位置調整について説明する。

一般に、表示対象物によって当該表示対象物からユーザ１０の視点までの距離（即ち焦点距離）が異なり、また、上述の距離が変化した場合、ＡＲ画像の適切な表示位置も変化する。これについて、図７を参照して説明する。

図７（ａ）は、視点から表示対象物８０までの距離が短い場合のＡＲ画像の表示位置８１を示し、図７（ｂ）は、視点から表示対象物８０までの距離が図７（ａ）の例よりも長い場合のＡＲ画像の表示位置８２を示す。なお、図７では、説明の便宜上、ＨＭＤ１は、右眼に対応するＡＲ画像のみを表示するものとする。

図７に示すように、視点から表示対象物８０までの距離に応じて、視線の方向が変化する。具体的には、図７（ａ）において視線とＨＭＤ１とがなす角度「Ｄ１」は、図７（ｂ）において視線とＨＭＤ１とがなす角度「Ｄ２」よりも小さくなっている。このように、制御部２は、視点から表示対象物８０までの距離が長い程、ＡＲ画像の表示位置をＸ軸においてＨＭＤ１の中心から離れて外側に向かう方向に移動させる必要がある。

以上を勘案し、制御部２は、任意の表示対象物８０に対してＡＲ画像を表示する場合には、視点から表示対象物８０までの距離を認識し、当該距離に応じて、ＡＲ画像の表示位置を移動させる。例えば、制御部２は、まず、図示しないＧＰＳ受信機から取得した現在位置情報と、メモリに記憶した地図情報などを参照して、表示対象物８０の位置情報とに基づき、ユーザ１０の位置から表示対象物８０までの距離を算出する。次に、制御部２は、算出した距離と、図６でＡＲ画像の位置調整を行った際の調整対象距離Ｄｔａｇとの差又は比などに応じて、ＡＲ画像の表示位置を、図６の処理で設定した位置から移動させる。この場合、制御部２は、例えば、予め実験又は理論的に求めたマップ又は式を参照して、上述の差又は比によりＡＲ画像の移動量を定める。

これにより、制御部２は、視点から表示対象物８０までの距離が変化した場合であっても、適切にＡＲ画像の位置を適切な位置に移動させることができる。

［変形例］
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。

（変形例１）
ＨＭＤ１は、装着状態においてユーザ１０の左眼近傍に設置され、左眼に視認させるＡＲ画像の位置調整を行うための左眼用カメラと、装着状態においてユーザ１０の右眼近傍に設置され、右眼に視認させるＡＲ画像の位置調整を行うための右眼用カメラとの２つを備えてもよい。この場合、ＨＭＤ１は、左眼に視認させるＡＲ画像の位置調整を行う場合には左眼用カメラにより撮影画像Ｉｃを生成してＡＲ画像の位置調整処理を行い、右眼に視認させるＡＲ画像の位置調整を行う場合には右眼用カメラにより撮影画像Ｉｃを生成してＡＲ画像の位置調整処理を行う。これにより、ＨＭＤ１は、より高精度にＡＲ画像の位置調整を行うことができる。

（変形例２）
マーカ６は、ＨＭＤ１に貼り付ける部材に限定されず、ＨＭＤ１の正面に形成された突起した形状又は所定の色に着色された領域であってもよい。この場合であっても、制御部２は、上述の形状又は領域のＸ軸方向の幅を予め記憶しておく。これによっても、制御部２は、好適に、調整対象距離Ｄｔａｇを算出することができる。

（変形例３）
マーカ６は、十字型に形成されていてもよい。これにより、ユーザは、図６のステップＳ２０４において、トリミング画像Ｉｔ内のマーカ６の表示領域６Ａを、マーカ６の鏡像６Ｂに重ねる操作を行う際に、Ｘ軸方向の位置を揃え易くすることができる。

本発明は、ＡＲ表示を行う装置に好適に適用することができる。

１ ヘッドマウントディスプレイ（ＨＭＤ）
２ 制御部
３ 光源ユニット
４ ハーフミラー
５ カメラ
６ マーカ

請求項１に記載の発明は、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイであって、前記利用者に認識させる画像を表示させる表示手段と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像を撮影する撮影手段と、前記透過部材を介して前記利用者が観察する鏡像中における目印の位置と、前記撮影手段により撮影された前記利用者の鏡像の少なくとも一部を含む調整用画像が前記表示手段によって表示されることで、前記利用者に認識される前記調整画像中における前記目印の位置と、が重複して認識されるように、前記表示手段による前記画像の表示位置を前記利用者に調整させる調整手段と、を有することを特徴とする。

また、請求項８に記載の発明は、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイが実行する表示方法であって、前記利用者に認識させる画像を表示させる表示工程と、当該ヘッドマウントディスプレイを装着した前記利用者の鏡像を撮影する撮影工程と、前記透過部材を介して前記利用者が観察する鏡像中における目印の位置と、前記撮影工程により撮影された前記利用者の鏡像の少なくとも一部を含む調整用画像が前記表示工程によって表示されることで、前記利用者に認識される前記調整画像中における前記目印の位置と、が重複して認識されるように、前記表示工程による前記画像の表示位置を調整させる調整工程と、を有することを特徴とする。

請求項１に記載の発明は、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイであって、前記利用者に認識させる画像を表示させる表示手段と、当該ヘッドマウントディスプレイを装着した前記利用者の前方画像を撮影する撮影手段と、前記ヘッドマウントディスプレイにおいて、前記利用者と対向する面の反対面に設けられた目印と、前記撮影手段により撮影された前記前方画像を一部に含む調整用画像を生成して前記表示手段に表示させるとともに、前記調整用画像の表示位置を調整する入力を受付ける調整手段と、を備え、前記調整手段は、前記利用者が鏡に向かっている際の前記前方画像に含まれる前記目印を基準として前記調整用画像を生成することを特徴とする。

また、請求項５に記載の発明は、透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイが実行する表示方法であって、当該ヘッドマウントディスプレイを装着した前記利用者の前方画像を撮影する撮影工程と、前記撮影工程により撮影された前記前方画像を一部に含む調整用画像を生成して表示手段に表示させるとともに、前記調整用画像の表示位置を調整する入力を受付ける調整工程と、を有し、前記調整工程は、前記利用者が鏡に向かっている際の前記前方画像に含まれる目印を基準として前記調整用画像を生成し、前記目印は、前記ヘッドマウントディスプレイにおいて、前記利用者と対向する面の反対面に設けられていることを特徴とする。

Claims (9)

1. 透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイであって、
   前記利用者に認識させる画像を表示させる表示手段と、
   当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影手段と、
   前記表示手段によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示手段による前記画像の表示位置を前記利用者に調整させる調整手段と、
   を有することを特徴とするヘッドマウントディスプレイ。
2. 前記調整手段は、前記透過部材を介して前記利用者に認識された前記調整用画像と、前記透過部材を介して前記利用者が観察する鏡像とが重複して認識されるように、前記画像の表示位置を前記利用者に調整させることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記調整手段は、前記ヘッドマウントディスプレイに設けられた目印が中心に位置する前記調整用画像を表示させることを特徴とする請求項１または２に記載のヘッドマウントディスプレイ。
4. 前記ヘッドマウントディスプレイに設けられた目印の大きさと、前記調整用画像内での前記目印の大きさとに基づき、前記目印から前記利用者の視点までの光路の距離を算出する算出手段を有し、
   前記表示手段は、前記光路の距離に基づいて、前記画像を表示させる位置を決定することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
5. 前記表示手段は、前記画像を描画するための光の一部を前記透過部材に反射させることで、前記利用者に前記画像を認識させることを特徴とする請求項１乃至４のいずれか一項に記載のヘッドマウントディスプレイ。
6. 前記調整手段は、前記利用者の片眼ごとに、前記表示手段による前記画像の表示位置を前記利用者に調整させることを特徴とする請求項１乃至５のいずれか一項に記載のヘッドマウントディスプレイ。
7. 前記撮影手段は、前記ヘッドマウントディスプレイの装着時に前記利用者の各眼の近傍にそれぞれ位置するカメラを有することを特徴とする請求項６に記載のヘッドマウントディスプレイ。
8. 前記撮影手段は、前記ヘッドマウントディスプレイの長手方向における中央部分に設けられたカメラを有することを特徴とする請求項１乃至６のいずれか一項に記載のヘッドマウントディスプレイ。
9. 透過部材を介して観察される景色に、画像を重畳させて利用者に認識させるヘッドマウントディスプレイが実行する表示方法であって、
   前記利用者に認識させる画像を表示させる表示工程と、
   当該ヘッドマウントディスプレイを装着した前記利用者の鏡像の少なくとも一部である調整用画像を撮影する撮影工程と、
   前記表示工程によって前記調整用画像を表示させることで前記利用者に認識される前記調整用画像の前記風景中での位置と、前記透過部材を介して前記利用者に観察される前記鏡像の位置と、に基づいて、前記表示工程による前記画像の表示位置を調整させる調整工程と、
   を有することを特徴とする表示方法。

Images