JP6314339B2 - 眼鏡型表示装置 - Google Patents

Description

本発明は、ユーザの眼の周辺に装着可能な眼鏡型表示装置に関する。

従来、この種の眼鏡型表示装置としては、例えば下記の特許文献１に記載のヘッドマウントディスプレー装置（以下、ＨＭＤ装置という）がある。このＨＭＤ装置は、まず、画像表示手段と、画像表示手段に表示された像をユーザの眼に導く観察用光学手段と、外界からの像を観察用光学手段の光路中に導入し、外界からの像を画像表示手段に表示された像に重ねて観察することを可能にするための光路合成手段と、ユーザの観察範囲内での注視点を検出して、注視点検出信号を出力する注視点検出手段と、を備えている。ＨＭＤ装置はさらに、上記四手段を収納すると共に、ユーザの眼の周囲に固定可能に構成されたハウジングと、を有する表示部と、注視点検出信号に基づいて画像表示手段を制御する制御部と、を備えている。

特開平０９−２１１３７６号公報

以上の通り、従来の眼鏡型表示装置では、画像表示手段に表示された像（つまり、投射装置からの所定の情報を表す像）に、外界からの像（つまり、ユーザ前方の景色を表す像）が重畳され、合成像としてユーザに提供される。しかし、ユーザの顔の形状および／または眼鏡型表示装置の装着の仕方により、各種パラメータが設計値と異なる場合がある。その結果、所定の情報がユーザ前方の景色の適切な位置に重畳されないことがあった。

それゆえに、本発明の目的は、ユーザの前方景色においてより適切な位置に所定の情報を重畳可能な眼鏡型表示装置を提供することである。

上記目的を達成するために、本発明の一局面は、眼鏡型表示装置に向けられており、ユーザの顔に装着可能に構成されたフレームと、前記ユーザ前方を撮影可能に前記フレームに設けられた第一撮影装置と、所定の情報を表す第一光束を投射可能に前記フレームに設けられた投射装置と、装着時に前記ユーザの眼前に配置可能に前記フレームに設けられた接眼光学系であって、前記投射装置からの第一光束と、前記ユーザ前方の景色を表す第二光束とが入射されると、前記景色上に前記所定の情報が重畳された第三光束を前記ユーザの眼に向けて出射可能に構成された接眼光学系と、前記ユーザの眼と前記第一撮影装置との間の距離を第一距離として導出し、導出した第一距離に基づき、前記景色上における前記所定の情報が重畳される位置を調整する制御回路と、を備えている。

上記局面によれば、ユーザの前方景色においてより適切な位置に所定の情報を重畳可能となる。

本発明の第一実施形態に係る眼鏡型表示装置を示す外観斜視図である。 図１の眼鏡型表示装置の機能ブロック図である。 図１の接眼光学系および投射装置の縦断面図である。 図２の制御回路の処理であって、個人差を考慮しない場合の処理の手順を示すフロー図である。 図４の処理で求められる所定の情報の表示位置を示す模式図である。 図２の制御回路の処理であって、第一距離（測定値）を求める処理の手順を示すフロー図である。 図６の処理の内容を示す模式図である。 図２の制御回路の処理であって、個人差を考慮した場合の処理の手順を示すフロー図である。 図８の処理で求められる所定の情報の表示位置を示す模式図である。 第一目印および第二目印の表示手法の第二変形例を示す図である。 第三変形例に係る眼鏡型表示装置を示す外観斜視図である。 図１１の眼鏡型表示装置の機能ブロック図である。 図１２の制御回路の処理であって、第一距離（測定値）を求める処理の手順を示すフロー図である。 図１３の処理の内容を示す模式図である。 第四変形例に係る第一目印および第二目印を示す第一模式図である。 第四変形例に係る第一目印および第二目印を示す第二模式図である。 第二実施形態に係る眼鏡型表示装置の第一距離（測定値）および第三距離（測定値）を求めるためのフロー図である。 図１７において第三距離を求める処理の内容を示す模式図である。 第二実施形態に係る制御回路の処理であって、個人差を考慮した場合の処理の手順を示すフロー図である。 図１９の処理で求められる所定の情報の表示位置を示す模式図である。

《カメラ座標系について》
本発明の各実施形態に係る眼鏡型表示装置１ａの説明に先立ち、いくつかの図面に示されるＸ軸、Ｙ軸、Ｚ軸を定義する。Ｘ軸、Ｙ軸およびＺ軸は互いに直交する。Ｙ軸は、標準ユーザが本眼鏡型表示装置１ａを装着した状態で真正面を視た時の視線方向（つまり、前後方向）である。ここで、標準ユーザは、本眼鏡型表示装置１ａを設計するために設定された仮想的なモデルである。Ｘ軸，Ｚ軸は、同状態で真正面を視た時の左右方向（つまり、横方向）および上下方向を示す。

《第一実施形態》
図１および図２を参照して、眼鏡型表示装置１ａの大略的な構成を説明する。眼鏡型表示装置１ａは、フレーム２と、接眼光学系３と、投射装置４と、透明部材５と、第一および第二カメラ６１，６２と、操作器７と、を備えている。

フレーム２は、眼鏡型表示装置１ａをユーザの眼の周辺に装着可能にする部材である。ここで、以下の説明では、眼鏡型表示装置１ａをユーザが眼の周辺に装着した時のことを、単に、装着時と略記する。また、フレーム２は、例えば、右側および左側のテンプル２１Ｒ，２１Ｌと、右側および左側の蝶番２２Ｒ，２２Ｌと、ブリッジ２３と、右側および左側の鼻パッド２４Ｒ，２４Ｌと、を備えている。

接眼光学系３は、一般的な眼鏡の右側レンズと類似した形状を有し、蝶番２２Ｒの左端とブリッジ２３の右端との間に固定される。また、接眼光学系３は、装着時に右眼前方に位置決めされる。この接眼光学系３は、前方の景色をユーザが視認可能にすべく、前方からの光束（つまり、ユーザの前方の景色を表す第二光束）を透過可能に構成される。

投射装置４は、ユーザの前方視界を遮らないように、接眼光学系３の周縁に固定的に取り付けられる。図示した例では、投射装置４の取付位置は、接眼光学系３の上側の周縁である。しかし、取付位置は、上下左右のいずれの周縁でも構わない。かかる投射装置４は、接眼光学系３に対し、所定の情報を表す第一光束を投射する。ここで、所定の情報とは、典型的には、第一カメラ６１から得られる第一画像信号から得られる対象物α（図５等を参照）であったり、操作器７に備わる制御回路７２により生成された文字情報であったりする。

ここで、図３は、図１の仮想線Ｉ−Ｉ’に沿う接眼光学系３および投射装置４の縦断面をＸ軸方向から見た時の縦断面図である。ここで、この縦断面は、ＹＺ平面に概ね平行であるとする。以下、図１〜図３を参照して、投射装置４、接眼光学系３の順番でそれぞれの構成を詳説する。

投射装置４は、光源４１と、集光レンズ４２と、透過型表示パネル４３と、を、筐体４４内に備えている。光源４１は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等であり、典型的には白色光を出射する。ここで、図３には破線にて光路が仮想的に示されている。集光レンズ４２は、コンデンサレンズ等を含んでおり、光源４１の出射光を集光し、概ね平行な光（以下、平行光という）にして出射する。透過型表示パネル４３は、例えば、空間光変調素子ＬＣＤであって、集光レンズ４２からの平行光が入射されると共に、上記所定の情報を制御回路７２から受信する。透過型表示パネル４３は、入射光を受信情報で変調して所定の情報を表す第一光束を生成し、接眼光学系３の上端面Ｐ１に向けて出射する。

接眼光学系３は、透明部材３１と、透明部材３１と一体的に形成されたプリズム３２およびホログラフィック光学素子（以下、ＨＯＥという場合がある）３３と、を備えている。

プリズム３２は、例えばガラスまたは樹脂のような透明材料で作製され、例えばＹ軸方向に向かい合う前面Ｐ２および背面Ｐ３を有する。ここで、前面Ｐ２，背面Ｐ３はＺＸ平面に概ね平行でＹ軸と直交するよう設計される。また、プリズム３２は、接眼光学系３の上端面Ｐ１から下方向に延在している。この上端面Ｐ１から、透過型表示パネル４３から出射された第一光束が、プリズム３２の内部に入射される。入射光束は、前面Ｐ２および背面Ｐ３で全反射を繰り返してプリズム３２の内部を下方に伝搬され、ＨＯＥ３３に向けて案内される。

ＨＯＥ３３は、薄い板状の基板上に形成されており、装着時に右眼前方に基板面が斜めに位置するように、プリズム３２と透明部材３１との間に設けられている。また、ＨＯＥ３３は、基板面に対して非平行な二種類の干渉縞からなるパターンを有する。

ＨＯＥ３３には、プリズム３２内を伝搬してきた第一光束が入射される。ＨＯＥ３３は、上記干渉縞パターンの回折作用によって、入射光束を右眼に向けて回折し反射する。これによって、接眼光学系３は、ユーザに所定の情報を仮想的に表示することが可能となる。

また、上記の通り、接眼光学系３は、前方景色を表す第二光束を透過可能に構成される。より具体的には、ＨＯＥ３３には、入射光束がＨＯＥ３３で屈折しないように補正プリズム（図示せず）が接合されている。したがって、ＨＯＥ３３は、第二光束に対しては単なる平板ガラスとして働き、これによって、ユーザは前方景色を視認可能となる。

以上から明らかなように、ユーザは、接眼光学系３を介して、第二光束が表す前方景色に第一景色が表す所定の情報を合成した映像を右眼で視認することになる。

ここで、再度、図１を参照する。透明部材５は、一般的な眼鏡の左側レンズに類似した形状を有しており、左側の蝶番２２Ｌの右端とブリッジ２３の左端との間に固定されている。この透明部材５は、ユーザの前方視界を確保にすべく、前方からの光束を透過可能に構成されている。

第一カメラ６１は、右側のテンプル２１Ｒの右側面上に固定的に取り付けられている。ここで、第一カメラ６１は、自身の光軸６１ａがＹ軸と略平行となるように、かつ、かつ標準ユーザの視点位置と同じＹ軸方向位置で撮像を行うように取り付けられる。第一カメラ６１は、自身の視野内の景色を表す画像を所定のフレームレートで撮影して、第一映像信号として操作器７に送信する。

第二カメラ６２は、右側の蝶番２２Ｒの上面に固定的に取り付けられている。ここで、装着時に第二カメラ６２が右眼を撮影可能となるように、第二カメラ６２の光軸６１ａは右眼の方向を向くように設計される。以上の第二カメラ６２は、必要に応じて、右眼の画像を所定のフレームレートで撮影して、第二映像信号として操作器７に送信する。

ここで、図１に加え図２を参照する。操作器７は、筐体に、ユーザによりマニュアル操作されるＨＭＩ（より具体的には、電源スイッチおよび操作ボタン等）７１を備えている。また、操作器７は、筐体内に、制御回路７２を備えている。この制御回路７２は、少なくとも、通信インターフェース（図示は通信ＩＦ）７３と、ＣＰＵ７４と、ＥＥＰＲＯＭ７５と、ＲＡＭ７６と、を備えている。

通信ＩＦ７３は、第一カメラ６１、第二カメラ６２およびＨＭＩ７１からの各種情報を受信してＣＰＵ７４に転送する。それに加えて、通信ＩＦ７３は、ＣＰＵ７４からの各種情報を投射装置４に送信する。

ＣＰＵ７４は、ＲＡＭ７６を作業領域として使いつつ、ＥＥＰＲＯＭ７５に予め格納されたプログラムに従って動作する。

ところで、「発明が解決しようとする課題」の欄における説明からも明らかな通り、個人差により装着時の右眼と接眼光学系３の間の距離が設計値と異なる場合、所定の情報が接眼光学系３における適切な位置に表示されない場合がある。

《個人差を考慮しない場合》
以下、個人差を考慮しない場合の制御回路７２の動作について、図４のフロー図を参照して説明する。この場合、ユーザの視点は本眼鏡型表示装置１ａに対し設計通りの位置にある。つまり、ユーザ視点は標準ユーザの視点と同じ位置にある。ここで、説明の便宜のため、図５に示すように、装着時の標準ユーザの視点位置を既知のＣとする。また、位置Ｃを通りかつ接眼光学系３の背面Ｐ３と略平行な面と、第一カメラ６１の光軸６１ａとの交点の位置をＡとする。また、対象物αの位置をＢとする。また、本眼鏡型表示装置１ａの各部から視点への距離を下記の通り例示する。
交点Ａから視点ＣへのＸ軸方向距離（設計値）ｄ（第一距離の一例）：５０ｍｍ
背面Ｐ３と視点Ｃとの間の距離（設計値）ｌ：２０ｍｍ

まず、ＣＰＵ７４は、接眼光学系３に表示すべき対象物α（図５を参照）を検出する（図４：Ｓ０１）。具体的には、ＣＰＵ７４は、第二カメラ６２の第二映像信号を１フレーム分取得すると共に、第一カメラ６１の第一映像信号を１フレーム分取得する。次に、ＣＰＵ７４は、周知の視線検出手法により、取得した第二映像信号（より具体的は、１フレーム）から視線ベクトルを検出する。次に、ＣＰＵ７４は、周知の注視点検出手法により、取得した第一映像信号が表す景色（つまり、画像）と、検出した視線ベクトルとが交差する注視点を特定する。次に、ＣＰＵ７４は、第一映像信号が表す景色において、特定した注視点に映っている対象物（つまり、被写体）αを特定すると共に、注視点の位置を対象物αの位置Ｂとして特定する。

ここで、図５において、点Ｃを通りかつ線分ＡＢと平行な直線と、接眼光学系３の背面Ｐ３との交点をＤとし、線分ＣＢと背面Ｐ３との交点をＥとする。△ＡＢＣと△ＣＤＥにおいて、平行線に対する錯角の関係から、∠ＣＤＥ＝∠ＢＡＣの関係と、∠ＡＣＢ＝∠ＤＥＣの関係が成り立つ。ここで、第一カメラ６１を基準とする対象物αの方位と、視点Ｃを基準とする点Ｄの方位とは実質的に同じである。対象物αが非常に遠くにある場合には、第一映像信号から抽出した対象物αを接眼光学系３の位置Ｄに表示しても、ユーザは違和を感じない。しかし、対象物αが相対的に近くにある場合には、ユーザが視認する対象物αは位置Ｄの方向には存在しないため、図５上段に示すように、第一映像信号から抽出した対象物αを位置Ｄに表示すると、ユーザは違和を感じる。

かかる違和は、第一カメラ６１の位置とユーザの視点位置との視差に起因する。この視差を補正するために、ＣＰＵ７４は、第一映像信号から抽出した対象物αを点Ｅに表示するよう決定する。この点Ｅを表示位置とすると、図５下段に示すように、ユーザを基準とする実際の対象物αの方位と、ユーザを基準とする表示位置Ｅの方位とが一致するため、ユーザの違和感を低減できる。

点Ｅの位置を求めるために、ＣＰＵ７４は、Ｓ０１で検出した対象物αから線分ＡＣまでの光軸方向距離Ｌ（第二距離の一例）を検出し（図４：Ｓ０２）、その後、Ｌ＞Ｌｒｅｆを満たすか否かを判断する（図４：Ｓ０３）。このＬｒｅｆは、対象物αが遠くにあるか否かを評価するための基準値である。

Ｓ０３でＹｅｓと判断した場合、ＣＰＵ７４は交点Ｄの位置を求めて、第一映像信号から特定した対象物αの表示位置と決定する（図４：Ｓ０４）。

それに対し、Ｓ０３でＮｏと判断した場合、ＣＰＵ７４は、交点Ｅの位置を求めて、求めた位置を、第一映像信号から抽出した対象物αの表示位置と決定する（図４：Ｓ０５）。より具体的には、交点Ｄと交点Ｅとの間の距離を視差ａとすると、ａは次式（１）より算出される。
ａ＝ｌ×ｄ／Ｌ …（１）

ＣＰＵ７４はさらに、Ｓ０４と同様に交点Ｄの位置を求めた後、Ｘ軸正方向側に視差ａだけ平行移動させて、点Ｅの位置を求める。ここで、本実施形態では、ｄ＝５０ｍｍで、ｌ＝２０ｍｍである。また、Ｓ０２で得られたＬがＬ＝４００ｍｍとすると、ａは、２．５ｍｍとなる。

Ｓ０４またはＳ０５の実行後、ＣＰＵ７４は、下記の表示制御を実行する（図４：Ｓ０６）。具体的には、ＣＰＵ７４は、第一映像信号から抽出した対象物αを、Ｓ０４またはＳ０５で決定した位置Ｄまたは位置Ｅに表示可能な画像情報を、所定の情報の一例として生成する。ＣＰＵ７４は、生成した所定の情報を、投射装置４の透過型表示パネルに通信ＩＦ７３を介して送信する。投射装置４では上記のような処理を実行する。その結果、接眼光学系３は、第二光束に第一光束を合成した第三光束を眼に向けて出射する。これにより、ユーザは、接眼光学系３を介して、前方景色に所定の情報を合成した画像を視認する。

《個人差を考慮する場合》
次に、個人差を考慮する場合の制御回路７２の動作について説明する。この場合、視点は設計通りの位置にないため、上述の視差ａを適用することは好ましくない。よって、制御回路７２は、所定のタイミング（例えば、ユーザが装着した時やユーザがＨＭＩ７１に対し所定の操作をした場合）で、図６のフロー図の手順に従って、第一距離ｄ’を求める。

まず、ＣＰＵ７４は、図７上段に示すように、背面Ｐ３上の第一位置Ｆに第一目印β１を表示可能な第一画像信号を生成して、通信ＩＦ７３を介して投射装置４に送信する。投射装置４は、第一画像信号を受信すると、背面Ｐ３上の第一位置Ｆに第一目印β１を表示する。つまり、投射装置４は、第一位置Ｆに第一目印β１を表した第四光束をユーザに出射し、これによって、注視することをユーザに促す。ユーザが注視した状態で、ＣＰＵ７４は、第二カメラ６２の第二映像信号を１フレーム分取得し、その後、周知の視線検出手法により、取得した第二映像信号（より具体的は、１フレーム）から、ユーザの現在の視点と第一目印β１とを結ぶ第一視線ベクトルを検出する（図６：Ｓ１１）。

次に、接眼光学系３は、上記と同様に、ＣＰＵ７４の制御下で、図７中段に示すように、第二位置Ｇに第二目印γ１を表した第四光束をユーザに出射し、これによって、第二目印γ１を注視するようユーザに促す。ここで、第二位置Ｇは、好ましくは、第一位置ＦからＸ軸方向に平行移動した位置である。ユーザが注視した状態で、ＣＰＵ７４は、第二カメラ６２の第二映像信号から、ユーザの現在の視点から第二目印γ１に向かう第二視線ベクトルを検出する（図６：Ｓ１２）。ここで、第一視線ベクトルおよび第二視線ベクトルの方向の基準は適宜適切に選択されれば構わない。本実施形態では、第一視線ベクトルおよび第二視線ベクトルの方向の基準は線分ＦＧとする。

次に、ＣＰＵ７４は、Ｓ１１およびＳ１２で求めた二つの視線ベクトルの交点Ｈの位置を求め、その後、図７下段に示すように、求めた交点Ｈの位置から第一カメラ６１の光軸６１ａまでの距離を第一距離（測定値）ｄ’として求める（図６：Ｓ１３）。ここで、交点Ｈは、ユーザが真正面を視た時の視点位置と実質的に均等である。また、第一距離ｄ’は、交点Ｈから光軸６１ａに下した垂線における、交点Ｈからこの垂線の足までの距離である。

ＣＰＵ７４は、Ｓ１３で求めた第一距離ｄ’をＥＥＰＲＯＭ７５に格納し（図６：Ｓ１４）、図６の処理を終了する。

図６の終了後、ＣＰＵ７４は、図８のフロー図の手順に従って、所定の情報を接眼光学系３に表示する。以下、図８の処理手順を詳細に説明する。この場合、視点位置は、図９に示すように交点Ｈにあり、交点Ｈから交点Ａまでの第一距離ｄ’は上述から明らかなようにＥＥＰＲＯＭ７５に格納されている。また、後述の対象物αの位置を、便宜上、上述同様にＢとする。また、本眼鏡型表示装置１ａの各部に対する視点への距離を下記の通り例示する。
交点Ａから交点ＨへのＸ軸方向距離（測定値）ｄ’（第一距離）：６０ｍｍ
背面Ｐ３と交点Ｈとの間の第三距離（測定値）ｌ：２０ｍｍ

まず、ＣＰＵ７４は、図４のＳ０１〜Ｓ０３と同様の処理を行う（図８：Ｓ２１〜Ｓ２３）。

Ｓ２３でＹｅｓと判断した場合、ＣＰＵ７４は、図４のＳ０４と同様の処理を行って、対象物αの表示位置Ｄを決定する（図８：Ｓ２４）。

Ｓ２３でＮｏと判断した場合、ＣＰＵ７４は、ＥＥＰＲＯＭ７５に第一距離（測定値）ｄ’が格納されているか否かを確認する（図８：Ｓ２５）。

Ｓ２５でＮｏと判断した場合、ＣＰＵ７４は、図４のＳ０４と同様にして、表示位置Ｄを決定する（図８：Ｓ２６）。

Ｓ２５でＹｅｓと判断した場合、ＣＰＵ７４は、Ｓ２７を実行する。Ｓ２７において、ＣＰＵ７４は、まず、ＥＥＰＲＯＭ７５から第一距離（測定値）ｄ’を読み出して、上式（１）中のｄをｄ’に書き換えて、次式（２）に変更する。
ａ’＝ｌ×ｄ’／Ｌ …（２）
ＣＰＵ７４はさらに、上式（２）にｌ，ｄ’およびＬを代入して個人差を考慮した視差ａ’を近似的に求める。

ＣＰＵ７４はさらに、点Ｄの位置を求め、求めた点Ｄの位置からＸ軸正方向側に視差ａ’だけ平行移動させて、点Ｅ’の位置を求める（図８：Ｓ２７）。ここで、本実施形態では、ｄ’＝６０ｍｍで、ｌ＝２０ｍｍである。また、Ｓ２２で得られたＬを４００ｍｍとすると、ａ’は、３．００ｍｍとなる。

Ｓ２４，Ｓ２６またはＳ２７の実行後、ＣＰＵ７４は、下記の表示制御を実行する（図８：Ｓ２８）。具体的には、ＣＰＵ７４は、第一映像信号から抽出した対象物αを、Ｓ２４，Ｓ２６またはＳ２７で決定した点Ｄまたは点Ｅ’の位置に表示可能な画像情報を、所定の情報の一例として生成する。ＣＰＵ７４は、生成した所定の情報を、投射装置４に通信ＩＦ７３を介して送信する。投射装置４では上記のような処理を実行する。その結果、接眼光学系３は、第二光束に第一光束を合成した第三光束を眼に向けて出射する。これにより、ユーザは、接眼光学系３を介して、前方景色に所定の情報を合成した画像を視認する。ここで、いずれの場合においても、所定の情報は、前方景色における対象物の殆ど同じ位置か近接して表示される。

《効果》
以上説明した通り、本眼鏡型表示装置１ａによれば、個人差によりユーザの視点位置が設計値からＸ軸方向にずれたとしても、図６の処理により、第一距離（測定値）ｄ’が算出される。そして、図８の処理により、第一距離（測定値）ｄ’を用いて視差ａ’が算出される。これにより、ユーザ個々の視点位置に対応して所定の情報の表示位置をより好ましいものとすることができる。

また、本眼鏡型表示装置１ａによれば、第一カメラ６１の光軸６１ａは、標準ユーザが真正面を視た時の視線方向と略平行となっている。これによって、光軸６１ａと視線とのずれに起因する誤差を抑えて、より正しい位置に所定の情報を表示させることが可能となる。

また、本眼鏡型表示装置１ａによれば、図６の処理を実行することにより、ユーザの現在の視点と第一カメラ６１との間の第一距離ｄ’を測定することが可能となる。

《第一変形例》
なお、接眼光学系３は、時間軸上で、第一位置への第一目印β１の表示と、第二位置への第二目印γ１の表示との間に、第三位置に第三目印を表示させても構わない。ここで、第三位置は、位置的に、第一位置および第二位置の間であることが好ましい。これにより、目印はあたかも第一位置から第三位置を経由して第二位置に移動するように視認される。このようにして、制御回路７２は、第一位置から第二位置へのユーザの視線移動を促すことが可能となるため、より正確に第一距離ｄ’を検出することが可能となる。

《第二変形例》
また、上記実施形態では、第一目印および第二目印は単に接眼光学系３に表示されるとして説明した。しかし、第一目印および第二目印は、より目立つように、図１０に例示するように、時間軸上で点灯・消灯を繰り返しても構わない。また、ある点灯時と別の点灯時に、第一目印および第二目印は輝度を変えて表示されても構わない。以上のような表示制御により、ユーザへの注視をより効果的に促すことが可能となる。

《第三変形例》
次に、第三変形例に係る眼鏡型表示装置１ｂについて、図１１および図１２を参照して説明する。図１１，図１２において、眼鏡型表示装置１ｂは、図１，図２に示す眼鏡型表示装置１ａと比較すると、構成面では、操作検出部８１をさらに備える点で異なり、処理面では、第一距離ｄ’を求める処理の一部が異なる点で異なる。それ以外に、両眼鏡型表示装置１ａ，１ｂの間に相違点は無い。それゆえ、図１１，図１２において、図１，図２の構成に相当するものには同一参照符号を付け、それぞれの説明を省略する。

操作検出部８１は、例えば、ユーザによる所定の動作を検出するセンサであって、いわゆるタッチスクリーンまたは近接センサにより実現される。かかる操作検出部８１は、本変形例の説明では、第一カメラ６１の周面上に取り付けられる。ユーザが操作検出部８１に指を近接させたり、操作検出部８１を指で触れたりすると、操作検出部８１は、ユーザが所定の動作を行ったことを示す信号を制御回路７２に送信する。

次に、図１３のフロー図を参照して、眼鏡型表示装置１ｂによる第一距離ｄ’を求める際の動作について説明する。

図１３において、接眼光学系３は、ＣＰＵ７４の制御下で、図１４上段に示すように、前述の第一位置Ｆ周辺に第一目印β２を表した第四光束をユーザに出射し、これによって、第一目印β２を注視するよう促す。第一目印β２は、ユーザの視線がさほど移動しない範囲内（第一位置Ｆの周辺）で移動するよう表示される。ここで、第一目印β２の一部が移動しても良いし、その全てが移動しても構わない。

ユーザは、第一目印β２を注視すると、操作検出部８１に対し所定の動作を行う。これに応答して、操作検出部８１は、検出信号を制御回路７２に送信する。その後、ＣＰＵ７４は、ユーザが注視した状態で、周知の視線検出手法により、第二カメラ６２の第二映像信号から、ユーザ視点から第一目印β２に向かう第一視線ベクトルを検出する（図１３：Ｓ３１）。

次に、接眼光学系３は、ＣＰＵ７４の制御下で、図１４下段に示すように、前述の第二位置Ｇ周辺に第二目印γ２を表した第四光束をユーザに出射し、これによって、第二目印γ２を注視するようユーザに促す。ユーザが注視した状態で、ＣＰＵ７４は、第二カメラ６２の第二映像信号から、ユーザの現在の視点から第二目印γ２に向かう第二視線ベクトルを検出する（図１３：Ｓ３２）。

以降、ＣＰＵ７４は、図６のＳ１３，Ｓ１４と同様にして第一距離ｄ’を測定し、ＥＥＰＲＯＭ７５に格納する（図１３：Ｓ３３，Ｓ３４）。

以上説明したように、本変形例によれば、眼鏡型表示装置１ｂが操作検出部８１を備え、制御回路７２が操作検出部８１の検出信号を受信してから、第一視線および第二視線を検出することで、より正確な第一視線および第二視線を検出することが可能となる。

《第四変形例》
なお、上記第三変形例では、第一目印β２および第二目印γ２は背面Ｐ３上で移動するとして説明した。しかし、これに限らず、図１５に示すように、第一目印β２および第二目印γ２の色を時間経過により変化させても構わない。より具体的には、色は連続的または非連続的に変化させられる。また、他にも、図１６に示すように、第一目印β２および第二目印γ２の形状を時間経過により変化させても構わない。さらに他にも、第一目印β２および第二目印γ２のそれぞれについて濃度または輝度を変化させても構わない。以上のような表示制御により、ユーザへの注視をより効果的に促すことが可能となる。

《付記１》
以上の説明では、所定の情報は、第一カメラ６１から得られる第一画像信号から得られる対象物αであるとして説明した。しかし、これに限らず、所定の情報は、前述の通り、制御回路７２により生成された文字情報（詳細は後述）であっても構わない。ここで、文字情報の生成手法に関しては、例えば特開２００６−３０９３１４号公報に詳しく記載されているため、ここでは、これ以上の説明を控える。

《付記２》
また、以上の説明では、第一目印および第二目印に関し、複数の表示制御について説明した。第一目印および第二目印の表示制御に関しては、上記複数の表示制御のうち、少なくとも二種類以上を組み合わせても構わない。

《付記３》
また、図６および図１３の処理において、制御回路７２は、検出した第一視線ベクトルおよび第二視線ベクトルが一定時間以上、第一目印および第二目印の方向に留まっているか否かを判断し、留まっていると判断した場合に、検出した第一視線ベクトルおよび第二視線ベクトルを第一距離ｄ’の算出に用いるものと確定するようにしても構わない。これにより、さらに正確に第一距離ｄ’を求めることが可能となる。

《付記４》
以上の説明では、ＨＭＩ７１および制御回路７２は、投射装置４と有線により接続された操作器７に備わるとして説明した。しかし、これに限らず、ＨＭＩ７１および制御回路７２は投射装置４に備わっていても構わない。

《付記５》
以上の説明では、接眼光学系３は、ＨＯＥ３３を備えるとして説明した。しかし、これに限らず、接眼光学系３は、ＨＯＥ３３に代えてハーフミラーにより、ＨＯＥ３３と同等の機能を実現しても構わない。

《第二実施形態》
次に、第二実施形態に係る眼鏡型表示装置１ｃについて、図１７〜図２０を参照して説明する。まず、本眼鏡型表示装置１ｃは、前述の眼鏡型表示装置１ａと比較すると、構成面で相違点は無く、第一距離ｄ’に加え、ユーザ視点から背面Ｐ３へのＹ軸方向距離である第三距離ｌ’を考慮した視差ａ”を算出する点で相違する。それ以外に相違点は無いので、以下の説明では、図１〜図３を援用する。

《個人差を考慮しない場合》
本眼鏡型表示装置１ｃは、個人差を考慮しない場合、前述の眼鏡型表示装置１ａと同様の処理を行うため、その説明を控える。

《個人差を考慮する場合》
次に、個人差を考慮する場合の制御回路７２の動作について説明する。この場合、視点は設計通りの位置にないため、前述の視差ａを適用することは好ましくない。よって、制御回路７２は、所定のタイミング（例えば、ユーザが装着した時やユーザがＨＭＩ７１に対し所定の操作をした場合）で、図１７のフロー図の手順に従って、第一距離ｄ’に加え、第三距離ｌ’を求める。

まず、眼鏡型表示装置１ｃでは、図６のＳ１１〜Ｓ１３と同様にして、第一距離（測定値）ｄ’求める（図１７：Ｓ４１〜Ｓ４３）。その後、図１８に示すように、求めた交点Ｈの位置から背面Ｐ３までの距離を第三距離（測定値）ｌ’として求める（図１７：Ｓ４４）。ここで、第三距離ｌ’は、交点Ｈから平面Ｐ３に下した垂線における、交点Ｈからこの垂線の足までの距離である。

ＣＰＵ７４は、Ｓ４３で求めた第一距離ｄ’およびＳ４４で求めた第三距離ｌ’をＥＥＰＲＯＭ７５に格納し（図６：Ｓ４５）、図１７の処理を終了する。

図１７の終了後、ＣＰＵ７４は、図１９のフロー図の手順に従って、所定の情報を接眼光学系３に表示する。以下、図１９の処理手順を詳細に説明する。ここで、視点位置は、図２０に示すように交点Ｈにある。また、上述から明らかなように、交点Ｈから交点Ａまでの第一距離ｄ’と、交点Ｈから背面Ｐ３までの第三距離ｌ’とはＥＥＰＲＯＭ７５に格納されている。また、後述の対象物αの位置を、便宜上、上述同様にＢとする。また、本眼鏡型表示装置１ｃの各部に対する視点への距離を下記の通り例示する。
交点Ａから交点Ｈへの第一距離（測定値）ｄ’：６０ｍｍ
背面Ｐ３と交点Ｈとの間の第三距離（測定値）ｌ’：２６ｍｍ

まず、ＣＰＵ７４は、図４のＳ０１〜Ｓ０３と同様の処理を行う（図１９：Ｓ５１〜Ｓ５３）。

Ｓ５３でＹｅｓと判断した場合、ＣＰＵ７４は、図４のＳ０４と同様の処理を行って、対象物αの表示位置Ｄを決定する（図１９：Ｓ５４）。

Ｓ５３でＮｏと判断した場合、ＣＰＵ７４は、ＥＥＰＲＯＭ７５に第一距離（測定値）ｄ’および第三距離（測定値）ｌ’が格納されているか否かを確認する（図１９：Ｓ５５）。

Ｓ５５でＮｏと判断した場合、ＣＰＵ７４は、図４のＳ０４と同様にして、表示位置Ｄを決定する（図１９：Ｓ５６）。

Ｓ５５でＹｅｓと判断した場合、ＣＰＵ７４は、Ｓ５７を実行する。Ｓ５７において、ＣＰＵ７４は、まず、ＥＥＰＲＯＭ７５から第一距離（測定値）ｄ’および第三距離（測定値）ｌ’を読み出して、上式（１）中のｄをｄ’に、ｌをｌ’に書き換えて、次式（３）に変更する。
ａ”＝ｌ’×ｄ’／Ｌ …（３）
ＣＰＵ７４はさらに、上式（３）にｌ’，ｄ’およびＬを代入して個人差を考慮した視差ａ”を近似的に求める。

ＣＰＵ７４はさらに、点Ｄの位置を求め、求めた点Ｄの位置からＸ軸正方向側に視差ａ”だけ平行移動させて、点Ｅ”の位置を求める（図１９：Ｓ５７）。ここで、本実施形態では、ｄ’＝６０ｍｍで、ｌ’＝２６ｍｍである。また、Ｓ５２で得られたＬを４００ｍｍとすると、ａ”は、３．９ｍｍとなる。

Ｓ５４，Ｓ５６またはＳ５７の実行後、ＣＰＵ７４は、図８のＳ２８と同様の表示制御を実行する（図１９：Ｓ５８）。

《効果》
以上説明した通り、本眼鏡型表示装置１ｃによれば、個人差によりユーザの視点位置が設計値からＸ軸方向およびＹ軸方向の両方向にずれたとしても、図１７の処理により、第一距離（測定値）ｄ’および第三距離（測定値）ｌ’が算出される。そして、図１９の処理により、第一距離（測定値）ｄ’および第三距離（測定値）ｌ’を用いて視差ａ”が算出される。この視差ａ”に基づき表示位置を定めることにより、ユーザ個々の視点位置に対応して所定の情報の表示位置をより好ましいものとすることができる。

本発明に係る眼鏡型表示装置は、前方景色においてより適切な位置に所定の情報を重畳可能であり、ウェアラブルコンピュータ等に好適である。

１ａ，１ｂ，１ｃ 眼鏡型表示装置
２ フレーム
３ 接眼光学系
４ 投射装置
５ 透明部材
６１ 第一カメラ
６２ 第二カメラ
７ 操作器
７２ 制御回路
８１ 操作検出部

Claims (13)

1. ユーザの顔に装着可能に構成されたフレームと、
   前記ユーザ前方を撮影可能に前記フレームに設けられた第一撮影装置と、
   所定の情報を表す第一光束を投射可能に前記フレームに設けられた投射装置と、
   装着時に前記ユーザの眼前に配置可能に前記フレームに設けられた接眼光学系であって、前記投射装置からの第一光束と、前記ユーザ前方の景色を表す第二光束とが入射されると、前記景色上に前記所定の情報が重畳された第三光束を前記ユーザの眼に向けて出射可能に構成された接眼光学系と、
   前記ユーザの眼と前記第一撮影装置との間の距離を第一距離として導出し、導出した第一距離に基づき、前記景色上における前記所定の情報が重畳される位置を調整する制御回路と、を備え、
   前記接眼光学系は、前記第一目印および前記第二目印を第一位置および第二位置に表す第四光束および第五光束を前記ユーザの眼に向けて出射し、
   前記制御回路は、前記第四光束および前記第五光束の出射後に前記ユーザの第一視線および第二視線を検出し、検出した第一視線および第二視線に基づき、前記ユーザの眼と前記第一撮影装置との間の第一距離を導出する、眼鏡型表示装置。
2. 前記制御回路は、前記第一距離に加え、前記第一撮影装置および前記ユーザの注視点との間の光軸方向距離である第二距離と、前記第一撮影装置および前記ユーザの眼を結ぶ直線に対する前記第一撮影装置および前記注視点を結ぶ直線の角度と、前記第一撮影装置および前記ユーザの眼の間の距離とから、前記景色上における前記所定の情報が重畳される位置を調整する、請求項１に記載の眼鏡型表示装置。
3. 装着時に、前記第一撮影装置の光軸と、前記ユーザの真正面への視線とは略平行となっている、請求項１または２に記載の眼鏡型表示装置。
4. 前記接眼光学系は、前記第一位置および前記第二位置の間の第三位置に、第三目印を表す第六光束を前記ユーザの眼に向けて出射し、これによって、目印が前記第一位置から前記第三位置を経由して前記第二位置まで連続的に移動するようユーザによって視認される、請求項１〜３のいずれかに記載の眼鏡型表示装置。
5. 前記接眼光学系は、前記第一目印および／または前記第二目印を点滅するよう第一位置および／または第二位置に表す第四光束および第五光束を出射する、請求項１〜４のいずれかに記載の眼鏡型表示装置。
6. 前記接眼光学系は、前記第一目印および／または前記第二目印が第一位置および／または第二位置周辺で動くような第四光束および第五光束を出射する、請求項１〜４のいずれかに記載の眼鏡型表示装置。
7. 前記接眼光学系は、前記第一目印および／または前記第二目印の色が時間により変化する第四光束および第五光束を出射する、請求項１〜４のいずれかに記載の眼鏡型表示装置。
8. 前記接眼光学系は、前記第一目印および／または前記第二目印の形状が時間により変化する第四光束および第五光束を出射する、請求項１〜４のいずれかに記載の眼鏡型表示装置。
9. 前記接眼光学系が第四光束および第五光束を出射後に、ユーザによる所定の動作を検出可能に構成された操作検出部を、さらに備える請求項１〜８のいずれかに記載の眼鏡型表示装置。
10. 前記制御回路は、前記第四光束および前記第五光束の出射後所定時間の間、前記第一位置周辺および前記第二位置周辺に、前記ユーザの第一視線および第二視線が留まっているか否かを判断し、留まっていると判断した場合に、前記ユーザの第一視線および第二視線を検出する、請求項１〜９のいずれかに記載の眼鏡型表示装置。
11. 前記第一位置から前記第三位置を経由して前記第二位置まで目印が連続的に移動するようユーザによって視認され、
    前記制御回路は、前記第四光束および前記第五光束の出射後所定時間の間、前記第一位置周辺および前記第二位置周辺に、前記ユーザの第一視線および第二視線が留まっているか否かを判断し、留まっていると判断した場合に、前記ユーザの第一視線および第二視線を検出する、請求項４に記載の眼鏡型表示装置。
12. 前記制御回路は、前記接眼光学系における所定面に対するユーザの視線の角度を第一視線および第二視線として検出する、請求項１〜１１のいずれかに記載の眼鏡型表示装置。
13. 前記制御回路は、前記ユーザの眼と前記接眼光学系との間の距離を第三距離として導出し、前記第一距離に加えて、導出した第三距離にも基づいて前記景色上における前記所定の情報が重畳される位置を調整する、請求項１〜１２のいずれかに記載の眼鏡型表示装置。
    
    

Images