JP6231545B2 - 画像投影装置 - Google Patents

Description

本発明は、画像投影装置に関し、例えばユーザの網膜に画像を直接投影する画像投影装置に関する。

光源から出射された光線を用いユーザの網膜に画像を直接投影するヘッドマウントディスプレイ（ＨＭＤ）等の画像投影装置が知られている（特許文献１）。このような画像投影装置では、マックスウエル視といわれる方法が用いられる。マックスウエル視では、画像を形成する光線を瞳孔近傍で集束させ、網膜に画像を投影する。

使用者が顔を動かして視線を動かしたとき表示領域を移動させることが知られている（特許文献２）。装着者の姿勢の変化に応じて、画面の位置の調整を行なうことが知られている（特許文献３）。瞳孔が移動したときに、瞳孔に画像光が入射するように調整することが知られている（特許文献４）。

国際公開第２０１４／１９２４７９号 特開平７−９５４９８号公報 特開２０１３−２２５０４２号公報 特開２０１１−７５９５６号公報

ユーザが顔に対し眼球を動かしたときに、網膜に画像を投影しないと、ユーザに違和感を与えてしまう。

本発明は、上記課題に鑑みなされたものであり、ユーザの網膜に画像を適切に投影することを目的とする。

本発明は、画像を形成する画像用光線をユーザの眼球の瞳孔に照射することにより、前記眼球の網膜に前記画像を投影する投影部と、前記ユーザの顔に対し前記瞳孔の動いた方向を検出する検出部と、検出された前記瞳孔の動いた方向に基づき、前記瞳孔に前記画像用光線が照射され、かつ前記網膜上の座標系において前記瞳孔が動く前に前記画像が投影された位置に対し前記瞳孔の動いた方向と同じ方向に前記画像が移動するように前記投影部を制御する制御部と、を具備し、前記ユーザの頭部に固定されることを特徴とする画像投影装置である。

上記構成において、前記制御部は、前記眼球において前記画像用光線を照射する位置を前記瞳孔が動いた方向に移動させ、前記画像用光線が前記眼球に入射する方向を前記瞳孔が動いた方向に傾斜させることにより、前記瞳孔に前記画像用光線を照射させる構成とすることができる。

上記構成によれば、前記制御部は、前記瞳孔が動く前の前記画像の中心位置が照射されている前記網膜内の位置に、前記瞳孔が動くことにより前記ユーザの視線の先となる前記瞳孔が動く前の前記画像内の位置が照射されるように前記投影部を制御する構成とすることができる。

上記構成において、前記投影部は、前記画像用光線を出射する光源と、前記光源が出射する光線を走査し、前記光線が走査可能な第１範囲より小さい第２範囲に前記画像が形成されるように前記画像用光線を走査する走査部と、を備え、前記制御部は、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と同じ方向に前記第２範囲が移動するように前記投影部を制御する構成とすることができる。

上記構成において、前記投影部は、前記眼球の正面に設けられ、前記走査部が走査した前記画像用光線を前記瞳孔に反射するミラーを備える構成とすることができる。

上記構成において、前記投影部は、第１範囲の画像データのうち前記第１範囲より小さい第２範囲の画像データにより前記画像を形成し、前記制御部は、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と同じ方向に前記第２範囲が移動するように前記投影部を制御する構成とすることができる。

上記構成において、前記投影部は、前記ユーザの前記眼球において前記画像用光線が照射される第１領域から離れた第２領域に前記画像用光線と同じ光源から出射された検出用光線を照射し、前記検出部は、前記検出用光線が前記ユーザの前記眼球で反射した反射光の検出結果に基づき前記ユーザの顔に対し前記瞳孔の動いた方向を検出する構成とすることができる。

上記構成において、前記投影部は、互いに離れた位置に複数の検出用光線を出射し、前記制御部は、前記複数の検出用光線に対応し予め定めた前記画像の移動方向を有し、前記複数の検出用光線のうち前記眼球で反射されない検出用光線に対応する前記画像の移動方向に前記画像が移動するように前記投影部を制御する構成とすることができる。

上記構成において、前記制御部は、前記複数の検出用光線に対応し予め定めた前記画像の移動方向および移動量を有し、前記複数の検出用光線のうち前記眼球で反射されない検出用光線に対応する前記画像の移動方向および移動量に前記画像が移動するように前記投影部を制御する構成とすることができる。

本発明によれば、ユーザの網膜に画像を適切に統制することができる。

図１は、実施例１に係る画像投影装置の上視図である。 図２は、図１の投射部近傍を拡大した図である。 図３（ａ）は、第１ミラーの振動を示す図、図３（ｂ）は、画像用光線と検出用光線の出射タイミングを示すタイミングチャートである。 図４は、検出用光線の照射位置を示す眼球の正面図である。 図５は、反射光を検出する検出タイミングを示すタイミングチャートである。 図６（ａ）および図６（ｂ）は、投射部および眼球の上視図である。 図７は、実施例１における制御部の動作を示すフローチャートである。 図８（ａ）から図８（ｄ）は、実施例１における眼球の動きと画像用光線の制御を示す眼球の上視図である。 図９（ａ）および図９（ｂ）は、実施例１におけるユーザが視認する座標系における網膜に投影された画像を示す図である。 図１０（ａ）および図１０（ｂ）は、画像用光線と検出用光線の眼球への投射位置の変化を説明する図である。 図１１は、画像用光線と検出用光線の眼球への投射位置の変化を説明する図である。 図１２（ａ）および図１２（ｂ）は、実施例３における眼球の動きと画像用光線の制御を示す眼球の上視図である。 図１３は、実施例３における第１ミラーの走査の範囲を示す図である。 図１４（ａ）および図１４（ｂ）は、実施例４における眼球の動きと画像用光線の制御を示す眼球の上視図である。 図１５は、実施例４における画像データ範囲を示す図である。 図１６（ａ）は、実施例５において制御部が有するテーブルを示す図、図１６（ｂ）は、制御部および検出部の動作を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施例について説明する。

図１は、実施例１に係る画像投影装置の上視図である。図２は、図１の投射部近傍を拡大した図である。なお、実施例１の画像投影装置１００は、ユーザに画像を視認させるための画像用光線が当該ユーザの眼球３６の網膜３８に直接投射される、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。

実施例１の画像投影装置１００は、図１のように、光検出器１８、制御部２０、投影部２４および検出部２６を備える。投影部２４は、光源１２、第１ミラー１４、第２ミラー１５、第３ミラー１７、第４ミラー４４、投射部１６、位置調整部２２を備える。光源１２は、メガネ型フレームのツル３０に配置されている。光源１２は、制御部２０の指示の下、例えば単一又は複数の波長の光線３４を出射する。この光線３４には、ユーザの眼球３６の網膜３８に画像を投影するための画像用光線と、ユーザの眼球３６の瞳孔４０の位置及びユーザの瞼の開閉の少なくとも一方を検出するための検出用光線と、が含まれる。検出用光線は、画像用光線と同じ光源１２から出射されることから、画像用光線と同じく可視光である。光源１２は、例えば赤色レーザ光（波長：６１０ｎｍ〜６６０ｎｍ程度）、緑色レーザ光（波長：５１５ｎｍ〜５４０ｎｍ程度）、及び青色レーザ光（波長：４４０ｎｍ〜４８０ｎｍ程度）を出射する。赤色、緑色、及び青色レーザ光を出射する光源１２として、例えばＲＧＢ（赤・緑・青）それぞれのレーザダイオードチップと３色合成デバイスとマイクロコリメートレンズとが集積された光源が挙げられる。

第１ミラー１４は、メガネ型フレームのツル３０に配置されている。第１ミラー１４は、光源１２から出射された画像用光線を、水平方向及び垂直方向に走査する。また、第１ミラー１４は、光源１２から出射された検出用光線を反射する。第１ミラー１４は、例えばＭＥＭＳ（Micro Electro Mechanical System）ミラーである。なお、光源１２から出射された光線３４は、例えば第２ミラー１５及び第３ミラー１７で反射されて、第１ミラー１４に入射する。

図３（ａ）は、第１ミラーの振動を示す図である。画像用光線と検出用光線とについて説明する。第１ミラー１４によって画像用光線を走査して網膜３８に画像を投影する方法として、画像の左上から右下まで光を高速に走査して画像を表示する方法（例えばラスタースキャン）がある。図３（ａ）のように、第１ミラー１４は、画像用光線３４ａを走査するために、網膜３８に投影する画像の範囲（図３（ａ）の破線範囲）よりも大きく、水平方向（第１方向）と垂直方向（第１方向に交差する第２方向）とに振動する。第１ミラー１４の振動を符号５０で示している。

第１ミラー１４が大きく振れた箇所で画像用光線３４ａを走査して網膜３８に画像を投影する場合、画像の歪みが大きくなることから、画像用光線３４ａは、第１ミラー１４の振れが小さい箇所で走査される。一方、検出用光線３４ｂは、第１ミラー１４の振動５０のうち、画像用光線３４ａが走査されないタイミングで、第１ミラー１４に入射する。言い換えると、光源１２は、第１ミラー１４の振動５０において、網膜３８に投影する画像の範囲に相当する期間では画像用光線３４ａを第１ミラー１４に出射し、画像の範囲外の時間において検出用光線３４ｂを第１ミラー１４に出射する。

図３（ｂ）は、画像用光線と検出用光線の出射タイミングを示すタイミングチャートであり、第１ミラー１４が図３（ａ）の点Ａから点Ｂまで振動した場合における画像用光線３４ａと検出用光線３４ｂの光源１２からの出射タイミングである。なお、検出用光線３４ｂの光強度は、画像用光線３４ａと同じであってもよいし、異なっていてもよい。検出用光線３４ｂの光強度は、後述する光検出器１８で反射光４６が検出できる程度の光強度であればよい。

第１ミラー１４には、１又は複数の検出用光線３４ｂが入射される。図３（ａ）及び図３（ｂ）では、６つの検出用光線３４ｂが第１ミラー１４に入射される場合を例に示している。検出用光線３４ｂは、単一波長の光線でよく、網膜３８に投影する画像の１画素又は数画素相当の光線でよい。なお、図３（ａ）では、画像用光線３４ａは矩形状に走査される場合を例に示しているが、この場合に限られず、台形状に走査される場合など、その他の場合でもよい。

図１及び図２のように、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検出用光線３４ｂは、第４ミラー４４によって、メガネ型フレームのレンズ３２に向かって反射される。投射部１６が、レンズ３２の眼球３６側の面に配置されているため、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検出用光線３４ｂは、投射部１６に入射する。投射部１６は、画像用光線３４ａが入射される第１領域１６ａでは、自由曲面又は自由曲面と回折面の合成構造をしたハーフミラーとなっている。これにより、投射部１６に入射された画像用光線３４ａは、眼球３６の瞳孔４０近傍で収束した後に網膜３８に投射される。よって、ユーザは、画像用光線３４ａで形成される画像を認識することができると共に、外界像をシースルーで視認することができる。一方、投射部１６は、検出用光線３４ｂが入射される第２領域１６ｂでは、第１領域１６ａと光学的に不連続な形状をしたハーフミラーとなっている。これにより、検出用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射される場合に、眼球３６の虹彩４２に投射される。このように、画像用光線３４ａが投射される眼球３６の表面領域を第１表面領域３６ａとした場合に、検出用光線３４ｂは、眼球３６の第１表面領域３６ａから離れた第２表面領域３６ｂに投射される。

図４は、検出用光線の照射位置を示す眼球の正面図であり、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射について説明する図である。図４のように、検出用光線３４ｂは、画像用光線３４ａが瞳孔４０の中心近傍を通過して網膜３８に投射される場合に、虹彩４２に投射される。投射部１６の第２領域１６ｂが第１領域１６ａに光学的に不連続となっているため、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射されつつ、検出用光線３４ｂが虹彩４２に投射されることが可能となる。また、画像用光線３４ａと検出用光線３４ｂは、第１ミラー１４の振動に対して所定のタイミングで光源１２から出射される。すなわち、画像用光線３４ａと検出用光線３４ｂの相対的な出射タイミングは固定されている。このため、画像用光線３４ａと検出用光線３４ｂは、相対的な位置関係が固定されて、眼球３６に投射される。また、図３（ａ）のように、複数の検出用光線３４ｂは、第１ミラー１４の振動５０の異なる位置で反射された光であることから、虹彩４２の異なる位置に異なる時間（異なるタイミング）で投射される。すなわち、複数の検出用光線３４ｂは、虹彩４２の異なる位置に順々に投射される。

図１及び図２のように、光検出器１８が、レンズ３２のフレームに配置されている。光検出器１８は、例えばフォトディテクタである。光検出器１８は、検出用光線３４ｂが虹彩４２で反射した反射光４６を検出する。図５は、反射光を検出する検出タイミングを示すタイミングチャートであり、制御部２０が光検出器１８を用いて反射光４６を検出する検出タイミングを説明する図である。図５のように、制御部２０は、光源１２から検出用光線３４ｂを出射させたタイミングで、光検出器１８を用いて反射光４６の検出を行う。これにより、複数の検出用光線３４ｂのうちのどの検出用光線３４ｂの反射光４６が検出されていないかが分かる。なお、光検出器１８の性能などを考慮し、反射光４６の検出の時間に幅を持たせてもよい。

なお、図１及び図２では、光検出器１８が、レンズ３２の中央近傍に配置された場合を例に示したが、反射光４６を検出できる場所であれば、例えばレンズ３２のツル３０近傍や鼻パッド（不図示）近傍などに配置されてもよい。なお、複数の検出用光線３４ｂが虹彩４２に投射される場合であっても、上述したように、複数の検出用光線３４ｂは虹彩４２に順々に投射されることから、１つの光検出器１８で複数の検出用光線３４ｂの反射光４６を検出することができる。

ＣＰＵ（Central Processing Unit）等のプロセッサ、およびＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリは制御部２０および検出部２６として機能する。プロセッサおよびメモリは、外部装置（例えば携帯端末など）に設けられている。プロセッサは、メモリに記憶されたプログラムに従って、制御部２０および検出部２６として機能する。制御部２０と検出部２６は異なるプロセッサにより機能してもよいし、同じプロセッサにより機能してもよい。

制御部２０は投影部２４を制御する。制御部２０は、入力された画像データに基づく画像用光線３４ａと、瞳孔４０の位置を検出するための検出用光線３４ｂと、を光源１２から出射させる。また、制御部２０は、光検出器１８での検出結果に基づいて、光源１２及び第１ミラー１４などを含む光学系の少なくとも一方を制御する。例えば、制御部２０は、光源１２からの画像用光線３４ａ及び／又は検出用光線３４ｂを含む光線の出射を制御する。例えば、制御部２０は、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる制御を行う。

検出部２６は、光検出器１８の検出結果に基づき瞳孔の動いた方向を検出する。
図６（ａ）および図６（ｂ）を用いて、光検出器１８を用いた反射光４６の検出について説明する。図６（ａ）および図６（ｂ）は、投射部および眼球の上視図である。図６（ａ）は、画像用光線３４ａが瞳孔４０を通過し、検出用光線３４ｂが虹彩４２に投射される場合を示す図である。図６（ｂ）は、眼球３６が回転したことで、検出用光線３４ｂの一部が瞳孔４０を通過して網膜３８に投射される場合を示す図である。

図６（ａ）のように、検出用光線３４ｂが虹彩４２に投射された場合は比較的大きな反射光４６が生じる。一方、図６（ｂ）のように、眼球３６の回転によって検出用光線３４ｂが瞳孔４０を通過して網膜３８に投射された場合、反射光４６が生じ難い。つまり、図６（ａ）の場合には、光検出器１８は比較的大きな反射光４６を検出するが、図６（ｂ）の場合には、光検出器１８は反射光４６を検出しないことが起こる。したがって、ユーザが眼球３６を動かした場合には、光検出器１８は複数の検出用光線３４ｂのうちの一部の検出用光線３４ｂの反射光４６を検出しなくなる。このように、光検出器１８は、ユーザの眼球において反射した検出用光線３４ｂの反射光を検出する。図４において、画像用光線３４ａが照射された位置から反射光４６を検出しなくなった検出用光線３４ｂに対応する位置への方向は、瞳孔４０が動いた方向に相当する。そこで、検出部２６は、この方向をユーザの顔に対する瞳孔４０が動いた方向（すなわち眼球３６の回転方向）として検出する。瞳孔４０の位置によりユーザの視線がわかる。なお、上述の記載から明らかなように、光検出器１８が反射光４６を検出しないとは、所定値以上の大きさの反射光４６を検出しないことをいう。すなわち、光検出器１８が検出する反射光４６の強度は所定値以下のとき、検出部２６は、反射光４６を検出しないと判定できる。

実施例１における制御部２０および検出部２６の動作について説明する。図７は、実施例１における制御部２０および検出部２６の動作を示すフローチャートである。図８（ａ）から図８（ｄ）は、実施例１における眼球３６の動きと画像用光線３４ａの制御を示す眼球３６の上視図である。図９（ａ）および図９（ｂ）は、実施例１におけるユーザが視認する座標系における網膜３８に投影された画像を示す図である。図９（ａ）および図９（ｂ）は、それぞれ瞳孔が動く前および瞳孔が動いた後を示す。

図８（ａ）に示すように、瞳孔４０が動く前において、制御部２０は、瞳孔４０内で画像用光線３４ａが収束し、網膜３８に画像用光線３４ａが照射されるように、投影部２４を制御する。画像用光線３４ａは瞳孔４０のほぼ正面から入射しかつ瞳孔４０のほぼ中心を通過する。図９（ａ）に示すように、ユーザが視認する座標系（投射部１６をユーザが視認した座標系に相当する）では、画像８０の中心（網膜３８の位置Ｑに相当する位置）に画素Ｐ１、画像８０の左側に画素Ｐ２が位置している。このとき、ユーザの画像８０上の視線の位置は画素Ｐ１である。図８（ａ）のように、網膜３８の位置Ｑには、画素Ｐ１に相当する画像用光線３４ａが照射される。位置Ｑの右側に画素Ｐ２に相当する画像用光線３４ａが照射される。

図７に示すように、光検出器１８が検出用光線を検出することで、検出部２６は、ユーザの顔に対し瞳孔４０の動いた方向を検出する（ステップＳ１０）。図８（ｂ）に示すように、瞳孔４０は左方向５２に動いている。画像投影装置１００は、ツル３０によりユーザの頭に固定されている。よって、瞳孔４０は、ユーザの頭および／または顔に対し動いている。これにより、画像用光線３４ａの少なくとも一部が虹彩４２に照射されてしまい、画像用光線３４ａの少なくとも一部は網膜３８に照射されない。

図７に示すように、制御部２０は、画像用光線３４ａが瞳孔４０に照射されるように、投影部２４を制御する（ステップＳ１２）。図８（ｃ）に示すように、制御部２０は、矢印５６のように、画像用光線３４ａの照射位置を瞳孔４０の動いた方向５２に移動させる。これにより、画像用光線３４ａは瞳孔４０のほぼ中心を通過する。さらに、制御部２０は、矢印５８のように、画像用光線３４ａの照射方向を瞳孔４０が動いた方向に傾斜させる。これにより、画像用光線３４ａは瞳孔４０のほぼ正面から入射する。網膜３８の位置Ｑに画像８０の画素Ｐ１が照射され、位置Ｑの右側に画素Ｐ２が照射される。よって、ユーザは、図９（ａ）のように、瞳孔４０が動く前と同じ画像８０が視認できる。

しかし、ユーザは眼球３６を回転させ瞳孔４０を動かすことで、画像８０の左側に視線が動くことを期待している。例えば、ユーザは、図９（ａ）の画素Ｐ１を画像８０の中心として視認している。瞳孔４０を動かすことにより画素Ｐ２を画像８０の中心として視認することを期待している。よって、ユーザは画像８０に違和感を覚えてしまう。

そこで、図７のように、制御部２０は画像８０を移動させる（ステップＳ１４）。図９（ｂ）に示すように、制御部２０は、ユーザが視認する座標系において、瞳孔４０の動いた方向５２の反対の方向５４に画像８０を移動させる。これにより、画素Ｐ２が画像８０の中心となり、画素Ｐ１が画像８０の右側となる。図８（ｄ）に示すように、網膜３８の中心の位置Ｑに画素Ｐ２の画像用光線３４ａが照射され、位置Ｑの左側に画素Ｐ１が照射される。すなわち、ユーザの画像８０上の視線は画素Ｐ２となる。よって、ユーザは視認することを期待した画素Ｐ２が中心の画像８０を視認することができる。以上、瞳孔４０が左右方向に動いた場合を例に説明したが、瞳孔４０が上下方向または斜め方向に動いた場合も同様である。また、制御部２０は、ステップＳ１４、Ｓ１２の順番で実行してもよいし、ステップＳ１２とＳ１４を同時に実行してもよい。

以上のように、実施例１によれば、投影部２４は、画像８０を形成する画像用光線３４ａをユーザの眼球３６の瞳孔４０に照射することにより、眼球３６の網膜３８に画像８０を投影する。図７のステップＳ１０のように、検出部２６はユーザの顔に対し瞳孔４０の動いた方向を検出する。ステップＳ１２のように、制御部２０は、検出された瞳孔の動いた方向５２に基づき、投影部２４に、瞳孔４０に画像用光線３４ａを照射させる。図９（ａ）および図９（ｂ）、図７のステップＳ１４のように、制御部２０は、投影部２４にユーザが視認する座標系において瞳孔４０が動く前に画像８０が投影された位置に対し瞳孔の動いた方向５２と逆の方向５４に画像８０を移動させる。これにより、ユーザは違和感なく、ユーザの網膜３８に画像８０を適切に投影することができる。

また、図８（ｃ）のように、制御部２０は、矢印５６のように眼球３６において画像用光線３４ａを照射する位置を瞳孔が動いた方向５２に移動させる。制御部２０は、矢印５８のように画像用光線３４ａが眼球３６に入射する方向を瞳孔が動いた方向５２に傾斜させる。これにより、画像用光線３４ａを適切に網膜３８に照射できる。

さらに、制御部２０は、瞳孔４０が動く前の画像８０の中心位置の画素Ｐ１が照射されている網膜３８内の位置Ｑに、瞳孔４０が動くことによりユーザが視認した画像８０内のユーザの視線の位置の画素Ｐ２が照射されるように投影部２４を制御する。これにより、ユーザは違和感なく、ユーザの網膜３８に画像８０を適切に投影することができる。

実施例１では、図４のように、投影部２４は、ユーザの眼球３６において画像用光線３４ａが照射される第１領域から離れた第２領域に検出用光線３４ｂを照射する。検出用光線３４ｂは画像用光線３４ａと同じ光源１２から出射される。検出部２６は、検出用光線３４ｂがユーザの眼球３６で反射した反射光の検出結果に基づきユーザの顔に対し瞳孔の動いた方向５２を検出する。これにより、検出用光線３４ｂと画像用光線３４ａとで光源１２等の光学系を共有できる。よって、画像投影装置の小型化が可能となる。

実施例１においては、瞳孔４０の動いた方向を、画像用光線３４ａと同じ光源１２から出射された検出用光線３４ｂの反射光に基づき検出している。瞳孔４０の動いた方向はその他の方法で検出してもよい。例えば、検出用光線３４ｂは赤外線等画像用光線３４ａと別の光源１２から出射された光でもよい。

実施例２は、図７のステップＳ１２の具体的な例である。実施例２に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。上述したように、制御部２０は、光検出器１８による検出用光線３４ｂの反射光４６の検出結果に基づいて、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる。これにより、画像用光線３４ａの走査の原点を移動させることができる。画像用光線３４ａの走査の原点が移動することで、画像用光線３４ａ及び検出用光線３４ｂの眼球３６への投射位置を移動させることができる。このことについて、図１０（ａ）から図１１を用いて説明する。

図１０（ａ）から図１１は、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射位置の変化を説明する図である。なお、図１１は、図１０（ａ）と図１０（ｂ）を合わせた状態を図示していて、図１０（ａ）の状態を点線で、図１０（ｂ）の状態を実線で示している。

図１０（ａ）の実線及び図１１の点線は、画像用光線３４ａが瞳孔４０の中心近傍を通過する場合を示している。図１０（ａ）の実線及び図１１の点線の状態から、図１０（ｂ）及び図１１の実線のように、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させることで、画像用光線３４ａの走査の原点がＯからＯ´に移動する。なお、走査の原点が移動しても、網膜３８に投影される画像の中央部に対応する画像用光線３４ａの投射部１６への入射位置はほとんど変化しないようにする。これは、網膜３８に投影される画像の品質の劣化や、検出用光線３４ｂの投射部１６への入射位置の変化などを抑制するためである。

このような画像用光線３４ａの走査の原点の移動によって、画像用光線３４ａ及び検出用光線３４ｂの投射部１６への入射角度が変化し、その結果、画像用光線３４ａ及び検出用光線３４ｂの眼球３６への投射位置が移動する。画像用光線３４ａと検出用光線３４ｂは、互いの眼球３６への投射位置の相対的な位置関係は固定されたまま連動して移動する。例えば、図１０（ａ）の実線及び図１１の点線のように、画像用光線３４ａが瞳孔４０の中心近傍を通過していた状態から、図１０（ｂ）及び図１１の実線のように、画像用光線３４ａが瞳孔４０の中心よりも端側を通過する状態に変化する。このように、位置調整部２２によって第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させて、画像用光線３４ａの走査の原点を移動させることで、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射位置を連動して移動させることができる。なお、第１ミラー１４などは円弧状に移動する場合が好ましいが、図１０の矢印方向及び図１０の紙面に垂直方向（前記矢印に垂直方向）に直線状に移動する場合でもよい。この場合、位置調整部２２として、２軸方向への移動を可能とする２軸アクチュエータ（例えば超音波アクチュエータ）を用いることができる。

実施例３は、図７のステップＳ１４の具体的な例である。実施例３に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。以下、制御部２０および検出部２６の動作を説明する。図１２（ａ）および図１２（ｂ）は、実施例３における眼球３６の動きと画像用光線３４ａの制御を示す眼球３６の上視図である。図１３は、実施例３における第１ミラー１４の走査の範囲を示す図である。画像範囲６２ａ内の画素Ｐ１およびＰ２を丸で示し、画像範囲６２ｂ内の画素Ｐ１およびＰ２を三角で示す。

図１２（ａ）に示すように、瞳孔４０が動く前において、画素Ｐ１に相当する画像用光線３４ａは網膜３８の位置Ｑに照射され、画素Ｐ２に相当する画像用光線３４ａは位置Ｑの右側に照射されている。図１３に示すように、走査範囲６０は、図３（ａ）において第１ミラー１４が振動する範囲であり、投射部１６上に照射される画像を眼球３６側から見た座標系である。なお、光源１２が光線を出射しないタイミングでは投射部１６に光線は照射されないが、光線が照射されていると仮想して示している。画像範囲６２ａおよび６２ｂは、光源１２の画像用光線３４ａの出射と、第１ミラー１４の走査と、のタイミングを異ならせることにより、走査範囲６０の任意の位置に設定できる。図１２（ａ）のように瞳孔４０が正面を向いているとき、図１３のように、例えば画像範囲６２ａは走査範囲６０のほぼ中央に位置している。

図１２（ｂ）に示すように、図７のステップＳ１０のように、検出部２６は瞳孔４０が方向５２に動いたこと検出する。図７のステップＳ１２のように、制御部２０は、画像用光線３４ａが瞳孔４０に照射されるように投影部２４を制御する。例えば、実施例２の方法を用いる。図７のステップＳ１４において、図１３のように、制御部２０は、投影部２４に画像範囲６２ａを画像範囲６２ｂに移動させる。画像範囲の移動方向６４は、瞳孔が動いた方向に対応する方向５２ａとは反対方向である。例えば画像範囲６２ａにおいて画素Ｐ１が位置していた走査範囲６０内の位置に、画像範囲６２ｂの画素Ｐ２が位置するように画像範囲を移動させる。図１２（ｂ）のように、網膜３８内の位置Ｑに画素Ｐ２に相当する画像用光線３４ａが照射される。これにより、ユーザが視認する画像上の視線は画素Ｐ２に位置し、ユーザには画素Ｐ２を中心に画像を視認できる。

実施例３によれば、図１３のように、第１ミラー１４（走査部）は光源１２が出射する光線を走査し、光線が走査可能な走査範囲（第１範囲）より小さい画像範囲（第２範囲）に画像が形成されるように画像用光線３４ａを走査する。制御部２０は、走査範囲６０内において瞳孔が動いた方向に対応する方向５２ａと逆の方向６４に画像範囲が移動するように投影部２４を制御する。例えば、制御部２０は、投射部１６（ミラー）上の座標系において、方向５２ａと逆の方向に画像範囲を移動する。これにより、図７のステップＳ１４の動作を行なうことができる。よって、ユーザが見た方向の画像を網膜３８に投影することができる。

実施例４は、図７のステップＳ１４の具体的な別の例である。実施例４に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。以下、制御部２０および検出部２６の動作を説明する。図１４（ａ）および図１４（ｂ）は、実施例４における眼球３６の動きと画像用光線３４ａの制御を示す眼球の上視図である。図１５は、実施例４における画像データ範囲７０を示す図である。

図１４（ａ）は、図１２（ａ）と同じであり説明を省略する。図１５に示すように、画像データ範囲７０は、制御部２０に入力される画像データの範囲である。画像範囲７２ａおよび７２ｂは、画像データ範囲７０内で制御部２０が任意に設定した画像範囲である。図１４（ａ）のように瞳孔４０が正面を向いているとき、例えば画像範囲７２ａは画像データ範囲７０のほぼ中央に位置している。

図１４（ｂ）に示すように、図７のステップＳ１２のように、制御部２０は、画像用光線３４ａが瞳孔４０に照射されるように投影部２４を制御する。例えば、実施例２の方法を用いる。図７のステップＳ１４において、図１５のように、制御部２０は、画像範囲７２ａを画像範囲７２ｂに移動させる。画像範囲の移動方向７４は、瞳孔４０が動いた方向に対応する方向５２ａと同じ方向である。例えば、画像範囲７２ａでは、画素Ｐ１が中央に位置している。画像範囲７２ｂでは、画素Ｐ２が中央に位置している。図１４（ｂ）のように、網膜３８内の位置Ｑに画素Ｐ２に相当する画像用光線３４ａが照射される。これにより、ユーザの視認する画像上の視線は画素Ｐ２に位置し、ユーザには画素Ｐ２を中心に画像を視認できる。

実施例４によれば、図１５のように、投影部２４は、画像データ範囲７０（第１範囲）の画像データのうち画像データ範囲７０より小さい画像範囲７２ａおよび７２ｂ（第２範囲）の画像データにより画像を形成する。制御部２０は、画像データ範囲内において瞳孔が動いた方向に対応する方向５２ａと同じ方向７４に画像範囲を移動させる。これにより、図７のステップＳ１４の動作を行なうことができる。よって、ユーザが見た方向の画像を網膜３８に投影することができる。

画像範囲７２ａおよび７２ｂが画像データ範囲７０に含まれる例を説明したが、画像範囲７２ａおよび／または７２ｂの一部は画像データ範囲７０に含まれていなくてもよい。この場合、画像範囲７２ａおよび／または７２ｂの一部は網膜３８に投影されない。しかし、例えば画像範囲７２ａおよび／または７２ｂの半分以上が網膜３８に投影されれば、ユーザは大きな違和感をもたない。

図１６（ａ）は、実施例５において制御部が有するテーブルを示す図、図１６（ｂ）は、制御部および検出部の動作を示すフローチャートである。実施例５に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。以下、制御部２０および検出部２６の動作を説明する。図１６（ａ）に示すように、複数の検出用光線３４ｂに対応した画像を移動させる移動方向および移動量を予め定めておく。例えば検出用光線３４ｂがＡおよびＢに対応し移動方向がそれぞれＡＡおよびＢＢ並びに移動量がそれぞれａａおよびｂｂである。図１６（ａ）のテーブルは、例えば制御部２０内または外のメモリ等に記憶されている。複数の検出用光線３４ｂは、例えば図３（ａ）および図４のように互いに離れた位置に照射されている。移動方向は、例えば図９（ｂ）の方向５４であり、移動量は図９（ｂ）において画像を移動させる量である。

図１６（ｂ）に示すように、検出部２６は、複数の検出用光線３４ｂのうち反射されない検出用光線３４ｂを検出する（ステップＳ２０）。反射光が検出されない検出用光線３４ｂは、瞳孔４０に照射されていると考えられる。すなわち、反射光が検出されない検出用光線３４ｂの位置に瞳孔４０が位置していると考えられる。そこで、制御部２０は、図１６（ａ）のテーブルから対応する移動方向および移動量を取得する（ステップＳ２２）。制御部２０は、取得した移動方向および移動量に画像が移動するように投影部２４を制御する（ステップＳ２４）。画像の移動方法は、例えば実施例３および実施例４の方法を用いる。

実施例５によれば、図１６（ａ）のように、制御部２０は、複数の検出用光線３４ｂに対応し予め定めた画像の移動方向を有する。ステップＳ２４のように、制御部２０は、複数の検出用光線３４ｂのうち眼球３６で反射されない検出用光線に対応する画像の移動方向に画像が移動するように投影部２４を制御する。このように、検出用光線３４ｂに対応し、画像の移動方向を予め定めておくことにより、画像の移動の制御を簡単に行なうことができる。

また、図１６（ａ）のように、制御部２０は、複数の検出用光線３４ｂに対応し予め定めた画像の移動方向および移動量を有する。ステップＳ２４において、制御部２０は、眼球３６で反射されない検出用光線に対応する画像の移動方向および移動量に画像が移動するように投影部２４を制御してもよい。

実施例５では、異なる位置に照射される複数の検出用光線３４ｂのうち１つが検出されないとき、対応する移動方向および移動量に画像を移動させる例を説明した。例えば、複数の検出用光線３４ｂのうち２つまたは２以上が検出されないとき、検出されない検出用光線３４ｂの間に瞳孔が動いたと仮定し、対応する移動方向および移動量に画像を移動させてもよい。

画像投影装置としてめがね型のＨＭＤを例に説明したが、ＨＭＤ以外の画像投影装置でもよい。片方の眼球３６の網膜３８に画像を投影させる例を示したが、両方の眼球３６の網膜３８に画像を投影させてもよい。走査部として第１ミラー１４を例に説明したが、走査部は光線を走査可能であればよい。例えば、走査部として、電気光学材料であるタンタル酸ニオブ酸カリウム（ＫＴＮ）結晶等、その他の部品を用いてもよい。光線としてレーザ光を例に説明したが、レーザ光以外の光でもよい。

以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ ツル
１２ 光源
１４ 第１ミラー
１８ 光検出器
２０ 制御部
２２ 位置調整部
２４ 投影部
２６ 検出部
３６ 眼球
３８ 網膜
４０ 瞳孔
４２ 虹彩
３４ａ 画像用光線
３４ｂ 検出用光線

Claims (9)

1. 画像を形成する画像用光線をユーザの眼球の瞳孔に照射することにより、前記眼球の網膜に前記画像を投影する投影部と、
   前記ユーザの顔に対し前記瞳孔の動いた方向を検出する検出部と、
   検出された前記瞳孔の動いた方向に基づき、前記瞳孔に前記画像用光線が照射され、かつ前記網膜上の座標系において前記瞳孔が動く前に前記画像が投影された位置に対し前記瞳孔の動いた方向と同じ方向に前記画像が移動するように前記投影部を制御する制御部と、
   を具備し、前記ユーザの頭部に固定されることを特徴とする画像投影装置。
2. 前記制御部は、前記眼球において前記画像用光線を照射する位置を前記瞳孔が動いた方向に移動させ、前記画像用光線が前記眼球に入射する方向を前記瞳孔が動いた方向に傾斜させることにより、前記瞳孔に前記画像用光線を照射させることを特徴とする請求項１記載の画像投影装置。
3. 前記制御部は、前記瞳孔が動く前の前記画像の中心位置が照射されている前記網膜内の位置に、前記瞳孔が動くことにより前記ユーザの視線の先となる前記瞳孔が動く前の前記画像内の位置が照射されるように前記投影部を制御することを特徴とする請求項１または２記載の画像投影装置。
4. 前記投影部は、前記画像用光線を出射する光源と、前記光源が出射する光線を走査し、前記光線が走査可能な第１範囲より小さい第２範囲に前記画像が形成されるように前記画像用光線を走査する走査部と、を備え、
   前記制御部は、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と同じ方向に前記第２範囲が移動するように前記投影部を制御することを特徴とする請求項１から３のいずれか一項記載の画像投影装置。
5. 前記投影部は、前記眼球の正面に設けられ、前記走査部が走査した前記画像用光線を前記瞳孔に反射するミラーを備えることを特徴とする請求項４記載の画像投影装置。
6. 前記投影部は、第１範囲の画像データのうち前記第１範囲より小さい第２範囲の画像データにより前記画像を形成し、
   前記制御部は、前記第１範囲内において前記瞳孔が動いた方向に対応する方向と同じ方向に前記第２範囲が移動するように前記投影部を制御することを特徴とする請求項１から３のいずれか一項記載の画像投影装置。
7. 前記投影部は、前記ユーザの前記眼球において前記画像用光線が照射される第１領域から離れた第２領域に前記画像用光線と同じ光源から出射された検出用光線を照射し、
   前記検出部は、前記検出用光線が前記ユーザの前記眼球で反射した反射光の検出結果に基づき前記ユーザの顔に対し前記瞳孔の動いた方向を検出することを特徴とする請求項1から６のいずれか一項記載の画像投影装置。
8. 前記投影部は、互いに離れた位置に複数の検出用光線を出射し、
   前記制御部は、前記複数の検出用光線に対応し予め定めた前記画像の移動方向を有し、前記複数の検出用光線のうち前記眼球で反射されない検出用光線に対応する前記画像の移動方向に前記画像が移動するように前記投影部を制御することを特徴とする請求項７記載の画像投影装置。
9. 前記制御部は、前記複数の検出用光線に対応し予め定めた前記画像の移動方向および移動量を有し、前記複数の検出用光線のうち前記眼球で反射されない検出用光線に対応する前記画像の移動方向および移動量に前記画像が移動するように前記投影部を制御することを特徴とする請求項８記載の画像投影装置。
   

Images