JP6231541B2

JP6231541B2 - 画像投影装置

Info

Publication number: JP6231541B2
Application number: JP2015244557A
Authority: JP
Inventors: 荒川　泰彦; 泰彦荒川; 菅原　充; 充菅原; 鈴木　誠; 鈴木　　誠; 新井　道夫; 道夫新井
Original assignee: University of Tokyo NUC; QD Laser Inc
Current assignee: University of Tokyo NUC; QD Laser Inc
Priority date: 2015-06-25
Filing date: 2015-12-15
Publication date: 2017-11-15
Anticipated expiration: 2035-12-15
Also published as: JP2017009986A; US20180164595A1; US10444519B2

Description

本発明は、画像投影装置に関し、例えばユーザの網膜に画像を直接投影する画像投影装置に関する。

ユーザの身体（顔）に装着されて、ユーザに画像を表示する装置（例えばヘッドマウントディスプレイ）として、マクスウェル視を利用し、ユーザの網膜に画像を直接投影する画像投影装置が知られている。また、ユーザの眼に照射された光の反射光を利用して、個人認証や（例えば、特許文献１）、瞳孔の位置検出（例えば、特許文献２）、瞼の開閉検出（例えば、特許文献３から５）、視線検出（例えば、特許文献６、７）を行う機能を備えたヘッドマウントディスプレイも知られている。また、ヘッドマウントディスプレイではないが、ユーザの眼で反射された光を利用した視線検出装置も知られている（例えば、特許文献８、９）。

特開２００８−２４１８２２号公報特開２０１１−２２４２１３号公報特開平１１−２４９０６４号公報特開２００９−２４４８６９号公報特開２００９−８１５２９号公報特開２０１３−１８７７９４号公報特開２０００−２５８７２４号公報特開２００２−３４１２３９号公報特開平６−２６９４１２号公報

ユーザが画像を視認しているときに、ユーザの眼に投射された検査用光線の反射光に基づいて、画像用光線を出射する光源や画像用光線をユーザの眼に投射する光学系を制御する場合がある。この場合、検査用光線に赤外光などを用いると、画像用光線を出射する光源とは別に検査用光線を出射する光源を設けることになり、装置が大型化してしまう。

本発明は、上記課題に鑑みなされたものであり、ユーザが画像を視認しているときに光源や光学系を制御できる画像投影装置を小型化することを目的とする。

本発明は、画像を形成する可視光からなる画像用光線と、可視光からなる検査用光線と、を出射する１つの光源部と、前記１つの光源部から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記１つの光源部から出射された前記検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域に投射する光学系と、前記検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、前記光検出器による前記反射光の検出結果に基づき、前記１つの光源部及び前記光学系の少なくとも一方を制御する制御部と、を備えることを特徴とする画像投影装置である。

上記構成において、前記１つの光源部は、赤色の可視光を出射する光源と緑色の可視光を出射する光源と青色の可視光を出射する光源とを含む構成とすることができる。

本発明は、画像を形成する画像用光線と、検査用光線と、を出射する光源と、前記光源から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記光源から出射された前記検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域に投射する光学系と、前記検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、前記光検出器が前記反射光を検出しない場合に前記光検出器が前記反射光を検出するように、前記光学系を制御して前記画像用光線と前記検査用光線の前記ユーザの眼への投射位置を連動して移動させる制御部と、を備えることを特徴とする画像投影装置である。

上記構成において、前記光学系は、前記光源から出射された前記画像用光線を走査し且つ前記光源から出射された前記検査用光線を反射するミラーと、前記ミラーで走査された前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記ミラーで反射された前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射する投射部と、を備え、前記制御部は、前記ミラーの位置を移動させて前記走査の原点を移動させることで、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させる構成とすることができる。

上記構成おいて、前記光学系は、前記光源から出射された前記画像用光線を走査し且つ前記光源から出射された前記検査用光線を反射するミラーと、前記ミラーで走査された前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記ミラーで反射された前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射する投射部と、を備え、前記制御部は、前記光源、前記ミラー、及び前記投射部を一体で移動させることで、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させる構成とすることができる。

上記構成において、前記光学系は、複数の前記検査用光線を前記ユーザの眼の異なる位置に異なる時間で投射し、前記制御部は、前記光検出器が前記異なる時間に前記複数の検査用光線の前記反射光を検出したか否かに基づいて、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させる構成とすることができる。

上記構成において、前記光学系は、複数の前記検査用光線を前記ユーザの眼の異なる位置に投射し、前記制御部は、前記光検出器が前記複数の検査用光線の前記反射光のうちの少なくとも１つの反射光を検出しない場合に、前記画像用光線の投射位置が検出されない前記反射光に対応する前記検査用光線の投射位置の方向に移動するように、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させる構成とすることができる。

上記構成において、前記制御部は、前記光源を制御して、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させた後に前記画像用光線で形成される前記画像を、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させる前に前記画像用光線で形成された画像と異ならせる構成とすることができる。

本発明は、画像を形成する画像用光線と、複数の検査用光線と、を出射する光源と、前記光源から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記光源から出射された前記複数の検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域の異なる位置に投射する光学系と、前記複数の検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、前記光検出器が前記複数の検査用光線のうちの前記ユーザの眼の第１の位置に投射される第１検査用光線の前記反射光を検出しない場合に前記光源を制御して前記画像用光線で形成される前記画像の第１制御を行い、前記光検出器が前記複数の検査用光線のうちの前記ユーザの眼の前記第１の位置とは異なる第２の位置に投射される第２検査用光線の前記反射光を検出しない場合に前記光源を制御して前記画像用光線で形成される前記画像の前記第１制御とは異なる第２制御を行う制御部と、を備えることを特徴とする画像投影装置である。

本発明は、画像を形成する画像用光線と、複数の検査用光線と、を出射する光源と、前記光源から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記光源から出射された前記複数の検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域の異なる位置に投射する光学系と、前記複数の検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、前記光検出器が前記複数の検査用光線のうちの一部の検査用光線の前記反射光を検出しない場合に前記光源を制御して前記画像用光線で形成される前記画像の第１制御を行い、前記光検出器が前記複数の検査用光線の全ての前記反射光を検出しない場合に前記光源を制御して前記画像用光線で形成される前記画像の前記第１制御とは異なる第２制御を行う制御部と、を備えることを特徴とする画像投影装置である。

上記構成において、前記光学系は、前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射する構成とすることができる。

上記構成において、前記制御部は、前記光検出器による前記反射光の検出結果に基づき、前記１つの光源部を制御して前記ユーザに警告を発する構成とすることができる。

上記構成において、前記制御部は、前記１つの光源部を制御して前記ユーザの眼の前記第１表面領域と前記第２表面領域とを含む一体の領域に警告用の光を出射させる構成とすることができる。

上記構成において、前記光学系は、前記画像用光線を走査し且つ前記検査用光線を反射するミラーと、前記ミラーで走査された前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記ミラーで反射された前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射する投射部と、を備え、前記ミラーは、第１方向と前記第１方向に交差する第２方向に、前記ユーザの網膜に投影する画像の範囲よりも大きく振動し、前記画像用光線は、前記ミラーの振動における前記画像の範囲に相当する期間において前記ミラーに出射され、前記検査用光線は、前記ミラーの振動における前記画像の範囲外の時間において前記ミラーに出射される構成とすることができる。

上記構成において、前記投射部は、前記画像用光線が入射する第１領域と、前記第１領域とは光学的に不連続であり、前記検査用光線が入射する第２領域と、を有する構成とすることができる。

本発明によれば、ユーザが画像を視認しているときに光源や光学系を制御できる画像投影装置を小型化することができる。

図１は、実施例１に係る画像投影装置を上方から見た図である。図２は、図１の投射部近傍を拡大した図である。図３（ａ）は、第１ミラーの振動、画像用光線、及び検査用光線を説明する図、図３（ｂ）は、第１ミラーが図３（ａ）の点Ａから点Ｂまで振動した場合における画像用光線と検査用光線の光源からの出射タイミングを説明する図である。図４は、画像用光線と検査用光線の眼球への投射について説明する図である。図５は、制御部が光検出器を用いて反射光を検出する検出タイミングを説明する図である。図６（ａ）から図６（ｃ）は、光検出器を用いた反射光の検出について説明する図である。図７は、実施例１に係る画像投影装置の制御部の処理の一例を示すフローチャートである。図８（ａ）から図８（ｃ）は、眼球の動きに対する画像用光線の網膜への投射を説明する図である。図９（ａ）及び図９（ｂ）は、画像用光線と検査用光線の眼球への投射位置の変化を説明する図（その１）である。図１０は、画像用光線と検査用光線の眼球への投射位置の変化を説明する図（その２）である。図１１は、実施例２に係る画像投影装置の制御部の処理の一例を示すフローチャートである。図１２（ａ）から図１２（ｃ）は、図１１の処理によって画像の欠落を抑制できることを説明する図である。図１３は、実施例２の変形例１に係る画像投影装置を上方から見た図である。図１４（ａ）及び図１４（ｂ）は、実施例２の変形例１に係る画像投影装置の場合における、画像用光線と検査用光線の眼球への投射位置の変化を説明する図である。図１５は、実施例２の変形例１に係る画像投影装置の制御部の処理の一例を示すフローチャートである。図１６は、実施例３に係る画像投影装置を上方から見た図である。図１７は、実施例３に係る画像投影装置の制御部の処理の一例を示すフローチャートである。図１８（ａ）から図１８（ｃ）は、居眠り状態にあるか否かの検出を示すフローチャートである。図１９（ａ）及び図１９（ｂ）は、警告の一例を示す図である。図２０は、実施例４に係る画像投影装置の制御部の処理の一例を示すフローチャートである。図２１（ａ）及び図２１（ｂ）は、検出しない検査用光線に応じた画像の制御について説明する図である。図２２は、実施例５に係る画像投影装置の制御部の処理の一例を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施例について説明する。

図１は、実施例１に係る画像投影装置１００を上方から見た図である。図２は、図１の投射部１６近傍を拡大した図である。なお、実施例１の画像投影装置１００は、ユーザに画像を視認させるための画像用光線が当該ユーザの眼球３６の網膜３８に直接投射される、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。

実施例１の画像投影装置１００は、図１のように、光源１２、第１ミラー１４、投射部１６、光検出器１８、及び制御部２０を備える。光源１２は、メガネ型フレームのツル３０に配置されている。光源１２は、制御部２０の指示の下、例えば単一又は複数の波長の光線３４を出射する。この光線３４には、ユーザの眼球３６の網膜３８に画像を投影するための画像用光線と、ユーザの眼球３６の瞳孔４０の位置及びユーザの瞼の開閉の少なくとも一方を検出するための検査用光線と、が含まれる。検査用光線は、画像用光線と同じ光源１２から出射されることから、画像用光線と同じく可視光である。光源１２は、例えば赤色レーザ光（波長：６１０ｎｍ〜６６０ｎｍ程度）、緑色レーザ光（波長：５１５ｎｍ〜５４０ｎｍ程度）、及び青色レーザ光（波長：４４０ｎｍ〜４８０ｎｍ程度）を出射する。赤色、緑色、及び青色レーザ光を出射する光源１２として、例えばＲＧＢ（赤・緑・青）それぞれのレーザダイオードチップと３色合成デバイスとマイクロコリメートレンズとが集積された光源が挙げられる。

第１ミラー１４は、メガネ型フレームのツル３０に配置されている。第１ミラー１４は、光源１２から出射された画像用光線を、水平方向及び垂直方向に走査する。また、第１ミラー１４は、光源１２から出射された検査用光線を反射する。第１ミラー１４は、例えばＭＥＭＳ（Micro Electro Mechanical System）ミラーである。なお、光源１２から出射された光線３４は、例えば第２ミラー１５及び第３ミラー１７で反射されて、第１ミラー１４に入射する。

ここで、画像用光線と検査用光線とについて説明する。第１ミラー１４によって画像用光線を走査して網膜３８に画像を投影する方法として、画像の左上から右下まで光を高速に走査して画像を表示する方法（例えばラスタースキャン）がある。図３（ａ）は、第１ミラー１４の振動、画像用光線、及び検査用光線を説明する図である。図３（ａ）のように、第１ミラー１４は、画像用光線３４ａを走査するために、網膜３８に投影する画像の範囲（図３（ａ）の破線範囲）よりも大きく、水平方向（第１方向）と垂直方向（第１方向に交差する第２方向）とに振動する。第１ミラー１４の振動を符号５０で示している。

第１ミラー１４が大きく振れた箇所で画像用光線３４ａを走査して網膜３８に画像を投影する場合、画像の歪みが大きくなることから、画像用光線３４ａは、第１ミラー１４の振れが小さい箇所で走査される。一方、検査用光線３４ｂは、第１ミラー１４の振動５０のうち、画像用光線３４ａが走査されないタイミングで、第１ミラー１４に入射する。言い換えると、光源１２は、第１ミラー１４の振動５０において、網膜３８に投影する画像の範囲に相当する期間では画像用光線３４ａを第１ミラー１４に出射し、画像の範囲外の時間において検査用光線３４ｂを第１ミラー１４に出射する。図３（ｂ）は、第１ミラー１４が図３（ａ）の点Ａから点Ｂまで振動した場合における画像用光線３４ａと検査用光線３４ｂの光源１２からの出射タイミングを説明する図である。なお、検査用光線３４ｂの光強度は、画像用光線３４ａと同じであってもよいし、異なっていてもよい。検査用光線３４ｂの光強度は、後述する光検出器１８で反射光４６が検出できる程度の光強度であればよい。

第１ミラー１４には、１又は複数の検査用光線３４ｂが入射される。図３（ａ）及び図３（ｂ）では、６つの検査用光線３４ｂが第１ミラー１４に入射される場合を例に示している。検査用光線３４ｂは、単一波長の光線でよく、網膜３８に投影する画像の１画素又は数画素相当の光線でよい。なお、図３（ａ）では、画像用光線３４ａは矩形状に走査される場合を例に示しているが、この場合に限られず、台形状に走査される場合など、その他の場合でもよい。

図１及び図２のように、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検査用光線３４ｂは、第４ミラー４４によって、メガネ型フレームのレンズ３２に向かって反射される。投射部１６が、レンズ３２の眼球３６側の面に配置されているため、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検査用光線３４ｂは、投射部１６に入射する。投射部１６は、画像用光線３４ａが入射される第１領域１６ａでは、自由曲面又は自由曲面と回折面の合成構造をしたハーフミラーとなっている。これにより、投射部１６に入射された画像用光線３４ａは、眼球３６の瞳孔４０近傍で収束した後に網膜３８に投射される。よって、ユーザは、画像用光線３４ａで形成される画像を認識することができると共に、外界像をシースルーで視認することができる。一方、投射部１６は、検査用光線３４ｂが入射される第２領域１６ｂでは、第１領域１６ａと光学的に不連続な形状をしたハーフミラーとなっている。これにより、検査用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射される場合に、眼球３６の虹彩４２に投射される。このように、画像用光線３４ａが投射される眼球３６の表面領域を第１表面領域３６ａとした場合に、検査用光線３４ｂは、眼球３６の第１表面領域３６ａから離れた第２表面領域３６ｂに投射される。

図４は、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射について説明する図である。図４のように、検査用光線３４ｂは、画像用光線３４ａが瞳孔４０の中心近傍を通過して網膜３８に投射される場合に、虹彩４２に投射される。投射部１６の第２領域１６ｂが第１領域１６ａに光学的に不連続となっているため、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射されつつ、検査用光線３４ｂが虹彩４２に投射されることが可能となる。また、画像用光線３４ａと検査用光線３４ｂは、第１ミラー１４の振動に対して所定のタイミングで光源１２から出射される。すなわち、画像用光線３４ａと検査用光線３４ｂの相対的な出射タイミングは固定されている。このため、画像用光線３４ａと検査用光線３４ｂは、相対的な位置関係が固定されて、眼球３６に投射される。また、図３（ａ）のように、複数の検査用光線３４ｂは、第１ミラー１４の振動５０の異なる位置で反射された光であることから、虹彩４２の異なる位置に異なる時間（異なるタイミング）で投射される。すなわち、複数の検査用光線３４ｂは、虹彩４２の異なる位置に順々に投射される。

図１及び図２のように、光検出器１８が、レンズ３２のフレームに配置されている。光検出器１８は、例えばフォトディテクタである。光検出器１８は、検査用光線３４ｂが虹彩４２で反射した反射光４６を検出する。図５は、制御部２０が光検出器１８を用いて反射光４６を検出する検出タイミングを説明する図である。図５のように、制御部２０は、光源１２から検査用光線３４ｂを出射させたタイミングで、光検出器１８を用いて反射光４６の検出を行う。これにより、複数の検査用光線３４ｂのうちのどの検査用光線３４ｂの反射光４６が検出されていないかが分かる。なお、光検出器１８の性能などを考慮し、反射光４６の検出の時間に幅を持たせてもよい。

なお、図１及び図２では、光検出器１８が、レンズ３２の中央近傍に配置された場合を例に示したが、反射光４６を検出できる場所であれば、例えばレンズ３２のツル３０近傍や鼻パッド（不図示）近傍などに配置されてもよい。なお、複数の検査用光線３４ｂが虹彩４２に投射される場合であっても、上述したように、複数の検査用光線３４ｂは虹彩４２に順々に投射されることから、１つの光検出器１８で複数の検査用光線３４ｂの反射光４６を検出することができる。

制御部２０は、外部装置（例えば携帯端末など）に設けられている。制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）などを備え、ＲＯＭに記憶されたプログラムに従って、画像投影装置１００を制御する。制御部２０は、入力された画像データに基づく画像用光線３４ａと、瞳孔４０の位置及び瞼の開閉の少なくとも一方を検出するための検査用光線３４ｂと、を光源１２から出射させる。また、制御部２０は、光検出器１８での検出結果に基づいて、光源１２及び第１ミラー１４などを含む光学系の少なくとも一方を制御する。例えば、制御部２０は、光源１２からの画像用光線３４ａ及び／又は検査用光線３４ｂを含む光線の出射を制御する。例えば、制御部２０は、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる制御を行う。

ここで、図６（ａ）から図６（ｃ）を用いて、光検出器１８を用いた反射光４６の検出について説明する。図６（ａ）は、画像用光線３４ａが瞳孔４０を通過し、検査用光線３４ｂが虹彩４２に投射される場合を示す図である。図６（ｂ）は、眼球３６が回転したことで、検査用光線３４ｂの一部が瞳孔４０を通過して網膜３８に投射される場合を示す図である。図６（ｃ）は、瞼３７が閉じたことで、検査用光線３４ｂが瞼３７に投射される場合を示す図である。

図６（ａ）のように、検査用光線３４ｂが虹彩４２に投射された場合は比較的大きな反射光４６が生じる。一方、図６（ｂ）のように、眼球３６の回転によって検査用光線３４ｂが瞳孔４０を通過して網膜３８に投射された場合や、図６（ｃ）のように、瞼３７が閉じることで検査用光線３４ｂが瞼３７に投射された場合は、反射光４６が生じ難い。つまり、図６（ａ）の場合には、光検出器１８は比較的大きな反射光４６を検出するが、図６（ｂ）及び図６（ｃ）の場合には、光検出器１８は反射光４６を検出しないことが起こる。したがって、ユーザが眼球３６を動かした場合には、光検出器１８は複数の検査用光線３４ｂのうちの一部の検査用光線３４ｂの反射光４６を検出しなくなる。ユーザが瞼３７を閉じた場合には、光検出器１８は、複数の検査用光線３４ｂの全ての反射光４６を検出しなくなる。なお、上述の記載から明らかなように、光検出器１８が反射光４６を検出しないとは、所定値以上の大きさの反射光４６を検出しないことをいう。

図７は、実施例１に係る画像投影装置１００の制御部２０の処理の一例を示すフローチャートである。図７のように、制御部２０は、ステップＳ１０において、入力された画像データに基づき、画像用光線３４ａを光源１２から出射させ、且つ画像用光線３４ａの出射に伴い、複数の検査用光線３４ｂを光源１２から出射させる。図４で説明したように、複数の検査用光線３４ｂは、虹彩４２の異なる位置に異なる時間で投射される。

次いで、ステップＳ１２に移行し、制御部２０は、光検出器１８が複数の検査用光線３４ｂが虹彩４２に投射された互いに異なる時間において反射光４６を検出したか否かを判断する。すなわち、図５で説明したように、制御部２０は、光源１２から複数の検査用光線３４ｂを出射させた時間毎において、複数の検査用光線３４ｂの反射光４６を検出したか否かを判断する。例えば、ユーザが眼球３６を動かした場合や瞼３７を閉じた場合に、光検出器１８は複数の検査用光線３４ｂのうちの少なくとも一部の検査用光線３４ｂの反射光４６を検出しなくなる。

光検出器１８が複数の検査用光線３４ｂのうちの少なくとも一部の検査用光線３４ｂの反射光４６を検出しない場合（ステップＳ１２：Ｎｏ）、制御部２０は、ステップＳ１４に移行して、光源１２及び第１ミラー１４などを含む光学系の少なくとも一方を制御する。光源１２の制御として、例えば、画像用光線３４ａにより形成される画像の内容の制御（例えば再生、停止、一時停止、又は異なる画像へ切り替え）、第１ミラー１４の振動５０における画像用光線３４ａ及び検査用光線３４ｂの少なくとも一方の入射位置の変更、検査用光線３４ｂの個数の変更、画像用光線３４ａ及び検査用光線３４ｂの少なくとも一方の色や明るさの変更などが挙げられる。光学系の制御として、例えば、第１ミラー１４、第２ミラー１５、第３ミラー１７、第４ミラー４４、及び投射部１６の少なくとも１つの位置の移動などが挙げられる。これら光学系部品の位置を移動させることで、画像用光線３４ａ及び検査用光線３４ｂが眼球３６に照射される位置を移動させたり、画像用光線３４ａ及び検査用光線３４ｂの焦点位置を移動させたりしてもよい。その後、ステップＳ１６に移行する。一方、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を検出している場合（ステップＳ１２：Ｙｅｓ）、制御部２０は、ステップＳ１４を行わずに、ステップＳ１６に移行する。

ステップＳ１６では、制御部２０は、画像の投影が終了したか否かを判断する。画像の投影が終了していない場合、すなわち、画像用光線３４ａと検査用光線３４ｂが光源１２から出射されている場合は、ステップＳ１６の判断は否定されて、ステップＳ１２に戻る。制御部２０は、画像の投影が終了するまで、ステップＳ１２からＳ１６の処理を繰り返す。一方、画像の投影が終了した場合（ステップＳ１６：Ｙｅｓ）、制御部２０は、図７の処理を終了する。

以上のように、実施例１によれば、１つの光源１２から画像用光線３４ａと検査用光線３４ｂが出射される。検査用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射される場合に、虹彩４２に投射される。そして、制御部２０は、光検出器１８による検査用光線３４ｂの反射光４６の検出結果に基づき、光源１２及び第１ミラー１４などを含む光学系の少なくとも一方を制御する。これにより、ユーザが画像を視認しているときに光源１２や光学系を制御できる画像投影装置を小型化することができる。

また、実施例１によれば、図３（ａ）及び図３（ｂ）のように、第１ミラー１４は、水平方向と垂直方向に、ユーザの網膜３８に投影する画像の範囲よりも大きく振動する。光源１２は、第１ミラー１４の振動における画像の範囲に相当する期間において画像用光線３４ａを第１ミラー１４に出射し、画像の範囲外の時間において検査用光線３４ｂを第１ミラー１４に出射する。これにより、第１ミラー１４の振動を有効に利用して、画像用光線３４ａの走査と検査用光線３４ｂの反射とを行うことができる。

また、実施例１によれば、図２のように、投射部１６は、画像用光線３４ａが入射する第１領域１６ａと、第１領域１６ａとは光学的に不連続であり、検査用光線３４ｂが入射する第２領域１６ｂと、を有する。これにより、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射されつつ、検査用光線３４ｂが虹彩４２に投射されることを容易に実現できる。

なお、実施例１では、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射される場合に検査用光線３４ｂが虹彩４２に投射される位置関係で、画像用光線３４ａと検査用光線３４ｂが眼球３６に投射される場合を例に示したが、この場合に限られるわけではない。検査用光線３４ｂが眼球３６に投射される第２表面領域３６ｂが、画像用光線３４ａが眼球３６に投射される第１表面領域３６ａから離れた位置関係であればその他の場合でもよい。しかしながら、検査用光線３４ｂが虹彩４２に投射された場合は比較的大きな反射光４６が生じることから、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射される場合に、検査用光線３４ｂは虹彩４２に投射される場合が好ましい。

なお、実施例１では、複数の検査用光線３４ｂが眼球３６に投射される場合を例に示したが、これに限られず、１つの検査用光線３４ｂが眼球３６に投射される場合でもよい。

ユーザの網膜に画像を直接投影する画像投影装置では、画像用光線が瞳孔を通過しないと網膜に画像が投影されず、ユーザは画像を視ることができない。このことを、図８（ａ）から図８（ｃ）を用いて説明する。図８（ａ）から図８（ｃ）は、眼球３６の動きに対する画像用光線３４ａの網膜３８への投射を説明する図である。図８（ａ）は、眼球３６が正面を向いている場合、図８（ｂ）は、眼球３６が正面から左側を向いた場合、図８（ｃ）は、眼球３６がさらに左側を向いた場合を示している。

図８（ａ）のように、眼球３６が正面を向いている場合に、画像用光線３４ａが瞳孔４０の中心近傍で収束して網膜３８に投射されるとする。この場合、図８（ｂ）のように、眼球３６が左側を向くと、画像用光線３４ａは瞳孔４０の端近傍で収束して網膜３８に投射されるようになる。図８（ｃ）のように、眼球３６がさらに左側を向くと、画像用光線３４ａは瞳孔４０を通過できずに網膜３８に投射されなくなる。

このように、眼球３６が動くことで、画像用光線３４ａが瞳孔４０を通過しないことが起こり得る。例えば、瞳の位置や眼球の回転方向の動きなどは個人差があることから、ユーザによっては画像用光線３４ａが瞳孔４０を通過しないことが起こり得る。そこで、実施例２では、光検出器１８による検査用光線３４ｂの反射光４６の検出結果に基づいて光学系を制御することで、ユーザの網膜に画像が投影されないことが抑制される画像投影装置を説明する。

図６（ａ）及び図６（ｂ）で説明したように、検査用光線３４ｂが虹彩４２に投射された場合は比較的大きな反射光４６が生じるが、眼球３６の回転などによって検査用光線３４ｂが瞳孔４０を通過して網膜３８に投射された場合は反射光４６が生じ難い。検査用光線３４ｂが瞳孔４０を通過して網膜３８に投射される場合は、画像用光線３４ａは、瞳孔４０の端近傍を通過するか又は瞳孔４０を通過できていないなど、画像の欠落が懸念される状態にあることが想定される。したがって、実施例２では、光検出器１８が反射光４６を検出できない場合は、画像の欠落が懸念される状態にあることが想定されるため、画像の欠落を抑える制御を行う。

実施例２に係る画像投影装置２００は、実施例１の図１と同一又は同等であるため説明を省略する。上述したように、制御部２０は、光検出器１８による検査用光線３４ｂの反射光４６の検出結果に基づいて、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる。これにより、画像用光線３４ａの走査の原点を移動させることができる。画像用光線３４ａの走査の原点が移動することで、画像用光線３４ａ及び検査用光線３４ｂの眼球３６への投射位置を移動させることができる。このことについて、図９（ａ）から図１０を用いて説明する。

図９（ａ）から図１０は、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置の変化を説明する図である。なお、図１０は、図９（ａ）と図９（ｂ）を合わせた状態を図示していて、図９（ａ）の状態を点線で、図９（ｂ）の状態を実線で示している。

図９（ａ）及び図１０の点線は、画像用光線３４ａが瞳孔４０の中心近傍を通過する場合を示している。図９（ａ）及び図１０の点線の状態から、図９（ｂ）及び図１０の実線のように、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させることで、画像用光線３４ａの走査の原点がＯからＯ´に移動する。なお、走査の原点が移動しても、網膜３８に投影される画像の中央部に対応する画像用光線３４ａの投射部１６への入射位置はほとんど変化しないようにする。これは、網膜３８に投影される画像の品質の劣化や、検査用光線３４ｂの投射部１６への入射位置の変化などを抑制するためである。

このような画像用光線３４ａの走査の原点の移動によって、画像用光線３４ａ及び検査用光線３４ｂの投射部１６への入射角度が変化し、その結果、画像用光線３４ａ及び検査用光線３４ｂの眼球３６への投射位置が移動する。画像用光線３４ａと検査用光線３４ｂは、互いの眼球３６への投射位置の相対的な位置関係は固定されたまま連動して移動する。例えば、図９（ａ）及び図１０の点線のように、画像用光線３４ａが瞳孔４０の中心近傍を通過していた状態から、図９（ｂ）及び図１０の実線のように、画像用光線３４ａが瞳孔４０の中心よりも端側を通過する状態に変化する。このように、位置調整部２２によって第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させて、画像用光線３４ａの走査の原点を移動させることで、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させることができる。なお、第１ミラー１４などは円弧状に移動する場合が好ましいが、図１０の矢印方向及び図１０の紙面に垂直方向（前記矢印に垂直方向）に直線状に移動する場合でもよい。この場合、位置調整部２２として、２軸方向への移動を可能とする２軸アクチュエータ（例えば超音波アクチュエータ）を用いることができる。

図１１は、実施例２に係る画像投影装置２００の制御部２０の処理の一例を示すフローチャートである。図１２（ａ）から図１２（ｃ）は、図１１の処理によって画像の欠落を抑制できることを説明する図である。図１１のように、制御部２０は、ステップＳ２０において、入力された画像データに基づき、画像用光線３４ａを光源１２から出射させ、且つ画像用光線３４ａの出射に伴い、複数の検査用光線３４ｂを光源１２から出射させる。図４で説明したように、複数の検査用光線３４ｂは、虹彩４２の異なる位置に異なる時間で投射される。

次いで、ステップＳ２２に移行し、制御部２０は、光検出器１８が複数の検査用光線３４ｂが虹彩４２に投射された互いに異なる時間において反射光４６を検出したか否かを判断する。すなわち、図５で説明したように、制御部２０は、光源１２から複数の検査用光線３４ｂを出射させた時間毎において、複数の検査用光線３４ｂの反射光４６を光検出器１８が検出したか否かを判断する。光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を検出している場合、図１２（ａ）のように、複数の検査用光線３４ｂの全てが虹彩４２に入射し、画像用光線３４ａが瞳孔４０の中心近傍を通過していると想定される。したがって、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を検出している場合は、画像用光線３４ａの眼球３６への投射位置の調整は行わなくてよいため、ステップＳ２２の判断は肯定されて、ステップＳ２８に移行する。

一方、光検出器１８が複数の検査用光線３４ｂのうちの少なくとも１つの反射光４６を検出していない場合、図１０（ｂ）のように、少なくとも１つの検査用光線３４ｂは虹彩４２に入射せずに瞳孔４０を通過し、画像用光線３４ａは瞳孔４０の端近傍を通過していることなどが想定される。すなわち、画像の欠落が懸念される状態にあることが想定される。したがって、光検出器１８が複数の検査用光線３４ｂのうちの少なくとも１つの反射光４６を検出していない場合は（ステップＳ２２：Ｎｏ）、画像用光線３４ａの眼球３６への投射位置の調整を行うために、ステップＳ２４に移行する。

ステップＳ２４では、制御部２０は、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させることで、画像用光線３４ａの走査の原点を移動させる。図９（ａ）から図１０で説明したように、画像用光線３４ａの走査の原点を移動させることで、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させることができる。この際、制御部２０は、画像用光線３４ａの投射位置が、光検出器１８で検出されていない反射光４６に対応する検査用光線３４ｂの投射位置の方向に移動するように、画像用光線３４ａの走査の原点を移動させる。

次いで、ステップＳ２６では、制御部２０は、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を検出するようになったか否かを判断する。光検出器１８が複数の検査用光線３４ｂのうちの少なくとも１つの反射光４６を未だ検出していない場合は（ステップＳ２６：Ｎｏ）、ステップＳ２４に戻る。制御部２０は、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を検出するまで、ステップＳ２４とＳ２６の処理を繰り返す。

一方、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を検出するようになった場合は、図１２（ｃ）のように、複数の検査用光線３４ｂの全てが虹彩４２に入射し、画像用光線３４ａが瞳孔４０の中心近傍を通過していることが想定される。したがって、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を検出するようになった場合は（ステップＳ２６：Ｙｅｓ）、画像用光線３４ａの眼球３６への投射位置の調整を終了して、ステップＳ２８に移行する。

ステップＳ２８では、制御部２０は、実施例１の図７のステップＳ１６と同一又は同等の処理を行う。

以上のように、実施例２によれば、制御部２０は、光検出器１８が検査用光線３４ｂの反射光４６を検出しない場合に、光検出器１８が反射光４６を検出するように、光学系を制御して画像用光線３４ａを検査用光線３４ｂの眼球３６への投射位置を連動して移動させる。これにより、画像用光線３４ａが瞳孔４０を通過しないことを抑制でき、その結果、網膜３８に画像が投影されないことを抑制できる。

また、画像用光線３４ａが瞳孔４０を通過しないことを抑制する観点から、制御部２０は、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置の相対的な位置関係は固定して、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させることが好ましい。なお、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置の相対的な位置関係が多少ずれる場合でも、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置が連動して移動する場合であればよい。

また、実施例２によれば、制御部２０は、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させることを、第１ミラー１４の位置を移動させて画像用光線３４ａの走査の原点を移動させることで行っている。これにより、画像用光線３４ａと検査用光線３４ｂの投射位置を容易に連動して移動させることができる。

また、実施例２によれば、複数の検査用光線３４ｂは、虹彩４２の異なる位置に異なる時間で投射される。制御部２０は、光検出器１８が異なる時間に複数の検査用光線３４ｂの反射光４６を検出したか否かに基づいて、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させる。これにより、画像用光線３４ａが瞳孔４０を通過しなくなることを効果的に抑制できる。

また、実施例２によれば、制御部２０は、光検出器１８が複数の検査用光線３４ｂの反射光４６のうちの少なくとも１つの反射光４６を検出しない場合、画像用光線３４ａの投射位置が、検出されない反射光４６に対応する検査用光線３４ｂの投射位置の方向に移動するように、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させる。これにより、画像用光線３４ａの投射位置を効率的に瞳孔４０に合わせることができる。

図１３は、実施例２の変形例１に係る画像投影装置２１０を上方から見た図である。実施例２の変形例１の画像投影装置２１０は、図１３のように、光源１２、第１ミラー１４、第２ミラー１５、第３ミラー１７、第４ミラー４４、及び投射部１６が１つの筐体６０内に設けられている。位置調整部２２は、例えばメガネ型フレームのレンズ３２に設けられていて、筐体６０の位置を移動させる。位置調整部２２は、筐体６０を眼球３６に対して左右方向および上下方向に移動させる。その他の構成は、実施例１の図１と同一又は同等であるため説明を省略する。

図１４（ａ）及び図１４（ｂ）は、実施例２の変形例１に係る画像投影装置２１０の場合における、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置の変化を説明する図である。図１４（ａ）は、画像用光線３４ａが瞳孔４０の中心近傍を通過する場合を示している。図１４（ａ）の状態から、図１４（ｂ）のように、位置調整部２２を駆動させて筐体６０の位置を移動させることで、画像用光線３４ａ及び検査用光線３４ｂの眼球３６への投射位置を移動させることができる。このように、位置調整部２２によって筐体６０の位置を移動（すなわち、光源１２、第１ミラー１４、及び投射部１６を一体で移動）させることで、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させることができる。

図１５は、実施例２の変形例１に係る画像投影装置２１０の制御部２０の処理の一例を示すフローチャートである。図１５のように、制御部２０は、ステップＳ３０、Ｓ３２において、実施例２の図１１のステップＳ２０、Ｓ２２と同一又は同等の処理を行う。

次いで、ステップＳ３４では、制御部２０は、位置調整部２２を駆動させて筐体６０の位置を移動させる。図１４（ａ）及び図１４（ｂ）で説明したように、筐体６０の位置を移動させることで、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させることができる。その後、ステップＳ３６、Ｓ３８において、制御部２０は、実施例２の図１１のステップＳ２６、Ｓ２８と同一又は同等の処理を行う。

以上のように、実施例２の変形例１によれば、制御部２０は、光源１２、第１ミラー１４、及び投射部１６を一体で移動させることで、画像用光線３４ａと検査用光線３４ｂの眼球３６への投射位置を連動して移動させている。このような場合でも、画像用光線３４ａが瞳孔４０を通過しなくなることを抑制できる。また、実施例２の変形例１では、網膜３８に画像用光線３４ａが斜めに入射されることが抑制される。

なお、実施例２の変形例１においては、光源１２、第１ミラー１４、及び投射部１６に加えてメガネ型フレームのレンズ３２が一体で移動する場合でもよい。

なお、実施例２及び実施例２の変形例１において、光検出器１８が複数の反射光４６を検出しない場合、制御部２０は、検出されない複数の反射光４６に対応する複数の検査用光線３４ｂそれぞれの投射位置における中間の位置を求め、当該中間の位置の方向に、画像用光線３４ａと検査用光線３４ｂの投射位置を連動して移動させてもよい。

なお、実施例２及び実施例２の変形例１では、複数の検査用光線３４ｂが眼球３６に投射される場合を例に示したが、１つの検査用光線３４ｂが眼球３６に投射される場合でもよい。

なお、実施例２及び実施例２の変形例１において、画像用光線３４ａと検査用光線３４ｂは、図１２（ｂ）のように、検査用光線３４ｂが虹彩４２に入射されずに瞳孔４０を通過する場合に、画像用光線３４ａが瞳孔４０の端近傍を通過するような位置関係にある場合が好ましい。これにより、画像が欠落することを抑制できる。

実施例３は、ユーザが居眠り状態にある場合に警告を発する画像投影装置の例である。なお、実施例３における居眠り状態とは、居眠り状態にあると考えられる場合に加え、居眠り状態になる可能性が高い状態にある場合も含むものである。図１６は、実施例３に係る画像投影装置３００を上方から見た図である。図１６のように、実施例３に係る画像投影装置３００は、実施例１に係る画像投影装置１００と比べて、位置調整部２２が設けられていない点で異なる。その他の構成は、実施例１の図１と同一又は同等であるため説明を省略する。

図１７は、実施例３に係る画像投影装置３００の制御部２０の処理の一例を示すフローチャートである。図１７のように、制御部２０は、ステップＳ４０において、入力された画像データに基づき、画像用光線３４ａを光源１２から出射させ、且つ画像用光線３４ａの出射に伴い、複数の検査用光線３４ｂを光源１２から出射させる。

次いで、ステップＳ４２に移行し、制御部２０は、光検出器１８による検査用光線３４ｂの反射光４６の検出結果に基づいて、ユーザが居眠り状態にあるか否かを検出する。ここで、図１８（ａ）から図１８（ｃ）のフローチャートを用いて、居眠り状態にあるか否かの検出について説明する。

図１８（ａ）のように、制御部２０は、ステップＳ５０において、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を所定時間以上検出していないか否かを判断する。図６（ｃ）で説明したように、瞼３７が閉じられた場合は、光検出器１８は複数の検査用光線３４ｂの全ての反射光４６を検出しなくなる。したがって、制御部２０は、光検出器１８が全ての反射光４６を所定時間以上検出していない場合（ステップＳ５０：Ｙｅｓ）、ステップＳ５２に移行して、ユーザは居眠り状態にあることを検出する。一方、光検出器１８が複数の検査用光線３４ｂのいずれかの反射光４６を所定時間以内に検出した場合、ステップＳ５０の判断は否定されてステップＳ５４に移行し、制御部２０は、ユーザは居眠り状態にないことを検出する。なお、上記所定時間としては、ユーザが居眠り状態に陥ったために瞼３７が閉じられたのか、又はその他の理由によって一時的に瞼３７が閉じられたのかの判断が可能な時間を設定すればよい。

図１８（ｂ）のように、制御部２０は、ステップＳ６０において、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６の検出・不検出を所定時間当たり所定回数以上繰り返したか否かを判断する。居眠り状態に陥る場合には、瞼３７の開閉回数が多くなる。したがって、制御部２０は、光検出器１８が全ての反射光４６の検出・不検出を所定時間当たり所定回数以上繰り返している場合（ステップＳ６０：Ｙｅｓ）、ステップＳ６２に移行して、ユーザは居眠り状態にあることを検出する。一方、光検出器１８による全ての反射光４６の検出・不検出が所定回数以上繰り返されていない場合、ステップＳ６０の判断は否定されてステップＳ６４に移行し、制御部２０は、ユーザは居眠り状態にないことを検出する。なお、上記所定時間及び所定回数として、ユーザが居眠り状態に陥ることが判断できるような時間及び回数を設定すればよい。

図１８（ｃ）のように、制御部２０は、ステップＳ７０において、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を所定時間以上検出し続けているか否かを判断する。図６（ａ）及び図６（ｂ）で説明したように、全ての反射光４６が検出され続けている場合は、眼球３６が動いていないことになる。眼球３６が所定時間以上動いていない場合、ユーザは意識が遠のいて居眠りに近い状態になっている恐れがある。したがって、制御部２０は、光検出器１８が全ての反射光４６を所定時間以上検出し続けている場合（ステップＳ７０：Ｙｅｓ）、ステップＳ７２に移行して、ユーザは居眠り状態にあることを検出する。一方、光検出器１８が所定時間以内に反射光４６の少なくとも１つを検出しなくなった場合、ステップＳ７０の判断は否定されてステップＳ７４に移行し、制御部２０は、ユーザは居眠り状態にないことを検出する。

図１７のステップＳ４２の居眠り状態の検出は、図１８（ａ）から図１８（ｃ）のいずれか１つの方法で検出してもよいし、複数の方法を組み合わせて検出してもよい。また、その他の方法によって、居眠り状態を検出してもよい。

居眠り状態が検出された場合（ステップＳ４２：Ｙｅｓ）、制御部２０は、ステップＳ４４に移行して、光源１２を制御してユーザに居眠り防止のための警告を発する。ここで、図１９（ａ）及び図１９（ｂ）を用いて、警告の一例を説明する。図１９（ａ）のように、制御部２０は、画像用光線３４ａが眼球３６に投射される第１表面領域３６ａと複数の検査用光線３４ｂが眼球３６に投射される複数の第２表面領域３６ｂとを含む一体の領域３９に警告用の光を光源１２から出射させてもよい。警告用の光の強度を大きくすることで、ユーザは瞼３７を介して光を認識できるが、光強度を大きくし過ぎると、ユーザが瞼３７を開けたときに眼にダメージを与える恐れがある。したがって、これらのことを考慮して警告用の光の強度を設定することが好ましい。例えば、警告用の光の強度を、画像用光線３４ａに用いられる最大光強度としてもよい。また、警告用の光を一体の領域３９に照射し続ける場合でもよいし、照射と非照射とを繰り返して点滅させる場合でもよい。

図１９（ｂ）のように、制御部２０は、画像用光線３４ａで形成される画像７０に、“居眠り注意”などの警告７２を表示するようにしてもよい。警告７２の表示箇所は、画像７０内のどこでもよいが、ユーザに気付かせる点から画像７０の中央部に表示することが好ましい。

なお、図１８（ａ）から図１８（ｃ）のどれによって居眠り状態にあることが検出されたかで、警告の発し方を変えてもよい。例えば、図１８（ａ）のように瞼３７が閉じている状態で居眠り状態にあることが検出された場合には、図１９（ａ）のように、領域３９に警告用の光を照射させることが好ましい。図１８（ｂ）及び図１８（ｃ）のように、瞼３７が少しでも開いている状態で居眠り状態にあることが検出された場合には、図１９（ａ）のように、領域３９に警告用の光を照射させてもよいし、図１９（ｂ）のように、警告７２を表示してもよい。

図１７のように、制御部２０は、警告を発した後、ステップＳ４６に移行して、ユーザによって警告解除の措置が入力されたか否かを判断する。警告解除の措置が入力されていない場合（ステップＳ４６：Ｎｏ）、ステップＳ４６の判断は否定されて、制御部２０は、ステップＳ４４に戻り、警告を発しし続ける。一方、警告解除の措置が入力された場合（ステップＳ４６：Ｙｅｓ）、ステップＳ４６の判断は肯定されて、ステップＳ４８に移行する。なお、ユーザは、例えば制御部２０が設けられた外部装置（例えば携帯端末など）を操作することで、警告解除の措置を入力できるようにすればよい。

ステップＳ４８では、制御部２０は、実施例１の図７のステップＳ１６と同一又は同等の処理を行う。

以上のように、実施例３によれば、制御部２０は、光検出器１８による反射光４６の検出結果に基づき、光源１２を制御してユーザに警告を発する。これにより、例えばユーザが居眠りをすることを抑制できる。

また、実施例３によれば、図１９（ａ）のように、制御部２０は、光源１２を制御して眼球３６の第１表面領域３６ａと第２表面領域３６ｂとを含む一体の領域３９に警告用の光を出射する。これにより、瞳孔４０がどこの方向を向いている場合でも、瞼３７を介して網膜３８に警告用の光を投射させることができる。なお、警告用の光は、目を覚まさせる点から白色光の場合が好ましいが、可視光であればその他の場合でもよい。

なお、実施例３において、制御部２０は、図１８（ａ）での全ての反射光４６が検出されない時間、図１８（ｂ）での全ての反射光４６の検出・不検出の回数、図１８（ｃ）での全ての反射光４６を検出し続けている時間を検出し、これに応じて警告用の光の強度を変えてもよい。例えば、全ての反射光４６が検出されない時間又は検出され続けている時間がｔ_１秒未満では警告用の光の強度を弱くし、ｔ_１秒以上ｔ_２秒未満では中程度とし、ｔ_２秒以上では強くするようにしてもよい。例えば、全ての反射光４６の検出・不検出の回数がｎ_１回未満では警告用の光の強度を弱くし、ｎ_１回以上ｎ_２回未満では中程度とし、ｎ_２回以上では強くするようにしてもよい。すなわち、居眠りの状態に応じて警告の強さを変えてもよい。

なお、実施例３において、制御部２０は、光源１２を制御して画像による警告を発することに加え、不図示の音源を制御して音による警告を発してもよい。警告音を発する場合も、画像の場合と同様に、居眠りの状態に応じて警告音の大きさを変えてもよい。

なお、実施例３に、実施例２で説明した画像用光線３４ａと検査用光線３４ｂの投射位置の連動した移動の制御を組み合わせてもよい。また、実施例３では、光検出器１８による反射光４６の検出結果に基づいてユーザが居眠り状態にあるか否かを検出しているが、これに限られる訳ではない。光検出器１８による反射光４６の検出結果に基づいて警告を発するその他の場合でもよい。

実施例３では、複数の検査用光線３４ｂが眼球３６に投射される場合を例に示したが、１つの検査用光線３４ｂが眼球３６に投射される場合でもよい。

実施例４は、ユーザの眼球３６や瞼３７の動きに応じて、表示される画像を制御する画像投影装置の例である。実施例４に係る画像投影装置４００は、実施例３の図１６と同一又は同等であるため説明を省略する。

図２０は、実施例４に係る画像投影装置４００の制御部２０の処理の一例を示すフローチャートである。図２０のように、制御部２０は、ステップＳ８０において、入力された画像データに基づき、画像用光線３４ａを光源１２から出射させ、且つ画像用光線３４ａの出射に伴い、複数の検査用光線３４ｂを光源１２から出射させる。

次いで、ステップＳ８２に移行し、制御部２０は、光検出器１８が複数の検査用光線３４ｂの全ての反射光４６を検出しているか否かを判断する。全ての反射光４６を検出している場合は、ステップＳ８２の判断は肯定され、ステップＳ１００に移行する。

一方、複数の検査用光線３４ｂのうちの少なくとも一部の検査用光線３４ｂの反射光４６を検出しない場合（ステップＳ８２：Ｎｏ）、ステップＳ８４に移行する。ステップＳ８４では、制御部２０は、複数の検査用光線３４ｂのうちの一部の検査用光線３４ｂの反射光４６のみを検出しないか否かを判断する。一部の検査用光線３４ｂの反射光４６のみを検出しない場合（ステップＳ８４：Ｙｅｓ）、制御部２０は、ステップＳ８６に移行して、検出しない反射光４６（すなわち、検出しない検査用光線３４ｂ）に応じて、画像用光線３４ａで形成される画像の制御を行う。その後、ステップＳ１００に移行する。

画像の制御の例として、制御部２０は、動画の停止、一時停止、再生、又は異なる画像への切り替えなどを行う。一時停止の場合、画像を表示したまま一時停止する場合でもよいし、画像の表示自体も一時停止する場合でもよい。また、制御部２０は、ユーザの前後左右のいずれか一方を撮影する画像から他方を撮影する画像に切り替える場合でもよいし、前後左右の画像とは異なる別の画像から前後左右のいずれかの画像に切り替える場合やその逆の場合でもよい。例えば、制御部２０は、ユーザの前後左右のいずれかを撮影する画像からユーザの現在位置の位置情報を示す画像に切り替える場合やその逆の場合でもよい。したがって、画像投影装置は、ユーザの前後左右を撮影する撮像部（例えばカメラ）及び／又は画像投影装置の位置を検出する位置検出部（例えばＧＰＳ（Global Positioning System）センサ）を備えている場合でもよい。

ここで、検出しない検査用光線３４ｂに応じた画像の制御について、図２１（ａ）及び図２１（ｂ）を用いて説明する。図２１（ａ）のように、複数の検査用光線３４ｂのうちの第１検査用光線３４ｂ−１の反射光４６を検出しない場合、制御部２０は、画像に対して第１制御を行う。図２１（ｂ）のように、第２検査用光線３４ｂ−２の反射光４６を検出しない場合、制御部２０は、画像に対して上記第１制御とは異なる第２制御を行う。

図２０のように、一部の検査用光線３４ｂの反射光４６のみが不検出ではない場合（ステップＳ８４：Ｎｏ）、制御部２０は、ステップＳ８８に移行して、複数の検査用光線３４ｂの全ての反射光４６が所定時間以上不検出か否かを判断する。全ての反射光４６が所定時間以上不検出である場合（ステップＳ８８：Ｙｅｓ）、制御部２０は、ステップＳ９０に移行し、ステップＳ８６で行われる制御とは異なる画像の制御を行う。その後、ステップＳ１００に移行する。一方、全ての反射光４６が所定時間以上不検出ではない場合（ステップＳ８８：Ｎｏ）、ステップＳ１００に移行する。なお、全ての反射光４６が所定時間以上不検出か否かを判断するのは、画像の制御を目的としない閉瞼を除外するためである。

ステップＳ１００では、制御部２０は、実施例１の図７のステップＳ１６と同一又は同等の処理を行う。

以上のように、実施例４によれば、制御部２０は、光検出器１８による反射光４６の検出結果に基づき、光源１２を制御して画像用光線３４ａで形成される画像の制御を行う。これにより、ユーザは、眼球３６及び／又は瞼３７を動かすことによって、画像の制御を行うことができる。

また、実施例４によれば、図２１（ａ）及び図２１（ｂ）のように、複数の検査用光線３４ｂのうちの第１検査用光線３４ｂ−１の反射光４６を検出しない場合、画像の第１制御を行い、第２検査用光線３４ｂ−２の反射光４６を検出しない場合、第１制御とは異なる画像の第２制御を行う。これにより、ユーザは、眼球３６を異なる方向に動かすことによって、画像に対して異なる制御を行うことができる。

また、実施例４によれば、図２０のステップＳ８６、Ｓ９０のように、複数の検査用光線３４ｂのうちの一部の検査用光線３４ｂの反射光４６を検出しない場合、画像の第１制御を行い、全ての検査用光線３４ｂの反射光４６を所定時間以上検出しない場合、第１制御とは異なる画像の第２制御を行う。これにより、ユーザは、眼球３６を動かすか又は瞼３７を動かすかによって、画像に対して異なる制御を行うことができる。

なお、実施例４の図２０のステップＳ９０において、制御部２０は、反射光４６が不検出である時間の長さを検出し、当該時間の長さに応じて異なる画像の制御を行ってもよい。

なお、実施例４に、実施例２で説明した画像用光線３４ａと検査用光線３４ｂの投射位置の連動した移動の制御を組み合わせてもよいし、実施例３で説明した警告の制御を組み合わせてもよい。また、実施例４では、複数の検査用光線３４ｂが眼球３６に投射される場合を例に示したが、１つの検査用光線３４ｂが眼球３６に投射される場合でもよい。

実施例５に係る画像投影装置５００は、実施例１の図１と同一又は同等であるため説明を省略する。図２２は、実施例５に係る画像投影装置５００の制御部２０の処理の一例を示すフローチャートである。図２２のように、制御部２０は、実施例２の図１１のステップＳ２０〜ステップＳ２６と同一又は同等の処理のステップＳ１１０〜ステップＳ１１６を行う。

次いで、ステップＳ１１８では、制御部２０は、ステップＳ１１４、Ｓ１１６で画像用光線３４ａと検査用光線３４ｂを連動して移動させる前に投影されていた画像とは異なる画像が投影されるように、画像の制御を行う。画像の制御の例は、実施例４と同じであるため説明を省略する。その後、制御部２０は、ステップＳ１２０に移行して、実施例１の図７のステップＳ１６と同一又は同等の処理を行う。

実施例５によれば、制御部２０は、光源１２を制御して、画像用光線３４ａと検査用光線３４ｂを連動して移動させた後に投影される画像を、連動して移動させる前に投影されていた画像とは異ならせる。これにより、ユーザは、向いた方向に応じた画像を視認することができる。例えば、ユーザは、向いた方向に応じて、ユーザの前後左右を撮像する画像のうちの異なる画像を視認することができる。

なお、実施例５に、実施例３で説明した警告の制御を組み合わせてもよい。また、実施例５では、複数の検査用光線３４ｂが眼球３６に投射される場合を例に示したが、１つの検査用光線３４ｂが眼球３６に投射される場合でもよい。

なお、実施例１から実施例５において、複数の検査用光線３４ｂのうちの２つ以上の検査用光線３４ｂが、虹彩４２に同時に投射される場合でもよい。なお、この場合は、光検出器１８を複数設けることとなる。

なお、実施例１から実施例５では、図４のように、複数の検査用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過する場合に、瞳孔４０の周りを囲むように、虹彩４２に６箇所で投射される場合を例に示したがこれに限られない。画像用光線３４ａが瞳孔４０を通過しなくなることを効果的に抑制する点から、複数の検査用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過する場合に、瞳孔４０を挟むように虹彩４２に投射されることが好ましく、２箇所以上で挟むように投射されることがより好ましい。また、複数の検査用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過する場合に、瞳孔４０を上下および左右で挟むように虹彩４２に投射されることが好ましい。

なお、実施例１から実施例５において、画像用光線３４ａと検査用光線３４ｂは、図１５（ｂ）のように、検査用光線３４ｂが虹彩４２に入射されずに瞳孔４０を通過する場合に、画像用光線３４ａが瞳孔４０の端近傍を通過するような位置関係にある場合が好ましい。これにより、画像が欠落することを抑制できる。

なお、実施例１から実施例５では、制御部２０が外部装置に設けられている場合を例に示したが、この場合に限られず、例えばメガネ型フレームのツル３０に設けられている場合でもよい。また、光源１２と第１ミラー１４は、メガネ型フレームのツル３０の外側に設けられていてもよいし、ツル３０の幅を広げて、ツル３０の内側に設けられていてもよい。また、光源１２は、メガネ型フレームのツル３０に設けられている場合に限られず、メガネ型フレームとは別部品で設けられている場合でもよい。この場合、光源１２から出射された光線３４は、光ファイバなどを介して、第１ミラー１４に入射されるようにすればよい。また、片方の眼球３６に画像用光線３４ａと検査用光線３４ｂが投射される場合に限られず、両方の眼球３６に画像用光線３４ａと検査用光線３４ｂが投射される場合でもよい。

以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１２光源
１４第１ミラー
１５第２ミラー
１６投射部
１６ａ第１領域
１６ｂ第２領域
１７第３ミラー
１８光検出器
２０制御部
２２位置調整部
３０ツル
３２レンズ
３４光線
３４ａ画像用光線
３４ｂ検査用光線
３６眼球
３６ａ第１表面領域
３６ｂ第２表面領域
３７瞼
３８網膜
３９領域
４０瞳孔
４２虹彩
４４第４ミラー
４６反射光
５０振動
６０筐体
７０画像
７２警告

Claims

画像を形成する可視光からなる画像用光線と、可視光からなる検査用光線と、を出射する１つの光源部と、
前記１つの光源部から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記１つの光源部から出射された前記検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域に投射する光学系と、
前記検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、
前記光検出器による前記反射光の検出結果に基づき、前記１つの光源部及び前記光学系の少なくとも一方を制御する制御部と、を備えることを特徴とする画像投影装置。
前記１つの光源部は、赤色の可視光を出射する光源と緑色の可視光を出射する光源と青色の可視光を出射する光源とを含むことを特徴とする請求項１記載の画像投影装置。
画像を形成する画像用光線と、検査用光線と、を出射する光源と、
前記光源から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記光源から出射された前記検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域に投射する光学系と、
前記検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、
前記光検出器が前記反射光を検出しない場合に前記光検出器が前記反射光を検出するように、前記光学系を制御して前記画像用光線と前記検査用光線の前記ユーザの眼への投射位置を連動して移動させる制御部と、を備えることを特徴とする画像投影装置。
前記光学系は、前記光源から出射された前記画像用光線を走査し且つ前記光源から出射された前記検査用光線を反射するミラーと、前記ミラーで走査された前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記ミラーで反射された前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射する投射部と、を備え、
前記制御部は、前記ミラーの位置を移動させて前記走査の原点を移動させることで、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させることを特徴とする請求項３記載の画像投影装置。
前記光学系は、前記光源から出射された前記画像用光線を走査し且つ前記光源から出射された前記検査用光線を反射するミラーと、前記ミラーで走査された前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記ミラーで反射された前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射する投射部と、を備え、
前記制御部は、前記光源、前記ミラー、及び前記投射部を一体で移動させることで、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させることを特徴とする請求項３記載の画像投影装置。
前記光学系は、複数の前記検査用光線を前記ユーザの眼の異なる位置に異なる時間で投射し、
前記制御部は、前記光検出器が前記異なる時間に前記複数の検査用光線の前記反射光を検出したか否かに基づいて、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させることを特徴とする請求項３から５のいずれか一項記載の画像投影装置。
前記光学系は、複数の前記検査用光線を前記ユーザの眼の異なる位置に投射し、
前記制御部は、前記光検出器が前記複数の検査用光線の前記反射光のうちの少なくとも１つの反射光を検出しない場合に、前記画像用光線の投射位置が検出されない前記反射光に対応する前記検査用光線の投射位置の方向に移動するように、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させることを特徴とする請求項３から６のいずれか一項記載の画像投影装置。
前記制御部は、前記光源を制御して、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させた後に前記画像用光線で形成される前記画像を、前記画像用光線と前記検査用光線の前記投射位置を連動して移動させる前に前記画像用光線で形成された画像と異ならせることを特徴とする請求項３から７のいずれか一項記載の画像投影装置。
画像を形成する画像用光線と、複数の検査用光線と、を出射する光源と、
前記光源から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記光源から出射された前記複数の検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域の異なる位置に投射する光学系と、
前記複数の検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、
前記光検出器が前記複数の検査用光線のうちの前記ユーザの眼の第１の位置に投射される第１検査用光線の前記反射光を検出しない場合に前記光源を制御して前記画像用光線で形成される前記画像の第１制御を行い、前記光検出器が前記複数の検査用光線のうちの前記ユーザの眼の前記第１の位置とは異なる第２の位置に投射される第２検査用光線の前記反射光を検出しない場合に前記光源を制御して前記画像用光線で形成される前記画像の前記第１制御とは異なる第２制御を行う制御部と、を備えることを特徴とする画像投影装置。
画像を形成する画像用光線と、複数の検査用光線と、を出射する光源と、
前記光源から出射された前記画像用光線をユーザの眼の第１表面領域に投射して前記ユーザの網膜に投射し、前記光源から出射された前記複数の検査用光線を前記ユーザの眼の前記第１表面領域から離れた第２表面領域の異なる位置に投射する光学系と、
前記複数の検査用光線が前記ユーザの眼で反射した反射光を検出する光検出器と、
前記光検出器が前記複数の検査用光線のうちの一部の検査用光線の前記反射光を検出しない場合に前記光源を制御して前記画像用光線で形成される前記画像の第１制御を行い、前記光検出器が前記複数の検査用光線の全ての前記反射光を検出しない場合に前記光源を制御して前記画像用光線で形成される前記画像の前記第１制御とは異なる第２制御を行う制御部と、を備えることを特徴とする画像投影装置。
前記光学系は、前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射することを特徴とする請求項１から１０のいずれか一項記載の画像投影装置。
前記制御部は、前記光検出器による前記反射光の検出結果に基づき、前記１つの光源部を制御して前記ユーザに警告を発することを特徴とする請求項１または２記載の画像投影装置。
前記制御部は、前記１つの光源部を制御して前記ユーザの眼の前記第１表面領域と前記第２表面領域とを含む一体の領域に警告用の光を出射させることを特徴とする請求項１２記載の画像投影装置。
前記光学系は、前記画像用光線を走査し且つ前記検査用光線を反射するミラーと、前記ミラーで走査された前記画像用光線が前記ユーザの瞳孔を通過して前記ユーザの網膜に投射される場合に前記ミラーで反射された前記検査用光線が前記ユーザの虹彩に投射される位置関係で、前記画像用光線と前記検査用光線とを前記ユーザの眼に投射する投射部と、を備え、
前記ミラーは、第１方向と前記第１方向に交差する第２方向に、前記ユーザの網膜に投影する画像の範囲よりも大きく振動し、
前記画像用光線は、前記ミラーの振動における前記画像の範囲に相当する期間において前記ミラーに出射され、前記検査用光線は、前記ミラーの振動における前記画像の範囲外の時間において前記ミラーに出射されることを特徴とする請求項１から１３のいずれか一項記載の画像投影装置。
前記投射部は、前記画像用光線が入射する第１領域と、前記第１領域とは光学的に不連続であり、前記検査用光線が入射する第２領域と、を有することを特徴とする請求項１４記載の画像投影装置。