JP7123452B2 - 画像投影装置 - Google Patents

Description

本発明は、画像投影装置に関する。

ユーザの視線方向を撮像する撮像部を備え、撮像部が撮像した画像と仮想空間の画像とを合成した合成画像をユーザに提示するヘッドマウントディスプレイが知られている（例えば特許文献１）。また、光線を二次元に走査し、走査した光線をユーザの網膜に照射することでユーザの網膜に画像を投影する画像投影装置が知られている（例えば特許文献２）。

特開２０１７－５９０６２号広報 特開２００９－２５８６８６号広報

ユーザの視線方向を撮像した画像をユーザの網膜に投影する画像投影装置において、ユーザが眼で直接見た状態に近い画像が網膜に投影されることが望まれている。

本発明は、上記課題に鑑みなされたものであり、ユーザが直接見た状態に近い画像を網膜に投影することを目的とする。

本発明は、光源と、前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、前記ユーザの視線方向を撮像する撮像部と、前記光源及び前記走査部を制御して、前記撮像部で撮像される撮像画像を前記網膜に投影する投影制御部と、前記撮像部が撮像する前記撮像画像の画角を変更又は前記複数の光線が前記収束点で収束する収束角度を変更する角度制御部と、を備え、前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される投影画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線と略一致し、前記撮像部が撮像する前記撮像画像の画角は前記複数の光線が前記収束点で収束する前記収束角度と略同じ角度から前記収束角度よりも大きい角度の範囲で変更可能である、又は、前記複数の光線が前記収束点で収束する前記収束角度は前記撮像部が撮像する前記撮像画像の画角と略同じ角度から前記撮像画像の画角よりも小さい角度の範囲で変更可能であり、前記角度制御部は、前記ユーザが前記撮像部の撮像面から第１の距離だけ離れた位置にある対象物を見る場合に、前記撮像面から前記第１の距離だけ離れた位置における前記撮像画像の幅に相当する長さが、前記網膜に投影される前記投影画像を形成する前記複数の光線を前記収束点から仮想的に前記撮像面から前記第１の距離だけ離れた位置まで伸ばしたときに前記第１の距離だけ離れた位置に形成される仮想画像の幅の９７％以上１０３％以下になるように、前記撮像画像の画角又は前記収束角度を変更する、画像投影装置である。

上記構成において、前記角度制御部は、前記第１の距離が所定距離よりも短い場合には、前記所定距離よりも長い場合に比べて、前記撮像画像の画角を大きく又は前記収束角度を小さくする構成とすることができる。

上記構成において、前記角度制御部は、前記第１の距離が前記所定距離よりも長い場合には前記撮像画像の画角と前記収束角度とが略一致するようにし、前記所定距離よりも短い場合には前記撮像画像の画角が前記収束角度よりも大きくなるようにする構成とすることができる。

上記構成において、前記所定距離は、８００ｍｍ～１６００ｍｍの範囲内の値である構成とすることができる。

上記構成において、前記ユーザが前記撮像画像の画角又は前記収束角度の変更情報を入力する入力部を備え、前記角度制御部は、前記入力部に入力された前記変更情報に基づき 、遠距離用若しくは前記遠距離用よりも前記撮像画像の画角が大きい又は前記収束角度が小さい手元用とで前記撮像画像の画角又は前記収束角度を変更する構成とすることができる。

上記構成において、前記遠距離用は前記撮像画像の画角と前記収束角度とが略一致し、前記手元用は前記撮像画像の画角が前記収束角度よりも大きい構成とすることができる。

上記構成において、前記撮像部の前記撮像面と前記収束点との間の距離をＬｚ、前記撮像面から前記対象物までの距離をｌ、前記撮像画像の画角をθ、前記収束角度をφとしたときに、前記角度制御部は、ｌ×ｔａｎ（θ／２）の値が（ｌ＋Ｌｚ）×ｔａｎ（φ／２）の値の９７％以上１０３％以下になるように、前記撮像画像の画角又は前記収束角度を変更する構成とすることができる。

本発明は、光源と、前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、前記ユーザの眼の前方に配置される反射ミラーと、前記反射ミラーを介して前記ユーザの視線方向を撮像する撮像部と、前記光源及び前記走査部を制御して、前記撮像部で撮像される画像を前記網膜に投影する投影制御部と、を備え、前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される前記画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線に前記反射ミラーで屈曲して略一致し、前記撮像部で撮像される前記画像の画角と前記複数の光線が前記収束点で収束する収束角度とは略一致し、前記撮像部の光軸と前記仮想直線とが前記反射ミラーにおいて略合わさる合致点と前記撮像部との間の距離と、前記反射ミラーの前記合致点と前記収束点との間の距離とは、略一致する、画像投影装置である。

上記構成において、前記光学系と前記撮像部とが取り付けられた眼鏡型フレームを備え、前記光学系と前記撮像部は、前記眼鏡型フレームに対して一体となって移動可能である構成とすることができる。

上記構成において、前記撮像部と光軸が一致するように前記撮像部に着脱可能に設置されたレンズを備える構成とすることができる。

本発明によれば、ユーザが直接見た状態に近い画像を網膜に投影することができる。

図１（ａ）は、実施例１に係る画像投影装置の正面図、図１（ｂ）は、図１（ａ）のＡ方向から見た側面図、図１（ｃ）は、図１（ａ）のＢ方向から見た平面図である。 図２（ａ）および図２（ｂ）は、カメラユニットの断面図である。 図３は、制御部の機能ブロック図である。 図４は、投影ユニットの構成部材を示す概略図である。 図５は、ユーザの網膜上での光線の走査を示す図である。 図６は、実施例１における撮像部とユーザの眼に照射される光線との位置関係を示す図である。 図７は、実施例１における画像投影処理の一例を示すフローチャートである。 図８（ａ）から図８（ｃ）は、対象物までの距離と画角との関係を示す図である。 図９（ａ）から図９（ｃ）は、撮像部が撮像する画像の画角を変更したときにおける、撮像画像と投影画像のサイズを示す図である。 図１０は、実施例１の変形例における撮像部とユーザの眼に照射される光線との位置関係を示す図である。 図１１は、実施例２における画像投影処理の一例を示すフローチャートである。 図１２は、実施例３における撮像部とユーザの眼に照射される光線との位置関係を示す図である。

以下、図面を参照し、本発明の実施例について説明する。

図１（ａ）は、実施例１に係る画像投影装置の正面図、図１（ｂ）は、図１（ａ）のＡ方向から見た側面図、図１（ｃ）は、図１（ａ）のＢ方向から見た平面図である。図の明瞭化のために、図１（ａ）から図１（ｃ）ではカメラユニット１０及び投影ユニット３０にハッチングを付し、図１（ａ）及び図１（ｂ）では制御部８０の図示を省略している。図１（ａ）から図１（ｃ）を参照して、実施例１の画像投影装置１００は、カメラユニット１０と、投影ユニット３０と、カメラユニット１０及び投影ユニット３０を制御する制御部８０と、を備える。カメラユニット１０は、アタッチメント９０と固定部材９１によって投影ユニット３０に固定されている。アタッチメント９０及び固定部材９１によって一体となったカメラユニット１０及び投影ユニット３０は、眼鏡型フレーム９２に設けられた貫通孔９３に固定部材９１が挿入して固定されることで、眼鏡型フレーム９２に固定されている。固定部材９１は例えばネジである。制御部８０は、眼鏡型フレーム９２には設けられてなく、例えば携帯端末等の外部機器に設けられている。

眼鏡型フレーム９２を装着するユーザの視線方向を第１方向とし、ユーザの左右の眼が並ぶ方向を第２方向とする。貫通孔９３の第２方向における大きさは、固定部材９１よりも大きくなっている。したがって、カメラユニット１０及び投影ユニット３０は、眼鏡型フレーム９２に対して第２方向に一体となって移動可能となっている。

図２（ａ）および図２（ｂ）は、カメラユニットの断面図である。図２（ａ）を参照して、カメラユニット１０は、筐体１１と、筐体１１内に設けられた配線基板１２と、配線基板１２に搭載されたＣＣＤイメージセンサ等の撮像素子を含む撮像部１３と、レンズ１４と、撮像部１３に電気的に接続された配線ケーブル１５と、を備える。撮像部１３は、レンズ１４を介して眼鏡型フレーム９２を装着するユーザの視線方向（第１方向）を撮像する。撮像部１３の光軸とレンズ１４の光軸は略一致している。撮像部１３が撮像した画像データは配線ケーブル１５を介してカメラユニット１０の外部に取り出される。なお、図２（ｂ）については後述する。

図１（ａ）から図１（ｃ）を参照して、制御部８０は、配線ケーブル１５を介して撮像部１３に電気的に接続されるとともに、配線ケーブル３７を介して投影ユニット３０に含まれる光源及び走査部に電気的に接続されている。制御部８０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。

図３は、制御部の機能ブロック図である。図３を参照して、制御部８０は、ハードウェアとソフトウェアとの協働によって投影制御部８１と撮像制御部８２と角度制御部８３として機能する。投影制御部８１と撮像制御部８２と角度制御部８３は専用に設計された回路でもよい。投影制御部８１と撮像制御部８２と角度制御部８３は、１つの回路でもよいし、異なる回路でもよい。

投影制御部８１は、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画像投影の開始を指示した場合に画像投影を開始し、画像投影の終了を指示した場合に画像投影を終了する。撮像制御部８２は、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画像投影の開始を指示した場合に撮像部１３による撮像を開始し、画像投影の終了を指示した場合に撮像部１３による撮像を終了する。入力部８４は、例えばタッチパネルであるが、その他の場合でもよい。撮像制御部８２は、撮像部１３がユーザの視線方向の撮像を開始すると、撮像部１３から撮像した画像データを取得する。投影制御部８１は、撮像制御部８２から画像データを取得し、取得した画像データに基づいて投影ユニット３０の光源及び走査部を制御して、眼鏡型フレーム９２を装着するユーザの網膜に画像を投影する。角度制御部８３は、撮像部１３が撮像する画像の画角を必要に応じて変更する。

実施例１における画像投影装置１００では、眼鏡型フレーム９２を装着するユーザは、左眼には撮像部１３が撮像したユーザの視線方向の画像が投影され、右眼ではユーザの前方を直接見ることになる。

図４は、投影ユニットの構成部材を示す概略図である。図４では、図３に示した制御部８０を併せて図示するとともに、制御部８０に係る制御線を点線で図示している。図４を参照して、投影ユニット３０は、光源３１と、走査部３２と、反射ミラー３３及び３４と、を備える。投影制御部８１は、光源３１からの光線３６の出射を制御するとともに、走査部３２の駆動を制御する。なお、光源３１は、投影ユニット３０に備わらずに、投影ユニット３０の外部にあってもよい。

光源３１は、投影制御部８１の制御の下、例えば赤色レーザ光（波長：６１０ｎｍ～６６０ｎｍ程度）、緑色レーザ光（波長５１５ｎｍ～５４０ｎｍ程度）、及び青色レーザ光（波長：４４０ｎｍ～４８０ｎｍ程度）の可視レーザ光を出射する。赤色、緑色、及び青色のレーザ光を出射する光源３１として、例えばＲＧＢ（赤・緑・青）それぞれのレーザダイオードチップと３色合成デバイスとが集積された光源が挙げられる。光源３１は、１つのモジュール内にレーザダイオードチップと３色合成デバイスとが集積されている。なお、光源３１は、単一の波長のレーザ光を出射してもよい。

走査部３２（スキャナ）は、光源３１が出射する光線３６を二次元に走査する。走査部３２は、例えばＭＥＭＳ（Micro Electro Mechanical System）ミラーであり、光線３６を水平方向及び垂直方向の二次元に走査する。走査部３２はＭＥＭＳミラー以外であってもよい。走査部３２によって走査されることで走査部３２から異なる時間に出射された複数の光線３６は、反射ミラー３３で反射して、反射ミラー３４の手前の収束点４０で収束した後に反射ミラー３４に照射される。複数の光線３６は、反射ミラー３４で反射して、眼鏡型フレーム９２を装着するユーザの眼５０の瞳孔５１近傍の収束点４１で収束し、水晶体５２及び硝子体５３を透過して網膜５４に照射される。ユーザは、網膜５４に照射された複数の光線３６の残像効果によって画像を認識する。反射ミラー３３及び３４は、反射面が自由曲面等の曲面を有する凹面ミラーであり、正の集光パワーを有する。

このように、走査部３２と反射ミラー３３及び３４とは、光源３１から出射される光線３６を二次元に走査し、走査されることで走査部３２から異なる時間に出射される複数の光線３６をユーザの眼５０内の収束点４１で収束させた後に網膜５４に照射する光学系３５を構成する部材である。

図５は、ユーザの網膜上での光線の走査を示す図である。図５を参照して、走査部３２は、ユーザの網膜５４上で光線３６を矢印６１のように左上から右下までラスタースキャンする。走査部３２が駆動しても光源３１が光線３６を出射しないと、光線３６は網膜５４に照射されない。例えば、図５の破線の矢印６１では光線３６は出射されない。投影制御部８１は、光源３１からの光線３６の出射と走査部３２の駆動とを同期させる。これにより、光源３１が実線の矢印６１において光線３６を出射することで、網膜５４に画像６０が投影される。ここで、光線３６が走査部３２によって走査されることで、走査部３２から異なる時間に出射される複数の光線３６のうち網膜５４に投影される画像６０の中心に対応する光線を中心光線３６ａとする。

図６は、実施例１における撮像部とユーザの眼に照射される光線との位置関係を示す図である。図６を参照して、撮像部１３は、眼鏡型フレーム９２を装着するユーザの眼５０の前方に配置され、ユーザの視線方向（第１方向）を撮像する。撮像部１３の光軸１６は、走査部３２によって走査されることで走査部３２から異なる時間に出射される複数の光線３６のうち網膜５４に投影される画像６０の中心に対応する中心光線３６ａが収束点４１から網膜５４に向かう方向で中心光線３６ａに重なって延びる仮想直線３８と略一致して重なる。別の言い方をすると、撮像部１３の光軸１６は、収束点４１と中心光線３６ａが網膜５４に照射される箇所とを結んだ仮想直線３８と略一致して重なる。また、網膜５４に投影される画像６０の中心と走査部３２が駆動する駆動範囲６２（図５参照）の中心とが略一致する場合、撮像部１３の光軸１６は、走査部３２の駆動範囲６２の中心で走査される中心光線３６ａが収束点４１から網膜５４に向かう方向で中心光線３６ａに重なって延びる仮想直線３８と略一致するとも言える。

撮像部１３が撮像する画像の画角θは、走査部３２から異なる時間に出射される複数の光線３６が眼５０内の収束点４１に収束する収束角度φと略同じ角度から収束角度φよりも大きな角度の範囲で少なくとも変更可能となっている。収束角度φは例えば２５°～２８°程度である。画角θは角度制御部８３によって変更される。角度制御部８３は、撮像部１３の光学ズームを変更することで画角θを変更してもよいし、デジタルズームを変更することで画角θを変更してもよい。

図７は、実施例１における画像投影処理の一例を示すフローチャートである。図７を参照して、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画像投影の開始を指示すると、角度制御部８３は撮像部１３が撮像する画像の画角θを初期値に設定し（ステップＳ１０）、撮像制御部８２は撮像部１３に撮像を開始させる（ステップＳ１２）。画角θの初期値は、例えば複数の光線３６が収束点４１に収束する収束角度φと略同じ大きさとしてもよい。撮像部１３は、眼鏡型フレーム９２を装着するユーザの視線方向（第１方向）の撮像を開始する。

次いで、撮像制御部８２は、撮像部１３が撮像した画像データを取得する（ステップＳ１４）。撮像部１３が撮像する画像の画角θをデジタルズームによって調整する場合では、角度制御部８３は、取得した画像データに対して初期値の画角θとなるようにトリミングを行ってもよい。次いで、投影制御部８１は、撮像制御部８２から入力された画像データに基づいて光源３１及び走査部３２を制御し、眼鏡型フレーム９２を装着するユーザの網膜５４に光線３６を照射することで画像６０を投影する（ステップＳ１６）。網膜５４に投影される画像６０は、撮像部１３が撮像したユーザの視線方向の画像のみの場合でもよいし、撮像部１３が撮像したユーザの視線方向の画像と仮想空間の画像とを合成した合成画像の場合でもよい。

次いで、投影制御部８１は、眼鏡型フレーム９２を装着するユーザによる入力部８４の操作に基づいて、画像投影を終了するか否かを判断する（ステップＳ１８）。ユーザが入力部８４を操作して画像投影の終了を指示するまで、投影制御部８１は、画像投影を継続すると判断する（ステップＳ１８：Ｎｏ）。角度制御部８３は、投影制御部８１が画像投影を継続すると判断した場合、眼鏡型フレーム９２を装着するユーザの視線方向に位置し、ユーザが見ている対象物までの距離を取得する（ステップＳ２０）。対象物までの距離の取得は、一般的に知られている方法が用いられる。例えば、カメラのレンズに構造開口を追加することで距離を取得する方法や、複数の視点から撮影した画像から対象物までの距離を取得する方法等を用いてもよい。また、後述の実施例１の変形例のように、両眼に画像を投影する場合では、ステレオカメラによる対象物までの距離を取得する方法を用いてもよい。

次いで、角度制御部８３は、ステップＳ２０で取得した対象物までの距離に基づいて、撮像部１３が撮像する画像の画角θを変更するか否かを判断する（ステップＳ２２）。例えば、画角θが収束角度φと略同じ大きさになっている場合を想定する。この場合、ユーザが見ている対象物までの距離が所定距離Ｄ以上である場合は、画角θの変更は不要と判断し（ステップＳ２２：Ｎｏ）、画角θを収束角度φと略同じ大きさに維持したまま、ステップＳ１４に戻る。一方、例えば、ユーザが見ている対象物までの距離が所定距離Ｄ未満である場合は、画角θの変更は必要と判断し（ステップＳ２２：Ｙｅｓ）、画角θを収束角度φよりも大きくなるように変更する（ステップＳ２４）。その後、ステップＳ１４に戻る。所定距離Ｄは、例えば８００［ｍｍ］～１６００［ｍｍ］の範囲の値とすることができる。

図８（ａ）から図８（ｃ）は、対象物までの距離と画角との関係を示す図である。対象物までの距離が所定距離Ｄ以上である場合は、図８（ａ）から図８（ｃ）のように、画角θを収束角度φと略同じ角度としてもよい。対象物までの距離が所定距離Ｄ未満である場合は、図８（ａ）のように、画角θを収束角度φよりも大きい一定角度としてもよいし、図８（ｂ）のように、対象物までの距離が短くなるに従い画角θを階段状に大きくしていってもよいし、図８（ｃ）のように、対象物までの距離が短くなるに従い画角θを直線状に大きくしていってもよい。

図８（ａ）から図８（ｃ）の対象物までの距離と画角θの関係とを示す情報を記憶部に予め記憶させておき、角度制御部８３は記憶された情報と対象物までの距離とに基づいて画角θを制御すればよい。

ステップＳ１８において、ユーザが入力部８４を操作して画像投影の終了を指示すると、投影制御部８１は画像投影を終了すると判断し（ステップＳ１８：Ｙｅｓ）、画像投影処理を終了する。

ここで、撮像部１３が撮像する画像の画角θを変更する理由について説明する。図１（ａ）から図１（ｃ）のように、眼鏡型フレーム９２を装着するユーザは、左眼には撮像部１３が撮像するユーザの視線方向の画像が投影され、右眼では画像が投影されずに前方を直接見ている。このように、両眼のうちの一方の眼では前方を直接見て、他方の眼には撮像部１３が撮像する画像が投影される場合では、不等像視が生じて融像が上手くできない場合がある。したがって、撮像部１３が撮像する画像が眼に投影される場合でも、ユーザが自身の眼で直接見た状態に近い画像が投影されることが好ましい。

図９（ａ）から図９（ｃ）は、撮像部が撮像する画像の画角を変更したときにおける、撮像画像と投影画像のサイズを示す図である。図９（ａ）から図９（ｃ）では、撮像部１３が撮像する画像（撮像画像）のサイズを破線で示し、網膜５４に投影される画像（投影画像）のサイズを点線で示している。図９（ａ）を参照して、撮像部１３が撮像する画像の画角θと複数の光線３６が収束点４１に収束する収束角度φとが略同じ大きさである場合、投影画像のサイズを基準とした場合における撮像画像と投影画像のサイズ差の割合は、ユーザが近くの対象物を見る場合は遠くの対象物を見る場合に比べて大きくなる。すなわち、ユーザが見ている対象物がＡ、Ｂ、又はＣの位置にある場合、Ａ、Ｂ、Ｃの順に投影画像のサイズに対する撮像画像と投影画像とのサイズ差の割合は大きくなる。

図９（ｂ）及び図９（ｃ）のように、撮像部１３が撮像する画像の画角θを収束角度φよりも大きくすると、撮像画像のサイズと投影画像のサイズが同じになる位置Ｏが生じる。画角θが大きくなるほど、撮像画像のサイズと投影画像のサイズが同じになる位置Ｏはユーザの眼５０に近づく。従って、撮像部１３が撮像する画像の画角θを収束角度φと異なる角度にすることで、撮像画像のサイズと投影画像のサイズが同じになる位置を可変及び調節することができる。

ここで、撮像部１３の撮像面と収束点４１との間の距離をＬｚ、撮像部１３の撮像面からユーザが見ている対象物までの距離をｌとする。この場合、投影画像のサイズに対する撮像画像と投影画像とのサイズ差の割合を歪率ε（ｌ）とすると、歪率ε（ｌ）は下記の数１で表される。

眼鏡型フレーム９２を装着するユーザの左眼には撮像部１３が撮像した画像が投影される。この場合、ユーザの網膜５４に投影される画像のサイズに対する撮像部１３が撮像する画像と網膜５４に投影される画像とのサイズ差の割合が小さいほど、ユーザは自身の眼で直接見た状態に近い画像が網膜５４に投影されることになる。ユーザが自身の眼で直接見た状態に近い画像が左眼の網膜５４に投影されると、右眼で直接見た画像と融像でき、正常立体視が得られるようになる。

左右の眼に映る画像が融像されて正常立体視が得られるためには、左右の眼に映る対象物の大きさの差を３％以内に収めること、すなわち左右の眼における不等像視を３％以内に収めることが知られている（例えば、論文“Effect of Aniseikonia on Binocular Function”、Osamu Katsumi他２名、INVESTIGATIVE OPHTALMOLOGY & VISUAL SCIENCE Vol 27、1986年4月、６０１頁－６０４頁）。

ここで、ユーザの網膜５４に投影する画像のサイズが１６：９で、水平方向の収束角度φを２６度としたときの歪率ε（ｌ）の例を示す。図９（ａ）から図９（ｃ）における、撮像部１３の撮像面と収束点４１との間の距離Ｌｚは、各構成部材の大きさや機能の関係上、２５ｍｍ～５０ｍｍになる。この場合、画角θと収束角度φが略同じ大きさであるとすると、数１から歪率ε（ｌ）が３％になる距離ｌは８００ｍｍ～１６００ｍｍ程度となる。つまり、ユーザが８００ｍｍ～１６００ｍｍ以上離れた位置にある遠くの対象物を見る場合では、画角θの大きさを収束角度φの大きさに略一致させることで、不等像視が小さく抑えられ正常立体視が得られる。

また、ユーザが８００ｍｍ未満の範囲内にある近くの対象物を見る場合では、画角θを収束角度φよりも大きくすることで歪率ε（ｌ）を３％以内に収められ、正常立体視が得られる。例えばユーザが３００ｍｍ程度離れた位置にある対象物を見る場合では、画角θを収束角度φよりも５％～１３％大きくすることで歪率ε（ｌ）を３％以内に収められ、正常立体視が得られる。水平方向の収束角度φが２６度以外の場合も、数１に示す数式で各パラメータを設定することにより、歪率ε（ｌ）を３％以内に収めることができ、また設定したパラメータの時の歪率ε（ｌ）を算出することができる。

実施例１によれば、図６のように、撮像部１３の光軸１６は、複数の光線３６のうち網膜５４に投影される画像６０の中心に対応する中心光線３６ａが収束点４１から網膜５４に向かう方向で中心光線３６ａに重なって延びる仮想直線３８と略一致する。複数の光線３６を眼５０内の収束点４１に収束させた後に網膜５４に照射して画像６０を投影する画像投影装置はアイボックスが狭いため、中心光線３６ａの入射方向とユーザの視線方向とが略一致する。このため、撮像部１３の光軸１６と中心光線３６ａに重なって延びた仮想直線３８とを略一致させることで、撮像部１３が撮像する画像はユーザが自身の眼で前方を直接見た状態に近い画像となる。よって、ユーザが自身の眼で直接見た状態に近い画像が網膜５４に投影されるようになる。例えば、撮像部１３が両眼の間に設置されて視線方向を撮像する場合、ユーザは自身の眼で直接見た状態とは異なる状態の画像が投影されるために違和感を生じ、遠近感が上手く掴めないようなことが起こり得る。しかしながら、実施例１ではユーザが自身の眼で直接見た状態に近い画像が投影されるため、このような違和感が抑制される。撮像部１３の光軸１６と仮想直線３８が略一致するとは、完全に一致する場合に限られず、製造誤差程度のずれを許容する。

撮像部１３は、画角θが収束角度φと略同じ角度から収束角度φよりも大きい角度の範囲で変更可能であることが好ましい。これにより、図９（ａ）から図９（ｃ）で説明したように、ユーザが近くにある対象物を見た場合でも歪率ε（ｌ）を小さくすることができ、ユーザが自身の眼で直接見た状態に近い画像が投影されるようになる。よって、例えば、左右の眼における不等像視を小さく抑えることができ、正常立体視を得ることができる。

図９（ａ）から図９（ｃ）で説明したように、水平方向の収束角度φを２６度としたとき、ユーザが３００ｍｍ程度離れた位置にある対応物を見る場合では、画角θは収束角度φよりも５％～１３％大きくすることで歪率ε（ｌ）を３％以内にすることができる。よって、撮像部１３は、画角θが収束角度φと略同じ角度から収束角度φより１３％大きい角度の範囲で少なくとも変更可能であることが好ましい。ユーザが３００ｍｍよりも近い対象物を見る場合等を考慮して、撮像部１３は、画角θが収束角度φと略同じ角度から収束角度φより１５％大きい角度の範囲で少なくとも変更可能である場合でもよいし、画角θが収束角度φと略同じ角度から収束角度φより１８％大きい角度の範囲で少なくとも変更可能である場合でもよいし、画角θが収束角度φと略同じ角度から収束角度φより２０％大きい角度の範囲で少なくとも変更可能である場合でもよい。

図７で説明したように、角度制御部８３は、ユーザがユーザからの距離が所定距離Ｄよりも近くにある対象物を見る場合は、所定距離Ｄよりも遠くにある対象物を見る場合に比べて、撮像部１３の画角θを大きくする。これにより、ユーザが近くにある対象物及び遠くにある対象物のいずれを見る場合でも、歪率ε（ｌ）を小さくすることができ、ユーザが自身の眼で直接見た状態に近い画像が投影されるようになる。

近くにある対象物及び遠くにある対象物のいずれを見る場合でも歪率ε（ｌ）を小さく抑えるために、角度制御部８３は、ユーザが所定距離Ｄよりも遠くにある対象物を見る場合には画角θと収束角度φを略一致させ、所定距離Ｄよりも近くにある対象物を見る場合には画角θを収束角度φよりも大きくすることが好ましい。角度制御部８３は、水平方向の収束角度φを２６度としたときにはユーザが３００ｍｍ以内にある対象物を見る場合には画角θを収束角度φよりも５％以上大きくすることが好ましい。画角θを収束角度φに略一致させるとは、完全に一致させる場合に限られず、製造誤差程度のずれを許容する。

図１（ａ）から図１（ｃ）のように、光学系３５を備える投影ユニット３０と撮像部１３を備えるカメラユニット１０とは、眼鏡型フレーム９２に取り付けられて、眼鏡型フレーム９２に対して一体となって移動可能であることが好ましい。これにより、左右の眼の間隔が異なる様々なユーザに対応可能な画像投影装置が得られる。

撮像部１３の画角θを変更する方法として、角度制御部８３が撮像部１３の光学ズームまたはデジタルズームを変更することで画角θを変更する場合を説明したが、これに限られるものではない。例えば、図２（ｂ）に示すカメラユニット１０ａのように、撮像部１３の前にあるレンズ１４と光軸が一致する（すなわち撮像部１３と光軸が一致する）ように、光軸とのなす角（画角）が異なるレンズ１４ａを交換可能に追加して設置することで、画角θを変更する場合でもよい。レンズ１４ａは、レンズ設置用のアダプタ１７を用いて追加設置する場合や、レンズ１４ａの周囲にネジ溝を設けるともにレンズ１４の周囲にもレンズ１４ａのねじ溝に合致するねじ溝を設けることで追加設置する場合など、様々な方法により交換可能に追加設置することができる。これにより、角度制御部８３を用いなくても、簡単な構成で容易に撮像部１３の画角θを変更することができる。

角度制御部８３を設けない場合は、撮像部１３の画角θは固定されるが、焦点距離を固定することで、その焦点距離においては、精度よく安定して左右の眼に映る画像を融像させることができる。また、角度制御部８３と併用すれば、追加したレンズ１４ａによって画角θを設定したうえで、角度制御部８３によって調整することで最適な画角に設定することができ、さらに汎用性を高めることができる。なお、レンズ１４に加えてレンズ１４ａを追加する場合に限られず、レンズ１４をレンズ１４ａに交換する場合でもよい。

実施例１では、画角θが収束角度φと略同じ角度から収束角度φよりも大きい角度の範囲で変更可能であって、角度制御部８３は画角θを変更する場合を例に示したが、この場合に限られない。収束角度φが画角θと略同じ角度から画角θよりも小さい角度の範囲で変更可能であって、角度制御部８３は収束角度φを変更する場合でもよい。この場合、角度制御部８３は、ユーザがユーザからの距離が所定距離Ｄよりも近くにある対象物を見る場合は、所定距離Ｄよりも遠くにある対象物を見る場合に比べて、収束角度φを小さくすることが好ましい。

図１０は、実施例１の変形例における撮像部とユーザの眼に照射される光線との位置関係を示す図である。ユーザの眼との位置関係を示す図である。図１０を参照して、実施例１の変形例の画像投影装置１１０では、眼鏡型フレーム９２を装着するユーザの両方の眼５０の前方に撮像部１３（すなわちカメラユニット１０）及び投影ユニット３０が設けられている。眼鏡型フレーム９２を装着するユーザの両方の眼５０において、撮像部１３の光軸１６は仮想直線３８と略一致して重なっている。また、ユーザの両方の眼５０において、画角θは収束角度φと略同じ角度から収束角度φよりも大きな角度の範囲で少なくとも変更可能となっている。その他の構成は実施例１と同じであるため説明を省略する。

実施例１では、眼鏡型フレーム９２を装着するユーザの両眼のうちの一方の眼に撮像部１３が撮像する画像を投影し、他方の眼ではユーザは前方を直接見る場合を例に示した。しかしながら、この場合に限られず、実施例１の変形例のように、ユーザの両眼に撮像部１３が撮像する画像を投影する場合でもよい。この場合でも、撮像部１３の光軸１６が仮想直線３８に略一致することで、撮像部１３が撮像する画像はユーザが自身の眼で前方を直接見た状態に近い画像となる。よって、ユーザが自身の眼で直接見た状態に近い画像が網膜５４に投影されるようになる。

実施例２の画像投影装置の構成は実施例１と同じであるため図示及び説明を省略する。図１１は、実施例２における画像投影処理の一例を示すフローチャートである。図１１を参照して、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画像投影の開始を指示すると、角度制御部８３は撮像部１３が撮像する画像の画角θを初期値に設定し（ステップＳ３０）、撮像制御部８２は撮像部１３に撮像を開始させる（ステップＳ３２）。

次いで、撮像制御部８２は、撮像部１３が撮像した画像データを取得する（ステップＳ３４）。次いで、投影制御部８１は、撮像制御部８２から入力された画像データに基づいて光源３１及び走査部３２を制御し、眼鏡型フレーム９２を装着するユーザの網膜５４に光線３６を照射することで画像６０を投影する（ステップＳ３６）。

次いで、投影制御部８１は、眼鏡型フレーム９２を装着するユーザによる入力部８４の操作に基づいて、画像投影を終了するか否かを判断する（ステップＳ３８）。投影制御部８１が画像投影を継続すると判断した場合（ステップＳ３８：Ｎｏ）、角度制御部８３は撮像部１３が撮像する画像の画角θを変更するか否かを判断する（ステップＳ４０）。角度制御部８３は、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画角θを変更する情報を入力した場合に、画角θの変更が必要と判断する（ステップＳ４０：Ｙｅｓ）。この場合、角度制御部８３は、ユーザが入力した画角θの変更情報に基づいて画角θを変更する（ステップＳ４２）。その後、ステップＳ３４に戻る。例えば、図８（ａ）のように、対象物までの距離が短い手元用と対象物までの距離が遠い遠距離用との設定があり、ユーザが入力部８４に入力する情報に基づいて、画角θを遠距離用の画角又は遠距離用の画角よりも大きい手元用の画角に変更する。また、図８（ｂ）及び図８（ｃ）のように、画角θを手元用の画角にする場合では、ユーザが入力部８４を操作し続けること等によって画角θを階段状又は直線状に変化させてもよい。

一方、ユーザが画角θを変更するとの情報を入力していない場合では、角度制御部８３は画角θの変更は不要と判断し（ステップＳ４０：Ｎｏ）、画角θを変更せずにステップＳ３４に戻る。ステップＳ３８において、ユーザが入力部８４を操作して画像投影の終了を指示すると、投影制御部８１は画像投影を終了すると判断し（ステップＳ３８：Ｙｅｓ）、画像投影処理を終了する。

実施例１では、角度制御部８３は、ユーザが見ている対象物までの距離に基づいて撮像部１３の画角θを変更する場合を例に示したが、この場合に限られない。実施例２のように、角度制御部８３は、ユーザが入力部８４を操作することで入力された画角θの変更情報に基づき、遠距離用と遠距離用よりも画角が大きい手元用とで画角θを変更する場合でもよい。この場合、ユーザは一方の眼に投影された撮像部１３の撮像画像と他方の眼で直接見た外界像との重なりによって画角θを調整することができ、個々のユーザに対して適切な画角θとすることが容易にできる。遠距離用は画角θと収束角度φとが略一致し、手元用は画角θが収束角度φよりも大きいことが好ましい。これにより、ユーザが近くにある対象物及び遠くにある対象物のいずれを見る場合でも歪率ε（ｌ）を小さく抑えることができる。

実施例２では、角度制御部８３は、ユーザからの変更情報に基づいて、撮像部１３が撮像する画像の画角θを変更する場合を例に示したが、複数の光線３６が収束点４１に収束する収束角度φを変更する場合でもよい。この場合、角度制御部８３は、遠距離用又は遠距離用よりも収束角度φが小さい手元用とで収束角度φを変更する。

図１２は、実施例３における撮像部とユーザの眼に照射される光線との位置関係を示す図である。図１２を参照して、実施例３の画像投影装置２００では、眼鏡型フレーム９２を装着するユーザの前方であって投影ユニット３０の外側に、ユーザの視線方向（第１方向）に対して略４５°傾いた反射ミラー７０が設けられている。撮像部１３は、反射ミラー７０から眼５０よりも外側にシフトした位置に配置されている。撮像部１３は、反射ミラー７０を介してユーザの視線方向を撮像する。

撮像部１３の光軸１６と仮想直線３８とは、反射ミラー７０の点７１において略一致する。撮像部１３の光軸１６は、反射ミラー７０で屈曲して仮想直線３８に略一致して重なる。撮像部１３の撮像面から反射ミラー７０の点７１までの距離Ｌ１と、収束点４１から反射ミラー７０の点７１までの距離Ｌ２と、は略同じ長さである。撮像部１３が撮像する画像の画角θは、複数の光線３６が収束点４１に収束する収束角度φと略同じ大きさに固定されている。その他の構成は、実施例１と同じであるため説明を省略する。

実施例３によれば、撮像部１３の光軸１６は仮想直線３８に反射ミラー７０で屈曲して略一致する。これにより、実施例１と同様に、撮像部１３が撮像する画像はユーザが自身の眼で前方を直接見た状態に近い画像となる。よって、ユーザが自身の眼で直接見た状態に近い画像が網膜５４に投影されるようになる。

画角θと収束角度φは略一致し、撮像部１３と反射ミラー７０の点７１との間の距離Ｌ１と収束点４１と反射ミラー７０の点７１との間の距離Ｌ２とは略一致する場合が好ましい。これにより、ユーザが近くにある対象物及び遠くにある対象物のいずれを見た場合でも、網膜５４に投影される画像のサイズと撮像部１３が撮像する画像のサイズとが略同じになる。すなわち、上述した歪率ε（ｌ）がほぼゼロになる。よって、ユーザが近くにある対象物及び遠くにある対象物のいずれを見た場合でも、左右の眼における不等像視が小さくなり、正常立体視を得ることができる。距離Ｌ１と距離Ｌ２が略一致するとは、完全に一致する場合に限られず、製造誤差程度のずれを許容する。

実施例３においても、実施例１及び実施例２と同様に、画角θと収束角度φとが異なっている場合でもよく、この場合、歪率ε（ｌ）は３％以内である場合が好ましい。画角θと収束角度φが異なっている場合、実施例１の図７及び実施例２の図１１に示す画像投影処理を行ってもよい。

以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０、１０ａ カメラユニット
１１ 筐体
１２ 配線基板
１３ 撮像部
１４、１４ａ レンズ
１５ 配線ケーブル
１６ 光軸
１７ アダプタ
３０ 投影ユニット
３１ 光源
３２ 走査部
３３、３４ 反射ミラー
３５ 光学系
３６ 光線
３６ａ 中心光線
３７ 配線ケーブル
３８ 仮想直線
４０、４１ 収束点
５０ 眼
５１ 瞳孔
５２ 水晶体
５３ 硝子体
５４ 網膜
６０ 画像
６２ 駆動範囲
７０ 反射ミラー
７１ 点
８０ 制御部
８１ 投影制御部
８２ 撮像制御部
８３ 角度制御部
８４ 入力部
９０ アタッチメント
９１ 固定部材
９２ 眼鏡型フレーム
１００、１１０、２００ 画像投影装置

Claims (10)

1. 光源と、
   前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、
   前記ユーザの視線方向を撮像する撮像部と、
   前記光源及び前記走査部を制御して、前記撮像部で撮像される撮像画像を前記網膜に投影する投影制御部と、
   前記撮像部が撮像する前記撮像画像の画角を変更又は前記複数の光線が前記収束点で収束する収束角度を変更する角度制御部と、を備え、
   前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される投影画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線と略一致し、
   前記撮像部が撮像する前記撮像画像の画角は前記複数の光線が前記収束点で収束する前記収束角度と略同じ角度から前記収束角度よりも大きい角度の範囲で変更可能である、又は、前記複数の光線が前記収束点で収束する前記収束角度は前記撮像部が撮像する前記撮像画像の画角と略同じ角度から前記撮像画像の画角よりも小さい角度の範囲で変更可能であり、
   前記角度制御部は、前記ユーザが前記撮像部の撮像面から第１の距離だけ離れた位置にある対象物を見る場合に、前記撮像面から前記第１の距離だけ離れた位置における前記撮像画像の幅に相当する長さが、前記網膜に投影される前記投影画像を形成する前記複数の光線を前記収束点から仮想的に前記撮像面から前記第１の距離だけ離れた位置まで伸ばしたときに前記第１の距離だけ離れた位置に形成される仮想画像の幅の９７％以上１０３％以下になるように、前記撮像画像の画角又は前記収束角度を変更する、画像投影装置。
2. 前記角度制御部は、前記第１の距離が所定距離よりも短い場合には、前記所定距離よりも長い場合に比べて、前記撮像画像の画角を大きく又は前記収束角度を小さくする、請求項１に記載の画像投影装置。
3. 前記角度制御部は、前記第１の距離が前記所定距離よりも長い場合には前記撮像画像の画角と前記収束角度とが略一致するようにし、前記所定距離よりも短い場合には前記撮像画像の画角が前記収束角度よりも大きくなるようにする、請求項２に記載の画像投影装置。
4. 前記所定距離は、８００ｍｍ～１６００ｍｍの範囲内の値である、請求項２または３に記載の画像投影装置。
5. 前記ユーザが前記撮像画像の画角又は前記収束角度の変更情報を入力する入力部を備え、
   前記角度制御部は、前記入力部に入力された前記変更情報に基づき、遠距離用若しくは前記遠距離用よりも前記撮像画像の画角が大きい又は前記収束角度が小さい手元用とで前記撮像画像の画角又は前記収束角度を変更する、請求項１に記載の画像投影装置。
6. 前記遠距離用は前記撮像画像の画角と前記収束角度とが略一致し、前記手元用は前記撮像画像の画角が前記収束角度よりも大きい、請求項５に記載の画像投影装置。
7. 前記撮像部の前記撮像面と前記収束点との間の距離をＬｚ、前記撮像面から前記対象物までの距離をｌ、前記撮像画像の画角をθ、前記収束角度をφとしたときに、
   前記角度制御部は、ｌ×ｔａｎ（θ／２）の値が（ｌ＋Ｌｚ）×ｔａｎ（φ／２）の値の９７％以上１０３％以下になるように、前記撮像画像の画角又は前記収束角度を変更する、請求項１に記載の画像投影装置。
8. 光源と、
   前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、
   前記ユーザの眼の前方に配置される反射ミラーと、
   前記反射ミラーを介して前記ユーザの視線方向を撮像する撮像部と、
   前記光源及び前記走査部を制御して、前記撮像部で撮像される画像を前記網膜に投影する投影制御部と、を備え、
   前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される前記画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線に前記反射ミラーで屈曲して略一致し、
   前記撮像部で撮像される前記画像の画角と前記複数の光線が前記収束点で収束する収束角度とは略一致し、
   前記撮像部の光軸と前記仮想直線とが前記反射ミラーにおいて略合わさる合致点と前記撮像部との間の距離と、前記反射ミラーの前記合致点と前記収束点との間の距離とは、略一致する、画像投影装置。
9. 前記光学系と前記撮像部とが取り付けられた眼鏡型フレームを備え、
   前記光学系と前記撮像部は、前記眼鏡型フレームに対して一体となって移動可能である、請求項１から８のいずれか一項に記載の画像投影装置。
10. 前記撮像部と光軸が一致するように前記撮像部に着脱可能に設置されたレンズを備える、請求項１から９のいずれか一項に記載の画像投影装置。

Images