JP2024008216A - 画像投影装置及び画像投影方法 - Google Patents

画像投影装置及び画像投影方法 Download PDF

Info

Publication number
JP2024008216A
JP2024008216A JP2022109907A JP2022109907A JP2024008216A JP 2024008216 A JP2024008216 A JP 2024008216A JP 2022109907 A JP2022109907 A JP 2022109907A JP 2022109907 A JP2022109907 A JP 2022109907A JP 2024008216 A JP2024008216 A JP 2024008216A
Authority
JP
Japan
Prior art keywords
eyeball
scanning
image
laser beam
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022109907A
Other languages
English (en)
Inventor
昌信 佐藤
Masanobu Sato
俊二 南
Shunji Minami
寛志 勝田
Hiroshi Katsuta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2022109907A priority Critical patent/JP2024008216A/ja
Publication of JP2024008216A publication Critical patent/JP2024008216A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】眼球が正面以外の方向を向いていても、網膜投影方式でユーザに画像を視認させることが可能な画像投影装置及び画像投影方法を提供する。【解決手段】画像投影装置1において、レーザモジュール20は、レーザ光を出射する。MEMSミラー30は、レーザモジュール20から出射されたレーザ光を走査する。導光リフレクタ60は、MEMSミラー30により走査されたレーザ光を、MEMSミラー30によるレーザ光の走査範囲に対応する入射方向から眼球EYに入射させて、網膜REに画像を投影する。視線センサ35は、頭部に対する眼球EYの向きを計測する。投影制御部は、視線センサ35により計測された眼球EYの向きに応じて走査範囲を設定する。【選択図】図1

Description

本発明は、画像投影装置及び画像投影方法に関する。
網膜投影方式により網膜に画像を投影してユーザに画像を視認させる技術が知られている。例えば、特許文献1は、画像光を網膜上に走査することで画像を表示する画像表示装置を開示している。
網膜投影方式は、瞳孔に光を通して網膜に画像を直接的に投影するマクスウェル視を利用する。そのため、網膜投影方式は、LCD(Liquid Crystal Display)やOLED(Organic Light Emitting Diode)を使用した仮想スクリーン投影方式に比べて、フリーフォーカスのメリットを有する。これにより、前眼部異常等のロービジョンのユーザにとっても画像を見ることができる。
特開2012-159559号公報
特許文献1に開示された画像表示装置では、画像が表示される位置は、網膜で認識できる範囲である中心窩付近の1か所に限定されている。そのため、眼球が頭部に対して正面を向いているときにしか、ユーザに画像を視認させることができない。このような状況のもと、眼球が頭部に対して正面以外の方向を向いているときにも、ユーザに画像を視認させることができるようにすることが求められている。
本発明は、以上のような課題を解決するためのものであり、眼球が正面以外の方向を向いていても、網膜投影方式でユーザに画像を視認させることが可能な画像投影装置及び画像投影方法を提供することを目的とする。
上記目的を達成するため、本発明に係る画像投影装置は、
レーザ光を出射する光源と、
前記光源から出射された前記レーザ光を走査する走査部と、
前記走査部により走査された前記レーザ光を、前記走査部による前記レーザ光の走査範囲に対応する入射方向から眼球に入射させて、網膜に画像を投影する導光部と、
頭部に対する前記眼球の向きを計測する計測部と、
前記計測部により計測された前記眼球の向きに応じて前記走査範囲を設定する制御部と、
を備えることを特徴とする。
本発明によれば、眼球が正面以外の方向を向いていても、網膜投影方式でユーザに画像を視認させることができる。
実施形態1に係る画像投影装置の概略を示す模式図である。 実施形態1に係る画像投影装置の制御ユニットの構成を示すブロック図である。 実施形態1に係る画像投影装置により投影される画像の例を示す図である。 実施形態1において、レーザ光として出射される画素の順序の例を示す図である。 実施形態1に係る画像投影装置の投影ユニットの構成を示すブロック図である。 実施形態1に係る画像投影装置におけるレーザ光の光路を示す図である。 実施形態1に係る画像投影装置において、眼球が正面を向いているときに画像が投影される網膜上の領域を示す図である。 実施形態1に係る画像投影装置において、眼球が左側を向いているときに画像が投影される網膜上の領域を示す図である。 実施形態1に係る画像投影装置により実行される画像投影処理の流れを示すフローチャートである。 (a)及び(b)は、実施形態2に係る画像投影装置におけるレーザ光の光路を、それぞれ横及び上から見た図である。 実施形態2に係る画像投影装置において、眼球が正面を向いているときに画像が投影される網膜上の領域を示す図である。 実施形態2に係る画像投影装置において、眼球が下側を向いているときに画像が投影される網膜上の領域を示す図である。 実施形態3に係る画像投影装置により実行される画像投影処理の流れを示すフローチャートである。 変形例において、レーザ光の光路の第1の例を示す図である。 変形例において、レーザ光の光路の第2の例を示す図である。
以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。
(実施形態1)
図1に、実施形態1に係る画像投影装置1の概略を示す。画像投影装置1は、マクスウェル視を利用してユーザUの網膜REに画像を投影する網膜投影方式の装置である。画像投影装置1は、ユーザUの頭部、メガネフレーム等に取り付けられて使用される。画像投影装置1は、スマートグラス、網膜走査ディスプレイ等とも呼ばれる。
なお、理解を容易にするため、図1では、ユーザUから見て前方向が+X方向であり、ユーザUから見て左方向が+Y方向であり、ユーザUから見て上方向が+Z方向であるとして説明する。以降の図でも同様である。
また、図1では、画像投影装置1はユーザUの右目に取り付けられており、右目の眼球EYにレーザ光を入射する構成を例として説明する。しかしながら、これに限定されるものではなく、画像投影装置1は、ユーザUの左目又は両目に取り付けられ、左目又は両目の眼球EYにレーザ光を入射する構成であっても良い。
図1に示すように、画像投影装置1は、制御ユニット2と、投影ユニット3と、複合ケーブル4と、を備える。
制御ユニット2は、画像投影装置1を制御するユニットである。制御ユニット2は、レーザモジュール20を備えており、画像データに基づいて強度変調されたレーザ光をレーザモジュール20から出射して、複合ケーブル4を通して投影ユニット3に出力する。制御ユニット2は、一例として、画像投影装置1がユーザUに装着されたときにユーザUの耳付近に位置するように、メガネフレーム等に設置される。
より詳細には、制御ユニット2は、図2に示すように、入出力インタフェース10と、画像処理部11と、メモリ12と、EPROM(Erasable Programmable Read Only Memory)13と、充電回路18と、バッテリ19と、レーザモジュール20と、投影制御部21と、レーザドライバ23と、を備える。
入出力インタフェース10は、外部装置との間でデータの入力及び出力するためのインタフェースである。外部装置は、例えば、カメラ、スマートフォン、PC(パーソナルコンピュータ)、SD(Secure Digital)カード等である。入出力インタフェース10は、例えば、HDMI(登録商標)(High-Definition Multimedia Interface)、USB(Universal Serial Bus)等の規格の端子を備えており、外部装置と電気的に接続される。
入出力インタフェース10は、外部装置から画像信号を形成するための画像データを受信し、画像処理部11に送信する。画像データは、網膜REに投影する画像を示すデータである。画像データは、例えば、カメラ又はスマートフォンで撮影された撮影データ、PCで生成された文字、図形、写真等を示すデータ等である。なお、画像は、静止画像であっても良いし、動画像であっても良い。
画像処理部11は、CPU(Central Processing Unit)等の制御回路を備える。CPUは、EPROM13に記憶されている制御プログラムを読み出して、メモリ12をワークメモリとして用いながら、画像処理部11及び制御ユニット2を制御する。なお、画像処理部11は、CPUの代わりに、SoC(System-on-a-Chip)、ASIC(Application Specific Integrated Circuit)等の集積回路を備えても良い。
メモリ12は、例えばRAM(Random Access Memory)等の揮発性のメモリであって、制御ユニット2のワークメモリとして用いられる。
EPROM13は、書き込み可能な不揮発性の半導体メモリである。EPROM13は、制御ユニット2によって実行されるプログラム及びデータを記憶している。なお、制御ユニット2は、EPROM13に限らず、不揮発性のメモリとしてフラッシュメモリ、ハードディスク等を備えていても良い。
充電回路18は、AC/DC(Alternate Current/Direct Current)アダプタに接続される。AC/DCアダプタから供給された電力を、バッテリ19及び制御ユニット2の各部に供給する。
画像処理部11は、入出力インタフェース10を介して外部装置から受信した画像データ、又は、EPROM13に予め記憶された画像データに対して画像処理を行う。これにより、画像処理部11は、網膜RE上に投影する対象となる画像を示す画像データを生成する。
図3に、網膜RE上に投影する対象となる画像A1の例を示す。画像A1は、一例として、カメラ又はスマートフォンにより撮影された、ユーザUの周囲の風景を示す画像である。画像A1は、横方向(u方向)にNu個のドット(例えば640ドット)及び縦方向(v方向)にNv個のドット(例えば720ドット)の画素を有する。
画像処理部11は、このような画像A1を示す画像データを外部装置又はEPROM13から取得し、必要に応じて画像処理を行った後、レーザモジュール20から出射されるレーザ光のもとになる画像データとして、投影制御部21に転送する。
レーザモジュール20は、ユーザUの眼球EYに入射されるレーザ光を出射する。レーザモジュール20は、光源の一例である。
より詳細には、レーザモジュール20は、図示しないR(赤色)レーザ光源、G(緑色)レーザ光源、及びB(青色)レーザ光源、を備えており、レーザ光を出射する。Rレーザ光源、Gレーザ光源及びBレーザ光源は、レーザドライバ23から送信された画像信号に応じてそれぞれ強度変調されたレーザ光を出射する。各レーザ光源は、例えば、半導体レーザ(レーザダイオード)、固体レーザ等である。
各レーザ光源から出射されたレーザ光は、いずれも図示を省略するが、ダイクロイックミラー等の光学系により合波され、コリメートレンズ等の光学系により平行光化され、集光レンズ等の光学系により集光されて、複合ケーブル4へ出射される。
投影制御部21は、レーザモジュール20によるレーザ光の出射とMEMSミラー30によるレーザ光の走査とを制御することにより、画像投影装置1による画像の投影を制御する。投影制御部21は、図示を省略するが、CPU、SoC、ASIC等の制御回路を備えており、画像投影装置1における画像投影処理を統括的に制御する。なお、CPU、SoC、ASIC等を総称して、「プロセッサ」と呼んでも良い。投影制御部21は、制御部の一例である。
投影制御部21は、画像処理部11から供給される画像データを画像信号に変換し、レーザドライバ23を通して画像信号をレーザモジュール20に供給する。例えば図3(a)に示した画像A1を示す画像データが画像処理部11から転送された場合、投影制御部21は、図4に示す順番で1画素ずつ、各画素の画素値(RGB値)に対応する画像信号を生成し、レーザドライバ23に送信する。
具体的に説明すると、投影制御部21は、画像A1の最も上の行(p_1行目)において右から左の順番に各画素の画素値を読み出し、画素値に対応する画像信号を生成してレーザドライバ23に送信する。次に、画像A1の上から2行目(p_2行目)において左から右の順番に各画素の画素値を読み出し、画素値に対応する画像信号を生成してレーザドライバ23に送信する。投影制御部21は、このような処理を最も下の行(p_Nv行目)まで実行する。このように、投影制御部21は、画像A1の各画素の画素値に対応する画像信号を、1画素ずつ順にレーザドライバ23に送信する。
レーザドライバ23は、レーザモジュール20と電気的に接続される。レーザドライバ23は、投影制御部21から受信した画像信号に基づいて、レーザモジュール20を駆動する。具体的に説明すると、レーザドライバ23は、投影制御部21から受信した画像信号に対応する輝度で、Rレーザ光源、Gレーザ光源及びBレーザ光源のそれぞれを発光させる。これにより、レーザドライバ23は、受信した画像信号に対応する色のレーザ光をレーザモジュール20から出射させる。
また、投影制御部21は、MEMSドライバ33を通してMEMSミラー30を制御する。具体的に説明すると、投影制御部21は、複合ケーブル4を通してMEMSドライバ33に制御信号を送信し、MEMSミラー30による走査範囲を制御する。これにより、投影制御部21は、レーザモジュール20から出射されたレーザ光を走査する方向を制御する。
より詳細には、投影制御部21は、MEMSミラー30による走査をレーザモジュール20によるレーザ光の出射と同期させる。具体的に説明すると、投影制御部21は、画像A1における各座標(u,v)の画素の画素値に対応するレーザ光が、網膜RE上のその座標(u,v)に対応する位置に投射されるように、レーザモジュール20が各画素の画素値に対応するレーザ光を出射するタイミングと、そのタイミングにおいてMEMSミラー30がレーザ光を走査する方向と、を制御する。
図1に戻って、複合ケーブル4は、制御ユニット2から出射されたレーザ光を伝送し、投影ユニット3に出射するケーブルである。複合ケーブル4は、制御ユニット2及び投影ユニット3と光学的に接続される。複合ケーブル4により伝送されたレーザ光は、図示しないコリメートレンズによって平行光化され、MEMSミラー30に出射される。また、複合ケーブル4は、投影制御部21からMEMSドライバ33に送信される制御信号を伝送する。
投影ユニット3は、ユーザUの網膜RE上に画像を投影するユニットである。投影ユニット3は、画像投影装置1がユーザUに装着されたときに、ユーザUの眼球EYの正面に位置するように、メガネフレーム等に設置される。このような状態において、投影ユニット3は、複合ケーブル4によって伝送されたレーザ光をユーザUの瞳孔PUから眼球EY内に入射させる。
より詳細には、図5に示すように、投影ユニット3は、MEMS(Micro Electro Mechanical Systems)ミラー30と、MEMSドライバ33と、視線センサ35と、反射ミラー50と、導光リフレクタ60と、を備える。
視線センサ35は、ユーザUの視線を検出することにより、ユーザUの頭部に対する眼球EYの向きを計測する。ここで、ユーザUの頭部に対する眼球EYの向きは、頭部を基準とした相対的な眼球EYの向き、言い換えると、ユーザUが頭部を動かさずに眼球EYを動かした場合における眼球EYの向きを意味する。
例えば、視線センサ35は、図1に示すように、投影ユニット3においてユーザUの瞳孔PUを前方から撮影可能な位置に設けられている。視線センサ35は、可視光、赤外線等によりユーザUの瞳孔PUを撮影し、瞳孔PUの位置を計測することにより、ユーザUの視線の向きを検出する。視線センサ35は、このようにユーザUの視線の向きを検出することにより、ユーザUの頭部に対する眼球EYの向きを計測する。
なお、視線センサ35は、ユーザUの視線を検出する方法として、瞳孔PUを撮影する方法に限らず、例えばサーチコイル法、眼球電位法等のような周知のアイトラッキングの技術を用いても良い。視線センサ35は、計測部の一例である。
図5に戻って、MEMSミラー30は、レーザモジュール20から出射されたレーザ光を走査する。具体的に説明すると、MEMSミラー30は、レーザモジュール20から出射されたレーザ光を受光し、レーザ光を反射ミラー50に向けて反射する。MEMSミラー30は、反射面の角度を変化させることで、反射するレーザ光を2次元に走査させる。MEMSミラー30は、走査部の一例である。
より詳細には、MEMSミラー30は、MEMS加工により形成されたミラーである。MEMSミラー30では、ミラー周辺に配置されたコイルに電流を流すことにより発生するローレンツ力により、ミラーの傾きを変更することができる。これにより、ミラー面に入射したレーザ光の光路を変更し、2次元に走査することができる。
MEMSドライバ33は、MEMSミラー30と電気的に接続される。MEMSドライバ33は、投影制御部21から受信した制御信号に基づいて、MEMSミラー30に駆動信号を送信し、MEMSミラー30の傾きを変更する。これにより、MEMSドライバ33は、MEMSミラー30がレーザ光を走査する方向、言い換えると、MEMSミラー30がレーザ光を反射する方向を制御する。
MEMSミラー30は、MEMSドライバ33から受信した駆動信号に基づいて、複合ケーブル4により伝送される平行光化されたレーザ光を2次元方向に走査する。これにより、MEMSミラー30は、レーザモジュール20から出射されたレーザ光を、拡散光として導光部40に入射させる。
導光部40は、MEMSミラー30により走査されたレーザ光を導いて眼球EY内に入射させ、眼球EYの網膜RE上に画像を投影して結像させる。より詳細には、導光部40は、反射ミラー50と導光リフレクタ60とを備える。
反射ミラー50は、レーザ光の光路におけるMEMSミラー30の後段に配置されており、MEMSミラー30により走査されたレーザ光を反射及び集光する。
導光リフレクタ60は、レーザ光の光路における反射ミラー50の後段に配置されており、反射ミラー50により反射されたレーザ光を導き、眼球EYに入射させる。
以下、図6を参照して、導光部40におけるレーザ光の光路についてより詳細に説明する。なお、図6では、理解を容易にするため、レーザ光の光路に直接関係しない構成要素は省いている。
図6に示すように、MEMSミラー30は、レーザモジュール20から出射されたレーザ光を、第1範囲S1又は第2範囲S2の方向に走査する。第1範囲S1に走査されたレーザ光は、図6において薄い色が付された範囲を通って網膜RE上に投射される。これに対して、第2範囲S2に走査されたレーザ光は、図6において濃い色が付された範囲を通って網膜RE上に投射される。
より詳細には、第1範囲S1に走査されたレーザ光は、反射ミラー50の鏡面を中央で2分割した場合の一方の領域に入射する。これに対して、第2範囲S2に走査されたレーザ光は、反射ミラー50の鏡面を中央で2分割した場合の他方の領域に入射する。
反射ミラー50は、凹状に湾曲した鏡面を備える。反射ミラー50は、MEMSミラー30により第1範囲S1及び第2範囲S2に走査されたレーザ光を受光し、受光したレーザ光を凹状の鏡面により反射することで集光する。反射ミラー50により反射されたレーザ光は、導光リフレクタ60に入射され、ユーザUの眼球EY内の瞳孔PU付近で集束して、網膜RE上に投射される。
導光リフレクタ60は、レーザ光を通す適宜の材質で形成されており、入射部63と、複数の反射部61と、出射部64と、を備える。入射部63は、レーザ光を透過する部材で形成された入射面を有し、入射面を通して、反射ミラー50で反射したレーザ光を導光リフレクタ60内に入射させる。
複数の反射部61のそれぞれは、レーザ光を反射する部材で形成された反射面を有し、入射部63から入射したレーザ光を反射して、出射部64に導く。反射ミラー50で反射したレーザ光は、複数の反射部61で順に反射して導光リフレクタ60内を+Y方向に進行し、ユーザUの瞳孔PUから眼球EY内に入射可能な位置まで導かれる。複数の反射部61のうちの最終反射部61z以外の反射部61は、互いに斜めに向かい合うように配置されており、MEMSミラー30により第1範囲S1に走査されたレーザ光と第2範囲S2に走査されたレーザ光とを同じ反射角で反射する。
複数の反射部61のうちの最も後段に位置する反射部である最終反射部61zは、眼球EYに対向する位置に配置されている。最終反射部61zは、2つの反射面62a,62bを備える。2つの反射面62a,62bは、A部を境界として不連続となっており、異なる反射角でレーザ光を反射する。具体的には、第1反射面62aは、MEMSミラー30により第1範囲S1に走査されたレーザ光を第1反射角で第1入射方向に反射する。第2反射面62bは、MEMSミラー30により第2範囲S2に走査されたレーザ光を、第1反射角とは異なる第2反射角で第2入射方向に反射する。ここで、第1入射方向は、レーザ光が眼球EYに対して正面から入射する方向、すなわち眼球EYの正面方向である。一方で、第2入射方向は、第1入射方向から傾斜した方向である。
出射部64は、レーザ光を透過する部材で形成された出射面を有し、出射面を通して、最終反射部61zで反射したレーザ光を眼球EYに向けて出射させる。出射部64の出射面は、ユーザUが画像投影装置1を装着したときに、眼球EYのすぐ正面に位置する。
最終反射部61zの第1反射面62aで反射したレーザ光は、出射部64から出射され、第1入射方向から瞳孔PUを通って眼球EY内に入射し、網膜RE上の第1領域R1に投射される。これに対して、最終反射部61zの第2反射面62bで反射したレーザ光は、出射部64から出射され、第2入射方向から瞳孔PUを通って眼球EY内に入射し、網膜RE上の第2領域R2に投射される。
より詳細には、第1反射面62aは、眼球EYに対して正面方向に位置する。第1反射面62aは、Z方向に対して平行であるが、MEMSミラー30で第1範囲S1に走査されたレーザ光を第1入射方向に反射できるように、眼球EYの正面方向に対してMEMSミラー30の側(-Y方向)に傾いている。言い換えると、導光リフレクタ60における第1反射面62aに対応する部分のX方向の厚みd1、すなわち第1反射面62aと出射部64の出射面との距離は、-Y方向から+Y方向に向けて、徐々に小さくなる。
一方で、第2反射面62bは、第1反射面62aに対してMEMSミラー30とは反対側(+Y方向)に位置する。第2反射面62bは、Z方向に対して平行であるが、眼球EYの正面方向に対して第1反射面62aとは異なる角度で傾いている。
具体的には、第2反射面62bは、MEMSミラー30で第2範囲S2に走査されたレーザ光を第2入射方向に反射できるように、眼球EYの正面方向に対してMEMSミラー30の側(-Y方向)に、第1反射面62aよりも大きい角度で傾いている。言い換えると、導光リフレクタ60における第2反射面62bに対応する部分のX方向の厚みd2、すなわち第2反射面62bと出射部64の出射面との距離は、-Y方向から+Y方向に向けて、厚みd1よりも急激に小さくなる。
このように、導光リフレクタ60のX方向の厚みは、最終反射部61zが設けられた部分以外では一定であるが、最終反射部61zが設けられた部分では、A部を境界として2段階の変化率で、+Y方向に向けて徐々に細くなっている。言い換えると、導光リフレクタ60における第1反射面62a及び第2反射面62bのそれぞれに対応する部分のX方向の厚みd1,d2は、MEMSミラー30の側(-Y方向)ほど大きくなっており、MEMSミラー30と反対側(+Y方向)ほど小さくなっている。また、第2反射面62bに対応する全ての部分の厚みd2は、第1反射面62aに対応する全ての部分の厚みd1よりも小さい。
なお、最終反射部61zの2つの反射面62a,62bの反射角がA部で不連続に変化しているため、第1入射方向と第2入射方向との間で角度差がつき、第1領域R1と第2領域R2との間にはギャップが生じる。2つの反射面62a,62bの反射角は、第2入射方向が第1入射方向に対して眼球EYが動作可能な角度である±25°程度の角度差を有するように、調整されている。このように、第1反射面62aで反射したレーザ光と第2反射面62bで反射したレーザ光とが互いに異なる入射方向から眼球EYに入射して、離れた2つの領域R1,R2に投射される。
ここで、第1領域R1は、眼球EYが正面を向いているときに網膜REの中心窩が位置する領域である。中心窩は、網膜REの黄斑部の中心に位置し、周辺領域よりも視覚の感度が高い部位である。これに対して、第2領域R2は、眼球EYが正面以外の方向を向いているときに網膜REの中心窩が位置する領域である。正面以外の方向は、ユーザUが頭部を固定したまま眼球EYを動かすことが可能な範囲内(具体的には正面を基準として±25°程度)の方向であって、一例として実施形態1ではユーザUとって左側(+Y方向)の方向である。
投影制御部21は、このような光路を通るレーザ光の走査範囲を制御することにより、第1領域R1と第2領域R2とのどちらの領域に画像A1を投影するかを切り替える。ここで、レーザ光の走査範囲は、レーザモジュール20から出射されたレーザ光をMEMSミラー30が反射ミラー50に向けて反射する方向の範囲である。
より詳細には、投影制御部21は、視線センサ35により計測された眼球EYの向きが正面であるか、それとも正面以外の所定の向きであるかを判定する。具体的には、視線センサ35により計測された眼球EYの向きが、予め定められた正面方向を基準として閾値となる角度差以内に収まっている場合、投影制御部21は、眼球EYの向きが正面であると判定する。これに対して、視線センサ35により計測された眼球EYの向きが、予め定められた正面方向を基準として特定の側(実施形態1では正面に対して左側)に閾値となる角度差よりも大きくずれている場合、投影制御部21は、眼球EYの向きが正面以外の所定の向きであると判定する。
次に、投影制御部21は、視線センサ35により計測された眼球EYの向きに応じて、MEMSミラー30によるレーザ光の走査範囲を設定する。具体的に説明すると、投影制御部21は、MEMSミラー30により走査されたレーザ光が、視線センサ35により計測された眼球EYの向きに対応する入射方向から眼球EYに入射するように、走査範囲を設定する。ここで、眼球EYの向きに対応する入射方向は、ユーザUが頭部に対して眼球EYを動かした場合であっても、網膜RE上の視認可能な領域に画像A1を投影可能なレーザ光の入射方向であって、具体的には、眼球EYが向いている方向に相当する。
導光部40は、MEMSミラー30により走査されたレーザ光を、投影制御部21により設定された走査範囲に対応する入射方向から眼球EYに入射させて、網膜REに画像A1を投影する。ここで、走査範囲に対応する入射方向は、具体的には、走査範囲が第1範囲S1に設定された場合は第1入射方向であり、走査範囲が第2範囲S2に設定された場合は第2入射方向である。
第1に、視線センサ35により計測された眼球EYの向きが正面である場合、投影制御部21は、眼球EYの向きに対応する入射方向として、レーザ光が眼球EYに対して正面の入射方向から入射するように、走査範囲を設定する。
具体的には、投影制御部21は、眼球EYの向きが正面である場合、MEMSミラー30によるレーザ光の走査範囲を第1範囲S1に設定する。この場合、投影制御部21は、MEMSミラー30を制御して、レーザモジュール20から出射されたレーザ光を第1範囲S1の方向に向けて反射するように、MEMSミラー30を制御する。
図7に、眼球EYの向きが正面である場合におけるレーザ光の光路を示す。導光部40は、MEMSミラー30により第1範囲S1に走査されたレーザ光を、図7に示す光路を介して、眼球EYに対して第1入射方向(-X方向)に入射させる。これにより、導光部40は、レーザ光を網膜RE上の第1領域R1に導いて、第1領域R1に画像A1を投影する。
眼球EYが正面を向いている場合、第1領域R1は、眼球EYに対して正面から真っ直ぐ(-X方向に)レーザ光が入射した場合に投射される網膜RE上の領域に相当する。これに対して、第2領域R2は、第1領域R1の右側(-Y方向)に位置する領域に相当する。
このように眼球EYが正面を向いている場合、第1領域R1は、中心窩が位置する領域であって、視野の中心となるが、第2領域R2は、中心窩から外れた領域であって、視野の中心とはならない。そのため、ユーザUは、第1領域R1に投影された画像A1を視認することができる。
第2に、視線センサ35により計測された眼球EYの向きが正面以外の所定の向きである場合、投影制御部21は、眼球EYの向きに対応する入射方向として、正面以外を向いた眼球EYに対してもレーザ光が網膜RE上の視認可能な領域に入射するように、走査範囲を設定する。言い換えると、投影制御部21は、視線センサ35により計測された眼球EYの向きが正面である場合と正面以外の向きである場合とで、MEMSミラー30により走査されたレーザ光が眼球EYに対して異なる入射方向から入射するように、走査範囲を設定する。
具体的には、投影制御部21は、眼球EYの向きが正面以外の所定の向きである場合、MEMSミラー30によるレーザ光の走査範囲を第2範囲S2に設定する。この場合、投影制御部21は、MEMSミラー30を制御して、レーザモジュール20から出射されたレーザ光を第2範囲S2の方向に向けて反射するように、MEMSミラー30を制御する。
図8に、眼球EYの向きが正面以外の所定の向き(図8の例ではユーザUから見て左側である+Y方向)である場合におけるレーザ光の光路を示す。導光部40は、MEMSミラー30により第2範囲S2に走査されたレーザ光を、図8に示す光路を介して、眼球EYに対して第2入射方向(-X方向から-Y方向に傾いた方向)に入射させる。これにより、導光部40は、レーザ光を網膜RE上の第2領域R2に導いて、第2領域R2に画像A1を投影する。
眼球EYが左側(+Y方向)を向いている場合、第2領域R2は、眼球EYに対しては正面から真っ直ぐであるが、頭部に対して正面よりも左側(+Y方向)からレーザ光が入射した場合に投射される網膜RE上の領域に相当する。これに対して、第1領域R1は、第2領域R2の左側(+Y方向)に位置する領域に相当する。
このように眼球EYが正面以外の方向を向いている場合、第2領域R2は、中心窩が位置する領域であって、視野の中心となるが、第1領域R1は、中心窩から外れた領域であって、視野の中心とはならない。そのため、この場合、ユーザUは、第2領域R2に投影された画像A1を視認することができる。
次に、図9を参照して、画像投影装置1により実行される画像投影処理の流れを説明する。図9に示す画像投影処理は、画像投影装置1がユーザUの頭部、メガネフレーム等に取り付けられた状態で、図示しない操作スイッチを介してユーザUから処理開始の指示を受け付けた場合に、開始する。図9に示す画像投影処理は、画像投影方法の一例である。
画像投影処理を開始すると、投影制御部21は、レーザドライバ23に駆動信号を送信して、レーザモジュール20から、網膜RE上に投影する対象となる画像A1に対応するレーザ光を出射させる(ステップS11)。
次に、投影制御部21は、視線センサ35により、ユーザUの頭部に対する眼球EYの向きを計測する(ステップS12)。ステップS12は、計測ステップの一例である。
眼球EYの向きを計測すると、投影制御部21は、計測した眼球EYの向きに応じてMEMSミラー30によるレーザ光の走査範囲を設定するために、ユーザUの頭部に対する眼球EYの向きが正面であるか、正面以外の所定の向きであるかを判定する(ステップS13)。
判定の結果、計測された眼球EYの向きが正面である場合(ステップS13;正面)、投影制御部21は、MEMSミラー30によるレーザ光の走査範囲を第1範囲S1に設定する(ステップS14)。
これに対して、計測された眼球EYの向きが正面以外の所定の向き(図8の例ではユーザUにとって左側の向き)である場合(ステップS13;所定の向き)、投影制御部21は、MEMSミラー30によるレーザ光の走査範囲を第2範囲S2に設定する(ステップS15)。ステップS14及びS15は、設定ステップの一例である。
このように走査範囲を設定すると、投影制御部21は、MEMSミラー30を制御して、設定した走査範囲にレーザ光を走査させる(ステップS16)。ステップS16は、走査ステップの一例である。
導光部40は、ステップS16で走査されたレーザ光を、ステップS14又はS15で設定された走査範囲に対応する入射方向から眼球EYに入射させて、網膜REに画像A1を投影する(ステップS17)。ステップS17は、投影ステップの一例である。
一方で、ステップS13において、計測された眼球EYの向きが正面又は所定の向き以外のその他の向きである場合(ステップS13;その他の向き)、ユーザUが視認可能な網膜RE上の領域に画像を投影することができない。そのため、投影制御部21は、レーザモジュール20とMEMSミラー30とのうちの少なくとも一方を制御して、投影をオフに設定する(ステップS18)。具体的に説明すると、投影制御部21は、レーザモジュール20からのレーザ光を停止する、又は、MEMSミラー30によるレーザ光の走査をオフにすることにより、レーザ光を眼球EYに入射させることを停止する。
ステップS16又はS17の後、投影制御部21は、処理をステップS12に戻す。すなわち、投影制御部21は、画像投影装置1がオン状態の間、眼球EYの向きを計測し、眼球EYの向きに応じてMEMSミラー30による走査範囲を設定して、設定した走査範囲に対応する入射方向からレーザ光を眼球EYに入射して画像A1を投影する処理を繰り返す。
以上説明したように、実施形態1に係る画像投影装置1は、ユーザUの頭部に対する眼球EYの向きを計測し、計測された眼球EYの向きに応じてMEMSミラー30によるレーザ光の走査範囲を設定する。そして、実施形態1に係る画像投影装置1は、MEMSミラー30により走査されたレーザ光を、設定した走査範囲に対応する入射方向から眼球EYに入射させて、網膜REに画像を投影する。このように、頭部に対する眼球EYの向きに応じてレーザ光の走査範囲を設定するため、眼球EYが正面以外の方向を向いているときにもユーザUに画像A1を視認させることができる。これにより、網膜投影方式でユーザUに画像A1を視認させる装置において、より多くの状況で、ユーザUに情報を提供することができる。
(実施形態2)
次に、本発明の実施形態2について説明する。実施形態1と同様の構成及び機能については、適宜説明を省略する。
上記実施形態1では、第2領域R2は、網膜RE上において第1領域R1の右側に位置していた。これに対して、実施形態2では、第2領域R2は、網膜RE上において第1領域R1の上側に位置する。以下、説明する。
実施形態2において、投影制御部21は、視線センサ35により計測された眼球EYの向きが正面である場合、MEMSミラー30によるレーザ光の走査範囲を第1範囲S1に設定する。これに対して、投影制御部21は、視線センサ35により計測された眼球EYの向きが正面以外の所定の向きである場合、MEMSミラー30によるレーザ光の走査範囲を第2範囲S2に設定する。ここで、正面以外の特定の向きは、実施形態1ではユーザUにとって左側の向きであったが、実施形態2では下側の向きである。
実施形態2において、第1範囲S1に走査されたレーザ光は、図示を省略するが、反射ミラー50の鏡面を上下に2分割した一方の領域に入射する。これに対して、第2範囲S2に走査されたレーザ光は、反射ミラー50の鏡面を上下に2分割した他方の領域に入射する。
第1範囲S1に走査されたレーザ光は、反射ミラー50により反射及び集光され、導光リフレクタ60内の複数の反射部61により反射して、最終反射部61zの第1反射面62aに導かれる。これに対して、第2範囲S2に走査されたレーザ光は、反射ミラー50により反射及び集光され、導光リフレクタ60内の複数の反射部61により反射して、最終反射部61zの第2反射面62bに導かれる。
図10(a)及び図10(b)に、実施形態2において最終反射部61zから眼球EYに入射するレーザ光の光路を示す。図10(a)は、2つの反射面62a,62bの位置においてY方向に垂直な面(XZ平面)で切った場合におけるレーザ光の光路を表しており、図10(b)は、第1反射面62aの高さにおいて水平面(XY平面)で切った場合におけるレーザ光の光路を表している。
実施形態2において、第1反射面62aは、実施形態1と同様に、眼球EYに対して正面方向に位置する。そして、図10(b)に示すように、第1反射面62aは、Z方向に対して平行であるが、MEMSミラー30で第1範囲S1に走査されたレーザ光を第1入射方向に反射できるように、眼球EYの正面方向に対してMEMSミラー30の側(-Y方向)に傾いている。言い換えると、導光リフレクタ60における第1反射面62aに対応する部分のX方向の厚みd1、すなわち第1反射面62aと出射部64の出射面との距離は、-Y方向から+Y方向に向けて、徐々に小さくなる。
一方で、図10(a)に示すように、第2反射面62bは、眼球EYに対して正面方向以外の方向であって、第1反射面62aの下側(-Z方向)に位置する。第2反射面62bは、MEMSミラー30で第2範囲S2に走査されたレーザ光を第2入射方向に反射できるように、眼球EYの正面方向に対して-Y方向及び+Z方向の両方に傾いている。
具体的には、第2反射面62bは、図10(b)に示すように、眼球EYの正面方向に対してMEMSミラー30の側(-Y方向)に傾いていると共に、図10(a)に示すように、レーザ光を下側から眼球EYに入射できるように、眼球EYの正面方向に対して上側(+Z方向)に傾いている。言い換えると、導光リフレクタ60における第2反射面62bに対応する部分のX方向の厚みd2、すなわち第2反射面62bと出射部64の出射面との距離は、-Y方向から+Y方向に向けて小さくなると共に、+Z方向から-Z方向に向けて小さくなる。このように、同じ水平面(XY平面)内で比較した場合、第2反射面62bに対応する部分の厚みd2は、MEMSミラー30の側(-Y方向)ほど大きくなっており、MEMSミラー30と反対側(+Y方向)ほど小さくなっている。且つ、同じXZ平面内で比較した場合、第2反射面62bに対応する部分の厚みd2は、上側(+Z方向)ほど大きくなっており、下側(-Z方向)ほど小さくなっている。
最終反射部61zの第1反射面62aで反射したレーザ光は、第1入射方向から瞳孔PUを通って眼球EY内に入射し、網膜RE上の第1領域R1に投射される。これに対して、最終反射部61zの第2反射面62bで反射したレーザ光は、第2入射方向から瞳孔PUを通って眼球EY内に入射し、網膜RE上の第2領域R2に投射される。
より詳細には、実施形態1では、最終反射部61zの2つの反射面62a,62bは、レーザ光を左右(Y方向)に分離して、異なる2つの入射方向から眼球EYに入射させた。これに対して、実施形態2では、最終反射部61zの2つの反射面62a,62bは、レーザ光を上下(Z方向)に分離して、異なる2つの入射方向から眼球EYに入射させる。
このようにして、導光部40は、MEMSミラー30により第1範囲S1に走査されたレーザ光を第1入射方向から眼球EYに入射させて、網膜RE上の第1領域R1に画像A1を投影する。また、導光部40は、MEMSミラー30により第2範囲S2に走査されたレーザ光を第2入射方向から眼球EYに入射させて、網膜RE上の第2領域R2に画像A1を投影する。
ここで、第1領域R1は、眼球EYが正面を向いているときに網膜REの中心窩が位置する領域である。これに対して、第2領域R2は、眼球EYが正面以外の方向である下側の方向を向いているときに網膜REの中心窩が位置する領域である。
具体的には、図11に示すように、眼球EYが正面を向いている場合、第1領域R1は、眼球EYに対して正面から真っ直ぐ(-X方向に)レーザ光が入射した場合に投射される網膜RE上の領域に相当する。これに対して、第2領域R2は、第1領域R1の上側に位置する領域に相当する。
このように眼球EYが正面を向いている場合、第1領域R1は、中心窩が位置する領域であって、視野の中心となるが、第2領域R2は、中心窩から外れた領域であって、視野の中心とはならない。そのため、ユーザUは、第1領域R1に投影された画像A1を視認することができる。
一方で、図12に示すように、眼球EYが下側を向いている場合、第2領域R2は、眼球EYに対して正面から真っ直ぐであるが、頭部に対しては正面よりも下側からレーザ光が入射した場合に投射される網膜RE上の領域に相当する。これに対して、第1領域R1は、第2領域R2の下側に位置する領域に相当する。
このように眼球EYが下側を向いている場合、第2領域R2は、中心窩が位置する領域であって、視野の中心となるが、第1領域R1は、中心窩から外れた領域であって、視野の中心とはならない。そのため、この場合、ユーザUは、第2領域R2に投影された画像A1を視認することができる。
以上説明したように、実施形態2に係る画像投影装置1は、ユーザUの頭部に対する眼球EYの向きを計測し、計測された眼球EYの向きに応じてMEMSミラー30によるレーザ光の走査範囲を設定する。そして、実施形態2に係る画像投影装置1は、眼球EYの向きが正面であるときには、レーザ光を第1範囲S1に走査して網膜RE上の第1領域R1に投影し、眼球EYの向きが下側であるときには、レーザ光を第2範囲S2に走査して網膜RE上の第2領域R2に投影する。これにより、眼球EYが正面を向いているときだけでなく、下側を向いているときにもユーザUに画像A1を視認させることができる。
(実施形態3)
次に、本発明の実施形態3について説明する。実施形態1,2と同様の構成及び機能については、適宜説明を省略する。
上記実施形態1,2では、画像投影装置1は、MEMSミラー30によるレーザ光の走査範囲が第1範囲S1である場合と第2範囲S2である場合とで、同じ画像A1を投影した。これに対して、実施形態3では、画像投影装置1は、MEMSミラー30によるレーザ光の走査範囲が第1範囲S1である場合と第2範囲S2である場合とで、異なる画像を投影する。
具体的に説明すると、実施形態3において、投影制御部21は、視線センサ35により計測された眼球EYの向きに応じて異なる画像が網膜REに投影されるように、レーザモジュール20を制御する。
第1に、視線センサ35により計測された眼球EYの向きが正面である場合、投影制御部21は、MEMSミラー30によるレーザ光の走査範囲を第1範囲S1に設定すると共に、網膜REに投影する対象となる画像を第1画像に設定する。そして、投影制御部21は、第1画像の各画素の画素値に対応するレーザ光をレーザモジュール20から出射させると共に、MEMSミラー30にレーザ光を第1範囲S1に走査させる。これにより、投影制御部21は、網膜RE上の第1領域R1に第1画像を投影する。
第2に、視線センサ35により計測された眼球EYの向きが正面以外の所定の向きである場合、投影制御部21は、MEMSミラー30によるレーザ光の走査範囲を第2範囲S2に設定すると共に、網膜REに投影する対象となる画像を、第1画像とは異なる第2画像に設定する。そして、投影制御部21は、第2画像の各画素の画素値に対応するレーザ光をレーザモジュール20から出射させると共に、MEMSミラー30にレーザ光を第2範囲S2に走査させる。これにより、投影制御部21は、網膜RE上の第2領域R2に第2画像を投影する。
より詳細に、図13を参照して、実施形態3に係る画像投影装置1により実行される画像投影処理の流れについて説明する。図13に示す画像投影処理は、実施形態1と同様に、画像投影装置1がユーザUの頭部、メガネフレーム等に取り付けられた状態で、図示しない操作スイッチを介してユーザUから処理開始の指示を受け付けた場合に、開始する。
画像投影処理を開始すると、投影制御部21は、視線センサ35により、ユーザUの頭部に対する眼球EYの向きを計測する(ステップS21)。ステップS21は、計測ステップの一例である。
眼球EYの向きを計測すると、投影制御部21は、計測した眼球EYの向きに応じてMEMSミラー30によるレーザ光の走査範囲を設定するために、ユーザUの頭部に対する眼球EYの向きが正面であるか、正面以外の所定の向きであるかを判定する(ステップS22)。
判定の結果、計測された眼球EYの向きが正面である場合(ステップS22;正面)、投影制御部21は、MEMSミラー30によるレーザ光の走査範囲を第1範囲S1に設定する(ステップS23)。そして、投影制御部21は、網膜REに投影する対象となる投影画像を第1画像に設定する(ステップS24)。
これに対して、計測された眼球EYの向きが正面以外の所定の向きである場合(ステップS22;所定の向き)、投影制御部21は、MEMSミラー30によるレーザ光の走査範囲を第2範囲S2に設定する(ステップS25)。そして、投影制御部21は、網膜REに投影する対象となる投影画像を第2画像に設定する(ステップS26)。ステップS23からS26は、設定ステップの一例である。
このように走査範囲及び投影画像を設定すると、投影制御部21は、設定した走査範囲及び投影画像に従って、レーザモジュール20及びMEMSミラー30を制御する(ステップS27)。具体的に説明すると、投影制御部21は、設定した投影画像に対応するレーザ光をレーザモジュール20から出射させ、且つ、MEMSミラー30に対して、設定した走査範囲にレーザ光を走査させる。ステップS27は、走査ステップの一例である。
導光部40は、ステップS27で走査されたレーザ光を、ステップS23又はS25で設定された走査範囲に対応する入射方向から眼球EYに入射させて、ステップS24又はS26で設定された画像を網膜REに投影する(ステップS28)。ステップS28は、投影ステップの一例である。
一方で、ステップS22において、計測された眼球EYの向きが正面又は所定の向き以外のその他の向きである場合(ステップS22;その他の向き)、ユーザUが視認可能な網膜RE上の領域に画像を投影することができない。そのため、投影制御部21は、レーザモジュール20とMEMSミラー30とのうちの少なくとも一方を制御して、投影をオフに設定する(ステップS29)。具体的に説明すると、投影制御部21は、レーザモジュール20からのレーザ光を停止する、又は、MEMSミラー30によるレーザ光の走査をオフにすることにより、レーザ光を眼球EYに入射させることを停止する。
ステップS27又はS28の後、投影制御部21は、処理をステップS21に戻す。すなわち、投影制御部21は、画像投影装置1がオン状態の間、眼球EYの向きを計測し、眼球EYの向きに応じて走査範囲及び投影画像を設定して、設定した走査範囲に対応する入射方向からレーザ光を眼球EYに入射して、設定した投影画像を投影する処理を繰り返す。
以上説明したように、実施形態3に係る画像投影装置1は、視線センサ35により計測された眼球EYの向きに応じて、MEMSミラー30によるレーザ光の走査範囲と網膜REに投影する画像とをどちらも変更する。これにより、ユーザUは、眼球EYを動かすことで異なる画像を視認することができるため、多くの情報を得ることができる。
(変形例)
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
(1)例えば、上記実施形態1では、第2領域R2は、レーザ光の入射側から見て、網膜RE上において第1領域R1の左側(-Y方向)に位置していた。しかしながら、第2領域R2は、レーザ光の入射側から見て、網膜RE上において第1領域R1の右側(+Y方向)に位置していても良い。この場合、眼球EYが右側を向いているときにユーザUが画像A1を視認できるように、実施形態1で説明した導光部40の構成の左右を入れ替えることで同様に説明することができる。具体的には、実施形態1における第2入射方向は、眼球EYが正面を向いているときに眼球EYに対して右側(+Y方向)から斜めに入射する方向であったが、第2入射方向が眼球EYに対して左側(-Y方向)から斜めに入射する方向となるように、反射面62a,62bの反射角を調整すれば良い。
図14に、第2反射面62bが第1反射面62aに対してMEMSミラー30と同じ側(-Y方向)に位置する場合における導光リフレクタ60の構成を示す。第2反射面62bは、MEMSミラー30で第2範囲S2に走査されたレーザ光を-Y方向から+Y方向に斜めに反射できるように、眼球EYの正面方向に対してMEMSミラー30の側(-Y方向)に、第1反射面62aよりも小さい角度で傾いている。言い換えると、第2反射面62bに対応する部分の厚みd2は、-Y方向から+Y方向に向けて、第1反射面62aに対応する部分の厚みd1よりも緩やかに小さくなる。
(2)また、上記実施形態2では、第2領域R2は、網膜RE上において第1領域R1の上側に位置していた。しかしながら、第2領域R2は、網膜RE上において第1領域R1の下側に位置していても良い。この場合、眼球EYが上側を向いているときにユーザUが画像A1を視認できるように、実施形態2で説明した導光部40の構成の上下を入れ替えることで同様に説明することができる。具体的には、実施形態2における第2入射方向は、眼球EYが正面を向いているときに眼球EYに対して下側から斜めに入射する方向であったが、第2入射方向が眼球EYに対して上側から斜めに入射する方向となるように、反射面62a,62bの反射角を調整すれば良い。
図15に、第2反射面62bが第1反射面62aの上側(+Z方向)に位置する場合における導光リフレクタ60の構成を示す。第2反射面62bは、MEMSミラー30で第2範囲S2に走査されたレーザ光を上側から下側に斜めに反射できるように、眼球EYの正面方向からMEMSミラー30の側(-Y方向)に傾いていると共に、眼球EYの正面方向に対して下側(-Z方向)に傾いている。言い換えると、第2反射面62bに対応する部分の厚みd2は、-Y方向から+Y方向に向けて小さくなると共に、-Z方向から+Z方向に向けて小さくなる。
また、上記実施形態では、画像投影装置1は、ユーザUの右目の眼球EYにレーザ光を入射させた。しかしながら、画像投影装置1は、ユーザUの左目の眼球EYにレーザ光を入射させても良い。この場合、図6、図10(a)、図10(b)、図14及び図15に示した構成の左右を入れ替えることで、同様に説明することができる。
(3)更には、第2領域R2は、第1領域R1に対して右上、右下、左上、左下等の斜めの方向に位置しても良い。この場合、眼球EYが斜めの方向を向いているときにユーザUが画像A1を視認できるように、実施形態1,2で説明した導光部40の構成を組み合わせることで実現することができる。具体的には、第2入射方向は、眼球EYが正面を向いているときに眼球EYに対して右上、右下、左上、左下等の斜めに入射する方向となるように、反射面62a,62bの反射角を調整すれば良い。
(4)上記実施形態では、第1領域R1は、眼球EYが正面を向いているときに中心窩が位置する領域であった。しかしながら、第1領域R1と第2領域R2は、いずれも、眼球EYが正面を向いているときに中心窩から外れた領域であっても良い。言い換えると、ユーザUは、頭部に対して眼球EYが正面を向いているときには画像A1を視認することができず、眼球EYが正面以外の方向(例えば、左側、右側、上側、下側等)を向いているときのみに、画像A1を視認することができても良い。
この場合、導光部40における反射面62a,62bの反射角は、いずれも眼球EYが正面以外の方向を向いているときに視認可能な2つの領域にレーザ光が入射されるように、調整される。これにより、ユーザUは、眼球EYが正面を向いているときには画像A1により視界を妨げられずに前方を見ることができ、必要に応じて眼球EYを動かすことで、画像A1を見ることができる。
(5)上記実施形態では、導光部40は、MEMSミラー30により走査されたレーザ光を異なる2つの入射方向から眼球EYに入射させて、網膜RE上の2つの領域R1,R2のそれぞれに画像A1を投影した。しかしながら、画像が投影される網膜RE上の領域は2つであることに限らず、3以上であっても良い。
網膜RE上における3以上の領域に画像を投影する場合、MEMSミラー30は、レーザモジュール20から出射したレーザ光を、3以上の範囲に走査する。そして、導光部40は、MEMSミラー30により走査されたレーザ光を、互いに異なる反射角を有する3以上の反射面により反射させることで異なる3以上の入射方向から眼球EYに入射させて、網膜RE上の3以上の領域のそれぞれに画像を投影する。投影制御部21は、視線センサ35により計測された眼球EYの向きに応じて、MEMSミラー30によるレーザ光の走査範囲を3以上の範囲のうちから設定する。そして、投影制御部21は、3以上の入射方向のうちの、設定された走査範囲に対応する入射方向からレーザ光が眼球EYに入射するように、MEMSミラー30を制御する。
上記実施形態では、レーザモジュール20は、画像A1の各画素の画素値に対応するレーザ光を、画像A1の右上から順番に出射した。そして、MEMSミラー30は、レーザモジュール20と同期して、同じ順番でレーザ光を走査した。しかしながら、レーザ光の出射及び走査の順番は、図4に示した例に限らず、レーザモジュール20とMEMSミラー30とが正しく同期することができれば、どのような順番であっても良い。
上記実施形態では、導光部40は、凹状の鏡面を備える反射ミラー50を備えていた。しかしながら、導光部40は、凹状の鏡面を備える反射ミラー50に限らず、レーザ光を眼球EY内で集光できるものであれば、例えば、凸レンズ、メニスカスレンズ等を用いても良い。また、導光リフレクタ60は、上述した構成に限らず、走査部により走査されたレーザ光を異なる複数の入射方向から眼球EYに入射させることが可能な構成であれば、どのような光学系を用いても良い。また、レーザ光を走査する走査部としてMEMSミラー30を例にとって説明したが、MEMSミラー30以外の光学系を用いても良い。
上記実施形態では、導光リフレクタ60の最終反射部61zは、A部を境界として不連続な反射面62a,62bを備えていた。そのため、網膜RE上に画像A1が投影される第1領域R1と第2領域R2とは、離れた領域であった。しかしながら、導光リフレクタ60の反射面62a,62bは、このような不連続であることに限らない。例えば、導光リフレクタ60は、反射角が連続的に変化する反射面を備えていても良い。そして、投影制御部21がMEMSミラー30によるレーザ光の走査範囲をより細かく制御して、眼球EYに対するレーザ光の入射方向を、眼球EYの向きに応じてより細かく変化させることができるようにしても良い。
本発明に係る機能を実現するための構成を予め備えた画像投影装置1として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像投影装置1として機能させることもできる。すなわち、上記実施形態で例示した画像投影装置1における画像処理部11及び投影制御部21の各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するCPU等が実行できるように適用することで、本発明に係る画像投影装置1として機能させることができる。
また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、OS(Operating System)の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
レーザ光を出射する光源と、
前記光源から出射された前記レーザ光を走査する走査部と、
前記走査部により走査された前記レーザ光を、前記走査部による前記レーザ光の走査範囲に対応する入射方向から眼球に入射させて、網膜に画像を投影する導光部と、
頭部に対する前記眼球の向きを計測する計測部と、
前記計測部により計測された前記眼球の向きに応じて前記走査範囲を設定する制御部と、
を備えることを特徴とする画像投影装置。
(付記2)
前記制御部は、前記計測部により計測された前記眼球の向きに応じて、前記走査範囲を第1範囲又は第2範囲に設定し、
前記導光部は、前記走査部により前記第1範囲に走査された前記レーザ光を第1入射方向から前記眼球に入射させ、前記走査部により前記第2範囲に走査された前記レーザ光を第2入射方向から前記眼球に入射させる、
ことを特徴とする付記1に記載の画像投影装置。
(付記3)
前記導光部は、前記走査部により前記第1範囲に走査された前記レーザ光を前記第1入射方向に反射する第1反射面と、前記走査部により前記第2範囲に走査された前記レーザ光を前記第2入射方向に反射する第2反射面と、を備え、
前記第1反射面は、前記眼球に対して正面方向に位置しており、前記正面方向に対して前記走査部の側に傾いており、
前記第2反射面は、前記正面方向に対して前記第1反射面とは異なる角度で傾いている、
ことを特徴とする付記2に記載の画像投影装置。
(付記4)
前記導光部は、前記走査部により走査された前記レーザ光を反射する複数の反射部を備え、
前記複数の反射部のうちの最も後段に位置する反射部は、前記走査部により前記第1範囲に走査された前記レーザ光を第1反射角で反射する前記第1反射面と、前記走査部により前記第2範囲に走査された前記レーザ光を第2反射角で反射する前記第2反射面と、を備える、
ことを特徴とする付記3に記載の画像投影装置。
(付記5)
前記制御部は、前記計測部により計測された前記眼球の向きが正面である場合と前記正面以外の向きである場合とで、前記走査部により走査された前記レーザ光が前記眼球に対して異なる入射方向から入射するように、前記走査範囲を設定する、
ことを特徴とする付記1から4のいずれか1つに記載の画像投影装置。
(付記6)
前記制御部は、前記計測部により計測された前記眼球の向きに応じて異なる前記画像が前記網膜に投影されるように、前記光源を制御する、
ことを特徴とする付記1から4のいずれか1つに記載の画像投影装置。
(付記7)
頭部に対する眼球の向きを計測する計測ステップと、
前記計測ステップで計測された前記眼球の向きに応じて、走査部によるレーザ光の走査範囲を設定する設定ステップと、
光源から出射された前記レーザ光を、前記走査部により、前記設定ステップで設定された前記走査範囲に走査する走査ステップと、
前記走査ステップで走査された前記レーザ光を、前記設定ステップで設定された前記走査範囲に対応する入射方向から前記眼球に入射させて、網膜に画像を投影する投影ステップと、
を含むことを特徴とする画像投影方法。
1…画像投影装置、2…制御ユニット、3…投影ユニット、4…複合ケーブル、10…入出力インタフェース、11…画像処理部、12…メモリ、13…EPROM、18…充電回路、19…バッテリ、20…レーザモジュール、21…投影制御部、23…レーザドライバ、30…MEMSミラー、33…MEMSドライバ、35…視線センサ、40…導光部、50…反射ミラー、60…導光リフレクタ、61,61z…反射部、62a,62b…反射面、63…入射部、64…出射部、A1…画像、EY…眼球、PU…瞳孔、RE…網膜、R1,R2…領域、S1,S2…範囲、U…ユーザ

Claims (7)

  1. レーザ光を出射する光源と、
    前記光源から出射された前記レーザ光を走査する走査部と、
    前記走査部により走査された前記レーザ光を、前記走査部による前記レーザ光の走査範囲に対応する入射方向から眼球に入射させて、網膜に画像を投影する導光部と、
    頭部に対する前記眼球の向きを計測する計測部と、
    前記計測部により計測された前記眼球の向きに応じて前記走査範囲を設定する制御部と、
    を備えることを特徴とする画像投影装置。
  2. 前記制御部は、前記計測部により計測された前記眼球の向きに応じて、前記走査範囲を第1範囲又は第2範囲に設定し、
    前記導光部は、前記走査部により前記第1範囲に走査された前記レーザ光を第1入射方向から前記眼球に入射させ、前記走査部により前記第2範囲に走査された前記レーザ光を第2入射方向から前記眼球に入射させる、
    ことを特徴とする請求項1に記載の画像投影装置。
  3. 前記導光部は、前記走査部により前記第1範囲に走査された前記レーザ光を前記第1入射方向に反射する第1反射面と、前記走査部により前記第2範囲に走査された前記レーザ光を前記第2入射方向に反射する第2反射面と、を備え、
    前記第1反射面は、前記眼球に対して正面方向に位置しており、前記正面方向に対して前記走査部の側に傾いており、
    前記第2反射面は、前記正面方向に対して前記第1反射面とは異なる角度で傾いている、
    ことを特徴とする請求項2に記載の画像投影装置。
  4. 前記導光部は、前記走査部により走査された前記レーザ光を反射する複数の反射部を備え、
    前記複数の反射部のうちの最も後段に位置する反射部は、前記走査部により前記第1範囲に走査された前記レーザ光を第1反射角で反射する前記第1反射面と、前記走査部により前記第2範囲に走査された前記レーザ光を第2反射角で反射する前記第2反射面と、を備える、
    ことを特徴とする請求項3に記載の画像投影装置。
  5. 前記制御部は、前記計測部により計測された前記眼球の向きが正面である場合と前記正面以外の向きである場合とで、前記走査部により走査された前記レーザ光が前記眼球に対して異なる入射方向から入射するように、前記走査範囲を設定する、
    ことを特徴とする請求項1から4のいずれか1項に記載の画像投影装置。
  6. 前記制御部は、前記計測部により計測された前記眼球の向きに応じて異なる前記画像が前記網膜に投影されるように、前記光源を制御する、
    ことを特徴とする請求項1から4のいずれか1項に記載の画像投影装置。
  7. 頭部に対する眼球の向きを計測する計測ステップと、
    前記計測ステップで計測された前記眼球の向きに応じて、走査部によるレーザ光の走査範囲を設定する設定ステップと、
    光源から出射された前記レーザ光を、前記走査部により、前記設定ステップで設定された前記走査範囲に走査する走査ステップと、
    前記走査ステップで走査された前記レーザ光を、前記設定ステップで設定された前記走査範囲に対応する入射方向から前記眼球に入射させて、網膜に画像を投影する投影ステップと、
    を含むことを特徴とする画像投影方法。
JP2022109907A 2022-07-07 2022-07-07 画像投影装置及び画像投影方法 Pending JP2024008216A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022109907A JP2024008216A (ja) 2022-07-07 2022-07-07 画像投影装置及び画像投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022109907A JP2024008216A (ja) 2022-07-07 2022-07-07 画像投影装置及び画像投影方法

Publications (1)

Publication Number Publication Date
JP2024008216A true JP2024008216A (ja) 2024-01-19

Family

ID=89544040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022109907A Pending JP2024008216A (ja) 2022-07-07 2022-07-07 画像投影装置及び画像投影方法

Country Status (1)

Country Link
JP (1) JP2024008216A (ja)

Similar Documents

Publication Publication Date Title
US10417975B2 (en) Wide field of view scanning display
KR102461253B1 (ko) 시선 추적기를 구비하는 투사형 디스플레이 장치
US8514148B2 (en) Head mount display
US10499021B2 (en) Foveated MEMS scanning display
US8398242B2 (en) Display apparatus
US10634904B2 (en) Image projection device
JP6231541B2 (ja) 画像投影装置
EP3548991A1 (en) Gaze-tracking system and method of tracking user's gaze
US10761329B2 (en) Image projection device
JP2010139575A (ja) シースルー型ヘッドマウント表示装置
JP2008176096A (ja) 画像表示装置
JP2010139901A (ja) ヘッドマウントディスプレイ
JP2011075956A (ja) ヘッドマウントディスプレイ
KR20200021670A (ko) 웨어러블 장치 및 그 제어 방법
US11947128B2 (en) Digital illumination assisted gaze tracking for augmented reality near to eye displays
JP5163166B2 (ja) 画像表示装置
JP2024008216A (ja) 画像投影装置及び画像投影方法
WO2015193953A1 (ja) 画像表示装置及び光学デバイス
JP7163230B2 (ja) 視線検出装置、視線検出方法、及び表示装置
JP2024008215A (ja) 画像投影装置
JP2011075954A (ja) ヘッドマウントディスプレイ
JP2024041563A (ja) 画像投影装置
KR20230141398A (ko) 프로젝터 구동방법
JP3248697B2 (ja) 網膜ディスプレー装置