JPWO2018186046A1 - 映像生成装置及び映像生成方法 - Google Patents

映像生成装置及び映像生成方法 Download PDF

Info

Publication number
JPWO2018186046A1
JPWO2018186046A1 JP2019511090A JP2019511090A JPWO2018186046A1 JP WO2018186046 A1 JPWO2018186046 A1 JP WO2018186046A1 JP 2019511090 A JP2019511090 A JP 2019511090A JP 2019511090 A JP2019511090 A JP 2019511090A JP WO2018186046 A1 JPWO2018186046 A1 JP WO2018186046A1
Authority
JP
Japan
Prior art keywords
pupil
scanning
light beam
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019511090A
Other languages
English (en)
Other versions
JP7033329B2 (ja
Inventor
勝山　俊夫
俊夫 勝山
祥治 山田
祥治 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Fukui
Original Assignee
University of Fukui
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Fukui filed Critical University of Fukui
Publication of JPWO2018186046A1 publication Critical patent/JPWO2018186046A1/ja
Application granted granted Critical
Publication of JP7033329B2 publication Critical patent/JP7033329B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/12—Scanning systems using multifaceted mirrors
    • G02B26/123—Multibeam scanners, e.g. using multiple light sources or beam splitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

より簡便に瞳孔位置を検出して映像生成する際に、瞳孔位置に対応したビームスポット位置に映像用ビームを照射することを可能にする。光源と、前記光源からの光を走査する光走査ミラーと、前記光走査ミラーにより走査された光ビームを少なくとも瞳孔の表面を走査して眼球からの反射光強度の時間変化を測定する測定機構と、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構とを備えた瞳孔位置検出装置と、検出した位置の前記瞳孔に映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成機構とを設ける。

Description

本発明は、映像生成装置及び映像生成方法に関し、例えば、眼鏡型網膜走査ディスプレイにおける走査光ビームを位置変化する瞳孔へ導くための構成に関する。
従来、レーザビーム等の光ビームを走査投影する装置として、様々な形の光ビーム投影装置が知られている。その中で、半導体レーザと光導波路型合波器を組み合わせた３原色光ビーム投影装置は、装置を小型化、低電力化できる特長があり、レーザビーム走査型カラー画像投影装置へ応用されている（例えば、特許文献１、特許文献２及び特許文献３参照）。
この時、レーザビームを走査する場合に、瞳孔の位置が問題になるため、瞳孔追従方法が提案されている（例えば、特許文献４参照）。この提案においては、画像投影装置を小型化するために、光源から出射された画像用光線を眼の第１表面領域に投射してユーザの網膜に投射し、光源から出射された検査用光線をユーザの眼の第１表面領域から離れた第２表面領域に投射し、検査用光線がユーザの眼で反射した反射光を検出し、検出した反射光に基づき、光源及び光学系の少なくとも一方を制御することが提案されている。
また、引用文献４の構成において、画像品質の劣化と装置の大型化とを抑制するために、主走査方向に振動する第１ミラーの振れ角に基づいて画像用光線の出射を開始し、その後の画像用光線と検出用光線を予め定められた一定のタイミングで光源から出射することが提案されている（例えば、特許文献５参照）。
即ち、第１ミラーの主走査方向の振れ角を基準にして、画像範囲で最初に走査される画像用光線の出射開始タイミングが決定される。 第１ミラーの振れ角を基準に決定されたタイミングで出射が開始された画像用光線の出射が終了した後、第１ミラーの往復振動の復路における画像用光線と往路における画像用光線とが繰り返し出射される。これら画像用光線の繰り返しの出射は、第１ミラーの振れ角を基準にして出射が開始された画像用光線の出射開始からの経過時間に基づいて行われる。
一方、精神活動は正常でも、筋萎縮性側索硬化症等のような,全身筋肉を自由に動かすことができない人にも,眼球運動は正常に行うことができる人が多いため、そのような人たちとのコミュニケーションを円滑に行うための身障者介助システムに利用するため視線を検出することにより注視しているところを検出する研究がおこなわれている。
また、運転中のドライバの意識や注意をモニタリングするために、ドライバの顔画像を撮像することが提案されている。
このような、従来の瞳孔位置検出においては、一般的には赤外線ＬＥＤでユーザの顔を照らして、赤外線を撮影することができるカメラでユーザの目を写し、赤外線の反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて、視線を検出することが行われている。
特許第５２９４２８３号公報 特許第５８１７０２２号公報 国際公開第２０１５／１７０５０５号 特開２０１７−００９９８６号公報 特開２０１７−００９９９２号公報
映像情報メディア学会誌，Ｖｏｌ. ６５, Ｎｏ. ６, ｐｐ. ７５８−７６３ （２０１１）
しかし、特許文献４の場合には、ラスタースキャンしながら所定のタイミングで瞳孔位置を検出し、それに応じて所定のタイミングで映像生成用光ビームを照射しているので、光ビームの照射操作が複雑になるとともに位置検出精度が低くなるという問題がある。即ち、特許文献４においては、１つの光源から出射された画像用光線をユーザの眼の第１表面領域（瞳孔）に投射してユーザの網膜に投射し、同じ光源から出射された可視光の検査用光線が瞳孔に投射されないようにユーザの眼の第１表面領域から離れた第２表面領域（虹彩）の所定の位置に投射している。
また、特許文献５の場合には、画像用光線と検出用光線の出射タイミングの制御が複雑になるという問題がある。
また、従来の瞳孔位置検出方法においては、ユーザの目を撮像するための撮像装置を必須としており、装置が大型化するという問題がある。
したがって、本発明は、より簡便に瞳孔位置を検出することを目的とする。
一つの態様では、映像生成装置は、光源と、前記光源からの光を走査する光走査ミラーと、前記光走査ミラーにより走査された光ビームを少なくとも瞳孔の表面を走査して前記眼球からの反射光強度の時間変化を測定する測定機構と、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構とを備えた瞳孔位置検出装置と、検出した位置の前記瞳孔に映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成機構とを備えている。
また、他の態様では、映像生成方法は、少なくとも瞳孔の表面を光ビームで走査し、前記瞳孔からの反射光強度の時間変化を測定し、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出し、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出したのち、検出した前記瞳孔の位置の前記瞳孔に対して映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する。
一つの側面として、より簡便に瞳孔位置を検出することが可能になる。それによって、映像生成する際に、瞳孔位置に正確に映像用ビームを照射することができ、その結果確実に網膜上に画像を投影でき、正確な像を得ることができる。
本発明の実施の形態の映像生成装置の概念的構成図である。 本発明の実施の形態の映像生成方法の説明図である。 本発明の実施例１の映像生成装置の要部構成図である。 本発明の実施例１の映像生成装置に用いる光学エンジンの概略的斜視図である。 ホログラフィック反射板の形成方法の説明図である。 本発明の実施例１における走査光ビームの照射状況の説明図である。 本発明の実施例１の映像生成装置を用いた映像生成方法の説明図である。 本発明の実施例２の映像生成装置の要部構成図である。 本発明の実施例３の映像生成装置の要部構成図である。 本発明の実施例３における走査光ビームの照射状況の説明図である。 本発明の実施例４の映像生成装置の要部構成図である。 本発明の実施例５の複数ビームスポット方式による映像生成方法の説明図である。 本発明の実施例６の複数ビームスポット方式による映像生成方法の説明図である。 本発明の実施例７の複数ビームスポット方式による映像生成方法の説明図である。 本発明の実施例７の複数ビームスポット方式による映像生成方法に用いる光学エンジンの概略的斜視図である。 本発明の実施例８のビームスポット連続移動方式による映像生成方法の説明図である。 本発明の実施例９の瞳孔位置検出装置の要部構成図である。 本発明の実施例９における走査光ビームの照射状況の説明図である。 本発明の実施例９の瞳孔位置検出装置を用いた瞳孔位置検出方法の説明図である。 本発明の実施例１０の瞳孔位置検出装置の要部構成図である。 本発明の実施例１１の瞳孔位置検出装置の要部構成図である。 本発明の実施例１２の瞳孔位置検出装置の要部構成図である。 本発明の実施例１３における走査光ビームの照射状況の説明図である。 本発明の実施例１３の映像生成装置を用いた映像生成方法の説明図である。 本発明の実施例１４の複数ビームスポット方式による映像生成方法の説明図である。 本発明の実施１５の複数ビームスポット方式による映像生成方法の説明図である。
ここで、図１及び図２を参照して、本発明の実施の形態の映像生成装置及び映像生成方法を説明する。図１は、本発明の実施の形態の映像生成装置の概念的構成図であり、瞳孔位置検出機構と映像生成機構とを備えている。瞳孔位置検出機構は、光源２と、光源２からの光を走査する光走査ミラー３と、光走査ミラー３により走査された光ビーム４を瞳孔８及び虹彩９を含む眼球７に対して反射する反射部材６と、反射部材６で反射された光ビーム４により眼球７の表面を走査して眼球７からの反射光強度の時間変化を測定する測定機構１１と、測定した反射光強度の時間変化から瞳孔８からの反射光強度を抽出する抽出機構（図示は省略）と、抽出した瞳孔８からの反射光強度と眼球７の表面を走査する走査時間と同期することによって瞳孔８のサイズと位置を検出する機構（図示は省略）とを備えている。なお、図における符号１０は網膜である。
この瞳孔位置検出機構を、検出した位置の瞳孔８に映像生成用光ビームを走査しながら投射して映像を眼球７の網膜１０上に形成する映像生成機構と組み合わせることによってウエアラブルな映像生成装置を構成することができる。この場合、映像生成機構の映像生成用光ビーム１３の光源、光走査ミラー及び反射部材を、瞳孔位置検出装置の光源２、光走査ミラー３及び反射部材６を兼ねるように構成することによって小型化が可能になる。 なお、ここでは、瞳孔８及び虹彩９を含む眼球７の表面を走査しているが、瞳孔８の一部でも良く、瞳孔８の一部でも走査できれば、瞳孔８の位置とサイズを推定するとは可能である。
この場合、光源２と光走査ミラー３を一体化して光学エンジン１を構成しても良い。また、反射部材６としては、例えば、ホログラフィック反射板を用い、ホログラフィック反射板はメガネのツルやメガネのレンズ等の支持部材５に固定されている。また、この抽出機構や瞳孔８のサイズと位置を検出する機構等は、測定機構１１からの出力の後段に設けたＣＰＵ等の内部に設けた処理回路で構成する。或いは、瞳孔位置検出用走査と映像生成用走査とを時間分割で行う場合、光走査ミラー３の出力側にプリズム・ミラー、全反射／透過素子、或いは、電気光学素子等の光路切り替え素子を設けても良い。光路切り替え素子を設けることによって、広走査角度の光走査ミラー３を必要とせず、走査角度範囲を有効に利用することができる。
測定機構１１を配置する位置は反射光が得られる場所であれば特に制限されない。眼鏡フレーム、眼鏡ガラスに設けても良いし、さらには測定機構１１を光学エンジン１そのものに搭載しても良い。また、眼球７からの反射光を光学エンジン１への戻り光として検出しても良い。この場合、戻り光は、新たな測定機構１１を搭載するのではなく、三原色光の映像生成用光ビーム１３の戻り光による電流・電圧の変化として検出しても良い。さらには測定機構１１との間に導波器を設けても良い。例えば、反射光を光学エンジン１まで戻したのちに検出器を配置するような光学系としても良い。
眼球７の表面を走査する光ビーム４は、ホログラフィック反射板に直接照射されるようにしても良い。或いは、眼球７の表面を走査する光ビーム４が、メガネのリム或いはメガネのレンズの内部を伝搬して、メガネのリム或いはメガネのレンズの眼球８の反対側の表面に設けられたホログラフィック反射板により反射されるようにしても良い。
光源２としては、青色半導体レーザチップ、緑色半導体レーザチップ、赤色半導体レーザチップ、黄色半導体レーザチップ、赤外線半導体レーザチップ及び紫外線半導体レーザチップの内の一種類以上の半導体レーザチップを用いることができるが、半導体レーザの代わりにＬＥＤ（発光ダイオード）を用いても良い。なお、赤外光は、人間の目に感じないので、三原色光ビームによる映像に影響を及ぼすことが無いので瞳孔位置検出用の光源として望ましい。
図２は、本発明の実施の形態の映像生成方法の説明図であり、図２（ａ）は、光ビームの走査状態の説明図であり、図２（ｂ）は、反射光強度、抽出信号及び瞳孔位置検出信号の説明図である。図２（ａ）に示すように、瞳孔８及び虹彩９を含む眼球７の表面を光ビーム４で走査し、眼球７からの反射光強度の時間変化を測定し、測定した反射光強度の時間変化から瞳孔８からの反射光強度を抽出し、抽出した瞳孔８からの反射光強度と眼球７の表面を走査する走査時間と同期することによって瞳孔８のサイズと位置を検出する。なお、図２の場合には、瞳孔位置検出用走査と映像生成用走査とを時間的に分離して行っているが、瞳孔位置検出用走査と映像生成用走査とを一連の走査により同時に行っても良い。
この場合、瞳孔追従のための瞳孔位置検出のための光ビーム４は、瞳孔８、虹彩９、及びその周りの白目１２の部分をまたいで走査しながら照射されるように光学系が調整されている。また、反射光は光検出器等の測定機構（１１）で検出され、その光量が電気信号として検出される。図２（ａ）においては、簡便のため、Ｔ１から始まり、Ｔ７に至るまでを例示している。
図２（ｂ）の上段図は、このようにして得られる電気信号の時間変化を示したもので、横軸は時間軸で、Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７は、それぞれ図２（ａ）に示した走査の折り返し点に対応する時間である。上図の信号において、反射光強度Ｐ１、Ｐ２、Ｐ３は、それぞれ白目１２の部分からの信号、虹彩９からの信号、瞳孔８からの信号である。このように、白目１２からの反射光がもっとも強く、次に虹彩９からの反射光が強く、瞳孔８からの反射が最も弱いことが分かった。瞳孔８からの反射が最も弱いのは、眼球７内に光ビーム４が入るので反射が起こらないためと考えられる。
図２（ｂ）の中段図は、これらの信号のうち、瞳孔８からの反射に対応するＰ３の信号が得られる時間域を抽出した信号を示したものである。この抽出は、信号強度が最も小さい時間域だけ認識し、抽出する信号レベル・セレクター回路等を用いて行えば良い。Ｐ３の信号が得られる時間域は、ｔ１とｔ２の間、ｔ３とｔ４の間、ｔ５とｔ６の間、ｔ７とｔ８の間である。これらの時間の間のみ光ビーム４が瞳孔８を照射していることが分かる。
これらの信号から、瞳孔８の位置を検出するには、図２（ｂ）の下段図に示すｔｒのように、走査の折り返しの各点に相当する各時間に、短い信号をトリガｔｒとして発生させ、そのトリガとの時間差を計測し、その時間差から逆算して、瞳孔８の位置を決定する。また、ｔ１とｔ２の間隔、ｔ３とｔ４の間隔、ｔ５とｔ６の間隔、ｔ７とｔ８の間隔を比較することによって、図における瞳孔８の上下方向の位置を検出することができる。なお、ここでは、瞳孔位置検出のための光ビーム４を、瞳孔８、虹彩９、及びその周りの白目１２の部分をまたいで走査しながら照射しているが、少なくとも瞳孔８の一部を走査すれば良く、それによって、瞳孔８の位置とサイズを推定することが可能になる。
したがって、瞳孔位置に正確に映像用ビームを照射することができ、その結果確実に網膜上に画像を投影でき、正確な像を得ることができる。また、単に、瞳孔位置検出システムとして利用した場合には、身障者介助システムに利用するため視線の検出や運転中のドライバの意識や注意をモニタリングする際の視線の検出を撮像装置等を用いることなく簡便に検出することができる。即ち、本発明の実施の形態においては、上記の特許文献４等の従来技術常識に反して、瞳孔位置検出のための可視光の光ビーム４を瞳孔８にも入射するように、瞳孔８、虹彩９、及びその周りの白目１２の部分をまたいで走査しているので、特許文献４等に比べて瞳孔位置に正確に映像用ビームを照射することが可能になる。なお、瞳孔位置検出のための可視光の光ビーム４が瞳孔８に入射することは本来的には望ましくないので、光ビーム４の出力を極力低出力にする。
映像生成用光ビームを照射する際には、上述の瞳孔位置検出方法により瞳孔８のサイズと位置を検出したのち、検出した瞳孔位置の瞳孔８に対して映像生成用光ビームを走査しながら投射して映像を眼球８の網膜１０上に形成すれば良い。なお、瞳孔位置検出用走査と映像生成用走査とを一連の走査により同時に行う場合には、瞳孔位置が検出された後のＴ４，Ｔ６のタイミングの走査時に映像生成用光ビームを検出した瞳孔８の位置に照射する。なお、Ｔ２の時点では瞳孔位置が検出されていないので、映像生成用光ビームは照射しない。
この時、瞳孔８のサイズと位置を検出する工程において、眼球８に対して、映像生成用光ビームを照射する予め複数のビームスポットを設定して走査用の光ビーム４を照射し、瞳孔８の中心位置近傍であると検出した複数のビームスポットのうちの一つに映像生成用光ビームを走査しながら投射するようにしても良い。なお、ビームスポットとは、走査した光ビームが、走査ごとにほぼ通過する同一地点を意味する。
具体的には、複数のビームスポットの各ビームスポット対して、映像生成機構の光走査ミラー３からビームの走査角度を変えて、映像生成用光ビーム１３を照射するようにしても良い。
或いは、複数のビームスポットの各ビームスポット対して、映像生成機構の光走査ミラーを光源からの光ビームの光軸方向に移動させることによって映像生成用光ビーム１３を照射するようにしても良い。この場合には、映像生成機構の光走査ミラーに、映像生成機構の光源からの光ビームの光軸方向に移動可能な移動機構を設ければ良い。
或いは、複数のビームスポットを設定する代わりに、映像生成用光ビーム１３を走査する工程において、眼球７に対して、映像生成用光ビーム１３を照射する位置を連続的に変化させながら映像生成用光ビーム１３を照射し、瞳孔８の中心位置であると検出したビームスポットを中心位置として映像生成用光ビーム１３を走査しながら投射するようにしても良い。この場合、照射した映像生成用光ビーム１３が収束するビームスポット位置は、映像生成用光ビーム１３が瞳孔８を通過し、眼球７の内部となる。
いずれも場合にも、各ビームスポットに対して、予め定めたビーム走査角範囲内で走査動作を行い、予め定めたビーム走査角範囲内で映像生成用光ビームを走査しながら投射すれば良い。その結果、瞳孔位置に正確に映像用ビームを照射することができ、その結果確実に網膜上に画像を投影でき、正確な像を得ることができる。また、スキャンする光学系を制御すると機械的な制御機構による光学系のブレや光学系制御のための駆動エネルギーが消費されるが、画像投影用光ビームの照射タイミングを制御しているのでそれらの虞を低減することができる。
或いは、各ビームスポットに対して、予め定めたビーム走査角範囲を超えた範囲で走査動作を行い、予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射するようにしても良い。
さらには、各ビームスポットに対して、予め定めたビーム走査角範囲を超えた範囲で前記映像生成用光ビームを走査しながら投射するようにしても良い。
次に、図３乃至図７を参照して、本発明の実施例１の映像生成装置を説明する。本発明の実施例１においては、瞳孔位置検出用走査と映像生成用走査とを時間的に分離して行う。図３は、本発明の実施例１の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の内部に光源及び光走査ミラーからなる光学エンジン３０を格納するとともに、その近傍に光検出器５１を取り付ける。眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。
光学エンジン３０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光５３が再びホログラフィック反射板７０で反射されて光検出器５１によって検出される。なお、光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。
図４は、本発明の実施例１の映像生成装置に用いる光学エンジンの概略的斜視図である。まず、厚さが５００μｍのＳｉ基板３１上に火炎加水分解法を用いて、厚さが１５μｍのＳｉＯ２膜３２を形成する。次いで、ＳｉＯ２膜３２上に同じく火炎加水分解法で、厚さ２μｍのＳｉＯ２-ＧｅＯ２層（屈折率差Δｎ＝０．５％、Δｎ＝（ｎ１-ｎ２）／ｎ１で定義。ｎ１：コアの屈折率、ｎ２：クラッドの屈折率)を成膜する。この上に、コンタクトマスクを用いた光露光法で導波路幅が２μｍの光導波路パターン３４〜３６を形成して光合波器３３とする。
次いで、光導波路パターン３４〜３６上に、全体を覆うカバー層として、厚さが２０μｍのＳｉＯ２膜（図示は省略）を上部クラッド層として、同じく火炎加水分解法で成膜する。なお、赤色用の光導波路パターン３４及び青色用の光導波路パターン３６は光入射部を直角に曲げる必要があるので、曲げる部分にＧａを用いた収束イオンビーム法を用いたエッチングにより、深さ３０μｍの深掘りトレンチを形成し、導波した光が、トレンチ側壁で全反射するようにする。次いで、光合波器３３の領域のみ残して、他の部分のＳｉＯ２膜を全てエッチングにより取り除き、Ｓｉ基板３１をむき出しの状態にする。
次いで、それぞれ一対のヒンジに支えられた回転外枠及び非回転外枠の２重枠構造を有する２次元光走査ミラー部３８を形成する。なお、この製造プロセスの基本は、２次元光走査ミラー部３８を構成する磁性薄膜の永久磁石特性が消えないように、着磁後の全てのプロセスの温度を２００℃以下で行う。なお、図における符号３７はＳｉＯ２膜である。
次いで、赤色半導体レーザチップ３９、緑色半導体レーザチップ４０及び青色半導体レーザチップ４１を、それぞれ光導波路パターン３４〜３６に光が入射するように、Ｓｉ基板３１上にボンディングする。この時、赤色半導体レーザチップ３９、緑色半導体レーザチップ４０及び青色半導体レーザチップ３１のレーザ出射端と光導波路パターン３４〜３６の位置が整合するようにＳｉ基板３１を所定の深さまでエッチングする。
次いで、２次元光走査ミラー装置３８の反射部を駆動するソレノイド・コイル４２をＳｉ基板３１の下側に配置し、接着剤を用いて、Ｓｉ基板３１に固定する。この時、ソレノイド・コイル４２に光走査信号を印加しない状態で、反射部のミラー面がＳｉ基板３１の主面にほぼ平行な光ビームに対して４５°傾くようにする。
図５は、ホログラフィック反射板の形成方法の説明図である。まず、図５（ａ）に示すように、厚さが０．５ｍｍ〜１０ｍｍ程度のＳｉＯ２系ガラス等からなる基板７１上に、透明なプラスチック膜７２を塗布等の方法で形成する。次いで、図５（ｂ）に示すように、形成したプラスチック膜７２の上からモールド７３を加圧し、かつプラスチックの軟化温度付近にプラスチック膜７２の温度を上昇させる。モールド５３には、光ビームを設定した角度に反射するための回折格子間隔のパターンを作製しているので、この回折格子７４がプラスチック膜７２に転写される。
次いで、図５（ｃ）に示すように、回折格子７４が転写されたプラスチック膜７２を基板７１から剥離し、ホログラフィック反射板７０とし、このホログラフィック反射板７０を眼鏡レンズ２２の内側の面の所定箇所に貼り付ける。なお、ホログラフィック反射板７０は、図示していないリムに貼り付けても良い。なお、ここでは、プラスチック膜７２として、軟化温度が１４５℃のポリカーボネート樹脂を用い、加熱温度を１４０℃とし、加圧量を２．０ＭＰａとする。なお、基板として眼鏡ガラスを用いて、眼鏡ガラスの透明なプラスチック膜を設けてこのプラスチック膜に回折格子を転写しても良く、この場合には、基板からの剥離工程は不要になる。
図６は、本発明の実施例１における走査光ビームの照射状況の説明図であり、走査は２次元的に行われるが、ここでは簡便のため平面的に描画している。光学エンジン３０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光が再びホログラフィック反射板７０で反射されて眼鏡のツルに取り付けた光検出器（５１）によって検出され、瞳孔６１の位置を検出する。映像は、同じ光学エンジン３０から出射した三原色光ビーム５４を走査し、眼鏡ガラス２２の瞳孔位置検出用の走査光ビーム５２のための反射板範囲以外に形成されたホログラフィック反射板（図示を省略）により、瞳孔６１を通して眼球７０の網膜６４上に生成させる。
瞳孔追従検出用ビーム走査は、走査角度範囲を大きくして、映像生成用ビーム走査と同じタイミングで行っている。この場合、実際に検出に用いる瞳孔追従検出用の走査光ビーム５２は、映像生成用の三原色光ビーム５４の全走査の中から間引いた光ビーム走査を用いることができ、位置解析のためのプログラム実行時間と消費電力を少なくすることができる。具体的には、瞳孔追従検出用ビーム走査は、映像生成用ビーム走査を、横（左右）方向走査が３０ｋＨｚ、縦（上下）方向走査が６０Ｈｚとした場合、横方向走査、縦方向走査とも１Ｈｚ〜１００Ｈｚにしても良い。なお、瞳孔追従検出用ビーム走査に用いる可視光が瞳孔６１に入射することは本来的には望ましくないので、瞳孔追従検出用ビーム走査時には、走査光ビーム５２の出力を極力低出力にする。
図７は、本発明の実施例１の映像生成装置を用いた映像生成方法の説明図であり、図７（ａ）は瞳孔位置検出方法の説明図であり、図７（ｂ）は映像生成方法を示す説明図である。図７（ａ）に示すように、光ビーム５３は、瞳孔６１、虹彩６２、及びその周りの白目６３の部分をまたいで走査しながら照射する。ここでは、瞳孔サイズを２．５ｍｍφ〜４ｍｍφ程度として、走査光ビームの左右方向の走査幅を±２０ｍｍ程度とし、上下方向の走査幅を±１２ｍｍ程度とする。このように走査幅を設定することによって、瞳孔６１の位置が左右方向に±１０ｍｍ程度、上下方向に±５ｍｍ程度に変動したとして、正確に瞳孔６１の位置を検出することができる。
図７（ｂ）の上段図に示すように、光検出器５１で検出された反射光強度は、白目６３からの反射光Ｐ１がもっとも強く、次に虹彩６２からの反射光Ｐ２が強く、瞳孔６１からの反射光Ｐ３が最も弱い。図７（ｂ）の中段図は、信号レベル・セレクター回路を用いて抽出したＰ３の信号が得られる時間域の信号である。Ｐ３の信号が得られる時間域は、ｔ１とｔ２の間、ｔ３とｔ４の間、ｔ５とｔ６の間、ｔ７とｔ８の間である。これらの時間の間のみ走査光ビーム５２が瞳孔６１を照射している。
これらの信号から、瞳孔６１の位置を検出するには、図７（ｂ）の下段に示すｔｒのように、走査の折り返しの各点に相当する各時間に、短い信号をトリガとして発生させ、そのトリガとの時間差を計測し、その時間差から逆算して、瞳孔６１の位置を決定する。例えば、Ｔ２とT３間のビーム走査では、Ｔ２からｔ１間の時間に相当する位置変化量から瞳孔６１が始まり、ｔ１からｔ２の時間に相当する位置変化量が瞳孔６１の幅になる。
正確に瞳孔６１の位置を検出したのち、映像生成用光ビームを検出した瞳孔６１の位置に照射する。ここでも映像生成用ビームスポットサイズを＜４ｍｍφ程度とする。
本発明の実施例１においては、瞳孔位置検出のために走査光ビームを用いているので、簡便な機構・方法で瞳孔の６１の位置をほぼリアルタイムに精度良く検出することができる。
次に、図８を参照して、本発明の実施例２の映像生成装置を説明する。図８は、本発明の実施例２の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の先端部の内部に光源及び光走査ミラーからなる光学エンジン３０を格納する。また、実施例２においては、光検出器５１を眼鏡レンズ２２の端部に取り付ける。また、眼鏡レンズ２２の眼球６０に対向する面と反対側の面の一部にホログラフィック反射板７０を貼り付ける。
光学エンジン３０から出射される走査光ビーム５２は、眼鏡レンズ２２内を全反射を繰り返しながら伝搬してホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査する。その反射光が再びホログラフィック反射板７０で反射されて眼鏡レンズ２２内を反対方向に伝搬して光検出器５１によって検出される。なお、この場合も光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。なお、映像生成方法は、実施例１の場合と同様である。
次に、図９及び図１０を参照して、本発明の実施例３の映像生成装置を説明する。図９は、本発明の実施例３の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の先端部の内部に光源及び光走査ミラーからなる光学エンジン３０を格納する。また、実施例３においては、光検出器５１を眼鏡のツル２１の端部に取り付ける。また、眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付けるとともに、瞳孔位置検出用の光学エンジン５５を別途眼鏡２０のツル２１に取り付ける。なお、この光学エンジン５５は、瞳孔６１の位置を検出するだけであるので、単一光源の光学エンジン５５、例えば、光源として赤外線半導体レーザを用いれば良い。
図１０は、本発明の実施例３における走査光ビームの照射状況の説明図である。光学エンジン５５から出射される走査光ビーム５２は、瞳孔６１を含む眼球６０の表面を走査する。その反射光がホログラフィック反射板７０等で反射されて光検出器（５１）によって検出される。なお、この場合も光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。なお、映像生成方法は、実施例１の場合と同様である。
次に、図１１を参照して、本発明の実施例４の映像生成装置を説明する。図１１は、本発明の実施例４の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の先端部の内部に光源及び光走査ミラーからなる光学エンジン３０を格納する。また、眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。
光学エンジン３０から出射される走査光ビーム５２は、瞳孔６１を含む眼球６０の表面を走査する。その反射光がホログラフィック反射板７０等で反射されて光学エンジン３０に入射する。この時、光学エンジン３０の光源を構成する各半導体レーザの電流・電圧特性が変化するので、この変化を光学エンジン３０のドライバ回路に設けた電流・電圧変動検知回路で検出する。なお、映像生成方法においては、反射光強度の変動ではなく、電流・電圧変動により映像生成用光ビームを照射するビームスポット位置の制御を行う。
次に、図１２を参照して、本発明の実施例５の複数ビームスポット方式による映像生成方法を説明する。図１２は、本発明の実施例５の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。瞳孔６１の位置が変化した場合の対応方法として、映像生成用ビームスポットを複数個用意する方法が開示されている（例えば、非特許文献１参照）。
図１２に示すように、瞳が前方を真直ぐ見ている場合の瞳孔６１の中心に、映像生成用ビームスポット６６１を設定し、その左右、上下に瞳が動いた場合に対応するための映像生成用ビームスポット６６２〜６６５を設定する。図では、左右、上下に各1個のみ設定しているが、もちろん左右、上下に複数個づつ設定して、より広い範囲をカバーしても良い。
この時の映像生成方法は、以下の２つの方法がある。第１の方法は、瞳孔内にほぼ収まる映像生成用ビームスポットを一つ選び、その映像生成用ビームスポットの位置とサイズで実際に三原色光ビームを走査して、網膜上に映像を生成する。実際の三原色光ビームは、これらの設定された映像生成用ビームスポット６６１〜６６５のいずれか一つのみの位置に照射される。どの映像生成用ビームスポット位置に実際のビームを照射し走査するかは、瞳孔６１の位置を検出して実行する。
第２の方法は、設定した全ての映像生成用ビームスポット６６１〜６６５の位置とサイズで実際に三原色光ビームを走査して、網膜上に映像を生成する。ただし、網膜上で映像がズレないように、それぞれの映像生成用ビームスポットを生成する三原色光ビームの信号を互いに修正する。なお、ここでは、瞳孔サイズを２．５ｍｍφ〜４ｍｍφ程度、瞳孔位置変化量を左右方向±１０ｍｍ程度、上下方向±５ｍｍ程度とし、映像生成用ビームスポットサイズを＜４ｍｍφ程度とする。なお、映像生成用ビームスポット位置間隔：左右上下方向とも２．５ｍｍ〜４ｍｍ程度とする。図では左右上下に１個づつとしているが、左右方向６個程度、上下方向３個程度としても良い。
次に、図１３を参照して、本発明の実施例６の複数ビームスポット方式による映像生成方法を説明する。図１３は、本発明の実施例６の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。
光学エンジン３０から射出された三原色光ビーム５４は、設定されたビーム走査角度範囲で走査されて、ホログラフィック反射板７０によって瞳孔６１上にスポット形状に収束され、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン３０から射出された三原色光ビーム５４（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域で反射させ、それぞれ移動した瞳孔６１に収まるスポット位置に三原色光ビーム５４を導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６４上の生成映像範囲に映像を生成する。
ここで、光学エンジン３０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲のみで行う。或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲をすべて含む広いビーム走査角度で行い、広いビーム走査角度全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲で出す信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
次に、図１４及び図１５を参照して、本発明の実施例７の複数ビームスポット方式による映像生成方法を説明する。図１４は、本発明の実施例７の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。
光学エンジン８０から射出された三原色光ビーム５４は、設定された異なるビーム出射位置から出射され、設定されたビーム走査角度範囲で走査される。次に、ホログラフィック反射板７０によって瞳孔６１上にスポット形状に収束され、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン８０から射出された三原色光ビーム（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域で反射させ、それぞれ移動した瞳孔６１に収まるスポット位置に三原色光ビーム５４を導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６４上の生成映像範囲に映像を生成する。ここで、光学エンジン８０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲のみで行う。或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲をすべて含む広い範囲で行い、広い範囲全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
図１５は、本発明の実施例７の複数ビームスポット方式による映像生成方法に用いる光学エンジンの概略的斜視図である。光源部は、図４と同様に、Ｓｉ基板３１上にＳｉＯ２膜３２を形成する。次いで、ＳｉＯ２膜３２上にＳｉＯ２-ＧｅＯ２層を成膜したのち、コンタクトマスクを用いた光露光法で導波路幅が光導波路パターン３４〜３６を形成して光合波器３３とする。次いで、光導波路パターン３４〜３６上に、全体を覆うカバー層として、厚さが２０μｍのＳｉＯ２膜（図示は省略）を上部クラッド層として成膜する。
一方、Ｓｉ基板３１とは別のＳｉ基板４３に、図４の場合と同様に、それぞれ一対のヒンジに支えられた回転外枠及び非回転外枠の２重枠構造を有する２次元光走査ミラー部４４を形成する。
この光源部を形成したＳｉ基板３１と２次元光走査ミラー部４４を形成したＳｉ基板４１を移動用ガイド８２を設けた共通基板８１上に載置し、２次元光走査ミラー部４４の下部にソレノイド・コイル４２を配置する。この時、２次元光走査ミラー部４４を形成したＳｉ基板４１に移動用バー８４を介して移動機構用モジュール８３を接続し、共通基板８１上で、移動用ガイド８２に沿ってスライドできるようにする。移動機構用モジュール８３が、移動用バー８４を前後に延ばしたり、引き込んだりすることによって、２次元光走査ミラー部４４を移動させることができる。このことにより、光学エンジン８０から出射する三原色光ビームの位置を移動させることができる。
共通基板８１及び移動用ガイド８２としては、磁性薄膜を設けている２次元光走査ミラー部４４の動作に影響を与えないようにＡｌやＣｕ等の非磁性金属を用いるが、ここでは、Ａｌを用いる。移動機構用モジュール８３としては、円筒型マイクロコイルを用いた電磁駆動型アクチュエータを用いる。
次に、図１６を参照して、本発明の実施例８のビームスポット連続移動方式による映像生成方法を説明する。図１６は、本発明の実施例８のビームスポット連続移動方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。
光学エンジン３０から射出された三原色光ビーム５４は、設定されたビーム走査角度範囲で走査されて、ホログラフィック反射板７０によって瞳孔６１内に導かれ、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン３０から射出された三原色光ビーム５４（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域で反射させ、それぞれ移動した瞳孔内に三原色光ビームを導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６１上の生成映像範囲に映像を生成する。
この時、図に示したように、走査した三原色光ビーム５４が収束するスポットは、瞳孔６１の上でなく、眼球６０の内部に設定する。また、この位置は、光学エンジン３０から出射した三原色光ビーム５４の全てが、ほぼこのスポット位置に収束するように設定する。このようにすることによって、移動した瞳孔６１の線種に対応した線種で表示されるそれぞれの三原色光ビーム５４の走査範囲が重複する場合でも、網膜６４上に映像を正しく生成することができる。
ここで、光学エンジン３０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲のみで行う。或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲をすべて含む広いビーム走査角度で行い、広いビーム走査角度全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲で出す信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
次に、図１７乃至図１９を参照して、本発明の実施例９の瞳孔位置検出装置を説明する。図１７は、本発明の実施例９の瞳孔位置検出装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の内部に光源及び光走査ミラーからなる光学エンジン９０を格納するとともに、その近傍に光検出器５１を取り付ける。眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。
光学エンジン９０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光が再びホログラフィック反射板７０で反射されて光検出器５１によって検出される。なお、光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。
光学エンジン９０の基本構造は図４に示した光学エンジン３０と基本的には同じであるが、光源は瞳孔追跡用光源のみで良いので、単一の半導体レーザ或いはコリメートされたＬＥＤで良く、例えば、赤外線半導体レーザを用いる。光導波路パターンも一本の直線状の光導波路パターンのみで良いが、光導波路パターンは必須ではなく、例えば、半導体レーザからの走査光ビームを２次元光走査ミラーに直接照射するようにしても良い。
図１８は、本発明の実施例９における走査光ビームの照射状況の説明図であり、走査は２次元的に行われるが、ここでは簡便のため平面的に描画している。光学エンジン９０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光が再びホログラフィック反射板７０で反射されて眼鏡のツルに取り付けた光検出器（５１）によって検出され、瞳孔６１の位置を検出する。
図１９は、本発明の実施例９の瞳孔位置検出装置を用いた瞳孔位置検出方法の説明図であり、図１９（ａ）は光ビームの走査状態の説明図であり、図１９（ｂ）は、反射光強度及び抽出信号の説明図である。図１９（ａ）に示すように、光ビーム５３は、瞳孔６１、虹彩６２、及びその周りの白目６３の部分をまたいで走査しながら照射する。ここでは、瞳孔サイズを２．５ｍｍφ〜４ｍｍφ程度として、走査光ビームの左右方向の走査幅を±２０ｍｍ程度とし、上下方向の走査幅を±１２ｍｍ程度とする。このように走査幅を設定することによって、瞳孔６１の位置が左右方向に±１０ｍｍ程度、上下方向に±５ｍｍ程度に変動したとして、正確に瞳孔６１の位置を検出することができる。
図１９（ｂ）の上段図に示すように、光検出器５１で検出された反射光強度は、白目６３からの反射光Ｐ１がもっとも強く、次に虹彩６２からの反射光Ｐ２が強く、瞳孔６１からの反射光Ｐ３が最も弱い。図１９（ｂ）の下段図は、信号レベル・セレクター回路を用いて抽出したＰ３の信号が得られる時間域の信号である。Ｐ３の信号が得られる時間域は、ｔ１とｔ２の間、ｔ３とｔ４の間、ｔ５とｔ６の間、ｔ７とｔ８の間である。これらの時間の間のみ走査光ビーム５２が瞳孔６１を照射している。
これらの信号から、瞳孔６１の位置を検出するには、図１９（ｂ）の下段に示すｔｒのように、走査の折り返しの各点に相当する各時間に、短い信号をトリガとして発生させ、そのトリガとの時間差を計測し、その時間差から逆算して、瞳孔６１の位置を決定する。例えば、Ｔ２とＴ３間のビーム走査では、Ｔ２からｔ１間の時間に相当する位置変化量から瞳孔６１が始まり、ｔ１からｔ２の時間に相当する位置変化量が瞳孔６１の幅になる。また、ｔ１とｔ２の間隔、ｔ３とｔ４の間隔、ｔ５とｔ６の間隔、ｔ７とｔ８の間隔を比較することによって、図における瞳孔８の上下方向の位置を検出することができる。
したがって、身障者介助システムに利用するため視線の検出や運転中のドライバの意識や注意をモニタリングする際の視線の検出を撮像装置等を用いることなく簡便に検出することができる。なお、この実施例７の場合にも、上記の実施例２と同様に、走査光ビームが眼鏡レンズ内を伝搬するようにしても良い。
次に、図２０を参照して、本発明の実施例１０の瞳孔位置検出装置を説明する。図２０は、本発明の実施例１０の瞳孔位置検出装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。光学エンジン９０及び光検出器５１を眼鏡のツル２１の端部に取り付ける。また、眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。なお、この光学エンジン９０は、瞳孔６１の位置を検出するだけであるので、単一光源の光学エンジン９０、例えば、光源として赤外線半導体レーザを用いれば良い。
実施例１０においては、光学エンジン９０から出射される走査光ビーム５２は、瞳孔６１を含む眼球６０の表面を走査する。その反射光５３がホログラフィック反射板７０等で反射されて光検出器５１によって検出される。なお、この場合も光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。
次に、図２１を参照して、本発明の実施例１１の瞳孔位置検出装置を説明する。図２１は、本発明の実施例１１の瞳孔位置検出装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。光学エンジン９０を眼鏡のツル２１の端部に取り付ける。また、眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。なお、この光学エンジン９０は、瞳孔６１の位置を検出するだけであるので、単一光源の光学エンジン９０、例えば、光源として赤外線半導体レーザを用いれば良い。
実施例１１においては、光学エンジン９０から出射される走査光ビーム５２は、瞳孔６１を含む眼球６０の表面を走査する。その反射光５３がホログラフィック反射板７０等で反射されて光学エンジン９０に入射する。この時、光学エンジン９０の光源を構成する各半導体レーザの電流・電圧特性が変化するので、この変化を光学エンジン９０のドライバ回路に設けた電流・電圧変動検知回路で検出する。なお、この場合も実施例４と同様に、光学エンジン９０は眼鏡のツル２１の内部に格納しても良い。
次に、図２２を参照して、本発明の実施例１２の映像生成装置を説明する。本発明の実施例１２においては、上記の実施例１と同様に、瞳孔位置検出用走査と映像生成用走査とを時間的に分離して行う。図２２は、本発明の実施例１２の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の内部に光源及び光走査ミラーからなる光学エンジン３０を格納するとともに、その近傍に光検出器５１を取り付ける。眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。この実施例１２においては、ツル２１の光学エンジン３０からの走査光ビーム５２の出力部に光路切り替え素子５５を設けている以外は、上記の実施例１と同様である。ここでは、光路切り替え素子５５として、プリズム・ミラーを用いるが、プリズム・ミラーの代わりに全反射／透過素子或いは電気光学素子を用いても良い。
この場合、光学エンジン３０から出射される走査光ビーム５２は、瞳孔位置検出用走査と映像生成用走査とで光路切り替え素子５５で光路を切替える。即ち、瞳孔位置検出用走査においては光路切り替え素子５５をオフ状態で走査し、瞳孔位置を検出したのちの映像生成用走査においては、光路切り替え素子５５をオンにして光路を切り替えて走査する。本発明の実施例１２においては、光路切り替え素子５５を設けているので、光学エンジン３０に広走査角度の光走査ミラーを用いる必要はなく、走査角度範囲を有効に利用することができる。
次に、図２３及び図２４を参照して、本発明の実施例１３の映像生成装置を説明するが、装置構成は上記の実施例１と同様であるので、映像生成装置を用いた映像生成方法のみを説明する。本発明の実施例１３においては、瞳孔位置検出用走査と映像生成用走査とを一連の走査において同じタイミングで行う。
図２３は、本発明の実施例１３における走査光ビームの照射状況の説明図であり、図６に示した実施例１の光走査ビームの照射状況と同様である。光学エンジン３０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光が再びホログラフィック反射板７０で反射されて眼鏡のツルに取り付けた光検出器（５１）によって検出され、瞳孔６１の位置を検出する。映像は、同じ光学エンジン３０から出射した三原色光ビーム５４を走査し、眼鏡ガラス２２の瞳孔位置検出用の走査光ビーム５２のための反射板範囲以外に形成されたホログラフィック反射板（図示を省略）により、瞳孔６１を通して眼球７０の網膜６４上に生成させる。
瞳孔追従検出用ビーム走査は、走査角度範囲を大きくして、映像生成用ビーム走査と同じタイミングで行っている。この場合、実際に検出に用いる瞳孔追従検出用の走査光ビーム５２は、映像生成用の三原色光ビーム５４の全走査の中から間引いた光ビーム走査を用いることができ、位置解析のためのプログラム実行時間と消費電力を少なくすることができる。具体的には、瞳孔追従検出用ビーム走査は、映像生成用ビーム走査を、横（左右）方向走査が３０ｋＨｚ、縦（上下）方向走査が６０Ｈｚとした場合、横方向走査、縦方向走査とも１Ｈｚ〜１００Ｈｚにしても良い。なお、瞳孔追従検出用ビーム走査に用いる可視光が瞳孔６１に入射することは本来的には望ましくないので、瞳孔追従検出用ビーム走査時には、走査光ビーム５２の出力を極力低出力にする。
図２４は、本発明の実施例１３の映像生成装置を用いた映像生成方法の説明図であり、図２４（ａ）は瞳孔位置検出方法の説明図であり、図２４（ｂ）は映像生成方法を示す説明図である。図２４（ａ）に示すように、光ビーム５３は、瞳孔６１、虹彩６２、およびその周りの白目６３の部分をまたいで走査しながら照射する。ここでは、瞳孔サイズを２．５ｍｍφ〜４ｍｍφ程度として、走査光ビームの左右方向の走査幅を±２０ｍｍ程度とし、上下方向の走査幅を±１２ｍｍ程度とする。このように走査幅を設定することによって、瞳孔６１の位置が左右方向に±１０ｍｍ程度、上下方向に±５ｍｍ程度に変動したとして、正確に瞳孔６１の位置を検出することができる。
図２４（ｂ）の上段図に示すように、光検出器５１で検出された反射光強度は、白目６３からの反射光Ｐ１がもっとも強く、次に虹彩６２からの反射光Ｐ２が強く、瞳孔６１からの反射光Ｐ３が最も弱い。図２４（ｂ）の中段図は、信号レベル・セレクター回路を用いて抽出したＰ３の信号が得られる時間域の信号である。Ｐ３の信号が得られる時間域は、ｔ１とｔ２の間、ｔ３とｔ４の間、ｔ５とｔ６の間、ｔ７とｔ８の間である。これらの時間の間のみ走査光ビーム５２が瞳孔６１を照射している。
これらの信号から、瞳孔６１の位置を検出するには、図２４（ｂ）の下段に示すｔｒのように、走査の折り返しの各点に相当する各時間に、短い信号をトリガとして発生させ、そのトリガとの時間差を計測し、その時間差から逆算して、瞳孔６１の位置を決定する。例えば、Ｔ２とT３間のビーム走査では、Ｔ２からｔ１間の時間に相当する位置変化量から瞳孔６１が始まり、ｔ１からｔ２の時間に相当する位置変化量が瞳孔６１の幅になる。
したがって、瞳孔位置ウィンドウ間であるｔ３とｔ４の間、ｔ７とｔ８の間に、即ち、瞳孔位置が検出された後のＴ４，Ｔ６のタイミングの走査時に映像生成用光ビームを検出した瞳孔６１の位置に照射する。なお、Ｔ２の時点では瞳孔位置が検出されていないので、映像生成用光ビームは照射しない。ここでは、映像生成用ビームスポットサイズを＜４ｍｍφ程度とする。
本発明の実施例１３においては、瞳孔位置検出のために走査光ビームを用いているので、簡便な機構・方法で瞳孔の６１の位置をほぼリアルタイムに検出することができる。また、瞳孔位置ウィンドウ間に映像生成用の三原色光ビーム５４を走査しているので、光学系のブレや光学系制御のための駆動エネルギーが消費を低減することが可能になる。
次に、図２５を参照して、本発明の実施例１４の複数ビームスポット方式による映像生成方法を説明する。図２５は、本発明の実施１４の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。ここでは、３つの位置にビームスポット照射する例を示しているが、ビームスポットの数は任意である。
本発明の実施例１４においては、ホログラフィック反射板７０を３つの領域７０１，７０２，７０３に分割し、反射光が予め設定した瞳孔６１の位置に照射されるように各領域における回折格子のピッチを個別に設定する。
光学エンジン８０から射出された三原色光ビーム５４は、設定された領域、例えば、領域７０１に対応したビーム走査角度範囲で走査される。次に、ホログラフィック反射板７０によって瞳孔６１上にスポット形状に収束され、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン８０から射出された三原色光ビーム（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域７０２，７０３で反射させ、それぞれ移動した瞳孔６１に収まるスポット位置に三原色光ビーム５４を導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６４上の生成映像範囲に映像を生成する。ここで、光学エンジン８０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲のみで走査する或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲をすべて含む広い範囲で行い、広い範囲全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
次に、図２６を参照して、本発明の実施例１５の複数ビームスポット方式による映像生成方法を説明する。図２６は、本発明の実施１５の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものであり、ここでは、３つの位置にビームスポット照射する例を示しているが、ビームスポットの数は任意である。なお、本発明の実施例１５の複数ビームスポット方式による映像生成方法に用いる光学エンジンは、上記の実施例７と同様であり、移動機構用モジュール（８３）による移動を３段階で行うものである。
本発明の実施例１５においても、ホログラフィック反射板７０を３つの領域７０１，７０２，７０３に分割し、反射光が予め設定した瞳孔６１の位置に照射されるように各領域における回折格子のピッチを個別に設定する。
光学エンジン８０から射出された三原色光ビーム５４は、設定された３か所のビーム出射位置から出射され、設定された領域、例えば、領域７０１に対応したビーム走査角度範囲で走査される。次に、ホログラフィック反射板７０によって瞳孔６１上にスポット形状に収束され、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン８０から射出された三原色光ビーム（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域７０２，７０３で反射させ、それぞれ移動した瞳孔６１に収まるスポット位置に三原色光ビーム５４を導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６４上の生成映像範囲に映像を生成する。ここで、光学エンジン８０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲のみで走査する或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲をすべて含む広い範囲で行い、広い範囲全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
ここで、実施例１乃至実施例１５を含む本発明の実施の形態に関して、以下の付記を付す。
（付記１）光源と、前記光源からの光を走査する光走査ミラーと、前記光走査ミラーにより走査された光ビームにより少なくとも瞳孔の表面を走査して眼球からの反射光強度の時間変化を測定する測定機構と、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構とを備えた瞳孔位置検出機構と、検出した位置の前記瞳孔に映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成機構とを備えた映像生成装置。
（付記２）前記光走査ミラーの出力側に、前記光走査ミラーにより走査された光ビームを瞳孔位置検出走査時と前記映像生成用光ビームの走査時で光路を切り替える光路切り替え素子を有する付記１に記載の映像生成装置。
（付記３）前記瞳孔位置検出機構が、前記光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する反射部材を有する付記１または付記２に記載の映像生成装置。
（付記４）前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する付記１乃至付記３のいずれか１に記載の映像生成装置。
（付記５）前記映像生成機構の映像生成用光ビームの光源、光走査ミラー及び反射部材が、前記瞳孔位置検出機構の光源、光走査ミラー及び反射部材を兼ねる付記３に記載の映像生成装置。
（付記６）前記反射部材が、ホログラフィック反射板である付記４または付記５に記載の映像生成装置。
（付記７）前記ホログラフィック反射板が、メガネのリムまたはメガネのレンズの少なくとも一方に設けられている付記６に記載の映像生成装置。
（付記８）前記眼球の表面を走査する光ビームは、前記ホログラフィック反射板に直接照射される付記６または付記７に記載の映像生成装置。
（付記９）前記眼球の表面を走査する光ビームは、メガネのリム或いはメガネのレンズの内部を伝搬して、前記メガネのリム或いはメガネのレンズの前記眼球の反対側の表面に設けられた前記ホログラフィック反射板により反射される付記６に記載の映像生成装置。
（付記１０）前記映像生成機構の光走査ミラーが、前記映像生成機構の光源からの光ビームの光軸方向に移動可能な移動機構を備えている付記１乃至付記９のいずれか１に記載の映像生成装置。
（付記１１）前記光源が、青色半導体レーザチップ、緑色半導体レーザチップ、赤色半導体レーザチップ、黄色半導体レーザチップ、赤外線半導体レーザチップ及び紫外線半導体レーザチップの内の１種類以上の半導体レーザチップを含む付記１乃至付記１０のいずれか１に記載の映像生成装置。
（付記１２）少なくとも瞳孔の表面を光ビームで走査し、前記瞳孔からの反射光強度の時間変化を測定し、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出し、前記抽出した瞳孔からの反射光強度と眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出したのち、検出した前記瞳孔の位置の前記瞳孔に対して映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成方法。
（付記１３）前記瞳孔のサイズと位置を検出する工程と、前記映像生成用光ビームを走査する工程を時間的に分離して行う付記１２に記載の映像生成方法。
（付記１４）前記瞳孔のサイズと位置を検出する工程と、前記映像生成用光ビームを走査する工程を連続した走査工程で行う付記１２に記載の映像生成方法。
（付記１５）前記少なくとも瞳孔の表面を光ビームで走査する際に、反射部材を用いて光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する付記１３または付記１４に記載の映像生成方法。
（付記１６）光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する付記１３または付記１４に記載の映像生成方法。
（付記１７）前記瞳孔のサイズと位置を検出する工程において、前記眼球に対して、映像生成用光ビームを照射する予め複数のビームスポットを設定して走査用の前記光ビームを照射し、前記瞳孔の中心位置近傍であると検出した前記複数のビームスポットのうちの一つに前記映像生成用光ビームを走査しながら投射する付記１６に記載の映像生成方法。
（付記１８）前記複数のビームスポットの各ビームスポット対して、前記映像生成用光ビームを走査する光走査ミラーから光ビームの走査角度を変えて前記映像生成用光ビームを走査しながら投射する付記１７に記載の映像生成方法。
（付記１９）
前記複数のビームスポットの各ビームスポット対して、前記映像生成用光ビームを走査する光走査ミラーを光源からの光ビームの光軸方向に移動させながら前記映像生成用光ビームを走査しながら投射する付記１７に記載の映像生成方法。
（付記２０）前記瞳孔の中心位置であると検出したビームスポットを中心位置として前記映像生成用光ビームを照射する位置を連続的に変化させて走査しながら投射する付記１２に記載の映像生成方法。
（付記２１）前記照射した光ビームが、前記光ビームが前記瞳孔を通過し、前記眼球の内部でビームスポット位置を形成する付記２０に記載の映像生成方法。
（付記２２）前記各ビームスポットに対して、予め定めたビーム走査角範囲内で走査動作を行い、前記予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射する付記１７乃至付記２１のいずれか１に記載の映像生成方法。
（付記２３）前記各ビームスポットに対して、予め定めたビーム走査角範囲を超えた範囲で走査動作を行いながら、前記予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射する付記１７乃至付記２１のいずれか１に記載の映像生成方法。
（付記２４）前記各ビームスポットに対して、前記予め定めたビーム走査角範囲を超えた範囲で前記映像生成用光ビームを走査しながら投射する付記１７乃至付記２１のいずれか１に記載の映像生成方法。
（付記２５）光源と、前記光源からの光を走査する光走査ミラーと、前記光走査ミラーにより走査された光ビームにより少なくとも瞳孔の表面を走査して眼球からの反射光強度の時間変化を測定する測定機構と、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構とを備えた瞳孔位置検出装置。
（付記２６）前記光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する反射部材をさらに有する付記２５に記載の瞳孔位置検出装置。
（付記２７）前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する付記２５または付記２６に記載の瞳孔位置検出装置。
（付記２８）少なくとも瞳孔の表面を光ビームで走査し、前記瞳孔からの反射光強度の時間変化を測定し、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出し、前記抽出した瞳孔からの反射光強度と眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する瞳孔位置検出方法。
（付記２９）前記少なくとも瞳孔の表面を光ビームで走査する際に、反射部材を用いて光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する付記２８に記載の瞳孔位置検出方法。
（付記３０）前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する付記２８に記載の瞳孔位置検出方法。
１ 光学エンジン
２ 光源
３ 光走査ミラー
４ 光ビーム
５ 支持部材
６ 反射部材
７ 眼球
８ 瞳孔
９ 虹彩
１０ 網膜
１１ 測定機構
１２ 白目
１３ 映像生成用光ビーム
２０ 眼鏡
２１ ツル
２２ 眼鏡レンズ
２３ ブリッジ
３０，５５，８０，９０ 光学エンジン
３１，４３ Ｓｉ基板
３２，３７ ＳｉＯ２膜
３３ 光合波器
３４〜３６ 光導波路パターン
３８，４４ ２次元光走査ミラー部
３９ 赤色半導体レーザチップ
４０ 緑色半導体レーザチップ
４１ 青色半導体レーザチップ
４２ ソレノイド・コイル
５１ 光検出器
５２ 走査光ビーム
５３ 反射光
５４ 三原色光ビーム
５５ 光路切り替え素子
６０ 眼球
６１ 瞳孔
６２ 虹彩
６３ 白目
６４ 網膜
６６１〜６６５ 映像生成用ビームスポット
７０ ホログラフィック反射板
７０１，７０２，７０３ 領域
７１ 基板
７２ プラスチック膜
７３ モールド
７４ 回折格子
８１ 共通基板
８２ 移動用ガイド
８３ 移動機構用モジュール
８４ 移動用バー

Claims (21)

  1. 光源と、
    前記光源からの光を走査する光走査ミラーと、
    前記光走査ミラーにより走査された光ビームにより少なくとも瞳孔の表面を走査して前記眼球からの反射光強度の時間変化を測定する測定機構と、
    前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、
    前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構と
    を備えた瞳孔位置検出機構と、
    検出した位置の前記瞳孔に映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成機構と
    を備えた映像生成装置。
  2. 前記瞳孔位置検出機構が、前記光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する反射部材を有する請求項１に記載の映像生成装置。
  3. 前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する請求項１または請求項２に記載の映像生成装置。
  4. 前記映像生成機構の映像生成用光ビームの光源、光走査ミラー及び反射部材が、前記瞳孔位置検出機構の光源、光走査ミラー及び反射部材を兼ねる請求項２に記載の映像生成装置。
  5. 前記反射部材が、ホログラフィック反射板である請求項３または請求項４に記載の映像生成装置。
  6. 前記ホログラフィック反射板が、メガネのリムまたはメガネのレンズの少なくとも一方に設けられている請求項５に記載の映像生成装置。
  7. 前記眼球の表面を走査する光ビームは、前記ホログラフィック反射板に直接照射される請求項５または請求項６に記載の映像生成装置。
  8. 前記眼球の表面を走査する光ビームは、前記メガネのリム或いはメガネのレンズの内部を伝搬して、前記メガネのリム或いはメガネのレンズの前記眼球の反対側の表面に設けられた前記ホログラフィック反射板により反射される請求項５に記載の映像生成装置。
  9. 前記映像生成機構の光走査ミラーが、前記映像生成機構の光源からの光ビームの光軸方向に移動可能な移動機構を備えている請求項１乃至請求項８のいずれか１項に記載の映像生成装置。
  10. 前記光源が、青色半導体レーザチップ、緑色半導体レーザチップ、赤色半導体レーザチップ、黄色半導体レーザチップ、赤外線半導体レーザチップ及び紫外線半導体レーザチップの内の１種類以上の半導体レーザチップを含む請求項１乃至請求項９のいずれか１項に記載の映像生成装置。
  11. 少なくとも瞳孔の表面を光ビームで走査し、
    前記瞳孔からの反射光強度の時間変化を測定し、
    前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出し、
    前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出したのち、
    検出した前記瞳孔の位置の前記瞳孔に対して映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成方法。
  12. 前記少なくとも瞳孔の表面を光ビームで走査する際に、反射部材を用いて光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する請求項１１に記載の映像生成方法。
  13. 前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する請求項１１に記載の映像生成方法。
  14. 前記瞳孔のサイズと位置を検出する工程において、
    前記眼球に対して、映像生成用光ビームを照射する予め複数のビームスポットを設定して走査用の前記光ビームを照射し、前記瞳孔の中心位置近傍であると検出した前記複数のビームスポットのうちの一つに前記映像生成用光ビームを走査しながら投射する請求項１３に記載の映像生成方法。
  15. 前記複数のビームスポットの各ビームスポット対して、前記映像生成用光ビームを走査する光走査ミラーから光ビームの走査角度を変えて前記映像生成用光ビームを走査しながら投射する請求項１４に記載の映像生成方法。
  16. 前記複数のビームスポットの各ビームスポット対して、前記映像生成用光ビームを走査する光走査ミラーを前記光源からの光ビームの光軸方向に移動させながら前記映像生成用光ビームを走査しながら投射する請求項１４に記載の映像生成方法。
  17. 前記瞳孔の中心位置であると検出したビームスポットを中心位置として前記映像生成用光ビームを照射する位置を連続的に変化させて走査しながら投射する請求項１１に記載の映像生成方法。
  18. 前記照射した光ビームが、前記光ビームが前記瞳孔を通過し、前記眼球の内部でビームスポット位置を形成する請求項１７に記載の映像生成方法。
  19. 前記各ビームスポットに対して、予め定めたビーム走査角範囲内で走査動作を行い、前記予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射する請求項１４乃至請求項１８のいずれか１項に記載の映像生成方法。
  20. 前記各ビームスポットに対して、予め定めたビーム走査角範囲を超えた範囲で走査動作を行いながら、前記予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射する請求項１４乃至請求項１８のいずれか１項に記載の映像生成方法。
  21. 前記各ビームスポットに対して、前記予め定めたビーム走査角範囲を超えた範囲で前記映像生成用光ビームを走査しながら投射する請求項１４乃至請求項１８のいずれか１項に記載の映像生成方法。
JP2019511090A 2017-04-04 2018-02-23 映像生成装置及び映像生成方法 Active JP7033329B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017074819 2017-04-04
JP2017074819 2017-04-04
PCT/JP2018/006693 WO2018186046A1 (ja) 2017-04-04 2018-02-23 映像生成装置及び映像生成方法

Publications (2)

Publication Number Publication Date
JPWO2018186046A1 true JPWO2018186046A1 (ja) 2020-02-13
JP7033329B2 JP7033329B2 (ja) 2022-03-10

Family

ID=63712553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019511090A Active JP7033329B2 (ja) 2017-04-04 2018-02-23 映像生成装置及び映像生成方法

Country Status (5)

Country Link
US (1) US11307405B2 (ja)
JP (1) JP7033329B2 (ja)
CN (2) CN113721368A (ja)
TW (1) TWI746805B (ja)
WO (1) WO2018186046A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190094549A1 (en) * 2017-09-28 2019-03-28 Thalmic Labs Inc. Systems, devices, and methods for waveguide-based eyebox expansion in wearable heads-up displays
FI129400B (en) * 2017-12-22 2022-01-31 Dispelix Oy Diffractive waveguide element and diffractive waveguide display
JP7418149B2 (ja) 2018-11-29 2024-01-19 株式会社リコー 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置
CN114761859A (zh) * 2019-11-26 2022-07-15 奇跃公司 用于增强或虚拟现实显示系统的增强眼睛跟踪
CN114902116A (zh) * 2020-01-10 2022-08-12 索尼集团公司 视频投影设备
US20230095993A1 (en) * 2020-02-04 2023-03-30 Sony Group Corporation Image following information detecting device, image following device, image following information detecting method, and image following method
CN114326104B (zh) * 2020-09-28 2023-07-25 宏碁股份有限公司 具有结构光检测功能的扩增实境眼镜
CN112305756A (zh) * 2020-10-30 2021-02-02 维沃移动通信有限公司 电子设备、其控制方法及控制装置和可读存储介质
JP7163950B2 (ja) * 2020-11-27 2022-11-01 カシオ計算機株式会社 網膜走査型投影装置、映像光出射方法およびコンバイナー
JP2022108496A (ja) * 2021-01-13 2022-07-26 株式会社リコー 光学装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、立体物の傾き検出方法及び視線検出方法
US11928257B2 (en) * 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye
DE102022203075A1 (de) * 2022-03-29 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Projizieren von Bildinhalten auf die Netzhaut eines Nutzers mit Hilfe eines optischen Systems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058505A (ja) * 2004-08-19 2006-03-02 Brother Ind Ltd 瞳孔検出装置およびそれを備えた画像表示装置
WO2009066475A1 (ja) * 2007-11-21 2009-05-28 Panasonic Corporation 表示装置
JP2010102215A (ja) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc 表示装置、画像処理方法、及びコンピュータプログラム
WO2013030978A1 (ja) * 2011-08-31 2013-03-07 パイオニア株式会社 画像表示装置
JP2016517036A (ja) * 2013-03-25 2016-06-09 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ（ウペエフエル）Ｅｃｏｌｅ Ｐｏｌｙｔｅｃｈｎｉｑｕｅ Ｆｅｄｅｒａｌｅ ｄｅ Ｌａｕｓａｎｎｅ （ＥＰＦＬ） 多射出瞳頭部装着型ディスプレイのための方法および装置
WO2016134038A1 (en) * 2015-02-17 2016-08-25 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2967756C (en) * 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP5294283B2 (ja) 2009-05-28 2013-09-18 シチズンホールディングス株式会社 光源装置
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5817022B2 (ja) 2012-03-19 2015-11-18 国立大学法人福井大学 光合波器及びこの光合波器を用いた画像投影装置
JP6807561B2 (ja) 2014-05-09 2021-01-13 国立大学法人福井大学 合波器、この合波器を用いた画像投影装置及び画像投影システム
US10078220B2 (en) * 2015-05-28 2018-09-18 Thalmic Labs Inc. Wearable heads-up display with integrated eye tracker
JP6231541B2 (ja) 2015-06-25 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
JP6231591B2 (ja) 2015-06-25 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
US9904051B2 (en) * 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
WO2017134412A1 (en) * 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker
US10306729B2 (en) * 2016-04-19 2019-05-28 Apple Inc. Display with ambient-adaptive backlight color
CA3049379A1 (en) * 2017-01-05 2018-07-12 Philipp K. Lang Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
EP3851939A1 (en) * 2020-01-14 2021-07-21 Apple Inc. Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058505A (ja) * 2004-08-19 2006-03-02 Brother Ind Ltd 瞳孔検出装置およびそれを備えた画像表示装置
WO2009066475A1 (ja) * 2007-11-21 2009-05-28 Panasonic Corporation 表示装置
JP2010102215A (ja) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc 表示装置、画像処理方法、及びコンピュータプログラム
WO2013030978A1 (ja) * 2011-08-31 2013-03-07 パイオニア株式会社 画像表示装置
JP2016517036A (ja) * 2013-03-25 2016-06-09 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ（ウペエフエル）Ｅｃｏｌｅ Ｐｏｌｙｔｅｃｈｎｉｑｕｅ Ｆｅｄｅｒａｌｅ ｄｅ Ｌａｕｓａｎｎｅ （ＥＰＦＬ） 多射出瞳頭部装着型ディスプレイのための方法および装置
WO2016134038A1 (en) * 2015-02-17 2016-08-25 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays

Also Published As

Publication number Publication date
CN110494793A (zh) 2019-11-22
CN113721368A (zh) 2021-11-30
CN110494793B (zh) 2022-01-18
US11307405B2 (en) 2022-04-19
TWI746805B (zh) 2021-11-21
JP7033329B2 (ja) 2022-03-10
TW201837784A (zh) 2018-10-16
WO2018186046A1 (ja) 2018-10-11
US20200033590A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
JP7033329B2 (ja) 映像生成装置及び映像生成方法
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
TW201712371A (zh) 資料眼鏡用的投影裝置，資料眼鏡，以及操作資料眼鏡用的投影裝置的方法
KR20190099374A (ko) 도광 광학 소자를 통한 망막 이미징 기반 안구 추적기
WO2018043625A1 (ja) 表示装置
CN104094197A (zh) 利用投影仪的注视追踪
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
JP2006195084A (ja) 表示装置
CN111856749A (zh) 显示装置及方法
US10321817B2 (en) Image display apparatus, method of processing, and processing apparatus
JP2023509305A (ja) 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法
WO2015193953A1 (ja) 画像表示装置及び光学デバイス
JP7163230B2 (ja) 視線検出装置、視線検出方法、及び表示装置
JP2010212899A (ja) ヘッドマウントディスプレイ
JP2006039271A (ja) 画像表示装置、その反射鏡及び画像表示方法
EP4242725A1 (en) Display device
US11796829B1 (en) In-field illuminator for eye depth sensing
US20240142771A1 (en) Optical device, retinal projection display, and head-mounted display
US20240111160A1 (en) Retinal projection display device, head-mounted display device, and optometric device
Kim et al. Pupil Detection and Its Tracking Based on Optokinetic Reflex Motion
CN112825139A (zh) 结构光发射模组及图像采集装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201202

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220218

R150 Certificate of patent or registration of utility model

Ref document number: 7033329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150