JP6832318B2 - 目用投影システム - Google Patents

目用投影システム Download PDF

Info

Publication number
JP6832318B2
JP6832318B2 JP2018186384A JP2018186384A JP6832318B2 JP 6832318 B2 JP6832318 B2 JP 6832318B2 JP 2018186384 A JP2018186384 A JP 2018186384A JP 2018186384 A JP2018186384 A JP 2018186384A JP 6832318 B2 JP6832318 B2 JP 6832318B2
Authority
JP
Japan
Prior art keywords
eye
image
sight
line
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018186384A
Other languages
English (en)
Other versions
JP2019049724A (ja
Inventor
グリーンバーグ、ボリス
Original Assignee
アイウェイ ビジョン エルティーディー.
アイウェイ ビジョン エルティーディー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイウェイ ビジョン エルティーディー., アイウェイ ビジョン エルティーディー. filed Critical アイウェイ ビジョン エルティーディー.
Priority to JP2018186384A priority Critical patent/JP6832318B2/ja
Publication of JP2019049724A publication Critical patent/JP2019049724A/ja
Application granted granted Critical
Publication of JP6832318B2 publication Critical patent/JP6832318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、画像投影システムの分野に属し、特に使用者に純粋な、または増大したバーチャル・リアリティー体験を提供するために、使用者の目に画像を投影するように適合された、着用できる/頭部装着型の画像投影システムに関する。
背景
使用者の目に事実上の、および/もしくは増大したバーチャル・リアリティーを投影するための、頭部装着型の、またはそうでなければ着用できる画像投影システムの人気が高まってきている。そのようなシステムは、多くの場合、使用者の頭(use’s head)に装
着可能であり、使用者にバーチャル・リアリティー画像/映像を提供するために、使用者の目に画像を投影するように作動可能な眼鏡として構成される。このため、公知のシステムのいくつかは、使用者の目に純粋なバーチャル・リアリティー画像投影を提供することを目的としており、そこでは外景からの光が目に到達することが阻止され、他のシステムは、増大したバーチャル・リアリティー認識を提供することを対象としており、そこでは外景からの光は目まで通ることが許容される一方でまた、画像投影システムにより目に投影される画像/映像フレームにより増大され/重ね合せられる。
例えば、米国特許出願第2013044042号は、使用者の頭に装着されるように構成されるフレームを含む、電子装置を開示する。フレームは、使用者の鼻の上で支持されるように構成されるブリッジ、およびブリッジと結合し、ブリッジから離れる方に延び、使用者の眉の側部にわたって配置されるように構成される眉部を含み得る。フレームはさらに、眉部に結合し、自由端まで延びるアームを含み得る。第一のアームは、使用者の耳の近傍に配置される自由端とともに、使用者のこめかみにわたって配置し得る。該装置はまた、眉部に隣接するフレームに取り付けられる透明なディスプレイ、およびフレームに取り付けられ、機能に関連する入力を使用者から受け取るように構成される入力装置を含み得る。機能に関する情報は、ディスプレイ上に表示可能である。
米国特許第7,936,519号は、頭部装着型ディスプレイを開示し、該ディスプレイは、観察者の頭部に装着される眼鏡フレーム様フレーム;および二つの画像表示装置を含み、各画像表示装置は、画像生成装置およびライトガイド手段を含み、該ライトガイド手段は、画像生成装置に装着され、全体として画像生成装置に対して観察者の顔の中心側に配置され、そこに画像生成装置から出射される光線が入射し、それを通して光線がガイドされ、そこから光線が観察者の瞳に向かって出射される。
米国特許第8,289,231号は、大きさと重量がコンパクトであり、透明(clear
)なシースルー機能を提供する高性能光学系を組み込む、頭部装着型バーチャル画像表示ユニットを開示する。シースルー機能が望ましくない場合のために、スライド式遮光体が組み込まれ得る。例えば約18インチから無限大までの距離で画像の焦点を調整することができるようにするため、焦点調整が組み込まれ得る。使用者の頭に合うように適合する、調整可能なヘッドバンドが組み込まれ得る。光学アセンブリの位置の微調整を容易にするため、可撓性ブーム構造が組み込まれ得る。光学アセンブリの位置の微調整を容易にするため、スライダーおよびボール・ジョイント機構もまた組み込まれ得る。使用者による音声入力を可能にするため、内蔵マイクロフォンが組み込まれ得る。頭部装着型バーチャル画像表示ユニットは、眼鏡や保護眼鏡と共に快適に使用され得、周囲環境の視界を遮ることなく使用者に有用な画像を提供する。ユニットは、使用者が格段に受け入れやすくなるように、好ましい外観を備える設計となっている。
米国特許第8,384,999号は、頭部装着型ディスプレイおよび他の適用のための光モジュールを開示する。該光モジュールは、相互係合する畝のある表面(複数)(inter-engaging ridged surfaces)を有する、光学基板および光学層(optical superstrate
)を含む。反射層は、該表面の少なくとも一つの上に形成される。屈折率整合材は、該表面の間に配置され得る。投影機から投影画像を受け取る領域は、投影機から発せられる光線を畝のある該表面上に向け、使用の際にビューアーが増大した画像を認識するようになっている。増大した画像は、投影機からの反射光線、およびビューアーのそれに対してモジュールの反対側に配置される物体からの透過光線を含む。
ある特定の技術では、使用者の焦点領域を判定するために、目の位置および動きが追跡される。視線を追跡する技術は、例えば米国特許第6,943,754号に開示される。
米国特許出願第2012154277号は、シースルー表示装置または頭部装着型表示装置が提供されるような、目に近い表示装置を用いるときに、使用者の体験を強化する方法およびシステムを開示する。風景における使用者の視野に関する表示用の、最適画像が作成される。使用者の焦点領域を判定するために、使用者の頭部および目の位置ならびに動きが追跡される。最適画像の一部が、現在の目の位置において、使用者の焦点領域に結合され、頭部および目の次の位置が予測され、最適画像の一部が、次の位置において、使用者の焦点領域に結合される。
米国特許第7,542,210号は、装置を使用者の頭部に取り付ける取付具、運動装置と共に取付具に取り付けられる光線分割器、光線分割器上に画像を投影する画像投影機、使用者の目の視線を追跡する目追跡器および一つ以上の処理装置を有する、頭部装着型表示装置を開示する。該装置は、光線分割器が目の回転の中心の周りを動くようにし、光線分割器が目の直接の視線内にある状態にし続けるために、任意の頭部追跡器と共に、目追跡器および運動装置を使用する。使用者は、画像と画像の背後の周囲の状況とを同時に見る。使用者のもう一方の目にステレオプティック(stereoptic)でバーチャルな周囲の状況を作成するために、第二の光線分割器、目追跡器および投影機が使用され得る。ディスプレイは、人間の目の解像力に対応し得る。発明は、使用者がどこを見るかに関わらず、解像度の高い画像を前もってセットする。
国際特許出願公報第WO 2013/117999号は、視線追跡用のシステム、方法およびコンピューター・プログラム製品を開示する。例示的な方法は、投影機を用いて目に光を向けること;画像取得モジュールを用いて、目に関連する表面からの反射を検出すること;および、検出される反射に基づいて目に関連する視線を判定することを含む。いくつかの態様では、光は赤外光を有する。いくつかの態様では、投影機はレーザーを有する。いくつかの態様では、投影機はシリコン上液晶(liquid crystal on silicon; LCoS
)チップを有する。いくつかの態様では、反射に関連する表面は、角膜、虹彩または網膜のうちの少なくとも一つである。
全体的な説明
使用者にバーチャルまたは増大したリアリティーを提供するための従来の投影システムは、概して使用者の目に向けた画像(例えば、ビデオ画像)の投影に基づき、画像が、目の前に特定の距離(例えば、典型的には目から約4ないし数メートル離れた距離)を置いて配置される中間像面(intermediate image plane)に配置される/焦点が合わせられるものとして認識されるようになっている。画像が投影される中間像面は、目の前の実像面(real image plane)(すなわち、画像を形成する投影される光線が、実際にそこで焦点
を合わす)であっても、虚像面(virtual image plane)(すなわち、画像を形成する投
影される光線が、そこで焦点を合わすと使用者の目により認識される)であってもよい。いずれにせよ、そのような従来の画像投影システムでは、中間像面は、使用者の目に光学的に中継されなければならない。言い換えれば、中間像面(実像面または虚像面)は、典型的には目の前に特定の有限の距離を置いて配置されるため、目のレンズがその特定の距離に焦点を合わす場合のみ、目の網膜に焦点が合う。
使用者の目から特定の有限の距離を置いて認識される画像を投影する、従来のバーチャル/増大したリアリティー撮像技術の大きな欠陥の一つは、眼精疲労、および多くの場合、頭痛の発症に関連する。この問題は、認識される3Dイリュージョンを作り出すために、立体画像が使用者の目のそれぞれに独立して投影されるとき、よりことさらに内在する。なぜなら、このように生成される3Dイリュージョンの中では、目から様々な異なる距離を置いて配置されているように使用者に認識される物体/要素があるかも知れず、このことは、目が継続的にその異なる距離に目のレンズの焦点を再び合わせようとする原因となるからである。しかしながら、上述の通り、それぞれの目が認識する実画像(actual image)は、実際には、目から特定の、典型的には固定の、距離を置いた実像面または虚像面に配置される/焦点が合わせられる。したがって、「目」は、画像内の要素/物体の認識される距離に従って異なる距離に焦点を合わそうとし、概して失敗し、こうして脳内の視覚機構を混乱させ、眼精疲労および頭痛を生じさせる。
従来技術のもう一つの大きな欠陥は、目の動きに関連する。それぞれの目により認識される画像が目の前の結像面上に投影される従来技術では、結像面は、典型的には基準フレーム(reference frame)に関し、該基準フレームは、(実像が映画館内の固定スクリー
ン上に投影される、典型的な3D映画館の場合のように)使用者が配置される外景/周囲の状況の基準フレームに関して固定されるか、(使用者に増大した/バーチャル・リアリティーを投影するように設計される、パイロットまたはゲーマーのヘルメットの場合のように)使用者の頭部に関連する基準フレームに関して固定される。これらの場合のいずれも、投影画像は、目の基準面(すなわち、眼球の視線)に固定されておらず、このことは投影モジュールとのターゲット−サイト・アラインメント(target-sight alignment)という公知の問題をもたらし、特別な較正を必要とする。したがって、使用者の目が動く間、網膜上の任意に選択される位置に画像を投影するために従来技術を利用することは困難である。しかしながら、そのような特徴は、インターネットからのような追加情報を用いて使用者の視覚認識を増大させるための特定の適用において、特に所望される。
これに関連して、両眼のヒトの視覚では、目(視線)は、平行する光軸に常に向けられるわけではなく、多くの場合、それらの光軸が交差するように(すなわち、人間が見ている物体に関連する位置に)方向付けられる。したがって、目の間の両眼視差を補償または考慮するために、個別かつ独立にそれぞれの目の網膜への画像の投影を個別に調整することが、しばしば所望される。これもまた、それぞれの目の基準フレームに固定されず、外景の基準フレームまたは使用者の頭部の基準フレームのいずれかに固定される結像面に画像が投影される従来技術では、達成することが困難である。
本発明は、当技術分野で公知の上記欠陥を解決するために使用可能な、新規な目用投影(eye projection)技術を提供する。より具体的には、本発明は、目の網膜への画像の直接的な投影のためのシステムおよび方法を提供し、さらに、視線の方向に従って目の位置を追跡するために、投影/撮像光路(projection/imaging optical path)を方向付ける
ためのシステムおよび方法を提供する。これは、視線の方向が変化する間、目の網膜上の特定の/固定位置に画像を投影することを可能にする。
網膜上の「固定位置」というフレーズは、ここでは、特定の視角に対応する網膜上の特定の位置に言及するために用いられると理解されるべきである。これに関連して、(目の衝動性運動により影響される)網膜上の画像の小さな衝動性運動(震え)が、特定の視角/視方向で網膜上の画像が安定かつ固定されて現れるために必要とされることは注目されるべきである。このため、網膜上の「固定/特定の位置」位置というフレーズは、目の衝動性運動により許容される程度程度において固定されるが、完全に固定されていない場合もあり得、目の衝動性運動によりわずかに動くかも知れない、網膜上の位置として理解されるべきである。したがって、以下で詳細に説明される本発明の技術が、目の大きな動き(例えば、視線の方向の変化に関連する)を補償する一方で、衝動性運動(震え)のような小さな目の動きは補償されないかも知れないが、依然として画像が固定位置上に完璧に安定して現れることを許容することは注目されるべきである。
本発明のいくつかの側面によれば、目の網膜上への直接画像化のためのシステムおよび方法が提供される。該投影システムは、第一の調整可能な光偏向器(例えば、ラスター走査のような二次元の画像スキャンを実行するように作動可能な、一つ以上の高速走査(スキャン)ミラー)を含む、画像スキャナーを含む。画像スキャナーは、入力光線を受け取り、それを偏向させるように構成されかつ作動可能であり、使用者の目の瞳で光線の入射角を調整するようになっている。このため、画像スキャナーの第一の調整可能な光偏向器は、ラスター走査のような画像スキャンを実行し、その間、光線は、目の網膜上の様々な位置に対応する様々な瞳入射角αinで瞳へ入射するように偏向する。次に、光線の強度、あるいはスペクトル成分もまた、網膜上に投影される画像に従って変調され、画像のそれぞれの画素が、画像スキャンの間、網膜の様々な位置に投影されるようになっている。言い換えれば、瞳入射角αinは、画像中の画素に対応し、これらの画素が網膜上のそれぞれの位置に直接的に投影されるようにする。
本発明のシステムはまた、目に向って伝播する光線の光路に配置される、目用投影光モジュールを含む。典型的には、本発明のいくつかの態様によれば、目用投影光モジュールは、角度光線(angular beam;角度のついた光線)中継モジュールを含み、該角度光線中継モジュールは、光軸に関してある特定の出力画像投影角αscnでそこから伝播する画像スキャナーからの光線を受け取り、光線が対応する瞳入射角αinで瞳に入射するよう中継するように構成されかつ作動可能である。このため、αinは、出力画像投影角αscnの単調関数Foptであり得:αin≡{α in,α in}=Fopt(αscn)≡Fopt({α scn,α scn})、ここで、上付きの指数XおよびYは、光路に対して垂直な、二つの直交する横軸に関して計測される角度を示す。これに関連して、画像スキャナーの投影角αscnを瞳入射角αinに変換する単調関数Foptは、概して、画像スキャナーから瞳へ光線を中継する目用投影光モジュールの光学的な作動/光関数(光学的な関数)に関連する。画像投影角αscnは、次に、画像中の対応する画素の二次元の位置{P, P}に対応してもよく、αscn={α scn,α scn}=S({P,P})であってよい。ここで、Sは、画像中の画素の位置{P,P}と画像スキャナーの角度状態/角度位置αscnとの間に位置する、画像スキャン関数(ここでは画像スキャンマッピング関数ともいう)である。
上述の通り、従来技術の最大の欠陥の一つは、目により捕えられる投影画像が、目の座標(基準フレーム)に固定されず、もう一つの基準フレーム(目の外景の基準フレームまたは使用者の頭部の基準フレーム)に固定されることである。したがって、目の視線の方向が変化するとき、目の網膜上の画像投影位置はそれにともなって変化する。なぜなら、実際の瞳入射角αinは、視線の方向によって決まるからである。例えば、特定の投影角αscnについて視線の方向にβ≡{β,β}の印を付けると、瞳入射角αinは、次のようになるであろう:
式(1) αin=Fopt(αscn)−β=Fopt(S({P,P}))−
β 。
このことは、網膜上の画素の投影位置(瞳入射角αinにより決まる)と視線の方向βとの間の依存関係をもたらすであろう。
したがって、本発明によれば、瞳の視線の方向βの変化を補償し、様々な/変化する視線の方向における網膜上の特定の(例えば、固定)位置への画像画素の投影を可能にするため、関数Fopt(S({P,P}))は改変されるべきである。
このことは、視線の方向に従って同調可能な改変された光関数(optical function)F’optに関連する、特別に構成される目用投影光モジュールを利用することにより達成され得る。例えば、上記式(1)における光関数Foptを、次のように改変された光関数F’optに置き換えると、瞳入射角αinが視線の方向に関して不変となることをもたらすであろう:
式(2) F’opt(αscn,β)=Fopt(αscn)+β 。
実際、本発明のいくつかの態様によれば、この解決策は、目用投影光モジュール中に、第二の調整可能な光偏向器(例えば、アドレス指定可能な(addressable)ミラーを含む
)である、同調可能な視線追跡偏向器(gaze tracking deflector)を含むことにより実
行される。視線追跡偏向器は、視線の方向βに従って光線の光伝搬路を偏向させるために、目の視線の方向βを示す信号に応答するように構成されかつ作動可能であり、前記光線が視線の方向に関して(瞳の光軸、すなわち、その視線に関して)前記角αinで瞳に入射するようになっている。
代替的または追加的に、視線の方向に関する瞳入射角αinの不変性は、画像画素と画像スキャン・ミラーとの間の適切なマッピングを利用することにより達成され得る。そのようなマッピングは、視線の方向βの変化を考慮し、補償する(例えば、視線の方向に従って変化し得る)。例えば、次式を満たす改変された画像スキャンマッピング関数S’を用いて:
式(3) Fopt(S’({P,P},β))=Fopt(S({P,P}))+β 。
このため、視線の方向βの変化に対する少なくとも部分的な改善策を提供するもう一つの方法は、網膜上の同じ位置に画素投影を保存することが可能になるように、βを少なくとも部分的に補償するために、画像スキャン関数Sを改変することによる。言い換えれば、画像スキャン関数Sは、βに従って、投影角αscnと画像スキャナーのこの角度で投影される画像画素(光強度)との間の対応を変更することにより改変される。このことは、したがって、網膜上に投影される画像の選択部分を判定するために、適切なデジタル処理を実行することにより達成され得る。視線の方向が変化すると、画像の選択部分は、視線の方向のシフトを補償するためにシフトする。
この方法は、しかしながら、広範囲の視野を有し、異なった視線で考え得る瞳の方位の全範囲を網羅するために、極端な入射角で画素に関連する光線を投影することが可能な、画像投影システムの使用を必要とし得る。しかしながら、そのような目の極端な入射角を支持する光学画像投影システムを設計・製造することは、特定の適用においてそのようなシステムの製造を実行不能または費用効率を悪くさせる、劣化した光学性能および/または高い耐性の制約に関連し得る。
また、視線の方向βが変化するとき、瞳の空間的位置もまた変化することも注目されるべきである。したがって、βを補償するための式(3)の改変された画像スキャン関数S’の使用は、考え得る瞳の位置のいくつかまたは全てを網羅する幅を有する、十分に幅の
ある光線の使用を必要とする。例えば、目の視線の方向βは、立体角(solid angle)
の範囲内のあらゆる角度であり得る。したがって、典型的な眼球の直径Dが25mmであるため、瞳は名目上の半径6mmの領域に配置され得る。したがって、視線の方向βの利用は、目に向けられる光線が、様々な視線の方向で実際に瞳に到達するように、同等の半径(例えば約8mm)を有することを必要とする。
以下でさらに論じられるように、その幅/半径が、瞳の幅/半径よりも小さい光線が瞳に向けられることが望ましい場合がある。このことは、網膜上の画像投影の焦点深度を改善するために使用され得る。しかしながら、画像スキャン関数S’を用いることにより視線の方向を補償する式(3)のスキームを使用することが、細い光線(例えば、瞳より細い)が用いられるいくつかの態様では所望されないかも知れないことは注目されるべきである。なぜなら、光線が瞳よりもっと幅広くなり、考え得る瞳の位置の大部分を網羅する必要があるからである。
しかしながら、瞳より幅広い、幅の広い光線の使用は、目用投影光モジュールが視線の方向βを補償するように特別に構成される態様(すなわち、目用投影光学系が視線の方向により同調可能/調整可能である態様−式(2)のように)では、必要でないかも知れない。なぜなら、そのような態様では、目用投影光モジュールが、瞳に向う光線の光伝播路を偏向させるために、視線の方向βに従って作動する視線追跡偏向器を含み得るからである。このことは、光線をなお追跡し様々な視線の方向で瞳に向けながら、瞳の幅より細い光線の使用を可能にする。例えば、いくつかの態様では、視線追跡偏向器は、視線の方向βに従って異なった偏向角に光線を偏向させ、そこから偏向される光線の光路を変更する、アドレス指定可能なミラーを含み得る。視線追跡偏向器はまた、アドレス指定可能なミラーから異なった視線の方向に対応する様々なそれぞれの光路に沿って伝播する光線を受け取り、これら異なった視線の方向のそれぞれにあるとき瞳が配置される対応する空間位置にそれらを向けるように構成されかつ作動可能な、フィールド・セレクター光モジュール(例えば、一つ以上のレンズまたはミラーを含む)を含み得る。フィールド・セレクター光モジュールは例えば、この機能を実行するために特別に構成される軸外放物面偏向器のような、非球状(a-spherical)光学系を含み得る。いくつかの態様では、目追跡偏向
器モジュールのフィールド・セレクター光モジュールは、一つ以上の眼鏡のレンズの光学面を含むか、それにより形成される。
実際、より一般的な方法では、式(2)および(3)を参照して上述された技術の組み合わせもまた、視線の方向βを補償するために(例えば、それぞれの関数が部分的かつ補足的な補償を提供するように)、目用投影光モジュールおよび画素マッピング処理の両方を利用することにより、用いられ得る。このことは、次の条件がマッピング関数S’および光関数F’により満たされることを必要とするかも知れない:
式(4) F’opt(S’({P,P},β−β),β)=Fopt(αscn)+β 。
ここで、βは、目用投影光モジュールの同調可能な視線追跡偏向器によって補償される視線の方向の角度βの部分であり、(β−β)は、処理によって(マッピング関数S’を同調することによって)補償される視線の方向の角度βの部分である。
このように、本発明は、目の網膜への画像の直接的な投影のためのシステムおよび方法を提供する。このことは、そこからある一定の距離を置いて目の外側に配置される実(リアル)中間像面または虚(バーチャル)中間像面のいずれかに画像を投影する/画像の焦
点を合わせる必要なく、本発明により達成され得る。したがって、そのような中間像面での画像の認識に関連する不快感、疲労または頭痛は、概して緩和され、完全に取り除かれることも可能になる。以下でより詳細に説明されるように、目の網膜への画像の直接的な投影は、異なったそれぞれの画素に対応して、画像中のそれぞれの画素の位置に関連する異なったそれぞれの出力画像投影角で光線を出力するように適合される画像投影システムを使用すること、および画像投影システムから出力される光線を対応する瞳入射角で目の瞳に中継するための角度中継光学系を利用することにより達成される。角度中継光学系は、瞳に入射する光線の角度が、光線が画像投影システムから発せられる出力角に対応し、次に画像のそれぞれの画素にも対応することを定める。目のレンズは、異なった方向から網膜の異なったそれぞれの領域に作用する光線に焦点を合わせるため、システムはしたがって、網膜への画像の直接画像化を提供する。
いくつかの態様では、本発明のシステムは、平行な光線を瞳に向けるように適合される。したがって、そのような光線は、目により「無限の」距離から届くように認識され、目のレンズは、そこから有限の距離を置いて配置されるいかなる像面にも焦点を合わせる必要がない。このことは、上述の通り、そのような焦点合わせに関連する不快な現象の緩和を提供する。
代替的にまたは追加的に、本発明の直接的な投影技術は、改善される焦点深度で画像が網膜に投影される方法で目の網膜に画像を投影することを提供する。したがって、画像は、目のレンズの実質的にあらゆる焦点状態で、網膜に実質的に焦点が合わされて投影される。例えば、目のレンズが、4メートルから∞という幅広い焦点距離の範囲にあるあらゆる焦点状態にある間、画像は、網膜に焦点が合わせられたままであることを可能にするかなりの焦点深度で投影され得る。本発明によれば、増大された焦点深度で画像を投影することは、画像画素に関連する光線を目の瞳に投影することにより達成され、ここで、光線の幅は目の瞳の直径より細い。このため、典型的な光学系では、焦点深度は光学系の瞳の直径に関連する。より小さい瞳の直径はより幅広い焦点深度を提供し、その逆もまた同様である。このことは、目の光学系でも同様である。しかしながら、本発明によれば、画像は、画像画素に対応する光線を直接目の瞳の方に向けることにより(中間像面を形成することなく)、目の網膜上に直接的に投影される。したがって、本発明者らは、幅が狭く瞳の直径より細い光線を利用し、方向付けることにより、網膜に投影される画像の焦点深度が高められることを見出した。実際、それを通して目のレンズと相互に作用するために光線が目に入る瞳の有効直径は、そのような場合、光線の直径(瞳の実際の直径より小さい)と等しいため、網膜上の画像の焦点深度は高められる。目のレンズのあらゆる合理的な焦点状態において画像の焦点が合ったままになるため、このことは、投影画像に焦点を合わそうとする目の試みに関連する不快感、疲労または頭痛を緩和し、完全に取り除くことも可能にするために、本発明のいくつかの態様で用いられる。したがって、本発明のいくつかの態様では、瞳の直径より細い光線を目に投影することが可能な光学系が用いられる。
いくつかの態様ではまた、レーザー光(例えば、コヒーレント光)が光源として用いられ、十分に細く、かつ平行であってもよい光線を目に向けて提供するために、適切な光線コリメーターもまた利用されてよい。
いくつかの態様では、典型的な瞳の半径(例えば、約1.5mm)の60%のオーダーの幅を有する光線が、網膜上の画像の十分に大きな被写界深度/焦点深度を提供するために用いられる。これに関連して、例えば瞳より細い、細い光線を使用/目に投影するときに獲得される大きな被写界深度による本発明によれば、調整可能な焦点合わせおよび関連光学系の必要性が取り除かれ得る。したがって、本発明のいくつかの態様では、固定焦点の/焦点の調整ができないシステムが、光線を目に向けるために用いられ得る。
したがって、本発明の一つの広い側面によれば、画像生成器および目用投影光モジュールを含む、目用投影システムが提供される。画像生成器は、画像を示すデータを獲得し、画像の画素に対応する複数の光線部分を生成し、それぞれの光線部分の強度をそれに対応するそれぞれの画像の画素の値に従って調整し、光線部分が全体的な光伝播路に沿って目用投影光モジュールに向って伝播するよう方向付けるように構成される。光線部分は、全体的な光伝播路に関連して投影角αscnで目用投影光モジュールに伝播するよう方向付けられ、ここでは、投影角αscnは画像中のそれぞれの画素の位置に従って決定される。目用投影光モジュールは、視線の方向βに従って目の瞳の方に向けて光線部分の全体的な光伝播路を偏向させるために、使用者の目の視線の方向βを示す入力信号に応答するように構成されかつ作動可能な視線追跡偏向器を含む。全体的な光伝播路は、光線部分が、その視線の方向βにおける瞳の視線に関して、投影角αscnに対応する瞳入射角αinで瞳に入射するように偏向される。システムはそれにより、目の視線の方向βに関わらず、網膜上の実質的な固定位置で目の網膜上に画像を直接的に投影することを提供する。
本発明のいくつかの態様によれば、投影角αscnと瞳入射角αinとの対応は、瞳入射角αinが投影角αscnの単調関数となるようになっている。
本発明のいくつかの態様によれば、当該目用投影システムは、光線部分のコリメーションをもたらすよう適合される一つ以上の光線コリメーターを含み、光線部分が実質的に一直線にされる間、瞳に入射し、そのことにより目の網膜への画像の直接的な投影が可能なようになっている。例えば、網膜への画像の直接的な投影は、画像が目から無限の距離から生じているように目により認識されることにより特徴付けられ得る。
本発明のいくつかの態様によれば、当該目用投影システムは、瞳の直径より小さい光線部分の幅を達成するように適合される、一つ以上の光モジュールを含む。このことはそれにより、拡大される焦点深度での網膜への前記画像の投影を可能にする。
本発明のいくつかの態様によれば、当該目用投影システムの視線追跡偏向器は、アドレス指定可能な光偏向ユニットおよびフィールド・セレクター光モジュールを含む。アドレス指定可能な光偏向ユニットは全体的な光伝播路に沿って配置され、フィールド・セレクター光モジュールは、システムを通る光伝播方向に関して、アドレス指定可能な光偏向ユニットの下流の光路に沿って配置される。いくつかの態様では、アドレス指定可能な光偏向ユニットは、視線の方向βを示す入力信号に応答し、そこに入射する光線を、視線の方向βに対応するそれぞれの光路に沿って伝播するように偏向させるため、その偏向角を調整するように作動可能である。フィールド・セレクター光モジュールは、異なった視線の方向βに対応する様々なそれぞれの光路に沿って伝播する光線を受け取り、それらを異なった視線の方向βにそれぞれ関連する瞳の対応する位置に向けるように構成されかつ作動可能であり得る。このため、本発明の特定の態様では、フィールド・セレクター光モジュールは、軸外放物面偏向器のような、非球状光学系を含む。
本発明のいくつかの態様によれば、目用投影システムの目用投影光モジュールはさらに、角度光線中継モジュールを含む。角度光線中継モジュールは、様々な投影角αscnで画像生成器から伝播するそれぞれの光線部分を受け取り、光線部分がそれぞれ対応する瞳入射角αinで瞳に(その位置で)投影されるよう中継するように構成されかつ作動可能である。例えば、いくつかの態様では、角度光線中継モジュールは、それぞれ第一および第二の焦点距離に関連する、第一および第二の光モジュールを含む。第一および第二の光モジュールは、第一および第二の焦点距離の合計と実質的に等しい光学距離により、全体的な光伝播路に沿って互いに間隔を置いて離れている。
本発明の特定の態様では、視線追跡偏向器のアドレス指定可能な光偏向ユニットは、角度光線中継モジュールの第一および第二のモジュールの間の光路に沿って配置される。いくつかの態様ではまた、角度光線中継の第二の光モジュールおよびフィールド・セレクター光モジュールは、共通の光学素子中に統合される。
本発明のいくつかの態様によれば、目用投影システムの画像生成器は:
− 入力光線を提供する光モジュールを含み;
− 入力光線の光路に配置され、入力光線を一つ以上の光線部分に分割するように適合され、全体的な光伝播路に関して投影角αscnで伝播するように一つ以上の光線部分を方向付ける、画像スキャナーを含み;
− 入力光線および一つ以上の入力光線部分の少なくとも一つの光路に配置され、一つ以上の光線部分の強度を制御可能に調整するように適合される、光強度変調器を含み;かつ− 光強度変調器モジュールに接続可能であり、目の網膜に投影される画像画素を示す画像データを獲得し、光線部分にそれぞれ対応する画像の画素の値に従って光線部分の強度を調整するために光強度変調器モジュールを作動させるように構成されかつ作動可能な、投影制御器を含む。
特定の態様では、投影制御器はまた、画像スキャナーに接続可能であり、全体的な光伝播路に関して投影角αscnで伝播するように前記光線部分を方向付けるように作動可能である。
例えば、いくつかの態様では、光強度変調器は、入力光線をはっきりと異なるそれぞれの光路に沿って伝播する複数の光線部分に分割するように構成されかつ作動可能な空間光変調器を含み得、画像スキャナーは、複数の光線部分を異なった投影角αscnに向って偏向させるように構成される静的光モジュールを含み得る。
代替的にまたは追加的に、光強度変調器は、入力光線の強度を変調するように適合され得、画像スキャナーは、入力光線を複数の光線部分(一時的な部分)に分割し、それらを異なった角度αscnに向って伝播するよう方向付けるように適合される走査ミラーを含み得る。
このため、本発明のいくつかの態様によれば、目用投影システムは、少なくとも二つの調整可能な光偏向器(例えば、それぞれが一つ以上の回転可能なミラーにより形成される、二つの調整可能な二次元光偏向器)を含む。例えば、第一の調整可能な光偏向器は、画像スキャナーの少なくとも一つの走査光偏向器を含み得るか、それに関連し得、第二の調整可能な光偏向器は、視線追跡偏向器の視線追跡偏向器を含み得るか、またはそれに関連し得る。
いくつかの態様では、少なくとも二つ(例えば、第一および第二)の調整可能な光偏向器は、異なった視線の方向βで、かつ異なった視線の方向βにおける目の視線に関する所望の瞳入射角αinで瞳の位置に入射するよう光線部分を方向付けるために、二以上の光線部分の伝播の自由度を制御するように作動する。瞳入射角αinはまた、光線部分にそれぞれ関連する画像のそれぞれの画素に対応するよう、少なくとも二つの調整可能な光偏向器により調整される。
例えば、第二の調整可能な光偏向器は、使用者の目が異なる方向(複数)を見るときの、考え得る瞳の位置を規定する仮想表面の実質的に球状の部分を用いて、瞳に向って伝播する光線部分の交差位置を制御するように構成されかつ作動し得る。第一の調整可能な光偏向器は、考え得る瞳の位置を規定する仮想表面の実質的に球状の部分と、光線部分との交差角度を制御するように構成されかつ作動し得る。代替的には、第一および第二の光偏
向器の光学機能は混合され得、特定のマッピング(例えば、参照テーブル)が、二つの偏向器)のそれぞれの配置(例えば、それぞれの方位)と、考え得る瞳の位置を規定する仮想表面上の光線部分の交差位置および交差角度とを関連付けるために使用され得る。
本発明のいくつかの態様によれば、当該目用投影システムは、瞳に入射する光線部分の平行度を制御するように適合される(例えば、目に入射するとき、光線部分が実質的に平行になるように構成される)、一つ以上の光線コリメーターを含む。代替的にまたは追加的に、一つ以上の光線コリメーターは、光線部分が瞳に入射するとき、光線部分の幅が瞳の直径より実質的に細くなるように構成され得る。
本発明の別の広い側面によれば、上述の目用投影システムに類似する目用投影システムを一つ以上(例えば、二つの目用投影システム)含む眼鏡が提供される。眼鏡は、純粋な、または増大したバーチャル・リアリティーを目に投影するように構成され得る。後者の場合、眼鏡のレンズは、目用投影システムからの光を使用者の目に向けて反射し、外景からの外部光を使用者の目に向けて伝達するように適合される、光線分割器/結合器表面を含み得る。例えば、目用投影システムの入力光線は、一つ以上のスペクトル帯を含み、光線分割器/結合器表面は、前記一つ以上のスペクトル帯を使用者の目に向けて反射するように適合されるノッチ・フィルターとして構成され得る。代替的にまたは追加的に、入力光線は、特定の偏光線への偏光を含み得、光線分割器/結合器表面は、その特定の偏光線を使用者の目に向けて反射するように適合される偏光板として構成され得る。
本発明のさらに別の広い側面によれば、使用者の目の網膜に画像を投影するための、目用投影システムが提供される。目用投影システムは、制御可能な強度の入力光線を生成するための光モジュールおよび入力光線の光路に配置される光学系を含む。該光学系は、第一および第二の調整可能な二次元光偏向器ならびに、使用者の目の網膜に投影される画像を示すデータおよび前記目の視線の方向βを示すデータを受け取り、網膜の対応する位置に画像の画素を投影するように適合される制御器を含む。網膜に画像を投影することは、画像のそれぞれの画素の投影のために、以下の事項を実行することを含み得る:
画像中の画素の強度値に対応する強度を有する入力光線を生成するために、光モジュールを作動させること;
前記視線の方向βに従って、使用者の目の瞳に入射するよう入力光線を方向付けるように偏向角を調整することにより、第一および第二の二次元光偏向器の少なくとも一つを作動させること;および
画像中の画素の位置に対応する瞳入射角αinで瞳に入射するよう入力光線を方向付け、それにより、目のレンズによって画像中の画素の位置に対応する網膜上の位置にある画素に関連する光線の部分に焦点を合わすことが可能になるように偏向角を調整することにより、第一および第二の二次元光偏向器の少なくとも一つを作動させること。
本明細書中に開示される主題をよりよく理解し、それが実際どのように実行され得るのかを例示するために、実施態様が、添付の図面を参照して、非限定的な例としてのみ、以下で説明されるであろう:
図1は、本発明のいくつかの態様により構成されかつ作動可能な目用投影システムの機能ブロック図100である。 図2Aおよび2Bは、本発明の一態様による目用投影システム100の光学的配置、ならびに目の二つの異なった視線の方向βおよびβにおけるその作動を、図式化して説明する。 図2Aおよび2Bは、本発明の一態様による目用投影システム100の光学的配置、ならびに目の二つの異なった視線の方向βおよびβにおけるその作動を、図式化して説明する。 図2Cおよび2Dは、本発明の別の態様による目用投影システム100の光学的配置、ならびに二つの異なった視線の方向βおよびβにおけるその作動を、図式化して説明する。 図2Cおよび2Dは、本発明の別の態様による目用投影システム100の光学的配置、ならびに二つの異なった視線の方向βおよびβにおけるその作動を、図式化して説明する。 図3は、目の網膜に画像を投影するための本発明の一態様による方法を示す、フローチャート200である。 図4は、本発明の特定の態様による画像投影モジュール110の構成を図式化して説明する機能ブロック図である。 図5は、本発明の一態様による目用投影システム100を含む眼鏡の略図である。
説明の簡素化および明確化のため、図に示される要素が必ずしも縮尺通りに描かれていないことは理解されるであろう。例えば、要素のいくつかの寸法は、明確化のために、他の要素と比較して誇張され得る。さらに、適切と考えられる場合、符号は、対応または類似する要素を示すため、図面間で繰り返され得る。
実施態様の詳細な説明
以下の詳細な説明において、目下開示される主題の完全な理解を提供するため、数多くの具体的詳細が説明される。しかしながら、目下開示される主題が、これら具体的詳細のいくつかがなくても実施され得ることは、当業者により理解されるであろう。他の例では、周知の方法、手順および構成要素は、目下開示される主題を曖昧にしないため、詳細には説明されていない。
特段の定めをした場合を除き、明確化のために別々の態様の文脈で説明される目下開示される主題の特定の特徴がまた、一つの態様で組み合わされて提供され得ることは理解されたい。逆に、簡潔化のために一つの態様の文脈で説明される目下開示される主題の様々な特徴がまた、別々に、またはあらゆる適切な部分的組み合わせで提供され得る。
以下に説明される光モジュール/光学素子、特に図2A−2D、4および5で説明されるものは、本発明の実行に用いられる機能的な光学素子/光モジュールおよびその構成を示すこともまた、理解されるべきである。したがって、光学素子/光モジュールは、その機能的な作動に従って、以下に説明される。これらの光学素子/光モジュールが、実際の光学素子の様々な配置の組み合わせを利用することにより実際に実装され得ることは、注目されるべきである。追加的に、本発明の特定の態様では、二つ以上の以下に説明される機能的な光モジュールが、共通の光モジュール/光学素子で一体的に実装され得、および/または、一つの以下に説明される機能的な光学素子/光モジュールが、いくつかの別々の光学素子を利用して、実際に実装され得る。このため、本発明を知る当業者は、本発明および以下に説明される機能的な光学素子/光モジュールの光学機能を実行するための光学素子/光モジュールの様々な構成ならびにそのようなモジュールの様々な配置を、すぐに理解するであろう。
図1を参照する。同図は、本発明のいくつかの態様により構成されかつ作動可能な目用投影システムの機能ブロック図100を示す。目用投影システム100は、画像投影システム110、目用投影光学系130を含む。
画像投影システム110は、目に投影される画像を示すデータを獲得し、画像の画素に
対応する複数の光線部分LBを生成するように適合される。画像投影システム110はまた、それぞれの部分に対応する画像の画素の値を有する光線部分LBのそれぞれの光線部分LBの強度を調整し、画像中のそれぞれの画素の位置に関連する特定の投影角αscnで目用投影光モジュール130に伝播するよう光線部分を方向付けるように適合される。次に、目用投影光モジュールは、視線の方向βに従って光線部分LBの光伝播路を使用者の瞳に向けて偏向させるために、使用者の目の視線の方向βを示す入力信号に反応するように構成されかつ作動可能である。全体的な光伝播路は、光線部分LBが(例えば、視線の方向βとは無関係に)投影角αscnに対応する瞳入射角αinで瞳に入射するように偏向される。これに関連して、用語「瞳入射角αin」は、本明細書中では、瞳/目の視野の光に関して計測される、瞳への光線またはその部分の入射角を示すために用いられる。
このため、本発明は、画素に関連する光線部分LBを、これらの光線部分に関連する画素の画像位置に対応する目の瞳に所定の入射角で入射するよう方向付けることにより、目の異なった視線の方向の部分的なまたは完全な補償を提供する。
これに関連して、光線部分LBが、画像投影システム110の画像スキャナー・モジュール118により空間的にまたは時間的に区分/分割され得る入力光線ILBの空間部分/区分であり得ることは、注目されるべきである。以下でより詳細に説明されるように、画像スキャナー・モジュール118は、光線を全体的な光路に沿って目用投影光モジュール130に向って伝播する空間的なまたは時間的な光線部分に分割するように作動可能な空間光変調器および/または走査ミラー(例えば、ラスター・ミラー・スキャナー)を利用して実装され得る。
明確化のために、以下では、画像スキャナー118により生成される光線部分LBが、光線としてまたは光線部分として交換可能に言及されることは、注目されるべきである。
本発明のいくつかの態様によれば、目用投影システム100はまた、画像投影システム110および目用投影光学系130のうちの少なくとも一つに接続可能であり、目/瞳の視線の方向βに従って(すなわち、瞳の視線LOSに従って)それらの少なくとも一つの作動を調整するように適合される、視線追跡制御器120を含み得る。画像投影システム110は、投影画像データ12中の画素の位置に対応する投影角αscnの範囲にわたって光線を走査する一方で、光線の強度Intおよび場合により色彩(スペクトル)Spcコンテンツを画像の投影画素のそれぞれの強度および色彩コンテンツの値に従って制御することによる画像の投影のために構成されかつ作動可能である。
このため、画像投影システム110は典型的には、入力光線ILBを生成する光源/モジュール114、ならびに強度および/または光線LBの光路に配置されるスペクトル変調器117(以下、強度変調器117)および画像スキャナー118を含む画像生成器116を含む。強度変調器117は、画像12の投影画素の強度に従って光線の強度を変調するように適合される。網膜への色彩豊かな画像投影が求められる態様では、光モジュールは、一つ以上の光源(典型的には、赤、緑および青の三つのレーザー光源)を含み得る。次に、強度変調器117は、光モジュール114からの光線ILBの強度Intおよび場合によっては色彩/スペクトル・コンテンツSPCもまた制御可能に調整する(弱める/変調する)ように構成されかつ作動可能であり得る。様々な態様では、光モジュール114の一つ以上の光源から出力される光線の光路に配置される制御可能なフィルター/減衰器を利用して、強度変調器/減衰器が実装され得る。代替的にまたは追加的に、強度変調器/減衰器は、空間光変調器(SLM)を利用して実装され得る。さらに代替的にまたは追加的に、強度変調器は、光モジュール114において光源/レーザーの働きを制御するように適合され、それらの出力強度を調整する制御器を利用して実装され得る。本発明
のいくつかの態様による画像投影システム110の構成および/または機能的な作動は、以下、図2A−4を参照してより詳細に説明される。
光線の光路に配置される画像スキャナー118は、一つ以上の光偏向器(例えば、高速走査/ラスター・ミラーのような調整可能な光偏向器、および/またはマイクロ−レンズ・アレイ(MLA)またはマイクロ−ミラー・アレイ(MMA)のような複数の静的要素)を含み得、該光偏向器は、光線LBの光路に配置され、様々な走査/投影角αscnに沿って伝播するよう光線を偏向させるために、画像スキャンおよび/または空間変調を実行するように構成されかつ作動可能であり、そのことにより光線を画像12のそれぞれの画素に対応する複数の光線部分に分割する。
画像投影システム110はまた、画像投影制御器112を含み、該画像投影制御器は、画像スキャナー118および強度変調器モジュール117に接続可能であり、網膜に投影される画像画素を示す画像データ12を獲得し、画像画素に対応する適切なそれぞれの強度で走査/出力角αscnに向けて光線部分(空間的/時間的な光線の部分)を方向付けるよう画像スキャナー118および強度変調器117を作動させるように構成されかつ作動可能である。次に、目用投影光学系130は、投影角αscnで画像生成器116から出力される光線(またはその部分)を受け取り、対応する瞳入射角αinで目の瞳に入射するようにそれらを方向付けるように適合され、画像画素がその適切な位置で網膜に直接的に投影されるようになっている。目用投影光学系130はまた、網膜上の固定位置に画像を投影するために、目の異なった視線の方向βを補償するように構成されかつ作動可能である。
目用投影光学系130は典型的には、角度光線中継モジュール134を含み、該角度光線中継モジュールは、画像中の対応する画素のそれぞれの位置に対応する適切な瞳入射角αinで使用者の目の瞳EPに入射するよう方向付けるために光線を中継するように適合され、それにより投影角αscnに関連する画像画素が投影されるべき目の網膜ERにおける適切な位置に目のレンズELにより光線の焦点を合わせることを可能にする。このことは、目の網膜ERへの画像12の直接的な投影を容易にする。
本発明のいくつかの態様によれば、目用投影システム100はまた、視線追跡制御器120を含み、該視線追跡制御器は、異なった視線の方向βにあるときの瞳の位置およびその視線に従って網膜ERに画像を直接的に投影するために、目の視線の方向βに従って、目用投影光学系130および/または目用投影システム110の作動を調整/制御するように構成されかつ作動可能である。より具体的には、本発明のいくつかの態様では、視線追跡制御器120は、視線が変化する間に網膜の固定位置へ画像画素を投影することを可能にするために、上記式(2)−(4)のいずれか一つに従って目用投影光学系130の光関数F’optを制御するように構成されかつ作動可能である。上記式(2)により作動するとき、視線の方向の変化を補償するために、目用投影光学系130の光関数F’optのみが用いられる/調整されることは、注目されるべきである。しかしながら、式(4)に従って作動するときは、そのような補償を実行するために、目用投影光学系130の光学関数F’optおよび画像投影システム110の画像スキャン関数S’(S’は、画像スキャナーのそれぞれの投影角αscnで画像の画素が投影される強度に関連する)の両方が調整される。
これに関連して、視線追跡制御器120が、視線追跡モジュール20からの目の視線の方向βを示すデータ/信号22を受け取るように構成されかつ作動可能な電子/処理モジュールであり得ることは、注目されるべきである。視線追跡モジュールは、本発明のシステム100の一部として含まれ得、またはそれに接続される外部システムであり得る。視線追跡システム20は、あらゆる適切な技術に従って、目が向く視線/視線の方向を判定
するように構成されかつ作動可能であり得る。本発明のシステム100に組み込まれ得、またはこれに関連して使用され得るいくつかのそのような業界で公知の技術がある。そのような技術は例えば、国際特許出願公報WO 2013/117999、米国特許第7,542,210号および米国特許第6,943,754号に開示される。
目用投影光学系130に戻ると、本発明の特定の態様によれば、それは、視線の方向の変化を少なくとも部分的に補償することを可能にする調整可能な光関数F’optを有するように構成される。視線の方向が変化するとき、瞳の位置と目の視線の両方が変化することは、注目される。このため、目用投影光学系130は、画像投影システム110から(例えば、画像スキャナー118から)の光線LBの光路の変更が可能なように構成され、目の異なった視線の方向にあるとき、それが様々な考え得る瞳の位置に向って方向付けられ得るようになっている。追加的には、本発明の特定の態様では、目用投影光学系130はまた、光線LBの光路の修正が、視線の方向に対応するそれぞれの瞳の位置に光を方向付けるだけでなく、異なった視線の方向において瞳の視線LOSの方向の変化を少なくとも部分的に補償するように構成される。例えば、様々な視線の方向βについて、光関数F’optは、光線がそれぞれの視線の方向β(ここでは、瞳入射角αinが、投影角αscnの所定の関数(典型的には、特定の単調関数)として維持される)における目の視線LOSに関して瞳入射角αinで瞳に入射することを確実にする一方で、光線を瞳の位置に向けるように調整される。このことは、網膜上のそれぞれの固定位置への画像画素の直接的な投影を提供する。本発明のこの特徴は、図2Aおよび2Bにおいてより詳細に説明され例示される。
図2Aおよび2Bを参照する。これらの図は、本発明のいくつかの態様による目用投影システム100の光学的配置を図式化して説明する。これらの図に特に示されているのは、本発明の目用投影光学系130の例示的配置、ならびに目の二つの異なった視線の方向βおよびβにおけるその作動(光関数F’opt)である。
この実施例では、目用投影光学系130は、視線追跡偏向器モジュール132および角度光線中継モジュール134を含む。視線追跡偏向器モジュール132は、目の視線の方向βに従って(すなわち、異なった視線の方向における目の目の視線の方向および瞳の位置に従って)、光線の光伝播路全体的な光伝播路GPPを目に向けて偏向させるように適合される。角度光線中継モジュール134は、出力投影角αscnで画像スキャナー118から出力される光線を中継し、適切な瞳入射角αinで使用者の目の瞳EPに入射するようそれを方向付けるように構成される光学系である。
図に示されるように、入力光線ILBは、光源112により生成され、その強度および場合によってはそのスペクトル・コンテンツもまた、画像12中の一つ以上の画素のデータに従って調整される(変調される/弱められる)。このため、例えば光線ILBの光路に一つ以上の強度変調器117を含む画像生成器116は、画素画像の強度および/または色彩コンテンツを制御するために、画素データに従って操作される。光線は、その後、画像スキャナー118に向う。
本実施例では、画像スキャナー118は、一つ以上の走査ミラーSMを含み、該走査ミラーは、光線の走査/ラスター走査を実行し(例えばミラーを回転させることにより)、その間、光線は、画像投影角αscn(全体的な光伝播路GPPに関して計測される)の範囲にわたって伝播するよう偏向し、ここでは典型的に、それぞれの投影角が網膜に投影される画像12の画素に対応する。走査/ラスター走査ミラー/偏向器は、あらゆる適切な技術、例えば電子光学偏向器を利用して、および/または、圧電アクチュエーターまたは他のタイプのアクチュエーターのような適切なアクチュエーターに機械的に結合される微小電気機械システム(MEMS)ミラーのようなミラーを利用して実装され得、ミラー
が、投影角αscnの範囲にわたって光線の画像/ラスター走査を実行するために、光モジュール114からの光線を偏向させることを可能にする。上記の通り、画像投影角αscnは、水平および垂直な画像投影角に対応する二次元値{α scn α scn}を示し得る。例えば、角度{α scn α scn}はそれぞれ、全体的な光伝播路GPPと全体的な光伝播路GPPならびに全体的な光伝播路GPPと直交する二つの横軸XおよびYがかかる二つの平面への光線の投影との間の角度に対応し得る。これに関連して、図2Aおよび2Bでは明確化のためにのみ一つの走査ミラーSM(例えば、高速走査ミラー)が説明される(例えば、二次元/軸での回転のためにジンバルに入れられる)が、本発明の他の態様では、二次元画像投影角αscn(すなわち、{α scn α scn})で光線を偏向させるために、二以上のミラー/偏向器が用いられ得ることは、理解されるべきである。
二つの異なった画像投影角αscn1およびαscn2において画像スキャナーから偏向する二つの光線部分LB1およびLB2は、図2Aおよび2Bで説明される。目用投影光学系130を通るこれらの光線の伝播は、図面において例示され、説明される。角度光線中継モジュール134は、二つ以上の光モジュール、ここでは第一および第二の光モジュール134Aおよび134Bを含み、該光モジュールは、画像スキャナーから目への光路に沿って配置され、画像投影角αscn(αscn1およびαscn2)に対応する瞳入射角αin(ここでは、それぞれ光線LB1およびLB2のαin1およびαin2)で瞳に投影されるよう光線を方向付けるように構成される。このことは、光強度を有する第一および第二の光モジュール134Aおよび134B(それぞれ、第一および第二の焦点距離に関連する)を利用すること、および第一および第二の光モジュール134Aおよび134Bをそれらが前記第一および第二の焦点距離と実質的に等しい光学距離により画像スキャナーから瞳へ伝播する光LB1およびLB2の光路に沿って互いに間隔を置いて離れるように配置することによって、本発明の特定の態様により達成される。このため、角度光線中継134は、そこで光線部分(例えばLB1およびLB2)が画像スキャナーから偏向する画像投影角αscnとそこでそれらが瞳に衝突する瞳入射角αscnとの間の単調関数関係を提供する。このことは、目の網膜への方向付けられた画像化を提供する。本発明の他の態様では、角度光線中継モジュール134の同じ機能的な作動が、角度光線中継134において追加の光モジュールを利用する/含むことにより達成され得、該追加の光モジュールが、光路におけるその光強度(焦点距離)とその配置との異なった関係を有し得ることは、注目されるべきである。当業者は、ここで例示される構成または異なった構成を用いたそのような角度光線中継モジュールの実装の仕方をすぐに理解するであろう。角度光線中継134の光モジュール(例えば、134Aおよび134B)が、システム100の他の光学素子と結合される機能要素であり得る一つ以上の光学素子を含み得ることもまた、注目されるべきである。
視線追跡偏向器モジュール132は、そこから目の視線の方向βを示す信号/データを受け取るために、視線追跡制御器120に接続可能である。視線追跡偏向器モジュール132およびは、視線追跡制御器120からの信号/データ(例えば、操作信号)に従って、光線LBの光伝播路を偏向させ、目の視線の方向βに従って、目用投影光学系130の光関数F’optを変更/調整するように作動可能である。上記の通り、視線追跡制御器120は、名目上の視線の方向(図面中、0°β−Refで示される)からの目の視線の方向βの変化を完全に(式(2))または少なくとも部分的に(式(4))補償するために、視線追跡偏向器132状態(偏向操作/方向)を制御するように、式(2)または(4)に従って構成されかつ作動可能であり得る。後者の場合では、追加的または補完的な補償は、上述の通り画像スキャン関数S’によって提供され得、以下でより詳細に議論されるであろう。
図2Aおよび2Bはそれぞれ、画像12の異なった二つの画素に対応する、二つの光線
LB1およびLB2の光路の略図を示す。図2Aおよび2Bは、システム100の、特に、目の二つの異なった視線の状態/方向βおよびβのそれぞれにおけるその視線追跡偏向器モジュール132の作動を示す。説明されるように、異なった視線の状態βおよびβにおいて、瞳は、目が異なった方向ならびに異なった視線の方向における二つの異なった目の視線LOSおよびLOSを見るとき、瞳の考え得る位置を規定する仮想表面S(実質的に球面上の仮想表面の一部である)上の二つの異なった瞳の位置PLおよびPLにそれぞれ配置される。本発明のいくつかの態様によれば、視線追跡偏向器モジュール132は、異なった視線の方向に関連する瞳の位置の変化および目の視線の変化の両方を補償するように適合される、二つ以上の光学素子/光モジュールを含む。
例えば、図2Aおよび2Bにおいて説明されるように、視線追跡偏向器モジュール132は、調整可能な/アドレス指定可能な光偏向器132A(例えば、アドレス指定可能な視線追跡ミラーである)およびフィールド・セレクター光モジュール132Bを含み、これらは、異なった方向を見るとき、それぞれの瞳の位置(図中、LPおよびLP)と交差するように異なった画像画素の光線LB(例えば、図中のLB1およびLB2)の伝播を制御し、また、入射角αinが目の視線LOSに関して固定されたままであり、目/瞳の視線LOSの方向の変化に対して不変となるように、視線LOSに関して(ここで、LOSおよびLOSは、二つの異なった視線の方向に対応する)瞳における光線LBの瞳入射角αin(ここではそれぞれ、LB1およびLB2のαin1およびαin2)を調整するように一緒になって構成されかつ作動可能である。
調整可能な/アドレス指定可能な光偏向器132Aは、視線の方向を示す入力信号(または、視線の方向βに対応する偏向器132Aのアドレス/配向角を示す信号)に反応し、視線の方向βに対応するそれぞれの光路に沿って伝播するよう光線LBを偏向させるようその配向角/偏向角をそれぞれ調整するように作動可能/シフト可能であるという意味においてアドレス指定可能である。フィールド・セレクター光モジュール132Bは、異なった視線の方向に対応する様々なそれぞれの光路に沿って伝播する光の光線LBを受け取り、それぞれの視線の方向で対応する瞳の位置へ、適切な入射角で瞳に入射するように、それらを方向付けるように構成されかつ作動可能である。
本発明の特定の態様によれば、調整可能な/アドレス指定可能な光偏向器132Aは、画像スキャナー118からの光線LB(例えば、LB1およびLB2)の路の全体的な光伝播光路GPPに沿って、角度光線中継モジュールの第一および第二の光モジュール134Aおよび134Bの間に配置される。視線追跡偏向器モジュール132のフィールド・セレクター光モジュール132Bは、光伝播方向に関して調整可能な/アドレス指定可能な光偏向器132Aの下流に、光路GPPに沿って配置され得る。フィールド・セレクター光モジュール132Bは、角度光線中継134の第二の光モジュール134Bの前後のいずれかに配置され得、および/または、フィールド・セレクター132Bおよび角度光線中継134の第二の光モジュール134Bの両方の機能を実行する一体の光学部品を形成するためにそれに統合され得る。フィールド・セレクター光モジュール132Bは、非球状レンズおよび/またはミラーを含み得る。図2Aおよび2Bにおいて、フィールド・セレクター光モジュール132Bは、視線追跡用のアドレス指定可能な光偏向器132Aからの光線を受け取り、それらを瞳へ向けるように配置される二つのレンズのセットにより実装される。しかしながら、図5の実施例においてさらに説明されるように、フィールド・セレクターは、反射/半反射光線分割表面/コーティング(reflective/semi-reflective-beam-splitting surface/coating)として実装され得る。例えば、それは、軸外放
物線偏向器を含み得、該軸外放物線偏向器は、本発明のシステム100を実装する眼鏡の眼鏡レンズに関連し得る。
本発明のいくつかの態様によれば、目の前の使用者の視野にいかなる調整可能な/可動
光学素子も配置することなく、画像が網膜上の特定の/固定位置に直接的に投影されることは、注目されるべきである。このため、視線追跡用のアドレス指定可能な光偏向器132Aおよびまた画像スキャナー・ミラーSMは、角度光線中継モジュール(固定される光学素子を含み得るが、画像投影システムからの光線を適切に瞳の位置に向けるように構成され得る一方で、使用者の視野外の目から離れた領域に配置され得る。
図2Bにおいて説明される二つの光線(すなわち、光線部分)LB1およびLB2は、網膜上の画像12の二つのそれぞれの画素P1およびP2の投影に関連する。画像投影制御器112は、画像データ12を受け取り、それぞれの画素P1およびP2のデータに対応する適切な強度(例えば、および色彩コンテンツ)で光線LB1およびLB2を生成するよう画像生成器116を作動させ、画像12中のそれぞれの画素P1およびP2の位置に関連する適切なそれぞれの画像投影角(αscn1およびαscn2)にそれぞれの光線LB1およびLB2を向ける/偏向させるよう画像スキャナー118を作動させるように適合され得る。このため、目用投影光学系130は、制御器120から視線の方向βを示すデータを獲得し、目の視線の軸/方向(それぞれ、図2Aおよび図2BにおけるLOSおよびLOS)に関して適切な瞳の位置(それぞれ、図2Aおよび2BにおけるPLおよびPL)で、かつ適切な瞳入射角(それぞれ、光線LB1およびLB2のαin1およびαin2)で瞳に入射するよう光線LB1およびLB2のそれぞれを中継するように視線追跡偏向器モジュール132の角度位置/偏向状態を調整する。図2Aおよび2Bの説明において、類似の光線LB1およびLB2は、説明され、画像スキャナーにより類似のそれぞれの投影角(αscn1およびαscn2)に偏向する。目の視線の方向βおよびβは、図2Aおよび2Bにおいて異なっており、したがって、アドレス指定可能なミラー/偏向器134Aの角度位置は、それぞれの適切な入射角αin1およびαin2で瞳に入射するように、光線を瞳の位置に向けるように調整される。図面中には特に示されていないが、瞳の視線LOSおよびLOSに関する光線の入射角αin1およびαin2は、両図において類似し、これらの光線に関連するそれぞれの画像画素P1およびP2の位置にそれぞれ対応する。
図面では、光線LB1およびLB2が一緒に説明されるが、それらが必ずしも共存しないこと/一緒に投影されないことは、理解されるべきである。実際、典型的には画像スキャナーが用いられる図1ならびに図2Aおよび2Bのような本発明の態様では、それぞれの光線は典型的には、画像スキャナー118の走査ミラー/偏向器SMの特定の位置に関連し、したがって、光線LB1およびLB2は共存しない。
本発明の特定の態様について、上記の図2Aおよび図2を参照して説明される走査投影システムを利用することの有意な利点があり得ることは、注目されるべきである。このことは特に、小型用途用のそのような走査投影システムを利用することが、領域投影システムが用いられるときに達成され得るものよりもより良い画質での網膜への画像の投影を提供し得るからである(例えば、図2Cおよび2Dに開示されるような)。このため、当該走査投影システムは、対応する領域投影システムより小型であり得る。また、当該走査投影システム(そこでは、一度に画素を投影するためにレーザー光線を利用することにより、画像が目に投影される)を利用することは、隣接する画素間のクロストークを提供しない。追加的に、画素サイズ、すなわちそれぞれの特定の画素投影に関連する光線部分(例えば、LB1またはLB2)の幅は、小型システムにおける空中画像投影技術を用いるときに達成され得るものより、実質的により幅広い(典型的には、1オーダー以上の大きさ)。したがって、目用投影光学系130の、および特に角度光線中継モジュール134の光モジュールは、より少ない開口数で構成され得、こうしてより小さい光学収差に関連し得、良好な変調転送機能(MTF)を有する高品質な目への画像中継を提供し得る。このことは、目の網膜上に、改善されるダイナミック・レンジで、高い画像コントラストで、高解像度かつ高輝度で画像を投影するための小型画像投影システムの使用を容易にする。
追加的に、小型用途において走査投影を利用することはまた、後に劣化する有意に小さい画素サイズによって、小型空中投影システムにより生成され得る回析アーティファクトを軽減し、およびまたは完全に取り除き得る。
しかしながら、本発明のいくつかの態様によれば、特に非小型システムについて、空中画像投影システムが、走査画像投影の代わりに使用され得ることもまた、注目されるべきである。このため、走査ミラー/偏向器SMの代わりに、画像スキャナー118は、複数の画素に関連する複数の光線を同時に変調し、方向付けるように適合され得る、液晶変調器のような空間光変調器(SLM)を含み得る。
図2Cおよび2Dを参照する。これらの図は、本発明の別の態様による目用投影システム100の光学的配置を示し、そこでは画像画素に関連するいくつかのまたは全ての光線(例えば、図面においては、画素P1およびP2に関連する光線LB1およびLB2、が同時に生成され、同時にそれぞれの投影角(αscn1およびαscn2)で目用投影光学系130に向けられている。目用投影光学系130は、目の網膜上に画像12を生成/投影するために、対応する瞳入射角(αin1およびαin2)で瞳にそれぞれの投影角(αscn1およびαscn2)で光線を投影する。図2Cおよび2Dにおけるシステム100の構成は、ここでは複数の画像画素に対応する複数の光線が同時に瞳に向けられることを除いて、図2Aおよび2Bにおいて描かれ、上記で詳細に説明されるものに類似する。このため、画像生成器116は例えば、光線ILBの光路に一以上の空間光/強度変調器SLMsを含み得る。空間光変調器SLMsは、入力光線ILBの異なった空間部分の強度を独立して変調することが可能である。例えば、図2Aおよび2Bにおいて説明される強度変調器IMに代えて、または追加して、ここではSLMが、異なった画素に関連する光線/部分の強度の同時調整を提供する。次に、画像スキャナー118は、光モジュールを含み、該光モジュールは、SLMから出力される光線部分を受け取り、光線部分が関連する画像のそれぞれの画素に対応する適切な投影角で目用投影光学系130に向って伝播するようにそれぞれの部分(例えば、光線/光線部分LB1およびLB2)を方向付けることが可能である。
例えば、本発明のいくつかの態様では、SLMは例えば、液晶強度変調器を含み得、該液晶強度変調器は、複数のセルのマトリクスに分割され、それぞれが異なった画像画素に関連する光線のうちの一つ(例えば、LB1およびLB2のうちの一つ)の強度の減衰および/または色彩コンテンツの制御に関連する。任意に、光学液晶強度変調器に、そこから出力される光線(例えば、LB1およびLB2)を受け取り、対応する画像投影角(例えば、視線追跡光モジュール130に対してαscn1およびαscn2)でそれらを方向付けるために、マイクロ・レンズ・アレイのマトリクスが配置され得る。
このため、図2Aおよび2BのSMミラーのような画像ラスター走査ミラーの代わりに、ここでは、静的光モジュールが用いられ得る。例えば、マイクロ−レンズ・アレイMLAは、SLMの光路に配置され得、SLMにおけるそれぞれのセルから発せられる画素関連光線を適切な投影角に向けるように構成され得る。空間光変調器SLMは、入力光線ILBの光路に配置され、入力光線およびILBを受け取り、そこから複数の光線(例えば、LB1およびLB2)を生成するように適合され、該光線の強度(および、場合によっては色彩コンテンツもまた)は、画像12のそれぞれの画像画素(例えば、P1およびP2)におけるこれらの値に対応する。ここではMLAとして例示される、画像スキャナー118の静的光モジュールは、画像生成器116から(SLMから)複数の光線を受け取り、これらの光線をそれぞれの出力角(上記では、画像12中のそれぞれの画素(P1およびP2)の位置およびそれらの指定される網膜への投影位置に関連する画像投影角(例えば、αscn1およびαscn2)と呼ばれるに向けるように構成されかつ作動可能である。このため、図2Aおよび2Bの態様でそうであるように、図2Cおよび2Dの態様
でもまた、目用投影光学系130は、瞳の適切な位置(それぞれ、図2Cおよび図2DにおけるPLおよびPL)に、適切な瞳入射角(それぞれ、光線LB1およびLB2のαin1およびαin2)で、瞳に入射するようにそれぞれの光線(LB1およびLB2)を中継する。したがって、図2Cおよび2Dの態様では、異なった画像画素に関連する複数の光線が、SLMを利用して同時に生成され、MLAのような静的光モジュールを利用して目用投影光学系130へ向けられる。
図2Cおよび2Dの構成では、視線追跡光モジュール130は、視線追跡用のアドレス指定可能な光偏向器132Aのオペレーションおよび角偏向位置/状態が、視線の方向βに基づいて決定され、網膜に投影される特定の画素とは無関係となるように構成される。したがって、そのような態様では、複数の画素が、同時に網膜に投影され得る。この要件が、画素関連光線が目に同時に投影されないシステムの光学的配置(図2Aおよび2Bの構成におけるように)では必要ないことは、理解されるべきである。そのような場合、視線追跡用のアドレス指定可能な光偏向器132Aの角偏向位置/状態は、視線の方向βおよびあらゆる特定の時点で視線追跡用のアドレス指定可能な光偏向器132Aに入射する光線(例えば、LB1)の特定の画素(例えば、特定の投影角αscn1)の両方に基づいて決定され得る。
したがって、図2Aないし2Dで説明されるのは、目の網膜に画像を投影するための本発明のある態様により構成される、目用投影システム100の光学的配置および作動である。目用投影システムは、光モジュール114および制御可能な入力光線ILBを生成する画像生成器116、および入力光線の光路に配置される光学系OSを含む。光学系は、第一および第二の二次元光偏向器を含む。第一の光偏向器は、画像スキャナー118に関連しており、光線を時間的な部分に分割するために光線LBの画像/ラスター走査を実行するように構成される一つ以上の走査偏向器/ミラーSM(例えば、高速走査ミラー)、または、光線を空間的な部分に分割するように構成されるMLAもしくはMMAモジュールとして実装され得る。画像スキャナー118は、異なったそれぞれの画像画素に関連する異なった投影角に向けて光の空間的および/または時間的な部分を偏向させるように構成される。調整可能な/アドレス指定可能な光偏向器132Aである第二の光偏向器は、視線追跡偏向器モジュール132に関連し、異なった視線の状態における瞳の位置を追跡するためのアドレス指定可能なミラーとして実装され得る。調整可能な/アドレス指定可能な光偏向器132Aは、あらゆる適切な技術を利用して実装され得、例えばそれは、作動し得る電気光学的偏向器およびMEMSミラーを含み得る。典型的には、視線追跡偏向器モジュール132が、視線の方向βにおける二次元にわたる変化{β β}を補償するように構成されかつ作動可能であることは、注目されるべきである。したがって、調整可能な/アドレス指定可能な光偏向器132Aは典型的には、少なくとも一つの光偏向器を利用して実装され、該光偏向器は、作動し得、光路に関して特定の二次元の立体角(例えば、円錐状の立体角)に架かる異なった角度方向にアドレス指定可能である。代替的または追加的に、調整可能な/アドレス指定可能な光偏向器132Aは、二つ以上の異なった横軸の周囲を光路に関して回転可能な二つ以上のミラーを利用して実装され得る。
視線追跡制御器120および画像投影制御器112は、一つの制御モジュール/ユニットにより、または別々の二以上の制御ユニットにより実装され得る。当業者によりすぐに理解されるように、制御器は、適切なアナログ回路を利用してアナログ的に、または、適切な処理装置ならびに、視線追跡偏向器132Aの作動を制御し、かつ画像生成器136の働きおよび場合によっては適切な強度の光線を生成し、それらを画像データに従って適切な画像投影角に向けるための画像スキャナー118の作動も制御するための、好ましいソフト的/ハード的にコードされたコンピューター読み取り可能/実行可能な命令を記憶したメモリー/記憶モジュールを利用してデジタル的に実装され得る。このため、制御器は、目の網膜に投影される画像12を示すデータおよび目の視線の方向βを示すデータを
受け取り、画像のそれぞれの画素を投影するために、以下の方法200の作動を実行することにより、網膜の対応する位置に画像の画素を投影するように適合される。
上記の通り、本発明のいくつかの態様によれば、目用投影システム100は、実質的に平行な光線を瞳に向けるように適合され得、目がこれらの光線を目から無限の距離を置いて配置される結像面から生じるものとして認識するようになっている。このため、本発明のいくつかの変形においては、光モジュール114は、コヒーレント光を提供するように適合され得、例えば入力光線ILBを生成するための一つ以上のレーザーを含み得る。
追加的または代替的に、システム100は、一つ以上の光線コリメーターBCを含み得、該光線コリメーターは、光線(例えば、ILBおよび/またはLB)の光路に沿って配置される、以上の光学素子を含み得る。例えば、図2Aおよび2Bの態様では、光線コリメーターBCは、入力光線ILBの光路に提供される。代替的または追加的に、図2Cおよび2Dの実施例では、一つ以上の光線コリメーターBCが、画像スキャナー118から視線偏向光モジュール130の方へ伝播する光線LBの光路に描かれる。
本発明のいくつかの態様によれば、光線コリメーターは、瞳に入射する光線LBの平行度を制御するように適合される。特に、特定の態様では、光線コリメーターは、光線LBを平行にするように適合され、作動可能であり、それが瞳に入射するときに実質的に平行となるようになっている。したがって、目は、網膜に投影される画像を無限に遠い結像面から生じるものとして認識する。このことは、目のレンズからの焦点合わせの要件を緩和し、こうして目から有限の距離を置いて配置されていると認識される画像を目に投影することに関連し得る眼精疲労および/または頭痛の軽減を提供する一方で、網膜への画像の直接的な投影を可能にする。
代替的または追加的に、システム100の光線コリメーターBCまたは他の光モジュールは、瞳に入射する光線LBの幅を調整するように構成されかつ作動可能であり得る。多くの場合、瞳の位置で、光線の幅が瞳の直径より実質的に狭いことが所望され得る。このことは、網膜への画像投影の被写界深度(焦点深度)を延ばすことを提供し、こうして、目のレンズの焦点に関連する眼精疲労を軽減するための代替的または追加的な方法を提供する。これに関連して、網膜への画像投影の被写界深度を延ばすために狭い光線幅を利用するこの選択肢が、瞳に向けられる光線が平行でない態様でも、眼精疲労を軽減するために用いられ得ることは、理解されるべきである。
図3を参照する。同図は、目の網膜に画像を投影するための本発明による方法を示すフローチャート200である。当該方法は、本発明の一態様により構成される目用投影システム100の一つ以上の制御器により実施され得る。作動210ないし250は概して、画像12中の画素{P}ごとに実行される。これらの作動は、画像画素が連続して投影される図2Aおよび2Bの構成に従って画像走査モードで作動するとき、画素ごとに連続して実行され得る。代替的または追加的に、これらの作動は、画像が網膜に同時に投影される図2Cおよび2Dにおけるような態様(例えば、異なった画像画素に関連する光線の強度および特別な/角度分布が、画像スキャナー118のSLMおよび適切に構成される光モジュール(MLAのような)により同時に管理される態様では、全てまたは複数の画素について同時に実行され得る。
作動210では、目の視線の方向βを示すデータは、視線追跡モジュールから獲得され、該視線追跡モジュールは、目の視線の方向を判定するように構成されかつ作動可能である。
作動220では、画像スキャナー118の投影角が決定される。これに関連して、画像
スキャナー118が、画像/ラスター走査を実行するように構成されかつ作動する走査ミラー/偏向器を含む場合、瞬間投影角αscn(例えば、α scn,α scn)が獲得/決定され得る。代替的に、(異なった画素に関連する入力光線ILBの空間的な部分に異なった強度/色彩変調を適用するために)画像スキャナーが入力光線ILBに空間変調を適用するように構成される場合、SLMのそれぞれの特定の空間的なセルからの出力角である投影角αscnが獲得される。
作動230は、それぞれの投影角αscnを介して網膜に投影される画像画素Piの強度および場合によっては色彩コンテンツも決定するために実行される。このため、232では、上記の式(1)、(3)および(4)を参照して上記で議論されるS’またはSのような画像マッピングが使用され得る。画像マッピングS’またはSは、それぞれの投影角αscnを入力画像12における対応する画素Pまたは画素の位置と関連付ける、関数または参照データ・テーブル(LUTs)として実装され得る。式(3)および(4)を参照して上述される通り、画像マッピングS’は、視線の方向βの変化を部分的または完全に補償するために用いられ得る。
そのような場合、画像マッピングS’は、それぞれの特定の視線の方向βおよび特定の投影角αscnを画像中の対応する画素Piと関連付け得る。上述の通り、異なった視線の方向を補償するための画像マッピングS’の利用は、瞳の直径より幅広い光線の目への投影を必要とし、それにより達成できる網膜への画像投影の被写界深度を損ねるため、システムの特定の実装ではあまり望まれないことがあり得る。追加的に、目に光線を向ける視線追跡光学系130が、(目が約Ω=〜60°の立体角であることを必要とする角度範囲視線LOSを網羅するために)目への光線伝播の拡大される角度範囲を支持することが必要であるため、この技術の使用が、視線の方向βの部分的な補償に限定される場合があり得る。このことは一方で、いくつかのシステムでは実行できないかも知れない複雑な光学系を必要とし、他方、SLMが用いられる態様におけるSLMリアル−エステート(real-estate)に関して無駄であり得、または、MLAもしくは走査/ステアリング・ミラ
ーの角度分解能に関して、これらのいずれか一つが画像生成器116中で用いられる場合に無駄であり得る。このため、本発明の特定の態様では、総合的な視線の方向の角度βを完全に補償するため、または補償角β〜βにより視線の方向の大部分を補償し、補償角(β−β)<<βにより視線の方向の補償をデジタル的に微調整するようにマッピング関数S’を利用するために、視線追跡光モジュール130の視線追跡用のアドレス指定可能な光偏向器132Aを使用することが好ましい。このため、マッピングS’によりデジタル的に実行される微調整補償角は、いくつかの態様では、β−β<<ωに限定され、ここで、ωは視線が固定されるときの目の視野の立体角を示す。このことは、光線の幅が瞳の直径より小さい光線の使用を可能にし、こうして、延ばされる画像の被写界深度での網膜への画像投影を達成することを可能にする。
こうして、232では、投影角特定の投影角αscnに関連する画素Pは、視線の方向の補償を招かない自明な画像マッピング関数/LUT Sを利用すること、または少なくとも部分的な視線の方向の補償を招く補償される画像マッピング関数/LUT S’を利用することにより決定される。したがって、234では、画素Pの値が画像データ12から決定/取得される。このことは、カラー画像投影が求められる場合、画素のグレー・スケールの強度値および/または画素の色彩(例えば、RGB)の強度値のみを含み得る。
作動240は、230で決定される対応する画素Pのデータに従って、入力光線ILBもしくはそのそれぞれの部分の強度および/または色彩コンテンツを調整することを含む。これに関連して、(それぞれの画素について、全入力光線が、画像スキャナー118のラスター−または走査−ミラーにより適切な投影角αscnに操作される)図2Aおよ
び2Bにおいて説明されるような態様では、全入力光線ILBの強度および/または全入力光線ILBのそれぞれの色彩部分の強度は、入力光線ILBの入力路にある強度変調器IMを利用することにより調整され得る。このことは、図面における任意の工程242Aにおいて示される。代替的または追加的に、(SLMが入力光線ILBの異なった空間部分強度を分割し、別々に制御するために用いられる)図2Cおよび2Cにおいて説明されるような態様では、投影角αscnに対応する画像生成器のSLMのそれぞれの空間的なセルの作動は、空間的な光線の強度および/または色彩コンテンツを、画素Piにおけるこれらの値に従って調整するように制御され得る。
作動250では、視線追跡偏向器132の偏向角は、画素Piに関連する光線を、網膜上のその画素の所望の位置に対応する瞳入射角αinで瞳に入射するよう方向付けるように、視線の方向βに従って調整される。これに関連して、視線の方向の部分的な補償が画像マッピング関数/LUT S’を介してデジタル的に実行される場合、視線追跡偏向器132の偏向角は、デジタル的に補償されない視線の方向βの補完的な部分βのみの補償を提供するように調整され得る。
図4を参照する。同図は、本発明の特定の態様による画像投影システム/モジュール110の構成を図式化して説明する。上述の通り、光モジュール114は、異なった色彩において一つ以上の光源モジュールを含み得る。図4で説明される態様では、赤、緑および青のレーザーであり得る三つの色彩光モジュールLR、LBおよびLGが、RGB光を提供するために用いられる。ここでは、RGB光が一例としてのみ用いられ、網膜に色彩豊かな画像を投影するために、他の光色彩パレットに対応する光源/レーザーもまた用いられ得ることは、注目されるべきである。
図4において自明な方法で説明されるように、光モジュールLR、LBおよびLGからの光線は、適切な光線分割器結合器および場合によっては共通の全体的な伝播軸GPPに沿って伝播するよう光モジュールLR、LBおよびLGからの光線を方向付けるための光学系も含む、光線結合器光学系COMPを用いて結合される。一つ以上の光線分割器結合器COMPは例えば、一つ以上の色彩光モジュールRL、BLおよびGLから出力される色彩光線の光路に沿って配置され、結合される光線LBとして伝播するようこれらの光線を結合するように構成される、スペクトル/偏光光線分割器/結合器モジュールを含み得る。結合される光線LBの色彩コンテンツは、画像生成モジュール116により制御される。後者は例えば、それぞれの色について別々の強度/パワー変調器IM(および/または別々のSLMs)を含み得る。典型的には、少なくとも一つの強度/パワー変調器IM(またはSLM)は、色彩光源/モジュールRL、BLおよびGLの一つずつに関連する。
画像生成モジュール116は、結合される光線LBの色彩/スペクトル・コンテンツを調整するために、(例えば、レーザーから出力される光線の強度を制御可能に弱めることにより、またはレーザーの作動を制御することにより)それぞれのレーザーの光線の強度を制御するように構成されかつ作動可能であり得る。
図5を参照する。同図は、本発明の一態様により構成されかつ作動可能な目用投影システム100を含む、眼鏡500構成を自明な方法で示す。この態様における目用投影システム100は、画像投影システム/モジュール110を含み、該画像投影システム/モジュールは概して、眼鏡500のハンドル/アームに提供され、図2A−2Bおよび図4を参照して上記で説明されるものと同様に構成されかつ作動可能なモジュールを含む。
この態様における目用投影システム100はまた、図2A−2Bを参照して上記に記載・説明されるものと類似の目用投影光学系130を含む。このため、目用投影システム1
00のモジュール110および130の機能的な作動および構成は、この態様では、そこから光が瞳に投影される最終の光学素子が眼鏡レンズに組み込まれ得る/統合され得る一方で、目用投影システム100の光学素子の大部分が眼鏡のフレームおよび/またはハンドルに提供され得ることに注目することを除いては、ここで詳細に説明されるべきではない。このため、画像または一連のビデオ画像は、目に直接的に投影され得る。
この特定の態様では、目用投影システムは、それぞれの光線コリメーターBC、ならび共通の路に沿って伝播するようにそこからの光を結合する光線結合器モジュールCOMBおよび結合される光線を画像スキャナー(図1の118)の走査ミラーSMに向けるためのレンズL−SMに関連する、三つの光、R、GおよびBモジュールLR、LGおよびLBを含む。ビーム中継モジュール134は、二つのレンズ134Aおよび134Bを含み、それらの間の光路には、視線追跡光モジュール130の視線追跡用のアドレス指定可能な光偏向器132Aが配置される。本実施例では、フィールド・セレクター光モジュール132B(図2A−2Dにおける)は、二つの光学素子132B.1および132B.2により実装され、一方の132B.1は、視線追跡用のアドレス指定可能な光偏向器132Aの後に光路に沿って配置されるレンズであり、他方の132B.2は、眼鏡のレンズの側または上に実装される反射面である。
これに関連して、本発明のいくつかの態様によれば、ここで説明されるように、適切な入射角で瞳の位置に画像投影を向けることが、目の前で(例えば、目の視界で)可動/調整可能な光モジュール/偏向器を利用することなしに達成されることは、注目されるべきである。このことは、目の視界で動く/変化する要素がないため、装置の美的外観を促し、また使用者によるその使用を容易にする。特に、本実施例では、視線追跡用のアドレス指定可能な光偏向器132Aと画像走査ミラーSMの両方が、眼鏡フレームのアームに配置される。システム100からの光線を瞳への適切な入射に向けるために、折り畳みミラーFMが、フレーム/アームの端部で用いられる。
本発明の特定の態様では、眼鏡500は、使用者の目の一方または両方に、純粋なバーチャル・リアリティーおよび/または増大したバーチャル・リアリティーを投影するように構成されかつ作動可能であり得る。後者の場合、眼鏡レンズは、目用投影システム100からの光を使用者の目に向けて反射し、外景からの外部光を使用者の目に向けて伝達するように適合される、光線分割器結合器表面BSCを含み得る。例えば、いくつかの態様では、システム110の光モジュール114は、実質的に狭いスペクトルを有する一つ以上の狭いスペクトル帯(例えば、狭いRGBスペクトル帯)を含む入力光線を生成するように構成され得る。次に、眼鏡レンズの光線分割器結合器表面は、外景から到達し、これらの狭いスペクトル帯の外側にある光を伝達する一方で、一つ以上の狭いスペクトル帯を使用者の目に向けて反射するように適合されるノッチ・フィルターとして構成され得る。代替的または追加的に、システム110により生成される光線/光線部分は、特定の偏光線に偏光し、光線分割器結合器表面は、前記特定の偏光線を使用者の目に向けて反射するように適合される偏光板として構成され得る。
図面には一つの目用投影システム100のみが描かれているが、そのようなシステムが、それぞれの目に別々に画像を投影するために眼鏡に提供され得ることは、注目されるべきである。そのような場合、共通の制御器が、両システムの画像投影モジュール110および目用投影光学系130の作動のために用いられ得る。また、システムは、3Dイリュージョンを生成するため、使用者の目に立体的な画像/動画を投影するように作動され得る。
また、図5では、目の視線の方向βを判定し、それを示すデータをシステム100に提供するように構成されかつ作動可能な視線目追跡モジュール(図1の20)が概略的に説
明される。視線目追跡モジュール20は概して、業界で公知のあらゆる適切な技術により構成されかつ作動可能であり得る。
本実施例では、視線追跡モジュールは、赤外線(IR)発光体21を含み、該発光体は、眼鏡のブリッジ上に提供され、IR光線IRBを目に向けるように適合され、および、目追跡センサー22を含み、該センサーは、IRセンサーであり、眼鏡のフレーム/アームに配置され、目から(例えば、その瞳および/または角膜および/または網膜から)のIR光線IRBの反射を検知するように適合される。制御器(図示せず)は、目の視線の方向を判定するために、反射されるIR光線のパターンを処理するように適合される。
こうして、本発明は、目の網膜へ画像/動画像列の直接的な投影のための新規なシステムおよび方法を提供する。直接的な投影は例えば、それぞれの画像画素の位置に対応するそれぞれの瞳入射角で目の瞳に入射するようそれぞれの画像の画素に関連する画素関連光線部分を方向付けるように構成されかつ作動可能な角度光線中継モジュールを利用して実行され得る。角度光線中継モジュールはこうして、目の外側に有限の距離を置いて中間像面を形成することなく目の網膜に画像を直接的に投影するために、本発明により用いられる。いくつかの場合、光線部分は瞳への入射の際に平行にされる。したがって、網膜に投影される画像は、無限に離れた結像面から生じるものとして目により認識される。代替的または追加的に、画像は、瞳の直径より狭い幅を有する光線部分光線により目に投影され得る。このことは、網膜への画像投影の延ばされる焦点深度を提供する。無限に離れた中間像面からの画像の認識または網膜への画像投影の延ばされる焦点深度に関連する本発明の特徴は、目から有限の距離を置いて配置される中間像面を介する目への画像の直接的な投影に関連する目の混乱および疲労を軽減し、場合によっては完全に取り除くことを提供する。追加的に、本発明の上記の利点はまた、目の視線の方向が変わり得る間に網膜上の固定位置に画像を投影するために、目/瞳の視線の方向を追跡し、一方で視線の方向の変化を補償することで達成され得る。上記の通り、このことは、異なった視線の方向における瞳/目の視線に関して適切な瞳入射角で、画素関連光線部分を瞳の位置に向けるために、本発明により構成され、目の視線の方向に従って調整可能な視線偏向光モジュールを利用して達成され得る。

Claims (18)

  1. 目用投影システムであって、当該目用投影システムは、
    − 画像投影システムを有し、該画像投影システムは、画像データを獲得し、かつ、前記画像データの画素に対応する複数の光線部分を有する画像投影を生成するように適合されており;
    − 目用投影光モジュールを有し、該目用投影光モジュールは、使用者の目に向けて前記画像投影の前記の複数の光線部分を方向付けるように適合されており;かつ、
    − 視線追跡制御器を有し、該視線追跡制御器は、前記目の視線の方向を示すデータに従って、前記画像投影の前記の複数の光線部分を方向付ける前記画像投影システムの画像スキャナーおよび前記目用投影光モジュールの視線追跡偏向器のうちの少なくとも一つの作動を制御するように構成されかつ作動可能であり、前記の視線の方向に従って、前記の投影された画像の前記の複数の光線部分を前記目の網膜へと方向付けるようになっており、そのことによって、前記の視線の方向の変化を補償し、
    ここで、当該目用投影システムは、微小な衝動性および震えの目の運動のうちの少なくとも1つに関連する前記の視線の方向の変化を補償しないように構成されかつ作動可能であり、そのことによって、意の視線の方向において、前記の投影された画像が、前記の微小な衝動性および震えの目の運動のうちの前記の少なくとも1つによって引き起こされる前記網膜上の前記の投影された画像の微小な運動を除いて前記網膜上で安定的であり、かつ、固定されて現れることを提供する、前記目用投影システム。
  2. 前記の複数の光線部分が実質的に平行である一方で、前記目の瞳に衝突するよう前記の複数の光線部分のコリメーションをもたらし、それにより前記網膜への前記画像の直接的な投影を可能にするように適合される一つ以上の光線コリメーターをさらに有し、そのことによって、前記画像が前記目から無限の距離から生じるように認識される、請求項1に記載の目用投影システム。
  3. 前記画像投影の前記の複数の光線部分が、目の瞳の直径より小さな狭い光線の幅を有して前記目へと方向付けられるように構成されており、そのことによって前記網膜上の前記の投影された画像の焦点深度を増大させる、請求項1または2に記載の目用投影システム。
  4. 前記の複数の光線部分の幅を、前記の狭い光線の幅を獲得するようにもたらすように適合される一つ以上の光モジュールをさらに有する、請求項3に記載の目用投影システム。
  5. 前記目用投影光モジュールが、前記視線追跡偏向器を有し、該視線追跡偏向器は:当該目用投影システムの全体的な光伝播路に沿って配置されるアドレス指定可能な光偏向ユニット、および当該目用投影システムを通る光伝播方向に関して前記のアドレス指定可能な光偏向ユニットの下流に配置されるフィールド・セレクター光モジュールを有する、請求項1から4のいずれか一項に記載の目用投影システム。
  6. 前記のアドレス指定可能な光偏向ユニットが、前記視線追跡制御器に関連しており、かつ、前記視線追跡制御器から獲得した前記の視線の方向を示す信号に応答し、かつ、そこに入射する光線を前記の視線の方向に対応するそれぞれの光路に沿って伝播するよう偏向させるためにその偏向角を調整するように作動可能であり;かつ、前記フィールド・セレクター光モジュールが、異なった視線の方向に対応する様々なそれぞれの光路に沿って伝播する光束を受け取り、かつ、それらをそれぞれ前記の異なった視線の方向に関連する前記目の瞳の対応する位置に向けるように構成されかつ作動可能であり;かつ、ここで、前記視線追跡制御器は、微小な衝動性および震えの目の運動のうちの前記の少なくとも1つに関連する前記の視線の方向の前記変化を補償しないように適合されている、請求項5に記載の目用投影システム。
  7. 前記フィールド・セレクター光モジュールが、非球状光学系を有する、請求項6に記載の目用投影システム。
  8. 前記の視線の方向の変化が、前記瞳の変化した位置に関連しており、かつ、前記フィールド・セレクター光モジュールが、前記の視線の方向の前記変化に従うアドレス指定可能な光偏向ユニットの前記偏向角の調整の際に、前記の複数の光線部分が前記瞳の前記の変化した位置に向けて方向付けられるように構成されている、請求項6または7に記載の目用投影システム。
  9. 前記目用投影光モジュールが、前記視線追跡偏向器と角度光線中継モジュールとを有し、該視線追跡偏向器は、アドレス指定可能な光偏向ユニットを有する、請求項1から4のいずれか一項に記載の目用投影システム。
  10. 前記角度光線中継モジュールが、それぞれ第一および第二の焦点距離に関連する第一の光モジュールおよび第二の光モジュールを有し、前記の第一および第二の光モジュールは、前記の第一および第二の焦点距離の合計と実質的に等しい光学距離により、当該目用投影システムの全体的な光伝播路に沿って互いに間隔を置いて離れている、請求項9に記載の目用投影システム。
  11. 前記のアドレス指定可能な光偏向ユニットが、前記角度光線中継モジュールの前記の第一および第二の光モジュールの間の前記の全体的な光伝播路に沿って配置される、請求項10に記載の目用投影システム。
  12. 前記画像投影システムが、前記の複数の光線部分の各光線部分を、前記画像データ中のその対応する画素の二次元の位置{P, P}に対応するそれぞれの投影角αscn={α scn, α scn}=S({P, P})を有して投影するように構成されており、式中、Sは画像スキャン関数である、請求項9から11のいずれか一項に記載の目用投影システム。
  13. 次の項目のうちの一つ以上を実行することによって、前記の複数の光線部分の各光線部分を方向付けて、対応する瞳入射角αinで前記瞳に衝突するようにし、かつ、前記の視線の方向に関する前記の対応する瞳入射角αinの不変性を獲得するように構成された当該目用投影システムであって、該項目は:
    (a)前記の視線の方向βに従って調整可能である改変された光関数F’opt(αscn, β)=Fopt(αscn)+βを用いた前記目用投影光モジュールの作動であり;式中、β≡{β, β}は、微小な衝動性および震えの運動のうちの前記の少なくとも1つに関連する前記の視線の方向の前記変化を除いた前記目の前記の視線の方向であり、Foptは単調光関数であり、かつ、αscnは前記光線部分の前記のそれぞれの投影角であり;
    (b)前記画像投影システムが、前記画像データ中の対応する画素の二次元の位置{P, P}に対応する画像画素の前記のそれぞれの投影角αscnを、αscn=S’({P, P}, β)となるように決定するために、改変された画像スキャン関数S’を利用することであり、そのことによって、前記の改変された画像スキャン関数S’がFopt(S’({P, P}, β))=Fopt(S({P, P}))+βを満たし;または、
    (c)前記の改変された関数F’opt(αscn, β)を用いた前記目用投影光モジュールの作動であり、該作動は、前記視線追跡偏向器によって前記の視線の方向βの部分βを補償するためのものであり;かつ、前記画像投影システムが、前記画像画素の前記のそれぞれの投影角αscnを、αscn=S’({P, P}, β−β)となるように決定するために、改変された画像スキャン関数S’({P, P}, β−β)を利用することであり、それにより、前記の視線の方向の(β−β)部分を補償する、
    請求項1から12のいずれか一項に記載の目用投影システム。
  14. 前記画像投影システムが、
    − 全体的な光伝播路に沿って伝播するよう方向付けられた入力光線を提供する光モジュールを有し;
    − 前記入力光線の光路に配置され、かつ、前記入力光線を前記の複数の光線部分に分割し、かつ、前記の全体的な光伝播路に関してそれぞれの投影角αscnで伝播するよう前記の複数の光線部分を方向付けるように適合される画像スキャナーを有し;
    − 前記入力光線および前記の複数の光線部分のうちの少なくとも1つの光路に配置され、かつ、前記の複数の光線部分の強度を制御可能に調整するように適合された光強度変調器を有し;かつ、
    − 前記光強度変調器に接続可能であり、かつ、前記画像データを獲得し、かつ、それぞれ前記の複数の光線部分に対応する前記画像の画素の値に従って前記光線部分の強度を調整するために前記光強度変調器を作動させるように構成されかつ作動可能である投影制御器を有する、
    請求項1から13のいずれか一項に記載の目用投影システム。
  15. 目用投影方法であって、当該目用投影方法は:
    画像データを獲得することと、前記画像データの画素に対応する複数の光線部分を有する画像投影を生成することとを有し;かつ、
    使用者の目に向けて前記画像投影の前記の複数の光線部分を方向付けることを有し;
    ここで、前記の方向付けることは、前記目の視線の方向の変化を補償して、前記の視線の方向に従って前記の投影された画像の前記の複数の光線部分を前記目の網膜へと方向付けることを有し;かつ、
    ここで、前記の視線の方向の変化を補償することは、微小な衝動性および震えの目の運動のうちの少なくとも一つに関連する前記目の前記の視線の方向の変化の補償を含まず;
    そのことによって、意の視線の方向において、前記の投影された画像が、前記の微小な衝動性および震えの目の運動のうちの前記の少なくとも1つによって引き起こされる前記網膜上の前記の投影された画像の微小な運動を除いて前記網膜上で安定的であり、かつ、固定されて現れることを提供する、
    前記目用投影方法。
  16. 前記の複数の光線部分のコリメーションをさらに有し、前記の複数の光線部分が、実質的に平行になるようにされながら、前記目の瞳に入射するようになっている、請求項15に記載の目用投影方法。
  17. 前記の複数の光線部分の光線の幅を調整することをさらに有し、前記の複数の光線部分が、目の瞳の直径よりも小さな狭い光線の幅を有して前記目へと方向付けられるようになっている、請求項15または16に記載の目用投影方法。
  18. 前記の視線の方向の変化が、前記瞳の変化した位置に関連しており、かつ、前記の補償することがさらに、前記の複数の光線部分を前記の視線の方向において前記瞳の前記の変化した位置に向けて方向付けることを有する、請求項15から17のいずれか一項に記載の目用投影方法。
JP2018186384A 2018-10-01 2018-10-01 目用投影システム Active JP6832318B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018186384A JP6832318B2 (ja) 2018-10-01 2018-10-01 目用投影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018186384A JP6832318B2 (ja) 2018-10-01 2018-10-01 目用投影システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016572936A Division JP6415608B2 (ja) 2014-03-03 2014-03-03 目用投影システム

Publications (2)

Publication Number Publication Date
JP2019049724A JP2019049724A (ja) 2019-03-28
JP6832318B2 true JP6832318B2 (ja) 2021-02-24

Family

ID=65906099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018186384A Active JP6832318B2 (ja) 2018-10-01 2018-10-01 目用投影システム

Country Status (1)

Country Link
JP (1) JP6832318B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115624315B (zh) * 2022-11-18 2023-03-14 北京中科睿医信息科技有限公司 眼动追踪方法、装置、电子设备、计算机存储介质及产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657628B1 (en) * 1999-11-24 2003-12-02 Fuji Xerox Co., Ltd. Method and apparatus for specification, control and modulation of social primitives in animated characters
NZ537849A (en) * 2005-01-21 2007-09-28 Peter James Hilton Direct Retinal Display projecting a scanned optical beam via diverging and converging reflectors
JP4829765B2 (ja) * 2006-12-08 2011-12-07 キヤノン株式会社 画像表示装置及び画像表示システム
US8817379B2 (en) * 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US10058454B2 (en) * 2012-08-24 2018-08-28 Ic Inside Ltd. Visual aid projector for aiding the vision of visually impaired individuals

Also Published As

Publication number Publication date
JP2019049724A (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
US10539789B2 (en) Eye projection system
JP7179140B2 (ja) 仮想現実および拡張現実のシステムおよび方法
JP7228581B2 (ja) 透明発光型ディスプレイを有する接眼レンズを備える拡張現実ディスプレイ
US11054639B2 (en) Eye projection system
KR20220101682A (ko) 조향가능 아이박스를 갖는 증강 현실 헤드업 디스플레이
KR20220093041A (ko) 깊이를 갖는 오브젝트를 디스플레이하기 위한 시스템 및 방법
JP6832318B2 (ja) 目用投影システム
TWI832308B (zh) 頭戴式裝置之光學系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181017

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20181206

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210201

R150 Certificate of patent or registration of utility model

Ref document number: 6832318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350