JP7195496B2 - 回折ディスプレイ、光導体素子およびそのためのプロジェクタ、および画像を表示するための方法 - Google Patents

回折ディスプレイ、光導体素子およびそのためのプロジェクタ、および画像を表示するための方法 Download PDF

Info

Publication number
JP7195496B2
JP7195496B2 JP2019561956A JP2019561956A JP7195496B2 JP 7195496 B2 JP7195496 B2 JP 7195496B2 JP 2019561956 A JP2019561956 A JP 2019561956A JP 2019561956 A JP2019561956 A JP 2019561956A JP 7195496 B2 JP7195496 B2 JP 7195496B2
Authority
JP
Japan
Prior art keywords
grating
gratings
image
diffractive
coupling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019561956A
Other languages
English (en)
Other versions
JP2020519955A (ja
Inventor
オルコネン,ジューソ
アイキオ,ミカ
スンナリ,アンティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dispelix Oy
Original Assignee
Dispelix Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dispelix Oy filed Critical Dispelix Oy
Publication of JP2020519955A publication Critical patent/JP2020519955A/ja
Application granted granted Critical
Publication of JP7195496B2 publication Critical patent/JP7195496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1814Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G02B5/1819Plural gratings positioned on the same surface, e.g. array of gratings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4272Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having plural diffractive elements positioned sequentially along the optical path
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1814Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G02B5/1819Plural gratings positioned on the same surface, e.g. array of gratings
    • G02B5/1823Plural gratings positioned on the same surface, e.g. array of gratings in an overlapping or superposed manner
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view

Description

本発明は、たとえば目に近いディスプレイ(NED)または他の頭部搭載型ディスプレイ(HMD)などのパーソナルマイクロディスプレイにおいて用いられる回折ディスプレイに関する。特に、本発明は、拡張現実(AR)NEDまたはHMDにおいて用いられる導波管に関する。
2D射出瞳拡大(EPE)による単一光導体の最大視野(FOV)は、光導体屈折率および投影光の波長帯域に依存する。波長帯域が460~630nmであり、光導体屈折率が2.0である場合、最大FOVは約33~35度である。FOVを増大するために、一般的なアプローチは、多数の光導体を用いることである。従来のマイクロディスプレイプロジェクタは、単一の射出瞳しか生成しないので、光導体の入力結合格子は一般に、横方向に一致し、互いに積み重ねられる。積み重ねられた入力結合器の場合、入力結合プロセスは良好に制御されない。たとえば、第1の光導体は、青色波長を有するFOV全体をサポートするが、赤色波長の場合、FOVのわずかな部分しか光導体に入力結合されない。これは、光導体スタック全体が全体的に最適化される必要があることを意味し、厄介かつ時間がかかる。また、光が様々な期間で入力結合器を通って伝搬する場合、戻り回折光が先行の光導体に結合し、ゴースト画像を生成することがある。
従来の光導体のいくつかは、赤色、緑色、および青色画像チャネルを取得するために3つの異なる光導体を用い、約35度のFOVを実現することができる。これらの光導体は、解像度および/または波長帯域において制限されるという欠点を有する。
一方、より大きなFOVを提供することができる他の種類の光学系、すなわち、非導波管ベースのシステムが存在するが、これらは一般に、導波管と比較して、多くの場合システムのサイズに関する欠点を有する。したがってこれらの解決策は、小さなサイズが望まれるARシステムに最適ではない。
また、単一チャネルの大きなFOVの導波管ベースの解決策が利用可能であるが、それらの明らかな欠点は、色の生成に対する制限である。
US2014/218801は、第1の範囲の画角および第2の範囲の画角が結合され、入力結合格子を有する様々な導波管層へ導かれるカラー投影ディスプレイを開示する。導波管層は、同じまたは左右反対の幾何学を有し、その結果、入力結合格子はそれぞれ、互いに位置合わせされ、あるいは互いに遠く離れて配置される。これらの配置は、光結合効率および品質およびサイズ要件を考慮すると、最適ではない。US2006/132914は、いくつかの実施形態において、2つの入力結合格子を有する他の既知の導波管構成を開示する。
したがって、マイクロディスプレイ技術において、小さなデバイスサイズかつ好適にはカラー再生と組み合わせて大きなFOVを実現する能力に関する改善への要望がある。
本発明の目的は、上述した問題の少なくとも一部を解決し、パーソナルディスプレイのFOVを拡大するための新規の解決策を提供することである。具体的な目的は、機能的パーソナルディスプレイを形成するために組み合わせられ得る、拡大FOV光導体素子および拡大FOV画像プロジェクタを提供することを含む。
2次的な目的は、少なくともFOVの実現性に比例してデバイスサイズの低減を可能にする技術、およびフルカラー再生を可能にする技術を提供することである。
また、波長分割を伴う従来の技術よりも製造公差が緩い回折導波管技術を提供することも目的である。
本発明は、画像全体のFOVを、少なくとも2つの異なる瞳を通して回折導波管素子へ向けられる部分的FOV(画像セグメント)に分割すること、および、部分的FOVが、ユーザによって目視可能な全体画像に再結合されるような方法で素子を設計することに基づく。これを実現するために、以下で説明するような新規のマルチ瞳導波管素子および新規のマルチ瞳プロジェクタが提供される。
本発明に係る回折パーソナルディスプレイのためのマルチ瞳光導体素子は、光導体手段、特に少なくとも2つの光導体のスタックを備える。また、入力結合手段に向けられた画像を光導体手段に結合するための回折入力結合手段、および光導体手段外へ上記画像を結合するための回折出力結合手段が提供される。本発明によると、回折入力結合手段は、上記画像のセグメントを受信するために、上記光導体手段において互いに横方向にずらされた少なくとも2つの入力結合格子を備える。また、回折出力結合手段は、画像セグメントから画像を再生するために、入力結合格子と光学的に接続される。
特に、回折出力結合手段は、光導体手段において互いに横方向に重なり合う少なくとも2つの出力結合格子を備えてよい。少なくとも2つの出力結合格子は、上記画像セグメントから上記画像を再生するために、少なくとも2つの入力結合格子にそれぞれ光学的に関連付けられる。光学的関連付けは、上記光導体手段をともに形成する様々な光導体層における格子を合体させること、および一般に、様々な層において入力結合器をそれぞれの出力結合器と光学的に接続する射出瞳拡大器格子を付加的に提供することによって実装され得る。
本発明のパーソナルディスプレイデバイスは、本明細書で説明するような、出力結合手段において裸眼で目視できる画像を生成するためのマルチ瞳光導体素子と、上記少なくとも2つの入力結合格子に上記画像の少なくとも2つの異なる画像セグメントを投影することができるマルチ瞳プロジェクタとを備える。特に、このセグメントは、デバイスによって形成される全体画像のFOVがセグメントのいずれか単独のFOVよりも大きいように、光導体素子の少なくとも部分的に異なる横方向位置へ導かれる。
1つの態様において、本発明は、回折パーソナルディスプレイのためのマルチ瞳プロジェクタにも関し、プロジェクタは、画像を表示するための少なくとも1つの表示素子と、少なくとも2つの射出瞳と、上記画像の少なくとも2つの異なるセグメントを上記少なくとも2つの射出瞳にそれぞれ投影するための光学手段とを備える。表示素子は更に、無偏光光源と、上記画像セグメントを上記射出瞳に投影するために上記光源の2つの異なる偏光状態を用いるための手段とを備える。
本発明に係る、パーソナルディスプレイデバイスに画像を表示するための方法は、上記画像セグメントを光導体手段に結合する、光導体手段において互いに横方向にずらされた少なくとも2つの回折入力結合格子に、全体画像の少なくとも2つの部分画像セグメントを投影することと、画像セグメントを、上記画像セグメントから上記全体画像を再生するために、上記光導体手段において互いに横方向に重なり合う、たとえば少なくとも2つの異なる回折出力結合格子などの、回折出力結合手段へそれぞれ導くこととを備える。
最終的に、本使用は、パーソナルディスプレイの視野を拡大するために、パーソナルディスプレイの光導体ベースの表示素子における複数の横方向にずらされた入力結合格子を用いることを備える。
より具体的には、本発明は、独立請求項に記載された事項によって特徴付けられる。
本発明は、従来技術に優る顕著な利益を提供する。プロジェクタの様々な画像セグメントを用いること、および/または上述したようにそれらを表示素子へ導くことによって、波長帯域を分割するのではなく導波管のFOVが分割される。よって、全体FOVは著しく増大し得る。これは、マルチ瞳プロジェクタの各射出瞳が全体FOVの一部を含むためである。全体FOVはその後、射出瞳(出力結合格子)が空間的に重なり合う光導体を用いて取得される。また、プロジェクタの射出瞳が空間的に分離されるため、光導体において空間的に分離された、すなわち、ずらされた入力結合格子を用いることが可能である。このアプローチによると、戻り回折光によって生じるゴースト画像の危険性がなく、各光導体は、良好に定義されたFOVを有する良好に定義された光スペクトルを含むので、特に波長帯域分割に基づいたアプローチと比べて、光導体最適化プロセスが容易かつ簡単になる。
FOVをシステム内の2つの光経路に分割することは、ビームスプリッタおよび照明光学系などの光学部品がより小さくなり得るため、フルFOVプロジェクタと比べてプロジェクタのサイズを低減することも可能にする。
また、LCOSベースのマルチ瞳プロジェクタは、入射照明の両方の偏光状態が用いられるように設計され得るので、単一の偏光状態のみで動作する従来のプロジェクタと比べてエネルギ効率が高くなる。
従属請求項は、本発明の選択された実施形態に関する。
光導体素子に関して、いくつかの実施形態において、光導体手段は、互いに積み重ねられた少なくとも2つの光導体を備える。各入力結合格子および関連する出力結合格子は、それぞれ導波管の1つに配置されるので、光は、導波管の内部全反射を介してその間を伝搬し得る。一般に、平面または略平面導波管が用いられる。
いくつかの実施形態において、素子の射出瞳を拡大するために、それぞれ入力結合格子および出力結合格子に関連付けられた少なくとも2つの射出瞳拡大器(EPE)格子が提供される。EPE格子は、入力結合格子と出力結合格子との間に光学的に配置され、それによってそれらの位置、形状、および配向を含む格子線構成は、射出瞳拡大を実行するために適している。いくつかの実施形態において、EPEは、いくつかの入力結合格子のみに提供される。
いくつかの実施形態において、入力結合格子および射出瞳拡大器格子は、第1の射出瞳拡大器に関連付けられた第1の入力結合格子が、第2の入力結合格子に関連付けられた第2の射出瞳拡大器と重なり合うように配置される。したがって、入力結合格子の1つから出るために光導体スタックの片面のみからアクセスする場合、光は、他の入力結合格子に関連付けられたEPE格子を通過しなければならない。他の入力結合格子は、直接アクセス可能である。
いくつかの実施形態において、素子は、第1の入力結合格子および関連する射出瞳拡大器格子のペアと、光導体手段上で少なくとも1つの対称軸に沿って第1のペアに対して基本的に鏡対称に位置する、第2の入力結合格子および関連する射出瞳拡大器格子のペアとを備える。一般に、このペアは異なる光導体において製造され、その後、対称条件が満たされるように積み重ねられる。
いくつかの実施形態において、異なる入力結合格子および出力結合格子に関連付けられた射出瞳拡大器格子は、基本的に互いに位置合わせされる。この変形例において、入力結合格子は、それらが横方向にずらされてなおEPEと光学的に結合されるように、それぞれのEPE格子から異なる距離に配置され得る。
いくつかの実施形態において、素子は、入力結合格子に提示された画像セグメントのいずれかの視野よりも大きな視野を有する画像を出力結合手段に再生するように適合される。したがって素子は、FOV拡大器として作用する。
いくつかの実施形態において、出力結合格子は、水平方向に配向された格子線を備える。一方、それらは、垂直方向に配置されてもよく、それによっていくつかの不所望の光学効果が回避され得る。両方の構成が、本明細書において後に例示される。
プロジェクタに関して、いくつかの実施形態において、プロジェクタは、上記異なる画像セグメントを生成するために異なる領域が用いられる単一のディスプレイパネルを備える。すなわち、各個別のセグメントに関して個別のパネルは必要とされない(が、個別のパネルが用いられてもよい)。この場合、プロジェクタは、画像セグメントが、ディスプレイパネルの少なくとも1つの横寸法において横方向にシフトされた構成にあるようにディスプレイパネルに画像を生成するように適合され、セグメントは任意選択的に、プロジェクタ光学系および/またはマルチ瞳光導体素子においてセグメント間のクロストークを防ぐために黒色分離帯によって分離される。各セグメントに関する撮像光学系の光軸もまた、好適には、黒色分離帯が光学平面のフリンジ領域に留まるように横方向にシフトされる。
いくつかの実施形態において、プロジェクタは、異なる画像セグメントを生成するために用いられる複数のディスプレイパネルを備える。この実施形態は特に、異なる画像セグメントの入力結合格子が互いに離れた位置にある光導体素子構成に適している。
いくつかの実施形態において、異なる偏光が異なる射出瞳に供給される。プロジェクタ構成および関与するディスプレイ技術に依存して、偏光は、光源とディスプレイパネルとの間、および/またはディスプレイパネルと射出瞳との間で、光源レベルで実行され得る。
いくつかの実施形態において、プロジェクタの表示素子は、液晶オンシリコン(LCOS)ディスプレイパネルなどと、上記少なくとも2つの異なる画像セグメントを投影するために2つの異なる偏光状態の光を用いるために連続的に配置された少なくとも2つの偏光ビームスプリッタを備える照明システムとを備える。たとえば表示素子は、直角を成す偏光配向を有する、たとえばビームスプリッタキューブまたは板などの2つの連続的なビームスプリッタを備えてよい。あるいは光学系は、同じ偏光配向を有する、たとえばビームスプリッタキューブまたは板などの2つの連続的なビームスプリッタと、ビームスプリッタの間に光学的に配置された半波長波長板とを備えてよい。
動作中、プロジェクタによって生成され、光導体素子へ向けられた様々な画像セグメントは、全体画像の様々な視野をもたらす。典型的な構成において、異なる画像セグメントは、それぞれ入力結合格子および出力結合格子を備える互いに積み重ねられた異なる光導体層へ導かれる。スタックによって形成された全体FOVは、セグメントによってもたらされた部分的FOVのいずれかよりも大きく構成される。
次に、本発明の実施形態およびその利点が、添付図面を参照してより詳しく論じられている。
本発明に係る光導体素子とともに用いるために適したプロジェクタの光学配置を断面図で例解する。 それぞれ、プロジェクタのディスプレイパネルにおける従来の中央にある画像配置および横方向にシフトした画像配置を例解する。 それぞれ、プロジェクタのディスプレイパネルにおける従来の中央にある画像配置および横方向にシフトした画像配置を例解する。 LCOS表示素子に画像を表示するために光の両方の偏光状態を用いるための2つの異なる実施形態を断面図で示す。 LCOS表示素子に画像を表示するために光の両方の偏光状態を用いるための2つの異なる実施形態を断面図で示す。 光導体スタックの光導体層に入力結合格子、射出瞳拡大器格子、および出力結合格子を配置するための1つの実施形態を示す。 光導体スタックの光導体層に入力結合格子、射出瞳拡大器格子、および出力結合格子を配置するための1つの実施形態を示す。 光導体スタックの光導体層に入力結合格子、射出瞳拡大器格子、および出力結合格子を配置するための他の実施形態を示す。 光導体スタックの光導体層に入力結合格子、射出瞳拡大器格子、および出力結合格子を配置するための他の実施形態を示す。 光導体スタックの光導体層に入力結合格子、射出瞳拡大器格子、および出力結合格子を配置するためのまた他の実施形態を示す。 光導体スタックの光導体層に入力結合格子、射出瞳拡大器格子、および出力結合格子を配置するためのまた他の実施形態を示す。
定義
格子が「重なり合う」ことは、光導体手段において格子の少なくとも一部が互いに横方向に位置合わせされることを意味する。重なり合う格子は、全体的に位置合わせされ、すなわち、同じ形状を有して同じ場所に位置してもよい。
格子が互いに「ずらされる」ことは、少なくともそれらの画像セグメントが投影される部分において重なり合わないことを意味する。
「マルチ瞳プロジェクタ」は、回折入力結合格子に適したコリメート光線において、複数の画像セグメントを複数の射出瞳に提示することができる画像ソースを意味する。
同様に、「マルチ瞳光導体素子」は、そのような光線を、画像の再結合および目視のために出力結合格子へ導くための光導体手段に画像セグメントを結合するために受け取ることができる、複数の入力結合格子を有する素子である。
「光導体手段」は特に、様々な画像セグメントを入力結合し、導き、出力結合するように適合された回折光導体のスタックを指す。
「パーソナルディスプレイ」という用語は特に、NEDおよび他の種類のHMD、およびHUD(ヘッドアップデバイス)を指す。
選択された実施形態の説明
以下の説明において、マルチ瞳回折表示素子およびそれに関するマルチ瞳プロジェクタの選択された実施形態が説明される。これらの構成要素は、機能的光導体ベースの回折NEDを形成するために用いられ得る。説明される実施形態は、プロジェクタのFOVが、各瞳がFOV全体の一部を含むようにどのように多数の部分に分割され得るか、および射出瞳が空間的に重なり合う光導体によってFOVパーツを結合することによってフルFOVを有する機能的NEDがどのように得られるかを例示するものである。
この説明は、重なり合う出力結合格子を用いて画像再結合が実行される実装に着目する。ただし、たとえば単一の出力結合格子および入力結合格子と出力結合格子との間の光コンバイナを用いるなど、他の方法で再結合が実行される解決策が除外されるわけではない。
プロジェクタ
一般に、プロジェクタは、1つ以上の表示素子、少なくとも2つの射出瞳、およびディスプレイパネルに表示された様々な画像セグメントを様々な射出瞳へ導くための投影光学系を備える。マルチ瞳プロジェクタにおいて、画像提示部は、様々な画像セグメントに関するいくつかの部分に分割される。各表示部は、自身の投影光学系ユニットおよび射出瞳を有する。射出瞳は、コリメート光で満たされる。
表示素子(複数も可)は、たとえば液晶ディスプレイ(LCD)パネル(複数も可)、液晶オンシリコン(LCOS)パネル(複数も可)、または有機発光ダイオード(OLED)パネル(複数も可)を備えてよく、またデジタル光処理(DLP)デバイスまたはデジタルマイクロミラーデバイス(DMD)が用いられてもよい。これらは全て、「マイクロディスプレイ」と称される。
表示される画像は、単一のマイクロディスプレイパネルまたは2つ以上の個別のマイクロディスプレイパネルのいずれかに提示される。単一パネルが用いられる場合、様々な画像セグメントがパネルの様々な部分に表示され、そこから、それらは適当な光学系を有するプロジェクタの様々な射出瞳へ導かれる。複数のパネルが用いられる場合、様々なセグメントが様々なパネルに表示され、適当な光学系を有するプロジェクタの様々な射出瞳へ導かれる。個別のパネルを用いることで、射出瞳間の距離は、単一パネルの場合よりも自由に変えられ得る。一方、単一ディスプレイを用いる利点の1つは、振動に対し過敏ではなく、コスト効率が高いことである。
図1は、2つの射出瞳14A、14Bを有するマルチ瞳プロジェクタの例を示す。プロジェクタは、たとえば液晶オンシリコン(LCOS)マイクロディスプレイなどのマイクロディスプレイ11、2つの偏光ビームスプリッタ12A、12B、および照明光学系ユニット13A、13Bを含む。
一般に、偏光ビームスプリッタとして用いられ得るビームスプリッタキューブは、ディスプレイ幅と同じ高さを有する。1つではなく2つのキューブが用いられる場合、キューブに求められる体積は著しく低減される。
単一瞳プロジェクタにおいて、光軸26は、LCOSディスプレイの中心点を中心とする。これは図2Aに例解されている。デュアル瞳プロジェクタが単一のLCOSとともに実装される場合、たとえば、図2Bに示すように、2つのディスプレイセグメント27A、27Bの間にブラックストライプ28を有することが好ましい。これにより、撮像光学系ユニット間のクロストークが防がれる。プロジェクタから出る最終画像におけるブラックストライプを回避するために、撮像光学系ユニット28A、28Bの光軸は、図2Bに示すように、ディスプレイの側端部にある必要がある。すると、LCOSディスプレイにおけるブラックストライプは、最終画像の側部領域に寄与し、ブラックストライプがユーザに認識されない。4瞳の解決策が所望される場合、光軸はマイクロディスプレイの角部に移動し、4つのディスプレイセグメントを分離するためにブラックストライプではなくブラッククロスが用いられる。したがって1または2次元におけるパネルでの画像のこの種の横方向シフトは、結果的に生じる画像品質における不所望の副作用を伴わず、単一のマイクロディスプレイパネルを用いることを可能にする。
マルチ瞳プロジェクタの利点の1つは、プロジェクタユニットが入射照明の両方の偏光状態を用いることができる点である。たとえば、LCOSプロジェクタの光エンジンにおいて幅広く用いられる発光ダイオード(LED)は、横方向電気(TE)および横方向磁気(TM)偏光が等しく強いランダム偏光を生成する。
よって、ランダム偏光光源を用いる表示素子技術に特に適したいくつかの実施形態によると、プロジェクタの効率性を高めるために1つ以上の偏光感受素子が用いられる。たとえば、表示素子のディスプレイパネルと光源との間で、様々なワイヤグリッド方位または偏光を90度回転させる偏光状態変換板を用いる偏光ビームスプリッタキューブが用いられ得る。これらの実施形態は、LCOS型ディスプレイに最適である。これらの解決策は、以下で詳しく説明されるが、同じ原理が、他の画像生成技術およびディスプレイ技術にも適用され得る。
ランダム偏光によってLCOSディスプレイを照明するための2つの可能なシナリオが図3および4に例解されている。
図3において、プロジェクタは、2つの偏光ビームスプリッタキューブ32A、32Bを含み、それらのワイヤグリッド33A、33Bは、互いに対して90度の方位差を有する。ワイヤグリッドにおけるワイヤの方向は、
Figure 0007195496000001
によって示される。入射光34が第1のワイヤグリッド33Aに当たると、入射光のTE偏光部35は、LCOSディスプレイ31に向かって反射する。TM偏光部36は、続けて第2のワイヤグリッド33Bへ向かい、そこからLCOSディスプレイ31に向かって反射する。
図4において、プロジェクタは、2つの同一の偏光ビームスプリッタキューブ42A、42Bを含む。入射光44が第1のワイヤグリッド偏光子43Aに当たると、TE部45はLCOSディスプレイ41に向かって反射する。TM部46は、続けてTM偏光46をTE偏光48に変換するλ\2波長板47へ向かう。次に光線は、ワイヤグリッド偏光子43BからLCOSディスプレイ41に向かって反射する。
偏光ビームスプリッタキューブの代わりに、図3および4の構成において、偏光ビームスプリッタ板も用いられてよい。
光導体素子
図5Aおよび5Bは、互いに積み重ねられるとデュアル瞳プロジェクタとともに用いられ得る2つの光導体51、55をそれぞれ例解する。光導体51、55は、入力結合格子52、56、射出瞳拡大格子53、57、および出力結合格子54、58を含む。
光導体51、55が積み重ねられた場合、x方向における入力結合器52、56の間の距離は、プロジェクタが単一のディスプレイを有して実装され得る程度に小さい。プロジェクタにより近い第1の光導体の入力結合器52は、プロジェクタと入力結合器52との間に任意の障害物を伴わず直接照明されるが、第2の光導体の入力結合器56は、第1の光導体51の射出瞳拡大格子53を通って照射される。これにより、射出瞳拡大器53は、一部の光を第1の光導体51に結合し得るが、この光は、出力結合格子54によって出力結合されることはないので、ユーザには目視できない。これは単に、第2の光導体55に結合される光エネルギの量を低減するだけである。
入力結合格子52、56は、一般に光導体手段の幅(または構成によって高さ)に沿って横方向中央に、互いに隣接して位置する。それらの距離は、たとえば出力結合格子の幅の50%未満、たとえば15mm以下、たとえば10mm以下などであってよい。本明細書において「横方向中央」は、2つの平行な直線で等しい幅の3つの部分に分割された場合の素子の中央3分の1に収まることを意味する。
図6Aおよび6Bは、それぞれ光導体61、65の入力結合器62、66がx方向において互いに非常に遠く離れている変形例を例解する。光導体は、射出瞳拡大格子63、67および出力結合格子64、68も含む。
入力結合格子62、66が互いに相対的に互いに遠く離れている場合、この実施形態を、それぞれの画像セグメントに関して個別のマイクロディスプレイを用いるプロジェクタと組み合わせて用いることが好ましい。本明細書において「互いに遠く離れている」は、入力結合格子が、出力結合格子の対応する寸法の50%より大きい、特に100%より大きい距離だけ横方向に離れていることを意味する。実際、この距離はたとえば15~50mmであってよく、それによって格子は、光導体手段の対向する角部の近傍に位置してよい。
入力結合格子62、66の間の距離は、たとえば出力結合格子の幅の50%より大きく、たとえば15mmより大きく、たとえば20mm以上であってよい。この距離は、図6A/6Bの例における場合と同様、出力結合格子の幅よりも大きくてよい。
図5A、5B/6A、6Bの実施形態に共通することは、射出瞳拡大格子53、56/63、67が互いに重なり合うように入力結合格子から反対方向へ伸長し、出力結合格子54、58/64、68が、入力結合格子52、56/62、66および射出瞳拡大格子53、57/63、67に関して、回折光波がそれらに当たり、それらが入力結合格子54、58/64、68を標的とした部分的FOVに基づいてフルFOVをともに形成するように配置される点である。
図5A/5Bおよび6A/6Bのこの構成は、光導体屈折率が2.0でありディスプレイの動作波長帯域が460~630nmである場合、16:9のアスペクト比を有する55度の全体FOVを可能にする。
図7において、光導体71、75の入力結合器72、76は、光導体と同じ角領域(ここでは左上角部)に位置するが、互いにずらされる。この構成は特に、プロジェクタがたとえばスマートアイウェアのつるに設けられる必要がある場合、好ましい。本明細書において「角領域」は、直角を成す2本の直線で分割した場合の素子の4分の1を意味する。
また、例解されている例でのような出力結合器74、78の格子線が垂直である場合、格子線が水平である場合に起こり得ることに反して、出力結合格子は、周囲光による強力かつ不必要なレインボーパターンを一切生成しない。射出瞳拡大格子73、77は、入力結合器および出力結合器によって生じる光線路がどのように設計されたかに依存して、様々な形状を有してよい。
入力結合器の角配置は、図5A、5B/6A、6Bと同様に水平出力結合格子線の場合にも実装され得る。
格子が製造される光導体層は、好適には光透過性である。これらは、ガラスまたはポリマで製作され得る。本明細書において透過性は、50%より高い、特に95%より高い透過率を意味する。各層における格子は、層の同じ面または異なる面に製造され得る。スタック内に、光学または機械特性への影響を有する1つ以上の中間層またはコーティングがあってもよい。
本明細書において説明される格子の期間は、一般に10μm以下、特に1μm以下、たとえば200~800nmである。
パーソナルディスプレイ
上記種類の1つ以上のプロジェクタおよび1つ以上の光導体素子は、機能的パーソナルディスプレイを提供するために、適当なフレーム、特に装着型フレーム内に配置され得る。具体的には、スマートグラス、拡張現実または仮想現実グラス、または他の何らかの種類のNEDまたはHMDデバイス内に、片目用の1つのプロジェクタおよび1つの光導体素子、または両目に1つずつの2つのプロジェクタおよび光導体素子が配置される。ただし本技術は、NEDおよびHMDのみではなく、たとえばHUDにおいても使用可能である。
上記説明および図面は、2瞳の解決策に着目したが、留意すべき点として、1または2次元におけるディスプレイのFOVを更に拡大するために、瞳の数は、たとえば3つ、4つ、またはそれ以上など、更に多くてもよい。

Claims (21)

  1. 回折パーソナルディスプレイのためのマルチ瞳光導体素子であって、前記素子は、
    光導体手段(51、55、61、65)と、
    回折入力結合手段(52、56、62、66)であって、前記回折入力結合手段(52、56、62、66)に向けられた画像を前記光導体手段に結合するための回折入力結合手段と、
    前記光導体手段外へ前記画像を結合するための回折出力結合手段(54、58、64、68)と、
    を備え、
    前記回折入力結合手段(52、56、62、66)は、前記画像の部分的視野をもたらす画像セグメントを受信するために、前記光導体手段(51、55、61、65)において互いに横方向にずらされた少なくとも2つの入力結合格子を備え、
    前記回折出力結合手段(54、58、64、68)は、前記画像セグメントから前記画像を再生するために、前記少なくとも2つの入力結合格子に光学的に関連付けられ、
    各入力結合格子のための射出瞳拡大器格子(53、57、63、67)であって、前記射出瞳拡大器格子(53、57、63、67)は、前記素子の射出瞳を拡大するために、前記入力結合格子の少なくとも1つおよび前記回折出力結合手段(54、58、64、68)に関連付けられ、それらの間に光学的に配置され、
    前記入力結合格子および前記射出瞳拡大器格子(53、57、63、67)は、第1の射出瞳拡大器格子に関連付けられた第1の入力結合格子が、第2の入力結合格子に関連付けられた第2の射出瞳拡大器格子と重なり合うように配置され、
    前記入力結合格子は、前記射出瞳拡大器格子(53、57、63、67)に対して横方向にずらされ、
    前記素子は、第1の入力結合格子および関連する射出瞳拡大器格子の第1のペアと、前記第1のペアに対して前記光導体手段(51、55、61、65)上で少なくとも1つの対称軸に沿って鏡対称に位置する、第2の入力結合格子および関連する射出瞳拡大器格子の第2のペアとを備える、素子。
  2. 前記回折出力結合手段(54、58、64、68)は、前記光導体手段(51、55、61、65)において互いに横方向に重なり合う少なくとも2つの出力結合格子を備え、前記少なくとも2つの出力結合格子は、前記画像セグメントから前記画像を再生するために、前記少なくとも2つの入力結合格子にそれぞれ光学的に関連付けられる、請求項1に記載の素子。
  3. 前記光導体手段(51、55、61、65)は、互いに積み重ねられた少なくとも2つの光導体を備え、前記入力結合格子および前記回折出力結合手段(54、58、64、68)は、それぞれ前記少なくとも2つの導波管上に配置される、請求項1または2に記載の素子。
  4. 前記入力結合格子および前記出力結合格子に関連付けられた射出瞳拡大器格子(53、57、63、67)は、重なり合っている、すなわち互いに横方向に位置合わせされるか、または、全体に位置合わせされる、すなわち同じ形状を有しかつ同じ場所に位置する、請求項1~3のいずれか一項に記載の素子。
  5. 前記素子は、前記画像セグメントのいずれかの視野よりも大きい視野を有する画像を前記回折出力結合手段(54、58、64、68)において再生するように適合される、請求項1~4のいずれか一項に記載の素子。
  6. 前記少なくとも2つの入力結合格子は、
    前記出力結合格子の対応する寸法の50%以下である距離だけ横方向に離され、かつ前記寸法に沿って横方向中央に、または前記光導体手段(51、55、61、65)の角領域内に位置するか、または、
    前記出力結合格子の対応する寸法の50%より大きい距離だけ離され、かつ前記寸法に沿って前記光導体手段(51、55、61、65)の対向する角部の近傍に位置する、
    請求項1~5のいずれか一項に記載の素子。
  7. パーソナルディスプレイデバイスであって、前記デバイスは、
    前記回折出力結合手段(54、58、64、68)において裸眼で目視可能な画像を生成するための、請求項1~6のいずれか一項に記載の素子と、
    前記少なくとも2つの入力結合格子に前記画像の少なくとも2つの異なる画像セグメントを投影することができるマルチ瞳プロジェクタと、
    を備える、デバイス。
  8. 前記プロジェクタは、前記異なる画像セグメントを生成するために異なる領域が用いられるディスプレイパネルを備える、請求項7に記載のデバイス。
  9. 前記プロジェクタは、前記画像セグメントが、前記ディスプレイパネルの少なくとも1つの横寸法において横方向にシフトされた構成にあるように前記ディスプレイパネルに前記画像を生成するように適合され、前記セグメントは、前記プロジェクタまたは前記素子における前記セグメント間のクロストークを防ぐために黒色分離帯によって分離される、請求項7または8に記載のデバイス。
  10. 前記プロジェクタは、前記異なる画像セグメントを生成するために用いられる複数のディスプレイパネルを備える、請求項7~9のいずれか一項に記載のデバイス。
  11. 前記出力結合格子は、水平方向または垂直方向に配向された格子線を備える、請求項7~10のいずれか一項に記載のデバイス。
  12. 回折パーソナルディスプレイのためのマルチ瞳プロジェクタであって、前記マルチ瞳プロジェクタは、請求項1~6のいずれか一項に記載の素子に入力を提供するように構成され、前記マルチ瞳プロジェクタは、
    画像を表示するための少なくとも1つの表示素子と、
    少なくとも2つの射出瞳と、
    前記画像の少なくとも2つの異なるセグメントを前記少なくとも2つの射出瞳にそれぞれ投影するための光学手段と、
    を備え、
    前記表示素子は、無偏光光源と、前記画像セグメントを前記射出瞳に投影するために前記光源の2つの異なる偏光状態を用いるための手段とを備える、マルチ瞳プロジェクタ。
  13. 前記表示素子は、液晶オンシリコン(LCOS)ディスプレイパネルと、前記少なくとも2つの異なる画像セグメントを投影するために2つの異なる偏光状態の光を用いるために連続的に配置された少なくとも2つの偏光ビームスプリッタを備える照明システムとを備える、請求項12に記載のマルチ瞳プロジェクタ。
  14. 前記光学手段は、直角を成す偏光配向を有する2つの連続的なビームスプリッタを備える、請求項12または13に記載のマルチ瞳プロジェクタ。
  15. 前記光学手段は、同じ偏光配向を有する2つの連続的なビームスプリッタと、前記ビームスプリッタの間に光学的に配置された半波長波長板とを備える、請求項12または13に記載のマルチ瞳プロジェクタ。
  16. 前記プロジェクタは、請求項12~15のいずれか一項に記載のマルチ瞳プロジェクタである、請求項7~11のいずれか一項に記載のデバイス。
  17. パーソナルディスプレイデバイスに画像を表示するための方法であって、前記方法は、
    光導体手段(51、55、61、65)において互いに横方向にずらされた少なくとも2つの回折入力結合格子に、全体画像の少なくとも2つの異なる部分的視野画像セグメントを投影することであって、前記回折入力結合格子は、前記画像セグメントを前記光導体手段(51、55、61、65)に結合することと、
    前記画像セグメントから前記全体画像を再生するために、前記画像セグメントを少なくとも1つの回折出力結合格子へ導くことと、
    を備え、
    前記画像セグメントは、射出瞳拡大器格子(53、57、63、67)を介して前記少なくとも1つの回折出力結合格子へ導かれ、前記射出瞳拡大器格子(53、57、63、67)は、前記素子の前記射出瞳を拡大するために、前記回折入力結合格子の少なくとも1つおよび前記少なくとも1つの回折出力結合格子に関連付けられ、それらの間に光学的に配置され、
    前記回折入力結合格子および前記射出瞳拡大器格子(53、57、63、67)は、第1の射出瞳拡大器格子に関連付けられた第1の回折入力結合格子が、第2の回折入力結合格子に関連付けられた第2の射出瞳拡大器格子と横方向に重なり合うように配置され、
    前記回折入力結合格子は、前記射出瞳拡大器格子(53、57、63、67)に対して横方向にずらされ、
    前記素子は、第1の回折入力結合格子および関連する射出瞳拡大器格子の第1のペアと、前記第1のペアに対して前記光導体手段(51、55、61、65)上で少なくとも1つの対称軸に沿って鏡対称に位置する、第2の回折入力結合格子および関連する射出瞳拡大器格子の第2のペアとを備える、方法。
  18. 前記画像セグメントは、前記画像セグメントから前記全体画像を再生するために、前記光導体手段(51、55、61、65)において互いに横方向に重なり合う少なくとも2つの出力結合格子へ導かれる、請求項17に記載の方法。
  19. 前記異なる画像セグメントは、前記全体画像の異なる視野をもたらす、請求項17または18に記載の方法。
  20. 前記異なる画像セグメントは、互いに積み重ねられた異なる光導体層へ導かれ、各光導体層は、入力結合格子、および前記入力結合格子に光学的に関連付けられた出力結合格子、および前記入力結合格子(52、56)と関連する出力結合格子との間に光学的に配置された射出瞳拡大器格子(53、57、63、67)を備える、請求項17~19のいずれか一項に記載の方法。
  21. 請求項1~6のいずれか一項に記載の素子または請求項7~11および16のいずれか一項に記載のデバイスが用いられる、請求項17~20のいずれか一項に記載の方法。
JP2019561956A 2017-05-08 2018-05-08 回折ディスプレイ、光導体素子およびそのためのプロジェクタ、および画像を表示するための方法 Active JP7195496B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20175413 2017-05-08
FI20175413A FI129873B (en) 2017-05-08 2017-05-08 Diffractive display, light guide element and projector, and method of displaying image
PCT/FI2018/050341 WO2018206848A1 (en) 2017-05-08 2018-05-08 Diffractive display, lightguide element and projector therefor, and method for displaying image

Publications (2)

Publication Number Publication Date
JP2020519955A JP2020519955A (ja) 2020-07-02
JP7195496B2 true JP7195496B2 (ja) 2022-12-26

Family

ID=64104454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561956A Active JP7195496B2 (ja) 2017-05-08 2018-05-08 回折ディスプレイ、光導体素子およびそのためのプロジェクタ、および画像を表示するための方法

Country Status (6)

Country Link
US (1) US11391943B2 (ja)
EP (1) EP3622334A4 (ja)
JP (1) JP7195496B2 (ja)
CN (1) CN110603467B (ja)
FI (1) FI129873B (ja)
WO (1) WO2018206848A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
FI128573B (en) * 2018-03-28 2020-08-14 Dispelix Oy Waveguide display element
KR20230096149A (ko) * 2019-01-24 2023-06-29 루머스 리미티드 2차원 확장이 가능한 도광 광학 소자를 포함하는 광학 시스템
AU2021279462B2 (en) 2020-05-24 2023-06-08 Lumus Ltd. Method of fabrication of compound light-guide optical elements
DE202021104723U1 (de) 2020-09-11 2021-10-18 Lumus Ltd. An ein optisches Lichtleiterelement gekoppelter Bildprojektor
WO2022180634A1 (en) 2021-02-25 2022-09-01 Lumus Ltd. Optical aperture multipliers having a rectangular waveguide
CN113219671A (zh) * 2021-05-25 2021-08-06 深圳市光舟半导体技术有限公司 光学装置和显示设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207823A1 (en) 2003-04-16 2004-10-21 Alasaarela Mikko Petteri 2D/3D data projector
JP2010224479A (ja) 2009-03-25 2010-10-07 Olympus Corp 頭部装着型画像表示装置
JP2012003232A (ja) 2010-06-15 2012-01-05 Fraunhofer Ges Zur Foerderung Der Angewandten Forschung Ev 投射型ディスプレイおよび全体像を表示する方法
US20130314789A1 (en) 2010-03-04 2013-11-28 Nokia Corporation Optical Apparatus and Method for Expanding an Exit Pupil
US20140218801A1 (en) 2011-08-17 2014-08-07 Bae Systems Plc Projection display
CN104350411A (zh) 2012-06-12 2015-02-11 微软公司 宽视场虚拟图像投影仪
US20160231478A1 (en) 2015-02-09 2016-08-11 Pasi KOSTAMO Display System
US20160327789A1 (en) 2013-11-27 2016-11-10 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
WO2017151467A1 (en) 2016-02-29 2017-09-08 Magic Leap, Inc. Virtual and augmented reality systems and methods

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1639394A2 (en) 2003-06-10 2006-03-29 Elop Electro-Optics Industries Ltd. Method and system for displaying an informative image against a background image
WO2008081070A1 (en) 2006-12-28 2008-07-10 Nokia Corporation Device for expanding an exit pupil in two dimensions
US8508848B2 (en) * 2007-12-18 2013-08-13 Nokia Corporation Exit pupil expanders with wide field-of-view
US7613373B1 (en) 2008-07-03 2009-11-03 Microvision, Inc. Substrate guided relay with homogenizing input relay
ES2717200T3 (es) 2008-12-12 2019-06-19 Bae Systems Plc Mejoras en las guías de ondas o relacionadas con estas
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
WO2014091200A1 (en) 2012-12-10 2014-06-19 Bae Systems Plc Display comprising an optical waveguide and switchable diffraction gratings and method of producing the same
US9244281B1 (en) * 2013-09-26 2016-01-26 Rockwell Collins, Inc. Display system and method using a detached combiner
JP2017022942A (ja) 2015-07-14 2017-01-26 キヤノン株式会社 振動型アクチュエータの制御装置とその制御方法、駆動装置、撮像装置、及び自動ステージ
US10007117B2 (en) * 2015-09-10 2018-06-26 Vuzix Corporation Imaging light guide with reflective turning array
US9885870B2 (en) 2016-04-25 2018-02-06 Microsoft Technology Licensing, Llc Diffractive optical elements with analog modulations and switching

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207823A1 (en) 2003-04-16 2004-10-21 Alasaarela Mikko Petteri 2D/3D data projector
JP2010224479A (ja) 2009-03-25 2010-10-07 Olympus Corp 頭部装着型画像表示装置
US20130314789A1 (en) 2010-03-04 2013-11-28 Nokia Corporation Optical Apparatus and Method for Expanding an Exit Pupil
JP2012003232A (ja) 2010-06-15 2012-01-05 Fraunhofer Ges Zur Foerderung Der Angewandten Forschung Ev 投射型ディスプレイおよび全体像を表示する方法
US20140218801A1 (en) 2011-08-17 2014-08-07 Bae Systems Plc Projection display
CN104350411A (zh) 2012-06-12 2015-02-11 微软公司 宽视场虚拟图像投影仪
US20160327789A1 (en) 2013-11-27 2016-11-10 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US20160231478A1 (en) 2015-02-09 2016-08-11 Pasi KOSTAMO Display System
WO2017151467A1 (en) 2016-02-29 2017-09-08 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2019508743A (ja) 2016-02-29 2019-03-28 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想および拡張現実システムおよび方法

Also Published As

Publication number Publication date
CN110603467A (zh) 2019-12-20
EP3622334A1 (en) 2020-03-18
FI20175413A (fi) 2018-11-09
CN110603467B (zh) 2022-04-05
US11391943B2 (en) 2022-07-19
US20200081246A1 (en) 2020-03-12
JP2020519955A (ja) 2020-07-02
EP3622334A4 (en) 2020-12-30
FI129873B (en) 2022-10-14
WO2018206848A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
JP7195496B2 (ja) 回折ディスプレイ、光導体素子およびそのためのプロジェクタ、および画像を表示するための方法
US20210231947A1 (en) Projector architecture incorporating artifact mitigation
CN108700712B (zh) 虚拟和增强现实系统及方法
JP2022160457A (ja) ウェアラブルディスプレイのための照明装置
KR20160008951A (ko) 홀로그래픽 시-쓰루 광학 장치, 이를 포함한 스테레오스코픽이미징 시스템, 및 멀티미디어 헤드 장착 시스템
JP7390378B2 (ja) 拡張現実デバイスにおける高効率接眼レンズのための方法およびシステム
US20230176382A1 (en) Waveguide display with cross-polarized eye pupil expanders
US20200081255A1 (en) Light guide with polarization separator for dual images
US11686938B2 (en) Augmented reality device for providing 3D augmented reality and operating method of the same
CN210720886U (zh) 用于增强现实显示的装置和系统
JP2024503684A (ja) 複合インカップリング回折光学素子を有する画像光ガイド
US11994680B2 (en) Methods and systems for high efficiency eyepiece in augmented reality devices
WO2023122300A1 (en) Multi-input image light guide system
TW202246823A (zh) 具有穿透式耦合器中光柵的波導組合件
TW202305427A (zh) 具有平板波導部分的波導照明器
EP4352409A1 (en) An optical waveguide arrangement with improved capacity
CN112817150A (zh) 用于增强现实显示的装置和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221007

R150 Certificate of patent or registration of utility model

Ref document number: 7195496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150