JP6478950B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP6478950B2
JP6478950B2 JP2016149082A JP2016149082A JP6478950B2 JP 6478950 B2 JP6478950 B2 JP 6478950B2 JP 2016149082 A JP2016149082 A JP 2016149082A JP 2016149082 A JP2016149082 A JP 2016149082A JP 6478950 B2 JP6478950 B2 JP 6478950B2
Authority
JP
Japan
Prior art keywords
eye
exit pupil
optical system
image
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016149082A
Other languages
English (en)
Other versions
JP2018017941A (ja
Inventor
和隆 猪口
和隆 猪口
森島 英樹
英樹 森島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016149082A priority Critical patent/JP6478950B2/ja
Publication of JP2018017941A publication Critical patent/JP2018017941A/ja
Application granted granted Critical
Publication of JP6478950B2 publication Critical patent/JP6478950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、原画からの光を観察者の眼に導くことで観察者に観察画像を提示するヘッドマウントディスプレイ(HMD)等の画像表示装置に関する。
観察者の頭部に装着され、その観察者の左右の眼に観察画像を提示するHMDの多くは、右眼用原画と左眼用原画を左右のLCD等の表示素子に表示し、右眼用原画と左眼用原画からの光(虚像)をそれぞれ右眼用光学系と左眼用光学系を介して左右の眼に導く。
また、HMDには、左右の眼のそれぞれに対して複数ずつ設けた表示素子にそれぞれ異なる画角(視野)に対応する原画を表示させ、これら原画からの光を同じ眼に導くことで、異なる画角の像が合成された合成像を観察画像として提示するものがある。このような観察画像の提示方式をタイリング方式といい、特許文献1には、複数の表示素子とこれら表示素子に対応する複数のレンズとが観察者の片眼を中心に放射状に配置されたタイリング方式の単眼用HMDが開示されている。さらに、タイリング方式の単眼用HMDとして、複数の偏心反射面を用いて原画から射出瞳までの光路を折り畳むことで広画角化や小型化を図ったものが特許文献2に開示されている。
米国特許公開2011−0241976号公報 特開2013−050487号公報
しかしながら、特許文献1,2に開示されたタイリング方式でなくても、左右の眼に対して表示素子と光学系を別々に設ける両眼用HMDでは、これらの光学系や表示素子が互いに干渉しないようにするため、左右の眼に対する内側(鼻側)の画角が制限を受ける。光学系の干渉が問題となる場合、左右の眼の間隔(眼間距離)をWとし、各眼から対応する光学系の最終面(眼に最も近い光学面)までの距離をDとし、各眼に対する内側の画角の最大値をθとすると、右眼用光学系と左眼用光学系とが互いに干渉しない条件は、
D・tanθ<W/2
となる。つまり、内側の画角θはθ=atan(W/2/D)を超えることができない。
また、特許文献1のように表示素子を放射状に配置する場合は、左眼用と右眼用の表示素子同士の干渉が問題となるため、さらにθの条件が狭まり、内側の画角θは、
θ=atan((W/2−α)/D)
を超えることができない。
眼間距離Wは固定であるため、内側の画角を大きくするために距離(アイリリーフ)Dを小さくすることも考えられる。しかし、距離Dを小さくすると、眼鏡を使用する観察者が眼鏡を付けたままHMDを装着することが難しい。
本発明は、必要なアイリリーフを確保しながらも左右の眼に対する内側の画角を広くする、つまりは各眼に広画角の画像を提示することができるようにした画像表示装置を提供する。
本発明の一側面としての画像表示装置は、左眼用画角のうち最も左側の画角用の第1の左眼用原画、右眼用画角のうち最も右側の画角用の第1の右眼用原画、左眼用画角のうち最も右側の画角用の第2の左眼用原画および右眼用画角のうち最も左側の画角用の第2の右眼用原画をそれぞれ異なる表示領域に表示する画像表示ユニットと、第1の左眼用原画からの第1の左眼画像光を左射出瞳に導く第1の光学系と、第1の右眼用原画からの第1の右眼画像光を右射出瞳に導く第2の光学系と、第2の左眼用原画からの第2の左眼画像光を、第1の光学系により第1の左眼画像光が左射出瞳に導かれる際に通過する領域よりも右射出瞳側の領域を通過させて左射出瞳に導く第3の光学系と、第2の右眼用原画からの第2の右眼画像光を、第2の光学系により第1の右眼画像光が右射出瞳に導かれる際に通過する領域よりも左射出瞳側の領域を通過させて右射出瞳に導く第4の光学系とを有する。画像表示ユニットは、左射出瞳と右射出瞳との間の中心よりも左射出瞳側にある表示領域に第1の左眼用原画および第2の右眼用原画を表示し、上記中心よりも右射出瞳側にある表示領域に第1の右眼用原画および第2の左眼用原画を表示する。第1の光学系は、第1の左眼画像光の光路を第1および第2の右眼用画像光の光路と交差させずに第1の左眼画像光を前記左射出瞳に導き、第2の光学系は、第1の右眼画像光の光路を第1および第2の左眼用画像光の光路と交差させずに第1の右眼画像光を前記右射出瞳に導き、第3の光学系および第4の光学系はそれぞれ、第2の左眼画像光と第2の右眼画像光の光路を互いに交差させて該第2の左眼画像光と該第2の右眼画像光を左射出瞳および右射出瞳に導くことを特徴とする。
また、本発明の他の一側面としての画像表示装置は、第1の左眼用原画、第1の右眼用原画、第2の左眼用原画および第2の右眼用原画をそれぞれ異なる表示領域に表示する画像表示ユニットと、第1の左眼用原画からの第1の左眼画像光を左射出瞳に導く第1の光学系と、第1の右眼用原画からの第1の右眼画像光を右射出瞳に導く第2の光学系と、第2の左眼用原画からの第2の左眼画像光を、第1の光学系により第1の左眼画像光が左射出瞳に導かれる際に通過する領域よりも右射出瞳側の領域を通過させて左射出瞳に導く第3の光学系と、第2の右眼用原画からの第2の右眼画像光を、第2の光学系により第1の右眼画像光が右射出瞳に導かれる際に通過する領域よりも左射出瞳側の領域を通過させて右射出瞳に導く第4の光学系とを有する。画像表示ユニットは、左射出瞳と右射出瞳との間の中心よりも左射出瞳側にある表示領域に第1の左眼用原画および第2の右眼用原画を表示し、上記中心よりも右射出瞳側にある表示領域に第1の右眼用原画および第2の左眼用原画を表示する。第1の光学系および第2の光学系はそれぞれ、第1の左眼画像光と第1の右眼画像光の光路を互いに交差させずに該第1の左眼画像光と該第1の右眼画像光を左射出瞳および右射出瞳に導き、第3の光学系および第4の光学系はそれぞれ、第2の左眼画像光と第2の右眼画像光の光路を互いに交差させて該第2の左眼画像光と該第2の右眼画像光を左射出瞳および右射出瞳に導く。第1、第2、第3および第4の光学系はそれぞれ、その光学系に対応する左または右射出瞳の中心を通る軸を含んで左射出瞳と右射出瞳とが並ぶ左右方向に直交する平面について対称な形状の光学面を有することを特徴とする。
本発明によれば、必要なアイリリーフを確保しつつ左右の眼に対する内側の画角を広げることができ、各眼に広画角の画像を提示することができる画像表示装置を実現することができる。
本発明の実施例1であるHMDの構成を示す模式図。 実施例1における原画と観察画像との関係を説明する図。 実施例1の具体的構成例を示す図。 実施例1の具体的構成例における光学系の同一性を説明する図。 実施例1の変形例の構成を示す模式図。 実施例1の変形例における原画と観察画像との関係を説明する図。 本発明の実施例2であるHMDの構成を示す模式図。 実施例2における原画と観察画像との関係を説明する図。 実施例2の変形例の構成を示す模式図。 実施例2の具体的構成例を示す図。 実施例2の具体的構成例を示す別の図。 実施例2の具体的構成例の変形例であるHMDの構成を示す模式図。
以下、本発明の実施例について図面を参照しながら説明する。
各実施例では、観察者の左右の眼のそれぞれに対して観察画像を提示する画角を複数に分割する。すなわち、右眼に対して提示する観察画像の画角を大きく分けて右外側画角と右内側画角に分割し、左眼に対して提示する観察画像の画角を大きく分けて左外側画角と左内側画角とに分割する。内側とは左右の眼(左右の射出瞳)から見て鼻側であり、外側とはその反対側である。
図1には、本発明の実施例1である画像表示装置としてのヘッドマウントディスプレイ(HMD)の構成を模式的に示している。図1は、観察者の左右の眼(後述する左射出瞳と右射出瞳)が並ぶ方向である左右方向を図の横方向とし、観察者の前後方向を図の縦方向として、HMDを上方から見たときの水平断面での構成を模式的に示している。
1は右外側画角用の原画(以下、第1の右眼用原画という)を表示する第1の右眼用表示素子であり、2は左外側画角用の原画(以下、第1の左眼用原画という)を表示する第1の左眼用表示素子である。本実施例では、第1の右眼用表示素子1は2つの表示素子1−1,1−2により構成され、第1の右眼用原画を該表示素子1−1,1−2に分けて表示する。また、第1の左眼用表示素子2も2つの表示素子2−1,2−2により構成されており、第1の左眼用原画を該表示素子2−1,2−2に分けて表示する。
3は右内側画角用の原画(以下、第2の右眼用原画という)を表示する第2の右眼表示素子であり、4は左内側画角用の原画(以下、第2の左眼用原画という)を表示する第2の左眼表示素子である。
本実施例では、左右方向において、第1の右眼用表示素子1と第1の左眼用表示素子2との間(内側)に第2の右眼用表示素子3と第2の左眼用表示素子4が配置されている。ただし、第1の左眼用表示素子2と第2の右眼用表示素子3とが、観察者の左眼9が配置される左射出瞳S2と観察者の右眼8が配置される右射出瞳S1との間の中心を通る平面(以下、中心面という)14よりも左射出瞳側に配置されている。左射出瞳側を、以下の説明では単に左側ともいう。また、第1の右眼用表示素子1と第2の左眼用表示素子4とが、中心面14よりも右射出瞳側(以下、単に右側ともいう)に配置されている。中心面14は、言い換えれば、左射出瞳S2の中心と右射出瞳S1の中心とを結ぶ線分の中点を通り、該線分に直交する平面である。
上記表示素子1〜4はそれぞれ、液晶表示素子や有機EL表示素子等により構成される。また、表示素子1〜4によって画像表示ユニットが構成される。
6は左眼用光学系であり、第1の左眼用表示素子2−1,2−2に表示された第1の左眼用原画からの光束(以下、第1の左眼画像光という)をそれぞれ左射出瞳S2に導く第1の左眼用光学系(第1の光学系)6−1,6−2を含む。また、左眼用光学系6は、第2の左眼用表示素子4に表示された第2の左眼用原画からの光束(以下、第2の左眼画像光という)を左射出瞳S2に導く第2の左眼用光学系(第3の光学系)6−3を含む。
5は右眼用光学系であり、第1の右眼用表示素子1−1,1−2に表示された第1の右眼用原画からの光束(以下、第1の右眼画像光という)をそれぞれ右射出瞳S1に導く第1の右眼用光学系(第2の光学系)5−1,5−2を含む。また、右眼用光学系5は、第2の右眼用表示素子3に表示された第2の右眼用原画からの光束(以下、第2の右眼画像光という)を右射出瞳S1に導く第2の右眼用光学系(第4の光学系)5−3を含む。
第1の左眼用光学系6−1,6−2および第1の右眼用光学系5−1,5−2はそれぞれ、第1の左眼画像光と第1の右眼画像光とをそれらの光路を互いに交差させずに左射出瞳S2および右射出瞳S1に導く。これにより、左射出瞳S2と右射出瞳S1にはそれぞれ、第1の左眼用原画と第1の右眼用原画に対応する光学像(虚像)が形成される。
一方、第2の左眼用光学系6−3および第2の右眼用光学系5−3はそれぞれ、第2の左眼画像光と第2の右眼画像光とをそれらの光路を互いに交差させて左射出瞳S2および右射出瞳S1に導く。これにより、左射出瞳S2と右射出瞳S1にはそれぞれ、第2の左眼用原画と第2の右眼用原画に対応する光学像(虚像)が形成される。
なお、ここに言う「交差」、とは、実際の光路同士の交差であることが望ましいが、装置(HMD)を上方から(左右の射出瞳の配列方向に垂直で、かつ左右の眼の標準的な視線の方向に垂直な方向から)見たときの交差であればよい。つまり、実際には光路同士は上下方向にずれていて交差していなかったとしても、装置上方から見て互いの光路同士が交差していれば、それは交差しているとみなす。
さらに第2の左眼用光学系6−3は、第2の左眼用原画からの第2の左眼画像光を、第1の左眼用光学系6−1,6−2により第1の左眼画像光が左射出瞳S2に導かれる際に通過する領域よりも内側(右側)の領域を通過させて左射出瞳S2に導く。また、第2の右眼用光学系5−3は、第2の右眼用原画からの第2の右眼画像光を、第1の右眼用光学系5−1,5−2により第1の右眼画像光が右射出瞳S1に導かれる際に通過する領域よりも内側(左側)の領域を通過させて右射出瞳S1に導く。これにより、左射出瞳S2には第1および第2の左眼用原画のそれぞれに対応する光学像が繋ぎ合わさった観察画像が形成され、右射出瞳S1には第1および第2の右眼用原画のそれぞれに対応する光学像が繋ぎ合わさった観察画像が形成される。
以下の説明において、第1および第2の左眼用表示素子2−1,2−2,4をまとめて左眼用表示素子ともいい、第1および第2の右眼用表示素子1−1,1−2,3をまとめて右眼用表示素子ともいう。また、第1および第2の左眼用光学系6−1,6−2,6−3をまとめて左眼用光学系ともいい、第1および第2の右眼用光学系5−1,5−2,5−3をまとめて右眼用光学系ともいう。
16−1,16−2,16−3はそれぞれ左眼用光学系6−1,6−2,6−3の光軸であり、15−1,15−2,15−3はそれぞれ右眼用光学系5−1,5−2,5−3の光軸である。図1はこれら光軸15−1,15−2,15−3,16−1,16−2,16−3を含む断面である。
本実施例では、3つの左眼用表示素子2−1,2−2,4および3つの左眼用光学系6−1,6−2,6−3は、左射出瞳S2を中心として左右方向に放射状に広がるように配置されている。言い換えれば、左眼用光学系6−1,6−2,6−3の光軸16−1,16−2,16−3が左射出瞳S2を要とする扇の半径方向に延び、その延長線上に左眼用表示素子2−1,2−2,4(左眼用原画)の中心が配置されている。同様に、3つの右眼用表示素子1−1,1−2,3および3つの右眼用光学系5−1,5−2,5−3は、右射出瞳S1を中心として左右方向に放射状に広がるように配置されている。すなわち、右眼用光学系5−1,5−2,5−3の光軸15−1,15−2,15−3が右射出瞳S1を要とする扇の半径方向に延び、それらの延長線上に右眼用表示素子1−1,1−2,3(右眼用原画)の中心が配置されている。このように、左眼用と右眼用の光学系および表示素子とが互いに同一の光学系と同一の表示素子によって構成され、中心面14について対称な構成を有する。その上で、第2の左眼用表示素子4と第2の右眼用表示素子3とがそれぞれ、中心面14よりも右射出瞳側および左射出瞳側に配置されている。これにより、両眼用のHMDであって内側に広い画角で観察画像を表示可能なHMDの構成を簡素化することができるとともに、設計や製造の複雑化を避けることができる。
図1において、Wは左射出瞳S2と右射出瞳S1の間隔(眼間距離)であり、Dは各射出瞳から対応する光学系の最終面(眼に最も近い光学面)までの距離(アイレリーフ)である。本実施例では、上述したように第2の左眼用表示素子4と第2の右眼用表示素子3とがそれぞれ中心面14よりも右射出瞳側および左射出瞳側に配置している。これにより、左眼および右眼用光学系6,5の干渉を避けつつ内側への画角θの条件であるθ=atan((W/2−α)/D)においてα→0となるような、広い画角とすることができる。例えば、光学系5−1,5−2,5−3の焦点距離と各光学系の主点から射出瞳までの光軸方向での距離とが等しい場合、従来構成であればα=f×cos(π/2−2×θ/3)が必要であるのに対し、αを0に近い値にできる分、内側画角の広画角化が可能である。このように、本実施例は、左眼および右眼用光学系6,5の干渉を避けつつ、かつアイレリーフを十分確保しつつ、内側まで広い画角で観察画像を左右の眼に提示することができる。
図2には、本実施例における右眼用表示素子1−1,1−2,3にそれぞれ表示される右眼用原画11,12,13の例を示す。左眼用表示素子2−1,2−2,4のそれぞれには、原画13,12,11が表示される。これにより、観察者の左右の眼にはそれぞれ、これらの原画11,12,13からの光により形成される光学像(虚像)が合成された、つまりは左右方向に繋ぎ合わされた合成画像としての観察画像10が提示される。
なお、左眼用原画と右眼用原画とが互いに視差を有する視差画像である場合には、観察者が左右の眼のそれぞれに提示された互いに視差を有する観察画像を融像することで立体感(奥行き情報)を得ることができる。すなわち、本実施例のHMDを立体画像表示装置として機能させることができる。
図3には、図1に示した構成をより具体化した実施例を示している。図3において、図1に示した構成要素に対応する構成要素には、図1と同符号を付している。この実施例では、右眼用光学系5および左眼用光学系6はそれぞれ、一体の光学素子(レンズユニット)として構成されている。また、3つの右眼用光学系5−1〜5−3と3つの左眼用光学系6−1〜6−3のそれぞれは、該レンズユニットにおいて回転対称の(言い換えれば光軸を含む平面について対称な形状の光学面を有する)単レンズとして構成されている。光軸を含む平面について対称な形状の光学面を有する構成としたことで、各レンズユニットを基本的に同一部品で構成することができる。
図4を用いて、図3に示した実施例における左眼用と右眼用のそれぞれに設けられた3つの光学系の光学的な同一性について説明する。図4は、図3と同様に水平断面を示している。なお、本実施例および後述する他の実施例において、同一、一致、平行等の複数の構成要素の関係は、必ずしも完全(厳密)である必要はなく、公差等の許容される誤差や有意ではない相違を有していてもよい。
5−Aは右眼用光学系5−1〜5−3のそれぞれのベースとなる光学系(レンズ)を示す。R1、R2および15−Aはそれぞれ、光学系5−Aの入射面、出射面および光軸である。1−Aは光学系5−Aに対応する右眼用原画が表示される右眼用表示素子を示す。光学系5−Aの光軸15−A(の延長線)が右眼用表示素子1−Aに表示される右眼用原画の中心に一致する。S−Aは光学系5−Aの射出瞳であり、SC−Aは射出瞳S−Aの中心(以下、射出瞳中心という)である。2本の破線は、右眼用表示素子1−A上の右眼用原画の両端から発して光学系5−Aで屈折して射出瞳中心SC−Aに至る両端画角主光線のうち、光学系5−Aと射出瞳中心SC−Aとの間の光線部分を右眼用表示素子1−A側に延長した線を示している。
右眼用光学系5−2は、光学系5−Aの径方向の両端を破線の位置で図の紙面に垂直に切断した形状を有する。また、他の2つの右眼用光学系5−1,5−3はそれぞれ、光学系5−Aの径方向の一端のみを破線の位置で図の紙面に垂直に切断した形状を有する。つまり、3つの右眼用光学系5−1,5−2,5−3は、径方向のサイズが互いに異なるだけで、入射面R1および出射面R2のそれぞれの曲率と面間隔は互いに同一で、媒質も同一である。つまり、3つの右眼用光学系5−1,5−2,5−3は、光学的には互いに同一に構成されている。
このように光学的に互いに同一である右眼用光学系5−1,5−2,5−3が、それらの射出瞳中心SC−Aを互いに一致させ、それぞれに対応する右眼用原画からの両端画角主光線が射出瞳中心SC−Aに到達するように放射状に配置されている。以上のことは左眼用光学系6−1〜6−3についても同じであり、さらに左眼用光学系6−1〜6−3と右眼用光学系5−1,5−2,5−3も互いに同一である。すなわち、本実施例では、右眼用光学系5−1,5−2,5−3および左眼用光学系6−1〜6−3の計6つの光学系が互いに光学的に同一に構成されている。このため、これら6つの光学系を1つのベースとなる光学系5−Aを設計するだけで構成でき、この結果、光学設計を簡略化することができる。また、右眼用光学系5−1,5−3(および左眼用6−1,6−3)については、前述したように光学系5−Aの径方向の一端のみを切断して、図3に示したレンズユニットの両端となる部分は切断しないようにしている。これにより、原画から発せられる観察画像の両端を形成する画像光がそれら光学系を通って射出瞳の両端にも到達することができ、射出瞳中心に対して観察者の眼がずれた場合でも観察画像の端の欠けを回避することができる。
図5には、実施例1の変形例としてのHMDの右眼用光学系5(5−1〜5−3)および右眼用表示素子1(1−1,1−2),3を示している。左眼用光学系および左眼用表示素子も、同様に構成される。
図6には、本変形例における右眼用表示素子1−1,1−2,3にそれぞれ表示される右眼用原画11′,12′,13′の例を示す。原画12′のうち二点鎖線よりも左側の左端部分と同一の原画部分が原画13′に含まれている。これら互いに同一の原画部分からの右眼画像光は、図5に二点鎖線で示した領域と破線で示した領域とで表すように、右射出瞳S1において互いに接し合う。これにより、図6中の原画12′における上記左端部分と原画13′における該左端部分と同一の原画部分からの画像光は、右射出瞳S1の近傍において原画12′,13′のいずれか一方からの光として又は両方から同一方向からの光として右眼REに入る。したがって、光学像が繋ぎ合わされる繋ぎ目(境界線または境界領域)で自然に連続した観察画像10が形成される。
右眼用光学系5−2の射出瞳のうち原画12′の左端部分から発した画像光が到達する領域は、図5に二点鎖線矢印で示した領域である。また、右眼用光学系5−3の射出瞳のうち原画13′において破線よりも右側の右端部分から発した画像光が到達する領域は、図5に破線矢印で示した領域である。仮に上述した原画12′と原画13′の同一の原画部分からの右眼画像光の重なり合いがない場合に図5に示すように観察者の右眼8が二点鎖線矢印で示した領域を外れると、原画12′の左端部分に対応する観察画像部分が欠けて見えなくなる。一方、原画12′と原画13′の同一原画部分からの画像光が重なり合うことで、図5に示すように右眼が二点鎖線矢印で示した領域からずれても、原画12′の左端部分と同一の原画部分である原画13′の右端部分に対応する観察画像部分が見える。このことは、原画12′と原画11′においても同様である。このため、観察者は、右眼が右射出瞳S1において左右にずれても、図6中に示すような欠けのない連続した観察画像10を見ることができる。
また、本実施例では、右眼用および左眼用光学系は、中間像を形成しない光学系である。中間像を形成する光学系は一般的には光学系の全長が長くなるため、中間像を形成しない光学系とすることで、HMDの小型化に有効である。ただし、右眼用および左眼用光学系が中間像を形成する光学系であってもよい。
図7には、本発明の実施例2であるHMDの水平断面での構成を示している。実施例1では第1の右眼用表示素子1と第1の左眼用表示素子2をそれぞれ2つの表示素子により構成したが、本実施例では第1の右眼用表示素子1および第1の左眼用表示素子2をそれぞれ1つの表示素子のみで構成する。またこれに伴い、実施例1では第1の右眼用光学系5−1,5−2と第1の左眼用光学系6−1,6−2をそれぞれ2つの光学系により構成したが、本実施例では右眼用光学系5および左眼用光学系6としてそれぞれ1つの光学系のみで構成する。さらに、実施例1では第2の右眼用光学系5−3と第2の左眼用光学系6−3とを別々の光学系として構成したが、本実施例ではこれら光学系(第3および第4の光学系)を単一の光学系7として構成する。すなわち、第3および第4の光学系を、第2の左眼画像光と第2の右眼画像光とが通る共用の光学系とする。以下の説明では、この共用光学系7を内側光学系7という。
15,16はそれぞれ図7の水平断面上において中心面14に平行で、右および左射出瞳S1,S2の中心を通る視軸である。第1の右眼用表示素子1、第1の左眼用表示素子2、第2の右眼用表示素子3および第2の左眼用表示素子4は、視軸15,16および中心面14に対して直交する直線上に並ぶように(左右方向に平行に)配置されている。上記4つの表示素子1〜4によって画像表示ユニットが構成される。
また、本実施例では、後に詳しく説明するように、右眼用光学系5、左眼用光学系6および内側光学系7のうち各射出瞳に最も近い面が、中心面14に対して対称な共通の光学面として形成されている。
以上が、本実施例が実施例1と異なる点であるが、その他は実施例1と同様である。
左眼用光学系6は、第1の左眼用表示素子2に表示された第1の左眼用原画からの第1の左眼用画像光を左射出瞳S2に導く。また、右眼用光学系5は、第1の右眼用表示素子1に表示された第1の右眼用原画からの第1の右眼画像光を右射出瞳S1に導く。左眼用光学系6および右眼用光学系5は互いに独立した光学系として構成され、それぞれ第1の左眼画像光と第1の右眼画像光とをそれらの光路を互いに交差させずに左射出瞳S2および右射出瞳S1に導く。
本実施例でも、第2の左眼用表示素子4は中心面14よりも右側に位置し、第2の右眼用表示素子3は中心面14よりも左側に位置する。内側光学系7は、第2の左眼用表示素子4に表示された第2の左眼用原画からの第2の左眼画像光と第2の右眼用表示素子3に表示された第2の右眼用原画からの第2の右眼画像光とをそれぞれ、それらの光路を互いに交差させて左射出瞳S2および右射出瞳S1に導く。この際、内側光学系7は、第2の左眼画像光を、左眼用光学系6により第1の左眼画像光が左射出瞳S2に導かれる際に通過する領域よりも内側(右射)の領域を通過させて左射出瞳S2に導く。また、内側光学系7は、第2の右眼画像光を、右眼用光学系5により第1の右眼画像光が右射出瞳S1に導かれる際に通過する領域よりも内側(左側)の領域を通過させて右射出瞳S1に導く。
本実施例では、左眼および右眼用の最内側画角の光束が光学系7よりも手前において交差するようにしたことで、左眼および右眼用にそれぞれ設けられた光学系の干渉を避けつつ、内側への画角θとして、
θ>atan(W/2/D)
となるような広い画角で観察画像を提示することも可能である。このように、本実施例でも、左眼および右眼用に設けられた光学系の干渉を避けつつ、かつアイレリーフを十分確保しつつ、内側まで広い画角で観察画像を左右の眼に提示することができる。
図8には、本実施例における第1の右眼用表示素子1および第2の右眼用表示素子3にそれぞれ表示される第1の右眼用原画11″および第2の右眼用原画13″の例を示す。観察者の右眼には、これらの原画11″,13″からの光により形成される光学像(虚像)が合成された合成画像としての観察画像10が提示される。なお、第1の左眼用表示素子2および第2の左眼用表示素子4には、観察画像10の上に丸囲みの2と4を付した矢印で示した2つの部分に対応する原画が表示される。これにより、観察者の左眼にも観察画像10が提示される。
なお、本実施例では、表示素子1〜4をそれぞれ別々の表示素子として説明するが、それぞれ異なる表示領域に別々に上記4つの原画が表示されるのであれば、4つの表示素子を用いなくてもよい。例えば、表示素子1,4に相当する2つの表示領域を有する単一の表示素子と、表示素子2,3に相当する2つの表示領域を有する単一の表示素子とを用いてもよい。以下に説明する図9や図10に示すように4つ以外の数の表示素子を用いてもよい。
図9には、実施例2の変形例としてのHMDの構成を示している。図7に示した構成では、第1および第2の右眼用表示素子1,3と第1および第2の左眼用表示素子2,4の4つの表示素子を用いている。これに対して、本変形例では、単一の表示素子100における互いに異なる表示領域に、左側から順に第1の左眼用原画、第2の右眼用原画、第2の左眼用原画および第1の右眼用原画を表示する。
図10および図11(A)〜(C)には、図7に示した構成をより具体化した実施例を示す。図10および図11(A)〜(C)において、図7に示した構成要素に対応する構成要素には、図7と同符号を付している。図10は、図7と同様の水平断面に対して各表示素子と断面上の光線と各表示素子との間の光路とを射影させた図を示している。図11(A)は左眼用光学系6を水平方向から見たときの軸16を含む断面を示す。図11(B)は内側光学系7を水平方向から見たときの断面(中心面14と同一断面)を示す。図11(C)は右眼用光学系5を水平方向から見たときの軸15を含む断面を示す。図11(A)〜(C)では各表示素子と対応する射出瞳との間の光路を各断面に射影して示している。図11(B)の断面には実際は射出瞳S1,S2はないが、光路を説明するために射出瞳S1,S2を括弧書きで示している。
この実施例では、右眼用光学系5、内側光学系7および左眼用光学系6は、一体の光学素子(プリズムユニット)として構成されている。また、右眼用光学系5、内側光学系7および左眼用光学系6はそれぞれ、該プリズムユニットにおけるプリズムとして構成されている。プリズムの内部は屈折率が1より大きい光学媒質で満たされている。また、この実施例では、図7に2つの表示素子として示した第2の右眼用および左眼用表示素子3,4を、単一の表示素子(以下、内側表示素子という)34として構成している。
図11(A)において、第1の左眼用表示素子2から発せられた第1の左眼用画像光は、左眼用光学系6を構成するプリズムの第1面(屈折面)63を通って該プリズム内に入射し、第2面101に到達する。第1の左眼用画像光は、プリズムにおける空気との界面である第2面101に対して臨界角より大きな入射角で入射する。このため、第1の左眼用画像光は、第2面101で全反射して第3面62に向かう。第3面62は、金属コーティング等が施された反射面であり、ここに入射した第1の左眼画像光は反射して再度、第2面101に到達する。この際、第1の左眼画像光は第2面101に臨界角より小さい入射角で入射し、第2面101を透過して左射出瞳S2に到達する。
図11(B)に示す内側光学系7を構成するプリズムも、図11(A)に示したプリズムと同様に構成されている。このため、図11(B)において内側表示素子34から発せられた第2の左眼用および右眼用画像光は、プリズムの第1面(屈折面)73を通って該プリズム内に入射し、第2面101で全反射して第3面72に向かう。そして、第2の左眼用および第2の右眼用画像光はそれぞれ、第3面72で反射し、第2面101を透過して左および右射出瞳S2,S1に到達する。この際、プリズムの内部で、第2の左眼用画像光の光路と第2の右眼用画像光の光路とが互いに交差して左および右射出瞳S2,S1に向かう。
図11(C)に示す右眼用光学系5を構成するプリズムも、図11(A)に示したプリズムと同様に構成されている。このため、図11(C)において第1の右眼用表示素子1から発せられた第1の右眼用画像光は、プリズムの第1面(屈折面)53を通って該プリズム内に入射し、第2面101で全反射して第3面52に向かう。そして、第1の右眼用画像光は、第3面52で反射し、第2面101を透過して右射出瞳S1に到達する。
図11(A)〜(C)に示したプリズムにおいて各射出瞳に最も近い第2面101は、左眼用光学系6、内側光学系7および右眼用光学系5において共通する(連続する)光学面である。特に各射出瞳に最も近い光学面が上記3つの光学系6,7,5に共通な光学面として形成されることで、射出瞳において原画の光学像が繋ぎ合わせられる繋ぎ目(境界線または境界領域)でより自然に連続した観察画像を提示することができる。
図10でのプリズムユニットを構成する光学面は、HMDの上下方向(図の紙面に垂直な方向)での中心画角となる光線の射出瞳中心と第2面101との間の光線を含む水平断面を示している。このため、光学面52,62,72,101は図示されているが、光学面53,63,73は不図示である。17は上記水平断面と中心面14とが交差する線(軸)であり、視軸15,16はそれぞれ軸17を右眼用光学系5の射出瞳S1の中心と左眼用光学系6の射出瞳S2の中心とに移動させたものに相当する。光学面52,53は、視軸15を含む図10の紙面に垂直な(左右方向に直交する)平面について対称な面対称形状を有する。また、光学面62,63は、視軸16を含む図10の紙面に垂直な平面について対称な面対称形状を有する。さらに、光学面101,72,73はいずれも、中心面14について対称な面対称形状を有する。
以上説明したように、本実施例では、第1の右眼用表示素子1、第1の左眼用表示素子2、第2の右眼用表示素子3および第2の左眼用表示素子4が左右方向に平行に配置している。このため、図9に示したように4つの表示素子1〜4に代えて1つの表示素子100を用いたり、図10に示したように右眼用および左眼用の表示素子3,4に代えて1つ表示素子34を用いたりすることができる。表示素子の数を少なくすることで、表示素子のアライメント調整が容易となる。また、通常、表示素子には該表示素子の端と画像表示領域との間に画像を表示しない非表示領域があるため、複数の表示素子を用いる場合には原画間に非表示領域に相当する分の間隔が必要となる。これに対して、表示素子を1つにまとめると、互いに異なる複数の原画をその表示素子における複数の領域にそれら領域の端の画素同士が隣り合うように表示することができる等のメリットがある。一方、4つの表示素子1〜4を用いる場合には、対応する光学系の光学特性に応じて表示素子を適宜選択する自由度が得られる。
また、本実施例では、右眼用光学系5および左眼用光学系6を視軸15,16を含んで中心面14に平行な平面について対称な面対称形状の光学面を有するように形成したことで、その光学面での非対称性収差の発生を抑制することができる。特に図10および図11(A)〜(C)に示した実施例において、右眼用光学系5と左眼用光学系6の複数の光学面のうち最も強いパワーを有する光学面(第3面)52,62を上記面対称形状の光学面としたことで、非対称性収差の発生を効果的に抑制している。同様に、第1面53,63についても、上述した面対称形状に形成することで、非対称性収差の発生を抑制している。
図10および図11(A)〜(C)に示した実施例のように全反射面と透過面とを兼ねる曲面光学面(第2面101)を設ける場合には、その曲面光学面が非対称性を有する。しかし、この曲面光学面はパワーが弱いので、非対称性収差の発生は少ない。
また、非対称性を有する光学面を配置する場合は、必ずしも視軸を含み中心面14に平行な平面について対称な面対称形状の光学面を設ける必要はなく、その非対称な光学面で発生する非対称性収差をキャンセルするように全ての光学面に非対称性を与えてもよい。
なお、本実施例と同様なプリズム構成において中間像を形成させるように各光学系を構成してもよいが、光路長が長くなりすぎないように、中間像を形成する回数は2回以下が望ましい。
図12(A)には、図10および図11(A)〜(C)に示したHMDの変形例を示す。なお、図12(A)では左眼用光学系6および内側光学系7のみを示すが、右眼用光学系5も左眼用光学系6と同様に構成される。この変形例のプリズムユニットでは、左眼用光学系6の第3面62の右側端部と内側光学系7の第3面72の左側端部とがプリズム内部(媒質内領域)で交差し、これら交差した部分が図中に太点線で示すようにハーフミラー部62h,72hとして形成されている。左眼用および内側光学系6,7の第3面62,72のうち交差していない部分は図中に太実線で示すようにミラー部(反射膜が形成された反射面)として構成されている。図12(B)には、左射出瞳S2にて提示される観察画像を示している。観察画像中の点P23に対応する第2の表示素子2に表示された第1の左眼用原画上の点をP2Bとし、観察画像中の点P23に対応する第3の表示素子34に表示された第2の左眼用原画上の点をP3Bとする。
点P2Bからの光は、左眼用光学系6を構成するプリズムの第1面(屈折面)63を通って該プリズム内に入射し、第2面101で全反射して第3面62に向かう。第3面62に向かった光のうち一部は該第3面62のハーフミラー部62hで反射されて第2面101に向かう。一方、第3面62に向かった光のうち別の一部は内側光学系7の第3面72のハーフミラー部72hを透過して左眼用光学系6の第3面62のミラー部62mで反射された後、再び該ハーフミラー部72hを透過して第2面101に向かう。点P2Bからの光のうちハーフミラー部62h,72hに入射しない光は、左眼用光学系6の第3面62のミラー部62mで反射して第2面101に向かう。こうして第2面101に到達した点P2Bからの光は、該第2面101を透過して左射出瞳S2のほぼ全域に到達する。
また、点P3Bからの光は、内側光学系7を構成するプリズムの第1面(屈折面)73を通って該プリズム内に入射し、第2面101で全反射して第3面72に向かう。第3面72に向かった光のうち一部は該第3面72のハーフミラー部72hで反射されて第2面101に向かう。一方、第3面72に向かった光のうち別の一部は左眼用光学系6の第3面62のハーフミラー部62hを透過して内側光学系7の第3面72のミラー部72mで反射された後、再び該ハーフミラー部62hを透過して第2面101に向かう。点P3Bからの光のうちハーフミラー部72h,62hに入射しない光は、内側光学系7の第3面72のミラー部72mで反射して第2面101に向かう。こうして第2面101に到達した点P3Bからの光は、該第2面101を透過して左射出瞳S2のほぼ全域に到達する。
本変形例では、第1の左眼用原画上の全ての点からの光と第2の左眼用原画上の全ての点からの光が左射出瞳S2の全域を覆う。このため、観察者の左眼の位置がずれても、左射出瞳S2の範囲内にあれば、第1および第2の左眼用原画に重複表示領域を設けなくてもこれら左眼用原画のそれぞれに相当する観察画像部分が欠けることなく繋がった観察画像を提示することができる。このことは、右眼用光学系5および内側光学系7により右射出瞳S1に提示される観察画像についても同様である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
1〜4 表示素子
5 右眼用光学系
6 左眼用光学系
5−1,5−2 第1の右眼用光学系
6−1,6−2 第1の右眼用光学系
7 内側光学系
S1 右射出瞳
S2 左射出瞳

Claims (11)

  1. 左眼用画角のうち最も左側の画角用の第1の左眼用原画、右眼用画角のうち最も右側の画角用の第1の右眼用原画、前記左眼用画角のうち最も右側の画角用の第2の左眼用原画および前記右眼用画角のうち最も左側の画角用の第2の右眼用原画をそれぞれ異なる表示領域に表示する画像表示ユニットと、
    前記第1の左眼用原画からの第1の左眼画像光を左射出瞳に導く第1の光学系と、
    前記第1の右眼用原画からの第1の右眼画像光を右射出瞳に導く第2の光学系と、
    前記第2の左眼用原画からの第2の左眼画像光を、前記第1の光学系により前記第1の左眼画像光が前記左射出瞳に導かれる際に通過する領域よりも前記右射出瞳側の領域を通過させて前記左射出瞳に導く第3の光学系と、
    前記第2の右眼用原画からの第2の右眼画像光を、前記第2の光学系により前記第1の右眼画像光が前記右射出瞳に導かれる際に通過する領域よりも前記左射出瞳側の領域を通過させて前記右射出瞳に導く第4の光学系とを有し、
    前記画像表示ユニットは、前記左射出瞳と前記右射出瞳との間の中心よりも前記左射出瞳側にある前記表示領域に前記第1の左眼用原画および前記第2の右眼用原画を表示し、前記中心よりも前記右射出瞳側にある前記表示領域に前記第1の右眼用原画および前記第2の左眼用原画を表示し、
    前記第1の光学系は、前記第1の左眼画像光の光路を前記第1および第2の右眼用画像光の光路と交差させずに前記第1の左眼画像光を前記左射出瞳に導き、
    前記第2の光学系は、前記第1の右眼画像光の光路を前記第1および第2の左眼用画像光の光路と交差させずに前記第1の右眼画像光を前記右射出瞳に導き、
    前記第3の光学系および前記第4の光学系はそれぞれ、前記第2の左眼画像光の光路と前記第2の右眼画像光の光路を互いに交差させて該第2の左眼画像光と該第2の右眼画像光を前記左射出瞳および前記右射出瞳に導くことを特徴とする画像表示装置。
  2. 前記第3および第4の光学系は、前記左射出瞳と前記右射出瞳とが並ぶ左右方向における前記第1の光学系と前記第2の光学系との間に配置されていることを特徴とする請求項1に記載の画像表示装置。
  3. 前記画像表示ユニットのうち前記第2の左眼用原画と前記第2の右眼用原画がそれぞれ表示される前記表示領域が、前記左射出瞳と前記右射出瞳とが並ぶ左右方向において、前記第1の左眼用原画と前記第1の右眼用原画がそれぞれ表示される前記表示領域の間に位置することを特徴とする請求項1または2に記載の画像表示装置。
  4. 前記第1および第3の光学系が前記左射出瞳を中心として、前記第2および第4の光学系が前記右射出瞳を中心として、それぞれ前記左射出瞳と前記右射出瞳とが並ぶ左右方向において放射状に配置されていることを特徴とする請求項1から3のいずれか一項に記載の画像表示装置。
  5. 前記画像表示ユニットにおける全ての前記表示領域が、前記左射出瞳と前記右射出瞳とが並ぶ左右方向に対して平行に配置されていることを特徴とする請求項1から4のいずれか一項に記載の画像表示装置。
  6. 前記第1、第2、第3および第4の光学系はそれぞれ、その光学系に対応する前記左または右射出瞳の中心を通る軸を含んで前記左射出瞳と前記右射出瞳とが並ぶ左右方向に直交する平面について対称な形状の光学面を有することを特徴とする請求項1から5のいずれか一項に記載の画像表示装置。
  7. 前記第1、第2、第3および第4の光学系はそれぞれ複数の光学面を有し、
    前記複数の光学面のうち最も強いパワーを有する光学面が、前記対称な形状の光学面であることを特徴とする請求項6に記載の画像表示装置。
  8. 前記第1、第2、第3および第4の光学系が、互いに光学的に同一に構成されていることを特徴とする請求項1から7のいずれか一項に記載の画像表示装置。
  9. 前記第1、第2、第3および第4の光学系がいずれも中間像を形成しない光学系であることを特徴とする請求項1から8のいずれか一項に記載の画像表示装置。
  10. 前記第3および第4の光学系が、前記第2の左眼画像光と前記第2の右眼画像光とにより共用される単一の光学系であることを特徴とする請求項1から9のいずれか一項に記載の画像表示装置。
  11. 第1の左眼用原画、第1の右眼用原画、第2の左眼用原画および第2の右眼用原画をそれぞれ異なる表示領域に表示する画像表示ユニットと、
    前記第1の左眼用原画からの第1の左眼画像光を左射出瞳に導く第1の光学系と、
    前記第1の右眼用原画からの第1の右眼画像光を右射出瞳に導く第2の光学系と、
    前記第2の左眼用原画からの第2の左眼画像光を、前記第1の光学系により前記第1の左眼画像光が前記左射出瞳に導かれる際に通過する領域よりも前記右射出瞳側の領域を通過させて前記左射出瞳に導く第3の光学系と、
    前記第2の右眼用原画からの第2の右眼画像光を、前記第2の光学系により前記第1の右眼画像光が前記右射出瞳に導かれる際に通過する領域よりも前記左射出瞳側の領域を通過させて前記右射出瞳に導く第4の光学系とを有し、
    前記画像表示ユニットは、前記左射出瞳と前記右射出瞳との間の中心よりも前記左射出瞳側にある前記表示領域に前記第1の左眼用原画および前記第2の右眼用原画を表示し、前記中心よりも前記右射出瞳側にある前記表示領域に前記第1の右眼用原画および前記第2の左眼用原画を表示し、
    前記第1の光学系および前記第2の光学系はそれぞれ、前記第1の左眼画像光の光路と前記第1の右眼画像光の光路を互いに交差させずに該第1の左眼画像光と該第1の右眼画像光を前記左射出瞳および前記右射出瞳に導き、
    前記第3の光学系および前記第4の光学系はそれぞれ、前記第2の左眼画像光の光路と前記第2の右眼画像光の光路を互いに交差させて該第2の左眼画像光と該第2の右眼画像光を前記左射出瞳および前記右射出瞳に導き、
    前記第1、第2、第3および第4の光学系はそれぞれ、その光学系に対応する前記左または右射出瞳の中心を通る軸を含んで前記左射出瞳と前記右射出瞳とが並ぶ左右方向に直交する平面について対称な形状の光学面を有することを特徴とする画像表示装置。
JP2016149082A 2016-07-29 2016-07-29 画像表示装置 Active JP6478950B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016149082A JP6478950B2 (ja) 2016-07-29 2016-07-29 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016149082A JP6478950B2 (ja) 2016-07-29 2016-07-29 画像表示装置

Publications (2)

Publication Number Publication Date
JP2018017941A JP2018017941A (ja) 2018-02-01
JP6478950B2 true JP6478950B2 (ja) 2019-03-06

Family

ID=61081777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016149082A Active JP6478950B2 (ja) 2016-07-29 2016-07-29 画像表示装置

Country Status (1)

Country Link
JP (1) JP6478950B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095556A1 (ja) * 2018-11-09 2020-05-14 ソニー株式会社 虚像表示装置、および虚像表示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326820A (ja) * 1998-05-18 1999-11-26 Olympus Optical Co Ltd 観察光学系及びそれを用いた観察装置
JP2001042250A (ja) * 1999-07-30 2001-02-16 Minolta Co Ltd 画像表示装置
JP2004341324A (ja) * 2003-05-16 2004-12-02 Canon Inc 光学系および画像表示装置
JP2005222026A (ja) * 2004-01-08 2005-08-18 雅貴 ▲吉▼良 立体視装置
JP4950467B2 (ja) * 2005-10-03 2012-06-13 キヤノン株式会社 画像表示装置

Also Published As

Publication number Publication date
JP2018017941A (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
KR102594052B1 (ko) 넓은 시야를 갖는 도파관 투사기를 위한 방법 및 시스템
US8337015B2 (en) Spectacles-mounted display device
EP3243099B1 (en) Head mounted imaging apparatus with optical coupling
US10935807B2 (en) Display device
JP6520209B2 (ja) 画像表示装置
JP5290091B2 (ja) 眼鏡型画像表示装置
JP4950467B2 (ja) 画像表示装置
JP6402991B2 (ja) 画像表示装置
JP6755074B2 (ja) 光結合を用いた頭部装着型画像装置
WO2016143245A1 (ja) 画像表示装置
JP5268342B2 (ja) 画像表示装置
JP6670431B2 (ja) 結像光学系およびスマートグラス
JP6812649B2 (ja) 画像表示装置
JP7291441B2 (ja) ゴーストイメージ遮断機能及び広視野角を有するコンパクト型拡張現実用光学装置
JP6373232B2 (ja) 画像表示装置
JP6478950B2 (ja) 画像表示装置
JP6061551B2 (ja) 観察光学系
JP2018017942A (ja) 画像表示装置
JP6955388B2 (ja) 画像表示装置
JP5781165B2 (ja) 頭部装着型映像表示装置
JP2019179083A (ja) 画像表示装置
JP7111070B2 (ja) ヘッドアップディスプレイ装置
JP7111071B2 (ja) ヘッドアップディスプレイ装置
CN116997845A (zh) 光源设备和图像显示设备
JP2023020004A (ja) 虚像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180723

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180723

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181024

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R151 Written notification of patent or utility model registration

Ref document number: 6478950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151