WO2020189302A1 - 光学式シースルー型ディスプレイ - Google Patents

光学式シースルー型ディスプレイ Download PDF

Info

Publication number
WO2020189302A1
WO2020189302A1 PCT/JP2020/009389 JP2020009389W WO2020189302A1 WO 2020189302 A1 WO2020189302 A1 WO 2020189302A1 JP 2020009389 W JP2020009389 W JP 2020009389W WO 2020189302 A1 WO2020189302 A1 WO 2020189302A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
optical
optical system
display
relay lens
Prior art date
Application number
PCT/JP2020/009389
Other languages
English (en)
French (fr)
Inventor
勇太 伊藤
巧 浜崎
Original Assignee
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京工業大学 filed Critical 国立大学法人東京工業大学
Publication of WO2020189302A1 publication Critical patent/WO2020189302A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to an optical see-through display.
  • HMD Head Mount Display
  • VST Video-see Through
  • OST Optical-see Through
  • VST Video-see Through
  • a real world image is converted into digital image data by a camera, and virtual world image data is synthesized by signal processing and displayed on a display.
  • FIG. 1A is a diagram showing the principle of the conventional OST-HMD.
  • OST-HMD 2 includes a micro-display 4 for presenting an image of the virtual world, a background light S 1 in the real world, an optical system 6 for superimposing light S 2 microdisplays 4.
  • the optical system 6 is a half mirror.
  • FIG. 1A is a diagram showing OST-HMD3 with optical shielding.
  • the spatial light modulator (SLM) 8 for optical shielding is inserted into the see-through path.
  • This SLM8 is an optical mask.
  • the SLM 8 and the microdisplay 4 are arranged so that the distance between the pupil and the SLM and the distance between the pupil and the microdisplay are optically equal to each other.
  • Non-Patent Document 1 an OST-HMD capable of changing the depth (focal length) of a virtual image has also been proposed (Non-Patent Document 1).
  • this device referred to as a variable focus type OST-HMD
  • the optical system 6 is configured by a deformable beam splitter. By changing the curvature of the beam splitter, the position of the virtual image of the virtual image displayed on the microdisplay can be moved in the depth direction.
  • variable focus type OST-HMD of Non-Patent Document 1 since the virtual image is translucent, there is room for improvement in order to enhance the sense of reality. Therefore, it was examined to combine the variable focus type OST-HMD with the optical shielding.
  • the physical positions of the SLM and the microdisplay for optical shielding are fixed.
  • the focal length (depth) of the virtual image presented by the micro display is shifted, the depth position of the virtual image and the depth position of the shielding mask are shifted.
  • the human eye is focusing on the virtual image, the larger the deviation, the less the shielding effect, and the virtual image becomes more translucent. It should be noted that this problem should not be regarded as a general recognition of those skilled in the art, but is independently recognized by the present inventors.
  • the present invention has been made in such a situation, and one of the exemplary purposes of the embodiment is to provide a varifocal OST-HMD capable of effective occlusion regardless of the depth position of the virtual image. ..
  • the optical see-through display includes a micro display that displays virtual images, an image projection unit that can control the depth position of virtual images, a relay lens optical system, and a spatial optical modulator arranged in the relay lens optical system.
  • a micro display that displays virtual images
  • an image projection unit that can control the depth position of virtual images
  • a relay lens optical system that can control the depth position of virtual images
  • a relay lens optical system that can control the depth position of virtual images
  • a spatial optical modulator arranged in the relay lens optical system.
  • the relay lens optical system has a first lens having a focal length f, a second lens having a focal length of 2f and a focal length of f / 2, and a distance from the second lens of 2f.
  • a third lens having a focal length of f may be included.
  • the spatial light modulator may be inserted between the first lens and the second lens.
  • At least one of the first lens, the second lens, and the third lens may be a composite lens of a plurality of lenses.
  • the optical see-through display may further include a pair of light guide plates provided in the front and rear stages of the relay lens optical system.
  • the mechanism may include an actuator that shifts the spatial light modulator in the optical axis direction of the relay lens optical system.
  • variable focus type OST display capable of effective shielding regardless of the depth position of the virtual image.
  • FIG. 1A is a diagram showing the principle of a conventional OST-HMD
  • FIG. 1B is a diagram showing an OST-HMD with optical shielding. It is a figure which shows the basic structure of the variable focus type OST-HMD which concerns on embodiment. It is a figure which shows the basic structure of the optical shielding part.
  • 4 (a) and 4 (b) are diagrams for explaining the propagation of light rays.
  • 5 (a) and 5 (b) are diagrams for explaining the influence of the insertion position of the SLM.
  • FIG 6 (a), (b) is a ray tracing diagram emitted from P 1 and the other points P 2 points on the AR image plane. It is a figure which shows the area which SLM can shield appropriately.
  • each member described in the drawing may be scaled appropriately for ease of understanding.
  • the dimensions of the plurality of members do not necessarily represent the magnitude relationship between them, and even if one member A is drawn thicker than another member B on the drawing, the member A is the member B. It can be thinner than.
  • FIG. 2 is a diagram showing a basic configuration of a variable focus type OST-HMD100 according to an embodiment.
  • the OST-HMD 100 receives the incident light S 1 , synthesizes a virtual image with the incident light S 1 , and outputs the output light S 2 .
  • the OST-HMD100 includes an image projection unit 110 and an optical shielding unit 120.
  • the image projection unit 110 includes a microdisplay 112 that displays a virtual image.
  • the image projection unit 110 is configured to be able to control the depth position of the virtual image.
  • the method of controlling the depth position of the virtual image is not particularly limited, and a known technique or a technique that can be used in the future may be used.
  • the optical shielding unit 120 shifts the depth position of the shielding mask by following the depth position of the virtual image while maintaining the user's original field of view when it is not present.
  • the optical shielding unit 120 includes a relay lens optical system 122, a spatial light modulator (SLM) 124, and an actuator (linear stage) 126.
  • the SLM 124 is arranged in the relay lens optical system 122 and patterns the intensity of the light transmitted through the relay lens optical system 122.
  • the SLM 124 may be an LCD (liquid crystal display).
  • the actuator 126 shifts the SLM 124 in the optical axis direction of the relay lens optical system 122 in conjunction with the depth position of the virtual image.
  • FIG. 3 is a diagram showing a basic configuration of the optical shielding unit 120.
  • the relay lens optical system 122 includes a first lens L 1 , a second lens L 2 , and a third lens L 3 .
  • the first lens L 1 and the third lens L 3 have a focal length f
  • the second lens L 2 has a focal length f / 2.
  • the distance between the first lens L 1 and the second lens L 2 is 2f
  • the distance between the second lens L 2 and the third lens L 3 is also 2f.
  • FIG. 3 shows a light source from the user's gaze position.
  • the SLM 124 is inserted between the first lens L 1 and the second lens L 2 and is positioned between them by the actuator 126.
  • the above is the configuration of OST-HMD100.
  • the reason why the optical shielding unit 120 of FIG. 3 can shift the depth position of the shielding mask by following the depth position of the virtual image while maintaining the original field of view of the user in the absence of the optical shielding unit 120 is geometrical optics. I will explain based on this.
  • 4 (a) and 4 (b) are diagrams for explaining the propagation of light rays.
  • the propagation of light rays is represented by using the ray propagation matrix M.
  • the ray propagation matrix M transforms the light field (x, u) T into another light field (x', u') T.
  • the light field (x, u) T represents a ray passing through a point in space.
  • the variable x represents the distance between the passing point and the propagation axis (usually coincident with the optical axis of the lens system).
  • the ray propagation matrix P (d) can be defined by Eq. (2) when a ray from a certain point propagates in space and reaches a target point separated by a distance d in the optical axis direction.
  • FIG. 4A shows the propagation in free space.
  • FIG. 4B shows the propagation of a thin lens.
  • the propagation matrix M of the relay lens optical system 122 of FIG. 3 is represented by the equation (4).
  • the relay lens optical system 122 of FIG. 3 shifts the viewpoint by a distance of -4f (that is, to the rear side) in the optical axis direction and inverts the image, but does not distort the field of view. If the lens is if 2, since the propagation matrix of the lens L 1 to L 3 is P (4f), the user can have a relay lens optical system 122, and to the viewpoint as if distance 8f, You will see the light of the real world as if you were approaching the scenery.
  • the arrangement of the SLM 124 will be described.
  • All parallel light of the incident light i.e. as being infinity arrival is to place the SLM124 the center of the first lens L 1 and second lens L 2. Beam is condensed from the first lens L 1 focal length f, the remote surface (LCD face), the light-shielding becomes sharp.
  • the incident light can be appropriately shielded only when the image plane is so far that it can be regarded as parallel light.
  • the actuator 126 moves the LCD surface to the surface where the light rays are focused.
  • Equation (5) holds when the distance between the image plane and the first lens L 1 is d p , the distance between the LCD surface and the first lens L 1 is dl, and the focal length of the first lens L 1 is f. ..
  • f is a constant, and when d p is known, d l, that is, the position where the SLM 124 should be installed can be calculated from the equation (5).
  • the configuration in which the SLM 124 is arranged between the lenses L 1 and L 2 (referred to as the first area) and the configuration in which the SLM 124 is arranged between the lenses L 2 and L 3 (referred to as the second area) are compared.
  • FIGS. 5 (a) and 5 (b) are views for explaining the influence of the insertion position of the SLM 124.
  • FIG. 5A shows the effective range ER1 of the image plane when the SLM124 is inserted into the first area
  • FIG. 5B shows the effective range ER2 of the image plane when the SLM124 is inserted into the second area. Shown.
  • the range far from the first lens L 1 by 4 f or more is the effective range ER1a, ER2a.
  • the insertion position of the SLM 124 may be selected based on the desired effective range.
  • a continuous effective area can be obtained as shown in FIG. 5A. If you insert into the second area, as shown in FIG. 5 (b), the lens L 1 immediate near field it is possible to present a virtual image.
  • the SLM 124 may shield the light rays that should not be shielded or the light rays that should be shielded originally cannot be blocked. Therefore, the range in which the SLM 124 can appropriately block the scene light will be described.
  • FIG 6 (a), (b) is a ray tracing diagram emitted from P 1 and the other points P 2 points on the AR image plane.
  • 6 (a) is a case towards the point P 1 is long
  • Fig. 6 (b) shows the case close better of P 1.
  • P 1 ' is the focal point of the P 1
  • P 2' indicates the focal point of the P 2.
  • the light rays from the point P 2 pass through the first lens L 1 and are focused in a circular region having a radius R on the LCD surface on which the SLM 124 is arranged.
  • the radius R is represented by the equation (6).
  • a is a half value of the aperture width of the first lens L1.
  • Transmittance of the circular area of SLM124 affects the brightness of the light from the point P 2. Because the light from the point P 1 'is blocked in, even light from the point P 2, P 1' P 1 when is included in the circular region, because light is shielded in P 1 '. That is, when the relational expression (7) holds, all the light rays from the light ray P 2 are not shielded at the point P 1 '.
  • r' is the distance between the center of the circular region and the point P 1 '.
  • r' is represented by equation (8). r is the intersection of a plane containing the point P 2 and the straight line P 1 -P 1 ', is the distance between the point P 2. Furthermore, the following lens formula holds.
  • FIG. 7 is a diagram showing a region where the SLM 124 can be appropriately shielded.
  • the shaded area is the range that can be appropriately shielded to satisfy the condition, and the dotted area is the range that does not satisfy the condition.
  • FIG. 8 is a diagram showing a setup for demonstrating the principle of OST-HMD.
  • the image projection unit 110 includes a microdisplay 112, a lens 114, and a half mirror 116.
  • the setup 200 of FIG. 8 includes more lenses than the relay lens optical system 122 of FIG. 3, but can be regarded as optically equivalent to the relay lens optical system 122 of FIG. Specifically, the composite lens of the two lenses L 11 and L 12 in FIG. 8 is equivalent to the first lens L1 in FIG. 3, and the composite lens of the four lenses L 21 to L 24 in FIG. 8 is , The second lens L2 of FIG. 3 is equivalent, and the composite lens of the two lenses L 31 and L 32 of FIG. 8 is equivalent to the third lens L3 of FIG.
  • FIG. 9 is a diagram illustrating the law of lens composition.
  • a synthetic lens system including two lenses having a focal length f separated by a distance s is a single lens having a focal length f 2 / (2f ⁇ s) and a distance sf / (2f ⁇ s) on both sides thereof. Equivalent to a system that includes the space of. When s ⁇ f holds, the focal length f 2 / (2f ⁇ s) of the composite lens becomes shorter than the focal length f of the original lens. Therefore, by using the law of synthetic lenses, it is possible to implement an optical system having a focal length shorter than the actual focal length, and the size of the device can be reduced.
  • the relay lens optical system 122 of FIG. 3 brings about a viewpoint shift of a distance of -4f (that is, to the rear side) in the optical axis direction.
  • the setup 200 of FIG. 8 has an advantage that the shift of the viewpoint can be reduced by the space on both sides of the composite lens.
  • FIG. 10 is a diagram showing the relationship between the position of the SLM (LCD) 124 and the distance to the surface of the shielding mask.
  • FIG. 11 is a diagram showing how the image looks when the position of the SLM (LCD) 124 and the gaze position (user's focus position) are changed. These images were taken by placing the camera at the position of the user's eyes and changing the focus position (gaze position) and the position of the SLM124. A sharp occlusion image can be obtained when the gaze position and the position of the SLM 124 (that is, the surface of the occlusion mask) match.
  • FIG. 12 (a) and 12 (b) are diagrams showing the composition of the virtual image and the background image.
  • the background is a distant building.
  • the image projection unit 110 projects three types of virtual images: a screw, a pot, and a castle.
  • the screw is placed in the near focal position, the pot is placed in the medium focal position, and the castle is placed in the distant focal position.
  • the optical shield 120 places the screw shield mask at the same focal position as the screw, the pot shield mask at the same medium focal position as the pot, and the castle shield mask as close as the castle. It is placed at the focal position.
  • FIG. 12B shows the appearance according to the focus position of the user.
  • the screws look sharp when the user focuses on a short distance
  • the pot looks sharp when the user focuses on a medium distance
  • the castle looks sharp when the user focuses on a long distance. It looks sharp.
  • the real background and the virtual image can be combined without any contradiction.
  • FIG. 13 is a diagram showing a relay lens optical system 122F according to the first modification.
  • the relay lens optical system 122 is composed of a three-lens system, but in the first modification, it is composed of a four-lens system.
  • the second lens L 2 at the center of the focal length f / 2 in FIG. 3 is replaced with two lens pairs L 4 and L 5 having a focal length f.
  • FIG. 14 is a diagram showing the OST-HMD100A according to the second modification.
  • the arrangement of the image projection unit 110 is different from the OST-HMD 100 of FIG. 2, during the four system two lenses pair L 4 of the center of the relay lens optical system 122F of, L 5, It has a built-in half mirror that synthesizes images.
  • FIG. 15 is a diagram showing OST-HMD100B according to the third modification.
  • this modification 3 two SLMs 124_1 and 124_2 are incorporated in the relay lens optical system 122, and each of them can be independently positioned by the actuators 126_1 and 126_2.
  • This modification 3 has the advantage of being able to cover both the effective areas of FIGS. 5A and 5B.
  • FIG. 16 is a diagram showing the OST-HMD100C according to the modified example 4.
  • a plurality of SLMs 124_1 and 124_2 are inserted at the same positions in the relay lens optical system 122.
  • a plurality of shielding masks can be simultaneously arranged at a plurality of variable focal lengths.
  • FIG. 17 is a diagram showing the OST-HMD100D according to the modified example 5.
  • Incident light S 1 is the primary input coupler 132 attached to first order light guide plate 130, its internal and guided, it is outputted from the primary output coupler 134.
  • the light output from the primary output coupler 134 passes through the relay lens optical system 122D, is reflected by the mirror 150 and the half mirror 116, is coupled to the secondary light guide plate 140 by the secondary input coupler 142, and guides the inside thereof. Waveguided and output from the secondary output coupler 144.
  • the SLM 124 is inserted between the two lenses of the relay lens optical system 122D.
  • the relay lens optical system 122D corresponds to the two elements (L 1 , L 4 ) in the front stage of the four-lens system relay lens optical system 122F, and the image inverted by the relay lens optical system 122D is By passing through the mirror, it is returned to the original image.
  • a plurality of SLM 124s may be inserted at different locations, or a plurality of SLMs may be stacked and inserted at the same location.
  • OST-HMD has been described, but its use is not limited to that, and it can be applied to various OST-display devices such as OST-HUD (Head Up display).
  • OST-HUD Head Up display
  • the present invention relates to an optical see-through display.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eyeglasses (AREA)

Abstract

光学式シースルー型ディスプレイ100は、映像投影部110と光学遮蔽部120を備える。映像投影部110は、仮想映像を表示するマイクロディスプレイ112を含み、仮想映像の奥行き位置が制御可能である。光学遮蔽部120は、リレーレンズ光学系122と、リレーレンズ光学系122内に配置されたSLM124と、仮想映像の奥行き位置と連動して、空間光変調器124をリレーレンズ光学系122の光軸方向にシフトさせるアクチュエータ126と、を含む。

Description

光学式シースルー型ディスプレイ
 本発明は、光学式シースルー型ディスプレイに関する。
 近年、拡張現実感(Augmented Reality, AR)への期待が高まっており、そのキーデバイスであるヘッドマウントディスプレイ(HMD:Head Mount Display)の開発が進められている。HMDは、現実世界の背景に、仮想世界(拡張世界)の画像や情報を重ねあわせて表示することができる。
 HMDは大きく、ビデオシースルー型(VST:Video-see Through)型と光学シースルー(OST:Optical-see Through)型に分けられる。VST型は、現実世界の映像をカメラによりデジタル画像データに変換し、仮想世界の画像データを信号処理により合成して、ディスプレイに表示するものである。
 OST型は、現実世界の像はそのままユーザに提示しつつ、仮想世界の画像を光学的に合成するものである。図1(a)は、従来のOST-HMDの原理を示す図である。OST-HMD2は、仮想世界の映像を提示するマイクロディスプレイ4と、現実世界の背景光Sと、マイクロディスプレイ4の光Sを重ね合わせる光学系6を備える。図1(a)の例では、光学系6はハーフミラーである。
 図1(a)のOST-HMDでは、マイクロディスプレイ4が表示する仮想映像は半透明に映るため、実在感、現実感に欠けるという問題がある。この問題を解決するため、視界の実環境の光を遮蔽する光学遮蔽(Optical Occlusion)を実現したOST-HMDが提案されている(特許文献1)。図1(b)は、光学遮蔽付きのOST-HMD3を示す図である。
 このOST-HMD3では、光学遮蔽用の空間光変調器(SLM)8がシースルーパスに挿入される。このSLM8は、光学的なマスクである。SLM8とマイクロディスプレイ4は、瞳とSLM間の距離と、瞳とマイクロディスプレイ間の距離とが光学的に等しくなるように配置される。
 また、仮想映像の奥行き(焦点距離)を変化させることが可能なOST-HMDも提案されている(非特許文献1)。この装置(可変焦点型OST-HMDと称する)は、図1(a)のOST-HMD2において、光学系6を、変形可能なビームスプリッタで構成したものである。ビームスプリッタの曲率を変化させることにより、マイクロディスプレイに表示する仮想映像の虚像の位置を、奥行き方向に移動させることができる。
特表2015-519595号公報
Dunn, D., Chakravarthula, P., Dong, & Fuchs, H. (2018, May). Mitigating vergence-accommodation conflict for near-eye displays via deformable beamsplitters. In Digital Optics for Immersive Displays (Vol. 10676, p. 106760U). International Society for Optics and Photonics.
 本発明者らは、非特許文献1に記載の可変焦点型のOST-HMDについて検討した結果、以下の課題を認識するに至った。
 非特許文献1の可変焦点型OST-HMDでは、仮想映像が半透明であるため、現実感を高めるためには改善の余地がある。そこで、可変焦点型OST-HMDに、光学遮蔽を組み合わせることを検討した。特許文献1に記載の技術では、光学遮蔽用のSLMおよびマイクロディスプレイの物理的な位置が固定されている。マイクロディスプレイによって提示される仮想映像の焦点距離(奥行き)をずらすと、仮想映像の奥行き位置と、遮蔽マスクの奥行き位置にずれが生ずる。人間の目が、仮想映像にピントを合わせているとき、このずれが大きくなるほど、遮蔽効果が薄れ、仮想映像が半透明に近づいていく。なお、この問題を当業者の一般的な認識と捉えてはならず、本発明者らが独自に認識したものである。
 本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、仮想映像の奥行き位置にかかわらず、効果的な遮蔽が可能な可変焦点型OST-HMDの提供にある。
 本発明のある態様は、光学式シースルー型ディスプレイに関する。光学式シースルー型ディスプレイは、仮想映像を表示するマイクロディスプレイを含み、仮想映像の奥行き位置が制御可能な映像投影部と、リレーレンズ光学系と、リレーレンズ光学系内に配置された空間光変調器と、仮想映像の奥行き位置と連動して、空間光変調器が生成する光学遮蔽マスクをリレーレンズ光学系の光軸上でシフトさせることで、光学遮蔽マスクの位置を仮想映像の焦点位置に近づける機構と、を含む光学遮蔽部と、を備える。
 リレーレンズ光学系は、焦点距離fを有する第1レンズと、第1レンズからの距離が2fであり、焦点距離がf/2である第2レンズと、第2レンズからの距離が2fであり、焦点距離がfである第3レンズと、を含んでもよい。
 空間光変調器は、第1レンズと第2レンズの間に挿入されてもよい。
 第1レンズ、第2レンズ、第3レンズの少なくともひとつは、複数のレンズの合成レンズであってもよい。
 光学式シースルー型ディスプレイは、リレーレンズ光学系の前段および後段に設けられた導光板のペアをさらに備えてもよい。
 機構は、空間光変調器をリレーレンズ光学系の光軸方向にシフトさせるアクチュエータを含んでもよい。
 本発明のある態様によれば、仮想映像の奥行き位置にかかわらず、効果的な遮蔽が可能な可変焦点型OSTディスプレイを提供できる。
図1(a)は、従来のOST-HMDの原理を示す図であり、図1(b)は、光学遮蔽付きのOST-HMDを示す図である。 実施の形態に係る可変焦点型のOST-HMDの基本構成を示す図である。 光学遮蔽部の基本構成を示す図である。 図4(a)、(b)は、光線の伝搬を説明する図である。 図5(a)、(b)は、SLMの挿入位置の影響を説明する図である。 図6(a)、(b)は、AR像面上の点Pおよびそれ以外の点Pから放射される光線追跡図である。 SLMが適切に遮蔽できる領域を示す図である。 OST-HMDの原理実証のためのセットアップを示す図である。 レンズ合成の法則を説明する図である。 SLMの位置と、遮蔽マスクの面までの距離の関係を示す図である。 SLMの位置および注視位置(ユーザのピント位置)を変化させたときの像の見え方を示す図である。 図12(a)、(b)は、仮想映像と背景画像の合成を示す図である。 変形例1に係るOST-HMDを示す図である。 変形例2に係るOST-HMDを示す図である。 変形例3に係るOST-HMDを示す図である。 変形例4に係るOST-HMDを示す図である。 変形例5に係るOST-HMDを示す図である。
 以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
 また図面に記載される各部材の寸法(厚み、長さ、幅など)は、理解の容易化のために適宜、拡大縮小されている場合がある。さらには複数の部材の寸法は、必ずしもそれらの大小関係を表しているとは限らず、図面上で、ある部材Aが、別の部材Bよりも厚く描かれていても、部材Aが部材Bよりも薄いこともあり得る。
(基本構成)
 初めに図2を参照して、OST-HMD100の基本構成を説明する。図2は、実施の形態に係る可変焦点型のOST-HMD100の基本構成を示す図である。このOST-HMD100は、入射光Sを受け、それに仮想画像を合成して、出力光Sを出力する。
 OST-HMD100は、映像投影部110および光学遮蔽部120を備える。映像投影部110は、仮想映像を表示するマイクロディスプレイ112を含む。映像投影部110は、仮想映像の奥行き位置を制御可能に構成される。仮想映像の奥行き位置の制御の方法は特に限定されず、公知技術あるいは将来利用可能な技術を用いればよい。
 光学遮蔽部120は、それが無いときのユーザの元の視野を維持しつつ、仮想映像の奥行き位置に追従して、遮蔽マスクの奥行き位置をシフトさせる。
 光学遮蔽部120は、リレーレンズ光学系122、空間光変調器(SLM)124、アクチュエータ(リニアステージ)126を備える。SLM124は、リレーレンズ光学系122内に配置され、それを透過する光の強度をパターニングする。たとえばSLM124は、LCD(液晶ディスプレイ)であってもよい。アクチュエータ126は、仮想映像の奥行き位置と連動して、SLM124をリレーレンズ光学系122の光軸方向にシフトさせる。
 図3は、光学遮蔽部120の基本構成を示す図である。リレーレンズ光学系122は、第1レンズL、第2レンズL、第3レンズLを含む。第1レンズLおよび第3レンズLは焦点距離fを有し、第2レンズLは焦点距離f/2を有する。第1レンズLと第2レンズLの距離は2fであり、第2レンズLと第3レンズLの距離も等しく2fである。図3には、ユーザの注視位置からの光源が示される。
 SLM124は、第1レンズLと第2レンズLの間に挿入され、それらの間でアクチュエータ126によって位置決めされる。
 以上がOST-HMD100の構成である。図3の光学遮蔽部120により、それが無いときのユーザの元の視野を維持しつつ、仮想映像の奥行き位置に追従して、遮蔽マスクの奥行き位置をシフトさせることができる理由を、幾何光学にもとづいて説明する。
 図4(a)、(b)は、光線の伝搬を説明する図である。光線の伝搬は、光線伝搬行列Mを用いて表される。光線伝搬行列Mは、ライトフィールド(x,u)を、別のライトフィールド(x’,u’)に変換する。
Figure JPOXMLDOC01-appb-M000001
 ライトフィールド(x,u)は、空間の1点を通過する光線を表す。変数xは、通過点と伝搬軸(通常はレンズ系の光軸と一致する)との距離を表す。変数uは伝搬軸と光線がなす角度を表す。uは、u=sin(u)が成り立つ程度に小さいものとする。
 ある点からの光線が空間を伝搬し、光軸方向に距離d離れた目標点に到達するとき光線伝搬行列P(d)は式(2)で定義できる。図4(a)は自由空間の伝搬を示す。
Figure JPOXMLDOC01-appb-M000002
 光線が焦点距離がfである薄いレンズを通過するときの光線伝搬行列L(f)は、式(3)で表される。図4(b)は、薄いレンズの伝搬を示す。
Figure JPOXMLDOC01-appb-M000003
 これらを用いれば、図3のリレーレンズ光学系122の伝搬行列Mは、式(4)で表される。
Figure JPOXMLDOC01-appb-M000004
 結果として、図3のリレーレンズ光学系122は、光軸方向に距離-4f(すなわち後ろ側に)、視点がシフトし、像を反転させるが、視野を歪ませることはない。図2においてもしレンズがなければ、レンズLからLへの伝搬行列はP(4f)であるから、ユーザは、リレーレンズ光学系122があることにより、その視点があたかも距離にして8f、景色に近づいたかのような現実世界の光をみることとなる。
 続いてSLM124の配置について説明する。一般的な方法は、入射光線のすべては平行光、すなわち無限遠から到来するものとして、SLM124を第1レンズLと第2レンズLの中央に配置することである。光線は第1レンズLからその焦点距離f、離れた面(LCD面)に集光され、遮光がシャープとなる。しかしこの方法では、入射光が平行光と見なせるほどに像面が遠方である場合にのみ、適切に遮光することができる。像面が近い場合、LCD面の後ろに光線が集光され、遮光がにじむ。この遮光のにじみを防止するために、アクチュエータ126はLCD面を光線が集光する面に移動させる。
 像面と第1レンズLの距離をdとし、LCD面と第1レンズLの距離をdとし、第1レンズLの焦点距離をfとするとき、式(5)が成り立つ。
Figure JPOXMLDOC01-appb-M000005
 fは定数であり、dが既知であるとき、dすなわちSLM124を設置すべき位置を、式(5)から計算することができる。
 図3の光学遮蔽部120において、像面からの光線はレンズLとLの間においても結像する。したがって、SLM124をレンズLとLの間に配置することも可能である。ここで、SLM124を、レンズLとLの間(第1エリアという)に配置する構成と、レンズLとLの間(第2エリアという)に配置する構成とを比較する。
 図5(a)、(b)は、SLM124の挿入位置の影響を説明する図である。図5(a)はSLM124を第1エリアに挿入したときの、像面の有効範囲ER1を示し、図5(b)はSLM124を第2エリアに挿入したときの、像面の有効範囲ER2を示す。図5(a)、(b)から分かるように、SLM124の位置にかかわらず、第1レンズLから4f以上遠い範囲は、有効範囲ER1a,ER2aとなる。
 第1レンズLから4fより近い範囲では、図5(a)と図5(b)とで有効範囲が異なっている。図5(a)に示すように、SLM124を第1エリアに挿入した場合、距離2f~4fが有効範囲ER1bとなり、図5(b)に示すように、SLM124を第2エリアに挿入した場合、距離0~2fが有効範囲ER2bとなる。
 したがって、SLM124の挿入位置は、所望の有効範囲にもとづいて選択すればよい。第1エリアに挿入した場合、図5(a)のように連続的な有効エリアを得ることができる。第2エリアに挿入した場合、図5(b)のように、レンズL直近の近視野に仮想映像を提示することが可能となる。
 仮想映像の像面(AR像面という)から出射する光線をSLM124によって遮蔽する場合、SLM124は、本来遮蔽すべきでない光線まで遮蔽したり、本来遮光すべき光線を遮できないことが起こりうる。そこでシーン光のうち、SLM124が適切に遮光できる範囲を説明する。
 図6(a)、(b)は、AR像面上の点Pおよびそれ以外の点Pから放射される光線追跡図である。図6(a)は、点Pの方が遠い場合を、図6(b)はPの方が近い場合を示す。P’は、Pの集光点を、P’は、Pの集光点を示す。
 点Pからの光線は、第1レンズLを透過し、SLM124が配置されるLCD面上の半径Rの円形領域内に集光される。半径Rは式(6)で表される。
Figure JPOXMLDOC01-appb-M000006
 aは、第1レンズL1の開口幅の半値である。SLM124の円形領域の透過率は、点Pからの光の明るさに影響する。なぜなら点Pからの光線はP’において遮蔽され、点Pからの光線も、P’がこの円形領域に含まれるとき、P’において遮光されるからである。つまり関係式(7)が成り立つとき、光線Pからの全光線は点P’において遮光されない。r’は円形領域の中心と点P’の距離である。
Figure JPOXMLDOC01-appb-M000007
 r’は式(8)で表される。
Figure JPOXMLDOC01-appb-M000008
 rは、直線P-P’と点Pを含む平面の交点と、点Pとの距離である。さらに以下のレンズの公式が成り立つ。
Figure JPOXMLDOC01-appb-M000009
 式(6)~(9)より、点Pからの光線が遮蔽されない条件として、以下の不等式を得る。
Figure JPOXMLDOC01-appb-M000010
 この不等式と、x≧xが成り立つ場合に、点Pからの光線は部分的に遮蔽されるが、この場合、点Pに存在する実際の物体が光線を遮蔽するのと同じようにして、SLM124は光線を遮蔽することとなり、除外される。結果として、SLM124が正しく遮蔽する条件は、以下の不等式で表される。
Figure JPOXMLDOC01-appb-M000011
 図7は、SLM124が適切に遮蔽できる領域を示す図である。斜線を付した領域が、条件を満たす適切に遮蔽可能な範囲であり、ドットを付した範囲は、条件を満たさない範囲を示す。
 図8は、OST-HMDの原理実証のためのセットアップを示す図である。映像投影部110は、マイクロディスプレイ112、レンズ114、ハーフミラー116を含む。このセットアップ200は、8枚のレンズを有する。これらのレンズとして、Thorlabs社の製品AC508-076-Aであり、直径50.8mm、焦点距離f=74.9mm、前側焦点距離74.2mm、後側焦点距離61.8mmを用いた。
 図8のセットアップ200は、図3のリレーレンズ光学系122よりも多いレンズを含むが、図3のリレーレンズ光学系122と光学的に等価とみなすことができる。具体的には、図8の2枚のレンズL11,L12の合成レンズが、図3の第1レンズL1と等価であり、図8の4枚のレンズL21~L24の合成レンズが、図3の第2レンズL2と等価であり、図8の2枚のレンズL31,L32の合成レンズが、図3の第3レンズL3と等価である。
 図9は、レンズ合成の法則を説明する図である。距離sを隔てた焦点距離fを有する2枚のレンズを含む合成レンズシステムは、焦点距離f/(2f-s)を有する1枚のレンズと、その両側の距離sf/(2f-s)の空間を含むシステムと等価である。s<fが成り立つとき、合成レンズの焦点距離f/(2f-s)は、元のレンズの焦点距離fよりも短くなる。したがって合成レンズの法則を利用すれば、実際の焦点距離よりも短い焦点距離の光学系を実装することができ、装置のサイズを小型化できる。
 上述のように、図3のリレーレンズ光学系122は、光軸方向に距離-4f(すなわち後ろ側に)の視点のシフトをもたらしている。これに対して、図8のセットアップ200では、合成レンズの両側の空間によって、視点のシフトを減らすことができるという利点がある。
 図10は、SLM(LCD)124の位置と、遮蔽マスクの面までの距離の関係を示す図である。
 図11は、SLM(LCD)124の位置および注視位置(ユーザのピント位置)を変化させたときの像の見え方を示す図である。これらの画像はユーザの目の位置に、カメラを置いて、ピント位置(注視位置)とSLM124の位置を変化させて撮影したものである。注視位置とSLM124の位置(つまり遮蔽マスクの面)がマッチしたときに、シャープな遮蔽像を得ることができる。
 図12(a)、(b)は、仮想映像と背景画像の合成を示す図である。図12(a)に示すように、背景は、遠方のビルである。映像投影部110は、ネジ、ポット、城の3種類の仮想映像を投影している。ネジは近い焦点位置に、ポットは中くらいの焦点位置に、城は遠い焦点位置に配置される。光学遮蔽部120は、ネジの遮蔽マスクを、ネジと同じ近い焦点位置に配置し、ポットの遮蔽マスクを、ポットと同じ中くらいの焦点位置に配置し、城の遮蔽マスクを、城と同じ近い焦点位置に配置している。
 図12(b)は、ユーザのピント位置に応じた見え方を示す。ネジは、ユーザが近距離にピントを合わせたときにシャープに見え、ポットは、ユーザが中距離にピントを合わせたときにシャープに見え、城は、ユーザが遠距離にピントを合わせたときにシャープに見えている。
 このように図8のセットアップ200によれば、現実の背景と、仮想映像を矛盾無く、合成することができる。
 以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
(変形例1)
 図13は、変形例1に係るリレーレンズ光学系122Fを示す図である。ここまでの説明では、リレーレンズ光学系122を3枚系で構成したが、変形例1では、4枚系で構成される。この4枚系では、図3の焦点距離f/2の中央の第2レンズLが、焦点距離fを有する2枚のレンズペアL,Lに置換されている。
(変形例2)
 図14は、変形例2に係るOST-HMD100Aを示す図である。この変形例2では、映像投影部110の配置が図2のOST-HMD100と異なっており、4枚系のリレーレンズ光学系122Fの中央の2枚のレンズペアL,Lの間に、映像を合成するハーフミラーが組み込まれている。
(変形例3)
 図15は、変形例3に係るOST-HMD100Bを示す図である。この変形例3では、リレーレンズ光学系122に、2枚のSLM124_1,124_2が組み込まれており、それぞれがアクチュエータ126_1,126_2によって独立に位置決め可能となっている。この変形例3は、図5(a)、(b)の両方の有効エリアをカバーすることができるという利点を有する。
(変形例4)
 図16は、変形例4に係るOST-HMD100Cを示す図である。この変形例4では、リレーレンズ光学系122の中の同じ位置に、複数のSLM124_1,124_2が挿入されている。これにより、複数の可変焦点距離に、複数の遮蔽マスクを同時に配置することができる。
(変形例5)
 リレーレンズの前段、後段、あるいはその内部に、導光板を挿入して、光路を折り曲げたりシフトさせてもよい。図17は、変形例5に係るOST-HMD100Dを示す図である。入射光Sは、1次入力カプラ132において1次導光板130に結合し、その内部を導波して、1次出力カプラ134から出力される。1次出力カプラ134から出力された光は、リレーレンズ光学系122Dを透過し、ミラー150、ハーフミラー116と反射し、2次入力カプラ142において2次導光板140に結合し、その内部を導波して、2次出力カプラ144から出力される。SLM124は、リレーレンズ光学系122Dの2枚のレンズの間に挿入される。変形例5においてリレーレンズ光学系122Dは、4枚系のリレーレンズ光学系122Fの前段の2枚(L,L)に対応しており、リレーレンズ光学系122Dによって反転された像は、ミラーを通ることにより、元の像に戻される。
 なお、変形例5において、SLM124を複数、異なる箇所に挿入してもよいし、複数のSLMを重ねて同じ場所に挿入してもよい。
(変形例6)
 実施の形態では、透過型のSLMを用いる場合を説明したが、反射型を用いてもよい。
 実施の形態では、OST-HMDについて説明したがその用途はそれに限定されず、OST-HUD(Head Up display)をはじめとするさまざまなOST-ディスプレイ装置に適用できる。
 本発明は、光学式シースルー型ディスプレイに関する。
 2 OST-HMD
 4 マイクロディスプレイ
 6 光学系
 100 OST-HMD
 110 映像投影部
 112 マイクロディスプレイ
 120 光学遮蔽部
 122 リレーレンズ光学系
 124 SLM
 126 アクチュエータ
 L1 第1レンズ
 L2 第2レンズ
 L3 第3レンズ
 200 セットアップ

Claims (6)

  1.  仮想映像を表示するマイクロディスプレイを含み、前記仮想映像の奥行き位置が制御可能な映像投影部と、
     リレーレンズ光学系と、前記リレーレンズ光学系内に配置された空間光変調器と、前記仮想映像の奥行き位置と連動して、前記空間光変調器が生成する光学遮蔽マスクを前記リレーレンズ光学系の光軸上でシフトさせることで、前記光学遮蔽マスクの位置を前記仮想映像の焦点位置に略合わせる機構と、を含む光学遮蔽部と、
     を備えることを特徴とする光学式シースルー型ディスプレイ。
  2.  前記リレーレンズ光学系は、
     焦点距離fを有する第1レンズと、
     前記第1レンズからの距離が2fであり、焦点距離がf/2である第2レンズと、
     前記第2レンズからの距離が2fであり、焦点距離がfである第3レンズと、
     を含むことを特徴とする請求項1に記載の光学式シースルー型ディスプレイ。
  3.  前記空間光変調器は、前記第1レンズと前記第2レンズの間に挿入されることを特徴とする請求項2に記載の光学式シースルー型ディスプレイ。
  4.  前記第1レンズ、前記第2レンズ、前記第3レンズの少なくともひとつは、複数のレンズの合成レンズであることを特徴とする請求項3に記載の光学式シースルー型ディスプレイ。
  5.  前記リレーレンズ光学系の前段および後段に設けられた導光板のペアをさらに備えることを特徴とする請求項1から4のいずれかに記載の光学式シースルー型ディスプレイ。
  6.  前記機構は、前記空間光変調器を前記リレーレンズ光学系の光軸方向にシフトさせるアクチュエータを含むことを特徴とする請求項1から5のいずれかに記載の光学式シースルー型ディスプレイ。
PCT/JP2020/009389 2019-03-19 2020-03-05 光学式シースルー型ディスプレイ WO2020189302A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019050960A JP2022078364A (ja) 2019-03-19 2019-03-19 光学式シースルー型ディスプレイ
JP2019-050960 2019-03-19

Publications (1)

Publication Number Publication Date
WO2020189302A1 true WO2020189302A1 (ja) 2020-09-24

Family

ID=72520884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009389 WO2020189302A1 (ja) 2019-03-19 2020-03-05 光学式シースルー型ディスプレイ

Country Status (2)

Country Link
JP (1) JP2022078364A (ja)
WO (1) WO2020189302A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08304734A (ja) * 1995-05-01 1996-11-22 Canon Inc 画像表示装置及びそれを用いた両眼画像表示装置
JP2001264681A (ja) * 2000-03-22 2001-09-26 Matsushita Electric Ind Co Ltd ディスプレイ装置
JP2015087581A (ja) * 2013-10-31 2015-05-07 株式会社東芝 表示装置
US20180292655A1 (en) * 2017-04-06 2018-10-11 Disney Enterprises, Inc. Compact perspectively correct occlusion capable augmented reality displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08304734A (ja) * 1995-05-01 1996-11-22 Canon Inc 画像表示装置及びそれを用いた両眼画像表示装置
JP2001264681A (ja) * 2000-03-22 2001-09-26 Matsushita Electric Ind Co Ltd ディスプレイ装置
JP2015087581A (ja) * 2013-10-31 2015-05-07 株式会社東芝 表示装置
US20180292655A1 (en) * 2017-04-06 2018-10-11 Disney Enterprises, Inc. Compact perspectively correct occlusion capable augmented reality displays

Also Published As

Publication number Publication date
JP2022078364A (ja) 2022-05-25

Similar Documents

Publication Publication Date Title
JP6792621B2 (ja) 旋回する結像光ガイドを有するヘッドマウントディスプレイ
JP7190337B2 (ja) 回折光学レンズを具備した多重映像ディスプレイ装置
JP6867999B2 (ja) 反射型転換アレイを有する結像光ガイド
RU2579804C1 (ru) Оптическое устройство для формирования изображений дополненной реальности
KR101169446B1 (ko) 구면 및 비구면 기판들을 가지는 출사동공 확장기들
US20170371160A1 (en) Head mounted imaging apparatus with optical coupling
FI128407B (en) Projection lens and waveguide display device
KR20160008951A (ko) 홀로그래픽 시-쓰루 광학 장치, 이를 포함한 스테레오스코픽이미징 시스템, 및 멀티미디어 헤드 장착 시스템
JP2014038226A (ja) 虚像表示装置
US20220382061A1 (en) Image light guide with circular polarizer
US11194158B2 (en) Light guide with beam separator for dual images
US20180157052A1 (en) Display apparatus and method of displaying using optical combiners and context and focus image renderers
JP7093729B2 (ja) シースルー表示システム
US20230152592A1 (en) Augmented reality display device
JP6794738B2 (ja) 頭部装着型表示装置
US20200004019A1 (en) Augmented reality (ar) display
JP2023543422A (ja) 円筒状導波管を有する光学システム
US20200081255A1 (en) Light guide with polarization separator for dual images
WO2020189302A1 (ja) 光学式シースルー型ディスプレイ
CN116209941A (zh) 用于离轴内耦合和观察的补偿衍射波导
JP7053622B2 (ja) シースルーディスプレイシステム
KR102524150B1 (ko) 투명 디스플레이를 이용한 대화면 직시형 증강현실 영상 제공 장치 및 방법
US20240069348A1 (en) Light projector module
CN111983805A (zh) 可穿戴显示设备的光学系统
KR20030017941A (ko) 착용형 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20773416

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20773416

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP