WO2025173291A1 - Vrまたはmrゴーグルシステム、vrまたはmrゴーグル、方法、及びプログラム - Google Patents

Vrまたはmrゴーグルシステム、vrまたはmrゴーグル、方法、及びプログラム

Info

Publication number
WO2025173291A1
WO2025173291A1 PCT/JP2024/032984 JP2024032984W WO2025173291A1 WO 2025173291 A1 WO2025173291 A1 WO 2025173291A1 JP 2024032984 W JP2024032984 W JP 2024032984W WO 2025173291 A1 WO2025173291 A1 WO 2025173291A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
information
user
distance
lens barrel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/032984
Other languages
English (en)
French (fr)
Inventor
雅之 小塚
美裕 森
弘一 中西
洋一 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of WO2025173291A1 publication Critical patent/WO2025173291A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus

Definitions

  • This disclosure relates to a VR or MR goggle system, a VR or MR goggle, a method, and a program.
  • the drawback is that the distance between the eye and the lens increases, so if the same size lens panel is used, the FoV (Field of View) becomes smaller. To maintain the FoV size, the lens panel must be enlarged, which makes the main body 1 larger and heavier.
  • the vertex distance 41 is narrow (approximately 12 to 17 mm), so it is not possible to secure space 42 for glasses, as shown in Figure 30A, making it difficult to use while wearing glasses.
  • An advantage of a small head-mounted display is that the main body 1 can be made smaller, making it possible to achieve a compact and lightweight design.
  • the lens magnification is high and the lens itself is small, the sweet spot tends to be small. For this reason, if you do not use it with your eyes positioned correctly, you may not be able to see the VR images correctly.
  • head-mounted displays When head-mounted displays are used for work, they are often shared. In such cases, each person cannot keep their own dedicated lenses attached to the shared head-mounted display, so they have to put on and take off their dedicated lenses every time, which is cumbersome and impractical.
  • head-mounted displays An example of shared use of head-mounted displays is when automobile companies or architectural design firms use VR to check products created using 3D CAD. In this case, the head-mounted display needs to be shared between multiple employees, superiors, and clients to check the design.
  • Patent Document 1 is configured to change the optical characteristics of the lens itself, there is a risk that it may not be able to adequately accommodate the various eye characteristics of users.
  • Figure 32A shows the interpupillary distance 44 and pupillary horizontal line 43, which are eye information that should be taken into consideration when using glasses or head-mounted displays.
  • the pupillary horizontal line 43 is a horizontal line connecting the centers of the left and right pupils
  • the interpupillary distance 44 (PD: Pupilary Distance) is the distance from the vertical center line of the nose to the centers of the left and right pupils, and is measured separately for each eye during vision tests, etc. (In eyeglass prescriptions and VR, only the total value may be used).
  • Figures 32B and 32C show the relationship between the structure of the eye and glasses, which should be taken into consideration when creating glasses (eyeglass prescriptions) for each individual.
  • the line of sight 45 is not directed toward the horizon, but rather is directed slightly downward. This angle is called the forward tilt angle ⁇ 50. Glasses are designed so that the line of sight 45 is perpendicular to the optical center point 52 of the glasses' lens 69. For distance glasses, this forward tilt angle ⁇ 50 is set to 5 degrees (regular use: 5-10 degrees, near use: 10-15 degrees; VR goggles are designed for use with distance glasses).
  • the eyeglass lens 69 is tilted by a forward tilt angle ⁇ 50.
  • ⁇ 50 the position of the optical center line 51 of the lens in the vertical direction differs from the pupil horizontal line 43. This shifted distance is called the deviation amount 47.
  • This deviation amount 47 is calculated as follows:
  • the distance between the vertices k48 is usually set to 12 mm (glasses must be worn so that the distance is 12 mm in order to achieve corrected vision).
  • the glasses are designed so that the positional relationship in the depth direction is such that the vertex distance k48 is fixed at 12 mm, the left and right interpupillary distance is 44, and the top and bottom are 2.2 mm below the pupillary horizontal line 43.
  • Figure 1 shows the basic structure of a head-mounted display and its relationship to the eyes.
  • FIG. 1A is a schematic diagram showing the basic structure of a head-mounted display.
  • the head-mounted display is made up of three parts: a lens barrel 3 (comprising a display panel, a group of lenses, etc.) for displaying images corresponding to the left and right eyes; a main body 1 for holding each lens barrel 3 and generating and sending VR images to the lens barrel 3; and a holder 2 (face pad, etc., that doubles as a shielding means) for attaching the head-mounted display to the face.
  • a lens barrel 3 comprising a display panel, a group of lenses, etc.
  • main body 1 for holding each lens barrel 3 and generating and sending VR images to the lens barrel 3
  • a holder 2 face pad, etc., that doubles as a shielding means
  • Figure 1D shows the head-mounted display being worn on the face.
  • the parts of the holder 2 that are worn on the face or head (such as the face pad) are made of soft materials, which allows it to accommodate different facial shapes.
  • the size and sense of distance of objects in the VR space will not be reproduced correctly unless the VR space is viewed in a position where the line of sight 45 and the optical center point 52 of the lens are aligned, and the position of the eyes and lenses is aligned with the vertex distance 41 assumed in the design.
  • the electrical and system components of a head-mounted display are contained in the main body 1 and its main part, the lens barrel 3, but in order to ensure the correct wearing position, the design of the holder 2 is extremely important in order to adapt to the different shapes of each person's head and face (eyes, nose, ears). It is also important to guide the display to the correct position by providing feedback after wearing to see if it is being worn in the correct position, and by using means to fine-tune the relative positions of the lens barrel 3, main body 1, and holder 2.
  • Figure 33A shows the main body 1 of the head-mounted display as seen from the wearing side (lens side).
  • the two left and right lens barrels 3 connected to the main body 1 can be moved left and right to align the center of each user's eye with the optical center point 52 of the lens 4.
  • Figure 33B shows the relationship between the optical center point 52 of the lens 4 and the pupil center point.
  • the optical center points 52 of the left and right lenses 4 are located below the pupillary horizon 43, and the interpupillary distance 44 does not match the distance between the optical center points 52 of the left and right lenses 4.
  • the VR space cannot be viewed correctly.
  • Figure 33C shows a schematic diagram of what happens when a user wears a head-mounted display. Even if the top-bottom and left-right relationships are in the correct positions as in "After Adjustment" in Figure 33B, if the vertex-to-vertex distance 41 differs from the vertex-to-vertex distance of the design value for the head-mounted display, the user will be viewing with an incorrect sense of size, distance, and FoV, as shown in Figure 34, and will no longer be able to sense an incorrect sense of size or distance.
  • Compact VR goggles often have relatively large lens magnification and a narrow sweet spot (eye box) due to their small lens panels. For this reason, when using compact VR goggles to experience VR, issues with the position of the goggles are more likely to arise.
  • Figure 34C shows the case where viewing is performed at a vertex distance of 58, which is farther than the design value of vertex distance 54.
  • the FoV is narrower than the design value of the head-mounted display, and the VR space image is seen to be distorted.
  • the size of objects appears smaller and the distance appears greater, creating an unnatural feeling.
  • Figure 35 shows the differences in configuration between VR and MR systems.
  • FIG 35A shows a schematic diagram of a VR system.
  • the VR system is composed of an input means 65, a VR display control unit 11, and a VR display unit 10.
  • Figure 35B shows a schematic diagram of an MR system (VST: Video See Through method).
  • VST Video See Through method
  • the MR system also has a VST input means 34 and a VST video synthesis means 36.
  • Figure 35C shows an example of MR image synthesis in an MR system.
  • a VST input image 66 input from the VST input means 34 and a 3D spatial image 67 (image capable of alpha blending) generated by the VR display control unit 11 are synthesized by the VST image synthesis means 36 to generate an MR synthesized image 68, which is sent to the VR display unit 10, where the MR synthesized image 68 is played back.
  • the synthesized MR composite image 68 is played back on the VR display unit 10, it is viewed through the lenses, so the user is affected by the wearing position and the distance between the vertices.
  • the interpupillary distance adjustment means is set using the interpupillary distance value in the eyeglass prescription
  • the diopter adjustment function is set using the D value of the spherical lens in the eyeglass prescription, and if astigmatism correction is required, regular astigmatism correction using cylindrical lens correction and mild strabismus correction using prism correction are provided.
  • FIGS. 38A to 38D are diagrams showing four ways of attaching the main body to the face (head).
  • FIG. 38E shows an external view of a head-mounted display with a deco pad-holding type mounting member attached to the top surface of the main body.
  • FIG. 38F shows a perspective view of the deco pad holding type mounting member alone.
  • FIG. 39 is a diagram showing a relationship table between three-axis moving means for adjusting the positional relationship between the eye and the lens and holding methods.
  • FIG. 40 is a diagram showing a flowchart of one embodiment (Type 1) of the configuration of the head-mounted display of the present disclosure.
  • 41A and 41B are diagrams (schematic diagrams) showing an embodiment of a means for moving the interpupillary distance by moving the lens barrel.
  • the holder 2 acts as a face pad and is attached to the face, while the side bands 59 and headband 60 secure the main body 1 of the head-mounted display to the head.
  • This allows the head-mounted display to be firmly fixed to the head.
  • it is difficult to shift the wearing position to change the relative position of the eyes and lenses.
  • the main body 1 is fixed to the head with the side bands 59 and headband 60, it is difficult to create a mechanism that allows the main body 1 to be moved up and down while the holder 2 remains fixed to the face. If a shift in position occurs, the side bands 59 and headband 60 must be loosened and the main body 1 must be reattached. It is possible to introduce a mechanism that allows slight movement in the depth direction (example: Meta's Quest3, etc.).
  • an eye tracking system using only one infrared light source and one infrared camera for each eye has also been put into practical use (reference example: Gazin's (Taiwan) eye tracking system, https://ganzin.com/).
  • An infrared light source illuminates the user's eyes, and the infrared light reflected by the eyes is received.
  • infrared light it is possible to eliminate interference from visible light and obtain a clear image of the user's eyes.
  • the obtained eye images can then be processed using image processing and machine learning techniques to obtain image data for multiple eyes, from which the user's eye position and gaze position can be estimated.
  • This system can also detect the pupil center position and measure the distance between the vertices.
  • FIGS 80A to 80C are diagrams showing an example of a method for measuring the intervertex distance.
  • a light source 201 and a light receiving unit 203 used for eye tracking are provided around the lens 4 inside the lens barrel 3.
  • the light source 201 and the light receiving unit 203 are included in the eyeball position measurement means 6.
  • the light receiving unit 203 can be composed of an image sensor such as a CCD.
  • the light source 201 shines light onto the user's eye, and the light receiving unit 203 receives and processes the reflected light from the user's eye to not only estimate the eye direction but also determine the intervertex distance.
  • Figure 80E is an image of the user's left eye captured by the light receiving unit 203 for the left eye.
  • the X axis (horizontal axis) and Y axis (vertical axis) are defined, passing through the centers of the light receivers of the left and right light receiving units 203. For example, by determining in advance the positional relationship between the center of the light receiving unit 203 and the optical center of the lens, it is possible to detect the deviation of the position of the user's eye from the optical center of the lens.
  • step S020 if the interpupillary distance needs to be manually adjusted, in step S021, guide information 72 for the interpupillary distance setting process (start) as shown in Figure 42 is displayed.
  • step S022 the interpupillary distance is detected by the eyeball position measurement means, and in step S023, it is determined whether the interpupillary distance is correct. If correction is necessary, proceed to step S024; if not, jump to step S026.
  • step S024 guide information is displayed based on the value detected by the eyeball position measurement means.
  • step S025 the user is prompted to manually narrow the interpupillary distance using the interpupillary distance adjustment means.
  • step S025 the user is prompted to manually narrow the interpupillary distance using the interpupillary distance adjustment means.
  • step S025 the user is prompted to manually widen the interpupillary distance using the interpupillary distance adjustment means.
  • step S026 the interpupillary distance setting process (end) guide information 75 as shown in FIG. 42 is displayed, and the process ends.
  • step S040 if the function for automatically adjusting the inter-vertex distance is provided, the lens barrel control means 7 compares the design value between the vertices obtained from the optimal inter-vertex distance information storage means 20 with the measured current inter-vertex distance based on the value detected by the eyeball position measurement means in step S041, and determines the amount of movement of the lens barrel 3.
  • step S042 the lens barrel depth movement means 9 moves the lens barrel 3 by the calculated amount of movement, thereby adjusting the inter-vertex distance to the optimal distance.
  • step S055 the user is prompted to manually narrow the distance using the depth distance adjustment means.
  • step S055 the inter-vertex distance is too narrow, at least one of the lens position adjustment message (instruction to move closer) 84 and the lens position adjustment value display 86 as shown in FIG. 44 is displayed as a guidance message, and in step S055, the user is prompted to manually widen the distance using the depth distance adjustment means. Then, the process returns to step S052.
  • step S056 the inter-vertex setting process (end) guide information 85 as shown in FIG. 44 is displayed, and the process ends.
  • Figure 45 shows a flowchart of one embodiment of the configuration of the head-mounted display of the present disclosure ((Type 2) face pad design (changing the thickness, changing the distance between the face pad and the main body 1)).
  • the adjustment process can be ended at any time as an interrupt and the head-mounted display can be used.
  • Figure 50 shows the diopter adjustment means (spherical lens adjustment means) in a head-mounted display.
  • Figure 51 shows the means for moving the display panel 5 inside the lens barrel 3.
  • Figure 51C shows a third example of a diopter adjustment method that uses movement of the display panel. This shows a method in which the outer periphery of the lens and the inner periphery of the adjustment ring are threaded. With this method, the lens adjustment range, adjustment precision, and adjustment force can be adjusted by the pitch of the threads, but compared to Figure 51B, this is a coarser adjustment. The actual mechanism will have a different structure depending on the structure of the lens mounting location, etc.
  • Figure 6A is an example of a schematic diagram of a head-mounted display viewed from above
  • Figure 6B is an example of a system configuration diagram of Figure 6A.
  • the adjustment process can be ended at any time as an interrupt and the head-mounted display can be used.
  • the lens barrel 3 has a spherical lens adjustment means 22.
  • This spherical lens adjustment means 22 allows the positional relationship between the eyes and the lens to be set to the optimal position, and then diopter adjustment can be performed while maintaining this state. This means that even with a small head-mounted display that does not require glasses to view the VR space, glasses users can use the head-mounted display without glasses.
  • the lens barrel 3 has a spherical lens adjustment means 22.
  • This spherical lens adjustment means 22 allows the positional relationship between the eyes and the lens to be set to the optimal position, and then diopter adjustment can be performed while maintaining this state. This means that even with a small head-mounted display that does not require glasses to view the VR space, glasses users can use the head-mounted display without glasses.
  • the lens barrel 3 has a spherical lens adjustment means 22.
  • This spherical lens adjustment means 22 allows the positional relationship between the eyes and the lens to be set to the optimal position, and then diopter adjustment can be performed while maintaining this state. This means that even with a small head-mounted display that does not require glasses to view the VR space, glasses users can use the head-mounted display without glasses.
  • the diopter adjustment means is not limited to the movement between the lens 4 and display panel 5 shown in Figure 50D.
  • Fluid lens and liquid crystal lens technologies that can dynamically change the lens power have been developed (e.g., FlexEnable's liquid crystal lenses: https://www.flexenable.com/applications/tunable-lenses-for-ar-VR-and-smart-glasses/). Using these technologies, it is possible to change the lens power electrically without physically moving the lens.
  • Figure 10A is an example of a schematic diagram of a head-mounted display viewed from above
  • Figure 10B is an example of a system configuration diagram of Figure 10A.
  • the lens barrel 3 has an additional lens attachment means 23 on the front of the lens 4.
  • This 23 allows the optimal positional relationship between the eyes and the lens to be set, and then, while maintaining this state, an additional lens made based on an eyeglass prescription can be attached, allowing the user to view the VR space under the same conditions as when wearing eyeglasses.
  • Figure 54B shows the relationship between the eye 40, lens 4, and display panel 5 in the case of myopia.
  • the focal point is located in front of the retina, causing the image on the display panel to be blurred.
  • Figure 54C shows an example of a correction method using an additional lens for myopia.
  • Figure 11A is an example of a schematic diagram of a head-mounted display viewed from above, and Figure 11B is an example of a system configuration diagram of Figure 11A.
  • lens barrel 3 has an additional lens mounting means 23 in front of the lens 4.
  • Figure 12 shows a system configuration diagram of one embodiment of the configuration of the head-mounted display disclosed herein (an example in which a user information storage means 25 is added to the configuration of (Type 1) in Figure 6).
  • the personal identification information that identifies the user using the head-mounted display is extracted by the user identification information input means 93, and after the initial wearing settings according to the flowchart in Figure 52 are performed, the personal vision-related setting data (interpupillary distance, spherical lens power) is extracted via the lens barrel control means 7 in the VR display unit 10, and a pair of the personal identification information and personal vision-related information is stored in the user information storage database 94.
  • the individual is identified using the user identification information input means 93, and based on that user's personal identification information, that user's personal vision-related information is retrieved from the user information storage database 94.
  • This personal vision-related information is sent to the VR display unit 10, and the eyepiece horizontal movement means 8 sets the interpupillary distance, and the spherical lens adjustment means 22 sets the spherical lens power value.
  • the user information storage means 25 may also be stored within the main unit 1 or in a device other than the head-mounted display itself, such as a PC.
  • Figure 56 shows the flowchart (S200) for resetting.
  • step S200 a process is added to retrieve personal corrective visual acuity information from the user information storage and setting means, and the retrieved interpupillary distance and spherical lens power values are used for setting.
  • the interpupillary distance adjustment flow S210 called in step S003 of the S200 flowchart and the diopter adjustment process (automatic) S220 and (manual) S230 called in step S102 are different.
  • step S211 the interpupillary distance value in the personal corrective visual acuity information extracted from the user information storage/setting means 92 is set in the horizontal lens barrel movement means.
  • step S212 the horizontal lens barrel movement means uses the interpupillary distance value to move the lens barrel 3 and adjust the distance of the lens barrel 3 to the user's interpupillary distance.
  • step S231 displays a guide image to help the user adjust the diopter.
  • step S232 the user adjusts the diopter using the spherical lens adjustment means 22.
  • the adjustment process can be ended at any time as an interrupt and the head-mounted display can be used.
  • the user identification information input means 93 can also perform individual identification using the unique eye information (each person's IPD information, eye color, pupil color and size, etc.) that can be generated by the eyeball position measurement means 6, thereby enabling accurate automatic individual identification.
  • Figure 13 shows an example of a system configuration diagram of the head-mounted display of the present disclosure (an example in which an additional lens attachment means 23 is added to the configuration of (Type 1) in Figure 12).
  • lens barrel 3 has an additional lens mounting means 23 in front of the lens 4.
  • This section describes the second of three solutions to issue 2, "Since small goggles cannot accommodate glasses, mitigation measures are needed for users who wear glasses.”
  • This solution involves a mechanism that switches VR space generation parameters such as distortion correction, taking into account the thickness of the adapter lens and shift lens.
  • Figure 14 shows one example of the configuration of a head-mounted display according to the present disclosure.
  • Figure 14A is an example of a schematic diagram of a head-mounted display viewed from above
  • Figure 14B is an example of a system configuration diagram of Figure 14A.
  • the main body 1 is held on the user's face by the holding part 2 (all configurations (Types 1 to 3) are possible, but this holding mechanism is not shown in Figure 14 as it is irrelevant).
  • the VR display unit 10 is composed of an additional lens attachment means 23, a horizontal barrel movement means 8 for moving the barrel 3 left and right to match the interpupillary distance to that of the user, an optimal vertex distance information storage means 20, and a barrel control means 7 for controlling the movement of the barrel 3 by controlling the horizontal barrel movement means 8 and reporting the adjusted lens position to the lens position information storage means 18.
  • the VR display control unit 11 has a VR image generation means 15, which converts VR image data 16 or VR data generated by the VR application 16 into an image to be displayed on the VR display unit 10 based on 6DoF information.
  • the converted image is sent to the VR display unit 10 via a distortion correction means 14, which corrects distortion based on distortion correction data based on the optical characteristics of the lens 4 and other components of the VR display unit 10, stored in a lens distortion information group storage means 24.
  • the disadvantage of the additional lens being too close to the eye can be avoided by adjusting the distance between the additional lens 90 and the eyeball 40 to the design vertex distance 54.
  • the vertex distance 91 which is the distance between the lens 4 and the eyeball plus the thickness of the additional lens, will be larger than the design value of vertex distance 54. If a head-mounted display is used in this state, the expected VR space cannot be viewed because parameters such as distortion correction are set to the design value of vertex distance 54.
  • the lens distortion information group storage means 24 stores distortion correction parameters for vertex distance 91, which is the sum of the thickness of the additional lens when additional lens 90 is added to the distortion correction parameters for vertex distance 54, which is the design value when no additional lens is present, and switches between created (or dynamically created) lens distortion information depending on whether additional lens 90 is attached to additional lens attachment means 23, the thickness of the additional lens, etc.
  • VR will be displayed using lens distortion correction information for 12 mm. If an additional lens is attached and the design value for vertex distance 54 is 12 mm, VR will be displayed using lens distortion information generated using the value of 12 mm + the thickness of the adapter lens.
  • X d p 2 (3x 2 +y 2 )+x ⁇ k 2 (x 2 +y 2 ) 2 +k 1 (x 2 +y 2 )+1 ⁇ +2p 1 xy Formula (A)
  • Y d p 1 (x 2 +3y 2 )+y ⁇ k 2 (x 2 +y 2 ) 2 +k 1 (x 2 +y 2 )+1 ⁇ +2p 2 xy Formula (B)
  • (x, y) are coordinates with the center of the lens at (0, 0)
  • (X d , Y d ) are coordinates after distortion correction
  • k 1 and k 2 are distortion coefficients in the radial direction of the lens
  • p 1 and p 2 are distortion coefficients in the circumferential direction of the lens.
  • the lens distortion information storage means 19 and the lens distortion information group storage means 24 store the parameters k1 , k2 , p1 , and p2 as distortion information based on the design value of the vertex distance. Furthermore, the lens distortion information group storage means 24 also stores the parameters k1 , k2 , p1 , and p2 as distortion information based on the design value of the vertex distance and the thickness of the additional lens. By providing the lens distortion information group storage means 24 with such a configuration, the VR display control unit 11 can correct any deviations in the vertex distance that are not sufficiently adjusted using distortion information based on the design value of the vertex distance and the thickness of the additional lens.
  • Figure 15 shows another embodiment of the configuration of the head-mounted display of the present disclosure.
  • Figure 15A is an example of a schematic diagram of the head-mounted display viewed from above
  • Figure 15B is an example of a system configuration diagram of Figure 15A.
  • the main body 1 is held on the user's face by the holding part 2 (all configurations (Types 1 to 3) are possible, but this holding mechanism is not shown in Figure 14 as it is irrelevant).
  • a spherical lens adjustment means 22 is provided in addition to the components of the basic structure of the head-mounted display. This configuration is for realizing the diopter adjustment function using the shift lens and spherical lens adjustment means 22 described in Figure 11.
  • the lens distortion information group storage means 24 has distortion correction parameters for both cases without an additional lens and for an additional lens, and by switching the parameters depending on whether or not an additional lens is present, optimal VR space viewing is achieved regardless of whether or not an additional lens is present.
  • Figures 16A and 16B are MR goggle versions of Figures 14A and 14B.
  • Figures 17A and 17B are MR goggle versions of Figures 15A and 15B.
  • This section describes the third of three solutions to issue 2, "Since glasses cannot be fitted into compact goggles, mitigation measures are needed for users who wear glasses.” This solution is to "achieve a virtual glasses function within a head-mounted display based on glasses prescription information.”
  • the virtual glasses function aims to achieve the same effect as wearing glasses by obtaining a glasses prescription or a set of corrective vision information measured from the glasses, and then setting the interpupillary distance, spherical lens strength, and other settings within the head-mounted display based on the values of that corrective vision information.
  • the function achieves the same effect as wearing glasses.
  • Figure 59 shows an eyeglass prescription in Japan and eyeglass information obtained from an auto lens meter.
  • An eyeglass prescription has two powers: distance power (For Distance) for seeing far away and near power (For Reading) for seeing close up.
  • distance power For Distance
  • Force Reading For Reading
  • the image itself is displayed on a display panel near the eyes, but in the VR space, the image is displayed at a distance through the lenses, so the virtual eyeglasses function uses the "distance" power.
  • Figure 59A shows eyeglass prescription data.
  • the corrective visual acuity information used in eyeglass prescriptions is information on both the left and right eyes for six items: spherical power, cylindrical power, astigmatism axis, prism, base, and interpupillary distance.
  • Spherical power is the power of a spherical lens used to correct myopia and hyperopia, and is a "-" value for myopia and a "+” value for hyperopia.
  • Cylinder power is the power of a cylindrical lens used to correct astigmatism
  • AXIS astigmatism axis
  • Prism PRISM is a numerical value used to correct strabismus and is measured in delta prism diopters.
  • Base indicates the direction of prism correction and is expressed as IN (inward), OUT (outward), UP (upward), DOWN (downward), or a value between 0 and 360 degrees.
  • Pupil distance indicates the distance from the center of the face to the center of the pupils of the left and right eyes.
  • Figure 59B shows an example of a measurement taken with an auto lens meter.
  • An auto lens meter is a device that can read lens information from eyeglasses. (See, for example, https://www.nidek.co.jp/products/glasses/optical_list/optical_lensemeter/lm-1800pd.html.)
  • the distance correction visual acuity information read from glasses using an auto lens meter can be extracted as the same information as the information in a glasses prescription (spherical power, cylindrical power, astigmatism axis, prism, base and PD information for each eye).
  • Figure 18 shows an overview of the configuration of an embodiment of VR goggles with a spherical lens adjustment means.
  • Figure 18 shows a system configuration diagram of one embodiment of the configuration of the head-mounted display disclosed herein (an example in which a corrective vision correction means 26 is added to the configuration of (Type 1) in Figure 6).
  • Figure 18 also shows a configuration in which a corrective vision correction means 26 is added instead of the user information storage means 25 in Figure 12.
  • Figure 6B has a corrected vision correction means 26 which includes a corrected vision information input means 28 that allows the user wearing glasses to input their own corrected vision information 29 when they start using the head-mounted display, a corrected vision information storage means 27 that stores that information, and a corrected vision information setting means 101 that transmits that information to various setting means of the head-mounted display and sets the values of that information.
  • a corrected vision correction means 26 which includes a corrected vision information input means 28 that allows the user wearing glasses to input their own corrected vision information 29 when they start using the head-mounted display, a corrected vision information storage means 27 that stores that information, and a corrected vision information setting means 101 that transmits that information to various setting means of the head-mounted display and sets the values of that information.
  • the corrective vision information setting means 101 retrieves the corrective vision information stored in the corrective vision information storage means 27 and provides it to the spherical lens adjustment means 22 and the lens barrel horizontal movement means 8 via the lens barrel control means 7, thereby realizing a usage environment based on the user's corrective vision information.
  • Figure 60 shows a flowchart (S300) of the configuration diagram in Figure 18.
  • the flowchart in Figure 60 is almost identical to the flowchart in Figure 56, with the difference being that at the beginning of the processing in step S300, the "retrieval of individual corrected visual acuity information from the user information storage/setting means" processing in step S201 has been replaced with the addition of step S301 "acquisition of corrected visual acuity information 29 in the corrected visual acuity information input means 28", step S302 "saving of corrected visual acuity information 29 in the corrected visual acuity information storage means 27", and step S303 "setting of corrected visual acuity information 29 in the corrected visual acuity information setting means 101", and that in the interpupillary distance adjustment flow S210 and the diopter adjustment flow, corrected visual acuity information 29 is now set.
  • Figure 61 shows an example of a guide image for diopter adjustment.
  • the user adjusts the focus for their right eye, then their left eye, and since the power of their corrected visual acuity and their current power are displayed, the user can adjust the power of their corrected visual acuity to their target value.
  • Figure 19 shows an example of a system configuration diagram of the head-mounted display of the present disclosure (an example in which an additional lens attachment means 23 is added to the configuration of (Type 1) in Figure 18).
  • the eyeglasses user's spherical lens power exceeds the adjustment range of the head-mounted display's spherical lens adjustment means, a warning is displayed to the user, encouraging them to wear shift lenses, and the adjustment value of the spherical lens adjustment means must be reduced by the amount of the shift lenses. Furthermore, even if the user's facial orientation changes, for example by looking down or tilting, the display screen follows the change in facial orientation, so the astigmatic distortion correction process does not change.
  • adding a means to the additional lens attachment means 23 to detect whether an additional lens is attached or not, and to detect the type of additional lens attached (such as the power of a shift lens), would further improve user convenience.
  • Figures 20 and 21 show a similar configuration to that of Figures 18 and 19, in which a vision correction means 26 is added to the MR goggles.
  • Figures 18, 19, 20, and 21 show a configuration in which only spherical lens power and interpupillary distance are used as corrective vision information 29.
  • corrective vision information 29 may also include cylindrical power and astigmatism axis for astigmatism correction. This section explains how to implement the virtual glasses function in this case of astigmatism.
  • Astigmatism is a condition in which the focus of vision does not converge in one place, meaning that the image cannot be focused on the retina.
  • the eye is able to see a focused image by refracting incoming light with the cornea and lens, which act as lenses, and focusing it at a single point. If the cornea and lens are perfectly spherical, the focus will be at a single point at the back of the eye.
  • Regular astigmatism occurs when the cornea or lens is shaped like a rugby ball, tilted in one direction - up and down, left and right, or diagonally - making it impossible to focus at a single point.
  • certain lines can be seen clearly, but lines that intersect at right angles to them are difficult to see. This condition can be corrected with a cylindrical lens. What is usually referred to as "astigmatism" is regular astigmatism.
  • Irregular astigmatism cannot be corrected with glasses because it is caused by an irregular cornea and cannot be corrected with cylindrical lenses. Therefore, these virtual glasses only target regular astigmatism.
  • Regular astigmatism is divided into straight astigmatism, against-the-rule astigmatism, and oblique astigmatism, depending on the direction of distortion.
  • Figure 62 shows the symptoms of the three types of astigmatism.
  • Figure 62A is an astigmatism test chart
  • Figure 62B is an example of straight astigmatism
  • Figure 62C is an example of against-the-rule astigmatism
  • Figure 62D is an example of oblique astigmatism.
  • Straight astigmatism is the most common type of astigmatism, where the top and bottom are squashed like a rugby ball turned sideways, and vertical lines are clearly visible, but horizontal lines appear blurry.
  • against-the-rule astigmatism is a type where the left and right sides are squashed, and horizontal lines are clearly visible, but vertical lines are difficult to see.
  • Oblique astigmatism is a type where the cornea or lens is at an angle, making it easy to see diagonal lines and difficult to see lines that intersect them at right angles.
  • Regular astigmatism can be corrected with cylindrical lenses.
  • Eyeglass prescriptions list the cylindrical power and the axis of astigmatism, so these two values can be used to visually recreate the effect of cylindrical lenses. This can be achieved using the same methods as correcting lens aberrations and distortions.
  • the cylindrical lens adjustment means deforms the image in the same way as for aberration correction, based on information about the cylindrical lens, in order to correct regular astigmatism.
  • the mathematical formula for deformation is given by Equation (2), since the cross-sectional power of the cylindrical lens is sin 2 ⁇ .
  • R( ⁇ ) R ⁇ sin 2 ⁇ Formula (2) where R: refractive power in the direction of the strongest meridian (D) ⁇ : deviation angle of the principal meridian from the principal meridian of the cylindrical lens (the position where the meridian direction is perpendicular to the principal meridian direction is 0°) R( ⁇ ): refractive power on the principal meridian at a deviation angle ⁇ from the principal meridian of the cylindrical lens
  • Figure 81 will be used to explain how to calculate the refractive power distribution. From the cylindrical lens information, it can be seen that the distortion of one of the user's eyes is vertical (180°) straight astigmatism, with a power of +4D.
  • a cylindrical lens has a "power direction,” which is a direction in which the lens has optical power and generates refractive power along the direction of the lens curvature, and a "non-power direction" in which the lens has no optical power.
  • the power direction of the cylindrical lens is aligned with the Y-axis (vertical) to match the direction of the principal meridian of the user's eyeball, in order to match the state of vertical straight astigmatism.
  • the power direction of the cylindrical lens is positioned along the Y-axis.
  • the center of the display screen for the VR video in Figure 81 is taken as the origin O (0,0)
  • the central axis of the cylindrical lens in Figure 81 will be positioned at a point that passes through the origin O of the display screen for the VR video.
  • the astigmatism angle is 180 degrees, so the central axis of the cylindrical lens is the X-axis.
  • the length of the cylindrical lens in the power direction is equal to the width of the display image plane in the Y-axis direction.
  • the display screen for the VR video is assumed to approximately match the VR video displayed on the display panel.
  • the refractive index distribution can be used to correct distortion caused by the user's astigmatism in the displayed image.
  • FIGS 63 and 64 show specific examples of this processing.
  • Figure 63 is a diagram explaining the basic concept of correcting regular astigmatism.
  • the top row of Figure 63 shows that when a user with astigmatism views the image on the top left, it appears as if it were the image on the top right. In other words, this is a case of regular astigmatism, where the top and bottom appear to be compressed relative to the left and right.
  • the bottom diagram shows how VR can be used to correct astigmatism that appears like this so that vision is correct.
  • the figure on the far left in the bottom row appears the same as the left in the top row. If a vertically stretched deformation is added to correct for astigmatism, it becomes the figure second from the left in the bottom row. If the distortion correction in the VR basic software third from the left in the bottom row is added to this in order to correct the distortion that VR has, fourth from the left in the bottom row, it becomes the figure third from the right in the bottom row. This is the same as the figure second from the left in the bottom row after astigmatism correction has been made. This is the figure displayed on the display panel and seen through the lens.
  • Figure 64 is a diagram for explaining the basic concept of correcting regular astigmatism. The difference from Figure 63 is that it illustrates regular astigmatism that appears to be contracted in a diagonal direction tilted to the right, i.e., when the astigmatism axis is oblique.
  • the top row shows the same image as in Figure 63, with the image on the left as seen by a person with astigmatism shown on the right.
  • the bottom row shows how to correct this type of astigmatism using VR, similar to Figure 63.
  • astigmatism can be corrected by adding a correction with the inverse characteristics to the regular astigmatism indicated by the cylindrical lens power and astigmatism axis written on the prescription using VR.
  • Figure 22 shows an overview of the configuration of an embodiment of VR goggles with virtual glasses functionality that has a spherical lens adjustment means and a cylindrical lens adjustment means.
  • Figure 22 shows a system configuration diagram of one embodiment of the configuration of the head-mounted display of the present disclosure (an example in which an adjustment means for accommodating astigmatism is added to the configuration of (Type 1) in Figure 18).
  • a cylindrical lens adjustment means 30, which is an adjustment means for dealing with astigmatism, has been added to the vision correction means 26, and an astigmatism correction means 31 has been added to the VR display control unit 11.
  • the cylindrical lens adjustment means 30 extracts astigmatism-related information, such as cylindrical power and astigmatism axis information, from the vision correction information storage means 27, and passes it to the astigmatism correction means 31.
  • the astigmatism correction means 31 uses the astigmatism-related information to perform the astigmatism correction processing described in Figures 63 and 64, and outputs the corrected image to the distortion correction means.
  • Figure 65 shows a flowchart (S400) of the configuration diagram in Figure 22.
  • the flowchart in Figure 65 is the flowchart in Figure 60 with an astigmatism processing section added.
  • the difference from the flowchart in Figure 60 is that at the end of S300 in the flowchart in Figure 60, there is a section added that extracts the current cylindrical power from the cylindrical lens adjustment means in step S414, and determines in step S415 whether the extracted cylindrical power matches the cylindrical power in the corrected visual acuity information (if they match, there is no need to set the cylindrical power), and if they do not match, there is a section added that calls the cylindrical lens adjustment process in step S416.
  • step S411 the cylindrical lens adjustment means 30 extracts astigmatism-related information, such as cylindrical power and astigmatism axis information, from the corrective vision information storage means 27.
  • step S412 the cylindrical lens adjustment means 30 passes the cylindrical lens information group to the astigmatism correction means 31, so that the astigmatism correction means 31 processes the astigmatism correction process contents in accordance with the information in the cylindrical lens information group.
  • Figures 23 and 24 show an outline of the configuration of an embodiment of MR goggles with a virtual eyeglasses function that has a spherical lens adjustment means and a cylindrical lens adjustment means.
  • the corrective vision information stored in the corrective vision information storage means 27 is the same as in Figure 22, and the functions of the cylindrical lens adjustment means 30 and the astigmatism correction means 31 are also the same as in Figure 22.
  • Figure 23 The only difference between Figure 23 and Figure 24 is that in Figure 23, the astigmatism correction means 31 is performed after the VST video synthesis means 36 synthesizes the VST video from the VST video processing means 35 and the VR video from the VR video generation means 15, or before the synthesis.
  • Figures 22, 23, and 24 show a configuration in which information for correcting astigmatism is used as corrective visual acuity information 29 in addition to spherical lens power and interpupillary distance.
  • corrective visual acuity information 29 may also include information on prisms and bases for correcting strabismus. This section shows how to implement the virtual glasses function for glasses prescriptions that also include strabismus correction information.
  • strabismus occurs when, when looking at an object, both eyes face the target, but while one eye is looking at the target, the other eye faces in a different direction from the target.
  • strabismus can be divided into three types: esotropia, exotropia, and hypertropia (hypotropia), depending on the position of the eyes. Mild cases of strabismus can be improved by using a prism, as shown in Figure 66B.
  • the image of the VR space displayed on the panel is viewed through lenses, making correction more difficult than with glasses.
  • Figure 67A shows the ideal display panel and lens arrangement for strabismus in which the left eye is facing outward
  • Figure 67B shows the actual display panel and lens arrangement.
  • the ideal display panel/lens arrangement would be directly facing the eyeball, so it should be as shown in Figure 67A, but in reality, the left and right display panels/lenses are generally fixed in the same way, so it ends up looking like Figure 67B.
  • the left eye ends up looking outward from the display panel, and with the usual display method of a head-mounted display, the image seen will be slightly distorted.
  • this is achieved by changing the angle of the virtual camera for the left eye to match the degree of strabismus, and modifying the distortion parameters as necessary. Furthermore, since excessive differences from the actual field of view can cause severe fatigue, it is also effective to adjust the degree of correction to suit the user's preferences. Corrections can also be made in a similar way for other types of strabismus.
  • Figures 68 and 69 are diagrams explaining the basic concept of correcting strabismus using VR.
  • Figure 68 shows a situation where a person with strabismus is viewing an image displayed in VR.
  • FIG 68A shows the concept of VR video display.
  • VR video displays the images seen by each eye on the left and right eye display panels. This is achieved by displaying images of the VR space to be displayed, captured by virtual cameras (virtual cameras) located at the left and right eye positions that capture 3D space, on the left and right display panels.
  • Figure 68B illustrates a normal person with no strabismus looking at the left and right display panels. Because both the left and right eyes are facing forward, they are facing the same direction as the virtual cameras in Figure 68A, allowing the VR video to be viewed without any problems and providing proper stereoscopic vision.
  • Figure 69A shows how to correct strabismus like that shown in Figure 68A using VR.
  • the virtual camera for the left eye is pointed in the opposite direction depending on the degree of strabismus.
  • the virtual camera is pointed to the right.
  • Figure 68B shows the situation when this is viewed in VR, with the image for the left eye shifted slightly to the left.
  • the left eye is facing outward to the left, so the image displayed with the left eye is shifted slightly to the right, as shown in Figure 69B, and so the left and right eyes see images that are almost the same as those seen by a normal person.
  • the brain also makes corrections to the images seen by the eyes, so the amount of correction needs to be adjusted depending on the condition of the person with strabismus.
  • One guideline is the prism and base values on the prescription. From here, adjustments can be made while actually viewing in VR to achieve a comfortable viewing experience.
  • Figures 82A and 82B are diagrams used to explain the basic concept of correcting strabismus with VR.
  • Figure 82A shows a situation in which a person with strabismus in the left eye is viewing an image displayed in VR without correction.
  • the central diagram in Figure 82A is a plan view showing the shooting ranges of the virtual camera for the right eye and the virtual camera for the left eye in virtual space.
  • the diagram on the right side of Figure 82A shows the field of view when the display screen of the VR image captured by the virtual camera for the right eye is viewed with the normal right eye.
  • the diagram on the left side of Figure 82A shows the field of view when the display screen of the VR image captured by the virtual camera for the left eye is viewed with the left eye with strabismus.
  • the diagram on the left side of Figure 82B shows the field of view when the display screen of the VR image captured by the virtual camera for the left eye is viewed with a strabismus-affected left eye.
  • object 211 is located near the center of the field of view of the normal right eye.
  • the left eye which has strabismus, is facing inward, so the field of view is tilted to the right.
  • Figure 25 shows an overview of the configuration of an embodiment of VR goggles with virtual glasses functionality that have a spherical lens adjustment means, a cylindrical lens adjustment means, and a prism adjustment means.
  • Figure 25 also shows a system configuration diagram of one embodiment of the configuration of the head-mounted display disclosed herein (an example in which an adjustment means for accommodating strabismus is added to the configuration of (Type 1) in Figure 22).
  • Figures 27, 28, and 29 show the case where a head-mounted display with a virtual glasses function is shared by multiple people. It is extremely troublesome to re-enter the corrected vision information for the virtual glasses function every time a new user is used. Therefore, it is desirable to be able to store the corrected vision information of multiple people, as in Figure 12.
  • Figure 27 has the same configuration as Figure 12, with the addition of a user information storage means 25 and a user identification information input means 93 to Figure 18.
  • Figure 28 is Figure 20
  • Figure 29 is Figure 25, with the addition of a user information storage means 25 and a user identification information input means 93.
  • video obtained by the VST input means is sent to the PC, and the PC also has VST video synthesis means (however, in this configuration, video obtained by the VST input means is sent to the PC for synthesis processing, which raises concerns about delays in playback of the synthesized image).
  • FIGS 71C and 71G show examples of the separate type (smartphone-connected type).
  • the head-mounted display is connected to a nearby smartphone via wired or wireless connection, and the VR display control unit (means for generating 3D space) runs on the smartphone.
  • This configuration has the advantage of being compact and easy to use, but since the GPU processing power of smartphones is inferior to that of PCs, it is not suitable for running complex VR applications for business use.
  • FIGS 71D and 71H show examples of the separated type (cloud-linked).
  • the VR goggles are connected to a nearby PC or smartphone via a wired or wireless connection, and then connect to the cloud via that PC or smartphone, or directly to the cloud via wireless, with the VR display control unit (3D space generation means) running on the cloud side.
  • the VR display control unit 3D space generation means
  • head-mounted displays that are optimized for individuals using eyeglass prescription information may, like eyeglasses, only be permitted to be certified as medical devices and sold in specific sales formats. It is also possible that the head-mounted display itself could be sold as a general IT device, with the virtual glasses function sold separately as a software product certified as a medical device. To achieve this, a product structure could be created that is divided into two products: a head-mounted display (normal IT device) that has the basic control means necessary to realize the virtual glasses function but cannot realize the virtual glasses function, and virtual glasses function control software (medical device certified software) for realizing the virtual glasses function.
  • a head-mounted display normal IT device
  • virtual glasses function control software medical device certified software
  • the head-mounted display (e.g., Figures 27 and 29) has a lens barrel horizontal movement means 8 for correcting the interpupillary distance, a vertical position adjustment means 12 for correcting the vertical mounting position, a lens barrel depth movement means 9 for correcting the vertex distance, and a spherical lens adjustment means 22, but does not have a corrective vision information input means 28 or a corrective vision information setting means 101, etc.
  • the virtual glasses function control software has a corrective vision information input means 28, a corrective vision information storage means 27, a corrective vision information setting means 101, etc., and can store glasses prescription information.
  • a corrective vision information input means 28 a corrective vision information storage means 27, a corrective vision information setting means 101, etc.
  • glasses prescription information By using the glasses prescription information to control each function of the head-mounted display, VR viewing using the glasses prescription information can be realized.
  • Figure 72 shows software configuration example 1 for an integrated head-mounted display with virtual glasses functionality.
  • the VR goggle control software 114 performs basic control of the head-mounted display and communicates with the VR app 16 via the VR basic software 113.
  • the VR app 16 plays audio/video, and the video is displayed as VR on the VR display unit 10 controlled by the VR goggle control software 114 via the VR display control unit 11 controlled by the VR basic software 113.
  • Audio is processed in the same way, but this processing is omitted in this diagram.
  • Head tracking information, controller tracking information (so-called 6DoF information), and audio input from the controller and microphone are passed as VR input to the VR basic software 113 via the VR goggle control software 114 in part.
  • the 6DoF information and controller information are normalized, and the VR display control software is controlled, 3D CG is drawn, and audio communication is performed.
  • the VR basic software 113 has the role of enabling various VR apps 16 to connect with the VR goggle control software 114, by transforming the video/audio according to the characteristics of the head-mounted display, normalizing head tracking information and controller tracking information into a specified format, and sending it to the VR app 16.
  • the extraction of VR video according to the tracking information is performed within the VR app 16, but since this is executed using the functions of the VR basic software 113, in the configuration diagram it is shown as being included in the VR display control unit 11.
  • the vision correction means control software 115 measures and adjusts the vertex distance through the vision correction means 26, and also controls the light source for measuring eyeball position and the eyeball position measurement camera to correct the interpupillary distance and wearing position. It determines the eyeball position by measuring the eyeball position from the image acquired from the eyeball position measurement camera, and based on this value, determines the optimal lens/display panel position and controls the lens/display panel position by lens/display panel position control to obtain the optimal image. If necessary, these conditions are sent to the VR basic software 113 via the VR goggle control software 114, and VR display control such as optimal distortion correction is performed. In some cases, the vision correction means 26 can manually change the lens/display panel position.
  • the VR goggle control software 114 also performs communication settings when the power is turned on, other initial settings, and processing when the power is turned off.
  • Distortion correction processing is also generally performed by the VR basic software 113 controlling the VR control means, but when the power is turned on or the initial settings are changed, the distortion correction conditions are changed according to the required parameter values, allowing correction to be made according to the characteristics of the VR goggles.
  • Cylindrical lens adjustment and prism adjustment, including distortion correction can be performed by controlling the VR display control unit 11 with the VR basic software 113, but the basic configuration is for the user to make adjustments while viewing a test pattern, etc.
  • Figure 73 shows software configuration example 1 for the separate head-mounted display of the present invention.
  • the functions, software, and operation are similar to those of the integrated head-mounted display in Figure 72, but the head-mounted display is equipped with VR goggle control software 114, corrective vision correction means control software 115, VR display unit 10, and corrective vision correction means 26, while the host, such as a PC, is equipped with VR basic software 113, VR application 16, and VR display control unit 11.
  • VR input means 17, such as 6DoF information, a microphone, and a controller, may be input to the head-mounted display and sent to a PC, etc., or may be input directly to a PC, etc.
  • the PC or the like may be a computer connected via a network such as the cloud.
  • the vision correction means control software 115 and the vision correction means 26 may be provided in the PC or the like.
  • Figure 74 shows software configuration example 2 for the integrated head-mounted display of the present invention.
  • Figure 72 The difference from Figure 72 is that it is equipped with corrected vision information processing software 116.
  • Corrected vision information processing software 116 inputs the user's corrected vision information from an input device such as a USB memory or keyboard, and saves and transmits the saved corrected vision information to corrected vision correction means control software 115.
  • Corrected vision correction means control software 115 controls corrected vision correction means 26 based on the transmitted corrected vision information, and performs correction appropriate for the user.
  • the PC or the like may be a computer connected via a network such as the cloud. Also, when the input means is input to the PC or the like and information is sent to the corrected vision information processing software 116, the corrected vision information processing software 116, the corrected vision correction means control software 115, and the corrected vision correction means 26 may be provided in the PC or the like.
  • the difference from Figure 74 is that the corrected vision information processing software 116 obtains the user's corrected vision information from the corrected vision information server 118 directly or indirectly via the network. All other operations are the same.
  • Figure 77 shows software configuration example 3 for the separate VR goggles of the present invention.
  • the difference from Figure 75 is that the corrected vision information processing software 116 obtains the user's corrected vision information from the corrected vision information server 118 directly or indirectly via the network. All other operations are the same.
  • the PC or the like may be a computer connected via a network such as the cloud.
  • the corrected vision information processing software 116, corrected vision correction means control software 115, and corrected vision correction means 26 may also be provided on the PC or the like.
  • the corrected vision server is connected to the PC or the like via a network.
  • a user of a head-mounted display with virtual glasses function inputs information other than the glasses prescription information measured at a medical institution, etc. as glasses prescription information, the virtual glasses function will be used in an inappropriate situation.
  • some kind of usage restriction can be imposed on the means of storing glasses prescription information, thereby preventing the virtual glasses function from being used with incorrect glasses prescription information.
  • the means for storing eyeglass prescription information will have a lock and unlock mechanism so that this function can only be used with eyeglass prescription information created by an ophthalmologist or specialist institution.
  • a key to activate this function must be obtained from a key issuing institution that issues the key after confirming that it is a valid prescription and that the eyeglass lens information has been measured by an accredited institution (such as a contracted eyeglass store). Once the key is obtained, the function will be enabled.
  • Corrected vision information issued by an ophthalmologist or certified optician includes an identification ID. If the corrected vision information is on paper rather than computer data, it may be a code or string of characters printed on the screen, such as a two-dimensional code.
  • An ophthalmologist or certified optician will issue separate identification information, which is entered and stored in the identification information input/storage means when the VR or MR goggles app is installed.
  • the identification information and corrected visual acuity information may be obtained from a configured server using a pre-assigned access key.
  • a method for providing a VR space or an MR space to a user who has strabismus in at least one eye using a head-mounted display comprising: acquiring visual characteristic information of the user's eye; a step of correcting an orientation of the virtual camera in a direction that cancels out a deviation amount between a normal gaze direction and a gaze direction obtained from the visual characteristic information of the eye when capturing an image of the VR space or the MR space with the virtual camera in a reference coordinate system set in a three-dimensional spatial coordinate system having a lens of the virtual camera as its origin, according to the deviation amount between the normal gaze direction and a gaze direction obtained from the visual characteristic information of the eye; and displaying the corrected image on the head-mounted display.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

VRまたはMRゴーグルは、VR表示データおよび6DoF情報を少なくとも含む入力情報からVR表示制御部(11)により生成されたVR映像を左右の目に対し独立に表示するためVR表示部(10)と前記VR表示部を顔や頭に固定する手段を持つ保持部(2)とを備え、前記VR表示部は、少なくとも一つのレンズ(4)と表示パネル(5)とを含む左右2つの鏡筒部(3)と、眼の位置と眼と鏡筒内のレンズの位置関係と距離を計測する眼球位置測定手段(6)と、眼球位置測定手段を用いて前記ユーザーの眼と前記鏡筒部内の前記ユーザーの眼に最も近いレンズの距離である頂点間距離を計測し、計測結果が設計目標値に合うように、前記鏡筒部と眼球の距離を調整する調整手段(9)と、を有する。

Description

VRまたはMRゴーグルシステム、VRまたはMRゴーグル、方法、及びプログラム
 本開示は、VRまたはMRゴーグルシステム、VRまたはMRゴーグル、方法、及びプログラムに関する。
 本開示では、眼とレンズとの位置関係を正しくなるように調整することにより、VR空間の物体の大きさ感や距離感を正しく認識できるようにすることを実現するVRまたはMRゴーグルシステム、VRまたはMRゴーグル、方法、及びプログラムに関するものである。
 更に本開示では、ヘッドマウントディスプレイを眼鏡使用者が、利用する場合の課題を緩和すること、及び、眼鏡なしでヘッドマウントディスプレイを利用できるようにするために、自分の矯正視力情報(眼鏡処方箋情報)をヘッドマウントディスプレイに設定することでバーチャルな眼鏡機能を実現するVRまたはMRゴーグルシステム、VRまたはMRゴーグル、方法、及びプログラムに関するものである。
 図30Aに大型ヘッドマウントディスプレイ(VRゴーグルまたはMRゴーグル)の模式図を、図30Bに小型ヘッドマウントディスプレイ(VRゴーグルまたはMRゴーグル)の模式図を示す。図30Aの大型ヘッドマウントディスプレイの場合は、頂点間距離41が広い(30~40mm程度)ため、眼鏡のための空間42を確保できる。このため、眼鏡を装着したままで使うことが可能である。
 大型ヘッドマウントディスプレイの利点としては、自分の眼鏡が使えるので、各人矯正視力に合わせる機構が不要である。また、レンズ・パネルが大きいため、スイートスポットが大きくしやすい。このため、装着位置に関する課題が発生しにくい。
 欠点は、眼とレンズの間の距離が離れるため、同一のサイズのレンズ・パネルを使った場合、FoV(視野角:Field of View)が小さくなる。FoVのサイズを維持するためには、レンズ・パネルを大型化する必要があり本体部1が大きく、重くなる。
 また、眼鏡を装着したまま使う場合は、眼鏡がヘッドマウントディスプレイに押されて歪んでしまうため正しい矯正視力で見ることができない場合がある。また汗等で曇ることや眼鏡やツルが押し当てられて痛い等の不快さがある。
 図30Bの小型ヘッドマウントディスプレイの場合は、頂点間距離41が狭い(12~17mm程度)ため、図30Aに示したように、眼鏡のための空間42を確保することができないため、眼鏡を装着したままでの利用は困難である。
 このため、眼鏡の代替となる機能が必要になる。小型ヘッドマウントディスプレイの利点としては、本体部1を小さくできるため、小型・軽量が実現可能である。
 欠点は、眼鏡の代替となる機能として、各自専用のアダプターレンズを作る、もしくはピント調整機能等の眼鏡の機能の一部を再現する手段を持つ必要がある。
 また、レンズ倍率が高く、レンズ自体が小さいため、スイートスポットが小さくなりやすい。このため、正しい位置に眼を持って行って使用しないと、VR映像を正しく見ることができない場合がある。
 VRの利用を本格化させるためには、ハイエンドPCモニターと同等の高画質(解像度、コントラスト、色空間、フレームレート等)の実現と小型軽量による、装着時の精神的、肉体的な負担軽減(重さ、大きさ、装着性)の両立が必要と考える。図31にヘッドマウントディスプレイ(VRまたはMR)の必要な表示パネルの性能の比較表を示す。
 従来は、小型で高画質な表示パネル技術は無かった。最近は、マイクロOLED等のマイクロディスプレイ技術が実用化されつつある。このマイクロOLEDパネルを利用することで、小型化と高画質化の両立が可能になった。
 図31に示したように、ヘッドマウントディスプレイの高画質化自体は、LCDパネルでもマイクロOLEDパネルでも、30PPD(角度(分)当たりの画素数。Pixels Per Degree)以上の高画質VRゴーグルを実現することは可能である。(マイクロOLEDパネルの場合は、3000PPI(インチ当たりの画素数。Pixels Per Inch)のパネルは実現可能)になった。しかし、小型化と高画質を両立させるためには、現状はマイクロOLEDパネルを使わないと実現困難である。
 小型化と高画質を両立させた小型ヘッドマウントディスプレイは、正視者、もしくはコンタクトレンズ利用者にとっては、非常に便利である。しかし、眼鏡を装着したままでは利用できないため、眼鏡利用者への対応が必要となる。現在販売されている、小型VRゴーグルでは、眼鏡の代替策として、ピント調整機能や交換レンズ装着機能が使われている。
 眼鏡利用者が自分専用の小型ヘッドマウントディスプレイを利用する場合は、本人の眼鏡処方箋にあった専用レンズを作り、正しい位置に装着させること快適な利用が可能になる。
 業務でヘッドマウントディスプレイを利用する場合は、ヘッドマウントディスプレイの共用利用の形態が多い。この場合、各自の専用レンズを共用のヘッドマウントディスプレイに装着したままにはできないため、毎回専用レンズの装着、脱着が必要となり煩雑で実用的でない。
 ヘッドマウントディスプレイを共用利用する例としては、自動車会社や建設デザイン会社で、3D-CADで生成した製品をVRで確認する場合がある。この場合は、複数の社員間、上司、また顧客との間でデザイン確認のためヘッドマウントディスプレイの共用が必要となる。
 別の例としては、テーマ―パークや博物館等でのヘッドマウントディスプレイの利用、不動産(マンション)の物件の内見等、不特定多数の顧客がVRを使って自動車、クルーザー等の販売対象物を確認する場合等がある。
 このため、小型VRゴーグルを業務利用させるためには、共用のための各人眼鏡に相当する機構(ピント調整機能等)が必要になり、この使い勝手がヘッドマウントディスプレイの利用効率向上に寄与する。
 例えば、参考Web資料1には、装着状態を改善するためのアイトラッキング技術の活用事例が開示されている。また、特許文献1には、ヘッドマウントディスプレイ内で眼鏡代替する方式が開示されている。
特表2022-553629号公報
参考文献
(参考Web資料1)https://www.tobii.com/ja/solutions/extended-reality/device-optimization
 本開示では、下記の2つの課題を解決するVRまたはMRゴーグルシステム、VRまたはMRゴーグル、方法、及びプログラムを提供することを目的とする。
 サイズ感、距離感を正しく見えるようにするためには、眼とヘッドマウントディスプレイのレンズとが正しい位置関係になった状況で使う必要がある。
 小型ゴーグルでは、眼鏡が入らないので、眼鏡を代替する手段が無いと使えない。このための代替手段の提供が必要である。
 しかしながら、参考Web資料1で、瞳孔間距離や上下位置を補正することによる装着状態を改善するためのアイトラッキング技術の活用事例が開示されているが、頂点間距離の補正を行わないため、VR空間内の物体のサイズ感や距離感を再現できないリスクがある。
 また、特許文献1のデバイスは、レンズ自体の光学特性を変更する構成であるため、ユーザーの様々な眼の特性に適切に対応できないおそれがある。
 2つの課題を明確化するために、まず、図32を使って眼鏡のレンズと目の位置関係について述べる。その後ヘッドマウントディスプレイの課題について述べる。
 図32Aでは、眼鏡やヘッドマウントディスプレイで考慮すべき目の情報である瞳孔間距離44と瞳孔水平線43を示す。瞳孔水平線43は、左右の瞳孔の中心を結ぶ水平線であり、瞳孔間距離44(PD:Pupillary Distance)は、鼻の垂直中心線から左右の瞳孔の中心までの距離であり、視力検査時等には左右別々に計測される(眼鏡処方箋やVRでは、合計値のみを使う場合もある)。
 図32B及び図32Cでは、各自の眼鏡(眼鏡処方箋)を作る時に配慮すべき目の構造と眼鏡の関係を示す。視線45は水平線方向を向いているのではなく、若干下の方向を見ている。この角度を前傾角θ50と呼ぶ。眼鏡は、視線45が眼鏡のレンズ69の光学中心点52に対して垂直に入射するように設計される。この前傾角θ50は、遠用眼鏡の場合は、5度(常用:5-10度、近用:10-15度、VRゴーグルは遠用眼鏡の利用を想定)に設定される。
 眼鏡のレンズ69は前傾角θ50の分だけ傾いている。このため垂直方向のレンズの光学中心線51の位置は瞳孔水平線43とは異なる。このズレた距離のことを偏位量47と呼ぶ。この偏位量47は下記のように計算する。
 頂点間距離k48は日本では通常12mmに設定されている(眼鏡は12mmになるように装着しないと正しい矯正視力はでない)。回旋点間距離e49は13mmとなるため、偏位量h47は、
 h=(k+e)×tan(θ)の式により、
(0.0012+0.0013)×tan(5°)=0.00022となり、h=2.2mmになる。
 図32Dは、眼鏡と眼との位置関係を示す。上下方向の位置関係は、瞳孔水平線43と光学中心線51(眼鏡の2つのレンズの光学中心点を結んだ線)間の距離である偏位量h47が2.2mmのため、光学中心線51が瞳孔水平線43より2.2mm下に来るように設定される。上下方向の位置関係は、眼鏡のレンズの光学中心点52に対し視線45が垂直に入るように製作されるため、眼鏡の左右のレンズの中心の水平方向の距離は瞳孔間距離44で決まる。
 上記のように眼鏡では、奥行方向の位置関係は、頂点間距離k48は12mm固定で、左右は瞳孔間距離44、上下は瞳孔水平線43の下2.2mmになるように設計されている。
 ヘッドマウントディスプレイもレンズ技術を使った装着型視覚拡張デバイスとして、レンズやレンズと眼鏡の間の位置関係等は、眼鏡と同様な配慮が必要となる。
 図1で、ヘッドマウントディスプレイの基本構造と眼との関係を示す。
 図1Aは、ヘッドマウントディスプレイの基本構造を示す模式図である。ヘッドマウントディスプレイは、左右の眼に応じた映像を表示させるための鏡筒部3(表示パネルとレンズ群等で構成)とそれぞれの鏡筒部3を保持しVR映像を生成し鏡筒部3に送るための本体部1と、ヘッドマウントディスプレイを顔に装着するための保持部2(フェースパッド等で遮蔽手段を兼用)の3つの部分で構成される。
 図1Bでは、一体型のヘッドマウントディスプレイの構成を、図1Cでは、VR表示制御部11をPC等の外部機器に置いた2体型の構成を示す。
 TVやスマホのディスプレイの場合は、表示される映像を眼に直接は入るため実像を見ている。これに対し、ヘッドマウントディスプレイの場合は、表示パネル5に映しだされた映像をそのまま見るのではなく、レンズ4を通して表示パネル5に投影されるVR空間内の物体を見る。つまり、レンズ4をとおして虚像をみている。このため、表示パネル5に表示される映像はレンズ4の影響をうけた後、眼の網膜に投影される。
 ヘッドマウントディスプレイのレンズ(群)は、表示パネル5とレンズ4の関係、レンズと眼の位置関係を想定した上で鏡筒部として構成する。ヘッドマウントディスプレイ利用時には、視線45とレンズの光学中心点52が一致するように位置関係とレンズの焦点距離等から計算される最適な頂点間距離41になることを前提に設計する。このため、正しい目とレンズ4の位置になるようにして視聴しないと、VR空間内の物体が歪んで見えたり、物体の大きさ、距離感が正しく再現されない(レンズの影響で物体の虚像のサイズ(視角)が異なってしまうため等)。
 図1Dでは、ヘッドマウントディスプレイを顔に装着した場合を示す。保持部2の顔や頭に装着する部分(フェースパッド等)には、柔らかい材料を使うことで、顔の形状の違いを吸収して装着することを可能にしている。ヘッドマウントディスプレイを装着時に、視線45とレンズの光学中心点52が一致するような位置関係で且つ、設計で想定した頂点間距離41に眼とレンズの位置関係にしたうえで、VR空間を見ないと、VR空間内の物体の大きさ、距離感が正しく再現されない。
 但し、視線とレンズの光学中心が一致するような位置関係であれば、レンズ設計上の頂点間距離41が多少前後しても、レンズ4のアイボックス(きれいに見える範囲)内であれば、物体の形状はほぼはっきり見える(但し、サイズ感、距離感は正しくない)ため、実用上あまり問題にならない場合もあり、ユーザーは自分が正しい距離で見ているかどうかが分からない。
 ヘッドマウントディスプレイの電気的、システム的な構成要素は、本体部1とその主要部分である鏡筒部3にあるが、正しい装着位置を得るためには、各自の異なった形状の頭、顔(目、鼻、耳)に合わせるためには、保持部2の設計が非常に重要になる。また、装着後に正しい位置で装着できているのかのフィードバックや鏡筒部3や本体部1と保持部2の位置関係を微調整する手段等で、正しい位置に誘導することが重要である。
 図33で、ヘッドマウントディスプレイと眼の位置関係を示す。ヘッドマウントディスプレイの場合も図32の眼鏡と同様にヘッドマウントディスプレイのレンズの光学中心点52を視線が垂直に通る場合にVR空間を正しく見ることができる。ズレている場合は、サイズ感や距離感が不適切に見えたり、空間が歪んで見えることもある。
 図33Aは、ヘッドマウントディスプレイの本体部1を装着側(レンズ側)から見た図を示す。本体部1に接続されている左右2つの鏡筒部3はユーザーの各自の眼の中心とレンズ4の光学中心点52を合わせるために、左右に動かすことが可能である。
 図33Bは、レンズ4の光学中心点52と瞳孔中心点との関係を示す。左側の「調整前」の図では、左右のレンズ4の光学中心点52が瞳孔水平線43より下に位置し、且つ瞳孔間距離44と左右のレンズ4の光学中心点52間の距離との一致していない。このため、正しいVR空間の視聴ができない。
 右の図の「調整後」のように、左右のレンズ4の光学中心点52と左右の目の瞳孔中心点を一致させるように、鏡筒部3を動かすことで、左右のレンズ4の光学中心点52間の距離を瞳孔間距離44に合わせる必要がある。更に本体部1と保持部2との位置関係を変えるまたは、保持部2を動かすことで装着位置を変えることで、上下の位置関係も正しい位置に持って行くことが可能である。
 図33Cは、ユーザーがヘッドマウントディスプレイを装着した場合の模式図を示す。上下、左右の関係が図33Bの「調整後」のように正しい位置にあっても、頂点間距離41がヘッドマウントディスプレイの設計値の頂点間距離と異なった場合は、図34に示すような、サイズ感や距離感、FoVが正しくない状態で視聴することになるため、サイズ感、距離感は正しくない感じることはできなくなる。
 図34で、解決しようとする課題1を説明する。
 大型ヘッドマウントディスプレイの場合は、レンズ・パネルが大きい構成のため、レンズ倍率が比較的小さく、スイートスポットを大きくしやすい。このため、装着位置に関する課題の発生をある程度抑えることができる。また目とレンズ間の距離に関してもアイボックスが大きいため、ある程度の範囲であれば、クリアーなVR映像を視聴することが可能となる。
 小型VRゴーグルは、レンズ・パネルが小さいため、レンズ倍率が比較的大きく、スイートスポット(アイボックス)が狭い場合が多い。このため、小型VRゴーグルを利用してVRを体験する場合、装着位置に関する課題がより発生しやすい。
 図34Aは、レンズ4の設計値の頂点間距離54に、実際の頂点間距離41を、奥行距離調整機構等を使って調整した場合を示している。この場合は、設計時のFoVでVR空間を視聴することができる。この場合は、サイズ感や距離感も正しく視聴できる。
 図34Bは、設計値の頂点間距離54より近い頂点間距離56で視聴した場合を示す。この場合はFoVが見かけ上広くなるが実際に表示パネル5に表示されている映像は変わらないため、VR空間で表示されているFoVは変わらず、歪んだVR空間映像が見えてしまうことになる。また物体が大きく見えるため、物体のサイズ感が大きく、距離感が小さく感じられるので違和感がある。
 図34Cは、設計値の頂点間距離54より遠い頂点間距離58で視聴した場合を示す。この場合は、FoVがヘッドマウントディスプレイの設計値のFoVより狭くなり、歪んだVR空間映像を見えてしまうことになる。また物体のサイズ感が小さく、距離感が大きく感じられるので違和感がある。
 従って、頂点間距離を測り、ヘッドマウントディスプレイを装着後にヘッドマウントディスプレイの設計最適な頂点間距離に誘導することが重要であるが、従来はこのような機能を持つVRゴーグルの例はなかった。
 図35でVRシステムとMRシステムの構成の違いを示す。
 図35AはVRシステムの模式図を示す。VRシステムは、入力手段65、VR表示制御部11、VR表示部10から構成される。
 図35Bは、MRシステム(VST:Video See Through方式)の模式図を示す。MRシステムは、VRシステムの3つの構成要素に加え、VST入力手段34とVST映像合成手段36とを持つ。
 図35Cは、MRシステムでのMR映像合成の一例を示す。VST入力手段34から入力されたVST入力画像66とVR表示制御部11で生成された3D空間画像67(αブレンディング可能な映像)とが、VST映像合成手段36で合成され、MR合成画像68が生成され、それがVR表示部10に送られ、MR合成画像68が再生される。
 VST入力手段34から入力されたVST入力画像66とVR表示制御部11で生成された3D空間画像67の合成で得られるMR合成画像68は、デジタル映像処理で合成されているため、VST入力手段34から得られる、3D空間の軸、サイズとVR表示制御部11で生成された3D空間画像の3D空間の軸、サイズとが一致していれば、合成した画像での現実空間と3D物体のサイズや距離感には不整合が起こらない。
 しかし、合成されたMR合成画像68をVR表示部10で再生したあとは、レンズを通して視聴するため、ユーザーは装着位置、頂点間距離の影響を受ける。
 図34で示した課題(設計時の最適な頂点間距離でVR空間を視聴しないため空間の大きさ感、距離感が眼(頭)で正しく認知されない課題)は、MRゴーグル(VST:Video See Through方式)の場合はより深刻になる。
 図36でMRゴーグルの場合の課題を示す。
 図36Aに示すように、設計時の最適な頂点間距離で視聴する場合(図34Aの場合)は、現実空間とデジタルMR空間は同じサイズで見える。
 図36Bに示すように、設計時の最適な頂点間距離より狭い場合(図34Bの場合)は、現実空間よりデジタルMR空間は大きく見える。従ってサイズ感が合わなくなる。
 図36Cに示すように、設計時の最適な頂点間距離より広い場合(図34Cの場合)は、現実空間よりデジタルMR空間は小さく見える。従ってサイズ感が合わなくなる。
 最適な頂点間距離で視聴できない場合は、脳の距離感と異なった映像が表示されるために、MRゴーグルを装着して移動する、機械を操作する等に場合は、サイズ感や距離感の違いにより、現実空間の物体との距離感等を正しく認識できない可能性があり、物体を操作したり、物体を避けて歩いたりすることが問題になる可能性がある。
 従って、MRゴーグルの場合は頂点間距離を測り、設計最適距離の頂点間距離に誘導した上で利用させることが更に重要となる。しかし従来はこのような例はなかった。
 発明が解決しようとする課題2について示す。
 大型ヘッドマウントディスプレイは長時間装着すると、その重量等のため、首や肩が疲れる上、持ち運びが不便等の課題がある。このため、VR利用を普及させるためには、高画質で且つ小型・軽量のヘッドマウントディスプレイが必要となる。
 マイクロディスプレイ技術(マイクロOLEDディスプレイ等)を採用することで、高画質で且つ小型・軽量の小型ヘッドマウントディスプレイを製造することが可能になった。但し小型ヘッドマウントディスプレイを利用してVR/MRを体験する場合、普段眼鏡を装着しているユーザーは、自分の眼鏡を装着したままの状態では小型ヘッドマウントディスプレイを利用することはできない。
 しかし、普段眼鏡を装着しているユーザーは、自分の眼鏡を装着した時と同じ矯正視力を保った状態で小型ヘッドマウントディスプレイを使ってVR/MR体験できることを望んでいる。しかし現状は、眼鏡処方箋に応じて自分専用のアダプターレンズを作成してヘッドマウントディスプレイに装着するか、小型ヘッドマウントディスプレイに装備されているピント調整機能等である程度自分の視力に応じたように調整することで、使っていた。
 眼鏡利用ユーザーが自分の眼鏡処方箋情報や使用中の眼鏡の矯正視力情報(レンズ情報等)を使って小型ヘッドマウントディスプレイに入力して、ヘッドマウントディスプレイ側がその情報に応じたバーチャルな眼鏡をヘッドマウントディスプレイ内に実現することができれば、眼鏡利用者もより小型ヘッドマウントディスプレイを使い易くなるが、そのようなヘッドマウントディスプレイは存在していなかった。
 本開示に係るヘッドマウントディスプレイは、前記の2つの解決すべき課題について、下記の4つの解決手段を提供するものである。
 課題1の「ヘッドマウントディスプレイの設計意図の位置(瞳孔間距離、瞳孔水平線とレンズ中心点との関係、頂点間距離等)に眼が来るようにヘッドマウントディスプレイを装着しないと、設計意図のサイズ感、距離感で見ることができない。」に対しては、下記の解決策を提供する。
 (1)設計意図の位置関係に設定するために、鏡筒部3内のレンズ4と眼球の位置関係をアイトラッキング等の眼鏡位置や頂点間距離等を測定する技術を用いてモニタリングし、現在の目の位置が設計意図と差異がある場合は、ヘッドマウントディスプレイの表示パネルにガイダンス画面を表示することで、上下、左右、奥行きの3軸での各種調整機能をユーザーが使って補正することや、またはユーザーではなくヘッドマウントディスプレイの電動移動手段を制御することで自動的に、適切な位置関係の移動させることで解決する。
 課題2の「小型ゴーグルは眼鏡が入らないので、眼鏡利用ユーザーに対しての緩和策が必要」に対しては、眼鏡利用者は、普段眼鏡(凹レンズ、凸レンズ)をかけて現実世界を見ているので、正視の人とは物体の大きさ、距離感(視角)が異なる。VR空間で正視者を前提にVR空間(3D空間)を生成するため、大きさ感を再現するためには追加の機能が必要となるため、下記の3つの解決策を提供する。
 (2)設計意図の位置関係に設定後、その位置関係(頂点間距離)を変えない視度調節機構での解決策
 (3)アダプターレンズ、シフトレンズの厚みを考慮して歪曲補正等のVR空間生成パラメーターを切り替える機構での解決策
 (4)眼鏡処方箋情報を基に、ヘッドマウントディスプレイ内にバーチャル眼鏡機能を実現する解決策
 (4)のバーチャル眼鏡機能とは、眼鏡利用者(近視者・遠視者)のヘッドマウントディスプレイの利便性を高めるために眼鏡の機能と同等な機能をヘッドマウントディスプレイ内に実現するもので、自分の眼鏡処方箋をヘッドマウントディスプレイに入力し、ヘッドマウントディスプレイの各種設定機能を利用して、眼鏡を装着した時と同じ矯正視力を保った状態でVR体験をさせるものである。
 具体的には、(1)の設計意図の位置で装着する機能に加え、瞳孔間距離調整手段では眼鏡処方箋の瞳孔間距離の値を使って設定し、視度調節機能も、眼鏡処方箋の球体レンズのD値を使って設定する機能、乱視補正が必要な場合は、円柱レンズ補正による正乱視補正機能、プリズム補正による軽度斜視補正等を提供する。
 本開示によれば、正しいサイズ感、距離感でのMR/VR視聴体験の提供と眼鏡利用ユーザーに対してユーザーの眼の特性に適切に対応した映像を表示することが可能となる。
[規則91に基づく訂正 01.10.2024]
図1A~図1Dは、本開示の概要を示すヘッドマウントディスプレイの模式図である。 図2A、図2Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)を示す図である。 図3A、図3Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type2)を示す図である。 図4A、図4Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type3)を示す図である。 図5A、図5Bは、本開示のヘッドマウントディスプレイ(MRゴーグル)の構成の一実施例(Type1)を示す図である。 図6A、図6Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)の構成に視度調節手段を加えた例)を示す図である。 図7A、図7Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type2)の構成に視度調節手段を加えた例)を示す図である。 図8A、図8Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type3)の構成に視度調節手段を加えた例)を示す図である。 図9A、図9Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)の構成に視度調節手段を加えたMRゴーグルの例)を示す図である。 図10A、図10Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)の構成に付加レンズによる視度調節手段を加えた例)を示す図である。 図11A、図11Bは、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)の構成に付加レンズ(シフトレンズ)を加えた例)を示す図である。 図12は、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)の構成に利用者情報格納手段を加えた例)を示す図である。 図13は、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)の構成に付加レンズ装着手段を加えた例)を示す図である。 図14A、図14Bは、本開示のヘッドマウントディスプレイの構成の一実施例(付加レンズを持ち複数歪曲補正を持つ例)を示す図である。 図15A、図15Bは、本開示のヘッドマウントディスプレイの構成の一実施例(付加レンズと球面レンズ補正手段を持ち複数歪曲補正を持つ例)を示す図である。 図16A、図16Bは、本開示のヘッドマウントディスプレイの構成の一実施例(付加レンズを持ち複数歪曲補正を持つMRゴーグルの例)を示す図である。 図17A、図17Bは、本開示のヘッドマウントディスプレイの構成の一実施例(付加レンズと球面レンズ補正手段を持ち複数歪曲補正を持つMRゴーグルの例)を示す図である。 図18は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(球面レンズ調整手段付き)を示す図である。 図19は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(付加レンズ装着と球面レンズ調整手段付き)を示す図である。 図20は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(球面レンズ調整手段付きMRゴーグル)を示す図である。 図21は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(付加レンズ装着と球面レンズ調整手段付きMRゴーグル)を示す図である。 図22は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(乱視補正付き)を示す図である。 図23は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(乱視補正付きMRゴーグル)を示す図である。 図24は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(乱視補正付きMRゴーグルの別の例)を示す図である。 図25は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(斜視補正付き)を示す図である。 図26は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(斜視補正付きMRゴーグル)を示す図である。 図27は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(利用者情報格納手段付き)を示す図である。 図28は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(利用者情報格納手段付きMRゴーグル)を示す図である。 図29は、本開示のバーチャル眼鏡機能付きヘッドマウントディスプレイの構成の一実施例(利用者情報格納手段と斜視補正付き)を示す図である。 図30A、図30Bは、大型ヘッドマウントディスプレイと小型ヘッドマウントディスプレイの模式図を示す図である。 図31は、ヘッドマウントディスプレイの必要な表示パネルの性能の比較表である。 図32A~図32Dは、眼鏡のレンズと目の位置関係を示す図である。 図33A~図33Cは、ヘッドマウントディスプレイと眼の位置関係を示す図である。 図34A~図34Cは、目とレンズ間の距離の課題を示す図である。 図35A~図35Cは、VRシステムとMRシステムの構成の違いを示す図である。 図36A~図36Cは、MRゴーグルの場合の課題を示す図である。 図37は、ヘッドマウントディスプレイを顔・頭に装着する方式を示すテーブルを示す図である。 図38A~図38Dは、本体を顔(頭)に装着する4方式を示す図である。 図38Eは、ヘッドマウントディスプレイの本体部の上面部に、デコパッド保持型の装着部材を取り付けた外観図を示す。 図38Fは、デコパッド保持型の装着部材単体の斜視図を示す。 図39は、眼とレンズの位置関係を調整する3軸の移動手段と保持方式との関係テーブルを示す図である。 図40は、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)のフローチャートを示す図である。 図41A、図41Bは、鏡筒移動による瞳孔間距離の移動手段の一実施例(模式図)を示す図である。 図42は、瞳孔間距離設定処理のガイド情報を示す図である。 図43は、上下位置設定処理のガイド情報を示す図である。 図44は、頂点間設定処理のガイド情報を示す図である。 図45は、本開示のヘッドマウントディスプレイの構成の一実施例(Type2)のフローチャートを示す図である。 図46は、頂点間設定処理のガイド情報を示す図(Type2)を示す図である。 図47は、本開示のヘッドマウントディスプレイの構成の一実施例(Type3)のフローチャートを示す図である。 図48は、上下位置設定処理のガイド情報を示す図(Type3)を示す図である。 図49は、頂点間設定処理のガイド情報を示す図(Type3)を示す図である。 図50A~図50Dは、ヘッドマウントディスプレイでの視度調節手段を示す図である。 図51A~図51Fは、鏡筒部内の表示パネルを移動させる手段を示す図である。 図52は、本開示のヘッドマウントディスプレイの構成の一実施例(Type1)の構成に視度調節手段を加えた例)のフローチャートを示す図である。 図53は、視度調節のガイド映像を示す図である。 図54A~図54Cは、付加レンズでの視度調節手段を示す図である。 図55は、シフトレンズの調整範囲を示す図である。 図56は、再設定時のフローチャートを示す図である。 図57は、視度調節用のガイド映像を示す図である。 図58A~図58Dは、付加レンズを使用した場合の課題を示す図である。 図59A、図59Bは、眼鏡処方箋とオートレンズメータから得た眼鏡の情報を示す図である。 図60は、図18の構成図のフローチャートを示す図である。 図61は、視度調節用のガイド映像を示す図である。 図62は、3つの乱視の症状を示す図である。 図63は、正乱視の補正の基本的な概念を説明する図である。 図64は、正乱視の補正の基本的な概念を説明する別の例を示す図である。 図65は、図22の構成図のフローチャートを示す図である。 図66A、図66Bは、斜視の説明図である。 図67A~図67Bは、ヘッドマウントディスプレイでの斜視ユーザーの課題を示す図である。 図68A~図68Cは、斜視をVRで補正する基本的な概念を示す図である。 図69A、図69Bは、斜視をVRで補正する基本的な方法を示す図である。 図70は、図25の構成図のフローチャートを示す図である。 図71A~図71Hは、ヘッドマウントディスプレイの4つの構成を示す図である。 図72は、本発明の一体型ヘッドマウントディスプレイのソフトウエア構成例1を示す図である。 図73は、本発明の分離型ヘッドマウントディスプレイのソフトウエア構成例1を示す図である。 図74は、本発明の一体型ヘッドマウントディスプレイのソフトウエア構成例2を示す図である。 図75は、本発明の分離型ヘッドマウントディスプレイのソフトウエア構成例2を示す図である。 図76は、本発明の一体型ヘッドマウントディスプレイのソフトウエア構成例3を示す図である。 図77は、本発明の分離型ヘッドマウントディスプレイのソフトウエア構成例3を示す図である。 図78は、医師等による認証の例を示す図である。 図79は、オートレンズメータとの連携を示す図である。 図80Aは、頂点間距離の計測手法の一例を示す図である。 図80Bは、頂点間距離の計測手法の一例を示す図である。 図80Cは、頂点間距離の計測手法の一例を示す図である。 図80Dは、瞳孔間距離の測定手法の一例の説明図である。 図80Eは、瞳孔間距離の測定手法の一例の説明図である。 図81は、乱視補正のための屈折力分布の求め方の一例を示す図である。 図82Aは、斜視をVRで補正する基本的な概念を説明するための図を示す。 図82Bは、斜視をVRで補正する基本的な概念を説明するための図を示す。
 以下、本開示にかかる実施の形態を添付図面に基づいて説明する。
<第1実施形態>
 「ヘッドマウントディスプレイの設計意図の位置(瞳孔間距離、瞳孔水平線とレンズ中心点との関係、頂点間距離等)に眼が来るようにヘッドマウントディスプレイを装着しないと、設計意図のサイズ感、距離感で見ることができない。」の課題1に対しては、設計意図の位置関係に設定するために、鏡筒部3内のレンズ4と眼球の位置関係をアイトラッキング等の眼鏡位置や頂点間距離等を測定する技術を用いてモニタリングし、現在の目の位置が設計意図と差異がある場合は、ヘッドマウントディスプレイの表示パネルにガイダンス画面を表示することで、上下、左右、奥行きの3軸での各種調整機能をユーザーが使って補正することや、またはユーザーではなくヘッドマウントディスプレイの電動移動手段を制御することで自動的に、適切な位置関係の移動させることで解決する方式について述べる。
 なお、頂点間距離は、眼球とレンズ面との距離であり、アイレリーフとも呼ばれる。また、レンズが複数のレンズを有するレンズ系である場合、頂点間距離は、例えば、眼球と、レンズ系のうち眼球に最も近いレンズ(接眼レンズ)のレンズ面との距離である。
 ヘッドマウントディスプレイの装着方法の類型について述べ、その上で、解決策を述べる。
 図37にヘッドマウントディスプレイを顔・頭に装着する方式を示すテーブルを、図38に各方式の模式図を示す。本体を顔(頭)に装着する方式が4種類あり、保持部が遮蔽手段と兼用する方式と保持部と遮蔽手段が独立に構成される2つの種類がある。
 フェースパッド+バンド保持型(保持部が遮蔽手段と兼用):図38A
 フェースパッド+テンプル保持型(保持部が遮蔽手段と兼用):図38B
 デコパッド保持型(保持部と遮蔽手段が独立):図38C
 鼻当て+テンプル保持型(保持部と遮蔽手段が独立):図38D
 図38Aの方式は、保持部2がフェースパッドとなり顔に密着させ、サイドバンド59とヘッドバンド60でヘッドマウントディスプレイの本体部1を頭に固定している。このため、ヘッドマウントディスプレイをしっかり頭に固定することができる。逆に、装着後、眼とレンズの位置関係を変えるために装着位置をずらすことは困難である。また、サイドバンド59とヘッドバンド60で本体部1を頭に固定しているため、保持部2を顔に固定したまま、本体部1を上下に移動させる仕組みの構築が難しい。上下のずれが発生した場合は、サイドバンド59とヘッドバンド60を緩ませて再装着する必要がある。奥行方向には若干動かす仕組みを導入することは可能である(実例:Meta社のQuest3等)。
 図38Bの方式は、保持部2がフェースパッドとなり顔に密着させ、テンプル61でヘッドマウントディスプレイの本体部1を頭に固定している。このため、ヘッドマウントディスプレイを比較的しっかり頭に固定することができる。テンプル61で固定しているだけのため、装着後、眼とレンズの位置関係を変えるために(上下のずれが発生した場合等)、装着位置をずらすことは可能である。但し、1の方式と同様に保持部2を顔に固定したまま、本体部1を上下に移動させる仕組みの構築が難しい。奥行方向には若干動かす仕組みはフェースパッドの厚みを変える等で実現可能である。(HTC社のXR Elite等)。
 図38Cの方式は、保持部2がデコパッド62で頭に装着し、ヒンジ63を経由して本体部1と連結している。このため、本体部1が顔に装着されているのではない。更に遮蔽手段38は光が入らないようにある程度顔に密着させる必要はあるが、それで装着させているのではないため、比較的自由に動かすことができる。従って、装着後、眼とレンズの位置関係を変えるために装着位置をずらすことはデコパッド62と本体部1をつなぐヒンジ63の構造を工夫することで可能である。つまり装着後に本体部1を上下に移動させる仕組みの構築が可能である。同様に奥行方向には若干動かす仕組みを導入することも可能である(実例:ソニー社のPSVR2等)。
 またヒンジ63により、図32で説明した眼鏡での前傾角θ50に相当する前傾するあおり角を設定することも可能になり、より高画質で快適なVR使用が可能となる。あおり角の調整はヒンジ63のみではなく、鏡筒部3と本体部1に角度を持たせることでも実現できるが、VR映像を見ながらユーザーによる調整が容易であるのはヒンジ63で調整することである。あおり角を規定値に設定する場合は、ヒンジ63が規定値(例えば5度)になると固定されるような浅い溝などを設けることで実現できる。ユーザーに合わせた調整は規定値以外でも固定できるようにねじなどによる固定方法を追加することで容易である。
 次に、図38Cに示した方式での頂点間距離を調整する仕組みを説明する。図38Eにヘッドマウントディスプレイの本体部1の上面部に、デコパッド保持型の装着部材300を取り付けた外観図を示す。ここで、デコパッド装着型の装着部材300の調整方法を説明する。デコパッド62は、台座301に対してヒンジ63を経由して連結され、デコパッド62をユーザーの前額部の傾きに合わせてフリップ可能に構成されている。また、台座301は、本体部1の上面部に固定されており、台座301をスライドレール302に沿って移動させることで、ユーザーの前額部に対して前後に移動させることができる。
 図38Fにデコパッド保持型の装着部材300単体の斜視図を示す。ユーザーは本体部1を装着後、調整用ダイヤル(不図示)により、デコパッド62をユーザーの前額部の傾きを合わせて調整し、固定する。台座301とスライドレール302には係合歯が設けられており、調整用レバー304により台座301を前後に移動し、固定する。なお、ヒンジ63の回動を止める機構、ならびに、スライドレール302上での台座301の移動を止める機構を備えているが、詳細は省略する。
 また、詳細は省略するが、リリースボタン305を押圧することで、ヒンジ63の回転軸に対するデコパッド62のフリップ動作を止める楔部材(不図示)が解放され、リリースボタン305の押圧を解除すると楔部材によりデコパッド62が固定される。かかる構成により、リリースボタン305を押圧した状態でデコパッド62をユーザーの前額部の傾きに合わせて調整し、リリースボタン305の押圧を解除することでデコパッド62の姿勢を固定することができる。
 装着部材300は、上記した構成を備えているため、ユーザーは本体部1を装着後に、デコパッド62と本体部1をつなぐヒンジ63の姿勢の調整と、台座301をスライドレール302に沿って移動させることで、ユーザーの眼とレンズの位置関係を変えるために装着位置をずらすことが可能である。
 図38Dの方式は、保持部2がテンプル61と鼻当て64で眼鏡のように鼻と耳(頭)に装着する。本体部1は鼻当て64を介して顔(鼻)と連結している。このため、本体部1が顔に装着されているのではない。更に遮蔽手段38は光が入らないようにある程度顔に密着させる必要はあるが、それで装着させているのではないため、比較的自由に動かすことができる。従って、装着後、鼻当て64の位置をずらしたり、鼻当ての高さや奥行方向の位置を移動させることで眼とレンズの位置関係を変えることが可能である。つまり装着後に本体部1を上下、奥行き方向に移動させる仕組みの構築が可能である。(実例:Shiftall社のMeganeX Business Edition等)。
 図33で、ヘッドマウントディスプレイでの眼とレンズの位置関係に関する制約事項を上下、左右、奥行きの3軸で説明した。
 図39に、図33の制約事項を実現する仕組みとして、眼とレンズの位置関係を調整する3軸の移動手段と保持方式との関係をテーブルにまとめた。
 4つの保持方式に対し、左右の移動手段は、瞳孔間距離を合わせることはVR視聴に必須なため、左右方向に鏡筒部3を移動させる機能を持つ。上下方向は各方式共に鏡筒部3を移動させる機構を作ることは困難と考えられる。このため機構上の工夫で対応すべきであるが、図38の説明で記載したように、1、2のフェースパッドで保持部2を実現する方式では困難であり、再装着で調整するしかない。3、4の方式では、ヒンジ63や鼻当て64の工夫により実現可能である。奥行方向は、4方式とも鏡筒部3の移動は可能であるが、3、4の場合は上下と同様にヒンジ63や鼻当て64の工夫により実現する方が容易である。1、2の方式でも機構での工夫により微調整は可能である。具体的には、1の方式では、本体部1と保持部2の間の距離を変える方式があり、また2の方式ではフェースパッドの厚みを変えることでも対応可能である。同様に眼鏡のように傾きの調整も、ヒンジ63や鼻当て64やフェースパッドの形状を変えることで実現可能である。
 従って、奥行方向(頂点間距離)の調整は、(Type1)鏡筒部3の移動機構、(Type2)フェースパッドの工夫(厚みを変える、フェースパッドと本体部1の距離を変える)、(Type3)保持部2と本体間の工夫(ヒンジ63または鼻当て64の工夫)の3つの方式がある。
 以下、3つの方式についてそれぞれ説明する。
 図2に、本開示のヘッドマウントディスプレイの構成の一実施例((Type1)の鏡筒部3の移動機構の例)を示す。
 図2Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図2Bは、図2Aのシステム構成図の一例である。
 本体部1は保持部2(兼遮蔽手段)により使用者の顔面に保持される。図2A、図2Bでは、図1に示したヘッドマウントディスプレイの基本構造の構成要素に加え、図33で示した目とレンズの位置関係の制約条件を満たしているかを測定するための眼球位置計測手段6(眼球位置測定手段の一例)と、瞳孔間距離をユーザーの瞳孔間距離に合わせるために鏡筒部3を左右の移動させるための鏡筒水平移動手段8と、最適頂点間距離情報格納手段20内に格納された頂点間距離の設計値を取り出し、実際の頂点間距離をその設計値に合わせるために鏡筒部3を奥行方向に移動させるための鏡筒奥行移動手段9(調整手段の一例)と、眼球位置計測手段6からの測定値を基に鏡筒水平移動手段8や鏡筒奥行移動手段9を制御することで鏡筒部3の移動を制御し、調整後のレンズ位置をレンズ位置情報格納手段18に報告する鏡筒部制御手段7とを持つ。
 VR表示制御部11はVR映像生成手段15を持ち、VR映像データ16あるいはVRアプリ16が生成したVRデータを6DoF情報に基づきVR表示部10で表示する映像に変換する。変換された映像は、レンズ歪曲情報格納手段19内に格納されたVR表示部10が持つレンズ4などの光学特性に基づいた歪補正用データをもとに歪曲を補正する歪曲補正手段14を経由してVR表示部10に送られる。
 VR表示部10には、眼球位置計測手段6からの測定値を基にユーザーに上下位置のずれを告知し、修調整を促す上下位置調整手段12を持ち、VR表示制御部11から送られた映像に、鏡筒水平移動手段8、鏡筒奥行移動手段9、鏡筒部制御手段7、上下位置調整手段12からの情報に基づき生成されたユーザーガイダンス情報を重畳する映像表示処理手段13を持つ。
 図40に、本開示のヘッドマウントディスプレイの構成の一実施例((Type1)の鏡筒部3の移動機構の例)のフローチャートを示す。
 装着直後に、S0000のメイン処理が呼び出される。ステップS001では、眼球位置計測手段6で左右それぞれの眼とレンズ4の光学中心点52の位置関係と距離を検出する。ステップS002で瞳孔間距離の確認を行い、正しい場合はステップS004に飛び、設定が必要な場合は、ステップS003に飛ぶ。ヘッドマウントディスプレイに瞳孔間距離の自動調整機能がある場合は、ステップS010の処理を呼び出す。自動調節機能がない場合はステップS020の処理を呼び出す。ステップS004で眼球位置計測手段6の測定値で上下装着位置の確認を行い、正しい場合はステップS006に飛び、設定が必要な場合は、ステップS005に飛ぶ。ステップS005では、ステップS030の処理を呼び出す。ステップS006で瞳孔間距離の確認を行い、正しい場合は処理を終了する。設定が必要な場合は、ステップS007に飛ぶ。ヘッドマウントディスプレイに頂点間距離の自動調整機能がある場合は、ステップS050の処理を呼び出す。自動調節機能がない場合はステップS040の処理を呼び出す。
 眼球位置計測手段6で位置関係の差異を検出のステップS001(瞳孔間距離を検出のステップS011、ステップS021、上下差異を検出のステップS031、頂点間の差異を検出のステップS041、ステップS051も)は、ヘッドマウントディスプレイで使われているアイトラッキング技術を使うことで、容易に実現可能である。
 例えば、左右の眼に複数の赤外線光源と赤外線カメラを使ったアイトラッキングシステムが実用化されている(参考例:Tobii社のアイトラッキングシステム、https://www.tobii.com/ja/solutions/extended-reality/extended-reality)。このアイトラッキング技術を使ったヘッドマウントディスプレイでは、ユーザーとディスプレイの間に配置された赤外線カメラと鏡筒部の周りに環状に赤外線光源が配置される。赤外線カメラの映像をAIが解釈して、瞳孔の大きさ、視線のベクトル、目の開き具合等をリアルタイムに計測できる。この技術を使えば、瞳孔の中心位置の検出と頂点間距離の測定は可能である。
 別の例としては、左右の眼に1つの赤外線光源と1つの赤外線カメラのみを使ったアイトラッキングシステムも実用化されている(参考例:Gazin社(台湾)のアイトラッキングシステム、https://ganzin.com/)。赤外光源で、ユーザーの目を照らし、眼で反射された赤外光を受光する。赤外線を使うことで、可視光の干渉を除去することができ、ユーザーの目の鮮明な画像が得られる。この得られた目の画像を画像処理と機械学習技術により取得された多数の目の画像データからユーザーの目の位置と注視位置を推定できる。このシステムでも、瞳孔の中心位置の検出と頂点間距離の測定は可能である。
 図80A~図80Cは、頂点間距離の計測手法の一例を示す図である。図80Aに示すように、鏡筒部3内のレンズ4の周囲には、アイトラックに用いられる光源201及び受光部203が設けられている。光源201及び受光部203は、眼球位置計測手段6に含まれる。受光部203はCCDなどの撮像素子で構成されたものを用いることができる。図80A~図80Cで説明する手法では、光源201は、ユーザーの眼に光を照射し、受光部203は、ユーザーの眼からの反射光を受光し、処理することで目の向きを推定するだけでなく、頂点間距離を求める。頂点間距離は、受光部203における眼の中心部の位置と光源201、受光部203とレンズ4の位置関係からを求めることができる。実際には角膜の曲率で誤差が出るが、測定前に眼とレンズ4の位置を調整しておけば、受光部203での目の中心の位置から頂点間距離が測定できる。
 なお、光源201及び受光部203は、レンズ4に関連付けられて設けられており、レンズ4の奥行方向への移動に連動して光源201及び受光部203も奥行方向へ移動する。このため、予め所望の頂点間距離の場合に、受光部203は、図80Aに示すように、ユーザーの眼からの反射光を中心部分(所定位置の一例)で受光するように(中心部分眼球の中心が位置するように)調整しておけば、容易に所望の頂点間距離となっているか否かを計測できる。
 なお、受光部203が、図80Bに示すように、ユーザーの眼からの反射光を左端部分(レンズに近い側)で受光する(左端部分に眼球の中心が位置する)場合、実際の頂点間距離が所望の頂点間距離よりも短いことを示す。この場合、レンズ4を眼から遠ざけることで、実際の頂点間距離に所望の頂点間距離に調整できる。また、受光部203が、図80Cに示すように、ユーザーの眼からの反射光を右端部分(レンズに遠い側)で受光する(右端部分に眼球の中心が位置する)場合、実際の頂点間距離が所望の頂点間距離よりも長いことを示す。この場合、レンズ4を眼に近づけることで、実際の頂点間距離に所望の頂点間距離に調整できる。
 上記した説明では図80A~図80Cを用いて頂点間距離を測定する方法を示したが、眼球位置計測手段6を用いることで瞳孔間距離を測定することができる。図80Dを用いて、瞳孔間距離の測定する方法を説明する。瞳孔間距離の測定時、ユーザーの両眼に対し、光源201から光を照射し、受光部203で両眼を撮影し、瞳の位置を検出する。そして、画像処理演算回路(不図示)によって瞳の位置、例えば、眼の黒目領域のうち両端の中心位置を検出し、この瞳の位置からユーザーの瞳孔間距離を算出する。
 図80Dにおいて、左右の受光部203のそれぞれの受光器の中心を通るX軸(水平軸)とY軸(垂直軸)が定められている。また、瞳孔間距離の測定時には左右の受光部203のY軸の間隔は既知である。例えば、標準の瞳孔間距離PDに設定してもよく、あるいは、前回の設定した瞳孔間距離を記憶しておいてもよい。
 図80Dの左側は、右眼用の受光部203の右眼像、図80Dの右側は、受光部203の左眼像である。図80Dの例では、右眼像、左眼像ともY軸方向のずれはないが、右眼の瞳の中心が原点に対して-ΔXだけずれており、左眼の瞳の中心が原点に対して+ΔXだけずれている。この場合、ユーザーの瞳孔間距離は初期設定PDに対してΔX+ΔXだけ長いことが分かり、ユーザーの瞳孔間距離を測定することができる。
 また、眼球位置計測手段6を用いることでユーザーの眼の位置と鏡筒部内のレンズの光学中心点の位置関係を検出することができる。図80Eは、左眼用の受光部203で撮影したユーザーの左眼像である。図80Dで説明したように、左右の受光部203のそれぞれの受光器の中心を通るX軸(水平軸)とY軸(垂直軸)が定められている。例えば、受光部203の中心とレンズの光学中心の位置関係を事前に定めておくことで、レンズの光学中心に対するユーザーの眼の位置のずれを検出できる。
 図80Eでは、左眼用の受光部203の中心が左眼用のレンズの光学中心点が一致しているとする。ユーザーの左眼の瞳の中心はY軸上にあるので、左眼用のレンズの光学中心に対して水平方向のずれはないが、Y軸方向に-ΔYだけずれている。したがって、図80Eの例では、計測結果に基づき鏡筒部内のレンズの光学中心点とユーザーの目の視線が合うようにユーザーの顔または頭との上下位置を調整する上下位置調整手段12により調整を行う。なお、図80Eの例では水平方向のずれはないので鏡筒水平移動手段8は動作させなくてもよい。
 なお、瞳孔間距離の測定やユーザーの眼の位置と鏡筒部内のレンズの光学中心点の位置関係を検出する際には、ユーザーに正面を見てもらうことが望ましい。そのため、VR映像の中央に目標となる物体を表示したり、無限遠の方向に視度調整することが有効である。
 また、上記説明では光学中心に対するユーザーの左右の瞳の位置関係をそれぞれ検出することにしたが、これに限定されない。例えば、予め定められた固定位置に対するユーザーの左右の瞳位置関係を検出することにしてもよい。
 瞳孔間距離の自動調整機能がある場合のステップS010では、ステップS011で、眼球位置計測手段で検出した値を基に瞳孔間距離を算出し、鏡筒部3の移動量を決める。ステップS012で、算出した移動量で鏡筒水平移動手段8が鏡筒部3を動かすことで、瞳孔間距離を最適な距離に調整できる。
 図41に、鏡筒移動による瞳孔間距離の移動手段の一実施例(模式図)を示す。図33Aのヘッドマウントディスプレイの本体部1の中に、左右の鏡筒部3の上部を貫く鏡筒部移動用軸70とその軸を回転させることによって左右の鏡筒を左右に動かすための鏡筒部移動用モーター71を加えている。このモーターを電子制御することにより、鏡筒を正確に動かすことができる。
 例えば、Zhaowei社(https://www.zwgearbox.com/special/VR-micro-drive-system-solution)のPD調整用専用モーターソリューションを利用すれば実現可能である。このようなソリューションを使えば、指定した値の瞳孔間距離の設定することが可能になる。
 図41Bに、鏡筒移動による鏡筒奥行移動手段9の一実施例(模式図)を示す。鏡筒部3の奥行方向の移動は円筒カム107の上に鏡筒を乗せることで、円筒カムを回転することで移動させることができる。
 瞳孔間距離を手動で調整する必要がある場合のステップS020では、ステップS021で、図42に示したような瞳孔間距離設定処理(開始)のガイド情報72を表示する。ステップS022で、眼球位置計測手段で瞳孔間距離を検出し、ステップS023で瞳孔間距離は正しいか否かの判定を行う。補正が必要な場合は、ステップS024に、不要な場合は、ステップS026に飛ぶ。ステップS024では眼球位置計測手段で検出した値に基づきガイド情報表示する。具体的には、瞳孔間距離が広すぎる場合は、図42に示したようなガイダンスメッセージとして瞳孔間距離補正メッセージ(縮小指示)73と瞳孔間距離値表示76の少なくとも一方を表示し、ステップS025で、手動で瞳孔間距離調整手段を用いて、狭くさせることを促す。瞳孔間距離が狭すぎる場合は、図42に示したようなガイダンスメッセージとして瞳孔間距離補正メッセージ(拡大指示)74と瞳孔間距離値表示76の少なくとも一方を表示し、ステップS025で、手動で瞳孔間距離調整手段を用いて、広くさせることを促す。その後ステップS022に戻る。ステップS026では、図42に示したような瞳孔間距離設定処理(終了)のガイド情報75を表示して終了する。
 上下装着位置の調整処理であるステップS030では、ステップS031で、図43に示したような上下位置設定処理(開始)のガイド情報77を表示する。ステップS032で、眼球位置計測手段で上下位置差異を検出し、ステップS033で上下位置は正しいか否かの判定を行う。補正が必要な場合は、ステップS034に、不要な場合は、ステップS036に飛ぶ。ステップS034では眼球位置計測手段で検出した値に基づきガイド情報表示する。具体的には、装着位置が下すぎる場合は、図43に示したようなガイダンスメッセージとして装着位置調整(上下)メッセージ(上げる指示)78と装着位置調整(上下)値表示81の少なくとも一方を表示し、ステップS025で、手動で装着位置を上にすることを促す。装着位置が上すぎる場合は、図43に示したようなガイダンスメッセージとして装着位置調整(上下)メッセージ(下げる指示)79と装着位置調整(上下)値表示81の少なくとも一方を表示し、ステップS035で、手動で装着位置を下にすることを促す。その後ステップS032に戻る。ステップS036では、図43に示したような上下位置設定処理(終了)のガイド情報80を表示して終了する。
 頂点間距離の自動調整機能がある場合のステップS040では、ステップS041で、眼球位置計測手段で検出した値を基に、鏡筒部制御手段7で、最適頂点間距離情報格納手段20から得た頂点間の設計値と計測した現在の頂点間距離を比較し、鏡筒部3の移動量を決める。ステップS042で、算出した移動量で鏡筒奥行移動手段9が鏡筒部3を動かすことで、頂点間距離を最適な距離に調整できる。
 頂点間距離を手動で調整する必要がある場合のステップS050では、ステップS051で、図44に示したような頂点間設定処理(開始)のガイド情報82を表示する。ステップS052で眼球位置計測手段により頂点間距離を検出し、ステップS053で頂点間距離は正しいか否かの判定(鏡筒部制御手段7で、最適頂点間距離情報格納手段20から得た頂点間の設計値と計測した現在の頂点間距離を比較することで)を行う。補正が必要な場合は、ステップS054に、不要な場合は、ステップS056に飛ぶ。ステップS054では眼球位置計測手段で検出した値に基づきガイド情報表示する。具体的には、頂点間距離が広すぎる場合は、図44に示したようなガイダンスメッセージとしてレンズ位置調整メッセージ(離す指示)83とレンズ位置調整値表示86の少なくとも一方を表示し、ステップS055で、手動で奥行距離調整手段を用いて、狭くさせることを促す。頂点間距離が狭すぎる場合は、図44に示したようなガイダンスメッセージとしてレンズ位置調整メッセージ(近づける指示)84とレンズ位置調整値表示86の少なくとも一方を表示し、ステップS055で、手動で奥行距離調整手段を用いて、広くさせることを促す。その後ステップS052に戻る。ステップS056では、図44に示したような頂点間設定処理(終了)のガイド情報85を表示して終了する。
 なお、図40のフローを実行中に、ユーザーが調整を断念、またはスキップしたい時は、いつでも割り込み処理として調整処理を終えてヘッドマウントディスプレイを使うことができる。
 図3に、本開示のヘッドマウントディスプレイの構成の一実施例((Type2)のフェースパッドの工夫(厚みを変える、フェースパッドと本体部1の距離を変える)の例)を示す。
 図3Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図3Bは、図3Aのシステム構成図の一例である。
 図2A、図2Bとの差異は、鏡筒奥行移動手段9の代わりに、本体部1は保持部2(兼遮蔽手段)の間に本体部―保持部間隔補正手段21(調整手段の一例)を持つことである。この本体部―保持部間隔補正手段21により本体部1と保持部2の間の距離を微調整することができ、このことにより、鏡筒奥行移動手段9が無いが、装着後頂点間距離をある程度変えることができる。
 図45に、本開示のヘッドマウントディスプレイの構成の一実施例((Type2)のフェースパッドの工夫(厚みを変える、フェースパッドと本体部1の距離を変える))のフローチャートを示す。
 図40のフローチャートとの差異は、図40にあった頂点間距離の調整(自動)処理が無いことと、頂点間距離の調整(手動)処理のステップS054がステップS054Aに、ステップS055がステップS055Aに変わっている。具体的には、ステップS054Aでは眼球位置計測手段で検出した値に基づきガイド情報表示する。具体的には、頂点間距離が広すぎる場合は、図46に示したようなガイダンスメッセージとしてレンズ位置調整メッセージ(離す指示)83とレンズ位置調整値表示86の少なくとも一方を表示し、ステップS055Aで、手動で本体部―保持部間隔補正手段21を用いて、狭くさせることを促す。頂点間距離が狭すぎる場合は、図46に示したようなガイダンスメッセージとしてレンズ位置調整メッセージ(近づける指示)84とレンズ位置調整値表示86の少なくとも一方を表示し、ステップS055Aで、手動で本体部―保持部間隔補正手段21を用いて、広くさせることを促す。その後ステップS052に戻る。但し、本体部―保持部間隔補正手段21の補正範囲が限られていて、補正が困難な場合は、ユーザーが補正処理を断念することができる。
 なお、図45のフローを実行中に、ユーザーが調整を断念、またはスキップしたい時は、いつでも割り込み処理として調整処理を終えてヘッドマウントディスプレイを使うことができる。
 図4に、本開示のヘッドマウントディスプレイの構成の一実施例((Type3)の保持部2と本体間の工夫(ヒンジ63または鼻当て64の工夫)の例)を示す。
 図4Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図4Bは、図4Aのシステム構成図の一例である。
 図2A、図2Bとの差異は、鏡筒奥行移動手段9の代わりに、本体部1は保持部2(兼遮蔽手段)の間に本体部―保持部位置関係補正手段39を持つことである。この39により本体部1と保持部2の間の距離を微調整することができ、このことにより、鏡筒奥行移動手段9が無いが、装着後頂点間距離をある程度変えることができる。
 図47に、本開示のヘッドマウントディスプレイの構成の一実施例((Type3)の保持部2と本体間の工夫(ヒンジ63または鼻当て64の工夫)の例)のフローチャートを示す。
 図40のフローチャートとの差異は、図40にあった頂点間距離の調整(自動)処理が無いことと、上下装着位置の調整処理のステップS034がステップS034Bに、ステップS035がステップS035Bに変わっている。具体的には、装着位置が下すぎる場合は、図48に示したようなガイダンスメッセージとして装着位置調整(上下)メッセージ78(上げる指示)と装着位置調整(上下)値表示81の少なくとも一方を表示し、ステップS035Bで、手動で本体部―保持部位置関係補正手段39を用いて、上げることを促す。装着位置が上すぎる場合は、図48に示したようなガイダンスメッセージとして装着位置調整(上下)メッセージ(下げる指示)79と装着位置調整(上下)値表示81の少なくとも一方を表示し、ステップS035Bで、手動で本体部―保持部位置関係補正手段39を用いて、下げることを促す。その後ステップS032に戻る。
 頂点間距離の調整(手動)処理のステップS054がステップS054Bに、ステップS055がステップS055Bに変わっている。具体的には、ステップS054Bでは眼球位置計測手段で検出した値に基づきガイド情報表示する。具体的には、頂点間距離が広すぎる場合は、図49に示したようなガイダンスメッセージとしてレンズ位置調整メッセージ83(離す指示)とレンズ位置調整値表示86の少なくとも一方を表示し、ステップS055Bで、手動で本体部―保持部位置関係補正手段39を用いて、狭くさせることを促す。頂点間距離が狭すぎる場合は、図49に示したようなガイダンスメッセージとしてレンズ位置調整メッセージ(近づける指示)84とレンズ位置調整値表示86の少なくとも一方を表示し、ステップS055Bで、手動で本体部―保持部位置関係補正手段39を用いて、広くさせることを促す。その後ステップS052に戻る。但し、本体部―保持部位置関係補正手段39の補正範囲が限られていて、補正が困難な場合は、ユーザーが補正処理を断念することができる。
 この例では、鼻当てでの補正手段を述べたが、デコパッドでも同じ処理が可能である。
 なお、図47のフローを実行中に、ユーザーが調整を断念、またはスキップしたい時は、いつでも割り込み処理として調整処理を終えてヘッドマウントディスプレイを使うことができる。
 図5に、本開示のヘッドマウントディスプレイ(MRゴーグル)の構成の一実施例((Type1)の鏡筒部3の移動機構の例)を示す。
 図5Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図5Bは、図5Aのシステム構成図の一例である。
 図2A、図2Bとの差異は、左右2つのカメラ33と入力されたステレオカメラ映像を3D空間にマッピングする処理等を行うVST映像処理手段35とを持つVST入力手段34が追加され、VR表示制御部11にVST映像とVR映像生成手段15で生成された映像とを合成するVST映像合成手段とを持つことである。
 眼とレンズ間の位置関係の補正手段に関しては、追加されたMR処理手段群は全く影響を与えないため、図2の処理と同じである。また図5では、図2の(Type1)の構成にMR機能を追加した構成を示したが、図3の(Type2)、及び図4の(Type3)の構成でも図5同様のMR機能の追加が可能であり、この場合も眼とレンズ間の位置関係の補正手段に関しては同一である。
<第2実施形態>
 「小型ゴーグルは眼鏡が入らないので、眼鏡利用ユーザーに対しての緩和策が必要」の課題2に対しての3つの解決策の1の「設計意図の位置関係に設定後、その位置関係(頂点間距離)を変えない視度調節手段での解決策」について述べる。
 視度調節手段は、機械的または電気的(LCDレンズ等)に実現が可能である。機械的な方式としては、図50で説明するレンズ4―表示パネル5間の距離を変える方式がある。図40のフローチャートで説明した処理を実施し、設計値の頂点間距離54に実際の頂点間距離を設定後、頂点間距離を変化させないでレンズ4―表示パネル5間距離を変更(表示パネル側を動かす)ことで、実現可能である。このことにより、小型ヘッドマウントディスプレイのように眼鏡を装着してVR空間を視聴できないものでも、眼鏡利用者も眼鏡なしでヘッドマウントディスプレイを利用することが可能になる。
 図50で、ヘッドマウントディスプレイでの視度調節手段(球面レンズ調整手段)について示す。
 ヘッドマウントディスプレイではパンケーキレンズ方式を使った場合は複数枚のレンズを用いる。この場合は複数の組レンズを一枚のレンズとして説明している。
 図50Aは、正視の人の眼の場合の眼40、レンズ4、表示パネル5の関係を示す。設計値の頂点間距離54の距離に正視(またはコンタクトレンズで補正)の人の眼がある時は、網膜に焦点が合い、表示パネル5の映像がはっきりと見える。
 図50Bは、近視の場合の眼40、レンズ4、表示パネル5の関係を示す。設計値の頂点間距離54の距離に近視の人の眼がある時は、焦点が網膜の前に位置するため、表示パネルの像はぼやける。
 図50Cは、近視の補正方式の一例(レンズ4を表示パネル5に近づける方式)を示す。この方式の場合、レンズ4を表示パネル5側に動かすことで、網膜上に焦点が結び、表示パネルの映像をはっきりと見ることができる。また、遠視の場合はレンズを表示パネルから遠ざけることで表示パネルをはっきり見ることができる。但し、この場合は視度調節はできるが、設計値の頂点間距離54から移動後の縮小した頂点間距離87なる。このため、頂点間距離が遠くなった副作用で、FoVが狭く、また物体が小さく、遠く見える。従って、この方式は、本発明には適さない。
 図50Dは、近視の補正方式の別の例(表示パネル5をレンズ4に近づける方式)を示す。この方式の場合、図50Cとは異なり、レンズ4と眼球40の距離は変化させずに、表示パネル5をレンズ4に近づけることで、網膜上に焦点があい、表示パネル5の映像をはっきりと見ることができる。遠視の場合は表示パネルをレンズからから遠ざけることで表示パネルをはっきり見ることができる。この方式の場合は、視度調節後も、実際の頂点間距離41が、設計値の頂点間距離54と一致しているため、副作用はない。従って、この方式を本発明では採用している。
 図51に、鏡筒部3内の表示パネル5を移動させる手段について示す。
 図51Aは、表示パネル移動による視度調整手段の一例である。傾斜をつけたリングにより表示パネルの位置を調整する方式である。この方式では、機構は比較的シンプルだが、表示パネルの移動距離が大きい場合は調整に力が必要で強度が課題になる。
 図51Bに、表示パネル移動による視度調整手段の別の例である。レンズ外周にねじ穴を備え、調整ねじをレンズ外周のねじ穴に通し、調整ねじを回すことでレンズ位置を調整する方式を示す。レンズの調整幅と調整の精度、調整の力などを調整可能であり、細かい調整が必要な場合に適している。ねじの切り方については右図以外にいくつかの方法がある。
 図51Cに、表示パネル移動による視度調整手段の第三の例である。レンズ外周と調整リング内周をねじとする方式を示す。この方式の場合、レンズの調整幅と調整の精度、調整の力などをねじのピッチで調整可能となるが、図51Bに比べ、大まかな調整となる。実際の機構は、レンズの取り付け場所の構造を考慮するなどで異なる構造となる。
 図51D、図51Eと図51Fは、鏡筒内のレンズあるいは表示パネルをスライドさせる仕組みによる視度調整手段の第四の例である。図51Dの回転を棒状のピンで、図51Fは凹凸のかみ合わせで抑え、図51Eの円筒カムで鏡筒内のレンズ4をスライドさせる。この例はレンズ4を移動させるが、表示パネルを移動させる場合も同様の構造で可能になる。レンズの場合、ガラスまたはプラスチックのレンズ本体を固定するレンズ枠にスライド部とスライドする治具に固定される固定部を持つ。表示パネルの場合は、表示パネル本体を固定する枠にスライド部とスライドする治具に固定される固定部を持つことで実現可能である。
 図6に、本開示のヘッドマウントディスプレイの構成の一実施例(図2の(Type1)の構成に視度調節手段を加えた例)を示す。
 図6Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図6Bは、図6Aのシステム構成図の一例である。
 図2A、図2Bとの差異は、鏡筒部3に、球面レンズ調整手段22を持つことである。この球面レンズ調整手段22により目とレンズの位置関係を最適位置に設定した後、この状態を保ったまま、視度調整を行うことができる。このことにより、小型ヘッドマウントディスプレイのように眼鏡を装着してVR空間を視聴できないものでも、眼鏡利用者も眼鏡なしでヘッドマウントディスプレイを利用することが可能になる。
 図52に、本開示のヘッドマウントディスプレイの構成の一実施例(図2の(Type1)の構成に視度調節手段を加えた例)のフローチャートを示す。
 図40のフローチャートとの差異は、ステップS000の処理の最後に、視度調整の部分(ステップS101とステップS102)が追加されたことである。具体的には、ステップS101では、視度調節の有無をユーザーに確認する。ユーザーが不要とした場合は終了し、必要とした場合は、ステップS102で視度調節処理S110を呼び出す。視度調節処理S110では、ステップS041でユーザーが視度調節をしやすいガイド映像を表示する、ステップS042でユーザーが球面レンズ調整手段22を使って視度調節を実施する。
 図53に視度調節のガイド映像の一例を示す。ユーザーは右目、左目の順にピント調整を行い、度数を表示していることから、自分の眼鏡の度数を知っているユーザーの場合は、その値を参考に調整することができる。
 フローチャートS120のように、図40の処理の前に、視度調節処理S110を行っても良い。
 なお、図52のフローを実行中に、ユーザーが調整を断念、またはスキップしたい時は、いつでも割り込み処理として調整処理を終えてヘッドマウントディスプレイを使うことができる。
 図7に、本開示のヘッドマウントディスプレイの構成の一実施例(図3の(Type2)の構成に視度調節手段を加えた例の例)を示す。
 図7Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図7Bは、図7Aのシステム構成図の一例である。
 図3A、図3Bとの差異は、鏡筒部3に、球面レンズ調整手段22を持つことである。この球面レンズ調整手段22により目とレンズの位置関係を最適位置に設定した後、この状態を保ったまま、視度調整を行うことができる。このことにより、小型ヘッドマウントディスプレイのように眼鏡を装着してVR空間を視聴できないものでも、眼鏡利用者も眼鏡なしでヘッドマウントディスプレイを利用することが可能になる。
 図7の構成のフローチャートは、図52のフローチャートと同一の処理となる。
 図8に、本開示のヘッドマウントディスプレイの構成の一実施例(図4の(Type3)の構成に視度調節手段を加えた例の例)を示す。
 図8Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図8Bは、図8Aのシステム構成図の一例である。
 図4A、図4Bとの差異は、鏡筒部3に、球面レンズ調整手段22を持つことである。この球面レンズ調整手段22により目とレンズの位置関係を最適位置に設定した後、この状態を保ったまま、視度調整を行うことができる。このことにより、小型ヘッドマウントディスプレイのように眼鏡を装着してVR空間を視聴できないものでも、眼鏡利用者も眼鏡なしでヘッドマウントディスプレイを利用することが可能になる。
 図8の構成のフローチャートは、図52のフローチャートと同一の処理となる。
 図9に、本開示のヘッドマウントディスプレイの構成の一実施例(図5の(Type1)の構成に視度調節手段を加えたMRゴーグルの例)を示す。
 図9Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図9Bは、図9Aのシステム構成図の一例である。
 図5A、図5Bとの差異は、鏡筒部3に、球面レンズ調整手段22を持つことである。この球面レンズ調整手段22により目とレンズの位置関係を最適位置に設定した後、この状態を保ったまま、視度調整を行うことができる。このことにより、小型ヘッドマウントディスプレイのように眼鏡を装着してVR空間を視聴できないものでも、眼鏡利用者も眼鏡なしでヘッドマウントディスプレイを利用することが可能になる。
 図9の構成のフローチャートは、図52のフローチャートと同一の処理となる。
 視度調節手段は、図50Dのレンズ4―表示パネル5間の移動方式に限定されるわけではない。レンズの度数を動的に変化させる流体レンズ、液晶レンズ技術が開発されている(例:FlexEnable社の液晶レンズ:https://www.flexenable.com/applications/tunable-lenses-for-ar-VR-and-smart-glasses/)。これらの技術を使えば、物理的にレンズを移動させることなく、電気的にレンズ度数を変化させることができる。
 図10に、本開示のヘッドマウントディスプレイの構成の一実施例(図2の(Type1)の構成に付加レンズによる視度調節手段を加えた例)を示す。
 図10Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図10Bは、図10Aのシステム構成図の一例である。
 図2A、図2Bとの差異は、鏡筒部3に、レンズ4の前面に付加レンズ装着手段23を持つことである。この23により目とレンズの位置関係を最適位置に設定した後、この状態を保ったまま、眼鏡処方箋に基づいて制作された付加レンズを装着すれば、眼鏡を装着した場合と同様な条件でVR空間を視聴することが可能になる。
 図54で、付加レンズでの視度調節手段について示す。
 ヘッドマウントディスプレイではパンケーキレンズ方式を使った場合は複数枚のレンズを用いる。この場合は複数の組レンズを一枚のレンズとして説明している。
 図54Aは、正視の人の眼の場合の眼40、レンズ4、表示パネル5の関係を示す。
 図54Bは、近視の場合の眼40、レンズ4、表示パネル5の関係を示す。設計値の頂点間距離54の距離に近視の人の眼がある時は、焦点が網膜の前に位置するため、表示パネルの像はぼやける。
 図54Cは、近視の付加レンズを使った補正方式の例を示す。付加レンズ90をレンズ4と眼球40の間入れることで、網膜上に焦点が結び、表示パネルの映像をはっきりと見ることができる。
 図10の構成のフローチャートは、図40のフローチャートとほぼ同一の処理となる。違いは、付加レンズ90を入れたため、頂点間距離41は、設計値の頂点間距離54から付加レンズ90の厚み分、縮小する。このため、図40のフローチャートの処理の中のステップS042およびS054での移動距離の算出の際に、ターゲットの頂点間距離=設計値の頂点間距離54-付加レンズ90の厚みで算出する必要がある。
 図10では、図2に付加レンズによる視度調節手段を加えた例を示したが、図3、図4、図5に付加レンズによる視度調節手段を加えた場合も同様である。
 図11に、本開示のヘッドマウントディスプレイの構成の一実施例(図6の(Type1)の構成に付加レンズ(シフトレンズ)を加えた例)を示す。
 図11Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図11Bは、図11Aのシステム構成図の一例である。
 図6A、図6Bとの差異は、鏡筒部3に、レンズ4の前面に付加レンズ装着手段23を持つことである。
 球面レンズ調整手段22での視度調整範囲は8D程度に限定される。このため、図55に示すように、シフトレンズを組み合わせることで、調整範囲をシフトさせることができるため、広い範囲の調整が可能になる。付加レンズ装着手段23にシフトレンズを装着することにより、球面レンズ調整手段での調整範囲を広げることができる。
 図11の構成のフローチャートは、図52のフローチャートと同一の処理(頂点間距離は付加レンズ90の厚み分の補正が必要)となる。
 図11では、図6の(Type1)に付加レンズ(シフトレンズ)を加えた例を示したが、図7の(Type2)、図8の(Type3)、図9のMRゴーグルに付加レンズによる視度調節手段を加えた場合も同様である。
 図12に、本開示のヘッドマウントディスプレイの構成の一実施例(図6の(Type1)の構成に利用者情報格納手段25を加えた例)のシステム構成図を示す。
 図6Bとの差異は、各ユーザーのヘッドマウントディスプレイ利用時の設定情報を記録、再現するための利用者情報格納手段25内に、利用者情報格納・設定手段92、利用者識別情報入力手段93、利用者情報格納データベース94を持つことである。
 複数人で図6のような球面レンズ調整手段22を持ったヘッドマウントディスプレイを共用する場合、装着のたびに、毎回各自の視力に合わせて瞳孔間距離設定処理と球面レンズ調節処理を行う必要がある。この作業を毎回行うのは煩雑なため、ユーザー毎に設定データ(瞳孔間距離値と球面レンズ度数値)を記録する。次回装着時に手動または自動でユーザー選択を行った上で、自分の設定データを取り出し、ヘッドマウントディスプレイの設定を行わせる。このことにより、ヘッドマウントディスプレイでの作業を素早く開始でき、開始時の負担を軽減するためのものである。
 具体的には、初回利用時は、利用者識別情報入力手段93でヘッドマウントディスプレイを利用するユーザーを特定する個人識別情報を取り出し、図52のフローチャートの装着初期設定を実施後、その個人視力関連設定データ(瞳孔間距離、球面レンズ度数)をVR表示部10内の鏡筒部制御手段7を経由して取り出し、個人識別情報と個人視力関連情報との組を利用者情報格納データベース94に格納する。
 再度同じユーザーがヘッドマウントディスプレイを利用する時は、利用者識別情報入力手段93で個人を特定し、そのユーザーの個人識別情報を基に、そのユーザーの個人視力関連情報を利用者情報格納データベース94から取り出す。その個人視力関連情報を、VR表示部10に送り、鏡筒水平移動手段8で瞳孔間距離の設定を、球面レンズ調整手段22で球面レンズ度数値を使った設定を行う。また、利用者情報格納手段25は、本体部1内でも、PC等のヘッドマウントディスプレイ本体以外に格納されても良い。
 図56に、再設定時のフローチャート(S200)を示す。
図52のフローチャートとの差異は、ステップS200の処理の最初に、利用者情報格納・設定手段から個人矯正視力情報の取り出しの処理が追加され、この取り出した瞳孔間距離と球面レンズ度数の値を使って設定を行うことである。
 頂点間距離による度数の換算式は式(1)で求めることができる。
 ΔD=D/(1-(L-L)×D)           式(1)
 ここで、 ΔD:換算度数
       D:眼鏡処方箋情報作成時の度数
       L:眼鏡処方箋情報作成時の頂点間距離[m]
       L:使用時の頂点間距離[m]
 例えば、ユーザーの眼鏡処方箋の作成時に頂点間距離が標準の12mmで度数が-8.00であったとする。
     D=-8.00、L=-0.0012 [m]
 ユーザーがヘッドマウント装着時に頂点間距離が14mmであったとすると、L=-0.0014[m]からΔD=-8.130となる。すなわち、頂点間距離が12mmから14mmに広がったことで、眼鏡処方箋作成時と同じ矯正効果を得ようとした場合、度数を-8.13にする必要がある。
 S200のフローチャートのステップS003で呼び出される瞳孔間距離の調整フローS210とステップS102で呼び出される視度調整処理(自動)のS220と(手動)S230の部分は異なる。
 瞳孔間距離の調整フローS210では、ステップS211で、利用者情報格納・設定手段92から取り出した、個人矯正視力情報の内の瞳孔間距離の値を鏡筒水平移動手段に設定する。ステップS212で、鏡筒水平移動手段で瞳孔間距離の値を使って鏡筒部を移動させ鏡筒部3の距離をユーザーの瞳孔間距離に合わせる。
 視度調整処理(自動)のS220では、ステップS221で、利用者情報格納・設定手段92から取り出した、個人矯正視力情報の内の球面レンズ度数の値を球面レンズ調整手段22に設定する。ステップS222で、球面レンズ調整手段を球面レンズ度数の値を使って設定する。
 視度調節処理S230では、ステップS231でユーザーが視度調節をしやすいガイド映像を表示する。ステップS232でユーザーが球面レンズ調整手段22を使って視度調節を実施する。
 図57に視度調節用のガイド映像の一例を示す。ユーザーは右目、左目の順にピント調整を行い、前回の度数と現状の度数とを表示していることから、ユーザーは、その値を参考に調整することができる。
 なお、図52のフローを実行中に、ユーザーが調整を断念、またはスキップしたい時は、いつでも割り込み処理として調整処理を終えてヘッドマウントディスプレイを使うことができる。
 また、利用者識別情報入力手段93は、眼球位置計測手段6が生成可能な目の固有情報(各自のIPD情報、眼の色、瞳孔の色・大きさ等)を使って、個人識別を行うことにより正確な自動個人識別を可能にすることも可能である。
 図13に、本開示のヘッドマウントディスプレイの構成のシステム構成図の一例(図12の(Type1)の構成に付加レンズ装着手段23を加えた例)を示す。
 図13と図12との差異は、鏡筒部3に、レンズ4の前面に付加レンズ装着手段23を持つことである。
<第3実施形態>
 「小型ゴーグルは眼鏡が入らないので、眼鏡利用ユーザーに対しての緩和策が必要」の課題2に対しての3つの解決策の2の「アダプターレンズ、シフトレンズの厚みを考慮して歪曲補正等のVR空間生成パラメーターを切り替える機構での解決策」について述べる。
 図14に、本開示のヘッドマウントディスプレイの構成の一実施例を示す。図14Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図14Bは、図14Aのシステム構成図の一例である。本体部1は保持部2により使用者の顔面に保持される((Type1~3)のすべての構成を取りうるが、図14では、この保持機構の部分は無関係なので記載していない)。
 図14A、図14Bでは、図1に示したヘッドマウントディスプレイの基本構造の構成要素に加え、付加レンズ装着手段23と、瞳孔間距離をユーザーの瞳孔間距離に合わせるために鏡筒部3を左右の移動させるための鏡筒水平移動手段8と、最適頂点間距離情報格納手段20と、鏡筒水平移動手段8を制御することで鏡筒部3の移動を制御し、調整後のレンズ位置をレンズ位置情報格納手段18に報告する鏡筒部制御手段7とで構成されるVR表示部10を持つ。
 VR表示制御部11はVR映像生成手段15を持ち、VR映像データ16あるいはVRアプリ16が生成したVRデータを6DoF情報に基づきVR表示部10で表示する映像に変換する。変換された映像は、レンズ歪曲情報群格納手段24内に格納されたVR表示部10が持つレンズ4などの光学特性に基づいた歪補正用データをもとに歪曲を補正する歪曲補正手段14を経由してVR表示部10に送られる。
 図58を使って、付加レンズ90を使用した場合の課題について述べる。図58Cのように設計値の頂点間距離54が15mm以上と十分広い場合は付加レンズ90を入れた場合でも、頂点間距離41は12mm以上になり、眼鏡と同等以上の頂点間距離41を取れるため、付加レンズ90がまつ毛に当たったりして不快なことは発生しない。しかし設計値の頂点間距離54が12mm程度の場合(近い方がFoVを広くとれるため有利だが12mmが限界)は、付加レンズ90を装着すると10mm程度になり、眼球40に近すぎる弊害が発生する。従って、このような場合は、図58Dのようにレンズ4と眼球40間の距離を設計値の頂点間距離54に合わせることは断念して、付加レンズ90と眼球40間の距離を設計値の頂点間距離54に合わせることで、付加レンズが眼に近すぎることの弊害を避ける。この場合、レンズ4と眼球間の距離である付加レンズの厚みを加算した頂点間距離91は設計値の頂点間距離54より大きくなる。この状態でヘッドマウントディスプレイを使用した場合は、歪曲補正等のパラメーターが設計値の頂点間距離54になっているため、期待したVR空間の視聴ができない。
 この課題を解決するために、レンズ歪曲情報群格納手段24に付加レンズが無い設計値の頂点間距離54での歪曲補正パラメーターに加え付加レンズ90が加わった付加レンズの厚みを加算した頂点間距離91の歪曲補正パラメーターを格納し、付加レンズ装着手段23に付加レンズ90が装着されたどうか、付加レンズの厚み等で、作成済(または動的に作成する)のレンズ歪曲情報を切り替える。
 つまり、付加レンズ不使用の場合は、設計値の頂点間距離54が12mmなら、12mmのレンズ歪曲補正情報でVR表示する。付加レンズを装着した場合は、設計値の頂点間距離54が12mmなら、12mm+アダプターレンズの厚みの値で生成されたレンズ歪曲情報でVR表示をする。
 ここで、レンズ歪曲情報群格納手段24内に格納されるVR表示部10が持つレンズ4などの光学特性に基づいたレンズ歪曲情報について説明する。ヘッドマウントディスプレイの歪曲収差は、式(A)、式(B)で表現されることが知られている。
 X=p(3x+y)+x{k(x+y+k(x+y)+1}+2pxy       式(A)
 Y=p(x+3y)+y{k(x+y+k(x+y)+1}+2pxy       式(B)
 ここで、(x、y)はレンズの中心を(0、0)とする座標、(X、Y)は歪曲補正後の座標、k、kはレンズの半径方向の歪み係数、p、pはレンズの円周方向の歪み係数を示す。
 ヘッドマウントディスプレイの光学特性によりk、k、p、pのパラメーターが与えられているので、これらのパラメーターに基づいて式(A)および式(B)の逆補正を行うことで、歪曲補正が可能である。
 レンズ歪曲情報格納手段19やレンズ歪曲情報群格納手段24には、設計値の頂点間距離に基づいた歪曲情報としてk、k、p、pのパラメーターが格納されている。さらに、レンズ歪曲情報群格納手段24には、頂点間距離の設計値と付加レンズの厚みに基づいた歪曲情報としてk、k、p、pのパラメーターについても格納されている。かかる構成のレンズ歪曲情報群格納手段24を備えたことで、VR表示制御部11は、頂点間距離の変動調整が十分でない場合、そのずれを頂点間距離の設計値と付加レンズの厚みに基づいた歪曲情報を用いて補正することができる。
 図15に、本開示のヘッドマウントディスプレイの構成の別の実施例を示す。図15Aは、ヘッドマウントディスプレイを上部から見た模式図の一例、図15Bは、図15Aのシステム構成図の一例である。本体部1は保持部2により使用者の顔面に保持される((Type1~3)のすべての構成を取りうるが、図14では、この保持機構の部分は無関係なので記載していない)。
 図15A、図15Bでは、図14に示した構成に加え、ヘッドマウントディスプレイの基本構造の構成要素に加え、球面レンズ調整手段22を持つ。この構成は図11で述べたシフトレンズと球面レンズ調整手段22での視度調整機能を実現するための構成である。図14同様に、設計値の頂点間距離54が12mm程度と狭い場合は、レンズ歪曲情報群格納手段24に付加レンズなしの場合と付加レンズ用の歪曲補正パラメーターを持ち、付加レンズの有無でパラメーターを切り替えることで付加レンズの有無に限らず、最適なVR空間視聴を実現する。
 図16A、図16Bは、図14A、図14BのMRゴーグル版である。
 図17A、図17Bは、図15A、図15BのMRゴーグル版である。
 図14で示した付加レンズの有無により、歪曲補正パラメーターを切り替えることは、VRゴーグルでもMRゴーグルで同様に機能する。
<第4実施形態>
 「小型ゴーグルは眼鏡が入らないので、眼鏡利用ユーザーに対しての緩和策が必要」の課題2に対しての3つの解決策の3の「眼鏡処方箋情報を基に、ヘッドマウントディスプレイ内にバーチャル眼鏡機能を実現する解決策」について述べる。
 バーチャル眼鏡機能とは、眼鏡処方箋、もしくは、眼鏡から計測した矯正視力情報群を得て、ヘッドマウントディスプレイ内の瞳孔間距離、球面レンズ強度等の設定手段をその矯正視力情報群の値に基づき設定すると、上下の装着位置、頂点間の位置を眼鏡と同等の正しいレンズと眼の位置関係に調整することで、眼鏡を掛けているのと同等の効果を得ることを目指したものである。
 バーチャル眼鏡機能を実現するために、眼鏡処方箋の情報の意味、眼鏡から眼鏡処方箋情報を読み出すことができるオートレンズメータについて説明する。
 図59は、日本での眼鏡処方箋とオートレンズメータから得た眼鏡の情報を示す。眼鏡処方箋には、遠くを見るための遠用度数(For Distance)と近くを見るための近用度数(For Reading)の2つがある。ヘッドマウントディスプレイの場合は、映像自体は眼の近くのディスプレイパネルに表示されるが、VR空間内では、レンズを通して、映像は遠方表示されため、バーチャル眼鏡機能では、「遠用」度数を利用する。
 図59Aに眼鏡処方箋のデータを示す。眼鏡処方箋に矯正視力情報としては、球面度数、円柱度数、乱視軸、プリズム、基底、瞳孔間距離の6つについて左右の眼の情報を使う。
 球面度数(SPH)とは、近視・遠視を補正する球面レンズの度数であり、近視の場合は、「-」、遠視の場合は、「+」の値となる。円柱度数(CYL)とは、乱視を補正するための円柱レンズの度数であり、乱視軸(AXIS):は、乱視の軸の傾き方向を示すもので0°~180°の角度で表す。プリズム(PRISM):斜視矯正のための数値であり、単位はΔプリズムディオプトリを使う。基底(BASE)は、プリズムの矯正方向を示し、IN(内方)、OUT(外方)、UP(上方)、DOWN(下方)の方向、または、0~360度の値を使う。瞳孔間距離(PD:Pupil Distance)は、顔の中心から左と右の眼の瞳孔の中心までの距離を示す。
 図59Bは、オートレンズメータでの測定値の一例を示す。オートレンズメータは、眼鏡からレンズ情報を読み取ることができる機械である。(例:https://www.nidek.co.jp/products/glasses/optical_list/optical_lensemeter/lm-1800pd.htmlを参照のこと)
 オートレンズメータを使いて眼鏡から読み出した遠用矯正視力情報群は、眼鏡処方箋の情報(左右各々の目の、球面度数、円柱度数、乱視軸、プリズム、基底とPD情報)と同じ情報を取り出すことができる。
 図18に、球面レンズ調整手段を持つVRゴーグルの実施例の構成の概要を示す。
 図18に、本開示のヘッドマウントディスプレイの構成の一実施例(図6の(Type1)の構成に矯正視力補正手段26を加えた例)のシステム構成図を示す。図18は、図12の利用者情報格納手段25の代わりに、矯正視力補正手段26を追加した構成でもある。
 図6Bとの差異は、眼鏡を利用するユーザーがヘッドマウントディスプレイの利用開始時に自分の矯正視力情報29を入力するための矯正視力情報入力手段28とその情報を格納する、矯正視力情報格納手段27と、その情報をヘッドマウントディスプレイの各種設定手段に伝え、その情報の値に設定させる矯正視力情報設定手段101とを有する矯正視力補正手段26を持つことである。
 矯正視力情報設定手段101は、矯正視力情報格納手段27に格納された矯正視力情報を取り出し、鏡筒部制御手段7を介して、球面レンズ調整手段22、鏡筒水平移動手段8に与え、使用者の矯正視力情報に基づいた利用環境を実現する。
 図60に、図18の構成図のフローチャート(S300)を示す。
 図60のフローチャートは図56のフローチャートとほぼ同じであり、図56のフローチャートとの差異は、ステップS300の処理の最初に、ステップS201の「利用者情報格納・設定手段から個人矯正視力情報の取り出し」処理に替え、ステップS301の「矯正視力情報入力手段28での矯正視力情報29の取得」とステップS302の「矯正視力情報格納手段27の矯正視力情報29の保存」とステップS303の「矯正視力情報設定手段101の矯正視力情報29の設定」が加わったこと、瞳孔間距離の調整フローS210と視度調整フローでは、矯正視力情報29を設定することに代わったことである。
 図61に視度調節用のガイド映像の一例を示す。ユーザーは右目、左目の順にピント調整を行い、自分の矯正視力の度数と現状の度数とを表示していることから、ユーザーは、矯正視力の度数の値を目標に調整することができる。
 図19に、本開示のヘッドマウントディスプレイの構成のシステム構成図の一例(図18の(Type1)の構成に付加レンズ装着手段23を加えた例)を示す。
 図19と図18との差異は、鏡筒部3に、レンズ4の前面に付加レンズ装着手段23を持つことのみである。
 図18との差異は、図18にはない、付加レンズ装着手段23に個人専用レンズやシフトレンズを装着できることがある。このため、眼鏡ユーザーの球面レンズ度数が、ヘッドマウントディスプレイの球面レンズ調整手段の調整範囲を超えている場合でも、シフトレンズを付加レンズ装着手段23に入れることで、バーチャル眼鏡機能を実現することができる。
 眼鏡ユーザーの球面レンズ度数が、ヘッドマウントディスプレイの球面レンズ調整手段の調整範囲を超えている場合は、ユーザーにワーニングを出して、シフトレンズの装着を促すと共に、そのシフトレンズの分、球面レンズ調整手段の調整値を減らす必要がある。なお、ユーザーの顔の向きが変化したとき、例えば下を向く、傾けるなどの場合も表示画面は顔の向きの変化に追従することから乱視の歪補正処理は変わることはない。
 また付加レンズ装着手段23内に、装着の有無を感知したり、装着した付加レンズの種類(シフトレンズの度数等)を感知する手段を追加すれば、更にユーザーの利便性が向上する。
 図18、および図19では、図2の(Type1)の奥行方向(頂点間距離)の調整を鏡筒部3の移動機構を持つVRゴーグルで示したが、図3の(Type2)、図4の(Type3)、図5のMRゴーグルに場合も矯正視力補正手段26を加えた同様の構成が可能である。
 図20、図21に、図18と図19の構成をMRゴーグルに矯正視力補正手段26を加えた同様の構成を示す。
 図18と図19、図20、図21では、矯正視力情報29として、球面レンズ度数と瞳孔間距離のみを使用する構成を示した。矯正視力情報29には、球面レンズ度数と瞳孔間距離に加え、乱視補正のための円柱度数と乱視軸も記載されていることがある。この乱視の場合のバーチャル眼鏡機能の実現方法について示す。
 まず、乱視の簡単な説明を行う。乱視とは、ものを見るときに焦点が1ヶ所に集まらない状態のことであり、網膜に焦点を結べない状態を示す。乱視には、「正乱視」と「不正乱視」がある。
 目は入って来た光をレンズに相当する角膜と水晶体で屈折させて1点に集めることで、ピントの合った像を見ることができる。角膜や水晶体がきれいな球面であれば、目の奥の1点で焦点が合う。正乱視は、角膜や水晶体が、上下、左右、斜めの、いずれかの方向に傾いたラグビーボールのような形になっているために1点で焦点が合わない状態のことであり、網膜上にピントを合わせようと思っても、ある線ははっきり見えるけれど、その線に直角に交差する線は見えにくいという症状が現れる。この状況は円柱レンズで矯正することが可能である。通常「乱視」と呼んでいるのは、正乱視のことである。
 不正乱視は、角膜ガタガタで、円柱レンズでは補正できないため、眼鏡では矯正できない。従って本バーチャル眼鏡でも、正乱視のみを対象にする。
 正乱視には、歪む方向により、直乱視、倒乱視、斜乱視に分かれる。図62に3つの乱視の症状を示す。図62Aは乱視検査用チャート、図62Bは直乱視、図62Cは倒乱視、図62Dは斜乱視の見え方の例である。直乱視は、横向きのラグビーボールのように上下が押し潰された形になっているタイプの最も多い乱視であり、垂直の線がはっきり見えるものの、水平の線はぼやけて見える。倒乱視は、左右が押し潰された縦長の形になっているタイプであり、水平の線ははっきり見えるものの垂直の線は見えにくい。斜乱視は、角膜や水晶体が斜めになっているタイプであり、斜めの線が見えやすく、その線に直角に交わっている線が見えにくい。
 正乱視は、円柱レンズで補正することができる。眼鏡処方箋には、円柱度数と乱視軸が記載されているため、この2つの数値を使って円柱レンズの効果を映像的に生成すればよい。これはレンズの収差補正、歪曲補正と同じような手段で実現可能である。
 円柱レンズ調整手段は、正乱視の補正を行うために円柱レンズの情報に基づき、収差補正と同様の方法で画像を変形させる。変形の際の数式は、円柱レンズの断面度数がsinθであることから、式(2)で得られる。
 R(θ)=R×sinθ        式(2)
 ここで、R:強主経線方向の屈折力 (D)
     θ:円柱レンズの強主経線に対する主経線のずれ角度(経線方向が強主経線方向に直角な位置を0°)
     R(θ):円柱レンズの強主経線に対してずれ角θの主経線上の屈折力
 円柱レンズCYL+4D180度の場合を一例とし、屈折力分布の求め方を、図81を用いて説明する。円柱レンズ情報からユーザーの片方の眼球の歪みが縦方向(180°)の直乱視であり、乱視度数が+4Dであることがわかる。円柱レンズは、「パワー方向(Power Direction)」と呼ばれ、光学的パワーを有しレンズの曲がった方向に沿って屈折力を発生させる方向と、光学的パワーを有さない「ノーパワー方向(Non-Power Direction)」を有している。図81では、縦方向の直乱視の状態に合わせ、ユーザーの眼球の強主経線の向きに合わせて円柱レンズのパワー方向をY軸方向(垂直方向)に合わせている。すなわち、円柱レンズのパワー方向がY軸に沿って設置されている。なお、図81のVR映像の表示画面の中心を原点O(0,0)とすると、図81の円柱レンズの中心軸はVR映像の表示画面の原点Oを通る位置に設置される。図81では乱視角度が180度なので、円柱レンズの中心軸はX軸となる。また、円柱レンズのパワー方向の長さは、表示画像平面のY軸方向の幅に等しいとする。ここで、VR映像の表示画面は、表示パネルに表示されるVR映像と略一致するものとする。
 従って、例えば、円柱レンズCYL+4D180度の場合各方向の度数は、
 30度方向は、4D×sin(30°)=D
 60度方向は、4D×sin(60°)=3Dとなり、計算可能である。
 同様の計算を複数の経線方向角度に対して行うことで、VR映像の表示画面上の屈折力分布を求めることができる。また、屈折率分布を利用して、表示映像に対してユーザーの乱視の歪み補正処理を行うことができる。
 図63、図64で処理の具体例を示す。
 図63は、正乱視の補正の基本的な概念を説明するための図である。
 図63の上段は、上段左の図形を、乱視を持つユーザーが見た時に上段右図のように見える乱視であることを示す。つまり左右に対して上下が縮んで見える正乱視の場合である。
 このように見える乱視の場合に正しく見えるようにVRで補正を行う方法を示したのが下段の図である。
 下段の左端が上段左と同様に見えている図形である。これに対し乱視を補正するために上下に伸びた変形を加えると下段の左から2番目のようになる。これに、VRが持っている下段の左から4番目の歪曲を補正するために、下段の左から3番目のVR基本ソフトでの歪曲補正を加えると、下段の右から3番目の図形となる。これは下段の左から2番目の乱視補正後の図形と同じである。これが表示パネルに表示されレンズを通じてみている図形となる。これを乱視の方が見ると、乱視の方の乱視の特性が、下段の右から2番目で上下に縮んだ特性であるので、乱視の方が見る映像は、下段の右端の図となり、これは、下段の左端の表示したい図形と一致する。
 実際の乱視補正は先に述べたように正乱視の場合、円柱レンズ情報に基づき補正する。
 図64は、図63と同様に正乱視の補正の基本的な概念を説明するための図である。図63との違いは、右に傾いた斜め方向に縮んで見える正乱視、つまり乱視軸が斜めの場合についての図である。
 上段は図63と同様に上段の左の図を乱視の方が見ている図形を上段の右に示している。
 下段は図63と同様にこのような乱視をVRで補正を行う方法を示している。
 図63と同様に、下図の左から2番目の乱視補正を加えることで、下段の右端の図形が乱視の方が見ている図形となり、乱視の補正ができていることになる。図63、図64のように、正乱視の場合、処方箋に記載されている円柱レンズ度数と乱視軸で示される正乱視に対してその逆特性の補正をVRで加えることで乱視が補正できる。
 図22に、球面レンズ調整手段と円柱レンズ調整手段とを有すバーチャル眼鏡機能を持ったVRゴーグルの実施例の構成の概要を示す。
 図22に、本開示のヘッドマウントディスプレイの構成の一実施例(図18の(Type1)の構成に乱視対応のための調整手段を加えた例)のシステム構成図を示す。
 図22と図18との差異は、乱視対応のための調整手段である、円柱レンズ調整手段30を矯正視力補正手段26内に追加し、乱視補正手段31をVR表示制御部11に追加したことである。円柱レンズ調整手段30では、矯正視力情報格納手段27から乱視関連の情報である円柱度数と乱視軸の情報を取り出し、乱視補正手段31に渡す。乱視補正手段31では、乱視関連の情報を使い、図63、図64で説明した乱視補正処理を行い、補正後の映像を歪曲補正手段に出力する。
 図65に、図22の構成図のフローチャート(S400)を示す。
 図65のフローチャートは図60のフローチャートに乱視処理の部分を付加したものである。図60のフローチャートとの差異は、図60のフローチャートS300の最後に、ステップS414の円柱レンズ調整手段から現在の円柱度数の取り出し処理と、ステップS415の取り出した円柱度数が矯正視力情報の円柱度数と一致しているか否かを判定(一致していれば、円柱度数と設定処理が要らないため)し、一致していない場合は、ステップS416で円柱レンズ調整処理を呼び出す部分が追加されている。
 ステップS410の円柱レンズ調整処理では、ステップS411で円柱レンズ調整手段30が矯正視力情報格納手段27から乱視関連の情報である円柱度数と乱視軸の情報を取り出す。ステップS412では円柱レンズ調整手段30が円柱レンズ情報群を乱視補正手段31に渡すことで、乱視補正手段31が乱視補正処理内容を、円柱レンズ情報群の情報に沿って処理するようにする。
 図23と図24に、球面レンズ調整手段と円柱レンズ調整手段とを有すバーチャル眼鏡機能を持ったMRゴーグルの実施例の構成の概要を示す。矯正視力情報格納手段27に格納されている矯正視力情報は図22と同じであり、円柱レンズ調整手段30も乱視補正手段31の機能も図22と同じである。
 図23と図24との違いは、図23が、VST映像合成手段36でVST映像処理手段35から来るVST映像と、VR映像生成手段15から来るVR映像との合成後に乱視補正手段31を行うか、合成前に行うかの違いのみである。
 図22と図23、図24では、矯正視力情報29として、球面レンズ度数と瞳孔間距離に加え乱視矯正用の情報も使用する構成を示した。矯正視力情報29には、球面レンズ度数と瞳孔間距離、乱視補正のための円柱度数と乱視軸に加え、斜視補正用のプリズム、基底の情報も記載されていることがある。この斜視補正情報も追加されている眼鏡処方箋の場合のバーチャル眼鏡機能の実現方法について示す。
 まず、図66を使って斜視の簡単な説明を行う。斜視とは、物体を見るときは、両方の目が、目標物の方向に向くが、片方の目が目標物を見ているにも関わらず、もう片方の目が目標物とは違う方向を向くことである。斜視の種類としては、図66Aに示すように、目の位置によって、内斜視、外斜視、上斜視(下斜視)にわけられる。軽度の斜視の場合は、図66Bに示すようにプリズムを使うことで、改善することができる。
 ヘッドマウントディスプレイの場合は、立体視が可能なように両目に別々の映像を表示することができる。斜視の場合は、ヘッドマウントディスプレイが想定した視線方向とは異なる方向を見ているため、左右の目の映像がずれ、両眼立体視ができないのみならず、VR酔い等の不快な症状を併発する恐れがある。
 従って斜視状態の緩和は、斜視のユーザーがヘッドマウントディスプレイを使う際には非常に重要となる。
 ヘッドマウントディスプレイの場合はパネルに表示されたVR空間の映像を、レンズを通してみるため、眼鏡での矯正より難しい。しかし、VR空間の生成時に、バーチャルカメラの撮影軸を変える等によりバーチャルなプリズムを実現できる。このため軽度の斜視等に関しては、ユーザーの斜視情報(プリズム、基底)があれば、その情報に基づき、表示の軸(仮想カメラ角度等)を変えることで、対応できる。
 図67を使って、ヘッドマウントディスプレイでの斜視ユーザーの課題をついて述べる。
 図67Aは、左目が外側を向いている斜視に対して理想的な表示パネルとレンズの配置を示し、図67Bの実際の表示パネルとレンズの配置を示す。理想的な表示パネル/レンズの配置は、眼球に正対することであるので図67Aのようになるべきであるが、実際は、左右の表示パネル/レンズは同じように固定されるのが一般的であるため図67Bのようになる。このため、左目は表示パネルの外側を見ていることになり、ヘッドマウントディスプレイの通常の表示方法では、少し歪んだ映像を見ることになる。
 また左右の目の視野が異なることから立体視が難しくなる。このことから斜視の状況を測定し、この図の場合、左目用の表示パネルの映像を補正することでよりよいVR視聴体験を提供できる。
 具体的には、左用の仮想カメラの角度を斜視の程度に合わせて変更すること、必要に応じ歪曲歪のパラメーターを修正することで実現する。また、実際の視野とあまりに異なると強い疲労を感じるなどあることから、使用者の好みに合わせて補正の程度を調整することも有効である他の斜視についても同様の考えで補正を行うことが可能である。
 図68、図69は、斜視をVRで補正する基本的な概念を説明するための図を示す。図68は、斜視の方がVRで表示されている映像を見ている状況を示す。
 図68Aは、VR映像の表示の概念を示す。VR映像は、左目と右目の表示パネルにそれぞれの眼で見る映像を表示する。これは表示するVR空間を左目と右目の位置にある3D空間を撮影するバーチャルなカメラ(バーチャルカメラ)で撮影した映像を左右それぞれの表示パネルに表示することで実現する。図68Bは、斜視でない正常な方が左右の表示パネルを見ている状況を図示した。左右それぞれ正面を向いているため、図68Aのバーチャルカメラと同じ向きとなり、問題なくVR映像を見ることができ、きちんと立体視ができる。
 図68Cは、同じ3D空間を斜視の方が見ている状況を示す。この図68Cでは、左目が外側を向いているために、バーチャルカメラの方向とは一致せず、うまく立体視ができない。
 図69Aは図68Aのような斜視をVRで補正する方法を示す。まず、図69Aのように左目用のバーチャルカメラを斜視の程度に応じて、逆向きに向ける。この場合は、左側を向いている斜視のため、バーチャルカメラを右側に向く。これをVRとして見ている状況が、図68Bで、左目用の映像が少し左にずれる。これを斜視の方が見ると、左目が左の外側を向くので、左目で見ている状況は図69Bのように表示されている映像が少し右にずれるため、ほぼ正常な方と同じような映像を左右の眼で見ることになる。
 実際には、眼で見ている映像に対し、脳内での補正も加わるので、斜視の方の状況に応じて補正量を変えていく必要がある。一つの指針は、処方箋のプリズムと基底の値である。ここから実際にVRで見ながら快適な状態となるように調整することになる。
 図82A及び図82Bは、斜視をVRで補正する基本的な概念を説明するための図を示す。図82Aは、左目に斜視を有する方が補正無しで、VRで表示されている映像を見ている状況を示す。図82Aの中央の図は、仮想空間内における右目用のバーチャルカメラ及び左目用のバーチャルカメラの撮影範囲を示す平面図である。図82Aの右側の図は、右目用のバーチャルカメラで撮影されたVR映像の表示画面を、正常な右目で見た場合の視野を示す。図82Aの左側の図は、左目用のバーチャルカメラで撮影されたVR映像の表示画面を、斜視を有する左目で見た場合の視野を示す。図82Aの右側の図では、正常な右目の視野の中央付近に物体211が位置しているが、図82Aの左側の図では、斜視を有する左目が内側を向いているため、視野が右側に傾き、本来視野の中央付近に位置する物体211が視野の中央よりも左側に寄っていることがわかる。
 図82Bは、左目に斜視を有する方が補正有りで、VRで表示されている映像を見ている状況を示す。図82Bの中央の図は、仮想空間内における右目用のバーチャルカメラ及び左目用のバーチャルカメラの撮影範囲を示す平面図である。なお、図82Bの中央の図では、左目の斜視に対応するため、左目用のバーチャルカメラが外側に向けられ、撮影範囲が左側に傾いている。図82Bの右側の図は、右目用のバーチャルカメラで撮影されたVR映像の表示画面を、正常な右目で見た場合の視野を示す。図82Bの左側の図は、左目用のバーチャルカメラで撮影されたVR映像の表示画面を、斜視を有する左目で見た場合の視野を示す。図82Bの右側の図では、正常な右目の視野の中央付近に物体211が位置している。一方、図82Bの左側の図では、斜視を有する左目が内側を向いているため、視野が右側に傾いているが、そもそも、左目用のバーチャルカメラの撮影範囲が左側に傾いていたため、互いの傾きが相殺され、本来視野の中央付近に位置する物体211が本来通り、視野の中央付近に位置していることがわかる。
 なお、ユーザーの顔の向きが変化したとき、例えば下を向く、傾けるなどの場合もバーチャルカメラは顔の向きの変化に追従することから顔の向きにより処理が変わることはない。水平正面位置でのバーチャルカメラに斜視の補正を加えた状態で顔の向きによるバーチャルカメラの動きを行うことで正しい斜視補正が可能になる。
 図25に、球面レンズ調整手段と円柱レンズ調整手段とプリズム調整手段とを有すバーチャル眼鏡機能を持ったVRゴーグルの実施例の構成の概要を示す。図25に、本開示のヘッドマウントディスプレイの構成の一実施例(図22の(Type1)の構成に斜視対応のための調整手段を加えた例)のシステム構成図を示す。
 図25と図22との差異は、斜視対応のための調整手段である、プリズム調整手段32を矯正視力補正手段26内に追加したことである。プリズム調整手段は、矯正視力情報格納手段に格納されたプリズム情報群の情報に基づきVR映像生成手段を適切に調整することで、斜視の矯正を行う。また、必要に応じて、歪曲補正手段を調整することでよりよいVR映像を使用者に提供する。
 図70に、図25の構成図のフローチャート(S500)を示す。
 図70のフローチャートは図65のフローチャートに斜視処理の部分を付加したものである。図65のフローチャートとの差異は、図65のフローチャートS400の最後に、ステップS516のプリズム調整手段のプリズム・基底の値が矯正視力情報のプリズム・基底の値と一致しているか否かを判定(一致していれば、プリズム調整処理が要らないため)し、一致していない場合は、ステップS517でプリズム調整処理を呼び出す部分が追加されている。
 ステップS510のプリズム調整処理では、ステップS511でプリズム調整手段32が矯正視力情報格納手段27から斜視関連の情報であるプリズム度数と基底の情報を取り出す。ステップS512ではプリズム調整手段32がプリズム情報群の情報に沿ってVR映像生成手段15の処理を変えるようにする。ステップS513では歪曲補正処理の必要性を判定し、必要な場合は、ステップS514で、歪曲補正手段14でプリズム処理に必要な処理をさせる。
 図26で、球面レンズ調整手段と円柱レンズ調整手段とを有するバーチャル眼鏡機能を持ったMRゴーグルの実施例の概要を示す。矯正視力情報格納手段27に格納されている矯正視力情報は図23と同じであり、円柱レンズ調整手段30も乱視補正手段31の機能も図22と同じであるが、プリズム調整手段32からの情報をVST映像処理手段35へ入力し、ユーザーのプリズム情報に従いVST用のカメラのからの映像をVR映像にあわせるように補正することが異なる。
 図27、図28、図29で、バーチャル眼鏡機能を持ったヘッドマウントディスプレイを複数人に共有する場合について示す。バーチャル眼鏡機能の矯正視力情報をユーザーが変わる度に再入力することは非常に面倒である。そこで、図12のように、複数人の矯正視力情報を格納できることが望ましい。図27は図12と同様の構成であり、図18に利用者情報格納手段25と、利用者識別情報入力手段93を追加したものである。同様に、図28は図20に、図29は図25に利用者情報格納手段25と、利用者識別情報入力手段93を追加したものである。
 利用者識別情報入力手段93では、個人の識別情報を検出する手段(彩光、指紋、ICカード、ID入力)と、VRゴーグル本体または、サーバー等に複数人分の眼鏡処方箋情報を格納する手段(眼鏡処方箋情報DB)とを持ち、個人識別結果に基づき、眼鏡処方箋情報DBから、本人の眼鏡処方箋情報を取り出す手段を持つことができるため、毎回設定する手間を省いて、各自の最適な視聴状況(眼鏡処方箋の情報のバーチャル眼鏡を使うことで)でヘッドマウントディスプレイを利用することができる。
 図71Aに示すように、ヘッドマウントディスプレイ(VRシステム)は、VR表示部、VR表示制御部(3D空間生成手段)、入力手段の3つから構成される。また、図71Eに示すように、ヘッドマウントディスプレイ(MRシステム)は、VR表示部、VR表示制御部(3D空間生成手段)、入力手段の3つに加え、VST入力手段、VST映像合成手段の5つから構成される。
 図71に示すように、ヘッドマウントディスプレイ(VRシステム、MRシステム)は、GPUの演算処理の重いVR表示制御部(3D空間生成手段)の配置により、図71Aと図71Eの一体型と、それ以外の分離型に分かれる。分離型には、図71Bと図71Fに示すようなPC接続型と、図71Cと図71Gに示すようなスマホ接続型と、図71Dと図71Hに示すようなクラウド連携型の3つがあり、合計4つの構成例が取れる。
 図71Aと図71Eに、一体型の例を示す。一体型は、ヘッドマウントディスプレイ内にVRの3つの機能、MRの5つの機能のすべて入っている構成である。従って、VR/MRアプリはヘッドマウントディスプレイの本体部で実行される。一体型であっても、Wirelessネットワーク経由で、PCやクラウドからVRデータやVR映像を入手してヘッドマウントディスプレイで表示する場合がある。
 図71Bと図71Fに、分離型(PC接続型)の例を示す。ヘッドマウントディスプレイは、有線もしくは無線で近接のPC(コンピューター)に接続され、VR表示制御部(3D空間生成手段)はPC側で実行する構成である。VRヘッドマウントディスプレイでは、VR表示部と入力手段のみを実行する。具体的には、表示手段でPCから送られるVR映像・音声の再生、入力手段で音声の入力およびヘッドトラッキング、コントローラーの入力等の情報をPCへ送信する処理等を行う。VRアプリは、PCで実行される。MRヘッドマウントディスプレイの場合も同様に、VR表示制御部以外の機能はヘッドマウントディスプレイ側で行われる。まれに、VST入力手段で得た映像をPC側に送り、PC側にVST映像合成手段がある場合もある(但し、この構成の場合は、VST入力手段で得た映像をPCに送って合成処理を行うため、合成画像の再生遅れの懸念がある)。
 図71Cと図71Gに、分離型(スマホ連結型)の例を示す。ヘッドマウントディスプレイは、有線もしくは無線で近接のスマホに接続され、VR表示制御部(3D空間生成手段)はスマホ側で実行する構成である。この構成はコンパクトで扱いやすいというメリットがあるが、スマホのGPU処理能力がPCに劣るため、複雑な業務用VRアプリの実行に向かない。
 図71Dと図71Hに、分離型(クラウド連結)の例を示す。VRゴーグルは、有線もしくは無線で近接のPCまたはスマホに接続され、そのPCまたはスマホ経由でクラウドに接続するか、無線でクラウドに直接接続し、VR表示制御部(3D空間生成手段)はクラウド側で実行する構成である。VR映像の処理などの処理能力が必要な処理をクラウド上のサーバーで行うことで、複雑な業務用VRアプリの実行も可能になるが、クラウドで処理するため、遅延が発生するため、早い動きへの反応が必要とされるVRアプリの場合は適さない場合もある。複数人が同時にVR体験することが必要なVRアプリを利用する場合はメリットが大きい。
 バーチャル眼鏡機能を有するヘッドマウントディスプレイの実現方法として、これまではヘッドマウントディスプレイのみでバーチャル眼鏡機能を持つ構成例を説明した。
 実際のヘッドマウントディスプレイやバーチャル眼鏡機能の販売形態としては、眼鏡処方箋の情報を使って個人に最適化したヘッドマウントディスプレイは、眼鏡同様に、医療機器認定の取得や特定の販売形態での販売しか認められない可能性もある。ヘッドマウントディスプレイ自体は一般IT機器として販売し、バーチャル眼鏡機能部分のみ別売で医療機器認定を受けたソフト製品の形で分離販売することも考えられる。このことを実現するために、バーチャル眼鏡機能を実現するために必要な基本的な制御手段を持つが、バーチャル眼鏡機能は実現できないヘッドマウントディスプレイ(通常のIT機器)とバーチャル眼鏡機能を実現するためのバーチャル眼鏡機能制御ソフト(医療機器認定取得ソフト)の2つの製品に分けた商品の構成がありうる。
 このハードとソフトを分離した構成の場合は、ヘッドマウントディスプレイ単体(例えば図12の構成)では、前記の眼鏡処方箋の情報を扱う機能は動作しない。前記ヘッドマウントディスプレイにバーチャル眼鏡機能制御ソフトをインストールすることで、本開示の機能を動作させることができる。
 2体型の構成形態の場合は、ヘッドマウントディスプレイ(例えば、図27や図29)は、瞳孔間距離補正のための鏡筒水平移動手段8、上下方向の装着位置補正のための上下位置調整手段12、頂点間距離補正のための鏡筒奥行移動手段9と球面レンズ調整手段22を持つが、矯正視力情報入力手段28や矯正視力情報設定手段101等を持たない。
 バーチャル眼鏡機能制御ソフトは、矯正視力情報入力手段28、矯正視力情報格納手段27、矯正視力情報設定手段101等を持ち、眼鏡処方箋情報を格納でき、眼鏡処方箋情報を使って、前記ヘッドマウントディスプレイの各機能を制御することで、眼鏡処方箋の情報を使った、VR視聴を実現することができる。
 図72にバーチャル眼鏡機能を持つ一体型ヘッドマウントディスプレイのソフトウエア構成例1を示す。
 VRゴーグル制御ソフト114は、ヘッドマウントディスプレイの基本的な制御を行うとともに、VR基本ソフト113を通じてVRアプリ16と通信し、VRアプリ16は音声/映像を再生し、映像はVR基本ソフト113で制御されるVR表示制御部11を通じて、VRゴーグル制御ソフト114が制御するVR表示部10でVRとして表示される。音声は同様に処理されるが、本図ではその処理は省略する。ヘッドトラッキング情報、コントローラーのトラッキング情報いわゆる6DoF情報またコントローラーやマイクからの音声入力などはVR入力として、一部VRゴーグル制御ソフト114を通じてVR基本ソフト113に渡され、6DoF情報やコントローラーの情報は正規化され、VR表示制御ソフトの制御や3DCGの描画、音声通信などが行われる。
 VR基本ソフト113は、ヘッドマウントディスプレイの特性に応じ、映像/音声を変形したり、ヘッドトラッキング情報やコントローラーのトラッキング情報を定められた形式に正規化し、VRアプリ16に送るなど、様々なVRアプリ16とVRゴーグル制御ソフト114を接続できるようにする役割を持つ。ここで、トラッキング情報に従ったVR映像の切り出しはVRアプリ16内で行われるが、VR基本ソフト113の機能を用いて実行されることから構成図においては、VR表示制御部11に含まれるとしている。
 矯正視力補正手段制御ソフト115は、矯正視力補正手段26を通じて頂点間距離計測と調整また、瞳孔間距離と装着位置補正のため、眼球位置計測用光源と眼球位置計測用カメラを制御し、が眼球位置計測用カメラから取得した映像から眼球位置計測により眼球位置を求め、その値に応じて、最適なレンズ/表示パネルの位置を求めレンズ/表示パネル位置制御によりレンズ/表示パネルの位置を制御し、最適な映像を得る。必要に応じ、これらの状態を、VRゴーグル制御ソフト114を通じてVR基本ソフト113に送り最適な歪曲補正などのVR表示制御を行う。矯正視力補正手段26は場合によっては、手動によりレンズ/表示パネルの位置を変更できる。
 VRゴーグル制御ソフト114はこれ以外に電源ON時に通信設定を行うこと、その他の初期設定を行うこと、また電源OFF時の処理などを行う。
 歪曲補正処理も一般的にはVR基本ソフト113がVR制御手段を制御し行われるが、電源ON時あるいは初期設定の変更時に、必要なパラメーターの値に応じて歪曲補正の状況を変化させることで、VRゴーグルの特性に応じた補正がなされる。
 円柱レンズ調整とプリズム調整は、歪曲補正を含みVR基本ソフト113でVR表示制御部11を制御することで行うことができるが、基本構成としては使用者がテストパターンなどを見ながら調整を行うこととする。
 図73に本発明の分離型ヘッドマウントディスプレイのソフトウエア構成例1を示す。
 図72の一体型ヘッドマウントディスプレイと備えている機能、ソフト及び動作は同様であるが、ヘッドマウントディスプレイには、VRゴーグル制御ソフト114、矯正視力補正手段制御ソフト115、VR表示部10、矯正視力補正手段26を備え、PC等のホストにはVR基本ソフト113、VRアプリ16、VR表示制御部11を備える。6DoF情報やマイク、コントローラーなどのVR入力手段17は、ヘッドマウントディスプレイに入力されPC等に送られる場合とPC等に直接入力される場合がある。
 またPC等はクラウドなどネットワークを経由して接続されるコンピューターである場合もある。別の形態として、矯正視力補正手段制御ソフト115、矯正視力補正手段26はPC等が備える場合もある。
 図74に本発明の一体型ヘッドマウントディスプレイのソフトウエア構成例2を示す。
 図72との違いは、矯正視力情報処理ソフト116を備えている点である。矯正視力情報処理ソフト116は使用者の矯正視力情報をUSBメモリやキーボードなどの入力手段から入力し、保存および矯正視力補正手段制御ソフト115に保存された矯正視力情報を伝える。矯正視力補正手段制御ソフト115は、伝えられた矯正視力情報から矯正視力補正手段26を制御し、使用者に適した補正を行う。
 また矯正視力補正手段制御ソフト115に複数の矯正視力情報を保存し、VRアプリ16の違いなど使用状況に応じて適切なものを選択することもできる。
 図75に本発明の分離型VRゴーグルのソフトウエア構成例2を示す。図73との違いは、VRゴーグルに矯正視力情報処理ソフト116を備えていることである。その動作、機能は図74の矯正視力情報処理ソフト116と同様である。
 図73と同様にPC等はクラウドなどネットワークを経由して接続されるコンピューターである場合もある。また、入力手段はPC等に入力され情報が矯正視力情報処理ソフト116に送られる場合、矯正視力情報処理ソフト116、矯正視力補正手段制御ソフト115、矯正視力補正手段26はPC等が備える場合もある。
 図76に本発明の一体型VRゴーグルのソフトウエア構成例3を示す。
 図74との違いは、矯正視力情報処理ソフト116はネットワークを直接あるいは間接的に通じ矯正視力情報サーバー118から使用者の矯正視力情報を取得することである。その他の動作は同等である。
 矯正視力情報サーバー118からの矯正視力情報の読み取り時には使用者のIDを確認し、そのIDに対する最新の矯正視力情報を取得する。この時、使用許可の設定があり使用許可がなければ矯正視力情報を取得できないようにすることも可能である。またVRゴーグルに保存してある矯正視力情報が新しい場合やロックされている場合には取得しないようにする、使用者のIDだけでなくパスワードやハードあるいはソフトによるパスコードを用いて取得を制御するなどが可能である。
 図77に本発明の分離型VRゴーグルのソフトウエア構成例3を示す。
 図75との違いは、矯正視力情報処理ソフト116はネットワークを直接あるいは間接的に通じ矯正視力情報サーバー118から使用者の矯正視力情報を取得することである。その他の動作は同等である。
 図73、図75と同様にPC等はクラウドなどネットワークを経由して接続されるコンピューターである場合もある。また矯正視力情報処理ソフト116、矯正視力補正手段制御ソフト115、矯正視力補正手段26はPC等が備える場合もある。その場合は、矯正視力サーバーはPC等とネットワークで接続される。
 バーチャル眼鏡機能付きヘッドマウントディスプレイにおいて、利用者が、医療機関等で測定された眼鏡処方箋情報以外の情報を眼鏡処方箋情報として入力して使った場合、不適切な状況でバーチャル眼鏡機能を利用することになる。このリスクを避けるために、眼鏡処方箋情報を格納する手段に関しては、何らかの利用制限を施すことにより、誤った眼鏡処方箋情報でのバーチャル眼鏡機能の利用を避けることができる。
 眼科医や専門機関が作成された眼鏡処方箋情報のみでこの機能を利用させるように、眼鏡処方箋情報を格納する手段に、ロックとロック解除機構を持たせる。ロック解除には、適切な処方箋であることの確認や認定された機関(契約を交わした眼鏡店等)で測定された眼鏡のレンズ情報であることを認定した上で、この機能を有効にするカギを発行する鍵発行機関から鍵を入手し、そのカギを入手した以降は、この機能を有効にする機構を持つ。
 眼科医あるいは認定された眼鏡店が発行する矯正視力情報には識別IDを含める。矯正視力情報がコンピュータデータではなく紙の場合は、2次元コードのような印刷情報によるコードや文字列であってもよい。
 眼科医あるいは認定された眼鏡店は、別に識別情報を発行し、これは、VRゴーグルあるいはMRゴーグルのアプリのインストール時に識別情報入力記憶手段で入力され記憶されている。オンラインの場合は、矯正視力情報の読み出しのたびに、設定されたサーバーよりあらかじめ与えられたアクセスキーにより識別情報および矯正視力情報を取得するということもあり得る。
 図78に示すように、矯正視力補正手段が持つ矯正視力情報入力手段では、識別情報入力記憶手段121で入力あるいは記憶されている識別情報120と、入力された矯正視力情報29の識別IDを照合し、正しい矯正入力情報であるかどうかを判断し、正しければ、入力した矯正視力情報29を有効とする。この判断は、識別IDと識別情報120を同じものとする、定められた演算の結果が定められたものであるなどから判別できる。
 ヘッドマウントディスプレイの利用範囲の拡大させるためには、不特定多数の方に、適切なバーチャル眼鏡機能を提供することが重要。このため、展示会場、博物館、販売現場、テーマパーク等で多数の人が使うことを前提にした場合は、各自の眼鏡処方箋情報を事前に準備させることは困難である。このため、眼鏡店等に設置されている眼鏡のレンズ情報を読み取る機械オートレンズメータ等の機械とサーバーと複数のVRゴーグルとの連携させることで、その場で眼鏡処方箋の情報を得ると同時にヘッドマウントディスプレイに送ることで、入力作業が軽減される。
 眼鏡をかけたお客様には少し眼鏡をお借りし、オートレンズメータ等で計測し、そのデータを、そのお客様がお使いになるVRゴーグルに送ることで、お客様が利用開始時にはほぼ最適な状況で見ることを実現する。図79に示すように、矯正視力補正手段が持つ矯正視力情報入力手段は、オートレンズメータなどのユーザーの眼鏡から矯正入力情報を読み出すものが接続され、読み出された矯正視力情報を読み出すことができる。これは、オンラインで接続されていない場合は、オートレンズメータでの測定値を順次矯正視力情報入力手段へ入力するなどを行う。また、カメラなどで、印刷された矯正視力情報を読み取り認識するということでもよい。
 利用者の装着後の感覚に応じて、球面レンズの度数、円柱レンズの度数、プリズムの度数等を動的に変化させる機能とその設定結果を眼鏡処方箋情報とは別の情報として格納することで、より良いバーチャル眼鏡機能を実現させる。
 ユーザーが眼鏡の処方箋情報とは異なるが最適なVR視聴と思える状況を得、その情報を、ユーザー追加補正情報として記録し、次回装着時には、元の補正情報もしくは、前記ユーザー追加補正情報をロードして使うことができる機能を持つ。
 ヘッドマウントディスプレイのバーチャル眼鏡機能は、眼鏡処方箋情報に基づき、各種設定値がセットされる。しかし左右の値が極端に異なった状況で矯正すると、不当像視等が発生するリスクがある。
 このため、利用者の装着後の感覚に応じて、球面レンズの度数、円柱レンズの度数、プリズムの度数等を変化させることを可能にする。この際一定のルール(左右の大きさの差が5%を超えない等)を超えた場合は修正を禁止する、またはワーニングを出して、「この値を利用する場合は医師の確認をお願いします」等を表示する機能を持つ。
 本開示には、以下の態様が含まれる。
(1)少なくとも一方の眼に乱視を有するユーザーにヘッドマウントディスプレイを用いてバーチャル・リアリティー(VR)空間またはミックスド・リアリティー(MR)空間を提供する方法であって、
 前記ユーザーの眼の視覚特性情報を取得するステップと、
 前記視覚特性情報から円柱レンズ度数(D)と円柱レンズ軸方向(AXIS)を含む円柱レンズ情報を取得するステップと、
 ヘッドマウントディスプレイの表示に関わる特性情報に基づき前記VR空間または前記MR空間を前記ヘッドマウントディスプレイに表示するための表示画像を生成し、
 前記円柱レンズ情報に基づいて、前記ユーザーの乱視を有する眼の強主経線方向の最大屈折力をRとした時に、前記円柱レンズの強主経線に対してずれ角θとなる主経線上での屈折率R(θ)が式(2)で与えられ、前記表示画像の中心を原点とし、前記円柱レンズの強主経線に対してずれ角θの主経線上の屈折力分布から前記ユーザーの乱視の歪み補正処理画像を生成するステップと、
 前記補正した表示画像を前記ヘッドマウントディスプレイに表示させるステップと、を有する方法。
 R(θ)=R×sinθ        式(2)
(2)少なくとも一方の眼に斜視を有するユーザーにヘッドマウントディスプレイを用いてVR空間またはMR空間を提供する方法であって、
 前記ユーザーの眼の視覚特性情報を取得するステップと、
 バーチャルカメラのレンズを原点とする3次元空間座標系に設定された基準座標系において、前記VR空間またはMR空間を前記バーチャルカメラで撮影する際に、正常な視線の向きに対する前記眼の視覚特性情報から得られる視線の向きとのずれ量の応じ、前記ずれ量を打ち消す方向に前記バーチャルカメラの向きを補正するステップと、
 前記補正した画像を前記ヘッドマウントディスプレイに表示させるステップと、を有する方法。
 本出願は、2024年2月16日付で出願された米国仮出願第63/554,784号及び2024年2月21日付で出願された米国仮出願第63/556,207号に基づくものであり、その内容はここに参照として取り込まれる。
 本開示に係るヘッドマウントディスプレイは、3D空間映像を補正するものに利用できる。
 1 本体部
 2 保持部
 3 鏡筒部
 4 レンズ
 5 表示パネル
 6 眼球位置計測手段
 7 鏡筒部制御手段
 8 鏡筒水平移動手段
 9 鏡筒奥行移動手段
 10 VR表示部
 11 VR表示制御部
 12 上下位置調整手段
 13 映像表示処理手段
 14 歪曲補正手段
 15 VR映像生成手段
 16 VR映像データ、VRアプリ
 17 入力情報(6DoF情報等)
 18 レンズ位置情報格納手段
 19 レンズ歪曲情報格納手段
 20 最適頂点間距離情報格納手段
 21 本体部―保持部間隔補正手段
 22 球面レンズ調整手段
 23 付加レンズ装着手段
 24 レンズ歪曲情報群格納手段
 25 利用者情報格納手段
 26 矯正視力補正手段
 27 矯正視力情報格納手段
 28 矯正視力情報入力手段
 29 矯正視力情報
 30 円柱レンズ調整手段
 31 乱視補正手段
 32 プリズム調整手段
 33 カメラ
 34 VST入力手段
 35 VST映像処理手段
 36 VST映像合成手段
 37 3D空間生成部
 38 遮蔽手段
 39 本体部―保持部位置関係補正手段
 40 眼球
 41 頂点間距離
 42 眼鏡のための空間
 43 瞳孔水平線
 44 瞳孔間距離
 45 視線
 46 眼球回旋点
 47 偏位量
 48 頂点間距離
 49 回旋点間距離
 50 前傾角θ
 51 光学中心線
 52 光学中心点
 53 設計値のFoV
 54 設計値の頂点間距離
 55 設計値より広いFoV
 56 設計値より狭い頂点間距離
 57 設計値より狭いFoV
 58 設計値より広い頂点間距離
 59 サイドバンド
 60 ヘッドバンド
 61 テンプル
 62 デコパッド
 63 ヒンジ
 64 鼻当て
 65 入力手段
 66 VST入力画像
 67 3D空間画像
 68 MR合成画像
 69 眼鏡のレンズ
 70 鏡筒部移動用軸
 71 鏡筒部移動用モーター
 72 瞳孔間距離補正メッセージ(開始)
 73 瞳孔間距離補正メッセージ(縮小指示)
 74 瞳孔間距離補正メッセージ(拡大指示)
 75 瞳孔間距離補正メッセージ(終了)
 76 瞳孔間距離値表示
 77 装着位置調整(上下)メッセージ(開始)
 78 装着位置調整(上下)メッセージ(上げる指示)
 79 装着位置調整(上下)メッセージ(下げる指示)
 80 装着位置調整(上下)メッセージ(終了)
 81 装着位置調整(上下)値表示
 82 レンズ位置調整メッセージ(開始)
 83 レンズ位置調整メッセージ(離す指示)
 84 レンズ位置調整メッセージ(近づける指示)
 85 レンズ位置調整メッセージ(終了)
 86 レンズ位置調整値表示
 87 移動後の縮小した頂点間距離
 88 移動前のレンズ位置
 89 移動前の表示パネル位置
 90 付加レンズ
 91 付加レンズの厚みを加算した頂点間距離
 92 利用者情報格納・設定手段
 93 利用者識別情報入力手段
 94 利用者情報格納データベース
 95 ピント調整メッセージ(開始)
 96 ピント調整メッセージ(右目)
 97 ピント調整メッセージ(左目)
 98 ピント調整メッセージ(終了)
 99 ピント調整 値表示
 100 ピント調整 値表示(再設定時)
 101 矯正視力情報設定手段
 102 ピント調整 値表示(矯正視力設定時)
 103 バーチャルカメラ
 104 3D空間イメージ
 105 表示パネルの映像例
 106 網膜の映像
 107 円筒カム
 108 スライド用軸
 109 スライド用凸部
 110 スライド用凹部
 111 レンズ枠
 112 鏡筒部外枠
 113 VR基本ソフト
 114 VRゴーグル制御ソフト
 115 矯正視力補正手段制御ソフト
 116 矯正視力情報処理ソフト
 117 入力手段 (USB、キーボードなど)
 118 矯正視力情報サーバー
 119 眼科医あるいは認証眼鏡店
 120 識別情報
 121 識別情報入力記憶手段
 122 識別情報認証手段段
 123 矯正視力情報読出
 124 ユーザーの眼鏡
 125 オートレンズメータ
 

Claims (34)

  1.  VR表示データおよび6DoF情報を少なくとも含む入力情報からVR映像を生成するVR表示制御部と、前記VR映像を左右の目に対し独立に表示するためVR表示部と、前記VR表示部を顔や頭に固定する手段を持つ保持部と、を備え、
     前記VR表示部は、
     少なくとも一つのレンズと表示パネルを含む左右2つの鏡筒部と、
     眼の位置と眼と鏡筒内のレンズの位置関係と距離を計測する眼球位置測定手段と、
     眼球位置測定手段を用いてユーザーの眼と前記鏡筒部内の前記ユーザーの眼に最も近いレンズの距離である頂点間距離を計測し、計測結果が設計目標値に合うように、前記鏡筒部と眼球の距離を調整する調整手段と、を有する、
     VRまたはMRゴーグルシステム。
  2.  前記調整手段は、前記鏡筒部を奥行き方向に移動させる鏡筒奥行移動手段であり、
     前記VR表示部は、
     前記頂点間距離の設計目標値を前記VR表示制御部が備える最適頂点間頂点間距離情報格納手段から取得し、前記眼球位置測定手段の測定情報をもとに前記頂点間距離の変動に伴う前記鏡筒奥行移動手段の制御を行い、さらに前記鏡筒奥行移動手段の制御情報を前記VR表示制御部に伝える鏡筒部制御部を有する、
     請求項1に記載のVRまたはMRゴーグルシステム。
  3.  前記調整手段は、前記ユーザーの頭頂部、側頭部、後頭部、鼻、額、及び頬の少なくともいずれかに接触し、前記VR表示部と前記眼球の距離を調整する本体部―保持部間隔補正手段である、
     請求項1に記載のVRまたはMRゴーグルシステム。
  4.  前記VR表示部は、
     前記眼球位置測定手段を用いて前記ユーザーの瞳孔間距離を計測し、計測結果の瞳孔間距離と左右の前記鏡筒部の中心の距離が一致するように左右の前記鏡筒部を水平に移動させる鏡筒水平移動手段と、
     前記眼球位置測定手段を用いて前記ユーザーの眼の位置を計測し、計測結果に基づき前記鏡筒部内のレンズの光学中心点と目の視線が合うように前記鏡筒水平移動手段と前記鏡筒部と前記ユーザーの顔または頭との上下位置を調整する上下位置調整手段と、を更に有し、
     前記鏡筒部制御部は、最適頂点間距離情報格納手段から取得した前記頂点間距離の設計目標値を前記眼球位置測定手段の測定情報をもとに前記鏡筒水平移動手段に更に伝える、
     請求項2に記載のVRまたはMRゴーグルシステム。
  5.  前記VR表示制御部は、
     前記鏡筒部制御部からの前記鏡筒奥行移動手段の制御情報にもとづく前記レンズの位置情報を受け取り格納するレンズ位置情報格納手段と、
     前記VR映像を前記VR表示部で表示するために切り出すVR映像生成手段と、
     前記VR表示部の前記鏡筒部の前記表示パネル及び前記レンズに起因し頂点間距離の設計値に基づいた歪曲情報を格納しているレンズ歪曲情報格納手段からの歪曲補正情報および前記レンズ位置情報格納手段からのレンズ位置情報にもとづき前記VR映像生成手段で切り出されたVR映像に対して歪曲補正を行う歪曲補正手段と、を有する、
     請求項2に記載のVRまたはMRゴーグルシステム。
  6.  前記眼球位置測定手段は、
     前記ユーザーの一方の眼に照射される第1の光を出力する第1光源と、
     前記ユーザーの一方の眼で反射された第1の光を受光する第1受光部と、を備え、
     前記第1受光部は、前記ユーザーの一方の眼と当該一方の眼に対応するレンズとの距離が所定の頂点間距離にある場合、前記第1受光部の所定位置で前記第1の光の反射光を受光するように設定されており、
     前記眼球位置測定手段は、
     前記第1受光部の受光位置が前記所定位置に対して前記レンズ側に近くなった場合には前記所定の頂点間距離より短いと判定し、前記第1受光部の受光位置が前記所定位置に対して前記レンズ側から遠くなった場合には前記所定の頂点間距離より長い判定する、
     請求項1~5のいずれか1項に記載のVRまたはMRゴーグルシステム。
  7.  前記眼球位置測定手段は、前記第1受光部が前記第1の光の反射光を受光する受光位置と前記所定位置との位置関係に基づき、第1ずれ情報を検出する、
     請求項6に記載のVRまたはMRゴーグルシステム。
  8.  前記上下位置調整手段、前記鏡筒水平移動手段、及び前記鏡筒奥行移動手段は、
     レバーあるいはリングにより手動で調整する機構であるか、回転あるいは振動によるモーターあるいはモーターとギヤにより電気的に調整する機構であり、
     前記鏡筒水平移動手段により前記ユーザーの瞳孔間距離に左右の前記鏡筒部の水平距離を自動あるいは手動で調整し、前記上下位置調整手段により前記ユーザーの眼球位置に対する左右の前記鏡筒部の高さを手動で調整し、前記鏡筒奥行移動手段により前記ユーザーの眼と前記鏡筒部の前記レンズとの距離を所定の頂点間頂点間距離に手動あるいは自動で調整する、
     請求項4に記載のVRまたはMRゴーグルシステム。
  9.  前記上下位置調整手段又は前記本体部―保持部間隔補正手段は、前記ユーザーの操作に応じて左右の前記鏡筒部のあおり角を左右同時あるは独立して調整し、前記ユーザーの視線に対して前記鏡筒部の向きをあわせる調整機能を有する、
     請求項3又は4に記載のVRまたはMRゴーグルシステム。
  10.  前記VR表示制御部は、前記鏡筒奥行移動手段又は前記本体部―保持部間隔補正手段により調整した頂点間距離が設計目標値と一致しない場合、前記鏡筒部の位置と前記設計目標値との差分に基づきVR空間に対する補正を行う、
     請求項2又は3に記載のVRまたはMRゴーグルシステム。
  11.  前記上下位置調整手段の垂直位置調整値、前記鏡筒水平移動手段の水平位置調整値、前記鏡筒奥行移動手段又は前記本体部―保持部間隔補正手段の奥行調整値それぞれは、利用者情報格納手段に前記ユーザーの判別が可能な識別情報とともに保存され、前記ユーザーの使用時に前記識別情報にもとづき手動で選択あるいは前記識別情報の入力により自動選択され、
     読み出された前記垂直位置調整値と前記水平位置調整値と前記奥行調整値に基づき、前記上下位置調整手段、前記鏡筒水平移動手段、前記鏡筒奥行移動手段又は前記本体部―保持部間隔補正手段は、調整を行う、
     請求項3又は4に記載のVRまたはMRゴーグルシステム。
  12.  前記識別情報は、それぞれのユーザーに紐づいた番号、文字列、瞳孔間距離情報、眼球の色・大きさ、虹彩、及び眼の周りの血管情報の少なくともいずれかを含む前記眼球位置測定手段で取得できる情報、又は、指紋、声紋、及びICカードの少なくともいずれかを含む個人を識別する情報を用いる、
     請求項11に記載のVRまたはMRゴーグルシステム。
  13.  前記上下位置調整手段、前記鏡筒水平移動手段、前記鏡筒奥行移動手段、又は前記本体部―保持部間隔補正手段による調整において、
     前記眼球位置測定手段において計測される鏡筒部垂直位置、鏡筒部水平位置、鏡筒部奥行情報のそれぞれの目標値からのずれを判別し、
     前記上下位置調整手段、前記鏡筒水平移動手段、前記鏡筒奥行移動手段、又は前記本体部―保持部間隔補正手段それぞれの調整方向を音声、文字あるいは図形により前記ユーザーに示し、
     前記上下位置調整手段、前記鏡筒水平移動手段、前記鏡筒奥行移動手段、又は前記本体部―保持部間隔補正手段は、調整を行う、
     請求項3又は4に記載のVRまたはMRゴーグルシステム。
  14.  左右それぞれの前記鏡筒部は、
     VR映像を表示する表示パネルと前記表示パネルの映像を前記ユーザーが視認することができるように設計された前記レンズを有し、
     前記頂点間距離を固定して前記表示パネルを移動させることにより視度調整をおこなう球面レンズ調整手段を更に有する、
     請求項1~5のいずれか1項に記載のVRまたはMRゴーグルシステム。
  15.  左右それぞれの前記鏡筒部は、
     VR映像を表示する表示パネルと前記表示パネルの映像を前記ユーザーが視認することができるように設計された前記レンズを有し、
     前記表示パネルと前記レンズの距離を調整するためのスライド機構による球面レンズ調整手段を更に有し、
     前記スライド機構は、前記表示パネル又は前記レンズの回転を抑える回転抑制機構を有し、らせん状の凹部または凸部を持つ回転体とそれに篏合する凸部または凹部を前記表示パネル又は前記レンズに備え、前記回転体が回転することで前記表示パネル又は前記レンズをスライドさせる機構であり、
     前記回転抑制機構は、前記鏡筒部の内側との間で移動方向の凹状の溝又は凸部とそれぞれに篏合する凸部又は凹部を前記表示パネル又は前記レンズに備える機構、あるいは前記鏡筒内の眼に近い端部と眼に遠い端部との間に複数の棒状のガイドを有し、前記表示パネル又は前記レンズが前記ガイドを通す穴を有することで、前記表示パネル又は前記レンズが前記鏡筒内でスライドする機構である、
     請求項1~5のいずれか1項に記載のVRまたはMRゴーグルシステム。
  16.  左右それぞれの前記鏡筒部において視度調整のために付加レンズを付加する場合、
     前記鏡筒奥行移動手段は、前記付加レンズが付加されたことを検出すること又は前記付加レンズの付加を前記ユーザーが設定することで、前記付加レンズ付加による頂点間距離の変動を設計目標値に合わせるための調整を行う、
     請求項2に記載のVRまたはMRゴーグルシステム。
  17.  前記VR表示制御部は、前記鏡筒奥行移動手段の調整により前記レンズが前記ユーザーの眼との距離が大きくなることを主要因とし発生する歪曲を補正する、
     請求項16に記載のVRまたはMRゴーグルシステム。
  18.  レンズ歪曲情報群格納手段は、前記レンズに起因し頂点間距離の設計値と前記付加レンズの厚みに基づいた歪曲情報を格納しており、
     前記VR表示制御部は、さらに前記頂点間距離の変動調整が十分でない場合にそのずれを前記レンズに起因し頂点間距離の設計値と前記付加レンズの厚みに基づいた歪曲情報を用いて補正する、
     請求項17に記載のVRまたはMRゴーグルシステム。
  19.  前記ユーザーの判別が可能な識別情報とともに前記付加レンズの使用の有無および前記鏡筒奥行移動手段の調整値と前記VR表示制御部による補正情報は、個人矯正視力情報として利用者情報格納手段に保存され、
     前記ユーザーが手動あるいは自動的に前記識別情報により前記付加レンズの有無を確認したときに格納された前記付加レンズの有無の状態と異なる場合に警告を出すことで前記付加レンズの取り付けあるいは取り外しが促され、
     前記鏡筒奥行移動手段、前記VR表示制御部は、それぞれ、前記利用者情報格納手段に格納された前記鏡筒奥行移動手段の調整値、前記VR表示制御部による補正情報を読み出し、設定する、
     請求項16~18のいずれか1項に記載のVRまたはMRゴーグルシステム。
  20.  前記球面レンズ調整手段により視度調整をおこなうとき、
     前記頂点間距離を固定して前記パネルを移動させた際の移動値は前記ユーザーの判別が可能な識別情報とともに保存され、
     前記ユーザーの使用時に前記識別情報にもとづき手動で選択あるいは前記識別情報の入力により自動選択され、
     前記球面レンズ調整手段は、読み出された前記移動値により、前記パネル又は前記レンズを移動し、視度調整を行う、
     請求項14に記載のVRまたはMRゴーグルシステム。
  21.  視度調整値の保存及び読み出しにおける識別情報として、瞳孔間距離情報、眼球の色・大きさ、虹彩、及び眼の周りの血管情報の少なくともいずれか含む前記眼球位置測定手段で取得できる情報を用いること、又は指紋、声紋、及びICカードの少なくともいずれかを含む個人を識別する情報を用いる、
     請求項20に記載のVRまたはMRゴーグルシステム。
  22.  左右それぞれの前記鏡筒部は、
     VR映像を表示する表示パネルと前記表示パネルの映像を前記ユーザーが視認することができるように設計された前記レンズを有し、
     前記頂点間距離を固定して前記パネルを移動させることにより視度調整をおこなう球面レンズ調整手段を更に有し、
     前記VRまたはMRゴーグルシステムは、
     前記ユーザーの矯正視力情報を取得する矯正視力情報入力手段と、
     入力された前記矯正視力情報に応じ前記鏡筒部制御部を通じて、前記鏡筒水平移動手段、前記鏡筒奥行移動手段、及び前記球面レンズ調整手段を調整する矯正視力補正手段と、を更に備える、
     請求項4に記載のVRまたはMRゴーグルシステム。
  23.  前記矯正視力情報は、眼鏡処方箋情報又は使用中の眼鏡の矯正視力情報であり、
     前記矯正視力補正手段は、レンズの設計時の頂点間距離と前記矯正視力情報の測定時に想定された頂点間距離が異なる場合、式(1)に基づく視力補正を、前記鏡筒部制御部を通じて前記球面レンズ調整手段で行う、
     請求項22に記載のVRまたはMRゴーグルシステム。
     
     ΔD=D/(1-(L-L)×D)           式(1)
     ここで、 ΔD:換算度数
           D:眼鏡処方箋情報作成時の度数
           L:眼鏡処方箋情報作成時の頂点間距離[m]
           L:使用時の頂点間距離[m]
     
  24.  前記ユーザーは、少なくとも一方の眼に乱視を有し、
     前記ユーザーの矯正視力情報を取得する矯正視力情報入力手段を更に備え、
     前記矯正視力情報は、円柱レンズ度数(D)と円柱レンズ軸方向(AXIS)を含む円柱レンズ情報を少なくとも含み、
     前記VR表示制御部は、前記円柱レンズ情報に基づいて、前記ユーザーの乱視を有する眼の強主経線方向の最大屈折力をRとした時に、前記円柱レンズの強主経線に対してずれ角θとなる主経線上での屈折率R(θ)が式(2)で与えられ、前記VR映像の表示画面の中心を原点とし、前記円柱レンズの強主経線に対してずれ角θの主経線上の屈折力分布から前記ユーザーの乱視の歪み補正処理映像を生成する乱視補正手段を更に備え、
     前記VR表示部は、前記ユーザーの乱視の歪み補正処理映像を表示する、
     請求項14に記載のVRまたはMRゴーグルシステム。
     
     R(θ)=R×sinθ        式(2)
     
  25.  前記ユーザーは、少なくとも一方の眼に斜視を有し、
     前記ユーザーの矯正視力情報を取得する矯正視力情報入力手段を更に備え、
     前記VR表示制御部は、バーチャルカメラのレンズを原点とする3次元空間座標系に設定された基準座標系において、VR空間またはMR空間を前記バーチャルカメラで撮影する際に、正常な視線の向きに対する前記眼の視覚特性情報から得られる視線の向きとのずれ量に応じ、前記ずれ量を打ち消す方向に前記バーチャルカメラの向きを補正してVR映像を生成し、
     前記VR表示部は、前記補正したVR映像を表示する、
     請求項14に記載のVRまたはMRゴーグルシステム。
  26.  前記矯正視力補正手段は、
     前記矯正視力情報入力手段と、
     入力された矯正視力情報を複数格納する矯正視力情報格納手段と、を備え、
     前記矯正視力情報入力手段は、外部から前記矯正視力情報を読みだし、
     前記矯正視力情報を読みだしは、前記ユーザーに紐づいた識別情報により読み出しが許可され、
     前記識別情報は、処方箋の情報に責任を持つ眼科医あるいはこれに準ずる機関あるいは個人が与えたものであり、さらに前記機関あるいは個人が定め前記ユーザーに提供したアクセスキーにより読み出すことが可能となる、
     請求項22に記載のVRまたはMRゴーグルシステム。
  27.  前記矯正視力補正手段は、
     少なくとも前記VR表示部及び前記VR表示制御部とは、独立に制御可能に構成され、
     許可された場合のみ、前記矯正視力情報入力手段での矯正視力情報の入力及び矯正視力情報の前記矯正視力情報格納手段での格納及び読み出し、並びに読み出した矯正視力情報による前記VR表示制御部及び前記VR表示部の制御を実行可能である、
     請求項26に記載のVRまたはMRゴーグルシステム。
  28.  前記矯正視力情報入力手段から入力された矯正視力情報に基づき前記矯正視力補正手段により前記上下位置調整手段、前記鏡筒水平移動手段、前記鏡筒奥行移動手段、及び前記球面レンズ調整手段を調整し、
     装着後に前記ユーザーにより微調整を行った場合、微調整後の値をユーザー追加補正情報として記録し、次回使用時に矯正視力情報とともに読み出し、
     前記矯正視力補正手段による前記上下位置調整手段、前記鏡筒水平移動手段、前記鏡筒奥行移動手段、及び前記球面レンズ調整手段を調整又は前記ユーザーによる微調整中に、左右の前記鏡筒部のそれぞれの設定の差が所定の値を超えた場合、その修正を禁止するか、または警告を出す、
     請求項26に記載のVRまたはMRゴーグルシステム。
  29.  videosee-through(VST)に用いる複数のカメラからの映像をVST映像として処理するVST映像処理手段と、
     前記VST映像処理手段が処理したVST映像と前記VR映像を合成するVST映像合成手段と、を更に備え、
     前記ユーザーは、少なくとも一方の眼に乱視を有し、
     前記VR表示制御部は、前記VST映像合成手段が合成した合成映像から前記乱視補正手段により前記ユーザーの乱視の歪み補正処理映像を生成し、
     前記VR表示部は、前記ユーザーの乱視の歪み補正処理映像を表示する、
     請求項24に記載のVRまたはMRゴーグルシステム。
  30.  videosee-through(VST)に用いる複数のカメラからの映像をVST映像として処理するVST映像処理手段と、
     前記VST映像処理手段が処理したVST映像と前記VR映像を合成するVST映像合成手段と、を更に備え、
     前記ユーザーは、少なくとも一方の眼に斜視を有し、
     前記VR表示制御部は、前記バーチャルカメラのレンズを原点とする3次元空間座標系に設定された基準座標系において、前記VST映像合成手段が合成した合成映像を前記バーチャルカメラで撮影する際に、正常な視線の向きに対する前記眼の視覚特性情報から得られる視線の向きとのずれ量に応じ、前記ずれ量を打ち消す方向に前記バーチャルカメラの向きを補正してVR画像を生成し、
     前記VR表示部は、前記補正した合成映像を表示する、
     請求項25に記載のVRまたはMRゴーグルシステム。
  31.  videosee-through(VST)に用いる複数のカメラからの映像をVST映像として処理するVST映像処理手段と、
     前記VST映像処理手段が処理したVST映像と前記VR映像を合成するVST映像合成手段と、を更に備え、
     前記ユーザーは、少なくとも一方の眼に斜視を有し、
     前記VR表示制御部は、前記バーチャルカメラのレンズを原点とする3次元空間座標系に設定された基準座標系において、前記VST映像を前記バーチャルカメラで撮影する際に、正常な視線の向きに対する前記眼の視覚特性情報から得られる視線の向きとのずれ量に応じ、前記ずれ量を打ち消す方向に前記バーチャルカメラの向きを補正してVST補正映像を生成し、
     前記VST映像合成手段は、前記VST補正映像と補正したVR映像を合成し、
     前記VR表示部は、合成したVR映像を表示する、
     請求項25に記載のVRまたはMRゴーグルシステム。
  32.  VR表示データおよび6DoF情報を少なくとも含む入力情報に基づき生成されたVR映像を左右の目に対し独立に表示するためVR表示部と前記VR表示部を顔や頭に固定する手段を持つ保持部とを備え、
     前記VR表示部は、
     少なくとも一つのレンズと表示パネルを含む左右2つの鏡筒部と、
     眼の位置と眼と鏡筒内のレンズの位置関係と距離を計測する眼球位置測定手段と、
     眼球位置測定手段を用いてユーザーの眼と前記鏡筒部内の前記ユーザーの眼に最も近いレンズの距離である頂点間距離を計測し、計測結果が設計目標値に合うように、前記鏡筒部と眼球の距離を調整する調整手段と、を有する、
     VRまたはMRゴーグル。
  33.  ユーザーにVRまたはMRゴーグルを用いてVRまたはMR空間を提供する方法であって、
     前記ユーザーの眼の位置と、前記VRまたはMRゴーグルが備える鏡筒部内のレンズと前記ユーザーの眼との位置関係及び距離と、を計測するステップと、
     前記計測するステップでの計測結果を用いて、前記ユーザーの眼と前記鏡筒部内の前記ユーザーの眼に最も近いレンズの距離である頂点間距離を計測するステップと、
     前記頂点間距離が設計目標値に合うように、前記鏡筒部と前記ユーザーの眼との距離を調整するステップと、
     VR表示データおよび6DoF情報を少なくとも含む入力情報に基づき生成されたVR映像を、前記ユーザーの眼との距離が調整された後の前記鏡筒部内の表示パネルに表示するステップと、を有する方法。
  34.  ユーザーにVRまたはMRゴーグルを用いてVRまたはMR空間を提供するためのプログラムであって、
     前記ユーザーの眼の位置と、前記VRまたはMRゴーグルが備える鏡筒部内のレンズと前記ユーザーの眼との位置関係及び距離と、を計測するステップと、
     前記計測するステップでの計測結果を用いて、前記ユーザーの眼と前記鏡筒部内の前記ユーザーの眼に最も近いレンズの距離である頂点間距離を計測するステップと、
     前記頂点間距離が設計目標値に合うように、前記鏡筒部と前記ユーザーの眼との距離を調整する調整ステップと、
     VR表示データおよび6DoF情報を少なくとも含む入力情報に基づき生成されたVR映像を、前記ユーザーの眼との距離が調整された後の前記鏡筒部内の表示パネルに表示するステップと、
     をコンピューターに実行させるためのプログラム。
PCT/JP2024/032984 2024-02-16 2024-09-13 Vrまたはmrゴーグルシステム、vrまたはmrゴーグル、方法、及びプログラム Pending WO2025173291A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202463554784P 2024-02-16 2024-02-16
US63/554,784 2024-02-16
US202463556207P 2024-02-21 2024-02-21
US63/556,207 2024-02-21

Publications (1)

Publication Number Publication Date
WO2025173291A1 true WO2025173291A1 (ja) 2025-08-21

Family

ID=96772681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/032984 Pending WO2025173291A1 (ja) 2024-02-16 2024-09-13 Vrまたはmrゴーグルシステム、vrまたはmrゴーグル、方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2025173291A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261556A (ja) * 1996-03-21 1997-10-03 Olympus Optical Co Ltd 頭部装着型映像表示装置
US20170184847A1 (en) * 2015-12-28 2017-06-29 Oculus Vr, Llc Determining interpupillary distance and eye relief of a user wearing a head-mounted display
JP2018158107A (ja) * 2017-03-21 2018-10-11 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation 視力補正のために焦点距離を調節する方法およびシステム
US10610775B1 (en) * 2017-01-04 2020-04-07 Facebook Technologies, Llc Actuation for a focus adjusting head mounted display
US10890767B1 (en) * 2017-09-27 2021-01-12 United Services Automobile Association (Usaa) System and method for automatic vision correction in near-to-eye displays
US20240012257A1 (en) * 2022-07-11 2024-01-11 Apple Inc. Electronic Devices with Lens Positioners

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261556A (ja) * 1996-03-21 1997-10-03 Olympus Optical Co Ltd 頭部装着型映像表示装置
US20170184847A1 (en) * 2015-12-28 2017-06-29 Oculus Vr, Llc Determining interpupillary distance and eye relief of a user wearing a head-mounted display
US10610775B1 (en) * 2017-01-04 2020-04-07 Facebook Technologies, Llc Actuation for a focus adjusting head mounted display
JP2018158107A (ja) * 2017-03-21 2018-10-11 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation 視力補正のために焦点距離を調節する方法およびシステム
US10890767B1 (en) * 2017-09-27 2021-01-12 United Services Automobile Association (Usaa) System and method for automatic vision correction in near-to-eye displays
US20240012257A1 (en) * 2022-07-11 2024-01-11 Apple Inc. Electronic Devices with Lens Positioners

Similar Documents

Publication Publication Date Title
US11669161B2 (en) Enhancing the performance of near-to-eye vision systems
US11914156B1 (en) System and method for automatic vision correction in near-to-eye displays
AU2017204508B2 (en) Apparatus and Method for Fitting Head Mounted Vision Augmentation Systems
KR101443322B1 (ko) 안경 렌즈의 최적화 및/또는 제조 방법
US11150476B2 (en) Method for providing a display unit for an electronic information device
JP5637560B2 (ja) 近視および疲労の防止および治療のための方法およびデバイス
US20170235161A1 (en) Apparatus and method for fitting head mounted vision augmentation systems
JPWO2008096719A1 (ja) 周辺視野を開放したヘッドマウントディスプレイ
KR101632156B1 (ko) 초근거리를 볼 수 있는 교정렌즈
JPWO2005081037A1 (ja) 画像表示装置
WO2025173291A1 (ja) Vrまたはmrゴーグルシステム、vrまたはmrゴーグル、方法、及びプログラム
KR102953028B1 (ko) 시력 보정용 디옵터를 이용한 ar 글라스 장치
KR101490778B1 (ko) 초 근거리를 볼 수 있는 교정 렌즈 및 그 장치
EP4473897A1 (en) Lens frame for eye examination, measurement method for numerical value related to eyesight, and spectacle lens design method
JP2017107251A (ja) 眼鏡レンズ設計方法および眼鏡レンズ製造方法
KR101632140B1 (ko) 초근거리를 볼 수 있는 교정 렌즈 어셈블리
US20140313556A1 (en) Portable augmented vision device
JP2026513196A (ja) ニアアイディスプレイのための視力矯正のための光学システム
JP2014112154A (ja) 眼鏡レンズ設計方法、眼鏡レンズ製造方法および眼鏡レンズ
de Wit Correcting ocular refractive errors in a head mounted display

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24924671

Country of ref document: EP

Kind code of ref document: A1