WO2023062995A1 - ヘッドマウント装置及び導光装置 - Google Patents

ヘッドマウント装置及び導光装置 Download PDF

Info

Publication number
WO2023062995A1
WO2023062995A1 PCT/JP2022/033995 JP2022033995W WO2023062995A1 WO 2023062995 A1 WO2023062995 A1 WO 2023062995A1 JP 2022033995 W JP2022033995 W JP 2022033995W WO 2023062995 A1 WO2023062995 A1 WO 2023062995A1
Authority
WO
WIPO (PCT)
Prior art keywords
light guide
light
guide section
display device
user
Prior art date
Application number
PCT/JP2022/033995
Other languages
English (en)
French (fr)
Inventor
雄一 長谷川
純 西川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280066383.5A priority Critical patent/CN118043725A/zh
Publication of WO2023062995A1 publication Critical patent/WO2023062995A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present disclosure relates to head-mounted devices, portable display devices, and light guide devices.
  • a technique for displaying an image rendered using AR (Augmented Reality) or VR (Virtual Reality), for example, on a head-mounted display (HMD) worn by a user.
  • AR Augmented Reality
  • VR Virtual Reality
  • HMD head-mounted display
  • the HMD accepts operations from the user by detecting the pressing of a switch by the user and detecting the user's gesture using the camera mounted on the HMD, and presents the image to the user according to the operation.
  • HMDs have been developed.
  • a type of HMD that uses a mobile terminal such as a smartphone as a display device is known.
  • the user wears the HMD in which the smartphone is fixed to the housing, and views the image displayed on the screen of the smartphone.
  • IR infrared light
  • the distance measurement sensor installed in the smartphone is used for camera autofocus, etc.
  • its angle of view is narrower than the viewing angle of the HMD. Therefore, when trying to detect the hand of a user wearing an HMD using a ranging sensor mounted on a smartphone, for example, the user must move the hand to the angle of view (ranging range) of the ranging sensor. This may become a burden on the user.
  • a mechanism is provided that can further reduce the user's burden when using a ranging sensor that is used as a portable display device.
  • a head mounted device of the present disclosure includes a housing and a light guide section.
  • the housing is configured to secure the portable display device.
  • the light guide section is configured such that, in a mounted state in which the portable display device is fixed to the housing and the housing is worn by a user, a sensor mounted on the portable display device is positioned at least in a line-of-sight direction of the user. It is configured to change the angle of view of the sensor so as to sense a lower area than the sensor.
  • FIG. 1 is a schematic diagram for explaining a schematic configuration example of an HMD according to a first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of detection of a user's hand by the HMD according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining the angle of view of the image sensor according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining the angle of view of the image sensor according to the first embodiment of the present disclosure
  • FIG. 1 is a diagram for explaining an example of an HMD according to a first embodiment of the present disclosure
  • FIG. FIG. 7 is a diagram for explaining another example of the light guide section according to the first embodiment of the present disclosure
  • FIG. 3 is a schematic front view of the lid according to the first embodiment of the present disclosure
  • 1 is a schematic side view of an HMD according to a first embodiment of the present disclosure
  • FIG. FIG. 3 is a schematic diagram showing a configuration example of a light guide section according to the first embodiment of the present disclosure
  • 1 is a block diagram showing a configuration example of a portable display device according to a first embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing a configuration example of an HMD according to a first modified example of the first embodiment of the present disclosure
  • FIG. 10 is a schematic diagram showing a configuration example of an HMD according to a second modified example of the first embodiment of the present disclosure
  • FIG. 11 is a schematic diagram showing a configuration example of an HMD according to a third modified example of the first embodiment of the present disclosure
  • FIG. 10 is a diagram for explaining light guided by first and second light guides according to the second embodiment of the present disclosure
  • FIG. 11 is a block diagram showing a configuration example of a portable display device according to a third embodiment of the present disclosure
  • FIG. 11 is a diagram for explaining transparency determined by a transparency determination unit according to the third embodiment of the present disclosure
  • FIG. 11 is a diagram for explaining transparency determined by a transparency determination unit according to the third embodiment of the present disclosure
  • FIG. 11 is a diagram for explaining transparency determined by a transparency determination unit according to the third embodiment of the present disclosure
  • FIG. 11 is a diagram for explaining transparency determined by a transparency determination unit according to the third embodiment of the present disclosure
  • FIG. 11 is a diagram for explaining transparency determined by a transparency determination unit according to the third embodiment of the present disclosure
  • FIG. 11 is a diagram for explaining transparency determined by a transparency determination unit according to the third
  • FIG. 11 is a block diagram showing a configuration example of a portable display device according to a fourth embodiment of the present disclosure
  • FIG. 14 is a diagram for explaining an example of a method of detecting mounting misalignment by a misalignment detection unit according to the fourth embodiment of the present disclosure
  • FIG. 14 is a diagram for explaining another example of a method for detecting mounting misalignment by a misalignment detection unit according to the fourth embodiment of the present disclosure
  • a type (hereinafter also referred to as mothership connection type) HMD in which a display device is mounted and an image rendered by a rendering device, which is an external device, is displayed on the display device.
  • This mothership-connected HMD requires a cable to connect with the rendering device, and the cable restricts the movement of the user, thus hindering the user's experience.
  • the HMD can omit a cable by connecting to the rendering device by wireless communication, but there are problems of communication delay and communication quality.
  • the rendering device is placed near the user wearing the HMD.
  • the rendering device may be provided on the cloud.
  • the HMD displays, on its display, an image rendered in a data center on the cloud, for example.
  • image display delay is a major issue, but if prediction and delay reduction technology can reduce display delay, HMDs will provide users with even higher quality images. be able to
  • a HMD of a type (hereinafter also referred to as a standalone type) is known that is equipped with both a display device and a rendering device, and renders and displays an image with a single HMD.
  • a stand-alone HMD does not have anything that hinders the user's movement like a cable, but compared to a mothership-connected HMD, it has the problem of low rendering capability and low image quality.
  • a type (hereinafter also referred to as simple type) HMD in which a portable display device such as a smartphone is attached to a head-mounted device is also known.
  • a simple HMD uses a smartphone as a display device and a rendering device, allowing users to experience VR more easily.
  • a simple HMD provides a mechanism that can further reduce the burden on the user.
  • conventional HMDs accept operations from the user through switches or the like provided on the HMD. Further, by recognizing the user's hand, the conventional HMD accepts operations from the user and controls an avatar that is the alter ego of the user.
  • the HMD displays a virtual object in the virtual space and detects the action of the user touching the virtual object. Thereby, the HMD receives an operation of selecting a virtual object from the user. In this way, the HMD can provide the user with an intuitive UI by accepting the user's operation according to the user's hand movement.
  • the HMD controls the avatar using inverse kinematic technology according to the position of the user's head and hands.
  • the HMD can control the avatar according to the user's movement by detecting the position of the user's hand.
  • HMDs used a controller to detect the user's hand.
  • the controller tracks the posture of the user's hand with six degrees of freedom (6DoF: Six Degrees of Freedom) independently of the HMD.
  • the HMD can detect the user's hand with high accuracy.
  • the controller in order to detect the hand of the user, it is necessary to prepare a controller separately from the HMD. Also, the user needs to connect the controller to the HMD, rendering device, or the like wirelessly or by wire.
  • the HMD uses a wide-angle camera mounted on the device to track the 6DoF orientation of the device itself. Using this wide-angle camera, the HMD can track the user's hands.
  • an HMD detects a user's hand from an image captured by a wide-angle camera.
  • Camera parallax information is generally used to detect the distance from the HMD to the user's hand.
  • a camera for acquiring parallax information may be a monocular camera or a multi-lens camera.
  • simple HMDs require a power supply on the housing side and a cable to connect the detection device and the smartphone if a detection device such as a camera is installed in the housing where the smartphone is mounted. become. Therefore, in a simple HMD, it is desirable to have a mechanism for detecting a user's hand without mounting a detection device on the housing side.
  • smartphones have begun to be installed in portable information processing devices such as smartphones.
  • smartphones equipped with three types of cameras, standard, zoom, and wide-angle, and a ToF (Time of Flight) sensor have appeared.
  • the HMD detects the user's hand using a ranging sensor mounted on a portable display device such as a smartphone.
  • a ranging sensor mounted on a portable display device such as a smartphone.
  • the HMD detects an object (for example, a user's hand) using the sensor mounted on the portable display device, so that the HMD can detect the object without mounting an additional sensor.
  • FIG. 1 is a schematic diagram for explaining a schematic configuration example of the HMD 10 according to the first embodiment of the present disclosure.
  • the Z-axis positive direction corresponds to the line-of-sight direction of the user when the user wears the HMD 10 and stands upright.
  • the Z-axis direction is, for example, a direction perpendicular to the display surface of a portable display device 200, which will be described later.
  • the Y-axis positive direction corresponds to the direction opposite to the direction of gravity when the user is standing upright.
  • the Y-axis direction corresponds to, for example, the lateral direction of the display surface of the portable display device 200 .
  • the positive X-axis direction is perpendicular to the Y-axis and Z-axis directions and corresponds to the direction from the user's right eye to left eye.
  • the X-axis direction corresponds to, for example, the longitudinal direction on the display surface of the portable display device 200 .
  • the front of the user when the user wears the HMD is the front of the HMD
  • the upper side (head side) of the user U is the upper side of the HMD
  • the lower side (foot side) of the user U is the lower side of the HMD.
  • the HMD 10 includes a head mounted device 100 and a portable display device 200.
  • the head mounted device 100 includes a body portion 110 and a lid portion 120 .
  • the main body portion 110 and the lid portion 120 are collectively referred to as a housing.
  • the body part 110 includes, for example, a lens (not shown).
  • the lid portion 120 is configured to be capable of fixing the portable display device 200 .
  • Lid portion 120 is configured to be attachable to and detachable from body portion 110 .
  • the lid portion 120 is attached to the main body portion 110 with the portable display device 200 fixed, for example.
  • the head-mounted device 100 is a device that includes a lens (not shown) and has a barrel structure.
  • the head mounted device 100 is not equipped with a device such as a camera that requires a power supply. Therefore, the head mounted device 100 does not require an electrical system such as a power supply and cables.
  • the portable display device 200 is, for example, a small information processing device having a display surface. Examples of portable display devices 200 include smartphones and portable game machines. Portable display device 200 may function as a rendering device that renders images. Moreover, the portable display device 200 can function as a display device that displays a rendered image on the display surface.
  • the portable display device 200 can display an image for the right eye on the right side and an image for the left eye on the left side, for example, by dividing the display surface into two.
  • a user can visually recognize a three-dimensional image by visually recognizing a right-eye image through a right-eye lens (not shown) and visually recognizing a left-eye image through a left-eye lens (not shown).
  • the left-eye lens and the right-eye lens may be made of a transparent material such as resin or glass.
  • the portable display device 200 has sensors such as an imaging device (not shown) and a ranging sensor (not shown).
  • a distance measuring sensor is used, for example, for auto-focusing during photographing by an imaging device.
  • the imaging device is used to photograph the surroundings of the portable display device 200 .
  • FIG. 1 shows a state in which a vertical smartphone is horizontally fixed to the lid portion 120 as the portable display device 200, but the shape and fixing method of the portable display device 200 are not limited to this.
  • the portable display device 200 may be an information processing terminal having a horizontal display surface.
  • the portable display device 200 may be a device with a shape other than a rectangle, such as a square.
  • the portable display device 200 may be foldable or slidable to change its shape.
  • the HMD 10 detects the user's hand using the ranging sensor mounted on the portable display device 200 .
  • the ranging sensor mounted on the portable display device 200 .
  • a method of using the distance measuring sensor as it is for detecting the user's hand a method of providing an opening 121 in the lid 120 as shown in FIG. 2 is conceivable.
  • FIG. 2 is a diagram for explaining an example of detection of a user's hand by the HMD 10 according to the first embodiment of the present disclosure.
  • FIG. 2 shows a view of the lid portion 120 to which the portable display device 200 is fixed, viewed from the positive direction of the Z-axis.
  • the lid portion 120 has an opening portion 121 .
  • the opening 121 is configured to expose the first to third imaging devices 211A-211C, the image sensor 212, and the light source 213 of the portable display device 200.
  • the first to third imaging devices 211A to 211C are, for example, RGB imaging sensors capable of standard, zoom, and wide-angle imaging, respectively.
  • the first to third imaging devices 211A to 211C can be rephrased as first to third cameras.
  • the types (standard, zoom, wide-angle) of the first to third imaging devices 211A to 211C are not limited to the examples described above.
  • the first imaging device 211A may be a zoom camera or a wide-angle camera instead of a standard camera.
  • At least two of the first to third imaging devices 211A to 211C may be cameras of the same type.
  • both the first and second imaging devices 211A and 211B may be standard cameras.
  • the number of imaging devices 211 mounted on the portable display device 200 is not limited to three.
  • the number of imaging devices 211 mounted on the portable display device 200 may be two or less, or may be four or more. Also, the portable display device 200 may not have the imaging device 211 .
  • the image sensor 212 is, for example, a ToF sensor.
  • the image sensor 212 measures the distance by the ToF method, which measures the time from when the light source 213 emits light until the light receiving part (not shown) of the image sensor 212 receives the light reflected by the object. It is a distance measurement sensor that performs
  • FIG. 2 shows the case where the portable display device 200 has one image sensor 212, it is not limited to this.
  • the portable display device 200 may have two or more image sensors 212 .
  • the light source 213 is configured to emit irradiation light toward the object.
  • the light source 213 includes, for example, a light source section (not shown) that emits infrared light.
  • the light source unit is configured using, for example, a laser light source or an LED (Light Emitting Diode).
  • a laser light source for example, a VCSEL (Vertical Cavity Surface Emitting LASER), which is a surface light source, can be applied.
  • FIG. 2 shows the case where the portable display device 200 has one light source 213, the present invention is not limited to this.
  • portable display device 200 may have two or more light sources 213 .
  • the portable display device 200 may not have the light source 213 .
  • the image sensor 212 can perform distance measurement using a light source (not shown) arranged separately from the HMD 10, for example.
  • the image sensor 212 and the light source 213 are also collectively referred to as a distance measuring device 214.
  • hardware keys eg, volume buttons, etc. mounted on the portable display device 200 may be exposed in addition to the imaging device 211 and the distance measuring device 214. . By exposing the hardware keys in this way, the user can operate the HMD 10 using the hardware keys.
  • the expression that the image sensor 212, the hardware keys, etc. are exposed means that the image sensor 212, the hardware keys, etc. are configured to operate with the portable display device 200 fixed to the lid portion 120.
  • the opening 121 provided in the lid 120 may be a hole formed in the lid 120, or may be made of a transparent material such as resin or glass.
  • the image sensor 212 mounted on the portable display device 200 is mainly used for autofocus and the like. Therefore, the image sensor 212 can detect a distance of several meters, but its angle of view (hereinafter also referred to as the sensor angle of view) is smaller than the viewing angle of the HMD 10 (hereinafter also referred to as the HMD viewing angle). It becomes narrow.
  • FIG. 3 and 4 are diagrams for explaining the angle of view of the image sensor 212 according to the first embodiment of the present disclosure.
  • FIG. 3 shows a case where the user U wears the HMD 10 and moves his or her hand.
  • FIG. 4 an example of the rendering image which HMD10 shows to the user U is shown.
  • the image sensor 212 has a sensor angle of view ⁇ 1, and detects a subject (for example, the hand Ha of the user U) existing within the area within the angle of view ⁇ 1.
  • the HMD 10 has an HMD viewing angle ⁇ 2 ( ⁇ 2> ⁇ 1), and displays a rendering image in an area within the viewing angle ⁇ 2.
  • the sensor viewing angle ⁇ 1 is narrower than the HMD viewing angle ⁇ 2. Therefore, even if the hand Hb of the user U exists in the area within the HMD viewing angle ⁇ 2, the HMD 10 cannot detect the hand Hb if it does not exist in the area within the sensor viewing angle ⁇ 1.
  • the user U when the user U tries to operate the HMD 10 with gestures, the user U needs to move the hand to the area within the sensor angle of view ⁇ 1. Therefore, the burden on the user U increases, such as arm fatigue.
  • the HMD 10 cannot recognize the user's U hand Hb if the area is not within the sensor viewing angle ⁇ 1. That is, even if the user U moves his/her hand to a visible area in the virtual space, the HMD 10 may not be able to respond to the user's U hand.
  • the HMD 10 presents the user U with a menu screen for selecting a video to reproduce. It is assumed that the user U selects a video to be played back by, for example, touching a preview image of a playback candidate video presented by the HMD 10 with a hand.
  • the HMD 10 can detect the hand Ha of the user U that exists in, for example, an area within the sensor angle of view ⁇ 1 (for example, area Ra in FIG. 4), but the HMD 10 can detect an area outside the sensor angle of view ⁇ 1 (for example, area Ra in FIG.
  • the hand Hb of the user U existing in Rb) cannot be detected.
  • the user U cannot select the preview image unless it is moved within the area Ra. Also, the user U cannot select a preview image outside the area Ra.
  • the image sensor 212 detects at least an object (for example, the hand of the user U) existing in a lower area than the line-of-sight direction of the user U. , to change the sensor angle of view.
  • FIG. 5 is a diagram for explaining an example of the HMD 10 according to the first embodiment of the present disclosure.
  • the head mounted device 100 has a housing configured to fix the portable display device 200 as described above, and a light guide section 130 .
  • the light guide unit 130 changes the angle of view of the image sensor 212 so that the image sensor 212 detects at least an object existing in an area below the line of sight of the user U (negative Y-axis direction).
  • the light guide section 130 widens the angle of view of the image sensor 212 from .theta.1 (see FIG. 3) to .theta.3 (.theta.3>.theta.1).
  • the HMD 10 can detect an object (for example, the hand Hb of the user U) that exists in the region below the line-of-sight direction.
  • the light guide unit 130 can be configured by, for example, a lens. Details of the light guide section 130 will be described later.
  • the sensor viewing angle ⁇ 3 is narrower than the HMD viewing angle ⁇ 2 in FIG. 5, it is not limited to this.
  • the light guide section 130 may widen the angle of view of the image sensor 212 so that the sensor angle of view ⁇ 3 is equal to or greater than the HMD viewing angle ⁇ 2 ( ⁇ 3 ⁇ 2).
  • FIG. 6 is a diagram for explaining another example of the light guide section 130 according to the first embodiment of the present disclosure.
  • the light guide unit 130 shown in FIG. 6 directs the direction of the image sensor 212, in other words, the direction of light incident on the image sensor 212 (hereinafter also referred to as the incident direction) to be below the line-of-sight direction D1 (Y-axis negative direction). direction D2.
  • the light guide unit 130 directs the incident direction of the image sensor 212 downward, so that the HMD 10 detects an object (for example, the hand Hb of the user U) existing in a region below the line of sight direction. be able to.
  • an object for example, the hand Hb of the user U
  • the light guide section 130 when the light guide section 130 changes the sensor angle of view of the image sensor 212 by changing the orientation of the image sensor 212, the light guide section 130 can be configured by, for example, a mirror.
  • the sensor angle of view ⁇ 1 of the image sensor 212 is the same as before the incident direction is changed, but is not limited to this.
  • the light guide section 130 may widen the sensor angle of view of the image sensor 212 and change the incident direction.
  • the HMD 10 uses the image sensor 212 to detect the user's U hand.
  • the distance required for the detection range may be about 1 m. Therefore, the HMD 10 can widen the sensor angle of view of the image sensor 212 or move the position of the optical axis of the sensor angle of view.
  • the HMD 10 can change the sensor angle of view using the light guide.
  • both the portable display device 200 and the light guide section 130 are fixed to the lid section 120 of the head mounted device 100 . That is, the positions and orientations of the HMD 10, the portable display device 200, and the light guide section 130 are fixed with respect to the user's U face. Therefore, the HMD 10 can change the angle of view of the image sensor 212 by an optical approach using the light guide section 130 .
  • FIG. 7 is a schematic front view of the lid 120 according to the first embodiment of the present disclosure.
  • FIG. 7 shows a diagram of the lid portion 120 viewed from the positive direction of the Z-axis.
  • FIG. 8 is a schematic side view of the HMD 10 according to the first embodiment of the present disclosure.
  • FIG. 8 shows a view of the HMD 10 viewed from the positive direction of the X-axis.
  • the lid part 120 has shown the cross section.
  • the HMD 10 has a head mounted device 100 and a portable display device 200.
  • the head mounted device 100 has a body portion 110 , a lid portion 120 and a light guide portion 130 .
  • the lid portion 120 is provided with an entrance 131 through which light is incident.
  • it is provided at substantially the center in the longitudinal direction (X-axis direction) of the lid portion 120 and at one end in the lateral direction (Y-axis direction).
  • the entrance 131 is provided near a position corresponding to the user's U eyebrows.
  • the light guide section 130 guides the entrance of light incident on the entrance 131 to the image sensor 212 .
  • the light guide section 130 has, for example, at least one concave mirror and a total reflection surface.
  • the light guide section 130 is configured by a combination of optical members such as prisms, mirrors, or lenses.
  • the light guide section 130 is made of a transparent material such as resin or glass.
  • the light guide part 130 is arranged, for example, so that one end covers the image sensor 212 mounted on the portable display device 200 and the other end is positioned at the entrance 131 of the lid part 120 .
  • the camera module including the imaging device 211, the image sensor 212, and the like is placed biased to one side of the housing of the portable display device 200 due to structural design restrictions.
  • the camera module is arranged on the upper right side of the portable display device 200 .
  • the light guide section 130 is configured to guide the light incident from the entrance 131 in the positive direction of the X-axis, thereby allowing the incident light to pass from the entrance 131 to the image sensor. Guide to 212. That is, the light guide section 130 is configured to guide the angle of view of the image sensor 212 toward the center side (X-axis negative direction) of the lid section 120 in the horizontal direction.
  • FIG. 7 shows the case where the incident port 131 is exposed and the camera module is not exposed, the present invention is not limited to this.
  • an opening may be provided in the lid 120 to expose at least a portion of the camera module, such as the second and third imaging devices 211B and 211C.
  • FIG. 9 is a schematic diagram showing a configuration example of the light guide section 130 according to the first embodiment of the present disclosure.
  • FIG. 9 shows a view of the light guide section 130 viewed from above (the positive direction of the Y axis).
  • the light guide section 130 has concave mirrors 132 and 133 and total reflection surfaces 134 and 135 .
  • Light guide section 130 is configured to form an entrance pupil near entrance opening 131 .
  • the concave mirror 132 is provided at one end of the light guide section 130, for example, on the incident port 131 side.
  • the concave mirror 133 is provided on the other end of the light guide section 130, for example, on the image sensor 212 side.
  • the total reflection surfaces 134 and 135 are provided between the concave mirrors 132 and 133 so as to face each other, for example, substantially parallel.
  • the concave mirrors 132, 133 with small angles of incidence of the light rays can be configured, for example, as vapor-deposited mirrors.
  • Light incident from the incident direction D4 is guided to the total reflection surfaces 134 and 135 while being condensed by the concave mirror 132 .
  • the light is guided to the concave mirror 133 while being totally reflected by the total reflection surfaces 134 and 135 .
  • the light reflected by the concave mirror 133 is emitted from the emission direction D3 while being condensed, and enters the image sensor 212 .
  • the light guide section 130 has a function of guiding incident light and a function of condensing light by total reflection. More specifically, the total reflection surfaces 134, 135 have the function of guiding light rays.
  • the concave mirrors 132 and 133 have a function of condensing incident light as a lens (a function of enlarging the angle of view) in addition to the function of guiding the direction of light.
  • the light guide unit 130 can move the optical axis of the sensor angle of view downward (X-axis negative direction) in FIG. 9 while enlarging the sensor angle of view of the image sensor 212 .
  • the depth Z1 of the light guide section 130 can be made smaller than when the light guide section 130 is configured by combining optical members such as mirrors and lenses. can. Thereby, the depth (the length in the Z-axis direction) of the lid portion 120, that is, the size of the head mounted device 100 in the front-rear direction can be reduced.
  • the configuration of the light guide section 130 shown in FIG. 9 is an example, and is not limited to this.
  • the light reflected by the concave mirror 132 is totally reflected twice by each of the total reflection surfaces 134 and 135, and is incident on the concave mirror 133.
  • the number of total reflections is limited to this. not. Light may be totally reflected three times or more at the total reflection surfaces 134 and 135 .
  • the light guide section 130 may not have the total reflection surfaces 134 and 135 .
  • the light guide section 130 uses concave mirrors 132 and 133 to collect and guide incident light.
  • the number of times the incident light is totally reflected on the total reflection surfaces 134 and 135, that is, the length of the total reflection surfaces 134 and 135 depends on the distance between the entrance 131 and the image sensor 212 and the light from the concave mirrors 132 and 133. Depending on the guiding function, it can be changed.
  • the other end of the light guide section 130 for example, the mirror on the image sensor 212 side is a concave mirror, but it is not limited to this.
  • At least one end of the light guide section 130, for example, the incident side mirror may be a concave mirror, and the image sensor 212 side mirror may be a total reflection mirror.
  • FIG. 9 shows a case where the emission direction D3 and the incident direction D4 of the light guide section 130 are parallel to each other, that is, the incident direction D4 is the line-of-sight direction of the user U, but the present invention is not limited to this.
  • the incident direction D4 may be inclined downward (Y-axis negative direction) from the emitting direction D3 (see direction D2 in FIG. 6).
  • FIG. 10 is a block diagram showing a configuration example of the portable display device 200 according to the first embodiment of the present disclosure.
  • the portable display device 200 is a small information processing device, such as a smartphone or a portable game machine, having a display unit and a sensor unit.
  • the portable display device 200 includes a sensor section 210, a communication section 220, a display section 230, a storage section 240, and a control section 250.
  • the sensor unit 210 has various sensors that detect the state of the user or the surrounding environment of the user.
  • the sensor unit 210 outputs sensing data acquired by these various sensors to the control unit 250, which will be described later.
  • the sensor unit 210 shown in FIG. 10 includes an imaging device 211, a distance measuring device 214, and an IMU (Inertial Measurement Unit) 215.
  • the sensor unit 210 may include various sensors such as a positioning sensor that measures the position of the user and a microphone that detects environmental sounds around the user.
  • the imaging device 211 includes, for example, a lens, a light receiving element, and an information processing circuit.
  • the lens guides the light incident from the light guide section 130 to the light receiving element.
  • the light receiving element photoelectrically converts light that has passed through the lens to generate a pixel signal.
  • the light receiving element is, for example, a CMOS (Complementary Metal Oxide Semiconductor) type image sensor, which has a Bayer array and is capable of color imaging.
  • CMOS Complementary Metal Oxide Semiconductor
  • As the light-receiving element a light-receiving element capable of capturing a high-resolution image of 4K or higher, for example, may be used.
  • the signal processing circuit processes analog pixel signals output from the light receiving elements.
  • a signal processing circuit converts the light coming from the lens into digital data (image data).
  • the signal processing circuit outputs the converted image data to the control section 250 .
  • the image captured by the imaging device 211 is not limited to a video (moving image), and may be a still image.
  • portable display device 200 may include first through third imaging devices 211A through 211C (see FIG. 2).
  • the first to third imaging devices 211A to 211C may be imaging devices with different angles of view (eg, standard, zoom, wide angle, etc.).
  • the ranging device 214 includes an image sensor 212, a light source 213 (see FIG. 2), and a ranging control section (not shown).
  • the light source 213 emits, for example, infrared light to the subject at a timing according to control from the distance measurement control unit.
  • the image sensor 212 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) type image sensor, and detects infrared light.
  • the image sensor 212 receives the light emitted by the light source 213 and reflected by the subject.
  • the distance measurement control unit calculates the distance to the subject based on the emission timing of the light source 213 and the light reception timing of the image sensor 212 .
  • the ranging control unit outputs data of the calculated distance (distance data) to the control unit 250 .
  • the IMU 215 is an inertial measurement device that acquires sensing data (inertial data) indicating changes in acceleration and angular velocity that occur with user actions.
  • the IMU 215 includes an acceleration sensor, a gyro sensor, a geomagnetic sensor, etc. (not shown).
  • the IMU 215 outputs the acquired completed data to the control unit 250 .
  • the communication unit 220 is a communication interface for communicating with other devices.
  • the communication unit 220 may include a network interface, or may include a device connection interface.
  • the communication unit 220 may include a LAN interface such as a NIC (Network Interface Card), or may include a USB interface configured by a USB (Universal Serial Bus) host controller, a USB port, and the like. Also, the communication unit 220 may include a wired interface or a wireless interface. For example, under the control of the control unit 250, the communication unit 220 acquires an image to be displayed on the display unit 230 from a cloud server (not shown) via the Internet.
  • a cloud server not shown
  • the display unit 230 is, for example, a panel-type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the display unit 230 displays moving images or still images rendered by the control unit 250, which will be described later.
  • the display unit 230 may be a touch panel display device.
  • the display section 230 also functions as an input section.
  • the storage unit 240 is a data readable/writable storage device such as a DRAM (Dynamic Random Access Memory), an SRAM (Static Random Access Memory), a flash memory, or a hard disk.
  • the storage unit 240 functions as storage means for the portable display device 200 .
  • the control unit 250 centrally controls the operation of the portable display device 200 using, for example, a CPU, a GPU (Graphics Processing Unit), and a RAM built in the portable display device 200 .
  • the control unit 250 is realized by the processor executing various programs stored in the storage device inside the portable display device 200 using a RAM (Random Access Memory) or the like as a work area.
  • the control unit 250 may be implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • control unit 250 functions as an application control unit by running an application program on, for example, a CPU (Central Processing Unit) or GPU.
  • control unit 250 functioning as an application control unit executes rendering processing of an image to be displayed on the display unit 230, detection processing of the user's hand position, gesture, and the like.
  • the control unit 250 includes a detection unit 251, a gesture detection unit 252, and a display control unit 253.
  • Each block (the detection unit 251 to the display control unit 253) constituting the control unit 250 is a functional block indicating the function of the control unit 250.
  • FIG. These functional blocks may be software blocks or hardware blocks.
  • each of the functional blocks described above may be one software module realized by software (including microprograms), or may be one circuit block on a semiconductor chip (die).
  • each functional block may be one processor or one integrated circuit.
  • the configuration method of the functional blocks is arbitrary. Note that the control unit 250 may be configured by functional units different from the functional blocks described above.
  • the detection unit 251 detects the position and posture (shape) of the hand of the user U (hereinafter also referred to as hand information) based on the distance data detected by the distance measuring device 214 . At this time, the detection unit 251 acquires the hand information of the user U by correcting the distance data according to the change in the sensor angle of view and the attenuation of light by the light guide unit 130 .
  • the light guide section 130 described with reference to FIGS. 7 and 9 widens the sensor angle of view and moves the optical axis of the sensor angle of view in the horizontal direction (X-axis direction).
  • the detection unit 251 detects the shape of the hand of the user U by using the distance data detected by the distance measuring device 214 as it is without correcting it, the hand having a shape larger than the actual shape of the hand of the user U is erroneously detected. there is a risk of Also, if the detection unit 251 detects the position of the hand of the user U without correcting the distance data, there is a risk of erroneously detecting a position shifted in the horizontal direction from the actual position of the hand.
  • the detection unit 251 detects the position of the hand of the user U without correcting the distance data, it may erroneously detect a position different from the actual position of the hand.
  • the detection unit 251 corrects the distance data detected by the distance measuring device 214 according to the structure and the attenuation factor of the light guide unit 130, and based on the corrected distance data, subjects around the user U (user U's hand) is detected.
  • the detection unit 251 outputs hand information regarding the detected hand of the user U to the gesture detection unit 252 .
  • the detection unit 251 corrects (calibrates) the distance data using the correction information.
  • the correction information is, for example, distance data in which the direction or angle of the sensor field angle is changed by the light guide section 130, and is a recognition algorithm for correctly recognizing the distance data generated by the attenuated signal.
  • the correction information is, for example, information determined in correspondence with the distance measuring device 214 and the light guide section 130 (or the head mounted device 100).
  • the correction information may include, for example, coordinate transformation information for transforming the distance data of each pixel of the image sensor 212 into the real space in which the user U exists.
  • the detection unit 251 acquires ranging device information about the ranging device 214 from, for example, a ranging control unit (not shown) of the ranging device 214 .
  • the detection unit 251 may acquire the ranging device information held by the storage unit 240 .
  • the detection unit 251 acquires light guide information regarding the light guide unit 130, for example.
  • the detection unit 251 receives input of light guide information regarding the light guide unit 130 from the user U, for example.
  • the detection unit 251 acquires light guide information by acquiring application information related to the application.
  • the detection unit 251 acquires the light guide information by acquiring the device information regarding the portable display device 200 .
  • the detection unit 251 acquires correction information corresponding to the distance measuring device information and the light guide information, for example, from the storage unit 240 or an external device.
  • the correction information is preliminarily calculated based on simulations, experiments, etc., and is stored in the storage unit 240 or an external device.
  • the detection unit 251 may calculate correction information.
  • the detection unit 251 calculates correction information using object information about an object (for example, a controller, etc.) whose shape and position are known, and distance data from which the distance measuring device 214 detects the object.
  • the detection unit 251 detects the actual position of the controller using a sensor or the like mounted on the controller.
  • the detection unit 251 calculates correction information by, for example, comparing the position and shape of the object calculated from the distance data and the actual position and shape of the controller. Note that the detection unit 251 may detect the position and shape of an object using the imaging device 211 .
  • the gesture detection unit 252 detects user U's gesture.
  • the gesture detection unit 252 detects a gesture according to, for example, temporal change in the hand information detected by the detection unit 251 .
  • the gesture detection unit 252 detects scanning performed by the user U with a gesture such as a tap operation or a slide operation by the user U, for example.
  • the gesture detection unit 252 outputs operation information regarding the operation by the detected gesture to the display control unit 253 .
  • Display control unit 253 The display control unit 253 generates an image and causes the display unit 230 to display it.
  • the display control unit 253 renders an image corresponding to the position and posture of the user U's head based on the inertia data detected by the IMU 215, for example.
  • the display control unit 253 causes the display unit 230 to display the rendered image.
  • the display control unit 253 generates an image based on the operation information detected by the gesture detection unit 252 . For example, assume that the user U taps a thumbnail image to select a video to be played next in a state in which thumbnail images of a plurality of videos that are playback candidates are displayed as a menu screen. In this case, the gesture detection unit 252 detects a tap operation on the thumbnail image. The display control unit 253 displays an image corresponding to the thumbnail image on the display unit 230 based on the tap operation detected by the gesture detection unit 252 .
  • the head mounted device 100 includes the housing (main body portion 110 and lid portion 120) and the light guide portion 130.
  • the housing is configured to secure the portable display device 200 .
  • the light guide unit 130 is configured so that the image sensor 212 mounted on the portable display device 200 is at least in contact with the user U when the portable display device 200 is fixed to the housing and the housing is worn by the user U. It is configured to change the angle of view of the image sensor 212 so as to sense an area (negative Y-axis direction) below the line-of-sight direction (Z-axis direction).
  • the head-mounted device 100 uses the image sensor 212 mounted on the portable display device 200 to detect the surrounding state of the user U (in particular, the hand of the user U) without mounting a new sensor. Sensing is possible. This eliminates the need for the user U to move the hand significantly.
  • the HMD 10 can further reduce the deviation between the HMD viewing angle and the sensor viewing angle, particularly at the user's U hand.
  • the head mounted device 100 according to the first embodiment of the present disclosure can further reduce the burden on the user U.
  • the head mounted device 100 has a configuration in which the lid portion 120 to which the portable display device 200 is fixed is attached to the main body portion 110, but this is not a limitation.
  • the head mounted device 100 can take various configurations as shown in the following modified examples.
  • FIG. 11 is a schematic diagram showing a configuration example of an HMD 10A according to the first modified example of the first embodiment of the present disclosure.
  • the head mounted device 100A of the HMD 10A includes a body portion 110A, a lid portion 120A, and a light guide portion .
  • the main body portion 110A is configured so that the portable display device 200 can be fixed.
  • the main body portion 110A is configured to accommodate the portable display device 200
  • the lid portion 120 is configured to accommodate the portable display device 200. It differs from the head mounted device 100 .
  • the lid portion 120A is configured to be detachable from the main body portion 110A.
  • the lid portion 120A is attached to the main body portion 110A to which the portable display device 200 is fixed, for example.
  • the light guide portion 130 is mounted on the lid portion 120A.
  • FIG. 12 is a schematic diagram showing a configuration example of the HMD 10B according to the second modified example of the first embodiment of the present disclosure.
  • the HMD 10B includes a head mounted device 100B, a light guide device 130B, and a portable display device 200.
  • the head mounted device 100B includes a main body portion 110B and a lid portion 120B.
  • the main body portion 110B is configured so that the portable display device 200 can be fixed.
  • the lid portion 120B is configured to expose the image sensor 212 of the portable display device 200 .
  • the lid portion 120B is configured to be detachable from the main body portion 110B.
  • the light guide device 130B is configured to be detachable from the lid portion 120B.
  • the light guide device 130B is attached, for example, to a portion of the lid portion 120B where the image sensor 212 of the portable display device 200 is exposed. Since the configuration of the light guide device 130B is the same as that of the light guide section 130, the description thereof is omitted.
  • FIG. 13 is a schematic diagram showing a configuration example of an HMD 10C according to the third modified example of the first embodiment of the present disclosure.
  • the HMD 10C includes a head mounted device 100C and a portable display device 200.
  • the head mounted device 100 ⁇ /b>C includes a storage section 150 that can store the portable display device 200 and a light guide section 130 .
  • the head mounted device 100C differs from the head mounted devices 100, 100A, and 100B in that it does not have a lid 120.
  • the head mounted device 100C may have an opening (not shown) for inserting the portable display device 200 into the storage section 150 .
  • the head mounted device 100C has an opening in the upper portion (positive direction of the Y axis).
  • the portable display device 200 is stored in the storage section 150 through the opening.
  • the light guide section 130 changes the angle of view of the image sensor 212, but the present invention is not limited to this.
  • the light guide unit 130 may change at least one of the irradiation range and the irradiation direction of the light emitted from the light source 213 in addition to the angle of view of the image sensor 212 .
  • a light source 213 emits infrared light used for distance measurement by the image sensor 212 . Therefore, generally, the irradiation range of the light source 213 can be set to be substantially the same as the angle of view of the image sensor 212 . Therefore, if the light emitted from the light source 213 is not particularly changed, there is a possibility that the light source 213 cannot illuminate the user's U hand.
  • the HMD 10 in addition to the angle of view of the image sensor 212, at least one of the irradiation range and irradiation direction of the light emitted from the light source 213 is changed.
  • the light guide unit 130 changes the sensor angle of view so that the image sensor 212 senses at least an area below the line-of-sight direction of the user, and changes the light emitted by the light source 213 downward from the line-of-sight direction of the user.
  • the light guide section 130 is configured such that one end covers both the image sensor 212 and the light source 213 .
  • the light guide section 130 guides both incident light to the image sensor 212 and irradiation light from the light source 213 . Therefore, the size of the light guide section 130 becomes larger than in the case of guiding incident light to the image sensor 212 .
  • the head mounted device 100 includes a light guide section 130 that guides the incident light to the image sensor 212 and a light guide section 140 that guides the irradiation light from the light source 213.
  • the light guide section 130 that guides the incident light to the image sensor 212 is also referred to as the first light guide section 130 .
  • the light guide section 140 that guides the light emitted from the light source 213 is also referred to as a second light guide section 140 .
  • FIG. 14 is a diagram for explaining light guided by the first and second light guide sections 130 and 140 according to the second embodiment of the present disclosure.
  • FIG. 14 for the sake of simplification of the drawing, illustration of constituent elements such as a housing that are unnecessary for explanation is omitted.
  • the reflecting surfaces of the first and second light guide portions 130 and 140 are illustrated to facilitate visual recognition.
  • the second light guide portions 130 and 140 themselves may be omitted.
  • the light guided by the first light guide section 130 is indicated by a solid line
  • the light guided by the second light guide section 140 is indicated by a dotted line.
  • FIG. 14(a) is a view of the first and second light guide sections 130 and 140 and the portable display device 200 viewed from the front (positive direction of the Z axis).
  • FIG. 14(b) is a view of the first and second light guides 130 and 140 and the portable display device 200 viewed from the lateral direction (positive direction of the X-axis).
  • FIG. 14C is a view of the first and second light guides 130 and 140 and the portable display device 200 viewed from the longitudinal direction (positive direction of the Y axis).
  • the light incident on the first light guide section 130 from the entrance 131 is condensed and guided by the first light guide section 130 and emitted to the image sensor 212 .
  • the configuration of the first light guide section 130 is the same as that of the light guide section 130 shown in FIG.
  • the first light guide section 130 guides incident light in the horizontal direction (positive direction of the X-axis).
  • the second light guide section 140 diffuses and guides the light emitted from the light source 213 and emits it from the emission port 141 .
  • the second light guide section 140 has, for example, at least one concave mirror and a total reflection surface.
  • the second light guide section 140 has concave mirrors 142 and 143 and total reflection surfaces 144 and 145 . Since the second light guide section 140 can be configured in the same manner as the first light guide section 130, description thereof will be omitted here.
  • the first light guide section 130 and the second light guide section 140 are arranged so that light incident on the image sensor 212 and light emitted from the light source 213 do not interfere with each other.
  • the first light guide section 130 is arranged to guide light in the horizontal direction (an example of the first guide direction), as described above.
  • the second light guide section 140 is arranged to guide light in a vertical direction (Y-axis negative direction, an example of a second guide direction) different from the horizontal direction.
  • the direction in which the first light guide section 130 and the second light guide section 140 guide light is not limited to this.
  • the first light guide section 130 and the second light guide section 140 may guide light so as not to interfere with each other. may be guided in the opposite direction (X-axis negative direction).
  • the directions in which the first and second light guide portions 130 and 140 guide light are not limited to the horizontal and vertical directions.
  • the first and second light guides 130, 140 can guide light in any direction.
  • the first light guide part 130 directs light incident from an opening formed in the middle of the lid part 120 (substantially in the longitudinal direction and substantially in the lateral direction) to the corners of the portable display device 200. may be guided to the image sensor 212 arranged in the .
  • the first light guide section 130 guides light in an oblique direction (diagonal direction of the portable display device 200).
  • the first light guide section 130 and the second light guide section 140 are arranged to be shifted (offset) so that guided light does not interfere with each other.
  • the first light guide section 130 is arranged with a distance Z2 (offset) from the second light guide section 140 in the line-of-sight direction (positive Z-axis direction).
  • the head mounted device 100 allows the light emitted from the light source 213 to enter the second light guide section 140 and the light emitted from the first light guide section 130 to enter the image sensor 212 . Interference can be further reduced.
  • the head mount device 100 further includes a third light guide section 160 in order to avoid interference of light guided by the first and second light guide sections 130 and 140 .
  • the third light guide section 160 is arranged between the surface from which the irradiation light of the second light guide section 140 is emitted and the exit port 141 .
  • the third light guide section 160 is configured to shift (guide) the irradiation light emitted from the second light guide section 140 to the exit port 141 .
  • the third light guide section 160 is made of a transparent member such as resin or glass.
  • the third light guide 160 has a refractive index greater than one.
  • an air layer 170 may be provided between the second light guide section 140 and the third light guide section 160 .
  • the second light guide section 140 and the third light guide section 160 may be configured as separate members, or may be configured as one integrated member.
  • the first and second light guides 130, 140 are arranged with an offset. Also, the first and second light guide portions 130 and 140 have different sizes. Therefore, the surface from which light enters the first light guide section 130 and the surface from which the light exits from the second light guide section 140 may have different heights.
  • the first light guide section 130 in the first light guide section 130, light is incident on the first light guide section 130 at the entrance 131 thereof.
  • the second light guide portion 140 In the second light guide portion 140 , light is emitted from the second light guide portion 140 at the back (inside the lid portion 120 ) of the exit port 141 .
  • the third light guide section 160 may interfere with the light guided by the first light guide section 130 .
  • the third light guide section 160 guides the light emitted from the second light guide section 140 to the exit port 141 .
  • the third light guide 160 has a higher refractive index than the air layer 170 . Therefore, the light emitted from the second light guide section 140 passes through the air layer 170 and is refracted from one end of the third light guide section 160 so as to be condensed.
  • the light that has traveled straight through the third light guide section 160 is emitted from the other end of the third light guide section 160 .
  • the exit port 141 is exposed to the external space, and the other end of the third light guide section 160 is in contact with the outside air (air). Therefore, the light is refracted and emitted from the other end of the third light guide section 160 so as to be diffused.
  • the angle of light emitted from the other end of the third light guide section 160 is approximately the same angle (wide angle) as the angle of light emitted from the second light guide section 140 to the air layer 170 .
  • the head mounted device 100 can change the angle of view of the light incident on the image sensor 212 while changing the irradiation range of the light emitted from the light source 213 . and irradiation direction can be changed.
  • the head mounted device 100 uses the first and second light guides 130 and 140 to guide incident light to the image sensor 212 and light emitted from the light source 213, respectively.
  • the first and second light guide sections 130 and 140 can select the optimum configuration according to the light to be guided. Therefore, the head mounted device 100 can reduce the sizes of the first and second light guide sections 130 and 140 compared to the case where one light guide section guides two lights.
  • the head mounted device 100 compares the thickness of the lid portion 120 (see Z3 in FIG. 14C) in the depth direction (Z-axis direction) with the case where one light guide portion guides two lights. can be made thinner.
  • first and second light guides 130 and 140 are configured and arranged to guide light in different directions.
  • the first and second light guides 130 and 140 are arranged offset from each other.
  • the head mounted device 100 uses the third light guide section 160 to guide the light emitted from the second light guide section 140 to the exit port 141 .
  • the head mounted device 100 can guide the incident light to the image sensor 212 and the light emitted from the light source 213 in a predetermined direction while condensing or diffusing the light without causing interference.
  • the image sensor 212 is shown as a circle and the light source 213 is shown as a square in order to make it easier to distinguish between the image sensor 212 and the light source 213 .
  • the entrance 131 is shown as a circle, and the exit 141 is shown as a square.
  • these shapes are not limited to round or square. All of these shapes may be round or square. Alternatively, these shapes may be arbitrary shapes such as ellipses.
  • the first light guide section 130 is arranged with a distance Z2 from the second light guide section 140 in the line-of-sight direction (positive direction of the Z-axis), so that the first and second light guide sections
  • the light units 130 and 140 are arranged offset from each other, the present invention is not limited to this.
  • the second light guide section 140 by arranging the second light guide section 140 with being shifted from the first light guide section 130 in the line-of-sight direction (positive direction of the Z-axis), the first and second light guide sections 130 and 140 They may be arranged with an offset.
  • the third light guide section 160 guides the light emitted from the second light guide section 140 to the exit port 141, but the present invention is not limited to this.
  • the third light guide section 160 may guide the light entering the entrance 131 to the first light guide section 130 .
  • the third light guide section 160 is arranged between the first light guide section 130 and the entrance 131 .
  • an air layer may be provided between the third light guide section 160 and the first light guide section 130 .
  • the HMD 10 further reduces the deviation between the position of the hand recognized by the user U through an optical approach using the light guide section 130 and the position of the hand detectable by the HMD 10.
  • the portable display device 200A of the HMD 10 reduces the deviation by changing the UI.
  • the portable display device 200 presents an image to the user U centering on an area corresponding to the angle of view (detection range) of the image sensor 212 .
  • FIG. 15 is a block diagram showing a configuration example of a portable display device 200A according to the third embodiment of the present disclosure.
  • a control section 250A of the portable display device 200A shown in FIG. Further, the control unit 250A has a detection unit 251A instead of the detection unit 251.
  • FIG. Other configurations and operations are the same as those of the portable display device 200 shown in FIG.
  • the HMD 10 according to the third embodiment of the present disclosure is different from the HMD 10 shown in FIGS. 8 and 9 in that the light guide section 130 is not provided (see FIGS. 1 and 2).
  • the HMD 10 does not include the light guide section 130 . Therefore, the detection unit 251A shown in FIG. 15 detects the object (for example, the hand of the user U) as it is without correcting the ranging data detected by the ranging device 214 .
  • the transmittance determination unit 254 selects a first region corresponding to the detection range of the image sensor 212 and a second region corresponding to the periphery of the detection range of the image sensor 212. Determining different transparency (transmittance). For example, the transmittance determination unit 254 determines each transmittance so that the transmittance of the second area (an example of the first transmittance) is higher than the transmittance of the first area (an example of the second transmittance). set the degree. In other words, the transparency determination unit 254 determines the transparency so that the second region is more transparent to the background and displayed lighter. The transparency determination unit 254 displays the image with the determined transparency.
  • FIGS. 16 to 18 are diagrams for explaining the transparency determined by the transparency determining unit 254 according to the third embodiment of the present disclosure.
  • FIGS. 16 to 18 show a case where portable display device 200A displays a menu image including a plurality of thumbnail images of playback candidate videos on display unit 230.
  • the transparency determining unit 254 divides the menu image into three regions (first to fourth regions R1 to R4), and determines a different transparency for each region.
  • a first area R1 is an area corresponding to the detection range of the image sensor 212 .
  • the second region R2 is the region surrounding the first region R1.
  • the third region R3 is the region surrounding the second region R2.
  • a fourth region R4 is a region surrounding the third region R3.
  • the first region R1 may be a region narrower than the detection range of the image sensor 212, for example.
  • the first region R1 is a region in which the image sensor 212 can detect the object (for example, user's U hand) with higher accuracy.
  • the first region R1 is also referred to as a recommended detection area.
  • the second area R2 is within the detection range of the image sensor 212, but the accuracy of object detection is lower than that of the first area R1.
  • the second area R2 is also referred to as a detection intermediate area.
  • the fourth area R4 is, for example, an area outside the detection range of the image sensor 212.
  • the image sensor 212 cannot detect the object in the fourth region R4.
  • the fourth region R4 is also referred to as a non-detection area.
  • the third area R3 is an area within the detection range of the image sensor 212 but adjacent to the non-detection area. Therefore, the detection accuracy of the image sensor 212 in the third region R3 is lower than that in the second region R2.
  • the third region R3 is also referred to as a detection limit area.
  • the transparency determination unit 254 determines the transparency for each of the first to fourth regions R1 to R4. For example, the transparency determining unit 254 sets the transparency of the first region R1 to "0%.” That is, the background is not transmitted at all in the first region R1. The transparency determination unit 254 sets the transparency of the second region R2 to "25%.” That is, part of the background is transparent in the second region R2. The transparency determining unit 254 sets the transparency of the third region R3 to "50%.” In other words, the background is more transparent in the third region R3 than in the second region R2. The transparency determination unit 254 sets the transparency of the fourth region R4 to "100%.” In the fourth area R4, the background is displayed and the thumbnail image is not displayed.
  • the transparency determining unit 254 changes the transparency and displays the image. That is, the portable display device 200A displays a clearer image in a space where the hand can be recognized. Moreover, the portable display device 200A displays an image that becomes lighter in color as the detection accuracy decreases. Portable display device 200A does not display an image in a space where a hand cannot be recognized. In other words, the portable display device 200A generates a UI (for example, a menu image) according to the space where the hand can be recognized.
  • a UI for example, a menu image
  • FIG. 17 when the user U's hand is positioned in an area where the image is displayed lightly (for example, the second area R2), no thumbnail image is selected.
  • FIG. 18 when the user U's hand is positioned in an area where the image is displayed dark (for example, the first area R1), a thumbnail image corresponding to the position of the user U's hand is selected.
  • the portable display device 200A can further reduce the deviation between the position of the hand recognized by the user U in the virtual space and the position of the hand detectable by the HMD 10, thereby further reducing the burden on the user U. can do.
  • the transparency determining unit 254 sets each area in the content space to be presented to the user based on the information regarding the angle of view of the image sensor 212 .
  • the transparency determining unit 254 sets each area based on the viewing direction of the user U in the content space and the angle of view of the image sensor 212 .
  • the transmittance determining unit 254 acquires information about the sensor angle of view based on information about the portable display device 200A and information about the image sensor 212, for example.
  • the values of the above-described transparency values are merely examples, and the transparency determining unit 254 may set values other than the values described above.
  • the transparency determination unit 254 may adjust the transparency of each area according to the type of image to be displayed, such as whether to display a menu image or reproduce a video.
  • FIG. 16 shows the case where the transparency determining unit 254 sets four regions for the image, but the present invention is not limited to this.
  • the transparency determination unit 254 may set three or less areas, or may set five or more areas.
  • the transparency determination unit 254 may set two or more areas.
  • the transparency determination unit 254 may change the number of regions according to, for example, the type of image to be displayed.
  • the portable display device 200A may acquire content whose area and transparency are determined in advance, and the transparency determination unit 254 may display the content image according to the predetermined area and transparency.
  • the user U wears the head-mounted device 100 to which the portable display device 200 is fixed on the head. Therefore, variation (deviation) may occur between the user coordinate system and the HMD coordinate system depending on how the head mounted device 100 is worn.
  • the portable display device 200B detects deviation due to how the portable display device 200 is attached to the head mounted device 100 and deviation due to how the head mounted device 100 is worn. do. Thereby, the portable display device 200B can correct the deviation and display a rendered image according to the position and orientation of the user's U head.
  • FIG. 19 is a block diagram showing a configuration example of a portable display device 200B according to the fourth embodiment of the present disclosure.
  • a controller 250B of the portable display device 200B shown in FIG. Further, the control unit 250B has a detection unit 251B instead of the detection unit 251, and a display control unit 253B instead of the display control unit 253.
  • Other configurations and operations are the same as those of the portable display device 200 shown in FIG.
  • the misalignment detection unit 255 detects misalignment of the head mounted device 100 on the head and misalignment of the portable display device 200B on the head mounted device 100 .
  • the deviation detection unit 255 detects the mounting deviation in the rotational direction, for example, using the gravitational acceleration detected by the IMU 215 .
  • the deviation detection unit 255 outputs the detected mounting deviation to the display control unit 253B.
  • the misalignment detection unit 255 detects misalignment of the portable display device 200B using input information input by the user U, for example.
  • FIG. 20 is a diagram for explaining an example of a mounting deviation detection method by the deviation detection unit 255 according to the fourth embodiment of the present disclosure.
  • the user U designates a plurality of points on the same plane (for example, on a desk) with, for example, a finger.
  • the deviation detection unit 255 acquires a plurality of points specified by the user U as input information.
  • the misalignment detection unit 255 detects misalignment of the portable display device 200B by comparing a plane formed by a plurality of points designated by the user U and the desk detection result output by the image sensor 212 .
  • the deviation detection section 255 outputs the detected mounting deviation to the detection section 251B.
  • 21A and 21B are diagrams for explaining another example of the method for detecting mounting misalignment by the misalignment detection unit 255 according to the fourth embodiment of the present disclosure.
  • the deviation detection unit 255 uses the shape of the controller instead of the information input by the user U for detection.
  • the deviation detection unit 255 is assumed to know the shape of the controller in advance.
  • the displacement detection unit 255 detects the mounting displacement of the portable display device 200B by comparing the known controller shape (elliptical shape in FIG. 21) and the controller detection result output by the image sensor 212 .
  • the deviation detection section 255 outputs the detected mounting deviation to the detection section 251B.
  • the deviation detection unit 255 may detect mounting deviation using a known shape. Therefore, the known-shaped object used by the deviation detection unit 255 is not limited to the controller.
  • the misalignment detection unit 255 can detect mounting misalignment in the same way as the controller by detecting an object whose physical shape is known, such as a package or a cable.
  • the display control unit 253B corrects the position and posture of the user's U head based on the misalignment detected by the misalignment detection unit 255 .
  • the display control unit 253B corrects the corrected position and posture of the user's U head.
  • the detection unit 251B corrects the position and posture of the user's U hand based on the mounting misalignment detected by the misalignment detection unit 255 .
  • the detection unit 251B outputs the corrected position and posture of the hand of the user U to the gesture detection unit 252 .
  • the misalignment of the portable display device 200B has less influence on the displayed image than the misalignment of the head-mounted device 100 .
  • the misalignment of the portable display device 200B affects the naturalness of the user U's operation at hand. Therefore, the misalignment detection unit 255 detects misalignment of the portable display device 200B, so that the user U can more naturally perform operations using hands, and the burden on the user U can be further reduced. .
  • a communication program for executing the above operations is distributed by storing it in a computer-readable recording medium such as an optical disk, semiconductor memory, magnetic tape, or flexible disk.
  • the control device is configured by installing the program in a computer and executing the above-described processing.
  • the control device may be a device (for example, a personal computer) external to the portable display device 200 .
  • the control device may be a device inside the portable display device 200 (for example, the control unit 250).
  • the above communication program may be stored in a disk device provided in a server device on a network such as the Internet, so that it can be downloaded to a computer.
  • the functions described above may be realized through cooperation between an OS (Operating System) and application software.
  • the parts other than the OS may be stored in a medium and distributed, or the parts other than the OS may be stored in a server device so that they can be downloaded to a computer.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured. Note that this distribution/integration configuration may be performed dynamically.
  • the present embodiment can be applied to any configuration that constitutes a device or system, such as a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, etc. Furthermore, it can also be implemented as a set or the like (that is, a configuration of a part of the device) to which other functions are added.
  • a processor as a system LSI (Large Scale Integration)
  • module using a plurality of processors a unit using a plurality of modules, etc.
  • it can also be implemented as a set or the like (that is, a configuration of a part of the device) to which other functions are added.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • this embodiment can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • the present technology can also take the following configuration.
  • a housing configured to secure a portable display device; In a mounted state in which the portable display device is fixed to the housing and the housing is worn by a user, a sensor mounted on the portable display device is positioned at least in an area below a line-of-sight direction of the user. a light guide that changes the angle of view of the sensor, configured to sense
  • a head-mounted device comprising: (2) The head mount device according to (1), wherein the light guide section includes a concave mirror that widens the angle of view to include the lower area.
  • the light guide section guides incident light entering an entrance provided in the housing to the sensor.
  • the light guide unit directs the incident light at least in the longitudinal direction so that the incident light entering an entrance provided substantially in the center of the display surface of the portable display device in the longitudinal direction is incident on the sensor.
  • a head-mounted device according to any one of (1) to (3), comprising a total internal reflection surface configured to guide.
  • the head mounted device according to any one of (1) to (4), wherein the light guide section is configured to change the direction of incidence on the sensor downward from the line-of-sight direction of the user.
  • Device. (8) The head mount device according to (7), wherein the light guide section and the second light guide section are arranged so that the incident light entering the sensor and the irradiation light do not interfere with each other. (9) (7 ) or the head mounted device according to (8). (10) The head mount device according to any one of (7) to (9), wherein the light guide section is offset from the second light guide section in the line-of-sight direction.
  • (11) (7) to further comprising a third light guide section that guides at least one of the incident light entering the light guide section and the irradiation light emitted from the second light guide section in the line-of-sight direction; (10) The head mounted device according to any one of items. (12) The head mount device according to (11), wherein the third light guide section has a refractive index greater than one. (13) (1) to (1) to (1) to (1) to (1) to ( 12) The head mounted device according to any one of items. (14) (1) to (1) to (1) to (1) to ( 13) The head-mounted device according to any one of items 13).
  • a portable display device that presents an image to the user by being fixed to a head-mounted device worn by the user, a sensor for detecting surrounding objects; In the image presented to the user, a first area corresponding to the detection range of the sensor is displayed with a first transparency, and a second area corresponding to the periphery of the detection range is displayed with the first transparency.
  • a controller for displaying with a second transparency higher than the A portable display device comprising:
  • REFERENCE SIGNS LIST 100 head mount device 110 main body 120 lid 121 opening 130 light guide 140 second light guide 131 entrance 132, 133 concave mirror 134, 135 total reflection surface 141 exit 160 third light guide 170 air Layer 200
  • Portable display device 210 Sensor unit 211 Imaging device 212 Image sensor 213 Light source 214 Distance measuring device 220 Communication unit 230 Display unit 240 Storage unit 250 Control unit 251 Detection unit 252 Gesture detection unit 253 Display control unit 254 Transparency determination unit 255 Deviation detector

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

ヘッドマウント装置（１００）は、筐体（１１０、１２０）と、導光部（１３０）と、を備える。筐体（１１０、１２０）は、携帯型表示装置（２００）を固定するよう構成される。導光部（１３０）は、携帯型表示装置（２００）が筐体（１１０、１２０）に固定され、かつ、筐体（１１０、１２０）がユーザに装着された装着状態において、携帯型表示装置（２００）に搭載されるセンサ（２１２）が少なくともユーザの視線方向よりも下側領域をセンシングするように、センサ（２１２）の画角を変更するよう構成される。

Description

ヘッドマウント装置及び導光装置
　本開示は、ヘッドマウント装置、携帯型表示装置及び導光装置に関する。
　ＡＲ（Augment　Reality；拡張現実）や、ＶＲ（Virtual　Reality；仮想現実）を用いてレンダリングした画像を、例えばユーザが装着したヘッドマウントディスプレイ（ＨＭＤ）に表示する技術が知られている。
　ＨＭＤは、ユーザによるスイッチの押下を検出したり、搭載されたカメラを用いてユーザのジェスチャを検出したりすることで、ユーザからの操作を受け付け、操作に応じた画像をユーザに提示する。
特開２０１６－１３０９８５号公報
　近年、表示装置を備え、外部装置であるレンダリング装置がレンダリングした画像を表示するものや、表示装置及びレンダリング装置の両方を備え、それ１つで画像のレンダリング及び表示の両方を行えるものなど、様々なタイプのＨＭＤが開発されている。
　上述したＨＭＤ以外にも、例えば、スマートフォンのような携帯端末を表示装置として使用するタイプのＨＭＤが知られている。この場合、ユーザは、スマートフォンが筐体に固定されたＨＭＤを装着し、スマートフォンの画面に表示される画像を視聴する。
　このように、スマートフォンを利用するＨＭＤの場合、スマートフォンに搭載されるセンサを使用してユーザのジェスチャを検出したいという要望がある。
　例えば、近年のスマートフォンには、赤外光（ＩＲ）を用いて被写体までの距離を測定する測距センサが搭載されている。スマートフォンに搭載される測距センサを用いてユーザの手の動きを検出することで、ＨＭＤは、筐体にセンサやスイッチ等を搭載することなく、より容易にユーザからの操作を受け付けることができるようになる。
　ここで、スマートフォンに搭載される測距センサは、カメラのオートフォーカス等に使用されるため、その画角は、ＨＭＤの視野角より狭くなる。そのため、スマートフォンに搭載される測距センサを使用してＨＭＤを装着したユーザの手を検出しようとすると、例えばユーザが測距センサの画角（測距範囲）まで手を移動させる必要があり、ユーザの負担になる恐れがある。
　そこで、本開示では、スマートフォンのような携帯型表示装置を用いたＨＭＤにおいて、携帯型表示装置にされる測距センサを使用した場合のユーザの負担をより低減することができる仕組みを提供する。
　なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の１つに過ぎない。
　本開示のヘッドマウント装置は、筐体と、導光部と、を備える。筐体は、携帯型表示装置を固定するよう構成される。導光部は、前記携帯型表示装置が前記筐体に固定され、かつ、前記筐体がユーザに装着された装着状態において、前記携帯型表示装置に搭載されるセンサが少なくとも前記ユーザの視線方向よりも下側領域をセンシングするように、前記センサの画角を変更するよう構成される。
本開示の第１実施形態に係るＨＭＤの概略構成例を説明するための模式図である。 本開示の第１実施形態に係るＨＭＤによるユーザの手の検出例について説明するための図である。 本開示の第１実施形態に係るイメージセンサの画角について説明するための図である。 本開示の第１実施形態に係るイメージセンサの画角について説明するための図である。 本開示の第１実施形態に係るＨＭＤの一例を説明するための図である。 本開示の第１実施形態に係る導光部の他の例を説明するための図である。 本開示の第１実施形態に係る蓋部を正面から見た模式図である。 本開示の第１実施形態に係るＨＭＤを側面から見た模式図である。 本開示の第１実施形態に係る導光部の構成例を示す模式図である。 本開示の第１実施形態に係る携帯型表示装置の構成例を示すブロック図である。 本開示の第１実施形態の第１変形例に係るＨＭＤの構成例を示す模式図である。 本開示の第１実施形態の第２変形例に係るＨＭＤの構成例を示す模式図である。 本開示の第１実施形態の第３変形例に係るＨＭＤの構成例を示す模式図である。 本開示の第２の実施形態に係る第１、第２の導光部がガイドする光について説明するための図である。 本開示の第３実施形態に係る携帯型表示装置の構成例を示すブロック図である。 本開示の第３実施形態に係る透過度決定部が決定する透過度について説明するための図である。 本開示の第３実施形態に係る透過度決定部が決定する透過度について説明するための図である。 本開示の第３実施形態に係る透過度決定部が決定する透過度について説明するための図である。 本開示の第４実施形態に係る携帯型表示装置の構成例を示すブロック図である。 本開示の第４実施形態に係るずれ検出部による取り付けずれの検出方法の一例を説明するための図である。 本開示の第４実施形態に係るずれ検出部による取り付けずれの検出方法の他の例を説明するための図である。
　以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実施形態の類似する構成要素については、同一の符号の後に異なるアルファベット又は数字を付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　また、本明細書及び図面において、具体的な値を示して説明する場合があるが、値は一例であり、別の値が適用されてもよい。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
＜＜１．第１実施形態＞＞
＜１．１．はじめに＞
　上述したように、近年、様々なタイプのＨＭＤの開発が進められている。例えば、表示装置を搭載し、外部装置であるレンダリング装置がレンダリングした画像を表示装置に表示するタイプ（以下、母艦接続型とも称する）のＨＭＤが知られている。この母艦接続型ＨＭＤは、レンダリング装置と接続するためのケーブルが必要となり、当該ケーブルによってユーザの移動が制限されるなど、体験が阻害されるという問題がある。
　当該問題に対して、母艦接続型ＨＭＤとレンダリング装置とを無線通信で接続する技術が検討されている。ＨＭＤは、レンダリング装置と無線通信で接続することで、ケーブルを省略することができるが、通信遅延や通信品質の課題がある。
　なお、レンダリング装置はＨＭＤを装着するユーザの近くに配置される。あるいは、レンダリング装置がクラウド上に設けられてもよい。この場合、ＨＭＤは、例えば、クラウド上のデータセンターでレンダリングされた画像をディスプレイに表示する。クラウド上にレンダリング装置を設ける場合、画像の表示遅延が大きな課題となるが、予測、低遅延化技術により表示遅延を抑えることができるようになると、ＨＭＤは、さらに高品質な映像をユーザに提供することができるようになる。
　別のタイプのＨＭＤとして、例えば表示装置及びレンダリング装置の両方を搭載し、画像のレンダリング及び表示を１つのＨＭＤで実現するタイプ（以下、スタンドアローン型とも称する）のＨＭＤが知られている。
　スタンドアローン型のＨＭＤは、ケーブルのようなユーザの動きを阻害するものがないが、母艦接続型のＨＭＤと比較して、レンダリング能力が低く、画像の品質が低いという課題がある。
　また、上述した母艦接続型及びスタンドアローン型以外にも、ヘッドマウント装置にスマートフォンのような携帯表示装置を装着したタイプ（以下、簡易型とも称する）のＨＭＤも知られている。簡易型のＨＭＤは、スマートフォンを表示装置及びレンダリング装置として使用することで、ユーザはより手軽にＶＲを体験することができる。
　本開示の第１実施形態では、簡易型のＨＭＤにおいて、ユーザの負担をより低減することができる仕組みを提供する。
　ここで、従来のＨＭＤは、ＨＭＤに設けられたスイッチ等によってユーザからの操作を受け付ける。また、従来のＨＭＤは、ユーザの手を認識することで、ユーザからの操作を受け付けたり、ユーザの分身となるアバターを制御したりする。
　例えば、ＨＭＤは、仮想空間上に仮想オブジェクトを表示し、ユーザが仮想オブジェクトに触れる動作を検出する。これにより、ＨＭＤは、ユーザから仮想オブジェクトを選択する操作を受け付ける。このように、ＨＭＤは、ユーザの手の動きに応じてユーザの操作を受け付けることで、直感的なＵＩをユーザに提供することができる。
　また、ＨＭＤは、ユーザの頭部や手の位置に応じて、インバースキネマティック技術を用いてアバターを制御する。このように、ＨＭＤは、ユーザの手の位置を検出することで、ユーザの動きに応じてアバターを制御することができる。
　従来、ＨＭＤは、ユーザの手の検出にコントローラを使用していた。コントローラは、ＨＭＤとは個別に、ユーザの手の６自由度（６ＤｏＦ：Six　Degree　of　Freedom）の姿勢をトラッキングする。
　コントローラを使用することで、ＨＭＤは、ユーザの手を高精度に検出することができる。一方、ユーザの手を検出するために、ＨＭＤとは別にコントローラを用意する必要がある。また、ユーザは、コントローラをＨＭＤやレンダリング装置等に無線又は有線で接続する必要がある。
　ユーザの手を検出する方法として、コントローラを使用する方法以外に、カメラを用いて検出する方法がある。ＨＭＤは、自装置に搭載される広角カメラを使用して、自装置の６ＤｏＦの姿勢をトラッキングする。この広角カメラを使用することで、ＨＭＤは、ユーザの手のトラッキングを行い得る。
　例えば、ＨＭＤは、広角カメラで撮影した撮像画像からユーザの手を検出する。ＨＭＤからユーザの手までの距離を検出するために、一般的にカメラの視差情報が用いられる。視差情報を取得するためのカメラは単眼カメラであってもよく、多眼カメラであってもよい。
　このように、従来のＨＭＤは、ユーザの手を検出するために、広角カメラ等を使用する必要があった。上述した母艦接続型やスタンドアローン型のＨＭＤは、既に搭載されている広角カメラ等を使用することで、比較的容易に手を検出することができる。
　一方、簡易型のＨＭＤは、スマートフォンを装着する筐体に、カメラ等の手を検出する検出装置を搭載すると、筐体側に電源が必要になったり、検出装置とスマートフォンを接続するケーブルが必要になったりする。そのため、簡易型のＨＭＤでは、筐体側に検出装置を搭載することなく、ユーザの手を検出する仕組みが望まれる。
　ここで、近年、スマートフォンのような携帯型情報処理装置に、複数のカメラや測距センサが搭載され始めている。例えば、標準、ズーム、広角の３種類のカメラやＴｏＦ（Time　of　Flight）センサを搭載したスマートフォンが登場している。
　そこで、本開示の第１実施形態では、ＨＭＤが、スマートフォンのような携帯型表示装置に搭載された測距センサを用いてユーザの手を検出するものとする。このように、携帯型表示装置に搭載されるセンサを用いて、ＨＭＤが対象物（例えば、ユーザの手）を検出することで、ＨＭＤは、追加のセンサを搭載することなく、対象物を検出することができるようになる。
＜１．２．ＨＭＤの概要＞
＜１．２．１．ＨＭＤの概略構成例＞
　まず、図１を用いて、本開示の第１実施形態に係るＨＭＤ１０の概略構成例について説明する。図１は、本開示の第１実施形態に係るＨＭＤ１０の概略構成例を説明するための模式図である。
　なお、本開示の図面では、理解を容易にするため、ＸＹＺ座標が示される。Ｚ軸正方向は、ＨＭＤ１０をユーザが装着して直立した直立状態における、当該ユーザの視線方向に対応する。Ｚ軸方向は、例えば、後述する携帯型表示装置２００の表示面と垂直な方向である。Ｙ軸正方向は、ユーザの直立状態において重力方向と反対の方向に対応する。Ｙ軸方向は、例えば、携帯型表示装置２００の表示面における短手方向に対応する。Ｘ軸正方向は、Ｙ軸方向及びＺ軸方向と垂直であり、かつ、ユーザの右目から左目の方向に対応する。Ｘ軸方向は、例えば、携帯型表示装置２００の表示面における長手方向に対応する。
　なお、以下では、ユーザがＨＭＤを装着したときのユーザの正面をＨＭＤの正面、ユーザＵの上側（頭側）をＨＭＤの上側、ユーザＵの下側（足元側）をＨＭＤの下側として説明する場合がある。
　図１に示すように、ＨＭＤ１０は、ヘッドマウント装置１００と、携帯型表示装置２００と、を含む。
　ヘッドマウント装置１００は、本体部１１０と、蓋部１２０と、を含む。なお、本体部１１０及び蓋部１２０を合わせて筐体とも記載する。
　本体部１１０は、例えば、レンズ（図示省略）を備える。蓋部１２０は、携帯型表示装置２００を固定可能に構成される。蓋部１２０は、本体部１１０に着脱可能に構成される。蓋部１２０は、例えば携帯型表示装置２００を固定した状態で本体部１１０に取り付けられる。
　ヘッドマウント装置１００は、レンズ（図示省略）を備え、鏡筒構造を有する装置である。ヘッドマウント装置１００にはカメラ等電源を必要とする装置が搭載されない。そのため、ヘッドマウント装置１００には、電源やケーブル等の電気システムが不要となる。
　携帯型表示装置２００は、例えば表示面を有する小型の情報処理装置である。携帯型表示装置２００として、例えばスマートフォンや携帯型ゲーム機などが挙げられる。携帯型表示装置２００は、画像のレンダリングを行うレンダリング装置として機能し得る。また、携帯型表示装置２００は、レンダリングした画像を表示面に表示する表示装置として機能し得る。
　携帯型表示装置２００は、例えば、表示面を２分割した右側に右目用の画像を表示し、左側に左目用の画像を表示し得る。ユーザは、右目用レンズ（図示省略）を介して右目用の画像を視認し、左目用レンズ（図示省略）を介して左目用の画像を視認することで、３次元画像を視認し得る。なお、左目用レンズ及び右目用レンズは、例えば樹脂やガラスなどの透明材料により形成され得る。
　また、携帯型表示装置２００は、撮像装置（図示省略）や測距センサ（図示省略）等のセンサを有する。測距センサは、例えば撮像装置による撮影時のオートフォーカスに使用される。撮像装置は、携帯型表示装置２００の周囲の撮影に使用される。
　なお、図１では、携帯型表示装置２００として、縦型のスマートフォンが横向きに蓋部１２０に固定された状態を示しているが、携帯型表示装置２００の形状や固定方法はこれに限定されない。例えば、携帯型表示装置２００が横型の表示面を有する情報処理端末であってもよい。あるいは、携帯型表示装置２００が正方形等、長方形以外の形状の装置であってもよい。また、携帯型表示装置２００が、折り畳めたり、スライドさせたりして形状を変化させ得るものであってもよい。
　上述したように、ＨＭＤ１０は、携帯型表示装置２００に搭載される測距センサを用いてユーザの手を検出する。このとき、例えば、測距センサをそのままユーザの手の検出に使用する方法として、図２に示すように、蓋部１２０に開口部１２１を設ける方法が考えられる。
　図２は、本開示の第１実施形態に係るＨＭＤ１０によるユーザの手の検出例について説明するための図である。図２では、携帯型表示装置２００が固定された蓋部１２０をＺ軸正方向から見た図を示している。
　図２に示すように、蓋部１２０は、開口部１２１を有する。図２の例では、開口部１２１は、携帯型表示装置２００の第１～第３の撮像装置２１１Ａ～２１１Ｃ、イメージセンサ２１２、光源２１３が露出するように構成される。
　第１～第３の撮像装置２１１Ａ～２１１Ｃは、例えば、それぞれ標準、ズーム、広角の撮像が可能なＲＧＢ撮像センサである。第１～第３の撮像装置２１１Ａ～２１１Ｃは、第１～第３のカメラと言い換えられ得る。なお、第１～第３の撮像装置２１１Ａ～２１１Ｃの種類（標準、ズーム、広角）は、上述した例に限定されない。例えば、第１の撮像装置２１１Ａが標準カメラでなく、ズームカメラ又は広角カメラであってもよい。
　また、第１～第３の撮像装置２１１Ａ～２１１Ｃの少なくとも２つが同じ種類のカメラであってもよい。例えば、第１、第２の撮像装置２１１Ａ、２１１Ｂがどちらも標準カメラであってもよい。
　また、携帯型表示装置２００に搭載される撮像装置２１１の数は３個に限定されない。携帯型表示装置２００に搭載される撮像装置２１１の数は２個以下であってもよく、４個以上であってもよい。また、携帯型表示装置２００が撮像装置２１１を有していなくてもよい。
　イメージセンサ２１２は、例えばＴｏＦセンサである。イメージセンサ２１２は、光源２１３が光を照射してから、当該光が対象物で反射した反射光をイメージセンサ２１２の受光部（図示省略）で受光するまでの時間を計測するＴｏＦ法により距離計測を行う距離計測センサである。
　なお、図２では、携帯型表示装置２００がイメージセンサ２１２を１個有する場合について示したが、これに限定されない。例えば、携帯型表示装置２００がイメージセンサ２１２を２個以上有していてもよい。
　光源２１３は、対象物に向かって照射光を出射するように構成される。光源２１３は、例えば赤外光を射出する光源部（図示省略）を備える。光源部は、例えば、レーザ光源やＬＥＤ（Light　Emitting　Diode）などを用いて構成される。また、レーザ光源として、例えば、面光源であるＶＣＳＥＬ（Vertical　Cavity　Surface　Emitting　LASER）が適用され得る。
　なお、図２では、携帯型表示装置２００が光源２１３を１個有する場合について示したが、これに限定されない。例えば、携帯型表示装置２００が光源２１３を２個以上有していてもよい。また、携帯型表示装置２００が光源２１３を有していなくてもよい。この場合、イメージセンサ２１２は、例えばＨＭＤ１０とは別に配置される光源（図示省略）を使用して距離計測を行い得る。
　なお、イメージセンサ２１２及び光源２１３をまとめて測距装置２１４とも称する。
　また、図２では図示は省略するが、撮像装置２１１及び測距装置２１４以外にも、例えば携帯型表示装置２００に搭載されるハードウェアキー（例えば、音量ボタン等）が露出していてもよい。このように、ハードウェアキーを露出させることで、ユーザは、ハードウェアキーを使用してＨＭＤ１０を操作することができる。
　なお、ここで、イメージセンサ２１２やハードウェアキー等が露出しているとは、蓋部１２０に携帯型表示装置２００を固定した状態で、イメージセンサ２１２やハードウェアキー等が動作するように構成されることを意味する。従って、蓋部１２０に設けられる開口部１２１は、蓋部１２０に形成される穴であってもよく、あるいは、樹脂やガラスなどの透明材料により形成されてもよい。
＜１．２．２．課題＞
　上述したように、携帯型表示装置２００に搭載されるイメージセンサ２１２は、主にオートフォーカス等に使用される。そのため、イメージセンサ２１２は、数ｍの距離を検出することができるが、その画角（以下、センサ画角とも称する）は、ＨＭＤ１０の視野角（以下、ＨＭＤ視野角とも称する）と比較して狭くなってしまう。
　ＨＭＤ１０がイメージセンサ２１２をそのまま使用してユーザの手を検出すると、ユーザＵに負担がかかってしまう恐れがある。かかる点について図３及び図４を用いて説明する。
　図３及び図４は、本開示の第１実施形態に係るイメージセンサ２１２の画角について説明するための図である。図３では、ユーザＵがＨＭＤ１０を装着し、自身の手を動かしている場合を示している。また、図４では、ＨＭＤ１０がユーザＵに提示するレンダリング画像の一例を示している。
　図３に示すように、イメージセンサ２１２は、センサ画角θ１を有し、画角θ１内の領域に存在する被写体（例えばユーザＵの手Ｈａ）を検出する。ＨＭＤ１０は、ＨＭＤ視野角θ２（θ２＞θ１）を有し、視野角θ２内の領域にレンダリング画像を表示する。
　上述したように、センサ画角θ１は、ＨＭＤ視野角θ２よりも狭い。そのため、ＨＭＤ視野角θ２内の領域にユーザＵの手Ｈｂが存在しても、センサ画角θ１内の領域に存在しない場合、ＨＭＤ１０は、当該手Ｈｂを検出することができない。
　従って、例えば、ユーザＵがジェスチャでＨＭＤ１０を操作しようとすると、ユーザＵは、手をセンサ画角θ１内の領域まで移動させる必要がある。そのため、腕が疲れる等、ユーザＵの負担が大きくなってしまう。
　また、ＨＭＤ視野角θ２内の領域であっても、センサ画角θ１内の領域でない場合、ＨＭＤ１０は、ユーザＵの手Ｈｂを認識できない。すなわち、ユーザＵが仮想空間上で見えている領域に手を移動させても、ＨＭＤ１０がユーザＵの手に反応することができない場合がある。
　例えば、図４に示すように、ＨＭＤ１０が、再生する映像を選択するためのメニュー画面をユーザＵに提示しているものとする。ユーザＵは、例えばＨＭＤ１０が提示する再生候補の映像のプレビュー画像を手でタッチすることで、再生する映像を選択するものとする。
　上述したように、センサ画角θ１は、ＨＭＤ視野角θ２よりも狭い。そのため、ＨＭＤ１０は、例えばセンサ画角θ１内の領域（例えば図４の領域Ｒａ）に存在するユーザＵの手Ｈａは検出することができるが、センサ画角θ１外の領域（例えば図４の領域Ｒｂ）に存在するユーザＵの手Ｈｂは検出することができない。
　従って、ユーザＵは、領域Ｒａ内まで移動させないとプレビュー画像を選択することがでない。また、ユーザＵは、領域Ｒａ外のプレビュー画像を選択することができない。
　このように、ＨＭＤ１０がイメージセンサ２１２をそのまま使用してユーザの手を検出すると、ユーザＵが手を持っていっても反応しない領域があるため、反応する領域までユーザＵが手を移動する必要があり、ユーザＵの負担が大きくなるという問題がある。
＜１．２．３．提案技術の概要＞
　そこで、本開示の第１実施形態に係るＨＭＤ１０のヘッドマウント装置１００は、イメージセンサ２１２が少なくともユーザＵの視線方向よりも下側領域に存在する対象物（例えばユーザＵの手）を検出するよう、センサ画角を変更する。
　図５は、本開示の第１実施形態に係るＨＭＤ１０の一例を説明するための図である。図５に示すように、ヘッドマウント装置１００は、上述したように携帯型表示装置２００を固定するよう構成された筐体と、導光部１３０と、を有する。
　導光部１３０は、イメージセンサ２１２が少なくともユーザＵの視線方向よりも下側（Ｙ軸負方向）の領域に存在する対象物を検出するよう、イメージセンサ２１２の画角を変更する。図５の例では、導光部１３０は、イメージセンサ２１２の画角をθ１（図３参照）からθ３（θ３＞θ１）に拡げる。これにより、ＨＭＤ１０は、視線方向よりも下側領域に存在する対象物（例えばユーザＵの手Ｈｂ）を検出することができる。
　このように、導光部１３０がセンサ画角を拡大することで、イメージセンサ２１２のセンサ画角を変更する場合、導光部１３０は、例えばレンズ等で構成され得る。なお、導光部１３０の詳細は後述する。
　なお、図５では、センサ画角θ３は、ＨＭＤ視野角θ２より狭くなっているが、これに限定されない。例えば、導光部１３０が、センサ画角θ３がＨＭＤ視野角θ２以上（θ３≧θ２）となるように、イメージセンサ２１２の画角を拡げるようにしてもよい。
　導光部１３０によるセンサ画角の変更方法は、センサ画角を拡大する方法に限定されない。図６は、本開示の第１実施形態に係る導光部１３０の他の例を説明するための図である。
　図６に示す導光部１３０は、イメージセンサ２１２の向き、換言すると、イメージセンサ２１２に入射する光の方向（以下、入射方向とも称する）を視線方向Ｄ１よりも下側（Ｙ軸負方向）の方向Ｄ２に変更する。
　このように、導光部１３０が、イメージセンサ２１２の入射方向を下側に向けることで、ＨＭＤ１０は、視線方向よりも下側領域に存在する対象物（例えばユーザＵの手Ｈｂ）を検出することができる。
　このように、導光部１３０がイメージセンサ２１２の向きを変更することで、イメージセンサ２１２のセンサ画角を変更する場合、導光部１３０は、例えばミラー等で構成され得る。
　なお、図６では、イメージセンサ２１２のセンサ画角θ１は、入射方向を変更する前と同じであるが、これに限定されない。例えば、導光部１３０が、イメージセンサ２１２のセンサ画角を拡げるとともに、入射方向を変更するようにしてもよい。
　ここで、上述したように、イメージセンサ２１２をオートフォーカスのために使用すると、検出範囲として数ｍ程度の距離が必要となる。しかしながら、本開示の第１実施形態に係るＨＭＤ１０は、イメージセンサ２１２を、ユーザＵの手を検出するために使用する。この場合、検出範囲として必要な距離は１ｍ程度でよい。そのため、ＨＭＤ１０は、イメージセンサ２１２のセンサ画角を拡げたり、センサ画角の光軸の位置を移動させたりすることができる。
　より具体的には、後述する導光部を使用してイメージセンサ２１２のセンサ画角を拡げたり、センサ画角の光軸の位置を移動させたりすると、イメージセンサ２１２に入射する光が減衰してしまう。しかしながら、上述したように、イメージセンサ２１２を、ユーザＵの手を検出する用途に使用する場合、その射程距離は１ｍ程度で十分である。そのため、ＨＭＤ１０は、導光部を使用してセンサ画角を変更することができる。
　また、本開示の第１実施形態では、携帯型表示装置２００及び導光部１３０がどちらもヘッドマウント装置１００の蓋部１２０に固定される。すなわち、ＨＭＤ１０、携帯型表示装置２００、及び、導光部１３０の位置姿勢が、ユーザＵの顔に対して固定される。そのため、ＨＭＤ１０は、導光部１３０を用いた光学的なアプローチでイメージセンサ２１２の画角を変更することができる。
＜１．３．ＨＭＤの構成例＞
　図７及び図８を用いて、本開示の第１実施形態に係るＨＭＤ１０の構成例について説明する。図７は、本開示の第１実施形態に係る蓋部１２０を正面から見た模式図である。図７では、蓋部１２０をＺ軸正方向から見た図を示している。図８は、本開示の第１実施形態に係るＨＭＤ１０を側面から見た模式図である。図８では、ＨＭＤ１０をＸ軸正方向から見た図を示している。なお、図８では、蓋部１２０は、その断面を示している。
　図７及び図８に示すように、本開示の第１実施形態に係るＨＭＤ１０は、ヘッドマウント装置１００と、携帯型表示装置２００と、を有する。ヘッドマウント装置１００は、本体部１１０と、蓋部１２０と、導光部１３０と、を有する。
＜１．３．１．ヘッドマウント装置＞
　図７に示すように、蓋部１２０には、光が入射する入射口１３１が設けられる。図７の例では、蓋部１２０の長手方向（Ｘ軸方向）における略中央であって、短手方向（Ｙ軸方向）における一端に設けられる。例えば、ＨＭＤ１０をユーザＵが装着した装着状態で、入射口１３１は、ユーザＵの眉間に対応する位置付近に設けられる。
　導光部１３０は、入射口１３１に入射する入射口をイメージセンサ２１２までガイドする。導光部１３０は、例えば、少なくとも１つの凹面ミラーと、全反射面と、を有する。導光部１３０は、例えばプリズム、ミラーあるいはレンズといったの光学部材の組み合わせで構成される。導光部１３０は、例えば樹脂やガラス等の透明材料で形成される。
　導光部１３０は、例えば、一端が携帯型表示装置２００に搭載されるイメージセンサ２１２を覆うように、他端が蓋部１２０の入射口１３１に位置するように配置される。
　ここで、一般的に、撮像装置２１１やイメージセンサ２１２等を含むカメラモジュールは、設計上の構造的な制約により、携帯型表示装置２００の筐体のいずれかの辺に偏って配置される。例えば、図７の例では、カメラモジュールが携帯型表示装置２００の右上辺に配置されている。
　そのため、図７及び図８に示すように、導光部１３０は、入射口１３１から入射した光をＸ軸正方向にガイドするように構成されることで、入射光を入射口１３１からイメージセンサ２１２までガイドする。すなわち、導光部１３０は、イメージセンサ２１２の画角を、水平方向において蓋部１２０の中央側（Ｘ軸負方向）にガイドするように構成される。
　なお、図７では、入射口１３１が露出し、カメラモジュールは露出しない場合について示したが、これに限定されない。例えば、第２、第３の撮像装置２１１Ｂ、２１１Ｃが露出するなど、カメラモジュールの少なくとも一部が露出するよう、蓋部１２０に開口部が設けられていてもよい。
　図９は、本開示の第１実施形態に係る導光部１３０の構成例を示す模式図である。図９では、導光部１３０を上方（Ｙ軸正方向）から見た図を示している。図９に示す例では、導光部１３０は、凹面ミラー１３２、１３３及び全反射面１３４、１３５を有する。導光部１３０は、入射口１３１付近に入射瞳を形成するように構成される。
　図９の例では、凹面ミラー１３２は、導光部１３０の一端、例えば入射口１３１側に設けられる。凹面ミラー１３３は、導光部１３０の他端、例えばイメージセンサ２１２側に設けられる。全反射面１３４、１３５は、凹面ミラー１３２、１３３の間であって、互いに対向するよう、例えば略平行に設けられる。光線の入射角が小さい凹面ミラー１３２、１３３は、例えば蒸着ミラーとして構成され得る。
　入射方向Ｄ４から入射した光は、凹面ミラー１３２によって集光されつつ全反射面１３４、１３５にガイドされる。当該光は、全反射面１３４、１３５で全反射しながら凹面ミラー１３３にガイドされる。凹面ミラー１３３で反射した光は、集光されつつ出射方向Ｄ３から出射し、イメージセンサ２１２に入射する。
　このように、導光部１３０は、全反射によって入射光をガイドする機能及び集光する機能を有する。より具体的には、全反射面１３４、１３５は、光線をガイドする機能を有する。凹面ミラー１３２、１３３は、光線方向をガイドする機能に加え、レンズとして入射光を集光する機能（画角を拡大する機能）を有する。
　これにより、導光部１３０は、イメージセンサ２１２のセンサ画角を拡大させつつ、センサ画角の光軸を図９の下方向（Ｘ軸負方向）に移動させることができる。
　また、プリズムを用いて導光部１３０を構成することで、ミラーやレンズ等の光学部材を組み合わせて導光部１３０を構成する場合と比較して導光部１３０の奥行きＺ１を小さくすることができる。これにより、蓋部１２０の奥行き（Ｚ軸方向の長さ）、すなわち、ヘッドマウント装置１００の前後方向のサイズを小さくすることができる。
　なお、図９に示す導光部１３０の構成は一例であり、これに限定されない。例えば、図９では、凹面ミラー１３２で反射した光が、全反射面１３４、１３５それぞれで１回ずつ、合計２回全反射して凹面ミラー１３３に入射するが、全反射する回数はこれに限定されない。光が全反射面１３４、１３５において合計３回以上全反射するようにしてもよい。
　あるいは、導光部１３０が全反射面１３４、１３５を有していなくてもよい。この場合、導光部１３０は、凹面ミラー１３２、１３３を用いて、入射光の集光及びガイドを行う。全反射面１３４、１３５での入射光が全反射する回数、すなわち、全反射面１３４、１３５の長さは、入射口１３１とイメージセンサ２１２との間の距離や凹面ミラー１３２、１３３の光をガイドする機能に応じて、変更され得る。
　また、ここでは、導光部１３０の他端、例えばイメージセンサ２１２側のミラーが凹面ミラーであるとしたが、これに限定されない。少なくとも、導光部１３０の一端、例えば入射側のミラーが凹面ミラーであればよく、イメージセンサ２１２側のミラーが全反射ミラーであってもよい。
　また、図９では、導光部１３０の出射方向Ｄ３と入射方向Ｄ４とが互いに平行である、すなわち、入射方向Ｄ４がユーザＵの視線方向である場合について示しているが、これに限定されない。入射方向Ｄ４が、出射方向Ｄ３より下側（Ｙ軸負方向）に傾いていてもよい（図６の方向Ｄ２参照）。
＜１．３．２．携帯型表示装置＞
　図１０は、本開示の第１実施形態に係る携帯型表示装置２００の構成例を示すブロック図である。
　携帯型表示装置２００は、上述したように、スマートフォンや携帯型ゲーム機など、表示部及びセンサ部を有する小型の情報処理装置である。
　図１０に示すように、携帯型表示装置２００は、センサ部２１０と、通信部２２０と、表示部２３０と、記憶部２４０と、制御部２５０と、を含む。
［センサ部２１０］
　センサ部２１０は、ユーザ又はユーザの周囲環境の状態を検出する各種センサを有する。センサ部２１０は、これら各種センサで取得したセンシングデータを、後述する制御部２５０に出力する。
　図１０に示すセンサ部２１０は、撮像装置２１１と、測距装置２１４と、ＩＭＵ（Inertial　Measurement　Unit）２１５と、を含む。また、センサ部２１０は、これらのセンサ以外にも、例えばユーザの位置を測定する測位センサやユーザの周囲の環境音を検出するマイク等、種々のセンサを含んで構成され得る。
（撮像装置２１１）
　撮像装置２１１は、図示を省略するが、例えばレンズと、受光素子と、情報処理回路と、を含む。レンズは、導光部１３０から入射された光を受光素子にガイドする。受光素子は、レンズを通過した光を光電変換し、画素信号を生成する。受光素子は、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該受光素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。
　信号処理回路は、受光素子から出力されたアナログの画素信号の処理を行う。信号処理回路は、レンズから入ってきた光をデジタルデータ（画像データ）に変換する。信号処理回路は、変換した画像データを制御部２５０に出力する。なお、撮像装置２１１が撮像する画像は、映像（動画）に限られず、静止画であってもよい。
　また、撮像装置２１１は、複数あってもよい。上述したように、携帯型表示装置２００が、第１～第３の撮像装置２１１Ａ～２１１Ｃを備えていてもよい（図２参照）。第１～第３の撮像装置２１１Ａ～２１１Ｃは、それぞれ画角が異なる（例えば、標準、ズーム、広角等）撮像装置であり得る。
（測距装置２１４）
　測距装置２１４は、イメージセンサ２１２及び光源２１３（図２参照）と、測距制御部（図示省略）と、を含む。
　光源２１３は、測距制御部からの制御に応じたタイミングで、例えば赤外光を被写体に出射する。イメージセンサ２１２は、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、赤外光を検出する。イメージセンサ２１２は、光源２１３が出射した光が被写体に反射した反射光を受光する。測距制御部は、光源２１３の出射タイミング及びイメージセンサ２１２の受光タイミングに基づき、被写体までの距離を算出する。測距制御部は、算出した距離のデータ（距離データ）を制御部２５０に出力する。
（ＩＭＵ２１５）
　ＩＭＵ２１５は、ユーザの動作に伴って発生する加速度や角速度の変化を示すセンシングデータ（慣性データ）を取得する慣性計測装置である。ＩＭＵ２１５は、加速度センサ、ジャイロセンサ、地磁気センサ等（図示省略）を含む。ＩＭＵ２１５は、取得した完成データを制御部２５０に出力する。
［通信部２２０］
　通信部２２０は、他の装置と通信するための通信インタフェースである。通信部２２０は、ネットワークインタフェースを含んでいてもよいし、機器接続インタフェースを含んでいてもよい。
　例えば、通信部２２０は、ＮＩＣ（Network　Interface　Card）等のＬＡＮインタフェースを含んでいてもよいし、ＵＳＢ（Universal　Serial　Bus）ホストコントローラ、ＵＳＢポート等により構成されるＵＳＢインタフェースを含んでいてもよい。また、通信部２２０は、有線インタフェースを含んでいてもよいし、無線インタフェースを含んでいてもよい。例えば、通信部２２０は、制御部２５０の制御に従って、表示部２３０に表示する映像を、インターネットを介してクラウドサーバ（図示省略）から取得する。
［表示部２３０］
　表示部２３０は、例えば、液晶パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等のパネル型表示装置である。表示部２３０は、後述する制御部２５０がレンダリングした動画又は静止画を表示する。なお、表示部２３０は、タッチパネル式の表示装置であってもよい。この場合、表示部２３０は、入力部としても機能する。
［記憶部２４０］
　記憶部２４０は、ＤＲＡＭ（Dynamic　Random　Access　Memory）、ＳＲＡＭ（Static　Random　Access　Memory）、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部２４０は、携帯型表示装置２００の記憶手段として機能する。
［制御部２５０］
　制御部２５０は、携帯型表示装置２００に内蔵される例えばＣＰＵ、ＧＰＵ（Graphics　Processing　Unit）及びＲＡＭなどを用いて、携帯型表示装置２００の動作を統括的に制御する。例えば、制御部２５０は、携帯型表示装置２００内部の記憶装置に記憶されている各種プログラムを、プロセッサがＲＡＭ（Random　Access　Memory）等を作業領域として実行することにより実現される。なお、制御部２５０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。ＣＰＵ、ＭＰＵ、ＡＳＩＣ、及びＦＰＧＡは何れもコントローラとみなすことができる。
　また、制御部２５０は、例えばＣＰＵ(Central　Processing　Unit)又はＧＰＵ上でアプリケーションプログラムが動作することで、アプリケーション制御部として機能する。この場合、アプリケーション制御部として機能する制御部２５０は、表示部２３０に表示する画像のレンダリング処理やユーザの手の位置、ジェスチャ等の検出処理等を実行する。
　図１０に示すように、制御部２５０は、検出部２５１と、ジェスチャ検出部２５２と、表示制御部２５３と、を備える。制御部２５０を構成する各ブロック（検出部２５１～表示制御部２５３）はそれぞれ制御部２５０の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア（マイクロプログラムを含む。）で実現される１つのソフトウェアモジュールであってもよいし、半導体チップ（ダイ）上の１つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ１つのプロセッサ又は１つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部２５０は上述の機能ブロックとは異なる機能単位で構成されていてもよい。
（検出部２５１）
　検出部２５１は、測距装置２１４が検出した距離データに基づき、ユーザＵの手の位置及び姿勢（形状）（以下、ハンド情報とも記載する）を検出する。このとき、検出部２５１は、導光部１３０によるセンサ画角の変更や光の減衰に応じて距離データを補正してユーザＵのハンド情報を取得する。
　例えば、図７及び図９を用いて説明した導光部１３０は、センサ画角を拡げるとともに、センサ画角の光軸を水平方向（Ｘ軸方向）に移動させる。検出部２５１が、測距装置２１４が検出した距離データを補正せずにそのまま使用してユーザＵの手の形状を検出すると、実際のユーザＵの手の形状より大きな形状の手を誤って検出する恐れがある。また、検出部２５１が、距離データを補正せずにユーザＵの手の位置を検出すると、実際の手の位置より水平方向にずれた位置を誤って検出する恐れがある。
　また、導光部１３０を介してイメージセンサ２１２に入射する光は、導光部１３０で減衰する。そのため、検出部２５１が、距離データを補正せずにユーザＵの手の位置を検出すると、実際の手の位置とは異なる位置を誤って検出する恐れがある。
　図１０に戻る。そこで、検出部２５１は、測距装置２１４が検出した距離データを、導光部１３０の構造及び減衰率等に応じて補正し、補正後の距離データに基づいてユーザＵの周囲の被写体（ユーザＵの手）を検出する。検出部２５１は、検出したユーザＵの手に関するハンド情報を、ジェスチャ検出部２５２に出力する。
　ここで、検出部２５１は、補正情報を用いて距離データを補正する（キャリブレーションする）。補正情報は、例えば、導光部１３０により、センサ画角の向きや角度が変化した距離データであって、減衰した信号で生成された距離データを正しく認識するための認識アルゴリズムである。補正情報は、例えば、測距装置２１４及び導光部１３０（あるいはヘッドマウント装置１００）に対応して決定される情報である。補正情報は、例えば、イメージセンサ２１２の各画素の距離データをユーザＵが存在する実空間に座標変換するための座標変換情報を含み得る。
　検出部２５１は、例えば測距装置２１４の測距制御部（図示省略）から測距装置２１４に関する測距装置情報を取得する。あるいは、検出部２５１が、記憶部２４０が保持する測距装置情報を取得するようにしてもよい。
　検出部２５１は、例えば導光部１３０に関する導光情報を取得する。検出部２５１は、例えば、ユーザＵから導光部１３０に関する導光情報の入力を受け付ける。あるいは、携帯型表示装置２００が実行するアプリケーションに導光情報が対応付けられている場合、検出部２５１は、当該アプリケーションに関するアプリケーション情報を取得することで導光情報を取得する。また、携帯型表示装置２００と導光情報とが対応付けられている場合、検出部２５１は、携帯型表示装置２００に関する装置情報を取得することで導光情報を取得する。
　検出部２５１は、測距装置情報及び導光情報に対応する補正情報を、例えば記憶部２４０又は外部装置から取得する。この場合、補正情報は、シミュレーションや実験等に基づいて予め算出されており、記憶部２４０又は外部装置に記憶されているものとする。
　あるいは、検出部２５１が、補正情報を算出するようにしてもよい。例えば、検出部２５１は、形状や位置が既知である物体（例えば、コントローラ等）に関する物体情報と、当該物体を測距装置２１４が検出した距離データと、を用いて補正情報を算出する。
　例えば、物体がコントローラである場合、コントローラの実際の形状は既知であるする。また、検出部２５１は、コントローラに搭載されるセンサ等を用いてコントローラの実際の位置を検出する。検出部２５１は、例えば、距離データから算出した物体の位置及び形状と、コントローラの実際の位置及び形状と、を比較することで、補正情報を算出する。なお、検出部２５１は、撮像装置２１１を用いて物体の位置や形状を検出するようにしてもよい。
（ジェスチャ検出部２５２）
　ジェスチャ検出部２５２は、ユーザＵのジェスチャを検出する。ジェスチャ検出部２５２は、例えば、検出部２５１が検出したハンド情報の時間変化に応じてジェスチャを検出する。ジェスチャ検出部２５２は、例えば、ユーザＵによるタップ操作やスライド操作等、ユーザＵがジェスチャによって行った走査を検出する。ジェスチャ検出部２５２は、検出したジェスチャによる操作に関する操作情報を表示制御部２５３に出力する。
（表示制御部２５３）
　表示制御部２５３は、画像を生成し、表示部２３０に表示させる。表示制御部２５３は、例えば、ＩＭＵ２１５が検出した慣性データに基づき、ユーザＵの頭部の位置、姿勢に応じた画像をレンダリングする。表示制御部２５３は、レンダリングした画像を表示部２３０に表示させる。
　また、表示制御部２５３は、ジェスチャ検出部２５２が検出した操作情報に基づいて画像を生成する。例えば、メニュー画面として再生候補である複数の映像のサムネイル画像が表示された状態で、ユーザＵがサムネイル画像をタップして、次に再生する映像を選択したとする。この場合、ジェスチャ検出部２５２は、サムネイル画像のタップ操作を検出する。表示制御部２５３は、ジェスチャ検出部２５２が検出したタップ操作に基づき、サムネイル画像に対応する映像を表示部２３０に表示する。
　以上のように、本開示の第１実施形態に係るヘッドマウント装置１００は、筐体（本体部１１０及び蓋部１２０）と、導光部１３０と、を備える。筐体は、携帯型表示装置２００を固定するよう構成される。導光部１３０は、携帯型表示装置２００が筐体に固定され、かつ、筐体がユーザＵに装着された装着状態において、携帯型表示装置２００に搭載されるイメージセンサ２１２が少なくともユーザＵの視線方向（Ｚ軸方向）よりも下側（Ｙ軸負方向）領域をセンシングするように、イメージセンサ２１２の画角を変更するよう構成される。
　これにより、ヘッドマウント装置１００は、新たなセンサを搭載することなく、携帯型表示装置２００に搭載されたイメージセンサ２１２を使用して、ユーザＵの周囲の状態（特に、ユーザＵの手元）をセンシングすることができる。これにより、ユーザＵは、手を大きく移動させる必要がなくなる。また、ＨＭＤ１０は、ＨＭＤ視野角とセンサ画角とのずれを、特にユーザＵの手元において、より小さくすることができる。このように、本開示の第１実施形態に係るヘッドマウント装置１００は、ユーザＵにかかる負担をより低減することができる。
＜１．４．変形例＞
　上述した第１実施形態では、ヘッドマウント装置１００が、本体部１１０に、携帯型表示装置２００が固定された蓋部１２０を取り付ける構成を有するとしたが、これに限定されない。ヘッドマウント装置１００は、以下の変形例に示すように種々の構成を取り得る。
＜１．４．１．第１変形例＞
　図１１は、本開示の第１実施形態の第１変形例に係るＨＭＤ１０Ａの構成例を示す模式図である。
　図１１に示すように、ＨＭＤ１０Ａのヘッドマウント装置１００Ａは、本体部１１０Ａと、蓋部１２０Ａと、導光部１３０と、を備える。本体部１１０Ａは、携帯型表示装置２００を固定可能に構成される。
　このように、本変形例に係るヘッドマウント装置１００Ａは、本体部１１０Ａが携帯型表示装置２００を収納可能に構成される点で、蓋部１２０が携帯型表示装置２００を収納可能に構成されるヘッドマウント装置１００と異なる。
　蓋部１２０Ａは、本体部１１０Ａに着脱可能に構成される。蓋部１２０Ａは、例えば携帯型表示装置２００が固定された本体部１１０Ａに取り付けられる。導光部１３０は、蓋部１２０Ａに搭載される。
＜１．４．２．第２変形例＞
　図１２は、本開示の第１実施形態の第２変形例に係るＨＭＤ１０Ｂの構成例を示す模式図である。
　図１２に示すように、ＨＭＤ１０Ｂは、ヘッドマウント装置１００Ｂと、導光装置１３０Ｂと、携帯型表示装置２００と、を備える。ヘッドマウント装置１００Ｂは、本体部１１０Ｂと蓋部１２０Ｂと、を備える。本体部１１０Ｂは、携帯型表示装置２００を固定可能に構成される。蓋部１２０Ｂは、携帯型表示装置２００のイメージセンサ２１２が露出するように構成される。蓋部１２０Ｂは、本体部１１０Ｂに着脱可能に構成される。
　導光装置１３０Ｂは、蓋部１２０Ｂに着脱可能に構成される。導光装置１３０Ｂは、例えば、蓋部１２０Ｂの、携帯型表示装置２００のイメージセンサ２１２が露出する部分に取り付けられる。導光装置１３０Ｂの構成は、導光部１３０と同じであるため説明を省略する。
＜１．４．３．第３変形例＞
　図１３は、本開示の第１実施形態の第３変形例に係るＨＭＤ１０Ｃの構成例を示す模式図である。
　図１３に示すように、ＨＭＤ１０Ｃは、ヘッドマウント装置１００Ｃと、携帯型表示装置２００と、を備える。ヘッドマウント装置１００Ｃは、携帯型表示装置２００を収納可能な収納部１５０と、導光部１３０と、を備える。ヘッドマウント装置１００Ｃは、蓋部１２０を備えていない点でヘッドマウント装置１００、１００Ａ、１００Ｂと異なる。
　ヘッドマウント装置１００Ｃは、収納部１５０に携帯型表示装置２００を挿入するための開口部（図示省略）を有していてもよい。図１３の例では、ヘッドマウント装置１００Ｃは上部（Ｙ軸正方向）に開口部を有する。携帯型表示装置２００は、当該開口部から収納部１５０に収納される。
＜＜２．第２実施形態＞＞
　上述した第１実施形態では、導光部１３０が、イメージセンサ２１２の画角を変更するとしたが、これに限定されない。例えば、導光部１３０が、イメージセンサ２１２の画角に加え、光源２１３の照射光の照射範囲及び照射方向の少なくとも１つを変更するようにしてもよい。
　光源２１３は、イメージセンサ２１２での測距に使用する赤外光を照射する。従って、一般的に光源２１３の照射範囲はイメージセンサ２１２の画角と略同一に設定され得る。そのため、光源２１３から照射される光を特に変更しない場合、光源２１３がユーザＵの手元を照らすことができない恐れがある。
　そこで、第２実施形態に係るＨＭＤ１０は、イメージセンサ２１２の画角に加え、光源２１３の照射光の照射範囲及び照射方向の少なくとも１つを変更するようにする。
＜２．１．１つの導光部で画角及び照射光の両方を変更する場合＞
　光源２１３の照射光を変更する方法として、イメージセンサ２１２の画角を変更する導光部１３０を使用して照射光を変更する方法が挙げられる。
　導光部１３０は、イメージセンサ２１２が少なくともユーザの視線方向よりも下側領域をセンシングするようにセンサ画角を変更するとともに、光源２１３が照射する光をユーザの視線方向よりも下方向に変更するよう構成される。
　この場合、導光部１３０は、一端がイメージセンサ２１２及び光源２１３の両方を覆うように構成される。導光部１３０は、イメージセンサ２１２への入射光、及び、光源２１３からの照射光の両方をガイドする。そのため、導光部１３０の大きさは、イメージセンサ２１２への入射光をガイドする場合よりも大きくなる。
＜２．２．画角及び照射光をそれぞれ別の導光部を用いて変更する場合＞
　上述したように、１つの導光部１３０を用いてイメージセンサ２１２への入射光、及び、光源２１３からの照射光の両方をガイドすると、導光部１３０の大きさが大きくなってしまう。特に、ＨＭＤ１０の奥行き方向（Ｚ軸方向）のサイズが大きくなってしまう恐れがある。
　そこで、本開示の第２の実施形態では、ヘッドマウント装置１００が、イメージセンサ２１２への入射光をガイドする導光部１３０と、光源２１３からの照射光をガイドする導光部１４０を備えるようにする。なお、以下、イメージセンサ２１２への入射光をガイドする導光部１３０を第１の導光部１３０とも称する。また、光源２１３からの照射光をガイドする導光部１４０を第２の導光部１４０とも称する。
　図１４は、本開示の第２の実施形態に係る第１、第２の導光部１３０、１４０がガイドする光について説明するための図である。図１４では、図面を簡略化するために、筐体等説明に不要な構成要素の図示を省略している。また、図１４では、第１、第２の導光部１３０、１４０の反射面（凹面ミラーの凹面、及び、全反射面）を視認しやすくするため、これらの反射面を図示し、第１、第２の導光部１３０、１４０自体の図示を省略する場合がある。また、図１４では、第１の導光部１３０がガイドする光を実線で、第２の導光部１４０がガイドする光を点線で示している。
　なお、図１４（ａ）は、第１、第２の導光部１３０、１４０及び携帯型表示装置２００を正面（Ｚ軸正方向）から見た図である。図１４（ｂ）は、第１、第２の導光部１３０、１４０及び携帯型表示装置２００を短手方向（Ｘ軸正方向）から見た図である。図１４（ｃ）は、第１、第２の導光部１３０、１４０及び携帯型表示装置２００を長手方向（Ｙ軸正方向）から見た図である。
　図１４に示すように、入射口１３１から第１の導光部１３０に入射した光は、第１の導光部１３０によって集光及びガイドされ、イメージセンサ２１２へと出射される。なお、第１の導光部１３０の構成は、図９に示す導光部１３０と同じである。第１の導光部１３０は、入射された光を水平方向（Ｘ軸正方向）にガイドする。
　第２の導光部１４０は、光源２１３から照射された光を、拡散及びガイドし、出射口１４１から出射する。第２の導光部１４０は、例えば、少なくとも１つの凹面ミラーと、全反射面と、を有する。図１４の例では、第２の導光部１４０は、凹面ミラー１４２、１４３及び全反射面１４４、１４５を有する。第２の導光部１４０は、第１の導光部１３０と同様に構成され得るため、ここでの説明は省略する。
　第１の導光部１３０及び第２の導光部１４０は、イメージセンサ２１２に入射する光と、光源２１３から出射される光と、が互いに干渉しないように配置される。
　例えば、第１の導光部１３０は、上述したように、水平方向（第１のガイド方向の一例）に光をガイドするよう配置される。一方、第２の導光部１４０は、水平方向とは異なる垂直方向（Ｙ軸負方向、第２のガイド方向の一例）に光をガイドするよう配置される。
　なお、第１の導光部１３０及び第２の導光部１４０が光をガイドする方向は、これに限定されない。第１の導光部１３０及び第２の導光部１４０は、光が干渉しないようにガイドすればよく、例えば、第２の導光部１４０が、照射光を第１の導光部１３０とは反対方向（Ｘ軸負方向）にガイドするようにしてもよい。
　また、第１、第２の導光部１３０、１４０が光をガイドする方向は水平、垂直方向に限定されない。第１、第２の導光部１３０、１４０は、任意の方向に光をガイドし得る。例えば、第１の導光部１３０が、蓋部１２０の真ん中（長手方向の略中央かつ短手方向の略中央）に形成される開口部から入射した光を、携帯型表示装置２００の角部に配置されるイメージセンサ２１２までガイドするようにしてもよい。この場合、第１の導光部１３０は、斜め方向（携帯型表示装置２００の対角方向）に光をガイドする。
　また、例えば、第１の導光部１３０及び第２の導光部１４０は、ガイドする光が干渉しないように、ずらして（オフセットされて）配置される。図１４の例では、第１の導光部１３０は、第２の導光部１４０より、視線方向（Ｚ軸正方向）に距離Ｚ２の間隔をあけて（オフセットされて）配置される。
　これにより、ヘッドマウント装置１００は、光源２１３から出射され、第２の導光部１４０へと入射する光と、第１の導光部１３０から出射されイメージセンサ２１２へと入射する光と、の干渉をより低減することができる。
　また、第１、第２の導光部１３０、１４０がガイドする光の干渉を避けるために、ヘッドマウント装置１００は、第３の導光部１６０をさらに備える。
　第３の導光部１６０は、第２の導光部１４０の照射光が出射される面と、出射口１４１と、の間に配置される。第３の導光部１６０は、第２の導光部１４０から出射される照射光を、出射口１４１までシフト（ガイド）するよう構成される。第３の導光部１６０は、樹脂やガラス等の透明部材で構成される。第３の導光部１６０は、１より大きい屈折率を有する。また、第２の導光部１４０と、第３の導光部１６０と、の間に空気層１７０が設けられてもよい。第２の導光部１４０及び第３の導光部１６０は、それぞれ別の部材として構成されてもよく、一体形成された１つの部材として構成されてもよい。
　上述したように、第１、第２の導光部１３０、１４０はオフセットされて配置される。また、第１、第２の導光部１３０、１４０は、それぞれ大きさが異なる。そのため、第１の導光部１３０に光が入射する面と、第２の導光部１４０から光が出射する面と、の高さが互いに異なる場合がある。
　例えば、図１４（ｂ）に示すように、第１の導光部１３０では、入射口１３１において光が第１の導光部１３０に入射される。第２の導光部１４０では、出射口１４１より奥（蓋部１２０の内側）で、第２の導光部１４０から光が出射される。
　そのため、第３の導光部１６０を設けない場合、第２の導光部１４０から出射された照射光が、第１の導光部１３０でガイドされる光と干渉してしまう恐れがある。
　そこで、本開示の第２の実施形態では、第３の導光部１６０が、第２の導光部１４０から出射された光を出射口１４１までガイドする。上述したように、第３の導光部１６０は、空気層１７０より大きい屈折率を有する。そのため、第２の導光部１４０を出射した光は空気層１７０を介して第３の導光部１６０の一端から集光するように屈折して入射する。
　第３の導光部１６０を直進した光は、第３の導光部１６０の他端から出射する。出射口１４１は、外部空間に露出した状態であり、第３の導光部１６０の他端は、外気（空気）に触れる状態である。そのため、光は、第３の導光部１６０の他端から拡散するように屈折して出射する。第３の導光部１６０の他端から出射する光の角度は、第２の導光部１４０から空気層１７０に出射する光の角度と略同一の角度（広角）となる。
　このように、第１、第２の導光部１３０、１４０を設けることで、ヘッドマウント装置１００は、イメージセンサ２１２への入射光の画角を変更しつつ、光源２１３の照射光の照射範囲及び照射方向の少なくとも一方を変更することができる。
　ヘッドマウント装置１００が第１、第２の導光部１３０、１４０を用いて、イメージセンサ２１２への入射光、及び、光源２１３からの照射光をそれぞれガイドする。これにより、第１、第２の導光部１３０、１４０は、それぞれガイドする光に応じて最適な構成を選択することができるようになる。そのため、ヘッドマウント装置１００は、１つの導光部で２つの光をガイドする場合と比較して、第１、第２の導光部１３０、１４０の大きさを小さくすることができる。特に、ヘッドマウント装置１００は、奥行き方向（Ｚ軸方向）において、蓋部１２０の厚さ（図１４（ｃ）のＺ３参照）を、１つの導光部で２つの光をガイドする場合と比較して、薄くすることができる。
　また、第１、第２の導光部１３０、１４０は、互いに異なる方向に光をガイドするよう構成され、かつ、配置される。第１、第２の導光部１３０、１４０は、互いにオフセットされて配置される。さらに、ヘッドマウント装置１００は、第３の導光部１６０を用いて第２の導光部１４０から出射される光を出射口１４１までガイドする。
　これにより、ヘッドマウント装置１００は、イメージセンサ２１２への入射光、及び、光源２１３からの照射光を干渉させることなく、各光を集光又は拡散しつつ、所定方向にガイドすることができる。
　なお、図１４では、イメージセンサ２１２と光源２１３とを区別しやすくするために、イメージセンサ２１２を丸とし、光源２１３を四角として示した。また、同様に、入射口１３１を丸とし、出射口１４１を四角として示した。しかしながら、これらの形状は丸又は四角に限定されない。これらの形状が全て丸であってもよく、四角であってもよい。あるいは、これらの形状が楕円等の任意の形状であってもよい。
　また、ここでは、第１の導光部１３０が第２の導光部１４０より視線方向（Ｚ軸正方向）に距離Ｚ２の間隔をあけて配置されることで、第１、第２の導光部１３０、１４０が互いにオフセットされて配置されるとしたが、これに限定されない。例えば、第２の導光部１４０が、第１の導光部１３０より視線方向（Ｚ軸正方向）にずらして配置されることで、第１、第２の導光部１３０、１４０が互いにオフセットされて配置されるようにしてもよい。
　また、ここでは、第３の導光部１６０が第２の導光部１４０から出射される光を出射口１４１までガイドするとしたが、これに限定されない。例えば、第３の導光部１６０が入射口１３１に入射される光を第１の導光部１３０までガイドするようにしてもよい。この場合、第３の導光部１６０は、第１の導光部１３０と入射口１３１との間に配置される。このとき、第３の導光部１６０と第１の導光部１３０との間に空気層が設けられてもよい。
＜＜３．第３実施形態＞＞
　上述した第１、第２実施形態では、ＨＭＤ１０は、導光部１３０を用いた光学的なアプローチでユーザＵが認識する手の位置と、ＨＭＤ１０が検出可能な手の位置とのずれをより低減していた。第３実施形態では、ＨＭＤ１０の携帯型表示装置２００Ａが、ＵＩを変更することで、当該ずれを低減する方法について説明する。
　例えば、本開示の第３実施形態に係る携帯型表示装置２００は、イメージセンサ２１２の画角（検出範囲）に応じた領域を中心に、ユーザＵに画像を提示する。
　図１５は、本開示の第３実施形態に係る携帯型表示装置２００Ａの構成例を示すブロック図である。図１５に示す携帯型表示装置２００Ａの制御部２５０Ａは、透過度決定部２５４を有する。また、制御部２５０Ａは、検出部２５１の代わりに検出部２５１Ａを有する。それ以外の構成及び動作は、図１０に示す携帯型表示装置２００と同じであるため、同一符号を付し説明を省略する。また、本開示の第３実施形態に係るＨＭＤ１０は、導光部１３０を備えていない（図１及び図２参照）点で、図８及び図９に示すＨＭＤ１０と異なるものとする。
　このように、本実施形態に係るＨＭＤ１０は、導光部１３０を備えていない。そのため、図１５に示す検出部２５１Ａは、測距装置２１４が検出する測距データを補正せずに、そのまま対象物（例えばユーザＵの手）を検出する。
　透過度決定部２５４は、表示制御部２５３が生成した画像のうち、イメージセンサ２１２の検出範囲に対応する第１の領域、及び、イメージセンサ２１２の検出範囲の周囲に対応する第２の領域で異なる透過度（透過率）を決定する。例えば、透過度決定部２５４は、第２の領域の透過度（第１の透過度の一例）が第１の領域の透過度（第２の透過度の一例）より高くなるように、各透過度を設定する。すなわち、透過度決定部２５４は、第２の領域ほど背景を透過し、薄く表示されるように、透過度を決定する。透過度決定部２５４は、決定した透過度で画像を表示する。
　図１６～図１８は、本開示の第３実施形態に係る透過度決定部２５４が決定する透過度について説明するための図である。図１６～図１８では、携帯型表示装置２００Ａが、表示部２３０に再生候補の映像のサムネイル画像を複数含むメニュー画像を表示している場合について示している。
　図１６に示す例では、透過度決定部２５４は、メニュー画像を３つの領域（第１～第４の領域Ｒ１～Ｒ４）にわけ、各領域で異なる透過度を決定する。第１の領域Ｒ１は、イメージセンサ２１２の検出範囲に対応する領域である。第２の領域Ｒ２は、第１の領域Ｒ１の周囲の領域である。第３の領域Ｒ３は、第２の領域Ｒ２の周囲の領域である。第４の領域Ｒ４は、第３の領域Ｒ３の周囲の領域である。
　第１の領域Ｒ１は、例えば、イメージセンサ２１２の検出範囲よりも狭い領域であってもよい。この場合、第１の領域Ｒ１は、イメージセンサ２１２がより高精度に対象物（例えば、ユーザＵの手）を検出可能な領域である。以下、第１の領域Ｒ１を検出推奨エリアとも称する。
　第２の領域Ｒ２は、イメージセンサ２１２の検出範囲内ではあるが、対象物の検出精度が第１の領域Ｒ１より低い領域である。以下、第２の領域Ｒ２を検出中間エリアとも称する。
　第４の領域Ｒ４は、例えば、イメージセンサ２１２の検出範囲外の領域である。第４の領域Ｒ４では、イメージセンサ２１２は、対象物を検出することができない。以下、第４の領域Ｒ４を検出外エリアとも称する。
　第３の領域Ｒ３は、イメージセンサ２１２の検出範囲内ではあるが、検出外エリアに隣接する領域である。そのため、第３の領域Ｒ３におけるイメージセンサ２１２の検出精度は第２の領域Ｒ２よりも低くなる。以下、第３の領域Ｒ３を、検出限界エリアとも称する。
　透過度決定部２５４は、第１～第４の領域Ｒ１～Ｒ４ごとに透過度を決定する。例えば、透過度決定部２５４は、第１の領域Ｒ１の透過度を「０％」とする。すなわち、第１の領域Ｒ１では背景がまったく透過されない。透過度決定部２５４は、第２の領域Ｒ２の透過度を「２５％」とする。すなわち、第２の領域Ｒ２では背景の一部が透過される。透過度決定部２５４は、第３の領域Ｒ３の透過度を「５０％」とする。すなわち、第３の領域Ｒ３では、背景が、第２の領域Ｒ２よりも透過されるようにする。透過度決定部２５４は、第４の領域Ｒ４の透過度を「１００％」とする。第４の領域Ｒ４では背景が表示され、サムネイル画像が表示されないようになる。
　このように、透過度決定部２５４は、透過度を変更して画像を表示する。すなわち、携帯型表示装置２００Ａは、手を認識できる空間によりはっきりとした画像を表示する。また携帯型表示装置２００Ａは、検出精度が低下するほど色が薄くなる画像を表示する。携帯型表示装置２００Ａは、手を認識できない空間には画像を表示しない。換言すると、携帯型表示装置２００Ａは、手を認識できる空間に合わせてＵＩ（例えばメニュー画像）を生成する。
　図１７に示すように、画像が薄く表示される領域（例えば第２の領域Ｒ２）にユーザＵの手が位置する場合、サムネイル画像は選択されない。一方、図１８に示すように、画像が濃く表示される領域（例えば第１の領域Ｒ１）にユーザＵの手が位置する場合、ユーザＵの手の位置に応じたサムネイル画像が選択される。
　このように、透過度を変更して画像を表示することで、ユーザＵは、画像の透過度に応じて、サムネイル画像を選択できるか否かを直感的に認識することができる。これにより、携帯型表示装置２００Ａは、ユーザＵが仮想空間上で認識する手の位置と、ＨＭＤ１０が検出可能な手の位置とのずれをより低減することができ、ユーザＵの負担をより低減することができる。
　なお、透過度決定部２５４は、イメージセンサ２１２の画角に関する情報に基づき、ユーザに提示するコンテンツ空間における各領域を設定する。例えば、透過度決定部２５４は、コンテンツ空間におけるユーザＵの視線方向と、イメージセンサ２１２の画角とに基づき、各領域を設定する。透過度決定部２５４は、例えば、携帯型表示装置２００Ａに関する情報や、イメージセンサ２１２に関する情報に基づき、センサ画角に関する情報を取得する。
　また、上述した透過度の値は一例であり、透過度決定部２５４が上述した値以外の透過度を設定するようにしてもよい。例えば、透過度決定部２５４が、メニュー画像を表示するのか、又は、映像を再生するのか、など表示する画像の種類に応じて各領域の透過度を調整するようにしてもよい。
　また、図１６では、透過度決定部２５４が画像を４つの領域を設定する場合について示したが、これに限定されない。透過度決定部２５４が３つ以下の領域を設定するようにしてもよく、５つ以上の領域を設定するようにしてもよい。透過度決定部２５４は２つ以上の領域を設定すればよい。透過度決定部２５４が、例えば表示する画像の種類等に応じて領域の数を変更するようにしてもよい。
　あるいは、携帯型表示装置２００Ａが予め領域や透過度が決定されたコンテンツを取得し、透過度決定部２５４が予め決定された領域や透過度に応じてコンテンツ画像を表示するようにしてもよい。
＜＜４．第４実施形態＞＞
　上述したように、第１～第３実施形態では、ユーザＵがヘッドマウント装置１００に携帯型表示装置２００を固定する。そのため、ヘッドマウント装置１００への携帯型表示装置２００の取り付け方により、ユーザ座標系とＨＭＤ座標系との間で変動（ずれ）が発生し得る。
　また、携帯型表示装置２００を固定したヘッドマウント装置１００をユーザＵが頭部に装着する。そのため、ヘッドマウント装置１００の装着の仕方によっても、ユーザ座標系とＨＭＤ座標系との間で変動（ずれ）が発生し得る。
　そこで、本開示の第４実施形態では、携帯型表示装置２００Ｂが、ヘッドマウント装置１００への携帯型表示装置２００の取り付け方によるずれ、及び、ヘッドマウント装置１００の装着の仕方によるずれをそれぞれ検出する。これにより、携帯型表示装置２００Ｂは、当該ずれを補正することができ、ユーザＵの頭部の位置姿勢に応じたレンダリング画像を表示することができる。
　図１９は、本開示の第４実施形態に係る携帯型表示装置２００Ｂの構成例を示すブロック図である。図１９に示す携帯型表示装置２００Ｂの制御部２５０Ｂは、ずれ検出部２５５を有する。また、制御部２５０Ｂは、検出部２５１の代わりに検出部２５１Ｂを有し、表示制御部２５３の代わりに表示制御部２５３Ｂを有する。それ以外の構成及び動作は、図１０に示す携帯型表示装置２００と同じであるため、同一符号を付し説明を省略する。
　ずれ検出部２５５は、ヘッドマウント装置１００の頭部への装着ずれ、及び、携帯型表示装置２００Ｂのヘッドマウント装置１００への取り付けずれを検出する。
　ずれ検出部２５５は、例えば、ＩＭＵ２１５が検出した重力加速度を用いて、回転方向の装着ずれを検出する。ずれ検出部２５５は、検出した装着ずれを表示制御部２５３Ｂに出力する。
　ずれ検出部２５５は、例えば、ユーザＵが入力する入力情報を用いて、携帯型表示装置２００Ｂの取り付けずれを検出する。
　図２０は、本開示の第４実施形態に係るずれ検出部２５５による取り付けずれの検出方法の一例を説明するための図である。図２０に示すように、ユーザＵは、例えば指等で、同一平面（例えば机上）の複数点を指定する。ずれ検出部２５５は、ユーザＵが指定する複数点を入力情報として取得する。ずれ検出部２５５は、ユーザＵが指定する複数点で構成される平面と、イメージセンサ２１２が出力する机の検出結果と、を比較することで携帯型表示装置２００Ｂの取り付けずれを検出する。ずれ検出部２５５は、検出した取り付けずれを検出部２５１Ｂに出力する。
　図２１は、本開示の第４実施形態に係るずれ検出部２５５による取り付けずれの検出方法の他の例を説明するための図である。ずれ検出部２５５は、ユーザＵによる入力情報に代えて、コントローラの形状を使用して検出する。
　ずれ検出部２５５は、コントローラの形状を予め知っているものとする。ずれ検出部２５５は、既知のコントローラの形状（図２１では楕円形状）と、イメージセンサ２１２が出力するコントローラの検出結果と、を比較することで携帯型表示装置２００Ｂの取り付けずれを検出する。ずれ検出部２５５は、検出した取り付けずれを検出部２５１Ｂに出力する。
　ずれ検出部２５５は、既知の形状を使用して取り付けずれを検出すればよい。従って、ずれ検出部２５５が使用する既知形状の物体はコントローラに限定されない。例えば、ずれ検出部２５５は、パッケージやケーブルなど、物理形状が既知である物体を検出することで、コントローラと同様に、取り付けずれを検出し得る。
　表示制御部２５３Ｂは、ずれ検出部２５５が検出した装着ずれに基づき、ユーザＵの頭部の位置、姿勢を補正する。表示制御部２５３Ｂは、補正後のユーザＵの頭部の位置、姿勢を補正する。
　検出部２５１Ｂは、ずれ検出部２５５が検出した取り付けずれに基づき、ユーザＵの手の位置、姿勢を補正する。検出部２５１Ｂは、補正後のユーザＵの手の位置、姿勢をジェスチャ検出部２５２に出力する。
　なお、携帯型表示装置２００Ｂの取り付けずれは、ヘッドマウント装置１００の装着ずれと比較して、表示画像に与える影響は大きくない。しかしながら、携帯型表示装置２００Ｂの取り付けずれは、ユーザＵによる手元の操作の自然さに影響する。そのため、ずれ検出部２５５が携帯型表示装置２００Ｂの取り付けずれを検出することで、ユーザＵは、より自然に手を使用した操作を行えるようになり、ユーザＵの負担をより低減することができる。
＜＜５．その他の実施形態＞＞
　上述の実施形態及び各変形例は一例を示したものであり、種々の変更及び応用が可能である。
　例えば、上述の動作を実行するための通信プログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、携帯型表示装置２００の外部の装置（例えば、パーソナルコンピュータ）であってもよい。また、制御装置は、携帯型表示装置２００の内部の装置（例えば、制御部２５０）であってもよい。
　また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating　System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。
　また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。
　また、例えば、本実施形態は、装置又はシステムを構成するあらゆる構成、例えば、システムＬＳＩ（Large　Scale　Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本実施形態において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、本実施形態は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
＜＜６．むすび＞＞
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　携帯型表示装置を固定するよう構成された筐体と、
　前記携帯型表示装置が前記筐体に固定され、かつ、前記筐体がユーザに装着された装着状態において、前記携帯型表示装置に搭載されるセンサが少なくとも前記ユーザの視線方向よりも下側領域をセンシングするよう構成された、前記センサの画角を変更する導光部と、
　を備えるヘッドマウント装置。
（２）
　前記導光部は、前記下側領域を含むように前記画角を拡げる凹面ミラーを備える、（１）に記載のヘッドマウント装置。
（３）
　前記導光部は、前記筐体に設けられた入射口に入射する入射光を前記センサまでガイドする、（１）又は（２）に記載のヘッドマウント装置。
（４）
　前記導光部は、前記携帯型表示装置の表示面の長手方向における略中央に設けられた入射口に入射する入射光が前記センサに入射されるように、前記入射光を少なくとも前記長手方向にガイドするよう構成された全反射面を備える、（１）～（３）のいずれか１つに記載のヘッドマウント装置。
（５）
　前記導光部は、前記センサにおける入射方向を、前記ユーザの視線方向よりも下方向に変更するよう構成される、（１）～（４）のいずれか１つに記載のヘッドマウント装置。
（６）
　前記導光部は、前記携帯型表示装置に搭載される光源が照射する光を前記下側領域にガイドするよう構成される、（１）～（５）のいずれか１つに記載のヘッドマウント装置。
（７）
　前記携帯型表示装置に搭載される光源が照射する照射光を前記下側領域にガイドする第２の導光部をさらに備える、（１）～（５）のいずれか１つに記載のヘッドマウント装置。
（８）
　前記導光部及び前記第２の導光部は、前記センサに入射する入射光、及び、前記照射光が互いに干渉しないよう配置される、（７）に記載のヘッドマウント装置。
（９）
　前記第２の導光部は、前記導光部が前記センサへの入射光をガイドする第１のガイド方向とは異なる第２のガイド方向に前記照射光をガイドするよう構成される、（７）又は（８）に記載のヘッドマウント装置。
（１０）
　前記導光部は、前記第２の導光部より前記視線方向においてオフセットされて配置される、（７）～（９）のいずれか１つに記載のヘッドマウント装置。
（１１）
　前記導光部に入射する入射光、及び、前記第２の導光部から出射する前記照射光の少なくとも一方を、前記視線方向にガイドする第３の導光部をさらに備える、（７）～（１０）のいずれか１つに記載のヘッドマウント装置。
（１２）
　前記第３の導光部は、屈折率が１より大きい、（１１）に記載のヘッドマウント装置。
（１３）
　前記携帯型表示装置は、前記導光部による前記センサの前記画角の変更に応じ、前記センサが出力する検出信号を補正して前記ユーザの周囲の対象物を検出する、（１）～（１２）のいずれか１つに記載のヘッドマウント装置。
（１４）
　前記携帯型表示装置は、前記導光部による前記センサに入射する入射光の減衰に応じ、前記センサが出力する検出信号を補正して前記ユーザの周囲の対象物を検出する（１）～（１３）のいずれか１つに記載のヘッドマウント装置。
（１５）
　携帯型表示装置が固定されたヘッドマウント装置をユーザが装着した装着状態において、前記携帯型表示装置に搭載されるセンサが少なくとも前記ユーザの視線方向よりも下側領域をセンシングするように、前記センサの画角を変更する導光装置。
（１６）
　ユーザが装着するヘッドマウント装置に固定されることで、前記ユーザに画像を提示する携帯型表示装置であって、
　周囲の対象物を検出するセンサと、
　前記ユーザに提示する前記画像のうち、前記センサの検出範囲に対応する第１の領域を第１の透過度で表示し、前記検出範囲の周囲に対応する第２の領域を前記第１の透過度より高い第２の透過度で表示する、制御部と、
　を備える携帯型表示装置。
　１００　ヘッドマウント装置
　１１０　本体部
　１２０　蓋部
　１２１　開口部
　１３０　導光部
　１４０　第２の導光部
　１３１　入射口
　１３２，１３３　凹面ミラー
　１３４，１３５　全反射面
　１４１　出射口
　１６０　第３の導光部
　１７０　空気層
　２００　携帯型表示装置
　２１０　センサ部
　２１１　撮像装置
　２１２　イメージセンサ
　２１３　光源
　２１４　測距装置
　２２０　通信部
　２３０　表示部
　２４０　記憶部
　２５０　制御部
　２５１　検出部
　２５２　ジェスチャ検出部
　２５３　表示制御部
　２５４　透過度決定部
　２５５　ずれ検出部

Claims (15)

  1. 　携帯型表示装置を固定するよう構成された筐体と、
    　前記携帯型表示装置が前記筐体に固定され、かつ、前記筐体がユーザに装着された装着状態において、前記携帯型表示装置に搭載されるセンサが少なくとも前記ユーザの視線方向よりも下側領域をセンシングするように、前記センサの画角を変更するよう構成された導光部と、
    　を備えるヘッドマウント装置。
  2. 　前記導光部は、前記下側領域を含むように前記画角を拡げる凹面ミラーを備える、請求項１に記載のヘッドマウント装置。
  3. 　前記導光部は、前記筐体に設けられた入射口に入射する入射光を前記センサまでガイドする、請求項１に記載のヘッドマウント装置。
  4. 　前記導光部は、前記携帯型表示装置の表示面の長手方向における略中央に設けられた入射口に入射する入射光が前記センサに入射されるように、前記入射光を少なくとも前記長手方向にガイドするよう構成された全反射面を備える、請求項１に記載のヘッドマウント装置。
  5. 　前記導光部は、前記センサにおける入射方向を、前記ユーザの視線方向よりも下方向に変更するよう構成される、請求項１に記載のヘッドマウント装置。
  6. 　前記導光部は、前記携帯型表示装置に搭載される光源が照射する光を前記下側領域にガイドするよう構成される、請求項１に記載のヘッドマウント装置。
  7. 　前記携帯型表示装置に搭載される光源が照射する照射光を前記下側領域にガイドする第２の導光部をさらに備える、請求項１に記載のヘッドマウント装置。
  8. 　前記導光部及び前記第２の導光部は、前記センサに入射する入射光、及び、前記照射光が互いに干渉しないよう配置される、請求項７に記載のヘッドマウント装置。
  9. 　前記第２の導光部は、前記導光部が前記センサへの入射光をガイドする第１のガイド方向とは異なる第２のガイド方向に前記照射光をガイドするよう構成される、請求項７に記載のヘッドマウント装置。
  10. 　前記導光部は、前記第２の導光部より前記視線方向においてオフセットされて配置される、請求項７に記載のヘッドマウント装置。
  11. 　前記導光部に入射する入射光、及び、前記第２の導光部から出射する前記照射光の少なくとも一方を、前記視線方向にガイドする第３の導光部をさらに備える、請求項７に記載のヘッドマウント装置。
  12. 　前記第３の導光部は、屈折率が１より大きい、請求項１１に記載のヘッドマウント装置。
  13. 　前記携帯型表示装置は、前記導光部による前記センサの前記画角の変更に応じ、前記センサが出力する検出信号を補正して前記ユーザの周囲の対象物を検出する、請求項１に記載のヘッドマウント装置。
  14. 　前記携帯型表示装置は、前記導光部による前記センサに入射する入射光の減衰に応じ、前記センサが出力する検出信号を補正して前記ユーザの周囲の対象物を検出する請求項１に記載のヘッドマウント装置。
  15. 　携帯型表示装置が固定されたヘッドマウント装置をユーザが装着した装着状態において、前記携帯型表示装置に搭載されるセンサが少なくとも前記ユーザの視線方向よりも下側領域をセンシングするように、前記センサの画角を変更する導光装置。
PCT/JP2022/033995 2021-10-15 2022-09-12 ヘッドマウント装置及び導光装置 WO2023062995A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280066383.5A CN118043725A (zh) 2021-10-15 2022-09-12 头戴式设备和导光设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-169617 2021-10-15
JP2021169617 2021-10-15

Publications (1)

Publication Number Publication Date
WO2023062995A1 true WO2023062995A1 (ja) 2023-04-20

Family

ID=85987475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033995 WO2023062995A1 (ja) 2021-10-15 2022-09-12 ヘッドマウント装置及び導光装置

Country Status (2)

Country Link
CN (1) CN118043725A (ja)
WO (1) WO2023062995A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160349509A1 (en) * 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Mixed-reality headset
JP2016218430A (ja) * 2015-03-02 2016-12-22 ヘ−ヨン・チョイ 仮想現実カメラの支持棒装置
CN108076195A (zh) * 2016-11-07 2018-05-25 深圳市易瞳科技有限公司 实现视频透视的增强现实手机盒
CN112293900A (zh) * 2019-07-25 2021-02-02 吴考寅 一种手机vr盒子

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218430A (ja) * 2015-03-02 2016-12-22 ヘ−ヨン・チョイ 仮想現実カメラの支持棒装置
US20160349509A1 (en) * 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Mixed-reality headset
CN108076195A (zh) * 2016-11-07 2018-05-25 深圳市易瞳科技有限公司 实现视频透视的增强现实手机盒
CN112293900A (zh) * 2019-07-25 2021-02-02 吴考寅 一种手机vr盒子

Also Published As

Publication number Publication date
CN118043725A (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
US11310483B2 (en) Display apparatus and method for controlling display apparatus
EP2834723B1 (en) Touch sensitive user interface
US9288468B2 (en) Viewing windows for video streams
US10146334B2 (en) Passive optical and inertial tracking in slim form-factor
US11127380B2 (en) Content stabilization for head-mounted displays
US9727132B2 (en) Multi-visor: managing applications in augmented reality environments
KR102219246B1 (ko) 헤드 마운티드 디바이스를 사용한 사용자 초점 제어 그래픽 사용자 인터페이스
US9690099B2 (en) Optimized focal area for augmented reality displays
US20160131902A1 (en) System for automatic eye tracking calibration of head mounted display device
KR20160021126A (ko) 공유된 홀로그램 객체 및 사적 홀로그램 객체
JP2018151851A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
US10809429B1 (en) Angle selective filter having curved surface for near eye displays
JP2018055589A (ja) プログラム、物体の追跡方法、表示装置
JP2002318652A (ja) 仮想入力装置およびプログラム
US20180158390A1 (en) Digital image modification
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
US11025894B2 (en) Head-mounted display device and display control method for head-mounted display device
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
WO2023062995A1 (ja) ヘッドマウント装置及び導光装置
US11044460B1 (en) Polychromatic object imager
JP2024052410A (ja) プロセッサ、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22880691

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023555028

Country of ref document: JP