WO2023238197A1 - 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 - Google Patents

仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 Download PDF

Info

Publication number
WO2023238197A1
WO2023238197A1 PCT/JP2022/022808 JP2022022808W WO2023238197A1 WO 2023238197 A1 WO2023238197 A1 WO 2023238197A1 JP 2022022808 W JP2022022808 W JP 2022022808W WO 2023238197 A1 WO2023238197 A1 WO 2023238197A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
head
hmd
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/022808
Other languages
English (en)
French (fr)
Inventor
章男 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to PCT/JP2022/022808 priority Critical patent/WO2023238197A1/ja
Priority to US18/863,365 priority patent/US12596431B2/en
Publication of WO2023238197A1 publication Critical patent/WO2023238197A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the present invention relates to data processing technology, and particularly to a virtual reality content display system and a virtual reality content display method.
  • VR content electronic content
  • VR virtual reality
  • a walk-through system has also been developed in which a user wearing a head-mounted display can virtually walk around a space displayed as VR content by physically moving the user.
  • the present invention has been made in view of these problems, and one purpose is to provide a technology for quickly presenting VR content to a user wearing a head-mounted display taken out from a storage unit.
  • a virtual reality content display system includes a head-mounted display that includes a first detection section that detects the position of the user's eyes, and a storage section that can accommodate the head-mounted display. , when the head-mounted display is taken out from the storage unit, the first detection unit starts determining whether or not the position of the eyes of the user wearing the head-mounted display is at a predetermined appropriate position. and a display control unit that starts displaying virtual reality content on the head-mounted display when it is determined that the position of the eyes of a user wearing the head-mounted display is at an appropriate position.
  • Another aspect of the present invention is a virtual reality content display method.
  • a head-mounted display equipped with a first detection section that detects the position of the user's pupils is taken out from a storage section, the first detection section detects the position of the user wearing the head-mounted display.
  • the step of starting to determine whether or not the position of the pupil is at a predetermined appropriate position;
  • the computer performs the step of starting displaying the virtual reality content.
  • VR content can be quickly presented to a user wearing a head-mounted display taken out from the storage unit.
  • FIG. 1 is a diagram showing the configuration of a VR content display system according to a first embodiment.
  • 2 is a diagram illustrating an example of the shape of the HMD and storage device in FIG. 1.
  • FIG. 2 is a diagram showing another example of the shape of the HMD and storage device in FIG. 1.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of the storage device in FIG. 1.
  • FIG. 2 is a block diagram showing functional blocks included in the storage device of FIG. 1.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the HMD shown in FIG. 1.
  • FIG. FIG. 2 is a block diagram showing functional blocks included in the HMD of FIG. 1.
  • FIG. 2 is a diagram schematically showing the operation from when the HMD is taken out from the storage device to when the VR content is displayed on the HMD in the VR content display system of the first embodiment.
  • FIG. 4 is a diagram schematically illustrating the operation from the end of displaying VR content on the HMD until the HMD is stored in the storage device in the VR content display system of the first embodiment.
  • FIG. 7 is a diagram schematically showing operations from when an HMD is taken out from a storage device to when VR content is displayed on the HMD in a modified VR content display system.
  • FIG. 3 is a diagram showing the configuration of a viewing support device according to a second embodiment.
  • FIG. 2 is a diagram illustrating an example of how a viewing support device is used. It is a figure which shows another structure of the assist part in a viewing support apparatus.
  • FIG. 3 is a diagram illustrating the configuration and usage example of a VR content display system according to a third embodiment.
  • a VR content display system reduces the time from taking out the HMD from the storage device to displaying VR content by maximally automating the attachment and detachment of a head-mounted display (hereinafter also referred to as "HMD"). propose.
  • the VR content may be, for example, an image selected or desired by the user showing a virtual reality space.
  • the VR content may be an entertaining image (such as an image showing a game world), or may be an image or data for business use (such as document data).
  • the VR content in the example does not include images for optical correction or testing.
  • images include one or both of moving images and still images.
  • the VR content display system of the first embodiment includes (1) an HMD storage function, (2) an HMD automatic adjustment function, and (3) a support function.
  • the storage function includes a function to store the HMD in a compact shape. Further, the storage function includes a function to automatically attach the HMD to the user, and a function to automatically remove and store the HMD from the user.
  • the storage function is realized by the storage device and the HMD.
  • the automatic adjustment function includes optical correction when the HMD is attached and line-of-sight dependent drawing correction when displaying VR content.
  • the automatic adjustment function is realized by the HMD.
  • Support functions include functions that support and assist users in restricting their actions and reducing their load.
  • the support function is realized by a member (support part 26, which will be described later) that connects the storage device and the HMD.
  • FIG. 1 shows the configuration of a VR content display system 10 according to a first embodiment.
  • the VR content display system 10 includes an HMD 12, a storage device 14, and an input device 16.
  • the input device 16 is a device through which a user inputs instructions (operations) to the HMD 12 and storage device 14 .
  • the input device 16 may be realized by a keyboard, a game pad, a touch panel, or the like.
  • the input device 16 transmits the input data regarding the user's operation to the HMD 12 and the storage device 14 via wireless communication.
  • FIG. 2 shows an example of the shape of the HMD 12 and storage device 14 in FIG. 1.
  • the upper part of FIG. 2 shows a top view of the HMD 12 when stored, and a front view and a side view of the HMD 12 and storage device 14 when stored.
  • the storage device 14 can also be said to be a storage section that can store the HMD 12.
  • the HMD 12 includes an output mechanism section 20, a mounting mechanism section 22, and a speaker 24.
  • the output mechanism section 20 includes a casing shaped to cover the user's left and right eyes when the HMD 12 is worn, and has a display panel (for the left eye) disposed inside so as to directly face the user's left and right eyes when the HMD 12 is worn. display panel, right eye display panel). It is assumed that the display panel of the HMD 12 of the example does not have light transmission properties, that is, the HMD 12 of the example is a non-light transmission type HMD.
  • the speaker 24 is provided at a position corresponding to the user's ear when worn.
  • the attachment mechanism section 22 is a mechanism that realizes attachment and fixation of the HMD 12 to the user's head.
  • the mounting mechanism section 22 includes a mounting mechanism section 22a and a mounting mechanism section 22b.
  • the mounting mechanism section 22a is a member that covers the user's head in the left-right direction (direction perpendicular to the user's orientation), and the mounting mechanism section 22b covers the user's head in the front-rear direction (horizontal direction to the user's orientation). It is a member.
  • FIG. 2 shows a front view and a side view of the HMD 12 and the storage device 14 when they are attached.
  • HMD 12 and storage device 14 are connected via support section 26.
  • the support unit 26 includes (1) a cable that holds the HMD and transmits force to restrict the user's actions, (2) a cable winding mechanism, and (3) controls so that the tension of the cable is constant. includes a servo mechanism.
  • the support unit 26 of the embodiment includes a communication cable through which signals exchanged between the HMD 12 and the storage device 14 flow.
  • the HMD 12 and the storage device 14 communicate by wire, but as a modification, they may communicate wirelessly.
  • FIG. 3 shows another example of the shape of the HMD 12 and storage device 14 in FIG. 1. This figure shows a simpler shape than the shape shown in FIG.
  • the storage device 14 further includes a storage hook 28.
  • the storage hook 28 supports and fixes the HMD 12 to maintain the storage state of the HMD 12.
  • the storage hook 28 is released, thereby releasing the HMD 12 from the storage device 14.
  • FIG. 4 shows an example of the hardware configuration of the storage device 14 in FIG. 1.
  • the storage device 14 includes a processing section 220, a storage mechanism 242, and a support section 26.
  • the support section 26 includes a communication cable 246 connected to the HMD 12.
  • the support section 26 is a member whose main purpose is to hold the HMD 12 and to transmit force for restricting the user's actions.
  • the storage mechanism 242 is a member for storing the HMD 12.
  • the storage mechanism 242 may include a member (for example, a storage hook) that supports or fixes the HMD 12.
  • the processing unit 220 includes a computer that executes various data processing including rendering of VR content.
  • the processing unit 220 includes a CPU (Central Processing Unit) 222 , a GPU (Graphics Processing Unit) 224 , and a main memory 226 . These units are interconnected via a bus 230.
  • An input/output interface 228 is further connected to the bus 230.
  • a communication section 232 , a storage section 234 , an output section 236 , and an input section 238 are connected to the input/output interface 228 .
  • the communication unit 232 includes peripheral device interfaces such as USB and IEEE1394, and network interfaces such as wired LAN or wireless LAN.
  • the processing unit 220 transmits and receives data to and from an external device (for example, a content distribution server on the cloud) via the communication unit 232.
  • the storage unit 234 includes a hard disk drive, nonvolatile memory, and the like.
  • the output unit 236 outputs data to the HMD 12.
  • the input unit 238 accepts data input from the HMD 12 and also accepts data input (information regarding user operations, etc.) from the input device 16.
  • the CPU 222 controls the entire storage device 14 by executing the operating system stored in the storage unit 234. Further, the CPU 222 executes various programs (eg, VR game applications, etc.) read from the storage unit 234 or a removable recording medium and loaded into the main memory 226, or downloaded via the communication unit 232.
  • the GPU 224 has the function of a geometry engine and the function of a rendering processor, performs a drawing process in accordance with a drawing command from the CPU 222, and outputs the drawing result to the output unit 236.
  • the main memory 226 is composed of a RAM (Random Access Memory) and stores programs and data necessary for processing.
  • FIG. 5 is a block diagram showing functional blocks included in the storage device 14 of FIG. 1.
  • the plurality of functional blocks shown in the block diagrams of this specification are realized in terms of hardware by a combination of various electronic circuits (for example, the configuration of the CPU 222, GPU 224, main memory 226, storage unit 234, etc. shown in FIG. 4). can.
  • various electronic circuits for example, the configuration of the CPU 222, GPU 224, main memory 226, storage unit 234, etc. shown in FIG. 4
  • software it can be realized by a computer program including a plurality of program modules corresponding to a plurality of functional blocks. Therefore, those skilled in the art will understand that these functional blocks can be implemented in various ways using only hardware, only software, or a combination thereof, and are not limited to either.
  • the storage device 14 includes a storage control section 30, a drawing section 32, and an image providing section 34.
  • a computer program in which the functions of these plurality of functional blocks are implemented may be installed in the storage unit 234.
  • the CPU 222 and the GPU 224 may perform the functions of the plurality of functional blocks shown in FIG. 5 by reading this computer program into the main memory 226 and executing it.
  • the storage control unit 30 controls the operation of the support unit 26 to release the HMD 12 from the state where it is stored and fixed in the storage device 14, and transitions the HMD 12 to a state where it can be mounted on the user's head. Furthermore, the storage control unit 30 controls the operation of the support unit 26 to store and fix the HMD 12 that has been removed from the user's head in the storage device 14 .
  • FIG. 6 shows an example of the hardware configuration of the HMD 12 in FIG. 1.
  • the HMD 12 includes a CPU 120, a GPU 121, a main memory 122, a display section 124, and a speaker 24. These parts are interconnected via a bus 128.
  • An input/output interface 130 is further connected to the bus 128.
  • a communication unit 132 , a storage unit 133 , a motion sensor 134 , an eye tracking sensor 136 , and an imaging unit 138 are connected to the input/output interface 130 .
  • the CPU 120 processes information acquired from each part of the HMD 12 via the bus 128, and supplies display image and audio data acquired from the storage device 14 to the display unit 124 and the speaker 24.
  • the GPU 121 has the function of a geometry engine and the function of a rendering processor, performs a drawing process according to a drawing command from the CPU 120, and outputs the drawing result to the display unit 124.
  • the main memory 122 stores programs and data necessary for processing in the CPU 120 and GPU 121.
  • the display unit 124 includes a display panel such as a liquid crystal panel or an organic EL panel, and displays images in front of the eyes of the user wearing the HMD 12.
  • the display unit 124 realizes stereoscopic vision by displaying a pair of stereo images on a left eye display panel provided in front of the user's left eye and a right eye display panel provided in front of the user's right eye. do.
  • the display unit 124 further includes a pair of eyepiece lenses that are positioned between the display panel and the user's eyes when the HMD 12 is worn, and expand the user's viewing angle.
  • the pair of eyepieces includes a left lens 140 and a right lens 142.
  • the left lens 140 is provided between the left eye display panel and the user's left eye
  • the right lens 142 is provided between the right eye display panel and the user's right eye.
  • the speaker 24 is provided at a position corresponding to the user's ear when the HMD 12 is worn. Speaker 24 may include earphones.
  • the communication unit 132 is an interface for transmitting and receiving data between the storage device 14 and the input device 16.
  • the communication unit 132 realizes communication using known communication technologies such as wired LAN, wireless LAN, and Bluetooth (registered trademark).
  • the storage unit 133 includes a nonvolatile memory and the like.
  • the motion sensor 134 includes a gyro sensor and an acceleration sensor, and acquires the angular velocity and acceleration of the HMD 12.
  • the eye tracking sensor 136 is a sensor serving as a first detection unit, and includes a known sensor for eye tracking (including an infrared camera, etc.). Eye tracking, which can also be called line-of-sight measurement, is a technology that detects the position, movement, and line-of-sight direction of a user's pupils (also called eyeballs). For example, the eye tracking sensor 136 detects the position and movement of the user's pupils based on infrared reflection patterns and the like.
  • the imaging unit 138 includes a camera that images the user's head. The direction in which images are captured by the imaging unit 138 includes at least the direction from the storage position of the HMD 12 in the storage device 14 to the user's head.
  • FIG. 7 is a block diagram showing functional blocks included in the HMD 12 of FIG. 1.
  • the HMD 12 includes a release detection section 40, a head position detection section 42, a wearing support section 46, an eye tracking section 48, an optical correction section 50, a drawing correction section 52, a drawing section 54, an image acquisition section 56, a display control section 58, and a removal section.
  • a support section 60 is provided.
  • the head position detection section 42 includes a clearance detection section 44 .
  • a computer program in which the functions of these plurality of functional blocks are implemented may be installed in the storage unit 133.
  • the CPU 120 and the GPU 121 may perform the functions of the plurality of functional blocks shown in FIG. 7 by reading this computer program into the main memory 226 and executing it.
  • FIG. 8 schematically shows the operation from when the HMD 12 is taken out from the storage device 14 to when the VR content is displayed on the HMD 12 in the VR content display system 10 of the first embodiment.
  • the VR content display system 10 transits through the storage stage, attachment/detachment stage, and viewing stage in this order before displaying the VR content.
  • the storage stage is a state in which the HMD 12 is stored in the storage device 14, in other words, the HMD 12 is in an unused state.
  • the viewing stage is a state in which the HMD 12 is completely attached to the user's head and the VR content is displayed on the HMD 12.
  • the attachment/detachment stage is a state between the storage stage and the viewing stage, and includes both the installation transition stage and the storage transition stage.
  • the mounting transition stage is a state from when the HMD 12 is taken out from the storage device 14 until the mounting of the HMD 12 on the user's head is completed.
  • the storage transition stage is a state from when the HMD 12 is removed from the user's head until the storage of the HMD 12 into the storage device 14 is completed.
  • the marker band 74 includes a marker (for example, a magnetic marker) whose position is detected by a sensor (for example, a magnetic sensor) on the HMD 12 side.
  • the marker band 74 may be shaped like glasses, a hair band, or a headband, or may have other shapes.
  • the imaging range 70 indicates the imaging range (ie, the angle of view) by the imaging unit 138 of the HMD 12.
  • the user inputs an operation indicating a viewing request for VR content into the input device 16.
  • the viewing request includes a request to attach the HMD 12, and can also be called a request to attach the HMD 12.
  • the input device 16 receives a viewing request from a user and transmits the viewing request to the storage device 14.
  • the VR content display system 10 shifts from the storage stage to the attachment/detachment stage (viewing transition stage).
  • the storage control unit 30 of the storage device 14 releases the HMD 12 from the storage device 14 in response to the viewing request transmitted from the input device 16.
  • the storage control unit 30 activates the support unit 26 to stretch the cable, releases the storage state of the HMD 12, and moves the HMD 12 toward the user's head by moving the HMD 12 downward.
  • the release detection unit 40 of the HMD 12 detects that the HMD 12 has been taken out from the storage device 14, in other words, that the storage state of the HMD 12 has been released.
  • the release detection section 40 notifies the head position detection section 42 and the eye tracking section 48 that the HMD 12 has been taken out from the storage device 14 .
  • the fact that the HMD 12 has been taken out from the storage device 14 may be detected mechanically or electrically, or may be realized by a known method.
  • the HMD 12 may include a viewing request detection section that detects a viewing request transmitted from the HMD 12 instead of the release detection section 40. In this case, the subsequent processing of the HMD 12 may be executed when a viewing request is detected instead of being executed when the HMD 12 is released from the storage device 14.
  • the imaging unit 138 of the HMD 12 starts imaging processing of the user's head when the HMD 12 is taken out from the storage device 14, in other words, when the HMD 12 is moved from the storage stage to the attachment/detachment stage.
  • the head position detection unit 42 of the HMD detects the position of the user's head based on the captured image by the imaging unit 138. For example, the head position detection unit 42 detects the relative position of the user's head with respect to the HMD 12.
  • the HMD 12 includes a marker sensor (for example, a magnetic sensor) that can detect the marker of the marker band 74.
  • the head position detection unit 42 detects the marker position of the marker band 74 worn on the user's head based on the signal output from the marker sensor, and determines the position of the user's head and the marker position based on the marker position.
  • the mounting position of the HMD 12 is detected.
  • the clearance detection unit 44 of the head position detection unit 42 detects the clearance around the user's head based on the captured image by the imaging unit 138. In the example of FIG. 8, the clearance detection unit 44 detects the interval (distance) between the seat 72 and the user's head as a clearance 75. As a modification, the clearance detection unit 44 may detect the distance between the seat in front of the seat 72 and the user's head as the clearance around the user's head. Further, the clearance detection unit 44 may detect the distance between the user's head and the head of the person sitting next to the user as the clearance around the user's head.
  • the attachment support unit 46 of the HMD 12 automatically attaches the HMD 12 to the user's head based on the position of the user's head detected by the head position detection unit 42 and the attachment position of the HMD 12.
  • the mounting support section 46 automatically causes the HMD 12 to be mounted on the user's head when the clearance around the user's head detected by the clearance detection section 44 is greater than or equal to a predetermined threshold.
  • This threshold value is a clearance value that should be secured in order to safely attach the HMD 12 to the user's head in a manner suitable for viewing VR content. This threshold value may be set to an appropriate value based on the developer's knowledge, experiments using the VR content display system 10, or the like.
  • the mounting support unit 46 transmits a signal to the storage device 14 instructing the user to change the position of the HMD 12 based on the relative position of the user's head with respect to the HMD 12.
  • the signal may be, for example, a signal instructing to extend the cable of the support section 26.
  • the storage control unit 30 of the storage device 14 changes the position of the HMD 12 based on the signal transmitted from the HMD 12. In the example of FIG. 8, the storage control unit 30 may move the HMD 12 downward by extending the cable of the support unit 26.
  • the mounting support section 46 places the HMD 12 on the user's head by deforming the mounting mechanism section 22a and the mounting mechanism section 22b so that the HMD 12 is mounted on the mounting position detected based on the marker on the user's head. fix it in the proper position.
  • the eye tracking sensor 136 of the HMD 12 starts detecting the position of the user's eyes when the HMD 12 is taken out from the storage device 14, in other words, when the HMD 12 moves from the storage stage to the attachment/detachment stage.
  • the eye tracking unit 48 functions as a position determination unit, and when the HMD 12 is taken out from the storage device 14, it starts determining whether or not the position of the eyes of the user wearing the HMD 12 is at a predetermined appropriate position. do.
  • the eye tracking unit 48 repeatedly performs the above determination until the determination results in a positive result.
  • the position of the user's pupil being in a predetermined appropriate position may mean that the relative position of the user's pupil with respect to the lens of the HMD 12 is within a predetermined appropriate range. Furthermore, the position of the user's pupils being at a predetermined appropriate position may also mean that both of the following (1) and (2) are satisfied.
  • (1) The user's left pupil is in a position directly facing the left lens 140, or the width of the deviation between the center of the user's left pupil and the center of the left lens 140 is within a predetermined threshold.
  • the user's right pupil is in a position directly facing the right lens 142, or the width of the deviation between the center of the user's right pupil and the center of the right lens 142 is within a predetermined threshold.
  • Appropriate conditions and values may be set for the above-mentioned appropriate position and threshold value based on the developer's knowledge, experiments using the VR content display system 10, and the like.
  • Optical correction unit 50 makes sure that the user's pupil position is at a predetermined appropriate position.
  • Optical correction when the HMD 12 is attached can also be called optical position correction, and includes, for example, viewpoint position adjustment, interpupillary adjustment, and diopter adjustment. Diopter adjustment is a process of adjusting the power of the HMD lens according to the user's visual acuity.
  • the optical correction unit 50 determines the respective positions of the left lens 140 and the right lens 142 (positions in the front-rear direction, up-down direction, left-right direction), and the distance between the lenses, depending on the type of interaction with the user. ) may be adjusted.
  • the VR content display system 10 shifts from the attachment/detachment stage (viewing transition stage) to the viewing stage.
  • the display control unit 58 of the HMD 12 controls the HMD 12 upon transition from the attachment/detachment stage to the viewing stage, in other words, upon determination by the eye tracking unit 48 that the position of the user's eyes is within a predetermined appropriate range.
  • the display control unit 58 displays at least one of the VR content data generated by the drawing unit 32 of the storage device 14 and the VR content data generated by the drawing unit 54 of the HMD 12 on the display unit 124 (left and right display panels) of the HMD 12. ).
  • the VR content may be, for example, a large virtual screen 76 placed at a predetermined distance from the user, and various VR objects displayed on the virtual screen 76.
  • the image acquisition unit 56 of the HMD 12 transmits a signal instructing the storage device 14 to start generating VR content data, taking the transition from the attachment/detachment stage to the viewing stage as an opportunity.
  • the drawing unit 32 of the storage device 14 starts generating VR content data.
  • the drawing unit 32 draws data based on at least one of data input from the input device 16, data transmitted from an external device (such as a server), and data stored in the storage unit 234 (programs, parameters, etc. related to VR content). to generate VR content data.
  • the VR content data generated by the drawing unit 32 of the storage device 14 may include an uncorrected VR image that includes various VR objects. Further, it may include a VR image that is a distant view from the user's viewpoint in the VR space.
  • the image providing unit 34 of the storage device 14 transmits the VR content data generated by the drawing unit 32 to the HMD 12.
  • the image acquisition unit 56 of the HMD 12 acquires the VR content data transmitted from the storage device 14.
  • the drawing unit 54 of the HMD 12 starts generating VR content data upon transition from the attachment/detachment stage to the viewing stage.
  • the drawing unit 54 uses VR content data transmitted from the storage device 14, data input from the input device 16, data stored in the storage unit 133 (programs and parameters related to VR content, etc.), and data detected by the eye tracking unit 48.
  • VR content data is generated based on at least one of the user's viewpoint and line-of-sight direction.
  • the drawing unit 54 may perform a known reprojection process (also called asynchronous time warp process) in response to the movement of the HMD 12 detected by the motion sensor 134.
  • the drawing unit 54 may generate a VR image for display as VR content data by processing the basic VR image transmitted from the storage device 14 according to changes in the user's line of sight. .
  • the drawing unit 54 may generate a VR image that is a close view from the user's viewpoint in the VR space.
  • the drawing unit 54 uses the VR image (distant view image) transmitted from the storage device 14 and the VR image (near view image) generated by the drawing unit 54 as the VR image for display as VR content data.
  • a composite image may be generated by combining these.
  • the display control unit 58 of the HMD 12 may cause the display unit 124 to display the VR image for display generated by the drawing unit 54.
  • the drawing correction unit 52 of the HMD 12 executes line-of-sight dependent drawing correction when displaying VR content, triggered by the transition from the attachment/detachment stage to the viewing stage.
  • the line-of-sight dependent drawing correction includes drawing position correction depending on the user's line-of-sight direction, and also includes foveal precision correction (for example, correction regarding chromatic aberration and correction regarding lens distortion). Note that the techniques described in Documents 1 to 3 below may be applied to the line-of-sight dependent drawing correction.
  • Document 1 International Publication No. 2020/170454
  • Document 2 International Publication No. 2020/170455
  • Document 3 International Publication No. 2020/170456
  • the drawing unit 54 draws the VR object at the drawing position corrected by the drawing correction unit 52.
  • a VR image for display may be generated as shown in FIG.
  • the HMD 12 since the HMD 12 can be stored in the storage device 14, it is possible to avoid the HMD 12 from getting in the way when the VR content is not viewed. Furthermore, in the VR content display system 10 of the first embodiment, taking out the HMD 12 from the storage device 14 is a trigger to start determining whether or not the position of the user's eyes is an appropriate position, and if the determination is affirmative. Once the results are obtained, the display of VR content is started. Thereby, the time from when the HMD 12 is attached to the user's head until the VR content is displayed on the HMD 12 can be reduced, and the VR content can be quickly provided to the user.
  • the VR content display system 10 of the first embodiment by automatically attaching the HMD 12 to the user's head, the user's workload for viewing VR content can be reduced. Furthermore, by automatically mounting the HMD 12 on the condition that there is sufficient clearance around the user's head, it is possible to suppress failures in automatically mounting the HMD 12 and improve its safety.
  • FIG. 9 schematically shows the operation of the VR content display system 10 of the first embodiment from when the display of VR content on the HMD 12 ends until the HMD 12 is stored in the storage device 14.
  • the VR content display system 10 transits in the following order: a viewing stage, an attachment/detachment stage (storage transition stage), and a storage stage until the HMD 12 is stored in the storage device 14.
  • the VR content display system 10 shifts from the viewing stage to the attachment/detachment stage (storage transition stage) when a predetermined removal condition is satisfied in the viewing stage.
  • the HMD 12 removal support unit 60 automatically removes the HMD 12 from the user's head when any of a plurality of predetermined removal conditions is met while displaying VR content.
  • the removal support section 60 deforms the mounting mechanism section 22a and the mounting mechanism section 22b to release the HMD 12 from being fixed to the user's head. Further, the removal support unit 60 transmits a signal instructing to change the position of the HMD 12, for example, a signal instructing to wind up the cable of the support unit 26 to the storage device 14.
  • the storage control unit 30 of the storage device 14 winds up the cable of the support unit 26 by a predetermined first amount based on the above-mentioned signal transmitted from the HMD 12, as shown in the attachment/detachment stage of FIG.
  • the HMD 12 is brought into a state suspended above the user (hereinafter also referred to as a "standby state").
  • the plurality of removal conditions include the following (1) to (4).
  • a predetermined user operation for example, an operation instructing to end viewing
  • the position and/or angle of the user's head detected by the motion sensor 134 has deviated from a predetermined appropriate range.
  • the appropriate range is the range of positions and angles suitable for viewing VR content, and appropriate values are determined according to the constraints of the environment surrounding the user (for example, the range of positions and angles that do not interfere with the person next to the user). It's okay to be rejected.
  • a predetermined voice command (for example, a voice such as "end viewing") is input directly to the HMD 12 or input via the input device 16.
  • a predetermined user operation (for example, a touch operation instructing to end viewing, etc.) is input to the HMD 12 or the input device 16.
  • the removal support unit 60 waits until a storage instruction operation is input from the user.
  • the period of waiting for the input of the storage instruction operation is the period during which the user can input the reinstallation instruction operation.
  • the wearing support unit 46 of the HMD 12 executes the automatic wearing sequence described above again.
  • the removal support unit 60 works with the storage control unit 30 of the storage device 14 to store the HMD 12 in the standby state in the storage device 14.
  • the removal support section 60 may transmit a signal to the storage device 14 instructing the cable of the support section 26 to be wound up.
  • the storage control section 30 of the storage device 14 winds up the cable of the support section 26 by a predetermined second amount based on the signal transmitted from the HMD 12, thereby maintaining the state in which the HMD 12 is stored in the storage device 14. You may also move to
  • the imaging unit 138 of the HMD 12 may image not only the user's head side but also the space around the HMD 12.
  • the removal support unit 60 detects an object (an object other than the user's head) close to the HMD 12 in the standby state, the removal support unit 60 connects the storage control unit 30 of the storage device 14 even if the user has not input a storage instruction operation.
  • the HMD 12 in a standby state may be automatically stored in the storage device 14. This makes it easier to avoid the HMD 12 colliding with other objects or getting in the way.
  • the HMD 12 is automatically stored in the storage device 14 when viewing the VR content is finished. Thereby, the user's work when finishing viewing VR content can be reduced, and the convenience of the VR content display system 10 can be improved.
  • the storage device 14 of the modified example includes the same functional blocks as the storage device 14 of the first embodiment.
  • the HMD 12 of the modification does not include the mounting support section 46, but has other functional blocks similar to the HMD 12 of the first embodiment. This is because, in this modification, the user manually attaches the HMD 12.
  • FIG. 10 schematically shows the operation of the modified VR content display system 10 from when the HMD 12 is taken out from the storage device 14 to when the VR content is displayed on the HMD 12.
  • a user who wishes to view VR content inputs a VR content viewing request into the input device 16. Similar to the first embodiment, upon receiving a user's viewing request, the VR content display system 10 shifts from the storage stage to the attachment/detachment stage (viewing transition stage). The storage control unit 30 of the storage device 14 releases the HMD 12 from the storage device 14 in response to the viewing request transmitted from the input device 16.
  • the user grasps the HMD 12 and manually attaches the HMD 12 to his or her head.
  • the support section 26 of the storage device 14 reduces the load on the user by keeping the tension of the cable constant.
  • the eye tracking unit 48 of the HMD 12 takes advantage of the transition to the attachment/detachment stage to perform eye tracking processing and determination processing whether or not the user's pupil position is at a predetermined appropriate position.
  • the display control unit 58 of the HMD 12 displays the VR content on the HMD 12 when the eye tracking unit 48 determines that the position of the user's eyes is within a predetermined appropriate range. start.
  • the time from when the HMD 12 is attached to the user's head until the VR content is displayed on the HMD 12 is reduced. It is possible to quickly provide VR content to users.
  • the mode of transition from the viewing stage to the storage stage is the same as that of the VR content display system 10 of the first embodiment. That is, also in the VR content display system 10 of this modification, the HMD 12 is automatically removed from the user's head, and the HMD 12 is automatically stored in the storage device 14.
  • the mounting support unit 46 of the HMD 12 automatically attaches the HMD 12 to the user's head when the clearance around the user's head detected by the clearance detection unit 44 is less than a predetermined threshold.
  • the mounting sequence may be stopped.
  • the attachment support unit 46 may notify the user of content urging the user to increase the clearance around the head.
  • the wearing support unit 46 may display an image with content encouraging the user to increase the clearance around the head on a predetermined display device (for example, the display of the input device 16), and may transmit audio with the same content from the speaker 24 of the HMD 12. You may also output it.
  • FIG. 11 shows the configuration of the viewing support device 80 of the second embodiment.
  • the viewing support device 80 is a device corresponding to the VR content display system 10 of the first embodiment.
  • the viewing support device 80 includes an HMD 12, a storage device 14, and an assist section 82.
  • the configuration of the HMD 12 of the viewing support device 80 is the same as the configuration of the HMD 12 of the first embodiment, and the configuration of the storage device 14 of the viewing support device 80 is the same as the configuration of the storage device 14 of the first example.
  • the assist unit 82 includes a seat 84 on which the user sits and a seat holding unit 86.
  • the seat holding unit 86 holds the seat 84 on the casing of the viewing support device 80 and assists in vertical movement of the seat 84 along the casing of the viewing support device 80 .
  • the viewing support device 80 may include a spring, and the elastic force of the spring may reduce the load caused by the upward movement of the seat 84.
  • FIG. 12 shows an example of how the viewing support device 80 is used.
  • the user bends or stretches his legs while viewing VR content 88 displayed on the HMD 12.
  • the motion sensor 134 of the HMD 12 detects vertical movement of the HMD 12 that occurs when the user bends or stretches his or her legs.
  • the drawing unit 54 of the HMD 12 changes the user's viewpoint in the virtual space in accordance with the vertical movement of the user in the real space detected by the motion sensor 134 on the viewing stage.
  • the drawing unit 54 generates VR content data based on the user's changed viewpoint. That is, the drawing unit 54 changes the display mode of the VR content on the HMD 12 according to the vertical movement of the user in the real space.
  • FIG. 13 shows another configuration of the assist section 82 in the viewing support device 80.
  • the assist section 82 in FIG. 13 includes a seat 84, a footrest 92, and an extendable section 94.
  • the extensible part 94 is an extensible member, and is made of an elastic member such as a spring.
  • the height of the user's waist does not change, but the footrest 92 is configured to move in the vertical direction, so that the user can bend and straighten their legs while viewing VR content. I can do it.
  • the HMD 12 may further include a user motion detection unit that detects the user's vertical movement.
  • the user motion detection unit may determine that the user has moved downward when the user bends his or her legs and the length of the stretchable portion 94 becomes relatively short.
  • the user motion detection unit may determine that the user has moved upward when the user extends his or her legs and the length of the stretchable part 94 becomes relatively long.
  • the drawing unit 54 of the HMD 12 may change the user's viewpoint in the virtual space according to the vertical movement of the user detected by the user motion detection unit.
  • the drawing unit 54 recognizes that the user's viewpoint has lowered and moves it to a relatively lower position.
  • VR content 88 seen from the user's perspective is generated.
  • the user can display the lower part of the VR content 88 on the HMD 12 by bending the legs.
  • the drawing unit 54 recognizes that the user's viewpoint has risen and relatively VR content 88 viewed from the viewpoint of the user in the upper position is generated.
  • the user can display the upper part of the VR content 88 on the HMD 12 by bending the legs.
  • the viewing support device 80 of the second embodiment it is possible to realize the viewing of VR content while maintaining the user's physicality, and it is possible to improve the interest of viewing the VR content.
  • the viewing support device 80 of the second embodiment can provide the user with a novel viewing experience in which the user can change his or her viewpoint in the VR space by moving his or her body up and down within the possible range.
  • FIG. 14 shows the configuration and usage example of the VR content display system 10 of the third embodiment.
  • the VR content display system 10 of the third embodiment includes an HMD 12 and a storage device 14, and also includes a display monitor 100 and a spatial reproduction display 102 as display devices different from the HMD 12.
  • Display monitor 100 is a general display that displays 2D content.
  • the spatial reproduction display 102 detects the line of sight of the viewer and controls the display of 3D content in real time according to the angle of the line of sight, so that it appears as if the object (3D object 104) exists in the space on the display. This is a well-known display that reproduces 3D images.
  • the HMD 12 further includes a content acquisition unit (not shown).
  • the content acquisition unit acquires data of electronic content (2D content or 3D content) displayed on the display monitor 100 and the spatial reproduction display 102 via the communication unit 132.
  • the content acquisition unit may acquire data of electronic content displayed on the display monitor 100 and the spatial reproduction display 102 from the display monitor 100 and the spatial reproduction display 102.
  • the content acquisition unit may acquire data of electronic content displayed on the display monitor 100 and the spatial reproduction display 102 from a server connected to the display monitor 100 and the spatial reproduction display 102.
  • the display control unit 58 of the HMD 12 causes the display unit 124 of the HMD 12 to display VR content corresponding to the electronic content acquired by the content acquisition unit.
  • the drawing unit 54 of the HMD 12 may generate VR content data that includes the electronic content acquired by the content acquisition unit as an object in the virtual space. Further, as shown in the viewing stage of FIG. 14, the drawing unit 54 displays a virtual display monitor 108 corresponding to the display monitor 100, a virtual space reproduction display 110 corresponding to the space reproduction display 102, and a 3D object 112 corresponding to the 3D object 104. You may generate data of VR content 106 including the following.
  • the display control unit 58 may display the VR content generated by the drawing unit 54 on the display unit 124 of the HMD 12.
  • the VR content display system 10 of the third embodiment when the user inputs a predetermined operation to instruct VR transition into the input device 16 etc., even if the automatic mounting sequence of the HMD 12 similar to the first embodiment is executed. good. Then, in the viewing stage, the processes of the content acquisition section, drawing section 54, and display control section 58 described above may be executed.
  • the objects and information displayed on the display monitor 100 or the spatial reproduction display 102 can be displayed on the HMD 12, in other words, they can be displayed as objects in the VR space. I can do it.
  • the user can check the objects and information displayed on the display monitor 100 or the spatial reproduction display 102 with a wide viewing angle and high resolution in the VR space with few restrictions provided by the HMD 12, which improves the efficiency of the user's work. I can support you.
  • the storage device 14 may include a content acquisition section.
  • the drawing unit 32 of the storage device 14 may generate VR content data that includes the electronic content acquired by the content acquisition unit and displayed on the display monitor 100 and the spatial reproduction display 102 as an object in the virtual space. good.
  • the display control unit 58 of the HMD 12 may display the VR content generated by the drawing unit 32 of the storage device 14 on the display unit 124 of the HMD 12.
  • the HMD 12 may have some of the functions provided by the storage device 14 in the above embodiment.
  • the storage device 14 may include some of the functions provided by the HMD 12 in the above embodiment.
  • a head-mounted display including a first detection unit that detects the position of the user's pupils; a storage section capable of storing the head-mounted display; Taking the head mounted display out of the storage unit as an opportunity, determine whether the position of the eyes of the user wearing the head mounted display, which is detected by the first detection unit, is at a predetermined appropriate position.
  • a virtual reality content display system comprising: According to this system, since the HMD can be stored in the storage section, it is possible to avoid the HMD from becoming a hindrance when VR content is not viewed. Further, VR content can be quickly presented to a user wearing a head-mounted display taken out from the storage unit, and the user's waiting time until viewing VR content can be reduced.
  • a second detection unit that detects the position of the user's head;
  • the virtual device according to item 1, further comprising: an attachment support unit that automatically attaches the head mounted display to the user's head based on the position of the user's head detected by the second detection unit.
  • Real content display system According to this system, the user's workload for viewing VR content can be reduced.
  • the second detection unit further detects a clearance around the user's head,
  • the attachment support unit automatically attaches the head mounted display to the user's head when a clearance around the user's head is equal to or greater than a predetermined threshold.
  • the virtual reality content display system according to item 2.
  • a second detection unit that detects the position of the user's head; Further comprising a removal support unit that automatically removes the head mounted display from the user's head if the position of the user's head deviates from a predetermined appropriate range while displaying the virtual reality content.
  • the virtual reality content display system according to any one of items 1 to 3. According to this system, the user's work when finishing viewing VR content can be reduced.
  • a drawing unit that generates data of the virtual reality content based on the user's viewpoint in the virtual space; further comprising an assist unit that assists the user in vertical movement in real space, The drawing unit changes a viewpoint of the user in the virtual space according to a vertical movement of the user in the real space.
  • the virtual reality content display system according to any one of items 1 to 4. According to this system, it is possible to realize the viewing of VR content while maintaining the user's physicality, and it is possible to improve the interest of viewing the VR content.
  • [Item 6] further comprising an acquisition unit that acquires data of electronic content displayed on a display device different from the head-mounted display, The display control unit displays virtual reality content corresponding to the electronic content on the head mounted display.
  • the virtual reality content display system according to any one of items 1 to 5. According to this system, by linking the different display devices and the HMD, the user's work can be effectively supported using VR content, and the usage of the HMD can be expanded.
  • the head mounted display including a first detection unit that detects the position of the user's pupils is taken out from the storage unit, the eyes of the user wearing the head mounted display detected by the first detection unit starting to determine whether or not the position of is at a predetermined proper position; Starting display of virtual reality content on the head-mounted display upon determining that the position of the eyes of the user wearing the head-mounted display is at the appropriate position; A virtual reality content display method performed by a computer.
  • the HMD since the HMD can be stored in the storage section, it is possible to avoid the HMD from becoming a hindrance when the VR content is not viewed. Further, VR content can be quickly presented to a user wearing a head-mounted display taken out from the storage unit, and the user's waiting time until viewing VR content can be reduced.
  • the present invention can be applied to systems and devices that display virtual reality content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ＶＲコンテンツ表示システム１０は、ヘッドマウントディスプレイ（ＨＭＤ１２）、収納装置１４、位置判定部、表示制御部を備える。位置判定部は、ＨＭＤ１２が収納装置１４から取り出されたことを契機に、ＨＭＤ１２を装着したユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する。表示制御部は、ＨＭＤ１２を装着したユーザの瞳の位置が上記適正位置にあると判定されたことを契機に、ＨＭＤ１２における仮想現実コンテンツの表示を開始させる。

Description

仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法
　本発明は、データ処理技術に関し、特に仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法に関する。
　ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（Virtual Reality：ＶＲ）を実現する電子コンテンツ（以下「ＶＲコンテンツ」とも呼ぶ。）が知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、ＶＲコンテンツとして表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
　ユーザが、収納部から取り出したヘッドマウントディスプレイを装着してＶＲコンテンツを視聴する場合、ヘッドマウントディスプレイの装着からＶＲコンテンツの表示までの時間は短い方が望ましい。
　本発明はこうした課題に鑑みてなされたものであり、１つの目的は、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してＶＲコンテンツを迅速に提示する技術を提供することにある。
　上記課題を解決するために、本発明のある態様の仮想現実コンテンツ表示システムは、ユーザの瞳の位置を検出する第１検出部を備えるヘッドマウントディスプレイと、ヘッドマウントディスプレイを収納可能な収納部と、ヘッドマウントディスプレイが収納部から取り出されたことを契機に、第１検出部により検出された、ヘッドマウントディスプレイを装着したユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する位置判定部と、ヘッドマウントディスプレイを装着したユーザの瞳の位置が適正位置にあると判定されたことを契機に、ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させる表示制御部とを備える。
　本発明の別の態様は、仮想現実コンテンツ表示方法である。この方法は、ユーザの瞳の位置を検出する第１検出部を備えるヘッドマウントディスプレイが収納部から取り出されたことを契機に、第１検出部により検出された、ヘッドマウントディスプレイを装着したユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始するステップと、ヘッドマウントディスプレイを装着したユーザの瞳の位置が適正位置にあると判定されたことを契機に、ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させるステップと、をコンピュータが実行する。
　なお、以上の構成要素の任意の組合せ、本発明の表現を装置、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してＶＲコンテンツを迅速に提示することができる。
第１実施例のＶＲコンテンツ表示システムの構成を示す図である。 図１のＨＭＤと収納装置の形状の例を示す図である。 図１のＨＭＤと収納装置の形状の別の例を示す図である。 図１の収納装置のハードウェア構成の例を示す図である。 図１の収納装置が備える機能ブロックを示すブロック図である。 図１のＨＭＤのハードウェア構成の例を示す図である。 図１のＨＭＤが備える機能ブロックを示すブロック図である。 第１実施例のＶＲコンテンツ表示システムにおいて、収納装置からＨＭＤが取り出され、ＨＭＤにＶＲコンテンツが表示されるまでの動作を模式的に示す図である。 第１実施例のＶＲコンテンツ表示システムにおいて、ＨＭＤにおけるＶＲコンテンツの表示が終了して、ＨＭＤが収納装置に収納されるまでの動作を模式的に示す図である。 変形例のＶＲコンテンツ表示システムにおいて、収納装置からＨＭＤが取り出され、ＨＭＤにＶＲコンテンツが表示されるまでの動作を模式的に示す図である。 第２実施例の視聴支援装置の構成を示す図である。 視聴支援装置の利用例を示す図である。 視聴支援装置におけるアシスト部の別の構成を示す図である。 第３実施例のＶＲコンテンツ表示システムの構成と利用例を示す図である。
　＜第１実施例＞
　第１実施例では、ヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）の着脱を最大限に自動化することによって、収納装置からのＨＭＤの取り出しからＶＲコンテンツ表示までの時間を低減するＶＲコンテンツ表示システムを提案する。ＶＲコンテンツは、例えば、ユーザが選択または所望した、仮想現実空間を示す画像であってもよい。また、ＶＲコンテンツは、エンタテインメント性を有する画像（ゲーム世界を映す画像等）であってもよく、業務用の画像やデータ（文書データ等）であってもよい。ただし、実施例でのＶＲコンテンツは、光学補正やテストのための画像を含まないこととする。以下、特に
断らない限り、画像は、動画像と静止画の一方または両方を含む。
　第１実施例のＶＲコンテンツ表示システムは、（１）ＨＭＤの収納機能、（２）ＨＭＤの自動調整機能、（３）サポート機能を備える。
　（１）収納機能は、ＨＭＤをコンパクトな形状に収納する機能を含む。また、収納機能は、ＨＭＤをユーザに自動で装着させる機能、および、ユーザからＨＭＤを自動で取り外して収納する機能を含む。収納機能は、収納装置とＨＭＤにより実現される。
　（２）自動調整機能は、ＨＭＤ装着時の光学補正と、ＶＲコンテンツ表示時の視線依存描画補正とを含む。自動調整機能は、ＨＭＤにより実現される。
　（３）サポート機能は、ユーザの行動制限と負荷軽減をサポートし、アシストする機能を含む。サポート機能は、収納装置とＨＭＤとを接続する部材（実施例では後述のサポート部２６）により実現される。
　図１は、第１実施例のＶＲコンテンツ表示システム１０の構成を示す。ＶＲコンテンツ表示システム１０は、ＨＭＤ１２、収納装置１４、入力装置１６を備える。入力装置１６は、ユーザがＨＭＤ１２および収納装置１４に対する指示（操作）を入力する装置である。入力装置１６は、キーボード、ゲームパッド、タッチパネル等により実現されてもよい。入力装置１６は、入力されたユーザの操作に関するデータを無線通信にてＨＭＤ１２および収納装置１４へ送信する。
　図２は、図１のＨＭＤ１２と収納装置１４の形状の例を示す。図２の上段は、収納時のＨＭＤ１２を示す上面図と、収納時のＨＭＤ１２と収納装置１４を示す前面図および側面図を示している。収納装置１４は、ＨＭＤ１２を収納可能な収納部とも言える。ＨＭＤ１２は、出力機構部２０、装着機構部２２、スピーカ２４を備える。
　出力機構部２０は、ＨＭＤ１２の装着時にユーザの左右の目を覆うような形状の筐体を含み、内部には、装着時にユーザの左右の目に正対するように配置された表示パネル（左目用表示パネル、右目用表示パネル）を備える。実施例のＨＭＤ１２の表示パネルは光透過性がないものとし、すなわち、実施例のＨＭＤ１２は、光不透過型のＨＭＤである。スピーカ２４は、装着時にユーザの耳に対応する位置に設けられる。
　装着機構部２２は、ユーザの頭部へのＨＭＤ１２の装着および固定を実現する機構である。装着機構部２２は、装着機構部２２ａと装着機構部２２ｂを含む。装着機構部２２ａは、ユーザの頭部を左右方向（ユーザの向きと垂直方向）に覆う部材であり、装着機構部２２ｂは、ユーザの頭部を前後方向（ユーザの向きと水平方向）に覆う部材である。
　図２の下段は、装着時のＨＭＤ１２と収納装置１４を示す前面図および側面図を示している。ＨＭＤ１２と収納装置１４は、サポート部２６を介して接続される。サポート部２６は、（１）ＨＭＤを保持し、また、ユーザの行動を制約するための力を伝達するケーブル、（２）ケーブルの巻き取り機構、（３）ケーブルのテンションが一定になるよう制御するサーボ機構を含む。なお、実施例のサポート部２６は、ＨＭＤ１２と収納装置１４間でやり取りされる信号が流れる通信ケーブルを含む。実施例では、ＨＭＤ１２と収納装置１４は有線通信を行うこととするが、変形例として無線通信を行ってもよい。
　図３は、図１のＨＭＤ１２と収納装置１４の形状の別の例を示す。同図は、図２の形状よりも簡易な形状を示している。収納装置１４は、収納フック２８をさらに備える。収納時、収納フック２８は、ＨＭＤ１２を支持および固定してＨＭＤ１２の収納状態を維持する。装着時には収納フック２８が解放されることで、収納装置１４からＨＭＤ１２がリリースされる。
　図４は、図１の収納装置１４のハードウェア構成の例を示す。収納装置１４は、処理部２２０、収納機構２４２、サポート部２６を備える。サポート部２６は、ＨＭＤ１２と接続される通信ケーブル２４６を含む。ただし、サポート部２６は、ＨＭＤ１２を保持し、また、ユーザの行動を制約するための力を伝達することを主目的とする部材である。収納機構２４２は、ＨＭＤ１２を収納するための部材である。収納機構２４２は、ＨＭＤ１２を支持または固定する部材（例えば収納フック等）を含んでもよい。
　処理部２２０は、ＶＲコンテンツの描画を含む各種データ処理を実行するコンピュータを含む。処理部２２０は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続される。バス２３０にはさらに入出力インターフェイス２２８が接続される。入出力インターフェイス２２８には、通信部２３２、記憶部２３４、出力部２３６、入力部２３８が接続される。
　通信部２３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェイスや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェイスを含む。処理部２２０は、通信部２３２を介して、外部装置（例えばクラウド上のコンテンツ配信サーバ等）とデータを送受信する。記憶部２３４は、ハードディスクドライブや不揮発性メモリ等を含む。出力部２３６は、ＨＭＤ１２へのデータを出力する。入力部２３８は、ＨＭＤ１２からのデータ入力を受け付け、また、入力装置１６からのデータ入力（ユーザの操作に関する情報等）を受け付ける。
　ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより収納装置１４の全体を制御する。また、ＣＰＵ２２２は、記憶部２３４またはリムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラム（例えばＶＲゲームアプリケーション等）を実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令にしたがって描画処理を行い、描画結果を出力部２３６に出力する。メインメモリ２２６は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
　図５は、図１の収納装置１４が備える機能ブロックを示すブロック図である。本明細書のブロック図に示す複数の機能ブロックは、ハードウェア的には、各種電子回路の組み合わせ（例えば、図４に示したＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、記憶部２３４等の構成）で実現できる。また、ソフトウェア的には、複数の機能ブロックに対応する複数のプログラムモジュールを含むコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　収納装置１４は、収納制御部３０、描画部３２、画像提供部３４を備える。これら複数の機能ブロックの機能が実装されたコンピュータプログラムが記憶部２３４にインストールされてもよい。ＣＰＵ２２２およびＧＰＵ２２４は、このコンピュータプログラムをメインメモリ２２６に読み出して実行することにより、図５に示す複数の機能ブロックの機能を発揮してもよい。
　収納制御部３０は、サポート部２６の動作を制御して、ＨＭＤ１２を収納装置１４に収納・固定された状態からリリースし、ＨＭＤ１２をユーザの頭部に装着可能な状態に移行させる。また、収納制御部３０は、サポート部２６の動作を制御して、ユーザの頭部から取り外されたＨＭＤ１２を収納装置１４に収納・固定させる。
　図６は、図１のＨＭＤ１２のハードウェア構成の例を示す。ＨＭＤ１２は、ＣＰＵ１２０、ＧＰＵ１２１、メインメモリ１２２、表示部１２４、スピーカ２４を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェイス１３０が接続されている。入出力インターフェイス１３０には、通信部１３２、記憶部１３３、モーションセンサ１３４、アイトラッキングセンサ１３６、撮像部１３８が接続される。
　ＣＰＵ１２０は、バス１２８を介してＨＭＤ１２の各部から取得した情報を処理するとともに、収納装置１４から取得した表示画像や音声のデータを表示部１２４やスピーカ２４に供給する。ＧＰＵ１２１は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ１２０からの描画命令にしたがって描画処理を行い、描画結果を表示部１２４に出力する。メインメモリ１２２は、ＣＰＵ１２０およびＧＰＵ１２１における処理に必要なプログラムやデータを格納する。
　表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ＨＭＤ１２を装着したユーザの眼前に画像を表示する。表示部１２４は、ユーザの左目の前に設けられた左目用の表示パネルと、ユーザの右目の前に設けられた右目用の表示パネルとに一対のステレオ画像を表示することにより立体視を実現する。
　表示部１２４はさらに、ＨＭＤ１２装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対の接眼レンズを含む。一対の接眼レンズは、左レンズ１４０と右レンズ１４２を含む。左レンズ１４０は、左目用の表示パネルとユーザの左目の間に設けられ、右レンズ１４２は、右目用の表示パネルとユーザの右目の間に設けられる。
　スピーカ２４は、ＨＭＤ１２の装着時にユーザの耳に対応する位置に設けられる。スピーカ２４は、イヤホンを含んでもよい。通信部１３２は、収納装置１４および入力装置１６との間でデータを送受するためのインターフェイスである。通信部１３２は、有線ＬＡＮや無線ＬＡＮ、Bluetooth（登録商標）などの既知の通信技術により通信を実現する。記憶部１３３は、不揮発性メモリ等を含む。モーションセンサ１３４は、ジャイロセンサおよび加速度センサを含み、ＨＭＤ１２の角速度や加速度を取得する。
　アイトラッキングセンサ１３６は、第１検出部としてのセンサであり、アイトラッキング用の公知のセンサ（赤外線カメラ等を含む）を含む。アイトラッキングは、視線計測とも言え、ユーザの瞳（眼球とも言える）の位置、動きおよび視線方向を検出する技術である。例えば、アイトラッキングセンサ１３６は、赤外線の反射パターン等に基づいてユーザの瞳の位置および動きを検出する。撮像部１３８は、ユーザの頭部を撮像するカメラを含む。撮像部１３８により撮像される方向は、収納装置１４におけるＨＭＤ１２の収納位置からユーザの頭部への方向を少なくとも含む。
　図７は、図１のＨＭＤ１２が備える機能ブロックを示すブロック図である。ＨＭＤ１２は、リリース検出部４０、頭部位置検出部４２、装着支援部４６、アイトラッキング部４８、光学補正部５０、描画補正部５２、描画部５４、画像取得部５６、表示制御部５８、取り外し支援部６０を備える。頭部位置検出部４２は、クリアランス検出部４４を含む。これら複数の機能ブロックの機能が実装されたコンピュータプログラムが記憶部１３３にインストールされてもよい。ＣＰＵ１２０およびＧＰＵ１２１は、このコンピュータプログラムをメインメモリ２２６に読み出して実行することにより、図７に示す複数の機能ブロックの機能を発揮してもよい。
　以上の構成によるＶＲコンテンツ表示システム１０の動作を説明する。
　図８は、第１実施例のＶＲコンテンツ表示システム１０において、収納装置１４からＨＭＤ１２が取り出され、ＨＭＤ１２にＶＲコンテンツが表示されるまでの動作を模式的に示す。ＶＲコンテンツ表示システム１０は、ＶＲコンテンツの表示までに、収納ステージ、着脱ステージ、視聴ステージの順に遷移する。
　収納ステージは、ＨＭＤ１２が収納装置１４に収納された状態であり、言い換えれば、ＨＭＤ１２が未使用の状態である。視聴ステージは、ユーザの頭部へのＨＭＤ１２の装着が完了して、ＶＲコンテンツがＨＭＤ１２に表示される状態である。着脱ステージは、収納ステージと視聴ステージの間の状態であって、装着移行ステージと収納移行ステージの両方を含む。装着移行ステージは、図８に示すように、収納装置１４からＨＭＤ１２が取り出されてから、ユーザの頭部へのＨＭＤ１２の装着が完了するまでの状態である。収納移行ステージは、図８とは逆に、ユーザの頭部からＨＭＤ１２が取り外されてから、収納装置１４へのＨＭＤ１２の収納が完了するまでの状態である。
　これからＶＲコンテンツを視聴しようとするユーザは、マーカーバンド７４を頭部に装着して座席７２に座る。マーカーバンド７４は、ＨＭＤ１２側のセンサ（例えば磁気センサ）により位置が検知されるマーカー（例えば磁気マーカー）を含む。マーカーバンド７４は、眼鏡型、ヘアバンド型、またはカチューシャ型であってもよく、他の形状であってもよい。撮像範囲７０は、ＨＭＤ１２の撮像部１３８による撮像範囲（すなわち画角）を示している。
　ユーザは、ＶＲコンテンツの視聴リクエストを示す操作を入力装置１６に入力する。視聴リクエストは、ＨＭＤ１２の装着リクエストを含み、ＨＭＤ１２の装着リクエストとも言える。入力装置１６は、ユーザから視聴リクエストを受け付け、その視聴リクエストを収納装置１４へ送信する。ＶＲコンテンツ表示システム１０は、ユーザの視聴リクエストを受け付けたことを契機に、収納ステージから着脱ステージ（視聴移行ステージ）へ移行する。収納装置１４の収納制御部３０は、入力装置１６から送信された視聴リクエストに応じて、ＨＭＤ１２を収納装置１４からリリースする。例えば、収納制御部３０は、ケーブルを伸ばすようサポート部２６を作動させてＨＭＤ１２の収納状態を解除し、ＨＭＤ１２を下方に移動させることでＨＭＤ１２をユーザの頭部側へ移動させる。
　ＨＭＤ１２のリリース検出部４０は、ＨＭＤ１２が収納装置１４から取り出されたこと、言い換えれば、ＨＭＤ１２の収納状態が解除されたことを検出する。リリース検出部４０は、ＨＭＤ１２が収納装置１４から取り出されたことを頭部位置検出部４２およびアイトラッキング部４８へ通知する。ＨＭＤ１２が収納装置１４から取り出されたことは、機械式で検出されてもよく、電気式で検出されてもよく、公知の方法で実現されてよい。変形例として、ＨＭＤ１２は、リリース検出部４０に代えて、ＨＭＤ１２から送信された視聴リクエストを検出する視聴リクエスト検出部を備えてもよい。この場合、以降のＨＭＤ１２の処理は、ＨＭＤ１２が収納装置１４からリリースされたことを契機に実行されることに代えて、視聴リクエストが検出されたことを契機に実行されてもよい。
　ＨＭＤ１２の撮像部１３８は、ＨＭＤ１２が収納装置１４から取り出されたことを契機に、言い換えれば、収納ステージから着脱ステージへの移行を契機に、ユーザの頭部の撮像処理を開始する。ＨＭＤ１２の頭部位置検出部４２は、第２検出部として、撮像部１３８による撮像画像に基づいて、ユーザの頭部の位置を検出する。例えば、頭部位置検出部４２は、ＨＭＤ１２を基準としたユーザの頭部の相対的な位置を検出する。また、ＨＭＤ１２は、マーカーバンド７４のマーカーを検知可能なマーカーセンサ（例えば磁気センサ）を備える。頭部位置検出部４２は、マーカーセンサから出力された信号に基づいて、ユーザの頭部に装着されたマーカーバンド７４のマーカー位置を検出し、マーカー位置を基準として、ユーザの頭部の位置およびＨＭＤ１２の装着位置を検出する。
　頭部位置検出部４２のクリアランス検出部４４は、撮像部１３８による撮像画像に基づいて、ユーザの頭部周りのクリアランスを検出する。図８の例では、クリアランス検出部４４は、座席７２とユーザの頭部との間隔（距離）をクリアランス７５として検出する。変形例として、クリアランス検出部４４は、ユーザの頭部周りのクリアランスとして、座席７２の前の座席とユーザの頭部との間隔を検出してもよい。また、クリアランス検出部４４は、ユーザの頭部周りのクリアランスとして、ユーザの頭部と、ユーザの隣に座る人の頭部との間隔を検出してもよい。
　ＨＭＤ１２の装着支援部４６は、頭部位置検出部４２により検出されたユーザの頭部の位置およびＨＭＤ１２の装着位置に基づいて、ユーザの頭部にＨＭＤ１２を自動で装着させる。第１実施例では、装着支援部４６は、クリアランス検出部４４により検出されたユーザの頭部周りのクリアランスが所定の閾値以上である場合に、ユーザの頭部にＨＭＤ１２を自動で装着させる。この閾値は、ユーザの頭部にＨＭＤ１２を安全に、かつ、ＶＲコンテンツの視聴に適した態様で装着するために確保されるべきクリアランスの値である。この閾値は、開発者の知見やＶＲコンテンツ表示システム１０を用いた実験等に基づいて適切な値が設定されてもよい。
　装着支援部４６は、ＨＭＤ１２を基準としたユーザの頭部の相対的な位置に基づいて、ＨＭＤ１２の位置を変更するよう指示する信号を収納装置１４へ送信する。上記信号は、例えば、サポート部２６のケーブルを伸ばすよう指示する信号であってもよい。収納装置１４の収納制御部３０は、ＨＭＤ１２から送信された上記信号に基づいて、ＨＭＤ１２の位置を変更する。図８の例では、収納制御部３０は、サポート部２６のケーブルを伸ばすことにより、ＨＭＤ１２を下方に移動させてもよい。また、装着支援部４６は、ユーザの頭部のマーカーに基づいて検出された装着位置にＨＭＤ１２を装着させるように、装着機構部２２ａおよび装着機構部２２ｂを変形させることにより、ＨＭＤ１２をユーザの頭部の適正位置に固定する。
　ＨＭＤ１２のアイトラッキングセンサ１３６は、ＨＭＤ１２が収納装置１４から取り出されたことを契機に、言い換えれば、収納ステージから着脱ステージへの移行を契機に、ユーザの瞳の位置の検出処理を開始する。アイトラッキング部４８は、位置判定部として機能し、ＨＭＤ１２が収納装置１４から取り出されたことを契機に、ＨＭＤ１２を装着したユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する。アイトラッキング部４８は、着脱ステージの間、上記判定が肯定的な結果になるまで、上記判定を繰り返し実行する。
　ユーザの瞳の位置が所定の適正位置にあるとは、ＨＭＤ１２のレンズに対するユーザの瞳の相対位置が所定の適正範囲内にあることでもよい。また、ユーザの瞳の位置が所定の適正位置にあるとは、以下の（１）、（２）の両方を満たすことでもよい。
　（１）ユーザの左の瞳が左レンズ１４０に正対する位置にあり、または、ユーザの左の瞳の中心と左レンズ１４０の中心とのずれの幅が所定の閾値内であること。
　（２）ユーザの右の瞳が右レンズ１４２に正対する位置にあり、または、ユーザの右の瞳の中心と右レンズ１４２の中心とのずれの幅が所定の閾値内であること。
　上記の適正位置および閾値は、開発者の知見やＶＲコンテンツ表示システム１０を用いた実験等により適切な条件および値が設定されてよい。
　着脱ステージの間、言い換えれば、アイトラッキング部４８によりユーザの瞳の位置が所定の適正位置にあると判定されるまでの間、光学補正部５０は、ユーザの瞳の位置が所定の適正位置になるためのＨＭＤ１２装着時の光学補正を継続して実行する。ＨＭＤ１２装着時の光学補正は、光学位置補正とも言え、例えば、視点位置調整、瞳間調整、視度調整を含む。視度調整は、ユーザの視力に合わせてＨＭＤのレンズの度数を調整する処理である。光学補正部５０は、ＨＭＤ１２装着時の光学補正時に、ユーザとの対話形式によって、左レンズ１４０と右レンズ１４２のそれぞれの位置（前後方向、上下方向、左右方向の位置であり、またレンズ間距離を含む）を調整してもよい。
　アイトラッキング部４８によりユーザの瞳の位置が所定の適正範囲にあると判定された場合、ＶＲコンテンツ表示システム１０は、着脱ステージ（視聴移行ステージ）から視聴ステージに移行する。ＨＭＤ１２の表示制御部５８は、着脱ステージから視聴ステージへの移行を契機に、言い換えれば、アイトラッキング部４８によりユーザの瞳の位置が所定の適正範囲にあると判定されたことを契機に、ＨＭＤ１２におけるＶＲコンテンツの表示を開始させる。表示制御部５８は、収納装置１４の描画部３２により生成されたＶＲコンテンツのデータと、ＨＭＤ１２の描画部５４により生成されたＶＲコンテンツのデータの少なくとも一方をＨＭＤ１２の表示部１２４（左右の表示パネル）に表示させる。ＶＲコンテンツは、例えば、ユーザから所定距離に大きな仮想スクリーン７６を配置し、仮想スクリーン７６に様々なＶＲオブジェクトを映すものであってもよい。
　具体的には、ＨＭＤ１２の画像取得部５６は、着脱ステージから視聴ステージへの移行を契機に、収納装置１４に対してＶＲコンテンツのデータの生成を開始するよう指示する信号を送信する。収納装置１４の描画部３２は、ＨＭＤ１２から上記信号を受信したことを契機に、ＶＲコンテンツのデータの生成を開始する。描画部３２は、入力装置１６から入力されたデータ、外部装置（サーバ等）から送信されたデータ、記憶部２３４に記憶されたデータ（ＶＲコンテンツに関するプログラムやパラメータ等）のうち少なくとも１つに基づいて、ＶＲコンテンツのデータを生成する。
　収納装置１４の描画部３２により生成されるＶＲコンテンツのデータは、様々なＶＲオブジェクトを含む補正前のＶＲ画像を含んでもよい。また、ＶＲ空間におけるユーザの視点から遠景となるＶＲ画像を含んでもよい。収納装置１４の画像提供部３４は、描画部３２により生成されたＶＲコンテンツのデータをＨＭＤ１２へ送信する。ＨＭＤ１２の画像取得部５６は、収納装置１４から送信されたＶＲコンテンツのデータを取得する。
　ＨＭＤ１２の描画部５４は、着脱ステージから視聴ステージへの移行を契機に、ＶＲコンテンツのデータの生成を開始する。描画部５４は、収納装置１４から送信されたＶＲコンテンツのデータ、入力装置１６から入力されたデータ、記憶部１３３に記憶されたデータ（ＶＲコンテンツに関するプログラムやパラメータ等）、アイトラッキング部４８により検出されたユーザの視点および視線方向のうち少なくとも１つに基づいて、ＶＲコンテンツのデータを生成する。
　描画部５４は、モーションセンサ１３４により検知されたＨＭＤ１２の動きに応じて、公知のリプロジェクション処理（非同期タイムワープ処理とも呼ばれる）を実行してもよい。この場合、描画部５４は、収納装置１４から送信された基本のＶＲ画像をユーザの視線方向の変化に応じて加工することにより、ＶＲコンテンツのデータとして表示用のＶＲ画像を生成してもよい。
　また、描画部５４は、ＶＲ空間におけるユーザの視点から近景となるＶＲ画像を生成してもよい。この場合、描画部５４は、ＶＲコンテンツのデータとしての表示用のＶＲ画像として、収納装置１４から送信されたＶＲ画像（遠景の画像）と、描画部５４で生成したＶＲ画像（近景の画像）とを合成した合成画像を生成してもよい。いずれの場合も、ＨＭＤ１２の表示制御部５８は、描画部５４により生成された表示用のＶＲ画像を表示部１２４に表示させてもよい。
　ＨＭＤ１２の描画補正部５２は、着脱ステージから視聴ステージへの移行を契機に、ＶＲコンテンツ表示時の視線依存描画補正を実行する。視線依存描画補正は、ユーザの視線方向に依存した描画位置補正を含み、また、中心窩精密補正（例えば色収差に関する補正やレンズ歪みに関する補正）を含む。なお、視線依存描画補正については、以下の文献１～３に記載の技術を適用してもよい。
　文献１：国際公開第２０２０／１７０４５４号
　文献２：国際公開第２０２０／１７０４５５号
　文献３：国際公開第２０２０／１７０４５６号
　描画部５４は、描画補正部５２により補正された描画位置にＶＲオブジェクトを描画するように表示用のＶＲ画像を生成してもよい。
　第１実施例のＶＲコンテンツ表示システム１０によると、ＨＭＤ１２を収納装置１４に格納可能であることにより、ＶＲコンテンツ未視聴時にＨＭＤ１２が邪魔になってしまうことを回避できる。また、第１実施例のＶＲコンテンツ表示システム１０では、収納装置１４からのＨＭＤ１２の取り出しを契機としてユーザの瞳の位置が適正位置であるか否かの判定を開始して、その判定が肯定的な結果となったことを契機にＶＲコンテンツの表示を開始する。これにより、ユーザの頭部にＨＭＤ１２が装着されてからＨＭＤ１２にＶＲコンテンツが表示されるまでの時間を低減でき、ユーザに対してＶＲコンテンツを迅速に提供できる。
　また、第１実施例のＶＲコンテンツ表示システム１０によると、ユーザの頭部にＨＭＤ１２を自動で装着することにより、ＶＲコンテンツを視聴するためのユーザの作業量を低減できる。また、ユーザの頭部周りに十分なクリアランスがあることを条件としてＨＭＤ１２を自動装着させることにより、ＨＭＤ１２自動装着の失敗を抑制でき、また、その安全性を高めることができる。
　図９は、第１実施例のＶＲコンテンツ表示システム１０において、ＨＭＤ１２におけるＶＲコンテンツの表示が終了して、ＨＭＤ１２が収納装置１４に収納されるまでの動作を模式的に示す。ＶＲコンテンツ表示システム１０は、ＨＭＤ１２が収納装置１４に収納されるまでに、視聴ステージ、着脱ステージ（収納移行ステージ）、収納ステージの順に遷移する。
　ＶＲコンテンツ表示システム１０は、視聴ステージにおいて所定の取り外し条件が満たされた場合、視聴ステージから着脱ステージ（収納移行ステージ）に移行する。具体的には、ＨＭＤ１２の取り外し支援部６０は、ＶＲコンテンツの表示中に、予め定められた複数の取り外し条件のうちいずれかが満たされた場合、ユーザの頭部からＨＭＤ１２を自動で取り外す。
　例えば、取り外し支援部６０は、装着機構部２２ａおよび装着機構部２２ｂを変形させることにより、ＨＭＤ１２がユーザの頭部に固定された状態を解除する。また、取り外し支援部６０は、ＨＭＤ１２の位置を変更するよう指示する信号であり、例えば、サポート部２６のケーブルを巻き取るよう指示する信号を収納装置１４へ送信する。収納装置１４の収納制御部３０は、ＨＭＤ１２から送信された上記信号に基づいて、サポート部２６のケーブルを予め定められた第１の量巻き取ることにより、図９の着脱ステージに示すように、ＨＭＤ１２がユーザの上方に吊り下げられた状態（以下、「待機状態」とも呼ぶ。）に移行させる。
　複数の取り外し条件は、以下の（１）～（４）を含む。
　（１）ＶＲコンテンツに対して所定のユーザ操作（例えば視聴終了を指示する操作等）が入力されたこと。
　（２）モーションセンサ１３４により検知されたユーザの頭部の位置および／または角度（言い換えれば、ＨＭＤ１２の位置および／または角度）が予め定められた適正範囲を逸脱したこと。適正範囲は、ＶＲコンテンツの視聴に適した位置・角度の範囲であり、ユーザを取り巻く環境の制約（例えばユーザの隣の人の邪魔にならない位置・角度の範囲）に応じて適切な値が定められてよい。
　（３）所定の音声コマンド（例えば「視聴終了」等の音声）がＨＭＤ１２に直接入力され、または、入力装置１６を介して入力されたこと。
　（４）ＨＭＤ１２または入力装置１６に対して所定のユーザ操作（例えば視聴終了を指示するタッチ操作等）が入力されたこと。
　取り外し支援部６０は、ＨＭＤ１２が待機状態になった場合、ユーザから収納指示操作が入力されるまで待機する。収納指示操作の入力を待つ期間は、ユーザから再装着指示操作が入力されうる期間である。ユーザから再装着指示操作が入力されたことが入力装置１６から通知された場合、ＨＭＤ１２の装着支援部４６は、既述の自動装着シークエンスを再度実行する。
　ユーザから収納指示操作が入力されたことが入力装置１６から通知された場合、取り外し支援部６０は、収納装置１４の収納制御部３０と連携して、待機状態のＨＭＤ１２を収納装置１４に収納する。例えば、取り外し支援部６０は、サポート部２６のケーブルを巻き取るよう指示する信号を収納装置１４へ送信してもよい。収納装置１４の収納制御部３０は、ＨＭＤ１２から送信された上記信号に基づいて、サポート部２６のケーブルを予め定められた第２の量巻き取ることにより、ＨＭＤ１２を収納装置１４に収納された状態に移行させてもよい。
　なお、ＨＭＤ１２の撮像部１３８は、ユーザの頭部側に限らず、ＨＭＤ１２の周囲の空間を撮像してもよい。取り外し支援部６０は、待機状態のＨＭＤ１２に近接する物体（ユーザの頭部以外の物体）を検出した場合、ユーザの収納指示操作が未入力であっても、収納装置１４の収納制御部３０と連携して、待機状態のＨＭＤ１２を収納装置１４に自動で収納してもよい。これにより、ＨＭＤ１２が他の物体に衝突したり、また、邪魔になってしまうことを回避しやすくなる。
　第１実施例のＶＲコンテンツ表示システム１０では、ＶＲコンテンツの視聴終了時にＨＭＤ１２を収納装置１４へ自動的に収納する。これにより、ＶＲコンテンツの視聴終了時のユーザの作業を低減でき、ＶＲコンテンツ表示システム１０の利便性を高めることができる。
　変形例を説明する。第１実施例のＶＲコンテンツ表示システム１０では、収納ステージから視聴ステージまで自動で移行した。変形例として、収納ステージから視聴ステージまで半自動（言い換えれば一部手動）で移行する構成であってもよい。変形例の収納装置１４は、第１実施例の収納装置１４と同様の機能ブロックを備える。変形例のＨＭＤ１２は、第１実施例のＨＭＤ１２とは異なり装着支援部４６を備えないが、他の機能ブロックは第１実施例のＨＭＤ１２と同様に備える。本変形例では、ユーザが手動でＨＭＤ１２を装着するからである。
　図１０は、変形例のＶＲコンテンツ表示システム１０において、収納装置１４からＨＭＤ１２が取り出され、ＨＭＤ１２にＶＲコンテンツが表示されるまでの動作を模式的に示す。ＶＲコンテンツを視聴しようとするユーザは、ＶＲコンテンツの視聴リクエストを入力装置１６に入力する。第１実施例と同様に、ユーザの視聴リクエストを受け付けたことを契機として、ＶＲコンテンツ表示システム１０は、収納ステージから着脱ステージ（視聴移行ステージ）へ移行する。収納装置１４の収納制御部３０は、入力装置１６から送信された視聴リクエストに応じて、ＨＭＤ１２を収納装置１４からリリースする。
　第１実施例とは異なり、変形例の着脱ステージにおいて、ユーザは、ＨＭＤ１２を把持して自身の頭部にＨＭＤ１２を手動で装着する。このとき、収納装置１４のサポート部２６は、ケーブルのテンションを一定に保つことによりユーザにかかる負荷を低減する。
　一方で、第１実施例と同様に、ＨＭＤ１２のアイトラッキング部４８は、着脱ステージへの移行を契機にアイトラッキング処理と、ユーザの瞳の位置が所定の適正位置にあるか否かの判定処理を開始する。また、第１実施例と同様に、ＨＭＤ１２の表示制御部５８は、アイトラッキング部４８によりユーザの瞳の位置が所定の適正範囲にあると判定されたことを契機に、ＨＭＤ１２におけるＶＲコンテンツの表示を開始させる。
　本変形例のＶＲコンテンツ表示システム１０によると、第１実施例のＶＲコンテンツ表示システム１０と同様に、ユーザの頭部にＨＭＤ１２が装着されてからＨＭＤ１２にＶＲコンテンツが表示されるまでの時間を低減でき、ユーザに対してＶＲコンテンツを迅速に提供できる。なお、本変形例のＶＲコンテンツ表示システム１０においても、視聴ステージから収納ステージまでの移行態様は、第１実施例のＶＲコンテンツ表示システム１０と同様である。すなわち、本変形例のＶＲコンテンツ表示システム１０においても、ユーザの頭部からＨＭＤ１２を自動で取り外し、また、そのＨＭＤ１２を収納装置１４に自動で収納する。
　別の変形例を説明する。上記実施例では言及していないが、ＨＭＤ１２の装着支援部４６は、クリアランス検出部４４により検出されたユーザの頭部周りのクリアランスが所定の閾値未満の場合、ユーザの頭部へのＨＭＤ１２の自動装着シークエンスを停止してもよい。この場合、装着支援部４６は、頭部周りのクリアランスを拡げるよう促す内容をユーザに通知してもよい。例えば、装着支援部４６は、頭部周りのクリアランスを拡げるよう促す内容の画像を所定の表示装置（例えば入力装置１６のディスプレイ）に表示させてもよく、同内容の音声をＨＭＤ１２のスピーカ２４から出力させてもよい。
　＜第２実施例＞
　第２実施例について、第１実施例と相違する点を中心に説明し、共通する点の説明を省略する。第２実施例の特徴は、第１実施例および変形例の特徴と任意の組合せが可能であることはもちろんである。
　図１１は、第２実施例の視聴支援装置８０の構成を示す。視聴支援装置８０は、第１実施例のＶＲコンテンツ表示システム１０に対応する装置である。視聴支援装置８０は、ＨＭＤ１２、収納装置１４、アシスト部８２を備える。視聴支援装置８０のＨＭＤ１２の構成は、第１実施例のＨＭＤ１２の構成と同様であり、視聴支援装置８０の収納装置１４の構成は、第１実施例の収納装置１４の構成と同様である。
　アシスト部８２は、ユーザが座る座席８４と座席保持部８６を含む。座席保持部８６は、座席８４を視聴支援装置８０の筐体上に保持し、視聴支援装置８０の筐体に沿った座席８４の上下方向の動きをアシストする。例えば、視聴支援装置８０は、ばねを含んでもよく、ばねの弾性力により座席８４が上方向に動くための負荷を低減してもよい。
　図１２は、視聴支援装置８０の利用例を示す。同図では、ユーザは、ＨＭＤ１２に表示されたＶＲコンテンツ８８を見つつ、脚を曲げまたは伸ばす。ＨＭＤ１２のモーションセンサ１３４は、ユーザが脚を曲げまたは伸ばすことに伴い生じるＨＭＤ１２の上下方向の移動を検出する。ＨＭＤ１２の描画部５４は、視聴ステージにおいて、モーションセンサ１３４により検出された現実空間におけるユーザの上下方向の動きに応じて、仮想空間におけるユーザの視点を変化させる。描画部５４は、変化させた後のユーザの視点に基づいて、ＶＲコンテンツのデータを生成する。すなわち、描画部５４は、現実空間におけるユーザの上下方向の動きに応じて、ＨＭＤ１２におけるＶＲコンテンツの表示態様を変化させる。
　図１３は、視聴支援装置８０におけるアシスト部８２の別の構成を示す。図１３のアシスト部８２は、座席８４、フットレスト９２、伸縮部９４を含む。伸縮部９４は、伸縮可能な部材であり、ばね等の弾性を有する部材により構成される。図１３のアシスト部８２では、ユーザの腰の高さは変化しないが、フットレスト９２が上下方向に移動するよう構成されることで、ユーザは、ＶＲコンテンツを視聴中に脚の曲げ伸ばしを行うことができる。
　図１３の例では、ＨＭＤ１２は、ユーザの上下方向の動きを検出するユーザ動作検出部をさらに備えてもよい。ユーザ動作検出部は、ユーザが脚を曲げて、伸縮部９４の長さが相対的に短くなった場合、ユーザが下方向に動いたと判断してもよい。一方、ユーザ動作検出部は、ユーザが脚を伸ばして、伸縮部９４の長さが相対的に長くなった場合、ユーザが上方向に動いたと判断してもよい。ＨＭＤ１２の描画部５４は、ユーザ動作検出部により検出されたユーザの上下方向の動きに応じて、仮想空間におけるユーザの視点を変化させてもよい。
　図１２の例、図１３の例のいずれにおいても、ユーザが下方向に動いたことが検出された場合、描画部５４は、ユーザの視点が下がったことを認識して、相対的に下位置のユーザの視点から見たＶＲコンテンツ８８を生成する。ユーザは、ＶＲコンテンツ８８の下部分を注視する場合、脚を曲げることによりＶＲコンテンツ８８の下部分をＨＭＤ１２に表示させることができる。
　また、図１２の例、図１３の例のいずれにおいても、ユーザが上方向に動いたことが検出された場合、描画部５４は、ユーザの視点が上がったことを認識して、相対的に上位置のユーザの視点から見たＶＲコンテンツ８８を生成する。ユーザは、ＶＲコンテンツ８８の上部分を注視する場合、脚を曲げることによりＶＲコンテンツ８８の上部分をＨＭＤ１２に表示させることができる。
　第２実施例の視聴支援装置８０によると、ユーザの身体性を維持したＶＲコンテンツの視聴を実現でき、ＶＲコンテンツ視聴の興趣を向上させることができる。言い換えれば、第２実施例の視聴支援装置８０によると、可能な範囲で身体を上下方向に動かすことによってＶＲ空間での己の視点を切り替えることができるという斬新な視聴体験をユーザに提供できる。
　＜第３実施例＞
　第３実施例について、第１実施例と相違する点を中心に説明し、共通する点の説明を省略する。第３実施例の特徴は、第１実施例、第２実施例、および変形例の特徴と任意の組合せが可能であることはもちろんである。
　図１４は、第３実施例のＶＲコンテンツ表示システム１０の構成と利用例を示す。第３実施例のＶＲコンテンツ表示システム１０は、ＨＭＤ１２と収納装置１４を備え、また、ＨＭＤ１２と異なる表示装置として、ディスプレイモニタ１００と空間再現ディスプレイ１０２を備える。ディスプレイモニタ１００は、２Ｄコンテンツを表示する一般的なディスプレイである。空間再現ディスプレイ１０２は、見る人の視線を検知し、視線の角度に合わせて３Ｄコンテンツの表示をリアルタイムで制御することで、あたかもディスプレイ上の空間に物体（３Ｄオブジェクト１０４）が存在するかのような立体映像を再現する公知のディスプレイである。
　ＨＭＤ１２は、コンテンツ取得部（不図示）をさらに備える。コンテンツ取得部は、通信部１３２を介して、ディスプレイモニタ１００および空間再現ディスプレイ１０２に表示された電子コンテンツ（２Ｄコンテンツまたは３Ｄコンテンツ）のデータを取得する。コンテンツ取得部は、ディスプレイモニタ１００および空間再現ディスプレイ１０２から、ディスプレイモニタ１００および空間再現ディスプレイ１０２に表示された電子コンテンツのデータを取得してもよい。または、コンテンツ取得部は、ディスプレイモニタ１００および空間再現ディスプレイ１０２と接続されたサーバから、ディスプレイモニタ１００および空間再現ディスプレイ１０２に表示された電子コンテンツのデータを取得してもよい。
　ＨＭＤ１２の表示制御部５８は、コンテンツ取得部により取得された電子コンテンツに対応するＶＲコンテンツをＨＭＤ１２の表示部１２４に表示させる。具体的には、ＨＭＤ１２の描画部５４は、コンテンツ取得部により取得された電子コンテンツを仮想空間のオブジェクトとして含むＶＲコンテンツのデータを生成してもよい。また、描画部５４は、図１４の視聴ステージで示すように、ディスプレイモニタ１００に対応する仮想ディスプレイモニタ１０８、空間再現ディスプレイ１０２に対応する仮想空間再現ディスプレイ１１０、３Ｄオブジェクト１０４に対応する３Ｄオブジェクト１１２を含むＶＲコンテンツ１０６のデータを生成してもよい。表示制御部５８は、描画部５４により生成されたＶＲコンテンツをＨＭＤ１２の表示部１２４に表示させてもよい。
　第３実施例のＶＲコンテンツ表示システム１０では、ユーザがＶＲ移行を指示する所定の操作を入力装置１６等に入力した場合に、第１実施例と同様のＨＭＤ１２の自動装着シークエンスが実行されてもよい。そして、視聴ステージにおいて、上記のコンテンツ取得部、描画部５４、表示制御部５８の処理が実行されてもよい。
　第３実施例のＶＲコンテンツ表示システム１０によると、ディスプレイモニタ１００または空間再現ディスプレイ１０２に表示された対象物や情報を、ＨＭＤ１２に表示させることができ、言い換えれば、ＶＲ空間のオブジェクトとして表示させることができる。ユーザは、ＨＭＤ１２が提供する制約が少ないＶＲ空間にて、広い視野角と高い解像度で、ディスプレイモニタ１００または空間再現ディスプレイ１０２に表示された対象物や情報を確認でき、ユーザの作業の効率化を支援できる。
　変形例として、収納装置１４が、コンテンツ取得部を備える構成であってもよい。この場合、収納装置１４の描画部３２が、コンテンツ取得部により取得された、ディスプレイモニタ１００および空間再現ディスプレイ１０２に表示された電子コンテンツを仮想空間のオブジェクトとして含むＶＲコンテンツのデータを生成してもよい。ＨＭＤ１２の表示制御部５８は、収納装置１４の描画部３２により生成されたＶＲコンテンツをＨＭＤ１２の表示部１２４に表示させてもよい。
　以上、本発明を第１実施例～第３実施例をもとに説明した。これらの実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上述の実施例において収納装置１４が備えた機能の一部をＨＭＤ１２が備えてもよい。逆に、上述の実施例においてＨＭＤ１２が備えた機能の一部を収納装置１４が備えてもよい。
　上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
　上述した実施例および変形例に記載の技術は、以下の各項目に記載の態様によって特定されてもよい。
［項目１］
　ユーザの瞳の位置を検出する第１検出部を備えるヘッドマウントディスプレイと、
　前記ヘッドマウントディスプレイを収納可能な収納部と、
　前記ヘッドマウントディスプレイが前記収納部から取り出されたことを契機に、前記第１検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する位置判定部と、
　前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させる表示制御部と、
　を備える仮想現実コンテンツ表示システム。
　このシステムによると、ＨＭＤを収納部に格納可能であることにより、ＶＲコンテンツ未視聴時にＨＭＤが邪魔になってしまうことを回避できる。また、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してＶＲコンテンツを迅速に提示でき、ＶＲコンテンツ視聴までのユーザの待ち時間を低減できる。
［項目２］
　前記ユーザの頭部の位置を検出する第２検出部と、
　前記第２検出部により検出された前記ユーザの頭部の位置に基づいて、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる装着支援部と、をさらに備える、　項目１に記載の仮想現実コンテンツ表示システム。
　このシステムによると、ＶＲコンテンツを視聴するためのユーザの作業量を低減できる。
［項目３］
　前記第２検出部は、前記ユーザの頭部周りのクリアランスをさらに検出し、
　前記装着支援部は、前記ユーザの頭部周りのクリアランスが所定の閾値以上である場合に、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる、
　項目２に記載の仮想現実コンテンツ表示システム。
　このシステムによると、ユーザの頭部周りに十分なクリアランスがあることを条件としてＨＭＤを自動装着させることにより、ＨＭＤ自動装着の失敗を抑制でき、また、その安全性を高めることができる。
［項目４］
　前記ユーザの頭部の位置を検出する第２検出部と、
　前記仮想現実コンテンツの表示中に前記ユーザの頭部の位置が所定の適正範囲を逸脱した場合、前記ユーザの頭部から前記ヘッドマウントディスプレイを自動で取り外す取り外し支援部と、をさらに備える、
　項目１から３のいずれかに記載の仮想現実コンテンツ表示システム。
　このシステムによると、ＶＲコンテンツの視聴終了時のユーザの作業を低減できる。
［項目５］
　仮想空間における前記ユーザの視点に基づいて、前記仮想現実コンテンツのデータを生成する描画部と、
　現実空間における前記ユーザの上下方向の動きをアシストするアシスト部と、をさらに備え、
　前記描画部は、前記現実空間における前記ユーザの上下方向の動きに応じて、前記仮想空間における前記ユーザの視点を変化させる、
　項目１から４のいずれかに記載の仮想現実コンテンツ表示システム。
　このシステムによると、ユーザの身体性を維持したＶＲコンテンツの視聴を実現でき、ＶＲコンテンツ視聴の興趣を向上させることができる。
［項目６］
　前記ヘッドマウントディスプレイとは異なる表示装置に表示された電子コンテンツのデータを取得する取得部をさらに備え、
　前記表示制御部は、前記電子コンテンツに対応する仮想現実コンテンツを前記ヘッドマウントディスプレイに表示させる、
　項目１から５のいずれかに記載の仮想現実コンテンツ表示システム。
　このシステムによると、上記異なる表示装置とＨＭＤとの連携により、ユーザの作業をＶＲコンテンツを用いて効果的に支援でき、また、ＨＭＤの使用用途を拡張できる。
［項目７］
　ユーザの瞳の位置を検出する第１検出部を備えるヘッドマウントディスプレイが収納部から取り出されたことを契機に、前記第１検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始するステップと、
　前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させるステップと、
　をコンピュータが実行する仮想現実コンテンツ表示方法。
　この方法によると、ＨＭＤを収納部に格納可能であることにより、ＶＲコンテンツ未視聴時にＨＭＤが邪魔になってしまうことを回避できる。また、収納部から取り出したヘッドマウントディスプレイを装着したユーザに対してＶＲコンテンツを迅速に提示でき、ＶＲコンテンツ視聴までのユーザの待ち時間を低減できる。
　本発明は、仮想現実コンテンツを表示するシステムや装置に適用することができる。
　１０　ＶＲコンテンツ表示システム、　１２　ＨＭＤ、　１４　収納装置、　３２　描画部、　４２　頭部位置検出部、　４４　クリアランス検出部、　４６　装着支援部、　４８　アイトラッキング部、　５４　描画部、　５８　表示制御部、　６０　取り外し支援部、　８２　アシスト部。

Claims (7)

  1. 　ユーザの瞳の位置を検出する第１検出部を備えるヘッドマウントディスプレイと、
    　前記ヘッドマウントディスプレイを収納可能な収納部と、
    　前記ヘッドマウントディスプレイが前記収納部から取り出されたことを契機に、前記第１検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始する位置判定部と、
    　前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させる表示制御部と、
    　を備える仮想現実コンテンツ表示システム。
  2. 　前記ユーザの頭部の位置を検出する第２検出部と、
    　前記第２検出部により検出された前記ユーザの頭部の位置に基づいて、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる装着支援部と、をさらに備える、　請求項１に記載の仮想現実コンテンツ表示システム。
  3. 　前記第２検出部は、前記ユーザの頭部周りのクリアランスをさらに検出し、
    　前記装着支援部は、前記ユーザの頭部周りのクリアランスが所定の閾値以上である場合に、前記ユーザの頭部に前記ヘッドマウントディスプレイを自動で装着させる、
    　請求項２に記載の仮想現実コンテンツ表示システム。
  4. 　前記ユーザの頭部の位置を検出する第２検出部と、
    　前記仮想現実コンテンツの表示中に前記ユーザの頭部の位置が所定の適正範囲を逸脱した場合、前記ユーザの頭部から前記ヘッドマウントディスプレイを自動で取り外す取り外し支援部と、をさらに備える、
    　請求項１に記載の仮想現実コンテンツ表示システム。
  5. 　仮想空間における前記ユーザの視点に基づいて、前記仮想現実コンテンツのデータを生成する描画部と、
    　現実空間における前記ユーザの上下方向の動きをアシストするアシスト部と、をさらに備え、
    　前記描画部は、前記現実空間における前記ユーザの上下方向の動きに応じて、前記仮想空間における前記ユーザの視点を変化させる、
    　請求項１から４のいずれかに記載の仮想現実コンテンツ表示システム。
  6. 　前記ヘッドマウントディスプレイとは異なる表示装置に表示された電子コンテンツのデータを取得する取得部をさらに備え、
    　前記表示制御部は、前記電子コンテンツに対応する仮想現実コンテンツを前記ヘッドマウントディスプレイに表示させる、
    　請求項１から４のいずれかに記載の仮想現実コンテンツ表示システム。
  7. 　ユーザの瞳の位置を検出する第１検出部を備えるヘッドマウントディスプレイが収納部から取り出されたことを契機に、前記第１検出部により検出された、前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が所定の適正位置にあるか否かの判定を開始するステップと、
    　前記ヘッドマウントディスプレイを装着した前記ユーザの瞳の位置が前記適正位置にあると判定されたことを契機に、前記ヘッドマウントディスプレイにおける仮想現実コンテンツの表示を開始させるステップと、
    　をコンピュータが実行する仮想現実コンテンツ表示方法。
PCT/JP2022/022808 2022-06-06 2022-06-06 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 Ceased WO2023238197A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/022808 WO2023238197A1 (ja) 2022-06-06 2022-06-06 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法
US18/863,365 US12596431B2 (en) 2022-06-06 2022-06-06 Virtual reality content display system and virtual reality content display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/022808 WO2023238197A1 (ja) 2022-06-06 2022-06-06 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法

Publications (1)

Publication Number Publication Date
WO2023238197A1 true WO2023238197A1 (ja) 2023-12-14

Family

ID=89118035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/022808 Ceased WO2023238197A1 (ja) 2022-06-06 2022-06-06 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法

Country Status (2)

Country Link
US (1) US12596431B2 (ja)
WO (1) WO2023238197A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09304729A (ja) * 1996-05-15 1997-11-28 Sony Corp 光学視覚装置
WO2015108225A1 (en) * 2014-01-16 2015-07-23 Lg Electronics Inc. Head mounted dispay and method of controlling therefor
JP2017058794A (ja) * 2015-09-14 2017-03-23 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
WO2017051564A1 (ja) * 2015-09-25 2017-03-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US20200134867A1 (en) * 2018-10-29 2020-04-30 Tobii Ab Determination of position of a head-mounted device on a user
CN112083789A (zh) * 2020-09-01 2020-12-15 Oppo广东移动通信有限公司 可穿戴设备的控制方法、装置、存储介质及可穿戴设备
JP2021511564A (ja) * 2018-01-17 2021-05-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP2021516132A (ja) * 2018-03-16 2021-07-01 ファオエル コースター ゲーエムベーハー ウント コー．カーゲーＶＲ Ｃｏａｓｔｅｒ ＧｍｂＨ ＆ Ｃｏ． ＫＧ 娯楽用の乗り物においてヘッドマウントディスプレイを仮想世界と同期するためのベースステーションを備えた同期装置、この種の同期装置を備えた娯楽用の乗り物、およびこの種の娯楽用の乗り物を作動させる方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312558A1 (en) * 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions
KR101860370B1 (ko) * 2016-05-23 2018-05-24 주식회사 토비스 공용 hmd장치 및 이를 구비한 게임기
EP3930318A4 (en) 2019-02-22 2022-10-12 Sony Interactive Entertainment Inc. DISPLAY DEVICE AND IMAGE DISPLAY METHOD
WO2020170455A1 (ja) 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
WO2020170454A1 (ja) 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
US11073906B1 (en) * 2020-01-27 2021-07-27 Valve Corporation Eye tracking system for head-mounted display devices

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09304729A (ja) * 1996-05-15 1997-11-28 Sony Corp 光学視覚装置
WO2015108225A1 (en) * 2014-01-16 2015-07-23 Lg Electronics Inc. Head mounted dispay and method of controlling therefor
JP2017058794A (ja) * 2015-09-14 2017-03-23 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
WO2017051564A1 (ja) * 2015-09-25 2017-03-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2021511564A (ja) * 2018-01-17 2021-05-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP2021516132A (ja) * 2018-03-16 2021-07-01 ファオエル コースター ゲーエムベーハー ウント コー．カーゲーＶＲ Ｃｏａｓｔｅｒ ＧｍｂＨ ＆ Ｃｏ． ＫＧ 娯楽用の乗り物においてヘッドマウントディスプレイを仮想世界と同期するためのベースステーションを備えた同期装置、この種の同期装置を備えた娯楽用の乗り物、およびこの種の娯楽用の乗り物を作動させる方法
US20200134867A1 (en) * 2018-10-29 2020-04-30 Tobii Ab Determination of position of a head-mounted device on a user
CN112083789A (zh) * 2020-09-01 2020-12-15 Oppo广东移动通信有限公司 可穿戴设备的控制方法、装置、存储介质及可穿戴设备

Also Published As

Publication number Publication date
US20250306674A1 (en) 2025-10-02
US12596431B2 (en) 2026-04-07

Similar Documents

Publication Publication Date Title
CA2750287C (en) Gaze detection in a see-through, near-eye, mixed reality display
US8752963B2 (en) See-through display brightness control
CN105408837B (zh) Hmd上的混合世界/身体锁定的hud
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
US20150003819A1 (en) Camera auto-focus based on eye gaze
EP3987355B1 (en) Imaging device with field-of-view shift control
CN105264478A (zh) 全息锚定和动态定位
KR20140059213A (ko) 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
JP2016512626A (ja) ウェアラブルな行動ベース視覚システム
JP6276434B1 (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2023536064A (ja) 交互サンプリングを使用した眼追跡
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP7858786B2 (ja) エクステンデッドリアリティディスプレイシステムの性能を制御するための方法
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2023554490A (ja) 眼鏡に適応可能な視線追跡キット
US10380779B2 (en) Wearable information processing device
US12596431B2 (en) Virtual reality content display system and virtual reality content display method
JP2023125711A (ja) 情報処理装置および床面高さ調整方法
EP4206867B1 (en) Peripheral tracking system and method
US20260079608A1 (en) Information processing apparatus for controlling shooting in metaverse space, control method therefor, and storage medium storing control program therefor
JP2016116066A (ja) 表示装置、及び、表示装置の制御方法
JP2018124989A (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
KR20260000243A (ko) 측면 동공영상을 이용한 시선 추적 방법 및 이를 이용한 웨어러블 장치
HK1183105B (en) See-through display brightness control
HK1180041A1 (zh) 調整混合現實顯示器以供瞳孔間距對準

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945707

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18863365

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22945707

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP

WWP Wipo information: published in national office

Ref document number: 18863365

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 18863365

Country of ref document: US