WO2020203832A1 - 境界表示制御装置、境界表示制御方法及びプログラム - Google Patents

境界表示制御装置、境界表示制御方法及びプログラム Download PDF

Info

Publication number
WO2020203832A1
WO2020203832A1 PCT/JP2020/014178 JP2020014178W WO2020203832A1 WO 2020203832 A1 WO2020203832 A1 WO 2020203832A1 JP 2020014178 W JP2020014178 W JP 2020014178W WO 2020203832 A1 WO2020203832 A1 WO 2020203832A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
boundary
boundary surface
display control
specified
Prior art date
Application number
PCT/JP2020/014178
Other languages
English (en)
French (fr)
Inventor
雄登 早川
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to CN202080022615.8A priority Critical patent/CN113678191A/zh
Priority to US17/441,004 priority patent/US20220152475A1/en
Priority to JP2021512038A priority patent/JP7089114B2/ja
Publication of WO2020203832A1 publication Critical patent/WO2020203832A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a boundary display control device, a boundary display control method, and a program.
  • VR virtual reality
  • the user wearing the HMD when the state of the virtual space is displayed on the display unit, the user wearing the HMD generally cannot visually recognize the state of the real space. Therefore, while maintaining the immersive feeling of the user wearing the HMD whose state of the virtual space is displayed on the display unit, the user is prevented from coming into contact with an object in the real space such as an object placed on the floor or a wall. Technology to prevent is important.
  • an area in the real space where the user is allowed to exist hereinafter referred to as an allowable area
  • an area in the real space where the user is not allowed hereinafter referred to as an unacceptable area
  • the present invention has been made in view of the above circumstances, and one of the purposes thereof is a boundary surface for partitioning an area in a real space where a user is allowed to exist and an area in a real space where the user is not allowed to exist. It is an object of the present invention to provide a boundary display control device, a boundary display control method, and a program capable of reducing a feeling of oppression of a user when a virtual object representing the above is displayed.
  • the boundary display control device is based on a user position specifying unit that specifies the position of a user wearing a head-mounted display and the specified position of the user.
  • Approaching part specifying part that specifies a part of the boundary surface that divides the allowable area, which is the area in the real space where the user is allowed to exist, and the unacceptable area, which is the area in the unacceptable real space, as the approaching part.
  • a display control unit that displays a virtual object representing the specified approaching portion on the head-mounted display.
  • the approaching portion specifying portion specifies a part of the boundary surface whose distance from the specified user's position is shorter than a predetermined distance as the approaching portion.
  • the approach portion specifying unit further includes a reference distance determining unit that determines a reference distance based on the distance between the specified user's position and the boundary surface, and the approaching portion specifying unit is the specified user's position. A part of the boundary surface whose distance from is shorter than the reference distance is specified as the approaching portion.
  • the reference distance determining unit may determine the longer reference distance as the distance between the specified user's position and the boundary surface is shorter.
  • the user position specifying unit specifies the positions of a plurality of sensors associated with different reference distances, and the approaching portion specifying unit is specified for each of the plurality of sensors. A part of the boundary surface whose distance from the position of the sensor is shorter than the reference distance associated with the sensor is specified as the approaching portion.
  • the boundary surface includes a first boundary line having a first height and a second boundary line having a second height, which is the height of the specified position of the user. Including, a part or all of the first boundary line is different from the second boundary line, and the approaching portion specifying portion moves the second boundary line in parallel with the first height. Based on the line and the position of the user, a part of the second boundary line included in the approaching portion is specified.
  • the display control unit further heads a virtual object representing a ripple spreading around a position specified based on the specified position of the user and the boundary surface. Display on the mounted display.
  • the display control unit further determines the edge of the image displayed on the head-mounted display, which is specified based on the specified position of the user and the boundary surface. Highlight a part.
  • the boundary display control method it is allowed that the user exists based on the step of specifying the position of the user wearing the head-mounted display and the position of the specified user.
  • a step of specifying a part of the boundary surface that divides an allowable area, which is an area in the real space, and an unacceptable area, which is an unacceptable area in the real space, as an approach portion, and a virtual object representing the specified approach portion. Is included on the head-mounted display.
  • the program according to the present invention is in a real space where the user is allowed to exist based on the procedure for specifying the position of the user wearing the head-mounted display and the position of the specified user.
  • a procedure for identifying a part of the boundary surface that divides an allowable area, which is an area, and an unacceptable area, which is an unacceptable area in real space, as an approach portion, and a virtual object representing the specified approach portion is a head-mounted display.
  • FIG. 1 is a diagram showing an example of the overall configuration of the entertainment system 10 according to the embodiment of the present invention.
  • FIG. 2A is a diagram showing an example of the configuration of the head-mounted display (HMD) 12 according to the present embodiment.
  • FIG. 2B is a diagram showing an example of the configuration of the entertainment device 14 according to the present embodiment.
  • HMD head-mounted display
  • the entertainment system 10 includes an HMD 12, an entertainment device 14, a relay device 16, a display 18, a camera microphone unit 20, and a controller 22.
  • the HMD 12 includes a processor 30, a storage unit 32, a communication unit 34, an input / output unit 36, a display unit 38, and a sensor unit 40.
  • the processor 30 is a program control device such as a microprocessor that operates according to a program installed in the HMD 12, for example.
  • the storage unit 32 is, for example, a storage element such as a ROM or RAM. A program or the like executed by the processor 30 is stored in the storage unit 32.
  • the communication unit 34 is a communication interface such as a wireless LAN module.
  • the input / output unit 36 is an input / output port such as an HDMI (registered trademark) (High-Definition Multimedia Interface) port or a USB port.
  • HDMI registered trademark
  • High-Definition Multimedia Interface High-Definition Multimedia Interface
  • the display unit 38 is a display such as a liquid crystal display or an organic EL display, and displays an image generated by the entertainment device 14. As shown in FIG. 1, the display unit 38 is arranged in front of the user when the HMD 12 is worn by the user.
  • the display unit 38 may, for example, receive the video signal output by the entertainment device 14 and relayed by the relay device 16 and output the video represented by the video signal.
  • the display unit 38 according to the present embodiment can display a three-dimensional image by displaying, for example, an image for the left eye and an image for the right eye.
  • the display unit 38 may be one that cannot display a three-dimensional image and can only display a two-dimensional image.
  • the sensor unit 40 is, for example, a sensor such as an acceleration sensor or a motion sensor.
  • the sensor unit 40 may output measurement results such as the posture, rotation amount, and movement amount of the HMD 12 to the processor 30 at a predetermined sampling rate.
  • the entertainment device 14 is a computer such as a game console, a DVD player, a Blu-ray (registered trademark) player, or the like.
  • the entertainment device 14 according to the present embodiment generates video and audio by executing a game program, playing back content, or the like, which is stored, for example, or recorded on an optical disc. Then, the entertainment device 14 according to the present embodiment outputs a video signal representing the generated video and an audio signal representing the generated audio to the display 18 via the relay device 16.
  • the entertainment device 14 includes, for example, as shown in FIG. 2B, a processor 50, a storage unit 52, a communication unit 54, and an input / output unit 56.
  • the processor 50 is, for example, a program control device such as a CPU that operates according to a program installed in the entertainment device 14.
  • the processor 50 according to the present embodiment also includes a GPU (Graphics Processing Unit) that draws an image in a frame buffer based on graphics commands and data supplied from the CPU.
  • GPU Graphics Processing Unit
  • the storage unit 52 is, for example, a storage element such as a ROM or RAM, a hard disk drive, or the like.
  • a program or the like executed by the processor 50 is stored in the storage unit 52. Further, in the storage unit 52 according to the present embodiment, an area of a frame buffer in which an image is drawn by the GPU is secured.
  • the communication unit 54 is a communication interface such as a wireless LAN module.
  • the input / output unit 56 is an input / output port such as an HDMI (registered trademark) (High-Definition Multimedia Interface) port and a USB port.
  • HDMI registered trademark
  • USB Universal Serial Bus
  • the relay device 16 is a computer including, for example, a control circuit, an image processing circuit, a control unit such as a voice processing circuit, a storage unit such as a memory, and the like.
  • the relay device 16 relays the video signal and the audio signal output from the entertainment device 14 and outputs them to the HMD 12 and the display 18.
  • the display 18 is, for example, a liquid crystal display or the like, and displays an image represented by an image signal output from the entertainment device 14.
  • the camera microphone unit 20 is, for example, a microphone that acquires a camera 20a that outputs an image of a subject to the entertainment device 14 and surrounding sounds, converts the sound into voice data, and outputs the sound to the entertainment device 14. Contains 20b.
  • the camera 20a according to this embodiment is a stereo camera.
  • the HMD 12 and the relay device 16 can transmit and receive data wirelessly.
  • the HMD 12 and the relay device 16 may be connected via a wire such as an HDMI cable or a USB cable.
  • the entertainment device 14 and the relay device 16 are connected via, for example, an HDMI cable or a USB cable.
  • the relay device 16 and the display 18 are connected via, for example, an HDMI cable or the like.
  • the entertainment device 14 and the camera microphone unit 20 are connected via, for example, an AUX cable or the like.
  • the controller 22 is an operation input device for performing operation input to the entertainment device 14.
  • the entertainment system 10 according to the present embodiment includes two controllers 22. Further, the controller 22 is provided with a plurality of buttons. The user can perform various operations using the controller 22 by pressing a button provided on the controller 22 or changing the position or posture of the controller 22 while holding the controller 22 in each of the left and right hands. You can enter.
  • the controller 22 outputs the input data associated with the operation input to the entertainment device 14.
  • the controller 22 according to the present embodiment includes a wireless communication module and the like, and can wirelessly transmit input data to the communication unit 54 of the entertainment device 14.
  • the controller 22 may include a sensor such as an acceleration sensor or a motion sensor, for example. Then, the sensor may output input data indicating measurement results such as the posture, rotation amount, and movement amount of the controller 22 to the entertainment device 14 or the HMD 12 at a predetermined sampling rate.
  • the input data received by the HMD 12 may be used for processing executed by the processor 30 of the HMD 12. Further, the input data received by the HMD 12 may be transmitted to the entertainment device 14 together with the data indicating the measurement result output from the sensor unit 40 of the HMD 12. Then, the processor 50 of the entertainment device 14 may execute the process using the input data and the data indicating the measurement result.
  • the position of the controller 22 is specified.
  • the position of the controller 22 may be specified by tracking in a so-called outside-in method.
  • the camera 20a included in the camera microphone unit 20 may output an image taken by the controller 22 to the entertainment device 14 at a predetermined sampling rate. Then, the entertainment device 14 may specify the position of the controller 22 based on the image of the controller 22 taken.
  • the position of the controller 22 may be specified by tracking in a so-called inside-out method.
  • the sensor unit 40 of the HMD 12 may further include a plurality of cameras. Then, the plurality of cameras may generate an image of the controller 22 operated by the user at a predetermined sampling rate. Then, the relative position of the controller 22 with respect to the HMD 12 may be calculated from the image taken by the controller 22. Then, the entertainment device 14 may specify the absolute position of the controller 22 based on the position and orientation of the HMD 12 measured by the sensor unit 40 and the calculated relative position.
  • the position of the controller 22 may be specified by the HMD 12 or the relay device 16 instead of the entertainment device 14.
  • controller 22 may be provided with a light emitting member such as an LED. Then, the position and orientation of the controller 22 may be specified based on the image taken by the camera included in the camera 20a or the HMD 12 of the light emitting member.
  • a moving image showing a state in which the line-of-sight direction 64 is viewed from the viewpoint 62 arranged in the virtual space 60 shown in FIG. 3 is generated.
  • a frame image is generated at a predetermined frame rate.
  • the virtual space 60 shown in FIG. 3 is a virtual three-dimensional space.
  • the positions in the virtual space 60 shown in FIG. 3 are associated with the positions in the real space on a one-to-one basis.
  • the moving image may be generated, for example, in response to the execution of a first-person game program program using virtual reality (VR) technology in the entertainment device 14.
  • VR technology in the present embodiment may be a room-scale VR technology that allows the user to walk around while wearing the HMD 12 and experience as if he / she is moving in the virtual space 60.
  • the position of the viewpoint 62 and the line-of-sight direction 64 change according to the game play situation such as the operation of the controller 22 by the user or an event occurring in the game. Further, for example, the position of the viewpoint 62 and the line-of-sight direction 64 change according to the change in the position and posture of the HMD 12.
  • the content displayed on the display unit 38 of the HMD 12 changes according to the position of the viewpoint 62 and the change in the line-of-sight direction 64.
  • Processing according to the game play situation including updating the position of the viewpoint 62 and the line-of-sight direction 64, generating the frame image, and displaying the frame image, may be executed at the above-mentioned predetermined frame rate.
  • the position of the left hand correspondence point 66 associated with the position of the user's left hand changes according to the operation of the controller 22 held by the user in the left hand or the change in the position or posture of the controller 22.
  • the position of the right hand correspondence point 68 associated with the position of the user's right hand changes according to the operation of the controller 22 held by the user in the right hand or the change in the position or posture of the controller 22.
  • the position of the head of the user wearing the HMD 12 in the real space is associated with the position of the viewpoint 62 in the virtual space 60. Further, the orientation of the head of the user wearing the HMD 12 in the real space is associated with the line-of-sight direction 64 in the virtual space 60. Further, the position of the controller 22 held by the user wearing the HMD 12 in the left hand in the real space is associated with the position of the left hand correspondence point 66 in the virtual space 60. Further, the position in the real space of the controller 22 held by the user wearing the HMD 12 in the right hand is associated with the position of the right hand correspondence point 68 in the virtual space 60.
  • the position and orientation of the head of the user wearing the HMD 12 in the real space may be specified, for example, based on the measurement result by the sensor unit 40. Further, the position of the controller 22 in the real space may be specified based on the measurement result by the sensor included in the controller 22.
  • the position and orientation of the head of the user wearing the HMD 12 in the real space, and the position of the controller 22 may be specified based on, for example, an image taken by the camera 20a included in the camera microphone unit 20.
  • the position and orientation of the user's head in the real space and the position of the controller 22 may be specified based on the images captured by a plurality of cameras included in the sensor unit 40 of the HMD 12.
  • the position of the controller 22 may be specified by using an object recognition algorithm executed by the HMD 12, the entertainment device 14, or the relay device 16.
  • the user wearing the HMD 12 When the state of the virtual space 60 is displayed on the display unit 38 in the VR technology, the user wearing the HMD 12 generally cannot visually recognize the state of the real space. Therefore, it is important to maintain the immersive feeling of the user wearing the HMD 12 whose state of the virtual space 60 is displayed on the display unit 38, and to prevent the user from coming into contact with an object in the real space.
  • the present embodiment it is possible to set a boundary surface that divides the area in the real space where the user is allowed to exist and the area in the real space where the user is not allowed to exist.
  • the area in the real space where the user is allowed to exist is referred to as an allowable area.
  • the area in the real space where the user is not allowed to exist is called an unacceptable area.
  • the user will, for example, play a first-person view game within the permissible range.
  • the virtual object representing the boundary surface set in the real space is arranged in the virtual space 60 as shown in FIG.
  • the virtual object will be referred to as a boundary surface object 70.
  • the boundary surface object 70 is arranged at a position in the virtual space 60 associated with the position where the boundary surface is set in the real space.
  • a grid-like texture composed of a plurality of lines extending in the height direction and a plurality of lines extending in the horizontal direction may be pasted.
  • the boundary surface object 70 is displayed on the display unit 38 included in the HMD 12.
  • the approach area object 72 that is a part of the boundary surface object 70 may be specified.
  • the specified approach area object 72 may be displayed.
  • the rest of the boundary surface object 70 other than the approach area object 72 may be hidden.
  • the virtual object representing the rest of the boundary surface object 70 other than the approach area object 72 will be referred to as an external area object 74. That is, the boundary surface object 70 according to the present embodiment includes the approach area object 72 and the external area object 74.
  • FIG. 4 shows a position P in the virtual space 60 associated with a user's position in the real space.
  • the position of the HMD 12 represented by the measurement result of the sensor unit 40 may be specified as the position P.
  • the position P corresponds to the position of the viewpoint 62.
  • the position of the controller 22 represented by the measurement result of the sensor included in the controller 22 may be specified as the position P.
  • the position P corresponds to the position of the left-hand correspondence point 66 or the position of the right-hand correspondence point 68.
  • the position P may be specified based on the positions of the two controllers 22.
  • the position of the midpoint between the point in the virtual space 60 associated with the position of the controller 22 held by the user in the left hand and the point in the virtual space 60 associated with the position of the controller 22 held by the user in the right hand is the position. It may be specified as P.
  • FIG. 5 is a diagram schematically showing an example of the relationship between the position P and the approach area object 72.
  • FIG. 5 shows a sphere 76 having a radius r centered on the position P. Then, in the present embodiment, for example, the area included in the sphere 76, which is an area occupying a part of the boundary surface object 70, is specified as the approach area object 72.
  • the distance between the position P in the virtual space 60 and the boundary surface object 70 corresponds to the distance between the user's position and the boundary surface in the real space.
  • the radius r may be a predetermined value.
  • the approach area object 72 is a virtual object representing a part of the boundary surface whose distance from the user's position is shorter than a predetermined distance.
  • the radius r may be determined based on the distance between the user's position and the boundary surface.
  • the radius r in this case will be referred to as a reference distance.
  • the shorter the distance between the user's position and the boundary surface the longer the reference distance may be determined.
  • the approach area object 72 is a virtual object representing a part of the boundary surface whose distance from the user's position is shorter than the reference distance. In this way, the area emphasized as the user's position approaches the boundary surface becomes the approach area object 72 as compared with the case where the reference distance is constant regardless of the distance between the user's position and the boundary surface. Be identified. Therefore, the user can more easily recognize that the boundary surface is approaching.
  • the correspondence between the distance between the user's position and the boundary surface and the reference distance may differ depending on the type of sensor.
  • the reference distance associated with the sensor unit 40 of the HMD 12 when the distance between the user's position and the boundary surface is a certain distance may be longer than the reference distance associated with the sensor included in the controller 22. ..
  • an approach region object 72 may be specified that represents a part of the boundary surface whose distance from the position of the sensor is shorter than the reference distance associated with the sensor.
  • the reference distance may be different between the front side and the rear side of the HMD 12.
  • the reference distance for the front side of the HMD 12 may be longer than the reference distance for the rear side of the HMD 12 when the distance between the user's position and the boundary surface is a certain distance.
  • the reference distance for the rear side of the HMD 12 may be longer than the reference distance for the front side of the HMD 12 when the distance between the user's position and the boundary surface is a certain distance.
  • all of the boundary surface objects 70 are included in the sphere 76.
  • all of the boundary surface objects 70 may be specified as approach area objects 72.
  • not all of the interface objects 70 may be included in the sphere 76.
  • all of the boundary surface objects 70 may be specified as external region objects 74.
  • each partial region may be displayed in a display mode according to the distance from the position P.
  • each partial region may be displayed in a color corresponding to the distance from the position P. More specifically, for example, the shorter the distance from the position P to the partial region, the redder the partial region, and the longer the distance from the position P to the partial region, the yellower the partial region may be displayed. Further, the color tone on which the approaching area object 72 is displayed may be different depending on the distance from the position P.
  • the external area object 74 may be displayed.
  • the external region object 74 may be displayed with an opacity (alpha value) according to the distance from the position P to the boundary surface object 70.
  • opacity alpha value
  • 0 may be set as the opacity of the external region object 74.
  • the external area object 74 becomes transparent (invisible).
  • the opacity corresponding to the distance from the position P to the boundary surface object 70 may be set in the external area object 74.
  • the opacity of the external region object 74 may increase as the distance from the position P to the boundary surface object 70 becomes shorter.
  • 1 may be set as the opacity of the external region object 74.
  • the external region object 74 is completely opaque.
  • the second distance may be 0.
  • the display mode of the approach area object 72 and the external area object 74 may be different.
  • the approach area object 72 and the external area object 74 may be displayed in different colors.
  • the entertainment system 10 it is possible to notify the user that the user wearing the HMD 12 is approaching the boundary surface, and as a result, the user can notify the user. It is possible to prevent the device from deviating from the allowable area.
  • the approach area object 72 which is a part of the boundary surface object 70, is displayed, so that the user is oppressed when the boundary surface object 70 is displayed.
  • the feeling can be reduced.
  • the above-mentioned setting surface may be set according to the user's boundary surface setting operation in the real space.
  • FIG. 6 is a functional block diagram showing an example of the functions implemented in the entertainment device 14 according to the present embodiment. It should be noted that the entertainment device 14 according to the present embodiment does not need to be equipped with all the functions shown in FIG. 6, and may be equipped with functions other than the functions shown in FIG.
  • the entertainment device 14 includes a boundary surface setting unit 80, a boundary surface object arrangement unit 82, a program execution unit 84, an approach portion identification unit 86, and a boundary surface.
  • An object update unit 88, a moving image generation unit 90, and a display control unit 92 are included.
  • the boundary surface setting unit 80 and the program execution unit 84 are mainly mounted with the processor 50 and the communication unit 54.
  • the boundary surface object arranging unit 82, the approaching portion specifying unit 86, the boundary surface object updating unit 88, and the moving image generation unit 90 are mainly implemented with the processor 50.
  • the display control unit 92 mainly mounts the processor 50 and the input / output unit 56.
  • the above functions are implemented by executing a program including commands corresponding to the above functions installed in the entertainment device 14 which is a computer on the processor 50.
  • This program is supplied to the entertainment device 14 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.
  • the boundary surface setting unit 80 sets, for example, a boundary surface that divides the above-mentioned allowable area and the above-mentioned unacceptable area.
  • the boundary surface setting unit 80 may set the boundary surface according to the boundary surface setting operation (for example, the operation of the controller 22 by the user) by the user wearing the HMD 12.
  • the boundary surface object arranging unit 82 arranges, for example, the boundary surface object 70 associated with the boundary surface set by the boundary surface setting unit 80 in the virtual space 60.
  • the area occupied by the boundary surface object 70 includes a plurality of partial areas.
  • the boundary surface object 70 may be, for example, a polygon model associated with the boundary surface. Further, as described above, a grid-like texture may be attached to the inside of the polygon included in the boundary surface object 70.
  • the program execution unit 84 executes a program such as a first-person game program. Further, in the present embodiment, the program execution unit 84 specifies, for example, the position of the user wearing the HMD 12.
  • the program execution unit 84 may specify the positions of a plurality of sensors (for example, the position of the sensor unit 40 of the HMD 12 and the position of the sensor included in the controller 22).
  • the program execution unit 84 may determine the position of the viewpoint 62 and the line-of-sight direction 64 based on the position and orientation of the HMD 12 measured by the sensor unit 40 at a predetermined sampling rate. Further, the program execution unit 84 may determine the positions of the left-hand correspondence point 66 and the right-hand correspondence point 68 based on the position of the controller 22 measured by the sensor included in the controller 22 at a predetermined sampling rate.
  • the approaching portion specifying unit 86 specifies a part of the boundary surface as the approaching portion based on, for example, the position of the specified user.
  • the approach area object 72 in the virtual space 60 which is associated with the approach portion in the real space, may be specified.
  • the approaching portion specifying unit 86 may specify a part of the boundary surface whose distance from the user's position is shorter than a predetermined distance as the approaching portion.
  • the approaching portion specifying unit 86 may determine the reference distance based on the distance between the user's position and the boundary surface. Then, the approaching portion specifying unit 86 may specify a part of the boundary surface whose distance from the user's position is shorter than the reference distance as the approaching portion. Here, the shorter the distance between the user's position and the boundary surface, the longer the reference distance may be determined.
  • the approaching portion specifying unit 86 may determine whether or not the user and the boundary surface are close to each other. Then, when the approaching portion specifying unit 86 determines that the user and the boundary surface are close to each other, the approaching portion may be specified. For example, when the distance between the user's position and the boundary surface is shorter than a predetermined distance, the approaching portion may be specified.
  • each of the plurality of sensors may be associated with a reference distance different from each other. Then, the approaching portion specifying unit 86 may specify, for each of the plurality of sensors, a part of the boundary surface whose distance from the position of the sensor is shorter than the reference distance associated with the sensor as the approaching portion.
  • the program execution unit 84 may specify the area occupied by the user's body in the real space based on the result of the image recognition processing for the image captured by the camera 20a. Then, the approaching portion specifying unit 86 may specify the approaching portion based on the contour of the area occupied by the user's body.
  • the boundary surface object update unit 88 sets the opacity of the boundary surface object 70, for example.
  • 1 may be set as the opacity of the approaching region object 72 associated with the approaching portion specified by the approaching portion specifying unit 86, and 0 may be set as the opacity of the external region object 74.
  • the boundary surface object update unit 88 may set a display mode such as the color of the boundary surface object 70. For example, as described above, for each of the partial regions included in the approach area object 72, a color may be set according to the distance between the partial region and the position P.
  • the opacity of the external region object 74 may be set according to the distance from the position P to the boundary surface object 70. Further, the display mode of the approach area object 72 and the external area object 74 may be different. For example, different colors may be set for the approach area object 72 and the external area object 74.
  • the moving image generation unit 90 generates a moving image according to the execution result of the program by the program execution unit 84, such as a moving image according to the game play status. Further, the moving image generation unit 90 may generate a moving image showing a state in which the line-of-sight direction 64 is viewed from the viewpoint 62 arranged in the virtual space 60. Here, for example, a frame image may be generated at a predetermined frame rate. Further, the moving image generation unit 90 adds the boundary surface object 70 to an image of the virtual space 60 viewed from the viewpoint 62 toward the line-of-sight direction 64 when part or all of the boundary surface object 70 is not transparent (invisible). A frame image in which a part or all of the images of the above are superimposed may be generated.
  • the display control unit 92 causes the display unit 38 to display a moving image showing a state in which the line-of-sight direction 64 is viewed from the viewpoint 62 arranged in the virtual space 60, for example.
  • the display control unit 92 may transmit the moving image to the HMD 12 via the relay device 16. Then, the moving image received by the HMD 12 may be displayed on the display unit 38.
  • the display control unit 92 causes the display unit 38 of the HMD 12 to display the approach area object 72 representing the specified approach portion. Further, the display control unit 92 may further display the external area object 74 representing the rest of the boundary surface. For example, the display control unit 92 may display the approach area object 72 and the external area object 74 on the display unit 38 of the HMD 12 in different display modes. For example, the display control unit 92 may display the approach area object 72 and the external area object 74 so that the opacity of the approach area object 72 is larger than the opacity of the external area object 74. Further, for example, the display control unit 92 and the external area object 74 may be displayed in different colors.
  • the display control unit 92 causes the display unit 38 to display the moving image generated by the moving image generating unit 90, for example.
  • the frame image generated by the moving image generation unit 90 may be displayed on the display unit 38 at a predetermined frame rate.
  • the program execution unit 84 determines the position of the viewpoint 62, the line-of-sight direction 64, the position of the left-hand correspondence point 66, and the position of the right-hand correspondence point 68 in this frame (S101).
  • the determination in the process shown in S101 may be executed based on, for example, the position and orientation of the HMD 12 measured by the sensor unit 40 of the HMD 12, and the position of the controller 22 measured by the sensor included in the controller 22.
  • the approaching portion specifying unit 86 determines the approaching area object based on the position of the viewpoint 62, the position of the left-handed corresponding point 66, and the position of the right-handed corresponding point 68, which are determined by the process shown in S101. 72 is specified (S102).
  • a plurality of approach area objects 72 may be specified.
  • the boundary surface object update unit 88 sets the opacity (alpha value) of the approach area object 72 and the external area object 74 based on the specific result in the process shown in S102 (S103).
  • the opacity (alpha value) of the approach area object 72 and the external area object 74 does not necessarily have to be updated by the process shown in S103.
  • the moving image generation unit 90 generates a frame image in this frame (S104).
  • a frame image showing a state in which the virtual space 60 is viewed from the position of the viewpoint 62 determined by the process shown in S101 toward the line-of-sight direction 64 is generated. If all of the boundary surface objects 70 are not transparent (invisible), the frame image includes an image of the approaching area object 72 and an image of the external area object 74.
  • the display control unit 92 displays the frame image generated by the process shown in S104 on the display unit 38 of the HMD 12 (S105), and returns to the process shown in S101.
  • the shape of the boundary surface object 70 does not have to be a rectangular parallelepiped shape as shown in FIGS. 3 and 4.
  • the shape of the boundary surface object 70 may be different depending on the height, for example, as shown in FIG.
  • the height of the position P specified here from the reference plane is h1.
  • the boundary surface having a wider allowable region than the range where the height from the reference plane is lower than h2 is set.
  • a part or all of the boundary line having a height higher than h2 may be different from the boundary line having a height lower than h2.
  • the approaching portion specifying portion 86 is included in the approaching portion from the boundary line based on the line obtained by translating the boundary line having a height lower than h2 to the height h1 and the position P.
  • the part may be specified.
  • the distance between the position P and the line obtained by translating the boundary line having a height lower than h2 to the height h1 is L1.
  • the width L2 of the approach area object 72 set to a height lower than h2 may be determined based on the distance L1.
  • the approach area object 72 may be set symmetrically with respect to the position having the shortest distance from the position P in a height range lower than h2.
  • 0 when the distance L1 is longer than a predetermined distance, 0 may be determined as the width L2 of the approach area object 72. Then, when the distance L1 is shorter than a predetermined distance, the width L2 may be determined so that the shorter the distance L1, the longer the distance L1.
  • the senor may not be provided on the user's foot. Even in such a case, by doing the above, it is possible to notify the user that the foot is approaching the boundary surface, for example, based on the position of the sensor unit 40 of the HMD 12.
  • the threshold value of the length between the position P and the boundary surface object 70 regarding whether or not the approach area object 72 is set may be different depending on the height.
  • the approach area object 72 may be set when the distance between the position P and the boundary surface object 70 is L3 or less. In this case, for a height lower than h2, when the distance between the boundary line moved in parallel to the height h1 and the position P is L4 or less (where L4 is larger than L3), the approach is made.
  • the area object 72 may be set.
  • the approach position 94 may be specified based on the user's position and the boundary surface.
  • the position in the virtual space 60 associated with the user's position may be specified as the approach position 94.
  • the position on the boundary surface object 70 associated with the position on the boundary surface closest to the user's position is set as the approach position 94. It may be specified.
  • the display control unit 92 may display the ripple object 96, which is a virtual object representing the ripples spreading around the approach position 94, on the display unit 38 of the HMD 12.
  • the radius of the ripple object 96 may gradually increase as time passes.
  • the ripple object 96 may be a virtual object representing ripples that are isotropically spread three-dimensionally in the virtual space 60. Further, the ripple object 96 may be a virtual object representing ripples spreading in a plane along the boundary surface object 70. In this way, even if the user approaches the boundary surface in a region outside the visual field range when the line-of-sight direction 64 is viewed from the viewpoint 62, the user can recognize that the user is approaching the boundary surface.
  • the display control unit 92 may highlight a part of the edge of the image displayed on the display unit 38 of the HMD 12, which is specified based on the position and the boundary surface of the user. For example, when it is determined that the left side of the user is close to the boundary surface object 70, as shown in FIG. 10, the display control unit 92 displays an image on which the emphasized image 98 is superimposed on the left side of the HMD 12. It may be displayed on 38.
  • the emphasized image 98 may be a band-shaped image represented by an enhanced color such as red.
  • the display control unit 92 displays an image on which the emphasized image 98 is superimposed on the right side on the display unit 38 of the HMD 12. You may let me.
  • the display control unit 92 causes the display unit 38 of the HMD 12 to display an image in which the emphasized image 98 is superimposed on the four sides of the top, bottom, left, and right. You may.
  • images of ripples from the four corners of the screen toward the center may be displayed on the display unit 38 of the HMD 12.
  • the display control unit 92 may determine whether or not the displayed image includes the image of the approach area object 72. Then, when it is determined that the displayed image does not include the image of the approaching area object 72, the display control unit 92 displays the ripple object 96 shown in FIG. 9 and the highlighted image 98 shown in FIG. May be good.
  • an image indicating a warning may be displayed on the entire screen displayed on the display unit 38.
  • a predetermined warning sound or a specific voice warning sound such as "Be careful because you are approaching the boundary” is supplemented from the HMD12. It may be output to.
  • a character string indicating a warning such as "Please note that the boundary surface object 70 is approaching" is auxiliaryly displayed on the display unit 38 of the HMD 12. You may do so.
  • a character string indicating a warning may be displayed from the display unit 38 of the HMD 12, and a voice such as a warning sound may be output from the HMD 12.
  • the positions of the user's hands and feet in the real space may be tracked based on the result of the image recognition processing for the image captured by the camera 20a. Then, when the tracked hand or foot approaches the boundary surface object 70, a part or all of the boundary surface object 70 may be displayed on the display unit 38 included in the HMD 12. Further, when the tracked hand or foot approaches the boundary surface object 70, an image indicating the warning as described above may be displayed or a warning sound may be output. By doing so, for example, even when only the user's foot approaches the boundary surface object 70, the user can be notified of this. Further, by tracking the hand, the user may be able to perform the above-mentioned boundary surface setting operation without using the controller 22. For example, the above-mentioned boundary surface setting operation may be performed by the user performing an operation of sticking out the index finger.
  • the present invention is not limited to the above-described embodiment.
  • the HMD 12 may be equipped with a camera. Then, the approaching portion specifying unit 86 may determine that the user has excessively approached the boundary surface or that the user has moved to an unacceptable area outside the boundary surface. Then, when such a determination is made, the image captured by the camera included in the HMD 12 may be displayed on the display unit 38 of the HMD 12, and the execution of the game program may be suspended.
  • the division of roles of the HMD 12, the entertainment device 14, and the relay device 16 is not limited to the above.
  • some or all of the functions shown in FIG. 7 may be implemented by the HMD 12.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ユーザが存在することが許容される実空間内の領域と許容されない実空間内の領域とを区画する境界面を表す仮想オブジェクトが表示される際のユーザの圧迫感を低減できる境界表示制御装置、境界表示制御方法及びプログラムを提供する。プログラム実行部（８４）は、ヘッドマウントディスプレイを装着しているユーザの位置を特定する。接近部分特定部（８６）は、特定されるユーザの位置に基づいて、ユーザが存在することが許容される実空間内の領域である許容領域と許容されない実空間内の領域である不許容領域とを区画する境界面の一部を接近部分として特定する。表示制御部（９２）は、特定される接近部分を表す仮想オブジェクトをヘッドマウントディスプレイに表示させる。

Description

境界表示制御装置、境界表示制御方法及びプログラム
　本発明は、境界表示制御装置、境界表示制御方法及びプログラムに関する。
　ヘッドマウントディスプレイ（ＨＭＤ）が備える表示部に仮想空間の様子を表示させるバーチャルリアリティ（ＶＲ）の技術が存在する。
　ＶＲの技術において仮想空間の様子が表示部に表示されている際には、一般的に、ＨＭＤを装着しているユーザは実空間の様子を視認できない。そのため仮想空間の様子が表示部に表示されているＨＭＤを装着しているユーザの没入感を維持しつつ、当該ユーザが床に配置された物体や壁などといった実空間の物体と接触することを防ぐ技術が重要となる。
　このような技術の一例として、当該ユーザが存在することが許容される実空間内の領域（以下、許容領域と呼ぶ。）と許容されない実空間内の領域（以下、不許容領域と呼ぶ。）とを区画する境界面を設定する技術が存在する。この技術によれば、ＨＭＤを装着しているユーザが設定された境界面に接近した際に、当該ＨＭＤが備える表示部に当該境界面を表す仮想オブジェクトが表示される。そのため、物体が配置されていない領域を許容領域に設定することでＨＭＤを装着しているユーザが物体と接触することを防ぐことができる。
　しかし上記の技術では、ＨＭＤを装着しているユーザが設定された当該境界面に近づくと、当該ＨＭＤが備える表示部に当該境界面を表す仮想オブジェクトのすべてが表示される。そのため、特に許容領域が狭い場合においては、表示される仮想オブジェクトによってＨＭＤを装着しているユーザが圧迫感を感じることがある。
　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザが存在することが許容される実空間内の領域と許容されない実空間内の領域とを区画する境界面を表す仮想オブジェクトが表示される際のユーザの圧迫感を低減できる境界表示制御装置、境界表示制御方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る境界表示制御装置は、ヘッドマウントディスプレイを装着しているユーザの位置を特定するユーザ位置特定部と、特定される前記ユーザの位置に基づいて、前記ユーザが存在することが許容される実空間内の領域である許容領域と許容されない実空間内の領域である不許容領域とを区画する境界面の一部を接近部分として特定する接近部分特定部と、特定される前記接近部分を表す仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御部と、を含む。
　本発明の一態様では、前記接近部分特定部は、特定される前記ユーザの位置からの距離が所定の距離よりも短い前記境界面の一部を前記接近部分として特定する。
　あるいは、特定される前記ユーザの位置と前記境界面との間の距離に基づいて、参照距離を決定する参照距離決定部、をさらに含み、前記接近部分特定部は、特定される前記ユーザの位置からの距離が前記参照距離よりも短い前記境界面の一部を前記接近部分として特定する。
　この態様では、前記参照距離決定部は、特定される前記ユーザの位置と前記境界面との間の距離が短いほど長い前記参照距離を決定してもよい。
　また、本発明の一態様では、前記ユーザ位置特定部は、互いに異なる参照距離に対応付けられる複数のセンサの位置を特定し、前記接近部分特定部は、複数の前記センサのそれぞれについて、特定される当該センサの位置からの距離が当該センサに対応付けられる前記参照距離よりも短い前記境界面の一部を前記接近部分として特定する。
　また、本発明の一態様では、前記境界面は、特定される前記ユーザの位置の高さである第１の高さの第１の境界線と第２の高さの第２の境界線とを含み、前記第１の境界線の一部又は全部は、前記第２の境界線と異なり、前記接近部分特定部は、前記第２の境界線を前記第１の高さに平行移動させた線と、前記ユーザの位置とに基づいて、当該第２の境界線のうちから前記接近部分に含まれる一部を特定する。
　また、本発明の一態様では、前記表示制御部は、さらに、特定される前記ユーザの位置と、前記境界面と、に基づいて特定される位置を中心に広がる波紋を表す仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる。
　また、本発明の一態様では、前記表示制御部は、さらに、特定される前記ユーザの位置と、前記境界面と、に基づいて特定される、前記ヘッドマウントディスプレイに表示される画像の縁の一部を強調表示させる。
　また、本発明に係る境界表示制御方法は、ヘッドマウントディスプレイを装着しているユーザの位置を特定するステップと、特定される前記ユーザの位置に基づいて、前記ユーザが存在することが許容される実空間内の領域である許容領域と許容されない実空間内の領域である不許容領域とを区画する境界面の一部を接近部分として特定するステップと、特定される前記接近部分を表す仮想オブジェクトを前記ヘッドマウントディスプレイに表示させるステップと、を含む。
　また、本発明に係るプログラムは、ヘッドマウントディスプレイを装着しているユーザの位置を特定する手順、特定される前記ユーザの位置に基づいて、前記ユーザが存在することが許容される実空間内の領域である許容領域と許容されない実空間内の領域である不許容領域とを区画する境界面の一部を接近部分として特定する手順、特定される前記接近部分を表す仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる手順、をコンピュータに実行させる。
本発明の一実施形態に係るエンタテインメントシステムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。 仮想空間の一例を示す図である。 仮想空間の一例を示す図である。 位置Ｐと接近領域オブジェクトとの関係の一例を模式的に示す図である。 本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。 仮想空間の一例を示す図である。 仮想空間の一例を示す図である。 強調画像の一例を示す図である。
　以下、本発明の一実施形態について、図面を参照しながら説明する。
　図１は、本発明の一実施形態に係るエンタテインメントシステム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。
　図１に示すように、本実施形態に係るエンタテインメントシステム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。
　本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、プロセッサ３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、が含まれる。
　プロセッサ３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
　記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。
　通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。
　入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。
　表示部３８は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。図１に示すように、表示部３８は、ＨＭＤ１２をユーザが装着した際に当該ユーザの眼前に配置される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
　センサ部４０は、例えば、加速度センサやモーションセンサなどのセンサである。センサ部４０は、ＨＭＤ１２の姿勢、回転量、移動量などの計測結果を所定のサンプリングレートで、プロセッサ３０に出力してもよい。
　本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されている、あるいは、光ディスクに記録された、ゲームプログラムの実行やコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由してディスプレイ１８に出力する。
　本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、プロセッサ５０、記憶部５２、通信部５４、入出力部５６が含まれる。
　プロセッサ５０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ５０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
　記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５２には、プロセッサ５０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部５２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
　通信部５４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。
　入出力部５６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。
　本実施形態に係る中継装置１６は、例えば制御回路、画像処理回路、音声処理回路等の制御部、メモリ等の記憶部、などを備えたコンピュータである。中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力する。
　本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
　本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮影した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
　ＨＭＤ１２と中継装置１６とは、例えば、無線によるデータの送受信が互いに可能になっている。なおＨＭＤ１２と中継装置１６とが、ＨＤＭＩケーブルやＵＳＢケーブルなどの有線を介して接続されていてもよい。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
　本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。本実施形態に係るエンタテインメントシステム１０には、２つのコントローラ２２が含まれている。また、コントローラ２２には、複数のボタンが設けられている。ユーザは、左右の手のそれぞれにコントローラ２２を持った状態で、コントローラ２２に設けられたボタンを押下したり、コントローラ２２の位置や姿勢を変えたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。
　そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４の通信部５４に送信できるようになっている。
　また本実施形態に係るコントローラ２２が、例えば、加速度センサやモーションセンサなどのセンサを備えていてもよい。そして当該センサが、コントローラ２２の姿勢、回転量、移動量などの計測結果を示す入力データを、所定のサンプリングレートで、エンタテインメント装置１４、もしくは、ＨＭＤ１２に出力してもよい。ＨＭＤ１２が受け付けた入力データは、ＨＭＤ１２のプロセッサ３０で実行される処理に用いられてもよい。また、ＨＭＤ１２が受け付けた入力データがＨＭＤ１２のセンサ部４０から出力された計測結果を示すデータとともにエンタテインメント装置１４に送信されてもよい。そしてエンタテインメント装置１４のプロセッサ５０が、当該入力データ及び当該計測結果を示すデータを用いた処理を実行してもよい。
　本実施形態では、コントローラ２２の位置の特定が行われる。ここで本実施形態において、いわゆるアウトサイドイン方式でのトラッキングによって、コントローラ２２の位置が特定されてもよい。例えば、カメラマイクユニット２０が備えるカメラ２０ａが、所定のサンプリングレートで、コントローラ２２を撮影した画像をエンタテインメント装置１４に出力してもよい。そしてエンタテインメント装置１４が、コントローラ２２を撮影した当該画像に基づいて、コントローラ２２の位置を特定してもよい。
　また本実施形態において、いわゆるインサイドアウト方式でのトラッキングによって、コントローラ２２の位置が特定されてもよい。ここで例えば、ＨＭＤ１２のセンサ部４０に、さらに、複数のカメラが含まれていてもよい。そして、当該複数のカメラが、所定のサンプリングレートで、ユーザによって操作されるコントローラ２２を撮影した画像を生成してもよい。そしてコントローラ２２を撮影した画像から、ＨＭＤ１２に対するコントローラ２２の相対位置が算出されてもよい。そして、エンタテインメント装置１４が、センサ部４０により計測されるＨＭＤ１２の位置や向きと、算出された相対位置とに基づいて、コントローラ２２の絶対位置を特定してもよい。
　なお、コントローラ２２の位置の特定が、エンタテインメント装置１４ではなくＨＭＤ１２あるいは中継装置１６で行われるようにしてもよい。
　また、コントローラ２２がＬＥＤなどの発光部材を備えていてもよい。そして、カメラ２０ａやＨＭＤ１２が備えるカメラが当該発光部材を撮影した画像に基づいて、コントローラ２２の位置及び向きが特定されるようにしてもよい。
　本実施形態では例えば、図３に示す仮想空間６０に配置されている視点６２から視線方向６４を見た様子を表す動画像が生成される。ここでは例えば、所定のフレームレートでフレーム画像が生成される。また図３に示す仮想空間６０は、仮想三次元空間である。本実施形態では、図３に示す仮想空間６０における位置は、実空間における位置と１対１で対応付けられている。なお、当該動画像は、例えば、エンタテインメント装置１４におけるバーチャルリアリティ（ＶＲ）技術を用いた一人称視点のゲームのプログラムの実行に応じて生成されてもよい。また本実施形態におけるＶＲ技術は、ＨＭＤ１２を装着した状態でユーザが歩き回ることで仮想空間６０の中をあたかも移動しているかのような体験ができる、ルームスケールのＶＲ技術であってもよい。
　視点６２の位置や視線方向６４は、例えばユーザによるコントローラ２２の操作やゲームにおいて発生するイベントなどといったゲームのプレイ状況に応じて変化する。また例えばＨＭＤ１２の位置や姿勢の変化に応じて視点６２の位置や視線方向６４は変化する。そして視点６２の位置や視線方向６４の変化に応じて、ＨＭＤ１２の表示部３８に表示されるコンテンツは変化する。視点６２の位置や視線方向６４の更新、フレーム画像の生成、及び、フレーム画像の表示を含む、ゲームのプレイ状況に応じた処理が、上述の所定のフレームレートで実行されてもよい。
　また、ユーザの左手の位置に対応付けられる左手対応点６６の位置は、ユーザが左手に持つコントローラ２２の操作、あるいは、当該コントローラ２２の位置や姿勢の変化に応じて変化する。また、ユーザの右手の位置に対応付けられる右手対応点６８の位置は、ユーザが右手に持つコントローラ２２の操作、あるいは、当該コントローラ２２の位置や姿勢の変化に応じて変化する。
　ＨＭＤ１２を装着したユーザの頭部の実空間内における位置は、仮想空間６０内における視点６２の位置に対応付けられる。またＨＭＤ１２を装着したユーザの頭部の実空間内における向きは、仮想空間６０内における視線方向６４に対応付けられる。またＨＭＤ１２を装着したユーザが左手に持つコントローラ２２の実空間内における位置は、仮想空間６０内における左手対応点６６の位置に対応付けられる。また、ＨＭＤ１２を装着したユーザが右手に持つコントローラ２２の実空間内における位置は、仮想空間６０内における右手対応点６８の位置に対応付けられる。
　ここでＨＭＤ１２を装着したユーザの頭部の実空間内における位置や向きは、例えば、センサ部４０による計測結果に基づいて特定されてもよい。またコントローラ２２の実空間内における位置は、当該コントローラ２２が備えるセンサによる計測結果に基づいて特定されてもよい。
　またＨＭＤ１２を装着したユーザの頭部の実空間内における位置や向き、並びに、コントローラ２２の位置は、例えば、カメラマイクユニット２０が備えるカメラ２０ａが撮影した画像に基づいて特定されてもよい。あるいは、ＨＭＤ１２のセンサ部４０に含まれる複数のカメラが撮像した画像に基づいて、ユーザの頭部の実空間内における位置や向き、並びに、コントローラ２２の位置が特定されるようにしてもよい。この場合、コントローラ２２の位置の特定が、ＨＭＤ１２、エンタテインメント装置１４、あるいは、中継装置１６で実行される物体認識アルゴリズムを使って行われてもよい。
　ＶＲの技術において仮想空間６０の様子が表示部３８に表示されている際には、一般的に、ＨＭＤ１２を装着しているユーザは実空間の様子を視認できない。そのため仮想空間６０の様子が表示部３８に表示されているＨＭＤ１２を装着しているユーザの没入感を維持しつつ、当該ユーザが実空間の物体と接触することを防ぐ技術が重要となる。
　このことを踏まえ、本実施形態では、ユーザが存在することが許容される実空間内の領域と許容されない実空間内の領域とを区画する境界面を設定できるようにした。以下、ユーザが存在することが許容される実空間内の領域を許容領域と呼ぶこととする。また、ユーザが存在することが許容されない実空間内の領域を不許容領域と呼ぶこととする。ユーザは、例えば一人称視点のゲームを、許容領域内においてプレイすることとなる。
　そして本実施形態では、実空間に設定される境界面を表す仮想オブジェクトが、図３に示すように仮想空間６０内に配置される。以下、当該仮想オブジェクトを、境界面オブジェクト７０と呼ぶこととする。本実施形態では例えば、実空間において境界面が設定された位置に対応付けられる仮想空間６０内における位置に、境界面オブジェクト７０が配置される。境界面オブジェクト７０に含まれるポリゴンの内側には、例えば高さ方向に延伸する複数の線と水平方向に延伸する複数の線から構成される格子状のテクスチャが貼られていてもよい。
　そして、ＨＭＤ１２を装着しているユーザが設定された境界面に接近すると、ＨＭＤ１２が備える表示部３８に境界面オブジェクト７０の一部又は全部が表示される。ここで例えば、図４に示すように、境界面オブジェクト７０の一部である接近領域オブジェクト７２が特定されてもよい。そして特定される接近領域オブジェクト７２が表示されるようにしてもよい。この場合、境界面オブジェクト７０のうちの、接近領域オブジェクト７２以外の残りの部分は表示されないようにしてもよい。以下、境界面オブジェクト７０のうちの、接近領域オブジェクト７２以外の残りの部分を表す仮想オブジェクトを外部領域オブジェクト７４と呼ぶこととする。すなわち、本実施形態に係る境界面オブジェクト７０には、接近領域オブジェクト７２と外部領域オブジェクト７４とが含まれることとなる。
　図４には、実空間におけるユーザの位置に対応付けられる仮想空間６０内の位置Ｐが示されている。ここで例えば、センサ部４０の計測結果が表すＨＭＤ１２の位置が、位置Ｐとして特定されてもよい。この場合は、位置Ｐは、視点６２の位置に相当することとなる。あるいは、コントローラ２２が備えるセンサの計測結果が表すコントローラ２２の位置が、位置Ｐとして特定されてもよい。この場合は、位置Ｐは、左手対応点６６の位置、あるいは、右手対応点６８の位置に相当することとなる。また、位置Ｐが、２つのコントローラ２２の位置に基づいて特定されてもよい。例えば、ユーザが左手に持つコントローラ２２の位置に対応付けられる仮想空間６０内の点とユーザが右手に持つコントローラ２２の位置に対応付けられる仮想空間６０内の点との中点の位置が、位置Ｐとして特定されてもよい。
　図５は、位置Ｐと接近領域オブジェクト７２との関係の一例を模式的に示す図である。図５には、位置Ｐを中心とする半径ｒの球７６が示されている。そして、本実施形態では例えば、境界面オブジェクト７０の一部を占める領域である、球７６に含まれる領域が、接近領域オブジェクト７２として特定される。なお、仮想空間６０内における位置Ｐと境界面オブジェクト７０との間の距離は、実空間内におけるユーザの位置と境界面との間の距離に相当する。
　ここで半径ｒは、所定値であってもよい。この場合は、接近領域オブジェクト７２は、ユーザの位置からの距離が所定の距離よりも短い境界面の一部を表す仮想オブジェクトであることとなる。
　また、例えば、ユーザの位置と境界面との間の距離に基づいて、半径ｒが決定されてもよい。以下、この場合における半径ｒを、参照距離と呼ぶこととする。ここで例えば、ユーザの位置と境界面との間の距離が短いほど長い参照距離が決定されてもよい。この場合は、接近領域オブジェクト７２は、ユーザの位置からの距離が当該参照距離よりも短い境界面の一部を表す仮想オブジェクトであることとなる。このようにすれば、参照距離がユーザの位置と境界面との間の距離によらず一定である場合よりも、ユーザの位置が境界面に近づくほど大きく強調された領域が接近領域オブジェクト７２として特定される。そのため、ユーザは境界面に近づいていることをより認識しやすくなる。
　また例えば、ユーザの位置と境界面との間の距離と参照距離との対応が、センサの種類によって異なっていてもよい。例えば、ユーザの位置と境界面との間の距離がある距離である場合におけるＨＭＤ１２のセンサ部４０に対応付けられる参照距離が、コントローラ２２が備えるセンサに対応付けられる参照距離よりも長くてもよい。
　そして複数のセンサのそれぞれについて、当該センサの位置からの距離が当該センサに対応付けられる参照距離よりも短い境界面の一部を表す接近領域オブジェクト７２が特定されてもよい。
　また、ＨＭＤ１２の前側と後側とで参照距離が異なっていてもよい。ユーザの位置と境界面との間の距離がある距離である場合における、ＨＭＤ１２の前側についての参照距離が、ＨＭＤ１２の後側についての参照距離よりも長くてもよい。あるいは、ユーザの位置と境界面との間の距離がある距離である場合における、ＨＭＤ１２の後側についての参照距離が、ＨＭＤ１２の前側についての参照距離よりも長くてもよい。
　なお、境界面オブジェクト７０のすべてが球７６に含まれる可能性がある。この場合、境界面オブジェクト７０のすべてが接近領域オブジェクト７２として特定されてもよい。また、境界面オブジェクト７０のすべてが球７６に含まれない可能性がある。この場合、境界面オブジェクト７０のすべてが外部領域オブジェクト７４として特定されてもよい。
　また接近領域オブジェクト７２に複数の部分領域が含まれていてもよい。そして各部分領域について、位置Ｐからの距離に応じた表示態様で表示されるようにしてもよい。例えば各部分領域について、位置Ｐからの距離に応じた色で表示されるようにしてもよい。より具体的には例えば、位置Ｐから部分領域までの距離が短いほど当該部分領域は赤く、位置Ｐから部分領域までの距離が長いほど当該部分領域は黄色く表示されるようにしてもよい。また接近領域オブジェクト７２が表示される色調が、位置Ｐからの距離に応じて異なるようにしてもよい。
　また、外部領域オブジェクト７４についても表示されるようにしてもよい。ここで例えば、位置Ｐから境界面オブジェクト７０までの距離に応じた不透明度（アルファ値）で外部領域オブジェクト７４が表示されてもよい。例えば、位置Ｐから境界面オブジェクト７０までの距離が所定の第１の距離よりも長い場合は、外部領域オブジェクト７４の不透明度として０が設定されてもよい。この場合は、外部領域オブジェクト７４は透明（不可視）となる。
　そして、位置Ｐから境界面オブジェクト７０までの距離が第１の距離よりも短い場合は、位置Ｐから境界面オブジェクト７０までの距離に応じた不透明度が外部領域オブジェクト７４に設定されてもよい。ここで位置Ｐから境界面オブジェクト７０までの距離が短くなるほど外部領域オブジェクト７４の不透明度が大きくなるようにしてもよい。そして例えば、位置Ｐから境界面オブジェクト７０までの距離が所定の第２の距離よりも短い場合は、外部領域オブジェクト７４の不透明度として１が設定されてもよい。この場合は、外部領域オブジェクト７４は完全不透明となる。なお第２の距離は０であってもよい。
　また、接近領域オブジェクト７２と外部領域オブジェクト７４との表示態様が異なっていてもよい。例えば、接近領域オブジェクト７２と外部領域オブジェクト７４とが異なる色で表示されるようにしてもよい。
　このようにすることで、本実施形態に係るエンタテインメントシステム１０によれば、ＨＭＤ１２を装着しているユーザが境界面に接近していることを当該ユーザに通知することができ、その結果、ユーザが許容領域から外れることを防ぐことができる。
　また、本実施形態に係るエンタテインメントシステム１０によれば、境界面オブジェクト７０の一部である接近領域オブジェクト７２が表示されるようにすることで、境界面オブジェクト７０が表示される際のユーザの圧迫感を低減できる。
　なお本実施形態において、実空間におけるユーザの境界面設定操作に応じて、上述の設定面が設定されてもよい。
　以下、接近領域オブジェクト７２の表示を中心に、本実施形態に係るエンタテインメント装置１４で実装される機能、及び、本実施形態に係るエンタテインメント装置１４で行われる処理について、さらに説明する。
　図６は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図６に示す機能のすべてが実装される必要はなく、また、図６に示す機能以外の機能が実装されていても構わない。
　図６に示すように、本実施形態に係るエンタテインメント装置１４には、機能的には例えば、境界面設定部８０、境界面オブジェクト配置部８２、プログラム実行部８４、接近部分特定部８６、境界面オブジェクト更新部８８、動画像生成部９０、表示制御部９２、が含まれる。
　境界面設定部８０、プログラム実行部８４は、プロセッサ５０及び通信部５４を主として実装される。境界面オブジェクト配置部８２、接近部分特定部８６、境界面オブジェクト更新部８８、動画像生成部９０は、プロセッサ５０を主として実装される。表示制御部９２は、プロセッサ５０及び入出力部５６を主として実装される。
　そして以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ５０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給される。
　境界面設定部８０は、本実施形態では例えば、上述の許容領域と上述の不許容領域とを区画する境界面を設定する。ここで、境界面設定部８０は、ＨＭＤ１２を装着しているユーザによる境界面設定操作（例えば、ユーザによるコントローラ２２の操作）に応じて、境界面を設定してもよい。
　境界面オブジェクト配置部８２は、本実施形態では例えば、境界面設定部８０が設定する境界面に対応付けられる境界面オブジェクト７０を、仮想空間６０内に配置する。ここで本実施形態では例えば、境界面オブジェクト７０が占める領域には、複数の部分領域が含まれることとする。ここで境界面オブジェクト７０は、例えば境界面に対応付けられるポリゴンモデルであってもよい。また上述のように境界面オブジェクト７０に含まれるポリゴンの内側には、格子状のテクスチャが貼られていてもよい。
　プログラム実行部８４は、本実施形態では例えば、一人称視点のゲームのプログラムなどのプログラムを実行する。またプログラム実行部８４は、本実施形態では例えば、ＨＭＤ１２を装着しているユーザの位置を特定する。ここで例えば、プログラム実行部８４が、複数のセンサの位置（例えば、ＨＭＤ１２のセンサ部４０の位置、及び、コントローラ２２が備えるセンサの位置）を特定してもよい。
　そして例えば、プログラム実行部８４は、所定のサンプリングレートで、センサ部４０により計測されるＨＭＤ１２の位置や向きに基づいて視点６２の位置及び視線方向６４を決定してもよい。またプログラム実行部８４は、所定のサンプリングレートで、コントローラ２２が備えるセンサにより計測されるコントローラ２２の位置に基づいて左手対応点６６及び右手対応点６８の位置を決定してもよい。
　接近部分特定部８６は、本実施形態では例えば、特定されるユーザの位置に基づいて、境界面の一部を接近部分として特定する。ここで例えば、実空間内における接近部分に対応付けられる、仮想空間６０内における接近領域オブジェクト７２が特定されてもよい。
　上述したように、接近部分特定部８６が、ユーザの位置からの距離が所定の距離よりも短い境界面の一部を接近部分として特定してもよい。
　また、接近部分特定部８６が、ユーザの位置と境界面との間の距離に基づいて、参照距離を決定してもよい。そして、接近部分特定部８６が、ユーザの位置からの距離が参照距離よりも短い境界面の一部を接近部分として特定してもよい。ここでユーザの位置と境界面との間の距離が短いほど長い参照距離が決定されるようにしてもよい。
　また、接近部分特定部８６が、ユーザと境界面とが接近しているか否かを判定してもよい。そして、接近部分特定部８６が、ユーザと境界面とが接近していると判定される場合に、接近部分を特定してもよい。例えば、ユーザの位置と境界面との間の距離が所定の距離よりも短い場合に、接近部分が特定されるようにしてもよい。
　また、上述のように、複数のセンサのそれぞれが互いに異なる参照距離に対応付けられていてもよい。そして、接近部分特定部８６が、複数のセンサのそれぞれについて、当該センサの位置からの距離が当該センサに対応付けられる参照距離よりも短い境界面の一部を接近部分として特定してもよい。
　また例えば、プログラム実行部８４は、カメラ２０ａが撮影する画像に対する画像認識処理の結果に基づいて、実空間内においてユーザの体が占める領域を特定してもよい。そして接近部分特定部８６は、ユーザの体が占める領域の輪郭に基づいて、接近部分を特定してもよい。
　境界面オブジェクト更新部８８は、本実施形態では例えば、境界面オブジェクト７０の不透明度を設定する。ここで例えば、接近部分特定部８６が特定する接近部分に対応付けられる接近領域オブジェクト７２の不透明度として１を設定し、外部領域オブジェクト７４の不透明度として０を設定してもよい。
　また境界面オブジェクト更新部８８は、境界面オブジェクト７０の色などの表示態様を設定してもよい。例えば上述のように、接近領域オブジェクト７２に含まれる部分領域のそれぞれについて、当該部分領域と位置Ｐとの間の距離に応じた色を設定してもよい。
　また、上述のように、外部領域オブジェクト７４について、位置Ｐから境界面オブジェクト７０までの距離に応じた不透明度が設定されてもよい。また、接近領域オブジェクト７２と外部領域オブジェクト７４との表示態様が異なっていてもよい。例えば、接近領域オブジェクト７２と外部領域オブジェクト７４とに異なる色が設定されるようにしてもよい。
　動画像生成部９０は、本実施形態では例えば、ゲームのプレイ状況に応じた動画像などといった、プログラム実行部８４によるプログラムの実行結果に応じた動画像を生成する。また動画像生成部９０は、仮想空間６０内に配置された視点６２から視線方向６４を見た様子を表す動画像を生成してもよい。ここで例えば、所定のフレームレートでフレーム画像が生成されてもよい。また動画像生成部９０は、境界面オブジェクト７０の一部又は全部が透明（不可視）でない場合に、視点６２から視線方向６４に向かって仮想空間６０を見た様子の画像に、境界面オブジェクト７０の一部又は全部の画像が重畳されたフレーム画像を生成してもよい。
　表示制御部９２は、本実施形態では例えば、仮想空間６０内に配置された視点６２から視線方向６４を見た様子を表す動画像を表示部３８に表示させる。ここで例えば、表示制御部９２は、中継装置１６を経由してＨＭＤ１２に当該動画像を送信してもよい。そしてＨＭＤ１２が受信した動画像を表示部３８に表示させてもよい。
　また表示制御部９２は、本実施形態では例えば、特定される接近部分を表す接近領域オブジェクト７２をＨＭＤ１２の表示部３８に表示させる。また、表示制御部９２は、さらに、境界面の残りを表す外部領域オブジェクト７４を表示させてもよい。例えば表示制御部９２は、接近領域オブジェクト７２と外部領域オブジェクト７４とを異なる表示態様でＨＭＤ１２の表示部３８に表示させてもよい。例えば、表示制御部９２が、接近領域オブジェクト７２の不透明度が外部領域オブジェクト７４の不透明度より大きくなるよう接近領域オブジェクト７２及び外部領域オブジェクト７４を表示させてもよい。また例えば、表示制御部９２と外部領域オブジェクト７４とを、異なる色で表示させてもよい。
　表示制御部９２は、例えば、動画像生成部９０が生成する動画像を表示部３８に表示させる。例えば、動画像生成部９０が生成するフレーム画像を所定のフレームレートで表示部３８に表示させてもよい。
　ここで、本実施形態に係るエンタテインメント装置１４において行われる処理の流れの一例を、図７に例示するフロー図を参照しながら説明する。図７に示すＳ１０１～Ｓ１０５に示す処理は、所定のフレームレートで繰り返し実行される。本処理例に示す処理が開始される際には、境界面設定部８０による境界面の設定、及び、境界面オブジェクト配置部８２による境界面オブジェクト７０の配置が既に実行されていることとする。
　まず、プログラム実行部８４が、上述したように、本フレームにおける、視点６２の位置、視線方向６４、左手対応点６６の位置、及び、右手対応点６８の位置を決定する（Ｓ１０１）。Ｓ１０１に示す処理における決定は、例えば、ＨＭＤ１２のセンサ部４０により計測されるＨＭＤ１２の位置及び向き、並びに、コントローラ２２が備えるセンサにより計測されるコントローラ２２の位置に基づいて実行されてもよい。
　そして、接近部分特定部８６が、上述したように、Ｓ１０１に示す処理で決定された、視点６２の位置、左手対応点６６の位置、及び、右手対応点６８の位置に基づいて、接近領域オブジェクト７２を特定する（Ｓ１０２）。ここで複数の接近領域オブジェクト７２が特定されてもよい。
　そして、境界面オブジェクト更新部８８が、Ｓ１０２に示す処理での特定結果に基づいて、接近領域オブジェクト７２及び外部領域オブジェクト７４の不透明度（アルファ値）を設定する（Ｓ１０３）。なおＳ１０３に示す処理で接近領域オブジェクト７２及び外部領域オブジェクト７４の不透明度（アルファ値）が必ずしも更新される必要はない。
　そして、動画像生成部９０が、本フレームにおけるフレーム画像を生成する（Ｓ１０４）。ここでは例えば、Ｓ１０１に示す処理で決定された視点６２の位置から視線方向６４に向かって仮想空間６０を見た様子を表すフレーム画像が生成される。境界面オブジェクト７０のすべてが透明（不可視）ではない場合には、当該フレーム画像には、接近領域オブジェクト７２の像や外部領域オブジェクト７４の像が含まれることとなる。
　そして、表示制御部９２が、Ｓ１０４に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。
　なお、境界面オブジェクト７０の形状は、図３や図４に示すような直方体形状である必要はない。境界面オブジェクト７０の形状は、例えば図８に示すような、高さによって異なる形状であってもよい。
　ここで特定される位置Ｐの、基準面からの高さがｈ１であることとする。また、図８の例では、基準面からの高さがｈ２より高い範囲については、基準面からの高さがｈ２より低い範囲よりも許容領域が広い境界面が設定されている。このように、ｈ２より高い高さの境界線の一部又は全部が、ｈ２より低い高さの境界線と異なっていてもよい。
　この場合に、接近部分特定部８６は、ｈ２より低い高さの境界線を高さｈ１に平行移動させた線と、位置Ｐとに基づいて、当該境界線のうちから接近部分に含まれる一部を特定してもよい。例えば図８に示すように、ｈ２より低い高さの境界線を高さｈ１に平行移動させた線と位置Ｐとの間の距離がＬ１であるとする。この場合に、距離Ｌ１に基づいて、ｈ２より低い高さに設定される接近領域オブジェクト７２の幅Ｌ２が決定されてもよい。ここで接近領域オブジェクト７２は、ｈ２より低い高さの範囲について、位置Ｐからの距離が最も近い位置を中心に左右対称に設定されてもよい。ここで例えば、距離Ｌ１が所定の距離よりも長い場合は、接近領域オブジェクト７２の幅Ｌ２として０が決定されてもよい。そして、距離Ｌ１が所定の距離よりも短い場合に、距離Ｌ１が短いほど長くなるよう幅Ｌ２が決定されてもよい。
　例えばユーザの足にセンサが設けられていないことがある。このような場合においても、以上のようにすれば、例えばＨＭＤ１２のセンサ部４０の位置に基づいて、足が境界面に接近していることをユーザに通知できることとなる。
　また例えば、高さに応じて、接近領域オブジェクト７２が設定されるか否かについての、位置Ｐと境界面オブジェクト７０との間の長さの閾値が異なっていてもよい。例えば、高さｈ１においては、位置Ｐと境界面オブジェクト７０との間の距離がＬ３以下である場合に、接近領域オブジェクト７２が設定されるようにしてもよい。そしてこの場合に、ｈ２より低い高さについては、高さｈ１に平行移動させた境界線と位置Ｐとの間の距離がＬ４以下（ここでＬ４はＬ３よりも大きい）である場合に、接近領域オブジェクト７２が設定されるようにしてもよい。
　また本実施形態において、図９に示すように、ユーザの位置と境界面とに基づいて、接近位置９４が特定されてもよい。ここで例えば、ユーザの位置と境界面との間の距離が所定の距離以下である場合における、ユーザの位置に対応付けられる仮想空間６０内における位置が接近位置９４として特定されてもよい。あるいは、ユーザの位置と境界面との間の距離が所定の距離以下である場合における、ユーザの位置に最も近い境界面上の位置に対応付けられる境界面オブジェクト７０上の位置が接近位置９４として特定されてもよい。
　そして表示制御部９２は、接近位置９４を中心に広がる波紋を表す仮想オブジェクトである波紋オブジェクト９６をＨＭＤ１２の表示部３８に表示させてもよい。例えば時間が経過するにしたがって徐々に波紋オブジェクト９６の半径が大きくなるようにしてもよい。
　ここで波紋オブジェクト９６は、図９に示すように、仮想空間６０内を等方に立体的に広がる波紋を表す仮想オブジェクトであってもよい。また波紋オブジェクト９６は、境界面オブジェクト７０に沿って平面的に広がる波紋を表す仮想オブジェクトであってもよい。このようにすれば、視点６２から視線方向６４を見た際の視野範囲外の領域においてユーザが境界面に接近した場合でも、ユーザは境界面に接近していることを認識できることとなる。
　また、表示制御部９２が、ユーザの位置と境界面とに基づいて特定される、ＨＭＤ１２の表示部３８に表示される画像の縁の一部を強調表示させてもよい。例えば、ユーザの左側が境界面オブジェクト７０と接近していると判定される際に、図１０に示すように、表示制御部９２が、左辺に強調画像９８が重畳された画像をＨＭＤ１２の表示部３８に表示させてもよい。ここで強調画像９８は、例えば赤色などの強調色で表現された帯状の画像であってもよい。同様に、例えば、ユーザの右側が境界面オブジェクト７０に接近していると判定される際には、表示制御部９２が、右辺に強調画像９８が重畳された画像をＨＭＤ１２の表示部３８に表示させてもよい。
　また、ユーザの真後ろが境界面オブジェクト７０と接近していると判定される際に、表示制御部９２が、上下左右の四辺に強調画像９８が重畳された画像をＨＭＤ１２の表示部３８に表示させてもよい。あるいはユーザの真後ろが境界面オブジェクト７０と接近していると判定される際に、画面の四隅から中心に向かう波紋の画像がＨＭＤ１２の表示部３８に表示されるようにしてもよい。
　このようにすれば、視点６２から視線方向６４を見た際の視野範囲外の領域においてユーザが境界面に接近した場合でも、ユーザは境界面に接近していることを認識できることとなる。
　なお、表示制御部９２は、表示される画像に接近領域オブジェクト７２の像が含まれるか否かを判定してもよい。そして表示制御部９２は、表示される画像に接近領域オブジェクト７２の像が含まれないと判定される場合に、図９に示す波紋オブジェクト９６や図１０に示す強調画像９８を表示させるようにしてもよい。
　また、ユーザが境界面オブジェクト７０に接近している際に、警告を表す画像が表示部３８に表示される画面の全体に表示されるようにしてもよい。
　また、ユーザが境界面オブジェクト７０に接近している際に、所定の警告音あるいは、「境界に接近していますので注意してください。」などといった具体的な音声による警告音がＨＭＤ１２から補助的に出力されるようにしてもよい。
　また、ユーザが境界面オブジェクト７０に接近している際に、「境界に接近していますので注意してください。」などの警告を表す文字列がＨＭＤ１２の表示部３８に補助的に表示されるようにしてもよい。
　また、ユーザが境界面オブジェクト７０に接近している際に、警告を表す文字列がＨＭＤ１２の表示部３８から表示されるとともに、警告音などの音声がＨＭＤ１２から出力されるようにしてもよい。
　また、本実施形態において、カメラ２０ａが撮影する画像に対する画像認識処理の結果に基づいて、実空間内におけるユーザの手や足の位置がトラッキングされるようにしてもよい。そしてトラッキングされる手や足が境界面オブジェクト７０に接近した際にＨＭＤ１２が備える表示部３８に境界面オブジェクト７０の一部又は全部が表示されるようにしてもよい。また、トラッキングされる手や足が境界面オブジェクト７０に接近した際に上述したような警告を表す画像の表示や警告音の出力が行われるようにしてもよい。このようにすることで、例えば、ユーザの足だけが境界面オブジェクト７０に接近した際にもこのことをユーザに知らせることができる。また、手をトラッキングすることで、コントローラ２２を用いることなく、ユーザが上述の境界面設定操作を行えるようにしてもよい。例えば、ユーザが人差し指を突き出す動作などを行うことで上述の境界面設定操作を行えるようにしてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えばＨＭＤ１２がカメラを備えていてもよい。そして、接近部分特定部８６が、ユーザが境界面に過度に接近したこと、あるいは、ユーザが境界面の外である不許容領域に移動したことを判定してもよい。そしてこのような判定がされた際に、ＨＭＤ１２が備えるカメラが撮影する画像がＨＭＤ１２の表示部３８に表示され、ゲームのプログラムの実行がサスペンドされてもよい。
　また例えばＨＭＤ１２、エンタテインメント装置１４、中継装置１６の役割分担は上述のものに限定されない。例えば図７に示す機能の一部又は全部がＨＭＤ１２によって実装されてもよい。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (10)

  1. 　ヘッドマウントディスプレイを装着しているユーザの位置を特定するユーザ位置特定部と、
    　特定される前記ユーザの位置に基づいて、前記ユーザが存在することが許容される実空間内の領域である許容領域と許容されない実空間内の領域である不許容領域とを区画する境界面の一部を接近部分として特定する接近部分特定部と、
    　特定される前記接近部分を表す仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる表示制御部と、
    　を含むことを特徴とする境界表示制御装置。
  2. 　前記接近部分特定部は、特定される前記ユーザの位置からの距離が所定の距離よりも短い前記境界面の一部を前記接近部分として特定する、
    　ことを特徴とする請求項１に記載の境界表示制御装置。
  3. 　特定される前記ユーザの位置と前記境界面との間の距離に基づいて、参照距離を決定する参照距離決定部、をさらに含み、
    　前記接近部分特定部は、特定される前記ユーザの位置からの距離が前記参照距離よりも短い前記境界面の一部を前記接近部分として特定する、
    　ことを特徴とする請求項１に記載の境界表示制御装置。
  4. 　前記参照距離決定部は、特定される前記ユーザの位置と前記境界面との間の距離が短いほど長い前記参照距離を決定する、
    　ことを特徴とする請求項３に記載の境界表示制御装置。
  5. 　前記ユーザ位置特定部は、互いに異なる参照距離に対応付けられる複数のセンサの位置を特定し、
    　前記接近部分特定部は、複数の前記センサのそれぞれについて、特定される当該センサの位置からの距離が当該センサに対応付けられる前記参照距離よりも短い前記境界面の一部を前記接近部分として特定する、
    　ことを特徴とする請求項１に記載の境界表示制御装置。
  6. 　前記境界面は、特定される前記ユーザの位置の高さである第１の高さの第１の境界線と第２の高さの第２の境界線とを含み、
    　前記第１の境界線の一部又は全部は、前記第２の境界線と異なり、
    　前記接近部分特定部は、前記第２の境界線を前記第１の高さに平行移動させた線と、前記ユーザの位置とに基づいて、当該第２の境界線のうちから前記接近部分に含まれる一部を特定する、
    　ことを特徴とする請求項１から５のいずれか一項に記載の境界表示制御装置。
  7. 　前記表示制御部は、さらに、特定される前記ユーザの位置と、前記境界面と、に基づいて特定される位置を中心に広がる波紋を表す仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる、
    　ことを特徴とする請求項１から６のいずれか一項に記載の境界表示制御装置。
  8. 　前記表示制御部は、さらに、特定される前記ユーザの位置と、前記境界面と、に基づいて特定される、前記ヘッドマウントディスプレイに表示される画像の縁の一部を強調表示させる、
    　ことを特徴とする請求項１から７のいずれか一項に記載の境界表示制御装置。
  9. 　ヘッドマウントディスプレイを装着しているユーザの位置を特定するステップと、
    　特定される前記ユーザの位置に基づいて、前記ユーザが存在することが許容される実空間内の領域である許容領域と許容されない実空間内の領域である不許容領域とを区画する境界面の一部を接近部分として特定するステップと、
    　特定される前記接近部分を表す仮想オブジェクトを前記ヘッドマウントディスプレイに表示させるステップと、
    　を含むことを特徴とする境界表示制御方法。
  10. 　ヘッドマウントディスプレイを装着しているユーザの位置を特定する手順、
    　特定される前記ユーザの位置に基づいて、前記ユーザが存在することが許容される実空間内の領域である許容領域と許容されない実空間内の領域である不許容領域とを区画する境界面の一部を接近部分として特定する手順、
    　特定される前記接近部分を表す仮想オブジェクトを前記ヘッドマウントディスプレイに表示させる手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2020/014178 2019-03-29 2020-03-27 境界表示制御装置、境界表示制御方法及びプログラム WO2020203832A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080022615.8A CN113678191A (zh) 2019-03-29 2020-03-27 边界显示控制设备，边界显示控制方法和程序
US17/441,004 US20220152475A1 (en) 2019-03-29 2020-03-27 Boundary display control device, boundary display control method, and program
JP2021512038A JP7089114B2 (ja) 2019-03-29 2020-03-27 境界表示制御装置、境界表示制御方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019067086 2019-03-29
JP2019-067086 2019-03-29

Publications (1)

Publication Number Publication Date
WO2020203832A1 true WO2020203832A1 (ja) 2020-10-08

Family

ID=72667865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014178 WO2020203832A1 (ja) 2019-03-29 2020-03-27 境界表示制御装置、境界表示制御方法及びプログラム

Country Status (4)

Country Link
US (1) US20220152475A1 (ja)
JP (1) JP7089114B2 (ja)
CN (1) CN113678191A (ja)
WO (1) WO2020203832A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026137A1 (ja) * 2021-08-26 2023-03-02 株式会社半導体エネルギー研究所 表示装置、及び電子機器
JP2023099961A (ja) * 2022-01-04 2023-07-14 株式会社Cygames プログラム、情報処理装置および情報処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017119031A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201203030A (en) * 2010-03-16 2012-01-16 Intel Corp A gaming system with safety features
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
KR101765214B1 (ko) * 2011-07-01 2017-08-04 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 제스처 기반 게임을 위한 안전 설계
ES2656868T3 (es) * 2011-10-05 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositivo portátil, sistema y método de realidad virtual
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
KR20230044041A (ko) * 2013-03-11 2023-03-31 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9332216B2 (en) * 2014-03-12 2016-05-03 Sony Computer Entertainment America, LLC Video frame rate compensation through adjustment of vertical blanking
WO2015142019A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
GB2529192B (en) * 2014-08-12 2017-12-06 Sony Interactive Entertainment Europe Ltd Apparatus and method of user interaction
CN105611267B (zh) * 2014-11-21 2020-12-15 罗克韦尔柯林斯公司 现实世界和虚拟世界图像基于深度和色度信息的合并
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US9814982B2 (en) * 2015-02-25 2017-11-14 Globalfoundries Inc. Mitigating collisions in a physical space during gaming
US9760790B2 (en) * 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
US10191561B2 (en) * 2015-06-15 2019-01-29 Facebook Technologies, Llc Tracking controllers of a virtual reality system
DE102015226580A1 (de) * 2015-12-22 2017-06-22 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US9939635B2 (en) * 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US10159900B2 (en) * 2017-03-17 2018-12-25 Roblox Corporation Avatar teleport controller
US11615596B2 (en) * 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017119031A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Oculus to implement "Guardian", a boundary system that fits into the world of VR", MOGULIVE, OCULUS, [GUARDIAN, 16 September 2016 (2016-09-16), XP055746144, Retrieved from the Internet <URL:https://www.moguravr.com/oculus-guardian> [retrieved on 20200526] *
"Warlock VR - Chaperone Safety System for Virtual Reality", LEFT4PILLZ,, 14 March 2016 (2016-03-14), XP054981064, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=v5qcjJbBwA0> [retrieved on 20200526] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026137A1 (ja) * 2021-08-26 2023-03-02 株式会社半導体エネルギー研究所 表示装置、及び電子機器
JP2023099961A (ja) * 2022-01-04 2023-07-14 株式会社Cygames プログラム、情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JPWO2020203832A1 (ja) 2021-11-18
US20220152475A1 (en) 2022-05-19
CN113678191A (zh) 2021-11-19
JP7089114B2 (ja) 2022-06-21

Similar Documents

Publication Publication Date Title
CN109690633B (zh) 模拟系统、处理方法以及信息存储介质
JP7181316B2 (ja) Ｈｍｄ環境での高速中心窩レンダリングのための予測及びｇｐｕに対する最新の更新を伴う視線追跡
JP7164630B2 (ja) 予測サッカード着地点に基づく動的グラフィックスレンダリング
JP5148660B2 (ja) プログラム、情報記憶媒体及び画像生成システム
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
US20170185148A1 (en) Information processing method and information processing system
WO2018124280A1 (ja) シミュレーションシステム、画像処理方法及び情報記憶媒体
US9219961B2 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
US20240091641A1 (en) Information processing apparatus and user guide presentation method
US11759701B2 (en) System and method for generating user inputs for a video game
JP2011258158A (ja) プログラム、情報記憶媒体及び画像生成システム
US9241231B2 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
WO2020203832A1 (ja) 境界表示制御装置、境界表示制御方法及びプログラム
JP2022125053A (ja) 境界設定装置、境界設定方法及びプログラム
JP6757420B2 (ja) 音声制御装置、音声制御方法及びプログラム
JP7085578B2 (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP5213913B2 (ja) プログラム及び画像生成システム
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP5777332B2 (ja) ゲーム装置、ゲームプログラム、ゲームシステム及びゲーム方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20785308

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021512038

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20785308

Country of ref document: EP

Kind code of ref document: A1