WO2019187862A1 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2019187862A1
WO2019187862A1 PCT/JP2019/006916 JP2019006916W WO2019187862A1 WO 2019187862 A1 WO2019187862 A1 WO 2019187862A1 JP 2019006916 W JP2019006916 W JP 2019006916W WO 2019187862 A1 WO2019187862 A1 WO 2019187862A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
virtual space
information processing
boundary
processing apparatus
Prior art date
Application number
PCT/JP2019/006916
Other languages
English (en)
French (fr)
Inventor
高橋　慧
石川　毅
安田　亮平
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/040,231 priority Critical patent/US11695908B2/en
Priority to JP2020510455A priority patent/JP7355006B2/ja
Priority to CN201980021444.4A priority patent/CN111937045A/zh
Publication of WO2019187862A1 publication Critical patent/WO2019187862A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • VR Virtual Reality
  • HMD head mounted display
  • an image obtained by cutting out a part of a wide-angle image can be presented following the movement of the user's head.
  • the movement of the user's head can be acquired from a gyro sensor or the like, and an image of 360 degrees around the user's head can be realized. It is.
  • a free viewpoint viewing and viewpoint moving environment can be realized.
  • the position tracking technology for recognizing the position of the HMD, when the user moves back and forth and right and left in the actual space, the user can move back and forth and right and left in the virtual space with the same amount of movement, and the immersive feeling is high You can enjoy VR experience.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a recording medium that allow a user to recognize the boundary of the virtual space without destroying the world view of the virtual space.
  • the user's movement is tracked to present an image of the virtual space to the user, and an operation input is performed in which the user approaches the boundary region fixed at a specific position in the virtual space.
  • An information processing apparatus including a control unit that performs distance control to increase the distance between the user's viewpoint and the boundary region in the virtual space is proposed.
  • a processor presents an image of a virtual space to the user by tracking a user's movement, and an operation input for approaching the user toward a boundary region fixed at a specific position in the virtual space. Proposed is an information processing method including performing distance control to increase a distance between the user's viewpoint and the boundary region in the virtual space while being performed.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the system 1 includes a display device 10 that presents an image of a virtual space to a user, a sensor device 20 that follows the movement of the user, and an image of the virtual space that is displayed on the display device 10.
  • Information processing apparatus 30 that controls generation of the image and display control of the image on the display apparatus 10 and a content server 40 that stores content information of the virtual space.
  • the display device 10 is realized by, for example, an HMD attached to the user's head.
  • the HMD has an image display unit for each of the left and right eyes, for example, and is configured to be able to control vision and hearing using headphones. Also, the HMD can project different images to the left and right eyes, and can also display a 3D image by displaying an image with parallax for the left and right eyes.
  • the display device 10 may be a non-wearable display such as a television device, a smartphone, or a tablet terminal.
  • the sensor device 20 is a device that senses real space in order to recognize the position and orientation of the user.
  • the sensor device 20 includes an imaging unit and a sound collection unit.
  • the information processing device 30 acquires content in the virtual space from the content server 40, generates a free viewpoint image from the content according to the user's movement, and provides it to the display device 10.
  • the user's movement includes the position and posture of the user, and the information processing apparatus 30 follows the position and posture of the user based on various sensing data obtained by sensing the user.
  • the information processing device 30 can perform position tracking based on sensing data acquired from the sensor device 20, and can perform head tracking and eye tracking based on sensing data acquired from the display device 10.
  • a method of performing the tracking process by the information processing apparatus 30 will be described, but the present disclosure is not limited to this method.
  • the sensor device 20 may be a tracking device having a position tracking function, or the display device 10 may be configured as a tracking device that performs head tracking and eye tracking.
  • the virtual space content provided to the user is omnidirectional content, free viewpoint content, game content, or the like.
  • the free viewpoint content is a video generated by using a plurality of cameras to generate a video when a virtual camera is placed at an arbitrary position, thereby enabling video viewing from any viewpoint.
  • a person or an object acquired from a plurality of cameras is made into a 3D model, combined, and complemented to allow viewing from any viewpoint including an angle where no camera is present. There are recorded contents and real-time contents.
  • the term “virtual space” refers to a space that an actual user can recognize via one or more display devices.
  • a user can affect objects in the virtual space through one or more user interfaces.
  • a virtual space can be simulated by one or more processors and have rules of interaction including physical laws corresponding to the real space.
  • the virtual space may be regarded as a kind of representation of a virtual work environment that is replaced with a real environment.
  • the term “user interface” refers to an actual device that allows a user to send input to or receive output from the virtual world.
  • the user may be represented by an avatar, or the virtual space world may be displayed from the avatar's viewpoint without displaying the avatar on the display.
  • the user's (or avatar's) viewpoint in the virtual space can be regarded as the field of view of the virtual camera.
  • the “virtual camera” used in this specification refers to a viewpoint in a virtual space, and is used for calculation for drawing a three-dimensional virtual space as a two-dimensional image on a display (display device).
  • the system 1 may further include a remote controller and a game controller for transmitting the user's intention to the system.
  • the user can move the virtual space by position tracking or remote controller.
  • position tracking when the user moves back and forth and right and left in the actual space, the user can move back and forth and left and right with the same amount of movement in the virtual space, and can enjoy a highly immersive VR experience.
  • the content viewed by the user has a limited display area or a limited range in which the user can move.
  • this corresponds to the case where there is no data outside the display area in the free-viewpoint content of live-action (the movable area of the free-viewpoint content is generally limited to a narrow range).
  • CG content corresponds to a case where content is in a room and it is not appropriate to go out of the room.
  • FIG. 2 is a diagram illustrating the boundaries of the virtual space.
  • the virtual space includes an area E1 in which the user can move and an area E2 in which the user cannot move.
  • the position of the user in the real space is tracked using the sensor device 20, and the movement amount of the user in the real space is reflected in the movement amount of the virtual space.
  • FIG. 3 is a graph showing the relationship between the amount of movement of the user in the real space and the amount of movement of the user in the virtual space.
  • the user position in the virtual space is proportional to the movement of the user position in the real space.
  • the first example is an expression method in which the user's viewpoint penetrates the wall 41 when the user's viewpoint collides with the wall 41 in the virtual space.
  • the user's viewpoint moves ahead of the wall, and the virtual space is rendered in black or CG representing the inside of the wall.
  • the positions of the wall 41 and the virtual object 42 in the virtual space do not change.
  • FIG. 5 is a graph showing the relationship between the amount of movement of the user in the real space and the amount of movement of the user in the virtual space in the example shown in FIG.
  • a boundary such as a wall
  • the virtual space is drawn in black or CG, and the world beyond the wall can be seen.
  • the user cannot be strongly aware of the existence of the boundary, and that the view of the world originally possessed by the content before the boundary cannot be maintained.
  • FIG. 6 there is an expression method in which the user's viewpoint cannot advance beyond the wall 41 when the user collides with the wall 41 in the virtual space.
  • the user's viewpoint is not moved beyond the wall in the virtual space. Further, the positions of the wall 41 and the virtual object 42 in the virtual space do not change.
  • FIG. 7 is a graph showing the relationship between the amount of movement of the user in the real space and the amount of movement of the user in the virtual space in the example shown in FIG.
  • the position of the displayed user does not change from the position of the wall.
  • the user since the movement of the user after the collision is not fed back to the user's field of view, the user may recognize that the system is not moving correctly.
  • the expression is the same as when the user moves out of the tracking range. Therefore, even when the user reaches the end of the moving area of the virtual space, it is desirable to notify the user of feedback according to the amount of movement of the user in the real space while the system is operating correctly.
  • the distance between the user's viewpoint in the virtual space and the boundary area is increased. Make a specific expression of. This allows the user to recognize the boundary without destroying the world view of the virtual space.
  • FIG. 8 is a block diagram illustrating an example of the configuration of each device included in the information processing system according to the present embodiment.
  • the display device 10 includes a control unit 11, a light emitting unit 12, a display unit 13, a speaker 14, a sensor unit 15, and a communication unit 16.
  • the display device 10 is used by being mounted on the head of a user who observes an image to be displayed, for example, and transmits information sensed by the sensor unit 15 to the information processing device 30 at a predetermined cycle.
  • the control unit 11 functions as an arithmetic processing device and a control device, and controls the overall operation of the display device 10 according to various programs.
  • the control unit 11 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 11 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the light emitting unit 12 is, for example, one or more LED lights, an infrared light emitting unit, or the like, and is used when performing outside-in position tracking for recognizing the position of the display device 10 using an external camera.
  • the display unit 13 When the display device 10 is configured as an HMD, the display unit 13 includes left and right screens fixed to the left and right eyes of the user, and displays a left-eye image and a right-eye image.
  • the screen of the display unit 13 includes, for example, a display panel such as a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display, or a laser scanning display such as a direct retina display.
  • the display unit 13 includes an imaging optical system that magnifies and projects the display screen and forms an enlarged virtual image having a predetermined angle of view on the user's pupil.
  • the speaker 14 is configured as a headphone worn on the user's head and reproduces an audio signal.
  • the speaker 14 is not limited to the headphone type, and may be configured as an earphone or a bone conduction speaker.
  • the sensor unit 15 includes, for example, a motion sensor configured by combining a plurality of sensors such as a gyro sensor, an acceleration sensor, and a geomagnetic sensor.
  • the sensor unit 15 may be a sensor capable of detecting a total of nine axes, for example, a three-axis gyro sensor, a three-axis acceleration sensor, and a three-axis geomagnetic sensor.
  • the sensor unit 15 may be at least one of a gyro sensor, an acceleration sensor, and a geomagnetic sensor.
  • the data sensed by the sensor unit 15 is periodically transmitted from the communication unit 16 to the information processing device 30 by the control unit 11 and used when calculating the head posture of the user wearing the display device 10.
  • the sensor unit 15 may include a line-of-sight detection sensor that detects the line of sight of the user wearing the display device 10.
  • the line-of-sight detection sensor may be an inward camera such as an infrared sensor (infrared light emitting unit and infrared camera) provided around the display unit 13 positioned in front of the user's eyes, It may be a myoelectric sensor or an electroencephalogram sensor that detects muscle movement.
  • the communication unit 16 is connected to the information processing apparatus 30 by wire or wirelessly and transmits / receives data.
  • the communication unit 16 is connected to the information processing apparatus 30 via a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the configuration of the display device 10 has been specifically described above, but the configuration of the display device 10 according to the present disclosure is not limited to the example illustrated in FIG.
  • a mylophone that acquires a user's voice may be further provided.
  • an outward camera used when performing inside-out position tracking may be further provided.
  • the sensor device 20 includes a control unit 21, an imaging unit 22, a sound collection unit 23, and a communication unit 24.
  • the sensor device 20 is an external sensor installed around the user, and there may be a plurality of sensor devices.
  • the control unit 21 functions as an arithmetic processing device and a control device, and controls the overall operation of the sensor device 20 according to various programs.
  • the control unit 21 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 21 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the imaging unit 22 is a camera that images the light of the LED light or the infrared light emitting unit provided in the display device 10 (HMD) worn by the user.
  • the captured image acquired by the imaging unit 22 is periodically transmitted to the information processing apparatus 30 and used for calculation of the user's position and line of sight (outside / in position tracking).
  • a plurality of imaging units 22 may be provided.
  • the sound collection unit 23 collects the user's voice and surrounding environmental sound and outputs a voice signal to the control unit 21.
  • the control unit 21 may analyze the collected sound, extract a predetermined command, and perform control such as power ON / OFF of the sensor device 20.
  • the collected voice is transmitted to the information processing apparatus 30, and voice analysis is performed in the information processing apparatus 30, and a predetermined command may be extracted and executed, or transmitted to a communication partner via a virtual space. May be.
  • a plurality of sound collecting units 23 may be provided.
  • the communication unit 24 is connected to the information processing device 30 by wire or wireless and transmits and receives data.
  • the communication unit 24 is connected to the information processing apparatus 30 by, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the configuration of the sensor device 20 has been specifically described above, the configuration of the sensor device 20 according to the present disclosure is not limited to the example illustrated in FIG.
  • the sensor device 20 may have a configuration without the sound collection unit 23 or may be configured with a plurality of devices.
  • the information processing apparatus 30 includes a control unit 31, a communication unit 32, and a storage unit 33.
  • the information processing apparatus 30 has a drawing processing function for generating a virtual space image to be output to the display apparatus 10.
  • the display device 10 is configured by an HMD, the information processing device 30 performs drawing that changes the image of the virtual space that the user is viewing according to the position and orientation of the user wearing the display device 10. Process.
  • the control unit 31 functions as an arithmetic processing device and a control device, and controls the overall operation of the information processing device 30 according to various programs.
  • the control unit 31 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 31 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 31 also functions as the tracking unit 311 and the drawing processing unit 312.
  • the tracking unit 311 can perform tracking related to user movement, such as tracking of the user's head (head tracking), tracking of the line of sight (eye tracking), and tracking of position and posture (position tracking).
  • the tracking unit 311 calculates the posture information of a part to which the display device 10 is attached, such as the user's head, based on the nine-axis detection result detected by the sensor unit 15 of the display device 10. Can be done.
  • the tracking unit 311 is based on a captured image of the user's eyes detected by the sensor unit 15 of the display device 10 (for example, an infrared image obtained by emitting infrared rays to the eyes and capturing the reflection thereof). It is possible to perform so-called eye tracking, which calculates a direction and a gazing point.
  • the tracking unit 311 can perform so-called position tracking that detects the position and orientation of the user wearing the display device 10 when the display device 10 is configured by an HMD.
  • position tracking There are two types of position tracking: an outside-in method that uses a sensor installed outside, an inside-out method that uses a sensor mounted on the object to be measured (HMD), and a hybrid method that is a combination of these. .
  • the positions of a plurality of LED lights (markers) provided on the HMD are captured and acquired by a camera (sensor device 20) installed outside, and based on the obtained change in position information of the LED lights.
  • the tracking unit 311 can also calculate the user posture including the user's head posture based on the change in the position information of the LED light and the motion sensor data provided in the HMD.
  • the position and orientation of the user are calculated based on information acquired by a motion sensor, a depth sensor, and an outward camera provided in the HMD.
  • the outside world is imaged by an outward camera provided in the HMD, and the user's position information is obtained by comparing with a spatial map generated by SLAM (Simultaneous Localization and Mapping) technology in advance, information on motion sensors and depth sensors
  • SLAM Simultaneous Localization and Mapping
  • the user's posture can be calculated. In this case, since an external sensor becomes unnecessary, the sensor device 20 may not be installed.
  • the drawing processing unit 312 generates a free viewpoint image in the virtual space corresponding to the user's movement (position and posture) based on the tracking result by the tracking unit 311, and transmits it from the communication unit 32 to the display device 10.
  • a free viewpoint image of the virtual space that changes in real time following the user's position movement, face orientation, inclination, etc. is presented to the user, and the user can move freely in the virtual space or look around 360 degrees. It becomes possible to do.
  • the rendering processing unit 312 reflects distance control such as increasing the distance between the user's viewpoint and the boundary area in the virtual space when the user approaches the boundary area of the virtual space.
  • the predetermined display control allows the user to recognize the boundary of the virtual space without destroying the world view of the virtual space. Details of the predetermined display control when approaching the boundary of the virtual space will be described later with reference to FIGS.
  • the communication unit 32 is connected to the display device 10 and the sensor device 20 by wire or wireless, and transmits and receives data.
  • the communication unit 32 is connected to the display device 10 and the sensor device 20 through, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the storage unit 33 is realized by a ROM (Read Only Memory) that stores programs and calculation parameters used for the processing of the control unit 31, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the storage unit 33 may store virtual space content acquired from the content server 40 shown in FIG.
  • the configuration of the information processing apparatus 30 has been specifically described above, but the configuration of the information processing apparatus 30 according to the present disclosure is not limited to the example illustrated in FIG.
  • the information processing device 30 may be configured to be integrated with the display device 10 or may include the sensor device 20.
  • the information processing device 30 may be configured by a plurality of devices.
  • the tracking process may be performed by another device. Specifically, position tracking may be performed by the sensor device 20, or head tracking, eye tracking, and position tracking may be performed by the display device 10.
  • the information processing apparatus 30 may be configured by a server provided on a network, or may be configured by a dedicated terminal arranged in the same space as the user.
  • the information processing apparatus 30 may be configured by a smartphone, a tablet terminal, a PC, or the like.
  • the configuration of the system 1 according to the present embodiment has been specifically described above.
  • the configuration of the system 1 illustrated in FIG. 8 is an example, and the present embodiment is not limited to this.
  • the structure which does not have the sensor apparatus 20 may be sufficient.
  • FIG. 9 is a diagram for explaining display control for darkening the screen when the user approaches the boundary in the first embodiment.
  • the information processing apparatus 30 makes it difficult to see a screen that should originally be visible, such as darkening or blurring the screen (visibility). Apply the effect. Thereby, the user can recognize without a sense of incongruity that the direction in which he / she approaches is the end of the virtual space and should not proceed.
  • “approaching the boundary (or the wall 41 which is an example of the boundary region)” means that the boundary and the user position (user viewpoint) in the virtual space are within a certain distance. .
  • the effect of darkening the screen is not applied uniformly to the screen, but may be applied as appropriate according to the distance from the wall 41. That is, it may be darker as it gets closer to the wall 41, and finally darkened. Moreover, it is not applied uniformly according to a user's position, You may apply considering a user's direction and the advancing direction. For example, even when the user is near the boundary, the effect of darkening the screen is not applied if the face direction of the user is opposite to the boundary. Alternatively, when the orientation of the user's face is parallel to the boundary, the effect may be applied more strongly to the field of view closer to the user's boundary, and the effect may not be applied to the side farthest from the boundary.
  • the effect When the user is facing the boundary, the effect is applied to the entire field of view of the user.
  • the degree of effect may be dynamically changed according to the distance or direction from the user's boundary. When the user is away from the fixed distance boundary, no effect is applied regardless of the orientation of the user.
  • the first embodiment described above may be combined with the conventional expression method described with reference to FIG.
  • the user's position in the virtual space does not change, but the effect of darkening the screen according to the moving speed of the user is presented. May be. Thereby, it is possible to feed back to the user that the system understands the movement of the user.
  • FIG. 10 is a diagram illustrating display control for moving the boundary away when the user approaches the boundary in the second embodiment. As shown in the left of FIG. 10, for example, when the user approaches the boundary wall 41 and enters within a certain distance, the information processing apparatus 30 moves the wall 41 away from the user as shown in the center of FIG. Display control to increase the distance between the viewpoint and the boundary area.
  • the display control is continued. As shown in the right side of FIG. 10, even if the user further proceeds toward the wall 41, the wall 41 moves further away, so the user passes through the wall 41. I can't. Thus, even if the user approaches the wall 41, the wall 41 is kept away from the wall 41 so that the wall 41 is a boundary of the virtual space and is not a direction to proceed. It is possible to make the user recognize without loss.
  • the information processing apparatus 30 is directed toward the user's wall 41 as shown in FIG. 11, for example.
  • the expression method display control for moving the wall 41 away
  • the relative position of the boundary wall 41 or the virtual object 42 with respect to the origin in the virtual world by moving the user's viewpoint in the direction opposite to the movement input direction in the direction approaching the user's wall 41. It is also possible to achieve the expression method (display control for moving the wall 41 away) shown in FIG.
  • the information processing apparatus 30 performs distance control to increase the distance between the user's viewpoint and the wall 41, and increases or decreases the relative distance between the user and the wall 41.
  • the information processing apparatus 30 does not change the movement amount of the free viewpoint image in the virtual space displayed in the user's field of view (the movement amount of the user's viewpoint) in proportion to the actual movement amount of the user in the real space.
  • the information processing apparatus 30 can keep the wall 41 away while leaving feedback that the user is moving.
  • a case where the user approaches the boundary at a constant speed will be described with reference to FIG.
  • FIG. 13 is a graph showing the relationship between the real space user position and the virtual space user, wall, and virtual object positions in the present embodiment.
  • the position (viewpoint) of the user seems to move in the virtual space at the same speed as the actual movement amount at first.
  • the positions of the wall 41 and the virtual object 42 are not changed so as to be visible.
  • the position of the wall 41 is once moved away from the user (for example, the user's viewpoint is slightly moved in the direction opposite to the actual movement in the virtual space).
  • the information processing apparatus 30 repeats the movement of the position of the wall 41 away from the user and the movement of the wall 41 in the user's field of view (bounce effect). ).
  • the positions of other objects such as the virtual object 42 are also moved in the same manner as the wall 41.
  • the movement in which the boundary moves away may be sufficiently shorter (faster) than the approaching movement.
  • the boundary bounce effect may be stopped simultaneously with the user's stillness.
  • the bounce effect is continued for a predetermined time, and then the wall 41 is returned to the original state (original position) to reproduce the physical operation of the elastic body in the real space. Also good. In this case, no matter what operation the user performs, the wall 41 returns to the state before performing the bounce effect as time elapses.
  • the information processing apparatus 30 may present (strongly) the bounce effect according to the present embodiment from a farther distance as the speed at which the user approaches the wall 41 (boundary) is faster. Further, the information processing apparatus 30 may change the degree of the bounce effect according to the speed of approaching the wall 41 (for example, the depth of the bounce depth). Further, the information processing apparatus 30 may change the degree of bounce depending on the wall material of the wall 41.
  • FIG. 14 is a diagram illustrating display control for moving the boundary away when the user approaches the boundary in the third embodiment.
  • the information processing apparatus 30 moves the wall 41 away from the user as shown in the center of FIG.
  • Display control for adding an effect of deforming the space while performing distance control to increase the distance between the viewpoint and the boundary region.
  • the display control is continued.
  • the wall 41 moves further away, so the user passes through the wall 41. I can't.
  • the display control for moving the wall 41 away is the same as in the second embodiment. However, in this embodiment, when the user approaches the wall 41, an effect of deforming the space is given to provide feedback of movement to the user. Only content within the range can be presented.
  • the information processing apparatus 30 may apply an effect of expanding and contracting the space such that the periphery of the wall 41 is stretched or absorbed (returns to the original).
  • the screen is stretched to the side for a moment, then the display control is repeated and the wall 41 is moved away. I can't go through.
  • the object may be deformed in the same manner as the wall 41, or if the virtual object is highly attractive such as a person, a character, a message, a UI, etc.
  • the original aspect ratio may be maintained without deforming the object.
  • FIG. 15 is a graph showing the relationship between the user position in the real space and the positions of the user, wall, and virtual object in the virtual space in the present embodiment.
  • the information processing apparatus 30 initially starts at the same speed as the actual movement amount and moves the user's position (viewpoint in the virtual space). ) Does not change the position of the wall 41 or the virtual object 42 so that it appears to move.
  • the information processing apparatus 30 moves the position of the wall 41 away from the user once.
  • the information processing apparatus 30 repeats the movement of the position of the wall 41 away from the user and the movement of the wall 41 in the user's field of view (second embodiment) the same as). At this time, in this embodiment, the information processing apparatus 30 applies an effect of temporarily deforming the space, such as the wall 41 extending and returning. In addition, since it is assumed that the relative distance between the wall 41 and the virtual object 42 with respect to the origin in the virtual space is fixed, the information processing apparatus 30 moves away the wall 41 and the virtual object 42 as shown in FIG. The position of is also moved.
  • the first to third embodiments have been described above, but these may be combined as appropriate.
  • the wall 41 is used as a representation of the boundary of the virtual space.
  • the present disclosure is not limited to this, and the present invention is not limited to this, and may be other virtual objects such as forests, beaches, cliffs, buildings, and fences. Good.
  • the present embodiment is not limited to this, and the user can control the remote controller.
  • the same expression can be used when moving in the virtual space using.
  • the actual movement amount and the movement amount in the virtual space may correspond with a certain ratio. For example, when moving in the real world by 30 cm, it is assumed that the virtual space moves twice as much as 60 cm. In this case as well, the effects of the first to third embodiments described above can be applied in the same manner after being multiplied by a fixed magnification.
  • the information processing apparatus 30 may output some sound effect (such as a collision sound) or vibration when the user approaches the boundary. Further, the information processing apparatus 30 may present which side of the user has collided with a collision sound by 3D audio. Thereby, for example, when the user's blind spot portion such as the back surface collides with the wall 41 or the like, the user can be made to recognize the collision. Further, the information processing apparatus 30 may present a sound effect corresponding to bounce without sounding a collision sound when the user slowly approaches the wall (boundary).
  • the present embodiment can be applied to contents such as sports watching, street walking, and real estate preview using live-view free viewpoint images.
  • contents such as sports watching, street walking, and real estate preview using live-view free viewpoint images.
  • the video when crossing the boundary is not captured in real life, so it cannot be made in principle, and if you draw that part with CG, you will destroy the sense of reality and the world view.
  • it can be avoided by applying this embodiment.
  • the present embodiment can be applied, and particularly the effect according to the first embodiment. Is suitable.
  • the present embodiment can also be applied to movements that invade each other's personal space in the case of communicating by displaying other users in the virtual space as avatars, not limited to boundaries.
  • the user A is too close to the user B (when the user A enters the predetermined range around the user B), the user A is rebounded from the user B and can move only in the virtual space by a movement amount smaller than the actual movement amount. It will be. As a result, it is possible to enjoy comfortable communication while maintaining the personal space of each other without causing contradiction in the expression in the space.
  • the information processing apparatus 30 may perform display control that allows the user to recognize obstacles and dangerous directions in real space. For example, when it is likely to collide with a real object (when approaching a real object), a specific effect may be explicitly expressed, or a dangerous direction may be presented with an AR display.
  • various terminals such as an optical see-through HMD and a smartphone capable of performing a video see-through AR display may be used as appropriate.
  • FIG. 16 is a flowchart showing an example of the flow of display control when the user approaches the boundary area in the operation processing of the system according to the present embodiment.
  • the information processing apparatus 30 presents an effect to the user (step S106).
  • the effect is a video effect according to the first to third embodiments described above, and more specifically, darkening, blurring, bounce, or space deformation.
  • the trigger for generating the effect has been described by taking as an example the case where the position (viewpoint) of the user in the virtual space approaches within a certain distance from the boundary, but the present embodiment is not limited to this.
  • effects may be presented.
  • step S109 / Yes when the user stops moving toward the wall (boundary) (for example, when stopping, turning, or moving away from the wall by a predetermined distance) (step S109 / Yes), the information processing apparatus 30 presents the effect.
  • step S109 when the user does not stop moving toward the wall (boundary) (step S109 / No), the information processing apparatus 30 continues the effect presentation (step S115).
  • FIG. 16 is an example, and the present disclosure is not limited to the example illustrated in FIG.
  • the present disclosure is not limited to the order of the steps illustrated in FIG. At least one of the steps may be processed in parallel, or may be processed in the reverse order. Further, all the processes shown in FIG. 16 do not necessarily have to be executed, and all the processes shown in FIG. 16 do not necessarily have to be performed by a single device.
  • the effect according to the second or third embodiment is presented, and when the user further approaches the boundary, the effect according to the first embodiment is added, etc. You may perform the process which shows an effect suitably according to a user's movement.
  • FIG. 17 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 30 according to the present embodiment.
  • the information processing apparatus 800 illustrated in FIG. 17 can realize the information processing apparatus 30 illustrated in FIG. 8, for example.
  • Information processing by the information processing apparatus 30 according to the present embodiment is realized by cooperation between software and hardware described below.
  • the information processing apparatus 800 includes, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the CPU 871 realizes the operation of the control unit 31 in the information processing apparatus 30.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via an interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the output device 879 according to the present disclosure includes various vibration devices that can output a tactile stimulus.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the external connection device 902 may be the display device 10 and the sensor device 20 illustrated in FIG.
  • the communication device 883 is a communication device for connecting to a network.
  • You may connect with the display apparatus 10 and the sensor apparatus 20 which are shown in FIG.
  • the boundary is shown by making the user aware of the boundary by darkening or blurring the screen. It can be discouraged to move beyond.
  • the user even when the user tries to move beyond the boundary, the user is allowed to bounce at the boundary or stretch the space back to recognize that the user's movement is received. By not showing the image outside the boundary, the user can recognize the existence of the boundary without destroying the world view.
  • the functions of the display device 10, the sensor device 20, and the information processing device 30 are exhibited in hardware such as the CPU, ROM, and RAM incorporated in the display device 10, the sensor device 20, and the information processing device 30 described above. It is also possible to create a computer program for this purpose. A computer-readable storage medium storing the computer program is also provided.
  • this technique can also take the following structures.
  • An information processing apparatus including a control unit that performs distance control.
  • the said control part is information processing apparatus as described in said (1) which stops the control to make it increase, when the operation input which approaches toward the said boundary area
  • control unit generates the image by applying a bounce effect while performing the distance control.
  • control unit generates the image by applying a space deformation effect while performing the distance control.
  • the control unit increases the distance between the user's viewpoint and the boundary region by moving the origin in the virtual space in the same direction as the movement direction of the user.
  • the information processing apparatus according to 4) or (5).
  • the control unit increases the distance between the user's viewpoint and the boundary region by moving the user's viewpoint in a direction opposite to the moving direction of the user. (4) or (5) The information processing apparatus described.
  • the control unit generates the image by adding an effect of reducing visibility when the viewpoint of the user falls within a certain distance from the boundary region, any one of (1) to (7)
  • the controller is Recognizing the user's position and posture as the user's movement, The information processing apparatus according to any one of (1) to (8), wherein a free viewpoint image based on the position and orientation of the user is generated as the image of the virtual space.
  • Processor Track the user's movement and present an image of the virtual space to the user, The distance between the user's viewpoint in the virtual space and the boundary area is increased while the user is approaching the boundary area fixed at a specific position in the virtual space. Performing distance control, Including an information processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させることが可能な情報処理装置、情報処理方法、および記録媒体を提供する。 【解決手段】ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、および記録媒体
　本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
　近年、ユーザの頭部や顔に装着される表示装置、いわゆるヘッドマウントディスプレイ（ＨＭＤ）を用いて、仮想現実空間の映像と音声をユーザに提示するＶＲ（Virtual　Reality）技術が提案されている。ＨＭＤを頭部に装着した際に外界を遮る構成にすることで、視聴時の仮想現実感が増す。
　また、ＶＲ技術では、広角画像の一部を切り出した画像を、ユーザの頭部の動きに追従して提示することができる。例えば下記特許文献１にも記載されているように、ユーザの頭部の動きをジャイロセンサ等から取得し、ユーザの頭部の動きに追従させた全周囲３６０度の映像を実感させることが可能である。ジャイロセンサが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、自由視点視聴および視点移動環境を実現することができる。
　また、ＨＭＤの位置を認識するポジショントラッキング技術を用いることで、ユーザが実際の空間で前後左右に移動した際に仮想空間でも同じ移動量で前後左右に移動することができ、さらに没入感の高いＶＲ体験を楽しむことができる。
国際公開第２０１６／００２３１８号
　しかしながら、仮想空間として提示されるコンテンツによっては、指定された範囲内にしかコンテンツが存在しない場合や、壁などで指定された範囲内でしか移動できない場合がある。このような場合にユーザが壁や指定範囲を越える移動を行うと、ユーザに提示できるコンテンツが無いため、画面を真っ暗にしたり、本来のコンテンツではないＣＧを描画したりすることになる。このため、本来のコンテンツの世界観が損なわれ、ユーザ体験を損なってしまう。
　そこで、本開示では、仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させることが可能な情報処理装置、情報処理方法、および記録媒体を提案する。
　本開示によれば、ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行うこと、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部として機能させるためのプログラムが記録された、記録媒体を提案する。
　以上説明したように本開示によれば、仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 仮想空間の境界について説明する図である。 実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。 壁などの仮想空間の境界を越える移動をユーザが行った際に、境界を突き抜ける表現を提示する場合について説明する図である。 図４に示す例における実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。 壁などの仮想空間の境界を越える移動をユーザが行った際に、ユーザの視点が境界より先に進むことができない表現を提示する場合について説明する図である。 図６に示す例における実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。 本実施形態による情報処理システムに含まれる各装置の構成の一例について説明するブロック図である。 本実施形態の第１の実施例においてユーザが境界に近付いた場合に画面を暗くする表示制御について説明する図である。 本実施形態の第２の実施例においてユーザが境界に近付いた場合に境界を遠ざける表示制御について説明する図である。 図１０に示す表現方法を、ユーザの移動入力方向に仮想空間の原点を移動させて実現する場合について説明する図である。 図１０に示す表現方法を、ユーザの移動入力方向と逆方向にユーザの視点を移動させて実現する場合について説明する図である。 図１０に示す例における実空間のユーザ位置と仮想空間のユーザ、壁、および仮想物体との位置の関係を示すグラフである。 本実施形態の第３の実施例においてユーザが境界に近付いた場合に境界を遠ざける表示制御について説明する図である。 図１４に示す例における実空間のユーザ位置と仮想空間のユーザおよび各物体の位置の関係を示すグラフである。 本実施形態によるシステムの動作処理における境界領域にユーザが近付いた際の表示制御の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　３．境界領域の表示制御
　　３－１．第１の実施例
　　３－２．第２の実施例
　　３－３．第３の実施例
　　３－４．補足
　４．動作処理
　５．ハードウェア構成例
　６．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態によるシステム１は、仮想空間の画像をユーザに提示する表示装置１０と、ユーザの動きを追従するセンサ装置２０と、表示装置１０に表示する仮想空間の画像の生成および表示装置１０への当該画像の表示制御を行う情報処理装置３０と、仮想空間のコンテンツ情報を格納するコンテンツサーバ４０とを含む。
　表示装置１０は、例えばユーザの頭部に装着されるＨＭＤにより実現される。ＨＭＤは、例えば左右の眼毎の画像表示部を有すると共に、ヘッドフォンを併用し、視覚および聴覚を制御できるよう構成される。また、ＨＭＤは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示することで３Ｄ画像を提示することも可能である。また、表示装置１０は、テレビ装置やスマートフォン、またはタブレット端末等の、非装着型のディスプレイであってもよい。
　センサ装置２０は、ユーザの位置および姿勢を認識するために実空間をセンシングする装置である。例えばセンサ装置２０は、撮像部および集音部を有する。
　情報処理装置３０は、コンテンツサーバ４０から仮想空間のコンテンツを取得すると共に、当該コンテンツから、ユーザの動きに応じて自由視点画像を生成し、表示装置１０に提供する。ユーザの動きとは、ユーザの位置および姿勢を含み、情報処理装置３０は、ユーザをセンシングした各種センシングデータに基づいて、ユーザの位置および姿勢を追従する。例えば、情報処理装置３０は、センサ装置２０から取得したセンシングデータに基づいてポジショントラッキングを行い、表示装置１０から取得したセンシングデータに基づいてヘッドトラッキングおよびアイトラッキングを行い得る。本実施形態ではトラッキング処理を情報処理装置３０で行う手法を説明するが、本開示はこの手法に限定されない。例えば、センサ装置２０がポジショントラッキング機能を有する追従装置であってもよいし、表示装置１０がヘッドトラッキングおよびアイトラッキングを行う追従装置を兼ねた構成であってもよい。
　ユーザに提供される仮想空間のコンテンツは、全天球コンテンツ、自由視点コンテンツ、またはゲームコンテンツ等である。自由視点コンテンツとは、複数のカメラを用いて撮像した映像を用いて、任意の位置に仮想カメラを置いた際の映像を生成し、あらゆる視点からの映像視聴を可能としたものである。例えば複数のカメラから取得した人物や物体を３Ｄモデル化して合成、補完することで、カメラが存在しないアングルを含む任意の視点からの鑑賞を可能とする。コンテンツは録画されたものと、リアルタイムのものがある。
　本明細書で使用する「仮想空間」（または「ＶＲ空間」）との用語は、実際のユーザが、１つ以上の表示装置を介して認識し得る空間を指す。仮想空間では、ユーザは１つ以上のユーザインタフェースを介して仮想空間内のオブジェクトに影響を及ぼしうる。仮想空間は、１つ以上のプロセッサによってシミュレートされ、実空間に対応した物理法則を含む相互作用のルールを有しうる。仮想空間は、現実の環境と置換される仮想の作業環境の表現の一種と見做されてもよい。本明細書で使用する「ユーザインタフェース」との用語は、ユーザが仮想世界との間で、入力を送信するか出力を受信することができる実際のデバイスを指す。仮想空間内では、ユーザがアバターによって表現されてもよいし、ディスプレイにアバターを表示せずに、アバターの視点から仮想空間の世界を表示してもよい。本明細書において、仮想空間におけるユーザの（またはアバターの）視点とは、仮想カメラの視界とみなすことができる。本明細書で使用する「仮想カメラ」とは、仮想空間内の視点を指し、三次元の仮想空間を二次元画像としてディスプレイ（表示装置）に描画するための計算に使用される。
　システム１は、さらに、ユーザの意図をシステムに伝えるためのリモートコントローラやゲームコントローラを含んでもよい。
　ユーザは、仮想空間をポジショントラッキングやリモートコントローラにより移動できるものとする。ポジショントラッキングでは、ユーザは実際の空間で前後左右に移動すると仮想空間でも同じ移動量で前後左右に移動でき、没入感の高いＶＲ体験を楽しむことができる。
　（背景）
　ここで、ユーザが視聴するコンテンツは、表示領域に制限がある、またはユーザが移動できる範囲に制約があるものを想定する。例えば実写の自由視点コンテンツで表示領域外のデータが無い場合（自由視点コンテンツの移動可能領域は一般に狭い範囲に限られる場合がある）が相当する。また、ＣＧコンテンツであっても、部屋の中のようなコンテンツであって、部屋の外に出ることが適切ではない場合も相当する。
　このような表示領域の端、すなわち仮想空間で特定の位置に固定された仮想空間の終端を、「境界領域」または単に「境界」と称する。図２に、仮想空間の境界について説明する図を示す。図２に示すように、仮想空間には、ユーザが移動可能な領域Ｅ１と移動できない領域Ｅ２があり、その境目が境界Ｓとなる。このとき、実空間でのユーザの位置は、センサ装置２０を用いてトラッキングされ、実空間でのユーザの移動量が仮想空間の移動量に反映される。図３は、実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。図３に示すように、仮想空間内でのユーザ位置は、実空間でのユーザ位置の移動に比例する。
　従って、壁などの仮想空間の境界を越えてユーザの視点が移動することも可能となってしまう。ユーザが仮想空間の壁に衝突した場合の表現方法としては、従来２つのアプローチがあった。第１の例は、図４に示すように、ユーザの視点が仮想空間で壁４１に衝突した場合、ユーザの視点が壁４１を突き抜ける表現方法である。この方法では、ユーザが壁より先に移動しようとした際に、ユーザの視点が壁より先に移動して仮想空間が黒色や壁の内側を表すＣＧで描画される。仮想空間における壁４１や仮想物体４２の位置は変化しない。図５は、図４に示す例における実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。図５に示すように、ユーザが壁などの境界を突き抜けて移動すると、仮想空間が黒色やＣＧで描画され、壁より先の世界が見えることとなる。この方法では、境界の存在をユーザに強く意識させることができず、また、本来境界の手前のコンテンツが持っている世界観を維持することができないといった問題がある。
　また、他の表現方法としては、図６に示すように、ユーザが仮想空間で壁４１に衝突した場合、ユーザの視点が壁４１より先に進むことができない表現方法がある。この方法では、実空間においてユーザが移動していても、仮想空間ではユーザの視点を壁より先には移動させない。また、仮想空間における壁４１や仮想物体４２の位置は変化しない。図７は、図６に示す例における実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。図６に示すように、ユーザが壁などの境界に到達し、実空間でユーザがさらに移動を続けても、表示されるユーザの位置は壁の位置から何ら変化しない。この方法では、衝突後のユーザの移動がユーザの視界にフィードバックされないため、ユーザはシステムが正しく動いていないと認識する可能性があった。また、この方法ではユーザがトラッキング範囲外に移動した場合と同じ表現となる。したがって、ユーザが仮想空間の移動領域の端に到達した場合であっても、システムが正しく動いている間は実空間におけるユーザの移動量に応じたフィードバックをユーザに通知することが望ましい。
　このように、従来の表現方法では、本来のコンテンツの世界観から外れるため、大きく世界観を壊して没入感を損なってしまう。
　そこで、本実施形態では、このような制約のあるコンテンツでユーザが境界領域に近付いて境界に衝突しそうになったとき、仮想空間内におけるユーザの視点と境界領域との間の距離を増加させるなどの特定の表現を行う。これにより、仮想空間の世界観を壊すことなく、ユーザに境界を認識させることを可能とする。
　以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
　＜＜２．構成例＞＞
　図８は、本実施形態による情報処理システムに含まれる各装置の構成の一例について説明するブロック図である。
　（表示装置１０）
　図８に示すように表示装置１０は、制御部１１、発光部１２、表示部１３、スピーカ１４、センサ部１５、および通信部１６を有する。表示装置１０は、例えば表示する画像を観察するユーザの頭部に装着して用いられ、所定の周期でセンサ部１５によりセンシングした情報を情報処理装置３０に送信する。
　制御部１１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示装置１０の動作全般を制御する。制御部１１は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１１は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　発光部１２は、例えば１以上のＬＥＤライトまたは赤外線発光部等であって、外部カメラにより表示装置１０の位置を認識するアウトサイド・イン方式のポジショントラッキングを行う際に用いられる。
　表示部１３は、表示装置１０がＨＭＤとして構成される場合、ユーザの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像および右眼用画像を表示する。表示部１３の画面は、例えば液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（Electro　Luminescence）ディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部１３は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備える。
　スピーカ１４は、表示装置１０がＨＭＤとして構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成され、音声信号を再生する。なおスピーカ１４は、ヘッドフォン型に限定されず、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。
　センサ部１５は、例えば、ジャイロセンサ、加速度センサ、および地磁気センサなど複数のセンサを組み合わせて構成されたモーションセンサを含む。センサ部１５は、例えば３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサの合計９軸を検出可能なセンサとしてもよい。若しくは、センサ部１５は、ジャイロセンサ、加速度センサ、または地磁気センサの少なくともいずれかのセンサであってもよい。センサ部１５によりセンシングされたデータは、制御部１１により、定期的に通信部１６から情報処理装置３０に送信され、表示装置１０を装着したユーザの頭部姿勢算出の際に用いられる。
　また、センサ部１５は、表示装置１０を装着したユーザの視線を検出する視線検出センサを含んでもよい。例えば、視線検出センサは、ユーザの眼前に位置する表示部１３の周辺に設けられた赤外線センサ（赤外線発光部および赤外線カメラ）等の内向きカメラであってもよいし、ユーザの眼の周辺の筋肉の動きを検知する筋電センサ、若しくは脳波センサ等であってもよい。
　通信部１６は、有線または無線により情報処理装置３０と接続し、データの送受信を行う。通信部１６は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により情報処理装置３０と通信接続する。
　以上、表示装置１０の構成について具体的に説明したが、本開示による表示装置１０の構成は図８に示す例に限定されない。例えば、表示装置１０がＨＭＤとして構成される場合、ユーザの音声を取得するマイロフォンがさらに設けられていてもよい。また、表示装置１０がＨＭＤとして構成される場合、インサイド・アウト方式のポジショントラッキングを行う際に用いられる外向きカメラがさらに設けられていてもよい。
　（センサ装置２０）
　センサ装置２０は、制御部２１、撮像部２２、集音部２３、および通信部２４を有する。センサ装置２０は、ユーザの周辺に設置される外部センサであって、複数あってもよい。
　制御部２１は、演算処理装置および制御装置として機能し、各種プログラムに従ってセンサ装置２０の動作全般を制御する。制御部２１は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２１は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　撮像部２２は、ユーザが装着した表示装置１０（ＨＭＤ）に設けられたＬＥＤライトや赤外線発光部の光を撮像するカメラである。撮像部２２により取得された撮像画像は定期的に情報処理装置３０に送信され、ユーザの位置および視線の算出（アウトサイド・イン方式のポジショントラッキング）に用いられる。撮像部２２は、複数設けられていてもよい。
　集音部２３は、ユーザの音声や周囲の環境音を収音し、音声信号を制御部２１に出力する。制御部２１は、集音された音声を解析して所定のコマンドを抽出し、センサ装置２０の電源ＯＮ／ＯＦＦなどの制御を行ってもよい。また、集音された音声は、情報処理装置３０に送信され、情報処理装置３０において音声解析が行われ、所定のコマンドが抽出され実行されてもよいし、仮想空間を介したコミュニケーション相手に送信されてもよい。集音部２３は、複数設けられていてもよい。
　通信部２４は、有線または無線により情報処理装置３０と接続し、データの送受信を行う。通信部２４は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により情報処理装置３０と通信接続する。
　以上、センサ装置２０の構成について具体的に説明したが、本開示によるセンサ装置２０の構成は図８に示す例に限定されない。例えば、センサ装置２０は、集音部２３を有さない構成であってもよいし、複数の装置により構成されていてもよい。
　（情報処理装置３０）
　情報処理装置３０は、制御部３１、通信部３２、および記憶部３３を有する。情報処理装置３０は、表示装置１０に出力する仮想空間の画像を生成する描画処理機能を有する。また、情報処理装置３０は、表示装置１０がＨＭＤにより構成されている場合、表示装置１０を装着しているユーザの位置および姿勢に応じて、ユーザが見ている仮想空間の画像を変化させる描画処理を行う。
　制御部３１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置３０の動作全般を制御する。制御部３１は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部３１は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、制御部３１は、トラッキング部３１１および描画処理部３１２としても機能する。トラッキング部３１１は、ユーザの頭部の追従（ヘッドトラッキング）、視線の追従（アイトラッキング）、および位置や姿勢の追従（ポジショントラッキング）といった、ユーザの動きに関するトラッキングを行い得る。
　例えばトラッキング部３１１は、表示装置１０のセンサ部１５により検出された９軸の検出結果に基づいて、ユーザの頭部など、表示装置１０が取り付けられた部位の姿勢情報を算出する、いわゆるヘッドトラッキングを行うことが可能である。
　また、トラッキング部３１１は、表示装置１０のセンサ部１５により検出されたユーザの眼の撮像画像（例えば赤外線を眼に発光してその反射を撮像した赤外線画像）に基づいて、ユーザの視線（視線方向および注視点）を算出する、いわゆるアイトラッキングを行うことが可能である。
　また、トラッキング部３１１は、表示装置１０がＨＭＤにより構成されている場合に表示装置１０を装着したユーザの位置および姿勢を検出する、いわゆるポジショントラッキングを行うことが可能である。ポジショントラッキングには、外部に設置したセンサを利用するアウトサイド・イン方式と、計測したいもの自体（ＨＭＤ）に搭載したセンサを利用するインサイド・アウト方式と、これらの組み合わせであるハイブリッド方式とがある。
　アウトサイド・イン方式では、例えばＨＭＤに設けた複数のＬＥＤライト（マーカー）の位置を外部に設置したカメラ（センサ装置２０）により撮像して取得し、取得したＬＥＤライトの位置情報の変化に基づいて位置および姿勢を算出する。なお、トラッキング部３１１は、ＬＥＤライトの位置情報の変化と、ＨＭＤに設けたモーションセンサデータとに基づいて、ユーザの頭部姿勢を含むユーザ姿勢の算出を行うことも可能である。
　インサイド・アウト方式では、ＨＭＤに設けられたモーションセンサ、深度センサ、および外向きカメラにより取得した情報に基づいて、ユーザの位置および姿勢を算出する。例えば、ＨＭＤに設けられた外向きカメラにより外界を撮像し、予めＳＬＡＭ（Simultaneous　Localization　and　Mapping）技術により生成した空間マップと比較してユーザの位置情報を取得したり、モーションセンサや深度センサの情報と併せてユーザの姿勢を算出したりすることが可能である。この場合、外部センサが不要となるため、センサ装置２０は設置されていなくともよい。
　描画処理部３１２は、トラッキング部３１１によるトラッキング結果に基づいて、ユーザの動き（位置および姿勢）に対応する仮想空間の自由視点画像を生成し、通信部３２から表示装置１０に送信する。これにより、ユーザの位置移動や顔の向き、傾き等に追従してリアルタイムに変化する仮想空間の自由視点画像がユーザに提示され、ユーザは仮想空間の中で自由に移動したり、３６０度見回したりすることが可能となる。
　また、本実施形態による描画処理部３１２は、ユーザが仮想空間の境界領域に近付いた場合には、仮想空間内におけるユーザの視点と境界領域との間の距離を増加させるといった距離制御を反映した所定の表示制御により、仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させる。仮想空間の境界に近付いた場合の所定の表示制御の詳細については、図９～図１５を参照して後述する。
　通信部３２は、有線または無線により表示装置１０およびセンサ装置２０と接続し、データの送受信を行う。通信部３２は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により表示装置１０およびセンサ装置２０と通信接続する。
　記憶部３３は、制御部３１の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。また、記憶部３３には、図１に示すコンテンツサーバ４０から取得した仮想空間のコンテンツが蓄積されていてもよい。
　以上、情報処理装置３０の構成について具体的に説明したが、本開示による情報処理装置３０の構成は図８に示す例に限定されない。例えば、情報処理装置３０は、表示装置１０と一体化した構成であってもよいし、センサ装置２０を含む構成であってもよい。または、情報処理装置３０は、複数の装置により構成されていてもよい。例えば、トラッキング処理を別の装置で行ってもよい。具体的には、センサ装置２０にてポジショントラッキングを行ってもよいし、表示装置１０でヘッドトラッキング、アイトラッキング、およびポジショントラッキングを行ってもよい。
　また、情報処理装置３０は、ネットワーク上に設けられたサーバにより構成されてもよいし、ユーザと同一空間に配置された専用端末により構成されてもよい。若しくは、情報処理装置３０は、スマートフォン、タブレット端末、またはＰＣ等により構成されてもよい。
　以上、本実施形態によるシステム１の構成について具体的に説明した。なお図８に示すシステム１の構成は一例であって、本実施形態はこれに限定されない。例えば、センサ装置２０を有さない構成であってもよい。
　＜＜３．境界領域の表示制御＞＞
　続いて、本実施形態による境界領域の表示制御について、図９～図１５を参照して具体的に説明する。
　＜３－１．第１の実施例＞
　図９は、第１の実施例においてユーザが境界に近付いた場合に画面を暗くする表示制御について説明する図である。図９に示すように、仮想空間においてユーザが境界領域である壁４１に近付いた場合、情報処理装置３０は、画面を暗くしたりぼかしたりといった、本来見えるはずの画面を見え難くする（視認性を下げる）エフェクトをかける。これにより、ユーザは、自分が近付いた方向が仮想空間の終端であって、進むべきでない方向であることを違和感無く認識することができる。なお、本明細書において、「境界（または境界領域の一例である壁４１）に近付く」とは、境界と仮想空間におけるユーザ位置（ユーザ視点）とが一定の距離内になったことを意味する。
　なお、画面を暗くするエフェクトは、画面一様に適用させるのではなく、壁４１からの距離に応じて適宜適用させてもよい。すなわち、壁４１に近付くほど暗くし、最終的には真っ暗にしてもよい。また、ユーザの位置によって一様に適用するものではなく、ユーザの向きや進む方向も加味して適用させてもよい。例えば、ユーザが境界の近くに居ても、ユーザの顔の向きが境界と反対方向である場合は、画面を暗くするエフェクトを適用しないようにする。あるいは、ユーザの顔の向きが境界と並行の場合は、ユーザの境界に近い方の視界により強くエフェクトをかけ、境界から最も遠い側にはエフェクトを適用しないようにしてもよい。また、ユーザが境界に対面している場合には、ユーザの視界全体にエフェクトをかけるようにする。また、ユーザが動いている場合には、ユーザの境界との距離や方角によって動的にエフェクトのかかり具合を変えてもよい。ユーザが一定距離境界から離れた場合は、ユーザがどのような向きを向いてもエフェクトはかからない。
　以上説明した第１の実施例は、図６を参照して説明した従来の表現方法と組み合わせてもよい。すなわち、ユーザが境界で行き止まった後も境界に向かって移動を続けた場合、ユーザの仮想空間での位置は変わらないが、ユーザの移動速度に応じて画面を暗くするエフェクトを提示するようにしてもよい。それにより、システムがユーザの移動を理解していることをユーザにフィードバックすることが可能となる。
　＜３－２．第２の実施例＞
　図１０は、第２の実施例においてユーザが境界に近付いた場合に境界を遠ざける表示制御について説明する図である。図１０左に示すように、例えばユーザが境界の壁４１に近付き、一定の距離内に入った場合、情報処理装置３０は、図１０中央に示すように、壁４１をユーザから遠ざける、すなわちユーザの視点と境界領域との間の距離を増加させる表示制御を行う。
　ユーザが境界に向かって移動する限り、かかる表示制御を継続し、図１０右に示すように、ユーザがさらに壁４１に向かって進んでも、壁４１がさらに遠ざかるため、ユーザは壁４１を通り抜けることができない。このように、ユーザが壁４１に近付いても壁４１を遠ざけて近付けないようにすることで、壁４１が仮想空間の境界であって、進むべき方向ではないことを、仮想空間の世界観を損なうことなくユーザに認識させることができる。
　なお、仮想世界における原点に対する境界の壁４１や仮想物体４２の相対位置は固定されていると見做すため、情報処理装置３０は、例えば図１１に示すように、ユーザの壁４１に近付く方向の移動入力方向に応じて、仮想空間全体をユーザの移動入力方向と同じ方向に移動させることで、図１０に示す表現方法（壁４１を遠ざける表示制御）を達成することが可能である。
　若しくは、図１２に示すように、ユーザの壁４１に近付く方向の移動入力方向とは逆方向にユーザの視点を移動させることで、仮想世界における原点に対する境界の壁４１や仮想物体４２の相対位置は固定された状態で、図１０に示す表現方法（壁４１を遠ざける表示制御）を達成することも可能である。
　また、情報処理装置３０は、ユーザが壁４１に近付いた際、ユーザの視点と壁４１との間の距離を増加させる距離制御を行いつつ、ユーザと壁４１との相対距離を遠ざけたり近付けたりを繰り返すバウンスエフェクトをかけることで、より効果的に、仮想空間の境界をユーザに認識させることも可能である。すなわち、情報処理装置３０は、ユーザの視界に表示する仮想空間の自由視点画像の移動量（ユーザの視点の移動量）を、実空間におけるユーザの実際の移動量に比例するように変化させず、図１３に示すような特定のカーブで変化させる。この表示制御において、情報処理装置３０は、ユーザが移動していることのフィードバックを残しつつ、壁４１を遠ざけることができる。具体例として、例えばユーザが一定速度で境界に近付いたケースについて図１３を参照して説明する。
　図１３は、本実施例における実空間のユーザ位置と、仮想空間のユーザ、壁、および仮想物体との位置の関係を示すグラフである。図１３に示すように、例えばユーザが境界の壁４１に一定速度で近付いた場合、始めは実際の移動量と同じ速さで、仮想空間内でユーザの位置（視点）が移動しているように見えるよう、壁４１や仮想物体４２の位置は変更しない。次いで、ユーザの位置が境界に一定距離近付くと、壁４１の位置をユーザから一度遠ざける（例えば仮想空間内で実際の動きと反対の向きにユーザの視点を少し移動させる）。そして、さらに実際の空間においてユーザが一定速度で境界方向への移動を続けた場合、情報処理装置３０は、ユーザの視界において壁４１の位置がユーザから遠ざかる動きと近付く動きとを繰り返す（バウンスエフェクト）。この際、壁４１や仮想物体４２の仮想空間における原点に対する相対的な距離は固定されているため、仮想物体４２等の他の物体の位置も壁４１と同様に移動させる。また、境界が遠ざかる動きは近づく動きに比べて十分短く（速く）してもよい。また、境界のバウンスエフェクトは、ユーザの静止と同時に停止してもよい。あるいは、ユーザが静止した後、所定時間の間、バウンスエフェクトを継続した後、壁４１を元の状態（元の位置）に戻すことで、実空間における弾性体の物理的な動作を再現してもよい。この場合、ユーザがどのような動作を行ったとしても、時間の経過に応じて壁４１はバウンスエフェクトを行う前の状態に復帰することになる。
　これにより、ユーザは境界に近付くとあたかも斥力が働いて境界に近付けないような感覚を受ける。逆に境界から離れる場合には実際の移動量と仮想空間内での移動量を同じにする。これにより、ユーザにシステムがユーザの移動を正しく認識していることのフィードバックを与えつつ、世界観を損なわずに仮想空間の境界を認識させ、ユーザに範囲内のコンテンツのみを提示することができる。なお、情報処理装置３０は、ユーザが壁４１（境界）に接近する速度が速い程遠い距離から、本実施例によるバウンス効果を（強めに）提示するようにしてもよい。また、情報処理装置３０は、壁４１に接近する速度に応じてバウンス効果のかかり具合を変えるようにしてもよい（例えばバウンスの深度の深さなど）。また、情報処理装置３０は、壁４１の壁の素材によってバウンスの度合いを変えるようにしてもよい。
　＜３－３．第３の実施例＞
　図１４は、第３の実施例においてユーザが境界に近付いた場合に境界を遠ざける表示制御について説明する図である。図１４左に示すように、例えばユーザが境界の壁４１に近付き、一定の距離内に入った場合、情報処理装置３０は、図１４中央に示すように、壁４１をユーザから遠ざける、すなわちユーザの視点と境界領域との間の距離を増加させる距離制御を行いつつ、空間を変形させるエフェクトを加える表示制御を行う。ユーザが境界に向かって移動する限り、かかる表示制御を継続し、図１４右に示すように、ユーザがさらに壁４１に向かって進んでも、壁４１がさらに遠ざかるため、ユーザは壁４１を通り抜けることができない。かかる壁４１を遠ざける表示制御は、第２の実施例と同様であるが、本実施例では、ユーザが壁４１に近付いた際、空間を変形させるエフェクトを付与することで、ユーザに移動のフィードバックを与えつつ、範囲内のコンテンツのみを提示することができる。
　例えば、情報処理装置３０は、壁４１の周辺が伸びたり吸収されたり（元に戻ったり）といった空間を伸縮するエフェクトをかけてもよい。ユーザの視界としては、ユーザが壁４１に近付くと、画面が一瞬横に伸びたのち、元に戻ると共に壁４１が遠ざかっている表示制御が繰り返され、壁４１に移動し続けても壁４１を通り抜けることができない。なお、周辺に仮想物体４２等の他の物体がある場合、壁４１と同様に変形させてもよいし、あるいは仮想物体が人や文字、メッセージ、ＵＩなど誘目性の高いものであれば、仮想物体は変形させずに元の縦横比を維持してもよい。
　図１５は、本実施例における実空間のユーザ位置と、仮想空間のユーザ、壁、および仮想物体との位置の関係を示すグラフである。図１５に示すように、例えばユーザが壁４１に対して一定速度で近付いている場合、情報処理装置３０は、始めは実際の移動量と同じ速さで、仮想空間内でユーザの位置（視点）が移動しているように見えるよう、壁４１や仮想物体４２の位置を変更しない。次いで、情報処理装置３０は、ユーザの位置が境界に一定距離近付くと、壁４１の位置をユーザから一度遠ざける。情報処理装置３０は、実際の空間においてユーザが一定速度で境界方向への移動を続けた場合、ユーザの視界において壁４１の位置がユーザから遠ざかる動きと近付く動きとを繰り返す（第２の実施例と同様）。この際、本実施例では、情報処理装置３０は、壁４１が伸びて戻る等、空間を一時的に変形させるエフェクトをかける。また、仮想空間における原点に対する壁４１と仮想物体４２の相対距離は固定されているものと見做すため、情報処理装置３０は、図１５に示すように、壁４１を遠ざけると共に、仮想物体４２の位置も移動させる。
　＜３－４．補足＞
　以上、第１～第３の実施例について説明したが、これらは適宜組み合わされてもよい。例えば、ユーザが壁４１に近付いた際に、壁４１をユーザから遠ざける動きと近付ける動きを繰り返すと共に、画面を少し暗くして見え難くしたりしてもよい。また、本実施形態では、仮想空間の境界の表現として壁４１を用いたが、本開示はこれに限定されず、他の仮想オブジェクト、例えば森、波打ち際、崖、建物、柵等であってもよい。
　また、上述した第１～第３の実施例では、主にポジショントラッキングによりユーザが実空間で実際に移動している例を用いたが、本実施形態はこれに限定されず、ユーザがリモートコントローラを用いて仮想空間を移動する場合も同様の表現を行うことが可能である。また、ポジショントラッキングによる移動において、実際の移動量と仮想空間での移動量が一定の比率をもって対応する場合もある。例えば、実世界で３０ｃｍ動いたとき、仮想空間では倍の６０ｃｍ動くような対応も想定される。この場合も、上述した第１～第３の実施例の効果は一定の倍率を掛けた上で同様に適用することができる。
　また、情報処理装置３０は、ユーザが境界に近付いた際に、何らかの効果音（衝突音など）や振動を出力してもよい。また、情報処理装置３０は、ユーザのどちら側が衝突したかを、３Ｄ　ａｕｄｉｏによる衝突音で提示するようにしてもよい。これにより、例えば背面などユーザの死角部分が壁４１等にぶつかった場合にもユーザに衝突を認識させることができる。また、情報処理装置３０は、ユーザが壁（境界）にゆっくり接近したときには衝突音を鳴らさず、バウンスに相当する効果音を提示するようにしてもよい。
　また、本実施形態を適用する具体的なサービスとしては、まずＲＰＧ（Role　Playing　Game）のような仮想空間をコントローラーやポジショントラッキングで移動するゲームが考えられる。このようなゲームでは、ユーザが移動できる範囲は壁などで制限されていることが多く、ユーザは常に境界を意識しながら移動する必要があるが、本実施形態により境界外の映像を提示することなく（世界観を損なわず）、境界を意識させることができる。
　また、本実施形態は、実写の自由視点画像によるスポーツ観戦や街歩き、不動産内覧のようなコンテンツにも適用し得る。これらのコンテンツでは、境界を越えた際の映像は実写で撮像していないため原理的に作ることが出来ず、その部分をＣＧで描画してしまうと臨場感や世界観を壊すことになってしまうが、本実施形態を適用することで回避することが可能となる。あるいは、アミューズメント施設などでＶＲヘッドセットを装着して楽しむゲームやコンテンツにおいても、境界への接近をユーザに警告する必要から、本実施形態の適用が可能であり、特に第１の実施形態によるエフェクトが適する。
　さらに境界に限らず、他のユーザをアバターとして仮想空間に表示してコミュニケーションする場合、お互いのパーソナルスペースを侵犯するような動きに対して、本実施形態を適用することもできる。この場合、例えばユーザＡがユーザＢに近付き過ぎると（ユーザＢの周囲所定範囲内に侵入した場合）、ユーザＡはユーザＢから跳ね返されて実際の移動量より少ない移動量しか仮想空間では移動できないことになる。これにより、空間内での表現に矛盾を生じさせずに、お互いのパーソナルスペースを保って快適なコミュニケーションを楽しむことができる。
　また、以上説明した実施形態では、仮想空間における境界をユーザに認識させる手法について説明したが、これをＡＲ（Augmented　Reality）に応用してもよい。具体的には、情報処理装置３０は、実空間において、障害物や危険な方向をユーザに認識させる表示制御を行ってもよい。例えば実物体と衝突しそうなときには（実物体に近付いた場合に）、特定のエフェクトを明示的に表現したり、危険な方向をＡＲ表示で提示してもよい。このＡＲ表示を提供する装置構成として、光学シースルー型のＨＭＤや、ビデオシースルー型のＡＲ表示を行うことが可能なスマートフォン等、種々の端末（携帯端末）が適宜用いられてよい。
　＜＜４．動作処理＞＞
　続いて、本実施形態による情報処理システムの動作処理について図１６を用いて具体的に説明する。図１６は、本実施形態によるシステムの動作処理における境界領域にユーザが近付いた際の表示制御の流れの一例を示すフローチャートである。
　図１６に示すように、まず、ユーザが境界（壁）と一定距離に接近すると（ステップＳ１０３）、情報処理装置３０は、ユーザにエフェクトを提示する（ステップＳ１０６）。エフェクトとは、上述した第１～第３の実施例による映像効果であって、より具体的には、暗くする、ぼかす、バウンス、または空間変形等である。エフェクトを発生させるトリガは、仮想空間におけるユーザの位置（視点）が境界から一定距離内に近付いた場合を例に挙げて説明したが、本実施形態はこれに限定されない。例えばユーザが境界に向かって移動している場合に、現在の速度で移動していた場合に一定時間内に境界に到達することが予測できた場合や、所定値以上の速度で境界に近付いている場合に、エフェクトを提示してもよい。一方で、境界内にも通常の移動を可能にするドアや通路のような領域が設けられている場合もあり、そちらに近付いている場合はエフェクトを適用しないこともできる。
　次いで、ユーザが壁（境界）に向かう移動を中止（例えば停止、方向転換、壁から所定距離離れる移動を行った場合等）した場合（ステップＳ１０９／Ｙｅｓ）、情報処理装置３０は、エフェクト提示を終了する（ステップＳ１１２）。すなわち、情報処理装置３０は、例えばユーザと壁との間の距離を増加させる制御を停止する。
　一方、ユーザが壁（境界）に向かう移動を中止しない場合（ステップＳ１０９／Ｎｏ）、情報処理装置３０は、エフェクト提示を継続する（ステップＳ１１５）。
　以上、本実施形態による動作処理の一例を説明した。なお図１６に示す動作処理は一例であって、本開示は図１６に示す例に限定されない。例えば、本開示は、図１６に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図１６に示す全ての処理が必ずしも実行されてなくともよいし、図１６に示す全ての処理が必ずしも単一の装置で行われなくともよい。
　例えば、ユーザが境界に一定距離に接近した場合に、第２または第３の実施例によるエフェクトを提示し、ユーザがさらに境界に接近した場合には第１の実施例によるエフェクトを追加する等、ユーザの移動に応じて適宜エフェクトを提示する処理を行ってもよい。
　＜５．ハードウェア構成例＞
　最後に、図１７を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１７は、本実施形態に係る情報処理装置３０のハードウェア構成の一例を示すブロック図である。なお、図１７に示す情報処理装置８００は、例えば、図８に示した情報処理装置３０を実現し得る。本実施形態に係る情報処理装置３０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１７に示すように、情報処理装置８００は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　具体的には、ＣＰＵ８７１は、情報処理装置３０内の制御部３１の動作を実現する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。若しくは、外部接続機器９０２は、図８に示す表示装置１０およびセンサ装置２０であってもよい。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。通信装置８８３により、図８に示す表示装置１０およびセンサ装置２０と接続してもよい。
　＜＜６．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させることが可能となる。
　具体的には、本実施形態によれば、仮想空間でユーザが仮想空間の境界外に移動しようとした場合、画面を暗くしたりぼかしたりする表現により、ユーザに境界の存在を意識させて境界を越えるような動作を思いとどまらせることができる。
　また、本実施形態によれば、ユーザが境界を越えて移動しようとした場合でも、境界でバウンドさせたり空間を伸ばして戻したりして、ユーザの動きをシステムが受け取っていることを認識させつつ境界外の映像を見せないことで、世界観を壊さずに境界の存在をユーザに認識させることができる。
　また、本実施形態によれば、他のユーザのアバターが表示されるシステムにおいての衝突にも同様な効果を適用することにより、各人が保ちたい距離を維持したまま快適にコミュニケーションを行うことができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した表示装置１０、センサ装置２０、および情報処理装置３０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、表示装置１０、センサ装置２０、および情報処理装置３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
　前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部を備える、情報処理装置。
（２）
　前記制御部は、前記境界領域に向かって近付く操作入力が終了した場合、前記増加させる制御を停止する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記ユーザの視点が前記境界領域から一定の距離内に入った場合、前記増加させる制御を開始する、前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、前記距離制御を行いつつ、バウンスエフェクトを加えて前記画像を生成する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記制御部は、前記距離制御を行いつつ、空間変形エフェクトを加えて前記画像を生成する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（６）
　前記制御部は、前記距離制御において、前記ユーザの移動方向と同じ方向に前記仮想空間内の原点を移動させることで、前記ユーザの視点と前記境界領域との間の距離を増加させる、前記（４）または（５）に記載の情報処理装置。
（７）
　前記制御部は、前記ユーザの移動方向と逆方向に前記ユーザの視点を移動させることで、前記ユーザの視点と前記境界領域との間の距離を増加させる、前記（４）または（５）に記載の情報処理装置。
（８）
　前記制御部は、前記ユーザの視点が前記境界領域から一定の距離内に入った場合、視認性を下げるエフェクトを加えて前記画像を生成する、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記制御部は、
　　前記ユーザの動きとして、前記ユーザの位置および姿勢を認識し、
　　前記仮想空間の画像として、前記ユーザの位置および姿勢に基づいた自由視点画像を生成する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　プロセッサが、
　ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
　前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行うこと、
を含む、情報処理方法。
（１１）
　コンピュータを、
　ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
　前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部として機能させるためのプログラムが記録された、記録媒体。
　１　システム
　１０　表示装置
　１１　制御部
　１２　発光部
　１３　表示部
　１４　スピーカ
　１５　センサ部
　１６　通信部
　２０　センサ装置
　２１　制御部
　２２　撮像部
　２３　集音部
　２４　通信部
　３０　情報処理装置
　３１　制御部
　　３１１　トラッキング部
　　３１２　描画処理部
　３２　通信部
　３３　記憶部
　４０　コンテンツサーバ
　４１　壁
　４２　仮想物体

Claims (11)

  1. 　ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
    　前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部を備える、情報処理装置。
  2. 　前記制御部は、前記境界領域に向かって近付く操作入力が終了した場合、前記増加させる制御を停止する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記ユーザの視点が前記境界領域から一定の距離内に入った場合、前記増加させる制御を開始する、請求項１に記載の情報処理装置。
  4. 　前記制御部は、前記距離制御を行いつつ、バウンスエフェクトを加えて前記画像を生成する、請求項１に記載の情報処理装置。
  5. 　前記制御部は、前記距離制御を行いつつ、空間変形エフェクトを加えて前記画像を生成する、請求項１に記載の情報処理装置。
  6. 　前記制御部は、前記距離制御において、前記ユーザの移動方向と同じ方向に前記仮想空間内の原点を移動させることで、前記ユーザの視点と前記境界領域との間の距離を増加させる、請求項４に記載の情報処理装置。
  7. 　前記制御部は、前記ユーザの移動方向と逆方向に前記ユーザの視点を移動させることで、前記ユーザの視点と前記境界領域との間の距離を増加させる、請求項４に記載の情報処理装置。
  8. 　前記制御部は、前記ユーザの視点が前記境界領域から一定の距離内に入った場合、視認性を下げるエフェクトを加えて前記画像を生成する、請求項１に記載の情報処理装置。
  9. 　前記制御部は、
    　　前記ユーザの動きとして、前記ユーザの位置および姿勢を認識し、
    　　前記仮想空間の画像として、前記ユーザの位置および姿勢に基づいた自由視点画像を生成する、請求項１に記載の情報処理装置。
  10. 　プロセッサが、
    　ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
    　前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行うこと、
    を含む、情報処理方法。
  11. 　コンピュータを、
    　ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
    　前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部として機能させるためのプログラムが記録された、記録媒体。
PCT/JP2019/006916 2018-03-30 2019-02-22 情報処理装置、情報処理方法、および記録媒体 WO2019187862A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/040,231 US11695908B2 (en) 2018-03-30 2019-02-22 Information processing apparatus and information processing method
JP2020510455A JP7355006B2 (ja) 2018-03-30 2019-02-22 情報処理装置、情報処理方法、および記録媒体
CN201980021444.4A CN111937045A (zh) 2018-03-30 2019-02-22 信息处理装置、信息处理方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018067460 2018-03-30
JP2018-067460 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019187862A1 true WO2019187862A1 (ja) 2019-10-03

Family

ID=68061331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006916 WO2019187862A1 (ja) 2018-03-30 2019-02-22 情報処理装置、情報処理方法、および記録媒体

Country Status (4)

Country Link
US (1) US11695908B2 (ja)
JP (1) JP7355006B2 (ja)
CN (1) CN111937045A (ja)
WO (1) WO2019187862A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6968326B1 (ja) * 2021-04-16 2021-11-17 ティフォン株式会社 表示装置、表示方法及びその表示プログラム
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
WO2022201430A1 (ja) * 2021-03-25 2022-09-29 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
WO2022270144A1 (ja) * 2021-06-24 2022-12-29 株式会社Ｊｖｃケンウッド 仮想空間制御システム、仮想空間制御方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726626B2 (en) * 2017-11-22 2020-07-28 Google Llc Interaction between a viewer and an object in an augmented reality environment
CN115315684A (zh) * 2020-03-30 2022-11-08 索尼集团公司 用于改变虚拟空间中的视点的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341572A (ja) * 2003-05-12 2004-12-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2017119031A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
JP6572893B2 (ja) 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
KR20170004608A (ko) * 2015-07-03 2017-01-11 엘지전자 주식회사 스마트 디바이스 및 이의 제어방법
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102015226580A1 (de) * 2015-12-22 2017-06-22 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
CN105807936B (zh) * 2016-03-31 2021-02-19 联想(北京)有限公司 信息处理方法及电子设备
CN105913497B (zh) * 2016-05-27 2018-09-07 杭州映墨科技有限公司 用于虚拟看房的虚拟现实空间移动定位系统及方法
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
EP3422708A1 (en) * 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
US20190179509A1 (en) * 2017-12-13 2019-06-13 Aurelius, Inc. Systems, devices, and methods for augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341572A (ja) * 2003-05-12 2004-12-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2017119031A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201430A1 (ja) * 2021-03-25 2022-09-29 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
JP7478902B2 (ja) 2021-03-25 2024-05-07 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
WO2022215258A1 (ja) * 2021-04-09 2022-10-13 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
JP6968326B1 (ja) * 2021-04-16 2021-11-17 ティフォン株式会社 表示装置、表示方法及びその表示プログラム
JP2022164170A (ja) * 2021-04-16 2022-10-27 ティフォン株式会社 表示装置、表示方法及びその表示プログラム
WO2022270144A1 (ja) * 2021-06-24 2022-12-29 株式会社Ｊｖｃケンウッド 仮想空間制御システム、仮想空間制御方法及びプログラム

Also Published As

Publication number Publication date
CN111937045A (zh) 2020-11-13
US11695908B2 (en) 2023-07-04
US20210014468A1 (en) 2021-01-14
JPWO2019187862A1 (ja) 2021-05-20
JP7355006B2 (ja) 2023-10-03

Similar Documents

Publication Publication Date Title
EP3427103B1 (en) Virtual reality
WO2019187862A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US9910509B2 (en) Method to control perspective for a camera-controlled computer
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP6292686B2 (ja) ヘッドマウントディスプレイのユーザー向けカメラベース安全機構
US10996757B2 (en) Methods and apparatus for generating haptic interaction for virtual reality
US11164546B2 (en) HMD device and method for controlling same
JP2006301654A (ja) 画像呈示装置
CN113544765B (zh) 信息处理装置、信息处理方法和程序
JPWO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN117331434A (zh) 在3d环境内定位内容

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19776434

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020510455

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 19776434

Country of ref document: EP

Kind code of ref document: A1