WO2017069075A1 - 画像生成装置、画像生成方法、および画像生成プログラムを格納した一時的でない記録媒体 - Google Patents

画像生成装置、画像生成方法、および画像生成プログラムを格納した一時的でない記録媒体 Download PDF

Info

Publication number
WO2017069075A1
WO2017069075A1 PCT/JP2016/080667 JP2016080667W WO2017069075A1 WO 2017069075 A1 WO2017069075 A1 WO 2017069075A1 JP 2016080667 W JP2016080667 W JP 2016080667W WO 2017069075 A1 WO2017069075 A1 WO 2017069075A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual reality
reality space
line
sight information
terminal
Prior art date
Application number
PCT/JP2016/080667
Other languages
English (en)
French (fr)
Inventor
集平 寺畑
Original Assignee
株式会社コロプラ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社コロプラ filed Critical 株式会社コロプラ
Publication of WO2017069075A1 publication Critical patent/WO2017069075A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Definitions

  • the present disclosure relates to an image generation device, an image generation method, and a non-temporary recording medium storing an image generation program.
  • Patent Document 1 Japanese Patent Laid-Open No. 2002-149581 states that “a virtual space displayed on a head-mounted display is shared by a plurality of users, and each user's position in the real space corresponds to the position in the virtual space. Technology "(see [Summary]).
  • the information processing server 16 generates virtual space information (image) and transmits the virtual space information to the user control device 15 of each user via the network. ing. Therefore, the communication load on the network increases. Therefore, it is required to reduce the communication load in the virtual reality space sharing system.
  • an image generation apparatus for generating a virtual reality space image.
  • the image generating device includes a memory for storing instructions and a processor coupled to the memory for executing the instructions.
  • the instructions when executed by the processor, cause the processor to use the second terminal in the virtual reality space from the second terminal sharing the virtual reality space with the first terminal used by the first user.
  • Acquiring line-of-sight information including a user's position and line-of-sight direction
  • generating a virtual reality space image for display on the first terminal based on line-of-sight information from the second terminal, and generated virtual reality
  • the aerial image is supplied to the first terminal.
  • a computer-implemented method for generating a virtual reality space image includes a position and a line-of-sight direction of a second user using the second terminal in the virtual reality space from the second terminal sharing the virtual reality space with the first terminal used by the first user.
  • a non-transitory computer readable recording medium storing instructions for causing a computer to execute a method for generating a virtual reality space image.
  • the method includes a position and a line-of-sight direction of a second user using the second terminal in the virtual reality space from the second terminal sharing the virtual reality space with the first terminal used by the first user.
  • the communication load can be reduced in the virtual reality space sharing system.
  • FIG. 1 is a diagram illustrating a schematic configuration of a virtual reality space sharing system 10 according to an embodiment.
  • 1 is a diagram illustrating a hardware configuration of an image display system 100 according to an embodiment. It is a block diagram which shows the functional structure of the image generation apparatus 200a which concerns on a certain embodiment. It is a block diagram which shows the functional structure of the image generation apparatus 200b which concerns on a certain embodiment. It is a figure which shows typically a user's head movement. It is a figure which shows notionally the virtual reality space image each produced
  • FIG. 200 It is a block diagram which shows the functional structure of the image generation apparatus 200a which concerns on embodiment according to another situation. It is a block diagram which shows the functional structure of the image generation apparatus 200b which concerns on embodiment according to another situation. It is a figure which shows notionally the virtual reality space image which each image generation part 231 of the 1st subsystem 100a and the 2nd subsystem 100b in embodiment according to another situation produces
  • FIG. 1 is a diagram showing a schematic configuration of a virtual reality space sharing system 10 according to an embodiment.
  • the virtual reality space sharing system 10 includes a first subsystem (first terminal) 100a used by the first user 101a and a second subsystem (second terminal) 100b used by the second user 101b.
  • the first subsystem 100a and the second subsystem 100b are connected via a network 105 so that they can communicate with each other.
  • the network 105 may be an arbitrary type of network such as the Internet or a LAN (Local Area Network).
  • LAN Local Area Network
  • the first subsystem 100a includes a head mounted display (hereinafter referred to as HMD) 120a and an image generation device 200a.
  • the image generation device 200a generates image data representing a virtual reality space to be presented to the first user 101a, and causes the HMD 120a to display a virtual reality space image based on the generated image data.
  • the first user 101a who sees the virtual reality space image displayed on the HMD 120a can experience the virtual reality space expressed by the virtual reality space image.
  • the second subsystem 100b includes an HMD 120b and an image generation device 200b.
  • the image generation device 200b generates image data representing the virtual reality space to be presented to the second user 101b, and displays the virtual reality space image on the HMD 120b based on the generated image data.
  • the second user 101b who has seen the virtual reality space image displayed on the HMD 120b can experience the virtual reality space expressed by the virtual reality space image.
  • the virtual reality space image generated by the image generation device 200a of the first subsystem 100a has a certain relationship with the virtual reality space experienced by the second user 101b using the second subsystem 100b.
  • the virtual reality space image generated by the image generation device 200b of the second subsystem 100b has a certain relationship with the virtual reality space experienced by the first user 101a using the first subsystem 100a. Can do. In this way, the virtual reality space is shared between the first user 101a and the second user 101b.
  • FIG. 2 is a diagram illustrating a hardware configuration of the image display system 100 according to an embodiment.
  • the image display system 100 corresponds to each of the first subsystem 100a and the second subsystem 100b shown in FIG.
  • the image display system 100 includes the HMD 120 and the image generation device 200.
  • the HMD 120 and the image generation apparatus 200 are electrically connected by a wired cable 150 and can communicate with each other.
  • a wireless connection may be used.
  • the HMD 120 is a display device that is worn by the user 101 and used by the user 101.
  • the HMD 120 includes a display 122 and a sensor 126.
  • the HMD 120 may further include a speaker or headphones (not shown).
  • the display 122 is configured to present an image to the field of view of the user 101 wearing the HMD 120.
  • the display 122 is realized as a non-transmissive display.
  • the external scene of the HMD 120 is blocked from the view of the user 101, and only the image displayed on the display 122 is delivered to the user's 101 eye.
  • an image generated using computer graphics is displayed on the display 122.
  • An example of an image by computer graphics is a virtual reality space image obtained by imaging a virtual reality space (for example, a world created by a computer game).
  • the real world may be represented by computer graphics based on position coordinate data such as actual topography and objects in the real world.
  • the sensor 126 detects in which direction the head of the user 101 wearing the HMD 120 is facing.
  • the sensor 126 is realized, for example, as a magnetic sensor, an angular velocity sensor, an acceleration sensor, or a combination thereof.
  • the sensor 126 is built in the HMD 120 and outputs a value (magnetism, angular velocity, or acceleration value) corresponding to the direction or movement of the HMD 120.
  • the image generation apparatus 200 calculates the orientation of the head of the user 101 wearing the HMD 120 by processing the output value from the sensor 126 by an appropriate method.
  • the orientation of the head of the user 101 is used by the image generation apparatus 200 to change the display image of the display 122 so as to follow the movement when the user 101 moves the head. For example, when the user 101 turns his head to the right (or left, up, down), the display 122 displays a virtual scene in the right (or left, up, down) direction of the user in the virtual reality space. It may be.
  • a sensor provided outside the HMD 120 may be applied as the sensor 126.
  • the sensor 126 may be an infrared sensor installed at a fixed position in the room that is separate from the HMD 120.
  • the image generation apparatus 200 can specify the orientation of the head of the user 101 wearing the HMD 120 by detecting an infrared reflection marker provided on the surface of the HMD 120 using the infrared sensor.
  • the image generation apparatus 200 is an apparatus for generating an image to be displayed on the HMD 120.
  • the image generation apparatus 200 includes at least a processor 202, a memory 204, a user input interface 206, and a communication interface 208.
  • the image generation device 200 can be realized as, for example, a personal computer, a game console, a smartphone, a tablet terminal, or the like.
  • the memory 204 stores at least an operating system and an image generation program.
  • the operating system is a computer program for controlling the overall operation of the image generation apparatus 200.
  • the image generation program is a computer program for the image generation apparatus 200 to realize each function of image generation processing described later.
  • the memory 204 can also store data generated by the operation of the image generating apparatus 200 temporarily or permanently. Specific examples of the memory 204 include a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk, a flash memory, and an optical disk.
  • the processor 202 is configured to read a program stored in the memory 204 and execute processing according to the program. When the processor 202 executes an image generation program stored in the memory 204, each function of image generation processing described later is realized.
  • the processor 202 includes a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the user input interface 206 is configured to receive an input for operating the image generation apparatus 200 from a user of the image display system 100.
  • Specific examples of the user input interface 206 are a game controller, a touch pad, a mouse, a keyboard, and the like.
  • the communication interface 208 is a network interface for communicating with other devices via a network.
  • the image generation apparatus 200 a of the first subsystem 100 a and the image generation apparatus 200 b of the second subsystem 100 b shown in FIG. 1 communicate with each other via the network 105 using the respective communication interfaces 208.
  • the image generation device 200 can be classified into three types according to the content of the image to be generated. Hereinafter, these will be described as first, second, and third aspects, respectively.
  • FIG. 3A is a block diagram illustrating a functional configuration of an image generation device 200a according to a first aspect of an embodiment.
  • FIG. 3B is a block diagram illustrating a functional configuration of the image generation device 200b according to the first aspect of an embodiment.
  • the image generation apparatus 200a is an element constituting the first subsystem 100a
  • the image generation apparatus 200b is an element constituting the second subsystem 100b.
  • the image generation apparatuses 200a and 200b may have the same hardware configuration as described with reference to FIG. 2, but the functional configurations are different from each other as described below.
  • the image generation device 200b of the second subsystem 100b includes a storage unit 220b and a processing unit 230b.
  • the processing unit 230b further includes an image generation unit 231b, a line-of-sight information transmission unit 232, and an image output unit 239.
  • the storage unit 220b corresponds to the memory 204 illustrated in FIG.
  • the processing unit 230b and the units 231b, 232, and 239 included in the processing unit 230b are functions of image generation processing realized by the processor 202 illustrated in FIG. 2 reading and executing the image generation program in the memory 204. Represents.
  • the image generation unit 231b generates an image to be displayed on the HMD 120b.
  • the image generation unit 231b acquires predetermined data from the storage unit 220b, and generates an image by computer graphics processing based on the acquired data.
  • the image generation unit 231b generates a virtual reality space image that allows the second user 101b wearing the HMD 120b to recognize a virtual reality space based on a computer game.
  • the virtual reality space image represents a scene that the user can see in the virtual reality space.
  • the virtual reality space image generated by the image generation unit 231b includes characters appearing in computer games, landscapes such as buildings and trees, interior furniture and wall interiors, items falling on the ground, and user operations.
  • the image generation unit 231b generates a virtual reality space image of such a computer game based on the virtual reality space configuration information 221 acquired from the storage unit 220b.
  • the image generation unit 231b may change the image based on the output value from the sensor 126.
  • the image generated by the image generation unit 231b is an image representing a state in which the user's view in the virtual reality space changes following the movement of the head of the second user 101b indicated by the output value from the sensor 126. It may be.
  • FIG. 4 schematically shows the movement of the head of the user 101 according to an embodiment.
  • the axis connecting the center of the head of the user 101 and the center of the HMD 120 is the Z axis
  • the axis connecting the center of the head of the user 101 and the top is the Y axis
  • the user 101 An axis that passes through the center of the head and is orthogonal to the Y axis and the Z axis is taken as the X axis.
  • the sensor 126 When the sensor 126 is, for example, an angular velocity sensor, the sensor 126 outputs angular velocity values of the pitch angle around the X axis, the yaw angle around the Y axis, and the roll angle around the Z axis.
  • the image generation unit 231b changes the virtual reality space image based on the output values of these angular velocities, that is, the orientation of the user 101's head. For example, when the user 101 turns his head to the right, the yaw angle around the Y axis changes.
  • the image generation unit 231b changes the virtual reality space image so that a scene in the right direction of the user is projected in the virtual reality space in accordance with the change of the angular velocity value of the Y axis.
  • the image generation unit 231b changes the virtual reality space image so that the user's field of view in the virtual reality space is tilted to the right in accordance with the change in the angular velocity value of the Z axis.
  • the image generation unit 231b may change the image based on the position of the user. For example, when the user walks around in the virtual reality space, the image generated by the image generation unit 231b may be an image representing a sight seen from a position where the user is currently standing in the virtual reality space. As an example, the user's temporal position information in the virtual reality space is stored in the storage unit 220b. The image generation unit 231b acquires position information immediately before the user in the virtual reality space from the storage unit 220b. Also, from the user input interface 206 such as a game controller, an instruction of the user's moving direction and moving speed is input as an operation input for the user to walk around in the virtual reality space.
  • the user input interface 206 such as a game controller
  • the image generation unit 231b determines the current user's current position in the virtual reality space based on the position information immediately before the user acquired from the storage unit 220b and the information on the moving direction and moving speed of the user input from the user input interface 206. Calculate the position. Based on the calculated current position of the user, the image generation unit 231b changes the virtual reality space image so that the user's field of view changes as the user walks in the virtual reality space.
  • the image generation unit 231b generates a virtual reality space image corresponding to the position of the user and the orientation of the head in the virtual reality space.
  • the generated virtual reality space image is output to the HMD 120 b via the image output unit 239 and displayed on the display 122.
  • the second user 101b can see a virtual scene that exists in the direction in which the head is directed from the place where the user is currently standing in the virtual reality space.
  • the line-of-sight information transmission unit 232 of the image generation apparatus 200b transmits the line-of-sight information of the second user 101b to the image generation apparatus 200a of the first subsystem 100a via the network 105.
  • the line-of-sight information indicates where and where the user is looking in the virtual reality space.
  • the line-of-sight information includes the current position in the virtual reality space of the second user 101b and the direction of the head.
  • the line-of-sight information transmission unit 232 acquires the user position and head orientation in the virtual reality space used by the image generation unit 231b to generate the virtual reality space image from the image generation unit 231b, and uses them as the line-of-sight information. You may send it.
  • the orientation of the user's head in the virtual reality space includes at least the user's line-of-sight direction.
  • the user's line-of-sight direction is the direction along the Z axis shown in FIG. 4 and corresponds to the direction of the screen center of the virtual reality space image displayed on the display 122 of the HMD 120b.
  • the orientation of the user's head in the virtual reality space may include a rotation around the user's line-of-sight direction (that is, a roll angle around the Z axis).
  • the line-of-sight information of the second user 101b transmitted from the line-of-sight information transmitting unit 232 is used for image generation processing in the image generation apparatus 200a of the first subsystem 100a.
  • the image generation device 200a includes a storage unit 220a and a processing unit 230a.
  • the processing unit 230a further includes an image generation unit 231a, a line-of-sight information reception unit 233, a line-of-sight information correction unit 234, and an image output unit 239.
  • the storage unit 220a corresponds to the memory 204 shown in FIG.
  • the processing unit 230a and the units 231a, 233, 234, and 239 included in the processing unit 230a are realized by the processor 202 illustrated in FIG. 2 reading and executing the image generation program in the memory 204.
  • the function of the image generation process which concerns on is represented.
  • the image generation unit 231a generates an image to be displayed on the HMD 120a.
  • the image generation unit 231a generates a virtual reality space image by computer graphics processing using the virtual reality space configuration information 221 stored in the storage unit 220a.
  • the virtual reality space image is an image that allows the first user 101a wearing the HMD 120a to recognize the virtual reality space by the computer game.
  • the image generation processing by the image generation unit 231a is performed based on the line-of-sight information of the second user 101b transmitted from the image generation apparatus 200b of the second subsystem 100b.
  • the line-of-sight information of the second user 101b is received by the line-of-sight information receiving unit 233 and supplied to the image generation unit 231a for image generation processing.
  • the image generation unit 231a generates a virtual reality space image representing a sight of the virtual reality space viewed from the viewpoint of the second user 101b.
  • the virtual reality space image generated by the image generation unit 231a is the same as the virtual reality space image generated in the image generation device 200b of the second subsystem 100b.
  • the line-of-sight information of the second user 101b includes the current position and head direction (line-of-sight direction) of the second user 101b in the virtual reality space.
  • the image generation unit 231a specifies the current position and the line-of-sight direction of the second user 101b in the virtual reality space from the line-of-sight information of the second user 101b.
  • the image generation unit 231a further generates the same virtual reality space image as that of the image generation device 200b of the second subsystem 100b by specifying a scene in the virtual reality space that exists in the line-of-sight direction from the position.
  • FIG. 5 conceptually shows virtual reality space images generated by the image generation units 231a and 231b, respectively.
  • the second user 101b is located in a field 500, which is a partial area in the virtual reality space.
  • Objects (for example, buildings and obstacles) 501 and 502 are also arranged in the field 500.
  • the field 500 is, for example, a competition area in a sports game (for example, a tennis court or a baseball ground), a battle area in a battle game or an action game, and the like.
  • the second user 101b in the field 500 exists as a player who actually plays the computer game, and faces the objects 501 and 502.
  • the image generation device 200b (image generation unit 231b) of the second subsystem 100b used by the second user 101b is the position of the second user 101b in the virtual reality space and the head of the second user 101b acquired from the sensor 126.
  • a virtual reality space image 503b including the objects 501 and 502 is generated based on the direction (gaze direction).
  • the first user 101 a is located outside the field 500.
  • the first user 101a outside the field 500 is a spectator who watches the game play of the second user 101b, for example.
  • the image generation device 200a (image generation unit 231a) of the first subsystem 100a used by the first user 101a is based on the line-of-sight information of the second user 101b transmitted from the image generation device 200b of the second subsystem 100b.
  • a virtual reality space image 503a is generated. As illustrated, the virtual reality space image 503a is the same image as the virtual reality space image 503b including the objects 501 and 502.
  • the image generation unit 231a performs the image generation apparatus of the second subsystem 100b based on the line-of-sight information of the second user 101b transmitted from the image generation apparatus 200b of the second subsystem 100b via the network 105.
  • the same virtual reality space image as 200b is generated.
  • the generated virtual reality space image is output to the HMD 120 a via the image output unit 239 and displayed on the display 122.
  • the first user 101a can see the same virtual scene as the second user 101b sees in the virtual reality space.
  • the line-of-sight information of the second user 101b is transmitted via the network 105. Since the line-of-sight information is information on the position and direction, the data amount is overwhelmingly smaller than the image itself. Therefore, the communication load on the network can be greatly reduced.
  • the second user 101b When transmitting the line-of-sight information of the second user 101b via the network 105, the second user 101b depends on the communication status of the network 105 and the processing status of the image display system 100 (first subsystem 100a, second subsystem 100b).
  • Line-of-sight information may not reach the image generation unit 231a at a timely timing and may be delayed, or some or all of the data may be lost.
  • the image generation device 200a includes a line-of-sight information correction unit 234 to cope with such a situation.
  • the line-of-sight information correction unit 234 may operate not only when there is a problem in the reception of the line-of-sight information but also when the line-of-sight information can be acquired appropriately.
  • the line-of-sight information correction unit 234 corrects the line-of-sight information of the second user 101b.
  • the line-of-sight information correcting unit 234 corrects the line-of-sight information using the already acquired line-of-sight information.
  • the image generation device 200b of the second subsystem 100b transmits the line-of-sight information of the second user 101b at a predetermined time interval.
  • the line-of-sight information over time is received by the line-of-sight information receiving unit 233 and stored in the storage unit 220a in time series.
  • the line-of-sight information correction unit 234 acquires the line-of-sight information immediately before from the storage unit 220a, for example, when the new line-of-sight information of the second user 101b is not received from the second subsystem 100b at the scheduled time. Corrected line-of-sight information is generated based on the immediately preceding line-of-sight information. The corrected line-of-sight information is used in image generation processing in the image generation unit 231a instead of the line-of-sight information of the second user 101b that has not been received at the scheduled time.
  • the line-of-sight information correction unit 234 generates corrected line-of-sight information according to the following equation.
  • the meanings of the variables in the equations (1) and (2) are as follows.
  • the subscript t represents time.
  • Pe (t n): position of the second user to be corrected this time (current correction line-of-sight information)
  • Ps (t n ⁇ 1): position of the second user received last time (previous gaze information)
  • Re (t n): direction of the head of the second user to be corrected this time (corrected line-of-sight information this time)
  • Re (t n-1): the head direction of the second user corrected last time (previous correction line-of-sight information)
  • Rs (t n-1): head direction of the second user received last time (previous gaze information)
  • the storage unit 220a stores the line-of-sight information Ps (t) and Rs (t) of the second user 101b received from the second subsystem 100b up to the previous time (that is, t ⁇ n ⁇ 1).
  • the storage unit 220a also stores corrected line-of-sight information Pe (t) and Re (t) corrected by the line-of-sight information correcting unit 234 until the previous time (t ⁇ n ⁇ 1).
  • the line-of-sight information correction unit 234 can correct the line-of-sight information of the second user 101b.
  • the virtual reality space image generated by the unit 231a is an image slightly shifted from the virtual reality space image generated in the image generation device 200b of the second subsystem 100b. However, since the image is generated at a constant cycle without causing frame loss, the image generation apparatus 200a causes the video motion to the first user 101a using the first subsystem 100a. It can provide smooth images that do not stop for a moment or jump suddenly.
  • the interpolation coefficients ⁇ and ⁇ may be defined as follows, for example.
  • the symbol (A, B) means the inner product of the vectors A and B.
  • V is a parameter (interpolation speed) that specifies how much the line-of-sight information changes per unit time. is there.
  • ⁇ T and V are adjusted so that 0 ⁇ ⁇ ⁇ 1.
  • ⁇ Sickness> when the first user 101a experiences the virtual reality space can be reduced by using such linear interpolation in correcting the line-of-sight information.
  • the rapid movement of the second user 101b is less likely to be reflected in the virtual reality space visually recognized by the first user 101a, so that the first user 101a can experience a virtual reality space that is less susceptible to “drunk”.
  • the interpolation coefficient ⁇ may include a factor (1-d).
  • the correction formula (2) is composed of three component formulas corresponding to the three axis directions of the X, Y, and Z axes shown in FIG. 4, but the interpolation coefficient ⁇ (interpolation speed V) of each formula is not necessarily limited. It doesn't have to be the same.
  • the interpolation speed VZ of the expression corresponding to the Z axis (roll axis) among the expressions of the three components is more than the interpolation speeds VX and VY of the expressions corresponding to the X axis (pitch axis) and the Y axis (yaw axis). It may be set small.
  • the change around the roll axis of the virtual reality space image is made more than the change around the pitch axis and the yaw axis by setting VZ ⁇ VX, VY. By suppressing it, “sickness” felt by the first user 101a can be effectively reduced.
  • the image generation devices 200a and 200b according to this aspect are realized using a hardware configuration similar to the hardware configuration that realizes the image generation devices 200a and 200b according to the aforementioned aspect. Therefore, the description of the hardware configuration will not be repeated.
  • FIG. 6 conceptually shows virtual reality space images generated by the image generation units 231a and 231b according to the second aspect. 6 differs from FIG. 5 in the contents of the virtual reality space image 603a generated by the image generation unit 231a.
  • the virtual reality space image 603a is an image of the field 500 viewed from the viewpoint of the first user 101a from the position of the first user 101a in the virtual reality space.
  • the virtual reality space image 603a includes an object 601b (an object representing the second user 101b) in addition to the objects 501 and 502.
  • the first user 101a may walk in the virtual reality space or change the direction in which the line of sight is directed.
  • the image generation unit 231a of the first subsystem 100a changes the virtual reality space image 603a so as to follow such movement of the first user 101a. Further, the image generation unit 231a controls the object 601b in the virtual reality space image 603a based on the line-of-sight information of the second user 101b transmitted from the second subsystem 100b. For example, the image generation unit 231 a matches the orientation of the object 601 b in the virtual reality space image 603 a with the actual orientation of the face of the second user 101 b on the field 500. The image generation unit 231a may arrange the object 601b at a position in the virtual reality space image 603a corresponding to the place where the second user 101b stands on the field 500.
  • the virtual reality space image 603a may be an image including only the object 601b.
  • An example of the object 601b in the virtual reality space image 603a is a face of an avatar representing the second user 101b.
  • the orientation of the avatar's face may be controlled based on the line-of-sight information of the second user 101b transmitted from the second subsystem 100b.
  • the image generation device 200a according to the second aspect includes the same line-of-sight information correction unit 234 as the line-of-sight information correction unit 234 included in the image generation device 200a according to the first aspect.
  • the line-of-sight information correction unit 234 corrects the line-of-sight information of the second user 101b as in the case of the first aspect.
  • the movement of the object 601b in the virtual reality space image 603a can be made smooth.
  • the image generation device 200a of the first subsystem 100a and the image generation device 200b of the second subsystem 100b have the same function. Therefore, the following description will focus on differences from the above-described aspects. Note that the image generation devices 200a and 200b according to this aspect are realized using a hardware configuration similar to the hardware configuration that realizes the image generation devices 200a and 200b according to the aforementioned aspect. Therefore, the description of the hardware configuration will not be repeated.
  • FIG. 7A is a block diagram showing a functional configuration of the image generation apparatus 200a according to the third aspect.
  • FIG. 7B is a block diagram illustrating a functional configuration of the image generation device 200b according to the third aspect.
  • the image generation apparatus 200a of the first subsystem 100a includes a storage unit 220a and a processing unit 230a.
  • the processing unit 230a further includes an image generation unit 231, a line-of-sight information transmission unit 232, a line-of-sight information reception unit 233, a line-of-sight information correction unit 234, and an image output unit 239.
  • the image generation device 200b of the second subsystem 100b includes a storage unit 220b and a processing unit 230b.
  • the processing unit 230b further includes an image generation unit 231, a line-of-sight information transmission unit 232, a line-of-sight information reception unit 233, a line-of-sight information correction unit 234, and an image output unit 239.
  • the storage units 220a and 220b correspond to the memory 204 shown in FIG.
  • the processing units 230a and 230b and the image generation unit 231, the line-of-sight information transmission unit 232, the line-of-sight information reception unit 233, the line-of-sight information correction unit 234, and the image output unit 239 included in the respective processing units 230a and 230b are illustrated in FIG.
  • the illustrated processor 202 represents a function of image generation processing according to the present embodiment realized by reading and executing an image generation program in the memory 204.
  • the image generation unit 231 of the first subsystem 100a and the image generation unit 231 of the second subsystem 100b have the same functions as the functions of the image generation unit 231a of the first subsystem 100a in the second embodiment.
  • the line-of-sight information transmitting unit 232, the line-of-sight information receiving unit 233, the line-of-sight information correcting unit 234, and the image output unit 239 of each of the first subsystem 100a and the second subsystem 100b are components in the first and second aspects, respectively. Have the same functions as
  • the line-of-sight information transmission unit 232 of the second subsystem 100b transmits the line-of-sight information of the second user 101b to the image generation device 200a of the first subsystem 100a via the network 105.
  • the line-of-sight information of the second user 101b is received by the line-of-sight information receiving unit 233 of the first subsystem 100a.
  • the image generation unit 231 of the first subsystem 100a generates a virtual reality space image based on the received line-of-sight information of the second user 101b.
  • the generated virtual reality space image is output to the HMD 120a of the first subsystem 100a via the image output unit 239 and displayed on the display 122 of the HMD 120a for presentation to the first user 101a.
  • the line-of-sight information transmission unit 232 of the first subsystem 100a transmits the line-of-sight information of the first user 101a to the image generation device 200b of the second subsystem 100b via the network 105.
  • the line-of-sight information of the first user 101a is received by the line-of-sight information receiving unit 233 of the second subsystem 100b.
  • the image generation unit 231 of the second subsystem 100b generates a virtual reality space image based on the received line-of-sight information of the first user 101a.
  • the generated virtual reality space image is output to the HMD 120b of the second subsystem 100b via the image output unit 239 and displayed on the display 122 of the HMD 120b for presentation to the second user 101b.
  • FIG. 8 conceptually shows virtual reality space images generated by the image generation units 231 of the first subsystem 100a and the second subsystem 100b in the third aspect.
  • a first user 101a and a second user 101b are located in a field 500 that is a partial area in the virtual reality space.
  • An object 501 is also arranged in the field 500.
  • the first user 101a and the second user 101b are present on the field 500 as players of a computer game (such as a sports game or a battle game) and face each other.
  • a computer game such as a sports game or a battle game
  • the image generation unit 231 of the first subsystem 100a used by the first user 101a generates a virtual reality space image 803a based on the line-of-sight information of the second user 101b transmitted from the second subsystem 100b.
  • the virtual reality space image 803a is an image obtained by viewing the virtual reality space from the position of the first user 101a in the virtual reality space from the viewpoint of the first user 101a.
  • the virtual reality space image 803a includes an object 801b representing the second user 101b.
  • the first user 101a may walk in the virtual reality space or change the direction in which the line of sight is directed, as in the second phase.
  • the image generation unit 231 of the first subsystem 100a changes the virtual reality space image 803a so as to follow such movement of the first user 101a. Further, the image generation unit 231 of the first subsystem 100a controls the object 801b in the virtual reality space image 803a based on the line-of-sight information of the second user 101b, similarly to the image generation unit 231a of the second aspect. For example, the image generation unit 231 matches the orientation of the object 801 b in the virtual reality space image 803 a with the actual orientation of the face of the second user 101 b on the field 500. Further, the image generation unit 231 may arrange the object at a position in the virtual reality space image 803a corresponding to the place where the second user 101b stands on the field 500.
  • the image generation unit 231 of the second subsystem 100b used by the second user 101b also generates the virtual reality space image 803b based on the line-of-sight information of the first user 101a.
  • the virtual reality space image 803b is an image obtained by viewing the virtual reality space from the viewpoint of the second user 101b from the position of the second user 101b in the virtual reality space, and represents the first user 101a.
  • An object 801a is included.
  • the virtual reality space image 803b includes an object 501.
  • the image generation unit 231 of the second subsystem 100b changes the virtual reality space image 803b so as to follow the movement of the second user 101b, and the first user 101a.
  • the direction and position of the object 801a in the virtual reality space image 803b are controlled based on the line-of-sight information.
  • amendment part 234 of the 1st subsystem 100a in this situation and the 2nd subsystem 100b each corrects the gaze information of the 2nd user 101b or the 1st user 101a similarly to the case of the above-mentioned situation.
  • Each subsystem 100a, 100b can smooth the movement of the object in the virtual reality space image 803a and the object 801a in the virtual reality space image 803b by using the corrected line-of-sight information.
  • image generation devices 200a and 200b for generating a virtual reality space image are provided.
  • the image generating apparatus includes a memory 204 for storing instructions and one or more processors 202 coupled to the memory 204 for executing the instructions.
  • the instructions are sent to the processor 202 from the second terminal (HMD 120b) sharing the virtual reality space with the first terminal (eg, HMD 120a) used by the first user.
  • the instruction sends, to the processor 202, a virtual reality space image that is the same as or approximate to that presented to the second user by the second terminal as the virtual reality space image. Let it generate more.
  • generating the virtual reality space image includes virtual reality including an object arranged at a position and orientation corresponding to the line-of-sight information in the virtual reality space as the virtual reality space image. Generating a spatial image.
  • the instruction further causes the processor 202 to correct the line-of-sight information from the second terminal and generate corrected line-of-sight information.
  • Generating the virtual reality space image includes generating a virtual reality space image based on the corrected line-of-sight information.
  • generating the corrected line-of-sight information includes generating the corrected line-of-sight information at a predetermined time interval.
  • generating the corrected gaze information includes generating the current corrected gaze information based on the previous corrected gaze information and the gaze information previously acquired from the second terminal. Including.
  • generating the corrected gaze information generates the current corrected gaze information by linearly interpolating the previous corrected gaze information and the gaze information previously acquired from the second terminal. Including doing.
  • the interpolation coefficient of the linear interpolation depends on an angle difference between the gaze direction included in the previous corrected gaze information and the gaze direction included in the gaze information acquired from the second terminal last time. Values are included.
  • (Configuration 9) corresponding to the roll axis among the interpolation coefficients of the linear interpolation so that the change around the roll axis of the virtual reality space image becomes smaller than the change around the pitch axis and the yaw axis.
  • the interpolation coefficient is set to a value different from the interpolation coefficient corresponding to the pitch axis and the yaw axis.
  • a method executed by a computer to generate a virtual reality space image is provided.
  • this method from a second terminal sharing a virtual reality space with a first terminal used by a first user, the position and line-of-sight direction of the second user using the second terminal in the virtual reality space A virtual reality space image to be displayed on the first terminal based on the visual line information from the second terminal, and the generated virtual reality space image To the first terminal.
  • the method generates, as the virtual reality space image, a virtual reality space image that is the same as or similar to that presented to the second user by the second terminal. In addition.
  • generating the virtual reality space image includes virtual reality including an object arranged at a position and orientation corresponding to the line-of-sight information in the virtual reality space as the virtual reality space image. Generating a spatial image.
  • the method further includes correcting the line-of-sight information from the second terminal to generate corrected line-of-sight information.
  • Generating the virtual reality space image includes generating a virtual reality space image based on the corrected line-of-sight information.
  • generating the corrected line-of-sight information includes generating the corrected line-of-sight information at a predetermined time interval.
  • generating the corrected gaze information includes generating the current corrected gaze information based on the previous corrected gaze information and the gaze information previously acquired from the second terminal. Including.
  • generating the corrected gaze information generates the current corrected gaze information by linearly interpolating the previous corrected gaze information and the gaze information previously acquired from the second terminal. Including doing.
  • the interpolation coefficient of the linear interpolation depends on the angle difference between the line-of-sight direction included in the previous corrected line-of-sight information and the line-of-sight direction included in the line-of-sight information previously acquired from the second terminal. Values are included.
  • (Configuration 18) corresponding to the roll axis among the interpolation coefficients of the linear interpolation so that the change around the roll axis of the virtual reality space image is smaller than the change around the pitch axis and the yaw axis.
  • the interpolation coefficient is set to a value different from the interpolation coefficient corresponding to the pitch axis and the yaw axis.
  • a non-transitory computer-readable recording medium storing instructions for causing a computer to execute a method for generating a virtual reality space image.
  • the method includes: from a second terminal sharing a virtual reality space with a first terminal used by a first user; a position and a line-of-sight direction of the second user using the second terminal in the virtual reality space; A virtual reality space image to be displayed on the first terminal based on the visual line information from the second terminal, and the generated virtual reality space image To the first terminal.
  • the method generates, as the virtual reality space image, a virtual reality space image that is the same as or similar to that presented to the second user by the second terminal. In addition.
  • 10 virtual reality space sharing system 15 user control device, 16 information processing server, 100 image display system, 100a first subsystem, 100a subsystem, 100b second subsystem, 101a first user, 101b second user, 105 network , 122 display, 126 sensor, 150 wired cable, 200, 200a, 200b image generation device, 202 processor, 204 memory, 206 user input interface, 208 communication interface, 220a, 220b storage unit, 221 virtual reality space configuration information, 230a, 230b processing unit, 231, 231a, 231b image generation unit, 231a, 231b each unit, 232 gaze information transmission unit, 233 gaze information reception unit, 234 gaze Distribution correcting unit, 239 an image output unit, 500 field, 501,601b, 801a, 801b objects, 503a, 503b, 603a, 803a, 803b virtual reality space image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

仮想現実空間共有システムにおいて通信負荷が低減される。仮想現実空間画像を生成するための画像生成装置は、命令を格納するためのメモリと、メモリに結合されて、命令を実行するためのプロセッサとを備える。当該命令は、プロセッサによって実行されると、プロセッサに、第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、仮想現実空間における第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、第２端末からの視線情報に基づいて第１端末に表示するための仮想現実空間画像を生成することと、生成された仮想現実空間画像を第１端末へ供給することと、を行なわせる。

Description

画像生成装置、画像生成方法、および画像生成プログラムを格納した一時的でない記録媒体
　本出願は、２０１５年１０月１９日に提出された日本出願第２０１５－２０５４７６に対して、優先権の利益を主張するものであり、それを参照することにより、その内容のすべてを本書に含める。
　本開示は、画像生成装置、画像生成方法、及び画像生成プログラムを格納した一時的でない記録媒体に関する。
　ヘッドマウントディスプレイに関し、特開２００２－１４９５８１号公報（特許文献１）は、「ヘッドマウントディスプレイに表示する仮想空間を複数のユーザで共有し、各ユーザの実空間における位置と仮想空間における位置を対応させる。」技術を開示している（［要約］参照）。
特開２００２－１４９５８１号公報
　しかしながら、特許文献１に開示された仮想空間共有システムによると、情報処理サーバ１６が仮想空間情報（画像）を生成して、ネットワークを介して各ユーザのユーザ制御装置１５へ仮想空間情報を送信している。そのため、ネットワークの通信負荷が大きくなる。したがって、仮想現実空間共有システムにおいて通信負荷を低減することが求められている。
　一実施の形態に従うと、仮想現実空間画像を生成するための画像生成装置が提供される。この画像生成装置は、命令を格納するためのメモリと、メモリに結合されて、命令を実行するためのプロセッサとを備える。命令は、プロセッサによって実行されると、プロセッサに、第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、仮想現実空間における第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、第２端末からの視線情報に基づいて第１端末に表示するための仮想現実空間画像を生成することと、生成された仮想現実空間画像を第１端末へ供給することとを行なわせる。
　他の実施の形態に従うと、仮想現実空間画像を生成するためにコンピュータが実行する方法が提供される。この方法は、第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、仮想現実空間における第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、第２端末からの視線情報に基づいて第１端末に表示するための仮想現実空間画像を生成することと、生成された仮想現実空間画像を第１端末へ供給することとを含む。
　さらに他の実施の形態に従うと、仮想現実空間画像を生成するための方法をコンピュータに実行させる命令を格納した、一時的でないコンピュータ読み取り可能な記録媒体が提供される。この方法は、第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、仮想現実空間における第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、第２端末からの視線情報に基づいて第１端末に表示するための仮想現実空間画像を生成することと、生成された仮想現実空間画像を第１端末へ供給することとを含む。
　ある実施形態に従うと、ある局面において、仮想現実空間共有システムにおいて通信負荷を低減することができる。
　この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
ある実施形態に係る仮想現実空間共有システム１０の概略構成を示す図である。 ある実施形態に係る画像表示システム１００のハードウェア構成を示す図である。 ある実施形態に係る画像生成装置２００ａの機能的な構成を示すブロック図である。 ある実施形態に係る画像生成装置２００ｂの機能的な構成を示すブロック図である。 ユーザの頭の動きを模式的に示す図である。 画像生成部２３１ａ及び２３１ｂによってそれぞれ生成される仮想現実空間画像を概念的に示す図である。 他の局面に従う実施形態の画像生成部２３１ａ及び２３１ｂがそれぞれ生成する仮想現実空間画像を概念的に示す図である。 他の局面に従う実施形態に係る画像生成装置２００ａの機能的な構成を示すブロック図である。 他の局面に従う実施形態に係る画像生成装置２００ｂの機能的な構成を示すブロック図である。 他の局面に従う実施形態における第１サブシステム１００ａと第２サブシステム１００ｂの各画像生成部２３１がそれぞれ生成する仮想現実空間画像を概念的に示す図である。
　以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　図１は、ある実施形態に係る仮想現実空間共有システム１０の概略構成を示す図である。仮想現実空間共有システム１０は、第１ユーザ１０１ａによって使用される第１サブシステム（第１端末）１００ａと、第２ユーザ１０１ｂによって使用される第２サブシステム（第２端末）１００ｂとを備える。第１サブシステム１００ａと第２サブシステム１００ｂは、ネットワーク１０５を介して相互に通信可能に接続されている。ネットワーク１０５は、例えばインターネットやＬＡＮ（Local　Area　Network）などの、任意のタイプのネットワークであってよい。図１には２つのサブシステム１００ａ及び１００ｂのみが示されているが、仮想現実空間共有システム１０は、それぞれが別個のユーザによって使用される任意の数の同様のサブシステムを含んでもよい。
　第１サブシステム１００ａは、ヘッドマウントディスプレイ（以下、ＨＭＤという）１２０ａと、画像生成装置２００ａとを備える。画像生成装置２００ａは、第１ユーザ１０１ａに提示するための仮想現実空間を表す画像データを生成して、生成した画像データに基づいて仮想現実空間画像をＨＭＤ１２０ａに表示させる。ＨＭＤ１２０ａに表示された仮想現実空間画像を見た第１ユーザ１０１ａは、その仮想現実空間画像によって表現された仮想現実空間を体感することができる。同様に、第２サブシステム１００ｂは、ＨＭＤ１２０ｂと、画像生成装置２００ｂとを備える。画像生成装置２００ｂは、第２ユーザ１０１ｂに提示するための仮想現実空間を表す画像データを生成して、生成した画像データに基づいて仮想現実空間画像をＨＭＤ１２０ｂに表示させる。ＨＭＤ１２０ｂに表示された仮想現実空間画像を見た第２ユーザ１０１ｂは、その仮想現実空間画像によって表現された仮想現実空間を体感することができる。
　第１サブシステム１００ａの画像生成装置２００ａによって生成される仮想現実空間画像は、後述するように、第２サブシステム１００ｂを使用している第２ユーザ１０１ｂが体感する仮想現実空間とある一定の関係を有する。また同様に、第２サブシステム１００ｂの画像生成装置２００ｂによって生成される仮想現実空間画像も、第１サブシステム１００ａを使用している第１ユーザ１０１ａが体感する仮想現実空間と一定の関係を有し得る。このような形で、第１ユーザ１０１ａと第２ユーザ１０１ｂとの間で仮想現実空間が共有される。
　図２は、ある実施形態に係る画像表示システム１００のハードウェア構成を表す図である。画像表示システム１００は、図１に示された第１サブシステム１００ａと第２サブシステム１００ｂのそれぞれに対応する。上述したように、画像表示システム１００は、ＨＭＤ１２０と、画像生成装置２００とを備える。ＨＭＤ１２０と画像生成装置２００は、一例として有線ケーブル１５０によって電気的に接続され、相互に通信可能である。有線ケーブル１５０に代えて、無線接続が用いられてもよい。
　ＨＭＤ１２０は、ユーザ１０１の頭に装着されてユーザ１０１に利用される表示デバイスである。ＨＭＤ１２０は、ディスプレイ１２２と、センサ１２６とを備える。ＨＭＤ１２０はさらに、スピーカまたはヘッドホン（図示しない）を備えてもよい。
　ディスプレイ１２２は、ＨＭＤ１２０を装着したユーザ１０１の視界に画像を提示するように構成される。例えば、ディスプレイ１２２は、非透過型ディスプレイとして実現される。この場合、ＨＭＤ１２０の外界の光景はユーザ１０１の視界から遮断され、ユーザ１０１の目にはディスプレイ１２２に映し出された画像だけが届けられる。ディスプレイ１２２には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実の空間（例えばコンピュータゲームで作り出される世界）を画像化した仮想現実空間画像である。あるいは、現実世界の実際の地形や物体等の位置座標データに基づいて、現実世界をコンピュータグラフィックスで表現してもよい。
　センサ１２６は、ＨＭＤ１２０を装着したユーザ１０１の頭がどちらの方向を向いているかを検知する。センサ１２６は、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせとして実現される。センサ１２６が磁気センサ、角速度センサ、又は加速度センサである場合、センサ１２６はＨＭＤ１２０に内蔵されて、ＨＭＤ１２０の向きや動きに応じた値（磁気、角速度、又は加速度の値）を出力する。画像生成装置２００は、センサ１２６からの出力値を適宜の方法で加工することで、ＨＭＤ１２０を装着したユーザ１０１の頭の向きを算出する。ユーザ１０１の頭の向きは、ユーザ１０１が頭を動かした際にその動きに追従するようにディスプレイ１２２の表示画像を変化させるのに画像生成装置２００に利用される。例えば、ユーザ１０１が頭を右（又は左、上、下）に向けると、ディスプレイ１２２には、仮想現実空間においてユーザの右（又は左、上、下）方向にある仮想的光景が映し出されるのであってよい。
　なおセンサ１２６として、ＨＭＤ１２０の外部に設けられたセンサを適用してもよい。例えば、センサ１２６は、ＨＭＤ１２０とは別体の、室内の固定位置に設置された赤外線センサであってよい。画像生成装置２００は、この赤外線センサを用いて、ＨＭＤ１２０の表面に設けられた赤外線反射マーカーを検知することにより、ＨＭＤ１２０を装着したユーザ１０１の頭の向きを特定することができる。
　画像生成装置２００は、ＨＭＤ１２０に表示される画像を生成するための装置である。画像生成装置２００は、プロセッサ２０２と、メモリ２０４と、ユーザ入力インターフェイス２０６と、通信インターフェイス２０８とを少なくとも備える。画像生成装置２００は、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、タブレット端末等として実現できる。
　メモリ２０４は、少なくともオペレーティングシステムと画像生成プログラムとを格納している。オペレーティングシステムは、画像生成装置２００の全体的な動作を制御するためのコンピュータプログラムである。画像生成プログラムは、画像生成装置２００が後述する画像生成処理の各機能を実現するためのコンピュータプログラムである。メモリ２０４はまた、画像生成装置２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、ハードディスク、フラッシュメモリ、光ディスク等である。
　プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納された画像生成プログラムを実行することによって、後述する画像生成処理の各機能が実現される。プロセッサ２０２は、ＣＰＵ（Central　Processing　Unit）及びＧＰＵ（Graphics　Processing　Unit）を含む。
　ユーザ入力インターフェイス２０６は、画像表示システム１００のユーザから画像生成装置２００を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス２０６の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。
　通信インターフェイス２０８は、ネットワークを介して他の装置と通信するためのネットワークインターフェイスである。例えば図１に示された第１サブシステム１００ａの画像生成装置２００ａと第２サブシステム１００ｂの画像生成装置２００ｂは、それぞれの通信インターフェイス２０８を用いて、ネットワーク１０５を介して相互に通信する。
　次に、ある実施形態に係る画像生成装置２００の詳細な機能を説明する。画像生成装置２００は、生成する画像の内容に応じて３つのタイプに分類することができる。以下、それらをそれぞれ第１、第２、第３の局面として説明を行う。
　図３Ａは、ある実施形態の第１の局面に係る画像生成装置２００ａの機能的な構成を示すブロック図である。図３Ｂは、ある実施形態の第１の局面に係る画像生成装置２００ｂの機能的な構成を示すブロック図である。前述したように（図１参照）、画像生成装置２００ａは第１サブシステム１００ａを構成する要素であり、画像生成装置２００ｂは第２サブシステム１００ｂを構成する要素である。画像生成装置２００ａ及び２００ｂは、図２を参照して説明したとおり同一のハードウェア構成を有してよいが、機能的な構成は以下に説明するように相互に異なっている。
　まず図３Ｂを参照して、第２サブシステム１００ｂの画像生成装置２００ｂから説明する。画像生成装置２００ｂは、記憶部２２０ｂ及び処理部２３０ｂを有する。処理部２３０ｂは更に、画像生成部２３１ｂと、視線情報送信部２３２と、画像出力部２３９とを含む。記憶部２２０ｂは、図２に示されたメモリ２０４に対応する。処理部２３０ｂ並びに処理部２３０ｂに含まれる各部２３１ｂ、２３２、及び２３９は、図２に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される画像生成処理の機能を表す。
　画像生成部２３１ｂは、ＨＭＤ１２０ｂに表示するための画像を生成する。例えば、画像生成部２３１ｂは、記憶部２２０ｂから所定のデータを取得し、取得したデータに基づいてコンピュータグラフィックス処理によって画像を生成する。一例として、画像生成部２３１ｂは、ＨＭＤ１２０ｂを装着した第２ユーザ１０１ｂがコンピュータゲームによる仮想現実空間を認識することができるような仮想現実空間画像を生成する。仮想現実空間画像は、ユーザが仮想現実空間内で目にすることのできる光景を表す。例えば、画像生成部２３１ｂによって生成される仮想現実空間画像は、コンピュータゲーム内に登場するキャラクタ、建物や木などの風景、室内の家具や壁の内装、地面に落ちているアイテム、ユーザが操作しているアバター（自分自身）の体の一部（手や足）やアバターが手で持っている物体（銃や剣）等の様々なオブジェクトを含む。仮想現実空間を構成するこのような各オブジェクトの配置位置、形状、色など、仮想現実空間画像を生成するのに必要なデータは、仮想現実空間構成情報２２１として記憶部２２０ｂに格納されている。画像生成部２３１ｂは、記憶部２２０ｂから取得した仮想現実空間構成情報２２１に基づいて、このようなコンピュータゲームの仮想現実空間画像を生成する。
　画像生成部２３１ｂは、センサ１２６からの出力値に基づいて画像を変化させてもよい。例えば、画像生成部２３１ｂが生成する画像は、仮想現実空間内におけるユーザの視界が、センサ１２６からの出力値が示す第２ユーザ１０１ｂの頭の動きに追従して移り変わっていく様子を表す画像であってよい。
　図４は、ある実施形態に従うユーザ１０１の頭の動きを模式的に示す。図示されるように、ユーザ１０１の頭の中心とＨＭＤ１２０の中心（ディスプレイ１２２の画面中心）とを結ぶ軸をＺ軸、ユーザ１０１の頭の中心と頭頂部とを結ぶ軸をＹ軸、ユーザ１０１の頭の中心を通りＹ軸及びＺ軸に直交する軸をＸ軸にとる。センサ１２６が例えば角速度センサである場合、センサ１２６からはＸ軸回りのピッチ角、Ｙ軸回りのヨー角、及びＺ軸回りのロール角のそれぞれの角速度の値が出力される。画像生成部２３１ｂは、これらの角速度の出力値、即ちユーザ１０１の頭の向きに基づいて、仮想現実空間画像を変化させる。例えば、ユーザ１０１が頭を右に向けた場合、Ｙ軸回りのヨー角が変化する。画像生成部２３１ｂは、Ｙ軸の角速度値の変化に合わせて、仮想現実空間内でユーザの右方向にある光景が映し出されるように、仮想現実空間画像を変化させる。同様に、ユーザ１０１が頭を右に傾けた場合、Ｚ軸回りのロール角が変化する。画像生成部２３１ｂは、Ｚ軸の角速度値の変化に合わせて、仮想現実空間内におけるユーザの視界が右に傾くように、仮想現実空間画像を変化させる。
　また画像生成部２３１ｂは、ユーザの位置に基づいて画像を変化させてもよい。例えば、ユーザが仮想現実空間内を歩き回る場合、画像生成部２３１ｂが生成する画像は、仮想現実空間内でユーザが現在立っている位置から見える光景を表す画像でもよい。一例として、仮想現実空間内におけるユーザの経時的な位置情報が記憶部２２０ｂに記憶される。画像生成部２３１ｂは、記憶部２２０ｂから仮想現実空間内におけるユーザの直前の位置情報を取得する。またゲームコントローラなどのユーザ入力インターフェイス２０６からは、ユーザが仮想現実空間内を歩き回るための操作入力として、ユーザの移動方向及び移動速度の指示が入力される。画像生成部２３１ｂは、記憶部２２０ｂから取得したユーザの直前の位置情報と、ユーザ入力インターフェイス２０６から入力されたユーザの移動方向及び移動速度の情報とに基づいて、仮想現実空間内におけるユーザの現在位置を算出する。算出したユーザの現在位置に基づいて、画像生成部２３１ｂは、仮想現実空間内をユーザが歩くのに合わせてユーザの視界が移り変わるように、仮想現実空間画像を変化させる。
　このようにして、画像生成部２３１ｂは、仮想現実空間内におけるユーザの位置と頭の向きに応じた仮想現実空間画像を生成する。生成された仮想現実空間画像は、画像出力部２３９を介してＨＭＤ１２０ｂへ出力されて、ディスプレイ１２２に表示される。これにより第２ユーザ１０１ｂは、仮想現実空間において、現在自分が立っている場所から頭を向けた方向に存在する仮想的光景を見ることができる。
　画像生成装置２００ｂの視線情報送信部２３２は、ネットワーク１０５を介して第１サブシステム１００ａの画像生成装置２００ａへ第２ユーザ１０１ｂの視線情報を送信する。視線情報は、仮想現実空間内でユーザがどこにいてどの方向を見ているかを示す。一例として、視線情報は、第２ユーザ１０１ｂの仮想現実空間における現在位置と、頭の向きと、を含む。例えば、視線情報送信部２３２は、画像生成部２３１ｂが仮想現実空間画像を生成するのに用いた仮想現実空間内のユーザ位置と頭の向きを画像生成部２３１ｂから取得し、それらを視線情報として送信してもよい。仮想現実空間におけるユーザの頭の向きは、少なくともユーザの視線方向を含む。ユーザの視線方向は、図４に示したＺ軸に沿った方向であり、ＨＭＤ１２０ｂのディスプレイ１２２に表示される仮想現実空間画像の画面中心の方向に対応する。更に、仮想現実空間におけるユーザの頭の向きは、ユーザの視線方向回りの回転（即ちＺ軸回りのロール角）を含んでもよい。こうして視線情報送信部２３２から送信された第２ユーザ１０１ｂの視線情報は、第１サブシステム１００ａの画像生成装置２００ａにおいて画像生成処理のために利用される。
　図３Ａに戻って、第１サブシステム１００ａの画像生成装置２００ａについて説明する。画像生成装置２００ａは、記憶部２２０ａ及び処理部２３０ａを有する。処理部２３０ａは更に、画像生成部２３１ａと、視線情報受信部２３３と、視線情報修正部２３４と、画像出力部２３９とを含む。記憶部２２０ａは、図２に示されたメモリ２０４に対応する。処理部２３０ａ並びに処理部２３０ａに含まれる各部２３１ａ、２３３、２３４、及び２３９は、図２に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される、本発明に係る画像生成処理の機能を表す。
　画像生成部２３１ａは、ＨＭＤ１２０ａに表示するための画像を生成する。例えば、画像生成部２３１ａは、記憶部２２０ａに格納されている仮想現実空間構成情報２２１を用いたコンピュータグラフィックス処理によって仮想現実空間画像を生成する。一例として、仮想現実空間画像は、ＨＭＤ１２０ａを装着した第１ユーザ１０１ａにコンピュータゲームによる仮想現実空間を認識させる画像である。
　画像生成部２３１ａによる画像生成処理は、第２サブシステム１００ｂの画像生成装置２００ｂから送信された第２ユーザ１０１ｂの視線情報に基づいて行われる。例えば、第２ユーザ１０１ｂの視線情報は、視線情報受信部２３３によって受信されて、画像生成処理のために画像生成部２３１ａへ供給される。画像生成部２３１ａは、一例として、仮想現実空間を第２ユーザ１０１ｂの視点で眺めた光景を表す仮想現実空間画像を生成する。この場合、画像生成部２３１ａによって生成される仮想現実空間画像は、第２サブシステム１００ｂの画像生成装置２００ｂにおいて生成される仮想現実空間画像と同じものである。前述したように、第２ユーザ１０１ｂの視線情報は、仮想現実空間における第２ユーザ１０１ｂの現在位置と頭の向き（視線方向）とを含む。画像生成部２３１ａは、第２ユーザ１０１ｂの視線情報から仮想現実空間における第２ユーザ１０１ｂの現在位置と視線方向とを特定する。画像生成部２３１ａは、更にその位置から視線方向に存在する仮想現実空間内の光景を特定することによって、第２サブシステム１００ｂの画像生成装置２００ｂと同じ仮想現実空間画像を生成する。
　図５は、画像生成部２３１ａ及び２３１ｂによってそれぞれ生成される仮想現実空間画像を概念的に示す。図５において、仮想現実空間内の部分的な領域であるフィールド５００内に、第２ユーザ１０１ｂが位置している。フィールド５００内には、オブジェクト（例えば建物や障害物等）５０１、５０２も配置されている。フィールド５００は、例えば、スポーツゲームにおける競技エリア（例えばテニスコート、野球のグラウンド等）や、対戦格闘ゲームあるいはアクションゲームにおける戦闘エリアなどである。フィールド５００内にいる第２ユーザ１０１ｂは、コンピュータゲームを実際にプレイするプレイヤーとして存在し、オブジェクト５０１、５０２の方向を向いている。第２ユーザ１０１ｂが使用する第２サブシステム１００ｂの画像生成装置２００ｂ（画像生成部２３１ｂ）は、仮想現実空間における第２ユーザ１０１ｂの位置、及びセンサ１２６から取得される第２ユーザ１０１ｂの頭の向き（視線方向）に基づいて、オブジェクト５０１及び５０２を含んだ仮想現実空間画像５０３ｂを生成する。一方、第１ユーザ１０１ａは、フィールド５００の外に位置している。フィールド５００外の第１ユーザ１０１ａは、例えば第２ユーザ１０１ｂのゲームプレイを観戦する観客である。第１ユーザ１０１ａが使用する第１サブシステム１００ａの画像生成装置２００ａ（画像生成部２３１ａ）は、第２サブシステム１００ｂの画像生成装置２００ｂから送信された第２ユーザ１０１ｂの視線情報に基づいて、仮想現実空間画像５０３ａを生成する。図示されるように、仮想現実空間画像５０３ａは、オブジェクト５０１及び５０２を含む、仮想現実空間画像５０３ｂと同一の画像である。
　このようにして、画像生成部２３１ａは、ネットワーク１０５を介して第２サブシステム１００ｂの画像生成装置２００ｂから送信された第２ユーザ１０１ｂの視線情報に基づいて、第２サブシステム１００ｂの画像生成装置２００ｂと同じ仮想現実空間画像を生成する。生成された仮想現実空間画像は、画像出力部２３９を介してＨＭＤ１２０ａへ出力されて、ディスプレイ１２２に表示される。これにより第１ユーザ１０１ａは、仮想現実空間において、第２ユーザ１０１ｂが見ているのと同じ仮想的光景を見ることができる。
　本実施形態においては、ネットワーク１０５を介して伝送されるのは第２ユーザ１０１ｂの視線情報だけである。視線情報は位置と方向の情報であるので、画像そのものと比べてデータ量が圧倒的に少ない。したがって、ネットワークの通信負荷を大幅に低減できる。
　ネットワーク１０５を介して第２ユーザ１０１ｂの視線情報を伝送するに当たり、ネットワーク１０５の通信状況や画像表示システム１００（第１サブシステム１００ａ、第２サブシステム１００ｂ）の処理状況によっては、第２ユーザ１０１ｂの視線情報が画像生成部２３１ａに適時のタイミングで届かず遅延したり、あるいはデータの一部又は全部が失われたりすることがある。画像生成装置２００ａは、そのような事態に対処するために視線情報修正部２３４を備える。但し、視線情報修正部２３４は、視線情報の受信に問題があった場合だけでなく、適正に視線情報を取得できた場合にも動作するのであってもよい。
　視線情報修正部２３４は、第２ユーザ１０１ｂの視線情報を修正する。例えば、視線情報修正部２３４は、既に取得済みの視線情報を利用して視線情報を修正する。一例として、第２サブシステム１００ｂの画像生成装置２００ｂは、所定の時間間隔で第２ユーザ１０１ｂの視線情報を送信する。この経時的な視線情報は視線情報受信部２３３によって受信されて、記憶部２２０ａに時系列で格納される。視線情報修正部２３４は、例えば予定された時刻に第２ユーザ１０１ｂの新たな視線情報が第２サブシステム１００ｂから受信されなかった場合、記憶部２２０ａから直前の視線情報を取得して、取得した直前の視線情報に基づいて修正視線情報を生成する。修正視線情報は、予定された時刻に受信されなかった第２ユーザ１０１ｂの視線情報の代わりに、画像生成部２３１ａにおける画像生成処理で利用される。
　一例として、視線情報修正部２３４は、次式に従って修正視線情報を生成する。
　　Ｐｅ（ｔ＝ｎ）＝Ｆｓ（α）Ｐｓ（ｔ＝ｎ－１）＋Ｆｅ（α）Ｐｅ（ｔ＝ｎ－１）　（１）
　　Ｒｅ（ｔ＝ｎ）＝Ｆｓ（β）Ｒｓ（ｔ＝ｎ－１）＋Ｆｅ（β）Ｒｅ（ｔ＝ｎ－１）　（２）
　式（１）及び（２）の各変数の意味は次のとおりである。なお添字のｔは時刻を表す。
　Ｐｅ（ｔ＝ｎ）：今回修正する第２ユーザの位置（今回の修正視線情報）
　Ｐｅ（ｔ＝ｎ－１）：前回修正された第２ユーザの位置（前回の修正視線情報）
　Ｐｓ（ｔ＝ｎ－１）：前回受信された第２ユーザの位置（前回の視線情報）
　Ｒｅ（ｔ＝ｎ）：今回修正する第２ユーザの頭の向き（今回の修正視線情報）
　Ｒｅ（ｔ＝ｎ－１）：前回修正された第２ユーザの頭の向き（前回の修正視線情報）
　Ｒｓ（ｔ＝ｎ－１）：前回受信された第２ユーザの頭の向き（前回の視線情報）
　Ｆｓ（α）：重み付け関数
　Ｆｅ（α）：重み付け関数
　Ｆｓ（β）：重み付け関数
　Ｆｅ（β）：重み付け関数
　ここで第２ユーザの位置Ｐｅ及びＰｓは、仮想現実空間の三次元座標で表される。また第２ユーザの頭の向きＲｅ及びＲｓは、例えば図４に示したＸ、Ｙ、及びＺ軸の３軸方向を示す。前述のように、図４のＺ軸はユーザの視線方向に対応する。
　記憶部２２０ａは、第２サブシステム１００ｂから受信された第２ユーザ１０１ｂの前回まで（即ちｔ≦ｎ－１）の視線情報Ｐｓ（ｔ）、Ｒｓ（ｔ）を蓄積している。また記憶部２２０ａは、視線情報修正部２３４によって前回まで（ｔ≦ｎ－１）に修正された修正視線情報Ｐｅ（ｔ）、Ｒｅ（ｔ）も蓄積している。視線情報修正部２３４は、時刻ｔ＝ｎにおいて、記憶部２２０ａから第２ユーザ１０１ｂの直前の（前回の）視線情報Ｐｓ（ｔ＝ｎ－１）、Ｒｓ（ｔ＝ｎ－１）と修正視線情報Ｐｅ（ｔ＝ｎ－１）、Ｒｅ（ｔ＝ｎ－１）とを取得し、これらをそれぞれ式（１）及び（２）に代入することによって、今回の修正視線情報Ｐｅ（ｔ＝ｎ）、Ｒｅ（ｔ＝ｎ）を生成する。
　このようにして、時刻ｔ＝ｎにおいて第２サブシステム１００ｂの画像生成装置２００ｂから第２ユーザ１０１ｂの視線情報（Ｐｓ（ｔ＝ｎ）及びＲｓ（ｔ＝ｎ））が正しく受信できていない場合であっても、視線情報修正部２３４は、第２ユーザ１０１ｂの視線情報を修正することができる。修正された第２ユーザ１０１ｂの視線情報（即ち今回の修正視線情報Ｐｅ（ｔ＝ｎ）、Ｒｅ（ｔ＝ｎ））は、画像生成処理のために画像生成部２３１ａへ供給される。画像生成部２３１ａは、この修正された視線情報Ｐｅ（ｔ＝ｎ）、Ｒｅ（ｔ＝ｎ）を用いて、前述の処理と同様にして仮想現実空間画像を生成する。生成された仮想現実空間画像は、仮想現実空間を修正視線情報Ｐｅ（ｔ＝ｎ）、Ｒｅ（ｔ＝ｎ）によって指定される仮想現実空間内の位置及び視線方向（頭の向き）から眺めた光景を表す。この場合、修正視線情報Ｐｅ（ｔ＝ｎ）、Ｒｅ（ｔ＝ｎ）は仮想現実空間における第２ユーザ１０１ｂの実際の位置及び視線方向（頭の向き）とは少し異なっているので、画像生成部２３１ａによって生成される仮想現実空間画像は、第２サブシステム１００ｂの画像生成装置２００ｂにおいて生成されている仮想現実空間画像から少しずれた画像となる。しかしながら、当該画像は、フレームの欠落を生じさせることなく一定周期で生成されるので、画像生成装置２００ａは、第１サブシステム１００ａを使用している第１ユーザ１０１ａに対して、映像の動きが一瞬止まったり突然映像がジャンプしたりすることのない、滑らかな映像を提供できる。
　式（１）及び（２）の重み付け関数としては、例えば次のようなものを適用してよい。
　Ｆｓ（α）＝α
　Ｆｅ（α）＝１－α
　Ｆｓ（β）＝β
　Ｆｅ（β）＝１－β
　このような重み付け関数を用いた場合、視線情報の修正式（１）及び（２）は、前回の視線情報Ｐｓ（ｔ＝ｎ－１）、Ｒｓ（ｔ＝ｎ－１）と前回の修正視線情報Ｐｅ（ｔ＝ｎ－１）、Ｒｅ（ｔ＝ｎ－１）との線形補間を表す。補間係数α、βは、例えば次のように定義することとしてよい。なお、記号（Ａ，Ｂ）はベクトルＡとＢの内積を意味する。
　α＝ΔＴ×Ｖ
　β＝ΔＴ×Ｖ×（１－ｄ）
　ｄ＝（Ｒｓ（ｔ＝ｎ－１），Ｒｅ（ｔ＝ｎ－１））
　ここで、ΔＴは時刻ｔ＝ｎ－１から画像生成部２３１ａが画像生成を実施するまでの時間差であり、Ｖは視線情報を単位時間当たりどれだけ変化させるかを指定するパラメータ（補間速度）である。但し、０≦α≦１となるようにΔＴとＶは調整されるものとする。またベクトルＲｓ（ｔ＝ｎ－１）及びＲｅ（ｔ＝ｎ－１）は正規化されているものとし、内積の値ｄが負になる場合はｄ＝０と定義される。
　視線情報を修正するに当たりこのような線形補間を用いることによって、第１ユーザ１０１ａが仮想現実空間を体感する際の「酔い」が軽減され得る。例えば、補間速度Ｖの値が大きいほど、修正式（１）及び（２）に従って修正される視線情報Ｐｅ（ｔ＝ｎ）、Ｒｅ（ｔ＝ｎ）は第２ユーザ１０１ｂの実際の視線情報Ｐｓ（ｔ＝ｎ－１）、Ｒｓ（ｔ＝ｎ－１）に近付く。反対に、補間速度Ｖの値が小さいほど、修正式（１）及び（２）に従って修正される視線情報Ｐｅ（ｔ＝ｎ）、Ｒｅ（ｔ＝ｎ）は第２ユーザ１０１ｂの実際の視線情報Ｐｓ（ｔ＝ｎ－１）、Ｒｓ（ｔ＝ｎ－１）から離れる。したがって、補間速度Ｖを小さく設定した場合は、第２ユーザ１０１ｂの動きが修正視線情報Ｐｅ（ｔ＝ｎ）、Ｒｅ（ｔ＝ｎ）に反映されにくくなる。そのため、第２ユーザ１０１ｂが急激に位置や視線方向を変えたとしても、画像生成部２３１ａが生成する仮想現実空間画像にはそのような急激な変化は現れない。結果的に第１ユーザ１０１ａは、「酔い」を感じにくい仮想現実空間を体感できる。
　ここで、補間係数βは因子（１－ｄ）を含んでいる。よって、ユーザの頭の向き（視線方向）に関する視線情報Ｒｓ（ｔ＝ｎ－１）のベクトルと修正視線情報のベクトルＲｅ（ｔ＝ｎ－１）との角度差が小さいほど補間係数βは小さくなり、前回の修正視線情報Ｒｅ（ｔ＝ｎ－１）により近い修正視線情報Ｒｅ（ｔ＝ｎ）が得られる。また２つのベクトルの角度差が大きいほど補間係数βは大きくなり、前回の視線情報Ｒｓ（ｔ＝ｎ－１）により近い修正視線情報Ｒｅ（ｔ＝ｎ）が得られる。これにより、第２ユーザ１０１ｂの急激な動きは、第１ユーザ１０１ａが視認する仮想現実空間には反映されにくくなるので、第１ユーザ１０１ａは、更に「酔い」を感じにくい仮想現実空間を体感できる。なお、補間係数αが因子（１－ｄ）を含んでいてもよい。
　更に、修正式（２）は図４に示したＸ、Ｙ、及びＺ軸の３軸方向にそれぞれ対応する３つの成分の式からなるが、各式の補間係数β（補間速度Ｖ）は必ずしも同じでなくてよい。例えば、３つの成分の式のうちＺ軸（ロール軸）に対応する式の補間速度ＶＺを、Ｘ軸（ピッチ軸）及びＹ軸（ヨー軸）に対応する式の補間速度ＶＸ、ＶＹよりも小さく設定することとしてよい。ロール軸回りの激しい画像変化は特にユーザが「酔い」を感じる原因となりやすいので、ＶＺ＜ＶＸ、ＶＹと設定して仮想現実空間画像のロール軸回りの変化をピッチ軸及びヨー軸回りの変化より抑えることで、第１ユーザ１０１ａが感じる「酔い」を効果的に軽減できる。
　ある実施形態の第２の局面では、第１サブシステム１００ａの画像生成部２３１ａの機能のみが第１の局面と異なる。したがって、第１の局面と共通する内容の説明は繰り返さない。以下、相違点について説明する。なお、本局面に従う画像生成装置２００ａ，２００ｂは、前述の局面に従う画像生成装置２００ａ，２００ｂを実現するハードウェア構成と同様のハードウェア構成を用いて実現される。したがって、ハードウェア構成の説明は繰り返さない。
　図６は、第２の局面に従う画像生成部２３１ａ及び２３１ｂがそれぞれ生成する仮想現実空間画像を概念的に示す。図６が図５と異なる点は、画像生成部２３１ａによって生成される仮想現実空間画像６０３ａの内容である。仮想現実空間画像６０３ａは、仮想現実空間内における第１ユーザ１０１ａの位置から第１ユーザ１０１ａの視点でフィールド５００を眺めた画像である。図示されるように、仮想現実空間画像６０３ａは、オブジェクト５０１及び５０２に加えてオブジェクト６０１ｂ（第２ユーザ１０１ｂを表すオブジェクト）を含む。第１ユーザ１０１ａは、仮想現実空間内を歩いたり、視線を向ける方向を変えたりしてよい。第１サブシステム１００ａの画像生成部２３１ａは、第２サブシステム１００ｂの画像生成部２３１ｂと同様に、そのような第１ユーザ１０１ａの動きに追従するよう仮想現実空間画像６０３ａを変化させる。更に、画像生成部２３１ａは、第２サブシステム１００ｂから送信された第２ユーザ１０１ｂの視線情報に基づいて、仮想現実空間画像６０３ａ内のオブジェクト６０１ｂを制御する。例えば、画像生成部２３１ａは、仮想現実空間画像６０３ａ内におけるオブジェクト６０１ｂの向きを、フィールド５００上での実際の第２ユーザ１０１ｂの顔の向きと一致させる。また、画像生成部２３１ａは、フィールド５００上で第２ユーザ１０１ｂが立っている場所に対応する仮想現実空間画像６０３ａ内の位置に、オブジェクト６０１ｂを配置してもよい。
　仮想現実空間画像６０３ａは、オブジェクト６０１ｂのみを含む画像であってもよい。そのような仮想現実空間画像６０３ａにおけるオブジェクト６０１ｂの一例は、第２ユーザ１０１ｂを表すアバターの顔である。この場合も上記と同様に、例えばアバターの顔の向きが、第２サブシステム１００ｂから送信された第２ユーザ１０１ｂの視線情報に基づいて制御されることとしてよい。
　更に、第２の局面に従う画像生成装置２００ａは第１の局面に従う画像生成装置２００ａが備える視線情報修正部２３４と同じ視線情報修正部２３４を含む。視線情報修正部２３４は、第１の局面の場合と同様に、第２ユーザ１０１ｂの視線情報を修正する。修正された視線情報を本局面で用いることにより、仮想現実空間画像６０３ａ内のオブジェクト６０１ｂの動きを滑らかにできる。
　ある実施形態に従う第３の局面では、第１サブシステム１００ａの画像生成装置２００ａと、第２サブシステム１００ｂの画像生成装置２００ｂとは、同一の機能を有する。そこで、以下、前述の局面との相違点を中心に説明する。なお、本局面に従う画像生成装置２００ａ，２００ｂは、前述の局面に従う画像生成装置２００ａ，２００ｂを実現するハードウェア構成と同様のハードウェア構成を用いて実現される。したがって、ハードウェア構成の説明は繰り返さない。
　図７Ａは、第３の局面に従う画像生成装置２００ａの機能的な構成を示すブロック図である。図７Ｂは、第３の局面に係る画像生成装置２００ｂの機能的な構成を示すブロック図である。
　図７Ａを参照して、第１サブシステム１００ａの画像生成装置２００ａは、記憶部２２０ａ及び処理部２３０ａを有する。処理部２３０ａは更に、画像生成部２３１と、視線情報送信部２３２と、視線情報受信部２３３と、視線情報修正部２３４と、画像出力部２３９とを含む。
　図７Ｂを参照して、同様に、第２サブシステム１００ｂの画像生成装置２００ｂは、記憶部２２０ｂ及び処理部２３０ｂを有する。処理部２３０ｂは更に、画像生成部２３１と、視線情報送信部２３２と、視線情報受信部２３３と、視線情報修正部２３４と、画像出力部２３９とを含む。記憶部２２０ａ及び２２０ｂは、図２に示されたメモリ２０４に対応する。処理部２３０ａ及び２３０ｂ、並びにそれぞれの処理部２３０ａ，２３０ｂに含まれる画像生成部２３１、視線情報送信部２３２、視線情報受信部２３３、視線情報修正部２３４、及び画像出力部２３９は、図２に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される、本実施の形態に係る画像生成処理の機能を表す。
　第１サブシステム１００ａの画像生成部２３１と、第２サブシステム１００ｂの画像生成部２３１とは、第２実施形態における第１サブシステム１００ａの画像生成部２３１ａが備える機能と同じ機能を有する。また第１サブシステム１００ａと第２サブシステム１００ｂのそれぞれの視線情報送信部２３２、視線情報受信部２３３、視線情報修正部２３４、及び画像出力部２３９は、それぞれ第１・第２の局面における各部が備える機能と同じ機能を有する。
　即ち、第２サブシステム１００ｂの視線情報送信部２３２は、ネットワーク１０５を介して第１サブシステム１００ａの画像生成装置２００ａへ第２ユーザ１０１ｂの視線情報を送信する。第２ユーザ１０１ｂの視線情報は、第１サブシステム１００ａの視線情報受信部２３３によって受信される。第１サブシステム１００ａの画像生成部２３１は、受信された第２ユーザ１０１ｂの視線情報に基づいて仮想現実空間画像を生成する。生成された仮想現実空間画像は、画像出力部２３９を介して第１サブシステム１００ａのＨＭＤ１２０ａへ出力され、第１ユーザ１０１ａへの提示のためＨＭＤ１２０ａのディスプレイ１２２に表示される。また同様に、第１サブシステム１００ａの視線情報送信部２３２は、ネットワーク１０５を介して第２サブシステム１００ｂの画像生成装置２００ｂへ第１ユーザ１０１ａの視線情報を送信する。第１ユーザ１０１ａの視線情報は、第２サブシステム１００ｂの視線情報受信部２３３によって受信される。第２サブシステム１００ｂの画像生成部２３１は、受信された第１ユーザ１０１ａの視線情報に基づいて仮想現実空間画像を生成する。生成された仮想現実空間画像は、画像出力部２３９を介して第２サブシステム１００ｂのＨＭＤ１２０ｂへ出力され、第２ユーザ１０１ｂへの提示のためＨＭＤ１２０ｂのディスプレイ１２２に表示される。
　図８は、第３の局面における第１サブシステム１００ａおよび第２サブシステム１００ｂの各画像生成部２３１がそれぞれ生成する仮想現実空間画像を概念的に示す。図８において、仮想現実空間内の部分的な領域であるフィールド５００内に、第１ユーザ１０１ａと第２ユーザ１０１ｂが位置している。フィールド５００内にはオブジェクト５０１も配置されている。第１ユーザ１０１ａ及び第２ユーザ１０１ｂは、コンピュータゲーム（スポーツゲームや対戦格闘ゲーム等）のプレイヤーとしてフィールド５００上に存在し、互いに向かい合っている。
　第１ユーザ１０１ａが使用する第１サブシステム１００ａの画像生成部２３１は、第２サブシステム１００ｂから送信された第２ユーザ１０１ｂの視線情報に基づいて、仮想現実空間画像８０３ａを生成する。第２局面の仮想現実空間画像６０３ａと同様に、仮想現実空間画像８０３ａは、仮想現実空間内における第１ユーザ１０１ａの位置から第１ユーザ１０１ａの視点で仮想現実空間を眺めた画像である。仮想現実空間画像８０３ａは、図８に示されるように、第２ユーザ１０１ｂを表すオブジェクト８０１ｂを含む。また第１ユーザ１０１ａは、第２局面と同じく仮想現実空間内を歩いたり、視線を向ける方向を変えたりしてよい。第１サブシステム１００ａの画像生成部２３１は、そのような第１ユーザ１０１ａの動きに追従するよう仮想現実空間画像８０３ａを変化させる。更に、第１サブシステム１００ａの画像生成部２３１は、第２局面の画像生成部２３１ａと同様に、第２ユーザ１０１ｂの視線情報に基づいて仮想現実空間画像８０３ａ内のオブジェクト８０１ｂを制御する。例えば、画像生成部２３１は、仮想現実空間画像８０３ａ内におけるオブジェクト８０１ｂの向きを、フィールド５００上での実際の第２ユーザ１０１ｂの顔の向きと一致させる。また、画像生成部２３１は、フィールド５００上で第２ユーザ１０１ｂが立っている場所に対応する仮想現実空間画像８０３ａ内の位置に、オブジェクトを配置してもよい。
　第２ユーザ１０１ｂが使用する第２サブシステム１００ｂの画像生成部２３１も、第１サブシステム１００ａの画像生成部２３１と同様にして、第１ユーザ１０１ａの視線情報に基づいて仮想現実空間画像８０３ｂを生成する。図８に示されるように、仮想現実空間画像８０３ｂは、仮想現実空間内における第２ユーザ１０１ｂの位置から第２ユーザ１０１ｂの視点で仮想現実空間を眺めた画像であり、第１ユーザ１０１ａを表すオブジェクト８０１ａを含む。更に、仮想現実空間画像８０３ｂは、オブジェクト５０１も含んでいる。第２サブシステム１００ｂの画像生成部２３１は、第１サブシステム１００ａの画像生成部２３１と同様に、第２ユーザ１０１ｂの動きに追従するよう仮想現実空間画像８０３ｂを変化させると共に、第１ユーザ１０１ａの視線情報に基づいて、仮想現実空間画像８０３ｂ内のオブジェクト８０１ａの向きや位置を制御する。
　なお、本局面における第１サブシステム１００ａ及び第２サブシステム１００ｂの各視線情報修正部２３４は、前述の局面の場合と同様に、第２ユーザ１０１ｂ又は第１ユーザ１０１ａの視線情報をそれぞれ修正する。各サブシステム１００ａ、１００ｂは、その修正された視線情報を用いることにより、仮想現実空間画像８０３ａ内のオブジェクトと仮想現実空間画像８０３ｂ内のオブジェクト８０１ａの動きを滑らかにできる。
　要約すると、本明細書に開示される実施の形態は、以下のような構成を備える。
　（構成１）　ある実施の形態に従うと、仮想現実空間画像を生成するための画像生成装置２００ａ，２００ｂが提供される。この画像生成装置は、命令を格納するためのメモリ２０４と、メモリ２０４に結合されて、当該命令を実行するための１つ以上のプロセッサ２０２とを備える。当該命令は、プロセッサ２０２によって実行されると、プロセッサ２０２に、第１ユーザによって使用される第１端末（例えば、ＨＭＤ１２０ａ）との間で仮想現実空間を共有する第２端末（ＨＭＤ１２０ｂ）から、当該仮想現実空間における当該第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、当該第２端末からの当該視線情報に基づいて当該第１端末に表示するための仮想現実空間画像を生成することと、当該生成された当該仮想現実空間画像を当該第１端末へ供給することとを行なわせる。
　（構成２）　ある局面に従うと、当該命令は、プロセッサ２０２に、当該仮想現実空間画像として、当該第２端末によって当該第２ユーザに対して提示されるのと同じ又は近似する仮想現実空間画像を生成することをさらに行なわせる。
　（構成３）　ある局面に従うと、当該仮想現実空間画像を生成することは、当該仮想現実空間画像として、仮想現実空間内の当該視線情報に応じた位置及び向きに配置されたオブジェクトを含む仮想現実空間画像を生成することを含む。
　（構成４）　ある局面に従うと、当該命令は、プロセッサ２０２に、当該第２端末からの当該視線情報を修正して修正視線情報を生成することをさらに行なわせる。当該仮想現実空間画像を生成することは、当該修正視線情報に基づいて仮想現実空間画像を生成することを含む。
　（構成５）　ある局面に従うと、当該修正視線情報を生成することは、所定の時間間隔で当該修正視線情報を生成することを含む。
　（構成６）　ある局面に従うと、当該修正視線情報を生成することは、前回の修正視線情報と当該第２端末から前回取得された視線情報とに基づいて今回の修正視線情報を生成することを含む。
　（構成７）　ある局面に従うと、当該修正視線情報を生成することは、前回の修正視線情報と当該第２端末から前回取得された視線情報とを線形補間することによって今回の修正視線情報を生成することを含む。
　（構成８）　ある局面に従うと、当該線形補間の補間係数は、前回の修正視線情報に含まれる視線方向と当該第２端末から前回取得された視線情報に含まれる視線方向との角度差に応じた値を含む。
　（構成９）　ある局面に従うと、当該仮想現実空間画像のロール軸回りの変化がピッチ軸及びヨー軸回りの変化に比べて小さくなるように、当該線形補間の補間係数のうちロール軸に対応する補間係数は、ピッチ軸及びヨー軸に対応する補間係数とは異なる値に設定されている。
　（構成１０）　ある実施の形態の他の局面に従うと、仮想現実空間画像を生成するためにコンピュータによって実行される方法が提供される。この方法は、第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、当該仮想現実空間における当該第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、当該第２端末からの当該視線情報に基づいて当該第１端末に表示するための仮想現実空間画像を生成することと、当該生成された当該仮想現実空間画像を当該第１端末へ供給することとを含む。
　（構成１１）　ある局面に従うと、当該方法は、当該仮想現実空間画像として、当該第２端末によって当該第２ユーザに対して提示されるのと同じ又は近似する仮想現実空間画像を生成することをさらに含む。
　（構成１２）　ある局面に従うと、当該仮想現実空間画像を生成することは、当該仮想現実空間画像として、仮想現実空間内の当該視線情報に応じた位置及び向きに配置されたオブジェクトを含む仮想現実空間画像を生成することを含む。
　（構成１３）　ある局面に従うと、当該方法は、当該第２端末からの当該視線情報を修正して修正視線情報を生成することをさらに含む。当該仮想現実空間画像を生成することは、当該修正視線情報に基づいて仮想現実空間画像を生成することを含む。
　（構成１４）　ある局面に従うと、当該修正視線情報を生成することは、所定の時間間隔で当該修正視線情報を生成することを含む。
　（構成１５）　ある局面に従うと、当該修正視線情報を生成することは、前回の修正視線情報と当該第２端末から前回取得された視線情報とに基づいて今回の修正視線情報を生成することを含む。
　（構成１６）　ある局面に従うと、当該修正視線情報を生成することは、前回の修正視線情報と当該第２端末から前回取得された視線情報とを線形補間することによって今回の修正視線情報を生成することを含む。
　（構成１７）　ある局面に従うと、当該線形補間の補間係数は、前回の修正視線情報に含まれる視線方向と当該第２端末から前回取得された視線情報に含まれる視線方向との角度差に応じた値を含む。
　（構成１８）　ある局面に従うと、当該仮想現実空間画像のロール軸回りの変化がピッチ軸及びヨー軸回りの変化に比べて小さくなるように、当該線形補間の補間係数のうちロール軸に対応する補間係数は、ピッチ軸及びヨー軸に対応する補間係数とは異なる値に設定されている。
　（構成１９）　ある実施の形態のさらに他の局面に従うと、仮想現実空間画像を生成するための方法をコンピュータに実行させる命令を格納した、一時的でないコンピュータ読み取り可能な記録媒体が提供される。当該方法は、第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、当該仮想現実空間における当該第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、当該第２端末からの当該視線情報に基づいて当該第１端末に表示するための仮想現実空間画像を生成することと、当該生成された当該仮想現実空間画像を当該第１端末へ供給することとを含む。
　（構成２０）　ある局面に従うと、当該方法は、当該仮想現実空間画像として、当該第２端末によって当該第２ユーザに対して提示されるのと同じ又は近似する仮想現実空間画像を生成することをさらに含む。
　本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１０　仮想現実空間共有システム、１５　ユーザ制御装置、１６　情報処理サーバ、１００　画像表示システム、１００ａ　第１サブシステム、１００ａ　サブシステム、１００ｂ　第２サブシステム、１０１ａ　第１ユーザ、１０１ｂ　第２ユーザ、１０５　ネットワーク、１２２　ディスプレイ、１２６　センサ、１５０　有線ケーブル、２００，２００ａ，２００ｂ　画像生成装置、２０２　プロセッサ、２０４　メモリ、２０６　ユーザ入力インターフェイス、２０８　通信インターフェイス、２２０ａ，２２０ｂ　記憶部、２２１　仮想現実空間構成情報、２３０ａ，２３０ｂ　処理部、２３１，２３１ａ，２３１ｂ　画像生成部、２３１ａ，２３１ｂ　各部、２３２　視線情報送信部、２３３　視線情報受信部、２３４　視線情報修正部、２３９　画像出力部、５００　フィールド、５０１，６０１ｂ，８０１ａ，８０１ｂ　オブジェクト、５０３ａ，５０３ｂ，６０３ａ，８０３ａ，８０３ｂ　仮想現実空間画像。

Claims (20)

  1. 　仮想現実空間画像を生成するための画像生成装置であって、
    　命令を格納するためのメモリと、
    　前記メモリに結合されて、前記命令を実行するためのプロセッサとを備え、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    　第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、前記仮想現実空間における前記第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、
    　前記第２端末からの前記視線情報に基づいて前記第１端末に表示するための仮想現実空間画像を生成することと、
    　前記生成された前記仮想現実空間画像を前記第１端末へ供給することとを行なわせる、画像生成装置。
  2. 　請求項１に記載の画像生成装置であって、前記命令は、前記プロセッサに、前記仮想現実空間画像として、前記第２端末によって前記第２ユーザに対して提示されるのと同じ又は近似する仮想現実空間画像を生成することをさらに行なわせる。
  3. 　請求項１または２に記載の画像生成装置であって、前記仮想現実空間画像を生成することは、前記仮想現実空間画像として、仮想現実空間内の前記視線情報に応じた位置及び向きに配置されたオブジェクトを含む仮想現実空間画像を生成することを含む。
  4. 　請求項１または２に記載の画像生成装置であって、前記命令は、前記プロセッサに、前記第２端末からの前記視線情報を修正して修正視線情報を生成することをさらに行なわせ、
    　前記仮想現実空間画像を生成することは、前記修正視線情報に基づいて仮想現実空間画像を生成することを含む。
  5. 　請求項４に記載の画像生成装置であって、前記修正視線情報を生成することは、所定の時間間隔で前記修正視線情報を生成することを含む。
  6. 　請求項５に記載の画像生成装置であって、前記修正視線情報を生成することは、前回の修正視線情報と前記第２端末から前回取得された視線情報とに基づいて今回の修正視線情報を生成することを含む。
  7. 　請求項６に記載の画像生成装置であって、前記修正視線情報を生成することは、前回の修正視線情報と前記第２端末から前回取得された視線情報とを線形補間することによって今回の修正視線情報を生成することを含む。
  8. 　請求項７に記載の画像生成装置であって、前記線形補間の補間係数は、前回の修正視線情報に含まれる視線方向と前記第２端末から前回取得された視線情報に含まれる視線方向との角度差に応じた値を含む。
  9. 　請求項７に記載の画像生成装置であって、前記仮想現実空間画像のロール軸回りの変化がピッチ軸及びヨー軸回りの変化に比べて小さくなるように、前記線形補間の補間係数のうちロール軸に対応する補間係数がピッチ軸及びヨー軸に対応する補間係数とは異なる値に設定されている。
  10. 　仮想現実空間画像を生成するためにコンピュータが実行する方法であって、
    　第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、前記仮想現実空間における前記第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得するステップと、
    　前記第２端末からの前記視線情報に基づいて前記第１端末に表示するための仮想現実空間画像を生成するステップと、
    　前記生成された前記仮想現実空間画像を前記第１端末へ供給するステップとを含む。
  11. 　請求項１０に記載の方法であって、前記仮想現実空間画像として、前記第２端末によって前記第２ユーザに対して提示されるのと同じ又は近似する仮想現実空間画像を生成することをさらに含む。
  12. 　請求項１０または１１に記載の方法であって、前記仮想現実空間画像を生成することは、前記仮想現実空間画像として、仮想現実空間内の前記視線情報に応じた位置及び向きに配置されたオブジェクトを含む仮想現実空間画像を生成することを含む。
  13. 　請求項１０または１１に記載の方法であって、前記第２端末からの前記視線情報を修正して修正視線情報を生成することをさらに含み、
    　前記仮想現実空間画像を生成することは、前記修正視線情報に基づいて仮想現実空間画像を生成することを含む。
  14. 　請求項１３に記載の方法であって、前記修正視線情報を生成することは、所定の時間間隔で前記修正視線情報を生成することを含む。
  15. 　請求項１４に記載の方法であって、前記修正視線情報を生成することは、前回の修正視線情報と前記第２端末から前回取得された視線情報とに基づいて今回の修正視線情報を生成することを含む。
  16. 　請求項１５に記載の方法であって、前記修正視線情報を生成することは、前回の修正視線情報と前記第２端末から前回取得された視線情報とを線形補間することによって今回の修正視線情報を生成することを含む。
  17. 　請求項１６に記載の方法であって、前記線形補間の補間係数は、前回の修正視線情報に含まれる視線方向と前記第２端末から前回取得された視線情報に含まれる視線方向との角度差に応じた値を含む。
  18. 　請求項１６に記載の方法であって、前記仮想現実空間画像のロール軸回りの変化がピッチ軸及びヨー軸回りの変化に比べて小さくなるように、前記線形補間の補間係数のうちロール軸に対応する補間係数がピッチ軸及びヨー軸に対応する補間係数とは異なる値に設定されている。
  19. 　仮想現実空間画像を生成するための方法をコンピュータに実行させる命令を格納した、一時的でないコンピュータ読み取り可能な記録媒体であって、前記方法は、
    　第１ユーザによって使用される第１端末との間で仮想現実空間を共有する第２端末から、前記仮想現実空間における前記第２端末を使用する第２ユーザの位置と視線方向とを含む視線情報を取得することと、
    　前記第２端末からの前記視線情報に基づいて前記第１端末に表示するための仮想現実空間画像を生成することと、
    　前記生成された前記仮想現実空間画像を前記第１端末へ供給することとを含む。
  20. 　請求項１９に記載の一時的でないコンピュータ読み取り可能な記録媒体であって、前記方法は、前記仮想現実空間画像として、前記第２端末によって前記第２ユーザに対して提示されるのと同じ又は近似する仮想現実空間画像を生成することをさらに含む。
PCT/JP2016/080667 2015-10-19 2016-10-17 画像生成装置、画像生成方法、および画像生成プログラムを格納した一時的でない記録媒体 WO2017069075A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-205476 2015-10-19
JP2015205476A JP6298432B2 (ja) 2015-10-19 2015-10-19 画像生成装置、画像生成方法、及び画像生成プログラム

Publications (1)

Publication Number Publication Date
WO2017069075A1 true WO2017069075A1 (ja) 2017-04-27

Family

ID=58522987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080667 WO2017069075A1 (ja) 2015-10-19 2016-10-17 画像生成装置、画像生成方法、および画像生成プログラムを格納した一時的でない記録媒体

Country Status (3)

Country Link
US (1) US10496158B2 (ja)
JP (1) JP6298432B2 (ja)
WO (1) WO2017069075A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803652B2 (en) * 2016-05-02 2020-10-13 Sony Interactive Entertainment Inc. Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space
US10071281B1 (en) * 2017-02-21 2018-09-11 Robosport Technologies, Llc Systems, devices, and methods for virtual and augmented reality sports training
CN110300994B (zh) * 2017-02-23 2023-07-04 索尼公司 图像处理装置、图像处理方法以及图像系统
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
US10388077B2 (en) 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
JP6796197B2 (ja) * 2017-04-28 2020-12-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
DE112018005954T5 (de) * 2017-11-21 2020-08-20 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm
CN111527466A (zh) * 2018-01-04 2020-08-11 索尼公司 信息处理装置、信息处理方法和程序
KR101964661B1 (ko) * 2018-01-11 2019-04-02 주식회사 제이슨와이 트래픽 감소를 위한 ｖｒ 영상의 공유 시스템
JP7114326B2 (ja) * 2018-04-27 2022-08-08 株式会社コロプラ プログラム、情報処理装置、および方法
US11556995B1 (en) 2018-10-17 2023-01-17 State Farm Mutual Automobile Insurance Company Predictive analytics for assessing property using external data
US11810202B1 (en) 2018-10-17 2023-11-07 State Farm Mutual Automobile Insurance Company Method and system for identifying conditions of features represented in a virtual model
US11024099B1 (en) 2018-10-17 2021-06-01 State Farm Mutual Automobile Insurance Company Method and system for curating a virtual model for feature identification
US10873724B1 (en) 2019-01-08 2020-12-22 State Farm Mutual Automobile Insurance Company Virtual environment generation for collaborative building assessment
JP6843164B2 (ja) * 2019-01-25 2021-03-17 株式会社コロプラ プログラム、方法、および情報処理装置
CN111627528A (zh) * 2019-02-28 2020-09-04 未艾医疗技术(深圳)有限公司 VRDS 4D医学影像多设备Ai联动显示方法及产品
US11107292B1 (en) 2019-04-03 2021-08-31 State Farm Mutual Automobile Insurance Company Adjustable virtual scenario-based training environment
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
US11049072B1 (en) 2019-04-26 2021-06-29 State Farm Mutual Automobile Insurance Company Asynchronous virtual collaboration environments
US11032328B1 (en) 2019-04-29 2021-06-08 State Farm Mutual Automobile Insurance Company Asymmetric collaborative virtual environments
US11847937B1 (en) 2019-04-30 2023-12-19 State Farm Mutual Automobile Insurance Company Virtual multi-property training environment
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
US20230164304A1 (en) 2020-04-30 2023-05-25 Virtualwindow Co., Ltd. Communication terminal device, communication method, and software program
KR102567710B1 (ko) * 2020-11-06 2023-08-17 주식회사 디캐릭 가상현실 환경에서의 선형 객체 데이터의 공유 시스템
US11733772B2 (en) * 2021-10-14 2023-08-22 Surefire, Llc Viewing a virtual world through a virtual window
WO2024076009A1 (ko) * 2022-10-06 2024-04-11 삼성전자주식회사 사용자의 시선 정보를 조정하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256872A (ja) * 2002-03-01 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> 仮想空間通信システムにおける共有情報設定方法、仮想空間表示方法、プログラム、該プログラムを記録した記録媒体
JP2008217119A (ja) * 2007-02-28 2008-09-18 Canon Inc システム、画像処理装置、画像処理方法
JP2008257385A (ja) * 2007-04-03 2008-10-23 Mitsubishi Electric Corp 監視支援システム及び監視用携帯端末
WO2008126701A1 (ja) * 2007-04-05 2008-10-23 Hewlett-Packard Development Company, L.P. データ伝送システムおよびその方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653463B2 (ja) 2000-11-09 2005-05-25 日本電信電話株式会社 複数のユーザによる仮想空間共有システム
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP4775989B2 (ja) * 2001-08-23 2011-09-21 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US7673246B2 (en) * 2001-12-12 2010-03-02 Canon Kabushiki Kaisha Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof
US8194002B2 (en) * 2004-09-14 2012-06-05 The Boeing Company Situational awareness components of an enhanced vision system
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
JP4757115B2 (ja) * 2006-06-28 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US20150355463A1 (en) * 2013-01-24 2015-12-10 Sony Corporation Image display apparatus, image display method, and image display system
US9814967B1 (en) * 2013-05-14 2017-11-14 Take-Two Interactive Software, Inc. System and method for time flow adjustment in multiplayer games
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US10827230B2 (en) * 2014-07-03 2020-11-03 Sony Corporation Information processing apparatus and information processing method
JP6017008B1 (ja) * 2015-12-01 2016-10-26 株式会社コロプラ アバター表示システム、ユーザ端末、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256872A (ja) * 2002-03-01 2003-09-12 Nippon Telegr & Teleph Corp <Ntt> 仮想空間通信システムにおける共有情報設定方法、仮想空間表示方法、プログラム、該プログラムを記録した記録媒体
JP2008217119A (ja) * 2007-02-28 2008-09-18 Canon Inc システム、画像処理装置、画像処理方法
JP2008257385A (ja) * 2007-04-03 2008-10-23 Mitsubishi Electric Corp 監視支援システム及び監視用携帯端末
WO2008126701A1 (ja) * 2007-04-05 2008-10-23 Hewlett-Packard Development Company, L.P. データ伝送システムおよびその方法

Also Published As

Publication number Publication date
JP2017078891A (ja) 2017-04-27
JP6298432B2 (ja) 2018-03-20
US10496158B2 (en) 2019-12-03
US20170108922A1 (en) 2017-04-20

Similar Documents

Publication Publication Date Title
WO2017069075A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラムを格納した一時的でない記録媒体
JP6408629B2 (ja) ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング
JP6754678B2 (ja) シミュレーションシステム及びプログラム
CN109478345B (zh) 模拟系统、处理方法及信息存储介质
US9996975B2 (en) Interactive multi-rider virtual reality ride system
US10013812B2 (en) Method and system for controlling a head-mounted display system
US20190196689A1 (en) Information processing method and apparatus for executing the information processing method
JP5148660B2 (ja) プログラム、情報記憶媒体及び画像生成システム
US10394319B2 (en) Method of displaying an image, and system therefor
WO2019221980A1 (en) Dynamic graphics rendering based on predicted saccade landing point
EP3794581A1 (en) Eye tracking with prediction and late update to gpu for fast foveated rendering in an hmd environment
US20200289934A1 (en) Methods and systems for spectating characters in virtual reality views
US20190018479A1 (en) Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space
US20180357817A1 (en) Information processing method, program, and computer
US11373379B2 (en) Image generation apparatus and image generation method for generating augmented reality images based on user interaction
JP2011258160A (ja) プログラム、情報記憶媒体及び画像生成システム
WO2018155233A1 (ja) 画像処理装置、画像処理方法、および画像システム
JP2011258159A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2019211864A (ja) コンピュータプログラム、情報処理装置および情報処理方法
Lee et al. A development of virtual reality game utilizing Kinect, Oculus Rift and smartphone
JP2017142816A (ja) 同期サーバ及び同期方法
JP2023095862A (ja) プログラム及び情報処理方法
JP6918189B2 (ja) シミュレーションシステム及びプログラム
JP6114848B1 (ja) 同期サーバ及び同期方法
JP6966257B2 (ja) 情報処理方法、プログラム、およびコンピュータ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857390

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16857390

Country of ref document: EP

Kind code of ref document: A1