WO2024034336A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2024034336A1
WO2024034336A1 PCT/JP2023/026345 JP2023026345W WO2024034336A1 WO 2024034336 A1 WO2024034336 A1 WO 2024034336A1 JP 2023026345 W JP2023026345 W JP 2023026345W WO 2024034336 A1 WO2024034336 A1 WO 2024034336A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
rendering
information processing
sender
scene
Prior art date
Application number
PCT/JP2023/026345
Other languages
English (en)
French (fr)
Inventor
諒 横山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024034336A1 publication Critical patent/WO2024034336A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • the present disclosure proposes an information processing device, an information processing method, and a program that can suppress the playback timing shift on the receiver side.
  • rendering generates rendering data of a subsequent scene that is expected to occur in a recipient's virtual space at a subsequent time after the current time, based on sensor information at the current time acquired from the sender. and a reproduction unit that reproduces the rendering data in the recipient's virtual space at the subsequent time.
  • an information processing method in which the information processing of the information processing device is executed by a computer, and a program that causes the computer to realize the information processing of the information processing device.
  • FIG. 1 is a diagram showing a remote communication system according to a first embodiment.
  • FIG. 1 is a diagram showing an example of a haptic device.
  • FIG. 1 is a diagram showing an example of a haptic device.
  • FIG. 3 is a diagram illustrating an example of interaction using ripples.
  • FIG. 3 is a diagram illustrating an example of processing operations of a sender and a receiver.
  • FIG. 3 is a diagram illustrating an example of processing operations of a sender and a receiver.
  • FIG. 2 is a diagram for comparing a conventional method and a method of the present disclosure.
  • FIG. 2 is a diagram for comparing a conventional method and a method of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of a recipient's processing flow.
  • FIG. 3 is an explanatory diagram of rendering data generation and reproduction processing.
  • FIG. 3 is an explanatory diagram of rendering data generation and reproduction processing.
  • FIG. 5th modification is an explanatory view of FIG. 1 a diagram illustrating an example of a hardware configuration of an information processing device.
  • FIG. 1 is a diagram showing a remote communication system CS according to the first embodiment.
  • the remote communication system CS includes a server SV and multiple playback systems RS.
  • the plurality of playback systems RS are connected via a server SV.
  • the playback system RS presents a virtual space to the user US using playback data regarding video, audio, and tactile sensations. Users US communicate with other users US via virtual space.
  • the reproduction system RS includes a camera CM, a projector PRJ, a screen SCR, a projector PJR, a haptic device HD, a sensor unit SE, and an information processing device PD.
  • the information processing device PD generates rendering data for various scenes to be played by the playback system RS.
  • Rendering data includes video, audio, and tactile data.
  • the sensor unit SE acquires sensor information necessary for rendering.
  • the sensor unit SE includes a camera CM, a haptic device HD, and a distance sensor DS (see FIG. 4).
  • the sensor unit SE outputs information detected by each device as sensor information.
  • the camera CM photographs the indoor space where the user US is.
  • the camera CM outputs the captured indoor video as a monitor video CIM.
  • the monitor video CIM is transmitted to another reproduction system RS via the server SV.
  • the projector PJC displays the monitor video CIM of another reproduction system RS received via the server SV on the screen SCR.
  • the projector PJR reproduces rendering data regarding video and audio.
  • rendering data related to video (rendered video RIM) is reproduced on the floor via projector PJR.
  • Each reproduction system RS reproduces rendered video RIM related to the same content.
  • the monitor image CIM and the rendered image RIM are presented as an integrated image spanning from the floor surface to the screen SCR. The user US can feel as if the virtual space of another reproduction system RS is spreading beyond the screen SCR.
  • the user US of one reproduction system RS is communicating with the user US of the other reproduction system RS via a network such as the Internet.
  • Each reproduction system RS generates rendering data using the sensor information acquired by the sensor unit SE and the content information acquired from the server SV (content storage unit CTS).
  • the sensor information is also transmitted to other playback systems RS via the server SV, and is used for rendering processing in the other playback systems RS.
  • the reproduction system RS that transmits sensor information to another reproduction system RS via the server SV will be referred to as a sender TR.
  • the virtual space presented by the sender TR will be referred to as virtual space A.
  • a playback system RS that receives sensor information of another playback system RS from the server SV is referred to as a receiver RE.
  • the virtual space presented by the recipient RE will be referred to as virtual space B.
  • Each reproduction system RS may function both as a sender TR and as a receiver RE.
  • a common virtual object VOB is presented in virtual space A and virtual space B. The user US on the sender TR side and the user US on the receiver RE side can interact via the virtual object VOB.
  • the sender TR transmits the monitor video CIM captured by the camera CM and the current time sensor information acquired by the sensor unit SE to the receiver RE via the server SV.
  • the sensor information includes various information used for rendering the playback scene.
  • the sensor information includes information regarding the interaction between the user US and the virtual object VOB (see FIGS. 4 and 14).
  • the time information may be obtained from the clock in the computer of the sender TR, or from the clock in the server SV.
  • FIGS. 2 and 3 are diagrams showing an example of the haptic device HD.
  • the haptic device HD has a tactile presentation function and a pressure-sensitive detection function.
  • the haptic device HD is configured as a plurality of tile units TU spread over the floor.
  • the tile unit TU includes a pressure sensor PS and a plurality of haptic units HU.
  • the surface of the tile unit TU functions as a screen for displaying the image (rendered image RIM) of the projector PJR.
  • the haptic device HD uses a plurality of two-dimensionally arranged pressure-sensitive sensors PS to detect the position and strength of the depression by the user US as sensor information.
  • the detected sensor information is used to generate video, audio, and tactile rendering data.
  • the haptic device HD reproduces rendering data related to the sense of touch using the haptic unit HU near the depression position.
  • the rendered video RIM can be directly displayed on the LED display.
  • projector PJR can be omitted.
  • the haptic unit HU is configured as a broadband actuator, it can also function as an acoustic element.
  • the haptic device HD is configured as a wearable device WD.
  • the pressure sensor PS and the haptic unit HU are built into the clothing.
  • the user US can input operation information by touching a pressure-sensitive sensor PS built into his clothes.
  • the haptic device HD reproduces rendering data related to haptics using a haptic unit HU built into clothing.
  • the information processing device PD includes a monitor video transmission section CT, a monitor video reception section CR, a sensor information acquisition section SI, a delay time acquisition section DT, a rendering section RD, and a reproduction section RP.
  • the monitor video transmitter CT acquires the monitor video CIM from the camera CA and transmits it to the server SV.
  • the server SV stores the monitor video CIM received from the monitor video transmission unit CT in the monitor video storage unit CIS.
  • the monitor video receiving unit CR receives the monitor video CIM of another reproduction system RS from the monitor video storage unit CIS, and supplies it to the projector PJC.
  • the sensor information acquisition unit SI acquires sensor information from the sensor unit SE and supplies it to the rendering unit RD.
  • the sensor information acquisition unit SI transmits sensor information to the server SV.
  • the server SV stores the sensor information received from the sensor information acquisition unit SI in the sensor information storage unit SIS.
  • the delay time acquisition unit DT acquires the communication delay time between the sender TR and the receiver RE.
  • Communication delay time means the time required for communication.
  • the communication delay time is 500ms.
  • Communication delay time can be measured using a known measuring device.
  • the communication delay time may differ between the upstream direction (direction from the sender TR to the receiver RE) and the downstream direction (direction from the receiver RE to the sender TR), but in this embodiment, for simplicity, , the upstream and downstream communication delay times are assumed to be equal.
  • the rendering unit RD generates rendering data of the playback scene using the sensor information.
  • the sensor information includes information acquired from the sensor information acquisition section SI and information acquired from the sensor information storage section SIS. Both types of sensor information are input to the rendering unit RD of the recipient RE, but each sensor information is rendered using different rendering methods.
  • the rendering unit RD of the recipient RE uses sensor information acquired from the sensor information acquisition unit SI of the recipient RE (hereinafter referred to as reception side sensor information), and uses factors on the recipient RE side (receiver RE side (e.g., the actions of the user US).
  • the rendering unit RD of the recipient RE uses the sensor information sent from the sensor information storage unit SIS (hereinafter referred to as sending side sensor information) to determine the factors on the sender TR side (such as the behavior of the user US on the sender TR side). ) generates rendering data for the scene produced by
  • the rendering unit RD of the recipient RE When performing rendering using the transmitting side sensor information, the rendering unit RD of the recipient RE generates rendering data for a slightly future (future) scene, taking into account communication delays. For example, the rendering unit RD generates rendering data of a subsequent scene on the receiver RE side based on the current time sensor information acquired from the sender TR.
  • the subsequent scene means a future scene that is expected to occur in the recipient RE's virtual space B at a subsequent time after the current time. For example, the subsequent scene is set as a scene that occurs after a time equal to the communication delay time after the current time.
  • the rendering unit RD of the recipient RE When performing rendering using the receiving side sensor information, the rendering unit RD of the recipient RE renders the current scene on the recipient RE side based on the sensor information at the current time directly acquired from the sensor information acquisition unit SI. Generate data.
  • the current scene means a scene that is expected to occur in the recipient RE's virtual space B at the current time.
  • the time information may be obtained from the clock within the recipient RE's computer or from the clock within the server SV.
  • the playback unit RP sends rendering data to the playback system RS.
  • the playback unit RP plays back the rendering data via the projector PJR, haptic device HD, etc. of the playback system RS.
  • the rendering unit RD sets the scheduled playback time of the scene to be rendered differently depending on whether rendering is performed using the transmitting side sensor information or when rendering is performed using the receiving side sensor information. ing. Therefore, the reproduction unit RP reproduces the rendering data in accordance with the scheduled reproduction time of the scene. For example, for rendering data generated using transmitter sensor information, the reproduction unit RP reproduces the rendering data in the virtual space B of the recipient RE at a subsequent time. Regarding the rendering data generated using the receiving side sensor information, the reproduction unit RP reproduces the rendering data in the virtual space B of the recipient RE at the current time.
  • FIG. 4 is a diagram showing an example of interaction using the ripple RL.
  • the user US on the sender TR side can recognize the virtual space B of the receiver RE via the monitor image CIM displayed on the screen SCR.
  • the image of the virtual space B (monitor image CIM) displayed on the screen SCR is an image that is before the current time by the communication delay time.
  • the rendered video RIM played in the virtual space A of the sender TR is based on the sensor information at the current time (sensor information input directly from the sensor information acquisition unit SI of the sender TR to the rendering unit RD of the sender TR). is being generated.
  • the reproduction unit RP of the sender TR reproduces the wide-area scene WS extending from the sender TR side to the receiver RE side in the virtual space A of the sender TR, using the rendered image RIM and the monitor image CIM.
  • the boundary between the rendered image RIM and the monitor image CIM becomes the boundary BD between the virtual space A and the virtual space B (see FIG. 6).
  • the plane that includes the screen SCR becomes the boundary BD between the virtual space A and the virtual space B.
  • the image of the ripple RL is presented as the rendered image RIM.
  • the wide-area scene WS includes a scene in which ripples RL spread from the sender TR side to the receiver RE side.
  • the rendering unit RD of the recipient RE generates rendering data of a subsequent scene expected to occur after the time when the ripple RL reaches the boundary BD.
  • the user US touches the ripple RL, wave vibrations are applied from the haptic device HD to the position on the floor where the user US is located. As a result, the tactile sensation of waves is reproduced on the sole of the user US's foot.
  • the user US can generate ripples RL having an amplitude and speed depending on the strength of the step.
  • the shape of the ripple RL is a circle, by pressing strongly diagonally, it is also possible to generate a ripple RL (see FIG. 13) having a long axis in the direction of the depression. In this case, the direction of depression is also detected as sensor information by the pressure sensor PS.
  • the position of the user US is detected using a pressure sensor PS installed on the floor.
  • the position of the user US may be detected using a distance sensor DS such as a ToF (Time of Flight) camera.
  • a distance sensor DS such as a ToF (Time of Flight) camera.
  • FIG. 5 and FIG. 6 are diagrams illustrating an example of the processing operations of the sender TR and the receiver RE.
  • the sender TR detects the action of the user US stepping on the floor based on the detection information of the haptic device HD.
  • the sender TR transmits sensor information regarding the position and strength of the step to the receiver RE via the server SV before the ripple RL caused by the step reaches the boundary BD between the virtual space A and the virtual space B. .
  • the receiver starts rendering based on the sensor information (sender-side sensor information) received from the sender TR.
  • the scene to be rendered is a future scene after the time when the ripple RL reaches the boundary BD.
  • the recipient RE completes rendering before the ripple RL reaches the boundary BD.
  • time-series video, audio, and tactile rendering data showing how the ripple RL propagates through the virtual space B on the recipient RE side is generated.
  • the receiver RE reproduces the rendering data in accordance with the timing when the ripple RL reaches the boundary BD.
  • the receiver RE predicts the future scene (successful scene) after the ripple RL reaches the boundary BD, and prepares rendering data for the subsequent scene in advance.
  • the receiver RE reproduces the rendering data prepared in advance in accordance with the timing when the ripple RL reaches the boundary BD. As a result, appropriate playback processing is performed that is not affected by communication delays.
  • FIGS. 7 and 8 are diagrams for comparing the conventional method and the method of the present disclosure.
  • FIG. 7 is a diagram showing a conventional method as a comparative example.
  • FIG. 8 is a diagram illustrating the technique of the present disclosure.
  • rendering of the ripple RL in the virtual space B is started after the ripple RL reaches the boundary BD. Since a communication delay occurs between the sender TR and the receiver RE, the ripple RL presented in the virtual space B is based on past sensor information (sender side sensor information) according to the communication delay (past ripples RL). The spread of the ripples RL seen from the virtual space B side is smaller than the spread of the ripples RL seen from the virtual space A side. This difference in the size of the ripples RL is recognized as a shift in reproduction timing.
  • the ripple RL in the virtual space B that has been rendered in advance is reproduced in accordance with the timing at which the ripple RL enters the virtual space B. Therefore, the spread of the ripples RL seen from the virtual space B side is equal to the spread of the ripples RL seen from the virtual space A side, and no shift in reproduction timing occurs (see the upper side of FIG. 8).
  • Similar processing is possible when an interaction occurs between the ripple RL and the user US.
  • the ripple RL hits the user US and a reflected wave is generated.
  • the receiver RE predicts a future scene (subsequent scene) after the reflected wave reaches the boundary BD based on the information on the reflection position, and prepares rendering data for the subsequent scene in advance.
  • the receiver RE reproduces rendering data prepared in advance in accordance with the timing at which the reflected wave reaches the boundary BD. As a result, appropriate playback processing is performed that is not affected by communication delays.
  • FIG. 9 is a diagram illustrating an example of the processing flow of the recipient RE.
  • the delay time acquisition unit DT acquires the communication delay time (step S1), and determines whether the communication delay time is larger than an allowable value (step S2).
  • the allowable value means a small communication delay time such that a playback timing shift hardly poses a problem even in the conventional method shown in FIG.
  • the allowable value can be set arbitrarily by the system developer.
  • the rendering unit RD determines the communication delay time on the receiver RE side based on the sensor information at the current time (sender sensor information) acquired from the sender TR. Rendering data for the subsequent scene is generated (step S3).
  • the subsequent scene is a future scene that is expected to occur in the recipient RE's virtual space B at a subsequent time after the current time.
  • the reproduction unit RP reproduces the generated rendering data of the subsequent scene at a subsequent time (step S4).
  • step S2 If the communication delay time is less than or equal to the allowable value (step S2: No), the rendering unit RD performs the processing on the receiver RE side based on the sensor information at the current time (sender side sensor information) acquired from the sender TR. Rendering data of the current scene is generated (step S5).
  • the current scene is a scene that is expected to occur in the recipient RE's virtual space B at the current time.
  • the reproduction unit RP reproduces the generated rendering data of the current scene at the current time (step S6).
  • the information processing device PD has a rendering section RD and a reproduction section RP.
  • the rendering unit RD generates rendering data of a subsequent scene that is expected to occur in the virtual space B of the receiver RE at a subsequent time after the current time, based on the sensor information at the current time acquired from the sender TR. .
  • the reproduction unit RP reproduces the rendering data in the virtual space B of the recipient RE at a subsequent time.
  • the processing of the information processing device PD is executed by the computer 1000 (see FIG. 18).
  • the program of the present disclosure causes the computer 1000 to implement the processing of the information processing device PD.
  • rendering data of the subsequent scene instead of the current scene is generated from the sensor information at the current time acquired from the sender TR. Since the rendering data of the subsequent scene generated in advance is reproduced at the time when the subsequent scene is scheduled to be reproduced, a shift in reproduction timing on the receiver RE side due to communication delay is suppressed.
  • the rendering data includes haptic data.
  • the subsequent scene is set as a scene that occurs after a time equal to the communication delay time after the current time.
  • the playback unit RP uses the rendered video RIM generated based on the sensor information of the current time and the monitor video CIM obtained from the receiver RE and obtained from the current time by the communication delay time, to reproduce the data received from the sender TR side.
  • a wide-area scene WS spanning the sender RE side is reproduced in the virtual space A of the sender TR.
  • the wide-area scene WS includes a scene in which ripples RL spread from the sender TR side to the receiver RE side.
  • the rendering unit RD generates rendering data of a subsequent scene expected to occur after the time when the ripple RL reaches the boundary BD.
  • the receiver RE who predicts the arrival time of the ripple RL to the boundary BD based on the sensor information of the sender TR at the current time.
  • these predictions may be made by the sender TR.
  • the recipient RE may perform rendering based on the prediction information received from the sender TR.
  • FIG. 10 is an explanatory diagram of the first modification.
  • the rendered video RIM played back in the virtual space B on the recipient RE side becomes an appropriate playback video that is not affected by communication delays.
  • the monitor image CIM of the virtual space B in which the rendered image RIM has been reproduced is transmitted to the sender TR via the server SV.
  • the rendered image RIM of the virtual space B displayed on the monitor image CIM becomes a past image by the communication delay time, and the spread of the ripples RL is also reduced. Therefore, a discrepancy occurs between the rendered image RIM being reproduced in the virtual space A of the sender TR and the rendered image RIM of the virtual space B displayed on the monitor image CIM (see the upper side of FIG. 10).
  • the playback unit RP corrects the video of the portion of the monitor video CIM adjacent to the boundary BD so that the discontinuity of the video at the boundary BD between the rendered video RIM and the monitor video CIM is resolved.
  • a video area of a predetermined width that constitutes the lower end of the screen SCR in the monitor video CIM is replaced by the corrected video CIR. According to this configuration, a high-quality wide-area scene WS in which the rendered video RIM and the monitor video CIM are smoothly connected is reproduced.
  • FIG. 11 is an explanatory diagram of the second modification.
  • the stepping motion that generates the ripples RL is performed near the screen SCR.
  • the propagation time for the ripple RL to reach the boundary BD may be shorter than the communication delay time.
  • the recipient RE cannot complete rendering before the ripple RL reaches the boundary BD. Therefore, a difference in reproduction timing occurs between the sender TR side and the receiver RE side.
  • the propagation speed of the ripple RL is adjusted on the sender TR side.
  • the propagation time of the ripple RL from the ripple generation source (stepping position) to the boundary BD is shorter than the communication delay time
  • the reproduction unit RP of the sender TR reproduces the ripple RL so that the propagation time is equal to or longer than the communication delay time. Adjust the propagation speed of According to this configuration, it is possible to suppress the occurrence of a shift in the timing at which the ripple RL spreads between the sender TR side and the receiver RE side.
  • FIG. 12 is an explanatory diagram of the third modification.
  • FIG. 12 shows a situation in which the sender TR side detects stepping and sensor information is sent to the receiver RE, but the ripple RL disappears midway.
  • the recipient RE rendering has been completed based on the sensor information received from the sender TR. If nothing is done, the rendering data will be erroneously played back at the recipient RE at the expected arrival time of the ripple RL that is scheduled to be played back.
  • rendering data reproduction stop processing is performed based on ripple RL disappearance information.
  • the sender TR detects that the ripple RL disappears midway through, it transmits information to the receiver RE that the ripple RL disappears (disappearance information). If the ripple RL disappears before the ripple RL reaches the boundary BD, the reproduction unit RP of the receiver RE stops reproducing the ripple RL on the receiver RE side based on the rendering data. According to this configuration, the video of the ripple RL that was scheduled to be played back is prevented from being played back by mistake on the recipient RE side.
  • FIG. 13 is an explanatory diagram of the fourth modification.
  • the shape of the ripple RL is a circle, but by pressing strongly diagonally, it is also possible to generate a ripple RL having a long axis in the direction of the depression.
  • the rendering unit RD determines the timing to acquire sensor information from the sender TR based on the positional relationship between the ripple generation source GS and the boundary BD and the propagation direction (long axis direction) of the ripple RL, and the rendering process. Determine the timing to start rendering processing to generate data. According to this configuration, rendering can be performed in accordance with the timing at which the ripple RL reaches the boundary BD.
  • the direction in which the ripples RL travel (the direction of the long axis) is determined according to the angle of the foot when stepping on it and the order of the pressure-sensitive sensors PS that are stepped on.
  • the time from when the ripple RL is generated until the ripple RL reaches the user US on the receiver RE side is determined by the angle ⁇ of the stepping direction, the distance L1 from the ripple source GS to the boundary BD, and from the boundary BD to the receiver RE side. depends on the distance L2 to the user US and the propagation speed v of the ripple RL. Therefore, it is possible to determine how far in advance sensor information should be transmitted and how far in advance rendering should be started, taking into consideration this information and communication delay.
  • FIG. 14 is a diagram showing a remote communication system according to the second embodiment.
  • the tactile sensation when touching the virtual object VOB is reproduced by the glove-shaped haptic device HD.
  • the rendering data of the virtual object VOB is played back by a video playback device such as a head-mounted display or AR (Augmented Reality) glasses.
  • the user US can interact with users US of other reproduction systems RS via the virtual object VOB.
  • the virtual object VOB is the hand of the user US who performs the interaction.
  • the sender TR sends information regarding the hand position and movement speed of the sender TR's user US as sensor information.
  • the receiver RE predicts how the hand position and movement speed of the sender TR's user US will change at a later time than the current time.
  • the receiver RE generates rendering data regarding the expected hand image and tactile sensation of the user US of the sender TR as the rendering data of the subsequent scene.
  • the timing and strength of the tactile sensation are determined from the timing when the hands of the users US touch each other and the speed of movement of the hands at the time of contact.
  • the communication delay time is, for example, 100ms.
  • the receiver RE receives the sensor information 100 ms after the sender TR starts transmitting the sensor information at the current time.
  • the receiver RE renders rendering data of a subsequent scene that is expected to occur in the receiver RE's virtual space B at a time later than the current time by the communication delay time, based on the sensor information at the current time acquired from the sender TR. generate.
  • the sender TR's hand is displayed at the same position in both virtual space A and virtual space B, and there is no deviation in the timing of tactile presentation.
  • the hand position and movement speed of the sender TR's user US at a subsequent time was predicted by the receiver RE.
  • these predictions may be made by the sender TR.
  • the recipient RE may perform rendering based on the prediction information received from the sender TR.
  • FIG. 17 is an explanatory diagram of the fifth modification.
  • the communication delay speed in the upstream direction and the downstream direction are described as being equal. However, if the communication delay times are different in the upstream and downstream directions, it may be determined how far into the future the position information is expected to be based on the respective communication delay rates. For example, if the communication delay time in the upstream direction is 100 ms, the position and moving speed 100 ms later can be predicted from sensor information at the current time, and rendering can be performed based on the predicted information. If the communication delay time in the downstream direction is 50 ms, the position and moving speed 50 ms later can be predicted from the sensor information at the current time, and rendering can be performed based on the predicted information.
  • FIG. 18 is a diagram illustrating an example of the hardware configuration of the information processing device PD.
  • the computer 1000 includes a CPU (Central Processing Unit) 1100, a RAM (Random Access Memory) 1200, a ROM (Read Only Memory) 1300, and an HDD (Hard Disk). (Drive) 1400, a communication interface 1500, and an input/output interface 1600. Each part of computer 1000 is connected by bus 1050.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • HDD Hard Disk
  • the CPU 1100 operates based on a program (program data 1450) stored in the ROM 1300 or the HDD 1400, and controls each part. For example, CPU 1100 loads programs stored in ROM 1300 or HDD 1400 into RAM 1200, and executes processes corresponding to various programs.
  • program data 1450 program data 1450
  • the ROM 1300 stores boot programs such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, programs that depend on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable non-temporary recording medium that non-temporarily records programs executed by the CPU 1100 and data used by the programs.
  • the HDD 1400 is a recording medium that records the information processing program according to the embodiment, which is an example of the program data 1450.
  • Communication interface 1500 is an interface for connecting computer 1000 to external network 1550 (eg, the Internet).
  • CPU 1100 receives data from other devices or transmits data generated by CPU 1100 to other devices via communication interface 1500.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000.
  • CPU 1100 receives data from an input device such as a keyboard or mouse via input/output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display device, speaker, or printer via the input/output interface 1600.
  • the input/output interface 1600 may function as a media interface that reads a program recorded on a predetermined recording medium.
  • Media includes, for example, optical recording media such as DVD (Digital Versatile Disc), PD (Phase Change Rewritable Disk), magneto-optical recording medium such as MO (Magneto-Optical Disk), tape medium, magnetic recording medium, or semiconductor memory. etc. It is.
  • the CPU 1100 of the computer 1000 executes the information processing program loaded onto the RAM 1200 to realize the functions of each section described above.
  • the HDD 1400 stores information processing programs, various models, and various data according to the present disclosure. Note that although the CPU 1100 reads and executes the program data 1450 from the HDD 1400, as another example, these programs may be obtained from another device via the external network 1550.
  • the present technology can also adopt the following configuration.
  • a rendering unit that generates rendering data of a subsequent scene that is expected to occur in the recipient's virtual space at a subsequent time after the current time, based on sensor information at the current time acquired from the sender; a reproduction unit that reproduces the rendering data in the recipient's virtual space at the subsequent time;
  • An information processing device having: (2) The rendering data includes haptic data. The information processing device according to (1) above. (3) The subsequent scene is set as a scene that occurs after a time that is a communication delay time later than the current time. The information processing device according to (1) or (2) above.
  • the playback unit uses the rendered video generated based on the sensor information of the current time and the monitor video obtained from the receiver and obtained from the current time by the communication delay time, reproducing a wide-area scene spanning the receiver side in the sender's virtual space; The information processing device according to (3) above.
  • the playback unit corrects an image of a portion of the monitor image adjacent to the boundary so that discontinuity of the image at the boundary between the rendered image and the monitor image is eliminated.
  • the wide-area scene includes a scene in which ripples spread from the sender side to the receiver side,
  • the rendering unit generates rendering data of the subsequent scene that is expected to occur after the time when the ripple reaches the boundary.
  • the reproduction unit adjusts the propagation speed of the ripples so that the propagation time is equal to or greater than the communication delay time. do, The information processing device according to (6) above.
  • the reproducing unit stops reproducing the ripple on the receiver side based on the rendering data.
  • the information processing device according to (6) above. The rendering unit determines the timing at which the sensor information should be acquired from the sender, and rendering processing for generating the rendering data, based on the positional relationship between the ripple generation source and the boundary and the propagation direction of the ripples. determine the start timing of The information processing device according to (6) above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

情報処理装置は、レンダリング部および再生部を有する。レンダリング部は、送信者から取得した現在時刻のセンサ情報に基づいて、現在時刻よりも後の後続時刻に受信者の仮想空間で生じると予想される後続シーンのレンダリングデータを生成する。再生部は、後続時刻に受信者の仮想空間でレンダリングデータを再生する。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　リモートコミュニケーションの需要が高まってきている。床設置型の触覚提示デバイスや、グローブや衣服のように直接身に着けるタイプの触覚提示デバイスを用いて、ＸＲ空間上でリモートの相手とコミュニケーションをとることが可能となってきている。
特開２０１５－１１１４１７号公報
　リモートの相手とコミュニケーションをとる場合には、通信遅延等によって再生タイミングにずれが生じる場合がある。例えば、映像や音声は多少の遅延があっても許容できるが、相手の指先に直接ＶＲ上で触れるなど、お互いに触覚提示のタイミングが同時であることが重要なケースでは、通信遅延によって違和感が生じる可能性がある。
　そこで、本開示では、受信者側での再生タイミングのずれを抑制することが可能な情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、送信者から取得した現在時刻のセンサ情報に基づいて、前記現在時刻よりも後の後続時刻に受信者の仮想空間で生じると予想される後続シーンのレンダリングデータを生成するレンダリング部と、前記後続時刻に前記受信者の仮想空間で前記レンダリングデータを再生する再生部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
第１実施形態のリモートコミュニケーションシステムを示す図である。 ハプティックデバイスの一例を示す図である。 ハプティックデバイスの一例を示す図である。 波紋を用いたインタラクションの例を示す図である。 送信者および受信者の処理動作の一例を示す図である。 送信者および受信者の処理動作の一例を示す図である。 従来の手法と本開示の手法とを比較するための図である。 従来の手法と本開示の手法とを比較するための図である。 受信者の処理フローの一例を示す図である。 第１変形例の説明図である。 第２変形例の説明図である。 第３変形例の説明図である。 第４変形例の説明図である。 第２実施形態のリモートコミュニケーションシステムを示す図である。 レンダリングデータの生成および再生の処理の説明図である。 レンダリングデータの生成および再生の処理の説明図である。 第５変形例の説明図である。 情報処理装置のハードウェア構成の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．第１実施形態］
　［１－１．リモートコミュニケーションシステムの構成］
　［１－２．レンダリングデータの生成および再生］
　［１－３．情報処理方法］
　［１－４．効果］
　［１－５．第１変形例］
　［１－６．第２変形例］
　［１－７．第３変形例］
　［１－８．第４変形例］
［２．第２実施形態］
　［２－１．レンダリングデータの生成および再生］
　［２－２．第５変形例］
［３．ハードウェア構成例］
［１．第１実施形態］
［１－１．リモートコミュニケーションシステムの構成］
　図１は、第１実施形態のリモートコミュニケーションシステムＣＳを示す図である。
　リモートコミュニケーションシステムＣＳは、サーバＳＶおよび複数の再生システムＲＳを有する。複数の再生システムＲＳは、サーバＳＶを介して接続されている。再生システムＲＳは、映像、音響および触覚に関する再生データを用いてユーザＵＳに仮想空間を提示する。ユーザＵＳは仮想空間を介して他のユーザＵＳとコミュニケーションを行う。
　再生システムＲＳはカメラＣＭ、プロジェクタＰＲＪ、スクリーンＳＣＲ、プロジェクタＰＪＲ、ハプティックデバイスＨＤ、センサ部ＳＥおよび情報処理装置ＰＤを有する。
　情報処理装置ＰＤは、再生システムＲＳで再生される各種シーンのレンダリングデータを生成する。レンダリングデータは、映像、音響および触覚のデータを含む。センサ部ＳＥは、レンダリングに必要なセンサ情報を取得する。例えば、センサ部ＳＥは、カメラＣＭ、ハプティックデバイスＨＤおよび距離センサＤＳ（図４参照）を含む。センサ部ＳＥは、各機器で検出された情報をセンサ情報として出力する。
　カメラＣＭは、ユーザＵＳのいる室内の空間を撮影する。カメラＣＭは、撮影された室内の映像をモニタ映像ＣＩＭとして出力する。モニタ映像ＣＩＭは、サーバＳＶを介して他の再生システムＲＳに送信される。プロジェクタＰＪＣは、サーバＳＶを介して受信した他の再生システムＲＳのモニタ映像ＣＩＭをスクリーンＳＣＲに表示する。
　プロジェクタＰＪＲは、映像および音響に関するレンダリングデータを再生する。図１の例では、映像に関わるレンダリングデータ（レンダリング映像ＲＩＭ）がプロジェクタＰＪＲを介して床面上に再生される。各再生システムＲＳでは、同一コンテンツに関わるレンダリング映像ＲＩＭが再生される。モニタ映像ＣＩＭとレンダリング映像ＲＩＭは、床面からスクリーンＳＣＲにまたがる一体の映像として呈示される。ユーザＵＳは、スクリーンＳＣＲの向こう側に他の再生システムＲＳの仮想空間が広がっているように感じることができる。
　図１の例では、一方の再生システムＲＳのユーザＵＳがインターネットなどのネットワークを介して他方の再生システムＲＳのユーザＵＳとコミュニケーションを行っている。各再生システムＲＳは、センサ部ＳＥで取得したセンサ情報およびサーバＳＶ（コンテンツ記憶部ＣＴＳ）から取得したコンテンツ情報を用いてレンダリングデータを生成する。センサ情報は、サーバＳＶを介して他の再生システムＲＳにも送信され、他の再生システムＲＳのレンダリング処理に利用される。
　以下、サーバＳＶを介して他の再生システムＲＳにセンサ情報を送信する再生システムＲＳを送信者ＴＲと記載する。送信者ＴＲが提示する仮想空間を仮想空間Ａと記載する。サーバＳＶから他の再生システムＲＳのセンサ情報を受信する再生システムＲＳを受信者ＲＥと記載する。受信者ＲＥが提示する仮想空間を仮想空間Ｂと記載する。各再生システムＲＳは、送信者ＴＲとしても受信者ＲＥとしても機能し得る。仮想空間Ａおよび仮想空間Ｂには、共通の仮想オブジェクトＶＯＢが呈示される。送信者ＴＲ側のユーザＵＳと受信者ＲＥ側のユーザＵＳは、仮想オブジェクトＶＯＢを介してインタラクションを行うことができる。
　送信者ＴＲは、カメラＣＭで撮影されたモニタ映像ＣＩＭ、および、センサ部ＳＥで取得した現在時刻のセンサ情報をサーバＳＶを介して受信者ＲＥに送信する。センサ情報は、再生シーンのレンダリングに利用される種々の情報を含む。例えば、センサ情報は、ユーザＵＳと仮想オブジェクトＶＯＢ（図４および図１４を参照）とのインタラクションに関する情報を含む。時刻の情報は、送信者ＴＲのコンピュータ内の時計から取得してもよいし、サーバＳＶ内の時計から取得してもよい。
　図２および図３は、ハプティックデバイスＨＤの一例を示す図である。
　ハプティックデバイスＨＤは、触覚提示機能および感圧検知機能を有する。図２の例では、ハプティックデバイスＨＤは、床面に敷き詰められた複数のタイルユニットＴＵとして構成されている。タイルユニットＴＵは、感圧センサＰＳと、複数のハプティックユニットＨＵと、を有する。タイルユニットＴＵの表面は、プロジェクタＰＪＲの映像（レンダリング映像ＲＩＭ）を表示するためのスクリーンとして機能する。
　ハプティックデバイスＨＤは、２次元的に配列された複数の感圧センサＰＳを用いて、ユーザＵＳの踏み込みの位置および強さをセンサ情報として検出する。検出されたセンサ情報は、映像、音響および触覚のレンダリングデータの生成に利用される。ハプティックデバイスＨＤは、踏み込み位置付近のハプティックユニットＨＵを用いて触覚に関するレンダリングデータを再生する。
　なお、タイルユニットＴＵにＬＥＤディスプレイが内蔵される場合、ＬＥＤディスプレイに直接レンダリング映像ＲＩＭを表示することができる。この場合、プロジェクタＰＪＲは省略することができる。ハプティックユニットＨＵが広帯域アクチュエータとして構成される場合、ハプティックユニットＨＵを音響素子として機能させることもできる。
　図３の例では、ハプティックデバイスＨＤがウェアラブルデバイスＷＤとして構成される。感圧センサＰＳおよびハプティックユニットＨＵは衣服に内蔵されている。ユーザＵＳは、衣服に内蔵された感圧センサＰＳにタッチすることで操作情報を入力することができる。ハプティックデバイスＨＤは、衣服に内蔵されたハプティックユニットＨＵを用いて触覚に関するレンダリングデータを再生する。
　図１に戻って、情報処理装置ＰＤは、モニタ映像送信部ＣＴ、モニタ映像受信部ＣＲ、センサ情報取得部ＳＩ、遅延時間取得部ＤＴ、レンダリング部ＲＤおよび再生部ＲＰを有する。
　モニタ映像送信部ＣＴは、カメラＣＡからモニタ映像ＣＩＭを取得し、サーバＳＶに送信する。サーバＳＶは、モニタ映像送信部ＣＴから受信したモニタ映像ＣＩＭをモニタ映像記憶部ＣＩＳに記憶する。モニタ映像受信部ＣＲは、モニタ映像記憶部ＣＩＳから他の再生システムＲＳのモニタ映像ＣＩＭを受信し、プロジェクタＰＪＣに供給する。
　センサ情報取得部ＳＩは、センサ部ＳＥからセンサ情報を取得し、レンダリング部ＲＤに供給する。センサ情報取得部ＳＩはセンサ情報をサーバＳＶに送信する。サーバＳＶは、センサ情報取得部ＳＩから受信したセンサ情報をセンサ情報記憶部ＳＩＳに記憶する。
　遅延時間取得部ＤＴは、送信者ＴＲと受信者ＲＥとの間の通信遅延時間を取得する。通信遅延時間は、通信に要する時間を意味する。例えば、通信遅延時間は５００ｍｓである。通信遅延時間は、公知の測定機器を用いて測定することができる。通信遅延時間は、上り方向（送信者ＴＲから受信者ＲＥへ向かう方向）と下り方向（受信者ＲＥから送信者ＴＲに向かう方向）とで異なる場合があるが、本実施形態では、簡単のため、上り方向と下り方向の通信遅延時間を等しいものとする。
　レンダリング部ＲＤは、センサ情報を用いて再生シーンのレンダリングデータを生成する。センサ情報には、センサ情報取得部ＳＩから取得したものと、センサ情報記憶部ＳＩＳから取得したものと、がある。受信者ＲＥのレンダリング部ＲＤには、両方のセンサ情報が入力されるが、それぞれのセンサ情報に対しては異なるレンダリング手法でレンダリングが行われる。
　例えば、受信者ＲＥのレンダリング部ＲＤは、受信者ＲＥのセンサ情報取得部ＳＩから取得したセンサ情報（以下、受信側センサ情報という）を用いて、受信者ＲＥ側の要因（受信者ＲＥ側のユーザＵＳの行動など）によって生じるシーンのレンダリングデータを生成する。受信者ＲＥのレンダリング部ＲＤは、センサ情報記憶部ＳＩＳから送信されたセンサ情報（以下、送信側センサ情報という）を用いて、送信者ＴＲ側の要因（送信者ＴＲ側のユーザＵＳの行動など）によって生じるシーンのレンダリングデータを生成する。
　受信者ＲＥのレンダリング部ＲＤは、送信側センサ情報を用いてレンダリングを行う場合には、通信遅延を考慮して若干先（未来）のシーンのレンダリングデータを生成する。例えば、レンダリング部ＲＤは、送信者ＴＲから取得した現在時刻のセンサ情報に基づいて、受信者ＲＥ側の後続シーンのレンダリングデータを生成する。後続シーンとは、現在時刻よりも後の後続時刻に受信者ＲＥの仮想空間Ｂで生じると予想される未来のシーンを意味する。例えば、後続シーンは、現在時刻よりも通信遅延時間だけ後の時刻以降に生じるシーンとして設定される。
　受信者ＲＥのレンダリング部ＲＤは、受信側センサ情報を用いてレンダリングを行う場合には、センサ情報取得部ＳＩから直接取得した現在時刻のセンサ情報に基づいて、受信者ＲＥ側の現在シーンのレンダリングデータを生成する。現在シーンとは、現在時刻において受信者ＲＥの仮想空間Ｂで生じると予想されるシーンを意味する。時刻の情報は、受信者ＲＥのコンピュータ内の時計から取得してもよいし、サーバＳＶ内の時計から取得してもよい。
　再生部ＲＰは、レンダリングデータを再生システムＲＳに送信する。再生部ＲＰは、再生システムＲＳのプロジェクタＰＪＲおよびハプティックデバイスＨＤなどを介してレンダリングデータを再生する。
　前述のように、レンダリング部ＲＤは、送信側センサ情報を用いてレンダリングを行う場合と、受信側センサ情報を用いてレンダリングを行う場合とで、レンダリングの対象となるシーンの再生予定時刻を異ならせている。そのため、再生部ＲＰは、シーンの再生予定時刻に合わせてレンダリングデータを再生する。例えば、送信側センサ情報を用いて生成されたレンダリングデータについては、再生部ＲＰは、後続時刻に受信者ＲＥの仮想空間Ｂでレンダリングデータを再生する。受信側センサ情報を用いて生成されたレンダリングデータについては、再生部ＲＰは、現在時刻に受信者ＲＥの仮想空間Ｂでレンダリングデータを再生する。
［１－２．レンダリングデータの生成および再生］
　以下、レンダリングデータの生成および再生の具体例について説明する。図４は、波紋ＲＬを用いたインタラクションの例を示す図である。
　送信者ＴＲ側のユーザＵＳは、スクリーンＳＣＲに映るモニタ映像ＣＩＭを介して受信者ＲＥの仮想空間Ｂを認識することができる。スクリーンＳＣＲに映る仮想空間Ｂの映像（モニタ映像ＣＩＭ）は、現在時刻よりも通信遅延時間だけ前の映像である。送信者ＴＲの仮想空間Ａで再生されるレンダリング映像ＲＩＭは、現在時刻のセンサ情報（送信者ＴＲのセンサ情報取得部ＳＩから直接送信者ＴＲのレンダリング部ＲＤに入力されたセンサ情報）に基づいて生成されている。送信者ＴＲの再生部ＲＰは、レンダリング映像ＲＩＭとモニタ映像ＣＩＭとを用いて、送信者ＴＲ側から受信者ＲＥ側にまたがる広域シーンＷＳを送信者ＴＲの仮想空間Ａで再生する。
　レンダリング映像ＲＩＭとモニタ映像ＣＩＭとの境界が、仮想空間Ａと仮想空間Ｂとの境界ＢＤ（図６参照）となる。図４の例では、スクリーンＳＣＲを包含する平面が仮想空間Ａと仮想空間Ｂとの境界ＢＤとなる。
　図４の例では、レンダリング映像ＲＩＭとして、波紋ＲＬの映像が提示される。広域シーンＷＳは、波紋ＲＬが送信者ＴＲ側から受信者ＲＥ側に広がるシーンを含む。受信者ＲＥのレンダリング部ＲＤは、波紋ＲＬが境界ＢＤに到達する時刻以降に生じると予想される後続シーンのレンダリングデータを生成する。
　ユーザＵＳが波紋ＲＬに触れると、ハプティックデバイスＨＤからユーザＵＳのいる床面上の位置に波の振動が付与される。これにより、ユーザＵＳの足裏において波の触覚が再生される。ユーザＵＳは、床面を踏み込むことにより、踏み込みの強さに応じた振幅および速度を有する波紋ＲＬを生成することができる。波紋ＲＬの形状は円であるが、斜めに強く踏み込むことで、踏み込み方向に長軸を有する波紋ＲＬ（図１３参照）を生成することもできる。この場合、感圧センサＰＳによって踏み込む方向もセンサ情報として検出される。
　ユーザＵＳの位置は、床面に設置された感圧センサＰＳを用いて検出される。しかし、図４の例のように、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラなどの距離センサＤＳを用いてユーザＵＳの位置を検出してもよい。
　図５および図６は、送信者ＴＲおよび受信者ＲＥの処理動作の一例を示す図である。
　送信者ＴＲは、ハプティックデバイスＨＤの検知情報に基づいて、ユーザＵＳが床を踏み込む動作を検知する。送信者ＴＲは、踏み込みによって生じた波紋ＲＬが仮想空間Ａと仮想空間Ｂの境界ＢＤに到達する前に、踏み込みの位置および強さに関するセンサ情報を、サーバＳＶを介して受信者ＲＥに送信する。
　受信者は、送信者ＴＲから受信したセンサ情報（送信側センサ情報）に基づいてレンダリングを開始する。レンダリングの対象となるシーンは、波紋ＲＬが境界ＢＤに到達した時刻以降の未来のシーンである。受信者ＲＥは、波紋ＲＬが境界ＢＤに到達する前までにレンダリングを完了する。レンダリング処理によって、波紋ＲＬが受信者ＲＥ側の仮想空間Ｂを伝搬していく様子を示す時系列の映像、音響および触覚のレンダリングデータが生成される。受信者ＲＥは、波紋ＲＬが境界ＢＤに到達したタイミングに合わせてレンダリングデータを再生する。
　受信者ＲＥは、送信側センサ情報に基づいて、波紋ＲＬが境界ＢＤに到達した後の未来のシーン（後続シーン）を予想し、後続シーンのレンダリングデータを事前に用意しておく。受信者ＲＥは、事前に用意したレンダリングデータを、波紋ＲＬが境界ＢＤに到達するタイミングに合わせて再生する。これにより、通信遅延の影響を受けない適切な再生処理が行われる。
　図７および図８は、従来の手法と本開示の手法とを比較するための図である。図７は、比較例としての従来の手法を示す図である。図８は、本開示の手法を示す図である。
　従来の手法では、波紋ＲＬが境界ＢＤに到達してから仮想空間Ｂ内の波紋ＲＬのレンダリングが開始される。送信者ＴＲと受信者ＲＥとの間には通信遅延が発生するため、仮想空間Ｂに呈示される波紋ＲＬは、通信遅延に応じた過去のセンサ情報（送信側センサ情報）に基づくもの（過去の波紋ＲＬ）となる。仮想空間Ｂ側から見た波紋ＲＬの広がりは、仮想空間Ａ側から見た波紋ＲＬの広がりよりも小さくなる。この波紋ＲＬの大きさの違いが再生タイミングのずれとして認識される。
　本開示の手法では、事前にレンダリングされていた仮想空間Ｂ内の波紋ＲＬが、波紋ＲＬが仮想空間Ｂに侵入したタイミングに合わせて再生される。そのため、仮想空間Ｂ側から見た波紋ＲＬの広がりは、仮想空間Ａ側から見た波紋ＲＬの広がりと等しくなり、再生タイミングのずれは生じない（図８の上段側を参照）。
　波紋ＲＬとユーザＵＳとの間にインタラクションが生じた場合も同様の処理が可能である。例えば、図８の下段側の例では、波紋ＲＬがユーザＵＳにぶつかって反射波が生じている。受信者ＲＥは、反射位置の情報に基づいて、反射波が境界ＢＤに到達した後の未来のシーン（後続シーン）を予想し、後続シーンのレンダリングデータを事前に用意しておく。受信者ＲＥは、事前に用意したレンダリングデータを、反射波が境界ＢＤに到達するタイミングに合わせて再生する。これにより、通信遅延の影響を受けない適切な再生処理が行われる。
［１－３．情報処理方法］
　図９は、受信者ＲＥの処理フローの一例を示す図である。
　遅延時間取得部ＤＴは、通信遅延時間を取得し（ステップＳ１）、通信遅延時間が許容値よりも大きいか否かを判定する（ステップＳ２）。許容値とは、図７に示した従来の手法においても再生タイミングのずれが殆ど問題とならないような小さな通信遅延時間を意味する。許容値は、システム開発者が任意に設定することができる。
　通信遅延時間が許容値よりも大きい場合には（ステップＳ２：Ｙｅｓ）、レンダリング部ＲＤは、送信者ＴＲから取得した現在時刻のセンサ情報（送信側センサ情報）に基づいて、受信者ＲＥ側の後続シーンのレンダリングデータを生成する（ステップＳ３）。後続シーンは、現在時刻よりも後の後続時刻に受信者ＲＥの仮想空間Ｂで生じると予想される未来のシーンである。再生部ＲＰは、生成された後続シーンのレンダリングデータを後続時刻において再生する（ステップＳ４）。
　通信遅延時間が許容値以下である場合には（ステップＳ２：Ｎｏ）、レンダリング部ＲＤは、送信者ＴＲから取得した現在時刻のセンサ情報（送信側センサ情報）に基づいて、受信者ＲＥ側の現在シーンのレンダリングデータを生成する（ステップＳ５）。現在シーンは、現在時刻において受信者ＲＥの仮想空間Ｂで生じると予想されるシーンである。再生部ＲＰは、生成された現在シーンのレンダリングデータを現在時刻において再生する（ステップＳ６）。
［１－４．効果］
　情報処理装置ＰＤは、レンダリング部ＲＤおよび再生部ＲＰを有する。レンダリング部ＲＤは、送信者ＴＲから取得した現在時刻のセンサ情報に基づいて、現在時刻よりも後の後続時刻に受信者ＲＥの仮想空間Ｂで生じると予想される後続シーンのレンダリングデータを生成する。再生部ＲＰは、後続時刻に受信者ＲＥの仮想空間Ｂでレンダリングデータを再生する。本開示の情報処理方法は、情報処理装置ＰＤの処理がコンピュータ１０００（図１８参照）により実行される。本開示のプログラムは、情報処理装置ＰＤの処理をコンピュータ１０００に実現させる。
　この構成によれば、送信者ＴＲから取得した現在時刻のセンサ情報から、現在のシーンではなく後続シーンのレンダリングデータが生成される。予め生成しておいた後続シーンのレンダリングデータが、後続シーンで再生を予定している時刻に再生されるため、通信遅延による受信者ＲＥ側での再生タイミングのずれが抑制される。
　レンダリングデータは、触覚のデータを含む。
　この構成によれば、送信者と受信者との間で触覚提示のタイミングのずれが抑制される。触覚を用いたインタラクションでは、映像や音響を用いたインタラクションに比べて、再生タイミングのずれが感知されやすい。再生タイミングのずれは、違和感につながる。本開示の手法を用いることで、違和感の少ないインタラクションが可能となる。
　後続シーンは、現在時刻よりも通信遅延時間だけ後の時刻以降に生じるシーンとして設定される。
　この構成によれば、受信者ＲＥ側において通信遅延の影響を受けない適切なシーンが再生される。
　再生部ＲＰは、現在時刻のセンサ情報に基づいて生成されたレンダリング映像ＲＩＭと受信者ＲＥから取得した現在時刻よりも通信遅延時間だけ前のモニタ映像ＣＩＭとを用いて、送信者ＴＲ側から受信者ＲＥ側にまたがる広域シーンＷＳを送信者ＴＲの仮想空間Ａで再生する。
　この構成によれば、レンダリング映像ＲＩＭとモニタ映像ＣＩＭとの境界における映像のずれが抑制される。
　広域シーンＷＳは、波紋ＲＬが送信者ＴＲ側から受信者ＲＥ側に広がるシーンを含む。レンダリング部ＲＤは、波紋ＲＬが境界ＢＤに到達する時刻以降に生じると予想される後続シーンのレンダリングデータを生成する。
　この構成によれば、送信者ＴＲ側と受信者ＲＥ側との間で波紋ＲＬの広がるタイミングにずれが生じることが抑制される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上述の説明では、送信者ＴＲの現在時刻のセンサ情報に基づいて波紋ＲＬの境界ＢＤへの到達時刻などを予想するのは受信者ＲＥであった。しかし、これらの予想は送信者ＴＲが行ってもよい。この場合、受信者ＲＥは、送信者ＴＲから受信した予想情報に基づいてレンダリングを行えばよい。
［１－５．第１変形例］
　以下、受信者ＲＥ側で行われる情報処理の変形例を説明する。図１０は、第１変形例の説明図である。
　前述のように、受信者ＲＥ側の仮想空間Ｂで再生されるレンダリング映像ＲＩＭは、通信遅延の影響を受けない適切な再生映像となる。しかし、レンダリング映像ＲＩＭが再生された仮想空間Ｂのモニタ映像ＣＩＭは、サーバＳＶを介して送信者ＴＲに送信される。モニタ映像ＣＩＭに映る仮想空間Ｂのレンダリング映像ＲＩＭは、通信遅延時間だけ過去の映像となり、波紋ＲＬの広がりも小さくなる。そのため、送信者ＴＲの仮想空間Ａで再生されているレンダリング映像ＲＩＭと、モニタ映像ＣＩＭに映る仮想空間Ｂのレンダリング映像ＲＩＭと、の間にはずれが生じる（図１０の上段側を参照）。
　そのため、再生部ＲＰは、レンダリング映像ＲＩＭとモニタ映像ＣＩＭとの境界ＢＤにおける映像の不連続性が解消されるように、モニタ映像ＣＩＭの境界ＢＤに隣接した部分の映像を補正する。図１０の例では、モニタ映像ＣＩＭのうち、スクリーンＳＣＲの下端部を構成する所定幅の映像領域が補正映像ＣＩＲによって置き換えられている。この構成によれば、レンダリング映像ＲＩＭとモニタ映像ＣＩＭとが滑らかに連結された高品質な広域シーンＷＳが再生される。
［１－６．第２変形例］
　図１１は、第２変形例の説明図である。
　図１１の例では、波紋ＲＬを発生させる踏み込み動作がスクリーンＳＣＲの近傍で行われている。ユーザＵＳが踏み込む位置によっては、波紋ＲＬが境界ＢＤに到達するまでの伝搬時間が通信遅延時間よりも短くなる場合がある。この場合、受信者ＲＥは、波紋ＲＬが境界ＢＤに到達する前までにレンダリングを完了することができない。そのため、送信者ＴＲ側と受信者ＲＥ側との間で再生タイミングにずれが生じる。
　このような問題を解消するために、本変形例では、波紋ＲＬの伝搬速度が送信者ＴＲ側で調整される。送信者ＴＲの再生部ＲＰは、波紋発生源（踏み込み位置）から境界ＢＤまでの波紋ＲＬの伝搬時間が通信遅延時間よりも短い場合には、伝搬時間が通信遅延時間以上となるように波紋ＲＬの伝搬速度を調整する。この構成によれば、送信者ＴＲ側と受信者ＲＥ側との間で波紋ＲＬの広がるタイミングにずれが生じることが抑制される。
［１－７．第３変形例］
　図１２は、第３変形例の説明図である。
　図１２の例では、送信者ＴＲ側で踏み込みが検知され、センサ情報が受信者ＲＥに送信されたものの、途中で波紋ＲＬが消滅してしまったような状況が示されている。受信者ＲＥでは、送信者ＴＲから受信したセンサ情報に基づいてレンダリングが完了している。何もしなければ、レンダリングデータは、再生が予定されている波紋ＲＬの到達予定時刻に誤って受信者ＲＥ側で再生されてしまう。
　この問題を解消するために、本変形例では、波紋ＲＬの消滅情報に基づいてレンダリングデータの再生中止処理が行われる。送信者ＴＲは、途中で波紋ＲＬが消滅することを検知した場合には、受信者ＲＥに波紋ＲＬが消滅した旨の情報（消滅情報）を送信する。受信者ＲＥの再生部ＲＰは、境界ＢＤに波紋ＲＬが到達する前に波紋ＲＬが消滅した場合には、レンダリングデータに基づく受信者ＲＥ側での波紋ＲＬの再生を中止する。この構成によれば、再生が予定されていた波紋ＲＬの映像が誤って受信者ＲＥ側で再生されることが防止される。
［１－８．第４変形例］
　図１３は、第４変形例の説明図である。
　波紋ＲＬの形状は円であるが、斜めに強く踏み込むことで、踏み込み方向に長軸を有する波紋ＲＬを生成することもできる。この場合、レンダリング部ＲＤは、波紋発生源ＧＳと境界ＢＤとの位置関係および波紋ＲＬの伝搬方向（長軸の方向）に基づいて、送信者ＴＲからセンサ情報を取得すべきタイミング、および、レンダリングデータを生成するためのレンダリング処理の開始タイミングを決定する。この構成によれば、波紋ＲＬが境界ＢＤに到達するタイミングに合わせてレンダリングを行うことができる。
　図１３の例では、踏んだときの足の角度や、踏んだ感圧センサＰＳの順番に応じて、波紋ＲＬの進む方向（長軸の方向）が決定される。波紋ＲＬが発生してから波紋ＲＬが受信者ＲＥ側のユーザＵＳに到達するまでの時間は、踏み込み方向の角度θ、波紋発生源ＧＳから境界ＢＤまでの距離Ｌ１、境界ＢＤから受信者ＲＥ側のユーザＵＳまでの距離Ｌ２、および、波紋ＲＬの伝搬速度ｖに依存する。よって、これらの情報と通信遅延を考慮して、どのくらい事前にセンサ情報を送信するべきかや、どのくらい事前にレンダリングを開始するべきかを決定することができる。
［２．第２実施形態］
　図１４は、第２実施形態のリモートコミュニケーションシステムを示す図である。
　本実施形態では、グローブ型のハプティックデバイスＨＤによって、仮想オブジェクトＶＯＢに触れたときの触覚が再生される。仮想オブジェクトＶＯＢのレンダリングデータは、ヘッドマウントディスプレイやＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）グラスなどの映像再生機器によって再生される。ユーザＵＳは、仮想オブジェクトＶＯＢを介して他の再生システムＲＳのユーザＵＳとインタラクションを行うことができる。
［２－１．レンダリングデータの生成および再生］
　図１５および図１６は、レンダリングデータの生成および再生の処理の説明図である。
　図１５および図１６の例では、仮想オブジェクトＶＯＢは、インタラクションを行うユーザＵＳの手である。送信者ＴＲは、センサ情報として、送信者ＴＲのユーザＵＳの手の位置および移動速度に関する情報を送信する。受信者ＲＥは、送信者ＴＲから受信したセンサ情報を用いて、送信者ＴＲのユーザＵＳの手の位置および移動速度が、現在時刻よりも後の時刻においてどのように変化するかを予想する。受信者ＲＥは、予想された送信者ＴＲのユーザＵＳの手の映像および触覚に関するレンダリングデータを後続シーンのレンダリングデータとして生成する。触覚が発生するタイミングおよび強さは、ユーザＵＳどうしの手が接触するタイミングおよび接触時の手の移動速度から求まる。
　通信遅延時間は、例えば１００ｍｓである。送信者ＴＲが現在時刻のセンサ情報を送信し始めてから１００ｍｓ後に受信者ＲＥはセンサ情報を受信する。受信者ＲＥは、送信者ＴＲから取得した現在時刻のセンサ情報に基づいて、現在時刻よりも通信遅延時間だけ後の時刻に受信者ＲＥの仮想空間Ｂで生じると予想される後続シーンのレンダリングデータを生成する。これにより、実時間においては、仮想空間Ａと仮想空間Ｂの双方において同じ位置に送信者ＴＲの手が表示され、触覚提示のタイミングにずれが生じない。
　上述の説明では、後続時刻における送信者ＴＲのユーザＵＳの手の位置および移動速度は受信者ＲＥによって予想された。しかし、これらの予想は送信者ＴＲが行ってもよい。この場合、受信者ＲＥは、送信者ＴＲから受信した予想情報に基づいてレンダリングを行えばよい。
［２－２．第５変形例］
　図１７は、第５変形例の説明図である。
　上記実施形態では、上り方向と下り方向の通信遅延速度は等しいものとして説明を行った。しかし、上り方向と下り方向で通信遅延時間が異なる場合には、それぞれの通信遅延速度に応じてどのくらい後の位置情報を予想するかを決定してもよい。例えば、上り方向の通信遅延時間が１００ｍｓである場合には、現在時刻のセンサ情報から１００ｍｓ後の位置および移動速度を予想し、予想情報に基づいてレンダリングを行うことができる。下り方向の通信遅延時間が５０ｍｓである場合には、現在時刻のセンサ情報から５０ｍｓ後の位置および移動速度を予想し、予想情報に基づいてレンダリングを行うことができる。
［３．ハードウェア構成例］
　図１８は、情報処理装置ＰＤのハードウェア構成の一例を示す図である。
　情報処理装置ＰＤの情報処理は、例えば、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１００、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒy）１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラム（プログラムデータ１４５０）に基づいて動作し、各部の制御を行う。たとえば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）などのブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラムなどを格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを非一時的に記録する、コンピュータが読み取り可能な非一時的記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例としての、実施形態にかかる情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（たとえばインターネット）と接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウスなどの入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、表示装置やスピーカーやプリンタなどの出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラムなどを読み取るメディアインターフェイスとして機能してもよい。メディアとは、たとえばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）などの光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。
　たとえば、コンピュータ１０００が実施形態にかかる情報処理装置ＰＤとして機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、前述した各部の機能を実現する。また、ＨＤＤ１４００には、本開示にかかる情報処理プログラム、各種モデルおよび各種データが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
［付記］
　なお、本技術は以下のような構成も採ることができる。
（１）
　送信者から取得した現在時刻のセンサ情報に基づいて、前記現在時刻よりも後の後続時刻に受信者の仮想空間で生じると予想される後続シーンのレンダリングデータを生成するレンダリング部と、
　前記後続時刻に前記受信者の仮想空間で前記レンダリングデータを再生する再生部と、
　を有する情報処理装置。
（２）
　前記レンダリングデータは、触覚のデータを含む、
　上記（１）に記載の情報処理装置。
（３）
　前記後続シーンは、前記現在時刻よりも通信遅延時間だけ後の時刻以降に生じるシーンとして設定される、
　上記（１）または（２）に記載の情報処理装置。
（４）
　前記再生部は、前記現在時刻のセンサ情報に基づいて生成されたレンダリング映像と前記受信者から取得した前記現在時刻よりも前記通信遅延時間だけ前のモニタ映像とを用いて、前記送信者側から前記受信者側にまたがる広域シーンを前記送信者の仮想空間で再生する、
　上記（３）に記載の情報処理装置。
（５）
　前記再生部は、前記レンダリング映像と前記モニタ映像との境界における映像の不連続性が解消されるように、前記モニタ映像の前記境界に隣接した部分の映像を補正する、
　上記（４）に記載の情報処理装置。
（６）
　前記広域シーンは、波紋が前記送信者側から前記受信者側に広がるシーンを含み、
　前記レンダリング部は、前記波紋が前記境界に到達する時刻以降に生じると予想される前記後続シーンのレンダリングデータを生成する、
　上記（５）に記載の情報処理装置。
（７）
　前記再生部は、波紋発生源から前記境界までの前記波紋の伝搬時間が前記通信遅延時間よりも短い場合には、前記伝搬時間が前記通信遅延時間以上となるように前記波紋の伝搬速度を調整する、
　上記（６）に記載の情報処理装置。
（８）
　前記再生部は、前記境界に前記波紋が到達する前に前記波紋が消滅した場合には、前記レンダリングデータに基づく前記受信者側での前記波紋の再生を中止する、
　上記（６）に記載の情報処理装置。
（９）
　前記レンダリング部は、波紋発生源と前記境界との位置関係および前記波紋の伝搬方向に基づいて、前記送信者から前記センサ情報を取得すべきタイミング、および、前記レンダリングデータを生成するためのレンダリング処理の開始タイミングを決定する、
　上記（６）に記載の情報処理装置。
（１０）
　送信者から取得した現在時刻のセンサ情報に基づいて、前記現在時刻よりも後の後続時刻に受信者の仮想空間で生じると予想される後続シーンのレンダリングデータを生成し、
　前記後続時刻に前記受信者の仮想空間で前記レンダリングデータを再生する、
　ことを有する、コンピュータにより実行される情報処理方法。
（１１）
　送信者から取得した現在時刻のセンサ情報に基づいて、前記現在時刻よりも後の後続時刻に受信者の仮想空間で生じると予想される後続シーンのレンダリングデータを生成し、
　前記後続時刻に前記受信者の仮想空間で前記レンダリングデータを再生する、
　ことをコンピュータに実現させるプログラム。
ＢＤ　境界
ＣＩＭ　モニタ映像
ＧＳ　波紋発生源
ＰＤ　情報処理装置
ＲＤ　レンダリング部
ＲＥ　受信者
ＲＩＭ　レンダリング映像
ＲＬ　波紋
ＲＰ　再生部
ＴＲ　送信者
ＷＳ　広域シーン

Claims (11)

  1. 　送信者から取得した現在時刻のセンサ情報に基づいて、前記現在時刻よりも後の後続時刻に受信者の仮想空間で生じると予想される後続シーンのレンダリングデータを生成するレンダリング部と、
    　前記後続時刻に前記受信者の仮想空間で前記レンダリングデータを再生する再生部と、
    　を有する情報処理装置。
  2. 　前記レンダリングデータは、触覚のデータを含む、
    　請求項１に記載の情報処理装置。
  3. 　前記後続シーンは、前記現在時刻よりも通信遅延時間だけ後の時刻以降に生じるシーンとして設定される、
    　請求項１に記載の情報処理装置。
  4. 　前記再生部は、前記現在時刻のセンサ情報に基づいて生成されたレンダリング映像と前記受信者から取得した前記現在時刻よりも前記通信遅延時間だけ前のモニタ映像とを用いて、前記送信者側から前記受信者側にまたがる広域シーンを前記送信者の仮想空間で再生する、
    　請求項３に記載の情報処理装置。
  5. 　前記再生部は、前記レンダリング映像と前記モニタ映像との境界における映像の不連続性が解消されるように、前記モニタ映像の前記境界に隣接した部分の映像を補正する、
    　請求項４に記載の情報処理装置。
  6. 　前記広域シーンは、波紋が前記送信者側から前記受信者側に広がるシーンを含み、
    　前記レンダリング部は、前記波紋が前記境界に到達する時刻以降に生じると予想される前記後続シーンのレンダリングデータを生成する、
    　請求項５に記載の情報処理装置。
  7. 　前記再生部は、波紋発生源から前記境界までの前記波紋の伝搬時間が前記通信遅延時間よりも短い場合には、前記伝搬時間が前記通信遅延時間以上となるように前記波紋の伝搬速度を調整する、
    　請求項６に記載の情報処理装置。
  8. 　前記再生部は、前記境界に前記波紋が到達する前に前記波紋が消滅した場合には、前記レンダリングデータに基づく前記受信者側での前記波紋の再生を中止する、
    　請求項６に記載の情報処理装置。
  9. 　前記レンダリング部は、波紋発生源と前記境界との位置関係および前記波紋の伝搬方向に基づいて、前記送信者から前記センサ情報を取得すべきタイミング、および、前記レンダリングデータを生成するためのレンダリング処理の開始タイミングを決定する、
    　請求項６に記載の情報処理装置。
  10. 　送信者から取得した現在時刻のセンサ情報に基づいて、前記現在時刻よりも後の後続時刻に受信者の仮想空間で生じると予想される後続シーンのレンダリングデータを生成し、
    　前記後続時刻に前記受信者の仮想空間で前記レンダリングデータを再生する、
    　ことを有する、コンピュータにより実行される情報処理方法。
  11. 　送信者から取得した現在時刻のセンサ情報に基づいて、前記現在時刻よりも後の後続時刻に受信者の仮想空間で生じると予想される後続シーンのレンダリングデータを生成し、
    　前記後続時刻に前記受信者の仮想空間で前記レンダリングデータを再生する、
    　ことをコンピュータに実現させるプログラム。
PCT/JP2023/026345 2022-08-09 2023-07-19 情報処理装置、情報処理方法およびプログラム WO2024034336A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-127457 2022-08-09
JP2022127457 2022-08-09

Publications (1)

Publication Number Publication Date
WO2024034336A1 true WO2024034336A1 (ja) 2024-02-15

Family

ID=89851487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026345 WO2024034336A1 (ja) 2022-08-09 2023-07-19 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2024034336A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4898836B2 (ja) * 2006-01-17 2012-03-21 マコ サージカル コーポレーション ハプティックレンダリングのための装置および方法
WO2018225187A1 (ja) * 2017-06-07 2018-12-13 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法
JP2019029012A (ja) * 2017-08-03 2019-02-21 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックエフェクトの符号化およびレンダリングシステム
JP2019067396A (ja) * 2017-10-02 2019-04-25 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックピッチ制御
JP2020071718A (ja) * 2018-10-31 2020-05-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4898836B2 (ja) * 2006-01-17 2012-03-21 マコ サージカル コーポレーション ハプティックレンダリングのための装置および方法
WO2018225187A1 (ja) * 2017-06-07 2018-12-13 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法
JP2019029012A (ja) * 2017-08-03 2019-02-21 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックエフェクトの符号化およびレンダリングシステム
JP2019067396A (ja) * 2017-10-02 2019-04-25 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックピッチ制御
JP2020071718A (ja) * 2018-10-31 2020-05-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US10241580B2 (en) Overlaying of haptic effects
US8830188B2 (en) Infrastructural haptics on wall scale interactive displays
AU2018203947B2 (en) Collaborative virtual reality anti-nausea and video streaming techniques
US9508236B2 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US8520872B2 (en) Apparatus and method for sound processing in a virtual reality system
TWI571130B (zh) 體積式視訊呈現
US8767968B2 (en) System and method for high-precision 3-dimensional audio for augmented reality
KR101521363B1 (ko) 엔터테인먼트 디바이스들 및 시스템들의 음향 관리를 위한 기술들
JP6255488B2 (ja) コンテンツ共有装置及び方法
TW202107249A (zh) 計算裝置及延伸實境整合
US20180182435A1 (en) Method and program for generating responsive image
US10613703B2 (en) Collaborative interaction with virtual reality video
US20120163520A1 (en) Synchronizing sensor data across devices
US11681372B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
CN113508354A (zh) 显示环境的表示
WO2024034336A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2023235647A1 (en) Extend the game controller functionality with virtual buttons using hand tracking
CN112256130A (zh) 生成控制指令的方法和装置
US10289203B1 (en) Detection of an input object on or near a surface
GB2565628A (en) Collaborative interaction with virtual reality video
JP7037938B2 (ja) タッチメッセージの送信システムと方法
JP6889371B2 (ja) 動画情報処理装置並びにその制御方法及び制御プログラム
WO2024177864A1 (en) Synchronizing audio streams in cloud-based gaming environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852317

Country of ref document: EP

Kind code of ref document: A1