WO2021095330A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2021095330A1
WO2021095330A1 PCT/JP2020/033540 JP2020033540W WO2021095330A1 WO 2021095330 A1 WO2021095330 A1 WO 2021095330A1 JP 2020033540 W JP2020033540 W JP 2020033540W WO 2021095330 A1 WO2021095330 A1 WO 2021095330A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
information processing
processing device
information
timing
Prior art date
Application number
PCT/JP2020/033540
Other languages
English (en)
French (fr)
Inventor
木村　隆臣
靖子 石原
一 若林
敦 石原
井上　正行
浩丈 市川
秀憲 青木
遼 深澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080076921.XA priority Critical patent/CN114730479A/zh
Priority to JP2021555912A priority patent/JPWO2021095330A1/ja
Priority to US17/774,681 priority patent/US20220414960A1/en
Publication of WO2021095330A1 publication Critical patent/WO2021095330A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • One of the purposes of the present disclosure is to provide an information processing device, an information processing method, and a program capable of appropriately reproducing the reality regarding the delay of the sound reproduced from the actual sound source.
  • the present disclosure is, for example, It is equipped with a control unit that displays a virtual object on three-dimensional coordinates associated with the real space and causes the virtual object to perform a predetermined operation according to a predetermined sound reproduced from a real sound source arranged in the real space.
  • the control unit causes the virtual object to perform a predetermined operation with respect to the playback timing at which the real sound source reproduces a predetermined sound as the position of the real sound source in the real space and the position on the three-dimensional coordinates of the virtual object are separated.
  • This is an information processing device that performs delay amount setting processing that increases the delay amount of the start timing.
  • the present disclosure is, for example,
  • the control unit displays the virtual object on the three-dimensional coordinates associated with the real space, causes the virtual object to perform a predetermined operation according to a predetermined sound reproduced from the real sound source arranged in the real space, and causes the virtual object to perform a predetermined operation.
  • the control unit causes the virtual object to perform a predetermined operation with respect to the playback timing at which the real sound source reproduces a predetermined sound as the position of the real sound source in the real space and the position on the three-dimensional coordinates of the virtual object are separated.
  • This is an information processing method that performs delay amount setting processing that increases the delay amount of the start timing.
  • the present disclosure is, for example,
  • the control unit displays the virtual object on the three-dimensional coordinates associated with the real space, causes the virtual object to perform a predetermined operation according to a predetermined sound reproduced from the real sound source arranged in the real space, and causes the virtual object to perform a predetermined operation.
  • the control unit causes the virtual object to perform a predetermined operation with respect to the playback timing at which the real sound source reproduces a predetermined sound as the position of the real sound source in the real space and the position on the three-dimensional coordinates of the virtual object are separated.
  • This is a program that causes a computer to execute an information processing method that performs delay amount setting processing that increases the delay amount of the start timing.
  • FIG. 1 is a diagram for explaining a reproduction system according to an embodiment.
  • FIG. 2 is a diagram that is referred to when a problem to be considered in one embodiment is explained.
  • FIG. 3 is a diagram for explaining an outline of one embodiment.
  • 4A to 4D are diagrams for explaining the outline of one embodiment.
  • FIG. 5 is a diagram for explaining a specific example of the reproduction system.
  • FIG. 6 is a diagram for explaining a specific example of the processing performed by the reproduction system according to the embodiment.
  • FIG. 7 is a diagram for explaining a specific example of the processing performed by the reproduction system according to the embodiment.
  • FIG. 8 is a diagram for explaining a specific example of the processing performed by the reproduction system according to the embodiment.
  • FIG. 1 is a diagram for explaining a reproduction system according to an embodiment.
  • FIG. 2 is a diagram that is referred to when a problem to be considered in one embodiment is explained.
  • FIG. 3 is a diagram for explaining an outline of one embodiment.
  • FIG. 9 is a diagram for explaining a specific example of the processing performed by the reproduction system according to the embodiment.
  • FIG. 10 is a diagram for explaining a specific example of the processing performed by the reproduction system according to the embodiment.
  • FIG. 11 is a diagram for explaining a specific example of the processing performed by the reproduction system according to the embodiment.
  • FIG. 12 is a table showing that reality regarding sound delay can be realized by the processing performed by the reproduction system according to the embodiment.
  • FIG. 13 is a diagram referred to when an example of an arithmetic expression for obtaining the delay amount of the operation start timing in one embodiment is described.
  • FIG. 14 is a diagram showing a configuration example of a system composed of a plurality of devices in one embodiment.
  • FIG. 15 is a diagram for explaining each configuration example of the server, the smart display, and the speaker according to the embodiment.
  • FIG. 16 is a flowchart that is referred to when the flow of processing performed in one embodiment is explained.
  • FIG. 17 is a flowchart that is referred to when the flow of processing performed in one embodiment is explained.
  • FIG. 18 is a flowchart that is referred to when the flow of processing performed in one embodiment is explained.
  • FIG. 19 is a diagram referred to when a modified example is described.
  • FIG. 20 is a diagram that is referred to when a modified example is described.
  • FIG. 1 is a diagram schematically showing a reproduction system (regeneration system 1) according to the present embodiment.
  • the reproduction system 1 includes, for example, a stage 2, and a speaker 3 which is an example of an actual sound source is arranged on or around the stage 2.
  • the actual sound (music, sound effect, announcement sound, etc.) is reproduced from the speaker 3.
  • FIG. 1 shows an example in which the speakers 3 are arranged on the left and right sides of the stage 2, the number and arrangement modes of the speakers 3 can be appropriately changed.
  • stage 2 there is a user who is an audience facing each other. While listening to the sound reproduced from the speaker 3, the user watches an image in which a virtual object imitating a singer or a dancer is displayed.
  • the virtual object may be a real person instead of a virtual virtual object such as an artificially created singer, and the image may be an image in which such a real person is displayed.
  • the image is displayed on a smart display that the user carries or wears.
  • a smart display can draw virtual information in a real space, and specifically, it is also called a display of a smartphone owned by a user, a glasses-type display (AR (Augmented Reality) glass, or the like. ), HUD (Head Up Display) and the like can be exemplified.
  • AR Augmented Reality
  • HUD Head Up Display
  • the reproduction system 1 is a system in which live reproduction is performed by fusing an actual stage and a virtual object.
  • FIG. 2 is a diagram for explaining an example of reality corresponding to the user position and the position of the virtual object.
  • the position of the virtual object as a virtual object is defined in the vertical direction. Specifically, a pattern in which the position of the virtual object is on the stage and a pattern in which the position of the virtual object is in front of the eyes are defined.
  • the relationship between the position of the user and the position of the stage is defined in the horizontal direction. Specifically, a pattern in which the user's position is close to the stage and a pattern in which the user's position is far from the stage are defined.
  • pattern P1 When the position of the virtual object is on the stage and the position of the user is a pattern close to the stage (hereinafter, appropriately referred to as pattern P1), there is a reality that the timing of the image and the sound match. ..
  • pattern P2 When the position of the virtual object is in front of the user and the position of the user is a pattern close to the stage (hereinafter, appropriately referred to as pattern P2), the timing of the image and the sound are matched. There is reality. Based on the patterns P1 and P2, there is a reality that the timing of the image and the sound always match.
  • pattern P3 When the position of the virtual object is on the stage and the position of the user is a pattern far from the stage (hereinafter, appropriately referred to as pattern P3), there is a reality that the sound arrives later than the video. ..
  • pattern P4 When the position of the virtual object is in front of the user and the position of the user is a pattern far from the stage (hereinafter, appropriately referred to as pattern P4), the timing of the image and the sound are matched. There is reality. Based on the patterns P3 and P4, there is a reality that the display timing differs depending on the position of the virtual object.
  • FIG. 3 is a diagram schematically showing the above-mentioned four patterns (patterns P1, P2, P3, P4).
  • patterns P1, P2, P3, P4 the user close to the stage 2
  • the user far from the stage 2 is the user UA.
  • User UB the user far from the stage 2
  • FIG. 3 a virtual object C displayed on the smart display according to each pattern is shown.
  • FIG. 4A to 4D are diagrams for explaining the outline of the processing performed according to each pattern.
  • FIG. 4A shows the processing performed in the case of the pattern P1.
  • a process is performed in which the timing for causing the virtual object to execute a predetermined operation (hereinafter, appropriately referred to as an operation start timing) is brought close to the reproduction timing of the sound reproduced from the actual sound source.
  • FIG. 4B shows the processing performed in the case of the pattern P2.
  • a process is performed in which the operation start timing for causing the virtual object to execute a predetermined operation is brought closer to the reproduction timing of the sound reproduced from the actual sound source.
  • FIG. 4C shows the processing performed in the case of the pattern P3.
  • a process is performed in which the operation start timing for causing the virtual object to execute a predetermined operation is brought closer to the reproduction timing of the sound reproduced from the actual sound source.
  • FIG. 4D shows the processing performed in the case of the pattern P4.
  • a process is performed in which the operation start timing for causing the virtual object to execute a predetermined operation is delayed from the reproduction timing of the sound reproduced from the actual sound source.
  • FIG. 5 shows a specific example of the reproduction system 1.
  • the reproduction system 1 has a stage 2 and a speaker 3.
  • the position PO1 on the stage 2 indicates the position when the position of the virtual object is on the stage 2.
  • the position of the virtual object here is the position of the virtual object on the three-dimensional coordinates associated with the real space, and is the position obtained by performing the calculation described later.
  • the positions of the stage 2 and the speaker 3 are the same. Therefore, when the virtual object is at the position PO1 on the stage 2, the distance between the virtual object and the speaker 3 is set to 0.
  • the position PO2 in the reproduction system 1 indicates the position of the user UA located near the stage 2.
  • the position of the user UA is, for example, equivalent to the position of the smart display possessed or worn by the user UA.
  • the distance between the user UA and stage 2 is, for example, 10 m.
  • the user UA listens to the sound of the sound source reproduced from the speaker 3 with respect to the sound, and visually recognizes the virtual object through the glasses-shaped AR glass 11A which is an example of the smart display.
  • the position of the virtual object substantially coincides with the position PO2.
  • the position PO3 in the reproduction system 1 indicates the position of the user UB who is far from the stage 2.
  • the position of the user UB is, for example, equivalent to the position of the smart display possessed or worn by the user UB.
  • the distance between the user UB and the stage 2 is, for example, 200 m.
  • the user UB listens to the sound of the sound source reproduced from the speaker 3 with respect to the sound, and visually recognizes the virtual object through the glasses-shaped AR glass 11B which is an example of the smart display.
  • the position of the virtual object substantially coincides with the position PO3.
  • the distance between the speaker 3 and the position of the virtual object is D (m).
  • Equation 1 The operation start timing at which the virtual object performs the predetermined operation is set at the timing delayed from the predetermined timing. (However, the speed of sound is 340 m / sec.) Therefore, the farther the position of the speaker 3 in the real space and the position on the three-dimensional coordinates of the virtual object are, the more the operation start timing for causing the virtual object to perform a predetermined operation with respect to the reproduction timing in which the speaker 3 reproduces a predetermined sound. The delay amount of is set large. From the set operation start timing, an image of the virtual object performing a predetermined operation is drawn on the AR glass.
  • the delay amount from the sound being reproduced from the speaker 3 to the start of the predetermined operation of the virtual object is set as follows.
  • FIG. 6 is a timing chart when the user is a user UA who is close to the speaker 3 and the position of the virtual object C is on the stage 2.
  • Timings T1, T2, and T3 are defined in chronological order as an example of the timing of sound reproduced from the speaker 3 as an actual sound source.
  • the virtual object C performs a predetermined operation at timing T1.
  • the sound reproduced from the speaker 3 arrives at the user UA after (t + 30) msec.
  • the operation performed by the virtual object C is an example operation including the operations M1, M2, and M3. Further, in FIG. 6 and the like, the marks of the same note indicate the same sound.
  • Reference example 1 is an example in which the operation start timing is always adjusted to the reproduction timing of a predetermined sound.
  • Reference example 2 is an example in which the operation start timing is always adjusted to the timing when a predetermined sound arrives.
  • the virtual object C starts the operation M1 at the timing t when the sound is reproduced from the speaker 3, and then the operations M2 and M3 are performed. That is, the operation start timing is set to the timing t.
  • the deviation of 30 msec is a deviation that does not give a sense of discomfort to the user. According to this, the reality regarding sound delay has been realized.
  • the virtual object C starts the operation M1 at the timing (t + 30 msec) when the sound reproduced from the speaker 3 reaches the user UA, and then the operations M2 and M3 are performed. That is, the operation start timing is set to the timing (t + 30 msec). In this case, the timing at which the sound arrives coincides with the timing at which the operation starts. Since the user UA is located near the stage 2, according to Reference Example 2, the reality regarding the sound delay can be realized.
  • the delay amount of the operation start timing is set to 0. Therefore, as in Reference Example 1, the present proposal realizes the reality of sound delay.
  • FIG. 7 is a timing chart when the user is the user UB far from the speaker 3 and the position of the virtual object C is on the stage 2. In this case, the sound reproduced from the speaker 3 arrives at the user UB after (t + 600 msec).
  • the virtual object C starts the operation M1 at the timing t when the sound is reproduced from the speaker 3, and then performs the operations M2 and M3. That is, the operation start timing is set to the timing t. Further, the sound reproduced from the speaker 3 reaches the user UB after (t + 600 msec). According to Reference Example 1, the reality regarding sound delay has been realized.
  • the virtual object C starts the operation M1 at the timing (t + 600 msec) when the sound reproduced from the speaker 3 arrives, and then performs the operations M2 and M3.
  • the sound that is visually recognized should arrive later than the visually recognized image, but in Reference Example 2, the timing at which the sound arrives at the user UB and the operation start timing coincide with each other. ing. Therefore, according to Reference Example 2, the reality regarding sound delay has not been realized.
  • the delay amount is set to 0, that is, the operation start timing is set to the timing t. Further, the sound reproduced from the speaker 3 reaches the user UB after (t + 600 msec). Therefore, according to the present proposal, the reality regarding sound delay can be realized.
  • FIG. 8 is a timing chart when the user is a user UA who is close to the speaker 3 and the position of the virtual object C is in front of the user. Since the virtual object C is an object displayed on the smart display, the position can be freely changed in the content unlike the actual live performance. For example, the virtual object C can be displayed in such a manner that it flies from the stage 2 and comes in front of the user UA. In this case, as described above, since the virtual object C is in front of the eyes, the fact that the operation start timing and the timing at which the sound is heard by the user UA match is the reality regarding the delay of the sound. ..
  • the virtual object C starts the operation M11 at the timing t when the sound is reproduced from the speaker 3, and then performs the operations M12 and M13. That is, the operation start timing is set to the timing t. In this case, the timing at which the sound arrives and the timing at which the operation starts are substantially the same to the extent that a sense of discomfort does not occur (an error of 30 msec). Therefore, according to Reference Example 1, the reality regarding sound delay can be realized.
  • the virtual object C starts the operation M11 at the timing (t + 30 msec) when the sound reproduced from the speaker 3 reaches the user UA, and then the operations M12 and M13 are performed. That is, the operation start timing is set to the timing (t + 30 msec). In this case, the arrival timing of the sound and the operation start timing match. From the above, according to Reference Example 2, the reality regarding sound delay can be realized.
  • the operation start timing is set to (t + 30 msec). Therefore, as in Reference Example 2, according to the present proposal, the reality regarding sound delay can be realized.
  • FIG. 9 is a timing chart when the user is a user UB far from the speaker 3 and the position of the virtual object C is in front of the user.
  • the sound reproduced from the speaker 3 arrives at the user UB after (t + 600 msec).
  • the fact that the operation start timing and the timing at which the sound is heard by the user UB match is the reality regarding the delay of the sound.
  • the virtual object C starts the operation M11 at the timing t when the sound is reproduced from the speaker 3, and then performs the operations M12 and M13. That is, the operation start timing is set to the timing t.
  • the sound arrives at the user UB after (t + 600 msec), and the user UB recognizes the sound. Therefore, according to Reference Example 1, the reality regarding sound delay has not been realized.
  • the virtual object C starts the operation M11 at the timing (t + 600 msec) when the sound reproduced from the speaker 3 reaches the user UB, and then the operations M12 and M13 are performed. Since the timing at which the sound is heard by the user UB coincides with the operation start timing, according to Reference Ag Example 2, the reality regarding the delay of the sound can be realized.
  • the operation start timing is set to (t + 600 msec) as described above, the timing at which the sound is heard by the user UB coincides with the operation start timing. Therefore, as in Reference Example 2, in the present proposal, the reality regarding sound delay can be realized.
  • FIG. 10 shows a user UA in which the user is close to the speaker 3 and the position of the virtual object C is between the speaker 3 and the user UA (between the position of the speaker 3 and the position of the virtual object C). It is a timing chart (when the distance is 5 m). Since the position of the virtual object C can be substantially equated with the position on the stage 2, the fact that the timing at which the sound is heard and the operation timing are substantially the same means that there is a reality regarding the delay of the sound.
  • the timing t is the operation start timing. Therefore, the reality regarding sound delay has been realized.
  • the timing (t + 30 msec) is the operation start timing. As described above, since it is considered that the deviation of 30 msec has almost no effect on the auditory sense, the reality regarding the sound delay can be realized by Reference Example 2.
  • FIG. 11 shows a case where the user is a user UB far from the speaker 3 and the position of the virtual object C is between the speaker 3 and the user UA (between the position of the speaker 3 and the position of the virtual object C). It is a timing chart when the distance is 100 m and the distance between the virtual object C and the user UB is 100 m). In this case, since the distance between the virtual object C and the user UB is 100 m, the fact that the sound reaches the user UB 300 msec after the virtual object C is played has a reality regarding the delay of the sound. become.
  • the operation start timing is (t + 600 msec).
  • FIG. 12 is a table summarizing the results of the specific processing described above.
  • ⁇ indicates that the reality regarding sound delay can be realized.
  • a cross indicates that the reality regarding sound delay cannot be realized. In comparison with Reference Examples 1 and 2, according to the present proposal, the reality regarding sound delay can be realized in each case.
  • FIG. 13 is a diagram for explaining parameters required for setting the delay amount of the operation start timing and an example of calculation using the parameters.
  • Absolute coordinates of virtual object AC U + RC O
  • the amount of delay in the operation start timing is Distance (AC R, AC U + RC O) * ⁇ * 1000/340 (msec) ⁇ ( Equation 2) It can be expressed as.
  • FIG. 14 is a diagram showing a configuration example of a system (system 100) composed of a plurality of devices in one embodiment.
  • the system 100 includes, for example, a server 30, a smart display (for example, AR glasses 11A and 11B described above) 40, and a speaker (for example, the speaker 3 described above) 50.
  • Various data and commands can be exchanged between each device by communication.
  • the server 30 has, for example, a server control unit 301, a sound source position coordinate holding unit 302, a progress information holding unit 303, and a server communication unit 304.
  • the server control unit 301 comprehensively controls each unit of the server 30. Unless otherwise specified, the processing performed by the server 30 described later is performed according to the control of the server control unit 301.
  • the sound source position coordinate holding unit 302 is a memory that holds a position (absolute position) on three-dimensional coordinates associated with the real space of the speaker 50, which is an example of a real sound source.
  • the progress information holding unit 303 is a memory that holds progress information (for example, playback time) of the content.
  • the sound source position coordinate holding unit 302 and the progress information holding unit 303 may be the same memory or different memories.
  • the server communication unit 304 has a configuration for communicating with the smart display 40 and the speaker 50, and includes a modulation / demodulation circuit, an antenna, and the like corresponding to the communication standard.
  • the server communication unit 304 may be a communication unit corresponding to a network such as the Internet, a communication unit corresponding to short-range wireless communication such as LAN (Local Area Network), or a communication unit corresponding to both of them.
  • the smart display 40 includes a terminal control unit 401, a terminal communication unit 402, a sound source position information holding unit 403, a progress information holding unit 404, a self-position information acquisition unit 405, a content drawing unit 406, and a display 407. Have.
  • the terminal control unit 401 comprehensively controls the entire smart display 40.
  • the terminal control unit 401 is, for example, a virtual object position information holding unit 401A, a display timing holding unit 401B, a virtual object absolute position calculation unit 401C, a distance calculation unit 401D, a start time calculation unit 401E, and a start time comparison unit. It has a 401F and an animation control unit 401G.
  • the virtual object position information holding unit 401A holds the position information of the virtual object. Further, the display timing holding unit 401B holds the display timing set in the virtual object by default.
  • the position information and display timing of the virtual object are acquired, for example, when an application including video content is installed on the smart display 40.
  • the position information and display timing of the virtual object may be acquired by communication or the like.
  • the position information and display timing of the virtual object are specified in chronological order.
  • the position information of the virtual object is information defined by the position relative to the position of the smart display 40.
  • the display timing of the virtual object is a timing for displaying a video in which the virtual object performs a predetermined operation, and is defined according to the lapse of the playback time of the video content.
  • the position information of the virtual object is supplied from the virtual object position information holding unit 401A to the virtual object absolute position calculation unit 401C.
  • the display timing of the virtual object is supplied from the display timing holding unit 401B to the start time calculation unit 401E.
  • the virtual object absolute position calculation unit 401C calculates the absolute position of the virtual object based on the position information of the virtual object and the position information of the smart display 40 supplied from the self-position information acquisition unit 405.
  • the absolute position of a virtual object is a predetermined position on three-dimensional coordinates associated with real space.
  • the virtual object is displayed (drawn) at the position of the display 407 corresponding to the absolute position calculated by the virtual object absolute position calculation unit 401C.
  • the distance calculation unit 401D is based on the sound source position information which is the absolute position of the speaker 50 transmitted from the server 30 and the absolute position of the virtual object supplied from the virtual object absolute position calculation unit 401C, and the speaker 50 and the virtual object. Calculate the distance between and.
  • the start time calculation unit 401E calculates the start time for causing the virtual object to execute a predetermined operation, that is, the operation start timing. More specifically, in the start time calculation unit 401E, the farther the position of the speaker 50 in the real space and the position on the three-dimensional coordinates of the virtual object are, the more the speaker 50 determines the reproduction timing for reproducing the predetermined sound. Performs a delay amount setting process that increases the delay amount of the operation start timing that causes the virtual object to execute the operation of.
  • the operation start timing calculated by the start time calculation unit 401E is supplied to the start time comparison unit 401F.
  • the start time comparison unit 401F indicates the timing defined by the operation start timing in the progress information based on the progress information supplied from the progress information holding unit 404 and the operation start timing started from the start time calculation unit 401E. It is determined whether or not the time required (hereinafter, appropriately referred to as progress time) has been exceeded. When the operation start timing exceeds the progress time, the start time comparison unit 401F notifies the animation control unit 401G to that effect.
  • the animation control unit 401G generates an animation in which the virtual object performs a series of predetermined operations when the operation start timing exceeds the progress time.
  • the animation generated by the animation control unit 401G is supplied to the content drawing unit 406.
  • the terminal communication unit 402 communicates with an external device such as the server 30.
  • the smart display 40 acquires the sound source position information and the progress information supplied from the server 30 by the communication performed by the terminal communication unit 402.
  • the sound source position information acquired by the terminal communication unit 402 is held (stored) in the sound source position information holding unit 403, and the progress information is held in the progress information holding unit 404.
  • the sound source position information held by the sound source position information holding unit 403 is supplied to the distance calculation unit 401D. Further, the progress information held in the progress information holding unit 404 is supplied to the start time comparison unit 401F.
  • the self-position information acquisition unit 405 as the position information acquisition unit acquires the self-position information which is the current position of the smart display 40.
  • the self-position information may be directly input by the user, or is acquired by the user performing an operation of reading a QR code (registered trademark) indicating the position attached to the position (seat, etc.) in which the user is located. May be good.
  • the self-position information may be acquired via a position sensor such as GNSS (Global Navigation Satellite System), or the self-position can be determined by using SLAM (Simultaneous Localization and Mapping) or a feature map taken in advance. It may be obtained by being estimated.
  • the position of the user with the smart display 40 can change (variable). In this case, the self-position information also changes according to the change in the user position.
  • the content drawing unit 406 performs a process of drawing the animation supplied from the animation control unit 401G on the display 407. Specifically, a virtual object singing on the stage 2 and a virtual object flying around the venue are drawn on the display 407. As a result, the user visually recognizes the virtual object displayed on the display 407.
  • the display 407 is, for example, an optical see-through type display. The user recognizes the virtual object displayed on the display 407 while visually recognizing the real object such as the stage 2 through the display 407.
  • the speaker 50 includes a speaker communication unit 501, a sound source reproduction unit 502, and a speaker unit 503.
  • the speaker communication unit 501 communicates with the server 30 and the smart display 40.
  • the speaker communication unit 501 receives, for example, a sound reproduction command transmitted from the server 30 or the smart display 40.
  • the sound source reproduction unit 502 performs known audio signal processing for reproducing the sound source data.
  • the sound source data may be stored in an appropriate memory of the speaker 50, or may be acquired by communication via the speaker communication unit 501.
  • the sound source data processed by the sound source reproduction unit 502 is reproduced from the speaker unit 503.
  • Progress information may be managed by the smart display 40 instead of the server 30. Further, the smart display 40 may acquire the current progress information not from the server 30 but by using the marker recognition, the recognition by the camera using the feature amount map, and the fingerprint of the sound. Further, the sound source position information of the speaker 50 may be directly supplied from the speaker 50 to the smart display 40.
  • FIG. 16 is a flowchart showing the overall processing flow.
  • FIG. 17 is a flowchart showing the flow of the virtual object display timing control process in FIG.
  • FIG. 18 is a flowchart showing the flow of the operation start timing calculation process in FIG. In the following, it is assumed that the application for executing the process according to the present embodiment is installed in the smart display 40.
  • step ST11 the user position, in other words, the position of the smart display 40 possessed or worn by the user is acquired by the self-position information acquisition unit 405.
  • the user position may be input by a user operation or may be acquired by a sensor or the like. Then, the process proceeds to step ST12.
  • step ST12 the sound source position information of the speaker 50, which is an example of the actual sound source, is acquired from the server 30, and the acquired sound source position information is held in the sound source position information holding unit 403. Then, the process proceeds to step ST13.
  • step ST13 content playback is started.
  • the reproduction of the content is started by, for example, an instruction from the server 30 made in response to the content reproduction operation on the smart display 40.
  • the content reproduction command from the server 30 is supplied to the speaker 50, the sound source data is reproduced from the speaker unit 503.
  • the smart display 40 periodically acquires progress information from the server 30. Then, the process proceeds to step ST14.
  • step ST14 control related to the reproduction of the content is performed along with the reproduction of the content. Then, the process proceeds to step ST15.
  • step ST15 it is determined whether or not X seconds or more have passed since the previous acquisition of progress information. Such a determination is made, for example, by the terminal control unit 401.
  • the terminal control unit 401 determines, for example, whether or not X seconds have passed since the progress information held in the progress information holding unit 404 was updated to the progress information transmitted from the server 30.
  • the X seconds can be appropriately set, such as several seconds to 5 seconds. If X seconds have not passed since the previous acquisition of progress information, the process proceeds to step ST18. If X seconds have passed since the previous acquisition of progress information, the process proceeds to step ST16.
  • step ST16 the smart display 40 acquires progress information from the server 430. Then, the process proceeds to step ST17.
  • step ST17 the progress information is updated by holding the progress information acquired in the process related to step ST16 in the progress information holding unit 404. Then, the process proceeds to step ST18.
  • the user position can change.
  • the process related to step ST18 is performed, and the user position is updated by supplying a new user position from the self-position information acquisition unit 405 to the terminal control unit 401. Then, processing is performed based on the updated user position. Then, the process proceeds to step ST19.
  • step ST19 the virtual object display timing control process is performed. Details of the virtual object display timing control process will be described later.
  • the operation start timing of the virtual object can be obtained by the virtual object display timing control process. Then, the process proceeds to step ST20.
  • step ST20 a virtual object that performs a predetermined operation according to the passage of the operation start timing is drawn on the display 407.
  • the virtual object is always drawn on the display 407 during content reproduction, for example.
  • step ST31 the virtual object display timing control process is started in step ST31. Then, the process proceeds to step ST32.
  • step ST32 the operation start timing calculation process is performed. Operation start timing The operation start timing of the virtual object can be obtained by the calculation process. The details of the operation start timing calculation process will be described later. Then, the process proceeds to step ST33.
  • step ST33 the start time comparison unit 401F determines whether or not the operation start timing exceeds the progress time by comparing the operation start timing obtained in step ST32 with the progress time. If the operation start timing does not exceed the progress time, the process proceeds to step ST35. If the operation start timing exceeds the progress time, the process proceeds to step ST34.
  • step ST34 the animation of the predetermined operation of the target virtual object is started. Such processing is performed by the animation control unit 401G. Then, the process proceeds to step ST35.
  • step ST35 the terminal control unit 401 determines whether or not all the timing control of the operation having the operation start timing after the progress time is completed. If all the timing control of the operation is not completed, the process returns to step ST32. When all the timing control of the operation is completed, the process proceeds to step ST36.
  • step ST36 the virtual object display timing control process is completed. Subsequently, the process related to step ST20 shown in FIG. 16 is performed, and the image of the virtual object that performs a predetermined operation generated by the animation control unit 401G is displayed on the display 407.
  • step ST41 the start time for the virtual object to perform a predetermined operation is set t seconds (unit: millisecond) after the start of playback.
  • t seconds unit: millisecond
  • the value of t is specified by the installed application. Then, the process proceeds to step ST42.
  • step ST42 the position of the virtual object is converted to an absolute position, which is a position on the three-dimensional coordinates associated with the real space, based on the user position. That is, the relative position of the virtual object defined by the application with respect to the smart display 40 is converted into an absolute position based on the position of the smart display 40 supplied from the self-position information acquisition unit 405. Then, the process proceeds to step ST43.
  • step ST43 the distance D between the absolute position of the virtual object calculated in step ST42 and the position indicated by the sound source position information of the speaker 50 is calculated by the distance calculation unit 401D. Then, the process proceeds to step ST44.
  • step ST44 the start time calculation unit 401E performs a delay amount setting process for calculating the delay amount based on the above-mentioned (Equation 2). As described above, in the delay amount setting process, the delay amount is set so as to increase as the distance D increases. Then, the process proceeds to step ST45.
  • step ST45 the operation start timing is determined by adding the delay amount to the predetermined t. Then, the processing after step ST33 shown in FIG. 17 is performed.
  • Predetermined synchronization information may be set for the content to be played.
  • the synchronization information is, for example, a flag indicating whether it is synchronous or asynchronous. For example, in the case of "synchronous”, a logical value "1" is set as synchronization information, and in the case of "asynchronous", a logical value "0" is set as synchronization information. Of course, the logical values may be opposite.
  • the synchronization information is information that can be set for each operation of the virtual object in one content or for each virtual object. For example, there are scenes such as a countdown where you want to show the same video to multiple users at the same timing. In such a case, "1" is set as the synchronization information.
  • the processing shown by the patterns P11 and P12 shown in FIG. 19 is a processing when "0", that is, "asynchronous” is set as the synchronization information.
  • the operation start timing of the virtual object is set based on the delay amount setting process as in the above-described embodiment.
  • the process shown by the pattern P13 shown in FIG. 19 is a process when "1", that is, "synchronization” is set as the synchronization information.
  • the display delay does not occur regardless of the distance between the stage and the virtual object, in other words, the operation start timing of the virtual object is the same for each user.
  • the synchronization process set at a predetermined timing is performed.
  • Such synchronization processing is performed, for example, under the control of the terminal control unit 401.
  • By performing the synchronization processing it is possible to draw a video of a predetermined scene for a plurality of users at the same timing.
  • This timing is common to a predetermined smart display (for example, a smart display owned by the user UA) and another smart display (for example, a smart display owned by the user UB) operating in the same application.
  • the information corresponding to the synchronization process may be drawn on the display 407.
  • countdown characters may be drawn on the display 407 as information corresponding to the synchronization process.
  • Predetermined shared information may be set for the content to be played.
  • the shared information is, for example, a flag indicating whether it is shared or non-shared. For example, in the case of "shared”, a logical value "1" is set as shared information, and in the case of "non-shared", a logical value "0" is set as shared information. Of course, the logical values may be opposite.
  • the shared information is information that can be set for each operation of the virtual object in one content or for each virtual object.
  • the predetermined operation of the virtual object and its position are shared among users who have a smart display operating in the same application.
  • the predetermined operation of the virtual object is shared among the users, but the position of the virtual object is different for each user.
  • a specific example of the latter is, for example, a case where the operation of flying a virtual object is shared among users, and the position is, for example, in front of the user UA and closer to the stage 2 for the user UB.
  • FIG. 20 While referring to FIG. 20, a specific example when "1" is set as shared information will be explained.
  • the virtual object moves to the position PO8 (position 150 m from the stage 2) between the user UA and the user UB, the back side of the virtual object can be seen on the smart display of the user UA.
  • An image is drawn, and an image is drawn on the smart display of the user UB so that the front of the virtual object can be seen. That is, when "sharing" is set as the predetermined shared information, the virtual object is drawn in a manner corresponding to the positional relationship between the position of the smart display and the position on the three-dimensional coordinates of the virtual object. Further, when non-sharing is set as predetermined shared information, virtual objects are displayed in a mode corresponding to each information processing device.
  • Sync information and shared information are set when the content is created. It is also possible to set both synchronization information and shared information. The synchronization information and the shared information may be changeable after the content is produced.
  • the user Apart from the realistic sound that can be heard from the actual sound source, it is also possible for the user to wear open earphones and listen to the sound source played from the smart display at the same time. By localizing the sound source at the position of the virtual object and playing it with 3D sound, it is possible to provide the user with an experience of hearing from a position different from the actual sound source.
  • the actual sound source may be one that picks up the sound of the concert venue with a microphone and reproduces it. In this embodiment, it can be applied not only to live performances but also to parades and the like updated by virtual objects.
  • the present disclosure may also adopt the following configuration.
  • a control unit that displays a virtual object on three-dimensional coordinates associated with the real space and causes the virtual object to perform a predetermined operation according to a predetermined sound reproduced from a real sound source arranged in the real space. Prepare, In the control unit, the farther the position of the real sound source in the real space is from the position of the virtual object on the three-dimensional coordinates, the more the predetermined sound source reproduces the predetermined sound.
  • An information processing device that performs delay amount setting processing that increases the delay amount of the operation start timing that causes the virtual object to execute the operation.
  • the information processing device according to any one of (2) to (5), which has a position information acquisition unit for acquiring the position of the information processing device.
  • the information processing apparatus according to any one of (1) to (6), wherein the control unit performs synchronous processing with the operation start timing as a predetermined timing regardless of the delay amount.
  • the control unit determines the operation start timing based on the synchronization process when synchronization is set as predetermined synchronization information, and the delay amount setting process when asynchronous is set as predetermined synchronization information.
  • the information processing apparatus according to (7), wherein the operation start timing is determined based on the above.
  • the information processing device according to (8), wherein the synchronization information is set for each virtual object.
  • the information processing device according to (7) or (8), wherein the predetermined timing is a timing common to other information processing devices operating in the same application.
  • the control unit displays information corresponding to the synchronization processing when the synchronization processing is performed.
  • the control unit makes the virtual object correspond to the positional relationship between the position of the information processing device and the position of the virtual object on the three-dimensional coordinates.
  • the information processing according to any one of (1) to (12), which is displayed in the above and is displayed so as to correspond to each information processing device when non-sharing is set as predetermined shared information. apparatus.
  • the information processing device according to (12), wherein the shared information is set for each virtual object.
  • the information processing device according to any one of (1) to (13), wherein the control unit performs the delay amount setting process for each of a plurality of displayed virtual objects.
  • the information processing device according to any one of (1) to (14), wherein the virtual object is displayed and configured as a portable wearable display.
  • the delay amount setting process is performed by each of a plurality of information processing devices operating in the same application.
  • the control unit displays the virtual object on the three-dimensional coordinates associated with the real space, and executes a predetermined operation on the virtual object according to a predetermined sound reproduced from the real sound source arranged in the real space.
  • the control unit displays the virtual object on the three-dimensional coordinates associated with the real space, and executes a predetermined operation on the virtual object according to a predetermined sound reproduced from the real sound source arranged in the real space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、実空間に配置された実音源から再生される所定の音に応じて、仮想オブジェクトに所定の動作を実行させる制御部を備え、制御部は、実空間における実音源の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、実音源が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う情報処理装置である。 図４

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　従来からコンテンツの再生タイミングを制御する提案がなされている（例えば、下記の特許文献１、２を参照のこと）。
特開２０１８－１８３４８３号公報 特開２０１５－０７３１８２号公報
　ところで、ライブ会場では、通常、ステージまでの距離が長いほどステージ上で発せられた音が遅れてユーザに到達する。近年では、ステージ上でスピーカから音が再生されつつ、当該ステージ上で、実際の歌手ではなく仮想的な歌手が歌ったり踊ったりする映像が再生されるライブ形態も提案されている。かかるライブ形態においてもスピーカから再生された音の遅れに関するリアリティが要求されるが、上述した特許文献に記載の技術では音の遅れに関するリアリティを適切に再現することが困難であった。
　本開示は、実音源から再生された音の遅れに関するリアリティを適切に再現することができる情報処理装置、情報処理方法およびプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、実空間に配置された実音源から再生される所定の音に応じて、仮想オブジェクトに所定の動作を実行させる制御部を備え、
　制御部は、実空間における実音源の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、実音源が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
　情報処理装置である。
　本開示は、例えば、
　制御部は、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、実空間に配置された実音源から再生される所定の音に応じて、仮想オブジェクトに所定の動作を実行させ、
　制御部は、実空間における実音源の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、実音源が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
　情報処理方法である。
　本開示は、例えば、
　制御部は、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、実空間に配置された実音源から再生される所定の音に応じて、仮想オブジェクトに所定の動作を実行させ、
　制御部は、実空間における実音源の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、実音源が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
　情報処理方法をコンピュータに実行させるプログラムである。
図１は、一実施形態にかかる再生システムを説明するための図である。 図２は、一実施形態で考慮すべき問題についての説明がなされる際に参照される図である。 図３は、一実施形態の概要を説明するための図である。 図４Ａ～図４Ｄは、一実施形態の概要を説明するための図である。 図５は、再生システムの具体例を説明するための図である。 図６は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。 図７は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。 図８は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。 図９は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。 図１０は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。 図１１は、一実施形態にかかる再生システムで行われる処理の具体例を説明するための図である。 図１２は、一実施形態にかかる再生システムで行われる処理で、音の遅延に関するリアリティを実現できることを示した表である。 図１３は、一実施形態において動作開始タイミングの遅延量を求める演算式の一例が説明される際に参照される図である。 図１４は、一実施形態において複数の装置により構成されるシステムの構成例を示す図である。 図１５は、一実施形態にかかるサーバ、スマートディスプレイおよびスピーカのそれぞれの構成例を説明するための図である。 図１６は、一実施形態で行われる処理の流れが説明される際に参照されるフローチャートである。 図１７は、一実施形態で行われる処理の流れが説明される際に参照されるフローチャートである。 図１８は、一実施形態で行われる処理の流れが説明される際に参照されるフローチャートである。 図１９は、変形例が説明される際に参照される図である。 図２０は、変形例が説明される際に参照される図である。
　以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜一実施形態＞
＜変形例＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
＜一実施形態＞
［実施形態で行われる処理］
　始めに、本実施形態で行われる処理についての説明がなされる。本実施形態では、ライブ会場のような比較的、大規模な再生システムが想定される。
（再生システムの概要）
　図１は、本実施形態にかかる再生システム（再生システム１）を模式的に示した図である。再生システム１は、例えば、ステージ２を備えており、当該ステージ２上若しくはステージ２の周囲に実音源の一例であるスピーカ３が配置されている。実際の音（音楽や効果音、アナウンス音等）がスピーカ３から再生される。図１では、ステージ２の左右のそれぞれにスピーカ３が配置されている例が示されているが、スピーカ３の個数や配置態様は適宜、変更することができる。
　ステージ２に対しては、観客であるユーザが対向するように存在する。ユーザは、スピーカ３から再生される音を聴きつつ、歌手やダンサーを模した仮想オブジェクトが表示された映像を視る。仮想オブジェクトは、人工的に創造された歌手等の仮想的な仮想オブジェクトではなく実在する人物でもよく、映像は、かかる実在する人物が表示される映像でもよい。映像は、ユーザが携帯や装着するスマートディスプレイに表示される。スマートディスプレイは、現実空間に仮想的な情報を描画可能なものであり、具体的には、ユーザが所有するスマートホンのディスプレイや、眼鏡型のディスプレイ（ＡＲ(Augmented Reality)グラス等とも称される）、ＨＵＤ(Head Up Display)等を例示することができる。各ユーザは、例えば、スマートディスプレイを有する機器に同一のアプリケーションをインストールして再生することにより、同一の映像コンテンツを視ることができる。このように、本実施形態にかかる再生システム１は、実在のステージと仮想オブジェクトとを融合したライブ再生が行われるシステムである。
（考慮すべき問題）
　続いて、上述した再生システム１において考慮すべき問題についての説明がなされる。スマートディスプレイ上で映像を表示しつつ、実音源から再生された音源が到達するまでの遅延に関するリアリティを再現しようとする場合には、ユーザのステージ２までの距離や、仮想オブジェクトの位置に応じて、仮想オブジェクトが所定の動作（モーション）を行う適切なタイミングが異なる。
　図２は、ユーザ位置と仮想オブジェクトの位置とに対応するリアリティの一例を説明するための図である。図２に示す表では、縦方向に、仮想オブジェクトとしての仮想オブジェクトの位置が規定されている。具体的には、仮想オブジェクトの位置がステージ上であるパターンと、仮想オブジェクトの位置が目の前であるパターンとが規定されている。また、図２に示す表では、横方向に、ユーザの位置とステージの位置との関係が規定されている。具体的には、ユーザの位置がステージに近いパターンと、ユーザの位置がステージから遠いパターンとが規定されている。
　仮想オブジェクトの位置がステージ上であり、且つ、ユーザの位置がステージに近いパターン（以下、パターンＰ１と適宜、称される）の場合は、映像と音のタイミングがあっていることにリアリティがある。仮想オブジェクトの位置がユーザの目の前であり、且つ、ユーザの位置がステージに近いパターン（以下、パターンＰ２と適宜、称される）の場合は、映像と音のタイミングがあっていることにリアリティがある。パターンＰ１、Ｐ２を踏まえると、映像と音のタイミングが常に合うことにリアリティがある。
　仮想オブジェクトの位置がステージ上であり、且つ、ユーザの位置がステージから遠いパターン（以下、パターンＰ３と適宜、称される）の場合は、映像より音が遅延して到達することにリアリティがある。仮想オブジェクトの位置がユーザの目の前であり、且つ、ユーザの位置がステージから遠いパターン（以下、パターンＰ４と適宜、称される）の場合は、映像と音のタイミングがあっていることにリアリティがある。パターンＰ３、Ｐ４を踏まえると、仮想オブジェクトの位置によって表示タイミングが異なることにリアリティがある。
　また、パターンＰ１、Ｐ３を踏まえると、ユーザのステージからの距離によらず、仮想オブジェクトの表示タイミングが同じことにリアリティがある。また、パターンＰ２、Ｐ４を踏まえると、ユーザのステージからの距離によって、仮想オブジェクトの表示タイミングが異なることにリアリティがある。上述した特許文献に記載の技術では、これらのリアリティを再現することができないという問題がある。
（一実施形態の概要）
　続いて、図３および図４が参照されつつ、本実施形態の概要についての説明がなされる。図３は、上述した４つのパターン（パターンＰ１、Ｐ２、Ｐ３、Ｐ４）を模式的に示した図である、図３中、ステージ２に近いユーザがユーザＵＡであり、ステージ２から遠いユーザがユーザＵＢである。また、図３では、各パターンに応じてスマートディスプレイに表示される仮想オブジェクトＣが示されている。
　図４Ａ～図４Ｄは、各パターンに応じて行われる処理の概要を説明するための図である。図４Ａは、パターンＰ１の場合に行われる処理を示す。パターンＰ１の場合には、仮想オブジェクトに所定の動作を実行させるタイミング（以下、動作開始タイミングと適宜、称される）を実音源から再生される音の再生タイミングに近づける処理が行われる。
　図４Ｂは、パターンＰ２の場合に行われる処理を示す。パターンＰ２の場合には、仮想オブジェクトに所定の動作を実行させる動作開始タイミングを実音源から再生される音の再生タイミングに近づける処理が行われる。
　図４Ｃは、パターンＰ３の場合に行われる処理を示す。パターンＰ２の場合には、仮想オブジェクトに所定の動作を実行させる動作開始タイミングを実音源から再生される音の再生タイミングに近づける処理が行われる。
　図４Ｄは、パターンＰ４の場合に行われる処理を示す。パターンＰ４の場合には、仮想オブジェクトに所定の動作を実行させる動作開始タイミングを実音源から再生される音の再生タイミングから遅らす処理が行われる。
（処理の具体例）
　以上説明した処理の概要について、具体例を挙げた説明がなされる。図５は、再生システム１の具体例を示している。上述したように、再生システム１は、ステージ２およびスピーカ３を有している。ステージ２上の位置ＰＯ１は、仮想オブジェクトの位置がステージ２上である場合の位置を示している。ここでの仮想オブジェクトの位置とは、実空間に関連づけられた三次元座標上における仮想オブジェクトの位置であり、後述する演算がなされることにより得られる位置である。なお、本例では、ステージ２とスピーカ３との位置を同一位置としている。したがって、仮想オブジェクトがステージ２上の位置ＰＯ１となる場合には、仮想オブジェクトとスピーカ３との距離は０に設定される。
　再生システム１における位置ＰＯ２は、ステージ２に対して近い箇所に居るユーザＵＡの位置を示している。ユーザＵＡの位置は、例えば、ユーザＵＡが所持や装着するスマートディスプレイの位置と等価である。ユーザＵＡおよびステージ２間の距離は、例えば、１０ｍである。ユーザＵＡは、音に関しては、スピーカ３から再生される音源の音を聴き、仮想オブジェクトに関してはスマートディスプレイの一例である眼鏡型のＡＲグラス１１Ａを介して視認する。なお、仮想オブジェクトがユーザＵＡの目の前にくる、すなわち、目の前にくるような態様でＡＲグラス１１Ａに表示される場合は、仮想オブジェクトの位置が位置ＰＯ２と略一致する。
　また、再生システム１における位置ＰＯ３は、ステージ２に対して遠い箇所に居るユーザＵＢの位置を示している。ユーザＵＢの位置は、例えば、ユーザＵＢが所持や装着するスマートディスプレイの位置と等価である。ユーザＵＢおよびステージ２間の距離は、例えば、２００ｍである。ユーザＵＢは、音に関しては、スピーカ３から再生される音源の音を聴き、仮想オブジェクトに関してはスマートディスプレイの一例である眼鏡型のＡＲグラス１１Ｂを介して視認する。なお、仮想オブジェクトがユーザＵＢの目の前にくる、すなわち、目の前にくるような態様でＡＲグラス１１Ｂに表示される場合は、仮想オブジェクトの位置が位置ＰＯ３と略一致する。
　上述した実空間における再生システム１において、スピーカ３と仮想オブジェクトの位置との間の距離をＤ（ｍ）とする。この場合、スピーカ３から所定の動作に対応する音が再生されてから、
Ｄ＊１０００／３４０（ｍｓｅｃ）・・・（式１）
だけ所定のタイミングから遅延されたタイミングに、仮想オブジェクトが当該所定の動作を行う動作開始タイミングが設定される。
（但し、音速を３４０ｍ／ｓｅｃとしている。）
したがって、実空間におけるスピーカ３の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、スピーカ３が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量が大きく設定される。設定された動作開始タイミングから、仮想オブジェクトが所定の動作を行う映像がＡＲグラスに描画される。
　スピーカ３から音が再生されてから仮想オブジェクトが所定の動作を開始するまでの遅延量は、具体的には以下のように設定される。
（１）ユーザＵＡの場合
　スピーカ３から再生された音がユーザＵＡに到達するまでの時間：約３０ｍｓｅｃ
　仮想オブジェクトがステージ２上にいる場合の遅延量：０ｍｓｅｃ
（スピーカ３と仮想オブジェクトとの間の距離が０ｍであり、（式１）におけるＤ＝０であるため）
　仮想オブジェクトがユーザＵＡの目の前にいる場合の動作開始タイミングの遅延量：約３０ｍｓｅｃ
（スピーカ３と仮想オブジェクトとの間の距離が１０ｍであり、（式１）におけるＤ＝１０であるため）
（２）ユーザＵＢの場合
　スピーカ３から再生された音がユーザＵＢに到達するまでの時間：約６００ｍｓｅｃ
　仮想オブジェクトがステージ２上にいる場合の遅延量：０ｍｓｅｃ
（スピーカ３と仮想オブジェクトとの間の距離が０ｍであり、（式１）におけるＤ＝０であるため）
　仮想オブジェクトがユーザＵＢの目の前にいる場合の動作開始タイミングの遅延量：約６００ｍｓｅｃ
（スピーカ３と仮想オブジェクトとの間の距離が２００ｍであり、（式１）におけるＤ＝２００であるため）
　以上を踏まえつつ、動作開始タイミング等に関する具体的な説明がなされる。
　図６は、ユーザがスピーカ３に近い位置に居るユーザＵＡであり、仮想オブジェクトＣの位置がステージ２上である場合のタイミングチャートである。実音源としてのスピーカ３から再生される音のタイミングの一例として、時系列順にタイミングＴ１、Ｔ２、Ｔ３が規定されている。音の遅延等を考慮しない場合には、タイミングＴ１で仮想オブジェクトＣは所定の動作を行う。所定の動作を行わせる音のタイミングをタイミングｔ（本例ではｔ＝Ｔ１）とした場合に、スピーカ３から再生された音はユーザＵＡに対して（ｔ＋３０）ｍｓｅｃ後に到達する。なお、仮想オブジェクトＣが行う動作は、動作Ｍ１、Ｍ２、Ｍ３を含む一例の動作である。また、図６等において、同じ音符のマークは同じ音を示している。
　本実施形態にて行われる処理（以下、本提案とも称される）の理解を容易とするために、本提案と併せて、参考例１、２についての説明もなされる。参考例１は、所定の音の再生タイミングに動作開始タイミングを常に合わせる例である。参考例２は、所定の音が到達するタイミングに動作開始タイミングを常に合わせる例である。
　図６に示すように、参考例１では、スピーカ３から音が再生されるタイミングｔで、仮想オブジェクトＣが動作Ｍ１を開始し、続いて、動作Ｍ２、Ｍ３を行う。すなわち、動作開始タイミングがタイミングｔに設定される。この場合、音が到達するタイミングと動作開始タイミングとの間に３０ｍｓｅｃのずれがあるものの、３０ｍｓｅｃのずれはユーザに対して聴感上、違和感を与えない程度のずれであることから、参考例１によれば、音の遅延に関するリアリティが実現できていることになる。
　また、参考例２では、スピーカ３から再生された音がユーザＵＡに到達するタイミング（ｔ＋３０ｍｓｅｃ）で、仮想オブジェクトＣが動作Ｍ１を開始し、続いて、動作Ｍ２、Ｍ３を行う。すなわち、動作開始タイミングがタイミング（ｔ＋３０ｍｓｅｃ）に設定される。この場合、音が到達するタイミングと動作開始タイミングとが一致している。ユーザＵＡは、ステージ２に近い位置に居ることから、参考例２によれば、音の遅延に関するリアリティが実現できていることになる。
　また、本提案では、上述したように、動作開始タイミングの遅延量が０に設定される。したがって、参考例１と同様に、本提案は、音の遅延に関するリアリティが実現できていることになる。
　図７は、ユーザがスピーカ３から遠い位置に居るユーザＵＢであり、仮想オブジェクトＣの位置がステージ２上である場合のタイミングチャートである。この場合、ユーザＵＢに対しては、スピーカ３から再生された音が（ｔ＋６００ｍｓｅｃ）後に到達する。
　参考例１では、スピーカ３から音が再生されるタイミングｔで、仮想オブジェクトＣが動作Ｍ１を開始し、続いて、動作Ｍ２、Ｍ３を行う。すなわち、動作開始タイミングがタイミングｔに設定される。また、スピーカ３から再生された音は（ｔ＋６００ｍｓｅｃ）後にユーザＵＢに到達する。参考例１によれば、音の遅延に関するリアリティが実現できていることになる。
　参考例２では、スピーカ３から再生された音が到達するタイミング（ｔ＋６００ｍｓｅｃ）で、仮想オブジェクトＣが動作Ｍ１を開始し、続いて、動作Ｍ２、Ｍ３を行う。本来、視覚的に認識される映像に対して聴覚的に認識される音が遅れて到達すべきところ、参考例２では、ユーザＵＢに音が到達するタイミングと動作開始タイミングとが一致してしまっている。したがって、参考例２によれば、音の遅延に関するリアリティが実現できていないことになる。
　本提案によれば、仮想オブジェクトがステージ２上にいることから遅延量が０、すなわち、動作開始タイミングがタイミングｔに設定される。また、スピーカ３から再生された音は（ｔ＋６００ｍｓｅｃ）後にユーザＵＢに到達する。よって、本提案によれば、音の遅延に関するリアリティが実現できていることになる。
　図８は、ユーザがスピーカ３に近い位置に居るユーザＵＡであり、仮想オブジェクトＣの位置がユーザの目の前である場合のタイミングチャートである。仮想オブジェクトＣは、スマートディスプレイに表示されるオブジェクトであることから、実際のライブとは異なりコンテンツ中で自由に位置を変更することができる。例えば、ステージ２から飛ぶようにしてユーザＵＡの目の前にくる態様で仮想オブジェクトＣが表示され得る。この場合は、上述したように、仮想オブジェクトＣが目の前に居ることから、動作開始タイミングと音がユーザＵＡに聞こえるタイミングとが合っていることが、音の遅延に関するリアリティがあることになる。
　参考例１では、スピーカ３から音が再生されるタイミングｔで、仮想オブジェクトＣが動作Ｍ１１を開始し、続いて、動作Ｍ１２、Ｍ１３を行う。すなわち、動作開始タイミングがタイミングｔに設定される。この場合、音が到達するタイミングと動作開始タイミングとが聴感上、違和感が生じない程度（３０ｍｓｅｃの誤差）に略一致している。したがって、参考例１によれば、音の遅延に関するリアリティが実現できていることになる。
　また、参考例２では、スピーカ３から再生された音がユーザＵＡに到達するタイミング（ｔ＋３０ｍｓｅｃ）で、仮想オブジェクトＣが動作Ｍ１１を開始し、続いて、動作Ｍ１２、Ｍ１３を行う。すなわち、動作開始タイミングがタイミング（ｔ＋３０ｍｓｅｃ）に設定される。この場合、音の到達タイミングと動作開始タイミングとが一致している。以上から、参考例２によれば、音の遅延に関するリアリティが実現できていることになる。
　また、本提案では、上述したように、動作開始タイミングが（ｔ＋３０ｍｓｅｃ）に設定される。したがって、参考例２と同様に、本提案によれば、音の遅延に関するリアリティが実現できていることになる。
　図９は、ユーザがスピーカ３から遠い位置に居るユーザＵＢであり、仮想オブジェクトＣの位置がユーザの目の前である場合のタイミングチャートである。この場合、ユーザＵＢに対しては、スピーカ３から再生された音が（ｔ＋６００ｍｓｅｃ）後に到達する。上述したように、仮想オブジェクトＣが目の前に居ることから、動作開始タイミングと音がユーザＵＢに聞こえるタイミングとが合っていることが、音の遅延に関するリアリティがあることになる。
　参考例１では、スピーカ３から音が再生されるタイミングｔで、仮想オブジェクトＣが動作Ｍ１１を開始し、続いて、動作Ｍ１２、Ｍ１３を行う。すなわち、動作開始タイミングがタイミングｔに設定される。一方で、ユーザＵＢには、（ｔ＋６００ｍｓｅｃ）後に音が到達し、ユーザＵＢは音を認識する。したがって、参考例１によれば、音の遅延に関するリアリティが実現できていないことになる。
　また、参考例２では、スピーカ３から再生された音がユーザＵＢに到達するタイミング（ｔ＋６００ｍｓｅｃ）で、仮想オブジェクトＣが動作Ｍ１１を開始し、続いて、動作Ｍ１２、Ｍ１３を行う。音がユーザＵＢに聞こえるタイミングと動作開始タイミングとが一致していることから、参考あｇ例２によれば、音の遅延に関するリアリティが実現できていることになる。
　また、本提案では、上述したように、動作開始タイミングが（ｔ＋６００ｍｓｅｃ）に設定されることから、音がユーザＵＢに聞こえるタイミングと動作開始タイミングとが一致する。したがって、参考例２と同様に、本提案では、音の遅延に関するリアリティが実現できていることになる。
　図１０は、ユーザがスピーカ３に近い位置に居るユーザＵＡであり、仮想オブジェクトＣの位置がスピーカ３とユーザＵＡとの中間に居る場合（スピーカ３の位置と仮想オブジェクトＣの位置との間の距離が５ｍの場合）のタイミングチャートである。仮想オブジェクトＣの位置は、ステージ２上の位置と略同視できることから、音が聞こえるタイミングと動作タイミングとが略同じであることが、音の遅延に関するリアリティがあることになる。
　参考例１では、タイミングｔが動作開始タイミングとなる。したがって、音の遅延に関するリアリティが実現できていることになる。参考例２によれば、タイミング（ｔ＋３０ｍｓｅｃ）が動作開始タイミングとなる。上述したように、３０ｍｓｅｃのずれは聴感上、略影響しないと考えられることから、参考例２によっても音の遅延に関するリアリティが実現できていることになる。
　本提案では、（式１）におけるＤ＝５を代入することにより、設定される遅延量が１５ｍｓｅｃとなる。タイミング（ｔ＋１５ｍｓｅｃ）が動作開始タイミングとなる。１５ｍｓｅｃのずれは聴感上、略影響しないと考えられることから、本提案によっても音の遅延に関するリアリティが実現できていることになる。動作開始タイミングなると、仮想オブジェクトＣが一連の動作Ｍ２１、２２、２３を行う映像がＡＲグラス１１Ａに描画される。
　図１１は、ユーザがスピーカ３から遠い位置に居るユーザＵＢであり、仮想オブジェクトＣの位置がスピーカ３とユーザＵＡとの中間に居る場合（スピーカ３の位置と仮想オブジェクトＣの位置との間の距離が１００ｍの場合であり、且つ、仮想オブジェクトＣとユーザＵＢとの間の距離が１００ｍの場合）のタイミングチャートである。この場合、仮想オブジェクトＣとユーザＵＢとの間の距離が１００ｍであることから、仮想オブジェクトＣが再生されてから、３００ｍｓｅｃ後にユーザＵＢに音が到達することが、音の遅延に関するリアリティがあることになる。
　参考例１では、動作開始タイミングがｔとなる。そして、ｔから６００ｍｓｅｃ後にユーザＵＢに、スピーカ３から再生された音が到達する。したがって、参考例１では、音の遅延に関するリアリティがないことになる。
　参考例２では、動作開始タイミングが（ｔ＋６００ｍｓｅｃ）となる。動作開始タイミングとユーザＵＢに音が到達するタイミングとが一致する。したがって、参考例２では、音の遅延に関するリアリティがないことになる。
　本提案では、（式１）におけるＤ＝１００を代入することにより、設定される遅延量が３００ｍｓｅｃとなる。タイミング（ｔ＋３００ｍｓｅｃ）が動作開始タイミングとなる。そして、タイミング（ｔ＋３００ｍｓｅｃ）から３００ｍｓｅｃ後にユーザＵＢに音が到達する。したがって、本提案では、音の遅延に関するリアリティがあることになる。動作開始タイミングなると、仮想オブジェクトＣが一連の動作Ｍ２１、２２、２３を行う映像がＡＲグラス１１Ｂに描画される。
　図１２は、以上説明した具体的な処理の結果をまとめた表である。表中、○印は、音の遅延に関するリアリティを実現できることを示している。また、表中、×印は、音の遅延に関するリアリティを実現できないことを示している。参考例１、２と対比すると、本提案によれば、何れの場合も音の遅延に関するリアリティを実現できている。
　図１３は、動作開始タイミングの遅延量を設定する際に必要なパラメータ、および、パラメータを使用した演算の一例を説明するための図である。
　実音源（スピーカ３）の実空間に関連づけられた三次元座標上の位置（絶対座標）：ＡＣR
ユーザの実空間に関連づけられた三次元座標上の位置（絶対座標）：ＡＣU
　仮想オブジェクトのユーザの位置からの相対座標：ＲＣO
　座標間距離と実測距離（ｍ）の変換係数：α
とした場合、図１３に示すように、
　仮想オブジェクトの絶対座標：ＡＣU＋ＲＣO
　実音源（スピーカ３）と仮想オブジェクトとの距離：Ｄｉｓｔａｎｃｅ（ＡＣR，ＡＣU＋ＲＣO）＊α（ｍ）
と表すことができる。そして、動作開始タイミングの遅延量は、
Ｄｉｓｔａｎｃｅ（ＡＣR，ＡＣU＋ＲＣO）＊α＊１０００／３４０（ｍｓｅｃ）・・・（式２）
と表すことができる。
（システムの構成例）
　図１４は、一実施形態において複数の装置により構成されるシステム（システム１００）の構成例を示す図である。システム１００は、例えば、サーバ３０と、スマートディスプレイ（例えば、上述したＡＲグラス１１Ａ、１１Ｂ）４０と、スピーカ（例えば、上述したスピーカ３）５０とを有している。各装置間では、通信により各種のデータやコマンドのやりとりが可能とされている。
（各装置の構成例）
「サーバの構成例」
　図１５が参照されつつ、本実施形態にかかるサーバ３０、情報処理装置の一例であるスマートディスプレイ４０およびスピーカ５０のそれぞれの構成例に関する説明がなされる。
　サーバ３０は、例えば、サーバ制御部３０１と、音源位置座標保持部３０２と、進捗情報保持部３０３と、サーバ通信部３０４とを有している。サーバ制御部３０１は、サーバ３０の各部を統括的に制御する。後述するサーバ３０で行われる処理は、特に断らない限り、サーバ制御部３０１の制御に応じて行われる。
　音源位置座標保持部３０２は、実音源の一例であるスピーカ５０の実空間に関連づけられた三次元座標上の位置（絶対位置）を保持するメモリである。進捗情報保持部３０３は、コンテンツの進捗情報（例えば、再生時間）を保持するメモリである。なお、音源位置座標保持部３０２および進捗情報保持部３０３は、同一のメモリでもよいし、異なるメモリでもよい。
　サーバ通信部３０４は、スマートディスプレイ４０やスピーカ５０と通信を行う構成であり、通信規格に対応した変復調回路やアンテナ等を含む。サーバ通信部３０４は、インターネット等のネットワークに対応した通信部でもよいし、ＬＡＮ(Local Area Network)等の近距離無線通信に対応した通信部でもよいし、その両方に対応する通信部でもよい。
「スマートディスプレイの構成例」
　スマートディスプレイ４０は、端末制御部４０１と、端末通信部４０２と、音源位置情報保持部４０３と、進捗情報保持部４０４と、自己位置情報取得部４０５と、コンテンツ描画部４０６と、ディスプレイ４０７とを有している。
　端末制御部４０１は、スマートディスプレイ４０全体を統括的に制御する。端末制御部４０１は、例えば、仮想オブジェクト位置情報保持部４０１Ａと、表示タイミング保持部４０１Ｂと、仮想オブジェクト絶対位置計算部４０１Ｃと、距離計算部４０１Ｄと、開始時間計算部４０１Ｅと、開始時間比較部４０１Ｆと、アニメーション制御部４０１Ｇとを有している。
　仮想オブジェクト位置情報保持部４０１Ａは、仮想オブジェクトの位置情報を保持する。また、表示タイミング保持部４０１Ｂは、仮想オブジェクトにデフォルトで設定されている表示タイミングを保持する。なお、仮想オブジェクトの位置情報および表示タイミングは、例えば、映像コンテンツを含むアプリケーションをスマートディスプレイ４０にインストールしたときに取得される。仮想オブジェクトの位置情報および表示タイミングが通信等により取得されてもよい。仮想オブジェクトの位置情報および表示タイミングは、時系列に沿って規定されている。仮想オブジェクトの位置情報は、スマートディスプレイ４０の位置に対する相対的位置で規定されている情報である。また、仮想オブジェクトの表示タイミングは、仮想オブジェクトが所定の動作を行う映像を表示するタイミングであり、映像コンテンツの再生時間の経過に対応して規定されている。仮想オブジェクトの位置情報は、仮想オブジェクト位置情報保持部４０１Ａから仮想オブジェクト絶対位置計算部４０１Ｃに対して供給される。仮想オブジェクトの表示タイミングは、表示タイミング保持部４０１Ｂから開始時間計算部４０１Ｅに供給される。
　仮想オブジェクト絶対位置計算部４０１Ｃは、仮想オブジェクトの位置情報と自己位置情報取得部４０５から供給されるスマートディスプレイ４０の位置情報とに基づいて、仮想オブジェクトの絶対位置を計算する。仮想オブジェクトの絶対位置とは、実空間に関連づけられた三次元座標上の所定の位置である。仮想オブジェクト絶対位置計算部４０１Ｃにより計算された絶対位置に対応するディスプレイ４０７の位置に仮想オブジェクトが表示（描画）される。
　距離計算部４０１Ｄは、サーバ３０から送信されるスピーカ５０の絶対位置である音源位置情報と、仮想オブジェクト絶対位置計算部４０１Ｃから供給される仮想オブジェクトの絶対位置とに基づいて、スピーカ５０と仮想オブジェクトとの間の距離を計算する。
　開始時間計算部４０１Ｅは、所定の動作を仮想オブジェクトに実行させる開始時間、すなわち、動作開始タイミングを計算する。より具体的には、開始時間計算部４０１Ｅは、実空間におけるスピーカ５０の位置と仮想オブジェクトの三次元座標上の位置とが離れているほど、スピーカ５０が所定の音を再生した再生タイミングに対する所定の動作を仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う。開始時間計算部４０１Ｅにより計算された動作開始タイミングが開始時間比較部４０１Ｆに供給される。
　開始時間比較部４０１Ｆは、進捗情報保持部４０４から供給される進捗情報と、開始時間計算部４０１Ｅから開始される動作開始タイミングとに基づいて、動作開始タイミングで規定されるタイミングが進捗情報で示される時間（以下、進捗時間と適宜、称される）を超えたか否かを判断する。動作開始タイミングが進捗時間を超えた場合には、開始時間比較部４０１Ｆは、その旨をアニメーション制御部４０１Ｇに通知する。
　アニメーション制御部４０１Ｇは、動作開始タイミングが進捗時間を超えた場合に、仮想オブジェクトが一連の所定の動作を行うアニメーションを生成する。アニメーション制御部４０１Ｇにより生成されたアニメーションがコンテンツ描画部４０６に供給される。
　端末通信部４０２は、サーバ３０等の外部機器と通信を行う。端末通信部４０２が行う通信により、スマートディスプレイ４０は、サーバ３０から供給される音源位置情報および進捗情報を取得する。端末通信部４０２が行うにより取得された音源位置情報が音源位置情報保持部４０３に保持（記憶）され、進捗情報が進捗情報保持部４０４に保持される。音源位置情報保持部４０３に保持された音源位置情報は、距離計算部４０１Ｄに供給される。また、進捗情報保持部４０４に保持された進捗情報は、開始時間比較部４０１Ｆに供給される。
　位置情報取得部としての自己位置情報取得部４０５は、スマートディスプレイ４０の現在位置である自己位置情報を取得する。自己位置情報は、ユーザによって直接入力されてもよいし、ユーザが、自身がいる位置（座席等）に付された、位置を示すＱＲコード（登録商標）を読み込む操作を行うことにより取得されてもよい。また、自己位置情報は、ＧＮＳＳ(Global Navigation Satellite System)等の位置センサを介して取得されてもよいし、ＳＬＡＭ(Simultaneous Localization and Mapping)や事前に撮影した特徴量マップを利用して自己位置が推定されることで取得されてもよい。スマートディスプレイ４０を有するユーザ位置は変化し得る（可変）。この場合には自己位置情報もユーザ位置の変化に応じて変化する。
　コンテンツ描画部４０６は、アニメーション制御部４０１Ｇから供給されたアニメーションをディスプレイ４０７に描画する処理を行う。具体的には、ステージ２上で歌う仮想オブジェクトや、会場を飛び回る仮想オブジェクトがディスプレイ４０７に描画される。これにより、ユーザは、ディスプレイ４０７に表示される仮想オブジェクトを視覚的に認識する。
　ディスプレイ４０７は、例えば、光学シースルー型のディスプレイである。ユーザは、ディスプレイ４０７を介してステージ２等の実物体を視認しつつ、ディスプレイ４０７に表示される仮想オブジェクトを認識する。
「スピーカの構成例」
　スピーカ５０は、スピーカ通信部５０１と、音源再生部５０２と、スピーカユニット５０３とを有している。スピーカ通信部５０１は、サーバ３０やスマートディスプレイ４０と通信を行う。スピーカ通信部５０１は、例えば、サーバ３０またはスマートディスプレイ４０から送信される音の再生コマンドを受信する。
　音源再生部５０２は、音源データを再生するための公知の音声信号処理を行う。なお、音源データは、スピーカ５０の適宜なメモリに記憶されていてもよいし、スピーカ通信部５０１を介して通信により取得されてもよい。音源再生部５０２による処理が施された音源データがスピーカユニット５０３から再生される。
　なお、映像コンテンツ内に複数の仮想オブジェクトが含まれる場合には、これらの位置情報や表示タイミングは、仮想オブジェクト毎に規定されている。また、後述する処理も仮想オブジェクト毎に行われる。表示タイミングはなくてもよく、仮想オブジェクトが所定の動作を行うことが予めプログラムされたものであってもよい。
　進捗情報は、サーバ３０ではなく、スマートディスプレイ４０で管理されてもよい。また、スマートディスプレイ４０は、進捗情報をサーバ３０からではなく、マーカ認識や特徴量マップを利用したカメラによる認識や音のFingerprintを用いて、現在の進捗情報を取得してもよい。また、スピーカ５０の音源位置情報は、スピーカ５０からスマートディスプレイ４０に直接、供給されてもよい。
「処理の流れ」
　続いて、図１６、図１７および図１８が参照されつつ、本実施形態で行われる処理（主にスマートディスプレイ４０で行われる処理）の流れが説明される。図１６は、全体の処理の流れを示すフローチャートである。図１７は、図１６における仮想オブジェクト表示タイミング制御処理の流れを示すフローチャートである。図１８は、図１７における動作開始タイミング計算処理の流れを示すフローチャートである。なお、以下では、本実施形態にかかる処理を実行するためのアプリケーションが、スマートディスプレイ４０にインストールされているものとした説明がなされる。
　図１６に示すフローチャートにおいて、ステップＳＴ１１では、ユーザ位置、換言すれば、ユーザが所持や装着するスマートディスプレイ４０の位置が自己位置情報取得部４０５により取得される。上述したように、ユーザ位置は、ユーザ操作によって入力されてもよいし、センサ等によって取得されてもよい。そして、処理がステップＳＴ１２に進む。
　ステップＳＴ１２では、サーバ３０から実音源の一例であるスピーカ５０の音源位置情報が取得され、取得された音源位置情報が音源位置情報保持部４０３に保持される。そして、処理がステップＳＴ１３に進む。
　ステップＳＴ１３では、コンテンツ再生が開始される。コンテンツの再生は、例えば、スマートディスプレイ４０に対するコンテンツ再生操作に応じてなされたサーバ３０からの指示により開始される。サーバ３０からのコンテンツ再生コマンドがスピーカ５０に供給されることにより、スピーカユニット５０３から音源データが再生される。コンテンツ再生が開始されると、スマートディスプレイ４０はサーバ３０から進捗情報を定期的に取得する。そして、処理がステップＳＴ１４に進む。
　ステップＳＴ１４では、コンテンツの再生にともなって、コンテンツの再生に関する制御が行われる。そして、処理がステップＳＴ１５に進む。
　ステップＳＴ１５では、前回の進捗情報の取得からＸ秒以上経過したか否かが判断される。かかる判断は、例えば、端末制御部４０１によって行われる。端末制御部４０１は、例えば、進捗情報保持部４０４に保持されている進捗情報が、サーバ３０から送信された進捗情報に更新されてからＸ秒経過したか否かを判断する。Ｘ秒は、数秒から５秒等、適宜、設定することができる。前回の進捗情報の取得からＸ秒、経過していない場合は、処理がステップＳＴ１８に進む。前回の進捗情報の取得からＸ秒、経過した場合は、処理がステップＳＴ１６に進む。
　ステップＳＴ１６では、スマートディスプレイ４０がサーバ４３０から進捗情報を取得する。そして、処理がステップＳＴ１７に進む。
　ステップＳＴ１７では、ステップＳＴ１６にかかる処理で取得された進捗情報が進捗情報保持部４０４に保持されることで、進捗情報が更新される。そして、処理がステップＳＴ１８に進む。
　本実施形態では、ユーザ位置が変化し得る。ユーザ位置が変化した場合には、ステップＳＴ１８にかかる処理が行われ、自己位置情報取得部４０５から新たなユーザ位置が端末制御部４０１に供給されることでユーザ位置が更新される。そして、更新後のユーザ位置に基づいた処理が行われる。そして処理がステップＳＴ１９に進む。
　ステップＳＴ１９では、仮想オブジェクト表示タイミング制御処理が行われる。仮想オブジェクト表示タイミング制御処理の詳細については後述される。仮想オブジェクト表示タイミング制御処理により仮想オブジェクトの動作開始タイミングが得られる。そして、処理がステップＳＴ２０に進む。
　ステップＳＴ２０では、動作開始タイミングの経過に応じて所定の動作を行う仮想オブジェクトがディスプレイ４０７に描画される。なお、動作開始タイミングに依存しない仮想オブジェクトが存在する場合、当該仮想オブジェクトは、例えば、コンテンツ再生の中で常にディスプレイ４０７に描画される。
　続いて、図１７のフローチャートが参照されつつ、本実施形態における仮想オブジェクト表示タイミング制御処理の流れが説明される。
　例えば、図１６に示すステップＳＴ１８にかかる処理が行われた後、ステップＳＴ３１で、仮想オブジェクト表示タイミング制御処理が開始される。そして、処理がステップＳＴ３２に進む。
　ステップＳＴ３２では、動作開始タイミング計算処理が行われる。動作開始タイミング計算処理により仮想オブジェクトの動作開始タイミングが得られる。なお、動作開始タイミング計算処理の詳細については後述される。そして、処理がステップＳＴ３３に進む。
　ステップＳＴ３３では、開始時間比較部４０１Ｆが、ステップＳＴ３２で得られた動作開始タイミングと進捗時間とを比較することにより、動作開始タイミングが進捗時間を超えたか否かを判断する。動作開始タイミングが進捗時間を超えていない場合は、処理がステップＳＴ３５に進む。動作開始タイミングが進捗時間を超えた場合には、処理がステップＳＴ３４に進む。
　ステップＳＴ３４では、対象となる仮想オブジェクトの所定の動作のアニメーションが開始される。かかる処理は、アニメーション制御部４０１Ｇにより行われる。そして、処理がステップＳＴ３５に進む。
　ステップＳＴ３５では、進捗時間以降に動作開始タイミングを持つ動作のタイミング制御が全て完了したか否かが端末制御部４０１により判断される。動作のタイミング制御が全て完了していない場合は、処理がステップＳＴ３２に戻る。動作のタイミング制御が全て完了した場合は、処理がステップＳＴ３６に進む。
　ステップＳＴ３６では、仮想オブジェクト表示タイミング制御処理が完了される。続いて、図１６に示すステップＳＴ２０にかかる処理が行われ、アニメーション制御部４０１Ｇにより生成された、所定の動作を行う仮想オブジェクトの映像がディスプレイ４０７に表示される。
　続いて、図１８のフローチャートが参照されつつ、本実施形態における動作開始タイミング計算処理の流れが説明される。
　ステップＳＴ４１では、仮想オブジェクトが所定の動作を行う開始時間が、再生開始からｔ秒（単位はミリ秒）後に設定される。ｔの値は、インストールされたアプリケーションで規定されている。そして、処理がステップＳＴ４２に進む。
　ステップＳＴ４２では、ユーザ位置に基づいて、仮想オブジェクトの位置が、実空間に関連づけられた三次元座標上の位置である絶対位置に変換される。すなわち、アプリケーションで規定されていた仮想オブジェクトのスマートディスプレイ４０に対する相対位置が、自己位置情報取得部４０５から供給されるスマートディスプレイ４０の位置に基づいて絶対位置に変換される。そして、処理がステップＳＴ４３に進む。
　ステップＳＴ４３では、ステップＳＴ４２で計算された仮想オブジェクトの絶対位置とスピーカ５０の音源位置情報で示される位置との距離Ｄが、距離計算部４０１Ｄにより計算される。そして、処理がステップＳＴ４４に進む。
　ステップＳＴ４４では、開始時間計算部４０１Ｅが、上述した（式２）に基づく遅延量を計算する遅延量設定処理を行う。上述したように、遅延量設定処理では、距離Ｄが大きくなるほど遅延量が大きくなるように設定される。そして、処理がステップＳＴ４５に進む。
　ステップＳＴ４５では、予め規定されていたｔに遅延量が加算されることにより、動作開始タイミングが決定する。そして、図１７に示したステップＳＴ３３以降にかかる処理が行われる。
　なお、上述した遅延量設定処理等の処理は仮想オブジェクト毎や仮想オブジェクトの一連の動作毎に行われる。
　以上説明した本実施形態により、仮想オブジェクトに所定の動作を実行させる動作開始タイミングを適切に設定することができる。
＜変形例＞
　以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
「変形例１」
　再生されるコンテンツに対して、所定の同期情報が設定されていてもよい。同期情報は、例えば、同期または非同期かを示すフラグである。例えば、「同期」の場合には同期情報として論理的な値である「１」が設定され、「非同期」の場合には同期情報として論理的な値である「０」が設定される。もちろん、論理的な値が反対であってもよい。同期情報は、一つのコンテンツにおける仮想オブジェクトの動作毎や仮想オブジェクト毎に設定することができる情報である。例えば、カウントダウンのように、複数のユーザに対して同じタイミングで同じ映像を見せたいシーンも存在する。このような場合に同期情報として「１」が設定される。
　図１９に示されるパターンＰ１１、Ｐ１２で示される処理は、同期情報として「０」、すなわち「非同期」が設定されている場合の処理である。同期情報として「０」が設定されている場合は、上述した一実施形態と同様に、遅延量設定処理に基づいて仮想オブジェクトの動作開始タイミングが設定される。図１９に示されるパターンＰ１３で示される処理は、同期情報として「１」、すなわち「同期」が設定されている場合の処理である。同期情報として「１」が設定されている場合には、ステージと仮想オブジェクトとの間の距離に関わらず表示の遅延を発生させない、換言すれば、各ユーザに対する仮想オブジェクトの動作開始タイミングが同一の所定のタイミングに設定される同期処理が行われる。かかる同期処理は、例えば、端末制御部４０１の制御により行われる。同期処理が行われることにより、複数のユーザに対して同じタイミングで所定のシーンの映像を描画することができる。このタイミングは、所定のスマートディスプレイ（例えば、ユーザＵＡが所持するスマートディスプレイ）と、同一のアプリケーションで動作する他のスマートディスプレイ（例えば、ユーザＵＢが所持するスマートディスプレイ）とで共通するタイミングである。
　なお、同期処理が行われる場合に、同期処理に対応する情報がディスプレイ４０７に描画されてもよい。例えば、同期処理に対応する情報としてカウントダウンの文字がディスプレイ４０７に描画されてもよい。
「変形例２」
　再生されるコンテンツに対して、所定の共有情報が設定されてもよい。共有情報は、例えば、共有または非共有かを示すフラグである。例えば、「共有」の場合には共有情報として論理的な値である「１」が設定され、「非共有」の場合には共有情報として論理的な値である「０」が設定される。もちろん、論理的な値が反対であってもよい。共有情報は、一つのコンテンツにおける仮想オブジェクトの動作毎や仮想オブジェクト毎に設定することができる情報である。
　共有情報として「１」が設定されている場合には、仮想オブジェクトの所定の動作とその位置が、同一のアプリケーションで動作するスマートディスプレイを有するユーザ間で共有されることになる。共有情報として「０」が設定されている場合には、仮想オブジェクトの所定の動作はユーザ間で共有されるが、仮想オブジェクトの位置は各ユーザで異なる。後者の具体例は、例えば、仮想オブジェクトが飛ぶ動作をユーザ間で共有しつつ、その位置は、例えばユーザＵＡには目の前であり、ユーザＵＢにはステージ２寄りである場合である。
　図２０が参照されつつ、共有情報として「１」が設定されている場合の具体例についての説明がなされる。図２０に示すように、ユーザＵＡとユーザＵＢとの間である位置ＰＯ８（ステージ２から１５０ｍの位置）に仮想オブジェクトが移動する場合に、ユーザＵＡのスマートディスプレイには仮想オブジェクトの背面が見えるような映像が描画され、ユーザＵＢのスマートディスプレイには仮想オブジェクトの正面が見えるような映像が描画される。すなわち、所定の共有情報として「共有」が設定されている場合には、仮想オブジェクトが、スマートディスプレイの位置と仮想オブジェクトの三次元座標上の位置との位置関係に対応する態様で描画される。また、所定の共有情報として非共有が設定されている場合に、仮想オブジェクトが情報処理装置毎に対応する態様で表示される。
　なお、図２０に示す場合の遅延量は、非共有の場合、すなわち、一実施形態と同様にして設定される。具体的にはＤ＝１５０として計算される。そして、ユーザＵＡの場合は、実音源の音が３０ｍｓｅｃ後に到達し、実音源の音が発生してから４４０ｍｓｅｃ後に仮想オブジェクトが動作を開始する。また、ユーザＵＢの場合は、実音源の音が３０ｍｓｅｃ後に到達し、実音源の音が発生してから４４０ｍｓｅｃ後に仮想オブジェクトが動作を開始する。
　同期情報および共有情報は、コンテンツの制作時に設定される。同期情報および共有情報の両方を設定することも可能である。コンテンツの製作後に同期情報および共有情報が変更可能とされてもよい。
「その他の変形例」
　上述した実施形態において、仮想オブジェクトがステージ上から目の前に近寄ってくるケースでは、ステージ上から飛び出して目の前に来るまでを一連のアニメーションで表現してもよい。その場合は、移動にかかる時間も考慮してステージを飛び出すタイミングを決める、若しくは、ステージを飛び出してから目の前に来るまでのスピードが適宜、調整される。
　実音源から聞こえるリアルな音響とは別に、ユーザが開放型のイヤホンを装着して、同時にスマートディスプレイから再生される音源を同時に聞くようにすることも可能である。３Ｄサウンドによって仮想オブジェクトの位置に音源を定位して再生することで、実音源とは異なる位置から聞こえてくる体験をユーザに提供することができる。
　実音源は、コンサート会場をマイクで収音して再生するものでもよい。本実施形態では、ライブだけでなく、仮想オブジェクトが更新するパレード等に対しても適用することができる。
　上述の実施形態および変形例において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよく、公知のもので置き換えることも可能である。また、実施形態および変形例における構成、方法、工程、形状、材料および数値などは、技術的な矛盾が生じない範囲において、互いに組み合わせることが可能である。また、本開示は、制御方法や電子機器の製造装置等、任意の形態により実現することができる。
　なお、本明細書中で例示された効果により本開示の内容が限定して解釈されるものではない。
　本開示は、以下の構成も採ることができる。
（１）
　実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させる制御部を備え、
　前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
　情報処理装置。
（２）
　前記制御部は、前記情報処理装置の位置に対して規定されている前記仮想オブジェクトの相対的位置に基づいて、前記仮想オブジェクトの前記三次元座標上の位置を取得する
　（１）に記載の情報処理装置。
（３）
　前記制御部は、前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置との距離を演算し、計算結果に基づいて前記遅延量を設定する
　（２）に記載の情報処理装置。
（４）
　前記実音源の前記三次元座標上の位置が外部機器から供給される
　（３）に記載の情報処理装置。
（５）
　前記情報処理装置の位置が可変とされている
　（２）から（４）までの何れかに記載の情報処理装置。
（６）
　前記情報処理装置の位置を取得する位置情報取得部を有する
　（２）から（５）までの何れかに記載の情報処理装置。
（７）
　前記制御部は、前記遅延量に関わらず、前記動作開始タイミングを所定のタイミングとする同期処理を行う
　（１）から（６）までの何れかに記載の情報処理装置。
（８）
　前記制御部は、所定の同期情報として同期が設定されている場合に前記同期処理に基づいて前記動作開始タイミングを決定し、所定の同期情報として非同期が設定されている場合に前記遅延量設定処理に基づいて前記動作開始タイミングを決定する
　（７）に記載の情報処理装置。
（９）
　仮想オブジェクト毎に前記同期情報が設定されている
　（８）に記載の情報処理装置。
（１０）
　前記所定のタイミングは、同一のアプリケーションで動作する他の情報処理装置と共通するタイミングである
　（７）または（８）に記載の情報処理装置。
（１１）
　前記制御部は、前記同期処理を行う場合に当該同期処理に対応する情報を表示する
　（７）から（１０）までの何れかに記載の情報処理装置。
（１２）
　前記制御部は、所定の共有情報として共有が設定されている場合に、前記仮想オブジェクトを、前記情報処理装置の位置と前記仮想オブジェクトの前記三次元座標上の位置との位置関係に対応するように表示し、所定の共有情報として非共有が設定されている場合に、前記仮想オブジェクトを情報処理装置毎に対応するように表示する
　（１）から（１２）までの何れかに記載の情報処理装置。
（１３）
　仮想オブジェクト毎に前記共有情報が設定されている
　（１２）に記載の情報処理装置。
（１４）
　前記制御部は、前記遅延量設定処理を、表示される複数の仮想オブジェクトのそれぞれに対して行う
　（１）から（１３）までの何れかに記載の情報処理装置。
（１５）
　前記仮想オブジェクトが表示され、携帯可能なウエアラブルディスプレイとして構成される
　（１）から（１４）までの何れかに記載の情報処理装置。
（１６）
　前記遅延量設定処理は、同一のアプリケーションで動作する複数の情報処理装置のそれぞれで行われる
　（１）から（１５）までの何れかに記載の情報処理装置。
（１７）
　制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させ、
　前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
　情報処理方法。
（１８）
　制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させ、
　前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
　情報処理方法をコンピュータに実行させるプログラム。
１・・・再生システム
２・・・ステージ
３，５０・・・スピーカ
３０・・・サーバ
４０・・・スマートディスプレイ
４０１・・・制御部
４０１Ｃ・・・仮想オブジェクト絶対位置計算部
４０１Ｄ・・・距離計算部
４０１Ｅ・・・・開始時間計算部
４０５・・・自己位置情報取得部
Ｃ・・・仮想オブジェクト
ＵＡ、ＵＢ・・・ユーザ

Claims (18)

  1. 　実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させる制御部を備え、
    　前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
    　情報処理装置。
  2. 　前記制御部は、前記情報処理装置の位置に対して規定されている前記仮想オブジェクトの相対的位置に基づいて、前記仮想オブジェクトの前記三次元座標上の位置を取得する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置との距離を演算し、計算結果に基づいて前記遅延量を設定する
    　請求項２に記載の情報処理装置。
  4. 　前記実音源の前記三次元座標上の位置が外部機器から供給される
    　請求項３に記載の情報処理装置。
  5. 　前記情報処理装置の位置が可変とされている
    　請求項２に記載の情報処理装置。
  6. 　前記情報処理装置の位置を取得する位置情報取得部を有する
    　請求項２に記載の情報処理装置。
  7. 　前記制御部は、前記遅延量に関わらず、前記動作開始タイミングを所定のタイミングとする同期処理を行う
    　請求項１に記載の情報処理装置。
  8. 　前記制御部は、所定の同期情報として同期が設定されている場合に前記同期処理に基づいて前記動作開始タイミングを決定し、所定の同期情報として非同期が設定されている場合に前記遅延量設定処理に基づいて前記動作開始タイミングを決定する
    　請求項７に記載の情報処理装置。
  9. 　仮想オブジェクト毎に前記同期情報が設定されている
    　請求項８に記載の情報処理装置。
  10. 　前記所定のタイミングは、同一のアプリケーションで動作する他の情報処理装置と共通するタイミングである
    　請求項７に記載の情報処理装置。
  11. 　前記制御部は、前記同期処理を行う場合に当該同期処理に対応する情報を表示する
    　請求項７に記載の情報処理装置。
  12. 　前記制御部は、所定の共有情報として共有が設定されている場合に、前記仮想オブジェクトを、前記情報処理装置の位置と前記仮想オブジェクトの前記三次元座標上の位置との位置関係に対応するように表示し、所定の共有情報として非共有が設定されている場合に、前記仮想オブジェクトを情報処理装置毎に対応するように表示する
    　請求項１に記載の情報処理装置。
  13. 　仮想オブジェクト毎に前記共有情報が設定されている
    　請求項１２に記載の情報処理装置。
  14. 　前記制御部は、前記遅延量設定処理を、表示される複数の仮想オブジェクトのそれぞれに対して行う
    　請求項１に記載の情報処理装置。
  15. 　前記仮想オブジェクトが表示され、携帯可能なウエアラブルディスプレイとして構成される
    　請求項１に記載の情報処理装置。
  16. 　前記遅延量設定処理は、同一のアプリケーションで動作する複数の情報処理装置のそれぞれで行われる
    　請求項１に記載の情報処理装置。
  17. 　制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させ、
    　前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
    　情報処理方法。
  18. 　制御部が、実空間に関連づけられた三次元座標上に仮想オブジェクトを表示し、前記実空間に配置された実音源から再生される所定の音に応じて、前記仮想オブジェクトに所定の動作を実行させ、
    　前記制御部は、前記実空間における前記実音源の位置と前記仮想オブジェクトの前記三次元座標上の位置とが離れているほど、前記実音源が前記所定の音を再生した再生タイミングに対する前記所定の動作を前記仮想オブジェクトに実行させる動作開始タイミングの遅延量を大きくする遅延量設定処理を行う
    　情報処理方法をコンピュータに実行させるプログラム。
PCT/JP2020/033540 2019-11-12 2020-09-04 情報処理装置、情報処理方法およびプログラム WO2021095330A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080076921.XA CN114730479A (zh) 2019-11-12 2020-09-04 信息处理装置、信息处理方法和程序
JP2021555912A JPWO2021095330A1 (ja) 2019-11-12 2020-09-04
US17/774,681 US20220414960A1 (en) 2019-11-12 2020-09-04 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019204438 2019-11-12
JP2019-204438 2019-11-12

Publications (1)

Publication Number Publication Date
WO2021095330A1 true WO2021095330A1 (ja) 2021-05-20

Family

ID=75912038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033540 WO2021095330A1 (ja) 2019-11-12 2020-09-04 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20220414960A1 (ja)
JP (1) JPWO2021095330A1 (ja)
CN (1) CN114730479A (ja)
WO (1) WO2021095330A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015510629A (ja) * 2012-01-12 2015-04-09 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 音分析および幾何解析を用いた拡張現実
US20160212538A1 (en) * 2015-01-19 2016-07-21 Scott Francis Fullam Spatial audio with remote speakers

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
JP2004193877A (ja) * 2002-12-10 2004-07-08 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
JP4917347B2 (ja) * 2006-05-09 2012-04-18 任天堂株式会社 ゲーム装置およびゲームプログラム
JP2011199707A (ja) * 2010-03-23 2011-10-06 Sharp Corp 音声データ再生装置及び音声データ再生方法
CN105379311B (zh) * 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法
CN109597481B (zh) * 2018-11-16 2021-05-04 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
WO2021044745A1 (ja) * 2019-09-03 2021-03-11 ソニー株式会社 表示処理装置、表示処理方法及び記録媒体
JP2021092881A (ja) * 2019-12-09 2021-06-17 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
WO2021241431A1 (ja) * 2020-05-29 2021-12-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
EP4241156A4 (en) * 2020-11-03 2024-05-15 Light Wand LLC SYSTEMS AND METHODS FOR CONTROLLING SECONDARY DEVICES USING MIXED, VIRTUAL OR AUGMENTED REALITY

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015510629A (ja) * 2012-01-12 2015-04-09 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 音分析および幾何解析を用いた拡張現実
US20160212538A1 (en) * 2015-01-19 2016-07-21 Scott Francis Fullam Spatial audio with remote speakers

Also Published As

Publication number Publication date
US20220414960A1 (en) 2022-12-29
JPWO2021095330A1 (ja) 2021-05-20
CN114730479A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US11039264B2 (en) Method of providing to user 3D sound in virtual environment
US10819969B2 (en) Method and apparatus for generating media presentation content with environmentally modified audio components
JP7118121B2 (ja) 空間化オーディオを用いた複合現実システム
JP6959943B2 (ja) ３ｄ音声ポジショニングを用いて仮想現実又は拡張現実のプレゼンテーションを生成するための方法及び装置
US10848894B2 (en) Controlling audio in multi-viewpoint omnidirectional content
CN109691141B (zh) 空间化音频系统以及渲染空间化音频的方法
KR20080093422A (ko) 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그장치
US20230336935A1 (en) Signal processing apparatus and method, and program
JP2022065175A (ja) 音響処理装置および方法、並びにプログラム
WO2019230567A1 (ja) 情報処理装置および音発生方法
KR102324816B1 (ko) 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
CN114286275A (zh) 一种音频处理方法及装置、存储介质
WO2021095330A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102058228B1 (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
CN108366304A (zh) 一种基于虚拟现实技术的影音播控系统及方法
US20240284137A1 (en) Location Based Audio Rendering
WO2022209297A1 (ja) 情報処理装置、情報処理方法および記録媒体
CN117294882A (zh) 一种为ar模型添加动画音效的方法及播放设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20888491

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021555912

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20888491

Country of ref document: EP

Kind code of ref document: A1