WO2020174925A1 - 二人のユーザの同時アクションにより音声を制御する情報処理装置 - Google Patents

二人のユーザの同時アクションにより音声を制御する情報処理装置 Download PDF

Info

Publication number
WO2020174925A1
WO2020174925A1 PCT/JP2020/001554 JP2020001554W WO2020174925A1 WO 2020174925 A1 WO2020174925 A1 WO 2020174925A1 JP 2020001554 W JP2020001554 W JP 2020001554W WO 2020174925 A1 WO2020174925 A1 WO 2020174925A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
action
voice
information processing
actions
Prior art date
Application number
PCT/JP2020/001554
Other languages
English (en)
French (fr)
Inventor
龍 青山
泉 八木
洋二 廣瀬
高橋　慧
津田　崇基
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/431,215 priority Critical patent/US20220113932A1/en
Publication of WO2020174925A1 publication Critical patent/WO2020174925A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3278—Power saving in modem or I/O interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present disclosure relates to an information processing device and an information processing method. Background technology
  • the information processing device is equipped with a gyro sensor or an acceleration sensor.
  • Patent Document 1 discloses an information processing device that includes a gyro sensor or an acceleration sensor and can perform an operation based on a gesture.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2 017 7-2 0 7 8 90 0 Summary of the Invention Problems to be Solved by the Invention
  • the information processing device disclosed in Patent Document 1 can detect various gestures or actions of a user.
  • the information processing device disclosed in Patent Document 1 has a communication function. Therefore, by further studying such an information processing apparatus, there is a possibility that interactive new entertainment using gestures or actions of a plurality of users can be constructed.
  • an action determination unit that determines an action performed by a user based on a sensing result by a sensor, a communication unit that receives information regarding an action performed by another user, and the action performed by the user.
  • a synchronization determination unit that determines a temporal match between the action and the action performed by the other user, and ⁇ 2020/174 925 2 ⁇ (: 170? 2020 /001554
  • An information processing apparatus comprising: a voice control unit that controls a voice presented in response to an action performed by each of the user and the other user based on the determination by the synchronization determination unit.
  • the arithmetic processing device determines an action performed by a user based on a sensing result by a sensor, and receives information regarding an action performed by another user, Determining the temporal match between the action performed by the user and the action performed by the other user, and corresponding to the action performed by each of the user and the other user based on the determination.
  • An information processing method is provided that includes controlling the audio presented by the following.
  • FIG. 1 is an explanatory diagram illustrating an example of an information processing system according to an embodiment of the present disclosure.
  • FIG. 28 is an explanatory diagram showing an example of a sensor for detecting a user action.
  • FIG. 28 is an explanatory diagram showing an example of a sensor for detecting a user action.
  • FIG. 2 is an explanatory diagram showing an example of a sensor for detecting a user action.
  • FIG. 3 is an explanatory diagram showing exchange of information in the information processing system shown in FIG.
  • FIG. 4 is a block diagram showing a configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. 5 is a graph showing the audio output presented in FIG.
  • FIG. 6 is a graph showing an example of a voice waveform controlled by a voice control unit for each combination of a user and another user.
  • FIG. 78 is a graph diagram showing in parallel the sensor output for detecting the actions of the user 8 and the user Minami, and the voice output presented to the user 8.
  • FIG. 78 is a graph showing in parallel the sensor output for detecting the actions of the user 8 and the user Minami, and the audio output presented to the user 8.
  • FIG. 8 is a graph showing an example of a result of sensing actions of a user and another user who is a teacher.
  • FIG. 9 is an explanatory diagram illustrating a method of controlling a voice presented to a user based on a difference between actions of the user and another user.
  • FIG. 10E is an explanatory diagram illustrating a specific method of controlling the voice presented to the user based on the difference between the actions of the user and the other user.
  • FIG. 108 is an explanatory diagram illustrating a specific method for controlling the voice presented to the user based on the difference between the actions of the user and the other user.
  • Figure 1 1 is a flow _ Chiya _ Bok diagram that describes an example of a flow of operation of the information processing system according to an embodiment of the present disclosure.
  • FIG. 12 is a flow _ Chiya _ Bok diagram that describes an example of a flow of operation of the information processing system according to an embodiment of the present disclosure.
  • FIG. 13 is a flow _ Chiya _ Bok diagram that describes an example of a flow of operation of the information processing system according to an embodiment of the present disclosure.
  • FIG. 14 is an explanatory diagram illustrating a period in which the information processing system according to an embodiment of the present disclosure determines synchronization between users.
  • FIG. 15 is an explanatory diagram illustrating a modified example of the information processing system according to an embodiment of the present disclosure.
  • FIG. 16 is a block diagram showing an example of the / ⁇ -software of the information processing device configuring the information processing server or the terminal device according to an embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram showing an example of an information processing system according to an embodiment of the present disclosure.
  • an information processing system includes terminal devices 30 8 and 30 0 owned by a plurality of users 40 8 and 40 0, respectively, Information processing devices 20 and 20 possessed by a plurality of users 40 and 40, respectively, and an information processing server 1 connected to the information processing devices 20 and 20 via the network 50. ⁇ and are provided.
  • the terminal device 30 is owned by the same user 40 as the information processing device 20 and the terminal device 30 is owned by the same user 40 as the information processing device 20. Be present.
  • the users 40, 40 will also be collectively referred to as the user 40
  • the terminal devices 30 and 30 will be collectively referred to as the terminal device 30 and the information processing devices 20, 20 Collectively, the information processing device 20 is also referred to.
  • An information processing system is a system in which a terminal device 30 presents a voice to a user in response to an action of the user 40.
  • it is output at the terminal device 30 based on whether the action of the user 40 is performed in time synchronization with the action of another user. Control the voice.
  • the information processing system can make the action performed by the user 40 interactive with other users by the manner of voice presentation, so that more interactive content can be realized. Is possible.
  • the terminal device 30 is an information processing device including a sensor for detecting an action of the user 40 and a speaker for reproducing a voice.
  • the terminal device 30 detects the action of the user 40 based on the sensing result of the sensor, and presents the voice corresponding to the action of the user 40 to the user. Further, the terminal device 30 transmits information regarding the action performed by the user 40 to the information processing device 20 and receives information regarding the action of another user via the network 50. According to this, the terminal device 30 changes the voice presented to the user 40 when the action of the user 40 and the action of another user temporally match each other.
  • the actions performed by 0 can be made interactive with user 40.
  • the terminal device 30 is, for example, a wearable terminal worn on one of the bodies of the user 40.
  • the terminal device 30 is a wearable terminal of a headphone or earphone type worn on the ear of the user 40, a wearable terminal of glasses type worn on the face of the user 40, and a wearable terminal of the user 40. It may be a badge-type wearable terminal worn on the chest or the like, or a wristwatch-type wearable terminal worn on the wrist or the like of the user 40.
  • the sensor provided in the terminal device 30 for detecting the action of the user 40 is not particularly limited. An example of a sensor for detecting the action of the user 40 will be described with reference to FIGS. 28 to 20. Figures 28 to 20 are explanatory diagrams showing an example of a sensor for detecting a user action. ⁇ 02020/174925 6 ⁇ (: 17 2020/001554
  • a sensor for detecting the action of the user 40 is a gyro sensor provided in a headphone or an earphone 3 1 _ 1 worn on the ear of the user 40, and an acceleration sensor. It may be a sensor or a geomagnetic sensor. Alternatively, as shown in FIG. 2B, the sensor for detecting the action of the user 40 may be a motion sensor 3 1 -2 attached to each part of the body of the user 40. Furthermore, as shown in FIG. 2C, the sensor for detecting the action of the user 40 is a T ⁇ F (Time of F light) sensor directed to the user 40, or a stereo camera 3 1 — It can be 3.
  • T ⁇ F Time of F light
  • the information processing device 20 is a communication device that can be carried by the user 40, and has a communication function with the terminal device 30 and a connection function with the network 50.
  • the information processing device 20 receives the information regarding the action of the user 40 from the terminal device 30, and transmits the information regarding the action of the user 40 to the information processing server 10. Further, the information processing device 20 receives the information regarding the action of the other user from the information processing server 10 and transmits the information regarding the action of the other user to the terminal device 30.
  • the information processing device 20 may be, for example, a smartphone, a mobile phone, a tablet terminal, or a PDA (Per s o n a l D i d i t a l A s s i s t a n t ).
  • the information processing server 10 transmits the information regarding the action of the user 40 detected by each of the terminal devices 30 to the other terminal devices 30. Specifically, the information processing server 10 transmits information regarding the action of the user 40 detected by the terminal device 30 to the terminal device 30 of another user belonging to the same group as the user 40. For example, if the users 40A and 40B belong to the same group, the information processing server 10 sends information on the action of the user 40A detected by the terminal device 30A to the terminal device 30B. Of course, the information on the action of the user 40 B detected by the terminal device 30 B may be transmitted to the terminal device 30 A. ⁇ 2020/174 925 7 ⁇ (: 170? 2020/001554
  • the network 50 is a communication network capable of transmitting and receiving information.
  • the network 50 may be, for example, the Internet, a satellite communication network, a telephone network, or a mobile communication network (for example, 30 or 40 network).
  • Fig. 1 shows an example in which the terminal device 30 and the information processing device 20 are provided as separate devices
  • the information processing system according to the present embodiment is not limited to such an example.
  • the terminal device 30 and the information processing device 20 may be provided as one communication device.
  • the communication device has a function of detecting the action of the user 40, a voice presentation function, and a function of connecting to the network 50, and can be configured as a communication device that can be worn on the user's body. ..
  • the terminal device 30 will be described as having the functions of the information processing device 20 as well.
  • FIG. 3 is an explanatory diagram showing the exchange of information in the information processing system shown in FIG.
  • the terminal device 308 takes action regarding information regarding the detected action of the user 408.
  • Information is sent to the information processing server 10.
  • the information processing server 10 having received the action information of the user 408 sends the action information of the user 408 to the terminal device 30 of the user 40 who belongs to the same group as the user 408. Send.
  • the terminal device 30m presents a voice to the user 40m in response to the action of the user 40m detected by the terminal device 30m.
  • the terminal device 380 determines whether the action of the user 480 is performed in time with the action of the user 408 (that is, the synchronization is performed). Or not).
  • the terminal device 30 0 has a different voice than when the user 40 0 is performed by the action by itself. Is presented to user 40. ⁇ 2020/174 925 8 ⁇ (: 170? 2020 /001554
  • FIG. 4 is a block diagram showing a configuration example of the information processing system according to the present embodiment.
  • the information processing system includes a terminal device 30 and an information processing server 10.
  • the terminal device 30 includes a sensor unit 310, an action determination unit 320, a communication unit 330, a synchronization determination unit 340, a voice control unit 350, And a voice presentation unit 360.
  • the information processing server 10 includes a communication unit 110, a group creation unit 120, and a communication control unit 130.
  • the terminal device 30 does not need to go through the information processing server 10 and is connected to another terminal device 30.
  • the sensor unit 310 includes a sensor for detecting the action of the user 40. Specifically, when the terminal device 30 is a wearable terminal worn on the body of the user 40, or a mobile phone, a smartphone, or a controller carried by the user 40, the sensor unit 310 is It may include an acceleration sensor, a gyro sensor, or a geomagnetic sensor. In such a case, the sensor unit 310 can detect the inclination of the terminal device 30 or the vibration applied to the terminal device 30. ⁇ 2020/174 925 9 boxes (: 170? 2020/001554
  • the sensor unit 310 may include a marker and tracker for motion capture capable of detecting the action of the user 40 more directly, a stereo camera, or a sensor. In such a case, the sensor unit 310 can obtain information for determining what action the user 40 has performed by detecting the movement of each part of the body of the user 40. Note that the sensor unit 310 may be provided outside the terminal device 30 if it is necessary to detect the action of the user 40.
  • the sensor included in the sensor unit 310 is not limited to the above example as long as the action determination unit 320 in the subsequent stage can detect the action of the user 40.
  • the sensor unit 310 may include a pressure sensor or a proximity sensor provided on the floor or wall of the room where the user 40 acts. Even in such a case, the sensor unit 310 can obtain information for determining what kind of action the user 40 has performed.
  • the sensor included in the sensor unit 310 may be preliminarily calibrated with an action detection threshold value or the like.
  • the sensor included in the sensor unit 310 may be calibrated to an appropriate value for the action detection threshold by having the user 40 perform the action to be detected in advance.
  • the action to be detected is walking, it is easy to predict the walking from the sensing result, so it is possible to appropriately calibrate the parameters for action detection in advance.
  • the action determination unit 320 determines the action taken by the user 40 based on the sensing result of the sensor unit 310, and generates action information regarding the action of the user 40. .. Specifically, the action determination unit 320 includes the information determined by determining the presence/absence of the action of the user 40, the timing and the size of the action, based on the sensing result of the sensor unit 310. Action information may be generated. For example, user 40 ⁇ 2020/174 925 10 boxes (: 170? 2020 /001554
  • the action determination unit 320 determines the size, direction, start timing, and duration of the jump of the user 40 based on the sensing result of the sensor unit 310, and outputs the determined information.
  • Action information including may be generated.
  • the action determination unit 320 determines the movement of the arm, leg, head or body of the user 40 based on the sensing result of the sensor unit 310. The timing and size may be determined. In such a case, the action determination unit 320 may generate information representing the body of the user 40 with a bone-shaped skeleton as action information. Furthermore, the action determination unit 320 may use the sensing result of the sensor unit 310 as it is as action information.
  • the communication unit 330 includes a communication interface connectable to the network 50, and transmits/receives action information to/from the information processing server 10 or another terminal device 30. Specifically, the communication unit 330 transmits the action information generated by the action determination unit 320 to the information processing server 10, and the action of another user generated by the other terminal device 30 from the information processing server 10. Receive information.
  • the communication unit 330 is not particularly limited in its communication method as long as it can transmit and receive signals and the like to and from the network 50 in accordance with a predetermined protocol such as TCP/ ⁇ P.
  • the communication unit 330 includes a communication interface for mobile communication or data communication such as 3G, 40 or !_ Ding (Long Term Evolution) so that the communication unit 330 can be connected to the network 50 by these communication. It may be possible.
  • the communication unit 330 may be connectable to the network 50 via another information processing device.
  • the communication unit 330 is for a wireless LAN (L ⁇ ca IA area N wo wo rk), W i —F i (registered trademark), BI uet ⁇ oth (registered trademark) or WU SB (W ireless US B).
  • W i —F i registered trademark
  • BI uet ⁇ oth registered trademark
  • WU SB W ireless US B
  • the information processing device that performs oral communication with the terminal device 30 is connected to the network 50 so that the terminal device 30 and the information processing server 10 or another terminal device 30 are connected. Send and receive action information between the terminal device 30 and the information processing server 10 or another terminal device 30 are connected.
  • the synchronization determination unit 340 determines the temporal match between the action performed by the user 40 and the action performed by another user. Specifically, when the user 40 performs an action, the synchronization determination unit 340 compares the action information of the user 40 with the action information of another user received by the communication unit 340. , Determine whether the timing of the actions of the user 40 and other users match (that is, whether they are synchronized).
  • the synchronization determination unit 340 synchronizes the actions of the user 40 and the other user. You may judge that there is. More specifically, the synchronization determination unit 340 determines whether or not the timing of the start or end of the action is within the threshold time between the user 40 and another user, and the user 40 and the other It may be determined whether the user actions are synchronized. For example, when the action of the user 40 is a simple action such as a jump, the synchronization determination unit 340 compares the timing at which the action is performed (that is, the timing of the beginning of the action), and the user 4 It is possible to determine whether 0 and the actions of other users are synchronized.
  • the synchronization determination unit 340 determines that the difference between the magnitude and timing of the posture change during the action of the user 40 and the magnitude and the timing of the posture change during the action of another user is less than or equal to the threshold value. In some cases, it may be determined that the actions of user 40 and other users are synchronized. More specifically, the synchronization determination unit 340 determines whether or not the difference in the magnitude and timing of the movement of the arm, leg, head, or body in the actions performed by the user 40 and the other user is less than or equal to a threshold. By determining whether or not the actions of the user 40 and other users are synchronized, it may be determined. Alternatively, the synchronization determination unit 340 is performed by the user 40 and other users. ⁇ 2020/174 925 12 boxes (: 170? 2020 /001554
  • the synchronization determination unit 340 directly compares the sensing result of the sensor unit 310 with the sensing result of the sensor unit of the other terminal device 30 so that the user 40 and other user's It may be determined whether the actions are synchronized. More specifically, the synchronization determination unit 340 determines the magnitude and timing of the sensing result of the action of the user 40 (that is, the raw value of the sensor output) and the sensing result of the action of another user. It may be determined whether or not the actions of the user 40 and the other user are synchronized by determining whether or not the difference between the size and the timing is less than or equal to the threshold value.
  • the synchronization determination unit 340 may determine that the actions of the user 40 and other users are synchronized when the actions of two or more users 40 are synchronized, but according to the present disclosure The technology is not limited to such an example. For example, the synchronization determination unit 340 may determine that the actions of the user 40 and other users are synchronized only when the actions of the user 40 that are equal to or greater than the threshold value are synchronized. Further, the synchronization determination unit 340 may determine that the actions of the user 4 0 and other users are synchronized when the actions of the user 4 0 that are equal to or larger than the threshold ratio in the same group are synchronized.
  • the voice control unit 350 controls the voice presentation unit 360 so as to present a voice to the user 40 in response to the action of the user 40. For example, when the action of the user 40 is a jump, the voice control unit 350 causes the voice presentation unit 3 50 to present the sound effect to the user 40 at each timing of jump jump and landing. 60 may be controlled. Alternatively, the voice control unit 350 may select the user 4 based on the jump operation parameters such as jump jump momentum. ⁇ 2020/174 925 13 ⁇ (: 170? 2020 /001554
  • the voice control unit 350 may control the voice presentation unit 360 so as to present a voice to the user 40 in response to the action of another user.
  • the voice controlled by the voice control unit 350 may be a voice stored in the terminal device 30 in advance, or may be a voice picked up by the terminal device 30. For example, when the action of the user 40 is a jump, the terminal device 30 collects the landing sound of the jumping user 40 and controls the collected landing sound by the voice control unit 350. Good. At this time, the voice control unit 350 may use the collected voice as it is for control, or may use the voice processed by applying an effect or the like for control.
  • the voice control unit 305 based on the determination of the synchronization determination unit 340, the voice presented to the user 40 corresponding to the action of the user 40. To control. Specifically, when the synchronization determination unit 340 determines that the actions of the user 40 and the other user are synchronized, the voice control unit 340 responds to the action of the user 40. The voice presented to the user 40 may be changed.
  • FIG. 5 is a graph diagram showing in parallel the sensor output for detecting the actions of the user 8 and the user Minami, and the audio output presented to the user Minami.
  • the terminal device 30 outputs a sound effect in response to the jumps of the user Hatsumi and Mami.
  • the volume of the voice output in ⁇ 1 may be controlled to be higher than the volume of the voice output in the timing 3 in which only User Mimi is jumping. Further, the voice control unit 350 determines the duration or pitch of the voice at the timing I when the user 8 and the user M. jump at approximately the same time and the timing 13 when only the user M. jumps. The height of the sound may be controlled, and the addition of the effect sound to the sound may be controlled.
  • FIG. 6 shows an example of a voice waveform controlled by the voice control unit 350.
  • FIG. 6 An example of a voice waveform when only the user 40 takes an action (for example, a jump) is shown by 8 and an example of the voice waveform when only another user takes an action is shown by a symbol
  • An example of the voice waveform when the user 40 and the other user perform the actions at substantially the same time is shown by ⁇ , and an example of the voice waveform when the other users perform the action at the substantially same time is shown by the mouth.
  • the voice waveform 8 in the case where only the user 40 performs the action is the reference
  • the voice waveform in the case where only the other user performs the action is smaller than the voice waveform 8.
  • the amplitude may be controlled.
  • the voice waveform when only another user performs an action the high frequency component is reduced, the duration is shortened, the localization is distant, or the reverb ( Reverberation) may be applied.
  • the voice waveform ⁇ 3 when the user 40 and the other user take actions at substantially the same time may be controlled to have an amplitude larger than that of the voice waveform 8.
  • the voice waveform ⁇ when the user 40 and another user take actions at substantially the same time is longer than the voice waveform, the playback speed is slower, or the landing sound of jump, the sound of the ground, It may be controlled to add a sound effect such as a falling sound or a cheering sound.
  • the voice waveform mouth when multiple other users perform actions at approximately the same time is the voice waveform when the other users only perform the action, and when the user 40 and other users perform the actions at approximately the same time. It may be controlled to have an intermediate waveform with respect to the voice waveform mouth. ⁇ 2020/174 925 15 ⁇ (: 170? 2020 /001554
  • FIGS. 7 and 8 are graphs showing in parallel the sensor outputs for detecting the actions of the user 8 and the user, and the voice output presented to the user 8.
  • the terminal device 30 outputs a sound effect corresponding to the jumps of the user 8 and Mami.
  • the voice control unit 350 can control the voice presentation unit 360 so as to present the voice when the actions of a plurality of users are synchronized, corresponding to the action of the user 8.
  • the voice control unit 350 first controls the voice presentation unit 360 so as to present the voice when only the user 8 takes action in response to the action of the user 8. After that, if it is recognized that the other user Minami has performed an action within the threshold time, the voice control unit 350 will superimpose it on the voice when only the user eight takes action, and The voice presentation unit 360 is controlled so as to present the voice when the actions of are synchronized.
  • the voice control unit 350 is configured to present the voice corresponding to the action of the user 8 before confirming whether or not the other user Minami has performed the action within the threshold time.
  • the voice presentation unit 360 can be controlled. Therefore, the voice control unit 350 can prevent the timing of presenting the voice from deviating from the action timing of the user 40.
  • the synchronization determination unit 340 determines whether or not the user 40 and the other user's actions are different depending on the magnitude of the change in posture and the timing difference between the user 40 and the other user during action. ⁇ 2020/174 925 16 ⁇ (: 170? 2020 /001554
  • the voice control unit 350 may control the voice presented to the user 40 based on the size of the posture change and the timing difference during the action. Specifically, when the action of the user 40 is a complicated action such as dance, the voice control unit 350 causes the posture change of the other user who is the teacher during the action and the posture of the user 40 during the action. By reflecting the difference from the change in the voice, the appropriateness of the movement can be presented to the user 40.
  • the voice control unit 350 when the difference between the posture change of the other user who is the teacher during the action and the posture change of the user 40 during the action is small, the voice control unit 350 has a larger volume and a longer duration.
  • the voice presentation unit 360 may be controlled so as to present to the user 40 a voice that is long or has an additional sound effect added.
  • the voice control unit 350 outputs a louder voice to the user 40.
  • the audio presentation unit 360 may be controlled so that the audio presentation is presented.
  • the voice control unit 350 compares the posture changes of the plurality of other users during the action with the posture changes of the user 40 during the action, and compares the posture changes of the user 40 and the plurality of other users during the actions.
  • the voice presenting unit 360 may be controlled to present a louder voice to the user 40 when the degree of matching of posture changes is higher.
  • FIG. 8 is a graph showing an example of the sensing result of the actions of the user 40 and the other user who is the teacher.
  • FIG. 9 is an explanatory diagram illustrating a method of controlling the voice presented to the user 40 based on the difference between the actions of the user 40 and the other user, and FIG. 10 and FIG. It is explanatory drawing explaining the specific method of controlling the audio
  • the parameter on the vertical axis shown in FIG. 8 is a parameter obtained by converting the value of the sensor that senses the movements of the user 40 and the other user, and is, for example, the parameter of the arm angle of the user 40 and the other user.
  • the voice control unit 350 can control the voice presented to the user 40 based on the difference between the motion of the user 40 and the other user at the time when the user 40 or the other user is moving. it can. According to this, the voice control unit 350 can continuously control the voice presented to the user 40.
  • the voice control unit 350 determines the parameter of the angle of the arm or the like converted from the sensor value that detects the actions of the user 40 and other users. Compare between 40 and other users. Accordingly, the voice control unit 350 can detect the deviation amount and the difference in size of the posture change during the action between the actions of the user 40 and the other user. The voice control unit 350 presents to the user 40 by using the detected difference in the size of the posture change during the action (sound parameter a) and the deviation amount (sound parameter b) as the voice modulation parameter. You can control the voice that you play.
  • the voice control unit 350 determines the magnitude of the posture change at the time of action.
  • the difference (sound parameter a) may be used as a parameter for controlling the amplitude of the speech waveform.
  • the voice control unit 350 may use the action shift amount (sound parameter b) as a parameter for controlling the filter function that acts on the voice waveform.
  • the voice control unit 350 determines the magnitude of the posture change during action.
  • the difference (sound parameter a) may be used as a parameter to control the frequency and amplitude of the FM sound source.
  • the voice control unit 350 determines the amount of action deviation (sound parameter b) by FM modulation of the FM sound source. ⁇ 2020/174 925 18 ⁇ (: 170? 2020 /001554
  • the voice control unit 350 presents a soft voice sound when the amount of deviation between the actions of the user 40 and the other user is small, and when the amount of deviation between the actions of the user 40 and the other user is large. It is possible to control the voice presentation unit 360 so that a voice with a hard tone color is presented.
  • the voice control unit 350 determines that the amount of action deviation (sound parameter 13) is 0. Good too.
  • the voice control unit 350 determines the shift amount of the action (sound parameter 13) as it is as the modulation parameter of the voice. It may be reflected as such.
  • the voice presentation unit 360 includes a voice output device such as a speaker or a headphone, and presents voice to the user 40. Specifically, the voice presentation unit 360 may convert the audio signal of the voice data controlled by the voice control unit 350 into an analog signal and output it as voice.
  • the terminal device 30 may present the user 40 with further output. For example, when the actions of a plurality of users are synchronized, the terminal device 30 may control the display unit to display a predetermined image. Further, the terminal device 30 may control the content so that the story development of the content changes when the actions of a plurality of users are synchronized.
  • the communication unit 110 includes a communication interface connectable to the network 50 and transmits/receives action information to/from the terminal device 30. Specifically, the communication unit 110 transmits the action information transmitted from the terminal device 30 to another terminal device. ⁇ 2020/174 925 19 ⁇ (: 170? 2020/001554
  • the communication unit 110 is not particularly limited in communication method as long as it can send and receive signals and the like to and from the network 50 in accordance with a predetermined protocol such as TC P/ ⁇ P. ..
  • the communication unit 110 can be connected to the network 50 by including a communication interface for mobile communication or data communication such as 3G, 40 or !_ Ding (Long Term Evolution). It may be.
  • the communication control unit 130 controls to which terminal device 30 the received action information is transmitted. Specifically, the communication control unit 130 controls the communication unit 110 so as to transmit the action information to the terminal device 30 of the user who belongs to the same group as the user 40 corresponding to the received action information. To do. According to this, the terminal device 30 can determine the temporal coincidence of the actions of the users 40 belonging to the same group.
  • the group to which the user 40 belongs is created by the group creating unit 120 described later.
  • the group creation unit 120 includes users 4 who exchange action information with each other.
  • the group creation unit 120 sends and receives action information to and from each other by grouping users who are in the same area, experience the same content, use the same application, or use the same device. You may create a group of 40 matching users.
  • the group creation unit 1 20 may be grooving to the group in advance same _ of the user 40 you are at the same time experience the same content.
  • the group creation unit 120 may group the users 40 who are using the dedicated device or the dedicated application into the same group.
  • the group creation unit 120 may group the users 40 who experience the same content via the network 50 into the same group.
  • the group creation unit 120 may use the G N S S (G l o b a
  • Location information e.g. IN avigation Satell system
  • network of mobile communication networks such as 3G, 4G, LTE or 5G.
  • 3G, 4G, LTE or 5G ⁇ 2020/174 925 20 boxes (: 170? 2020/001554
  • the position of the terminal device 30 may be determined by using the network information or the beacon, and the users 40 existing in the same area may be grouped into the same group.
  • the group creation unit 1 20, a User _ The 40 existing in the same area in a virtual location information in the virtual space may be grooving on the _ group. Further, the group creation unit 120 may group the users 40 existing in the same area discovered by the P 2 P communication between the terminal devices 30 into the same group.
  • the group creating section 120 may group the users 40 who have made the same gesture within the predetermined time into the same group, or may group the users 40 that have detected the same sound into the same group.
  • the user 40 who has photographed the same subject for example, a specific identification image such as a two-dimensional code
  • the group creation unit 120 may group the user 40 in advance by using a friendship that can be detected from S N S (S o c i a l N e t w o r k i n g S e r v i c e). In such a case, the group creation unit 120 may automatically create a group by acquiring the account information of the user 40 in SNS. In addition, when the group creation unit 120 automatically creates a group, the group creation unit 120 may present the group to which the user 40 belongs to the terminal device 30 owned by the user 40 by voice or image.
  • FIGS. 11 to 13 are flowcharts illustrating an example of the operation flow of the information processing system according to an embodiment of the present disclosure.
  • the operation flow shown in FIG. 11 is an operation example when the action information of another user is received before the action information of the user 40 is detected. ⁇ 2020/174 925 21 ⁇ (: 170? 2020 /001554
  • the communication unit 330 receives the action information of another user from the information processing server 10, and (31 01), and the synchronization determination unit 340 generates the action time of another user. Is set to 0 (31 02). After that, based on the sensing result of the sensor unit 310, the action determination unit 320 detects the action of the user 40 (31 03), and the synchronous determination unit 340 sets the action occurrence time of the user 40 to 1:1. Be done (31 04).
  • the synchronization determination unit 340 determines whether or not the ratio of 1: 1 — 0 (absolute value of difference between 1:1 and 1:0) is less than or equal to a threshold value (31 05).
  • the voice control unit 350 controls the voice presentation unit 360 to present the user 40 with the corresponding sound effect when the actions of multiple people are synchronized ( 31 06).
  • the voice control unit 350 presents a voice effect so as to present to the user 40 a sound effect corresponding to one action.
  • the operation flow shown in FIG. 12 is an operation example when the action information of the user 40 is detected before the action information of the other user is received.
  • the action determination unit 320 detects the action of the user 40 (3 1 1 1), and the synchronization determination unit 340 causes the user determination.
  • the occurrence time of the action in 40 is set to 1:1 (31 1 2).
  • the voice control unit 350 first controls the voice presentation unit 360 so as to present the user 40 with the sound effect corresponding to the action of one person (31 13).
  • the communication unit 330 receives the action information of another user from the information processing server 10, and (31 14)
  • the synchronization determination unit 340 sets the action occurrence time of another user to 1 2 (31 1 5).
  • the synchronization determination unit 340 determines that the absolute difference between the 1 1 2 ⁇ I 1 2 and 1 1 1 ⁇ 2020/174 925 22 ⁇ (: 170? 2020 /001554
  • the voice control unit 350 If the value is less than or equal to the value (31 16/63), the voice control unit 350 superimposes the sound effect corresponding to the action of multiple people on the effect sound corresponding to the action of one user.
  • the voice presentation unit 360 is controlled so as to be presented to 40 (31 17).
  • ⁇ I 2 _ I 1 ⁇ is not less than the threshold (31 16/N0)
  • the voice control unit 350 presents the sound effect corresponding to one action to the user 40, and then the voice presentation unit 360 Control ends.
  • the operation example shown in FIG. 13 is an operation example which is not limited to after detecting the action information of the user 40 and receiving the action information of the other user.
  • the user 40 first wears the headphone which is the terminal device 30 (3201).
  • the terminal device 30 starts the operation of presenting a voice corresponding to the action of the user 40. That is, the terminal device 30 determines whether or not the action determination unit 320 detects the action of the user 40 or the communication unit 330 receives the action information of another user (3202). When neither has occurred (3202/N0), the terminal device 30 continues to execute the operation of step 3202.
  • the synchronization determination unit 340 determines whether or not the action information of another user is received within a predetermined time (3203). ..
  • the audio controller 350 When receiving the action information of the other users within a predetermined time (3203 / ⁇ 6 3), the audio controller 350, urchin by presenting the sound effect corresponding to a case where a plurality of persons actions synchronized with the user 40
  • the voice presentation unit 360 is controlled (3206).
  • the voice control unit 350 causes the user 40 to present the sound effect corresponding to one action. Control the voice presentation unit 360 (3205).
  • step 3202 the action information of another user is received. ⁇ 2020/174 925 23 ⁇ (: 170? 2020 /001554
  • the synchronization determination unit 340 determines whether or not the action of the user 40 is detected within a predetermined time (3
  • the voice control unit 350 When the action of the user 40 is detected within the predetermined time (3 2 0 4 / ⁇ 3), the voice control unit 350 outputs the sound effect corresponding to the case where the actions of multiple users are synchronized. To control the audio presentation unit 360 to present (
  • the voice control unit 350 operates without displaying the sound effect to the user 40. finish.
  • the terminal device 30 determines whether or not it has been detected that the user 40 has removed the headphone which is the terminal device 30 (3207), and the user 40 has the headphone. until it is determined that the removed (3 2 0 7 / ⁇ 6 3) executes the operation of step 3 2 0 2.
  • the terminal device 30 terminates the operation of presenting the voice corresponding to the action of the user 40.
  • the third operation example the fact that the user 40 has removed the headphone which is the terminal device 30 is used for the end of the flowchart, but the third operation example is not limited to the above example.
  • the user 40 terminates the application for experiencing the content, the user 40 activates another application such as a call or a message transmission/reception, Being in a different group, having the user 40 leave the predetermined area, having completed the content experience due to the passage of a predetermined period of time or the establishment of a predetermined condition, or of the group to which the user 40 belongs. It may also be terminated by a member instructing termination.
  • FIG. 14 is an explanatory diagram illustrating a period in which the information processing system according to the present embodiment determines synchronization between users.
  • FIG. 14 the terminal device 3 in which the user 8 is an earphone or a headphone type is shown. ⁇ 2020/174 925 24 (: 170? 2020 /001554
  • the period during which 0 is worn is indicated by Machihachi, and the period during which the action of User 8 is detected is indicated by 08.
  • the period during which the user Mimi is wearing the earphone or headphone type terminal device 30 is indicated by Mitsumi, and the period during which the action of the user Mimi is detected is indicated by Mitsumi.
  • the period during which the information processing system according to the present embodiment determines the synchronization between the users is the period during which the actions of the user 8 and the user Min can be simultaneously detected.
  • the period T s y n c for determining the synchronization between the users is a period in which the period 08 for detecting the action of the user 8 and the period 0 for detecting the action of the user overlap.
  • the period for detecting the action of the user 40 may be set based on the story development of the content, and is set by the user 40 performing the start operation and the end operation on the terminal device 30. Good. Also, the start and end of the period for detecting the action of the user 40 may be set by each of the users 40 possessing the terminal device 30, and based on an instruction from a specific user 40 in the group. May be collectively set for users 40 in the group, or may be collectively set for users 40 in a predetermined area based on an external instruction such as a beacon.
  • FIG. 15 is an explanatory diagram illustrating a modified example of the information processing system according to the present embodiment.
  • the information processing server 10 transmits an instruction of a predetermined action (for example, jumping) to the user and the terminal device 30 possessed by Mami. ..
  • a predetermined action for example, jumping
  • the information processing server 10 ⁇ 2020/174 925 25 boxes (: 170? 2020 /001554
  • the terminal devices 30 owned by the users A and B respectively present the sounds corresponding to the predetermined action to the users A and B, respectively. If either user A or B does not take the specified action up to time t + n, the information processing server 10 cancels the occurrence of the event corresponding to the specified action.
  • the action information is not shared between the terminal devices 30 owned by the users A and B, respectively.
  • the audio is presented in synchronization with each of the terminal devices 30 owned by the users A and B, respectively.
  • the information processing system according to the present modification can provide simultaneous content to a plurality of users without sharing information between the terminal devices 30.
  • FIG. 16 is a block diagram showing an example of hardware of the information processing device 900 configuring the information processing server 10 or the terminal device 30 according to an embodiment of the present disclosure.
  • the information processing executed by the information processing server 10 or the terminal device 30 is realized by the cooperation of the hardware and software described below.
  • the information processing apparatus 900 includes, for example, a CPU (Centra IP rocessing Unit) 901, a ROM (Read Only Memory) 902, and a RAM (R and om Ac cess Memory) 903, bridge 907, host bus 905, external bus 906, interface 908, input device 9 1 1, output device 9 1 2, storage device 9 1 3 and drive 9 1 4, a connection port 9 15 and a communication device 9 16.
  • a CPU Central IP rocessing Unit
  • ROM Read Only Memory
  • RAM Ram Ac cess Memory
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation of the information processing apparatus 900 according to a program stored in the ROM 902 or the like.
  • the ROM 902 stores the programs and calculation parameters used by the CPU 901, and the RAM 903 temporarily stores the program used during the execution of the CPU 901 and parameters that change appropriately during the execution.
  • the CPU 901 may function as, for example, the action determination unit 320, the synchronization determination unit 340, and the voice control unit 350, or may function as the group creation unit 120 and the communication control unit 1 30.
  • the CPU 901, the ROM 902, and the RAM 903 are connected to each other by a host bus 905 including a CPU bus and the like.
  • the host bus 905 is connected via a plug 907 to an external bus 906 such as a PC I (Perip phe r a l Com p o n e n t I n t e r c o n n e c t/ l n t e r f a c e) bus.
  • the host bus 905, the plug 907, and the external bus 906 do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 9 11 is an input device to which information such as various sensors, a touch panel, a keyboard, a button, a microphone, a switch or a lever is input, and an input signal is generated based on the input, and is output to the CPU 902. And an input control circuit for The input device 9 11 may function as the sensor unit 3 10 for example.
  • the output device 9 12 is a device capable of visually or audibly notifying the user of information.
  • the output device 9 1 2 is, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display device, or a plasma display.
  • the output device 9 12 may function as the audio presentation unit 360. ⁇ 2020/174 925 27 ⁇ (: 170? 2020 /001554
  • the storage device 9 13 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 9 13 may be realized by, for example, a magnetic storage device such as an HDD (Har d D i sk D r i v e), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 9 13 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deleting device that deletes the data recorded in the storage medium. ..
  • the storage device 9 13 may store programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 9 14 is a reader/writer for a storage medium.
  • the drive 9 14 reads out information stored in a removable storage medium such as various optical disks or semiconductor memory inserted in the drive 9 14 and outputs it to the RAM 903.
  • the drive 9 14 can also write information to a removable storage medium.
  • connection port 9 15 is an interface connected to an external device.
  • the connection port 9 15 is a connection port capable of transmitting data with an external device, and may be, for example, US B (U n i v e r s a l S e r i a l B u s).
  • the communication device 9 16 is, for example, an interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 9 16 may be, for example, a wired or wireless LAN (Local Area N et wo rk), LTE (Long Term Evolution), Bluetooth (registered trademark), or WU SB (Wireless US B). ) For communication.
  • the communication device 9 16 may be a router for optical communication, a router for ADS L (Asymmetric Symmetric Subscriber Line), a modem for various communications, or the like.
  • the communication device 9 16 can send and receive signals and the like to and from the Internet or another communication device, for example, according to a predetermined protocol such as TC P/ ⁇ P.
  • the communication device 9 16 may function as the communication unit 110, 330. ⁇ 2020/174 925 28 ⁇ (: 170? 2020 /001554
  • the information processing device 900 has a built-in ⁇ II,
  • the terminal device 30 controls the audio presentation, but the technique according to the present disclosure is not limited to such an example.
  • the terminal device 30 may control vibration presentation.
  • An action judgment unit that judges the action taken by the user based on the sensing result by the sensor
  • a communication unit that receives information about an action performed by another user, a synchronization determination unit that determines a temporal match between the action performed by the user and the action performed by the other user,
  • An information processing apparatus comprising: a voice control unit that controls a voice presented corresponding to an action performed by each of the user and the other user based on the determination by the synchronization determination unit. 20/174925 29 ⁇ (: 170? 2020 /001554
  • the synchronization determination unit determines that the actions of the user and the other user are synchronized. Information processing device according to 1).
  • the information processing apparatus wherein the voice control unit changes the presented voice based on whether or not the actions of the user and the other user are synchronized.
  • the information processing apparatus controls at least one of duration, volume, pitch, and additional sound of the presented voice.
  • the voice control unit is more effective than when the actions of the user and the other user are not synchronized, the duration of the presented voice, the volume, or The information processing device according to (3) or (4), wherein the voice is controlled so that a pitch becomes louder.
  • the voice In response to the action of the user, after presenting a voice when the actions of the user and the other user are asynchronous, it is determined that the actions of the user and the other user are synchronized, the voice
  • the control unit controls the voice so that the voice when the actions of the user and the other user are synchronized is superimposed on the voice in the case of the non-synchronization, and the voice is described in (5) above.
  • Information processing device In response to the action of the user, after presenting a voice when the actions of the user and the other user are asynchronous, it is determined that the actions of the user and the other user are synchronized, the voice
  • the control unit controls the voice so that the voice when the actions of the user and the other user are synchronized is superimposed on the voice in the case of the non-synchronization, and the voice is described in (5) above.
  • Information processing device In response to the action of the user, after presenting a voice when the actions of the user and the other user are asynchronous, it is determined that the actions of the
  • the voice presented in response to the action of the other user is shorter in duration, volume, or pitch of the voice than the voice presented in response to the action of the user, (1) to (1) to The information processing device according to any one of (6).
  • the information processing device according to any one of (1) to (7), wherein the sensor is provided in a wearable device worn by the user.
  • the information processing device according to (8), wherein the voice control unit generates the voice to be presented by modulating the voice collected by the wearable device.
  • the synchronization determination unit determines a temporal match between an action performed by the user and an action performed by the other user belonging to the same group as the user. Any one of (1) to (9) above.
  • the information processing device according to claim 1.
  • the synchronization determination unit When the difference between the magnitude and timing of the posture change during the action of the user and the magnitude and the timing of the posture change during the action of the other user is less than or equal to a threshold value, the synchronization determination unit The information processing apparatus according to (1), wherein it is determined that the actions of the other user are synchronized.
  • the synchronization determination unit determines the difference in the magnitude and timing of at least one movement of the arm, leg, head, or body of the user and the other user, and the synchronization determination unit according to (1 2) above.
  • Information processing device determines the difference in the magnitude and timing of at least one movement of the arm, leg, head, or body of the user and the other user, and the synchronization determination unit according to (1 2) above.
  • the voice control unit controls the waveform of the presented voice based on a posture change and a timing difference between the user and the other user at the time of an action, described in (1 2) or (1 3) above.
  • Information processing equipment
  • the information processing device wherein the voice control unit controls a frequency, an amplitude, or a timbre of the presented voice.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

センサによるセンシング結果に基づいて、ユーザが行ったアクションを判断するアクション判断部と、他ユーザが行ったアクションに関する情報を受信する通信部と、前記ユーザが行ったアクションと、前記他ユーザが行ったアクションとの時間的な一致を判断する同期判断部と、前記同期判断部の判断に基づいて、前記ユーザ及び前記他ユーザの各々が行ったアクションに対応して提示される音声を制御する音声制御部と、を備える、情報処理装置。

Description

〇 2020/174925 1 卩（：170? 2020 /001554
明 細 書 発明の名称 二人のユーザの同時アクションにより音声を制御する
情報処理装置
技術分野
[0001 ] 本開示は、 情報処理装置、 及び情報処理方法に関する。 背景技術
[0002] 近年、 情報処理装置には、 多様なセンサが搭載されるようになっている。
例えば、 ューザのジェスチャ又はアクションを検出するために、 情報処理装 置には、 ジャイロセンサ又は加速度センサが搭載されるようになっている。
[0003] 下記の特許文献 1 には、 ジャイロセンサ又は加速度センサを備えることで 、 ジェスチヤに基づいて操作を行うことが可能な情報処理装置が開示されて いる。
先行技術文献 特許文献
[0004] 特許文献 1 :特開 2 0 1 7 - 2 0 7 8 9 0号公報 発明の概要 発明が解決しようとする課題
[0005] 特許文献 1 に開示される情報処理装置は、 ユーザの多様なジェスチャ又は アクションを検出することが可能である。 また、 特許文献 1 に開示される情 報処理装置は、 通信機能を備える。 したがって、 このような情報処理装置を さらに検討することによって、 複数のユーザのジェスチャ又はアクションを 用いた双方向的な新たなエンターテイメントを構築することができる可能性 がある。
課題を解決するための手段
[0006] 本開示によれば、 センサによるセンシング結果に基づいて、 ユーザが行っ たアクションを判断するアクション判断部と、 他ユーザが行ったアクション に関する情報を受信する通信部と、 前記ユーザが行ったアクションと、 前記 他ユーザが行ったアクションとの時間的な一致を判断する同期判断部と、 前 〇 2020/174925 2 卩（：170? 2020 /001554
記同期判断部の判断に基づいて、 前記ユーザ及び前記他ユーザの各々が行っ たアクションに対応して提示される音声を制御する音声制御部と、 を備える 、 情報処理装置が提供される。
［0007］ また、 本開示によれば、 演算処理装置によって、 センサによるセンシング 結果に基づいて、 ユーザが行ったアクションを判断することと、 他ユーザが 行ったアクションに関する情報を受信することと、 前記ユーザが行ったアク ションと、 前記他ユーザが行ったアクションとの時間的な一致を判断するこ とと、 前記判断に基づいて、 前記ユーザ及び前記他ユーザの各々が行ったア クションに対応して提示される音声を制御することと、 を含む、 情報処理方 法が提供される。
発明の効果
［0008］ 以上説明したように本開示に係る技術によれば、 複数のユーザのジェスチ ャ又はアクションを用いた双方向的な新たなエンターテイメントを構築する ことができる。
図面の簡単な説明
［0009］ ［図 1］本開示の一実施形態に係る情報処理システムの一例を示す説明図である
［図 2八］ユーザのアクションを検出するためのセンサの一例を示す説明図であ る。
［図 28］ユーザのアクションを検出するためのセンサの一例を示す説明図であ る。
［図 2（：］ユーザのアクションを検出するためのセンサの一例を示す説明図であ る。
［図 3］図 1で示す情報処理システムにおける情報のやり取りを示す説明図であ る。
［図 4］本開示の一実施形態に係る情報処理システムの構成例を示すブロック図 である。
［図 5］ユーザ八及びユーザ巳のアクションを検出するセンサ出力と、 ユーザ巳 20/174925 3 卩（：170? 2020 /001554
に提示される音声出力とを並列に示したグラフ図である。
［図 6］音声制御部によって制御された音声波形の一例をユーザ及び他ユーザの 組み合わせごとに示したグラフ図である。
［図 7八］ユーザ八及びユーザ巳のアクションを検出するセンサ出力と、 ユーザ 八に提示される音声出力とを並列に示したグラフ図である。
［図 78］ユーザ八及びユーザ巳のアクションを検出するセンサ出力と、 ユーザ 八に提示される音声出力とを並列に示したグラフ図である。
［図 8］ユーザ及び教師である他ユーザのアクションのセンシング結果の一例を 示すグラフ図である。
［図 9］ユーザ及び他ユーザのアクションの差に基づいてユーザに提示される音 声を制御する方法を説明する説明図である。
［図 10八］ユーザ及び他ユーザのアクションの差に基づいてユーザに提示される 音声を制御する具体的な方法を説明する説明図である。
［図 108］ユーザ及び他ユーザのアクションの差に基づいてユーザに提示される 音声を制御する具体的な方法を説明する説明図である。
［図 1 1］本開示の一実施形態に係る情報処理システムの動作の流れの一例を説 明するフロ _チヤ _卜図である。
［図 12］本開示の一実施形態に係る情報処理システムの動作の流れの一例を説 明するフロ _チヤ _卜図である。
［図 13］本開示の一実施形態に係る情報処理システムの動作の流れの一例を説 明するフロ _チヤ _卜図である。
［図 14］本開示の一実施形態に係る情報処理システムがユーザ間の同期を判断 する期間を説明する説明図である。
［図 15］本開示の一実施形態に係る情報処理システムの変形例を説明する説明 図である。
［図 16］本開示の一実施形態に係る情報処理サーバ又は端末装置を構成する情 報処理装置の/ \—ドウエアの一例を示したブロック図である。
発明を実施するための形態 〇 2020/174925 4 卩（：170? 2020 /001554
[0010] 以下に添付図面を参照しながら、 本開示の好適な実施の形態について詳細 に説明する。 なお、 本明細書及び図面において、 実質的に同一の機能構成を 有する構成要素については、 同一の符号を付することにより重複説明を省略 する。
[001 1 ] なお、 説明は以下の順序で行うものとする。
1 . 本開示に係る技術の概略
2 . 構成例
3 . 動作例
4 . 変形例
5 . ハードゥエァ構成例
[0012] < 1 . 本開示に係る技術の概略 >
まず、 図 1〜図 3を参照して、 本開示に係る技術の概略について説明する 。 図 1は、 本開示の一実施形態に係る情報処理システムの一例を示す説明図 である。
[0013] 図 1 に示すように、 本開示の一実施形態に係る情報処理システムは、 複数 のユーザ 4 0八、 4 0巳にそれぞれ所持される端末装置 3 0八、 3 0巳と、 該複数のユーザ 4 0 、 4 0巳にそれぞれ所持される情報処理装置 2 0八、 2 0巳と、 ネッ トヮーク 5 0を介して情報処理装置 2 0 、 2 0巳と接続す る情報処理サーバ 1 〇と、 を備える。
[0014] なお、 端末装置 3 0 は、 情報処理装置 2 0 と同じユーザ 4 0 に所持 されており、 端末装置 3 0巳は、 情報処理装置 2 0巳と同じユーザ 4 0巳に 所持されているものとする。 また、 以下では、 ユーザ 4 0八、 4 0巳をまと めてユーザ 4 0とも称し、 端末装置 3 0 、 3 0巳をまとめて端末装置 3 0 とも称し、 情報処理装置 2 0 、 2 0巳をまとめて情報処理装置 2 0とも称 する。
[0015] なお、 以降の図 1及び図 3では、 端末装置 3 0及び情報処理装置 2 0を所 持するユーザ 4 0としてユーザ 4 0八、 4 0巳のみを示すが、 ユーザ 4 0の 数は特に限定されない。 ユーザ 4 0の数は 3以上であってもよい。 〇 2020/174925 5 卩（：170? 2020 /001554
[0016] 本開示の一実施形態に係る情報処理システムは、 ユーザ 4 0のアクション に対応して端末装置 3 0にてユーザに音声を提示するシステムである。 特に 、 本開示の一実施形態に係る情報処理システムでは、 ユーザ 4 0のアクショ ンが他ユーザのアクションと時間的に同期して行われたか否かに基づいて、 端末装置 3 0にて出力される音声を制御する。 これによれば、 情報処理シス テムは、 音声提示の様態によって、 ユーザ 4 0が行うアクションに他ユーザ との双方向性を持たせることができるため、 より双方向性の高いコンテンツ を実現することが可能である。
[0017] 端末装置 3 0は、 ユーザ 4 0のアクションを検出するためのセンサと、 音 声を再生するスピーカとを備える情報処理装置である。
[0018] 端末装置 3 0は、 センサのセンシング結果に基づいてユーザ 4 0のアクシ ョンを検出し、 ユーザ 4 0のアクションに対応した音声をユーザに提示する 。 また、 端末装置 3 0は、 ユーザ 4 0が行ったアクションに関する情報を情 報処理装置 2 0に送信し、 かつネッ トワーク 5 0を介して他ユーザのアクシ ョンに関する情報を受信する。 これによれば、 端末装置 3 0は、 ユーザ 4 0 のアクションと、 他ユーザのアクションとが時間的に一致していた場合にユ —ザ 4 0に提示する音声を変更することで、 ユーザ 4 0が行うアクションに ユーザ 4 0との双方向性を持たせることができる。
[0019] 端末装置 3 0は、 例えば、 ユーザ 4 0の身体のいずれかに装着されるウェ アラブル端末である。 具体的には、 端末装置 3 0は、 ユーザ 4 0の耳に装着 されるへッ ドフォン又はイヤフォン型のウェアラブル端末、 ユーザ 4 0の顏 面に装着されるメガネ型のウェアラブル端末、 ユーザ 4 0の胸などに装着さ れるバッジ型のウェアラブル端末、 又はユーザ 4 0の手首等に装着される腕 時計型のウェアラブル端末であってもよい。
[0020] なお、 ユーザ 4 0のアクションを検出するために端末装置 3 0に備えられ るセンサは、 特に限定されない。 ユーザ 4 0のアクションを検出するための センサの一例について、 図 2八~図 2〇を参照して説明する。 図 2八~図 2 〇は、 ユーザのアクションを検出するためのセンサの一例を示す説明図であ \¥02020/174925 6 卩（：17 2020/001554
る。
[0021] 例えば、 図 2 Aに示すように、 ユーザ 40のアクションを検出するための センサは、 ユーザ 40の耳に装着されるへツ ドフォン又はイヤフォン 3 1 _ 1 に備えられたジャイロセンサ、 加速度センサ又は地磁気センサであっても よい。 または、 図 2 Bに示すように、 ユーザ 40のアクションを検出するた めのセンサは、 ユーザ 40の身体の各部に装着されるモーションセンサ 3 1 -2であってもよい。 さらには、 図 2 Cに示すように、 ユーザ 40のアクシ ョンを検出するためのセンサは、 ユーザ 40に向けられた T〇 F (T i me o f F l i g h t ) センサ、 又はステレオカメラ 3 1 —3であってもよ い。
[0022] 情報処理装置 20は、 ユーザ 40によって携帯可能な通信装置であり、 端 末装置 30との通信機能、 及びネッ トワーク 50への接続機能を備える。 情 報処理装置 20は、 端末装置 30からユーザ 40のアクションに関する情報 を受信し、 ユーザ 40のアクションに関する情報を情報処理サーバ 1 0に送 信する。 また、 情報処理装置 20は、 情報処理サーバ 1 0から他ユーザのア クションに関する情報を受信し、 他ユーザのアクションに関する情報を端末 装置 30に送信する。 情報処理装置 20は、 例えば、 スマートフォン、 携帯 電話、 タブレッ ト端末、 または P DA (P e r s o n a l D i d i t a l A s s i s t a n t ) などであってもよい。
[0023] 情報処理サーバ 1 0は、 端末装置 30の各々にて検出されたユーザ 40の アクションに関する情報を他の端末装置 30に送信する。 具体的には、 情報 処理サーバ 1 〇は、 端末装置 30にて検出されたユーザ 40のアクションに 関する情報をユーザ 40と同一のグループに属する他ユーザの端末装置 30 に送信する。 例えば、 ユーザ 40A、 40 Bが同ーグループに属している場 合、 情報処理サーバ 1 〇は、 端末装置 30 Aにて検出されたユーザ 40 Aの アクションに関する情報を端末装置 30 Bに送信してもよく、 端末装置 30 Bにて検出されたユーザ 40 Bのアクションに関する情報を端末装置 30 A に送信してもよい。 〇 2020/174925 7 卩（：170? 2020 /001554
[0024] ネッ トワーク 5 0は、 情報の送受信を行うことが可能な通信網である。 ネ ッ トワーク 5 0は、 例えば、 インターネッ ト、 衛星通信網、 電話回線網、 又 は移動体通信網 （例えば、 3 0又は 4 0回線網など） などであってもよい。
[0025] なお、 図 1では、 端末装置 3 0及び情報処理装置 2 0が別々の装置として 設けられる例を示したが、 本実施形態に係る情報処理システムは、 かかる例 示に限定されない。 例えば、 端末装置 3 0及び情報処理装置 2 0は、 一つの 通信装置として設けられてもよい。 このような場合、 該通信装置は、 ユーザ 4 0のアクションの検出機能、 音声提示機能、 及びネッ トワーク 5 0への接 続機能を有し、 ユーザの身体に装着可能な通信機器として構成され得る。 以 下では、 端末装置 3 0は、 情報処理装置 2 0の機能を併せ持つものとして説 明する。
[0026] 続いて、 図 3を参照して、 本開示の一実施形態に係る情報処理システムの 動作の概略について説明する。 図 3は、 図 1で示す情報処理システムにおけ る情報のやり取りを示す説明図である。
[0027] 図 3に示すように、 まず、 端末装置 3 0八にてユーザ 4 0八のアクション が検出された場合、 端末装置 3 0八は、 検出したユーザ 4 0八のアクション に関する情報をアクション情報として情報処理サーバ 1 〇に送信する。 例え ば、 ユーザ 4〇八のアクション情報を受信した情報処理サーバ 1 0は、 ユー ザ 4 0八のアクション情報をユーザ 4 0八と同一のグループに属するユーザ 4 0巳の端末装置 3 0巳に送信する。
[0028] 一方、 端末装置 3 0巳は、 端末装置 3 0巳にて検出されたユーザ 4 0巳の アクションに対応してユーザ 4 0巳に音声を提示する。 ここで、 端末装置 3 〇巳は、 受信したユーザ 4 0八のアクション情報に基づいて、 ユーザ 4 0巳 のアクションがユーザ 4 0八のアクションと時間的に一致して行われたか （ すなわち、 同期しているか否か） を判定する。 ユーザ 4 0八及びユーザ 4 0 巳のアクションが時間的に一致して行われたと判定された場合、 端末装置 3 0巳は、 ユーザ 4 0巳単独にてアクションに行われた場合とは異なる音声を ユーザ 4 0巳に提示する。 〇 2020/174925 8 卩（：170? 2020 /001554
[0029] これによれば、 本開示の一実施形態に係る情報処理システムは、 ユーザ 4
0巳のアクションに対応してユーザ 4 0巳に音声を提示するコンテンツにお いて、 ユーザ 4 0巳のアクションと、 他ユーザのアクションとの同期の有無 に基づいて、 提示される音声を制御することができる。 したがって、 情報処 理システムは、 より双方向性のあるコンテンツを実現することが可能である
[0030] 以下では、 上記にて概略を説明した本開示の一実施形態に係る情報処理シ ステムについて、 より具体的に説明する。
[0031 ] < 2 . 構成例 >
まず、 図 4を参照して、 本開示の一実施形態に係る情報処理システムの構 成例について説明する。 図 4は、 本実施形態に係る情報処理システムの構成 例を示すブロック図である。
[0032] 図 4に示すように、 本実施形態に係る情報処理システムは、 端末装置 3 0 と、 情報処理サーバ 1 〇と、 を備える。 具体的には、 端末装置 3 0は、 セン サ部 3 1 0と、 アクション判断部 3 2 0と、 通信部 3 3 0と、 同期判断部 3 4 0と、 音声制御部 3 5 0と、 音声提示部 3 6 0と、 を備える。 情報処理サ —バ 1 0は、 通信部 1 1 〇と、 グループ作成部 1 2 0と、 通信制御部 1 3 0 と、 を備える。
[0033] なお、 端末装置 3 0は、 情報処理サーバ 1 0を介さずに、 他の端末装置 3
0との間で 2 ? （? 6 6 「 1: 0 ㊀ ㊀ 〇 のネッ トワークを形成して いてもよい。
[0034] （端末装置 3 0）
センサ部 3 1 0は、 ユーザ 4 0のアクションを検出するためのセンサを含 む。 具体的には、 端末装置 3 0がユーザ 4 0の身体に装着されるウェアラブ ル端末、 又はユーザ 4 0に所持される携帯電話、 スマートフォン若しくはコ ントローラである場合、 センサ部 3 1 0は、 加速度センサ、 ジャイロセンサ 、 又は地磁気センサを含んでもよい。 このような場合、 センサ部 3 1 0は、 端末装置 3 0の傾き、 又は端末装置 3 0に加えられる振動を検出することで 〇 2020/174925 9 卩（：170? 2020 /001554
、 ユーザ 4 0がどのようなアクションを行ったかを判断するための情報を得 ることができる。
[0035] または、 センサ部 3 1 0は、 ユーザ 4 0のアクションをより直接的に検出 することが可能なモーションキヤプチヤ用のマーカ及びトラッカ、 ステレオ カメラ、 又は丁〇 センサを含んでもよい。 このような場合、 センサ部 3 1 0は、 ユーザ 4 0の身体の各部の動きを検出することで、 ユーザ 4 0がどの ようなアクションを行ったかを判断するための情報を得ることができる。 な お、 ユーザ 4 0のアクションを検出するために必要であれば、 センサ部 3 1 〇は、 端末装置 3 0の外部に設けられてもよい。
[0036] ただし、 センサ部 3 1 0が含むセンサは、 後段のアクション判断部 3 2 0 にてユーザ 4 0のアクションを検出することができれば、 上記例示に限定さ れない。 例えば、 センサ部 3 1 0は、 ユーザ 4 0が行動する部屋の床又は壁 に設けられた圧カセンサ又は近接センサを含んでもよい。 このような場合で あっても、 センサ部 3 1 0は、 ユーザ 4 0がどのようなアクションを行った かを判断するための情報を得ることができる。
[0037] センサ部 3 1 0が含むセンサは、 あらかじめアクション検出の閾値等がキ ヤリブレーションされていてもよい。 例えば、 センサ部 3 1 0が含むセンサ は、 検出するアクションをあらかじめユーザ 4 0に行ってもらうことで、 ア クション検出の閾値が適切な値にキヤリブレーションされていてもよい。 な お、 検出するアクションが歩行である場合、 歩行はセンシング結果から予測 しやすいため、 事前にアクション検出のパラメータを適切にキヤリブレーシ ョンすることが可能である。
[0038] アクション判断部 3 2 0は、 センサ部 3 1 0のセンシング結果に基づいて 、 ユーザ 4 0がどのようなアクションを行ったかを判断し、 ユーザ 4 0のア クションに関するアクション情報を生成する。 具体的には、 アクション判断 部 3 2 0は、 センサ部 3 1 0のセンシング結果に基づいて、 ユーザ 4 0のア クションの有無、 並びにアクションのタイミング及び大きさを判断し、 判断 した情報を含むアクション情報を生成してもよい。 例えば、 ユーザ 4 0のア 〇 2020/174925 10 卩（：170? 2020 /001554
クションがジャンプである場合、 アクション判断部 320は、 センサ部 3 1 0のセンシング結果に基づいて、 ユーザ 40のジャンプの大きさ、 方向、 開 始タイミング、 及び持続時間を判断し、 判断した情報を含むアクション情報 を生成してもよい。
[0039] また、 ユーザ 40のアクションがより複雑な動きである場合、 アクション 判断部 320は、 センサ部 3 1 0のセンシング結果に基づいて、 ユーザ 40 の腕、 脚、 頭部又は身体の動きのタイミング及び大きさを判断してもよい。 このような場合、 アクション判断部 320は、 ユーザ 40の身体をボーン状 の骨格で表現した情報をアクション情報として生成してもよい。 さらに、 ア クション判断部 320は、 センサ部 3 1 0のセンシング結果をそのままアク ション情報としてもよい。
[0040] 通信部 330は、 ネッ トワーク 50に接続可能な通信インタフェースを含 み、 情報処理サーバ 1 〇又は他の端末装置 30との間でアクション情報の送 受信を行う。 具体的には、 通信部 330は、 アクション判断部 320が生成 したアクション情報を情報処理サーバ 1 0に送信し、 かつ情報処理サーバ 1 0から他の端末装置 30にて生成された他ユーザのアクション情報を受信す る。
[0041] 通信部 330は、 ネッ トワーク 50との間で、 例えば TC P/丨 P等の所 定のプロトコルに則して信号等を送受信することができれば、 通信方式は特 に限定されない。 通信部 330は、 3G、 4〇又は!_丁巳 (L o n g T e r m E v o l u t i o n) などの移動体通信用又はデータ通信用の通信イ ンタフェースを含むことで、 これらの通信によってネッ トワーク 50に接続 可能であってもよい。
[0042] または、 通信部 330は、 他の情報処理装置を介してネッ トワーク 50に 接続可能であってもよい。 例えば、 通信部 330は、 無線 L A N (L〇 c a I A r e a N e t wo r k) 、 W i —F i (登録商標) 、 B I u e t 〇 o t h (登録商標) 又は WU S B (W i r e l e s s US B) 用の通信イ ンタフェースを含むことで、 これらの口ーカル通信によって他の情報処理装 〇 2020/174925 1 1 卩（：170? 2020 /001554
置と通信可能であってもよい。 このような場合、 端末装置 3 0と口ーカル通 信を行う情報処理装置は、 ネッ トワーク 5 0に接続することで、 端末装置 3 〇と、 情報処理サーバ 1 0又は他の端末装置 3 0との間のアクション情報の 送受信を行う。
[0043] 同期判断部 3 4 0は、 ユーザ 4 0が行ったアクションと、 他ユーザが行っ たアクションとの時間的な一致を判断する。 具体的には、 同期判断部 3 4 0 は、 ユーザ 4 0がアクションを行った場合に、 ユーザ 4 0のアクション情報 と、 通信部 3 3 0にて受信した他ユーザのアクション情報とを比較し、 ユー ザ 4 0及び他ユーザのアクションのタイミングが一致しているか否か （すな わち、 同期しているか否か） を判断する。
[0044] 例えば、 同期判断部 3 4 0は、 ユーザ 4 0のアクションと、 他ユーザのア クションとが閾値時間内に行われている場合に、 ユーザ 4 0及び他ユーザの アクションは同期していると判断してもよい。 より具体的には、 同期判断部 3 4 0は、 アクションの始まり又は終わりのタイミングがユーザ 4 0及び他 ユーザの間で閾値時間内であるか否かを判断することで、 ユーザ 4 0及び他 ユーザのアクションが同期しているか否かを判断してもよい。 例えば、 ユー ザ 4 0のアクションがジャンプ等の単純な行動である場合、 同期判断部 3 4 0は、 アクションが行われたタイミング （すなわち、 アクションの始まりの タイミング） を比較することで、 ユーザ 4 0及び他ユーザのアクションが同 期しているか否かを判断することができる。
[0045] また、 同期判断部 3 4 0は、 ユーザ 4 0のアクション時の姿勢変化の大き さ及びタイミングと、 他ユーザのアクション時の姿勢変化の大きさ及びタイ ミングとの差が閾値以下である場合に、 ユーザ 4 0及び他ユーザのアクショ ンは同期していると判断してもよい。 より具体的には、 同期判断部 3 4 0は 、 ユーザ 4 0及び他ユーザが行ったアクションにおける腕、 脚、 頭部、 又は 身体の動きの大きさ及びタイミングの差が閾値以下であるか否かを判断する ことで、 ユーザ 4 0及び他ユーザのアクションが同期しているか否かを判断 してもよい。 または、 同期判断部 3 4 0は、 ユーザ 4 0及び他ユーザが行っ 〇 2020/174925 12 卩（：170? 2020 /001554
たアクションにおける腕、 脚、 頭部、 又は身体の向きの変化の差が閾値以下 であるか否かを判断することで、 ユーザ 4 0及び他ユーザのアクションが同 期しているか否かを判断してもよい。 例えば、 ユーザ 4 0のアクションがダ ンス等のより複雑な行動である場合、 同期判断部 3 4 0は、 アクションの具 体的な動きの大きさ及びタイミングを比較することで、 ユーザ 4 0及び他ユ —ザのアクションが同期しているか否かを判断することができる。
[0046] さらに、 同期判断部 3 4 0は、 センサ部 3 1 0のセンシング結果を、 他の 端末装置 3 0のセンサ部によるセンシング結果と直接比較することで、 ユー ザ 4 0及び他ユーザのアクションが同期しているか否かを判断してもよい。 より具体的には、 同期判断部 3 4 0は、 ユーザ 4 0のアクションのセンシン グ結果 （すなわち、 センサの出力の生値） の大きさ及びタイミングと、 他ユ —ザのアクションのセンシング結果の大きさ及びタイミングとの差が閾値以 下であるか否かを判断することで、 ユーザ 4 0及び他ユーザのアクションが 同期しているか否かを判断してもよい。
[0047] なお、 同期判断部 3 4 0は、 2以上のユーザ 4 0のアクションが同期した 場合に、 ユーザ 4 0及び他ユーザのアクションが同期したと判断してもよい が、 本開示に係る技術は、 かかる例示に限定されない。 例えば、 同期判断部 3 4 0は、 閾値以上のユーザ 4 0のアクションが同期した場合にのみ、 ユー ザ 4 0及び他ユーザのアクションが同期したと判断してもよい。 また、 同期 判断部 3 4 0は、 同ーグループ内の閾値割合以上のユーザ 4 0のアクション が同期した場合に、 ユーザ 4 0及び他ユーザのアクションが同期したと判断 してもよい。
[0048] 音声制御部 3 5 0は、 ユーザ 4 0のアクションに対応してユーザ 4 0に音 声を提示するように音声提示部 3 6 0を制御する。 例えば、 ユーザ 4 0のア クションがジャンプである場合、 音声制御部 3 5 0は、 ジャンプの飛び上が り及び着地のそれぞれのタイミングでユーザ 4 0に効果音を提示するように 音声提示部 3 6 0を制御してもよい。 または、 音声制御部 3 5 0は、 ジャン プの飛び上がりの勢い等のジャンプの動作のパラメータに基づいてユーザ 4 〇 2020/174925 13 卩（：170? 2020 /001554
0に提示される効果音を制御してもよく、 ユーザ 4 0の体格等に基づいてユ —ザ 4 0に提示される効果音を制御してもよく、 天候等の環境情報に基づい てユーザ 4 0に提示される効果音を制御してもよく、 コンテンツのイベント 情報又はストーリの展開等のパラメータに基づいてユーザ 4 0に提示される 効果音を制御してもよい。 なお、 音声制御部 3 5 0は、 他ユーザのアクショ ンに対応してユーザ 4 0に音声を提示するように音声提示部 3 6 0を制御し てもよい。
[0049] 音声制御部 3 5 0が制御する音声は、 あらかじめ端末装置 3 0に記憶され た音声であってもよいが、 端末装置 3 0にて収音された音声であってもよい 。 例えば、 ユーザ 4 0のアクションがジャンプである場合、 端末装置 3 0は 、 ジャンプしたユーザ 4 0の着地音を収音し、 収音した着地音を音声制御部 3 5 0にて制御させてもよい。 このとき、 音声制御部 3 5 0は、 収音した音 声をそのまま制御に用いてもよく、 エフェクト等を掛けて加工した音声を制 御に用いてもよい。
[0050] 本実施形態に係る情報処理システムでは、 音声制御部 3 5 0は、 同期判断 部 3 4 0の判断に基づいて、 ユーザ 4 0のアクションに対応してユーザ 4 0 に提示される音声を制御する。 具体的には、 音声制御部 3 5 0は、 同期判断 部 3 4 0にてユーザ 4 0及び他ユーザのアクションが同期していると判断さ れた場合、 ユーザ 4 0のアクションに対応してユーザ 4 0に提示される音声 を変更してもよい。
[0051 ] ここで、 音声制御部 3 5 0による音声の制御について、 図 5〜図 7巳を参 照してより具体的に説明する。 図 5は、 ユーザ八及びユーザ巳のアクション を検出するセンサ出力と、 ユーザ巳に提示される音声出力とを並列に示した グラフ図である。 図 5では、 端末装置 3 0は、 ユーザ八、 巳のジャンプに対 応して効果音を出力している。
[0052] 図 5に示すように、 ユーザ八、 巳のセンサ出力がピークを取っている場合 、 ユーザ八、 巳はジャンプをしていると判断される。 このとき、 音声制御部 3 5 0は、 ユーザ八及びユーザ巳が略同時にジャンプをしているタイミング 〇 2020/174925 14 卩（：170? 2020 /001554
¢1で出力される音声の音量をユーザ巳のみがジャンプをしているタイミン グ 3で出力される音声の音量よりも大きくなるように制御してもよい。 ま た、 音声制御部 3 5 0は、 ユーザ八及びユーザ巳が略同時にジャンプをして いるタイミング I と、 ユーザ巳のみがジャンプをしているタイミング 1 3 とで、 音声の持続時間、 又は音程の高さを制御してもよく、 音声に対する効 果音の追加を制御してもよい。
[0053] 図 6は、 音声制御部 3 5 0によって制御された音声波形の一例をユーザ 4
0及び他ユーザの組み合わせごとに示したグラフ図である。 図 6では、 ユー ザ 4 0のみがアクション （例えば、 ジャンプ） を行った場合の音声波形の一 例を八で示し、 他ユーザのみがアクションを行った場合の音声波形の一例を 巳で示し、 ユーザ 4 0及び他ユーザが略同時にアクションを行った場合の音 声波形の一例を〇で示し、 複数の他ユーザが略同時にアクションを行った場 合の音声波形の一例を口で示す。
[0054] 図 6に示すように、 ユーザ 4 0のみがアクションを行った場合の音声波形 八を基準とすると、 他ユーザのみがアクションを行った場合の音声波形巳は 、 音声波形八よりも小さな振幅に制御されてもよい。 また、 他ユーザのみが アクションを行った場合の音声波形巳は、 音声波形八よりも高周波成分が低 減されるように、 持続時間が短くなるように、 定位が遠くなるように、 又は リバーブ （残響） が掛かるように制御されてもよい。
[0055] —方、 ユーザ 4 0及び他ユーザが略同時にアクションを行った場合の音声 波形＜3は、 音声波形八よりも大きな振幅に制御されてもよい。 また、 ユーザ 4 0及び他ユーザが略同時にアクションを行った場合の音声波形〇は、 音声 波形 よりも持続時間が長くなるように、 再生速度が遅くなるように、 又は ジャンプの着地音、 地響き、 落下音若しくは歓声などの効果音が追加される ように制御されてもよい。 さらに、 複数の他ユーザが略同時にアクションを 行った場合の音声波形口は、 他ユーザのみがアクションを行った場合の音声 波形巳と、 ユーザ 4 0及び他ユーザが略同時にアクションを行った場合の音 声波形口との中間の波形となるように制御されてもよい。 〇 2020/174925 15 卩（：170? 2020 /001554
[0056] ここで、 音声制御部 3 5 0がユーザ 4 0及び他ユーザが閾値時間内にアク ションを行ったことを確認した後にユーザ 4 0に提示する音声を制御した場 合、 音声の提示のタイミングがユーザ 4 0のアクションのタイミングとずれ てしまう可能性がある。 図 7八及び図 7巳を参照して、 このような場合の音 声制御部 3 5 0の制御について説明する。 図 7八及び図 7巳は、 ユーザ八及 びユーザ巳のアクションを検出するセンサ出力と、 ユーザ八に提示される音 声出力とを並列に示したグラフ図である。 図 7八及び図 7巳では、 端末装置 3 0は、 ユーザ八、 巳のジャンプに対応して効果音を出力している。
[0057] 図 7八に示す場合では、 ユーザ八がアクション （すなわち、 ジャンプ） を 行ったことが確認された時点で、 閾値時間内に他ユーザ巳がアクションを行 ったことがすでに認識されている。 そのため、 音声制御部 3 5 0は、 ユーザ 八のアクションに対応して、 複数のユーザのアクションが同期している場合 の音声を提示するように音声提示部 3 6 0を制御することができる。
[0058] —方、 図 7巳に示す場合では、 ユーザ八がアクションを行ったことが確認 された時点では、 閾値時間内に他ユーザ巳がアクションを行ったか否かが認 識されていない。 そのため、 音声制御部 3 5 0は、 まず、 ユーザ八のアクシ ョンに対応して、 ユーザ八のみがアクションを行った場合の音声を提示する ように音声提示部 3 6 0を制御する。 その後、 閾値時間内に他ユーザ巳がア クションを行ったことが認識された場合、 音声制御部 3 5 0は、 ユーザ八の みがアクションを行った場合の音声に重畳して、 複数のユーザのアクション が同期している場合の音声を提示するように音声提示部 3 6 0を制御する。 このような制御によれば、 音声制御部 3 5 0は、 閾値時間内に他ユーザ巳が アクションを行ったか否かを確認する前に、 ユーザ八のアクションに対応し て音声を提示するように音声提示部 3 6 0を制御することができる。 したが って、 音声制御部 3 5 0は、 音声の提示のタイミングがユーザ 4 0のアクシ ョンのタイミングとずれてしまうことを防止することができる。
[0059] さらに、 同期判断部 3 4 0がユーザ 4 0及び他ユーザのアクション時の姿 勢変化の大きさ及びタイミングの差にて、 ユーザ 4 0及び他ユーザのアクシ 〇 2020/174925 16 卩（：170? 2020 /001554
ョンの同期を判断している場合、 音声制御部 3 5 0は、 アクション時の姿勢 変化の大きさ及びタイミングの差に基づいて、 ユーザ 4 0に提示する音声を 制御してもよい。 具体的には、 ユーザ 4 0のアクションがダンス等の複雑な 行動である場合、 音声制御部 3 5 0は、 教師となる他ユーザのアクション時 の姿勢変化と、 ユーザ 4 0のアクション時の姿勢変化との差を音声に反映さ せることで、 ユーザ 4 0に動きの適切さを提示することができる。
[0060] 例えば、 音声制御部 3 5 0は、 教師となる他ユーザのアクション時の姿勢 変化と、 ユーザ 4 0のアクション時の姿勢変化との差が小さい場合に、 音量 がより大きい、 持続時間が長い、 又は追加の効果音が付加された音声をユー ザ 4 0に提示するように音声提示部 3 6 0を制御してもよい。 または、 音声 制御部 3 5 0は、 教師となる他ユーザのアクション時の姿勢変化と、 ユーザ 4 0のアクション時の姿勢変化との差が大きい場合に、 より音量が大きい音 声をユーザ 4 0に提示するように音声提示部 3 6 0を制御してもよい。 さら には、 音声制御部 3 5 0は、 複数の他ユーザのアクション時の姿勢変化と、 ユーザ 4 0のアクション時の姿勢変化とを比較し、 ユーザ 4 0及び複数の他 ユーザのアクション時の姿勢変化の一致度がより高い場合に、 音量がより大 きい音声をユーザ 4 0に提示するように音声提示部 3 6 0を制御してもよい
[0061 ] ここで、 図 8〜図 1 0巳を参照して、 かかる音声制御部 3 5 0の動作につ いてより具体的に説明する。 図 8は、 ユーザ 4 0、 及び教師である他ユーザ のアクションのセンシング結果の一例を示すグラフ図である。 また、 図 9は 、 ユーザ 4 0及び他ユーザのアクションの差に基づいてユーザ 4 0に提示さ れる音声を制御する方法を説明する説明図であり、 図 1 〇八及び図 1 〇巳は 、 ユーザ 4 0及び他ユーザのアクションの差に基づいてユーザ 4 0に提示さ れる音声を制御する具体的な方法を説明する説明図である。 図 8及び図 9で は、 ユーザ 4 0のアクションのセンシング結果を実線で示し、 教師である他 ユーザのアクションのセンシング結果を破線で示す。
[0062] アクションがダンス等の複雑な行動である場合、 ユーザ 4 0及び他ユーザ 〇 2020/174925 17 卩（：170? 2020 /001554
は、 モーションセンサ又はモーションキヤプチヤ等を用いることで、 アクシ ョン時の姿勢変化を図 8で示すようなパラメータの変化に変換することがで きる。 図 8に示す縦軸のパラメータは、 ユーザ 4 0及び他ユーザの動きをセ ンシングするセンサの値を変換したパラメータであり、 例えば、 ユーザ 4 0 及び他ユーザの腕の角度のパラメータである。 音声制御部 3 5 0は、 ユーザ 4 0又は他ユーザのいずれかに動きがある時間において、 ユーザ 4 0及び他 ユーザの動きの差に基づいてユーザ 4 0に提示される音声を制御することが できる。 これによれば、 音声制御部 3 5 0は、 ユーザ 4 0に提示される音声 を連続的に制御することができるようになる。
[0063] 具体的には、 図 9に示すように、 音声制御部 3 5 0は、 ユーザ 4 0及び他 ユーザのアクションを検出するセンサ値から変換された腕等の角度のパラメ —夕をユーザ 4 0及び他ユーザの間で比較する。 これにより、 音声制御部 3 5 0は、 ユーザ 4 0及び他ユーザのアクションの間で、 アクション時の姿勢 変化のずれ量、 及び大きさの差を検出することができる。 音声制御部 3 5 0 は、 検出されたアクション時の姿勢変化の大きさの差 （音パラメータ a） 、 及びずれ量 （音パラメータ b） を音声の変調パラメータとして用いることで 、 ユーザ 4 0に提示する音声を制御することができる。
[0064] 例えば、 図 1 0 Aに示すように、 ユーザ 4 0に提示する音声があらかじめ 記憶された音声波形のループである場合、 音声制御部 3 5 0は、 アクション 時の姿勢変化の大きさの差 （音パラメータ a） を音声波形の振幅を制御する パラメータとして用いてもよい。 また、 音声制御部 3 5 0は、 アクションの ずれ量 （音パラメータ b） を音声波形に作用させるフィルタ関数を制御する パラメータとして用いてもよい。
[0065] また、 図 1 0 Bに示すように、 ユーザ 4 0に提示する音声が F M （F r e q u e n c y M o d u l a t i o n） 音源である場合、 音声制御部 3 5 0 は、 アクション時の姿勢変化の大きさの差 （音パラメータ a） を F M音源の 周波数及び振幅を制御するパラメータとして用いてもよい。 また、 音声制御 部 3 5 0は、 アクションのずれ量 （音パラメータ b） を F M音源の F M変調 〇 2020/174925 18 卩（：170? 2020 /001554
の強さを制御するパラメータとして用いてもよい。 これによれば、 音声制御 部 3 5 0は、 ユーザ 4 0及び他ユーザのアクションのずれ量が小さい場合に 柔らかい音色の音声を提示し、 ユーザ 4 0及び他ユーザのアクションのずれ 量が大きい場合に硬い音色の音声を提示するように音声提示部 3 6 0を制御 することが可能になる。
[0066] なお、 教師である他ユーザのアクションを確認してからユーザ 4 0がアク ションを行う場合には、 教師である他ユーザが先に動いた後にユーザ 4 0が 動くと考えられる。 そのため、 教師である他ユーザのアクションのタイミン グよりもユーザ 4 0のアクションのタイミングのほうが遅い場合には、 音声 制御部 3 5 0は、 アクションのずれ量 （音パラメータ 13） を 0とみなしても よい。 一方、 教師である他ユーザのアクションのタイミングよりもユーザ 4 0のアクションのタイミングのほうが早い場合には、 音声制御部 3 5 0は、 アクションのずれ量 （音パラメータ 13） をそのまま音声の変調パラメータと して反映させてもよい。
[0067] 音声提示部 3 6 0は、 スピーカ又はヘッ ドフォン等の音声出力装置を含み 、 ユーザ 4 0に音声を提示する。 具体的には、 音声提示部 3 6 0は、 音声制 御部 3 5 0にて制御された音声データのオーディオ信号をアナログ信号に変 換し、 音声として出力してもよい。
[0068] なお、 複数のユーザのアクションが同期している場合、 端末装置 3 0は、 ユーザ 4 0にさらなる出力を提示してもよい。 例えば、 複数のユーザのアク ションが同期している場合、 端末装置 3 0は、 所定の画像を表示するように 表示部を制御してもよい。 また、 端末装置 3 0は、 複数のユーザのアクショ ンが同期している場合、 コンテンツのストーリ展開が変わるように該コンテ ンツを制御してもよい。
[0069] （情報処理サーバ· I 0）
通信部 1 1 0は、 ネッ トワーク 5 0に接続可能な通信インタフェースを含 み、 端末装置 3 0との間でアクション情報の送受信を行う。 具体的には、 通 信部 1 1 0は、 端末装置 3 0から送信されたアクション情報を他の端末装置 〇 2020/174925 19 卩（：170? 2020 /001554
30に送信する。
[0070] 通信部 1 1 0は、 ネッ トワーク 50との間で、 例えば TC P/丨 P等の所 定のプロトコルに則して信号等を送受信することができれば、 通信方式は特 に限定されない。 通信部 1 1 0は、 3G、 4〇又は!_丁巳 (L o n g T e r m E v o l u t i o n) などの移動体通信用又はデータ通信用の通信イ ンタフエースを含むことで、 ネッ トワーク 50に接続可能であってもよい。
[0071] 通信制御部 1 30は、 受信したアクション情報をいずれの端末装置 30に 送信するかを制御する。 具体的には、 通信制御部 1 30は、 受信したアクシ ョン情報に対応するユーザ 40と同一のグループに属するユーザの端末装置 30に該アクション情報を送信するように通信部 1 1 0を制御する。 これに よれば、 端末装置 30は、 同ーグループに属するユーザ 40について、 アク ションの時間的な一致を判断することができる。 なお、 ユーザ 40が属する グループは、 後述するグループ作成部 1 20にて作成される。
[0072] グループ作成部 1 20は、 アクション情報を互いに送受信し合うユーザ 4
0のグループをあらかじめ作成する。 具体的には、 グループ作成部 1 20は 、 同一領域に存在する、 同ーコンテンツを体験する、 同ーアプリケーション を使用する、 又は同ーデバイスを使用するユーザをグルーピングすることで 、 アクション情報を互いに送受信し合うユーザ 40のグループを作成しても よい。
[0073] 例えば、 グループ作成部 1 20は、 同一のコンテンツを同時に体験してい るユーザ 40をあらかじめ同 _のグループにグルービングしてもよい。 また 、 グループ作成部 1 20は、 専用デバイス又は専用アプリケーションを使用 しているユーザ 40を同一のグループにグルービングしてもよい。 さらに、 グループ作成部 1 20は、 ネッ トワーク 50を経由して同じコンテンツを体 験するユーザ 40を同一のグループにグルービングしてもよい。
[0074] 例えば、 グループ作成部 1 20は、 端末装置 30の G N S S (G l o b a
I N a v i g a t i o n S a t e l l i t e S y s t e m) などの位 置情報、 3G、 4G、 L T E若しくは 5 Gなどの移動体通信網のネッ トワー 〇 2020/174925 20 卩（：170? 2020 /001554
ク情報、 又はビーコンなどを用いることで、 端末装置 30の位置を判断し、 同一領域に存在するユーザ 40を同ーグループにグルービングしてもよい。 また、 グループ作成部 1 20は、 仮想空間内の仮想的な位置情報で同一領域 に存在するユ _ザ 40を同 _グループにグルービングしてもよい。 さらには 、 グループ作成部 1 20は、 端末装置 30の間の P 2 P通信によって発見さ れた同一領域に存在するユーザ 40を同ーグループにグルーピングしてもよ い。
[0075] または、 グループ作成部 1 20は、 所定時間内に同じジェスチャをしたユ —ザ 40を同ーグループにグルービングしてもよく、 同じ音を検出したユー ザ 40を同ーグループにグルービングしてもよく、 同じ被写体 （例えば、 二 次元コード等の特定の識別画像） を撮影したユーザ 40を同ーグループにグ ル _ビングしてもよい。
[0076] さらには、 グループ作成部 1 20は、 S N S （S o c i a l N e t wo r k i n g S e r v i c e） から検出できる友人関係を用いてユーザ 40 をあらかじめグルービングしてもよい。 このような場合、 グループ作成部 1 20は、 ユーザ 40の S N Sにおけるアカウント情報を取得することで、 自 動的にグループを作成してもよい。 なお、 グループ作成部 1 20が自動的に グループを作成した場合、 グループ作成部 1 20は、 ユーザ 40の所持する 端末装置 30にユーザ 40が属するグループを音声又は画像にて提示しても よい。
[0077] <3. 動作例 >
次に、 図 1 1〜図 1 3を参照して、 本開示の一実施形態に係る情報処理シ ステムの動作例について説明する。 図 1 1〜図 1 3は、 本開示の一実施形態 に係る情報処理システムの動作の流れの一例を説明するフローチャート図で ある。
[0078] （第 1の動作例）
図 1 1 に示す動作の流れは、 ユーザ 40のアクション情報を検出するより も先に、 他ユーザのアクション情報を受信した場合の動作例である。 〇 2020/174925 21 卩（：170? 2020 /001554
[0079] 図 1 1 に示すように、 まず、 通信部 330によって情報処理サーバ 1 0か ら他ユーザのアクション情報が受信され、 （31 01） 、 同期判断部 340 によって他ユーザにおけるアクションの発生時刻が 0に設定される （31 02） 。 その後、 センサ部 3 1 0のセンシング結果に基づいて、 アクション 判断部 320によってユーザ 40のアクションが検出され （31 03） 、 同 期判断部 340によってユーザ 40におけるアクションの発生時刻が 1: 1 に 設定される （31 04） 。
[0080] ここで、 同期判断部 340は、 丨 1: 1 — 〇 丨 （1: 1及び 1: 0の差の絶対 値） が閾値以下であるか否かを判断する （31 05） 。
Figure imgf000023_0001
値以下である場合 （31 05/丫 63） 、 音声制御部 350は、 複数人のア クションが同期した場合に対応する効果音をユーザ 40に提示するように音 声提示部 360を制御する （31 06） 。 一方、 丨 I 1 — I 0 丨が閾値以下 ではない場合 （31 05/1\1〇） 、 音声制御部 350は、 1人のアクション に対応する効果音をユーザ 40に提示するように音声提示部 360を制御す る （31 07） 0
[0081] （第 2の動作例）
図 1 2に示す動作の流れは、 他ユーザのアクション情報を受信するよりも 先に、 ユーザ 40のアクション情報を検出した場合の動作例である。
[0082] 図 1 2に示すように、 まず、 センサ部 3 1 0のセンシング結果に基づいて 、 アクション判断部 320によってユーザ 40のアクションが検出され （3 1 1 1） 、 同期判断部 340によってユーザ 40におけるアクションの発生 時刻が 1： 1 に設定される （31 1 2） 。 これにより、 音声制御部 350は、 まず、 1人のアクションに対応する効果音をユーザ 40に提示するように音 声提示部 360を制御する （31 1 3） 。 その後、 通信部 330によって情 報処理サーバ 1 〇から他ユーザのアクション情報が受信され、 （31 1 4）
、 同期判断部 340によって他ユーザにおけるアクションの発生時刻が 1 2 に設定される （31 1 5） 。
[0083] ここで、 同期判断部 340は、 丨 1 2— I 1 丨 2及び1 1の差の絶対 〇 2020/174925 22 卩（：170? 2020 /001554
値） が閾値以下であるか否かを判断する （31 1 6） 。
Figure imgf000024_0001
値以下である場合 （31 1 6/丫 63） 、 音声制御部 350は、 複数人のア クションが同期した場合に対応する効果音を 1人のアクションに対応する効 果音に重畳させてユーザ 40に提示するように音声提示部 360を制御する （31 1 7） 。 一方、 丨 I 2_ I 1 丨が閾値以下ではない場合 （31 1 6/ N0） 、 音声制御部 350は、 1人のアクションに対応する効果音をユーザ 40に提示した後、 音声提示部 360の制御を終了する。
[0084] （第 3の動作例）
図 1 3に示す動作例は、 ユーザ 40のアクション情報の検出、 及び他ユー ザのアクション情報の受信の後先に限定されない動作例である。
[0085] 図 1 3に示すように、 まず、 ユーザ 40が端末装置 30であるヘッ ドフォ ンを装着する （3201） 。 これにより、 端末装置 30は、 ユーザ 40のア クションに対応して音声を提示する動作を開始する。 すなわち、 端末装置 3 0は、 アクション判断部 320によるユーザ 40のアクションの検出、 又は 通信部 330による他ユーザのアクション情報の受信のいずれかが発生した か否かを判断する （3202） 。 いずれも発生していない場合 （3202/ いずれも N0） 、 端末装置 30は、 引き続き、 ステップ 3202の動作を実 行する。
[0086] ユーザ 40のアクションが検出された場合 （3202/ユーザのアクショ ンを検出） 、 同期判断部 340は、 所定時間内に他ユーザのアクション情報 を受信したか否かを判断する （3203） 。 所定時間内に他ユーザのアクシ ョン情報を受信した場合 （3203/丫6 3） 、 音声制御部 350は、 複数 人のアクションが同期した場合に対応する効果音をユーザ 40に提示するよ うに音声提示部 360を制御する （3206） 。 一方、 所定時間内に他ユー ザのアクション情報を受信していない場合 （3203/!\1〇） 、 音声制御部 350は、 1人のアクションに対応する効果音をユーザ 40に提示するよう に音声提示部 360を制御する （3205） 。
[0087] また、 ステップ 3202において、 他ユーザのアクション情報が受信され 〇 2020/174925 23 卩（：170? 2020 /001554
た場合 （3 2 0 2 /他ユーザのアクション情報の受信） 、 同期判断部 3 4 0 は、 所定時間内にユーザ 4 0のアクションを検出したか否かを判断する （3
2 0 4） 。 所定時間内にユーザ 4 0のアクションを検出した場合 （3 2 0 4 /丫㊀ 3） 、 音声制御部 3 5 0は、 複数人のアクションが同期した場合に対 応する効果音をユーザ 4 0に提示するように音声提示部 3 6 0を制御する （
3 2 0 6） 。 一方、 所定時間内にユーザ 4 0のアクションを検出していない 場合 （3 2 0 4 / 1\1〇） 、 音声制御部 3 5 0は、 ユーザ 4 0に効果音を提示 せずに動作を終了する。
[0088] その後、 端末装置 3 0は、 ユーザ 4 0が端末装置 3 0であるヘッ ドフォン を外したことを検出したか否かを判断し （3 2 0 7） 、 ユーザ 4 0がヘッ ド フォンを外したと判断される （3 2 0 7 /丫6 3） までステップ 3 2 0 2の 動作を実行する。 ユーザ 4 0がヘッ ドフォンを外したと判断される場合 （3 2 0 7 /丫6 3） 、 端末装置 3 0は、 ユーザ 4 0のアクションに対応して音 声を提示する動作を終了する。
[0089] なお、 第 3の動作例では、 ユーザ 4 0が端末装置 3 0であるヘッ ドフォン を外したことをフローチャートの終了に用いたが、 第 3の動作例は上記例示 に限定されない。 例えば、 第 3の動作例は、 ユーザ 4 0がコンテンツを体験 するためのアプリケーションを終了したこと、 ユーザ 4 0が電話又はメッセ —ジの送受信等の他のアプリケーションを起動したこと、 ユーザ 4 0が別の グループに属するようになったこと、 ユーザ 4 0が所定の領域から離れたこ と、 所定時間の経過若しくは所定条件の成立によってコンテンツの体験が終 了したこと、 又はユーザ 4 0が属するグループのメンバーが終了を指示した こと等によっても終了してもよい。
[0090] ここで、 図 1 4を参照して、 本実施形態に係る情報処理システムがユーザ 4 0及び他ユーザのアクションの同期を判断する期間について説明する。 図 1 4は、 本実施形態に係る情報処理システムがユーザ間の同期を判断する期 間を説明する説明図である。
[0091 ] 図 1 4では、 ユーザ八がイヤフォン又はへッ ドフォン型である端末装置 3 〇 2020/174925 24 卩（：170? 2020 /001554
0を装着している期間を巳八で示し、 ユーザ八のアクションを検出する期間 を〇八で示している。 同様に、 ユーザ巳がイヤフォン又はヘッ ドフォン型で ある端末装置 3 0を装着している期間を巳巳で示し、 ユーザ巳のアクション を検出する期間を口巳で示している。
[0092] このような場合、 本実施形態に係る情報処理システムがユーザ間の同期を 判断する期間丁 3ソ n〇は、 ユーザ八及びユーザ巳のそれぞれのアクション を同時に検出することが可能な期間となる。 すなわち、 ユーザ間の同期を判 断する期間 T s y n cは、 ユーザ八のアクションを検出する期間 0八と、 ユ —ザ巳のアクションを検出する期間 0巳とが重なっている期間となる。
[0093] ユーザ 4 0のアクションを検出する期間は、 コンテンツのストーリ展開に 基づいて設定されてもよく、 ユーザ 4 0が端末装置 3 0にて開始操作及び終 了操作を行うことで設定されてもよい。 また、 ユーザ 4 0のアクションを検 出する期間の開始及び終了は、 端末装置 3 0を所持するユーザ 4 0の各々で 設定されてもよく、 グループ内の特定のユーザ 4 0からの指示に基づいてグ ループ内のユーザ 4 0に対してまとめて設定されてもよく、 ビーコン等の外 部指示に基づいて所定領域のユーザ 4 0に対してまとめて設定されてもよい
[0094] < 4 . 変形例 >
次に、 図 1 5を参照して、 本実施形態に係る情報処理システムの変形例に ついて説明する。 図 1 5は、 本実施形態に係る情報処理システムの変形例を 説明する説明図である。
[0095] 本実施形態に係る情報処理システムの変形例では、 複数のユーザの端末装 置 3 0の間でアクション情報の送受信を行うことなく、 複数のユーザでアク ションの同期を実現する例である。
[0096] 図 1 5に示すように、 例えば、 時刻 において、 情報処理サーバ 1 0から ユーザ 及び巳の所持する端末装置 3 0に所定のアクション （例えば、 ジャ ンプするなど） の指示が送信される。 ここで、 時刻 1 + nまでにユーザ八及 び巳が指示された所定のアクションを行った場合、 情報処理サーバ 1 0は、 〇 2020/174925 25 卩（：170? 2020 /001554
時刻 t + nに所定のアクションに対応するイベントを発生させる。 これによ り、 ユーザ A及び Bがそれぞれ所持する端末装置 30は、 所定のアクション に対応する音声をユーザ A及び Bにそれぞれ提示する。 なお、 時刻 t + nま でにユーザ A又は Bのいずれかが指示された所定のアクションを行わなかっ た場合、 情報処理サーバ 1 〇は、 所定のアクションに対応するイベントの発 生をキャンセルする。
[0097] すなわち、 本変形例に係る情報処理システムでは、 ユーザ A及び Bがそれ それ所持する端末装置 30の間では、 アクション情報の共有が行われていな い。 しかしながら、 情報処理サーバ 1 0にてアクションが行われたタイミン グを所定の期間ごとに離散的に管理することで、 ユーザ A及び Bがそれぞれ 所持する端末装置 30の各々で同期して音声を提示させることができる。 こ れによれば、 本変形例に係る情報処理システムは、 端末装置 30の間で情報 の共有を行うことなく、 複数のユーザに同時性のあるコンテンツを提供する ことができる。
[0098] <5. ハードウェア構成例 >
続いて、 図 1 6を参照して、 本開示の一実施形態に係る情報処理サーバ 1 0又は端末装置 30のハードウェア構成例について説明する。 図 1 6は、 本 開示の一実施形態に係る情報処理サーバ 1 〇又は端末装置 30を構成する情 報処理装置 900のハードウェアの一例を示したブロック図である。 情報処 理サーバ 1 0又は端末装置 30が実行する情報処理は、 以下で説明するハー ドウェアとソフトウェアとの協働によって実現される。
[0099] 図 1 6に示すように、 情報処理装置 900は、 例えば、 C P U (Ce n t r a I P r o c e s s i n g U n i t ) 901 と、 ROM (R e a d O n l y Me mo r y) 902と、 RAM (R a n d om Ac c e s s Me mo r y) 903と、 ブリッジ 907と、 ホストバス 905と、 外部 バス 906と、 インタフェース 908と、 入力装置 9 1 1 と、 出力装置 9 1 2と、 ストレージ装置 9 1 3と、 ドライブ 9 1 4と、 接続ポート 9 1 5と、 通信装置 9 1 6と、 を備える。 〇 2020/174925 26 卩（：170? 2020 /001554
[0100] C P U 901は、 演算処理装置及び制御装置として機能し、 ROM902 等に記憶されたプログラムに従って、 情報処理装置 900の動作全般を制御 する。 ROM 902は、 C P U 901が使用するプログラム及び演算パラメ —夕を記憶し、 RAM 903は、 C P U 901の実行において使用するプロ グラム、 及びその実行において適宜変化するパラメータ等を一時記憶する。 C P U 901は、 例えば、 アクション判断部 320、 同期判断部 340、 及 び音声制御部 350として機能してもよく、 グループ作成部 1 20、 及び通 信制御部 1 30として機能してもよい。
[0101] C P U 901、 ROM 902及び RAM 903は、 C P Uバスなどを含む ホストバス 905により相互に接続されている。 ホストバス 905は、 プリ ッジ 907を介して、 PC I (P e r i p h e r a l Com p o n e n t I n t e r c o n n e c t/ l n t e r f a c e) バスなどの外部バス 9 06に接続されている。 なお、 ホストバス 905、 プリッジ 907、 及び外 部バス 906は、 必ずしも分離構成されなくともよく、 1つのバスにこれら の機能が実装されてもよい。
[0102] 入力装置 9 1 1は、 各種センサ、 タッチパネル、 キーボード、 ボタン、 マ イクロホン、 スイッチ又はレバーなどの情報が入力される入力装置と、 入力 に基づいて入力信号を生成し、 C P U 902に出力するための入力制御回路 とから構成される。 入力装置 9 1 1は、 例えば、 センサ部 3 1 0として機能 してもよい。
[0103] 出力装置 9 1 2は、 情報をユーザに対して視覚的又は聴覚的に通知するこ とが可能な装置である。 出力装置 9 1 2は、 例えば、 CRT (C a t h o d e R a y T u b e ) ディスプレイ装置、 液晶ディスプレイ装置、 プラズ マデイスフ。レイ装置、 E L ( E I e c t r o L u m i n e s c e n c e) デ ィスプレイ装置、 レーザープロジェクタ、 L E D (L i g h t Em i t t i n g D i o d e) プロジェクタ又はランプ等の表示装置であってもよく 、 スピーカ又はヘッ ドフォン等の音声出力装置等であってもよい。 出力装置 9 1 2は、 音声提示部 360として機能してもよい。 〇 2020/174925 27 卩（：170? 2020 /001554
[0104] ストレージ装置 9 1 3は、 情報処理装置 900の記憶部の一例として構成 されたデータ格納用の装置である。 ストレージ装置 9 1 3は、 例えば、 H D D (H a r d D i s k D r i v e) 等の磁気記憶デバイス、 半導体記憶 デバイス、 光記憶デバイス又は光磁気記憶デバイス等により実現されてもよ い。 例えば、 ストレージ装置 9 1 3は、 記憶媒体、 記憶媒体にデータを記録 する記録装置、 記憶媒体からデータを読み出す読出装置、 及び記憶媒体に記 録されたデータを削除する削除装置などを含んでもよい。 ストレージ装置 9 1 3は、 C P U 901が実行するプログラム、 各種データ及び外部から取得 した各種のデータ等を格納してもよい。
[0105] ドライブ 9 1 4は、 記憶媒体用リードライタである。 ドライブ 9 1 4は、 ドライブ 9 1 4に揷入された各種光学ディスク、 又は半導体メモリ等のリム —バブル記憶媒体に記憶されている情報を読み出して、 R AM 903に出力 する。 ドライブ 9 1 4は、 リムーバブル記憶媒体に情報を書き込むことも可 能である。
[0106] 接続ポート 9 1 5は、 外部機器と接続されるインタフェースである。 接続 ポート 9 1 5は、 外部機器とのデータ伝送可能な接続口であり、 例えば US B (U n i v e r s a l S e r i a l B u s) であつてもよい。
[0107] 通信装置 9 1 6は、 例えば、 ネッ トワーク 920に接続するための通信デ バイス等で形成されたインタフェースである。 通信装置 9 1 6は、 例えば、 有線若しくは無線 LAN (L o c a l A r e a N e t wo r k) 、 LT E (L o n g T e r m E v o l u t i o n) 、 B l u e t o o t h (登 録商標) 又は WU S B (W i r e l e s s US B) 用の通信力ード等であ ってもよい。 また、 通信装置 9 1 6は、 光通信用のルータ、 ADS L (A s ymme t r i c D i g i t a l s u b s c r i b e r L i n e) 用 のルータ又は各種通信用のモデム等であってもよい。 通信装置 9 1 6は、 例 えば、 インターネッ ト又は他の通信機器との間で、 例えば TC P/丨 P等の 所定のプロトコルに則して信号等を送受信することができる。 通信装置 9 1 6は、 通信部 1 1 0、 330として機能してもよい。 〇 2020/174925 28 卩（：170? 2020 /001554
[0108] なお、 情報処理装置 9 0 0に内蔵される〇 II、
Figure imgf000030_0001
ハードウヱアに対して、 上述した本実施形態に係る情報処理サーバ 1 0又は 端末装置 3 0の各構成と同等の機能を発揮させるためのコンピュータプログ ラムも作成可能である。 また、 該コンビュータプログラムを記憶させた記憶 媒体も提供することが可能である。
[0109] 以上、 添付図面を参照しながら本開示の好適な実施形態について詳細に説 明したが、 本開示の技術的範囲はかかる例に限定されない。 本開示の技術分 野における通常の知識を有する者であれば、 請求の範囲に記載された技術的 思想の範疇内において、 各種の変更例または修正例に想到し得ることは明ら かであり、 これらについても、 当然に本開示の技術的範囲に属するものと了 解される。
[01 10] 例えば、 上記実施形態では、 端末装置 3 0は音声提示を制御するとしたが 、 本開示に係る技術はかかる例に限定されない。 例えば、 端末装置 3 0は振 動提示を制御してもよい。
[01 1 1 ] また、 本明細書に記載された効果は、 あくまで説明的または例示的なもの であって限定的ではない。 つまり、 本開示に係る技術は、 上記の効果ととも に、 または上記の効果に代えて、 本明細書の記載から当業者には明らかな他 の効果を奏しうる。
[01 12] なお、 以下のような構成も本開示の技術的範囲に属する。
( 1 )
センサによるセンシング結果に基づいて、 ユーザが行ったアクションを判 断するアクション判断部と、
他ユーザが行ったアクションに関する情報を受信する通信部と、 前記ユーザが行ったアクションと、 前記他ユーザが行ったアクションとの 時間的な一致を判断する同期判断部と、
前記同期判断部の判断に基づいて、 前記ユーザ及び前記他ユーザの各々が 行ったアクションに対応して提示される音声を制御する音声制御部と、 を備える、 情報処理装置。 20/174925 29 卩（：170? 2020 /001554
（2）
前記同期判断部は、 前記ユーザのアクションと、 前記他ユーザのアクショ ンとが閾値時間内に行われている場合、 前記ユーザ及び前記他ユーザのアク ションは同期していると判断する、 前記 （1） に記載の情報処理装置。
（3）
前記音声制御部は、 前記ユーザ及び前記他ユーザのアクションが同期して いるか否かに基づいて、 提示される前記音声を変更する、 前記 （2） に記載 の情報処理装置。
（4）
前記音声制御部は、 提示される前記音声の持続時間、 音量、 音程、 又は追 加音の少なくとも 1つ以上を制御する、 前記 （3） に記載の情報処理装置。
（5）
前記ユーザ及び前記他ユーザのアクションが同期している場合、 前記音声 制御部は、 前記ユーザ及び前記他ユーザのアクションが同期していない場合 よりも、 提示される前記音声の持続時間、 音量、 又は音程が大きくなるよう に前記音声を制御する、 前記 （3） 又は （4） に記載の情報処理装置。
（6）
前記ユーザのアクションに対応して、 前記ユーザ及び前記他ユーザのアク ションが非同期の場合の音声を提示した後に、 前記ユーザ及び前記他ユーザ のアクションが同期していると判断された場合、 前記音声制御部は、 前記非 同期の場合の音声に重畳して、 前記ユーザ及び前記他ユーザのアクションが 同期の場合の音声が提示されるように前記音声を制御する、 前記 （5） に記 載の情報処理装置。
（7）
前記他ユーザのアクションに対応して提示される前記音声は、 前記ユーザ のアクションに対応して提示される前記音声よりも前記音声の持続時間、 音 量、 又は音程が小さい、 前記 （1） 〜 （6） のいずれか一項に記載の情報処 理装置。 〇 2020/174925 30 卩（：170? 2020 /001554
（8）
前記センサは、 前記ユーザが装着しているウェアラブル装置に備えられる 、 前記 （1） 〜 （7） のいずれか一項に記載の情報処理装置。
（9）
前記音声制御部は、 前記ウェアラブル装置にて収音された音声を変調する ことで、 提示する前記音声を生成する、 前記 （8） に記載の情報処理装置。
（1 0）
前記同期判断部は、 前記ユーザが行ったアクションと、 前記ユーザと同一 のグループに属する前記他ユーザが行ったアクションとの時間的な一致を判 断する、 前記 （1） 〜 （9） のいずれか一項に記載の情報処理装置。
（1 1）
前記グループは、 同 _領域に存在する、 同 _コンテンツを体験する、 同 _ アプリケーションを使用する、 又は同ーデバイスを使用するユーザをまとめ たグループである、 前記 （1 0） に記載の情報処理装置。
（1 2）
前記同期判断部は、 前記ユーザのアクション時の姿勢変化の大きさ及び夕 イミングと、 前記他ユーザのアクション時の姿勢変化の大きさ及びタイミン グとの差が閾値以下である場合、 前記ユーザ及び前記他ユーザのアクション は同期していると判断する、 前記 （1） に記載の情報処理装置。
（1 3）
前記同期判断部は、 前記ユーザ及び前記他ユーザの腕、 脚、 頭部、 又は身 体の少なくとも 1つ以上の動きの大きさ及びタイミングの差を判断する、 前 記 （1 2） に記載の情報処理装置。
（1 4）
前記音声制御部は、 前記ユーザ及び前記他ユーザのアクション時の姿勢変 化及びタイミングの差に基づいて、 提示する前記音声の波形を制御する、 前 記 （1 2） 又は （1 3） に記載の情報処理装置。
（1 5） 〇 2020/174925 31 卩（：170? 2020 /001554
前記音声制御部は、 提示する前記音声の周波数、 振幅、 又は音色を制御す る、 前記 （1 4） に記載の情報処理装置。
（1 6）
前記音声制御部は、 提示する前記音声の波形を連続的に変更する、 前記 （ 1 4） 又は （1 5） に記載の情報処理装置。
（1 7）
演算処理装置によって、
センサによるセンシング結果に基づいて、 ユーザが行ったアクションを判 断することと、
他ユーザが行ったアクションに関する情報を受信することと、
前記ユーザが行ったアクションと、 前記他ユーザが行ったアクションとの 時間的な一致を判断することと、
前記判断に基づいて、 前記ユーザ及び前記他ユーザの各々が行ったアクシ ョンに対応して提示される音声を制御することと、
を含む、 情報処理方法。
符号の説明
[0113] 1 0 情報処理サーバ
20、 20 As 206 情報処理装置
30、 30 、 30巳 端末装置
40、 40八、 40巳 ユーザ
50 ネッ トヮーク
1 1 0 通信部
1 20 グループ作成部
1 30 通信制御部
3 1 0 センサ部
320 アクション判断部
330 通信部
340 同期判断部 \¥02020/174925 32 卩（：17 2020/001554
350 音声制御部
360 音声提示部

Claims

〇 2020/174925 33 卩（：170? 2020 /001554 請求の範囲
[請求項 1 ] センサによるセンシング結果に基づいて、 ユーザが行ったアクショ ンを判断するアクション判断部と、
他ユーザが行ったアクションに関する情報を受信する通信部と、 前記ユーザが行ったアクションと、 前記他ユーザが行ったアクショ ンとの時間的な一致を判断する同期判断部と、
前記同期判断部の判断に基づいて、 前記ユーザ及び前記他ユーザの 各々が行ったアクションに対応して提示される音声を制御する音声制 御部と、
を備える、 情報処理装置。
[請求項 2] 前記同期判断部は、 前記ユーザのアクションと、 前記他ユーザのア クションとが閾値時間内に行われている場合、 前記ユーザ及び前記他 ユーザのアクションは同期していると判断する、 請求項 1 に記載の情 報処理装置。
[請求項 3] 前記音声制御部は、 前記ユーザ及び前記他ユーザのアクションが同 期しているか否かに基づいて、 提示される前記音声を変更する、 請求 項 2に記載の情報処理装置。
[請求項 4] 前記音声制御部は、 提示される前記音声の持続時間、 音量、 音程、 又は追加音の少なくとも 1つ以上を制御する、 請求項 3に記載の情報 処理装置。
[請求項 5] 前記ユーザ及び前記他ユーザのアクションが同期している場合、 前 記音声制御部は、 前記ユーザ及び前記他ユーザのアクションが同期し ていない場合よりも、 提示される前記音声の持続時間、 音量、 又は音 程が大きくなるように前記音声を制御する、 請求項 3に記載の情報処 理装置。
[請求項 6] 前記ユーザのアクションに対応して、 前記ユーザ及び前記他ユーザ のアクションが非同期の場合の音声を提示した後に、 前記ユーザ及び 前記他ユーザのアクションが同期していると判断された場合、 前記音 〇 2020/174925 34 卩（：170? 2020 /001554
声制御部は、 前記非同期の場合の音声に重畳して、 前記ユーザ及び前 記他ユーザのアクションが同期の場合の音声が提示されるように前記 音声を制御する、 請求項 5に記載の情報処理装置。
[請求項 7] 前記他ユーザのアクションに対応して提示される前記音声は、 前記 ユーザのアクションに対応して提示される前記音声よりも前記音声の 持続時間、 音量、 又は音程が小さい、 請求項 1 に記載の情報処理装置
[請求項 8] 前記センサは、 前記ユーザが装着しているウェアラブル装置に備え られる、 請求項 1 に記載の情報処理装置。
[請求項 9] 前記音声制御部は、 前記ウェアラブル装置にて収音された音声を変 調することで、 提示する前記音声を生成する、 請求項 8に記載の情報 処理装置。
[請求項 10] 前記同期判断部は、 前記ユーザが行ったアクションと、 前記ユーザ と同一のグループに属する前記他ユーザが行ったアクションとの時間 的な一致を判断する、 請求項 1 に記載の情報処理装置。
[請求項 1 1 ] 前記グループは、 同 _領域に存在する、 同 _コンテンツを体験する
、 同ーアプリケーションを使用する、 又は同ーデバイスを使用するユ —ザをまとめたグループである、 請求項 1 0に記載の情報処理装置。
[請求項 12] 前記同期判断部は、 前記ユーザのアクション時の姿勢変化の大きさ 及びタイミングと、 前記他ユーザのアクション時の姿勢変化の大きさ 及びタイミングとの差が閾値以下である場合、 前記ユーザ及び前記他 ユーザのアクションは同期していると判断する、 請求項 1 に記載の情 報処理装置。
[請求項 13] 前記同期判断部は、 前記ユーザ及び前記他ユーザの腕、 脚、 頭部、 又は身体の少なくとも 1つ以上の動きの大きさ及びタイミングの差を 判断する、 請求項 1 2に記載の情報処理装置。
[請求項 14] 前記音声制御部は、 前記ユーザ及び前記他ユーザのアクション時の 姿勢変化及びタイミングの差に基づいて、 提示する前記音声の波形を 〇 2020/174925 35 卩（：170? 2020 /001554
制御する、 請求項 1 2に記載の情報処理装置。
[請求項 15] 前記音声制御部は、 提示する前記音声の周波数、 振幅、 又は音色を 制御する、 請求項 1 4に記載の情報処理装置。
[請求項 16] 前記音声制御部は、 提示する前記音声の波形を連続的に変更する、 請求項 1 4に記載の情報処理装置。
[請求項 17] 演算処理装置によって、
センサによるセンシング結果に基づいて、 ユーザが行ったアクショ ンを判断することと、
他ユーザが行ったアクションに関する情報を受信することと、 前記ユーザが行ったアクションと、 前記他ユーザが行ったアクショ ンとの時間的な一致を判断することと、
前記判断に基づいて、 前記ユーザ及び前記他ユーザの各々が行った アクションに対応して提示される音声を制御することと、
を含む、 情報処理方法。
PCT/JP2020/001554 2019-02-25 2020-01-17 二人のユーザの同時アクションにより音声を制御する情報処理装置 WO2020174925A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/431,215 US20220113932A1 (en) 2019-02-25 2020-01-17 Information processing device controlling sound according to simultaneous actions of two users

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-031908 2019-02-25
JP2019031908 2019-02-25

Publications (1)

Publication Number Publication Date
WO2020174925A1 true WO2020174925A1 (ja) 2020-09-03

Family

ID=72239345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001554 WO2020174925A1 (ja) 2019-02-25 2020-01-17 二人のユーザの同時アクションにより音声を制御する情報処理装置

Country Status (2)

Country Link
US (1) US20220113932A1 (ja)
WO (1) WO2020174925A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11817071B2 (en) * 2019-10-11 2023-11-14 Marching Assistance Company, LLC Systems and methods for coordinating movement of a group of people

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000037558A (ja) * 1998-07-22 2000-02-08 Sega Enterp Ltd ゲーム装置及びゲーム制御方法及び記憶媒体
JP2011087794A (ja) * 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000037558A (ja) * 1998-07-22 2000-02-08 Sega Enterp Ltd ゲーム装置及びゲーム制御方法及び記憶媒体
JP2011087794A (ja) * 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム

Also Published As

Publication number Publication date
US20220113932A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
CN104813642B (zh) 用于触发手势辨识模式以及经由非触摸手势的装置配对和共享的方法、设备和计算机可读媒体
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
CN108141696A (zh) 用于空间音频调节的系统和方法
JP2020502607A (ja) 同期化を伴うマルチデバイスオーディオストリーミングシステム
WO2014156389A1 (ja) 情報処理装置、提示状態制御方法及びプログラム
CN107852485A (zh) 投影单元
CN112988102A (zh) 投屏方法和装置
TWI644235B (zh) Wearable instant interaction system
US11806621B2 (en) Gaming with earpiece 3D audio
WO2018216355A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11847728B2 (en) Systems configured to control digital characters utilizing real-time facial and/or body motion capture and methods of use thereof
JP2021177418A (ja) 電子機器の通訳機能提供方法およびイヤセット機器
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR101561049B1 (ko) Av장치의 무선제어가 가능한 전자교탁시스템
US20220122333A1 (en) Information processing apparatus, information processing method, and program
JP2023551665A (ja) 仮想位置を指示する実世界ビーコン
WO2020174925A1 (ja) 二人のユーザの同時アクションにより音声を制御する情報処理装置
US11553158B2 (en) Information processing apparatus, information processing method, and program
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017075992A1 (zh) 一种交互方法和设备
JP7166983B2 (ja) 端末およびプログラム
WO2020100583A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
US20210385101A1 (en) Information processing apparatus and information processing method
EP3611941A1 (en) Voice providing device, voice providing method, and program
JP2019208185A (ja) 情報処理装置および音発生方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20763478

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20763478

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP