WO2024252918A1 - 情報処理方法および情報処理装置 - Google Patents

情報処理方法および情報処理装置 Download PDF

Info

Publication number
WO2024252918A1
WO2024252918A1 PCT/JP2024/018654 JP2024018654W WO2024252918A1 WO 2024252918 A1 WO2024252918 A1 WO 2024252918A1 JP 2024018654 W JP2024018654 W JP 2024018654W WO 2024252918 A1 WO2024252918 A1 WO 2024252918A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
information
performer
signal
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/018654
Other languages
English (en)
French (fr)
Inventor
繁 甲斐
吉就 中村
明央 大谷
大智 井芹
琢哉 藤島
遼 松田
颯人 山川
明彦 須山
稜大 密岡
貴洋 原
裕和 鈴木
俊太朗 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of WO2024252918A1 publication Critical patent/WO2024252918A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments

Definitions

  • An embodiment of the present invention relates to an information processing method and an information processing device.
  • Patent document 1 describes detecting the body movements of a performer in a first performance, placing an avatar object associated with the performer in a virtual space, and having the avatar object perform a second performance in response to the detected body movements of the performer.
  • Patent document 2 describes how, when an unspecified number of users display common information using a projector or the like, user gestures are detected and different information related to the displayed shared information is displayed for each user.
  • Patent document 3 describes how musical score data is displayed, and when movement of the touch position to the right is detected within any bar area of the musical score data, it is determined to be the performance start sequence bar, and when movement of the touch position to the left is detected within any bar area of the musical score data, it is determined to be the performance end sequence bar.
  • Patent document 4 describes a method in which a user's gesture or performance information is input, and control information and feedback information are generated based on the results of interpreting the input operation information. An electronic music device is then controlled using the control information, and auditory, visual, and/or physical feedback is provided to the user using the feedback information.
  • One aspect of the present disclosure aims to provide an information processing method that enables advanced communication between performers in remote locations without disrupting a performance such as a musical instrument.
  • An information processing method detects a specific gesture by a first performer, generates related information relating to the performance of the first performer or a second performer based on the detected specific gesture, and transmits the related information from a first terminal used by the first performer to a second terminal used by the second performer.
  • advanced communication between performers in remote locations can be achieved without impeding performance such as musical performance.
  • FIG. 1 is a block diagram showing a configuration of an information processing system.
  • FIG. 2 is a block diagram showing the configuration of PC1A.
  • 10 is a flowchart showing the operation of an information processing method.
  • FIG. 13 is a configuration diagram of an information processing system according to a ninth modified example.
  • FIG. 1 is a configuration diagram of an information processing system according to this embodiment.
  • the information processing system includes a PC (personal computer) 1A installed at a first location 10, a PC 1B installed at a second location 20, and a PC 1C installed at a third location 30.
  • PC personal computer
  • the first performer 3 at the first location 10 connects an instrument 4 to PC 1A.
  • the second performer 5 at the second location 20 connects an instrument 6 to PC 1B.
  • the third performer 7 at the third location 30 connects a microphone 8 to PC 1C.
  • instrument 4 is an electric guitar
  • instrument 6 is an electric bass.
  • "playing" is not limited to playing an instrument, but also includes singing using a microphone.
  • FIG. 2 is a block diagram showing the configuration of PC1A.
  • PC1A is a general-purpose information processing device. The main configurations of PC1A, PC1B, and PC1C are the same.
  • FIG. 2 shows the configuration of PC1A as a representative.
  • PC1A is an example of a first terminal
  • PC1B and PC1C are described as examples of a second terminal.
  • PC1A includes a display 31, a user I/F 32, a flash memory 33, a processor 34, a RAM 35, a communication I/F 36, a speaker (SP) 37, an audio I/F 38, and a camera 50.
  • Display 31 is, for example, an LED, LCD, or OLED, and displays various information.
  • User I/F 32 is a touch panel that is layered on the LCD or OLED of display 31.
  • user I/F 32 may be a keyboard, a mouse, or the like.
  • GUI Graphic User Interface
  • the communication I/F 36 includes a network interface and is connected to a network such as the Internet via a router (not shown).
  • the audio I/F 38 has an analog audio terminal.
  • the audio I/F 38 is connected to an audio device such as a musical instrument or a microphone via an audio cable and receives analog sound signals.
  • the audio I/F 38 of PC 1A is connected to the musical instrument 4 and receives analog sound signals related to performance sounds from the musical instrument 4.
  • the audio I/F 38 of PC 1B is connected to the musical instrument 6 and receives analog sound signals related to performance sounds from the musical instrument 6.
  • the audio I/F 38 of PC 1C is connected to the microphone 8 and receives analog sound signals related to singing sounds from the microphone 8.
  • the audio I/F 38 converts the received analog sound signals into digital sound signals.
  • the audio I/F 38 also converts the digital sound signals into analog sound signals.
  • the SP 37 plays sounds based on the analog sound signals.
  • Camera 50 captures video signals related to the performers' performance.
  • the processor 34 is composed of a CPU, DSP, or SoC (System-on-a-Chip), and reads a program stored in a flash memory 33, which is a storage medium, into the RAM 35 to control each component of the PC 1A.
  • the flash memory 33 stores the program of this embodiment.
  • the processor 34 encodes the digital audio signal received from the audio I/F 38 into an audio packet and transmits it to another device via the communication I/F 36.
  • the processor 34 also encodes the video signal received from the camera 50 into a video packet and transmits it to another device via the communication I/F 36.
  • the processor 34 also decodes audio packets received from other devices via the communication I/F 36, and outputs the decoded digital audio signal to the audio I/F 38.
  • the processor 34 also decodes video packets received from other devices via the communication I/F 36, and outputs the decoded video signal to the display 31.
  • the processor 34 of PC1A transmits a sound signal of the musical instrument 4 to PC1B and PC1C.
  • the processor 34 of PC1A transmits a video signal of the first performer 3 captured by the camera 50 to PC1B and PC1C.
  • the processor 34 of PC1B transmits the sound signal of the musical instrument 6 to PC1A and PC1C.
  • the processor 34 of PC1B transmits the video signal of the second performer 5 captured by the camera 50 to PC1A and PC1C.
  • Processor 34 of PC1C transmits the audio signal from microphone 8 to PC1A and PC1B.
  • Processor 34 of PC1C transmits the video signal of third performer 7 captured by camera 50 to PC1A and PC1B.
  • the processor 34 of PC1A receives the sound signal of the musical instrument 6 from PC1B, and receives the sound signal of the microphone 8 from PC1C.
  • the processor 34 of PC1A receives the video signal related to the second performer 5 from PC1B, and receives the video signal related to the third performer 7 from PC1C.
  • the processor 34 of PC1B receives the sound signal of the musical instrument 4 from PC1A, and receives the sound signal of the microphone 8 from PC1C.
  • the processor 34 of PC1B receives the video signal related to the first performer 3 from PC1A, and receives the video signal related to the third performer 7 from PC1C.
  • Processor 34 of PC1C receives the sound signal of instrument 4 from PC1A, and receives the sound signal of instrument 6 from PC1B.
  • Processor 34 of PC1C receives the video signal related to first performer 3 from PC1A, and receives the video signal related to second performer 5 from PC1B.
  • the SP 37 of PC 1A plays the sounds of the musical instrument 6 and microphone 8.
  • the display 31 of PC 1A displays images related to the second performer 5 and the third performer 7.
  • the SP 37 of PC 1B plays the sounds of the musical instrument 4 and microphone 8.
  • the display 31 of PC 1B displays images related to the first performer 3 and the third performer 7.
  • the SP 37 of the PC 1C plays the sounds of the musical instruments 4 and 6.
  • the display 31 of the PC 1C displays images relating to the first performer 3 and the second performer 5.
  • PC1A, PC1B, and PC1C transmit and receive reference information that serves as the basis for the performance.
  • the reference information that serves as the basis for the performance is, for example, the sound of a metronome.
  • the reference information is the sound of an instrument that is responsible for the rhythm of a piece of music (a rhythm instrument), such as a drum sound.
  • the metronome sound and the sound of a rhythm instrument are sounds that relate to the timing of a performance.
  • these sounds are stored in flash memory 33 of PC1A, PC1B, and PC1C.
  • PC1A, PC1B, and PC1C play the metronome sound and the sound of the rhythm instrument.
  • each performer performs in time with the metronome sound and the sound of the rhythm instrument.
  • the first performer 3, the second performer 5, and the third performer 7 perform their performance in time with the metronome sound and the sound of the rhythm instrument.
  • FIG. 3 is a flowchart showing the operation of the signal processing method of this embodiment.
  • the operation of processor 34 of PC 1A will be explained as a representative.
  • Processor 34 detects a specific gesture of the first actor (S11).
  • the "first actor” here refers to the user of each terminal. Since the user of PC1A is first actor 3, the “first actor” in the operation of PC1A's processor 34 refers to first actor 3. Since the user of PC1B is second actor 5, the “first actor” in the operation of PC1B's processor 34 refers to second actor 5. Since the user of PCCB is third actor 7, the "first actor” in the operation of PC1C's processor 34 refers to third actor 7.
  • a specific gesture is, for example, a movement of the body, such as the head or arm, upward and then downward. Or, for example, a movement of an electric guitar player, moving part of the instrument (the neck portion) upward and then downward.
  • the processor 34 detects the specific gesture based on a video signal of the player captured by the camera 50, for example.
  • Processor 34 detects the image of the performer and determines whether or not it contains a movement related to a specific gesture. Processor 34 determines whether or not it contains a movement related to a specific gesture, for example, based on the image features of the received video signal.
  • the image features are multidimensional vectors that include visual features such as SIFT (Scale-Invariant Feature Transform), SURF (Speed-Up Robust Features), and HoG (Histograms of Oriented Gradients) and movement features in the time axis direction.
  • SIFT Scale-Invariant Feature Transform
  • SURF Speed-Up Robust Features
  • HoG HoG
  • processor 34 determines that the received video signal contains a movement related to a specific gesture.
  • the processor 34 may use a trained model that has been trained to determine the correspondence between image features and information indicating that a particular gesture-related movement is included in the received video signal to determine whether or not the video signal includes a particular gesture-related movement.
  • the processor 34 generates relevant information related to the performance of the first or second performer based on the specific gesture detected (S12).
  • the relevant information related to the performance is, for example, information indicating an instruction to start or stop playing. More specifically, the relevant information is information indicating an instruction to start playing reference information such as the above-mentioned metronome sound or drum sound, or to stop playing the reference information.
  • the processor 34 generates the relevant information at the timing when it detects a movement of moving the performer's head, arm, or instrument, etc., upward and then downward.
  • the processor 34 generates related information based on a trained model in which the relationship between the gesture and the related information is trained using a DNN (Deep Neural Network).
  • DNN Deep Neural Network
  • the processor 34 acquires a large number of data sets (training data) including gestures and related information corresponding to the gestures.
  • the processor 34 trains the relationship between the gestures and the related information using a predetermined algorithm in a predetermined model.
  • the algorithm for training the model is not limited, and any machine training algorithm such as a CNN (Convolutional Neural Network) or an RNN (Recurrent Neural Network) can be used.
  • the machine training algorithm may be supervised training, unsupervised training, semi-supervised training, reinforcement training, reverse reinforcement training, active training, or transfer training.
  • the estimation unit 53 may train the model using a machine training model such as a Hidden Markov Model (HMM) or a Support Vector Machine (SVM).
  • HMM Hidden Markov Model
  • SVM Support Vector Machine
  • the associated information is uniquely determined. For example, a performer indicates the end of playing by moving an instrument upwards and then downwards. In this case, there is a correlation between the action of moving the instrument upwards and then downwards and the end of playing. Therefore, the processor 34 trains a predetermined model on the relationship between the gesture and the associated information, and generates a trained model. In the execution stage, the processor 34 inputs movement information related to a specific gesture using the trained model, and generates the associated information.
  • the processor 34 transmits the related information from the first terminal used by the first performer to the second terminal used by the second performer (S13). For example, when the first performer 3, who is the user of PC1A, moves the instrument 4 upward and then downward, PC1A transmits an instruction to start playing the sound of a metronome as related information to PC1B and PC1C.
  • the first performer 3 can start a remote session by making a specific gesture. Specifically, the first performer 3 can instruct the start of a remote session by simply shaking his head or the instrument up and down while maintaining the playing posture of the electric guitar (musical instrument 4). Alternatively, the first performer 3 can instruct the stop, end, fermata, etc. of the remote session by simply shaking his head or the instrument up and down while maintaining the playing posture of the electric guitar (musical instrument 4). For example, the first performer 3 can instruct a fermata by slowly lifting the head of the electric guitar (musical instrument 4) upward.
  • the processor 34 of the PC 1A When the processor 34 of the PC 1A detects a gesture of slowly lifting the head of the electric guitar (musical instrument 4) upward, it transmits an instruction to lower the tempo of the metronome sound. Alternatively, the processor 34 of the PC 1A may transmit an instruction to display a fermata symbol on the display 31. The first performer 3 can instruct the end of the remote session by lifting the head of the electric guitar (musical instrument 4) and then vigorously lowering it. When the processor 34 of the PC 1A detects a gesture of lowering the head of the electric guitar (musical instrument 4), it transmits an instruction to stop the metronome sound. Such instructions to change the tempo of the metronome sound, stop it, stop the remote session, end it, and enter a fermata correspond to relevant information related to the performances of both the first and second performers.
  • the information processing method of this embodiment does not impede performance such as music, and allows performers to communicate with each other using eye contact, facial expressions, body language, etc., just as if they were in the same space, enabling advanced communication between performers in remote locations. Therefore, users can enjoy a customer experience of a comfortable remote session that was not previously available.
  • a first terminal in the first modification transmits a first signal related to a performance of a first performer to a second terminal, and transmits related information to the second terminal in priority to the first signal.
  • the first terminal in this modification is PC1A
  • the second terminals are PC1B and PC1C.
  • processor 34 of PC1A transmits the sound signal of musical instrument 4 to PC1B and PC1C.
  • Processor 34 of PC1A transmits the video signal of first performer 3 captured by camera 50 to PC1B and PC1C.
  • Processor 34 of PC1A preferentially transmits an instruction to PC1B and PC1C to start playing the sound of a metronome. Transmitting preferentially means, for example, that packet data of related information is transmitted preferentially over packet data relating to sound and video signals.
  • the information processing method of variant 1 prioritizes processing of reference information (e.g., a metronome sound) that serves as a reference for the session.
  • reference information e.g., a metronome sound
  • the first terminal transmits a first signal related to the performance of the first performer to the second terminal
  • a third terminal used by a third performer transmits a third signal related to the performance of the third performer to the second terminal
  • the second terminal processes the first signal with priority based on related information.
  • the first terminal in this modification is PC1A
  • the second terminal is PC1B
  • the third terminal is PC1C.
  • the processor 34 of PC1A transmits the digital sound signal of the instrument 4 to PC1B and PC1C.
  • the processor 34 of PC1B receives the sound signal related to the instrument 4 from PC1A, and receives the sound signal related to the microphone 8 from PC1C.
  • the processor 34 of PC1B reproduces the sounds of the instrument 4 and the microphone 8.
  • Processor 34 of PC1A detects the gesture of first performer 3 and sends an instruction to PC1B and PC1C to start playing the metronome sound.
  • Processor 34 of PC1B gives priority to processing the sound signal of instrument 4 received from PC1A.
  • Priority processing means, for example, giving priority to the audio packets received from PC1A and decoding the audio packets of PC1A before the audio packets of PC1C.
  • the processor 34 of PC1C assigns priority to the audio packets received from PC1A, meaning that the audio packets of PC1A are decoded before the audio packets of PC1B.
  • the information processing method of variant 2 gives priority to processing information related to the performance of the user in charge of the session (e.g., the first performer 3).
  • the sound of the instrument 4 of the first performer 3 in charge of the session does not deviate significantly at any point, and the impact of delays on performance during a remote session can be minimized.
  • the related information of the third variant includes tempo information relating to the tempo of the performance, and the tempo information is shared between the first terminal and the second terminal.
  • the related information was information such as starting playback of reference information such as a metronome sound or a drum sound, or stopping playback of the reference information.
  • the related information may also be tempo information that specifies the performance tempo. More specifically, the tempo information is information that indicates the number of beats per minute (BPM) of the metronome sound or the drum sound.
  • the processor 34 of PC1A determines the tempo information based on, for example, the image features of the received video signal.
  • the processor 34 of PC1A determines the tempo information according to the speed at which the first performer 3 raises and lowers the instrument 4.
  • the processor 34 of PC1A may determine the tempo information according to the speed at which the first performer 3 raises and lowers his or her legs from the knees down.
  • Processor 34 of PC1A transmits the obtained tempo information to PC1B and PC1C.
  • PC1A, PC1B, and PC1C change the number of beats of the metronome sound and rhythm instrument sound based on the tempo information.
  • PC1A, PC1B, and PC1C display the number of beats information on display 31 based on the tempo information, and the performer playing the rhythm instrument such as a drum plays in time with the displayed number of beats information. This allows first performer 3 to instruct the tempo change while playing during the session, providing the customer with the experience of a comfortable remote session that was not previously available.
  • the first terminal transmits a first signal related to the performance of the first performer to the second terminal, and the second terminal detects gestures of the first performer and generates related information.
  • PC1A detects a specific gesture based on a video signal related to the first actor 3 captured by camera 50, but PC1B and PC1C may also detect a specific gesture based on a video signal related to the first actor 3 received.
  • a server may receive a video signal related to the first actor 3 from PC1A and detect a specific gesture. In this case, the server (not shown) generates related information based on the detected gesture of the first actor and transmits the related information to PC1B and PC1C.
  • a first terminal transmits a first signal related to the performance of a first performer to a second terminal, the related information includes information related to the processing of the first signal at the second terminal, and the second terminal processes the first signal based on the related information.
  • the processor 34 of PC1A transmits the sound signal of the instrument 4 to PC1B and PC1C.
  • the processor 34 of PC1B receives the sound signal related to the instrument 4 from PC1A, and receives the sound signal related to the microphone 8 from PC1C.
  • the processor 34 of PC1B reproduces the sounds of the instrument 4 and the microphone 8.
  • Processor 34 of PC1A detects the gesture of first performer 3 and generates processing of the sound signal related to instrument 4 (e.g., signal processing parameters) as related information. For example, when processor 34 of PC1A detects a gesture of first performer 3 turning his face to the right, it generates a signal processing parameter for increasing the volume of the sound signal related to instrument 4 as related information.
  • Processor 34 of PC1C transmits the signal processing parameter to PC1B and PC1C.
  • Processor 34 of PC1B performs signal processing to increase the volume of the sound signal related to instrument 4 received from PC1A.
  • processor 34 of PC1C performs signal processing to increase the volume of the sound signal related to instrument 4 received from PC1A.
  • Such a change in the volume of the sound signal related to instrument 4 of first performer 3 corresponds to related information related to the performance of only first performer 3.
  • the first terminal transmits a first signal related to the performance of the first performer to the second terminal
  • the second terminal transmits a second signal related to the performance of the second performer to the first terminal
  • the related information includes information related to the processing of the second signal at the first terminal and information related to the processing of the first signal at the second terminal
  • the first terminal processes the second signal based on the related information
  • the second terminal processes the first signal based on the related information
  • the processor 34 of PC1A transmits the sound signal of the instrument 4 to PC1B and PC1C.
  • the processor 34 of PC1B transmits the sound signal of the instrument 6 to PC1A and PC1C.
  • Processor 34 of PC1A detects the gesture of first performer 3 and generates processing of the sound signal related to instrument 4 (e.g., signal processing parameters) as related information. For example, when processor 34 of PC1A detects a gesture of first performer 3 turning his/her face to the right, it generates signal processing parameters for increasing the volume of the sound signal related to instrument 4 as related information. Processor 34 of PC1A transmits the signal processing parameters to PC1B and PC1C.
  • processing of the sound signal related to instrument 4 e.g., signal processing parameters
  • Processor 34 of PC2A detects the gesture of second performer 5 and generates processing of the sound signal related to instrument 6 (e.g., signal processing parameters) as related information. For example, when processor 34 of PC1B detects a gesture by second performer 5 to turn his face to the left, it generates signal processing parameters to reduce the volume of the sound signal related to instrument 6 as related information. Processor 34 of PC1B transmits the signal processing parameters to PC1A and PC1B.
  • processing of the sound signal related to instrument 6 e.g., signal processing parameters
  • Processor 34 of PC1A performs signal processing to reduce the volume of the sound signal related to instrument 6 received from PC1B.
  • Processor 34 of PC1B performs signal processing to increase the volume of the sound signal related to instrument 4 received from PC1A.
  • Processor 34 of PC1C performs signal processing to increase the volume of the sound signal related to instrument 4 received from PC1A and to reduce the volume of the sound signal related to instrument 6 received from PC1B.
  • first performer 3 and the second performer 5 to give instructions to change signal processing parameters, such as changing the volume, while they are performing, providing customers with a comfortable remote session experience that was previously unavailable.
  • the specific gesture includes the gaze of the performer.
  • the processor 34 of PC1A obtains gaze information based on, for example, image features of the received video signal. For example, when the processor 34 of PC1A detects a gesture of the first performer 3 directing his/her gaze to the right, it generates a signal processing parameter for increasing the volume of the sound signal related to the instrument 4 as related information.
  • the processor 34 of PC1C transmits the signal processing parameter to PC1B and PC1C.
  • the processor 34 of PC1B performs signal processing for increasing the volume of the sound signal related to the instrument 4 received from PC1A.
  • the processor 34 of PC1C performs signal processing for increasing the volume of the sound signal related to the instrument 4 received from PC1A.
  • the first performer 3 can instruct changes to signal processing parameters such as volume by simply changing his or her line of sight while performing, providing customers with a comfortable remote session experience that was previously unavailable.
  • the related information includes an action for another actor.
  • the other actor of the first actor 3 means, for example, the second actor 5 or the third actor 7.
  • the other actor of the second actor 5 means, for example, the first actor 3 or the third actor 7.
  • the other actor of the third actor 7 means, for example, the first actor 3 or the second actor 5.
  • the processor 34 of the PC 1A detects which other actor the first actor 3 is requesting an action for, based on the image of the actor displayed on the display 31 and the gaze information obtained as in the seventh modification.
  • the processor 34 of the PC 1A determines that the first actor 3 is gazing at the second actor 5
  • the processor 34 of the PC 1A requests an action for the second actor 5.
  • the processor 34 of PC1A detects a gesture of the first performer 3 turning his/her face to the left
  • the processor 34 of PC1A generates a signal processing parameter for lowering the volume of the sound signal related to the instrument 6 as related information.
  • the processor 34 of PC1A transmits the signal processing parameter to PC1B.
  • the processor 34 of PC1A detects a specific gesture of the first performer 3, generates related information related to the performance of the second performer 5 based on the detected specific gesture, and transmits the related information from PC1A used by the first performer 3 to PC1B used by the second performer 5.
  • the processor 34 of PC1B performs signal processing for lowering the volume of the sound signal related to the instrument 6 to be transmitted to PC1A and PC1C. Such a change in the volume of the sound signal related to the instrument 6 of the second performer 5 corresponds to related information related to the performance of only the second performer 5.
  • Fig. 4 is a configuration diagram of an information processing system according to the 9th modification. Components common to those in Fig. 1 are given the same reference numerals and descriptions thereof will be omitted.
  • the information processing system according to the 9th modification further includes a server 100.
  • Server 100 records the audio and video signals received from PC1A, PC1B, and PC1C as video data and audio data. Server 100 also distributes the recorded video data and audio data.
  • the server 100 records time information related to the video data and audio data.
  • PC1C corresponds to the first terminal
  • server 100 corresponds to the second terminal.
  • PC1C detects a specific gesture by third performer 7 e.g., raising the right hand
  • it generates time information (the time of day or the time elapsed since the start of the session) as related information.
  • PC1C transmits the time information to server 100.
  • Server 100 records the time information received from PC1C in correspondence with the video data and audio data.
  • the processor 34 of the PC 1C detects a specific gesture by the third performer 7 (for example, the action of moving the right hand to the left), it generates playback information as related information.
  • the processor 34 of the PC 1C transmits the playback information to the server 100.
  • the server 100 distributes image data and sound data from the most recently recorded time information in accordance with the received playback information.
  • PC1A, PC1B, or PC1C may display guidance information on the display 31 or output a guidance voice from the SP 37 regarding actions for other performers, such as starting, stopping, or restarting a performance, or changing the tempo.
  • the related information is information indicating a change in tempo (e.g., changing to tempo 120)
  • PC1A, PC1B, or PC1C may display guidance information such as "Please change to tempo 120" on the display 31, or output a guidance voice such as "Please change to tempo 120" from the SP 37.
  • each performer can also obtain a customer experience of a comfortable remote session that was not available in the past.
  • PC1A, PC1B, and PC1C are shown as examples of the terminal of the present invention.
  • the terminal of the present invention is not limited to the above-mentioned PC1A, PC1B, and PC1C.
  • an electronic musical instrument equipped with the functions of the above-mentioned user I/F 32, flash memory 33, processor 34, RAM 35, communication I/F 36, speaker (SP) 37, audio I/F 38, and camera 50 can also constitute a terminal of the present invention.
  • Electronic musical instruments include, for example, electronic pianos, electronic drums, electronic violins, electronic wind instruments, electronic organs, synthesizers, etc., as well as electric guitars and electric basses.
  • the gestures are detected by an image sensor using the camera 50, but other sensors such as optical or inertial sensors may also be used.
  • an electronic musical instrument such as a guitar with a built-in inertial sensor may detect specific movements based on the signal from the inertial sensor and recognize them as gestures.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

情報処理方法は、第１演者の特定のジェスチャーを検出し、検出した前記特定のジェスチャーに基づいて、前記第１演者または第２演者のパフォーマンスに関連する関連情報を生成し、前記関連情報を前記第１演者の利用する第１端末から前記第２演者の利用する第２端末に送信する。

Description

情報処理方法および情報処理装置
　この発明の一実施形態は、情報処理方法および情報処理装置に関する。
　特許文献１には、第１パフォーマンスにおける、演者の身体の動きを検出し、演者に関連付けられるアバターオブジェクトを仮想空間に配置し、検出した演者の身体の動きに応じて、アバターオブジェクトに、第２パフォーマンスを実行させることが記載されている。
　特許文献２には、不特定多数のユーザがプロジェクタ等を用いて共通情報を表示する時に、ユーザジェスチャーを検知して、表示された共有情報に関連し、ユーザごとに異なる情報を表示することが記載されている。
　特許文献３には、楽譜データを表示し、楽譜データの任意の小節領域上で右方向へのタッチ位置の移動を検出したら演奏開始シーケンス小節、楽譜データの任意の小節領域上で左方向へのタッチ位置の移動を検出したら演奏終了シーケンス小節に決定することが記載されている。
　特許文献４には、ユーザのジェスチャーまたは演奏情報を入力し、入力した動作情報を解釈した結果に基づいて制御情報及びフィードバック情報を生成する。そして、制御情報により電子音楽装置を制御し、フィードバック情報により、ユーザに対して聴覚的、視覚的乃至物理的なフィードバックを行うことが記載されている。
特開２０２０－４３８８ 特開２０１６－２０１０５０ 特開２０１５－１８４４２０ 特開２００７－４０７１
　演奏等のパフォーマンスでは、パフォーマンスに集中していて、手や口が離せないことがあり、コミュニケーションを取ることが難しい。
　演者が同じ空間に居る場合、目線、表情、ボディランゲージ等を用いて演奏者間でコミュニケーションを取る場合がある。しかし、遠隔地の演者間のセッションでは目線、表情、ボディランゲージ等を伝えるのは難しい。
　本開示のひとつの態様は、演奏等のパフォーマンスを阻害せずに遠隔地の演者間で高度なコミュニケーションを取ることができる情報処理方法を提供することを目的とする。
　本発明の一実施形態に係る情報処理方法は、第１演者の特定のジェスチャーを検出し、検出した前記特定のジェスチャーに基づいて、前記第１演者または第２演者のパフォーマンスに関連する関連情報を生成し、前記関連情報を前記第１演者の利用する第１端末から前記第２演者の利用する第２端末に送信する。
　本発明の一実施形態によれば、演奏等のパフォーマンスを阻害せずに遠隔地の演者間で高度なコミュニケーションを取ることができる。
情報処理システムの構成を示すブロック図である。 ＰＣ１Ａの構成を示すブロック図である。 情報処理方法の動作を示すフローチャートである。 変形例９に係る情報処理システムの構成図である。
　図１は、本実施形態に係る情報処理システムの構成図である。情報処理システムは、第１地点１０に設置されたＰＣ（パーソナルコンピュータ）１Ａ、第２地点２０に設置されたＰＣ１Ｂ、および第３地点３０に設置されたＰＣ１Ｃを備える。
　第１地点１０の第１演者３は、ＰＣ１Ａに楽器４を接続する。第２地点２０の第２演者５は、ＰＣ１Ｂに楽器６を接続する。第３地点３０の第３演者７は、ＰＣ１Ｃにマイク８を接続する。
　本実施形態では一例として、楽器４はエレキギターであり、楽器６はエレキベースである。なお、本実施形態において、「演奏」とは楽器の演奏に限るものではなく、マイクを用いた歌唱も含む。
　図２は、ＰＣ１Ａの構成を示すブロック図である。ＰＣ１Ａは、汎用の情報処理装置である。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃの主要構成は同じである。図２では代表してＰＣ１Ａの構成を示す。本実施形態において、ＰＣ１Ａは第１端末の一例であり、ＰＣ１ＢおよびＰＣ１Ｃは第２端末の一例として説明する。
　ＰＣ１Ａは、表示器３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、オーディオＩ／Ｆ３８、およびカメラ５０を備えている。
　表示器３１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ３２は、表示器３１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ３２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器３１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を構成する。
　通信Ｉ／Ｆ３６は、ネットワークインタフェースを含み、ルータ（不図示）を介してインターネット等のネットワークに接続される。
　オーディオＩ／Ｆ３８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ３８は、オーディオケーブルを介して楽器またはマイク等の音響機器に接続され、アナログ音信号を受け付ける。本実施形態では、ＰＣ１ＡのオーディオＩ／Ｆ３８は、楽器４に接続され、楽器４から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＢのオーディオＩ／Ｆ３８は、楽器６に接続され、楽器６から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＣのオーディオＩ／Ｆ３８は、マイク８に接続され、マイク８から歌唱音に係るアナログ音信号を受け付ける。オーディオＩ／Ｆ３８は、受け付けたアナログ音信号をデジタル音信号に変換する。また、オーディオＩ／Ｆ３８は、デジタル音信号をアナログ音信号に変換する。ＳＰ３７は、当該アナログ音信号に基づく音を再生する。
　カメラ５０は、演者のパフォーマンスに係る映像信号を取得する。
　プロセッサ３４は、ＣＰＵ，ＤＳＰ、あるいはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等からなり、記憶媒体であるフラッシュメモリ３３に記憶されているプログラムをＲＡＭ３５に読み出して、ＰＣ１Ａの各構成を制御する。フラッシュメモリ３３は、本実施形態のプログラムを記憶している。
　プロセッサ３４は、オーディオＩ／Ｆ３８から受け付けたデジタル音信号を、オーディオパケットにエンコードして通信Ｉ／Ｆ３６を介して他装置に送信する。また、プロセッサ３４は、カメラ５０から受け付けた映像信号を映像パケットにエンコードして通信Ｉ／Ｆ３６を介して他装置に送信する。
　また、プロセッサ３４は、通信Ｉ／Ｆ３６を介して他装置から受信したオーディオパケットをデコードし、デコードしたデジタル音信号をオーディオＩ／Ｆ３８に出力する。また、プロセッサ３４は、通信Ｉ／Ｆ３６を介して他装置から受信した映像パケットをデコードし、デコードした映像信号を表示器３１に出力する。
　例えば、ＰＣ１Ａのプロセッサ３４は、楽器４の音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ａのプロセッサ３４は、カメラ５０で撮影した第１演者３に係る映像信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。
　ＰＣ１Ｂのプロセッサ３４は、楽器６の音信号をＰＣ１ＡおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、カメラ５０で撮影した第２演者５に係る映像信号をＰＣ１ＡおよびＰＣ１Ｃに送信する。
　ＰＣ１Ｃのプロセッサ３４は、マイク８の音信号をＰＣ１ＡおよびＰＣ１Ｂに送信する。ＰＣ１Ｃのプロセッサ３４は、カメラ５０で撮影した第３演者７の映像信号をＰＣ１ＡおよびＰＣ１Ｂに送信する。
　ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂから楽器６の音信号を受信し、ＰＣ１Ｃからマイク８の音信号を受信する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂから第２演者５に係る映像信号を受信し、ＰＣ１Ｃから第３演者７に係る映像信号を受信する。
　ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから楽器４の音信号を受信し、ＰＣ１Ｃからマイク８の音信号を受信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから第１演者３に係る映像信号を受信し、ＰＣ１Ｃから第３演者７に係る映像信号を受信する。
　ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから楽器４の音信号を受信し、ＰＣ１Ｂから楽器６の音信号を受信する。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから第１演者３に係る映像信号を受信し、ＰＣ１Ｂから第２演者５に係る映像信号を受信する。
　ＰＣ１ＡのＳＰ３７は、楽器６およびマイク８の音を再生する。ＰＣ１Ａの表示器３１は、第２演者５および第３演者７に係る映像を表示する。
　ＰＣ１ＢのＳＰ３７は、楽器４およびマイク８の音を再生する。ＰＣ１Ｂの表示器３１は、第１演者３および第３演者７に係る映像を表示する。
　ＰＣ１ＣのＳＰ３７は、楽器４および楽器６の音を再生する。ＰＣ１Ｃの表示器３１は、第１演者３および第２演者５に係る映像を表示する。
　また、ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃは、パフォーマンスの基準となる基準情報を送受信する。パフォーマンスの基準となる基準情報とは、例えばメトロノームの音である。あるいは、基準情報は、ドラム音等の、楽曲におけるリズムを担当する楽器（リズム楽器）の音である。メトロノームの音やリズム楽器の音は、演奏のタイミングに関係する音である。これらの音は、一例として、ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃのフラッシュメモリ３３に記憶されている。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃは、メトロノームの音やリズム楽器の音を再生する。セッションでは、各演者はメトロノームの音やリズム楽器の音にタイミングを合わせて演奏を行う。第１演者３、第２演者５および第３演者７は、メトロノームの音やリズム楽器の音に合わせて演奏のパフォーマンスを行う。
　これにより、本実施形態の信号処理方法は、遠隔セッションを実現する。図３は、本実施形態の信号処理方法の動作を示すフローチャートである。図３では代表してＰＣ１Ａのプロセッサ３４の動作について説明する。
　プロセッサ３４は、第１演者の特定のジェスチャーを検出する（Ｓ１１）。ここで言う「第１演者」とは、各端末の利用者を意味する。ＰＣ１Ａの利用者は第１演者３であるため、ＰＣ１Ａのプロセッサ３４の動作における「第１演者」とは、第１演者３を意味する。ＰＣ１Ｂの利用者は第２演者５であるため、ＰＣ１Ｂのプロセッサ３４の動作における「第１演者」とは、第２演者５を意味する。ＰＣＣＢの利用者は第３演者７であるため、ＰＣ１Ｃのプロセッサ３４の動作における「第１演者」とは、第３演者７を意味する。
　特定のジェスチャーとは、例えば頭部または腕等の身体を上方に動かした後に下方に移動させる動きである。あるいは、例えばエレキギターの演者が楽器の一部（ネック部分）を上方に動かした後に下方に移動させる動きである。プロセッサ３４は、例えばカメラ５０で撮影した演者に係る映像信号に基づいて特定のジェスチャーを検出する。
　プロセッサ３４は、演者の画像を検出し、特定のジェスチャーに係る動きを含むか否かを判定する。プロセッサ３４は、例えば受け付けた映像信号の画像特徴量に基づいて、特定のジェスチャーに係る動きを含むか否かを判定する。画像特徴量とは、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）、ＨｏＧ（Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）等の視覚特徴と時間軸方向の動き特徴とを含む多次元ベクトルである。プロセッサ３４は、例えば、特定のジェスチャーに係る動きの画像特徴量を蓄積したデータベースに、受け付けた映像信号の画像特徴量を入力して、対応する情報があるか否かを検索する。プロセッサ３４は、対応する情報がある場合に、受け付けた映像信号に特定のジェスチャーに係る動きを含むと判定する。あるいは、プロセッサ３４は、画像特徴量と特定のジェスチャーに係る動きを含むことを示す情報との対応関係を訓練した訓練済モデルを用いて、受け付けた映像信号に特定のジェスチャーに係る動きを含むか否かを判定してもよい。
　プロセッサ３４は、検出した特定のジェスチャーに基づいて、第１演者または第２演者のパフォーマンスに関連する関連情報を生成する（Ｓ１２）。パフォーマンスに関連する関連情報とは、例えば演奏の開始または演奏の停止指示を示す情報である。より具体的には、関連情報とは、例えば上記のメトロノームの音やドラムの音等の基準情報の再生を開始する、あるいは基準情報の再生を停止する、等の指示を示す情報である。プロセッサ３４は、演者の頭部、腕、または楽器等を上方に動かした後に下方に移動させる動作を検出したタイミングで関連情報を生成する。
　プロセッサ３４は、ジェスチャーと、関連情報と、の関係をＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）で訓練した訓練済モデル（ｔｒａｉｎｅｄ　ｍｏｄｅｌ）に基づいて関連情報を生成する。プロセッサ３４は、訓練段階として、ジェスチャーと、該ジェスチャーに対応する関連情報と、を含むデータセット（訓練用データ）を多数取得する。プロセッサ３４は、所定のモデルに、所定のアルゴリズムを用いてジェスチャーと、関連情報と、の関係を訓練させる。本実施形態において、モデルを訓練させるためのアルゴリズムは限定されず、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）やＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等の任意の機械訓練アルゴリズムを用いることができる。機械訓練アルゴリズムは、教師あり訓練、教師なし訓練、半教師訓練、強化訓練、逆強化訓練、能動訓練、あるいは転移訓練等であってもよい。また、推定部５３は、ＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ：隠れマルコフモデル）やＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）等の機械訓練モデルを用いてモデルを訓練させてもよい。
　ある特定のジェスチャーを行った時の関連情報は一意に決まる。例えば演者は、楽器を上方に動かした後に下方に移動させる動作で演奏の停止を表す。この場合、楽器を上方に動かした後に下方に移動させる動作と、演奏の停止と、は、相関関係を有する。したがって、プロセッサ３４は、所定のモデルに、ジェスチャーと、関連情報と、の関係を訓練させ、訓練済モデルを生成する。プロセッサ３４は、実行段階として、当該訓練済モデルにより、特定のジェスチャーに係る動きの情報を入力し、関連情報を生成する。
　プロセッサ３４は、関連情報を第１演者の利用する第１端末から第２演者の利用する第２端末に送信する（Ｓ１３）。例えば、ＰＣ１Ａの利用者である第１演者３が楽器４を上方に動かした後に下方に移動させる動作を行うと、ＰＣ１ＡはＰＣ１ＢおよびＰＣ１Ｃに関連情報としてメトロノームの音の再生開始指示を送信する。
　これにより、第１演者３は、特定のジェスチャーを行うことで、遠隔セッションを開始させることができる。具体的には、第１演者３は、エレキギター（楽器４）の演奏姿勢を維持したまま、頭や楽器を上下に振るだけで、遠隔セッションの開始を指示することができる。あるいは、第１演者３は、エレキギター（楽器４）の演奏姿勢を維持したまま、頭や楽器を上下に振るだけで、遠隔セッションの停止、終了、フェルマータ等を指示することができる。例えば、第１演者３は、ゆっくりとエレキギター（楽器４）のヘッドを上方向に上げることでフェルマータを指示することができる。ＰＣ１Ａのプロセッサ３４は、ゆっくりとエレキギター（楽器４）のヘッドを上方向に上げるジェスチャーを検出した場合に、メトロノーム音のテンポを下げる指示を送信する。あるいは、ＰＣ１Ａのプロセッサ３４は、表示器３１にフェルマータ記号を表示する指示を送信してもよい。第１演者３は、エレキギター（楽器４）のヘッドを上げた後に勢いよく下げることで、遠隔セッションの終了を指示することができる。ＰＣ１Ａのプロセッサ３４は、エレキギター（楽器４）のヘッドを下方向に下げるジェスチャーを検出した場合に、メトロノーム音の停止指示を送信する。この様なメトロノーム音のテンポ変更、停止、遠隔セッションの停止、終了、およびフェルマータの指示等は、第１演者および第２演者の両方のパフォーマンスに関連する関連情報に対応する。
　この様に、本実施形態の情報処理方法は、演奏等のパフォーマンスを阻害せず、演者が同じ空間に居る場合と同じ様に、目線、表情、ボディランゲージ等を用いて演奏者間でコミュニケーションを取ることができ、遠隔地の演者間で高度なコミュニケーションを取ることができる。したがって、利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例１）　
　変形例１の第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、関連情報を第１信号よりも優先して第２端末に送信する。この変形例に係る第１端末は、ＰＣ１Ａであり、第２端末はＰＣ１ＢおよびＰＣ１Ｃである。
　具体的には、ＰＣ１Ａのプロセッサ３４は、楽器４の音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ａのプロセッサ３４は、カメラ５０で撮影した第１演者３に係る映像信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１ＢおよびＰＣ１Ｃに対して、メトロノームの音の再生開始指示を優先的に送信する。優先的に送信するとは、例えば、音信号および映像信号に係るパケットデータよりも、関連情報のパケットデータを優先して送信することを意味する。
　このようにして、変形例１の情報処理方法は、セッションにおいて基準となる基準情報（例えばメトロノーム音）を優先的に処理する。そのため、基準情報は、どの地点においても大きなずれが無く、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、変形例１の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例２）　
　変形例２の第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、第３演者の利用する第３端末から第３演者のパフォーマンスに係る第３信号を第２端末に送信し、第２端末において、関連情報に基づいて第１信号を優先して処理する。この変形例に係る第１端末はＰＣ１Ａであり、第２端末はＰＣ１Ｂであり、第３端末はＰＣ１Ｃである。
　具体的には、ＰＣ１Ａのプロセッサ３４は、楽器４のデジタル音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから楽器４に係る音信号を受信し、ＰＣ１Ｃからマイク８に係る音信号を受信する。ＰＣ１Ｂのプロセッサ３４は、楽器４およびマイク８の音を再生する。
　ＰＣ１Ａのプロセッサ３４は、第１演者３のジェスチャーを検出して、ＰＣ１ＢおよびＰＣ１Ｃに対して、メトロノームの音の再生開始指示を送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから受信する楽器４の音信号を優先的に処理する。優先的に処理するとは、例えばＰＣ１Ａから受信するオーディオパケットに優先度を付与し、ＰＣ１ＡのオーディオパケットをＰＣ１Ｃのオーディオパケットよりも先にデコードすることを意味する。
　同様に、ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから受信するオーディオパケットに優先度を付与し、ＰＣ１ＡのオーディオパケットをＰＣ１Ｂのオーディオパケットよりも先にデコードすることを意味する。
　このようにして、変形例２の情報処理方法は、セッションを仕切る利用者（例えば第１演者３）のパフォーマンスに係る情報を優先的に処理する。そのため、セッションを仕切る第１演者３の楽器４の音は、どの地点においても大きなずれが無く、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、変形例２の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例３）　
　変形例３の関連情報は、パフォーマンスのテンポに係るテンポ情報を含み、テンポ情報を第１端末および第２端末で共有する。
　上述の実施形態では、関連情報はメトロノームの音やドラムの音等の基準情報の再生を開始する、あるいは基準情報の再生を停止する、等の情報であった。しかし、関連情報は、演奏テンポを指定するテンポ情報であってもよい。より具体的にはテンポ情報は、メトロノームの音やドラムの音の拍数（ＢＰＭ）を示す情報である。
　ＰＣ１Ａのプロセッサ３４は、例えば受け付けた映像信号の画像特徴量に基づいて、テンポ情報を求める。ＰＣ１Ａのプロセッサ３４は、第１演者３が楽器４を上げ下げする動作の速度に応じて、テンポ情報を求める。あるいは、ＰＣ１Ａのプロセッサ３４は、第１演者３が膝から下を上げ下げする動作の速度に応じて、テンポ情報を求めてもよい。
　ＰＣ１Ａのプロセッサ３４は、求めたテンポ情報をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃは、テンポ情報に基づいて、メトロノームの音やリズム楽器の音の拍数を変更する。あるいは、ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃは、テンポ情報に基づいて、拍数の情報を表示器３１に表示し、ドラム音等のリズム楽器を演奏する演者が、表示された拍数の情報に合わせて演奏を行う。これにより、第１演者３は、セッション中に演奏をしながらテンポ変更を指示することができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例４）　
　変形例４では、第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、第２端末が、第１演者のジェスチャーを検出して関連情報を生成する。
　すなわち、上述の実施形態では、ＰＣ１Ａがカメラ５０で撮影した第１演者３に係る映像信号に基づいて特定のジェスチャーを検出したが、ＰＣ１ＢおよびＰＣ１Ｃが受信した第１演者３に係る映像信号に基づいて特定のジェスチャーを検出してもよい。
　また、不図示のサーバが、ＰＣ１Ａから第１演者３に係る映像信号を受信し、特定のジェスチャーを検出してもよい。この場合、不図示のサーバは、検出した第１演者のジェスチャーに基づいて関連情報を生成し、ＰＣ１ＢおよびＰＣ１Ｃに該関連情報を送信する。
　（変形例５）　
　変形例５では、第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、関連情報は、第２端末における第１信号の処理に関わる情報を含み、第２端末は、関連情報に基づいて、第１信号を処理する。
　具体的には、ＰＣ１Ａのプロセッサ３４は、楽器４の音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから楽器４に係る音信号を受信し、ＰＣ１Ｃからマイク８に係る音信号を受信する。ＰＣ１Ｂのプロセッサ３４は、楽器４およびマイク８の音を再生する。
　ＰＣ１Ａのプロセッサ３４は、第１演者３のジェスチャーを検出して、関連情報として楽器４に係る音信号の処理（例えば信号処理パラメータ）を生成する。例えば、ＰＣ１Ａのプロセッサ３４は、第１演者３が顔を右方向に向けるジェスチャーを検出した場合、関連情報として楽器４に係る音信号の音量を大きくする信号処理パラメータを生成する。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１ＢおよびＰＣ１Ｃに対して、当該信号処理パラメータを送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。同様に、ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。この様な第１演者３の楽器４に係る音信号の音量変更は、第１演者３のみのパフォーマンスに関連する関連情報に対応する。
　これにより、第１演者３は、演奏をしながら音量の変更等の信号処理パラメータの変更を指示することができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例６）　
　変形例６では、第１端末は、第１演者のパフォーマンスに係る第１信号を第２端末に送信し、第２端末は、第２演者のパフォーマンスに係る第２信号を第１端末に送信し、関連情報は、第１端末における第２信号の処理に関わる情報、および第２端末における第１信号の処理に関わる情報を含み、第１端末は、関連情報に基づいて、第２信号を処理し、第２端末は、関連情報に基づいて、第１信号を処理する。
　具体的には、ＰＣ１Ａのプロセッサ３４は、楽器４の音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、楽器６の音信号をＰＣ１ＡおよびＰＣ１Ｃに送信する。
　ＰＣ１Ａのプロセッサ３４は、第１演者３のジェスチャーを検出して、関連情報として楽器４に係る音信号の処理（例えば信号処理パラメータ）を生成する。例えば、ＰＣ１Ａのプロセッサ３４は、第１演者３が顔を右方向に向けるジェスチャーを検出した場合、関連情報として楽器４に係る音信号の音量を大きくする信号処理パラメータを生成する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１ＢおよびＰＣ１Ｃに対して、当該信号処理パラメータを送信する。
　ＰＣ２Ａのプロセッサ３４は、第２演者５のジェスチャーを検出して、関連情報として楽器６に係る音信号の処理（例えば信号処理パラメータ）を生成する。例えば、ＰＣ１Ｂのプロセッサ３４は、第２演者５が顔を左方向に向けるジェスチャーを検出した場合、関連情報として楽器６に係る音信号の音量を小さくする信号処理パラメータを生成する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１ＡおよびＰＣ１Ｂに対して、当該信号処理パラメータを送信する。
　ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂから受信する楽器６に係る音信号の音量を小さくする信号処理を行う。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくし、ＰＣ１Ｂから受信する楽器６に係る音信号の音量を小さくする信号処理を行う。
　これにより、第１演者３および第２演者５は、それぞれ演奏をしながら音量の変更等の信号処理パラメータの変更を指示することができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例７）
　変形例７では、特定のジェスチャーは、演者の視線を含む。ＰＣ１Ａのプロセッサ３４は、例えば受け付けた映像信号の画像特徴量に基づいて、視線情報を求める。例えば、ＰＣ１Ａのプロセッサ３４は、第１演者３が視線を右方向に向けるジェスチャーを検出した場合、関連情報として楽器４に係る音信号の音量を大きくする信号処理パラメータを生成する。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１ＢおよびＰＣ１Ｃに対して、当該信号処理パラメータを送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。同様に、ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから受信する楽器４に係る音信号の音量を大きくする信号処理を行う。
　これにより、第１演者３は、演奏をしながら視線を変更するだけで、音量の変更等の信号処理パラメータの変更を指示することができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例８）
　変形例８では、関連情報は、他の演者に対するアクションを含む。第１演者３の他の演者とは、例えば第２演者５または第３演者７を意味する。第２演者５の他の演者とは、例えば第１演者３または第３演者７を意味する。第３演者７の他の演者とは、例えば第１演者３または第２演者５を意味する。例えば、ＰＣ１Ａのプロセッサ３４は、表示器３１に表示されている演者の画像と、変形例７の様に求めた視線情報に基づいて、第１演者３がどの他の演者に対するアクションを求めているか検出する。ＰＣ１Ａのプロセッサ３４は、例えば表示器３１の右側に第２演者５の画像が表示され、第１演者３の視線が右を向いていると判断した場合、第１演者３が第２演者５を注視していると判断する。そして、ＰＣ１Ａのプロセッサ３４は、第２演者５に対するアクションを求める。例えば、ＰＣ１Ａのプロセッサ３４は、第１演者３が顔を左方向に向けるジェスチャーを検出した場合、関連情報として楽器６に係る音信号の音量を小さくする信号処理パラメータを生成する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂに対して、当該信号処理パラメータを送信する。すなわち、ＰＣ１Ａのプロセッサ３４は、第１演者３の特定のジェスチャーを検出し、検出した特定のジェスチャーに基づいて、第２演者５のパフォーマンスに関連する関連情報を生成し、関連情報を第１演者３の利用するＰＣ１Ａから第２演者５の利用するＰＣ１Ｂに送信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１ＡおよびＰＣ１Ｃに送信する楽器６に係る音信号の音量を小さくする信号処理を行う。この様な第２演者５の楽器６に係る音信号の音量変更は、第２演者５のみのパフォーマンスに関連する関連情報に対応する。
　これにより、第１演者３は、演奏をしながら他の演者にアクションを行うことができ、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例９）　
　変形例９では、パフォーマンスに係る映像または音をデータとして記録し、関連情報は、記録したデータの時間情報を含む。図４は、変形例９に係る情報処理システムの構成図である。図１と共通する構成については同一の符号を付し、説明を省略する。変形例９に係る情報処理システムは、さらにサーバ１００を有する。
　サーバ１００は、ＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃから受信した音信号および映像信号を映像データおよび音データとして記録している。また、サーバ１００は、記録した映像データおよび音データを配信する。
　ＰＣ１Ａの第１演者３、ＰＣ１Ｂの第２演者５、またはＰＣ１Ｃの第３演者７が特定のジェスチャーに係る動きを行うと、サーバ１００には映像データおよび音データに係る時間情報が記録される。
　例えば、変形例９では、ＰＣ１Ｃが第１端末に対応し、サーバ１００が第２端末に対応する。ＰＣ１Ｃは、第３演者７の特定のジェスチャー（例えば右手を上に上げる動作）を検出すると、関連情報として時間情報（時刻またはセッション開始からの経過時間）を生成する。ＰＣ１Ｃは、当該時間情報をサーバ１００に送信する。サーバ１００は、映像データおよび音データに対応して、ＰＣ１Ｃから受信した時間情報を記録する。
　そして、ＰＣ１Ｃのプロセッサ３４は、第３演者７の特定のジェスチャー（例えば右手を左に移動させる動作）を検出すると、関連情報としてプレイバック情報を生成する。ＰＣ１Ｃのプロセッサ３４は、当該プレイバック情報をサーバ１００に送信する。サーバ１００は、受信したプレイバック情報に対応して、直前に記録した時間情報から像データおよび音データを配信する。
　これにより、第３演者７は、歌唱を行いながら時間情報を記録することができ、直前の演奏を確認することもでき、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（その他の例）
　ＰＣ１Ａ、ＰＣ１Ｂ、またはＰＣ１Ｃは、関連情報に基づいて、パフォーマンスの開始、停止、再開、あるいはテンポ変更等の他の演者に対するアクションについて、表示器３１に案内情報を表示する、あるいはＳＰ３７から案内音声を出力してもよい。例えば、関連情報がテンポの変更（例えばテンポ１２０に変更する旨）を示す情報であれば、ＰＣ１Ａ、ＰＣ１Ｂ、またはＰＣ１Ｃは、「テンポ１２０に変更してください」等の案内情報を表示器３１に表示する、あるいは、ＳＰ３７から「テンポ１２０に変更してください」等の案内音声を出力する。この場合も、各演者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　上述の例では、本発明の端末の例として、ＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃを示した。しかし、本発明の端末は、上述のＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃに限らない。例えば、上述のユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、オーディオＩ／Ｆ３８、およびカメラ５０等の機能を備えた電子楽器も本発明の端末を構成することができる。電子楽器とは、例えば電子ピアノ、電子ドラム、電子バイオリン、電子管楽器、電子オルガン、シンセサイザー等は無論、エレキギターやエレキベース等も含む。
　ジェスチャーは、カメラ５０による画像式のセンサで検出したが、光学式または慣性式等の他のセンサを用いてもよい。例えば、慣性式のセンサを内蔵したギターの電子楽器が、当該慣性式のセンサの信号に基づいて特定の動きの検出し、ジェスチャーとして認識してもよい。
　本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、請求の範囲によって示される。さらに、本発明の範囲は、請求の範囲と均等の範囲を含む。
３：第１演者、４：楽器、５：第２演者、６：楽器、７：第３演者、８：マイク、１０：第１地点、２０：第２地点、３０：第３地点、３１：表示器、３２：ユーザＩ／Ｆ、３３：フラッシュメモリ、３４：プロセッサ、３５：ＲＡＭ、３６：通信Ｉ／Ｆ、３８：オーディオＩ／Ｆ、５０：カメラ、１００：サーバ

Claims (20)

  1. 　第１演者の特定のジェスチャーを検出し、
    　検出した前記特定のジェスチャーに基づいて、前記第１演者または第２演者のパフォーマンスに関連する関連情報を生成し、
    　前記関連情報を前記第１演者の利用する第１端末から前記第２演者の利用する第２端末に送信する、
    　情報処理方法。
  2. 　前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　前記関連情報を前記第１信号よりも優先して前記第２端末に送信する、
    　請求項１に記載の情報処理方法。
  3. 　前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　第３演者の利用する第３端末から前記第３演者のパフォーマンスに係る第３信号を前記第２端末に送信し、
    　前記第２端末において、前記関連情報に基づいて前記第１信号を優先して処理する、
    　請求項１に記載の情報処理方法。
  4. 　前記関連情報は、前記パフォーマンスのテンポに係るテンポ情報を含み、
    　前記テンポ情報を前記第１端末および前記第２端末で共有する、
    　請求項１に記載の情報処理方法。
  5. 　前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　前記第２端末が、前記第１演者のジェスチャーを検出して前記関連情報を生成する、
    　請求項１に記載の情報処理方法。
  6. 　前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　前記関連情報は、前記第２端末における前記第１信号の処理に関わる情報を含み、
    　前記第２端末は、前記関連情報に基づいて、前記第１信号を処理する、
    　請求項１に記載の情報処理方法。
  7. 　前記第１端末は、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　前記第２端末は、前記第２演者のパフォーマンスに係る第２信号を前記第１端末に送信し、
    　前記関連情報は、前記第１端末における前記第２信号の処理に関わる情報、および第２端末における前記第１信号の処理に関わる情報を含み、
    　前記第１端末は、前記関連情報に基づいて、前記第２信号を処理し、
    　前記第２端末は、前記関連情報に基づいて、前記第１信号を処理する、
    　請求項１に記載の情報処理方法。
  8. 　前記特定のジェスチャーは、前記第１演者の視線を含む、
    　請求項１乃至請求項７のいずれか１項に記載の情報処理方法。
  9. 　前記第１演者を撮影した画像を受け付けて、
    　前記画像から前記特定のジェスチャーを検出する、
    　請求項１乃至請求項７のいずれか１項に記載の情報処理方法。
  10. 　前記関連情報は、前記パフォーマンスの開始、停止、再開、または他の演者に対するアクションを含む、
    　請求項１乃至請求項７のいずれか１項に記載の情報処理方法。
  11. 　前記他の演者に対するアクションの案内情報を出力する、
    　請求項１０に記載の情報処理方法。
  12. 　前記パフォーマンスに係る映像または音をデータとして記録し、
    　前記関連情報は、記録した前記データの時間情報を含む、
    　請求項１乃至請求項７のいずれか１項に記載の情報処理方法。
  13. 　前記第１端末または前記第２端末は、楽器である、
    　請求項１乃至請求項７のいずれか１項に記載の情報処理方法。
  14. 　第１演者の特定のジェスチャーを検出し、
    　検出した前記特定のジェスチャーに基づいて、前記第１演者のパフォーマンスに関連する関連情報を生成し、
    　前記関連情報を前記第１演者の利用する第１端末から第２演者の利用する第２端末に送信する、
    　プロセッサを備えた情報処理装置。
  15. 　前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　前記関連情報を前記第１信号よりも優先して前記第２端末に送信する、
    　請求項１４に記載の情報処理装置。
  16. 　前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　第３演者の利用する第３端末のプロセッサは、前記第３演者のパフォーマンスに係る第３信号を前記第２端末に送信し、
    　前記第２端末のプロセッサは、前記関連情報に基づいて前記第１信号を優先して処理する、
    　請求項１４に記載の情報処理装置。
  17. 　前記関連情報は、前記パフォーマンスのテンポに係るテンポ情報を含み、
    　前記テンポ情報を前記第１端末および前記第２端末で共有する、
    　請求項１４に記載の情報処理装置。
  18. 　前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　前記第２端末のプロセッサは、前記第１演者のジェスチャーを検出して前記関連情報を生成する、
    　請求項１４に記載の情報処理装置。
  19. 　前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　前記関連情報は、前記第２端末における前記第１信号の処理に関わる情報を含み、
    　前記第２端末のプロセッサは、前記関連情報に基づいて、前記第１信号を処理する、
    　請求項１４に記載の情報処理装置。
  20. 　前記プロセッサは、前記第１演者のパフォーマンスに係る第１信号を前記第２端末に送信し、
    　前記第２端末のプロセッサは、前記第２演者のパフォーマンスに係る第２信号を前記第１端末に送信し、
    　前記関連情報は、前記第１端末における前記第２信号の処理に関わる情報、および第２端末における前記第１信号の処理に関わる情報を含み、
    　前記第１端末のプロセッサは、前記関連情報に基づいて、前記第２信号を処理し、
    　前記第２端末のプロセッサは、前記関連情報に基づいて、前記第１信号を処理する、
    　請求項１４に記載の情報処理装置。
PCT/JP2024/018654 2023-06-06 2024-05-21 情報処理方法および情報処理装置 Ceased WO2024252918A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023093228A JP2024175437A (ja) 2023-06-06 2023-06-06 情報処理方法および情報処理装置
JP2023-093228 2023-06-06

Publications (1)

Publication Number Publication Date
WO2024252918A1 true WO2024252918A1 (ja) 2024-12-12

Family

ID=93795469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/018654 Ceased WO2024252918A1 (ja) 2023-06-06 2024-05-21 情報処理方法および情報処理装置

Country Status (2)

Country Link
JP (1) JP2024175437A (ja)
WO (1) WO2024252918A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021028649A (ja) * 2019-08-09 2021-02-25 株式会社Ｎｔｔドコモ 情報処理装置及びプログラム
JP2021043258A (ja) * 2019-09-06 2021-03-18 ヤマハ株式会社 制御システム、及び制御方法
JP2022041553A (ja) * 2020-09-01 2022-03-11 ヤマハ株式会社 通信制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021028649A (ja) * 2019-08-09 2021-02-25 株式会社Ｎｔｔドコモ 情報処理装置及びプログラム
JP2021043258A (ja) * 2019-09-06 2021-03-18 ヤマハ株式会社 制御システム、及び制御方法
JP2022041553A (ja) * 2020-09-01 2022-03-11 ヤマハ株式会社 通信制御方法

Also Published As

Publication number Publication date
JP2024175437A (ja) 2024-12-18

Similar Documents

Publication Publication Date Title
Jensenius Sound actions: Conceptualizing musical instruments
Weinberg et al. Robotic musicianship: embodied artificial creativity and mechatronic musical expression
US11557269B2 (en) Information processing method
JP4457983B2 (ja) 演奏操作援助装置及びプログラム
JP7432127B2 (ja) 情報処理方法、情報処理システムおよびプログラム
CN118871981A (zh) 信息处理方法、信息处理系统以及程序
CN105786162A (zh) 一种用于进行虚拟演奏指挥的方法和装置
US20240321012A1 (en) Information Processing Apparatus, Method for Processing Information, and Non-Transitory Computer-Readable Storage Medium
JP2024170465A (ja) 情報処理方法、情報処理システムおよびプログラム
JP7771772B2 (ja) 信号処理装置、及び信号処理方法
JP2023025013A (ja) 音楽療法のための歌唱補助装置
JP2024175437A (ja) 情報処理方法および情報処理装置
CN118860148A (zh) 一种基于虚拟现实技术的打击乐演奏方法、设备及介质
JP7732571B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023182005A1 (ja) データ出力方法、プログラム、データ出力装置および電子楽器
WO2022202267A1 (ja) 情報処理方法、情報処理システムおよびプログラム
WO2006011342A1 (ja) 楽音生成装置および楽音生成システム
JP7728624B1 (ja) 演奏データ生成装置、モデル生成装置、及びプログラム
Nymoen et al. Self-awareness in active music systems
US20250299654A1 (en) Data processing method and non-transitory computer-readable storage medium
WO2024190759A1 (ja) 情報処理方法、情報処理システムおよびプログラム
CN112019910A (zh) 一种乐器演奏方法、装置、电视及存储介质
US20250177864A1 (en) Methods and systems for processing audio signals to identify sentiments for use in controlling game assets
Chandran et al. InterFACE: new faces for musical expression
WO2023243293A1 (ja) 演奏モーション推定方法および演奏モーション推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24819151

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE