WO2024252917A1 - 信号処理方法、信号処理システム、およびプログラム - Google Patents

信号処理方法、信号処理システム、およびプログラム Download PDF

Info

Publication number
WO2024252917A1
WO2024252917A1 PCT/JP2024/018652 JP2024018652W WO2024252917A1 WO 2024252917 A1 WO2024252917 A1 WO 2024252917A1 JP 2024018652 W JP2024018652 W JP 2024018652W WO 2024252917 A1 WO2024252917 A1 WO 2024252917A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
terminal
signal processing
reference information
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/018652
Other languages
English (en)
French (fr)
Inventor
吉就 中村
繁 甲斐
明央 大谷
大智 井芹
琢哉 藤島
遼 松田
颯人 山川
明彦 須山
稜大 密岡
貴洋 原
裕和 鈴木
俊太朗 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of WO2024252917A1 publication Critical patent/WO2024252917A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments

Definitions

  • An embodiment of the present invention relates to a signal processing method, a signal processing system, and a program.
  • the information processing device of Patent Document 1 accumulates sound data acquired from a reference terminal from the start of performance, and extracts a tempo from the accumulated sound data. If the extracted tempo falls within a predetermined range centered on the tempo set at the start of performance for n consecutive times, the information processing device of Patent Document 1 generates reference timing data based on the n extracted tempos. The information processing device of Patent Document 1 transmits the reference timing data to other terminals.
  • One aspect of the present disclosure aims to provide an information processing method that minimizes the impact of latency on performance during a remote session.
  • An information processing method transmits a plurality of first signals related to the performance of each performer from a first terminal of each performer at a plurality of locations, receives the plurality of first signals at a second terminal, obtains reference information that is the basis for the performance at the second terminal, and preferentially processes one of the plurality of first signals based on the reference information.
  • the impact of latency on performance during a remote session can be minimized.
  • FIG. 1 is a configuration diagram of a signal processing system.
  • FIG. 2 is a block diagram showing the configuration of PC1A. 4 is a flowchart showing an operation according to a signal processing method of the present embodiment.
  • FIG. 11 is a configuration diagram of a signal processing system according to a first modified example.
  • FIG. 13 is a configuration diagram of a signal processing system according to a fourth modified example.
  • FIG. 13 is a configuration diagram of a signal processing system according to a modified example 5.
  • FIG. 1 is a configuration diagram of a signal processing system according to this embodiment.
  • the signal processing system according to this embodiment includes a PC (personal computer) 1A installed at a first location 10, a PC 1B installed at a second location 20, and a PC 1C installed at a third location 30.
  • PC personal computer
  • the first performer 3 at the first location 10 connects an instrument 4 to PC 1A.
  • the second performer 5 at the second location 20 connects an instrument 6 to PC 1B.
  • the third performer 7 at the third location 30 connects an instrument 8 to PC 1C.
  • instrument 4 is an electric guitar
  • instrument 6 is an electric bass
  • instrument 8 is an electronic drum.
  • "playing” is not limited to playing an instrument, but also includes singing using a microphone.
  • FIG. 2 is a block diagram showing the configuration of PC1A.
  • PC1A is a general-purpose information processing device.
  • the main configurations of PC1A, PC1B, and PC1C are the same.
  • FIG. 2 shows the configuration of PC1A as a representative.
  • PC1A and PC1C are examples of a first terminal, and PC1B is described as an example of a second terminal.
  • PC1A includes a display 31, a user I/F 32, a flash memory 33, a processor 34, a RAM 35, a communication I/F 36, a speaker (SP) 37, and an audio I/F 38.
  • Display 31 is, for example, an LED, LCD, or OLED, and displays various information.
  • User I/F 32 is a touch panel that is layered on the LCD or OLED of display 31.
  • user I/F 32 may be a keyboard, a mouse, or the like.
  • GUI Graphic User Interface
  • the communication I/F 36 includes a network interface and is connected to a network such as the Internet via a router (not shown).
  • the audio I/F 38 has an analog audio terminal.
  • the audio I/F 38 is connected to an instrument or audio equipment such as a microphone via an audio cable and receives analog sound signals.
  • the audio I/F 38 of PC 1A is connected to instrument 4 and receives analog sound signals related to performance sounds from instrument 4.
  • the audio I/F 38 of PC 1B is connected to instrument 6 and receives analog sound signals related to performance sounds from instrument 6.
  • the audio I/F 38 of PC 1C is connected to instrument 8 and receives analog sound signals related to performance sounds from instrument 8.
  • the audio I/F 38 converts the received analog sound signals into digital sound signals.
  • the audio I/F 38 also converts digital sound signals into analog sound signals.
  • the SP 37 plays sounds based on the analog sound signals.
  • the processor 34 is composed of a CPU, DSP, or SoC (System-on-a-Chip), and reads a program stored in a flash memory 33, which is a storage medium, into the RAM 35 to control each component of the PC 1A.
  • the flash memory 33 stores the program of this embodiment.
  • the digital sound signal received from the audio I/F 38 is encoded into an audio packet and transmitted to another device via the communication I/F 36.
  • the processor 34 also decodes the audio packet received from another device via the communication I/F 36 and outputs the decoded digital sound signal to the audio I/F 38.
  • the processor 34 of PC1A transmits the digital sound signal of instrument 4 to PC1B and PC1C.
  • the processor 34 of PC1B transmits the digital sound signal of instrument 6 to PC1A and PC1C.
  • the processor 34 of PC1C transmits the digital sound signal of instrument 8 to PC1A and PC1B.
  • the processor 34 of PC1A receives the digital sound signal of instrument 6 from PC1B, and receives the digital sound signal of instrument 8 from PC1C.
  • the processor 34 of PC1B receives the digital sound signal of instrument 4 from PC1A, and receives the digital sound signal of instrument 8 from PC1C.
  • Processor 34 of PC1C receives the digital sound signal of instrument 4 from PC1A, and receives the digital sound signal of instrument 6 from PC1B.
  • SP37 of PC1A plays the sounds of instruments 6 and 8.
  • SP37 of PC1B plays the sounds of instruments 4 and 8.
  • SP37 of PC1C plays the sounds of instruments 4 and 6.
  • the signal processing method of this embodiment realizes a remote session.
  • FIG. 3 is a flowchart showing the operation of the signal processing method of this embodiment.
  • a plurality of first signals related to the performance of each performer are transmitted from the first terminal of each performer at a plurality of locations (S11).
  • the processor 34 of the first terminal, PC1A transmits an audio signal related to the sound of the musical instrument 4 to PC1B as the first signal related to the performance of the first performer 3.
  • the processor 34 of the first terminal, PC1C transmits an audio signal related to the sound of the musical instrument 8 to PC1B as the first signal related to the performance of the third performer 7.
  • a second terminal receives a plurality of first signals (S12).
  • the processor 34 of the second terminal, PC 1B receives a sound signal related to the performance sound of musical instrument 4 and a sound signal related to the performance sound of musical instrument 8.
  • the second terminal acquires reference information that serves as a performance standard, and processes one of the multiple first signals with priority based on the reference information (S13).
  • the reference information that serves as the basis for a performance is, for example, the sound of an instrument that is responsible for the rhythm of a piece of music (a rhythm instrument), such as a drum sound.
  • a rhythm instrument such as a drum sound.
  • the sound of a rhythm instrument such as a drum is a sound that is related to the timing of the performance.
  • each performer performs in time with the sound of the rhythm instrument.
  • a sound signal related to the sound of a rhythm instrument is an example of reference information that serves as the basis for a performance.
  • the reference information is transmitted by PC1C, which is the first terminal of third performer 7, which is related to the timing of the performance.
  • the processor 34 of the PC 1B acquires reference information based on the sound signal. Specifically, the processor 34 determines whether the received digital sound signal is a rhythmic instrument sound. The processor 34 determines whether the received digital sound signal is a rhythmic instrument sound, for example, based on the features of the received digital sound signal. The features are, for example, a spectral envelope, power, an amplitude spectrum, a fundamental frequency, a formant frequency, a mel spectrum envelope, a mel spectrum, or a cepstrum. The processor 34, for example, refers to a table that associates features with sounds of rhythmic instruments, inputs the features of the received digital sound signal, and searches whether there is a corresponding rhythmic instrument sound.
  • the processor 34 determines that the received digital sound signal is a rhythmic instrument sound.
  • the processor 34 may determine whether the received digital sound signal is a rhythmic instrument sound by using a trained model that has trained the correspondence between features and sounds of rhythmic instruments. The processor 34 inputs the features to the trained model. If the processor 34 outputs a result indicating that the feature input to the trained model is the sound of a rhythmic instrument, it determines that the received digital sound signal is the sound of a rhythmic instrument.
  • the processor 34 of the second terminal PC1B prioritizes processing of the sound signal of the instrument 8 received from PC1C that is determined to be the sound of a rhythmic instrument out of the instruments 4 and 8.
  • Prioritizing processing means, for example, giving priority to the audio packets received from PC1C and decoding the audio packets of PC1C first.
  • Prioritizing processing also includes receiving the sound signal of the instrument 8 with priority.
  • the processor 34 of PC 1B may transmit instruction information to PC 1C to give priority to transmitting the sound signal of the musical instrument 8.
  • the processor 34 of PC 1C transmits the sound signal of the musical instrument 8 with priority based on the instruction information. "Transmitting with priority” means, for example, that audio packets related to the digital sound signal received from the audio I/F 38 are transmitted with priority over other packet data.
  • the processor 34 of PC1B prioritizes processing of the sound signal of instrument 8 received from PC1C that it has determined to be the sound of a rhythm instrument out of instruments 4 and 8.
  • the processor 34 of PC1A may prioritize processing of the sound signal of instrument 8 received from PC1C that it has determined to be the sound of a rhythm instrument by judging that the sound signal is of a rhythm instrument out of instruments 6 and 8.
  • the processor 34 of PC1C may obtain reference information based on the sound signal of either instrument 4 or instrument 6, and prioritize processing.
  • instrument 6 is an electric bass, and is also the instrument responsible for the rhythm in the music piece. Therefore, the processor 34 of PC1C may prioritize processing of the sound signal of instrument 6 received from PC1B that it has determined to be the sound of a rhythm instrument.
  • the signal processing method of this embodiment prioritizes processing of the sound of the rhythmic instrument that serves as the reference for the session. As a result, there is no significant deviation in the sound of the rhythmic instrument at any point. In a session, each performer performs primarily based on the sound of the rhythmic instrument. Since there is no deviation in the reference sound, the signal processing method of this embodiment can minimize the impact of delays on performance during a remote session. This allows users of the signal processing method of this embodiment to enjoy a customer experience of comfortable remote sessions that was not previously possible.
  • the first signal is not limited to a sound signal related to the performance.
  • it may be a video signal.
  • a conductor does not play an instrument but leads the session using a baton or hands.
  • a drummer leads the session by timing the drum hits with a drumstick.
  • FIG. 4 is a configuration diagram of a signal processing system according to the first modified example. Components common to those in FIG. 1 are given the same reference numerals and will not be described.
  • a camera 50 is connected to PC1C installed at third location 30.
  • a fourth performer 2 is conducting.
  • PC1C transmits a video signal of fourth performer 2, including the baton, received from camera 50 to PC1A and PC1B.
  • PC1A and PC1B display the video of fourth performer 2, including the baton, on display 31 based on the video signal received from PC1C.
  • the first performer 3 and the second performer 5 conduct the session while looking at the baton of the fourth performer 2 displayed on the display 31.
  • the reference information that serves as the basis for the performance is information indicating that it is a video of the conductor including the baton.
  • the video signal is an example of reference information that serves as the basis for the performance.
  • the processor 34 of each of PC1A and PC1B acquires reference information based on the video signal. Specifically, the processor 34 determines whether the received video signal includes a video of the conductor (particularly the baton). The processor 34 determines whether the received video signal includes a video of the conductor based on, for example, the image features of the received video signal.
  • the image features are multidimensional vectors including visual features such as SIFT (Scale-Invariant Feature Transform), SURF (Speed-Up Robust Features), and HoG (Histograms of Oriented Gradients) and motion features in the time axis direction.
  • the processor 34 inputs the image features of the received video and audio signal into a database that stores image features related to videos of multiple conductors, and searches for corresponding information.
  • the processor 34 determines that the received video signal includes a video of a conductor. Alternatively, the processor 34 may determine whether the received video signal includes a video of a conductor using a trained model that has been trained on the correspondence between image features and information indicating that the video signal includes a video of a conductor. Alternatively, the processor 34 may determine whether the received video signal includes a video of a drum instrument player using a trained model that has been trained on the correspondence between image features and information indicating that the video signal includes a video of a drum instrument player.
  • Processor 34 of PC1A and PC1B gives priority to processing the video signal received from PC1C, which transmits the video of the conductor.
  • Priority processing means for example, giving priority to packet data related to the video signal received from PC1C and decoding it before other packet data.
  • processors 34 of PC1A and PC1B may transmit instruction information to PC1C to give priority to transmitting the video signal.
  • the processor 34 of PC1C transmits the video signal with priority based on the instruction information. Transmitting with priority means, for example, transmitting packet data related to the video signal with priority over other packet data.
  • the signal processing method of variant 1 prioritizes processing of the conductor's image, which serves as the reference for the session.
  • the conductor's image or the image of the drum instrument performer
  • each performer performs primarily based on the conductor's movements.
  • the signal processing method of this embodiment there is no deviation in the conductor's image, which serves as the reference, so the impact of delays on performance during a remote session can be minimized. This allows users of the signal processing method of variant 1 to enjoy a customer experience of comfortable remote sessions that was not previously possible.
  • the signal processing method of variant example 2 predicts future components (data of a sound signal that has not yet been received) of the corresponding first signal based on reference information, and processes the predicted future components of the first signal with priority.
  • the processors 34 of PC1A and PC1B prepare a trained model, for example, trained using a DNN (Deep Neural Network) to determine the relationship between the received sound signal and the song title, and input the sound signal into the trained model to identify the name of the song being played in the session.
  • the processors 34 of PC1A and PC1B then acquire content data for the identified song title.
  • the processors 34 of PC1A and PC1B also compare reference information (for example, the sound signal of instrument 8 determined to be the sound of a rhythm instrument in the example of FIG. 1) with the acquired content data to determine the current playing position (information indicating which beat of which measure).
  • the processors 34 of PC1A and PC1B also determine the playing tempo based on the sound signal of instrument 8. Any known analysis technique (score alignment) may be used to estimate the playing position and playing tempo.
  • the processor 34 of PC1A and PC1B predicts future components of the sound signal from the sound signal at the determined current performance position based on the sound signal of the musical instrument 8 and the acquired content data. For example, if the processor 34 of PC1A and PC1B determines that the current performance position is the fourth beat of the fourth bar, it predicts the sound signal data from the fifth bar onwards from the acquired content data as future components.
  • the processor 34 of PC1A and PC1B may record sound signals during rehearsal, read out the sound signals at the corresponding performance positions from among the recorded sound signals, and estimate the components of the future sound signals.
  • Processor 34 of PC1A and PC1B processes the predicted future components with priority. For example, processor 34 of PC1A and PC1B plays back the predicted future components in accordance with the estimated performance position and performance tempo, maintaining the progress of the performance and the performance tempo. This ensures that the sound of the rhythmic instruments does not deviate significantly at any point, regardless of the network environment. In a session, each performer performs mainly based on the sound of the rhythmic instruments. With the signal processing method of this embodiment, there is no deviation in the reference sound, so the impact of delays on performance during a remote session can be minimized. This allows users of the signal processing method of this embodiment to have a customer experience of comfortable remote sessions that was not previously available.
  • the signal processing method according to the third modification predicts future components of the corresponding first signal based on reference information, and preferentially processes the predicted future components of the first signal.
  • the processors 34 of the PC1A and PC1B also obtain the conductor's video signal as reference information in the first modification of Fig. 4, and predict the components of the video signal that are further in the future than the conductor's video signal at the current performance position.
  • the processor 34 of PC1A and PC1B records past footage of the conductor, estimates the current performance position (information indicating which beat of which measure), and reads out the video signal of the corresponding performance position from the past conductor's video signal. For example, if the current performance position is determined to be the third beat of the fourth measure, the data of the video signal recorded on the fourth night of the third measure among the past conductor's video signals is predicted as the video signal of the fourth night of the fourth measure.
  • the processor 34 of PC1A and PC1B may record the conductor's video signal during rehearsal, read out the video signal of the corresponding performance position from the recorded conductor's video signal, and predict the components of the future video signal.
  • Processor 34 of PC1A and PC1B processes the predicted future components with priority. For example, processor 34 of PC1A and PC1B plays back the predicted future video signal of the conductor in accordance with the estimated performance position and performance tempo, maintaining the progress of the performance and the performance tempo. This ensures that the conductor's video image does not deviate significantly from any point regardless of the network environment, and minimizes the impact of delays on performance during a remote session. This allows users of the signal processing method of this embodiment to have a customer experience of comfortable remote sessions that was not previously possible.
  • FIG. 5 is a configuration diagram of a signal processing system according to Modification 4. Configurations common to Fig. 1 are given the same reference numerals and description thereof will be omitted.
  • the signal processing system has a server 100 instead of the PC 1C.
  • the server 100 records the conductor's video signal generated by the PC 1C in FIG. 1.
  • the server 100 distributes the recorded video signal.
  • the processors 34 of PC1A and PC1B acquire the conductor's video signal from the server 100.
  • PC1B and the server 100 are the first terminal, and PC1A is the second terminal.
  • PC1A and the server 100 are the first terminal, and PC1B is the second terminal.
  • the first terminal in the signal processing method of this embodiment is not limited to the terminal of the performer performing in real time.
  • Fig. 6 is a configuration diagram of a signal processing system according to Modification 5. Components common to Fig. 5 are given the same reference numerals and description thereof will be omitted.
  • the signal processing system according to Modification 5 further includes a server 101.
  • the server 101 records the video signal of the conductor generated by PC 1C in Fig. 1.
  • the server 101 distributes the recorded video signal.
  • the server 100 distributes the audio signals of other performers (e.g. vocalists).
  • the processors 34 of PC1A and PC1B obtain the vocal sound signal from server 100 and obtain the conductor's video signal from server 101.
  • PC1B, server 100, and server 101 are the first terminals
  • PC1A is the second terminal.
  • PC1A, server 100, and server 101 are the first terminals
  • PC1B is the second terminal.
  • the first terminal and the second terminal are connected by a first virtual network with relatively low delay or a second virtual network with relatively high delay, and the reference information is transmitted by the first virtual network.
  • PC1A is connected to server 101 by the first virtual network.
  • PC1B is connected to server 101 by the first virtual network.
  • PC1A, PC1B and server 100 are connected by the second virtual network.
  • the first virtual network has relatively low delay but a small number of possible simultaneous connections.
  • the second virtual network has high delay but a large number of possible simultaneous connections.
  • Network slicing involves virtually dividing (slicing) a physical network into multiple logical networks. Each of the multiple logical networks constitutes a low-latency network, a network with a large number of simultaneous connections, etc. Therefore, in the signal processing method of this variant example 5, "reference information that serves as a benchmark for performance" is assigned to a high-priority, low-latency slice (reference slice), and other information is assigned to a normal slice with a relatively large latency.
  • PC1A and PC1C are examples of the first terminal
  • PC1B is an example of the second terminal
  • the first terminal and the second terminal of the present invention are not limited to the above PC1A, PC1B, and PC1C.
  • an electronic musical instrument having the above-mentioned communication I/F 36 function and the function of communicating with other information processing devices (or other electronic musical instruments) can also constitute the first terminal or the second terminal of the present invention.
  • Examples of electronic musical instruments include electronic pianos, electronic drums, electronic violins, electronic wind instruments, electronic organs, synthesizers, and of course electric guitars and electric basses.
  • multiple electronic musical instruments existing in the same local area may form the same session room.
  • the first electronic musical instrument, the second electronic musical instrument, and the third electronic musical instrument are directly connected to form the first session room.
  • the fourth electronic musical instrument, the fifth electronic musical instrument, and the sixth electronic musical instrument form the second session room.
  • the first electronic musical instrument and the fourth electronic musical instrument are connected.
  • the connected first electronic musical instrument and the fourth electronic musical instrument transmit and receive session room information to each other, and transmit the received session room information to another terminal device in the own session room.
  • multiple electronic musical instruments can use the same global IP address. This allows the signal processing system to connect a large number of electronic musical instruments while minimizing the number of global IP addresses used.
  • This embodiment may employ the following delay countermeasure configuration.
  • An information processing device e.g., PC1A at a certain location (e.g., first location 10) measures a communication delay time Tc with an information processing device (e.g., PC1B) at a remote location (e.g., second location 20).
  • PC1A receives an instruction to play backing music, it immediately transmits a sound signal of the backing music to PC1B.
  • PC1A plays the sound signal of the backing music after the measured communication delay time Tc has elapsed. This allows the user of PC1A and the user of PC1B to hear the backing music at the same time.
  • PC1A uses a full/empty counter to measure the number of times the data storage state of the network receiving buffer becomes full or empty within a certain period of time (number of full/empty occurrences).
  • PC1A adjusts the buffer size in accordance with the measured number of full/empty occurrences. For example, PC1A expands the buffer size when the number of full/empty occurrences is N or greater, and further expands the buffer size if the number of full/empty occurrences is still N or greater even after expanding the buffer size.
  • PC1A fixes the buffer size to the value at that time when the number of full/empty occurrences is less than N, and stops adjusting the buffer size if the number of full/empty occurrences is still N or greater even after expanding the buffer size to the maximum.
  • the signal processing system may limit the number of connectable user terminals to a predetermined limit (e.g., three). For example, of six user terminals, the first user terminal, the second user terminal, and the third user terminal are directly connected to form the first session room. The fourth user terminal, the fifth user terminal, and the sixth user terminal form the second session room. Then, when a request occurs in the first session room and the second session room, for example, the first user terminal and the fourth user terminal are connected. The connected first user terminal and fourth user terminal transmit and receive performance information of each other's session room, and transmit the performance information of the other session room that they have received to other terminal devices in their own session room.
  • a predetermined limit e.g., three
  • a predetermined limit e.g., three
  • the first user terminal, the second user terminal, and the third user terminal are directly connected to form the first session room.
  • the fourth user terminal, the fifth user terminal, and the sixth user terminal form the second session room. Then, when a request occurs in the first session room
  • the information processing device may output an alternative sound signal when it is unable to receive the sound signal to be output at the appropriate time.
  • PC1A writes received audio packets to an audio buffer and an interpolation buffer in the order they were received, and outputs the audio packets stored in the audio buffer in the order they were stored.
  • PC1A performs interpolation by generating an audio packet following the unoutput audio packet from the audio packet in the interpolation buffer and writing the audio packet to the audio buffer.
  • PC1A When PC1A detects a loss in receiving an audio packet, it copies the audio packet in the interpolation buffer to the backup buffer and clears the interpolation buffer, and when the interpolation cannot be performed using the audio packets in the interpolation buffer, it performs the interpolation using the audio packets in the backup buffer.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

情報処理方法は、複数の地点のそれぞれの演者の第１端末から、それぞれの演者のパフォーマンスに係る複数の第１信号を送信し、第２端末において複数の前記第１信号を受信し、前記第２端末において、前記パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理する。

Description

信号処理方法、信号処理システム、およびプログラム
　この発明の一実施形態は、信号処理方法、信号処理システム、およびプログラムに関する。
　特許文献１の情報処理装置は、演奏開始の時点から、基準端末から取得した音データを蓄積しておき、蓄積した音データからテンポを抽出する。そして、特許文献１の情報処理装置は、抽出したテンポがｎ回連続して、演奏開始時に設定したテンポを中心とした所定範囲内に属する場合、抽出したｎ個のテンポに基づいて基準タイミングデータを生成する。特許文献１の情報処理装置は、他の端末に対して基準タイミングデータを送信する。
特開２０２１－２８６４９
　本開示のひとつの態様は、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑える情報処理方法を提供することを目的とする。
　本発明の一実施形態に係る情報処理方法は、複数の地点のそれぞれの演者の第１端末から、それぞれの演者のパフォーマンスに係る複数の第１信号を送信し、第２端末において複数の前記第１信号を受信し、前記第２端末において、前記パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理する。
　本発明の一実施形態によれば、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。
信号処理システムの構成図である。 ＰＣ１Ａの構成を示すブロック図である。 本実施形態の信号処理方法に係る動作を示すフローチャートである。 変形例１に係る信号処理システムの構成図である。 変形例４に係る信号処理システムの構成図である。 変形例５に係る信号処理システムの構成図である。
　図１は、本実施形態に係る信号処理システムの構成図である。本実施形態の信号処理システムは、第１地点１０に設置されたＰＣ（パーソナルコンピュータ）１Ａ，第２地点２０に設置されたＰＣ１Ｂ、および第３地点３０に設置されたＰＣ１Ｃを備える。
　第１地点１０の第１演者３は、ＰＣ１Ａに楽器４を接続する。第２地点２０の第２演者５は、ＰＣ１Ｂに楽器６を接続する。第３地点３０の第３演者７は、ＰＣ１Ｃに楽器８を接続する。
　本実施形態では一例として、楽器４はエレキギターであり、楽器６はエレキベースであり、楽器８は電子ドラムである。なお、本実施形態において、「演奏」とは楽器の演奏に限るものではなく、マイクを用いた歌唱も含む。
　図２は、ＰＣ１Ａの構成を示すブロック図である。ＰＣ１Ａは、汎用の情報処理装置である。ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃの主要構成は同じである。図２では代表してＰＣ１Ａの構成を示す。本実施形態において、ＰＣ１ＡおよびＰＣ１Ｃは第１端末の一例であり、ＰＣ１Ｂは第２端末の一例として説明する。
　ＰＣ１Ａは、表示器３１、ユーザＩ／Ｆ３２、フラッシュメモリ３３、プロセッサ３４、ＲＡＭ３５、通信Ｉ／Ｆ３６、スピーカ（ＳＰ）３７、およびオーディオＩ／Ｆ３８を備えている。
　表示器３１は、例えばＬＥＤ、ＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ３２は、表示器３１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ３２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ３２がタッチパネルである場合、該ユーザＩ／Ｆ３２は、表示器３１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を構成する。
　通信Ｉ／Ｆ３６は、ネットワークインタフェースを含み、ルータ（不図示）を介してインターネット等のネットワークに接続される。
　オーディオＩ／Ｆ３８は、アナログオーディオ端子を有する。オーディオＩ／Ｆ３８は、オーディオケーブルを介して楽器またはマイク等の音響機器に接続され、アナログ音信号を受け付ける。本実施形態では、ＰＣ１ＡのオーディオＩ／Ｆ３８は、楽器４に接続され、楽器４から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＢのオーディオＩ／Ｆ３８は、楽器６に接続され、楽器６から演奏音に係るアナログ音信号を受け付ける。ＰＣ１ＣのオーディオＩ／Ｆ３８は、楽器８に接続され、楽器８から演奏音に係るアナログ音信号を受け付ける。オーディオＩ／Ｆ３８は、受け付けたアナログ音信号をデジタル音信号に変換する。また、オーディオＩ／Ｆ３８は、デジタル音信号をアナログ音信号に変換する。ＳＰ３７は、当該アナログ音信号に基づく音を再生する。
　プロセッサ３４は、ＣＰＵ，ＤＳＰ、あるいはＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等からなり、記憶媒体であるフラッシュメモリ３３に記憶されているプログラムをＲＡＭ３５に読み出して、ＰＣ１Ａの各構成を制御する。フラッシュメモリ３３は、本実施形態のプログラムを記憶している。
　オーディオＩ／Ｆ３８から受け付けたデジタル音信号を、オーディオパケットにエンコードして通信Ｉ／Ｆ３６を介して他装置に送信する。また、プロセッサ３４は、通信Ｉ／Ｆ３６を介して他装置から受信したオーディオパケットをデコードし、デコードしたデジタル音信号をオーディオＩ／Ｆ３８に出力する。例えば、ＰＣ１Ａのプロセッサ３４は、楽器４のデジタル音信号をＰＣ１ＢおよびＰＣ１Ｃに送信する。ＰＣ１Ｂのプロセッサ３４は、楽器６のデジタル音信号をＰＣ１ＡおよびＰＣ１Ｃに送信する。ＰＣ１Ｃのプロセッサ３４は、楽器８のデジタル音信号をＰＣ１ＡおよびＰＣ１Ｂに送信する。ＰＣ１Ａのプロセッサ３４は、ＰＣ１Ｂから楽器６のデジタル音信号を受信し、ＰＣ１Ｃから楽器８のデジタル音信号を受信する。ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ａから楽器４のデジタル音信号を受信し、ＰＣ１Ｃから楽器８のデジタル音信号を受信する。ＰＣ１Ｃのプロセッサ３４は、ＰＣ１Ａから楽器４のデジタル音信号を受信し、ＰＣ１Ｂから楽器６のデジタル音信号を受信する。
　ＰＣ１ＡのＳＰ３７は、楽器６および楽器８の音を再生する。ＰＣ１ＢのＳＰ３７は、楽器４および楽器８の音を再生する。ＰＣ１ＣのＳＰ３７は、楽器４および楽器６の音を再生する。
　これにより、本実施形態の信号処理方法は、遠隔セッションを実現する。
　ＰＣ１Ａ、ＰＣ１Ｂ、およびＰＣ１Ｃのプロセッサ３４は、本実施形態の信号処理方法を実行する。図３は、本実施形態の信号処理方法に係る動作を示すフローチャートである。
　本実施形態の信号処理方法は、まず、複数の地点のそれぞれの演者の第１端末から、それぞれの演者のパフォーマンスに係る複数の第１信号を送信する（Ｓ１１）。具体的には、第１端末であるＰＣ１Ａのプロセッサ３４は、第１演者３のパフォーマンスに係る第１信号として、楽器４の演奏音に係る音信号をＰＣ１Ｂに送信する。また、第１端末であるＰＣ１Ｃのプロセッサ３４は、第３演者７のパフォーマンスに係る第１信号として、楽器８の演奏音に係る音信号をＰＣ１Ｂに送信する。
　次に、本実施形態の信号処理方法は、第２端末において複数の第１信号を受信する（Ｓ１２）。具体的には、第２端末であるＰＣ１Ｂのプロセッサ３４は、楽器４の演奏音に係る音信号および楽器８の演奏音に係る音信号を受信する。
　そして、本実施形態の信号処理方法は、第２端末において、パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の第１信号のうちいずれかを優先的に処理する（Ｓ１３）。
　パフォーマンスの基準となる基準情報とは、例えばドラム音等の、楽曲におけるリズムを担当する楽器（リズム楽器）の音である。ドラムのようなリズム楽器の音は、演奏のタイミングに関係する音である。セッションでは、各演者は主にリズム楽器の音にタイミングを合わせて演奏を行う。つまり、リズム楽器の音に係る音信号は、パフォーマンスの基準となる基準情報の一例である。本実施形態では、基準情報は、演奏のタイミングに関係する第３演者７の第１端末であるＰＣ１Ｃにより送信される。
　ＰＣ１Ｂのプロセッサ３４は、音信号に基づいて基準情報を取得する。具体的には、プロセッサ３４は、受け付けたデジタル音信号がリズム楽器の音であるか否かを判定する。プロセッサ３４は、例えば受け付けたデジタル音信号の特徴量に基づいて、リズム楽器の音であるか否かを判定する。特徴量とは、例えばスペクトル包絡、パワー、振幅スペクトル、基本周波数、フォルマント周波数、メルスペクトル包絡、メルスペクトル、またはケプストラム等である。プロセッサ３４は、例えば、特徴量とリズム楽器の音とを対応付けたテーブルを参照し、受け付けたデジタル音信号の特徴量を入力して、対応するリズム楽器の音があるか否かを検索する。プロセッサ３４は、対応するリズム楽器の音がある場合に、受け付けたデジタル音信号がリズム楽器の音であると判定する。あるいは、プロセッサ３４は、特徴量とリズム楽器の音との対応関係を訓練した訓練済モデルを用いて、受け付けたデジタル音信号がリズム楽器の音であるか否かを判定してもよい。プロセッサ３４は、当該訓練済モデルに特徴量を入力する。プロセッサ３４は、当該訓練済モデルに入力した特徴量に対してリズム楽器の音であるとの結果を出力した場合に、受け付けたデジタル音信号がリズム楽器の音であると判定する。
　本実施形態では、第２端末であるＰＣ１Ｂのプロセッサ３４は、楽器４および楽器８のうち、リズム楽器の音であると判定したＰＣ１Ｃから受信した楽器８の音信号を優先的に処理する。優先的に処理するとは、例えばＰＣ１Ｃから受信するオーディオパケットに優先度を付与し、ＰＣ１Ｃのオーディオパケットを先にデコードすることを意味する。また、優先的に処理するとは、楽器８の音信号を優先的に受信することも含む。
　なお、ＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ｃに対して、楽器８の音信号を優先的に送信する指示情報を送信してもよい。ＰＣ１Ｃのプロセッサ３４は、当該指示情報に基づいて楽器８の音信号を優先的に送信する。優先的に送信するとは、例えば、オーディオＩ／Ｆ３８から受け付けたデジタル音信号に係るオーディオパケットを他のパケットデータよりも優先して送信することを意味する。
　上記例では、ＰＣ１Ｂのプロセッサ３４が楽器４および楽器８のうち、リズム楽器の音であると判定したＰＣ１Ｃから受信した楽器８の音信号を優先的に処理する例を示した。しかし、例えばＰＣ１Ａのプロセッサ３４は、楽器６および楽器８のうち、リズム楽器の音を判定し、リズム楽器の音であると判定したＰＣ１Ｃから受信した楽器８の音信号を優先的に処理してもよい。また、ＰＣ１Ｃのプロセッサ３４は、楽器４および楽器６のうち、いずれかの音信号に基づいて基準情報を取得し、優先的に処理してもよい。例えば、楽器６はエレキベースであり、楽曲におけるリズムを担当する楽器でもある。したがって、ＰＣ１Ｃのプロセッサ３４は、リズム楽器の音であると判定したＰＣ１Ｂから受信した楽器６の音信号を優先的に処理してもよい。
　このようにして、本実施形態の信号処理方法は、セッションにおいて基準となるリズム楽器の音を優先的に処理する。そのため、リズム楽器の音は、どの地点においても大きなずれが無い。セッションでは、各演者は主にリズム楽器の音を基準にして演奏を行う。本実施形態の信号処理方法は、基準となる音のずれが無いため、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、本実施形態の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
（変形例１）　
　前記第１信号は、演奏に係る音信号に限らない。例えば映像信号でもよい。例えば、指揮者は、楽器を演奏しないが、指揮棒あるいは手を用いてセッションを主導する。あるいは、ドラム楽器の演者は、ドラムスティックによるドラムの打撃タイミングによりセッションを主導する。
　図４は、変形例１に係る信号処理システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。
　変形例１に係るパフォーマンス情報生成システムは、第３地点３０に設置されたＰＣ１Ｃにカメラ５０が接続されている。第３地点３０では、第４演者２が指揮を行う。ＰＣ１Ｃは、カメラ５０から受け付けた、指揮棒を含む第４演者２の映像信号をＰＣ１ＡおよびＰＣ１Ｂに送信する。ＰＣ１ＡおよびＰＣ１Ｂは、ＰＣ１Ｃから受信した映像信号に基づいて、表示器３１に指揮棒を含む第４演者２の映像を表示する。
　第１演者３および第２演者５は、表示器３１に表示される第４演者２の指揮棒を見て、セッションを行う。
　変形例１では、パフォーマンスの基準となる基準情報は、指揮棒を含む指揮者の映像であることを示す情報ある。つまり、変形例１において映像信号は、パフォーマンスの基準となる基準情報の一例である。
　ＰＣ１ＡおよびＰＣ１Ｂのそれぞれのプロセッサ３４は、映像信号に基づいて基準情報を取得する。具体的には、プロセッサ３４は、受け付けた映像信号が指揮者（特に指揮棒）の映像を含むか否かを判定する。プロセッサ３４は、例えば受け付けた映像信号の画像特徴量に基づいて、指揮者の映像を含むか否かを判定する。画像特徴量とは、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）、ＨｏＧ（Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）等の視覚特徴と時間軸方向の動き特徴とを含む多次元ベクトルである。プロセッサ３４は、例えば、複数の指揮者の映像に係る画像特徴量を蓄積したデータベースに、受け付けた映像音信号の画像特徴量を入力して、対応する情報があるか否かを検索する。プロセッサ３４は、対応する情報がある場合に、受け付けた映像信号に指揮者の映像を含むと判定する。あるいは、プロセッサ３４は、画像特徴量と指揮者の映像を含むことを示す情報との対応関係を訓練した訓練済モデルを用いて、受け付けた映像信号に指揮者の映像を含むか否かを判定してもよい。あるいは、プロセッサ３４は、画像特徴量とドラム楽器の演者の映像を含むことを示す情報との対応関係を訓練した訓練済モデルを用いて、受け付けた映像信号にドラム楽器の演者の映像を含むか否かを判定してもよい。
　ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、指揮者の映像を送信するＰＣ１Ｃから受信した映像信号を優先的に処理する。優先的に処理するとは、例えばＰＣ１Ｃから受信する映像信号に係るパケットデータに優先度を付与し、他のパケットデータよりも先にデコードすることを意味する。
　なお、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、ＰＣ１Ｃに対して、映像信号を優先的に送信する指示情報を送信してもよい。ＰＣ１Ｃのプロセッサ３４は、当該指示情報に基づいて映像信号を優先的に送信する。優先的に送信するとは、例えば、映像信号に係るパケットデータを他のパケットデータよりも優先して送信することを意味する。
　このようにして、変形例１の信号処理方法は、セッションにおいて基準となる指揮者の映像を優先的に処理する。そのため、指揮者の映像（あるいはドラム楽器の演者の映像）は、どの地点においても大きなずれが無い。セッションでは、各演者は主に指揮者の動きを基準にして演奏を行う。本実施形態の信号処理方法は、基準となる指揮者の映像にずれが無いため、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、変形例１の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例２）　
　変形例２に係る信号処理方法は、基準情報に基づいて、対応する第１信号の未来の成分（まだ受信していない音信号のデータ）を予測し、予測した第１信号の未来の成分を優先的に処理する。
　ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、例えば受け付けた音信号と、楽曲名と、の関係をＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等で訓練した訓練済モデルを用意して、当該訓練済モデルに音信号を入力することによりセッションで演奏されている楽曲名を特定する。そして、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、特定した楽曲名のコンテンツデータを取得する。また、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、基準情報（例えば図１の例ではリズム楽器の音であると判定した楽器８の音信号）と、取得したコンテンツデータと、を対比して現在の演奏位置（何小節目の何拍目であるかを示す情報）を求める。また、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、楽器８の音信号に基づいて、演奏テンポを求める。演奏位置および演奏テンポの推定には、公知の解析技術（スコアアライメント）が任意に採用され得る。
　そして、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、楽器８の音信号と、取得したコンテンツデータと、に基づいて、求めた現在の演奏位置の音信号よりも未来の音信号の成分を予測する。例えば、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、現在の演奏位置が４小節目の４拍目の位置であると求めた場合に、取得したコンテンツデータのうち、５小節目以後の音信号のデータを未来の成分として予測する。
　あるいは、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、リハーサル時に音信号を記録しておき、記録した音信号のうち、対応する演奏位置の音信号を読み出して、未来の音信号の成分を推定してもよい。
　ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、予測した未来の成分を優先的に処理する。例えば、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、推定した演奏位置および演奏テンポに合わせて、予測した未来の成分を再生し、演奏の進行および演奏テンポを維持する。これにより、リズム楽器の音が、ネットワークの環境に依存することなくどの地点においても大きなずれが無い。セッションでは、各演者は主にリズム楽器の音を基準にして演奏を行う。本実施形態の信号処理方法は、基準となる音のずれが無いため、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、本実施形態の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例３）　
　変形例３に係る信号処理方法は、基準情報に基づいて、対応する第１信号の未来の成分を予測し、予測した第１信号の未来の成分を優先的に処理する。ただし、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、また、図４の変形例１において、基準情報として指揮者の映像信号を取得し、現在の演奏位置の指揮者の映像信号よりも未来の映像信号の成分を予測する。
　指揮者は、拍子に合わせて繰り返し同じ動きを行う。そこで、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、過去の指揮者の映像を記録し、現在の演奏位置（何小節目の何拍目であるかを示す情報）を推定し、過去の指揮者の映像信号から対応する演奏位置の映像信号を読み出す。例えば、現在の演奏位置が４小節目の３拍目の位置であると求めた場合に、過去の指揮者の映像信号のうち、３小節目の４泊目に記録された映像信号のデータを、４小節目の４泊目の映像信号として予測する。
　あるいは、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、リハーサル時に指揮者の映像信号を記録しておき、記録した指揮者の映像信号のうち、対応する演奏位置の映像信号を読み出して、未来の映像信号の成分を予測してもよい。
　ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、予測した未来の成分を優先的に処理する。例えば、ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、推定した演奏位置および演奏テンポに合わせて、予測した未来の指揮者の映像信号を再生し、演奏の進行および演奏テンポを維持する。これにより、指揮者の映像が、ネットワークの環境に依存することなくどの地点においても大きなずれが無、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、本実施形態の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（変形例４）　
　図５は、変形例４に係る信号処理システムの構成図である。図１と共通する構成は同一の符号を付し、説明を省略する。
　変形例４に係る信号処理システムでは、ＰＣ１Ｃに代えて、サーバ１００を有する。サーバ１００は、図１においてＰＣ１Ｃで生成された指揮者の映像信号を記録している。サーバ１００は、記録した映像信号を配信する。
　ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、サーバ１００から指揮者の映像信号を取得する。この場合、ＰＣ１Ｂおよびサーバ１００が第１の端末であり、ＰＣ１Ａが第２の端末になる。あるいは、ＰＣ１Ａおよびサーバ１００が第１の端末であり、ＰＣ１Ｂが第２の端末になる。
　このように、本実施形態の信号処理方法における第１の端末は、リアルタイムにパフォーマンスを行う演者の端末に限らない。
　（変形例５）　
　図６は、変形例５に係る信号処理システムの構成図である。図５と共通する構成は同一の符号を付し、説明を省略する。変形例５に係る信号処理システムでは、さらにサーバ１０１を備えている。サーバ１０１は、図１においてＰＣ１Ｃで生成された指揮者の映像信号を記録している。サーバ１０１は、記録した映像信号を配信する。変形例５では、サーバ１００は他の演者（例えばボーカル）の音信号を配信する。
　ＰＣ１ＡおよびＰＣ１Ｂのプロセッサ３４は、サーバ１００からボーカルの音信号を取得し、サーバ１０１から指揮者の映像信号を取得する。この場合、ＰＣ１Ｂ、サーバ１００、およびサーバ１０１が第１の端末であり、ＰＣ１Ａが第２の端末になる。あるいは、ＰＣ１Ａ、サーバ１００，およびサーバ１０１が第１の端末であり、ＰＣ１Ｂが第２の端末になる。
　変形例５の信号処理方法では、第１端末および第２端末が相対的に遅延の少ない第１の仮想ネットワークまたは相対的に遅延の多い第２の仮想ネットワークで接続され、基準情報が第１の仮想ネットワークで送信される。具体的には、ＰＣ１Ａは、第１の仮想ネットワークでサーバ１０１と接続される。また、ＰＣ１Ｂは、第１の仮想ネットワークでサーバ１０１と接続される。ＰＣ１Ａ、ＰＣ１Ｂおよびサーバ１００は、第２の仮想ネットワークで接続される。第１の仮想ネットワークは、相対的に低遅延であるが同時接続可能数が少ない。第２の仮想ネットワークは、遅延は大きいが同時接続可能数が多い。
　例えば、第５世代移動通信システム等の無線通信ネットワークでは、「ネットワークスライシング」と呼ばれる技術が活用される。ネットワークスライシングとは、物理ネットワークを仮想的に複数の論理ネットワークに分割し（スライシング）するものである。複数の論理ネットワークは、それぞれ低遅延のネットワーク、同時接続可能数が多いネットワーク等を構成する。そこで、本変形例５の信号処理方法では、「パフォーマンスの基準となる基準情報」を優先度が高く低遅延のスライス（基準スライス）に割り当て、それ以外情報を相対的に遅延の大きい通常スライスに割り当てる。
　これにより、サーバ１０１から配信される指揮者の映像は、どの地点においても大きなずれが無い。セッションでは、各演者は主に指揮者の動きを基準にして演奏を行う。本実施形態の信号処理方法は、基準となる指揮者の映像にずれが無いため、遠隔セッション時に遅延によるパフォーマンスへの影響を最小限に抑えることができる。これにより、本実施形態の信号処理方法の利用者は、従来では得られなかった快適な遠隔セッションができるという顧客体験を得ることができる。
　（その他の例）　
　上述の例では、ＰＣ１ＡおよびＰＣ１Ｃは第１端末の一例であり、ＰＣ１Ｂは第２端末の一例として説明した。しかし、本発明の第１端末および第２端末は、上述のＰＣ１Ａ、ＰＣ１ＢおよびＰＣ１Ｃに限らない。例えば、上述の通信Ｉ／Ｆ３６の機能を備え、他の情報処理装置（または他の電子楽器）と通信する機能を備えた電子楽器も本発明の第１端末または第２端末を構成することができる。電子楽器とは、例えば電子ピアノ、電子ドラム、電子バイオリン、電子管楽器、電子オルガン、シンセサイザー等は無論、エレキギターやエレキベース等も含む。なお、複数の電子楽器が同じローカルエリアネットワーク内に存在する場合、同じローカルエリア内に存在する複数の電子楽器が同じセッションルームを構成してもよい。例えば、６つの電子楽器のうち、第１電子楽器、第２電子楽器、第３電子楽器が直接接続され第１セッションルームを構成する。第４電子楽器、第５電子楽器、第６電子楽器が第２セッションルームを構成する。そして、第１セッションルームおよび第２セッションルームにおいて要求が生じる場合、例えば第１電子楽器と第４電子楽器が接続される。接続された第１電子楽器と第４電子楽器は、互いのセッションルームの情報を送受信し、受信した他方のセッションルームの情報を、自身のセッションルーム内の他の端末装置に送信する。同じセッションルームでは、複数の電子楽器が同じグローバルＩＰアドレスを利用できる。これにより、信号処理システムは、使用するグローバルＩＰアドレスの数を抑えながら多数の電子楽器を接続することができる。
　本実施形態は、以下の様な遅延対策の構成を採用してもよい。　
　（１）ある地点（例えば第１地点１０）の情報処理装置（例えばＰＣ１Ａ）は、遠隔地の地点（例えば第２地点２０）の情報処理装置（例えばＰＣ１Ｂ）との通信遅延時間Ｔｃを測定する。ＰＣ１Ａは、バック演奏の再生指示を受け付けると、ＰＣ１Ｂに直ちに当該バック演奏の音信号を送信する。ＰＣ１Ａは、測定した通信遅延時間Ｔｃの経過後にバック演奏の音信号を再生する。これにより、ＰＣ１Ａの利用者と、ＰＣ１Ｂの利用者は、同じタイミングでバック演奏を聞くことができる。
　（２）ＰＣ１Ａは、ＰＣ１Ｂとの通信開始に応じて、一定時間の間にネットワーク受信用バッファのデータ蓄積状態がフル乃至エンプティになった回数（満空発生回数）を満空カウンタで計測する。ＰＣ１Ａは、計測した満空発生回数に応じてバッファサイズを調整する。例えば、ＰＣ１Ａは、満空発生回数がＮ以上のときはバッファサイズを拡張し、バッファサイズを拡張しても満空発生回数がＮ以上のときはバッファサイズを更に拡張する。そして、ＰＣ１Ａは、満空発生回数がＮ未満のときはバッファサイズをそのときの値に確定し、最大バッファサイズまで拡張しても満空発生回数がＮ以上の場合はバッファサイズの調整を中止する。
　（３）信号処理システムは、接続可能な利用者端末の数を所定の制限台数（例えば３台）に制限してもよい。例えば６つの利用者端末のうち、第１利用者端末、第２利用者端末、第３利用者端末が直接接続され第１セッションルームを構成する。第４利用者端末、第５利用者端末、第６利用者端末が第２セッションルームを構成する。そして、第１セッションルームおよび第２セッションルームにおいて要求が生じる場合、例えば第１利用者端末と第４利用者端末が接続される。接続された第１利用者端末と第４利用者端末は、互いのセッションルームの演奏情報を送受信し、受信した他方のセッションルームの演奏情報を、自身のセッションルーム内の他の端末装置に送信する。
　（４）情報処理装置は、出力すべき音信号を適切なタイミングで受信できない場合に代替の音信号を出力してもよい。例えば、ＰＣ１Ａは、受信したオーディオパケットを受信順にオーディオバッファおよび補間バッファに書き込み、オーディオバッファに格納されているオーディオパケットを格納順に出力する。ＰＣ１Ａは、オーディオバッファの未出力のオーディオパケットが減った場合に補間バッファのオーディオパケットから上記未出力のオーディオパケットに続くオーディオパケットを生成してオーディオバッファに書き込む補間を行う。ＰＣ１Ａは、オーディオパケットの受信の欠落を検出した場合に、補間バッファのオーディオパケットをバックアップバッファにコピーし、補間バッファをクリアし、補間バッファのオーディオパケットにより上記補間を行えない場合にバックアップバッファのオーディオパケットにより上記補間を行う。
　本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、請求の範囲によって示される。さらに、本発明の範囲は、請求の範囲と均等の範囲を含む。
３：第１演者、４：楽器、５：第２演者、６：楽器、７：第３演者、２：第４演者、８：楽器、１０：第１地点、２０：第２地点、３０：第３地点、３１：表示器、３２：ユーザＩ／Ｆ、３３：フラッシュメモリ、３４：プロセッサ、３５：ＲＡＭ、３６：通信Ｉ／Ｆ、３８：オーディオＩ／Ｆ、５０：カメラ、１００：サーバ、１０１：サーバ

Claims (19)

  1. 　複数の地点のそれぞれの演者に用いられる複数の第１端末から、前記演者のパフォーマンスに係る複数の第１信号を送信し、
    　第２端末において複数の前記第１信号を受信し、
    　前記第２端末において、前記パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理する、
    　信号処理方法。
  2. 　前記基準情報は、演奏のタイミングに関係する演者の第１端末により送信される、
    　請求項１に記載の信号処理方法。
  3. 　前記第１信号は、演奏に係る音信号を含む、
    　請求項１または請求項２に記載の信号処理方法。
  4. 　前記音信号に基づいて前記基準情報を取得する、
    　請求項３に記載の信号処理方法。
  5. 　前記第１信号は、映像信号を含み、前記映像信号に基づいて前記基準情報を取得する、
    　請求項１または請求項２に記載の信号処理方法。
  6. 　前記優先的に処理することは、前記基準情報に基づいて、複数の前記第１信号のうち前記パフォーマンスの基準となる演者に対応する前記音信号に係るデータを他のデータよりも先にデコードすることを含む、
    　請求項１または請求項２に記載の信号処理方法。
  7. 　前記基準情報に基づいて、対応する前記第１信号の未来の成分を予測し、
    　予測した前記第１信号の未来の成分を優先的に処理する、
    　請求項１または請求項２に記載の信号処理方法。
  8. 　受け付けた音信号と、楽曲名と、の関係を訓練した訓練済モデルを用いて、当該訓練済モデルに音信号を入力することにより前記楽曲名を特定し、
    　特定した前記楽曲名のコンテンツデータを取得し、
    　前記基準情報および前記コンテンツデータに基づいて、現在の演奏位置を求めて、
    　前記音信号、前記コンテンツデータ、および前記現在の演奏位置に基づいて、前記未来の音信号の成分を予測する、
    　請求項７に記載の信号処理方法。
  9. 　前記第１端末および前記第２端末は、相対的に遅延の少ない第１の仮想ネットワークまたは相対的に遅延の多い第２の仮想ネットワークで接続され、
    　前記基準情報は、前記第１の仮想ネットワークで送信される、
    　請求項１または請求項２に記載の信号処理方法。
  10. 　前記第１の仮想ネットワークおよび前記第２の仮想ネットワークは、物理ネットワークを仮想的にスライシングされた複数の論理ネットワークであり、
    　前記基準情報に基づき、スライシングされた前記複数の論理ネットワークのうち使用する論理ネットワークを指定する、
    　請求項９に記載の信号処理方法。
  11. 　前記第１端末または前記第２端末は、楽器である、
    　請求項１または請求項２に記載の信号処理方法。
  12. 　複数の地点のそれぞれの演者の第１端末から、それぞれの演者のパフォーマンスに係る複数の第１信号を送信し、
    　第２端末において複数の前記第１信号を受信し、
    　前記第２端末において、前記パフォーマンスの基準となる基準情報を取得し、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理する、
    　信号処理システム。
  13. 　前記基準情報は、演奏のタイミングに関係する演者の第１端末により送信される、
    　請求項１２に記載の信号処理システム。
  14. 　前記第１信号は、演奏に係る音信号を含む、
    　請求項１２または請求項１３に記載の信号処理システム。
  15. 　前記音信号に基づいて前記基準情報を取得する、
    　請求項１４に記載の信号処理システム。
  16. 　前記第１信号は、映像信号を含み、
    　前記映像信号に基づいて前記基準情報を取得する、
    　請求項１２または請求項１３に記載の信号処理システム。
  17. 　前記基準情報に基づいて、対応する前記第１信号の未来の成分を予測し、
    　予測した前記第１信号の未来の成分を優先的に処理する、
    　請求項１２または請求項１３に記載の信号処理システム。
  18. 　前記第１端末および前記第２端末は、相対的に遅延の少ない第１の仮想ネットワークまたは相対的に遅延の多い第２の仮想ネットワークで接続され、
    　前記基準情報は、前記第１の仮想ネットワークで送信される、
    　請求項１２または請求項１３に記載の信号処理システム。
  19. 　複数の地点のそれぞれの演者の第１端末に、それぞれの演者のパフォーマンスに係る複数の第１信号を送信させ、
    　第２端末において複数の前記第１信号を受信させ、
    　前記第２端末において、前記パフォーマンスの基準となる基準情報を取得させ、該基準情報に基づいて、複数の前記第１信号のうちいずれかを優先的に処理させる、
    　プログラム。
PCT/JP2024/018652 2023-06-06 2024-05-21 信号処理方法、信号処理システム、およびプログラム Ceased WO2024252917A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-093215 2023-06-06
JP2023093215A JP2024175427A (ja) 2023-06-06 2023-06-06 信号処理方法、信号処理システム、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024252917A1 true WO2024252917A1 (ja) 2024-12-12

Family

ID=93795450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/018652 Ceased WO2024252917A1 (ja) 2023-06-06 2024-05-21 信号処理方法、信号処理システム、およびプログラム

Country Status (2)

Country Link
JP (1) JP2024175427A (ja)
WO (1) WO2024252917A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094683A (ja) * 2002-08-30 2004-03-25 Casio Comput Co Ltd サーバ、通信方法及び観客端末
WO2013001601A1 (ja) * 2011-06-28 2013-01-03 パイオニア株式会社 配信装置、配信方法、及び配信制御用のコンピュータプログラム、再生装置、再生方法、及び再生制御用のコンピュータプログラム、並びに配信システム
JP2016218260A (ja) * 2015-05-20 2016-12-22 株式会社Ｎｔｔドコモ 音声出力プログラム
JP2021028649A (ja) * 2019-08-09 2021-02-25 株式会社Ｎｔｔドコモ 情報処理装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094683A (ja) * 2002-08-30 2004-03-25 Casio Comput Co Ltd サーバ、通信方法及び観客端末
WO2013001601A1 (ja) * 2011-06-28 2013-01-03 パイオニア株式会社 配信装置、配信方法、及び配信制御用のコンピュータプログラム、再生装置、再生方法、及び再生制御用のコンピュータプログラム、並びに配信システム
JP2016218260A (ja) * 2015-05-20 2016-12-22 株式会社Ｎｔｔドコモ 音声出力プログラム
JP2021028649A (ja) * 2019-08-09 2021-02-25 株式会社Ｎｔｔドコモ 情報処理装置及びプログラム

Also Published As

Publication number Publication date
JP2024175427A (ja) 2024-12-18

Similar Documents

Publication Publication Date Title
US7189912B2 (en) Method and apparatus for tracking musical score
JP5642296B2 (ja) 音響ジェスチャにより制御信号を発生するための入力インタフェース
US20180025665A1 (en) Analyzing or emulating a guitar performance using audiovisual dynamic point referencing
US10504498B2 (en) Real-time jamming assistance for groups of musicians
JP2003241757A (ja) 波形生成装置及び方法
US10298192B2 (en) Sound processing device and sound processing method
WO2023181570A1 (ja) 情報処理方法、情報処理システムおよびプログラム
JP7428182B2 (ja) 情報処理装置および方法、並びにプログラム
JP2024161042A5 (ja) 情報処理方法、情報処理システム、電子楽器およびプログラム
CN113539214A (zh) 音频转换方法、音频转换装置及设备
JP2001331175A (ja) 副旋律生成装置及び方法並びに記憶媒体
JP3915807B2 (ja) 奏法自動判定装置及びプログラム
JP6288197B2 (ja) 評価装置及びプログラム
JP6102076B2 (ja) 評価装置
EP3518230B1 (en) Generation and transmission of musical performance data
CN112420006B (zh) 运行模拟乐器组件的方法及装置、存储介质、计算机设备
JP2024175427A (ja) 信号処理方法、信号処理システム、およびプログラム
CN112685000A (zh) 音频处理方法、装置、计算机设备及存储介质
Sarkar et al. Recognition and prediction in a network music performance system for Indian percussion
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
JP6728572B2 (ja) 撥弦楽器演奏評価装置、楽曲演奏装置及び撥弦楽器演奏評価プログラム
Nymoen et al. Self-awareness in active music systems
JP6838357B2 (ja) 音響解析方法および音響解析装置
EP4307656A1 (en) Content data processing method and content data processing device
CN113412513A (zh) 音信号合成方法、生成模型的训练方法、音信号合成系统及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24819150

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE