WO2022101968A1 - 信号処理装置、信号処理システム、及び信号処理方法 - Google Patents

信号処理装置、信号処理システム、及び信号処理方法 Download PDF

Info

Publication number
WO2022101968A1
WO2022101968A1 PCT/JP2020/041883 JP2020041883W WO2022101968A1 WO 2022101968 A1 WO2022101968 A1 WO 2022101968A1 JP 2020041883 W JP2020041883 W JP 2020041883W WO 2022101968 A1 WO2022101968 A1 WO 2022101968A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
data
series data
signal processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/041883
Other languages
English (en)
French (fr)
Inventor
琢哉 藤島
陽 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to PCT/JP2020/041883 priority Critical patent/WO2022101968A1/ja
Priority to JP2022561714A priority patent/JP7544141B2/ja
Priority to CN202080105789.0A priority patent/CN116235243B/zh
Publication of WO2022101968A1 publication Critical patent/WO2022101968A1/ja
Priority to US18/311,822 priority patent/US12462778B2/en
Anticipated expiration legal-status Critical
Priority to JP2024140863A priority patent/JP7845424B2/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G7/00—Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data

Definitions

  • the present invention relates to a signal processing device, a signal processing system, and a signal processing method.
  • the user may perform an operation such as playing an instrument to perform an ensemble according to time-series data such as performance data. Further, a technique for efficiently performing such an ensemble is known (see, for example, Patent Document 1).
  • time-series data such as performance data
  • the present invention has been made to solve the above problems, and an object thereof is to provide a signal processing device, a signal processing system, and a signal processing method capable of appropriately performing an operation according to a target timing by a user. To do.
  • one aspect of the present invention includes at least a first time-series data including sound data and data generated based on the first time-series data and indicating a person's operation timing.
  • a receiving unit that receives the second time-series data, a generation unit that generates a third time-series data that informs the operation timing based on the second time-series data, and the first time-series data.
  • the output signal based on the first time-series data and the output based on the third time-series data so that the operation timing in the above and the operation timing notified by the third time-series data match.
  • It is a signal processing device including a processing unit that outputs in synchronization with a signal.
  • the user can appropriately perform the operation according to the target timing.
  • FIG. 1 is a block diagram showing a signal processing system 1 according to the present embodiment.
  • the signal processing system 1 includes a signal processing device 10 and a transmission device 20.
  • the signal processing device 10 and the transmitting device 20 can be connected to each other via the network NW1.
  • the transmission device 20 generates second time-series data including at least data indicating the operation timing of a person based on the first time-series data including sound data, and the first time-series data and the second time.
  • Send with series data The first time-series data is, for example, performance data such as performance, video data of gymnastics and dance, and the like. In this embodiment, a case where the first time-series data is performance data will be described.
  • the second time-series data is data generated based on the first time-series data.
  • the second time-series data is, for example, beat data including time information of beat points of performance data, and is time-series data having a smaller amount of data than the first time-series data.
  • the motion timing of a person is an motion performed by the user U1 (for example, playing a musical instrument or singing) in accordance with an output signal based on the first time-series data (for example, a sound signal of a performance based on performance data). It shows the timing of actions such as singing.
  • the operation timing includes, for example, the start timing of the performance (the start of the whole performance, the start of the solo part, etc.), the end timing of the performance, and the like.
  • the transmission device 20 includes a NW (network) communication unit 21, an input unit 22, a display unit 23, a storage unit 24, and a control unit 40.
  • NW communication unit 21 is an interface unit that can be connected to the network NW1 and communicates with the signal processing device 10 via the network NW1.
  • the input unit 22 is, for example, an input device such as a keyboard, a mouse, or a touch panel, and receives various inputs from the user.
  • the input unit 22 is used for various operations when using the transmission device 20, such as selection and designation of performance data.
  • the display unit 23 is, for example, a display device such as a liquid crystal display, and displays a video of performance data, beat data, images of various operation screens, and the like.
  • the storage unit 24 stores various information used by the transmission device 20.
  • the storage unit 24 includes a performance data storage unit 241 and a beat data storage unit 242.
  • the performance data storage unit 241 stores performance data that is the original data for generating beat data.
  • the performance data is, for example, sound data such as a musical instrument performance or a singing voice.
  • the beat data storage unit 242 stores beat data indicating the time of the beat point of the performance data.
  • the beat data is data corresponding to the performance data.
  • the beat data may include data indicating the strength of the movement (for example, the strength of the performance).
  • the control unit 40 is, for example, a processor including a CPU (Central Processing Unit) and the like, and controls the transmission device 20.
  • the control unit 40 includes a beat data generation unit 41 and a transmission processing unit 42.
  • the beat data generation unit 41 generates beat data based on the performance data.
  • the beat data generation unit 41 stores the generated beat data in the beat data storage unit 242.
  • the beat data can also be said to be compressed data generated based on the performance data.
  • the transmission processing unit 42 transmits the performance data and the beat data to the signal processing device 10.
  • the transmission processing unit 42 transmits performance data and beat data to the signal processing device 10 via, for example, the NW communication unit 21 and the network.
  • the transmission processing unit 42 includes a performance data transmission unit 421 and a beat data transmission unit 422.
  • the performance data transmission unit 421 transmits the performance data to the signal processing device 10 via the NW communication unit 21.
  • the beat data transmission unit 422 transmits the beat data to the signal processing device 10 via the NW communication unit 21.
  • the signal processing device 10 is a receiving device that can be connected to the network NW1 and communicate with the transmitting device 20.
  • the signal processing device 10 receives the first time-series data and the second time-series data from the transmission device 20 via the network NW1.
  • the signal processing device 10 generates a third time-series data that informs the operation timing based on the second time-series data.
  • the signal processing device 10 has an output signal based on the first time-series data and a third time-series data so that the operation timing of the first time-series data and the operation timing of the third time-series data match. It outputs in synchronization with the output signal based on. In this embodiment, a case where the third time series data is video data will be described.
  • the signal processing device 10 receives performance data and beat data.
  • the signal processing device 10 generates video data showing the conductor's image based on the beat data, and outputs the conductor's image in accordance with the sound signal based on the performance data.
  • the signal processing device 10 includes a NW communication unit 11, an input unit 12, a display unit 13, a speaker 14, a storage unit 15, and a control unit 30.
  • the NW communication unit 11 has the same configuration and function as the NW communication unit 21.
  • the NW communication unit 11 communicates with the transmission device 20 via the network NW1.
  • the input unit 12 and the display unit 13 have the same configurations and functions as the input unit 22 and the display unit 23.
  • the input unit 12 is used for various operations when using the signal processing device 10, such as selection and designation of various settings for generating video data of the conductor.
  • the display unit 13 displays, for example, a video of the conductor, images of various operation screens, and the like.
  • the speaker 14 outputs various sound signals used by the signal processing device 10.
  • the speaker 14 outputs, for example, a sound signal based on performance data.
  • the storage unit 15 stores various information used by the signal processing device 10.
  • the storage unit 15 includes a performance data storage unit 151, a beat data storage unit 152, a generation information storage unit 153, and a video data storage unit 154.
  • the performance data storage unit 151 stores the performance data received from the transmission device 20.
  • the beat data storage unit 152 stores the beat data received from the transmission device 20.
  • the generation information storage unit 153 stores data used when generating video data.
  • the generation information storage unit 153 for example, has a learned model which is a learning result constructed in advance by using machine learning in order to generate video data showing a video of a conductor, and various types when generating video data. Stores setting information and so on.
  • the trained model is a model that outputs the third time-series data when the input is the second time-series data.
  • the trained model is a model that outputs video data showing a conductor's video when beat data is input.
  • the video data storage unit 154 stores video data that informs the operation timing of a performance or the like. Further, the conductor's video data may include the conductor's video actually captured, or may be an illustration or an animation by computer graphics. Further, the video data of the conductor may be such that the movements of the baton and the hand are displayed.
  • the control unit 30 is, for example, a processor including a CPU and the like, and controls the signal processing device 10.
  • the control unit 30 includes a reception processing unit 31, a video data generation unit 32, and an output processing unit 33.
  • the reception processing unit 31 is an example of a reception unit.
  • the reception processing unit 31 receives performance data and beat data from the transmission device 20 via the network NW1 and the NW communication unit 11.
  • the reception processing unit 31 includes a performance data reception unit 311 and a beat data reception unit 312.
  • the performance data receiving unit 311 receives the performance data transmitted from the transmitting device 20 via the network NW1.
  • the performance data receiving unit 311 stores the received performance data in the performance data storage unit 151.
  • the beat data receiving unit 312 receives the beat data transmitted from the transmitting device 20 via the network NW1.
  • the beat data receiving unit 312 stores the received beat data in the beat data storage unit 152.
  • the video data generation unit 32 is an example of the generation unit.
  • the video data generation unit 32 generates video data of the conductor informing the operation timing based on the beat data.
  • the video data generation unit 32 acquires the beat data stored in the beat data storage unit 152, and based on the acquired beat data and the data stored in the generation information storage unit 153, the video M1 as shown in FIG. Generate video data of the conductor of.
  • the video data generation unit 32 generates video data of the conductor based on the beat data by machine learning using the learning model information stored in the generation information storage unit 153.
  • the video data generation unit 32 When the beat data includes data indicating the strength of the movement (for example, the strength of the performance), the video data generation unit 32 generates video data of the conductor including data indicating the strength of the movement. The video data generation unit 32 stores the generated video data of the conductor in the video data storage unit 154.
  • the output processing unit 33 is an example of the processing unit.
  • the output processing unit 33 includes a performance sound signal based on the performance data and a video signal of the conductor based on the video data of the conductor so that the operation timing in the performance data and the operation timing in the video data of the conductor match. Is synchronized and output.
  • the output processing unit 33 outputs a performance sound signal based on the performance data from the speaker 14, synchronizes with the sound signal, and outputs the video signal of the conductor from the display unit 13 (the video M1 of the conductor in FIG. 2). See).
  • FIG. 3 is a diagram showing an example of the operation of the signal processing system 1 according to the present embodiment.
  • the transmission device 20 generates beat data for the performance data (step S101).
  • the beat data generation unit 41 acquires the performance data designated by the operation of the input unit 22 from the performance data storage unit 241.
  • the beat data generation unit 41 generates beat data including time information of beat points based on the performance data.
  • the beat data generation unit 41 stores the generated beat data in the beat data storage unit 242.
  • the beat data generation unit 41 displays the performance data and the generated beat data on the display unit 23 so that the user of the transmission device 20 can observe the performance data and confirms the beat data, and instructs the user.
  • the beat data may be adjusted or modified based on the above.
  • the transmission device 20 transmits the performance data to the signal processing device 10 (step S102).
  • the performance data transmission unit 421 transmits the performance data acquired from the performance data storage unit 241 to the signal processing device 10.
  • the performance data receiving unit 311 receives the performance data from the transmission device 20, and stores the received performance data in the performance data storage unit 151.
  • the transmission device 20 transmits the beat data to the signal processing device 10 (step S103).
  • the beat data transmission unit 422 transmits the beat data to the signal processing device 10.
  • the beat data receiving unit 312 receives the beat data from the transmitting device 20, and stores the received beat data in the beat data storage unit 152.
  • the signal processing device 10 accepts the selection of video data (step S104).
  • the video data generation unit 32 receives the selection of video data (designation of settings, etc.) by the user U1 via the input unit 12.
  • the signal processing device 10 may accept, for example, the designation of the conductor's video data corresponding only to the timing of the performance, the designation of the conductor's video data including the instruction of the strength of the operation, and the like.
  • the signal processing device 10 generates video data showing the conductor's video based on the beat data (step S105).
  • the video data generation unit 32 is based on the selection of video data (setting designation, etc.) by the user U1 from the beat data and the trained model which is the learning result of the machine learning stored in the generation information storage unit 153. Generate video data.
  • the video data generation unit 32 stores the generated video data in the video data storage unit 154.
  • the signal processing device 10 synchronizes the video data with the performance data and outputs the data (step S106).
  • the output processing unit 33 outputs a sound signal based on the performance data from the speaker 14. Further, the output processing unit 33 outputs the conductor's video signal based on the video data, such as the video M1 in FIG. 2, from the display unit 13 in synchronization with the sound signal.
  • the user U1 performs an operation such as playing a musical instrument or singing a song according to the image of the conductor output by the signal processing device 10. As a result, the user U1 can appropriately perform an operation such as playing a musical instrument according to the sound signal based on the performance data.
  • the signal processing device 10 generates video data indicating the conductor corresponding to the beat data in step S105, and outputs a video signal of the conductor based on the video data in step S106. There is. This can be achieved in a variety of ways.
  • the signal processing device 10 may perform step S106 once for the entire beat data, for example. Further, the signal processing device 10 may be realized by repeating the processes of steps S105 and S106.
  • the signal processing device 10 includes a reception processing unit 31, a video data generation unit 32, and an output processing unit 33.
  • the reception processing unit 31 receives the first time-series data including the sound data and the second time-series data generated based on the first time-series data and including at least the data indicating the operation timing of the person. ..
  • the video data generation unit 32 generates a third time-series data that informs the operation timing based on the second time-series data.
  • the output processing unit 33 has an output signal based on the first time-series data and a third so that the operation timing in the first time-series data and the operation timing informed by the third time-series data match. It outputs in synchronization with the output signal based on the time series data of.
  • the output signal based on the third time-series data and the output signal based on the first time-series data are output in synchronization, so that the user U1 operates.
  • the timing can be recognized appropriately, and the operation can be performed according to the desired timing.
  • the signal processing device 10 since the signal processing device 10 according to the present embodiment receives beat data having a smaller amount of data than the first time-series data from the transmission device 20, the amount of communication data can be reduced, and the third time-series data can be used. Based on this, the delay of the output signal can be reduced.
  • the first time-series data is performance data
  • the operation timing includes the operation start timing
  • the second time-series data is beat data indicating beats including at least the operation start timing.
  • the video data generation unit 32 generates video data as a third time-series data based on the beat data.
  • the output processing unit 33 outputs the video signal based on the video data in synchronization with the output signal based on the performance data.
  • the user U1 can appropriately recognize, for example, the start timing of the performance. Therefore, the user U1 can appropriately play a musical instrument, sing a song, or the like by adjusting the timing to the output signal based on the performance data.
  • the video data of the third time series data is the video data of the conductor. Since the conductor has a role of transmitting various operation timings, it is possible to make it easier to recognize that it is the start timing of the operation by using the image of the conductor. Therefore, the user U1 can appropriately play a musical instrument or the like in accordance with the timing of the performance data received from the transmission device 20 by visually recognizing the video signal based on the video data of the conductor.
  • the video data generation unit 32 generates video data of the conductor based on the beat data by machine learning. Thereby, the signal processing device 10 according to the present embodiment can easily create the video data of the conductor from the beat data.
  • the reception processing unit 31 receives the second time-series data whose amount of data is smaller than that of the first time-series data.
  • the video data generation unit 32 decodes the second time-series data and generates the third time-series data.
  • the signal processing device 10 receives the second time-series data whose data amount is smaller than that of the first time-series data, so that the amount of communication data is small and the first time-series data is output.
  • the third time series data Prior to, the third time series data is generated and output. Therefore, the signal based on the third time-series data can be output without delaying the output of the sound signal based on the first time-series data.
  • the second time-series data includes beat point data indicating the beat of the movement and data indicating the strength of the movement.
  • the video data generation unit 32 generates a third time-series data including data indicating the strength of the operation.
  • the user U1 can recognize the timing of the strength of the operation, and the user U1 performs a more appropriate operation including the strength of the operation according to the first time series data. It can be carried out. That is, in the signal processing device 10 according to the present embodiment, the user U1 can perform, for example, a performance with rich expressive power including strength and weakness in accordance with the output of performance data.
  • the signal processing system 1 generates a second time-series data including at least data indicating the operation timing of a person based on the first time-series data including the data, and the first time-series. It includes a transmission device 20 for transmitting data and second time-series data, and a signal processing device 10. As a result, the signal processing system 1 according to the present embodiment has the same effect as the signal processing device 10, and the user U1 can appropriately operate in accordance with a target timing.
  • FIG. 4 is a block diagram showing an example of the signal processing system 1a according to the present embodiment.
  • the signal processing system 1a includes a plurality of signal processing devices 10a (10a-1, 10a-2, ...) And a transmission device 20a.
  • the plurality of signal processing devices 10a and the transmission device 20a can be connected via the network NW1.
  • the transmission device 20a transmits beat data to a plurality of signal processing devices 10a, and each of the plurality of signal processing devices 10a outputs a video of the commander based on the beat data, whereby a plurality of users.
  • An example of performing an ensemble between the two will be described.
  • FIG. 4 the same reference numerals are given to the same configurations as those in FIG. 1, and the description thereof will be omitted.
  • each of the signal processing device 10a-1, the signal processing device 10a-2, ... Has the same configuration, and shows an arbitrary signal processing device included in the signal processing system 1a, or When not particularly distinguished, it will be described as a signal processing device 10a.
  • the transmission device 20a has the same basic functions as the transmission device 20, but is different from the first embodiment in that the performance data is not transmitted to the signal processing device 10a. In the present embodiment, it is assumed that the music of the performance data is shared between the transmission device 20a and the signal processing device 10a.
  • the transmission device 20a includes a NW communication unit 21, an input unit 22, a display unit 23, a storage unit 24, and a control unit 40a.
  • the control unit 40a has the same basic configuration and functions as the control unit 40.
  • the control unit 40a includes a beat data generation unit 41 and a transmission processing unit 42a.
  • the transmission processing unit 42a is different from the transmission processing unit 42 in that it includes a beat data transmission unit 422 and does not include the performance data transmission unit 421 described above.
  • the transmission processing unit 42a transmits beat data generated based on performance data of playing a predetermined musical piece to a plurality of signal processing devices 10a.
  • the signal processing device 10a has the same basic functions as the signal processing device 10a, but has a point that performance data is not received from the transmission device 20a and a function for performing an ensemble between a plurality of signal processing devices 10a. The point that is done is different.
  • the signal processing device 10a includes a NW communication unit 11, an input unit 12, a display unit 13, a speaker 14, a storage unit 15a, a microphone 16, and a control unit 30.
  • the user U1 is a user of the signal processing device 10a-1, and the user U2 corresponds to the user of the signal processing device 10a-2.
  • the storage unit 15a is different from the storage unit 15 in that the storage unit 15a includes a beat data storage unit 152, a generation information storage unit 153, and a video data storage unit 154, and does not include a performance data storage unit 151.
  • the microphone 16 picks up the sound around the signal processing device 10a and outputs the picked up sound signal. At the time of ensemble, the microphone 16 outputs a sound signal picked up by the user's performance to the control unit 30a.
  • the control unit 30a has the same basic configuration and functions as the control unit 30.
  • the control unit 30a includes a reception processing unit 31a, a video data generation unit 32, an output processing unit 33a, and an ensemble processing unit 34.
  • the reception processing unit 31a is different from the reception processing unit 31 in that the reception processing unit 31a includes the beat data reception unit 312 and does not include the performance data reception unit 311 described above.
  • the output processing unit 33a outputs a video signal based on the conductor's video data generated by the video data generation unit 32 so that the timing of the performance can be visually recognized.
  • the ensemble processing unit 34 receives a performance sound signal from another device (for example, another signal processing device 10a, etc.) via the NW communication unit 11 and the network NW1, and the received performance sound signal is transmitted to the speaker 14. Output. Further, the ensemble processing unit 34 transmits the performance sound signal picked up by the microphone 16 to another device (for example, another signal processing device 10a or the like) via the NW communication unit 11 and the network NW1.
  • another device for example, another signal processing device 10a, etc.
  • FIG. 5 describes an example of an operation in which the user U1 and the user U2 perform an ensemble using the beat data transmitted from the transmission device 20a.
  • step S201 the process of step S201 is the same as the process of step S101 shown in FIG. 3, and therefore the description thereof will be omitted here.
  • the transmission device 20a transmits the beat data to each signal processing device 10a (10a-1, 10a-2) (step S202).
  • the beat data transmission unit 422 transmits the beat data to each signal processing device 10a.
  • the beat data receiving unit 312 of the signal processing device 10a receives the beat data from the transmitting device 20a, and stores the received beat data in the beat data storage unit 152.
  • step S203 Since the subsequent processing of step S203 by the signal processing device 10a-1 and the processing of step S205 by the signal processing device 10a-2 are the same as the processing of step S105 shown in FIG. 3, the description thereof is omitted here. ..
  • step S204 the signal processing device 10a-1 collects the performance of the user U1 who has output the image of the conductor from the microphone 16.
  • the output processing unit 33a outputs a video signal based on the conductor's video data stored by the video data storage unit 154, such as the video M1 in FIG. 2, from the display unit 13.
  • the ensemble processing unit 34 acquires the sound signal (performance sound signal) of the performance of the user U1 collected by the microphone 16.
  • step S206 the signal processing device 10a-2 collects the performance of the user U2, which outputs the image of the conductor, from the microphone 16.
  • the output processing unit 33a outputs a video signal based on the conductor's video data stored by the video data storage unit 154, such as the video M1 in FIG. 2, from the display unit 13.
  • the ensemble processing unit 34 acquires the performance sound signal of the user U2 collected by the microphone 16.
  • the signal processing device 10a-1 and the signal processing device 10a-2 transmit each other's performance sound signals to execute the ensemble processing (step S207).
  • the ensemble processing unit 34 of the signal processing device 10a-1 transmits the performance sound signal of the user U1 to the signal processing device 10a-2, receives the performance sound signal of the user U2 from the signal processing device 10a-2, and receives the performance sound signal of the user U2.
  • the performance sound signal of the user U1 is output to the speaker 14 of the signal processing device 10a-1.
  • the ensemble processing unit 34 of the signal processing device 10a-2 transmits the performance sound signal of the user U2 to the signal processing device 10a-1, and receives the performance sound signal of the user U1 from the signal processing device 10a-1. Then, the performance sound signal of the user U1 is output to the speaker 14 of the signal processing device 10a-2.
  • an ensemble can be performed among a plurality of users at remote locations.
  • the signal processing device 10a includes a reception processing unit 31a (reception unit), a video data generation unit 32 (generation unit), and an output processing unit 33a (processing unit).
  • the reception processing unit 31a is a second time-series data (for example, a beat) that includes at least data indicating the timing of the performance, which is generated based on the performance data (first time-series data) of playing a predetermined music. Data) is received.
  • the video data generation unit 32 has a third time-series data (for example, for example) that makes it possible to visually recognize the timing of the performance based on the second time-series data (for example, beat data) received by the reception processing unit 31a. (Video data of the conductor) is generated.
  • the output processing unit 33a outputs an output signal (for example, a video signal) based on the third time series data (for example, the video data of the conductor) so that the timing of the performance is visually recognized.
  • the signal processing device 10a and the signal processing system 1a according to the present embodiment can be appropriately played by the user in accordance with the desired timing.
  • the transmission device 20a transmits beat data to the plurality of signal processing devices 10a, so that the signal processing device 10a and the signal processing system 1a according to the present embodiment can be, for example, among a plurality of users at remote locations.
  • the timing of the performance can be adjusted and the ensemble can be performed without meeting in person.
  • the second time series data has been described as beat data, but is not limited thereto.
  • the second time-series data may be data indicating position reference information.
  • the position reference information include beat point data (including advance notice), measure boundary time, measure number, time signature, rehearsal mark, movement number, and movement name. Further, it may be data indicating other information in addition to the position reference information.
  • Other information includes standard tempo, speed symbol, speed change symbol, strength, strength change, idea symbol, articulation, conductor facial expression, conductor gesture information, conductor dialogue, phrase start for each part, phrase end for each part. , The start of the solo part, the end of the solo part and the end signal.
  • the third time series data may include sound data in addition to the video data.
  • sound data is the sound of a metronome that synchronizes with the conductor's video.
  • the video data may be a metronome video instead of the conductor video, or may show a metronome video in addition to the conductor video.
  • the signal processing system 1 (1a) is used for playing a musical instrument has been described, but the present invention is not limited to this, and the operation performed by the user is other than playing the musical instrument.
  • it may be applied to dance, gymnastics, reading of poems according to BGM, broadcast drama, and the like.
  • the present invention is not limited to this, and for example, the first time-series data is gymnastics or the like.
  • the third time-series data is a signal indicating the start timing of dance or gymnastics or sound data of dialogue (for example, a shout or signal such as "loud! Or "slowly!). Or, it may be video data of an instructor (for example, a video showing facial expressions and gestures).
  • beat data may be transmitted to a plurality of signal processing devices 10 to perform an ensemble or the like.
  • the signal processing device 10 may include the above-mentioned ensemble processing unit 34.
  • the signal processing device 10 when the signal processing device 10 outputs the output signal based on the third time-series data in synchronization with the output signal based on the first time-series data, a predetermined shift is made.
  • the width may be set.
  • the signal processing device 10 may be capable of shifting, pausing, or the like of the synchronized output.
  • the signal processing device 10 (10a) may have the main part changed in the video of the conductor.
  • the main part may be a bass instrument or a rhythm instrument.
  • each configuration included in the above-mentioned signal processing system 1 (1a) has a computer system inside.
  • the processing process of each configuration included in the signal processing system 1 (1a) described above is stored in a computer-readable recording medium in the form of a program, and the computer reads and executes this program to perform the processing. Is done.
  • the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line, and the computer receiving the distribution may execute the program.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

信号処理装置は、音データを含む第１の時系列データと、前記第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信する受信部と、前記第２の時系列データに基づいて、前記動作タイミングを知らせる第３の時系列データを生成する生成部と、前記第１の時系列データにおける前記動作タイミングと、前記第３の時系列データで知らされる前記動作タイミングとが一致するように、前記第１の時系列データに基づく出力信号と、前記第３の時系列データに基づく出力信号とを同期させて出力する処理部とを備える。

Description

信号処理装置、信号処理システム、及び信号処理方法
　本発明は、信号処理装置、信号処理システム、及び信号処理方法に関する。
　演奏データなどの時系列データに合わせて、例えば、楽器を演奏して合奏を行うなどの動作を利用者が行うことがある。また、このような合奏を効率的に行うための技術が知られている（例えば、特許文献１を参照）。
特開２００４－１４５２２１号公報
　しかしながら、演奏データなどの時系列データに合わせて、例えば、楽器を演奏して合奏を行う際に、演奏の開始タイミングなどの動作タイミングがわからずに、適切なタイミングで演奏などの動作を行うことが困難な場合があった。
　本発明は、上記問題を解決すべくなされたもので、その目的は、利用者が目的のタイミングに合わせて適切に動作を行うことができる信号処理装置、信号処理システム、及び信号処理方法を提供することにある。
　上記問題を解決するために、本発明の一態様は、音データを含む第１の時系列データと、前記第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信する受信部と、前記第２の時系列データに基づいて、前記動作タイミングを知らせる第３の時系列データを生成する生成部と、前記第１の時系列データにおける前記動作タイミングと、前記第３の時系列データで知らされる前記動作タイミングとが一致するように、前記第１の時系列データに基づく出力信号と、前記第３の時系列データに基づく出力信号とを同期させて出力する処理部とを備える信号処理装置である。
　本発明によれば、利用者が目的のタイミングに合わせて適切に動作を行うことができる。
第１の実施形態による信号処理システムの一例を示すブロック図である。 指揮者の映像の一例を示す図である。 第１の実施形態による信号処理システムの動作の一例を示す図である。 第２の実施形態による信号処理システムの一例を示すブロック図である。 第２の実施形態による信号処理システムの動作の一例を示す図である。
　以下、本発明の一実施形態による信号処理システム、信号処理装置、及び信号処理方法について、図面を参照して説明する。
　［第１の実施形態］
　図１は、本実施形態による信号処理システム１を示すブロック図である。
　信号処理システム１は、信号処理装置１０と、送信装置２０とを備える。
　信号処理装置１０と送信装置２０とは、ネットワークＮＷ１を介して接続可能である。
　送信装置２０は、音データを含む第１の時系列データに基づいて、人の動作タイミングを示すデータを少なくとも含む第２の時系列データを生成し、第１の時系列データと第２の時系列データとを送信する。第１の時系列データは、例えば、演奏などの演奏データ、体操やダンスの映像データなどである。本実施形態では、第１の時系列データが、演奏データである場合について説明する。
　また、第２の時系列データは、第１の時系列データに基づいて生成されるデータである。第２の時系列データは、例えば、演奏データの拍点の時刻情報を含む拍データなどであり、第１の時系列データよりもデータ量が少ない時系列データである。本実施形態では、第２の時系列データが、拍データである場合について説明する。
　また、人の動作タイミングとは、第１の時系列データに基づく出力信号（例えば、演奏データに基づく演奏の音信号）に合わせて、利用者Ｕ１が行う動作（例えば、楽器の演奏や歌を歌うなどの動作）のタイミングを示している。動作タイミングには、例えば、演奏の開始タイミング（全体の開始、ソロパートの開始、等）、演奏の終了タイミングなどが含まれる。
　送信装置２０は、ＮＷ（ネットワーク）通信部２１と、入力部２２と、表示部２３と、記憶部２４と、制御部４０とを備える。
　ＮＷ通信部２１は、ネットワークＮＷ１に接続可能なインターフェース部であり、ネットワークＮＷ１を介して信号処理装置１０との間の通信を行う。
　入力部２２は、例えば、キーボードやマウス、タッチパネルなどの入力装置であり、各種入力を利用者から受け付ける。入力部２２は、例えば、演奏データの選択や指定など、送信装置２０を使用する際の各種操作に用いられる。
　表示部２３は、例えば、液晶ディスプレイなどの表示装置であり、演奏データの映像や拍データ、各種操作画面の画像などを表示する。
　記憶部２４は、送信装置２０が利用する各種情報を記憶する。記憶部２４は、演奏データ記憶部２４１と、拍データ記憶部２４２とを備える。
　演奏データ記憶部２４１は、拍データを生成する元データとなる演奏データを記憶する。演奏データは、例えば、楽器の演奏や歌声などの音データである。
　拍データ記憶部２４２は、演奏データの拍点の時刻を示す拍データを記憶する。拍データは、演奏データに対応するデータである。なお、拍データには、動作の強弱（例えば、演奏の強弱）を示すデータを含んでもよい。
　制御部４０は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、送信装置２０を制御する。制御部４０は、拍データ生成部４１と、送信処理部４２とを備える。
　拍データ生成部４１は、演奏データに基づいて、拍データを生成する。拍データ生成部４１は、生成した拍データを、拍データ記憶部２４２に記憶させる。なお、拍データは、演奏データに基づいて生成される圧縮データともいえる。
　送信処理部４２は、演奏データ及び拍データを、信号処理装置１０に送信する。送信処理部４２は、例えば、ＮＷ通信部２１及びネットワークを介して、演奏データ及び拍データを、信号処理装置１０に送信する。送信処理部４２は、演奏データ送信部４２１と、拍データ送信部４２２とを備える。
　演奏データ送信部４２１は、演奏データを、ＮＷ通信部２１を介して、信号処理装置１０に送信する。
　拍データ送信部４２２は、拍データを、ＮＷ通信部２１を介して、信号処理装置１０に送信する。
　信号処理装置１０は、ネットワークＮＷ１に接続して、送信装置２０と通信可能な受信装置である。信号処理装置１０は、ネットワークＮＷ１を介して、送信装置２０から第１の時系列データ及び第２の時系列データを受信する。信号処理装置１０は、第２の時系列データに基づいて動作タイミングを知らせる第３の時系列データを生成する。信号処理装置１０は、第１の時系列データにおける動作タイミングと、第３の時系列データの動作タイミングが一致するように、第１の時系列データに基づく出力信号と、第３の時系列データに基づく出力信号とを同期させて出力する。本実施形態では、第３の時系列データが、映像データである場合について説明する。
　信号処理装置１０は、演奏データ及び拍データを受信する。信号処理装置１０は、拍データに基づいて、指揮者の映像を示す映像データを生成し、演奏データに基づく音信号に合わせて、指揮者の映像を出力する。
　信号処理装置１０は、ＮＷ通信部１１と、入力部１２と、表示部１３と、スピーカ１４と、記憶部１５と、制御部３０とを備える。
　ＮＷ通信部１１は、ＮＷ通信部２１と同様の構成及び機能を有している。ＮＷ通信部１１は、ネットワークＮＷ１を介して送信装置２０との間の通信を行う。
　入力部１２及び表示部１３は、入力部２２及び表示部２３と同様の構成及び機能を有している。入力部１２は、例えば、指揮者の映像データを生成するための各種設定の選択や指定など、信号処理装置１０を使用する際の各種操作に用いられる。また、表示部１３は、例えば、指揮者の映像、各種操作画面の画像などを表示する。
　スピーカ１４は、信号処理装置１０が用いる各種音信号を出力する。スピーカ１４は、例えば、演奏データに基づく音信号を出力する。
　記憶部１５は、信号処理装置１０が利用する各種情報を記憶する。記憶部１５は、演奏データ記憶部１５１と、拍データ記憶部１５２と、生成用情報記憶部１５３と、映像データ記憶部１５４とを備える。
　演奏データ記憶部１５１は、送信装置２０から受信した演奏データを記憶する。
　拍データ記憶部１５２は、送信装置２０から受信した拍データを記憶する。
　生成用情報記憶部１５３は、映像データを生成する際に用いるデータを記憶する。生成用情報記憶部１５３は、例えば、指揮者の映像を示す映像データを生成するために、予め機械学習を用いて構築された学習結果である学習済モデルや、映像データを生成する際の各種設定情報などを記憶する。なお、学習済モデルは、入力を第２の時系列データとしたときに第３の時系列データを出力するモデルである。本実施形態において、学習済モデルは、拍データを入力すると指揮者の映像を示す映像データを出力するモデルである。
　映像データ記憶部１５４は、演奏などの動作タイミングを知らせる映像データを記憶する。また、指揮者の映像データは、実際に撮像された指揮者の映像を含むものでもよいし、イラストやコンピュータグラフィックによるアニメーションであってもよい。また、指揮者の映像データは、指揮棒及び手の動きを表示するようなものであってもよい。
　制御部３０は、例えば、ＣＰＵなどを含むプロセッサであり、信号処理装置１０を制御する。制御部３０は、受信処理部３１と、映像データ生成部３２と、出力処理部３３とを備える。
　受信処理部３１は、受信部の一例である。受信処理部３１は、ネットワークＮＷ１及びＮＷ通信部１１を介して、送信装置２０から演奏データと拍データとを受信する。受信処理部３１は、演奏データ受信部３１１と、拍データ受信部３１２とを備える。
　演奏データ受信部３１１は、ネットワークＮＷ１を介して、送信装置２０から送信された演奏データを受信する。演奏データ受信部３１１は、受信した演奏データを演奏データ記憶部１５１に記憶させる。
　拍データ受信部３１２は、ネットワークＮＷ１を介して、送信装置２０から送信された拍データを受信する。拍データ受信部３１２は、受信した拍データを拍データ記憶部１５２に記憶させる。
　映像データ生成部３２は生成部の一例である。映像データ生成部３２は、拍データに基づいて、動作タイミングを知らせる指揮者の映像データを生成する。映像データ生成部３２は、拍データ記憶部１５２が記憶する拍データを取得し、取得した拍データと、生成用情報記憶部１５３が記憶するデータとに基づいて、図２に示すような映像Ｍ１の指揮者の映像データを生成する。例えば、映像データ生成部３２は、生成用情報記憶部１５３が記憶する学習モデル情報を用いて、機械学習により、拍データに基づいて、指揮者の映像データを生成する。
　なお、映像データ生成部３２は、拍データに動作の強弱（例えば、演奏の強弱）を示すデータが含まれる場合に、動作の強弱を指示するデータを含む指揮者の映像データを生成する。
　映像データ生成部３２は、生成した指揮者の映像データを、映像データ記憶部１５４に記憶させる。
　出力処理部３３は、処理部の一例である。出力処理部３３は、演奏データにおける動作タイミングと、指揮者の映像データにおける動作タイミングとが一致するように、演奏データに基づく演奏音信号と、指揮者の映像データに基づく指揮者の映像信号とを同期させて出力する。出力処理部３３は、演奏データに基づく演奏音信号を、スピーカ１４から出力させ、当該音信号に同期させて、指揮者の映像信号を表示部１３から出力させる（図２の指揮者の映像Ｍ１を参照）。
　次に、図３を参照して、本実施形態による信号処理システム１の動作について説明する。
　図３は、本実施形態による信号処理システム１の動作の一例を示す図である。
　まず、送信装置２０は、演奏データに対して、拍データを生成する（ステップＳ１０１）。拍データ生成部４１は、入力部２２の操作によって指定された演奏データを、演奏データ記憶部２４１から取得する。拍データ生成部４１は、演奏データに基づいて、拍点の時刻情報を含む拍データを生成する。拍データ生成部４１は、生成した拍データを、拍データ記憶部２４２に記憶させる。
　なお、拍データ生成部４１は、演奏データ及び生成した拍データとを、表示部２３に表示する等、送信装置２０の利用者が観測できる状態にして、拍データを確認させ、利用者の指示に基づいて、拍データを調整、又は修正するようにしてもよい。
　次に、送信装置２０は、演奏データを信号処理装置１０に送信する（ステップＳ１０２）。演奏データ送信部４２１は、演奏データ記憶部２４１から取得した演奏データを、信号処理装置１０に送信する。これにより、演奏データ受信部３１１は、送信装置２０から演奏データを受信し、受信した演奏データを、演奏データ記憶部１５１に記憶させる。
　次に、送信装置２０は、拍データを信号処理装置１０に送信する（ステップＳ１０３）。拍データ送信部４２２は、拍データを信号処理装置１０に送信する。これにより、拍データ受信部３１２は、送信装置２０から拍データを受信し、受信した拍データを、拍データ記憶部１５２に記憶させる。
　次に、信号処理装置１０は、映像データの選択を受け付ける（ステップＳ１０４）。映像データ生成部３２は、入力部１２を介して、利用者Ｕ１による映像データの選択（設定の指定など）を受け付ける。信号処理装置１０は、例えば、演奏のタイミングのみに対応する指揮者の映像データの指定や、動作の強弱の指示を含めた指揮者の映像データの指定、等を受け付けてもよい。
　次に、信号処理装置１０は、拍データに基づいて、指揮者の映像を示す映像データを生成する（ステップＳ１０５）。映像データ生成部３２は、利用者Ｕ１による映像データの選択（設定の指定など）に基づいて、拍データと、生成用情報記憶部１５３が記憶する機械学習の学習結果である学習済モデルから、映像データを生成する。映像データ生成部３２は、生成した映像データを、映像データ記憶部１５４に記憶させる。
　次に、信号処理装置１０は、映像データと、演奏データとを同期させて出力する（ステップＳ１０６）。出力処理部３３は、演奏データに基づく音信号を、スピーカ１４から出力させる。また、出力処理部３３は、音信号に同期させて、図２の映像Ｍ１のような、映像データに基づく指揮者の映像信号を、表示部１３から出力させる。
　利用者Ｕ１は、信号処理装置１０が出力する指揮者の映像に合わせて、例えば、楽器の演奏や歌を歌うなどの動作を行う。これにより、利用者Ｕ１は、演奏データに基づく音信号に合わせて、楽器の演奏などの動作を適切に行うことができる。
　図３に示す例では、信号処理装置１０は、ステップＳ１０５において、拍データに対応する指揮者を示す映像データを生成して、ステップＳ１０６において、映像データに基づく指揮者の映像信号を出力している。これは、様々な方法で実現できる。信号処理装置１０は、例えば、拍データ全体に対して、ステップＳ１０６を１回行ってもよい。また、信号処理装置１０は、ステップＳ１０５及びステップＳ１０６の処理を繰り返して実現してもよい。
　以上説明したように、本実施形態による信号処理装置１０は、受信処理部３１と、映像データ生成部３２と、出力処理部３３とを備える。受信処理部３１は、音データを含む第１の時系列データと、第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信する。映像データ生成部３２は、第２の時系列データに基づいて、動作タイミングを知らせる第３の時系列データを生成する。出力処理部３３は、第１の時系列データにおける動作タイミングと、第３の時系列データで知らされる動作タイミングとが一致するように、第１の時系列データに基づく出力信号と、第３の時系列データに基づく出力信号とを同期させて出力する。
　これにより、本実施形態による信号処理装置１０では、第３の時系列データに基づく出力信号と、第１の時系列データに基づく出力信号とを同期して出力するため、利用者Ｕ１は、動作タイミングを適切に認識でき、目的のタイミングに合わせて動作を行うことができる。
　また、本実施形態による信号処理装置１０は、第１の時系列データよりもデータ量が少ない拍データを、送信装置２０から受信するため、通信データ量を低減でき、第３の時系列データに基づく出力信号の遅延を低減することができる。
　また、本実施形態では、第１の時系列データは、演奏データであり、動作タイミングには、動作開始タイミングが含まれる。また、第２の時系列データは、動作開始タイミングを少なくとも含む拍を示す拍データである。映像データ生成部３２は、拍データに基づいて、映像データを、第３の時系列データとして生成する。出力処理部３３は、映像データに基づく映像信号を、演奏データに基づく出力信号に同期させて出力する。
　これにより、本実施形態による信号処理装置１０では、利用者Ｕ１は、例えば、演奏の開始タイミングを適切に認識することができる。そのため、利用者Ｕ１は、演奏データに基づく出力信号にタイミングを合わせて、適切に楽器の演奏や歌を歌う、等を行うことができる。
　また、本実施形態では、第３の時系列データの映像データは、指揮者の映像データである。
　指揮者は種々の動作タイミングを伝える役割を有していることから、指揮者の映像を用いることで、動作の開始タイミングであることをより認識し易くすることができる。よって、利用者Ｕ１は、指揮者の映像データに基づく映像信号を視認することで、送信装置２０から受信した演奏データのタイミングに合わせて、適切に、楽器などの演奏を行うことができる。
　また、本実施形態では、映像データ生成部３２は、機械学習により、拍データに基づいて、指揮者の映像データを生成する。
　これにより、本実施形態による信号処理装置１０は、拍データから、指揮者の映像データを容易に作成することができる。
　また、本実施形態では、受信処理部３１は、第１の時系列データよりデータ量が小さい第２の時系列データを受信する。映像データ生成部３２は、第２の時系列データをデコードして、第３の時系列データを生成する。
　これにより、本実施形態による信号処理装置１０は、第１の時系列データよりデータ量が小さい第２の時系列データを受信するため、通信データ量が少なくなり、第１の時系列データの出力に先立って第３の時系列データを生成し出力する。したがって、第１の時系列データに基づく音信号の出力に遅れることなく第３の時系列データに基づく信号を出力することができる。
　また、本実施形態では、第２の時系列データには、動作の拍を示す拍点データと、動作の強弱を示すデータとが含まれる。映像データ生成部３２は、動作の強弱を指示するデータを含む第３の時系列データを生成する。
　これにより、本実施形態による信号処理装置１０では、利用者Ｕ１は、動作の強弱のタイミングを認識することができ、第１の時系列データに合わせて、動作の強弱を含めたより適切な動作を行うことができる。すなわち、本実施形態による信号処理装置１０では、利用者Ｕ１が、例えば、演奏データの出力に合わせて、強弱を含めた表現力の豊かな演奏を行うことできる。
　また、本実施形態による信号処理システム１は、データを含む第１の時系列データに基づいて、人の動作タイミングを示すデータを少なくとも含む第２の時系列データを生成し、第１の時系列データと第２の時系列データとを送信する送信装置２０と、信号処理装置１０とを備える。
　これにより、本実施形態による信号処理システム１は、信号処理装置１０と同様の効果を奏し、利用者Ｕ１が目的のタイミングに合わせて適切に動作を行うことができる。
　［第２の実施形態］
　次に、図面を参照して、第２の実施形態による信号処理システム１ａ及び信号処理装置１０ａについて説明する。
　図４は、本実施形態による信号処理システム１ａの一例を示すブロック図である。
　信号処理システム１ａは、複数の信号処理装置１０ａ（１０ａ－１、１０ａ－２、・・・）と、送信装置２０ａとを備える。複数の信号処理装置１０ａと送信装置２０ａとは、ネットワークＮＷ１を介して接続可能である。
　本実施形態では、送信装置２０ａが拍データを複数の信号処理装置１０ａに送信し、複数の信号処理装置１０ａそれぞれが、拍データに基づく、指揮者の映像を出力することで、複数の利用者の間で合奏を行う場合の一例について説明する。
　なお、図４において、図１と同一の構成には同一の符号を付与して、その説明を省略する。また、図４において、信号処理装置１０ａ－１、信号処理装置１０ａ－２、・・・のそれぞれは、同様の構成であり、信号処理システム１ａが備える任意の信号処理装置を示す場合、又は、特に区別しない場合には、信号処理装置１０ａとして説明する。
　送信装置２０ａは、基本的な機能が送信装置２０と同様であるが、信号処理装置１０ａに演奏データを送信しない点が、第１の実施形態と異なる。本実施形態では、送信装置２０ａと信号処理装置１０ａとの間で、演奏データの楽曲が共有されているものとする。
　送信装置２０ａは、ＮＷ通信部２１と、入力部２２と、表示部２３と、記憶部２４と、制御部４０ａとを備える。
　制御部４０ａは、基本的な構成及び機能が制御部４０と同様である。制御部４０ａは、拍データ生成部４１と、送信処理部４２ａを備える。
　送信処理部４２ａは、拍データ送信部４２２を備え、上述した演奏データ送信部４２１を備えない点が、送信処理部４２と異なる。送信処理部４２ａは、予め定められた楽曲を演奏した演奏データに基づいて生成された拍データを、複数の信号処理装置１０ａに送信する。
　信号処理装置１０ａは、基本的な機能が信号処理装置１０ａと同様であるが、送信装置２０ａから演奏データを受信しない点と、複数の信号処理装置１０ａの間で合奏を行うための機能が追加されている点が異なる。
　信号処理装置１０ａは、ＮＷ通信部１１と、入力部１２と、表示部１３と、スピーカ１４と、記憶部１５ａと、マイク１６と、制御部３０とを備える。
　なお、本実施形態において、利用者Ｕ１は、信号処理装置１０ａ－１の利用者であり、利用者Ｕ２は、信号処理装置１０ａ－２の利用者に対応する。
　記憶部１５ａは、拍データ記憶部１５２と、生成用情報記憶部１５３と、映像データ記憶部１５４とを備え、演奏データ記憶部１５１を備えない点が、記憶部１５と異なる。
　マイク１６は、信号処理装置１０ａの周辺の音を収音して、収音した音信号を出力する。マイク１６は、合奏の際に、利用者の演奏を収音した音信号を制御部３０ａに出力する。
　制御部３０ａは、基本的な構成及び機能が制御部３０と同様である。制御部３０ａは、受信処理部３１ａと、映像データ生成部３２と、出力処理部３３ａと、合奏処理部３４とを備える。
　受信処理部３１ａは、拍データ受信部３１２を備え、上述した演奏データ受信部３１１を備えない点が、受信処理部３１と異なる。
　出力処理部３３ａは、演奏のタイミングが視覚的に認識されるように、映像データ生成部３２が生成した指揮者の映像データに基づく映像信号を出力させる。
　合奏処理部３４は、ＮＷ通信部１１及びネットワークＮＷ１を介して、他の装置（例えば、他の信号処理装置１０ａなど）から、演奏音信号を受信し、受信した演奏音信号を、スピーカ１４に出力させる。また、合奏処理部３４は、マイク１６が収音した演奏音信号を、ＮＷ通信部１１及びネットワークＮＷ１を介して、他の装置（例えば、他の信号処理装置１０ａなど）に送信する。
　次に、図５を参照して、本実施形態による信号処理システム１ａの動作について説明する。
　図５では、送信装置２０ａから送信された拍データを利用して、利用者Ｕ１と利用者Ｕ２とで合奏を行う動作の一例について説明する。
　図５において、ステップＳ２０１の処理は、図３に示すステップＳ１０１の処理と同様であるため、ここではその説明を省略する。
　次に、送信装置２０ａは、拍データを各信号処理装置１０ａ（１０ａ－１、１０ａ―２）に送信する（ステップＳ２０２）。拍データ送信部４２２は、拍データを各信号処理装置１０ａに送信する。これにより、信号処理装置１０ａの拍データ受信部３１２は、送信装置２０ａから拍データを受信し、受信した拍データを、拍データ記憶部１５２に記憶させる。
　続く、信号処理装置１０ａ－１によるステップＳ２０３の処理と、信号処理装置１０ａ－２によるステップＳ２０５の処理とは、図３に示すステップＳ１０５の処理と同様であるため、ここではその説明を省略する。
　ステップＳ２０４において、信号処理装置１０ａ－１は、指揮者の映像を出力した、利用者Ｕ１の演奏をマイク１６から収音する。出力処理部３３ａは、例えば、図２の映像Ｍ１のような、映像データ記憶部１５４が記憶する指揮者の映像データに基づく映像信号を、表示部１３から出力させる。また、合奏処理部３４は、マイク１６が収音した利用者Ｕ１の演奏の音信号（演奏音信号）を取得する。
　また、ステップＳ２０６において、信号処理装置１０ａ－２は、指揮者の映像を出力した、利用者Ｕ２の演奏をマイク１６から収音する。出力処理部３３ａは、例えば、図２の映像Ｍ１のような、映像データ記憶部１５４が記憶する指揮者の映像データに基づく映像信号を、表示部１３から出力させる。また、合奏処理部３４は、マイク１６が収音した利用者Ｕ２の演奏音信号を取得する。
　次に、信号処理装置１０ａ－１及び信号処理装置１０ａ－２は、互いの演奏音信号を送信して、合奏処理を実行する（ステップＳ２０７）。信号処理装置１０ａ－１の合奏処理部３４は、利用者Ｕ１の演奏音信号を信号処理装置１０ａ－２に送信し、利用者Ｕ２の演奏音信号を信号処理装置１０ａ－２から受信して、利用者Ｕ１の演奏音信号を信号処理装置１０ａ－１のスピーカ１４に出力させる。また、信号処理装置１０ａ－２の合奏処理部３４は、利用者Ｕ２の演奏音信号を信号処理装置１０ａ－１に送信し、利用者Ｕ１の演奏音信号を信号処理装置１０ａ－１から受信して、利用者Ｕ１の演奏音信号を信号処理装置１０ａ－２のスピーカ１４に出力させる。
　このように、本実施形態による信号処理システム１ａでは、離れた場所にいる複数の利用者の間で合奏を行うことができる。
　以上説明したように、本実施形態による信号処理装置１０ａは、受信処理部３１ａ（受信部）と、映像データ生成部３２（生成部）と、出力処理部３３ａ（処理部）とを備える。受信処理部３１ａは、予め定められた楽曲を演奏した演奏データ（第１の時系列データ）に基づいて生成された、演奏のタイミングを示すデータを少なくとも含む第２の時系列データ（例えば、拍データ）を受信する。映像データ生成部３２は、受信処理部３１ａが受信した第２の時系列データ（例えば、拍データ）に基づいて、演奏のタイミングを視覚的に認識可能にする第３の時系列データ（例えば、指揮者の映像データ）を生成する。出力処理部３３ａは、演奏のタイミングが視覚的に認識されるように、第３の時系列データ（例えば、指揮者の映像データ）に基づく出力信号（例えば、映像信号）を出力させる。
　これにより、本実施形態による信号処理装置１０ａ及び信号処理システム１ａは、利用者が目的のタイミングに合わせて適切に演奏を行うことができる。また、送信装置２０ａが、複数の信号処理装置１０ａに拍データを送信することで、本実施形態による信号処理装置１０ａ及び信号処理システム１ａは、例えば、離れた場所にいる複数の利用者間で、直接会わずに、演奏のタイミングを合わせることができ、合奏を行うことができる。
　なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
　第２の時系列データは、拍データとして説明したが、これに限定されない。第２の時系列データは、位置の基準情報を示すデータであってもよい。位置の基準情報としては、拍点の時刻（事前予告含む）拍点データ、小節境界の時刻、小節番号、拍子、リハーサルマーク、楽章番号及び楽章名称などがあげられる。また、位置の基準情報に加えて他の情報を示すデータであってもよい。他の情報としては、標準テンポ、速度記号、速度変化記号、強弱、強弱変化、発想記号、アーティキュレーション、指揮者表情、指揮者身振り情報、指揮者セリフ、パートごとフレーズ開始、パートごとフレーズ終了、ソロパートの開始、ソロパートの終了及び終了合図などがあげられる。
　また、第３の時系列データは、映像データに加えて音データを含んでもよい。音データの例としては、指揮者の映像に同期するメトロノームの音があげられる。この場合、映像データは、指揮者の映像に代えてメトロノームの映像としてもよいし、指揮者の映像に加えてメトロノームの映像を示してもよい。
　例えば、上記の各実施形態において、信号処理システム１（１ａ）を楽器の演奏に利用する例を説明したが、これに限定されるものではなく、利用者が行う動作は、楽器の演奏の他に、ダンスや体操、ＢＧＭに合わせた詩の朗読、放送劇などに適用してもよい。
　また、上記の各実施形態において、第３の時系列データとして、指揮者の映像データを用いる例を適用したが、これに限定されるものではなく、例えば、第１の時系列データが体操やダンスの映像データである場合には、第３の時系列データは、ダンスや体操の開始タイミングを示す合図やセリフの音データ（例えば、「大きく！」「ゆっくりと！」などの掛声や合図）や、インストラクタの映像データ（例えば、表情、身振りが分かる映像）などであってもよい。
　また、上記の第１の実施形態において、第２の実施形態と同様に、拍データを複数の信号処理装置１０に送信して、合奏などを行うようにしてもよい。またこの場合、信号処理装置１０は、上述した合奏処理部３４を備えるようにしてもよい。
　また、上記の第１の実施形態において、信号処理装置１０は、第３の時系列データに基づく出力信号を第１の時系列データに基づく出力信号に同期させて出力する際に、所定のずらし幅を設定できるようにしてもよい。また、信号処理装置１０は、同期した出力を変速、一時停止などを行えるようにしてもよい。
　また、上記の各実施形態において、信号処理装置１０（１０ａ）は、指揮者の映像において、主パートが変更されるようにしてもよい。また、この場合、主パートは、低音楽器やリズム楽器であってもよい。
　なお、上述の信号処理システム１（１ａ）が備える各構成は内部に、コンピュータシステムを有している。そして、上述した信号処理システム１（１ａ）が備える各構成の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
　１，１ａ…信号処理システム、１０，１０ａ，１０ａ－１，１０ａ－２…信号処理装置、１１，２１…ＮＷ通信部、１２，２２…入力部、１３，２３…表示部、１４…スピーカ、１５，１５ａ，２４…記憶部、１６…マイク、３０，３０ａ，４０，４０ａ…制御部、３１，３１ａ…受信処理部、３２…映像データ生成部、３３，３３ａ…出力処理部、３４…合奏処理部、４１…拍データ生成部、４２，４２ａ…送信処理部、１５１，２４１…演奏データ記憶部、１５２，２４２…拍データ記憶部、１５３…生成用情報記憶部、１５４…映像データ記憶部、３１１…演奏データ受信部、３１２…拍データ受信部、４２１…演奏データ送信部、４２２…拍データ送信部、ＮＷ１…ネットワーク、Ｕ１，Ｕ２…利用者

Claims (9)

  1. 　音データを含む第１の時系列データと、前記第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信する受信部と、
    　前記第２の時系列データに基づいて、前記動作タイミングを知らせる第３の時系列データを生成する生成部と、
    　前記第１の時系列データにおける前記動作タイミングと、前記第３の時系列データで知らされる前記動作タイミングとが一致するように、前記第１の時系列データに基づく出力信号と、前記第３の時系列データに基づく出力信号とを同期させて出力する処理部と
    　を備える信号処理装置。
  2. 　前記第１の時系列データは、演奏データであり、
    　前記動作タイミングには、動作開始タイミングが含まれ、
    　前記第２の時系列データは、前記動作開始タイミングを少なくとも含む拍を示す拍データであり、
    　前記生成部は、前記拍データに基づいて、映像データを、前記第３の時系列データとして生成し、
    　前記処理部は、前記映像データに基づく映像信号を、前記演奏データに基づく出力信号に同期させて出力する
    　請求項１に記載の信号処理装置。
  3. 　前記映像データは、指揮者の映像データである
    　請求項２に記載の信号処理装置。
  4. 　前記生成部は、機械学習により、前記拍データに基づいて、前記指揮者の映像データを生成する
    　請求項３に記載の信号処理装置。
  5. 　前記受信部は、前記第１の時系列データよりデータ量が小さい前記第２の時系列データを受信し、前記生成部は、前記第２の時系列データをデコードして、前記第３の時系列データを生成する
    　請求項１から請求項４のいずれか一項に記載の信号処理装置。
  6. 　前記第２の時系列データには、動作の拍を示す拍点データと、前記動作の強弱を示すデータとが含まれ、
    　前記生成部は、前記動作の強弱を指示するデータを含む前記第３の時系列データを生成する
    　請求項１から請求項５のいずれか一項に記載の信号処理装置。
  7. 　予め定められた楽曲を演奏した第１の時系列データに基づいて生成された、前記演奏のタイミングを示すデータを少なくとも含む第２の時系列データを受信する受信部と、
    　前記受信部が受信した前記第２の時系列データに基づいて、前記演奏のタイミングを視覚的に認識可能にする第３の時系列データを生成する生成部と、
    　前記演奏のタイミングが視覚的に認識されるように、前記第３の時系列データに基づく出力信号を出力させる処理部と
    　を備える信号処理装置。
  8. 　音データを含む第１の時系列データに基づいて、人の動作タイミングを示すデータを少なくとも含む第２の時系列データを生成し、前記第１の時系列データと前記第２の時系列データとを送信する送信装置と、信号処理装置とを備え、
    　前記信号処理装置は、
    　前記送信装置から、前記第１の時系列データと、前記第２の時系列データとを受信する受信部と、
    　前記第２の時系列データに基づいて、前記動作タイミングを知らせる第３の時系列データを生成する生成部と、
    　前記第１の時系列データにおける前記動作タイミングと、前記第３の時系列データで知らされる前記動作タイミングとが一致するように、前記第１の時系列データに基づく出力信号と、前記第３の時系列データに基づく出力信号とを同期させて出力する処理部と
    　を備える、信号処理システム。
  9. 　受信部が、音データを含む第１の時系列データと、前記第１の時系列データに基づいて生成され、人の動作タイミングを示すデータを少なくとも含む第２の時系列データとを受信し、
    　生成部が、前記第２の時系列データに基づいて、前記動作タイミングを知らせる第３の時系列データを生成し、
    　処理部が、前記第１の時系列データにおける前記動作タイミングと、前記第３の時系列データで知らされる前記動作タイミングとが一致するように、前記第１の時系列データに基づく出力信号と、前記第３の時系列データに基づく出力信号とを同期させて出力する
    　信号処理方法。
PCT/JP2020/041883 2020-11-10 2020-11-10 信号処理装置、信号処理システム、及び信号処理方法 Ceased WO2022101968A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2020/041883 WO2022101968A1 (ja) 2020-11-10 2020-11-10 信号処理装置、信号処理システム、及び信号処理方法
JP2022561714A JP7544141B2 (ja) 2020-11-10 2020-11-10 信号処理装置、信号処理システム、及び信号処理方法
CN202080105789.0A CN116235243B (zh) 2020-11-10 2020-11-10 信号处理装置、信号处理系统以及信号处理方法
US18/311,822 US12462778B2 (en) 2020-11-10 2023-05-03 Signal processing device, signal processing system, and signal processing method
JP2024140863A JP7845424B2 (ja) 2020-11-10 2024-08-22 信号処理装置、信号処理システム、及び信号処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041883 WO2022101968A1 (ja) 2020-11-10 2020-11-10 信号処理装置、信号処理システム、及び信号処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/311,822 Continuation US12462778B2 (en) 2020-11-10 2023-05-03 Signal processing device, signal processing system, and signal processing method

Publications (1)

Publication Number Publication Date
WO2022101968A1 true WO2022101968A1 (ja) 2022-05-19

Family

ID=81600913

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041883 Ceased WO2022101968A1 (ja) 2020-11-10 2020-11-10 信号処理装置、信号処理システム、及び信号処理方法

Country Status (4)

Country Link
US (1) US12462778B2 (ja)
JP (2) JP7544141B2 (ja)
CN (1) CN116235243B (ja)
WO (1) WO2022101968A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116235243B (zh) * 2020-11-10 2025-05-13 雅马哈株式会社 信号处理装置、信号处理系统以及信号处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110476A (ja) * 1992-09-25 1994-04-22 Yamaha Corp カラオケ装置
JP2001175257A (ja) * 1999-12-15 2001-06-29 Kawai Musical Instr Mfg Co Ltd 電子楽器及び記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
JP2001134273A (ja) 1999-11-05 2001-05-18 Matsushita Electric Ind Co Ltd カラオケ装置
JP2004145221A (ja) 2002-10-28 2004-05-20 T Tone:Kk 電子楽譜表示システム及び音楽教育支援システム
JP4314964B2 (ja) 2003-10-24 2009-08-19 ヤマハ株式会社 合奏システム
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法
JP2008089849A (ja) 2006-09-29 2008-04-17 Yamaha Corp リモート演奏システム
JP2008134295A (ja) 2006-11-27 2008-06-12 Megachips Lsi Solutions Inc 合奏システム
US20090183623A1 (en) 2008-01-17 2009-07-23 Daniel Mueller Band manager
JP4407757B2 (ja) * 2008-02-12 2010-02-03 ヤマハ株式会社 演奏処理装置
RU2544749C1 (ru) * 2011-01-07 2015-03-20 Ямаха Корпорейшн Устройство автоматического музыкального исполнения
JP6736934B2 (ja) 2016-03-24 2020-08-05 ヤマハ株式会社 楽曲再生装置及びプログラム
JP6729539B2 (ja) * 2017-11-29 2020-07-22 ヤマハ株式会社 音声合成方法、音声合成システムおよびプログラム
JP6733644B2 (ja) * 2017-11-29 2020-08-05 ヤマハ株式会社 音声合成方法、音声合成システムおよびプログラム
CN116235243B (zh) * 2020-11-10 2025-05-13 雅马哈株式会社 信号处理装置、信号处理系统以及信号处理方法
JP7726105B2 (ja) * 2022-03-25 2025-08-20 ヤマハ株式会社 データ出力方法、プログラム、データ出力装置および電子楽器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110476A (ja) * 1992-09-25 1994-04-22 Yamaha Corp カラオケ装置
JP2001175257A (ja) * 1999-12-15 2001-06-29 Kawai Musical Instr Mfg Co Ltd 電子楽器及び記憶媒体

Also Published As

Publication number Publication date
CN116235243A (zh) 2023-06-06
JP7544141B2 (ja) 2024-09-03
JP7845424B2 (ja) 2026-04-14
JPWO2022101968A1 (ja) 2022-05-19
CN116235243B (zh) 2025-05-13
JP2024152933A (ja) 2024-10-25
US12462778B2 (en) 2025-11-04
US20230274722A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
JP6344578B2 (ja) 電子楽器を演奏する方法
US11557269B2 (en) Information processing method
JP6457326B2 (ja) 歌唱音声の伝送遅延に対応したカラオケシステム
JP7845424B2 (ja) 信号処理装置、信号処理システム、及び信号処理方法
KR20010016009A (ko) 디지털 음악 파일을 악기별로 연주가 가능한 연주용파일로 변환하는 방법 및 그를 이용한 음악 연주시스템
JPH11296168A (ja) 演奏情報評価装置、演奏情報評価方法及び記録媒体
JP2016031394A (ja) リファレンス表示装置およびプログラム
WO2023003817A1 (en) Gesture-enabled interfaces, systems, methods, and applications for generating digital music compositions
KR102087491B1 (ko) 반주기와 연결되는 악보영상출력장치 및 이를 이용한 악보영상출력방법
CN115774539B (zh) 和声处理方法、装置、设备及介质
JP2007093820A (ja) 合奏システム
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
JP2015138160A (ja) キャラクタ演奏画像生成装置、キャラクタ演奏画像生成方法、キャラクタ演奏システム及びキャラクタ演奏方法
JP6073618B2 (ja) カラオケ装置
JP5847048B2 (ja) ピアノロール型譜表示装置、ピアノロール型譜表示プログラム、及びピアノロール型譜表示方法
JP2018063315A (ja) 演奏システムおよび自動演奏方法
JP2006201654A (ja) 伴奏追従システム
JP2002366142A (ja) 演奏支援装置
JP5173725B2 (ja) 電子楽器及び楽譜情報処理プログラム
JP2013068899A (ja) 楽音再生装置及び情報処理装置、並びにプログラム
KR101694365B1 (ko) 피아노 연주 보조 방법 및 이를 실행하는 피아노 연주 보조 장치
Ignoto Development and implementation of a vibrotactile click track to assist contemporary music conducting
JP2024148186A (ja) 表示方法、電子絵本システム及び情報処理装置
Angell Combining Acoustic Percussion Performance with Gesture Control Electronics
JP5747974B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20961496

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022561714

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20961496

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202080105789.0

Country of ref document: CN