WO2018070286A1 - 演奏制御方法および演奏制御装置 - Google Patents

演奏制御方法および演奏制御装置 Download PDF

Info

Publication number
WO2018070286A1
WO2018070286A1 PCT/JP2017/035824 JP2017035824W WO2018070286A1 WO 2018070286 A1 WO2018070286 A1 WO 2018070286A1 JP 2017035824 W JP2017035824 W JP 2017035824W WO 2018070286 A1 WO2018070286 A1 WO 2018070286A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
music
data
control
automatic
Prior art date
Application number
PCT/JP2017/035824
Other languages
English (en)
French (fr)
Inventor
陽 前澤
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to CN201780062383.7A priority Critical patent/CN109804427B/zh
Publication of WO2018070286A1 publication Critical patent/WO2018070286A1/ja
Priority to US16/376,714 priority patent/US10720132B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Definitions

  • the present invention relates to a technique for controlling automatic performance.
  • an object of the present invention is to solve various problems assumed when an automatic performance is synchronized with an actual performance.
  • a computer estimates the performance position of the music piece by analyzing the performance of the music piece by the performer, and the performance contents of the music piece Automatic performance according to the performance data designating the performance position is executed by the performance device in synchronization with the progress of the performance position, and the progress of the performance position and the automatic performance according to the control data independent of the performance data. Control the relationship.
  • the performance control device includes a performance analysis unit that estimates a performance position of the music by analyzing the performance of the music performed by the performer, and performance data that specifies the performance content of the music.
  • a performance control unit that causes the performance device to execute a corresponding automatic performance in synchronization with the progress of the performance position, and the performance control unit is configured to control the performance position according to control data independent of the performance data. Control the relationship between progress and the automatic performance.
  • FIG. 1 is a configuration diagram of an automatic performance system according to a first embodiment of the present invention. It is a schematic diagram of a music file. It is a schematic diagram of a performance image. It is a flowchart of the operation
  • FIG. 1 is a configuration diagram of an automatic performance system 100 according to the first embodiment of the present invention.
  • the automatic performance system 100 is a computer system that is installed in a space such as an acoustic hall where a plurality of performers P play musical instruments, and performs automatic performance of music in parallel with performance of music performed by the plurality of performers P.
  • the performer P is typically a musical instrument player, but a song singer can also be the performer P.
  • a related person who is not actually in charge of playing a musical instrument for example, a conductor or a sound director who leads the performance of music
  • FIG. 1 is a configuration diagram of an automatic performance system 100 according to the first embodiment of the present invention.
  • the automatic performance system 100 is a computer system that is installed in a space such as an acoustic hall where a plurality of performers P play musical instruments, and performs automatic performance of music in parallel with performance of music performed by the plurality of performers P.
  • the performer P is typically a musical instrument player, but a
  • the automatic performance system 100 includes a performance control device 10, a performance device 12, a sound collection device 14, and a display device 16.
  • the performance control apparatus 10 is a computer system that controls each element of the automatic performance system 100, and is realized by an information processing apparatus such as a personal computer.
  • the performance device 12 performs automatic performance of music under the control of the performance control device 10.
  • the performance device 12 according to the first embodiment performs automatic performance on parts other than the part played by the plurality of performers P among the plurality of parts constituting the music. For example, the main melody part of a music piece is played by a plurality of players P, and the performance device 12 executes automatic performance of the music accompaniment part.
  • the performance device 12 of the first embodiment is an automatic performance instrument (for example, an automatic performance piano) that includes a drive mechanism 122 and a sound generation mechanism 124.
  • the sound generation mechanism 124 includes, for each key, a string striking mechanism that generates a string (sounding body) in conjunction with the displacement of each key on the keyboard, in the same way as a natural keyboard instrument.
  • the string striking mechanism corresponding to any one key includes a hammer capable of striking a string and a plurality of transmission members (for example, Wipen, jack, and repetition lever) that transmit the displacement of the key to the hammer.
  • the drive mechanism 122 performs automatic performance of music by driving the sound generation mechanism 124.
  • the drive mechanism 122 includes a plurality of drive bodies (for example, actuators such as solenoids) that displace each key, and a drive circuit that drives each drive body.
  • the drive mechanism 122 drives the sound generation mechanism 124 in accordance with an instruction from the performance control apparatus 10, thereby realizing automatic performance of music.
  • the performance control device 10 may be mounted on the performance device 12.
  • the performance control device 10 is realized by a computer system including a control device 22 and a storage device 24.
  • the control device 22 is a processing circuit such as a CPU (Central Processing Unit), for example, and comprehensively controls a plurality of elements (the performance device 12, the sound collection device 14, and the display device 16) constituting the automatic performance system 100.
  • the storage device 24 is configured by a known recording medium such as a magnetic recording medium or a semiconductor recording medium, or a combination of a plurality of types of recording media, and a program executed by the control device 22 and various data used by the control device 22. And remember.
  • a storage device 24 (for example, a cloud storage) separate from the automatic performance system 100 is prepared, and the control device 22 executes writing and reading with respect to the storage device 24 via a communication network such as a mobile communication network or the Internet. May be. That is, the storage device 24 may be omitted from the automatic performance system 100.
  • the storage device 24 of this embodiment stores a music file F of music.
  • the music file F is, for example, a file (SMF: Standard MIDI File) conforming to the MIDI (Musical Instrument Digital Interface) standard.
  • SMF Standard MIDI File
  • the music file F of the first embodiment is a single file including reference data R, performance data D, and control data C.
  • the reference data R designates the performance content of a music piece by a plurality of performers P (for example, a musical note string constituting the main melody part of the music piece).
  • the reference data R is MIDI time-series data in which instruction data for specifying performance contents (sounding / mute) and time data for specifying the processing time of the instruction data are arranged in time series. is there.
  • the performance data D designates the performance content of the automatic performance by the performance device 12 (for example, a musical note string constituting the accompaniment part of the music).
  • the performance data D is time-series data in MIDI format in which instruction data for specifying the performance contents and time data for specifying the processing time of the instruction data are arranged in time series.
  • the instruction data in each of the reference data R and the performance data D designates various events such as sound generation or mute by designating the pitch and intensity. Further, the time data in each of the reference data R and the performance data D indicates, for example, the interval between the instruction data that follow each other.
  • the performance data D of the first embodiment also specifies the tempo (performance speed) of the music.
  • the control data C is data for controlling the automatic performance of the performance device 12 according to the performance data D.
  • the control data C constitutes one music file F together with the reference data R and the performance data D, but is independent from the reference data R and the performance data D.
  • the control data C can be edited separately from the reference data R and the performance data D. That is, the control data C can be edited independently without affecting the contents of the reference data R and the performance data D.
  • the reference data R, performance data D, and control data C are data of different MIDI channels in one music file F.
  • the control data C is a separate file from the reference data R and performance data D. In comparison, the control data C can be easily handled. The specific contents of the control data C will be described later.
  • the sound collection device 14 in FIG. 1 generates an acoustic signal A that picks up sounds (for example, instrument sounds or singing sounds) that are generated by playing a musical instrument by a plurality of performers P.
  • the acoustic signal A is a signal representing a sound waveform.
  • an acoustic signal A output from an electric musical instrument such as an electric stringed musical instrument may be used. Therefore, the sound collection device 14 can be omitted.
  • the acoustic signal A may be generated by adding signals generated by the plurality of sound collection devices 14.
  • the display device 16 displays various images under the control of the performance control device 10 (control device 22).
  • a liquid crystal display panel or a projector is a suitable example of the display device 16.
  • a plurality of performers P can view the image displayed on the display device 16 at any time in parallel with the performance of the music.
  • the control device 22 executes a program stored in the storage device 24, thereby realizing a plurality of functions (performance analysis unit 32, performance control unit 34, and display control unit 36) for realizing automatic performance of music.
  • a configuration in which the function of the control device 22 is realized by a set (that is, a system) of a plurality of devices, or a configuration in which a dedicated electronic circuit realizes part or all of the function of the control device 22 may be employed.
  • a server device located at a position separated from a space such as an acoustic hall in which the sound collection device 14, the performance device 12, and the display device 16 are installed may realize part or all of the functions of the control device 22. .
  • the performance analysis unit 32 estimates a position T (hereinafter referred to as “performance position”) where a plurality of performers P are actually performing in the music. Specifically, the performance analysis unit 32 estimates the performance position T by analyzing the acoustic signal A generated by the sound collection device 14. The estimation of the performance position T by the performance analysis unit 32 is sequentially performed in real time in parallel with the performance (actual performance) by a plurality of players P. For example, the estimation of the performance position T is repeated at a predetermined cycle.
  • the performance analysis unit 32 of the first embodiment mutually exchanges the sound represented by the acoustic signal A and the performance content indicated by the reference data R in the music file F (that is, the performance content of the part of the main melody handled by a plurality of performers P). Is used to estimate the performance position T.
  • a known acoustic analysis technique can be arbitrarily employed.
  • the analysis technique disclosed in Patent Document 1 can be used to estimate the performance position T.
  • an identification model such as a neural network or a multi-way tree may be used for estimating the performance position T.
  • machine learning for example, deep learning
  • the performance analysis unit 32 estimates the performance position T by applying the feature quantity extracted from the acoustic signal A to the identification model after machine learning in the scene where the automatic performance is actually executed.
  • the performance control unit 34 in FIG. 1 causes the performance device 12 to execute an automatic performance according to the performance data D in the music file F.
  • the performance control unit 34 of the first embodiment causes the performance device 12 to perform automatic performance so as to synchronize with the progress (movement on the time axis) of the performance position T estimated by the performance analysis unit 32.
  • the performance control unit 34 instructs the performance device 12 about the performance content specified by the performance data D at the time corresponding to the performance position T in the music. That is, the performance control unit 34 functions as a sequencer that sequentially supplies each instruction data included in the performance data D to the performance device 12.
  • the performance device 12 performs automatic performance of music in response to an instruction from the performance control unit 34.
  • the performance position T moves backward in the music with time, so the automatic performance of the music by the performance device 12 also proceeds with the movement of the performance position T. That is, an automatic performance of music by the performance device 12 is executed at a tempo equivalent to the actual performance.
  • the automatic performance is synchronized with the actual performance while maintaining the music expression such as the intensity of each note of the music or the phrase expression in the contents specified by the performance data D (that is, following in time).
  • the performance control unit 34 instructs the performance device 12 to perform automatic performance.
  • the performance data D representing the performance of a specific performer such as a past performer who is not alive at present
  • the music expression peculiar to the performer is faithfully reproduced by automatic performance, It is possible to foster an atmosphere as if the performer and a plurality of actual performers P are performing together in concert by breathing together.
  • the performance control unit 34 outputs an instruction data in the performance data D to instruct the performance device 12 to perform an automatic performance until the performance device 12 actually produces a sound (for example, a hammer of the sound generation mechanism 124 hits a string). In actuality, it takes about several hundred milliseconds. That is, the actual pronunciation by the performance device 12 can be delayed with respect to the instruction from the performance control unit 34. Therefore, the performance control unit 34 may instruct the performance device 12 to perform at a later (future) time with respect to the performance position T estimated by the performance analysis unit 32 in the music.
  • the display control unit 36 causes the display device 16 to display an image (hereinafter referred to as “performance image”) that visually represents the progress of the automatic performance by the performance device 12.
  • the display control unit 36 causes the display device 16 to display the performance image by generating image data representing the performance image and outputting the image data to the display device 16.
  • the display control unit 36 of the first embodiment causes the display device 16 to display a moving image that dynamically changes in conjunction with the automatic performance by the performance device 12 as a performance image.
  • FIG. 3 is a display example of the performance image G.
  • the performance image G is a moving image representing a virtual player (hereinafter referred to as “virtual player”) H who plays an instrument in a virtual space, for example.
  • the display control unit 36 automatically performs a key press or key release by the virtual player H at the time of a sound generation or mute instruction (output of instruction data for instructing sound generation) to the performance apparatus 12.
  • the performance image G is changed over time. Therefore, each player P who visually recognizes the performance image G displayed on the display device 16 can visually grasp the point in time when the performance device 12 pronounces each note of the music from the operation of the virtual player H. .
  • FIG. 4 is a flowchart illustrating the operation of the control device 22.
  • the processing of FIG. 4 is executed in parallel with the actual performance of the music by a plurality of performers P, triggered by an interrupt generated at a predetermined cycle.
  • the control device 22 (performance analysis unit 32) estimates the performance position T by analyzing the acoustic signal A supplied from the sound collection device 14 (SA1).
  • the control device 22 (performance control unit 34) instructs the performance device 12 to perform automatic performance according to the performance position T (SA2).
  • the control device 22 causes the performance device 12 to perform automatic performance of music so as to synchronize with the progress of the performance position T estimated by the performance analysis unit 32.
  • the control device 22 display control unit 36) displays the performance image G representing the progress of the automatic performance on the display device 16, and changes the performance image G with the progress of the automatic performance.
  • the automatic performance by the performance device 12 is executed so as to be synchronized with the progress of the performance position T, while the performance image G representing the progress of the automatic performance by the performance device 12 is displayed on the display device. 16 is displayed. Therefore, each player P can visually check the progress of the automatic performance by the performance device 12 and reflect it in his performance. According to the above configuration, a natural ensemble in which an actual performance by a plurality of players P and an automatic performance by the performance device 12 interact with each other is realized. That is, each player P can perform as if the virtual player H and the nephew are also actually performing.
  • the performance image G that dynamically changes according to the performance content of the automatic performance is displayed on the display device 16, a plurality of performers P visually and intuitively monitor the progress of the automatic performance. There is an advantage of being able to grasp.
  • the control data C included in the music file F will be described in detail below.
  • the performance control unit 34 schematically controls the relationship between the progress of the performance position T and the automatic performance by the performance device 12 according to the control data C in the music file F.
  • the control data C is data that designates a part to be controlled (hereinafter referred to as “control target part”) of the music.
  • control target part designates a part to be controlled (hereinafter referred to as “control target part”) of the music.
  • control target part designates a part to be controlled (hereinafter referred to as “control target part”) of the music.
  • one arbitrary control target part is designated by the time of the start point and the duration (or the time of the end point) of the part starting from the music start point.
  • One or more parts to be controlled are specified by the control data C in the music.
  • FIG. 5 is an explanatory diagram of a screen (hereinafter referred to as “edit screen”) displayed on the display device 16 when the editor of the music file F edits the music file F.
  • the editing screen includes a region X1, a region X2, and a region X3.
  • a time axis (horizontal axis) and a pitch axis (vertical axis) are set.
  • the note string of the part of the main melody indicated by the reference data R is displayed in the area X1
  • the note string of the accompaniment part indicated by the performance data D is displayed in the area X2.
  • the editor can instruct to edit the reference data R by operating the area X1, and can instruct to edit the performance data D by operating the area X2.
  • a time axis (horizontal axis) common to the regions X1 and X2 is set in the region X3.
  • the editor can specify any one or more sections of the music piece as the control target portion Q by operating the area X3.
  • the control data C designates the control target portion Q designated in the area X3.
  • Each of the reference data R in the area X1, the performance data D in the area X2, and the control data C in the area X3 can be edited independently of each other. That is, the control data C can be changed without changing the reference data R and the performance data D.
  • FIG. 6 is a flowchart of processing in which the control device 22 uses the control data C.
  • the processing of FIG. 6 is executed in parallel with the automatic performance by the processing of FIG. 4 triggered by an interrupt that occurs at a predetermined cycle after the start of the automatic performance.
  • the control device 22 (performance controller 34) determines whether or not the control target portion Q has arrived (SB1).
  • the control device 22 executes processing according to the control data C (SB2).
  • the control target portion Q has not arrived (SB1: NO)
  • the process according to the control data C is not executed.
  • the music file F of the first embodiment includes control data C1 for controlling the tempo of automatic performance by the performance device 12 as control data C.
  • the control data C1 is data for instructing initialization of the tempo of automatic performance in the control target portion Q in the music.
  • the performance control unit 34 of the first embodiment has a predetermined tempo specified by the performance data D for the automatic performance tempo by the performance device 12 in the control target portion Q specified by the control data C1 of the music. Initialized to a value and maintained at the predetermined value in the control target portion Q (SB2). On the other hand, in the section other than the control target portion Q, the performance control unit 34 advances the automatic performance at the same tempo as the actual performance by the plurality of players P as described above.
  • automatic performance that has progressed at a variable tempo equivalent to the actual performance before the start of the control target portion Q of the music is triggered by the arrival of the control target portion Q. It is initialized to the standard tempo specified by D.
  • the control target portion Q elapses, the control of the automatic performance tempo according to the performance position T of the actual performance is resumed, and the automatic performance tempo is set to a variable tempo equivalent to the actual performance.
  • the control data C1 is generated in advance so that, for example, a portion where the tempo of actual performance by a plurality of performers P is likely to change is included in the control target portion Q in the music. Therefore, the possibility that the automatic performance tempo changes unnaturally in conjunction with the tempo of the actual performance is reduced, and automatic performance with an appropriate tempo can be realized.
  • Second Embodiment A second embodiment of the present invention will be described.
  • symbol used by description of 1st Embodiment is diverted, and each detailed description is abbreviate
  • the music file F of the second embodiment includes control data C2 for controlling the tempo of automatic performance by the performance device 12 as control data C.
  • the control data C2 is data for instructing to keep the tempo of automatic performance in the control target portion Q in the music.
  • the performance control unit 34 of the second embodiment sets the tempo of automatic performance by the performance device 12 in the control target portion Q specified by the control data C2 of the music, and starts the control target portion Q.
  • the tempo of the previous automatic performance is maintained (SB2). That is, in the control target portion Q, as in the first embodiment, even if the actual performance tempo changes, the automatic performance tempo does not change.
  • the performance control unit 34 advances automatic performance at a tempo equivalent to an actual performance by a plurality of performers P, as in the first embodiment.
  • the automatic performance that has progressed at a variable tempo equivalent to the actual performance before the start of the control target portion Q of the music is triggered by the arrival of the control target portion Q.
  • the tempo immediately before the target portion Q is fixed.
  • the control target portion Q elapses, the control of the automatic performance tempo according to the performance position T of the actual performance is resumed, and the automatic performance tempo is set to the same tempo as the actual performance.
  • the control data C2 is generated in advance so that, for example, the portion to be maintained at a constant tempo of the automatic performance is included in the control target portion Q although the tempo of the actual performance can be changed for musical expression. The Therefore, even if the tempo of the actual performance changes in the music, it is possible to realize the automatic performance with an appropriate tempo in the portion where the tempo of the automatic performance should be maintained.
  • the performance control unit 34 of the first embodiment and the second embodiment performs an automatic performance in the control target portion Q specified by the control data C (C1 or C2) of the music.
  • the control synchronized with the progress of the position T is canceled.
  • the music file F of the third embodiment includes control data C3 for controlling the relationship between the progress of the performance position T and the automatic performance as control data C.
  • the control data C3 is data for instructing the degree to which the progress of the performance position T is reflected in the automatic performance in the control target portion Q in the music (hereinafter referred to as “performance reflection degree”).
  • performance reflection degree data for instructing the degree to which the progress of the performance position T is reflected in the automatic performance in the control target portion Q in the music (hereinafter referred to as “performance reflection degree”).
  • performance reflection degree designates the control target part Q in the music and the temporal change in the performance reflection degree in the control target part Q. It is possible to designate a temporal change in performance reflection degree for each of a plurality of control target portions Q in the music by using the control data C3.
  • the performance control unit 34 of the third embodiment controls the performance reflection degree related to the automatic performance by the performance device 12 in the control target portion Q in the music according to the control data C3. That is, the performance control unit 34 controls the timing of outputting instruction data according to the progress of the performance position T so that the performance reflection degree changes to a numerical value corresponding to the instruction by the control data C3. On the other hand, in the section other than the control target portion Q, the performance control unit 34 controls the automatic performance by the performance device 12 according to the performance position T so that the performance reflection degree related to the automatic performance is maintained at a predetermined value.
  • the performance reflection degree in the control target portion Q of the music is controlled according to the control data C3. Therefore, it is possible to realize a variety of automatic performances in which the degree to which the automatic performance follows the actual performance is changed at a specific part in the music.
  • FIG. 7 is a configuration diagram of an automatic performance system 100 according to the fourth embodiment.
  • the automatic performance system 100 of the fourth embodiment includes an imaging device 18 in addition to the same elements (performance control device 10, performance device 12, sound collection device 14, and display device 16) as in the first embodiment.
  • the imaging device 18 generates an image signal V obtained by imaging a plurality of performers P.
  • the image signal V is a signal representing a moving image in which a plurality of performers P perform.
  • a plurality of imaging devices 18 may be installed.
  • control device 22 of the performance control device 10 executes the program stored in the storage device 24, thereby performing the same elements (performance analysis unit 32 as in the first embodiment).
  • performance analysis unit 32 as in the first embodiment.
  • the control device 22 of the performance control device 10 executes the program stored in the storage device 24, thereby performing the same elements (performance analysis unit 32 as in the first embodiment).
  • performance control unit 34 and the display control unit 36 In addition to the performance control unit 34 and the display control unit 36), it also functions as a cue detection unit 38.
  • a specific player P who leads the performance of the music (hereinafter referred to as “specific player P”) among the plurality of performers P performs an operation (hereinafter referred to as “cue operation”) that is a cue of the performance of the music.
  • the cue operation is an operation (gesture) for instructing one time point on the time axis (hereinafter referred to as “target time point”).
  • target time point is, for example, the start point of the performance of the music or the time when the performance is resumed from a rest for a long time in the music.
  • the specific player P performs a cue operation at a time point that is a predetermined time (hereinafter referred to as “cue interval”) before the target time point.
  • the cue interval is, for example, the time length for one beat of the music.
  • the cue operation is an operation for notifying that the target time point has arrived due to the elapse of the cue interval, and is used as an opportunity for performance by each player P other than the specific player P, and as an opportunity for automatic performance by the performance device 12. Is done.
  • the detection of the cue motion by the cue detection unit 38 includes an image recognition process for extracting an element (for example, a body or a musical instrument) that the specific player P moves when executing the cue operation from the image, and a moving object detection for detecting the movement of the element.
  • image analysis techniques including processing can be used.
  • an identification model such as a neural network or a multi-way tree may be used for detecting a cueing operation.
  • machine learning for example, deep learning
  • machine learning of an identification model is performed in advance using feature amounts extracted from an image signal obtained by imaging a performance by a specific player P as learning data.
  • the cue detection unit 38 detects a cue operation by applying a feature amount extracted from the image signal V to a discrimination model after machine learning in a scene where an automatic performance is actually executed.
  • the performance control unit 34 instructs the performance device 12 to start the automatic performance of music with the cue operation detected by the cue detection unit 38 as a trigger. Specifically, the performance control unit 34 instructs the performance device 12 to perform automatic performance (that is, instruction data) so that automatic performance of the music by the performance device 12 is started at a target time point after a signal interval from the time of the signal operation. Output). Therefore, at the target time point, the actual performance of the music by the plurality of players P and the actual performance by the performance device 12 are started substantially simultaneously.
  • automatic performance that is, instruction data
  • the music file F of the fourth embodiment includes, as control data C, control data C4 for controlling automatic performance by the performance device 12 in accordance with the cue operation detected by the cue detection unit 38.
  • the control data C4 is data for instructing control of automatic performance using a cue operation.
  • the performance control unit 34 of the fourth embodiment synchronizes the automatic performance of the performance device 12 with the cue operation detected by the cue detection unit 38 in the control target portion Q specified by the control data C4 in the music.
  • the performance control unit 34 stops the automatic performance control according to the cue operation detected by the cue detection unit 38. Therefore, in a section other than the control target portion Q, the cue operation by the specific player P is not reflected in the automatic performance. That is, the control data C4 is data for instructing whether or not to control the automatic performance according to the cue operation.
  • the automatic performance is synchronized with the cue operation in the control target portion Q specified by the control data C4 in the music. Therefore, an automatic performance synchronized with the cueing operation by the specific player P is realized.
  • the control for synchronizing the automatic performance and the cue operation is limited to the control target portion Q in the music. Therefore, even when the signal operation of the specific player P is erroneously detected at a place other than the control target portion Q, there is an advantage that the possibility that the signal operation is reflected in the automatic performance is reduced.
  • the music file F of the fifth embodiment includes control data C5 for controlling the estimation of the performance position T by the performance analysis unit 32 as control data C.
  • the control data C5 is data that instructs the performance analysis unit 32 to stop estimating the performance position T.
  • the performance analysis unit 32 of the fifth embodiment stops the estimation of the performance position T in the control target portion Q specified by the control data C5 in the music.
  • the performance analysis unit 32 sequentially estimates the performance position T in parallel with the actual performance by the plurality of players P, as in the first embodiment.
  • the control data C5 is generated in advance so that, for example, a portion of the music where it is difficult to accurately estimate the performance position T is included in the control target portion Q. That is, the estimation of the performance position T is stopped at a location where an erroneous estimation of the performance position T is likely to occur in the music. Therefore, in the fifth embodiment, it is possible to reduce the possibility that the performance analysis unit 32 erroneously estimates the performance position T (and thus the possibility that the result of erroneous estimation of the performance position T is reflected in the automatic performance). . Further, there is an advantage that the processing load of the control device 22 is reduced as compared with the configuration in which the performance position T is estimated regardless of the inside and outside of the control target portion Q.
  • the display control unit 36 of the sixth embodiment can notify the plurality of players P of the target time point in the music piece by changing the performance image G displayed on the display device 16. Specifically, the display control unit 36 causes the display device 16 to display a moving image representing a state in which the virtual performer H executes the cue operation on the display device 16 as a performance image G. Each player P is notified of the elapsed time as the target time. The operation in which the display control unit 36 changes the performance image G so that the normal performance operation by the virtual player H is simulated in parallel with the automatic performance of the performance device 12 is continued during the automatic performance of the music. Is executed automatically. That is, the performance image G simulates the virtual player H performing a cue operation suddenly in parallel with the normal performance operation.
  • the music file F of the sixth embodiment includes control data C6 for controlling display of the performance image by the display control unit 36 as control data C.
  • the control data C6 is data for instructing the notification of the target time by the display control unit 36, and the control object portion Q includes in advance a portion where the virtual player H should execute the cue operation for instructing the target time. Is generated.
  • the display control unit 36 of the sixth embodiment changes the performance image G displayed on the display device 16 in the control target portion Q designated by the control data C6 in the music, thereby changing the target time point in the music.
  • the player P is notified.
  • the display control unit 36 changes the performance image G so that the virtual player H performs a cueing operation in the control target portion Q.
  • the plurality of performers P grasp the target time point by visually recognizing the performance image G displayed on the display device 16, and start actual performance at the target time point. Therefore, at the target time point, the actual performance of the music by the plurality of players P and the actual performance by the performance device 12 are started substantially simultaneously.
  • the display controller 36 represents the performance image G that the virtual performer H continuously performs the normal performance operation.
  • the player P in the control target portion Q designated by the control data C6 in the music, the player P is visually notified of the target time of the music by the change of the performance image G. Is possible. Therefore, the automatic performance and the actual performance can be synchronized with each other at the target time.
  • Two or more forms arbitrarily selected from the first to sixth embodiments may be merged.
  • a configuration in which two or more control data C arbitrarily selected from the plurality of control data C (C1 to C6) illustrated in the first to sixth embodiments is combined and included in the music file F may be employed.
  • the cue operation is detected by analyzing the image signal V imaged by the imaging device 18, but the method by which the cue detection unit 38 detects the cue operation is not limited to the above examples.
  • the cue detection unit 38 may detect a cueing operation by analyzing a detection signal of a detector (for example, various sensors such as an acceleration sensor) attached to the body of the specific player P.
  • a detector for example, various sensors such as an acceleration sensor
  • the specific player is compared with the case where the detector is attached to the body of the specific player P.
  • volume data Ca designates the control target part Q in the music and the temporal change in volume in the control target part Q.
  • an increase or decrease in volume in the control target portion Q is designated by the volume data Ca.
  • the performance controller 34 controls the volume of the automatic performance by the performance device 12 in the control target portion Q according to the volume data Ca. Specifically, the performance control unit 34 sets the intensity indicated by the instruction data in the performance data D to a numerical value designated by the volume data Ca. Therefore, the volume of the automatic performance increases or decreases with time.
  • the performance control unit 34 does not execute the volume control according to the volume data Ca. Therefore, the automatic performance is executed at the intensity (volume) specified by the instruction data in the performance data D. According to the above configuration, it is possible to realize various automatic performances in which the volume of the automatic performance is changed in a specific portion (control target portion Q) in the music.
  • the automatic performance system 100 is realized by cooperation of the control device 22 and a program.
  • the program according to a preferred aspect of the present invention corresponds to the performance analysis unit 32 that estimates the performance position T of the music by analyzing the performance of the music performed by the performer, and the performance data D that specifies the performance content of the music.
  • This is a program that causes a computer to function as a performance control unit 34 that causes the performance device 12 to execute automatic performance in synchronization with the progress of the performance position T.
  • the performance control unit 34 responds to control data C that is independent of the performance data D. The relationship between the progress of the performance position T and the automatic performance is controlled.
  • the programs exemplified above can be provided in a form stored in a computer-readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium such as a CD-ROM is a good example, but a known arbitrary format such as a semiconductor recording medium or a magnetic recording medium is used. A recording medium may be included.
  • non-transitory recording medium includes all computer-readable recording media except for transient propagation signals (transitory, “propagating” signal), and does not exclude volatile recording media.
  • the program may be distributed to the computer in the form of distribution via a communication network.
  • a performance control method is a performance in which the computer estimates the performance position of the music piece by analyzing the performance of the music piece by the performer and designates the performance content of the music piece.
  • An automatic performance according to data is executed by the performance device so as to be synchronized with the progress of the performance position, and the relationship between the progress of the performance position and the automatic performance is controlled according to control data independent of the performance data. .
  • the relationship between the progress of the performance position and the automatic performance is controlled according to the control data independent of the performance data.
  • the automatic performance in the control of the relationship between the progress of the performance position and the automatic performance, is changed to the performance position in a portion specified by the control data in the music. Release control to synchronize with progress.
  • the control for synchronizing the automatic performance with the progress of the performance position is canceled in the portion specified by the control data in the music. Therefore, it is possible to realize an appropriate automatic performance for a portion of the music that should not be synchronized with the progress of the performance position.
  • the tempo of the automatic performance in the control of the relationship between the progress of the performance position and the automatic performance, is set in the portion specified by the control data in the music. It is initialized to a predetermined value designated by the performance data.
  • the tempo of the automatic performance is initialized to a predetermined value specified by the performance data in the portion specified by the control data in the music. Therefore, there is an advantage that the possibility that the tempo of the automatic performance changes unnaturally in conjunction with the tempo of the actual performance is reduced at the portion specified by the control data.
  • the tempo of the automatic performance in the control of the relationship between the progress of the performance position and the automatic performance, is set in the portion specified by the control data in the music.
  • the tempo of the automatic performance immediately before the portion is maintained.
  • the tempo of the automatic performance is maintained at the tempo immediately before the portion of the music designated by the control data. Therefore, even if the tempo of the actual performance of the music changes, it is possible to realize an automatic performance with an appropriate tempo for a portion where the tempo of the automatic performance should be maintained.
  • any one of the first to fourth aspects in the control of the relationship between the progress of the performance position and the automatic performance, in the portion specified by the control data in the music, The degree to which the progress of the performance position is reflected in the automatic performance is controlled according to the control data.
  • the degree to which the progress of the performance position is reflected in the automatic performance is controlled according to the control data in the portion specified by the control data in the music. Therefore, it is possible to realize a variety of automatic performances in which the degree to which the automatic performance follows the actual performance is changed at a specific part in the music.
  • the volume of the automatic performance is controlled in accordance with the volume data in the portion specified by the volume data of the music. According to the above aspect, it is possible to realize an automatic performance in which the volume is changed in a specific part of the music.
  • the computer detects a cueing operation by a player of the music piece, and in the portion specified by the control data in the music piece, The automatic performance is synchronized with the signal operation.
  • the automatic performance is synchronized with the cueing operation in the portion specified by the control data in the music. Therefore, automatic performance synchronized with the cueing operation by the performer is realized.
  • the control for synchronizing the automatic performance with the cueing operation is limited to the portion specified by the control data in the music. Therefore, even when a cue operation is erroneously detected at a place unrelated to the part, the possibility that the cue operation is reflected in the automatic performance is reduced.
  • the estimation of the performance position is stopped at a portion specified by the control data in the music piece.
  • the estimation of the performance position is stopped in the portion specified by the control data in the music. Therefore, for example, by designating a portion where erroneous estimation of the performance position is likely to occur by the control data, the possibility of erroneous estimation of the performance position can be reduced.
  • the computer displays a performance image representing the progress of the automatic performance on a display device, and is specified by the control data among the music pieces.
  • the performance image is changed to notify the player of a specific point of the music.
  • the music player is notified of a specific point of the music piece by changing the performance image in the part specified by the control data in the music piece. Therefore, for example, it is possible to visually notify the performer when the music performance is started or when the performance is resumed from a long rest.
  • the performance data and the control data are included in one music file.
  • the performance data and the control data are included in one music file, the performance data and the control data can be handled more easily than in the case where the performance data and the control data constitute separate files. There is an advantage of being.
  • the computer estimates the performance position of the music by analyzing the performance of the music performed by the performer, and designates the performance content of the music.
  • Automatic performance according to data is performed by the performance device so as to synchronize with the progress of the performance position, and the estimation of the performance position is stopped in the portion of the music specified by the control data independent of the performance data To do.
  • the estimation of the performance position is stopped in the portion specified by the control data in the music. Therefore, for example, by designating a portion where erroneous estimation of the performance position is likely to occur by the control data, the possibility of erroneous estimation of the performance position can be reduced.
  • the computer estimates the performance position of the music by analyzing the performance of the music performed by the performer, and designates the performance content of the music.
  • An automatic performance according to data is executed by the performance device so as to synchronize with the progress of the performance position, a performance image representing the progress of the automatic performance is displayed on the display device, and specified by the control data of the music In the portion, the performance image is changed to notify the player of a specific point of the music.
  • the music player is notified of a specific point of the music piece by changing the performance image in the part specified by the control data in the music piece. Therefore, for example, it is possible to visually notify the performer when the music performance is started or when the performance is resumed from a long rest.
  • a performance control apparatus specifies a performance analysis unit that estimates a performance position of the music piece by analyzing the performance of the music piece by the performer, and specifies the performance content of the music piece.
  • a performance control unit that causes a performance device to execute an automatic performance according to performance data so as to synchronize with the progress of the performance position, the performance control unit according to the control data independent of the performance data The relationship between the progress of the performance position and the automatic performance is controlled.
  • the relationship between the progress of the performance position and the automatic performance is controlled according to the control data independent of the performance data, it is compared with the configuration in which only the performance data is used for the automatic performance control by the performance device.
  • it is possible to appropriately control the automatic performance according to the performance position so as to reduce a problem assumed when the automatic performance is synchronized with the actual performance.
  • a performance control apparatus specifies a performance analysis unit that estimates the performance position of the music by analyzing the performance of the music performed by the performer, and specifies the performance content of the music.
  • a performance control unit that causes the performance device to execute an automatic performance according to performance data in synchronization with the progress of the performance position, and the performance analysis unit includes control data that is independent of the performance data of the recorded music.
  • the estimation of the performance position is stopped at the portion specified by. In the above aspect, the estimation of the performance position is stopped in the portion specified by the control data in the music. Therefore, for example, by designating a portion where erroneous estimation of the performance position is likely to occur by the control data, the possibility of erroneous estimation of the performance position can be reduced.
  • a performance control apparatus specifies a performance analysis unit that estimates the performance position of the music by analyzing the performance of the music performed by the performer, and specifies the performance content of the music.
  • a performance control unit that causes the performance device to execute an automatic performance according to performance data in synchronization with the progress of the performance position, and a display control unit that displays a performance image representing the progress of the automatic performance on a display device.
  • the display control unit notifies the player of a specific point of the music piece by changing the performance image in a portion specified by the control data in the music piece.
  • the music player is notified of a specific point of the music piece by changing the performance image in the part specified by the control data in the music piece. Therefore, for example, it is possible to visually notify the performer when the music performance is started or when the performance is resumed from a long rest.
  • DESCRIPTION OF SYMBOLS 100 ... Automatic performance system, 10 ... Performance control device, 12 ... Performance device, 122 ... Drive mechanism, 124 ... Sound generation mechanism, 14 ... Sound collection device, 16 ... Display device, 18 ... Imaging device, 22 ... Control device, 24 ... Storage device 32... Performance analysis unit 34. Performance control unit 36. Display control unit 38.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

コンピュータが、演奏者による楽曲の演奏を解析することにより楽曲の演奏位置を推定し、楽曲の演奏内容を指定する演奏データに応じた自動演奏を演奏位置の進行に同期するように演奏装置に実行させ、演奏データとは独立の制御データに応じて演奏位置の進行と自動演奏との関係を制御する。

Description

演奏制御方法および演奏制御装置
　本発明は、自動演奏を制御する技術に関する。
　例えば特許文献１に開示される通り、楽曲の演奏を解析することで、楽曲において現に演奏されている位置（以下「演奏位置」という）を推定するスコアアライメント技術が従来から提案されている。
特開２０１５－７９１８３号公報
　他方、楽曲の演奏内容を表す演奏データを利用して鍵盤楽器等の楽器を発音させる自動演奏技術が従来から普及している。前述の演奏位置の推定結果を自動演奏に適用すれば、演奏者による楽器の演奏（以下「実演奏」という）に同期した自動演奏が実現され得る。しかし、演奏位置の推定結果を自動演奏に実際に適用する場面では、種々の問題が発生し得る。例えば、楽曲のうち実演奏のテンポが極端に変化する部分では、自動演奏を実演奏に高精度に追従させることは実際には困難である。以上の事情を考慮して、本発明は、自動演奏を実演奏に同期させる場合に想定される種々の課題の解決を目的とする。
　以上の課題を解決するために、本発明の好適な態様に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。
　また、本発明の好適な態様に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏制御部は、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。
本発明の第１実施形態に係る自動演奏システムの構成図である。 楽曲ファイルの模式図である。 演奏画像の模式図である。 制御装置が演奏装置に自動演奏を実行させる動作のフローチャートである。 楽曲ファイルの編集画面の模式図である。 制御装置が制御データを利用する動作のフローチャートである。 第２実施形態に係る自動演奏システムの構成図である。
＜第１実施形態＞
　図１は、本発明の第１実施形態に係る自動演奏システム１００の構成図である。自動演奏システム１００は、複数の演奏者Ｐが楽器を演奏する音響ホール等の空間に設置され、複数の演奏者Ｐによる楽曲の演奏に並行して楽曲の自動演奏を実行するコンピュータシステムである。なお、演奏者Ｐは、典型的には楽器の演奏者であるが、楽曲の歌唱者も演奏者Ｐであり得る。また、実際には楽器の演奏を担当しない関係者（例えば楽曲の演奏を主導する指揮者または音響監督）も演奏者Ｐに含まれ得る。図１に例示される通り、第１実施形態の自動演奏システム１００は、演奏制御装置１０と演奏装置１２と収音装置１４と表示装置１６とを具備する。演奏制御装置１０は、自動演奏システム１００の各要素を制御するコンピュータシステムであり、例えばパーソナルコンピュータ等の情報処理装置で実現される。
　演奏装置１２は、演奏制御装置１０による制御のもとで楽曲の自動演奏を実行する。第１実施形態の演奏装置１２は、楽曲を構成する複数のパートのうち、複数の演奏者Ｐが演奏するパート以外のパートについて自動演奏を実行する。例えば、楽曲の主旋律のパートが複数の演奏者Ｐにより演奏され、楽曲の伴奏のパートの自動演奏を演奏装置１２が実行する。
　図１に例示される通り、第１実施形態の演奏装置１２は、駆動機構１２２と発音機構１２４とを具備する自動演奏楽器（例えば自動演奏ピアノ）である。発音機構１２４は、自然楽器の鍵盤楽器と同様に、鍵盤の各鍵の変位に連動して弦（発音体）を発音させる打弦機構を鍵毎に具備する。任意の１個の鍵に対応する打弦機構は、弦を打撃可能なハンマと、当該鍵の変位をハンマに伝達する複数の伝達部材（例えばウィペン，ジャックおよびレペティションレバー）とを具備する。駆動機構１２２は、発音機構１２４を駆動することで楽曲の自動演奏を実行する。具体的には、駆動機構１２２は、各鍵を変位させる複数の駆動体（例えばソレノイド等のアクチュエータ）と、各駆動体を駆動する駆動回路とを含んで構成される。演奏制御装置１０からの指示に応じて駆動機構１２２が発音機構１２４を駆動することで楽曲の自動演奏が実現される。なお、演奏制御装置１０を演奏装置１２に搭載してもよい。
　図１に例示される通り、演奏制御装置１０は、制御装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。制御装置２２は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、自動演奏システム１００を構成する複数の要素（演奏装置１２，収音装置１４および表示装置１６）を統括的に制御する。記憶装置２４は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成され、制御装置２２が実行するプログラムと制御装置２２が使用する各種のデータとを記憶する。なお、自動演奏システム１００とは別体の記憶装置２４（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置２２が記憶装置２４に対する書込および読出を実行してもよい。すなわち、記憶装置２４を自動演奏システム１００から省略してもよい。
　本実施形態の記憶装置２４は、楽曲の楽曲ファイルＦを記憶する。楽曲ファイルＦは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）である。図２に例示される通り、第１実施形態の楽曲ファイルＦは、参照データＲと演奏データＤと制御データＣとを含む１個のファイルである。
　参照データＲは、複数の演奏者Ｐによる楽曲の演奏内容（例えば楽曲の主旋律のパートを構成する音符列）を指定する。具体的には、参照データＲは、演奏内容（発音／消音）を指定する指示データと、当該指示データの処理時点を指定する時間データとが時系列に配列されたＭＩＤＩ形式の時系列データである。他方、演奏データＤは、演奏装置１２による自動演奏の演奏内容（例えば楽曲の伴奏のパートを構成する音符列）を指定する。演奏データＤは、参照データＲと同様に、演奏内容を指定する指示データと当該指示データの処理時点を指定する時間データとが時系列に配列されたＭＩＤＩ形式の時系列データである。参照データＲおよび演奏データＤの各々における指示データは、音高と強度とを指定して発音または消音等の各種のイベントを指示する。また、参照データＲおよび演奏データＤの各々における時間データは、例えば相前後する指示データの間隔を指示する。第１実施形態の演奏データＤは、楽曲のテンポ（演奏速度）も指定する。
　制御データＣは、演奏データＤに応じた演奏装置１２の自動演奏を制御するためのデータである。制御データＣは、参照データＲおよび演奏データＤとともに１個の楽曲ファイルＦを構成するが、参照データＲおよび演奏データＤからは独立したデータである。具体的には、制御データＣは、参照データＲおよび演奏データＤとは別個に編集され得る。すなわち、参照データＲおよび演奏データＤの内容に影響せずに制御データＣを単独で編集することが可能である。例えば、参照データＲと演奏データＤと制御データＣとは、１個の楽曲ファイルＦにおける相異なるＭＩＤＩチャンネルのデータである。以上のように制御データＣが参照データＲおよび演奏データＤとともに１個の楽曲ファイルＦに含まれる構成によれば、制御データＣが参照データＲおよび演奏データＤとは別個のファイルである構成と比較して、制御データＣの取扱いが容易であるという利点がある。なお、制御データＣの具体的な内容については後述する。
　図１の収音装置１４は、複数の演奏者Ｐによる楽器の演奏で発音された音（例えば楽器音または歌唱音）を収音した音響信号Ａを生成する。音響信号Ａは、音の波形を表す信号である。なお、電気弦楽器等の電気楽器から出力される音響信号Ａを利用してもよい。したがって、収音装置１４は省略され得る。なお、複数の収音装置１４が生成する信号を加算することで音響信号Ａを生成してもよい。
　表示装置１６は、演奏制御装置１０（制御装置２２）による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたはプロジェクタが表示装置１６の好適例である。複数の演奏者Ｐは、表示装置１６が表示する画像を、楽曲の演奏に並行して随時に視認することが可能である。
　制御装置２２は、記憶装置２４に記憶されたプログラムを実行することで、楽曲の自動演奏を実現するための複数の機能（演奏解析部３２，演奏制御部３４および表示制御部３６）を実現する。なお、制御装置２２の機能を複数の装置の集合（すなわちシステム）で実現した構成、または、制御装置２２の機能の一部または全部を専用の電子回路が実現した構成も採用され得る。また、収音装置１４と演奏装置１２と表示装置１６とが設置された音響ホール等の空間から離間した位置にあるサーバ装置が、制御装置２２の一部または全部の機能を実現してもよい。
　演奏解析部３２は、楽曲において複数の演奏者Ｐが現に演奏している位置（以下「演奏位置」という）Ｔを推定する。具体的には、演奏解析部３２は、収音装置１４が生成する音響信号Ａを解析することで演奏位置Ｔを推定する。演奏解析部３２による演奏位置Ｔの推定は、複数の演奏者Ｐによる演奏（実演奏）に並行して実時間的に順次に実行される。例えば、演奏位置Ｔの推定は所定の周期で反復される。
　第１実施形態の演奏解析部３２は、音響信号Ａが表す音と楽曲ファイルＦ内の参照データＲが示す演奏内容（すなわち複数の演奏者Ｐが担当する主旋律のパートの演奏内容）とを相互に照合することで演奏位置Ｔを推定する。演奏解析部３２による演奏位置Ｔの推定には、公知の音響解析技術（スコアアライメント技術）が任意に採用され得る。例えば、特許文献１に開示された解析技術を演奏位置Ｔの推定に利用することが可能である。また、ニューラルネットワークまたは多分木等の識別モデルを演奏位置Ｔの推定に利用してもよい。例えば、実演奏で発音された音の特徴量を学習データとして識別モデルの機械学習（例えばディープラーニング）が事前に実行される。演奏解析部３２は、実際に自動演奏が実行される場面で音響信号Ａから抽出した特徴量を機械学習後の識別モデルに適用することで演奏位置Ｔを推定する。
　図１の演奏制御部３４は、楽曲ファイルＦ内の演奏データＤに応じた自動演奏を演奏装置１２に実行させる。第１実施形態の演奏制御部３４は、演奏解析部３２が推定する演奏位置Ｔの進行（時間軸上の移動）に同期するように演奏装置１２に自動演奏を実行させる。具体的には、演奏制御部３４は、楽曲において演奏位置Ｔに対応する時点について演奏データＤが指定する演奏内容を演奏装置１２に対して指示する。すなわち、演奏制御部３４は、演奏データＤに含まれる各指示データを演奏装置１２に対して順次に供給するシーケンサとして機能する。
　演奏装置１２は、演奏制御部３４からの指示に応じて楽曲の自動演奏を実行する。実演奏の進行とともに演奏位置Ｔは楽曲内の後方に経時的に移動するから、演奏装置１２による楽曲の自動演奏も演奏位置Ｔの移動とともに進行する。すなわち、実演奏と同等のテンポで演奏装置１２による楽曲の自動演奏が実行される。以上の説明から理解される通り、楽曲の各音符の強度またはフレーズ表現等の音楽表現を演奏データＤで指定された内容に維持したまま自動演奏が実演奏に同期する（すなわち時間的に追従する）ように、演奏制御部３４は演奏装置１２に自動演奏を指示する。したがって、例えば現在では生存していない過去の演奏者等の特定の演奏者の演奏を表す演奏データＤを使用すれば、その演奏者に特有の音楽表現を自動演奏で忠実に再現しながら、当該演奏者と実在の複数の演奏者Ｐとが恰も相互に呼吸を合わせて協調的に合奏しているかのような雰囲気を醸成することが可能である。
　なお、演奏制御部３４が演奏データＤ内の指示データの出力により演奏装置１２に自動演奏を指示してから演奏装置１２が実際に発音する（例えば発音機構１２４のハンマが打弦する）までには、実際には数百ミリ秒程度の時間が必要である。すなわち、演奏装置１２による実際の発音は演奏制御部３４からの指示に対して遅延し得る。そこで、演奏制御部３４が、楽曲において演奏解析部３２が推定した演奏位置Ｔに対して後方（未来）の時点の演奏を演奏装置１２に指示してもよい。
　図１の表示制御部３６は、演奏装置１２による自動演奏の進行を視覚的に表現した画像（以下「演奏画像」という）を表示装置１６に表示させる。具体的には、表示制御部３６は、演奏画像を表す画像データを生成して表示装置１６に出力することで演奏画像を表示装置１６に表示させる。第１実施形態の表示制御部３６は、演奏装置１２による自動演奏に連動して動的に変化する動画像を演奏画像として表示装置１６に表示させる。
　図３は、演奏画像Ｇの表示例である。図３に例示される通り、演奏画像Ｇは、例えば仮想空間内で楽器を演奏する仮想的な演奏者（以下「仮想演奏者」という）Ｈを表現した動画像である。表示制御部３６は、演奏装置１２に対する発音または消音の指示（発音を指示する指示データの出力）の時点で仮想演奏者Ｈによる押鍵または離鍵が模擬されるように、演奏装置１２による自動演奏に並行して演奏画像Ｇを経時的に変化させる。したがって、表示装置１６が表示する演奏画像Ｇを視認した各演奏者Ｐは、演奏装置１２が楽曲の各音符を発音する時点を仮想演奏者Ｈの動作から視覚的に把握することが可能である。
　図４は、制御装置２２の動作を例示したフローチャートである。例えば、所定の周期で発生する割込を契機として、複数の演奏者Ｐによる楽曲の実演奏に並行して図４の処理が実行される。図４の処理を開始すると、制御装置２２（演奏解析部３２）は、収音装置１４から供給される音響信号Ａの解析により演奏位置Ｔを推定する（ＳA1）。制御装置２２（演奏制御部３４）は、演奏位置Ｔに応じた自動演奏を演奏装置１２に対して指示する（ＳA2）。具体的には、制御装置２２は、演奏解析部３２が推定する演奏位置Ｔの進行に同期するように演奏装置１２に楽曲の自動演奏を実行させる。制御装置２２（表示制御部３６）は、自動演奏の進行を表現する演奏画像Ｇを表示装置１６に表示させ、自動演奏の進行とともに演奏画像Ｇを変化させる。
　以上に説明した通り、第１実施形態では、演奏位置Ｔの進行に同期するように演奏装置１２による自動演奏が実行される一方、演奏装置１２による自動演奏の進行を表す演奏画像Ｇが表示装置１６に表示される。したがって、演奏装置１２による自動演奏の進行を各演奏者Ｐが視覚的に確認して自身の演奏に反映させることが可能である。以上の構成によれば、複数の演奏者Ｐによる実演奏と演奏装置１２による自動演奏とが相互に作用し合う自然な合奏が実現される。すなわち、各演奏者Ｐが仮想演奏者Ｈと恰も実際に合奏しているかのような感覚で演奏できる。第１実施形態では特に、自動演奏による演奏内容に応じて動的に変化する演奏画像Ｇが表示装置１６に表示されるから、複数の演奏者Ｐが自動演奏の進行を視覚的および直観的に把握できるという利点がある。
　楽曲ファイルＦに含まれる制御データＣについて以下に詳述する。第１実施形態の演奏制御部３４は、概略的には、楽曲ファイルＦ内の制御データＣに応じて演奏位置Ｔの進行と演奏装置１２による自動演奏との関係を制御する。制御データＣは、楽曲のうち制御対象となる部分（以下「制御対象部分」という）を指定するデータである。例えば、任意の１個の制御対象部分は、楽曲の開始点を起点とした当該部分の始点の時刻と継続長（または終点の時刻）とで指定される。楽曲内に１個以上の制御対象部分が制御データＣにより指定される。
　図５は、楽曲ファイルＦの編集者が楽曲ファイルＦを編集する場合に表示装置１６に表示される画面（以下「編集画面」という）の説明図である。図５に例示される通り、編集画面は、領域Ｘ1と領域Ｘ2と領域Ｘ3とを包含する。領域Ｘ1および領域Ｘ2の各々には、時間軸（横軸）と音高軸（縦軸）とが設定される。参照データＲが示す主旋律のパートの音符列が領域Ｘ1に表示され、演奏データＤが示す伴奏のパートの音符列が領域Ｘ2に表示される。編集者は、領域Ｘ1に対する操作で参照データＲの編集を指示し、領域Ｘ2に対する操作で演奏データＤの編集を指示することが可能である。
　他方、領域Ｘ3には、領域Ｘ1および領域Ｘ2と共通の時間軸（横軸）が設定される。編集者は、領域Ｘ3に対する操作で、楽曲のうち任意の１個以上の区間を制御対象部分Ｑとして指定することが可能である。制御データＣは、領域Ｘ3に指示された制御対象部分Ｑを指定する。領域Ｘ1の参照データＲと領域Ｘ2の演奏データＤと領域Ｘ3の制御データＣとの各々は相互に独立に編集することが可能である。すなわち、参照データＲおよび演奏データＤを変更することなく制御データＣが変更され得る。
　図６は、制御装置２２が制御データＣを使用する処理のフローチャートである。例えば、自動演奏の開始後に所定の周期で発生する割込を契機として、図４の処理による自動演奏に並行して図６の処理が実行される。図６の処理を開始すると、制御装置２２（演奏制御部３４）は、制御対象部分Ｑが到来したか否かを判定する（ＳB1）。制御対象部分Ｑが到来した場合（ＳB1：YES）、制御装置２２は、制御データＣに応じた処理を実行する（ＳB2）。制御対象部分Ｑが到来していない場合（ＳB1：NO）、制御データＣに応じた処理は実行されない。
　第１実施形態の楽曲ファイルＦは、演奏装置１２による自動演奏のテンポを制御するための制御データＣ1を制御データＣとして包含する。制御データＣ1は、楽曲内の制御対象部分Ｑにおける自動演奏のテンポの初期化を指示するデータである。具体的には、第１実施形態の演奏制御部３４は、楽曲のうち制御データＣ1により指定される制御対象部分Ｑにおいて、演奏装置１２による自動演奏のテンポを、演奏データＤで指定される所定値に初期化し、制御対象部分Ｑ内において当該所定値に維持する（ＳB2）。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、前述の通り、複数の演奏者Ｐによる実演奏と同等のテンポで自動演奏を進行させる。以上の説明から理解される通り、楽曲のうち制御対象部分Ｑの開始前には実演奏と同等の可変のテンポで進行していた自動演奏が、制御対象部分Ｑの到来を契機として、演奏データＤで指定された標準的なテンポに初期化される。制御対象部分Ｑが経過すると、実演奏の演奏位置Ｔに応じた自動演奏のテンポの制御が再開され、自動演奏のテンポは実演奏と同等の可変のテンポに設定される。
　制御データＣ1は、例えば、楽曲のうち複数の演奏者Ｐによる実演奏のテンポが変化し易い箇所が制御対象部分Ｑに内包されるように事前に生成される。したがって、実演奏のテンポに連動して自動演奏のテンポが不自然に変化する可能性が低減され、適切なテンポの自動演奏を実現することが可能である。
＜第２実施形態＞
　本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　第２実施形態の楽曲ファイルＦは、演奏装置１２による自動演奏のテンポを制御するための制御データＣ2を制御データＣとして包含する。制御データＣ2は、楽曲内の制御対象部分Ｑにおける自動演奏のテンポの保持を指示するデータである。具体的には、第２実施形態の演奏制御部３４は、楽曲のうち制御データＣ2により指定される制御対象部分Ｑにおいて、演奏装置１２による自動演奏のテンポを、当該制御対象部分Ｑの開始の直前における自動演奏のテンポに維持する（ＳB2）。すなわち、制御対象部分Ｑでは、第１実施形態と同様に、実演奏のテンポが変化しても自動演奏のテンポは変化しない。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、第１実施形態と同様に、複数の演奏者Ｐによる実演奏と同等のテンポで自動演奏を進行させる。以上の説明から理解される通り、楽曲のうち制御対象部分Ｑの開始前には実演奏と同等の可変のテンポで進行していた自動演奏が、制御対象部分Ｑの到来を契機として、当該制御対象部分Ｑの直前のテンポに固定される。制御対象部分Ｑが経過すると、実演奏の演奏位置Ｔに応じた自動演奏のテンポの制御が再開され、自動演奏のテンポは実演奏と同等のテンポに設定される。
　制御データＣ2は、例えば、実演奏のテンポは音楽的な表現のために変化し得るけれども自動演奏のテンポは一定に維持されるべき箇所が制御対象部分Ｑに内包されるように事前に生成される。したがって、楽曲のうち実演奏のテンポが変化しても自動演奏のテンポは保持すべき部分において、適切なテンポの自動演奏を実現することが可能である。
　以上の説明から理解される通り、第１実施形態および第２実施形態の演奏制御部３４は、楽曲のうち制御データＣ（Ｃ1またはＣ2）により指定される制御対象部分Ｑにおいて、自動演奏を演奏位置Ｔの進行に同期させる制御を解除する。
＜第３実施形態＞
　第３実施形態の楽曲ファイルＦは、演奏位置Ｔの進行と自動演奏との関係を制御するための制御データＣ3を制御データＣとして包含する。制御データＣ3は、楽曲内の制御対象部分Ｑにおいて演奏位置Ｔの進行を自動演奏に反映させる度合（以下「演奏反映度」という）を指示するデータである。具体的には、制御データＣ3は、楽曲内の制御対象部分Ｑと、当該制御対象部分Ｑにおける演奏反映度の時間的な変化とを指定する。楽曲内の複数の制御対象部分Ｑの各々について演奏反映度の時間的な変化を制御データＣ3で指定することが可能である。第３実施形態の演奏制御部３４は、楽曲内の制御対象部分Ｑにおいて、演奏装置１２による自動演奏に関する演奏反映度を制御データＣ3に応じて制御する。すなわち、演奏反映度が制御データＣ3による指示に応じた数値に変化するように、演奏制御部３４は、演奏位置Ｔの進行に応じた指示データの出力のタイミングを制御する。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、自動演奏に関する演奏反映度が所定値に保持されるように、演奏位置Ｔに応じて演奏装置１２による自動演奏を制御する。
　以上に説明した通り、第３実施形態では、楽曲の制御対象部分Ｑにおける演奏反映度が制御データＣ3に応じて制御される。したがって、自動演奏を実演奏に追従させる度合を楽曲内の特定の部分にて変化させた多様な自動演奏を実現することが可能である。
＜第４実施形態＞
　図７は、第４実施形態における自動演奏システム１００の構成図である。第４実施形態の自動演奏システム１００は、第１実施形態と同様の要素（演奏制御装置１０，演奏装置１２，収音装置１４および表示装置１６）に加えて撮像装置１８を具備する。撮像装置１８は、複数の演奏者Ｐを撮像した画像信号Ｖを生成する。画像信号Ｖは、複数の演奏者Ｐが演奏する様子の動画像を表す信号である。なお、複数の撮像装置１８を設置してもよい。
　図７に例示される通り、第１実施形態における演奏制御装置１０の制御装置２２は、記憶装置２４に記憶されたプログラムを実行することで、第１実施形態と同様の要素（演奏解析部３２，演奏制御部３４および表示制御部３６）に加えて合図検出部３８としても機能する。
　複数の演奏者Ｐのうち楽曲の演奏を主導する特定の演奏者Ｐ（以下「特定演奏者Ｐ」という）は、楽曲の演奏の合図となる動作（以下「合図動作」という）を実行する。合図動作は、時間軸上の１個の時点（以下「目標時点」という）を指示する動作（ジェスチャー）である。例えば、特定演奏者Ｐが自身の楽器を持上げる動作、または特定演奏者Ｐが自身の身体を動かす動作が、合図動作の好適例である。目標時点は、例えば、楽曲の演奏の開始点、または、楽曲内で長時間にわたる休符から演奏が再開される時点である。特定演奏者Ｐは、目標時点に対して所定の時間（以下「合図間隔」という）だけ手前の時点で合図動作を実行する。合図間隔は、例えば楽曲の１拍分の時間長である。合図動作は、合図間隔の経過により目標時点が到来することを予告する動作であり、特定演奏者Ｐ以外の各演奏者Ｐによる演奏の契機となるほか、演奏装置１２による自動演奏の契機として利用される。
　図７の合図検出部３８は、特定演奏者Ｐによる合図動作を検出する。具体的には、合図検出部３８は、撮像装置１８が特定演奏者Ｐを撮像した画像を解析することで合図動作を検出する。合図検出部３８による合図動作の検出には、特定演奏者Ｐが合図動作の実行時に移動させる要素（例えば身体または楽器）を画像から抽出する画像認識処理と、当該要素の移動を検出する動体検出処理とを含む公知の画像解析技術が使用され得る。また、ニューラルネットワークまたは多分木等の識別モデルを合図動作の検出に利用してもよい。例えば、特定演奏者Ｐによる演奏を撮像した画像信号から抽出された特徴量を学習データとして利用して、識別モデルの機械学習（例えばディープラーニング）が事前に実行される。合図検出部３８は、実際に自動演奏が実行される場面で画像信号Ｖから抽出した特徴量を機械学習後の識別モデルに適用することで合図動作を検出する。
　第４実施形態の演奏制御部３４は、合図検出部３８が検出する合図動作を契機として楽曲の自動演奏の開始を演奏装置１２に指示する。具体的には、合図動作の時点から合図間隔だけ経過した目標時点で演奏装置１２による楽曲の自動演奏が開始されるように、演奏制御部３４は演奏装置１２に対する自動演奏の指示（すなわち指示データの出力）を開始する。したがって、目標時点では、複数の演奏者Ｐによる楽曲の実演奏と演奏装置１２による実演奏とが略同時に開始される。
　第４実施形態の楽曲ファイルＦは、合図検出部３８が検出する合図動作に応じて演奏装置１２による自動演奏を制御するための制御データＣ4を制御データＣとして包含する。制御データＣ4は、合図動作を利用した自動演奏の制御を指示するデータである。具体的には、第４実施形態の演奏制御部３４は、楽曲のうち制御データＣ4により指定される制御対象部分Ｑにおいて、合図検出部３８が検出する合図動作に演奏装置１２の自動演奏を同期させる。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、合図検出部３８が検出する合図動作に応じた自動演奏の制御を停止する。したがって、制御対象部分Ｑ以外の区間では特定演奏者Ｐによる合図動作は自動演奏に反映されない。すなわち、制御データＣ4は、合図動作に応じた自動演奏の制御の許否を指示するデータである。
　以上に説明した通り、第４実施形態では、楽曲のうち制御データＣ4により指定される制御対象部分Ｑにおいて自動演奏を合図動作に同期させる。したがって、特定演奏者Ｐによる合図動作に同期した自動演奏が実現される。他方、特定演奏者Ｐの意図しない動作が合図動作として誤検出される可能性がある。第４実施形態では、自動演奏と合図動作とを同期させる制御が楽曲内の制御対象部分Ｑ内に制限される。したがって、制御対象部分Ｑ以外の箇所で特定演奏者Ｐの合図動作が誤検出された場合でも、その合図動作が自動演奏に反映される可能性は低減されるという利点がある。
＜第５実施形態＞
　第５実施形態の楽曲ファイルＦは、演奏解析部３２による演奏位置Ｔの推定を制御するための制御データＣ5を制御データＣとして包含する。制御データＣ5は、演奏解析部３２による演奏位置Ｔの推定の停止を指示するデータである。具体的には、第５実施形態の演奏解析部３２は、楽曲のうち制御データＣ5により指定される制御対象部分Ｑにおいて演奏位置Ｔの推定を停止する。他方、制御対象部分Ｑ以外の区間では、演奏解析部３２は、第１実施形態と同様に、複数の演奏者Ｐによる実演奏に並行して演奏位置Ｔを順次に推定する。
　制御データＣ5は、例えば、楽曲のうち演奏位置Ｔの正確な推定が困難である箇所が制御対象部分Ｑに内包されるように事前に生成される。すなわち、楽曲のうち演奏位置Ｔの誤推定が発生し易い箇所では演奏位置Ｔの推定が停止される。したがって、第５実施形態では、演奏解析部３２が演奏位置Ｔを誤推定する可能性（ひいては演奏位置Ｔの誤推定の結果が自動演奏に反映される可能性）を低減することが可能である。また、制御対象部分Ｑの内外に関わらず演奏位置Ｔを推定する構成と比較して制御装置２２の処理負荷が軽減されるという利点もある。
＜第６実施形態＞
　第６実施形態の表示制御部３６は、表示装置１６に表示される演奏画像Ｇを変化させることで、楽曲内の目標時点を複数の演奏者Ｐに報知することが可能である。具体的には、表示制御部３６は、仮想演奏者Ｈが合図動作を実行する様子を表現した動画像を演奏画像Ｇとして表示装置１６に表示させることで、当該合図動作から所定の合図間隔だけ経過した時点を目標時点として各演奏者Ｐに報知する。なお、演奏装置１２の自動演奏に並行して仮想演奏者Ｈによる通常の演奏動作が模擬されるように表示制御部３６が演奏画像Ｇを変化させる動作は、楽曲の自動演奏の実行中に継続的に実行される。すなわち、仮想演奏者Ｈが通常の演奏動作に並行して突発的に合図動作を実行する様子が演奏画像Ｇにより模擬される。
　第６実施形態の楽曲ファイルＦは、表示制御部３６による演奏画像の表示を制御するための制御データＣ6を制御データＣとして包含する。制御データＣ6は、表示制御部３６による目標時点の報知を指示するデータであり、目標時点を指示する合図動作を仮想演奏者Ｈが実行すべき箇所が制御対象部分Ｑに内包されるように事前に生成される。
　第６実施形態の表示制御部３６は、楽曲のうち制御データＣ6により指定される制御対象部分Ｑにおいて、表示装置１６に表示される演奏画像Ｇを変化させることで、楽曲内の目標時点を各演奏者Ｐに報知する。具体的には、表示制御部３６は、制御対象部分Ｑにおいて仮想演奏者Ｈにより合図動作が実行されるように演奏画像Ｇを変化させる。複数の演奏者Ｐは、表示装置１６に表示された演奏画像Ｇを視認することで目標時点を把握し、当該目標時点にて実演奏を開始する。したがって、目標時点では、複数の演奏者Ｐによる楽曲の実演奏と演奏装置１２による実演奏とが略同時に開始される。他方、制御対象部分Ｑ以外の区間では、表示制御部３６は、仮想演奏者Ｈが通常の演奏動作を継続的に実行する様子が演奏画像Ｇで表現される。
　以上に説明した通り、第６実施形態では、楽曲のうち制御データＣ6により指定される制御対象部分Ｑにおいて、演奏画像Ｇの変化により楽曲の目標時点を各演奏者Ｐに視覚的に報知することが可能である。したがって、自動演奏と実演奏とを目標時点において相互に同期させることができる。
＜変形例＞
　以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
（１）第１実施形態ないし第６実施形態から任意に選択された２以上の形態は併合され得る。例えば、第１実施形態から第６実施形態で例示した複数の制御データＣ（Ｃ1～Ｃ6）から任意に選択された２以上の制御データＣを組合せて楽曲ファイルＦに含めた構成も採用され得る。すなわち、
（Ａ）制御データＣ1に応じた自動演奏のテンポの初期化（第１実施形態）、
（Ｂ）制御データＣ2に応じた自動演奏のテンポの保持（第２実施形態）、
（Ｃ）制御データＣ3に応じた演奏反映度の制御（第３実施形態）、
（Ｄ）制御データＣ4に応じて合図動作を自動演奏に反映させる動作（第４実施形態）、
（Ｅ）制御データＣ5に応じた演奏位置Ｔの推定の停止（第５実施形態）、および、
（Ｆ）制御データＣ6に応じた演奏画像Ｇの制御（第６実施形態）
から任意に選択された２以上の構成を併合することが可能である。なお、複数の制御データＣを併用する構成では、制御対象部分Ｑは制御データＣ毎に個別に設定される。
（２）前述の実施形態では、撮像装置１８が撮像した画像信号Ｖの解析で合図動作を検出したが、合図検出部３８が合図動作を検出する方法は以上の例示に限定されない。例えば、特定演奏者Ｐの身体に装着された検出器（例えば加速度センサ等の各種のセンサ）の検出信号を解析することで合図検出部３８が合図動作を検出してもよい。ただし、撮像装置１８が撮像した画像の解析により合図動作を検出する前述の第４実施形態の構成によれば、特定演奏者Ｐの身体に検出器を装着する場合と比較して、特定演奏者Ｐの演奏動作に対する影響を低減しながら合図動作を検出できるという利点がある。
（３）複数の演奏者Ｐによる実演奏と同等のテンポで自動演奏を進行させるほか、例えば、自動演奏の音量を制御するためのデータ（以下「音量データ」という）Ｃaを利用して自動演奏の音量を制御してもよい。音量データＣaは、楽曲内の制御対象部分Ｑと、当該制御対象部分Ｑにおける音量の時間的な変化とを指定する。例えば、制御対象部分Ｑにおける音量の増加または減少が音量データＣaにより指定される。演奏制御部３４は、制御対象部分Ｑにおいて、演奏装置１２による自動演奏の音量を音量データＣaに応じて制御する。具体的には、演奏制御部３４は、演奏データＤ内の指示データが示す強度を、音量データＣaが指定する数値に設定する。したがって、自動演奏の音量が経時的に増加または減少する。他方、制御対象部分Ｑ以外の区間では、演奏制御部３４は、音量データＣaに応じた音量の制御は実行しない。したがって、演奏データＤ内の指示データが指定する強度（音量）で自動演奏が実行される。以上の構成によれば、自動演奏の音量を楽曲内の特定の部分（制御対象部分Ｑ）において変化させた多様な自動演奏を実現することが可能である。
（４）前述の各形態で例示した通り、自動演奏システム１００は、制御装置２２とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、演奏者による楽曲の演奏を解析することにより楽曲の演奏位置Ｔを推定する演奏解析部３２、および、楽曲の演奏内容を指定する演奏データＤに応じた自動演奏を演奏位置Ｔの進行に同期するように演奏装置１２に実行させる演奏制御部３４としてコンピュータを機能させるプログラムであり、演奏制御部３４は、演奏データＤとは独立の制御データＣに応じて演奏位置Ｔの進行と自動演奏との関係を制御する。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。
　記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、「非一過性の記録媒体」とは、一過性の伝搬信号（transitory, propagating signal）を除く全てのコンピュータ読み取り可能な記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに配信してもよい。
（５）以上に例示した具体的な形態から把握される本発明の好適な態様を以下に例示する。
　本発明の好適な態様（第１態様）に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。以上の態様では、演奏データとは独立の制御データに応じて演奏位置の進行と自動演奏との関係が制御されるから、演奏装置による自動演奏の制御に演奏データのみを使用する構成と比較して、自動演奏を実演奏に同期させる場合に想定される問題が低減されるように、演奏位置に応じて自動演奏を適切に制御することが可能である。
　第１態様の好適例（第２態様）において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記演奏位置の進行に同期させる制御を解除する。以上の態様では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記演奏位置の進行に同期させる制御が解除される。したがって、楽曲のうち自動演奏を演奏位置の進行に同期させるべきでない部分について適切な自動演奏を実現することが可能である。
　第２態様の好適例（第３態様）において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、前記演奏データで指定される所定値に初期化する。以上の態様では、楽曲のうち制御データにより指定される部分において、自動演奏のテンポが、演奏データで指定される所定値に初期化される。したがって、制御データが指定する部分について、実演奏のテンポに連動して自動演奏のテンポが不自然に変化する可能性が低減されるという利点がある。
　第２態様の好適例（第４態様）において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、当該部分の直前における前記自動演奏のテンポに維持する。以上の態様では、楽曲のうち制御データにより指定される部分において、自動演奏のテンポが当該部分の直前でのテンポに維持される。したがって、楽曲のうち実演奏のテンポが変化しても自動演奏のテンポは保持すべき部分について適切なテンポの自動演奏を実現することが可能である。
　第１態様から第４態様の何れかの好適例（第５態様）において、前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記演奏位置の進行を前記自動演奏に反映させる度合を、前記制御データに応じて制御する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏位置の進行を自動演奏に反映させる度合が制御データに応じて制御される。したがって、自動演奏を実演奏に追従させる度合を楽曲内の特定の部分にて変化させた多様な自動演奏を実現することが可能である。
　第１態様から第５態様の何れかの好適例（第６態様）では、前記楽曲のうち音量データにより指定される部分において、前記自動演奏の音量を前記音量データに応じて制御する。以上の態様によれば、楽曲内の特定の部分において音量を変化させた態様な自動演奏を実現することが可能である。
　第１態様から第６態様の何れかの好適例（第７態様）において、前記コンピュータが、前記楽曲の演奏者による合図動作を検出し、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記合図動作に同期させる。以上の態様では、楽曲のうち制御データにより指定される部分において、前記自動演奏を合図動作に同期させる。したがって、演奏者による合図動作に同期した自動演奏が実現される。他方、自動演奏と合図動作とを同期させる制御は、楽曲のうち制御データにより指定される部分に制限される。したがって、当該部分とは無関係の箇所で合図動作が誤検出された場合でも、その合図動作が自動演奏に反映される可能性は低減される。
　第１態様から第７態様の何れかの好適例（第８態様）において、前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
　第１態様から第８態様の何れかの好適例（第９態様）において、前記コンピュータが、前記自動演奏の進行を表す演奏画像を表示装置に表示させ、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点または長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
　第１態様から第９態様の何れかの好適例（第１０態様）において、前記演奏データと前記制御データとは１個の楽曲ファイルに含まれる。以上の態様では、演奏データと制御データとが１個の楽曲ファイルに含まれるから、演奏データと制御データとが別個のファイルを構成する場合と比較して演奏データおよび制御データの取扱いが容易であるという利点がある。
　本発明の好適な態様（第１１態様）に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記楽曲のうち前記演奏データとは独立の制御データにより指定される部分において、前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
　本発明の好適な態様（第１２態様）に係る演奏制御方法は、コンピュータが、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、前記自動演奏の進行を表す演奏画像を表示装置に表示させ、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点または長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
　本発明の好適な態様（第１３態様）に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏制御部は、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する。以上の態様では、演奏データとは独立の制御データに応じて演奏位置の進行と自動演奏との関係が制御されるから、演奏装置による自動演奏の制御に演奏データのみを使用する構成と比較して、自動演奏を実演奏に同期させる場合に想定される問題が低減されるように、演奏位置に応じて自動演奏を適切に制御することが可能である。
　本発明の好適な態様（第１４態様）に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、前記演奏解析部は、記楽曲のうち前記演奏データとは独立の制御データにより指定される部分において、前記演奏位置の推定を停止する。以上の態様では、楽曲のうち制御データにより指定される部分において演奏位置の推定が停止される。したがって、例えば演奏位置の誤推定が発生し易い部分を制御データにより指定することで、演奏位置の誤推定の可能性を低減することが可能である。
　本発明の好適な態様（第１５態様）に係る演奏制御装置は、演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部と、前記自動演奏の進行を表す演奏画像を表示装置に表示させる表示制御部とを具備し、前記表示制御部は、前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する。以上の態様では、楽曲のうち制御データにより指定される部分において、演奏画像を変化させることで楽曲の特定の地点が演奏者に報知される。したがって、例えば楽曲の演奏が開始される時点または長時間にわたる休符から演奏が再開される時点を、演奏者に対して視覚的に報知することが可能である。
１００…自動演奏システム、１０…演奏制御装置、１２…演奏装置、１２２…駆動機構、１２４…発音機構、１４…収音装置、１６…表示装置、１８…撮像装置、２２…制御装置、２４…記憶装置、３２…演奏解析部、３４…演奏制御部、３６…表示制御部、３８…合図検出部。

Claims (11)

  1. 　コンピュータが、
    　演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定し、
    　前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させ、
    　前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する
    　演奏制御方法。
  2. 　前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記演奏位置の進行に同期させる制御を解除する
    　請求項１の演奏制御方法。
  3. 　前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、前記演奏データで指定される所定値に初期化する
    　請求項２の演奏制御方法。
  4. 　前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏のテンポを、当該部分の直前における前記自動演奏のテンポに維持する
    　請求項２の演奏制御方法。
  5. 　前記演奏位置の進行と前記自動演奏との関係の制御では、前記楽曲のうち前記制御データにより指定される部分において、前記演奏位置の進行を前記自動演奏に反映させる度合を、前記制御データに応じて制御する
    　請求項１から請求項４の何れかの演奏制御方法。
  6. 　前記楽曲のうち音量データにより指定される部分において、前記自動演奏の音量を前記音量データに応じて制御する
    　請求項１から請求項５の何れかの演奏制御方法。
  7. 　前記コンピュータが、
    　前記楽曲の演奏者による合図動作を検出し、
    　前記楽曲のうち前記制御データにより指定される部分において、前記自動演奏を前記合図動作に同期させる
    　請求項１から請求項６の何れかの演奏制御方法。
  8. 　前記楽曲のうち前記制御データにより指定される部分において前記演奏位置の推定を停止する
    　請求項１から請求項７の何れかの演奏制御方法。
  9. 　前記コンピュータが、
    　前記自動演奏の進行を表す演奏画像を表示装置に表示させ、
    　前記楽曲のうち前記制御データにより指定される部分において、前記演奏画像を変化させることで、前記楽曲の特定の地点を演奏者に報知する
    　請求項１から請求項８の何れかの演奏制御方法。
  10. 　前記演奏データと前記制御データとは１個の楽曲ファイルに含まれる
    　請求項１から請求項９の何れかの演奏制御方法。
  11. 　演奏者による楽曲の演奏を解析することにより前記楽曲の演奏位置を推定する演奏解析部と、
    　前記楽曲の演奏内容を指定する演奏データに応じた自動演奏を前記演奏位置の進行に同期するように演奏装置に実行させる演奏制御部とを具備し、
    　前記演奏制御部は、前記演奏データとは独立の制御データに応じて前記演奏位置の進行と前記自動演奏との関係を制御する
    　演奏制御装置。
PCT/JP2017/035824 2016-10-11 2017-10-02 演奏制御方法および演奏制御装置 WO2018070286A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780062383.7A CN109804427B (zh) 2016-10-11 2017-10-02 演奏控制方法以及演奏控制装置
US16/376,714 US10720132B2 (en) 2016-10-11 2019-04-05 Performance control method and performance control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-200130 2016-10-11
JP2016200130A JP6776788B2 (ja) 2016-10-11 2016-10-11 演奏制御方法、演奏制御装置およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/376,714 Continuation US10720132B2 (en) 2016-10-11 2019-04-05 Performance control method and performance control device

Publications (1)

Publication Number Publication Date
WO2018070286A1 true WO2018070286A1 (ja) 2018-04-19

Family

ID=61905569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035824 WO2018070286A1 (ja) 2016-10-11 2017-10-02 演奏制御方法および演奏制御装置

Country Status (4)

Country Link
US (1) US10720132B2 (ja)
JP (1) JP6776788B2 (ja)
CN (1) CN109804427B (ja)
WO (1) WO2018070286A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018016581A1 (ja) * 2016-07-22 2018-01-25 ヤマハ株式会社 楽曲データ処理方法およびプログラム
JP6699677B2 (ja) * 2018-02-06 2020-05-27 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6737300B2 (ja) * 2018-03-20 2020-08-05 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
JP7343268B2 (ja) * 2018-04-24 2023-09-12 培雄 唐沢 任意信号挿入方法及び任意信号挿入システム
JP7103106B2 (ja) * 2018-09-19 2022-07-20 ヤマハ株式会社 情報処理方法および情報処理装置
WO2023170757A1 (ja) * 2022-03-07 2023-09-14 ヤマハ株式会社 再生制御方法、情報処理方法、再生制御システムおよびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10254448A (ja) * 1997-01-09 1998-09-25 Yamaha Corp 自動伴奏装置及び自動伴奏制御プログラムを記録した媒体
JP2001195063A (ja) * 2000-01-12 2001-07-19 Yamaha Corp 演奏支援装置
JP2006065253A (ja) * 2004-08-30 2006-03-09 Yamaha Corp 自動伴奏装置及びプログラム
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP2007249033A (ja) * 2006-03-17 2007-09-27 Yamaha Corp 電子楽器およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07122793B2 (ja) * 1989-07-03 1995-12-25 カシオ計算機株式会社 自動演奏装置
US5521323A (en) * 1993-05-21 1996-05-28 Coda Music Technologies, Inc. Real-time performance score matching
US5952597A (en) * 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US5942710A (en) 1997-01-09 1999-08-24 Yamaha Corporation Automatic accompaniment apparatus and method with chord variety progression patterns, and machine readable medium containing program therefore
US6166314A (en) * 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US5913259A (en) * 1997-09-23 1999-06-15 Carnegie Mellon University System and method for stochastic score following
KR100412196B1 (ko) * 2001-05-21 2003-12-24 어뮤즈텍(주) 악보 추적 방법 및 그 장치
JP3933583B2 (ja) * 2003-01-10 2007-06-20 ローランド株式会社 電子楽器
JP4650182B2 (ja) * 2005-09-26 2011-03-16 ヤマハ株式会社 自動伴奏装置及びプログラム
CN201294089Y (zh) * 2008-11-17 2009-08-19 音乐传奇有限公司 互动音乐演奏设备
US8660678B1 (en) * 2009-02-17 2014-02-25 Tonara Ltd. Automatic score following
JP5654897B2 (ja) * 2010-03-02 2015-01-14 本田技研工業株式会社 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム
JP5958041B2 (ja) * 2012-04-18 2016-07-27 ヤマハ株式会社 表情演奏リファレンスデータ生成装置、演奏評価装置、カラオケ装置及び装置
JP6187132B2 (ja) 2013-10-18 2017-08-30 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
JP6809112B2 (ja) * 2016-10-12 2021-01-06 ヤマハ株式会社 演奏システム、自動演奏方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10254448A (ja) * 1997-01-09 1998-09-25 Yamaha Corp 自動伴奏装置及び自動伴奏制御プログラムを記録した媒体
JP2001195063A (ja) * 2000-01-12 2001-07-19 Yamaha Corp 演奏支援装置
JP2006065253A (ja) * 2004-08-30 2006-03-09 Yamaha Corp 自動伴奏装置及びプログラム
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP2007249033A (ja) * 2006-03-17 2007-09-27 Yamaha Corp 電子楽器およびプログラム

Also Published As

Publication number Publication date
JP2018063295A (ja) 2018-04-19
US10720132B2 (en) 2020-07-21
CN109804427A (zh) 2019-05-24
CN109804427B (zh) 2023-06-23
US20190237055A1 (en) 2019-08-01
JP6776788B2 (ja) 2020-10-28

Similar Documents

Publication Publication Date Title
US10482856B2 (en) Automatic performance system, automatic performance method, and sign action learning method
WO2018070286A1 (ja) 演奏制御方法および演奏制御装置
US10586520B2 (en) Music data processing method and program
CN111052223B (zh) 播放控制方法、播放控制装置及记录介质
US11557269B2 (en) Information processing method
JP2022115956A (ja) 情報処理方法、情報処理装置およびプログラム
JP2019168599A (ja) 演奏解析方法および演奏解析装置
CN114446266A (zh) 音响处理系统、音响处理方法及程序
US10140965B2 (en) Automated musical performance system and method
JP2007256412A (ja) 楽音制御装置
JP6070652B2 (ja) リファレンス表示装置およびプログラム
JP5387642B2 (ja) 歌詞テロップ表示装置及びプログラム
WO2019092791A1 (ja) データ生成装置およびプログラム
JP6977813B2 (ja) 自動演奏システムおよび自動演奏方法
JP6838357B2 (ja) 音響解析方法および音響解析装置
JPH1039739A (ja) 演奏再現装置
JP4159961B2 (ja) カラオケ装置
WO2019092793A1 (ja) データ生成装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860371

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17860371

Country of ref document: EP

Kind code of ref document: A1