WO2019058942A1 - 再生制御方法、再生制御装置およびプログラム - Google Patents

再生制御方法、再生制御装置およびプログラム Download PDF

Info

Publication number
WO2019058942A1
WO2019058942A1 PCT/JP2018/032579 JP2018032579W WO2019058942A1 WO 2019058942 A1 WO2019058942 A1 WO 2019058942A1 JP 2018032579 W JP2018032579 W JP 2018032579W WO 2019058942 A1 WO2019058942 A1 WO 2019058942A1
Authority
WO
WIPO (PCT)
Prior art keywords
analysis
performance
processing unit
sound
reproduction control
Prior art date
Application number
PCT/JP2018/032579
Other languages
English (en)
French (fr)
Inventor
陽 前澤
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to CN201880056884.9A priority Critical patent/CN111052223B/zh
Publication of WO2019058942A1 publication Critical patent/WO2019058942A1/ja
Priority to US16/800,993 priority patent/US11348561B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece

Definitions

  • the present invention relates to a technology for controlling playback of music.
  • Patent Document 1 discloses a technique for estimating the playing position from the playing sound of music actually played by the player, and controlling the reproduction of the playing sound of the accompaniment part so as to synchronize with the progress of the playing position.
  • Patent Document 2 discloses a technique for causing an accompaniment sound key and a tempo to follow a performance by a performer.
  • the present invention aims to give a performer a feeling of performing (for example, playing) with another virtual performer.
  • a reproduction control method analyzes a demonstration by a performer, and controls reproduction of a performance sound of a music represented by music data according to the result of the analysis. Outputting a message about the demonstration according to the result of the analysis.
  • a reproduction control apparatus is an analysis processing unit that analyzes a performance by a performer, and a reproduction control unit that causes a sound emission apparatus to reproduce the performance sound of the music represented by the music data.
  • the reproduction control unit controls reproduction of the performance sound according to a result of analysis by the analysis processing unit, and an output processing unit outputs a message related to the performance according to the result of analysis by the analysis processing unit.
  • a program is an analysis process for analyzing a performance by a performer, and a reproduction control process for playing back a playing sound of music represented by music data on a sound emitting device, the analysis by the analysis process
  • the computer is made to execute reproduction control processing for controlling reproduction of the performance sound according to the result, and output processing for outputting a message related to the performance according to the result of analysis by the analysis processing.
  • FIG. 1 is a block diagram illustrating the configuration of a reproduction control apparatus 100 according to the first embodiment of the present invention.
  • a player P who uses the reproduction control apparatus 100 uses a musical instrument to play a specific part of the music (hereinafter referred to as a "play part").
  • the reproduction control apparatus 100 reproduces the performance sound of another part (hereinafter referred to as “reproduction part”) of the music in parallel to the performance of the performance part by the player P.
  • the performance part is, for example, a main melody part of the music
  • the reproduction part is, for example, an accompaniment part of the music.
  • the performer P plays the performance part in the sense of performing the music together with a virtual performer (hereinafter referred to as a "virtual performer”) in charge of the reproduction part of the music.
  • a virtual performer hereinafter referred to as a "virtual performer”
  • the operation of the reproduction control apparatus 100 reproducing the playing sound of the reproduction part will be referred to as "reproduction operation”.
  • the playing part and the playing part may be parts common to the music.
  • the reproduction control apparatus 100 sequentially displays a message (hereinafter referred to as an “impression message”) according to the result of analysis of the performance by the player P in parallel with the reproduction operation.
  • the impression message is a character string that expresses the emotion that the virtual player holds about the performance of the player P, and is notified to the player P as the speech or emotion of the virtual player.
  • the reproduction control device 100 includes a control device 11, a storage device 12, a sound collection device 13, a sound emission device 14, and a display device 15.
  • the control device 11 is, for example, a processing circuit such as a CPU (Central Processing Unit), and generally controls each element (the storage device 12, the sound collection device 13, the sound emission device 14 and the display device 15) that constitutes the reproduction control device 100. Control.
  • the storage device 12 is constituted by a known recording medium such as a magnetic recording medium or a semiconductor recording medium, or a combination of a plurality of recording media, for example, and the program executed by the control device 11 and various data used by the control device 11 And remember.
  • a storage device 12 (for example, a cloud storage) separate from the reproduction control device 100 is prepared, and the control device 11 executes writing and reading to the storage device 12 via a communication network such as a mobile communication network or the Internet. You may That is, the storage device 12 may be omitted from the reproduction control device 100.
  • the storage device 12 of the first embodiment stores music data D representing the content of the music (i.e., a score).
  • the music data D is composed of performance data D1 and reproduction data D2.
  • the performance data D1 designates the content of the performance part played by the player P (for example, a series of musical notes constituting the performance part).
  • the reproduction data D2 designates the content of the reproduction part reproduced by the reproduction control apparatus 100 (for example, the note string constituting the reproduction part).
  • Each of the performance data D1 and the reproduction data D2 has, for example, a MIDI (Musical Instrument Digital Interface) format in which instruction data for instructing sound generation or silence and time data for specifying a generation time point of the instruction data are arranged in time series. Time series data.
  • the instruction data designates, for example, a pitch and a strength to instruct an operation such as sound generation or mute.
  • the time data specifies, for example, an interval of successive instruction data.
  • the storage unit 12 stores a plurality of impression messages Ma. Specifically, a plurality of impression messages Ma expressing different emotions of the virtual player are stored in the storage device 12. Identification information is given to each of the plurality of impression messages Ma. Among the plurality of impression messages Ma stored in the storage unit 12, an impression message Ma selected according to the performance by the player P is output to the player P.
  • the sound collection device 13 picks up the performance sound produced from the musical instrument by the performance by the player P, and generates an acoustic signal X representing the waveform of the performance sound.
  • a microphone is suitably employed as the sound collection device 13.
  • An acoustic signal X output from an electric musical instrument such as an electric stringed instrument may be used. Therefore, the sound collection device 13 can be omitted. Note that illustration of an A / D converter for converting the acoustic signal X generated by the sound collection device 13 from analog to digital is omitted for convenience.
  • the display device 15 displays various images under the control of the control device 11.
  • a liquid crystal display panel or an organic EL (Electroluminescence) display panel is suitably adopted as the display device 15.
  • the display device 15 of the first embodiment displays an impression message Ma.
  • the sound emission device 14 (speaker or headphone) reproduces the sound instructed from the reproduction control device 100.
  • the sound output device 14 of the first embodiment reproduces the performance sound of the reproduction part under the control of the reproduction control device 100.
  • the control device 11 executes a program stored in the storage device 12 to realize a plurality of functions (analysis processing unit 21 and reproduction control unit 22) for realizing the reproduction of the reproduction part of the music and the output of the impression message Ma. And the output processing unit 23).
  • the function of the control device 11 may be realized by a set of plural devices (i.e., a system), or part or all of the functions of the control device 11 may be realized by a dedicated electronic circuit.
  • the analysis processing unit 21 analyzes the performance of the performance part by the player P. Specifically, the analysis processing unit 21 analyzes the sound signal X generated by the sound collection device 13 to obtain a position (hereinafter referred to as “playing position”) Q1 in the music that the player P is playing, The speed of performance by the performer P (hereinafter referred to as “performance speed”) Q2 and the index of skill of the performance by the performer P (hereinafter referred to as “evaluation index”) Q3 are calculated. The calculation of each index Q (Q1 to Q3) by the analysis processing unit 21 is repeated in parallel (that is, at different time points) in parallel with the performance by the player P.
  • the playing position Q1 is an example of the "first index”
  • the playing speed Q2 is an example of the "second index”
  • the evaluation index Q3 is an example of the "third index”.
  • the analysis processing unit 21 of the first embodiment calculates the play position Q1 by collating the sound signal X and the play data D1 of the music data D (that is, the play content of the play part) with each other.
  • a known analysis technique for the estimation of the playing position Q1 by the analysis processing unit 21, a known analysis technique (score alignment technique) can be arbitrarily adopted.
  • the analysis technique disclosed in Patent Document 1 can be used to estimate the playing position Q1.
  • a discrimination model such as a neural network or a tree may be used to estimate the playing position Q1.
  • a discrimination model is generated by machine learning (for example, deep learning) using feature quantities of a large number of playing sounds as teacher data.
  • the analysis processing unit 21 estimates the playing position Q1 by applying the feature quantity extracted from the sound signal X to the learned identification model. Further, the analysis processing unit 21 calculates the temporal change of the playing position Q1 as the playing speed Q2 (tempo).
  • the analysis processing unit 21 calculates an evaluation index Q3 in accordance with the degree of similarity between the performance represented by the sound signal X and the performance represented by the performance data D1 (that is, an exemplary performance). Specifically, the analysis processing unit 21 evaluates the temporal error at the time of sound generation of each note between the performance represented by the sound signal X and the performance represented by the performance data D1, so that the player P performs each process. An evaluation index Q3 representing the propriety of the time of playing the note is calculated.
  • the evaluation index Q3 is a large numerical value.
  • An index (for example, the likelihood of the playing position Q1) calculated in the process of estimating the playing position Q1 may be used as the evaluation index Q3.
  • the reproduction control unit 22 in FIG. 1 causes the sound emitting device 14 to reproduce the performance sound of the reproduction part represented by the reproduction data D2 of the music data D. That is, the reproduction control unit 22 causes the sound emitting device 14 to execute the reproduction operation of the reproduction part. Specifically, the reproduction control unit 22 generates an acoustic signal Y representing the waveform of each note of the reproduction part designated by the reproduction data D2 and supplies the sound signal Y to the sound emission device 14.
  • a well-known sound generation process (for example, a software sound source) is arbitrarily adopted to generate the sound signal Y corresponding to the reproduction data D2.
  • the reproduction control unit 22 may cause the sound source circuit such as a MIDI sound source to generate the acoustic signal Y. Note that illustration of a D / A converter for converting the sound signal Y generated by the reproduction control unit 22 from digital to analog is omitted for convenience.
  • the reproduction control unit 22 of the first embodiment controls the reproduction operation of the sound emitting device 14 according to the result of the analysis processing unit 21 analyzing the performance of the player P. Specifically, the reproduction control unit 22 generates an acoustic signal Y so that the reproduction operation follows the progression of the playing position Q1 estimated by the analysis processing unit 21. For example, the reproduction control unit 22 increases the reproduction speed (tempo) of the reproduction part when the progression of the performance position Q1 is fast (that is, when the performance speed Q2 is fast), and reproduces when the progression of the performance position Q1 is slow. Reduce the playback speed of the part.
  • the reproduction operation of the reproduction part is performed at the same performance speed as the performance by the player P so as to synchronize with the progress of the performance position Q1 (the movement on the time axis). Therefore, the player P can play the playing part in the sense that the virtual player plays the playing part according to his performance.
  • the output processing unit 23 causes the display device 15 to display an impression message Ma.
  • the output processing unit 23 of the first embodiment causes the display device 15 to display the performance screen Ga of FIG. 2.
  • the performance screen Ga is an image including a score area Ga1, a player image Ga2, and an impression message Ma.
  • a time series of a plurality of musical notes of the playing part indicated by the performance data D1 is displayed on a coordinate plane including a pitch axis and a time axis (that is, a piano roll display).
  • an indicator Ga3 indicating the playing position Q1 is displayed in the score area Ga1, and moves along the time axis in conjunction with the performance by the player P (that is, the progression of the playing position Q1).
  • the player image Ga2 is an image (character) representing a virtual player.
  • the impression message Ma is displayed on a balloon indicating that the virtual player is speaking.
  • the output processing unit 23 causes the display device 15 to display an impression message Ma corresponding to a result of the analysis processing unit 21 analyzing the performance of the player P among the plurality of impression messages Ma stored in the storage device 12.
  • FIG. 3 is a flow chart exemplifying processing (hereinafter referred to as “information output processing”) in which the output processing unit 23 causes the display device 15 to display the impression message Ma.
  • the information output process is repeated at a predetermined cycle.
  • the output processing unit 23 determines whether the index Q (Q1 to Q3) calculated by the analysis processing unit 21 satisfies a predetermined condition (S31).
  • the output processing unit 23 determines whether the index Q is within a predetermined range. Specifically, the output processing unit 23 determines whether the playing speed Q2 is a numerical value within a predetermined range, and determines whether the evaluation index Q3 exceeds a predetermined threshold T3. The output processing unit 23 determines whether the determination result on the index Q has changed (S32).
  • the output processing unit 23 displays, on the display device 15, an impression message Ma corresponding to the condition in which the determination result has changed among the plurality of impression messages Ma stored in the storage device 12. Display (S33). Specifically, the output processing unit 23 generates identification information corresponding to the condition in which the determination result has changed, selects an impression message Ma corresponding to the identification information from the storage device 12 and causes the display device 15 to display it. As understood from the above description, each time the result of determination as to whether or not the index Q satisfies the predetermined condition changes, an impression message Ma corresponding to the condition is displayed on the display device 15. Therefore, there is an advantage that the player P can correct his performance quickly.
  • the output processing unit 23 notes that the playing speed Q2 is fast.
  • the message Ma “Hay too!” Is displayed on the display device 15.
  • the output processing unit 23 displays an impression message Ma “Hello!” Indicating that the playing speed Q2 is slow. Display on.
  • the output processing unit 23 displays an impression message Ma “just tempo!” Which means that the playing speed Q2 is appropriate. Display on 15.
  • the impression message Ma displayed on the display device 15 is information for guiding the player P such that the playing speed Q2 of the player P becomes a numerical value within the standard range.
  • the output processing unit 23 sends an impression message Ma “timing perfect! Which means that the timing of playing each note is appropriate. “Is displayed on the display device 15.
  • the output processing unit 23 sends an impression message Ma “that means that the timing of playing each note is shifted. Is displayed on the display device 15.
  • the impression message Ma exemplified above is displayed on the display device 15 for a predetermined time (hereinafter referred to as "display continuation time") each time the result of the judgment (S31) on whether the index Q satisfies the predetermined condition changes. It is displayed and erased from the performance screen Ga when the display duration time has elapsed. For example, the impression message Ma "Hay too! Mentioned above is displayed on the display unit 15 when the playing speed Q2 changes from a value within a predetermined range to a value exceeding the upper limit of the range, and the display starts Is erased from the performance screen Ga when the display duration time has elapsed.
  • the above-mentioned impression message Ma such as "timing perfect! Is displayed on the display unit 15 when the evaluation index Q3 changes from a value below the predetermined threshold to a value above the threshold and is displayed from the start of the display
  • the performance screen Ga is erased.
  • FIG. 4 is a flowchart illustrating the operation (an example of the reproduction control method) of the reproduction control device 100. For example, the process of FIG. 4 is repeated at a predetermined cycle.
  • the analysis processing unit 21 analyzes the performance of the performance part by the player P (S1). Specifically, the analysis processing unit 21 analyzes the acoustic signal X generated by the sound collection device 13 to calculate the playing position Q1, the playing speed Q2, and the evaluation index Q3.
  • the reproduction control unit 22 causes the sound emission device 14 to execute the reproduction operation of the reproduction part represented by the reproduction data D2, while controlling the reproduction operation according to the result of the analysis processing unit 21 analyzing the performance of the player P (S2) ). Specifically, the reproduction control unit 22 generates an acoustic signal Y so that the reproduction operation of the reproduction part follows the progression of the playing position Q1.
  • the output processing unit 23 causes the display device 15 to display an impression message Ma regarding the performance by the performer P according to the result of the analysis by the analysis processing unit 21 by the information output process of FIG. 3 (S3). By repeating the process described above at a predetermined cycle, an impression message Ma is displayed as needed in parallel with the performance of the music by the player P.
  • the order of the control of the reproduction operation (S2) and the display of the impression message Ma (S3) may be reversed.
  • Second Embodiment A second embodiment of the present invention will be described. About the element which an operation
  • the impression message Ma is displayed in parallel with the reproduction operation of the reproduction part.
  • an impression message Ma is displayed in parallel with the reproduction operation as in the first embodiment, and a message (hereinafter referred to as an “appreciative message”) representing an overall score of the performance over the entire music is displayed after the music is played. indicate.
  • the display of the impression message Ma exemplified in the first embodiment may be omitted in the second embodiment.
  • the output processing unit 23 causes the display device 15 to display the screen Gb shown in FIG.
  • the generalization screen Gb is configured to include a performer image Gb1, an aggregation area Gb2, and an evaluation area Gb3.
  • the player image Gb1 is an image representing a virtual player.
  • the aggregation area Gb2 is an area in which the impression message Ma frequently displayed during the performance is arranged. Specifically, a predetermined number of impression messages Ma located at the top in descending order of the number of display times are displayed in the aggregation area Gb2 together with the number of display times. The player P can check his / her tendency of performance by visually recognizing the total area Gb2.
  • a plurality of overdue messages Mb are stored.
  • the identification information of the impression message Ma is added to each of the plurality of general message Mb.
  • the output processing unit 23 causes the display device 15 to display the general message Mb corresponding to the most frequent impression message Ma among the impression messages Ma displayed on the display device 15 during the performance of the music. That is, the general message Mb is a character string that expresses the emotion that the virtual player has about the playing tendency of the player P over the entire music. For example, when the impression message Ma "The timing is right! Is the most frequent during the performance of the music, as shown in FIG. 5, the general message Mb "It was easy to fit together! Is displayed on.
  • the same effect as that of the first embodiment is realized. Further, in the second embodiment, since the general message Mb representing the summary of the performance over the entire music is displayed on the display device 15, there is an advantage that the player P can grasp the tendency of the performance over the entire music.
  • the analysis processing unit 21 calculates the playing position Q1, the playing speed Q2, and the evaluation index Q3, but the index Q calculated by the analysis processing unit 21 for the performance by the player P is the above. It is not limited to the illustration.
  • the analysis processing unit 21 may calculate an index Q4 of a temporal error (for example, a deviation of beat points) between the performance by the performer P and the performance sound of the reproduction part.
  • the output processing unit 23 causes the display device 15 to display an impression message Ma such as “It is difficult to match” when the index Q4 exceeds the predetermined threshold, and “it is easy to match!” When the index Q4 is below the threshold. And the like are displayed on the display device 15.
  • the index Q4 is an example of the “fourth index”.
  • the analysis processing unit 21 may calculate an index Q5 indicating presence or absence of a performance error by the player P. For example, when the volume of the sound signal X falls below a predetermined value for a predetermined time (when the performance is interrupted due to a performance mistake by the player P), the index Q5 is set to a numerical value indicating the occurrence of a performance error.
  • the index Q5 is an example of the “fifth index”.
  • a configuration is also adopted in which the player P can arbitrarily select valid / invalid of the information output process of sequentially displaying an impression message Ma in parallel with the performance by the player P.
  • the display of the impression message Ma and the reproduction of the performance sound of the reproduction part are performed in parallel with the performance by the player P, as in the above-described embodiments.
  • the reproduction of the performance sound of the reproduction part is executed in parallel with the performance by the player P, but the display of the impression message Ma is omitted.
  • the storage unit 12 stores a plurality of impression messages Ma individually for each virtual player.
  • the content of each impression message Ma is different for each virtual player.
  • the output processing unit 23 selectively displays a plurality of impression messages Ma stored in the storage device 12 for the virtual player selected by the player P among the plurality of virtual players according to the performance of the player P. Display on 15. Therefore, even if the performance of the player P is the same, if the virtual player selected by the player P is different, a separate impression message Ma is displayed.
  • the performance of the music by the player P is analyzed, but the target of analysis by the analysis processing unit 21 is not limited to the performance by the player P.
  • the analysis processing unit 21 may analyze a dance by a dancer. Specifically, the analysis processing unit 21 estimates, for example, a rhythm (beat point) of dance by analyzing an output signal from an acceleration sensor attached to the body of the dancer or an imaging device for imaging the dancer. .
  • the reproduction control unit 22 causes the sound emitting device 14 to execute the reproduction operation of the reproduction part represented by the reproduction data D2, and controls the reproduction operation according to the result of the analysis processing unit 21 analyzing the dance. Specifically, the playback operation is controlled to synchronize with the rhythm of dance.
  • the output processing unit 23 causes the display device 15 to display an impression message Ma according to the result of the analysis processing unit 21 analyzing the dance.
  • the analysis processing unit 21 is comprehensively expressed as an element for analyzing a performance by a performer.
  • An example of a performer is a player P or a dancer, and an example of a demonstration is a performance or a dance.
  • the method for notifying the user of the impression message Ma is not limited to the above example.
  • the player P may be notified of by reproducing from the sound emitting device 14 a sound produced by generating the impression message Ma.
  • the voice uttering the impression message Ma may be stored as voice data in the storage device 12 or may be generated by a known voice synthesis technology.
  • the output of the impression message Ma includes both the display by the display device 15 and the reproduction by the sound emission device 14. In the above example, attention is paid to the impression message Ma, but the general message Mb in the second embodiment may be reproduced as sound from the sound emitting device 14 as well.
  • the general message Mb representing the overall score of the music is displayed on the display unit 15.
  • the general message Mb is individually selected for each of a plurality of sections where the music is divided on the time axis It may be displayed on the display unit 15.
  • the general message Mb1 is displayed for the beginning of the music
  • the general message Mb2 is displayed for the middle of the music
  • the general message Mb3 is displayed for the last of the music.
  • the index Q (Q1 to Q5) is calculated by analyzing the sound signal X output from the sound collection device 13 or the electric musical instrument.
  • the information used for the signal is not limited to the acoustic signal X.
  • the index Q relating to the performance of the player P may be calculated by analyzing time-series data output from an electronic musical instrument such as a MIDI musical instrument.
  • the reproduction operation is controlled to follow the progress of the playing position Q1, but a specific method of controlling the reproduction operation according to the analysis result (index Q) by the analysis processing unit 21 is It is not limited to the above examples.
  • the reproduction operation may be controlled so that the volume of the performance sound of the reproduction part fluctuates according to the volume of the sound signal X.
  • the reproduction control device 100 is realized by the cooperation of the control device 11 and the program.
  • a program according to a preferred embodiment of the present invention is an analysis processing unit 21 that analyzes a performance by a performer, and a reproduction control unit 22 that causes the sound emitting device 14 to reproduce the playing sound of the music represented by the music data D.
  • a computer is functioned as a reproduction control unit 22 that controls reproduction of a performance sound according to a result of analysis by the unit 21 and an output processing unit 23 that outputs a message related to the demonstration according to a result of analysis by the analysis processing unit 21 It is a program.
  • the programs exemplified above may be provided in the form of being stored in a computer readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and is preferably an optical recording medium such as a CD-ROM, but any known format such as a semiconductor recording medium or a magnetic recording medium A recording medium can be included.
  • non-transitory recording medium includes all computer readable recording media except transient propagation signals, and does not exclude volatile recording media. . It is also possible to distribute the program to the computer in the form of distribution via a communication network.
  • a reproduction control method according to a preferable aspect (aspect 1) of the present invention analyzes a performance by a performer, controls reproduction of a performance sound of music represented by music data according to a result of the analysis, and results of the analysis Output a message regarding the demonstration according to
  • the reproduction of the musical performance sound of the music is controlled in accordance with the analysis result of the demonstration by the performer, and the message regarding the demonstration is output according to the analysis result. Therefore, it is possible to give a performer the feeling that it is performing in cooperation with a virtual performer.
  • aspects 2 of aspect 1 in the analysis of the demonstration, a position where the performer is playing in the music is estimated, and in the control of reproduction, the progress of the estimated position is followed. As such, the reproduction of the playing sound of the music is controlled.
  • the performance sound of the music is reproduced so as to follow the progression of the position where the performer plays, so that the performer is playing a virtual performer according to his performance. You can play music in the same way.
  • a first index indicating a position in the music being played by the performer in the analysis of the performance, a second index indicating a speed of the performance
  • Aspect 4 it is determined whether the result of the analysis satisfies a predetermined condition, and the message is output each time the result of the determination changes.
  • a message is output each time the result of the analysis changes whether the result of the determination determines whether the predetermined condition is satisfied or not, so that the performer can quickly reflect the content of the message on his performance. It is possible.
  • the determination it is determined whether the index calculated by the analysis is within a predetermined range.
  • the message represents an emotion related to the result of the analysis.
  • a message representing an emotion related to the result of analysis is output, it is possible to give a performer a sense of performing in cooperation with a virtual performer.
  • a reproduction control apparatus is an analysis processing unit that analyzes a performance by a performer, and a reproduction control unit that causes a sound emission apparatus to reproduce the playing sound of the music represented by the music data
  • a reproduction control unit that controls reproduction of the performance sound according to a result of analysis by the analysis processing unit; and an output processing unit that outputs a message related to the demonstration according to a result of analysis by the analysis processing unit.
  • the reproduction of the musical performance sound of the music is controlled in accordance with the analysis result of the demonstration by the performer, and the message regarding the demonstration is output according to the analysis result. Therefore, it is possible to give a performer the feeling that it is performing in cooperation with a virtual performer.
  • the analysis processing unit estimates a position where the performer is playing in the music, and the reproduction control unit follows the progress of the estimated position. Play the sound of the music on the sound emitting device.
  • the performance sound of the music is reproduced so as to follow the progression of the position where the performer plays, so that the performer is playing a virtual performer according to his performance. You can play music in the same way.
  • the analysis processing unit includes a first index indicating a position in the music being played by the performer, and a second index indicating a speed of the performance.
  • a third index indicating the skill of the performance a fourth index indicating a temporal error between the performance and the playing sound to be reproduced by the sound emitting device, and a fifth index indicating the presence or absence of a performance error by the performer Calculate part or all of the
  • the output processing unit determines whether the result of the analysis satisfies a predetermined condition, and the output processing unit performs the process each time the result of the determination changes. Output a message.
  • a message is output each time the result of the analysis changes whether the result of the determination determines whether the predetermined condition is satisfied or not, so that the performer can quickly reflect the content of the message on his performance. It is possible.
  • the output processing unit determines whether the index calculated by the analysis processing unit is within a predetermined range.
  • the message represents an emotion related to a result of the analysis.
  • a message representing an emotion related to the result of analysis is output, it is possible to give a performer a sense of performing in cooperation with a virtual performer.
  • a program according to a preferred aspect (aspect 11) of the present invention is an analysis processing for analyzing a performance by a performer, and a reproduction control processing for causing a sound emitting apparatus to reproduce a performance sound of a music represented by music data.
  • the computer is made to execute reproduction control processing for controlling reproduction of the performance sound according to the result of analysis by processing, and output processing for outputting a message related to the performance according to the result of analysis by the analysis processing.
  • the reproduction of the musical performance sound of the music is controlled in accordance with the analysis result of the demonstration by the performer, and the message regarding the demonstration is output according to the analysis result. Therefore, it is possible to give a performer the feeling that it is performing in cooperation with a virtual performer.
  • DESCRIPTION OF SYMBOLS 100 ... Reproduction control apparatus, 11 ... Control apparatus, 12 ... Storage apparatus, 13 ... Sound collection apparatus, 14 ... Sound emission apparatus, 15 ... Display apparatus, 21 ... Analysis processing part, 22 ... Reproduction control part, 23 ... Output processing part , Ga ... performance screen, Gb ... general view screen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

再生制御装置は、実演者による実演を解析する解析処理部と、楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御部であって、解析処理部による解析の結果に応じて演奏音の再生を制御する再生制御部と、解析処理部による解析の結果に応じて実演に関するメッセージを出力する出力処理部とを具備する。

Description

再生制御方法、再生制御装置およびプログラム
　本発明は、楽曲の再生を制御する技術に関する。
　楽曲のうち演奏者が演奏している位置を解析する技術（スコアアライメント）が従来から提案されている。例えば特許文献１には、演奏者が実際に演奏した楽曲の演奏音から演奏位置を推定し、演奏位置の進行に同期するように伴奏パートの演奏音の再生を制御する技術が開示されている。また、特許文献２には、伴奏音のキーとテンポとを演奏者による演奏に追従させる技術が開示されている。
特開２０１６－０９９５１２号公報 特開２００６－２０１６５４号公報
　しかし、伴奏パートの再生を演奏者の実際の演奏に単に同期させるだけでは、他者と協調して演奏しているような感覚を演奏者に充分に付与できない。以上の事情を考慮して、本発明は、仮想的な他の実演者と実演（例えば演奏）しているような感覚を実演者に付与することを目的とする。
　以上の課題を解決するために、本発明の好適な態様に係る再生制御方法は、実演者による実演を解析し、楽曲データが表す楽曲の演奏音の再生を前記解析の結果に応じて制御し、前記解析の結果に応じて前記実演に関するメッセージを出力する。
　また、本発明の好適な態様に係る再生制御装置は、実演者による実演を解析する解析処理部と、楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御部であって、前記解析処理部による解析の結果に応じて前記演奏音の再生を制御する再生制御部と、前記解析処理部による解析の結果に応じて前記実演に関するメッセージを出力する出力処理部とを具備する。
　本発明の好適な態様に係るプログラムは、実演者による実演を解析する解析処理と、楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御処理であって、前記解析処理による解析の結果に応じて前記演奏音の再生を制御する再生制御処理と、前記解析処理による解析の結果に応じて前記実演に関するメッセージを出力する出力処理とをコンピュータに実行させる。
本発明の第１実施形態に係る再生制御装置の構成図である。 演奏画面の模式図である。 情報出力処理のフローチャートである。 再生制御装置の動作を示すフローチャートである。 総評画面の模式図である。 変形例における総評画面の部分的な模式図である。
＜第１実施形態＞
　図１は、本発明の第１実施形態に係る再生制御装置１００の構成を例示するブロック図である。再生制御装置１００を利用する演奏者Ｐは、楽器を使用して楽曲の特定のパート（以下「演奏パート」という）を演奏する。再生制御装置１００は、演奏者Ｐによる演奏パートの演奏に並行して、当該楽曲の他のパート（以下「再生パート」という）の演奏音を再生する。演奏パートは、例えば楽曲の主旋律のパートであり、再生パートは、例えば当該楽曲の伴奏のパートである。したがって、演奏者Ｐは、楽曲の再生パートを担当する仮想的な演奏者（以下「仮想演奏者」という）と当該楽曲を合奏する感覚で演奏パートを演奏する。なお、再生制御装置１００が再生パートの演奏音を再生する動作を以下では「再生動作」と表記する。なお、演奏パートと再生パートとは楽曲の共通のパートでもよい。
　第１実施形態の再生制御装置１００は、演奏者Ｐによる演奏を解析した結果に応じたメッセージ（以下「感想メッセージ」という）を再生動作に並行して順次に表示する。感想メッセージは、仮想演奏者が演奏者Ｐの演奏について抱く感情を表現した文字列であり、仮想演奏者の発言または心情として演奏者Ｐに報知される。
　図１に例示される通り、第１実施形態の再生制御装置１００は、制御装置１１と記憶装置１２と収音装置１３と放音装置１４と表示装置１５とを具備する。制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、再生制御装置１００を構成する各要素（記憶装置１２，収音装置１３，放音装置１４および表示装置１５）を統括的に制御する。
　記憶装置１２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成され、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、再生制御装置１００とは別体の記憶装置１２（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置１１が記憶装置１２に対する書込および読出を実行してもよい。すなわち、記憶装置１２は再生制御装置１００から省略され得る。
　第１実施形態の記憶装置１２は、楽曲の内容（すなわち楽譜）を表す楽曲データＤを記憶する。図１に例示される通り、楽曲データＤは、演奏データＤ1と再生データＤ2とで構成される。演奏データＤ1は、演奏者Ｐが演奏する演奏パートの内容（例えば演奏パートを構成する音符列）を指定する。他方、再生データＤ2は、再生制御装置１００が再生する再生パートの内容（例えば再生パートを構成する音符列）を指定する。演奏データＤ1および再生データＤ2の各々は、例えば、発音または消音を指示する指示データと、当該指示データの発生時点を指定する時間データとが時系列に配列されたＭＩＤＩ（Musical Instrument Digital Interface）形式の時系列データである。指示データは、例えば音高と強度とを指定して発音または消音等の動作を指示する。時間データは、例えば相前後する指示データの間隔を指定する。
　記憶装置１２は、複数の感想メッセージＭaを記憶する。具体的には、仮想演奏者の相異なる感情を表現する複数の感想メッセージＭaが記憶装置１２に記憶される。複数の感想メッセージＭaの各々には識別情報が付与される。記憶装置１２に記憶された複数の感想メッセージＭaのうち演奏者Ｐによる演奏に応じて選択された感想メッセージＭaが演奏者Ｐに対して出力される。
　収音装置１３は、演奏者Ｐによる演奏で楽器から発音された演奏音を収音し、当該演奏音の波形を表す音響信号Ｘを生成する。例えばマイクロホンが収音装置１３として好適に採用される。電気弦楽器等の電気楽器から出力される音響信号Ｘを利用してもよい。したがって、収音装置１３は省略され得る。なお、収音装置１３が生成した音響信号Ｘをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。
　表示装置１５は、制御装置１１による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）表示パネルが表示装置１５として好適に採用される。第１実施形態の表示装置１５は、感想メッセージＭaを表示する。放音装置１４（スピーカまたはヘッドホン）は、再生制御装置１００から指示された音響を再生する。第１実施形態の放音装置１４は、再生制御装置１００による制御のもとで再生パートの演奏音を再生する。
　制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、楽曲の再生パートの再生と感想メッセージＭaの出力とを実現するための複数の機能（解析処理部２１，再生制御部２２および出力処理部２３）を実現する。なお、制御装置１１の機能を複数の装置の集合（すなわちシステム）で実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
　解析処理部２１は、演奏者Ｐによる演奏パートの演奏を解析する。具体的には、解析処理部２１は、収音装置１３が生成した音響信号Ｘを解析することで、演奏者Ｐが演奏している楽曲内の位置（以下「演奏位置」という）Ｑ1と、演奏者Ｐによる演奏の速度（以下「演奏速度」という）Ｑ2と、演奏者Ｐによる演奏の巧拙の指標（以下「評価指標」という）Ｑ3とを算定する。解析処理部２１による各指標Ｑ（Ｑ1～Ｑ3）の算定は、演奏者Ｐによる演奏に並行して順次に（すなわち相異なる複数の時点において）反復される。演奏位置Ｑ1は「第１指標」の例示であり、演奏速度Ｑ2は「第２指標」の例示であり、評価指標Ｑ3は「第３指標」の例示である。
　第１実施形態の解析処理部２１は、音響信号Ｘと楽曲データＤの演奏データＤ1（すなわち演奏パートの演奏内容）とを相互に照合することで演奏位置Ｑ1を算定する。解析処理部２１による演奏位置Ｑ1の推定には、公知の解析技術（スコアアライメント技術）が任意に採用され得る。例えば、特許文献１に開示された解析技術を演奏位置Ｑ1の推定に利用することが可能である。また、ニューラルネットワークまたは多分木等の識別モデルを演奏位置Ｑ1の推定に利用してもよい。例えば、多数の演奏音の特徴量を教師データとして利用した機械学習（例えば深層学習）により識別モデルが生成される。解析処理部２１は、音響信号Ｘから抽出される特徴量を学習済の識別モデルに付与することで演奏位置Ｑ1を推定する。また、解析処理部２１は、演奏位置Ｑ1の時間的な変化を演奏速度Ｑ2（テンポ）として算定する。
　また、解析処理部２１は、音響信号Ｘが表す演奏と演奏データＤ1が表す演奏（すなわち模範的な演奏）との類似の度合に応じた評価指標Ｑ3を算定する。具体的には、解析処理部２１は、音響信号Ｘが表す演奏と演奏データＤ1が表す演奏との間において各音符の発音の時点の時間的な誤差を評価することで、演奏者Ｐが各音符を演奏した時点の適否を表す評価指標Ｑ3を算定する。例えば、音響信号Ｘが表す演奏と演奏データＤ1が表す演奏との間で各音符の発音の時点の誤差が小さいほど（演奏者Ｐによる各音符の演奏の時点が模範的な演奏に近いほど）、評価指標Ｑ3が大きい数値となる場合を想定する。なお、演奏位置Ｑ1を推定する処理のなかで算定される指標（例えば演奏位置Ｑ1の尤度）を評価指標Ｑ3として利用してもよい。
　図１の再生制御部２２は、楽曲データＤの再生データＤ2が表す再生パートの演奏音を放音装置１４に再生させる。すなわち、再生制御部２２は、再生パートの再生動作を放音装置１４に実行させる。具体的には、再生制御部２２は、再生データＤ2が指定する再生パートの各音符の波形を表す音響信号Ｙを生成して放音装置１４に供給する。再生データＤ2に対応する音響信号Ｙの生成には公知の音響生成処理（例えばソフトウェア音源）が任意に採用される。なお、再生制御部２２がＭＩＤＩ音源等の音源回路に音響信号Ｙを生成させてもよい。なお、再生制御部２２が生成した音響信号Ｙをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。
　第１実施形態の再生制御部２２は、解析処理部２１が演奏者Ｐの演奏を解析した結果に応じて放音装置１４による再生動作を制御する。具体的には、再生制御部２２は、解析処理部２１が推定した演奏位置Ｑ1の進行に再生動作が追従するように音響信号Ｙを生成する。例えば、再生制御部２２は、演奏位置Ｑ1の進行が速い場合（すなわち演奏速度Ｑ2が速い場合）には再生パートの再生速度（テンポ）を上昇させ、演奏位置Ｑ1の進行が遅い場合には再生パートの再生速度を低下させる。すなわち、演奏位置Ｑ1の進行（時間軸上の移動）に同期するように、演奏者Ｐによる演奏と同等の演奏速度で再生パートの再生動作が実行される。したがって、演奏者Ｐは、仮想演奏者が恰も自分の演奏に合わせて再生パートを演奏してくれているような感覚で演奏パートを演奏できる。
　出力処理部２３は、感想メッセージＭaを表示装置１５に表示させる。第１実施形態の出力処理部２３は、図２の演奏画面Ｇaを表示装置１５に表示させる。図２に例示される通り、演奏画面Ｇaは、楽譜領域Ｇa1と演奏者画像Ｇa2と感想メッセージＭaとを含む画像である。楽譜領域Ｇa1には、演奏データＤ1が示す演奏パートの複数の音符の時系列が、音高軸と時間軸とを含む座標平面に表示（すなわちピアノロール表示）される。また、演奏位置Ｑ1を示す指示子Ｇa3が楽譜領域Ｇa1に表示され、演奏者Ｐによる演奏（すなわち演奏位置Ｑ1の進行）に連動して時間軸上を移動する。演奏者画像Ｇa2は、仮想演奏者を表す画像（キャラクタ）である。
　感想メッセージＭaは、仮想演奏者の発言であることを表す吹出しに表示される。出力処理部２３は、記憶装置１２に記憶された複数の感想メッセージＭaのうち、解析処理部２１が演奏者Ｐの演奏を解析した結果に対応した感想メッセージＭaを表示装置１５に表示させる。図３は、出力処理部２３が感想メッセージＭaを表示装置１５に表示させる処理（以下「情報出力処理」という）を例示するフローチャートである。情報出力処理は、所定の周期で反復される。
　情報出力処理を開始すると、出力処理部２３は、解析処理部２１が算定した指標Ｑ（Ｑ1～Ｑ3）が所定の条件を満たすか否かを判定する（Ｓ31）。第１実施形態の出力処理部２３は、指標Ｑが所定の範囲内にあるか否かを判定する。具体的には、出力処理部２３は、演奏速度Ｑ2が所定の範囲内の数値であるか否かを判定し、評価指標Ｑ3が所定の閾値Ｔ3を上回るか否かを判定する。出力処理部２３は、指標Ｑに関する判定結果が変化したか否かを判定する（Ｓ32）。判定結果が変化した場合（Ｓ32：YES）、出力処理部２３は、記憶装置１２に記憶された複数の感想メッセージＭaのうち、判定結果が変化した条件に対応する感想メッセージＭaを表示装置１５に表示させる（Ｓ33）。具体的には、出力処理部２３は、判定結果が変化した条件に対応する識別情報を生成し、当該識別情報に対応する感想メッセージＭaを記憶装置１２から選択して表示装置１５に表示させる。以上の説明から理解される通り、指標Ｑが所定の条件を満たすか否かを判定した結果が変化するたびに、当該条件に対応する感想メッセージＭaが表示装置１５に表示される。したがって、演奏者Ｐが自分の演奏を迅速に修正できるという利点がある。
　例えば、演奏速度Ｑ2が所定の範囲（以下「標準範囲」という）内の数値から標準範囲の上限値を上回る数値に変化した場合、出力処理部２３は、演奏速度Ｑ2が速いことを意味する感想メッセージＭa「はやすぎ！」を表示装置１５に表示させる。演奏速度Ｑ2が標準範囲内の数値から標準範囲の下限値を下回る数値に変化した場合、出力処理部２３は、演奏速度Ｑ2が遅いことを意味する感想メッセージＭa「おそいよ！」を表示装置１５に表示させる。他方、演奏速度Ｑ2が標準範囲の外側の数値から内側の数値に変化した場合、出力処理部２３は、演奏速度Ｑ2が適切であることを意味する感想メッセージＭa「ちょうどいいテンポ！」を表示装置１５に表示させる。以上の説明から理解される通り、表示装置１５に表示される感想メッセージＭaは、演奏者Ｐによる演奏速度Ｑ2が標準範囲内の数値となるように演奏者Ｐを案内する情報である。
　また、評価指標Ｑ3が所定の閾値を下回る数値から当該閾値を上回る数値に変化した場合、出力処理部２３は、各音符の演奏の時点が適切であることを意味する感想メッセージＭa「タイミングぴったり！」を表示装置１５に表示させる。他方、評価指標Ｑ3が所定の閾値を上回る数値から当該閾値を下回る数値に変化した場合、出力処理部２３は、各音符の演奏の時点がずれていることを意味する感想メッセージＭa「タイミングあってないよ！」を表示装置１５に表示させる。
　以上に例示した感想メッセージＭaは、指標Ｑが所定の条件を満たすか否かの判定（Ｓ31）の結果が変化するたびに、所定の時間（以下「表示継続時間」という）にわたり表示装置１５に表示され、表示継続時間の経過により演奏画面Ｇaから消去される。例えば、前述の「はやすぎ！」という感想メッセージＭaは、演奏速度Ｑ2が所定の範囲内の数値から当該範囲の上限値を上回る数値に変化した時点で表示装置１５に表示され、表示の開始から表示継続時間が経過した時点で演奏画面Ｇaから消去される。同様に、例えば前述の「タイミングぴったり！」という感想メッセージＭaは、評価指標Ｑ3が所定の閾値を下回る数値から当該閾値を上回る数値に変化した時点で表示装置１５に表示され、表示の開始から表示継続時間が経過した時点で演奏画面Ｇaから消去される。
　図４は、再生制御装置１００の動作（再生制御方法の一例）を例示するフローチャートである。例えば所定の周期で図４の処理が反復される。図４の処理を開始すると、解析処理部２１は、演奏者Ｐによる演奏パートの演奏を解析する（Ｓ1）。具体的には、解析処理部２１は、収音装置１３が生成した音響信号Ｘを解析することで、演奏位置Ｑ1と演奏速度Ｑ2と評価指標Ｑ3とを算定する。
　再生制御部２２は、再生データＤ2が表す再生パートの再生動作を放音装置１４に実行させる一方、解析処理部２１が演奏者Ｐの演奏を解析した結果に応じて再生動作を制御する（Ｓ2）。具体的には、再生制御部２２は、再生パートの再生動作が演奏位置Ｑ1の進行に追従するように音響信号Ｙを生成する。他方、出力処理部２３は、図３の情報出力処理により、演奏者Ｐによる演奏に関する感想メッセージＭaを解析処理部２１による解析の結果に応じて表示装置１５に表示させる（Ｓ3）。以上に説明した処理が所定の周期で反復されることで、演奏者Ｐによる楽曲の演奏に並行して感想メッセージＭaが随時に表示される。なお、再生動作の制御（Ｓ2）と感想メッセージＭaの表示（Ｓ3）との順序を逆転してもよい。
　以上に説明した通り、第１実施形態では、演奏者Ｐによる演奏を解析した結果に応じて演奏音の再生が制御されるだけでなく、当該解析の結果に応じた感想メッセージＭaが出力される。したがって、仮想的な他の演奏者と協調して演奏しているような感覚を演奏者Ｐに付与することが可能である。また、演奏音の再生の制御と感想メッセージＭaの出力とに解析の結果が共用されるから、演奏音の再生の制御と感想メッセージＭaの出力とのために別個の処理が必要である構成と比較して処理が簡素化されるという利点もある。
＜第２実施形態＞
　本発明の第２実施形態について説明する。以下に例示する各態様において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　第１実施形態では、再生パートの再生動作に並行して感想メッセージＭaを表示した。第２実施形態では、第１実施形態と同様に再生動作に並行して感想メッセージＭaを表示するほか、楽曲全体にわたる演奏の総評を表すメッセージ（以下「総評メッセージ」という）を楽曲の演奏終了後に表示する。なお、第１実施形態で例示した感想メッセージＭaの表示を、第２実施形態では省略してもよい。
　第２実施形態の出力処理部２３は、楽曲演奏が終了すると、図５の総評画面Ｇbを表示装置１５に表示させる。総評画面Ｇbは、演奏者画像Ｇb1と集計領域Ｇb2と評価領域Ｇb3とを含んで構成される。演奏者画像Ｇb1は、仮想演奏者を表す画像である。
　集計領域Ｇb2は、演奏中に頻繁に表示された感想メッセージＭaが配置される領域である。具体的には、表示回数の降順で上位に位置する所定個の感想メッセージＭaが表示回数とともに集計領域Ｇb2に表示される。演奏者Ｐは、集計領域Ｇb2を視認することで、自分の演奏の傾向を確認することが可能である。
　第２実施形態の記憶装置１２には複数の総評メッセージＭbが記憶される。複数の総評メッセージＭbの各々には、感想メッセージＭaの識別情報が付加されている。出力処理部２３は、楽曲の演奏中に表示装置１５に表示された感想メッセージＭaのうち最頻の感想メッセージＭaに対応する総評メッセージＭbを表示装置１５に表示させる。すなわち、総評メッセージＭbは、楽曲全体にわたる演奏者Ｐの演奏傾向について仮想演奏者が抱く感情を表現した文字列である。例えば、「タイミングぴったり！」という感想メッセージＭaが楽曲の演奏中に最頻である場合には、図５に例示される通り、「あわせやすくて演奏たのしかった！」という総評メッセージＭbが評価領域Ｇb3に表示される。
　第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、楽曲全体にわたる演奏の総評を表す総評メッセージＭbが表示装置１５に表示されるから、楽曲全体にわたる演奏の傾向を演奏者Ｐが把握できるという利点がある。
＜変形例＞
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態では、解析処理部２１が演奏位置Ｑ1と演奏速度Ｑ2と評価指標Ｑ3とを算定したが、演奏者Ｐによる演奏について解析処理部２１が算定する指標Ｑは、以上の例示に限定されない。例えば、演奏者Ｐによる演奏と再生パートの演奏音との間における時間的な誤差（例えば拍点のズレ）の指標Ｑ4を解析処理部２１が算定してもよい。出力処理部２３は、例えば、指標Ｑ4が所定の閾値を上回る場合には「あわせにくい！」等の感想メッセージＭaを表示装置１５に表示させ、指標Ｑ4が閾値を下回る場合には「あわせやすい！」等の感想メッセージＭaを表示装置１５に表示させる。指標Ｑ4は「第４指標」の例示である。また、演奏者Ｐによる演奏ミスの有無を表す指標Ｑ5を解析処理部２１が算定してもよい。例えば、音響信号Ｘの音量が所定の時間にわたり所定値を下回る場合（演奏者Ｐによる演奏ミスで演奏が中断した場合）、指標Ｑ5は、演奏ミスの発生を示す数値に設定される。指標Ｑ5は「第５指標」の例示である。
（２）演奏者Ｐによる演奏に並行して感想メッセージＭaを順次に表示する情報出力処理の有効／無効を演奏者Ｐが任意に選択できる構成も採用される。情報出力処理の有効が選択された場合、前述の各形態と同様に、演奏者Ｐによる演奏に並行して感想メッセージＭaの表示と再生パートの演奏音の再生とが実行される。他方、情報出力処理の無効が選択された場合、演奏者Ｐによる演奏に並行して再生パートの演奏音の再生は実行されるが、感想メッセージＭaの表示は省略される。
（３）複数の仮想演奏者の何れかを演奏者Ｐが選択できる構成も好適である。記憶装置１２には、複数の感想メッセージＭaが仮想演奏者毎に個別に記憶される。各感想メッセージＭaの内容は仮想演奏者毎に相違する。出力処理部２３は、複数の仮想演奏者のうち演奏者Ｐが選択した仮想演奏者について記憶装置１２に記憶された複数の感想メッセージＭaを当該演奏者Ｐの演奏に応じて選択的に表示装置１５に表示させる。したがって、演奏者Ｐの演奏が同様である場合でも、演奏者Ｐが選択した仮想演奏者が相違する場合には、別個の感想メッセージＭaが表示される。
（４）前述の各形態では、演奏者Ｐによる楽曲の演奏を解析したが、解析処理部２１による解析の対象は、演奏者Ｐによる演奏に限定されない。例えば、ダンサーによるダンスを解析処理部２１が解析してもよい。具体的には、ダンサーの身体に装着された加速度センサー、または、ダンサーを撮像する撮像装置からの出力信号を解析することで、解析処理部２１は、例えばダンスのリズム（拍点）を推定する。再生制御部２２は、再生データＤ2が表す再生パートの再生動作を放音装置１４に実行させ、解析処理部２１がダンスを解析した結果に応じて再生動作を制御する。具体的には、ダンスのリズムに同期するように再生動作を制御する。出力処理部２３は、解析処理部２１がダンスを解析した結果に応じた感想メッセージＭaを表示装置１５に表示させる。以上の説明から理解される通り、解析処理部２１は、実演者による実演を解析する要素として包括的に表現される。実演者の具体例は演奏者Ｐまたはダンサーであり、実演の具体例は演奏またはダンスである。
（５）前述の各形態では、感想メッセージＭaを表示装置１５に表示したが、感想メッセージＭaを利用者に報知する方法は以上の例示に限定されない。例えば、感想メッセージＭaを発音した音声を放音装置１４から再生することで演奏者Ｐに報知してもよい。感想メッセージＭaを発音した音声は、記憶装置１２に音声データとして記憶されていてもよいし、公知の音声合成技術により生成されてもよい。以上の説明から理解される通り、感想メッセージＭaの出力は、表示装置１５による表示と放音装置１４による再生との双方を包含する。なお、以上の例示では感想メッセージＭaに着目したが、第２実施形態における総評メッセージＭbについても同様に、放音装置１４から音声として再生してもよい。
（６）第２実施形態では、楽曲の全体にわたる総評を表す総評メッセージＭbを表示装置１５に表示したが、楽曲を時間軸上で区分した複数の区間の各々について総評メッセージＭbを個別に選択して表示装置１５に表示してもよい。例えば、図６に例示される通り、楽曲の序盤については総評メッセージＭb1が表示され、楽曲の中盤については総評メッセージＭb2が表示され、楽曲の終盤については総評メッセージＭb3が表示される。
（７）前述の各形態では、収音装置１３または電気楽器から出力される音響信号Ｘを解析することで指標Ｑ（Ｑ1～Ｑ5）を算定したが、演奏者Ｐの演奏に関する指標Ｑの算定に利用される情報は音響信号Ｘに限定されない。例えば、ＭＩＤＩ楽器等の電子楽器から出力される時系列データを解析することで、演奏者Ｐの演奏に関する指標Ｑを算定してもよい。
（８）前述の各形態では、演奏位置Ｑ1の進行に追従するように再生動作を制御したが、解析処理部２１による解析結果（指標Ｑ）に応じて再生動作を制御する具体的な方法は以上の例示に限定されない。例えば、解析処理部２１が音響信号Ｘの音量を算定する構成では、再生パートの演奏音の音量が音響信号Ｘの音量に応じて変動するように再生動作を制御してもよい。
（９）前述の各形態で例示した通り、再生制御装置１００は、制御装置１１とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、実演者による実演を解析する解析処理部２１、楽曲データＤが表す楽曲の演奏音を放音装置１４に再生させる再生制御部２２であって、解析処理部２１による解析の結果に応じて演奏音の再生を制御する再生制御部２２、および、解析処理部２１による解析の結果に応じて前記実演に関するメッセージを出力する出力処理部２３としてコンピュータを機能させるプログラムである。
　以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、「非一過性の記録媒体」とは、一過性の伝搬信号（transitory, propagating signal）を除く全てのコンピュータ読み取り可能な記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
（１０）以上に例示した具体的な形態から把握される本発明の好適な態様を以下に例示する。
　本発明の好適な態様（態様１）に係る再生制御方法は、実演者による実演を解析し、楽曲データが表す楽曲の演奏音の再生を前記解析の結果に応じて制御し、前記解析の結果に応じて前記実演に関するメッセージを出力する。以上の態様では、実演者による実演を解析した結果に応じて楽曲の演奏音の再生が制御され、かつ、当該解析の結果に応じて実演に関するメッセージが出力される。したがって、仮想的な演奏者と協調して実演しているような感覚を実演者に付与することが可能である。
　態様１の好適例（態様２）において、前記実演の解析では、前記楽曲内で前記実演者が演奏している位置を推定し、前記再生の制御においては、前記推定した位置の進行に追従するように前記楽曲の演奏音の再生を制御する。以上の態様では、実演者が演奏する位置の進行に追従するように楽曲の演奏音が再生されるから、実演者は、仮想的な演奏者が恰も自分の演奏に合わせて演奏しているかのような感覚で楽曲を演奏できる。
　態様１または態様２の好適例（態様３）において、前記実演の解析では、前記実演者が演奏している前記楽曲内の位置を示す第１指標と、前記演奏の速度を示す第２指標と、前記演奏の巧拙を示す第３指標と、前記演奏と前記再生させる演奏音との時間的な誤差を示す第４指標と、前記実演者による演奏ミスの有無を示す第５指標との一部または全部を算定する。
　態様１から態様３の何れかの好適例（態様４）において、前記解析の結果が所定の条件を満たすか否かを判定し、前記判定の結果が変化するたびに前記メッセージを出力する。以上の態様では、解析の結果が所定の条件を満たすか否かの判定の結果が変化するたびにメッセージが出力されるから、演奏者がメッセージの内容を迅速に自分の演奏に反映させることが可能である。態様４の好適例において、前記判定では、前記解析により算定された指標が所定の範囲内にあるか否かを判定する。
　態様１から態様４の何れかの好適例（態様５）において、前記メッセージは、前記解析の結果に関する感情を表す。以上の態様では、解析の結果に関する感情を表すメッセージが出力されるから、仮想的な演奏者と協調して実演しているような感覚を実演者に付与することが可能である。
　本発明の好適な態様（態様６）に係る再生制御装置は、実演者による実演を解析する解析処理部と、楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御部であって、前記解析処理部による解析の結果に応じて前記演奏音の再生を制御する再生制御部と、前記解析処理部による解析の結果に応じて前記実演に関するメッセージを出力する出力処理部とを具備する。以上の態様では、実演者による実演を解析した結果に応じて楽曲の演奏音の再生が制御され、かつ、当該解析の結果に応じて実演に関するメッセージが出力される。したがって、仮想的な演奏者と協調して実演しているような感覚を実演者に付与することが可能である。
　態様６の好適例（態様７）において、前記解析処理部は、前記楽曲内で前記実演者が演奏している位置を推定し、前記再生制御部は、前記推定した位置の進行に追従するように前記楽曲の演奏音を前記放音装置に再生させる。以上の態様では、実演者が演奏する位置の進行に追従するように楽曲の演奏音が再生されるから、実演者は、仮想的な演奏者が恰も自分の演奏に合わせて演奏しているかのような感覚で楽曲を演奏できる。
　態様６または態様７の好適例（態様８）において、前記解析処理部は、前記実演者が演奏している前記楽曲内の位置を示す第１指標と、前記演奏の速度を示す第２指標と、前記演奏の巧拙を示す第３指標と、前記演奏と前記放音装置に再生させる演奏音との時間的な誤差を示す第４指標と、前記実演者による演奏ミスの有無を示す第５指標との一部または全部を算定する。
　態様６から態様８の何れかの好適例（態様９）において、前記出力処理部は、前記解析の結果が所定の条件を満たすか否かを判定し、前記判定の結果が変化するたびに前記メッセージを出力する。以上の態様では、解析の結果が所定の条件を満たすか否かの判定の結果が変化するたびにメッセージが出力されるから、演奏者がメッセージの内容を迅速に自分の演奏に反映させることが可能である。態様９の好適例において、前記出力処理部は、前記解析処理部が算定した指標が所定の範囲内にあるか否かを判定する。
　態様６から態様９の何れかの好適例（態様１０）において、前記メッセージは、前記解析の結果に関する感情を表す。以上の態様では、解析の結果に関する感情を表すメッセージが出力されるから、仮想的な演奏者と協調して実演しているような感覚を実演者に付与することが可能である。
　本発明の好適な態様（態様１１）に係るプログラムは、実演者による実演を解析する解析処理と、楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御処理であって、前記解析処理による解析の結果に応じて前記演奏音の再生を制御する再生制御処理と、前記解析処理による解析の結果に応じて前記実演に関するメッセージを出力する出力処理とをコンピュータに実行させる。以上の態様では、実演者による実演を解析した結果に応じて楽曲の演奏音の再生が制御され、かつ、当該解析の結果に応じて実演に関するメッセージが出力される。したがって、仮想的な演奏者と協調して実演しているような感覚を実演者に付与することが可能である。
１００…再生制御装置、１１…制御装置、１２…記憶装置、１３…収音装置、１４…放音装置、１５…表示装置、２１…解析処理部、２２…再生制御部、２３…出力処理部、Ｇa…演奏画面、Ｇb…総評画面。

Claims (15)

  1. 　実演者による実演を解析し、
    　楽曲データが表す楽曲の演奏音の再生を前記解析の結果に応じて制御し、
    　前記解析の結果に応じて前記実演に関するメッセージを出力する
    　コンピュータにより実現される再生制御方法。
  2. 　前記実演の解析においては、前記楽曲内で前記実演者が演奏している位置を推定し、
    　前記再生の制御においては、前記推定した位置の進行に追従するように前記楽曲の演奏音の再生を制御する
    　請求項１の再生制御方法。
  3. 　前記実演の解析においては、
    　前記実演者が演奏している前記楽曲内の位置を示す第１指標と、
    　前記演奏の速度を示す第２指標とを算定する
    　請求項１または請求項２の再生制御方法。
  4. 　前記実演の解析においては、
    　前記実演者による演奏の巧拙を示す第３指標と、
    　前記演奏と前記演奏音との時間的な誤差を示す第４指標と、
    　前記実演者による演奏ミスの有無を示す第５指標とを算定する
    　請求項１から請求項３の何れかの再生制御方法。
  5. 　前記解析の結果が所定の条件を満たすか否かを判定し、
    　前記判定の結果が変化するたびに前記メッセージを出力する
    　請求項１の再生制御方法。
  6. 　前記判定においては、前記解析により算定された指標が所定の範囲内にあるか否かを判定する
    　請求項５の再生制御方法。
  7. 　前記メッセージは、前記解析の結果に関する感情を表す
    　請求項１から請求項６の何れかの再生制御方法。
  8. 　実演者による実演を解析する解析処理部と、
    　楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御部であって、前記解析処理部による解析の結果に応じて前記演奏音の再生を制御する再生制御部と、
    　前記解析処理部による解析の結果に応じて前記実演に関するメッセージを出力する出力処理部と
    　を具備する再生制御装置。
  9. 　前記解析処理部は、前記楽曲内で前記実演者が演奏している位置を推定し、
    　前記再生制御部は、前記推定した位置の進行に追従するように前記楽曲の演奏音を前記放音装置に再生させる
    　請求項８の再生制御装置。
  10. 　前記解析処理部は、
    　前記実演者が演奏している前記楽曲内の位置を示す第１指標と、
    　前記演奏の速度を示す第２指標とを算定する
    　請求項８または請求項９の再生制御装置。
  11. 　前記解析処理部は、
    　前記実演者による演奏の巧拙を示す第３指標と、
    　前記演奏と前記放音装置に再生させる演奏音との時間的な誤差を示す第４指標と、
    　前記実演者による演奏ミスの有無を示す第５指標とを算定する
    　請求項８から請求項１０の何れかの再生制御装置。
  12. 　前記出力処理部は、前記解析の結果が所定の条件を満たすか否かを判定し、前記判定の結果が変化するたびに前記メッセージを出力する
    　請求項８の再生制御装置。
  13. 　前記出力処理部は、前記解析処理部が算定した指標が所定の範囲内にあるか否かを判定する
    　請求項１２の再生制御装置。
  14. 　前記メッセージは、前記解析の結果に関する感情を表す
    　請求項８から請求項１３の何れかの再生制御装置。
  15. 　実演者による実演を解析する解析処理と、
    　楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御処理であって、前記解析処理による解析の結果に応じて前記演奏音の再生を制御する再生制御処理と、
    　前記解析処理による解析の結果に応じて前記実演に関するメッセージを出力する出力処理と
    　をコンピュータに実行させるプログラム。
PCT/JP2018/032579 2017-09-22 2018-09-03 再生制御方法、再生制御装置およびプログラム WO2019058942A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880056884.9A CN111052223B (zh) 2017-09-22 2018-09-03 播放控制方法、播放控制装置及记录介质
US16/800,993 US11348561B2 (en) 2017-09-22 2020-02-25 Performance control method, performance control device, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017182246A JP6724879B2 (ja) 2017-09-22 2017-09-22 再生制御方法、再生制御装置およびプログラム
JP2017-182246 2017-09-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/800,993 Continuation US11348561B2 (en) 2017-09-22 2020-02-25 Performance control method, performance control device, and program

Publications (1)

Publication Number Publication Date
WO2019058942A1 true WO2019058942A1 (ja) 2019-03-28

Family

ID=65810682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032579 WO2019058942A1 (ja) 2017-09-22 2018-09-03 再生制御方法、再生制御装置およびプログラム

Country Status (4)

Country Link
US (1) US11348561B2 (ja)
JP (1) JP6724879B2 (ja)
CN (1) CN111052223B (ja)
WO (1) WO2019058942A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147307A1 (en) * 2020-11-06 2022-05-12 Yamaha Corporation Audio processing system, audio processing method and recording medium
US11430417B2 (en) * 2017-11-07 2022-08-30 Yamaha Corporation Data generation device and non-transitory computer-readable storage medium

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6724879B2 (ja) * 2017-09-22 2020-07-15 ヤマハ株式会社 再生制御方法、再生制御装置およびプログラム
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
US20220036866A1 (en) * 2020-07-31 2022-02-03 Yamaha Corporation Reproduction control method, reproduction control system, and reproduction control apparatus
US11893898B2 (en) 2020-12-02 2024-02-06 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11972693B2 (en) * 2020-12-02 2024-04-30 Joytunes Ltd. Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument
US11670188B2 (en) 2020-12-02 2023-06-06 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11900825B2 (en) 2020-12-02 2024-02-13 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
CN116940979A (zh) * 2021-03-09 2023-10-24 雅马哈株式会社 信号处理系统、信号处理方法及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012532340A (ja) * 2009-07-02 2012-12-13 ザ ウェイ オブ エイチ， インコーポレイテッド 音楽教育システム
JP2015079183A (ja) * 2013-10-18 2015-04-23 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
JP2015194767A (ja) * 2015-06-29 2015-11-05 ヤマハ株式会社 音声評価装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US7098392B2 (en) * 1996-07-10 2006-08-29 Sitrick David H Electronic image visualization system and communication methodologies
US7423213B2 (en) * 1996-07-10 2008-09-09 David Sitrick Multi-dimensional transformation systems and display communication architecture for compositions and derivations thereof
EP0837436A1 (en) * 1996-10-18 1998-04-22 Yamaha Corporation Musical performance teaching system and method, and machine readable medium containing program therefore
JP3801356B2 (ja) * 1998-07-22 2006-07-26 ヤマハ株式会社 データ付き楽曲情報作成装置、再生装置、送受信システム及び記録媒体
JP3772635B2 (ja) * 2000-03-27 2006-05-10 カシオ計算機株式会社 演奏教習システム
JP3659190B2 (ja) * 2001-04-12 2005-06-15 ヤマハ株式会社 再生制御装置、方法及びプログラム
JP3867515B2 (ja) * 2001-05-11 2007-01-10 ヤマハ株式会社 楽音制御システムおよび楽音制御装置
JP4221567B2 (ja) * 2002-12-02 2009-02-12 カシオ計算機株式会社 演奏練習装置、演奏練習方法および演奏練習プログラム
JP2004205567A (ja) * 2002-12-24 2004-07-22 Casio Comput Co Ltd 演奏評価装置および演奏評価プログラム
JP2006201654A (ja) 2005-01-24 2006-08-03 Yamaha Corp 伴奏追従システム
CN101657817A (zh) * 2007-02-14 2010-02-24 缪斯亚米有限公司 基于音乐的搜索引擎
JP4921343B2 (ja) * 2007-12-26 2012-04-25 株式会社河合楽器製作所 演奏評価装置，プログラムおよび電子楽器
CN201294089Y (zh) * 2008-11-17 2009-08-19 音乐传奇有限公司 互动音乐演奏设备
US8148621B2 (en) * 2009-02-05 2012-04-03 Brian Bright Scoring of free-form vocals for video game
US9292166B2 (en) * 2009-03-18 2016-03-22 Touchtunes Music Corporation Digital jukebox device with improved karaoke-related user interfaces, and associated methods
WO2011030225A2 (en) * 2009-09-14 2011-03-17 Joytunes, Ltd. System and method for improving musical education
CA2849069C (en) * 2011-09-18 2017-08-22 Touchtunes Music Corporation Digital jukebox device with karaoke and/or photo booth features, and associated methods
US9087234B2 (en) * 2013-03-15 2015-07-21 Nike, Inc. Monitoring fitness using a mobile device
US9857934B2 (en) * 2013-06-16 2018-01-02 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations
US9064484B1 (en) * 2014-03-17 2015-06-23 Singon Oy Method of providing feedback on performance of karaoke song
JP6467887B2 (ja) 2014-11-21 2019-02-13 ヤマハ株式会社 情報提供装置および情報提供方法
CN105489209A (zh) * 2016-01-19 2016-04-13 李元辉 一种电声乐器节奏可控的方法及其对卡拉ok的改进
JP6724879B2 (ja) * 2017-09-22 2020-07-15 ヤマハ株式会社 再生制御方法、再生制御装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012532340A (ja) * 2009-07-02 2012-12-13 ザ ウェイ オブ エイチ， インコーポレイテッド 音楽教育システム
JP2015079183A (ja) * 2013-10-18 2015-04-23 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
JP2015194767A (ja) * 2015-06-29 2015-11-05 ヤマハ株式会社 音声評価装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430417B2 (en) * 2017-11-07 2022-08-30 Yamaha Corporation Data generation device and non-transitory computer-readable storage medium
US20220147307A1 (en) * 2020-11-06 2022-05-12 Yamaha Corporation Audio processing system, audio processing method and recording medium
US11609736B2 (en) * 2020-11-06 2023-03-21 Yamaha Corporation Audio processing system, audio processing method and recording medium

Also Published As

Publication number Publication date
JP6724879B2 (ja) 2020-07-15
CN111052223A (zh) 2020-04-21
CN111052223B (zh) 2023-10-27
JP2019056871A (ja) 2019-04-11
US11348561B2 (en) 2022-05-31
US20200193948A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
WO2019058942A1 (ja) 再生制御方法、再生制御装置およびプログラム
US8907195B1 (en) Method and apparatus for musical training
KR100949872B1 (ko) 악곡 연습 지원 장치, 악곡 연습 지원 장치의 제어 방법, 악곡 연습 지원 장치를 제어하는 제어 방법을 컴퓨터로 실행시키는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
JP2011516907A5 (ja)
JP6720798B2 (ja) 演奏教習装置、演奏教習プログラム、および演奏教習方法
JP2006259471A (ja) 歌唱練習システムおよび歌唱練習システム用プログラム
WO2017125006A1 (zh) 一种电声乐器节奏可控的方法及其对卡拉ok的改进
JP4913638B2 (ja) 評価装置及びカラオケ装置
JP2009169103A (ja) 練習支援装置
JP2013024967A (ja) 表示装置、表示装置の制御方法およびプログラム
JP5387642B2 (ja) 歌詞テロップ表示装置及びプログラム
JP2013200455A (ja) 演奏練習支援システム
JP6451336B2 (ja) 録音装置、方法およびプログラム
JP2007334202A (ja) カラオケ装置
JP6838357B2 (ja) 音響解析方法および音響解析装置
JP3998461B2 (ja) 演奏練習装置、演奏練習方法、プログラム及び記録媒体
JP6862667B2 (ja) 楽譜表示制御装置及びプログラム
JP4618704B2 (ja) コード練習装置
JP2007225916A (ja) オーサリング装置、オーサリング方法およびプログラム
JP7107720B2 (ja) 運指表示プログラム
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
KR102163836B1 (ko) 자가교습 기능이 구비된 드럼용 개인교습 시스템 및 컴퓨터로 읽을 수 있는 저장매체
JP2007233078A (ja) 評価装置、制御方法及びプログラム
JP4033146B2 (ja) カラオケ装置
JP2018049125A (ja) 演奏教習装置、演奏教習プログラム、および演奏教習方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18858103

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18858103

Country of ref document: EP

Kind code of ref document: A1