WO2015093738A1 - 연주 연습 성과 관리 방법, 이를 이용한 관리시스템 및 이에 사용되는 데이터베이스 - Google Patents

연주 연습 성과 관리 방법, 이를 이용한 관리시스템 및 이에 사용되는 데이터베이스 Download PDF

Info

Publication number
WO2015093738A1
WO2015093738A1 PCT/KR2014/011310 KR2014011310W WO2015093738A1 WO 2015093738 A1 WO2015093738 A1 WO 2015093738A1 KR 2014011310 W KR2014011310 W KR 2014011310W WO 2015093738 A1 WO2015093738 A1 WO 2015093738A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
sound source
evaluation
time
unit
Prior art date
Application number
PCT/KR2014/011310
Other languages
English (en)
French (fr)
Inventor
이성호
Original Assignee
이성호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이성호 filed Critical 이성호
Publication of WO2015093738A1 publication Critical patent/WO2015093738A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Definitions

  • the present invention relates to a method of managing musical instrument practice performance and its management system that enable objectively to judge the performance of repeated performances on their own without the help of an expert.
  • Skillful handling of musical instruments requires repetitive performance exercises, depending on the level of the instructor. In order to learn how to play effectively, it is important to identify areas where it is difficult for the instructor to play correctly and to focus on those areas. In the actual lesson, the instructor feels that he is playing well, but sometimes he plays differently from the score. In addition, there are many cases where different parts of the player experience difficulties due to individual characteristics. Therefore, when creating a teaching program for a large number of tutors, it is not easy to identify the parts that are difficult to play properly.
  • the general method of teaching is the way the leader listens to the teacher's performance and directs it.
  • the teacher's professionalism is judged by the professionalism of the leader and distinguished from the wrong and well-behaved parts. Therefore, the teacher's performance tends to be highly dependent on the leader's characteristics.
  • This conventional teaching method is inefficient due to the hassle that the leader and the teacher have to meet at a certain teaching place at the appointed time, and the high cost paid to the leader.
  • the online playing teaching method is merely a method of delivering the music played by the instructor online to the leader, or evaluating whether the instructor played along the sheet music that has been formed without the leader's involvement. .
  • This conventional technology does not reach the level of the professional teaching of the leader that has been done offline, so the user's satisfaction is not so high.
  • MIR music information retrieval
  • MIR is implemented using a computer.
  • a technique for identifying and extracting a sound source of one of the instruments from a recorded sound source by playing with one or more musical instruments is developed to separate it from the original sound source. It is also used to analyze more than one sound source.
  • Music information retrieval technology is used to analyze the music information recorded as a digital signal to search for similar music or to find the required sound source information.
  • the technical part uses melody, pitch and intensity, timbre, rhythm and beat, and music meta-information, and their analytical techniques make up an area of MIR.
  • the present invention proposes a performance management method and a management system using the same, which enables various evaluations of performances in a repetitive performance of musical instruments and enables a quantitative analysis of the increase and decrease of performances with the increase in the number of performances. do. It also helps to eliminate the involvement of costly and time-consuming professional leaders.
  • the present invention is an embodiment, with respect to the exemplary performance that is the evaluation criteria, to configure a database by matching the sound source played a plurality of times to match the performance time of the exemplary performance, by the playing time
  • the present invention suggests a performance management method for performing the evaluation of the sound source.
  • the evaluation is calculated by comparing the performance characteristics of the exemplary performance and the sound source played for each playing time, the performance characteristics are at least in the group consisting of pitch, intensity, time signature, speed, the amount of change and combinations thereof It may include one.
  • the exemplary performance may be a score or a sound source played by a plurality of experts generated by statistic by the playing time.
  • the performance section of the exemplary performance matched with the sound source may be visualized and displayed through a display means to improve user convenience.
  • the evaluation may be performed by calculating a unit evaluation index based on the performance characteristics of the exemplary performance and the sound source played by the playing time, and the plurality of unit evaluation indexes obtained based on the played sound source input a plurality of times. By analyzing the statistics for each playing time, it may be to calculate the playing time evaluation index according to each playing time. In addition, in calculating the playing time evaluation index, a step of selecting a sound source to be the target of statistical analysis among a plurality of sound sources may be performed.
  • the unit evaluation index is changed to a unit number
  • the statistical analysis is added to the unit evaluation index
  • the play time evaluation index is calculated
  • the play time evaluation index is used as information on the number of exercises for each play time. It can be utilized.
  • the evaluation may be performed by calculating a unit evaluation index in consideration of the performance characteristics of the exemplary performance and the played sound source for each playing time, and the plurality of unit evaluation indexes obtained based on the played sound source input a plurality of times.
  • the number of performance evaluation index may be a step of selecting a performance sound source to be the target of the statistical analysis.
  • a model performance that is an evaluation criterion
  • a plurality of times input sound sources are matched to match the performance time of the model performance, and a database containing a sound source played for at least one model performance time is presented. do.
  • This database can be used for evaluation or to identify personal performance inclinations.
  • a performance practice performance management system including an evaluation unit for quantitatively calculating an evaluation of the sound source and an output unit for outputting the result of the evaluation unit in preparation for exemplary performance and the sound source played.
  • the instructor can manage the performance of his or her multiple times of performance without the involvement of a professional leader. As the number of playing exercises increases, the degree of improvement in performance is quantitatively evaluated. It also allows you to know the section you played differently from the model, and how much difference there is. You can also select specific performance sections to manage the performance of your performance in that performance section.
  • FIG. 1 is a view schematically showing the configuration of a performance management performance management system according to an embodiment of the present invention.
  • FIG. 2 is a view briefly showing an example to which the management system shown in FIG. 1 is applied.
  • FIG. 3 is a view schematically showing a performance practice performance management method according to an embodiment of the present invention.
  • FIG. 4 is a view related to a method for calculating a playing time evaluation index in an embodiment of the present invention.
  • FIG. 5 is a view related to another example of use of FIG. 4.
  • Figure 6 is a pig noodle associated with the method for calculating the performance evaluation index of the embodiment of the present invention.
  • FIG. 7 is a view related to another example of use of FIG. 6.
  • FIG. 8 is a view related to the performance evaluation method according to another embodiment of the present invention.
  • 'pitch' and 'pitch' mean frequency of sound and are factors for determining the height of a single sound.
  • 'Intensity', 'intensity' means the amplitude of the sound, and determines the strength of a single sound.
  • Beat is the unit on which music is accentuated, and fast is the inverse of the time interval between two neighboring beats.
  • 'Speed change' refers to the amount of change in speed measured based on two independent beats.
  • the management method and management system for performance of performance of performance assumes a situation in which a plurality of performances of performances are repeatedly performed for a piece of music. Also, the instructor does not always finish the song. For example, in the case of a piano sotana with a playing time of more than 10 minutes, it is virtually impossible to complete from start to end of each song in the practice of the song. For the participant, the practice of performance will be focused on the areas where performance is difficult or to seek out original expressions, and the part with the plain difficulty will be practiced fewer times.
  • a plurality of playing exercises are evaluated each time. Furthermore, as the number of performances increases, the degree of increase and decrease of performances for each performance is evaluated.
  • Performance practice performance management system includes an input unit 10, matching unit 20, database 30, the evaluation unit 40 and the output unit 50.
  • the matching unit 20 and the evaluating unit 40 may be implemented by one device, as one computer equipment such as a computer functions accordingly.
  • the input unit 10 may receive a sound source played and may be a microphone or a recorder that receives an analog signal. If you're using a recorder, you can record the sound you've played and enter it later.
  • the input unit 10 may further perform digital conversion. Sometimes digital conversion may be performed on an electronic instrument that has a built-in module that performs its function. In this case, the input unit may be an electric wire, a connector, or the like that receives the digital signal converted from the electronic musical instrument.
  • the matching unit 20 receives the input sound source from the input unit 10, and matches the sound source to match the playing time of the model performance.
  • the 'playing time' is a sequential representation of a real unit of measure indicating the position of a particular note in the score.
  • the playing time for five notes sequentially displayed in the fourth section is 4.1. 4.2, 4.3, 4.4, 4.5. This playing time differs from the concept of time counted from the beginning of music in that it does not take into account the flow of real time.
  • An exemplary performance used as a criterion for matching is a musical score or a professional performance sound played by at least one expert.
  • the score is analyzed to quantitatively determine the playing time, the pitch required for each playing time, the velocity, the beat, the speed, and the change in speed from the relationship with the note in the adjacent playing time. It can be calculated as
  • the professional performance sound source in the case where the professional performance sound source is used as a matching criterion, it can be obtained by digitally analyzing the professional performance sound source that played the song.
  • music information retrieval MIR may be used for digital analysis of such sound sources.
  • Professional performance sources can be obtained through media such as commercially available performance CDs or digital sound sources distributed in a specific codec.
  • MIR analyzes a plurality of professional performance sources, and extracts performance characteristics such as pitch, strength, and beat for each performance time, and uses the performance values as matching criteria in statistics. have.
  • the exemplary performance generated by statistically analyzing a plurality of professional performance sound sources differs slightly from the performance characteristic obtained by analyzing the score. This difference in performance characteristics can be seen that the song is interpreted by a professional player and transformed from the original score, and it can be seen that the artistic value is already recognized. Therefore, if the performance characteristics obtained from a number of professional performance sources are adopted as the model performance for evaluation, it may be a more valuable evaluation standard for the performance of the instructor.
  • the database 30 stores the results generated by the matching unit 20.
  • the database 30 functions as a recording device, and holds a result of matching a performance to a model performance of a plurality of times played by a teacher.
  • the database 30 is used for evaluating the sound source played by the instructor, but may be used to determine the inclination of the instructor's performance as described below. This will be described later.
  • the evaluation unit 40 is configured to perform a quantitative evaluation of the performance of the performance based on the model performance and the information of the matched sound source accordingly.
  • the evaluation unit 40 has a configuration for operating a program for retrieving necessary information from the database 30 and statistically analyzing the information.
  • Such a configuration is composed of various hardware including a central processing unit, such as a server, and may be composed of a computer, a personal portable electronic device, and the like.
  • Evaluation results made by the evaluation unit 40 may be stored in the database 30 as necessary.
  • the result of the quantitative evaluation calculated by the evaluator 40 is presented to the instructor through the output unit 50.
  • the output unit 50 may deliver the evaluation result to the user in any one of various methods such as visual, auditory, and tactile.
  • the output unit is a display means, a sound reproduction means through the speaker.
  • Implementation modules such as a vibration generating means, can be provided.
  • the output unit 50 may be configured as a communication module for transmitting an operation signal to a device having various implementation modules.
  • the implementation module may be located at a remote location and the output unit may be configured to transmit an operation signal using a network.
  • FIG. 2 shows an application example of the performance practice performance management system shown in FIG.
  • the input unit and the output unit are smartphones 100 in the area of the teacher, and the matching unit, the database, and the evaluation unit are provided in the server device 200 located at a remote location.
  • the sound source generated by the instrument is recorded through the microphone of the smartphone 100 and the recorded sound source is transmitted to the server device 200 located at a remote location as it is, or the first process including the digitalization in the smartphone 100 and then the network It is transmitted to the server device 200 provided with a matching unit through.
  • the server device 200 is connected to a database and matches the performance sound source transmitted based on the exemplary sound source to match the playing time.
  • the matched result is stored in the database.
  • the information stored in the database is evaluated by the server device 200 at the request of the instructor through the smartphone 100, the evaluation result is again through the screen of the smartphone 100, speakers, vibration motor, etc. through the network It is delivered to the instructor.
  • all of the matching unit, the database and the evaluation unit including the input unit and the output unit may be provided in the smartphone.
  • the matching unit and the evaluation unit may be remotely configured, and the smart phone may be configured to include an input unit, a database, and an output unit.
  • the sheet music in Figure 3 shows a part of the music.
  • the horizontal axis shows before and after the playing time.
  • examples of playing time are shown in the order of 1.1, 1.2, 1.3, 2.1.
  • Model performance is a numerical representation of performance characteristics over time.
  • the performance characteristics include at least one of a group consisting of pitch, intensity, time signature, speed, change amount of speed, and a combination thereof.
  • the best performance of the third note of the second bar is analyzed and the pitch is 8.4 Hz, it is stored in the following format.
  • performance characteristics to be analyzed are set to three types of pitch, intensity, and time signature, they are displayed as vector values according to the set number of performance characteristics.
  • exemplary performance M is a vector, and each of the vector components c 1 , c 2 , and c 3 represents the numerical characteristics of the pitch, intensity, and beat performance.
  • This vector of performance characteristics is generated for each performance time.
  • P 1 , P 2 , P 3, etc. of FIG. 3 sequentially represent sound sources input and played by the instructor, and the vertical axis in FIG. 3 is related to the number of times the instructor has played.
  • a known audio search algorithm may be utilized. Searching the sound source search algorithm finds out which section of the score, based on the information of the melody, pitch and intensity, tone, rhythm and beat obtained by analyzing the input sound source.
  • the instructor can check which section of the exemplary sound source the sound source played by the instructor corresponds to. Specifically, while receiving the sound source played in real time, the corresponding playing section of the matched model performance is visualized and displayed through the display means.
  • the display means may be one of the output units of the above-described embodiment.
  • the model performance can be the score here.
  • the visual presentation function of the additional performance section can eliminate the trouble of having to prepare the score separately by searching the performance section being played on the score and presenting the position where the performance is performed.
  • the playing time is allocated according to the analysis of the played sound source accordingly, and the playing characteristics according to the following playing time are stored.
  • n represents the number of playing
  • t means playing time
  • c 1 , c 2 , and c 3 are performance characteristics, and pitch, intensity, time, speed, speed, and combinations thereof, depending on the setting.
  • Equation 1 is stored as a scalar value.
  • the performance of the sound source is evaluated by comparing the model performance information stored in the database with the information of each played sound source according to the playing time.
  • the unit evaluation index U which is a result of comparing the performance of the exemplary performance and the sound source played by each playing time, is calculated.
  • the contrast between the model performance and the sound source played includes calculating an arithmetic difference by performance characteristics.
  • the contrast between the model performance and the sound source played may be calculated by various methods, such as calculating the absolute value of the difference, calculating the increase / decrease ratio, and calculate the difference value by adding various weights.
  • the unit evaluation index U is calculated by the playing time for each sound source played.
  • the evaluation items obtained through the plurality of unit evaluation indexes thus calculated are largely a time evaluation index and a performance evaluation index. First, explain the performance evaluation index.
  • the performance evaluation index is a statistical analysis of the unit evaluation index for each performance time.
  • 4 and 5 are views related to the playing time evaluation index.
  • the performance time evaluation index Q is calculated by applying the unit evaluation indexes according to any one playing time to the statistical analysis function R, as shown in Equation 2 below.
  • the statistical analysis function R is one of various statistical methods such as arithmetic mean, sum, median value, mode, maximum value, or minimum value of the vector components (values of the same sound source characteristic) of each unit evaluation index.
  • the statistical analysis function R may be the same for all sound source characteristics, or may be differently set to be suitable for each sound source characteristic. As an example of differentiation of each sound source characteristic, the statistical analysis function R takes an arithmetic mean in evaluating the pitch, but may select a median for fastness.
  • U 1 , U 2 , U 3, and the like are unit evaluation indices calculated in response to sequentially input sound sources P 1 , P 2 , and P 3 . T means a specific playing time.
  • each played sound source in FIG. 3 calculates a change in pitch, speed, and speed as pitch characteristics, and has a unit evaluation index having three vector components.
  • the performance time evaluation index Q is obtained for the eight played music sources, and the statistical analysis function R is considered to be applied equally as the arithmetic mean for all the sound source characteristics.
  • the performance time evaluation index Q is calculated for each performance time, and in Q (1.1) to Q (1.3), the performances of the corresponding performance time are the performance sound sources P 1 and P 2 , and thus the unit evaluation index (U 1 ( 1.1) to U 1 (1.3) and U 2 (1.1) to U 2 (1.3)) to calculate the arithmetic mean to calculate the performance time evaluation index (Q (1.1) to Q (1.3)).
  • Q (2.1) to Q (3.2) are calculated averages using the unit evaluation indexes (U 2 , U 3 and U 4 to U 8 ) obtained from the performance sound sources P 2 , P 3 to P 8 played at the corresponding playing time. Calculate the playing time evaluation index.
  • the calculated time evaluation index Q allows the user to know how much the sound played in multiple times differs from the model performance by playing time.
  • the value of the performance time evaluation index may be displayed on the graph to show the increase and decrease of the performance time with the score through the display means so that the instructor can easily recognize.
  • the significant increase in the performance time evaluation index was the part where the instructor played significantly different from the model performance, and it was a part that was immature because of immature performance or a very original part. The instructor will receive a quantitative assessment of his or her performance and make it clear which part of the song should be corrected.
  • the method of calculating the performance time evaluation index can calculate the information about the number of times practiced by the performance time.
  • the performance time evaluation index is calculated by the number of times of performance practice every playing time, so that the instructor can know which performance section the performance has been focused on.
  • the information on the number of times of playing practice by performance time is a factor for dividing the values of the summed sound source characteristics when the statistical analysis function R is set to take an average in calculating the performance time evaluation index as described above. It can be utilized.
  • 5 relates to another example of calculating the playing time evaluation index.
  • calculating the playing time evaluation index Q it may be further step of selecting which of the sound sources input to a plurality of times to be the target of the statistical analysis.
  • the instructor can exclude these sound sources.
  • the sound sources not selected are indicated by blurred lines.
  • the instructor may want to calculate the performance time index Q using only the recently played music, excluding the previously played music.
  • the performance time evaluation index is calculated only with the recently played performance sources, so that the performance of the exercise can be known more accurately.
  • the performance frequency evaluation index E calculates the evaluation according to the number of performances by performing statistical analysis according to the input order of the played sound source.
  • the performance evaluation index E is calculated by the following [Equation 3] for each sound source played.
  • the statistical analysis function R is one of various statistical methods such as arithmetic mean, sum, median, mode, maximum, or minimum value of the vector components (values of the same sound source characteristic) of each unit evaluation index U n .
  • the statistical analysis function R is applied to each vector component of the unit evaluation index.
  • the playing time t can be applied to the whole song.
  • the playing time t may apply a playing time sampled at equal intervals from the sequentially arranged playing times. For example, if the sampling interval of playing time is set to 3, the first playing time (1.1 in the drawing), the fourth playing time (2.2 in the drawing), the seventh playing time (2.4 in the drawing), etc.
  • the performance evaluation index is calculated using only the unit evaluation index corresponding to the sampled performance time. Such a sampling method reduces the amount of data to be calculated, which is important when a song has a long playing time.
  • the playing time may apply the playing time on the score divided into real intervals.
  • one score of music scores can be divided into four quarters, and only unit evaluation indices corresponding to each quarter interval are selected to calculate a performance evaluation index.
  • the performance time sampling method based on the score also has the effect of reducing the amount of data to be calculated.
  • the performance evaluation index E evaluates the performance of each performance source so that the number of performances of the performance can increase and decrease as the number of performances increases. By looking at the trend of the performance evaluation index E according to the performance cycle, the instructor can check how fast his performance is growing.
  • a step of selecting a performance sound source to be used as the target of statistical analysis is further performed.
  • the user may calculate a play count evaluation index for the remaining played sound sound, except for some playing sound sources that were initially played immaturely.
  • the performance evaluation index is calculated and compared with only a few performance sounds that are similar to each other, and thus the performance of the performance of the performance can be confirmed.
  • the performance time evaluation index Q and the performance frequency evaluation index E described above are simultaneously calculated.
  • all of the input sound source can be targeted, or as shown, the playing section and some of the played sound sources can be selected for evaluation.
  • the instructor can specify a specific section of the music or model performance, and select the sound source to be evaluated.
  • the specification of the playing section may be performed by selecting a starting point and an ending point from the presented sheet music, and automatically selecting sound sources determined to have played the corresponding playing section according to the specified playing section.
  • the selection of the sound source can also be made by the user.
  • the play time evaluation index Q and the play count evaluation index E of the above-described embodiments are calculated.
  • the calculated performance time evaluation index Q and performance count evaluation index E are processed into graphs or numerical values and provided to the instructor.
  • the database according to an embodiment of the present invention can be used to calculate the information on the individual performance characteristics of the instructor for each song by the teacher having a plurality of sound sources.
  • the instructor may tend to deviate to a certain level in most performances, compared to the performance characteristics obtained from the interpretation of the score in a performance section having a specific pattern.
  • Such differences can be derived from differences in various performance characteristics such as beat, pitch, and speed, and are information obtained from the analysis of the unit evaluation index.
  • instructor A has the characteristic of playing the middle notes stronger than the best performance in each section of the three-tiered sound
  • instructor B has a tendency that the beat beats faster than the score as the song progresses. You can check it.
  • the sound source of the other three instruments is modulated according to the instructor's performance pattern based on the information on the speed change of the instructor obtained by analyzing the database. Can be presented to the instructor. As a result, the instructor can experience the ensemble with other performers who have practiced with him for a long time and can practice the ensemble according to their taste.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 전문가의 도움 없이 스스로 반복된 연주의 성과를 객관적으로 판단할 수 있게 하는 악기 연습 성과의 관리 방법과 그 관리시스템과 관련된다. 본 발명은 실시예로, 평가 기준이 되는 모범연주에 대하여, 복수 회에 걸쳐 연주한 음원을 상기 모범연주의 연주 시간과 일치하도록 매칭하여 데이터베이스를 구성하고, 상기 연주 시간별로 상기 모범연주와 연주한 음원을 대비하여 상기 음원에 대한 평가가 이루어지는 연주 연습 성과 관리 방법을 제시한다.

Description

연주 연습 성과 관리 방법, 이를 이용한 관리시스템 및 이에 사용되는 데이터베이스
본 발명은 전문가의 도움 없이 스스로 반복된 연주의 성과를 객관적으로 판단할 수 있게 하는 악기 연습 성과의 관리 방법과 그 관리시스템과 관련된다.
악기를 능숙하게 다루기 위해서는 교습자의 수준에 따라 반복적인 연주 연습이 필요하다. 효율적인 연주 교습은 교습자가 올바르게 연주하기 어려운 부분을 파악하고, 해당 부분을 집중적으로 연습하는 것이 중요하다. 실제 교습에 있어서, 교습자는 제대로 연주한다고 느끼지만 실제로는 악보와 다르게 연주하는 경우가 있다. 또 개개인의 특성에 의해 연주에 곤란을 느끼는 부분이 서로 다른 경우도 많다. 따라서 다수의 교습자를 상대로 한 교습 프로그램을 만들 때에, 제대로 연주하기 어려운 부분을 특정하기가 쉽지 않다.
일반적인 교습 방법은 지도자가 교습자의 연주를 듣고 직접 지도하는 방식이다. 지도자의 전문성에 의해 교습자의 연주를 평가하고, 잘못된 부분과 잘된 부분을 구분하므로 교습자의 연주 성향은 지도자의 특성에 크게 좌우되는 경향이 있다. 이러한 종래의 교습 방법은 지도자와 교습자가 약속된 시간에 일정한 교습 장소에서 만나야 하는 번거로움과, 지도자에게 지불하여 하는 높은 비용 등으로 인하여 비효율적이다.
발달된 인터넷 환경을 활용하여 온라인을 통해 악기 연주를 교습하는 방안에 대하여 많은 기술개발이 이루어져 왔다. 나아가 지도자의 관여를 배제한 상황에서 가능한 객관적인 연주 평가를 하도록 하여 연주 실력을 향상시키는 방안에 대해서도 기술 발전이 이루어지고 있다.
종래의 기술에 따른 온라인 연주 교습 방안은, 교습자가 연주한 음원을 지도자에게 온라인을 통해 전달하는 수준에 그치거나, 지도자의 관여를 배제하고 이미 형성된 악보를 따라 교습자가 연주하였는지를 평가하는 방안에 그치고 있다. 이러한 종래의 기술은 오프라인에서 이루어져 오던 지도자의 전문적인 교습 수준에 이르지 못하는 것이어서 사용자의 만족도가 그리 높지 않다.
한편 본 발명과 연관된 관련기술 중 공지된 것으로 음악 정보 추출(music information retrieval, MIR)이 있다. MIR은 컴퓨터를 이용하여 구현되는데, 하나의 사용예로 하나 이상의 악기가 함께 연주되어 녹음된 음원에서 어느 한 악기의 음원을 식별하고 추출하여 본래의 음원으로부터 분리하는 기술이 개발되어 있다. 또 둘 이상의 음원을 대비하여 분석하는데 활용된다.
또 다른 관련기술 중 공지된 것으로, 음악 정보 검색 기술이 있다. 음악 정보 검색 기술은 디지털 신호로 기록된 음악 정보를 분석하여 유사한 음악을 검색하거나 사용자가 필요한 음원 정보를 찾아내는 데 활용된다. 기술적 부분에서 멜로디, 피치와 강도, 음색, 리듬과 박자, 음악 메타 정보를 활용하며, 이들의 분석 기법은 MIR의 한 분야를 구성한다.
[선행기술문헌]
[특허문헌]
대한민국 공개특허 제10-1998-0032961호 (1998.07.25)
본 발명은 악기의 반복적인 연주 연습에 있어서, 연주에 대한 다양한 평가가 가능하고 연주 회수의 증가에 따른 연주 성과의 증감에 대한 정량적인 분석을 가능케 한 연주 연습 성과 관리 방법 및 이를 이용한 관리시스템을 제시한다. 또한 비용과 시간이 많이 소요되는 전문적인 지도자의 관여를 배제할 수 있게 한다.
그 외 본 발명의 세부적인 목적은 이하에 기재되는 구체적인 내용을 통하여 이 기술분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.
위 과제를 해결하기 위하여 본 발명은 실시예로, 평가 기준이 되는 모범연주에 대하여, 복수 회에 걸쳐 연주한 음원을 상기 모범연주의 연주 시간과 일치하도록 매칭하여 데이터베이스를 구성하고, 상기 연주 시간별로 상기 모범연주와 연주한 음원을 대비하여 상기 음원에 대한 평가가 이루어지는 연주 연습 성과 관리 방법을 제시한다. 여기서, 상기 평가는 상기 연주 시간별로 상기 모범연주와 연주한 음원의 연주 특성을 대비하여 산출한 것이고, 상기 연주 특성은 피치, 강도, 박자, 빠르기, 빠르기의 변화량 및 이들의 조합으로 이루어진 군에서 적어도 하나를 포함할 수 있다.
여기서 상기 모범연주는 악보이거나 복수의 전문가에 의해 연주된 음원을 상기 연주 시간별로 통계 내어 생성한 것일 수 있다.
추가적으로 상기 모범연주와 상기 음원의 매칭 과정 중에, 상기 음원과 매칭되는 상기 모범연주의 연주 구간을 디스플레이 수단을 통하여 시각화하여 나타내어 사용자의 편의를 향상시킬 수 있다.
하나의 실시예로 상기 평가는 상기 연주 시간별로 상기 모범연주와 연주한 음원의 연주 특성을 대비하여 단위평가지수로 산출하고, 복수 회에 걸쳐 입력된 연주한 음원을 토대로 얻어진 복수의 상기 단위평가지수를 연주 시간별로 통계 분석하여, 각 연주 시간에 따른 연주시간평가지수를 산출하는 것일 수 있다. 추가적으로 상기 연주시간평가지수를 산출함에 있어서 복수의 음원 중 통계 분석의 대상으로 삼을 음원을 선정하는 단계를 거치도록 할 수 있다.
다른 실시예로 상기 단위평가지수를 단위숫자로 변경하고, 상기 통계 분석을 상기 단위평가지수의 합산으로 하여 상기 연주시간평가지수를 산출하여, 상기 연주시간평가지수를 연주 시간별 연습 횟수에 대한 정보로 활용할 수 있다.
또 다른 실시예로 상기 평가는 상기 연주 시간별로 상기 모범연주와 연주한 음원의 연주 특성을 대비하여 단위평가지수로 산출하고, 복수 회에 걸쳐 입력된 연주한 음원을 토대로 얻어진 복수의 상기 단위평가지수를, 상기 음원의 입력 차수에 따라 통계 분석하여, 연주 횟수에 따른 연주회수평가지수를 산출할 수 있다. 또한 상기 연주회수평가지수를 산출함에 있어서 상기 통계 분석의 대상으로 삼을 연주 음원을 선정하는 단계를 거칠 수 있다.
한편 평가 기준이 되는 모범연주에 대하여, 복수 회에 걸쳐 입력된 음원들이 상기 모범연주의 연주 시간과 일치하도록 매칭되어, 적어도 하나의 모범연주의 연주 시간에 대해 연주한 음원이 저장되어 있는 데이터베이스를 제시한다. 이 데이터베이스는 평가에 사용되거나, 개인 연주 성향을 파악하는데 사용될 수 있다.
한편 연주한 음원을 수신 받는 입력부, 입력된 음원을 모범연주에 대해 연주 시간별로 매칭시키는 매칭부, 상기 매칭부의 결과를 저장하는 것으로, 제11항에 따른 데이터베이스, 상기 데이터베이스를 통해 상기 연주 시간별로 상기 모범연주와 연주한 음원을 대비하여 상기 음원에 대한 평가를 정량적으로 산출하는 평가부 및 상기 평가부의 결과를 출력하는 출력부를 포함하는 연주 연습 성과 관리시스템을 제시한다.
본 발명의 실시예에 따르면, 전문 지도자의 관여 없이 교습자가 자신의 복수 회에 걸친 연주 연습의 성과를 관리할 수 있게 된다. 연주 연습의 횟수가 늘어남에 따라 연주 능력의 향상 정도를 정량적으로 평가받을 수 있게 된다. 또한 모범연주와 다르게 연주한 구간을 알 수 있게 하며, 어느 정도의 차이가 있는지를 알 수 있게 한다. 특정 연주 구간을 선택하여 해당 연주 구간에서 연주 연습의 성과를 관리할 수도 있다.
그 외 본 발명의 효과들은 이하에 기재되는 구체적인 내용을 통하여, 또는 본 발명을 실시하는 과정 중에 이 기술분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.
도 1은 본 발명의 실시예에 따른 연주 연습 성과 관리시스템의 구성을 개략적으로 나타낸 도면.
도 2는 도 1에 도시된 관리시스템이 적용된 예시를 간략히 나타낸 도면.
도 3은 본 발명의 실시예에 따른 연주 연습 성과 관리 방법을 개략적으로 나타낸 도면.
도 4는 본 발명의 실시예 중 연주시간평가지수를 산출하는 방법과 관련된 도면.
도 5는 도 4의 다른 사용예에 관련된 도면.
도 6은 본 발명의 실시예 중 연주회수평가지수를 산출하는 방법과 관련된 돈면.
도 7은 도 6의 다른 사용예에 관련된 도면.
도 8은 본 발명의 또 다른 실시예에 따른 연주 성과 평가 방법과 관련된 도면.
[부호의 설명]
10 : 입력부, 20 : 매칭부, 30 : 데이터베이스
40 : 평가부, 50 : 출력부
100 : 스마트폰, 200 : 서버장치
이하 첨부된 도면을 참고하여 본 발명에 따른 연주 연습 성과 관리 방법 및 이를 이용한 관리시스템의 구성, 기능 및 작용을 설명한다. 단, 도면들과 실시예들에 걸쳐 동일하거나 유사한 구성요소에 대한 도면번호는 통일하여 사용하기로 한다.
첨부된 도면은 본 발명의 적용된 실시예를 나타낸 것으로, 본 발명의 기술적 사상을 첨부된 도면을 통하여 제한 해석해서는 아니된다. 이 기술분야에 속하는 전문가의 견지에서 도면에 도시된 일부 또는 전부가 발명의 실시를 위하여 필연적으로 요구되는 형상, 모양, 순서가 아니라고 해석될 수 있다면, 이는 청구범위에 기재된 발명을 한정하지 아니한다.
이하의 설명에서 있어서, '음정', '피치(pitch)'는 음의 진동수를 의미하며 단일 음의 높낮이를 결정하는 요소이다. '세기', '강도(intensity)'는 음의 진폭을 의미하고, 단일 음의 강약을 결정하는 요소이다. '박자'는 음악에서 강세의 기본이 되는 단위를 의미하고, '빠르기'는 이웃하는 두 박자 사이의 시간 간격에 역수를 취한 것이다. '빠르기의 변화'는 이웃하는 독립된 두 박자를 기준으로 측정한 빠르기의 변화량을 의미한다.
본 발명의 실시예에 따른 연주 연습 성과의 관리방법 및 관리시스템은, 어느 한 곡에 대하여 복수 회의 연주 연습이 반복적으로 이루어지는 상황을 가정하고 있다. 또 교습자는 항상 곡을 완주하는 것이 아니다. 예를 들어, 연주시간이 10분이 넘는 피아노 소타나의 경우에, 곡의 연습에 있어서 매번 곡의 시작부터 끝까지 완주하기가 사실상 불가능하다. 교습자에게 있어 연주가 어렵다고 느끼는 부분이나 독창적인 표현을 추구하고자 하는 부분에서 연주 연습이 중점되게 이루어지고, 평이한 난이도를 가지는 부분은 보다 적은 횟수로 연습이 이루어질 것이다.
본 발명의 실시예에 따르면 복수 회에 걸친 연주 연습은 각 횟수마다 평가가 이루어진다. 나아가 연주 횟수가 늘어남에 따른 연주 회차별 연주 성과의 증감 정도를 평가한다.
본 발명에 따른 연주 연습 성과 관리시스템은 입력부(10), 매칭부(20), 데이터베이스(30), 평가부(40) 및 출력부(50)를 포함한다. 때때로 매칭부(20)와 평가부(40)는, 컴퓨터와 같은 하나의 전산 장비가 각각에 맞게 기능함으로써, 하나의 장치에 의해 구현될 수 있다.
입력부(10)는 연주한 음원을 수신 받는 것으로, 아날로그 신호를 입력 받는 마이크나 녹음기 등이 될 수 있다. 녹음기를 사용하는 경우, 연주한 음원을 녹음하여 두었다가 나중에 입력할 수도 있다.
입력부(10)에서는 디지털 변환을 더 수행할 수 있다. 때로 디지털 변환은 그 기능을 수행하는 모듈이 내장되어 있는 전자 악기에서 수행될 수도 있다. 이 경우 입력부는 전자 악기로부터 디지털로 변환된 전기 신호를 수신하는 전기선, 커넥터 등이 될 수 있다.
매칭부(20)는 입력된 음원을 입력부(10)로부터 전달 받고, 이 음원을 모범연주의 연주 시간에 맞게 매칭시킨다.
여기서 '연주 시간'은 악보에서 특정 음표의 위치를 나타내는 마디 단위의 실수를 순차적으로 나타낸 것이다. 예를 들어, 4번째 마디에서 순차적으로 표시되는 5개의 음표에 대한 연주 시간은, 그 표시 순서에 따라 4.1. 4.2, 4.3, 4.4, 4.5가 된다. 이 연주시간은 실제 시간(real time)의 흐름을 고려하지 않는 점에서 음악이 시작된 후로부터 카운트되는 시간의 개념과는 다르다.
매칭의 기준으로 사용하는 모범연주는, 악보이거나 적어도 1명의 전문가가 연주한 전문 연주 음원이다.
매칭의 기준으로 악보를 사용하는 경우에, 악보를 분석함으로써 연주 시간, 각 연주 시간에 따라 요구되는 음정, 세기, 박자, 빠르기 및 인근 연주 시간 대의 음표와의 관계로부터 빠르기의 변화량 등을 정량적인 수치로 산출할 수 있다.
한편 전문 연주 음원을 매칭의 기준으로 삼는 경우에는, 해당 곡을 연주한 전문 연주 음원을 디지털 분석함으로써 얻을 수 있다. 이러한 음원의 디지털 분석에는 알려진 바와 같이 음악 정보 추출(music information retrieval, MIR)이 사용될 수 있다. 전문 연주 음원은 시판되고 있는 연주 CD나 특정 코덱으로 포맷되어 유통되고 있는 디지털 음원과 같은 미디어 매체를 통해 입수 가능하다.
나아가 MIR를 통해 복수의 전문 연주 음원을 각각 분석하여, 연주 시간별로 음정, 세기, 박자 등의 연주 특성을 추출하고, 연주 시간별로 복수의 연주 특성을 통계 내에 그 통계치를 매칭의 기준으로 삼을 수 있다.
이와 같이 복수의 전문 연주 음원을 통계 분석하여 생성한 모범연주는, 그 연주 특성이 악보를 해석하여 얻은 연주 특성과 다소 차이가 있다. 이러한 연주 특성의 차이는, 전문 연주자에 의해 곡이 해석되어 원래의 악보로부터 변형된 것으로 볼 수 있으며, 이미 예술적인 가치를 인정받고 있는 것으로 볼 수 있다. 따라서 다수의 전문 연주 음원을 통해 얻은 연주 특성들을 평가의 기준이 되는 모범연주로 채택하는 경우, 교습자의 연주에 대한 보다 가치있는 평가 기준이 될 수 있다.
데이터베이스(30)는 매칭부(20)에서 생성된 결과를 저장하고 있다. 데이터베이스(30)는 기록 장치로써 기능하는데, 교습자가 연주한 복수 회에 걸친 연주를 모범연주에 매칭시킨 결과를 보유한다.
데이터베이스(30)는 교습자가 연주한 음원의 평가를 위해 사용되지만, 후술하는 바와 같이 교습자의 연주 성향을 파악하는 데에 사용될 수 있다. 이에 대해서는 후술하기로 한다.
평가부(40)는 모범연주와, 이에 맞추어 매칭한 연주 음원의 정보를 토대로 연주 성과에 대한 정량적인 평가를 수행하는 구성이다. 평가부(40)는 데이터베이스(30)로부터 필요한 정보를 인출하고, 이를 통계 분석하는 프로그램이 운용되기 위한 구성을 갖추고 있다. 이러한 구성은 서버와 같이 중앙처리장치를 비롯한 여러 하드웨어로 구성되며, 컴퓨터, 개인 휴대용 전자기기 등으로 구성될 수 있다.
평가부(40)에서 이루어진 평가 결과는 필요에 따라 데이터베이스(30)에 저장될 수 있다.
평가부(40)에서 산출된 정량적인 평가의 결과는 출력부(50)를 통해 교습자에게 제시된다. 출력부(50)는 시각, 청각, 촉각 등 다양한 방법들 중 어느 하나로 사용자에게 평가 결과를 전달할 수 있다. 이를 위하여 출력부는 디스플레이 수단, 스피커를 통한 사운드 재생 수단. 진동 발생 수단 등의 구현 모듈을 구비할 수 있다.
또는 출력부(50)는 다양한 구현 모듈을 가진 장비에 조작 신호를 발신하는 통신 모듈로 이루어질 수 있다. 나아가, 구현 모듈은 원격지에 위치하고 출력부는 조작 신호를 네트워크망을 이용하여 전달하도록 구성될 수 있다.
도 2에는 도 1에 도시한 연주 연습 성과 관리시스템의 적용예를 나타내고 있다. 입력부와 출력부는 교습자의 영역에 있는 스마트폰(100)이고, 매칭부, 데이터베이스 및 평가부는 원격지에 위치한 서버장치(200)에 구비되어 있다.
스마트폰(100)의 마이크를 통해 악기에서 생성한 음원이 녹음되고, 녹음된 음원은 그대로 원격지에 위치한 서버장치(200)로 전송되거나, 스마트폰(100)에서 디지털화를 비롯하여 1차 가공된 후 네트워크를 통해 매칭부가 구비된 서버장치(200)로 전송된다.
서버장치(200)는 데이터베이스와 연결되어 있으며, 모범음원을 기준 삼아 전송된 연주 음원을 연주 시간에 맞추어 매칭시킨다. 매칭된 결과는 데이터베이스에 저장된다.
데이터베이스에 저장된 정보는 스마트폰(100)을 통한 교습자의 요청에 의해 서버장치(200)에서 평가되고, 그 평가된 결과가 다시 네트워크를 통해 스마트폰(100)의 화면, 스피커, 진동모터 등을 통해 교습자에게 전달된다.
도시 하지 아니한 다른 실시예에서, 입력부와 출력부를 비롯한 매칭부, 데이터베이스 및 평가부 모두가 스마트폰에 구비될 수도 있다. 또는 도 2에 도시된 바와 같이, 매칭부와 평가부는 원격지에 두고, 스마트폰이 입력부, 데이터베이스 및 출력부를 구비하도록 구성할 수도 있다.
이와 같이, 입력부, 매칭부, 데이터베이스, 평가부 및 출력부들 간에 필요에 따라 네트워크 통신을 하도록 구성함으로써 다양한 변형이 가능하다.
이하에서는 도 3 이하를 참고하면서 본 발명에 따른 연주 연습 성과 관리 방법을 보다 자세히 설명한다.
도 3에서 악보는 악곡의 일부분을 나타낸 것이다. 가로 축은 연주 시간의 전후를 나타낸 것이다. 악보가 곡의 시작인 경우, 연주 시간의 예시가 1.1, 1.2, 1.3, 2.1 ... 순으로 표시되어 있다.
모범연주는 연주 시간에 따른 연주 특성을 수치적으로 표현한 값으로 가진다. 여기서 연주 특성은 피치, 강도, 박자, 빠르기, 빠르기의 변화량 및 이들의 조합으로 이루어진 군에서 적어도 하나를 포함하는 것이다.
예를 들어, 2번째 마디의 3번째 음표에 대한 모범연주를 분석한 결과 음정이 8.4 Hz라면, 아래와 같은 형식으로 저장된다.
M(2.3)=8.4
나아가 둘 이상의 연주 특성을 고려하는 경우, 예를 들어 분석할 연주 특성을 피치, 강도, 박자의 3가지 종류로 설정한 때에는 설정한 복수의 연주 특성의 수에 따라 벡터값으로 표시된다.
Figure PCTKR2014011310-appb-I000001
살펴보면, 해당 연주 시간 2.3에서 모범연주 M은 벡터이고, c1, c2, c3 각각의 벡터성분은 피치, 강도, 박자의 연주 특성을 수치화하여 나타낸 것이다.
이러한 연주 특성의 벡터는 각 연주 시간마다 생성된다.
한편 도 3의 P1, P2, P3 등은 교습자가 연주하여 입력한 음원을 순차적으로 나타낸 것으로, 도 3에서 세로축은 교습자가 연주한 횟수와 관련된다.
Pn 에서 가로방향으로 길이 및 시작점이 서로 다른 것은, 악보 상에서 연주한 구간이 서로 다름을 의미한다. 총 8회 입력된 연주 연습에서 1회차(P1)와 4회차(P4)의 연주 연습에서는 악보의 첫부분에서 시작하였지만, 나머지는 그러하지 아니함을 알 수 있다.
이렇게 연주한 음원의 시작점이 각기 다름으로써, 입력된 음원이 악보의 어느 구간에 해당되는지를 구분할 필요가 있다. 이를 위하여 이미 공지되어 있는, 음원 검색 알고리즘(Audio Search Algorithm)을 활용할 수 있다. 음원 검색 알고리즘을 검색하면 입력된 음원을 분석하여 얻은 멜로디, 피치와 강도, 음색, 리듬과 박자의 정보를 토대로, 악보의 어느 구간에 해당되는지를 찾아낸다.
나아가 교습자가 연주한 음원이 모범음원의 어느 구간에 해당하는지를 교습자가 확인할 수 있도록 시각화하여 출력할 수 있다. 구체적으로 연주한 음원을 실시간으로 입력받으면서, 매칭되는 모범연주의 해당 연주 구간을 디스플레이 수단을 통하여 시각화하여 나타낸다.
여기서 디스플레이 수단은 전술한 실시예의 출력부 중 하나가 될 수 있다. 또한 여기서 모범연주는 악보가 될 수 있다.
이러한 부가적인 연주 구간의 시각적 제시 기능은, 연주되고 있는 연주 구간을 악보에서 서치하고 연주되는 위치를 제시하여 교습자가 별도로 악보를 준비해야 하는 번거로움을 해소시킬 수 있다.
예를 들어, 전에 연습하여 익숙한 부분을 다시 연주하여 음원으로 입력하는 것만으로, 교습자가 해당 부분 및 이후의 악보를 함께 제공 받게 된다.
한편 연주하고 있는 음원이 어느 연주 구간에 해당되는지를 교습자가 악보를 통해 직접 지정하도록 구성할 수 있다. 예를 들어, 한 악보에 특정 구간이 반복적으로 되풀이됨으로써 특정 연주 구간을 한정하기 어려운 경우에는 수동으로 연주 구간을 지정하는 것이 보다 정확하고 신속할 수 있다.
입력된 음원의 시작점이 어느 한 연주 시간으로 특정되면, 그에 따라 연주한 음원의 분석에 따라 연주 시간이 할당되며, 다음과 같은 연주 시간에 따른 연주 특성이 저장된다.
수학식 1
Figure PCTKR2014011310-appb-M000001
여기서, n은 연주 횟수를 나타내고, t는 연주 시간을 의미한다. c1, c2, c3 등은 각기 연주 특성으로 설정에 따라 피치, 강도, 박자, 빠르기, 빠르기의 변화량 및 이들의 조합 등이다.
연주 특성의 종류와 순서는 모범연주의 연주 특성의 종류 및 순서와 동일하다. 만일 하나의 연주 특성을 분석의 대상으로 한다면, 위 [수학식 1]은 스칼라값으로 저장된다.
입력된 연주한 음원들을 모범연주의 연주 시간에 따라 매칭하고, 이를 데이터베이스에 저장한다.
데이터베이스에 저장된 모범연주의 정보와 각 연주한 음원의 정보들을 연주 시간에 따라 대비하여 음원에 대한 평가를 수행한다.
먼저 연주 시간별로 모범연주와 연주한 음원의 연주 특성을 대비한 결과인 단위평가지수 U를 산출한다.
여기서 모범연주와 연주한 음원의 대비는 연주 특성 별로 산술적 차이를 산출하는 것을 포함한다. 또는 모범연주와 연주한 음원의 대비는, 동종의 음원 특성 별로 차이의 절대값 계산, 증감 비율의 계산, 다양한 가중치를 더한 차이값 계산 등 다양한 방법으로 산출될 수 있다.
대수적인 차이를 산출하는 예로, 3.5 연주 시간에서 모범연주의 음정이 9.4 Hz 인데, 2 번째 연주한 음원의 해당 연주 시간에서 8.2 Hz로 연주한 경우, 해당 연주 시간에서 그 산술적 차이인, -1.2 Hz를 단위평가지수(U2(3.5) = -1.2)로 할 수 있다.
모범연주에 대한 연주 특성을 비율로 산출한다면, 상기 예에서 모범연주에 비하여 12.77 % 비율적으로 낮게 연주하였으므로 -12.77을 단위평가지수(U2(3.5) = -12.77)로 삼을 수 있다.
이러한 단위평가지수 U는 연주한 음원마다 연주 시간별로 복수가 산출된다. 이렇게 산출된 복수의 단위평가지수를 통해 얻어지는 평가 항목은 크게 연주시간평가지수와 연주회차평가지수가 있다. 먼저 연주시간평가지수를 설명한다.
복수 회에 걸친 연주한 음원들로부터 얻어지는 평가 중 하는 연주 시간별로 단위평가지수를 통계 분석한 따른 연주시간평가지수이다.
도 4와 도 5는 연주시간평가지수에 관련된 도면들이다.
연주시간평가지수 Q는, 아래 [수학식 2]와 같이, 어느 한 연주 시간에 따른 단위평가지수들을 통계 분석 함수 R에 적용함으로써 산출된다.
수학식 2
Figure PCTKR2014011310-appb-M000002
여기서, 통계 분석 함수 R은 각 단위평가지수의 벡터 성분들(동종의 음원 특성에 대한 값)을 산술평균, 합계, 중앙값, 최빈값, 최대값 또는 최소값 등 다양한 통계 방식 중 하나이다.
통계 분석 함수 R은 모든 음원 특성에 대하여 동일하거나, 각 음원 특성별로 적합하도록 달리 설정될 수 있다. 각 음원 특성별로 달리 특정하는 경우의 예로, 음정에 대한 평가에 있어 통계 분석 함수 R은 산술평균을 취하지만, 빠르기에 대해서는 중앙값 산출을 선택할 수 있다. 또 U1, U2, U3 등은 순차적으로 입력된 연주한 음원 P1, P2, P3 등에 대응하여 산출된 단위평가지수이다. 또 t는 특정 연주 시간을 의미한다.
구체적인 실시예로서, 도 3에서 각 연주한 음원은 음정, 빠르기, 빠르기의 변화량을 음정 특성으로 산출하여, 단위평가지수가 3개의 벡터성분을 가지는 경우를 가정한다. 8 번에 걸쳐 연주한 음원들에 대하여 연주시간평가지수 Q를 구하며, 이때 통계 분석 함수 R은 모든 음원 특성에 대하여 산술평균으로 동일하게 적용된다고 본다.
연주시간평가지수 Q는 매 연주 시간마다 산출되는데, Q(1.1) 내지 Q(1.3)에서는 해당 연주 시간에 연주를 하였던 것은 연주 음원 P1과 P2이므로, 이들과 관련된 단위평가지수(U1(1.1) 내지 U1(1.3) 및 U2(1.1) 내지 U2(1.3))를 가지고 산술평균을 계산하여 연주시간평가지수(Q(1.1) 내지 Q(1.3))를 산출한다.
또 Q(2.1) 내지 Q(3.2)까지는 해당 연주 시간에 연주를 한 연주 음원 P2, P3 내지 P8 로부터 얻어진 단위평가지수(U2, U3 및 U4 내지 U8)를 가지고 산출평균을 계산하여 연주시간평가지수를 산출한다.
이와 같이, 연주시간평가지수를 산출함에 있어 해당 연주 시간에 연주가 실제로 이루어진 연주 음원만을 선정하여 고려할 수 있다.
이렇게 산출된 연주시간평가지수 Q는 복수 회에 걸쳐 연주한 음원이 모범연주와 얼마나 차이 나는지를 연주 시간별로 알 수 있게 한다.
연주시간평가지수의 값은 디스플레이수단을 통해 악보와 함께 연주 시간의 흐름에 따른 증감 정도를 그래프로 나타내어 교습자가 보다 쉽게 인지할 수 있도록 할 수 있다.
연주시간평가지수가 크게 증가한 부분은 교습자가 모범연주와 크게 차이 나게 연주한 부분으로 미숙하게 연주하여 실수가 많았던 부분이거나, 매우 독창적으로 연주한 부분에 해당한다. 교습자는 자신의 연주에 대한 정량적인 평가를 받게 되며, 해당 곡에서 자신이 바로 잡아야 하는 부분이 어느 부분인지를 명확하게 알 수 있게 한다.
한편 연주시간평가지수를 산출하는 방법을 응용하여 연주 시간별로 연습한 횟수에 대한 정보를 산출할 수 있다.
먼저 각 연주 정보에서 단위평가지수를 단위숫자로 변경한다. 여기서 단위숫자는 1이 될 수 있다. 이후 연주시간평가지수의 통계 분석 방법을 연주 시간별로 단위평가지수를 합산하는 방법으로 산출한다.
이 경우, 연주시간평가지수는 매 연주 시간마다 연주 연습을 한 횟수로 산출되므로, 교습자가 어느 연주 구간을 중점으로 연주 연습하였는지를 알 수 있게 한다.
또한 이 연주 시간별 연주 연습의 횟수에 대한 정보는, 전술한 바와 같이 연주시간평가지수를 산출함에 있어서 통계 분석 함수 R이 평균을 취하도록 설정한 경우에, 합산된 음원 특성들의 값을 나눗셈하는 인자로 활용할 수 있다.
도 5는 연주시간평가지수를 산출하는 다른 예와 관련된다.
연주시간평가지수 Q를 산출함에 있어서, 복수 회에 걸쳐 입력한 음원들 중 어느 음원들을 통계 분석의 대상으로 삼을 지를 선정하는 단계를 더 거칠 수 있다.
예를 들어, 총 8번의 음원 중 몇몇의 음원(P1, P3, P8)은 연주할 때에 교습자가 확실히 크게 실수한 부분이 있음을 알고 있어 평가 대상에서 제외하고자 하는 경우에, 연주시간평가지수 Q의 산출에 있어 교습자가 이들 음원들을 제외하도록 할 수 있다. 도면에서 선정되지 아니한 연주 음원들을 흐린 선으로 표시하고 있다.
때때로 교습자는 초기에 연주하였던 음원들을 제외하고 최근에 연주한 음원들만으로 연주시간평가지수 Q를 산출하고자 할 수 있다. 이와 같이, 최근에 연주한 연주 음원들만으로 연주시간평가지수를 산출하여 연습 성과를 보다 정확하게 알 수 있게 된다.
한편 도 6은 다른 실시예로 연주회수평가지수와 관련된다.
연주회수평가지수 E는 연주한 음원의 입력 차수에 따라 통계 분석하여, 연주 횟수에 따른 평가를 산출한 것이다.
연주회수평가지수 E는 연주한 음원 별로 다음의 [수학식 3]에 의해 산출된다.
수학식 3
Figure PCTKR2014011310-appb-M000003
여기서 통계 분석 함수 R은 각 단위평가지수 Un의 벡터 성분들(동종의 음원 특성에 대한 값)을 산술평균, 합계, 중앙값, 최빈값, 최대값 또는 최소값 등 다양한 통계 방식 중 하나이다.
단위평가지수 Un가 다수의 음원 특성에 대해 산출되어 벡터인 경우, 통계 분석 함수 R은 단위평가지수의 각 벡터 성분별로 적용된다.
또한 연주 시간 t는 곡의 전체에 대하여 적용될 수 있다. 또는 연주 시간 t는 순차적으로 나열되는 연주 시간에서 등차적으로 간격을 두고 셈플링한 연주 시간을 적용할 수 있다. 예를 들어, 연주 시간의 셈플링 간격을 3으로 설정하면, 1번째의 연주 시간(도면에서 1.1), 4번째의 연주 시간(도면에서 2.2), 7번째의 연주 시간(도면에서 2.4) 등과 같이 셈플링된 연주 시간에 해당되는 단위평가지수만으로 연주회수평가지수를 산출한다. 이러한 셈플링 방식은 산출할 데이터의 분량을 줄이므로 곡의 연주 시간이 큰 경우에 주요하다.
또는 연주 시간은 실수 간격으로 등분된 악보 상의 연주 시간을 적용할 수 있다. 예를 들어 악보의 1마디를 4등분하고, 매 0.25 마디 간격마다 그에 해당되는 단위평가지수들만을 선정하여, 연주회수평가지수를 산출할 수 있다. 이러한 악보 기준의 연주 시간 셈플링 방식도 산출할 데이터의 분량을 줄이는 효과를 가져온다.
연주회수평가지수 E는 연주 음원의 회차 별로 평가함으로써 연주 횟수가 늘어남에 따라 연주 연습 성과의 증감 정도를 파악할 수 있게 한다. 연주 회차에 따른 연주회수평가지수 E의 추이를 살핌으로써, 교습자는 자신의 연주 실력이 얼마큼 빠르게 늘어나고 있는지를 확인할 수 있다.
도 7은 본 발명의 다른 실시예에 따라 연주회차평가지수를 산출방법과 관련된다. 다른 실시예에서는 연주회수평가지수 E를 산출함에 있어서, 통계 분석의 대상으로 삼을 연주 음원을 선정하는 단계를 더 거친다.
예를 들어 복수의 연주 음원 중에 사용자는 초창기에 미숙하게 연주하였던 몇몇의 연주 음원을 제외하고, 나머지 연주한 음원에 대한 연주회수평가지수를 산출할 수 있다.
또는 연주 구간이 서로 유사한 몇몇의 연주 음원들만으로 연주회수평가지수를 산출하고, 비교함으로써 보다 해당 연주 구간에 대한 연주 연습의 성과 향상 여부를 확인할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 성과 관리 방법과 관련된다.
도시된 실시예에서 앞서 설명한 연주시간평가지수 Q와 연주회수평가지수 E가 동시에 산출된다. 이때, 입력한 모든 연주한 음원을 대상으로 하거나, 도시된 바와 같이 연주 구간과 몇몇의 연주한 음원들을 선정하여 평가 대상으로 삼을 수 있다.
이를 위하여 교습자는 악보나 모범연주에서 특정 연주 구간을 특정하고, 평가할 음원을 선택할 수 있다.
예를 들어 연주 구간의 특정은 제시한 악보에서 시작점과 종료점을 선택하여 이루어지고, 특정된 연주 구간에 따라 해당 연주 구간을 연주한 것으로 판정되는 음원들을 자동으로 선정하도록 할 수 있다. 또는 음원의 선택 또한 사용자가 직접 특정할 수 있도록 할 수 있다.
선정된 음원과 연주 구간의 단위평가지수들을 가지고, 전술한 실시예들의 연주시간평가지수 Q와 연주회수평가지수 E를 산출한다. 산출된 연주시간평가지수 Q와 연주회수평가지수 E는, 그래프 또는 수치 등으로 가공되어 교습자에게 제공된다.
몇몇의 음원과 평가할 연주 구간을 선택함으로써, 교습자는 특정 연주 구간에서 연주 실력이 연주 횟수마다 얼만큼 증진되고 있는지를 정확히 파악할 수 있게 된다.
한편, 본 발명의 실시예에 따른 데이터베이스는 교습자가 복수 회에 걸친 음원들을 보유함으로써, 해당 곡마다 교습자의 개인 연주 특성에 대한 정보를 산출하는데 사용될 수 있다.
예를 들어, 악보를 평가 기준으로 삼을 때, 특정 패턴을 가지는 연주 구간에서 악보의 해석으로부터 얻어지는 연주 특성에 비하여, 교습자는 대부분의 연주에서 일정 수준으로 벗어나는 경향을 보일 수 있다. 이러한 차이는 박자, 음정, 빠르기 등 다양한 연주 특성의 차이점으로 도출될 수 있으며, 단위평가지수의 분석으로부터 얻어지는 정보이다.
이와 같이 데이터베이스를 통하여 교습자의 연주 습관이나 독창적인 패턴을 분석해 낼 수 있다. 예를 들어 교습자 A는 3단 연음의 연주 구간마다 중간 음을 모범연주보다 강하게 연주하는 특성을 가지고, 교습자 B는 박자의 빠르기가 곡의 진행에 따라 악보에 비하여 점차 더 빨라지는 경향이 있음 등을 확인할 수 있다.
이러한 교습자의 개인 특성은 잘못된 연주에 기인한 것이 대부분이지만, 때때로 개인의 독창성을 나타내는 것으로 파악될 수 있다.
데이터베이스를 활용하여 얻는 개인의 특성을 토대로 교습자의 성향따라 개인 맞춤된 음원을 제공할 수 있다.
구체적으로 4악기의 합주로 이루어진 곡의 한 악기를 교습자가 담당하여 연주하는 경우, 데이터베이스를 분석하여 얻은 교습자의 빠르기 변화 정도에 대한 정보를 토대로, 교습자의 연주 패턴에 맞추어 다른 3악기의 음원을 변조하여 교습자에게 제시할 수 있다. 그에 따라 교습자는 마치 자신과 오랜 기간 함께 연주 연습한 다른 연주자들과 합주하는 경험을 해볼 수 있으며, 자신의 취향에 따른 합주를 연습할 수 있게 된다.

Claims (11)

  1. 평가 기준이 되는 모범연주에 대하여, 복수 회에 걸쳐 연주한 음원을 상기 모범연주의 연주 시간과 일치하도록 매칭하여 데이터베이스를 구성하고,
    상기 연주 시간별로 상기 모범연주와 연주한 음원을 대비하여 상기 음원에 대한 평가가 이루어지는 연주 연습 성과 관리 방법.
  2. 제1항에서,
    상기 모범연주는
    악보이거나,
    복수의 전문가에 의해 연주된 음원을 상기 연주 시간별로 통계 내어 생성한 것인 연주 연습 성과 관리 방법.
  3. 제1항에서,
    상기 모범연주와 상기 음원의 매칭 과정 중에,
    상기 음원과 매칭되는 상기 모범연주의 연주 구간을 디스플레이 수단을 통하여 시각화하여 나타내는 연주 연습 성과 관리 방법.
  4. 제1항에서,
    상기 평가는
    상기 연주 시간별로 상기 모범연주와 연주한 음원의 연주 특성을 대비하여 산출한 것이고,
    상기 연주 특성은
    피치, 강도, 박자, 빠르기, 빠르기의 변화량 및 이들의 조합으로 이루어진 군에서 적어도 하나를 포함하는 연주 연습 성과 관리 방법.
  5. 제1항에서,
    상기 평가는
    상기 연주 시간별로 상기 모범연주와 연주한 음원의 연주 특성을 대비하여 단위평가지수로 산출하고,
    복수 회에 걸쳐 입력된 연주한 음원을 토대로 얻어진 복수의 상기 단위평가지수를 연주 시간별로 통계 분석하여, 각 연주 시간에 따른 연주시간평가지수를 산출하는 연주 연습 성과 관리 방법.
  6. 제5항에서,
    상기 연주시간평가지수를 산출함에 있어서
    복수의 음원 중 통계 분석의 대상으로 삼을 음원을 선정하는 단계를 거치는 연주 연습 성과 관리 방법.
  7. 제5항에서,
    상기 단위평가지수를 단위숫자로 변경하고,
    상기 통계 분석을 상기 단위평가지수의 합산으로 하여 상기 연주시간평가지수를 산출하여, 상기 연주시간평가지수를 연주 시간별 연습 횟수에 대한 정보로 삼는 연주 연습 성과 관리 방법.
  8. 제1항에서,
    상기 평가는
    상기 연주 시간별로 상기 모범연주와 연주한 음원의 연주 특성을 대비하여 단위평가지수로 산출하고,
    복수 회에 걸쳐 입력된 연주한 음원을 토대로 얻어진 복수의 상기 단위평가지수를, 상기 음원의 입력 차수에 따라 통계 분석하여, 연주 횟수에 따른 연주회수평가지수를 산출하는 연주 연습 성과 관리 방법.
  9. 제8항에서,
    상기 연주회수평가지수를 산출함에 있어서
    상기 통계 분석의 대상으로 삼을 연주 음원을 선정하는 단계를 거치는 연주 연습 성과 관리 방법.
  10. 평가 기준이 되는 모범연주에 대하여,
    복수 회에 걸쳐 입력된 음원들이 상기 모범연주의 연주 시간과 일치하도록 매칭되어, 적어도 하나의 모범연주의 연주 시간에 대해 연주한 음원이 저장되어 있는 데이터베이스.
  11. 연주한 음원을 수신 받는 입력부,
    입력된 음원을 모범연주에 대해 연주 시간별로 매칭시키는 매칭부,
    상기 매칭부의 결과를 저장하는 것으로, 제10항에 따른 데이터베이스,
    상기 데이터베이스를 통해 상기 연주 시간별로 상기 모범연주와 연주한 음원을 대비하여 상기 음원에 대한 평가를 정량적으로 산출하는 평가부 및
    상기 평가부의 결과를 출력하는 출력부를 포함하는 연주 연습 성과 관리시스템.
PCT/KR2014/011310 2013-12-16 2014-11-24 연주 연습 성과 관리 방법, 이를 이용한 관리시스템 및 이에 사용되는 데이터베이스 WO2015093738A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130156054A KR20150069660A (ko) 2013-12-16 2013-12-16 연주 연습 성과 관리 방법
KR10-2013-0156054 2013-12-16

Publications (1)

Publication Number Publication Date
WO2015093738A1 true WO2015093738A1 (ko) 2015-06-25

Family

ID=53403043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/011310 WO2015093738A1 (ko) 2013-12-16 2014-11-24 연주 연습 성과 관리 방법, 이를 이용한 관리시스템 및 이에 사용되는 데이터베이스

Country Status (2)

Country Link
KR (1) KR20150069660A (ko)
WO (1) WO2015093738A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672799B1 (en) 2015-12-30 2017-06-06 International Business Machines Corporation Music practice feedback system, method, and recording medium

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652622B (zh) * 2017-02-07 2019-09-17 广东小天才科技有限公司 一种课文训练方法和装置
KR102118189B1 (ko) * 2018-04-17 2020-06-02 장원영 미디어 컨텐츠 서비스 시스템
KR102221143B1 (ko) * 2018-06-11 2021-02-26 박정일 색소폰 연주 평가 시스템 및 이를 이용한 단계별 색소폰 연주 평가 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000103A (ko) * 2007-01-02 2009-01-07 김부전 애니메이션을 이용한 피아노 교습과 음파장을 이용한 평가시스템
KR20110122520A (ko) * 2010-05-04 2011-11-10 조성일 뮤직 에듀테인먼트 시스템
KR20130068913A (ko) * 2011-12-15 2013-06-26 김민서 악기연주학습보조장치
JP2013148773A (ja) * 2012-01-20 2013-08-01 Casio Comput Co Ltd 演奏教習装置及びそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000103A (ko) * 2007-01-02 2009-01-07 김부전 애니메이션을 이용한 피아노 교습과 음파장을 이용한 평가시스템
KR20110122520A (ko) * 2010-05-04 2011-11-10 조성일 뮤직 에듀테인먼트 시스템
KR20130068913A (ko) * 2011-12-15 2013-06-26 김민서 악기연주학습보조장치
JP2013148773A (ja) * 2012-01-20 2013-08-01 Casio Comput Co Ltd 演奏教習装置及びそのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672799B1 (en) 2015-12-30 2017-06-06 International Business Machines Corporation Music practice feedback system, method, and recording medium
US9842510B2 (en) 2015-12-30 2017-12-12 International Business Machines Corporation Music practice feedback system, method, and recording medium
US10529249B2 (en) 2015-12-30 2020-01-07 International Business Machines Corporation Music practice feedback system, method, and recording medium
US10977957B2 (en) 2015-12-30 2021-04-13 International Business Machines Corporation Music practice feedback

Also Published As

Publication number Publication date
KR20150069660A (ko) 2015-06-24

Similar Documents

Publication Publication Date Title
WO2015030319A1 (ko) 음원 평가방법, 이에 사용되는 연주정보 분석방법과 기록매체 그리고 이를 이용한 음원의 평가장치
WO2015093738A1 (ko) 연주 연습 성과 관리 방법, 이를 이용한 관리시스템 및 이에 사용되는 데이터베이스
US20020004191A1 (en) Method and system for teaching music
US20180137425A1 (en) Real-time analysis of a musical performance using analytics
WO2012046901A1 (ko) 음악기반 언어 학습방법과 이를 활용한 학습장치
WO2019031650A1 (ko) 사용자 허밍 멜로디 기반 반주 제공 방법 및 이를 위한 장치
WO2016060296A1 (ko) 음향 정보 녹음 장치 및 그 제어 방법
CN110070847B (zh) 乐音测评方法及相关产品
US20190325776A1 (en) Lights-guided piano learning and teaching apparatus, and method
WO2019050083A1 (ko) 사용자 허밍 멜로디 기반 멜로디 녹음을 제공하기 위한 방법 및 이를 위한 장치
KR101508927B1 (ko) 개인용 악기연주 연습시스템
US5038662A (en) Method and apparatus for teaching the production of tone in the bowing of a stringed instrument
WO2021166531A1 (ja) 推定モデル構築方法、演奏解析方法、推定モデル構築装置、および演奏解析装置
JP2019053170A (ja) 楽器練習装置
KR20190093770A (ko) 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템
KR100894866B1 (ko) 애니메이션을 이용한 피아노 교습과 음파장을 이용한 평가시스템
KR20120034486A (ko) 음악교습에 사용되는 건반장치
US20070261536A1 (en) Method and system for processing music on a computer device
CN110956870A (zh) 一种视唱练耳教学方法及装置
CN109326175B (zh) 一种声乐训练辅助系统
KR20140142794A (ko) 음악교습에 사용되는 건반장치
KR20190121080A (ko) 미디어 컨텐츠 서비스 시스템
WO2011136454A1 (ko) 이미지를 이용한 음원 생성 시스템 및 방법
Stavropoulou et al. The Effectiveness of visual feedback singing vocal technology in Greek Elementary School
KR20130058384A (ko) 휴대용 드럼연주시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14872421

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23.11.2016)

122 Ep: pct application non-entry in european phase

Ref document number: 14872421

Country of ref document: EP

Kind code of ref document: A1