KR102107588B1 - Method for evaluating about singing and apparatus for executing the method - Google Patents

Method for evaluating about singing and apparatus for executing the method Download PDF

Info

Publication number
KR102107588B1
KR102107588B1 KR1020180132340A KR20180132340A KR102107588B1 KR 102107588 B1 KR102107588 B1 KR 102107588B1 KR 1020180132340 A KR1020180132340 A KR 1020180132340A KR 20180132340 A KR20180132340 A KR 20180132340A KR 102107588 B1 KR102107588 B1 KR 102107588B1
Authority
KR
South Korea
Prior art keywords
pitch
note
song
singing
analysis module
Prior art date
Application number
KR1020180132340A
Other languages
Korean (ko)
Inventor
금기훈
김태형
Original Assignee
미디어스코프 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어스코프 주식회사 filed Critical 미디어스코프 주식회사
Priority to KR1020180132340A priority Critical patent/KR102107588B1/en
Application granted granted Critical
Publication of KR102107588B1 publication Critical patent/KR102107588B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

Disclosed are a singing performance evaluating method and a computing device for performing the same. According to an embodiment, the computing device comprises: a beat analysis module which analyzes beat accuracy of a user based on singing audio of a user and score information of a song sung by the user; a pitch analysis module which analyzes pitch accuracy of the user based on the singing audio and the score information; a volume analysis module which analyzes the volume of the user based on the singing audio; a vibrato analysis module which analyzes vibrato of the user based on the singing audio and the score information; a register analysis module which analyzes the register of the song based on the score information; a pitch complexity analysis module which analyzes pitch complexity of the song based on the score information; a tempo analysis module which analyzes the tempo of the song based on the score information; and a singing performance evaluating module which performs user singing performance evaluation based on the analyzed beat accuracy, pitch accuracy, volume, vibrato, register, pitch complexity, and tempo. The singing performance evaluating method and the computing device for performing the same allow a user to have an intensive training for improving his/her weakness.

Description

가창 평가 방법 및 이를 수행하기 위한 컴퓨팅 장치{METHOD FOR EVALUATING ABOUT SINGING AND APPARATUS FOR EXECUTING THE METHOD}Method of evaluation of singing and computing device for performing the same {METHOD FOR EVALUATING ABOUT SINGING AND APPARATUS FOR EXECUTING THE METHOD}

본 발명의 실시예는 가창 평가 기술과 관련된다. Embodiments of the present invention relate to singing techniques.

종래에는 보컬 트레이너 또는 실용 음악 학원 등을 통해서 본인의 목소리에 대한 피드백을 받아 왔으나, 그에 따른 비용이 많이 들고 진입 장벽이 높다는 문제점이 있다. 그리고, 보컬 트레이너나 강사 등에 따라 주관적인 요소가 평가에 개입되게 된다. 또한, 노래에 대해 점수를 부여하는 노래방 시스템은 가창 당시의 곡에 대해서만 점수화를 진행하여 일회성 평가에 그치는 문제점이 있다. 그리고, 기존의 노래방 시스템은 전체 점수만 표시될 뿐, 사용자 가창의 각 요소 부분에 대해 어떤 평가가 이루어졌는지 확인할 수 없다는 문제점이 있다.In the past, feedback has been received through a vocal trainer or a practical music academy, but there is a problem in that the cost is high and the entry barrier is high. In addition, subjective factors are involved in the evaluation according to a vocal trainer or instructor. In addition, the karaoke system that gives a score for a song has a problem in that it scores only for the song at the time of singing, and is limited to a one-time evaluation. In addition, the existing karaoke system has a problem in that only the total score is displayed, and it is impossible to check what evaluation is performed for each element part of the user song.

한국공개특허공보 제10-2018-0043925호(2018.05.02)Korean Patent Publication No. 10-2018-0043925 (2018.05.02)

개시되는 실시예는 새로운 기법의 가창 평가 방법 및 이를 수행하기 위한 컴퓨팅 장치를 제공하기 위한 것이다.The disclosed embodiment is to provide a method for evaluating singing of a new technique and a computing device for performing the same.

개시되는 일 실시예에 따른 가창 평가 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 박자 정확도를 분석하는 박자 분석 모듈; 상기 가창 오디오 및 상기 악보 정보를 기반으로 상기 사용자의 음정 정확도를 분석하는 음정 분석 모듈; 상기 가창 오디오 및 상기 악보 정보를 기반으로 상기 사용자의 비브라토를 분석하는 비브라토 분석 모듈; 상기 악보 정보를 기반으로 상기 곡의 음정 복잡도를 분석하는 음정 복잡도 분석 모듈; 및 상기 분석된 박자 정확도, 음정 정확도, 비브라토, 및 음정 복잡도를 기반으로 상기 사용자의 가창 평가를 수행하는 가창 평가 모듈을 포함한다.Singing apparatus according to one embodiment disclosed, Computing device having a memory for storing one or more processors, and one or more programs executed by the one or more processors, the user's singing audio and the user called A beat analysis module that analyzes the beat accuracy of the user based on the music score information of the song; A pitch analysis module that analyzes the user's pitch accuracy based on the song audio and the score information; A vibrato analysis module that analyzes the vibrato of the user based on the song audio and the sheet music information; A pitch complexity analysis module that analyzes the pitch complexity of the song based on the score information; And a singing evaluation module that performs singing evaluation of the user based on the analyzed beat accuracy, pitch accuracy, vibrato, and pitch complexity.

상기 가창 평가 장치는, 상기 가창 오디오에서 음량이 기 설정된 임계 음량 이하인 구간 및 상기 악보 정보에서 음정이 기 설정된 임계 음정 이하인 구간 중 하나 이상을 검출하여 분석 구간에서 삭제하는 전처리 모듈을 더 포함할 수 있다.The song evaluation apparatus may further include a pre-processing module that detects and deletes one or more of a section in which the volume is below a preset threshold volume in the song audio and a section in which the pitch is below a preset threshold pitch in the sheet music information and deletes it in the analysis section. .

상기 박자 분석 모듈은, 상기 악보 정보에 기반하여 각 음표의 음정, 각 음표의 길이, 및 각 음표 간 시간 간격을 음표 순서에 따라 배열하여 음표 기준 정보를 생성하고, 상기 가창 오디오 신호를 상기 음표 기준 정보의 시간 축 상에 매칭하여 배열하며, 상기 음표 기준 정보에서 각 음표 구간에 대응하여 상기 가창 오디오 신호가 존재하는지 여부를 확인하여 상기 박자 정확도를 분석할 수 있다.The beat analysis module generates note reference information by arranging the pitch of each note, the length of each note, and the time interval between each note according to the order of the notes, based on the score information, and generates the song reference signal based on the note Matching and arranging information on a time axis, it is possible to analyze the beat accuracy by checking whether the song audio signal exists in response to each note section in the note reference information.

상기 박자 분석 모듈은, 상기 음표 기준 정보에서 해당 음표의 시간 축 중심을 기준으로 해당 음표의 앞 구간 박자가 틀렸는지 또는 해당 음표의 뒷 구간의 박자가 틀렸는지에 따라 감점 점수에 가중치를 부여할 수 있다.The beat analysis module may assign a weight to the deduction score according to whether the beat of the previous section of the note or the beat of the back section of the note is wrong based on the center of the time axis of the note in the note reference information. .

상기 음정 분석 모듈은, 상기 악보 정보에 기반하여 각 음표의 음정, 각 음표의 길이, 및 각 음표 간 시간 간격을 음표 순서에 따라 배열하여 음표 기준 정보를 생성하고, 상기 가창 오디오 신호를 상기 음표 기준 정보의 시간 축 상에 매칭하여 배열하며, 상기 가창 오디오 신호에서 음표가 있는 구간에 대해 상기 음정 정확도를 분석할 수 있다.The pitch analysis module generates note reference information by arranging the pitch of each note, the length of each note, and the time interval between each note according to the note order, based on the score information, and generates the song reference signal based on the note It is arranged by matching on the time axis of information, and it is possible to analyze the pitch accuracy for a section with a note in the song audio signal.

상기 음정 분석 모듈은, 상기 가창 오디오 신호의 음정이 상기 음표 기준 정보에서 해당 음표의 음정을 기준으로 기 설정된 오차 범위 이내에 있는지 여부를 확인하여 상기 음정 정확도를 분석할 수 있다.The pitch analysis module may analyze the pitch accuracy by checking whether the pitch of the song audio signal is within a predetermined error range based on the pitch of the corresponding note in the note reference information.

상기 음정 분석 모듈은, 상기 가창 오디오 신호의 음정이 상기 음표의 음정을 기준으로 기 설정된 오차 범위를 벗어나는 경우, 감점 점수를 부여하되, 상기 음표의 음역대에 따라 상기 감정 점수에 가중치를 부여할 수 있다.The pitch analysis module, if the pitch of the song audio signal is outside the preset error range based on the pitch of the note, assigns a deduction score, but may assign a weight to the emotion score according to the range of the note .

상기 음정 분석 모듈은, 상기 음표의 음역대가 높을수록 상기 감점 점수가 낮아지도록 가중치를 부여할 수 있다.The pitch analysis module may assign a weight so that the higher the transliteration range of the note, the lower the deduction score.

상기 음정 분석 모듈은, 상기 악보 정보에서 소정 음표의 음정 스케일이 기 설정된 음정 값에 해당하는 구간이 존재하는 경우, 해당 구간은 랩 가사 구간으로 판단하여 음정 정확도 분석을 스킵할 수 있다.The pitch analysis module may skip the pitch accuracy analysis by determining that the interval is a rap lyrics section when a pitch scale of a predetermined note in the score information corresponds to a preset pitch value.

상기 악보 정보에서, 상기 랩 가사 구간은 가창 음정을 초과하는 음정 스케일 값이 부여될 수 있다.In the sheet music information, the rap lyrics section may be assigned a pitch scale value exceeding a song pitch.

상기 비브라토 분석 모듈은, 상기 악보 정보에서 각 음표의 음정을 기준으로 상기 가창 오디오 신호의 음정의 높낮이 변화를 통해 비브라토 여부를 확인할 수 있다.The vibrato analysis module may determine whether vibrato is obtained by changing the pitch of the song audio signal based on the pitch of each note in the sheet music information.

상기 비브라토 분석 모듈은, 상기 음표의 음정을 기준으로 상기 가창 오디오 신호의 음정의 높낮이 변화가 있는 경우, 상기 음정의 높낮이 변화 크기가 기 설정된 임계 크기보다 큰지 여부를 확인하고, 상기 음정의 높낮이 변화 크기가 기 설정된 임계 크기보다 큰 경우, 상기 사용자가 상기 곡의 가창 시 비브라토를 한 것으로 판단할 수 있다.The vibrato analysis module, if there is a pitch change in the pitch of the song audio signal based on the pitch of the note, checks whether the pitch change size of the pitch is greater than a preset threshold size, and the pitch change size of the pitch When is greater than a preset threshold size, it may be determined that the user performed vibrato when singing the song.

상기 비브라토 분석 모듈은, 상기 음표의 음정을 기준으로 상기 가창 오디오 신호의 음정 높낮이 변화 크기 및 상기 음정 높낮이 변화 횟수를 기반으로 비브라토에 대한 점수를 부여할 수 있다.The vibrato analysis module may assign a score for vibrato based on the pitch pitch change size and the number of pitch pitch changes based on the pitch of the note.

상기 음정 복잡도 분석 모듈은, 상기 악보 정보에서 소정 음표 및 상기 음표와 이웃하는 음표 간의 음정 차이가 기 설정된 제1 차이 이상인 경우의 횟수 및 상기 음표 간의 음정 차이가 상기 제1 차이보다 낮은 제2 차이 이하인 경우의 횟수를 기반으로 상기 곡에 대한 음정 복잡도를 분석할 수 있다.The pitch complexity analysis module, the number of cases in which the difference in pitch between a predetermined note and the note and a neighbor note in the sheet music information is greater than or equal to a preset first difference and a difference in pitch between the notes is less than or equal to a second difference lower than the first difference Pitch complexity for the song may be analyzed based on the number of cases.

상기 음정 복잡도 분석 모듈은, 상기 음표 간의 음정 차이가 상기 제1 차이 이상인 횟수가 많을수록 상기 곡에 대한 음정 복잡도 점수가 높아지도록 하고, 상기 음표 간의 음정 차이가 상기 제2 차이 이하인 횟수가 많을수록 상기 음정 복잡도 점수가 낮아지도록 할 수 있다.The pitch complexity analysis module increases the pitch complexity score for the song as the number of times the pitch difference between the notes is greater than or equal to the first difference, and the number of times the difference in pitch between the notes is less than or equal to the second difference. You can make your score lower.

개시되는 일 실시예에 따른 가창 평가 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 박자 정확도를 분석하는 단계; 상기 가창 오디오 및 상기 악보 정보를 기반으로 상기 사용자의 음정 정확도를 분석하는 단계; 상기 가창 오디오 및 상기 악보 정보를 기반으로 상기 사용자의 비브라토를 분석하는 단계; 상기 악보 정보를 기반으로 상기 곡의 음정 복잡도를 분석하는 단계; 및 상기 분석된 박자 정확도, 음정 정확도, 비브라토, 및 음정 복잡도를 기반으로 상기 사용자의 가창 평가를 수행하는 단계를 포함한다.The song evaluation method according to the disclosed embodiment is a method performed in a computing device having one or more processors, and a memory storing one or more programs executed by the one or more processors, wherein the user's song audio and Analyzing the beat accuracy of the user based on the score information of the song sung by the user; Analyzing the user's pitch accuracy based on the song audio and the score information; Analyzing the user's vibrato based on the song audio and the sheet music information; Analyzing the pitch complexity of the song based on the score information; And performing singing evaluation of the user based on the analyzed time signature accuracy, pitch accuracy, vibrato, and pitch complexity.

개시되는 다른 실시예에 따른 가창 평가 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 음정 정확도를 분석하는 음정 분석 모듈을 포함하고, 상기 음정 분석 모듈은, 상기 악보 정보에 기반하여 각 음표의 음정, 각 음표의 길이, 및 각 음표 간 시간 간격을 음표 순서에 따라 배열하여 음표 기준 정보를 생성하고, 상기 가창 오디오 신호를 상기 음표 기준 정보의 시간 축 상에 매칭하여 배열하며, 상기 가창 오디오 신호에서 음표가 있는 구간에 대해 상기 음정 정확도를 분석한다.A song evaluation apparatus according to another disclosed embodiment is a computing device having memory for storing one or more processors and one or more programs executed by the one or more processors, the user's singing audio and the user's singing And a pitch analysis module that analyzes the user's pitch accuracy based on the music score information of the song, wherein the pitch analysis module comprises: a pitch of each note, a length of each note, and a time interval between each note based on the score information Is arranged according to the order of the notes to generate note reference information, the song audio signal is matched and arranged on the time axis of the note reference information, and the pitch accuracy is analyzed for a section with a note in the song audio signal .

개시되는 또 다른 실시예에 따른 가창 평가 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 비브라토를 분석하는 비브라토 분석 모듈을 포함하고, 상기 비브라토 분석 모듈은, 상기 악보 정보에서 각 음표의 음정을 기준으로 상기 가창 오디오 신호의 음정의 높낮이 변화를 통해 비브라토 여부를 확인한다.A song evaluation apparatus according to another disclosed embodiment is a computing device having memory for storing one or more processors and one or more programs executed by the one or more processors, wherein the user's song audio and the user And a vibrato analysis module that analyzes the vibrato of the user based on the score information of the song sung, and the vibrato analysis module, through the pitch change of the pitch of the song audio signal based on the pitch of each note in the score information Check for vibrato.

개시되는 또 다른 실시예에 따른 가창 평가 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 음정 정확도를 분석하는 음정 분석 모듈; 및 상기 악보 정보를 기반으로 상기 곡의 음정 복잡도를 분석하는 음정 복잡도 분석 모듈을 포함한다.A song evaluation apparatus according to another disclosed embodiment is a computing device having memory for storing one or more processors and one or more programs executed by the one or more processors, wherein the user's song audio and the user A pitch analysis module that analyzes the user's pitch accuracy based on the score information of the song sung; And a pitch complexity analysis module that analyzes the pitch complexity of the song based on the score information.

개시되는 실시예에 의하면, 사용자의 가창에 대해 박자 정확도, 음정 정확도, 음량, 비브라토, 음역, 음정 복잡도, 및 템포 등 평가 요소 별로 점수를 부여하고 이를 시각화하여 표시함으로써, 사용자가 어떤 평가 요소에 약점 또는 강점이 있는지를 한눈에 알 수 있게 된다. According to the disclosed embodiment, the user's singing is scored for each evaluation element such as beat accuracy, pitch accuracy, volume, vibrato, transliteration, pitch complexity, and tempo, and visualized and displayed, thereby allowing the user to weaken any evaluation element Or you can see at a glance whether there are strengths.

또한, 사용자의 가창에 대해 가창 이력 정보를 생성함으로써, 사용자의 가창 실력 변화 여부를 확인할 수 있으며, 이를 통해 사용자가 어떤 부분에서 성장하고 있는지 어떤 부분에서 정체되고 있는지 쉽게 알 수 있고, 그에 따라 사용자의 부족한 부분에 대해 집중적으로 트레이닝을 실시할 수 있게 된다.In addition, by generating song history information about the user's singing song, it is possible to check whether the user's singing ability has changed, and through this, it is easy to know in which part the user is growing and in which part the user is stagnating. You will be able to focus on training on the shortage.

도 1은 본 발명의 일 실시예에 따른 가창 평가 장치의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 가창 분석부의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 가창 분석부에서 박자 정확도를 분석하기 위한 상태를 나타낸 도면
도 4는 본 발명의 일 실시예에 따른 가창 분석부에서 음정 정확도를 분석하기 위한 상태를 나타낸 도면
도 5는 본 발명의 일 실시예에 따른 가창 분석부에서 비브라토를 분석하기 위한 상태를 나타낸 도면
도 6은 본 발명의 일 실시예에 따른 악보 분석부의 구성을 나타낸 블록도
도 7은 본 발명의 일 실시예에 따른 악보 분석부에서 음정 복잡도를 분석하기 위한 상태를 나타낸 도면
도 8은 본 발명의 일 실시예에 따른 가창 프로필 관리부의 구성을 나타낸 블록도
도 9는 본 발명의 일 실시예에 따른 가창 프로필 관리부에서 사용자의 가창을 평가한 상태를 나타낸 도면
도 10은 본 발명의 일 실시예에 따른 가창 프로필 관리부에서 소정 곡에 대한 평가 요소 별 이력 정보를 나타낸 도면
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a view showing the configuration of a song evaluation apparatus according to an embodiment of the present invention
Figure 2 is a block diagram showing the configuration of the song analysis unit according to an embodiment of the present invention
3 is a view showing a state for analyzing the time signature accuracy in the song analysis unit according to an embodiment of the present invention
4 is a view showing a state for analyzing the pitch accuracy in the song analysis unit according to an embodiment of the present invention
5 is a view showing a state for analyzing the vibrato in the song analysis unit according to an embodiment of the present invention
6 is a block diagram showing the composition of the score analysis unit according to an embodiment of the present invention
7 is a view showing a state for analyzing the pitch complexity in the score analysis unit according to an embodiment of the present invention
8 is a block diagram showing the configuration of a song profile management unit according to an embodiment of the present invention
9 is a view showing a state in which the user's singing is evaluated in the singing profile management unit according to an embodiment of the present invention
10 is a view showing the history information for each evaluation element for a certain song in the song profile management unit according to an embodiment of the present invention
11 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in example embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices and / or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification. The terminology used in the detailed description is only for describing embodiments of the present invention and should not be limiting. Unless expressly used otherwise, a singular form includes a plural form. In this description, expressions such as “comprising” or “equipment” are intended to indicate certain characteristics, numbers, steps, actions, elements, parts or combinations thereof, and one or more other than described. It should not be interpreted to exclude the presence or possibility of other characteristics, numbers, steps, actions, elements, or parts or combinations thereof.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, the terms “transmission”, “communication”, “transmission”, “reception” and the like of the signal or information are not only those in which a signal or information is transmitted directly from one component to another. This includes passing through other components. In particular, "transmitting" or "transmitting" a signal or information to a component indicates the final destination of the signal or information, not a direct destination. The same is true for the "reception" of a signal or information. Also, in this specification, when two or more pieces of data or information are “related” means that acquiring one piece of data (or information) can acquire at least part of the other piece of data (or information) based on it.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Further, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may also be referred to as a first component.

도 1은 본 발명의 일 실시예에 따른 가창 평가 장치의 구성을 나타낸 도면이다. 1 is a view showing the configuration of a song evaluation apparatus according to an embodiment of the present invention.

도 1을 참조하면, 가창 평가 장치(100)는 가창 분석부(102), 악보 분석부(104), 및 가창 프로필 관리부(106)를 포함할 수 있다. Referring to FIG. 1, the singing evaluation device 100 may include a singing analysis unit 102, a score analysis unit 104, and a singing profile management unit 106.

가창 분석부(102)는 소정 곡에 대한 사용자의 가창 오디오를 획득할 수 있다. 가창 분석부(102)는 사용자의 가창 오디오를 기반으로 음정 정확도, 박자 정확도, 음량, 및 비브라토 중 하나 이상을 분석할 수 있다. 가창 분석부(102)는 사용자의 가창 오디오를 해당 곡의 악보 정보와 비교하여 분석을 수행할 수 있다. 가창 분석부(102)는 가창 오디오의 분석 결과를 가창 프로필 관리부(106)로 전달할 수 있다. The song analysis unit 102 may acquire a user's song audio for a predetermined song. The song analysis unit 102 may analyze one or more of pitch accuracy, beat accuracy, volume, and vibrato based on the user's song audio. The song analysis unit 102 may perform analysis by comparing a user's song audio with sheet music information of a corresponding song. The song analysis unit 102 may transmit the analysis result of the song audio to the song profile management unit 106.

악보 분석부(104)는 사용자가 부르는 곡에 대한 악보 정보를 획득할 수 있다. 예시적인 실시예에서, 악보 정보는 해당 곡에 포함되는 각 음표의 음정 및 길이에 대한 정보를 포함할 수 있다. 악보 분석부(104)는 악보 정보를 기반으로 해당 곡에 대한 음역, 음정 복잡도, 및 템포 중 하나 이상을 분석할 수 있다. 악보 분석부(104)는 악보 정보의 분석 결과를 가창 프로필 관리부(106)로 전달할 수 있다. The score analysis unit 104 may acquire sheet music information for a song that is called by a user. In an exemplary embodiment, the score information may include information on the pitch and length of each note included in the corresponding song. The score analysis unit 104 may analyze one or more of a range, pitch complexity, and tempo of the corresponding song based on the score information. The score analysis unit 104 may transmit the analysis result of the score information to the song profile management unit 106.

가창 프로필 관리부(106)는 가창 오디오 및 악보 정보의 분석 결과를 기반으로 사용자 별 가창력에 대한 정보를 시각화 하여 표시할 수 있다. 가창 프로필 관리부(106)는 각 사용자의 가수별, 곡별, 장르별 등으로 가창력 정보에 대한 히스토그램을 생성할 수 있다. 가창 프로필 관리부(106)는 가창 오디오 및 악보 정보의 분석 결과를 기반으로 해당 사용자에게 다음 도전곡을 추천할 수 있다. The singing profile manager 106 may visualize and display information about singing ability for each user based on the analysis result of singing audio and sheet music information. The singing profile manager 106 may generate a histogram of singing information by singer, song, and genre of each user. The song profile management unit 106 may recommend the next challenge song to the user based on the analysis result of the song audio and score information.

도 2는 본 발명의 일 실시예에 따른 가창 분석부의 구성을 나타낸 블록도이다. 2 is a block diagram showing the configuration of a song analysis unit according to an embodiment of the present invention.

도 2를 참조하면, 가창 분석부(102)는 가창 오디오 획득 모듈(111), 전처리 모듈(113), 박자 분석 모듈(115), 음정 분석 모듈(117), 음량 분석 모듈(119), 및 비브라토 분석 모듈(121)을 포함할 수 있다. Referring to FIG. 2, the song analysis unit 102 includes a song audio acquisition module 111, a pre-processing module 113, a time signature analysis module 115, a pitch analysis module 117, a volume analysis module 119, and a vibrato Analysis module 121 may be included.

가창 오디오 획득 모듈(111)은 소정 곡에 대한 사용자의 가창 오디오를 획득할 수 있다. 가창 오디오 획득 모듈(111)은 사용자의 가창 오디오 획득을 위해 마이크로폰을 구비할 수 있다. The song audio acquisition module 111 may acquire a user's song audio for a predetermined song. The singing audio acquisition module 111 may include a microphone for acquiring singing music of the user.

전처리 모듈(113)은 사용자의 가창 오디오 및 해당 곡의 악보 정보에 대해 각각 필터링을 수행할 수 있다. 전처리 모듈(113)은 악보 정보 데이터베이스(미도시)로부터 해당 곡의 악보 정보를 획득할 수 있다. 전처리 모듈(113)은 사용자의 가창 오디오 및 해당 곡의 악보 정보에서 노이즈 또는 오류가 있는 부분을 필터링 할 수 있다.The pre-processing module 113 may perform filtering on the user's song audio and sheet music information of the corresponding song, respectively. The pre-processing module 113 may acquire sheet music information of a corresponding song from a sheet music information database (not shown). The pre-processing module 113 may filter out noise or errors in the user's singing audio and the music score information of the corresponding song.

구체적으로, 전처리 모듈(113)은 사용자의 가창 오디오에서 음량이 기 설정된 임계 음량 이하인 구간은 분석 구간에서 삭제할 수 있다. 예를 들어, 음량이 0부터 1까지의 값을 갖는 경우, 전처리 모듈(113)은 사용자의 가창 오디오에서 음량이 0.01 이하인 구간은 노이즈로 판단하여 분석 구간에서 삭제할 수 있다. Specifically, the pre-processing module 113 may delete a section in which the volume of the user's song audio is below a preset threshold volume in the analysis section. For example, when the volume has a value from 0 to 1, the pre-processing module 113 may determine that the section with the volume of 0.01 or less in the user's song audio is noise and delete it from the analysis section.

또한, 전처리 모듈(113)은 해당 곡의 악보 정보에서 음정이 기 설정된 임계 음정 이하인 구간은 분석 구간에서 삭제할 수 있다. 예를 들어, MIDI(Musical Instrument Digital Interface)에서 음정 스케일은 0에서 127까지의 값을 가질 수 있다. 전처리 모듈(113)은 해당 곡의 악보 정보에서 음정 스케일이 5 이하인 경우, 해당 악보 정보에 오류가 있는 것으로 판단하여 분석 구간에서 삭제할 수 있다.In addition, the pre-processing module 113 may delete a section in which the pitch is lower than or equal to a predetermined threshold in the music score information of the corresponding song in the analysis section. For example, in a musical instrument digital interface (MIDI), the pitch scale may have a value from 0 to 127. The pre-processing module 113 may determine that there is an error in the score information when the pitch scale is 5 or less from the score information of the corresponding song, and may delete it from the analysis section.

박자 분석 모듈(115)은 사용자의 가창 오디오를 해당 곡의 악보 정보와 비교하여 사용자의 박자 정확도를 분석할 수 있다. 박자 분석 모듈(115)은 사용자의 가창 오디오와 해당 곡의 악보 정보를 시간 축에서 비교하여 사용자의 박자 정확도를 분석할 수 있다. The beat analysis module 115 may analyze the user's beat accuracy by comparing the user's singing audio with the score information of the corresponding song. The time signature analysis module 115 may analyze the time signature accuracy of the user by comparing the user's song audio with the score information of the corresponding song on the time axis.

도 3은 본 발명의 일 실시예에 따른 가창 분석부에서 박자 정확도를 분석하기 위한 상태를 나타낸 도면이다. 여기서, 가로 축은 시간을 나타내고, 세로 축은 음정(음의 높낮이)을 나타낸다.3 is a view showing a state for analyzing the beat accuracy in the song analysis unit according to an embodiment of the present invention. Here, the horizontal axis represents time, and the vertical axis represents pitch (negative height).

도 3을 참조하면, 박자 분석 모듈(115)은 해당 곡의 악보 정보에 기초하여 각 음표(N)의 음정, 각 음표(N)의 길이(시간 길이), 및 각 음표(N) 간 간격을 해당 곡에서 음표의 순서에 따라 배열하여 음표 기준 정보를 생성할 수 있다. 또한, 박자 분석 모듈(115)은 사용자의 가창 오디오 신호(A)를 음표 기준 정보의 시간 축(도 3에서 가로 축) 상에 매칭하여 배열할 수 있다. Referring to FIG. 3, the time signature analysis module 115 determines the pitch of each note (N), the length (time length) of each note (N), and the interval between each note (N) based on the score information of the corresponding song. It is possible to generate note reference information by arranging in the order of notes in the song. In addition, the time signature analysis module 115 may match and arrange the user's song audio signal A on the time axis (horizontal axis in FIG. 3) of note reference information.

박자 분석 모듈(115)은 각 음표(N) 구간에 대응하여 가창 오디오 신호(A)가 존재하는지 여부를 확인하여 사용자의 박자 정확도를 분석할 수 있다. 구체적으로, 박자 분석 모듈(115)은 소정 음표(N)의 시작 시간에 가창 오디오 신호(A)가 존재하고, 해당 음표(N)의 종료 시간까지 가창 오디오 신호(A)가 존재하는 경우, 사용자가 해당 음표에 대한 박자를 정확하게 지킨 것으로 판단하여 기준 점수를 부여할 수 있다. The time signature analysis module 115 may analyze the time signature accuracy of the user by checking whether the song audio signal A exists in response to each note (N) section. Specifically, the beat analysis module 115, when the song audio signal (A) is present at the start time of the predetermined note (N), and the song audio signal (A) is present until the end time of the note (N), the user It can be judged that the time signature for the note is accurately followed, and a reference score can be assigned.

또한, 박자 분석 모듈(115)은 소정 음표(N)의 시작 시간에 가창 오디오 신호(A)가 존재하지 않거나, 소정 음표(N)의 시작 시간에 가창 오디오 신호(A)가 존재하더라도 해당 음표(N)의 종료 시간까지 가창 오디오 신호(A)가 존재하지 않는 경우, 사용자가 해당 음표에 대한 박자를 정확히 지키지 못한 것으로 판단하여 기준 점수에서 감점 점수를 뺀 점수를 부여할 수 있다. In addition, the time signature analysis module 115 does not include the song audio signal A at the start time of the predetermined note N, or even if the song audio signal A is present at the start time of the predetermined note N, the corresponding note ( If the song audio signal (A) does not exist until the end time of N), the user judges that the time signature for the corresponding note has not been correctly observed, and a score obtained by subtracting the deduction score from the reference score can be assigned.

예시적인 실시예에서, 박자 분석 모듈(115)은 해당 음표(N)의 시간 축 중심을 기준으로 해당 음표(N)의 앞 구간의 박자가 틀렸는지 또는 해당 음표(N)의 뒷 구간의 박자가 틀렸는지에 따라 감점 점수에 가중치를 부여할 수 있다. 박자 분석 모듈(115)은 해당 음표(N)의 앞 구간의 박자가 틀린 경우, 해당 음표(N)의 뒷 구간의 박자가 틀린 경우보다 감점 점수에 더 높은 가중치를 부여할 수 있다.In an exemplary embodiment, the time signature analysis module 115 determines whether the time signature of the preceding section of the note N is wrong or the time signature of the back section of the note N is based on the center of the time axis of the note N Depending on whether they are wrong, the deduction score can be weighted. The time signature analysis module 115 may assign a higher weight to the deduction score than the case where the time signature of the previous section of the note N is wrong.

음정 분석 모듈(117)은 사용자의 가창 오디오를 해당 곡의 악보 정보와 비교하여 사용자의 음정 정확도를 분석할 수 있다. 음정 분석 모듈(117)은 사용자의 가창 오디오와 해당 곡의 악보 정보를 시간 축에서 비교하여 사용자의 음정 정확도를 분석할 수 있다. The pitch analysis module 117 may analyze the user's pitch accuracy by comparing the user's song audio with sheet music information of the corresponding song. The pitch analysis module 117 may analyze the user's pitch accuracy by comparing the user's singing audio with the score information of the corresponding song on the time axis.

도 4는 본 발명의 일 실시예에 따른 가창 분석부에서 음정 정확도를 분석하기 위한 상태를 나타낸 도면이다. 여기서, 가로 축은 시간을 나타내고, 세로 축은 음정(음의 높낮이)을 나타낸다.4 is a view showing a state for analyzing the pitch accuracy in the song analysis unit according to an embodiment of the present invention. Here, the horizontal axis represents time, and the vertical axis represents pitch (negative height).

도 4를 참조하면, 음정 분석 모듈(117)은 사용자의 가창 오디오 신호(A)를 음표 기준 정보의 시간 축(도 4에서 가로 축) 상에 매칭하여 배열할 수 있다. 음정 분석 모듈(117)은 가창 오디오 신호(A)에서 음표(N)가 있는 구간에 대해서 사용자의 음정 정확도를 분석할 수 있다. Referring to FIG. 4, the pitch analysis module 117 may match and arrange the user's singing audio signal A on a time axis (horizontal axis in FIG. 4) of note reference information. The pitch analysis module 117 may analyze a user's pitch accuracy in a section with a note N in the song audio signal A.

음정 분석 모듈(117)은 가창 오디오 신호(A)의 음정이 음표 기준 정보에서 해당 음표(N)의 음정을 기준으로 기 설정된 오차 범위(예를 들어, 음정 스케일의 경우, 해당 음표의 음정 스케일 ± 1) 이내에 있는 경우, 사용자가 해당 음표에 대한 음정을 정확하게 지킨 것으로 판단하여 기준 점수를 부여할 수 있다. The pitch analysis module 117 has a preset error range based on the pitch of the corresponding note (N) in the pitch reference information of the song audio signal (A) (for example, in the case of a pitch scale, the pitch scale of the corresponding note ± 1) If it is within, the user can judge that the pitch for the note is accurately followed and assign a reference score.

또한, 음정 분석 모듈(117)은 가창 오디오 신호(A)의 음정이 음표 기준 정보에서 해당 음표(N)의 음정을 기준으로 기 설정된 오차 범위를 벗어나는 경우, 사용자가 해당 음표에 대한 음정을 정확히 지키지 못한 것으로 판단하여 기준 점수에서 감점 점수를 뺀 점수를 부여할 수 있다. In addition, the pitch analysis module 117, if the pitch of the song audio signal (A) is outside the preset error range based on the pitch of the note (N) in the note reference information, the user does not keep the pitch for the note correctly It can be judged that it failed, and a score obtained by subtracting the deduction score from the reference score can be assigned.

이때, 음정 분석 모듈(117)은 해당 음표(N)의 음역대에 따라 감점 점수에 가중치를 부여할 수 있다. 음정 분석 모듈(117)은 해당 음표(N)의 음역대가 높을수록 감점 점수가 낮아지도록 할 수 있다. 예를 들어, 해당 음표(N)의 음역대가 1옥타브 이내인 경우, 음정 분석 모듈(117)은 해당 음표의 음정을 지키지 못한 것에 대해 기 설정된 감점 점수를 부여할 수 있다. 해당 음표(N)의 음역대가 1옥타브 이상 2옥타브 이내인 경우, 음정 분석 모듈(117)은 해당 음표의 음정을 지키지 못한 것에 대해 기 설정된 감점 점수의 70%를 감점 점수로 부여할 수 있다. 해당 음표(N)의 음역대가 2옥타브 이상 3옥타브 이내인 경우, 음정 분석 모듈(117)은 해당 음표의 음정을 지키지 못한 것에 대해 기 설정된 감점 점수의 50%를 감점 점수로 부여할 수 있다. At this time, the pitch analysis module 117 may assign a weight to the deduction score according to the range of the note N. The pitch analysis module 117 may allow the deduction score to decrease as the pitch range of the note N increases. For example, when the range of the note N is within 1 octave, the pitch analysis module 117 may assign a predetermined deduction point score for not keeping the note of the note. When the range of the note (N) is 1 octave or more and 2 octaves or less, the pitch analysis module 117 may assign 70% of a predetermined deduction score for failing to keep the pitch of the note as a deduction score. When the range of the note (N) is 2 octaves or more and 3 octaves or less, the pitch analysis module 117 may assign 50% of a predetermined deduction score for failing to keep the pitch of the note as a deduction score.

음정 분석 모듈(117)은 음표 기준 정보에서 음정 스케일이 기 설정된 음정 값에 해당하는 구간이 존재하는지 여부를 확인할 수 있다. 음정 분석 모듈(117)은 음표 기준 정보에서 음정 스케일이 기 설정된 음정 값에 해당하는 구간이 존재하는 경우, 해당 구간은 랩 가사 구간으로 판단하여 음정 정확도를 분석하지 않을 수 있다. The pitch analysis module 117 may check whether there is an interval in which the pitch scale corresponds to a preset pitch value in the note reference information. The pitch analysis module 117 may not analyze the pitch accuracy by determining that the section is a rap lyrics section if a section corresponding to a preset pitch value exists in the note reference information.

예시적인 실시예에서, 랩 가사 구간을 포함하는 곡의 음표 기준 정보의 경우, 랩 가사 구간에 대해 가창 음정을 초과하는 음정 스케일 값(예를 들어, 96)이 부여될 수 있다. 즉, 일반적으로 사람의 목소리로 낼 수 있는 음정 스케일은 약 30~90 정도에 해당되게 된다. 여기서, 랩 가사 구간을 가창 음정을 초과하는 음정 스케일 값으로 부여함으로써, 음정 분석 모듈(117)은 해당 구간이 랩 가사 구간인 것으로 판단하고, 음정 정확도 분석을 스킵(Skip) 할 수 있다.In an exemplary embodiment, in the case of note reference information of a song including a rap lyrics section, a pitch scale value (for example, 96) exceeding a song pitch may be assigned to the rap lyrics section. That is, in general, the pitch scale that can be produced by a human voice is about 30 to 90 degrees. Here, by assigning the rap lyrics section as a pitch scale value exceeding the song pitch, the pitch analysis module 117 may determine that the section is a rap lyrics section and skip the pitch accuracy analysis (Skip).

음량 분석 모듈(119)은 사용자의 가창 오디오를 기반으로 사용자의 음량을 분석할 수 있다. 예시적인 실시예에서, 음량 분석 모듈(119)은 해당 곡의 악보 정보를 이용하여 사용자의 가창 오디오에서 해당 곡의 기 설정된 단위 구간(예를 들어, 마디 등) 별로 사용자의 음량을 분석할 수 있다. 또한, 음량 분석 모듈(119)은 사용자의 가창 오디오를 기반으로 사용자의 최대 음량을 분석할 수 있다. The volume analysis module 119 may analyze the user's volume based on the user's singing audio. In an exemplary embodiment, the volume analysis module 119 may analyze the user's volume for each preset unit section (for example, a node, etc.) of the song in the user's song audio using the score information of the song. . In addition, the volume analysis module 119 may analyze the maximum volume of the user based on the user's singing audio.

비브라토 분석 모듈(121)은 사용자의 가창 오디오를 기반으로 해당 곡에서 사용자의 비브라토(또는 비브라토) 횟수를 분석할 수 있다. 비브라토 분석 모듈(121)은 해당 곡의 악보 정보에서 각 음표의 음정을 기준으로 가창 오디오 신호의 음정의 높낮이 변화를 통해 비브라토 여부를 확인할 수 있다. The vibrato analysis module 121 may analyze the number of vibrato (or vibrato) of the user in the corresponding song based on the user's song audio. The vibrato analysis module 121 may check whether the vibrato is by changing the pitch of the song audio signal based on the pitch of each note in the music score information of the corresponding song.

도 5는 본 발명의 일 실시예에 따른 가창 분석부에서 비브라토를 분석하기 위한 상태를 나타낸 도면이다. 여기서, 가로 축은 시간을 나타내고, 세로 축은 음정(음의 높낮이)을 나타낸다.5 is a view showing a state for analyzing the vibrato in the song analysis unit according to an embodiment of the present invention. Here, the horizontal axis represents time, and the vertical axis represents pitch (negative height).

도 5를 참조하면, 비브라토 분석 모듈(121)은 음표 기준 정보의 소정 음표(N)에서 가창 오디오 신호(A)의 음정이 해당 음표(N)의 음정을 기준으로 높낮이 변화가 있는지 여부를 확인할 수 있다. 즉, 비브라토 분석 모듈(121)은 사용자의 가창 오디오 신호(A)를 음표 기준 정보의 시간 축 상에 매칭하여 배열하고, 가창 오디오 신호(A)가 소정 음표(N)의 음정을 기준으로 낮아졌다가 높아지거나 높아졌다가 낮아지는 변화가 있는지 여부를 확인할 수 있다. Referring to FIG. 5, the vibrato analysis module 121 may determine whether the pitch of the singing audio signal A is changed in height based on the pitch of the corresponding note N in a predetermined note N of the note reference information. have. That is, the vibrato analysis module 121 matches and arranges the user's singing audio signal A on the time axis of the note reference information, and the singing audio signal A is lowered based on the pitch of the predetermined note N You can see if there are any changes that go up or down.

비브라토 분석 모듈(121)은 가창 오디오 신호(A)의 음정 높낮이 변화의 크기가 기 설정된 임계 크기보다 큰지 여부를 확인할 수 있다. 비브라토 분석 모듈(121)은 가창 오디오 신호(A)의 음정 높낮이 변화의 크기가 기 설정된 임계 크기보다 큰 경우, 사용자가 해당 곡의 가창 시 비브라토를 한 것으로 판단할 수 있다. The vibrato analysis module 121 may check whether the size of the pitch change of the singing audio signal A is greater than a preset threshold size. The vibrato analysis module 121 may determine that the user has performed the vibrato when singing the corresponding song when the size of the pitch change of the song audio signal A is greater than a preset threshold size.

또한, 비브라토 분석 모듈(121)은 기 설정된 단위 시간(예를 들어, 1초 등) 동안 가창 오디오 신호(A)의 음정 높낮이 변화가 기 설정된 횟수 이상 발생하는지 여부를 확인할 수 있다. 비브라토 분석 모듈(121)은 가창 오디오 신호(A)의 음정 높낮이 변화 크기 및 음정 높낮이 변화 횟수를 기반으로 비브라토에 대한 점수를 부여할 수 있다. In addition, the vibrato analysis module 121 may check whether the pitch pitch change of the song audio signal A occurs for a predetermined number of times or more during a preset unit time (for example, 1 second, etc.). The vibrato analysis module 121 may assign a score for the vibrato based on the size of the pitch height change and the number of pitch height changes of the song audio signal A.

도 6은 본 발명의 일 실시예에 따른 악보 분석부의 구성을 나타낸 블록도이다. 6 is a block diagram showing the configuration of the score analysis unit according to an embodiment of the present invention.

도 6을 참조하면, 악보 분석부(104)는 악보 정보 획득 모듈(131), 음역 분석 모듈(133), 음정 복잡도 분석 모듈(135), 및 템포 분석 모듈(137)을 포함할 수 있다. Referring to FIG. 6, the score analysis unit 104 may include a score information acquisition module 131, a transliteration analysis module 133, a pitch complexity analysis module 135, and a tempo analysis module 137.

악보 정보 획득 모듈(131)은 사용자가 가창하는 곡에 대한 악보 정보를 획득할 수 있다. 악보 정보 획득 모듈(131)은 악보 정보들이 저장된 데이터베이스(미도시)로부터 해당 곡에 대한 악보 정보를 획득할 수 있다. The score information acquisition module 131 may acquire sheet music information for a song sung by a user. The score information acquisition module 131 may acquire score information for a corresponding song from a database (not shown) in which the score information is stored.

음역 분석 모듈(133)은 해당 곡의 악보 정보를 기반으로 해당 곡의 음역을 분석할 수 있다. 즉, 음역 분석 모듈(133)은 상기 악보 정보를 기반으로 해당 곡의 음역대(최저음 및 최고음)가 어느 정도인지 여부를 분석할 수 있다. 음역 분석 모듈(133)은 해당 곡의 음역을 기반으로 음역 점수(즉, 음역 난이도 점수)를 부여할 수 있다. The transliteration analysis module 133 may analyze the transliteration of the corresponding song based on the score information of the corresponding song. That is, the transliteration analysis module 133 may analyze how much the transliteration band (lowest and highest) of the corresponding song is based on the score information. The transliteration analysis module 133 may assign a transliteration score (ie, transliteration difficulty score) based on the transliteration of the corresponding song.

음정 복잡도 분석 모듈(135)은 해당 곡의 악보 정보를 기반으로 해당 곡의 음정 복잡도를 분석할 수 있다. 음정 복잡도 분석 모듈(135)은 해당 곡의 음표 기준 정보를 이용하여 해당 곡의 음정 복잡도를 분석할 수 있다. The pitch complexity analysis module 135 may analyze the pitch complexity of the corresponding song based on the score information of the corresponding song. The pitch complexity analysis module 135 may analyze the pitch complexity of the corresponding song using the note reference information of the corresponding song.

도 7은 본 발명의 일 실시예에 따른 악보 분석부에서 음정 복잡도를 분석하기 위한 상태를 나타낸 도면이다. 여기서, 가로 축은 시간을 나타내고, 세로 축은 음정(음의 높낮이)을 나타낸다.7 is a view showing a state for analyzing the pitch complexity in the score analysis unit according to an embodiment of the present invention. Here, the horizontal axis represents time, and the vertical axis represents pitch (negative height).

도 7을 참조하면, 음정 복잡도 분석 모듈(135)은 소정 음표 및 상기 음표와 이웃하는 음표 간의 음정 차이에 기반하여 해당 곡의 음정 복잡도를 분석할 수 있다. 예를 들어, 음정 복잡도 분석 모듈(135)은 소정 음표 및 상기 음표와 이웃하는 음표 간의 음정 차이가 기 설정된 제1 차이(예를 들어, 음정 스케일 2) 이상인 경우의 횟수 및 음표 간의 음정 차이가 기 설정된 제2 차이(예를 들어, 음정 스케일 1) 이하인 경우의 횟수를 기반으로 해당 곡에 대한 음정 복잡도 점수를 부여할 수 있다. Referring to FIG. 7, the pitch complexity analysis module 135 may analyze the pitch complexity of a corresponding song based on a predetermined note and a difference in pitch between the note and neighboring notes. For example, the pitch complexity analysis module 135 determines the number of times when the difference in pitch between a predetermined note and the note and a neighbor note is greater than a preset first difference (for example, a pitch scale 2) and a difference in pitch between the notes The pitch complexity score for the corresponding song may be assigned based on the number of times when the set second difference (for example, the pitch scale 1) or less.

음정 복잡도 분석 모듈(135)은 음표 간 음정 차이가 기 설정된 제1 차이 이상인 횟수가 많을수록 음정 복잡도 점수가 높아지도록 하고, 음표 간 음정 차이가 기 설정된 제2 차이 이하인 횟수가 많을수록 음정 복잡도 점수가 낮아지도록 할 수 있다. 음정 복잡도 분석 모듈(135)은 소정 음표 및 상기 음표와 이웃하는 음표 간의 시간 간격이 기 설정된 시간 이상인 경우, 해당 음표 간 음정 차이는 스킵할 수 있다. 음정 복잡도 분석 모듈(135)은 음표 간 음정 차이를 기반으로 음표 간 음정 차이에 대한 히스토그램을 생성할 수 있다.The pitch complexity analysis module 135 increases the pitch complexity score as the number of times the pitch difference between the notes is greater than or equal to the first difference, and decreases the pitch complexity score as the number of times the pitch difference between the notes is less than or equal to the second difference. can do. The pitch complexity analysis module 135 may skip the difference in pitch between corresponding notes when the time interval between the predetermined note and the note and a neighbor note is greater than a preset time. The pitch complexity analysis module 135 may generate a histogram of the difference in pitch between notes based on the difference in pitch between notes.

템포 분석 모듈(137)은 해당 곡의 악보 정보를 기반으로 해당 곡의 템포(즉, 빠르기)를 분석할 수 있다. 템포 분석 모듈(137)은 해당 곡의 템포를 기반으로 템포 점수를 부여할 수 있다. The tempo analysis module 137 may analyze the tempo (ie, speed) of the corresponding song based on the score information of the corresponding song. The tempo analysis module 137 may assign a tempo score based on the tempo of the corresponding song.

도 8은 본 발명의 일 실시예에 따른 가창 프로필 관리부의 구성을 나타낸 블록도이다. 8 is a block diagram showing the configuration of a song profile management unit according to an embodiment of the present invention.

도 8을 참조하면, 가창 프로필 관리부(106)는 가창 평가 모듈(141) 및 가창 이력 모듈(143)을 포함할 수 있다. Referring to FIG. 8, the singing profile manager 106 may include a singing evaluation module 141 and a singing history module 143.

가창 평가 모듈(141)은 가창 분석부(102) 및 악보 분석부(104)의 분석 결과에 기반하여 소정 곡에 대한 사용자의 가창을 평가 할 수 있다. 예를 들어, 가창 평가 모듈(141)은 가창 분석부(102)가 분석한 음정 정확도, 박자 정확도, 음량, 및 비브라토 점수와 악보 분석부(104)가 분석한 음역, 음정 복잡도, 및 템포 점수를 기반으로 사용자의 가창을 평가 할 수 있다. The song evaluation module 141 may evaluate a user's song for a predetermined song based on the analysis results of the song analysis unit 102 and the score analysis unit 104. For example, the song evaluation module 141 may measure the pitch accuracy, beat accuracy, volume, and vibrato scores analyzed by the song analysis unit 102, and the transliteration, pitch complexity, and tempo scores analyzed by the score analysis unit 104. Based on the user's singing can be evaluated.

도 9는 본 발명의 일 실시예에 따른 가창 프로필 관리부에서 사용자의 가창을 평가한 상태를 나타낸 도면이다. 도 9를 참조하면, 가창 평가 모듈(141)은 음정, 박자, 음량, 비브라토, 음역, 음정 복잡도, 템포 등 7가지 항목에 대한 점수를 시각화 하여 표시할 수 있다. 이 경우, 사용자는 자신에게 부족한 평가 요소는 어떤 것이고 자신이 잘하는 평가 요소는 어떤 것인지를 한 눈에 쉽게 확인할 수 있게 된다. 9 is a view showing a state in which a user's singing is evaluated in the singing profile management unit according to an embodiment of the present invention. Referring to FIG. 9, the singing evaluation module 141 may visualize and display scores for seven items such as pitch, beat, volume, vibrato, transliteration, pitch complexity, and tempo. In this case, the user can easily check at a glance which evaluation elements he lacks and which ones he is good at.

가창 평가 모듈(141)은 음정, 박자, 음량, 비브라토, 음역, 음정 복잡도, 및 템포 점수를 종합하여 종합 점수를 부여할 수 있다. 가창 평가 모듈(141)은 음정, 박자, 음량, 비브라토, 음역, 음정 복잡도, 및 템포 점수를 기반으로 해당 곡의 가창에 대해 코멘트를 출력할 수 있다. 가창 평가 모듈(141)은 음정, 박자, 음량, 비브라토, 음역, 음정 복잡도, 및 템포 점수를 기반으로 사용자에게 다음 곡을 추천할 수 있다. The song evaluation module 141 may synthesize the pitch, beat, volume, vibrato, transliteration, pitch complexity, and tempo score to give a composite score. The song evaluation module 141 may output a comment on the song of the corresponding song based on the pitch, beat, volume, vibrato, transliteration, pitch complexity, and tempo score. The song evaluation module 141 may recommend the next song to the user based on the pitch, beat, volume, vibrato, transliteration, pitch complexity, and tempo score.

가창 이력 모듈(143)은 사용자 별로 소정 곡에 대해 평가 요소 별로 이력 정보를 생성할 수 있다. 도 10은 본 발명의 일 실시예에 따른 가창 프로필 관리부에서 소정 곡에 대한 평가 요소 별 이력 정보를 나타낸 도면이다. The singing history module 143 may generate history information for each evaluation element for a given song for each user. 10 is a view showing history information for each evaluation element for a predetermined song in the song profile management unit according to an embodiment of the present invention.

도 10을 참조하면, 가창 이력 모듈(143)은 소정 곡(예를 들어, 크레용 팝의 "빠빠빠")에 대해 사용자가 곡을 부를 때마다, 각 평가 요소(도 10에서는 음정, 박자, 비브라토, 볼륨 등이 표시됨)의 점수가 어떻게 변화하는지에 대한 이력 정보를 생성할 수 있다. 또한, 가창 이력 모듈(143)은 각 사용자에 대해 가수 별 또는 장르별 등으로 평가 요소 이력 정보를 생성할 수 있다. Referring to FIG. 10, the singing history module 143 includes each evaluation element (pitch, beat, vibrato in FIG. 10) whenever a user sings a song for a predetermined song (eg, “Papa Papa” of Crayon Pop). , Volume, etc.) may generate history information on how the score changes. In addition, the singing history module 143 may generate evaluation element history information for each user by singer or genre.

가창 이력 모듈(143)은 사용자 별로 가창 통계 데이터를 생성할 수 있다. 예를 들어, 소정 사용자의 부른 총 노래 곡수, 총 합산 점수, 평균 점수, 가수의 총수, 가수 별 평균 점수, 장르 별 평균 점수 등에 가창 통계 데이터를 생성할 수 있다. The song history module 143 may generate song statistics data for each user. For example, song statistics data may be generated for the total number of songs sung by a given user, the total sum score, the average score, the total number of singers, the average score for each singer, and the average score for each genre.

본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.In this specification, a module may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the "module" may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean a physically connected code or a type of hardware. .

개시되는 실시예에 의하면, 사용자의 가창에 대해 박자 정확도, 음정 정확도, 음량, 비브라토, 음역, 음정 복잡도, 및 템포 등 평가 요소 별로 점수를 부여하고 이를 시각화하여 표시함으로써, 사용자가 어떤 평가 요소에 약점 또는 강점이 있는지를 한눈에 알 수 있게 된다. According to the disclosed embodiment, the user's singing is scored for each evaluation element such as beat accuracy, pitch accuracy, volume, vibrato, transliteration, pitch complexity, and tempo, and visualized and displayed, thereby allowing the user to weaken any evaluation element Or you can see at a glance whether there are strengths.

또한, 사용자의 가창에 대해 가창 이력 정보를 생성함으로써, 사용자의 가창 실력 변화 여부를 확인할 수 있으며, 이를 통해 사용자가 어떤 부분에서 성장하고 있는지 어떤 부분에서 정체되고 있는지 쉽게 알 수 있고, 그에 따라 사용자의 부족한 부분에 대해 집중적으로 트레이닝을 실시할 수 있게 된다.In addition, by generating song history information about the user's singing song, it is possible to check whether the user's singing ability has changed, and through this, it is easy to know in which part the user is growing and in which part the user is stagnating. You will be able to focus on training on the shortage.

도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.11 is a block diagram illustrating and illustrating a computing environment 10 that includes a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 가창 평가 장치(예를 들어, 가창 평가 장치(100))일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, the computing device 12 may be a singing appraisal device (eg, a singing appraisal device 100).

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer readable storage medium 16 and a communication bus 18. The processor 14 can cause the computing device 12 to operate in accordance with the exemplary embodiment mentioned above. For example, processor 14 may execute one or more programs stored on computer readable storage medium 16. The one or more programs can include one or more computer-executable instructions, which, when executed by the processor 14, configure the computing device 12 to perform operations according to an exemplary embodiment. Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and / or other suitable types of information. The program 20 stored on the computer readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer-readable storage medium 16 is a memory (volatile memory such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, other types of storage media that can be accessed by the computing device 12 and store desired information, or any suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects various other components of the computing device 12, including a processor 14 and a computer-readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more I / O interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more I / O devices 24. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 through the input / output interface 22. Exemplary input / output devices 24 include pointing devices (such as a mouse or trackpad), keyboards, touch input devices (such as touch pads or touch screens), voice or sound input devices, various types of sensor devices, and / or imaging devices. Input devices, and / or output devices such as display devices, printers, speakers, and / or network cards. The exemplary input / output device 24 is a component constituting the computing device 12 and may be included in the computing device 12 or connected to the computing device 12 as a separate device distinct from the computing device 12. It might be.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the exemplary embodiments of the present invention have been described in detail above, those skilled in the art to which the present invention pertains will understand that various modifications are possible within the limits without departing from the scope of the present invention. . Therefore, the scope of rights of the present invention should not be limited to the described embodiments, and should be determined not only by the claims to be described later, but also by the claims and equivalents.

100 : 가창 평가 장치
102 : 가창 분석부
104 : 악보 분석부
106 : 가창 프로필 관리부
111 : 가창 오디오 획득 모듈
113 : 전처리 모듈
115 : 박자 분석 모듈
117 : 음정 분석 모듈
119 : 음량 분석 모듈
121 : 비브라토 분석 모듈
131 : 악보 정보 획득 모듈
133 : 음역 분석 모듈
135 : 음정 복잡도 분석 모듈
137 : 템포 분석 모듈
141 : 가창 평가 모듈
143 : 가창 이력 모듈100: singing evaluation device
102: singing song analysis
104: sheet music analysis unit
106: Gachang Profile Management Department
111: Gachang audio acquisition module
113: pre-processing module
115: time signature analysis module
117: pitch analysis module
119: volume analysis module
121: vibrato analysis module
131: score information acquisition module
133: transliteration analysis module
135: pitch complexity analysis module
137: tempo analysis module
141: singing evaluation module
143: singing history module

Claims (19)

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 박자 정확도를 분석하는 박자 분석 모듈;
상기 가창 오디오 및 상기 악보 정보를 기반으로 상기 사용자의 음정 정확도를 분석하는 음정 분석 모듈;
상기 가창 오디오 및 상기 악보 정보를 기반으로 상기 사용자의 비브라토를 분석하는 비브라토 분석 모듈;
상기 악보 정보를 기반으로 상기 곡의 음정 복잡도를 분석하는 음정 복잡도 분석 모듈; 및
상기 분석된 박자 정확도, 음정 정확도, 비브라토, 및 음정 복잡도를 기반으로 상기 사용자의 가창 평가를 수행하는 가창 평가 모듈을 포함하고,
상기 음정 분석 모듈은, 상기 악보 정보에서 소정 음표의 음정 스케일이 기 설정된 음정 값에 해당하는 구간이 존재하는 경우, 해당 구간은 랩 가사 구간으로 판단하여 음정 정확도 분석을 스킵하며,
상기 악보 정보에서, 상기 랩 가사 구간은 가창 음정을 초과하는 음정 스케일 값이 부여되는, 가창 평가 장치.
One or more processors, and
A computing device having a memory that stores one or more programs executed by the one or more processors,
A beat analysis module that analyzes the beat accuracy of the user based on the user's singing audio and sheet music information of the song sung by the user;
A pitch analysis module that analyzes the user's pitch accuracy based on the song audio and the score information;
A vibrato analysis module that analyzes the vibrato of the user based on the song audio and the sheet music information;
A pitch complexity analysis module that analyzes the pitch complexity of the song based on the score information; And
And a singing evaluation module for performing singing evaluation of the user based on the analyzed beat accuracy, pitch accuracy, vibrato, and pitch complexity,
The pitch analysis module, if there is a section in which the pitch scale of a predetermined note in the sheet music information corresponds to a preset pitch value, determines that the section is a rap lyrics section and skips pitch accuracy analysis,
In the sheet music information, the rap lyrics section is assigned a singing scale value exceeding the singing pitch, a singing evaluation device.
청구항 1에 있어서,
상기 가창 평가 장치는,
상기 가창 오디오에서 음량이 기 설정된 임계 음량 이하인 구간 및 상기 악보 정보에서 음정이 기 설정된 임계 음정 이하인 구간 중 하나 이상을 검출하여 분석 구간에서 삭제하는 전처리 모듈을 더 포함하는, 가창 평가 장치.
The method according to claim 1,
The singing evaluation device,
And further comprising a pre-processing module for detecting at least one of the interval of the volume below the predetermined threshold volume in the song audio and the interval below the predetermined threshold pitch in the music score information, further comprising a pre-processing module, the singing section.
청구항 1에 있어서,
상기 박자 분석 모듈은,
상기 악보 정보에 기반하여 각 음표의 음정, 각 음표의 길이, 및 각 음표 간 시간 간격을 음표 순서에 따라 배열하여 음표 기준 정보를 생성하고, 상기 가창 오디오 신호를 상기 음표 기준 정보의 시간 축 상에 매칭하여 배열하며, 상기 음표 기준 정보에서 각 음표 구간에 대응하여 상기 가창 오디오 신호가 존재하는지 여부를 확인하여 상기 박자 정확도를 분석하는, 가창 평가 장치.
The method according to claim 1,
The beat analysis module,
Based on the score information, the note pitch, the length of each note, and the time interval between each note are arranged in the order of the notes to generate note reference information, and the song audio signal is on the time axis of the note reference information. Singing and arranging, and analyzing the beat accuracy by checking whether or not the song audio signal exists in response to each note section in the note reference information.
청구항 3에 있어서,
상기 박자 분석 모듈은,
상기 음표 기준 정보에서 해당 음표의 시간 축 중심을 기준으로 해당 음표의 앞 구간 박자가 틀렸는지 또는 해당 음표의 뒷 구간의 박자가 틀렸는지에 따라 감점 점수에 가중치를 부여하는, 가창 평가 장치.
The method according to claim 3,
The beat analysis module,
In the note-based information, a weight evaluation score is weighted according to whether the beat of the preceding section of the note is wrong or the time of the back section of the note is wrong based on the center of the time axis of the note.
청구항 1에 있어서,
상기 음정 분석 모듈은,
상기 악보 정보에 기반하여 각 음표의 음정, 각 음표의 길이, 및 각 음표 간 시간 간격을 음표 순서에 따라 배열하여 음표 기준 정보를 생성하고, 상기 가창 오디오 신호를 상기 음표 기준 정보의 시간 축 상에 매칭하여 배열하며, 상기 가창 오디오 신호에서 음표가 있는 구간에 대해 상기 음정 정확도를 분석하는, 가창 평가 장치.
The method according to claim 1,
The pitch analysis module,
Based on the score information, the note pitch, the length of each note, and the time interval between each note are arranged in the order of the notes to generate note reference information, and the song audio signal is on the time axis of the note reference information. Matching and arranging, and analyzing the pitch accuracy for a section with a note in the song audio signal, song evaluation device.
청구항 5에 있어서,
상기 음정 분석 모듈은,
상기 가창 오디오 신호의 음정이 상기 음표 기준 정보에서 해당 음표의 음정을 기준으로 기 설정된 오차 범위 이내에 있는지 여부를 확인하여 상기 음정 정확도를 분석하는, 가창 평가 장치.
The method according to claim 5,
The pitch analysis module,
A song evaluation device that analyzes the pitch accuracy by checking whether the pitch of the song audio signal is within a preset error range based on the pitch of the corresponding note in the note reference information.
청구항 6에 있어서,
상기 음정 분석 모듈은,
상기 가창 오디오 신호의 음정이 상기 음표의 음정을 기준으로 기 설정된 오차 범위를 벗어나는 경우, 감점 점수를 부여하되, 상기 음표의 음역대에 따라 상기 감점 점수에 가중치를 부여하는, 가창 평가 장치.
The method according to claim 6,
The pitch analysis module,
If the pitch of the song audio signal is out of a predetermined error range based on the pitch of the note, a score is assigned, but the weight is given to the score according to the range of the note.
청구항 7에 있어서,
상기 음정 분석 모듈은,
상기 음표의 음역대가 높을수록 상기 감점 점수가 낮아지도록 가중치를 부여하는, 가창 평가 장치.
The method according to claim 7,
The pitch analysis module,
Singing apparatus for assigning weights so that the lower the score is, the higher the range of the note is.
삭제delete 삭제delete 청구항 1에 있어서,
상기 비브라토 분석 모듈은,
상기 악보 정보에서 각 음표의 음정을 기준으로 상기 가창 오디오 신호의 음정의 높낮이 변화를 통해 비브라토 여부를 확인하는, 가창 평가 장치.
The method according to claim 1,
The vibrato analysis module,
In the sheet music information, based on the pitch of each note, to determine whether the vibrato through the pitch change of the pitch of the song audio signal, singing evaluation device.
청구항 11에 있어서,
상기 비브라토 분석 모듈은,
상기 음표의 음정을 기준으로 상기 가창 오디오 신호의 음정의 높낮이 변화가 있는 경우, 상기 음정의 높낮이 변화 크기가 기 설정된 임계 크기보다 큰지 여부를 확인하고, 상기 음정의 높낮이 변화 크기가 기 설정된 임계 크기보다 큰 경우, 상기 사용자가 상기 곡의 가창 시 비브라토를 한 것으로 판단하는, 가창 평가 장치.
The method according to claim 11,
The vibrato analysis module,
When there is a pitch change of the pitch of the song audio signal based on the pitch of the note, it is checked whether the pitch change size of the pitch is greater than a preset threshold size, and the pitch change size of the pitch is greater than a preset threshold size. In a large case, it is determined that the user has performed a vibrato when singing the song, a singing evaluation device.
청구항 12에 있어서,
상기 비브라토 분석 모듈은,
상기 음표의 음정을 기준으로 상기 가창 오디오 신호의 음정 높낮이 변화 크기 및 상기 음정 높낮이 변화 횟수를 기반으로 비브라토에 대한 점수를 부여하는, 가창 평가 장치.
The method according to claim 12,
The vibrato analysis module,
Singing evaluation device based on the pitch of the note, giving a score for the vibrato based on the pitch pitch change size and the number of pitch changes of the song audio signal.
청구항 1에 있어서,
상기 음정 복잡도 분석 모듈은,
상기 악보 정보에서 소정 음표 및 상기 음표와 이웃하는 음표 간의 음정 차이가 기 설정된 제1 차이 이상인 경우의 횟수 및 상기 음표 간의 음정 차이가 상기 제1 차이보다 낮은 제2 차이 이하인 경우의 횟수를 기반으로 상기 곡에 대한 음정 복잡도를 분석하는, 가창 평가 장치.
The method according to claim 1,
The pitch complexity analysis module,
Based on the number of times when a difference in pitch between a predetermined note and the note and neighboring notes in the sheet music information is greater than or equal to a preset first difference and a number of times when a difference in pitch between the notes is less than or equal to a second difference lower than the first difference A song evaluation device that analyzes the pitch complexity of a song.
청구항 14에 있어서,
상기 음정 복잡도 분석 모듈은,
상기 음표 간의 음정 차이가 상기 제1 차이 이상인 횟수가 많을수록 상기 곡에 대한 음정 복잡도 점수가 높아지도록 하고, 상기 음표 간의 음정 차이가 상기 제2 차이 이하인 횟수가 많을수록 상기 음정 복잡도 점수가 낮아지도록 하는, 가창 평가 장치.
The method according to claim 14,
The pitch complexity analysis module,
The more the number of times the pitch difference between the notes is greater than or equal to the first difference, the higher the pitch complexity score for the song, and the more the number of times the pitch difference between the notes is less than the second difference, the lower the pitch complexity score. Evaluation device.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 박자 정확도를 분석하는 단계;
상기 가창 오디오 및 상기 악보 정보를 기반으로 상기 사용자의 음정 정확도를 분석하는 단계;
상기 가창 오디오 및 상기 악보 정보를 기반으로 상기 사용자의 비브라토를 분석하는 단계;
상기 악보 정보를 기반으로 상기 곡의 음정 복잡도를 분석하는 단계; 및
상기 분석된 박자 정확도, 음정 정확도, 비브라토, 및 음정 복잡도를 기반으로 상기 사용자의 가창 평가를 수행하는 단계를 포함하고,
상기 음정 정확도를 분석하는 단계는, 상기 악보 정보에서 소정 음표의 음정 스케일이 기 설정된 음정 값에 해당하는 구간이 존재하는 경우, 해당 구간은 랩 가사 구간으로 판단하여 음정 정확도 분석을 스킵하는 단계를 포함하며,
상기 악보 정보에서, 상기 랩 가사 구간은 가창 음정을 초과하는 음정 스케일 값이 부여되는, 가창 평가 방법.
One or more processors, and
A method performed in a computing device having a memory for storing one or more programs executed by the one or more processors,
Analyzing the beat accuracy of the user based on the user's singing audio and sheet music information of the song sung by the user;
Analyzing the user's pitch accuracy based on the song audio and the score information;
Analyzing the user's vibrato based on the song audio and the sheet music information;
Analyzing the pitch complexity of the song based on the score information; And
And performing singing evaluation of the user based on the analyzed time signature accuracy, pitch accuracy, vibrato, and pitch complexity,
The step of analyzing the pitch accuracy includes skipping the pitch accuracy analysis by determining that the section is a rap lyrics section if a section corresponding to a predetermined pitch value exists in the musical note information. And
In the sheet music information, the rap lyrics section is assigned a pitch scale value exceeding a singing pitch, a singing method.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 음정 정확도를 분석하는 음정 분석 모듈을 포함하고,
상기 음정 분석 모듈은,
상기 악보 정보에 기반하여 각 음표의 음정, 각 음표의 길이, 및 각 음표 간 시간 간격을 음표 순서에 따라 배열하여 음표 기준 정보를 생성하고, 상기 가창 오디오 신호를 상기 음표 기준 정보의 시간 축 상에 매칭하여 배열하며, 상기 가창 오디오 신호에서 음표가 있는 구간에 대해 상기 음정 정확도를 분석하고,
상기 악보 정보에서 소정 음표의 음정 스케일이 기 설정된 음정 값에 해당하는 구간이 존재하는 경우, 해당 구간은 랩 가사 구간으로 판단하여 음정 정확도 분석을 스킵하며,
상기 악보 정보에서, 상기 랩 가사 구간은 가창 음정을 초과하는 음정 스케일 값이 부여되는, 가창 평가 장치.
One or more processors, and
A computing device having a memory that stores one or more programs executed by the one or more processors,
And a pitch analysis module that analyzes the user's pitch accuracy based on the user's singing audio and the score information of the song sung by the user,
The pitch analysis module,
Based on the score information, the note pitch, the length of each note, and the time interval between each note are arranged in the order of the notes to generate note reference information, and the song audio signal is on the time axis of the note reference information. Matching and arranging, and analyzing the pitch accuracy for the section with the note in the song audio signal,
If there is a section in which the pitch scale of a predetermined note in the sheet music information corresponds to a preset pitch value, the section is determined as a rap lyrics section, and the pitch accuracy analysis is skipped.
In the sheet music information, the rap lyrics section is assigned a singing scale value exceeding the singing pitch, a singing evaluation device.
삭제delete 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
사용자의 가창 오디오 및 상기 사용자가 부른 곡의 악보 정보를 기반으로 상기 사용자의 음정 정확도를 분석하는 음정 분석 모듈; 및
상기 악보 정보를 기반으로 상기 곡의 음정 복잡도를 분석하는 음정 복잡도 분석 모듈을 포함하고,
상기 음정 분석 모듈은, 상기 악보 정보에서 소정 음표의 음정 스케일이 기 설정된 음정 값에 해당하는 구간이 존재하는 경우, 해당 구간은 랩 가사 구간으로 판단하여 음정 정확도 분석을 스킵하며,
상기 악보 정보에서, 상기 랩 가사 구간은 가창 음정을 초과하는 음정 스케일 값이 부여되는, 가창 평가 장치.One or more processors, and
A computing device having a memory that stores one or more programs executed by the one or more processors,
A pitch analysis module that analyzes the user's pitch accuracy based on the user's singing audio and the score information of the song sung by the user; And
And a pitch complexity analysis module for analyzing the pitch complexity of the song based on the score information,
The pitch analysis module, if there is a section in which the pitch scale of a predetermined note in the sheet music information corresponds to a preset pitch value, determines that the section is a rap lyrics section and skips pitch accuracy analysis,
In the sheet music information, the rap lyrics section is assigned a singing scale value exceeding the singing pitch, a singing evaluation device.
KR1020180132340A 2018-10-31 2018-10-31 Method for evaluating about singing and apparatus for executing the method KR102107588B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180132340A KR102107588B1 (en) 2018-10-31 2018-10-31 Method for evaluating about singing and apparatus for executing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180132340A KR102107588B1 (en) 2018-10-31 2018-10-31 Method for evaluating about singing and apparatus for executing the method

Publications (1)

Publication Number Publication Date
KR102107588B1 true KR102107588B1 (en) 2020-05-07

Family

ID=70733442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132340A KR102107588B1 (en) 2018-10-31 2018-10-31 Method for evaluating about singing and apparatus for executing the method

Country Status (1)

Country Link
KR (1) KR102107588B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593506A (en) * 2021-08-03 2021-11-02 深圳媲客科技有限公司 Singing scoring-based singing voice evaluation system
CN113823270A (en) * 2021-10-28 2021-12-21 杭州网易云音乐科技有限公司 Rhythm score determination method, medium, device and computing equipment
CN113851146A (en) * 2021-09-26 2021-12-28 平安科技（深圳）有限公司 Performance evaluation method and device based on feature decomposition
KR102623467B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 Method, apparatus and system for providing agency recommendation service based on user vocal evaluation information
KR102623462B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 Method, apparatus and system for providing vocal academy information based on user vocal evaluation information
KR102623431B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 A method of matching users and trainers based on user vocal ratings
KR102623424B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 A method of providing customized vocal evaluation reports
KR102623446B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 A method for selecting user-customized audition songs based on user vocal evaluation
KR102623419B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 A method of collecting vocal data using a user's terminal and performing vocal evaluation using it
KR102623459B1 (en) 2023-08-30 2024-01-11 케이팝팩토리 주식회사 Method, apparatus and system for providing audition event service based on user's vocal evaluation
KR102623449B1 (en) 2023-08-30 2024-01-11 케이팝팩토리 주식회사 User vocal evaluation result customized vocal training service providing method, apparatus and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110007352A (en) * 2009-07-16 2011-01-24 한흥수 Song recommendation system and recommendation method using the same
JP2013190564A (en) * 2012-03-13 2013-09-26 Yamaha Corp Voice evaluation device
KR20180043925A (en) 2016-10-21 2018-05-02 정문일 Singing evaluation system, singing evaluation server and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110007352A (en) * 2009-07-16 2011-01-24 한흥수 Song recommendation system and recommendation method using the same
JP2013190564A (en) * 2012-03-13 2013-09-26 Yamaha Corp Voice evaluation device
KR20180043925A (en) 2016-10-21 2018-05-02 정문일 Singing evaluation system, singing evaluation server and method thereof

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593506A (en) * 2021-08-03 2021-11-02 深圳媲客科技有限公司 Singing scoring-based singing voice evaluation system
CN113851146A (en) * 2021-09-26 2021-12-28 平安科技（深圳）有限公司 Performance evaluation method and device based on feature decomposition
CN113823270A (en) * 2021-10-28 2021-12-21 杭州网易云音乐科技有限公司 Rhythm score determination method, medium, device and computing equipment
CN113823270B (en) * 2021-10-28 2024-05-03 杭州网易云音乐科技有限公司 Determination method, medium, device and computing equipment of rhythm score
KR102623467B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 Method, apparatus and system for providing agency recommendation service based on user vocal evaluation information
KR102623462B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 Method, apparatus and system for providing vocal academy information based on user vocal evaluation information
KR102623431B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 A method of matching users and trainers based on user vocal ratings
KR102623424B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 A method of providing customized vocal evaluation reports
KR102623446B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 A method for selecting user-customized audition songs based on user vocal evaluation
KR102623419B1 (en) 2023-08-30 2024-01-10 케이팝팩토리 주식회사 A method of collecting vocal data using a user's terminal and performing vocal evaluation using it
KR102623459B1 (en) 2023-08-30 2024-01-11 케이팝팩토리 주식회사 Method, apparatus and system for providing audition event service based on user's vocal evaluation
KR102623449B1 (en) 2023-08-30 2024-01-11 케이팝팩토리 주식회사 User vocal evaluation result customized vocal training service providing method, apparatus and system

Similar Documents

Publication Publication Date Title
KR102107588B1 (en) Method for evaluating about singing and apparatus for executing the method
Gillick et al. Learning to groove with inverse sequence transformations
Rowe Machine musicianship
Martin A blackboard system for automatic transcription of simple polyphonic music
CN101689225B (en) Generating music thumbnails and identifying related song structure
US8977374B1 (en) Geometric and acoustic joint learning
Chew et al. Real-time pitch spelling using the spiral array
JP6759545B2 (en) Evaluation device and program
US10453435B2 (en) Musical sound evaluation device, evaluation criteria generating device, method for evaluating the musical sound and method for generating the evaluation criteria
US20170186413A1 (en) Latency enhanced note recognition method in gaming
EP3779814A1 (en) Method and device for training adaptation level evaluation model, and method and device for evaluating adaptation level
CN108292499A (en) Skill determining device and recording medium
Reymore Characterizing prototypical musical instrument timbres with Timbre Trait Profiles
Yin et al. Measuring when a music generation algorithm copies too much: The originality report, cardinality score, and symbolic fingerprinting by geometric hashing
KR20220056487A (en) Device, method and program for providng learning service for chord accompaniment
Wang et al. Identifying missing and extra notes in piano recordings using score-informed dictionary learning
JP2008065153A (en) Musical piece structure analyzing method, program and device
Alty et al. The caitlin auralization system: Hierarchical leitmotif design as a clue to program comprehension
US20160365077A1 (en) Method for adjusting the complexity of a chord in an electronic device
Harrison et al. A computational cognitive model for the analysis and generation of voice leadings
JP3915428B2 (en) Music analysis apparatus and program
Hartquist Real-time musical analysis of polyphonic guitar audio
US11972774B2 (en) System and method for assessing quality of a singing voice
JP5843074B2 (en) Stringed instrument performance evaluation apparatus and stringed instrument performance evaluation program
JP6144592B2 (en) Singing scoring system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant