KR102077269B1 - 노래 분석 방법 및 이를 위한 장치 - Google Patents

노래 분석 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102077269B1
KR102077269B1 KR1020180022799A KR20180022799A KR102077269B1 KR 102077269 B1 KR102077269 B1 KR 102077269B1 KR 1020180022799 A KR1020180022799 A KR 1020180022799A KR 20180022799 A KR20180022799 A KR 20180022799A KR 102077269 B1 KR102077269 B1 KR 102077269B1
Authority
KR
South Korea
Prior art keywords
song
data
analysis
note
information
Prior art date
Application number
KR1020180022799A
Other languages
English (en)
Other versions
KR20190102434A (ko
Inventor
김국현
Original Assignee
김국현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김국현 filed Critical 김국현
Priority to KR1020180022799A priority Critical patent/KR102077269B1/ko
Publication of KR20190102434A publication Critical patent/KR20190102434A/ko
Application granted granted Critical
Publication of KR102077269B1 publication Critical patent/KR102077269B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs or seven segments displays

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

노래 분석 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 노래 분석 방법은 마이크로 입력된 노래 데이터를 미디(Musical Instrument Digital Interface) 데이터와 비교하여 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성하는 단계; 및 상기 분석 요소 별 오차 정보를 기반으로 상기 노래 데이터에 대한 종합 평가 정보와 분석 요소 별 상세 평가 정보를 함께 제공하는 단계를 포함하고, 상기 복수개의 분석 요소들은 음의 시작점, 음의 끝점, 음의 크기, 피치(Pitch) 및 바이브레이션(Vibration)을 포함한다.

Description

노래 분석 방법 및 이를 위한 장치 {METHOD FOR ANALYZING SONG AND APPARATUS USING THE SAME}
본 발명은 노래 분석 기술에 관한 것으로, 특히 다양한 요소들을 기준으로 미디 데이터와 사용자의 노래를 비교하여 평가한 결과를 상세하게 제공하는 기술에 관한 것이다.
최근에는 음악 컨텐츠를 즐기는 사용자들이 단순히 노래를 따라 부르거나 연주하는 범위를 넘어서 노래를 커버하거나 리메이크하는 등의 다양한 수요가 존재하고 있다. 이를 위해서 대부분의 사용자들은 노래방 기기나 별도의 반주기를 사용하고 있지만, 사용자가 부른 노래나 연주한 음악에 대해 항목별로 상세한 분석 결과를 제공하는 기술은 찾아보기 어렵다.
한국 등록 특허 제10-1794698호, 2017년 11월 1일 등록(명칭: 마이크별 채점이 가능한 노래반주기)
본 발명의 목적은 사용자가 부른 노래에 대해 전문적인 분석 서비스를 제공하는 것이다.
또한, 본 발명의 목적은 세부적 요소들로 평가된 결과를 기준으로 연습 환경을 제공함으로써 마치 전문 트레이닝을 받는 효과를 제공하는 것이다.
또한, 본 발명의 목적은 음악 제작 단계에서 기본적으로 생성되는 미디(MIDI) 데이터를 이용하여 서비스를 제공함으로써 서비스 제공을 위해 새롭게 인프라를 구축해야 하는 비용과 시간을 절약하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 노래 분석 방법은 마이크로 입력된 노래 데이터를 미디(Musical Instrument Digital Interface) 데이터와 비교하여 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성하는 단계; 및 상기 분석 요소 별 오차 정보를 기반으로 상기 노래 데이터에 대한 종합 평가 정보와 분석 요소 별 상세 평가 정보를 함께 제공하는 단계를 포함하고, 상기 복수개의 분석 요소들은 음의 시작점, 음의 끝점, 음의 크기, 피치(Pitch) 및 바이브레이션(Vibration)을 포함한다.
이 때, 상세 평가 정보는 박자, 정확성, 자신감, 음정 및 감정 각각에 대한 평가 스코어, 오차 피드백 구간 및 평가 메시지 중 적어도 하나를 포함할 수 있다.
이 때, 분석 요소 별 오차 정보를 생성하는 단계는 기설정된 임계값(Threshold level)을 기준으로 상기 노래 데이터에서 유효 데이터를 추출하고, 상기 유효 데이터를 기반으로 상기 미디 데이터와 비교하기 위한 분석 요소 값을 검출하는 단계; 및 상기 분석 요소 값을 상기 미디 데이터에 포함된 노트(Note) 정보에서 추출된 기준 값과 비교하는 단계를 더 포함할 수 있다.
이 때, 기준 값은 음의 기준 시작점, 음의 기준 끝점, 볼륨(Volume), 노트 넘버(Note Number) 및 모듈레이션(Modulation) 중 적어도 하나를 포함할 수 있다.
이 때, 음의 기준 시작점은 상기 미디 데이터의 노트 온 메시지(Note On Message)가 제공되는 시점에 상응하게 추출되고, 상기 음의 기준 끝점은 상기 음의 기준 시작점에 상기 미디 데이터의 듀레이션(Duration)을 적용한 시점에 상응하게 추출될 수 있다.
이 때, 노래 분석 방법은 상기 노래 데이터 중 상기 오차 피드백 구간을 반복적으로 연습할 수 있는 구간 연습 인터페이스를 제공하는 단계를 더 포함할 수 있다.
이 때, 구간 연습 인터페이스는 상기 오차 피드백 구간에 상응하는 가이드 보컬을 제공할 수 있다.
이 때, 구간 연습 인터페이스는 프리 롤(Pre-Roll)과 포스트 롤(Post-Roll)을 적용하여 상기 오차 피드백 구간에 상응하는 반복 연습 구간을 생성할 수 있다.
이 때, 평가 메시지는 상기 평가 스코어를 고려하여 긍정적 메시지와 부정적 메시지 중 어느 하나에 상응하게 제공될 수 있다.
이 때, 종합 평가 정보는 적어도 하나의 그래프를 기반으로 제공될 수 있다.
또한, 본 발명의 일실시예에 따른 노래 분석 장치는, 마이크로 입력된 노래 데이터를 미디(Musical Instrument Digital Interface) 데이터와 비교하여 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성하고, 상기 분석 요소 별 오차 정보를 기반으로 상기 노래 데이터에 대한 종합 평가 정보와 분석 요소 별 상세 평가 정보를 함께 제공하는 프로세서; 및 상기 노래 데이터와 상기 미디 데이터를 저장하는 메모리를 포함하고, 상기 복수개의 분석 요소들은 음의 시작점, 음의 끝점, 음의 크기, 피치(Pitch) 및 바이브레이션(Vibration)을 포함한다.
이 때, 상세 평가 정보는 박자, 정확성, 자신감, 음정 및 감정 각각에 대한 평가 스코어, 오차 피드백 구간 및 평가 메시지 중 적어도 하나를 포함할 수 있다.
이 때, 프로세서는 기설정된 임계값(Threshold level)을 기준으로 상기 노래 데이터에서 유효 데이터를 추출하고, 상기 유효 데이터를 기반으로 상기 미디 데이터와 비교하기 위한 분석 요소 값을 검출하고, 상기 분석 요소 값을 상기 미디 데이터에 포함된 노트(Note) 정보에서 추출된 기준 값과 비교할 수 있다.
이 때, 기준 값은 음의 기준 시작점, 음의 기준 끝점, 볼륨(Volume), 노트 넘버(Note Number) 및 모듈레이션(Modulation) 중 적어도 하나를 포함할 수 있다.
이 때, 음의 기준 시작점은 상기 미디 데이터의 노트 온 메시지(Note On Message)가 제공되는 시점에 상응하게 추출되고, 상기 음의 기준 끝점은 상기 음의 기준 시작점에 상기 미디 데이터의 듀레이션(Duration)을 적용한 시점에 상응하게 추출될 수 있다.
이 때, 프로세서는 상기 노래 데이터 중 상기 오차 피드백 구간을 반복적으로 연습할 수 있는 구간 연습 인터페이스를 제공할 수 있다.
이 때, 구간 연습 인터페이스는 상기 오차 피드백 구간에 상응하는 가이드 보컬을 제공할 수 있다.
이 때, 구간 연습 인터페이스는 프리 롤(Pre-Roll)과 포스트 롤(Post-Roll)을 적용하여 상기 오차 피드백 구간에 상응하는 반복 연습 구간을 생성할 수 있다.
이 때, 평가 메시지는 상기 평가 스코어를 고려하여 긍정적 메시지와 부정적 메시지 중 어느 하나에 상응하게 제공될 수 있다.
이 때, 종합 평가 정보는 적어도 하나의 그래프를 기반으로 제공될 수 있다.
본 발명에 따르면, 사용자가 부른 노래에 대해 전문적인 분석 서비스를 제공할 수 있다.
또한, 본 발명은 세부적 요소들로 평가된 결과를 기준으로 연습 환경을 제공함으로써 마치 전문 트레이닝을 받는 효과를 제공할 수 있다.
또한, 본 발명은 음악 제작 단계에서 기본적으로 생성되는 미디(MIDI) 데이터를 이용하여 서비스를 제공함으로써 서비스 제공을 위해 새롭게 인프라를 구축해야 하는 비용과 시간을 절약할 수 있다.
도 1은 본 발명의 일실시예에 따른 노래 분석 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 노래 분석 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명에 따른 노래 분석 장치를 포함하는 노래 반주 시스템의 일 예를 나타낸 블록도이다.
도 4는 도 3에 도시된 노래 반주 시스템 중 노래 분석 장치로 데이터를 제공하는 오디오 분석 모듈과 미디 이벤트 분석 모듈의 일 예를 나타낸 블록도이다.
도 5 내지 도 7은 본 발명에 따라 박자와 정확성을 분석하는 과정의 일 예를 나타낸 도면이다.
도 8 내지 도 10은 본 발명에 따라 자신감을 분석하는 과정의 일 예를 나타낸 도면이다.
도 11 내지 도 12는 본 발명에 따라 음정을 분석하는 과정의 일 예를 나타낸 도면이다.
도 13 내지 도 14는 본 발명에 따라 감정을 분석하는 과정의 일 예를 나타낸 도면이다.
도 15는 본 발명에 따른 평가 정보의 일 예를 나타낸 도면이다.
도 16은 본 발명에 따른 평가 메시지의 일 예를 나타낸 도면이다.
도 17 내지 도 18은 본 발명에 따른 상세 평가 정보의 일 예를 나타낸 도면이다.
도 19는 본 발명에 따른 반복 연습 구간을 생성하는 일 예를 나타낸 도면이다.
도 20은 본 발명에 따른 종합 평가 결과의 그래프의 일 예를 나타낸 도면이다.
도 21은 본 발명의 일실시예에 따른 노래 분석 장치를 나타낸 블록도이다.
도 22 내지 도 23은 본 발명에 따른 미디 데이터 분석 화면의 일 예를 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 노래 분석 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 노래 분석 시스템은 노래 분석 장치(100), 노래 데이터(101), 미디 데이터(102) 및 평가 정보(103)를 포함한다.
노래 분석 시스템은 온라인에서 서비스되는 음악 소스를 활용하여 보다 다양한 서비스를 제공하기 위한 것으로, 전문가의 도움 없이도 사용자가 부른 노래 데이터(101)와 반주에 포함되어 있는 미디 데이터(102)를 비교함으로써 사용자가 노래 또는 연주를 정확하게 하였는지 분석한 결과를 제공할 수 있다. 즉, 전문적인 트레이너에게 트레이닝 받지 않아도 자신이 부른 노래에 대해서 다양한 비교 데이터를 제공해줌으로써 노래나 음악을 보다 재미있게 즐길 수 있으며 필요에 따라서는 트레이닝을 위한 서비스도 제공될 수 있다.
이하에서는 본 발명의 일실시예에 따른 노래 분석 장치(100)를 통해 사용자가 부른 노래 데이터(101)를 분석하는 과정을 간략하게 설명하도록 한다.
먼저, 노래 분석 장치(100)는 마이크로 입력된 노래 데이터(101)를 미디(Musical Instrument Digital Interface) 데이터(102)와 비교하여 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성한다.
이 때, 복수개의 분석 요소들은 음의 시작점, 음의 끝점, 음의 크기, 피치(Pitch) 및 바이브레이션(Vibration)을 포함할 수 있다.
이 때, 기설정된 임계값(Threshold level)을 기준으로 노래 데이터(101)에서 유효 데이터를 추출하고, 유효 데이터를 기반으로 미디 데이터(102)와 비교하기 위한 분석 요소 값을 검출할 수 있다.
이 때, 분석 요소 값을 미디 데이터(102)에 포함된 노트(Note) 정보에서 추출된 기준 값과 비교할 수 있다.
이 때, 기준 값은 음의 기준 시작점, 음의 기준 끝점, 볼륨(Volume), 노트 넘버(Note Number) 및 모듈레이션(Modulation) 중 적어도 하나를 포함할 수 있다.
이 때, 음의 기준 시작점은 미디 데이터(102)의 노트 온 메시지(Note On Message)가 제공되는 시점에 상응하게 추출되고, 음의 기준 끝점은 음의 기준 시작점에 미디 데이터(102)의 듀레이션(Duration)을 적용한 시점에 상응하게 추출될 수 있다.
또한, 노래 분석 장치(100)는 분석 요소 별 오차 정보를 기반으로 노래 데이터(101)에 대한 종합 평가 정보와 분석 요소 별 상세 평가 정보를 함께 제공한다.
이 때, 종합 평가 정보와 상세 평가 정보는 모두 평가 정보(103)에 상응하는 것으로, 상세 평가 정보를 기반으로 종합 평가 정보가 생성되어 함께 제공될 수 있다.
이 때, 상세 평가 정보는 박자, 정확성, 자신감, 음정 및 감정 각각에 대한 평가 스코어, 오차 피드백 구간 및 평가 메시지 중 적어도 하나를 포함할 수 있다.
이 때, 평가 메시지는 평가 스코어를 고려하여 긍정적 메시지와 부정적 메시지 중 어느 하나에 상응하게 제공될 수 있다.
이 때, 종합 평가 정보는 적어도 하나의 그래프를 기반으로 제공될 수 있다.
또한, 노래 분석 장치(100)는 노래 데이터(101) 중 오차 피드백 구간을 반복적으로 연습할 수 있는 구간 연습 인터페이스를 제공한다.
이 때, 구간 연습 인터페이스는 오차 피드백 구간에 상응하는 가이드 보컬을 제공할 수 있다.
이 때, 구간 연습 인터페이스는 프리 롤(Pre-Roll)과 포스트 롤(Post-Roll)을 적용하여 오차 피드백 구간에 상응하는 반복 연습 구간을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 노래 분석 방법을 나타낸 동작 흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 노래 분석 방법은 마이크로 입력된 노래 데이터를 미디(Musical Instrument Digital Interface) 데이터와 비교하여 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성한다(S210).
예를 들어, 도 3에 도시된 본 발명의 일실시예에 따른 노래 분석 시스템을 참조하면, 본 발명의 일실시예에 따른 노래 분석 시스템은 노래 데이터를 획득하기 위한 마이크(310)와 미디 데이터를 제공하는 미디(320)를 포함할 수 있다.
이 때, 마이크(310)를 통해 입력된 사용자의 노래 데이터는 오디오 분석 모듈(Audio Analyzer)(311)과 오디오 이벤트 생성 모듈(Audio Event Creator)(312)을 거쳐 노래 분석 장치(330)로 제공될 수 있다. 또한, 미디(320)에서 생성된 미디 데이터는 미디 이벤트 분석 모듈(MIDI Event Analyzer)(321)을 거쳐 노래 분석 장치(330)로 제공될 수 있다. 이 때, 미디 데이터는 SMF(Standard MIDI File) 또는 MusicXML 파일 형식으로 제공될 수 있다.
이 때, 노래 분석 장치(330)는 노래 데이터와 미디 데이터를 비교하여 생성된 분석 요소 별 오차 정보를 별도의 메모리(331)에 저장할 수 있고, 분석된 결과는 디스플레이(340)를 통해 제공할 수 있다.
또한, 도 3을 참조하면, 본 발명의 일실시예에 따른 노래 분석 시스템에서는 피치 쉬프터(Pitch Shifter)나 타임 스트레치(Time Stretch) 등의 오디오 프로세싱 기술을 이용하여 MR(Music Recoding)의 키(음의 높낮이)나 속도를 변화하여 제공할 수도 있다. 이러한 프로세싱은 향후에 사용자에게 다양한 연습 환경을 제공할 수 있도록 할 수 있다.
따라서, 본 발명에 의하면 사용자가 노래를 부르기 위한 환경과 함께 사용자가 부른 노래에 대한 평가 정보와 연습 환경까지 제공할 수 있어 사용자에게 보다 다양한 음악적 즐거움을 제공할 수 있다.
또한, 도 4를 참조하면, 도 3에 도시된 노래 분석 장치(330)가 노래 데이터와 미디 데이터를 통해 각각 어떤 정보를 획득하는지 알 수 있다.
예를 들어, 도 3에 도시된 마이크(310)로부터 데이터를 획득하는 오디오 분석 모듈(410)은 노래 데이터로부터 ADSR 엔벨로프(Envelope), 라우드니스(Loudness), 피치(Pitch) 및 바이브레이션(Vibration)을 획득할 수 있고, 도 3에 도시된 미디(320)로부터 데이터를 획득하는 미디 이벤트 분석 모듈(420)은 미디 데이터로부터 노트 온(Note On) 데이터, 듀레이션(Duration), 벨로시티(Velocity), 노트 넘버(Note Number) 및 모듈레이션(Modulation)을 획득할 수 있다.
따라서, 노래 분석 장치(430)는 오디오 분석 모듈(410)과 미디 이벤트 분석 모듈(420)로부터 각각의 정보를 입력받아 노래 데이터와 미디 데이터 각각에 대한 복수개의 분석 요소들을 추출할 수 있고, 이를 비교하여 분석 요소 별 오차 정보를 생성할 수 있다. 이 때, 오디오 분석 모듈(410)은 실시간 분석이 가능하기 때문에 노래 분석 장치(430)는 사용자가 노래하거나 연주하고 있는 동안에 실시간으로 피드백을 제공해줄 수도 있다.
이 때, ADSR 엔벨로프(Envelope)는 음이 나오기 시작해서 최대 음량에 도달하기까지의 시간을 의미하는 어택 타임(Attack Time), 최대 음량에서 지속음량이 시작되기까지의 시간을 의미하는 디케이 타임(Decay Time), 지속음량의 레벨을 의미하는 서스테인 레벨(Sustain Level) 및 음이 서서히 줄어들어 없어질 때까지의 시간을 의미하는 릴리스 타임(Release Time)을 포함할 수 있다.
예를 들어, 도 5를 참조하면, 웨이브 포인트(510)부터 웨이브 포인트(520)까지의 시간이 도 5에 도시된 오디오에 대한 어택 타임에 상응할 수 있다. 또한, 웨이브 포인트(520)부터 웨이브 포인트(530)까지의 시간이 디케이 타임에 상응할 수 있고, 웨이브 포인트(530)부터 웨이브 포인트(540)까지는 비슷한 음량의 음이 지속되는 구간이므로 해당 구간의 레벨이 서스테인 레벨(560)에 상응할 수 있다. 마지막으로 웨이브 포인트(540)부터 음이 없어지는 웨이브 포인트(550)까지의 시간이 릴리스 타임에 상응할 수 있다.
이 때, 복수개의 분석 요소들은 음의 시작점, 음의 끝점, 음의 크기, 피치(Pitch) 및 바이브레이션(Vibrations)을 포함할 수 있다.
이 때, 복수개의 분석 요소들은 각각 다양한 평가 기준을 기반으로 노래 데이터를 판단하는데 사용될 수 있다. 예를 들어, 음의 시작점과 음의 끝점은 박자와 정확성을 판단하는데 사용될 수 있고, 음의 크기는 자신감을 판단하는데 사용될 수 있고, 피치는 음정을 판단하는데 사용될 수 있고, 바이브레이션은 감정을 판단하는데 사용될 수 있다.
이 때, 기설정된 임계값(Threshold level)을 기준으로 노래 데이터에서 유효 데이터를 추출하고, 유효 데이터를 기반으로 미디 데이터와 비교하기 위한 분석 요소 값을 검출할 수 있다. 즉, 분석 요소 값은 노래 데이터를 기반으로 추출되는 음의 시작점, 음의 끝점, 음의 크기, 피치 및 바이브레이션에 해당할 수 있다.
예를 들어, 도 6을 참조하면, 노래 데이터에 해당하는 전체 오디오 파일 중 기설정된 임계값(600)보다 파형이 높은 영역을 유효 데이터(610)에 상응하게 추출할 수 있다. 즉, 기설정된 임계값(600)보다 음의 파형이 낮은 영역은 잡음(620, 630)으로 판단하고 분석 요소 값을 검출할 때 고려하지 않도록 할 수 있다.
이 때, 분석 요소 값을 미디 데이터에 포함된 노트(Note) 정보에서 추출된 기준 값과 비교할 수 있다. 즉, 기준 값은 음악 제작 시 생성된 미디 데이터에서 추출되는 값이므로 분석 요소 값이 기준 값과 가까울수록 오차가 적은 것으로 판단할 수 있다.
이 때, 기준 값은 음의 기준 시작점, 음의 기준 끝점, 볼륨(Volume), 노트 넘버(Note Number) 및 모듈레이션(Modulation) 중 적어도 하나를 포함할 수 있다.
이 때, 음의 기준 시작점은 미디 데이터의 노트 온 메시지(Note On Message)가 제공되는 시점에 상응하게 추출되고, 음의 기준 끝점은 음의 기준 시작점에 미디 데이터의 듀레이션(Duration)을 적용한 시점에 상응하게 추출될 수 있다.
이 때, 노래 데이터의 유효 데이터에서 추출된 분석 요소 값과 미디 데이터에서 추출된 기준 값을 비교하여 분석 요소 별 오차 정보를 생성하는 과정은 다음과 같다.
먼저, 도 7을 참조하면, 음의 시작점 오차 정보(730)는 미디 데이터 노트 정보(710)에 포함된 음의 기준 시작점과 노래 데이터 노트 정보(720)에 포함된 음의 시작점 간의 차이에 상응하게 생성될 수 있다.
이 때, 노래 데이터 노트 정보(720)는 도 6에 도시된 것과 같이 노래 데이터에 해당하는 오디오 파일 중 유효 데이터(610)에 상응하게 생성된 것일 수 있다. 따라서, 노래 데이터 노트 정보(720)에 포함된 음의 시작점은 유효 데이터의 시작 부분에 상응할 수 있다.
또한, 음의 끝점 오차 정보(740)는, 미디 데이터 노트 정보(710)에 포함된 음의 기준 시작점 및 미디 데이터의 듀레이션을 기준으로 추출된 음의 기준 끝점과 노래 데이터 노트 정보(720)에 포함된 음의 끝점 간의 차이에 상응하게 생성될 수 있다. 즉, 음의 기준 끝점(Note Off)은 음의 기준 시작점(Note On Time) + 듀레이션(Duration)에 상응할 수 있다.
이 때, 노래 데이터 노트 정보(720)에 포함된 음의 끝점도 노래 데이터에 해당하는 오디오 파일의 유효 데이터에 상응하게 생성된 것이므로, 음의 시작점과 유사하게 유효 데이터의 끝 부분에 상응할 수 있다.
이 때, 음의 마디(701)와 박자(702)를 고려하여 생성된 음의 시작점 오차 정보(730)는 사용자가 박자에 맞게 노래나 연주를 하는지 여부를 판단하기 위해 사용될 수 있다. 또한, 음의 끝점 오차 정보(740)는 사용자의 음표의 길이에 정확하게 노래나 연주를 하는지 여부를 판단하기 위해 사용될 수 있다.
또한, 도 8 내지 도 10을 참조하면, 음의 크기에 대한 오차 정보는 도 10에 도시된 것과 같이 미디 데이터(1010)에 포함된 미디 데이터 볼륨(1011), 미디 데이터 벨로시티(1012) 및 미디 데이터 노트 정보(1013)와 노래 데이터 볼륨(1020) 간의 차이에 상응하게 생성될 수 있다.
이 때, 노래 데이터 볼륨(120)을 추출하기 위해, 먼저 도 8에 도시된 것과 같은 노래 데이터의 전체 영역 중 노래 데이터 일부(800)를 도 9에 도시된 것과 같이 확대하여 나타낼 수 있다. 이 후, 도 9와 같이 확대된 영역 중 기설정된 임계값(900)을 기준으로 유효 데이터(910, 920, 930, 940)에 해당하는 영역을 검출할 수 있는데, 이와 같이 검출된 영역이 도 10에 도시된 노래 데이터 볼륨(1020)에 상응하는 영역일 수 있다.
이 후, 유효 데이터(910, 920, 930, 940)에 해당하는 각 영역에서 노래 데이터 레벨(911, 921, 931, 941)을 측정하고, 영역 별로 측정된 레벨의 값을 도 10에 도시된 노래 데이터 볼륨(1020)과 같이 높이에 변화로 나타낼 수 있다.
이와 같이 생성된 노래 데이터 볼륨(1020)을 미디 데이터(1010)에서 추출된 미디 데이터 볼륨(1011) 및 미디 데이터 벨로시티(1012)와 비교하여 음의 크기에 대한 오차 정보를 획득할 수 있다.
이 때, 음의 크기에 대한 오차 정보는 사용자가 충분한 음량으로 노래나 연주를 하는지 여부를 판단하여 자신감을 판단하는 척도로 사용될 수 있다.
또한, 도 11 내지 도 12를 참조하면, 피치(Pitch) 오차 정보(1230)는 도 12에 도시된 것과 같이 미디 데이터 피치(1210)와 노래 데이터 피치(1220) 간의 차이에 상응하게 생성될 수 있다.
이 때, 노래 데이터 피치(1220)는, 도 11에 도시된 것과 같이 노래 데이터에 상응하는 오디오 파형에서 노트 별로 획득할 수 있다. 예를 들어, 별도의 피치 분석 툴에 노래 데이터를 입력하여 오디오 파형의 피치 값을 획득할 수 있다.
이 때, 도 11에 도시된 것과 같은 노래 데이터 피치(1110~1140)는 노트(음표)마다 획득될 수 있으며, 음정의 높낮이를 알파벳과 숫자로 표현한 노트 넘버(Note Number) 형태로 획득될 수 있다.
이 때, 미디에서는 각 노트에 대한 노트 넘버를 저장하고 있으므로, 저장된 노트 넘버에 상응하는 미디 데이터 피치(1210)와 노래 데이터에서 획득한 노래 데이터 피치(1220)를 비교하여 피치 오차 정보(1230)를 획득할 수 있다. 이 때, 당연히 미디 데이터 피치(1210)가 기준값이 되며, 오차만큼을 수치로 표현하여 피치 오차 정보(1230)를 생성할 수 있다.
이 때, 피치 오차 정보(1230)는 사용자가 정확한 음정으로 노래나 연주를 하는지 여부를 판단하기 위해 사용될 수 있다.
또한, 도 13 내지 도 14를 참조하면, 바이브레이션에 대한 오차 정보는 도 14에 도시된 것과 같이 미디 데이터(1410)에 포함된 미디 데이터 모듈레이션(1411)과 노래 데이터(1420)에서 추출되는 노래 데이터 바이브레이션(1421) 간의 차이에 상응하게 생성될 수 있다.
이 때, 노래 데이터 바이브레이션(1421)은, 도 13에 도시된 것과 같이 노래 데이터에 상응하는 오디오 파형에 포함되어 있는 음의 떨림 정보(1300)에 상응하게 생성될 수 있다.
이 때, 바이브레이션에 대한 오차 정보는 사용자가 노래에 대한 감정을 얼마나 잘 표현하는지 여부를 판단하기 위해 사용될 수 있다.
또한, 본 발명의 일실시예에 따른 노래 분석 방법은 분석 요소 별 오차 정보를 기반으로 노래 데이터에 대한 종합 평가 정보와 분석 요소 별 상세 평가 정보를 함께 제공한다(S220).
이 때, 종합 평가 정보와 함께 각 분석 요소 별로 상세하게 평가한 정보를 제공함으로써 사용자가 노래를 부르거나 연주를 할 때 구체적으로 어떤 점이 잘못되었는지를 확인할 수 있다.
따라서, 기존의 노래방 기기에서는 제공하지 못하였던 분석 결과를 제공함으로써 사용자들이 서비스를 이용하는데 흥미를 더할 수 있다, 또한, 전문 트레이너와 같은 분석 결과를 제공함으로써 실제로 음악을 전공하는 연습생들에게 보다 쉽게 트레이닝의 기회를 제공할 수도 있다.
이 때, 상세 평가 정보는 박자, 정확성, 자신감, 음정 및 감정 각각에 대한 평가 스코어, 오차 피드백 구간 및 메시지 중 적어도 하나를 포함할 수 있다.
예를 들어, 도 15에 도시된 것과 같이, 종합 평가 정보에 따른 종합 평가 스코어(1510)와 상세 평가 정보에 따른 항목 별 상세 평가 스코어(1520)를 함께 제공할 수 있다. 이 때, 상세 평가 스코어(1520)에는 박자, 정확성, 자신감, 음정, 감정 각 요소에 대한 점수를 포함할 수 있으며, 상세 평가 스코어(1520)의 결과에 따라 평가 메시지(1530)를 출력할 수도 있다.
이 때, 평가 메시지는 평가 스코어를 고려하여 긍정적 메시지와 부정적 메시지 중 어느 하나에 상응하게 제공될 수 있다.
예를 들어, 도 15에 도시된 것과 같은 상세 평가 스코어(1520) 중 70점보다 작은 스코어가 존재하는 경우, 가장 낮은 상세 평가 스코어 항목에 대한 부정적 메시지를 평가 메시지로 출력할 수 있다. 만약, 박자에 대한 상세 평가 스코어가 가장 낮은 경우, 도 16에 도시된 것과 같이 '당신은 박치입니다! 메트로놈 사드릴까요'라는 부정적 평가 메시지를 출력할 수 있다.
다른 예를 들어, 도 15에 도시된 것과 같은 상세 평가 스코어(1520)가 모두 70점 이상일 경우, 가장 높은 상세 평가 스코어 항목에 대한 긍정적 메시지를 평가 메시지로 출력할 수도 있다. 만약, 음정에 대한 상세 평가 스코어가 가장 높은 경우, 도 16에 도시된 것과 같이 '음정이 정확합니다!'라는 긍정적 평가 메시지를 출력할 수도 있다.
또 다른 예를 들어, 사용자가 노래를 부르는 과정에서 기설정된 마디 이상 마이크 입력 신호가 발생하지 않은 경우에는 '포기하셨나요?'라는 평가 메시지를 노래를 부르고 있는 와중에 실시간으로 출력하거나, 마이크 입력이 드문드문 발생하는 경우에는 '박자를 잘 잡으세요.'라는 평가 메시지를 실시간으로 출력해줌으로써 실시간으로 피드백을 제공해 줄 수도 있다.
이 때, 평가 메시지를 선정하여 제공하는 방식은 상기의 예시에 한정되지 않고 다양한 방법이 적용될 수 있다.
또한, 본 발명의 일실시예에 따른 상세 평가 정보는 도 17 내지 도 18에 도시된 것처럼 각 항목별 분석결과와 함께 오차 피드백 구간에 대한 정보를 제공할 수도 있다.
예를 들어, 사용자가 도 15와 같이 제공된 평가 정보에서 음정에 해당하는 항목을 클릭하거나 선택하는 경우, 도 17에 도시된 것처럼 음정에 대한 상세한 분석 결과를 제공할 수도 있다. 이와 같은 상세한 분석 결과를 통해 사용자는 자신이 노래를 부르거나 연주를 할 때 무엇을 잘하고 잘못하였는지를 알 수 있다.
또한, 사용자가 어느 부분에서 음정이 틀렸는지 알 수 있도록, 도 18에 도시된 것처럼 음정이 틀린 부분에 상응하는 오차 피드백 구간(1810~1840)을 각각 생성하여 제공할 수 있다. 이 때, 오차 피드백 구간(1810~1840)은 시간의 흐름에 따라 틀린 부분을 그래프 형식으로 알기 쉽게 나타낼 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 노래 분석 방법은 노래 데이터 중 오차 피드백 구간을 반복적으로 연습할 수 있는 구간 연습 인터페이스를 제공한다.
예를 들어, 구간 연습 인터페이스는 오차 피드백 구간에 해당하는 영역을 블록화하여 마커를 발생시키고, 발생한 마커를 기준으로 하여 해당 구간을 반복적으로 연습할 수 있도록 제공할 수 있다.
이 때, 여러 가지 구간 반복 옵션을 적용하여 오차 피드백 구간을 연습할 수 있다. 예를 들어, 빠른 연습을 위해서 오차 피드백 구간만 반복적으로 재생하는 옵션, 편리한 연습을 위해 오차 피드백 구간이 시작되는 마디부터 반복적으로 재생하는 옵션 및 초보자를 위해 오차 피드백 구간이 시작되는 음절부터 반복적으로 재생하는 옵션 등을 적용할 수 있다.
이 때, 구간 연습 인터페이스는 프리 롤(Pre-Roll) 과 포스트 롤(Post-Roll)을 적용하여 오차 피드백 구간에 상응하는 반복 연습 구간을 생성할 수 있다.
예를 들어, 도 19를 참조하면, 오차 피드백 구간의 시작 지점에서부터 프리 롤 구간(1910)만큼 앞으로 이동한 지점을 반복 연습 구간의 시작 지점으로 설정할 수 있다. 또한, 오차 피드백 구간의 종료 지점에서부터 포스트 롤 구간(1920)만큼 뒤로 이동한 지점을 반복 연습 구간의 종료 지점으로 설정할 수 있다.
이 때, 프리 롤 구간(1910)이나 포스트 롤 구간(1920)의 길이는 특정한 값으로 한정되지 않으며 시스템 설정에 따라 자유롭게 변경될 수도 있다.
이 때, 구간 연습 인터페이스는 오차 피드백 구간에 상응하는 가이드 보컬을 제공할 수 있다.
예를 들어, 도 3에 도시된 시스템에 내장된 톤 제너레이터 모듈을 사용하여 미디 데이터에 대한 가이드 보컬 데이터를 생성하고, 이를 재생하는 방식으로 가이드 보컬을 제공할 수도 있다. 또는, 해당 MR에 대해 전문가가 부른 가이드 보컬 파일을 획득하여 재생시켜 줄 수도 있다.
이 때, 종합 평가 정보는 적어도 하나의 그래프를 기반으로 제공될 수 있다.
예를 들어, 도 20에 도시된 것과 같이 오각형 내에서 점수의 분포를 나타내는 그래프를 통해 보다 알아보기 쉽게 종합 평가 정보를 제공할 수도 있다.
이 때, 종합 평가 정보는 도 20에 도시된 형태에 한정되지 않고 다양한 형태로 제공될 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 노래 분석 방법은 사용자가 노래를 하거나 또는 구간 연습 인터페이스를 통해 연습을 할 경우에 가사, 악보, 코드 악보 등을 함께 디스플레이로 제공할 수 있다.
예를 들어, 노래와 함께 가사만 제공되는 모드, 가사와 악보가 함께 제공되는 모드, 가사와 악보와 코드 악보다 모두 제공 되는 모드 등 다양한 모드를 제시한 뒤 사용자에 의해 선택된 모드에 따라 디스플레이 되는 서비스를 제공할 수도 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 노래 분석 방법은 네트워크와 같은 통신망을 통해 노래 분석을 위해 필요한 정보를 송수신할 수 있다. 특히, 본 발명에서는 노래 데이터와 비교하기 위한 미디 데이터를 수신하고, 종합 평가 정보와 상세 평가 정보에 상응하는 출력을 별도의 파일로 저장하여 사용자의 개인 단말이나 외부로 제공할 수도 있다.
이 때, 네트워크는 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 인터넷 프로토콜(IP)을 기반으로 데이터 서비스를 제공하는 아이피망, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중 어느 하나 또는 하나 이상을 결합하여 이루어질 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 노래 분석 방법은 상술한 노래 분석 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.
또한, 도 2에서는 설명의 편의를 위해 사용자가 부른 노래를 예시로 하였으나, 사용자가 악기를 이용하여 연주한 음악이나 다른 사람이 녹음한 노래 파일 등을 적용하여 분석을 수행할 수도 있다.
이와 같은 노래 분석 방법을 통해, 사용자가 부른 노래에 대해 전문적인 분석 서비스를 제공할 수 있다.
또한, 세부적 요소들로 평가된 결과를 기준으로 노래를 연습할 수 있는 환경을 제공함으로써 마치 전문적으로 트레이닝을 받는 듯한 효과를 제공할 수 있다.
또한, 음악을 제작하는 단계에서 기본적으로 생성되는 미디 데이터를 이용함으로써 본 발명을 기반으로 하는 서비스를 제공하기 위해 새롭게 인프라를 구축해야 하는 비용과 시간을 절약할 수도 있다.
도 21은 본 발명의 일실시예에 따른 노래 분석 장치를 나타낸 블록도이다.
도 21을 참조하면, 본 발명의 일실시예에 따른 노래 분석 장치는 통신부(2110), 프로세서(2120) 및 메모리(2130)를 포함한다.
통신부(2110)는 네트워크와 같은 통신망을 통해 노래 분석을 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 특히, 본 발명의 일실시예에 따른 통신부(2110)는 노래 데이터와 비교하기 위한 미디 데이터를 수신하고, 종합 평가 정보와 상세 평가 정보에 상응하는 출력을 별도의 파일로 저장하여 사용자의 개인 단말이나 외부로 제공할 수도 있다.
이 때, 네트워크는 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 인터넷 프로토콜(IP)을 기반으로 데이터 서비스를 제공하는 아이피망, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중 어느 하나 또는 하나 이상을 결합하여 이루어질 수 있다.
프로세서(2120)는 마이크로 입력된 노래 데이터를 미디(Musical Instrument Digital Interface) 데이터와 비교하여 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성한다.
예를 들어, 도 3에 도시된 본 발명의 일실시예에 따른 노래 분석 시스템을 참조하면, 본 발명의 일실시예에 따른 노래 분석 시스템은 노래 데이터를 획득하기 위한 마이크(310)와 미디 데이터를 제공하는 미디(320)를 포함할 수 있다.
이 때, 마이크(310)를 통해 입력된 사용자의 노래 데이터는 오디오 분석 모듈(Audio Analyzer)(311)과 오디오 이벤트 생성 모듈(Audio Event Creator)(312)을 거쳐 노래 분석 장치(330)로 제공될 수 있다. 또한, 미디(320)에서 생성된 미디 데이터는 미디 이벤트 분석 모듈(MIDI Event Analyzer)(321)을 거쳐 노래 분석 장치(330)로 제공될 수 있다. 이 때, 미디 데이터는 SMF(Standard MIDI File) 또는 MusicXML 파일 형식으로 제공될 수 있다.
또한, 도 3을 참조하면, 본 발명의 일실시예에 따른 노래 분석 시스템에서는 피치 쉬프터(Pitch Shifter)나 타임 스트레치(Time Stretch) 등의 오디오 프로세싱 기술을 이용하여 MR(Music Recoding)의 키(음의 높낮이)나 속도를 변화하여 제공할 수도 있다. 이러한 프로세싱은 향후에 사용자에게 다양한 연습 환경을 제공할 수 있도록 할 수 있다.
따라서, 본 발명에 의하면 사용자가 노래를 부르기 위한 환경과 함께 사용자가 부른 노래에 대한 평가 정보와 연습 환경까지 제공할 수 있어 사용자에게 보다 다양한 음악적 즐거움을 제공할 수 있다.
또한, 도 4를 참조하면, 본 발명의 일실시예에 따른 노래 분석 장치가 노래 데이터와 미디 데이터를 통해 각각 어떤 정보를 획득하는지 알 수 있다.
예를 들어, 도 3에 도시된 마이크(310)로부터 데이터를 획득하는 오디오 분석 모듈(410)은 노래 데이터로부터 ADSR 엔벨로프(Envelope), 라우드니스(Loudness), 피치(Pitch) 및 바이브레이션(Vibration)을 획득할 수 있고, 도 3에 도시된 미디(320)로부터 데이터를 획득하는 미디 이벤트 분석 모듈(420)은 미디 데이터로부터 노트 온(Note On) 데이터, 듀레이션(Duration), 벨로시티(Velocity), 노트 넘버(Note Number) 및 모듈레이션(Modulation)을 획득할 수 있다.
따라서, 노래 분석 장치(430)의 프로세서는 오디오 분석 모듈(410)과 미디 이벤트 분석 모듈(420)로부터 각각의 정보를 입력받아 노래 데이터와 미디 데이터 각각에 대한 복수개의 분석 요소들을 추출할 수 있고, 이를 비교하여 분석 요소 별 오차 정보를 생성할 수 있다. 이 때, 오디오 분석 모듈(410)은 실시간 분석이 가능하기 때문에 노래 분석 장치(430)는 사용자가 노래하거나 연주하고 있는 동안에 실시간으로 피드백을 제공해줄 수도 있다.
이 때, ADSR 엔벨로프(Envelope)는 음이 나오기 시작해서 최대 음량에 도달하기까지의 시간을 의미하는 어택 타임(Attack Time), 최대 음량에서 지속음량이 시작되기까지의 시간을 의미하는 디케이 타임(Decay Time), 지속음량의 레벨을 의미하는 서스테인 레벨(Sustain Level) 및 음이 서서히 줄어들어 없어질 때까지의 시간을 의미하는 릴리스 타임(Release Time)을 포함할 수 있다.
예를 들어, 도 5를 참조하면, 웨이브 포인트(510)부터 웨이브 포인트(520)까지의 시간이 도 5에 도시된 오디오에 대한 어택 타임에 상응할 수 있다. 또한, 웨이브 포인트(520)부터 웨이브 포인트(530)까지의 시간이 디케이 타임에 상응할 수 있고, 웨이브 포인트(530)부터 웨이브 포인트(540)까지는 비슷한 음량의 음이 지속되는 구간이므로 해당 구간의 레벨이 서스테인 레벨(560)에 상응할 수 있다. 마지막으로 웨이브 포인트(540)부터 음이 없어지는 웨이브 포인트(550)까지의 시간이 릴리스 타임에 상응할 수 있다.
이 때, 복수개의 분석 요소들은 음의 시작점, 음의 끝점, 음의 크기, 피치(Pitch) 및 바이브레이션(Vibrations)을 포함할 수 있다.
이 때, 복수개의 분석 요소들은 각각 다양한 평가 기준을 기반으로 노래 데이터를 판단하는데 사용될 수 있다. 예를 들어, 음의 시작점과 음의 끝점은 박자와 정확성을 판단하는데 사용될 수 있고, 음의 크기는 자신감을 판단하는데 사용될 수 있고, 피치는 음정을 판단하는데 사용될 수 있고, 바이브레이션은 감정을 판단하는데 사용될 수 있다.
이 때, 기설정된 임계값(Threshold level)을 기준으로 노래 데이터에서 유효 데이터를 추출하고, 유효 데이터를 기반으로 미디 데이터와 비교하기 위한 분석 요소 값을 검출할 수 있다. 즉, 분석 요소 값은 노래 데이터를 기반으로 추출되는 음의 시작점, 음의 끝점, 음의 크기, 피치 및 바이브레이션에 해당할 수 있다.
예를 들어, 도 6을 참조하면, 노래 데이터에 해당하는 전체 오디오 파일 중 기설정된 임계값(600)보다 파형이 높은 영역을 유효 데이터(610)에 상응하게 추출할 수 있다. 즉, 기설정된 임계값(600)보다 음의 파형이 낮은 영역은 잡음(620, 630)으로 판단하고 분석 요소 값을 검출할 때 고려하지 않도록 할 수 있다.
이 때, 분석 요소 값을 미디 데이터에 포함된 노트(Note) 정보에서 추출된 기준 값과 비교할 수 있다. 즉, 기준 값은 음악 제작 시 생성된 미디 데이터에서 추출되는 값이므로 분석 요소 값이 기준 값과 가까울수록 오차가 적은 것으로 판단할 수 있다.
이 때, 기준 값은 음의 기준 시작점, 음의 기준 끝점, 볼륨(Volume), 노트 넘버(Note Number) 및 모듈레이션(Modulation) 중 적어도 하나를 포함할 수 있다.
이 때, 음의 기준 시작점은 미디 데이터의 노트 온 메시지(Note On Message)가 제공되는 시점에 상응하게 추출되고, 음의 기준 끝점은 음의 기준 시작점에 미디 데이터의 듀레이션(Duration)을 적용한 시점에 상응하게 추출될 수 있다.
이 때, 노래 데이터의 유효 데이터에서 추출된 분석 요소 값과 미디 데이터에서 추출된 기준 값을 비교하여 분석 요소 별 오차 정보를 생성하는 과정은 다음과 같다.
먼저, 도 7을 참조하면, 음의 시작점 오차 정보(730)는 미디 데이터 노트 정보(710)에 포함된 음의 기준 시작점과 노래 데이터 노트 정보(720)에 포함된 음의 시작점 간의 차이에 상응하게 생성될 수 있다.
이 때, 노래 데이터 노트 정보(720)는 도 6에 도시된 것과 같이 노래 데이터에 해당하는 오디오 파일 중 유효 데이터(610)에 상응하게 생성된 것일 수 있다. 따라서, 노래 데이터 노트 정보(720)에 포함된 음의 시작점은 유효 데이터의 시작 부분에 상응할 수 있다.
또한, 음의 끝점 오차 정보(740)는, 미디 데이터 노트 정보(710)에 포함된 음의 기준 시작점 및 미디 데이터의 듀레이션을 기준으로 추출된 음의 기준 끝점과 노래 데이터 노트 정보(720)에 포함된 음의 끝점 간의 차이에 상응하게 생성될 수 있다. 즉, 음의 기준 끝점(Note Off)은 음의 기준 시작점(Note On Time) + 듀레이션(Duration)에 상응할 수 있다.
이 때, 노래 데이터 노트 정보(720)에 포함된 음의 끝점도 노래 데이터에 해당하는 오디오 파일의 유효 데이터에 상응하게 생성된 것이므로, 음의 시작점과 유사하게 유효 데이터의 끝 부분에 상응할 수 있다.
이 때, 음의 마디(701)와 박자(702)를 고려하여 생성된 음의 시작점 오차 정보(730)는 사용자가 박자에 맞게 노래나 연주를 하는지 여부를 판단하기 위해 사용될 수 있다. 또한, 음의 끝점 오차 정보(740)는 사용자의 음표의 길이에 정확하게 노래나 연주를 하는지 여부를 판단하기 위해 사용될 수 있다.
또한, 도 8 내지 도 10을 참조하면, 음의 크기에 대한 오차 정보는 도 10에 도시된 것과 같이 미디 데이터(1010)에 포함된 미디 데이터 볼륨(1011), 미디 데이터 벨로시티(1012) 및 미디 데이터 노트 정보(1013)와 노래 데이터 볼륨(1020) 간의 차이에 상응하게 생성될 수 있다.
이 때, 노래 데이터 볼륨(120)을 추출하기 위해, 먼저 도 8에 도시된 것과 같은 노래 데이터의 전체 영역 중 노래 데이터 일부(800)를 도 9에 도시된 것과 같이 확대하여 나타낼 수 있다. 이 후, 도 9와 같이 확대된 영역 중 기설정된 임계값(900)을 기준으로 유효 데이터(910, 920, 930, 940)에 해당하는 영역을 검출할 수 있는데, 이와 같이 검출된 영역이 도 10에 도시된 노래 데이터 볼륨(1020)에 상응하는 영역일 수 있다.
이 후, 유효 데이터(910, 920, 930, 940)에 해당하는 각 영역에서 노래 데이터 레벨(911, 921, 931, 941)을 측정하고, 영역 별로 측정된 레벨의 값을 도 10에 도시된 노래 데이터 볼륨(1020)과 같이 높이에 변화로 나타낼 수 있다.
이와 같이 생성된 노래 데이터 볼륨(1020)을 미디 데이터(1010)에서 추출된 미디 데이터 볼륨(1011) 및 미디 데이터 벨로시티(1012)와 비교하여 음의 크기에 대한 오차 정보를 획득할 수 있다.
이 때, 음의 크기에 대한 오차 정보는 사용자가 충분한 음량으로 노래나 연주를 하는지 여부를 판단하여 자신감을 판단하는 척도로 사용될 수 있다.
또한, 도 11 내지 도 12를 참조하면, 피치(Pitch) 오차 정보(1230)는 도 12에 도시된 것과 같이 미디 데이터 피치(1210)와 노래 데이터 피치(1220) 간의 차이에 상응하게 생성될 수 있다.
이 때, 노래 데이터 피치(1220)는, 도 11에 도시된 것과 같이 노래 데이터에 상응하는 오디오 파형에서 노트 별로 획득할 수 있다. 예를 들어, 별도의 피치 분석 툴에 노래 데이터를 입력하여 오디오 파형의 피치 값을 획득할 수 있다.
이 때, 도 11에 도시된 것과 같은 노래 데이터 피치(1110~1140)는 노트(음표)마다 획득될 수 있으며, 음정의 높낮이를 알파벳과 숫자로 표현한 노트 넘버(Note Number) 형태로 획득될 수 있다.
이 때, 미디에서는 각 노트에 대한 노트 넘버를 저장하고 있으므로, 저장된 노트 넘버에 상응하는 미디 데이터 피치(1210)와 노래 데이터에서 획득한 노래 데이터 피치(1220)를 비교하여 피치 오차 정보(1230)를 획득할 수 있다. 이 때, 당연히 미디 데이터 피치(1210)가 기준값이 되며, 오차만큼을 수치로 표현하여 피치 오차 정보(1230)를 생성할 수 있다.
이 때, 피치 오차 정보(1230)는 사용자가 정확한 음정으로 노래나 연주를 하는지 여부를 판단하기 위해 사용될 수 있다.
또한, 도 13 내지 도 14를 참조하면, 바이브레이션에 대한 오차 정보는 도 14에 도시된 것과 같이 미디 데이터(1410)에 포함된 미디 데이터 모듈레이션(1411)과 노래 데이터(1420)에서 추출되는 노래 데이터 바이브레이션(1421) 간의 차이에 상응하게 생성될 수 있다.
이 때, 노래 데이터 바이브레이션(1421)은, 도 13에 도시된 것과 같이 노래 데이터에 상응하는 오디오 파형에 포함되어 있는 음의 떨림 정보(1300)에 상응하게 생성될 수 있다.
이 때, 바이브레이션에 대한 오차 정보는 사용자가 노래에 대한 감정을 얼마나 잘 표현하는지 여부를 판단하기 위해 사용될 수 있다.
또한, 프로세서(2120)는 분석 요소 별 오차 정보를 기반으로 노래 데이터에 대한 종합 평가 정보와 분석 요소 별 상세 평가 정보를 함께 제공한다.
이 때, 종합 평가 정보와 함께 각 분석 요소 별로 상세하게 평가한 정보를 제공함으로써 사용자가 노래를 부르거나 연주를 할 때 구체적으로 어떤 점이 잘못되었는지를 확인할 수 있다.
따라서, 기존의 노래방 기기에서는 제공하지 못하였던 분석 결과를 제공함으로써 사용자들이 서비스를 이용하는데 흥미를 더할 수 있다, 또한, 전문 트레이너와 같은 분석 결과를 제공함으로써 실제로 음악을 전공하는 연습생들에게 보다 쉽게 트레이닝의 기회를 제공할 수도 있다.
이 때, 상세 평가 정보는 박자, 정확성, 자신감, 음정 및 감정 각각에 대한 평가 스코어, 오차 피드백 구간 및 메시지 중 적어도 하나를 포함할 수 있다.
예를 들어, 도 15에 도시된 것과 같이, 종합 평가 정보에 따른 종합 평가 스코어(1510)와 상세 평가 정보에 따른 항목 별 상세 평가 스코어(1520)를 함께 제공할 수 있다. 이 때, 상세 평가 스코어(1520)에는 박자, 정확성, 자신감, 음정, 감정 각 요소에 대한 점수를 포함할 수 있으며, 상세 평가 스코어(1520)의 결과에 따라 평가 메시지(1530)를 출력할 수도 있다.
이 때, 평가 메시지는 평가 스코어를 고려하여 긍정적 메시지와 부정적 메시지 중 어느 하나에 상응하게 제공될 수 있다.
예를 들어, 도 15에 도시된 것과 같은 상세 평가 스코어(1520) 중 70점보다 작은 스코어가 존재하는 경우, 가장 낮은 상세 평가 스코어 항목에 대한 부정적 메시지를 평가 메시지로 출력할 수 있다. 만약, 박자에 대한 상세 평가 스코어가 가장 낮은 경우, 도 16에 도시된 것과 같이 '당신은 박치입니다! 메트로놈 사드릴까요'라는 부정적 평가 메시지를 출력할 수 있다.
다른 예를 들어, 도 15에 도시된 것과 같은 상세 평가 스코어(1520)가 모두 70점 이상일 경우, 가장 높은 상세 평가 스코어 항목에 대한 긍정적 메시지를 평가 메시지로 출력할 수도 있다. 만약, 음정에 대한 상세 평가 스코어가 가장 높은 경우, 도 16에 도시된 것과 같이 '음정이 정확합니다!'라는 긍정적 평가 메시지를 출력할 수도 있다.
또 다른 예를 들어, 사용자가 노래를 부르는 과정에서 기설정된 마디 이상 마이크 입력 신호가 발생하지 않은 경우에는 '포기하셨나요?'라는 평가 메시지를 노래를 부르고 있는 와중에 실시간으로 출력하거나, 마이크 입력이 드문드문 발생하는 경우에는 '박자를 잘 잡으세요.'라는 평가 메시지를 실시간으로 출력해줌으로써 실시간으로 피드백을 제공해 줄 수도 있다.
이 때, 평가 메시지를 선정하여 제공하는 방식은 상기의 예시에 한정되지 않고 다양한 방법이 적용될 수 있다.
또한, 본 발명의 일실시예에 따른 상세 평가 정보는 도 17 내지 도 18에 도시된 것처럼 각 항목별 분석결과와 함께 오차 피드백 구간에 대한 정보를 제공할 수도 있다.
예를 들어, 사용자가 도 15와 같이 제공된 평가 정보에서 음정에 해당하는 항목을 클릭하거나 선택하는 경우, 도 17에 도시된 것처럼 음정에 대한 상세한 분석 결과를 제공할 수도 있다. 이와 같은 상세한 분석 결과를 통해 사용자는 자신이 노래를 부르거나 연주를 할 때 무엇을 잘하고 잘못하였는지를 알 수 있다.
또한, 사용자가 어느 부분에서 음정이 틀렸는지 알 수 있도록, 도 18에 도시된 것처럼 음정이 틀린 부분에 상응하는 오차 피드백 구간(1810~1840)을 각각 생성하여 제공할 수 있다. 이 때, 오차 피드백 구간(1810~1840)은 시간의 흐름에 따라 틀린 부분을 그래프 형식으로 알기 쉽게 나타낼 수 있다.
또한, 프로세서(2120)는 노래 데이터 중 오차 피드백 구간을 반복적으로 연습할 수 있는 구간 연습 인터페이스를 제공한다.
예를 들어, 구간 연습 인터페이스는 오차 피드백 구간에 해당하는 영역을 블록화하여 마커를 발생시키고, 발생한 마커를 기준으로 하여 해당 구간을 반복적으로 연습할 수 있도록 제공할 수 있다.
이 때, 여러 가지 구간 반복 옵션을 적용하여 오차 피드백 구간을 연습할 수 있다. 예를 들어, 빠른 연습을 위해서 오차 피드백 구간만 반복적으로 재생하는 옵션, 편리한 연습을 위해 오차 피드백 구간이 시작되는 마디부터 반복적으로 재생하는 옵션 및 초보자를 위해 오차 피드백 구간이 시작되는 음절부터 반복적으로 재생하는 옵션 등을 적용할 수 있다.
이 때, 구간 연습 인터페이스는 프리 롤(Pre-Roll) 과 포스트 롤(Post-Roll)을 적용하여 오차 피드백 구간에 상응하는 반복 연습 구간을 생성할 수 있다.
예를 들어, 도 19를 참조하면, 오차 피드백 구간의 시작 지점에서부터 프리 롤 구간(1910)만큼 앞으로 이동한 지점을 반복 연습 구간의 시작 지점으로 설정할 수 있다. 또한, 오차 피드백 구간의 종료 지점에서부터 포스트 롤 구간(1920)만큼 뒤로 이동한 지점을 반복 연습 구간의 종료 지점으로 설정할 수 있다.
이 때, 프리 롤 구간(1910)이나 포스트 롤 구간(1920)의 길이는 특정한 값으로 한정되지 않으며 시스템 설정에 따라 자유롭게 변경될 수도 있다.
이 때, 구간 연습 인터페이스는 오차 피드백 구간에 상응하는 가이드 보컬을 제공할 수 있다.
예를 들어, 도 3에 도시된 시스템에 내장된 톤 제너레이터 모듈을 사용하여 미디 데이터에 대한 가이드 보컬 데이터를 생성하고, 이를 재생하는 방식으로 가이드 보컬을 제공할 수도 있다. 또는, 해당 MR에 대해 전문가가 부른 가이드 보컬 파일을 획득하여 재생시켜 줄 수도 있다.
이 때, 종합 평가 정보는 적어도 하나의 그래프를 기반으로 제공될 수 있다.
예를 들어, 도 20에 도시된 것과 같이 오각형 내에서 점수의 분포를 나타내는 그래프를 통해 보다 알아보기 쉽게 종합 평가 정보를 제공할 수도 있다.
이 때, 종합 평가 정보는 도 20에 도시된 형태에 한정되지 않고 다양한 형태로 제공될 수 있다.
또한, 프로세서(2120)는 사용자가 노래를 하거나 또는 구간 연습 인터페이스를 통해 연습을 할 경우에 가사, 악보, 코드 악보 등을 함께 디스플레이로 제공할 수 있다.
예를 들어, 노래와 함께 가사만 제공되는 모드, 가사와 악보가 함께 제공되는 모드, 가사와 악보와 코드 악보다 모두 제공 되는 모드 등 다양한 모드를 제시한 뒤 사용자에 의해 선택된 모드에 따라 디스플레이 되는 서비스를 제공할 수도 있다.
메모리(2130)는 노래 데이터와 미디 데이터를 저장한다.
또한, 메모리(2130)는 본 발명의 실시예에 따른 노래 분석을 위한 기능을 지원할 수 있다. 이 때, 메모리(2130)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 다양한 서로 다른 구현 예에서, 메모리는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.
또한, 도 21에서는 설명의 편의를 위해 사용자가 부른 노래를 예시로 하였으나, 사용자가 악기를 이용하여 연주한 음악이나 다른 사람이 녹음한 노래 파일 등을 적용하여 분석을 수행할 수도 있다.
도 22 내지 도 23은 본 발명에 따른 미디 데이터 분석 화면의 일 예를 나타낸 도면이다.
도 22 내지 도 23을 참조하면, 본 발명의 일실시예에 따른 미디 시퀀서(MIDI sequencer)는 도 22에 도시된 것과 같이 미디 데이터에 대한 노트/피치 데이터 출력 화면(2210), 모듈레이션 데이터 출력 화면(2220) 및 벨로시티 데이터 출력 화면(2230)을 제공할 수 있다.
이 때, 노트/피치 데이터 출력 화면(2210)에서는 미디 데이터에 포함된 각 노트에 해당하는 음의 시작점과 끝점 및 피치값을 나타낼 수 있다.
이 때, 모듈레이션 데이터 출력 화면(2220)에서는 미디 데이터에 대한 모듈레이션 데이터를 나타낼 수 있고, 벨로시티 데이터 출력 화면(2230)에서는 미디 데이터에 대한 벨로시티 데이터 또는 볼륨 데이터를 나타낼 수 있다.
또한, 도 23을 참조하면, 본 발명의 일실시예에 따른 미디 시퀀서는 도 22에 도시된 각각의 화면과 함께 미디 데이터에 상응하는 노트값(2310), 음의 시작 시간(2320), 음의 종료 시간(2330), 노트의 길이(2340), 피치(2350), 벨로시티(2360), 노트 오프 벨로시티(2370) 및 채널(2380)에 해당하는 각각의 값을 노트 별 수치로써 나타낼 수도 있다.
이상에서와 같이 본 발명에 따른 노래 분석 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100, 330, 430: 노래 분석 장치 101, 1420: 노래 데이터
102, 1010, 1410: 미디 데이터 103: 평가 정보
310: 마이크 311, 410: 오디오 분석 모듈
312: 오디오 이벤트 생성 모듈 320: 미디(MIDI)
321, 420: 미디 이벤트 분석 모듈 331, 2130: 메모리
340, 440: 디스플레이 510~550: 웨이브 포인트
560: 서스테인 레벨 600, 900: 임계값
610, 910, 920, 930, 940: 유효 데이터
620, 630: 잡음 701: 마디
702: 박자 710, 1013: 미디 데이터 노트 정보
720: 노래 데이터 노트 정보 730: 음의 시작점 오차 정보
740: 음의 끝점 오차 정보 800: 노래 데이터 일부
911, 921, 931, 941: 노래 데이터 레벨
1011: 미디 데이터 볼륨 1012: 미디 데이터 벨로시티
1020: 노래 데이터 볼륨
1110~1140, 1220: 노래 데이터 피치(pitch)
1210: 미디 데이터 피치 1230: 피치 오차 정보
1300: 음의 떨림 정보 1411: 미디 데이터 모듈레이션
1421: 노래 데이터 바이브레이션 1510: 종합 평가 스코어
1520: 상세 평가 스코어 1530: 평가 메시지
1810~1840: 오차 피드백 구간 1910: 프리 롤 구간
1920: 포스트 롤 구간 2110: 통신부
2120: 프로세서 2210: 노트/피치 데이터 출력 화면
2220: 모듈레이션 데이터 출력 화면 2230: 벨로시티 데이터 출력 화면
2310: 노트값 2320: 음의 시작 시간
2330: 음의 종료 시간 2340: 노트의 길이
2350: 피치 2360: 벨로시티
2370: 노트 오프 벨로시티 2380: 채널

Claims (20)

  1. 마이크로 입력된 노래 데이터를 노래방 반주에 사용되는 MR(MUSIC RECODEING)을 다채널화하여 저장한 미디(Musical Instrument Digital Interface) 데이터와 비교하여 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성하는 단계;
    상기 분석 요소 별 오차 정보를 기반으로 상기 노래 데이터에 대한 종합 평가 정보와 분석 요소 별 상세 평가 정보를 함께 제공하는 단계; 및
    프리 롤(Pre-Roll)과 포스트 롤(Post-Roll)을 적용하여 노래 데이터 중 오차 피드백 구간을 가이드 보컬과 함께 반복적으로 연습할 수 있는 구간 연습 인터페이스를 제공하는 단계를 포함하고,
    상기 복수개의 분석 요소들은
    음의 시작점, 음의 끝점, 음의 크기, 피치(Pitch) 및 바이브레이션(Vibration)을 포함하고,
    상기 분석 요소 별 오차 정보를 생성하는 단계는
    상기 노래 데이터가 입력되는 시점에 상기 MR에 상응하는 음의 높낮이 및 속도 중 적어도 하나가 조정된 경우, 조정된 MR에 상응하는 미디 데이터와 상기 노래 데이터를 비교하여 상기 분석 요소 별 오차 정보를 생성하는 것을 특징으로 하는 노래 분석 방법.
  2. 청구항 1에 있어서,
    상기 상세 평가 정보는
    박자, 정확성, 자신감, 음정 및 감정 각각에 대한 평가 스코어, 상기 오차 피드백 구간 및 평가 메시지 중 적어도 하나를 포함하는 것을 특징으로 하는 노래 분석 방법.
  3. 청구항 2에 있어서,
    상기 분석 요소 별 오차 정보를 생성하는 단계는
    기설정된 임계값(Threshold level)을 기준으로 상기 노래 데이터에서 유효 데이터를 추출하고, 상기 유효 데이터를 기반으로 상기 미디 데이터와 비교하기 위한 분석 요소 값을 검출하는 단계; 및
    상기 분석 요소 값을 상기 미디 데이터에 포함된 노트(Note) 정보에서 추출된 기준 값과 비교하는 단계를 더 포함하는 것을 특징으로 하는 노래 분석 방법.
  4. 청구항 3에 있어서,
    상기 기준 값은
    음의 기준 시작점, 음의 기준 끝점, 볼륨(Volume), 노트 넘버(Note Number) 및 모듈레이션(Modulation) 중 적어도 하나를 포함하는 것을 특징으로 하는 노래 분석 방법.
  5. 청구항 4에 있어서,
    상기 음의 기준 시작점은 상기 미디 데이터의 노트 온 메시지(Note On Message)가 제공되는 시점에 상응하게 추출되고, 상기 음의 기준 끝점은 상기 음의 기준 시작점에 상기 미디 데이터의 듀레이션(Duration)을 적용한 시점에 상응하게 추출되는 것을 특징으로 하는 노래 분석 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 청구항 2에 있어서,
    상기 평가 메시지는
    상기 평가 스코어를 고려하여 긍정적 메시지와 부정적 메시지 중 어느 하나에 상응하게 제공되는 것을 특징으로 하는 노래 분석 방법.
  10. 청구항 1에 있어서,
    상기 종합 평가 정보는
    적어도 하나의 그래프를 기반으로 제공되는 것을 특징으로 하는 노래 분석 방법.
  11. 마이크로 입력된 노래 데이터를 노래방 반주에 사용되는 MR(MUSIC RECODING)을 다채널화하여 저장한 미디(Musical Instrument Digital Interface) 데이터와 비교하여 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성하고, 상기 분석 요소 별 오차 정보를 기반으로 상기 노래 데이터에 대한 종합 평가 정보와 분석 요소 별 상세 평가 정보를 함께 제공하고, 프리 롤(Pre-Roll)과 포스트 롤(Post-Roll)을 적용하여 노래 데이터 중 오차 피드백 구간을 가이드 보컬과 함께 반복적으로 연습할 수 있는 구간 연습 인터페이스를 제공하는 프로세서; 및
    상기 노래 데이터와 상기 미디 데이터를 저장하는 메모리를 포함하고,
    상기 복수개의 분석 요소들은
    음의 시작점, 음의 끝점, 음의 크기, 피치(Pitch) 및 바이브레이션(Vibration)을 포함하고,
    상기 프로세서는
    상기 노래 데이터가 입력되는 시점에 상기 MR에 상응하는 음의 높낮이 및 속도 중 적어도 하나가 조정된 경우, 조정된 MR에 상응하는 미디 데이터와 상기 노래 데이터를 비교하여 상기 복수개의 분석 요소들에 대한 분석 요소 별 오차 정보를 생성하는 것을 특징으로 하는 노래 분석 장치.
  12. 청구항 11에 있어서,
    상기 상세 평가 정보는
    박자, 정확성, 자신감, 음정 및 감정 각각에 대한 평가 스코어, 상기 오차 피드백 구간 및 평가 메시지 중 적어도 하나를 포함하는 것을 특징으로 하는 노래 분석 장치.
  13. 청구항 12에 있어서,
    상기 프로세서는
    기설정된 임계값(Threshold level)을 기준으로 상기 노래 데이터에서 유효 데이터를 추출하고, 상기 유효 데이터를 기반으로 상기 미디 데이터와 비교하기 위한 분석 요소 값을 검출하고, 상기 분석 요소 값을 상기 미디 데이터에 포함된 노트(Note) 정보에서 추출된 기준 값과 비교하는 것을 특징으로 하는 노래 분석 장치.
  14. 청구항 13에 있어서,
    상기 기준 값은
    음의 기준 시작점, 음의 기준 끝점, 볼륨(Volume), 노트 넘버(Note Number) 및 모듈레이션(Modulation) 중 적어도 하나를 포함하는 것을 특징으로 하는 노래 분석 장치.
  15. 청구항 14에 있어서,
    상기 음의 기준 시작점은 상기 미디 데이터의 노트 온 메시지(Note On Message)가 제공되는 시점에 상응하게 추출되고, 상기 음의 기준 끝점은 상기 음의 기준 시작점에 상기 미디 데이터의 듀레이션(Duration)을 적용한 시점에 상응하게 추출되는 것을 특징으로 하는 노래 분석 장치.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 청구항 12에 있어서,
    상기 평가 메시지는
    상기 평가 스코어를 고려하여 긍정적 메시지와 부정적 메시지 중 어느 하나에 상응하게 제공되는 것을 특징으로 하는 노래 분석 장치.
  20. 청구항 11에 있어서,
    상기 종합 평가 정보는
    적어도 하나의 그래프를 기반으로 제공되는 것을 특징으로 하는 노래 분석 장치.
KR1020180022799A 2018-02-26 2018-02-26 노래 분석 방법 및 이를 위한 장치 KR102077269B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180022799A KR102077269B1 (ko) 2018-02-26 2018-02-26 노래 분석 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180022799A KR102077269B1 (ko) 2018-02-26 2018-02-26 노래 분석 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20190102434A KR20190102434A (ko) 2019-09-04
KR102077269B1 true KR102077269B1 (ko) 2020-02-13

Family

ID=67950732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180022799A KR102077269B1 (ko) 2018-02-26 2018-02-26 노래 분석 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR102077269B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870818B (zh) * 2021-09-14 2025-01-10 杭州网易云音乐科技有限公司 歌曲和弦编配模型的训练方法、装置、介质和计算设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612927B1 (ko) * 2004-10-01 2006-08-14 김성규 음정의 정확도 검출 기능을 가지는 노래 연습기 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060112633A (ko) * 2005-04-28 2006-11-01 (주)나요미디어 노래 평가 시스템 및 방법
KR101571746B1 (ko) * 2014-04-03 2015-11-25 (주) 엠티콤 유사도판별장치 및 그 동작 방법
KR101794698B1 (ko) 2016-05-27 2017-11-07 주식회사 금영그룹 마이크별 채점이 가능한 노래반주기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612927B1 (ko) * 2004-10-01 2006-08-14 김성규 음정의 정확도 검출 기능을 가지는 노래 연습기 및 그 방법

Also Published As

Publication number Publication date
KR20190102434A (ko) 2019-09-04

Similar Documents

Publication Publication Date Title
Yamada et al. A rhythm practice support system with annotation-free real-time onset detection
CN104170006A (zh) 演奏评价装置、卡拉ok装置及服务器装置
JP6060867B2 (ja) 情報処理装置，データ生成方法，及びプログラム
JP6288197B2 (ja) 評価装置及びプログラム
CN105895079B (zh) 语音数据的处理方法和装置
KR102077269B1 (ko) 노래 분석 방법 및 이를 위한 장치
JP5346114B1 (ja) 音楽表現力の教育装置及び方法並びに音楽演奏評価装置
Srinivasamurthy et al. Transcription and Recognition of Syllable based Percussion Patterns: The Case of Beijing Opera.
JP6102076B2 (ja) 評価装置
CN108346418A (zh) 一种歌曲生成的方法、系统及终端
JP6252420B2 (ja) 音声合成装置、及び音声合成システム
JP4171680B2 (ja) 音楽再生装置の情報設定装置、情報設定方法、及び情報設定プログラム
JP3961544B2 (ja) ゲームの制御方法およびゲーム装置
CN111276113B (zh) 基于音频生成按键时间数据的方法和装置
JP4219652B2 (ja) リピート演奏時に直前に計測したピッチ誤差に基づいて該当箇所の主旋律音量を制御するカラオケ装置の歌唱練習支援システム
JP4395493B2 (ja) カラオケ装置
JP2019101148A (ja) 通信カラオケシステム
JP4501874B2 (ja) 楽曲練習装置
JP6954780B2 (ja) カラオケ装置
JP2007233078A (ja) 評価装置、制御方法及びプログラム
JP6144593B2 (ja) 歌唱採点システム
JP6365483B2 (ja) カラオケ装置，カラオケシステム，及びプログラム
JP6144592B2 (ja) 歌唱採点システム
JP2015161888A (ja) 歌唱対戦カラオケシステム
KR102650841B1 (ko) 비대면 음악 교육 방법 및 이를 수행하는 비대면 음악 교육 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180226

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190719

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200120

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200207

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20231118