KR20230102973A - 노래 점수를 산출하기 위한 방법, 및 장치 - Google Patents

노래 점수를 산출하기 위한 방법, 및 장치 Download PDF

Info

Publication number
KR20230102973A
KR20230102973A KR1020210193482A KR20210193482A KR20230102973A KR 20230102973 A KR20230102973 A KR 20230102973A KR 1020210193482 A KR1020210193482 A KR 1020210193482A KR 20210193482 A KR20210193482 A KR 20210193482A KR 20230102973 A KR20230102973 A KR 20230102973A
Authority
KR
South Korea
Prior art keywords
energy
score
pitch
sound source
correlation
Prior art date
Application number
KR1020210193482A
Other languages
English (en)
Inventor
견두헌
Original Assignee
견두헌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 견두헌 filed Critical 견두헌
Priority to KR1020210193482A priority Critical patent/KR20230102973A/ko
Publication of KR20230102973A publication Critical patent/KR20230102973A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 발명은 장치에 의해서 노래 점수를 측정하는 방법, 및 장치에 관한 것으로, 보다 구체적으로, 상기 방법, 및 장치는 원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하고, 마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득할 수 있다. 이후, 상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하고, 도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출할 수 있다.

Description

노래 점수를 산출하기 위한 방법, 및 장치{Methods and Apparatus for calculating song scores}
본 발명은 사용자의 노래 점수를 산출하기 위한 방법 및 장치로서, 더욱 상세하게는 노래방에서 사용자의 노래에 대한 점수를 미디어 데이터가 아닌 원곡에 기초하여 다양한 타입의 점수를 종합하여 산출하기 위한 방법 및 장치에 관한 것이다.
일반적으로, 노래방은 노래를 통해 가족, 친구, 회사 동료 등과의 친목을 다지거나 스트레스를 풀기 위한 곳으로, 사용자로부터 특정 번호가 선택되면 특정 번호에 저장된 노래의 반주를 제공하도록 구성된다.
이러한 노래방은 사용자가 노래의 반주에 따라 마이크를 통해서 노래를 부르면 이에 대한 점수를 화면에 출력하게 된다.
하지만, 기존 노래방의 점수 측정 방식은 박자 요소만 반영하여, 템포에 맞게 목소리를 크게 하여 부르면 고득점이 나오는 구조이기 때문에 점수 결과가 의미가 퇴색되며 점수에 대한 사용자들의 기대 및 흥미를 도출하기 어렵다.
최근에는 퍼펙트 스코어 모드 등을 통해서, 이전보다 유의미한 노래방 점수 산출 방식이 보급되고 있어, 템포 요소에 음정과 바이브레이션, 내리기/올리기 등의 요소를 점수 산출에 반영되고 있다.
하지만 이 방법은 가창한 음원의 비교대상이 미디로 제작된 음정 데이터에만 의존하므로, 미디 악보로 표현한 것 이외의 디테일한 음정 변화가 점수가 반영되지 않는다. 특히 보컬의 발성 에너지 특성을 점수로 산출하는 방법은 현재 없다. 즉 디테일한 음정 변화와 에너지 변화를 반영하는 방법은 현재 없다.
그리고 기계적으로 미디에 입력된 음정만을 로보트처럼 따라가야 고득점이 나오기 때문에, 원곡이 아닌 미디로 입력된 데이터를 기반으로 연습해야 더 고득점이 나오는 구조이며, 이러한 미디기반 점수 측정방식은 정확한 노래실력 측정이라는 목적에 부합하는데 근본적인 한계가 있다.
이에 따라 본 발명은 상기한 문제점을 해결하기 위해 착안된 것으로서, 더욱 상세하게는 원곡에 기초하여 노래 점수를 산출하기 위한 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은, 원곡에 기초하여 마이크로부터 획득된 사용자의 음원에 대한 다양한 타입의 점수(특히, 발성 에너지 등)를 반영하여 종합 점수를 산출하기 위한 방법 및 장치를 제공하는데 그 목적이 있다.
본 명세서에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상술한 문제점을 해결하기 위한 장치에 의해서 노래 점수를 측정하는 방법 및 장치를 제공한다. 구체적으로, 본 발명은 원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하는 단계; 마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하는 단계; 상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하는 단계; 및 도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하는 단계를 포함하되, 상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며, 상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고, 상기 박자 점수는 상기 원음에서의 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득된다.
또한, 본 발명은 메모리; 및 프로세서를 포함하되, 상기 프로세서는, 원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하고, 마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하며, 상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하고, 도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하되, 상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며, 상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고, 상기 박자 점수는 상기 원음에서의 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득되는 장치를 제공한다.
이상의 구성 및 작용에 의하면, 본 발명은 원곡에 기초하여 노래 점수를 산출하기 때문에 원곡에 기초한 점수를 산출할 수 있는 효과가 있다.
또한, 본 발명은 원곡에 기초하여 마이크로부터 획득된 사용자의 음원에 대한 다양한 타입의 점수(특히, 발성 에너지 등)를 반영하여 종합 점수를 산출하기 때문에 사용자의 노래 점수를 보다 정확하고 신뢰성 있게 산출할 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시 예에 따른 노래 점수를 측정하기 위한 장치의 구조도이다.
도 2는 본 발명의 일 실시 예에 따른 음원에서 음성 부분을 분리하기 위한 알고리즘의 일 예를 나타내는 도이다.
도 3은 본 발명의 일 실시 예에 따른 원곡에 기초하여 노래 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 원곡에 기초하여 에너지 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 원곡에 기초하여 에너지 점수를 산출하기 위한 에너지 배열 그래프의 일 예를 나타내는 도이다.
도 8은 본 발명의 일 실시 예에 따른 원곡에 기초하여 음정 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 원곡에 기초하여 박자 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 에너지 점수, 음정 점수 및 박자 점수에 기초하여 종합 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예들을 가질 수 있는 바, 이하에서는 특정 실시 예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다. 이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다. 이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다. 그러나 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형 태로 구체화될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1은 본 발명의 일 실시 예에 따른 노래 점수를 측정하기 위한 장치의 구조도이다.
도 1을 참조하면, 본 발명에 의한 노래 점수를 측정하기 위한 장치는 출력부(100), 입력부(200), 제어부(300) 및 메모리(400) 등으로 구성될 수 있다.
도 1에 도시된 구성은 일 예이며, 도 1에 도시되지 않은 구성이 추가되거나 도 1에 도시된 구성이 삭제될 수 있다.
구체적으로, 출력부(100)는 노래와 관련된 정보가 출력될 수 있다. 예를 들면, 출력부(100)는 입력부(200)를 통해 노래를 선곡하기 위해서 입력되는 정보, 노래 리스트, 검색을 위한 검색 정보, 선택된 노래의 노래 가사 및 노래가 종료된 뒤에 노래의 점수 등이 출력될 수 있다.
입력부(200)는 장치에 노래와 관련된 정보를 입력하기 위한 것으로, 리모컨, 및 마이크 등을 의미할 수 있다. 입력부(200)가 리모컨인 경우, 장치는 입력부(200)를 통해서 노래의 선곡 및 노래와 관련된 정보를 입력 받을 수 있다. 예를 들면, 리모컨을 통해서 노래를 검색하기 위한 각종 정보(예를 들면, 가수 정보, 노래 제목 정보, 인기 곡 및 월별 곡 정보 등) 및 노래를 부르기 위한 정보(예를 들면, 노래의 음정, 템포, 간주 점프, 점수 출력/미출력, 출력되는 노래의 길이 등)이 입력될 수 있다. 입력부(200)가 마이크인 경우, 장치는 입력부(200)를 통해서 사용자의 음원 정보(예를 들면, 사용자가 마이크를 통해서 노래를 부르면 보컬 음원 등)를 획득할 수 있다.
제어부(300)는 장치를 통해 노래를 출력하기 위한 기능 제어 및 연산을 수행할 수 있다.
예를 들면, 본 발명은 제어부(300)를 통해서 원곡의 음원을 이용하여 사용자의 노래 점수를 산출할 수 있다. 구체적으로, 제어부(300)는 원곡으로부터 MR(Instrumental)(또는, 배경음, 반주 음원 등)과 음성 부분(또는, 보컬 부분)을 추출하여 메모리(400)에 저장할 수 있다. 이때, 음성 부분이 분리된 음원이 존재하는 경우, 이러한 추출 과정은 생략될 수 있으며, MR과 음성 부분의 분리는 SpectraLayers 등의 프로그램 또는 도 2에 도시된 “커널 스펙트럼 모델” backfitting 등과 같은 알고리즘을 통해서 획득될 수 있다.
이후, 제어부(300)는 사용자가 해당 노래를 선곡하여 부르는 경우, 사용자가 부른 음원의 음성 부분과 메모리(400)에 저장된 원곡의 음성 부분을 비교하여 에너지 점수(또는, 성량 점수, 발성 에너지 점수 등), 음정 점수 및 박자 점수를 산출하고, 산출된 에너지 점수, 음정 점수 및 박자 점수를 합하여 종합 점수를 산출할 수 있다.
에너지 점수는 사용자의 발성 및 성량과 관련된 점수로 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 평균 에너지 배열, 또는, 제1 에너지 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제2 에너지 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다.
음정 점수는 사용자의 음정과 관련된 점수로 원곡의 음원(예를 들면, 제1 음원)으로부터 분리된 음성 부분에 기초하여 생성된 음정 배열(예를 들면, 제1 음정 배열)과 사용자의 음원(예를 들면, 제2 음원)으로부터 분리된 음성 부분에 기초하여 생성된 음정 배열(예를 들면, 제2 음정 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다. 이때, 원곡의 음정과 사용자가 선택하여 부른 음원의 음정이 다른 경우(예를 들면, 사용자가 입력부(200)를 통해서 음정을 바꾼 경우)에는 원곡의 음정 배열을 변경된 피치만큼 음정을 쉬프트 시킨다.
박자 점수는 사용자의 박자와 관련된 점수로 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제3 에너지 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제4 에너지 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다. 이때, 박자 점수는 에너지 점수와는 다른 시간 단위 및 다른 상관도 범위에 기초하여 산출될 수 있다.
제어부(300)는 산출된 에너지 점수, 음정 점수, 및 박자 점수를 합쳐서 종합 점수를 산출하여 출력부(100)를 통해서 출력할 수 있다. 이때, 종합 점수는 에너지 점수, 음정 점수 및 박자 점수 각각에 개별적인 가중치를 곱한 값을 더하여 산출될 수 있으며, 각각의 가중치를 모두 더한 값은 '1'일 수 있다.
도 2는 본 발명의 일 실시 예에 따른 음원에서 음성 부분을 분리하기 위한 알고리즘의 일 예를 나타내는 도이다.
도 2를 참조하면, 원곡의 음원 및/또는 사용자의 음원으로부터 특정 알고리즘을 통해서 MR 부분과 음성 부분을 분리하여 각각 추출할 수 있다.
구체적으로, 도 2에 도시된 바와 같은 로그 스펙트럼 진폭 추정을 적용한 배경음과 보컬음 분리커널 스펙트럼 모델 backfitting 기반의 로그 스펙트럼 진폭 추정을 적용한 배경음과 보컬음을 분리하기 위한 커널 스펙트럼 모델 backfitting은 STFT(Short Time Fourier Transform),　커널 스펙트럼 backfitting 기반의 로그 스펙트럼 진폭 추정부, ISTFT(Inverse Short Time Fourier Transform), 배경음 믹싱부, 4개의 모듈로 구성될 수 있다.
먼저, 입력된 음원(또는, 오디오 신호) s(n)은 STFT 과정을 거쳐 시간축 영역의 신호가 주파수 축 영역의 신호로 변환될 수 있다. 변환된 오디오 스펙트럼 S(f,l)은 아래 수학식 1과 같이 주기성과 하모닉한 특정을 지닌 여러 악기음과 하나의 보컬음이 혼합된 스펙트럼이며, 하나의 소스를 객체라 가정하고 주기, 하모닉, 보컬에 대한 객체로 구성될 수 있다.
[수학식 1]
Figure pat00001
수학식 1에서 j는 객체에 대한 인덱스를 의미하며, J는 전체 객체의 개수이고, f는 주파수 빈, l은 시간 인덱스를 의미한다. Oj(f,l)은 객체에 대한 스펙트럼이다.
변환된 오디오 스펙트럼은 커널 스펙트럼 backfitting 기반의 로그 스펙트럼 진폭 추정부에 입력되어 각각의 객체(주기, 하모닉, 보컬)를 추정하고 객체로부터 추정된 스펙트럼들은 ISTFT 과정을 거쳐 시간축 신호로 다시 전환된다. 이때 주기 신호와 하모닉 신호는 배경음 믹서에 입력되어 하나의 배경음 신호로 출력되며 추정된 보컬음 스펙트럼은 독립적으로 ISTFT가 수행되어 최종적으로 분리된 보컬음 신호가 출력되어 획득될 수 있다.
이와 같은 방법을 통해서 장치는 원곡의 음원 및/또는 사용자의 음원으로부터 MR 부분과 음성 부분을 분리하여 각각 추출할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 원곡에 기초하여 노래 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 3을 참조하면, 원곡의 음원을 이용하여 사용자의 노래에 대한 에너지 점수, 음정 점수 및 박자 점수를 산출하여 종합 점수를 산출할 수 있다.
구체적으로, 장치는 원곡의 음원으로부터 음성 부분과 MR(Instrumental) 부분을 분리할 수 있다(S3010). 이때, 장치는 앞에서 설명한 특정 알고리즘(예를 들면, 커널 스펙트럼 backfitting 등) 및/또는 프로그램(예를 들면, SpectraLayers 등)을 이용하여 원곡의 음원으로부터 MR 부분 및 음성 부분을 분리하여 추출할 수 있다.
이후, 장치는 사용자가 입력부인 리모컨을 이용하여 곡을 선택하고, 선택된 곡을 마이크를 통해서 부른 경우, 마이크를 통해서 획득된 사용자의 음원으로부터 원곡과 동일한 방법을 통해 사용자의 음성 부분을 획득할 수 있다(3020). 이때, 사용자의 음성 부분은 특정 알고리즘이나 특정 프로그램을 사용하지 않아도 마이크를 통해서 직접 획득될 수 있다.
이후, 원곡의 음성 부분으로부터 획득된 음성 부분과 사용자의 음원으로부터 획득된 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수가 도출될 수 있다(S3030).
에너지 부분은 앞에서 설명한 바와 같이 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제1 에너지 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제2 에너지 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다.
음정 점수는 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 음정 배열(예를 들면, 제1 음정 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 음정 배열(예를 들면, 제2 음정 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다. 이때, 원곡의 음정과 사용자가 선택하여 부른 음원의 음정이 다른 경우(예를 들면, 사용자가 입력부(200)를 통해서 음정을 바꾼 경우)에는 원곡의 음정 배열을 변경된 피치만큼 음정을 쉬프트 시킨다.
박자 점수는 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제3 에너지 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제4 에너지 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다. 이때, 박자 점수는 에너지 점수와는 다른 시간 단위 및 다른 상관도 범위에 기초하여 산출될 수 있다.
이후, 장치는 산출된 에너지 점수, 음정 점수, 및 박자 점수를 합쳐서 종합 점수를 산출할 수 있다(S3040). 이때, 종합 점수는 에너지 점수, 음정 점수 및 박자 점수 각각에 개별적인 가중치를 곱한 값을 더하여 산출될 수 있으며, 각각의 가중치를 모두 더한 값은 '1'일 수 있다.
이와 같은 방법을 통해서 장치는 원곡의 음원과 사용자의 음원을 각각 다양한 방법으로 비교하여 점수를 정확히 산출할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 원곡에 기초하여 에너지 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 4를 참조하면, 장치는 원곡의 음원과 사용자의 음원을 비교하여 사용자의 발성 또는 성량과 관련된 점수인 에너지 점수를 획득할 수 있다.
구체적으로, 원곡의 음원으로부터 분리된 음성 부분으로부터 일정 시간 단위로 에너지 배열(예를 들면, 제1 에너지 배열)이 생성될 수 있다(S4010). 이때, 에너지 배열을 생성하기 위한 샘플 에너지 해상도의 기준은 16비트이며, 진폭 단위는 1일 수 있다(샘플 당 최대 값은 215인 32768일 수 있다).
이후, 장치의 마이크로부터 획득되어 녹음된 사용자의 음원의 음성 부분으로부터 동일한 방법을 통해서 일정 시간 단위의 에너지 배열(예를 들면, 제2 에너지 배열)이 생성될 수 있다(S4020).
예를 들면, 마이크나 원곡의 음성 부분은 시간축 상으로 연속된 파형으로 획득되기 때문에, 이를 일정한 시간 간격(시간 블록 간격)으로 분류하여 일정한 시간간격에 따른 에너지 레벨로 변경하여 에너지 배열이 생성될 수 있다.
이때, 원곡의 음원으로부터 분리된 음성 정보로부터 생성된 에너지 배열과 마이크로부터 획득되어 녹음된 사용자의 음원의 음성 부분으로부터 생성된 에너지 배열은 시작점부터 끝까지 1대1로 매칭될 수 있으며, 일정 시간 간격은 0.1초일 수 있다.
원곡의 음원으로부터 추출되어 획득된 음성 부분은 대부분 컴프레서와 리미터를 이용하여 기준 점 이상의 파형은 압축될 수 있다. 하지만, 장치의 입력부를 통해서 획득되어 녹음된 음성 부분은 압축되어 저장되지 않기 때문에 측정된 최대 에너지를 기준으로 일정 범위(예를 들면, -30% 영역까지)의 영역까지는 해당 에너지의 70% 값으로 감소시켜 원곡의 에너지와 그대로 비교하는 경우 발생할 수 있는 과다한 에너지 차이를 완화시킬 수 있다. 즉, 마이크를 통해 획득된 사용자의 음성 부분으로부터 측정된 에너지의 최대 에너지로부터 -30% 영역까지는 측정된 에너지의 70% 값으로 감소시켜 에너지 배열을 생성할 수 있다.
이러한 과정은 장치의 입력부(예를 들면, 마이크 시스템)나 A/D 변환 후 컴프레서가 적용된 경우 생략될 수 있다.
또한, 원곡과 장치인 노래방 장치의 마이크를 통해서 획득되어 녹음된 음원은 에너지 기준 값이 다를 수 있기 때문에, 전체 평균 에너지를 기준으로 하는 +,- 배열로 기준이 변경될 수 있다. 즉, 사용자의 음원으로부터 획득된 음성 부분의 에너지 배열은 전체 영역의 평균 에너지를 기준으로 평균보다 높은지 낮은지에 따라 + 또는 -의 값으로 변경될 수 있다.
이후, 에너지 배열의 배열 단위가 정수에서 데시벨(dB)로 전환된다. 16비트 음원에 샘플 최소 진폭 단위가 '1'인 경우, 샘플 당 최대 에너지는 90.31dB이 될 수 있다.
이후, 장치는 원곡의 음원으로부터 생성된 에너지 배열인 제1 에너지 배열과 마이크를 통해 획득된 사용자의 음원으로부터 생성된 에너지 배열인 제2 에너지 배열을 비교하여 상관도를 도출할 수 있다(S4030). 이때 상관도는 코릴레이션을 이용하여 측정될 수 있다.
원곡에서 가사가 없는 부분의 배열 데이터는 코릴레이션 대상(점수 측정 대상)에서 제외될 수 있다.
장치는 도출된 상관도에 따라 에너지 점수를 산출할 수 있다(S4040).
구체적으로, 상관도에 따라 0 부터 100까지의 점수가 산출될 수 있다. 이때, 상관도의 최소 값은 '0'의 값에 대응되고, 상관도의 최대 값은 '100'의 값에 대응됨으로써 상관도에 따른 점수가 산출될 수 있다. 예를 들면, 상관도의 최소 값은 '0'일 수 있으며, 최대 값은 '0.8'일 수 있다.
상관도의 최대 값이 '1'(원곡과 완전히 일치)가 아닌 '0.8'이 '100'의 값에 대응되는 이유는 원곡과 노래방의 마이크는 기본적인 음향 특성이 다를 수 있어서 완전히 같을 수가 없기 때문에 노래실력을 판단하기 위한 점수를 산출할 때, 에너지 변화는 음정변화보다 상대적으로 자유도가 높기 때문이다. 이때, 상관도의 최대 값은 노래방 기기인 장치의 설정을 통해서 사용자가 변경시킬 수 있다.
아래 수학식 2는 상관도를 도출하기 위한 코릴레이션의 일 예이다.
[수학식 2]
Figure pat00002
수학식 2에서 f는 원곡의 음원에서 분리되어 추출된 음성 부분에 대한 보컬의 피치(음정)이고, g는 노래방 기기인 장치의 마이크를 통해서 획득되어 녹음된 음원의 음성 부분에 대한 피치(음정)이다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 원곡에 기초하여 에너지 점수를 산출하기 위한 에너지 배열 그래프의 일 예를 나타내는 도이다.
도 5 내지 도 7을 참조하면, 연속적인 에너지 분포도는 빈도수에 따라 에너지 분포도를 통해서 도시될 수 있다.
도 5 내지 도 7에 도시된 바와 같이 에너지 분포도는 에너지 변동 포락선의 결과를 토대로 분포를 정규화 하여 각각의 빈도수를 나타낸다. 에너지 분포도에 대한 분석은 결국 진폭통계를 포함하는 것이며, 사람이 실제로 느끼는 음량을 예측하는데 중요한 가중치로 활용된다.
에너지 분포도의 에너지 빈도수는 음량에 개별적인 영향을 미치며, 분포의 전체 형태에 따라서 음량에 미치는 영향이 다르다. 사람이 음량을 인지하는 감각은 에너지에 대한 로그 스케일이므로, 일반적으로 dB단위로 표현될 수 있다. 하지만 연속적으로 변화하는 개별 에너지의 분포일 경우, 각각의 개별 에너지가 클수록 인지음량에 미치는 영향력은 일반적인 에너지 합산보다 추가로 가산될 수 있다. 이때, 제안된 인지가중에너지 λ e 는 아래의 수학식 3에 의해서 획득될 수 있다. 분모의 상수는 수치를 다루기 용이한 단위로 바꾸는 역할을 하며, 소수점 이하는 반올림될 수 있다. 즉, 기존의 에너지 분포도의 빈도를 인지가중 에너지로 대처한 것이 인지가중 에너지 분포 도이다. λ E 는 전체 인지가중에너지의 합산으로 가중치 정규화 식에 사용된다.
[수학식 3]
Figure pat00003
수학식 3에서 dB E 는 가중된 에너지(Weighted Energy)이며, N은 dB의 전체 개수이다.
에너지 변동 포락선은 앞에서 설명한 에너지 변동 계수를 직관적으로 나타낸다. 에너지 변동 포락선의 변화가 크다는 것은 청각의 자극하는 에너지의 움직임이 역동적이라는 뜻이다. 변동 계수가 작은 가장 전형적인 음원은 백색잡음과 핑크잡음이 있으며, 이런 음원은 청각을 일정한 에너지로 집중적으로 자극 하므로 인지음량도 크게 상승한다. 인지가중 에너지 분포도는 에너지 빈도에 추가적인 가중치가 부여하여, 에너지 합산 시 실제 인지하는 음량을 유사하게 추정한다.
본 발명의 또 다른 실시 예는 도 5 내지 도 7에서 설명한 방법을 통해 각각의 음원(원곡의 음원 및 사용자의 음원)의 에너지 배열(또는 에너지 변동 포락선)을 인지 가중 에너지에 대한 전체 인지 가중 에너지(또는 전체 인지 가중 에너지 배열)로 변환하여 비교함으로써 에너지 점수를 산출할 수 있다.
즉, 원곡의 음원에 대한 에너지 배열을 도 5 내지 도 7에서 설명한 방법을 통해서 인지 가중 에너지들에 대한 배열로 변경하고, 사용자의 음원에 대한 에너지 배열도 동일한 방법을 통해 인지 가중 에너지로 변경하여 비교함으로써, 앞에서 설명한 에너지 점수를 산출할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 원곡에 기초하여 음정 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 8을 참조하면, 장치는 원곡의 음원과 사용자의 음원을 비교하여 사용자의 음정과 관련된 음정 점수를 획득할 수 있다.
구체적으로, 장치는 원곡의 음원으로부터 획득된 음성 부분으로부터 음정 배열(예를 들면, 평균 음정 배열, 또는 제1 음정 배열)을 생성한다(S8010).
예를 들면, 장치는 원곡의 음원으로부터 분리되어 획득된 음성 부분에서 일정 시간 단위로 피치(음정)을 추출하여 음정 배열을 생성할 수 있다. 이때, 일정 시간 단위는 0.1초일 수 있다.
이때, 피치(음정)은 ACF(Auto Correlation Function) 등과 같은 방법을 통해서 검출될 수 있으며, Average Magnitude Difference Function (AMDF)를 비롯한 모든 파형영역에서의 피치 검출 알고리즘은 ACF에서 파생 및 다른 기법이 추가된 것이다. 여기서는 현재 많이 사용되는 단선율 음정 추출 알고리즘 중 하나인 YIN가 적용되어, 0.1초 단위로 음정정보가 추출될 수 있으며, 배열 정보로 저장될 수 있다. YIN 알고리즘은 6개의 스텝을 거치며, 1번째 단계에서 피치 검출의 가장 기본이 되는 알고리즘은 아래의 수학식 4를 이용하는 ACF(Auto Correlation Function) 연산이 포함될 수 있다.
[수학식 4]
Figure pat00004
ACF는 아래와 같은 방법을 통해서 수행될 수 있다.
① 음성 부분인 음성 데이터를 normalize,
② normalize된 데이터를 여러 개의 프레임으로 나눈 뒤 각각의 프레임의 유성음, 무성음 판별을 위한 프레임 크기를 설정
③ Autocorrelation을 계산하여 그래프를 그림
④ Successive한 peak들을 통해 피치 값을 찾음.
이후, 장치는 마이크를 통해 획득되어 녹음된 사용자의 음원으로부터 획득된 음성 부분으로부터 음정 배열(예를 들면, 제2 음정 배열)을 생성할 수 있다(S8020).
이때, 음정 배열은 단계 S8010에서 설명한 제1 음정 배열과 동일한 시간 단위 및 방법을 통해서 획득될 수 있으며, 시작점부터 끝점까지 1대1로 매칭될 수 있다.
만약, 사용자가 선택된 노래의 음정을 변경(예를 들면, 남자에서 여자로, 동일 성별의 다른 음정으로 등)한 경우, 변경된 피치만큼 음정을 쉬프트 시켜서 배열에 저장된 음정 값을 변경시킬 수 있다.
이후, 원곡의 음원에 대한 음정 배열인 제1 음정 배열과 마이크를 통해서 획득된 사용자의 음원에 대한 음정 배열인 제2 음정 배열을 비교하여 상관도를 도출할 수 있다(S8030). 이때, 상관도는 도 4에서 설명한 것과 같이 코릴레이션을 이용하여 측정될 수 있다.
장치는 도출된 상관도에 따라 에너지 점수를 산출할 수 있다(S8040).
구체적으로, 상관도에 따라 0 부터 100까지의 점수가 산출될 수 있다. 이때, 상관도의 최소 값은 '0'의 값에 대응되고, 상관도의 최대 값은 '100'의 값에 대응됨으로써 상관도에 따른 점수가 산출될 수 있다. 예를 들면, 상관도의 최소 값은 '0'일 수 있으며, 최대 값은 '0.9'일 수 있다.
상관도의 최대 값이 '1'(원곡과 완전히 일치)가 아닌 '0.9'가 '100'의 값에 대응될 수 있다. 이때, 에너지 점수와는 다르게 상관도의 최대 값이 '0.9'인 이유는 노래 실력에 있어서 음정은 에너지 변화 특정 구현보다 엄격하므로 음정 점수의 만점 기준은 에너지 점수의 만점 기준인 0.8보다 0.1점이 높은 값으로 기본 값이 설정될 수 있다.
이때, 상관도의 최대 값은 에너지 점수와 유사하게 노래방 기기인 장치의 설정을 통해서 사용자가 변경시킬 수 있다.
원곡의 음원에 대한 사용자의 음원의 피치 검출 결과가 사람이 음정으로 표현할 수 있는 최저음(예를 들면, 2옥타브 3도(65Hz))과 최고음(예를 들면, 6옥타브 솔(1568Hz)) 사이의 영역을 넘을 경우(및/또는 사람이 인지할 수 있는 최저음과 최고음 사이의 영역을 넘을 경우), 최저음과 최고음 사이의 범위를 넘어서는(예를 들면, 최저음보다 낮거나, 최고음보다 높은 경우) 피치는 정상적인 음정이 아닌 무성음이라 치찰음 등의 영향일 가능성이 크기 때문에 점수 측정 구간에서 제외될 수 있다.
또한, 원곡에서 가사가 없는 부분의 데이터는 코릴레이션 대상에서 일괄적으로 제외될 수 있다.
도 9는 본 발명의 일 실시 예에 따른 원곡에 기초하여 박자 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 9를 참조하면, 장치는 원곡의 음원과 사용자의 음원을 비교하여 사용자의 박자와 관련된 점수인 박자 점수를 획득할 수 있다.
구체적으로, 에너지 점수 측정 방법 및 음정 점수 측정 과정에는 박자의 요소들도 어느정도 포함될 수 있다. 하지만 0.1초 단위로 모든 시간대를 동등하게 비교하는 것은 너무 미시적이고 다른 요소들에 종속된 상태이기 때문에, 기본박자 및 전반적인 비트의 중요성과는 구별할 수 없다. 따라서 이러한 기본 박자 및 비트 요소가 점수에 강하게 반영될 필요가 있다.
먼저, 장치는 도 4에서 설명한 방법을 통해 박자 정보를 산출하기 위한 에너지 배열(예를 들면, 제3 에너지 배열)을 생성할 수 있다(S9010). 이때, 제3 에너지 배열은 제1 에너지 배열과는 다르게 더 긴 시간 단위(예를 들면, 0.5초)에 기초하여 생성될 수 있다.
이후, 장치는 마이크로부터 획득되어 녹음된 사용자의 음원의 음성 부분으로부터 동일한 방법을 통해서 일정 시간 단위의 에너지 배열(예를 들면, 제4 에너지 배열)이 생성할 수 있다(S8020). 이때, 제4 에너지 배열은 제2 에너지 배열과는 다르게 더 긴 시간 단위(예를 들면, 0.5초)에 기초하여 생성될 수 있다.
이후, 장치는 원곡의 음원으로부터 생성된 에너지 배열인 제3 에너지 배열과 마이크를 통해 획득된 사용자의 음원으로부터 생성된 에너지 배열인 제4 에너지 배열을 비교하여 도 4에서 설명한 것과 유사한 방법을 통해 상관도를 도출할 수 있다(S9030). 이때 상관도는 코릴레이션을 이용하여 측정될 수 있다.
또한, 장치는 원곡의 음원과 사용자의 음원 간에 오차 시간을 누적하여 평균 오차 시간을 측정할 수 있다(S9040).
예를 들면, 0.5초 이상의 무음 구간 이후, 사용자의 보컬이 시작되는 시점들만 디텍팅하여 원음과의 오차 시간을 누적하여 장치는 평균 오차 시간을 측정할 수 있다. 이때, 음수/양수가 구별되지 않을 수 있으며, 음수의 오차도 모두 양수로 가정하여 평균 오차 시간이 측정될 수 있다.
이후, 장치는 도출된 상관도에서 평균 오차 시간의 일정 비율을 제한 값에 따라 박자 점수 산출할 수 있다(S9050).
예를 들면, 장치는 단계 S9030을 통해서 산출된 상관도에서 평균 오차 시간의 일정 비율을 뺄 수 있다. 이후, 평균 오차 시간의 일정 비율이 감소된 상관도에 따라 0 부터 100까지의 점수가 산출될 수 있다. 이때, 상관도의 최소 값은 '0'의 값에 대응되고, 상관도의 최대 값은 '100'의 값에 대응됨으로써 상관도에 따른 점수가 산출될 수 있다. 예를 들면, 상관도의 최소 값은 '0'일 수 있으며, 최대 값은 '0.7'일 수 있다. 이때, 상관도의 최대 값은 노래방 기기인 장치의 설정을 통해서 사용자가 변경시킬 수 있다.
이와 같은 방법을 통해서 장치는 사용자의 노래에 대한 박자와 관련된 박자 점수를 산출할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 에너지 점수, 음정 점수 및 박자 점수에 기초하여 종합 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 10을 참조하면, 장치는 도 4 내지 도 9를 통해서 획득된 에너지 점수, 음정 점수 및 박자 점수를 더하여 종합 점수를 산출할 수 있다.
구체적으로, 장치는 도 4 내지 도 9에서 설명한 방법을 통해 산출된 에너지 점수, 음정 점수 및 박자 점수에 각각 개별적인 가중치를 곱할 수 있다(S10010). 에너지 점수, 음정 점수 및 박자 점수에 각각 곱해진 가중치들의 합은 '1'이다.
이후, 장치는 가중치를 각각 개별적으로 곱한 에너지 점수, 음정 점수 및 박자 점수를 합산하여 종합 점수 산출할 수 있다(S10020).
예를 들면, 아래의 수학식 5와 같이 음정 점수, 에너지 점수, 박자 점수를 각각 6:2:2 비율로 합산한 값이 종합점수(또는, 최종 점수)(100점 만점)일 수 있다.
[수학식 5]
Figure pat00005
수학식 5에서 각각의 가중치는 0.6, 0.2 및 0.2이며 가중치들의 합은 1이다.
또한, 사용자의 설정에 따라 음정 점수, 에너지 점수 및 박자 점수가 모두 화면에 출력될 수 있으며, 이를 통해, 사용자가 잘한 부분과 부족한 부분을 보여줌으로서 추가적인 흥미를 부여할 수 있다.
또한, 관리자 옵션을 통해서, 에너지 점수, 음정 점수 및 박자 점수에 곱해지는 가중치의 값을 조절하거나, 한가지 점수만 선택할 수 있다.
또한, 사용자가 노래를 중간에 중단하더라도 중단 전까지의 진행 결과에 기초하여 에너지 점수, 음정 점수 및 박자 점수가 산출될 수 있으며, 산출된 에너지 점수, 음정 점수 및 박자 점수에 기초하여 종합 점수가 산출될 수 있다.
즉, 중단 전까지의 사용자 음원을 원곡의 음원과 비교하여 각각의 에너지 점수, 음정 점수 및 박자 점수가 산출될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 출력부 200: 입력부
300: 제어부 400: 메모리

Claims (7)

  1. 장치에 의해서 노래 점수를 측정하는 방법에 있어서, 상기 방법은,
    원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하는 단계;
    마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하는 단계;
    상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하는 단계; 및
    도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하는 단계를 포함하되,
    상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며,
    상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고,
    상기 박자 점수는 원음에서의 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득되는 방법.
  2. 제1 항에 있어서,
    상기 종합 점수는 상기 에너지 점수에 제1 가중치를 곱한 값, 상기 음정 점수에 제2 가중치를 곱한 값 및 상기 박자 점수에 제3 가중치를 곱한 값을 모두 더하여 획득되며,
    상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치의 합은 1이고,
    상기 음정 점수는 상기 사용자의 상기 제2 음원에서 사람이 음정으로 표현할 수 있는 최저 음과 최고 음 사이에 포함되지 않는 부분 및 가사가 없는 부분은 제외되고 산출되는 방법.
  3. 제2 항에 있어서,
    상기 제1 가중치는 상기 제2 가중치 및 상기 제3 가중치보다 크며,
    상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치는 가변적인 값이고,
    상기 최저 음은 2옥타브 도인 65Hz이며,
    상기 최고 음은 6옥타브 솔인 1568Hz인 방법.
  4. 제1 항에 있어서,
    상기 에너지 점수는 상기 제1 에너지 배열과 상기 제2 에너지 배열 간의 상기 상관도를 0 부터 100까지의 점수로 환산한 점수이고,
    상기 음정 점수는 상기 제1 음정 배열과 상기 제2 음정 배열 간의 상기 상관도를 0 부터 100까지의 점수로 환산한 점수이며,
    상기 박자 점수는 상기 제3 에너지 배열과 상기 제4 에너지 배열 간의 상기 상관도에서 상기 평균 데이터의 일정 비율을 제한 값을 0 부터 100까지의 점수로 환산한 점수인 방법.
  5. 제1 항에 있어서,
    상기 제1 음정 배열 및 상기 제2 음정 배열 각각은 상기 원곡의 상기 제1 음원에서 분리된 상기 제1 음성 부분 및 상기 사용자의 상기 제2 음원에서 분리된 상기 제2 음성 부분 각각에서 일정 시간단위로 음정을 추출함으로써 생성되며,
    상기 제2 에너지 배열은 상기 제2 음성 부분의 측정된 최대 에너지를 기준으로 일정 범위 이하의 에너지는 일정 비율로 감소시킴으로써 획득되는 방법.
  6. 제1 항에 있어서,
    상기 제1 에너지 배열 및 상기 제2 에너지 배열은 아래 수학식을 통해 인지가중 에너지 배열로 변환되어 비교되는 방법.
    아래 수학식에서 λ e 는 인지가중 에너지, λ E 는 전체 인지가중 에너지, dB E 는 가중된 에너지(Weighted Energy)이며, N은 dB의 전체 개수이다.
    Figure pat00006

  7. 노래 점수를 측정하기 위한 장치에 있어서, 상기 장치는,
    메모리; 및
    프로세서를 포함하되, 상기 프로세서는,
    원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하고,
    마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하며,
    상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하고,
    도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하되,
    상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며,
    상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고,
    상기 박자 점수는 원음에서의 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득되는 장치.
KR1020210193482A 2021-12-30 2021-12-30 노래 점수를 산출하기 위한 방법, 및 장치 KR20230102973A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210193482A KR20230102973A (ko) 2021-12-30 2021-12-30 노래 점수를 산출하기 위한 방법, 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210193482A KR20230102973A (ko) 2021-12-30 2021-12-30 노래 점수를 산출하기 위한 방법, 및 장치

Publications (1)

Publication Number Publication Date
KR20230102973A true KR20230102973A (ko) 2023-07-07

Family

ID=87154250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210193482A KR20230102973A (ko) 2021-12-30 2021-12-30 노래 점수를 산출하기 위한 방법, 및 장치

Country Status (1)

Country Link
KR (1) KR20230102973A (ko)

Similar Documents

Publication Publication Date Title
Pauws Musical key extraction from audio.
US8158871B2 (en) Audio recording analysis and rating
US9852721B2 (en) Musical analysis platform
US20080115656A1 (en) Tempo detection apparatus, chord-name detection apparatus, and programs therefor
Barthet et al. From clarinet control to timbre perception
KR20070099501A (ko) 노래 학습 시스템 및 방법
US9804818B2 (en) Musical analysis platform
US20110011247A1 (en) Musical composition discrimination apparatus, musical composition discrimination method, musical composition discrimination program and recording medium
WO2004084176A1 (ja) 音響評価方法およびそのシステム
JP2008015214A (ja) 歌唱力評価方法及びカラオケ装置
Lerch Software-based extraction of objective parameters from music performances
WO2014142200A1 (ja) 音声処理装置
JP6657713B2 (ja) 音響処理装置および音響処理方法
JP6304650B2 (ja) 歌唱評価装置
JP6098422B2 (ja) 情報処理装置、及びプログラム
JP5447624B2 (ja) カラオケ装置
KR20230102973A (ko) 노래 점수를 산출하기 위한 방법, 및 장치
JP2008015388A (ja) 歌唱力評価方法及びカラオケ装置
JP3584287B2 (ja) 音響評価方法およびそのシステム
JP5618743B2 (ja) 歌唱音声評価装置
Sharma et al. Singing characterization using temporal and spectral features in indian musical notes
JP5125957B2 (ja) 音域特定システム、プログラム
Półrolniczak et al. Estimation of singing voice types based on voice parameters analysis
JP5034642B2 (ja) カラオケ装置
JP2008015212A (ja) 音程変化量抽出方法、ピッチの信頼性算出方法、ビブラート検出方法、歌唱訓練プログラム及びカラオケ装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right