KR100991464B1 - 자동 노래 채보장치 - Google Patents

자동 노래 채보장치 Download PDF

Info

Publication number
KR100991464B1
KR100991464B1 KR1020100078673A KR20100078673A KR100991464B1 KR 100991464 B1 KR100991464 B1 KR 100991464B1 KR 1020100078673 A KR1020100078673 A KR 1020100078673A KR 20100078673 A KR20100078673 A KR 20100078673A KR 100991464 B1 KR100991464 B1 KR 100991464B1
Authority
KR
South Korea
Prior art keywords
pitch
syllable
unit
sound field
recognition
Prior art date
Application number
KR1020100078673A
Other languages
English (en)
Other versions
KR20100101548A (ko
Inventor
이준환
형아영
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Priority to KR1020100078673A priority Critical patent/KR100991464B1/ko
Publication of KR20100101548A publication Critical patent/KR20100101548A/ko
Application granted granted Critical
Publication of KR100991464B1 publication Critical patent/KR100991464B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/39—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using genetic algorithms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.

Abstract

개시된 내용은 자동 노래 채보장치에 관한 것으로서, 마이크와 같은 음성신호 입력부를 통해 입력되는 음성신호로부터 음성의 높낮이를 나타내는 피치를 추출하는 피치 추출부와, 피치 추출부에서 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 음성신호의 잡음을 제거하며, 음절의 대표 피치값을 제공하는 음절 분할부와, 음절 분할부에서 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리부와, 전처리부로부터 입력되는 전처리된 음장 데이터를 각각의 음표 단위로 클러스터링하여 음장 인식을 수행하는 음장 인식부와, 음절 분할부에서 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성하고, 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 인식을 수행하는 음정 인식부와, 피치 추출부에서 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출하는 휴지기 추출부와, 휴지기 추출부에서 추출된 휴지기 정보를 통해 마디를 검출하는 마디 검출부, 그리고 음장 인식부, 음정 인식부, 마디 검출부로부터 입력되는 음장 인식 정보, 음정 인식 정보, 마디 검출 정보를 토대로 악보 데이터를 생성하는 악보 생성부로 구성된다.

Description

자동 노래 채보장치{An automatic song transcription apparatus}
본 발명은 자동 노래 채보(採譜)장치에 관한 것이다.
인류에게 있어서 노래는 오래 전부터 존재해 왔던 하나의 문화 현상이며, 개인과 사회 집단의 감정표현의 수단이자 유희의 도구였다. 노래는 음성의 범주에 속하며, 발성 기관을 통해 표현되어 언어적인 모습을 지닌다는 점에서는 일반적인 말과 비슷하지만, 음고(音高), 음량(音量), 음가(音價), 음색(音色) 등의 음악적 속성을 가지고 있으므로 일반적인 말과는 차이점이 있다. 이와 같이 사람의 노래나 악기로 연주된 음악의 음정, 박자, 가사를 인식하거나 기존의 노래 자료와 입력된 노래의 비교를 통해 곡명을 인식하는 연구인 곡조 인식(music recognition)은 음성 인지 분야 중 하나로 노래의 각 특징량을 사용하여 최종적으로 원하는 데이터의 형태로 나타내 주는 것을 말한다.
이러한 곡조 인식은 노래를 통한 시창 교육 분야 및 여가 활동을 위한 엔터테인먼트 분야에 사용 될 수 있을 뿐만 아니라 최근에 중요시되고 있는 노래의 저작권을 보호하기 위한 표절 검사의 도구로 사용 될 수도 있다. 하지만 다양한 정보 수단에 대한 컴퓨터의 성능이 발전하고 있음에도 불구하고 곡조 인식에 관한 연구는 현재까지 미미한 실정이다.
음성 처리에 있어서 곡조 인식의 한 분야인 자동 채보 시스템은 사람의 음성 및 악기로 연주된 노래로부터 음의 높이(음정(音程), interval), 길이(음장(音長), duration), 가사를 인식하여 그 결과를 악보의 형태로 나타내어 주는 것으로서, 기존의 음악에 익숙한 전문가가 직접 노래를 듣고 채보하는 방식에 비하여 시창자(始唱者)의 노래가 가진 음악적 특징을 시스템이 자동으로 인식하여 악보화할 수 있으므로 일반인도 쉽게 사용할 수 있다.
현재 알려진 종래의 자동 채보 시스템으로는 연속적인 음성신호에서 추출된 특징 정보를 각각의 음표로 인식할 수 있게 하는 분할을 위하여 음소 단위로 분절된 구간을 합쳐 음절의 경계 정보로 사용하는 방법, 피치 간격마다 발생하는 음성의 최대값을 연결하여 구한 에너지 정보를 이용하여 음절 구간(segment)을 형성하는 방법 등이 있다.
그러나, 상술한 바와 같은 종래의 자동 채보 시스템은, 음성신호의 연속적인 특성 때문에 음절 분할시 경계가 모호한 부분에서는 그 효율성이 현저히 떨어지고, 예측된 음절 경계의 한 구간마다 음정 인식을 위하여 피치 정보의 대표값을 찾아 주어야 하는 과정을 추가하여야 하며, 마디 검출이 불가능하여 노래의 인식 결과를 완전한 악보의 형태로 나타내어 줄 수 없으므로 만족할 만한 결과를 제공해 줄 수 없는 문제점을 가지고 있다.
또한, 통상적으로 사람의 노래 빠르기는 각각 다른 속도와 시간을 지니고 있으므로 개인차가 매우 크지만, 음장 인식에 있어서 종래의 방법은 일반화된 표준 데이터에 의거하여 표준 음표에 매핑(mapping)하는 방법을 사용하기 때문에 사람마다 다른 노래 입력의 빠르기에 적응하지 못하는 단점이 있다.
본 발명의 목적은 전술한 문제점을 해결할 수 있도록, 사람의 노랫소리 등의 음성신호로부터 음장과 음정을 자동으로 인식하고, 마디를 자동으로 검출하여 최종적으로 악보 데이터를 생성하도록 하는 자동 노래 채보장치를 제공하는 데 있다.
본 발명의 다른 목적은, 사람의 노랫소리를 음성신호로 변환한 후 효율적인 피치 추출과 음절 분할을 토대로 사람마다 다른 노래의 빠르기에 무관한 음장 인식 및 상대 음정에 의거한 음정 인식을 수행하며, 음성신호의 휴지기 정보를 이용하여 마디를 검출함으로써, 정확한 악보 데이터를 생성하도록 하는 자동 노래 채보를 제공하는 데 있다.
이러한 목적을 달성하기 위한 본 발명에 따른 자동 노래 채보장치는, 마이크와 같은 음성신호 입력부를 통해 입력되는 음성신호로부터 음성의 높낮이를 나타내는 피치를 추출하는 피치 추출부와, 피치 추출부에서 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 음성신호의 잡음을 제거하며, 음절의 대표 피치값을 제공하는 음절 분할부와, 음절 분할부에서 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리부와, 전처리부로부터 입력되는 전처리된 음장 데이터를 각각의 음표 단위로 클러스터링하여 음장 인식을 수행하는 음장 인식부와, 음절 분할부에서 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성하고, 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 인식을 수행하는 음정 인식부와, 피치 추출부에서 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출하는 휴지기 추출부와, 휴지기 추출부에서 추출된 휴지기 정보를 통해 마디를 검출하는 마디 검출부, 그리고 음장 인식부, 음정 인식부, 마디 검출부로부터 입력되는 음장 인식 정보, 음정 인식 정보, 마디 검출 정보를 토대로 악보 데이터를 생성하는 악보 생성부를 포함하며, 음절 분할부는, 피치 추출부에서 추출된 각각의 피치 데이터들을 독립된 영역으로 설정하여, 각 영역의 면적, 영역의 값, 분할된 영역의 수를 계산하고, 인접한 영역 두 개 이상의 값이 같아질 때까지 각 영역의 필터링이 진행될 때 스케일에 따른 변화율 값을 갱신하되, 분할된 영역의 수가 미리 설정한 분할할 영역의 수 보다 클 때까지 수행하고, 동일한 값을 가진 인접 영역들을 병합하여, 각 영역의 면적, 영역의 값, 분할된 영역의 수를 갱신하고, 반복 횟수가 초기 설정값을 만족하면 음절 분할을 종료하는 안정화된 역확산 방정식을 이용하여 음절 분할을 수행하며, 분할된 음절 데이터를 전처리부와 음정 인식부로 출력한다.
이상에서와 같이 본 발명의 자동 노래 채보장치에 따르면, 안정화된 역확산 방정식을 토대로 음절 분할을 수행하여 잡음 제거 및 효과적인 영역 분할을 수행함과 동시에 분할된 음절의 대표 피치값을 얻을 수 있고, 유전자 알고리즘을 토대로 음길이 인식을 수행하여 비슷한 발성 시간을 가진 각 음표를 클러스터링 함으로써 시창자의 발성 속도에 구애받지 않는 음길이 인식이 가능하고, 음정 인식시 종래와 같이 표준화된 데이터를 기반으로 인식하는 것과 달리 음절 분할시 얻어진 음정의 기본 정보를 상대 음정을 통해 매핑하여 시창자의 음고에 적합한 음정 인식이 가능하며, 음정과 박자 정보를 토대로 악보를 구성한 종래의 채보 방식과 달리 음성신호의 휴지기 정보를 이용하여 마디 검출을 수행하므로 노래를 채보할 때 마디 정보를 통한 정확한 악보 생성이 가능한 효과가 있다.
또한, 휴대전화 등의 개인통신 단말기에 적용하여 음성을 통한 자동 작곡 시스템과 같은 응용이 가능하며, 더 나아가 사용자의 음성 특징량을 분석한 감성 검색 시스템으로의 적용이 가능한 효과가 있다.
도 1은 본 발명에 따른 자동 노래 채보장치의 구성을 개략적으로 나타낸 블록도,
도 2는 입력된 음성신호에 자기상관함수를 적용하여 피치를 추출한 예를 나타낸 도면,
도 3은 안정화된 역확산 방정식을 사용하여 음절 분할을 수행한 결과의 예를 나타낸 도면,
도 4는 본 발명의 전처리 과정의 지속시간, 휴지기 및 IOI의 개념을 설명하기 위한 도면,
도 5는 IOI로 변형된 음절 길이 정보의 예를 나타낸 도면,
도 6은 음정 결정시 사용하는 12 음계를 나타낸 도면,
도 7은 평균율 음계를 나타낸 도면,
도 8은 음정 인식에 사용되는 상대 음정 주파수 표의 일 예를 나타낸 도면,
도 9는 기준마디를 이용하여 찾은 예측마디의 예를 나타낸 도면,
도 10은 본 발명에 따른 자동 노래 채보장치의 일 실시예의 동작과정을 나타낸 순서도,
도 11 내지 도 14는 도 10의 각 서브루틴의 동작과정을 보다 상세하게 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 자동 노래 채보장치를 상세하게 설명한다.
도 1은 본 발명에 따른 자동 노래 채보장치의 구성을 개략적으로 나타낸 블록도이다.
도시된 바와 같이 사람의 노랫소리로부터 악보 데이터를 자동으로 생성하는 자동 노래 채보장치는, 음성신호 입력부(10), 피치 추출부(20), 음절 분할부(30), 전처리부(40), 음장 인식부(50), 음정 인식부(60), 휴지기 추출부(70), 마디 검출부(80), 악보 생성부(90) 등으로 구성된다.
음성신호 입력부(10)는 마이크 등으로 구성되며, 외부로부터 입력되는 아날로그 음성신호를 디지털 음성신호로 변환한 후, 디지털로 변환한 음성신호를 피치 추출부(20)로 출력한다.
피치 추출부(20)는 음성신호 입력부(10)를 통해 입력되는 음성신호의 특징 값을 추출하기 위한 부분으로서, 음성신호의 높낮이를 나타내는 피치를 추출하고, 추출된 피치 데이터를 음절 분할부(30)와 휴지기 추출부(70)로 출력한다.
피치를 추출하기 위해서 일반적인 주기적인 신호에서 주기성을 검출하기 위하여 사용되는 자기상관함수(Autocorrelation function)를 사용하며, 자기상관함수는 어떤 시간에서의 신호값과 다른 시간에서의 신호값과의 상관성을 나타내는 것으로 연산결과로 나오는 신호는 신호의 주기적인 부분을 강조해 주어 피치를 측정할 수 있게 해 준다.
자기상관함수는 다음의 수학식 1로 정의된다.
Figure 112010052409500-pat00001
따라서 자기상관계수는 어느 한 시점 n에서 표본 x(n)의 값과 그로부터 d만큼 떨어져 있는 표본의 값을 서로 곱한 것을 모든 n에 대하여 합한 것이라고 볼 수 있다.
도 2는 입력된 음성신호에 수학식 1의 자기상관함수를 적용하여 피치를 추출한 예를 나타낸 도면으로서, 검출된 피치는 본 발명의 자동 노래 채보장치의 기본 정보가 되며, 이를 통해 음절 분할, 음장 인식, 음정 인식, 마디 검출 등의 일련의 단계가 수행된다.
음절(syllable) 분할부(30)는 피치 추출부(20)에서 추출된 피치 데이터를 기반으로 연속된 음성신호의 잡음을 제거함과 동시에 음절( 음절은 각각 하나의 음표를 나타내므로 음표의 음장, 음정을 인식하는 기본 단위임 ) 단위로 분할하고, 음절의 대표 피치값을 확인하도록 하며, 분할된 음절 데이터를 전처리부(40), 음정 인식부(60)로 출력한다.
이때 음절 분할부(30)는 피치 추출부(20)를 통해 추출된 피치 데이터를 음정 및 음표의 음장 인식이 가능한 단위로 분리하기 위하여 안정화된 역확산 방정식(Stabilized Inverse Diffusion Equation)을 사용한다.
안정화된 역확산 방정식은 일반적으로 영상처리 분야에서 객체 분할에 사용되는 알고리즘으로서, 잡음에 매우 강인하며 안정된 분할 결과를 나타내므로 본 발명에서 음성신호의 잡음 제거 및 연속된 신호를 음절 단위로 분할하기 위해 사용한다.
음절을 분할하기 위하여 안정화된 역확산 방정식에서 사용하는 F함수는 다음의 수학식 2로 정의할 수 있다.
Figure 112010052409500-pat00002
본 발명에서는 수학식 2를 만족하는 다음의 수학식 3을 F함수로 사용한다.
Figure 112010052409500-pat00003
안정화된 역확산 방정식을 기반으로 한 다중 스케일 필터링 방법은 영역 분할을 목적으로 하며 다음의 수학식 4와 같이 영역 값의 변화를 구하는 수학식이 사용된다.
Figure 112010052409500-pat00004
안정화된 역확산 방정식에 기반을 둔 음절 분할은 다음과 같은 과정들을 순차적으로 수행한다. 초기 조건인 알고리즘의 반복 횟수(I)는 임의로 설정할 수 있다. 다만, 반복 횟수(I)는 여러 번에 걸친 실험을 통하여 최적화된 값으로 설정하는 것이 바람직하며, 실험은 순차적으로 반복 횟수(I)의 값을 증가시키면서 각 반복 횟수(I)에 따른 음절 분할의 결과를 사람이 직접 듣고 가장 자연스러운 것을 선택하는 관능시험 방법을 적용할 수 있다.
1단계 - 피치 추출부(20)에서 추출된 각각의 피치 데이터들을 독립된 영역으로 설정한다. 이때, 각 영역의 면적(mi), 영역의 값(ui), 분할된 영역의 수(N)를 계산한다.
2단계 - 인접한 영역 두 개 이상의 값이 같아질 때까지 각 영역의 필터링이 진행될 때 스케일에 따른 변화율 값을 수학식 4를 통해 갱신한다.
3단계 - 동일한 값을 가진 인접 영역들을 병합한다. 이때, 각 영역의 면적(mi), 영역의 값(ui), 분할된 영역의 수(N)를 갱신한다.
4단계 - 2단계 이후를 수행한다. 이때 반복 횟수(I)가 초기 설정값을 만족하면 알고리즘을 종료한다.
분할된 결과를 통해 안정화된 역확산 방정식에 기반을 둔 영역 분할을 수행할 때 F함수에서 사용되는 σ에 따라 그 수행 결과에 차이가 있는 것을 확인할 수 있다. 수학식 3과 수학식 4에서 알 수 있듯이 σ값이 클 경우 반복횟수 감소, 잡음제거, 에지 손실 등의 특징이 있는 반면, σ값이 작으면 반복횟수 증가, 잡음보존, 에지 보존 등의 특징을 지닌다. 따라서 효율적인 음절 분할을 위하여 초기에 σ값을 크게 해서 잡음을 제거함과 동시에 수렴속도를 개선하고 분할이 진행될수록 σ값을 작게 해서 그 성능을 높일 수 있는 방법을 적용한다.
도 3은 도 2의 피치 데이터를 토대로 본 발명의 안정화된 역확산 방정식을 사용하여 음절 분할을 수행한 결과의 예를 나타낸 도면으로서, 음성신호에서 모호한 음절 경계를 효과적으로 분할하고 병합하였으며, 음정의 잡음을 제거함과 동시에 음정 인식에 필요한 음정의 대표값을 찾아낼 수 있다. 또한, 반복 횟수를 줄여 그 소요 시간을 줄이므로 그 성능을 높일 수 있으며, 분할 후에 일정 임계치에 근접하지 못한 영역은 음표로서 유효하지 못하다고 보고 그 앞 음절에 포함하여 처리함을 알 수 있다.
전처리부(40)는 음표의 음장( 음정과 함께 나타내어 한 마디 안에서 일정한 규칙에 따라 표현되며 곡조 인식에 있어서 핵심적인 정보임 )을 인식하기 위하여 음절 분할부(30)에서 분할된 음절을 인식을 위한 기본 단위로 변환하여 음장 인식부(50)로 출력한다.
도 4는 본 발명의 전처리 과정의 지속시간, 휴지기 및 IOI의 개념을 설명하기 위한 도면으로서, 음성신호는 음성이 발성되는 지속시간(duration)과 사람이 숨쉬거나 또는 발음상의 이유로 인해 발생되는 휴지기(pause)로 이루어져 있다. 사람이 노래를 할 경우에도 음성의 단절이 발생되며, 이때 발성 지속시간과 휴지기를 합한 것을 IOI(Inter Onset Interval)로 정의할 수 있다. 여기서 발성 지속시간의 시작시간과 휴지기의 종료시간은 각 음표의 시작시간과 다음 음표의 시작시간의 차를 의미한다. 본 발명의 음장 인식에서는 기존의 지속시간 데이터보다 IOI로 변형된 데이터를 사용한 경우가 좋은 성능을 얻을 수 있으므로 음절 데이터를 IOI로 변환하는 전처리 과정을 거쳐 사용한다. 도 5는 도 3의 음절 분할 데이터를 토대로 IOI로 변형된 음절 길이 정보의 예를 나타낸 도면이다.
음장 인식부(50)는 유전자 알고리즘(Genetic Algorithm)을 사용하여, 전처리부(40)로부터 입력되는 전처리된 음장 데이터를 각각의 음표 단위로 클러스터링하여 음장 인식을 수행하고, 음장 인식 정보를 악보 생성부(90)로 출력한다.
유전자 알고리즘은 탐색과 해의 가능 영역들을 균형있게 이용하는 일반성 있는 부류의 탐색방법으로서, 기존의 다른 탐색방법들은 탐색 공간에서 최적값을 찾기 전에 지역 극소(local minimum)에 빠질 위험이 있지만, 유전자 알고리즘은 해가 될 가능성이 있는 개체 집단을 유지하면서 그들 모두가 동시에 최적값을 찾아나가기 때문에 지역 극소에 빠질 위험을 해결할 수 있다는 점에서 본 발명에 적용하게 되었다.
음장 인식부(50)에서 수행되는 유전자 알고리즘을 이용한 클러스터링의 절차는 다음과 같다.
1단계 - 추출된 음절 데이터를 기반으로 염색체를 구성하고 모집단을 초기화한다.
2단계 - 초기 클러스터의 센터값을 바탕으로 각 객체
Figure 112010052409500-pat00005
와 클러스터 센터간의 거리(dmin)를 최소화하는 클러스터링을 수행한다. 거리를 최소화하는 수학식은 다음의 수학식 5와 같다.
Figure 112010052409500-pat00006
3단계 - 2단계 결과의 적합도를 평가하기 위하여 클러스터 간의 거리인 Dinter와 클러스터 내부 거리인 Dintra를 다음의 수학식 6, 7을 사용하여 정의한다.
Figure 112010052409500-pat00007
Figure 112010052409500-pat00008
이때,
Figure 112010052409500-pat00009
이고,
Figure 112010052409500-pat00010
이다.
Figure 112010052409500-pat00011
는 현재 클러스터와 그 센터,
Figure 112010052409500-pat00012
는 나머지 클러스터와 각각의 센터를 말하며, 적합도 함수는 다음의 수학식 8로 정의한다.
Figure 112010052409500-pat00013
4단계 - 3단계에서 계산된 적합도 함수의 결과는 다음과 같은 일련의 단계들을 수행한다. 룰렛 휠(Roulette wheel) 방법을 통하여 선택하고, 이 결과를 통하여 구성된 염색체를 다시 일점 교차(one point crossover)하며, 최종적으로, 주어진 돌연변이 계수를 이용하여 새로운 세대를 창출해낸다. 그리고 다시 2단계 이후의 알고리즘을 수행한다.
음정 인식부(60)는 음절 분할부(30)에서 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성하고, 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 인식을 수행하며, 음정 인식 정보를 악보 생성부(90)로 출력한다.
기존의 음정 인식 방법에서는 절대 음정을 바탕으로 표준 주파수 테이블을 이용하여 사람의 목소리를 인식하였지만, 이러한 방법은 사람의 음고 변화에 적응하지 못하는 모습을 보여준다. 따라서 본 발명의 음정 인식에서는 상대 음정(relative interval)의 개념을 사용한다. 상대 음정은 앞 음과의 상대적인 변화를 측정하여 변화 정도로 음정을 결정하는 방법으로서, 상대 음정을 통하여 앞 음보다 얼마나 변화하였는지를 측정하고, 그 변화정도를 12 음계에 적용할 수 있도록 근사한다.
상대 음정 인식을 위하여 첫 음절의 대표 피치값을 기준음으로 보고, 평균율 음계의 비율을 이용하여 각 노래에 해당하는 상대 음정 주파수 표를 재구성하게 된다. 평균율 음계는 도 6에 도시된 바와 같이 음정의 결정시 사용하는 12 음계를 바탕으로 한다.
12 음계 시스템은 인간의 청각적 한계와 밀접한 관련이 있으며, 12 음계 내에서 주파수들 간의 관계는 배수 관계로 선형 비례가 아니다. 1도 차이 음의 주파수비는 다음의 수학식 9에 의해 표현된다.
Figure 112010052409500-pat00014
그러므로 옥타브가 12개의 반음으로 되어 있고, 모든 반음이 정확하게 같은 크기로 되어 있다면 C∼C#의 음정은 C#∼D의 음정과 같다. 이때의 음정값을 a라 하고, C의 주파수를 1이라 하면 C#은 상대 주파수 a가 되고, D는 a를 또 곱한 a2이 된다.
이러한 주파수 비를 바탕으로 한 평균율 음계는 도 7에서 도시된 바와 같이 상술한 수학식 9에 의해 각 음정에 따른 총 12개로 나뉘어 표현될 수 있다.
도 7의 평균율 음계를 이용하여 음정 인식부(60)에서 수행되는 음정 인식의 절차는 다음과 같다.
우선 음절 분할부(30)에서 분할된 첫 음절을 기준음으로 보고 첫 음절의 대표 피치값을 통해 음정을 확인한 후, 확인된 음정을 도 7에 도시된 평균율 음계와 나누어 상대 음정 주파수 표의 C음을 확인한다. 그리고 확인된 C음의 주파수와 평균율 음계를 곱하여 상대 음정 주파수 표의 12 음계를 확인한 후, 이를 토대로 도 8에서 도시된 바와 같이 상대 음정 주파수 표를 재구성한다. 도 8은 첫 음이 표준 음고에서의 '솔'이며 해당 주파수가 200Hz일 때의 상대 음정 주파수 표의 예를 나타낸 도면이다. 이와 같이 재구성된 상대 음정 주파수 표를 기준으로 음절 분할부(30)에서 분할된 각 음절의 대표 피치값을 매핑하면, 음절의 음정을 인식할 수 있다. 이처럼 상대음정을 이용할 경우 각 개인마다 음역이 다름으로 인하여 발생되는 개인차를 고려하지 않아도 된다는 장점이 있다.
휴지기 추출부(70)는 피치 추출부(20)에서 추출된 피치 데이터에 적정 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출하고, 추출된 휴지기 정보를 정렬하여 마디 검출부(80)로 출력한다.
마디 검출부(80)는 휴지기 추출부(70)에서 추출된 휴지기 정보를 통해 입력된 음성신호의 마디를 검출하고, 마디 검출 정보를 악보 생성부(90)로 출력한다.
악곡에서 마디(measure)는 오선 위에 세로로 그은 세로줄(bar) 사이의 유효한 박자의 길이를 나타낸다. 음악의 시간적인 흐름을 구분하는 박자는 기본이 되는 음표의 종류와 1마디 안에 들어가는 음표의 수에 따라서 결정되므로, 마디를 검출하는 것은 보다 정확한 악보를 구성하는 데 중요하다.
마디 검출부(80)에서 수행되는 마디 검출의 절차는 다음과 같다.
우선, 휴지기 추출부(70)에서 피치 추출부(30)로부터 입력된 피치 데이터에 임계값을 적용하여 음성/비음성 구간을 판단하며, 비음성 구간을 음성의 휴지기라 하며 악보 상에서 마디의 후보 위치라 가정한다. 사람이 악보로 구성된 노래를 부를 때에는 대체로 곡의 중간 부분에 가장 긴 휴지기가 존재하게 되는데 이것을 기준마디라고 하며, 휴지기 추출부(70)로부터 입력되는 휴지기 정보 중 가장 긴 휴지기를 기준마디로 정의(N=1)한다. 그리고 한 노래에서 각 마디에는 해당 박자에 해당하는 음표들이 존재하게 되며, 이는 한 마디와 다른 마디의 발성 시간이 비슷한 대역에 분포한다는 것을 의미하므로 기준마디에 일정 배수(0.25, 0.5, 0.75…)를 곱하는 연산을 수행하여 도 9에 도시된 바와 같이 기준마디를 이용하여 예측 마디를 생성한다. 예측된 마디는 음성신호의 총 시간보다 짧을 경우에만 유효하므로 예측마디와 총 시간의 비교를 통해 마디 검출의 진행과 종료를 결정한다. 비교 결과 마디 검출의 진행시에는 예측 마디와 근접한 후보 휴지기를 검출하게 되는데, 후보 휴지기가 검출된다는 것은 N번째 마디의 검출이 완료되었다는 것을 나타내며, 이후 N=N+1 연산을 수행하여 다음 마디의 검출을 수행한다. 그리고 이와 같이 수행한 마디 검출 정보를 악보 생성부(90)로 출력한다.
악보 생성부(90)는 음장 인식부(50), 음정 인식부(60), 마디 검출부(80)로부터 입력되는 음장 인식 정보, 음정 인식 정보, 마디 검출 정보를 토대로 악보 데이터를 생성한다.
다음에는, 이와 같이 구성된 본 발명에 따른 자동 노래 채보장치의 일 실시예를 도 10 내지 도 14를 참조하여 상세하게 설명한다.
도 10 내지 도 14는 본 발명에 따른 자동 노래 채보장치의 일 실시예의 동작과정을 나타낸 순서도이다.
우선, 음성신호 입력부(10)는 외부로부터 입력되는 아날로그 음성신호(사람의 노랫소리)를 디지털 음성신호로 변환하여 피치 추출부(20)로 출력하고(S100), 피치 추출부(20)는 음성신호 입력부(10)로부터 입력된 음성신호를 상술한 수학식 1의 자기상관함수를 사용하여 음성신호의 높낮이를 나타내는 피치를 추출한 후, 피치 데이터를 음절 분할부(30)와 휴지기 추출부(70)로 출력한다(S200).
피치 추출부(20)로부터 피치 데이터를 입력받은 음절 분할부(30)는 안정화된 역확산 방정식을 기반으로 음절 단위로 분할하며, 분할된 음절 데이터를 전처리부(40), 음정 인식부(60)로 출력한다(S300). 이때 음절 분할부(30)에서 분할되는 음절 데이터는 잡음이 제거됨과 동시에 음절의 대표 피치값을 확인할 수 있는 상태가 된다.
S300 단계의 음절 분할을 도 11을 참조하여 보다 상세하게 설명하면, 음절 분할부(30)는 S100 단계에서 추출된 각각의 피치 데이터들을 독립된 영역으로 설정( 이때, 각 영역의 면적, 영역의 값, 분할된 영역의 수를 계산함 )하고(S310), 인접한 영역 두 개 이상의 값이 같아질 때까지 각 영역의 값을 상술한 수학식 4를 통해 갱신한다(S320).
그리고 동일한 값을 가진 인접 영역들을 병합( 이때, 각 영역의 면적, 영역의 값, 분할된 영역의 수를 갱신함 )하고(S330), 반복 횟수가 초기 설정값을 만족하는지를 판단한다(S340).
판단결과 반복 횟수가 초기 설정값을 만족하면, 음절 분할부(30)는 음절 분할을 종료한 후 분할된 음절 데이터를 전처리부(40)와 음정 인식부(60)로 각각 출력하고(S350), 아니면 S320 단계 이후를 반복하여 수행한다.
S300 단계의 음절 분할 이후, 전처리부(40)는 음절 분할부(30)에서 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행하여 음장 인식부(50)로 출력한다(S400).
음장 인식부(50)는 전처리부(40)에서 전처리된 음장 데이터를 유전자 알고리즘을 기반으로 각각의 음표 단위로 클러스터링하여 음장 인식을 수행하고, 음장 인식 정보를 악보 생성부(90)로 출력한다(S500).
S500 단계의 음장 인식을 도 12를 참조하여 보다 상세하게 설명하면, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 음장 데이터를 기반으로 염색체를 구성하고 모집단을 초기화하고(S510), 음장 데이터의 초기 클러스터의 센터값을 바탕으로 수학식 5와 같이 각 객체와 클러스터 센터간의 거리를 최소화하는 클러스터링을 수행한다(S520).
그리고 수학식 6, 7을 사용하여 클러스터간의 거리와 클러스터 내부 거리를 정의하고(S530), 수학식 8의 적합도 함수를 사용하여 S520 단계에서 클러스터링된 결과의 평가를 수행한다(S540).
클러스터링된 결과의 평가 이후 S540 단계에서 수행된 적합도 함수의 결과를 공지의 룰렛 휠 방법을 통해 선택하고, 이 결과를 토대로 구성된 염색체를 일점 교차하며, 최종적으로 주어진 돌연변이 계수를 이용하여 새로운 세대를 창출해낸다(S550). 그리고 음장 데이터의 클러스터링이 종료될 때까지 S520 단계 이후를 반복하여 수행한다.
S500 단계를 통해 음장 인식을 수행한 이후, 음정 인식부(60)는 S300 단계를 통해 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성하고, 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 인식을 수행하며, 음정 인식 결과를 악보 생성부(90)로 출력한다(S600).
S600 단계의 음장 인식을 도 13을 참조하여 보다 상세하게 설명하면, 음정 인식부(60)는 S300 단계에서 분할된 첫 음절을 기준음으로 보고 첫 음절의 대표 피치값을 통해 음정을 확인하고(S610), 확인된 음정을 평균율 음계와 나누어 상대 음정 주파수 표의 C음을 확인한다(S620).
이후 S620 단계에서 확인된 C음의 주파수와 평균율 음계를 곱하여 상대 음정 주파수 표의 12 음계를 확인하고(S630), 이를 토대로 상대 음정 주파수 표를 재구성한다(S640).
그리고 음정 인식부(60)는 S640 단계에서 재구성된 상대 음정 주파수 표를 기준으로 S300 단계에서 분할된 음절의 대표 피치값을 매핑하고(S650), 각 음절별 매핑 결과를 토대로 음정 인식을 처리하여 그 결과를 악보 생성부(90)로 제공한다(S660).
S500 단계와 S600 단계를 통해 음장 인식 및 음정 인식을 수행한 이후, 휴지기 추출부(70)는 S200 단계에서 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출하고, 마디 검출부(80)는 휴지기 추출부(70)에서 추출된 휴지기 정보를 이용하여 마디를 검출한 후 마디 검출 정보를 악보 생성부(90)로 출력한다(S700).
S700 단계의 마디 검출을 도 14를 참조하여 보다 상세하게 설명하면, 휴지기 추출부(70)는 S200 단계에서 추출된 피치 데이터에 적정한 임계값을 적용하여 음성 구간과 비음성 구간을 확인하고(S710), 임계값 이하의 비음성 구간인 휴지기를 추출한다(S720).
이후 마디 검출부(80)는 S720 단계에서 추출된 휴지기 정보 중 가장 긴 휴지기를 기준 마디 N=1로 정의하고(S730), 정의된 기준 마디에 일정 배수(0.25, 0.5, 0.75…)를 곱하는 연산을 수행하여 예측 마디를 생성한다(S740).
그리고 S740 단계에서 생성된 예측 마디와 음성신호의 총 시간을 비교하여 생성된 예측 마디가 음성신호의 총 시간보다 작은지를 판단하고(S750), 판단 결과 생성된 예측 마디가 음성신호의 총 시간보다 크면 마디 검출을 종료한 후 마디 검출 정보를 악보 생성부(90)로 출력한다.
그러나 S750 단계의 판단결과 생성된 예측 마디가 음성신호의 총 시간보다 작으면, 마디 검출부(80)는 예측 마디와 근접한 후보 휴지기를 검출하고(S770), 예측 마디와 근접한 후보 휴지기가 검출되면 N번째 마디의 검출을 완료하고, 다음 마디의 검출을 위하여 N=N+1 연산을 수행한 후 S740 단계 이후를 반복하여 수행한다(S780).
마지막으로 악보 생성부(90)는 S500, S600, S700 단계를 통해 수행된 음장 인식 정보, 음정 인식 정보, 마디 검출 정보를 토대로 악보 데이터를 생성한다(S800).
여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.
10 : 음성신호 입력부 20 : 피치 추출부
30 : 음절 분할부 40 : 전처리부
50 : 음장 인식부 60 : 음정 인식부
70 : 휴지기 추출부 80 : 마디 검출부
90 : 악보 생성부

Claims (5)

  1. 마이크와 같은 음성신호 입력부를 통해 입력되는 음성신호로부터 음성의 높낮이를 나타내는 피치를 추출하는 피치 추출부,
    상기 피치 추출부에서 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 음성신호의 잡음을 제거하며, 음절의 대표 피치값을 제공하는 음절 분할부,
    상기 음절 분할부에서 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리부,
    상기 전처리부로부터 입력되는 전처리된 음장 데이터를 각각의 음표 단위로 클러스터링하여 음장 인식을 수행하는 음장 인식부,
    상기 음절 분할부에서 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성하고, 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 인식을 수행하는 음정 인식부,
    상기 피치 추출부에서 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출하는 휴지기 추출부,
    상기 휴지기 추출부에서 추출된 휴지기 정보를 통해 마디를 검출하는 마디 검출부, 그리고
    상기 음장 인식부, 음정 인식부, 마디 검출부로부터 입력되는 음장 인식 정보, 음정 인식 정보, 마디 검출 정보를 토대로 악보 데이터를 생성하는 악보 생성부를 포함하며,
    상기 음절 분할부는,
    상기 피치 추출부에서 추출된 각각의 피치 데이터들을 독립된 영역으로 설정하여, 각 영역의 면적, 영역의 값, 분할된 영역의 수를 계산하고,
    인접한 영역 두 개 이상의 값이 같아질 때까지 각 영역의 필터링이 진행될 때 스케일에 따른 변화율 값을 갱신하되, 분할된 영역의 수가 미리 설정한 분할할 영역의 수 보다 클 때까지 수행하고,
    동일한 값을 가진 인접 영역들을 병합하여, 각 영역의 면적, 영역의 값, 분할된 영역의 수를 갱신하고,
    반복 횟수가 초기 설정값을 만족하면 음절 분할을 종료하는 안정화된 역확산 방정식을 이용하여 음절 분할을 수행하며,
    분할된 음절 데이터를 상기 전처리부와 상기 음정 인식부로 출력하는 자동 노래 채보장치.
  2. 제 1 항에 있어서,
    상기 피치 추출부는,
    Figure 112010052409500-pat00015
    의 자기상관함수를 이용하고,
    연산결과로 나오는 신호의 주기적인 부분을 강조하여 피치를 추출한 후 추출된 피치 데이터를 상기 음절 분할부와 상기 휴지기 추출부로 출력하는 자동 노래 채보장치.
  3. 제 1 항에 있어서,
    상기 음장 인식부는,
    상기 전처리부로부터 입력되는 전처리된 음장 데이터를 기반으로 염색체를 구성하고 모집단을 초기화하고,
    상기 음장 데이터의 클러스터링이 종료될 때까지 상기 음장 데이터의 초기 클러스터의 센터값을 바탕으로 각 객체와 클러스터 센터간의 거리를 최소화하는 클러스터링을 수행하고,
    클러스터간의 거리와 클러스터 내부 거리를 정의하고, 적합도 함수를 사용하여 클러스터링된 결과의 평가를 수행하며,
    적합도 함수의 결과를 토대로 구성된 염색체를 일점 교차하며, 최종적으로 주어진 돌연변이 계수를 이용하여 새로운 세대를 창출해내는 유전자 알고리즘을 이용한 클러스터링을 토대로 음장 인식을 수행하며,
    음장 인식 정보를 상기 악보 생성부로 출력하는 자동 노래 채보장치.
  4. 제 1 항에 있어서,
    상기 음정 인식부는,
    상기 음절 분할부에서 분할된 첫 음절을 기준음으로 보고 첫 음절의 대표 피치값을 통해 음정을 확인한 후, 확인된 음정을 평균율 음계와 나누어 상대 음정 주파수 표의 C음을 확인하고,
    확인된 C음의 주파수와 평균율 음계를 곱하여 상대 음정 주파수 표의 12 음계를 확인한 후, 이를 토대로 상대 음정 주파수 표를 재구성하고,
    재구성된 상대 음정 주파수 표를 기준으로 상기 음절 분할부에서 분할된 각 음절의 대표 피치값을 매핑하여 음정 인식을 처리하며,
    음정 인식 정보를 상기 악보 생성부로 출력하는 자동 노래 채보장치.
  5. 제 1 항에 있어서,
    상기 마디 검출부는,
    상기 피치 추출부에서 추출된 피치 데이터에 임계값을 적용하여 임계값 이하인 비음성 구간을 휴지기로 추출하는 상기 휴지기 추출부로부터 입력되는 휴지기 정보 중 가장 긴 휴지기를 기준 마디로 정의하고,
    정의된 기준 마디에 사전에 결정된 일정 배수를 곱하는 연산을 수행하여 예측 마디를 생성하고,
    생성된 예측 마디가 음성신호의 총 시간보다 클 때까지 예측 마디와 근접한 후보 휴지기를 검출하여 다음 마디의 검출을 수행하며,
    마디 검출 정보를 상기 악보 생성부로 출력하는 자동 노래 채보장치.
KR1020100078673A 2010-08-16 2010-08-16 자동 노래 채보장치 KR100991464B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100078673A KR100991464B1 (ko) 2010-08-16 2010-08-16 자동 노래 채보장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100078673A KR100991464B1 (ko) 2010-08-16 2010-08-16 자동 노래 채보장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020090003118A Division KR100989867B1 (ko) 2009-01-14 2009-01-14 자동 노래 채보방법

Publications (2)

Publication Number Publication Date
KR20100101548A KR20100101548A (ko) 2010-09-17
KR100991464B1 true KR100991464B1 (ko) 2010-11-04

Family

ID=43007041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078673A KR100991464B1 (ko) 2010-08-16 2010-08-16 자동 노래 채보장치

Country Status (1)

Country Link
KR (1) KR100991464B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378454B1 (ko) 2012-09-27 2014-03-27 (주)휴먼미디어테크 음악 채보 방법, 장치 및 컴퓨터 판독가능 기록매체
US10522123B2 (en) 2017-01-26 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101481060B1 (ko) * 2013-10-17 2015-01-21 전북대학교산학협력단 판소리 자동 채보 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970009939B1 (ko) 1988-02-29 1997-06-19 닛뽄 덴기 호움 엘렉트로닉스 가부시기가이샤 자동채보(採譜) 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970009939B1 (ko) 1988-02-29 1997-06-19 닛뽄 덴기 호움 엘렉트로닉스 가부시기가이샤 자동채보(採譜) 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378454B1 (ko) 2012-09-27 2014-03-27 (주)휴먼미디어테크 음악 채보 방법, 장치 및 컴퓨터 판독가능 기록매체
US10522123B2 (en) 2017-01-26 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
KR20100101548A (ko) 2010-09-17

Similar Documents

Publication Publication Date Title
Muda et al. Voice recognition algorithms using mel frequency cepstral coefficient (MFCC) and dynamic time warping (DTW) techniques
Farrús et al. Using jitter and shimmer in speaker verification
CN110600055B (zh) 一种使用旋律提取与语音合成技术的歌声分离方法
Fan et al. Singing voice separation and pitch extraction from monaural polyphonic audio music via DNN and adaptive pitch tracking
JP6908045B2 (ja) 音声処理装置、音声処理方法、およびプログラム
JP6501259B2 (ja) 音声処理装置及び音声処理方法
Yang et al. BaNa: A noise resilient fundamental frequency detection algorithm for speech and music
Mertens Polytonia: a system for the automatic transcription of tonal aspects in speech corpora
JP2015068897A (ja) 発話の評価方法及び装置、発話を評価するためのコンピュータプログラム
KR101325722B1 (ko) 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법
EP1341159B1 (en) Speech information recognition device and speech information recognition method based on myoelectrical signal analysis
CN114093386A (zh) 一种面向教育的多维度歌唱评价方法
KR100989867B1 (ko) 자동 노래 채보방법
KR100991464B1 (ko) 자동 노래 채보장치
CN113782032B (zh) 一种声纹识别方法及相关装置
Chittaragi et al. Dialect identification using chroma-spectral shape features with ensemble technique
Cherif et al. Pitch detection and formant analysis of Arabic speech processing
Hu et al. Singer identification based on computational auditory scene analysis and missing feature methods
Zolnay et al. Extraction methods of voicing feature for robust speech recognition.
JP5091202B2 (ja) サンプルを用いずあらゆる言語を識別可能な識別方法
JP2009020458A (ja) 音声処理装置およびプログラム
Jha et al. Assessing vowel quality for singing evaluation
Cahyaningtyas et al. HMM-based indonesian speech synthesis system with declarative and question sentences intonation
Sahoo et al. Detection of speech-based physical load using transfer learning approach
Bansod et al. Speaker Recognition using Marathi (Varhadi) Language

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131008

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141008

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151006

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee