KR101325722B1 - 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법 - Google Patents

사용자 입력 노래에 대응한 악보 생성 장치와 그 방법 Download PDF

Info

Publication number
KR101325722B1
KR101325722B1 KR1020120015878A KR20120015878A KR101325722B1 KR 101325722 B1 KR101325722 B1 KR 101325722B1 KR 1020120015878 A KR1020120015878 A KR 1020120015878A KR 20120015878 A KR20120015878 A KR 20120015878A KR 101325722 B1 KR101325722 B1 KR 101325722B1
Authority
KR
South Korea
Prior art keywords
song
voice signal
pitch
signal input
major
Prior art date
Application number
KR1020120015878A
Other languages
English (en)
Other versions
KR20130094538A (ko
Inventor
김태민
Original Assignee
김태민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김태민 filed Critical 김태민
Priority to KR1020120015878A priority Critical patent/KR101325722B1/ko
Publication of KR20130094538A publication Critical patent/KR20130094538A/ko
Application granted granted Critical
Publication of KR101325722B1 publication Critical patent/KR101325722B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G10L2025/906—Pitch tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 발명은 사용자의 노래 음성 신호를 입력받는 음성신호 입력부, 상기 음성신호 입력부로부터 입력된 노래 음성 신호를 인식하고 분석하여 가사, 음표, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음표 정보를 추출하는 노래특징부 추출부, 상기 노래특징부 추출부에서 추출한 노래 특징부에 따라 악보를 생성하는 악보 생성부를 포함하여 이루어진 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법에 관한 것으로, 종래에 비해 보다 쉽고 용이하게 악보를 생성할 수 있으며, 또한, 휴대전화 등의 개인통신 단말기에 적용하여 음성을 통한 자동 작곡 시스템과 같은 응용이 가능하며, 더 나아가 사용자의 음성 특징량을 분석한 감성 검색 시스템으로의 적용이 가능한 효과가 있다.

Description

사용자 입력 노래에 대응한 악보 생성 장치와 그 방법{Apparatus for generating musical note fit in user's song and method for the same}
본 발명은 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법에 관한 것으로, 더욱 상세하게는 사용자의 노래 음성 신호를 음성 인식하고 분석하여 가사, 음계, 음표, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 미리 설정된 기본 박자, 기본 장조, 기본 빠르기(예: 4분의 4박자, 다장조, 보통 빠르기)를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음계와 음표 정보를 추출해 그에 따라 악보를 생성함으로써, 종래에 비해 보다 쉽고 용이하게 악보를 생성할 수 있으며, 또한, 휴대전화 등의 개인통신 단말기에 적용하여 음성을 통한 자동 작곡 시스템과 같은 응용이 가능하며, 더 나아가 사용자의 음성 특징량을 분석한 감성 검색 시스템으로의 적용이 가능한, 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법에 관한 것이다.
종래의 노래반주는 사용자에 의해 노래가 선택되면, 선택된 노래반주가 스피커를 통해 출력되고, 디스플레이 장치에는 배경 영상과 노래 가사가 디스플레이 되는 형태를 가진다.
이러한 종래의 노래반주 방식은 연주연습을 하고자 하는 연주자에게는 부적당한데, 그래서 연주자에게도 적용가능한 노래반주기의 필요성이 대두된다.
한편, 인류에게 있어서 노래는 오래전부터 존재해 왔던 하나의 문화 현상이며, 개인과 사회 집단의 감정표현의 수단이자 유희의 도구였다. 노래는 음성의 범주에 속하며, 발성 기관을 통해 표현되어 언어적인 모습을 지닌다는 점에서는 일반적인 말과 비슷하지만, 음고(音高), 음량(音量), 음가(音價), 음색(音色) 등의 음악적 속성을 가지고 있으므로 일반적인 말과는 차이점이 있다.
이와 같이, 사람의 노래나 악기로 연주된 음악의 음정, 박자,가사를 인식하거나 기존의 노래 자료와 입력된 노래의 비교를 통해 곡명을 인식하는 연구인 곡조 인식(music recognition)은 음성 인지 분야 중 하나로 노래의 각 특징량을 사용하여 최종적으로 원하는 데이터의 형태로 나타내 주는 것을 말한다.
이러한 곡조 인식은 노래를 통한 시창 교육 분야 및 여가 활동을 위한 엔터테인먼트 분야에 사용될 수 있을 뿐만 아니라 최근에 중요시되고 있는 노래의 저작권을 보호하기 위한 표절 검사의 도구로 사용될 수도 있다. 하지만 다양한 정보 수단에 대한 컴퓨터의 성능이 발전하고 있음에도 불구하고 곡조 인식에 관한 연구는 현재까지 미미한 실정이다.
음성 처리에 있어서 곡조 인식의 한 분야인 자동 채보 시스템은 사람의 음성 및 악기로 연주된 노래로부터 음의 높이(음정(音程), interval), 길이(음장(音長), duration), 가사를 인식하여 그 결과를 악보의 형태로 나타내어 주는 것으로서, 기존의 음악에 익숙한 전문가가 직접 노래를 듣고 채보하는 방법에 비하여 시창자(始唱者)의 노래가 가진 음악적 특징을 시스템이 자동으로 인식하여 악보화할 수 있으므로 일반인도 쉽게 사용할 수 있다.
현재 알려진 종래의 자동 채보 시스템으로는 연속적인 음성신호에서 추출된 특징 정보를 각각의 음표로 인식할 수 있게 하는 분할을 위하여 음소 단위로 분절된 구간을 합쳐 음절의 경계 정보로 사용하는 방법, 피치 간격마다 발생하는 음성의 최대값을 연결하여 구한 에너지 정보를 이용하여 음절 구간(segment)을 형성하는 방법 등이 있다.
그러나, 상술한 바와 같은 종래의 자동 채보 시스템은, 음성신호의 연속적인 특성 때문에 음절 분할시 경계가 모호한 부분에서는 그 효율성이 현저히 떨어지고, 예측된 음절 경계의 한 구간마다 음정 인식을 위하여 피치 정보의 대표값을 찾아 주어야 하는 과정을 추가하여야 하며, 마디 검출이 불가능하여 노래의 인식 결과를 완전한 악보의 형태로 나타내어 줄 수 없으므로 만족할 만한 결과를 제공해 줄 수 없는 문제점을 가지고 있다.
또한, 통상적으로 사람의 노래 빠르기는 각각 다른 속도와 시간을 지니고 있으므로 개인차가 매우 크지만, 음장 인식에 있어서 종래의 방법은 일반화된 표준 데이터에 의거하여 표준 음표에 매핑(mapping)하는 방법을 사용하기 때문에 사람마다 다른 노래 입력의 빠르기에 적응하지 못하는 단점이 있다.
본 발명은 상기한 문제점을 해결하기 위해 개발된 것으로, 사용자의 노래 음성 신호를 음성 인식하고 분석하여 가사, 음계, 음표, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음계, 음표 정보를 추출하여 그에 따라 악보를 생성함으로써, 종래에 비해 보다 쉽고 용이하게 악보를 생성할 수 있도록 하며 더불어, 휴대전화 등의 개인통신 단말기에 적용하여 음성을 통한 자동 작곡 시스템과 같은 응용이 가능하도록 하며, 더 나아가 사용자의 음성 특징량을 분석한 감성 검색 시스템으로의 적용이 가능하도록 하는, 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법을 제공하는데 목적이 있다.
이러한 목적을 달성하기 위한 본 발명에 따른 사용자 입력 노래에 대응한 악보 생성 장치는
사용자의 노래 음성 신호를 입력받는 음성신호 입력부, 상기 음성신호 입력부로부터 입력된 노래 음성 신호를 음성 인식하고 분석하여 가사, 음정, 박자, 음계, 음표, 음장, 마디를 포함한 노래 특징부를 추출하되, 미리 설정된 기본 박자, 기본 장조, 기본 빠르기 정보를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 박자, 음계, 음표 정보를 추출하는 노래특징부 추출부, 상기 노래특징부 추출부에서 추출한 노래 특징부에 따라 악보를 생성하는 악보 생성부를 포함하여 이루어진 것을 특징으로 한다.
바람직하게, 상기 노래특징부 추출부에서 추출한 음정이 적어도 두 개 이상의 음정 사이에 걸쳐 불안한 경우, 상기 걸쳐진 적어도 두 개 이상의 음정 중 기준 음정 위치를 기준으로 가장 인접한 음정에 자동으로 튜닝하여 음정을 보정하고, 상기 보정된 음정 정보를 상기 악보 생성부로 출력하는 음정 보정부를 더 포함하여 이루어진 것을 특징으로 한다.
그리고, 상기 기본 박자, 기본 장조, 기본 빠르기는 4분의 4박자, 다장조, 보통 빠르기인 것을 특징으로 한다.
바람직하게, 상기 노래 특징부 추출부는 상기 음성 신호 입력부를 통해 입력된 노래 음성 신호를 음성 인식하고 인식된 음성을 텍스트화하여 노래 가사를 추출하고, 상기 음성 신호 입력부로부터 사용자 노래 음성신호를 입력받아 4분의 4박자, 다장조, 보통 빠르기를 기준으로 작곡을 하고, 작곡된 다장조 음계에서 #(샵) 또는 b(플랫)에 해당하는 음계를 추출하여 추출한 음계가 특정 음에 해당하는 경우 해당 음이 으뜸음이 되는 장조 또는 단조로 변경하고, 산출한 사용자 입력 노래의 빠르기와 보통 빠르기 값과의 차이 값이 소정의 설정 빠르기 값에 해당하는 경우 해당되는 설정 빠르기 값에 매핑된 빠르기로 빠르기 정보를 변경하며, 상기 변경된 빠르기 정보를 이용해 한 마디 안에서 단위 시간의 일정수로 이루어지는 기본 연주 시간을 계산하여, 계산된 한 마디 안의 연주 시간에 매핑되는 박자를 사용자 입력 노래의 박자로 변경하고, 상기 음성신호 입력부를 통해 입력된 노래 음성 신호로부터 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 각 음절의 대표 피치값을 제공하고, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 정보를 추출하며, 상기 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디 정보를 검출하여, 노래 특징부를 추출하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 또 다른 본 발명에 따른 사용자 입력 노래에 대응한 악보 생성 방법은,
사용자의 노래 음성 신호를 입력하는 음성신호 입력단계, 상기 음성신호 입력단계로부터 입력된 노래 음성 신호를 음성 인식하고 분석하여 가사, 음정, 박자, 음계, 음표, 음장, 마디를 포함한 노래 특징부를 추출하되, 미리 설정된 기본 박자, 기본 장조, 기본 빠르기 정보를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 박자, 음계, 음표 정보를 추출하는 노래특징부 추출단계, 상기 노래 특징부 추출단계에서 추출한 노래 특징부에 따라 악보를 생성하는 악보생성단계를 포함하여 이루어진 것을 특징으로 한다.
바람직하게, 상기 노래특징부 추출단계에서 추출한 음정이 적어도 두 개 이상의 음정 사이에 걸쳐 불안한 경우, 상기 걸쳐진 적어도 두 개 이상의 음정 중 기준 음정 위치를 기준으로 가장 인접한 음정에 자동으로 튜닝하여 음정을 보정하고, 상기 보정된 음정 정보를 상기 악보생성단계로 출력하는 음정보정단계를 더 포함하여 이루어진 것을 특징으로 한다.
그리고, 상기 기본 박자, 기본 장조, 기본 빠르기는 4분의 4박자, 다장조, 보통 빠르기인 것을 특징으로 한다.
바람직하게, 상기 노래특징부 추출단계는 상기 음성신호 입력단계를 통해 입력된 노래 음성 신호를 음성 인식하고 인식된 음성을 텍스트화하여 노래 가사를 추출하고, 상기 음성신호 입력단계로부터 사용자 노래 음성신호를 입력받아 4분의 4박자, 다장조, 보통 빠르기를 기준으로 작곡을 하고, 작곡된 다장조 음계에서 #(샵) 또는 b(플랫)에 해당하는 음계를 추출하여 추출한 음계가 특정 음에 해당하는 경우 해당 음이 으뜸음이 되는 장조 또는 단조로 변경하고, 산출한 사용자 입력 노래의 빠르기와 보통 빠르기 값과의 차이 값이 소정의 설정 빠르기 값에 해당하는 경우 해당되는 설정 빠르기 값에 매핑된 빠르기로 빠르기 정보를 변경하며, 상기 변경된 빠르기 정보를 이용해 한 마디 안에서 단위 시간의 일정수로 이루어지는 기본 연주 시간을 계산하여, 계산된 한 마디 안의 연주 시간에 매핑되는 박자를 사용자 입력 노래의 박자로 변경하고, 상기 음성신호 입력단계를 통해 입력된 노래 음성 신호로부터 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 각 음절의 대표 피치값을 제공하고, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 정보를 추출하며, 상기 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디 정보를 검출하여, 노래 특징부를 추출하는 것을 특징으로 한다.
본 발명은 다음과 같은 효과가 있다.
1. 본 발명은 사용자의 노래 음성 신호를 인식하고 분석하여 가사, 음표, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음계, 음표 정보 등을 추출하여 그에 따라 악보를 생성함으로써, 종래에 비해 보다 쉽고 용이하게 악보를 생성할 수 있으며, 또한, 휴대전화 등의 개인통신 단말기에 적용하여 음성을 통한 자동 작곡 시스템과 같은 응용이 가능하며, 더 나아가 사용자의 음성 특징량을 분석한 감성 검색 시스템으로의 적용이 가능한 효과가 있다.
2. 본 발명은 상기 추출한 음정이 적어도 두 개 이상의 음정 사이에 걸쳐 불안한 경우, 상기 걸쳐진 적어도 두 개 이상의 음정 중 기준 음정 위치를 기준으로 가장 인접한 음정에 자동으로 튜닝하여 음정을 보정함으로써, 보다 정확한 악보를 생성하도록 할 수 있다.
도 1은 본 발명에 따른 사용자 입력 노래에 대응한 악보 생성 장치를 도시한 블록구성도
도 2는 본 발명에 따른 사용자 입력 노래에 대응한 악보 생성 장치의 동작을 순서대로 도시한 플로우 챠트
도 3a는 본 발명에 따른 사용자 입력 노래에 대응한 악보 생성 양태를 예로 들어 도시한 도면
도 3b는 본 발명에 따라 생성된 악보의 표시 양태를 예로 들어 도시한 도면
도 4a와 도 4b는 본 발명에 따른 박자, 장조, 빠르기 변경 양태를 예로 들어 설명하기 위해 사용된 도면
이하, 첨부된 도면을 참조하여 본 발명을 설명한다.
다만, 이하에서 설명되는 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 포함할 수 있는 것을 의미한다.
도 1은 본 발명에 따른 사용자 입력 노래에 대응한 악보 생성 장치를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 장치는 음성신호 입력부(101), 노래특징부 추출부(102), 악보 생성부(103) 및, 악보 표시부(104)를 포함하여 이루어진 구조이다.
즉, 사용자의 노래 음성 신호를 입력받는 음성신호 입력부(101), 상기 음성신호 입력부(101)로부터 입력된 노래 음성 신호를 음성 인식하고 분석하여 가사, 음표, 음계, 박자, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 미리 설정된 기본 박자, 기본 장조, 기본 빠르기(예: 4분의 4박자, 다장조, 보통 빠르기)를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음계, 음표 정보를 추출하는 노래특징부 추출부(102), 상기 노래특징부 추출부(102)에서 추출한 노래 특징부에 따라 악보를 생성하는 악보 생성부(103) 및, 상기 악보 생성부(103)에 의해 생성된 악보를 표시하는 악보 표시부(104)를 포함하여 이루어진 구조이다.
추가로, 음정 보정부(105)를 더 포함하여 이루어진 구조이다.
여기서, 상기 노래 특징부 추출부(102)는 상기 음성신호 입력부(101)로부터 입력된 노래 음성 신호를 인식하고 분석하여 가사, 음표, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 미리 설정된 기본 박자, 기본 장조, 기본 빠르기 예를 들어, 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음표 정보를 추출하는 것이다. 즉, 상기 음성 신호 입력부(101)를 통해 입력된 노래 음성 신호를 음성 인식하고 인식된 음성을 텍스트화하여 노래 가사를 추출하고, 상기 음성 신호 입력부(101)를 통해 입력된 노래 음성 신호를 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하고 상기 기준 정보를 이용해 해당 음정에 맞는 매핑된 음계, 음표 정보를 추출한다. 좀 더 구체적으로는 상기 음성 신호 입력부(101)로부터 사용자 노래 음성신호를 입력받아 4분의 4박자, 다장조, 보통 빠르기를 기준으로 작곡을 하고, 작곡된 다장조 음계에서 #(샵) 또는 b(플랫)에 해당하는 음계를 추출하여 추출한 음계가 특정 음에 해당하는 경우 해당 음이 으뜸음이 되는 장조 또는 단조로 변경하고, 산출한 사용자 입력 노래의 빠르기와 보통 빠르기 값과의 차이 값이 소정의 설정 빠르기 값에 해당하는 경우 해당되는 설정 빠르기 값에 매핑된 빠르기로 빠르기 정보를 변경하며, 상기 변경된 빠르기 정보를 이용해 한 마디 안에서 단위 시간의 일정수로 이루어지는 기본 연주 시간을 계산하여, 계산된 한 마디 안의 연주 시간에 매핑되는 박자를 사용자 입력 노래의 박자로 변경한다. 그리고, 상기 음성신호 입력부(101)를 통해 입력된 노래 음성 신호로부터 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 각 음절의 대표 피치값을 제공하고, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 정보를 추출하며, 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성한 후 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 정보를 추출하고, 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디 정보를 검출하여, 노래 특징부를 추출한다.
악보 생성부(103)는 상기 노래특징부 추출부(102)에서 추출한 노래 특징부(예: 가사, 음정 등)에 따라 악보를 생성하는 것으로, 상기 음성 신호 입력부(101)를 통해 입력된 노래 음성 신호를 음성 인식 기술로 텍스트화하여 추출한 노래 가사와, 상기 음성 신호 입력부(101)를 통해 입력된 노래 음성 신호를 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하고 상기 기준 정보를 이용해 해당 음정에 맞게 매핑된 정보로 추출한 음계와 음표 정보 등을 이용해 악보를 생성한다.
악보 표시부(104)는 사용자 인터페이스 수단(User Interface)으로, 상기 악보 생성부(103)에 의해 생성된 악보를 화면에 표시하여 사용자에게 알려주는 것이다.
음정 보정부(105)는 상기 노래특징부 추출부에서 추출한 음정이 적어도 두 개 이상의 음정 사이에 걸쳐 불안한 경우, 상기 걸쳐진 적어도 두 개 이상의 음정 중 기준 음정 위치를 기준으로 가장 인접한 음정에 자동으로 튜닝하여 음정을 보정하고, 상기 보정된 음정 정보를 상기 악보 생성부(103)로 출력하는 것이다.
이하, 도 1의 본 발명에 따른 사용자 입력 노래에 대응한 악보 생성 장치의 동작을 첨부된 도 2를 참조해 설명한다.
도 2는 본 발명에 따른 사용자 입력 노래에 대응한 악보 생성 장치의 동작을 순서대로 도시한 도면이다.
먼저, 도 2에 도시된 바와 같이, 본 발명은 애플리케이션을 실행하고(S201) 음성신호 입력부를 통해 사용자의 노래 음성 신호를 입력받는다(S202).
다음, 노래특징부 추출부는 상기 음성신호 입력부로부터 입력된 노래 음성 신호를 인식하고 분석하여 가사, 음표, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음표 정보를 추출한다(S203~S205).
예를 들어, 상기 음성 신호 입력부를 통해 입력된 노래 음성 신호를 음성 인식하고 인식된 음성을 텍스트화하여 노래 가사를 추출하고, 상기 음성 신호 입력부를 통해 입력된 노래 음성 신호를 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하고 상기 기준 정보를 이용해 해당 음정에 맞는 매핑된 음표 정보를 추출한다.
그리고, 상기 음성신호 입력부를 통해 입력된 노래 음성 신호로부터 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 각 음절의 대표 피치값을 제공하고, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 정보를 추출하며, 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성한 후 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 정보를 추출하고, 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디 정보를 검출하여, 노래 특징부를 추출한다.
다음, 악보 생성부는 노래특징부 추출부에서 추출한 노래 특징부에 따라 악보를 생성하고(S206), 상기 악보 생성부에 의해 생성된 악보를 악보 표시부를 통해 화면에 표시하여 사용자에게 알려준다(S207).
추가로, 상기 표시된 악보에 따라 연주된 곡을 사용자에게 음성 출력하여 들려줄 수 있다(S208~S209).
한편, 본 발명은 상기 노래특징부 추출부에서 추출한 음정이 적어도 두 개 이상의 음정 사이에 걸쳐 불안한 경우, 음정 보정부를 사용해, 상기 걸쳐진 적어도 두 개 이상의 음정 중 기준 음정 위치를 기준으로 가장 인접한 음정에 자동으로 튜닝하여 음정을 보정하고, 상기 보정된 음정 정보를 상기 악보 생성부로 출력함으로써, 음정을 보정하여 보다 정확한 악보를 생성하도록 할 수 있다(S210~S211).
이상과 같이, 본 발명은 사용자의 노래 음성 신호를 인식하고 분석하여 가사, 음표, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음표 정보를 추출하여 그에 따라 악보를 생성함으로써, 종래에 비해 보다 쉽고 용이하게 악보를 생성할 수 있으며, 또한, 휴대전화 등의 개인통신 단말기에 적용하여 음성을 통한 자동 작곡 시스템과 같은 응용이 가능하며, 더 나아가 사용자의 음성 특징량을 분석한 감성 검색 시스템으로의 적용이 가능한 효과가 있다.
마지막으로, 도 3a와 도 3b를 참조하여 본 발명에 따른 사용자 입력 노래에 맞는 악보 생성 양태에 대해 설명하기로 한다.
도 3a는 본 발명에 따른 사용자 입력 노래에 맞는 악보 생성 양태를 예로 들어 도시한 도면이고, 도 3b는 본 발명에 따라 생성된 악보의 표시 양태를 예로 들어 도시한 도면이다.
먼저, 도 3a에 도시된 바와 같이, 본 발명은 입력된 사용자 노래 음성 신호를 음성 인식하고 분석하여 가사, 음표, 음장, 음정, 마디를 포함한 노래 특징부를 추출하되, 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 음표 정보를 추출한다.
즉, 음성 신호 입력부를 통해 입력된 사용자 노래 음성 신호를 음성 인식하고 인식된 음성을 텍스트화하여 노래 가사(예: "학교 종이 땡땡땡 어서 모이자 ~ ")를 추출하고, 입력된 노래 음성 신호를 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하고 상기 기준 정보를 이용해 해당 음정에 맞는 매핑된 음표 정보(여기서는, "밑줄처럼 그어진 부분")를 추출한다.
좀 더 구체적으로는, 상기 음성 신호 입력부로부터 사용자 노래 음성신호를 입력받아 4분의 4박자, 다장조, 보통 빠르기를 기준으로 작곡을 하고, 작곡된 다장조 음계에서 #(샵) 또는 b(플랫)에 해당하는 음계를 추출하여 추출한 음계가 특정 음에 해당하는 경우 해당 음이 으뜸음이 되는 장조 또는 단조로 변경하고, 산출한 사용자 입력 노래의 빠르기와 보통 빠르기 값과의 차이 값이 소정의 설정 빠르기 값에 해당하는 경우 해당되는 설정 빠르기 값에 매핑된 빠르기로 빠르기 정보를 변경하며, 상기 변경된 빠르기 정보를 이용해 한 마디 안에서 단위 시간의 일정수로 이루어지는 기본 연주 시간을 계산하여, 계산된 한 마디 안의 연주 시간에 매핑되는 박자를 사용자 입력 노래의 박자로 변경한다.
그리고, 상기 음성신호 입력부를 통해 입력된 사용자 노래 음성 신호로부터 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 각 음절의 대표 피치값을 제공하고, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 정보를 추출하며, 분할된 첫 음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성한 후 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 정보를 추출하고, 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디 정보를 검출하여, 노래 특징부를 추출한다.
그런 다음, 추출된 노래 특징부(예: 가사, 음정 등)에 따라 악보를 생성한다. 즉, 상기 음성 신호 입력부를 통해 입력된 사용자 노래 음성 신호를 음성 인식 기술로 텍스트화하여 추출한 노래 가사와, 상기 음성 신호 입력부를 통해 입력된 노래 음성 신호를 4분의 4박자, 다장조, 보통 빠르기를 기준으로 음성 분석하고 상기 기준 정보를 이용해 해당 음정에 맞게 매핑된 정보로 추출한 계명과 음표 정보 등을 이용해 악보를 생성한다. 그리고, 이렇게 생성된 악보를 해당 단말기 화면에 표시하게 된다(도 3b 참조).
도 4a와 도 4b는 본 발명에 따른 박자, 장조, 빠르기 변경 양태를 예로 들어 설명하기 위해 사용된 도면이다.
본 발명은 먼저, 사용자 노래 음성신호를 입력받아 4분의 4박자, 다장조, 보통 빠르기를 기준으로 작곡을 하고, 작곡된 곡을 기타 장조나 단조로 변경하여 음계를 변경하게 된다.
예를 들어, 다장조에서 다른 장조 또는, 단조로의 변경은 다음과 같다(도 4a 참조).
먼저, 기본으로 작곡된 다장조 음계에서 "＃"에 해당하는 음계를 추출하고, 추출한 음계가 "파"에 해당하는 경우 솔이 으뜸음이 되는 "사장조"로 장조 변경을 하고, 단조는 기본 음(예: 도)이 설정 음 높이(예: 3 음)만큼 내려온 경우 솔에서 설정 음(예: 3 음)만큼 내려온(솔-파-미) 미가 으뜸음인 마단조로 단조 변경을 한다. 그리고, 다른 예로, "＃"에 해당하는 추출한 음계가 "파", "도"인 경우 "도"의 하나 위음인 레가 으뜸음이 되는 "라장조"로 장조 변경을 하고, 기본 음(예: 레)이 설정 음(예: 3음) 높이만큼 내려온 경우, 레에서 3음 내려온(레-도-시) 시가 으뜸음인 나단조로 단조 변경을 하게 된다.
그리고, 다장조 음계에서 "시"음으로부터 설정 음(예: 4음)만큼 내려온 음계가 "파"인 경우 파가 으뜸음인 바장조로 장조 변경을 하고, "파"에서 설정 음(예: 3음)만큼 내려온 음계가 으뜸음인 "레"인 경우 라단조로 단조 변경을 하게 된다.
빠르기 변경은 다음과 같다(도 4b 참조).
보통 빠르기에서 각 박자의 연주길이는 4분의 4박자, 4분의 3박자, 8분의 6박자, 2분의 1박자 등과 상관없이 동일하며 빠르기의 종류에 따라 각 박자의 연주길이가 변경된다.
예를 들어, 사용자 입력 노래의 빠르기를 산출하고, 보통 빠르기가 "88"로 설정된 경우, 사용자 입력 노래의 빠르기와 보통 빠르기인 "88"과의 차이 값이 설정 빠르기(예: 42) 값에 해당하는 경우 아주 느리게로 변경한다. 즉, 사용자 입력 노래의 빠르기를 산출하고, 산출한 사용자 입력 노래의 빠르기와 보통 빠르기 값과의 차이 값이 소정의 설정 빠르기 값에 해당하는 경우 해당된 설정 빠르기 값에 매핑된 빠르기로 변경하게 된다.
이렇게 빠르기가 결정되면, 한 마디 안에서 단위 시간의 일정수로 이루어지는 기본 연주 시간을 계산하여(이 때, 상기 산출된 음계에 매핑되어 설정된 시간 정보를 이용한다. 예를 들어 보통 빠르기인 경우 4분 음표는 0.4625초로 설정할 수 있다), 상기 계산된 한 마디 안의 연주 시간에 매핑되는 박자를 사용자 입력 노래의 박자로 결정한다.
참고로, 본 실시예에서는 기본을 다장조, 4분의 4 박자, 조금 빠르기로 설명했지만, 다른 장조 다른 박자 다른 빠르기나 느리게를 기준으로 할 수 있음은 물론이다.
* 도면의 주요 부분에 대한 부호의 설명 *
101 : 음성신호 입력부 102 : 노래특징부 추출부
103 : 악보 생성부 104 : 악보 표시부
105 : 음정 보정부

Claims (8)

  1. 사용자의 노래 음성 신호를 입력받는 음성신호 입력부;
    상기 음성신호 입력부로부터 입력된 노래 음성 신호를 음성 인식하고 분석하여 가사, 음정, 박자, 음계, 음표, 음장, 마디를 포함한 노래 특징부를 추출하되, 미리 설정된 기본 박자, 기본 장조 및, 기본 빠르기를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 박자, 음계, 음표 정보를 추출하는 노래특징부 추출부; 및
    상기 노래특징부 추출부에서 추출한 노래 특징부에 따라 악보를 생성하는 악보 생성부를 포함하여 이루어지고,
    상기 노래특징부 추출부에서 추출한 음정이 적어도 두 개 이상의 음정 사이에 걸쳐 불안한 경우, 상기 걸쳐진 적어도 두 개 이상의 음정 중 기준 음정 위치를 기준으로 가장 인접한 음정에 자동으로 튜닝하여 음정을 보정하고, 상기 보정된 음정 정보를 상기 악보 생성부로 출력하는 음정 보정부를 더 포함하여 이루어지고,
    상기 기본 박자, 기본 장조, 기본 빠르기는 4분의 4박자, 다장조, 보통 빠르기이며,
    상기 노래 특징부 추출부는
    상기 음성 신호 입력부를 통해 입력된 노래 음성 신호를 음성 인식하고 인식된 음성을 텍스트화하여 노래 가사를 추출하고,
    상기 음성 신호 입력부로부터 사용자 노래 음성신호를 입력받아 4분의 4박자, 다장조, 보통 빠르기를 기준으로 작곡을 하고, 작곡된 다장조 음계에서 #(샵) 또는 b(플랫)에 해당하는 음계를 추출하여 추출한 음계가 특정 음에 해당하는 경우 해당 음이 으뜸음이 되는 장조 또는 단조로 변경하고, 산출한 사용자 입력 노래의 빠르기와 보통 빠르기 값과의 차이 값이 소정의 설정 빠르기 값에 해당하는 경우 해당되는 설정 빠르기 값에 매핑된 빠르기로 빠르기 정보를 변경하며, 상기 변경된 빠르기 정보를 이용해 한 마디 안에서 단위 시간의 일정수로 이루어지는 기본 연주 시간을 계산하여, 계산된 한 마디 안의 연주 시간에 매핑되는 박자를 사용자 입력 노래의 박자로 변경하고,
    상기 음성신호 입력부를 통해 입력된 노래 음성 신호로부터 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 각 음절의 대표 피치값을 제공하고, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 정보를 추출하며,
    상기 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디 정보를 검출하여, 노래 특징부를 추출하는 것을 특징으로 하는 사용자 입력 노래에 대응한 악보 생성 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 사용자의 노래 음성 신호를 입력하는 음성신호 입력단계;
    상기 음성신호 입력단계로부터 입력된 노래 음성 신호를 음성 인식하고 분석하여 가사, 음정, 박자, 음계, 음표, 음장, 마디를 포함한 노래 특징부를 추출하되, 미리 설정된 기본 박자, 기본 장조, 기본 빠르기 정보를 기준으로 음성 분석하여 해당 음정에 맞는 매핑된 박자, 음계, 음표 정보를 추출하는 노래특징부 추출단계; 및
    상기 노래 특징부 추출단계에서 추출한 노래 특징부에 따라 악보를 생성하는 악보생성단계를 포함하여 이루어지고,
    상기 노래특징부 추출단계에서 추출한 음정이 적어도 두 개 이상의 음정 사이에 걸쳐 불안한 경우, 상기 걸쳐진 적어도 두 개 이상의 음정 중 기준 음정 위치를 기준으로 가장 인접한 음정에 자동으로 튜닝하여 음정을 보정하고, 상기 보정된 음정 정보를 상기 악보생성단계로 출력하는 음정보정단계를 더 포함하여 이루어지고,
    상기 기본 박자, 기본 장조, 기본 빠르기는 4분의 4박자, 다장조, 보통 빠르기이며,
    상기 노래특징부 추출단계는
    상기 음성신호 입력단계를 통해 입력된 노래 음성 신호를 음성 인식하고 인식된 음성을 텍스트화하여 노래 가사를 추출하고,
    상기 음성신호 입력단계로부터 사용자 노래 음성신호를 입력받아 4분의 4박자, 다장조, 보통 빠르기를 기준으로 작곡을 하고, 작곡된 다장조 음계에서 #(샵) 또는 b(플랫)에 해당하는 음계를 추출하여 추출한 음계가 특정 음에 해당하는 경우 해당 음이 으뜸음이 되는 장조 또는 단조로 변경하고, 산출한 사용자 입력 노래의 빠르기와 보통 빠르기 값과의 차이 값이 소정의 설정 빠르기 값에 해당하는 경우 해당되는 설정 빠르기 값에 매핑된 빠르기로 빠르기 정보를 변경하며, 상기 변경된 빠르기 정보를 이용해 한 마디 안에서 단위 시간의 일정수로 이루어지는 기본 연주 시간을 계산하여, 계산된 한 마디 안의 연주 시간에 매핑되는 박자를 사용자 입력 노래의 박자로 변경하고,
    상기 음성신호 입력단계를 통해 입력된 노래 음성 신호로부터 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 각 음절의 대표 피치값을 제공하고, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 정보를 추출하며,
    상기 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디 정보를 검출하여, 노래 특징부를 추출하는 것을 특징으로 하는 사용자 입력 노래에 대응한 악보 생성 방법.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020120015878A 2012-02-16 2012-02-16 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법 KR101325722B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120015878A KR101325722B1 (ko) 2012-02-16 2012-02-16 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120015878A KR101325722B1 (ko) 2012-02-16 2012-02-16 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법

Publications (2)

Publication Number Publication Date
KR20130094538A KR20130094538A (ko) 2013-08-26
KR101325722B1 true KR101325722B1 (ko) 2013-11-08

Family

ID=49218291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120015878A KR101325722B1 (ko) 2012-02-16 2012-02-16 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법

Country Status (1)

Country Link
KR (1) KR101325722B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019050083A1 (ko) * 2017-09-07 2019-03-14 주식회사 쿨잼컴퍼니 사용자 허밍 멜로디 기반 멜로디 녹음을 제공하기 위한 방법 및 이를 위한 장치
KR102318642B1 (ko) * 2021-04-16 2021-10-28 (주)엠제이티 음성 분석 결과를 이용하는 온라인 플랫폼

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015156228A1 (ja) 2014-04-07 2015-10-15 東レ株式会社 高分子電解質組成物ならびにそれを用いた高分子電解質膜、膜電極複合体および固体高分子形燃料電池
KR101785888B1 (ko) * 2017-01-18 2017-10-17 이동환 이종동물 양방향 커뮤니케이션 서비스 제공 방법
CN110223365A (zh) * 2019-06-14 2019-09-10 广东工业大学 一种笔记生成方法、系统、装置及计算机可读存储介质
KR102227009B1 (ko) * 2020-07-29 2021-03-11 박일호 사운드 또는 텍스트 인식 기반의 동영상 캐릭터 자동 생성 시스템
CN113781988A (zh) * 2021-07-30 2021-12-10 北京达佳互联信息技术有限公司 字幕显示方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195760A (ja) * 1997-09-16 1999-04-09 Ricoh Co Ltd 音楽再生装置
KR20090023912A (ko) * 2007-09-03 2009-03-06 엘지전자 주식회사 음악 데이터 처리 시스템
KR20090077746A (ko) * 2009-06-26 2009-07-15 김용성 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법
KR100989867B1 (ko) * 2009-01-14 2010-10-29 전북대학교산학협력단 자동 노래 채보방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195760A (ja) * 1997-09-16 1999-04-09 Ricoh Co Ltd 音楽再生装置
KR20090023912A (ko) * 2007-09-03 2009-03-06 엘지전자 주식회사 음악 데이터 처리 시스템
KR100989867B1 (ko) * 2009-01-14 2010-10-29 전북대학교산학협력단 자동 노래 채보방법
KR20090077746A (ko) * 2009-06-26 2009-07-15 김용성 음성인식을 통한 음악창작 시스템 및 이를 이용한 서비스 이용방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019050083A1 (ko) * 2017-09-07 2019-03-14 주식회사 쿨잼컴퍼니 사용자 허밍 멜로디 기반 멜로디 녹음을 제공하기 위한 방법 및 이를 위한 장치
KR102318642B1 (ko) * 2021-04-16 2021-10-28 (주)엠제이티 음성 분석 결과를 이용하는 온라인 플랫폼

Also Published As

Publication number Publication date
KR20130094538A (ko) 2013-08-26

Similar Documents

Publication Publication Date Title
KR101325722B1 (ko) 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법
CN109785820B (zh) 一种处理方法、装置及设备
US10347238B2 (en) Text-based insertion and replacement in audio narration
Durrieu et al. Source/filter model for unsupervised main melody extraction from polyphonic audio signals
KR20190008137A (ko) 다중 화자 데이터를 이용한 딥러닝 기반 음성 합성 장치 및 방법
Mion et al. Score-independent audio features for description of music expression
CN109979488B (zh) 基于重音分析的人声转乐谱系统
Sharma et al. NHSS: A speech and singing parallel database
CN108305604B (zh) 音乐可视化方法、装置及计算机可读存储介质
CN103915093A (zh) 一种实现语音歌唱化的方法和装置
JP4479701B2 (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
CN105895079B (zh) 语音数据的处理方法和装置
CN112837698A (zh) 一种演唱或演奏评价方法、装置和计算机可读存储介质
KR101493006B1 (ko) 멀티미디어 콘텐츠 편집장치 및 그 방법
CN112712783A (zh) 生成音乐的方法和装置、计算机设备和介质
KR100989867B1 (ko) 자동 노래 채보방법
KR100991464B1 (ko) 자동 노래 채보장치
Bader et al. Computational timbre and tonal system similarity analysis of the music of Northern Myanmar-based Kachin compared to Xinjiang-based Uyghur ethnic groups
JP2010060846A (ja) 合成音声評価システム及び合成音声評価方法
CN112270929B (zh) 一种歌曲识别的方法及装置
JP6849977B2 (ja) テキスト表示用同期情報生成装置および方法並びに音声認識装置および方法
Wang et al. Beijing opera synthesis based on straight algorithm and deep learning
JP2008040258A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
Gu et al. Singing-voice synthesis using demi-syllable unit selection
Camporez et al. Features extraction and segmentation for an assistive musical interface

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180814

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190814

Year of fee payment: 7