KR101238113B1 - 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템 - Google Patents

Abstract

본 발명은 별도의 악기나 미디 장비를 통하지 않고서도 사용자가 입력하는 음성을 분석하여 작곡이 이루어진 악보를 생성할 수 있고, 그 음성 분석 정보를 근거로 기성곡을 검색하여 원하는 곡을 찾을 수 있도록 하는 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템을 제공한다.
이를 위해 본 발명은 사용자로부터 입력되는 음성을 잡음 제거 및 디지털 변환을 거쳐서 저장하는 작곡 음성 입력 장치와, 해당 시스템의 실행 및 구동 상태를 설정하는 키입력을 수행하고, 사용자의 음성 분석에 의해 생성된 악보의 내용을 수정, 삭제, 추가하기 위한 키입력을 수행하는 키입력부, 사용자의 입력 음성 데이터를 해밍 윈도우를 이용하여 FFT 및 자기 상관 함수를 이용한 함수 연산 처리 알고리즘을 통해 분석하고, 그 분석된 음에 대응하는 악보 기호를 생성하여 악보 정보를 생성함으로써, 상기 키입력부의 키입력에 따라 악보 정보의 디스플레이와, 악보 편집, 프린터 출력이 가능하도록 하는 작곡 처리 장치, 상기 완성된 악보 정보에 포함된 음정과 박자 정보를 근거로, 다수의 기성곡 중에서 가장 유사한 음정 및 박자 정보를 갖는 기성곡을 검색하여 추출하는 기성곡 검색 처리 장치 및, 다수의 기성곡 정보가 악보 스트링 정보 형태로 저장되어 상기 기성곡 검색 장치로 기성곡의 검색을 위해 제공하는 데이터베이스를 포함하여 구성된 것을 특징으로 한다.

Description

입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템{System for Composing and Searching Accomplished Music Using Analysis of the Input Voice}

본 발명은 마이크로폰을 통해 입력되는 사람의 음성을 분석하여 작곡용 악보를 생성할 수 있도록 하고, 분석된 음성 성분을 근거로 찾고자 하는 기성곡을 간편하게 검색할 수 있도록 하는 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템에 관한 것이다.

일반적으로, 통상적인 작곡 방식은 작곡자가 특정 악기를 연주하면서 별도의 오선지에 일일이 음정 및 박자를 기록하는 방식으로 악보를 작성하고, 작성된 악보의 일부 수정 시 악기를 다시 반복 연주하면서 일일이 음정 및 박자를 수정하는 과정을 거쳐야 하기 때문에, 어렵고 번거로운 작곡 과정으로 인해 음악을 완성하는 데에 보다 많은 노력과 시간을 소비할 수밖에 없었다.

더구나, 음악에 맞춰서 효과음을 발생시키는 게임이나 연출을 행하는 음악연주 게임이 젊은 층을 중심으로 많은 인기를 모으고 있는데, 자기만의 노래를 작곡하고자 하는 창작 욕구가 증가하고 있으며, 실제로 자신이 음악을 창작하고 즐기는 개인도 많이 늘어난 실정이다. 그에 따라 음악을 자신이 직접 입출력하는 전자악보를 통해 음악을 작곡할 수 있는 컴퓨터 음악작곡 프로그램의 필요성이 증가하고 있으며 간단한 작곡방법과 기본적 장비구성 만으로 작곡을 할 수 있는 작곡 환경 발전의 필요성 또한 증대되고 있는 실정이다.

그런데, 컴퓨터를 이용한 음악작곡 방법의 경우에는 다수 종류의 악기와 작곡을 제어하는 컴퓨터 프로그램을 다룰 수 있는 상당히 전문적인 지식이 있어야만 작곡이 가능하도록 되어 있는 바, 다수의 악기 및 인터페이스 장비를 이용하여 각각의 트랙을 만들고 각 트랙을 합하여 작곡을 해야 하기 때문에 전문적인 지식이 없는 일반 컴퓨터 사용자들은 자신이 원하는 노래를 작곡하는 것이 상당히 어렵게 되어 있다는 문제점이 있다.

또한, 상기 악기, 인터페이스 장비 및 사용자 컴퓨터와 컴퓨터 작곡 관련 프로그램 등과 같은 고가의 장비 및 모듈을 구비해야 하기 때문에, 시스템의 구축에 경제적인 부담이 가중된다는 문제점이 있다.

따라서, 본 발명은 상기한 종래의 문제점들을 해결하기 위해 이루어진 것으로서, 그 목적은 별도의 악기나 미디 장비를 통하지 않고서도 사용자가 입력하는 음성을 분석하여 작곡이 이루어진 악보를 생성할 수 있고, 그 음성 분석 정보를 근거로 기성곡을 검색하여 원하는 곡을 찾을 수 있도록 하는 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 시스템에 따르면, 사용자로부터 입력되는 음성을 잡음 제거 및 디지털 변환을 거쳐서 저장하는 작곡 음성 입력 장치와, 해당 시스템의 실행 및 구동 상태를 설정하는 키입력을 수행하고, 사용자의 음성 분석에 의해 생성된 악보의 내용을 수정, 삭제, 추가하기 위한 키입력을 수행하는 키입력부, 사용자의 입력 음성 데이터를 해밍 윈도우(Hamming Window)를 이용하여 FFT(Fast Fourier Transform) 및 자기 상관 함수를 이용한 함수 연산 처리 알고리즘을 통해 분석하고, 그 분석된 음에 대응하는 악보 기호를 생성하여 악보 정보를 생성함으로써, 상기 키입력부의 키입력에 따라 악보 정보의 디스플레이와, 악보 편집, 프린터 출력이 가능하도록 하는 작곡 처리 장치, 상기 작곡 처리 장치에서 완성된 악보 정보에 포함된 음정과 박자 정보를 근거로, 데이터베이스에 저장된 다수의 기성곡 중에서 가장 유사한 음정 및 박자 정보를 갖는 기성곡을 검색하여 추출하는 기성곡 검색 처리 장치 및, 다수의 기성곡 정보가 악보 스트링 정보 형태로 저장되어 상기 기성곡 검색 장치로 기성곡의 검색을 위해 제공하는 데이터베이스를 포함하여 구성된 것을 특징으로 하는 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템을 제공한다.

이상과 같이 본 발명에 따르면, 사용자가 작곡을 의도하는 음성을 마이크로폰을 통해 입력받아서 입력 음성을 해밍 윈도우 단위로 FFT 및 자기 상관 함수에 의한 함수 연산을 수행하여 분석함에 의해, 16분 음표 단위로 분석된 음 주파수에 대응하는 악보 기호를 생성하고, 그 악보 기호를 병합하여 작곡된 악보가 생성되도록 함에 따라, 작곡에 필요한 복잡한 음악적 지식을 습득하지 않고서도 얼마든지 의도하는 음율에 대한 작곡 악보의 생성이 가능하고, 작곡 작업을 위한 고가격대의 작곡 관련 미디어 기기를 구비하지 않아도 원하는 음악을 용이하게 작곡할 수 있다는 효과를 갖게 된다.

또한, 사용자의 입력 음성에 대한 분석 및 그 분석 결과를 통한 악보 생성을 통해 사용자가 찾고자 하는 기성곡을 검색하여 추출할 수 있도록 함에 따라, 사용자가 곡 제목이나 가수, 작곡가 등의 곡 지식을 알지 못하는 상태에서도 사용자가 찾고자 하는 기성곡을 용이하게 검색하여 찾을 수 있다는 효과를 갖게 된다.

도 1은 본 발명에 따른 입력 음성의 분석을 이용한 작곡 시스템의 전체 구성을 나타낸 도면,
도 2는 도 1에 도시된 작곡 처리 장치의 구체 구성을 나타낸 도면,
도 3은 도 2에 도시된 음성 분석 모듈의 구체 구성을 나타낸 도면,
도 4는 본 발명에 적용되는 해밍 윈도우(Hamming Window)의 파형을 나타낸 도면,
도 5는 본 발명의 바람직한 실시 예에 따라 해밍 윈도우의 중첩 처리에 의해 입력 음성의 분석 처리가 정확히 이루어지는 상태를 예시적으로 나타낸 도면,
도 6은 본 발명의 바람직한 실시 예에 따라 적용되는 FFT(Fast Fourier Transform)의 처리 과정을 도식적으로 나타낸 도면,
도 7은 도 2에 도시된 악보기호 생성 모듈의 구체 구성을 나타낸 도면,
도 8은 본 발명에 따른 입력 음성의 분석을 이용한 작곡 시스템의 동작을 설명하기 위한 플로우차트,
도 9는 본 발명의 바람직한 실시 예에 따라 구현된 편집이 가능한 악보 정보가 디스플레이되어 있는 상태를 예시적으로 나타낸 도면,
도 10은 본 발명에 입력 음성의 분석을 이용한 작곡 기능을 이용한 기성곡 검색 시스템의 구성을 나타낸 도면,
도 11은 도 10에 도시된 기성곡 검색 처리 장치의 구체 구성을 나타낸 도면이다.

이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 입력 음성의 분석을 이용한 작곡 시스템의 전체 구성을 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 시스템은 마이크로폰(10)과, 잡음 제거부(12), 아날로그-디지털 컨버터(14), 음성 메모리(16), 키입력부(18), 디스플레이부(20), 프린터부(22), 음성 출력부(23), 데이터베이스(24), 작곡 처리 장치(26)로 구성된다.

상기 마이크로폰(10)은 사용자로부터 입력되는 작곡하고자 하는 음들로 이루어진 음성을 전기적인 음성 신호로 변환하여 입력하기 위한 것이고, 상기 잡음 제거부(12)는 상기 마이크로폰(10)으로부터 입력된 음성신호에서 사용자의 음성 대역 이외의 잡음 성분을 제거하는 필터링 기능을 수행한다.

상기 아날로그-디지털 컨버터(14)는 상기 잡음 제거부(12)를 통한 사용자의 아날로그 음성 신호를 디지털 신호로 변환하는 기능을 수행하고, 상기 음성 메모리(16)는 상기 아날로그-디지털 컨버터(14)를 통해 변환된 디지털 음성 데이터를 저장한다.

여기서, 상기 마이크로폰(10)과, 잡음 제거부(12), 아날로그-디지털 컨버터(14), 음성 메모리(16)는 작곡하고자 하는 사용자의 입력 음성을 음성 처리하는 기능을 수행하는 것으로서, 통칭하여 작곡 음성 입력 장치로 한다.

상기 키입력부(18)는 해당 시스템의 실행 및 구동 상태를 설정하는 키입력을 수행하고, 사용자의 음성 분석에 의해 생성된 악보의 내용을 수정, 삭제, 추가하기 위한 키입력을 수행하는 것으로서, 통상 키보드 및 마우스 장치로 구성된다.

상기 디스플레이부(20)는 상기 작곡 처리 장치(26)를 통한 음성 분석 및 악보 기호 생성에 의해 형성되는 작곡된 악보 정보를 사용자가 가시적으로 구분할 수 있도록 디스플레이하고, 상기 프린터부(22)는 상기 작곡 처리 장치(26)를 통해 생성된 작곡 악보 정보를 프린터 출력하기 위한 것이다.

상기 음성 출력부(23)는 상기 작곡 처리 장치(26)에 의해 생성된 작곡된 악복 정보를 악기 파트별, 설정 음량별로 조정된 상태에 따라 음성 출력하기 위한 것으로서, 하드웨어로서 음성 카드 및 앰프, 스피커 등으로 이루어진다.

상기 데이터베이스(24)는 상기 작곡 처리 장치(26)를 통해 사용자의 입력 음성이 작곡된 악보 정보로 생성되면, 그 악보 정보를 저장하기 위한 것으로서, 해당 시스템의 내장 장치로서 하드디스크 드라이브 또는 내장 메모리나, 탈착 가능한 분리형 저장 장치로서 USB 메모리 등으로 이루어진다.

상기 작곡 처리 장치(26)는 상기 음성 메모리(16)로부터의 사용자의 입력 음성 데이터를 해밍 윈도우(Hamming Window)를 통해 분석하고, FFT(Fast Fourier Transform) 및 자기 상관 함수를 이용한 함수 연산 처리 알고리즘을 통해 분석하여, 그 분석된 음에 대응하는 악보 기호를 생성하여 사용자가 의도하는 작곡된 악보 정보를 생성함에 따라, 작곡된 악보 정보의 디스플레이와, 악보 편집, 프린터 출력이 가능하도록 한다.

여기서, 상기 작곡 처리 장치(26)는 도 2에 도시된 바와 같이, 음성 분석 모듈(30)과, 악보기호 생성모듈(32), 악보처리 프로그램 모듈(34), 악보 편집모듈(36), 프린터 드라이버(38)을 포함하여 구성된다.

상기 음성 분석 모듈(30)은 상기 음성 메모리(16)로부터의 사용자의 입력 음성 데이터를 각 음 단위로 해밍 윈도우의 중첩 분석을 통해 분석하고, 이를 FFT 및 자기 상관 함수를 이용한 함수 연산 처리 알고리즘을 통해 분석하여 일정 음높이 및 음길이의 주파수 신호를 발생한다.

여기서, 상기 음성 분석 모듈(30)에서는 자기 상관 함수를 적용하기 이전에 FFT를 노이즈 제거를 위한 용도로서 적용할수 있으며, 자기 상관 함수와 FFT를 선택적으로 적용할 수도 있다.

한편, 상기 음성 분석 모듈(30)은 도 3에 도시된 바와 같이, 상기 사용자의 입력 음성 데이터에 대해 시간축 및 주파수축 데이터에 따라 각 음 단위로 해밍 윈도우를 연속적으로 중첩 적용하여 주어진 음들을 분석하는 해밍 윈도우 분석부(40)와, 상기 해밍 윈도우 분석부(40)를 통해 분석된 음성 주파수 파형을 FFT 및 자기 상관 함수를 이용한 함수 연산 알고리즘을 통해 각 음들에 대한 음높이 주파수 및 음 길이를 갖는 분석된 음향 주파수 신호를 출력하는 함수 연산 처리부(42), 상기 함수 연산 처리부(42)의 함수 연산 처리 과정에서 발생되는 주요 음주파수 이외의 불요 주파수를 제거하는 불요 주파수 제거부(44)를 포함한다.

여기서, 상기 해밍 윈도우 분석부(40)는 도 4에 도시된 바와 같이 하나의 해밍 윈도우와 그 윈도우 내에 들어간 음성 주파수 값을 곱하여 윈도우의 처음 부분과 끝 부분이 "0"에 가깝고 중간 부분이 볼록한 파형의 형태로 만들어지게 되면 분석이 정확하게 이루어지지만, 실질적으로 하나의 해밍 윈도우 크기 내에 하나의 음에 해당하는 소리 주파수가 들어가지 않는 경우에 분석 결과에 에러가 발생하기 때문에, 분석의 정확성을 높이기 위해 각각의 해밍 윈도우를 중첩시켜서 분석 오차를 줄일 수 있도록 한다.

즉, 도 5에 도시된 바와 같이, 제1해밍 윈도우(HW1)와 제2해밍 윈도우(HW2)를 각각 중첩 시켜서 입력 음성 데이터의 주파수를 분석하게 되는데, 제1해밍 윈도우(HW1)에 대해서 FFT를 수행한 이후에, 제2 해밍 윈도우(HW2)에 대해서 FFT를 수행한다.

이 상태에서는, 상기 제1해밍 윈도우(HW1)가 중앙 윈도우 부분을 기준으로 좌측과 우측 파형이 다르게 되는 경우 즉, 하나의 윈도우에 2개의 음이 존재하는 경우에 해당 제1해밍 윈도우(HW1)만을 가지고는 음성의 분석이 제대로 이루어지지 못하게 되지만, 후단의 중첩된 제2해밍 윈도우(HW2)에서 중첩된 영역에 대한 음의 분석을 수행할 수 있으므로 오차 없는 정확한 음 분석이 가능하게 된다.

한편, 상기 함수 연산 처리부(42)에서의 자기 상관 함수는 여러 가지 주기에 대해서 파형이 얼마나 동일성을 가지고 있는지를 나타낼 수 있는 함수로서, 실제 음성의 주기에 해당되는 값에서 자기 상관 함수의 값이 가장 작게 되는데, 그 수식은 하기한 수학식 1에 나타난 바와 같다.

여기서, "k"는 주기에 해당된다.

또한, 상기 함수 연산 처리부(42)에서 FFT는 DFT(Discrete Fourier Transform)과 동일한 결과를 발생시키면서도 더 빠른 처리 속도를 갖는 알고리즘으로서, 상기 DFT에 대한 수식은 하기한 수학식 2와 같이 나타나고, 상기 FFT의 수식은 하기한 수학식 3과 같이 나타난다.

즉, 상기 FFT는 도 6에 도시된 바와 같이, N개의 점에 대한 DFT를 홀수 점과 짝수 점으로 나눈 후에, N/2개의 점에 대한 DFT를 각각 수행하고 이를 합치는 과정과 동일하게 된다.

도 2에서, 상기 악보기호 생성모듈(32)은 상기 음성 분석모듈(30)을 통해서 분석된 결과의 음향 주파수에 대한 음높이의 주파수에 따라 악보의 음 높이 및 음 길이를 결정하는 악보 기호를 생성한다.

상기 악보기호 생성모듈(32)은 도 7에 도시된 바와 같이, 악보에 기보할 수 있는 전체 81개의 음들에 대한 주파수를 각 음 높이별 번호(No.0∼No.81)가 부여되어 저장하고 있는 주파수 테이블(50)과, 상기 음성 분석 모듈(30)에서 각각 분석된 음향 주파수(즉, 각 윈도우별 주파수 신호)를 상기 주파수 테이블(50)의 음 높이별 주파수와 비교하여 동일 음 높이의 주파수에 부여된 번호를 출력하는 주파수 비교부(52)를 포함한다.

여기서, 상기 주파수 비교부(52)에 입력되는 각 윈도우별 음향 주파수 신호는 16분 음표 길이 단위로 결정되며, 상기 주파수 비교부(52)에서는 각 16분 음표 길이의 연속적인 음들에 대해 길이를 더해가면서 동일 주파수 번호를 출력한다.

단, 본 발명에서는 음표 길이 단위를 16분 음표로 예시하여 설명하고 있지만, 이에 한정되지는 않는 것으로서, 음표 단위를 2분, 4분, 8분, 32분 음표 단위 등과 같이 다양하게 적용할 수 있음은 물론이다.

상기 악보처리 프로그램 모듈(34)은 상기 악보 기호 생성모듈(32)에 의해 생성되는 악보 기호를 악보 포맷 상에 기보 처리하여 악보를 완성하는 작업을 수행하고, 완성된 악보에 대한 편집 처리와 다양한 악기 음원의 설정을 통한 음성 출력, 작곡된 악보의 디스플레이를 위한 프로그램 구동을 수행한다.

상기 악보 편집모듈(36)은 상기 키입력부(18)에 의한 사용자의 조작을 통해서 상기 악보 처리 프로그램 모듈(34)에 의해 생성된 작곡된 악보 정보의 악보 내용을 음표 등의 추가, 수정, 삭제의 편집 기능을 수행하는 것으로서, 해당 악보 편집모듈(36)은 상기 악보 처리 프로그램 모듈(34)의 악보 편집 알고리즘을 갖는 보조적 프로그램 모듈로서 기능하게 된다.

상기 프린터 드라이버(38)는 상기 키입력부(18)의 키입력을 통한 상기 악보 처리 프로그램 모듈(34)의 프린터 출력 명령에 따라 구동되어 상기 프린터부(22)에 프린터 출력할 악보 데이터를 전송한다.

이어, 상기한 바와 같이 이루어진 본 발명의 일예에 따른 동작에 대해 도 8의 플로우차트를 참조하여 상세히 설명한다.

먼저, 사용자가 마이크로폰(10)을 통해 자신이 작곡하고자 하는 음이 포함된 음성을 입력하게 되면, 잡음 제거부(12)를 통해 사용자의 음성을 제외한 잡음 성분이 제거되고, 아날로그-디지털 컨버터(14)를 통해 디지털 변환된 다음에, 음성 메모리(16)에 저장된다(단계 S10).

그 상태에서, 작곡 처리 장치(26)의 음성 분석모듈(30)에서는 해밍 윈도우 분석부(40)를 이용하여 입력음성 데이터의 각 음 단위를 16분 음표의 음길이 단위로 하여 해밍 윈도우를 생성하되, 각각의 윈도우가 50%의 중첩율로 서로 중첩되고(단계 S11), 각각 중첩된 해밍 윈도우를 이용하여 연속적으로 입력 음성의 음들을 분석하게 된다(단계 S12).

이 때, 상기 음성 분석모듈(30)의 함수 연산 처리부(42)에서는 FFT의 함수 연산 알고리즘을 통해 각 해밍 윈도우의 음성 주파수를 연산 처리하게 되고(단계 S13), 불요 주파수 제거부(44)를 통해 필요한 음 이외의 불필요한 주파수 성분을 제거한 다음에(단계 S14), 다시 인버스(Inverse) FFT를 적용하여 연산 처리하게 된다(단계 S15).

그리고, 상기 함수 연산 처리부(42)는 FFT 연산 처리된 음성 주파수에 대해 자기 상관 함수를 적용하여 각각의 16분음 길이 단위의 음에 대해 분석을 진행하게 되는데(단계 S16), 각각의 16분음 길이 단위의 음성 주파수에 대해 최대 피크치로 음이 결정된 음향 주파수를 생성하여 분석된 음향 주파수로서 출력하게 된다(단계 S17).

그러면, 상기 작곡 처리 장치(26)의 악보 기호 생성모듈(32)은 각 해밍 윈도우별로 분석된 음향 주파수를 81개의 음 높이에 대한 음성 주파수가 저장된 주파수 테이블(50)의 음성 주파수를 주파수 비교부(52)를 통해 연속적으로 비교하여 16분 음표의 길이 단위로 상기 주파수 테이블(50)의 음 높이와 동일한 음높이의 음성 주파수를 미리 설정된 번호로 출력하게 된다(단계 S18).

그에 따라, 상기 작곡 처리 장치(26)의 악보 처리 프로그램 모듈(34)은 상기 악보 기호 생성모듈(32)을 통해 생성된 16분 음표 단위의 음 번호를 병합하여 사용자가 작곡하고자 하는 의도된 악보 정보를 생성하게 되고(단계 S18), 그 생성된 악보 정보를 도 9에 도시된 형태로 디스플레이부(20)를 통해 디스플레이하게 된다(단계 20).

한편, 상기 악보 처리 프로그램 모듈(34)과 연계되어 있는 악보 편집 모듈(36)은 키입력부(18)의 사용자 조작에 의해 도 9에 도시된 형태의 악보에 대한 편집을 진행하고자 하는지를 판단하게 되는데(단계 S21), 악보 편집을 위한 키입력이 이루어지게 되면 해당 악보 상의 음표에 대한 수정, 추가, 삭제와 같은 편집 처리를 수행하게 된다(단계 S22).

또한, 상기 키입력부(18)의 사용자 키입력에 의해 작곡된 악보를 프린트 출력하는 조작이 이루어지는 지를 판단하게 되고(단계 S23), 프린트 출력을 위한 키입력이 이루어지게 되면 프린터 드라이버(38)가 구동되어 프린터부(22)를 통해 해당 악보가 프린트 출력될 수 있게 된다(단계 S24).

그 이외에도 상기 키입력부(18)의 사용자 조작에 따라 상기 악보 처리 프로그램 모듈(34)의 프로그램 메뉴 입력이 이루어지면서, 작곡된 악보에 대한 다양한 악기 파트 설정 및 음성 출력이 가능하도록 한다.

그 다음에, 도 10은 본 발명에 입력 음성의 분석을 이용한 작곡 기능을 이용한 기성곡 검색 시스템의 구성을 나타낸 도면이다.

동 도면에서는, 도 1의 구성과 동일한 구성요소에 대해서는 동일한 참조부호를 부여하면서 그에 대한 상세한 성명은 생략하기로 한다.

도 10에 도시된 바와 같이, 본 발명의 기성곡 검색 시스템은, 마이크로폰(10)과, 잡음 제거부(12), 아날로그-디지털 컨버터(14), 음성 메모리(16), 키입력부(18), 디스플레이부(20), 프린터부(22), 음성 출력부(23), 작곡 처리 장치(26), 기성곡 검색 처리 장치(60), 데이터베이스(62)로 구성된다.

상기 기성곡 검색 처리 장치(60)는 상기 작곡 처리 장치(26)에서 완성된 악보 정보를 근거로, 해당 악보 정보에 포함된 음정과 박자 정보의 음정 및 박자 차이를 분석하여 상기 데이터베이스(62)에 저장된 다수의 기성곡 중에서 가장 유사한 음정 및 박자 정보를 갖는 기성곡을 검색하여 추출하게 된다.

여기서, 상기 기성곡 검색 처리 장치(60)는 도 11에 도시된 바와 같이, 상기 작곡 처리 장치(26)의 악보 정보에서 음정 정보에 해당되는 연속적인 16분 음표 음정 번호들 간의 차이를 구하여 그 차이에 따른 음정 쿼리(음정 스트링 정보)를 생성하는 음정 쿼리 생성부(70)와, 상기 음정 쿼리 생성부(70)의 음정 차이의 정도를 구분하기 위한 음정 한계점이 설정되어 있는 피치 한계 설정부(Pitch Threshold)(72), 상기 작곡 처리 장치(26)의 악보 정보에서 음의 길이에 해당되는 연속적인 16분 음표 단위의 음 길이 차이를 구하여 그 차이에 따른 박자 쿼리(박자 스트링 정보)를 생성하는 박자 쿼리 생성부(74), 상기 박자 쿼리 생성부(74)의 박자 차이 정도를 구분하기 위한 음 길이 한계점이 설정되어 있는 길이 한계 설정부(Length Threshold)(76), 상기 음정 쿼리 생성부(70)로부터의 음정 쿼리에 따른 음정 스트링 정보와, 상기 박자 쿼리 생성부(74)로부터의 박자 쿼리에 따른 박자 스트링 정보를 근거로 상기 데이터베이스(62)의 기성곡에 대한 스트링 정보와 비교하여 유사도가 높은 기성곡을 추출하는 검색 및 비교 모듈(78), 상기 검색 및 비교 모듈(78)을 통해 추출된 유사도가 높은 기성곡의 곡 목록 정보를 상기 작곡 처리 장치(26)의 악보 처리 프로그램 모듈(34)에 출력하는 곡 목록 출력부(80)를 포함하여 구성된다.

상기 음정 쿼리 생성부(70)에서는 음정의 차이 기준을 각각 U, u, D, d, R로 설정하게 되는데, 상기 U 와 u는 16분 음표 단위의 연속적인 각 음에서 음 높이가 이전 음의 음 높이보다 높아진 상태를 의미하는 것으로서, U는 상기 피치 한계 설정부(72)의 피치 한계점 설정치에 의거하여 많이 높아진 경우를 나타내고, u는 조금 높아진 경우를 나타낸다.

또한, 상기 D와 d는 16분 음표 단위의 연속적인 각 음에서 음 높이가 이전 음의 높이보다 낮아진 상태를 의미하는 것으로서, D는 상기 피치 한계 설정부(72)의 피치 한계점 설정치에 의거하여 많이 낮아짐을 나타내고, d는 조금 낮아짐을 나타낸다. 상기 R은 이전 음과 다음 음의 음 높이가 동일함을 나타낸 것이다.

이에, 상기 음정 쿼리 생성부(70)는 음정 쿼리로서 UDR(UuDdR) 스트링 정보를 상기 검색 및 비교 모듈(78)에 제공한다.

상기 박자 쿼리 생성부(74)는 박자의 차이 기준을 각각 S, s, L, l, R로 설정하게 되는데, 상기 S 와 s는 16분 음표 단위의 연속적인 각 음에서 음 길이가 이전 음의 음 길이보다 짧아진 상태를 의미하는 것으로서, S는 상기 길이 한계 설정부(76)의 길이 한계점 설정치에 의거하여 많이 짧아진 경우를 나타내고, u는 조금 짧아진 경우를 나타낸다.

또한, 상기 L와 l는 16분 음표 단위의 연속적인 각 음에서 음 길이가 이전 음의 길이보다 길어진 상태를 의미하는 것으로서, L는 상기 길이 한계 설정부(76)의 길이 한계점 설정치에 의거하여 많이 길어짐을 나타내고, l는 조금 길어짐을 나타낸다. 상기 R은 이전 음과 다음 음의 음 길이가 동일함을 나타낸 것이다.

이에, 상기 박자 쿼리 생성부(74)는 박자 쿼리로서 SLR(SsLlR) 스트링 정보를 상기 검색 및 비교 모듈(78)에 제공한다.

한편, 상기 검색 및 비교 모듈(78)에서는 상기 음정 쿼리 생성부(70) 및 박자 쿼리 생성부(74)로부터의 각각의 스트링 정보를 패턴화하고, 상기 데이터베이스(62)에 저장된 악보의 스트링을 텍스트로 지정하여, 해당 텍스트로부터 스트링의 패턴과 길이가 같은 복수개의 서브 스트링을 검색하고, 그 복수의 서브 스트링 중에서 스트링 패턴과의 유사도 값이 가장 큰 것을 비교하여 추출하게 된다.

상기 데이터베이스(62)는 사용자가 찾고자 하는 다수의 기성곡(사용자가 이전에 작곡하여 저장한 곡을 포함함) 정보가 악보 스트링 정보 형태로 저장되어 있다.

상기에서 본 발명의 특정한 실시 예가 설명 및 도시되었지만, 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같은 변형된 실시 예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.

10:마이크로폰, 12:잡음 제거부,
14:아날로그-디지털 컨버터(ADC), 16:음성 메모리,
18:키입력부, 20:디스플레이부,
22:프린터부, 23:음성 출력부,
24,62:데이터베이스, 26:작곡 처리 장치,
60:기성곡 검색 처리 장치.

Claims (4)

1. 사용자로부터 입력되는 음성을 잡음 제거 및 디지털 변환을 거쳐서 저장하는 작곡 음성 입력 장치와;
   해당 시스템의 실행 및 구동 상태를 설정하는 키입력을 수행하고, 사용자의 음성 분석에 의해 생성된 악보의 내용을 수정, 삭제, 추가하기 위한 키입력을 수행하는 키입력부;
   사용자의 입력 음성 데이터를 각 음 단위로 해밍 윈도우(Hamming Window)의 중첩 분석을 통해 분석하고, 분석된 음성 주파수 파형을 FFT(Fast Fourier Transform) 및 자기 상관 함수를 이용한 함수 연산 처리 알고리즘을 통해 분석하여 불요 주파수가 제거된 일정 음높이 및 음길이의 주파수 신호를 발생하고, 발생된 주파수 신호에 대응하는 악보 기호를 생성하여 악보 정보를 생성함으로써, 상기 키입력부의 키입력에 따라 악보 정보의 디스플레이와, 악보 편집, 프린터 출력이 가능하도록 하는 작곡 처리 장치;
   상기 작곡 처리 장치에서 완성된 악보 정보에 포함된 음정과 박자 정보를 근거로, 데이터베이스에 저장된 다수의 기성곡 중에서 가장 유사한 음정 및 박자 정보를 갖는 기성곡을 검색하여 추출하는 기성곡 검색 처리 장치; 및
   다수의 기성곡 정보가 악보 스트링 정보 형태로 저장되어 상기 기성곡 검색 장치로 기성곡의 검색을 위해 제공하는 데이터베이스를 포함하여 구성된 것을 특징으로 하는 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템.
2. 제 1 항에 있어서,
   상기 작곡 처리 장치는, 상기 작곡 음성 입력 장치로부터의 사용자의 입력 음성 데이터를 각각 16분 음표의 음 길이 단위로 해밍 윈도우를 생성하되, 각각의 연속되는 해밍 윈도우를 50% 중첩하여 분석하고, 각 해밍 윈도우 별로 FFT 및 자기 상관 함수를 이용한 함수 연산 처리 알고리즘을 통해 분석하여 일정 음높이 및 음길이의 주파수 신호를 발생하는 음성 분석 모듈과,
   상기 음성 분석모듈을 통해서 분석된 결과의 음성 주파수에 따라 악보의 음 높이 및 음 길이를 결정하는 악보 기호를 생성하는 악보기호 생성모듈,
   상기 악보 기호 생성모듈에 의해 생성되는 악보 기호를 병합하여 악보 정보를 생성하고, 완성된 악보에 대한 편집 처리와 다양한 악기 음원의 설정을 통한 음성 출력, 작곡된 악보의 디스플레이를 위한 프로그램 구동을 수행하는 악보처리 프로그램 모듈,
   상기 키입력부에 의한 악보 편집을 위한 키입력에 따라 상기 악보 처리 프로그램 모듈에 의해 생성된 악보 정보의 악보 내용을 추가, 수정, 삭제하는 편집 기능을 수행하는 악보 편집모듈 및,
   상기 키입력부에 의한 프린트 출력을 위한 키입력에 따라 구동되어 상기 악보 처리 프로그램 모듈로부터의 악보 정보를 프린터부에 전송하는 프린터 드라이버를 포함하여 구성된 것을 특징으로 하는 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템.
3. 제 2 항에 있어서,
   상기 악보 기호 생성모듈은 악보에 기보 가능한 전체 81개의 음들에 대한 주파수를 각 음 높이별 번호가 부여되어 저장하고 있는 주파수 테이블과,
   상기 음성 분석 모듈에서 각각 분석된 16분 음표 단위의 음성 주파수를 상기 주파수 테이블의 음 높이별 주파수와 비교하여 동일 음 높이의 주파수에 부여된 번호를 출력하는 주파수 비교부를 포함하여 구성된 것을 특징으로 하는 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템.
4. 제 3 항에 있어서,
   상기 기성곡 검색 처리 장치는, 상기 작곡 처리 장치의 악보 정보에서 음정 정보에 해당되는 연속적인 16분 음표 음정 번호들 간의 차이를 구하여 그 차이에 따른 음정 쿼리의 스트링 정보를 생성하는 음정 쿼리 생성부와,
   상기 음정 쿼리 생성부의 음정 차이의 정도를 구분하기 위한 음정 한계점이 설정되어 있는 피치 한계 설정부(Pitch Threshold),
   상기 작곡 처리 장치의 악보 정보에서 음의 길이에 해당되는 연속적인 16분 음표 단위의 음 길이 차이를 구하여 그 차이에 따른 박자 쿼리의 스트링 정보를 생성하는 박자 쿼리 생성부,
   상기 박자 쿼리 생성부의 박자 차이 정도를 구분하기 위한 음 길이 한계점이 설정되어 있는 길이 한계 설정부(Length Threshold),
   상기 음정 쿼리 생성부로부터의 음정 쿼리에 따른 음정 스트링 정보와, 상기 박자 쿼리 생성부로부터의 박자 쿼리에 따른 박자 스트링 정보를 상기 데이터베이스의 기성곡에 대한 스트링 정보와 비교하여 유사도가 높은 기성곡을 추출하는 검색 및 비교 모듈 및,
   상기 검색 및 비교 모듈을 통해 추출된 유사도가 높은 기성곡의 곡 목록 정보를 상기 작곡 처리 장치에 출력하는 곡 목록 출력부를 포함하여 구성된 것을 특징으로 하는 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템.
   

Images