KR101312967B1 - 성별 판별 기능을 제공하는 가라오케 시스템 및 그 동작방법 - Google Patents

Abstract

사용자의 성별 판별 기능을 제공하는 가라오케 시스템 및 그 동작방법. 상기 가라오케 시스템의 일실시예에 따르면, 사용자의 선곡에 따른 반주 동작을 수행하기 위하여 미디 정보를 처리하여 반주 신호를 출력하는 오디오 처리부와, 상기 사용자로부터의 음성 신호를 수신하는 마이크 입력부 및 상기 사용자로부터의 음성 신호로부터 기본 주파수를 추정하고, 상기 미디 정보에 포함된 적어도 제1 정보를 이용하여 상기 미디 정보의 주파수에 관련된 정보를 갖는 제2 정보로 변환하며, 상기 기본 주파수 및 상기 제2 정보를 비교함에 의하여 상기 사용자의 성별을 판별하는 성별 판별부를 구비하는 것을 특징으로 한다.

Description

성별 판별 기능을 제공하는 가라오케 시스템 및 그 동작방법{Karaoke system and Operating method providing gender determination function}

본 발명은 가라오케 시스템 및 그 동작방법에 관한 것으로서, 자세하게는 사용자의 성별 판별 기능을 제공하는 가라오케 시스템 및 그 동작방법에 관한 것이다.

일반적으로 가라오케(karaoke) 시스템으로 지칭되는 영상 가요 반주기는, 다수의 반주 정보, 영상 정보 및 인덱스 정보 등을 포함하는 가라오케 정보가 저장된 광 디스크를 재생하는 장치를 구비한다. DVD 와 같은 고 용량의 광 디스크에 상기 가라오케 정보를 저장함에 따라 수천 또는 수만 곡의 노래가 저장될 수 있으며, 또는 하드 디스크 등 내부 저장장치를 통하여 노래를 저장하여 반주 동작을 수행할 수 있다. 광 디스크나 하드 디스크 등의 저장 매체의 용량 증가는 가라오케 사용자의 각 디스크에 수록되는 노래의 수적인 측면에서의 만족도를 증가시킬 수 있다. 또한, 가라오케 정보가 저장된 외부의 저장 매체를 연결하기 위한 인터페이스 수단이 가라오케 시스템에 구비됨에 따라, 가라오케 시스템 내부에 저장된 정보 이외의 외부 저장매체를 통한 노래의 반주가 수행될 수 있다.

가라오케 시스템을 이용하는 사용자에게 최적의 반주 효과를 제공하는 것이 요구로 된다. 사용자에게 재미를 부여하기 위하여 반주 모드, 속도, 점수 채점, 조명 효과 등 다양한 요소를 통해 사용자에게 흥미를 부여하고 있으며, 사용자의 성별에 맞추어 최적의 반주를 제공하기 위한 키 조절 기능을 제공하고 있다. 특히 사용자의 성별은 반주를 수행하는 가라오케 시스템이나 반주에 맞추어 노래를 부르는 사용자에게 있어서는 중요한 요소가 된다. 그러나, 상기한 바와 같은 반주를 위한 기능들은 대부분 사용자의 수동적인 조절을 통하여 그 기능이 제공되고 있으므로, 각각의 곡을 선곡할 때 마다 자신의 성별에 맞추어 수동적인 기능 조절을 수행하여야 하는 불편함이 발생한다. 또한, 음성 신호로부터 신호 분석을 통해 성별을 판별하는 기술들이 제시되어 왔으나, 이는 가창 중에 판별하는 것이 아닌 일상 대화 음을 기준으로 성별을 판단하는 것으로서, 이와 같은 판단 기술을 가라오케 시스템에 적용하는 것은 부적절한 문제가 발생한다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 마이크로부터 입력되는 음성 신호를 가라오케 정보와 비교하여 실시간으로 성별을 판단하는 기능을 제공하는 가라오케 시스템 및 그 동작방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은, 실시간으로 성별을 판단한 결과에 따라 반주 기능을 자동으로 제어할 수 있는 가라오케 시스템 및 그 동작방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 가라오케 시스템은, 사용자의 선곡에 따른 반주 동작을 수행하기 위하여 미디 정보를 처리하여 반주 신호를 출력하는 오디오 처리부와, 상기 사용자로부터의 음성 신호를 수신하는 마이크 입력부 및 상기 사용자로부터의 음성 신호로부터 기본 주파수를 추정하고, 상기 미디 정보에 포함된 적어도 제1 정보를 이용하여 상기 미디 정보의 주파수에 관련된 정보를 갖는 제2 정보로 변환하며, 상기 기본 주파수 및 상기 제2 정보를 비교함에 의하여 상기 사용자의 성별을 판별하는 성별 판별부를 구비하는 것을 특징으로 한다.

바람직하게는, 상기 가라오케 시스템은, 상기 사용자의 성별 판별 결과에 따라 상기 오디오 처리부의 반주 동작을 제어하는 제어부를 더 구비하는 것을 특징으로 한다.

또한 바람직하게는, 상기 성별 판별부는, 상기 음성 신호에 대한 필터링 동작을 포함하는 전처리부와, 상기 전처리된 음성 신호에 대해 상기 기본 주파수를 추정하는 기본 주파수 추정부와, 상기 제1 정보를 상기 제2 정보로 변환하기 위한 정보를 저장하는 변환 정보 테이블 및 상기 기본 주파수 추정부로부터 출력된 기본 주파수와 상기 변환 정보 테이블로부터 출력된 제2 정보를 비교함에 의하여 상기 사용자의 성별을 결정하는 성별 결정부를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 성별 판별부는, 제1 시간 구간 동안 다수 회의 상기 기본 주파수 및 상기 제2 정보에 대한 비교 동작을 수행하며, 상기 음성 신호에 대해 상기 기본 주파수를 추정하는 기본 주파수 추정부와, 상기 제1 정보를 상기 제2 정보로 변환하기 위한 정보를 저장하는 변환 정보 테이블와, 상기 기본 주파수 추정부로부터 출력된 기본 주파수와 상기 변환 정보 테이블로부터 출력된 제2 정보를 비교하는 주파수 비교부와, 상기 제1 시간 구간 동안, 상기 다수 회의 비교 동작에 따른 결과를 카운팅하는 카운팅부 및 상기 카운팅 결과를 이용하여, 상기 제1 시간 구간 동안 소정의 비율 이상 동일한 비교 결과가 발생된 경우, 해당 비교 결과에 따라 상기 사용자의 성별을 결정하는 성별 결정부를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 미디 정보로부터 생성된 제2 정보는, 상기 사용자가 여성에 해당하는 경우의 기본 주파수에 관련된 정보를 포함하고, 상기 성별 판별부는, 상기 음성 신호로부터 추정된 기본 주파수를 상기 제2 정보에 따른 기본 주파수와 상기 제2 정보에 따른 기본 주파수의 절반에 해당하는 주파수와 각각 비교하고, 그 비교 결과에 따라 상기 사용자의 성별을 판별하는 것을 특징으로 한다.

한편, 본 발명의 일실시예에 따른 가라오케 시스템의 동작방법은, 사용자의 선곡에 따른 반주 동작을 수행하기 위하여 미디 정보를 처리하여 반주 신호를 출력하는 단계와, 상기 사용자로부터의 음성 신호를 수신하는 단계와, 상기 사용자로부터의 음성 신호로부터 기본 주파수를 추정하는 단계와, 상기 미디 정보에 포함된 적어도 제1 정보를 이용하여 상기 미디 정보의 주파수에 관련된 정보를 갖는 제2 정보로 변환하는 단계 및 상기 기본 주파수 및 상기 제2 정보를 비교함에 의하여 상기 사용자의 성별을 판별하는 단계를 구비하는 것을 특징으로 한다.

상기한 바와 같은 본 발명의 가라오케 시스템 및 그 동작방법에 따르면, 마이크로부터 입력되는 음성 신호 및 가라오케 정보에 기 저장된 데이터를 이용하여 실시간으로 사용자의 성별을 판단할 수 있는 효과가 있다.

또한, 본 발명의 가라오케 시스템 및 그 동작방법에 따르면, 가라오케 시스템의 반주 도중 실시간으로 사용자의 설명을 판별하여 사용자의 성별에 맞도록 반주 동작을 실시간으로 제어할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 가라오케 시스템을 나타내는 블록도이다.
도 2는 도 1의 성별 판별부의 일 구현예를 나타내는 블록도이다.
도 3은 도 2의 기본 주파수 추정부의 일 구현예를 나타내는 블록도이다.
도 4a,b는 미디의 노트를 주파수로 변환한 결과 및 음에 대한 하모닉 구조의 일예를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 가라오케 시스템의 동작방법의 일예를 나타내는 플로우차트이다.
도 6은 본 발명의 다른 실시예에 따른 가라오케 시스템의 일 구현예를 나타내는 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 가라오케 시스템의 동작방법의 일예를 나타내는 플로우차트이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 가라오케 시스템을 나타내는 블록도이다. 도 1에 도시된 바와 같이, 상기 가라오케 시스템(1000)은 시스템 전체의 동작을 제어하기 위한 시스템 구동부(1100) 및 기타 장치들을 포함한다. 시스템 구동부(1100)는 가라오케 시스템(1000)의 각종 기능들을 소프트웨어적으로 처리하기 위한 프로세서로 구현될 수 있다. 또한, 상기 가라오케 시스템(1000)에 구비되는 기타 장치들로서, 사용자의 선곡 신호나 각종 반주에 대한 음정, 속도 등의 조절을 위한 외부 명령을 입력받는 키 입력부(1210), 가라오케 시스템(1000)에 연결된 마이크로부터 사용자의 음성 신호를 수신하는 마이크 입력부(1220) 및 각종 노래의 반주를 위한 가라오케 정보로서 미디 정보를 저장하는 미디 정보 저장부(1230)를 포함할 수 있다. 또한, 외부 저장 매체(1310)와의 연결을 위한 외부 매체 인터페이스(1320)가 가라오케 시스템(1000)에 구비되며, 외부 저장 매체(1310)에 저장된 미디 정보가 가라오케 시스템(1000)에 의해 처리되어 반주 동작이 수행될 수 있다.

한편, 시스템 구동부(1100)는 반주 동작을 수행하기 위한 각종 구성들을 포함하며, 일예로서 반주를 위한 전반적인 동작을 제어하는 제어부(1110), 미디 정보 저장부(1230)나 외부 저장 매체(1310)에 저장된 미디 정보를 처리하는 오디오 처리부(1120)와 반주 동작시 함께 출력될 화면의 영상 정보를 처리하는 비디오 처리부(1130)를 포함할 수 있다. 또한, 상기 오디오 처리부(1120)로부터 출력되는 반주 신호와 마이크 입력부(1220)를 통해 수신된 사용자의 음성 신호를 믹싱하여 출력하는 오디오 믹싱부(1150)가 시스템 구동부(1100)에 포함될 수 있다.

한편, 본 발명의 실시예에 따라 사용자의 실시간 성별 판별을 위하여, 상기 가라오케 시스템(1000)은 성별 판별부(1140)를 더 포함할 수 있다. 도 1에서는 성별 판별부(1140)가 시스템 구동부(1100)에 구비되는 기능 블록으로 도시되었으나, 상기 성별 판별부(1140)는 동일한 기능을 수행하도록 하면서 시스템 구동부(1100)의 외부에 별도로 구비되어도 무방하다.

사용자에 의해 노래가 선곡되며, 시스템 구동부(1100)는 해당 선곡 정보를 이용하여 오디오 처리부(1120)의 구동을 제어하여 반주 신호가 출력되도록 한다. 또한, 이와 동시에 마이크 입력부(1220)를 통한 사용자의 음성 신호가 반주 신호와 믹싱되어 출력되며, 또한 비디오 처리부(1130)에 의해 영상 정보가 처리되어 반주 동작과 함께 영상이 화면에 출력된다.

실시간 성별 판별 동작은 제어부(1110)의 제어하에서 성별 판별부(1140)에 의해 수행될 수 있으며, 상기 성별 판별 동작의 일예를 도 2 및 도 3을 참조하여 설명하면 다음과 같다. 도 2는 도 1의 성별 판별부의 일 구현예를 나타내는 블록도이며, 도 3은 도 2의 기본 주파수 추정부의 일 구현예를 나타내는 블록도이다.

일반적으로 미디에서는 노트(note)라는 용어를 사용하여 수치로 음의 높이 또는 주파수를 표현한다. 따라서 미디 정보에 포함된 노트를 이용하여 이에 대응하는 기본 주파수로 변환이 가능하다. 이렇게 변환된 기본 주파수는 여성이 음계에 따라 노래하였을 때의 기본 주파수와 대략 일치하게 된다. 남성과 여성의 기본 주파수는 2배의 관계에 있다는 사실을 바탕으로 미디 정보의 노트로부터 직접 변환된 미디 주파수를 여성으로 판별하기 위한 기준 주파수로 하고, 미디 주파수의 절반 주파수를 남성을 판별하기 위한 기준 주파수로 하여 마이크로부터 측정된 음성 신호의 기본 주파수를 남성과 여성의 기준 주파수와 비교하여 성별을 판별한다.

도 2에 도시된 바와 같이, 성별 판별부(1140)는 전처리부(1141), 기본 주파수 추정부(1142), 성별 결정부(1144) 및 변환 정보 테이블(1143)을 포함할 수 있다. 마이크를 통해 입력되는 사용자의 음성 신호는, AD 컨버터(미도시)를 통해 소정의 주파수로 샘플링되어 가라오케 시스템(1000) 내부로 전달되며, 상기 음성 신호는 사용자의 실제 음성 뿐만 아니라 노래 반주 음과 같은 잡음들도 함께 입력되며 이러한 잡음들은 음성 신호에서 정확한 기본 주파수의 추정을 방해하는 요소로 작용한다. 따라서 전처리부(1141)는 잡음 제거 및 기본 주파수 추정을 용이하게 하기 위한 대역 통과 필터(Band Pass Filter)로 구성될 수 있으며 사용자의 가청 주파수 범위인 80Hz에서 2kHz의 대역폭(Bandwidth)을 갖는다.

음성 신호의 기본 주파수를 추정하기 위한 다양한 방법들이 이용될 수 있다. 일예로서, 기본 주파수를 추정하는 방법은 시간 영역 방법(Time Domain Method)과 주파수 영역 방법(Frequency Domain Method) 등이 이용될 수 있으며, 주파수 영역 방법(Frequency Domain Method)의 경우 퓨리에 변환(FFT : Fast Fourier Transform), 필터 뱅크(Filter Bank Method) 및 켑스트럼(Cepstrum) 방법 등이 있다. 주파수 영역 알고리즘들은 측정된 음성 신호를 주파수 변환함으로써 배경 잡음에 강인하게 음성 신호의 기본 주파수를 추정할 수 있다.

기본 주파수 추정부(1142)는 상기한 방법들 중 어느 하나를 이용하여 음성 신호의 기본 주파수를 추정할 수 있다. 켑스트럼(Cepstrum) 방식을 일예로서 설명하면, 음성 신호 x(n)은 시간 영역에서 임펄스 열(Impulse Train) p(n)과 음성 모델 g(n)의 컨벌루션(convolution) 연산으로 나타낼 수 있으며 주파수 영역에서는 각 p(n)과 g(n)이 주파수 변환된 P(z)와 G(z)의 곱으로 나타낼 수 있다. 이를 다음의 수학식으로서 x(n)=p(n)*g(n) ⇔ X(z)=P(z)G(z)로 표현될 수 있다(수학식 1).

이때 주파수 변환된 음성 신호 X(z)에 로그 함수(Log)를 적용하면 P(z)와 G(z)를 곱의 형태에서 합의 형태로 변환이 가능하여 쉽게 분리 할 수 있다. 이를 다시 시간 영역으로 역 주파수 변환하면 음성 신호의 켑스트럼이 구해진다. 이러한 켑스트럼의 낮음 큐퍼런시(Quefrency) 영역은 음성 모델에 관한 정보가 있으며, 높은 큐퍼런시 영역은 임펄스 열에 대한 정보가 들어 있다. 따라서 높은 큐퍼런시 영역의 정보로부터 음성 신호의 피치를 추정할 수 있다. 이때 추정된 피치 정보는 음성 신호의 주기를 나타내므로 다음의 수학식 fundamentalfrequency(Hz) = Fs/Test (단, Fs는 샘플링 주파수, Test는 큐퍼런시 영역에서 추정된 피치)로부터 간단히 기본 주파수로 변환할 수 있다(수학식 2).

상기와 같은 동작에 의하여 음성 신호의 기본 주파수가 추정될 수 있으며, 도 3은 켑스트럼 방식에 따라 기본 주파수를 추정하기 위한 기본 주파수 추정부(1142)의 일 구현예를 나타낸다. 도 3에 도시된 바와 같이 기본 주파수 추정부(1142)는 입력 음성 신호에 32ms의 길이를 갖는 해닝 창(hanning window)를 취한 뒤 퓨리에 변환(Fourier Transform), 로그 함수(Log) 및 역 퓨리에 변환(Inverse FT)를 거쳐 켑스트럼을 구하여 높은 큐퍼런시 영역에서 피치 값을 추정하고, 추정된 피치 값을 변환한 값을 음성 신호의 기본 주파수 추정 결과로서 출력한다.

한편, 성별 결정부(1144)는 음성 신호로부터 추정된 기본 주파수와 반주 동작시 실시간으로 처리되는 미디 정보에 포함된 적어도 하나의 데이터에 근거하여 음성 신호를 입력한 사용자의 성별을 판별한 결과(Det_gen)를 발생한다. 또한, 상기 미디 정보에 포함된 적어도 하나의 데이터는 변환 정보 테이블(1143)로 제공되고, 변환 정보 테이블(1143)은 상기 입력된 적어도 하나의 데이터에 대응하는 값을 다른 값으로 변환하고 그 변환 결과를 성별 결정부(1144)로 출력한다.

변환 정보 테이블(1143)은 미디 정보에 포함된 노트를 이용하여 이에 대응하는 기본 주파수로 변환한 정보를 출력한다. 미디에서는 노트(note)라는 용어를 사용하여 수치로 음의 높이 또는 주파수를 표현하며, 이에 따라 미디로 표현된 노트는 다음의 수학식 frequency(Hz) ≒

을 이용하여 기본 주파수로 변환이 가능하다(수학식 3).

상기 수학식 3에서, n은 미디 정보의 멜로디에 관련된 데이터로서 미디 정보의 첫 번째 트랙(Track)에서 얻어낸 노트 정보이다. 미디 정보는 그 정보의 특성에 따라 다수 개의 트랙들을 포함할 수 있으며, 일예로서 상기 멜로디에 관련된 트랙 및 악기에 관련된 트랙 등 다양한 형태의 트랙들의 데이터가 미디 정보에 포함된다.

미디는 총 128개의 노트 정보를 가지고 있으므로 수학식 3을 이용하여 128개의 노트에 대응하는 주파수를 구한 뒤 테이블화 함으로써 실시간으로 미디에서 노트 정보를 얻을 때 마다 계산하는 것이 아니라 인덱싱(indexing)을 통하여 빠르게 주파수 값을 얻을 수 있다. 변환 정보 테이블(1143)은 이러한 노트 정보와 기본 주파수 값을 1대1 변환하기 위한 테이블 정보를 저장하고 있다. 도 3에서는 변환 정보 테이블(1143)가 성별 판별부(1140) 내에 포함되는 것으로 도시되었으나, 상기 변환 정보 테이블(1143)는 성별 판별부(1140) 외의 소정의 저장 수단에 저장되어도 무방하다. 도 4a는 수학식 3을 이용하여 3옥타브 라에서부터 5옥타브 라까지에 대한 미디의 노트를 주파수로 변환한 결과를 나타내고 있다.

성별 결정부(1144)는 전술한 동작에 의해 산출된 음성 신호를 이용하여 추정된 기본 주파수와, 미디 정보에 포함된 제1 정보(예컨대, 노트 정보)를 제2 정보(인덱싱을 통해 얻어진 기준 주파수 정보)로 변환한 값을 서로 비교하여 성별을 판별한다. 즉, 음성 신호를 이용하여 추정된 기본 주파수를 미디 정보로부터 추출된 기준 주파수와 비교하고, 그 비교 결과에 따라 성별을 판별한 성별 판별결과(Det_gen)를 발생한다. 상기 성별 판별결과(Det_gen)는 가라오케 시스템(1000)의 각종 동작에 이용될 수 있으며, 일예로서 성별 판별결과(Det_gen)가 제어부의 제어하에서 실시간으로 화면에 출력될 수 있으며, 또한 상기 성별 판별결과(Det_gen)에 근거하여 제어부의 제어하에서 반주 동작을 판별된 성별에 맞추어 조절되도록 할 수 있다.

미디 음과 동일한 음을 사람이 발성하게 되면 여성의 경우 미디 노트 주파수와 동일한 기본 주파수를 갖는 반면 남성의 경우 미디 노트 주파수의 절반에 해당하는 기본 주파수를 갖게 된다. 이것은 동일한 음을 발성 하였을 때 남성과 여성의 기본 주파수가 2배 차이를 갖기 때문이다. 도 4b는 남성과 여성이 동일한 4옥타브 도 음을 발성 하였을 때 주파수 축에서 관찰한 결과이다.

남성과 여성의 동일한 도 음에 대한 하모닉 구조(Harmonic Structure)는 그림 4b와 같으며, 여성의 하모닉 구조는 남성의 하모닉 구조에서 짝수에 해당되는 주파수 성분들로 구성되어지는 것을 확인 할 수 있다. 따라서 남성과 여성의 기본 주파수는 여성이 남성 보다 2배 높은 주파수를 갖는다. 그림 4b에서 여성과 남성의 기본 주파수는 각각 약 260Hz, 130Hz에 분포하는 것을 관찰 할 수 있으며 이때 미디 4옥타브 도에 대한 노트 정보 60을 수학식 3에 적용하면 약 261Hz가 되므로 미디 노트 정보로부터 얻어지는 주파수 정보와 여성의 기본 주파수는 상당히 유사한 주파수를 갖으며 남성의 기본 주파수는 미디 주파수의 절반과 유사한 값을 갖는 것을 확인 할 수 있다. 이러한 사실을 바탕으로 입력 음성 신호로부터 얻어지는 기본 주파수가 현재 재생되고 있는 미디 주파수와 가까운지 혹은 미디 주파수의 절반에 해당하는 주파수에 가까운지를 비교하여 성별을 정확하게 판별 할 수 있다.

도 5는 본 발명의 일실시예에 따른 가라오케 시스템의 동작방법의 일예를 나타내는 플로우차트이다. 도 5에 도시된 바와 같이, 사용자에 의해 반주를 원하는 선곡 정보가 입력되면 가라오케 시스템은 가라오케 정보의 오디오 및 비디오 정보를 처리하여 반주를 수행한다(S11). 상기 오디오 정보는 미디 정보일 수 있으며, 미디 정보는 반주를 위한 다수 종류의 트랙 정보(멜로디에 관련된 트랙 정보, 악기에 관련된 트랙 정보 등) 등을 포함할 수 있다.

가라오케 시스템은 미디 정보에 포함된 다수의 트랙 정보들 중 어느 하나의 정보(예컨대, 멜로디 정보를 갖는 제1 정보)를 추출하며(S12), 추출된 제1 정보를 소정의 변환 정보를 저장한 테이블을 이용하여 제2 정보로 변환한다(S13). 변환 정보 테이블은 제1 정보와 제2 정보를 1대1 매칭한 정보를 저장할 수 있으며, 이에 따라 추출된 제1 정보에 대응하는 값을 변환하여 제2 정보를 생성하고 이를 성별 결정을 위한 정보로서 출력한다. 제1 정보는 멜로디에 관련된 트랙 정보에 포함된 노트 정보일 수 있으며, 노트 정보를 기본 주파수로 변환한 값을 제2 정보로서 출력할 수 있다.

한편, 가라오케 시스템에 연결된 마이크 등의 입력 수단을 통해 사용자의 음성 신호가 수신되며, 수신된 음성 신호는 아날로그-디지털 컨버팅 동작을 통해 소정의 주파수로 샘플링되며, 시간 영역 방법(Time Domain Method)이나 주파수 영역 방법(Frequency Domain Method) 등을 이용하여 상기 음성 신호의 기본 주파수를 추정한다(S14). 주파수 영역 방법의 경우 퓨리에 변환, 필터 뱅크 및 켑스트럼 방법 중 어느 하나를 이용할 수 있다.

이후, 음성 신호를 이용하여 추정된 기본 주파수를 변환 정보 테이블로부터 출력된 제2 정보와 비교한다(S15). 상기 비교 결과에 따라 음성 신호를 입력한 사용자의 성별이 판별되며, 또한 그 판별 결과를 가라오케 시스템에 장착되거나 또는 이에 연결된 출력 장치를 통해 출력할 수 있다. 또한, 성별 판별 결과를 이용하여 실시간으로 반주를 제어할 수 있다(S16).

도 6은 본 발명의 다른 실시예에 따른 가라오케 시스템의 일 구현예를 나타내는 블록도이다. 도 6에는 가라오케 시스템에 구비되는 성별 판단부(2100)가 도시되었으며, 이외 가라오케 시스템에 필요한 다른 구성들이 도 6에 더 도시되어도 무방하다.

성별 판단부(2100)는 전처리부(2110), 기본 주파수 추정부(2120), 변환 정보 테이블(2130), 주파수 비교부(2140), 카운팅부(2150) 및 성별 결정부(2160)를 포함할 수 있다. 전처리부(2110)는 전술한 실시예에서와 같이 잡음 제거 및 기본 주파수 추정을 용이하게 하기 위한 대역 통과 필터를 포함할 수 있으며, 기본 주파수 추정부(2120)는 전처리부(2110)로부터의 음성 신호를 처리하여 기본 주파수를 추정한다. 전술한 실시예에서와 같이, 상기 기본 주파수는 시간 영역 방법(Time Domain Method)이나 퓨리에 변환, 필터 뱅크 및 켑스트럼 방법 등의 주파수 영역 방법(Frequency Domain Method)이 이용될 수 있다. 또한, 변환 정보 테이블(2130)은 미디 정보에 포함된 노트에 대응하는 기본 주파수 값을 테이블화하여 저장한 정보를 포함하며, 반주 수행되는 미디 정보에 포함된 노트 정보를 제1 정보로서 수신하고, 상기 제1 정보를 이에 대응하는 기본 주파수 정보로서 변환하여 이를 제2 정보로서 주파수 비교부(2140)로 출력한다.

음성 신호는 준주기적인 특성의 유성음과 비주기적인 특성의 무성음을 갖는다. 따라서 유성음 구간에서는 기본 주파수 추정이 용이한 반면 무성음 구간에서는 기본 주파수 추정이 어렵다. 정확한 추정을 위해 유성음과 무성음을 구분하는 추가적인 알고리즘을 수행하는 것은 비효율적이므로 본 실시예에서는 통계적 방법을 이용하여 효율적으로 성별을 판단하도록 한다. 이를 위하여, 본 실시예에서는 주파수 비교부(2140) 및 카운팅부(2150)가 가라오케 시스템에 더 구비된다.

주파수 비교부(2140)는 음성 신호로부터 추정된 기본 주파수를 제2 정보와 비교하여 그 비교 결과를 출력한다. 비교 결과는 카운팅부(2150)로 출력되며, 카운팅부(2150)는 비교 결과에 대한 카운팅 동작을 수행하고 그 카운팅 결과를 성별 결정부(2160)로 제공한다.

주파수 비교부(2140)의 비교 동작은 소정의 시간 동안 다수 회의 비교 동작을 수행하고 그 비교 결과를 발생할 수 있다. 일예로서, 소정의 시간으로서 0.25초 동안 n 회의 비교 동작을 수행하고 그 비교 결과를 발생한다. 예컨대, 0.25초 동안 음성 신호에 대하여 14회의 기본 주파수 추정 동작을 수행하여 이를 순차적으로 주파수 비교부(2140)로 제공하며, 또한 미디 정보를 이용하여 0.25초 동안 14회의 정보 변환 동작을 수행하고 그 변환 정보(예컨대, 제2 정보)를 순차적으로 주파수 비교부(2140)로 제공한다.

카운팅부(2150)는 주파수 비교 결과에 대한 카운팅을 수행한다. 일예로서, 주파수 비교부(2140)는 주파수 비교 결과 음성 신호가 남성에 해당하는 주파수를 갖는 것으로 비교된 경우 제1 상태를 갖는 비교 결과 신호를 출력할 수 있으며, 또는 음성 신호가 여성에 해당하는 주파수를 갖는 것으로 비교된 경우 제2 상태를 갖는 비교 결과 신호를 출력할 수 있다. 카운팅부(2150)는 상기 제1 상태를 갖는 신호에 대한 카운팅 및 제2 상태를 갖는 신호에 대한 카운팅 결과를 발생하여 이를 성별 결정부(2160)로 제공한다.

성별 결정부(2160)는 성별 판별의 기준이 되는 소정의 값을 기 저장할 수 있으며, 예컨대 상기 소정의 시간 동안 수행된 다수의 비교 결과에 대한 카운팅 신호와 상기 소정의 값을 이용하여 상기 음성 신호를 입력한 사용자의 최종 성별을 결정한다. 일예로서, 상기 소정의 값은 성별 결정을 위한 문턱치(Threshold)로서, 예컨대 다수의 비교 동작의 횟수의 75%에 해당하는 값을 가질 수 있다. 상기 소정 시간 동안 14회의 주파수 비교 동작이 이루어진 경우, 적어도 10회 이상 동일한 비교 결과가 발생한 경우 이에 따른 카운팅 결과가 성별 결정부(2160)로 제공될 것이다. 만약, 상기 소정 시간 동안 적어도 10회 이상 해당 음성 신호의 주파수가 남성에 해당하는 주파수를 갖는 경우, 성별 결정부(2160)는 해당 음성 신호가 남성에 해당함을 나타내는 판별 결과(Det_gen)를 발생한다. 반면에, 상기 소정 시간 동안 적어도 10회 이상 해당 음성 신호의 주파수가 여성에 해당하는 주파수를 갖는 경우, 성별 결정부(2160)는 해당 음성 신호가 여성에 해당함을 나타내는 판별 결과(Det_gen)를 발생한다.

만약, 상기 카운팅 결과에 있어서 적어도 10회 이상 동일한 비교 결과가 발생하지 않은 경우, 성별 결정부(2160)는 이전의 판별된 성별을 유지함으로써 판별 결과(Det_gen)를 발생할 수 있다. 일예로서, 이전의 소정의 시간(예컨대, 0.25초)에서 음성 신호가 남성에 해당한 것으로 판별된 경우, 다음의 소정의 시간(예컨대, 0.25초)에서 음성 신호에 대한 주파수 비교 결과가 여성에 해당하는 결과가 더 많이 발생하였더라도, 그 카운팅 결과가 임계치(예컨대, 75%) 이상에 해당하지 않는 경우에는 해당 음성 신호가 남성에 해당한 것으로서 판별 결과(Det_gen)를 발생할 수 있다. 이는, 이전의 판별 결과가 짧은 시간 구간의 음성 신호에 의하여 변동하는 것을 방지하기 위한 것으로서, 그 판별 결과를 변동하기 위해서는 그 카운팅 결과가 적어도 소정의 임계치를 초과하지 않는 한 이전의 판별 결과를 유지하도록 함으로써 성별 판별의 정확도를 향상하기 위함이다.

도 7은 본 발명의 다른 실시예에 따른 가라오케 시스템의 동작방법의 일예를 나타내는 플로우차트이다. 도 7에 도시된 플로우차트에서

는 반복 횟수를 카운팅 하기 위한 변수이며,

과

는 각각 남성으로 판별되었을 때와 여성으로 판별 되었을 때 카운팅 하기 위한 변수이고,

와

은 추정된 음성 신호의 기본 주파수와 미디 정보로부터 산출된 주파수이다. 또한, 성별 판단을 위한 상수 14는 0.25초 동안 판별해야 하는 횟수를 나타내며, 10은 75%의 문턱 치(Threshold) 값이다.

먼저, 주파수 비교를 위한 소정의 시간이 시작되면 반복 횟수를 나타내는 변수(

, 이하 제1 변수)와 남성으로 판별되었을 때와 여성으로 판별 되었을 때 카운팅 하기 위한 변수(

,

, 이하 제2 및 제3 변수)는 0에 해당한다(S21). 음성 신호에 대해 추정된 기본 주파수(

)는 각각 미디 정보로부터 산출된 주파수(

)와 비교되며, 또한 상기 주파수(

)의 절반에 해당하는 주파수(

/2)와 비교된다(S22). 단계 S22에서 비교 결과가 참인 경우에는 해당 음성 신호가 남성에 해당하는 것이며, 비교 결과가 거짓인 경우에는 해당 음성 신호가 여성에 해당할 수 있다. 비교 결과가 참인 경우 제2 변수(

)가 카운팅되며, 비교 결과가 거짓인 경우 제3 변수(

)가 카운팅된다(S23_2, S23_3). 또한, 제1 변수(

)가 아직 상기 상수(14) 이하인 경우에는 제1 변수(

)가 카운팅되며(S23_1), 상기 주파수 비교 동작과 제2 변수(

) 및 제3 변수(

)에 대한 카운팅 동작이 반복된다.

제1 변수(

)가 상기 상수(14)를 초과하는 경우(S24), 제2 변수(

) 및 제3 변수(

)에 대한 비교 동작이 수행된다(S25). 비교 결과, 제2 변수(

)가 제3 변수(

)보다 큼에 따라 남성에 해당하는 카운팅 결과가 더 큰 경우, 상기 제2 변수(

)가 임계값(10)을 초과하는지에 대한 비교 동작이 수행된다(S26_1). 비교 결과, 제2 변수(

)가 임계값(10)을 초과하는 경우에는 성별 판별 결과를 남성으로 표시하고(S27_1) 해당 시간 구간에 대한 성별 판별 결과를 종료한다. 반면에, 제2 변수(

)가 임계값(10)보다 작은 경우에는 성별 판별 결과의 표시 없이 해당 시간 구간에 대한 성별 판별 결과를 종료한다. 도 7에는 성별 판별 결과의 표시가 없는 것으로 도시되었으나, 전술한 실시예에서와 같이 이전 시간 구간에서의 성별 판별 결과를 유지하는 것으로 그 동작이 설명되어도 무관하다.

반면에, 상기 제3 변수(

)가 제2 변수(

)보다 큼에 따라 여성에 해당하는 카운팅 결과가 더 큰 경우, 상기 제3 변수(

)가 임계값(10)을 초과하는지에 대한 비교 동작이 수행된다(S26_2). 비교 결과, 제3 변수(

)가 임계값(10)을 초과하는 경우에는 성별 판별 결과를 여성으로 표시하고(S27_2) 해당 시간 구간에 대한 성별 판별 결과를 종료한다. 반면에, 제3 변수(

)가 임계값(10)보다 작은 경우에는 성별 판별 결과의 표시 없이 해당 시간 구간에 대한 성별 판별 결과를 종료한다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (6)

1. 사용자의 선곡에 따른 반주 동작을 수행하기 위하여 미디 정보를 처리하여 반주 신호를 출력하는 오디오 처리부;
   상기 사용자로부터의 음성 신호를 수신하는 마이크 입력부; 및
   상기 사용자로부터의 음성 신호로부터 기본 주파수를 추정하고, 상기 미디 정보에 포함된 정보들 중 그 일부로서 제1 정보를 이용하여 상기 미디 정보의 주파수에 관련된 정보를 갖는 제2 정보로 변환하며, 상기 기본 주파수 및 상기 제2 정보를 비교함에 의하여 상기 사용자의 성별을 판별하는 성별 판별부를 구비하고,
   상기 성별 판별부는 상기 제1 정보를 상기 제2 정보로 변환하기 위한 정보를 저장하는 변환 정보 테이블을 포함하고,
   상기 제1 정보는 상기 미디 정보에 포함된 노트 정보이며, 상기 제2 정보는 상기 노트 정보 및 상기 변환 정보 테이블에 따라 인덱싱을 통해 얻어진 미디 주파수이며,
   상기 사용자의 성별을 판별함에 있어서, 상기 미디 주파수는 여성을 판별하기 위한 기준 주파수에 해당하고, 상기 미디 주파수의 절반에 해당하는 주파수는 남성을 판별하기 위한 기준 주파수에 해당하는 것을 특징으로 하는 가라오케 시스템.
2. 제1항에 있어서,
   상기 사용자의 성별 판별 결과에 따라 상기 오디오 처리부의 반주 동작을 제어하는 제어부를 더 구비하는 것을 특징으로 하는 가라오케 시스템.
3. 제1항에 있어서, 상기 성별 판별부는,
   상기 음성 신호에 대한 필터링 동작을 포함하는 전처리부;
   상기 전처리된 음성 신호에 대해 상기 기본 주파수를 추정하는 기본 주파수 추정부; 및
   상기 기본 주파수 추정부로부터 출력된 기본 주파수와 상기 변환 정보 테이블로부터 출력된 제2 정보를 비교함에 의하여 상기 사용자의 성별을 결정하는 성별 결정부를 더 포함하는 것을 특징으로 하는 가라오케 시스템.
4. 제1항에 있어서, 상기 성별 판별부는,
   제1 시간 구간 동안 다수 회의 상기 기본 주파수 및 상기 제2 정보에 대한 비교 동작을 수행하며,
   상기 음성 신호에 대해 상기 기본 주파수를 추정하는 기본 주파수 추정부;
   상기 기본 주파수 추정부로부터 출력된 기본 주파수와 상기 변환 정보 테이블로부터 출력된 제2 정보를 비교하는 주파수 비교부;
   상기 제1 시간 구간 동안, 상기 다수 회의 비교 동작에 따른 결과를 카운팅하는 카운팅부; 및
   상기 카운팅 결과를 이용하여, 상기 제1 시간 구간 동안 소정의 비율 이상 동일한 비교 결과가 발생된 경우, 해당 비교 결과에 따라 상기 사용자의 성별을 결정하는 성별 결정부를 포함하는 것을 특징으로 하는 가라오케 시스템.
5. 삭제
6. 가라오케 시스템의 동작방법에 있어서,
   사용자의 선곡에 따른 반주 동작을 수행하기 위하여 미디 정보를 처리하여 반주 신호를 출력하는 단계;
   상기 사용자로부터의 음성 신호를 수신하는 단계;
   상기 사용자로부터의 음성 신호로부터 기본 주파수를 추정하는 단계;
   상기 미디 정보에 포함된 정보들 중 그 일부로서 제1 정보를 이용하여 상기 미디 정보의 주파수에 관련된 정보를 갖는 제2 정보로 변환하는 단계; 및
   상기 기본 주파수 및 상기 제2 정보를 비교함에 의하여 상기 사용자의 성별을 판별하는 단계를 구비하고,
   상기 성별을 판별하는 단계는 상기 제1 정보를 상기 제2 정보로 변환하기 위한 정보를 저장하는 변환 정보 테이블을 이용하고,
   상기 제1 정보는 상기 미디 정보에 포함된 노트 정보이며, 상기 제2 정보는 상기 노트 정보 및 상기 변환 정보 테이블에 따라 인덱싱을 통해 얻어진 미디 주파수이며,
   상기 사용자의 성별을 판별함에 있어서, 상기 미디 주파수는 여성을 판별하기 위한 기준 주파수에 해당하고, 상기 미디 주파수의 절반에 해당하는 주파수는 남성을 판별하기 위한 기준 주파수에 해당하는 것을 특징으로 하는 가라오케 시스템의 동작방법.

Images