KR101201971B1 - 사운드 분석 장치 및 방법 - Google Patents

Abstract

사운드 분석 장치가 사운드를 분석하기 위하여 입력되는 사운드 신호로부터 노이즈를 제거하여 사운드 데이터를 추출하고, 추출한 사운드 데이터로부터 효과음 신호의 시작 파형에 해당하는 시작점 파형 데이터를 추출한다. 그리고 시작점 파형 데이터로부터 비교 후보군이 추출되었는지 판단하고, 비교 후보군이 추출되었다면 효과음 신호를 주파수 영역으로 변환하고, 변환된 효과음 신호의 주파수 특징 정보를 획득한다. 그리고 획득한 주파수 특징 정보와 미리 저장되어 있는 주파수 특징 정보를 비교하여, 효과음 신호의 종류를 판별하여 사용자에게 제공한다.

Description

사운드 분석 장치 및 방법{Apparatus and method for sound analyzing}

본 발명은 사운드 분석 장치 및 방법에 관한 것이다.

최근 연구 결과에 따르면 청각적인 효과와 촉각 적인 효과가 동시에 발생하면, 인간은 촉각과 청각을 각각 이용하여 상황을 따로 인지하는 것보다 더욱 효과적으로 상황을 인지한다고 한다. 이에 따라, 진동 등 여러 가지 촉각 적인 효과를 소리와 결합한 사용자 인터페이스의 연구가 활발히 진행되고 있다.

청각적인 효과와 촉각 적인 효과를 결합한 사용자 인터페이스를 게임 등에 적용할 경우, 예를 들어, 총소리나 야구 방망이에 공이 맞는 소리 등 여러 가지 소리를 구분해서 적절한 진동 효과와 함께 사용자에게 제공하면, 사용자는 더욱 효과적으로 게임 상황을 인지할 수 있게 된다.

그러나 이러한 사용자 인터페이스를 제공하기 위해서는 게임에서 발생하는 사운드 신호를 분석하여 여러 가지 효과음을 구분하고, 구분한 효과음에 따라 적절한 진동 피드백 등을 제공해 주는 시스템의 개발이 필요하다.

따라서, 본 발명은 게임 등에서 발생하는 효과음의 신호를 실시간으로 판별할 수 있는 사운드 분석 장치 및 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 사운드 분석 장치는,

입력되는 사운드 신호로부터 노이즈를 제거하여 사운드 데이터를 출력하는 필터링부; 상기 필터링부에서 출력한 사운드 데이터로부터 시작점을 검출하고, 상기 시작점 이후의 미리 설정된 구간 동안 시작점 파형 데이터를 검출하는 시작점 검출부; 상기 시작점 파형 데이터와 상기 복수의 시작점 파형 데이터를 비교하여, 미리 저장되어 있는 복수의 주파수 특징 정보 중 일부를 상기 사운드 데이터에 대한 비교 후보군으로 선택하는 비교 후보군 선택부; 상기 시작점을 토대로 상기 사운드 데이터로부터 상기 효과음 신호를 캡쳐하여 주파수 영역으로 변환하거나, 상기 사운드 데이터를 주파수 영역으로 변환한 신호를 출력하는 주파수 변환부; 상기 주파수 변환부에서 주파수 영역으로 변환된 효과음 신호 또는 상기 사운드 데이터 중 어느 하나의 신호로부터 주파수 특징 정보를 검출하는 주파수 특징 검출부; 상기 주파수 특징 검출부에서 출력된 주파수 특징 정보와 상기 효과음 저장부에 저장되어 있는 복수의 주파수 특징 정보를 비교하여, 상기 출력된 주파수 특징 정보에 대응되는 효과음 판별 정보를 출력하는 효과음 판별부; 및 상기 주파수 변환부, 상기 주파수 특징 검출부 및 상기 효과음 판별부에서 각각 출력되는 상기 주파수 영역으로 변환한 신호, 상기 주파수 특징 정보 및 상기 효과음 판별 정보를 상기 사운드 신호의 처리가 완료될 때까지 임시로 저장하는 임시 저장부를 포함한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 사운드 분석 장치가 사운드를 분석하는 방법은,

입력되는 사운드 신호로부터 노이즈를 제거하여 사운드 데이터를 추출하는 단계; 상기 추출한 사운드 데이터로부터 효과음 신호의 시작 파형에 해당하는 시작점 파형 데이터를 추출하는 단계; 상기 추출한 시작점 파형 데이터로부터 비교 후보군이 추출되었는지 판단하는 단계; 상기 비교 후보군이 추출되었다면 상기 효과음 신호를 주파수 영역으로 변환하고, 변환된 효과음 신호의 주파수 특징 정보를 획득하는 단계; 및 상기 획득한 주파수 특징 정보와 미리 저장되어 있는 주파수 특징 정보를 비교하여, 상기 효과음 신호의 종류를 판별하는 단계를 포함한다.

본 발명의 실시예에 따르면 사운드 신호로부터 검출된 효과음과 비슷한 효과음을 가지는 신호의 판별 시간을 단축시켜 실시간으로 입력되는 효과음의 종류를 판별할 수 있다.

또한, 시작점 파형 데이터와 주파수 특징 정보를 함께 이용하여 입력되는 효과음 종류를 판별함으로써, 판별에 정확도를 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 사운드 분석 장치의 구조도이다.
도 2a 내지 도 2c는 본 발명의 실시예에 따른 사운드 데이터의 FFT 예시도이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 사운드 분석 장치의 구조 결함으로 발생할 수 있는 문제를 도시한 예시도이다.
도 4는 일반적인 실시예에 따른 노이즈가 포함되어 있는 사운드 데이터에서의 손실을 나타낸 예시도이다.
도 5는 본 발명의 또 다른 실시예에 따른 사운드 데이터의 샘플링 값을 나타낸 예시도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 도면을 참조로 하여 본 발명의 실시예에 따른 사운드 분석 장치 및 방법에 대하여 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 사운드 분석 장치의 구조도이다.

도 1에 도시된 바와 같이, 사운드 분석 장치(100)는 입력부(101), 필터링부(102), 시작점 검출부(103), 비교 후보군 선택부(104), 주파수 변환부(105), 주파수 특징 검출부(105), 효과음 판별부(107), 효과 제공부(110), 효과음 저장부(109) 및 임시 저장부(108)를 포함한다.

입력부(101)는 게임기나 기타 수단에서 발생 되는 아날로그 형태의 사운드를 사운드 신호로 입력받는다. 이때 입력되는 사운드 신호는 효과음, 배경음, 노이즈 등 다양한 음성들이 섞여 있는 형태이다. 그리고 아날로그 형태의 사운드 신호를 디지털 신호로 변환한다.

필터링부(102)는 입력부(101)에서 디지털 신호로 변환된 사운드 신호로부터 노이즈를 제거한 효과음과 배경음이 섞인 사운드 데이터를 추출한다. 본 발명의 실시예에서는 노이즈를 제거하기 위해 필터링부(102)가 입력되는 사운드 신호에 BPF(Band Pass Filter)를 적용하여 노이즈를 제거하는 것을 예로 하여 설명하나, HPF(High Pass Filter) 또는 LPF(Low Pass Filter) 등을 이용할 수 있으며 반드시 이와 같이 한정되는 것은 아니다.

이때, 입력부(101)가 수집한 사운드 신호에서 효과음 이외의 소리를 필터링하지 않을 경우와 필터링 했을 경우 주파수 변환부(105)에서 FFT한 결과의 차이에 대하여 도 3a 내지 도 4를 참조로 먼저 설명하기로 한다.

도 3a 내지 도 3c는 본 발명의 실시예에 따른 사운드 데이터의 FFT 예시도이다. 그리고 도 4는 일반적인 실시예에 따른 노이즈가 포함되어 있는 사운드 데이터에서의 손실을 나타낸 예시도이다.

도 3a는 순수 효과음만이 포함되어 있는 사운드 데이터를 FFT한 예시도이고, 도 3b는 사운드 신호에 배경음과 효과음이 섞여 있는 경우 사운드 데이터를 FFT한 예시도이다. 그리고 도 3c는 배경음과 효과음이 섞여 있는 사운드 데이터를 필터링한 후 FFT를 수행한 결과를 나타내는 예시도이다.

도 3a 및 도 3b에 나타낸 바와 같이, 배경음이 섞여 있는 사운드 데이터의 FFT 결과와 순수 효과음만이 포함되어 있는 사운드 데이터의 FFT 결과가 많이 상이한 것을 알 수 있다.

만약 도 3b와 같이 배경음이 섞인 사운드 데이터를 그대로 이용할 경우, 시작점 검출부(103)에서 검출하는 최대값(PEEK)의 개수도 달라지고, 도 3a에 나타낸 순수 효과음만 포함되어 있는 사운드 데이터의 FFT 결과와 상이해지기 때문에, 검출에 오류가 발생할 가능성이 커진다. 또한, 도 4에 도시된 바와 같이, 노이즈가 존재할 경우, 노이즈에 의해 FFT가 실행된 결과에서 노이즈와 중첩되어 데이터가 손실되는 것을 확인할 수 있다.

그러나, 필터링부(102)에서 노이즈를 제거한 사운드 데이터를 이용할 경우 도 3c에 도시된 바와 같이, 도 3a과는 달리 도 3b의 순수 효과음만이 포함되어 있는 사운드 데이터의 FFT 결과 파형과 유사함을 알 수 있다. 따라서, 본 발명의 실시예에서는 필터링부(102)에서 사운드 신호를 필터링하여 효과음과 배경음만이 포함된 사운드 데이터를 이용하기로 한다.

이어서, 상기 도 1의 시작점 검출부(103)는 필터링부(102)에서 노이즈가 제거되어 추출된 사운드 데이터를 입력받아, 사운드 데이터에서 시작점을 검출한다. 그리고 검출한 시작점 이후의 미리 설정된 구간 동안의 시작점 파형 데이터를 검출하여 필터링부(102)로부터 수신한 사운드 데이터와 함께 출력한다.

일반적으로 효과음이 발생할 때의 주파수 세기는 배경음의 주파수 세기보다 크다. 또한, 이미 수행된 사운드 검출시 다양한 효과음에 대한 주파수 세기를 정규화한 수치를 시작점 검출부(103)에 설정해 놓아, 해당 수치 이상인 주파수 세기를 갖는 시점을 효과음이 발생한 시점으로 설정하도록 한다.

즉, 시작점 검출부(103)는 디지털 신호로 변환된 사운드 데이터에서 효과음이 시작되는 것으로 판단되는 시작점을 검출한다. 그리고 검출된 시작점부터 소정의 시간 동안 입력되는 사운드 데이터 즉, 효과음 신호의 시작 부분의 파형에 대응하는 시작점 파형 데이터를 추출한다. 여기서, 시작점은 효과음이 발생하여 사운드 데이터의 크기가 급격히 증가하는 지점으로, 시작점 검출부(103)는 이전에 측정된 사운드 데이터의 크기 중 최대값과 입력되는 사운드 데이터의 크기의 비율 변화를 이용하여 효과음의 시작점을 검출한다.

또한, 검출된 시작점부터 미리 설정한 소정의 시간 동안 입력되는 효과음 데이터로부터 획득한 복수개의 피크값을 이용하여, 시작점 파형 데이터를 추출한다. 따라서 시작점 검출부(103)는 효과음과 배경음이 섞인 사운드 데이터가 순차대로 입력되면, 미리 설정한 수치 이상의 주파수 세기를 갖는 시점을 효과음이 발생한 시점으로 검출하고, 해당 시점에 대한 시작점 정보, 시작점 이후의 시작점 파형 데이터 및 사운드 데이터를 함께 출력한다.

이를 위해, 시작점 검출부(103)는 임시 저장부(108)로부터 주파수 영역으로 변환한 신호, 주파수 특징 관련 정보 및 효과음 후보로 선택된 복수의 정보들을 전달받는다. 그리고 전달받은 정보를 현재 시작점 검출을 위해 처리하고 있는 데이터들의 처리가 완료되면, 처리되는 정보들과 함께 출력한다. 이는, 사운드 분석 장치(100)가 하나의 사운드 신호에 대한 사운드 데이터를 전체적으로 처리할 수 없기 때문에, 입력된 하나의 사운드 데이터를 일정 구간으로 나누어 처리하기 때문이다.

비교 후보군 선택부(104)는 사운드 데이터로부터 검출된 시작점 파형 데이터를 입력받아, 효과음 저장부(109)에 저장된 시작점 파형 데이터들과 시작점 검출부(103)에서 출력되는 시작점 파형 데이터를 비교한다. 그리고 효과음 저장부(109)에 저장된 효과음 종류별로 오차를 산출하고, 산출된 오차들 중 미리 설정한 임계치 이하인 오차들에 대응하는 효과음 종류와 그에 해당하는 하나 이상의 주파수 특징 정보들을 비교 후보군으로 선택한다. 여기서, 선택된 비교 후보군은 이후 입력되는 효과음 신호와 주파수 특징을 비교하는 비교 대상이 된다.

주파수 변환부(105)는 비교 후보군 선택부(104)로부터 비교 후보군을 수신하였는지 여부를 판단한다. 만약 비교 후보군 선택부(104)에서 비교 후보군이 선택되었다면 주파수 변환부(105)는 시작점 검출부(103)에서 검출한 시작점 파형 데이터로부터 효과음 신호를 캡쳐하여 주파수 영역으로 변환한다. 그러나 비교 후보군이 선택되지 않았다면, 시작점 검출부(103)가 소정의 시간 동안 수신하는 사운드 데이터를 주파수 영역으로 변환한다.

본 발명의 실시 예에서 주파수 변환부(105)는 고속 푸리에 변환(Fast Fourier Transform, FFT)와 이산 푸리에 변환(Discrete Fourier Transform, DFT)를 선택적으로 사용하여 주파수 변환을 수행하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 그리고 주파수 영역으로 변환한 신호를 임시 저장부(108)로 전달한다.

주파수 특징 검출부(106)는 주파수 변환부(105)에서 주파수 영역으로 변환된 효과음 신호 또는 사운드 데이터로부터 주파수 특징 정보를 검출한다. 그리고 검출한 주파수 특징 정보를 후술하는 효과음 판별부(107), 효과음 저장부(109) 및 임시 저장부(108)로 출력한다. 즉, 사운드 신호를 판별하는 기준이 되는 효과음 저장부(109)의 구축 시에는, 주파수 특징 정보를 효과음 저장부(109)로 출력하고, 효과음 저장부(109)는 입력받은 사운드 신호를, 대응하는 효과음 종류에 매칭하여 저장한다.

반면에, 게임 수행 중에 입력되는 사운드 데이터의 주파수 특징 정보는 효과음 판별부(107)로 출력한다. 여기서, 주파수 특징 정보는 주파수 영역으로 변환된 사운드 데이터로부터 획득한 복수의 주파수 밴드별 피크값을 이용하여 획득한다. 그리고 임시 저장부(108)로 전달된 주파수 특징 정보는 입력된 하나의 사운드 신호가 전체 처리될 때까지 임시로 저장된다.

효과음 판별부(107)는 주파수 특징 검출부(105)에서 출력된 주파수 특징 정보와 이하 설명할 효과음 저장부(109)에 저장되어 있는 효과음 정보를 비교한다. 그리고 입력된 사운드 신호 내의 효과음이 어떠한 효과음인지를 판별하여 효과음 판별 정보를 출력한다. 그리고 출력한 효과음 판별 정보를 임시 저장부(108)로 전달하여, 입력된 하나의 사운드 신호가 처리될 때까지 저장되도록 한다.

즉, 효과음 판별부(107)는 비교 후보군에 포함된 주파수 특징 정보들과 주파수 특징 검출부(105)에서 출력되는 주파수 특징 정보를 비교하여, 비교 후보군 선택부(104)에서 선택된 하나 이상의 비교 후보군에 포함된 효과음 종류별로 오차를 산출한다. 그리고 산출된 오차들 중 최소 오차를 선택하고, 최소 오차가 임계치 이하이면 입력되는 효과음 신호의 종류가 최소 오차를 보이는 효과음 종류와 동일함을 인지한다.

이때, 비교 후보군 선택부(104)에서 비교 후보군이 선택되지 않았다면, 사운드 데이터로부터 검출한 주파수 특징 정보에 대응되는 효과음 종류가 효과음 저장부(109)에 저장되어 있는지 확인한다. 그리고 확인한 효과음 종류 중 유사한 패턴을 나타내는 것을 효과음 종류로 선택한다.

효과음 저장부(109)는 순수 효과음에 FFT를 수행한 효과음 정보를 저장한다. 또한, 효과음 저장부(109)는 효과음 종류별 시작점 파형 데이터도 저장하고 있어, 비교 후보군 선택부(104)에서 시작점 파형 데이터를 통해 효과음 종류에 따른 후보군을 설정할 때 이용할 수 있도록 정보를 제공한다. 이때, 효과음 저장부(109)에 저장되어 있는 순수 효과음에 FFT를 수행한 파형은 상기에서 설명한 도 3a와 같다.

또한, 효과음 저장부(109)는 효과음별 주파수 대역별 피크값 정보를 저장하고 있어, 주파수 특징 검출부(106)에서 주파수 변환된 데이터로부터 주파수 특징에 따라 후보군으로 선택된 데이터 중 어떤 효과음인지를 확인할 수 있도록 한다.

즉, 효과음 저장부(109)는 게임 장치와 같은 효과음 발생 장치에서 발생 가능한 효과음의 종류별로 특징 정보 즉, 시작 부분의 파형에 대응하는 시작점 파형 데이터와 주파수 특징에 해당하는 주파수 특징 정보를 저장한다. 여기서, 효과음의 종류는 분석 대상이 되는 게임에서 발생하는 효과음의 종류를 의미하며, 효과음 종류별로 저장된 시작점 파형 데이터와 주파수 특징 정보는 추후 입력되는 효과음 신호의 판별을 위한 기준이 된다.

효과 제공부(110)는 효과음 판별부(107)에서 판별한 효과음 정보에 대응되는 효과음을 사용자에게 제공한다. 즉, 효과 제공부(110)는 효과음 신호가 입력되는 동안 입력되는 효과음 신호에 대응하는 촉각 적인 효과 예를 들어, 진동 피드백 등을 실시간으로 제공한다.

여기서, 입력되는 효과음 신호의 종류는 효과음 판별부(107)로부터 전달받는다. 효과음이 총소리인 경우를 예로 들면, 효과 제공부(110)는 효과음 판별부(107)에서 입력되는 효과음 신호의 종류를 판별하여 알려주면, 이에 대응하는 세기 또는 주기의 진동 피드백을 실시간으로 사용자에게 제공한다.

임시 저장부(108)는 주파수 변환부(105), 주파수 특징 검출부(105), 효과음 판별부(107)에서 각각 출력되는 주파수 영역으로 변환한 신호, 주파수 특징 정보, 효과음 판별 정보를 임시로 저장한다. 이는 임의의 효과음이 포함된 사운드 신호가 사운드 분석 장치(100)로 입력되더라도 하나의 사운드 신호가 통째로 처리될 수 없기 때문에, 입력된 하나의 사운드 신호에 대한 처리가 종료될 때까지 임시 저장부(108)에 저장한다. 그리고 이를 시작점 검출부(103)에 전달하여, 뒤 이어 입력된 효과음의 시작점을 정확하게 검출할 수 있도록 한다. 이에 대해 도 5를 참고로 먼저 설명하기로 한다.

도 5는 본 발명의 또 다른 실시예에 따른 사운드 데이터의 샘플링 값을 나타낸 예시도이다.

도 5에 도시한 바와 같이, 사운드가 최초 시작되기 직전의 사운드 데이터를 변환하고 검출하는 과정에서 임시 저장부(108)에 저장된 정보를 계속 발생하는 사운드 데이터에 반영하면, 데이터의 손실을 막을 수 있을 뿐만 아니라 정확한 시작점을 확인할 수 있게 된다.

이러한 사운드 분석 장치(100)를 이용하여 사운드 신호에서 효과음을 추출하는 방법에 대하여 도 2를 참조로 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 사운드 분석 방법을 나타낸 흐름도이다.

도 2에 도시된 바와 같이, 게임기나 기타 수단에서 효과음이 포함된 사운드 신호가 발생하면(S100), 필터링부(102)는 입력부(101)에서 디지털 신호로 변환한 사운드 신호에 BPF를 적용하여 노이즈를 제거한 사운드 데이터를 추출한다(S110). 여기서 사운드 데이터에는 효과음과 배경음만 섞여 있다고 가정하며, 사운드 신호에 BPF를 적용하는 방법은 이미 알려진 사항으로 본 발명의 실시예에서는 상세한 설명을 생략하기로 한다.

사운드 분석 장치(100)의 시작점 검출부(103)는 필터링부(102)로부터 출력된 사운드 데이터로부터 시작점을 검출한다(S120). 즉, 사운드 데이터가 순차적으로 입력되면 입력되는 사운드 데이터의 크기를 지속적으로 측정하고, 측정된 신호 크기 중에서 최대값을 선택한다. 그리고 입력되는 사운드 데이터의 크기를 최대값과 비교하여 크기 비율을 산출하고, 현재 산출된 크기 비율이 직전에 산출된 크기 비율보다 임계치 이상 증가한 지점을 효과음 신호의 시작점으로 인지한다.

예를 들어, 사운드 데이터 크기의 최대값이 1000이고, 현재 측정된 데이터의 크기가 800, 직전에 측정된 사운드 데이터의 크기가 200이라 가정한다. 그러면, 현재 산출된 크기 비율은 0.8이고 직전에 산출된 크기 비율은 0.2가 되기 때문에, 크기 비율이 0.6만큼 증가함을 알 수 있다. 따라서, 시작점 검출부(103)는 사운드 데이터의 크기 비율이 많이 증가한 것으로 판단하여, 현재 입력되는 사운드 데이터를 효과음 신호의 시작점으로 판단할 수 있다.

한편, 크기 비율을 산출하기 위한 기준이 되는 최대값은 사운드 데이터의 크기가 증가하는 동안 계속해서 가장 큰 신호 크기로 갱신된다. 반면에, 사운드 데이터의 크기가 감소하거나 일정하게 유지되어 미리 설정한 시간 동안 최대값의 변화가 없는 경우에는, 해당 시간 동안 입력된 사운드 데이터의 크기 중 가장 큰 값으로 최대값을 갱신한다.

S120 단계를 통해 시작점 검출부(103)가 사운드 데이터에서 시작점을 검출하면, 시작점 검출부(103)는 검출한 시작점부터 미리 설정한 소정의 시간 동안 사운드 데이터를 캡쳐하고, 이로부터 효과음 신호의 시작점 파형에 대응하는 복수의 피크 값들을 검출한다. 그리고 검출된 복수의 피크 값들을 사용하여 시작점 파형 데이터를 획득한다(S130).

그리고 나서 비교 후보군 선택부(104)는 효과음 저장부(109)에 저장되어 있는 효과음 종류별 시작점 파형 데이터와 비교한다. 비교한 후 비교 후보군 선택부(104)는 효과음 저장부(109)에 저장된 시작점 파형 데이터 중에서 효과음 신호의 시작점 파형 데이터와 임계치 이하의 오차를 보이는 시작점 파형 데이터들이 있는지 확인한다. 즉, 임계치 이하의 오차를 보이는 적어도 하나의 시작점 파형 데이터가 있는지 없는지를 확인하는, 비교 후보군이 선택되었는지 여부를 판단한다(S140).

만약 적어도 하나 이상의 비교 후보군이 선택되었다면, 주파수 변환부(105)는 시작점 검출부(103)에서 검출한 시작점으로부터 효과음 신호를 캡쳐하여 주파수 영역으로 변환하여 출력한다(S150). 그러나, 비교 후보군 선택부(104)에서 사운드 데이터에 대한 비교 후보군이 선택되지 않았다면, 주파수 변환부(105)는 시작점 검출부(103)에서 출력된 사운드 데이터를 주파수 영역으로 변환하여 출력한다(S160).

여기서 시작점 파형 데이터 간의 오차를 산출하는 방법의 예로, 본 발명의 실시예에서는 비교 대상이 되는 두 시작점 파형 데이터에 대해 대응하는 크기 비율 간 차이값을 산출한다. 그리고, 산출한 차이값들의 절대값을 모두 합한 값을 오차로 사용하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.

S160 단계에서 주파수 변환된 사운드 데이터 또는 S150 단계에서 캡쳐된 효과음 신호를 주파수 영역으로 변환하여 출력된 신호 중 어느 하나의 신호를 수신한 주파수 특징 검출부(105)는, 주파수 영역으로 변환된 효과음 신호 또는 주파수 변환된 사운드 데이터 중 어느 하나의 신호로부터 주파수 대역별 피크값을 획득한다. 그리고 효과음 저장부(109)에 저장되어 있는 효과음별 주파수 대역별 피크값 정보와 획득한 주파수 대역별 피크값을 비교하여 S140 단계에서 선택된 후보군 또는 주파수 영역으로 변환된 사운드 데이터로부터 주파수 특징 정보를 검출한다(S170, S180).

그리고 S180 단계에서 검출한 주파수 특징 정보를 S160 단계에서 주파수 영역으로 변환한 신호와 함께 임시 저장부(108)에 저장한다. S170 단계에서 검출한 주파수 특징 정보를 효과음 저장부(109)에 저장되어 있는 순수 효과음에 대한 정보와 비교하여 조건을 만족하는 효과음 종류가 효과음 저장부(109)에 저장되어 있는지 확인한다. 만약 만족하는 효과음 종류가 저장되어 있다면, 효과음 판별 정보 또한 임시 저장부(108)에 저장한다.

여기서 임시 저장부(108)에 저장하는 것은 임의의 효과음이 포함된 사운드 신호가 사운드 분석 장치(100)로 입력되더라도 하나의 사운드 신호가 통째로 처리될 수 없다. 따라서, 입력된 하나의 사운드 신호에 대한 처리가 종료될 때까지 임시 저장부(108)에 저장하고, 이를 시작점 검출부(103)에 전달하여 뒤 이어 입력된 효과음의 시작점을 정확하게 검출하기 위함이다.

즉, 시작점 검출부(103)에서 시작점을 검출하는 절차 이후의 단계들이 진행되는 동안에도, 필터링부(102)에서는 하나의 사운드 신호에 대해 노이즈를 제거하는 등의 절차가 지속적으로 수행된다. 따라서, 하나의 사운드 신호 중 미리 주파수 특징이 검출되어 어떤 효과음에 대한 것인지 판별된 구간에 대한 정보를 후속으로 이어 들어오는 사운드 신호에 대한 절차가 모두 완료될 때까지 임시 저장부(108)에 저장한다.

임시 저장부(108)는 주파수 변환부(105), 주파수 특징 검출부(105) 및 효과음 판별부(107)로부터 각각 수신한 정보들을 시작점 검출부(103)로 전달한다. 시작점 검출부(103)는 입력 신호에 대한 처리가 완료되었는지 여부를 판단한다(S200). 처리가 완료되었다면, 효과음 판별부(107)는 효과음 저장부(109)에 저장된 효과음 정보를 토대로 주파수 영역으로 변환된 신호가 어떤 효과음에 관한 것인지 확인하고, 효과 제공부(110)는 이를 효과음 판별부(107)에서 확인한 효과음 정보를 토대로 사용자에게 제공한다(S210).

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (11)

1. 입력되는 사운드 신호로부터 노이즈를 제거하여 사운드 데이터를 출력하는 필터링부;
   상기 필터링부에서 노이즈를 제거하여 출력한 사운드 데이터로부터 시작점을 검출하고, 상기 시작점 이후의 미리 설정된 구간동안 시작점 파형 데이터를 검출하는 시작점 검출부;
   상기 시작점 파형 데이터와 상기 복수의 시작점 파형 데이터를 비교하여, 미리 저장되어 있는 복수의 주파수 특징 정보 중 일부를 상기 사운드 데이터에 대한 비교 후보군으로 선택하는 비교 후보군 선택부;
   상기 시작점을 토대로 상기 사운드 데이터로부터 효과음 신호를 캡쳐하여 주파수 영역으로 변환하거나, 상기 사운드 데이터를 주파수 영역으로 변환한 신호를 출력하는 주파수 변환부;
   상기 주파수 변환부에서 주파수 영역으로 변환된 효과음 신호 또는 상기 사운드 데이터 중 어느 하나의 신호로부터 주파수 특징 정보를 검출하는 주파수 특징 검출부;
   상기 주파수 특징 검출부에서 출력된 주파수 특징 정보와 상기 효과음 저장부에 저장되어 있는 복수의 주파수 특징 정보를 비교하여, 상기 출력된 주파수 특징 정보에 대응되는 효과음 판별 정보를 출력하는 효과음 판별부; 및
   상기 주파수 변환부, 상기 주파수 특징 검출부 및 상기 효과음 판별부에서 각각 출력되는 상기 주파수 영역으로 변환한 신호, 상기 주파수 특징 정보 및 상기 효과음 판별 정보를 상기 입력되는 사운드 신호의 처리가 완료될 때까지 임시로 저장하고, 상기 시작점 검출부가 시작점 파형 데이터를 검출하도록 상기 시작점 검출부로 저장된 정보를 제공하는 임시 저장부
   를 포함하는 사운드 분석 장치.
2. 제1항에 있어서,
   복수의 효과음 종류에 대응되는 복수의 시작점 파형 데이터, 복수의 주파수 특징 정보 및 복수의 효과음에 대한 효과음 정보를 저장하는 효과음 저장부;
   외부로부터 발생한 상기 사운드 신호를 수신하여 상기 필터링부로 전달하는 입력부; 및
   상기 효과음 판별부에서 출력한 효과음 판별 정보를 토대로 사용자에게 효과음을 제공하는 효과 제공부
   를 포함하는 사운드 분석 장치.
3. 제1항에 있어서,
   상기 필터링부는,
   상기 사운드 신호에 밴드패스 필터를 적용하여 상기 사운드 신호 내의 노이즈를 제거하여 상기 사운드 데이터를 생성하는 사운드 분석 장치.
4. 제1항에 있어서,
   상기 시작점 검출부는,
   상기 입력되는 사운드 데이터의 최대값을 결정하고, 상기 최대값 대비 상기 입력되는 사운드 데이터의 크기 비율의 변화를 토대로 상기 시작점을 검출하는 사운드 분석 장치.
5. 제4항에 있어서,
   상기 시작점 검출부는,
   상기 임시 저장부로부터 상기 주파수 영역으로 변환한 신호, 상기 주파수 특징 정보 및 상기 효과음 판별 정보를 수신하여, 상기 사운드 신호에 대한 시작점 검출이 완료되면 상기 수신한 정보들과 함께 출력하는 사운드 분석 장치.
6. 제1항에 있어서,
   상기 비교 후보군 선택부는,
   상기 복수의 시작점 파형 데이터별로 상기 시작점 검출부가 검출한 시작점 파형 데이터와의 오차를 산출하고, 산출된 오차가 미리 설정한 임계치 이하인 시작점 파형 데이터에 대응하는 효과음 종류를 선택하고, 상기 선택한 효과음 종류에 대응하는 주파수 특징 정보를 상기 비교 후보군으로 선택하는 사운드 분석 장치.
7. 사운드 분석 장치가 사운드를 분석하는 방법에 있어서,
   입력되는 사운드 신호로부터 노이즈를 제거하여 사운드 데이터를 추출하는 단계;
   상기 추출한 사운드 데이터로부터 효과음 신호의 시작 파형에 해당하는 시작점 파형 데이터를 추출하는 단계;
   상기 추출한 시작점 파형 데이터로부터 비교 후보군이 추출되었는지 판단하는 단계;
   상기 비교 후보군이 추출되었다면 상기 효과음 신호를 주파수 영역으로 변환하고, 변환된 효과음 신호의 주파수 특징 정보를 획득하는 단계;
   상기 획득한 주파수 특징 정보와 미리 저장되어 있는 주파수 특징 정보를 비교하여, 상기 효과음 신호의 종류를 판별하는 단계; 및
   상기 추출한 시작점 파형 데이터, 상기 획득한 주파수 특징 정보 및 상기 판별한 효과음 신호의 종류에 대한 정보를 저장하는 단계
   를 포함하는 사운드 분석 방법.
8. 제7항에 있어서,
   상기 정보를 저장하는 단계 이후에,
   상기 입력 신호에 대한 처리가 완료되었는지 판단하는 단계; 및
   상기 입력 신호의 처리가 완료되었다면, 상기 저장한 정보들을 토대로 효과음을 사용자에게 제공하는 단계
   를 포함하는 사운드 분석 방법.
9. 제7항에 있어서,
   상기 시작점 파형 데이터를 추출하는 단계는,
   상기 사운드 데이터의 크기 중 최대값을 선택하는 단계;
   상기 사운드 데이터의 크기와 상기 최대값과의 비율이 임계치 이상 증가한 지점을 시작점으로 검출하는 단계;
   상기 검출한 시작점 이후로 연속되는 복수 개의 피크값을 선택하는 단계; 및
   상기 선택한 복수개의 피크값 중 최대 피크값을 선택하고, 최대 피크값과 상기 선택한 복수개의 피크값과의 크기 비율을 토대로 상기 시작점 파형 데이터가 존재하는지 확인하는 단계
   를 포함하는 사운드 분석 방법.
10. 제7항에 있어서,
    상기 비교 후보군이 추출되지 않았다면,
    상기 사운드 데이터를 주파수 영역으로 변환하는 단계; 및
    상기 변환된 사운드 데이터로부터 주파수 특징 정보를 획득하는 단계
    를 포함하는 사운드 분석 방법.
11. 제7항에 있어서,
    상기 비교 후보군은,
    미리 저장되어 있는 복수의 시작점 파형 데이터별로 상기 추출한 시작점 파형 데이터와의 오차를 산출하는 단계; 및
    상기 복수의 시작점 파형 데이터 중 산출한 오차가 미리 설정한 임계치 이하인 시작점 파형 데이터에 해당하는 효과음 종류를 상기 비교 후보군으로 선택하는 단계
    를 포함하는 사운드 분석 방법.

Images