KR102231369B1 - 고래 소리 재생 방법 및 고래 소리 재생 장치 - Google Patents

고래 소리 재생 방법 및 고래 소리 재생 장치 Download PDF

Info

Publication number
KR102231369B1
KR102231369B1 KR1020180170896A KR20180170896A KR102231369B1 KR 102231369 B1 KR102231369 B1 KR 102231369B1 KR 1020180170896 A KR1020180170896 A KR 1020180170896A KR 20180170896 A KR20180170896 A KR 20180170896A KR 102231369 B1 KR102231369 B1 KR 102231369B1
Authority
KR
South Korea
Prior art keywords
whale
sound
feature point
point coefficient
signal
Prior art date
Application number
KR1020180170896A
Other languages
English (en)
Other versions
KR20200080917A (ko
Inventor
정의필
안우진
이응재
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020180170896A priority Critical patent/KR102231369B1/ko
Publication of KR20200080917A publication Critical patent/KR20200080917A/ko
Application granted granted Critical
Publication of KR102231369B1 publication Critical patent/KR102231369B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

고래 소리 재생 방법 및 고래 소리 재생 장치가 개시된다. 본 발명의 일실시예에 따른 고래 소리 재생 방법은, 고래 소리에 관한 음향신호를 MFCC(Mel-Frequency Cepstral Constant) 변환하여, 상기 음향신호와 연관된 제1 특징점 계수를 추출하는 단계와, 상기 제1 특징점 계수에 따라, 상기 음향신호를 분류하는 단계와, 데이터베이스 내, 상기 음향신호와 상이하게 분류된 타 음향신호를 참조하여, 상기 제1 특징점 계수를 제2 특징점 계수로 조정하는 단계, 및 상기 제2 특징점 계수를 MFCC 역변환하여 재구성한 합성 음향신호를, 출력하는 단계를 포함한다.

Description

고래 소리 재생 방법 및 고래 소리 재생 장치{METHOD AND SYSTEM FOR PLAYING WHALE SOUNDS}
본 발명은 고래 소리의 제작 기술에 연관되며, 보다 특정하게는 가중치를 고려한 L₂-norm 최소화 및 MFCC(Mel-Frequency Cepstral Constant) 역변환을 이용한 고래 소리 합성 시의 품질 개선에 연관된다.
본 발명의 배경이 되는 기술은 다음의 문헌에 개시되어 있다.
1) 일본 등록번호: JP5702666B9 (2015.02.27), "음향 장치 및 음량 보정 방법"
2) 등록번호: 10-KR1292772B1 (2013.07.29), "음원 재생 장치에서 음향 특성을 계측하여 향상시키는 방법, 이에 적합한 기록 매체 그리고 이에 적합한 장치"
3) 일본 등록번호: JP4940158B9 (2012.03.02), "음 보정 장치"
고래는 일반적으로 음향을 기반으로 서로 간에 커뮤니케이션을 하고 있다. 고래가 발생시키는 소리는 수중 과도 신호(Underwater transient signals)의 일 형태로서, 복잡하고 가변적이며 비선형적이어서 참조 패턴을 이용한 정확한 모델링이 어렵다.
최근 수년간 분산 음성 인식 표준이 광범위하게 사용되면서 MFCC(Mel-Frequency Cepstral Constant)에 기초해 음성 파형을 재구성하는 것에 관한 많은 연구가 소개되고 있다.
일례로, 웨이블릿 패킷 기반의 셉스트럴 계수를 이용한 수중 과도 신호의 특징 추출 알고리즘이 제시되고 있다.
또한 복합 배경 잡음에 대한 혹등 고래 사운드 유닛의 이중 클래스 및 수중 타겟 분류를 위한 Support Vector Machine(SVM) 커널 함수의 WOA 기반 선택 및 파라미터 최적화에 관한 연구가 제시되고 있다.
또한 복잡한 시간 변화 배경 잡음 환경에서 혹등 고래의 소리를 자동으로 검출하고 회선 신경망을 적용하는 기법이 제시되고 있다.
또한 SVM 기반의 분류 방식을 적용하여 네 종류의 수중 음향 표적을 자동으로 분류해 바다의 잡음을 식별하고 분류하는 알고리즘이 제시되고 있다.
하지만 가중된 L2-norm 최소화에 의해, 실제와 유사한 품질의 음향신호를 합성(재구성)하는 것에 관한 연구는 아직까지 제시되지 않고 있다.
이에 따라, 수중 과도 신호의 일 형태로서 고래 소리를 분석하고, MFCC를 사용해 고래 소리를 재생 및 제작하기 위한 기술이 요구되고 있다.
본 발명의 실시예는 MFCC 역변환을 통해 고래 소리를 합성(재구성) 시, 가중치를 고려해 L₂-norm을 최소화 함으로써, 수중의 고래와 실제로 소통 가능한 품질의 고래 소리를 재생 및 제작하는 것을 목적으로 한다.
본 발명의 실시예는 MFCC 변환을 통해 실제 고래 소리에서 추출한 특징점(특징점 계수, MFCC 계수)을 고래 종류 별로 DB화해 두고, 상기 특징점의 조정에 의해 다양한 고래 소리를 합성해 재생할 수 있게 하는 것을 목적으로 한다.
본 발명의 실시예는 MFCC 역변환시 멜-필터(Mel-filter)의 뱅크(bank)의 수를 조절하여 보다 다양한 고래 소리를 재생할 수 있게 하는 것을 목적으로 한다.
본 발명의 실시예는 실제 고래 소리와 합성한 고래 소리 간 오차(MSE)가 최소가 되는 최적의 가중치를 찾아, 이후의 고래 소리의 합성시 적용함으로써, 실제와 유사한 고래 소리를 재생 및 제작하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 고래 소리 재생 방법은, 고래 소리에 관한 음향신호를 MFCC(Mel-Frequency Cepstral Constant) 변환하여, 상기 음향신호와 연관된 제1 특징점 계수를 추출하는 단계와, 상기 제1 특징점 계수에 따라, 상기 음향신호를 분류하는 단계와, 데이터베이스 내, 상기 음향신호와 상이하게 분류된 타 음향신호를 참조하여, 상기 제1 특징점 계수를 제2 특징점 계수로 조정하는 단계, 및 상기 제2 특징점 계수를 MFCC 역변환하여 재구성한 합성 음향신호를, 출력하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 고래 소리 재생 장치는, 고래 소리에 관한 음향신호를 MFCC 변환하여, 상기 음향신호와 연관된 제1 특징점 계수를 추출하는 추출부와, 상기 제1 특징점 계수에 따라, 상기 음향신호를 분류하는 분류부와, 데이터베이스 내, 상기 음향신호와 상이하게 분류된 타 음향신호를 참조하여, 상기 제1 특징점 계수를 제2 특징점 계수로 조정하는 조정부, 및 상기 제2 특징점 계수를 MFCC 역변환하여 재구성한 합성 음향신호를, 출력하는 처리부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 오리지널 고래 소리의 음향신호에서 추출한 MFCC 계수를 조정하여 다양한 고래 소리를 합성해 재생할 수 있고, 가중된 L2-norm 최소화에 의해 최적의 가중치를 적용해 역 MFCC 함으로써 실제와 유사한 고래 소리를 합성할 수 있다.
본 발명의 일실시예에 따르면, 실제로 바다에서 고래와 소통 가능한 수준의 고래 소리를 합성해 재생할 수 있고, 고래 게임과 같은 고래 콘텐츠의 제작, 고래 탐지, 고래 관광 산업, 및 고래 음향 산업 등 다양한 분야에 활용될 수 있다.
도 1은 본 발명의 일실시예에 따른 고래 소리 재생 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 고래 소리 재생 장치의 상세 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 고래 소리 재생 장치에서, 특징점 계수의 추출 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 고래 소리 재생 장치에서, 합성 음향신호의 재구성 과정을 도시한 도면이다.
도 5a는 본 발명의 일실시예에 따른 고래 소리 재생 장치에서, 오리지널 고래 소리의 음향신호의 일례를 도시한 도면이다.
도 5b는, 도 5a를 이용해 재구성한 합성 음향신호의 일례를 도시한 도면이다.
도 6은, 도 5a로부터 추출한 특징점 계수에 관한 그래프이다.
도 7은, 도 5a와 도 5b 간 평균 제곱 오차(MSE)를 가중치에 따라 나타낸 그래프이다.
도 8은 본 발명의 일실시예에 따른 고래 소리 재생 방법의 순서를 도시한 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 고래 소리 재생 장치를 도시한 도면이다.
도 1을 참조하면, 고래 소리 재생 장치(100)는 초기 신호 감지부(110), 특징점 추출부(120), 및 재구성부(130)를 포함하여 구성될 수 있다.
초기 신호 감지부(110)는 입력되는 신호로부터 고래 소리에 관한 음향신호를 감지한다.
상기 입력된 신호는 수중에서 탐지한 고래 소리 및 배경잡음 등이 포함된 수중 과도 신호(Underwater transient signals)일 수 있다.
상기 고래 소리는 합성 혹은 재구성된 소리가 아닌 실제로 바다에서 고래가 발생한 오리지널의 소리일 수 있다.
초기 신호 감지부(110)는 상기 수중 과도 신호를 고속 푸리에 변환(FFT, fast Fourier transform)와 같은 디지털 알고리즘에 의해 처리하여, 상기 고래 소리에 관한 음향 신호(초기 신호)를 감지할 수 있다.
특징점 추출부(120)는 상기 음향신호로부터 상기 고래 소리를 분류하기 위한 특징점을 추출하여 데이터베이스화 한다.
일례로 특징점 추출부(120)는 상기 음향신호를 MFCC(Mel-Frequency Cepstral Constant) 알고리즘에 따라 변환해 MFCC 계수(특징점 계수)를 산출하고, 산출한 특징점 계수를 상기 음향신호에 대한 특징점으로 추출할 수 있다. 상기 특징점 계수의 산출에는 MATLAB 프로그래밍이 사용될 수 있다.
상기 특징점 계수는 대응하는 주파수 대역의 에너지 값에 상응할 수도 있고, 또는 주파수 스펙트럼과 템플릿 특성값에 상응할 수도 있다.
특징점 추출부(120)는 상기 특징점 계수에 따라 상기 음향신호를 분류하고, 분류한 음향신호를 데이터베이스에 기록한다.
상기 음향신호의 분류에는 수학적 통계 방법, 신경망 회로, 주파수 대역 스펙트럼 상관법 중 적어도 하나의 기법이 사용될 수 있다.
또한 특징점 추출부(120)는 분류된 음향신호에 대해 상기 특징점 계수의 통계치(예를 들면, 평균치)를 산출하고, 상기 통계치를 데이터베이스에 기록할 수 있다.
일례로 특징점 추출부(120)는 상기 특징점 계수를 고래 종류에 따라 분류되는 음향신호 각각으로 구분해서 데이터베이스에 기록할 수 있다. 즉 특징점 추출부(120)는 고래 종류 별로 고래 소리에 관한 특징점을 DB화 할 수 있다.
재구성부(130)는 상기 특징점 계수에 대해 조정이 발생되면, 조정된 특징점 계수를 MFCC 알고리즘에 따라 역변환하여, 합성 음향신호를 재구성할 수 있다.
상기 합성 음향신호는 실제로 바다에서 고래가 발생한 오리지널의 고래 소리를 토대로 만들어진 고래 소리를 나타낼 수 있다.
재구성부(130)는 가중된 L2-norm 최소화를 통해 최적의 가중치를 적용하여, 상기 조정된 특징점 계수를 역 MFCC 함으로써, 실제와 유사한 고래 소리를 합성할 수 있다.
여기서 최적의 가중치는 상기 합성 음향신호와, 상기 오리지널의 음향신호 간 오차가 최소가 될 때의 가중치를 나타낼 수 있다.
본 발명에 따르면, 원래의 음향신호에서 추출한 MFCC 계수를 조정하여 다양한 고래 소리를 합성해 재생할 수 있고, 최적 가중치에 따라 L2-norm을 최소화하여 역 MFCC 함으로써 실제와 유사한 고래 소리를 합성할 수 있게 된다.
또한 본 발명에 따르면, 고래 게임과 같은 고래 콘텐츠의 제작, 고래 탐지, 고래 관광 산업, 및 고래 음향 산업 등에 적용 가능한 다양한 고래 소리를 제작할 수 있게 된다.
도 2는 본 발명의 일실시예에 따른 고래 소리 재생 장치의 상세 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 고래 소리 재생 장치(200)는, 추출부(210), 분류부(220), 조정부(230), 처리부(240), 데이터베이스(250), 분할부(260) 및 감지부(270)를 포함하여 구성할 수 있다.
감지부(270)는 수중에서 탐지한 신호를 고속 푸리에 변환(FFT, fast Fourier transform) 알고리즘으로 처리하여, 고래 소리에 관한 음향신호를 감지(detect)한다.
상기 신호는, 실제로 고래가 바다에서 발생한 오리지널의 고래 소리와 배경잡음 등이 포함된 수중 과도 신호의 일 형태일 수 있다. 따라서 감지부(270)는 상기 신호를 FFT 처리하여 상기 오리지널의 고래 소리를 감지할 수 있다.
분할부(260)는 상기 음향신호에 대한 파형을, 정해진 길이를 가지는 윈도우(window)에 의해 복수의 프레임으로 분할한다.
일례로 분할부(260)는 고래 소리의 파형 x(n)을, 정해진 길이 L를 가지는 윈도우 w로 프레이밍 할 수 있다.
Figure 112018131149912-pat00001
(1)
식(1)에서 윈도우 w의 길이 L은 (0 ≤ n ≤ - 1)이고, R은 프레임 시프트이고, m은 프레임 인덱스이다.
그러면 고래 소리 중 하나의 프레임은 식(2)와 같이 표현될 수 있다
Figure 112018131149912-pat00002
(2)
추출부(210)는 상기 음향신호를 MFCC(Mel-Frequency Cepstral Constant) 변환하여, 상기 음향신호와 연관된 제1 특징점 계수를 추출한다.
추출부(210)는 MATLAB 프로그래밍에 의해 상기 고래 소리를 분류 시 사용할 상기 제1 특징점 계수를 추출할 수 있다. 상기 제1 특징점 계수는 대응하는 주파수 대역의 에너지 값에 상응할 수도 있고, 또는 주파수 스펙트럼과 템플릿 특성값에 상응할 수도 있다.
구체적으로, 추출부(210)는 복수의 프레임 각각으로 구성한 파워 스펙트럼을 멜-필터링(Mel-filtering) 하고, 상기 멜-필터링 된 파워 스펙트럼을 로그(Log) 연산 후, 이산 코사인 변환(DCT)을 실시한 값을, 상기 제1 특징점 계수로서 추출할 수 있다.
이때, 추출부(210)는 상기 복수의 프레임 중 임의 하나의 프레임에 해당하는 파형에, 이산 푸리에 변환(DFT)을 실시한 값의 제곱을, 상기 파워 스펙트럼으로 구성할 수 있다.
추출부(210)는 멜-스케일 가중 행렬(Mel-scale weighting matrix)에 의해, 상기 파워 스펙트럼을 멜-필터링 할 수 있다.
상기 멜-스케일 가중 행렬 φ는, 멜-필터 뱅크(Mel-filter bank)의 수(K)에 따라 정해지는 가중 함수의 집합을 나타낼 수 있다.
φ ∈ RK × (N / 2 + 1)
예를 들어, 도 3을 참조하면, 추출부(210)는 오리지널 고래 소리에 관한 음향신호가 입력되면, 각 프레임에 속한 파형을 DFT 변환(320)하여 파워 스펙트럼을 구성하고, I·I2(330) 처리하여 상기 파워 스펙트럼을 재구성하고, 재구성한 파워 스펙트럼을 멜-필터(340)를 통해 멜-필터링하고, 멜-필터링된 파워 스펙트럼을 로그(350) 연산 후, DCT(360) 처리하여, 상기 음향신호의 제1 MFCC 계수를 추출할 수 있다.
분류부(220)는 상기 제1 특징점 계수에 따라 상기 음향신호를 분류한다.
일례로 분류부(220)는 수학적 통계 방법, 신경망 회로, 주파수 대역 스펙트럼 상관법 중 적어도 하나의 기법에 의해, 상기 음향신호를 분류할 수 있다.
추출부(210)는 분류된 음향신호에 대해 상기 제1 특징점 계수의 통계치를 산출하고, 분류한 음향신호를 데이터베이스(250)에 기록 시, 상기 제1 특징점 계수를, 상기 음향신호의 카테고리(예, '고래 종류')에 해당하는 통계치에 반영할 수 있다.
일례로, 데이터베이스(250)는 푸른 고래(Blue Whale), 혹등 고래(Humpback Whale), 긴수염 고래(Right Whale), 회색 고래(Gray Whale) 및 밍크 고래(Minke Whale) 중 적어도 하나의 고래 종류 별로, 상기 음향신호와 연관된 특징점 계수의 통계치를 기록할 수 있다.
이 경우, 분류부(220)는 데이터베이스(250) 내에서 상기 제1 특징점 계수와 가장 근접한 통계치를 기록한 고래 종류로, 상기 음향신호를 분류할 수 있다.
예컨대, 분류부(220)는 상기 제1 특징점 계수가, 데이터베이스(250) 내 '푸른 고래'의 통계치에 가장 근접할 경우, 상기 음향신호를 '푸른 고래'의 소리로 분류할 수 있고, 추출부(210)는 상기 음향신호를 데이터베이스(250)에 기록 시, 상기 음향신호의 상기 제1 특징점 계수를, '푸른 고래'의 통계치에 반영할 수 있다.
조정부(230)는, 상기 제1 특징점 계수를 제2 특징점 계수로 조정한다.
일례로 조정부(230)는 상기 제1 특징점 계수를 설정된 실험치 만큼 증감하여 제2 특징점 계수로 조정할 수 있다.
또한 조정부(230)는 데이터베이스(250) 내, 상기 음향신호와 상이하게 분류된 타 음향신호를 참조하여, 제1 특징점 계수를 제2 특징점 계수로 조정할 수 있다.
일례로, 조정부(230)는 상기 음향신호가 '푸른 고래'의 소리로 분류될 경우, 데이터베이스(250)로부터, 혹등 고래(Humpback Whale), 긴수염 고래(Right Whale), 회색 고래(Gray Whale) 및 밍크 고래(Minke Whale) 중 어느 하나의 고래 종류로 분류되어 기록된 타 음향신호를 식별하고, 상기 타 음향신호에 대해 추출되는 특징점 계수를 기준으로, 상기 제1 특징점 계수를 조정할 수 있다.
예를 들면, 조정부(230)는 제2 특징점 계수를, 상기 제1 특징점 계수와 상기 타 음향신호의 특징점 계수 사이의 값을 가지도록 조정할 수 있다.
처리부(240)는 상기 제2 특징점 계수를 MFCC 역변환하여 재구성한 합성 음향신호를, 출력한다.
일례로 처리부(240)는 상기 제2 특징점 계수를 MFCC 역변환 시, L₂-norm의 해가 정해진 임계값을 넘지 않도록 선정된 가중치(Wi)를 적용하여 합성 음향신호를 재구성할 수 있다. 즉 처리부(240)는 L₂-norm이 최소가 되도록 선정한 가중치를 적용함으로써 합성 음향신호의 품질을 높일 수 있다.
실시예에 따라, 처리부(240)는 L₂-norm의 해가 정해진 임계값을 넘지 않으면, 상기 제2 특징점 계수를 MFCC 역변환 시, 멜-필터 뱅크(Mel-filter bank)의 수를 조절하여, 합성 음향신호를 재구성할 수도 있다.
즉 처리부(240)는 상기 가중치를 적용해 L₂-norm을 최소화 한 후에, 멜-필터 뱅크의 수를 더 조절하여 합성 음향신호를 재구성할 경우, 합성 음향신호의 품질을 보다 높일 수 있다.
또한, 실시예에 따라, 처리부(240)는 MFCC 계수의 실험적인 조정에 따라, 오리지널 신호와의 오차가 최소가 되는 최적의 가중치를 찾고, 이를 상기 합성 음향신호 재구성 시 적용할 수 있다.
구체적으로 설명하면, 분할부(260)는 상기 고래 소리 중, 제1 고래 소리에 대한 파형을, 정해진 길이의 프레임으로 분할하고, 추출부(210)는 상기 프레임을 선정된 MFCC 알고리즘에 따라 변환 처리하여, 특징점에 관한 MFCC 계수를 산출하고, 상기 MFCC 계수에 대해, 조정이 발생하면, 처리부(240)는 상기 MFCC 계수를 상기 MFCC 알고리즘에 따라 역변환 처리하여, 제2 고래 소리로 재구성하여, 상기 제1 고래 소리와, 상기 제2 고래 소리 간 평균 제곱 오차(MSE, Mean squared error)가 최소가 되는 값을 산출하고, 상기 산출한 값에 따라 조정한 가중치(최적 가중치)를 적용할 수 있다.
예를 들어, 도 7 및 표 1을 참조하면, 밍크 고래를 제외한 고래의 경우, 가중치 Wi 가 '3~4' 사이의 값일 때 MSE가 작아지는 것을 알 수 있으므로, 처리부(240)는 밍크 고래를 제외한 고래에 대해 최적 가중치를 예를 들면, '3 내지 4' 사이의 값으로 결정할 수 있다.
이후, 처리부(240)는 상기 제2 특징점 계수의 MFCC 역변환에 의해 합성 음향신호를 재구성 시, 상기 최적 가중치를 적용하여, 실제와 유사한 고래 소리를 합성해서 재생할 수 있다.
이와 같이, 본 발명의 일실시예에 따르면, MFCC 역변환을 통해 고래 소리를 합성(재구성) 시, 가중치를 고려해 L₂-norm을 최소화 함으로써, 수중의 고래와 실제로 소통 가능한 품질의 고래 소리를 재생 및 제작할 수 있다.
또한 본 발명의 일실시예에 따르면, MFCC 변환을 통해 실제 고래 소리에서 추출한 특징점(특징점 계수, MFCC 계수)을 고래 종류 별로 DB화해 두고, 상기 특징점의 조정에 의해 다양한 고래 소리를 합성해 재생할 수 있다.
또한 본 발명의 일실시예에 따르면, MFCC 역변환시 멜-필터(Mel-filter)의 뱅크(bank)의 수를 조절하여 더욱 다양한 고래 소리를 재생할 수 있다.
또한 본 발명의 일실시예에 따르면, 실제 고래 소리와 합성한 고래 소리 간 오차(MSE)가 최소가 되는 최적의 가중치를 찾아, 이후의 고래 소리의 합성시 적용함으로써, 실제와 유사한 고래 소리를 재생 및 제작할 수 있다.
도 3은 본 발명의 일실시예에 따른 고래 소리 재생 장치에서, 특징점 계수의 추출 과정을 도시한 도면이다.
고래 소리 재생 장치는, 오리지널 고래 소리에 관한 음향신호가 입력되면, MFCC 알고리즘에 따른 변환 처리에 의해 상기 음향신호의 특징점 계수(MFCC 계수)를 추출할 수 있다.
도 3을 참조하면, 상기 MFCC 알고리즘은, 프레이밍(310), DFT(320) 연산, I·I2(330), 멜-필터(340), 로그(350) 연산 및 DCT(360) 연산으로 구성될 수 있다.
일례로, 고래 소리 재생 장치는 상기 음향신호에 대한 파형을 정해진 길이를 가지는 프레임으로 분할하기 위해 프레이밍(framing)(310) 처리하고, 프레임 각각으로 DFT(Discrete Fourier Transform, 이산 푸리에 변환)(320) 처리하여 파워 스펙트럼을 구성하고, I·I2(330) 처리하여 상기 파워 스펙트럼을 재구성하고, 재구성한 파워 스펙트럼을 멜-필터(340)를 통해 멜-필터링하고, 멜-필터링된 파워 스펙트럼을 로그(350) 연산 후, DCT(Discrete Cosine Transform, 이산 코사인 변환)(360) 처리하여, 상기 음향신호의 MFCC 계수를 추출할 수 있다.
MFCC 계수의 추출 과정을 상세히 설명하면, 먼저 고래 소리 재생 장치는 고래 소리의 파형 x(n)을, 정해진 길이 L를 가지는 윈도우 w로 프레이밍 한다.
Figure 112018131149912-pat00003
(1)
식(1)에서 윈도우 w의 길이 L은 (0 ≤ n ≤ - 1)이고, R은 프레임 시프트이고, m은 프레임 인덱스이다.
그러면 고래 소리 중 하나의 프레임은 식(2)와 같이 표현된다
Figure 112018131149912-pat00004
(2)
여기서 x의 파워 스펙트럼은 |x|의 DFT의 제곱이므로 식(3)과 같이 표현된다.
Figure 112018131149912-pat00005
(3)
식(3)에서 F[x]는 x의 N-포인트 DFT이고, 기호 | |는 복소수의 모듈러스를 나타낸다.
y의 이전 (N / 2) + 1 요소는 대칭(symmetry)으로 사용된다.
그러면, 파워 스펙트럼은 가중 함수들의 세트, 즉 멜-스케일 가중 행렬 Φ∈RK × (N / 2 + 1)에 의해 멜 필터링 된다(Melfiltered). 여기서 K는 멜-필터 대역(Mel-filter band)의 수이다.
z는 멜 필터링 된 파워 스펙트럼을 나타내며, 식(4)와 같이 표현된다.
Figure 112018131149912-pat00006
(4)
상기 멜-스케일 가중 행렬 Φ는 일반적으로 필터 뱅크의 형태로 구현되고, 피치 주파수에 대한 인간의 인식을 기반으로 설계될 수 있다. 각 필터는 삼각 주파수 응답(triangular frequency response)을 가진다. Mel 가중 절차는 지각적으로 동기 부여된 차원 감소(dimensionality reduction)로 생각될 수 있다.
최종적으로 MFCC계수 h는 식(5)와 같이, 로그 및 DCT 연산으로 산출될 수 있다.
Figure 112018131149912-pat00007
(5)
도 4는 본 발명의 일실시예에 따른 고래 소리 재생 장치에서, 합성 음향신호의 재구성 과정을 도시한 도면이다.
고래 소리 재생 장치는, 재구성 알고리즘에 따른 MFCC 역변환에 의해 고래 소리에 관한 합성 음향신호를 재구성할 수 있다.
도 4를 참조하면, 상기 재구성 알고리즘은 MFCC 변환(410), DB화(420), 가중치 적용된 L2-norm 최소화(430) 및 INV MCSS(440)으로 구성될 수 있다.
일례로, 고래 소리 재생 장치는 입력된 오리지널의 고래 소리에 관한 음향신호를 MFCC 변환(410)하여 MFCC 계수를 추출하고, 상기 MFCC 계수를 음향신호 별로 구분해서 DB화(420)하고, 상기 MFCC 계수에 대해 조정(edit)이 발생되면, 조정된 MFCC 계수에 가중치를 적용하여 L2-norm을 최소화(430)한 후 INV MCSS(440) 처리하여 상기 고래 소리에 관한 합성 음향신호를 재구성할 수 있다.
실시예에 따라, 고래 소리 재생 장치는 L2-norm 최소화(430) 처리 후, 멜-필터 뱅크(Mel-filter bank)의 수를 조절하여, 합성 음향신호의 품질을 높일 수 있다.
이처럼 고래 소리 재생 장치는 상기 MFCC 계수의 조정 및 멜-필터의 뱅크 수의 조절에 의해 다양한 고래 소리를 합성해 재생할 수 있게 된다.
이하에서는 상기 재구성 알고리즘에 따른 처리 과정을 상세히 설명한다.
DCT와 로그 연산은 모두 역변환이 가능하지만, 멜-필터(Mel-filter)는 그렇지 않으므로, 상기 조정한 MFCC 계수로부터 고래 소리의 파워 스펙트럼을 재구성 하기 위해서는, 상술한 식(4)에서 L2-norm을 최소화할 필요가 있다.
Figure 112018131149912-pat00008
(6)
식(6)에서 z는 z = exp (IDCT{h})에 의해 h로부터 계산될 수 있다. IDCT는 역 이산 코사인 변환(inverse discrete cosine transform) 연산을 나타내고, exp는 벡터 변수에 대한 요소 별 지수 연산을 나타낸다.
식(6)에서 가중치(Wi)를 적용 함으로써, 최소의 L2-norm 해(solution)가 식(7)과 같이 구해질 수 있다
Figure 112018131149912-pat00009
(7)
식(7)에서 φ는, 멜-스케일 가중 행렬로서, φ의 무어-펜로즈 의사-역(Moore-Penrose pseudo-inverse)를 나타낸다.
도 5a는 본 발명의 일실시예에 따른 고래 소리 재생 장치에서, 오리지널 고래 소리의 음향신호의 일례를 도시한 도면이다.
도 5a를 참조하면, 고래 소리 재생 장치는 입력된 수중 과도 신호를 FFT 처리하여, 푸른 고래(Blue Whale)로 분류되는 고래 소리의 음향신호를 감지하고, 상기 음향신호를 시간 및 주파수 영역에 따라 도 5a와 같이 그래프로 나타낼 수 있다.
도 5b는, 도 5a를 이용해 재구성한 합성 음향신호의 일례를 도시한 도면이다.
도 5b를 참조하면, 고래 소리 재생 장치는 도 5a에 도시된 음향신호로부터 추출한 특징점 계수를 조정 후 재구성한 합성 음향신호를, 시간 및 주파수 영역에 따라 도 5b와 같이 그래프로 나타낼 수 있다.
도 6은, 도 5a로부터 추출한 특징점 계수에 관한 그래프이다.
도 6을 참조하면, 고래 소리 재생 장치는 도 5a에 도시된 음향신호를 MFCC 변환하여 특징점 계수를 추출할 수 있으며 이를 그래프로 나타내면 도 6과 같다.
일례로 고래 소리 재생 장치는 샘플링 주파수를 44,100 Hz로 하여 전체 길이의 275 샘플을 분석할 수 있으며, 신호 연속을 위해 110 프레임을 중첩할 수 있다. 도 6에는 각 MFCC의 13 차 파라미터에 대한 10 프레임의 그래프가 도시되어 있다.
고래 소리 재생 장치는 도 6에 도시된 특징점 계수를 실험치 만큼 조정한 후, 가중된 L2-norm 최소화를 통해 MFCC 역변환하여, 도 5b와 같은 합성 음향신호를 재구성할 수 있다.
도 5a의 오리지널의 고래 소리와, 도 5b의 합성된 고래 소리를 비교한 그래프가 도 7에 도시되어 있다.
도 7은, 도 5a와 도 5b 간 평균 제곱 오차(MSE)를 가중치에 따라 나타낸 그래프이다.
고래 소리 재생 장치는 오리지널 고래 소리와, 가중치를 고려한 L2-norm 최소화를 통해 합성된 고래 소리 간 평균 제곱 오차(MSE)를 계산하면 표 1과 같다.
고래종류 가중치Wi
1 2 3 4 5 6 7
혹등 고래 0.0467 0.0436 0.0361 0.0494 0.0422 0.0500 0.0458
긴수염 고래 0.0093 0.0085 0.0132 0.0102 0.0090 0.0127 0.0094
푸른 고래 0.0499 0.0383 0.0357 0.0347 0.0391 0.0402 0.0380
회색 고래 0.0120 0.0115 0.0137 0.0109 0.0120 0.0124 0.0124
밍크 고래 0.0102 0.0098 0.0093 0.0094 0.0094 0.0084 0.0090
표 1 중 푸른 고래의 MSE를 가중치 Wi에 따라 그래프로 나타내면 도 7과 같다.
도 7 및 표 1을 참조하면, 밍크 고래를 제외한 다른 고래들은 가중치 Wi 가 '3~4' 사이의 값일 때 MSE가 작아지는 것을 알 수 있다. 이에 따라, 고래 소리 재생 장치는 L2-norm 최소화 시 적용할 최적의 가중치를 밍크 고래 소리를 제외하고 '3~4' 사이의 값으로 결정할 수 있다.
이후 고래 소리 재생 장치는 MFCC 역변환 시 상기 최적 가중치를 적용하여 상기 합성 음향신호를 재구성 함으로써, 고래 소리의 재생 품질을 높일 수 있다.
이하, 도 8에서는 본 발명의 실시예들에 따른 고래 소리 재생 장치(200)의 작업 흐름을 상세히 설명한다.
도 8은 본 발명의 일실시예에 따른 고래 소리 재생 방법의 순서를 도시한 흐름도이다.
본 실시예에 따른 고래 소리 재생 방법은 상술한 고래 소리 재생 장치(200)에 의해 수행될 수 있다.
도 8을 참조하면, 단계(810)에서, 고래 소리 재생 장치(200)는, 고래 소리에 관한 음향신호를 MFCC(Mel-Frequency Cepstral Constant) 변환하여, 상기 음향신호와 연관된 제1 특징점 계수를 추출한다.
예를 들어, 도 3을 참조하면, 고래 소리 재생 장치(200)는 오리지널 고래 소리에 관한 음향신호가 입력되면, 각 프레임에 속한 파형을 DFT 변환(320)하여 파워 스펙트럼을 구성하고, I·I2(330) 처리하여 상기 파워 스펙트럼을 재구성하고, 재구성한 파워 스펙트럼을 멜-필터(340)를 통해 멜-필터링하고, 멜-필터링된 파워 스펙트럼을 로그(350) 연산 후, DCT(360) 처리하여, 상기 음향신호의 제1 MFCC 계수를 추출할 수 있다.
단계(820)에서, 고래 소리 재생 장치(200)는, 상기 제1 특징점 계수에 따라, 상기 음향신호를 분류한다.
예컨대, 고래 소리 재생 장치(200)는 상기 제1 특징점 계수가, 데이터베이스(250) 내 '푸른 고래'의 통계치에 가장 근접할 경우, 상기 음향신호를 '푸른 고래'의 소리로 분류할 수 있고, 상기 음향신호를 데이터베이스에 기록 시, 상기 음향신호의 상기 제1 특징점 계수를, '푸른 고래'의 통계치에 반영할 수 있다.
단계(830)에서, 고래 소리 재생 장치(200)는, 데이터베이스 내, 상기 음향신호와 상이하게 분류된 타 음향신호를 참조하여, 상기 제1 특징점 계수를 제2 특징점 계수로 조정한다.
예를 들면, 고래 소리 재생 장치(200)는, 상기 제1 특징점 계수를, 상기 제1 특징점 계수와 상기 타 음향신호의 특징점 계수 사이의 제2 특징점 계수로 조정할 수 있다.
또한 고래 소리 재생 장치(200)는 상기 제1 특징점 계수를 설정된 실험치 만큼 증감하여 제2 특징점 계수로 조정할 수도 있다.
단계(840)에서, 고래 소리 재생 장치(200)는, 상기 제2 특징점 계수를 MFCC 역변환하여 재구성한 합성 음향신호를, 출력한다.
일례로 고래 소리 재생 장치(200)는 MFCC 역변환 시, L₂-norm이 최소가 되도록 선정한 가중치를 적용하여 합성 음향신호를 재구성할 수 있다.
또한 고래 소리 재생 장치(200)는 상기 가중치를 적용해 L₂-norm을 최소화 한 상태에서 멜-필터 뱅크의 수를 조절하여, 합성 음향신호를 재구성할 수도 있다. 이 경우 합성 음향신호의 품질을 더욱 높일 수 있게 된다.
또한 고래 소리 재생 장치(200)는 MFCC 계수의 실험적인 조정에 따라, 오리지널 신호와의 오차가 최소가 되는 최적의 가중치를 찾고, 이를 상기 합성 음향신호 재구성 시 적용할 수도 있다.
예를 들어, 도 7 및 표 1을 참조하면, 고래 소리 재생 장치(200)는 밍크 고래를 제외한 고래의 경우, 가중치 Wi 가 '3~4' 사이의 값일 때 MSE가 작아지는 점을 고려하여, 밍크 고래를 제외한 고래에 대해 최적 가중치를 예를 들면, '3 내지 4' 사이의 값으로 결정하고, 이후 상기 제2 특징점 계수의 MFCC 역변환에 의해 합성 음향신호를 재구성 시, 상기 최적 가중치를 적용함으로써, 실제와 유사한 고래 소리의 합성이 가능해지도록 할 수 있다.
상술한 과정에 의해, 고래 소리 재생 장치(200)는, 실제로 바다에서 고래와 소통 가능한 수준의 다양한 고래 소리를 합성해 재생할 수 있으며, 다양한 고래 콘텐츠 제작에 활용될 수 있는 고래 소리의 제작이 가능해진다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
200: 고래 소리 재생 장치
210: 추출부
220: 분류부
230: 조정부
240: 처리부
250: 데이터베이스
260: 분할부
270: 감지부

Claims (16)

  1. 고래 소리에 관한 음향신호를 MFCC(Mel-Frequency Cepstral Constant) 변환하여, 상기 음향신호와 연관된 제1 특징점 계수를 추출하는 단계;
    상기 제1 특징점 계수에 따라, 상기 음향신호를, 혹등 고래, 긴수염 고래, 회색 고래 및 밍크 고래 중 어느 하나의 고래 종류로 분류하는 단계;
    상기 음향신호를 분류한 고래 종류에 연관시켜, 상기 음향신호를 데이터베이스에 기록하는 단계;
    상기 데이터베이스로부터, 상기 음향신호와 상이한 고래 종류로 분류된 타 음향신호를 식별하는 단계;
    상기 제1 특징점 계수를, 상기 타 음향신호로부터 추출된 특징점 계수의 통계치와, 상기 제1 특징점 계수와의 사이의 제2 특징점 계수로 조정하는 단계;
    선정된 가중치를 적용해 상기 제2 특징점 계수를 MFCC 역변환하여, 합성 음향신호를 재구성하는 단계; 및
    상기 재구성한 합성 음향신호를, 고래 소리로서 제작하여 출력하는 단계
    를 포함하고,
    상기 합성 음향신호를 재구성하는 단계는,
    상기 제2 특징점 계수를 MFCC 역변환 시, 상기 제작된 고래 소리와 상기 고래 소리 간 평균 제곱 오차(MSE)가 최소가 되는 상기 가중치를 적용하는 단계; 및
    상기 가중치 적용으로, L2-norm의 해가 정해진 임계값을 넘지 않으면, 멜-필터 뱅크(Mel-filter bank)의 수를 조절하여, 상기 합성 음향신호를 재구성하는 단계
    를 포함하고,
    상기 가중치를 적용하는 단계는,
    상기 밍크 고래를 제외한, 상기 혹등 고래, 상기 긴수염 고래, 상기 회색 고래에 대해, 가중치가 커지더라도 평균 제곱 오차(MSE)가 작아지는 가중치를, 최적의 가중치로서 선정하는 단계
    를 포함하는 고래 소리 재생 방법.
  2. 제1항에 있어서,
    상기 고래 소리 재생 방법은,
    상기 음향신호에 대한 파형을, 정해진 길이를 가지는 윈도우에 의해 복수의 프레임으로 분할하는 단계
    를 더 포함하고,
    상기 제1 특징점 계수를 추출하는 단계는,
    상기 복수의 프레임 각각으로 구성한 파워 스펙트럼을 멜-필터링(Mel-filtering) 하는 단계; 및
    상기 멜-필터링 된 파워 스펙트럼을 로그(Log) 연산 후, 이산 코사인 변환(DCT)을 실시한 값을, 상기 제1 특징점 계수로서 추출하는 단계
    를 포함하는 고래 소리 재생 방법.
  3. 제2항에 있어서,
    상기 제1 특징점 계수를 추출하는 단계는,
    상기 복수의 프레임 중 임의 하나의 프레임에 해당하는 파형에, 이산 푸리에 변환(DFT)을 실시한 값의 제곱을, 상기 파워 스펙트럼으로 구성하는 단계
    를 더 포함하는 고래 소리 재생 방법.
  4. 제2항에 있어서,
    상기 멜-필터링 하는 단계는,
    멜-스케일 가중 행렬(Mel-scale weighting matrix)에 의해, 상기 파워 스펙트럼을 멜-필터링 하는 단계
    를 포함하는 고래 소리 재생 방법.
  5. 제1항에 있어서,
    상기 고래 소리 재생 방법은,
    고래 종류 별 음향신호와 연관된 특징점 계수의 통계치를 상기 데이터베이스에 기록하는 단계
    를 더 포함하고,
    상기 분류하는 단계는,
    상기 데이터베이스 내에서 상기 제1 특징점 계수와 가장 근접한 통계치를 기록한 고래 종류로, 상기 음향신호를 분류하는 단계
    를 포함하는 고래 소리 재생 방법.
  6. 제5항에 있어서,
    상기 고래 소리 재생 방법은,
    수중에서 탐지한 신호를 고속 푸리에 변환(FFT) 알고리즘으로 처리하여, 상기 음향신호를 감지하는 단계; 및
    상기 음향신호를 상기 데이터베이스에 기록 시, 상기 제1 특징점 계수를, 상기 음향신호가 분류된 고래 종류에 해당하는 통계치에 반영하는 단계
    를 더 포함하는 고래 소리 재생 방법.
  7. 제1항에 있어서,
    상기 고래 소리 재생 방법은,
    상기 음향신호가 '푸른 고래'의 소리로 분류될 경우,
    상기 데이터베이스로부터, 혹등 고래, 긴수염 고래, 회색 고래 및 밍크 고래 중 어느 하나의 고래 종류로 분류되어 기록된 타 음향신호를 식별하는 단계; 및
    상기 타 음향신호에 대해 추출되는 특징점 계수를 기준으로, 상기 제1 특징점 계수를 조정하는 단계
    를 더 포함하는 고래 소리 재생 방법.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 고래 소리 중, 제1 고래 소리에 대한 파형을, 정해진 길이의 프레임으로 분할하는 단계;
    상기 프레임을 선정된 MFCC 알고리즘에 따라 변환 처리하여, 특징점에 관한 MFCC 계수를 산출하는 단계;
    상기 MFCC 계수에 대해 조정이 발생하면,
    상기 MFCC 계수를 상기 MFCC 알고리즘에 따라 역변환 처리하여, 제2 고래 소리로 재구성하는 단계
    를 더 포함하고,
    상기 합성 음향신호를 재구성하는 단계는,
    상기 제2 특징점 계수의 MFCC 역변환 시, 상기 제1 고래 소리와, 상기 제2 고래 소리 간 평균 제곱 오차(MSE)가 최소가 되는 가중치를 적용하는 단계
    를 더 포함하는 고래 소리 재생 방법.
  11. 고래 소리에 관한 음향신호를 MFCC 변환하여, 상기 음향신호와 연관된 제1 특징점 계수를 추출하는 추출부;
    상기 제1 특징점 계수에 따라, 상기 음향신호를, 혹등 고래, 긴수염 고래, 회색 고래 및 밍크 고래 중 어느 하나의 고래 종류로 분류하는 분류부;
    상기 음향신호를 분류한 고래 종류에 연관시켜 상기 음향신호를 기록한 데이터베이스로부터, 상기 음향신호와 상이한 고래 종류로 분류된 타 음향신호를 식별하고, 상기 제1 특징점 계수를, 상기 타 음향신호로부터 추출된 특징점 계수의 통계치와, 상기 제1 특징점 계수와의 사이의 제2 특징점 계수로 조정하는 조정부; 및
    선정된 가중치를 적용해 상기 제2 특징점 계수를 MFCC 역변환하여 합성 음향신호를 재구성하고, 상기 재구성한 합성 음향신호를, 고래 소리로서 제작하여 출력하는 처리부
    를 포함하고,
    상기 처리부는,
    상기 제2 특징점 계수를 MFCC 역변환 시, 상기 제작된 고래 소리와 상기 고래 소리 간 평균 제곱 오차(MSE)가 최소가 되는 상기 가중치를 적용하고, 상기 가중치 적용으로, L2-norm의 해가 정해진 임계값을 넘지 않으면, 멜-필터 뱅크(Mel-filter bank)의 수를 조절하여, 상기 합성 음향신호를 재구성하고,
    상기 밍크 고래를 제외한, 상기 혹등 고래, 상기 긴수염 고래, 상기 회색 고래에 대해, 가중치가 커지더라도 평균 제곱 오차(MSE)가 작아지는 가중치를, 최적의 가중치로서 선정하는
    고래 소리 재생 장치.
  12. 제11항에 있어서,
    상기 고래 소리 재생 장치는,
    상기 음향신호에 대한 파형을, 정해진 길이를 가지는 윈도우에 의해 복수의 프레임으로 분할하는 분할부
    를 더 포함하고,
    상기 추출부는,
    상기 복수의 프레임 각각으로 구성한 파워 스펙트럼을 멜-필터링 하고, 상기 멜-필터링 된 파워 스펙트럼을 로그(Log) 연산 후, 이산 코사인 변환(DCT)을 실시한 값을, 상기 제1 특징점 계수로서 추출하는
    고래 소리 재생 장치.
  13. 제11항에 있어서,
    상기 고래 소리 재생 장치는,
    수중에서 탐지한 신호를 고속 푸리에 변환(FFT) 알고리즘으로 처리하여, 상기 음향신호를 감지하는 감지부
    를 더 포함하고,
    상기 추출부는,
    상기 음향신호를 상기 데이터베이스에 기록 시, 상기 제1 특징점 계수를, 상기 음향신호가 분류된 고래 종류에 해당하는 통계치에 반영하는
    고래 소리 재생 장치.
  14. 삭제
  15. 삭제
  16. 제11항에 있어서,
    상기 처리부는,
    상기 제2 특징점 계수의 MFCC 역변환 시, 제1 고래 소리와, 상기 제1 고래 소리를 이용해 재구성한 제2 고래 소리 간 평균 제곱 오차(MSE)가 최소가 되는 가중치를 적용하는
    고래 소리 재생 장치.
KR1020180170896A 2018-12-27 2018-12-27 고래 소리 재생 방법 및 고래 소리 재생 장치 KR102231369B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180170896A KR102231369B1 (ko) 2018-12-27 2018-12-27 고래 소리 재생 방법 및 고래 소리 재생 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180170896A KR102231369B1 (ko) 2018-12-27 2018-12-27 고래 소리 재생 방법 및 고래 소리 재생 장치

Publications (2)

Publication Number Publication Date
KR20200080917A KR20200080917A (ko) 2020-07-07
KR102231369B1 true KR102231369B1 (ko) 2021-03-23

Family

ID=71602584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170896A KR102231369B1 (ko) 2018-12-27 2018-12-27 고래 소리 재생 방법 및 고래 소리 재생 장치

Country Status (1)

Country Link
KR (1) KR102231369B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102549575B1 (ko) * 2020-10-15 2023-06-28 한국로봇융합연구원 천적음 생성 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675673B1 (ko) * 2015-03-30 2016-11-11 울산대학교 산학협력단 돌고래 탐지 시스템장치 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIN, Gang, et al. Speech reconstruction from mel-frequency cepstral coefficients via ℓ1-norm minimization. IEEE 17th International Workshop on Multimedia Signal Processing (MMSP). 2015.10.*
임태균, et al. MFCC 특징벡터와 신경회로망을 이용한 프레임 기반의 수중 천이신호 식별. 대한전자공학회 학술대회. 2008.*

Also Published As

Publication number Publication date
KR20200080917A (ko) 2020-07-07

Similar Documents

Publication Publication Date Title
JP4797342B2 (ja) オーディオデータを自動的に認識する方法及び装置
CN108766419B (zh) 一种基于深度学习的非常态语音区别方法
CN103999076B (zh) 包括将声音信号变换成频率调频域的处理声音信号的系统和方法
KR101807961B1 (ko) Lstm 및 심화신경망 기반의 음성 신호 처리 방법 및 장치
Uria et al. A deep neural network for acoustic-articulatory speech inversion
US20200066260A1 (en) Signal generation device, signal generation system, signal generation method, and computer program product
US10008218B2 (en) Blind bandwidth extension using K-means and a support vector machine
JP2010224321A (ja) 信号処理装置
CN108198545B (zh) 一种基于小波变换的语音识别方法
WO2023001128A1 (zh) 音频数据的处理方法、装置及设备
WO2005117517A2 (en) Neuroevolution-based artificial bandwidth expansion of telephone band speech
KR102617476B1 (ko) 분리 음원을 합성하는 장치 및 방법
CN105679321B (zh) 语音识别方法、装置及终端
WO2022081962A1 (en) Machine learning for microphone style transfer
US5692098A (en) Real-time Mozer phase recoding using a neural-network for speech compression
KR102231369B1 (ko) 고래 소리 재생 방법 및 고래 소리 재생 장치
JP5443547B2 (ja) 信号処理装置
CN106297768B (zh) 一种语音识别方法
CN114141237A (zh) 语音识别方法、装置、计算机设备和存储介质
US20240013775A1 (en) Patched multi-condition training for robust speech recognition
CN117542373A (zh) 一种非空气传导语音的恢复系统及方法
CN112863517A (zh) 基于感知谱收敛率的语音识别方法
CN109741761B (zh) 声音处理方法和装置
CN116959468A (zh) 一种基于dcctn网络模型的语音增强方法、系统及设备
CN115116475B (zh) 一种基于时延神经网络的语音抑郁症自动检测方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant