KR101474321B1 - 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법 - Google Patents

암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법 Download PDF

Info

Publication number
KR101474321B1
KR101474321B1 KR1020120070798A KR20120070798A KR101474321B1 KR 101474321 B1 KR101474321 B1 KR 101474321B1 KR 1020120070798 A KR1020120070798 A KR 1020120070798A KR 20120070798 A KR20120070798 A KR 20120070798A KR 101474321 B1 KR101474321 B1 KR 101474321B1
Authority
KR
South Korea
Prior art keywords
frequency
resolution
blind
signal
permutation
Prior art date
Application number
KR1020120070798A
Other languages
English (en)
Other versions
KR20140002350A (ko
Inventor
이수영
최충환
김병열
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120070798A priority Critical patent/KR101474321B1/ko
Priority to PCT/KR2012/005919 priority patent/WO2014003230A1/ko
Publication of KR20140002350A publication Critical patent/KR20140002350A/ko
Application granted granted Critical
Publication of KR101474321B1 publication Critical patent/KR101474321B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법이 개시된다. 본 발명에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치는, 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 주파수요소 합산부; 주파수요소 합산부에 의해 합산된 주파수 요소에 대한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 재합산하는 주파수요소 재합산부; 및 원래의 출력신호, 주파수요소 합산부에 의해 합산된 신호 및 주파수요소 재합산부에 의해 재합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 암묵신호 분리부를 포함하는 것을 특징으로 한다(여기서, n은 자연수).

Description

암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법{Permutation/Scale Problem Solving Apparatous and Method for Blind Signal Separation}
본 발명은 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법에 관한 것으로서, 보다 상세하게는 암묵신호분리를 수행하는 경우에 분리된 신호의 주파수요소가 바뀌는 순열문제를 해결할 수 있는 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법에 관한 것이다.
디지털 신호처리 기술의 발전으로 음성통신 및 음성인식 시스템을 활용한 다양한 음성 서비스들이 제공되고 있지만, 보다 효과적으로 시스템에 적용하기 위해서는 성능 개선이 필요하다. 특히, 음성통신에 있어 음질을 향상시키고 음성인식률을 개선하기 위해서는 원하는 신호와 원하지 않는 주변잡음 등의 신호를 분리하는 기술이 필수적으로 요구된다.
최근, 통신 시스템, 생체의학계 및 실제 환경에서의 음원 분리 등의 응용에서 다중 센서에서 관찰된 혼합신호만으로 음원/신호원을 추정하는 암묵신호분리(BBS: Blind Signal Separation)에 관한 응용 및 연구가 활발히 진행되고 있다. 여기서, 암묵신호분리는 신호의 혼합에서 원래의 신호원을 추정하는 기술이다.
도 1은 암묵신호분리의 개념을 설명하기 위해 도시한 도면이다.
암묵신호분리의 모델링으로서, N 개의 통계적으로 상호독립이며 평균이 영(zero)인 미지의 신호원들이 각각 독립적인 혼합 경로를 거쳐 M 개의 센서(마이크)를 통해 수신되었다고 가정하면, 마이크 신호 x와 원본신호 s 사이에는 수학식 1과 같은 관계식이 성립한다.
[수학식 1]
Figure 112012052178213-pat00001
여기서, hjk(l)은 k 번째 원본신호로부터 j 번째 마이크까지의 전달함수를 의미한다. N은 일반적으로 M과 같은 값을 사용할 수 있다.
암묵신호분리의 목적은 hjk(l)과 sk를 모르는 상태로 혼합 신호인 xj의 신호만을 가지고 수학식 2와 같이 분리해 내는 것이다.
[수학식 2]
Figure 112012052178213-pat00002
즉, 분리필터(unmixing filter/demixing filter) wij(l)의 값을 추정하는 것이 최종적인 목표이다. 수학식 1 및 수학식 2는 시간 영역에서의 데이터를 처리하는 방식으로서 L이 필터의 크기라고 할 수 있는데, 이값이 커질수록 계산량이 매우 많아지게 된다. 따라서, 계산량을 줄이기 위하여 주파수 영역의 신호로 변환할 필요가 있다. 이때, 주파수 영역의 암묵신호분리(Frequency Domain BSS)는 STFT(Short-Time Fourier Transform)를 이용하여 변환되며, 그 식은 수학식 3과 같다.
[수학식 3]
Figure 112012052178213-pat00003
즉, STFT는 L이라는 길이의 window size에 해당하는 만큼의 데이터 xj를 가져와서 Fourier Transform을 하며, 데이터를 조금씩 shift 하여 반복적으로 수행하는 것이다. 이와 같은 방법에 의해 가로는 time frame, 세로는 frequency bin의 정보를 가지는 2차원 데이터(2 dimension data)가 만들어지며, 그에 따라 수학식 1 및 수학식 2에서의 시간 영역에서의 convolution은 주파수 영역에서의 multiplication으로 변환되고, 계산량 측면에서 훨씬 간단해지게 된다. 따라서 마이크 신호와 출력신호의 관계는 수학식 4와 같이 표현할 수 있다.
[수학식 4]
Figure 112012052178213-pat00004
N = M = 2인 경우를 가정한다. 여기서, Y(f,t) = [Y1(f,t) Y2(f,t)]T, X(f,t) = [X1(f,t) X2(f,t)]T, 그리고 W(f) = [W11(f) W12(f);W21(f) W22(f)]이다. W를 추정하는 방법으로는 일반적으로 독립성분분석(ICA: Independent Component Analysis)에 기반한 알고리즘을 사용할 수 있다.
독립성분분석을 이용하여 W(f)를 추정하는 경우, 출력 Y(f,t)는 Y1(f,t) 및 Y2(f,t)로 이루어져 있으며, 이 신호는 특정 주파수 f에 대하여 분리된 신호이다. 이 신호는 여러 주파수 중에서 하나의 주파수에 해당하는 신호이기 때문에 단독으로는 의미가 없으며, 다른 주파수의 신호들도 이와 마찬가지로 분리되어 모은 후에, STFT의 역(inverse STFT)을 취하여야만 한다. 이때, 순열(permutation) 문제가 발생하게 된다. 즉, 서로 다른 주파수의 신호를 각각 분리하기 때문에 같은 신호들끼리 짝을 지워주는 과정이 더 필요한 데, 일반적인 독립성분분석 방법은 혼합된 신호를 분리해 주기는 하지만 각각의 분리된 신호에 대한 구체적인 정보(예를 들어, 남자 목소리인지, 어느 방향에서 입력되는 목소리인지 등)는 제공하지 않기 때문에 주파수 요소의 순서가 바뀌는 순열 문제가 발생하게 되는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 창안된 것으로서, 암묵신호분리를 수행하는 경우에 분리된 신호의 주파수요소가 바뀌는 순열문제를 해결할 수 있는 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치는, 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 주파수요소 합산부; 상기 주파수요소 합산부에 의해 합산된 주파수 요소에 대한 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소를 재합산하는 주파수요소 재합산부; 및 원래의 출력신호, 상기 주파수요소 합산부에 의해 합산된 신호 및 상기 주파수요소 재합산부에 의해 재합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 암묵신호 분리부를 포함하는 것을 특징으로 한다(여기서, m, n은 자연수). 이 경우, 상기 암묵신호 분리부에서 분리된 암묵신호들은 각각의 암묵신호에 포함되는 주파수 요소 중 높은 주파수 해상도의 이웃하는 두 주파수 요소 각각에 계수로서 복소수 값을 곱하여 합한 주파수 요소와, 상기 이웃하는 두 개의 높은 해상도의 주파수 요소를 포함하는 낮은 해상도의 주파수 요소 사이의 유클리디안 거리가 최소가 되는 주파수 요소들의 조합을 가지는 암묵신호를 선택하는 것에 의해 주파수 요소 사이의 순열 문제와 비례문제가 해결된 암묵신호를 선택할 수 있다.
상기 암묵신호 분리부는, 두 개의 서로 다른 STFT(Short-Time Fourier Transform) 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행할 수 있다.
상기 주파수요소 합산부는, 합산된 주파수 해상도의 신호가 1개가 될 때까지 반복적으로 수행된다.
상기 암묵신호 분리부는, 분리된 신호에 대하여 가장 낮은 주파수 해상도로부터 가장 높은 주파수 해상도까지 순차적으로 짝을 맞출 수 있다.
상기 주파수요소 합산부 또는 상기 주파수요소 재합산부에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화하는 것이 바람직하다.
전술한 암묵신호 분리에서의 순열/비례문제 해결장치는, 분리필터에 대하여 동일한 과정이 적용될 수 있다.
또한, 전술한 암묵신호 분리에서의 순열/비례문제 해결장치는, 하나의 암묵신호에 포함되는 여러 가지의 주파수 요소에 대해서 각 주파수 요소에서의 유클리디안 거리로 계산된 값의 평균을 산출하고, 산출된 평균값이 가장 낮은 주파수 요소들의 조합을 가지지는 암묵신호를 최적의 해상도의 주파수 요소 조합으로로 설정할 수 있다.
또한, 전술한 암묵신호 분리에서의 순열/비례문제 해결장치는, 하나의 암묵신호에 포함되는 여러 가지의 주파수 요소의 조합에 대해서 각 주파수에서 계산된 첫 번째 해에 대해서 유클리디안 거리로 계산된 값(E1)을 산출하고, 두 번째 해에 대해서도 유클리디안 거리로 계산된 값(E2)을 산출하며, 산출된 값들의 차이(E2-E1)가 가장 크게 나타나는 주파수 요소들을 분리된 암묵신호들의 주파수 요소로 설정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치는, 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 제1주파수요소 합산부; 서로 다른 주파수 출력신호의 인접한 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소를 합산하는 제2주파수요소 합산부; 및 원래의 출력신호, 상기 제1주파수요소 합산부에 의해 합산된 신호 및 상기 제2주파수요소 합산부에 의해 합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 암묵신호 분리부를 포함하는 것을 특징으로 한다(여기서, m, n은 자연수). 이 경우, 상기 암묵신호 분리부에서 분리된 암묵신호들은 각각의 암묵신호에 포함되는 주파수 요소 중 높은 주파수 해상도의 이웃하는 두 주파수 요소 각각에 계수로서 복소수 값을 곱하여 합한 주파수 요소와, 상기 이웃하는 두 개의 높은 해상도의 주파수 요소를 포함하는 낮은 해상도의 주파수 요소 사이의 유클리디안 거리가 최소가 되는 주파수 요소들의 조합을 가지는 암묵신호를 선택하는 것에 의해 주파수 요소 사이의 순열 문제와 비례문제가 해결된 암묵신호를 선택할 수 있다.
상기 암묵신호 분리부는, 두 개의 서로 다른 STFT 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행할 수 있다.
상기 암묵신호 분리부는, 분리된 신호에 대하여 서로 겹치면서 엇갈리도록 배치할 수 있다.
상기 제1주파수요소 합산부 또는 상기 제2주파수요소 합산부에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화하는 것이 바람직하다.
전술한 암묵신호 분리에서의 순열/비례문제 해결장치는, 분리필터에 대하여 동일한 과정이 적용될 수 있다.
또한, 전술한 암묵신호 분리에서의 순열/비례문제 해결장치는, 여러 가지의 주파수 해상도에 대해서 각 주파수에서 유클리디안 거리로 계산된 값의 평균을 산출하고, 산출된 평균값이 가장 낮은 주파수 해상도를 최적의 주파수 해상도로 설정할 수 있다.
또한, 전술한 암묵신호 분리에서의 순열/비례문제 해결장치는, 여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 첫 번째 해에 대해서 유클리디안 거리로 계산된 값(E1)을 산출하고, 두 번째 해에 대해서도 유클리디안 거리로 계산된 값(E2)을 산출하며, 산출된 값들의 차이(E2-E1)가 가장 크게 나타나는 주파수 해상도들을 분리된 암묵신호들로 설정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결방법은, 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 단계; 상기 주파수요소 합산단계에 의해 합산된 주파수 요소에 대한 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소를 재합산하는 단계; 원래의 출력신호, 상기 주파수요소 합산부에 의해 합산된 신호 및 상기 주파수요소 재합산부에 의해 재합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 단계; 및 분리된 신호에 대하여 가장 낮은 주파수 해상도로부터 가장 높은 주파수 해상도까지 순차적으로 짝을 맞추는 단계를 포함하는 것을 특징으로 한다(여기서, m, n은 자연수). 이 경우, 상기 암묵신호 분리부에서 분리된 암묵신호들은 각각의 암묵신호에 포함되는 주파수 요소 중 높은 주파수 해상도의 이웃하는 두 주파수 요소 각각에 계수로서 복소수 값을 곱하여 합한 주파수 요소와, 상기 이웃하는 두 개의 높은 해상도의 주파수 요소를 포함하는 낮은 해상도의 주파수 요소 사이의 유클리디안 거리가 최소가 되는 주파수 요소들의 조합을 가지는 암묵신호를 선택하는 것에 의해 주파수 요소 사이의 순열 문제와 비례문제가 해결된 암묵신호를 선택할 수 있다.
상기 암묵신호분리 수행단계는, 두 개의 서로 다른 STFT 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행할 수 있다.
상기 주파수요소 합산단계는, 합산된 주파수 해상도의 신호가 1개가 될 때까지 반복적으로 수행될 수 있다.
상기 제1주파수요소 합산단계 또는 상기 제2주파수요소 합산단계에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화할 수 있다.
전술한 암묵신호 분리에서의 순열/비례문제 해결방법은, 분리필터에 대하여 동일한 과정이 적용될 수 있다.
또한, 전술한 암묵신호 분리에서의 순열/비례문제 해결방법은, 여러 가지의 주파수 해상도에 대해서 각 주파수에서 유클리디안 거리로 계산된 값의 평균을 산출하고, 산출된 평균값이 가장 낮은 주파수 해상도를 최적의 주파수 해상도로 설정할 수 있다.
또한, 전술한 암묵신호 분리에서의 순열/비례문제 해결방법은, 여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 첫 번째 해에 대해서 유클리디안 거리로 계산된 값(E1)을 산출하고, 두 번째 해에 대해서도 유클리디안 거리로 계산된 값(E2)을 산출하며, 산출된 값들의 차이(E2-E1)가 가장 크게 나타나는 주파수 해상도들을 분리된 암묵신호들로 설정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결방법은, 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 제1주파수요소 합산단계; 서로 다른 주파수 출력신호의 인접한 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소를 합산하는 제2주파수요소 합산단계; 원래의 출력신호, 상기 제1주파수요소 합산단계에 의해 합산된 신호 및 상기 제2주파수요소 합산단계에 의해 합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 단계; 및 분리된 신호에 대하여 서로 겹치면서 엇갈리도록 배치하는 단계를 포함하는 것을 특징으로 한다(여기서, m, n은 자연수). 이 경우, 상기 암묵신호 분리부에서 분리된 암묵신호들은 각각의 암묵신호에 포함되는 주파수 요소 중 높은 주파수 해상도의 이웃하는 두 주파수 요소 각각에 계수로서 복소수 값을 곱하여 합한 주파수 요소와, 상기 이웃하는 두 개의 높은 해상도의 주파수 요소를 포함하는 낮은 해상도의 주파수 요소 사이의 유클리디안 거리가 최소가 되는 주파수 요소들의 조합을 가지는 암묵신호를 선택하는 것에 의해 주파수 요소 사이의 순열 문제와 비례문제가 해결된 암묵신호를 선택할 수 있다.
상기 암묵신호분리 수행단계는, 두 개의 서로 다른 STFT 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행할 수 있다.
상기 제1주파수요소 합산단계 또는 상기 제2주파수요소 합산단계에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소 중 어느 하나의 크기가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화하는 것이 바람직하다.
전술한 암묵신호 분리에서의 순열/비례문제 해결방법은, 분리필터에 대하여 동일한 과정이 적용될 수 있다.
또한, 전술한 암묵신호 분리에서의 순열/비례문제 해결방법은, 여러 가지의 주파수 해상도에 대해서 각 주파수에서 유클리디안 거리로 계산된 값의 평균을 산출하고, 산출된 평균값이 가장 낮은 주파수 해상도를 최적의 주파수 해상도로 설정할 수 있다.
또한, 전술한 암묵신호 분리에서의 순열/비례문제 해결방법은, 여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 첫 번째 해에 대해서 유클리디안 거리로 계산된 값(E1)을 산출하고, 두 번째 해에 대해서도 유클리디안 거리로 계산된 값(E2)을 산출하며, 산출된 값들의 차이(E2-E1)가 가장 크게 나타나는 주파수 해상도들을 분리된 암묵신호들로 설정할 수 있다.
본 발명에 따르면, 암묵신호분리를 수행하는 경우에 분리된 신호의 주파수요소가 바뀌는 순열문제를 해결할 수 있게 된다.
도 1은 암묵신호분리의 개념을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에서의 서로 다른 해상도 데이터 사이의 관계를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 순열문제의 해결을 위한 계층적 접근방법을 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치의 구성을 개략적으로 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 순열문제의 해결을 위한 교대식 접근방법의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 순열문제의 해결을 위한 교대식 접근방법의 다른 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결방법을 나타낸 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 이하의 설명에 있어서, 당업자에게 주지 저명한 기술에 대해서는 그 상세한 설명을 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치의 구성을 개략적으로 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치(100)는 주파수요소 합산부(110), 주파수요소 재합산부(120) 및 암묵신호 분리부(130)를 포함한다.
주파수요소 합산부(110)는 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산한다. 주파수요소 합산부(110)는, 합산된 주파수 해상도의 신호가 1개가 될 때까지 반복적으로 수행할 수 있다.
주파수요소 재합산부(120)는 주파수요소 합산부(110)에 의해 합산된 주파수 요소에 대한 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소를 재합산한다.
주파수요소 합산부(110) 또는 주파수요소 재합산부(120)에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화할 수 있다. 그러나, 두 주파수 요소의 평균화는 이에 한정되는 것은 아니며, 비율에 관계없이 무조건적으로 시행될 수도 있다. 또한, 두 주파수 요소의 평균화는 파워나 크기 등 특정 요소의 평균화에 한정되는 것은 아니며, 다양한 요소에 대한 평균화가 수행될 수 있다.
암묵신호 분리부(130)는 원래의 출력신호, 주파수요소 합산부(110)에 의해 합산된 신호 및 주파수요소 재합산부(120)에 의해 재합산된 신호의 각각에 기초하여 암묵신호 분리를 수행한다. 여기서, 암묵신호 분리부(130)는 두 개의 서로 다른 STFT(Short-Time Fourier Transform) 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행할 수 있다. 또한, 암묵신호 분리부(130)는 분리된 신호에 대하여 가장 낮은 주파수 해상도로부터 가장 높은 주파수 해상도까지 순차적으로 짝을 맞출 수 있다.
도 3은 본 발명의 실시예에서의 서로 다른 해상도 데이터 사이의 관계를 나타낸 도면이다. 낮은 주파수 해상도의 데이터는 높은 주파수 해상도의 데이터의 이웃하는 두 값의 합과 같다. 예를 들면, x(i)가 100 ~ 200Hz의 신호 정보를 가지고 x(i+1)가 200 ~ 300Hz의 신호 정보를 갖는다고 가정하면, 100 ~ 300Hz의 신호 정보를 가지는 낮은 주파수 해상도의 데이터인 x_bar(i,i+1)은 두 신호 x(i)와 x(i+1)의 합일 것이다.
삭제
이와 같은 형태로 수식을 전개할 수 있다. 여기서, 높은 주파수 해상도와 낮은 주파수 해상도는 비교 대상이 될 두 개의 서로 다른 STFT 데이터의 주파수 해상도의 상대적인 크기에 의해서 결정이 된다.
이때, 높은 주파수 해상도를 가지는 데이터의 순열 문제를 해결하기 위하여 낮은 주파수 해상도를 가지는 데이터를 활용할 수 있다. 즉, 기본적으로 순열 문제를 풀기 위해서는 수학식 5에 나타낸 바와 같이 서로 다른 주파수 데이터를 가져와야 한다. 수학식 5는 높은 주파수 해상도에 대한 수식이다.
[수학식 5]
Figure 112012052178213-pat00005
여기서는 편의상 f 대신에 주파수 번호로 i를 사용하였으며, time frame 정보는 생략하였다. 그리고, 이 두 주파수 영역을 아우르는 낮은 주파수 영역의 신호는 수학식 6과 같이 나타낼 수 있다.
[수학식 6]
Figure 112012052178213-pat00006
여기서 중요한 것은 세 가지 데이터 (x(i), x(i+1), x_bar(i,i+1))에 대해서 각각 서로 다른 분리필터를 예측하기 위해서 암묵신호분리를 하여야 한다는 것이다. 그리고, 다음으로 가기 위해서 염두해 두어야 할 점은, 분리된 신호 y(i), y(i+1), y_bar(i,i+1) 들도 "같은 신호"에 대해서 y_bar(i,i+1) = y(i) + y(i+1) 가 성립되어야 한다는 것이다. M = N = 2에 대해서 설명하면, y_bar1 (i,i+1) = y1 (i) + y1 (i+1)과 y_bar2 (i,i+1) = y2 (i) + y2 (i+1)는 성립이 될 것이지만 y_bar1 (i,i+1) = y1 (i) + y2 (i+1)나 y_bar2 (i,i+1) = y2 (i) + y1 (i+1)은 성립이 되지 않을 것이다. 즉, 본 발명의 실시예는 3개의 신호가 모두 같은 신호로부터 와야 등호가 성립된다는 점을 이용하는 것이다.
이를 위하여 본 발명의 실시예에서는 수학식 7과 같이 n 개의 순열 후보에 대한 유효성을 검토한다.
[수학식 7]
Figure 112012052178213-pat00007
여기서 n1, n2, n3는 각 출력신호의 번호이며, N=M=2인 경우에 대해서 각각 n1 = 1,2, n2 =1,2, n3 = 1,2 의 경우가 존재하여 총 8개의 E(an1, bn2, n3)가 존재한다. 하지만, 순열 문제를 해결할 경우에 (n1=1, n2=1, n3=1과 n1=2, n2=2, n3=2), (n1=1, n2=1, n3=2와 n1=2, n2=2, n3=1), (n1=1, n2=2, n3=1과 n1=2, n2=1, n3=2), (n1=1, n2=2, n3=2와 n1=2, n2=1, n3=1)는 각각 하나의 쌍이다. 같은 경우에 해당하는 E끼리의 합을 최종적으로 구하고, 그 합한 값이 가장 작은 쌍이 진정한 정답을 가지는 순서쌍이 될 것이며, 이를 통하여 순열 문제를 해결할 수 있다.
수학식 7은 2차 방정식이기 때문에 계수인 a와 b로 미분하여 미분값을 0으로 하는 a, b를 구하고 나머지 y값들은 데이터로부터 가져오면 그에 해당하는 E값을 계산할 수 있다. 수학식 7은 수학식 8과 같이 나타낼 수 있다.
[수학식 8]
Figure 112012052178213-pat00008
여기서 n은 source의 index, m은 sample index, i는 주파수 요소의 index이다. 수학식 8은 높은 주파수 해상도의 이웃한 두 요소
Figure 112014055487592-pat00009
에 an 과 bn이라는 어떠한 두 복소수 값을 곱한 후 이것들의 합과 낮은 주파수 해상도의 요소
Figure 112014055487592-pat00010
와의 유클리디안 거리를 식으로 표현한 것이다.
즉, 퓨리에 변환(Discrete Fourier transform 또는 Fast Fourier transform)으로 신호를 주파수 도메인으로 변환 시, 퓨리에 변환 점의 수(Number of fft point)를 설정하는데 이러한 퓨리에 변환 점의 수가 클수록 해상도가 높고 낮을 수록 해상도가 높다고 할 수 있다.
따라서 본 발명에 있어서, 주파수 해상도는 같은 신호를 다른 퓨리에 변환점의 수로 변환함을 의미하며, 본 발명에 있어서, 상기 높은 주파수 해상도의 퓨리에 변환점 수는 낮은 주파수 해상도의 퓨리에 변환점 수에 2배가 되도록 변환하는 것을 말한다.
유클리디안 거리 E를 최소가 되도록 하는 복소수값(an과 bn)을 찾기 위하여 수학식 9과 같이 an과 bn에 대하여 식을 미분할 수 있다.
[수학식 9]
Figure 112012052178213-pat00011
이 미분식을 0으로 하는 an과 bn을 수학식 10과 같이 구할 수 있다.
[수학식 10]
Figure 112012052178213-pat00012
여기서 *는 complex conjugate를 의미한다. 이와 같이 구해진 an과 bn을 다시 수학식 8에 대입하여 최종적인 거리를 구하게 된다. 이러한 과정을 각각의 분리된 암묵신호들에 포함되는 주파수 요소의 조합에 대해 시행한 후 가장 작은 거리를 나타내는 조합을 선택함으로써 높은 주파수 해상도의 두 주파수 요소 사이의 순열 문제를 해결할 수 있다.
또한, 구해진 an과 bn을 이용하여 높은 주파수 해상도의 두 주파수 요소 사이의 스케일링 문제를 해결할 수 있다.
y가 신호(S)의 unit variance로 추정되었다고 할 때 수학식 11과 같이 표시할 수 있다.
[수학식 11]
Figure 112012052178213-pat00013
또한, 수학식 8로부터 다음의 수학식 12와 같은 관계를 가질 것이라고 예상할 수 있으므로,
[수학식 12]
Figure 112012052178213-pat00014
이러한 관계식들로부터 an 및 bn은 수학식 13과 같이 계산될 수 있으며, 이를 적절하게 이용하여 비례문제를 해결할 수 있다.
[수학식 13]
Figure 112012052178213-pat00015
이것으로 높은 주파수 해상도 신호에서 2개의 서로 다른 주파수 요소에 대하여 순열 문제를 해결할 수 있다. 본 발명의 최종목표는 모든 주파수에 대해서 순열 문제를 해결하는 것인데, 이는 크게 두 가지 방식으로 이루어질 수 있다. 첫 번째는 계층적 접근방법(hierarchical approach)이고, 다른 하나는 교대식 접근방법(alternative approach)이다.
계층적 접근방법은 도 4에 도시한 바와 같이, 구조적으로 계속 더 낮은 주파수 해상도의 신호를 생성하여 동일한 작업을 반복하는 것이다. 예를 들어 512개의 주파수 해상도(높은 주파수 해상도)를 가지는 신호의 순열문제를 해결하기 위해서는 256개의 주파수 해상도(낮은 주파수 해상도)를 가지는 신호와 비교를 해야할 것이다. 하지만 이 상황에서는 (1,2), (3,4),...(511, 512)번째의 순열문제를 해결할 수는 있지만, (1,2)와 (3,4), (3,4)와 (5,6)...사이의 순열문제를 해결할 수가 없다. 따라서, 한 단계 더 낮은 구조의 데이터를 생성하여 순열문제를 해결하는 것이다. 즉, 256개의 주파수 해상도(이번에 이 신호가 높은 주파수 해상도)에 대해서 128개의 주파수 해상도(낮은 주파수 해상도)를 만들고 순열문제를 해결하는 것인데, 이것을 반복하여 낮은 주파수 해상도의 신호가 1개가 될 때까지 반복을 하는 것이다.
도 5는 본 발명의 다른 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치의 구성을 개략적으로 도시한 도면이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결장치(200)는 제1주파수요소 합산부(210), 제2주파수요소 합산부(220) 및 암묵신호 분리부(230)를 포함할 수 있다.
제1주파수요소 합산부(210)는 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산한다.
제2주파수요소 합산부(220)는 서로 다른 주파수 출력신호의 인접한 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소를 합산한다.
주파수요소 합산부(210) 또는 제2주파수요소 합산부(220)에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화하는 것이 바람직하다. 그러나, 두 주파수 요소의 평균화는 이에 한정되는 것은 아니며, 비율에 관계없이 무조건적으로 시행될 수도 있다. 또한, 두 주파수 요소의 평균화는 파워나 크기 등 특정 요소의 평균화에 한정되는 것은 아니며, 다양한 요소에 대한 평균화가 수행될 수 있다.
암묵신호 분리부(230)는 원래의 출력신호, 제1주파수요소 합산부(210)에 의해 합산된 신호 및 제2주파수요소 합산부(220)에 의해 합산된 신호의 각각에 기초하여 암묵신호 분리를 수행한다. 여기서, 암묵신호 분리부(230)는 두 개의 서로 다른 STFT 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행할 수 있다. 또한, 암묵신호 분리부(230)는 분리된 신호에 대하여 서로 겹치면서 엇갈리도록 배치할 수 있다.
교대식 접근방법은 도 6 및 도 7에 도시한 바와 같이, 두 가지 종류의 주파수 해상도만 있으면 해결할 수 있는 방법이다. 즉, 512개의 주파수 해상도 신호에 대해서 순열문제를 해결할 때, 256개의 주파수 해상도 신호만 필요하다는 의미이다. 이 경우에는 512개의 주파수 해상도 신호에 대해서 순열 문제를 해결할 때, (1,2), (2,3), (3,4), (4, 5), ..., (510,511), (511,512)의 방식으로 하나씩 중복되도록 하여 문제를 해결한다.
상기한 내용은 출력신호 y에 대해서 그 크기를 서로 비교하여 순열/비례 문제를 해결한 것이다. 하지만 분리필터인 W에 대해서도 동일한 과정을 반복할 수가 있다. 즉, “같은 신호”에 대해서 y_bar(i,i+1) = y(i) + y(i+1)가 성립되어야 하는 것과 마찬가지로 “같은 신호를 출력하게 해주는 같은 분리 필터”에 대해서 W_bar(i,i+1) = W(i) + W(i+1)가 성립되어야 한다. 이를 기반으로 전술한 바와 동일한 알고리즘을 적용할 수 있다.
또한, “신호”를 이용하는 방법과 “분리 필터”를 이용하는 방법을 융합하는 방법도 있을 수 있다. 이때, 융합하는 방법으로 다양한 방법이 적용될 수 있으며, 어느 하나의 융합방법에 한정되지는 않는다.
도 8은 본 발명의 일 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결방법을 나타낸 흐름도이다.
도 8을 참조하면, 주파수요소 합산부(110)는 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산한다. 주파수요소 합산부(110)는, 합산된 주파수 해상도의 신호가 1개가 될 때까지 반복적으로 수행할 수 있다(S110).
주파수요소 재합산부(120)는 주파수요소 합산부(110)에 의해 합산된 주파수 요소에 대한 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소를 재합산한다(S120).
주파수요소 합산부(110) 또는 주파수요소 재합산부(120)에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화할 수 있다. 그러나, 두 주파수 요소의 평균화는 이에 한정되는 것은 아니며, 비율에 관계없이 무조건적으로 시행될 수도 있다.
암묵신호 분리부(130)는 원래의 출력신호, 주파수요소 합산부(110)에 의해 합산된 신호 및 주파수요소 재합산부(120)에 의해 재합산된 신호의 각각에 기초하여 암묵신호 분리를 수행한다(S130). 여기서, 암묵신호 분리부(130)는 두 개의 서로 다른 STFT(Short-Time Fourier Transform) 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행할 수 있다. 또한, 암묵신호 분리부(130)는 분리된 신호에 대하여 가장 낮은 주파수 해상도로부터 가장 높은 주파수 해상도까지 순차적으로 짝을 맞출 수 있다.
도 9는 본 발명의 다른 실시예에 따른 암묵신호 분리에서의 순열/비례 문제 해결방법을 나타낸 흐름도이다.
도 9를 참조하면, 제1주파수요소 합산부(210)는 서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산한다(S210).
제2주파수요소 합산부(220)는 서로 다른 주파수 출력신호의 인접한 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소를 합산한다(S220).
주파수요소 합산부(210) 또는 제2주파수요소 합산부(220)에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 큰 경우, 두 주파수 요소를 평균화하는 것이 바람직하다. 그러나, 두 주파수 요소의 평균화는 이에 한정되는 것은 아니며, 비율에 관계없이 무조건적으로 시행될 수도 있다.
암묵신호 분리부(230)는 원래의 출력신호, 제1주파수요소 합산부(210)에 의해 합산된 신호 및 제2주파수요소 합산부(220)에 의해 합산된 신호의 각각에 기초하여 암묵신호 분리를 수행한다(S230). 여기서, 암묵신호 분리부(230)는 두 개의 서로 다른 STFT 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행할 수 있다. 또한, 암묵신호 분리부(230)는 분리된 신호에 대하여 서로 겹치면서 엇갈리도록 배치할 수 있다.
전술한 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법은, 환경에 따라서 최적의 주파수 해상도(frequency resolution)값이 조금씩 다를 것이므로 어느 특정의 값에 한정하지 않는다. 이때, 최적의 주파수 해상도는 수학식 8에 의해서 결정된 E값을 참고하여 결정될 수 있다. E값의 의미는 고 주파수 해상도(high frequency resolution)의 이웃하는 두 주파수 요소를 scaling과 permutation을 제대로 맞추어서 저 주파수 해상도(low frequency resolution)의 주파수 요소와 그 차이가 얼마인지를 유클리디안 거리(Euclidean distance)로 계산한 양이다. 따라서 순열과 비례 문제가 정확하게 풀렸다면 E값은 0이 될 것이고, 부정확할수록 E값은 커지게 될 것이다.
여기서 착안하여 두 가지 방법을 제안할 수 있다. 첫 번째 방법은 여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 E값의 평균을 계산하고, 이 계산된 E의 평균값이 가장 낮은 주파수 해상도를 최적의 주파수 해상도라고 생각할 수 있다. 두 번째 방법은 여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 최적의 해(solution: permutation과 scaling이 해결된 해)에 대해서만 E값(E1)을 계산하는 것이 아니라, 두 번째 최적의 해(solution)에 대해서도 E값(E2)을 계산하여 두 값의 차이(E2-E1)을 관찰하도록 한다. 이 값(E2-E1)이 크면 클수록 두 가지 해에 대해서 차별성이 커지므로 E1의 값에 신빙성이 더욱 높아지는 것이고, 작으면 작을수록 두 가지 해에 대한 차별성이 작아지므로 E1의 값에 대해 신빙성이 낮아지게 될 것이다. 즉, E2-E1의 값이 가장 크게 나타나는 주파수 해상도를 최적의 값으로 설정할 수 있다.
최적의 주파수 해상도를 구한 후에는 앞서 언급한 계층적 접근방법의 원리를 이용하여 원래 신호처리를 하고자하는 주파수 해상도의 영역까지 계산하도록 한다. 예를 들어, 현재 음성처리를 위하여 NFFT = 2048로 계산을 하고자하는 것이 목표인데, 제안한 방식으로 순열/비례 문제를 풀기 위한 최적의 주파수 해상도가 NFFT = 512일 때라고 가정하면, NFFT = 512일 때를 기준으로 NFFT = 512와 NFFT = 1024에 대해서 다시 한 번 순열/비례 문제를 해결하고, NFFT = 1024와 NFFT = 2048에 대해서 다시 한 번 순열/비례 문제를 해결하여 원래 계산하고자했던 frequency resolution인 NFFT = 2048까지 단계별로 순열/비례 문제를 해결할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이며, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (28)

  1. 암묵신호 분리에서의 순열/비례 문제 해결장치에 있어서,
    서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 주파수요소 합산부;
    상기 주파수요소 합산부에 의해 합산된 주파수 요소에 대한 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소를 재합산하는 주파수요소 재합산부; 및
    원래의 출력신호, 상기 주파수요소 합산부에 의해 합산된 신호 및 상기 주파수요소 재합산부에 의해 재합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 암묵신호 분리부를 포함하며,
    상기 암묵신호 분리부에서 분리된 암묵신호들은 각각의 암묵신호에 포함되는 주파수 요소 중 높은 주파수 해상도의 이웃하는 두 주파수 요소 각각에 계수로서 복소수 값을 곱하여 합한 주파수 요소와, 상기 이웃하는 두 개의 높은 해상도의 주파수 요소를 포함하는 낮은 해상도의 주파수 요소 사이의 유클리디안 거리가 최소가 되는 주파수 요소들의 조합을 가지는 암묵신호를 선택하는 것에 의해 주파수 요소 사이의 순열 문제와 비례문제를 해결하며,
    상기 주파수 해상도는 동일한 신호를 다른 퓨리에 변환 포인트의 수(Number of fft point)로 변환 시, 높은 주파수 해상도와 낮은 주파수 해상도로 구분되며, 상기 높은 주파수 해상도는 설정된 낮은 주파수 해상도의 퓨리에 변환 포인트 수를 기준으로 2배의 퓨리에 변환 포인트 수로 변환되는 것이며,
    상기 복소수 값은 수학식 7과 같이, 상기 유클라디안 거리가 최소를 구하는 과정에서 산출되는 an 과 bn 값인 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치(여기서, m, n은 자연수).
    [수학식 7]
    Figure 112014055487592-pat00026

    여기서 n1, n2, n3는 각 출력신호의 번호임.
  2. 제 1항에 있어서,
    상기 암묵신호 분리부는,
    두 개의 서로 다른 STFT(Short-Time Fourier Transform) 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치.
  3. 제 1항에 있어서,
    상기 주파수요소 합산부는,
    합산된 주파수 해상도의 신호가 1개가 될 때까지 반복적으로 수행되는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치.
  4. 제 3항에 있어서,
    상기 암묵신호 분리부는,
    분리된 신호에 대하여 가장 낮은 주파수 해상도로부터 가장 높은 주파수 해상도까지 순차적으로 짝을 맞추는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치.
  5. 제 1항에 있어서,
    상기 주파수요소 합산부 또는 상기 주파수요소 재합산부에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치.
  6. 제 1항에 있어서,
    분리필터에 대하여 동일한 과정이 적용되는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결장치.
  7. 제 1항에 있어서,
    여러 가지의 주파수 해상도에 대해서 각 주파수에서 유클리디안 거리로 계산된 값의 평균을 산출하고, 산출된 평균값이 가장 낮은 주파수 해상도를 최적의 주파수 해상도로 설정하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결장치.
  8. 제 7항에 있어서,
    여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 첫 번째 해에 대해서 유클리디안 거리로 계산된 값(E1)을 산출하고, 두 번째 해에 대해서도 유클리디안 거리로 계산된 값(E2)을 산출하며, 산출된 값들의 차이(E2-E1)가 가장 크게 나타나는 주파수 해상도를 가지는 주파수 요소로 이루어진 암묵신호들을 분리된 암묵신호들로 선택하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결장치.
  9. 암묵신호 분리에서의 순열/비례 문제 해결장치에 있어서,
    서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 제1주파수요소 합산부;
    서로 다른 주파수 출력신호의 인접한 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소를 합산하는 제2주파수요소 합산부; 및
    원래의 출력신호, 상기 제1주파수요소 합산부에 의해 합산된 신호 및 상기 제2주파수요소 합산부에 의해 합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 암묵신호 분리부를 포함하며,
    상기 암묵신호 분리부에서 분리된 암묵신호들은 각각의 암묵신호에 포함되는 주파수 요소 중 높은 주파수 해상도의 이웃하는 두 주파수 요소 각각에 계수로서 복소수 값을 곱하여 합한 주파수 요소와, 상기 이웃하는 두 개의 높은 해상도의 주파수 요소를 포함하는 낮은 해상도의 주파수 요소 사이의 유클리디안 거리가 최소가 되는 주파수 요소들의 조합을 가지는 암묵신호를 선택하는 것에 의해 주파수 요소 사이의 순열 문제와 비례문제를 해결하며,
    상기 주파수 해상도는 동일한 신호를 다른 퓨리에 변환 포인트의 수(Number of fft point)로 변환 시, 높은 주파수 해상도와 낮은 주파수 해상도로 구분되며, 상기 높은 주파수 해상도는 설정된 낮은 주파수 해상도의 퓨리에 변환 포인트 수를 기준으로 2배의 퓨리에 변환 포인트 수로 변환되는 것이며,
    상기 복소수 값은 수학식 7과 같이, 상기 유클라디안 거리가 최소를 구하는 과정에서 산출되는 an 과 bn 값인 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치(여기서, m, n은 자연수).
    [수학식 7]
    Figure 112014055487592-pat00027

    여기서 n1, n2, n3는 각 출력신호의 번호임.
  10. 제 9항에 있어서,
    상기 암묵신호 분리부는,
    두 개의 서로 다른 STFT 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치.
  11. 제 10항에 있어서,
    분리된 신호에 대하여 서로 겹치면서 엇갈리도록 배치하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치.
  12. 제 9항에 있어서,
    상기 제1주파수요소 합산부 또는 상기 제2주파수요소 합산부에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소 중 어느 하나가 다른 쪽에 비하여 설정된 비율 이상으로 차이가 나는 경우, 두 주파수 요소를 평균화하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결장치.
  13. 제 9항에 있어서,
    분리필터에 대하여 동일한 과정이 적용되는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결장치.
  14. 제 9항에 있어서,
    여러 가지의 주파수 해상도에 대해서 각 주파수에서 유클리디안 거리로 계산된 값의 평균을 산출하고, 산출된 평균값이 가장 낮은 주파수 해상도를 최적의 주파수 해상도로 설정하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결장치.
  15. 제 14항에 있어서,
    여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 첫 번째 해에 대해서 유클리디안 거리로 계산된 값(E1)을 산출하고, 두 번째 해에 대해서도 유클리디안 거리로 계산된 값(E2)을 산출하며, 산출된 값들의 차이(E2-E1)가 가장 크게 나타나는 주파수 해상도를 가지는 암묵신호들을 분리된 암묵신호들로 선택하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결장치.
  16. 암묵신호 분리에서의 순열/비례 문제 해결방법에 있어서,
    서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 단계;
    상기 주파수요소 합산단계에 의해 합산된 주파수 요소에 대한 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소를 재합산하는 단계;
    원래의 출력신호, 상기 주파수요소를 합산하는 단계에 의해 합산된 신호 및 상기 주파수요소를 재합산하는 단계에 의해 재합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 단계; 및
    분리된 신호에 대하여 가장 낮은 주파수 해상도로부터 가장 높은 주파수 해상도까지 순차적으로 짝을 맞추는 단계를 포함하며,
    상기 암묵신호분리 수행단계에서 분리된 암묵신호들은 각각의 암묵신호에 포함되는 주파수 요소 중 높은 주파수 해상도의 이웃하는 두 주파수 요소 각각에 계수로서 복소수 값을 곱하여 합한 주파수 요소와, 상기 이웃하는 두 개의 높은 해상도의 주파수 요소를 포함하는 낮은 해상도의 주파수 요소 사이의 유클리디안 거리가 최소가 되는 주파수 요소들의 조합을 가지는 암묵신호를 선택하는 것에 의해 주파수 요소 사이의 순열 문제와 비례문제를 해결하며,
    상기 주파수 해상도는 동일한 신호를 다른 퓨리에 변환 포인트의 수(Number of fft point)로 변환 시, 높은 주파수 해상도와 낮은 주파수 해상도로 구분되며, 상기 높은 주파수 해상도는 설정된 낮은 주파수 해상도의 퓨리에 변환 포인트 수를 기준으로 2배의 퓨리에 변환 포인트 수로 변환되는 것이며,
    상기 복소수 값은 수학식 7과 같이, 상기 유클라디안 거리가 최소를 구하는 과정에서 산출되는 an 과 bn 값인 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결방법(여기서, m, n은 자연수).
  17. 제 16항에 있어서,
    상기 암묵신호분리 수행단계는,
    두 개의 서로 다른 STFT 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결방법.
  18. 제 16항에 있어서,
    상기 주파수요소 합산단계는,
    합산된 주파수 해상도의 신호가 1개가 될 때까지 반복적으로 수행되는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결방법.
  19. 제 16항에 있어서,
    상기 주파수 요소를 합산단계 또는 상기 주파수요소를 재합산하는 단계에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 (2m-1) 번째 주파수 요소와 2m 번째 주파수 요소 중 어느 하나의 크기가 다른 쪽에 비하여 설정된 배수 이상으로 큰 경우, 두 주파수 요소를 평균화하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결방법.
  20. 제 16항에 있어서,
    분리필터에 대하여 동일한 과정이 적용되는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결 방법.
  21. 제 16항에 있어서,
    여러 가지의 주파수 해상도에 대해서 각 주파수에서 유클리디안 거리로 계산된 값의 평균을 산출하고, 산출된 평균값이 가장 낮은 주파수 해상도를 최적의 주파수 해상도로 설정하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결 방법.
  22. 제 21항에 있어서,
    여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 첫 번째 해에 대해서 유클리디안 거리로 계산된 값(E1)을 산출하고, 두 번째 해에 대해서도 유클리디안 거리로 계산된 값(E2)을 산출하며, 산출된 값들의 차이(E2-E1)가 가장 크게 나타나는 주파수 해상도를 가지는 암묵신호들을 분리된 암묵신호들로 선택하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결 방법.
  23. 암묵신호 분리에서의 순열/비례 문제 해결방법에 있어서,
    서로 다른 주파수 출력신호의 인접한 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소를 합산하는 제1주파수요소 합산단계;
    서로 다른 주파수 출력신호의 인접한 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소를 합산하는 제2주파수요소 합산단계;
    원래의 출력신호, 상기 제1주파수요소 합산단계에 의해 합산된 신호 및 상기 제2주파수요소 합산단계에 의해 합산된 신호의 각각에 기초하여 암묵신호 분리를 수행하는 단계; 및
    분리된 신호에 대하여 서로 겹치면서 엇갈리도록 배치하는 단계를 포함하며,
    상기 암묵신호분리 수행단계에서 분리된 암묵신호들 중 높은 주파수 해상도의 이웃하는 두 암묵신호들 각각에 계수로서 복소수 값을 곱하여 합한 신호와, 상기 이웃하는 두 개의 높은 주파수 해상도를 포함하는 낮은 주파수 해상도의 암묵신호와의 유클리디안 거리가 최소가 되도록 하는 상기 두 개의 계수 값을 산출하여 높은 주파수 해상도의 두 암묵신호 사이의 순열 문제와 비례문제를 해결하며,
    상기 주파수 해상도는 동일한 신호를 다른 퓨리에 변환 포인트의 수(Number of fft point)로 변환 시, 높은 주파수 해상도와 낮은 주파수 해상도로 구분되며, 상기 높은 주파수 해상도는 설정된 낮은 주파수 해상도의 퓨리에 변환 포인트 수를 기준으로 2배의 퓨리에 변환 포인트 수로 변환되는 것이며,
    상기 복소수 값은 수학식 7과 같이, 상기 유클라디안 거리가 최소를 구하는 과정에서 산출되는 an 과 bn 값인 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결방법(여기서, m, n은 자연수).
    [수학식 7]
    Figure 112014055487592-pat00028

    여기서 n1, n2, n3는 각 출력신호의 번호임.
  24. 제 23항에 있어서,
    상기 암묵신호분리 수행단계는,
    두 개의 서로 다른 STFT 데이터에서 주파수 해상도의 상대적인 크기가 작은 낮은 주파수 해상도에 기초하여 암묵신호 분리를 수행하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결방법.
  25. 제 24항에 있어서,
    상기 제1주파수요소 합산단계 또는 상기 제2주파수요소 합산단계에 의해 합산되는 (2n-1) 번째 주파수 요소와 2n 번째 주파수 요소, 또는 2m 번째 주파수 요소와 (2m+1) 번째 주파수 요소 중 어느 하나의 크기가 다른 쪽에 비하여 설정된 배수 이상으로 큰 경우, 두 주파수 요소를 평균화하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례 문제 해결방법.
  26. 제 23항에 있어서,
    분리필터에 대하여 동일한 과정이 적용되는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결 방법.
  27. 제 23항에 있어서,
    여러 가지의 주파수 해상도에 대해서 각 주파수에서 유클리디안 거리로 계산된 값의 평균을 산출하고, 산출된 평균값이 가장 낮은 주파수 해상도를 최적의 주파수 해상도로 설정하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결 방법.
  28. 제 27항에 있어서,
    여러 가지의 주파수 해상도에 대해서 각 주파수에서 계산된 첫 번째 해에 대해서 유클리디안 거리로 계산된 값(E1)을 산출하고, 두 번째 해에 대해서도 유클리디안 거리로 계산된 값(E2)을 산출하며, 산출된 값들의 차이(E2-E1)가 가장 크게 나타나는 주파수 해상도를 가지는 암묵신호들을 분리된 암묵신호들로 선택하는 것을 특징으로 하는 암묵신호 분리에서의 순열/비례문제 해결 방법.
KR1020120070798A 2012-06-29 2012-06-29 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법 KR101474321B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120070798A KR101474321B1 (ko) 2012-06-29 2012-06-29 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법
PCT/KR2012/005919 WO2014003230A1 (ko) 2012-06-29 2012-07-25 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070798A KR101474321B1 (ko) 2012-06-29 2012-06-29 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140002350A KR20140002350A (ko) 2014-01-08
KR101474321B1 true KR101474321B1 (ko) 2014-12-30

Family

ID=49783351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070798A KR101474321B1 (ko) 2012-06-29 2012-06-29 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101474321B1 (ko)
WO (1) WO2014003230A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110070764A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 암묵신호 분리 방법 및 이를 수행하는 장치
KR20110121955A (ko) * 2010-05-03 2011-11-09 한국과학기술원 암묵 신호 추출 방법 및 암묵 신호 추출 장치
US20130031152A1 (en) * 2011-07-29 2013-01-31 Dolby Laboratories Licensing Corporation Methods and apparatuses for convolutive blind source separation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4449871B2 (ja) * 2005-01-26 2010-04-14 ソニー株式会社 音声信号分離装置及び方法
KR100653173B1 (ko) * 2005-11-01 2006-12-05 한국전자통신연구원 다중경로 혼합신호 분리계수의 교환 모호성을 해소하는방법 및 그 장치
JP4556875B2 (ja) * 2006-01-18 2010-10-06 ソニー株式会社 音声信号分離装置及び方法
KR101280253B1 (ko) * 2008-12-22 2013-07-05 한국전자통신연구원 음원 분리 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110070764A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 암묵신호 분리 방법 및 이를 수행하는 장치
KR20110121955A (ko) * 2010-05-03 2011-11-09 한국과학기술원 암묵 신호 추출 방법 및 암묵 신호 추출 장치
US20130031152A1 (en) * 2011-07-29 2013-01-31 Dolby Laboratories Licensing Corporation Methods and apparatuses for convolutive blind source separation

Also Published As

Publication number Publication date
KR20140002350A (ko) 2014-01-08
WO2014003230A1 (ko) 2014-01-03

Similar Documents

Publication Publication Date Title
US10924849B2 (en) Sound source separation device and method
CN103426435B (zh) 具有移动约束的通过独立分量分析的源分离
CN102903368B (zh) 用于卷积盲源分离的方法和设备
US20160013773A1 (en) Method and apparatus for fast digital filtering and signal processing
KR102393948B1 (ko) 다채널 오디오 신호에서 음원을 추출하는 장치 및 그 방법
Wang et al. A multiplicative algorithm for convolutive non-negative matrix factorization based on squared Euclidean distance
Mahmmod et al. Signal compression and enhancement using a new orthogonal‐polynomial‐based discrete transform
US20140181171A1 (en) Method and system for fast tensor-vector multiplication
CN103559888A (zh) 基于非负低秩和稀疏矩阵分解原理的语音增强方法
CN103426437A (zh) 使用利用混合多元概率密度函数的独立分量分析的源分离
Mundodu Krishna et al. Single channel speech separation based on empirical mode decomposition and Hilbert transform
Vargas et al. Seismic trace noise reduction by wavelets and double threshold estimation
Nakamura et al. Time-domain audio source separation with neural networks based on multiresolution analysis
KR101474321B1 (ko) 암묵신호 분리에서의 순열/비례 문제 해결장치 및 그 방법
KR101474633B1 (ko) 주파수 영역의 암묵신호 추출에서의 다중 주파수 해상도를 이용한 비례문제 해결장치 및 그 방법
Robinson A topological low-pass filter for quasi-periodic signals
Yarotsky et al. Machine learning-assisted channel estimation in massive MIMO receiver
Miar et al. A novel reduced power compressive sensing technique for wideband cognitive radio
Ghosh Comparative DNN model analysis for detection of various types of optical noise
Alwan Compressive Covariance Sensing‐Based Power Spectrum Estimation of Real‐Valued Signals Subject to Sub‐Nyquist Sampling
Yang et al. Seismic random noise attenuation via a two-stage U-net with supervised attention
Abbass et al. Blind image separation using pyramid technique
Alkishriwo et al. Intrinsic mode chirp decomposition of non‐stationary signals
JP6933303B2 (ja) 波源方向推定装置、波源方向推定方法、およびプログラム
Anderson et al. Joint deconvolution and classification with applications to passive acoustic underwater multipath

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 5