KR101002731B1 - 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법 - Google Patents

오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법 Download PDF

Info

Publication number
KR101002731B1
KR101002731B1 KR1020080067564A KR20080067564A KR101002731B1 KR 101002731 B1 KR101002731 B1 KR 101002731B1 KR 1020080067564 A KR1020080067564 A KR 1020080067564A KR 20080067564 A KR20080067564 A KR 20080067564A KR 101002731 B1 KR101002731 B1 KR 101002731B1
Authority
KR
South Korea
Prior art keywords
audio data
data
feature vector
starting point
matching
Prior art date
Application number
KR1020080067564A
Other languages
English (en)
Other versions
KR20100007095A (ko
Inventor
박종진
구광효
고일주
성보경
김정수
Original Assignee
(주)모그인터렉티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)모그인터렉티브 filed Critical (주)모그인터렉티브
Priority to KR1020080067564A priority Critical patent/KR101002731B1/ko
Publication of KR20100007095A publication Critical patent/KR20100007095A/ko
Application granted granted Critical
Publication of KR101002731B1 publication Critical patent/KR101002731B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Abstract

본 발명은 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된 컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오 데이터의 매칭 방법에 관한 것이다. 본 발명에 따른 오디오 데이터의 특징벡터 추출방법은, 오디오 데이터를 입력받는 단계; 상기 오디오 데이터를 디코딩하는 단계; 상기 디코딩된 데이터에서 음이 시작되는 시작점을 탐색하는 단계; 및 상기 탐색한 시작점 이후의 데이터를 처리하여 특징벡터를 추출하는 단계를 포함한다.
이에 따라, 다양한 형식의 음원을 동일한 형식으로 변환하고, 음의 시작점을 탐색하여 이를 맞춤으로써 고속 추출 및 정확한 매칭이 이루어질 수 있다.
오디오, 특징벡터, 음원 매칭

Description

오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된 컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오 데이터의 매칭 방법{METHOD FOR EXTRACTING FEATURE VECTOR OF AUDIO DATA, COMPUTER READABLE MEDIUM STORING THE METHOD, AND METHOD FOR MATCHING THE AUDIO DATA USING THE METHOD}
본 발명은 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된 컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오 데이터의 매칭 방법에 관한 것이다.
최근 인터넷이나 이동통신망 등의 데이터 통신의 발달로 인해, 많은 사람이 인터넷이나 이동통신망을 통해 다양한 멀티미디어 데이터를 손쉽게 접할 수 있게 되었다. 그 예로, 온라인 상에서 음악 등을 판매하거나 제공 또는 공유하는 사이트들이 현재 다수 존재하고 있으며, 사용자는 이러한 사이트에 접속하여 자신이 원하는 오디오 데이터를 쉽게 얻을 수 있다.
또한, 인터넷 등을 통해 유통되는 음원이 증가함에 따라 다양한 오디오 데이터를 매칭하여 찾아주는 기술이 다양한 시스템에서 적용되고 있다.
오디오 데이터의 매칭기술은 크게, 파일명으로 찾는 방법, 파일 크기로 찾는 방법, 파일의 메타정보를 이용하는 방법, 및 검색 엔진을 사용하는 방법 등이 있다.
파일명으로 오디오 데이터를 매칭하는 방법은 파일명에 나타난 정보에 기반하여 해당 미디어를 매칭하는 방법인데, 사용자가 임의로 파일명을 변경할 경우 검색시스템에서 파일명을 식별하기 어렵기 때문에 매칭에 사용할 수 없는 문제점이 있다.
또한, 파일 크기로 오디오 데이터를 매칭하는 방법은 파일의 크기를 기준으로 미디어를 매칭하는 것인데, 파일의 크기가 같은 미디어가 다수 존재할 수 있기 때문에 파일크기가 해당 파일에 대해 대표성을 갖기 어려운 문제점이 있다.
그리고, 파일의 메타데이터를 이용하는 방법은 파일의 부가적인 정보가 기입된 공간을 마련하는 방법으로, 예컨대 MP3의 경우 ID3V2 태그를 사용한다. 그런데, 이러한 ID3V2 태그는 해당 컨텐츠를 생성한 사용자가 이용하는 사용자 모두 변경 가능하므로, 데이터의 신뢰성을 확보할 수 없는 문제점이 있다.
검색 엔진을 사용하는 방법은 검색 엔진에 파일명과 메타정보를 저장하고, 이를 참조해서 검색 후 매칭하는 방법인데, 텍스트 정보의 사소한 오류에 대해서는 동작하지만 파일명의 변조와 같은 것은 검색엔진으로 걸러낼 수 없는 문제점이 있다.
이러한 문제점을 해결하기 위해, 오디오 데이터의 내용에 기반한 음악 검색에 대한 연구가 진행되고 있다. 그런데, 인터넷 등을 통해 유통되는 음원은 그 생 성되는 경우의 수가 매우 다양하다. 특히, 디지털 음악데이터의 경우 인코딩과정을 거칠 때 마다 미세하지만 파형의 변화가 생긴다. 이러한 변형은 타임코드를 시프트 시켜 비교 음원 간의 시간 축이 어긋나 동일한 데이터 검색에 어려움을 발생시킨다.
종래 기술들은 이를 해결하기 위해 두 음원을 하나의 시간 축으로 정합시켜 와핑(Warping)하는 DTW를 사용하거나, 반복구간, 주제선율 등을 추출하여 검색에 이용하였다. 하지만 DTW는 계산량이 방대하여 실시간으로 검색할 수 없다는 단점이 있고, 반복구간이나 주제선율을 이용한 검색 방식은 특징 추출의 실패 가능성이 있으며 찾은 위치가 정확한 위치라고 판단할 수 있는 기준이 불확실해 검색이 힘들다는 단점이 있다.
따라서, 다양한 형식의 음원에 대해 빠르고 정확하게 특징들을 추출할 수 있는 좋은 성능을 가진 특징 추출 기술과, 이를 기초로 음원을 매칭하는 기술의 도입이 절실히 요구된다고 할 것이다.
따라서, 본 발명의 목적은 다양한 형식의 음원을 동일한 형식으로 변환하고, 음의 시작점을 탐색하여 이를 맞춤으로써 고속 추출 및 정확한 매칭이 이루어질 수 있는 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된 컴퓨터 판독 가능한 기록매체 및 오디오 데이터의 매칭방법을 제공하는 것이다.
상기 목적은 본 발명에 따라, 오디오 데이터의 특징벡터 추출방법에 있어서, 오디오 데이터를 입력받는 단계; 상기 오디오 데이터를 디코딩하는 단계; 상기 디코딩된 데이터에서 음이 시작되는 시작점을 탐색하는 단계; 및 상기 탐색한 시작점 이후의 데이터를 처리하여 특징벡터를 추출하는 단계를 포함하는 것을 특징으로 하는 오디오 데이터의 특징벡터 추출방법에 의해 달성될 수 있다.
여기서, 상기 오디오 데이터가 일정 비트를 갖도록 변경하는 단계를 더 포함하고, 상기 디코딩 단계는 상기 일정 비트를 갖도록 변경된 상기 오디오 데이터를 디코딩하며, 상기 오디오 데이터는 상기 오디오 데이터에서 재생시작부터 일정 재생시간까지에 해당하는 일부 데이터일 수 있다.
또한, 상기 디코딩된 데이터를 모노 형식으로 변환하는 단계를 더 포함하며,
상기 시작점을 탐색하는 단계는 상기 모노 형식으로 변환된 데이터의 시작점을 탐색할 수 있다.
그리고, 상기 디코딩된 데이터를 볼륨에 대해 노멀라이즈하는 단계를 더 포함하며, 상기 모노 형식으로 변환하는 단계는 상기 노멀라이즈된 데이터를 상기 모노형식으로 변환할 수 있다.
더 나아가, 상기 시작점을 탐색하는 단계는, 상기 디코딩된 데이터를 프레임 단위로, 음을 구성하는 최소 파형 모형이 존재하는지 여부를 검사하는 단계; 및 상기 최소 파형 모형이 존재하는 프레임이 연속하여 일정 개수 이상 검출되는 경우, 상기 검출된 프레임들 중 처음 최소 파형 모형이 검출된 위치를 시작점으로 결정하는 단계를 포함할 수 있다.
아울러, 상기 최소 파형 모형은 소정 값 이상의 에너지를 가진 샘플의 개수가 일정 개수 이상 포함되는 파형 모형을 가지며, 상기 최소 파형 모형의 검출 단계는, 상기 프레임에서 부호가 변화하지 않는 샘플의 개수가 일정 비율 이상 되면 노이즈로 판단하여 스킵하는 단계를 포함할 수 있다.
또한, 상기 추출된 특징벡터를 일정 개수의 프레임마다 더하여 합산 데이터들을 산출하는 단계; 및 상기 합산 데이터들 간의 차이값 데이터들을 산출하여 특징값으로 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
한편, 상기 본 발명의 목적은 제1항 내지 제7항 중 어느 하나의 항에 따른 오디오 데이터의 특징벡터 추출방법이 기록된 컴퓨터 판독 가능한 기록매체에 의해서도 달성될 수 있다.
한편, 상기 본 발명의 목적은 제1항 내지 제7항 중 어느 하나의 항에 따른 오디오 데이터의 특징벡터 추출방법을 이용하여 특징벡터를 추출하고, 상기 추출된 특징벡터들을 기 추출된 특징벡터들과 비교하여 오디오 데이터의 매칭을 수행하는 오디오 데이터의 매칭 방법에 의해서 달성될 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 다양한 형식의 음원을 동일한 형식으로 변환하고, 음의 시작점을 탐색하여 이를 맞춤으로써 고속 추출 및 빠르고 정확한 매칭이 이루어질 수 있는 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된 컴퓨터 판독 가능한 기록매체 및 오디오 데이터의 매칭방법이 제공된다.
이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 오디오 데이터의 특징 벡터 추출방법에 관한 흐름도이고, 도 2는 도 1의 처리과정에 따른 파형의 예를 도시한 것이다.
본 발명의 일 실시예에서는 음악 파일 전체를 사용하지 않고, 일부 데이터만을 가지고 특징 벡터를 추출할 수 있다. 일부 데이터를 사용하는 이유는 속도를 빠르게 하기 위한 것이며, 한편으로는 일부 데이터만을 사용하고도 음원 매칭 성공률이 높기 때문에 가능한 것이다. 물론 경우에 따라서는 전체 데이터를 사용할 수도 있다.
도 1을 참조하면, 본 발명의 일 실시예에서는 음악 파일의 시작 부분 20초 가량의 데이터를 사용한다(S10). 물론, 사용되는 데이터의 양은 실시예에 따라 적절히 변경 가능하다. 예를 들어, 시간 단위로 압축되어 있는 MP3 파일에서 20초에 해당하는 데이터까지 사용한다. CD 음원을 사용하는 경우, MP3 파일 또는 다른 파일 형태로의 변환과정이 필요하다.
도 2를 참조하면, (a)는 입력된 MP3 파일의 파형을 도시한 것이고, (b)는 이 MP3 파일에서 시작 부분 20초를 자른 후의 오디오 데이터의 파형을 도시한 것이다.
본 발명의 일 실시예에서는 특징벡터를 추출하기 전에, 획득한 오디오 데이터의 시작 부분 데이터를 일정 형식으로 변환하는 전처리 과정을 수행한다. 동일한 음원이라도 인코딩 환경에 따라 상이한 형식을 가진 경우가 비일비재하기 때문에, 특징 벡터를 추출하기 전에 이러한 다양한 음원을 일정한 형식으로 변경하는 작업을 선행하여, 음원 매칭 성능을 더욱 향상시키도록 한다. 본 발명의 일 실시예에 따른 전처리 과정은 일정 비트 변환, 디코딩, 노멀라이즈, 시작점 추출 및 제거 등의 일련의 처리 프로세스를 포함한다.
구체적으로, 도 1을 참조하면, 우선 오디오 데이터가 일정 비트를 갖도록 비트레이트를 변경한다(S11). 동일한 음원이라도 비트레이트가 다를 경우 특징 출력 수가 다를 수 있기 때문에 본 발명에서는 소정 비트레이트를 갖도록 전처리한다.
예를 들어, 오디오 데이터의 인코딩 비트레이트는 32 Kbps, 64 Kbps, 128 Kbps, 192 Kbps, 329 Kbps 등 다양할 수 있으며, 본 발명의 일 실시예에서는 속도를 고려하여 64 Kbps로 일률적으로 변경하는 것을 일예로 한다. 도 2에서 (c)는 비트레이트를 64 Kbps로 변경한 후의 파형을 도시한 것이다.
이후, 일정 비트레이트를 갖도록 변경된 오디오 데이터를 디코딩한다(S12). 음악 파일의 포맷은 예를 들어, WAVE, MP3, WMA, ASF, OGC 등 다양할 수 있으며, 본 발명의 일 실시예에서는 압축된 파일을 디코딩하여 본래의 PCM 데이터를 추출하고, 이를 기초로 특징 벡터를 추출한다. 도 2에서 (d)는 MP3 파일을 디코딩한 후의 파형을 도시한 것이다. 이때, 파일의 포맷은 MP3에서 WAV로 변경된다.
이와 같이, 특징벡터를 추출하기 전에 오디오 데이터가 일정 형식을 갖도록 전처리함으로써, 이로부터 추출된 특징벡터가 파일의 포맷이나 비트레이트에 의존하지 않게 되어 매칭 성공률을 더욱 향상시킬 수 있다.
이렇게 디코딩된 오디오 데이터를 특징이 보다 잘 추출될 수 있도록 하기 위해, 볼륨에 대해 노멀라이즈 한다(S13). 도 2의 (e)는 (d)를 볼륨에 대해 노멀라이즈를 적용한 것으로, 도시된 바와 같이, 전체적인 파형이 크기가 커진 것을 볼 수 있다.
노멀라이즈 후, 오디오 데이터의 형식을 모노로 변경한다(S14). 오디오 데이터가 다중 채널을 가진 경우, 채널마다 소리가 다를 수 있어 이를 모노 채널로 변경한다. 도 2의 (f)는 스테레오 형식의 (e)를 모노 형식으로 변경한 후의 파형을 도시한 것이다.
위 처리과정이 완료되면, 일정 형식을 갖게 된 오디오 데이터에서 음이 시작되는 시작점을 탐색한다(S15). 동일한 음원이라고 해도 인코딩 환경에 따라 음악의 시작점이 다를 수 있기 때문에, 이러한 경우 음원 매칭이 어긋날 수 있다. 따라서, 본 발명에서는 음악의 시작점을 탐색한 후 이를 제거함으로써(S16), 매칭 성공률을 향상시킬 수 있다. 도 2의 (g)는 (e)에서 시작점을 탐색한 것을 도시한 것이며, (h)는 탐색된 시작점 이전의 데이터를 제거한 후의 오디오 데이터의 파형을 도시한 것이다.
이하, 도 3 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 구체적인 오디오 데이터의 시작점 검출방법에 관해 설명하기로 한다.
본 발명의 일 실시예에 따른 시작점 검출방법은 전처리된 오디오 데이터의 PCM 샘플들을 프레임 단위로 분할하고, 각 프레임마다 최소 파형 모형이 존재하는지 여부를 검사하여 음을 구성하는 시작 프레임을 찾는다. 이때, 노이즈의 영향을 받지 않기 위해 노이즈가 가지는 특성에 따라 예외 조건을 두고 시작점을 찾을 수 있도록 한다.
이하, 시작점 검출에 사용되는 최소 파형 모형에 대해 설명하기로 한다. 사람이 소리를 들을 수 있는 것은 공기가 진동하여 청각기관을 자극하기 때문이며, 이러한 공기의 진동은 파동을 형성한다. 파동은 매질 내의 한 점에서 생긴 매질의 진동 상태가 매질을 통해서 주기적으로 퍼져나가는 현상을 말하며, 공간상의 한점에서 서로 순환적으로 변환되는 에너지가 존재하게 된다. 파동의 주기는 일반적으로 사인파처럼 규칙적으로 퍼져나가지만 음악의 파동은 다양한 악기의 소리와 음성이 합성되어 있기 때문에 불규칙한 주기의 파동을 가지며, 파동의 에너지는 소리의 세기를 나타낸다.
최소파형모형은 음악의 불규칙한 주기를 가지는 파동에서 한 부호의 에너지 값을 가지는 반주기 파형을 나타내며, 부호의 에너지 값은 파형의 주기에서 0점을 기준으로 음수와 양수의 값을 의미한다. 반주기 파형은 바로 최소파형모형이 될 수 없고 반주기 파형을 형성하는 샘플의 개수가 일정 수 이상으로 커야 최소파형모형이 된다. 이후 최소파형모형을 형성할 수 있는 최소 샘플의 개수는 N으로 표현한다.
도 3은 본 발명의 일 실시예에 따른 최소 파형 모형에 관한 그래프이다. 도 3을 참조하면, N보다 큰 반주기를 갖는 모형이 7개가 검출되는 것을 볼 수 있다(본 실시예에서는 N을 5로 설정). 파형 개수 측정을 위한 샘플 단위는 아날로그 음악의 파동을 디지털 음원으로 변환하기 위해 시간에 따른 에너지를 표본화한 수치이며 보통 CD음질의 음원인 경우 초당 44100의 샘플을 갖는다. 이렇게 반주기 파형으로 형성된 최소파형모형은 음을 구성하는 최소 단위로 사용된다.
본 발명의 일 실시예에서는, 최소파형모형이 음일 확률을 높여주기 위해 최소파형모형 검사는 샘플 단위로 수행을 하지 않고 샘플의 묶음인 프레임 단위로 수행한다. 샘플 단위로 수행을 하면 최초 하나의 최소파형모형만을 보고 시작점을 결정하지만 프레임 단위로 수행하게 되면 프레임 안에 속한 최소파형모형을 전부 보고 결정하기 때문에 음일 확률이 높아진다. 본 발명의 일실시예에서, 프레임 단위 설정은 사람이 소리를 최소한으로 인식할 수 있는 단위로 음성인식 분야에서 많이 사용된 20ms (880sample)로 적용한다.
한편, 시작점 검출에 있어서, 디지털 음원에 노이즈가 포함될 경우 노이즈도 소리를 구성하는 파동과 에너지를 가지고 있어 최소파형모형이 존재한다. 그래서 노이즈가 포함된 디지털 음원은 노이즈를 시작점으로 찾게 되는 문제가 발생한다.
본 발명에서는 노이즈의 영향을 받지 않고 음악의 시작점을 검출하기 위해 노이즈가 포함된 파형의 특징을 분류하고 이 분류를 이용한 예외 조건을 두어 오류를 최소화한다.
도 4a 내지 4d는 디지털 음원에 존재하는 노이즈 파형의 특징을 도시한 것이다.
도 4a와 같은 노이즈 파형은 그림으로 보았을 때 노이즈의 식별이 불가능하 다. 하지만 시작점을 검출하기 위해 최소파형모형의 존재를 검사하면 음이 나오기 전 묵음 부분에서 시작점을 검출하게 된다. 이는 귀로 인지하기 힘들 정도로 낮은 에너지의 파형이 묵음 부분에 존재하기 때문이다. 에너지가 적은 노이즈의 영향을 벗어나기 위해 최소파형모형을 결정짓는 N을 측정할 때 에너지가 낮은 샘플이라면 해당 샘플을 N개수에 포함시키지 않게 한다. 귀로 인지하기 낮은 샘플 기준은 전체 에너지의 0.5% 미만이다. PCM 데이터의 최고 에너지는 32767으로, 약 0.5% 미만의 기준 값은 128(27)로 정할 수 있다.
도 4b는 귀로 인지할 수 있는 에너지를 가지며 시간 축으로 고루 분포되어 있지 않고 단 한 점에서 발생하는 노이즈이다. 이러한 특성을 지닌 노이즈는 최소파형모형의 검사를 한 개의 프레임만 하는 것이 아닌, 다수개의 프레임을 연달아 검사하여 연속하여 최소파형모형이 검출된 경우에만 시작점으로 결정한다. 예를 들어, 본 발명의 일 실시예에서는 세 프레임에 연속하여 최소파형모형이 존재하는 경우, 세 프레임 중 첫 번째 프레임을 시작프레임으로 결정한다.
도 4c는 귀로 인지할 수 있는 에너지를 가지며 시간 축으로 길게 연장된 특징을 보이고 에너지의 값이 특정 한 부호의 값으로 치중되어있는 특징을 도시한 것이다. 이러한 노이즈 파형은 샘플의 부호 값이 변화하지 않고 일정함을 알 수 있다. 따라서, 이러한 점을 고려하여 최소파형모형을 검출할 때, 예를 들어, 부호가 변화하지 않는 모형 샘플의 개수가 프레임 길이의 1/3 이상이면 노이즈 파형으로 볼 수 있다.
도 4d는 귀로 인지할 수 있는 에너지를 가지며 시간 축으로 고루 분포되어 있다. 이러한 특징을 가진 노이즈는 실제 음을 가지는 파형의 모형과 유사하기 때문에 처리하기 힘들다. 다만, 이러한 노이즈는 음악에 따라 시작부분에 일부로 삽입하는 경우가 종종 있는데, 그러한 경우라면 음이라 보아도 무방하기 때문에 문제가 발생하지 않을 것이다.
이하, 전술한 시작점 검출 원리에 따라 음악 파일에서 시작점을 검출하는 알고리즘에 대해 구체적으로 설명하기로 한다. 도 5는 본 발명의 일 실시예에 따라 시작점을 검출하는 방법에 관한 흐름도이고, 아래, <표 1>은 프레임 검사테이블를 예시한 것이다.
Figure 112008050081220-pat00001
도 5 및 <표 1>을 참조하면, 전처리된 PCM 데이터를 입력받아(S20), 첫번째 프레임부터 순차적으로 검사한다(S21). 만약 해당 프레임에 최소 파형 모형이 존재하면(S22), 프레임 검사테이블에 기입한다(S23). 기입 시 샘플의 위치와 부호에 따른 최소 파형 모형의 수를 기입한다. 전술한 바와 같이, 최소 파형 모형은 일정 값 이상의 에너지를 가진 샘플만을 카운팅하며, 본 실시예에서는 128 이상의 에너지를 가진 샘플을 카운팅하여 5개 이상 검출되면 이를 최소 파형 모형으로 검출하여 프레임 검사테이블에 기입하게 된다(즉, 도 4a의 노이즈 처리).
만약, 해당 프레임에서 최소 파형 모형이 검출되지 않으면(S22), 프레임 검사테이블를 초기화하고(S24), 다음 프레임을 검사하게 된다(S25, S21).
한편, 프레임 검사테이블에서 최소 파형 모형이 존재하는 것으로 카운트 된 프레임의 수가 3이 될 때가지(S26), 즉 연속하여 최소 파형 모형이 존재하는 프레임의 수가 3이 될 때까지 계속하여 프레임을 검사한다(S25, S21)(즉, 도 4b의 노이즈 처리).
만약, 3을 만족하면, 부호가 변화하지 않는 모형 샘플의 개수가 프레임 길이의 1/3 미만인지 여부의 비율 검사를 하게 된다(S27)(즉, 도 4c의 노이즈 처리).
그리고, 비율 검사가 만족되면 프레임 검사테이블의 프레임 위치 첫번째 값이 음악의 시작점이 된다(S28).
만약, 카운트 된 프레임의 수가 3을 만족하더라도 비율 검사에서 부호가 변화하지 않는 모형 샘플의 개수가 프레임 길이의 1/3 이상 되면 프레임 검사테이블를 초기화하고(S24), 다시 다음 프레임부터 프레임을 검사한다(S21).
이와 같이, 본 발명의 일 실시예에 따르면 음의 시작점 검출 시 노이즈를 함께 고려하였기 때문에, 오류의 가능성을 최소화하여 좋은 성능을 가질 수 있다.
전술한 시작점 검출 알고리즘의 성능을 음악 장르별 샘플 수 별로 알아보기 위해, 실험을 실시하였으며, 이에 따른 실험 결과는 도 6 및 도 7에 도시되어 있다. 도 6은 N의 개수에 따른 성능 측정 그래프이고, 도 7은 본 실험에 따른 음악 장르에 따른 성능 측정 그래프이다.
실험에서 사용된 디지털 음원은 44100 Hz, 16 bit로 샘플링하였고, 장르와 리듬에 따라 시작점 검출에 영향을 미치는지를 알아보기 위해 음악을 아래 <표 2>와 같이 15가지 군집으로 분류하였다. 또한, 군집 당 곡은 40곡으로 총 600곡에 해당하는 곡을 이용하였다
Figure 112008050081220-pat00002
본 실험은 음악의 최소 파형 모형을 결정지을 수 있는 N을 1 ~ 10 개까지 개수 별로 설정하고 개수마다 측정한 시작 위치를 프레임 단위로 검출하였다. 검출된 결과는 음악을 파형 그림으로 표현하고 프레임마다 선택할 수 있는 프로그램을 제작하여 직접 선택한 검출 프레임과 비교하였다. 시작점의 검출 성능을 검증하기 위해 오차의 범위는 앞뒤 1 프레임으로 하였고, 오차의 범위를 벗어나면 실패로 간주하였다.
도 6에서, 가로축은 최소 파형 모형이 가질 수 있는 샘플의 개수 N을 나타낸 것이며, 세로축은 직접 선택한 검출 프레임과 비교하여 나온 일치율을 나타낸다. 도 6에 도시된 바와 같이, N의 개수가 1개로 이루어진 파형은 최소 파형 모형이라 볼 수 없고, 적어도 2개의 샘플로 구성된 반주기 파형을 최소 파형 모형이라 볼 수 있다. 5개의 샘플을 가진 최소 파형 모형이 약 86%로 실험에서 성능이 가장 좋게 나왔으며 6개 이후로는 점점 성능이 떨어지는 것을 볼 수 있다. 이러한 실험 결과로 볼 때, 최소 파형의 모형을 결정짓는 N의 개수는 2에서 5개 사이에서 결정되는 것이 바람직하다.
도 7은 N 개수에 따른 성능 측정 결과를 토대로 가장 성능이 좋게 나온 N=5를 가지고 장르별 성능 측정하였다. 발라드나 재즈와 같이 음이 부드럽게 시작하는 장르는 일치율이 70% ~80% 사이의 낮은값을 가진 것으로 나왔고, 음의 시작이 강하거나 튕기는 음으로 구성된 장르들은 높은 일치율을 보였으나, 전체적으로 볼 때 비교적 좋은 성능을 가진다고 볼 수 있다.
한편, 전술한 과정을 거쳐 시작점 이전의 데이터가 제거된 오디오데이터에서 특징 벡터를 추출한다(S17). 특징벡터는 시작점 이전의 데이터가 제거된 데이터를 고속푸리에변환(FFT)하는 단계, 고속푸리에변환된 데이터를 멜 필터 뱅크(MEL Filter Bank)를 수행하는 단계, 멜 필터 뱅크가 수행된 데이터를 로그변환하는 단계, 및 로그 변환된 데이터를 이산코사인변환(DCT)하는 단계를 거친 후, 특징 벡터를 추출하게 된다. 이러한 각각의 변환 과정은 공지된 기술로서, 각각의 구체적인 설명을 생략하기로 한다.
다만, 본 발명에 따른 특징 벡터 추출 과정은 윈도우화 등 기타 다른 과정을 거치지 않고도 성능에는 큰 차이가 없이, MFCC 특징벡터를 추출할 수 있다. 본 발명의 일 실시예에서는 13차 특징벡터를 사용한다.
이하, 도 8을 참조하여 추출된 특징벡터의 후처리 과정을 설명하기로 한다.
도 8은 본 발명의 일 실시예에 따라 특징벡터를 후처리하는 과정을 설명하는 흐름도이다. 도 8을 참조하면, 추출한 13차 MFCC 특징 벡터들을 50프레임씩 합산한다(S30). 1개 프레임에 13차 특징벡터가 존재하게 되므로, 50프레임에는 총 13*50=650개의 특징벡터가 존재하며, 이들 특징벡터들을 모두 합산하여 총 81개의 합산 데이터를 산출한다. 예를 들어, 20초 가량의 시작 데이터에서 시작점 이전의 데이터를 삭제하게 되면 일반적으로 대략 50*81 개의 프레임이 남게 되며, 50 프레임씩 특징벡터들을 묶어서 합산하여 총 81개의 합산 데이터를 산출하여 이를 사용한다.
그리고, 81개의 합산 데이터의 차이값을 산출하여(S31), 해당 음원의 특징값으로서 데이터베이스에 저장한다(S31). 예를 들어, 81개의 합산 데이터를 Sum1, Sum2, Sum3, ..., Sum81 이라 할 때, 이들 간의 차이값은 Sumi +1- Sumi로 정의할 수 있다. 합산 데이터를 81개 사용하므로, 차이값(특징값 또는 특징 데이터)은 총 80개가 산출된다. 여기서, 경우에 따라 시작점 이전의 데이터가 많이 잘린 경우 81개 미만의 합산 데이터가 존재할 수 있으며, 이 경우 차이값을 0으로 세팅한다.
이렇듯 차이값을 특징값으로 사용하는 이유는, 81개의 합산 데이터를 그대로 사용하면 노멀라이즈를 하더라도 볼륨량의 차이가 생길 수 있으므로, 차이값인 기울기 데이터를 최종 특징 데이터로 사용한다.
산출된 차이값 데이터들은 해당 음원의 특징 데이터로서 데이터베이스로 저장되거나, 데이터베이스에 저장된 다수의 특징 데이터들과 매칭을 시도하게 된다.
도 9는 본 발명의 일 실시예에 따라 음원 매칭을 수행하는 과정을 설명하는 흐름도이다.
우선, 매칭을 시도하는 음악 파일에 메타데이터가 존재하는 경우, 해당 메타데이터를 이용하여 매칭을 시도한다. 반면, 음악 파일에 메타데이터가 존재하지 않는 경우, 전술한 과정을 거쳐 해당 음원의 특징값들을 추출한다.
도 9를 참조하면, 추출한 특징 데이터를 데이터베이스에 저장된 특징 데이터들과 비교하여(S40), 특징 데이터들 간의 차이값을 합산한다(S41). 예를 들어, 현재 추출한 음원의 특징 데이터 80개와 데이터베이스에 저장된 다수의 음원들의 특징 데이터 80개를 비교하여 그 차이값을 합산한다.
이하의 <표 3>은 음원 매칭의 판단 결과를 설명하기 위한 예시표이다.
Figure 112008050081220-pat00003
위 표 3은 전술한 방법에 따라 버즈의 "가시"에서 특징 벡터를 추출하고, 이를 기초로 데이터베이스에 저장된 다수의 음원의 특징벡터들과 매칭을 시도한 결과를 표로 나타낸 것이다. 위 표에서는 차이가 최소값을 갖는 음악 3곡이 리스팅 되었다. 곡명 옆에 있는 457.22, 2029.27, 2162.09는 매칭을 시도한 곡과 해당 곡들 간의 특징 데이터의 차이값을 합산한 값들이다. 음원 매칭 시, 위 값들은 소수점 첫째자리에서 반올림하여 사용한다.
매칭을 시도하는 곡의 특징값과 데이터베이스에 저장된 "가시"의 특징값과의 차이 합산값을 Value1 = 457, "거짓말"과의 차이값을 Value2 = 2029, "체념"과의 차이값을 Value3 = 2162이라 하고, DIS1 =(Value2 - Value1), DIS2 =(Value3 - Value2), DIS3 =abs(DIS2 - DIS1) 이라 하자.
도 9를 참조하면, DIS1이 5000 보다 크면(S42), 매칭에 실패한 것으로 본다(S43). 이 경우 차이값이 너무 크므로 매칭되는 음악이 없는 것으로 판단한다.
한편, DIS1이 100 이하인 경우(S44), 매칭에 성공한 것으로 본다(S45). 차이값이 100 이하인 경우, 거의 매칭된다고 볼 수 있으므로, 해당 곡을 일치하는 곡으로 판단한다.
그리고, DIS1이 100을 넘어가지만, DIS3이 200보다 큰 경우라면(S46), 매칭에 성공한 것으로 본다(S45).
한편, DIS1이 0인 경우에도(S47), 매칭에 성공한 것으로 본다(S45). 이 경우는 흔히 곡이 리메이크되어 동일한 곡이 여러 곡 데이터베이스에 존재하는 경우에 발생할 수 있다.
표 3에서 이 기준을 적용한다면, DIS3이 200보다 큰 경우에 해당하므로, 매칭에 성공한 경우에 해당한다. 즉, 매칭을 시도한 곡이 버즈의 가시로 결정된다.
이하, 시작점을 검출하지 않고 음원매칭을 시도한 종래의 예와, 본 발명에 따라 시작점을 검출한 후 음원 매칭을 시도한 예를 비교하여 설명하기로 한다.
도 10a 내지 10c는 시작점을 검출하지 않고 음원 매칭을 시도한 예로서, 10a는 기준이 되는 파일의 파형(곡명: 행복을 주는 사람, 가수: 해바라기), 10b는 비교가 되는 파일의 파형(곡명: 행복을 주는 사람, 가수: 해바라기), 10c는 매칭 그래프를 도시한다.
도 10a와 10b를 통해 직관적으로 알 수 있듯이 두 파일의 시작점이 다름을 확인할 수 있다. 또한, 도 10c의 매칭 결과에서도 두 음원의 시작점이 달라 그래프가 엇갈려서, 기준 특징값들과 비교 특징값들의 차이의 합산값이 무려 2576.56에 다다름을 알 수 있다. 이렇듯 시작점을 검출하지 않고 매칭을 시도할 경우, 동일한 음원이라고 하더라도 많은 경우 매칭이 실패할 수 있음을 보여주는 단적인 예이다.
도 11a 내지 11c는 본 발명에 따라 시작점을 검출한 후 음원 매칭을 시도한 예를 도시한다. 곡명은 도 10a 내지 10c와 동일하다.
도 11a 및 11b에 도시된 바와 같이, 매칭 대상이 되는 두 파일에서 시작점을 검출한 것을 확인할 수 있다. 이렇게 시작점을 검출한 후 시작점 이전의 데이터를 제거하고 나서 매칭을 시도한 결과는 도 11c에 도시되어 있다.
도 11c에서 알 수 있듯이 시작점을 검출하여 시간축의 엇갈림 현상을 제거하기 때문에 특징값들의 차이값이 488.58로 낮아짐을 확인할 수 있다
이와 같이, 본 발명은 음악의 비트레이트, 포맷 등을 일정 형식으로 변환하고, 시작점을 검출하여 특징벡터를 추출함으로써, 매칭 성능이 향상될 수 있다.
표 4는 본 발명의 일 실시예에 따른 특징벡터 추출 및 매칭과정에 소요되는 시간에 관한 실험결과 데이터를 나타낸 것이다.
Figure 112008050081220-pat00004
표 4에서, 시간은 소수점 둘째 자리까지 나타냈다. 위 표에서 알 수 있듯이, 비트 변환, 디코딩 및 특징벡터 추출에 시간이 약간 소요될 뿐 다른 과정에서는 거의 시간이 소요되지 않으며, 특징벡터를 추출하는데 총 1.21초의 짧은 시간이 소요됨을 확인할 수 있다. 또한, 평균 2~3초 안에 특징벡터 추출과 매칭이 완료됨을 실험결과에서 확인할 수 있었다. 이러한 처리시간은 종래의 DTW 방법에 비해 1/100 정도 단축된 시간이다. 또한, 실험결과 매칭 성공률이 97%에 이르는 것을 확인할 수 있었다.
이와 같이, 본 발명은 종래에 비해 획기적으로 처리시간을 단축하는 효과를 가지고 높은 매칭 성공률을 갖기 때문에 실시간 음원 매칭에 사용될 수 있는 장점을 갖는다.
전술한 전처리, 특징벡터 추출 및 음원 매칭 처리는 상술한 연산 및/또는 처리를 수행하기 위한 소프트웨어 알고리즘에 의해 구현 가능하며, 하나의 독립된 장치(예, 컴퓨터, PDA, 휴대폰, MP3 등 개인 단말기)에 설치되어 실행될 수 있으나, 다수의 서로 통신 가능한 장치들에 각각 분산되어 설치되고, 이들 장치들의 연동에 의해 실행될 수도 있다.
전술한 실시예들에서, 전처리 과정으로 다수의 처리단계들을 언급하였으나, 이들 단계 중에서 일부 과정은 생략될 수 있다. 또한, 전술한 실시예들에서 음원 매칭의 구체적인 기준을 제시하였으나, 그 적용 기준이 달라질 수 있음은 물론이다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
도 1은 본 발명의 일 실시예에 따른 오디오 데이터의 특징 벡터 추출방법에 관한 흐름도;
도 2는 도 1의 처리과정에 따른 파형의 예를 도시한 것;
도 3은 본 발명의 일 실시예에 따른 시작점 검출에 사용되는 최소 파형 모형을 설명하기 위한 그림;
도 4a 내지 도 4d는 음악 파일에 포함된 노이즈 파형의 예;
도 5는 본 발명의 일 실시예에 따라 시작점을 검출하는 방법에 관한 흐름도;
도 6은 최소 파형 모형을 이루는 샘플의 개수에 따른 성능 측정 그래프의 예;
도 7은 음악 장르에 따른 성능 측정 그래프의 예;
도 8은 본 발명의 일 실시예에 따라 특징 데이터를 산출하는 방법의 흐름도;
도 9는 본 발명의 일 실시예에 따라 음원을 매칭하는 방법의 흐름도;
도 10a 내지 10c는 시작점을 검출하지 않고 음원 매칭을 시도한 예;
도 11a 내지 11c는 본 발명에 따라 시작점을 검출한 후 음원 매칭을 시도한 예를 도시한다.

Claims (9)

  1. 오디오 데이터의 특징벡터 추출방법에 있어서,
    오디오 데이터를 입력받는 단계;
    상기 오디오 데이터를 디코딩하는 단계;
    상기 디코딩된 데이터에서 음이 시작되는 시작점을 탐색하는 단계;
    상기 탐색한 시작점 이전의 데이터를 제거하는 단계;
    상기 시작점 이후의 데이터를 처리하여 특징벡터를 추출하는 단계를 포함하고;
    상기 시작점을 탐색하는 단계는 상기 디코딩된 데이터를 프레임 단위로, 음을 구성하는 최소 파형 모형이 존재하는지 여부를 검사하는 단계, 및
    상기 최소 파형 모형이 존재하는 프레임이 연속하여 일정 개수 이상 검출되는 경우, 상기 검출된 프레임들 중 처음 최소 파형 모형이 검출된 위치를 상기 시작점으로 결정하는 단계를 포함하는 것을 특징으로 하는 오디오 데이터의 특징벡터 추출방법.
  2. 제1항에 있어서,
    상기 오디오 데이터의 특징벡터 추출방법은 상기 오디오 데이터를 입력받는 단계와 상기 디코딩하는 단계 사이에, 상기 입력받은 오디오 데이터가 일정 비트를 갖도록 변경하는 단계를 더 포함하고,
    상기 입력받는 오디오 데이터는 음원 파일의 일부 데이터로서, 재생시작부터 일정 재생시간까지에 해당하는 데이터인 것을 특징으로 하는 오디오 데이터의 특징벡터 추출방법.
  3. 제2항에 있어서,
    상기 오디오 데이터의 특징벡터 추출방법은 상기 디코딩하는 단계와 상기 시작점을 탐색하는 단계 사이에 상기 디코딩된 데이터를 모노 형식으로 변환하는 단계를 더 포함하고,
    상기 특징벡터를 추출하는 단계는 상기 시작점 이전의 데이터를 제거하는 단계를 포함하는 것을 특징으로 하는 오디오 데이터의 특징벡터 추출방법.
  4. 제3항에 있어서,
    상기 오디오 데이터의 특징벡터 추출방법은 상기 디코딩하는 단계와 상기 모노 형식으로 변환하는 단계 사이에 상기 디코딩된 데이터를 볼륨에 대해 노멀라이즈하는 단계를 더 포함하는 것을 특징으로 하는 오디오 데이터의 특징벡터 추출방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 최소 파형 모형은 소정 값 이상의 에너지를 가진 샘플의 개수를 일정 개수 이상 포함하며,
    상기 최소 파형 모형의 검출 단계는, 상기 프레임에서 부호가 변화하지 않는 샘플의 개수가 일정 비율 이상 되면 노이즈로 판단하여 스킵하는 단계를 포함하는 것을 특징으로 하는 오디오 데이터의 특징벡터 추출방법.
  7. 제6항에 있어서,
    상기 추출된 특징벡터를 일정 개수의 프레임마다 더하여 합산 데이터들을 산출하는 단계; 및
    상기 합산 데이터들 간의 차이값 데이터들을 산출하여 특징값으로 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 오디오 데이터의 특징벡터 추출방법.
  8. 제1항 내지 제4항, 제6항 및 제7항 중 어느 하나의 항에 따른 오디오 데이터의 특징벡터 추출방법이 기록된 컴퓨터 판독 가능한 기록매체.
  9. 제1항 내지 제4항, 제6항 및 제7항 중 어느 하나의 항에 따른 오디오 데이터의 특징벡터 추출방법을 이용하여 음원데이터로부터 특징벡터를 추출하고, 상기 추출된 특징벡터를 데이터베이스 상에 기 저장된 오디오 데이터들의 특징벡터들와 비교하여 오디오 데이터의 매칭을 수행하는 오디오 데이터의 매칭 방법.
KR1020080067564A 2008-07-11 2008-07-11 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법 KR101002731B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080067564A KR101002731B1 (ko) 2008-07-11 2008-07-11 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080067564A KR101002731B1 (ko) 2008-07-11 2008-07-11 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020100037733A Division KR20100056430A (ko) 2010-04-23 2010-04-23 오디오 데이터의 특징 벡터 추출방법 및 이를 이용한 오디오 데이터의 매칭 방법

Publications (2)

Publication Number Publication Date
KR20100007095A KR20100007095A (ko) 2010-01-22
KR101002731B1 true KR101002731B1 (ko) 2010-12-21

Family

ID=41816132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080067564A KR101002731B1 (ko) 2008-07-11 2008-07-11 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법

Country Status (1)

Country Link
KR (1) KR101002731B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355174B2 (en) 2012-09-07 2016-05-31 Iheartmedia Management Services, Inc. Multi-input playlist selection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
성보경 외 2명, "음악 특징점간의 유사도 측정을 이용한 동일음원 인식방법", 한국 컴퓨터정보학회 논문지, 제13권 제3호, pp.99-106, 2008년 5월*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355174B2 (en) 2012-09-07 2016-05-31 Iheartmedia Management Services, Inc. Multi-input playlist selection
US10318651B2 (en) 2012-09-07 2019-06-11 Iheartmedia Management Services, Inc. Multi-input playlist selection
US11526547B2 (en) 2012-09-07 2022-12-13 Iheartmedia Management Services, Inc. Multi-input playlist selection

Also Published As

Publication number Publication date
KR20100007095A (ko) 2010-01-22

Similar Documents

Publication Publication Date Title
US9208790B2 (en) Extraction and matching of characteristic fingerprints from audio signals
Zakariah et al. Digital multimedia audio forensics: past, present and future
US9093120B2 (en) Audio fingerprint extraction by scaling in time and resampling
US8586847B2 (en) Musical fingerprinting based on onset intervals
KR100838674B1 (ko) 오디오 핑거프린팅 시스템 및 방법
US9317561B2 (en) Scene change detection around a set of seed points in media data
EP2494544B1 (en) Complexity scalable perceptual tempo estimation
US8492633B2 (en) Musical fingerprinting
CN110472097A (zh) 乐曲自动分类方法、装置、计算机设备和存储介质
CN109271501A (zh) 一种音频数据库的管理方法及系统
KR101002731B1 (ko) 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법
KR101002732B1 (ko) 온라인을 통한 디지털 컨텐츠 관리 시스템
KR100766170B1 (ko) 다중 레벨 양자화를 이용한 음악 요약 장치 및 방법
Van Nieuwenhuizen et al. The study and implementation of shazam’s audio fingerprinting algorithm for advertisement identification
KR20100056430A (ko) 오디오 데이터의 특징 벡터 추출방법 및 이를 이용한 오디오 데이터의 매칭 방법
EP3575989B1 (en) Method and device for processing multimedia data
Htun Analytical approach to MFCC based space-saving audio fingerprinting system
Horsburgh et al. Music-inspired texture representation
Liu Audio fingerprinting for speech reconstruction and recognition in noisy environments
CN117807564A (zh) 音频数据的侵权识别方法、装置、设备及介质
Dimattia An Automatic audio segmentation system for radio newscast
Song An Automatic Commercial Search Application for TV Broadcasting Using Audio Fingerprinting
Esquerra et al. An Automatic Audio Segmentation System for Radio Newscast
Catalán Quality assessment and enhancement of an industrial-strength audio fingerprinting system
Helén et al. Tools for Automatic Audio Management

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150914

Year of fee payment: 5

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20171205

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181210

Year of fee payment: 9