KR20190019713A - 무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템 - Google Patents

무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템 Download PDF

Info

Publication number
KR20190019713A
KR20190019713A KR1020170104998A KR20170104998A KR20190019713A KR 20190019713 A KR20190019713 A KR 20190019713A KR 1020170104998 A KR1020170104998 A KR 1020170104998A KR 20170104998 A KR20170104998 A KR 20170104998A KR 20190019713 A KR20190019713 A KR 20190019713A
Authority
KR
South Korea
Prior art keywords
feature vector
acoustic signal
acoustic
uav
extracting
Prior art date
Application number
KR1020170104998A
Other languages
English (en)
Inventor
장경희
하유경
석림
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020170104998A priority Critical patent/KR20190019713A/ko
Publication of KR20190019713A publication Critical patent/KR20190019713A/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/038Vector quantisation, e.g. TwinVQ audio
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/086Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/39Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using genetic algorithms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템이 개시된다. 무인 항공기(Unmanned Aerial Vehicle)의 음향을 식별하는 방법에 있어서, 무인 항공기의 음향 신호로부터 해당 음향 신호의 고조파 특징을 포함하는 제1 특징 벡터를 추출하는 단계, 상기 음향 신호로부터 서브 밴드 파워(subband power) 특징을 포함하는 제2 특징 벡터를 추출하는 단계, 및 상기 제1 특징 벡터 및 제2 특징 벡터를 결합하여 상기 무인 항공기에 해당하는 음향 신호를 식별하기 위한 특징 벡터를 생성하는 단계를 포함할 수 있다.

Description

무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템{SYSTEM AND METHOD FOR CLASSIFYING BASED ON SUPPORT VECTOR MACHINE FOR UAV SOUND IDENTIFICATION}
본 발명의 실시예들은 음향 신호에서 드론(drone) 등의 무인 항공기(Unmanned Aerial Vehicle)에 해당하는 음향 신호를 식별하는 기술에 관한 것이다.
무인 항공기(Unmanned Air Vehicles, UAV)라고 불리는 드론(drone)의 개발에 대해 최근 몇 년 동안 애호가 및 투자자들의 관심이 증가하고 있다. 드론(drone)은 상대적으로 작은 크기와 기내 조종사 없이 비행 할 수 있다는 점 때문에 농업, 사진 및 수많은 공공서비스와 같은 상업적 응용 분야에 사용되고 있다. 이와 동시에, 드론(drone)은 상용 레이더(radar)의 탐지를 벗어나기에 충분히 작은 크기 및 낮은 비행 고도를 가진다는 점에서 화학, 생물학 또는 핵 공격을 수행하거나 국경을 넘어 마약이나 불법 이민자를 밀반입하도록 돕는 등의 공공 안전에 대한 보안을 위협하는 요소를 다분히 가지고 있다.
이처럼, 불법적인 드론(drone)의 위협에 대처하기 위해, 불법적인 드론을 모니터링하는 효율적인 식별 방법이 필요하다. 드론 음향 신호(drone sound)를 다른 음향 신호들(예를 들어, 새나 자동차의 음향 들)과 구별하기 위해 음향 특징을 추출하고 분류하는 기법이 이용된다. 예컨대, 최근에는 아래의 비특허 문헌 [1] I. Patel and Y.S . Rao , "Speech recognition using hidden Markov model with MFCC -subband technique", in Proc . of International Conference on Recent Trends in Information, Telecommunication and Computing (ITC), March 2010, pp.168-172.과 같이 속력 인식을 위한 멜 주파수 켑스트럴 계수(Mel Frequency Cepstral Coefficient, MFCC)를 추출하여 음향 특징을 추출하고, 아래의 비특허 문헌 [2] X. Zhang and Y. Wang, "A hybrid speech recognition training method for HMM based on genetic algorithm and Baum Welch algorithm," in Proc . of IEEE Second International Conference on Innovative Computing, Information and Control, pp. 572-576, Sept. 2007.와 같이 HMM(Hidden Markov Models)을 이용하여 음향 특징을 식별하는 다양한 방법들이 제안되고 있다.
한국공개특허 제10-2010-0056430호는 오디오 데이터의 특징 벡터를 추출하는 방법에 관한 것으로, 입력된 오디오 데이터를 디코딩하고, 디코딩된 데이터에서 음이 시작되는 시작점을 탐색하여 특징 벡터를 추출하는 기술을 개시하고 있다.
[1] I. Patel and Y. S. Rao, "Speech recognition using Hidden Markov Model with MFCC-Subband technique," in Proc. International Conference on Recent Trends in Information, Telecommunication and Computing, pp.168-172, Mar. 2010. [2] X. Zhang and Y. Wang, "A hybrid speech recognition training method for HMM based on genetic algorithm and Baum Welch algorithm," in Proc. of IEEE Second International Conference on Innovative Computing, Information and Control, pp. 572-576, Sept. 2007. [3] J.A. Robertson, J.C. Mossing, and B. Weber, "Artificial neural network for acoustic target recognition," in Proc. of SPIE, Apr. 1995, pp. 939-950.
본 발명은 불법적인 드론(drone) 등의 무인 항공기(UAV)에 의한 위협을 줄이기 위해, 음향 특징을 추출하여 무인 항공기(예컨대, 드론)의 음향(sound)을 식별하는 기술에 관한 것이다.
무인 항공기(Unmanned Aerial Vehicle)의 음향을 식별하는 방법에 있어서, 무인 항공기의 음향 신호(sound)로부터 해당 음향 신호(sound)의 고조파 특징을 포함하는 제1 특징 벡터를 추출하는 단계, 상기 음향 신호로부터 서브 밴드 파워(subband power) 특징을 포함하는 제2 특징 벡터를 추출하는 단계, 및 상기 제1 특징 벡터 및 제2 특징 벡터를 결합하여 상기 무인 항공기에 해당하는 음향 신호를 식별하기 위한 특징 벡터를 생성하는 단계를 포함할 수 있다.
일측면에 따르면, 생성된 상기 특징 벡터를 이용하여 SVM(Support Vector Machine) 분류기(classifier)를 학습시키는 단계, 및 학습된 상기 SVM 분류기에 기초하여 테스트 음향 신호(test sound)가 상기 무인 항공기에 해당하는 음향 신호인지 여부를 식별하는 단계를 더 포함할 수 있다.
다른 측면에 따르면, 상기 SVM(Support Vector Machine) 분류기(classifier)를 학습시키는 단계는, 생성된 상기 특징 벡터 및 진화 알고리즘(Generic Algorithm)에 기초하여 상기 SVM 분류기의 학습을 위한 파라미터인 패널티 계수 C와 RBF 커널 함수 계수 를 최적화하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 제1 특징 벡터를 추출하는 단계는, 상기 무인 항공기의 음향 신호(sound)에 해당하는 음향 시퀀스(sequence)를 대상으로, 미리 지정된 일정 길이의 데이터 프레임으로 분할하는 윈도윙(windowing)을 수행하는 단계, 상기 윈도윙을 통해 분할된 복수의 데이터 프레임들 각각을 대상으로 푸리에 변환(Fourier Transform)을 수행하는 단계, 및 상기 푸리에 변환을 통해 생성된 상기 무인 항공기의 음향 신호에 해당하는 스펙트로그램(spectrogram)으로부터 고조파 특징을 추출하는 단계를 포함할 수 있다.
무인 항공기(Unmanned Aerial Vehicle)의 음향을 식별하는 시스템에 있어서, 무인 항공기의 음향 신호(sound)로부터 해당 음향 신호(sound)의 고조파 특징을 포함하는 제1 특징 벡터를 추출하는 제1 특징 벡터 추출부, 상기 음향 신호로부터 서브 밴드 파워(subband power) 특징을 포함하는 제2 특징 벡터를 추출하는 제2 특징 벡터 추출부, 및 상기 제1 특징 벡터 및 제2 특징 벡터를 결합하여 상기 무인 항공기에 해당하는 음향 신호를 식별하기 위한 특징 벡터를 생성하는 특징 벡터 생성부를 포함할 수 있다.
본 발명은, 고조파 라인 결합(Harmonic Line Association, HLA) 및 웨이블릿 패킷 변환(Wavelet Packet Transform, WPT)에 기초하여 각각 무인항공기(UAV)관련 특징 벡터를 추출하고, 추출된 특징 벡터를 결합하여 무인항공기에 해당하는 음향 신호(sound)를 식별함으로써, 고조파 성분 이외에 음향 신호관련 다른 특징을 추가적으로 이용하여 음향 식별력을 높일 수 있다. 즉, 여러 종류의 음향 신호들 중에서 드론(drone) 등의 무인항공기(UAV)에 해당하는 음향 신호를 식별하는 식별 정확도를 높일 수 있다.
또한, 무인항공기(UAV)의 음향 신호(sound)로부터 추출된 특징 벡터를 기반으로 유전 알고리즘(Genetic Algorithm)에 기초하여 최적화 파라미터를 갖는 SVM(Support Vector Machine)을 분류기(classifier)로 이용함으로써, 무인항공기(UAV)의 음향 신호관련 식별 성능을 추가적으로 높일 수 있다.
도 1은 본 발명의 일실시예에 있어서, 무인 항공기의 음향 식별 시스템의 내부 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 무인 항공기의 음향 식별 방법을 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 있어서, HLA에 기초하여 무인항공기(UAV)의 음향으로부터 제1 특징 벡터를 추출하는 프로세스(process)를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 제1 및 제2 특징 벡터를 결합하여 최종 특징 벡터를 생성하는 동작을 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 최종 특징 벡터들이 매핑된 고차원의 특징 공간(feature space)를 도시한 도면이다.
도 6은 본 발명의 일실시예에 있어서, SVM 분류기를 학습시키는 동작을 도시한 흐름도이다.
도 7은 본 발명의 일실시예에 있어서, 5가지 방법을 사용한 6가지의 실험 결과에 따른 성능을 도시한 그래프이다.
도 8은 본 발명의 일실시예에 있어서, 드론의 음향 신호 식별과 관련하여 SNR을 도시한 그래프이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예들은 드론(drone) 등의 무인 항공기(Unmanned Aerial Vehicle)를 식별하는 기술에 관한 것으로서, 무인 항공기의 프로펠러(propeller)가 구동됨에 따라 방출되는 음향 신호(즉, 프로펠러 소리와 관련된 음향 어레이 신호)로부터 특징 벡터를 추출하고, 추출된 특징 벡터를 이용하여 유전 알고리즘을 기반으로 SVM(Support Vector Machine)의 파라미터를 최적화하고, 최적화된 SVM을 분류기로 이용하여 무인항공기의 음향 신호를 식별하는 기술에 관한 것이다. 특히, 드론 등의 무인항공기의 음향 신호로부터 고조파 성분을 특징 벡터로서 추출하기 위해 HLA(Harmonic Line Association)을 이용하고, 고조파 성분 이외에 다른 특징을 추출하기 위해 WPT가 이용되고, 서로 다른 기법으로 추출된 서로 다른 성분을 포함하는 특징 벡터들을 결합하여 무인항공기(UAV)를 식별하기 위한 최종 특징 벡터를 생성하는 기술에 관한 것이다. 그리고, 생성된 최종 특징 벡터 및 유전 알고리즘(GA)이 결합된 SVM을 학습시키고, 학습된 SVM을 분류기로 이용하여 테스트 음향 신호에 포함된 다양한 종류의 음향 신호들 중에서 무인항공기(UAV)에 해당하는 음향 신호를 식별하는 기술에 관한 것이다. 예컨대, 음향 신호를 식별하는 기술은 다양한 크기의 드론(drone) 중에서 불법적인 용도로 이용 및 공공에 위협을 가할 가능성이 높은 크기가 작고 저공 비행하는 드론(drone)을 식별하기 위해 이용될 수 있다.
본 실시예들에서, '무인 항공기(Unmanned Aerial Vehicle)'는 조종사가 탑승하지 않고 지정된 임무를 수행할 수 있도록 제작된 비행체로서, 드론(drone) 등이 포함될 수 있다.
본 실시예들에서, '음향 신호'는 오디오 신호(audio sound)를 나타내는 것으로서, 예컨대, 드론(drone)에 해당하는 음향 신호(sound)는 드론의 프로펠러(propeller)가 회전하면서 방출하는 음향 신호(acoustic sound)를 나타낼 수 있다.
도 1은 본 발명의 일실시예에 있어서, 무인 항공기의 음향 식별 시스템의 내부 구성을 도시한 블록도이고, 도 2는 본 발명의 일실시예에 있어서, 무인 항공기의 음향 식별 방법을 도시한 흐름도이다.
도 1에 따르면, 음향 식별 시스템(100)은 제1 특징 벡터 추출부(110), 제2 특징 벡터 추출부(120), 특징 벡터 생성부(130), SVM 학습부(140) 및 음향 식별부(150)를 포함할 수 있다. 그리고, 도 2의 각 단계들(210 내지 250 단계)은 제1 특징 벡터 추출부(110), 제2 특징 벡터 추출부(120), 특징 벡터 생성부(130), SVM 학습부(140) 및 음향 식별부(150)에 의해 수행될 수 있다.
도 2에서는 서로 다른 기법으로 무인항공기(UAV)의 음향 신호로부터 다른 특성을 갖는 특징 벡터를 추출함에 따라, 제1 및 제2 특징 벡터 추출부(110, 120)를 구분하여 도시하였으나, 이는 실시예에 해당되며, 제1 및 제2 특징 벡터 추출부(110, 120)는 하나의 특징 벡터 추출부로서 구현될 수도 있고, 제1 및 제2 특징 벡터 추출부(110, 120)와 특징 벡터 생성부(130)가 하나의 특징 벡터 처리부의 형태로 구현될 수도 있다.
210 단계에서, 제1 특징 벡터 추출부(110)는 무인항공기(UAV)의 음향 신호로부터 해당 음향 신호의 고조파 특징(harmonic feature)을 포함하는 제1 특징 벡터를 추출할 수 있다. 예컨대, 무인항공기(UAV)의 음향 신호는 드론(drone)의 프로펠러가 회전함에 따라 방출되는 소리를 나타낼 수 있다.
일례로, 제1 특징 벡터 추출부(110)는 고조파 라인 결합(HLA) 기법을 이용하여 드론 등의 무인항공기(UAV)의 프로펠러가 회전하면서 방출하는 음향 신호에서 고조파 성분을 특징 벡터로 추출할 수 있다. 드론(drone)과 같은 무인항공기(UAV)의 음향 신호는 다른 종류의 음향 신호들(예컨대, 새소리, 비행기 소리, 자동차 소리 등)과 구별되는 데, 드론의 음향 신호와 다른 종류의 음향 신호를 구분하는 특징은 드론의 프로펠러에서 발생하는 전형적인 특징이 존재하기 때문이다. 예컨대, 시간-주파수 영역에서 드론(drone)의 음향 신호(즉, 프로펠러에서 방출되는 음향 신호)에 해당하는 스펙트로그램(spectrogram)은, 400Hz 내지 8KHz에서 강한 고조파 성분을 포함할 수 있다. 그리고, 새소리, 비행기 소리, 자동차 소리 등과 같이 속성이 다른 종류의 음향 신호들에 해당하는 스펙트로그램은 고조파 성분이 다양한 주파수 영역에서 광범위하게 존재하는 특성을 나타낼 수 있다. 이처럼, 드론 음향 신호의 경우, 400Hz 내지 8KHz 영역에서 고조파 성분을 갖는 특징을 기반으로 제1 특징 벡터가 추출될 수 있으며, 추출된 특징 벡터는 드론의 음향 신호를 식별하기 위해 이용될 수 있다.
220 단계에서, 제2 특징 벡터 추출부(120)는 무인항공기(UAV)의 음향 신호로부터 서브 밴드 파워(subband power) 특징을 포함하는 제2 특징 벡터를 추출할 수 있다.
음향 신호로부터 추출된 특징 벡터를 기반으로 드론 등의 무인항공기(UAV)를 식별하는 경우, 이용되는 특징 벡터가 해당 음향 신호(예컨대, 드론의 음향 신호)와 관련하여 충분한 정보와 특성을 포함할수록 음향 신호를 식별하는 정확도가 올라갈 수 있다. 이에 따라, 다른 종류의 음향 신호(예컨대, 새소리, 비행기 소리, 자동차 소리, 오토바이 소리 등)와 드론의 음향 신호를 구분 및 특정하는 고조파 성분 이외에 다른 성분(즉, 서브 밴드 파워)이 특징 벡터로서 추가 추출될 수 있으며, 제1 특징 벡터와 함께 제2 특징 벡터가 무인항공기(UAV)를 식별하기 위해 이용될 수 있다. 예컨대, 제2 특징 벡터를 추출하기 위해 웨이블릿 패킷 변환(Wavelet Packet Transform, WPT) 기법이 이용될 수 있다.
230 단계에서, 특징 벡터 생성부(130)는 추출된 제1 특징 벡터 및 제2 특징 벡터를 결합하여 무인항공기(UAV)에 해당하는 음향 신호를 식별하기 위한 특징 벡터를 생성할 수 있다. 예컨대, 특징 벡터 추출부(130)는 고조파 성분을 포함하는 제1 특징 벡터 및 서브 밴드 파워(subband power)를 포함하는 제2 특징 벡터를 결합하여 최종 특징 벡터를 생성할 수 있다.
240 단계에서, SVM 학습부(140)는 생성된 특징 벡터(즉, 제1 및 제2 특징 벡터를 결합한 최종 특징 벡터)를 이용하여 SVM(Support Vector Machine) 분류기를 학습시킬 수 있다.
예컨대, SVM 학습부(140)는 생성된 특징 벡터를 이용하여 유전자 알고리즘(Genetic Algorithm, GA)에 기초하여 SVM 분류기의 파라미터들을 최적화할 수 있다. 이처럼, SVM 분류기의 파라미터들을 최적화를 통해 SVM 분류기가 학습될 수 있다.
250 단계에서, 음향 식별부(150)는 학습된 SVM 분류기에 기초하여 테스트 음향 신호가 무인항공기(UAV)에 해당하는 음향 신호인지 여부를 식별할 수 있다.
예컨대, 테스트 음향 신호는, 다양한 종류의 드론(done) 음향 신호, 자동차 음향 신호, 비가 내릴 때 방출되는 음향 신호, 새 음향 신호 등을 포함할 수 있다. 그러면, 테스트 음향 신호는 음향 식별 시스템(100)의 마이크 또는 음향 인식 센서 등을 통해 시스템으로 입력될 수 있으며, 음향 식별부(150)는 입력 또는 센싱된 테스트 음향 신호(즉, 테스트 데이터)로부터 특징 벡터를 추출하고, 추출된 특징 벡터와 상기 학습된 SVM 분류기에 기초하여 테스트 음향 신호에 포함된 각 음향 신호들을 분류하고, 분류된 음향 신호들 중에서 드론에 해당하는 음향 신호를 식별할 수 있다. 이때, SVM 분류기 기반 테스트 음향 신호들의 분류를 통해 테스트 음향 신호에 포함된 적어도 하나의 음향 신호가 드론 음향 신호인지 여부 이외에, 새 음향 신호인지, 자동차 음향 신호인지, 비행기 음향 신호에 해당하는지 여부 등이 식별될 수도 있다.
도 3은 본 발명의 일실시예에 있어서, HLA에 기초하여 무인항공기(UAV)의 음향 신호로부터 제1 특징 벡터를 추출하는 프로세스(process)를 도시한 도면이다.
도 3에 따르면, HLA(Harmonic Line Association)에 기초하여 제1 특징 벡터를 추출 시, 제1 특징 벡터 추출부(110)는 스펙트로그램(spectrogram)을 얻기 위해 푸리에 변환(310)을 수행하고, 스펙트로그램에서 피크값들을 찾고(320), 각 프레임에서 고조파 특징(harmonic feature)을 추출하고(330), 통계적으로 평균을 취함으로써(340), 드론 음향 신호로부터 드론 음향 신호를 특정하는 제1 특징 벡터를 추출할 수 있다.
위의 비특허 문헌 [3] J.A . Robertson, J.C . Mossing, and B. Weber, "Artificial neural network for acoustic target recognition," in Proc . of SPIE, Apr. 1995, pp. 939-950.에서는 드론(drone)은 프로펠러에 의해 생성되는 강력한 고조파 라인을 방출함을 제시하고 있다. 이처럼, 스펙트럼(spectrum) 영역에서 고조파 성분들이 드론 음향 신호를 특정하므로, 상기 고조파 성분들이 드론 음향 신호를 식별하기 위한 특징 벡터를 구성하기 위해 이용될 수 있다. 이에 따라, 제1 특징 벡터 추출부(110)는 고조파 성분들을 특징 벡터로 구성하기 위해 HLA(Harmonic Line Association) 기법을 이용할 수 있다.
먼저, 대부분의 음향 신호가 시간에 따라 변하며 유동적이므로, 시간-주파수 영역에서 스펙트로그램(spectrogram) 을 얻기 위해서는 푸리에 변환(Fourier Transform)이 이용될 수 있다. 예컨대, STFT(Short Time Fourier Transform), FFT(Fast Fourier Transform) 등의 푸리에 변환이 이용될 수 있다.
일례로, 드론(drone) 등의 무인항공기(UAV)의 음향 신호에 해당하는 시퀀스(sequence)를 대상으로 샘플링(sampling)이 수행될 수 있으며, 샘플링된 음향 시퀀스를 대상으로, 미리 지정된 일정 길이의 데이터 프레임으로 분할하는 프레이밍(framing) 및 윈도윙(windowing)이 수행될 수 있다. 예컨대, 샘플링된 롱타임(long-time) 음향 시퀀스가 미리 지정된 길이의 윈도우(window)에 의해 동일한 길이의 여러 개의 짧은 데이터 프레임으로 분할될 수 있다. 그러면, 제1 특징 벡터 추출부(110)는 분할된 짧은 데이터 프레임 각각에 대해 푸리에 변환을 수행할 수 있다. 예컨대, STFT 변환이 수행될 수 있으며, STFT 변환은 아래의 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure pat00001
수학식 1에서,
Figure pat00002
은 음향 시퀀스(sequence)로서 푸리에 변환될 신호를 나타내고,
Figure pat00003
은 윈도우 함수를 나타낼 수 있다.
위의 수학식 1에 기초하여 상기 분할된 짧은 데이터 프레임 각각에 대해 푸리에 변환을 수행함에 따라, 드론 등의 무인항공기(UAV)에 해당하는 스펙트로그램(spectrogram)이 생성/계산될 수 있다.
그러면, 제1 특징 벡터 추출부(110)는 상기 스펙트로그램에서 고조파 특징을 추출하기 위해, 상기 분할된 각 데이터 프레임 내에서 로컬 최대 빈(bin)을 순회(traversal)를 통해 찾을 수 있다. 이때, 검색된 로컬 최대 빈(즉, 로컬 최대값)이 로컬 배경 잡음으로부터 추정된 임계값(미리 지정된 임계값을 나타냄)보다 크면, 상기 로컬 최대 빈(bin)이 스펙트럼 피크(spectrum peak)로서 라벨링(labeling)될 수 있다. 이처럼, 스펙트럼 피크(spectrum peak)의 고조파 관계(harmonic relationship)는 그룹화되어, 해당 음향 신호를 식별하기 위한 고유한 패턴(pattern)인 특징 벡터 세트가 형성될 수 있다.
이때, 스펙트럼 피크(spectrum peak)의 고조파 관계(harmonic relationship)를 결정하기 위해, 검출된 각 피크(peak)가 차례대로 기본파로 지정될 수 있다. 그리고, 나머지 피크(peak)로부터 현재 기본파에 해당하는 고조파를 찾은 이후, 강한 고조파 세트의 진폭(amplitude)들이 고조파 성분을 나타내는 특징 벡터 세트에 포함될 수 있다. 이때, 전파 거리의 영향을 최소화하기 위해, 제1 특징 벡터는 최고 고조파의 크기로 정규화될 수 있다. 최종적으로, 각 데이터 프레임으로부터의 특징 벡터, 즉, 각 데이터 프레임 별 특징 벡터 세트는 통계적으로 평균(statistical averaging)됨에 따라, 해당 음향 신호의 특징 벡터가 생성될 수 있다. 다시 말해, 데이터 프레임 별 특징 벡터 세트의 통계적 평균을 통해 무인항공기(UAV) 음향 신호로부터 해당 음향 신호를 특정하는 제1 특징 벡터가 추출/생성될 수 있다.
도 4는 본 발명의 일실시예에 있어서, 제1 및 제2 특징 벡터를 결합하여 최종 특징 벡터를 생성하는 동작을 도시한 도면이다.
도 4에 따르면, HLA 기법에 기초하여 추출된 제1 특징 벡터(411) 및 WPT에 기초하여 추출된 제2 특징 벡터(412)가 결합되어 무인항공기(UAV) 음향 신호를 식별하기 위한 최종 특징 벡터(Feature vector, 410)가 생성될 수 있다.
WPT(Wavelet Packet Transform)는 웨이블릿 기저(wavelet basis)에서 신호의 세부 계수(예컨대, 고주파 성분)와 근사 계수(예컨대, 저주파 성분)으로 분해될 수 있다. 서로 다른 시간-주파수 평면 상에서 신호 에너지를 분해하는 N-레벨(level) WPT로부터 웨이블릿 패킷 계수가 획득될 수 있다. 이때, 웨이블릿 패킷 계수의 제곱 진폭의 적분은 주파수 대역에서의 파워(power)에 비례할 수 있다. 이에 따라, 서브 밴드 파워(subband power)와 관련된 음향 신호의 특징 벡터는 WPT를 통해 추출될 수 있으며, 아래의 수학식 2와 같이 표현될 수 있다.
[수학식 2]
Figure pat00004
수학식 2에서,
Figure pat00005
는 j번째 레벨(level)에서 n번째 웨이블릿 패킷 계수(wavelet packet coefficient)를 나타내고,
Figure pat00006
는 WPT에서 쉬프트 팩터(shift factor)를 나타낼 수 있다. 즉, WPT의 웨이블릿 패킷 계수에 따라 서브 밴드 파워가 계산됨으로써, 서브 밴드 파워를 나타내는 제2 특징 벡터가 추출될 수 있다. HLA에 기초하여 제1 특징 벡터를 추출하는 방법과 유사하게, 제2 특징 벡터 추출부(120)는 음향 신호를 특정하는 특징 벡터가 추출된 이후, 추출된 특징 벡터(즉, 제2 특징 벡터)는 가장 큰 파워(highest power)의 크기에 의해 정규화될 수 있다.
이처럼, HLA에 기초하여 드론 등의 무인항공기(UAV) 음향 신호의 고조파 성분에 해당하는 제1 특징 벡터가 추출되고, WPT에 기초하여 상기 무인항공기 음향 신호의 서브 밴드 파워에 해당하는 제2 특징 벡터가 추출되면, 특징 벡터 생성부(130)는 제1 및 제2 특징 벡터를 결합하여 최종 특징 벡터를 생성할 수 있다. 예컨대, 생성된 최종 특징 벡터는 아래의 수학식 3과 같이 표현될 수 있다.
[수학식 3]
Figure pat00007
수학식 3에서,
Figure pat00008
는 HLA에 의해 추출된 길이 M을 갖는 고조파 특징 벡터에서의 i번째 엘리먼트(element)를 나타내고,
Figure pat00009
는 위의 수학식 2에 기초하여 계산된 서브 밴드 파워를 나타낼 수 있다. 즉,
Figure pat00010
는 고조파 성분을 나타내는 제1 특징 벡터들로 구성된 집합에서, i번째 제1 특징 벡터를 나타낼 수 있다. 최적화 절차는 실시간 식별 이전에 수행되므로, 특징 벡터 추출 및 학습 최적화를 위한 복잡도는 문제되지 않을 수 있다.
이하에서는 하기의 수학식 4 내지 9를 참고하여, 무인항공기(UAV) 음향 신호에 해당하는 특징 벡터(즉, 제1 및 제2 특징 벡터가 결합된 최종 특징 벡터)를 통해 음향 신호를 분류하는 동작을 상세히 설명하고자 한다. 이때, SVM 분류기가 이용될 수 있으며, 상기 특징 벡터 및 미리 저장 또는 획득된 음향 신호의 클래스 라벨(class label)에 의해 학습된 SVM 분류기가 이용될 수 있다. 이처럼, SVM 분류기가 학습되면, 학습 이후 분류 기준으로 형성된 SVM 분류기는 클래스 라벨 없이도 음향 신호의 클래스를 추정 또는 예측하기 위해 이용될 수 있다. 여기서, SVM 분류기는 커널 함수(kernel function)를 통해 저차원 공간의 특징 벡터를 미리 정의된 고차원 공간에 매핑(mapping)하고, 실험 데이터를 통해 주어진 점(point)을 두 개의 미리 지정된 클래스로 분리하기 위해 상기 실험 데이터를 기반으로 학습을 수행하여 최상의 초평면(hyperplane)을 찾는 것을 나타낼 수 있다. 예컨대, 실험 데이터는 미리 지정된 학습 데이터 세트를 나타낼 수 있다.
일례로, 두 클래스(class)가 선형적으로 분리가 가능한 경우, 학습 데이터 세트
Figure pat00011
및 특징 벡터
Figure pat00012
와 관련된 라벨이 이 주어진 경우, 데이터 포인트는 초평면(hyperplane)
Figure pat00013
에 의해 정확하게 분류될 수 있다. 그러면, 모든 데이터 포인트는 아래의 수학식 4와 같이 표현되는 분류 기준을 만족할 수 있다.
[수학식 4]
Figure pat00014
수학식 4에서,
Figure pat00015
는 특징 벡터를 나타내고,
Figure pat00016
는 특징 벡터
Figure pat00017
에 라벨링된 클래스 라벨을 나타낼 수 있다. 그리고, wb는 초평면(hyperplane)의 파라미터를 나타낼 수 있다.
SVM은 아래의 수학식 5와 같이 표현되는 최적화 문제의 해를 구함으로써, 최대 마진을 갖는 최적의 분리 초평면(hyperplane)을 찾을 수 있다.
[수학식 5]
Figure pat00018
수학식 5에서, 비 음수 슬랙(non-negative slack) 변수
Figure pat00019
는 학습 데이터 세트의 잡음(Noise) 또는 잘못된 분류로 인한 오류를 처리하기 위한 파라미터를 나타내고,
Figure pat00020
는 과잉 조정(overfitting)을 제어하기 위해 적용되는 패널티 파라미터(penalty parameter)를 나타낼 수 있다.
상기 수학식 5의 최적화 문제를 풀기 위해서 라그랑지 승수(Lagrange multiplier)
Figure pat00021
가 이용될 수 있다. 예컨대, 라그랑지 승수를 이용하여 아래의 수학식 6과 같이 이중 문제(dual problem)가 구성될 수 있다.
[수학식 6]
Figure pat00022
그러면, 수학식 6의 라그랑지 함수(Lagrange function)의 안장점(saddle point)에 기초하여 위의 수학식 5는 아래의 수학식 7과 같이 변환될 수 있다.
[수학식 7]
Figure pat00023
수학식 7의 해인
Figure pat00024
(즉, 라그랑지 승수)는 초평면(hyperplane)의 파라미터들
Figure pat00025
,
Figure pat00026
를 결정하기 위해 이용될 수 있다. 그러면, SVM 분류기는 아래의 수학식 8과 같이 수학적으로 표현될 수 있다.
[수학식 8]
Figure pat00027
수학식 8에서,
Figure pat00028
는 커널 함수(kernel function)로서, 특징 벡터(즉, 제1 및 제2 특징 벡터가 결합된 최종 특징 벡터)를 고차원의 특징 공간(feature space)에 매핑(mapping)하기 위해 이용될 수 있다. 그러면, 도 5와 같이, 특징 공간(feature space)에서 복소 비선형 분리 문제(complex non-linear separable problem)는 고차원 특징 공간에서 간단한 선형 분리 문제(linear separable problem)로 변경될 수 있다. 분류 문제(classification problem)에서 많이 이용되는 커널 함수인 RBF(Radial-Basis Function)를 이용하여 SVM 분류기를 표현하면, 아래의 수학식 9와 같이 표현될 수 있다.
[수학식 9]
Figure pat00029
수학식 9에서,
Figure pat00030
는 RBF(Radial-Basis Function) 커널 함수 계수를 나타낼 수 있다.
도 6은 본 발명의 일실시예에 있어서, SVM 분류기를 학습시키는 동작을 도시한 흐름도이다.
도 6의 각 단계들(610 및 620 단계)은 도 1의 SVM 학습부(140)에 의해 수행될 수 있다.
먼저, SVM 분류기의 성능에 영향을 미치는 파라미터로서, 분류기를 학습시키기 이전에 결정되어야 하는 두 가지 파라미터가 존재할 수 있다. 예컨대, SVM 학습부(140)는 위의 수학식 7에서 설명한 패널티 계수
Figure pat00031
와 위의 수학식 9에서 설명한 RBF 커널 함수 계수
Figure pat00032
를 SVM 분류기를 학습시키기 이전에 결정할 수 있다. 여기서, 패널티 계수
Figure pat00033
는 두 클래스(class)의 서로 다른 마진(margin)을 최대화하고, 데이터 포인트의 편차를 최소화하는 것 사이의 절충점을 제어하기 위해 이용되고, RBF 커널 함수 계수
Figure pat00034
는 새로운 특징 공간(예컨대, 도 5의 510)에 매핑된 데이터의 분포를 결정하기 위해 이용될 수 있다.
패널티 계수
Figure pat00035
와 RBF 커널 함수 계수
Figure pat00036
를 최적화하기 위해 진화 알고리즘(Genetic Algorithm, GA)이 이용될 수 있다.
610 단계에서, SVM 학습부(140)는 최종 특징 벡터들과 진화 알고리즘(GA)에 기초하여 SVM 분류기의 최적화를 수행할 수 있다. 즉, SVM 학습부(140)는 최종 특징 벡터들과 진화 알고리즘(GA)에 기초하여 패널티 계수
Figure pat00037
와 RBF 커널 함수 계수
Figure pat00038
를 최적화할 수 있다.
일례로, 진화 알고리즘(GA)을 이용하기 위해 두 파라미터(즉, 패널티 계수
Figure pat00039
와 RBF 커널 함수 계수
Figure pat00040
)의 각 쌍이 객체(individual)로 간주될 수 있다. 이때, 초기 객체들은 랜덤(random)하게 생성될 수 있으며, 각 세대(generations) 마다 기존 객체가 적합도(fitness) 함수에 의해 선택될 수 있다. 객체들은 새로운 세대를 형성하기 위해 선택되고 수정될 수 있다. 예컨대, 크로스오버(crossover)와 돌연변이(mutation) 프로세스를 통해 새로운 세대가 형성될 수 있다. 진화 알고리즘의 마지막 과정으로서, 각 세대 별 적합도 중 가장 높은 적합도(maximum fitness)를 갖는 세대에 해당하는 객체가 SVM 분류기의 파라미터로서 결정될 수 있다. 예컨대, SVM 학습부(140)는 각 객체의 적합도를 결정하기 위해 v-fold 교차 유효성 검사를 적합도 함수로서 이용할 수 있다.
620 단계에서, SVM 학습부(140)는 진화 알고리즘을 기반으로 최적화된 상기 두 파라미터들(패널티 계수
Figure pat00041
와 RBF 커널 함수 계수
Figure pat00042
)을 이용하여 SVM 분류기를 학습시킬 수 있다.
이때, 학습 데이터 세트는 동일한 크기의 V개의 서브셋(subset)으로 분할될 수 있다. 그리고, 분할된 서브셋 중 하나의 서브셋은 나머지
Figure pat00043
개의 서브셋을 이용하여 학습된 분류기를 이용하여 학습될 수 있다. 이때, 모든 서브셋에 대해 차례로 학습이 수행될 수 있다. 각 객체의 적합도는 학습 데이터 세트의 총 데이터 양 중 교차 검증에서 올바르게 분류된 데이터의 백분율에 해당할 수 있다.
이하에서는 실험을 통해 최종 특징 벡터들과 진화 알고리즘에 기초하여 학습된 SVM 분류기를 이용하여 식별된 무인 항공기의 식별 성능에 대해 설명하고자 한다.
일례로, 4개의 드론(drone)으로부터 녹음된 음향 신호 및 공용 데이터베이스에서 다운로드한 다양한 종류의 음향 신호가 드론 식별 성능의 평가를 위해 이용될 수 있다. 예컨대, 4개의 드론은 SYMA X5SW(Drone 1), BYROBOT Drone Fighter(Drone 2), WLtoys Skywalker(Drone 3) 및 DJI Phantom 3 Professional(Drone 4)을 포함할 수 있다. 그리고, 실외 환경에서 드론 식별을 방해하는 다른 음원인 자동차, 새, 비, 비행기 음향 신호 등이 상기 공용 데이터베이스에서 다운로드될 수 있다. 4개의 드론들 각각을 대상으로 각 드론들을 식별하는 라벨(label) 정보가 연관하여 저장될 수 있으며, 각 드론의 음향 신호에 대해 세 번 녹음이 수행될 수 있다. 그리고, 자동차 음향 신호, 새 음향 신호, 비 음향 신호, 비행기 음향 신호와 같이 4종류의 서로 다른 음향 신호가 드론 식별을 위해 학습된 SVM 분류기의 입력인 테스트 데이터(즉, 테스트 음향 신호)로서 이용될 수 있다. 예컨대, 6대의 자동차 음향 신호, 헬리콥터, 보잉 737, 보잉 747, 에어버스 A320의 음향 신호 등이 이용될 수 있으며, 실험에서 사용되는 각 음향 신호의 길이는 6초이고, 44.1KHz의 샘플링 주파수(sampling frequency)를 가질 수 있다. 각 음향 신호는 길이가 동일한(예컨대, 0.12초) 50개의 샘플(sample)로 나누어질 수 있다.
이때, 제1 특징벡터(즉, HLA 특징벡터)를 추출하기 위해, 각 샘플은 길이가 0.02초인 짧은 데이터 프레임으로 분할될 수 있으며, 인접한 프레임 사이의 중첩 계수는 0.5에 해당할 수 있다. 그리고, 1024-포인트(point) FFT가 각 데이터 프레임에 대해 수행될 수 있다. 그러면, 45-컴포넌트(components) 고조파 특징 벡터가 제1 특징 벡터로서 추출될 수 있다. 이때, Daubechies 웨이블릿을 갖는 5레벨 WPT의 웨이블릿 패킷 계수에 기초하여 32-컴포넌트 서브 밴드 파워 특징 벡터가 제2 특징벡터로서 추출될 수 있다.
제1 및 제2 특징 벡터가 결합된 최종 특징 벡터로 SVM 분류기를 학습시키기 위해 상이한 학습 데이터 세트를 이용하여 6번의 실험이 수행될 수 있다. 각 실험에 대한 학습 데이터 세트(training set)는 아래의 표 1과 같을 수 있다.
Figure pat00044
드론(drone)의 음향 신호를 식별하기 위해, 두 가지 등급 SVM 분류기가 이용될 수 있으며, 여기서 1등급은 1로 표시된 드론 음향 신호를 포함하고 2등급은 다른 음향 신호(-1로 표시된 차량, 새, 비, 비행기 등의 모든 음향 신호를 포함)를 포함할 수 있다. 두 가지 등급의 SVM 분류기의 분류 성능을 비교하기 위해, Drone 4_1, Drone 4_2, Drone 4_3, Car 6, Bird 4, Rain 4 및 Plane 4를 포함한 모든 실험의 학습 데이터 세트는 동일할 수 있다.
상기 실험은 Chang과 Lin (2001)이 설계한 Libsvm 툴박스를 확장하여 Matlab R2015a 개발 환경에서 수행될 수 있다. 각 실험에서, 아래의 표 2에 나타낸 바와 같은 다섯 가지 서로 다른 방법이 사용될 수 있다.
Figure pat00045
표 2를 참고하면, 첫 번째(HLA+SVM)와 세 번째(Wavelet+SVM) 방법에서 SVM 분류 파라미터인 패널티 계수
Figure pat00046
와 RBF 커널 함수 계수
Figure pat00047
는 Libsvm의 기본값을 사용할 수 있다. 즉,
Figure pat00048
,
Figure pat00049
이고,
Figure pat00050
는 특징 벡터의 차원에 해당할 수 있다. 진화 알고리즘(GA)과 함께 SVM 분류기를 사용하는 다른 방법에서는 각 세대의 GA 인구는 30이고 전체 진화 세대는 100에 해당할 수 있다.
도 7은 본 발명의 일실시예에 있어서, 5가지 방법을 사용한 6가지의 실험 결과에 따른 성능을 도시한 그래프이다.
도 7에서, 수직 좌표는 모든 테스트 데이터(즉, 테스트 음향 신호) 중에서 분류기에 의해 정확하게 예측된 데이터의 수의 비율인 식별 확률을 나타낼 수 있다. 도 7에서는 두 가지 이유로 드론(drone)의 식별 확률만을 나타낼 수 있다. 첫째, 드론(drone)의 음향 신호는 드론의 특정 특징을 가진 클래스1에 속하며 다른 모든 음향 신호 소스들은 많은 특징들을 포함하고 있기 때문에 대부분의 특징 공간을 차지하는 클래스 2에 속할 수 있다. 이에 따라, 클래스 1(오경보)로 잘못 분류된 다른 음향 신호들의 비율은 클래스 2(잘못 식별)로 잘못 분류된 드론 음향 신호의 확률보다 훨씬 낮을 수 있다. 또 다른 이유는 드론 식별 시 오경보는 무시할 수 있는 수준에 해당할 수 있다. 추가 드론 식별 절차로 상기 오류(즉, 오경보)를 쉽게 제거할 수 있으나, 잘못된 식별은 불법적인 드론(drone)에 의한 위협을 받을 수 있다.
도 7을 참고하면, 실험 1(trial 1)의 식별 확률은 거의 100%에 이를 정도로 최고이며, 이는 실험 1에 더 많은 학습 데이터가 입력되어 분류기를 학습시키기 때문임을 알 수 있다. 이때, 상기 분류기는 드론(drone)의 음향 신호를 다른 음향 신호들과 구분하는 좀 더 정확한 초평면을 가질 수 있다. 그리고, 실험 3(Trial 3)과 실험 1(Trial 1)을 비교해 보면, 드론(drone)의 음향 신호 유형이 하나 더 적으며, 성능이 약 1% 만 감소하는 반면, 실험 5(Trial 5)는 실험 3(Trial 3)과 비교할 때 드론(drone)의 음향 신호 유형이 하나 더 적지만 성능이 약 20 %만큼 저하됨을 확인할 수 있다. 즉, 드론(drone)과 관련하여 더 많은 종류의 음향 신호를 사용하면 할수록 드론(drone) 음향 신호의 식별 성능이 향상될 것이라고 알 수 있다. 특히, 드론 음향 신호가 많아질수록 상기와 같이 성능이 향상되는 것은 학습 데이터 세트의 음향 신호 종류가 적을 때 더 뚜렷하게 나타날 수 있다. 예컨대, 실험 2(Trail 2)를 실험 1(Trial 1)과 비교하면 음향 신호의 종류는 동일하며 실험 1(Trial 1)에서는 각 드론에 대해 음향 신호가 더 많기 때문에 식별 확률이 약 10% 향상됨을 확인할 수 있다. 또한, 실험 3(Trial 3)과 실험 4(Trial 4) 또는 실험 5(Trial 5)와 실험 6(Trial 6)을 비교하면, 동일한 드론 음향 신호로 학습할 때 다른 음향 신호를 추가하면 식별 성능이 향상됨을 확인할 수 있다.
도 7의 모든 실험(즉, 6가지 실험)에서 방법 710의 경우, 즉, (HLA + Wavelet) + SVM with GA는 최상의 식별 성능을 나타냄을 확인할 수 있다. 그리고, 실험 1(Trial 1)에서는 방법 710이 거의 100%에 이르는 성능을 얻음을 확인할 수 있다. 동일한 특징 벡터 방법을 사용하여, SVM with GA를 기반으로 하는 방법(720, 730)의 경우, GA없이 SVM을 사용하는 방법(740, 750)보다 식별 성능이 우수함을 확인할 수 있다. 그리고 동일한 분류 방법을 사용하여, HLA와 웨이블릿 기반으로 추출된 특징 벡터를 이용하는 방법(710)은 HLA 또는 웨이블릿을 각각으로 이용하여 추출된 특징 벡터를 이용(720, 730, 740, 750)할 때 보다 추출보다 식별 성능이 우수함을 확인할 수 있다.
도 8은 본 발명의 일실시예에 있어서, 드론의 음향 신호 식별과 관련하여 SNR을 도시한 그래프이다.
도 8에서는 녹음된 드론(drone)의 원래 음향 신호에 AWGN(additive white Gaussian noise)을 추가하는 서로 다른 신호 대 잡음비 (SNR)를 가진 테스트 음향 신호를 사용하여 AWGN(additive white Gaussian noise)에 대한 각 방법의 견고성을 실험한 경우의 SNR을 나타낼 수 있다. 특히, 도 8은 도 7의 실험 1(Trial)에서 SNR을 변화시킴에 따른 각 방법의 식별 확률(identification probability)를 나타낼 수 있다.
도 8을 참고하면, SNR이 4dB보다 작으면 모든 방법(즉, 5가지 방법, 810, 820, 830, 840, 850)의 식별 확률이 급격히 증가하고, SNR이 4dB보다 크면 천천히 감소하거나 안정 상태가 됨을 확인할 수 있다. 이때, AWGN이 없는 결과와 마찬가지로, (HLA + Wavelet) + SVM(810)의 식별 확률은 다양한 잡음 환경(예컨대, SNR이 2 dB일 때 95 % 이상)에서 가장 좋음을 확인할 수 있다.
이상에서 설명한 바와 같이, 불법적인 드론의 위협을 감소시키기 위해, 드론 식별을 위한 음향 신호를 특징 벡터로 추출하고, 추출된 특징 벡터 및 진화 알고리즘(GA)에 기초하여 SVM 분류기를 학습시키고, 학습된 SVM 분류기를 이용하여 실외 환경에서 시스템으로 입력되는 데이터(예컨대, 테스트 데이터)를 대상으로 드론 음향 신호에 해당하는 음향 신호를 식별할 수 있다. 이때, HLA 및 WPT를 결합한 특징 벡터를 추출함으로써, 드론 음향 신호의 식별 성능을 향상시킬 수 있으며, 음향 신호로부터 추출된 특징 벡터와 진화 알고리즘(GA)에 기초하여 SVM 파라미터(즉, 커널함수 계수와 패널티 계수)를 최적화하고, 최적화된 파라미터를 이용하여 드론 음향 신호를 식별함으로써, 식별 성능을 추가적으로 향상시킬 수 있다. 그리고, SVM 분류기의 학습 시 더 많은 데이터를 추가할수록 식별 성능이 75.3%에서 거의 100%까지 향상될 수 있다. 그리고, HLA 및 WPT가 결합된 특징 벡터 및 GA기반의 SVM 분류기를 사용하는 경우, 식별 성능이(최대 100%) 가장 높음을 실험을 통해 확인할 수 있으며, SNR을 변화시킴에 따른 각 방법의 강건함을 확인할 수 있다. 실험 결과는 AWGN 환경 하에서 2dB SNR에서 95% 이상의 적절한 식별 성능을 달성함을 확인할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 무인 항공기(Unmanned Aerial Vehicle)의 음향을 식별하는 방법에 있어서,
    무인 항공기의 음향 신호로부터 해당 음향 신호의 고조파 특징을 포함하는 제1 특징 벡터를 추출하는 단계;
    상기 음향 신호로부터 서브 밴드 파워(subband power) 특징을 포함하는 제2 특징 벡터를 추출하는 단계; 및
    상기 제1 특징 벡터 및 제2 특징 벡터를 결합하여 상기 무인 항공기에 해당하는 음향 신호를 식별하기 위한 특징 벡터를 생성하는 단계
    를 포함하는 무인 항공기의 음향 식별 방법.
  2. 제1항에 있어서,
    생성된 상기 특징 벡터를 이용하여 SVM(Support Vector Machine) 분류기(classifier)를 학습시키는 단계; 및
    학습된 상기 SVM 분류기에 기초하여 테스트 음향 신호가 상기 무인 항공기에 해당하는 음향 신호인지 여부를 식별하는 단계
    를 더 포함하는 무인 항공기의 음향 식별 방법.
  3. 제2항에 있어서,
    상기 SVM(Support Vector Machine) 분류기(classifier)를 학습시키는 단계는,
    생성된 상기 특징 벡터 및 진화 알고리즘(Generic Algorithm)에 기초하여 상기 SVM 분류기의 학습을 위한 파라미터인 패널티 계수 C와 RBF 커널 함수 를 최적화하는 단계
    를 포함하는 무인 항공기의 음향 식별 방법.
  4. 제1항에 있어서,
    상기 제1 특징 벡터를 추출하는 단계는,
    상기 무인 항공기의 음향 신호에 해당하는 음향 시퀀스(sequence)를 대상으로, 미리 지정된 일정 길이의 데이터 프레임으로 분할하는 윈도윙(windowing)을 수행하는 단계;
    상기 윈도윙을 통해 분할된 복수의 데이터 프레임들 각각을 대상으로 푸리에 변환(Fourier Transform)을 수행하는 단계; 및
    상기 푸리에 변환을 통해 생성된 상기 무인 항공기의 음향 신호에 해당하는 스펙트로그램(spectrogram)으로부터 고조파 특징을 추출하는 단계
    를 포함하는 무인 항공기의 음향 식별 방법.
  5. 무인 항공기(Unmanned Aerial Vehicle)의 음향을 식별하는 시스템에 있어서,
    무인 항공기의 음향 신호로부터 해당 음향 신호의 고조파 특징을 포함하는 제1 특징 벡터를 추출하는 제1 특징 벡터 추출부;
    상기 음향 신호로부터 서브 밴드 파워(subband power) 특징을 포함하는 제2 특징 벡터를 추출하는 제2 특징 벡터 추출부; 및
    상기 제1 특징 벡터 및 제2 특징 벡터를 결합하여 상기 무인 항공기에 해당하는 음향 신호를 식별하기 위한 특징 벡터를 생성하는 특징 벡터 생성부
    를 포함하는 무인 항공기의 음향 식별 시스템.
KR1020170104998A 2017-08-18 2017-08-18 무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템 KR20190019713A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170104998A KR20190019713A (ko) 2017-08-18 2017-08-18 무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170104998A KR20190019713A (ko) 2017-08-18 2017-08-18 무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템

Publications (1)

Publication Number Publication Date
KR20190019713A true KR20190019713A (ko) 2019-02-27

Family

ID=65560896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170104998A KR20190019713A (ko) 2017-08-18 2017-08-18 무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템

Country Status (1)

Country Link
KR (1) KR20190019713A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110207967A (zh) * 2019-06-13 2019-09-06 大连海事大学 一种基于小波包能量特征与互相关的状态识别方法与系统
CN111968671A (zh) * 2020-08-24 2020-11-20 中国电子科技集团公司第三研究所 基于多维特征空间的低空声目标综合识别方法及装置
CN112420074A (zh) * 2020-11-18 2021-02-26 麦格纳(太仓)汽车科技有限公司 一种汽车后视镜电机异响声音的诊断方法
CN112447166A (zh) * 2019-08-16 2021-03-05 阿里巴巴集团控股有限公司 一种针对目标频谱矩阵的处理方法及装置
CN112906795A (zh) * 2021-02-23 2021-06-04 江苏聆世科技有限公司 一种基于卷积神经网络的鸣笛车辆判定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
[1] I. Patel and Y. S. Rao, "Speech recognition using Hidden Markov Model with MFCC-Subband technique," in Proc. International Conference on Recent Trends in Information, Telecommunication and Computing, pp.168-172, Mar. 2010.
[2] X. Zhang and Y. Wang, "A hybrid speech recognition training method for HMM based on genetic algorithm and Baum Welch algorithm," in Proc. of IEEE Second International Conference on Innovative Computing, Information and Control, pp. 572-576, Sept. 2007.
[3] J.A. Robertson, J.C. Mossing, and B. Weber, "Artificial neural network for acoustic target recognition," in Proc. of SPIE, Apr. 1995, pp. 939-950.

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110207967A (zh) * 2019-06-13 2019-09-06 大连海事大学 一种基于小波包能量特征与互相关的状态识别方法与系统
CN110207967B (zh) * 2019-06-13 2020-12-01 大连海事大学 一种基于小波包能量特征与互相关的状态识别方法与系统
CN112447166A (zh) * 2019-08-16 2021-03-05 阿里巴巴集团控股有限公司 一种针对目标频谱矩阵的处理方法及装置
CN111968671A (zh) * 2020-08-24 2020-11-20 中国电子科技集团公司第三研究所 基于多维特征空间的低空声目标综合识别方法及装置
CN111968671B (zh) * 2020-08-24 2024-03-01 中国电子科技集团公司第三研究所 基于多维特征空间的低空声目标综合识别方法及装置
CN112420074A (zh) * 2020-11-18 2021-02-26 麦格纳(太仓)汽车科技有限公司 一种汽车后视镜电机异响声音的诊断方法
CN112906795A (zh) * 2021-02-23 2021-06-04 江苏聆世科技有限公司 一种基于卷积神经网络的鸣笛车辆判定方法

Similar Documents

Publication Publication Date Title
KR20190019713A (ko) 무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템
Shi et al. Hidden Markov model based drone sound recognition using MFCC technique in practical noisy environments
Kartashov et al. Use of acoustic signature for detection, recognition and direction finding of small unmanned aerial vehicles
CN105550636B (zh) 一种目标类型识别的方法及装置
Zhao et al. Classification of small UAVs based on auxiliary classifier Wasserstein GANs
Kartashov et al. Processing and recognition of small unmanned vehicles sound signals
Ozturk et al. RF-based low-SNR classification of UAVs using convolutional neural networks
KR20190087363A (ko) 실질 잡음 환경에서 mfcc 기법을 이용한 hmm 기반 무인 항공기 음향 인식 방법 및 시스템
Medaiyese et al. Machine learning framework for RF-based drone detection and identification system
Salman et al. Machine learning inspired efficient audio drone detection using acoustic features
CN113640768B (zh) 一种基于小波变换的低分辨雷达目标识别方法
CN109920448A (zh) 一种自动驾驶车辆交通环境特种声音的识别系统及方法
He et al. SVM-based drone sound recognition using the combination of HLA and WPT techniques in practical noisy environment
de Moura et al. Novelty detection in passive sonar systems using support vector machines
Mandal et al. Acoustic detection of drones through real-time audio attribute prediction
Yar et al. A complete framework of radar pulse detection and modulation classification for cognitive EW
Cabrera-Ponce et al. Detection of nearby UAVs using CNN and Spectrograms
Babalola et al. Detection of Bryde's whale short pulse calls using time domain features with hidden Markov models
KR20190046569A (ko) 음향기반 터널 사고 검지 시스템
Ohlenbusch et al. Robust drone detection for acoustic monitoring applications
Ku et al. Uav payload detection using deep learning and data augmentation
Rusu et al. Recent developments in acoustical signal classification for monitoring
Lopez-Tello et al. Classifying acoustic signals for wildlife monitoring and poacher detection on UAVs
Park et al. Identifying tonal frequencies in a Lofargram with convolutional neural networks
CN110800053A (zh) 基于音频数据获取事件指示的方法和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment