KR20130107118A - 음향 처리 장치 및 음향 처리 방법 - Google Patents

음향 처리 장치 및 음향 처리 방법 Download PDF

Info

Publication number
KR20130107118A
KR20130107118A KR1020120028959A KR20120028959A KR20130107118A KR 20130107118 A KR20130107118 A KR 20130107118A KR 1020120028959 A KR1020120028959 A KR 1020120028959A KR 20120028959 A KR20120028959 A KR 20120028959A KR 20130107118 A KR20130107118 A KR 20130107118A
Authority
KR
South Korea
Prior art keywords
data
energy
sound
window
hardware
Prior art date
Application number
KR1020120028959A
Other languages
English (en)
Inventor
이재철
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020120028959A priority Critical patent/KR20130107118A/ko
Publication of KR20130107118A publication Critical patent/KR20130107118A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 음향 처리 장치 및 음향 처리 방법을 개시한다.
본 발명의 바람직한 음향 처리 장치는, 입력 음향 데이터를 특정 포맷으로 샘플링하는 데이터 변환부와, 상기 샘플링된 음향 데이터의 에너지를 누적하고 평균을 구하는 하드웨어 수단과, 상기 에너지 평균을 기준값과 비교하여 이벤트를 검출하는 소프트웨어 수단을 포함하는 데이터 처리부를 포함할 수 있다.

Description

음향 처리 장치 및 음향 처리 방법{Apparatus and method for sound processing}
본 발명은 음향 처리 장치 및 음향 처리 방법에 관한 것이다.
종래의 감시카메라 시스템은 광학렌즈로 입사한 영상을 이미지 센서로 감지한 후, 디지털로 변환하여 이미지 프로세싱을 수행한다. 기술의 발전과 더불어 단순한 영상의 전송뿐만 아니라 영상의 특정 상황을 감지하고 인식하는 기능들이 발명되고 있다. 인간의 얼굴을 감지하고 인식하는 기능, 사물을 감지하고 움직임을 인식하여 추적하는 기능, 자동차 번호판을 감지하고 차량번호를 인식하는 기능, 인간의 지문을 인식하는 기능, 인간의 홍채를 인식하는 기능, 인간의 정맥을 인식하는 기능, 안개를 감지하여 안개를 제거한 영상을 만드는 기능 등은 비정상적인 상황 또는 환경 그리고 인가받지 않은 사물을 감지하는 목적으로 사용되고 있다.
종래의 감시 카메라는 어두운 저조도 상황이거나 카메라 촬영 가능 범위를 넘어서는 영역에서는 영상의 감지가 불가능하다. 더불어 우발적인 범죄가 아니라 계획적인 범죄에서는 감시카메라의 위치와 촬영 방향을 인지한 후, 카메라 촬영 범위가 아닌 사각지대를 이용하므로 범죄의 예방, 즉각적인 대응 또는 사후 증거로 사용할 수 있는 영상 촬영이 쉽지 않다.
한국 공개 특허 제2010-0107843호는 감시지역에 물체의 움직임에 따라 영상을 감시하는 카메라 감시 기능과 일정 음량 이상의 특정 음량이 발생하면 감시 기능의 카메라가 작동하는 특정음성 수집기능을 동시에 구비한 영상감시장치를 개시한다.
본 발명은 사각지대에서의 위험 상황에 신속하게 대응할 수 있는 음향 처리 장치 및 음향 처리 방법을 제공하는 데 있다.
본 발명의 바람직한 일 실시예에 따른 음향 처리 장치는, 입력 음향 데이터를 특정 포맷으로 샘플링하는 데이터 변환부; 및 상기 샘플링된 음향 데이터의 에너지를 누적하고 평균을 구하는 하드웨어 수단과, 상기 에너지 평균을 기준값과 비교하여 이벤트를 검출하는 소프트웨어 수단을 포함하는 데이터 처리부;를 포함할 수 있다.
상기 음향 처리 장치는 상기 입력 음향 데이터를 일정 시간 동안 누적하여 상기 데이터 변환부로 출력하는 데이터 저장부;를 더 포함할 수 있다.
상기 하드웨어 수단은, 일정 사이즈의 윈도우 내의 적어도 하나의 샘플링된 음향 데이터의 에너지를 합산하는 합산부; 및 상기 에너지 합산을 평균하는 평균부;를 포함할 수 있고, 상기 합산부는, 이전 윈도우 내의 샘플링된 음향 데이터의 일부와 현재 윈도우 내의 샘플링된 음향 데이터의 일부와 중복하도록 상기 윈도우를 이동하며 음향 신호의 에너지를 합산한다.
상기 소프트웨어 수단은, 상기 에너지 평균이 제1기준값 이상으로 판단된 횟수가 제2기준값 이상이면 이벤트 발생으로 판단할 수 있다.
본 발명의 바람직한 일 실시예에 따른 음향 처리 방법은, 입력 음향 데이터를 특정 포맷으로 샘플링하는 단계; 하드웨어에 의해 상기 샘플링된 음향 데이터의 에너지를 누적하고 평균하는 단계; 및 상기 하드웨어와 연동하는 프로세서가 상기 에너지 평균을 기준값과 비교하여 이벤트를 검출하는 단계;를 포함할 수 있다.
상기 음향 처리 방법은, 상기 샘플링 단계 이전에, 상기 입력 음향 데이터를 일정 시간 동안 누적하여 출력하는 단계;를 더 포함할 수 있다.
상기 평균 단계는, 일정 사이즈의 윈도우 내의 적어도 하나의 샘플링된 음향 데이터의 에너지를 합산하고, 상기 에너지 합산을 평균하는 단계;를 포함하고, 이전 윈도우 내의 샘플링된 음향 데이터의 일부와 현재 윈도우 내의 샘플링된 음향 데이터의 일부와 중복하도록 상기 윈도우를 이동하며 음향 데이터의 에너지를 합산할 수 있다.
상기 이벤트 검출 단계는, 상기 에너지 평균이 제1기준값 이상으로 판단된 횟수가 제2기준값 이상이면 이벤트 발생으로 판단하는 단계;를 포함할 수 있다.
본 발명의 실시예는 음향 정보를 처리함에 있어서, 하드웨어와 소프트웨어가 연산을 분담하도록 함으로써 정보 처리 효율을 높일 수 있다.
또한 본 발명의 실시예는 종래의 영상 정보만을 사용했던 감시 시스템에서 음향 정보 사용을 추가하여 영상 정보와 음향 정보를 함께 사용하는 통합 시스템을 구축하여 감시 범위와 감시 환경을 극대화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 음향 처리 장치(10)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음향 처리 장치(10)의 일부를 도시한 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 음향 처리 장치(20)를 개략적으로 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 음향 처리 장치(20)의 일부를 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 데이터 처리부의 구성을 개략적으로 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 음향 데이터의 에너지 합산 방법을 설명하는 일 예이다.
도 7은 본 발명의 일 실시예에 따른 음향 처리 방법을 개략적으로 설명하는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 감시 시스템의 구성을 개략적으로 도시한 블록도이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 실시예는 영상 정보에서는 얻을 수 없는 정보를 음향 정보에서 추출하여 감시시스템을 연동시킬 수 있다. 또한 정상적인 상황뿐만 아니라 저조도 상황에서의 음향이나 카메라 촬상 영역이 아닌 영역의 음향을 이용하여 감시 시스템을 동작시킬 수 있다.
본 발명의 실시예는 비동기 시스템에서는 저장장치를 사용하여 일정한 양의 음향 데이터를 모아서 연산하고, 동기 시스템에서는 저장장치를 사용하지 않고 음향 데이터 발생시마다 실시간으로 연산한다. 본 발명의 실시예는 디지털 필터와 같이 반복적으로 고속 연산이 대량으로 필요한 부분은 하드웨어로 구현하고 향후 업그레이드가 가능한 응용 동작부는 소프트웨어로 구현하여 실시간 동작이 가능하게 한다.
도 1은 본 발명의 일 실시예에 따른 음향 처리 장치를 개략적으로 도시한 블록도이다.
본 발명의 실시예는 비동기시스템으로 구현된 음향 처리 장치(10)이다. 음향 처리 장치(10)는 입력 음향 데이터를 메모리와 같은 저장장치에 저장했다가 일정한 양이 모이면 음향 처리를 수행한다. 이때 실제 음향의 발생 시간과 이 음향에 대한 처리 결과와의 시간 지연(time delay)는 음향 데이터를 저장 장치에 저장하는 데이터 양과 이 저장된 데이터를 한번에 처리하는 데이터 양에 의해 결정된다. 음향 처리 장치(10)는 메모리와 같은 저장 장치가 추가로 필요하고 시간 지연이 있는 반면에 소프트웨어부를 계산함에 있어 마이크로프로세서를 효율적으로 사용 가능하다는 장점이 있다.
도 1을 참조하면, 음향 처리 장치(10)는 데이터 입력부(101), 데이터 저장부(103), 데이터 변환부(105), 데이터 처리부(107)를 포함한다.
데이터 입력부(101)는 마이크로폰과 같은 음향 수집 수단으로부터 전달된 아날로그 음향 데이터를 ADC(Analog-to-Digital Converter)를 통하여 디지털 데이터로 변환한다.
데이터 저장부(103)는 디지털 데이터로 변환된 음향 데이터를 저장한다. 이때 데이터 저장은 선입력선출력(FIFO: First in First out) 방식으로 이루어진다. 데이터 저장부(103)는 음향 처리 장치(10)가 비동기 시스템인 경우 구비되며, 전체 시스템에서 효율성을 고려하여 결정한 양만큼의 음향 데이터를 일정 시간 동안 데이터 저장부(103)에 저장한 후, 데이터 변환부(105)가 동작 가능 상태가 되면 데이터 변환부(105)로 전송하게 된다. 음향 데이터가 일정 시간 저장된 후 처리되므로, 지연(delay)은 있으나 계산 효율은 높아진다.
데이터 변환부(105)는 음향 데이터를 데이터 처리부(107)가 입력 받아야 하는 포맷으로 변환한다. 데이터 변환부(105)는 기 저장된 다양한 포맷 중 필요한 포맷을 기초로 입력되는 음향 데이터를 변환한다.
데이터 변환부(105)는 데이터 재구성, 비트폭(bit-width) 변환, 모노/스테레오(mono/stereo) 변환, 바이트 오더링(byte ordering) 변환, 샘플 레이트(sample rate) 변환 등의 작업을 수행할 수 있다. 데이터 재구성은 분리 전송된 데이터를 원래의 형태로 재구성하는 작업이다. 비트폭 변환은 임의의 형태의 비트폭 데이터를 내부 계산용 비트폭 데이터로 변환하는 작업이다. 모노/스테레오 변환은 스테레오(stereo data)를 모노 데이터로, 또는 모노 데이터(mono data)를 스테레오 데이터로 변환하는 작업이다. 바이트 오더링은 리틀 엔디안(little endian) 및 빅 엔디안(big endian)으로 저장된 데이터를 내부 계산용 형태로 변환하는 작업이다. 샘플 레이트 변환은 컨버터(converter) 등에 의해 샘플링 빈도수를 변환하는 작업이다. 그 외에 데이터 변환부(105)는 전처리 필터(filter) 등을 포함할 수 있다.
데이터 변환부(105)는 입력되는 음향 데이터(예를 들어, I2S(Inter-IC sound) 형식의 음향 데이터)를 재구성하고, 정해진 비트폭, 모노/스테레오, 바이트 순서, 샘플 레이트로 변환하여, 샘플링된 음향 데이터를 데이터 처리부(107)로 출력한다.
데이터 처리부(107)는 음향 데이터를 이용하여 이벤트를 검출함으로써 상황 판단을 한다. 데이터 처리부(107)는 음향 데이터의 피크 투 피크(peak-to-peak) 크기, 에너지 크기, 주파수 특성들을 고려하여 음향의 종류와 크기 및 위치를 판단한다.
고속의 계산이 필요한 부분을 소프트웨어로 처리하게 되면 빠른 처리 속도를 갖는 마이크로 프로세서를 사용해야 하기 때문에 하드웨어 크기가 증가하고 CPU 자체의 가격이 비싸지게 된다. 따라서 본 발명의 실시예는 반복적인 대용량 계산은 고속의 하드웨어로 구성하여 작은 크기의 전용 하드웨어로 고속 계산을 처리하게 하며 고속 계산이 필요하지 않은 응용 부분은 마이크로 프로세서를 사용하여 소프트웨어로 구현하여 성능의 효율성을 극대화하여 전체적으로 낮은 가격으로 고 효율의 시스템을 구성할 수 있게 한다. 이를 위해 데이터 처리부(107)는 하드웨어(H/W) 수단(108)과 소프트웨어(S/W) 수단(109)으로 구성되어 상호 연동하여 음향 데이터를 처리한다.
도 2는 본 발명의 일 실시예에 따른 음향 처리 장치(10)를 도시한 블록도이다.
도 2를 참조하면, 비동기 시스템에서의 음향 처리 장치(10)의 데이터 저장부(103), 데이터 변환부(105) 및 데이터 처리부(107)의 데이터는 버스를 통해 전달될 수 있다. 데이터 저장부(103)는 메모리 및 메모리 제어부를 포함한다. 메모리는 휘발성 메모리로서 탈부착 가능하게 구비될 수 있다. 메모리 제어부는 메모리로 음향 데이터를 저장하고, 메모리로부터 음향 데이터를 읽어들인다.
데이터 입력부(101)로부터 입력된 음향 데이터는 버스를 통해 메모리 제어부의 제어하에 메모리에 저장된다. 데이터 변환부(105)는 메모리에 저장된 음향 데이터를 버스를 통해 메모리 제어부의 제어하에 읽어들여 정해진 포맷으로 변환 및 샘플링을 수행한다. 샘플링된 음향 데이터는 하드웨어 수단(108)으로 입력된다.
하드웨어 수단(108)과 소프트웨어 수단(109)은 버스(bus)로 연결되어 상호 연동된다. 이에 따라, 하드웨어 수단(108)에서 처리된 음향 데이터가 소프트웨어 수단(109)으로 버스를 통해 전달되어 처리된다. 하드웨어 수단(108)과 소프트웨어 수단(109)이 함께 음향 처리 장치(10)에 탑재된다.
하드웨어 수단(108)은 반복적인 대용량 고속 계산을 수행하고, 그 결과를 소프트웨어 수단(109)으로 출력한다. 소프트웨어 수단(109)은 인터럽트를 수신하고, 입력되는 데이터를 기준값과 비교하여 이벤트를 검출한다. 소프트웨어 수단(109)은 음향 처리 장치(10)의 전반적인 동작을 제어하는 프로세서인 마이크로컴퓨터(MICOM)에 프로그램으로 구현될 수 있다. 마이크로컴퓨터(MICOM)는 ADPCM, u-law와 같은 코덱을 더 포함할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 음향 처리 장치를 개략적으로 도시한 블록도이다.
본 발명의 실시예는 동기시스템으로 구현된 음향 처리 장치(20)이다. 음향 처리 장치(20)는 소프트웨어를 계산함에 있어 비효율적인 마이크로프로세서 운용이 불가피하다는 단점이 있으나, 입력 음향데이터를 저장장치에 저장하지 않고 실시간으로 빠르게 계산하기 때문에 시간 지연(time delay)를 적게 구현할 수 있고 메모리를 사용하지 않는 장점이 있다.
도 3을 참조하면, 음향 처리 장치(20)는 데이터 입력부(201), 데이터 변환부(205), 데이터 처리부(207)를 포함한다. 도 2의 음향 처리 장치(20)는 도 1의 음향 처리 장치(10)에 비해 데이터 저장부가 생략된다. 음향 처리 장치(20)가 동기 시스템인 경우 별도의 음향 데이터 저장이 필요 없어, 지연 없이 실시간으로 음향 데이터를 처리할 수 있다.
데이터 입력부(201)는 외부로부터 전달된 아날로그 음향 데이터를 ADC(Analog-to-Digital Converter)를 통하여 디지털 데이터로 변환한다.
데이터 변환부(205)는 음향 데이터를 데이터 처리부(207)가 입력 받아야 하는 포맷으로 변환한다. 데이터 변환부(205)는 기 저장된 다양한 포맷 중 필요한 포맷을 기초로 입력되는 음향 데이터를 변환한다. 데이터 변환부(205)는 입력되는 음향 데이터에 대해, 데이터 재구성, 비트폭(bit-width) 변환, 모노/스테레오(mono/stereo) 변환, 바이트 오더링(byte ordering) 변환, 샘플 레이트(sample rate) 변환 등의 작업을 수행할 수 있다.
데이터 처리부(207)는 음향 데이터를 이용하여 이벤트를 검출함으로써 상황 판단을 한다. 데이터 처리부(207)는 음향 데이터의 피크 투 피크(peak-to-peak) 크기, 에너지 크기, 주파수 특성들을 고려하여 음향의 종류와 크기 및 위치를 판단한다. 데이터 처리부(207)는 하드웨어(H/W) 수단(208)과 소프트웨어(S/W) 수단(209)으로 구성되어 상호 연동하여 음향 데이터를 처리한다.
도 4는 본 발명의 일 실시예에 따른 음향 처리 장치(20)의 일부를 도시한 블록도이다.
도 4를 참조하면, 동기 시스템에서의 음향 처리 장치(20)의 데이터 변환부(205) 및 데이터 처리부(207)의 데이터가 버스를 통해 전달될 수 있다.
데이터 변환부(205)는 데이터 입력부(201)로부터 입력된 음향 데이터를 정해진 포맷으로 변환 및 샘플링을 수행한다. 샘플링된 음향 데이터는 하드웨어 수단(208)으로 입력된다.
하드웨어 수단(208)과 소프트웨어 수단(209)은 버스(bus)로 연결되어 상호 연동된다. 이에 따라, 하드웨어 수단(208)에서 처리된 음향 데이터가 소프트웨어 수단(209)으로 버스를 통해 전달되어 처리된다. 하드웨어 수단(208)과 소프트웨어 수단(209)이 함께 음향 처리 장치(20)에 탑재된다.
하드웨어 수단(208)은 반복적인 대용량 고속 계산을 수행하고, 그 결과를 소프트웨어 수단(209)으로 출력한다. 소프트웨어 수단(209)은 인터럽트를 수신하고, 입력되는 데이터를 기준값과 비교하여 이벤트를 검출한다. 소프트웨어 수단(209)은 음향 처리 장치(20)의 전반적인 동작을 제어하는 프로세서인 마이크로컴퓨터(MICOM)에 프로그램으로 구현될 수 있다.
도 5는 본 발명의 일 실시예에 따른 데이터 처리부의 구성을 개략적으로 도시한 블록도이다.
도 5를 참조하면, 데이터 처리부는 합산부(318), 평균부(358) 및 비교부(309)를 포함할 수 있다.
본 발명의 일 실시예에서, 합산부(318)와 평균부(358)는 하드웨어로 구현되고, 비교부(309)는 소프트웨어로 구현된다.
합산부(318)는 입력되는 음향 데이터의 에너지를 산출한다. 입력되는 음향 데이터는 소정 단위로 샘플링된 음향 프레임일 수 있다. 합산부(318)는 일정 사이즈의 슬라이딩 윈도우(window) 내의 음향 데이터의 에너지를 합산한다.
도 6은 본 발명의 일 실시예에 따른 음향 데이터의 에너지 합산 방법을 설명하는 일 예이다. 합산부(318)는 음향 데이터의 에너지를 산출하고, 일정 사이즈의 윈도우를 이동하며 윈도우 내에 포함되는 음향 데이터의 에너지를 합산한다. 이때 이전 윈도우 위치에서 윈도우 내의 샘플링된 음향 데이터의 일부와 현재 윈도우 위치에서 윈도우 내의 샘플링된 음향 데이터의 일부가 중복하도록, 합산부(318)는 윈도우를 이동시킨다. 윈도우 사이즈 및 윈도우 이동 거리는 환경 및 설정되는 이벤트에 따라 달라질 수 있다.
예를 들어, 도 6에서, 6개의 음향 데이터를 포함하는 사이즈의 윈도우가 하나의 음향 데이터 사이즈만큼 오른쪽으로 이동하고 있다. 도 6(a)에 도시된 바와 같이 합산부(318)는 윈도우 내에 포함된 음향 데이터의 에너지 E1 내지 E6을 합산한다. 도 6(b)에 도시된 바와 같이 윈도우는 오른쪽으로 이동하고, 합산부(318)는 윈도우 내에 포함된 음향 데이터의 에너지 E2 내지 E7을 합산한다. 도 6(c)에 도시된 바와 같이 윈도우는 다시 오른쪽으로 이동하고, 합산부(318)는 윈도우 내에 포함된 음향 데이터의 에너지 E3 내지 E8을 합산한다. 하나의 이벤트 검출을 위한 윈도우 이동 횟수는 미리 설정될 수 있다.
평균부(358)는 합산된 에너지 값을 평균한다. 평균부(358)는 예를 들어, 도 6(a)에서 산출된 E1 내지 E6의 에너지 합을 6개의 샘플링된 음향 데이터의 양으로 나눈 에너지 평균(M1)을 계산한다. 마찬가지로, 도 6(b)에서 산출된 E2 내지 E7의 에너지 합의 에너지 평균(M2), 도 6(c)에서 산출된 E3 내지 E8의 에너지 합의 에너지 평균(M3)를 계산한다.
비교부(309)는 에너지 평균(M1, M2, M3, ...)을 기준 레벨(TH1)과 비교하고, 에너지 평균이 기준 레벨 이상이면 이상 상황으로 기록한다. 비교부(309)는 이상 상황으로 판단되는 횟수가 기준 횟수(TH2) 이상이면 이벤트 발생으로 판단한다. 비교부(30)는 이벤트 발생에 따른 경고 신호를 출력할 수 있다.
본 발명의 실시예는 이벤트 검출을 위한 에너지 평균을 산출함에 있어서, 소정 사이즈의 윈도우를 이동하며 에너지를 합산하기 때문에 인접하는 음향 데이터의 에너지를 고려하게 된다. 따라서 이벤트 검출 정확도를 높일 수 있다.
도 7은 본 발명의 일 실시예에 따른 음향 처리 방법을 개략적으로 설명하는 흐름도이다.
도 7을 참조하면, 음향 처리 장치는 음향 데이터를 입력받는다(S71).
음향 처리 장치가 동기 시스템이면, 음향 처리 장치는 음향 데이터를 정해진 포맷으로 변환 및 샘플링한다(S74).
음향 처리 장치가 비동기 시스템이면, 음향 처리 장치는 음향 데이터를 일정 시간 동안 누적한 후(S73), 음향 데이터를 정해진 포맷으로 변환 및 샘플링한다(S74).
음향 처리 장치는 샘플링된 음향 데이터(음향 프레임)의 에너지를 산출하여 누적한 후 평균을 구한다(S75). 음향 처리 장치는 일정 사이즈의 윈도우 내의 적어도 하나의 샘플링된 음향 데이터의 에너지를 합산하고, 에너지 합산을 평균한다. 이때 이전 윈도우 위치에서 윈도우 내의 샘플링된 음향 데이터의 일부와 현재 윈도우 위치에서 윈도우 내의 샘플링된 음향 데이터의 일부가 중복하도록 윈도우를 이동하며 음향 데이터의 에너지를 합산한다. 음향 데이터의 에너지 합산 및 평균은 반복적인 대용량 계산으로 고속 처리가 요구되는 계산이다. 따라서 본 발명의 실시예는 음향 데이터의 에너지 합산 및 평균을 고속 연산 가능한 전용 하드웨어에 의해 수행되도록 한다.
음향 처리 장치는 음향 데이터의 에너지 평균을 기초로 이벤트를 검출한다(S76). 음향 처리 장치는 에너지 평균을 기준 레벨과 비교하여 기준 레벨 이상으로 판단된 횟수가 기준 횟수 이상이면 이벤트 발생으로 판단한다. 본 발명의 실시예는 이벤트 검출을 위한 비교를 마이크로 프로세서를 사용하여 소프트웨어에 의해 수행한다.
본 발명의 실시예는 이벤트 검출과 같은 상황 판단을 위한 데이터 처리를 하드웨어 수단과 소프트웨어 수단이 분담하여 처리하도록 함으로써 성능의 효율성을 극대화하여 전체적으로 낮은 가격으로 고 효율의 시스템을 구성할 수 있게 한다.
본 발명의 실시예는 디지털 오디오 시스템을 사용하는 분야에 모두 적용이 가능하다. 마이크로폰으로 입력받은 오디오 데이터를 사용하여 오디오 레벨을 감지하여 비정상적인 상황을 인식함으로써 감시용 카메라와 함께 감시 시스템에 적용할 수 있다.
도 8은 본 발명의 일 실시예에 따른 감시 시스템의 구성을 개략적으로 도시한 블록도이다.
도 8을 참조하면, 감시 시스템(1)은 음향 센서(2), 오디오 모듈(3), 카메라(4), 제어부(5), 및 출력 장치(6)를 포함한다.
음향 센서(2)는 감시 영역에서 발생되는 음향 데이터를 수집한다. 복수의 음향 센서(2)는 공동주택이나 빌딩에서 엘리베이터 내부, 계단, 지하 주차장, 노인정, 놀이터, 산책로 등과 같은 밀폐 되고 인적이 드문 장소 등에 분산 설치될 수 있다. 음향 센서(2)는 마이크 구조에 따라 다이나믹 마이크, 콘덴서 마이크, 리본 마이크 등이 사용될 수 있고, 지향성에 따라 지향성 마이크, 무지향성 마이크, 초지향성 마이크 등이 사용될 수 있다.
오디오 모듈(3)은 음향 데이터를 처리하여 이벤트 발생 여부를 판단한다. 오디오 모듈(3)은 소프트웨어 및/또는 하드웨어에 의해 독립된 모듈로 구현되어, 도 1 및 도 2의 음향 처리 장치(10, 20)의 기능을 수행할 수 있다. 오디오 모듈(3)은 음향 데이터 분석을 통해 감시 영역에 이벤트가 발생되었는지를 판단하고, 이벤트 발생으로 판단되면 경보 신호를 발생한다. 오디오 모듈(3)의 구성 및 음향 처리 방법은 도 1 내지 도 7을 참조로 설명하였으므로, 상세한 설명은 생략하겠다.
카메라(4)는 디지털 및 아날로그 방식의 카메라로, 감시 영역의 영상을 촬영한다. 음향 센서(2)와 카메라(4)는 각각 개별적으로, 또는 음향 센서(2)가 카메라(4)에 내장되는 등의 일체로 설치될 수 있으며, 감시 영역에 하나 이상의 개수로 분산 배치될 수 있다.
제어부(5)는 오디오 모듈(3)에서 이벤트 발생으로 판단되면, 카메라(4)가 촬영한 영상에 알람을 발생시킬 수 있다. 그리고, 제어부(5)는 이벤트 발생으로 판단되면, 카메라(4)가 이벤트 발생 영역을 촬영하도록 카메라(4)의 팬/틸트/줌(PTZ)를 제어할 수 있다. 또한, 제어부(5)는 이벤트 발생 영역의 촬영 영상을 저장할 수 있다. 제어부(5)는 이벤트 발생으로 판단되면 경보를 발생하고, 유선 또는 무선 통신망을 포함하는 네트워크를 통해 통합 관리서버 혹은 보안 관제시스템을 연동시켜 즉각적인 대응을 제공할 수 있다.
출력 장치(6)는 디스플레이 및 스피커를 포함할 수 있다. 출력 장치(6)는
본 발명의 실시예는 영상 카메라와의 통합시스템이 아닌 음향감지/인식기의 단독시스템으로 구성되는 감시 시스템에 적용할 수 있다. 또한 본 발명의 실시예는 감시 시스템이 아닌 엔터테인먼트 목적의 하드웨어나 소프트웨어 제품 및 각종 전자장비의 음향인식 기능에 적용할 수 있다.
본 발명의 실시예는 저조도 환경에서 음향 정보를 이용하여 비정상 음향 발생을 감지하고 인식할 수 있다. 또한 정상 상황에서 카메라 촬상 영역을 벗어난 영역의 비정상 음향 발생을 감지하고 인식할 수 있다.
비정상 음향 상황을 실시간으로 감지하고 인식하기 위해서는 고속의 연산이 필요하게 되는데 이를 해결하기 위하여 본 발명의 실시예는 디지털 필터와 같이 반복적으로 고속 연산이 대량으로 필요한 부분은 하드웨어로 구현하여 실시간 동작이 가능하게 한다.
본 발명의 실시예는 효율적인 장치의 구현을 위해서 비동기시스템과 동기시스템으로 구현할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (10)

  1. 입력 음향 데이터를 특정 포맷으로 샘플링하는 데이터 변환부; 및
    상기 샘플링된 음향 데이터의 에너지를 누적하고 평균을 구하는 하드웨어 수단과, 상기 에너지 평균을 기준값과 비교하여 이벤트를 검출하는 소프트웨어 수단을 포함하는 데이터 처리부;를 포함하는 음향 처리 장치.
  2. 제1항에 있어서,
    상기 입력 음향 데이터를 일정 시간 동안 누적하여 상기 데이터 변환부로 출력하는 데이터 저장부;를 더 포함하는 음향 처리 장치.
  3. 제1항에 있어서, 상기 하드웨어 수단은,
    일정 사이즈의 윈도우 내의 적어도 하나의 샘플링된 음향 데이터의 에너지를 합산하는 합산부; 및
    상기 에너지 합산을 평균하는 평균부;를 포함하는 음향 처리 장치.
  4. 제3항에 있어서, 상기 합산부는,
    이전 윈도우 내의 샘플링된 음향 데이터의 일부와 현재 윈도우 내의 샘플링된 음향 데이터의 일부와 중복하도록 상기 윈도우를 이동하며 음향 신호의 에너지를 합산하는, 음향 처리 장치.
  5. 제1항에 있어서, 상기 소프트웨어 수단은,
    상기 에너지 평균이 제1기준값 이상으로 판단된 횟수가 제2기준값 이상이면 이벤트 발생으로 판단하는, 음향 처리 장치.
  6. 입력 음향 데이터를 특정 포맷으로 샘플링하는 단계;
    하드웨어에 의해 상기 샘플링된 음향 데이터의 에너지를 누적하고 평균하는 단계; 및
    상기 하드웨어와 연동하는 프로세서가 상기 에너지 평균을 기준값과 비교하여 이벤트를 검출하는 단계;를 포함하는 음향 처리 방법.
  7. 제6항에 있어서,
    상기 샘플링 단계 이전에, 상기 입력 음향 데이터를 일정 시간 동안 누적하여 출력하는 단계;를 더 포함하는 음향 처리 방법.
  8. 제6항에 있어서, 상기 평균 단계는,
    일정 사이즈의 윈도우 내의 적어도 하나의 샘플링된 음향 데이터의 에너지를 합산하고, 상기 에너지 합산을 평균하는 단계;를 포함하는 음향 처리 방법.
  9. 제8항에 있어서,
    이전 윈도우 내의 샘플링된 음향 데이터의 일부와 현재 윈도우 내의 샘플링된 음향 데이터의 일부와 중복하도록 상기 윈도우를 이동하며 음향 데이터의 에너지를 합산하는, 음향 처리 방법.
  10. 제6항에 있어서, 상기 이벤트 검출 단계는,
    상기 에너지 평균이 제1기준값 이상으로 판단된 횟수가 제2기준값 이상이면 이벤트 발생으로 판단하는 단계;를 포함하는 음향 처리 방법.
KR1020120028959A 2012-03-21 2012-03-21 음향 처리 장치 및 음향 처리 방법 KR20130107118A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120028959A KR20130107118A (ko) 2012-03-21 2012-03-21 음향 처리 장치 및 음향 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120028959A KR20130107118A (ko) 2012-03-21 2012-03-21 음향 처리 장치 및 음향 처리 방법

Publications (1)

Publication Number Publication Date
KR20130107118A true KR20130107118A (ko) 2013-10-01

Family

ID=49630628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120028959A KR20130107118A (ko) 2012-03-21 2012-03-21 음향 처리 장치 및 음향 처리 방법

Country Status (1)

Country Link
KR (1) KR20130107118A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151069A (zh) * 2020-08-20 2020-12-29 深圳市捷视飞通科技股份有限公司 语音数据处理方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151069A (zh) * 2020-08-20 2020-12-29 深圳市捷视飞通科技股份有限公司 语音数据处理方法、装置、计算机设备和存储介质
CN112151069B (zh) * 2020-08-20 2024-03-15 深圳市捷视飞通科技股份有限公司 语音数据处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
JP2020014210A (ja) 情報処理システム、情報処理方法及びプログラム
JP5043940B2 (ja) ビデオおよびオーディオ認識を組み合わせたビデオ監視システムおよび方法
JP2011523106A (ja) 対象及び事象を分類する映像センサ及び警報システム並びに方法
US9811739B2 (en) Surveillance system and surveillance method
JP2014512768A (ja) ビデオ監視システム及び方法
KR101321447B1 (ko) 네트워크를 통한 현장 모니터링 방법, 및 이에 사용되는 관리 서버
KR20160072617A (ko) 감시 카메라 및 감시 카메라 제어 방법
JP2008124879A (ja) インターホン装置、訪問者確認方法および訪問者確認プログラム
KR20110079939A (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
JP2010010967A (ja) 撮影装置、その制御方法及びコンピュータプログラム
KR20130107118A (ko) 음향 처리 장치 및 음향 처리 방법
US20080024611A1 (en) Monitoring Apparatus, Monitoring Method, and Program
CN115334289A (zh) 音频视频处理系统、方法、装置、设备及存储介质
KR101964230B1 (ko) 데이터 처리 시스템
JP2006174468A (ja) 画像の分散解析の方法及び装置
KR20080071770A (ko) 실시간 이상현상 감지 시스템 및 그 제어방법
KR20200056498A (ko) 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템
KR20100077662A (ko) 지능형 영상감시 시스템 및 영상감시 방법
KR20190136515A (ko) 차량 인식 장치
KR20220163069A (ko) 착용형 가속도 센서와 영상 기반 자세 정보를 이용한 하이브리드 낙상 감지 방법 및 시스템
JP4175180B2 (ja) 監視通報システム
US20230188679A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
KR20210076672A (ko) 금속 이물질 충격 모니터링 장치 및 그 방법
KR20120108784A (ko) 소리발생 방향 감지에 따른 감시카메라 시스템 및 이를 이용한 위치추정 방법
JP2004192459A (ja) 異常事象検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application