KR102066718B1 - 음향기반 터널 사고 검지 시스템 - Google Patents

음향기반 터널 사고 검지 시스템 Download PDF

Info

Publication number
KR102066718B1
KR102066718B1 KR1020170140516A KR20170140516A KR102066718B1 KR 102066718 B1 KR102066718 B1 KR 102066718B1 KR 1020170140516 A KR1020170140516 A KR 1020170140516A KR 20170140516 A KR20170140516 A KR 20170140516A KR 102066718 B1 KR102066718 B1 KR 102066718B1
Authority
KR
South Korea
Prior art keywords
acoustic
accident
tunnel
sound
model
Prior art date
Application number
KR1020170140516A
Other languages
English (en)
Other versions
KR20190046569A (ko
Inventor
김홍국
곽찬웅
김남균
전광명
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020170140516A priority Critical patent/KR102066718B1/ko
Publication of KR20190046569A publication Critical patent/KR20190046569A/ko
Application granted granted Critical
Publication of KR102066718B1 publication Critical patent/KR102066718B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21F—SAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F11/00—Rescue devices or other safety devices, e.g. safety chambers or escape ways
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21F—SAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F17/00—Methods or devices for use in mines or tunnels, not covered elsewhere
    • E21F17/18—Special adaptations of signalling or alarm devices
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Geology (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Pulmonology (AREA)
  • Chemical & Material Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

본 발명의 실시예는 음향 기반 터널 사고 감지 시스템에 관한 것이다. 구체적으로, 본 발명의 일 실시 예에 따른 터널 사고 감지 시스템은 터널 내 음향 데이터를 수집하고, 수집한 음향 데이터를 분석하여 사고 발생 여부를 검지하는 분석부; 및 상기 분석부의 검지 결과에 기초하여 터널 시스템 운영을 관제하는 운영부를 포함하며, 상기 분석부는 수집한 음향 데이터로부터 배경 잡음과 사고음을 분리하는 음향 사고음 분리부 및 분리된 음향 신호로부터 사고 발생 여부를 검지하는 음향 사고 검지부를 더 포함한다.

Description

음향기반 터널 사고 검지 시스템{Acoustic Tunnel Accident Detection System}
본 발명은 음향 기반 사고 검지 시스템에 관한 것이다. 구체적으로는 여러 배경 소음이 혼재하는 터널 환경에서 사고 음향을 분류하여 검출하는 시스템에 관한 것이다.
음향 기반의 사건 검출 방법은 녹음된 음원으로부터 음향 사건 발생 여부를 파악하고 음향의 특징에 따라 사건을 구분하는 것을 의미한다. 음향 기반 사건 검출 방법은 정보의 캡쳐가 용이하며 넓은 지역에 대한 정보 수집이 가능하여, 최근 수년간 많은 연구가 이루어지고 있으며 대표적으로 가우시안 혼합모델 및 표본 비음수 행렬 기반의 음향 사건 검출 방법은 단일 채널 마이크로부터 녹음된 신호를 이용하여 음향 사건을 검출하는 방식이다.
일반적으로 터널 내 영상 기반의 사고 검지 시스템이 다수 존재해 왔으나, 터널마다 밝기가 다르고, 차량 라이트로부터 들어오는 불규칙적인 빛에 의해 터널 사고에 대한 오검지가 다수 발생하는 것이 현실이다. 이에, 현장에서는 영상 기반의 사고 검지 시스템이 있으나 실제 활용하지 않는 경우도 발생하는 실정이다.
이하 본 발명에서는 이러한 영상 기반의 사고 검지 시스템을 보완하기 위한 음향 분석을 통한 강건한 터널 사고 검지 방법을 제안한다.
본 발명에서는 음향 신호를 분석하여 터널 내 사고 발생 여부를 정확하게 감지할 수 있는 시스템을 제안한다.
본 발명의 일 실시 예에 따른 터널 사고 감지 시스템은 터널 내 음향 데이터를 수집하고, 수집한 음향 데이터를 분석하여 사고 발생 여부를 검지하는 분석부; 및 상기 분석부의 검지 결과에 기초하여 터널 시스템 운영을 관제하는 운영부를 포함하며, 상기 분석부는 수집한 음향 데이터로부터 배경 잡음과 사고음을 분리하는 음향 사고음 분리부 및 분리된 음향 신호로부터 사고 발생 여부를 검지하는 음향 사고 검지부를 더 포함한다.
음향 신호 분석결과와 기존의 영상 정보 등을 종합하여 터널 내 사고 발생 여부를 더욱 정확하게 판단할 수 있다.
도 1은 일반적인 환경에서의 음향 검출 방법을 나타낸 흐름도이다.
도 2는 도 1의 음향 검출 방법의 각 단계를 구체적으로 나타낸다.
도 3은 본 발명의 실시예에 따른 음향 검출 방법에서 채널 이득값을 기반으로 사건 음향 발생 여부를 판별하는 S40 단계를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 음향 검출 방법에서 판별된 신호들에 대해서 특징값을 추출하는 S50 단계를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 음향 검출 방법에서 추출된 특징값에 대한 HMM 분류를 수행하여 우도를 검증하는 S60 단계를 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 음향 기반 터널 사고 검지 시스템을 나타내는 블록도이다.
도 7은 본 발명의 일 실시 예에 다른 음향사고음 분석부의 구체적인 동작을 나타내는 블록도이다.
도 8은 본 발명의 일 실시 예에 따른 음향 기반 터널사고 검지 방법에 대한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세하게 설명하지만, 본 발명의 실시예에 의해 제한되거나 한정되는 것은 아니다. 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명료하게 하기 위해 생략될 수 있다.
터널 음향 분석을 위한 음향 신호 처리 및 기계학습 알고리즘은 비음수텐서분해 기반의 터널 내 음향의 관심사고음 분리기술과 GMM-HMM 기반의 터널 내 음향의 관심사고음 분류기술을 포함할 수 있는데, 이하에서는 먼저 일반적인 환경에서 음향 검출 방법을 설명하도록 한다.
도 1은 일반적인 환경에서의 음향 검출 방법을 나타낸 흐름도이다.
도 1을 참조하면, 실시예에 따른 음향 사건 검출 방법은 스테레오 입력 음향 신호를 받는 단계(S1), 수신된 입력 신호를 멜 진폭 스펙트럼 신호로 변환하는 단계(S2), 이를 NTF 알고리즘으로 분해하는 단계(S3), 채널 이득값을 기반으로 사건 음향 발생 여부를 1차적으로 판별하는 단계(S4), 판별된 신호들에 대해서 특징값을 추출하는 단계(S5), 추출된 값에 대한 HMM 우도를 검증하는 단계(S6) 및 검증 결과에 따라 이상 사건 발생을 검출하는 단계(S7)로 구성될 수 있다.
도 2는 본 발명의 실시예에 따른 음향 검출 방법의 각 단계를 구체적으로 나타낸 도면이다.
도 1과 2를 함께 참조하면, 본 발명의 음향 사건 검출 방법은 우선 음원을 분리하는데 있어서 입력 신호가 스테레오 채널에서 얻어지는 신호인 것으로 가정한다. S1 단계에서 얻어지는 스테레오 입력 신호는 다음의 수학식과 같이 나타내질 수 있다.
[수학식 1]
Figure 112017106227785-pat00001
i는 프레임 번호이며, c는 채널 번호, e는 사건 분류 번호, E는 사건 분류의 갯수,
Figure 112017106227785-pat00002
는 c번 채널의 e번 분류 음향 사건 신호,
Figure 112017106227785-pat00003
는 c번 채널의 배경 잡음 신호를 나타낸다. 스테레오 입력 신호(
Figure 112017106227785-pat00004
(n))는 E개의 음향 사건이 혼재되어 있는 것으로 가정하였다.
이어서, S2 단계에서는 상기와 같은 수신된 입력 신호(yi c(n))로부터 입력 신호 스펙트럼을 구하는 단계가 수행되며, 입력 신호는 단기 푸리에 변환(STFT)을 거쳐 진폭을 갖는 스펙트럼 신호(|Yi e(k)|)로 변환되고, 이 신호는 멜(Mel) 진폭 스펙트럼 신호(㎐i c(m))로 변환된다.
멜 진폭 스펙트럼 신호는 다음과 같은 수식으로 나타내어 질 수 있다.
[수학식 2]
Figure 112017106227785-pat00005
여기서 m과 M은 멜 진폭 스펙트럼의 순서를 나타낸다.
이어서, S3 단계에서는 멜 진폭 스펙트럼을 비음수 텐서 분해하는 단계가 수행된다. 비음수 텐서 분해에 의해 멜 진폭 스펙트럼은 채널 이득, 주파수 기저 및 텐서라 불리는 시간 활성화 매트릭스로 구성될 수 있다. 이를 수학식으로 나타내면 다음과 같다.
[수학식 3]
Figure 112017106227785-pat00006
여기서,
Figure 112017106227785-pat00007
는 텐서 프로덕트이며, J는 NTF 분해에서 기저의 순위를 나타낸다. 채널 이득(C), 주파수 기저(B) 및 시간 활성화(A) 매트릭스를 나타내면 다음과 같다.
Figure 112017106227785-pat00008
: 채널 이득 매트릭스 (2ㅧJ)
Ci e,S, Ci D는 음향 사건과 배경 잡음의 채널 이득 매트릭스를 나타낸다.
Figure 112017106227785-pat00009
: 주파수 이득 매트릭스 (2ㅧ┶)
┶는 각 음향 사건과 배경 잡음의 기저 순위를 나타낸다.
Bi e,S, Bi D는 음향 사건과 배경 잡음의 주파수 이득 매트릭스를 나타낸다.
Figure 112017106227785-pat00010
: 시간 이득 매트릭스 (1ㅧJ)
Ai e,S, Ai D는 음향 사건과 배경 잡음의 시간 이득 매트릭스를 나타낸다.
채널 이득과 시간 이득은 연속적인 업데이트 룰을 통해 그 값이 갱신될 수 있다. 채널 이득 및 시간 이득은 다음과 같은 수식을 반복적으로 수행함으로써 업데이트 될 수 있다.
[수학식 4]
Figure 112017106227785-pat00011
Figure 112017106227785-pat00012
여기서 h는 반복 인자이며, ㅀ 는 곱하기 연산을 나타낸다. 그리고, Ph c,k,m은 ㎐i에 대한 Yi의 비율을 나타낸다. 상기와 같이 채널 이득의 업데이트 룰에 있어서는 채널 이득, 주파수 이득 및 ㎐i에 대한 Yi의 비율값이 고려될 수 있으며, 시간 이득의 업데이트 룰에 있어서는 채널 이득, 주파수 이득 및 ㎐i에 대한 Yi의 비율값이 고려될 수 있다.
상기 수학식 4는 KL divergence의 상대적인 감소가 기설정된 임계값보다 작아질 때까지 수행될 수 있다.
상기 Yi는 각 사건 음향과 배경 음향의 합으로 다음과 같이 표현될 수 있다.
[수학식 5]
Figure 112017106227785-pat00013
그리고, 상기 Yi는 각각의 인자로 구성된 텐서 프로덕트를 적용하여 각각의 이상 음향 사건 신호와 배경 잡음으로 다음과 같이 표현될 수 있다.
[수학식 6]
Figure 112017106227785-pat00014
,
Figure 112017106227785-pat00015
수학식 6과 같이 이상 음향 사건 신호와 배경 잡음은 각각 채널 이득, 주파수 이득, 시간 이득의 텐서의 조합으로 분해될 수 있다.
도 3은 본 발명의 실시예에 따른 음향 검출 방법에서 채널 이득값을 기반으로 사건 음향 발생 여부를 판별하는 S40 단계를 나타낸 도면이다. 본 발명의 음향 검출 방법은 시간-주파수의 영역으로 변환된 입력 신호를 비음수 텐서 분해하여 채널 이득, 시간 이득, 주파수 이득에 대한 텐서의 조합으로 나누며, 특히 채널 이득을 고려하여 이상 음향 사건의 검출에 이를 1차적으로 사용한다.
실시예에서 채널 이득값을 기반으로 사건 음향 발생 여부를 판별하는 S40 단계는, 각 사건 음향에 대한 채널 이득의 평균을 구하는 S41 단계를 포함할 수 있다. e번째 사건의 채널 이득은 다음의 수식과 같이 계산될 수 있다.
[수학식 7]
Figure 112017106227785-pat00016
여기서
Figure 112017106227785-pat00017
는 각 사건 분류마다 대응되는 기저의 숫자를 나타내며, 모든 채널 이득의 평균(Ci)은 다음의 수식으로 나타낼 수 있다.
[수학식 8]
Figure 112017106227785-pat00018
여기서 J는 모든 기저(Basis)의 숫자를 나타낸다.
또한, 실시예는 우선 각각의 음향에 대한 채널 이득값 및 모든 채널 이득의 평균을 도출하고, e번째(임의번째) 사건의 채널 이득의 평균에 대해 mean-to-max 임계치를 적용하는 S42 단계를 포함할 수 있다. 그리고, 모든 채널 이득의 평균에 대한 e번째의 채널 이득의 비율값을 계산하여 이를 기설정된 임계값과 비교하는 S43단계를 포함할 수 있다.
만약, 상기 비율값이 기설정된 임계값(thrc) 보다 클 경우에는 상기 e번째의 사건 음향 신호를 HMM 분류 단계로 넘기게 된다. 상기 비율값이 기설정된 임계값보다 작으면 해당되는 신호는 배경 잡음 신호로 판단하여 추후 사건 발생 판단에 이를 고려하지 않는다. 상술한 판단 과정은 아래의 수학식으로 나타낼 수 있다.
[수학식 9]
Figure 112017106227785-pat00019
수학식 9와 같이 e번째 신호의 채널 이득 비율이 기설정된 값보다 큰 경우, 1차적으로 이상 사건 정보를 가진 음향인 것으로 분류하게 되며, 이 신호를 Flagc e라 표기할 수 있다.
도 4는 본 발명의 실시예에 따른 음향 검출 방법에서 판별된 신호들에 대해서 특징값을 추출하는 S50 단계를 나타낸 도면이다.
도 4를 참조하면, HMM 분류를 사용하여 사건 음향을 검출하기 위해서 NTF 분해를 이용한 채널 이득에 의해 걸러진 신호들을 MFCCs로 이루어진 특징 벡터로 변환하는 과정이 수행될 수 있다.
즉, NTF가 수행된 신호는 채널 이득을 고려한 신호(Flagc e)를 참조하여, MFCC 추출이 수행되는데 추출된 특징값은 다음과 같이 나타낼 수 있다.
[수학식 10]
Figure 112017106227785-pat00020
이어서 상기 특징값의 평균을
Figure 112017106227785-pat00021
와 같이 구한 후에는, 특징값의 변화값을 구한다. 상기 변화값은 이전 특징값과의 차이 및 이전 특징값의 이전값일 수 있다.
즉, i번째 음향의 특징값을
Figure 112017106227785-pat00022
이라 할 때, 메인 특징값은
Figure 112017106227785-pat00023
와 같이 표현될 수 있다.
이어서 상기와 같이 얻어진 특징값(
Figure 112017106227785-pat00024
)에 대해 HMM 우도를 검출하는 단계(S60)가 수행될 수 있다. 도 5는 본 발명의 실시예에 따른 음향 검출 방법에서 추출된 특징값에 대한 HMM 분류를 수행하여 우도를 검증하는 S60 단계를 나타낸 도면이다.
도 5를 참조하면, HMM 분류를 위해서는 미리 훈련된 음향 사건 HMM (
Figure 112017106227785-pat00025
…
Figure 112017106227785-pat00026
) 및 배경 잡음 HMM(
Figure 112017106227785-pat00027
)를 사용할 수 있다. 상기 HMM들을 사용하여 검출된 사건 음향에 대한 우도가 도출될 수 있다.
음향 사건 HMM(
Figure 112017106227785-pat00028
) 및 배경 잡음 HMM(
Figure 112017106227785-pat00029
)는 초기 상태 분배(π), 상태 전이 확률 매트릭스(T), 가우시안 혼합 관찰(θ)을 인자로 포함할 수 있으며,
Figure 112017106227785-pat00030
,
Figure 112017106227785-pat00031
와 같이 나타낼 수 있다.
상기 HMM들과 특징값에 대한 확률값을 계산하여 사건 음향에 대한 우도(Li Flag) 및 배경 잡음에 대한 우도(Li D)를 도출할 수 있다. 사건 음향에 대한 우도는
Figure 112017106227785-pat00032
배경 잡음에 대한 우도는
Figure 112017106227785-pat00033
과 같이 나타내질 수 있다.
그리고, S50단계에서 도출된 사건 음향들의 채널 이득의 평균(
Figure 112017106227785-pat00034
)을 구하고, 이 값을 정규화(normalization)한 값(
Figure 112017106227785-pat00035
)을 구한다. 이 과정을 거치면 가중된 우도 확률은
Figure 112017106227785-pat00036
과 같이 나타내어지며, 이 값을 사용하여 사건 음향의 판별을 수행할 수 있다.
S50 단계에서 추출된 특징값에 대한 HMM 분류를 수행하여 우도를 검증하는 S60 단계는 최대 우도 분류(Maximum likelihood classification)를 수행하는 S61 단계와, 배경 잡음에 대한 우도에 대한 사건 음향에 대한 우도의 비율에 따라 사건 음향인지를 판별하는 S62 단계를 포함할 수 있다.
S61 단계에서는 S50 단계에서 얻어진 특징값(
Figure 112017106227785-pat00037
)과 S40 단계에서 얻어진 정규화(normalization)된 채널 이득의 평균값(
Figure 112017106227785-pat00038
)을 받아, 미리 훈련된 복수개의(E개) 사건 음향 HMM으로부터의 데이터(
Figure 112017106227785-pat00039
~
Figure 112017106227785-pat00040
) 및 배경 잡음 HMM으로부터의 데이터(
Figure 112017106227785-pat00041
)를 참조하여 최종적인 사건 음향에 대한 우도 및 배경 잡음에 대한 우도를 구할 수 있다.
그리고, S62 단계에서는 배경 잡음 HMM의 우도(Li D)에 대한 사건 음향에 대한 우도의 비율을 계산하고 이 값이 기설정된 값보다 큰 경우에 특이 사건을 가진 음향 신호인 것으로 판단할 수 있으며 이를 수식으로 표현하면 다음과 같다.
[수학식 11]
Figure 112017106227785-pat00042
최종적으로 도출되는 결과값(
Figure 112017106227785-pat00043
)은 e 또는 0을 나타내며 이를 통해 현재 프레임에 이상 상황이 있는지의 여부를 판단할 수 있다.
여기서 기준값(thrFlagec)값이 기설정된 임계값이라 하면, 상기 수학식 11에서와 같이 검출된 결과값{
Figure 112017106227785-pat00044
}이 ei를 나타낼 경우에는 i번째 프레임이 이상 음향을 포함하고 있는 것으로 판단할 수 있다. 그리고 결과값이 0을 나타낼 경우에는 i번째 프레임에 배경 잡음만이 존재하는 것으로 판단할 수 있다.
상기와 같이 우도와 기준값과의 비교를 통해 i번째 프레임이 이상 음향을 포함하고 있음이 판별되면, 현재 입력된 신호에 이상 음향이 존재하는 것으로 판단할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 음향 기반 터널 사고 검지 시스템을 나타내는 블록도이다.
도 6에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 음향 기반 터널 사고 검지 시스템(100)은 분석부(110), 시스템 운영부(120) 및 DB 서버(130)을 포함할 수 있다. 그리고 추가적으로 터널 내 음향 수집부(200) 및 외부 연계 시스템(300)을 더 포함할 수도 있다.
분석부(110)는 터널 내 음향 수집부(220)로부터 음향 데이터를 획득하고, 이를 분석하여 사고 발생 여부를 검지한다. 분석부(110)는 도 1에서 설명한 음향 사건 발생 판단 알고리즘을 이용하여 터널 내 사고 발생 여부를 검지할 수 있는데, 구체적인 구성을 이하에서 설명한다.
분석부(110)는 음향 사고음 분리부(111), 음향 사고 검지부(112) 및 후처리부(113)을 포함할 수 있다.
음향 사고음 분석부(111)은 획득한 음향 데이터로부터 배경 잡음과 사고음을분리한다. 터널에서 수집되는 음향 데이터에는 일상적으로 발생하는 음향이 대부분이다. 예를 들어 터널 내 음향 수집부(200)가 수집하는 음향 데이터 중 차량 엔진 소리, 사고와 무관한 브레이크 소리, 타이어 마찰 소리, 또는 터널 공명 소리 등이 포함될 수 있으며 이들 소리는 사고와 관련 없는 일상적인 배경 소리로 볼 수 있다. 따라서, 일상적으로 발생하는 배경 잡음을 제거하여야 사고로 인해 발생한 음향을 판단하는데 용이하다.
음향 사고음 분리부(111)는 일 실시 예에서 NTF 알고리즘을 이용하여 수집된 음향 데이터에서 배경 잡음을 제거하여 사고음을 분리한다. 여기에서 분리되는 사고음이란 배경 잡음과 다른 특성을 갖는 음향으로 터널 내 사고가 발생하여 생성된 음향으로 추정되는 음향 신호이다.
NTF 알고리즘에 대한 자세한 설명은 상술한바 여기에서는 자세한 설명을 생략한다. 다만, 상술한 기재에서 배경 잡음이 여기에서는 터널 내 일반 음향이 되고, 음향 사건의 경우 여기에서는 사고 음향이 된다.
본 발명의 음향 사고음 분석부(111)는 배경 잡음과 사고음을 분리하는데 사용되는 터널 잡음 모델을 적응 훈련 방법을 통해 실시간 터널 잡음 모델 업데이트를 수행하는데, 이와 관련하여 도 7을 참조하여 자세히 설명한다.
도 7은 본 발명의 일 실시 예에 다른 음향 사고음 분리부의 구체적인 동작을 나타내는 블록도이다.
도 7에 도시된 바와 같이, 음향사고음 분리부(111)는 사고음 모델과 터널 잡음 모델의 두가지 모델을 사용하여 음향 데이터에 포함된 사고음을 분리할 수 있다.
여기에서 사고음 모델은 사고로 인해 발생하는 음향에 대한 모델이다. 예를 들어 사고음 모델은 차량 충돌 음원, 타이어 끌림 음원, 폭발 음원, 또는 경적 음원에 관한 것일 수 있다. 또한, 터널 잡음 모델은 상술한 일반적인 상황에서의 터널 배경 음향에 관한 것일 수 있다.
사고음의 경우 두드러지는 특성을 가지며, 그 발생 빈도가 낮으며, 터널 별로 다른 특성을 보이지 않는 것이 일반적으로 모델 적응 훈련을 통한 업데이트의 필요성이 낮다. 반면에, 터널 잡음의 경우 수집되는 음향 데이터의 대부분을 차지하는 일상적인 음향으로 터널의 모양이나 위치를 포함하는 터널 특성이 달라질 수 있어 모델 최적화를 위한 업데이트의 필요가 있다.
따라서, 본 발명의 일 실시 예에 다른 음향 사고음 분리부(111)가 사용하는 잡음 모델은 음향 사고음 분리부(111)에서 분리된 잡음 스펙트럼을 잡음 모델의 입력 값으로 사용하여 잡음 모델을 재 훈련한다. 이러한 동작의 반복으로 터널에 따라 달라질 수 있는 배경 잡음에 적절한 잡음 모델이 생성될 수 있다.
다시 도 6으로 돌아온다.
음향 사고 검지부(112)는 음향 사고음 분리부(111)에서 분리된 음향 신호로부터 사고 발생을 검지한다. 음향 사고 검지부(112)는 머신러닝에 기반하여 배경음과 사고음으로 분리된 음향 신호로부터 사고를 검지한다. 일 실시 예에서 음향 사고 검지부(112)가 수행하는 머신러닝은 상술한 GMM-HMM 기반의 머신러닝일 수 있다.
구체적으로 음향 사고 검지부(112)는 분리된 음향 신호로부터 특징 벡터를 추출하고, 특징 값을 사전에 훈련된 음향모델 또는 네트워크를 통해 탐색된 터널 사고음과 비교하는 최대우도기법을 이용하여 음향으로부터 사고 발생 여부를 검증한다.
구체적으로 음향 사고 검지부(112)는 배경 잡음에 대한 우도와 사고 음향에 대한 우도의 비율을 임계값과 비교하고, 비교 결과 임계값 보다 큰 경우, 실제 사고 발생으로 인해 생성된 음향으로 판단한다.
후처리부(113)는 음향 사고 검지부(112)에서 검지된 하나 이상의 사고 음향을 종합하고 검지결과 신뢰도에 기반하여 검지 결과를 후처리한다.
시스템 운영부(120)는 분석부(110)에서 분석한 결과에 기초하여 터널 시스템 운영을 관제한다.
구체적으로, 시스템 운영부(120)는 외부연계 시스템(300)과 연계하여 사고를 확인하고, 이를 바탕으로 시스템 운영을 관제한다. 이때, 시스템 운영부(120)는 외부연계 시스템(120)으로부터 교통 정보를 수신할 수 있으며, 더하여 터널 상황에 대한 영상 정보를 수신할 수도 있다. 시스템 운영부는 음향을 통해 판단한 사고 검지 결과와 영상 정보 및 교통 정보를 종합하여 최종적으로 사고 발행 여부를 확인할 수 있다.
따라서, 기존에 영상만으로 사고를 검지하던 시스템 보다 음향에 의한 분석 결과가 더해지는바 기존에 방법에 비해 정확한 사고 검지가 가능하다. 구체적인 실시 예에서, 영상상으로는 비정상적인 차량 라이트가 감지되었으나, 음향 신호에서 사고음이 감지되지 않는 경우 시스템은 사고가 발생하지 않은 것으로 판단할 수 있으며, 이는 반대로도 적용이 가능하다.
더하여, 시스템 운영부(120)는 사고가 확인되는 경우 터널 내 시스템을 관제하는데, 구체적인 실시 예로 경보음을 울리거나, 터널 진입을 차단하거나, 중앙 관제 센터로 사고 발생을 알리는 동작을 수행할 수 있다.
DB 서버(130)는 시스템의 운용간이 발생하는 데이터를 저장한다. 예를 들어 DB 서버(130)는 mapping 정보, 음향 데이터, 상태 정보, 사고 정보에 관한 데이터를 저장할 수 있다. DB 서버(130)에 저장된 데이터는 추가적인 모델 업데이트에 사용될 수 있다.
구체적으로, 터널 별 최적화된 음향 모델을 설계하는데 DB 서버(130)의 데이터가 이용될 수 있다. DB 서버가 저장하고 있는 데이터는 지금까지 시스템에서 분석하고 판단한 음향 신호에 관한 데이터로서, 음향 사고 검지부(112)는 DB 서버로부터 음향 데이터를 수집하고, 이를 정제한다. 그리고, 정제된 데이터 베이스에 기반하여 음향 특징을 추출하고, 이를 터널 별 최적화된 음향모델 설계를 위한 적응훈련 및 재훈련을 위한 입력으로 사용한다. 결과적으로, 음향 사고 검지부(112)가 사용하는 터널 사고음 음향 모델이 해당 터널에 최적화되어 보다 정확하게 사고를 검지할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 음향 기반 터널사고 검지 방법에 대한 흐름도이다.
터널 사고 검지 시스템은 음향 데이터를 수집한다(S101). 터널 사고 검지 시스템은 하나 이상의 음향 수집기로부터 음향 데이터를 수집한다. 음향 데이터는 터널에서 발생하는 모든 음향에 대한 것일 수 있다.
터널 사고 검지 시스템은 수집한 음향 데이터로부터 음향 사고음을 분리한다(S103). 이때, 터널 사고 검지 시스템은 비음수 텐서 분해(NTF) 알고리즘을 이용하여 획득한 음향 데이터를 배경 잡음과 사고음으로 분리할 수 있다. 이때 실시간으로 업데이트되는 터널 잡음 모델이 사용될 수 있다.
터널 사고 검지 시스템은 분리된 음향 신호에 기초하여 사고 발생 여부를 확인한다(S105). 구체적으로, 터널 사고 검지 시스템은 분리된 음향 신호로부터 특징 값을 추출하고, 추출한 특징 값에 최대우도기법을 적용하여 분리된 사고음이 실제 발생한 사고로부터 수집된 음향 신호인지를 판단한다. 그리고, 터널 사고 검시 시스템은 해당 음향 신호가 실제 발생한 사고로부터 수집된 것으로 판단되는 경우 교통 정보 또는 영상 정보 중 적어도 하나의 정보를 함께 고려하여 최종적으로 사고 발생 여부를 확인한다.
터널 사고 검지 시스템은 사고가 발생했다고 판단되는 경우 터널 내 시스템 운영을 관제한다(S107). 예를 들어 터널 사고 검지 시스템은 터널 내 경보 시스템을 작동시키거나, 터널 진입을 차단할 수 있다. 또한 터널 사고 검지 시스템은 중앙 관제 센터로 사고 발생 여부를 알릴 수도 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (7)

  1. 특정 터널 내 음향 데이터를 수집하고, 수집한 음향 데이터를 분석하여 사고 발생 여부를 검지하는 분석부; 및
    상기 분석부의 검지 결과에 기초하여 터널 시스템 운영을 관제하는 운영부를 포함하고,
    상기 분석부는,
    사고음에 대한 모델인 사고음 모델 및 배경 잡음에 대한 모델인 터널 잡음 모델을 이용하여, 상기 특정 터널에서 수집한 음향 데이터로부터 상기 배경 잡음과 상기 사고음을 분리하는 음향 사고음 분리부; 및
    상기 배경 잡음에 대한 우도와 상기 사고음에 대한 우도의 비율을 이용하여 상기 특정 터널 내 사고 발생 여부를 검지하는 음향 사고 검지부를 더 포함하고,
    상기 터널 잡음 모델은,
    상기 음향 사고음 분리부에서 상기 배경 잡음과 상기 사고음이 분리되면, 상기 음향 사고음 분리부에서 분리된, 상기 특정 터널에서의 상기 배경 잡음의 잡음 스펙트럼을 입력으로 받아 실시간 잡음 모델 적응 훈련이 수행되어 업데이트 되고,
    상기 음향 사고음 분리부는,
    상기 실시간 잡음 모델 적응 훈련이 수행되어 업데이트 된 상기 터널 잡음 모델을 사용하여, 상기 특정 터널에서 수집한 음향 데이터로부터 배경 잡음과 사고음을 분리하는
    음향 기반 터널 사고 검지 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 음향 사고음 분리부는 비음수 텐서 기반 알고리즘을 통해 사고음을 분리하는
    음향 기반 터널 사고 검지 시스템.
  4. 제 1항에 있어서,
    상기 음향 사고 검지부는 GMM-HMM 기반 머신 러닝에 기반하여 사고 발생 여부를 검지하는
    음향 기반 터널 사고 검지 시스템.
  5. 제 4 항에 있어서,
    분리된 음향 신호로부터 특징 벡터를 추출하고, 추출한 특징 값을 사전에 훈련된 음향모델 또는 네트워크를 통해 탐색된 터널 사고음과 비교하는 최대우도기법을 이용하여 음향 신호로부터 사고 발생 여부를 검지하는
    음향 기반 터널 사고 검지 시스템.
  6. 제 5항에 있어서,
    상기 사전에 훈련된 음향모델은 이전에 시스템에서 분석하고 판단한 음향 신호에 대한 데이터를 재 입력으로 사용하여 적응훈련된 음향 모델인
    음향 기반 터널 사고 검지 시스템.
  7. 제 1항에 있어서,
    상기 운영부는
    외부로부터 교통 정보 및 영상 정보를 포함하는 외부 정보를 수집하고, 수집한 외부 정보와 상기 분석부에서 분석한 결과를 종합하여 최종적인 사고 발생 여부에 대한 판단을 하는
    음향 기반 터널 사고 검지 시스템.
KR1020170140516A 2017-10-26 2017-10-26 음향기반 터널 사고 검지 시스템 KR102066718B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170140516A KR102066718B1 (ko) 2017-10-26 2017-10-26 음향기반 터널 사고 검지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140516A KR102066718B1 (ko) 2017-10-26 2017-10-26 음향기반 터널 사고 검지 시스템

Publications (2)

Publication Number Publication Date
KR20190046569A KR20190046569A (ko) 2019-05-07
KR102066718B1 true KR102066718B1 (ko) 2020-01-15

Family

ID=66656162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140516A KR102066718B1 (ko) 2017-10-26 2017-10-26 음향기반 터널 사고 검지 시스템

Country Status (1)

Country Link
KR (1) KR102066718B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102382215B1 (ko) * 2020-10-20 2022-04-01 김규현 사고음 딥러닝을 통한 음향기반 도로 사고 자동 검지 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102416175B1 (ko) * 2020-04-27 2022-07-05 한국도로공사 사고 검지 장치 및 방법
KR102477416B1 (ko) * 2022-02-11 2022-12-15 주식회사 에이엔제이솔루션 사고 현장 모니터링 시스템
CN116740900B (zh) * 2023-08-15 2023-10-13 中铁七局集团电务工程有限公司武汉分公司 一种基于svm的电力施工预警方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101047104B1 (ko) * 2009-03-26 2011-07-07 고려대학교 산학협력단 최대 우도 선형 스펙트럴 변환을 이용한 음향 모델 적응 방법 및 그 장치, 잡음 음성 모델을 이용한 음성 인식 방법및 그 장치
KR101124712B1 (ko) * 2010-07-30 2012-03-20 인하대학교 산학협력단 비음수 행렬 인수분해 기반의 음성 검출 방법
KR101312547B1 (ko) * 2011-12-29 2013-09-30 (주)에이엔제이솔루션 음향신호 처리 기반의 터널 내 사고상황 인식 또는 판별을 위한 기기
KR101741418B1 (ko) * 2015-04-22 2017-06-02 (주)사운드렉 연속된 충격음에 대한 음향 특징 추출 및 확률 모델에 기반한 음향 인식 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
국토교통 기술사업화 지원사업 ‘음향신호 처리 기반의 터널교통사고 자동검지시스템 개발’ 연차실적 계획서, ㈜에이엔제이솔루션, 2017. 1. 23. pp. 1-82. 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102382215B1 (ko) * 2020-10-20 2022-04-01 김규현 사고음 딥러닝을 통한 음향기반 도로 사고 자동 검지 시스템

Also Published As

Publication number Publication date
KR20190046569A (ko) 2019-05-07

Similar Documents

Publication Publication Date Title
US11900947B2 (en) Method and system for automatically diarising a sound recording
KR102066718B1 (ko) 음향기반 터널 사고 검지 시스템
Foggia et al. Reliable detection of audio events in highly noisy environments
KR101969504B1 (ko) 심층 신경망을 기반으로 한 사운드 이벤트 검출 방법 및 사운드 이벤트 검출 장치
US20180211670A1 (en) Acoustic signature building for a speaker from multiple sessions
CN110120218B (zh) 基于gmm-hmm的高速公路大型车辆识别方法
US9311930B2 (en) Audio based system and method for in-vehicle context classification
JP6466334B2 (ja) リアルタイム交通検出
Socoró et al. Development of an Anomalous Noise Event Detection Algorithm for dynamic road traffic noise mapping
Dufour et al. Clusterized mel filter cepstral coefficients and support vector machines for bird song identification
Ntalampiras et al. Acoustic detection of human activities in natural environments
US10665248B2 (en) Device and method for classifying an acoustic environment
Nandwana et al. Towards Smart-Cars That Can Listen: Abnormal Acoustic Event Detection on the Road.
Colangelo et al. Enhancing audio surveillance with hierarchical recurrent neural networks
Saggese et al. Time-frequency analysis for audio event detection in real scenarios
KR102314824B1 (ko) 딥러닝 기반 감지상황에서의 음향 사건 탐지 방법
Rovetta et al. Detection of hazardous road events from audio streams: An ensemble outlier detection approach
Pereira et al. Using deep autoencoders for in-vehicle audio anomaly detection
EP2028651A1 (en) Method and apparatus for detection of specific input signal contributions
Kumar et al. Event detection in short duration audio using gaussian mixture model and random forest classifier
CN113963719A (zh) 基于深度学习的声音分类方法和装置、存储介质和计算机
CN112955954B (zh) 用于音频场景分类的音频处理装置及其方法
Uttarakumari et al. Vehicle detection using acoustic signatures
CN112992175B (zh) 一种语音区分方法及其语音记录装置
CN112053686A (zh) 一种音频中断方法、装置以及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant