KR20240082718A - 청각 정보기반 차량 상황 판단 방법 - Google Patents

청각 정보기반 차량 상황 판단 방법 Download PDF

Info

Publication number
KR20240082718A
KR20240082718A KR1020220166633A KR20220166633A KR20240082718A KR 20240082718 A KR20240082718 A KR 20240082718A KR 1020220166633 A KR1020220166633 A KR 1020220166633A KR 20220166633 A KR20220166633 A KR 20220166633A KR 20240082718 A KR20240082718 A KR 20240082718A
Authority
KR
South Korea
Prior art keywords
information
auditory
event
auditory information
vehicle
Prior art date
Application number
KR1020220166633A
Other languages
English (en)
Inventor
이동철
노경진
정인수
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220166633A priority Critical patent/KR20240082718A/ko
Publication of KR20240082718A publication Critical patent/KR20240082718A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/805—Azimuth angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/40—Altitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

차량에 청각 기능을 구현하여 수집되는 청각 정보를 이용하여 차량 상황을 판단하는 방법이 개시된다. 상기 방법은, 청각 센서를 이용하여 발생한 이벤트에 대한 청각 정보를 생성하는 단계, 수집부가 상기 청각 정보를 수집하는 단계, 및 제어부가 수집된 상기 청각 정보를 이용하여 차량 또는 상기 이벤트에 대한 현재 상황 정보를 산출하는 단계를 포함하는 것을 특징으로 한다.

Description

청각 정보기반 차량 상황 판단 방법{Method for judging situation of vehicle based on hearing information}
본 발명은 차량의 상황 판단 기술에 관한 것으로서, 더 상세하게는 청각 시스템을 이용하여 차량의 상황을 판단하는 방법에 대한 것이다.
일반적으로, 자동차는 사람에게 이동 편의성 및 시간 효율성을 제공하나, 운전자 부주의로 인해 운전자는 물론 주변인에게 큰 피해를 끼칠 수 있어, 이용에 주의가 필요하다.
특히 최근 들어, 자동차와 ICT(Information & Communication Technology)의 기술 융합으로 점차 차량의 지능화, 고도화가 이루어지고 있다. 부연하면, 시각(이미지) 분석, 음성인식 기술을 적용하여 자율 주행 관련 기술, 주행 안전 보조 시스템 관련 기술이 개발중이다. 이에 따라 자동차내 구현된 안전운전 지원 시스템은 위험상황을 인지하고, 이를 운전자에게 알리는 동작을 수행한다.
자율주행과 같은 미래 모빌리티 분야에서는 상황판단에 기반하여 데이터 분석이 매우 중요하지만, 주로 이미지 판단에 의존하게 됨으로써 정확성이 떨어지는 문제점이 있다. 부연하면, 주로 라이더, 카메라 등을 이용한 비전 인식 이미지 판정 기술 AI(Artificial intelligence) 분야가 활발히 진행중이며, 또한, 실내 음성인식 기술과 촉각(햅틱) 기술등이 차량에 적용되고 있을 뿐이다.
1. 대한민국공개특허번호 제10-2017-0055724호
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 차량에 청각 기능을 구현하여 수집되는 청각 정보를 이용하여 차량 상황을 판단하는 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 이러한 청각 정보를 이용한 다양한 플랫폼 개발을 가능하게 하는 기반 기술을 제동하는데 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 차량에 청각 기능을 구현하여 수집되는 청각 정보를 이용하여 차량 상황을 판단하는 방법을 제공한다.
상기 방법은,
청각 센서를 이용하여 발생한 이벤트에 대한 청각 정보를 생성하는 단계;
수집부가 상기 청각 정보를 수집하는 단계; 및
제어부가 수집된 상기 청각 정보를 이용하여 차량 또는 상기 이벤트에 대한 현재 상황 정보를 산출하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 현재 상황 정보는 주행하는 차량과 상기 이벤트간 거리, 상기 이벤트의 발생 위치, 상기 이벤트의 종류, 상기 차량의 특정 부품의 상태 중 적어도 하나를 포함하는 것을 특징으로 한다.
또한, 상기 산출하는 단계는, 상기 제어부가 상기 청각 정보로부터 입사각(DOA: Direction Of Arrival) 정보를 추정하는 단계; 및 상기 제어부가 상기 입사각 정보를 이용하여 상기 발생한 이벤트를 검출하여 분류하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 청각 정보중 특정 주파수 대역에서만 등장하는 음원의 경우, 전처리단에서 상기 특정 주파수 대역에서 추출되는 특징 및 상기 분류 결과에 미리 설정되는 가중치를 적용하는 것을 특징으로 한다.
또한, 상기 청각 정보중 특정 길이 이하 또는 이상으로만 발생하는 음원의 경우, 후처리단에서 길이 분석후 상기 길이에 따라 미리 설정되는 신뢰도를 반영하여 상기 발생한 이베트를 최종 분류하는 것을 특징으로 한다.
또한, 상기 차량의 특정 부품의 상태를 진단하기 위해, 상기 청각 정보중 음원의 차수 정보가 적용되며, 상기 차수 정보를 분석하기 위해 RPM(Rotations Per Minute)-주파수(Frequency) 맵 및 차수 분석 기법이 특징으로 추가 적용되는 것을 특징으로 한다.
또한, 상기 청각 센서는 시간차 정보, 방위각 정보 및 고도 정보를 측정하는 것을 특징으로 한다.
또한, 상기 청각 센서는 차량 외부 또는 내부에 장착 가능한 형태로 멀티 채널 마이크로폰 어레이 구조를 갖는 것을 특징으로 한다.
또한, 상기 멀티 채널 마이크로폰 어레이에는 적어도 2개 이상의 마이크로폰이 원반 형태의 기판의 원주면의 가장자리에 일정한 간격으로 배치되는 것을 특징으로 한다.
또한, 상기 일정한 간격은 상기 청각 정보를 분류하기 위해 음원 최소 길이 파장의 절반보다 작은 것을 특징으로 한다.
본 발명에 따르면, 자율 주행 또는 일반 운전자 주행시 시각과 촉각으로 판정하기 어려운 다양한 상황을 청각 정보(즉 음향 데이터)를 이용하여 보다 진보된 미래 기술 개발이 가능하다.
또한, 본 발명의 다른 효과로서는 고도화를 위해 이미지 정보에 청각 정보를 추가하여 정확도 향상 및 자율주행 레벨 향상이 가능하다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 외부 음향 신호 데이터 수집, 상황 판단 기술에 필요한 시간차/주파수 범위/방위각 정보 수집이 가능하며, 차량 적용가능한 최소화 사이즈를 적용하는 것이 가능하다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 이벤트 상황(유형)에 따라 2차 플랫폼 사업으로 확대 가능하다는 점을 들 수 있다. 즉, 주요 관공소에 필요한 정보를 실시간 공유할 수 있다. 또한, 위험 또는 응급 상황 발생시 주변 차량, 보험관련 업체 및 지역에 정보 공유를 통한 비즈니스 모델 구축이 가능하다.
도 1은 본 발명의 일실시예에 따른 차량에 청각 정보를 위한 센서를 설치한 개념도이다.
도 2는 본 발명의 일실시예에 따른 청각 센서의 외관을 보여주는 사시도이다.
도 3은 본 발명의 일실시예에 따른 청각 정보기반 차량 상황 판단 시스템의 구성 블럭도이다.
도 4는 본 발명의 일실시예에 따른 청각 정보를 입력 데이터로 하여 DOA(Direction Of Arrival) 추정 및 소리 이벤트 검출 과정을 보여주는 개념도이다.
도 5는 도 4에 도시된 DOA(Direction Of Arrival) 추정 및 소리 이벤트 검출 아키텍처이다.
도 6은 본 발명의 일실시예에 따른 이벤트 종류를 판정하는 알고리즘이다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 청각 정보기반 차량 상황 판단 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 차량(110)에 청각 정보의 생성을 위한 청각 센서(130)를 설치한 개념도이다. 도 1을 참조하면, 즉 차량(110)의 천장 또는 후방에 지지대(120)를 설치하고, 이 지지대(120)에 청각 센서(130)를 설치한다.
청각 센서(130)는 지지대(120)에 설치되어, 운전자의 시야범위에서 벗어나는 영역에서 발생하는 문제 이벤트(즉 음향)를 감지하여 청각 정보를 생성한다. 또한, 청각 센서(130)를 후방 테일 게이트 또는 차체에 설치할 수도 있다. 전방은 시각정보로 충분하므로 청각 센서(130)를 차량의 후방에 위치시켜 측면, 후방 이벤트를 감지할 수 있다.
이 청각 정보를 이용하여 이벤트의 발생위치에 대한 추정이 가능하다.
청각 센서(130)에 의해 생성된 청각 정보는 목적 데이터로 수집되며 신경망을 이용하는 딥러닝의 입력 데이터로 활용될 수 있다. 신경망은 입력층과 출력층 사이에 여러층의 은닉층이 있는 구조로 되어 있다.
이는 인간이 데이터 처리에 대한 절차나 규칙을 제시해주지 않아도 기계가 스스로 데이터를 통해 처리규칙을 학습하여 처리하는 방식이다. 신경망은 DNN(Deep Neural Network), CNN(Convolution Neural Network), RNN(Recurrent Neural Network)이 사용될 수 있다.
청각 센서(130)는 자율주행 라이더(Light Detecting And Ranging) 디자인을 변형하여 적용할 수도 있다. 이 경우, 일체감 및 익숙함 등과 같은 장점이 있다. 또한, 라이더 대비 낮은 높이로 설계하고, 공력을 고려한 경사로 구성할 수 있다.
청각 센서(130)는 가청 음파, 초음파, 마이크로웨이브 등을 검출하는 센서로서, 마이크로폰, 소나, 레이더 센서 등이 될 수 있다.
마이크로폰은 다수개가 원주면의 가장자리에 일정한 간격으로 위치될 수 있다. 간격의 설정은 최대 주파수 대역을 고려한 멀티 채널 마이크로폰 어레이 간격(d)이 설정 근거가 될 수 있다. 멀티 채널 마이크로폰 어레이 간격(d)은 아래 수학식을 만족해야 된다.
여기서, d는 마이크로폰 어레이간 간격이고, λmin은 소스의 파장이다.
위 식은 Nyquist sampling theorem과 푸리에 변환(Fourier Transform)에 기반한 수식으로 마이크 어레이 사이의 거리가 음원 최소길이 파장의 절반보다 작아야 로컬화(localization)을 할 수 있다는 것을 의미한다. 부연하면, 로컬화는 미리 따 놓은 3D 맵을 기반으로 이벤트가 발생한 위치의 정확도를 구하기 위해 구간을 정밀하게 줄여가는 기술이다.
10kHz 주파수를 가지는 공기를 통해 전달되는 음원에 대해 적용해 보면 다음식과 같다.
여기서, vair는 공기중 소리의 속도로 340m/s이다.
마이크 어레이 사이의 간격이 1.7cm이하가 되어야 한다는 결론이 도출된다.
한편, 12kHz 주파수를 가지는 공기를 통해 전달되는 음원에 대해 적용해 보면 다음식과 같다.
여기서, vair는 공기중 소리의 속도로 340m/s이다.
마이크 어레이 사이의 간격이 1.42cm이하가 되어야 한다는 결론이 도출된다.
이러한 멀티 채널 마이크로폰 간격을 통해 시간 차이가 발생하는 데, 이를 이용하여 거리를 추정할 수 있다.
또한, 마이크 수집 데이터를 통해 방위각(Azimuth)을 산출할 수 있고, 이 방위각을 통해 위치를 추정할 수 있다.
도 2는 청각 센서(130)의 외관을 보여주는 사시도이다. 도 2를 참조하면, 기판을 둘러싸는 하우징(210)이 구성된다. 하우징(210)의 재질로는 주로 플라스틱, 엔지니어링 플라스틱 등이 사용되나, 이에 한정되는 것은 아니며 알루미늄 합금 등이 사용될 수도 있다.
또한, 하우징(210)의 윗면에는 소리(음파)가 유입되도록 유입홀(220)이 형성된다.
도 3은 본 발명의 일실시예에 따른 청각 정보기반 차량 상황 판단 시스템(300)의 구성 블럭도이다. 도 3을 참조하면, 차량 상황 판단 시스템(300)은, 청각 정보를 생성하는 제 1 내지 제 n 청각 센서(140-1 내지 140-n), 청각 정보를 수집하는 수집부(320), 청각 정보를 이용하여 현재 상황 정보를 생성하는 제어부(330), 현재 상황 정보를 외부로 전송하는 통신부(340), 통신망(350)과 연결되어 현재 상황 정보를 수신하여 현재 상황 정보와 관련한 정보를 제공하는 관리 서버(360) 등을 포함하여 구성될 수 있다.
제 1 내지 제 n 청각 센서(140-1 내지 140-n)는 차량 외부 및/또는 내부에 일정 간격 또는 특정 부위에 배치되어 차량 내부 및/또는 외부에서 발생하는 이벤트에 대한 청각 정보를 생성하는 기능을 수행한다. 즉, 이벤트를 감지하여 청각 정보를 생성한다. 이벤트 감지는 응급차량(예를 들면, 소방차, 엠블런스, 경찰차 등을 들 수 있음), 위험신호(예를 들면, 구조요청, 총소리, 충돌 사고 소리 등을 들 수 있음), 주행 안전(이륜차, 스쿨존내 학생들 소리 등을 들 수 있음) 등이 될 수 있다.
제 1 내지 제 n 청각 센서(140-1 내지 140-n)는 청각 센서는 시간차 정보, 방위각 정보 및 고도 정보를 측정하는 기능을 수행한다.
수집부(320)는 제 1 내지 제 n 청각 센서(140-1 내지 140-n)와 연결되어 제 1 내지 제 n 청각 센서(140-1 내지 140-n)에서 생성되는 청각 정보를 수집하는 기능을 수행한다.
제어부(330)는 청각 정보를 이용하여 현재 상황 정보를 생성하는 기능을 수행한다. 부연하면, 제어부(330)는 제 1 내지 제 n 청각 센서(140-1 내지 140-n)에서 생성되는 청각 정보를 이용하여 주행하는 차량과 발생한 상기 이벤트간 거리, 이벤트의 발생 위치, 이벤트의 종류, 차량의 특정 부품의 상태 등의 현재 상황 정보를 생성한다.
또한, 제어부(330)는 이벤트 종류가 감지된 거리와 현재 주행중인 차량과의 거리 변화를 통해 주행 안내를 제공할 수도 있다. 물론, 이경우, 내비게이션 시스템과 연계될 수 있다.
한편, 제어부(330)는 모빌리티를 위해 구성되는 특정 주요 부품(예를 들면, 인휠 모터 등을 들 수 있음)을 진단하여 현재 상태를 판단할 수 있다.
관리 서버(160)는 현재 상황 정보를 수신하여 현재 상황 정보와 관련한 정보를 제공하는 기능을 수행한다. 부연하면, 차량간 통신을 이용한 정보, 주요 관공서 정보, 보험사 연계 B2B 플랫폼 기반 기술 정보 등을 활용할 수 있도록 제공할 수 있다. 이를 위해 관리 서버(160)는 다른 외부 서버들(통신사 서버, 보험사 서버, 관공서 서버, 공유 서버 등을 들 수 있음)과 연계될 수 있다.
도 4는 본 발명의 일실시예에 따른 청각 정보를 입력 데이터로 하여 DOA(입사각: Direction Of Arrival) 추정 및 소리 이벤트 검출 과정을 보여주는 개념도이다. 도 5를 참조하면, 청각 센서(310-1 내지 310-n)에 의해 생성된 청각 정보(즉 멀티 채널 오디오)가 입력된다(단계 S410).
이후, 제어부(330)는 이벤트 로컬화 및 검출을 진행한다(단계 S420). 부연하면, 이벤트가 발생하면, 이 이벤트를 일으키는 대상을 평가하게 된다. 예를 들면, 방향각(azimuth) 및 고각(elevation)을 이용하여 스피치(speech), 개짖음(dog bark), 차량 소리(car) 등의 입사각 정보를 추정한다. 부여하면, 스피치, 개짖음, 차량 소리에 따라 방향각, 고각이 다르다. 즉, 특정 소리로 발생한 이벤트를 한정한다.
이후, 추정된 입사각 정보에 따라 이벤트의 종류를 검출한다. 입사각 정보에 따라 스피치, 개짖음, 차량 소리를 분류한다.
도 5는 도 4에 도시된 DOA(Direction Of Arrival) 추정 및 소리 이벤트 검출 아키텍처이다. 도 5를 참조하면, 입력 사이즈를 "n_채널 × n_프레임 × n_특징"으로 하여 출력 사이즈는 "n_프레임 × n-클래스"가 된다. 이를 위해, 7개의 프로세스 블럭(Block Ⅰ내지 Block Ⅶ이 입력단과 출력단 사이에 구성된다.
프로세스 블럭Ⅰ(Block Ⅰ의 경우, BN(Batch Normalization), ReLU(Rectifier Linear Unit) 등을 적용한다. BN(Batch Normalization)은 신경망의 훈련을 가속화하고 안정화하는 기술이다. ReLU는 활성화 함수로서 입력값이 0보다 작으면 0이고, 0보다 크면 입력값 그대로 내보낸다.
프로세스 블럭Ⅱ(Block Ⅱ의 경우, 평균 풀링(Average pooling)을 적용하여, 음원 데이터를 작은 사이즈의 음원으로 줄이는 과정이다.
프로세스 블럭Ⅲ(Block Ⅲ의 경우, 양방향 GRU(Gated Recurrent Unit)를 적용한다. GRU에서는 업데이트 게이트와 리셋 게이트 두 가지 게이트만이 존재하며, 양방향 GRU는 순환 네트워크에 같은 정보를 다른 방향으로 주입하여 정확도를 높이고 기억을 좀 더 유지하도록 한다.
프로세스 블럭Ⅳ(Block Ⅳ의 경우, 전체 가중치(weight)를 계산에 참여시키는 것이 아닌 층(layer)에 포함된 가중치 중에서 일부만 참여시키기 위해 드롭아웃(Dropout)을 사용한다. 드롭아웃은 신경망의 뉴런을 부분적으로 생략하여 모델의 과적합(overfitting)을 해결해주기 위한 방법 중 하나이다.
전처리된 시/공간 데이터를 기존 학습 가중치와 연결하여 최종 학습단에 사용한다. 물론, 시간 데이터 및/또는 공간 데이터를 생성하고, 이를 전처리하는 과정이 선행된다.
프로세스 블럭Ⅴ(Block V)의 경우, 각 층(layer)의 모든 노드(뉴런)들이 그 다음 층의 모든 노드들과 하나도 빼놓지 않고 모두 연결되어 있는, fully connected된 신경망을 의미한다. 이 층은 신경망에서 사용되는 레이어로 입력과 출력을 모두 연결해준다. 예를 들어, 입력 뉴런이 4개, 출력 뉴런이 8개라고 할때 총 연결선은 4x8=32개가 된다. 각 연결선은 가중치(weight)를 포함하고 있는데 연결강도를 의미한다.
프로세스 블럭Ⅵ(Block Ⅵ의 경우, 학습된 결과를 시그모이드(sigmoid) 형태로 출력한다. Sigmoid　는 S자와 유사한 완만한 시그모이드 커브　형태를 보이는 함수이다.
프로세스 블럭Ⅶ(Block Ⅶ의 경우, Temporal sequence 신호를 time series로 변환하기 위해 신호를 보간(interpolation)하고, 이를 균일 시간 간격으로 샘플링한다.
채널 특징점을 사전 학습된 모델에 적용하여 가중치를 뽑고, 채널 음원 데이터를 활용하여 가중치를 재구성하고, 이에 따라 음원 데이터 분류 모델을 생성한다.
또한, 모델 학습전 클래스(이벤트)별 특징 분포 분석(즉, BN)을 통해 outlier를 최소화한다. 즉, 판단 정확도 향상을 위해 데이터를 처리한다. 부연하면, 클래스(이벤트)별 특징점의 분포를 미리 분석하여 특징 분포 분석을 생성한다.
또한, 클래스(음향 이벤트)별 소리 특성의 통계적 분석 결과에 따른 전처리 및 후처리를 수행한다. 부연하면, 전처리단에서 특정 주파수 대역에서만 등장하는 음원은 해당 주파수 대역에서 추출된 특징과 분류 결과에 가중치를 적용하여 판단한다.
또한, 특정 길이 이하 또는 이상으로만 발생하는 음원의 경우, 후처리단에서 길이 분석후 길이에 따라 미리 설정되는 신뢰도를 반영하여 최종 분류한다.
사람의 음성이 포함된 음원의 경우, 음성 발음 정보가 상황 판단에 중요할 수 있으므로, 음성 인식 결과와 앙상블하여 상황을 판단하여 정확도를 향상시킨다.
한편, 차량의 상태를 진단하는 경우, 진단 대상이 되는 음원의 차수 정보를 분석하기 위하여 RPM(Rotations Per Minute)-주파수(Frequency) 맵을 비롯한 기타 차수 분석(Order analysis) 기법을 특징으로 추가 입력할 수 있다. 예를 들면, 모터 또는 엔진 회전수에 기반하여 데이터를 추출한다.
음원 인지 결과를 종합하여 주변 환경을 판단하고, 해당 환경에서 절대 발생할 수 없은 음원의 경우, 추정 결과에서 제외한다. 따라서, 판단 정확도를 향상시킬 수 있다. 즉, 사전 pre-training model 적용을 통한 강건성을 확보할 수 있다.
방송이나 음악 컨텐츠의 경우, 아주 다양한 음원이 발생하여 음원(즉 소리) 및 주변 환경 판단에 혼란을 줄 우려가 있다. 따라서, 인지되는 소리들을 기반으로 현재 상황을 판단하여 컨첸츠로 인한 오인지 결과를 완화할 수 있다. 부연하면, 차량내 오디오 또는 스마트 기기의 음악/음원 관련 콘텐츠인지를 판단하는 알고리즘을 적용한다. 물론, 이를 위해서는 데이터베이스가 구축되며, 기계 학습을 통해 업데이트를 진행할 수 있다.
도 6은 본 발명의 일실시예에 따른 이벤트 종류를 판정하는 알고리즘이다. 도 6을 참조하면, 멀티-라벨 멀티-클래스 분류(multi-label multi-class classification) 알고리즘을 이용하여 SED(Sound Event Detection) 예측을 수행한다(단계 S610-1). Multi-class는 다중의 class가 존재할 수 있는 아웃풋(output)에서, 하나를 선택하는 것이고, Multi-label은, 다중의 정답이 동시에 존재할 수 있다.
또한, 방위각(Azimuth) 및 고도 예측을 수행한다(단계 S610-2,S610-3).
이후, 입력 정보를 연결하는 합치기 작업(Concatenation)이 수행된다(단계 S620). 이 합치기 작업의 경우, 다음과 같다.
n_frames = 60
n_sound_classes = 14
n_azimuths = 72
n_elevations = 19
이후, X,Y,Z 좌표를 구하고, 사운드 클래스를 선택하고, X,Y,Z 좌표를 순차적으로 선택한다(단계 S630,S640).
110: 차량 120: 지지대
130: 청각 센서
210: 하우징 220: 유입홀
230: 케이블
310-1 내지 410-n: 제 1 내지 제 n 청각 센서
320: 수집부 330: 제어부
340: 통신부 350: 통신망
360: 관리 서버

Claims (10)

  1. 청각 센서를 이용하여 발생한 이벤트에 대한 청각 정보를 생성하는 단계;
    수집부가 상기 청각 정보를 수집하는 단계; 및
    제어부가 수집된 상기 청각 정보를 이용하여 상기 이벤트에 대한 현재 상황 정보를 산출하는 단계;
    를 포함하는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  2. 제 1 항에 있어서,
    상기 현재 상황 정보는 주행하는 차량과 상기 이벤트간 거리, 상기 이벤트의 발생 위치, 상기 이벤트의 종류, 상기 차량의 특정 부품의 상태 중 적어도 하나를 포함하는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  3. 제 2 항에 있어서,
    상기 산출하는 단계는,
    상기 제어부가 상기 청각 정보로부터 입사각(DOA: Direction Of Arrival) 정보를 추정하는 단계; 및
    상기 제어부가 상기 입사각 정보를 이용하여 상기 발생한 이벤트를 검출하여 분류하는 단계;를 포함하는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  4. 제 3 항에 있어서,
    상기 청각 정보중 특정 주파수 대역에서만 등장하는 음원의 경우, 전처리단에서 상기 특정 주파수 대역에서 추출되는 특징 및 상기 분류 결과에 미리 설정되는 가중치를 적용하는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  5. 제 3 항에 있어서,
    상기 청각 정보중 특정 길이 이하 또는 이상으로만 발생하는 음원의 경우, 후처리단에서 길이 분석후 상기 길이에 따라 미리 설정되는 신뢰도를 반영하여 상기 발생한 이베트를 최종 분류하는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  6. 제 2 항에 있어서,
    상기 차량의 특정 부품의 상태를 진단하기 위해, 상기 청각 정보중 음원의 차수 정보가 적용되며, 상기 차수 정보를 분석하기 위해 RPM(Rotations Per Minute)-주파수(Frequency) 맵 및 차수 분석 기법이 특징으로 추가 적용되는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  7. 제 2 항에 있어서,
    상기 청각 센서는 시간차 정보, 방위각 정보 및 고도 정보를 측정하는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  8. 제 7 항에 있어서,
    상기 청각 센서는 차량 외부 또는 내부에 장착 가능한 형태로 멀티 채널 마이크로폰 어레이 구조를 갖는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  9. 제 8 항에 있어서,
    상기 멀티 채널 마이크로폰 어레이에는 적어도 2개 이상의 마이크로폰이 원반 형태의 기판의 원주면의 가장자리에 일정한 간격으로 배치되는 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
  10. 제 9 항에 있어서,
    상기 일정한 간격은 상기 청각 정보를 분류하기 위해 음원 최소 길이 파장의 절반보다 작은 것을 특징으로 하는 청각 정보기반 차량 상황 판단 방법.
KR1020220166633A 2022-12-02 2022-12-02 청각 정보기반 차량 상황 판단 방법 KR20240082718A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220166633A KR20240082718A (ko) 2022-12-02 2022-12-02 청각 정보기반 차량 상황 판단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220166633A KR20240082718A (ko) 2022-12-02 2022-12-02 청각 정보기반 차량 상황 판단 방법

Publications (1)

Publication Number Publication Date
KR20240082718A true KR20240082718A (ko) 2024-06-11

Family

ID=91471547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220166633A KR20240082718A (ko) 2022-12-02 2022-12-02 청각 정보기반 차량 상황 판단 방법

Country Status (1)

Country Link
KR (1) KR20240082718A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170055724A (ko) 2015-11-12 2017-05-22 리모트솔루션주식회사 차량과 차량간 위험상황 알림 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170055724A (ko) 2015-11-12 2017-05-22 리모트솔루션주식회사 차량과 차량간 위험상황 알림 방법

Similar Documents

Publication Publication Date Title
US20210103747A1 (en) Audio-visual and cooperative recognition of vehicles
US10810881B2 (en) Method of providing sound tracking information, sound tracking apparatus for vehicles, and vehicle having the same
US11003414B2 (en) Acoustic control system, apparatus and method
EP3675121B1 (en) Computer-implemented interaction with a user
CN108226854B (zh) 提供后车的可视化信息的装置和方法
CN107179119B (zh) 提供声音检测信息的方法和装置以及包括该装置的车辆
US11322019B2 (en) Emergency vehicle detection
JP6977004B2 (ja) 車載装置、発声を処理する方法およびプログラム
US9733346B1 (en) Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same
CN107176123B (zh) 声音检测信息提供方法、车辆周围声音检测装置及车辆
CN107305772B (zh) 用于提供声音检测信息的方法、装置及包括该装置的车辆
US20200043498A1 (en) Artificial intelligence apparatus and method for recognizing speech of user in consideration of word usage frequency
US11516613B1 (en) Emergency sound localization
JP7256086B2 (ja) 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体
CN113963692A (zh) 一种车舱内语音指令控制方法及相关设备
Furletov et al. Auditory scene understanding for autonomous driving
Cabrera-Ponce et al. Detection of nearby UAVs using CNN and Spectrograms
Cheng et al. Spectrogram-based classification on vehicles with modified loud exhausts via convolutional neural networks
KR20240082718A (ko) 청각 정보기반 차량 상황 판단 방법
US20220272448A1 (en) Enabling environmental sound recognition in intelligent vehicles
Bhandarkar et al. Vehicular mechanical condition determination and on road traffic density estimation using audio signals
Hao et al. Acoustic Non-Line-of-Sight Vehicle Approaching and Leaving Detection
Jadhav et al. Roadside acoustic signals based road traffic density estimation
KR20240035003A (ko) 점진적 머신 러닝 기법을 이용한 cnn 기반 음원 인식 시스템 및 방법
Suh et al. Deep Learning-Based Hazardous Sound Classification for the Hard of Hearing and Deaf