KR101768145B1 - 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량 - Google Patents

음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량 Download PDF

Info

Publication number
KR101768145B1
KR101768145B1 KR1020160048643A KR20160048643A KR101768145B1 KR 101768145 B1 KR101768145 B1 KR 101768145B1 KR 1020160048643 A KR1020160048643 A KR 1020160048643A KR 20160048643 A KR20160048643 A KR 20160048643A KR 101768145 B1 KR101768145 B1 KR 101768145B1
Authority
KR
South Korea
Prior art keywords
vehicle
sound
opposite lane
probability
factor
Prior art date
Application number
KR1020160048643A
Other languages
English (en)
Inventor
김재광
장윤호
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160048643A priority Critical patent/KR101768145B1/ko
Priority to US15/389,319 priority patent/US9858813B2/en
Priority to CN201611255221.9A priority patent/CN107305772B/zh
Application granted granted Critical
Publication of KR101768145B1 publication Critical patent/KR101768145B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8003Diversity systems specially adapted for direction finding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Abstract

본 발명은 차량 주변에서 주행하는 상대 차량을 정확히 인식해 낼 수 있는 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 관한 것이다. 본 발명의 일 실시예에 따른 음향 추적 정보 제공 방법은, 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 단계; 상기 음향 추적 결과를 기초로 반대차선차량의 유무에 대한 판단의 기초가 되는 반대차선차량 검출지수를 산출하는 반대차선차량 검출부; 및 상기 반대차선차량 검출지수에 따라 상기 자차의 주변에서 주행하는 상대차량에 대한 알림을 생성하는 알림 생성부를 포함하고, 상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 상대 차량이 각도 별로 존재할 확률에 대한 정보일 수 있다.

Description

음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량{METHOD FOR PROVIDING SOUND DETECTION INFORMATION, APPARATUS DETECTING SOUND AROUND VEHICLE, AND VEHICLE INCLUDING THE SAME}
본 발명은 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 관한 것으로, 더욱 상세하게는 차량 주변에서 주행하는 상대 차량을 정확히 인식해 낼 수 있는 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 관한 것이다.
운행 중인 차량 주변에서는 다양한 소리가 발생한다. 그러나, 청각 능력의 손실이 있는 고령자나 청각 방향 감각이 좋지 않은 운전자는, 운전자가 주의해야 할 특정 소리(예컨대, 경적 소리, 싸이렌 소리 등)에 대한 반응이 둔감할 수 있다. 또한, 차량의 차음 기술의 발달로 인해, 차량의 외부에서 발생하는 소음에 대해서 청력이 좋은 사람이라도 차량 외부에서 발생하는 소리를 정확하게 힘든 경우가 많다. 그리고, 후방에서 발생한 특정 소리를 인지한 운전자가 확인하려 뒤돌아 보게 되어, 안전 운행에 위협이 될 수도 있다.
따라서, 운행 중 운전자가 차량 주변에서 발생한 소리가 무엇인지, 어느 방향에서 발생되었는지 여부 등의 특정 소리에 대한 정보를 안전 운행에 방해가 되지 않고 알려줄 필요가 있다. 특히, 차량 주변에는 복수의 차량들이 함께 주행하고 있을 수 있으며, 이러한 복수의 차량들에 대한 알림을 발생하여, 안전 운행에 도움을 줄 필요가 있다.
본 발명은 차량 주변에서 운행 중인 복수의 상대 차량들에 대한 정확한 정보를 제공할 수 있는 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 음향 추적 정보 제공 방법은, 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 단계; 상기 음향 추적 결과를 기초로 반대차선차량의 유무에 대한 판단의 기초가 되는 반대차선차량 검출지수를 산출하는 반대차선차량 검출부; 및 상기 반대차선차량 검출지수에 따라 상기 자차의 주변에서 주행하는 상대차량에 대한 알림을 생성하는 알림 생성부를 포함하고, 상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 상대 차량이 각도 별로 존재할 확률에 대한 정보일 수 있다.
본 발명의 일 실시예에 따른 차량용 음향 추적 장치는, 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 음향 추적부; 상기 음향 추적 결과를 기초로 반대차선차량의 유무에 대한 판단의 기초가 되는 반대차선차량 검출지수를 산출하는 반대차선차량 검출부; 및 상기 반대차선차량 검출지수에 따라 상기 자차의 주변에서 주행하는 상대차량에 대한 알림을 생성하는 알림 생성부를 포함하고, 상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 상대 차량이 각도 별로 존재할 확률에 대한 정보일 수 있다.
본 발명의 일 실시예에 따른 차량은, 자차의 주변에서 발생되는 소리를 감지하여 음향 데이터를 생성하는 다채널 마이크; 상기 음향 데이터를 기초로 생성된 음향 추적 결과를 기초로 반대차선차량의 유무에 대한 판단의 기초가 되는 반대차선차량 검출지수를 산출하고, 상기 반대차선차량 검출지수에 따라 상기 자차의 주변에서 주행하는 상대차량에 대한 알림을 생성하는 음향 추적 장치; 및 상기 상대 차량에 대한 알림을 운전자에게 시각적 또는 청각적으로 알려주는 알림 출력부를 포함하며, 상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보일 수 있다.
상기와 같이 구성되는 본 발명의 일 실시예에 따른 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 의하면, 자차의 반대차선을 주행하는 반대차선차량의 유무를 정확히 검출할 수 있는 효과가 있다.
또한, 반대차선차량인지 여부에 따라 차량 검출에 의한 운전자 알림을 선택적으로 발생시키지 않음으로써 안전운행에 도움을 줄 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 차량을 나타낸 도면이다.
도 2는 도 1에 도시된 음향 추적 장치를 보다 상세히 나타낸 블록도이다.
도 3은 도 2에 도시된 음향 추적 장치의 동작 방법을 나타낸 흐름도이다.
도 4는 도 3에 도시된 S50 단계를 보다 상세히 나타낸 흐름도이다.
도 5 및 도 6은 반대차선에서 주행하는 상대 차량을 검출하는 일 예를 설명하기 위한 도면이다.
도 7은 제1 팩터를 계산하는 일 예를 설명하기 위한 도면이다.
도 8은 제2 팩터를 계산하는 일 예를 설명하기 위한 도면이다.
도 9와 도 10은 제3 팩터를 계산하는 일 예를 설명하기 위한 도면이다.
도 11은 반대차선차량 검출지수를 산출하는 일 예를 설명하기 위한 도면이다.
도 12는 반대차선차량 검출지수를 산출한 결과를 나타낸 도면이다.
도 13은 반대차선에서 주행하는 상대 차량을 검출하는 다른 예를 설명하기 위한 도면이다.
이하, 본 발명과 관련된 적어도 하나의 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 차량을 나타낸 도면이다.
도 1을 참조하면, 차량(10)은 운전자의 조작에 따른 운행 중에 차량 주변에서 발생한 소리가 무엇인지, 어느 방향에서 발생되었는지 여부 등의 특정 소리에 대한 정보를 생성하여 운전자에게 알림을 줄 수 있다.
차량(10)은 차량(10)의 외부의 소리를 수집할 수 있는 다채널 마이크(50)와, 마이크(50)가 수집한 음향 정보를 기초로 특정 소리에 대한 정보를 생성할 수 있는 음향 추적 장치(100)를 포함할 수 있다. 다채널 마이크(50)의 각 마이크는 하나의 채널(channel)로 이해될 수 있다. 다채널 마이크(50)의 개수(3개)와 차량(10)에 대한 설치 위치는 도 1에 도시된 것에 한정되지 않는다.
도 2를 참조하여 음향 추적 장치(100)의 구체적인 동작에 대해 후술하기로 한다.
도 2는 도 1에 도시된 음향 추적 장치를 보다 상세히 나타낸 블록도이다.
도 2를 참조하면, 음향 추적 장치(100)는 신호 처리부(110), 데이터 저장부(120), 음향 인식부(130), 음향 추적부(140), 차량 검출부(150), 반대차선차량 검출부(160) 및 알림 생성부(170)를 포함할 수 있다. 음향 추적 장치(100)는 차량용으로 설계되는 것으로 차량(10)의 헤드 유닛(head unit)의 일부로 구현될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
다채널 마이크(50)는 차량(10)의 주변에서 발생한 소리를 감지하여 아날로그-디지털 변환을 통해 음향 데이터를 생성하여 신호 처리부(110)로 전송할 수 있다.
차량 주변에는 다양한 소리가 존재한다. 차량 주변에 위치한 다른 차량들의 엔진 소리 또는 타이어 마찰음, 신호등, 전광판 등에서 발생하는 소리, 일반적인 자연의 소리 등이 존재한다.
운전자는 차량(10)의 주행중 전방 또는 측방에서 주시 불가능한, 후측방 또는 후방에서 주행하는 차량의 상태(예컨대, 추월하려는 차량인지 여부) 및 그 차량의 상대적인 위치를 알고 싶어 한다.
외부의 소리 중 일부는 차량(10)의 방음 시스템을 뚫지 못해 운전자에게 전달되지도 않는데, 운전자는 차량(10) 외부에서 경적 소리가 들리면 이 경적 소리가 어느 방향에서 발생한 것인지, 자신의 차량 향한 것인지 아닌지 알고 싶어한다. 경적 소리의 인지에 따라서 운전자는 차량의 속도를 감소시키거나, 차선을 변경하거나, 비상등을 작동시키는 등의 다양한 조치를 취할 수 있다.
또한, 운전자가 차량의 오디오 시스템의 볼륨을 너무 높게 설정한 나머지 주변의 경적 소리가 운전자에게 들리지 않을 수도 있는데, 이 경우 운전자의 안전을 위해 시각적으로, 또는 차량의 오디오 시스템을 통해 운전자의 차량 주변에서 경적이 발생했다는 사실을 알려줄 필요가 있다.
운전자는 다른 소리에도 관심이 있을 수 있다. 예를 들어, 차량이 급정거할 때에는 타이어와 지면 사이의 마찰에 의해 커다란 마찰음이 발생한다. 이러한 마찰음은 교통 사고의 발생 또는 교통 사고 직전의 상황과 관련 있을 수 있고, 따라서 운전자에게 주의를 요구한다. 또 다른 예시로서, 차량이 다른 차량과 충돌하는 사고가 발생하면 충돌음이 발생한다. 전방 또는 측면 등의 충돌음을 인지하여 운전자에게 충돌음이 일어난 방향에 대한 정보를 제공하면 후속 사고를 미연에 방지할 수 있다.
운전자 주위에서 경찰 또는 구급차 등의 싸이렌이 울리는 경우, 운전자는 해당 차량이 지나갈 수 있도록 차선을 옮기는 등의 조치를 취해야 한다. 특정한 경우에, 필요한 조치를 취하지 않아 사용자는 법적 처벌을 받을 수 있다. 따라서, 공공기관에 속한 차량의 싸이렌 소리를 운전자가 인지하도록 할 필요성이 있다.
신호 처리부(110)는 획득된 음향 데이터에 대한 노이즈 필터링(noise filtering)을 수행할 수 있다. 이러한 노이즈 필터링을 통해 소리의 특성이나 출처를 파악하기 어려운 다양한 잡음이 제거될 수 있다. 또한, 경적소리, 싸이렌 소리, 타이어 마찰음, 충돌음과 같이 사용자가 관심 있어 하는 소리들의 대부분은 충분한 크기의 데시벨(예를 들어, 70dB 이상)을 갖는다. 따라서, 신호 처리부(110)는 노이즈 제거된 음향 데이터의 데시벨(즉, 크기)이 기준치 이상인지를 판단할 수 있다. 즉, 음향 데이터의 크기가 기준치 미만인 음향 데이터는 신호 처리부(110)에 의해 제거될 수 있다.
데이터 저장부(120)는 노이즈 제거된 음향 데이터를 저장할 수 있다. 데이터 저장부(120)는 음향 데이터를 프레임(frame) 단위로 저장할 수 있으며, 프레임 단위로 음향 인식부(130)에 제공할 수 있다. 상기 프레임은 동일한 시각에 수집된 음향 데이터를 의미할 수 있고, 프레임 간의 간격은 특정 주기(예컨대, 40ms, 100ms 등)를 가질 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
음향 인식부(130)는 음향 데이터의 특징을 판단한다. 미리 정해진 기준치 이상의 데시벨을 갖는 음향 데이터라 하더라도, 운전자에게 중요하지 않을 수 있다. 예를 들어, 기차 등이 지나갈 때 나는 소리나, 공항 근처에서 발생하는 비행기 소음 등은 상당히 높은 데시벨을 갖지만 운전에 크게 영향을 주지 않을 수 있다. 도로 복구나 재정비 공사 등을 할 때 발생하는 소음도 마찬가지이다. 오히려, 이러한 음향 데이터를 계속해서 운전자에게 알려주는 것은, 정작 운전자가 인지해야 할 필요성이 있는 상황에 대해 운전자의 반응 속도를 느리게 만들거나, 또는 운전자가 미처 반응하지 못하게 할 수도 있다.
음향 인식부(130)는 데이터 저장부(120)로부터 수신한 음향 데이터에 대하여, 시간 영역(time domain)과 주파수 영역(frequency domain)에서 특징 값을 추출한다. 음향 인식부(130)는 상기 특징 값의 평균 값과 분산 값을 데이터베이스로 구축할 수 있다. 여기서 특징 값은, MFCC(Mel-Frequency Cepstral Coefficients), 파워 스펙트럼(Total Spectrum Power), 서브밴드 파워(Sub-band Spectrum Power), 및/또는 피치 주파수(peach frequency)일 수 있다. 음향 인식부(130)는 음향 데이터에 대하여 소정의 시간 주기, 예를 들어 100ms 동안의 프레임에 대한 평균 값 및 분산 값을 데이터베이스에 저장할 수 있다.
음성신호처리 분야에서 MFC(Mel-Frequency Cepstrum)은 단구간 신호의 파워 스펙트럼을 표현하는 방법 중 하나이다. 이는 비선형적 Mel 스케일의 주파수 도메인에서 로그(log) 파워 스펙트럼에 코사인변환을 취하여 획득될 수 있다. MFCC는 여러 MFC를 모아 놓은 계수를 의미한다. MFCC는 일반적으로, 단구간의 소리 데이터(신호)에 프리엠파시스(pre-emphasis) 필터를 적용하고, 이 값에 DFT(Discrete Fourier Transform)을 적용한다. 이후 Melscale의 Filter Bank(Mel Filter Banks)를 이용해 파워 스펙트럼을 구하고, 각각의 Mel-scale의 파워에 로그를 취한다. 이렇게 하여 획득된 값에 DCT(Discrete Cosine Transform)를 수행하면 MFCC 값이 얻어진다.
전체 파워 스펙트럼은 소정 프레임 구간 내의 전체 스펙트럼의 에너지 분포를 의미하며, 서브밴드 파워는 통상 [0, ⅛f0], [⅛f0, ¼f0], [¼f0, ½f0], 및 [½f0, f0]와 같은 4개의 서브밴드 구간에서의 스펙트럼의 에너지 분포 값을 의미한다. 피치 주파수는 정규화된 자기상관(autocorrelation) 함수의 최고점을 검출하여 획득될 수 있다.
음향 인식부(130)는 이와 같이 획득된 음향 데이터에 대한 특징 값을 분류기를 통해 분류함으로써, 획득된 음향 데이터가 사용자가 관심 있어 하는 소리인지 여부를 판단할 수 있다. 상기 분류기는 NN(Neural Network) 분류기, SVM(Support Vector Machine) 분류기, 베이시안 분류기(bayesian classifier) 중 어느 하나일 수 있다.
본 명세서에서는 상기 분류기가 NN 분류기임을 예로 들어 설명하기로 한다.
음향 인식부(130)의 분류기는 음향의 종류별로 복수의 클래스(class)들로 분류하고 획득된 음향 데이터에 대한 특징 값을 이용해 상기 음향 데이터가 상기 복수의 클래스들과의 유사성을 근거로 신뢰 레벨(Confidence Level)을 계산할 수 있다. 즉, 상기 신뢰 레벨은 상기 음향 데이터가 특정 클래스의 음향에 해당할 확률을 의미할 수 있고, 상기 신뢰 레벨의 총합은 1일 수 있다.
음향 인식부(130)의 분류기가 생성하는 음향 분류 결과는 각 클래스, 각 클래스에 대응하는 음향 종류, 및 각 클래스에 대응하는 신뢰 레벨에 대한 정보를 포함할 수 있다.
음향 인식부(130)는 상기 신뢰 레벨이 기준치(예컨대, 0.7) 이상인지 여부에 따라 판단 결과를 생성하고 상기 음향 분류 결과에 포함시킬 수 있다. 즉, 상기 신뢰 레벨이 상기 기준치 이상인 경우, 음향 인식부(130)는 상기 신뢰 레벨에 대응하는 클래스의 음향 종류를 현재 음향 데이터의 종류로 판단할 수 있다.
따라서, 음향 인식부(130)는 음향 데이터의 특징을 분석하여, 상기 음향 데이터가 어떤 종류의 음향인지에 대한 정보인 음향 분류 결과를 생성할 수 있다.
음향 추적부(140)는 상기 신뢰 레벨이 상기 기준치 이상인 클래스의 음향 종류(또는 목표 음원)에 대해, 음향 데이터를 기초로 소리가 발생된 방향을 추적할 수 있다. 상기 음향 종류는 음향 인식부(130)로부터 제공될 수 있다.
음향 추적부(140)는 연속적인 프레임에 해당하는 음향 데이터를 축적하여, 소리의 시간적인 특징(파형)을 통해 각 마이크로 입력되는 소리의 동일성을 식별하고, 동일한 소리의 크기 비교, 및 각 마이크에 도달하는 소리의 도달 시간의 차이 값의 계산을 수행할 수 있다. 상기 시간적인 특징은 음향 인식부(130)에 의해 제공될 수도 있다.
소리의 크기는 거리의 제곱에 반비례하므로, 소리의 발생 위치로부터 거리가 2배 증가할 때, 소리의 크기는 1/4로 감소(약 6dB 감소)하게 된다. 통상적인 차량의 폭을 약 2m, 길이를 약 3m 정도로 가정할 때, 감지된 소리의 크기 차이는 소리가 발생된 지점의 위치에 따라서 충분히 유의미한 값을 가질 수 있다.
예를 들어, 도 1과 같이 다채널 마이크(50)가 배치된 경우, 차량의 우측 상단에서 소리가 발생하면, 상단에 위치한 마이크가 감지한 소리의 크기는 하단의 좌측과 우측에 위치한 마이크가 감지한 소리의 평균 크기보다 크게 된다. 또한, 하단의 우측에 위치한 마이크가 감지한 소리의 크기가 하단의 좌측에 위치한 마이크가 감지한 소리의 크기보다 크게 된다.
이러한 특성을 이용해 각 마이크로부터 수집된 소리의 크기를 이용해 차량(10)의 중심을 기준으로 한 대략적인 방향을 추적할 수 있다.
또한, 각 마이크에 도달하는 소리의 도달 시간의 차이 값(신호 딜레이)을 이용하여, 소리의 발생 위치에 대한 각도를 계산할 수 있다. 이때, 음향 추적부(140)는 소리의 발생 위치에 대한 각도와 각 마이크에 대응하는 신호 딜레이가 맵핑되어 있는 테이블을 미리 저장한다. 예를 들어, 상기 테이블에서 1도의 각도에는 t1(제1 마이크에 대한 신호 딜레이), t2(제2 마이크에 대한 신호 딜레이) 및 t3(제3 마이크에 대한 신호 딜레이)가 맵핑되어 있고, 1도의 각도에 추적 객체가 있을 확률은 데이터 저장부(120)에 저장된 마이크별 음향 데이터에 t1 내지 t3의 신호 딜레이를 각각 적용시킨 후 합산함에 의해 산출될 수 있다.
즉, 모든 각도에 대한 딜레이값을 현재 신호에 적용하여 각 각도에 추적 객체가 있을 확률을 구할 수 있다. 이를 통해, 소리의 발생 위치를 추정할 수 있다. 이는 소리의 발생 위치에 대한 각도 및 각 마이크에 대응하는 신호 딜레이의 조합은 서로 일대일 대응 관계에 있기 때문이다.
음향 추적부(140)는 이러한 정보들을 이용해, 시간에 따라 연속하는 프레임마다 각도(차량(10)의 중심을 기준으로 한 각도) 별 음향 추적 결과를 생성할 수 있다.
상기 음향 추적 결과는 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보일 수 있다.
본 명세서에서는 상기 목표 음원은 차량의 타이어 마찰음에 한정된다고 가정하기로 한다. 따라서, 상기 음향 추적 결과는 시간에 따라 연속하는 각 프레임에서 타이어 마찰음에 해당하는 객체(차량(10)(이하, '자차')의 주변에서 주행 중인 차량(이하, '상대 차량'))이 각도 별로 존재할 확률에 대한 정보일 수 있다.
차량 검출부(150)는 상기 음향 추적 결과의 각도 별로 상대 차량이 존재할 확률로부터, 상대 차량의 존재 여부, 상대 차량이 위치하는 각도, 등의 상대 차량 정보를 생성할 수 있다.
차량 검출부(150)는 반대차선차량 검출부(160)로부터 제공되는 정보를 기초로 상대 차량 정보에서 특정 상대 차량에 대한 정보를 제외시킬 수 있다.
차량 검출부(150)는 반대차선차량 검출부(160)로부터 제공되는 정보를 참조하여 수정된 상대 차량 정보를 검출 신호로서 알림 생성부(170)로 전달할 수 있다.
반대차선차량 검출부(160)는 상기 음향 추적 결과를 기초로 반대차선차량의 유무에 대한 판단의 기초가 되는 반대차선차량 검출지수를 산출하며, 이를 위해 제1 팩터(F1) 내지 제3 팩터(F3)를 계산할 수 있다. 반대차선차량 검출부(160)는 상기 산출된 반대차선차량 검출지수를 차량 검출부(150)에 제공할 수 있다.
반대차선차량 검출지수와 제1 팩터(F1) 내지 제3 팩터(F3)에 대해서는 도 4 내지 도 13을 참조하여 후술하기로 한다.
또한, 본 명세서에서는 상기 반대차선차량 검출지수를 통해 상대 차량 정보에서 특정 상대 차량에 대한 정보를 제외하는 경우에 대해 예시적으로 설명하나, 본 발명의 범위는 이에 한정되지 않고 상기 반대차선차량 검출지수는 다른 종류의 알림(예컨대, BSD(Blind Spot Detection)의 경고 알람시, 반대차선 차량에 대한 미경고) 또는 제어(예컨대, 자율주행시 1차선을 주행함을 인지하여 그에 따른 제어)에 이용될 수 있다.
알림 생성부(170)는 상기 상대 차량 정보를 포함하는 알림 신호를 생성할 수 있다.
알림 출력부(200)는 음향 추적 장치(100)에서 제공된 상기 알림 신호를 기초로 소리 발생 영역에 대한 정보를 운전자에게 제공한다. 알림 출력부(200)는 상기 정보를 시각적으로 또는 청각적으로 제공할 수도 있다. 두 가지 방법을 모두 이용하여 제공하는 것도 가능하다.
알림 출력부(200)는 차량(10)에 탑재된 HUD(Head Unit Display) 또는 클러스터(cluster)로 구현되어, 소리 발생 영역에 대한 정보를 시각적으로 제공할 수 있다. 또한, 알림 출력부(200)는 음향 추적 장치(100)와 CAN 버스 등과 같은 유선 통신으로 연결된 내비게이션이나, BLUETOOTH, NFC, Wi-Fi 등의 근거리 무선 통신으로 연결된 스마트 디바이스(스마트폰, 태블릿, 스마트 워치 등)로 구현되어 소리 발생 영역에 대한 정보를 운전자에게 제공할 수 있다.
도 3은 도 2에 도시된 음향 추적 장치의 동작 방법을 나타낸 흐름도이다. 도 4는 도 3에 도시된 S50 단계를 보다 상세히 나타낸 흐름도이다. 도 5 및 도 6은 반대차선에서 주행하는 상대 차량을 검출하는 일 예를 설명하기 위한 도면이다. 도 7은 제1 팩터를 계산하는 일 예를 설명하기 위한 도면이다. 도 8은 제2 팩터를 계산하는 일 예를 설명하기 위한 도면이다. 도 9와 도 10은 제3 팩터를 계산하는 일 예를 설명하기 위한 도면이다. 도 11은 반대차선차량 검출지수를 산출하는 일 예를 설명하기 위한 도면이다. 도 12는 반대차선차량 검출지수를 산출한 결과를 나타낸 도면이다. 도 13은 반대차선에서 주행하는 상대 차량을 검출하는 다른 예를 설명하기 위한 도면이다.
도 3을 참조하면, 도 2의 음향 추적 장치(100)의 동작 방법 즉, 음향 추적 정보 제공 방법이 도시되어 있다.
신호 처리부(110)는 차량(10)의 주변에서 발생한 소리를 감지하여 아날로그-디지털 변환을 통해 생성된 음향 데이터를 수신할 수 있다(S10).
신호 처리부(110)는 획득된 음향 데이터에 대한 노이즈 필터링을 수행하고, 데이터 저장부(120)는 노이즈 제거된 음향 데이터를 저장할 수 있다(S20).
음향 인식부(130)는 데이터 저장부(120)로부터 수신한 음향 데이터에 대하여, 시간 영역(time domain)과 주파수 영역(frequency domain)에서 특징 값을 추출하고, 특징 값을 분류기를 통해 분류함으로써, 음향 분류 결과를 생성할 수 있다(S30).
음향 추적부(140)는 상기 음향 분류 결과에서 신뢰 레벨이 기준치 이상인 클래스의 음향 종류에 대해, 음향 데이터를 기초로 시간에 따라 연속하는 각 프레임에서 음향 종류에 해당하는 객체가 존재할 확률이 각도 별로 제공되는 정보인 음향 추적 결과를 생성할 수 있다(S40).
차량 검출부(150)는 차량 검출 알고리즘을 수행하여, 상기 음향 추적 결과의 각도 별로 상대 차량이 존재할 확률로부터, 상대 차량 정보를 검출할 수 있다(S50).
상기 차량 검출 알고리즘은 상기 음향 추적 결과로부터 상대 차량을 검출하기 위한 알고리즘이다.
도 5를 참조하면, 차량(10) 즉, 자차가 주행하고 있고, 자차의 좌측으로 반대차선으로 주행하는 차량(이하, '반대차선차량')들이 10회 지나치는 주행 상황을 가정한다. 또한, 자차의 좌측 방향은 180도, 자차의 우측 방향은 360도로 정의하여, 자차의 후방측의 각도가 180도 내지 360도의 범위에서 정해진다고 가정하기로 한다.
도 6에서 도 5의 주행 상황에서 음향 추적부(140)가 생성한 음향 추적 결과를 시간에 따라 나타낸 그래프가 도시되어 있다. 그래프에서 명암이 어두워질수록 해당 각도 값에 상대차량이 존재할 확률이 높아질 수 있다. 상기 그래프의 가로축은 시간(sec)을 나타내며, 세로축은 각도(θ)를 나타낸다.
본 발명의 실시예에서는 후방(180도 내지 360도의 범위)이 아닌 전방(0도 내지 180도의 범위)에 대해서는 상대차량의 검출이 불필요하다는 전제하에 음향 추적부(140)가 전방(0도 내지 180도의 범위)에 대한 음향 추적 결과를 생성하지 않는다고 가정한다.
따라서, 도 6에서와 같이 전방(0도 내지 180도의 범위)에 대해서는 음향 추적 결과가 생성되지 않으며, 이로 인해 음향 추적 장치(100)의 동작 속도의 증가, 소모 전력의 감소 등의 효과를 가져올 수 있다.
도 6의 그래프는 제1 영역(A1) 내지 제10 영역(A10) 각각에서 반대차선차량이 자차의 좌측을 지나친 경우의 음향 추적 결과를 나타낸다.
만일, 음향 추적 장치(100)가 반대차선차량 검출부(160)의 동작없이 상대차량을 검출한다면, 차량 검출부(150)는 음향 추적 결과의 각 프레임에서 일정 확률(예컨대, 0.6) 이상을 갖는 각도에서 상대차량이 존재하는 것으로 검출하게 되므로, 제1 영역(A1) 내지 제10 영역(A10) 각각에서 상대차량이 좌측후방에 존재하는 정보를 포함하는 검출 신호를 생성할 수 있다.
따라서, 자차의 운행에 영향이 없는 반대차선차량을 감지한 검출 신호를 기초로 운전자 알림이 발생되며, 운전자는 이러한 알림으로 인해 오히려 안전운행을 방해받을 수 있다.
도 4를 참조하면, 반대차선차량 검출부(160)는 음향 추적부(140)의 음향 추적 결과를 기초로 제1 팩터(F1)를 계산할 수 있다(S51).
상술한 바와 같이, 음향 추적 결과는 시간에 따라 연속적인 프레임으로 구성될 수 있으며, 각 프레임은 상대 차량이 각도 별로(예컨대, 1도 단위로) 존재할 확률 정보를 포함한다.
제1 팩터(F1)는 다음의 수학식 1에 의해 산출될 수 있다.
Figure 112016038347545-pat00001
여기서, 각도별 프레임 간 확률 차이는 인접하는 프레임의 각도별 확률 값의 차이(절대값)를 의미하며, 예컨대, 200도에서 이전 프레임의 확률값이 0.7이고 현재 프레임의 0.6(또는 0.8)이면 프레임 간 확률 차이는 0.1이 된다.
제1 팩터(F1)는 해당 프레임의 모든 각도에서 각도별 프레임 간 확률 차이를 합산한 결과이다.
즉, 제1 팩터(F1)는 인접하는 프레임 사이에 각도별로 확률 차이가 커질수록 큰 값을 가지며, 이는 상대속도가 큰 상대차량이 검출될 때 높은 값을 가질 수 있다.
반대차선차량은 자차와 반대방향으로 주행하며 자차와 동일 방향으로 주행하는 차량에 비해 매우 큰 상대 속도를 가질 수 있다. 따라서, 음향 추적 결과의 특정 프레임에서 반대차선차량이 출현하는 순간부터 사라질 때까지 제1 팩터(F1)는 높은 값을 가질 수 있다.
도 7을 참조하면, 도 6의 음향 추적 결과를 기초로 제1 팩터(F1)를 계산한 결과가 도시되어 있으며, 제1 팩터(F1)는 반대차선차량이 나타나는 제1 영역(A1) 내지 제10 영역(A10) 모두에서 일정 수준 이상의 값을 가짐을 알 수 있다.
반대차선차량 검출부(160)는 음향 추적부(140)의 음향 추적 결과를 기초로 제2 팩터(F2)를 계산할 수 있다(S52).
제2 팩터(F2)는 다음의 수학식 2에 의해 산출될 수 있다.
Figure 112016038347545-pat00002
여기서, N1은 음향 추적 결과의 이전 프레임의 180도 내지 270도에 해당하는 확률 중 최대확률과 음향 추적 결과의 현재 프레임의 180도 내지 270도에 해당하는 확률 중 최대확률 중에서 보다 작은 확률이고, N2는 음향 추적 결과의 이전 프레임의 180도 내지 270도에 해당하는 확률 중 최대확률과 음향 추적 결과의 현재 프레임의 180도 내지 270도에 해당하는 확률 중 최대확률 중에서 보다 큰 확률을 의미한다.
또한, a(t-1)는 이전 프레임의 각도별 확률을 의미하고, a(t)는 현재 프레임의 각도별 확률을 의미한다.
도 8을 참조하면, 이전 프레임의 각도별 확률이 a(t-1)으로, 현재 프레임의 각도별 확률이 a(t)로 나타나고, 이전 프레임의 각도별 확률의 최대값에 해당하는 각도가 N1으로 정해지고 현재 프레임의 각도별 확률의 최대값에 해당하는 각도가 N2로 정해진다.
제2 팩터(F2)는 수학식 2에 의해 산출될 수 있는데, 각 프레임의 각도별 확률의 분포는 상대차량이 존재하는 각도를 중심으로 밀집된 형태를 띄는 것이 일반적이므로, 제2 팩터(F2)는 높은 확률이 밀집된 각도 구간이 이전 프레임에 비해 현재 프레임에서 높은 각도로 이동할 때 양의 부호를 가지게 되며, 이동하는 속도가 높을수록 큰 절대값을 가지게 된다.
반대로, 제2 팩터(F2)는 높은 확률이 밀집된 각도 구간이 이전 프레임에 비해 현재 프레임에서 낮은 각도로 이동할 때 음의 부호를 가지게 되며, 이동하는 속도가 높을수록 큰 절대값을 가지게 된다.
또한, 제2 팩터(F2)가 180도에서 360도까지의 구간이 아닌 180도에서 270도까지의 구간을 산출 범위로 하는 이유는, 반대차선차량이 자차를 중심으로 검출될 수 있는 최대 각도 범위는 180도에서 270도까지이므로, 반대차선차량으로 추정되는 각도 구간의 경향성을 판단하기 위한 제2 팩터(F2)의 계산에 270도에서 360도의 각도 범위가 포함되어서는 안되기 때문이다.
즉, 제2 팩터(F2)는 프레임이 진행될수록 높은 확률이 밀집된 각도 구간(상대 차량이 존재할 가능성이 높은 구간)이 높은 각도로 이동하는 경향성을 나타내는 값이다.
반대차선차량 검출부(160)는 음향 추적부(140)의 음향 추적 결과를 기초로 제3 팩터(F3)를 계산할 수 있다(S53).
도 9를 참조하면, 도 6의 음향 추적 결과를 0.6이상의 확률을 갖는지 여부에 따라 세그멘테이션(segmentation)한 결과가 나타나 있다. 즉, 상기 음향 추적 결과에서 0.6이상의 확률을 갖는 각도와 시간에서만 검게 표시되며, 나머지 부분에서는 흰색으로 표시된다.
제3 팩터(F3)는 다음의 수학식 3에 의해 계산될 수 있다.
Figure 112016038347545-pat00003
도 9에서의 세그멘테이션한 결과에 따르면 제1 영역(A1) 내지 제10 영역(A10)에서 180도 내지 210도의 각도 영역에 적어도 1도 이상에 해당하는 각도 영역에 걸쳐 0.6이상의 확률을 갖는 부분이 포함된다.
도 10에서처럼 자차의 좌측으로 반대차선차량이 주행하여 지나칠 경우, 자차의 180도 내지 210도의 각도 영역(즉, 반대차선차량 검출 영역)에서 반대차선차량이 검출될 가능성이 높다. 반대로, 자차의 후방에서 주행중인 자차와 동일 차선의 상대차량은 상기 반대차선차량 검출 영역에서 검출될 가능성은 매우 낮다.
수학식 3에 의해 산출되는 제3 팩터(F3)는 이러한 특성을 이용한 것이며, 제3 팩터(F3)는 해당 프레임의 반대차선차량 검출영역에 적어도 1도 이상에 해당하는 각도 영역에 걸쳐 0.6이상의 확률을 갖는 부분이 포함되면 1의 값을 가지며, 0.6이상의 확률을 갖는 부분이 전혀 포함되지 않으면 0의 값을 가진다.
반대차선차량 검출부(160)는 제1 팩터(F1) 내지 제3 팩터(F3)의 조합하여 반대차선차량 검출지수(FS)를 계산할 수 있다(S54). 여기서, 제1 팩터 내지 제3 팩터(F3)를 조합한다는 것은 제1 팩터 내지 제3 팩터(F3)를 변수로 하는 연산을 수행함을 의미할 수 있다.
예를 들어, 반대차선 차량 검출부(160)는 도 11에 도시된 바와 같이 제1 팩터 내지 제3 팩터(F3)를 서로 곱함으로써 반대차선차량 검출지수(FS)를 계산할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
다른 실시예에 따라, 반대차선차량 검출부(160)는 제1 팩터 내지 제3 팩터(F3) 중 적어도 하나의 팩터를 반대차선차량 검출지수(FS)의 계산시 고려하지 않을 수 있으며, 이 경우 고려되지 않는 팩터에 대응하는 S51 내지 S53 단계 중 어느 하나는 생략될 수 있다. 예컨대, S53 단계가 생략될 수 있으며, 제3 팩터(F3)는 반대차선차량 검출지수(FS)의 계산시 고려되지 않을 수 있다.
도 12에는 도 6의 음향 추적 결과에 대해 도 7 내지 도 9에서 각각 설명된 방식으로 산출된 제1 팩터(F1) 내지 제3 팩터(F3)를 각 프레임별로 곱하여 산출되는 반대차선 차량 검출지수(FS)가 나타나 있다.
반대차선차량 검출부(160)는 반대차선차량 검출지수(FS)를 기초로 반대차선차량을 검출할 수 있다(S55).
도 12의 그래프에서 원형으로 표시된 부분은 반대차선차량 검출부(160)가 반대차선차량이 존재한다고 판단한 시점을 표시한 것이다. 도 12에서는 반대차선차량 검출부(160)는 반대차선 차량 검출지수(FS)가 양수일 경우 반대차선차량이 존재한다고 판단할 수 있다.
그러나, 본 발명의 범위는 이에 한정되지 않고 반대차선 차량 검출지수(FS)가 양수이고 일정 임계값(예컨대, 10) 이상인 경우에 반대차선차량이 존재한다고 판단할 수도 있다.
반대차선 차량 검출지수(FS)는 제1 팩터(F1) 내지 제3 팩터(F3)의 곱으로부터 산출되는데, 제1 팩터(F1)는 반대차선차량과 같이 상대속도가 큰 상대차량을 검출하는 지수이고, 제2 팩터(F2)는 높은 확률이 밀집된 각도 구간(상대 차량이 존재할 가능성이 높은 구간)이 높은 각도로 이동하는 경향성을 나타내는 지수이며, 제3 팩터(F3)는 반대차선차량이 검출될 가능성이 높은 각도 영역에 검출되는 객체가 존재하는지 여부에 대한 지수이다.
즉, 반대차선차량의 경우, 자차와 반대방향으로 주행하므로 상대속도가 크고, 180도 근방에서 검출되기 시작하여 270도 방향으로 진행하며, 180도 내지 210도의 각도 영역에서 검출될 가능성이 높다. 이러한 조건을 모두 만족할 경우에만 반대차선차량 검출지수(FS)가 높은 양수의 값을 가질 수 있으며, 그 특징을 이용해 반대차선차량 검출부(160)는 반대차선차량을 정확히 검출할 수 있다.
도 12에서 반대차선차량 검출지수(FS)는 양수로 천이하기 직전에 음수로 천이하는 특성을 보이는데, 이는 반대차선차량이 180도 부근에서 갑자기 검출되면 높은 확률이 밀집된 각도 구간이 순간적으로 가장 낮은 각도로 이동한 듯한 경향성이 나타나므로 제2 팩터(F2)가 음수의 부호를 가질 수 있기 때문이다.
도 13에서는 도 6과 다른 음향 추적 결과로부터 반대차선차량을 검출하는 일 예가 도시되어 있다.
도 13의 음향 추적 결과(윗 그림)는 제11 영역(B1) 내지 제12 영역(B2) 각각에서 반대차선차량이 자차의 좌측을 지나친 경우의 음향 추적 결과이다.
도 13의 반대차선차량 검출지수(FS)의 그래프(아래 그림)는 반대차선차량 검출부(160)가 S51 단계 내지 S55 단계를 통해 상기 음향 추적 결과로부터 반대차선차량 검출지수(FS)를 산출한 결과를 나타낸다.
즉, 도 13의 예에서도 반대차선차량 검출부(160)가 제11 영역(B1)과 제12 영역(B2)에서 지나친 반대차선차량을 정확히 검출해 낼 수 있음을 알 수 있다.
차량 검출부(150)는 검출된 반대차선차량을 제외한 상대 차량 정보를 검출 신호로서 생성할 수 있다(S56).
차량 검출부(150)는 음향 추적 결과의 각도 별로 상대 차량이 존재할 확률로부터, 상대 차량의 존재 여부, 상대 차량이 위치하는 각도의 상대 차량 정보를 생성할 수 있다.
음향 추적 결과의 제n(n은 1이상의 정수) 번째 프레임에서 반대차선 차량 검출부(160)가 반대차선차량을 검출한 경우, 차량 검출부(150)는 상대 차량 정보로부터 상기 반대차선차량의 존재 여부 및 상기 반대차선차량이 위치하는 각도에 대한 정보를 제외시킨 상대 차량 정보를 검출 신호로서 출력할 수 있다.
만일, 상기 제n 번째 프레임에서 반대차선차량 이외에 우측후방에서 다른 상대차량이 함께 검출된 경우, 상기 상대 차량 정보에는 상기 다른 상대차량의 존재 여부 및 상기 다른 상대차량이 위치하는 각도에 대한 정보만이 포함될 수 있다.
다시 도 3을 참조하면, 알림 생성부(170)는 차량 검출부(150)의 검출 신호에 따라, 상대 차량에 대한 정보를 포함하는 알림 신호를 생성할 수 있다. 알림 출력부(200)는 이러한 정보를 수신하여 소리 발생 영역에 대한 정보를 운전자에게 제공한다(S60).
그리고, 본 명세서에서는 반대차선차량이 자차의 좌측을 지나치는 우측통행의 도로환경을 기준으로 설명하였으나, 마찬가지의 기술적 사상이 좌측통행의 도로환경에서도 적용될 수 있음은 당연하다.
따라서, 본 발명의 일 실시예에 따른 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 의하면, 자차의 반대차선을 주행하는 반대차선차량의 유무를 정확히 검출할 수 있는 효과가 있다.
또한, 반대차선차량인지 여부에 따라 차량 검출에 의한 운전자 알림을 선택적으로 발생시키지 않음으로써 안전운행에 도움을 줄 수 있다.
상기와 같이 설명된 음향 추적 정보 제공 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

  1. 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 단계;
    상기 음향 추적 결과를 기초로 반대차선차량의 유무에 대한 판단의 기초가 되는 반대차선차량 검출지수를 산출하는 단계; 및
    상기 반대차선차량 검출지수에 따라 상기 자차의 주변에서 주행하는 상대차량에 대한 알림 또는 상기 자차의 제어를 수행하는 단계를 포함하고,
    상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 상대 차량이 각도 별로 존재할 확률에 대한 정보이고,
    상기 상대차량에 대한 알림 또는 상기 자차의 제어를 수행하는 단계는,
    상기 반대차선차량 검출지수를 기초로 반대차선차량을 검출하는 단계; 및
    상기 검출된 반대차선차량을 제외하는 검출 신호에 따라 알림을 생성하는 단계를 포함하는 음향 추적 정보 제공 방법.
  2. 제1항에 있어서,
    상기 반대차선차량 검출지수를 산출하는 단계는,
    상기 음향 추적 결과의 각도별 프레임 간 확률 차이를 모든 각도에 대해 합산한 제1 팩터를 산출하는 단계를 포함하는 음향 추적 정보 제공 방법.
  3. 제2항에 있어서,
    상기 반대차선차량 검출지수를 산출하는 단계는,
    상기 음향 추적 결과의 프레임이 진행될수록 일정 확률 이상인 확률이 밀집된 각도 구간이 이전 프레임에 비해 현재 프레임에서 더 높은 각도로 이동하는 경향성을 나타내는 제2 팩터를 산출하는 단계를 더 포함하는 음향 추적 정보 제공 방법.
  4. 제3항에 있어서,
    상기 제2 팩터는 상기 음향 추적 결과의 180도 내지 270도의 구간에서 이전 프레임의 각도별 확률과 현재 프레임의 각도별 확률을 이용해 산출되는 음향 추적 정보 제공 방법.
  5. 제3항에 있어서,
    상기 반대차선차량 검출지수를 산출하는 단계는,
    상기 음향 추적 결과의 반대차선차량 검출영역에 특정 확률 이상인 각도가 포함되는지 여부에 대한 제3 팩터를 산출하는 단계를 더 포함하는 음향 추적 정보 제공 방법.
  6. 제5항에 있어서,
    상기 반대차선차량 검출지수를 산출하는 단계는,
    상기 제1 팩터 내지 상기 제3 팩터를 곱하여 상기 반대차선차량 검출지수를 산출하는 단계를 더 포함하는 음향 추적 정보 제공 방법.
  7. 삭제
  8. 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 음향 추적부;
    상기 음향 추적 결과를 기초로 반대차선차량의 유무에 대한 판단의 기초가 되는 반대차선차량 검출지수를 산출하는 반대차선차량 검출부; 및
    상기 반대차선차량 검출지수에 따라 상기 자차의 주변에서 주행하는 상대차량에 대한 알림을 생성하는 알림 생성부를 포함하고,
    상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 상대 차량이 각도 별로 존재할 확률에 대한 정보이고,
    상기 알림 생성부는,
    상기 반대차선차량 검출지수를 기초로 검출된 반대차선차량을 제외하는 검출 신호에 따라 알림을 생성하는 차량용 음향 추적 장치.
  9. 제8항에 있어서,
    상기 반대차선차량 검출부는,
    상기 음향 추적 결과의 각도별 프레임 간 확률 차이를 모든 각도에 대해 합산한 제1 팩터를 산출하는 차량용 음향 추적 장치.
  10. 제9항에 있어서,
    상기 반대차선차량 검출부는,
    상기 음향 추적 결과의 프레임이 진행될수록 일정 확률 이상인 확률이 밀집된 각도 구간이 이전 프레임에 비해 현재 프레임에서 더 높은 각도로 이동하는 경향성을 나타내는 제2 팩터를 산출하는 차량용 음향 추적 장치.
  11. 제10항에 있어서,
    상기 제2 팩터는 상기 음향 추적 결과의 180도 내지 270도의 구간에서 이전 프레임의 각도별 확률과 현재 프레임의 각도별 확률을 이용해 산출되는 차량용 음향 추적 장치.
  12. 제10항에 있어서,
    상기 반대차선차량 검출부는,
    상기 음향 추적 결과의 반대차선차량 검출영역에 특정 확률 이상인 각도가 포함되는지 여부에 대한 제3 팩터를 산출하는 차량용 음향 추적 장치.
  13. 제12항에 있어서,
    상기 반대차선차량 검출부는,
    상기 제1 팩터 내지 상기 제3 팩터를 곱하여 상기 반대차선차량 검출지수를 산출하는 차량용 음향 추적 장치.
  14. 삭제
  15. 자차의 주변에서 발생되는 소리를 감지하여 음향 데이터를 생성하는 다채널 마이크;
    상기 음향 데이터를 기초로 생성된 음향 추적 결과를 기초로 반대차선차량의 유무에 대한 판단의 기초가 되는 반대차선차량 검출지수를 산출하고, 상기 반대차선차량 검출지수에 따라 상기 자차의 주변에서 주행하는 상대차량에 대한 알림을 생성하는 음향 추적 장치; 및
    상기 상대 차량에 대한 알림을 운전자에게 시각적 또는 청각적으로 알려주는 알림 출력부를 포함하며,
    상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보이고,
    상기 음향 추적 장치는,
    상기 반대차선차량 검출지수를 기초로 검출된 반대차선차량을 제외하는 검출 신호에 따라 알림을 생성하는 차량.
KR1020160048643A 2016-04-21 2016-04-21 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량 KR101768145B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160048643A KR101768145B1 (ko) 2016-04-21 2016-04-21 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
US15/389,319 US9858813B2 (en) 2016-04-21 2016-12-22 Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same
CN201611255221.9A CN107305772B (zh) 2016-04-21 2016-12-30 用于提供声音检测信息的方法、装置及包括该装置的车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160048643A KR101768145B1 (ko) 2016-04-21 2016-04-21 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량

Publications (1)

Publication Number Publication Date
KR101768145B1 true KR101768145B1 (ko) 2017-08-14

Family

ID=60090335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160048643A KR101768145B1 (ko) 2016-04-21 2016-04-21 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량

Country Status (3)

Country Link
US (1) US9858813B2 (ko)
KR (1) KR101768145B1 (ko)
CN (1) CN107305772B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053837A (zh) * 2017-12-28 2018-05-18 深圳市保千里电子有限公司 一种汽车转向灯声音信号识别的方法和系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748276B1 (ko) * 2016-03-10 2017-06-16 현대자동차주식회사 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
JP7063005B2 (ja) * 2018-02-27 2022-05-09 トヨタ自動車株式会社 運転支援方法、車両、及び運転支援システム
CN110176248B (zh) * 2019-05-23 2020-12-22 广西交科集团有限公司 道路声音识别方法、系统、计算机设备及可读存储介质
JP7347506B2 (ja) * 2019-06-06 2023-09-20 日本電信電話株式会社 集音装置、到来方向推定装置、振動情報収集装置
GB201910864D0 (en) * 2019-07-30 2019-09-11 Blackberry Ltd Processing data for driving automation system
DE102020116507A1 (de) 2020-06-23 2021-12-23 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Ermittlung einer Zielgröße
CN112859001A (zh) * 2021-01-25 2021-05-28 恒大新能源汽车投资控股集团有限公司 车辆位置检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007091028A (ja) * 2005-09-28 2007-04-12 Toyota Motor Corp 車両用警報システム
JP2008151766A (ja) 2006-11-22 2008-07-03 Matsushita Electric Ind Co Ltd 立体音響制御装置及び立体音響制御方法
JP2014102802A (ja) 2012-11-22 2014-06-05 Suzuki Motor Corp 車両用運転支援装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06344839A (ja) 1993-06-11 1994-12-20 Mitsubishi Motors Corp 車両用警報案内装置
JPH09128697A (ja) 1995-11-06 1997-05-16 Honda Motor Co Ltd 車両用周囲状況監視装置
CN1123463C (zh) * 2001-02-26 2003-10-08 徐长寿 双向式汽车保全通告暨行车安全提示系统
US7039199B2 (en) * 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
JP4309184B2 (ja) 2003-06-20 2009-08-05 富士重工業株式会社 車両用運転支援装置
JP2007122201A (ja) 2005-10-26 2007-05-17 Nissan Motor Co Ltd 車両用道路形状検出装置
JP5205993B2 (ja) 2007-02-01 2013-06-05 日産自動車株式会社 車両用聴覚モニター装置および方法
WO2010035434A1 (ja) 2008-09-26 2010-04-01 パナソニック株式会社 死角車両検出装置及びその方法
DE102009024339B3 (de) * 2009-06-09 2010-09-16 Atlas Elektronik Gmbh Peilverfahren sowie Peilanlage zum Detektieren und Tracken zeitlich aufeinanderfolgender Peilwinkel
JP5395716B2 (ja) 2010-03-25 2014-01-22 株式会社デンソーアイティーラボラトリ 車外音提供装置、車外音提供方法およびプログラム
JP2011232293A (ja) * 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
JP2011242343A (ja) 2010-05-20 2011-12-01 Panasonic Corp 車両方向特定装置、車両方向特定方法、及びそのプログラム
WO2012098836A1 (ja) * 2011-01-18 2012-07-26 パナソニック株式会社 車両方向特定装置、車両方向特定方法、及びそのプログラム
CN103402860B (zh) * 2011-02-28 2016-03-16 本田技研工业株式会社 跨骑式电动车辆的车辆接近告知装置
US9632191B2 (en) * 2011-09-20 2017-04-25 Toyota Jidosha Kabushiki Kaisha Sound source detection device
JP6001248B2 (ja) * 2011-09-20 2016-10-05 トヨタ自動車株式会社 音源検出装置
CN102682765B (zh) * 2012-04-27 2013-09-18 中咨泰克交通工程集团有限公司 高速公路音频车辆检测装置及其方法
JP5867351B2 (ja) 2012-09-24 2016-02-24 トヨタ自動車株式会社 走行音を用いた車両検出装置
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007091028A (ja) * 2005-09-28 2007-04-12 Toyota Motor Corp 車両用警報システム
JP2008151766A (ja) 2006-11-22 2008-07-03 Matsushita Electric Ind Co Ltd 立体音響制御装置及び立体音響制御方法
JP2014102802A (ja) 2012-11-22 2014-06-05 Suzuki Motor Corp 車両用運転支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053837A (zh) * 2017-12-28 2018-05-18 深圳市保千里电子有限公司 一种汽车转向灯声音信号识别的方法和系统

Also Published As

Publication number Publication date
CN107305772B (zh) 2021-10-15
CN107305772A (zh) 2017-10-31
US9858813B2 (en) 2018-01-02
US20170309175A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
KR101759143B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101768145B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101892028B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101759144B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101748276B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101807616B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
EP2876639B1 (en) Using external sounds to alert vehicle occupants of external events
KR20180066509A (ko) 후방 차량의 시각화 정보 제공 장치 및 방법
US20080079571A1 (en) Safety Device
Carmel et al. Detection of alarm sounds in noisy environments
KR101519255B1 (ko) 차량 주변 소리 알림 시스템 및 그 방법
Sammarco et al. Crashzam: Sound-based Car Crash Detection.
Nandwana et al. Towards Smart-Cars That Can Listen: Abnormal Acoustic Event Detection on the Road.
Lee et al. Acoustic hazard detection for pedestrians with obscured hearing
KR101748270B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101901800B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
Choudhury et al. Review of Emergency Vehicle Detection Techniques by Acoustic Signals
KR102331758B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR102601171B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
Marciniuk et al. Acoustic Road Monitoring
KR102378940B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량

Legal Events

Date Code Title Description
GRNT Written decision to grant