KR20180119722A - 노면 상태 감지 시스템 및 방법 - Google Patents

노면 상태 감지 시스템 및 방법 Download PDF

Info

Publication number
KR20180119722A
KR20180119722A KR1020170052770A KR20170052770A KR20180119722A KR 20180119722 A KR20180119722 A KR 20180119722A KR 1020170052770 A KR1020170052770 A KR 1020170052770A KR 20170052770 A KR20170052770 A KR 20170052770A KR 20180119722 A KR20180119722 A KR 20180119722A
Authority
KR
South Korea
Prior art keywords
feature vector
road surface
vehicle
surface condition
acoustic signal
Prior art date
Application number
KR1020170052770A
Other languages
English (en)
Other versions
KR102011008B1 (ko
Inventor
김신욱
김기만
김범규
박하빛
Original Assignee
만도헬라일렉트로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 만도헬라일렉트로닉스(주) filed Critical 만도헬라일렉트로닉스(주)
Priority to KR1020170052770A priority Critical patent/KR102011008B1/ko
Priority to US15/680,157 priority patent/US10676096B2/en
Priority to DE102017214409.2A priority patent/DE102017214409A1/de
Publication of KR20180119722A publication Critical patent/KR20180119722A/ko
Application granted granted Critical
Publication of KR102011008B1 publication Critical patent/KR102011008B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0132—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value
    • B60R21/01332—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value by frequency or waveform analysis
    • B60R21/01334—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value by frequency or waveform analysis using Fourier analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H15/00—Measuring mechanical or acoustic impedance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/041—Analysing solids on the surface of the material, e.g. using Lamb, Rayleigh or shear waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/14—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4427—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with stored values, e.g. threshold values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/46—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • B60W2550/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 노면 상태 감지 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 노면 상태 감지 시스템은 차량 지면의 음향 신호를 감지하는 음향 감지부와 감지된 음향 신호를 푸리에 변환하여 특징 벡터를 산출하고, 산출한 특징 벡터와 미리 저장된 복수의 특징 벡터를 비교하여 산출된 특징 벡터와 상대거리가 가장 작은 제 1 특징 벡터를 반환하고, 제 1 특징 벡터에 대응하는 노면 상태를 출력하는 제어부를 포함한다.

Description

노면 상태 감지 시스템 및 방법 {SYSTEM AND METHOD FOR DETECING A ROAD STATE }
본 발명은 노면 상태 감지 시스템 및 방법에 관한 것으로, 더욱 상세하게는 주행 중인 차량의 타이어가 노면과 접촉함에 따라 발생하는 소음에 기초하여 노면 상태를 감지하는 노면 상태 감지 시스템 및 방법에 관한 것이다.
오늘날 자율 주행 차량 개발의 연구가 계속되고 있다. 자율 주행 차량에 있어서, 노면의 상태는 차량 주변의 도로 상황과 더불어 차량의 자세 제어 수행에 있어서 중요한 요인이다.
예를 들어, 비가 오고 난 뒤에 젖어 있는 상태, 눈이 내린 직후의 노면 상태, 서리가 얇게 내린 노면 상태 등에 따라 노면과 차량 바퀴의 마찰 정도가 달라져서 마찰 정도에 따른 차량의 자율 주행 제어 및 주행 경로에 대한 제어 방법이 달라져야 한다.
이에 노면 상태를 감지하기 위한 다양한 방법이 연구되고 있다.
일 예로, 노면 상태를 감지하기 위해 타이어가 노면과의 마찰 시 발생하는 소음을 측정하기도 한다. 자동차가 주행 시 타이어가 노면과의 마찰을 통하여 발생하는 소음은 노면이 거칠수록 타이어 소음이 커지고, 노면이 매끄러울수록 타이어 소음이 작아진다. 즉, 노면 상태에 따른 마찰계수 값을 살펴보면, 마찰계수 값이 작을수록 노면이 매끄럽고, 마찰계수 값이 클수록 노면이 거칠다는 것을 의미한다. 이에 타이어의 소음이 크다는 것은 노면의 상태가 매끄럽지 못하고, 노면이 거칠거나 장애물이 많다는 것을 의미하고, 타이어의 소음이 작다는 것은 노면의 상태가 매끄럽고, 노면 상에 비교적 장애물이 많지 않다는 것을 의미한다.
다만, 종래의 경우 노면 상태를 감지하기 위하여 타이어 부근에 추가적인 와이어 장치를 장착하거나, 자동차 외기 온도 및 기상 정보 등을 조합하여 노면의 상태를 추정 시 타이어가 주기적으로 교환되어야 하여 주기적인 교환이 번거로운 단점이 있었다.
또한, 기상 정보를 확보하여 노면 상태를 반영하는 것은 실제 주행 중인 노면의 상황을 즉각적으로 반영하기 어려운 문제점이 있었다.
대한민국 등록특허공보 등록번호 10-1342771호
이러한 문제점을 해결하기 위한 것으로, 노면 상태 감지 시스템의 연산량을 최소화하여 노면 상태를 즉각적으로 반영하여 운전자에게 표시함에 따라 자율 주행 차량의 자율 주행 성능을 개선하고자 한다.
또한, 노면 상태 감지 성능을 개선하고자 한다.
따라서, 온도나 습도와 같은 기상 정보에 의존하지 않고 노면 상태를 직접적으로 분석함에 따라 신뢰도가 높은 노면 상태 감지 방법을 제공하고자 한다.
구체적으로, 본 발명의 실시예는 뉴로모픽 시스템(Neuromorphic System)을 이용하여 음향 신호를 효과적으로 인식하는 노면 상태 인식 시스템 및 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 차량 지면의 음향 신호를 감지하는 음향 감지부; 및 감지된 음향 신호를 푸리에 변환하여 특징 벡터를 산출하고, 산출한 특징 벡터와 미리 저장된 복수의 특징 벡터를 비교하여 상기 산출된 특징 벡터와 상대거리가 가장 작은 제 1 특징 벡터를 반환하고, 상기 제 1 특징 벡터에 대응하는 노면 상태를 출력하는 제어부;를 포함하는 노면 상태 감지 시스템이 제공될 수 있다.
또한, 상기 제어부는 출력된 노면 상태를 상기 차량의 자율 주행 제어 시스템에 제공할 수 있다.
또한, 상기 차량의 자율 주행 제어 시스템은 전방 충돌 경고 장치(Forward Collision Warning System, FCW), 자동 비상 제동 장치(Autonomous Emergency Braking System, AEBS), 적응 순항 제어 장치(Adaptive Cruise Control, ACC), 및 후방 충돌 경고 장치(Rear-end Collision Warning System, RCW) 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는 상기 산출한 특징 벡터를 학습시키고, 상기 미리 저장된 복수의 특징 벡터는 추가 입력 가능할 수 있다.
본 발명의 다른 일 측면에 따르면, 차량 지면의 음향 신호를 감지하는 음향 감지부; 적어도 하나 이상의 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 시스템(Neuromorphic system); 및 감지된 음향 신호를 푸리에 변환하여 특징 벡터를 산출하고, 상기 생성된 특징 벡터를 상기 뉴로모픽 시스템에 입력하고, 상기 뉴로모픽 시스템에 저장된 복수의 뉴런 중에서 상기 입력된 특징 벡터와 상대거리가 가장 작은 제 1 특징 벡터를 반환하고, 상기 제 1 특징 벡터에 대응하는 노면 상태를 출력하는 제어부;를 포함하는 노면 상태 감지 시스템이 제공될 수 있다.
본 발명의 또 다른 일 측면에 따르면, 차량 지면의 음향 신호를 감지하는 단계;와 상기 감지된 음향 신호를 푸리에 변환하여 특징 벡터를 산출하는 단계;와 산출된 특징 벡터와 미리 저장된 복수의 특징 벡터를 비교하여 상기 산출된 특징 벡터와 상대거리가 가장 작은 제 1 특징 벡터를 반환하는 단계; 및 상기 제 1 특징 벡터에 대응하는 노면 상태를 출력하는 단계;를 포함하는 노면 상태 감지 방법이 제공될 수 있다.
또한, 상기 출력된 노면 상태를 상기 차량의 자율 주행 제어 시스템에 제공하는 단계;를 더 포함할 수 있다.
또한, 상기 산출한 특징 벡터를 학습시키는 단계; 및 상기 미리 저장된 복수의 특징 벡터는 추가 입력 가능한 단계;를 더 포함할 수 있다.
노면 상태 감지 시스템의 연산량을 최소화하여 노면 상태를 즉각적으로 반영하여 운전자에게 표시함에 따라 자율 주행 차량의 자율 주행 성능을 개선할 수 있다.
따라서, 온도나 습도와 같은 기상 정보에 의존하지 않고 노면 상태를 직접적으로 분석함에 따라 신뢰도가 높은 노면 상태 감지 방법을 제공함에 따라 또한, 노면 상태 감지 성능을 개선할 수 있다.
도 1은 일 실시 예에 따른 노면 상태 감지 시스템을 포함한 차량의 각종 전자 장치이다.
도 2는 일 실시 예에 따른 노면 상태 감지 시스템의 블록도이다.
도 3은 일 실시예에 따른 노면 상태 감지 시스템을 탑재한 차량의 내부 사시도이다.
도 4는 일 실시 예에 따른 노면 상태 감지 시스템에 포함된 전자 제어 유닛의 내부 블록도이다.
도 5는 다른 일 실시예에 따른 뉴로모픽 시스템을 탑재한 노면 상태 감지 시스템의 블록도이다.
도 6은 일 실시 예에 따른 노면 상태 감지 방법을 나타낸 순서도이다.
도 7은 다른 일 실시 예에 따른 노면 상태 감지 방법을 나타낸 순서도이다.
이하에서는 본 발명의 실시 예를 첨부 도면을 참조하여 상세히 설명한다. 이하의 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달하기 위해 제시하는 것이다. 본 발명은 여기서 제시한 실시 예만으로 한정되지 않고 다른 형태로 구체화될 수도 있다. 도면은 본 발명을 명확히 하기 위해 설명과 관계없는 부분의 도시를 생략하고, 이해를 돕기 위해 구성요소의 크기를 다소 과장하여 표현할 수 있다.
도 1은 일 실시 예에 따른 노면 상태 감지 시스템을 포함한 차량의 각종 전자 장치이다.
구체적으로, 도 1에 도시된 바와 같이 차량(1)은 엔진 제어 시스템(110), 제동 제어 장치(brake-by-wire) (120), AVN 장치(Audio Video Navigation)(140), 자율 주행 제어 시스템(150), 변속 제어 시스템(Transmission Management System: TMS) (160), 조향 제어 장치(steering-by-wire) (170), 통신 장치(180), 입출력 제어 시스템(190), 기타 차량 센서(195) 및 본 발명에 따른 노면 상태 감지 시스템(200) 등을 포함할 수 있다.
다만, 도 1에 도시된 전자 장치(100)는 차량(1)에 포함된 전자 장치의 일부에 불과하며 차량(1)에는 더욱 다양한 전자 장치가 마련될 수 있다.
또한, 차량(1) 포함된 각종 전자 장치(100)는 차량 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 차량 통신 네트워크(NT)는 최대 24.5Mbps(Mega-bits per second)의 통신 속도를 갖는 모스트(MOST, Media Oriented Systems Transport), 최대 10Mbpas의 통신 속도를 갖는 플렉스레이(FlexRay), 125kbps(kilo-bits per second) 내지 1Mbps의 통신 속도를 갖는 캔(CAN, Controller Area Network), 20kbps의 통신 속도를 갖는 린(LIN, Local Interconnect Network) 등의 통신 규약을 채용할 수 있다. 이와 같은 차량 통신 네트워크(NT)는 모스트, 플레스레이, 캔, 린 등 단일의 통신 규약을 채용할 수 있을 뿐만 아니라, 복수의 통신 규약을 채용할 수도 있다.
엔진 제어 시스템(110)은 연료분사 제어, 연비 피드백 제어, 희박 연소 제어, 점화 시기 제어 및 공회전수 제어 등을 수행한다. 이러한 엔진 제어 시스템(110)은 단일의 장치일 수 있을 뿐만 아니라, 통신을 통하여 연결된 복수의 장치들일 수도 있다.
제동 제어 장치(120)는 차량(1)의 제동을 제어할 수 있으며, 대표적으로 안티락 브레이크 시스템(Anti-lock Brake System, ABS) 등을 포함할 수 있다.
AVN 장치(Audio Video Navigation)(140)는 운전자의 제어 명령에 따라 음악 또는 영상을 출력하는 장치이다. 구체적으로, AVN 장치(140)는 운전자의 제어 명령에 따라 음악 또는 동영상을 재생하거나 내비게이션 시스템(미도시)으로부터 수신한 목적지까지의 경로를 안내할 수 있다.
변속 제어 시스템(160) 변속점 제어, 댐퍼 클러치 제어, 마찰 클러치 온/오프 시의 압력 제어 및 변속 중 엔진 토크 제어 등을 수행한다. 이러한 변속 제어 시스템(160)은 단일의 장치일 수 있을 뿐만 아니라, 통신을 통하여 연결된 복수의 장치들일 수도 있다.
조향 제어 장치(170)는 저속 주행 또는 주차 시에는 조향력을 감소시키고 고속 주행 시에는 조향력을 증가시킴으로써 운전자의 조향 조작을 보조한다.
입출력 제어 시스템(190) 은 버튼을 통한 운전자의 제어 명령을 수신하고, 운전자의 제어 명령에 대응하는 정보를 표시한다. 입출력 제어 시스템(190)는 차량(1)의 대시 보드(미도시)에 마련되어 영상을 표시하는 클러스터 디스플레이(191), 영상을 윈드 스크린에 투영하는 헤드업 디스플레이(192)등을 포함할 수 있다.
클러스터 디스플레이(191)는 대시 보드에 마련되어 영상을 표시한다. 특히, 클러스터 디스플레이(191)는 윈드 스크린에 인접하여 마련됨으로써 운전자의 시선이 차량(1)의 전방으로부터 크게 벗어나지 않은 상태에서 운전자(U)가 차량(1)의 동작 정보, 도로의 정보 또는 주행 경로 등을 획득할 수 있도록 한다. 이와 같은 클러스터 디스플레이(191)는 액정 디스플레이(Liquid Crystal Display: LCD) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등을 채용할 수 있다.
헤드업 디스플레이(192)는 영상을 윈드 스크린에 투영시킬 수 있다. 구체적으로, 헤드-업 디스플레이(122)에 의하여 윈드 스크린에 투영되는 영상은 차량(1)의 동작 정보, 도로의 정보 또는 주행 경로 등을 포함할 수 있다.
기타 차량 센서(195)는 차량(1)에 포함되어 차량의 주행 정보를 감지하기 위하여 가속도 센서, 요레이트 센서, 조향각 센서 및 속도 센서 등을 포함할 수 있다.
통신 장치(180)는 차량 외부의 복수의 차량과 지속적인 통신을 수행하는 무선 통신부(와 차량 내부 각종 전자 장치 간의 통신을 수행하는 내부 통신부및 무선 통신부와 내부 통신부를 제어하는 통신 제어부를 포함할 수 있다.
자율 주행 제어 시스템 (150)은 차량(1)의 주행을 보조하며, 전방 충돌 회피순항 기능, 차선 이탈 경고 기능, 사각 지대 감시 기능, 후방 감시 기능 등을 수행할 수 있다. 예를 들어, 자율 주행 제어 시스템(150)은 주행 차선의 전방에서 동일한 방향으로 주행 중인 자동차를 감지하여 전방 차량과의 충돌을 회피하기 위한 전방 충돌 경고 장치(Forward Collision Warning System, FCW), 전방 차량과의 충돌이 불가피한 경우 충격을 완화시키는 자동 비상 제동 장치(Autonomous Emergency Braking System, AEBS), 주행 차선의 전방에서 동일한 방향으로 주행 중인 차량을 감지하여 전방 차량의 속도에 따라 자동으로 가/감속하는 적응 순항 제어 장치(Adaptive Cruise Control, ACC), 주행 차로를 벗어나는 것을 방지하는 차선 이탈 경고 장치(Lane Departure Warning System, LDWS), 주행 차로를 이탈하는 것으로 판단되면 본 차로로 복귀하도록 제어하는 차선 유지 보조 장치(Lane Keeping Assist System, LKAS), 사각지대에 위치한 차량의 정보를 운전자에게 제공하는 시각지대 감시 장치(Blind Spot Detection, BSD), 주행 차선의 후방에 동일한 방향으로 주행 중인 차량을 감지하여 후방 차량과의 충동을 회피하는 후방 충동 경고 장치(Rear-end Collision Warning System, RCW) 등을 포함할 수 있다.
이러한, 자율 주행 제어 시스템(150)이 올바로 작동하기 위하여 노면 상태를 정확히 감지 하기 위한 노면 상태 감지 시스템(200)이 차량(1)에 탑재될 수 있다.
이상에서는 차량(1)의 구성에 대하여 설명하였다.
이하에서는 차량(1)에 포함된 노면 상태 감지 시스템(200)의 구성 및 동작에 대하여 설명한다.
도 2는 일 실시 예에 따른 노면 상태 감지 시스템의 블록도이고, 도 3은 일 실시예에 따른 노면 상태 감지 시스템을 탑재한 차량의 내부 사시도 및 도 4는 일 실시 예에 따른 노면 상태 감지 시스템에 포함된 전자 제어 유닛의 내부 블록도이다.
또한, 도 5는 다른 일 실시예에 따른 뉴로모픽 시스템(Neuromorphic System)을 탑재한 노면 상태 감지 시스템의 블록도이다.
먼저, 도 2를 참조하면, 노면 상태 감지 시스템(200)은 음향 감지부(10), 전자 제어 유닛(20), 및 표시부(30)를 포함한다.
이 때, 음향 감지부(10), 전자 제어 유닛(20) 및 표시부(30)는 차량(1)의 통신 네트워크(NT)를 통하여 서로 통신할 수 있으며, 노면 상태 감지 시스템(200)의 제어값 역시 차량(1)의 통신 네트워크(NT)를 통하여 자율 주행 제어 시스템(150)에 제공할 수 있다.
음향 감지부(10)는 적어도 하나 이상의 마이크를 포함하는 것으로, 차량의 휠(FR, FL, RR, RL) 근방에 설치되어 차량의 휠과 노면의 마찰 시 발생하는 소음을 입력 신호로 획득할 수 있다.
구체적으로, 도 3은 도 2의 제 1 마이크(11) 내지 제 4 마이크(14)가 차량(1)에 장착된 것을 설명하기 위한 일 실시예이다.
도 3에 도시된 바와 같이, 차량(1)은 차량 하부의 좌측 전륜(FL) 근처에 설치된 제 1마이크(11), 차량 하부의 좌측 후륜(RL) 근처에 설치된 제 2마이크(12)를 포함하고, 도시되지 않았으나, 차량 하부의 우측 전륜(FR) 근처에 설치된 제 3 마이크(13), 차량 하부의 우측 후륜(RR) 근처에 설치된 제 3 마이크(14)를 포함할 수 있다.
또한, 음향 감지부(10)에서 제 1 마이크(11) 내지 제 4 마이크(14)를 통하여 음향 획득하는 것으로 설명하였으나, 반드시 각 휠의 소음을 측정하여야 하는 것은 아니며, 1개 또는 2개의 마이크를 기초로 소음을 측정할 수도 있다. 따라서, 제 1 마이크(11) 내지 제4 마이크(14)를 통하여 획득한 음향은 전자 제어 유닛(20)으로 전송될 수 있다.
전자 제어 유닛(20)은 도 3의 차량 내부 사시도와 같이, 차량 내부에 위치하여 노면 상태 감지 시스템(200)을 총괄적으로 제어하고, 노면 상태 감지 시스템의 결과값을 표시부(도 3의 30)를 통하여 운전자에게 표시할 수 있다.
즉, 전자 제어 유닛(20)은 노면 상태 감지 시스템(200)을 총괄적으로 제어하는 것으로, 전자 제어 유닛(20)은 하드웨어적으로 음향 감지부(10)에서 획득한 음향 정보를 기초로 노면 상태를 판단하는 메인 프로세서(21)와 각종 데이터를 저장하는 메모리(22)를 포함한다.
이 때, 메모리(22)는 노면 상태 감지 시스템(200)의 프로그램 및 데이터를 기억하는 것으로, 메모리(22)은 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read OnlyMemory: EEPROM) 등의 비휘발성 메모리를 포함할 수 있다.
비휘발성 메모리는 노면 상태 감지 시스템(200)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터를 반 영구적으로 저장할 수 있으며, 휘발성 메모리는 비휘발성 메모리로부터 제어 프로그램 및 제어 데이터를 불러와 임시로 기억하고, 음향 감지부(10)에서 음향 정보 및 메인 프로세서(21)에서 출력하는 각종 제어 신호를 임시로 저장할 수 있다.
이하에서는, 도 2에 도시된 바에 따른 노면 상태 감지 시스템(200)의 전자 제어 유닛(20) 내 노면 상태를 판단하는 방법에 대하여 설명한다. 구체적으로, 도 4는 전자 제어 유닛(20)의 소프트웨어적인 구성을 설명하기 위한 블록도로서, 음향 감지부(10)로부터 획득한 음향 정보를 처리하는 신호 처리부(23)와 신호 처리부에서 획득한 신호를 기초로 노면 상태 정보를 판단하는 제어부(24) 및 노면 상태값을 학습하는 학습부(25)를 포함한다.
다만, 도 4에 도시된 노면 상태 감지 시스템(200)의 전자 제어 유닛(20) 내제어부(24) 및 학습부(25)가 수행하는 구성은 도 5에 도시된 뉴로모픽 시스템(27)을 포함하여 패턴 매칭을 수행하는 구성으로 실시될 수 있다. 특히, 뉴로모픽 시스템(27)을 탑재하여 노면 상태 감지 시스템(200)을 동작시킴에 따라, 노면 상태를 더 신속하고, 정확하게 판단할 수 있다.
구체적으로, 도 5에 도시된 바에 따른 노면 상태 감지 시스템(200)은 음향 감지부(10)에 포함된 적어도 하나 이상의 마이크 (도 5의 제 1 마이크(11) 내지 제 4 마이크(14))로부터 신호를 처리하고, 뉴로모픽 시스템(27)으로부터 처리된 신호를 기초로 패턴 매칭된 노면 상태 정보를 표시하도록 제어하는 전자 제어 유닛(20)과, 패턴 매칭을 수행하기 위하여 복수개의 뉴런으로 구성된 뉴로모픽 시스템(27)을 포함할 수도 있다. 이하, 도 2 및 도 5에 도시된 동일한 구성인 신호 처리부(23)에 대하여 먼저 설명한다.
신호 처리부(23)는 음향 감지부(10)에서 획득한 음향 신호를 처리한다. 구체적으로, 신호처리부(23)는 음향 감지부(10)에서 연속적인 스트림(stream)형식으로 수신된 음향 신호를 프레임(frame)단위로 획득하여 특징점(feature point)를 추출한다. 특히, 특징점을 추출할 때 Mel Frequency Cepstrum Coefficient(MFCC) 변환 방법을 사용할 수 있다.
구체적으로, 신호 처리부(23)는 프레임 구성 시 각 프레임의 1/2이 오버랩핑 되도록 구성하며, 윈도우 필터를 통과시켜 프레임 사이의 불연속성을 감쇄시키기 위한 것으로, 윈도우 필터의 일 예로, Hamming Window를 사용할 수 있다.
다음으로, 신호 처리부(23)는 윈도우 필터를 통과시킨 각 프레임을 기초로 캡스트럼(cepstrum)을 생성한다. 캡스트럼은 시간 영역의 함수로 구성된 함수인 프레임의 스펙트럼을 다시 한번 푸리에 변환한 2차 주파수 스펙트럼을 말한다.
이러한 신호 처리부(23)는 Fast-Fourier Transform(FFT), 삼각 필터 뱅크, 로그 변환, Discrete Cosine Transform (DCT)을 수행한다.
먼저, FFT 모듈은 시간 영역의 음향 신호를 주파수 영역의 신호로 변환하는 것으로서 256 point FFT가 사용될 수 있다. 삼각 필터 뱅크는 각 주파수 지점에서 에너지 피크를 검출을 용이하도록 하며, FFT 를 거친 주파수 영역의 신호에 대한 차원(dimension)을 낮출 수 있다. 즉, 획득한 주파수 영역의 신호를 다수 개의 대역 통과 필터에 의해 분할한다.
로그 변환부는 삼각 필터 뱅크를 통과한 각 계수에 대한 로그 연산을 수행함으로써 캡스트럼 계수 산출의 전처리 역할을 수행한다.
이후 DCT 모듈은 생성된 캡스트럼에서 계수의 저주파 영역과 고주파 영역으로 분리하고, 저주파 영역에 몰려 있는 계수들이 해당하는 음향 신호의 파형에 대하여 특징점으로 추출한다.
따라서, 신호 처리부(23)는 저주파 영역에 집중된 계수들에 대하여 특징 벡터를 획득할 수 있다.
또한, 일 예로, 신호 처리부(23)는 도 5의 뉴로모픽 시스템(27)에 입력하기 위한 특징 벡터(입력 벡터)를 생성하는 역할을 수행한다. 뉴로모픽 시스템(27)은 시스템(27)에 입력된 벡터를 뉴로모픽 시스템 내부를 구성하는 수천 개의 뉴런에 병렬 버스를 통해 동시에 전파시킬 수 있다.
즉, 뉴로모픽 시스템(27)에서 뉴로모픽 시스템 내부의 각 뉴런들은 특징 벡터가 입력되기 시작하면 뉴런 내부에 저장된 패턴 벡터와 입력 벡터 사이의 상대 거리를 측정하기 시작하고, 특징 벡터의 입력이 끝날 때까지 거리값을 계속 갱신할 수 있다.
이러한 뉴로모픽 집적회로란 사람의 뇌 신경을 모방한 차세대 반도체로서, 전력 소모량이 적으며, 하나의 뉴로모픽 집적회로를 통하여 패턴의 학습과 비교는 물론 패턴의 인식과 분석이 가능하다.
구체적으로, 뉴로모픽 시스템(27)은 수신된 특징 벡터와 지식(Knowledge)에 저장된 기준 패턴을 비교하여 가장 유사한 패턴을 보유한 뉴런의 카테고리 값을 리턴 값으로 하여 제어부(24)에 재전송한다. 이 때, 지식(Knowledge)란 뉴론 별로 저장된 패턴들이 데이터베이스화된 데이터베이스 일 수 있다.
따라서, 전자 제어 유닛(20)은 뉴로모픽(Neuromorphic) 시스템(27)과 데이터를 송수신하며, 획득한 음향 신호를 처리한다.
특히, 전자 제어 유닛(20)은 산출된 특징 벡터를 기초로 뉴로모픽 시스템(27)에서 미리 저장되어 있는 분류된 패턴과 매칭 분석을 수행한다.
따라서, 전자 제어 유닛(20)은 뉴로모픽 시스템(27)의 집적회로(Integrated Circuit: IC) 내 저장된 복수의 패턴과 산출된 특징 벡터의 패턴을 비교한다. 즉, 하나의 프레임인 음향 신호의 특징 벡터를 추가적인 연산 없이 뉴로모픽 시스템(27)내 저장하고 있는 데이터 베이스와 가장 유사한 패턴으로 매칭한 결과를 반환한다.
따라서, 제어부(24)는 뉴로모픽 시스템(27)에서 입력된 복수개의 음향 프레임 분류 결과를 수신하여 현재의 노면 상태에 대한 최종 판정을 수행한다. 따라서, 뉴로모픽 시스템(27)의 인식 결과들을 종합한 노면 상태가 제어부(24)에서 출력된다. 이를 위해 제어부(24)는 복수개의 패턴을 비휘발성 메모리인 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read OnlyMemory: EEPROM) 등에 저장해 놓을 수 있다. 따라서, 제어부(24)는 다양한 온도 조건, 다양한 환경 조건 하 노면의 소음을 녹음한 뒤 이를 특징 벡터로 변환하여 미리 저장해 둘 수도 있다.
따라서, 본 발명에 따른 노면 상태 감지 시스템(200)은 시스템이 실제 구동하는 과정에서 미리 저장되어 있던 복수의 특징 벡터들을 뉴로모픽 시스템(27)의 메모리에 로딩하여 패턴 매칭을 수행하게 된다.
다음으로 도 4의 학습부(25)는 제어부(24)에서 획득한 특징 벡터가 기존에 저장되어 있는 복수의 특징 벡터를 포함한 데이터 베이스에 존재하지 않을 경우 새로운 형태의 특징 벡터 패턴으로 데이터 베이스에 추가함으로써 학습을 시킬 수 있다. 즉, 학습부(25)는 도 5의 뉴로모픽 시스템(27)의 지식(Knowledge)에 포함될 벡터들을 추가시킬 수 있다.
또한, 학습부(25)는 도 2에서 설명한 메모리(22)에 포함되는 것으로, 그 중에서도 비휘발성 메모리인 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read OnlyMemory: EEPROM) 등에 저장 될 수 있다.
또한, 학습부(25)는 도시되지는 않았으나, 노면 상태 감지 시스템(200) 자체가 PC 시스템과 연결(무선 또는 유선)됨에 따라 다양한 환경에서 녹음된 노면 음향 신호를 적절하게 편집 또는 가공할 수도 있다. 이 때 PC 시스템과의 연결은 시리얼 통신이나 USP 인터페이스 등을 사용할 수 있으나 이에 한정되는 것은 아니다.
따라서, 도 5의 뉴로모픽 시스템(27)은 각 뉴런들에는 로컬 메모리가 존재하며, 이 메모리에 각각의 패턴을 저장하게 된다. 뉴런들의 로컬 메모리에 저장될 패턴은 오프라인상에서 별도의 프로그램을 통해 획득된다.
마지막으로, 노면 상태 감지 시스템(200)은 표시부(30) 구성을 포함할 수 있다. 표시부(30)는 제어부(24)에서 판단한 노면 상태를 운전자에게 표시할 수 있다. 구체적으로, 표시부(30)는 입출력 제어 시스템(190)의 클러스터(191) 구성을 통하여 표시할 수 있으나 이에 한정되는 것은 아니다.
또한, 노면 상태 감지 시스템(200)은 감지한 노면 상태 정보를 자율 주행 제어 시스템(150)에 제공함에 따라, 차량의 자율 주행이 안전하게 실행될 수 있도록 보조할 수 있다.
이상에서는 본 발명에 따른 노면 상태 감지 시스템(200)의 구성에 대하여 설명하였다.
이하에서는 본 발명에 따른 노면 상태 감지 시스템(200)의 동작에 대하여 설명하는 것으로, 도 6 및 도 7은 노면 상태 감지 방법을 나타낸 순서도이다.
먼저, 도 6에 도시된 바와 같이, 노면 상태 감지 시스템(200)은 음향 감지부(10)로부터 음향 신호를 입력 받는다(1000).
입력 받은 음향 신호를 노면 상태 감지 시스템(200)은 푸리에 변환을 수행한다(2000). 구체적으로, 푸리에 변환은 전자 제어 유닛(20) 내 신호 처리부(23)에서 수행하는 것으로, 신호처리부(23)는 음향 감지부(10)에서 연속적인 스트림(stream)형식으로 수신된 음향 신호를 프레임(frame)단위로 획득하여 특징점(feature point)를 추출한다. 구체적으로, 신호 처리부(23)는 프레임 구성 시 각 프레임의 1/2이 오버랩핑 되도록 구성하며, 윈도우 필터를 통과시켜 프레임 사이의 불연속성을 감쇄시키기 위한 것으로, 윈도우 필터의 일 예로, Hamming Window를 사용할 수 있다.
다음으로, 신호 처리부(23)는 윈도우 필터를 통과시킨 각 프레임을 기초로 캡스트럼(cepstrum)을 생성한다(3000). 또한, 생성한 캡스트럼을 기초로 신호 처리부(3000)는 특징점을 추출하고(4000), 추출한 특징점을 기초로 저주파 영역에 집중된 계수들에 대하여 특징 벡터를 획득한다(5000).
이 때, 특징 벡터가 미리 전자 제어 유닛(20) 내 저장되어 있던 복수의 특징 벡터와 패턴 매칭을 수행하여(6000), 전자 제어 유닛(20)은 현재 차량이 주행 중인 노면의 상태가 어떤지를 확인한다.
구체적으로, 전자 제어 유닛(20)이 특징 벡터를 산출하여 기존에 저장해둔 복수개의 특징 벡터와 패턴 매칭을 수행하여 노면 상태를 판단한다(6000). 이하 도 7의 순서도에서는 전자 제어 유닛(20)이 산출한 특징 벡터를 미리 저장해 둔 복수개의 특징 벡터와 패턴 매칭을 제공한 이후의 제어 방법에 대하여 설명한다.
먼저, 특징 벡터를 미리 저장해둔 복수의 특징 벡터와 패턴 매칭을 수행하여 패턴이 매칭하면(6100의 예), 전자 제어 유닛(20) 해당 패턴에 대응하는 노면 정보를 제공한다(7000).
또한, 노면 상태 감지 시스템(200)의 학습부(25)는 제어부(24)에서 획득한 특징 벡터가 기존에 저장되어 있는 복수의 특징 벡터를 포함한 데이터 베이스에 존재하지 않을 경우(6100의 아니오), 새로운 형태의 특징 벡터 패턴으로 데이터 베이스에 추가함으로써 학습을 시킬 수 있다(8000).
또한, 노면 상태 감지 시스템(200)의 학습부(25)는 제어부(24)에서 획득한 특징 벡터를 복수의 특징 벡터를 포함한 데이터 베이스에 추가하여, 노면 상태를 판단하기 위한 기초 자료로 저장 및 사용할 수 있다.
이상에서는 개시된 발명의 일 실시예에 대하여 도시하고 설명하였지만, 개시된 발명은 상술한 특정의 실시예에 한정되지 아니하며 청구범위에서 청구하는 요지를 벗어남 없이 개시된 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 다양한 변형실시가 가능함을 물론이고 이러한 변형실시들은 개시된 발명으로부터 개별적으로 이해될 수 없다.
200: 노면 상태 감지 시스템
27: 뉴로모픽 시스템

Claims (8)

  1. 차량 지면의 음향 신호를 감지하는 음향 감지부;
    감지된 음향 신호를 푸리에 변환하여 특징 벡터를 산출하고, 산출한 특징 벡터와 미리 저장된 복수의 특징 벡터를 비교하여 상기 산출된 특징 벡터와 상대거리가 가장 작은 제 1 특징 벡터를 반환하고, 상기 제 1 특징 벡터에 대응하는 노면 상태를 출력하는 제어부;를 포함하는 노면 상태 감지 시스템.
  2. 제 1 항에 있어서,
    상기 제어부는 출력된 노면 상태를 상기 차량의 자율 주행 제어 시스템에 제공하는 노면 상태 감지 시스템.
  3. 제 2 항에 있어서,
    상기 차량의 자율 주행 제어 시스템은 전방 충돌 경고 장치(Forward Collision Warning System, FCW), 자동 비상 제동 장치(autonomous Emergency Braking System, AEBS), 적응 순항 제어 장치(Adaptive Cruise Control, ACC), 및 후방 충돌 경고 장치(Rear-end Collision Warning System, RCW) 중 적어도 하나를 포함하는 노면 상태 감지 시스템.
  4. 제 1항에 있어서,
    상기 제어부는 상기 산출한 특징 벡터를 학습시키고, 상기 미리 저장된 복수의 특징 벡터는 추가 입력 가능한 노면 상태 감지 시스템.
  5. 차량 지면의 음향 신호를 감지하는 음향 감지부;
    적어도 하나 이상의 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 시스템(Neuromorphic system); 및
    감지된 음향 신호를 푸리에 변환하여 특징 벡터를 산출하고, 상기 생성된 특징 벡터를 상기 뉴로모픽 시스템에 입력하고, 상기 뉴로모픽 시스템에 저장된 복수의 뉴런 중에서 상기 입력된 특징 벡터와 상대거리가 가장 작은 제 1 특징 벡터를 반환하고, 상기 제 1 특징 벡터에 대응하는 노면 상태를 출력하는 제어부;를 포함하는 노면 상태 감지 시스템.
  6. 차량 지면의 음향 신호를 감지하는 단계;
    상기 감지된 음향 신호를 푸리에 변환하여 특징 벡터를 산출하는 단계;
    산출된 특징 벡터와 미리 저장된 복수의 특징 벡터를 비교하여 상기 산출된 특징 벡터와 상대거리가 가장 작은 제 1 특징 벡터를 반환하는 단계; 및
    상기 제 1 특징 벡터에 대응하는 노면 상태를 출력하는 단계;를 포함하는 노면 상태 감지 방법.
  7. 제 6항에 있어서,
    상기 출력된 노면 상태를 상기 차량의 자율 주행 제어 시스템에 제공하는 단계;를 더 포함하는 노면 상태 감지 방법.
  8. 제 6항에 있어서,
    상기 산출한 특징 벡터를 학습시키는 단계; 및
    상기 미리 저장된 복수의 특징 벡터는 추가 입력 가능한 단계;를 더 포함하는 노면 상태 감지 방법.
KR1020170052770A 2017-04-25 2017-04-25 노면 상태 감지 시스템 및 방법 KR102011008B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170052770A KR102011008B1 (ko) 2017-04-25 2017-04-25 노면 상태 감지 시스템 및 방법
US15/680,157 US10676096B2 (en) 2017-04-25 2017-08-17 System and method for sensing road surface condition
DE102017214409.2A DE102017214409A1 (de) 2017-04-25 2017-08-18 System und verfahren zum erfassen eines strassenoberflächenzustands

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170052770A KR102011008B1 (ko) 2017-04-25 2017-04-25 노면 상태 감지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180119722A true KR20180119722A (ko) 2018-11-05
KR102011008B1 KR102011008B1 (ko) 2019-08-16

Family

ID=63714652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170052770A KR102011008B1 (ko) 2017-04-25 2017-04-25 노면 상태 감지 시스템 및 방법

Country Status (3)

Country Link
US (1) US10676096B2 (ko)
KR (1) KR102011008B1 (ko)
DE (1) DE102017214409A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210148050A (ko) * 2020-05-13 2021-12-07 에스케이플래닛 주식회사 노면 상태 탐지 장치 및 시스템, 이를 이용한 노면 상태 탐지 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101889365B1 (ko) 2017-05-10 2018-08-17 안경기 금속판 체결형 추간체 유합 보형재 구조
KR20200028217A (ko) * 2018-09-06 2020-03-16 현대자동차주식회사 차량의 주행 제어 장치 및 그 방법
DE102019209787A1 (de) * 2019-07-03 2021-01-07 Zf Friedrichshafen Ag Auswerteeinheit, Verfahren, System und Computerprogrammprodukt zur Adaption einer Längs- und/oder Querführung eines Straßenfahrzeuges an eine akustische Bestimmung einer Haftreibung und/oder Gleitreibung zwischen wenigstens einem Reifen des Straßenfahrzeuges und einer Fahrbahn
KR102206718B1 (ko) 2019-12-26 2021-01-26 상신브레이크주식회사 Abs 장착 차량의 도로노면 추정방법
CN111507233B (zh) * 2020-04-13 2022-12-13 吉林大学 一种多模态信息融合的智能车路面类型识别方法
DE102020116507A1 (de) 2020-06-23 2021-12-23 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Ermittlung einer Zielgröße
DE102021107587B4 (de) 2021-03-25 2023-02-02 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Ermittlung einer Zielgröße
CN114194195B (zh) * 2022-02-17 2022-07-22 北京航空航天大学 一种基于道路状况听觉感知的车辆控制系统
DE102022204831A1 (de) * 2022-05-17 2023-11-23 Zf Friedrichshafen Ag System zur Wahrnehmung von Straßenschäden durch automatisiert betreibbare Fahrzeuge

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013068986A (ja) * 2011-09-20 2013-04-18 Toyota Motor Corp 車両用路面判定装置及び運転支援装置
KR101342771B1 (ko) 2012-10-05 2013-12-19 경북대학교 산학협력단 노면상태 감지 장치
KR20160005500A (ko) * 2014-07-07 2016-01-15 광주과학기술원 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
US20160221581A1 (en) * 2015-01-29 2016-08-04 GM Global Technology Operations LLC System and method for classifying a road surface

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852243A (en) 1997-07-21 1998-12-22 J-Squared, Llc Method and apparatus for detecting a road pavement surface condition
JP4046059B2 (ja) * 2002-11-08 2008-02-13 株式会社豊田中央研究所 路面状態推定装置
DE10259979A1 (de) * 2002-12-19 2004-07-15 Daimlerchrysler Ag Verfahren zur Ermittlung eines Straßenzustands während des Fahrbetriebs eines Kraffahrzeugs
EP2343522B1 (en) 2008-10-30 2018-04-11 Bridgestone Corporation Method of estimating road surface condition
KR101152047B1 (ko) 2009-06-19 2012-06-08 주식회사 케이티 노면 정보 생성 장치 및 이를 이용한 노면 관리 시스템
US8401297B1 (en) * 2011-06-28 2013-03-19 AMI Research & Development, LLC Neuromorphic parallel processor
US8538667B2 (en) * 2011-07-28 2013-09-17 International Business Machines Corporation Evaluating road conditions using a mobile vehicle
DE102013002333A1 (de) * 2013-02-12 2014-08-14 Continental Teves Ag & Co. Ohg Verfahren und Strahlensensormodul zur vorausschauenden Straßenzustandsbestimmung in einem Fahrzeug
KR20170052770A (ko) 2015-11-03 2017-05-15 장장식 여주 식초의 제조 방법 또는 상기 방법으로 제조된 여주 식초

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013068986A (ja) * 2011-09-20 2013-04-18 Toyota Motor Corp 車両用路面判定装置及び運転支援装置
KR101342771B1 (ko) 2012-10-05 2013-12-19 경북대학교 산학협력단 노면상태 감지 장치
KR20160005500A (ko) * 2014-07-07 2016-01-15 광주과학기술원 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
US20160221581A1 (en) * 2015-01-29 2016-08-04 GM Global Technology Operations LLC System and method for classifying a road surface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210148050A (ko) * 2020-05-13 2021-12-07 에스케이플래닛 주식회사 노면 상태 탐지 장치 및 시스템, 이를 이용한 노면 상태 탐지 방법

Also Published As

Publication number Publication date
US20180304897A1 (en) 2018-10-25
KR102011008B1 (ko) 2019-08-16
US10676096B2 (en) 2020-06-09
DE102017214409A1 (de) 2018-10-25

Similar Documents

Publication Publication Date Title
US10676096B2 (en) System and method for sensing road surface condition
CN106564494B (zh) 用于控制具有自动驾驶系统的车辆的方法和系统
CN109388138B (zh) 基于深度学习的自动驾驶车辆、自动驾驶控制装置及自动驾驶控制方法
US10401854B2 (en) Vehicle and a control method thereof
US10875545B2 (en) Autonomous driving system
US10705522B2 (en) Method for controlling operation system of a vehicle
US9643617B2 (en) Friction coefficient estimation from camera and wheel speed data
US7260022B2 (en) Method and apparatus for detecting, evaluating and identifying a stationary or moving object
CN108027427B (zh) 车辆中的用于地形识别的超声波传感器系统
US20200148226A1 (en) Driver assistance apparatus, method of controlling the same, and driver assistance system
US20230055334A1 (en) Road condition deep learning model
US20210229657A1 (en) Detection of vehicle operating conditions
KR20190126024A (ko) 교통 사고 처리 장치 및 교통 사고 처리 방법
CN112896135B (zh) 车辆的控制方法、装置、车辆以及存储介质
US20200098203A1 (en) Information processing system and server
CN112074756A (zh) 用于运行车辆的超声波传感器的方法和设备
US11897331B2 (en) In-vehicle acoustic monitoring system for driver and passenger
KR102607029B1 (ko) 긴급 차량의 오디오 및 시각적 검출의 사후 융합
US20220219704A1 (en) Audio-based technique to sense and detect the road condition for autonomous driving vehicles
US20210362727A1 (en) Shared vehicle management device and management method for shared vehicle
KR20220058492A (ko) 긴급 차량 오디오 및 시각적 감지를 융합한 기계 학습 모델
KR20180042971A (ko) 차량 및 차량의 제어방법
US20220073104A1 (en) Traffic accident management device and traffic accident management method
CN111231948A (zh) 使用环境噪声的行驶安全控制系统及其控制方法
CN113064153B (zh) 一种确定目标对象跟踪门限的方法、装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant