KR102370079B1 - 운전 지원 방법 및 장치 - Google Patents

운전 지원 방법 및 장치 Download PDF

Info

Publication number
KR102370079B1
KR102370079B1 KR1020200111070A KR20200111070A KR102370079B1 KR 102370079 B1 KR102370079 B1 KR 102370079B1 KR 1020200111070 A KR1020200111070 A KR 1020200111070A KR 20200111070 A KR20200111070 A KR 20200111070A KR 102370079 B1 KR102370079 B1 KR 102370079B1
Authority
KR
South Korea
Prior art keywords
data
neural network
driving
vehicle
risk
Prior art date
Application number
KR1020200111070A
Other languages
English (en)
Inventor
최문규
최거석
표건호
임국빈
Original Assignee
주식회사 인포카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인포카 filed Critical 주식회사 인포카
Priority to KR1020200111070A priority Critical patent/KR102370079B1/ko
Priority to EP20204978.9A priority patent/EP3960563A1/en
Priority to PCT/KR2020/015266 priority patent/WO2022050487A1/ko
Priority to JP2022548460A priority patent/JP2023512849A/ja
Priority to US17/429,742 priority patent/US20220306134A1/en
Application granted granted Critical
Publication of KR102370079B1 publication Critical patent/KR102370079B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/06—Combustion engines, Gas turbines
    • B60W2510/0604—Throttle position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/06—Combustion engines, Gas turbines
    • B60W2510/0638—Engine speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/13—Mileage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

운전 지원 방법 및 장치가 개시된다. 일 실시예에 따른 운전 지원 방법은, 개인화된 차량 데이터를 수집하는 단계와, 상기 개인화된 차량 데이터에 기초하여 운전과 관련된 위험을 예측하는 단계와, 예측된 위험에 기초하여 차량의 운전자를 지원하는 단계를 포함한다.

Description

운전 지원 방법 및 장치{DRIVING SUPPORT METHOD AND APPARATUS}
아래 실시예들은 운전 지원 방법 및 장치에 관한 것이다.
자동차 산업은 공유차, 전기차, 자율주행, 연결성 등의 모멘텀을 활용하여 지속적인 성장을 유지하고, 차량에서 발생하는 데이터를 활용하는 차량 데이터 시장 또한 폭발적으로 성장할 것이라고 예측되고 있다.
그러나 차량 데이터 분야는, B2C 관점에서는 정확한 자율주행, 안전운전 정보의 생성을 위한 통합적인 데이터 분석 플랫폼이 부족하고, B2B 관점에서는 안전운전/경제운전 관점의 운전자의 스타일을 분석할 수 있는 개인화된 인터페이스가 부족한 실정이다.
따라서 차량 데이터 분야에서 기술 및 시장을 선도하기 위해서 빅데이터, 인공지능, 자율주행차와 같은 4차 산업혁명 분야의 전략적인 접근이 요청되고 있다.
아래 실시예들은 운전 지원 기술을 제공할 수 있다.
일 실시예에 따른 운전 지원 방법은, 개인화된 차량 데이터를 수집하는 단계와, 상기 개인화된 차량 데이터에 기초하여 운전과 관련된 위험을 예측하는 단계와, 예측된 위험에 기초하여 차량의 운전자를 지원하는 단계를 포함한다.
상기 수집하는 단계는, 주행 데이터, 차량 고장 데이터 및 위험 상황 데이터를 수집하는 단계를 포함할 수 있다.
상기 예측하는 단계는, 상기 개인화된 차량 데이터에 기초하여 상기 운전자의 급가속 여부, 급감속 여부, 과속 여부 및 급회전 여부를 예측하는 단계를 포함할 수 있다.
상기 예측하는 단계는, 상기 개인화된 차량 데이터에 기초하여 뉴럴 네트워크를 학습시키는 단계와, 학습된 뉴럴 네트워크를 이용하여 상기 위험을 예측하는 단계를 포함하고, 상기 학습시키는 단계는, 상기 개인화된 차량 데이터의 일부에 기초하여 상기 뉴럴 네트워크를 학습시키는 단계와, 상기 개인화된 차량 데이터의 나머지 일부에 기초하여 상기 뉴럴 네트워크를 검증하는 단계를 포함할 수 있다.
상기 학습시키는 단계는, 차량 고장 데이터에 기초하여 제1 뉴럴 네트워크를 학습시키는 단계와, 위험 상황 데이터에 기초하여 제2 뉴럴 네트워크를 학습시키는 단계를 포함하고, 상기 제1 뉴럴 네트워크를 학습시키는 단계는, 복수의 주행 데이터에 기초하여 상기 제1 뉴럴 네트워크를 학습시키는 단계를 포함하고, 상기 제2 뉴럴 네트워크를 학습시키는 단계는, 하나의 주행 데이터에 기초하여 상기 제2 뉴럴 네트워크를 학습시키는 단계를 포함할 수 있다.
일 실시예에 따른 운전 지원 장치는, 개인화된 차량 데이터를 수집하는 수집기와, 상기 개인화된 차량 데이터에 기초하여 운전과 관련된 위험을 예측하고, 예측된 위험에 기초하여 차량의 운전자를 지원하는 프로세서를 포함한다.
상기 수집기는, 주행 데이터, 차량 고장 데이터 및 위험 상황 데이터를 수집할 수 있다.
상기 프로세서는, 상기 개인화된 차량 데이터에 기초하여 상기 운전자의 급가속 여부, 급감속 여부, 과속 여부 및 급회전 여부를 예측할 수 있다.
상기 프로세서는, 상기 개인화된 차량 데이터에 기초하여 뉴럴 네트워크를 학습시키고, 학습된 뉴럴 네트워크를 이용하여 상기 위험을 예측하고, 상기 뉴럴 네트워크는 상기 개인화된 차량 데이터의 일부에 기초하여 학습되고, 상기 개인화된 차량 데이터의 나머지 일부에 기초하여 검증될 수 있다.
제4항에 있어서, 상기 프로세서는, 차량 고장 데이터에 기초하여 제1 뉴럴 네트워크를 학습시키고, 위험 상황 데이터에 기초하여 제2 뉴럴 네트워크를 학습시키고, 상기 제1 뉴럴 네트워크는 복수의 주행 데이터에 기초하여 학습되고, 상기 제2 뉴럴 네트워크는 하나의 주행 데이터에 기초하여 학습될 수 있다.
도 1은 일 실시예에 따른 운전 지원 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 운전 지원 장치의 동작을 나타낸다.
도 3은 도 1에 도시된 운전 지원 장치에 포함된 플랫폼의 예를 나타낸다.
도 4는 차량 데이터의 예를 나타낸다.
도 5는 주행 데이터, 차량 고장 데이터 및 위험 상황 데이터의 관계를 나타낸다.
도 6은 도 1에 도시된 운전 지원 장치의 동작의 순서를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 운전 지원 장치의 개략적인 블록도를 나타내고, 도 2는 도 1에 도시된 운전 지원 장치의 동작을 나타낸다.
도 1 및 도 2를 참조하면, 운전 지원 장치(10)는 차량 데이터를 수집하고, 수집한 차량 데이터에 기초하여 차량 운전자의 운전을 지원할 수 있다. 운전 지원 장치(10)는 차량 데이터에 기초하여 위험을 예측할 수 있다. 위험은 차량에 대한 위험 및 운전 중의 위험 상황을 포함할 수 있다. 다시 말해, 운전 지원 장치(10)는 차량 데이터에 기초하여 차량에 대한 위험 및 운전 중의 위험 상황을 예측할 수 있다.
차량 데이터는 주행 데이터, 차량 고장 데이터 및 위험 상황 데이터를 포함할 수 있다. 주행 데이터는 차량의 주행 중에 발생된 데이터를 의미할 수 있다. 주행 데이터는 차량의 시간에 따른 위치, 속도, 경로에 대한 정보를 포함할 수 있다. 주행 데이터는 차량 내에서 수집되는 데이터를 포함할 수 있다. 예를 들어, 주행 데이터는 ECU(Electronic Control Unit)가 제공하는 엔진 데이터, 스마트폰 센서 데이터 및 차량 고장 데이터를 포함할 수 있다.
차량 고장 데이터는 차량의 상태를 나타내는 데이터를 의미할 수 있다. 예를 들어, 차량 고장 데이터는 DTC(Diagnostic Trouble Code)를 포함할 수 있다. DTC는 ECU로부터 제공될 수 있다.
위험 상황 데이터는 운전 중에 발생하는 위험 상황에 관련된 데이터를 의미할 수 있다. 위험 상황 데이터는 차량 내에서 수집된 데이터를 분석하여 획득한 데이터를 의미할 수 있다. 예를 들어, 위험 상황 데이터는 급회전, 급가속, 급감속, 과속 및 공회전 등의 상황을 나타내는 데이터를 포함할 수 있다.
운전 지원 장치(10)는 뉴럴 네트워크를 이용하여 차량의 운전과 관련된 위험을 예측할 수 있다. 운전 지원 장치(10)는 차량 데이터에 기초하여 뉴럴 네트워크를 학습시키고, 학습된 뉴럴 네트워크를 이용하여 위험을 예측할 수 있다.
운전 지원 장치(10)는 차량 및 네트워크에서 발생하는 차량 데이터에 기초하여 정확한 주행상황을 예측하고, 운전자에게 안전에 관한 정보를 제공할 수 있다. 운전 지원 장치(10)는 운전 중의 위험 상황을 예측하여 실시간으로 차량의 안전을 확보하기 위한 경고 및 제어 신호를 생성함으로써 사고를 예방하고 운전자의 주행 편의성을 향상시킬 수 있다.
운전 지원 장치(10)에 의해 예측되는 위험은 차량 고장에 관한 위험, 주행에 관한 위험을 포함할 수 있다. 주행에 관한 위험은 운전자가 발생시키는 위험을 포함할 수 있다. 운전자가 발생시키는 위험은 급가속, 급감속, 급회전 및 과속과 같이 순간으로 발생될 수 있다.
차량 고장에 관한 위험은 고장 코드(예를 들어, DTC)를 포함할 수 있다. 차량 고장에 관한 위험은 차량 ECU(Electronic Control Unit)를 통해 실시간으로 감지될 수 있다.
운전 지원 장치(10)는 주행 기록 및 위험 상황에 기초하여 뉴럴 네트워크를 학습시킴으로써 운전자가 발생시키는 위험을 예측할 수 있다. 운전 지원 장치(10)는 차량 고장 데이터(예를 들어, 고장 코드)에 기초하여 뉴럴 네트워크를 학습시킴으로써 차량 고장에 관한 위험을 예측할 수 있다. 차량 고장에 관한 위험은 차량 고장의 시기 및 차량 고장의 종류를 포함할 수 있다.
운전자가 발생시키는 위험을 예측하기 위한 학습 조건과 차량 고장에 관한 위험을 예측하기 위한 학습 조건은 상이할 수 있다.
도 2에 도시된 인공 지능은 뉴럴 네트워크에 의해 구현된 딥러닝 모델을 포함할 수 있다. 뉴럴 네트워크(또는 인공 신경망)는 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.
뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다. 뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있다.
운전 지원 장치(10)는 수집기(100) 및 프로세서(200)를 포함한다. 운전 지원 장치(10)는 메모리(300)를 더 포함할 수 있다.
수집기(100)는 차량 데이터를 수집할 수 있다. 차량 데이터는 개인화된 차량 데이터를 포함할 수 있다. 수집기는 주행 데이터, 차량 고장 데이터 및 위험 상황 데이터를 수집할 수 있다.
개인화된 차량 데이터는 운전 지원 장치(10)의 사용자로부터 수집된 차량 데이터를 의미할 수 있다. 개인화된 차량 데이터는 사용자 개인별 주행 데이터, 개인별 차량 고장 데이터 및 개인별 위험 상황 데이터를 포함할 수 있다. 수집기(100)는 수집한 개인화된 차량 데이터를 프로세서(200)로 출력할 수 있다.
프로세서(200)는 메모리(300)에 저장된 데이터를 처리할 수 있다. 프로세서(200)는 메모리(300)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(200)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
"프로세서(200)"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(200)는 개인화된 차량 데이터에 기초하여 운전과 관련된 위험을 예측할 수 있다. 프로세서(200)는 개인화된 차량 데이터에 기초하여 운전자의 급가속 여부, 급감속 여부, 과속 여부, 급회전 여부 및 공회전 여부를 예측할 수 있다.
프로세서(200)는 개인화된 차량 데이터에 기초하여 뉴럴 네트워크를 학습시킬 수 있다. 프로세서(200)는 학습된 뉴럴 네트워크를 이용하여 위험을 예측할 수 있다.
예를 들어, 프로세서(200)는 뉴럴 네트워크의 입력으로 주행 데이터를 사용하고, 출력으로 차량 고장 데이터를 사용하여 학습시킴으로써 차량의 고장을 예측할 수 있다.
또한, 프로세서(200)는 뉴럴 네트워크의 입력으로 주행 데이터를 사용하고, 출력으로 위험 상황 데이터를 사용하여 학습시킴으로써 위험 상황을 예측할 수 있다.프로세서(200)는 개인화된 차량 데이터의 일부에 기초하여 뉴럴 네트워크를 학습시킬 수 있다. 프로세서(200)는 개인화된 차량 데이터의 나머지 일부에 기초하여 뉴럴 네트워크를 검증할 수 있다.
뉴럴 네트워크는 복수의 뉴럴 네트워크들을 포함할 수 있다. 예를 들어, 뉴럴 네트워크는 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크를 포함할 수 있다.
프로세서(200)는 차량 고장 데이터에 기초하여 제1 뉴럴 네트워크를 학습시킬 수 있다. 프로세서(200)는 위험 상황 데이터에 기초하여 제2 뉴럴 네트워크를 학습시킬 수 있다.
프로세서(200)는 복수의 주행 데이터에 기초하여 제1 뉴럴 네트워크를 학습시킬 수 있다. 프로세서(200)는 하나의 주행 데이터에 기초하여 제2 뉴럴 네트워크를 학습시킬 수 있다.
뉴럴 네트워크의 학습 및 검증 과정은 도 3을 참조하여 보다 자세하게 설명한다.
프로세서(200)는 예측된 위험에 기초하여 차량의 운전자를 지원할 수 있다. 프로세서(200)는 예측된 위험을 시각화하여 운전자에게 제공할 수 있다. 운전자의 지원 과정은 도 3을 참조하여 자세하게 설명한다.
메모리(300)는 프로세서(200)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(200)의 동작 및/또는 프로세서(200)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(300)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Eelectronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
도 3은 도 1에 도시된 운전 지원 장치에 포함된 플랫폼의 예를 나타낸다.
도 3을 참조하면, 운전 지원 장치(10)는 개인화된 주행 기록 및 위험 상황에 기초하여 뉴럴 네트워크를 학습시키고, 학습된 뉴럴 네트워크에 기초하여 운전자를 지원함으로써 안전 운전을 도모할 수 있다.
운전 지원 장치(10)는 복수의 플랫폼을 포함할 수 있다. 예를 들어, 운전 지원 장치(10)는 빅데이터 플랫폼 및 인공지능 플랫폼을 포함할 수 있다. 빅데이터 플랫폼 및 인공 지능 플랫폼은 동일한 프로세서에 의해 구현되거나 상이한 프로세서에 의해 구현될 수 있다.
빅데이터 플랫폼은 차량 데이터를 수집하여 수집된 차량 데이터에 대한 전처리를 수행할 수 있다. 데이터의 전처리는 위험에 대한 예측의 정확성을 향상시키기 위해 정확한 위험 상황, 차량 고장에 대한 판단, 위험 요소 사이의 상관 관계, 위험 요소와 주행 상황의 인과관계를 고려하여 차량 데이터를 선별하고, 선별된 데이터에 가중치를 할당하는 과정을 포함할 수 있다.
빅데이터 플랫폼은 차량 데이터를 전처리함으로써 학습 데이터 셋(training data set)을 생성할 수 있다. 빅데이터 플랫폼은 학습 데이터 셋을 인공지능 플랫폼으로 출력할 수 있다.
수집기(100)는 차량 데이터를 수집할 수 있다(310). 수집기(100)는 네트워크를 통해 데이터를 수집할 수도 있다. 데이터베이스(database, DB)는 수집한 차량 데이터를 저장할 수 있다(320). 데이터베이스는 수집된 차량 데이터를 서버(server) 또는 단말(terminal) 별로 개인화할 수 있다. 데이터베이스는 메모리(300)를 포함할 수 있다.
데이터베이스에 포함된 데이터는 표 1과 같이 나타낼 수 있다.
차량 데이터 유형 AI 데이터 유형 설명 내용
Identity A 사용자 신원(User Identification) ID, 닉네임(Nickname), ..
Abstract A 주행 기록(Driving Record) 거리(Distance), 속도(Speed), ..
OBD A 차량 정보(Vehicle Information) 엔진 상태(Engine Status), ..
ADAS/DSM A 도로/운전자 정보(Road/Driver Information) FCW(Forward Collision Warning), LDW(Lane Departure Warning), ..
Smart Device A 센서 정보(Sensor Information) 가속(Acceleration), 각도(Angle), ..
Phone Use A 부주의 정보(Carelessness Information) 터치(Touch), 움직임(Move), ..
Score A 주행 스타일(Driving Style) 경제(Economic), 안전(Safety), ..
GPS A 글로벌 포지셔닝 시스템(Global Positioning System) 시간(Time), 위치(Location), ..
Prediction C AI 위험 예측(Danger Prediction) 위험 유형(Danger Type), 등급(Grade), ..
Warning B 위험 상황(Danger Situation) DTC 코드, 턴(Turn), 가속(Acceleration), ..
Detailed Data A 세부 주행 정보(Detailed Driving Information) 연료(Fuel), 시간(Time), ..
Reserved - - -
ID(Identity)는 사용자의 정보를 의미하고, 요약(abstract)은 주행 데이터의 요약을 의미할 수 있다. OBD(On Board Diagnostics)는 실시간 차량 데이터를 의미하고, ADAS(Advanced Driver Assistant System)/DSM(Driver Status Monitoring)은 첨단 운전 보조 기기의 데이터를 의미할 수 있다.
스마트 장치(smart device)는 어플리케이션의 플랫폼에서 획득하는 센서 데이터를 의미하고, 폰 사용(phone use)은 스마트폰 사용 정보를 의미할 수 있다. 점수(score)는 운전 점수를 의미하고, 운전 점수는 경제 점수와 안전 점수를 포함할 수 있다.
예측(prediction)은 예측된 위험 상황에 관한 데이터를 의미하고, 경고(warning)는 위험 상황에 대한 경고를 나타낼 수 있다. 세부 데이터(detail data)는 상세 주행 기록 데이터를 의미할 수 있다. 상세 주행 기록 데이터는 초 단위의 시계열 데이터를 포함할 수 있다. 리저브드(reserved)는 여유 필드를 의미할 수 있다.
AI(Artificial Intelligence) 데이터 유형에서 A는 주행 데이터를 의미하고, B는 실제 발생한 위험 상황을 의미하고, C는 위험 예측 알고리즘의 예측 결과를 의미할 수 있다.
데이터베이스에 저장되는 데이터는 스마트폰 어플리케이션과 네트워크 서버 사이에서 송수신될 수 있다. 데이터베이스에 저장되는 데이터는 주행 데이터와 위험 상황 데이터를 포함할 수 있다.
프로세서(200)는 수집된 차량 데이터에 대하여 전처리를 수행할 수 있다(330). 프로세서(200)는 차량 데이터를 정제할 수 있다. 프로세서(200)는 위험 상황, 차량 데이터 간의 상관 관계 및 인과 관계를 고려하여 차량 데이터에 대하여 전처리를 수행할 수 있다. 프로세서(200)는 차량 데이터의 전처리를 통해 학습 데이터 셋을 생성할 수 있다.
인공지능 플랫폼은 빅데이터 플랫폼으로부터 수신한 차량 데이터 및/또는 학습 데이터 셋에 기초하여 뉴럴 네트워크를 학습시키고, 학습된 뉴럴 네트워크에 기초하여 운전과 관련된 위험을 예측할 수 있다.
프로세서(200)는 표 1에 도시된 데이터를 이용하여 뉴럴 네트워크를 학습시킬 수 있다. 예를 들어, 프로세서(200)는 위험 상황 데이터 중에서 학습시키고자 하는 레코드(예를 들어, 급회전)을 선택하고, 선택된 레코드의 ID를 활용하여 연관된 주행 데이터를 검색할 수 있다. 프로세서(200)는 검색된 주행 데이터를 입력으로, 선택된 레코드를 출력으로 설정하여 뉴럴 네트워크를 학습시킬 수 있다.
뉴럴 네트워크는 딥러닝 모델(350)을 포함할 수 있다. 프로세서(200)는 뉴럴 네트워크에 기초하여 예측된 위험에 대한 시험을 수행할 수 있다(360). 프로세서(200)는 뉴럴 네트워크에 기초하여 예측된 위험 상황을 운전 상황에 적용시킬 수 있다(370). 프로세서(200)는 시험 및 적용에 의해 도출된 결과를 뉴럴 네트워크 모델에 피드백할 수 있다(380).
프로세서(200)는 개인화된 차량 데이터에 기초하여 뉴럴 네트워크를 학습시킬 수 있다. 프로세서(200)는 개인화된 차량 데이터의 일부에 기초하여 뉴럴 네트워크를 학습시키고, 개인화된 차량 데이터에 기초하여 뉴럴 네트워크를 검증할 수 있다.
프로세서(200)는 주행 데이터의 일부에 기초하여 뉴럴 네트워크를 학습시키고, 주행 데이터의 나머지 일부에 기초하여 뉴럴 네트워크를 검증할 수 있다.
예를 들어, 프로세서(200)는 주행 데이터의 70%를 이용하여 뉴럴 네트워크를 학습시킬 수 있고, 주행 데이터의 나머지 30%를 이용하여 뉴럴 네트워크를 검증할 수 있다.
프로세서(200)는 예측된 위험에 기초하여 운전자의 운전을 지원할 수 있다. 프로세서(200)는 예측된 위험을 시각화하여 운전자에게 제공할 수 있다. 시각화된 위험은 운전 상태의 변경, 차량의 정비를 포함할 수 있다.
예를 들어, 프로세서(200)는 운전자에게 위험 상황을 개선하기 위해 가속 또는 감속에 관한 안내를 제공할 수 있다. 프로세서(200)는 차량의 고장이 예측된 경우, 차량의 정비 및 부품의 교체에 관한 안내를 제공할 수 있다.
프로세서(200)는 운전자 개인의 운전 스타일 및 주행 기록에 적합한 맞춤형 운전 지원을 수행할 수 있다. 프로세서(200)는 뉴럴 네트워크의 연합 학습을 수행하여 분산형 서비스를 제공할 수 있다. 예측되는 위험의 속성에 따라 학습 플랫폼이 달라질 수 있다.
프로세서(200)는 위험의 예측을 초단위로 수행할 수 있다. 프로세서(200)는 실시간으로 위험을 예측할 수 있다. 예를 들어, 프로세서(200)는 500msec 이하의 처리 속도로 위험을 예측할 수 있다. 프로세서(200)는 차량 데이터, 스마트폰 데이터, 카메라 데이터를 수집하여 위험 예측 알고리즘을 수행하여 예측 결과를 생성하는 과정을 500msec 이내에 수행할 수 있다. 실시간 예측을 수행하기 위해 카메라 데이터를 제외하고 예측을 수행하는 것도 가능하다.
도 4는 차량 데이터의 예를 나타내고, 도 5는 주행 데이터, 차량 고장 데이터 및 위험 상황 데이터의 관계를 나타낸다.
도 4 및 도 5를 참조하면, 차량 데이터는 시계열(time series) 데이터일 수 있다. 차량 데이터는 ECU(Electronic Control Unit) 데이터, 카메라 데이터, 네트워크 데이터, 스마트폰 데이터 및 영상 처리기에 의한 데이터를 포함할 수 있다.
차량 데이터의 일반 항목(general)은 사용자 ID(user identification), 차 ID(car identification), 국가(country), 날짜(day), 시간(time), 거리(distance) 및 위치(location)를 포함할 수 있다.
차량 데이터의 차량 항목은 RPM(Rotation Per Minute), 속도(speed), APS(Accelerator Position Sensor), TPS(Throttle Position Sensor), 온도(temperature), 연료(fuel), TPMS(Tire Pressure Monitoring System), 부하(load)를 포함할 수 있다.
단말 항목은 (touch), 이동(move), 자이로스코프(gyroscope), 각도(angle), 부하(load), 어플리케이션(application)을 포함할 수 있다. 단말은 모바일 기기를 포함할 수 있다. 예를 들어, 단말은 모바일 폰(mobile phone)을 포함할 수 있다.
카메라 항목은 FCW(Forward Collision Warning), LDW(Lane Departure Warning), TSR(Traffic Sign Recognition), LKA(Lane Keeping Assist), 디지니스(dizziness), 임밸런스(imbalance), 버티고(vertigo)를 포함할 수 있다.
프로세서(200)는 차량 데이터에 기초하여 위험을 예측할 수 있다. 예측되는 위험의 상태 항목은 안전 상태 및 위험 상태를 포함할 수 있다. 예측되는 위험의 유형은, DTC, 턴(turn), 속도 위반(speeding), 가속(acceleration), 잭래빗(jackrabbit), 비정상(abnormal), 고장(failure)을 포함할 수 있다.
도 5의 예시와 같이, 위험은 주행 중에 발생하는 위험과 주행과 관계없이 발생하는 위험을 포함할 수 있다. 주행 중에 발생하는 위험은 위험 상황 데이터에 대응될 수 있고, 주행과 관계없이 발생하는 위험은 차량 고장 데이터에 대응될 수 있다.
주행 중에 발생하는 위험은 급가속, 급감속, 과속과 같이 순간적으로 발생할 수 있다. 주행 중에 발생하는 위험은 수초 정도 지속되는 순간적인 위험일 수 있다.
주행과 관계없이 발생하는 위험은 차량의 고장을 포함할 수 있다. 고장은 차량의 부품의 문제와 같이 수시간 이상 지속될 수 있다.
위험 상황 데이터와 차량 고장 데이터는 서로 다른 속성을 가지기 때문에, 프로세서(200)는 위험 상황 데이터와 차량 고장 데이터에 대해 서로 다른 학습 조건을 이용하여 뉴럴 네트워크를 학습시킬 수 있다.
위험 상황 데이터와 차량 고장 데이터를 이용하여 학습시키는 뉴럴 네트워크는 동일하거나 상이할 수 있다. 예를 들어, 프로세서(200)는 차량 고장 데이터에 기초하여 제1 뉴럴 네트워크를 학습시키고, 위험 상황 데이터에 기초하여 제2 뉴럴 네트워크를 학습시킬 수 있다.
이 때, 프로세서(200)는 복수의 주행 데이터에 기초하여 제1 뉴럴 네트워크를 학습시키고, 하나의 주행 데이터에 기초하여 제2 뉴럴 네트워크를 학습시킬 수 있다. 위험 상황 데이터와 차량 고장 데이터의 학습 조건의 차이는 표 1과 같이 나타낼 수 있다.
항목 위험상황 차량고장
위험예 급회전, 급감속, 과속 등 DTC Code
특징 순간적으로 지속됨(수초) 일정시간 이상 지속됨(수시간)
학습입력 하나의 주행기록데이터 다수개의 주행기록데이터에 걸침
학습출력 급회전, 급감속, 과속 등 연료, 점화, 변속 등
실시간성 필요 불필요
구현위치 모바일 서버
데이터베이스 SQLite MySQL
도 6은 도 1에 도시된 운전 지원 장치의 동작의 순서를 나타낸다.
도 6을 참조하면, 수집기(100)는 개인화된 차량 데이터를 수집할 수 있다(610). 구체적으로, 수집기(100)는 주행 데이터, 차량 고장 데이터 및 위험 상황 데이터를 수집할 수 있다.
프로세서(200)는 개인화된 차량 데이터에 기초하여 운전과 관련된 위험을 예측할 수 있다(630). 프로세서(200)는 개인화된 차량 데이터에 기초하여 운전자의 급가속 여부, 급감속 여부, 과속 여부 및 급회전 여부를 예측할 수 있다.
프로세서(200)는 개인화된 차량 데이터에 기초하여 뉴럴 네트워크를 학습시킬 수 있다. 프로세서(200)는 학습된 뉴럴 네트워크를 이용하여 위험을 예측하는 단계를 포함할 수 있다.
프로세서(200)는 개인화된 차량 데이터의 일부에 기초하여 뉴럴 네트워크를 학습시킬 수 있고, 개인화된 차량 데이터의 나머지 일부에 기초하여 뉴럴 네트워크를 검증할 수 있다.
프로세서(200)는 차량 고장 데이터에 기초하여 제1 뉴럴 네트워크를 학습시키고, 위험 상황 데이터에 기초하여 제2 뉴럴 네트워크를 학습시킬 수 있다.
프로세서(200)는 복수의 주행 데이터에 기초하여 제1 뉴럴 네트워크를 학습시킬 수 있다. 프로세서(200)는 하나의 주행 데이터에 기초하여 뉴럴 네트워크를 학습시킬 수 있다.
프로세서(200)는 예측된 위험에 기초하여 차량의 운전자를 지원할 수 있다(650).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (10)

  1. 개인화된 차량 데이터를 수집하는 단계;
    상기 개인화된 차량 데이터에 기초하여 운전과 관련된 위험을 예측하는 단계; 및
    예측된 위험에 기초하여 차량의 운전자를 지원하는 단계
    를 포함하고,
    상기 예측하는 단계는,
    상기 개인화된 차량 데이터에 기초하여 학습 데이터 셋을 생성하는 단계;
    상기 학습 데이터 셋에 기초하여 뉴럴 네트워크를 학습시키는 단계; 및
    학습된 뉴럴 네트워크를 이용하여 상기 위험을 예측하는 단계를 포함하고,
    상기 학습시키는 단계는,
    상기 개인화된 차량 데이터의 일부에 기초하여 상기 뉴럴 네트워크를 학습시키는 단계; 및
    상기 개인화된 차량 데이터의 나머지 일부에 기초하여 상기 뉴럴 네트워크를 검증하는 단계
    를 포함하고,
    상기 학습 데이터 셋을 생성하는 단계는,
    위험 상황, 차량 고장에 대한 판단, 위험 요소 사이의 상관 관계, 위험 요소와 주행 상황의 인과관계에 기초하여 차량 데이터를 선별하는 단계; 및
    선별된 차량 데이터에 가중치를 할당하는 단계
    를 포함하는 운전 지원 방법.
  2. 제1항에 있어서,
    상기 수집하는 단계는,
    주행 데이터, 차량 고장 데이터 및 위험 상황 데이터를 수집하는 단계
    를 포함하는 운전 지원 방법.
  3. 제1항에 있어서,
    상기 예측하는 단계는,
    상기 개인화된 차량 데이터에 기초하여 상기 운전자의 급가속 여부, 급감속 여부, 과속 여부 및 급회전 여부를 예측하는 단계
    를 포함하는 운전 지원 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 학습시키는 단계는,
    차량 고장 데이터에 기초하여 제1 뉴럴 네트워크를 학습시키는 단계; 및
    위험 상황 데이터에 기초하여 제2 뉴럴 네트워크를 학습시키는 단계를 포함하고,
    상기 제1 뉴럴 네트워크를 학습시키는 단계는, 복수의 주행 데이터에 기초하여 상기 제1 뉴럴 네트워크를 학습시키는 단계를 포함하고,
    상기 제2 뉴럴 네트워크를 학습시키는 단계는, 하나의 주행 데이터에 기초하여 상기 제2 뉴럴 네트워크를 학습시키는 단계를 포함하는
    운전 지원 방법.
  6. 개인화된 차량 데이터를 수집하는 수집기; 및
    상기 개인화된 차량 데이터에 기초하여 운전과 관련된 위험을 예측하고, 예측된 위험에 기초하여 차량의 운전자를 지원하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 개인화된 차량 데이터에 기초하여 학습 데이터 셋을 생성하고,
    상기 학습 데이터 셋에 기초하여 뉴럴 네트워크를 학습시키고,
    학습된 뉴럴 네트워크를 이용하여 상기 위험을 예측하고,
    상기 뉴럴 네트워크는,
    상기 개인화된 차량 데이터의 일부에 기초하여 학습되고, 상기 개인화된 차량 데이터의 나머지 일부에 기초하여 검증되고,
    상기 학습 데이터 셋은,
    위험 상황, 차량 고장에 대한 판단, 위험 요소 사이의 상관 관계, 위험 요소와 주행 상황의 인과관계에 기초하여 차량 데이터를 선별하고, 선별된 차량 데이터에 가중치를 할당함으로써 생성되는,
    운전 지원 장치.
  7. 제6항에 있어서,
    상기 수집기는,
    주행 데이터, 차량 고장 데이터 및 위험 상황 데이터를 수집하는
    운전 지원 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 개인화된 차량 데이터에 기초하여 상기 운전자의 급가속 여부, 급감속 여부, 과속 여부 및 급회전 여부를 예측하는
    운전 지원 장치.
  9. 삭제
  10. 제6항에 있어서,
    상기 프로세서는,
    차량 고장 데이터에 기초하여 제1 뉴럴 네트워크를 학습시키고,
    위험 상황 데이터에 기초하여 제2 뉴럴 네트워크를 학습시키고,
    상기 제1 뉴럴 네트워크는 복수의 주행 데이터에 기초하여 학습되고, 상기 제2 뉴럴 네트워크는 하나의 주행 데이터에 기초하여 학습되는
    운전 지원 장치.
KR1020200111070A 2020-09-01 2020-09-01 운전 지원 방법 및 장치 KR102370079B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200111070A KR102370079B1 (ko) 2020-09-01 2020-09-01 운전 지원 방법 및 장치
EP20204978.9A EP3960563A1 (en) 2020-09-01 2020-10-30 Driving support method and apparatus
PCT/KR2020/015266 WO2022050487A1 (ko) 2020-09-01 2020-11-04 운전 지원 방법 및 장치
JP2022548460A JP2023512849A (ja) 2020-09-01 2020-11-04 運転支援方法及び装置
US17/429,742 US20220306134A1 (en) 2020-09-01 2020-11-04 Driving support method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200111070A KR102370079B1 (ko) 2020-09-01 2020-09-01 운전 지원 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102370079B1 true KR102370079B1 (ko) 2022-03-07

Family

ID=73043090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111070A KR102370079B1 (ko) 2020-09-01 2020-09-01 운전 지원 방법 및 장치

Country Status (5)

Country Link
US (1) US20220306134A1 (ko)
EP (1) EP3960563A1 (ko)
JP (1) JP2023512849A (ko)
KR (1) KR102370079B1 (ko)
WO (1) WO2022050487A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601034B1 (ko) * 2015-12-08 2016-03-08 국민대학교산학협력단 Dtg 빅데이터 처리 및 분석 시스템
KR20190111318A (ko) * 2018-03-22 2019-10-02 슈어소프트테크주식회사 운전 상태 추정을 위한 이동체, 서버, 운전 상태 추정 방법 및 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090177602A1 (en) * 2007-04-25 2009-07-09 Nec Laboratories America, Inc. Systems and methods for detecting unsafe conditions
US9881428B2 (en) * 2014-07-30 2018-01-30 Verizon Patent And Licensing Inc. Analysis of vehicle data to predict component failure
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US10883844B2 (en) * 2017-07-27 2021-01-05 Waymo Llc Neural networks for vehicle trajectory planning
US10768002B2 (en) * 2017-10-26 2020-09-08 International Business Machines Corporation Assessing personalized risk for a user on a journey
JP2019206247A (ja) * 2018-05-29 2019-12-05 株式会社デンソーテン 故障予測装置および故障予測方法
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
US10739777B2 (en) * 2018-11-20 2020-08-11 Waymo Llc Trajectory representation in behavior prediction systems
KR102150034B1 (ko) * 2019-12-13 2020-08-31 제주특별자치도 이동형 IoT 통합 기반 안전 운행 지원 시스템 및 그의 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601034B1 (ko) * 2015-12-08 2016-03-08 국민대학교산학협력단 Dtg 빅데이터 처리 및 분석 시스템
KR20190111318A (ko) * 2018-03-22 2019-10-02 슈어소프트테크주식회사 운전 상태 추정을 위한 이동체, 서버, 운전 상태 추정 방법 및 시스템

Also Published As

Publication number Publication date
US20220306134A1 (en) 2022-09-29
EP3960563A1 (en) 2022-03-02
JP2023512849A (ja) 2023-03-29
WO2022050487A1 (ko) 2022-03-10

Similar Documents

Publication Publication Date Title
US11003189B2 (en) Trajectory representation in behavior prediction systems
US11900663B2 (en) Computer-assisted or autonomous driving traffic sign recognition method and apparatus
JP6838241B2 (ja) 移動体挙動予測装置
JP6790258B2 (ja) ポリシー生成装置及び車両
US12005922B2 (en) Toward simulation of driver behavior in driving automation
CN111984018A (zh) 自动驾驶方法及装置
CN116108717B (zh) 一种基于数字孪生的交通运输设备运行预测方法及装置
US11529951B2 (en) Safety system, automated driving system, and methods thereof
EP3725609A1 (en) Calibrating method and device for vehicle anti-collision parameters, vehicle controller and storage medium
CN111830962A (zh) 强化学习代理控制器的解释数据
CN115764030A (zh) 动力电池的热失控预警方法、装置、存储介质及车辆
CN115113601A (zh) 车辆管理装置、车辆管理方法和计算机可读存储介质
KR102370079B1 (ko) 운전 지원 방법 및 장치
JP6597516B2 (ja) 自動運転システム診断装置
US11657635B2 (en) Measuring confidence in deep neural networks
JP2021024520A (ja) 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム
CN115578717A (zh) 驾驶员脱手检测的方法、处理器以及计算机可读介质
US11820427B2 (en) Lane keeping assist system of vehicle and lane keeping method using the same
Waltereit et al. A digital forensic approach for optimizing the investigation of hit-and-run accidents
Lee et al. Automotive ECU data-based driver’s propensity learning using evolutionary random forest
CN114274980A (zh) 轨迹控制方法、装置、车辆及存储介质
US20230339517A1 (en) Autonomous driving evaluation system
US20230131124A1 (en) Connected vehicle road-safety infrastructure insights
KR20200075918A (ko) 차량 및 그 제어 방법
US11734909B2 (en) Machine learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant