KR102498328B1 - 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치 - Google Patents

차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치 Download PDF

Info

Publication number
KR102498328B1
KR102498328B1 KR1020200131214A KR20200131214A KR102498328B1 KR 102498328 B1 KR102498328 B1 KR 102498328B1 KR 1020200131214 A KR1020200131214 A KR 1020200131214A KR 20200131214 A KR20200131214 A KR 20200131214A KR 102498328 B1 KR102498328 B1 KR 102498328B1
Authority
KR
South Korea
Prior art keywords
state
vehicle
transition
learning
node
Prior art date
Application number
KR1020200131214A
Other languages
English (en)
Other versions
KR20220048515A (ko
Inventor
홍장의
김영재
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020200131214A priority Critical patent/KR102498328B1/ko
Publication of KR20220048515A publication Critical patent/KR20220048515A/ko
Application granted granted Critical
Publication of KR102498328B1 publication Critical patent/KR102498328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 개시는 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치를 제공한다.
본 개시의 일 측면에 의하면, 차량과 관련하여 발생하는 이벤트에 차량이 적응적으로 동작하도록 차량 상태 기반 모델에 상태전이를 학습시키는 방법 및 장치를 제공한다.

Description

차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치 {Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model}
본 발명은 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
자율주행(autonomous driving)은 일반적으로, 차량에 탑재된 소프트웨어가 생성하는 차량 상태 기반 모델(vehicle state based model)에 기초하여 이루어진다. 이러한 차량 상태 기반 모델은 차량의 상태와 상태 변환을 모델링(modeling)한 것으로, 차량 상태가 변환하기 위하여 수행되어야 하는 동작 또는 이벤트 등을 정의함으로써 차량의 상태전이(state transition)를 추상화(abstract)하여 제공한다. 이때의 차량 상태는 특정 시점에서의 시스템 변수값으로 정의되며, 상태전이(state transition)는 이벤트의 발생 및 이벤트 발생에 따른 차량의 동작으로 정의된다.
도 1은 차량 상태 기반 모델의 예시도이다.
도 1은 주행 속도 제어에 대한 상태전이의 예시를 나타낸다. 도 1을 참조하면, 엔진이 가동된 상태(도 1의 Engine_On)에서 가속페달(도 1의 acc)이 눌리면 엔진의 스로틀 밸브(throttle valve, 도 1의 tv)가 열리고, 차량은 움직이는 상태(도 1의 Moving)로 전이된다. 도 1에서는 차량이 움직이는 상태에서 가능한 동작 및 그에 따른 상태가 두 가지로 정의되어 있는데, 첫 번째는 가속 페달이 눌려 차량이 가속하는 상태(도 1의 peed_Up)이고, 두 번째는 브레이크(도 1의 brk)가 눌려 차량이 감속하는 상태(도 1의 Speed_Down)이다.
이와 같이 일반적인 차량 탑재 소프트웨어는 기 정의된 상태 기반 모델을 기초로, 차량에 발생하는 이벤트에 따라 차량의 상태를 전이시켜 주행 동작을 제어한다. 그러나, 이러한 상태 기반 모델에 정의되지 않은 이벤트가 발생하는 경우 일반적인 차량 탑재 소프트웨어는 차량의 주행 동작을 적절히 제어할 수 없는 문제가 있다.
따라서, 종래의 차량 탑재 소프트웨어만으로는 자율주행차(autonomous driving vehicle)의 주행 안전성을 담보할 수 없는 문제가 있으며, 이러한 차량 탑재 소프트웨어가 고려하지 못한 위험 상황이 발생하는 경우에도 자율주행차량이 신속하고 유동적으로 위험 상황에 대응할 수 있는 방안의 고안이 필요하다. 이러한 위험 상황에는 제한이 없으므로, 소프트웨어가 고려하지 못한 위험 상황에도 자율주행차량이 효율적으로 대응하기 위해서는 학습 기반의 대응이 이루어져야 한다.
공개특허공보 제10-2019-0045511호 (2019.05.03.)
본 개시의 일 측면에 의하면, 차량과 관련하여 발생하는 이벤트에 차량이 적응적으로 동작하도록 차량 상태 기반 모델에 상태전이를 학습시키는 방법 및 장치를 제공하는 데 주된 목적이 있다.
본 개시의 일 측면에 의하면, 차량 상태(vehicle state)를 상태전이(state transition)시키도록 하기 위하여 차량 상태 기반 모델(vehicle state based model)을 학습시키는 방법에 있어서, 차량의 내부 또는 외부에서 발생하는 이벤트인 현재 이벤트(current event)를 인식하는 과정; 상기 차량 상태 기반 모델을 기초로 상기 차량의 현재 상태(current state)로부터 상태전이가 가능한지 여부를 판단하는 과정; 상기 차량의 시스템을 모니터링한 결과인 모니터링 상태(monitoring state)에 있어, 상태전이가 가능하지 않는 경우 상기 모니터링 상태를 기초로 상기 차량의 전이 상태(transition state)를 결정하는 과정; 및 상기 현재 이벤트, 상기 현재 상태 및 상기 전이 상태를 기초로 상기 차량 상태 기반 모델이 새로운 상태전이를 반영하도록 상기 차량 상태 기반 모델을 학습시키는 과정을 포함하는 것을 특징으로 하는 차량의 상태전이 학습 방법을 제공한다.
본 개시의 다른 측면에 의하면, 차량 상태(vehicle state)를 상태전이(state transition)시키도록 하기 위하여 차량 상태 기반 모델(vehicle state based model)을 학습시키는 장치에 있어서, 상기 차량의 내부 또는 외부에서 발생하는 이벤트인 현재 이벤트(current event)를 인식하는 이벤트인식부; 상기 차량 상태 기반 모델을 기초로 상기 차량의 현재 상태(current state)로부터 상태전이가 가능한지 여부를 판단하는 전이판단부; 상기 차량의 시스템을 모니터링한 결과인 모니터링 상태(monitoring state)에 있어, 상태전이가 가능하지 않는 경우 상기 모니터링 상태를 기초로 상기 차량의 전이 상태(transition state)를 결정하는 전이상태생성부; 및 상기 현재 이벤트, 상기 현재 상태 및 상기 전이 상태를 기초로 상기 차량 상태 기반 모델이 새로운 상태전이를 반영하도록 상기 차량 상태 기반 모델을 학습시키는 학습부를 포함하는 것을 특징으로 하는 차량의 상태전이 학습장치를 제공한다.
본 개시의 다른 측면에 의하면, 전술한 상기 차량 상태 기반 모델을 학습시키는 과정은, 상기 현재 이벤트에 따른 상기 차량의 차량 동작(vehicle action)을 원인으로, 상기 현재 상태가 상기 전이 상태로 상태전이하였음을, 대응하는 노드(node) 및 간선(edge)을 이용하여 모델링하도록 학습시키는 것 특징으로 하는 상태전이 학습 방법을 제공한다.
본 개시의 다른 측면에 의하면, 상기 전이 상태를 결정할 수 없는 경우 상기 전이 상태는, 상기 차량의 제어권한을 운전자에게 이전하도록 생성된 새로운 상태이고, 상기 운전자가 수행하는 상기 차량의 차량 동작(vehicle action)을 원인으로, 상기 차량의 현재 상태가 상기 새로운 상태로 전이하였음을 대응하는 노드(node) 및 간선(edge)으로 모델링하도록 학습시키는 것을 특징으로 하는 차량 상태전이 학습 방법을 제공한다.
본 개시의 또 다른 측면에 의하면, 전술한 상태전이 학습장치는, 상기 차량의 상태가 상기 현재 상태에서 상기 전이 상태로 변화하도록 차량 동작(vehicle action)을 상기 차량에 요청하는 동작구동부를 더 포함하는 것을 특징으로 하는 차량의 상태전이 학습장치를 제공한다.
본 개시의 일 측면에 의하면, 차량 상태 기반 모델에 상태전이를 학습시키는 방법 및 장치를 제공함으로써 차량이 차량과 관련하여 발생하는 이벤트에 적응적으로 동작하게 하는 효과가 있다.
본 개시의 다른 측면에 의하면, 전이 상태를 결정할 수 없는 경우 상우 차량의 제어권한을 운전자에게 이전하여 운전자의 차량 동작을 기초로 차량 상태 기반 모델에 새로운 상태전이를 학습시킴으로써, 기존의 차량 상태 기반 모델이 대처하기 어려운 상황에서도 차량이 신속하고도 효율적으로 대응할 수 있는 효과가 있다.
이로써, 본 개시의 여러 측면에 따른 상태전이를 학습시키는 방법 및 장치는 차량의 자율주행(autonomous driving)을 지원하고, 자율주행차량(autonomous driving vehicle)의 주행 안정성을 향상시키는 효과가 있다.
도 1은 차량 상태 기반 모델의 예시도이다.
도 2는 본 개시의 일 실시예에 따른 차량의 상태전이 학습장치를 나타내는 개념도이다.
도 3은 본 개시의 일 실시예에 따른 시스템 상태 변수와 그 값을 나타내는 리스트이다.
도 4는 본 개시의 일 실시예에 따른 차량의 상태전이 학습 방법을 나타내는 순서도이다.
도 5는 본 개시의 일 실시예에 따른 차량의 상태전이 학습 방법이 적용된 차량 상태 기반 모델의 상태 변이 예시도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 열람부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제2, 제1 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시형태를 설명하고자 하는 것이며, 본 개시가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
도 2는 본 개시의 일 실시예에 따른 차량의 상태전이 학습장치를 나타내는 개념도이다.
본 개시의 일 실시예에 따른 차량의 상태전이 학습장치(200)는 이벤트인식부(event recognizer, 202), 전이판단부(transition determining unit, 204), 상태모니터링부(state monitoring unit, 210), 전이상태생성부(transition state generator, 212), 동작구동부(action operator, 220) 및 학습부(learning unit, 230)를 전부 또는 일부 포함한다. 도 2에 도시된 차량의 상태전이 학습장치(200)는 본 개시의 일 실시예에 따른 것으로서, 도 2에 도시된 모든 구성이 필수 구성요소는 아니며, 다른 실시예에서 일부 구성이 추가, 변경 또는 삭제될 수 있다.
도 2는 설명의 편의를 위해 차량의 상태전이 학습장치(200)를 장치로서 도시하였으나, 이는 설명의 편의를 위한 것으로, 다른 실시예에서 학습장치는 각 구성(202 내지 230)의 기능을 수행하는 소프트웨어 모듈 또는 프로세서로 구현될 수 있다.
이벤트인식부(202)는 차량의 외부 또는 내부에서 발생하는 이벤트를 인식한다. 이러한 이벤트는 예컨대, 가속 패달(accelerator) 눌림, 브레이크(brake) 눌림, 장애물 감지, 차량 간 거리 변화, 교통 신호 변화, 날씨 변화 등 차량의 주정차 중 차량 시스템 자체, 운전자나 동승자의 차량 제어 또는 차량 외부 상황에 의해 발생하는 이벤트다.
전이판단부(204)는 발생 이벤트에 기초하여 차량의 상태가 전이될 수 있는 지를 판단한다. 여기서 차량의 상태는 특정 시점에서의 시스템 상태 변수들의 값 또는 범주로써 정의되고, 상태전이(state transition)는 이벤트의 발생과 그에 따른 차량 동작에 의하여 차량의 특정 상태가 다른 상태로 변화하는 것이다. 예컨대, 차량이 정지 상태(시스템 상태 변수인 차속이 0 km인 경우)이고, 가속 패달이 눌리는 이벤트가 발생하는 경우 차량은 주행 상태(차속이 0 km를 초과)로 상태전이될 수 있다. 이러한 시스템 상태 변수에 관하여는 도 3에서 구체적으로 후술한다.
전이판단부(204)의 판단은, 차량 상태 기반 모델(vehicle state based model)에 기초하여 판단된다. 이하에서는 차량 상태 기반 모델이 차량의 상태를 노드(node)로 하고 차량 상태 간 상태 전이 가능성을 간선(edge)으로 표현하는 모델을 전제로 설명하나, 차량의 상태와 차량 상태 간 이전을 나타내는 어떠한 모델이든 본 개시의 차량 상태 모델이 될 수 있다. 이러한 차량 상태 기반 모델은 차량 상태가 변화하는 데 필요한 이벤트 및/또는 이벤트에 따른 차량 동작을 더 정의하며, 이러한 이벤트 및/또는 차량 동작은 노드-간선으로 구성된 차량 상태 기반 모델에서는 간선의 데이터로 설정된다.
전이판단부(204)는 차량 상태 기반 모델의 어느 노드로서 차량의 현재 상태에 대응하는 노드인 현재 노드(current node)에 대하여, 현재 노드의 진출간선(outgoing edge) 중 이벤트인식부(202)가 인식한 이벤트에 대응하는 간선의 존재여부를 판단하여 차량의 상태가 전이될 수 있는지 판단한다. 이러한 진출간선은 방향성이 있는 노드 간 간선으로, 어느 차량 상태로부터 다른 차량 상태로 이전할 수 있음을 나타내는 노드 간 관계를 설정한 것이고 화살표와 같은 특정한 표현 방식에 한하는 것은 아니다. 이벤트에 대응하는 간선의 존재 여부는 진출간선에 설정된 이벤트가 이벤트인식부(202)가 인식한 이벤트와 일치하는지 또는 기 설정된 임계범위 내에서 동일하다고 판단될 수 있는지를 기준으로 판단할 수 있다. 전이판단부(204)는 일치하는 이벤트가 존재한다고 판단한 경우, 대응하는 진출간선(이하, 전이간선(transition edge))과 연결된 노드(이하, 인접노드(adjacent node))의 차량 상태가 되도록 동작구동부(220)의 동작으로써 차량의 상태를 변화하게 한다. 즉, 전이간선에 설정된 차량 동작을 동작구동부(220)에 요청함으로써 인접노드에 정의된 차량 상태로 실제 차량의 상태가 변화하게 한다. 본 개시에 따른 차량 상태 기반 모델의 상태 변이는 도 5에서 구체적으로 후술한다.
일치하는 이벤트가 존재하지 않는다고 판단한 경우, 즉, 전이할 수 없다고 판단한 경우 전이판단부(204)는 동작구동부(220)에 차량 동작을 요청하지 않거나, 현재의 차량 상태 기반 모델로는 전이할 수 없다는 신호를 동작구동부(220)에 전달한다. 이 경우 동작구동부(220)는 전이상태생성부(212)로부터 차량 동작 등을 요청받는다.
상태모니터링부(210)는 차량의 상태를 모니터링한다. 구체적으로, 상태모니터링부(210)는 차량 시스템을 모니터링하여 다양한 시스템 상태 변수의 값을 모니터링 상태(monitoring state)로서 저장 및 제공한다. 상태모니터링부(210)는 차량 시스템의 여러 구성을 모니터링한다, 전이판단부(204)가 상태를 전이할 수 없다고 판단한 시점의 모니터링 상태를 전이상태생성부(212)에 제공할 수 있다.
전이판단부(204)가 상태를 전이할 수 없다고 판단한 경우, 전이상태생성부(212)는 모니터링 상태와 일치하거나 가장 유사도가 높은 상태를 전이할 상태로 선택한다. 만약 전이할 상태를 선택할 수 없는 경우, 모니터링 상태에 대응하는 새로운 상태를 차량 상태 기반 모델에 추가한다. 즉, 전이상태생성부(212)는 차량 상태 기반 모델의 노드 가운데 모니터링 상태와 가장 유사한 노드를 인접노드로 결정하거나, 모니터링 상태의 시스템 변수값의 전부 또는 일부를 기초로 새로운 상태 노드를 생성하여 인접노드로서 제공한다.
전이상태생성부(212)가 인접노드를 결정하는 예는, 모니터링 상태와 차량 상태 기초 모델의 노드 간 일치하는 시스템 변수 간의 차(difference)를 연산하여, 이러한 차(difference)가 최소인 노드를 인접노드로 결정하는 것일 수 있다. 전이상태생성부(212) 전술한 차(difference)가 기 설정된 임계치(threshold)를 모두 초과하는 경우, 전이할 상태를 선택할 수 없는 경우로 판단하여 새로운 상태 노드를 생성한다.
전이상태생성부(212)가 인접노드를 결정하는 또 다른 예는, 모니터링 상태와 차량 상태 기반 모델의 노드 간 일치하는 시스템 변수값(또는 범위)의 개수가 가장 많은 노드를 인접노드로 결정하는 것일 수 있다. 전이상태생성부(212)는 전술한 일치하는 시스템 변수값(또는 범위)의 개수가 기 설정된 개수에 모두 미달하는 경우, 전이할 상태를 선택할 수 없는 경우로 판단하여 새로운 상태 노드를 생성한다.
전이상태생성부(212)는 전이할 상태를 선택할 수 없는 경우 차량의 제어권한을 운전자에게 이전하는 새로운 상태를 생성하여 인접노드로서 제공할 수 있다.
동작구동부(220)는 차량의 상태를 전이하기 위해 수행해야 하는 차량 동작을 실행하여, 차량의 실제 상태를 인접노드의 상태로 전이시킨다. 이러한 차량 동작은 상태전이에 대응하는 진출간선에 데이터로 설정된 것일 수 있다. 전이상태생성부(212)가 전이할 상태를 선택할 수 없어 차량의 제어권한을 운전자에게 이전하는 새로운 상태를 생성한 경우, 이러한 차량 동작은 운전자가 제어하는 동작들일 수 있다. 이 경우, 차량의 상태전이 학습장치(200)는 운전자의 제어 결과로 변화한 차량의 새로운 상태와 운전자가 제어하는 동작들이 차량 상태 기반 모델에 반영되도록 학습됨이 바람직하다.
학습부(230)는 전이상태생성부(212)가 결정한 전이할 상태, 즉 인접노드의 상태와 동작구동부(220)의 차량 동작을 기반으로, 추가된 상태전이를 반영하여 차량 상태 기반 모델이 생성되도록 모델 생성에 관한 기계학습(machine learning)을 수행한다.
이러한 학습은 예컨대, 인접노드가 기존의 차량 상태 기반 모델의 노드라면, 현재 노드에서 인접노드로 향하는 진출간선을 생성하고, 이벤트인식부(202)가 인식한 이벤트 및/또는 동작구동부(220)의 차량 동작을 생성된 진출간선의 데이터로 설정하도록 학습시키는 것일 수 있다. 인접노드가 새로 생성된 노드라면, 차량 상태 기반 모델에 새로 생성된 노드의 상태로 정의된 새로운 노드를 생성하고, 현재 노드에서 새로운 노드로 향하는 진출간선을 생성하여 이벤트인식부(202)가 인식한 이벤트 및/또는 동작구동부(220)의 차량 동작을 생성된 진출간선의 데이터로 설정한다. 또한 새로운 노드에서 현재 노드로 향하는 진출간선을 더 생성하도록 학습시킨다. 이 경우, 현재 노드와 새로운 노드 간 사이클(cycle)이 형성된다.
도 3은 본 개시의 일 실시예에 따른 시스템 상태 변수와 그 값을 나타내는 리스트이다.
차량 상태로 설정되는 시스템 상태 변수는 차량 시스템의 각 구성의 상태에 해당하는 값(value) 또는 범주(range)일 수 있다. 예컨대, 차량 시스템에는 엔진(engine), 스로틀 밸브(throttle valve), 조향휠(steering wheel), 레이더(radar), 라이다(lidar)와 같은 각종 센서(sensor) 등이 구성으로 포함될 수 있다. 시스템 상태 변수는 엔진 상태(도 3의 Engine_state), 스로틀 밸브 상태(도 3의 Throttle_valve_state), 조향각(도 3의 Steering_angle), 차량 방향(도 3의 Car_direction), 센서 상태(도 3의 Sensor_state) 등이 될 수 있다. 도 3을 참조하면, 이러한 시스템 상태 변수의 값 또는 범주는 엔진 상태의 경우 온/오프, 스로틀 밸브 상태의 경우 열림/증가/감소/닫힘, 조향각의 경우 차량을 조향할 수 있는 범위 내의 각도(-90
Figure 112020107381444-pat00001
내지 +90
Figure 112020107381444-pat00002
), 차량 방향의 경우 차량이 주행하는 방향으로서, 예컨대 전방(forward)/후방(backward), 센서 상태의 경우 센서 활성화(active)/비활성화(inactive) 또는 센서의 감지 결과가 시스템 상태(도 3의 Sensor_status) 변수의 값 또는 범주가 될 수 있다.
이러한 시스템 상태 변수의 값 또는 범주는 도 3의 리스트에 나타나는 값 또는 범주에 한하지 않는다. 예컨대, 도 3에 나타나는 시스템 상태 변수를 조합하여 생성된 새로운 상태변수의 값을 차량 상태를 나타내는 변수 중 일부로서 설정할 수 있다.
도 4는 본 개시의 일 실시예에 따른 차량의 상태전이 학습 방법을 나타내는 순서도이다.
차량의 상태전이 학습장치가 차량에 이벤트가 발생하였는지 인식하면(S400), 해당 이벤트로 인해 차량의 상태전이가 가능한지를 판단한다(S402, S410). 이러한 판단은 차량의 현재 상태에 대응하는 현재 노드의 진출간선 중 차량에 발생한 이벤트에 대응하는 간선이 차량 상태 기반 모델에 존재하는지를 기준으로 판단할 수 있다.
상태전이가 가능한 경우, 즉, 차량에 발생하는 이벤트에 대응하는 간선인 전이간선이 존재하는 경우, 차량의 상태전이 학습장치는 차량이 해당 전이간선에 설정된 차량 동작을 수행하도록 ECU(Electronic Control Unit) 또는 해당 차량의 구성에 요청한다. 이로써, 차량의 실제 상태는 차량 동작에 따라 변경되고, 차량 상태 기반 모델에서의 차량의 현재 노드는 진출간선과 연결된 노드가 된다(S412).
상태전이가 가능하지 않은 경우, 차량의 상태전이 학습장치는 차량의 시스템 상태 변수의 값 또는 범주를 확보한다(S420). 이러한 시스템 상태 변수는, 차량 시스템을 구성하는 각 구성(예: 엔진, 스로틀 밸브, 조향휠 등)의 상태를 나타내는 변수로서, 차량의 상태전이 학습장치는 시스템 상태 변수를 모니터링하다 특정 시점에서의 시스템 상태 변수 값 또는 범주를 저장 및 제공할 수 있다.
차량의 상태전이 학습장치는 확보된 시스템 상태 변수의 값 또는 범주를 기초로, 차량 상태 기반 모델과 가장 상태의 유사도가 높은 노드가 존재하는지 판단하고, 상태의 유사도가 가장 높은 노드와 확보된 시스템 상태 변수의 값 또는 범주와의 차(difference)가 기 설정된 임계치 이하인 경우, 해당 노드의 상태를 전이할 상태(SJ)로 결정한다(S422, S430). 이 경우, 차량의 상태전이 학습장치는 차량 상태 기반 모델 상에 현재 노드와 결정된 노드 간 전이간선(TJ-1)을 추가하고, 차량의 실제 상태가 변경되도록 한다(S432, S434).
전술한 차(difference)가 기 설정된 임계치를 초과하는 경우, 또는 그 밖의 이유로 전이할 상태를 결정할 수 없는 경우 차량의 상태전이 학습장치는 차량 상태 기반 모델에 확보된 시스템 상태 변수의 값 또는 범주를 기초로 새로운 상태(SK)를 정의하여 노드를 생성한다(S440). 이 경우, 차량의 상태전이 학습장치는 현재 노드와 생성된 노드 간 전이간선(TK-1)과 생성된 노드와 현재 노드 간 전이간선(TK+1)을 각각 추가한다(S442, S444).
차량의 상태전이 학습장치는 차량에 차량 동작을 요청하여 차량의 실제 상태가 변경되도록 하고, 차량 상태 기반 모델에서의 차량의 현재 노드는 진출간선과 연결된 노드, 즉 생성된 노드가 된다(S412).
차량의 상태전이 학습장치는 차량 상태 기반 모델이 S432, S434, S440, S442, S444 단계에서 추가된 상태전이를 반영하여 생성되도록 모델 생성에 관한 기계학습(machine learning)을 수행한다.
도 4에서는 과정 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4의 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 개시의 일 실시예에 따른 차량의 상태전이 학습 방법이 적용된 차량 상태 기반 모델의 상태 변이 예시도이다.
도 5의 (a)는 기존 차량 상태 기반 모델에 정의된 이벤트가 발생하여 차량의 상태를 전이하는 경우를 나타낸다.
차량의 현재 상태를 나타내는 노드인 SH에 있어 차량의 상태전이 학습장치가 차량에 발생한 이벤트 e3을 인식하는 경우, SH의 진출간선에 e3에 대응하는 간선이 있으므로 차량의 상태는 현재의 모델만으로 전이될 수 있다. 그에 따라 차량의 상태전이 학습장치는 e3에 대응하는 간선에 설정된 차량 동작인 a3이 수행되도록 차량에 차량 동작 a3를 요청하고, 차량의 상태는 인접노드인 SI 노드에 정의된 상태로 변화한다.
도 5의 (b)는 기존 차량 상태 기반 모델에 정의되지 않은 이벤트가 발생하여 전이 가능한 인접노드를 결정하여 차량의 상태를 전이하는 경우를 나타낸다.
차량의 현재 상태를 나타내는 노드인 SH에 있어 차량의 상태전이 학습장치가 차량에 발생한 이벤트 eJ -1을 인식하는 경우, SH의 진출간선에 eJ -1에 대응하는 간선이 없으므로 차량의 상태는 현재의 모델만으로 전이될 수 없다. 그에 따라 차량의 상태전이 학습장치는 차량의 시스템 변수 값을 기초로 시스템 변수 값과 가장 유사도가 높은 상태를 정의한 SJ 노드를 인접노드로 결정하고, SH 노드와 SJ 노드 간 전이 가능함을 나타내는 TJ -1 간선을 설정한다. TJ -1 간선에는 이벤트 eJ - 1 가 설정된다.
도 5의 (c)는 기존 차량 상태 기반 모델에 정의되지 않은 이벤트가 발생하고, 전이 가능한 인접노드를 결정할 수 없는 경우 새로운 노드를 생성하여 차량의 상태를 전이하는 경우를 나타낸다.
차량의 현재 상태를 나타내는 노드인 SH에 있어 차량의 상태전이 학습장치가 차량에 발생한 이벤트 eK -1을 인식하는 경우, SH의 진출간선에 eK -1에 대응하는 간선이 없으므로 차량의 상태는 현재의 모델만으로 전이될 수 없다. 또한, 차량의 시스템 변수 값과 기 설정된 임계치 내에 시스템 변수 값과 가장 유사도가 높은 상태를 결정할 수 없는 경우, 차량의 상태전이 학습장치는 차량의 시스템 변수 값을 기초로 상태를 새롭게 정의한 SK 노드를 생성하여 인접노드로 결정하고, SH 노드와 SK 노드 간 전이 가능함을 나타내는 TK-1 간선을 설정한다. TK-1 간선에는 이벤트 eK - 1 가 설정된다. 또한, TK-1 간선에는 차량이 노드 SK 상태가 되기 위하여 수행되어야 하는 차량 동작인 aK- 1를 더 설정한다. 이러한 SK 노드가 SH 노드로 전이 가능함을 나타내기 위하여, TK+1 간선을 더 설정한다.
본 명세서에 설명되는 장치, 부(unit), 과정, 단계 등의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍 가능 시스템상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍 가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령을 수신하고 이들에게 데이터 및 명령을 전송하도록 결합된 적어도 하나의 프로그래밍 가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍 가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는　기록매체"에 저장된다.
컴퓨터가 읽을 수 있는　기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는　기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비 일시적인(non-transitory) 매체 또는 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는　기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋톱박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩톱, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 차량의 상태전이 학습장치 202: 이벤트인식부
204: 전이판단부 210: 상태모니터링부
212: 전이상태생성부 220: 동작구동부
230: 학습부

Claims (17)

  1. 컴퓨팅 장치에 의해 각 과정이 수행되는 차량 상태(vehicle state)를 상태전이(state transition)시키도록 하기 위하여 차량 상태 기반 모델(vehicle state based model)을 학습시키는 방법에 있어서,
    차량의 내부 또는 외부에서 발생하는 이벤트인 현재 이벤트(current event)를 인식하는 과정;
    상기 차량 상태 기반 모델을 기초로 상기 차량의 현재 상태(current state)로부터 상태전이가 가능한지 여부를 판단하는 과정;
    상기 차량의 시스템을 모니터링한 결과인 모니터링 상태(monitoring state)에 있어, 상태전이가 가능하지 않는 경우 상기 모니터링 상태를 기초로 상기 차량의 전이 상태(transition state)를 결정하는 과정; 및
    상기 현재 이벤트, 상기 현재 상태 및 상기 전이 상태를 기초로 상기 차량 상태 기반 모델이 새로운 상태전이를 반영하도록 상기 차량 상태 기반 모델을 학습시키는 과정을 포함하는 것을 특징으로 하고,
    상기 차량의 전이 상태는 상기 모니터링 상태와 일치하거나 유사도가 높은 상태인 차량의 상태전이 학습 방법.
  2. 제1항에 있어서,
    상기 차량 상태 기반 모델을 학습시키는 과정은,
    상기 현재 이벤트에 따른 상기 차량의 차량 동작(vehicle action)을 원인으로, 상기 현재 상태가 상기 전이 상태로 상태전이하였음을, 대응하는 노드(node) 및 간선(edge)을 이용하여 모델링하도록 학습시키는 것 특징으로 하는 차량의 상태전이 학습 방법.
  3. 제1항에 있어서,
    상기 차량 상태는, 시스템 상태 변수(system state variable)의 값 또는 범주를 기초로 정의되고,
    상기 시스템 상태 변수는, 엔진 상태(engine status), 스로틀 밸브 상태(throttle valve state), 조향각(steering angle), 차방향(car direction), 하나 이상의 센서 상태(sensor status)의 전부 또는 일부를 포함하는 것을 특징으로 하는 차량의 상태전이 학습 방법.
  4. 제2항에 있어서,
    상기 전이 상태를 결정하는 과정은,
    상기 모니터링 상태와 상기 차량 상태 기반 모델의 노드에 대응하는 차량 상태 간 차(difference)를 기초로 결정하는 것을 특징으로 하는 차량의 상태전이 학습 방법.
  5. 제4항에 있어서,
    상기 모니터링 상태와 차량 상태가 기 설정된 임계치 이하인 상기 차량 상태 기반 모델의 노드가 존재하지 않는 경우, 상기 전이 상태는, 상기 모니터링 상태를 기초로 생성된 새로운 상태인 것을 특징으로 하는 차량의 상태전이 학습 방법.
  6. 제2항에 있어서,
    상기 전이 상태를 결정하는 과정은,
    상기 모니터링 상태와 차량 상태가 기 설정된 임계치 이상 일치하는 상기 차량 상태 기반 모델의 노드가 존재하지 않는 경우, 상기 전이 상태는, 상기 모니터링 상태를 기초로 생성된 새로운 상태인 것을 특징으로 하는 차량의 상태전이 학습 방법.
  7. 제5항에 있어서,
    상기 상태 기반 모델을 학습시키는 과정은,
    상기 차량 상태 기반 모델이 상기 새로운 상태에 대응하는 노드인 새로운 노드(new node)를 생성하고, 상기 현재 상태에 대응하는 노드에서 상기 새로운 노드로 향하는 진출간선(outgoing edge)을 생성하며, 상기 현재 이벤트를 생성된 진출간선의 이벤트로 설정하고, 상기 새로운 노드에서 상기 현재 상태에 대응하는 노드로 향하는 진출간선을 생성하도록 학습시키는 것을 특징으로 하는 차량의 상태전이 학습 방법.
  8. 제6항에 있어서,
    상기 상태 기반 모델을 학습시키는 과정은,
    상기 차량 상태 기반 모델이 상기 새로운 상태에 대응하는 노드인 새로운 노드(new node)를 생성하고, 상기 현재 상태에 대응하는 노드에서 상기 새로운 노드로 향하는 진출간선(outgoing edge)을 생성하며, 상기 현재 이벤트를 생성된 진출간선의 이벤트로 설정하고, 상기 새로운 노드에서 상기 현재 상태에 대응하는 노드로 향하는 진출간선을 생성하도록 학습시키는 것을 특징으로 하는 차량의 상태전이 학습 방법.
  9. 제2항에 있어서,
    상기 상태 기반 모델을 학습시키는 과정은,
    상기 현재 상태에 대응하는 노드에서 상기 전이 상태에 대응하는 노드로 향하는 진출간선(outgoing edge)을 생성하고, 상기 현재 이벤트를 상기 진출간선에 대응하는 이벤트로 설정하도록 학습시키는 것을 특징으로 하는 차량의 상태전이 학습 방법.
  10. 제9항에 있어서,
    상기 진출간선에는 상기 차량 동작이 더 설정되고,
    상기 차량 동작은, 상기 모니터링 상태를 기초로 설정되는 것을 특징으로 하는 차량의 상태전이 학습 방법.
  11. 제10항에 있어서,
    상기 차량 동작은, 상기 차량의 동작 방법으로서 상기 현재 상태가 상기 모니터링 상태로 변화하는 데 필요한 동작 방법인 것을 특징으로 하는 차량의 상태전이 학습 방법.
  12. 제1항에 있어서,
    상기 전이 상태를 결정할 수 없는 경우, 상기 전이 상태는,
    상기 차량의 제어권한을 운전자에게 이전하도록 생성된 새로운 상태인 것을 특징으로 하는 차량의 상태전이 학습 방법.
  13. 제12항에 있어서,
    상기 상태 기반 모델을 학습시키는 과정은,
    상기 운전자가 수행하는 상기 차량의 차량 동작(vehicle action)을 기초로, 상기 현재 이벤트에 따른 상기 차량 동작을 원인으로, 상기 차량의 현재 상태가 상기 새로운 상태로 전이하였음을 대응하는 노드(node) 및 간선(edge)으로 모델링하도록 학습시키는 것을 특징으로 하는 차량의 상태전이 학습 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 따른 차량의 상태전이 학습 방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터 프로그램.
  15. 차량 상태(vehicle state)를 상태전이(state transition)시키도록 하기 위하여 차량 상태 기반 모델(vehicle state based model)을 학습시키는 장치에 있어서,
    상기 차량의 내부 또는 외부에서 발생하는 이벤트인 현재 이벤트(current event)를 인식하는 이벤트인식부;
    상기 차량 상태 기반 모델을 기초로 상기 차량의 현재 상태(current state)로부터 상태전이가 가능한지 여부를 판단하는 전이판단부;
    상기 차량의 시스템을 모니터링한 결과인 모니터링 상태(monitoring state)에 있어, 상태전이가 가능하지 않는 경우 상기 모니터링 상태를 기초로 상기 차량의 전이 상태(transition state)를 결정하는 전이상태생성부; 및
    상기 현재 이벤트, 상기 현재 상태 및 상기 전이 상태를 기초로 상기 차량 상태 기반 모델이 새로운 상태전이를 반영하도록 상기 차량 상태 기반 모델을 학습시키는 학습부를 포함하는 것을 특징으로 하고,
    상기 차량의 전이 상태는 상기 모니터링 상태와 일치하거나 유사도가 높은 상태인 차량의 상태전이 학습장치.
  16. 제15항에 있어서,
    상기 학습부는,
    상기 현재 이벤트에 따른 상기 차량의 차량 동작(vehicle action)을 원인으로, 상기 현재 상태가 상기 전이 상태로 상태전이하였음을, 대응하는 노드(node) 및 간선(edge)을 이용하여 모델링하도록 학습시키는 것 특징으로 하는 상태전이 학습장치.
  17. 제15항에 있어서,
    상기 차량의 상태가 상기 현재 상태에서 상기 전이 상태로 변화하도록 차량 동작(vehicle action)을 상기 차량에 요청하는 동작구동부를 더 포함하는 것을 특징으로 하는 차량의 상태전이 학습장치.




KR1020200131214A 2020-10-12 2020-10-12 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치 KR102498328B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200131214A KR102498328B1 (ko) 2020-10-12 2020-10-12 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131214A KR102498328B1 (ko) 2020-10-12 2020-10-12 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220048515A KR20220048515A (ko) 2022-04-20
KR102498328B1 true KR102498328B1 (ko) 2023-02-09

Family

ID=81403551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131214A KR102498328B1 (ko) 2020-10-12 2020-10-12 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102498328B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230167192A (ko) 2022-05-30 2023-12-08 (주)컨트롤웍스 페달 답력값을 이용한 자율주행 차량 제어 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256943A (ja) * 2009-04-21 2010-11-11 Nec Corp ドライバ状態判定システム、判定方法及び判定用プログラム
JP2017154725A (ja) * 2015-04-21 2017-09-07 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102106875B1 (ko) 2017-10-24 2020-05-08 엔에이치엔 주식회사 차량학습에 기반한 자율주행 중 사고 회피 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256943A (ja) * 2009-04-21 2010-11-11 Nec Corp ドライバ状態判定システム、判定方法及び判定用プログラム
JP2017154725A (ja) * 2015-04-21 2017-09-07 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"상태기반 유지보수기법을 적용한 차량고장 진단 및 예측 시스템 연구", 한국ITS학회논문지 vol.18 No.4(pp. 80-95), 2019.08
"자율주행 시스템 연동을 위한 운전자 상태 인식 기술", 대한전자공학회 하계학술대회 제37권 1호(pp. 1791-1793), 2014.06.

Also Published As

Publication number Publication date
KR20220048515A (ko) 2022-04-20

Similar Documents

Publication Publication Date Title
US11829896B2 (en) Uncertainty-based data filtering in a vehicle
Liu et al. Computing systems for autonomous driving: State of the art and challenges
US20210011908A1 (en) Model-based structured data filtering in an autonomous vehicle
US11375034B2 (en) Transmitting remotely valued data in an autonomous vehicle
JP2022507995A (ja) 無人運転車用の障害物回避方法及び装置
US11654899B2 (en) Method and apparatus for avoidance control of vehicle, electronic device and storage medium
US11904853B2 (en) Apparatus for preventing vehicle collision and method thereof
US20210042627A1 (en) Method for recognizing an adversarial disturbance in input data of a neural network
US11775400B2 (en) Redundant processing fabric for autonomous vehicles
US11789141B2 (en) Omnidirectional sensor fusion system and method and vehicle including the same
US11577756B2 (en) Detecting out-of-model scenarios for an autonomous vehicle
US11893412B2 (en) Device initialization by an access-restricted virtual machine
KR102498328B1 (ko) 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치
US11100372B2 (en) Training deep neural networks with synthetic images
US11691637B2 (en) Handling input data errors in an autonomous vehicle
US20230054575A1 (en) Detecting vehicle malfunctions and cyber attacks using machine learning
US20210012220A1 (en) Rules-based structured data filtering in an autonomous vehicle
US20210080969A1 (en) Controlling an automated vehicle using visual anchors
US20220315041A1 (en) Scheduling state transitions in an autonomous vehicle
US20220315040A1 (en) Selective model execution in an autonomous vehicle
US11914366B2 (en) Blended operator and autonomous control in an autonomous vehicle
US20230382432A1 (en) Transitioning to an autonomous driving mode using an operator control history
US20220097695A1 (en) Blockchain system to aid vehicle actions
US11462020B2 (en) Temporal CNN rear impact alert system
US20230382419A1 (en) Protocol-level verification of aberrant driving decisions

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant