KR20220048515A - Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model - Google Patents

Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model Download PDF

Info

Publication number
KR20220048515A
KR20220048515A KR1020200131214A KR20200131214A KR20220048515A KR 20220048515 A KR20220048515 A KR 20220048515A KR 1020200131214 A KR1020200131214 A KR 1020200131214A KR 20200131214 A KR20200131214 A KR 20200131214A KR 20220048515 A KR20220048515 A KR 20220048515A
Authority
KR
South Korea
Prior art keywords
state
vehicle
transition
learning
current
Prior art date
Application number
KR1020200131214A
Other languages
Korean (ko)
Other versions
KR102498328B1 (en
Inventor
홍장의
김영재
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020200131214A priority Critical patent/KR102498328B1/en
Publication of KR20220048515A publication Critical patent/KR20220048515A/en
Application granted granted Critical
Publication of KR102498328B1 publication Critical patent/KR102498328B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Abstract

The present disclosure provides a method and apparatus for learning a state transition of a vehicle based on a vehicle state-based model. According to one aspect of the present disclosure, provided are the method and device for learning the state transition in the vehicle state-based model so that a vehicle operates adaptively to an event occurring in relation to the vehicle. The method comprises: a process of recognizing the current event; a process of determining whether or not the state transition is possible; a process of determining the transition state of the vehicle; and a process of learning the vehicle state-based model.

Description

차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치 {Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model}Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model

본 발명은 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for learning a state transition of a vehicle based on a vehicle state-based model.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.

자율주행(autonomous driving)은 일반적으로, 차량에 탑재된 소프트웨어가 생성하는 차량 상태 기반 모델(vehicle state based model)에 기초하여 이루어진다. 이러한 차량 상태 기반 모델은 차량의 상태와 상태 변환을 모델링(modeling)한 것으로, 차량 상태가 변환하기 위하여 수행되어야 하는 동작 또는 이벤트 등을 정의함으로써 차량의 상태전이(state transition)를 추상화(abstract)하여 제공한다. 이때의 차량 상태는 특정 시점에서의 시스템 변수값으로 정의되며, 상태전이(state transition)는 이벤트의 발생 및 이벤트 발생에 따른 차량의 동작으로 정의된다.Autonomous driving is generally performed based on a vehicle state based model generated by software installed in a vehicle. This vehicle state-based model is modeling the state and state transformation of the vehicle, and by defining the operation or event to be performed in order to transform the vehicle state, the state transition of the vehicle is abstracted. to provide. At this time, the vehicle state is defined as a value of a system variable at a specific time point, and a state transition is defined as the occurrence of an event and the operation of the vehicle according to the occurrence of the event.

도 1은 차량 상태 기반 모델의 예시도이다.1 is an exemplary diagram of a vehicle state-based model.

도 1은 주행 속도 제어에 대한 상태전이의 예시를 나타낸다. 도 1을 참조하면, 엔진이 가동된 상태(도 1의 Engine_On)에서 가속페달(도 1의 acc)이 눌리면 엔진의 스로틀 밸브(throttle valve, 도 1의 tv)가 열리고, 차량은 움직이는 상태(도 1의 Moving)로 전이된다. 도 1에서는 차량이 움직이는 상태에서 가능한 동작 및 그에 따른 상태가 두 가지로 정의되어 있는데, 첫 번째는 가속 페달이 눌려 차량이 가속하는 상태(도 1의 peed_Up)이고, 두 번째는 브레이크(도 1의 brk)가 눌려 차량이 감속하는 상태(도 1의 Speed_Down)이다.1 shows an example of a state transition for driving speed control. Referring to FIG. 1 , when the accelerator pedal (acc in FIG. 1) is pressed while the engine is running (Engine_On in FIG. 1), the throttle valve (tv in FIG. 1) of the engine is opened, and the vehicle is in a moving state (FIG. 1) is transferred. In FIG. 1 , possible operations and corresponding states are defined in a state in which the vehicle is moving. The first is a state in which the vehicle is accelerated by pressing the accelerator pedal (peed_Up in FIG. 1 ), and the second is the brake (in FIG. 1 ). brk) is pressed and the vehicle is decelerated (Speed_Down in FIG. 1).

이와 같이 일반적인 차량 탑재 소프트웨어는 기 정의된 상태 기반 모델을 기초로, 차량에 발생하는 이벤트에 따라 차량의 상태를 전이시켜 주행 동작을 제어한다. 그러나, 이러한 상태 기반 모델에 정의되지 않은 이벤트가 발생하는 경우 일반적인 차량 탑재 소프트웨어는 차량의 주행 동작을 적절히 제어할 수 없는 문제가 있다.As described above, the general on-vehicle software controls the driving operation by changing the state of the vehicle according to an event occurring in the vehicle, based on a predefined state-based model. However, when an event not defined in such a state-based model occurs, there is a problem in that general vehicle-mounted software cannot properly control the driving operation of the vehicle.

따라서, 종래의 차량 탑재 소프트웨어만으로는 자율주행차(autonomous driving vehicle)의 주행 안전성을 담보할 수 없는 문제가 있으며, 이러한 차량 탑재 소프트웨어가 고려하지 못한 위험 상황이 발생하는 경우에도 자율주행차량이 신속하고 유동적으로 위험 상황에 대응할 수 있는 방안의 고안이 필요하다. 이러한 위험 상황에는 제한이 없으므로, 소프트웨어가 고려하지 못한 위험 상황에도 자율주행차량이 효율적으로 대응하기 위해서는 학습 기반의 대응이 이루어져야 한다.Therefore, there is a problem that the driving safety of an autonomous driving vehicle cannot be guaranteed with only the conventional in-vehicle software, and even when a dangerous situation occurs that the in-vehicle software does not consider, the autonomous driving vehicle can be quickly and fluidly Therefore, it is necessary to devise a plan to respond to dangerous situations. Since there is no limit to such dangerous situations, learning-based responses must be made in order for the autonomous vehicle to efficiently respond to dangerous situations that the software does not consider.

공개특허공보 제10-2019-0045511호 (2019.05.03.)Laid-open Patent Publication No. 10-2019-0045511 (2019.05.03.)

본 개시의 일 측면에 의하면, 차량과 관련하여 발생하는 이벤트에 차량이 적응적으로 동작하도록 차량 상태 기반 모델에 상태전이를 학습시키는 방법 및 장치를 제공하는 데 주된 목적이 있다.According to one aspect of the present disclosure, a main object is to provide a method and apparatus for learning a state transition in a vehicle state-based model so that the vehicle operates adaptively to an event occurring in relation to the vehicle.

본 개시의 일 측면에 의하면, 차량 상태(vehicle state)를 상태전이(state transition)시키도록 하기 위하여 차량 상태 기반 모델(vehicle state based model)을 학습시키는 방법에 있어서, 차량의 내부 또는 외부에서 발생하는 이벤트인 현재 이벤트(current event)를 인식하는 과정; 상기 차량 상태 기반 모델을 기초로 상기 차량의 현재 상태(current state)로부터 상태전이가 가능한지 여부를 판단하는 과정; 상기 차량의 시스템을 모니터링한 결과인 모니터링 상태(monitoring state)에 있어, 상태전이가 가능하지 않는 경우 상기 모니터링 상태를 기초로 상기 차량의 전이 상태(transition state)를 결정하는 과정; 및 상기 현재 이벤트, 상기 현재 상태 및 상기 전이 상태를 기초로 상기 차량 상태 기반 모델이 새로운 상태전이를 반영하도록 상기 차량 상태 기반 모델을 학습시키는 과정을 포함하는 것을 특징으로 하는 차량의 상태전이 학습 방법을 제공한다.According to one aspect of the present disclosure, in a method for learning a vehicle state based model to cause a vehicle state to undergo a state transition, a process of recognizing a current event that is an event; determining whether a state transition is possible from a current state of the vehicle based on the vehicle state-based model; determining a transition state of the vehicle based on the monitoring state when a state transition is not possible in a monitoring state that is a result of monitoring the system of the vehicle; and learning the vehicle state-based model so that the vehicle state-based model reflects a new state transition based on the current event, the current state, and the transition state. to provide.

본 개시의 다른 측면에 의하면, 차량 상태(vehicle state)를 상태전이(state transition)시키도록 하기 위하여 차량 상태 기반 모델(vehicle state based model)을 학습시키는 장치에 있어서, 상기 차량의 내부 또는 외부에서 발생하는 이벤트인 현재 이벤트(current event)를 인식하는 이벤트인식부; 상기 차량 상태 기반 모델을 기초로 상기 차량의 현재 상태(current state)로부터 상태전이가 가능한지 여부를 판단하는 전이판단부; 상기 차량의 시스템을 모니터링한 결과인 모니터링 상태(monitoring state)에 있어, 상태전이가 가능하지 않는 경우 상기 모니터링 상태를 기초로 상기 차량의 전이 상태(transition state)를 결정하는 전이상태생성부; 및 상기 현재 이벤트, 상기 현재 상태 및 상기 전이 상태를 기초로 상기 차량 상태 기반 모델이 새로운 상태전이를 반영하도록 상기 차량 상태 기반 모델을 학습시키는 학습부를 포함하는 것을 특징으로 하는 차량의 상태전이 학습장치를 제공한다.According to another aspect of the present disclosure, in an apparatus for learning a vehicle state based model to cause a vehicle state to undergo a state transition, generated inside or outside the vehicle an event recognition unit for recognizing a current event that is an event; a transition determination unit that determines whether a state transition is possible from a current state of the vehicle based on the vehicle state-based model; a transition state generator configured to determine a transition state of the vehicle based on the monitoring state when a state transition is not possible in a monitoring state that is a result of monitoring the system of the vehicle; and a learning unit for learning the vehicle state-based model so that the vehicle state-based model reflects a new state transition based on the current event, the current state, and the transition state. to provide.

본 개시의 다른 측면에 의하면, 전술한 상기 차량 상태 기반 모델을 학습시키는 과정은, 상기 현재 이벤트에 따른 상기 차량의 차량 동작(vehicle action)을 원인으로, 상기 현재 상태가 상기 전이 상태로 상태전이하였음을, 대응하는 노드(node) 및 간선(edge)을 이용하여 모델링하도록 학습시키는 것 특징으로 하는 상태전이 학습 방법을 제공한다.According to another aspect of the present disclosure, in the above-described process of learning the vehicle state-based model, the current state transitioned to the transition state due to a vehicle action of the vehicle according to the current event. to provide a state transition learning method, characterized in that it is taught to model using a corresponding node and edge.

본 개시의 다른 측면에 의하면, 상기 전이 상태를 결정할 수 없는 경우 상기 전이 상태는, 상기 차량의 제어권한을 운전자에게 이전하도록 생성된 새로운 상태이고, 상기 운전자가 수행하는 상기 차량의 차량 동작(vehicle action)을 원인으로, 상기 차량의 현재 상태가 상기 새로운 상태로 전이하였음을 대응하는 노드(node) 및 간선(edge)으로 모델링하도록 학습시키는 것을 특징으로 하는 차량 상태전이 학습 방법을 제공한다.According to another aspect of the present disclosure, when the transition state cannot be determined, the transition state is a new state created to transfer the control right of the vehicle to the driver, and the vehicle action of the vehicle performed by the driver ) as a cause, it provides a vehicle state transition learning method, characterized in that it learns to model the transition from the current state to the new state to the corresponding node and edge.

본 개시의 또 다른 측면에 의하면, 전술한 상태전이 학습장치는, 상기 차량의 상태가 상기 현재 상태에서 상기 전이 상태로 변화하도록 차량 동작(vehicle action)을 상기 차량에 요청하는 동작구동부를 더 포함하는 것을 특징으로 하는 차량의 상태전이 학습장치를 제공한다.According to another aspect of the present disclosure, the above-described state transition learning apparatus further includes an operation driving unit for requesting a vehicle action from the vehicle so that the state of the vehicle changes from the current state to the transition state. It provides an apparatus for learning state transition of a vehicle, characterized in that.

본 개시의 일 측면에 의하면, 차량 상태 기반 모델에 상태전이를 학습시키는 방법 및 장치를 제공함으로써 차량이 차량과 관련하여 발생하는 이벤트에 적응적으로 동작하게 하는 효과가 있다.According to an aspect of the present disclosure, by providing a method and an apparatus for learning state transition in a vehicle state-based model, there is an effect of allowing a vehicle to adaptively operate in response to an event occurring in relation to the vehicle.

본 개시의 다른 측면에 의하면, 전이 상태를 결정할 수 없는 경우 상우 차량의 제어권한을 운전자에게 이전하여 운전자의 차량 동작을 기초로 차량 상태 기반 모델에 새로운 상태전이를 학습시킴으로써, 기존의 차량 상태 기반 모델이 대처하기 어려운 상황에서도 차량이 신속하고도 효율적으로 대응할 수 있는 효과가 있다.According to another aspect of the present disclosure, when the transition state cannot be determined, the control right of the superior vehicle is transferred to the driver and a new state transition is learned in the vehicle state-based model based on the driver's vehicle motion, thereby making the existing vehicle state-based model There is an effect that the vehicle can quickly and efficiently respond to this difficult situation.

이로써, 본 개시의 여러 측면에 따른 상태전이를 학습시키는 방법 및 장치는 차량의 자율주행(autonomous driving)을 지원하고, 자율주행차량(autonomous driving vehicle)의 주행 안정성을 향상시키는 효과가 있다.Accordingly, the method and apparatus for learning state transition according to various aspects of the present disclosure support autonomous driving of a vehicle and have an effect of improving driving stability of an autonomous driving vehicle.

도 1은 차량 상태 기반 모델의 예시도이다.
도 2는 본 개시의 일 실시예에 따른 차량의 상태전이 학습장치를 나타내는 개념도이다.
도 3은 본 개시의 일 실시예에 따른 시스템 상태 변수와 그 값을 나타내는 리스트이다.
도 4는 본 개시의 일 실시예에 따른 차량의 상태전이 학습 방법을 나타내는 순서도이다.
도 5는 본 개시의 일 실시예에 따른 차량의 상태전이 학습 방법이 적용된 차량 상태 기반 모델의 상태 변이 예시도이다.
1 is an exemplary diagram of a vehicle state-based model.
2 is a conceptual diagram illustrating an apparatus for learning state transition of a vehicle according to an exemplary embodiment of the present disclosure.
3 is a list showing system state variables and their values according to an embodiment of the present disclosure.
4 is a flowchart illustrating a method for learning state transition of a vehicle according to an exemplary embodiment of the present disclosure.
5 is a diagram illustrating a state transition of a vehicle state-based model to which a vehicle state transition learning method according to an embodiment of the present disclosure is applied.

이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 열람부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present disclosure will be described in detail with reference to exemplary drawings. It should be noted that, in adding the reference numerals to the components of each drawing, the same components are to have the same reference numerals as much as possible even if they are displayed on different drawings. In addition, in describing the present disclosure, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present disclosure, the detailed description thereof will be omitted.

또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제2, 제1 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, in describing the components of the present disclosure, terms such as second and first may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. Throughout the specification, when a part 'includes' or 'includes' a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. . In addition, the '... Terms such as 'unit' and 'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.

첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시형태를 설명하고자 하는 것이며, 본 개시가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present disclosure and is not intended to represent the only embodiments in which the present disclosure may be practiced.

도 2는 본 개시의 일 실시예에 따른 차량의 상태전이 학습장치를 나타내는 개념도이다.2 is a conceptual diagram illustrating an apparatus for learning state transition of a vehicle according to an exemplary embodiment of the present disclosure.

본 개시의 일 실시예에 따른 차량의 상태전이 학습장치(200)는 이벤트인식부(event recognizer, 202), 전이판단부(transition determining unit, 204), 상태모니터링부(state monitoring unit, 210), 전이상태생성부(transition state generator, 212), 동작구동부(action operator, 220) 및 학습부(learning unit, 230)를 전부 또는 일부 포함한다. 도 2에 도시된 차량의 상태전이 학습장치(200)는 본 개시의 일 실시예에 따른 것으로서, 도 2에 도시된 모든 구성이 필수 구성요소는 아니며, 다른 실시예에서 일부 구성이 추가, 변경 또는 삭제될 수 있다.The apparatus 200 for learning state transition of a vehicle according to an embodiment of the present disclosure includes an event recognizer 202, a transition determining unit 204, a state monitoring unit 210, A transition state generator 212 , an action operator 220 , and a learning unit 230 are included in whole or in part. The apparatus 200 for learning state transition of a vehicle shown in FIG. 2 is according to an embodiment of the present disclosure, and not all components shown in FIG. 2 are essential components, and some components are added, changed, or may be deleted.

도 2는 설명의 편의를 위해 차량의 상태전이 학습장치(200)를 장치로서 도시하였으나, 이는 설명의 편의를 위한 것으로, 다른 실시예에서 학습장치는 각 구성(202 내지 230)의 기능을 수행하는 소프트웨어 모듈 또는 프로세서로 구현될 수 있다.2 shows the vehicle state transition learning apparatus 200 as a device for convenience of explanation, this is for convenience of description, and in another embodiment, the learning device performs the functions of each component 202-230. It may be implemented as a software module or a processor.

이벤트인식부(202)는 차량의 외부 또는 내부에서 발생하는 이벤트를 인식한다. 이러한 이벤트는 예컨대, 가속 패달(accelerator) 눌림, 브레이크(brake) 눌림, 장애물 감지, 차량 간 거리 변화, 교통 신호 변화, 날씨 변화 등 차량의 주정차 중 차량 시스템 자체, 운전자나 동승자의 차량 제어 또는 차량 외부 상황에 의해 발생하는 이벤트다.The event recognition unit 202 recognizes an event occurring outside or inside the vehicle. These events may include, for example, the accelerator pedal press, brake press, obstacle detection, distance between vehicles, changes in traffic signals, weather changes, etc. An event that is triggered by a situation.

전이판단부(204)는 발생 이벤트에 기초하여 차량의 상태가 전이될 수 있는 지를 판단한다. 여기서 차량의 상태는 특정 시점에서의 시스템 상태 변수들의 값 또는 범주로써 정의되고, 상태전이(state transition)는 이벤트의 발생과 그에 따른 차량 동작에 의하여 차량의 특정 상태가 다른 상태로 변화하는 것이다. 예컨대, 차량이 정지 상태(시스템 상태 변수인 차속이 0 km인 경우)이고, 가속 패달이 눌리는 이벤트가 발생하는 경우 차량은 주행 상태(차속이 0 km를 초과)로 상태전이될 수 있다. 이러한 시스템 상태 변수에 관하여는 도 3에서 구체적으로 후술한다.The transition determination unit 204 determines whether the state of the vehicle can be transitioned based on the occurrence event. Here, the state of the vehicle is defined as values or categories of system state variables at a specific point in time, and a state transition is a change from a specific state of the vehicle to another state by the occurrence of an event and a corresponding vehicle operation. For example, when the vehicle is in a stationary state (when the vehicle speed, which is a system state variable, is 0 km) and an event in which the accelerator pedal is pressed occurs, the vehicle may be transitioned to a driving state (vehicle speed exceeds 0 km). These system state variables will be described later in detail with reference to FIG. 3 .

전이판단부(204)의 판단은, 차량 상태 기반 모델(vehicle state based model)에 기초하여 판단된다. 이하에서는 차량 상태 기반 모델이 차량의 상태를 노드(node)로 하고 차량 상태 간 상태 전이 가능성을 간선(edge)으로 표현하는 모델을 전제로 설명하나, 차량의 상태와 차량 상태 간 이전을 나타내는 어떠한 모델이든 본 개시의 차량 상태 모델이 될 수 있다. 이러한 차량 상태 기반 모델은 차량 상태가 변화하는 데 필요한 이벤트 및/또는 이벤트에 따른 차량 동작을 더 정의하며, 이러한 이벤트 및/또는 차량 동작은 노드-간선으로 구성된 차량 상태 기반 모델에서는 간선의 데이터로 설정된다.The determination of the transition determination unit 204 is determined based on a vehicle state based model. Hereinafter, the vehicle state-based model will be described on the premise of a model in which the state of the vehicle is a node and the possibility of state transition between vehicle states is expressed as an edge. Any of these may be a vehicle state model of the present disclosure. These vehicle state-based models further define the events and/or vehicle behaviors required for the vehicle state to change, and these events and/or vehicle behaviors are set as data of the edges in the vehicle state-based model consisting of node-edges. do.

전이판단부(204)는 차량 상태 기반 모델의 어느 노드로서 차량의 현재 상태에 대응하는 노드인 현재 노드(current node)에 대하여, 현재 노드의 진출간선(outgoing edge) 중 이벤트인식부(202)가 인식한 이벤트에 대응하는 간선의 존재여부를 판단하여 차량의 상태가 전이될 수 있는지 판단한다. 이러한 진출간선은 방향성이 있는 노드 간 간선으로, 어느 차량 상태로부터 다른 차량 상태로 이전할 수 있음을 나타내는 노드 간 관계를 설정한 것이고 화살표와 같은 특정한 표현 방식에 한하는 것은 아니다. 이벤트에 대응하는 간선의 존재 여부는 진출간선에 설정된 이벤트가 이벤트인식부(202)가 인식한 이벤트와 일치하는지 또는 기 설정된 임계범위 내에서 동일하다고 판단될 수 있는지를 기준으로 판단할 수 있다. 전이판단부(204)는 일치하는 이벤트가 존재한다고 판단한 경우, 대응하는 진출간선(이하, 전이간선(transition edge))과 연결된 노드(이하, 인접노드(adjacent node))의 차량 상태가 되도록 동작구동부(220)의 동작으로써 차량의 상태를 변화하게 한다. 즉, 전이간선에 설정된 차량 동작을 동작구동부(220)에 요청함으로써 인접노드에 정의된 차량 상태로 실제 차량의 상태가 변화하게 한다. 본 개시에 따른 차량 상태 기반 모델의 상태 변이는 도 5에서 구체적으로 후술한다.The transition determining unit 204 is a node of the vehicle state-based model and, with respect to a current node, which is a node corresponding to the current state of the vehicle, the event recognition unit 202 among the outgoing edges of the current node. It is determined whether the state of the vehicle can be transitioned by determining whether a trunk line corresponding to the recognized event exists. This outgoing edge is an edge between nodes with a direction, which establishes a relationship between nodes indicating that it can move from one vehicle state to another, and is not limited to a specific expression method such as an arrow. The existence of the trunk line corresponding to the event may be determined based on whether the event set in the outgoing trunk coincides with the event recognized by the event recognition unit 202 or whether it can be determined to be the same within a preset threshold range. When it is determined that a matching event exists, the transition determining unit 204 is an operation driving unit such that a vehicle state of a node (hereinafter, an adjacent node) connected to a corresponding outgoing edge (hereinafter, referred to as a transition edge) is obtained. By the operation of 220, the state of the vehicle is changed. That is, the actual vehicle state is changed to the vehicle state defined in the adjacent node by requesting the operation driver 220 to operate the vehicle set in the transition trunk. The state transition of the vehicle state-based model according to the present disclosure will be described in detail later with reference to FIG. 5 .

일치하는 이벤트가 존재하지 않는다고 판단한 경우, 즉, 전이할 수 없다고 판단한 경우 전이판단부(204)는 동작구동부(220)에 차량 동작을 요청하지 않거나, 현재의 차량 상태 기반 모델로는 전이할 수 없다는 신호를 동작구동부(220)에 전달한다. 이 경우 동작구동부(220)는 전이상태생성부(212)로부터 차량 동작 등을 요청받는다.When it is determined that there is no matching event, that is, when it is determined that transition is not possible, the transition determination unit 204 does not request the operation driver 220 to operate the vehicle, or the current vehicle state-based model indicates that transition is not possible. The signal is transmitted to the operation driving unit 220 . In this case, the operation driving unit 220 receives a request to operate the vehicle from the transition state generating unit 212 .

상태모니터링부(210)는 차량의 상태를 모니터링한다. 구체적으로, 상태모니터링부(210)는 차량 시스템을 모니터링하여 다양한 시스템 상태 변수의 값을 모니터링 상태(monitoring state)로서 저장 및 제공한다. 상태모니터링부(210)는 차량 시스템의 여러 구성을 모니터링한다, 전이판단부(204)가 상태를 전이할 수 없다고 판단한 시점의 모니터링 상태를 전이상태생성부(212)에 제공할 수 있다.The state monitoring unit 210 monitors the state of the vehicle. Specifically, the state monitoring unit 210 monitors the vehicle system and stores and provides values of various system state variables as a monitoring state. The state monitoring unit 210 monitors various configurations of the vehicle system. The monitoring state at the time when the transition determining unit 204 determines that the state cannot be transferred may be provided to the transition state generating unit 212 .

전이판단부(204)가 상태를 전이할 수 없다고 판단한 경우, 전이상태생성부(212)는 모니터링 상태와 일치하거나 가장 유사도가 높은 상태를 전이할 상태로 선택한다. 만약 전이할 상태를 선택할 수 없는 경우, 모니터링 상태에 대응하는 새로운 상태를 차량 상태 기반 모델에 추가한다. 즉, 전이상태생성부(212)는 차량 상태 기반 모델의 노드 가운데 모니터링 상태와 가장 유사한 노드를 인접노드로 결정하거나, 모니터링 상태의 시스템 변수값의 전부 또는 일부를 기초로 새로운 상태 노드를 생성하여 인접노드로서 제공한다.When the transition determining unit 204 determines that the state cannot be transferred, the transition state generating unit 212 selects a state that matches the monitoring state or has the highest similarity as the state to be transitioned. If the state to transition to cannot be selected, a new state corresponding to the monitoring state is added to the vehicle state-based model. That is, the transition state generating unit 212 determines the node most similar to the monitoring state among the nodes of the vehicle state-based model as the adjacent node, or generates a new state node based on all or part of the system variable values of the monitoring state to adjacent provided as a node.

전이상태생성부(212)가 인접노드를 결정하는 예는, 모니터링 상태와 차량 상태 기초 모델의 노드 간 일치하는 시스템 변수 간의 차(difference)를 연산하여, 이러한 차(difference)가 최소인 노드를 인접노드로 결정하는 것일 수 있다. 전이상태생성부(212) 전술한 차(difference)가 기 설정된 임계치(threshold)를 모두 초과하는 경우, 전이할 상태를 선택할 수 없는 경우로 판단하여 새로운 상태 노드를 생성한다.An example in which the transition state generating unit 212 determines the adjacent node is by calculating the difference between the monitoring state and the matching system variable between the nodes of the vehicle state basic model, and selecting the node with the smallest difference as adjacent. It may be decided by node. When all of the above-described differences exceed a preset threshold, the transition state generator 212 determines that a state to be transitioned cannot be selected and generates a new state node.

전이상태생성부(212)가 인접노드를 결정하는 또 다른 예는, 모니터링 상태와 차량 상태 기반 모델의 노드 간 일치하는 시스템 변수값(또는 범위)의 개수가 가장 많은 노드를 인접노드로 결정하는 것일 수 있다. 전이상태생성부(212)는 전술한 일치하는 시스템 변수값(또는 범위)의 개수가 기 설정된 개수에 모두 미달하는 경우, 전이할 상태를 선택할 수 없는 경우로 판단하여 새로운 상태 노드를 생성한다.Another example in which the transition state generator 212 determines the adjacent node is to determine the node having the largest number of matching system variable values (or ranges) between the monitoring state and the node of the vehicle state-based model as the adjacent node. can When the number of matching system variable values (or ranges) is less than a preset number, the transition state generator 212 determines that a transition state cannot be selected and creates a new state node.

전이상태생성부(212)는 전이할 상태를 선택할 수 없는 경우 차량의 제어권한을 운전자에게 이전하는 새로운 상태를 생성하여 인접노드로서 제공할 수 있다.When the transition state cannot be selected, the transition state generator 212 may generate a new state for transferring the control right of the vehicle to the driver and provide it as an adjacent node.

동작구동부(220)는 차량의 상태를 전이하기 위해 수행해야 하는 차량 동작을 실행하여, 차량의 실제 상태를 인접노드의 상태로 전이시킨다. 이러한 차량 동작은 상태전이에 대응하는 진출간선에 데이터로 설정된 것일 수 있다. 전이상태생성부(212)가 전이할 상태를 선택할 수 없어 차량의 제어권한을 운전자에게 이전하는 새로운 상태를 생성한 경우, 이러한 차량 동작은 운전자가 제어하는 동작들일 수 있다. 이 경우, 차량의 상태전이 학습장치(200)는 운전자의 제어 결과로 변화한 차량의 새로운 상태와 운전자가 제어하는 동작들이 차량 상태 기반 모델에 반영되도록 학습됨이 바람직하다.The operation driving unit 220 executes a vehicle operation to be performed in order to transition the state of the vehicle, thereby transferring the actual state of the vehicle to the state of the adjacent node. Such a vehicle operation may be set as data on the outgoing trunk corresponding to the state transition. When the transition state generator 212 cannot select a state to be transitioned to and thus generates a new state in which the control authority of the vehicle is transferred to the driver, these vehicle operations may be operations controlled by the driver. In this case, it is preferable that the state transition learning apparatus 200 of the vehicle learns so that the new state of the vehicle changed as a result of the driver's control and the operations controlled by the driver are reflected in the vehicle state-based model.

학습부(230)는 전이상태생성부(212)가 결정한 전이할 상태, 즉 인접노드의 상태와 동작구동부(220)의 차량 동작을 기반으로, 추가된 상태전이를 반영하여 차량 상태 기반 모델이 생성되도록 모델 생성에 관한 기계학습(machine learning)을 수행한다.The learning unit 230 generates a vehicle state-based model by reflecting the added state transition based on the state to be transitioned determined by the transition state generating unit 212 , that is, the state of the adjacent node and the vehicle operation of the operation driver 220 . As much as possible, machine learning for model generation is performed.

이러한 학습은 예컨대, 인접노드가 기존의 차량 상태 기반 모델의 노드라면, 현재 노드에서 인접노드로 향하는 진출간선을 생성하고, 이벤트인식부(202)가 인식한 이벤트 및/또는 동작구동부(220)의 차량 동작을 생성된 진출간선의 데이터로 설정하도록 학습시키는 것일 수 있다. 인접노드가 새로 생성된 노드라면, 차량 상태 기반 모델에 새로 생성된 노드의 상태로 정의된 새로운 노드를 생성하고, 현재 노드에서 새로운 노드로 향하는 진출간선을 생성하여 이벤트인식부(202)가 인식한 이벤트 및/또는 동작구동부(220)의 차량 동작을 생성된 진출간선의 데이터로 설정한다. 또한 새로운 노드에서 현재 노드로 향하는 진출간선을 더 생성하도록 학습시킨다. 이 경우, 현재 노드와 새로운 노드 간 사이클(cycle)이 형성된다.This learning is, for example, if the adjacent node is a node of the existing vehicle state-based model, an outgoing edge from the current node to the adjacent node is generated, and the event recognized by the event recognition unit 202 and/or the operation driving unit 220 is performed. It may be to learn to set the vehicle motion as data of the generated outgoing edge. If the adjacent node is a newly created node, a new node defined as the state of the newly created node in the vehicle state-based model is created, and an outgoing edge from the current node to the new node is generated, and the event recognition unit 202 recognizes The event and/or vehicle motion of the motion driver 220 is set as data of the generated outgoing trunk line. It also trains the new node to generate more outgoing edges from the new node to the current node. In this case, a cycle between the current node and the new node is formed.

도 3은 본 개시의 일 실시예에 따른 시스템 상태 변수와 그 값을 나타내는 리스트이다.3 is a list showing system state variables and their values according to an embodiment of the present disclosure.

차량 상태로 설정되는 시스템 상태 변수는 차량 시스템의 각 구성의 상태에 해당하는 값(value) 또는 범주(range)일 수 있다. 예컨대, 차량 시스템에는 엔진(engine), 스로틀 밸브(throttle valve), 조향휠(steering wheel), 레이더(radar), 라이다(lidar)와 같은 각종 센서(sensor) 등이 구성으로 포함될 수 있다. 시스템 상태 변수는 엔진 상태(도 3의 Engine_state), 스로틀 밸브 상태(도 3의 Throttle_valve_state), 조향각(도 3의 Steering_angle), 차량 방향(도 3의 Car_direction), 센서 상태(도 3의 Sensor_state) 등이 될 수 있다. 도 3을 참조하면, 이러한 시스템 상태 변수의 값 또는 범주는 엔진 상태의 경우 온/오프, 스로틀 밸브 상태의 경우 열림/증가/감소/닫힘, 조향각의 경우 차량을 조향할 수 있는 범위 내의 각도(-90

Figure pat00001
내지 +90
Figure pat00002
), 차량 방향의 경우 차량이 주행하는 방향으로서, 예컨대 전방(forward)/후방(backward), 센서 상태의 경우 센서 활성화(active)/비활성화(inactive) 또는 센서의 감지 결과가 시스템 상태(도 3의 Sensor_status) 변수의 값 또는 범주가 될 수 있다.The system state variable set as the vehicle state may be a value or a range corresponding to the state of each component of the vehicle system. For example, the vehicle system may include various sensors such as an engine, a throttle valve, a steering wheel, a radar, and a lidar. System state variables include engine state (Engine_state in FIG. 3), throttle valve state (Throttle_valve_state in FIG. 3), steering angle (Steering_angle in FIG. 3), vehicle direction (Car_direction in FIG. 3), sensor state (Sensor_state in FIG. 3), etc. can be Referring to FIG. 3 , the values or categories of these system state variables are on/off in the case of the engine state, open/increase/decrease/close in the case of the throttle valve state, and the angle within the steerable range for the steering angle (- 90
Figure pat00001
to +90
Figure pat00002
), in the case of the vehicle direction, as the direction in which the vehicle travels, for example, forward/backward, in the case of a sensor state, sensor activation (active)/inactive (inactive) or the detection result of the sensor is the system state (FIG. 3). Sensor_status) variable value or category.

이러한 시스템 상태 변수의 값 또는 범주는 도 3의 리스트에 나타나는 값 또는 범주에 한하지 않는다. 예컨대, 도 3에 나타나는 시스템 상태 변수를 조합하여 생성된 새로운 상태변수의 값을 차량 상태를 나타내는 변수 중 일부로서 설정할 수 있다.The values or categories of these system state variables are not limited to the values or categories shown in the list of FIG. 3 . For example, a value of a new state variable generated by combining the system state variables shown in FIG. 3 may be set as some of the variables representing the vehicle state.

도 4는 본 개시의 일 실시예에 따른 차량의 상태전이 학습 방법을 나타내는 순서도이다.4 is a flowchart illustrating a method for learning state transition of a vehicle according to an exemplary embodiment of the present disclosure.

차량의 상태전이 학습장치가 차량에 이벤트가 발생하였는지 인식하면(S400), 해당 이벤트로 인해 차량의 상태전이가 가능한지를 판단한다(S402, S410). 이러한 판단은 차량의 현재 상태에 대응하는 현재 노드의 진출간선 중 차량에 발생한 이벤트에 대응하는 간선이 차량 상태 기반 모델에 존재하는지를 기준으로 판단할 수 있다.When the vehicle state transition learning apparatus recognizes whether an event has occurred in the vehicle (S400), it is determined whether the vehicle state transition is possible due to the corresponding event (S402, S410). Such determination may be made on the basis of whether a trunk line corresponding to an event occurring in the vehicle exists in the vehicle state-based model among outgoing trunks of the current node corresponding to the current state of the vehicle.

상태전이가 가능한 경우, 즉, 차량에 발생하는 이벤트에 대응하는 간선인 전이간선이 존재하는 경우, 차량의 상태전이 학습장치는 차량이 해당 전이간선에 설정된 차량 동작을 수행하도록 ECU(Electronic Control Unit) 또는 해당 차량의 구성에 요청한다. 이로써, 차량의 실제 상태는 차량 동작에 따라 변경되고, 차량 상태 기반 모델에서의 차량의 현재 노드는 진출간선과 연결된 노드가 된다(S412).When a state transition is possible, that is, when a transition edge that is an edge corresponding to an event occurring in the vehicle exists, the state transition learning device of the vehicle uses the ECU (Electronic Control Unit) to enable the vehicle to perform the vehicle operation set on the corresponding transition edge. Or ask the configuration of the vehicle in question. Accordingly, the actual state of the vehicle is changed according to the operation of the vehicle, and the current node of the vehicle in the vehicle state-based model becomes a node connected to the outgoing trunk (S412).

상태전이가 가능하지 않은 경우, 차량의 상태전이 학습장치는 차량의 시스템 상태 변수의 값 또는 범주를 확보한다(S420). 이러한 시스템 상태 변수는, 차량 시스템을 구성하는 각 구성(예: 엔진, 스로틀 밸브, 조향휠 등)의 상태를 나타내는 변수로서, 차량의 상태전이 학습장치는 시스템 상태 변수를 모니터링하다 특정 시점에서의 시스템 상태 변수 값 또는 범주를 저장 및 제공할 수 있다.When the state transition is not possible, the device for learning the state transition of the vehicle secures the value or category of the system state variable of the vehicle ( S420 ). These system state variables are variables representing the state of each component (eg, engine, throttle valve, steering wheel, etc.) constituting the vehicle system. The state transition learning device of the vehicle monitors the system state variable. Can store and provide state variable values or categories.

차량의 상태전이 학습장치는 확보된 시스템 상태 변수의 값 또는 범주를 기초로, 차량 상태 기반 모델과 가장 상태의 유사도가 높은 노드가 존재하는지 판단하고, 상태의 유사도가 가장 높은 노드와 확보된 시스템 상태 변수의 값 또는 범주와의 차(difference)가 기 설정된 임계치 이하인 경우, 해당 노드의 상태를 전이할 상태(SJ)로 결정한다(S422, S430). 이 경우, 차량의 상태전이 학습장치는 차량 상태 기반 모델 상에 현재 노드와 결정된 노드 간 전이간선(TJ-1)을 추가하고, 차량의 실제 상태가 변경되도록 한다(S432, S434).Based on the value or category of the secured system state variable, the vehicle state transition learning apparatus determines whether there is a node with the highest state similarity to the vehicle state-based model, and determines whether a node with the highest state similarity and the secured system state exists. When the difference between the value or the category of the variable is less than or equal to a preset threshold, the state of the corresponding node is determined as the state to be transitioned (S J ) ( S422 , S430 ). In this case, the vehicle state transition learning apparatus adds the transition edge T J-1 between the current node and the determined node on the vehicle state-based model, and changes the actual state of the vehicle (S432, S434).

전술한 차(difference)가 기 설정된 임계치를 초과하는 경우, 또는 그 밖의 이유로 전이할 상태를 결정할 수 없는 경우 차량의 상태전이 학습장치는 차량 상태 기반 모델에 확보된 시스템 상태 변수의 값 또는 범주를 기초로 새로운 상태(SK)를 정의하여 노드를 생성한다(S440). 이 경우, 차량의 상태전이 학습장치는 현재 노드와 생성된 노드 간 전이간선(TK-1)과 생성된 노드와 현재 노드 간 전이간선(TK+1)을 각각 추가한다(S442, S444). When the above-described difference exceeds a preset threshold or when it is not possible to determine the state to be transitioned to for other reasons, the state transition learning apparatus of the vehicle is based on the value or category of the system state variable secured in the vehicle state-based model. A new state (S K ) is defined to create a node (S440). In this case, the vehicle state transition learning apparatus adds the transition edge T K-1 between the current node and the generated node and the transition edge T K+1 between the generated node and the current node, respectively (S442, S444). .

차량의 상태전이 학습장치는 차량에 차량 동작을 요청하여 차량의 실제 상태가 변경되도록 하고, 차량 상태 기반 모델에서의 차량의 현재 노드는 진출간선과 연결된 노드, 즉 생성된 노드가 된다(S412).The state transition learning apparatus of the vehicle requests the vehicle to operate the vehicle so that the actual state of the vehicle is changed, and the current node of the vehicle in the vehicle state-based model becomes a node connected to the outgoing trunk, that is, the generated node (S412).

차량의 상태전이 학습장치는 차량 상태 기반 모델이 S432, S434, S440, S442, S444 단계에서 추가된 상태전이를 반영하여 생성되도록 모델 생성에 관한 기계학습(machine learning)을 수행한다.The vehicle state transition learning apparatus performs machine learning on model generation so that the vehicle state-based model is generated by reflecting the state transition added in steps S432, S434, S440, S442, and S444.

도 4에서는 과정 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4의 시계열적인 순서로 한정되는 것은 아니다.Although it is described that each process is sequentially executed in FIG. 4 , this is merely illustrative of the technical idea of an embodiment of the present disclosure. In other words, those of ordinary skill in the art to which an embodiment of the present disclosure pertain may change the order described in FIG. 4 within the scope not departing from the essential characteristics of an embodiment of the present disclosure, or perform one or more of each process Since it may be applied by various modifications and variations to be executed in parallel, it is not limited to the time series sequence of FIG. 4 .

도 5는 본 개시의 일 실시예에 따른 차량의 상태전이 학습 방법이 적용된 차량 상태 기반 모델의 상태 변이 예시도이다.5 is a diagram illustrating a state transition of a vehicle state-based model to which a vehicle state transition learning method according to an embodiment of the present disclosure is applied.

도 5의 (a)는 기존 차량 상태 기반 모델에 정의된 이벤트가 발생하여 차량의 상태를 전이하는 경우를 나타낸다.FIG. 5A illustrates a case in which an event defined in the existing vehicle state-based model occurs and the state of the vehicle is transferred.

차량의 현재 상태를 나타내는 노드인 SH에 있어 차량의 상태전이 학습장치가 차량에 발생한 이벤트 e3을 인식하는 경우, SH의 진출간선에 e3에 대응하는 간선이 있으므로 차량의 상태는 현재의 모델만으로 전이될 수 있다. 그에 따라 차량의 상태전이 학습장치는 e3에 대응하는 간선에 설정된 차량 동작인 a3이 수행되도록 차량에 차량 동작 a3를 요청하고, 차량의 상태는 인접노드인 SI 노드에 정의된 상태로 변화한다.When the vehicle state transition learning device recognizes the event e3 occurring in the vehicle in S H , which is a node representing the current state of the vehicle, since there is an edge corresponding to e3 in the outgoing edge of S H , the state of the vehicle is It can be transferred only by the model. Accordingly, the state transition learning apparatus of the vehicle requests the vehicle operation a 3 to be performed, which is the vehicle operation a 3 set on the trunk line corresponding to e 3 , and the state of the vehicle is the state defined in the S I node, which is an adjacent node. change

도 5의 (b)는 기존 차량 상태 기반 모델에 정의되지 않은 이벤트가 발생하여 전이 가능한 인접노드를 결정하여 차량의 상태를 전이하는 경우를 나타낸다.FIG. 5B illustrates a case in which an event not defined in the existing vehicle state-based model occurs and the state of the vehicle is transferred by determining a transitionable adjacent node.

차량의 현재 상태를 나타내는 노드인 SH에 있어 차량의 상태전이 학습장치가 차량에 발생한 이벤트 eJ -1을 인식하는 경우, SH의 진출간선에 eJ -1에 대응하는 간선이 없으므로 차량의 상태는 현재의 모델만으로 전이될 수 없다. 그에 따라 차량의 상태전이 학습장치는 차량의 시스템 변수 값을 기초로 시스템 변수 값과 가장 유사도가 높은 상태를 정의한 SJ 노드를 인접노드로 결정하고, SH 노드와 SJ 노드 간 전이 가능함을 나타내는 TJ -1 간선을 설정한다. TJ -1 간선에는 이벤트 eJ - 1 가 설정된다.When the state transition learning device of the vehicle recognizes the event e J -1 occurring in the vehicle in S H , which is a node representing the current state of the vehicle, there is no edge corresponding to e J -1 in the out-going edge of S H. The state cannot be transferred only by the current model. Accordingly, the state transition learning device of the vehicle defines the state with the highest similarity to the system variable value based on the system variable value of the vehicle, S J. Determining a node as an adjacent node, S H Node and S J Set the T J -1 edge indicating that node-to-node transition is possible. Event e J - 1 is set on the T J -1 edge.

도 5의 (c)는 기존 차량 상태 기반 모델에 정의되지 않은 이벤트가 발생하고, 전이 가능한 인접노드를 결정할 수 없는 경우 새로운 노드를 생성하여 차량의 상태를 전이하는 경우를 나타낸다.FIG. 5C illustrates a case in which a vehicle state is transferred by creating a new node when an event not defined in the existing vehicle state-based model occurs and a transitionable adjacent node cannot be determined.

차량의 현재 상태를 나타내는 노드인 SH에 있어 차량의 상태전이 학습장치가 차량에 발생한 이벤트 eK -1을 인식하는 경우, SH의 진출간선에 eK -1에 대응하는 간선이 없으므로 차량의 상태는 현재의 모델만으로 전이될 수 없다. 또한, 차량의 시스템 변수 값과 기 설정된 임계치 내에 시스템 변수 값과 가장 유사도가 높은 상태를 결정할 수 없는 경우, 차량의 상태전이 학습장치는 차량의 시스템 변수 값을 기초로 상태를 새롭게 정의한 SK 노드를 생성하여 인접노드로 결정하고, SH 노드와 SK 노드 간 전이 가능함을 나타내는 TK-1 간선을 설정한다. TK-1 간선에는 이벤트 eK - 1 가 설정된다. 또한, TK-1 간선에는 차량이 노드 SK 상태가 되기 위하여 수행되어야 하는 차량 동작인 aK- 1를 더 설정한다. 이러한 SK 노드가 SH 노드로 전이 가능함을 나타내기 위하여, TK+1 간선을 더 설정한다.When the state transition learning device of the vehicle recognizes the event e K -1 occurring in the vehicle in S H , which is a node representing the current state of the vehicle, there is no edge corresponding to e K -1 in the out-going edge of S H , so the The state cannot be transferred only by the current model. In addition, when the system variable value of the vehicle and the state with the highest similarity to the system variable value within the preset threshold cannot be determined, the vehicle state transition learning apparatus selects the SK node that newly defines the state based on the vehicle system variable value. Created and decided as an adjacent node, S H Node and S K Set the T K-1 edge indicating that node-to-node transition is possible. Event e K - 1 is set on the T K-1 edge. In addition, a K - 1 , which is a vehicle operation to be performed in order for the vehicle to enter the node SK state, is further set in the T K-1 trunk line. These S K nodes are S H In order to indicate that it is possible to transition to a node, a T K+1 edge is further set.

본 명세서에 설명되는 장치, 부(unit), 과정, 단계 등의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍 가능 시스템상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍 가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령을 수신하고 이들에게 데이터 및 명령을 전송하도록 결합된 적어도 하나의 프로그래밍 가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍 가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다. Various implementations of the devices, units, processes, steps, etc., described herein may include digital electronic circuits, integrated circuits, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), computer hardware, firmware, software, and/or a combination thereof. These various implementations may include being implemented in one or more computer programs executable on a programmable system. The programmable system includes at least one programmable processor (which may be a special purpose processor) coupled to receive data and instructions from, and transmit data and instructions to, a storage system, at least one input device, and at least one output device. or may be a general-purpose processor). Computer programs (also known as programs, software, software applications or code) contain instructions for a programmable processor and are stored on a "computer-readable recording medium".

컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비 일시적인(non-transitory) 매체 또는 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. These computer-readable recording media are non-volatile or non-transitory, such as ROM, CD-ROM, magnetic tape, floppy disk, memory card, hard disk, magneto-optical disk, and storage device. It may further include a medium or a transitory medium such as a data transmission medium. In addition, the computer-readable recording medium may be distributed in network-connected computer systems, and computer-readable codes may be stored and executed in a distributed manner.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋톱박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩톱, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.Various implementations of the systems and techniques described herein may be implemented by a programmable computer. Here, the computer includes a programmable processor, a data storage system (including volatile memory, non-volatile memory, or other types of storage systems or combinations thereof), and at least one communication interface. For example, the programmable computer may be one of a server, a network appliance, a set-top box, an embedded device, a computer expansion module, a personal computer, a laptop, a Personal Data Assistant (PDA), a cloud computing system, or a mobile device.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and a person skilled in the art to which this embodiment belongs may make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.

200: 차량의 상태전이 학습장치 202: 이벤트인식부
204: 전이판단부 210: 상태모니터링부
212: 전이상태생성부 220: 동작구동부
230: 학습부
200: vehicle state transition learning device 202: event recognition unit
204: transition determination unit 210: state monitoring unit
212: transition state generating unit 220: operation driving unit
230: study unit

Claims (16)

차량 상태(vehicle state)를 상태전이(state transition)시키도록 하기 위하여 차량 상태 기반 모델(vehicle state based model)을 학습시키는 방법에 있어서,
차량의 내부 또는 외부에서 발생하는 이벤트인 현재 이벤트(current event)를 인식하는 과정;
상기 차량 상태 기반 모델을 기초로 상기 차량의 현재 상태(current state)로부터 상태전이가 가능한지 여부를 판단하는 과정;
상기 차량의 시스템을 모니터링한 결과인 모니터링 상태(monitoring state)에 있어, 상태전이가 가능하지 않는 경우 상기 모니터링 상태를 기초로 상기 차량의 전이 상태(transition state)를 결정하는 과정; 및
상기 현재 이벤트, 상기 현재 상태 및 상기 전이 상태를 기초로 상기 차량 상태 기반 모델이 새로운 상태전이를 반영하도록 상기 차량 상태 기반 모델을 학습시키는 과정
을 포함하는 것을 특징으로 하는 차량의 상태전이 학습 방법.
In a method for learning a vehicle state based model in order to make a state transition of a vehicle state,
Recognizing a current event that is an event occurring inside or outside the vehicle;
determining whether a state transition is possible from a current state of the vehicle based on the vehicle state-based model;
determining a transition state of the vehicle based on the monitoring state when a state transition is not possible in a monitoring state that is a result of monitoring the system of the vehicle; and
Learning the vehicle state-based model so that the vehicle state-based model reflects a new state transition based on the current event, the current state, and the transition state
A vehicle state transition learning method comprising a.
제1항에 있어서,
상기 차량 상태 기반 모델을 학습시키는 과정은,
상기 현재 이벤트에 따른 상기 차량의 차량 동작(vehicle action)을 원인으로, 상기 현재 상태가 상기 전이 상태로 상태전이하였음을, 대응하는 노드(node) 및 간선(edge)을 이용하여 모델링하도록 학습시키는 것 특징으로 하는 차량의 상태전이 학습 방법.
According to claim 1,
The process of learning the vehicle state-based model is,
Learning that the current state has transitioned to the transition state due to the vehicle action of the vehicle according to the current event is modeled using corresponding nodes and edges A vehicle state transition learning method, characterized in that it.
제1항에 있어서,
상기 차량 상태는, 시스템 상태 변수(system state variable)의 값 또는 범주를 기초로 정의되고,
상기 시스템 상태 변수는, 엔진 상태(engine status), 스로틀 밸브 상태(throttle valve state), 조향각(steering angle), 차방향(car direction), 하나 이상의 센서 상태(sensor status)의 전부 또는 일부를 포함하는 것을 특징으로 하는 차량의 상태전이 학습 방법.
According to claim 1,
The vehicle state is defined based on a value or category of a system state variable,
The system state variable includes all or part of an engine status, a throttle valve state, a steering angle, a car direction, and one or more sensor status A vehicle state transition learning method, characterized in that.
제2항에 있어서,
상기 전이 상태를 결정하는 과정은,
상기 모니터링 상태와 상기 차량 상태 기반 모델의 노드에 대응하는 차량 상태 간 차(difference)를 기초로 결정하는 것을 특징으로 하는 차량의 상태전이 학습 방법.
3. The method of claim 2,
The process of determining the transition state is
and determining based on a difference between the monitoring state and a vehicle state corresponding to a node of the vehicle state-based model.
제4항에 있어서,
상기 모니터링 상태와 차량 상태가 기 설정된 임계치 이하인 상기 차량 상태 기반 모델의 노드가 존재하지 않는 경우, 상기 전이 상태는, 상기 모니터링 상태를 기초로 생성된 새로운 상태인 것을 특징으로 하는 차량의 상태전이 학습 방법.
5. The method of claim 4,
When the node of the vehicle state-based model in which the monitoring state and the vehicle state are equal to or less than a preset threshold does not exist, the transition state is a new state generated based on the monitoring state. .
제2항에 있어서,
상기 전이 상태를 결정하는 과정은,
상기 모니터링 상태와 차량 상태가 기 설정된 임계치 이상 일치하는 상기 차량 상태 기반 모델의 노드가 존재하지 않는 경우, 상기 전이 상태는, 상기 모니터링 상태를 기초로 생성된 새로운 상태인 것을 특징으로 하는 차량의 상태전이 학습 방법.
3. The method of claim 2,
The process of determining the transition state is
When there is no node of the vehicle state-based model in which the monitoring state and the vehicle state match by more than a preset threshold, the transition state is a new state generated based on the monitoring state. How to learn.
제5항 또는 제6항에 있어서,
상기 상태 기반 모델을 학습시키는 과정은,
상기 차량 상태 기반 모델이 상기 새로운 상태에 대응하는 노드인 새로운 노드(new node)를 생성하고, 상기 현재 상태에 대응하는 노드에서 상기 새로운 노드로 향하는 진출간선(outgoing edge)을 생성하며, 상기 현재 이벤트를 생성된 진출간선의 이벤트로 설정하고, 상기 새로운 노드에서 상기 현재 상태에 대응하는 노드로 향하는 진출간선을 생성하도록 학습시키는 것을 특징으로 하는 차량의 상태전이 학습 방법.
7. The method according to claim 5 or 6,
The process of learning the state-based model is,
The vehicle state-based model generates a new node that is a node corresponding to the new state, and generates an outgoing edge from the node corresponding to the current state to the new node, and the current event is set as an event of the generated outgoing edge, and learning to generate an outgoing edge from the new node to a node corresponding to the current state is performed.
제2항에 있어서,
상기 상태 기반 모델을 학습시키는 과정은,
상기 현재 상태에 대응하는 노드에서 상기 전이 상태에 대응하는 노드로 향하는 진출간선(outgoing edge)을 생성하고, 상기 현재 이벤트를 상기 진출간선에 대응하는 이벤트로 설정하도록 학습시키는 것을 특징으로 하는 차량의 상태전이 학습 방법.
3. The method of claim 2,
The process of learning the state-based model is,
An outgoing edge from a node corresponding to the current state to a node corresponding to the transition state is generated, and the current event is taught to be set as an event corresponding to the outgoing edge. transfer learning method.
제8항에 있어서,
상기 진출간선에는 상기 차량 동작이 더 설정되고,
상기 차량 동작은, 상기 모니터링 상태를 기초로 설정되는 것을 특징으로 하는 차량의 상태전이 학습 방법.
9. The method of claim 8,
The vehicle operation is further set in the outgoing trunk line,
The vehicle operation is a state transition learning method of a vehicle, characterized in that set based on the monitoring state.
제9항에 있어서,
상기 차량 동작은, 상기 차량의 동작 방법으로서 상기 현재 상태가 상기 모니터링 상태로 변화하는 데 필요한 동작 방법인 것을 특징으로 하는 차량의 상태전이 학습 방법.
10. The method of claim 9,
The vehicle operation is an operation method of the vehicle, which is an operation method required to change the current state to the monitoring state.
제1항에 있어서,
상기 전이 상태를 결정할 수 없는 경우, 상기 전이 상태는,
상기 차량의 제어권한을 운전자에게 이전하도록 생성된 새로운 상태인 것을 특징으로 하는 차량의 상태전이 학습 방법.
According to claim 1,
If the transition state cannot be determined, the transition state is
State transition learning method of a vehicle, characterized in that the new state is created to transfer the control right of the vehicle to the driver.
제11항에 있어서,
상기 상태 기반 모델을 학습시키는 과정은,
상기 운전자가 수행하는 상기 차량의 차량 동작(vehicle action)을 기초로, 상기 현재 이벤트에 따른 상기 차량 동작을 원인으로, 상기 차량의 현재 상태가 상기 새로운 상태로 전이하였음을 대응하는 노드(node) 및 간선(edge)으로 모델링하도록 학습시키는 것을 특징으로 하는 차량의 상태전이 학습 방법.
12. The method of claim 11,
The process of learning the state-based model is,
a node corresponding to that the current state of the vehicle has transitioned to the new state due to the vehicle operation according to the current event based on the vehicle action of the vehicle performed by the driver; and A state transition learning method of a vehicle, characterized in that it is taught to model as an edge.
제1항 내지 제12항 중 어느 한 항에 따른 차량의 상태전이 학습 방법이 포함하는 각 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium to execute each process included in the method for learning state transition of a vehicle according to any one of claims 1 to 12. 차량 상태(vehicle state)를 상태전이(state transition)시키도록 하기 위하여 차량 상태 기반 모델(vehicle state based model)을 학습시키는 장치에 있어서,
상기 차량의 내부 또는 외부에서 발생하는 이벤트인 현재 이벤트(current event)를 인식하는 이벤트인식부;
상기 차량 상태 기반 모델을 기초로 상기 차량의 현재 상태(current state)로부터 상태전이가 가능한지 여부를 판단하는 전이판단부;
상기 차량의 시스템을 모니터링한 결과인 모니터링 상태(monitoring state)에 있어, 상태전이가 가능하지 않는 경우 상기 모니터링 상태를 기초로 상기 차량의 전이 상태(transition state)를 결정하는 전이상태생성부; 및
상기 현재 이벤트, 상기 현재 상태 및 상기 전이 상태를 기초로 상기 차량 상태 기반 모델이 새로운 상태전이를 반영하도록 상기 차량 상태 기반 모델을 학습시키는 학습부
를 포함하는 것을 특징으로 하는 차량의 상태전이 학습장치.
In an apparatus for learning a vehicle state based model in order to make a state transition of a vehicle state,
an event recognition unit for recognizing a current event that is an event occurring inside or outside the vehicle;
a transition determination unit that determines whether a state transition is possible from a current state of the vehicle based on the vehicle state-based model;
a transition state generator configured to determine a transition state of the vehicle based on the monitoring state when a state transition is not possible in a monitoring state as a result of monitoring the system of the vehicle; and
A learning unit for learning the vehicle state-based model so that the vehicle state-based model reflects a new state transition based on the current event, the current state, and the transition state
State transition learning apparatus of a vehicle, characterized in that it comprises a.
제14항에 있어서,
상기 학습부는,
상기 현재 이벤트에 따른 상기 차량의 차량 동작(vehicle action)을 원인으로, 상기 현재 상태가 상기 전이 상태로 상태전이하였음을, 대응하는 노드(node) 및 간선(edge)을 이용하여 모델링하도록 학습시키는 것 특징으로 하는 상태전이 학습장치.
15. The method of claim 14,
The learning unit,
Learning that the current state has transitioned to the transition state due to the vehicle action of the vehicle according to the current event is modeled using corresponding nodes and edges State transition learning device characterized by the.
제14항에 있어서,
상기 차량의 상태가 상기 현재 상태에서 상기 전이 상태로 변화하도록 차량 동작(vehicle action)을 상기 차량에 요청하는 동작구동부를 더 포함하는 것을 특징으로 하는 차량의 상태전이 학습장치.



15. The method of claim 14,
and an operation driver for requesting a vehicle action from the vehicle so that the state of the vehicle changes from the current state to the transition state.



KR1020200131214A 2020-10-12 2020-10-12 Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model KR102498328B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200131214A KR102498328B1 (en) 2020-10-12 2020-10-12 Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131214A KR102498328B1 (en) 2020-10-12 2020-10-12 Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model

Publications (2)

Publication Number Publication Date
KR20220048515A true KR20220048515A (en) 2022-04-20
KR102498328B1 KR102498328B1 (en) 2023-02-09

Family

ID=81403551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131214A KR102498328B1 (en) 2020-10-12 2020-10-12 Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model

Country Status (1)

Country Link
KR (1) KR102498328B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230167192A (en) 2022-05-30 2023-12-08 (주)컨트롤웍스 System for controlling autonomous dirving vehicle by using pedal effort

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256943A (en) * 2009-04-21 2010-11-11 Nec Corp Driver state decision system, decision method and deciding program
JP2017154725A (en) * 2015-04-21 2017-09-07 パナソニックIpマネジメント株式会社 Information processing system, information processing method, and program
KR20190045511A (en) 2017-10-24 2019-05-03 엔에이치엔 주식회사 System and method for avoiding accidents during autonomous driving based on vehicle learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256943A (en) * 2009-04-21 2010-11-11 Nec Corp Driver state decision system, decision method and deciding program
JP2017154725A (en) * 2015-04-21 2017-09-07 パナソニックIpマネジメント株式会社 Information processing system, information processing method, and program
KR20190045511A (en) 2017-10-24 2019-05-03 엔에이치엔 주식회사 System and method for avoiding accidents during autonomous driving based on vehicle learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"상태기반 유지보수기법을 적용한 차량고장 진단 및 예측 시스템 연구", 한국ITS학회논문지 vol.18 No.4(pp. 80-95), 2019.08 *
"자율주행 시스템 연동을 위한 운전자 상태 인식 기술", 대한전자공학회 하계학술대회 제37권 1호(pp. 1791-1793), 2014.06. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230167192A (en) 2022-05-30 2023-12-08 (주)컨트롤웍스 System for controlling autonomous dirving vehicle by using pedal effort

Also Published As

Publication number Publication date
KR102498328B1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
JP2022507995A (en) Obstacle avoidance methods and equipment for unmanned vehicles
US11375034B2 (en) Transmitting remotely valued data in an autonomous vehicle
JP2019043495A (en) Device, system and method for adjusting automatic operation
US11654899B2 (en) Method and apparatus for avoidance control of vehicle, electronic device and storage medium
US11107228B1 (en) Realistic image perspective transformation using neural networks
US20170200325A1 (en) Diagnostic test performance control system and method
US20210042627A1 (en) Method for recognizing an adversarial disturbance in input data of a neural network
US11904853B2 (en) Apparatus for preventing vehicle collision and method thereof
KR20210068335A (en) Simulation vehicle control method, device, electronic device and computer-readable storage medium
US20210192347A1 (en) Method for Determining Continuous Information on an Expected Trajectory of an Object
CN113298250A (en) Neural network for localization and object detection
KR20220048515A (en) Method And Apparatus for Vehicle State Transition Learning Based on Vehicle State Based Model
US11657635B2 (en) Measuring confidence in deep neural networks
CN116018292A (en) System and method for object detection in an autonomous vehicle
JP2023539643A (en) Identification of critical scenarios for vehicle confirmation and validation
Thomaidis et al. Multi‐sensor tracking and lane estimation in highly automated vehicles
CN116168209A (en) Frequency-based feature constraints for neural networks
US20220188621A1 (en) Generative domain adaptation in a neural network
CN114771533A (en) Control method, device, equipment, vehicle and medium for automatic driving vehicle
Lee et al. Sensor fusion for vehicle tracking based on the estimated probability
US20210303926A1 (en) Domain translation network for performing image translation
CN114758313A (en) Real-time neural network retraining
CN111060906A (en) Sensing data processing method and device, vehicle-mounted equipment and storage medium
US20220097695A1 (en) Blockchain system to aid vehicle actions
US11462020B2 (en) Temporal CNN rear impact alert system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant