KR102196027B1

KR102196027B1 - Lstm 기반 조향 행동 모니터링 장치 및 그 방법

Info

Publication number: KR102196027B1
Application number: KR1020180164893A
Authority: KR
Inventors: 정정주; 최우영; 양진호
Original assignee: 한양대학교 산학협력단
Priority date: 2018-12-19
Filing date: 2018-12-19
Publication date: 2020-12-29
Also published as: KR20200076129A

Abstract

LSTM 기반 조향 행동 모니터링 장치 및 그 방법이 개시된다. LSTM 기반 조향 행동 모니터링 장치는, 차량 주행 환경에 관련된 데이터 셋(data set)을 획득하는 정보 획득부; 상기 데이터 셋을 LSTM(long short term memory) 기반 조향 행동 예측 모델에 입력한 후 상기 데이터 셋에 상응하는 조향각을 매핑하여 상기 조향 행동 예측 모델을 학습하는 학습부; T 시점의 데이터 셋을 상기 학습된 조향 행동 예측 모델에 입력하여 상기 T 시점 이전의 장기 상태 벡터 및 단기 상태 벡터를 참조하여 (T+1) 시점의 조향각을 예측하는 예측부; 및 상기 예측된 조향각과 차량 조작에 의해 획득되는 실제 조향각을 비교하여 조향 행동을 모니터링하는 모니터링부를 포함한다.

Description

LSTM 기반 조향 행동 모니터링 장치 및 그 방법{LSTM-based steering behavior monitoring device and its method}

본 발명은 LSTM 기반 조향 행동 모니터링 장치 및 그 방법에 관한 것이다.

통계적으로 교통사고 원인의 90% 이상은 운전자의 부주의이다. 운전보조자가 동승한 경우, 운전자의 졸음, 전방 주시 태만 등의 부주의가 발생하더라도 교통사고로 직결되지 않을 수 있다. 그러나 단독 운전 중에는 운전자 자신의 부주의한 행동에 대한 인지가 불가능하기 때문에 다양한 운전자 행동 모니터링 시스템(driver behavior monitoring system)에 대한 연구가 진행되고 있다.

실제로 다양한 센서를 이용하여 데이터를 방대하게 취득하고 순환 인공신경망(recurrent neural network)을 이용하면 운전자의 다양한 의도를 예측할 수 있다. 하지만 비전 센서(vision sensor)를 이용하여 운전자의 안면 부위(facial region) 또는 수부(hands)를 촬영하는 방식은 운전자를 관찰하고 행동을 예측하는데 효과적일 수 있지만 기준이 모호하며 실시간으로 분석하기에 데이터의 양이 방대하다.

본 발명은 LSTM(Long Short Term Memory, 이하 LSTM이라 칭하기로 함) 기반 조향 행동 모니터링 장치 및 그 방법을 제공하기 위한 것이다.

또한, 본 발명은 기존 운전자 모니터링 시스템과 비교하여 제한 상황과 감지 공백 시간이 거의 없어 운전자의 조향 거동으로부터 행동을 예측하여 관찰할 수 있는 LSTM 기반 조향 행동 모니터링 장치 및 그 방법을 제공하기 위한 것이다.

또한, 본 발명은 인공지능 기반으로 차선 이탈 상황을 예측하여 사고를 효과적으로 방지하도록 할 수 있는 LSTM 기반 조향 행동 모니터링 장치 및 그 방법을 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, LSTM 기반 조향 행동 모니터링 장치가 제공된다.

본 발명의 일 실시예에 따르면, 차량 주행 환경에 관련된 데이터 셋(data set)을 획득하는 정보 획득부; 상기 데이터 셋을 LSTM(long Short term memory) 기반 조향 행동 예측 모델에 입력한 후 상기 데이터 셋에 상응하는 조향각을 매핑하여 상기 조향 행동 예측 모델을 학습하는 학습부; T 시점의 데이터 셋을 상기 학습된 조향 행동 예측 모델에 입력하여 상기 T 시점 이전의 장기 상태 벡터 및 단기 상태 벡터를 참조하여 (T+1) 시점의 조향각을 예측하는 예측부; 및 상기 예측된 조향각과 차량 조작에 의해 획득되는 실제 조향각을 비교하여 조향 행동을 모니터링하는 모니터링부를 포함하는 조향 행동 모니터링 장치가 제공될 수 있다.

상기 조향 행동 예측 모델은, 시계열로 데이터 셋을 입력받는 입력층(input layer); 이전 시점의 장기 상태 벡터 및 단기 상태 벡터를 고려하여 상기 데이터 셋을 기반으로 조향각을 예측하는 은닉층(hidden layer); 및 상기 예측된 조향각을 출력하는 출력층(output layer)를 포함하되, 상기 은닉층은 멀티 레이어로 구성되되, 상기 멀티 레이어를 구성하는 각 레이어는 LSTM으로 연결될 수 있다.

상기 은닉층은 시계열 순서에 따른 데이터 셋을 고려할 수 있도록 각 단계가 LSTM으로 연결될 수 있다.

상기 LSTM은, 데이터 셋과 이전 시점의 단기 상태 벡터(short term state)를 입력받는 4개의 완전 연결층(fully-connected layer); 상기 데이터 셋과 상기 이전 시점의 단기 상태 벡터를 이용하여 이전 시점의 장기 상태 벡터의 적어도 일부의 삭제 여부를 결정하는 삭제 게이트; 상기 데이터 셋과 상기 이전 시점의 상태 벡터를 이용하여 쌍곡선 탄젠트 활성화 함수 연산을 통해 계산된 후보 은닉 상태의 출력 상태를 결정하는 입력 게이트; 상기 후보 은닉 상태의 출력 상태와 상기 삭제 게이트에 의해 출력된 상기 이전 시점의 장기 상태 벡터를 이용하여 현재 시점의 장기 상태 벡터를 결정하여 저장하는 장기 상태 저장부; 및 상기 데이터 셋과 상기 이전 시점의 단기 상태 벡터를 이용하여 상기 현재 시점의 장기 상태 벡터의 출력 상태를 최종 결정하는 출력 게이트를 포함할 수 있다.

상기 데이터 셋은 좌우차선의 클로소이드(clothoid) 곡선 계수 평균값, 종횡방향 속도 및 요 각속도(yaw rate)를 포함하되, 상기 학습부는 상기 조향 행동 예측 모델에 상기 데이터 셋을 입력하여 예측된 조향각이 실제 조향각에 수렴하도록 상기 조향 행동 예측 모델을 학습할 수 있다.

상기 모니터링부는, 상기 조향 행동의 모니터링 결과 운전자의 잘못된 조향 행동 검출시 경고 메시지를 출력할 수 있다.

본 발명의 다른 측면에 따르면, LSTM 기반 조향 행동 모니터링 방법이 제공된다.

본 발명의 일 실시예에 따르면, 차량 주행 환경에 관련된 데이터 셋(data set)을 획득하는 단계; 상기 데이터 셋을 LSTM(long short term memory) 기반 조향 행동 예측 모델에 입력한 후 상기 데이터 셋에 상응하는 조향각을 매핑하여 상기 조향 행동 예측 모델을 학습하는 단계; T 시점의 데이터 셋을 상기 학습된 조향 행동 예측 모델에 입력하여 상기 T 시점 이전의 장기 상태 벡터 및 단기 상태 벡터를 참조하여 (T+1) 시점의 조향각을 예측하는 단계; 및 상기 예측된 조향각과 차량 조작에 의해 획득되는 실제 조향각을 비교하여 조향 행동을 모니터링하는 단계를 포함하는 조향 행동 모니터링 방법이 제공될 수 있다.

본 발명의 일 실시예에 따른 LSTM 기반 조향 행동 모니터링 장치 및 그 방법을 제공함으로써, 기존 운전자 모니터링 시스템과 비교하여 제한 상황과 감지 공백 시간이 거의 없어 운전자의 조향 거동으로부터 행동을 예측하여 관찰할 수 있다.

또한, 본 발명은 인공지능 기반으로 차선 이탈 상황을 예측하여 사고를 효과적으로 방지하도록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 조향 행동 모니터링 장치를 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 조향 행동 예측 모델을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 LSTM의 내부 구성을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 조향 행동 모니터링 방법을 나타낸 순서도.
도 5는 본 발명의 일 실시예에 따른 LSTM 기반 조향 행동 예측 모델을 통해 예측된 조항갹과 실제 차량의 조향각을 비교한 도면.
도 6은 실제 차량의 조향각과 본 발명의 일 실시예에 따른 LSTM 기반 조향 행동 예측 모델을 통해 예측된 조향각의 성능 검증 결과를 나타낸 그래프.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 발명은 LSTM를 기초로 차량의 환경 센서를 이용하여 차선 유지를 위한 조향각을 예측하며, 위험 상황에 대해 경보를 주기 위한 조향 행동 모니터링 장치에 관한 것이다. 이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

이해와 설명의 편의를 도모하기 위해, 본 명세서에서 사용되는 각각의 변수에 대해 정의하기로 한다.

는 't' 시점의 장기(long term) 상태 벡터를 나타낸다.

는 't' 시점의 단기(long term) 상태 벡터를 나타낸다.

는 't' 시점의 입력 벡터를 나타내며, 본 발명의 일 실시예에서는 차량 환경 센서를 통해 취득된 데이터일 수 있다.

는 't'시점의 출력 벡터를 나타낸다.

는 활성화 함수(activation function)를 나타낸다.

는 현재 시점의 입력을 위한 RNN 가중치(weight)를 나타내고,

는 현재 시점의 출력을 위한 RNN 가중치를 나타낸다.

또한,

는 각 신경망을 위한 RNN 편향 텀(bias term)을 나타낸다.

는 입력 벡터에 대한

의 가중치를 나타내고,

는 입력 벡터에 대한

의 가중치를 나타내며,

는 입력 벡터에 대한

의 가중치를 나타내고,

는 입력 벡터에 대한

의 가중치를 나타낸다.

또한,

는 이전 단기 상태에 대한

의 LSTM 가중치를 나타내고,

는 이전 단기 상태에 대한

의 LSTM 가중치를 나타내며,

는 이전 단기 상태에 대한

의 가중치를 나타내며,

는 이전 단기 상태에 대한

의 가중치를 나타낸다.

또한,

는

레이어의 LSTM 편향(bias)을 나타내며,

는

레이어의 LSTM 편향을 나타내고,

는

레이어의 LSTM 편향을 나타내며,

는

레이어의 LSTM 편향을 나타낸다.

는 't' 시점의 차선 중앙으로부터의 측 방향 위치 오프셋(lateral offset)을 나타내며,

는 't' 시점의 헤딩 각도 오프셋(heading angle offset)을 나타내며,

는 't'시점의 곡률(curvature)/2를 나타내며,

는 't' 시점의 곡률 변화량/6을 나타내며,

는 't' 시점에서 종 방향 속도(longitudinal velocity)를 나타내며,

는 't' 시점에서 횡방향 속도(lateral velocity)를 나타낸다.

또한,

는 't'시점에서 원하는 조향각(steering angle)을 나타내고,

는 '(t+1) 시점에서 원하는 조향각을 나타내며,

는 '(t+1)' 시점에서 운전자의 조향각을 나타낸다.

도 1은 본 발명의 일 실시예에 따른 조향 행동 모니터링 장치를 개략적으로 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 조향 행동 예측 모델을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 LSTM의 내부 구성을 예시한 도면이다.

본 발명의 일 실시예에 따른 조향 행동 모니터링 장치(100)는 차량에 장착된 다양한 환경 센서와 전자 제어 장치(ECU: Electronic Control Unit)가 연동되어 주행시 다양한 환경 정보를 획득하여 조향각을 예측할 수 있다. 조향 행동 모니터링 장치(100)는 예측된 조향각과 실제 운전자의 조향각을 비교하여 운전자의 조향 행동을 모니터링할 수 있다.

도 1을 참조하여 보다 상세히 설명하기로 한다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 조향 행동 모니터링 장치(100)는 정보 획득부(110), 학습부(115), 모니터링부(120), 메모리(125) 및 프로세서(130)를 포함하여 구성된다.

정보 획득부(110)는 차량 주행 환경에 관련된 데이터 셋을 획득하기 위한 수단이다. 예를 들어, 정보 획득부(110)는 다양한 환경 센서와 차량의 ECU를 통해 차량 주행 환경에 관련된 데이터 셋을 획득할 수 있다.

여기서, 데이터 셋은 좌우차선의 클로소이드(clothid) 곡선 계수 평균값(C₀ ~ C₃), 종횡방향 속도 및 요 각속도(yaw rate)를 포함할 수 있다. 물론, 정보 획득부(110)는 조향각 데이터를 더 획득할 수도 있다.

조향각 데이터는 조향 행동 예측 모델의 학습을 위해 이용될 수 있다.

본 발명의 일 실시예에 따르면, 데이터 셋은 8차원으로 구성될 수 있으며, 각각 30,867개의 열로 구성될 수 있다. 이로 인해, 시계열적으로 구성된 데이터 셋을 이용하여 조향 행동 예측 모델을 학습할 수 있다. 이는 조향 행동 예측 모델의 학습을 위한 데이터 셋으로, 실제 학습된 조향 행동 예측 모델을 이용하여 조향각을 예측하는 경우, 도로 주행에 따라 시계열적으로 각각 데이터 셋을 획득한 후 시계열적으로 획득되는 데이터 셋을 이용하여 이전 시점의 장단기 상태를 이용하여 조향각을 예측할 수 있다. 이에 대해서는 하기의 설명에 의해 보다 명확하게 이해될 것이다.

학습부(115)는 데이터 셋을 LSTM(long short term memory) 기반의 조향 행동 예측 모델에 입력한 후 각 데이터 셋에 상응하는 조향각을 예측한 후 실제 조향각과의 차이가 0으로 수렴하도록 조향 행동 예측 모델을 학습한다.

본 발명의 일 실시예에 따른 조향 행동 예측 모델은 시계열적으로 25 단계 단위로 데이터 셋을 입력받을 수 있도록 입력층(210)을 구성하고, 이를 통해 25 단계 단위로 데이터 셋을 입력받은 후 그 다음 시간 단계를 예측해 나갈 수 있다. 또한, 조향 행동 예측 모델은 은닉층(hidden layer)(220)을 포함하되, 은닉층은 시계열적으로 입력되는 데이터 셋을 각각 입력받을 수 있도록 25 단계로 구성될 수 있다.

또한, 은닉층(220)은 LSTM이 10단으로 구성될 수 있다.

즉, 조향 행동 예측 모델은 은닉층(220)의 각각의 층이 시계열적으로 25 단계로 데이터 셋을 입력받을 수 있으며, 각각의 층이 10개 구비되도록 형성될 수 있다.

도 2에는 조향 행동 예측 모델이 예시되어 있다. 이러한 조향 행동 예측 모델은 입력층(input layer), 은닉층(hidden layer) 및 출력층(output layer)를 포함하여 구성된다.

입력층(input layer)(210)는 시계열적으로 획득되는 데이터 셋을 입력받아 은닉층(220)으로 출력할 수 있다.

은닉층(hidden layer)(220)은 LSTM이 10단으로 구비되며, 입력 데이터 셋과 이전 상태 정보를 이용하여 조향각을 예측하여 출력하기 위한 수단이다.

은닉층(hidden layer)(220)을 구성하는 각각의 LSTM의 내부 구성 및 동작에 대해 설명하기로 한다.

도 3에는 LSTM의 내부 구성이 도시되어 있다. 이러한 LSTM의 가장 큰 특징은 입력 데이터의 변경 없이 상태 변경이 가능하도록 할 수 있는 구조에 있다. 이하의 설명에 의해 보다 명확하게 이해될 것이다.

도 3을 참조하여 LSTM(300)의 기본 구조인 셀(Cell)의 동작에 대해 상세히 설명하기로 한다.

LSTM(300)은 4개의 완전 연결층(fully-connected Layer)(310)를 가진다. 서로 다른 4개의 완전연결층(310)은 입력 데이터 셋(편의상 현재 입력 벡터(

)라 칭하기로 함)와 이전 단기 상태 벡터(

)를 학습한다.

시그모이드 층(sigmoid layer)는 0과 1 사이의 숫자를 출력할 수 있다. 시그모이드 층(315)에 의해 출력된 값은 각 컴포넌트가 얼마나 정보를 전달해야 하는지에 대한 척도를 나타낸다. 즉, 시그모이드 층(315)에 의해 출력된 값이 "0"이라면 "아무 정보도 넘기지 말라"는 의미가 되며, 시그모이드 층(315)에 의해 출력된 값이 "1"이라면, "모든 것을 넘기라"는 의미가 된다.

삭제 게이트(320)는 이전 단기 상태 벡터(

)의 일부를 삭제하고, 입력 게이트를 통과해 지나온 다른 정보를 더하여 출력할 수 있다.

삭제 게이트(320)의 동작은 수학식 1에 의해 결정될 수 있다.

여기서,

는 입력 벡터에 대한

의 가중치를 나타내고,

는

레이어의 LSTM 편향(bias)을 나타낸다.

삭제 게이트(320)는 수학식 1에 의해 동작되어 이전 시점의 장기 상태 벡터(long term state vector)의 일부를 삭제할 수 있다. 결과적으로,

는 삭제 게이트(320)를 통과하며 일부 정보가 삭제되며, 입력 게이트(325)를 통과해 지나온 다른 정보와 합산되어 현재 시점의 장기 상태 벡터(

)가 장기 상태 저장부(340)에 저장될 수 있다.

따라서, 현재 시점의 장기 상태 벡터(

)는 수학식 2와 같이 계산될 수 있다.

또한, 쌍곡선 탄젠트 활성화 함수층(hyperbolic tangent activation function layer)(335)는 입력 벡터(

)와 이전 단기 상태 벡터(

)를 이용하여 후보 은닉 상태(candidate hidden state)(

)를 계산한다. 후보 은닉 상태는 수학식 3과 같이 계산될 수 있다.

여기서,

는 T시점에서 입력 벡터(

)에 대한

의 가중치를 나타내고,

는 T시점에서 이전 단기 상태 벡터(

)에 대한

의 가중치를 나타내며,

는 각 신경망을 위한 RNN 편향 텀(bias term)을 나타낸다.

이러한,

는 입력 게이트(325)를 통과하여 연산 과정을 통해 일부만 장기 상태(long term state)에 부분적으로 저장된다.

입력 게이트(325)는 입력 게이트 제어 벡터(

)에 따라

의 일부를 장기 상태에 더하는 연산을 담당한다.

는 수학식 4와 같이 계산될 수 있다.

여기서,

는 T시점에서 입력 벡터에 대한

의 가중치를 나타내며,

는 T 시점에서 이전 단기 상태에 대한

의 LSTM 가중치를 나타내고,

는 각 신경망을 위한 RNN 편향 텀(bias term)을 나타낸다.

또한, 출력 게이트(330)는 셀 상태를 기초로 필터링된 결과값을 출력할 수 있다. 이를 위해 출력 게이트(330)는 입력 벡터(

)와 이전 단기 상태 벡터(

)를 이용하여 출력 게이트 제어 벡터(

)를 계산한다.

출력 게이트(330)는 출력 게이트 제어 벡터(

)에 따라 셀 상태를 제어하여 출력할 수 있다.

출력 게이트 제어 벡터(

)는 수학식 5와 같이 계산될 수 있다.

여기서,

는 입력 벡터(

)에 대한

의 가중치를 나타내고,

는 이전 단기 상태 벡터(

)에 대한

의 가중치를 나타내며,

는 각 신경망을 위한 RNN 편향 텀(bias term)을 나타낸다.

출력 게이트 제어 벡터(

)는 0과 1 사이의 값으로 출력될 수 있다.

출력 게이트(330)는 출력 게이트 제어 벡터에 따라 셀 상태(장기 상태 벡터)를 제어하여 출력할 수 있다. 출력 게이트(330)는 출력 게이트 제어 벡터에 따라 현재 시점의 장기 상태 벡터(

)를 쌍곡선 탄젠트 활성화 함수층을 통과한 결과값과 연산하여 현재 시점의 단기 상태 벡터(

) 및 출력값(

)을 출력할 수 있다. 여기서, 현재 시점의 단기 상태 벡터(

)와 출력값(

)은 동일하며, 이를 수학식으로 나타내면 수학식 6과 같이 나타낼 수 있다.

이와 같이, LSTM은 장기 상태 벡터와 단기 상태 벡터를 이용하여 긴 시계열 순서 데이터(데이터 셋)를 처리하여 조향각 예측이 가능하도록 할 수 있다.

도 3을 참조하여 각각의 LSTM의 내부 구성 및 동작에 대해 설명하였다.

다시, 도 2를 참조하면, 출력 층(230)은 LSTM의 장기 및 단기 상태 벡터를 이용하여 입력 벡터의 선별을 통해 예측된 조향각을 출력할 수 있다.

이와 같이, 학습부(115)는 데이터 셋을 구성한 후 데이터 셋을 조향 행동 예측 모델에 입력한 후 해당 데이터 셋에 상응하는 조향각과 매핑을 통해 LSTM을 학습할 수 있다.

모니터링부(120)는 학습된 조향 행동 예측 모델에 데이터 셋을 적용하여 조향각을 예측하고, 예측된 조향각과 실제 운전자가 조작한 조향각을 비교하여 조향 행동을 모니터링한다.

이때, 모니터링부(120)는 조향 행동 모니터링 결과 운전자에 이상 행동이 모니터링되는 경우 경고를 출력하도록 할 수 있다.

메모리(125)는 본 발명의 일 실시예에 따른 LSTM(long short term memory)를 기초로 차량의 환경 센서를 이용하여 차선 유지를 위한 조향각을 예측하며, 위험 상황에 대해 경보를 주기 위한 조향 행동 모니터링 방법을 위한 명령어(프로그램 코드), 이 과정에서 파생되는 다양한 데이터 등을 저장한다.

프로세서(130)는 본 발명의 일 실시예에 따른 조향 행동 모니터링 장치(100)의 내부 구성 요소들(예를 들어, 정보 획득부(110), 학습부(115), 모니터링부(120), 메모리(125) 등)을 제어하기 위한 수단이다.

도 4는 본 발명의 일 실시예에 따른 조향 행동 모니터링 방법을 나타낸 순서도이다.

단계 410에서 조향 행동 모니터링 장치(100)는 차량 주행 환경 관련 데이터 셋을 획득한다.

여기서, 데이터 셋은 좌우차선의 클로소이드(clothoid) 곡선 계수 평균값, 종횡방향 속도 및 요 각속도(yaw rate)을 포함한다.

단계 415에서 조향 행동 모니터링 장치(100)는 데이터 셋을 LSTM(long short term memory) 기반 조향 행동 예측 모델에 입력한 후 데이터 셋에 대응하여 예측된 조향각이 실제 조향각으로 수렴하도록 조향 행동 예측 모델을 학습한다.

학습 단계에서 데이터 셋은 조향각을 포함할 수 있다. 후술하는 학습된 조향 행동 예측 모델을 통해 조향각을 예측시, 데이터 셋은 조향각을 포함하지 않을 수 잇다.

LSTM 기반 조향 행동 예측 모델의 세부 구조는 도 2 및 도 3에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

단계 420에서 조향 행동 모니터링 장치(100)는 T 시점의 데이터 셋을 학습된 조향 행동 예측 모델에 입력한 후 T 시점 이전의 장기 상태 벡터 및 단기 상태 벡터를 참조하여 (T+1) 시점의 조향각을 예측한다.

단계 425에서 조향 행동 모니터링 장치(100)는 예측된 조향각과 차량 조작에 의해 획득되는 실제 조향각을 비교하여 조향 행동을 모니터링한다.

모니터링 결과 운전자의 잘못된 조향 행동 검출시, 조향 행동 모니터링 장치(100)는 지속적인 보조(예를 들어, 경고 메시지)를 통해 운전자가 인지할 수 있도록 할 수 있다.

도 5는 본 발명의 일 실시예에 따른 LSTM 기반 조향 행동 예측 모델을 통해 예측된 조항갹과 실제 차량의 조향각을 나타낸다. 도 6은 실제 차량의 조향각과 본 발명의 일 실시예에 따른 LSTM 기반 조향 행동 예측 모델을 통해 예측된 조향각의 성능 검증 결과를 나타낸 그래프이다. 성능 검증 결과 학습 정확도와 검증 정확도는 각각 97.74 %, 91.23 %이며 학습을 마친 후에 근평균제곱오차(RMSE: root mean square error)는 도 6에서 0.013임을 알 수 있다.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 조향 행동 모니터링 장치
110: 정보 획득부
115: 학습부
120: 모니터링부
125: 메모리
130: 프로세서

Claims

차량 주행 환경에 관련된 데이터 셋(data set)을 획득하는 정보 획득부-상기 데이터 셋은 좌우차선의 클로소이드(clothoid) 곡선 계수 평균값, 종횡방향 속도 및 요 각속도(yaw rate)를 포함함;
상기 데이터 셋을 LSTM(long short term memory) 기반 조향 행동 예측 모델에 입력한 후 상기 데이터 셋에 상응하는 조향각을 매핑하여 상기 조향 행동 예측 모델을 학습하는 학습부-상기 조향 행동 예측 모델은 상기 데이터 셋을 기반으로 예측된 조향각이 실제 조향각에 수렴하도록 학습됨;
T 시점의 데이터 셋을 상기 학습된 조향 행동 예측 모델에 입력하여 상기 T 시점 이전의 장기 상태 벡터 및 단기 상태 벡터를 참조하여 차선 유지를 위한 (T+1) 시점의 조향각을 예측하는 예측부; 및
상기 예측된 조향각과 차량 조작에 의해 획득되는 실제 조향각을 비교하여 조향 행동을 모니터링한 후 조향 행동 이상 검출시 경고 메시지를 출력하는 모니터링부를 포함하는 조향 행동 모니터링 장치.
제1 항에 있어서,
상기 조향 행동 예측 모델은,
시계열로 데이터 셋을 입력받는 입력층(input layer);
이전 시점의 장기 상태 벡터 및 단기 상태 벡터를 고려하여 상기 데이터 셋을 기반으로 조향각을 예측하는 은닉층(hidden layer); 및
상기 예측된 조향각을 출력하는 출력층(output layer)을 포함하되,
상기 은닉층은 멀티 레이어로 구성되되, 상기 멀티 레이어를 구성하는 각 레이어는 LSTM으로 연결되는 것을 특징으로 하는 조향 행동 모니터링 장치.
제2 항에 있어서,
상기 은닉층은 시계열 순서에 따른 데이터 셋을 고려할 수 있도록 각 단계가 LSTM으로 연결되는 것을 특징으로 하는 조향 행동 모니터링 장치.
제1 항에 있어서,
상기 LSTM은,
데이터 셋과 이전 시점의 단기 상태 벡터(short term state)를 입력받는 4개의 완전 연결층(fully-connected layer);
상기 데이터 셋과 상기 이전 시점의 단기 상태 벡터를 이용하여 이전 시점의 장기 상태 벡터의 적어도 일부의 삭제 여부를 결정하는 삭제 게이트;
상기 데이터 셋과 상기 이전 시점의 상태 벡터를 이용하여 쌍곡선 탄젠트 활성화 함수 연산을 통해 계산된 후보 은닉 상태의 출력 상태를 결정하는 입력 게이트;
상기 후보 은닉 상태의 출력 상태와 상기 삭제 게이트에 의해 출력된 상기 이전 시점의 장기 상태 벡터를 이용하여 현재 시점의 장기 상태 벡터를 결정하여 저장하는 장기 상태 저장부; 및
상기 데이터 셋과 상기 이전 시점의 단기 상태 벡터를 이용하여 상기 현재 시점의 장기 상태 벡터의 출력 상태를 최종 결정하는 출력 게이트를 포함하는 것을 특징으로 하는 조향 행동 모니터링 장치.
삭제
삭제
차량 주행 환경에 관련된 데이터 셋(data set)을 획득하는 단계-상기 데이터 셋은 좌우차선의 클로소이드(clothoid) 곡선 계수 평균값, 종횡방향 속도 및 요 각속도(yaw rate)를 포함함;
상기 데이터 셋을 LSTM(long short term memory) 기반 조향 행동 예측 모델에 입력한 후 상기 데이터 셋에 상응하는 조향각을 매핑하여 상기 조향 행동 예측 모델을 학습하는 단계-상기 조향 행동 예측 모델은 상기 데이터 셋을 기반으로 예측된 조향각이 실제 조향각에 수렴하도록 학습됨;
T 시점의 데이터 셋을 상기 학습된 조향 행동 예측 모델에 입력하여 상기 T 시점 이전의 장기 상태 벡터 및 단기 상태 벡터를 참조하여 차선 유지를 위한 (T+1) 시점의 조향각을 예측하는 단계;
상기 예측된 조향각과 차량 조작에 의해 획득되는 실제 조향각을 비교하여 조향 행동을 모니터링하는 단계; 및
상기 모니터링 결과 운전자의 잘못된 조향 행동이 검출되면 경고 메시지를 출력하는 단계를 포함하는 조향 행동 모니터링 방법.
삭제
삭제
제7 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.