KR20210076223A

KR20210076223A - 하이브리드 차량 및 그 제어 방법

Info

Publication number: KR20210076223A
Application number: KR1020190166232A
Authority: KR
Inventors: 이희윤
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2019-12-13
Filing date: 2019-12-13
Publication date: 2021-06-24
Also published as: EP3835155A1; CN112977402A; EP3835155B1; US20210179062A1

Abstract

본 발명은 하이브리드 차량 및 그 제어 방법에 관한 것으로, 차량 상태 정보에 기초하여 머신 러닝(Machine Learning) 분야 가운데 강화 학습(Reinforcement Learning)의 Q-러닝 기법(Q-Learning)을 이용하여 학습을 통해 최적의 차량 제어 값을 생성하는데 그 목적이 있다. 이를 위해 본 발명에 따른 하이브리드 차량의 제어 방법은, 배터리 SOC 정보와 엔진 온/오프 정보, 요구 파워, 차량 속도 정보, 연료 소모량 정보를 포함하는 차량 상태 정보를 획득하는 단계와; 상기 차량 상태 정보를 이용하여 차량 모델 정보 맵을 작성하는 단계와; 상기 차량 모델 정보 맵에 기초하여 Q 밸류 테이블을 작성하는 단계와; 상기 Q 밸류 테이블에 기초하여 강화 학습을 통해 엔진과 모터의 동력 분배 제어 값을 연산하는 단계를 포함한다.

Description

하이브리드 차량 및 그 제어 방법{HYBRID VEHICLE AND METHOD OF CONTROLLING THE SAME}

본 발명은 차량에 관한 것으로, 특히 엔진과 모터를 탑재한 하이브리드 차량에 관한 것이다.

하이브리드 차량은 2개 이상의 서로 다른 종류의 동력원을 사용한다. 예를 들면, 화석 연료를 사용하는 엔진과 전기 에너지를 사용하는 모터가 탑재되는 차량이 대표적인 하이브리드 차량이다. 하이브리드 차량에서는, 연비 향상을 위해 하이브리드 차량의 구동에 필요한 엔진과 모터의 동력을 하이브리드 차량의 주행 상황에 따라 적절히 배분하는 동력 분배 제어 기술이 매우 중요하다.

양산형 하이브리드 차량의 동력 분배 제어 기술은 주로 규칙 기반 제어 전략(Rule-based Control Strategy)이 이용되고 있다. 규칙 기반 제어 전략은, 일정한 규칙에 따라 엔진을 온/오프 제어하고 엔진과 모터 각각의 작동 시점을 결정함으로써, 동력원을 고효율 영역에서 사용하고 회생 제동으로 인한 에너지 회수를 최대화하며, 배터리의 충전 정도를 차량의 주행 상황에 맞게 제어함으로써 차량의 연비를 향상시킨다.

양산형 하이브리드 차량에 주로 이용되는 규칙 기반 제어 전략 외에, 최적화 이론을 바탕으로 하는 최적 기반 제어 전략(Optimization-based Control Strategy)도 널리 연구되고 있으며, 동적 계획법(Dynamic Programming Principle), 등가 연료 소모량 최소화 전략(Equivalent Consumption Minimization Strategy)과 같은 최적화 기반 제어 전략들이 양산형 하이브리드 차량의 규칙 기반 제어 전략의 규칙을 정하고 수립하는 데에 직간접적으로 사용되고 있다.

그러나, 기존의 규칙 기반 제어 기술은, 어떤 사안 또는 상황에 대해 엄밀한 분석에 의하기보다 제한된 정보만으로 즉흥적/직관적으로 판단/선택하는 의사 결정 방식인 휴리스틱(Heuristics)에 기반하여 구성되기 때문에, 하이브리드 차량의 파워트레인의 구조 및 주행 환경에 따른 최적화가 더 필요하다. 또한, 기존의 최적화 기반 제어 기술은 연산 부하가 커서 실시간 제어에 활용하기 어려운 단점이 있다. 또한 기존의 규칙 기반 제어 기술 및 최적화 기반 제어 기술은 하이브리드 차량의 노후화 및 환경 변화를 반영하여 가변적인 제어 로직을 운용하는 데에 한계가 있다.

본 발명의 일 측면에 따르면, 차량 상태 정보에 기초하여 머신 러닝(Machine Learning) 분야 가운데 강화 학습(Reinforcement Learning)의 Q-러닝 기법(Q-Learning)을 이용하여 학습을 통해 최적의 차량 제어 값을 생성하는데 그 목적이 있다.

상술한 목적의 본 발명에 따른 하이브리드 차량의 제어 방법은, 배터리 SOC 정보와 엔진 온/오프 정보, 요구 파워, 차량 속도 정보, 연료 소모량 정보를 포함하는 차량 상태 정보를 획득하는 단계와; 상기 차량 상태 정보를 이용하여 차량 모델 정보 맵을 작성하는 단계와; 상기 차량 모델 정보 맵에 기초하여 Q 밸류 테이블을 작성하는 단계와; 상기 Q 밸류 테이블에 기초하여 강화 학습을 통해 엔진과 모터의 동력 분배 제어 값을 연산하는 단계를 포함한다.

상술한 하이브리드 차량의 제어 방법에서, 상기 Q 밸류 테이블에 기초한 강화 학습은, 연속된 두 주기에서 발생하는 상기 차량 상태 정보를 각각 스테이트 값과 리워드 값으로 이용하여 상기 동력 분배 제어 값을 연산한다.

상술한 하이브리드 차량의 제어 방법은, 상기 차량 상태 정보의 변경 내용을 반영하여 상기 차량 모델 정보 맵을 업데이트하고, 상기 차량 모델 정보 맵의 업데이트 내용을 반영하여 상기 Q 밸류 테이블을 업데이트하며, 업데이트된 상기 Q 밸류 테이블에 기초하여 상기 강화 학습을 수행함으로써, 상기 차량 상태 정보의 변경된 내용이 반영된 상기 동력 분배 제어 값의 연산을 수행한다.

상술한 하이브리드 차량의 제어 방법에서, 동력 분배 제어 값은, 상기 요구 파워를 만족하면서 상기 엔진과 상기 모터의 에너지 소모를 최소화하기 위한 것이다.

상술한 목적의 본 발명에 따른 하는 하이브리드 차량은, 배터리 SOC 정보와 엔진 온/오프 정보, 요구 파워, 차량 속도 정보, 연료 소모량 정보를 포함하는 차량 상태 정보를 획득하도록 마련되는 차량 상태 정보 획득 수단과; 상기 차량 상태 정보를 이용하여 차량 모델 정보 맵을 작성하고, 상기 차량 모델 정보 맵에 기초하여 Q 밸류 테이블을 작성하며, 상기 Q 밸류 테이블에 기초하여 강화 학습을 통해 엔진과 모터의 동력 분배 제어 값을 연산하는 제어부를 포함한다.

상술한 하이브리드 차량에서, 상기 Q 밸류 테이블에 기초한 강화 학습은, 연속된 두 주기에서 발생하는 상기 차량 상태 정보를 각각 스테이트 값과 리워드 값으로 이용하여 상기 동력 분배 제어 값을 연산한다.

상술한 하이브리드 차량에서, 상기 제어부는, 상기 차량 상태 정보의 변경 내용을 반영하여 상기 차량 모델 정보 맵을 업데이트하고, 상기 차량 모델 정보 맵의 업데이트 내용을 반영하여 상기 Q 밸류 테이블을 업데이트하며, 업데이트된 상기 Q 밸류 테이블에 기초하여 상기 강화 학습을 수행함으로써, 상기 차량 상태 정보의 변경된 내용이 반영된 상기 동력 분배 제어 값의 연산을 수행한다.

상술한 하이브리드 차량에서, 동력 분배 제어 값은, 상기 요구 파워를 만족하면서 상기 엔진과 상기 모터의 에너지 소모를 최소화하기 위한 것이다.

상술한 하이브리드 차량에서, 상기 제어부는, 동력 분배 연산부와 Q 밸류 테이블 연산부, 차량 모델 정보 맵, 차량 모델 정보 맵 업데이트부를 포함한다.

상술한 하이브리드 차량에서, 상기 동력 분배 연산부는, 상기 Q 밸류 테이블 연산부의 Q 밸류 테이블을 이용하여 상기 차량 상태 정보에 기초하여 상기 엔진과 상기 모터의 상기 동력 분배 제어 값을 연산한다.

상술한 하이브리드 차량에서, 상기 Q 밸류 테이블 연산부는, 미리 정해진 알고리즘에 따라 상기 Q 밸류 테이블의 값들을 업데이트한다.

상술한 하이브리드 차량에서, 상기 차량 모델 정보 맵은, 배터리 SOC 정보 테이블과 엔진 연료 소모량 정보 테이블을 포함한다.

상술한 하이브리드 차량에서, 상기 배터리 SOC 정보 테이블은, 상기 배터리 SOC 정보와 상기 요구 파워, 상기 차량 속도에 따른 배터리 SOC 출력의 관계 데이터를 저장한다.

상술한 하이브리드 차량에서, 상기 엔진 연료 소모량 정보 테이블은, 상기 요구 파워와 상기 차량 속도, 상기 엔진 온/오프 정보에 따라 결정되는 엔진 연료 소모량의 관계 데이터를 저장한다.

상술한 하이브리드 차량에서, 상기 차량 모델 정보 맵 업데이트부는, 상기 하이브리드 차량의 변경된 주행 정보 및 변경된 상기 차량 상태 정보를 이용하여 상기 차량 모델 정보 맵의 데이터를 업데이트한다.

본 발명의 일 측면에 따르면, 차량 상태 정보에 기초하여 머신 러닝(Machine Learning) 분야 가운데 강화 학습(Reinforcement Learning)의 Q-러닝 기법(Q-Learning)을 이용하여 학습을 통해 최적의 차량 제어 값을 생성하는 효과를 제공한다.

도 1은 본 발명의 일 실시 예에 따른 하이브리드 차량의 제어 계통을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 하이브리드 차량의 최적 동력 분배 제어 값을 생성하기 위한 개념을 나타낸 도면이다.
도 3A는 본 발명의 실시 예에 따른 제어부의 차량 모델 정보 맵에 저장되는 SOC 정보 테이블의 4차원 룩업 테이블을 나타낸 도면이다.
도 3B는 본 발명의 실시 예에 따른 제어부의 차량 모델 정보 맵에 저장되는 엔진 연료 소모량 정보 테이블의 4차원 룩업 테이블을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 하이브리드 차량의 최적 동력 분배 제어 값을 생성하기 위한 제어 방법을 나타낸 도면이다.

도 1은 본 발명의 일 실시 예에 따른 하이브리드 차량의 제어 계통을 나타낸 도면이다. 도 1에서, 제어부(HCU)(110)는 차량 상태 정보에 기초하여 머신 러닝(Machine Learning) 분야 가운데 강화 학습(Reinforcement Learning)의 Q-러닝 기법(Q-Learning)을 이용하여 학습을 통해 최적의 차량 제어 값을 생성한다.

도 1에 나타낸 바와 같이, 제어부(110)는 배터리 SOC 정보 수신부(132)와 요구 파워 연산부(134), 차량 속도 정보 수신부(136), 엔진 동작 정보 수신부(138), 엔진 연료 소모량 연산부(140)로부터 하이브리드 차량의 상태 정보를 수신한다. 배터리 SOC 정보 수신부(132)와 요구 파워 연산부(134), 차량 속도 정보 수신부(136), 엔진 동작 정보 수신부(138), 엔진 연료 소모량 연산부(140)는 차량 상태 정보 획득 수단일 수 있다.

배터리 SOC 정보 수신부(132)는 배터리를 관리하는 배터리 관리 시스템(BMS)으로부터 배터리의 SOC 정보를 수신하고, 수신한 SOC 정보를 제어부(110)로 전달한다.

요구 파워 연산부(134)는 하이브리드 차량의 가속 페달 센서(APS)의 검출 신호 및 차량 속도 등의 정보에 기초하여 하이브리드 차량의 요구 파워를 연산하고, 연산한 요구 파워의 정보를 제어부(110)로 전달한다. 요구 파워 연산부(134)는, 다음의 <식 1>과 같이, 하이브리드 차량의 주행 상태 정보 및 차량 파라미터를 통해 하이브리드 차량의 요구 파워를 연산한다.

<수식 1>

　: 　차량 요구 파워

: 차량 속도

　　: 　차량 구동 손실 힘

　: 차량 가속 힘

　　: 차량 중량

　: 차량 파워트레인 등가 이너셔 (Equivalent Inertia)

　: 　차량 가속도

, , 　: 　차량 주행 저항 계수

차량 속도 정보 수신부(136)는 하이브리드 차량의 현재 속도의 정보를 수신하고, 수신한 속도 정보를 제어부(110)로 전달한다.

엔진 동작 정보 수신부(138)는 엔진의 실시간 온/오프 상태 정보를 수신하고, 수신한 엔진의 온/오프 상태 정보를 제어부(110)로 전달한다.

엔진 연료 소모량 연산부(140)는 엔진 on시 엔진의 시간당 연료 소모량을 연산하고, 연산한 연료 소모량의 정보를 제어부(110)로 전달한다.

제어부(110)는 최적 동력 분배 연산부(172)와 Q 밸류 테이블 연산부(174), 차량 모델 정보 맵(176), 차량 모델 정보 맵 업데이트부(178)를 포함한다. 이 가운데 차량 모델 정보 맵(176)은 배터리 SOC 정보 테이블(180)과 엔진 연료 소모량 정보 테이블(182)을 포함한다. 제어부(110)는 이와 같은 장치 구성(또는 로직)을 기반으로 Q-러닝 기법(Q-Learning)을 이용한 학습을 통해 최적의 동력 분배 제어 값(u_k)을 생성한다. 생성된 최적 동력 분배 제어 값(u_k)은 엔진과 모터를 제어하는 하위 제어 계통으로 전달된다.

최적 동력 분배 연산부(172)는 Q 밸류 테이블 연산부(174)의 Q 밸류 테이블을 이용하여 하이브리드 차량 상태 정보(배터리 SOC 정보, 요구 파워, 차량 속도, 엔진 온/오프 상태 정보)에 기초하여 엔진과 모터의 최적 동력 분배 제어 값(제어 비)(u_k)를 연산(도출)한다.

Q 밸류 테이블 연산부(174)는 미리 정해진 알고리즘에 따라 Q 밸류 테이블의 값들을 업데이트한다. Q 밸류 테이블의 업데이트는 연속된 두 주기에서의 차량 상태 정보의 변경된 내용이 반영되어 이루어진다.

차량 모델 정보 맵(176)은 배터리 SOC 정보 테이블(180)과 엔진 연료 소모량 정보 테이블(182)을 포함한다. 차량 모델 정보 맵(176)의 배터리 SOC 정보 테이블(180)은 배터리 SOC 정보와 요구 파워, 차량 속도, 제어 입력에 따른 배터리 SOC 출력의 관계 데이터를 저장한다. 차량 모델 정보 맵(176)의 엔진 연료 소모량 정보 테이블(182)은 요구 파워와 차량 속도, 제어 입력, 엔진 온/오프 정보에 따라 결정되는 엔진 연료 소모량의 관계 데이터를 저장한다.

차량 모델 정보 맵 업데이트부(178)는 하이브리드 차량의 주행 정보 및 차량 상태 정보(배터리 SOC 정보, 요구 파워, 차량 속도, 엔진 온/오프 상태 정보, 엔진 연료 소모량)를 이용하여 차량 모델 정보 맵(176)의 데이터를 업데이트한다. 차량 모델 정보 맵 업데이트부(178)의 업데이트는 연속된 두 주기에서의 변경된 주행 정보 및 변경된 차량 상태 정보가 반영되어 이루어진다.

제어부(110)는, Nearest Neighbor 방법을 이용하여 측정 및 연산한 값을 다음의 <수식 2>와 <수식 3>, <수식 4>와 같이 이산화하여 각각 요구 파워와 차량 속도, 배터리 SOC를 이산화하여 사용한다.

<수식 2>

<수식 3>

<수식 4>

도 2는 본 발명의 일 실시 예에 따른 하이브리드 차량의 최적 동력 분배 제어 값을 생성하기 위한 개념을 나타낸 도면이다. 즉, 도 2에는, 본 발명의 실시 예에 따른 하이브리드 차량의 상태 정보에 기초하여 머신 러닝(Machine Learning) 분야 가운데 강화 학습(Reinforcement Learning)의 Q-러닝 기법(Q-Learning)을 이용하여 학습을 통해 최적의 차량 제어 값을 생성하는 개념을 나타내었다.

도 2에 나타낸 바와 같이, 본 발명은 머신 러닝(Machine Learning) 분야 가운데 강화 학습(Reinforcement Learning)의 Q-러닝 기법(Q-Learning)을 바탕으로 개발된 알고리즘을 하이브리드 차량의 동력 분배에 적용함으로써, 학습을 통해 엔진과 모터의 동력 분배 비를 최적화하는 것을 특징으로 한다.

이를 위해 본 발명의 실시 예에 따른 시스템 구성은 크게 Agent와 차량 모델(Vehicle Model), Environment로 구성될 수 있다. Agent는 의사 결정 및 학습을 수행하는 주체로서, 본 발명의 실시 예에 따른 하이브리드 차량에서는 도 1에 나타낸 상위 제어 주체인 제어부(HCU)(110)일 수 있다. Environment는 Agent를 제외한 나머지 모든 구성 요소일 수 있다. 예를 들면 Environment는, 본 발명의 실시 예에 따른 하이브리드 차량에서는 도 1에 나타낸 배터리 SOC 정보 수신부(132)와 요구 파워 연산부(134), 차량 속도 정보 수신부(136), 엔진 동작 정보 수신부(138), 엔진 연료 소모량 연산부(140)를 포함할 수 있다. 또한 Environment는, 도면에는 도시하지 않았으나, 제어부(110)로부터 제어 신호를 받아 하이브리드 차량의 제어를 수행하는 하위 제어 주체 및 이 하위 제어 주체에 의해 제어되는 엔진과 모터를 포함할 수 있다.

Agent는 하이브리드 차량의 현재의 주행 상태 정보 및 상태 변수로부터 Q 밸류 테이블을 이용하여 최적 동력 분배 제어 값(제어 비)()를 도출한다. Q 밸류 테이블은 차량 주행 상황에 따른 각 제어 입력에 대한 가치(Value)를 근사화한 테이블로써, 에이전트는 하이브리드 차량의 주행 상태에 따라 Q 밸류 테이블을 통해 최적의 동력 분배 제어 값(제어 비)()을 도출한다. 또한, Agent는, 동력 분배 제어 값()과 요구 파워 정보를 이용하여 엔진과 모터의 목표 토크 값을 도출한다.

차량 모델(Vehicle Model)은 하이브리드 차량의 상태 정보 모델로서, 선택된 최적 제어 값()에 따라 나타나는 엔진의 연료 소모량 및 모터의 배터리 사용량을 근사화한 테이블이다. 차량 모델은 하이브리드 차량의 주행 환경 및 측정된 값을 이용하여 업데이트됨으로써, 하이브리드 차량의 실제의 파워트레인의 상태를 모델링할 수 있다.

일반적인 Q-러닝(Q-Learning)의 경우, Agent와 Environment의 상호 작용을 통해 Q 밸류 테이블을 업데이트한다. 그러나 본 발명의 실시 예에 따른 하이브리드 차량에서는, 차량 모델(상태 정보 모델)을 이용하여 제어부(110)의 학습 성능 및 실시간 제어 성능을 향상시킨다.

Q 밸류 테이블은 Agent와 차량 모델 사이의 상호 작용을 통해 하이브리드 차량의 주행 속도 프로파일 경향성을 반영하도록 업데이트 된다. Agent는 하이브리드 차량의 실제 주행 상황을 나타내는 상태 변수 정보와 가상의 제어 입력 정보를 차량 모델에 입력하여 얻은 결과를 하이브리드 차량의 다음 상태 변수(₊₁) 및 보상(Reward)(₊₁)을 통해 Q 밸류 테이블을 업데이트한다.

본 발명의 실시 예에 따른 하이브리드 차량에서는, 이와 같은 프로세스를 반복하여 Q 밸류 테이블을 업데이트 함으로써 하이브리드 차량의 주행 환경 및 파워트레인 상태에 최적화된 제어 입력(동력 분배 비())을 도출할 수 있다. Q 밸류 테이블의 업데이트 주기는 실시간으로 또는 미리 설정된 주기마다 수행할 수 있다.

도 3은 본 발명의 실시 예에 따른 제어부(HCU)(110)의 차량 모델 정보 맵(176)에 저장되는 SOC 정보 테이블(180) 및 엔진 연료 소모량 정보 테이블(182) 각각의 4차원 룩업 테이블을 나타낸 도면이다. 도 3A는 SOC 정보 테이블(180)이고, 도 3B는 엔진 연료 소모량 정보 테이블(182)이다.

도 3A에 나타낸 바와 같이, SOC 정보 테이블(180)의 4차원 룩업 테이블은 다음의 <수식 5>와 같이 나타낼 수 있고, 엔진 연료 소모량 정보 테이블(182)의 4차원 룩업 테이블은 다음의 <수식 6>과 같이 나타낼 수 있다.

<수식 5>

　: 　배터리 SOC의 근사 모델

　: (이전 주기에서의) 동력 분배 제어 입력

<수식 6>

　: 엔진 연료 소모량 근사 모델 (approximation model)

　: 엔진 온/오프 상태 정보

제어부(110)에서 이루어지는 동력 분배 제어 값의 최적화는, 다음의 <수식 7>에 나타낸 것처럼, 연료 소모량과 배터리 충전/방전, 엔진 온/오프 빈도 수의 제한으로 이루어진 전체 비용 함수를 최소화하도록 이루어진다.

<식 7>

　: 전체 cost 값 (초기값 x0에서 시작하여 제어규칙 pi를 따라갈 때 전체 cost 값)

　: 　기대 값

　: discounted rate

　: instantaneous cost 값

　: 상태 변수

　: 상태 변수 Xk에 따른 제어 규칙

　: 엔진 온/오프 페널티 상수

　: 엔진 온/오프 상태 정보

　: SOC값 계산 함수

　: 목표로 하는 타겟 SOC 기준 상수 값

: 　SOC 최소값보다 SOC가 작을 때 페널티 값

: SOC regulation에 따른 가중치 상수 값

도 4는 본 발명의 실시 예에 따른 하이브리드 차량의 최적 동력 분배 제어 값을 생성하기 위한 제어 방법을 나타낸 도면이다. 도 4에 나타낸 제어 방법에는, 도 1에 나타낸 장치 구성을 기반으로 도 2 및 도 3에 나타낸 강화 학습(Reinforcement Learning)의 Q-러닝 기법(Q-Learning)을 이용하여 학습을 통해 최적의 차량 제어 값을 생성하는 개념이 적용되었다.

도 4에서, 참조 부호 402, 404, 406, 408은 각각 배터리 SOC 정보(SOC_t)와 엔진 온/오프 정보(E_on,t), 요구 파워(P_dem,t), 차량 속도 정보(v_t)이다. 배터리 SOC 정보(SOC_t)와 엔진 온/오프 정보(E_on,t), 요구 파워(P_dem,t), 차량 속도 정보(v_t)는 각각 도 1에서 설명한 배터리 SOC 정보 수신부(132)와 엔진 동작 정보 수신부(138), 요구 파워 연산부(134), 차량 속도 정보 수신부(136)를 수신한 또는 연산한 현재 주기(시점)(t)에서의 파라미터 값이다.

배터리 SOC 정보(SOC_t)와 엔진 온/오프 정보(E_on,t), 요구 파워(P_dem,t), 차량 속도 정보(v_t)는 차량 동력 분배 연산(422)과 차량 모델 정보 맵 업데이트(424), Q 밸류 테이블 연산(426)을 위해 이용된다. 도 4의 차량 동력 분배 연산(422)과 차량 모델 정보 맵 업데이트(424), Q 밸류 테이블 연산(426)은 각각 도 1에서 설명한 제어부(110)의 최적 동력 분배 연산부(172)와 Q 밸류 테이블 연산부(174), 차량 모델 정보 맵 업데이트부(178)에 의해 수행될 수 있다.

차량 동력 분배 연산(422)에서는, 최적 동력 분배 연산부(172)가 Q 밸류 테이블 연산부(174)의 Q 밸류 테이블 연산(426)을 통해 확보된 Q 밸류 테이블(472)을 이용하여 하이브리드 차량 상태 정보(배터리 SOC 정보(SOC_t)와 엔진 온/오프 정보(E_on,t), 요구 파워(P_dem,t), 차량 속도 정보(v_t))에 기초하여 엔진과 모터의 최적 동력 분배 제어 값(제어 비)(u_k)를 도출한다(476).

차량 모델 정보 맵 업데이트(424)에서는, 연속된 두 주기(시점)(예를 들면 t와 t+1)에서의 차량 상태 정보(배터리 SOC 정보, 요구 파워, 차량 속도, 엔진 온/오프 상태 정보, 엔진 연료 소모량)를 이용하여 새로운 차량 모델 정보 맵(482)을 확보하고, 차량 모델 정보 맵을 업데이트한다(484). 만약, 연속된 두 주기에서의 차량 모델 정보의 차이 값이 미리 설정된 기준 값보다 크면(486의 '예'), 제어부(110)는 Q 밸류 테이블 연산(426)의 차량 모델 정보 맵(484)에 새로운 차량 모델 정보를 제공한다.

Q 밸류 테이블 연산(426)에서는, 모든 제어 입력(u_k, k=1, 2, 3, …)과 차량 모델 정보 맵에 기초하여 Q 밸류 테이블을 업데이트한다(492)(494)(496). 모든 제어 입력(u_k, k=1, 2, 3, …)에 대한 Q 밸류 테이블의 업데이트가 완료되면(498의 '예'), 제어부(110)는 업데이트된 Q 밸류 테이블을 차량 동력 분배 연산(422) 단계로 제공한다.

이와 같은 차량 동력 분배 연산(422)과 차량 모델 정보 맵 업데이트(424), Q 밸류 테이블 연산(426)을 통해 도출되는 최적 동력 분배 제어 값(u_t,k)은 본 발명의 실시 예에 따른 하이브리드 차량(442)의 엔진과 모터를 제어하는 하위 제어 계통으로 전달된다. 하위 제어 계통은, 전달받은 최적 동력 분배 제어 값(u_t,k)에 기초하여 엔진과 모터의 적절한 동력 분배 제어를 수행한다.

도 4에서, 참조 부호 462, 464, 470, 466은 각각 다음 주기(시점)(t+1)에서의 배터리 SOC 정보(SOC_t+1)와 엔진 온/오프 정보(E_on,t ₊₁), 연료 소모량 정보(W_dem,t ₊₁), 차량 속도 정보(v_t+1)이다. 배터리 SOC 정보(SOC_t+1)와 엔진 온/오프 정보(E_on,t ₊₁), 연료 소모량 정보(W_dem,t ₊₁), 차량 속도 정보(v_t+1)는 각각 도 1에서 설명한 배터리 SOC 정보 수신부(132)와 엔진 동작 정보 수신부(138), 엔진 연료 소모량 연산부(140), 차량 속도 정보 수신부(136)를 수신한 또는 연산한 다음 주기(시점)(t+1)에서의 파라미터 값이다. 이와 같은 다음 주기(시점)(t+1)에서의 배터리 SOC 정보(SOC_t+1)와 엔진 온/오프 정보(E_on,t ₊₁), 연료 소모량 정보(W_dem,t ₊₁), 차량 속도 정보(v_t+1)가 다음 주기(시점)(t+1)에서의 최적 동력 분배 제어 값(u_t+ _1,k)을 도출하는데 이용된다.

위의 설명은 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서 위에 개시된 실시 예 및 첨부된 도면들은 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 기술적 사상의 범위가 한정되는 것은 아니다. 그 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

110 : 제어부
132 : 배터리 SOC 정보 수신부
134 : 요구 파워 연산부
136 : 차량 속도 정보 수신부
138 : 엔진 동작 정보 수신부
140 : 엔진 연료 소모량 연산부
172 : 최적 동력 분배 연산부
174 : Q 밸류 테이블 연산부
176 : 차량 모델 정보 맵
178 : 차량 모델 정보 맵 업데이트부
180 : 배터리 SOC 정보 테이블
182 : 엔진 연료 소모량 정보 테이블

Claims

배터리 SOC 정보와 엔진 온/오프 정보, 요구 파워, 차량 속도 정보, 연료 소모량 정보를 포함하는 차량 상태 정보를 획득하는 단계와;
상기 차량 상태 정보를 이용하여 차량 모델 정보 맵을 작성하는 단계와;
상기 차량 모델 정보 맵에 기초하여 Q 밸류 테이블을 작성하는 단계와;
상기 Q 밸류 테이블에 기초하여 강화 학습을 통해 엔진과 모터의 동력 분배 제어 값을 연산하는 단계를 포함하는 하이브리드 차량의 제어 방법.
제 1 항에 있어서, 상기 Q 밸류 테이블에 기초한 강화 학습은,
연속된 두 주기에서 발생하는 상기 차량 상태 정보를 각각 스테이트 값과 리워드 값으로 이용하여 상기 동력 분배 제어 값을 연산하는 하이브리드 차량의 제어 방법.
제 2 항에 있어서,
상기 차량 상태 정보의 변경 내용을 반영하여 상기 차량 모델 정보 맵을 업데이트하고,
상기 차량 모델 정보 맵의 업데이트 내용을 반영하여 상기 Q 밸류 테이블을 업데이트하며,
업데이트된 상기 Q 밸류 테이블에 기초하여 상기 강화 학습을 수행함으로써,
상기 차량 상태 정보의 변경된 내용이 반영된 상기 동력 분배 제어 값의 연산을 수행하는 하이브리드 차량의 제어 방법.
제 1 항에 있어서,
동력 분배 제어 값은, 상기 요구 파워를 만족하면서 상기 엔진과 상기 모터의 에너지 소모를 최소화하기 위한 것인 하이브리드 차량의 제어 방법.
배터리 SOC 정보와 엔진 온/오프 정보, 요구 파워, 차량 속도 정보, 연료 소모량 정보를 포함하는 차량 상태 정보를 획득하도록 마련되는 차량 상태 정보 획득 수단과;
상기 차량 상태 정보를 이용하여 차량 모델 정보 맵을 작성하고, 상기 차량 모델 정보 맵에 기초하여 Q 밸류 테이블을 작성하며, 상기 Q 밸류 테이블에 기초하여 강화 학습을 통해 엔진과 모터의 동력 분배 제어 값을 연산하는 제어부를 포함하는 하이브리드 차량.
제 5 항에 있어서, 상기 Q 밸류 테이블에 기초한 강화 학습은,
연속된 두 주기에서 발생하는 상기 차량 상태 정보를 각각 스테이트 값과 리워드 값으로 이용하여 상기 동력 분배 제어 값을 연산하는 하이브리드 차량.
제 6 항에 있어서, 상기 제어부는,
상기 차량 상태 정보의 변경 내용을 반영하여 상기 차량 모델 정보 맵을 업데이트하고,
상기 차량 모델 정보 맵의 업데이트 내용을 반영하여 상기 Q 밸류 테이블을 업데이트하며,
업데이트된 상기 Q 밸류 테이블에 기초하여 상기 강화 학습을 수행함으로써,
상기 차량 상태 정보의 변경된 내용이 반영된 상기 동력 분배 제어 값의 연산을 수행하는 하이브리드 차량.
제 5 항에 있어서,
동력 분배 제어 값은, 상기 요구 파워를 만족하면서 상기 엔진과 상기 모터의 에너지 소모를 최소화하기 위한 것인 하이브리드 차량.
제 5 항에 있어서, 상기 제어부는,
동력 분배 연산부와 Q 밸류 테이블 연산부, 차량 모델 정보 맵, 차량 모델 정보 맵 업데이트부를 포함하는 하이브리드 차량.
제 9 항에 있어서,
상기 동력 분배 연산부는, 상기 Q 밸류 테이블 연산부의 Q 밸류 테이블을 이용하여 상기 차량 상태 정보에 기초하여 상기 엔진과 상기 모터의 상기 동력 분배 제어 값을 연산하는 하이브리드 차량.
제 9 항에 있어서,
상기 Q 밸류 테이블 연산부는, 미리 정해진 알고리즘에 따라 상기 Q 밸류 테이블의 값들을 업데이트하는 하이브리드 차량.
제 9 항에 있어서,
상기 차량 모델 정보 맵은, 배터리 SOC 정보 테이블과 엔진 연료 소모량 정보 테이블을 포함하는 하이브리드 차량.
제 12 항에 있어서,
상기 배터리 SOC 정보 테이블은, 상기 배터리 SOC 정보와 상기 요구 파워, 상기 차량 속도에 따른 배터리 SOC 출력의 관계 데이터를 저장하는 하이브리드 차량.
제 12 항에 있어서,
상기 엔진 연료 소모량 정보 테이블은, 상기 요구 파워와 상기 차량 속도, 상기 엔진 온/오프 정보에 따라 결정되는 엔진 연료 소모량의 관계 데이터를 저장하는 하이브리드 차량.
제 9 항에 있어서,
상기 차량 모델 정보 맵 업데이트부는, 상기 하이브리드 차량의 변경된 주행 정보 및 변경된 상기 차량 상태 정보를 이용하여 상기 차량 모델 정보 맵의 데이터를 업데이트하는 하이브리드 차량.