KR102097571B1 - 강화학습 기반 서스펜션 제어장치 - Google Patents

강화학습 기반 서스펜션 제어장치 Download PDF

Info

Publication number
KR102097571B1
KR102097571B1 KR1020190037569A KR20190037569A KR102097571B1 KR 102097571 B1 KR102097571 B1 KR 102097571B1 KR 1020190037569 A KR1020190037569 A KR 1020190037569A KR 20190037569 A KR20190037569 A KR 20190037569A KR 102097571 B1 KR102097571 B1 KR 102097571B1
Authority
KR
South Korea
Prior art keywords
index
indicator
displacement
vehicle body
value
Prior art date
Application number
KR1020190037569A
Other languages
English (en)
Inventor
최종은
용환무
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190037569A priority Critical patent/KR102097571B1/ko
Application granted granted Critical
Publication of KR102097571B1 publication Critical patent/KR102097571B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/018—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B60G17/0164—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input mainly during accelerating or braking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/019—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the type of sensor or the arrangement thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/05—Attitude
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60G2401/90—Single sensor for two or more measurements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2600/00—Indexing codes relating to particular elements, systems or processes used on suspension systems or suspension control systems
    • B60G2600/18—Automatic control means
    • B60G2600/188—Spectral analysis; Transformations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2800/00—Indexing codes relating to the type of movement or to the condition of the vehicle and to the end result to be achieved by the control action
    • B60G2800/01—Attitude or posture control

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Vehicle Body Suspensions (AREA)

Abstract

본 발명은 강화학습을 통해 특정 지표, 특히 탑승자의 편안함을 극대화시킬 수 있도록 서스펜션을 제어할 수 있는 강화학습 기반 서스펜션 제어장치에 관한 것으로, 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 측정하는 측정부, 상기 측정부에서 측정된 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 이용해 제1주파수 대역에서의 편안함 지표인 제1지표, 제2주파수 대역에서의 편안함 지표인 제2지표, 타이어와 노면의 접지 정도를 나타내는 지표인 제3지표, 서스펜션이 거동할 수 있는 범위의 지표인 제4지표를 연산하는 연산부, 아래 수학식 1로 결정되는 보상함수의 값이 증가하는 방향으로 학습되어, 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 기준값을 결정하는 학습부 및 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각이 상기 기준값이 되도록 서스펜션의 감쇠비를 제어하는 제어부를 포함하되, 상기 제1지표, 제2지표, 제3지표 및 제4지표는 에너지 스펙트럼 밀도(Power Spectrum Density, PSD)값인 것을 특징으로 한다.

Description

강화학습 기반 서스펜션 제어장치{Suspension control system based on reinforcement learning}
본 발명은 강화학습 기반 서스펜션 제어장치에 관한 것이다.
현가장치라고도 부르는 서스펜션(Suspension)은 차량의 차륜(바퀴)과 차체를 연결하여 노면충격의 흡수하거나 타이어의 접지력을 확보하는 역할을 한다.
일반적으로 승차감을 향상시키기 위해서는 서스펜션이 부드러워야 한다. 단, 서스펜션이 너무 부드러운 경우 승차감은 뛰어나지만 차량의 급가속, 급제동, 급선회동과 같은 움직임을 보일 때 차량의 자세변화가 심하게 나타나, 차량의 안정적인 주행이 힘들 수 있다. 이와 반대로 서스펜션이 딱딱할 경우 각종 운전 상황에서 발생하는 자동차의 자세변화는 최대한 억제할 수 있으나, 노면의 진동이 흡수되지 않고 운전자에게 직접 전달되므로, 운전자의 피로 및 불쾌감이 조성될 수 있다.
서스펜션은 크게 기계식 서스펜션과 전자식 서스펜션으로 구분될 수 있는데, 기계식 서스펜션은 제작당시 그 특성이 결정되므로, 승차감과 주행 안정성을 고려하여 차량의 특성에 가장 적합한 특성을 적절히 선택할 필요가 있다.
전자식 서스펜션은 그 특성을 변화시킬 수 없는 기계식 서스펜션의 문제점을 해결하기 위해 안출된 것으로, 상황에 따라 감쇠비를 적절히 조절하여 승차감을 향상시킬 뿐 아니라, 가감속이나 급선회와 같은 차량의 운동특성에 최적화를 하여, 보다 안정적인 주행이 가능하도록 한다.
이러한 전자식 서스펜션의 제어는 별도의 제어장치가 구성되어, 차량의 상태에 따라 서스펜션의 감쇠비, 차고 또는 자세를 제어하는 것이 일반적이며, 차량의 상태에 따라 서스펜션을 제어하는 방법에 대해서는 종래 다양한 논문 또는 특허로 제시되고 있다. 이렇듯 종래 소개되고 있는 서스펜션 제어 장치는 특정 주파수 대역의 응답 특성을 향상시키면 다른 주파수 대역의 응답 특성은 악화되는 문제점이 있다.
한국 공개특허공보 제10-2019-0026249호("차량용 능동 현가장치", 공개일 2019.03.13.)
본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로써, 본 발명에 의한 강화학습 기반 서스펜션 제어장치의 목적은 강화학습을 통해 차량의 운행 중 탑승자의 편안함을 극대화시키거나 차량의 자세를 안정적으로 유지할 수 있도록 서스펜션을 제어할 수 있는 강화학습 기반 서스펜션 제어장치를 제공함에 있다.
상기한 바와 같은 문제점을 해결하기 위한 본 발명에 의한 강화학습 기반 서스펜션 제어장치는 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 측정하는 측정부, 상기 측정부에서 측정된 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 이용해 제1주파수 대역에서의 편안함 지표인 제1지표, 제2주파수 대역에서의 편안함 지표인 제2지표, 타이어와 노면의 접지 정도를 나타내는 지표인 제3지표, 서스펜션이 거동할 수 있는 범위의 지표인 제4지표를 연산하는 연산부, 아래 수학식 1로 결정되는 보상함수의 값이 증가하는 방향으로 학습되어, 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 기준값을 결정하는 학습부 및 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각이 상기 기준값이 되도록 서스펜션의 감쇠비를 제어하는 제어부를 포함하되, 상기 제1지표, 제2지표, 제3지표 및 제4지표는 에너지 스펙트럼 밀도(Power Spectrum Density, PSD)값인 것을 특징으로 한다.
[수학식 1]
Figure 112019032881556-pat00001
(
Figure 112019032881556-pat00002
는 상기 보상함수,
Figure 112019032881556-pat00003
상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 가중치,
Figure 112019032881556-pat00004
는 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 특정 주파수대역에서의 에너지 스펙트럼 밀도 값)
본 발명의 다른 실시예에 의한 강화학습 기반 서스펜션 제어장치는 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 측정하는 측정부, 상기 측정부에서 측정된 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 이용해 제1주파수 대역에서의 편안함 지표인 제1지표, 제2주파수 대역에서의 편안함 지표인 제2지표, 타이어와 노면의 접지 정도를 나타내는 지표인 제3지표, 서스펜션이 거동할 수 있는 범위의 지표인 제4지표를 연산하는 연산부, 아래 수학식 1로 결정되는 보상함수의 값이 증가하는 방향으로 학습되어, 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 기준값을 결정하는 학습부 및 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각이 상기 기준값이 되도록 서스펜션의 감쇠비를 제어하는 제어부를 포함하되, 상기 제1지표, 제2지표, 제3지표 및 제4지표는 에너지 스펙트럼 밀도(Power Spectrum Density, PSD)값인 것을 특징으로 한다.
[수학식 2]
Figure 112019032881556-pat00005
(
Figure 112019032881556-pat00006
는 상기 보상함수,
Figure 112019032881556-pat00007
는 소정 시간 이전(t-W+1)부터 현재(t)까지의 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 특정 주파수대역에서의 에너지 스펙트럼 밀도 값의 합,
Figure 112019032881556-pat00008
는 현재상태의 차체의 변위, 타이어의 변위, 차체의 속도, 차체의 가속도)
또한, 상기 제1지표는 차체의 가속도를 지면의 변위로 나눈 비율의 에너지 스펙트럼 밀도 값인 것을 특징으로 한다.
또한, 상기 제1지표는 4~30Hz 대역에서의 에너지 스펙트럼 밀도 값인 것을 특징으로 한다.
또한, 상기 제2지표는 차체의 변위를 지면의 변위로 나눈 비율의 에너지 스펙트럼 밀도 값인 것을 특징으로 한다.
또한, 상기 제2지표는 0~5Hz 대역에서의 에너지 스펙트럼 밀도 값인 것을 특징으로 한다.
또한, 상기 제3지표는 타이어의 변위를 지면의 변위로 나눈 비율의 에너지 스펙트럼 밀도 값인 것을 특징으로 한다.
또한, 상기 제3지표는 0~20Hz 대역에서의 에너지 스펙트럼 밀도 값인 것을 특징으로 한다.
또한, 상기 제4지표는 차체의 변위와 타이어의 변위의 차를 지면의 변위로 나눈 비율의 에너지 스펙트럼 밀도 값인 것을 특징으로 한다.
또한, 상기 제4지표는 0~20Hz 대역에서의 에너지 스펙트럼 밀도 값인 것을 특징으로 한다.
상기한 바와 같은 본 발명의 일실시예에 의한 강화학습 기반 서스펜션 제어장치에 의하면, 측정부에서 차량의 가속도, 차체의 변위, 타이어의 변위, 노면의 변위를 측정하고, 측정된 차량의 가속도, 차체의 변위, 타이어의 변위 및 노면의 변위를 이용해 탑승자의 편안함과 차량의 안정성의 지표를 구하고, 각각의 지표의 합이 최소가 되는 방향으로 학습시켜 기준값을 결정한 후, 해당 기준값이 되도록 서스펜션의 감쇠비를 제어하기 때문에, 기존의 진동학적/제어적 한계를 따르지 않아 종래 서스펜션 제어 기술보다 차량의 성능을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 의한 강화학습 기반 서스펜션 제어장치가 제어하는 차량의 개략도.
도 2는 본 발명의 일실시예에 의한 강화학습 기반 서스펜션 제어장치의 시간에 따른 노면, 타이어 및 차체의 변위를 측정한 그래프.
도 3은 본 발명의 일실시예에 의한 강화학습 기반 서스펜션 제어장치의 주파수 영역에서의 제1지표, 제2지표, 제3지표 및 제4지표의 그래프.
이하 첨부된 도면을 참고하여 본 발명에 의한 강화학습 기반 서스펜션 제어장치의 바람직한 실시예들에 관하여 상세히 설명한다.
[강화학습 기반 서스펜션 제어장치 - 제1실시예]
도 1은 본 발명의 제1실시예에 의한 강화학습 기반 서스펜션 제어장치가 제어하는 차량을 개략적으로 도시한 것이다.
도 1에 도시된 바와 같이, 본 발명의 제1실시예에 의한 강화학습 기반 서스펜션 제어장치에서 제어하는 차량은 노면(10)의 상부에 위치해 있으며, 타이어(20), 차체(30), 타이어(20)와 차체(30)를 연결하는 쇼크 업소버(shock absorber)(40)와 스프링(도번 미도시)으로 구성될 수 있으며, 본 발명의 제1실시예에 의한 강화학습 기반 서스펜션 제어장치는 쇼크 업소버(40)의 감쇠비를 제어한다.
본 발명의 제1실시예에 의한 강화학습 기반 서스펜션 제어장치는 측정부, 연산부, 학습부 및 제어부를 포함할 수 있다.
측정부는 도 1에 도시된 차체(30)의 가속도, 지면(10)의 변위, 차체(30)의 변위 및 타이어(20)의 변위를 측정할 수 있다. 측정부에서 측정하는 차체(30)의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위는 차량의 주행(전진 및 후진) 중에 발생하는 노면(10), 타이어(20) 및 차체(30)의 변위와 차체(30)의 가속도를 의미할 수 있다. 이때 노면(10), 타이어(20) 및 차체(30)의 변위란 차량의 주행 중의 기준위치 대비 노면(10), 타이어(20) 및 차체(30) 각각의 위치일 수 있다. 차체(30)의 가속도란 차량의 주행 중 서스펜션과 상호 작용할 수 있는 차체(30)의 가속도일 수 있으며, 예를 들어 서스펜션이 설치된 방향(도 1을 기준으로 상하방향)으로의 차체(30)의 가속도를 의미할 수 있으나, 본 실시예는 차체(30)의 가속도를 상술한 예에 한정하지는 않는다.
측정부는 상술한 바와 같은 동작을 위해 차체(30)의 가속도와, 지면(10), 차체(30), 타이어(20)의 변위를 측정할 수 있는 측정수단을 포함할 수 있으며, 편의상 차체(30)의 가속도를
Figure 112019032881556-pat00009
, 지면(10)의 변위를
Figure 112019032881556-pat00010
, 차체(30)의 변위를
Figure 112019032881556-pat00011
, 타이어(20)의 변위를
Figure 112019032881556-pat00012
이라 한다.
측정부에서 측정된
Figure 112019032881556-pat00013
,
Figure 112019032881556-pat00014
,
Figure 112019032881556-pat00015
,
Figure 112019032881556-pat00016
각각은 시간에 따른 그래프로 나타낼 수 있으며, 도 2에는 시간에 따라 측정된
Figure 112019032881556-pat00017
,
Figure 112019032881556-pat00018
,
Figure 112019032881556-pat00019
이 도시되어 있다.
연산부는 측정부에서 측정된
Figure 112019032881556-pat00020
,
Figure 112019032881556-pat00021
,
Figure 112019032881556-pat00022
,
Figure 112019032881556-pat00023
을 이용해 제1지표, 제2지표, 제3지표, 제4지표를 연산한다. 연산부에서 연산되는 제1지표, 제2지표, 제3지표, 제4지표는 모두 에너지 스펙트럼 밀도(Power Spectrum Density, 이하 PSD)값, 즉 주파수 대역에서의 값이다. 즉, 제1지표, 제2지표, 제3지표 및 제4지표는 에너지의 양을 나타낼 수 있다.
구체적으로 제1지표, 제2지표, 제3지표 및 제4지표는 다음과 같은 방식을 통해 연산할 수 있다. 먼저 제1지표는 차체의 가속도인
Figure 112019032881556-pat00024
을 지면의 변위
Figure 112019032881556-pat00025
로 나눈 비율의 4~30Hz 대역에서의 값일 수 있고, 제2지표는 차체의 변위
Figure 112019032881556-pat00026
을 지면의 변위
Figure 112019032881556-pat00027
로 나눈 비율의 0~5Hz 대역에서의 값일 수 있으며, 제3지표는 타이어의 변위
Figure 112019032881556-pat00028
을 지면의 변위
Figure 112019032881556-pat00029
로 나눈 비율의 0~20Hz 대역에서의 값일 수 있고, 제4지표는 차체의 변위
Figure 112019032881556-pat00030
와 타이어의 변위
Figure 112019032881556-pat00031
의 차
Figure 112019032881556-pat00032
을 지면의 변위
Figure 112019032881556-pat00033
로 나눈 비율의 0~20Hz 대역에서의 값일 수 있다.
제1지표는 높은 주파수대역에서 탑승자가 가속도를 느끼는 지표를 의미할 수 있고, 제2지표는 낮은 주파수대역에서 탑승자가 움직임을 느끼는 지표를 의미할 수 있으며, 제3지표는 타이어와 노면이 붙어있는 정도의 지표를 의미할 수 있고, 제4지표는 서스펜션에 가해지이 거동할 수 있는 범위의 지표로, 서스펜션에 가해지는 부담의 정도를 의미할 수 있다. 제1지표 내지 제4지표는 그 값이 낮을수록 탑승자가 편안함을 느끼거나 차체가 안정적일 수 있다.
도 3은 상술한 제1지표, 제2지표, 제3지표, 제4지표를 그래프로 도시한 것이다.
도 3에서 제1지표는 C1이며, 제2지표는 C2, 제3지표를 RH1, 제4지표를 RH2일 수 있으며, C1, C2, RH1, RH2는 도 3에 도시된 바와 같이 특정 주파수 대역의 PSD값만 사용할 수 있다.
학습부는 아래 수학식 1로 결정되는 보상함수의 값이 증가하는 방향으로 제1지표, 제2지표, 제3지표 및 제4지표를 학습시켜, 제1지표, 제2지표, 제3지표 및 제4지표 각각의 기준값을 결정할 수 있다. 즉, 학습부는 제1지표, 제2지표, 제3지표 및 제4지표들을 소정 시간동안 보상함수를 통한 보상이 극대화되는 방향(보상함수 값이 최소화되는 방향)으로 학습시켜 제1지표, 제2지표, 제3지표 및 제4지표의 기준값, 즉 파라미터를 결정한다.
[수학식 1]
Figure 112019032881556-pat00034
수학식 1로 결정되는 보상함수
Figure 112019032881556-pat00035
는 제1지표, 제2지표, 제3지표 및 제4지표 각각의 PSD값(
Figure 112019032881556-pat00036
)에 개별 가중치(
Figure 112019032881556-pat00037
)를 곱해 더한 것을 의미하며, 학습부는 특정 지표를 강조하고 싶을 경우, 특정 가중치를 다른 가중치들과 그 값을 크게 하여 달리할 수 있다. 예를 들어, 탑승자의 승차감을 나타내는 제1지표 및 제2지표를 강조하고 싶을 경우 제1지표 및 제2지표에 대한 가중치
Figure 112019032881556-pat00038
을
Figure 112019032881556-pat00039
보다 크게 할 수 있다. 그런데, 상술한 수학식 1에서 시그마의 앞에 마이너스 부호가 붙어 있으므로, 각각의 PSD값이 작아질수록 보상함수 R(t)의 값은 음수에서 0에 가깝게 절대값이 감소하므로 결국 보상함수 R(t)의 값이 증가하는 방향으로 학습되는 것을 특징으로 한다.
학습부에서 각 지표들의 기준값을 결정하는 학습과정은 소정 시간동안 차량을 운전하면서 진행될 수 있으며, 상기 측정부, 연산부 및 학습부를 이용한 강화학습의 입력값은 상술한 차량의 가속도, 노면의 변위, 타이어의 변위, 차체의 변위일 수 있으며, 결과값은 제1지표, 제2지표, 제3지표 및 제4지표 각각의 기준값일 수 있다.
제어부는 차량 내부에 설치되는 ECU(전자제어유닛, Electronic Control Unit) 또는 ECU에 의해 제어되는 특정 제어장치일 수 있으며, 학습부에서 결정된 제1지표, 제2지표, 제3지표 및 제4지표가 기준값이 되도록 서스펜션, 보다 상세히는 쇼크 업소버(40)의 감쇠비를 제어하여, 본 발명이 이루고하 하는 기술적 과제인 탑승자의 편안함 또는 차량의 안정성을 향상시키도록 할 수 있다. 제어부가 서스펜션의 감쇠비를 제어하는 구체적인 방법은 스텝모터를 이용해 기존 쇼크 업소버(40)의 오일 통로(오리피스)의 크기를 조절하는 방법일 수 있으나, 본 발명은 제어부의 감쇠비를 제어하는 방법을 이에 한정하지는 않는다.
[강화학습 기반 서스펜션 제어장치 - 제2실시예]
본 발명의 제2실시예에 의한 강화학습 기반 서스펜션 제어장치는 앞서 본 발명의 제1실시예에 의한 강화학습 기반 서스펜션 제어장치에서 수학식 1에 의해 결정되는 보상함수를 사용하는 것과 달리, 아래 기재된 수학식 1에 의해 결정되는 보상함수를 사용한다.
[수학식 2]
Figure 112019032881556-pat00040
(
Figure 112019032881556-pat00041
는 상기 보상함수,
Figure 112019032881556-pat00042
는 현재부터 소정 시간 이전까지의 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 특정 주파수대역에서의 에너지 스펙트럼 밀도 값의 합,
Figure 112019032881556-pat00043
는 현재상태의 차체의 변위, 타이어의 변위, 차체의 속도 또는 차체의 가속도)
수학식 2는 수학식 1과 달리, 현재 제1지표, 제2지표, 제3지표 및 제4지표 가각의 현재부터 소정 시간 이전까지의 PSD값을 이용하고, 시간영역에서의 성능을 알 수 있도록 현재 차량의 상태(차체의 변위, 타이어의 변위, 차체의 속도 또는 차체의 가속도)를 보상함수에 넣음으로써, 차량의 주파수영역에서의 성능과 시간영역에서의 성능을 모두 극대화시킬 수 있다. 수학식 2는 주파수 영역에서의 g함수와 시간영역에서의 f함수가 함께 표시되어, 별도의 마이너스 부호가 생략되어 있을 수 있다. 즉, 생략된 마이너스 부호 때문에, g함수와 f함수의 절대값이 작아질수록 보상함수 R(t)의 값은 음수에서 0에 가깝게 절대값이 감소하므로 결국 보상함수 R(t)의 값이 증가하는 방향으로 학습될 수 있다.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
10 : 노면
20 : 타이어
30 : 차체
40 : 쇼크 업소버

Claims (10)

  1. 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 측정하는 측정부;
    상기 측정부에서 측정된 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 이용해 제1주파수 대역에서의 편안함 지표인 제1지표, 제2주파수 대역에서의 편안함 지표인 제2지표, 타이어와 노면의 접지 정도를 나타내는 지표인 제3지표, 서스펜션이 거동할 수 있는 범위의 지표인 제4지표를 연산하는 연산부;
    아래 수학식 1로 결정되는 보상함수의 값이 증가하는 방향으로 학습되어, 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 기준값을 결정하는 학습부; 및
    상기 제1지표, 제2지표, 제3지표 및 제4지표 각각이 상기 기준값이 되도록 서스펜션의 감쇠비를 제어하는 제어부;
    를 포함하되,
    상기 제1지표, 제2지표, 제3지표 및 제4지표는 에너지 스펙트럼 밀도(Power Spectrum Density, PSD)값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
    [수학식 1]
    Figure 112019032881556-pat00044

    (
    Figure 112019032881556-pat00045
    는 상기 보상함수,
    Figure 112019032881556-pat00046
    는 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 가중치,
    Figure 112019032881556-pat00047
    는 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 특정 주파수대역에서의 에너지 스펙트럼 밀도 값)
  2. 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 측정하는 측정부;
    상기 측정부에서 측정된 차체의 가속도, 지면의 변위, 차체의 변위 및 타이어의 변위를 이용해 제1주파수 대역에서의 편안함 지표인 제1지표, 제2주파수 대역에서의 편안함 지표인 제2지표, 타이어와 노면의 접지 정도를 나타내는 지표인 제3지표, 서스펜션이 거동할 수 있는 범위의 지표인 제4지표를 연산하는 연산부;
    아래 수학식 1로 결정되는 보상함수의 값이 증가하는 방향으로 학습되어, 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 기준값을 결정하는 학습부; 및
    상기 제1지표, 제2지표, 제3지표 및 제4지표 각각이 상기 기준값이 되도록 서스펜션의 감쇠비를 제어하는 제어부;
    를 포함하되,
    상기 제1지표, 제2지표, 제3지표 및 제4지표는 에너지 스펙트럼 밀도(Power Spectrum Density, PSD)값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
    [수학식 2]
    Figure 112019032881556-pat00048

    (
    Figure 112019032881556-pat00049
    는 상기 보상함수,
    Figure 112019032881556-pat00050
    는 소정 시간 이전(t-W+1)부터 현재(t)까지의 상기 제1지표, 제2지표, 제3지표 및 제4지표 각각의 특정 주파수대역에서의 에너지 스펙트럼 밀도 값의 합,
    Figure 112019032881556-pat00051
    는 현재상태의 차체의 변위, 타이어의 변위, 차체의 속도 또는 차체의 가속도)
  3. 제1항 또는 제2항에 있어서,
    상기 제1지표는 차체의 가속도를 지면의 변위로 나눈 비율의 에너지 스펙트럼 밀도 값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
  4. 제3항에 있어서,
    상기 제1지표는 4~30Hz 대역에서의 에너지 스펙트럼 밀도 값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
  5. 제1항 또는 제2항에 있어서,
    상기 제2지표는 차체의 변위를 지면의 변위로 나눈 비율의 에너지 스펙트럼 밀도 값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
  6. 제5항에 있어서,
    상기 제2지표는 0~5Hz 대역에서의 에너지 스펙트럼 밀도 값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
  7. 제1항 또는 제2항에 있어서,
    상기 제3지표는 타이어의 변위를 지면의 변위로 나눈 비율의 에너지 스펙트럼 밀도 값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
  8. 제7항에 있어서,
    상기 제3지표는 0~20Hz 대역에서의 에너지 스펙트럼 밀도 값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
  9. 제1항 또는 제2항에 있어서,
    상기 제4지표는 차체의 변위와 타이어의 변위의 차를 지면의 변위로 나눈 비율의 에너지 스펙트럼 밀도 값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
  10. 제9항에 있어서,
    상기 제4지표는 0~20Hz 대역에서의 에너지 스펙트럼 밀도 값인 것을 특징으로 하는 강화학습 기반 서스펜션 제어장치.
KR1020190037569A 2019-03-31 2019-03-31 강화학습 기반 서스펜션 제어장치 KR102097571B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190037569A KR102097571B1 (ko) 2019-03-31 2019-03-31 강화학습 기반 서스펜션 제어장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190037569A KR102097571B1 (ko) 2019-03-31 2019-03-31 강화학습 기반 서스펜션 제어장치

Publications (1)

Publication Number Publication Date
KR102097571B1 true KR102097571B1 (ko) 2020-04-07

Family

ID=70290739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190037569A KR102097571B1 (ko) 2019-03-31 2019-03-31 강화학습 기반 서스펜션 제어장치

Country Status (1)

Country Link
KR (1) KR102097571B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112078318A (zh) * 2020-08-28 2020-12-15 的卢技术有限公司 一种基于深度强化学习算法的汽车主动悬架智能控制方法
CN113119952A (zh) * 2021-05-31 2021-07-16 周宇 实时车辆稳定系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010048729A (ko) * 1999-11-29 2001-06-15 류정열 뉴럴 네트워크를 이용한 자동차 진동의 액티브 제어장치
JP2003104024A (ja) * 2001-09-28 2003-04-09 Tokico Ltd サスペンション制御装置
KR20090027389A (ko) * 2007-09-12 2009-03-17 현대모비스 주식회사 컨티뉴어스 댐핑 컨트롤러
KR20190026249A (ko) 2017-09-04 2019-03-13 주식회사 만도 차량용 능동 현가장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010048729A (ko) * 1999-11-29 2001-06-15 류정열 뉴럴 네트워크를 이용한 자동차 진동의 액티브 제어장치
JP2003104024A (ja) * 2001-09-28 2003-04-09 Tokico Ltd サスペンション制御装置
KR20090027389A (ko) * 2007-09-12 2009-03-17 현대모비스 주식회사 컨티뉴어스 댐핑 컨트롤러
KR20190026249A (ko) 2017-09-04 2019-03-13 주식회사 만도 차량용 능동 현가장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112078318A (zh) * 2020-08-28 2020-12-15 的卢技术有限公司 一种基于深度强化学习算法的汽车主动悬架智能控制方法
CN112078318B (zh) * 2020-08-28 2024-05-07 的卢技术有限公司 一种基于深度强化学习算法的汽车主动悬架智能控制方法
CN113119952A (zh) * 2021-05-31 2021-07-16 周宇 实时车辆稳定系统及其方法

Similar Documents

Publication Publication Date Title
US9375990B2 (en) Suspension control device
US9662954B2 (en) Vehicle having suspension with continuous damping control
CN100475578C (zh) 主动悬挂控制器
US8322728B2 (en) Suspension control apparatus
US8880293B2 (en) Vehicle motion control apparatus and suspension control apparatus
KR101198227B1 (ko) 오토바이용 반능동 현가장치를 제어하는 방법 및 장치
EP2517904B1 (en) Control of a suspension system of a vehicle provided with four semi-active suspensions
US20150032332A1 (en) Control apparatus for vehicle
JP5257458B2 (ja) 車両用減衰力制御装置
JP5370494B2 (ja) 車両制御装置
KR102097571B1 (ko) 강화학습 기반 서스펜션 제어장치
US20170028983A1 (en) Electric vehicle
JP5293264B2 (ja) 減衰力制御装置、及び減衰力制御方法
US11511593B2 (en) Method of operating an adjustable roll stabilizer
CN107444052B (zh) 车辆用衰减力控制装置
US20230241940A1 (en) Suspension control device, vehicle, and suspension control method
JP2011016382A (ja) 車両の減衰力制御装置
JP2013241075A (ja) サスペンション制御装置
JP3475154B2 (ja) 車両のサスペンション装置
JP3475152B2 (ja) 車両のサスペンション装置
JP2013023087A (ja) サスペンション制御装置及びサスペンション制御方法
WO2010109672A1 (ja) 車両の減衰力制御装置
CN107074059B (zh) 用于调节机动车辆行为的方法
KR20020045771A (ko) 승차감 제어 장치 및 그 제어 방법과 이를 이용한 반 능동전자 현가 시스템
CN116691259A (zh) 半主动悬架控制方法、系统及车辆

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant