KR101597771B1 - 조향 토크 보정 장치 및 방법 - Google Patents

조향 토크 보정 장치 및 방법 Download PDF

Info

Publication number
KR101597771B1
KR101597771B1 KR1020140175588A KR20140175588A KR101597771B1 KR 101597771 B1 KR101597771 B1 KR 101597771B1 KR 1020140175588 A KR1020140175588 A KR 1020140175588A KR 20140175588 A KR20140175588 A KR 20140175588A KR 101597771 B1 KR101597771 B1 KR 101597771B1
Authority
KR
South Korea
Prior art keywords
vehicle
distance
lane
road lane
angle
Prior art date
Application number
KR1020140175588A
Other languages
English (en)
Inventor
김순태
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020140175588A priority Critical patent/KR101597771B1/ko
Priority to DE102015015681.0A priority patent/DE102015015681B4/de
Priority to CN201510897059.XA priority patent/CN105691453B/zh
Priority to US14/963,140 priority patent/US9637170B2/en
Application granted granted Critical
Publication of KR101597771B1 publication Critical patent/KR101597771B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D5/00—Power-assisted or power-driven steering
    • B62D5/04—Power-assisted or power-driven steering electrical, e.g. using an electric servo-motor connected to, or forming part of, the steering gear
    • B62D5/0457—Power-assisted or power-driven steering electrical, e.g. using an electric servo-motor connected to, or forming part of, the steering gear characterised by control features of the drive means as such
    • B62D5/046—Controlling the motor
    • B62D5/0463—Controlling the motor calculating assisting torque from the motor based on driver input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/02—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits responsive only to vehicle speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 조향 토크 보정하는 기술에 관한 것이다. 더욱 상세하게는 본 발명은 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식부와 차량과 도로차선과의 거리차이를 측정하는 거리 측정부 및 거리차이의 시간당 변화율인 거리변화율을 계산하고 거리변화율을 이용하여 차량의 전진 또는 후진 동작을 판단하는 동작 판단부를 포함하는 조향 토크 보정 장치 및 방법을 제공한다.

Description

조향 토크 보정 장치 및 방법{apparatuses and methods for steering torque compensation}
본 발명은 조향 토크 보정하는 기술에 관한 것이다. 더욱 상세하게는 본 발명은 차량과 도로차선과의 거리차이값을 이용하여 조향 토크를 보정하는 기술에 관한 것이다.
본 발명은 차량에 탑승한 운전자의 부주의나 졸음으로 인하여 발생할 수 있는 주행차선을 이탈을 막기 위한 차선 유지 지원 시스템(lane keeping assist system, LKAS)에 관한 것이다.
기존의 차선 유지 지원 시스템은 차량의 전면의 방향의 각도에 의지하여 동작하기 때문에, 차량의 전진 또는 후진 동작을 따지지 않고, 차량의 전면이 향하는 방향에 의해 조향 보조력 토크의 방향이 결정되는 한계점이 있다.
이러한 한계점을 보완하고자 차량의 조향 휠에 따른 차량 요레이트(yaw rate) 발생 방향을 인식함으로써 차량의 전진 또는 후진을 판단하고 있으나, 스티어링 휠 조향이 거의 없는 직진 및 후진 상태에서는 이 같은 방법으로 차량의 전진 또는 후진을 판단하기 어렵다.
이에 의해 운전자의 부주의에 의해 차선 유지 지원 시스템을 켜놓은 상태에서 후진하면 차선 유지 지원 시스템은 차량이 전진하는 것으로 판단하여 조향 보조력 토크를 생성하고, 생성된 조향 보조력 토크에 의해 차량의 운전자에게 위험을 줄 수도 있는 문제점이 있다.
이러한 배경에서, 본 발명의 목적은, 일 측면에서, 카메라 장치만을 이용하여 차량의 전진 또는 후진을 판단할 수 있는 조향 토크 보정 장치 및 방법을 제공하는 것이다.
다른 측면에서, 본 발명은, 차선 유지 지원 시스템이 동작하는 상황에서, 차량의 전진 동작 또는 후진 동작에 맞는 조향 보조력 토크를 제공하도록 하는 조향 토크 보정 장치 및 방법을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은 조향 토크 보정 장치에 있어서, 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식부와 차량과 도로차선과의 거리차이를 측정하는 거리 측정부 및 거리차이의 시간당 변화율인 거리변화율을 계산하고 거리변화율을 이용하여 차량의 전진 또는 후진 동작을 판단하는 동작 판단부를 포함하는 장치를 제공한다.
다른 측면에서, 본 발명은, 조향 토크 보정 방법에 있어서, 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식단계와 차량과 도로차선과의 거리차이를 측정하는 거리 측정단계 및 거리차이의 시간당 변화율인 거리변화율을 계산하고 거리변화율을 이용하여 차량의 전진 또는 후진 동작을 판단하는 동작 판단단계를 포함하는 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 차선 유지 지원 시스템이 동작하는 차량에 대해 영상장치를 이용하여 차량의 전진 또는 후진 동작을 판단하고, 차량의 전진 동작 또는 후진 동작에 맞는 조향 보조력 토크를 제공함으로써 차량의 차선 이탈을 예방할 수 있다.
도 1은 본 발명의 일 실시예에 따른 조향 토크 보정 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 3은 본 발명의 동작 판단부의 동작을 설명하기 위한 예를 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 조향 토크 보정 장치의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 조향 토크 보정 장치의 구성을 도시한 도면이다.
도 6은 본 발명의 또 다른 일 실시예에 대해 각도, 종방향 속도 및 거리차이의 관계를 도시한 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 조향 토크 보정 장치의 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 조향 토크 보정 방법의 흐름도를 도시한 도면이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 조향 토크 보정 장치의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 조향 토크 보정 장치는 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식부와 차량과 도로차선과의 거리차이를 측정하는 거리 측정부 및 거리차이의 시간당 변화율인 거리변화율을 계산하고 계산한 거리변화율을 이용하여 차량의 전진 또는 후진 동작을 판단하는 동작 판단부를 포함할 수 있다.
도 1을 참조하면, 본 발명의 조향 토크 보정 장치는 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식부(110)를 포함할 수 있다.
일 예로, 차선 인식부(110)는 도로차선 위의 중앙차선, 1차선 및 2차선을 인식할 수 있다. 구체적으로, 도로차선의 색상 정보 및 도로차선 정보를 이용하여 도로차선을 인식할 수 있다. 도로차선의 중앙차선은 노랑색으로 표시하고 1차선 및 2차선은 흰색으로 표시한다. 또한 도로차선은 15cm의 일정한 너비를 가진다. 따라서 차량의 카메라가 폭 15cm의 노랑색을 검출하면 중앙차선으로 인식할 수 있고, 만약 폭 15cm의 하양색을 검출하면 1차선 및 2차선으로 인식할 수 있다. 더 나아가, 인식한 중앙차선을 기준으로 1차선과 2차선을 구별하여 인식할 수 있다. 본 발명은 중앙차선, 1차선 및 2차선의 구분없이 동작 가능지만, 이해의 편의를 돕기 위해, 차량의 전면이 향하는 차선을 기준으로 설명한다.
조향 토크 보정 장치는 차량과 도로차선과의 거리차이를 측정하는 거리 측정부(120)를 포함할 수 있다.
일 예로, 거리 측정부(120)는 인식한 도로차선과 차량과의 거리차이를 측정할 수 있다. 본 발명에서, 측정되는 차량의 위치(예를 들어, 앞 부분, 중간 부분 또는 뒷 부분)는 중요하지 않지만, 이하 설명에서는 편의를 위해 차량의 중간 부분으로 제한하며, 거리차이는 차량의 중간 부분과 도로차선의 퇴단 거리가 될 수 있다.
최단 거리에 대해 구체적으로 설명하면, 차량 중간 부분에서 차선과의 길이를 멀리서 가까운 방향으로 연속 측정하면(예를 들어, 뒤쪽에서 앞방향으로 또는 앞쪽에서 뒷 방향으로) 측정한 길이는 짧아지다가 어느 위치에서 짧아지지 않고 길어지는 위치가 있는데, 이 위치와 차량과의 거리가 최단 거리이며, 본 발명에서 차량과 도로차선과의 거리차이가 될 수 있다. 여기서 카메라를 이용하여 거리를 측정하는 방법에 대해 간략히 설명하면, 거리를 미리 알고 있는 특정 위치와의 비교하여 거리를 측정할 수 있다. 예를 들면, 카메라로부터 1m 거리만큼 떨어진 A위치(예를 들어 2차원 내의 연속된 위치)를 알고 있으면, 또 다른 B위치의 거리를 측정하는 방법은 카메라, A위치 및 B위치와의 관계를 이용하여 B위치까지의 거리를 측정할 수 있다. 상세한 예를 들어, B위치가 카메라와 A위치의 정 중앙에 있으면, B위치까지의 거리가 0.5m임을 알 수 있다. 이는 카메라와 B위치의 거리를 카메라와 A위치의 거리로 비교하여 얻는 것이다. 단, 카메라 1대만을 이용하여 거리를 측정할 경우 카메라, A위치와 1차원 또는 2차원 관계에 있는 임의의 C위치에 대해서만 알 수 있으며, 3차원 관계를 갖는 D위치와의 거리를 측정할 수 없다. 다만, 2대의 카메라 또는 1대의 카메라와 다른 장치를 이용하면 3차원 관계에 있는 D위치의 거리를 측정할 수 있다.
조향 토크 보정 장치는 거리차이의 시간당 변화율인 거리변화율을 계산하고, 거리변화율을 이용하여 차량의 전진 또는 후진 동작을 판단하는 동작판단부(130)를 포함할 수 있다.
일 예로, 거리변화율은 다음 수학식 1을 이용하여 구할 수 있다.
Figure 112014119560012-pat00001
dt : 차량이 움직인 시간, t1 : 차량이 움직인 후 시각, t0 : 차량이 움직이기 전 시각, dY : 차량의 움직임에 따른 거리차이 변화값, Y1 : t1 일 때의 거리차이, Y2 : t0 일 때 거리차이
수학식 1에 따르면, 전면이 우측 도로차선을 향하고 있는 차량이 t0 내지 t1시간동안 전진 동작을 하면, Y1은 Y0보다 작은 값을 가지게 되고, 거리변화율은 음의 값으로 계산된다. 만약, 전면이 우측 도로차선을 향하고 있는 차량이 t0 내지 t1시간 동안 후진 동작을 하면, Y1은 Y0보다 큰 값을 가지게 되고, 거리변화율은 양의 값으로 계산된다. 거리변화율은 전면이 좌측 도로차선을 향하고 있는 차량에 대해서도 위와 동일한 거리변화율을 가진다.
또한, 동작 판단부(130)는 차량의 전진 또는 후진 동작 이후에 일정 시간 동안 연속으로 거리변화율을 계산할 수 있다. 이는, 연속으로 계산된 거리변화율을 참고하여 차량의 전진 또는 후진 동작 판단에 오류가 없게 하기 위함이며, 잘못된 전진 또는 후진 판단에 의해 생길 수 있는 위험을 줄일 수 있다. 예를 들어, 동작 판단부(130)가 거리변화율을 연속으로 2번 계산하고 각각 음수, 음수가 계산되었다면 차량이 전진동작하는 것으로 판단하는데 오류가 없을 것이다. 하지만, 동작 판단부(130)가 연속으로 2번 계산한 거리변화율이 각각 음수, 양수로 계산되었다면 각각 전진동작, 후진동작으로 판단할 수 있다. 하지만, 이는 연속 계산에서는 불가능한 경우이므로, 거리변화율 계산상 오류거나 차선 인식부(110) 및 거리 측정부(120)에서 오류가 발생한 것으로 인식하여, 동작 판단부(130)은 차량의 동작을 판단하지 않는다. 이는 연속 계산이 차량의 동작 변화보다 빠르기 때문이다.
또한, 동작 판단부(130)는 차량의 속도센서를 이용하여 측정한 종방향 속도가 0이 되면 차량의 전진 또는 후진 동작을 다시 판단할 수 있다.
이는 종방향 속도로 전진 또는 후진동작 하는 차량은 종방향 속도가 0이 되지 않으면, 전진에서 후진 또는 후진에서 전진으로 변환할 수 없기 때문이다. 이 점을 이용하여 동작 판단부(130)가 거리변화율을 계산해서 차량의 동작을 파악하면, 종속도가 0이 되지 않는 이상 차량의 진행 방향은 동일하기 때문에 더이상 차량의 진행방향을 판단하지 않는 것이다. 이 역시, 동작 판단부(130)의 거리변화율 계산이 차량의 동작 변화보다 빠르기 때문이다.
도 2는 본 발명의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 2를 참조하면, A, B 및 C 차량 모두 우측차선을 향하고 있으며, 차량의 전면 방향과 우측 도로차선은
Figure 112014119560012-pat00002
의 각도를 이루고 있다. 다만, A차량은 전진하고 있으며, 기존의 조향 토크 장치를 이용하여 목표 토크로 조타장치를 동작한다. B차량은 후진하고 있으며, 기존의 조향 토크 장치를 이용하여 목표 토크로 조타장치를 동작한다. C차량은 후진하고 있으며, 본 발명의 토크 장치를 이용하여 목표 토크의 크기로 동작하되, 목표토크의 반대 방향으로 조타장치를 동작한다.
여기서 목표 토크는 차량이 도로차선과 평행이 되도록 하는 조향 보조력 토크를 의미하는 것으로, 차량의 전면이 향하는 방향에 의존하는 조향 보조력 토크이다. 예를 들면, 차량의 전면이 향하는 방향이 우측 도로차선이면 조향 보조력 토크는 차량 조타 장치를 반시계 방향으로 작동시키는 방향을 가지며,
Figure 112014119560012-pat00003
의 각도에 비례하는 크기를 가지며, 이와 달리, 차량의 전면이 향하는 방향이 좌측 도로차선이면 조향 보조력 토크는 차량 조타 장치를 시계 방향으로 작동시키는 방향을 가지며,
Figure 112014119560012-pat00004
의 각도에 비례하는 크기를 가진다.
Figure 112014119560012-pat00005
는 차량의 전면 방향과 좌측 도로차선이 이루는 각도이다.
따라서, 도 2의 A차량이 기존 조향 토크 장치를 사용하면 조타장치가 반시계 방향(210)으로 동작하고, A차량이 도로차선을 넘어가는 위험은 생기지 않는다. 하지만, B차량이 기존의 조향 토크 장치를 사용하면 조타장치가 반시계 방향(220)으로 동작하고, B차량은 후진하면서 좌측 도로차선을 넘어가게 되는 위험이 발생할 수 있다. 즉, 이상적으로 B차량의 조타장치는 A차량의 조타장치와는 달리 시계방향으로 동작을 해야 하지만, 기존 조향 토크 장치를 사용하면 B차량과 A차량의 조타장치 모두 반시계방향으로 동작을 하여 B차량은 위험할 수 있다.
이와 달리, C차량이 본 발명의 조향 토크 장치를 사용하면, 본 발명의 조향 토크 장치의 거리변화율이 양수로 계산되고, C차량이 후진하는 것으로 판단하여 목표토크 방향의 반대 방향인 시계방향(230)으로 C차량의 조타장치를 동작시켜 C차량은 도로차선을 넘지 않는다.
도 3은 본 발명의 동작 판단부의 동작을 설명하기 위한 예를 도시한 도면이다.
본 발명의 조향 토크 보정 장치는 거리차이의 시간당 변화율인 거리변화율을 계산하고, 거리변화율이 음의 값으로 계산되면, 차량이 전진 동작하는 것으로 판단하고, 거리변화율이 양의 값으로 계산되면, 차량이 후진 동작하는 것으로 판단할 수 있다.
도 3을 참조하면, A차량 및 B차량 모두 전면이 우측 도로차선을 향하고 있으며, 또한 전진방향과 도로차선의 각도는 변하지 않고 움직인다. 다만, A차량은 t0시각에 Y0 거리차이를 가지는 상황에서 일정 시간 동안 전진하여 t1시각에 Y1의 거리차이를 가지는 반면, B차량은 t0'시각에 Y0'의 거리차이를 가지는 상황에서 일정 시간 동안 후진하여 t1'시각에 Y1'의 거리차이를 갖는 상황이다. A차량 및 B차량에 대해 수학식 1을 사용하여 거리변화율을 계산할 수 있으며, 각각 수학식 2 및 수학식 3으로 표현된다. A차량의 거리변화율은 음수가 되어 동작 판단부는 A차량이 전진하고 있음을 판단할 수 있으며, B차량의 거리변화율은 양수가 되어 동작 판단부는 B차량이 후진하고 있음을 판단할 수 있다.
Figure 112014119560012-pat00006
Figure 112014119560012-pat00007
도 4는 본 발명의 다른 실시예에 따른 조향 토크 보정 장치의 동작을 설명하기 위한 도면이다.
본 발명의 조향 토크 보정 장치는 거리차이의 시간당 변화율인 거리변화율을 계산하고 거리변화율이 음의 값으로 계산되면 차량이 전진 동작하는 것으로 판단하고, 거리변화율이 양의 값으로 계산되면 차량이 후진 동작하는 것으로 판단할 수 있다.
도 4를 참조하여 간략히 다시 설명하면, 본 발명의 조향 토크 보정 장치의 차선 인식부는 도로차선을 인식한다(S400). 차선 인식부는 차량의 카메라를 이용하여 도로차선을 인식할 수 있다. 간단히 설명하면, 카메라 장치에 도로차선의 색상 및 폭의 길이정보를 미리 입력하고, 카메라 장치가 물체 또는 색상을 가지는 무늬를 측정하면 미리 입력한 도로차선의 색상 및 폭의 길이정보와 비교하여 일치 여부를 확인함으로써 도로차선을 인식할 수 있다.
이 후, 거리 측정부는 인식된 도로차선과 차량과의 거리차이를 측정한다(S410). 거리차이는 도로차선과 차량과의 최단거리를 의미할 수 있다. 다음 동작 판단부가 앞선 수학식 1을 사용하여 거리변화율을 계산한다(S420). 거리변화율 계산이 끝나면, 동작 판단부는 거리변화율이 음의 값인지 판단한다(S430). 거리변화율이 음의 값으로 판단되면, 동작 판단부는 차량이 전진 동작하는 것으로 판단하고 종료한다(S440). 만약, S430 단계에서 거리변화율이 음의 값이 아닌 것으로 판단되면, 동작 판단부는 거리변화율이 양의 값인지 판단한다(S435). 거리변화율이 양의 값으로 판단되면, 동작 판단부는 차량이 후진 동작하는 것으로 판단하고 종료한다(S445). S435 단계에서 거리변화율이 양의 값이 아닌 것으로 판단되면, 즉, 거리변화율이 0으로 계산되었다면, 동작 판단부는 차량의 전진 또는 후진 동작을 판단하지 않고 S400 내지 S445 단계를 다시 수행할 수 있다.
도 5는 본 발명의 또 다른 일 실시예에 따른 조향 토크 보정 장치의 구성을 도시한 도면이다.
본 발명의 조향 토크 보정 장치는 차량의 속도센서를 이용하여 종방향 속도를 측정하는 속도 측정부 및 차량의 전진방향과 도로차선의 각도를 계산하는 각도 계산부를 더 포함하고, 동작 판단부는 거리변화율의 크기가 미리 설정된 오차 범위 내의 종방향 속도와 각도의 곱에 해당하는 경우, 거리변화율을 이용하여 차량의 전진 또는 후진 동작을 판단할 수 있다.
도 5를 참조하면, 차선 인식부(510)및 거리 측정부(520)가 도 1의 차선 인식부 및 거리 측정부와 동일 동작을 수행하며, 추가적으로 차량의 속도센서를 이용하여 종방향 속도를 측정하는 속도 측정부(530)와 차량의 전진방향과 도로차선의 각도를 계산하는 각도 계산부(540)를 더 포함하고, 도 1의 동작 판단부의 기능을 수행하면서, 추가적으로 거리변화율의 크기가 미리 설정된 오차 범위 내의 종방향 속도와 각도의 곱에 해당하는 지를 더 판단하는 기능이 추가된 동작 판단부(550)를 포함한다.
다만, 속도 측정부(530)가 측정하는 종방향 속도는 양산 차량에서 측정하는 속도 정보이며, 양수로만 표현되어 종방향 속도 정보에는 차량의 전진 또는 후진에 관한 정보가 포함되어 있지 않다.
각도 계산부(540)는 차량의 전진방향과 도로차선의 각도[
Figure 112014119560012-pat00008
]를 계산할 수 있다. 간략히 설명하면, 종방향 속도를 이용하여 차량이 t1-t0 시간 동안 움직인 종방향 이동거리(L)를 계산 가능하고, 거리 측정부(520)에서 t1시각에서의 거리차이 Y1과 t0시각에서의 거리차이 Y0를 뺄셈함으로써 거리차이의 변화값(dY)을 구할 수 있다. 종방향 이동거리[L], 거리차이의 변화값[dY] 및 각도[
Figure 112014119560012-pat00009
]는 다음 수학식 4와 같은 관계를 가진다.
Figure 112014119560012-pat00010
따라서 수학식 4의 관계에 의해 각도[
Figure 112014119560012-pat00011
]는 다음 수학식 5와 같이 구할 수 있다.
Figure 112014119560012-pat00012
동작 판단부(550)는 거리변화율의 크기가 미리 설정된 오차 범위 내의 종방향 속도와 각도의 곱에 해당하는 경우, 차량의 전진 또는 후진 동작을 판단할 수 있다. 자세히 설명하면, 거리변화율의 크기[|dY/dt|], 종방향 속도[V] 및 각도[
Figure 112014119560012-pat00013
]는 다음 수학식 6, 수학식 7과 같은 관계를 갖는다.
Figure 112014119560012-pat00014
Figure 112014119560012-pat00015
수학식 6에 대한 자세한 설명은 도 6을 참조한다.
도 6은 본 발명의 또 다른 일 실시예에 대해 각도, 종방향 속도 및 거리차이의 관계를 도시한 도면이다.
도 6을 참조하면, 종방향 이동거리[dL]은 차량이 t0에서 일정 시간[dt]후인 t1동안 종방향 속력으로 이동한 거리이며, 거리차이의 변화값 크기[|dY|]는 t1에서의 거리차이[Y1]에서 t0에서의 거리차이[Y0]를 뺄셈후 크기가 된다. 또한 종방향 이동거리와 각도에 의한 호의 길이는 종방향 이동거리와 각도의 곱으로 표현할 수 있다. 여기서 각도는 라이안(ridian)값이다. 또한, 수학식 4의 관계와 같은 맥락에 의해 종방향 이동거리[dL]와 거리차이의 변화값 크기[|dY|]는 각도[
Figure 112014119560012-pat00016
]에 대해 사인함수 관계를 갖는다. 도 6에서 확인 할 수 있듯이, 호의 길이 dL*
Figure 112014119560012-pat00017
는 거리차이의 변화값 크기[|dY|] 보다 큰 값을 갖지만, 호의 길이 dL*
Figure 112014119560012-pat00018
및 거리차이의 변화값[|dY|]는 미소값으로서 매우 작기 때문에 근사적으로 비슷하다고 볼 수 있으며, 수학식 6으로 표현할 수 있다. 또한, dL/dt는 종방향 속도를 의미하기 때문에 수학식 7과 같으며, 수학식 6과 수학식 7을 이용하여 다음 수학식 8을 계산할 수 있다.
Figure 112014119560012-pat00019
다시 도 5를 참조하면, 동작 판단부(550)는 수학식 8의 관계에 의해 거리변화율의 크기가 미리 설정된 오차 범위 내의 종방향 속도와 각도의 곱에 해당하면 거리변화율 계산에 오류가 없음을 확인할 수 있고, 확인된 거리변화율을 적용하면 차량의 전진 또는 후진 동작을 정확하게 판단할 수 있다. 미리 설정된 오차 범위는 수학식 8에서 볼 수 있듯이 거리변화율의 크기와 V*
Figure 112014119560012-pat00020
가 근사적으로 같기 때문에 이 근사를 고려한 값이 될 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 조향 토크 보정 장치의 동작을 설명하기 위한 도면이다.
차선 인식부가 도로차선을 인식한다(S700). 간략하게 설명하면, 차량의 카메라를 이용하여 인식하는 것으로서, 도로차선의 정보(예를 들어, 차선 색상 및 차선 너비)를 미리 입력하고, 카메라로 촬영한 사물 또는 무늬와 도로차선의 정보를 비교함으로써, 도로차선을 인식할 수 있다.
거리 측정부가 인식된 도로차선과 차량과의 거리차이를 측정한다(S710). 거리차이는 도로차선과 차량과의 최단거리를 의미하는 것으로, 최단 거리는 도로차선을 직선으로 차량을 한 점A로 보았을 때, 점A와 직선과의 가장 짧은 거리를 뜻한다.
속도 측정부가 차량의 종방향 속도를 측정한다(S720). 종방향 속도는 양산 차량에서 측정하는 값으로서, 양수로만 표현되기 때문에 물리적으로 속력 개념이다. 따라서 이 종방향 속도로는 차량의 전진하는지 후진하는지 판단할 수 없다.
각도 계산부가 차량의 전진 방향과 도로차선의 각도를 계산한다(S730). 각도는 수학식 5를 사용함으로써 구할 수 있다. 만약, 도로차선이 곡선 상태이면, 곡선 도로차선의 접선을 구한 후, 이 접선인 도로차선에 대해 각도를 계산할 수 있다.
동작 판단부가 거리차이의 시간당 변화율인 거리변화율을 계산한다(S740). 거리변화율은 수학식 1을 적용하여 구할 수 있다. 또한 동작 판단부는 계산한 거리변화율의 크기가 미리 설정한 정확도 내의 종방향 속도와 각도의 곱인지 확인하여 거리변화율 계산에 오류가 없는지 판단한다(S750). 거리변화율, 종방향 속도 및 각도의 관계는 수학식 6 내지 8의 관계를 갖기 때문에, 종방향 속도와 각도의 곱은 거리변화율과 높은 정확도로 일치할 수 있다. S750 단계는 미리 설정한 정확도가 0.95인 일 예시로서, 이 정확도는 실험에 의한 데이터에 기초하여 정할 수 있다.
S750 단계에 의해 거리변화율의 크기가 미리 설정한 정확도 외의 종방향 속도와 각도의 곱이면(예를 들어, 거리변화율이 0.95*종방향 속도*각도 이하의 값), 동작 판단부는 차량의 동작을 판단하지 않고 종료한다. 이와 달리, S750 단계에 의해 거리변화율에 오류가 없는 것으로 판단되면, 동작 판단부는 거리변화율이 음의 값인지를 판단한다(S760). S760 단계에서 거리변화율이 음의 값으로 판단되면 동작 판단부는 차량이 전진 동작하는 것으로 판단하고 종료한다(S770). S760에서 거리변화율이 음의 값이 아닌 것으로 판단되면, 동작 판단부는 거리변화율이 양의 값인지를 판단한다(S765). S765 단계에서 거리변화율이 양의 값으로 판단되면 동작 판단부는 차량이 후진 동작하는 것으로 판단하고 종료한다(S775). S765 단계에서 거리변화율이 양의 값이 아닌 것으로 판단되면, 동작 판단부는 차량의 동작 여부를 판단하지 않고 종료한다.
본 발명의 조향 토크 보정 장치는 S700 내지 S740 단계의 과정, S700 내지 S750 단계의 과정 또는 S700 내지 S765 단계의 과정을 미리 설정된 횟수만큼 실행한 후, S770, S775 단계를 수행할 수 있다. 이로써, S700 내지 S765 단계 중 하나 이상의 오류가 존재할 시, 발생할 수 있는 동작 판단부의 잘못된 판단을 예방할 수 있다.
또한, 동작 판단부가 차량의 동작을 판단하고, S720 단계에서 측정한 종방향 속도가 0이 되면 동작 판단부가 차량의 동작을 다시 판단한다. 이로써, S700내지 S765 단계의 과정의 횟수를 최적으로 제한할 수 있다.
본 발명의 조향 토크 보정 장치는 보조 조향 토크를 제어하는 제어부를 더 포함하고, 제어부는 차량이 전진 동작하는 것으로 판단되면 보조 조향 토크를 목표 토크로 제어하고, 차량이 후진 동작하는 것으로 판단되면 보조 조향 토크를 목표 토크의 크기로 동작하되, 목표 토크의 방향과 반대 방향으로 제어할 수 있다.
목표 토크는 차량의 전진 또는 후진 동작을 고려하지 않고 전진하여 도로차선과 평행이 되도록 하는 조향 보조력 토크이다. 즉, 차량의 전면이 우측 도로차선을 향하면 목표 토크는 차량의 조타기가 반시계 방향으로 동작하도록 하며, 이와 달리 차량의 전면이 좌측 도로차선을 향하면 차량의 조타기가 시계 방향으로 동작하도록 한다.
도 2를 참고하면, 차량이 전진동작시, 제어부는 목표 토크의 크기와 방향이 동일한 보조 조향 토크로 A차량과 같이 제어하면 우측 도로차선을 침범하지 않게 되어 안전할 수 있다. 반면, 차량이 후진동작시, 목표 토크의 크기와 방향이 동일한 보조 조향 토크로 B차량과 같이 제어하면 차량이 좌측 도로차선을 침범하여 위험을 초래할 수 있다. 따라서, 차량이 후진동작시, 목표 토크의 크기는 같되, 목표 토크의 방향과 반대 방향인 보조 조향 토크로 C차량과 같이 제어하면 차량이 좌측 도로차선을 침범하지 않게 되어 안전할 수 있다.
이하에서는 도 1 내지 도 7을 이용하여 설명한 조향 토크 보정 장치가 수행하는 동작인 조향 토크 보정 방법에 대해서 간략하게 설명한다.
도 8은 본 발명의 일 실시예에 따른 조향 토크 보정 방법의 흐름도를 도시한 도면이다.
본 발명의 조향 토크 보정 방법은 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식단계와 차량과 도로차선과의 거리차이를 측정하는 거리 측정단계 및 거리차이의 시간당 변화율인 거리변화율을 계산하고 거리변화율을 이용하여 차량의 전진 또는 후진 동작을 판단하는 동작 판단단계를 포함하는 조향 토크 보정 방법을 제공한다.
조향 토크 보정 방법은 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식단계를 포함할 수 있다(S800). 차선 인식단계는 도로차선의 정보(예를 들어, 도로차선의 색상 및 너비)를 미리 입력하고, 카메라로 촬영한 물체 또는 무늬를 미리 입력한 도로차선의 정보와 비교하여 도로차선을 인식할 수 있다. 비교하는 방법에 있어서, 일 예로, 색상 및 너비를 숫자로 표현하면 카메라로 촬영한 물체 또는 무늬뿐만 아니라 미리 입력한 도로차선의 정보 역시 숫자를 갖는다. 이 숫자를 견주어 비교함으로써 도로차선을 인식 할 수 있다. 실 예를 들어, 미리 입력한 도로차선의 정보의 숫자가 50이고, 카메라를 촬영한 5개의 물체 또는 무늬의 숫자가 각각 20, 35, 45, 50, 60 이라고 하면, 50의 숫자에 해당하는 물체 또는 무늬가 도로차선으로 인식할 수 있다. 여기서 만일, 숫자의 0.1의 오차를 인정하도록 미리 설정되었다면, 45, 50의 숫자에 해당하는 물체 또는 무늬가 도로차선으로 인식할 수 있다.
조향 토크 보정 방법은 인식된 도로차선과 차량과의 거리차이를 측정하는 거리 측정단계를 포함할 수 있다(S810). 거리 측정단계는 인식한 도로차선과의 최단거리를 측정한다. 간략히 설명하면, 거리값을 미리 알고 있는 A물체와 인식한 도로차선을 비교하여 도로차선의 거리값을 측정할 수 있다. 한 대의 카메라로 측정을 하는 경우, 카메라, A물체 및 도로차선이 같은 1차원 또는 2차원에 존재하는 경우에만 측정할 수 있다. 카메라, A물체 및 도로차선이 3차원으로 존재하는 경우, 두 대의 카메라 또는 한대의 카메라와 물체를 인식할 수 있는 장치를 사용하여 측정할 수 있다.
조향 토크 보정 방법은 거리차이의 시간당 변화율인 거리변화율을 계산하고, 거리변화율의 계산값이 양수 또는 음수인지 판단하여 차량의 전진 또는 후진 동작을 판단하는 동작 판단단계를 포함할 수 있다(S820). 간략히 설명하면 수학식 1을 이용하여 거리변화율을 계산하고, 계산된 거리변화율이 음수 또는 양수이면 차량은 각각 전진 또는 후진하는 것으로 판단할 수 있다.
거리변화율이 음수면 전진, 양수이면 후진 판단은 거리변화율을 계산하는데 사용한 거리차이가 차량의 전면이 향하는 도로차선과 차량의 최소 거리값으로 정의되었기 때문이다. 따라서 거리차이가 차량 후면이 향하는 도로차선과 차량의 최소 거리값으로 정의하여 거리변화율을 계산하면, 계산된 거리변화율이 음수 또는 양수이면 차량은 각각 후진 또는 전진하는 것으로 판단될 수 있으므로, 거리변화율이 음수면 전진, 양수이면 후진의 관계는 항상 성립하지 않을 수 있다.
이상에서, 직선 도로차선에 대한 설명만 하였지만, 곡선 도로차선에서도 미소시간에 의한 움직임을 고려하면 직선 도로차선과 동일하게 적용이 가능하므로 따로 설명을 안 한 것일 뿐, 본 발명이 직선 도로차선에만 해당하는 것은 아니다.
이 외에도 본 발명의 조향 토크 보정 방법은 도 1 내지 도 7에 기초하여 설명한 본 발명의 조향 토크 보정 장치가 수행하는 각 동작을 모두 수행할 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

  1. 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식부;
    상기 차량의 속도센서를 이용하여 종방향 속도를 측정하는 속도 측정부;
    상기 차량의 전진방향과 상기 도로차선의 각도를 계산하는 각도 계산부;
    상기 차량과 상기 도로차선과의 거리차이를 측정하는 거리 측정부; 및
    상기 거리차이의 시간당 변화율인 거리변화율을 계산하고, 상기 거리변화율의 크기가 상기 종방향 속도와 상기 각도의 곱으로부터 미리 설정된 오차 범위 내에 해당하면 상기 거리변화율 계산에 오류가 없는 것으로 판단하고 상기 거리변화율을 이용하여 상기 차량의 전진 또는 후진 동작을 판단하는 동작 판단부를 포함하는 조향 토크 보정 장치.
  2. 제 1항에 있어서,
    상기 동작 판단부는,
    상기 거리변화율이 음의 값으로 계산되면, 상기 차량이 전진 동작하는 것으로 판단하고 상기 거리변화율이 양의 값으로 계산되면 상기 차량이 후진 동작하는 것으로 판단하는 것을 특징으로 하는 조향 토크 보정 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 동작 판단부는,
    상기 차량의 전진 또는 후진 동작 이후에 일정 시간 동안 연속으로 거리변화율을 계산하는 것을 특징으로 하는 조향 토크 보정 장치.
  5. 제 1항에 있어서,
    상기 동작 판단부는,
    상기 종방향 속도가 0이 되면 상기 차량의 동작을 다시 판단하는 것을 특징으로 하는 조향 토크 보정 장치
  6. 제 1항에 있어서,
    보조 조향 토크를 제어하는 제어부를 더 포함하고,
    상기 제어부는,
    상기 차량이 전진 동작하는 것으로 판단되면 보조 조향 토크를 목표 토크로 제어하고,
    상기 차량이 후진 동작하는 것으로 판단되면 보조 조향 토크를 상기 목표 토크의 크기로 동작하되, 상기 목표 토크의 방향과 반대 반향으로 제어하는 것을 특징으로 하는 조향 토크 보정 장치.
  7. 제 6항에 있어서,
    상기 목표 토크는,
    상기 차량이 상기 도로차선과 평행이 되도록 하는 조향 보조력 토크인 것을 특징으로 하는 조향 토크 보정 장치.
  8. 차량의 카메라를 이용하여 도로차선을 인식하는 차선 인식단계;
    상기 차량의 속도센서를 이용하여 종방향 속도를 측정하는 속도 측정단계;
    상기 차량의 전진방향과 상기 도로차선의 각도를 계산하는 각도 계산단계;
    상기 차량과 상기 도로차선과의 거리차이를 측정하는 거리 측정단계; 및
    상기 거리차이의 시간당 변화율인 거리변화율을 계산하고, 상기 거리변화율의 크기가 상기 종방향 속도와 상기 각도의 곱으로부터 미리 설정된 오차 범위 내에 해당하면 상기 거리변화율 계산에 오류가 없는 것으로 판단하고 상기 거리변화율을 이용하여 상기 차량의 전진 또는 후진 동작을 판단하는 동작 판단단계를 포함하는 조향 토크 보정 방법.
KR1020140175588A 2014-12-09 2014-12-09 조향 토크 보정 장치 및 방법 KR101597771B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140175588A KR101597771B1 (ko) 2014-12-09 2014-12-09 조향 토크 보정 장치 및 방법
DE102015015681.0A DE102015015681B4 (de) 2014-12-09 2015-12-03 Lenkdrehmoment-kompensationsvorrichtung und lenkdrehmoment-kompensationsverfahren
CN201510897059.XA CN105691453B (zh) 2014-12-09 2015-12-08 转向扭矩补偿设备以及转向扭矩补偿方法
US14/963,140 US9637170B2 (en) 2014-12-09 2015-12-08 Steering torque compensating apparatus and steering torque compensating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140175588A KR101597771B1 (ko) 2014-12-09 2014-12-09 조향 토크 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101597771B1 true KR101597771B1 (ko) 2016-02-25

Family

ID=55446192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140175588A KR101597771B1 (ko) 2014-12-09 2014-12-09 조향 토크 보정 장치 및 방법

Country Status (4)

Country Link
US (1) US9637170B2 (ko)
KR (1) KR101597771B1 (ko)
CN (1) CN105691453B (ko)
DE (1) DE102015015681B4 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106289159B (zh) * 2016-07-28 2019-12-10 北京智芯原动科技有限公司 基于测距补偿的车辆测距方法及装置
KR102553247B1 (ko) * 2018-04-27 2023-07-07 주식회사 에이치엘클레무브 전방 차량 추종 제어 시 안전성을 향상할 수 있는 차선 유지 보조 시스템 및 방법
CN108859951B (zh) * 2018-05-18 2021-08-03 武汉理工大学 一种汽车转向系的转向预警系统
CN109229095A (zh) * 2018-10-30 2019-01-18 百度在线网络技术（北京）有限公司 用于确定自动泊车效果的方法、装置、设备和存储介质
KR102034316B1 (ko) * 2019-01-29 2019-11-08 주식회사 만도 차량 위치 보정 시스템 및 방법, 그리고 카메라
WO2021216570A1 (en) * 2020-04-21 2021-10-28 Polaris Industries Inc. Systems and methods for operating an all-terrain vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100064178A (ko) * 2008-12-04 2010-06-14 주식회사 만도 전동식 파워스티어링 제어 시스템 및 그 방법
KR20130056271A (ko) * 2013-05-15 2013-05-29 주식회사 만도 차선유지 보조 시스템 및 그 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3103052B2 (ja) 1997-11-18 2000-10-23 本田技研工業株式会社 車両用操舵装置
DE102005061909A1 (de) * 2005-12-23 2007-07-05 Volkswagen Ag Parklenkassistenzsystem und Verfahren zum Betreiben eines Parklenkassistenzsystems
JP4721279B2 (ja) * 2006-03-29 2011-07-13 富士重工業株式会社 車線追従支援装置
US8095277B2 (en) 2006-09-12 2012-01-10 Continental Teves AG & Co. OMG Method for determining a direction of travel in a motor vehicle
US8957788B2 (en) 2011-10-28 2015-02-17 Xerox Corporation Vehicle reverse detection method and system via video acquisition and processing
US11190738B2 (en) 2012-12-28 2021-11-30 Robert Bosch Gmbh Vehicle standstill recognition
JP5743286B2 (ja) * 2012-12-28 2015-07-01 富士重工業株式会社 車両の運転支援装置
EP2837538B1 (en) 2013-08-16 2021-06-02 Veoneer Sweden AB A vehicle safety system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100064178A (ko) * 2008-12-04 2010-06-14 주식회사 만도 전동식 파워스티어링 제어 시스템 및 그 방법
KR20130056271A (ko) * 2013-05-15 2013-05-29 주식회사 만도 차선유지 보조 시스템 및 그 방법

Also Published As

Publication number Publication date
US9637170B2 (en) 2017-05-02
DE102015015681B4 (de) 2022-05-05
CN105691453B (zh) 2018-02-16
CN105691453A (zh) 2016-06-22
US20160159395A1 (en) 2016-06-09
DE102015015681A1 (de) 2016-06-09

Similar Documents

Publication Publication Date Title
KR101597771B1 (ko) 조향 토크 보정 장치 및 방법
US10378890B2 (en) Apparatus and method for determining wheel alignment change of vehicle
US10730555B2 (en) System for controlling the steering means of a motor vehicle in case of an imminent collision with an obstacle
US9594166B2 (en) Object detecting apparatus
CN109923028B (zh) 中立点检测装置以及转向操纵控制系统
US9952599B2 (en) Driving control device
WO2018008565A1 (ja) 車両制御装置
EP3613647B1 (en) Automatic parking control device
KR101748269B1 (ko) 자율 주행 차량의 조향 제어 방법 및 장치
JP5396873B2 (ja) ドライバ操作予測装置及びプログラム
JP2007331458A (ja) 回避制御装置、この回避制御装置を備える車両および回避制御方法
CN111645679B (zh) 用于车辆的侧面碰撞风险估计系统
KR101896720B1 (ko) 자동 차선 변경 제어 시스템
KR20140104611A (ko) 차량의 자동 주차 장치 및 이를 이용한 방법
US20200307590A1 (en) Highway exit detection and line mirroring for vehicle trajectory determination
WO2015015939A1 (ja) 車両位置姿勢角推定装置及び車両位置姿勢角推定方法
CN112644489A (zh) 车道跟随控制设备和方法
KR102011663B1 (ko) 차선 유지 보조 시스템의 시험 평가 장치 및 방법
KR20210087006A (ko) 차선 유지보조 시스템 및 방법
JP6171849B2 (ja) 移動体位置姿勢角推定装置及び移動体位置姿勢角推定方法
KR20210126442A (ko) 차량의 후측방 경고 시스템 및 방법
KR101345433B1 (ko) 조향핸들 미파지 상태 검출 방법 및 그 장치
US11904850B2 (en) System for and method of recognizing road surface
KR20200070702A (ko) 더 정확한 차선 인식 시스템을 위한 차선 인식 검증 방법
JP5049853B2 (ja) 車両の物体検知装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 5