KR101499455B1 - 차량의 차선 이탈 경보 장치 및 방법 - Google Patents

차량의 차선 이탈 경보 장치 및 방법 Download PDF

Info

Publication number
KR101499455B1
KR101499455B1 KR1020130087374A KR20130087374A KR101499455B1 KR 101499455 B1 KR101499455 B1 KR 101499455B1 KR 1020130087374 A KR1020130087374 A KR 1020130087374A KR 20130087374 A KR20130087374 A KR 20130087374A KR 101499455 B1 KR101499455 B1 KR 101499455B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
extension line
distance
lane departure
Prior art date
Application number
KR1020130087374A
Other languages
English (en)
Other versions
KR20150012044A (ko
Inventor
서창형
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020130087374A priority Critical patent/KR101499455B1/ko
Publication of KR20150012044A publication Critical patent/KR20150012044A/ko
Application granted granted Critical
Publication of KR101499455B1 publication Critical patent/KR101499455B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

전방 카메라만을 이용하는 차선 이탈 경보 장치는, 운전자가 전방 시야를 확보할 수 없는 상황이 발생하면, 전방 카메라가 촬영한 영상에서 차선을 인식할 수 없는 문제가 발생한다. 따라서 이러한 경우에도 운전자의 안전 운전을 위해서 차선 이탈 경보 장치가 동작할 필요가 발생한다. 본 발명에서는, 차량 전방의 영상에서 차선을 인식할 수 없는 상황이 발생하면, 차량 후방 카메라가 촬영하는 후방 영상을 이용하여 차선을 인식하고 차선 이탈 여부를 판단할 수 있는 방법을 제공한다.

Description

차량의 차선 이탈 경보 장치 및 방법 {APPARATUS AND METHOD OF LANE DEPARTURE WARNNING FOR VEHICLE}
본 발명은 차량의 차선 이탈 경보 장치와 방법에 관한 것이다. 보다 자세하게는, 차량의 후방 영상을 이용하여 차선 정보를 추출하고 상기 추출된 차선 정보를 이용하여 차선 이탈 여부를 판단하며 차선 이탈 시에 사용자에게 경보 하는 장치 및 방법에 관한 것이다.
차량의 전방에 설치된 카메라가 촬영하는 영상을 분석하여, 차선 정보를 추출하는 방법이 널리 알려져 있다. 이렇게 추출된 차선 정보를 이용하여 차량이 차선을 이탈하는 경우 경보로 알려주는 LDWS(Lane Departure Warnning System) 기술도 널리 알려져 있다.
그러나, 차량 전방에 설치된 카메라가 인식하는 시야는 운전자의 시야와 비슷하기 때문에 악천후를 비롯하여 운전자가 전방 시야를 인식하기 힘든 상황에서는 전방 카메라를 통한 차선 인식도 힘들다. 이러한 경우에 전방 카메라 영상을 이용한 차선 이탈 경보 장치는 그 기능을 수행할 수 없는 문제점이 있다.
근래에는, 운전자의 후방 주차를 돕기 위해서 차량의 후미에 카메라를 장착하여 운전자에게 후방 영상을 제공하는 차량이 늘어나고 있다. 전방 시야가 확보되지 않는 상황에서 후방 시야가 확보 될 수 있는 경우에, 후방 영상을 이용하여 차선 이탈 여부를 판단할 필요성이 증가하고 있다.
그러나 후방 영상은 전방 영상과 달리 후방 주차를 돕는 목적이기 때문에 시야가 짧은 편이며, 전방 영상을 이용한 LDWS 기술을 그대로 적용하기에는 무리가 있다.
따라서, 전방 시야를 확보하기 힘든 상황에서 후방 영상을 이용하여 차선을 인식하고 차선 이탈 여부를 판단할 수 있는 새로운 기술의 제공이 요구 된다.
한국공개특허 제 2005-0082353 호
본 발명이 해결하고자 하는 기술적 과제는 후방 카메라를 사용하여 차선을 인식하고 차량의 차선 이탈을 경보하는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는 후방 카메라를 사용하여 차선을 인식하고 차량의 차선 이탈을 경보하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 전방 카메라를 사용하여 차선을 인식하고 차선 이탈을 경보로 알릴 수 없는 상황에서 후방 카메라를 이용하여 차선을 인식하고 차선 이탈을 경보로 알리는 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 전방 카메라를 사용하여 차선을 인식하고 차선 이탈을 경보로 알릴 수 없는 상황에서 후방 카메라를 이용하여 차선을 인식하고 차선 이탈을 경보로 알리는 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 차선 이탈 경보 장치는, 차량의 후방 영상을 입력 받아, 상기 후방 영상에 대한 영상 처리를 통해 상기 차량이 주행 중인 차로에서 전방 주행 방향을 기준으로 좌측 차선 및 우측 차선을 식별 하는 후방 영상 처리부 및 상기 차량의 좌측면 후방 연장선과 우측면 후방 연장선을 상기 후방 영상에 가상 형성하고, 상기 좌측면 후방 연장선과 상기 식별된 좌측 차선 사이의 거리인 좌측 후방 간격 및 상기 우측면 후방 연장선과 상기 식별된 우측 차선 사이의 거리인 우측 후방 간격을 연산하고, 상기 좌측 후방 간격 및 우측 후방 간격을 이용하여 차선 이탈 여부를 판단하되, 상기 좌측 후방 간격과 우측 후방 간격은 상기 후방 영상의 하단에서 수직 상단 방향으로 후방 측정 이격 만큼 이격 된 높이를 기준으로 하여 연산되는 차선 이탈 판단부를 포함한 것이다.
일 실시예에 따르면, 상기 차선 이탈 판단부는 상기 차량의 차체 폭을 바탕으로 상기 차량의 좌측면 후방 연장선과 우측면 후방 연장선을 상기 후방 영상에 가상 형성할 수 있다.
일 실시예에 따르면, 상기 차선 이탈 판단부는 상기 좌측면 후방 연장선과 상기 좌측 차선이 형성하는 예각이 조향각 기준치보다 크고, 동시에 상기 좌측 후방 간격이 차선 이격 기준치보다 큰 경우에는 상기 우측 차선을 이탈하는 것으로 판단하고, 상기 우측면 후방 연장선과 상기 우측 차선이 형성하는 예각이 상기 조향각 기준치보다 크고, 동시에 상기 우측 후방 간격이 상기 차선 이격 기준치보다 큰 경우에는 상기 우측 차선을 이탈하는 것으로 판단할 수 있다.
일 실시예에 따르면, 상기 차선 이탈 판단부는 상기 좌측면 후방 연장선이 상기 좌측 차선보다 오른쪽에 위치하면 상기 좌측 차선을 이탈한 것으로 판단하고, 상기 우측면 후방 연장선이 상기 우측 차선보다 왼쪽에 위치하면 상기 우측 차선을 이탈하는 것으로 판단할 수 있다.
일 실시예에 따르면, 상기 후방 측정 이격은, 상기 차량의 차체 길이가 길어질수록 길어지도록 설정되는 거리일 수 있다.
일 실시예에 따르면, 상기 차선 이탈 판단부는, 상기 차량의 주행 상태에 대한 정보를 입력 받고, 상기 주행 상태에 대한 정보를 바탕으로 상기 후방 측정 이격을 동적으로 조정할 수 있다.
일 실시예에 따르면, 상기 주행 상태에 대한 정보는 상기 차량의 주행 속도를 포함하고, 상기 차선 이탈 판단부는, 상기 차량의 주행 속도가 증가할수록 상기 후방 측정 이격이 길어지도록 상기 후방 측정 이격을 동적으로 조정할 수 있다.
일 실시예에 따르면, 차량의 전방 영상을 입력 받아, 상기 전방 영상에 대한 영상 처리를 통해 상기 차량이 주행 중인 차로에서 전방 주행 방향을 기준으로 좌측 차선 및 우측 차선을 식별 하는 전방 영상 처리부를 더 포함하고, 상기 차선 이탈 판단부는 상기 전방 영상 처리부에 의한 상기 식별이 성공하는 경우에는 상기 전방 영상 처리부에 의하여 식별된 좌측 차선 및 우측 차선에 대한 정보만을 이용하여 차선 이탈 여부를 판단할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 태양에 따른 차선 이탈 경보 방법은, 차량의 전방 영상이 수집되는 단계; 상기 전방 영상으로부터 전방 차선 정보가 추출되는 단계; 상기 전방 차선 정보 추출이 성공하면 상기 전방 차선 정보를 이용하여 상기 차량의 차선 이탈 여부를 판단하는 단계; 및 상기 전방 차선 정보 추출이 미성공이면, 상기 차량의 후방 영상 정보를 이용하여 상기 차량의 차선 이탈 여부를 판단하는 단계를 포함한다.
일 실시예에 따르면, 상기 차량의 후방 영상 정보를 이용하여 차량의 차선 이탈 여부를 판단하는 단계는, 상기 차량의 후방 영상 정보에서 후방 차선 정보가 추출되는 단계; 상기 후방 차선 정보와 좌측면 후방 연장선 및 우측면 후방 연장선을 비교하여 상기 차량의 차선 이탈 여부를 판단하는 단계를 포함하되, 상기 후방 차선 정보는, 상기 차량이 주행 중인 차로의 좌측 차선과 우측 차선 정보를 포함하고, 상기 좌측면 후방 연장선은, 사전에 미리 설정된 차량의 좌측면의 가상 연장선이며, 상기 우측면 후방 연장선은, 사전에 미리 설정된 차량의 우측면의 가상 연장선일 수 있다.
상기와 같은 본 발명에 따르면, 기존의 전방 카메라가 촬영한 차량의 전방 영상을 이용한 차선 이탈 경보 장치가 전방 영상에서 차선을 인식할 수 없는 상황이 발생하면 후방 카메라를 이용하여 차선을 인식하고 차선 이탈 여부를 판단하여 사용자의 안전 운행을 계속적으로 도울 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른, 차선 이탈 경보 장치의 전체 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 차선 이탈 경보 장치가 장착된 차량에서 전방 영상 획득 장치와 후방 영상 획득 장치가 촬영할 수 있는 시야의 차이를 보여주는 그림이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른, 전방 영상을 이용하여 차선 이탈을 판단하는 방법의 예시도이다.
도 6 내지 도 10은 본 발명의 일 실시예에 따른, 후방 영상을 이용하여 차선 이탈을 판단하는 방법의 예시도이다.
도 11은 본 발명의 일 실시예에 따른, 차선 이탈 경보 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
먼저 도 1과 도 2를 참조하여, 차선 이탈 경보 장치(100)의 전체 구성을 설명하기로 한다.
도 1을 참조하면, 차선 이탈 경보 장치(100)는 전방 영상 획득 장치(115), 전방 영상 처리부(110), 후방 영상 획득 장치(125), 후방 영상 처리부(120), 차선 이탈 판단부(150) 및 경보 장치(170)를 포함할 수 있다.
전방 영상 획득 장치(115) 및 후방 영상 획득 장치(125)는 각각 차량의 전방과 후방의 영상을 획득하여 출력하는 장치이다. 예를 들어, 차량 전용 카메라, 디지털 카메라, 또는 휴대용 단말기에 장착된 카메라 장치 중에서 어느 하나를 이용할 수 있다.
전방 영상 처리부(110)는 전방 영상 획득 장치(115)가 획득한 차량의 전방 영상을 제공 받아서, 상기 영상에서 전방 차선 정보를 추출할 수 있다.
전방 영상 처리부(110)가 상기 영상에서 차선을 추출하는 방법은 종래의 기술로 널리 알려져 있기 때문에 여기서는 설명의 중복을 피하기 위해서 생략한다.
발명의 일 실시예에 따르면, 전방 영상 처리부(110)가 추출하는 상기 전방 차선 정보는 좌측 차선, 우측 차선 및 소실점 정보를 포함할 수 있다. 상기 소실점 정보는 상기 좌측 차선과 상기 우측 차선을 가상으로 연장한 선이 만나는 가상의 점을 가리킨다.
후방 영상 처리부(120)는 후방 영상 획득 장치(125)가 획득한 차량의 후방 영상을 제공 받아서, 상기 영상에서 후방 차선 정보를 추출할 수 있다.
상기 후방 차선 정보는 상기 후방 영상에서 추출한 좌측 차선과 우측 차선 정보를 포함할 수 있다. 기존의 차량 전방 영상에서 차선을 추출하는 방법은 상기 후방 영상에서 차선을 추출할 때 그대로 적용될 수 있다.
상기 후방 차선 정보는 좌측면 후방 연장선과 우측면 후방 연장선 정보를 더 포함할 수 있다. 상기 좌측면 후방 연장선은 차량의 좌측면 경계선을 차량의 후방 방향으로 연장한 가상의 선이다. 상기 우측면 후방 연장선은 차량의 우측면 경계선을 차량의 후방 방향으로 연장한 가상의 선이다.
상기 후방 차선 정보는 차후에 도 6 내지 도 8을 설명할 때 자세히 설명하기로 한다.
차선 이탈 판단부(150)는 상기 전방 차선 정보 또는 상기 후방 차선 정보를 이용하여 차량의 차선 이탈 여부를 판단한다.
발명의 일 실시예에 따르면, 차선 이탈 판단부(150)는 상기 전방 차선 정보만을 이용하여 차선 이탈 여부를 판단하며, 상기 전방 차선 정보를 이용할 수 없는 상황에서만 상기 후방 차선 정보를 이용하여 차선 이탈 여부를 판단할 수 있다. 상기 전방 차선 정보를 이용할 수 없는 상황은, 예를 들어 우천시 전방 윈드쉴드에 물방울이 맺히거나 도로의 물이 전방 주행차량으로 인해 튀어서 차선감지가 불가능한 상황일 수 있다.
차선 이탈 판단부(150)가 상기 전방 차선 정보를 이용하여 차선 이탈 여부를 판단하는 것은 도 3 내지 도 5 의 설명에서 자세히 다루도록 하며, 상기 후방 차선 정보를 이용하여 차선 이탈 여부를 판단하는 것은 도 6 내지 도 8의 설명에서 자세히 다루도록 한다.
경보 장치(170)는 차선 이탈 판단부(150)가 차선 이탈로 판단한 경우에 운전자에게 경보를 알려주는 장치이다.
발명의 일시예에 따르면, 경보 장치(170)는 스피커, 점등 램프, LCD 디스플레이 및 진동 장치 중에서 적어도 어느 하나 일 수 있다. 차선 이탈로 판단된 경우에 경보 장치(170)는 소리, 램프의 점등, LCD 디스플레이의 표시 및 진동 중에서 적어도 어느 하나의 방법으로 운전자에게 차선 이탈을 경보할 수 있다.
도 2는 본 발명의 차선 이탈 경보 장치(100)가 장착된 차량이 도로의 차선(210, 220) 안에서 주행할 때, 전방 영상 획득 장치(115)와 후방 영상 획득 장치(125)가 인식하는 시야 범위(130, 150)의 차이를 나타낸다.
전방 영상 획득 장치(115)가 인식하는 차량의 전방 시야(130)는 후방 영상 획득 장치(125)가 인식하는 차량의 후방 시야(150)보다 넓을 수 있다. 후방 영상 획득 장치(125)는 운전자의 후방 주차를 돕기 위해 전방 영상 획득 장치(115)보다는 좀 더 도로면을 바라보도록 기울여져 설치가 될 수 있기 때문이다.
전방 영상 획득 장치(115)와 후방 영상 획득 장치(125)의 상기 시야 차이(130, 150) 때문에, 각 영상에서 차선을 인식하는 방법은 동일 할 수 있지만, 각 영상이 인식한 차선을 이용하여 차선 이탈을 판단하는 방법을 다를 수 있다.
먼저 도 3 내지 도 5를 참조하여, 전방 영상 획득 장치(115)가 촬영한 차량의 전방 영상을 이용한 차선 이탈 여부 판단 방법을 설명하기로 한다.
도 3은 전방 영상 획득 장치(115)가 촬영한 상기 차량의 전방 영상의 한 예시이다. 설명의 편의를 위해서 도 3의 전방 영상을 이용하여 차선 이탈 여부 판단 방법을 설명한다.
발명의 일 실시예에 따르면, 전방 영상 처리부(110)는 전방 영상 획득 장치(115)가 제공하는 상기 전방 영상에 이미지 프로세싱을 적용하면 도로 상의 차선(210, 220)을 추출할 수 있다. 상기 추출된 좌측 차선(210)의 가상 연장선(215)과 우측 차선(220)의 가상 연장선(225)을 연장하면, 상기 연장선들(215, 225)은 한 점(230)에서 만나게 된다. 상기 만나는 점(230)을 소실점(230)이라고 한다. 전방 영상 처리부(110)는 상기 좌측 차선(210), 우측 차선(220) 및 소실점(230)을 포함하는 전방 영상 정보를 생성하여 차선 이탈 판단부(150)에 제공할 수 있다.
발명의 일 실시예에 따르면, 상기 전방 영상 정보를 제공받은 차선 이탈 판단부(150)는 차선 이탈 여부를 다음과 같이 판단한다. 상기 소실점(230)을 지나는 가상의 지평선(240)과 상기 좌측 차선이 형성하는 제1 각도(250)와 상기 우측 차선이 상기 가상의 지평선(240)과 형성하는 제2 각도(260)를 도출한다. 차량이 차선(210, 220)을 이탈하지 않고 정주행을 한다면 상기 제1 각도(250)와 제2 각도(260)는 거의 유사한 값을 가질 것이다. 반면에, 차량이 차선(210, 220)을 이탈할 때에는, 상기 각도(250, 260) 중에 어느 하나가 다른 하나에 비해서 그 크기가 더 큰 값을 가질 것이다.
도 4를 참조하여, 차량이 좌측 차선(210)을 이탈할 때 차선 이탈 판단부(150)의 동작을 설명하면 다음과 같다.
발명의 일 실시예에 따르면, 차량이 좌측 차선(210)을 이탈하게 되면, 제1 각도(250)가 제2 각도(260)에 비해서 더 큰 값을 가지게 된다. 차선 이탈 판단부(150)는 제1 각도(250)와 제2 각도(260)의 차이가 기 지정된 각도차이 기준치 보다 더 크면 좌측 차선(210)을 이탈하는 것으로 판단할 수 있다.
반대로 도 5를 참조하여, 차량이 우측 차선(220)을 이탈할 때 차선 이탈 판단부(150)의 동작을 설명하면 다음과 같다.
발명의 일 실시예에 따르면, 차량이 우측 차선(220)을 이탈하게 되면, 제2 각도(260)가 제1 각도(250)에 비해서 더 큰 값을 가지게 된다. 차선 이탈 판단부(150)는 제2 각도(260)와 제1 각도(250)의 차이가 상기 각도차이 기준치 보다 더 크다면 우측 차선(220)을 이탈하는 것으로 판단할 수 있다.
다음으로 도 6 내지 도 10를 참조하여, 후방 영상 획득 장치(125)가 촬영한 차량의 후방 영상을 이용한 차선 이탈 여부 판단 방법을 설명하기로 한다. 상기 후방 영상은 상기 전방 영상에 비해서 시야의 범위가 좁고 좀 더 도로면을 향해 있기 대문에 상기 전방 영상에 사용한 차선 이탈 방법을 적용하기가 힘들 수 있다. 따라서, 본원 발명에서는 후방 영상을 이용하여 차선 이탈 여부를 판단하는 새로운 방법을 제시한다.
도 6은 차량의 후방 영상 획득 장치(125)가 촬영한 차량의 후방 영상의 한 예시이다. 상기 후방 영상에는 좌측 차선(210), 우측 차선(220) 및 차량의 후방 범퍼(330)의 일부가 보일 수 있다. 차량의 좌측면을 가상으로 연장한 좌측면 후방 연장선(310)과 차량의 우측면을 가상으로 연장한 우측면 후방 연장선(320)은 사전에 차량의 너비를 이용하여 미리 설정되어 있으며, 후방 영상 화면에 함께 표시가 될 수 있다.
예를 들어서, 좌측면 후방 연장선(310)과 우측면 후방 연장선(320)은 차량의 후방 주차를 안내하기 위한 주차 가이드 라인의 차폭 연장선일 수 있다.
발명의 일 실시예에 따르면, 후방 영상 처리부(120)는 상기 후방 영상에 이미지 프로세싱을 적용하여 좌측 차선(210) 과 우측 차선(220) 정보를 추출할 수 있다. 후방 영상 처리부(120)는 상기 좌측 차선(210) 과 우측 차선(220)을 포함하는 후방 차선 정보를 생성하여 차선 이탈 판단부(150)에 제공할 수 있다.
상기 후방 영상에서 차선 정보를 추출하는 것은 종래의 기술을 그대로 이용할 수 있기 때문에, 자세한 설명은 중복을 피하기 위해 생략한다.
다시 도 6을 참조하여, 상기 후방 영상 화면의 구성을 설명하면 다음과 같다.
차량이 차선(210, 220) 사이에서 정주행을 한다고 하면, 좌측면 후방 연장선(310)은 좌측 차선(210)의 왼쪽에 위치하고, 우측면 후방 연장선(320)은 좌측 차선(210)의 오른쪽에 위치한다. 차선 이탈 판단부(150)는 상기 후방 영상의 최하단에서 위쪽 방향으로 후방 측정 이격(350)만큼 떨어진 곳에서 좌측면 후방 연장선과 좌측 차선(210) 사이의 거리인 좌측 후방 간격(315)를 계산하고, 우측면 후방 연장선과 우측 차선(220) 사이의 거리인 우측 후방 간격(325)를 계산할 수 있다.
후방 측정 이격(350)은 사전에 미리 정해진 값이거나 운행 상태에 따라 변하는 값일 수 있다.
예를 들어, 후방 측정 이격은 차체의 길이가 길어질수록 더 큰 값을 가질 수 있다. 즉 차체의 길이가 길어질수록 차량 전방이 차선을 이탈하여도 차량의 후방에 미치는 영향은 작기 때문에 좌측 후방 간격 및 우측 후방 간격은 적게 변화한다. 따라서 좀 더 후방에서 좌측 후방 간격 및 우측 후방 간격을 측정하여야 차선 이탈은 판단할 수 있기 때문에 후방 측정 이격의 값은 커져야 한다.
또 다른 예를 들면, 후방 측정 이격은 운행 상태 중에서 차량의 속도에 따라 변할 수 있다. 차량의 속도가 빨라지면, 차선 이탈을 좀 더 빨리 감지해야 하기 때문에 후방 측정 이격은 더 큰 값을 가져야 한다.
차선 이탈 판단부(150)는 좌측면 후방 연장선(310)과 좌측 차선(210)의 상대적인 위치를 통해서 좌측 차선 이탈 여부를 판단할 수 있다. 도 7을 참조하면, 좌측면 후방 연장선(310)이 좌측 차선(210)의 오른쪽에 위치하는 경우에, 상기 차량이 좌측 차선(210)을 이탈한 것으로 판단할 수 있다.
차선 이탈 판단부(150)는 우측면 후방 연장선(310)과 우측 차선(210)의 상대적인 위치를 통해서 우측 차선 이탈 여부를 판단할 수 있다. 도 8을 참조하면, 우측면 후방 연장선(320)이 우측 차선(220)의 왼쪽에 위치하는 경우에, 상기 차량이 우측 차선(220)을 이탈한 것으로 판단할 수 있다.
이제 도 9 내지 도 10을 참조하여, 상기 차량이 차선(210, 220)을 이탈하는 순간을 차선 이탈 판단부(150)가 판단하는 방법을 설명하면 다음과 같다.
차량이 차선을 넘어가는 경우에 상기 차량의 전방부부터 차선을 넘어가게 되므로, 도 7과 도 8처럼 명백히 차량의 좌우측면의 가상 연장선(310, 320)이 좌우 차선(210, 220)을 넘어간 경우 외에, 차량의 후방부의 상황을 이용해서 차량의 전방부가 차선을 이탈하고 있는지 판단할 필요가 있다.
발명의 일 실시예에 따르면, 도 9와 도 10에 나와 있듯이 좌측면 후방 연장선(310)과 좌측 차선(210)이 형성하는 예각(317) 및 우측면 후방 연장선(320)과 우측 차선(220)이 형성하는 예각(327)을 좌측 후방 간격(315) 및 우측 후방 간격(325) 과 함께 이용하여 상기 차량의 전방부가 차선을 이탈하고 있는지 여부를 판단 할 수 있다.
도 9를 참조하면, 도 9의 화면은 상기 차량이 좌측 차선(210)을 이탈하려고 하는 순간의 화면일 수 있다. 좌측 차선(210)으로 넘어가려는 순간 상기 차량의 차체는 좌측으로 회전을 하기 때문이다. 도 9 화면에서 보듯이, 좌측면 후방 연장선(310)과 좌측 차선(210)은 제1 예각(317)을 형성한다. 차선 이탈 판단부(150)은 제1 예각(317)을 계산할 수 있다. 차선 이탈 판단부(150)은 제1 예각(317)이 조향각 기준치 보다 크고 좌측 후방 간격이 차선 이격 기준치 보다 크다면, 상기 차량의 전방부가 좌측 차선(210)을 이탈한다고 판단할 수 있다.
도 10을 참조하면, 도 10의 화면은 상기 차량이 우측 차선(220)을 이탈하려고 하는 순간의 화면일 수 있다. 우측 차선(220)으로 넘어가려는 순간 상기 차량의 차체는 우측으로 회전을 하기 때문이다. 도 10 화면에서 보듯이, 우측면 후방 연장선(320)과 우측 차선(220)은 제2 예각(327)을 형성한다. 차선 이탈 판단부(150)은 제2 예각(327)을 계산할 수 있다. 차선 이탈 판단부(150)은 제2 예각(327)이 조향각 기준치 보다 크고 우측 후방 간격이 차선 이격 기준치 보다 크다면, 상기 차량의 전방부가 좌측 차선(210)을 이탈한다고 판단할 수 있다.
도 9와 도 10을 다시 참조하면, 도 9에서 제2 예각(327)이 조향각 기준치보다 클 수 있으나, 우측 후방 간격이 차선 이격 기준치보다는 작을 것이기 때문에 우측 차선(220)을 이탈한다고는 판단될 수 없을 것이다. 마찬가지로, 도 10에서 제1 예각(317)이 조향각 기준치보다 클 수 있으나, 좌측 후방 간격이 차선 이격 기준치보다는 작을 것이기 때문에 좌측 차선(210)을 이탈한다고 판단될 수 없을 것이다.
도 10를 참조하여, 차선 이탈 경보 방법을 설명하기로 한다.
차선 이탈 경보 방법은 전방영상을 촬영(S110)하는 것부터 시작한다. 상기 촬영한 전방 영상에서 전방 차선 정보를 추출한다(S120). 상기 전방 차선 정보에는 좌측 차선, 우측 차선 및 가상의 소실점 정보다 포함될 수 있다.
상기 전방 차선 정보 추출이 성공하면(S130), 상기 전방 차선 정보를 이용하여 차선 이탈 여부를 판단할 수 있다(S140). 차선이 이탈된 것으로 판단(S150)이 되는 경우에만 운전자에게 경보를 실행한다(S200).
상기 전방 차선 정보 추출이 실패하면(S130), 후방 영상을 이용하여 차선 이탈 여부를 판단하기 위해서 후방 영상을 촬영한다(S160). 상기 촬영한 후방 영상에서 후방 차선 정보를 추출한다(S170). 상기 후방 차선 정보에는 좌측 차선, 우측 차선 정보가 포함될 수 있다.
상기 후방 차선 정보를 이용하여 차선 이탈 여부를 판단한다(S180). 차선 이탈 여부를 판단하기 위해서 상기 후방 차선 정보뿐만 아니라, 차량의 좌우측면의 가상 연장선 정보도 이용할 수 있다. 차선 이탈로 판단된 경우(S190)에만, 운전자에게 경보를 실행한다(S200).
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
차선 이탈 경보 장치 100
전방 영상 처리부 110
전방 영상 획득 장치 115
후방 영상 처리부 120
후방 영상 획득 장치 125
차선 이탈 판단부 150
경보 장치 170

Claims (10)

  1. 차량의 후방 카메라로부터 후방 영상을 입력 받아, 상기 후방 영상에 대한 영상 처리를 통해 상기 차량이 주행 중인 차로에서 전방 주행 방향을 기준으로 좌측 차선 및 우측 차선을 식별 하는 후방 영상 처리부; 및
    상기 식별된 좌측 차선 및 우측 차선과, 사전에 미리 설정된 상기 차량의 좌측면의 가상 연장선인 좌측면 후방 연장선 및 사전에 미리 설정된 상기 차량의 우측면의 가상 연장선인 우측면 후방 연장선을 바탕으로 상기 차량의 차선 이탈 여부를 판단하는 차선 이탈 판단부를 포함하되,
    상기 차선 이탈 판단부는,
    상기 좌측면 후방 연장선과 상기 좌측 차선 사이의 거리인 좌측 후방 간격, 상기 우측면 후방 연장선과 상기 우측 차선 사이의 거리인 우측 후방 간격, 상기 좌측면 후방 연장선 상기 좌측 차선이 형성하는 제1 예각, 상기 우측면 후방 연장선과 상기 우측 차선이 형성하는 제2 예각, 상기 좌측면 후방 연장선과 상기 좌측 차선의 상대적인 위치 및 상기 우측면 후방 연장선과 상기 우측 차선의 상대적인 위치를 산출하며,,
    상기 차선 이탈 판단부는,
    상기 좌측 후방 간격이 소정의 차선 이격 기준치보다 큰 경우, 상기 제1 예각이 소정의 조향각 기준치 보다 큰 경우 및 상기 좌측면 후방 연장선이 상기 좌측 차선의 오른쪽에 위치하는 경우 중에서 적어도 어느 하나의 경우에 상기 차량이 상기 좌측 차선을 이탈한 것으로 판단하고,
    상기 차선 이탈 판단부는,
    상기 우측 후방 간격이 상기 차선 이격 기준치보다 큰 경우, 상기 제2 예각이 상기 조향각 기준치 보다 큰 경우 및 상기 우측면 후방 연장선이 상기 우측 차선의 왼쪽에 위치하는 경우 중에서 적어도 어느 하나의 경우에 상기 차량이 상기 우측 차선을 이탈한 것으로 판단하는,
    차선 이탈 경보 장치.
  2. 제1항에 있어서,
    상기 차선 이탈 판단부는,
    상기 차량의 좌측면 후방 연장선과 우측면 후방 연장선을 상기 후방 영상에 가상 형성하는, 차선 이탈 경보 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 후방 측정 이격은, 상기 차량의 차체 길이가 길어질수록 더 큰 값으로 설정되는 거리인, 차선 이탈 경보 장치.
  6. 제1항에 있어서,
    상기 차선 이탈 판단부는, 상기 차량의 주행 상태에 대한 정보를 입력 받고, 상기 주행 상태에 대한 정보를 바탕으로 상기 후방 측정 이격을 동적으로 조정하는, 차선 이탈 경보 장치.
  7. 제6항에 있어서,
    상기 주행 상태에 대한 정보는 상기 차량의 주행 속도를 포함하고,
    상기 차선 이탈 판단부는, 상기 차량의 주행 속도가 증가할수록 상기 후방 측정 이격이 길어지도록 상기 후방 측정 이격을 동적으로 조정하는, 차선 이탈 경보 장치.
  8. 제1항에 있어서,
    차량의 전방 영상을 입력 받아, 상기 전방 영상에 대한 영상 처리를 통해 상기 차량이 주행 중인 차로에서 전방 주행 방향을 기준으로 좌측 차선 및 우측 차선을 식별 하는 전방 영상 처리부를 더 포함하고,
    상기 차선 이탈 판단부는,
    상기 전방 영상 처리부에 의한 상기 식별이 성공하는 경우에는 상기 전방 영상 처리부에 의하여 식별된 좌측 차선 및 우측 차선에 대한 정보만을 이용하여 차선 이탈 여부를 판단하는, 차선 이탈 경보 장치.
  9. 차량의 전방 영상이 수집되는 단계;
    상기 전방 영상으로부터 전방 차선 정보가 추출되는 단계;
    상기 전방 차선 정보 추출이 성공하면 상기 전방 차선 정보를 이용하여 상기 차량의 차선 이탈 여부를 판단하는 단계; 및
    상기 전방 차선 정보 추출이 미성공이면, 상기 차량의 후방 영상 정보를 이용하여 상기 차량의 차선 이탈 여부를 판단하는 단계를 포함하되,
    상기 차량의 후방 영상 정보를 이용하여 차량의 차선 이탈 여부를 판단하는 단계는,
    상기 차량의 후방 영상 정보에서 상기 차량이 주행 중인 차로에서 전방 주행 방향을 기준으로 좌측 차선 및 우측 차선이 추출되는 단계;
    상기 좌측 차선과 상기 차량의 좌측면 후방 연장선 사이의 거리인 좌측 후방 간격, 상기 좌측 차선과 상기 좌측면 후방 연장선이 형성하는 제1 예각 및 상기 좌측 차선과 상기 좌측면 후방 연장선의 상대적인 위치를 산출하는 단계;
    상기 우측 차선과 상기 차량의 우측면 후방 연장선 사이의 거리인 우측 후방 간격, 상기 우측 차선과 상기 우측면 후방 연장선이 형성하는 제2 예각 및 상기 우측 차선과 상기 우측면 후방 연장선의 상대적인 위치를 산출하는 단계;
    상기 좌측 후방 간격이 소정의 차선 이격 기준치보다 큰 경우, 상기 제1 예각이 소정의 조향각 기준치 보다 큰 경우 및 상기 좌측면 후방 연장선이 상기 좌측 차선의 오른쪽에 위치하는 경우 중에서 적어도 어느 하나의 경우에 상기 차량이 상기 좌측 차선을 이탈한 것으로 판단하는 단계; 및
    상기 우측 후방 간격이 상기 차선 이격 기준치보다 큰 경우, 상기 제2 예각이 상기 조향각 기준치 보다 큰 경우 및 상기 우측면 후방 연장선이 상기 우측 차선의 왼쪽에 위치하는 경우 중에서 적어도 어느 하나의 경우에 상기 차량이 상기 우측 차선을 이탈한 것으로 판단하는 단계를 포함하고,
    상기 좌측면 후방 연장선은,
    사전에 미리 설정된 차량의 좌측면의 가상 연장선이며,
    상기 우측면 후방 연장선은,
    사전에 미리 설정된 차량의 우측면의 가상 연장선인
    차선 이탈 경보 방법.
  10. 삭제
KR1020130087374A 2013-07-24 2013-07-24 차량의 차선 이탈 경보 장치 및 방법 KR101499455B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130087374A KR101499455B1 (ko) 2013-07-24 2013-07-24 차량의 차선 이탈 경보 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130087374A KR101499455B1 (ko) 2013-07-24 2013-07-24 차량의 차선 이탈 경보 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150012044A KR20150012044A (ko) 2015-02-03
KR101499455B1 true KR101499455B1 (ko) 2015-03-06

Family

ID=52488257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130087374A KR101499455B1 (ko) 2013-07-24 2013-07-24 차량의 차선 이탈 경보 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101499455B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180005482A (ko) * 2016-07-06 2018-01-16 주식회사 케이에스에스이미지넥스트 차량용 카메라 제어 장치 및 방법
JP7069943B2 (ja) * 2018-03-28 2022-05-18 株式会社アイシン 方位検出システム、方位検出方法、及び方位検出プログラム
KR102690611B1 (ko) * 2021-12-01 2024-08-01 한국자동차연구원 자동차 운전 보조장치 및 그 동작방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100394668B1 (ko) * 2001-06-12 2003-08-14 현대자동차주식회사 자동차의 차선이탈 경보방법
KR20080088675A (ko) * 2007-03-30 2008-10-06 현대자동차주식회사 자동차용 차선이탈 방지 방법
KR20120126152A (ko) * 2011-05-11 2012-11-21 (주)엠아이웨어 영상 촬영 장치, 영상 촬영 방법 및 영상정보 추출장치
KR20130070337A (ko) * 2011-12-19 2013-06-27 현대모비스 주식회사 후방 카메라를 이용한 차량 이상 판단 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100394668B1 (ko) * 2001-06-12 2003-08-14 현대자동차주식회사 자동차의 차선이탈 경보방법
KR20080088675A (ko) * 2007-03-30 2008-10-06 현대자동차주식회사 자동차용 차선이탈 방지 방법
KR20120126152A (ko) * 2011-05-11 2012-11-21 (주)엠아이웨어 영상 촬영 장치, 영상 촬영 방법 및 영상정보 추출장치
KR20130070337A (ko) * 2011-12-19 2013-06-27 현대모비스 주식회사 후방 카메라를 이용한 차량 이상 판단 장치 및 그 방법

Also Published As

Publication number Publication date
KR20150012044A (ko) 2015-02-03

Similar Documents

Publication Publication Date Title
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
KR102270677B1 (ko) 차량 안전 주행 장치
KR101362324B1 (ko) 차선 이탈 경보 시스템 및 방법
US9789820B2 (en) Object detection apparatus
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
US10220782B2 (en) Image analysis apparatus and image analysis method
US8712097B2 (en) Approaching object detection system
US11024051B2 (en) Object detection device
JP5768666B2 (ja) 車両走行支援装置及び境界線認識装置
US9619717B2 (en) Lane-line recognition apparatus
KR101249366B1 (ko) 차선 인식 장치 및 차선 인식 방법
JP5067358B2 (ja) 走行レーン検出装置および走行レーン検出プログラム
KR101499455B1 (ko) 차량의 차선 이탈 경보 장치 및 방법
JP2013161202A (ja) 車両周辺監視装置
JP2014146267A (ja) 歩行者検出装置、運転支援装置
US20160180159A1 (en) Method and system for detecting pedestrians
KR101190789B1 (ko) 차량의 거리 측정 장치 및 방법
KR101480431B1 (ko) 차선 이탈 경고 장치 및 방법
JP2011033594A (ja) 車両用距離算出装置
JP5957315B2 (ja) 車載用車線認識装置
KR102270678B1 (ko) 차량 안전 주행 장치
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
JP2019120631A (ja) カメラずれ検出装置およびカメラずれ検出方法
CN109843650A (zh) 自动平移系统
KR20130036950A (ko) 스테레오 카메라를 이용한 지면 추정 및 물체 탐지 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190225

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6