KR20110002288A - Lane departure warning apparatus using laser - Google Patents

Lane departure warning apparatus using laser Download PDF

Info

Publication number
KR20110002288A
KR20110002288A KR1020090059804A KR20090059804A KR20110002288A KR 20110002288 A KR20110002288 A KR 20110002288A KR 1020090059804 A KR1020090059804 A KR 1020090059804A KR 20090059804 A KR20090059804 A KR 20090059804A KR 20110002288 A KR20110002288 A KR 20110002288A
Authority
KR
South Korea
Prior art keywords
lane
laser
vehicle
unit
road surface
Prior art date
Application number
KR1020090059804A
Other languages
Korean (ko)
Other versions
KR101103448B1 (en
Inventor
예윤해
김인석
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020090059804A priority Critical patent/KR101103448B1/en
Publication of KR20110002288A publication Critical patent/KR20110002288A/en
Application granted granted Critical
Publication of KR101103448B1 publication Critical patent/KR101103448B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • B60Y2300/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/90Driver alarms

Abstract

PURPOSE: A lane derailing warning apparatus using laser is provided to accurately detect the lane by irradiating the laser on the road with different radiation angle using a reflection mirror. CONSTITUTION: A lane derailing warning apparatus using laser comprises a laser irradiation unit(110), a reflective mirror part(120), a laser receiver, and a lane determining unit. The laser irradiation unit irradiates the laser. The reflective mirror part changes the radiation angel of the laser irradiated to the road by reflecting the laser with different angle.

Description

레이저를 이용한 차선 이탈 경고 장치{Lane departure warning apparatus using laser}Lane departure warning apparatus using laser

본 발명은 레이저를 이용하여 도로면의 차선을 인식하는 장치에 관한 것으로, 보다 구체적으로 반사 거울을 통해 서로 다른 조사 각도로 레이저 신호를 도로면으로 조사하고, 도로면에서 다시 반사되어 수광되는 레이저 신호의 세기 변화에 기초하여 차선과 차량 사이의 거리 또는 차선과 같은 도로면의 식별자의 내용을 판단하는 차선 이탈 경고 장치에 관한 것이다. The present invention relates to an apparatus for recognizing a lane of a road surface using a laser. More specifically, the present invention relates to a laser signal that is irradiated to a road surface at different irradiation angles through a reflecting mirror and is reflected back from the road surface. The lane departure warning device for determining the content of the identifier of the road surface, such as the distance between the lane and the vehicle or the lane based on the change in the intensity of the.

근래 들어, 차량 운행 중에 발생하는 각종 사고로부터 운전자의 피해를 최소화하는 안전벨트나 에어백과 같은 사후 안전 수단에서 벗어나 운전 중에 잠재한 사고를 예측하여 운전자에게 경보함으로써 사고를 미연에 방지하기 위한 연구가 활발하게 진행되고 있다. In recent years, studies are being actively conducted to prevent accidents by warning the driver by predicting potential accidents while driving away from post-safety measures such as seat belts or airbags that minimize the driver's damage from various accidents occurring while driving the vehicle. Is going on.

일반적으로 ASV(Advanced Safety Vehicle)는 차량의 안전도 향상을 위해서 첨단 전자기술과 제어 기술을 적용하는 첨단 차량으로, 교통사고를 감소시켜 교통량을 증가시키고 에너지를 절약하며 운전자의 편의를 도모하게 된다. ASV의 하나로써 차선 이탈 경보 시스템(LDWS : Lane Departure Warning System)은 차량이 현 재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음운전 등으로 차선을 이탈하려고 하면 경보음이 울리도록 하여 주는 안전장치이다.In general, ASV (Advanced Safety Vehicle) is an advanced vehicle that applies advanced electronic and control technology to improve the safety of the vehicle. It reduces traffic accidents, increases traffic volume, saves energy, and facilitates driver's convenience. The Lane Departure Warning System (LDWS) is an ASV that detects lanes that are currently running, and alerts you if a driver attempts to leave the lane due to inattention or drowsy driving. Device.

도 1은 통상의 왕복 4차선 도로를 개략적으로 도시하고 있다.1 schematically depicts a typical reciprocating four lane road.

도 1을 참고로 살펴보면, 차선은 크게 백색과 황색으로 표시되어 있다. 도로면의 중앙에 표시되어 있는 2줄의 황색 실선은 중앙선을 나타내며 중앙선을 기준으로 왕복 4차선의 도로 중 좌측 2차선은 상행선이고 우측 2차선은 하행선으로 구성되어 있다. 상행선과 하행선의 2개의 차선은 백색 점선의 주행선이 표시되어 있으며 상행선 또는 하행선의 차량들은 서로 주행선을 변경하여 주행할 수 있다. 한편, 도로면에는 보행자들이 차선을 건너다닐 수 있는 건널목이 표시되어 있으며, 건널목을 나타내는 건널목 선은 백색 실선으로 표시된다. 도로면에 표시되어 있는 차선은 중앙선, 주행선, 건널목선 등으로 구성되어 있으며, 차선의 종류에 따라 차선의 폭이 서로 상이하다. Referring to FIG. 1, the lanes are largely marked in white and yellow. The two yellow solid lines in the middle of the road surface represent the center line, and the left two lanes are the up line and the right two lanes are the down line among the four round-trip roads based on the center line. The two lanes of the up line and the down line are marked with a white dashed driving line, and the vehicles of the up line or the down line can travel by changing the driving line with each other. On the other hand, the road surface is a crosswalk that pedestrians can cross the lane, and the crossing line representing the crossing is indicated by a solid white line. The lanes marked on the road are composed of the center line, the traveling line, the crossing, and the width of the lanes differs depending on the type of lane.

이렇게 다양한 종류의 차선이 도시되어 있는 도로면을 주행하는 차량에 적용되거나 개발되고 있는 차선 이탈 경보 시스템은 주로 CCD 카메라와 같은 광학 기구를 사용하는 것이 주류를 이루고 있다. 이러한 시스템은 중앙선과 주행선의 형태와 색상이 노면의 형태와 색상과 다르다는 점에 착안을 둔 것으로, CCD 카메라에 의해 포착된 화상 데이터를 분석하여 중앙성 또는 차선을 판별한 후에 중앙선을 침범하거나 차선을 이탈한 경우 이를 운전자에게 경보하게 된다. 더 나아가, 지능형의 발전된 차량에서는 차선을 판별하여 스스로 차선을 유지하면서 주행하는 시스템까지도 제안되어 있다.The lane departure warning system, which is applied or developed to a vehicle traveling on a road surface in which various types of lanes are shown, is mainly using optical instruments such as a CCD camera. This system is focused on the fact that the shape and color of the center line and the driving line is different from the shape and color of the road surface.The system analyzes the image data captured by the CCD camera to determine the centrality or lane, and then invades the center line or stops the lane. In case of departure, the driver will be alerted. Furthermore, intelligently developed vehicles have also been proposed to identify lanes and to drive themselves while maintaining lanes.

종래 LDWS의 구성(이하 '종래기술1'로 언급)은 도 1에서 도시한 바와 같이, 전후방주행 영상을 입력받는 영상센서부와, 차선인식을 위해 영상처리를 수행하는 영상처리부와, 인식된 차선을 기반으로 차량의 이탈여부를 판단하는 이탈판단부와, 차량 인터페이스(Interface) 신호를 입력받는 인터페이스입력부와, 차선이탈 경보 및 상황을 나타내는 인터페이스 출력부로 구성된다. 이때, 차량 인터페이스는 차선 폭, 차선의 곡률반경, 차선 횡단시간 등의 다양한 변수로 구성된다. 여기서, 영상센서부는 전후방 중앙에 설치된 다수의 카메라를 이용하여 도로상의 차선을 인식하고, 인식한 차선 중심과 카메라 광학축 사이의 차이 정도를 파악하여 차선이탈 경보가 발생한다.The configuration of the conventional LDWS (hereinafter referred to as 'prior art 1') is, as shown in Figure 1, the image sensor unit for receiving the forward and backward driving image, the image processing unit for performing image processing for lane recognition, and the recognized lane It is composed of a departure determination unit for determining whether the vehicle is separated based on the, an interface input unit for receiving a vehicle interface (Interface) signal, and an interface output unit for indicating the lane departure warning and the situation. At this time, the vehicle interface is composed of various variables such as lane width, lane curvature radius, lane crossing time. Here, the image sensor unit recognizes the lane on the road by using a plurality of cameras installed in the front and rear center, and detects the difference between the detected lane center and the camera optical axis to generate a lane departure warning.

한편, 공개특허 제10-2008-0088675호에 개시되어 있는 차선이탈 경보 시스템(이하 '종래기술2'로 언급)은 양쪽 사이드 미러에 설치된 다수의 카메라에 의해 입력되는 후측방의 좌우 영상으로부터 차선을 추출하고, 추출한 좌우 차선을 3차원 매핑(mapping)하여 차선의 실좌표를 구하고, 차선의 실좌표로 이루어진 직선과 차체의 방향선이 교차하는 점에서의 좌우 방향각을 산출하고, 방향선과 차선의 실좌표로 이루어진 직선으로부터 좌우 측면거리를 산출하고, 방향각과 측면거리의 기하학적 분석에 의해 차선 이탈거리를 산출하고, 차속센서에 의해 감지되는 차량속도와 상기 차선 이탈거리로부터 이탈시간을 산출하여 이탈시간이 기준값 이하인 경우 경보가 발생함으로써, 차선 이탈에 의한 차량사고를 미연에 방지한다.On the other hand, the lane departure warning system disclosed in Korean Patent Laid-Open No. 10-2008-0088675 (hereinafter referred to as 'Prior Art 2') uses a lane from a left and right image input by a plurality of cameras installed in both side mirrors. 3D mapping of the extracted left and right lanes to obtain the actual coordinates of the lanes, and calculating the left and right direction angles at the intersection points of the straight lines and the direction lines of the vehicle bodies. The left and right side distances are calculated from a straight line consisting of real coordinates, the lane departure distance is calculated by the geometric analysis of the direction angle and the side distance, and the departure time is calculated from the vehicle speed detected by the vehicle speed sensor and the departure time from the lane departure distance. When the reference value is less than this threshold, an alarm is generated to prevent a vehicle accident due to lane departure.

한편 공개실용신안 제20-2000-0015809호 개시되어 있는 차선이탈 경보 시스템(이하 '종래기술3'로 언급)은 CCD 카메라를 이용하지 않고 비교적 간단하고 저렴 한 구성에 의해 중앙선 침범을 판단한 후 운전자에게 경보를 발생하는 장치를 제공하는데, 차량의 적소(바람직하게, 차량 전방의 좌측)에 장착되어 전방의 하측을 향하는 소정 각도로 레이저빔을 발사하는 레이저빔 송신기와, 차량의 적소(바람직하게, 레이저빔 송신기의 우측)에 장착되어 발사된 레이저빔이 도로에 반사된 후에 되돌아오는 레이저빔을 수신하는 레이저빔 수신기와, 레이저빔 송신기 및 레이저빔 수신기를 구동하는 레이저 구동부와, 중앙선, 차선 및 노면의 상태에 따른 수신 레이저빔의 강도 데이터를 저장하고 있는 룩-업 테이블과, 차량의 중앙선 침범을 경보하는 경보부 및 레이저 구동부로부터 수신 레이저빔의 강도 데이터를 전달받고 룩-업 테이블에서 전달받은 수신 레이저빔의 강도 데이터를 조회하여 현재 차량이 중앙선을 침범하였는지를 판단하고 중앙선을 침범한 경우에는 경보를 발하도록 제어하는 중앙 제어부를 포함하여 구성되어 있다. On the other hand, the lane departure warning system (hereinafter referred to as 'prior art 3') disclosed in Korean Utility Model No. 20-2000-0015809 does not use a CCD camera and judges the centerline invasion by a relatively simple and inexpensive configuration. An apparatus for generating an alarm, comprising: a laser beam transmitter mounted on a vehicle (preferably to the left of the vehicle front) and firing a laser beam at a predetermined angle toward the lower side of the vehicle; A laser beam receiver mounted on the right side of the beam transmitter and receiving a laser beam that is returned after the emitted laser beam is reflected on the road, a laser driver for driving the laser beam transmitter and the laser beam receiver, a center line, a lane and a road surface. Look-up table that stores the intensity data of the received laser beam according to the state, alarm and laser to alert the centerline of the vehicle The central control unit receives the intensity data of the received laser beam from the driver and inquires the intensity data of the received laser beam received from the look-up table to determine whether the current vehicle has invaded the center line and to generate an alarm when the center line is invaded. It is configured to include.

위에서 설명한 종래기술1과 종래기술2는 차량에 배치되어 있는 CCD 카메라를 통해 차량 주변의 도로를 촬영하고 촬영한 도로의 이미지를 영상 처리하여 차선을 인식하며, 인식한 차선으로부터 계산한 다양한 변수를 이용하여 차량이 차선을 이탈하였는지를 판단하도록 구성되어 있다. 따라서 CCD 카메라, 영상 처리부, 차선 인식부, 다양한 변수를 이용한 차선 이탈 판단부 등 복잡한 프로세스를 처리하기 위한 고가의 장비가 필요하며, 고속으로 이동하는 차량에서 차선 이탈 여부를 실시간으로 신속하게 계산하기 곤란하다는 문제점을 가진다.The above-described prior art 1 and the prior art 2 use the CCD camera disposed in the vehicle to photograph the road around the vehicle and process the image of the photographed road to recognize the lane, and use various variables calculated from the recognized lane. To determine whether the vehicle has left the lane. Therefore, expensive equipment for processing complex processes such as CCD camera, image processing unit, lane recognition unit, and lane departure determination unit using various variables is required.It is difficult to quickly calculate lane departure in real time in a fast moving vehicle. Has the problem.

한편, 종래기술3은 도로면에서 반사되어 되돌아오는 레이저 신호의 세기를 측정하여 차선을 감지함으로써, 비교적 간단한 구성과 저렴한 비용으로 차량의 차선 이탈 여부를 판단할 수 있다. 그러나 이동하는 차량의 주변에는 태양광, 주변 차량의 헤드 라이트 또는 주변 조명이 존재하기 때문에 차량 주변의 환경에 따라 수광되는 배경 광의 세기가 서로 상이하며, 따라서 단순히 룩업 테이블에 저장되어 있는 차선에 따른 레이저 신호의 세기만을 이용하여 정확하게 차선을 판단하기 곤란하다. 또한 차선 이탈 경보 시스템에서 가장 중요하게 생각되는 요인 중 하나가 차선과 차량 사이의 거리 또는 차선과 차량 사이의 거리 변화 속도인데, 종래기술3의 구성으로는 차선과 차량 사이의 거리를 측정할 수 없다는 문제점을 가진다. 더욱이 종래기술3은 반사되는 레이저의 세기만을 이용하여 차선의 종류를 구분하지만, 레이저 세기만을 이용하여 차선의 종류를 정확하게 구분하기 곤란하다는 문제 점을 가진다. On the other hand, the prior art 3 by detecting the lane by measuring the intensity of the laser signal reflected back from the road surface, it is possible to determine whether the lane departure of the vehicle with a relatively simple configuration and low cost. However, due to the presence of sunlight, the headlights of surrounding vehicles, or ambient lighting around the moving vehicle, the intensity of the background light received by the surrounding environment of the vehicle is different from each other, and thus the laser according to the lane stored in the lookup table is simply different. It is difficult to accurately determine the lane using only the strength of the signal. In addition, one of the most important factors in the lane departure warning system is the distance between the lane and the vehicle or the speed of change of the distance between the lane and the vehicle, and the prior art 3 configuration cannot measure the distance between the lane and the vehicle. I have a problem. Moreover, the prior art 3 distinguishes the type of lane using only the intensity of the reflected laser, but has a problem in that it is difficult to accurately classify the type of lane using only the laser intensity.

따라서 본 발명이 이루고자 하는 목적은 비교적 간단한 구성과 저렴한 비용으로 제작할 수 있는 차선 이탈 경고 장치를 제공하는 것이다.Accordingly, an object of the present invention is to provide a lane departure warning device that can be manufactured with a relatively simple configuration and low cost.

본 발명이 이루고자 하는 다른 목적은 차선을 감지할 뿐만 아니라, 차선의 종류 또는 차선과 차량 사이의 거리를 측정할 수 있는 차선 이탈 경고 장치를 제공하는 것이다.Another object of the present invention is to provide a lane departure warning device capable of not only detecting a lane but also measuring the type of the lane or the distance between the lane and the vehicle.

본 발명이 이루고자 하는 또 다른 목적은 반사 거울을 통해 서로 다른 조사 각도로 레이저를 도로면으로 조사하여 정확하게 차선을 감지할 수 있으며, 차선의 종류 또는 차선과 차량 사이의 거리를 측정할 수 있는 차선 이탈 경고 장치를 제공하는 것이다. Another object of the present invention is to accurately detect the lane by irradiating the laser to the road surface at different irradiation angles through the reflection mirror, lane departure that can measure the type of lane or the distance between the lane and the vehicle To provide a warning device.

본 발명에 따른 차선 이탈 경고 장치는 고주파로 변조된 레이저를 조사하는 레이저 조사부와, 레이저 조사부로부터 조사된 레이저를 서로 다른 반사 각도로 반사시켜 도로면으로 조사되는 레이저의 조사 각도를 변경시키는 반사 거울부와, 도로면에서 반사되어 되돌아오는 신호에서 고주파의 레이저 신호만을 필터링하여 수신하는 레이저 수신부 및 수신한 레이저 신호의 세기 변화에 기초하여 도로면에 표시되어 있는 차선을 검색하고 차선과 차량 사이의 거리 또는 검색한 차선의 종류를 판단하는 차선 판단부를 포함한다.The lane departure warning apparatus according to the present invention includes a laser irradiation unit for irradiating a laser modulated at a high frequency and a reflection mirror unit for changing an irradiation angle of a laser irradiated to a road surface by reflecting the laser irradiated from the laser irradiation unit at different reflection angles. And a laser receiver for filtering and receiving only a high frequency laser signal from a signal reflected from the road surface and searching for a lane displayed on the road surface based on a change in intensity of the received laser signal, and a distance between the lane and the vehicle or It includes a lane determination unit for determining the type of the searched lane.

반사 거울부는 조사된 레이저를 도로면으로 반사시키는 반사 거울 및 반사 거울을 통해 도로면으로 조사되는 레이저의 조사 각도를 변경시키도록 반사 거울을 구동시키는 구동부를 포함한다.The reflecting mirror section includes a reflecting mirror which reflects the irradiated laser to the road surface and a driving unit which drives the reflecting mirror to change the irradiation angle of the laser irradiated to the road surface through the reflecting mirror.

바람직하게, 반사 거울은 조사된 레이저를 도로면으로 반사시키는 다수의 반사면을 옆면으로 가지는 다각 기둥의 형상이며, 구동부는 반사 거울을 회전 구동시켜 반사면에 반사되어 도로면으로 조사되는 레이저의 조사 각도를 변경시키는 것을 특징으로 한다. 더욱 바람직하게, 반사 거울은 다수의 반사면이 서로 동일한 정다각 기둥의 형상인 것을 특징으로 한다. Preferably, the reflecting mirror is a shape of a polygonal pillar having a plurality of reflecting surfaces laterally reflecting the irradiated laser to the road surface, and the driving unit is the irradiation of the laser is reflected on the reflecting surface and irradiated to the road surface by rotating the reflecting mirror It is characterized by changing the angle. More preferably, the reflecting mirror is characterized in that a plurality of reflecting surfaces are in the shape of regular polygonal pillars which are the same.

차선을 감지하거나, 차선과 차량 사이의 거리를 판단하거나 감지한 차선의 종류를 판단하는 차선 판단부는 수신한 레이저의 세기 변화를 감지하며 상기 감지한 레이저의 세기 변화에 기초하여 도로면의 차선을 검색하는 차선 검색부와, 수신 레이저의 세기 변화가 시작되는 시점과 수신 레이저의 세기 변화가 종료하는 시점에서 각각 차량과 도로면 레이저 조사 지점 사이의 거리를 계산하는 거리 계산부와, 계산한 차량과 도로면 레이저 조사 지점 사이의 거리에 기초하여 검색한 차선의 폭을 계산하는 차선 폭 계산부 및 계산한 차선 폭에 기초하여 차선의 종류를 판단하는 차선 종류 판단부를 포함한다.A lane determination unit that detects a lane, determines a distance between the lane and the vehicle, or determines a type of the detected lane detects a change in the intensity of the received laser and searches for a lane on the road surface based on the detected change in the intensity of the laser. A lane search unit for calculating the distance between the vehicle and the road surface laser irradiation point at the time when the intensity change of the receiving laser starts and the time when the intensity change of the receiving laser ends, respectively, and the calculated vehicle and road A lane width calculation unit for calculating the width of the searched lane based on the distance between the plane laser irradiation points and a lane type determination unit for determining the type of lane based on the calculated lane width.

본 발명에 따른 차선 이탈 경고 장치는 종래 차선 이탈 경고 장치와 비교하여 다음과 같은 다양한 효과를 가진다.Lane departure warning device according to the present invention has a variety of effects as follows compared to the conventional lane departure warning device.

첫째, 본 발명에 따른 차선 이탈 경고 장치는 반사 거울을 이용하여 서로 다른 조사 각도로 레이저를 도로면으로 조사시킴으로써, 정확하게 차선을 감지할 수 있다.First, the lane departure warning apparatus according to the present invention can accurately detect a lane by irradiating a laser onto a road surface at different irradiation angles using a reflection mirror.

둘째, 본 발명에 따른 차선 이탈 경고 장치는 저가의 레이저를 이용하며 도로면에서 반사되는 레이저 빔의 세기 변화에 기초하여 차선을 인식함으로써, 저렴한 비용으로 간단하게 차선 이탈 여부를 확인할 수 있다.Second, the lane departure warning apparatus according to the present invention uses a low-cost laser and recognizes the lane based on the change in the intensity of the laser beam reflected from the road surface, so that the lane departure warning can be easily confirmed at low cost.

셋째, 본 발명에 따른 차선 이탈 경고 장치는 일정 주기로 반복하여 도로면의 일정 폭에 레이저 빔을 조사하고 수광한 레이저 빔의 세기 증감을 감지하여 차선의 폭을 측정함으로써, 차선의 종류를 판단할 수 있다.Third, the lane departure warning apparatus according to the present invention can determine the type of the lane by measuring the width of the lane by irradiating the laser beam to a predetermined width of the road surface repeatedly by a predetermined period and detecting the increase or decrease of the intensity of the received laser beam. have.

이하 첨부한 도면을 참고로 본 발명에 따른 차선 이탈 경고 장치에 대해 보다 구체적으로 살펴본다.Hereinafter, a lane departure warning apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 차선 이탈 경고 장치를 차량에 장착한 일 예를 도시하고 있다.2 illustrates an example in which the lane departure warning apparatus according to the present invention is mounted on a vehicle.

도 2를 참고로 보다 구체적으로 살펴보면, 본 발명에 따른 차선 이탈 경고 장치는 차량(10)이 현재 주행하는 차선의 도로(40)로 레이저를 조사할 수 있는 위치에 설치되어 있다. 바람직하게, 본 발명에 따른 차선 이탈 경고 장치는 도로 주행시 차량의 주행 방향으로 도로면에 표시되어 있는 차선(30)으로 레이저를 조사할 수 있도록 차량의 좌측 또는 우측면에 설치되어 있으며, 더욱 바람직하게 차량의 좌측 또는 우측 전방에 설치되어 있다. 본 발명에 따른 차선 이탈 경고 장치는 레이저의 반사 각도(θr)를 순차적으로 변경시키며, 변경된 반사 각도(θr)에 따라 서로 다른 조사 각도(θi)로 레이저가 도로면으로 조사된다. 조사 각도(θi)가 달라 짐에 따라 레이저는 차량으로부터 서로 다른 이격 거리(d)로 조사되며, 서로 다른 조사 각도(θi)로 도로면에 조사된 레이저는 도로면에서 반사되어 다시 차선 이탈 경고 장치(20)로 수신된다. Referring to FIG. 2, the lane departure warning device according to the present invention is installed at a position where the vehicle 10 can irradiate a laser to the road 40 of the currently running lane. Preferably, the lane departure warning device according to the present invention is installed on the left or right side of the vehicle so as to irradiate the laser to the lane 30 displayed on the road surface in the driving direction of the vehicle when the road driving, more preferably the vehicle Is installed on the left or right front of the. Lane departure warning system according to the present invention sikimyeo change the reflection angle of the laser (θ r) in order, according to the changed reflection angle (θ r) of the laser at different irradiation angles (θ i) is irradiated with the road surface. As the irradiation angle θ i is changed, the laser is irradiated at different distances d from the vehicle, and the laser which is irradiated on the road surface at different irradiation angles θ i is reflected off the road surface and again leaves the lane. Received by the alerting device 20.

본 발명에 따른 차량 이탈 경고 장치를 기능적으로 크게 구분하면 도로면으로 레이저를 조사하는 유닛(100)과 도로면에서 반사되어 되돌아오는 레이저를 수광하여 차선 이탈 여부를 판단하는 유닛(200)으로 구성되어 있다. 도 3은 레이저 조사 유닛(100)을 보다 구체적으로 설명하기 위한 기능 블록도이며, 도 4는 레이저를 수광하여 차선 이탈 여부를 판단하는 유닛(200)을 보다 구체적으로 설명하기 위한 기능 블록도이다.When the vehicle departure warning apparatus according to the present invention is largely divided into functional units, the unit 100 for irradiating a laser onto the road surface and the unit 200 for receiving a laser beam reflected from the road surface and determining whether the lane is separated have. FIG. 3 is a functional block diagram for explaining the laser irradiation unit 100 in more detail, and FIG. 4 is a functional block diagram for explaining the unit 200 that determines whether a lane is separated by receiving a laser.

먼저 도 3을 참고로 레이저 조사 유닛(100)에 대해 보다 구체적으로 살펴보면, 레이저 조사 유닛(100)은 레이저를 조사하는 레이저 조사부(110)와 레이저 조사부(110)로부터 조사된 레이저를 서로 다른 반사 각도로 반사시키며 도로면으로 조사되는 레이저의 조사 각도를 변경시키는 반사 거울부(120)를 포함하고 있다. First, the laser irradiation unit 100 will be described in more detail with reference to FIG. 3. The laser irradiation unit 100 reflects the laser irradiation unit 110 and the laser irradiated from the laser irradiation unit 110 at different reflection angles. It includes a reflecting mirror 120 for reflecting to and changing the irradiation angle of the laser irradiated to the road surface.

레이저 조사부(110)는 조사되는 레이저를 고주파로 변조시키는 변조 제어부(111)와 변조 제어부(111)의 제어에 따라 일정 고주파의 레이저를 생성하여 조사하는 레이저 발생부(113)를 구비하고 있다. 차량이 주행하는 도로면에는 태양광, 주변에 주행하는 다른 차량의 헤드 라이트, 차선 변경 라이트 등으로부터 발생하는 다양한 잡음 광들이 존재한다. 태양광, 주변에 주행하는 다른 차량의 헤드 라이트, 차선 변경 라이트 또는 도로에 위치하는 조명등은 대체적으로 직류 성분 또는 저주파 성분으로 구성되어 있다. 따라서 변조 제어부(111)는 도로면에 존재하는 다양한 잡음 광과 구분될 수 있는 레이저 신호를 생성하기 위하여, 레이저 발생부(113)에서 특정 주파수의 레이저를 발생시키도록 제어한다. 바람직하게, 변조 제어부(111)는 차량 주변에 존재하는 광과 레이저 조사부(110)에서 조사하는 레이저를 서로 구분하기 위하여 수 MHz 이상의 고주파로 레이저를 변조한다.The laser irradiator 110 includes a modulation controller 111 for modulating the irradiated laser at high frequency and a laser generator 113 for generating and irradiating a laser of a predetermined high frequency under the control of the modulation controller 111. On the road surface on which the vehicle travels, there are various noise lights generated from sunlight, headlights of other vehicles driving around, lane changing lights, and the like. Solar light, headlights of other vehicles traveling around, lane changing lights, or lights located on roads are generally composed of direct current or low frequency components. Accordingly, the modulation controller 111 controls the laser generator 113 to generate a laser of a specific frequency in order to generate a laser signal that can be distinguished from various noise light existing on the road surface. Preferably, the modulation control unit 111 modulates the laser at a high frequency of several MHz or more in order to distinguish between the light existing around the vehicle and the laser irradiated by the laser irradiation unit 110.

반사 거울부(120)는 레이저 조사부(110)에서 조사된 레이저를 도로면으로 반사시키는 반사 거울(121)과 반사 거울(121)을 통해 반사되는 레이저의 반사 각도를 변경시키도록 반사 거울(121)을 구동시키는 구동부(123)을 구비하고 있다. 반사 거울(121)은 레이저 조사부(110)에서 조사된 레이저를 도로면으로 반사시키는 1개 반사면 또는 다수의 반사면을 구비하고 있다. 반사 거울부(120)의 일 예에서 구동부(123)은 반사 거울(121)을 설정된 회전 각도로 왕복 회전 운동시키며, 왕복 회전 운동을 통해 반사면에서 반사되는 레이저의 반사 각도를 변경시켜 도로면으로 조사되는 레이저의 조사 각도를 변경시킨다. 반사 거울부(120)의 다른 예에서 구동부(123)는 반사 거울(121)을 설정된 회전 속도로 회전 운동시키며, 회전 운동을 통해 반사면에서 반사되는 레이저의 반사 각도를 변경시켜 도로면으로 조사되는 레이저의 조사 각도를 변경시킨다. 반사 거울(121)의 회전 운동을 통해 도로면으로 조사되는 레이저의 조사 각도가 변경됨으로써, 레이저는 도로면의 일정 폭을 순차적으로 조사하게 된다. 조사 각도가 달라짐에 따라 차량으로부터 서로 다른 이격 거리로 레이저가 조사되며 이하 가장 큰 이격 거리를 조사폭이라 언급한다. 또한 단위시간 동안 조사 폭까지 레이저를 조사하는 횟수를 조사 횟수라 언급한다. The reflecting mirror unit 120 may reflect the laser irradiated from the laser irradiation unit 110 to the road surface, and the reflecting mirror 121 to change the reflection angle of the laser reflected through the reflecting mirror 121. And a driving unit 123 for driving the engine. The reflecting mirror 121 has one reflecting surface or a plurality of reflecting surfaces for reflecting the laser irradiated from the laser irradiator 110 onto the road surface. In one example of the reflective mirror 120, the driving unit 123 reciprocates the reflective mirror 121 at a predetermined rotation angle, and changes the reflection angle of the laser reflected from the reflective surface through the reciprocating rotation to the road surface. The irradiation angle of the irradiated laser is changed. In another example of the reflective mirror 120, the driving unit 123 rotates the reflective mirror 121 at a predetermined rotational speed, and changes the reflection angle of the laser reflected from the reflective surface through the rotational movement to be irradiated onto the road surface. Change the irradiation angle of the laser. By changing the irradiation angle of the laser irradiated to the road surface through the rotational movement of the reflective mirror 121, the laser sequentially irradiates a predetermined width of the road surface. As the angle of irradiation varies, the laser is irradiated at different separation distances from the vehicle, hereinafter the largest separation distance is referred to as the irradiation width. In addition, the number of irradiation times of the laser to the irradiation width for a unit time is referred to as the number of irradiation.

도 4를 참고로 차선 이탈 여부를 판단하는 유닛(200)에 대해 보다 구체적으로 살펴보면, 차선 이탈 여부를 판단하는 유닛(200)은 도로면에서 반사되어 되돌아오는 레이저 신호를 수신하는 레이저 수신부(210)와, 수신한 레이저 신호의 세기 변화를 감지하여 차선을 검색하거나 차선과 차량 사이의 거리를 판단하거나 검색한 차선의 종류를 판단하는 차선 판단부(220)와, 차선 폭에 따른 차선 종류에 대한 정보를 저장하고 있는 차선 정보 저장부(230)와, 판단한 차선과 차량 사이의 거리 또는 검색한 차선의 종류에 기초하여 사용자에게 차선 이탈을 경고하거나 중앙선 침범을 경고하는 경고 제어부(240)를 포함하고 있다.Referring to Figure 4 in more detail with respect to the unit 200 for determining the lane departure, the unit 200 for determining whether the lane departure is laser receiver 210 for receiving a laser signal reflected back from the road surface And a lane determination unit 220 for detecting a lane by detecting a change in the intensity of the received laser signal, determining a distance between the lane and the vehicle, or determining a type of the detected lane, and information on the lane type according to the lane width. A lane information storage unit 230 for storing the information; and a warning controller 240 to warn the user of lane departure or warn the centerline invasion based on the determined distance between the determined lane and the vehicle or the type of the detected lane. .

레이저 수신부(210)에 대해 도 5와 도 6을 참고로 보다 구체적으로 살펴보면, 레이저 수신부(210)는 도로면에서 반사되어 되돌아오는 레이저 신호를 수광하는 레이저 수광부(211), 수광한 레이저 신호에 섞여 있는 DC 성분의 신호를 제거하는 AC 커플링부(213), AC 커플링된 레이저 신호에서 특정 주파수 대역만을 필터링하거나 잡음 신호를 제거하는 필터링부(215) 및 필터링된 아날로그의 레이저 신호를 디지털 값으로 변환시키는 아날로그-디지털 변환부(217)를 구비하고 있다. 레이저 조사부를 통해 도로면으로 조사된 레이저는 고주파 성분이며, 여기서 AC 커플링부(213)와 필터링부(215)는 고주파 성분의 레이저 신호만을 필터링하기 위하여 수광한 레이저 신호에서 직류(DC) 성분 또는 저주파 대역의 잡음 신호를 제거는 고주파 필터로 동작한다.5 and 6, the laser receiver 210 is mixed with the laser receiver 211 and the received laser signal to receive the laser signal reflected from the road surface. AC coupling unit 213 for removing a DC component signal, filtering unit 215 for filtering only a specific frequency band from an AC coupled laser signal or removing a noise signal, and converting a laser signal of a filtered analog into a digital value An analog-to-digital converter 217 is provided. The laser irradiated to the road surface through the laser irradiator is a high frequency component, where the AC coupling unit 213 and the filtering unit 215 are a direct current (DC) component or a low frequency in the laser signal received to filter only a high frequency laser signal. The noise signal in the band is operated as a high frequency filter.

도 6(a)에 도시되어 있는 제1 그래프는 DC 성분이 섞여 있지 않은 수신 레이저 신호의 세기를 도시하고 있으며, 도 6(a)에 도시되어 있는 제2 그래프는 태양광 이 섞여 있는 수신 레이저 신호의 세기를 도시하고 있으며, 도 6(a)에 도시되어 있는 제3 그래프는 주변 차량의 헤드 라이트가 섞여 있는 수신 레이저 신호의 세기를 도시하고 있다. 태양광 또는 주변 차량의 헤드 라이트는 일정한 크기를 가지는 DC 성분으로 작용한다. 한편, 도 6(b)에 도시되어 있는 제1 그래프 내지 제3 그래프는 도 6(a)에 도시되어 있는 제1 내지 제3 그래프에서 DC 성분을 제거하여 AC 커플링한 레이저 신호의 세기를 도시하고 있다. The first graph shown in FIG. 6 (a) shows the intensity of the received laser signal without the DC component mixed, and the second graph shown in FIG. 6 (a) shows the received laser signal with the sunlight mixed. FIG. 6 (a) shows the intensity of the received laser signal in which headlights of surrounding vehicles are mixed. The headlights of sunlight or surrounding vehicles act as DC components of constant size. Meanwhile, the first to third graphs shown in FIG. 6 (b) show the intensity of a laser signal AC-coupled by removing the DC component from the first to third graphs shown in FIG. 6 (a). Doing.

다시 도 4를 참고로 차선 이탈 여부를 판단하는 유닛(200)에 대해 보다 구체적으로 살펴보면, 차선 판단부(220)는 수신한 레이저의 세기 변화를 감지하고 감지한 레이저의 세기 변화에 기초하여 도로면의 차선을 검색하는 차선 검색부(221)와, 수신 레이저의 세기 변화가 시작되는 시점과 상기 수신 레이저의 세기 변화가 종료하는 시점에서 각각 차량과 차선 사이의 거리를 계산하는 거리 계산부(223)와, 수신 레이저의 세기 변화가 시작되는 시점에서 계산한 차량과 차선 사이의 거리 및 수신 레이저의 세기 변화가 종료하는 시점에서 계산한 차량과 차선 사이의 거리 차이에 기초하여 검색한 차선의 폭을 계산하는 차선 폭 계산부(225)와, 계산한 차선 폭에 기초하여 차선의 종류를 판단하는 차선 종류 판단부(227)를 구비하고 있다. Referring to FIG. 4, the lane determination unit 220 detects the intensity change of the received laser and detects the intensity change of the received laser based on the detected intensity change of the road surface. A lane search unit 221 for searching for a lane of a distance, and a distance calculator 223 for calculating a distance between the vehicle and the lane at the time when the intensity change of the reception laser starts and the time when the intensity change of the reception laser ends. And calculating the width of the searched lane based on the distance difference between the vehicle and the lane calculated at the beginning of the change in intensity of the received laser and the distance between the vehicle and the lane calculated at the end of the change in the intensity of the received laser. A lane width calculation unit 225 and a lane type determination unit 227 for determining the type of lane based on the calculated lane width are provided.

도로면은 아스팔트, 시멘트 등으로 포장되어 있으며, 포장되어 있는 도로면 위에 다양한 종류의 백색 또는 황색의 차선이 표시되어 있다. 레이저를 도로면으로 조사하는 경우 차선이 표시되어 있지 않은 도로면보다 차선이 표시되어 있는 도로면에서 더욱 강한 세기로 레이저가 반사된다. 차선 검색부(221)는 수신한 레이저의 상대적인 세기 변화를 통해 도로면의 차선을 검색한다. The road surface is paved with asphalt, cement, etc., and various kinds of white or yellow lanes are marked on the paved road surface. When the laser is irradiated to the road surface, the laser is reflected at a stronger intensity on the road surface where the lane is displayed than on the road surface where the lane is not displayed. The lane searching unit 221 searches for lanes on the road surface by changing the relative intensity of the received laser.

차선 종류 판단부(227)는 계산한 차선 폭과 차선 정보 저장부(230)에 저장되어 있는 차선 폭에 대한 정보를 이용하여 차선 종류를 인식한다. 바람직하게, 차선 정보 저장부(230)에는 차선 종류에 따라 차선 폭이 일정 단위 간격으로 구분되어 있으며, 차선 종류 판단부(227)는 계산한 차선 폭이 일정 단위 간격에 속하는 경우 속하는 일정 단위 간격에 매핑되어 있는 차선으로 인식한다. 예를 들어, 차선 정보 저장부(230)에 백색 주행차선의 폭은 10~15cm, 황색 중앙차선의 폭은 15~20cm로 구분되어 있으며, 차선 종류 판단부(227)는 계산한 차선 폭이 11cm인 경우 검색한 차선을 백색 주행차선으로 인식한다. The lane type determination unit 227 recognizes the lane type using information on the calculated lane width and the lane width stored in the lane information storage unit 230. Preferably, the lane information storage unit 230 divides the lane width into a predetermined unit interval according to the lane type, and the lane type determination unit 227 may determine a predetermined unit interval if the calculated lane width belongs to the predetermined unit interval. Recognize it as a mapped lane. For example, the width of the white driving lane is divided into 10 to 15 cm and the width of the yellow central lane to 15 to 20 cm in the lane information storage unit 230, and the lane type determination unit 227 calculates the width of the lane to 11 cm. In the case of, the detected lane is recognized as a white driving lane.

경고 제어부(240)는 차선 검색부(221), 거리 계산부(223), 차선 종류 판단부(227)에서 판단한 차량과 차선 사이의 거리에 기초하여 사용자에게 경고 신호를 출력하거나 판단한 차선의 종류에 기초하여 사용자에게 경고 신호를 출력한다.The warning control unit 240 outputs a warning signal to the user based on the distance between the vehicle and the lane determined by the lane searching unit 221, the distance calculating unit 223, and the lane type determining unit 227. Outputs a warning signal to the user based on this.

도 7(a)를 참고로 반사 거울의 일 예를 살펴보면, 반사 거울(121)은 레이저 조사부에서 조사된 레이저를 도로면으로 반사시키는 다수의 반사면(151)을 옆면으로 가지는 팔각 기둥의 형상이다. 팔각 기둥 형상을 가지는 반사 거울(121)의 중심에서 연장 형성된 구동축(153)을 중심으로 반사 거울(121)이 시계 방향으로 회전 운동함에 따라 반사면(151)에서 반사되는 레이저의 반사 각도(θr)는 변화하게 된다. 1개의 반사면(151)을 통해 도로면의 조사 폭을 1회 조사하게 되며, 8개의 반사면으로 구성된 팔각 기둥의 반사 거울은 1회전함에 따라 도로면의 조사 폭을 8회 조사하게 된다. 도 8은 도 7(a)에 도시되어 있는 반사 거울이 회전 구동시 반사면 으로 반사되는 레이저의 반사 각도를 도시하고 있다. Looking at an example of the reflective mirror with reference to Figure 7 (a), the reflective mirror 121 is the shape of an octagonal pillar having a plurality of reflecting surfaces 151 reflecting the laser irradiated from the laser irradiation unit to the road surface. . Reflection angle θ r of the laser reflected from the reflecting surface 151 as the reflecting mirror 121 rotates clockwise about a driving shaft 153 extending from the center of the reflecting mirror 121 having an octagonal pillar shape ) Changes. The irradiation width of the road surface is irradiated once through one reflective surface 151, and the reflective mirror of the octagonal pillar composed of eight reflective surfaces irradiates eight times the irradiation width of the road surface as one rotation. FIG. 8 shows the reflection angle of the laser that is reflected to the reflecting surface when the reflecting mirror shown in FIG. 7 (a) is rotated.

도 7(a)와 도 8에서는 8각 기둥형상의 반사 거울을 일 예로 설명하였으나 각 수가 늘어날수록 동일 회전 속도에서 단위 시간 당 조회 횟수는 증가하게 된다. 따라서 본 발명은 보다 정밀하고 신속하게 차량 이탈 여부를 판단할 필요가 있는지 여부에 따라 또는 차량 이탈 여부를 판단하는 유닛(200)의 프로세싱 성능에 따라 반사 거울의 회전 속도를 제어하거나 회전 거울의 형상을 본 발명의 필요 목적에 따라 선택하여 제작할 수 있다. 바람직하게, 반사 거울은 다수의 반사면이 서로 동일한 정다각 기둥인 것을 특징으로 한다.In FIGS. 7A and 8, an octagonal reflective mirror is described as an example, but as the number increases, the number of inquiries per unit time increases at the same rotational speed. Therefore, the present invention controls the rotational speed of the reflection mirror or adjusts the shape of the rotation mirror according to whether it is necessary to determine whether the vehicle departs more precisely and quickly or according to the processing capability of the unit 200 that determines whether the vehicle departs. It can select and manufacture according to the required objective of this invention. Preferably, the reflecting mirror is characterized in that the plurality of reflecting surfaces are regular polygonal columns equal to each other.

도 7(b)를 참고로 반사 거울의 다른 예를 살펴보면, 반사 거울(121)은 레이저 조사부에서 조사된 레이저를 도로면으로 반사시키는 반사면(161)을 일면으로 구비한 사각 판 형상이다. 반사 거울(121)은 설정된 각도(θt)에서 왕복 회전 운동을 하도록 구동되며, 반사 거울(121)이 설정된 각도(θt)에서 왕복 회전 운동함에 따라 반사면(161)에서 반사되는 레이저의 반사 각도(θr)는 변화하게 된다. 반사거울(121)이 설정된 각도(θt)에서 1회 왕복 회전 운동을 하는 경우, 도로면의 조사 폭을 2회 조사하게 된다. 도 9는 도 7(b)에 도시되어 있는 반사 거울이 설정된 각도에서 왕복 회전 구동시 반사면으로 반사되는 레이저의 반사 각도를 도시하고 있다. Referring to another example of the reflective mirror with reference to FIG. 7B, the reflective mirror 121 has a rectangular plate shape having, as one surface, a reflective surface 161 for reflecting the laser beam irradiated from the laser irradiator on the road surface. Reflection mirror 121 is driven to a reciprocating rotary movement in a predetermined angle (θ t), the reflection mirror 121, the reflection of the laser reflected by the reflecting surface 161 as a reciprocating rotational motion in a predetermined angle (θ t) The angle θ r changes. When the reflective mirror 121 performs one reciprocating rotational motion at the set angle θ t , the irradiation width of the road surface is irradiated twice. FIG. 9 shows the reflection angle of the laser reflected to the reflecting surface during the reciprocating rotation drive at the set angle of the reflecting mirror shown in FIG. 7 (b).

도 10은 조사 레이저 신호와 수신 레이저 신호의 일 예를 도시하고 있는데, 도 10을 참고로 거리 계산부에서 차량과 차선 사이의 거리를 계산하는 방법과 차선 폭 계산부에서 차선 폭을 계산하는 방법을 살펴본다.10 illustrates an example of an irradiation laser signal and a reception laser signal. Referring to FIG. 10, a method of calculating a distance between a vehicle and a lane in a distance calculator and a method of calculating a lane width in a lane width calculator are described with reference to FIG. 10. Take a look.

도 10(a)는 반사 거울을 통해 도로면으로 조사되는 레이저 신호의 일 예를 도시하고 있다. 도 10(a)에 도시되어 있는 것과 같이 도로면으로 조사되는 레이저 신호는 고주파로 펄스 폭 변조되어 있다. 한편 도 10(b)은 도로면에 조사된 후 도로면에서 반사되어 수신되는 레이저 신호의 일 예를 도시하고 있다. FIG. 10A illustrates an example of a laser signal irradiated onto a road surface through a reflection mirror. As shown in Fig. 10A, the laser signal irradiated onto the road surface is pulse width modulated at a high frequency. On the other hand, Figure 10 (b) shows an example of the laser signal received by reflected from the road surface after being irradiated to the road surface.

실제 도로면에서 반사되어 수신되는 레이저 신호에는 DC 성분 또는 저주파 성분의 잡음 신호가 섞여 있지만 AC 커플링과 필터링을 통해 DC 성분과 저주파 성분의 잡음 신호를 제거하여 도 10(b)와 같은 레이저 신호를 생성한다. 도 10(b)에 도시되어 있는 것과 같이, 제1 시점(t2)부터 수신한 레이저 신호는 도로면의 차선이 시작되는 위치에서 반사되는 레이저 신호이므로 제1 시점(t2) 이전에 수신한 레이저 신호의 세기에 비해 상대적으로 크다. 그리고 제2 시점(t4)부터 수신한 레이저 신호의 세기는 도로면의 차선이 종료하는 위치에서 반사되는 레이저 신호이므로 다시 제1 시점(t2) 이전에 수신한 레이저 신호의 세기로 복귀한다. 즉, 제1 시점(t2)은 수신한 레이저의 세기 변화가 시작 시점이며, 제2 시점(t4)은 수신한 레이저의 세기 변화가 종료하는 시점이다. 거리 계산부는 레이저의 조사 시각과 레이저의 수신 시각 차이에 기초하여 각각 제1 시점과 제2 시점에서 차량과 차선 사이의 거리, 즉 차량과 레이저가 조사된 지점 사이의 거리를 계산한다.Although the laser signal reflected from the actual road surface is mixed with a noise signal of DC or low frequency components, the noise signal of DC and low frequency components is removed by AC coupling and filtering to obtain a laser signal as shown in FIG. 10 (b). Create As shown in FIG. 10 (b), the laser signal received from the first point in time t2 is a laser signal reflected at the position where the lane of the road surface starts, and thus, the laser signal received before the first point in time t2. It is relatively large compared to its strength. Since the intensity of the laser signal received from the second time point t4 is a laser signal reflected at a position where the lane of the road surface ends, the intensity of the laser signal received before the first time point t2 is returned. That is, the first time point t2 is a start point of the change in intensity of the received laser, and the second time point t4 is a time point at which the change in intensity of the received laser is finished. The distance calculator calculates the distance between the vehicle and the lane, that is, the distance between the vehicle and the laser beam, at the first and second time points, respectively, based on the difference between the irradiation time of the laser and the reception time of the laser.

한편, 차선 폭 계산부는 수신한 레이저의 세기 변화가 시작하는 시점에서 계산한 차선과 차량 사이의 거리 및 수신한 레이저의 세기 변화가 종료하는 시점에서 계산한 차선과 차량 사이의 거리의 차이에 기초하여 차선 폭을 계산한다. 즉, 수 신한 레이저의 세기 변화가 시작하는 시점에서 계산한 차선과 차량 사이의 거리와 수신한 레이저의 세기 변화가 종료하는 시점에서 계산한 차선과 차량 사이의 거리 차이는 검색한 차선의 폭이다. Meanwhile, the lane width calculation unit is configured based on a difference between the distance between the lane and the vehicle calculated at the start of the received laser intensity change and the distance between the lane and the vehicle calculated at the end of the received laser intensity change. Calculate lane width That is, the difference between the distance calculated between the lane and the vehicle calculated when the intensity change of the received laser starts and the distance calculated between the lane and the vehicle calculated when the intensity change of the received laser signal ends is the width of the detected lane.

도 11은 경고 제어부에서 차량과 차선 사이의 거리 또는 판단한 차선의 종류에 기초하여 운전자에게 경고 신호를 출력하는 일 예를 설명하는 흐름도로서, 도 11을 참고로 보다 구체적으로 살펴보면, 차선을 검색한 경우 차선과 차량 사이의 거리를 계산하고(S1) 검색한 차선의 종류를 판단한다(S3). 검색한 차선의 종류가 중앙 차선인지를 판단하고(S5), 중앙 차선으로 판단된 경우 중앙 차선과 차량 사이의 거리가 제1 임계값(TH1) 이하인지를 판단한다(S7). 중앙 차선과 차량 사이의 거리가 제1 임계값 이하인 경우, 사용자에게 경고 신호를 출력하도록 제어한다(S9). 경고 신호는 차량에 설치되어 있는 스피커를 통해 운전자에게 경고음으로 출력되거나 차량에 설치되어 있는 디스플레이를 통해 운전자에게 경고 메시지로 출력된다.FIG. 11 is a flowchart illustrating an example of outputting a warning signal to a driver based on a distance between a vehicle and a lane or a type of a lane determined by the warning controller. Referring to FIG. 11, the lane is searched for in detail. The distance between the lane and the vehicle is calculated (S1), and the type of the searched lane is determined (S3). It is determined whether the type of the searched lane is the center lane (S5). When it is determined as the center lane, it is determined whether the distance between the center lane and the vehicle is equal to or less than the first threshold value TH1 (S7). When the distance between the center lane and the vehicle is less than or equal to the first threshold value, the controller 100 outputs a warning signal to the user (S9). The warning signal is output as a warning sound to the driver through the speaker installed in the vehicle or as a warning message to the driver through the display installed in the vehicle.

도 12는 경고 제어부에서 차량과 차선 사이의 거리 또는 판단한 차선의 종류에 기초하여 운전자에게 경고 신호를 출력하는 다른 예를 설명하는 흐름도로서, 도 12를 참고로 보다 구체적으로 살펴보면, 차선을 검색한 경우 차선과 차량 사이의 거리를 주기적으로 계산하며(S11), 계산한 차선과 차량 사이의 거리에 기초하여 차량과 차선 사이의 거리 변화 속도를 계산한다(S13). 계산한 차선과 차량 사이의 거리 변화 속도가 제2 임계값(TH2) 이상인지를 판단하여(S15), 계산한 차선과 차량 사이의 거리 변화 속도가 제2 임계값(TH2) 이상으로 판단된 경우 사용자에게 경고 신호를 출력하도록 제어한다(S17). 경고 신호는 차량에 설치되어 있는 스피커를 통해 운전자에게 경고음으로 출력되거나 차량에 설치되어 있는 디스플레이를 통해 운전자에게 경고 메시지로 출력된다. FIG. 12 is a flowchart illustrating another example of outputting a warning signal to a driver based on a distance between a vehicle and a lane or a determined lane by the warning controller. Referring to FIG. 12, the lane is searched for in detail. The distance between the lane and the vehicle is periodically calculated (S11), and the distance change speed between the vehicle and the lane is calculated based on the calculated distance between the lane and the vehicle (S13). If it is determined whether the calculated distance change speed between the lane and the vehicle is greater than or equal to the second threshold value TH2 (S15), and the determined distance change speed between the calculated lane and the vehicle is determined to be greater than or equal to the second threshold value TH2. Control to output a warning signal to the user (S17). The warning signal is output as a warning sound to the driver through the speaker installed in the vehicle or as a warning message to the driver through the display installed in the vehicle.

이상에서 설명한 것은 본 발명에 따른 차선 이탈 경고 장치의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is merely an exemplary embodiment of the lane departure warning apparatus according to the present invention, and the present invention is not limited to the above-described embodiment, and as claimed in the following claims, it departs from the gist of the present invention. Without this, anyone skilled in the art to which the present invention pertains will have the technical spirit of the present invention to the extent that various modifications can be made.

도 1은 통상의 왕복 4차선 도로를 개략적으로 도시하고 있다.1 schematically depicts a typical reciprocating four lane road.

도 2는 본 발명에 따른 차선 이탈 경고 장치를 차량에 장착한 일 예를 도시하고 있다.2 illustrates an example in which the lane departure warning apparatus according to the present invention is mounted on a vehicle.

도 3은 레이저를 조사하는 유닛(100)을 보다 구체적으로 설명하기 위한 기능 블록도이다.3 is a functional block diagram for explaining the unit 100 for irradiating a laser in more detail.

도 4는 레이저를 수광하여 차선 이탈 여부를 판단하는 유닛(200)을 보다 구체적으로 설명하기 위한 기능 블록도이다.4 is a functional block diagram for explaining in more detail the unit 200 for receiving a laser to determine whether the lane departure.

도 5는 레이저 수신부를 보다 구체적으로 도시하고 있는 기능 블록도이다.5 is a functional block diagram illustrating the laser receiver in more detail.

도 6은 레이저 수신부를 통해 수신한 레이저 신호를 도시하고 있다.6 illustrates a laser signal received through a laser receiver.

도 7은 본 발명에 따른 반사 거울의 예를 도시하고 있다.7 shows an example of a reflecting mirror according to the present invention.

도 8과 도 9는 반사 거울에 따른 구동 예를 도시하고 있다.8 and 9 show examples of driving according to the reflecting mirror.

도 10은 조사 레이저 신호와 수신 레이저 신호의 일 예를 도시하고 있다.10 shows an example of an irradiation laser signal and a reception laser signal.

도 11은 경고 제어부에서 차량과 차선 사이의 거리 또는 판단한 차선의 종류에 기초하여 운전자에게 경고 신호를 출력하는 일 예를 설명하는 흐름도이다.FIG. 11 is a flowchart illustrating an example of outputting a warning signal to a driver based on a distance between a vehicle and a lane or a type of a determined lane by the warning controller.

도 12는 경고 제어부에서 차량과 차선 사이의 거리 또는 판단한 차선의 종류에 기초하여 운전자에게 경고 신호를 출력하는 다른 예를 설명하는 흐름도이다.12 is a flowchart illustrating another example of outputting a warning signal to a driver based on the distance between the vehicle and the lane or the type of the determined lane by the warning controller.

<도면의 주요 부분에 대한 설명>Description of the main parts of the drawing

10: 차량 20: 차선 이탈 경고 장치10: vehicle 20: lane departure warning device

30: 도로면 40: 차선30: road surface 40: lane

110: 레이저 조사부 120: 반사 거울부110: laser irradiation unit 120: reflective mirror unit

151: 반사면 153: 구동축151: reflective surface 153: drive shaft

161: 반사면 163: 구동축161: reflective surface 163: drive shaft

210: 레이저 수신부 220: 차선 판단부210: laser receiver 220: lane determination unit

221: 차선 검색부 223: 거리 계산부221: lane search unit 223: distance calculation unit

225: 차선폭 계산부 227: 차선 종류 판단부225: lane width calculation unit 227: lane type determination unit

230: 차선 정보 저장부 240: 경고 제어부230: lane information storage unit 240: warning control unit

Claims (10)

레이저를 조사하는 레이저 조사부;A laser irradiation unit for irradiating a laser; 상기 레이저 조사부로부터 조사된 레이저를 서로 다른 반사 각도로 반사시켜 도로면으로 조사되는 레이저의 조사 각도를 변경시키는 반사 거울부;A reflection mirror unit for changing the irradiation angle of the laser irradiated onto the road surface by reflecting the laser irradiated from the laser irradiation unit at different reflection angles; 상기 도로면에서 반사되어 되돌아오는 레이저를 수신하는 레이저 수신부; 및A laser receiver for receiving a laser beam reflected from the road surface; And 상기 수신한 레이저의 세기 변화에 기초하여 상기 도로면에 표시되어 있는 차선을 검색하고, 상기 차선과 차량 사이의 거리 또는 상기 검색한 차선의 종류를 판단하는 차선 판단부를 포함하는 차선 이탈 경고 장치. And a lane determination unit configured to search for a lane displayed on the road surface based on the received intensity change of the laser, and determine a distance between the lane and the vehicle or the type of the searched lane. 제 1 항에 있어서, 상기 반사 거울부는The method of claim 1, wherein the reflective mirror portion 상기 조사된 레이저를 도로면으로 반사시키는 반사 거울; 및A reflection mirror reflecting the irradiated laser to a road surface; And 상기 반사 거울을 통해 도로면으로 조사되는 상기 레이저의 조사 각도를 변경시키도록 상기 반사 거울을 구동시키는 구동부를 포함하는 것을 특징으로 하는 차선 이탈 경고 장치.And a driving unit for driving the reflective mirror to change the irradiation angle of the laser emitted to the road surface through the reflective mirror. 제 2 항에 있어서, The method of claim 2, 상기 반사 거울은 상기 조사된 레이저를 도로면으로 반사시키는 다수의 반사면을 옆면으로 가지는 다각 기둥의 형상이며,The reflecting mirror is in the shape of a polygonal pillar having a plurality of reflecting surfaces laterally reflecting the irradiated laser to the road surface, 상기 구동부는 상기 반사 거울의 일축을 기준으로 상기 반사 거울을 회전 구 동시켜 상기 반사면에 반사되어 도로면으로 조사되는 상기 레이저의 조사 각도를 변경시키는 것을 특징으로 하는 차선 이탈 경고 장치.And the driving unit rotates the reflective mirror based on one axis of the reflective mirror to change the irradiation angle of the laser reflected to the reflective surface and irradiated onto the road surface. 제 3 항에 있어서, The method of claim 3, wherein 상기 반사 거울은 다수의 반사면이 서로 동일한 정다각 기둥의 형상인 것을 특징으로 하는 차선 이탈 경고 장치. The reflective mirror is a lane departure warning device, characterized in that the plurality of reflecting surfaces of the same polygonal polygonal shape. 제 4 항에 있어서, 상기 차선 판단부는The method of claim 4, wherein the lane determination unit 상기 수신한 레이저의 세기 변화를 감지하며 상기 감지한 레이저의 세기 변화에 기초하여 도로면의 차선을 검색하는 차선 검색부;A lane searching unit for detecting a change in intensity of the received laser and searching for a lane of a road surface based on the detected change in intensity of the laser; 상기 수신 레이저의 세기 변화가 시작되는 시점과 상기 수신 레이저의 세기 변화가 종료하는 시점에서 각각 차량과 차선 사이의 거리를 계산하는 거리 계산부; A distance calculator configured to calculate a distance between the vehicle and the lane at the time when the change in the intensity of the receiving laser starts and when the change in the intensity of the receiving laser ends; 상기 수신 레이저의 세기 변화가 시작되는 시점에서 계산한 차량과 차선 사이의 거리 및 상기 수신 레이저의 세기 변화가 종료하는 시점에서 계산한 차량과 차선 사이의 거리 차이에 기초하여 상기 검색한 차선의 폭을 계산하는 차선 폭 계산부; 및The width of the searched lane is calculated based on the distance between the vehicle and the lane calculated at the start of the intensity change of the receiving laser and the distance difference between the vehicle and the lane calculated at the end of the intensity change of the receiving laser. A lane width calculation unit for calculating; And 상기 계산한 차선 폭에 기초하여 차선의 종류를 판단하는 차선 종류 판단부를 포함하는 것을 특징으로 하는 차선 이탈 경고 장치.And a lane type determination unit configured to determine the type of the lane based on the calculated lane width. 제 5 항에 있어서, 상기 차선 이탈 경고 장치는The method of claim 5, wherein the lane departure warning device 상기 차선 종류에 따른 차선 폭에 대한 정보를 저장하고 있는 차선 정보 저장부를 더 포함하며,Further comprising a lane information storage unit for storing information on the lane width according to the lane type, 상기 차선 종류 판단부는 상기 계산한 차선 폭과 상기 차선 정보 저장부에 저장되어 있는 차선 폭 정보를 이용하여 상기 검색한 차선의 종류를 판단하는 것을 특징으로 하는 차선 이탈 경고 장치.And the lane type determining unit determines the type of the searched lane using the calculated lane width and the lane width information stored in the lane information storage unit. 제 5 항에 있어서, 상기 차선 판단부는The method of claim 5, wherein the lane determination unit 상기 계산한 차량과 차선 사이의 거리에 기초하여 사용자에게 경고음을 발생시키거나, 상기 판단한 차선의 종류에 기초하여 사용자에게 경고음을 발생시키는 경고 제어부를 더 포함하는 것을 특징으로 하는 차선 이탈 경고 장치.And a warning controller configured to generate a warning sound to the user based on the calculated distance between the vehicle and the lane, or generate a warning sound to the user based on the type of the determined lane. 제 7 항에 있어서, 상기 경고 제어부는The method of claim 7, wherein the warning control unit 상기 판단한 차선의 종류 및 상기 판단한 차량과 차선 사이의 거리에 기초하여 상기 차량과 차선 사이의 거리가 제1 임계값 이하인 경우 사용자에게 경고 신호를 출력시키는 것을 특징으로 하는 차선 이탈 경고 장치.And a warning signal is output to the user when the distance between the vehicle and the lane is less than or equal to a first threshold based on the determined type of the lane and the determined distance between the vehicle and the lane. 제 7 항에 있어서, 상기 경고 제어부는The method of claim 7, wherein the warning control unit 상기 판단한 차선의 종류 및 상기 판단한 차량과 차선 사이의 거리에 기초하여 상기 차량과 차선 사이의 거리 변화속도가 제2 임계값을 초과하는 경우 사용자에게 경고 신호를 출력시키는 것을 특징으로 하는 차선 이탈 경고 장치.A lane departure warning device outputting a warning signal to a user when a distance change speed between the vehicle and the lane exceeds a second threshold based on the determined type of the lane and the determined distance between the vehicle and the lane; . 제 5 항에 있어서, 상기 레이저 조사부는The method of claim 5, wherein the laser irradiation unit 주변 광과 구분될 수 있도록 도로면으로 조사되는 레이저 신호를 고주파 변조시키는 변조 제어부; 및A modulation control unit for high frequency modulation of the laser signal irradiated onto the road surface so as to be distinguished from the ambient light; And 상기 변조부의 제어에 따라 변조된 레이저 신호를 발생하는 레이저 발생부를 포함하는 것을 특징으로 하는 차선 이탈 경고 장치.And a laser generator for generating a laser signal modulated according to the control of the modulator.
KR1020090059804A 2009-07-01 2009-07-01 Lane departure warning apparatus using laser KR101103448B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090059804A KR101103448B1 (en) 2009-07-01 2009-07-01 Lane departure warning apparatus using laser

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090059804A KR101103448B1 (en) 2009-07-01 2009-07-01 Lane departure warning apparatus using laser

Publications (2)

Publication Number Publication Date
KR20110002288A true KR20110002288A (en) 2011-01-07
KR101103448B1 KR101103448B1 (en) 2012-01-09

Family

ID=43610567

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090059804A KR101103448B1 (en) 2009-07-01 2009-07-01 Lane departure warning apparatus using laser

Country Status (1)

Country Link
KR (1) KR101103448B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101509995B1 (en) * 2013-12-03 2015-04-07 현대자동차주식회사 Junction entry determining apparatus and method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07287069A (en) * 1993-03-09 1995-10-31 Aerometrics Inc Laser-based tracking apparatus for detection of distance between vehicle and road-surface mark
FR2748964B1 (en) * 1996-05-23 1998-08-07 Castagner Bernard TUBULAR EQUIPMENT IN COMPOSITE MATERIALS MADE BY WINDING UNBALANCED TISSUE ON A COMPRESSIBLE CHUCK

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101509995B1 (en) * 2013-12-03 2015-04-07 현대자동차주식회사 Junction entry determining apparatus and method thereof
US9792506B2 (en) 2013-12-03 2017-10-17 Hyundai Motor Company Lane change determining apparatus, junction entry determining apparatus and method thereof

Also Published As

Publication number Publication date
KR101103448B1 (en) 2012-01-09

Similar Documents

Publication Publication Date Title
US11620835B2 (en) Obstacle recognition method and apparatus, storage medium, and electronic device
CN102951062B (en) For the photoemissive method and apparatus at least one headlight for changing vehicle
KR101395089B1 (en) System and method for detecting obstacle applying to vehicle
CN110651313A (en) Control device and control method
JP6459659B2 (en) Image processing apparatus, image processing method, driving support system, program
WO2018059586A1 (en) A vehicle identification method, device, and vehicle
CN112292286A (en) Rider assistance system and method
CN108375775A (en) The method of adjustment of vehicle-mounted detection equipment and its parameter, medium, detection system
CN106251701A (en) Based on the vehicle rearview monitor and alarm system and the method that rotate zoom multi-cam
CN101101333A (en) Apparatus and method for producing assistant information of driving vehicle for driver
EP2636561A1 (en) Light distribution control apparatus
EP3835130A1 (en) Apparatuses and methods for backscattering elimination via spatial and temporal modulations
JP2019028841A (en) Outboard notification device
KR102429956B1 (en) safety system that provides information about blind spots that occur when driving
CN104800054A (en) Distance detecting and indicating method and action device with detecting and indicating functions
WO2023155283A1 (en) Automatic driving information auxiliary system based on intelligent lamp pole
KR102227371B1 (en) Image projection apparatus of vehicle and vehicle including the same
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
KR20170030816A (en) Smart cruise control apparatus and method with traffic sign detecting function
KR20170119059A (en) Sensor convergence system in autonomous emergency braking
KR101104833B1 (en) Apparatus and method for Providing Information of safe driving
KR101103448B1 (en) Lane departure warning apparatus using laser
CN113415236A (en) Heavy-duty vehicle blind area monitoring and early warning system
KR101033105B1 (en) Automatic drive control method using multiple lasers
KR101076984B1 (en) Lane Departure Warning apparatus using multiple laser beams

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151209

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171212

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191218

Year of fee payment: 9