KR102597238B1 - Apparatus and method for evaluating lane keeping assist system using dual camera - Google Patents

Apparatus and method for evaluating lane keeping assist system using dual camera Download PDF

Info

Publication number
KR102597238B1
KR102597238B1 KR1020210153123A KR20210153123A KR102597238B1 KR 102597238 B1 KR102597238 B1 KR 102597238B1 KR 1020210153123 A KR1020210153123 A KR 1020210153123A KR 20210153123 A KR20210153123 A KR 20210153123A KR 102597238 B1 KR102597238 B1 KR 102597238B1
Authority
KR
South Korea
Prior art keywords
distance
camera
lane
processor
image
Prior art date
Application number
KR1020210153123A
Other languages
Korean (ko)
Other versions
KR20230067243A (en
Inventor
이선봉
김봉주
이시호
이수림
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020210153123A priority Critical patent/KR102597238B1/en
Publication of KR20230067243A publication Critical patent/KR20230067243A/en
Application granted granted Critical
Publication of KR102597238B1 publication Critical patent/KR102597238B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance

Abstract

본 발명은 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치에 관한 것으로서, 차량의 전면에 구비되는 제1 카메라, 제1 카메라와 이격되어 구비되는 제2 카메라, 및 제1 카메라를 통해 촬영된 제1 영상에 기반하여 차량의 전륜으로부터 차선까지의 거리를 산출하고, 제2 카메라를 통해 촬영된 제2 영상에 기반하여 전륜으로부터 차선까지의 거리를 산출하고, 제2 영상에 기반하여 산출된 거리를 토대로 제1 영상에 기반하여 산출된 거리를 보정하는 프로세서를 포함하는 것을 특징으로 한다.The present invention relates to a test and evaluation device for a lane keeping assistance system using a dual camera, which includes a first camera provided on the front of the vehicle, a second camera provided at a distance from the first camera, and a first camera photographed through the first camera. 1 Calculate the distance from the front wheels of the vehicle to the lane based on the image, calculate the distance from the front wheels to the lane based on the second image captured through the second camera, and calculate the distance calculated based on the second image. It is characterized by including a processor that corrects the distance calculated based on the first image.

Description

듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치 및 방법{APPARATUS AND METHOD FOR EVALUATING LANE KEEPING ASSIST SYSTEM USING DUAL CAMERA}Test evaluation device and method for lane keeping assist system using dual cameras {APPARATUS AND METHOD FOR EVALUATING LANE KEEPING ASSIST SYSTEM USING DUAL CAMERA}

본 발명은 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치 및 방법에 관한 것으로서, 더욱 상세하게는 차선 유지 보조 시스템의 시험 평가를 위해 차량의 전륜으로부터 차선까지의 거리를 추정할 수 있는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치 및 방법에 관한 것이다.The present invention relates to a test and evaluation device and method for a lane keeping assist system using a dual camera. More specifically, the present invention relates to a dual camera that can estimate the distance from the front wheels of the vehicle to the lane for testing and evaluating the lane keep assist system. It relates to a test and evaluation device and method for a lane keeping assistance system used.

현재 양산되는 자동차는 운전자의 편의와 안전을 증진시키기 위한 목적으로 운전자를 보조하는 역할을 수행하는 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance Systems)를 탑재하고 있다. 첨단 운전자 보조 시스템은 적응형 순항 제어(ACC: Adaptive Cruise Control), 차선 유지 보조 시스템(LKAS: Lane Keeping Assist System), 고속도로 주행 보조(HDA:Highway Driving Assist) 등 제한적인 조건에서 작동하는 자율주행 기술을 탑재하고 있다. 그 중에서 차선 유지 보조 시스템은 주행차로의 유지와 차선 이탈 시 주행차로로의 복귀 기능을 수행하기 위해, 차량 내 탑재된 센서로 차선 인식과 차량부터 차선까지의 거리를 산출한다.Cars currently being mass-produced are equipped with advanced driver assistance systems (ADAS) that assist the driver in order to improve driver convenience and safety. Advanced driver assistance systems are autonomous driving technologies that operate under limited conditions, such as adaptive cruise control (ACC), lane keeping assist system (LKAS), and highway driving assist (HDA). It is equipped with Among them, the lane maintenance assist system recognizes lanes and calculates the distance from the vehicle to the lane using sensors mounted in the vehicle in order to maintain the driving lane and return to the driving lane when the vehicle deviates from the lane.

이러한 자율주행 기술의 목표 중 하나인 교통사고, 공사현장 등과 같은 돌발 상황에 대한 능동적인 대응을 위해 주변 환경 파악이 요구된다. 이를 위해 라이다(LiDAR, Light Detection And Ranging), 레이더(RADAR, RAdio Detection And Ranging), 카메라(camera) 등 검지를 위한 다양한 센서가 사용된다. 그 중에서도 카메라는 물체 감지, 교통 정보 수집, 간격 유지, 차선 검지 등 영상 내에 많은 정보를 포함하고 다른 센서 대비 저렴하며 접근성이 뛰어나서 카메라 기반의 주변 환경 정보 수집 등의 연구가 활발히 진행되고 있다.Understanding the surrounding environment is required to proactively respond to unexpected situations such as traffic accidents and construction sites, which is one of the goals of autonomous driving technology. For this purpose, various sensors for detection are used, such as LiDAR (Light Detection And Ranging), RADAR (RAdio Detection And Ranging), and cameras. Among them, cameras contain a lot of information in the video, such as object detection, traffic information collection, gap maintenance, and lane detection, and are cheaper and more accessible than other sensors, so research on camera-based environmental information collection is being actively conducted.

본 발명의 배경기술은 대한민국 등록특허공보 제10-1039722호(2011.06.01.)의 '차선유지 보조시스템'에 개시되어 있다.The background technology of the present invention is disclosed in 'Lane Keeping Assist System' in Republic of Korea Patent Publication No. 10-1039722 (June 1, 2011).

본 발명의 목적은, 차선 유지 보조 시스템의 시험 평가를 위해 차량의 전륜으로부터 차선까지의 거리를 추정할 수 있는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치 및 방법을 제공하는 것이다.The purpose of the present invention is to provide a test and evaluation device and method for a lane keeping assist system using a dual camera that can estimate the distance from the front wheels of a vehicle to the lane for testing and evaluating the lane keep assist system.

본 발명의 일 측면에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치는 차량의 전면에 구비되는 제1 카메라; 상기 제1 카메라와 이격되어 구비되는 제2 카메라; 및 상기 제1 카메라를 통해 촬영된 제1 영상에 기반하여 상기 차량의 전륜으로부터 차선까지의 거리를 산출하고, 상기 제2 카메라를 통해 촬영된 제2 영상에 기반하여 상기 전륜으로부터 상기 차선까지의 거리를 산출하고, 상기 제2 영상에 기반하여 산출된 거리를 토대로 상기 제1 영상에 기반하여 산출된 거리를 보정하는 프로세서;를 포함하는 것을 특징으로 한다.A test and evaluation device for a lane keeping assist system using a dual camera according to an aspect of the present invention includes a first camera provided on the front of a vehicle; a second camera provided to be spaced apart from the first camera; and calculating the distance from the front wheels of the vehicle to the lane based on the first image captured through the first camera, and calculating the distance from the front wheels to the lane based on the second image captured through the second camera. and a processor that calculates and corrects the distance calculated based on the first image based on the distance calculated based on the second image.

본 발명에 있어 상기 프로세서는, 상기 제1 영상에 기반하여 산출된 거리와, 상기 제2 영상에 기반하여 산출된 거리의 평균값을 산출하고, 상기 산출된 평균값을 상기 전륜으로부터 상기 차선까지의 거리로 최종 결정하는 것을 특징으로 한다.In the present invention, the processor calculates an average value of the distance calculated based on the first image and the distance calculated based on the second image, and converts the calculated average value into the distance from the front wheel to the lane. It is characterized by making a final decision.

본 발명에 있어 상기 프로세서는, 상기 차량의 헤딩각을 산출하고, 상기 카메라로부터 상기 차선까지의 거리인 제1 거리를 산출하고, 상기 영상을 통해 촬영되는 도로면과 상기 차량 간의 최단 거리인 제2 거리를 산출하고, 상기 헤딩각과 상기 제1 및 제2 거리에 기반하여 상기 전륜으로부터 상기 차선까지의 거리인 제3 거리를 산출하는 것을 특징으로 한다.In the present invention, the processor calculates the heading angle of the vehicle, calculates a first distance that is the distance from the camera to the lane, and calculates a second distance that is the shortest distance between the vehicle and the road surface captured through the image. The distance is calculated, and a third distance, which is the distance from the front wheel to the lane, is calculated based on the heading angle and the first and second distances.

본 발명에 있어 상기 프로세서는, 상기 카메라를 통해 촬영된 영상에서 차선들을 검출하고, 상기 차선들의 연장선이 교차하는 제1 지점의 좌표를 검출하고, 상기 영상의 중심에 위치하는 제2 지점의 좌표를 검출하고, 상기 제1 및 제2 지점의 좌표에 기반하여 상기 헤딩각을 산출하는 것을 특징으로 한다.In the present invention, the processor detects lanes in an image captured through the camera, detects the coordinates of a first point where extension lines of the lanes intersect, and determines the coordinates of a second point located at the center of the image. Detecting and calculating the heading angle based on the coordinates of the first and second points.

본 발명에 있어 상기 프로세서는, 하기 수식 1을 통해 상기 헤딩각을 산출하는 것을 특징으로 한다.In the present invention, the processor calculates the heading angle using Equation 1 below.

[수식 1][Formula 1]

(여기서, ψ는 상기 차량의 헤딩각이고, x1은 상기 제1 지점의 x축 좌표이고, y1은 상기 제1 지점의 y축 좌표이고, x2는 상기 제2 지점의 x축 좌표이고, y2는 상기 제2 지점의 y축 좌표이고, f는 상기 카메라의 초점거리이다.)(Here, ψ is the heading angle of the vehicle, x1 is the x-axis coordinate of the first point, y1 is the y-axis coordinate of the first point, x2 is the x-axis coordinate of the second point, and y2 is is the y-axis coordinate of the second point, and f is the focal length of the camera.)

본 발명에 있어 상기 프로세서는, 상기 차선들의 연장선이 상기 영상의 가로축과 교차하는 제3 및 제4 지점의 좌표를 검출하고, 상기 제3 및 제4 지점의 좌표에 기반하여 상기 제1 거리를 산출하는 것을 특징으로 한다.In the present invention, the processor detects the coordinates of third and fourth points where the extension lines of the lanes intersect the horizontal axis of the image, and calculates the first distance based on the coordinates of the third and fourth points. It is characterized by:

본 발명에 있어 상기 프로세서는, 하기 수식 2를 통해 상기 제1 거리를 산출하는 것을 특징으로 한다.In the present invention, the processor calculates the first distance using Equation 2 below.

[수식 2][Formula 2]

(여기서, Llw는 상기 제1 거리이고, Lw는 상기 차선의 폭이고, Iw는 상기 영상의 폭이고, x3는 상기 제3 지점의 x축 좌표이고, y3은 상기 제3 지점의 y축 좌표이고, x4는 상기 제4 지점의 x축 좌표이고, y4는 상기 제4 지점의 y축 좌표이다.)(Here, L lw is the first distance, L w is the width of the lane, I w is the width of the image, x3 is the x-axis coordinate of the third point, and y3 is the y of the third point is the axis coordinate, x4 is the x-axis coordinate of the fourth point, and y4 is the y-axis coordinate of the fourth point.)

본 발명에 있어 상기 프로세서는, 하기 수식 3을 통해 상기 제2 거리를 산출하는 것을 특징으로 한다.In the present invention, the processor calculates the second distance using Equation 3 below.

[수식 3][Formula 3]

(여기서, dg는 상기 제2 거리이고, h는 상기 카메라의 높이이고, α는 상기 카메라의 각도이고, θv는 상기 카메라의 수직 화각이다.)(Here, d g is the second distance, h is the height of the camera, α is the angle of the camera, and θ v is the vertical angle of view of the camera.)

본 발명에 있어 상기 프로세서는, 하기 수식 4를 통해 상기 제3 거리를 산출하는 것을 특징으로 한다.In the present invention, the processor calculates the third distance using Equation 4 below.

[수식 4][Formula 4]

(여기서, dl은 상기 제3 거리이고, Llw는 상기 제1 거리이고, Lw는 상기 차선의 폭이고, b는 카메라 간의 거리이고, dg는 상기 제2 거리이고, Cwh는 상기 카메라로부터 전륜축까지의 거리이고, ψ는 상기 차량의 헤딩각이다.)(Here, d l is the third distance, L lw is the first distance, L w is the width of the lane, b is the distance between cameras, d g is the second distance, and C wh is the is the distance from the camera to the front wheel axle, and ψ is the heading angle of the vehicle.)

본 발명에 있어 상기 프로세서는, 상기 보정된 거리와, 상기 차량에 구비된 차선 유지 보조 시스템(LKAS: Lane keeping Assist System)을 통해 산출된 상기 전륜으로부터 상기 차선까지의 거리 간의 오차율을 산출하고, 상기 산출된 오차율에 기반하여 상기 차선 유지 보조 시스템에 대한 시험 평가를 수행하는 것을 특징으로 한다.In the present invention, the processor calculates an error rate between the corrected distance and the distance from the front wheel to the lane calculated through a lane keeping assist system (LKAS) provided in the vehicle, and A test evaluation of the lane keeping assistance system is performed based on the calculated error rate.

본 발명의 일 측면에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법은 프로세서가, 제1 카메라를 통해 촬영된 제1 영상에 기반하여 차량의 전륜으로부터 차선까지의 거리를 산출하는 단계; 상기 프로세서가, 상기 제1 카메라와 이격되어 구비된 제2 카메라를 통해 촬영된 제2 영상에 기반하여 상기 전륜으로부터 상기 차선까지의 거리를 산출하는 단계; 및 상기 프로세서가, 상기 제2 영상에 기반하여 산출된 거리를 토대로 상기 제1 영상에 기반하여 산출된 거리를 보정하는 단계;를 포함하는 것을 특징으로 한다.A test and evaluation method of a lane keeping assist system using a dual camera according to an aspect of the present invention includes the steps of a processor calculating the distance from the front wheels of the vehicle to the lane based on a first image captured through a first camera; calculating, by the processor, a distance from the front wheel to the lane based on a second image captured through a second camera provided spaced apart from the first camera; and correcting, by the processor, the distance calculated based on the first image based on the distance calculated based on the second image.

본 발명에 있어 상기 보정하는 단계에서, 상기 프로세서는, 상기 제1 영상에 기반하여 산출된 거리와, 상기 제2 영상에 기반하여 산출된 거리의 평균값을 산출하고, 상기 산출된 평균값을 상기 전륜으로부터 상기 차선까지의 거리로 최종 결정하는 것을 특징으로 한다.In the present invention, in the correction step, the processor calculates an average value of the distance calculated based on the first image and the distance calculated based on the second image, and applies the calculated average value to the distance from the front wheel. The final decision is made based on the distance to the lane.

본 발명에 있어 상기 각 산출하는 단계는, 상기 프로세서가, 상기 차량의 헤딩각을 산출하는 단계; 상기 프로세서가, 상기 카메라로부터 상기 차선까지의 거리인 제1 거리를 산출하는 단계; 상기 프로세서가, 상기 영상을 통해 촬영되는 도로면과 상기 차량 간의 최단 거리인 제2 거리를 산출하는 단계; 및 상기 프로세서가, 상기 헤딩각과 상기 제1 및 제2 거리에 기반하여 상기 전륜으로부터 상기 차선까지의 거리인 제3 거리를 산출하는 단계;를 포함하는 것을 특징으로 한다.In the present invention, the calculating step includes: calculating, by the processor, a heading angle of the vehicle; calculating, by the processor, a first distance that is the distance from the camera to the lane; Calculating, by the processor, a second distance, which is the shortest distance between the road surface captured through the image and the vehicle; and calculating, by the processor, a third distance, which is the distance from the front wheel to the lane, based on the heading angle and the first and second distances.

본 발명에 있어 상기 헤딩각을 산출하는 단계는, 상기 프로세서가, 상기 카메라를 통해 촬영된 영상에서 차선들을 검출하는 단계; 상기 프로세서가, 상기 차선들의 연장선이 교차하는 제1 지점의 좌표를 검출하는 단계; 상기 프로세서가, 상기 영상의 중심에 위치하는 제2 지점의 좌표를 검출하는 단계; 및 상기 프로세서가, 상기 제1 및 제2 지점의 좌표에 기반하여 상기 헤딩각을 산출하는 단계;를 포함하는 것을 특징으로 한다.In the present invention, calculating the heading angle includes: detecting, by the processor, lanes in an image captured through the camera; detecting, by the processor, coordinates of a first point where extension lines of the lanes intersect; detecting, by the processor, coordinates of a second point located at the center of the image; and calculating, by the processor, the heading angle based on the coordinates of the first and second points.

본 발명에 있어 상기 제1 및 제2 지점의 좌표에 기반하여 상기 헤딩각을 산출하는 단계에서, 상기 프로세서는, 하기 수식 1을 통해 상기 헤딩각을 산출하는 것을 특징으로 한다.In the present invention, in the step of calculating the heading angle based on the coordinates of the first and second points, the processor calculates the heading angle through Equation 1 below.

[수식 1][Formula 1]

(여기서, ψ는 상기 차량의 헤딩각이고, x1은 상기 제1 지점의 x축 좌표이고, y1은 상기 제1 지점의 y축 좌표이고, x2는 상기 제2 지점의 x축 좌표이고, y2는 상기 제2 지점의 y축 좌표이고, f는 상기 카메라의 초점거리이다.)(Here, ψ is the heading angle of the vehicle, x1 is the x-axis coordinate of the first point, y1 is the y-axis coordinate of the first point, x2 is the x-axis coordinate of the second point, and y2 is is the y-axis coordinate of the second point, and f is the focal length of the camera.)

본 발명에 있어 상기 제1 거리를 산출하는 단계는, 상기 프로세서가, 상기 차선들의 연장선이 상기 영상의 가로축과 교차하는 제3 및 제4 지점의 좌표를 검출하는 단계; 및 상기 프로세서가, 상기 제3 및 제4 지점의 좌표에 기반하여 상기 제1 거리를 산출하는 단계;를 포함하는 것을 특징으로 한다.In the present invention, calculating the first distance includes: detecting, by the processor, coordinates of third and fourth points where extension lines of the lanes intersect the horizontal axis of the image; and calculating, by the processor, the first distance based on the coordinates of the third and fourth points.

본 발명에 있어 상기 제3 및 제4 지점의 좌표에 기반하여 상기 제1 거리를 산출하는 단계에서, 상기 프로세서는, 하기 수식 2를 통해 상기 제1 거리를 산출하는 것을 특징으로 한다.In the present invention, in calculating the first distance based on the coordinates of the third and fourth points, the processor calculates the first distance through Equation 2 below.

[수식 2][Formula 2]

(여기서, Llw는 상기 제1 거리이고, Lw는 상기 차선의 폭이고, Iw는 상기 영상의 폭이고, x3는 상기 제3 지점의 x축 좌표이고, y3은 상기 제3 지점의 y축 좌표이고, x4는 상기 제4 지점의 x축 좌표이고, y4는 상기 제4 지점의 y축 좌표이다.)(Here, L lw is the first distance, L w is the width of the lane, I w is the width of the image, x3 is the x-axis coordinate of the third point, and y3 is the y of the third point is the axis coordinate, x4 is the x-axis coordinate of the fourth point, and y4 is the y-axis coordinate of the fourth point.)

본 발명에 있어 상기 제2 거리를 산출하는 단계에서, 상기 프로세서는, 하기 수식 3을 통해 상기 제2 거리를 산출하는 것을 특징으로 한다.In the step of calculating the second distance in the present invention, the processor calculates the second distance through Equation 3 below.

[수식 3][Formula 3]

(여기서, dg는 상기 제2 거리이고, h는 상기 카메라의 높이이고, α는 상기 카메라의 각도이고, θv는 상기 카메라의 수직 화각이다.)(Here, d g is the second distance, h is the height of the camera, α is the angle of the camera, and θ v is the vertical angle of view of the camera.)

본 발명에 있어 상기 제3 거리를 산출하는 단계에서, 상기 프로세서는, 하기 수식 4를 통해 상기 제3 거리를 산출하는 것을 특징으로 한다.In the step of calculating the third distance in the present invention, the processor calculates the third distance through Equation 4 below.

[수식 4][Formula 4]

(여기서, dl은 상기 제3 거리이고, Llw는 상기 제1 거리이고, Lw는 상기 차선의 폭이고, b는 상기 카메라 간의 거리이고, dg는 상기 제2 거리이고, Cwh는 상기 카메라로부터 전륜축까지의 거리이고, ψ는 상기 차량의 헤딩각이다.)(Here, d l is the third distance, L lw is the first distance, L w is the width of the lane, b is the distance between the cameras, d g is the second distance, and C wh is is the distance from the camera to the front wheel axle, and ψ is the heading angle of the vehicle.)

본 발명에 있어 상기 보정하는 단계 이후에, 상기 프로세서가, 상기 보정된 거리와, 상기 차량에 구비된 차선 유지 보조 시스템(LKAS: Lane keeping Assist System)을 통해 산출된 상기 전륜으로부터 상기 차선까지의 거리 간의 오차율을 산출하는 단계; 및 상기 프로세서가, 상기 산출된 오차율에 기반하여 상기 차선 유지 보조 시스템에 대한 시험 평가를 수행하는 단계;를 더 포함하는 것을 특징으로 한다.In the present invention, after the correction step, the processor calculates the corrected distance and the distance from the front wheel to the lane calculated through a lane keeping assist system (LKAS) provided in the vehicle. Calculating an error rate between errors; and performing, by the processor, a test evaluation of the lane keeping assist system based on the calculated error rate.

본 발명의 일 측면에 따르면 듀얼 카메라를 통해 촬영된 영상을 분석하여 차량의 전륜으로부터 차선까지의 거리를 추정할 수 있다.According to one aspect of the present invention, the distance from the front wheels of the vehicle to the lane can be estimated by analyzing images captured through a dual camera.

본 발명의 다른 측면에 따르면 고가의 센서 적용 없이 듀얼 카메라를 통해 차선 유지 보조 시스템(LKAS: Lane keeping Assist System)을 구현할 수 있다.According to another aspect of the present invention, a lane keeping assist system (LKAS) can be implemented through a dual camera without applying expensive sensors.

본 발명의 다른 측면에 따르면 듀얼 카메라를 통해 추정된 차량의 전륜으로부터 차선까지의 거리를 통해 차선 유지 보조 시스템의 시험 평가를 수행할 수 있다.According to another aspect of the present invention, a test evaluation of the lane keeping assist system can be performed using the distance from the front wheels of the vehicle to the lane estimated through the dual camera.

도 1은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치을 설명하기 위한 제1 순서도이다.
도 4는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치을 설명하기 위한 제2 순서도이다.
도 5는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제1 예시도이다.
도 6은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제3 순서도이다.
도 7은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제2 예시도이다.
도 8은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제4 순서도이다.
도 9는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제3 예시도이다.
도 10 및 11은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치의 성능을 설명하기 위한 예시도이다.Figure 1 is a block diagram illustrating a test and evaluation device for a lane keeping assist system using a dual camera according to an embodiment of the present invention.
Figure 2 is an exemplary diagram illustrating a test and evaluation device for a lane keeping assist system using a dual camera according to an embodiment of the present invention.
Figure 3 is a first flowchart for explaining a test and evaluation device for a lane keeping assist system using a dual camera according to an embodiment of the present invention.
Figure 4 is a second flowchart for explaining a test and evaluation device for a lane keeping assist system using a dual camera according to an embodiment of the present invention.
Figure 5 is a first example diagram for explaining a test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention.
Figure 6 is a third flowchart for explaining a test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention.
Figure 7 is a second example diagram for explaining a test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention.
Figure 8 is a fourth flowchart illustrating a test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention.
Figure 9 is a third example diagram for explaining a test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention.
10 and 11 are exemplary diagrams for explaining the performance of a test and evaluation device for a lane keeping assist system using a dual camera according to an embodiment of the present invention.

이하에서는 본 발명의 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, a test and evaluation device and method for a lane keeping assist system using a dual camera according to an embodiment of the present invention will be described in detail with reference to the attached drawings. In this process, the thickness of lines or sizes of components shown in the drawing may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치를 설명하기 위한 블록 구성도이고, 도 2는 본 발명의 일 실시예에 다른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치를 설명하기 위한 예시도이다.FIG. 1 is a block diagram illustrating a test and evaluation device for a lane keeping assist system using a dual camera according to an embodiment of the present invention, and FIG. 2 is a block diagram showing a lane keeping assist system using a dual camera according to an embodiment of the present invention. This is an example diagram to explain the test and evaluation device of the system.

도 1 및 2를 참고하면, 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치는 제1 카메라(110), 제2 카메라(120), 메모리(200) 및 프로세서(300)를 포함할 수 있다.Referring to Figures 1 and 2, the test and evaluation device for a lane keeping assist system using a dual camera according to an embodiment of the present invention includes a first camera 110, a second camera 120, a memory 200, and a processor ( 300).

제1 카메라(110)는 차량의 전면에 구비되어, 차량의 전방에 대한 영상을 촬영할 수 있다. 제1 카메라(110)는 후술하는 프로세서(300)의 제어에 따라 차량의 전방에 대한 영상을 촬영하고, 촬영되는 영상을 프로세서(300)로 출력할 수 있다.The first camera 110 is provided on the front of the vehicle and can capture images of the front of the vehicle. The first camera 110 may capture an image of the front of the vehicle under the control of the processor 300, which will be described later, and output the captured image to the processor 300.

제2 카메라(120)는 차량의 전면에 제1 카메라(110)로부터 수평방향으로 소정의 거리만큼 떨어진 위치에 구비되어, 차량의 전방에 대한 영상을 촬영할 수 있다. 제1 카메라(110)와 제2 카메라(120)는 차량의 중심으로부터 동일한 거리만큼 이격된 위치에 구비될 수 있다. 제2 카메라(120)는 프로세서(300)의 제어에 따라 차량의 전방에 대한 영상을 촬영하고, 촬영되는 영상을 프로세서(300)로 출력할 수 있다. 제1 및 제2 카메라(110, 120)는 촬영 방향이 도로면을 향하도록 소정의 각도만큼 기울어진 채로 차량에 설치될 수 있다. 도 2는 제1 및 제2 카메라를 설명하기 위한 예시도이다.The second camera 120 is installed at the front of the vehicle at a predetermined horizontal distance from the first camera 110 and can capture images of the front of the vehicle. The first camera 110 and the second camera 120 may be provided at positions spaced apart from the center of the vehicle by the same distance. The second camera 120 may capture an image of the front of the vehicle under the control of the processor 300 and output the captured image to the processor 300. The first and second cameras 110 and 120 may be installed in the vehicle tilted at a predetermined angle so that the shooting direction faces the road surface. Figure 2 is an example diagram for explaining the first and second cameras.

메모리(200)에는 프로세서(300)가 전륜으로부터 차선까지의 거리를 추정하는 과정에서 요구되는 각종 정보가 미리 저장되어 있을 수 있다. 또한, 메모리(200)에는 전륜으로부터 차선까지의 거리를 추정하는 과정에서 산출되는 각종 정보가 저장될 수 있다. In the memory 200, various information required in the process of the processor 300 estimating the distance from the front wheel to the lane may be stored in advance. Additionally, the memory 200 may store various information calculated in the process of estimating the distance from the front wheels to the lane.

프로세서(300)는 카메라(100)를 통해 촬영된 영상에 기반하여 차량의 전륜으로부터 차선까지의 거리를 산출할 수 있다. 또한, 프로세서(300)는 제1 카메라(110)를 통해 촬영된 제1 영상에 기반하여 차량의 전륜으로부터 차선까지의 거리를 산출하고, 제2 카메라(120)를 통해 촬영된 제2 영상에 기반하여 해당 전륜으로부터 해당 차선까지의 거리를 산출한 후, 제2 영상에 기반하여 산출된 거리를 토대로 제1 영상에 기반하여 산출된 거리를 보정할 수 있다.The processor 300 may calculate the distance from the front wheels of the vehicle to the lane based on the image captured through the camera 100. In addition, the processor 300 calculates the distance from the front wheels of the vehicle to the lane based on the first image captured through the first camera 110 and based on the second image captured through the second camera 120. After calculating the distance from the front wheel to the lane, the distance calculated based on the first image can be corrected based on the distance calculated based on the second image.

프로세서(300)는 제1 및 제2 카메라(110, 120)를 통해 산출된 차량의 전륜으로부터 차선까지의 거리(즉, 보정된 거리)와, 차량에 구비된 차선 유지 보조 시스템(LKAS: Lane keeping Assist System)을 통해 산출된 해당 전륜으로부터 해당 차선까지의 거리 간의 오차율을 산출하고, 산출된 오차율에 기반하여 차선 유지 보조 시스템에 대한 시험 평가를 수행할 수 있다. 즉, 프로세서(300)는 듀얼 카메라(100)를 통해 추정되는 차량의 전륜으로부터 차선까지의 거리를 기준(레퍼런스)으로 하여 차선 유지 보조 시스템을 통해 산출된 해당 전륜으로부터 해당 차선까지의 거리에 대한 정확도를 판단함으로써 차선 유지 보조 시스템의 시험 평가를 수행할 수 있다.The processor 300 calculates the distance from the front wheels of the vehicle to the lane (i.e., corrected distance) calculated through the first and second cameras 110 and 120, and the lane keeping assist system (LKAS: Lane keeping) provided in the vehicle. The error rate between the distance from the relevant front wheel to the relevant lane calculated through the Assist System) can be calculated, and a test evaluation of the lane keeping assist system can be performed based on the calculated error rate. That is, the processor 300 uses the distance from the front wheels of the vehicle estimated through the dual camera 100 as a reference (reference) to the accuracy of the distance from the front wheels to the lane calculated through the lane maintenance assist system. Test evaluation of the lane keeping assist system can be performed by determining .

프로세서(300)는 실차시험이 진행되는 동안(즉, 차량이 도로를 주행하는 동안) 듀얼 카메라를 통해 차량의 전륜으로부터 차선까지의 거리를 측정함과 동시에, 해당 전륜으로부터 해당 차선까지의 거리에 대한 정보를 차선 유지 보조 시스템으로부터 수신할 수 있다. 실차시험은 기 설정된 주행 시나리오 및 조건 하에 진행될 수 있다. 예를 들어, 실차시험은 도 10a 및 10b와 같은 주행 시나리오 및 조건 하에 진행될 수 있다.The processor 300 measures the distance from the front wheels of the vehicle to the lane through a dual camera while the actual vehicle test is in progress (i.e., while the vehicle is driving on the road), and simultaneously measures the distance from the front wheels to the lane. Information can be received from the lane keeping assist system. Actual vehicle testing can be conducted under preset driving scenarios and conditions. For example, actual vehicle testing may be conducted under driving scenarios and conditions such as those shown in FIGS. 10A and 10B.

프로세서(300)는 산출된 오차율이 기준 오차율 이상인지 여부를 판단하고, 산출된 오차율이 기준 오차율 이상인 것으로 판단되는 경우 차량에 구비된 차선 유지 보조 시스템이 평가 기준을 충족하지 못하는 것으로 판단하고, 산출된 오차율이 기준 오차율 미만인 것으로 판단되는 경우 차량에 구비된 차선 유지 보조 시스템이 평가 기준을 충족하는 것으로 판단할 수 있다. 기준 오차율은 미리 설정되어 메모리(200)에 저장되어 있을 수 있다. 즉, 프로세서(300)는 산출된 오차율이 소정의 범위를 벗어나는 경우 해당 차선 유지 보조 시스템이 평가 기준을 충족하지 못하는 것으로 판단할 수 있다.The processor 300 determines whether the calculated error rate is greater than or equal to the standard error rate, and if it is determined that the calculated error rate is greater than or equal to the standard error rate, the processor 300 determines that the lane keeping assist system installed in the vehicle does not meet the evaluation criteria, and determines that the calculated error rate is greater than or equal to the standard error rate. If the error rate is determined to be less than the standard error rate, it may be determined that the lane keeping assist system installed in the vehicle satisfies the evaluation criteria. The reference error rate may be set in advance and stored in the memory 200. That is, if the calculated error rate is outside a predetermined range, the processor 300 may determine that the lane keeping assist system does not meet the evaluation criteria.

도 3은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제1 순서도이다.Figure 3 is a first flowchart for explaining a test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention.

이하에서는 도 3을 참고하여, 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하도록 한다.Hereinafter, with reference to FIG. 3, a test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention will be described.

먼저, 프로세서(300)는 제1 카메라(110)를 통해 촬영된 제1 영상에 기반하여 차량의 전륜으로부터 차선까지의 거리를 산출할 수 있다(S301). 즉, 프로세서(300)는 제1 카메라(110)를 통해 촬영된 제1 영상을 분석하여 차량의 전륜 중 하나로부터 차선까지의 거리를 산출할 수 있다.First, the processor 300 may calculate the distance from the front wheels of the vehicle to the lane based on the first image captured through the first camera 110 (S301). That is, the processor 300 may calculate the distance from one of the front wheels of the vehicle to the lane by analyzing the first image captured through the first camera 110.

이어서, 프로세서(300)는 제2 카메라(120)를 통해 촬영된 제2 영상에 기반하여 해당 전륜으로부터 해당 차선까지의 거리를 산출할 수 있다(S303). 즉, 프로세서(300)는 제2 카메라(120)를 통해 촬영된 제2 영상을 분석하여 해당 전륜으로부터 해당 차선까지의 거리를 산출할 수 있다. 프로세서(300)는 S301 단계에서와 동일한 전륜 및 차선을 대상으로 하여 그 거리를 산출할 수 있다. 예를 들어, S301 단계에서 차량의 좌측 전륜과 그 좌측에 위치한 차선 간의 거리를 산출한 경우, S303 단계에서 프로세서(300)는 제2 영상에 기반하여 차량의 좌측 전륜과 그 좌측에 위치한 차선 간의 거리를 산출할 수 있다. 제1 카메라(110) 또는 제2 카메라(120)를 통해 촬영된 영상에 기반하여 전륜으로부터 차선까지의 거리를 산출하는 구체적인 방법은 후술하도록 한다.Subsequently, the processor 300 may calculate the distance from the front wheel to the lane based on the second image captured through the second camera 120 (S303). That is, the processor 300 can calculate the distance from the front wheel to the lane by analyzing the second image captured through the second camera 120. The processor 300 may calculate the distance targeting the same front wheels and lanes as in step S301. For example, if the distance between the left front wheel of the vehicle and the lane located to the left of the vehicle is calculated in step S301, the processor 300 calculates the distance between the left front wheel of the vehicle and the lane located to the left of the vehicle based on the second image in step S303. can be calculated. A specific method of calculating the distance from the front wheel to the lane based on the image captured through the first camera 110 or the second camera 120 will be described later.

이어서, 프로세서(300)는 제2 영상에 기반하여 산출된 거리를 토대로 제1 영상에 기반하여 산출된 거리를 보정할 수 있다(S305). 일 실시예에 따르면, 프로세서(300)는 제1 영상에 기반하여 산출된 거리와, 제2 영상에 기반하여 산출된 거리의 평균값을 산출하고, 산출된 평균값을 해당 전륜으로부터 해당 차선까지의 거리로 최종 결정할 수 있다. 제1 카메라(110)가 차량의 전면의 중앙에 위치하지 않음에 따라 제1 카메라(110)를 통해 촬영된 제1 영상에 기반하여 산출된 전륜으로부터 차선까지의 거리에는 오차가 발생할 수 있다. 마찬가지로, 제2 카메라(120)가 차량의 전면의 중앙에 위치하지 않음에 따라 제2 카메라(120)를 통해 촬영된 제2 영상에 기반하여 산출된 전륜으로부터 차선까지의 거리에는 오차가 발생할 수 있다. 프로세서(300)는 제1 카메라(110)를 통해 촬영된 제1 영상에 기반하여 산출된 차륜으로부터 차선까지의 거리와 제2 카메라(120)를 통해 촬영된 제2 영상에 기반하여 산출된 해당 차륜으로부터 해당 차선까지의 거리의 평균값을 계산하고, 계산된 평균값을 해당 차륜으로부터 해당 차선까지의 거리의 최종값으로 결정함으로써 단일 카메라를 통해 촬영 시 발생하는 오차를 상쇄시킬 수 있다.Subsequently, the processor 300 may correct the distance calculated based on the first image based on the distance calculated based on the second image (S305). According to one embodiment, the processor 300 calculates the average value of the distance calculated based on the first image and the distance calculated based on the second image, and divides the calculated average value into the distance from the corresponding front wheel to the corresponding lane. You can make the final decision. As the first camera 110 is not located in the center of the front of the vehicle, an error may occur in the distance from the front wheel to the lane calculated based on the first image captured through the first camera 110. Likewise, since the second camera 120 is not located in the center of the front of the vehicle, an error may occur in the distance from the front wheel to the lane calculated based on the second image captured through the second camera 120. . The processor 300 calculates the distance from the wheel to the lane calculated based on the first image captured through the first camera 110 and the corresponding vehicle wheel calculated based on the second image captured through the second camera 120. By calculating the average value of the distance from the relevant wheel to the relevant lane and determining the calculated average value as the final value of the distance from the relevant wheel to the relevant lane, errors that occur when shooting with a single camera can be offset.

도 4는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제2 순서도이고, 도 5는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제1 예시도이다. Figure 4 is a second flowchart for explaining a test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention, and Figure 5 is a lane keeping assist using a dual camera according to an embodiment of the present invention. This is a first example diagram to explain the test and evaluation method of the system.

이하에서는 도 4 및 5를 참고하여, 카메라(100)를 통해 촬영된 영상에 기반하여 차량의 전륜으로부터 차선까지의 거리를 산출하는 과정을 살펴보도록 한다. 이 과정은 3201 단계와 S303 단계에 동일하게 적용될 수 있다.Below, with reference to FIGS. 4 and 5, we will look at the process of calculating the distance from the front wheels of the vehicle to the lane based on the image captured through the camera 100. This process can be equally applied to steps 3201 and S303.

먼저, 프로세서(300)는 차량의 헤딩각을 산출할 수 있다. 즉, 프로세서(300)는 카메라(100)를 통해 촬영된 영상을 분석하여 차량의 헤딩각을 산출할 수 있다(S401). 차량의 헤딩각을 산출하는 구체적인 방법은 후술하도록 한다.First, the processor 300 can calculate the heading angle of the vehicle. That is, the processor 300 can calculate the heading angle of the vehicle by analyzing the image captured through the camera 100 (S401). The specific method of calculating the heading angle of the vehicle will be described later.

이어서, 프로세서(300)는 카메라(100)로부터 차선까지의 거리인 제1 거리를 산출할 수 있다(S403). 즉, 프로세서(300)는 카메라(100)를 통해 촬영된 영상을 분석하여 차량에 구비된 카메라(100)로부터 차선까지의 거리인 제1 거리를 산출할 수 있다. 제1 거리를 산출하는 구체적인 방법은 후술하도록 한다.Next, the processor 300 may calculate the first distance, which is the distance from the camera 100 to the lane (S403). That is, the processor 300 may analyze the image captured through the camera 100 and calculate the first distance, which is the distance from the camera 100 provided in the vehicle to the lane. A specific method for calculating the first distance will be described later.

이어서, 프로세서(300)는 영상을 통해 촬영되는 도로면과 차량 간의 최단 거리인 제2 거리를 산출할 수 있다(S405). 여기서, 영상을 통해 촬영되는 도로면과 차량 간의 최단 거리는 영상의 가로축 최하단에 대응하는 실제 위치와 차량 간의 수평 거리를 의미할 수 있다. 일 실시예에 따르면, 프로세서(300)는 하기 수학식 1을 통해 제2 거리를 산출할 수 있다.Next, the processor 300 may calculate the second distance, which is the shortest distance between the vehicle and the road surface captured through the image (S405). Here, the shortest distance between the road surface and the vehicle captured through the image may mean the horizontal distance between the vehicle and the actual location corresponding to the bottom of the horizontal axis of the image. According to one embodiment, the processor 300 may calculate the second distance through Equation 1 below.

여기서, dg는 제2 거리이고, h는 카메라(100)의 높이(지면으로부터 카메라(100)의 설치 위치까지의 거리)이고, α는 카메라(100)의 각도(상하 방향에 대한 카메라(100)의 각도)이고, θv는 카메라(100)의 수직 화각이다. 즉, 프로세서(300)는 카메라(100)의 설치 위치, 설치 각도 및 수직 화각에 대한 정보를 고려하여 제2 거리를 산출할 수 있다. 카메라(100)의 높이, 카메라(100)의 각도 및 카메라(100)의 수직 화각은 미리 계산되어 메모리(200)에 저장되어 있을 수 있다. 도 5a는 일 실시예에 따른 제2 거리를 도시하고 있다.Here, d g is the second distance, h is the height of the camera 100 (distance from the ground to the installation position of the camera 100), and α is the angle of the camera 100 (camera 100 with respect to the vertical direction). ), and θ v is the vertical angle of view of the camera 100. That is, the processor 300 may calculate the second distance by considering information about the installation position, installation angle, and vertical angle of view of the camera 100. The height of the camera 100, the angle of the camera 100, and the vertical angle of view of the camera 100 may be calculated in advance and stored in the memory 200. Figure 5A shows a second distance according to one embodiment.

이어서, 프로세서(300)는 차량의 헤딩각, 제1 거리 및 제2 거리에 기반하여 차량의 전륜으로부터 차선까지의 거리인 제3 거리를 산출할 수 있다(S407). 일 실시예에 따르면, 프로세서(300)는 하기 수학식 2를 통해 제3 거리를 산출할 수 있다.Subsequently, the processor 300 may calculate a third distance, which is the distance from the front wheels of the vehicle to the lane, based on the vehicle's heading angle, first distance, and second distance (S407). According to one embodiment, the processor 300 may calculate the third distance through Equation 2 below.

여기서, dl은 제3 거리이고, Llw는 제1 거리이고, Lw는 차선의 폭(차량의 길이 방향에 수직한 직선이 좌우 차선과 교차하는 지점을 서로 연결한 선분의 거리)이고, b는 카메라(100) 간의 거리이고, dg는 제2 거리이고, Cwh는 카메라(100)로부터 전륜축(차량의 좌우 전륜의 중심점을 서로 연결한 직선)까지의 거리이고, ψ는 차량의 헤딩각이다. 즉, 프로세서(300)는 차량의 제원, 차선의 폭, 제1 및 제2 거리 및 차량의 헤딩각에 대한 정보를 고려하여 제3 거리를 산출할 수 있다. 카메라(100) 간의 거리 및 카메라(100)로부터 전륜축까지의 거리는 미리 계산되어 메모리(200)에 저장되어 있을 수 있다. 프로세서(300)는 카메라(100)를 통해 촬영된 영상을 분석하여 차선의 폭을 산출할 수 있다. 도 5a 및 5b는 일 실시예에 따른 제1 거리, 제2 거리, 제3 거리, 차선의 폭, 카메라(100) 간의 거리, 카메라(100)로부터 전륜축까지의 거리 및 차량의 헤딩각을 도시하고 있다.Here, d l is the third distance, L lw is the first distance, and L w is the width of the lane (the distance of the line segment connecting the points where a straight line perpendicular to the longitudinal direction of the vehicle intersects the left and right lanes), b is the distance between the cameras 100, d g is the second distance, C wh is the distance from the camera 100 to the front wheel axle (a straight line connecting the center points of the left and right front wheels of the vehicle), and ψ is the distance of the vehicle. Heading angle. That is, the processor 300 may calculate the third distance by considering information about the vehicle specifications, lane width, first and second distances, and the vehicle's heading angle. The distance between the cameras 100 and the distance from the camera 100 to the front wheel axle may be calculated in advance and stored in the memory 200. The processor 300 may calculate the width of the lane by analyzing the image captured through the camera 100. 5A and 5B show the first distance, the second distance, the third distance, the width of the lane, the distance between the cameras 100, the distance from the camera 100 to the front wheel axle, and the heading angle of the vehicle according to one embodiment. I'm doing it.

도 6은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제3 순서도이고, 도 7은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제2 예시도이다.Figure 6 is a third flowchart for explaining the test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention, and Figure 7 is a lane keeping assist using a dual camera according to an embodiment of the present invention. This is a second example diagram to explain the test and evaluation method of the system.

이하에서는 도 6 및 7을 참고하여, 차량의 헤딩각을 산출하는 과정을 살펴보도록 한다.Below, with reference to Figures 6 and 7, we will look at the process of calculating the heading angle of the vehicle.

먼저, 프로세서(300)는 카메라(100)를 통해 촬영된 영상에서 차선들을 검출할 수 있다(S601). 즉, 프로세서(300)는 카메라(100)를 통해 촬영된 영상을 분석하여 좌측 차선과 우측 차선을 각각 검출할 수 있다. First, the processor 300 can detect lanes in the image captured through the camera 100 (S601). That is, the processor 300 can analyze the image captured through the camera 100 and detect the left lane and the right lane, respectively.

이어서, 프로세서(300)는 차선들의 연장선이 교차하는 제1 지점의 좌표를 검출할 수 있다(S603). 즉, 프로세서(300)는 좌측 차선과 우측 차선의 연장선이 교차하는 소실점의 좌표를 검출할 수 있다. 도 7은 일 실시예에 따른 제1 지점(A)의 좌표를 도시하고 있다.Next, the processor 300 may detect the coordinates of the first point where the extension lines of the lanes intersect (S603). That is, the processor 300 can detect the coordinates of the vanishing point where the extension lines of the left lane and the right lane intersect. Figure 7 shows the coordinates of the first point (A) according to one embodiment.

이어서, 프로세서(300)는 영상의 중심에 위치하는 제2 지점의 좌표를 검출할 수 있다(S605). 즉, 프로세서(300)는 카메라(100)를 통해 촬영된 영상의 중심점의 좌표를 검출할 수 있다. 도 7은 일 실시예에 따른 제2 지점(B)의 좌표를 도시하고 있다.Next, the processor 300 may detect the coordinates of the second point located at the center of the image (S605). That is, the processor 300 can detect the coordinates of the center point of the image captured through the camera 100. Figure 7 shows the coordinates of the second point (B) according to one embodiment.

이어서, 프로세서(300)는 제1 지점의 좌표 및 제2 지점의 좌표에 기반하여 차량의 헤딩각을 산출할 수 있다(S607). 일 실시예에 따르면, 프로세서(300)는 하기 수학식 3을 통해 차량의 헤딩각을 산출할 수 있다.Next, the processor 300 may calculate the heading angle of the vehicle based on the coordinates of the first point and the coordinates of the second point (S607). According to one embodiment, the processor 300 may calculate the heading angle of the vehicle through Equation 3 below.

여기서, ψ는 차량의 헤딩각이고, x1은 제1 지점의 x축 좌표이고, y1은 제1 지점의 y축 좌표이고, x2는 제2 지점의 x축 좌표이고, y2는 제2 지점의 y축 좌표이고, f는 카메라(100)의 초점거리이다. 즉, 프로세서(300)는 차선의 소실점, 영상의 중심점 및 카메라(100)의 초점거리에 대한 정보를 고려하여 차량의 헤딩각을 산출할 수 있다. 카메라(100)의 초점거리는 미리 계산되어 메모리(200)에 저장되어 있을 수 있다. Here, ψ is the heading angle of the vehicle, x1 is the x-axis coordinate of the first point, y1 is the y-axis coordinate of the first point, x2 is the x-axis coordinate of the second point, and y2 is the y-axis coordinate of the second point. is the axis coordinate, and f is the focal length of the camera 100. That is, the processor 300 can calculate the heading angle of the vehicle by considering information about the vanishing point of the lane, the center point of the image, and the focal length of the camera 100. The focal length of the camera 100 may be calculated in advance and stored in the memory 200.

도 8은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제4 순서도이고, 도 9는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법을 설명하기 위한 제3 예시도이다.Figure 8 is a fourth flowchart for explaining the test and evaluation method of a lane keeping assist system using a dual camera according to an embodiment of the present invention, and Figure 9 is a lane keeping assist using a dual camera according to an embodiment of the present invention. This is a third example to explain the test and evaluation method of the system.

이하에서는 도 8 및 9를 참고하여, 카메라(100)를 통해 촬영된 영상에 기반하여 카메라(100)로부터 차선까지의 거리를 산출하는 과정을 살펴보도록 한다.Hereinafter, with reference to FIGS. 8 and 9, we will look at the process of calculating the distance from the camera 100 to the lane based on the image captured through the camera 100.

먼저, 프로세서(300)는 차선들의 연장선이 영상의 가로축과 교차하는 제3 및 제4 지점의 좌표를 검출할 수 있다(S801). 즉, 프로세서(300)는 좌측 차선의 연장선이 영상의 가로축(영상의 최하단 영역에 대응하는 직선)과 교차하는 지점(즉, 좌측 차선의 x절편)인 제3 지점의 좌표와, 우측 차선의 연장선이 영상의 가로축과 교차하는 지점인 제4 지점의 좌표를 검출할 수 있다. 도 9는 일 실시예에 따른 제3 지점(C)과 제4 지점(D)의 좌표를 도시하고 있다. First, the processor 300 may detect the coordinates of the third and fourth points where the extension lines of the lanes intersect the horizontal axis of the image (S801). That is, the processor 300 determines the coordinates of the third point, which is the point where the extension line of the left lane intersects the horizontal axis of the image (a straight line corresponding to the bottom area of the image) (i.e., the x-intercept of the left lane), and the extension line of the right lane. The coordinates of the fourth point, which is the point that intersects the horizontal axis of this image, can be detected. Figure 9 shows the coordinates of the third point (C) and the fourth point (D) according to one embodiment.

이어서, 프로세서(300)는 제3 및 제4 지점의 좌표에 기반하여 카메라(100)로부터 차선까지의 거리인 제1 거리를 산출할 수 있다(S803). 일 실시예에 따르면, 프로세서(300)는 하기 수학식 4를 통해 제1 거리를 산출할 수 있다.Subsequently, the processor 300 may calculate a first distance, which is the distance from the camera 100 to the lane, based on the coordinates of the third and fourth points (S803). According to one embodiment, the processor 300 may calculate the first distance through Equation 4 below.

여기서, Llw는 제1 거리이고, Lw는 차선의 폭(차량의 길이 방향에 수직한 직선이 좌우 차선과 교차하는 지점을 서로 연결한 선분의 거리)이고, Iw는 영상의 폭이고, x3는 제3 지점의 x축 좌표이고, y3은 제3 지점의 y축 좌표이고, x4는 제4 지점의 x축 좌표이고, y4는 제4 지점의 y축 좌표이다. 즉, 프로세서(300)는 차선들의 x절편, 차선의 폭 및 영상의 폭에 대한 정보를 고려하여 카메라(100)로부터 차선까지의 거리를 산출할 수 있다. 프로세서(300)는 카메라(100)를 통해 촬영된 영상을 분석하여 차선의 폭을 산출할 수 있다. 영상의 폭은 미리 산출되어 메모리(200)에 저장되어 있을 수 있다.Here, L lw is the first distance, L w is the width of the lane (distance of line segments connecting the points where a straight line perpendicular to the longitudinal direction of the vehicle intersects the left and right lanes), and I w is the width of the image, x3 is the x-axis coordinate of the third point, y3 is the y-axis coordinate of the third point, x4 is the x-axis coordinate of the fourth point, and y4 is the y-axis coordinate of the fourth point. That is, the processor 300 can calculate the distance from the camera 100 to the lane by considering information about the x-intercept of the lanes, the width of the lane, and the width of the image. The processor 300 may calculate the width of the lane by analyzing the image captured through the camera 100. The width of the image may be calculated in advance and stored in the memory 200.

도 10 내지 도 11은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치의 성능을 설명하기 위한 도면이다.10 and 11 are diagrams for explaining the performance of a test and evaluation device for a lane keeping assist system using a dual camera according to an embodiment of the present invention.

도 10a 및 10b에 도시된 시나리오에 따라 차량을 이동시키면서 듀얼 카메라를 이용한 거리 추정 장치를 통해 전륜과 차선과의 거리를 추정하여 도 10c, 도 11과 같은 결과를 획득할 수 있었다. 도 10c 및 도 11를 참고하면, 듀얼 카메라를 이용한 거리 추정 장치를 통해 추정된 결과값(이론값)이 측면 카메라를 통해 측정된 실측값과 거의 유사함을 확인할 수 있다.While moving the vehicle according to the scenario shown in FIGS. 10A and 10B, the distance between the front wheels and the lane was estimated using a distance estimation device using a dual camera, and the results shown in FIGS. 10C and 11 were obtained. Referring to Figures 10c and 11, it can be seen that the result value (theoretical value) estimated through the distance estimation device using a dual camera is almost similar to the actual value measured through the side camera.

상술한 바와 같이, 본 발명의 일 실시예에 따른 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치 및 방법은 듀얼 카메라를 통해 촬영된 영상을 분석하여 차량의 전륜으로부터 차선까지의 거리를 추정할 수 있다. 또한, 본 발명은 고가의 센서 적용 없이 듀얼 카메라를 통해 차선 유지 보조 시스템(LKAS: Lane keeping Assist System)을 구현할 수 있다. 또한, 본 발명은 듀얼 카메라를 통해 추정된 차량의 전륜으로부터 차선까지의 거리를 통해 차선 유지 보조 시스템의 시험 평가를 수행할 수 있다.As described above, the test and evaluation device and method for a lane keeping assistance system using a dual camera according to an embodiment of the present invention can estimate the distance from the front wheels of the vehicle to the lane by analyzing the image captured through the dual camera. there is. In addition, the present invention can implement a lane keeping assist system (LKAS) through a dual camera without applying expensive sensors. In addition, the present invention can perform test evaluation of the lane keeping assist system through the distance from the front wheels of the vehicle to the lane estimated through the dual camera.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Implementations described herein may be implemented, for example, as a method or process, device, software program, data stream, or signal. Although discussed only in the context of a single form of implementation (eg, only as a method), implementations of the features discussed may also be implemented in other forms (eg, devices or programs). The device may be implemented with appropriate hardware, software, firmware, etc. The method may be implemented in a device such as a processor, which generally refers to a processing device that includes a computer, microprocessor, integrated circuit, or programmable logic device. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants (“PDAs”) and other devices that facilitate communication of information between end-users.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will recognize that various modifications and other equivalent embodiments can be made therefrom. You will understand. Therefore, the true technical protection scope of the present invention should be determined by the scope of the patent claims below.

100: 카메라
110: 제1 카메라
120: 제2 카메라
200: 메모리
300: 프로세서100: Camera
110: first camera
120: second camera
200: memory
300: processor

Claims (20)

듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치에 있어서,
차량의 전면에 구비되는 제1 카메라;
상기 제1 카메라와 이격되어 구비되는 제2 카메라; 및
상기 제1 카메라를 통해 촬영된 제1 영상에 기반하여 상기 차량의 전륜으로부터 차선까지의 거리를 산출하고, 상기 제2 카메라를 통해 촬영된 제2 영상에 기반하여 상기 전륜으로부터 상기 차선까지의 거리를 산출하고, 상기 제2 영상에 기반하여 산출된 거리를 토대로 상기 제1 영상에 기반하여 산출된 거리를 보정하는 프로세서;를 포함하고,
상기 프로세서는, 상기 보정된 거리와 상기 차량에 구비된 차선 유지 보조 시스템(LKAS: Lane Keeping Assist System)을 통해 산출된 상기 전륜으로부터 상기 차선까지의 거리 간의 오차율을 산출하고, 상기 산출된 오차율에 기반하여 상기 차선 유지 보조 시스템에 대한 시험 평가를 수행하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
In a test and evaluation device for a lane keeping assist system using a dual camera,
A first camera provided on the front of the vehicle;
a second camera provided to be spaced apart from the first camera; and
The distance from the front wheels of the vehicle to the lane is calculated based on the first image captured through the first camera, and the distance from the front wheels to the lane is calculated based on the second image captured through the second camera. A processor that calculates and corrects the distance calculated based on the first image based on the distance calculated based on the second image,
The processor calculates an error rate between the corrected distance and the distance from the front wheel to the lane calculated through a lane keeping assist system (LKAS) provided in the vehicle, and based on the calculated error rate A test and evaluation device for a lane-keeping assistance system using a dual camera, characterized in that a test and evaluation of the lane-keeping assistance system is performed.
 제 1항에 있어서,
상기 프로세서는, 상기 제1 영상에 기반하여 산출된 거리와, 상기 제2 영상에 기반하여 산출된 거리의 평균값을 산출하고, 상기 산출된 평균값을 상기 전륜으로부터 상기 차선까지의 거리로 최종 결정하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
According to clause 1,
The processor calculates an average value of the distance calculated based on the first image and the distance calculated based on the second image, and finally determines the calculated average value as the distance from the front wheel to the lane. A test and evaluation device for a lane keeping assist system using a featured dual camera.
 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치에 있어서,
차량의 전면에 구비되는 제1 카메라;
상기 제1 카메라와 이격되어 구비되는 제2 카메라; 및
상기 제1 카메라를 통해 촬영된 제1 영상에 기반하여 상기 차량의 전륜으로부터 차선까지의 거리를 산출하고, 상기 제2 카메라를 통해 촬영된 제2 영상에 기반하여 상기 전륜으로부터 상기 차선까지의 거리를 산출하고, 상기 제2 영상에 기반하여 산출된 거리를 토대로 상기 제1 영상에 기반하여 산출된 거리를 보정하는 프로세서;를 포함하고,
상기 프로세서는, 상기 차량의 헤딩각을 산출하고, 상기 카메라로부터 상기 차선까지의 거리인 제1 거리를 산출하고, 상기 영상을 통해 촬영되는 도로면과 상기 차량 간의 최단 거리인 제2 거리를 산출하고, 상기 헤딩각과 상기 제1 및 제2 거리에 기반하여 상기 전륜으로부터 상기 차선까지의 거리인 제3 거리를 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
In a test and evaluation device for a lane keeping assist system using a dual camera,
A first camera provided on the front of the vehicle;
a second camera provided to be spaced apart from the first camera; and
The distance from the front wheels of the vehicle to the lane is calculated based on the first image captured through the first camera, and the distance from the front wheels to the lane is calculated based on the second image captured through the second camera. A processor that calculates and corrects the distance calculated based on the first image based on the distance calculated based on the second image,
The processor calculates the heading angle of the vehicle, calculates a first distance that is the distance from the camera to the lane, and calculates a second distance that is the shortest distance between the vehicle and the road surface captured through the image. , A test and evaluation device for a lane keeping assist system using a dual camera, characterized in that a third distance, which is a distance from the front wheel to the lane, is calculated based on the heading angle and the first and second distances.
 제 3항에 있어서,
상기 프로세서는, 상기 카메라를 통해 촬영된 영상에서 차선들을 검출하고, 상기 차선들의 연장선이 교차하는 제1 지점의 좌표를 검출하고, 상기 영상의 중심에 위치하는 제2 지점의 좌표를 검출하고, 상기 제1 및 제2 지점의 좌표에 기반하여 상기 헤딩각을 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
According to clause 3,
The processor detects lanes in the image captured through the camera, detects coordinates of a first point where extension lines of the lanes intersect, detects coordinates of a second point located at the center of the image, and A test and evaluation device for a lane keeping assist system using a dual camera, characterized in that the heading angle is calculated based on the coordinates of the first and second points.
 제 4항에 있어서,
상기 프로세서는, 하기 수식 1을 통해 상기 헤딩각을 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
[수식 1]

(여기서, ψ는 상기 차량의 헤딩각이고, x1은 상기 제1 지점의 x축 좌표이고, y1은 상기 제1 지점의 y축 좌표이고, x2는 상기 제2 지점의 x축 좌표이고, y2는 상기 제2 지점의 y축 좌표이고, f는 상기 카메라의 초점거리이다.)
According to clause 4,
The processor is a test and evaluation device for a lane keeping assist system using a dual camera, characterized in that the heading angle is calculated through Equation 1 below.
[Formula 1]

(Here, ψ is the heading angle of the vehicle, x1 is the x-axis coordinate of the first point, y1 is the y-axis coordinate of the first point, x2 is the x-axis coordinate of the second point, and y2 is is the y-axis coordinate of the second point, and f is the focal length of the camera.)
 제 4항에 있어서,
상기 프로세서는, 상기 차선들의 연장선이 상기 영상의 가로축과 교차하는 제3 및 제4 지점의 좌표를 검출하고, 상기 제3 및 제4 지점의 좌표에 기반하여 상기 제1 거리를 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
According to clause 4,
The processor detects the coordinates of third and fourth points where the extension lines of the lanes intersect the horizontal axis of the image, and calculates the first distance based on the coordinates of the third and fourth points. A test and evaluation device for a lane keeping assist system using a dual camera.
 제 6항에 있어서,
상기 프로세서는, 하기 수식 2를 통해 상기 제1 거리를 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
[수식 2]

(여기서, Llw는 상기 제1 거리이고, Lw는 상기 차선의 폭이고, Iw는 상기 영상의 폭이고, x3는 상기 제3 지점의 x축 좌표이고, y3은 상기 제3 지점의 y축 좌표이고, x4는 상기 제4 지점의 x축 좌표이고, y4는 상기 제4 지점의 y축 좌표이다.)
According to clause 6,
The processor is a test and evaluation device for a lane keeping assist system using a dual camera, wherein the processor calculates the first distance using Equation 2 below.
[Formula 2]

(Here, L lw is the first distance, L w is the width of the lane, I w is the width of the image, x3 is the x-axis coordinate of the third point, and y3 is the y of the third point is the axis coordinate, x4 is the x-axis coordinate of the fourth point, and y4 is the y-axis coordinate of the fourth point.)
 제 3항에 있어서,
상기 프로세서는, 하기 수식 3을 통해 상기 제2 거리를 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
[수식 3]

(여기서, dg는 상기 제2 거리이고, h는 상기 카메라의 높이이고, α는 상기 카메라의 각도이고, θv는 상기 카메라의 수직 화각이다.)
According to clause 3,
The processor is a test and evaluation device for a lane keeping assist system using a dual camera, wherein the processor calculates the second distance using Equation 3 below.
[Formula 3]

(Here, d g is the second distance, h is the height of the camera, α is the angle of the camera, and θ v is the vertical angle of view of the camera.)
 제 3항에 있어서,
상기 프로세서는, 하기 수식 4를 통해 상기 제3 거리를 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치.
[수식 4]

(여기서, dl은 상기 제3 거리이고, Llw는 상기 제1 거리이고, Lw는 상기 차선의 폭이고, b는 카메라 간의 거리이고, dg는 상기 제2 거리이고, Cwh는 상기 카메라로부터 전륜축까지의 거리이고, ψ는 상기 차량의 헤딩각이다.)
According to clause 3,
The processor is a test and evaluation device for a lane keeping assist system using a dual camera, wherein the processor calculates the third distance using Equation 4 below.
[Formula 4]

(Here, d l is the third distance, L lw is the first distance, L w is the width of the lane, b is the distance between cameras, d g is the second distance, and C wh is the is the distance from the camera to the front wheel axle, and ψ is the heading angle of the vehicle.)
 삭제delete 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법에 있어서,
프로세서가, 제1 카메라를 통해 촬영된 제1 영상에 기반하여 차량의 전륜으로부터 차선까지의 거리를 산출하는 단계;
상기 프로세서가, 상기 제1 카메라와 이격되어 구비된 제2 카메라를 통해 촬영된 제2 영상에 기반하여 상기 전륜으로부터 상기 차선까지의 거리를 산출하는 단계; 및
상기 프로세서가, 상기 제2 영상에 기반하여 산출된 거리를 토대로 상기 제1 영상에 기반하여 산출된 거리를 보정하는 단계;를 포함하고,
상기 보정하는 단계 이후에,
상기 프로세서가, 상기 보정된 거리와 상기 차량에 구비된 차선 유지 보조 시스템(LKAS: Lane Keeping Assist System)을 통해 산출된 상기 전륜으로부터 상기 차선까지의 거리 간의 오차율을 산출하는 단계; 및
상기 프로세서가, 상기 산출된 오차율에 기반하여 상기 차선 유지 보조 시스템에 대한 시험 평가를 수행하는 단계;를 더 포함하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
In the test and evaluation method of a lane keeping assist system using a dual camera,
Calculating, by the processor, the distance from the front wheels of the vehicle to the lane based on the first image captured through the first camera;
calculating, by the processor, a distance from the front wheel to the lane based on a second image captured through a second camera provided spaced apart from the first camera; and
Comprising, by the processor, correcting the distance calculated based on the first image based on the distance calculated based on the second image,
After the above correction step,
Calculating, by the processor, an error rate between the corrected distance and the distance from the front wheels to the lane calculated through a Lane Keeping Assist System (LKAS) provided in the vehicle; and
A test and evaluation method of a lane keeping assist system using a dual camera, further comprising: performing, by the processor, a test and evaluation of the lane keep assist system based on the calculated error rate.
 제 11항에 있어서,
상기 보정하는 단계에서, 상기 프로세서는,
상기 제1 영상에 기반하여 산출된 거리와, 상기 제2 영상에 기반하여 산출된 거리의 평균값을 산출하고, 상기 산출된 평균값을 상기 전륜으로부터 상기 차선까지의 거리로 최종 결정하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
According to clause 11,
In the correcting step, the processor,
Dual, characterized in that calculating an average value of the distance calculated based on the first image and the distance calculated based on the second image, and finally determining the calculated average value as the distance from the front wheel to the lane. Test evaluation method of lane keeping assist system using camera.
 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법에 있어서,
프로세서가, 제1 카메라를 통해 촬영된 제1 영상에 기반하여 차량의 전륜으로부터 차선까지의 거리를 산출하는 단계;
상기 프로세서가, 상기 제1 카메라와 이격되어 구비된 제2 카메라를 통해 촬영된 제2 영상에 기반하여 상기 전륜으로부터 상기 차선까지의 거리를 산출하는 단계; 및
상기 프로세서가, 상기 제2 영상에 기반하여 산출된 거리를 토대로 상기 제1 영상에 기반하여 산출된 거리를 보정하는 단계;를 포함하고,
상기 각 산출하는 단계는,
상기 프로세서가, 상기 차량의 헤딩각을 산출하는 단계;
상기 프로세서가, 상기 카메라로부터 상기 차선까지의 거리인 제1 거리를 산출하는 단계;
상기 프로세서가, 상기 영상을 통해 촬영되는 도로면과 상기 차량 간의 최단 거리인 제2 거리를 산출하는 단계; 및
상기 프로세서가, 상기 헤딩각과 상기 제1 및 제2 거리에 기반하여 상기 전륜으로부터 상기 차선까지의 거리인 제3 거리를 산출하는 단계;를 포함하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
In the test and evaluation method of a lane keeping assist system using a dual camera,
Calculating, by the processor, the distance from the front wheels of the vehicle to the lane based on the first image captured through the first camera;
calculating, by the processor, a distance from the front wheel to the lane based on a second image captured through a second camera provided spaced apart from the first camera; and
Comprising, by the processor, correcting the distance calculated based on the first image based on the distance calculated based on the second image,
Each calculation step above is,
Calculating, by the processor, a heading angle of the vehicle;
calculating, by the processor, a first distance that is the distance from the camera to the lane;
Calculating, by the processor, a second distance, which is the shortest distance between the road surface captured through the image and the vehicle; and
Calculating, by the processor, a third distance, which is the distance from the front wheel to the lane, based on the heading angle and the first and second distances. A lane keeping assist system using a dual camera comprising a. Test evaluation method.
 제 13항에 있어서,
상기 헤딩각을 산출하는 단계는,
상기 프로세서가, 상기 카메라를 통해 촬영된 영상에서 차선들을 검출하는 단계;
상기 프로세서가, 상기 차선들의 연장선이 교차하는 제1 지점의 좌표를 검출하는 단계;
상기 프로세서가, 상기 영상의 중심에 위치하는 제2 지점의 좌표를 검출하는 단계; 및
상기 프로세서가, 상기 제1 및 제2 지점의 좌표에 기반하여 상기 헤딩각을 산출하는 단계;를 포함하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
According to clause 13,
The step of calculating the heading angle is,
detecting, by the processor, lanes in an image captured through the camera;
detecting, by the processor, coordinates of a first point where extension lines of the lanes intersect;
detecting, by the processor, coordinates of a second point located at the center of the image; and
A test and evaluation method for a lane keeping assist system using a dual camera, comprising: calculating, by the processor, the heading angle based on the coordinates of the first and second points.
 제 14항에 있어서,
상기 제1 및 제2 지점의 좌표에 기반하여 상기 헤딩각을 산출하는 단계에서, 상기 프로세서는,
하기 수식 1을 통해 상기 헤딩각을 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
[수식 1]

(여기서, ψ는 상기 차량의 헤딩각이고, x1은 상기 제1 지점의 x축 좌표이고, y1은 상기 제1 지점의 y축 좌표이고, x2는 상기 제2 지점의 x축 좌표이고, y2는 상기 제2 지점의 y축 좌표이고, f는 상기 카메라의 초점거리이다.)
According to clause 14,
In calculating the heading angle based on the coordinates of the first and second points, the processor,
A test and evaluation method for a lane keeping assist system using a dual camera, characterized in that the heading angle is calculated through Equation 1 below.
[Formula 1]

(Here, ψ is the heading angle of the vehicle, x1 is the x-axis coordinate of the first point, y1 is the y-axis coordinate of the first point, x2 is the x-axis coordinate of the second point, and y2 is is the y-axis coordinate of the second point, and f is the focal length of the camera.)
 제 14항에 있어서,
상기 제1 거리를 산출하는 단계는,
상기 프로세서가, 상기 차선들의 연장선이 상기 영상의 가로축과 교차하는 제3 및 제4 지점의 좌표를 검출하는 단계; 및
상기 프로세서가, 상기 제3 및 제4 지점의 좌표에 기반하여 상기 제1 거리를 산출하는 단계;를 포함하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
According to clause 14,
The step of calculating the first distance is,
detecting, by the processor, coordinates of third and fourth points where extension lines of the lanes intersect the horizontal axis of the image; and
A test and evaluation method of a lane keeping assist system using a dual camera, comprising: calculating, by the processor, the first distance based on the coordinates of the third and fourth points.
 제 16항에 있어서,
상기 제3 및 제4 지점의 좌표에 기반하여 상기 제1 거리를 산출하는 단계에서, 상기 프로세서는,
하기 수식 2를 통해 상기 제1 거리를 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
[수식 2]

(여기서, Llw는 상기 제1 거리이고, Lw는 상기 차선의 폭이고, Iw는 상기 영상의 폭이고, x3는 상기 제3 지점의 x축 좌표이고, y3은 상기 제3 지점의 y축 좌표이고, x4는 상기 제4 지점의 x축 좌표이고, y4는 상기 제4 지점의 y축 좌표이다.)
According to clause 16,
In calculating the first distance based on the coordinates of the third and fourth points, the processor,
A test and evaluation method for a lane keeping assist system using a dual camera, characterized in that the first distance is calculated through Equation 2 below.
[Formula 2]

(Here, L lw is the first distance, L w is the width of the lane, I w is the width of the image, x3 is the x-axis coordinate of the third point, and y3 is the y of the third point is the axis coordinate, x4 is the x-axis coordinate of the fourth point, and y4 is the y-axis coordinate of the fourth point.)
 제 13항에 있어서,
상기 제2 거리를 산출하는 단계에서, 상기 프로세서는,
하기 수식 3을 통해 상기 제2 거리를 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
[수식 3]

(여기서, dg는 상기 제2 거리이고, h는 상기 카메라의 높이이고, α는 상기 카메라의 각도이고, θv는 상기 카메라의 수직 화각이다.)
According to clause 13,
In calculating the second distance, the processor:
A test and evaluation method for a lane keeping assist system using a dual camera, characterized in that the second distance is calculated through Equation 3 below.
[Formula 3]

(Here, d g is the second distance, h is the height of the camera, α is the angle of the camera, and θ v is the vertical angle of view of the camera.)
 제 13항에 있어서,
상기 제3 거리를 산출하는 단계에서, 상기 프로세서는,
하기 수식 4를 통해 상기 제3 거리를 산출하는 것을 특징으로 하는 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 방법.
[수식 4]

(여기서, dl은 상기 제3 거리이고, Llw는 상기 제1 거리이고, Lw는 상기 차선의 폭이고, b는 상기 카메라 간의 거리이고, dg는 상기 제2 거리이고, Cwh는 상기 카메라로부터 전륜축까지의 거리이고, ψ는 상기 차량의 헤딩각이다.)
According to clause 13,
In calculating the third distance, the processor:
A test and evaluation method for a lane keeping assist system using a dual camera, characterized in that the third distance is calculated through Equation 4 below.
[Formula 4]

(Here, d l is the third distance, L lw is the first distance, L w is the width of the lane, b is the distance between the cameras, d g is the second distance, and C wh is is the distance from the camera to the front wheel axle, and ψ is the heading angle of the vehicle.)
 삭제delete
KR1020210153123A 2021-11-09 2021-11-09 Apparatus and method for evaluating lane keeping assist system using dual camera KR102597238B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210153123A KR102597238B1 (en) 2021-11-09 2021-11-09 Apparatus and method for evaluating lane keeping assist system using dual camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210153123A KR102597238B1 (en) 2021-11-09 2021-11-09 Apparatus and method for evaluating lane keeping assist system using dual camera

Publications (2)

Publication Number Publication Date
KR20230067243A KR20230067243A (en) 2023-05-16
KR102597238B1 true KR102597238B1 (en) 2023-11-02

Family

ID=86546277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210153123A KR102597238B1 (en) 2021-11-09 2021-11-09 Apparatus and method for evaluating lane keeping assist system using dual camera

Country Status (1)

Country Link
KR (1) KR102597238B1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065210A (en) * 2012-11-21 2014-05-29 엘지전자 주식회사 Apparatus and method for measurementing distance of vehicle
KR101635831B1 (en) * 2014-11-27 2016-07-05 연세대학교 산학협력단 Apparatus and method for recognizing position of vehicle

Also Published As

Publication number Publication date
KR20230067243A (en) 2023-05-16

Similar Documents

Publication Publication Date Title
US11270131B2 (en) Map points-of-change detection device
US11062152B2 (en) Road plane output with lateral slope
US8611609B2 (en) Lane line estimating apparatus
JP4052650B2 (en) Obstacle detection device, method and program
US20090122136A1 (en) Object detection device
US20180015923A1 (en) Vehicle control device and vehicle control method
JP6261832B1 (en) Traveling path recognition device and traveling path recognition method
CN107209998B (en) Lane line recognition device and lane line recognition method
US11370488B2 (en) Lane separation line detection correcting device, lane separation line detection correcting method, and automatic driving system
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
JP7371269B2 (en) Method and device for calibrating camera pitch of a car, and method for continuously learning a vanishing point estimation model for the purpose
WO2018131061A1 (en) Travel path recognition device and travel path recognition method
KR101268282B1 (en) Lane departure warning system in navigation for vehicle and method thereof
US10970870B2 (en) Object detection apparatus
KR101394770B1 (en) Image stabilization method and system using curve lane model
KR20180022277A (en) System for measuring vehicle interval based blackbox
KR102597238B1 (en) Apparatus and method for evaluating lane keeping assist system using dual camera
US20180005051A1 (en) Travel road shape recognition apparatus and travel road shape recognition method
EP3288260B1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
CN110967040B (en) Method and system for identifying horizontal deviation angle of sensor
KR101266623B1 (en) Method and apparatus for estimating of vehicle distance
KR102203947B1 (en) Lane keeping assistance system and method for controlling keeping lane of the same
KR102588013B1 (en) Performance evaluation apparatus for adaptive cruise control system that calculates distance using dual cameras and control method thereof
JP7225079B2 (en) Obstacle recognition device
KR102259603B1 (en) Apparatus for calculating distance between vehicles and method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant