KR102425389B1 - Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails - Google Patents

Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails Download PDF

Info

Publication number
KR102425389B1
KR102425389B1 KR1020210055700A KR20210055700A KR102425389B1 KR 102425389 B1 KR102425389 B1 KR 102425389B1 KR 1020210055700 A KR1020210055700 A KR 1020210055700A KR 20210055700 A KR20210055700 A KR 20210055700A KR 102425389 B1 KR102425389 B1 KR 102425389B1
Authority
KR
South Korea
Prior art keywords
image
post
lane
processor
driving control
Prior art date
Application number
KR1020210055700A
Other languages
Korean (ko)
Inventor
구기원
이정기
양철승
박진수
정지성
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210055700A priority Critical patent/KR102425389B1/en
Application granted granted Critical
Publication of KR102425389B1 publication Critical patent/KR102425389B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Provided are a method and a system for recognizing the lanes of bicycle roads and trails. According to an embodiment of the present invention, a performance enhancement and driving control method of an algorithm for recognizing the lanes of bicycle roads and trails comprises the steps in which: a processor generates a lane classification model based on existing training images of bicycle roads and trails; an image collection unit attached to a small mobile embedded system collects original images of the bicycle roads and the trails while the small mobile embedded system is traveling; the processor inputs the collected original images to the lane classification model and performs lane binary classification to generate masking images of the lanes; the processor post-processes the generated masking images; the processor compares the masking images with the post-processed images; when the difference between the lane detection positions between the masking images and the post-processed images is less than or equal to a predetermined threshold value, the processor transfers the post-processed images to a driving control means of the small mobile embedded system to control the speed and the steering angle; and the processor stores the post-processed images as new training image to enhance the performance of the lane classification model. Accordingly, the performance enhancement and driving control method can minimize post-processing processes through the model with the improved performance, thereby reducing the time required for lane recognition, and can minimize direct inspection (intervention) of a user to quickly train the lane classification model with newly acquired training images, thereby improving the performance of the lane classification model.

Description

자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법{Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails}Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails}

본 발명은 자전거도로 및 산책로 차선인식 방법 및 시스템에 대한 것으로, 더욱 상세하게는, 이동용 소형 임베디드 시스템(ex. 소형 전동차량)에 부착된 카메라를 통해 촬영된 이미지를 활용하여 이미지 내 자전거도로 및 산책로 등의 차선을 검출하고, 검출 결과를 기반으로 이동형 소형 임베디드 시스템의 주행제어를 수행하고, 차선인식 알고리즘의 성능을 강화할 수 있는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for recognizing bicycle lanes and trails, and more specifically, to a bicycle road and a trail in the image by using an image taken through a camera attached to a small embedded system for movement (ex. small electric vehicle) The present invention relates to a method and system capable of detecting a lane, performing driving control of a mobile small embedded system based on the detection result, and enhancing the performance of a lane recognition algorithm.

최근 자율주행 시스템과 관련하여, 많은 연구가 이루어지고 있으나, 자율주행 시스템에 활용되는 기존의 차선인식 알고리즘의 경우, 차선인식이 잘 되지 않는 자전거 도로 또는 산책로 등에서 차선인석 성능이 떨어지는 문제가 존재한다. Recently, many studies have been made in relation to the autonomous driving system, but in the case of the existing lane recognition algorithm used in the autonomous driving system, there is a problem in that the lane occupancy performance is deteriorated on a bicycle road or a walking path where lane recognition is not good.

구체적으로, 기존의 차선인식 방법들은, 자전거 도로 또는 산책로와 같이 차선보수(페인트 벗겨짐, 지워짐)가 잘 이뤄지지 않는 사용 현장에서 차선인식률이 떨어지는 문제점을 갖고 있어, 이를 해결하기 위한 방안의 모색이 요구된다. Specifically, the existing lane recognition methods have a problem in that the lane recognition rate is low in use sites where lane maintenance (paint peeling, erasing) is not well performed, such as on a bicycle road or a walking trail, so it is necessary to find a way to solve this problem. .

한국등록특허 제10-1603293호(발명의 명칭: 차선인식방법)Korean Patent Registration No. 10-1603293 (Title of Invention: Lane Recognition Method)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 자율주행이 필요한 이동용 소형 임베디드 시스템(ex. 소형 전동차량)에 부착된 카메라를 통해 촬영된 이미지를 활용하여 이미지 내 자전거도로 및 산책로 등의 차선을 검출하고, 검출 결과를 기반으로 이동형 소형 임베디드 시스템의 주행제어를 수행하고, 차선인식 알고리즘의 성능을 강화할 수 있는 방법 및 시스템을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to utilize an image taken through a camera attached to a small embedded system for mobility (ex. small electric vehicle) that requires autonomous driving. An object of the present invention is to provide a method and system capable of detecting lanes such as bicycle paths and trails, performing driving control of a mobile small embedded system based on the detection results, and enhancing the performance of a lane recognition algorithm.

더불어, 본 발명의 목적은, 성능이 개선된 모델을 통해 후처리 과정을 최소화하여, 차선인식에 소요되는 시간을 절감하고, 사용자의 직접적인 검수(개입)을 최소화하여, 새롭게 취득된 학습이미지를 빠르게 재학습시켜 차선분류 모델의 성능을 개선할 수 있는 방법 및 시스템을 제공함에 있다.In addition, an object of the present invention is to reduce the time required for lane recognition by minimizing the post-processing process through a model with improved performance, and by minimizing the user's direct inspection (intervention), to quickly process the newly acquired learning image An object of the present invention is to provide a method and system that can improve the performance of a lane classification model by re-learning.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법은, 프로세서가, 자전거도로 및 산책로에 대한 기존의 학습 이미지를 기반으로 차선분류 모델을 생성하는 단계; 이동용 소형 임베디드 시스템에 부착되는 영상 수집부가, 이동용 소형 임베디드 시스템의 주행 중에 자전거도로 및 산책로의 원본 이미지를 수집하는 단계; 프로세서가, 수집된 원본 이미지를 차선분류 모델에 입력하여, 차선 이진분류를 수행하여, 차선의 마스킹 이미지를 생성하는 단계; 프로세서가, 생성된 마스킹 이미지를 후처리하는 단계; 프로세서가, 마스킹 이미지와 후처리 이미지를 비교하는 단계; 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값 이하인 경우, 프로세서가, 속도 및 조향각 제어 수행을 위해, 후처리 이미지를 이동용 소형 임베디드 시스템의 주행 제어 수단에 전달하는 단계; 및 프로세서가, 차선분류 모델의 성능 강화를 위해, 후처리 이미지를 새로운 학습 이미지로 저장하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, the performance enhancement and driving control method of the bicycle road and trail lane recognition algorithm, the processor, a lane classification model based on the existing learning image for the bicycle road and the trail creating a; Collecting, by the image collecting unit attached to the portable small embedded system, original images of the bicycle path and the walking path while the portable small embedded system is running; generating, by the processor, the next lane masking image by inputting the collected original image into the lane classification model and performing lane binary classification; Post-processing, by the processor, the generated masking image; comparing, by the processor, the masking image and the post-processing image; When the difference value of the lane detection position between the masking image and the post-processing image is less than or equal to a preset threshold, the processor transmits the post-processed image to the driving control means of the small embedded system for movement to perform speed and steering angle control; and storing, by the processor, the post-processing image as a new training image to enhance the performance of the lane classification model.

그리고 후처리 단계는, 마스킹 이미지에 차선의 길이, 차선의 각도 및 차선의 위치에 대하여 설정된 후처리 조건이 반영되도록 하여, 후처리 이미지를 생성할 수 있다. In the post-processing step, the post-processing conditions set with respect to the length of the lane, the angle of the lane, and the position of the lane are reflected in the masking image, so that the post-processing image may be generated.

또한, 프로세서는, 차선분류에 소요되는 시간에 따라 이동용 소형 임베디드 시스템의 주행 속도 설정 및 이미지 상하단 분할선을 설정할 수 있다. In addition, the processor may set the driving speed setting of the small embedded system for movement and the upper and lower division lines of the image according to the time required for lane classification.

그리고 프로세서는, 차선의 마스킹 이미지를 생성하고, 생성된 마스킹 이미지를 후처리하여, 후처리 이미지를 생성하되, 차선분류에 소요되는 시간을 획득하기 위해, 마스킹 이미지의 생성 작업 및 후처리 작업에 소요되는 시간을 저장할 수 있다. Then, the processor generates a masking image of the lane, post-processes the generated masking image, and generates a post-processed image, but in order to obtain the time required for lane classification, it takes a creation operation and a post-processing operation of the masking image time can be saved.

또한, 프로세서는, 마스킹 이미지와 후처리 이미지 비교 시, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값을 계산하고, 차이값이 임계값 이하인 경우, 후처리 이미지가 이미지 상하단 분할선에 따라 분할된 이미지 중 차량에서 가까운 앞구간의 이미지인 하단 이미지를 주행 제어 수단에 전달하고, 하단 이미지를 새로운 학습 이미지로 저장할 수 있다. In addition, the processor calculates a difference value of a lane detection position between the masking image and the post-processed image when comparing the masking image and the post-processed image, and when the difference value is less than or equal to a threshold, the post-processed image is divided according to the upper and lower division lines of the image The lower image, which is an image of the front section close to the vehicle, among the images obtained from the vehicle, can be transmitted to the driving control means, and the lower image can be stored as a new learning image.

그리고 프로세서는, 차이값이 임계값을 초과하면, 현재의 후처리 이미지(t) 이전에 취득된 후처리 이미지(t-1)가 이미지 상하단 분할선에 따라 분할된 이미지 중 차량에서 먼 뒷구간의 이미지인 상단 이미지를 주행 제어 수단에 전달할 수 있다. And when the difference value exceeds the threshold value, the post-processed image t-1 acquired before the current post-processed image t The upper image, which is an image, may be transmitted to the driving control means.

또한, 프로세서는, 차이값이 임계값을 초과하면, 현재의 후처리 이미지(t)에 대하여 사용자의 검수를 통해 학습 이미지 적용 여부가 결정되도록, 현재의 후처리 이미지(t)를 다른 후처리 이미지와 선별하여 저장할 수 있다. In addition, if the difference value exceeds the threshold value, the current post-processed image (t) is converted to another post-processed image so that whether to apply the learning image is determined through the user's inspection with respect to the current post-processed image (t) can be selected and stored.

한편, 본 발명의 다른 실시예에 따른, 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 시스템은, 이동용 소형 임베디드 시스템에 부착되어, 이동용 소형 임베디드 시스템의 주행 중에 자전거도로 및 산책로의 원본 이미지를 수집하는 영상 수집부; 및 자전거도로 및 산책로에 대한 기존의 학습 이미지를 기반으로 차선분류 모델을 생성하고, 영상 수집부를 통해 수집된 원본 이미지를 차선분류 모델에 입력하여, 차선 이진분류를 수행하여, 차선의 마스킹 이미지를 생성하고, 생성된 마스킹 이미지를 후처리하고, 마스킹 이미지와 후처리 이미지를 비교하여, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값 이하인 경우, 속도 및 조향각 제어 수행을 위해, 후처리 이미지를 이동용 소형 임베디드 시스템의 주행 제어 수단에 전달하고, 차선분류 모델의 성능 강화를 위해, 후처리 이미지를 새로운 학습 이미지로 저장하는 프로세서;를 포함한다.On the other hand, the performance enhancement and driving control system of the bicycle road and trail lane recognition algorithm according to another embodiment of the present invention is attached to the small embedded system for movement, and the original image of the bicycle path and the walking path while the small embedded system for movement is running. an image collection unit to collect; And a lane classification model is created based on the existing learning images for bicycle paths and trails, and the original image collected through the image collection unit is input to the lane classification model, and lane binary classification is performed to generate a masking image of the lane. and post-processing the generated masking image, comparing the masking image and the post-processing image, and when the difference value of the lane detection position between the masking image and the post-processing image is less than or equal to a preset threshold value, to perform speed and steering angle control, and a processor that transmits the post-processed image to the driving control means of the small embedded system for movement and stores the post-processed image as a new learning image in order to enhance the performance of the lane classification model.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 자율주행이 필요한 이동용 소형 임베디드 시스템에 부착된 카메라를 통해 촬영된 이미지를 활용하여 이미지 내 자전거도로 및 산책로 등의 차선을 검출하고, 검출 결과를 기반으로 이동형 소형 임베디드 시스템의 주행제어를 수행하고, 차선인식 알고리즘의 성능을 강화할 수 있다. As described above, according to the embodiments of the present invention, lanes such as bicycle paths and trails in the image are detected by using an image captured by a camera attached to a small embedded system for movement requiring autonomous driving, and the detection result is displayed. Based on this, it is possible to perform driving control of a mobile small embedded system and to enhance the performance of the lane recognition algorithm.

더불어, 본 발명의 실시예들에 따르면, 성능이 개선된 모델을 통해 후처리 과정을 최소화하여, 차선인식에 소요되는 시간을 절감하고, 사용자의 직접적인 검수(개입)을 최소화하여, 새롭게 취득된 학습이미지를 빠르게 재학습시켜 차선분류 모델의 성능을 개선할 수 있다.In addition, according to embodiments of the present invention, by minimizing the post-processing process through the improved performance model, the time required for lane recognition is reduced, the user's direct inspection (intervention) is minimized, and the newly acquired learning The performance of the lane classification model can be improved by rapidly retraining the image.

도 1은, 본 발명의 일 실시예에 따른 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 시스템의 설명에 제공된 도면,
도 2 내지 도 4는, 본 발명의 일 실시예에 따른 원본 이미지, 마스킹 이미지 및 후처리 이미지가 예시된 도면,
도 5는, 본 발명의 일 실시예에 따라 이미지 상하단 분할선에 의해 분할된 후처리 이미지가 예시된 도면, 그리고
도 6은, 본 발명의 일 실시예에 따른 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법의 방법에 제공된 도면이다. 1 is a view provided for the explanation of the performance enhancement and driving control system of the bicycle road and trail lane recognition algorithm according to an embodiment of the present invention;
2 to 4 are views illustrating an original image, a masking image, and a post-processing image according to an embodiment of the present invention;
5 is a diagram illustrating a post-processed image divided by upper and lower image dividing lines according to an embodiment of the present invention; and
6 is a view provided for a method of enhancing the performance of a bicycle road and trail lane recognition algorithm and a driving control method according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1은, 본 발명의 일 실시예에 따른 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 시스템의 설명에 제공된 도면이며, 도 2는, 원본 이미지, 마스킹 이미지 및 후처리 이미지가 각각 예시된 도면이고, 도 3은, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값을 초과하는 경우, 마스킹 이미지 및 후처리 이미지가 예시된 도면이며, 도 4는, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값 이하인 경우, 마스킹 이미지 및 후처리 이미지가 예시된 도면이고, 도 5는, 본 발명의 일 실시예에 따라 이미지 상하단 분할선에 의해 분할된 후처리 이미지가 예시된 도면이다. 1 is a view provided for the description of the performance enhancement and driving control system of the bicycle road and trail lane recognition algorithm according to an embodiment of the present invention, and FIG. 2 is an original image, a masking image and a post-processing image respectively illustrated 3 is a diagram illustrating the masking image and the post-processing image when the difference value of the lane detection position between the masking image and the post-processing image exceeds a preset threshold value, and FIG. 4 is the masking image and the post-processing image When the difference value of the lane detection position between the processed images is less than or equal to a preset threshold, a masking image and a post-processing image are exemplified. It is a drawing in which the processed image is illustrated.

본 실시예에 따른 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 시스템(이하에서는 '성능강화 및 주행제어 시스템'으로 총칭하기로 함)은 자율주행이 필요한 이동용 소형 임베디드 시스템(ex. 소형 전동차량)에 부착된 카메라를 통해 촬영된 이미지를 활용하여 이미지 내 자전거도로 및 산책로 등의 차선을 검출하고, 검출 결과를 기반으로 이동형 소형 임베디드 시스템의 주행제어를 수행하고, 차선인식 알고리즘의 성능을 강화할 수 있다.The performance enhancement and driving control system (hereinafter, collectively referred to as 'performance enhancement and driving control system') of the bicycle road and trail lane recognition algorithm according to this embodiment is a small embedded system for mobility (ex. small electric vehicle) that requires autonomous driving. It is possible to detect lanes such as bicycle paths and trails in the image by using the image taken through the camera attached to the vehicle), perform driving control of the mobile small embedded system based on the detection result, and strengthen the performance of the lane recognition algorithm. can

이를 위해, 본 성능강화 및 주행제어 시스템은, 영상 수집부(110), 프로세서(120), 저장부(130) 및 통신부(140)를 포함할 수 있다. To this end, the present performance enhancement and driving control system may include an image collection unit 110 , a processor 120 , a storage unit 130 , and a communication unit 140 .

영상 수집부(110)는, 이동용 소형 임베디드 시스템의 주행 중에 자전거도로 및 산책로의 원본 이미지를 수집하기 위해 마련된다. The image collection unit 110 is provided to collect original images of bicycle paths and trails while the small embedded system for movement is running.

구체적으로, 영상 수집부(110)는, 이동용 소형 임베디드 시스템에 부착되는 카메라로 구현될 수 있다. Specifically, the image collection unit 110 may be implemented as a camera attached to a small embedded system for movement.

저장부(130)는, 프로세서(120)가 동작함에 있어 필요한 프로그램 및 데이터를 저장하는 저장매체이다. The storage unit 130 is a storage medium for storing programs and data necessary for the processor 120 to operate.

통신부(140)는, 다른 디바이스(정보처리 기기)와 연결되어, 프로세서(120)가 동작함에 있어 필요한 데이터를 송수신할 수 있는 통신수단이다. The communication unit 140 is a communication means that is connected to another device (information processing device) to transmit/receive data required for the processor 120 to operate.

프로세서(120)는, 성능강화 및 주행제어 시스템의 제반 사항을 처리하기 위해, 통신부(140)를 통해 외부의 데이터를 수신하거나, 영상 수집부(110)를 통해 수집된 원본 이미지를 가공 처리하여, 저장부(130), 통신부(140) 또는 이동용 소형 임베디드 시스템의 주행 제어 수단(10)에 전달할 수 있다. The processor 120 receives external data through the communication unit 140 or processes the original image collected through the image collection unit 110 in order to process all matters of the performance enhancement and driving control system, It may be transmitted to the storage unit 130 , the communication unit 140 , or the driving control means 10 of the small embedded system for movement.

구체적으로, 프로세서(120)는, 자전거도로 및 산책로에 대한 기존의 학습 이미지를 기반으로 차선분류 모델을 생성하고, 영상 수집부(110)를 통해 수집된 원본 이미지를 차선분류 모델에 입력하여, 차선 이진분류를 수행하여, 도 2에 예시된 바와 같이 차선의 마스킹 이미지를 생성할 수 있다. Specifically, the processor 120 generates a lane classification model based on existing learning images for bicycle paths and trails, and inputs the original image collected through the image collection unit 110 into the lane classification model, By performing binary classification, as illustrated in FIG. 2 , a suboptimal masking image may be generated.

그리고 프로세서(120)는, 마스킹 이미지가 생성되면, 생성된 마스킹 이미지를 후처리하여, 도 2에 예시된 바와 같이 후처리 이미지를 생성하고, 마스킹 이미지와 후처리 이미지를 비교할 수 있다. And, when the masking image is generated, the processor 120 may post-process the generated masking image, generate a post-processed image as illustrated in FIG. 2 , and compare the masking image with the post-processed image.

예를 들면, 프로세서(120)는, 마스킹 이미지에 차선의 길이, 차선의 각도 및 차선의 위치에 대하여 설정된 후처리 조건이 반영되도록 하여, 최종적으로 검출된 최종 차선이 반영된 후처리 이미지를 생성할 수 있다. For example, the processor 120 may generate a post-processing image in which the final detected lane is reflected by reflecting the post-processing conditions set for the length of the lane, the angle of the lane, and the position of the lane in the masking image. have.

구체적으로, 프로세서(120)는, 소형 전동차량과 같은, 이동용 소형 임베디드 시스템에 장착되는 저비용 임베디드 GPGPU로 구현될 수 있으며, 이때, 프로세서(120)가 사용가능한 컴퓨팅 자원이 한정적이므로, 연산처리를 최소화 하는 것이 중요하다. Specifically, the processor 120 may be implemented as a low-cost embedded GPGPU mounted on a small embedded system for movement, such as a small electric vehicle. it is important to do

따라서, 본 프로세서(120)는, 성능강화 및 주행제어 시스템의 제반 사항을 처리하되, 후처리(영상처리) 시간을 줄임으로써, 더 빠른 차선인식을 수행하기 위해, 차선검출에 소요되는 시간을 기반으로 주행제어(속도/조향) 구간을 분할하고, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값을 초과하여, 차선인식이 힘든 이미지(t) 구간에서 이전 이미지(t-1)를 사용하게 된다. Accordingly, the processor 120 processes all matters of the performance enhancement and driving control system, but reduces the post-processing (image processing) time, so as to perform faster lane recognition, based on the time required for lane detection The driving control (speed/steering) section is divided with 1) will be used.

이를 위해, 프로세서(120)는, 후처리 이미지 생성 시, 마스킹 이미지의 생성 작업 및 후처리 작업에 소요되는 시간을 저장하여, 차선분류에 소요되는 시간(마스킹 이미지의 생성 작업 시간과 후처리 작업에 소요되는 시간의 합)을 획득할 수 있다. To this end, the processor 120 stores the time required for the creation of the masking image and the post-processing when generating the post-processing image, and the time required for the lane classification (the time required for the generation of the masking image and the post-processing operation) sum of the time required).

즉, 프로세서(120)는 차선분류에 소요되는 시간에 따라 이동용 소형 임베디드 시스템의 주행 속도 설정 및 이미지 상하단 분할선을 설정하기 위해, 차선분류에 소요되는 시간을 획득하는 것이다. That is, the processor 120 acquires the time required for lane classification in order to set the driving speed of the portable embedded system and the upper and lower division lines of the image according to the time required for lane classification.

즉, 프로세서(120)는, 마스킹 이미지와 후처리 이미지 비교 시, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값을 계산하고, 차이값이 임계값 이하인지 여부에 따라, 이동용 소형 임베디드 시스템의 주행 제어 수단(10)에 전달할 이미지를 선택할 수 있다. That is, the processor 120 calculates the difference value of the lane detection position between the masking image and the post-processing image when comparing the masking image and the post-processing image, and depending on whether the difference value is less than or equal to the threshold value, the small embedded system for movement An image to be transmitted to the driving control means 10 may be selected.

예를 들면, 프로세서(120)는, 도 3에 예시된 바와 같이, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값 이하인 경우, 속도 및 조향각 제어 수행을 위해, 현재의 후처리 이미지(t)를 이동용 소형 임베디드 시스템의 주행 제어 수단(10)에 전달할 수 있다. For example, as illustrated in FIG. 3 , when the difference value of the lane detection position between the masking image and the post-processing image is less than or equal to a preset threshold value, the processor 120 performs speed and steering angle control, The processed image t may be transmitted to the driving control means 10 of the small embedded system for movement.

구체적으로, 프로세서(120)는, 차이값이 임계값 이하인 경우, 도 5에 예시된 바와 같이 후처리 이미지가 이미지 상하단 분할선에 따라 분할된 이미지 중 차량에서 가까운 앞구간의 이미지인 하단 이미지(h 영역)를 주행 제어 수단(10)에 전달하고, 하단 이미지를 새로운 학습 이미지로 저장할 수 있다. Specifically, when the difference value is less than or equal to the threshold value, the processor 120 generates a lower image (h) that is an image of the front section close to the vehicle among the images in which the post-processing image is divided along the upper and lower division lines of the image as illustrated in FIG. 5 . region) to the driving control means 10 , and the lower image may be stored as a new learning image.

여기서, 이미지 상하단 분할비율은, 하기 수식과 같이 하단 이미지의 분할 비율(h)이 차선분류에 소용되는 시간(α)에 따라 결정될 수 있으며, c는 상수값을 의미한다. Here, the upper and lower image division ratio may be determined according to the time (α) for which the division ratio (h) of the lower image is used for lane classification as shown in the following equation, and c denotes a constant value.

(수식) h = c*α(Formula) h = c*α

그리고 프로세서(120)는, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값 이하인 경우, 이동용 소형 임베디드 시스템의 주행 제어 수단(10)에 전달한 후처리 이미지와 동일한 이미지를 후처리 이미지를 저장부(130)에 새로운 학습 이미지로 저장하여, 차선분류 모델의 성능 강화를 위해 이용할 수 있다. In addition, when the difference value of the lane detection position between the masking image and the post-processed image is less than or equal to a preset threshold, the processor 120 processes the same image as the post-processed image transmitted to the driving control means 10 of the small embedded system for movement. By storing the image as a new training image in the storage unit 130 , it may be used to enhance the performance of the lane classification model.

반대로, 프로세서(120)는, 도 4에 예시된 바와 같이, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값을 초과하면, 현재의 후처리 이미지(t) 이전에 취득된 후처리 이미지(t-1)가 이미지 상하단 분할선에 따라 분할된 이미지 중 차량에서 먼 뒷구간의 이미지인 상단 이미지(1-h 영역)를 주행 제어 수단(10)에 전달할 수 있다. Conversely, as illustrated in FIG. 4 , when the difference value of the lane detection position between the masking image and the post-processing image exceeds a preset threshold value, the processor 120 obtains the current post-processed image t before Among the images in which the post-processing image t-1 is divided along the upper and lower division lines of the image, the upper image (region 1-h) that is an image of a rear section far from the vehicle may be transmitted to the driving control means 10 .

그리고 프로세서(120)는, 차이값이 임계값을 초과하면, 현재의 후처리 이미지(t)에 대하여 사용자의 검수를 통해 학습 이미지 적용 여부가 결정되도록 할 수 있다. And, when the difference value exceeds the threshold value, the processor 120 may determine whether to apply the learning image through the user's inspection with respect to the current post-processed image t.

예를 들면, 프로세서(120)는, 차이값이 임계값을 초과하면, 현재의 후처리 이미지(t)에 대하여 사용자의 검수를 통해 학습 이미지 적용 여부가 결정되도록, 현재의 후처리 이미지(t)를 다른 후처리 이미지와 선별하여 저장할 수 있다. For example, if the difference value exceeds the threshold value, the processor 120 determines whether to apply the learning image through the user's inspection with respect to the current post-processed image t, the current post-processed image t. can be selected and saved with other post-processed images.

이를 통해, 자전거 도로와 산책로와 같이 차선 페인트가 벗겨진 구간이 많은, 차선이 온전치 못한 환경에서 자율주행 시스템 운영 시, 자동으로 학습데이터를 보충하여 차선인식 알고리즘의 성능을 향상시키고 안정적인 주행제어가 가능하도록 할 수 있다. Through this, when the autonomous driving system is operated in an environment where the lanes are not intact, where there are many areas where the paint has peeled off, such as bicycle roads and walking trails, the performance of the lane recognition algorithm is improved by automatically supplementing the learning data, and stable driving control is possible. can make it

그리고 이때, 프로세서(120)는, 저장 매체의 저장 용량이 기설정된 용량 임계값을 초과하는 경우, 선별 저장된 후처리 이미지(t)가 다른 후처리 이미지보다 우선적으로 삭제되도록 할 수 있다. And at this time, when the storage capacity of the storage medium exceeds a preset capacity threshold, the selected and stored post-processed image t may be preferentially deleted over other post-processed images.

도 6은, 본 발명의 일 실시예에 따른 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법의 방법에 제공된 도면이다. 6 is a view provided for a method of enhancing the performance of a lane recognition algorithm for bicycle paths and trails and a driving control method according to an embodiment of the present invention.

본 실시예에 따른 따른 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법(이하에서는 '성능강화 및 주행제어 방법'으로 총칭하기로 함)은, 도 1 내지 도 5를 참조하여 전술한 성능강화 및 주행제어 시스템에 의해 실행될 수 있다. The performance enhancement and driving control method (hereinafter, collectively referred to as 'performance enhancement and driving control method') of the bicycle road and trail lane recognition algorithm according to the present embodiment includes the performance described above with reference to FIGS. 1 to 5 . It can be implemented by the reinforcement and driving control system.

도 6을 참조하면, 본 성능강화 및 주행제어 방법은, 프로세서(120)를 통해, 자전거도로 및 산책로에 대한 기존의 학습 이미지를 기반으로 사전학습을 수행하여(S610), 차선분류 모델을 생성하고(S615), 주행 테스트를 진행할 수 있다(S620). Referring to FIG. 6 , this performance enhancement and driving control method, through the processor 120, performs pre-learning based on the existing learning images for bicycle paths and trails (S610) to generate a lane classification model and (S615), a driving test may be performed (S620).

즉, 사용자는 주행 테스트(이동용 소형 임베디드 시스템의 주행) 시, 이동용 소형 임베디드 시스템에 부착되는 영상 수집부(110)를 통해, 자전거도로 및 산책로의 원본 이미지가 수집되면, 프로세서(120)가, 영상 수집부(110)를 통해 수집된 원본 이미지를 차선분류 모델에 입력하여, 차선 이진분류를 수행하여, 차선의 마스킹 이미지를 생성할 수 있다(S625). That is, when the user collects original images of bicycle paths and trails through the image collection unit 110 attached to the small embedded system for movement during a driving test (driving of the small embedded system for movement), the processor 120 generates the image By inputting the original image collected through the collection unit 110 to the lane classification model, lane binary classification may be performed to generate a masking image of the lane (S625).

이후, 사용자는 프로세서(120)를 통해, 마스킹 이미지가 생성되면, 생성된 마스킹 이미지를 후처리하여, 후처리 이미지를 생성할 수 있다. 예를 들면, 프로세서(120)는, 마스킹 이미지에 차선의 길이, 차선의 각도 및 차선의 위치에 대하여 설정된 후처리 조건이 반영되도록 하여(S630, S635), 최종적으로 검출된 최종 차선이 반영된 후처리 이미지를 생성할 수 있다(S640). Thereafter, when a masking image is generated through the processor 120 , the user may post-process the generated masking image to generate a post-processed image. For example, the processor 120 reflects the post-processing conditions set for the length of the lane, the angle of the lane, and the position of the lane in the masking image (S630 and S635), so that the finally detected final lane is reflected in the post-processing An image may be generated (S640).

이때, 사용자는, 프로세서(120)를 통해, 차선분류에 소요되는 시간을 저장하고(S645), 차선분류에 소요되는 시간에 따라 이동용 소형 임베디드 시스템의 주행 속도 설정 및 이미지 상하단 분할선을 설정한 이후(S650), 마스킹 이미지와 후처리 이미지 비교할 수 있다(S655). At this time, the user, through the processor 120, stores the time required for lane classification (S645), and sets the driving speed of the small embedded system for movement according to the time required for lane classification and sets the upper and lower division lines of the image. (S650), the masking image and the post-processing image may be compared (S655).

구체적으로, 프로세서(120)는, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값을 초과하면, 현재의 후처리 이미지(t) 이전에 취득된 후처리 이미지(t-1)가 이미지 상하단 분할선에 따라 분할된 이미지 중 차량에서 먼 뒷구간의 이미지인 상단 이미지(1-h 영역)를 주행 제어 수단(10)에 전달하게 되고(S660), 이때, 현재의 후처리 이미지(t)에 대하여 사용자의 검수를 통해 학습 이미지 적용 여부가 결정되도록 할 수 있다(S665). Specifically, when the difference value of the lane detection position between the masking image and the post-processing image exceeds a preset threshold value, the processor 120 is configured to generate the post-processed image t-1 acquired before the current post-processed image t. ) transmits the upper image (region 1-h), which is an image of the rear section far from the vehicle, to the driving control means 10 among the images divided according to the upper and lower division lines of the image (S660), at this time, the current post-processing image With respect to (t), it is possible to determine whether to apply the learning image through the user's inspection (S665).

즉, 사용자는 차이값이 기설정된 임계값을 초과하는 후처리 이미지(t)를 검수하여, 후처리 이미지(t)를 새로운 학습 이미지로 저장할 것인지 여부를 결정할 수 있다. That is, the user may determine whether to save the post-processed image t as a new training image by examining the post-processed image t in which the difference value exceeds a preset threshold.

예를 들면, 사용자는, 차이값이 기설정된 임계값을 초과하는 후처리 이미지(t)를 검수하여, 후처리 이미지(t)를 새로운 학습 이미지로 저장하거나 또는 저장하지 않고, 이미지 레이블링을 수행할 수 있다(S670). For example, the user checks the post-processed image t whose difference value exceeds a preset threshold, and either stores the post-processed image t as a new training image, or performs image labeling without saving. can be (S670).

그리고 사용자는, 프로세서(120)를 통해, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값 이하인 경우, 속도 및 조향각 제어 수행을 위해, 현재의 후처리 이미지(t)가 이미지 상하단 분할선에 따라 분할된 이미지 중 차량에서 가까운 앞구간의 이미지인 하단 이미지(h 영역)를 주행 제어 수단(10)에 전달하고(S675), 하단 이미지를 새로운 학습 이미지로 저장하여, 차선분류 모델의 성능 강화를 위해 이용할 수 있다(S680). And, the user, through the processor 120, when the difference value of the lane detection position between the masking image and the post-processing image is less than or equal to a preset threshold value, the current post-processing image t is the image to perform speed and steering angle control Among the images divided according to the upper and lower dividing lines, the lower image (region h), which is an image of the front section close to the vehicle, is transmitted to the driving control means 10 (S675), and the lower image is stored as a new learning image, and the lane classification model It can be used to enhance the performance of (S680).

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium may be any data storage device readable by the computer and capable of storing data. For example, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

10 : 주행 제어 수단
110 : 영상 수집부
120 : 프로세서
130 : 저장부
140 : 통신부10: driving control means
110: image collection unit
120: processor
130: storage
140: communication department

Claims (8)

프로세서가, 자전거도로 및 산책로에 대한 기존의 학습 이미지를 기반으로 차선분류 모델을 생성하는 단계;
이동용 소형 임베디드 시스템에 부착되는 영상 수집부가, 이동용 소형 임베디드 시스템의 주행 중에 자전거도로 및 산책로의 원본 이미지를 수집하는 단계;
프로세서가, 수집된 원본 이미지를 차선분류 모델에 입력하여, 차선 이진분류를 수행하여, 차선의 마스킹 이미지를 생성하는 단계;
프로세서가, 생성된 마스킹 이미지를 후처리하는 단계;
프로세서가, 마스킹 이미지와 후처리 이미지를 비교하는 단계;
마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값 이하인 경우, 프로세서가, 속도 및 조향각 제어 수행을 위해, 후처리 이미지를 이동용 소형 임베디드 시스템의 주행 제어 수단에 전달하는 단계; 및
프로세서가, 차선분류 모델의 성능 강화를 위해, 후처리 이미지를 새로운 학습 이미지로 저장하는 단계;를 포함하는 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법.
generating, by the processor, a lane classification model based on existing learning images for bicycle paths and trails;
Collecting, by the image collecting unit attached to the portable small embedded system, original images of the bicycle path and the walking path while the portable small embedded system is running;
generating, by the processor, the second lane masking image by inputting the collected original image into the lane classification model and performing lane binary classification;
Post-processing, by the processor, the generated masking image;
comparing, by the processor, the masking image and the post-processing image;
When the difference value of the lane detection position between the masking image and the post-processing image is less than or equal to a preset threshold value, the processor transmits the post-processed image to the driving control means of the small embedded system for movement to perform speed and steering angle control; and
In order to enhance the performance of the lane classification model, the processor stores the post-processing image as a new learning image; Performance enhancement and driving control method of a bicycle road and trail lane recognition algorithm comprising a.
 청구항 1에 있어서,
후처리 단계는,
마스킹 이미지에 차선의 길이, 차선의 각도 및 차선의 위치에 대하여 설정된 후처리 조건이 반영되도록 하여, 후처리 이미지를 생성하는 것을 특징으로 하는 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법.
The method according to claim 1,
The post-processing step is
A method for enhancing performance and driving control of a bicycle road and trail lane recognition algorithm, characterized in that the masking image generates a post-processing image by reflecting the post-processing conditions set for the length of the lane, the angle of the lane, and the position of the lane.
 청구항 1에 있어서,
프로세서는,
차선분류에 소요되는 시간에 따라 이동용 소형 임베디드 시스템의 주행 속도 설정 및 이미지 상하단 분할선을 설정하는 것을 특징으로 하는 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법.
The method according to claim 1,
The processor is
A method of enhancing the performance and driving control of a lane recognition algorithm for bicycle paths and trails, characterized in that the driving speed of the small embedded system for movement and the upper and lower dividing lines of the image are set according to the time required for lane classification.
 청구항 3에 있어서,
프로세서는,
차선의 마스킹 이미지를 생성하고, 생성된 마스킹 이미지를 후처리하여, 후처리 이미지를 생성하되,
차선분류에 소요되는 시간을 획득하기 위해, 마스킹 이미지의 생성 작업 및 후처리 작업에 소요되는 시간을 저장하는 것을 특징으로 하는 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법.
4. The method of claim 3,
The processor is
A suboptimal masking image is generated, and the generated masking image is post-processed to generate a post-processed image,
In order to obtain the time required for lane classification, a method for enhancing performance and driving control of a lane recognition algorithm for bicycle paths and trails, characterized in that the time required for generating a masking image and post-processing is stored.
 청구항 3에 있어서,
프로세서는,
마스킹 이미지와 후처리 이미지 비교 시, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값을 계산하고,
차이값이 임계값 이하인 경우, 후처리 이미지가 이미지 상하단 분할선에 따라 분할된 이미지 중 차량에서 가까운 앞구간의 이미지인 하단 이미지를 주행 제어 수단에 전달하고, 하단 이미지를 새로운 학습 이미지로 저장하는 것을 특징으로 하는 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법.
4. The method of claim 3,
The processor is
When comparing the masking image and the post-processing image, the difference value of the detection position of the lane between the masking image and the post-processing image is calculated,
When the difference value is less than the threshold value, the post-processing image transmits the lower image, which is the image of the front section close to the vehicle, to the driving control means among the images divided along the upper and lower division lines of the image, and saves the lower image as a new learning image A method for enhancing the performance and driving control of the lane recognition algorithm for bicycle paths and trails.
 청구항 5에 있어서,
프로세서는,
차이값이 임계값을 초과하면, 현재의 후처리 이미지(t) 이전에 취득된 후처리 이미지(t-1)가 이미지 상하단 분할선에 따라 분할된 이미지 중 차량에서 먼 뒷구간의 이미지인 상단 이미지를 주행 제어 수단에 전달하는 것을 특징으로 하는 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법.
6. The method of claim 5,
The processor is
If the difference value exceeds the threshold, the post-processed image (t-1) acquired before the current post-processed image (t) is the image of the rear section far from the vehicle among the images divided along the upper and lower division lines of the image. A method for enhancing the performance and driving control of a lane recognition algorithm for bicycle roads and trails, characterized in that it transmits to the driving control means.
 청구항 6에 있어서,
프로세서는,
차이값이 임계값을 초과하면, 현재의 후처리 이미지(t)에 대하여 사용자의 검수를 통해 학습 이미지 적용 여부가 결정되도록, 현재의 후처리 이미지(t)를 다른 후처리 이미지와 선별하여 저장하는 것을 특징으로 하는 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법.
7. The method of claim 6,
The processor is
When the difference value exceeds the threshold value, the current post-processed image (t) is selected and stored with other post-processed images so that whether to apply the learning image is determined through the user's inspection for the current post-processed image (t) A method for enhancing the performance and driving control of a lane recognition algorithm for bicycle paths and trails, characterized in that.
 이동용 소형 임베디드 시스템에 부착되어, 이동용 소형 임베디드 시스템의 주행 중에 자전거도로 및 산책로의 원본 이미지를 수집하는 영상 수집부; 및
자전거도로 및 산책로에 대한 기존의 학습 이미지를 기반으로 차선분류 모델을 생성하고, 영상 수집부를 통해 수집된 원본 이미지를 차선분류 모델에 입력하여, 차선 이진분류를 수행하여, 차선의 마스킹 이미지를 생성하고, 생성된 마스킹 이미지를 후처리하고, 마스킹 이미지와 후처리 이미지를 비교하여, 마스킹 이미지와 후처리 이미지 간의 차선검출 위치의 차이값이 기설정된 임계값 이하인 경우, 속도 및 조향각 제어 수행을 위해, 후처리 이미지를 이동용 소형 임베디드 시스템의 주행 제어 수단에 전달하고, 차선분류 모델의 성능 강화를 위해, 후처리 이미지를 새로운 학습 이미지로 저장하는 프로세서;를 포함하는 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 시스템.an image collection unit attached to the portable embedded system to collect original images of bicycle paths and trails while the portable small embedded system is running; and
Create a lane classification model based on the existing learning images for bicycle paths and trails, input the original image collected through the image collection unit into the lane classification model, perform lane binary classification, and generate a masking image of the lane. , post-processing the generated masking image, comparing the masking image and the post-processing image, and when the difference value of the lane detection position between the masking image and the post-processing image is less than or equal to a preset threshold, to perform speed and steering angle control, after A processor that transmits the processed image to the driving control means of the small embedded system for movement and stores the post-processed image as a new learning image to enhance the performance of the lane classification model. driving control system.
KR1020210055700A 2021-04-29 2021-04-29 Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails KR102425389B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210055700A KR102425389B1 (en) 2021-04-29 2021-04-29 Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210055700A KR102425389B1 (en) 2021-04-29 2021-04-29 Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails

Publications (1)

Publication Number Publication Date
KR102425389B1 true KR102425389B1 (en) 2022-07-27

Family

ID=82701303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210055700A KR102425389B1 (en) 2021-04-29 2021-04-29 Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails

Country Status (1)

Country Link
KR (1) KR102425389B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102555799B1 (en) 2023-01-03 2023-07-14 라이트브라더스 주식회사 Server, method and computer-readable storage medium for providing vehicle rental platform service of vehicle with autonomous driving function

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603293B1 (en) 2015-01-26 2016-03-16 한국기술교육대학교 산학협력단 Lane recognition method
KR101774692B1 (en) * 2016-05-16 2017-09-04 현대자동차주식회사 Apparatus and method for controlling airbag
KR20180050848A (en) * 2016-11-07 2018-05-16 삼성전자주식회사 Method and apparatus of indicating lane
KR20180051752A (en) * 2016-11-08 2018-05-17 현대모비스 주식회사 System for autonomous driving and method for driving vehicle using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603293B1 (en) 2015-01-26 2016-03-16 한국기술교육대학교 산학협력단 Lane recognition method
KR101774692B1 (en) * 2016-05-16 2017-09-04 현대자동차주식회사 Apparatus and method for controlling airbag
KR20180050848A (en) * 2016-11-07 2018-05-16 삼성전자주식회사 Method and apparatus of indicating lane
KR20180051752A (en) * 2016-11-08 2018-05-17 현대모비스 주식회사 System for autonomous driving and method for driving vehicle using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102555799B1 (en) 2023-01-03 2023-07-14 라이트브라더스 주식회사 Server, method and computer-readable storage medium for providing vehicle rental platform service of vehicle with autonomous driving function

Similar Documents

Publication Publication Date Title
US11928965B2 (en) Lane line reconstruction using future scenes and trajectory
US9092394B2 (en) Depth based context identification
JP4426436B2 (en) Vehicle detection device
KR101543105B1 (en) Method And Device for Recognizing a Pedestrian and Vehicle supporting the same
EP3651055A1 (en) Gesture recognition method, apparatus, and device
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
CN109606384B (en) Vehicle control method, device, equipment and storage medium
CN111310737B (en) Lane line detection method and device
JP2019133306A (en) Image processing system and image processing method
KR102425389B1 (en) Performance enhancement and driving control method of lane recognition algorithm for bicycle roads and trails
KR20180070258A (en) Method for detecting and learning of objects simultaneous during vehicle driving
JP2004038624A (en) Vehicle recognition method, vehicle recognition device and vehicle recognition program
CN112907583B (en) Target object posture selection method, image scoring method and model training method
JP7181654B2 (en) On-vehicle active learning method and apparatus for learning the perception network of an autonomous driving vehicle
JP2004118757A (en) Detector for traveling lane on road surface
CN116071723A (en) Missing lane line complement method, system, vehicle and storage medium
CN115311634A (en) Lane line tracking method, medium and equipment based on template matching
JP2008282106A (en) Method for detecting obstacle and obstacle detector
KR20210079180A (en) Method and apparatus for recognizinf vehicle license plate
JP2021196632A (en) Prediction device, prediction method, program and vehicle control system
JP4847303B2 (en) Obstacle detection method, obstacle detection program, and obstacle detection apparatus
KR102547101B1 (en) Sign language video segmentation method by gloss for sign language sentence recognition and learning method therefor
CN114067106B (en) Inter-frame contrast-based pantograph deformation detection method and equipment and storage medium
KR102480023B1 (en) Integrated Hybrid Autonomous Charging System and Operating Method using the same
KR20220120420A (en) Edge Device for Automobile-parked License Plate Number Recognition based on using Image Recognition techniques

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant