KR20180078773A - 차선 보정 시스템 및 그 보정 방법 - Google Patents

차선 보정 시스템 및 그 보정 방법 Download PDF

Info

Publication number
KR20180078773A
KR20180078773A KR1020160183883A KR20160183883A KR20180078773A KR 20180078773 A KR20180078773 A KR 20180078773A KR 1020160183883 A KR1020160183883 A KR 1020160183883A KR 20160183883 A KR20160183883 A KR 20160183883A KR 20180078773 A KR20180078773 A KR 20180078773A
Authority
KR
South Korea
Prior art keywords
lane
image
correction system
steering angle
correction
Prior art date
Application number
KR1020160183883A
Other languages
English (en)
Other versions
KR101902291B1 (ko
Inventor
양관석
김형돈
Original Assignee
주식회사 유라코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유라코퍼레이션 filed Critical 주식회사 유라코퍼레이션
Priority to KR1020160183883A priority Critical patent/KR101902291B1/ko
Publication of KR20180078773A publication Critical patent/KR20180078773A/ko
Application granted granted Critical
Publication of KR101902291B1 publication Critical patent/KR101902291B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/36—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차선 보정 시스템 및 그 보정 방법에 관한 것으로, 구체적으로는 촬영 영상에서 검출된 차선의 위치를 차량의 조향각에 따라 보정함으로써, 차선 미인식 및 오인식을 줄일 수 있는 차선 보정 시스템 및 그 보정 방법에 관한 것이다.
또한, 본 발명은 차량에 장착된 카메라로부터 촬영되는 촬영 영상을 획득하는 영상 획득부와, 촬영 영상을 대상으로 차선 검출을 위한 전처리를 수행하는 전처리부와, 전처리한 영상으로부터 직선 성분으로 이루어진 차선을 검출하는 후처리부 및 차선의 위치를 차량의 조향각에 따라 보정하는 차선 보정부를 구비하므로, 차선을 인식하지 못하거나 오인식하는 상황의 발생을 현저하게 줄일 수 있다.

Description

차선 보정 시스템 및 그 보정 방법{Traffic lane correction system and method thereof}
본 발명은 차선 보정 시스템 및 그 보정 방법에 관한 것으로, 구체적으로는 촬영 영상에서 검출된 차선의 위치를 차량의 조향각에 따라 보정함으로써, 차선 미인식 및 오인식을 줄일 수 있는 차선 보정 시스템 및 그 보정 방법에 관한 것이다.
일반적으로, 차량 안전과 운전자의 편의성을 위한 차선이탈 경보 시스템(Lane Departure Warning System, LDWS)에는, 차량 주행 시 카메라에서 촬영되는 촬영 영상을 분석하여 차선을 인식하는 차선 인식 시스템이 활용되고 있다.
즉, 종래의 차선 인식 시스템은 전술한 차선이탈 경보 시스템에서 차량의 주행 방향에 근거하여 정해진 차선을 이탈하는지의 여부를 판정할 수 있도록 차선에 대한 정보를 제공하는 기능을 수행한다 할 수 있다.
한편, 종래의 차선 인식 시스템은 카메라에서 촬영되는 촬영 영상만을 분석하여 차선을 인식하기 때문에, 도로에 표시된 차선이 선명한 경우에는 차선을 비교적 정확하게 인식할 수 있으나, 차선이 흐릿하게 지워지거나 날씨 및 조명의 영향에 의해 차선 미인식률이 증가하는 문제점이 있다.
또한, 종래의 차선 인식 시스템은 차선과 유사한 피사체, 예컨대, 스키드 마크 및 가드레일을 차선으로 오인식하는 문제점도 있었다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 차선을 인식하지 못하거나 오인식하는 상황의 발생을 현저하게 줄일 수 있는 차선 보정 시스템 및 그 보정 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 차량의 조향각에 따라 차선 위치를 보정하는 차선 보정 시스템 및 그 보정 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명은 차량에 장착된 카메라로부터 촬영되는 촬영 영상을 획득하는 영상 획득부; 상기 촬영 영상을 대상으로 차선 검출을 위한 전처리를 수행하는 전처리부; 상기 전처리한 영상으로부터 직선 성분으로 이루어진 차선을 검출하는 후처리부; 및 상기 검출된 차선의 위치를, 차량의 조향각에 따라 보정하는 차선 보정부;를 포함하는 차선 보정 시스템을 제공한다.
바람직한 실시예에 있어서, 상기 전처리부는, 상기 촬영 영상에서 차선이 위치한 소정의 영역을 도로영역으로 설정하는 도로영역 설정수단; 상기 설정된 도로영역으로 이루어진 영상을 그레이스케일 영상으로 변환하는 변환수단; 캐니 필터를 이용하여, 상기 변환된 그레이스케일 영상 내의 외곽선 성분을 추출하는 외곽선 추출수단; 및 상기 외곽선 성분을 추출한 영상을 기설정된 개수로 분할하는 분할수단;을 포함한다.
바람직한 실시예에 있어서, 상기 후처리부는, 허프 변환 알고리즘을 이용하여, 상기 분할된 각각의 분할 영상으로부터 복수의 직선성분을 검출하는 직선성분 검출수단; 및 상기 검출된 직선성분들의 평균값을 차선으로 검출하는 차선 검출수단;을 포함한다.
바람직한 실시예에 있어서, 상기 차선 보정부는, 차량으로부터 실시간으로 변화하는 조향각의 정보를 검출하는 조향각 검출수단; 차량의 조향각에 대응하는 차선의 보정률이 사전에 설정되는 룩업 테이블; 상기 룩업 테이블을 기초로 상기 조향각 검출수단에서 검출된 조향각에 대응하는 보정률을 적용하여, 상기 분할된 영상들의 차선을 보정하는 차선 보정수단; 및 상기 보정된 차선에 대한 정보인 차선정보를 상기 촬영 영상에 오버레이하여 표시하는 차선정보 표시수단;을 포함한다.
바람직한 실시예에 있어서, 상기 차선 보정부는, 칼만 필터(Kalman-Filter)를 이용하여 상기 후처리부로부터 검출된 차선의 위치를 보정한다.
또한, 본 발명은 차선 보정 시스템에서 수행되는 차선 보정 방법으로서, (1) 상기 차선 보정 시스템이, 차량에 장착된 카메라로부터 촬영되는 촬영 영상을 획득하는 단계; (2) 상기 차선 보정 시스템이, 상기 촬영 영상을 대상으로 차선 검출을 위한 전처리를 수행하는 단계; (3) 상기 차선 보정 시스템이, 상기 전처리된 영상으로부터 직선 성분으로 이루어진 차선을 검출하는 단계; 및 (4) 상기 차선 보정 시스템이, 상기 검출된 차선의 위치를 차량의 조향각에 따라 보정하는 단계;를 포함하는 차선 보정 방법을 제공한다.
바람직한 실시예에 있어서, 상기 제 (2)단계는, (2-1) 상기 차선 보정 시스템이, 상기 촬영 영상에서 차선이 위치한 소정의 영역을 도로영역으로 설정하는 단계; (2-2) 상기 차선 보정 시스템이, 상기 설정된 도로영역으로 이루어진 영상을 그레이스케일 영상으로 변환하는 단계; (2-3) 상기 차선 보정 시스템이, 상기 변환된 그레이스케일 영상 내의 외곽선 성분을 추출하는 단계; 및 (2-4) 상기 차선 보정 시스템이, 상기 외곽선 성분을 추출한 영상을 기설정된 개수로 분할하는 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 제 (3)단계는, (3-1) 상기 차선 보정 시스템이, 상기 분할된 각각의 분할 영상으로부터 복수의 직선성분을 검출하는 단계; 및 (3-2) 상기 차선 보정 시스템이, 상기 검출된 직선성분들의 평균값을 차선으로 검출하는 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 제 (4)단계는, (4-1) 상기 차선 보정 시스템이, 차량으로부터 실시간으로 변화하는 조향각의 정보를 검출하는 단계; (4-2) 상기 차선 보정 시스템이, 차량의 조향각에 대응하는 차선의 보정률이 사전에 설정되는 룩업 테이블을 기초로, 상기 검출된 조향각에 대응하는 보정률을 적용하여 상기 분할된 영상들의 차선을 보정하는 단계; 및 (4-3) 상기 차선 보정 시스템이, 상기 보정된 차선에 대한 정보인 차선정보를 상기 촬영 영상에 오버레이하여 표시하는 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 제 (4)단계에서 상기 차선 보정 시스템은, 칼만 필터(Kalman-Filter)를 이용하여 상기 검출된 차선의 위치를 보정한다.
전술한 과제해결 수단에 의해 본 발명은 차량에 장착된 카메라로부터 촬영되는 촬영 영상을 획득하는 영상 획득부와, 촬영 영상을 대상으로 차선 검출을 위한 전처리를 수행하는 전처리부와, 전처리한 영상으로부터 직선 성분으로 이루어진 차선을 검출하는 후처리부 및 차선의 위치를 차량의 조향각에 따라 보정하는 차선 보정부를 구비하므로, 차선을 인식하지 못하거나 오인식하는 상황의 발생을 현저하게 줄일 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 차선 보정 시스템을 설명하기 위한 도면.
도 2는 차선 보정 시스템의 전처리부를 설명하기 위한 도면.
도 3은 차선 보정 시스템의 후처리부를 설명하기 위한 도면.
도 4는 차선 보정 시스템의 차선 보정부를 설명하기 위한 도면.
도 5의 (a) 내지 (f)는 차선 보정 시스템에서 처리되는 차선 보정 과정을 설명하기 위한 도면.
도 6은 본 발명의 일실시예에 따른 차선 보정 방법을 설명하기 위한 도면.
하기의 설명에서 본 발명의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있는데, 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도 1 내지 도 6을 참조하여 상세히 설명하되, 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 설명한다.
도 1은 본 발명의 일실시예에 따른 차선 보정 시스템을 설명하기 위한 도면이고, 도 2는 차선 보정 시스템의 전처리부를 설명하기 위한 도면이며, 도 3은 차선 보정 시스템의 후처리부를 설명하기 위한 도면이며, 도 4는 차선 보정 시스템의 차선 보정부를 설명하기 위한 도면이며, 도 5의 (a) 내지 (f)는 차선 보정 시스템에서 처리되는 차선 보정 과정을 설명하기 위한 도면이다.
도 1 내지 도 5를 참조하면, 본 발명의 일실시예에 따른 차선 보정 시스템은 영상 획득부(110), 전처리부(120), 후처리부(130) 및 차선 보정부(140)를 포함하여 구성된다.
여기서, 본 발명의 일실시예에 따른 차선 보정 시스템은 차량이 주행하는 차선을 방향지시 없이 이탈할 경우 소정의 경고를 통해 운전자에게 알려 사고 등을 예방하는 용도의 차선이탈 경보 시스템(Lane Departure Warning System, LDWS)에 적용될 수 있다.
상기 영상 획득부(110)는 차량에 장착된 카메라로부터 촬영되는 촬영 영상을 실시간으로 획득하는 기능을 수행한다.
여기서, 전술한 카메라는 차선 혹은 도로의 촬영을 목적으로 장착된 것일 수도 있고, 차량의 운행상황을 촬영하여 사고 원인의 규명을 목적으로 사용되는 차량용 블랙박스일 수도 있다.
상기 전처리부(120)는 상기 영상 획득부(110)에서 획득한 촬영 영상을 대상으로 차선 검출을 위한 전처리를 수행함으로써, 보다 신속하고 정확하게 차선의 검출이 이루어지게 하며, 도로영역 설정수단(121), 변환수단(122), 외곽선 추출수단(123) 및 분할수단(124)을 포함하여 구성될 수 있다.
또한, 도 5의 (a)에 도시된 바와 같이, 상기 도로영역 설정수단(121)은 상기 촬영 영상에서 차선이 위치한 소정의 영역을 추출하여 도로영역, 즉, ROI(Region Of Interest)를 설정하는 기능을 수행한다. 이 과정에서, 상기 촬영 영상에서 도로 혹은 차선이 존재하지 않는 영역인 배경영역을 제외됨에 따라, 배경영역에 의한 처리 속도의 지연 및 계산량 증가를 방지할 수 있다.
또한, 상기 도로영역 설정수단(121)은 사전에 설정된 소정의 영역을 도로영역으로 설정하도록 구비되거나, 상기 촬영 영상에서 수평선을 추출하고 그 수평선과 차량 전반 간의 영역을 도로영역으로 설정하도록 구비될 수 있다.
또한, 상기 변환수단(122)은 상기 도로영역 설정수단(121)으로부터 도로영역이 설정된 도로영역 영상을 그레이스케일(Gray Scale) 영상으로 변환하는 기능을 수행한다. 즉, 상기 변환수단(122)에 의해 도로영역 영상은 흑백 이미지로 변환되어, 조명에 의한 노이즈를 감소시킬 수 있다.
한편, 상기 변환수단(122)은 도로영역 영상을 기설정된 크기, 예컨대, 320×240으로 축소시킨 후 그레이스케일 영상으로 변환할 수도 있다.
또한, 도 5의 (b)에 도시된 바와 같이, 상기 외곽선 추출수단(123)은 상기 변환된 그레이스케일 영상으로부터 외곽선 성분, 즉, 엣지(Edge)을 추출하는 기능을 수행한다. 이때, 상기 외곽선 추출수단(123)은 캐니 필터(Canny Filter)를 이용하여, 그레이스케일 영상에 존재하는 외곽선 성분을 추출하도록 구비될 수 있다.
또한, 도 5의 (c)에 도시된 바와 같이, 상기 분할수단(124)은 외곽선 성분을 추출한 영상인 외곽선 영상을 기설정된 개수로 분할하는 기능을 수행한다. 이때, 상기 분할수단(124)은 외곽선 영상을 수평분할하여 상,하로 분리되거나 상,중,하로 분리될 수 있게 한다.
한편, 상기 분할수단(124)에 의해 분할된 영상의 개수가 많을수록 후술할 후처리부(130)의 직선성분 검출수단(131)에서 수행되는 직선성분의 검출률이 증가함과 동시에 연산량이 증가하여 처리 속도가 저하될 수 있다.
따라서, 상기 분할수단(124)은 외곽선 영상을 상,중,하로 분할하여 3개의 분할 영상을 생성하도록 설정됨이 바람직하다.
상기 후처리부(130)는 상기 전처리부(120)로부터 전처리된 영상을 대상으로 직선 성분으로 이루어진 차선을 검출하는 후처리를 수행하며, 직선성분 검출수단(131) 및 차선 검출수단(132)을 포함하여 구성될 수 있다.
특히, 상기 후처리부(130)는 상기 분할수단(124)으로부터 분할된 분할 영상들을 대상으로 차선을 검출하게 된다.
또한, 상기 직선성분 검출수단(131)은 분할된 각각의 분할 영상으로부터 복수의 직선성분을 검출하는 기능을 수행한다.
이때, 도 5의 (d)에 도시된 바와 같이, 상기 직선성분 검출수단(131)은 허프 변환(Hough-Transform) 알고리즘을 이용하여, 분할 영상의 상단으로부터 하단으로 이어지는 복수 개의 직선성분을 검출하도록 구비될 수 있다.
또한, 상기 차선 검출수단(132)은 상기 직선성분 검출수단(131)으로부터 검출된 직선성분들을 이용하여 차선을 검출하는 기능을 수행한다.
예컨대, 도 5의 (e)에 도시된 바와 같이, 상기 차선 검출수단(132)은 상기 직선성분 검출수단(131)으로부터 검출된 직선성분들을 평균값으로 병합하여 차선을 검출할 수 있다. 즉, 상기 차선 검출수단(132)에 의해 분할 영상의 상단으로부터 하단으로 이어지는 하나의 직선이 차선으로 검출할 수 있다.
상기 차선 보정부(140)는 차량의 조향각에 따라 상기 후처리부(130)로부터 검출된 차선의 위치를 보정하는 기능을 수행하며, 조향각 검출수단(141), 룩업 테이블(142), 차선 보정수단(143) 및 차선정보 표시수단(144)을 포함하여 구성된다.
또한, 상기 조향각 검출수단(141)은 차량으로부터 실시간으로 변화하는 조향각의 정보를 검출하는 기능을 수행한다. 예컨대, 상기 조향각 검출수단(141)은 차량에 탑재된 조향각 센서로부터 조향각에 대한 정보를 검출하거나, 차량에 탑재된 ECU로부터 조향각에 대한 정보를 검출하도록 구비될 수 있다.
그리고, 상기 룩업 테이블(142)에는 분할 영상별로 차량의 조향각에 대응하는 차선의 보정률이 사전에 설정된다. 이때, 상기 룩업 테이블(142)에 설정된 차선의 보정률은 칼만 필터에 적용되고 차량의 조향각 변화가 클수록 큰 값을 갖는 파라미터값일 수 있다.
또한, 상기 차선보정 수단(143)은 칼만 필터(Kalman-Filter)를 이용하여 상기 차선 검출수단(132)으로부터 검출된 차선의 위치를 보정하는 기능을 수행한다.
이때, 상기 차선보정 수단(143)은 상기 룩업 테이블(142)을 기초로, 상기 조향각 검출수단(141)에서 검출된 조향각에 대응하는 보정률을 적용하여 차선의 위치를 보정할 수 있다.
따라서, 도 5의 (f)에 도시된 바와 같이, 상기 차선 보정수단(143)은 실제 차선이 존재하는 위치와 일치하도록 각 분할 영상의 차선을 보정할 수 있게 된다.
또한, 상기 차선정보 표시수단(144)은 상기 차선 보정수단(143)으로부터 보정된 차선에 대한 정보인 차선정보를 촬영 영상에 오버레이하여 표시하는 기능을 수행한다.
그리고, 상기 차선정보 표시수단(144)에 의해 차선정보가 표시된 촬영 영상의 차량 내부에 탑재된 네비게이션 장치 또는 디스플레이 장치의 화면에서 표시되거나, 차선이탈 경보 시스템으로 입력되어 차선 이탈을 판정하기 위한 정보로 사용될 수 있다.
따라서, 본 발명의 일실시예에 따른 차선 보정 시스템은 촬영 영상 내에서 차선과 유사한 형태를 갖는 스키드 마크 및 가드레일에 의한 차선 오인식의 발생을 현저하게 줄일 수 있고, 차선이 지워진 도로 구간이 존재하거나 조명 또는 날씨 등의 요인에 의해 촬영 영상의 품질이 저하된 경우에도 차선을 인식하지 못하는 상황의 발생을 현저하게 줄일 수 있다.
도 6은 본 발명의 일실시예에 따른 차선 보정 방법을 설명하기 위한 도면이다.
도 6을 참조하여, 본 발명의 일실시예에 따른 차선 보정 시스템에서 수행되는 차선 보정 방법을 설명한다.
다만, 도 6에 도시된 차선 보정 방법에서 수행되는 기능은 모두 도 1 내지 도 5를 참조하여 설명한 차선 보정 시스템에서 수행되므로, 명시적인 설명이 없어도, 도 1 내지 도 5를 참조하여 설명한 모든 기능은 본 발명의 바람직한 실시예에 따른 차선 보정 방법에서 수행되고, 도 6을 참조하여 설명하는 모든 기능은 본 발명의 바람직한 실시예에 따른 차선 보정 시스템에서 그대로 수행됨을 주의해야 한다.
먼저, 영상 획득부가 차량에 장착된 카메라로부터 촬영되는 촬영 영상을 실시간으로 획득한다(S110).
이때, 전술한 카메라는 차선 혹은 도로의 촬영을 목적으로 장착된 것이거나, 차량의 운행상황을 촬영하여 사고 원인의 규명을 목적으로 사용되는 차량용 블랙박스일 수 있다.
다음, 상기 영상 획득부로부터 획득된 촬영 영상을 대상으로, 전처리부가 차선 검출을 위한 전처리를 수행한다(S120).
이때, 상기 전처리부는, 상기 촬영 영상에서 차선이 위치한 소정의 영역을 도로영역으로 설정하고(S121), 상기 설정된 도로영역으로 이루어진 영상을 기설정된 사이즈로 축소한 후 그레이스케일 영상으로 변환하며(S122), 캐니 필터(Canny Filter)를 이용하여 그레이스케일 영상 내의 외곽선 성분을 추출하고(S123), 외곽선 성분을 추출한 영상인 외곽선 영상을 기설정된 개수로 수평분할하여 복수의 분할 영상을 생성하게 된다(S124).
그 다음, 후처리부가 전처리된 영상으로부터 직선 성분으로 이루어진 차선을 검출한다(S130).
이때, 상기 후처리부는 허프 변환(Hough-Transform) 알고리즘을 이용하여 각각의 분할 영상으로부터 복수의 직선성분을 검출하고(S131), 상기 검출된 직선성분들의 평균값을 차선으로 검출하게 된다(S132).
그 다음에는, 차선 보정부가 상기 후처리부로부터 검출된 차선의 위치를 차량의 조향각에 따라 보정하게 된다(S140).
이때, 상기 차선 보정부는 차량으로부터 실시간으로 변화하는 조향각의 정보를 검출한 다음(S141), 차량의 조향각에 대응하는 차선의 보정률이 사전에 설정된 룩업 테이블을 기초로, 상기 검출된 조향각에 대응하는 보정률을 칼만 필터(Kalman-Filter)에 적용하여 상기 분할된 영상들의 차선을 보정하고(S142), 상기 보정된 차선에 대한 정보인 차선정보를 촬영 영상에 오버레이하여 표시하게 된다(S143).
이로써, 촬영 영상에만 의존하여 발생하는 차선 오인식 및 차선 미인식의 발생을 현저하게 줄일 수 있다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.
110 : 영상 획득부
120 : 전처리부
121 : 도로영역 설정수단 122 : 변환수단
123 : 외곽선 추출수단 124 : 분할수단
130 : 후처리부
131 : 직선성분 검출수단 132 : 차선 검출수단
140 : 차선 보정부
141 : 조향각 검출수단 142 : 룩업 테이블
143 : 차선 보정수단 144 : 차선정보 표시수단

Claims (10)

  1. 차량에 장착된 카메라로부터 촬영되는 촬영 영상을 획득하는 영상 획득부;
    상기 촬영 영상을 대상으로 차선 검출을 위한 전처리를 수행하는 전처리부;
    상기 전처리한 영상으로부터 직선 성분으로 이루어진 차선을 검출하는 후처리부; 및
    상기 검출된 차선의 위치를, 차량의 조향각에 따라 보정하는 차선 보정부;를 포함하는 차선 보정 시스템.
  2. 제 1항에 있어서,
    상기 전처리부는,
    상기 촬영 영상에서 차선이 위치한 소정의 영역을 도로영역으로 설정하는 도로영역 설정수단;
    상기 설정된 도로영역으로 이루어진 영상을 그레이스케일 영상으로 변환하는 변환수단;
    캐니 필터를 이용하여, 상기 변환된 그레이스케일 영상 내의 외곽선 성분을 추출하는 외곽선 추출수단; 및
    상기 외곽선 성분을 추출한 영상을 기설정된 개수로 분할하는 분할수단;을 포함하는 것을 특징으로 하는 차선 보정 시스템.
  3. 제 2항에 있어서,
    상기 후처리부는,
    허프 변환 알고리즘을 이용하여, 상기 분할된 각각의 분할 영상으로부터 복수의 직선성분을 검출하는 직선성분 검출수단; 및
    상기 검출된 직선성분들의 평균값을 차선으로 검출하는 차선 검출수단;을 포함하는 것을 특징으로 하는 차선 보정 시스템.
  4. 제 3항에 있어서,
    상기 차선 보정부는,
    차량으로부터 실시간으로 변화하는 조향각의 정보를 검출하는 조향각 검출수단;
    차량의 조향각에 대응하는 차선의 보정률이 사전에 설정되는 룩업 테이블;
    상기 룩업 테이블을 기초로 상기 조향각 검출수단에서 검출된 조향각에 대응하는 보정률을 적용하여, 상기 분할된 영상들의 차선을 보정하는 차선 보정수단; 및
    상기 보정된 차선에 대한 정보인 차선정보를 상기 촬영 영상에 오버레이하여 표시하는 차선정보 표시수단;을 포함하는 것을 특징으로 하는 차선 보정 시스템.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 차선 보정부는,
    칼만 필터(Kalman-Filter)를 이용하여 상기 후처리부로부터 검출된 차선의 위치를 보정하는 것을 특징으로 하는 차선 보정 시스템.
  6. 차선 보정 시스템에서 수행되는 차선 보정 방법으로서,
    (1) 상기 차선 보정 시스템이, 차량에 장착된 카메라로부터 촬영되는 촬영 영상을 획득하는 단계;
    (2) 상기 차선 보정 시스템이, 상기 촬영 영상을 대상으로 차선 검출을 위한 전처리를 수행하는 단계;
    (3) 상기 차선 보정 시스템이, 상기 전처리된 영상으로부터 직선 성분으로 이루어진 차선을 검출하는 단계; 및
    (4) 상기 차선 보정 시스템이, 상기 검출된 차선의 위치를 차량의 조향각에 따라 보정하는 단계;를 포함하는 차선 보정 방법.
  7. 제 6항에 있어서,
    상기 제 (2)단계는,
    (2-1) 상기 차선 보정 시스템이, 상기 촬영 영상에서 차선이 위치한 소정의 영역을 도로영역으로 설정하는 단계;
    (2-2) 상기 차선 보정 시스템이, 상기 설정된 도로영역으로 이루어진 영상을 그레이스케일 영상으로 변환하는 단계;
    (2-3) 상기 차선 보정 시스템이, 상기 변환된 그레이스케일 영상 내의 외곽선 성분을 추출하는 단계; 및
    (2-4) 상기 차선 보정 시스템이, 상기 외곽선 성분을 추출한 영상을 기설정된 개수로 분할하는 단계;를 포함하는 것을 특징으로 하는 차선 보정 방법.
  8. 제 7항에 있어서,
    상기 제 (3)단계는,
    (3-1) 상기 차선 보정 시스템이, 상기 분할된 각각의 분할 영상으로부터 복수의 직선성분을 검출하는 단계; 및
    (3-2) 상기 차선 보정 시스템이, 상기 검출된 직선성분들의 평균값을 차선으로 검출하는 단계;를 포함하는 것을 특징으로 하는 차선 보정 방법.
  9. 제 8항에 있어서,
    상기 제 (4)단계는,
    (4-1) 상기 차선 보정 시스템이, 차량으로부터 실시간으로 변화하는 조향각의 정보를 검출하는 단계;
    (4-2) 상기 차선 보정 시스템이, 차량의 조향각에 대응하는 차선의 보정률이 사전에 설정되는 룩업 테이블을 기초로, 상기 검출된 조향각에 대응하는 보정률을 적용하여 상기 분할된 영상들의 차선을 보정하는 단계; 및
    (4-3) 상기 차선 보정 시스템이, 상기 보정된 차선에 대한 정보인 차선정보를 상기 촬영 영상에 오버레이하여 표시하는 단계;를 포함하는 것을 특징으로 하는 차선 보정 방법.
  10. 제 6항 내지 제 9항 중 어느 한 항에 있어서,
    상기 제 (4)단계에서 상기 차선 보정 시스템은,
    칼만 필터(Kalman-Filter)를 이용하여 상기 검출된 차선의 위치를 보정하는 것을 특징으로 하는 차선 보정 방법.
KR1020160183883A 2016-12-30 2016-12-30 차선 보정 시스템 및 그 보정 방법 KR101902291B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160183883A KR101902291B1 (ko) 2016-12-30 2016-12-30 차선 보정 시스템 및 그 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160183883A KR101902291B1 (ko) 2016-12-30 2016-12-30 차선 보정 시스템 및 그 보정 방법

Publications (2)

Publication Number Publication Date
KR20180078773A true KR20180078773A (ko) 2018-07-10
KR101902291B1 KR101902291B1 (ko) 2018-09-28

Family

ID=62915700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160183883A KR101902291B1 (ko) 2016-12-30 2016-12-30 차선 보정 시스템 및 그 보정 방법

Country Status (1)

Country Link
KR (1) KR101902291B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128317A (zh) * 2020-01-15 2021-07-16 宏碁股份有限公司 车道定位系统以及车道定位方法
KR20220056264A (ko) * 2020-10-27 2022-05-06 한국자동차연구원 차선 표시 시스템 및 방법
KR20230079285A (ko) * 2021-11-26 2023-06-07 이인텔리전스 주식회사 자율주행 차량의 제어 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102060917B1 (ko) * 2019-04-15 2020-02-20 유혜승 커팅 머신 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050043006A (ko) * 2003-11-04 2005-05-11 현대자동차주식회사 차선 검출 방법
KR20140080105A (ko) * 2012-12-20 2014-06-30 울산대학교 산학협력단 영상 정보를 이용한 차선 경계 검출 방법
KR20140132210A (ko) * 2013-05-07 2014-11-17 숭실대학교산학협력단 차선 인식 방법 및 그 시스템
KR101490905B1 (ko) * 2012-12-07 2015-02-06 현대자동차 주식회사 차량의 자율 주행 시스템 및 그 방법
JP2015179368A (ja) * 2014-03-19 2015-10-08 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
KR101658089B1 (ko) * 2011-08-04 2016-09-30 엘지전자 주식회사 차선 유지 제어를 위한 차선 중심 추정 방법 및 그 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050043006A (ko) * 2003-11-04 2005-05-11 현대자동차주식회사 차선 검출 방법
KR101658089B1 (ko) * 2011-08-04 2016-09-30 엘지전자 주식회사 차선 유지 제어를 위한 차선 중심 추정 방법 및 그 장치
KR101490905B1 (ko) * 2012-12-07 2015-02-06 현대자동차 주식회사 차량의 자율 주행 시스템 및 그 방법
KR20140080105A (ko) * 2012-12-20 2014-06-30 울산대학교 산학협력단 영상 정보를 이용한 차선 경계 검출 방법
KR20140132210A (ko) * 2013-05-07 2014-11-17 숭실대학교산학협력단 차선 인식 방법 및 그 시스템
JP2015179368A (ja) * 2014-03-19 2015-10-08 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128317A (zh) * 2020-01-15 2021-07-16 宏碁股份有限公司 车道定位系统以及车道定位方法
CN113128317B (zh) * 2020-01-15 2024-03-26 宏碁股份有限公司 车道定位系统以及车道定位方法
KR20220056264A (ko) * 2020-10-27 2022-05-06 한국자동차연구원 차선 표시 시스템 및 방법
KR20230079285A (ko) * 2021-11-26 2023-06-07 이인텔리전스 주식회사 자율주행 차량의 제어 방법 및 장치

Also Published As

Publication number Publication date
KR101902291B1 (ko) 2018-09-28

Similar Documents

Publication Publication Date Title
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
CN107719233B (zh) 车道偏离警告系统和与其相关联的方法
KR101902291B1 (ko) 차선 보정 시스템 및 그 보정 방법
KR102227843B1 (ko) 차선 이탈 경보 시스템의 동작방법
US10891738B2 (en) Boundary line recognition apparatus and branch road determination apparatus
US9697421B2 (en) Stereoscopic camera apparatus
US10033981B2 (en) Image processing apparatus
US20140063251A1 (en) Lane correction system, lane correction apparatus and method of correcting lane
JP5874770B2 (ja) 区画線検出システム
KR101727487B1 (ko) 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법
KR101584907B1 (ko) 관심 영역을 이용한 차선 인식 방법 및 그 장치
KR20130053980A (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
US20200320314A1 (en) Road object recognition method and device using stereo camera
US9569676B2 (en) Computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs
US20180060679A1 (en) Vanishing point correction apparatus and method
KR101583797B1 (ko) 탑뷰 이미지 변환을 적용한 차선 인식 장치 및 방법
KR20140022197A (ko) 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템
JP2016130979A (ja) 検知装置、検知処理プログラム及び検知システム
KR101620425B1 (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
KR20160126254A (ko) 도로 영역 검출 시스템
JP2011103058A (ja) 誤認識防止装置
WO2014050285A1 (ja) ステレオカメラ装置
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
Gu et al. Robust road lane detection using extremal-region enhancement
CN114332453A (zh) 一种适用于自动紧急制动系统的前方车辆检测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant