KR20140022197A - 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템 - Google Patents

차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템 Download PDF

Info

Publication number
KR20140022197A
KR20140022197A KR1020120088448A KR20120088448A KR20140022197A KR 20140022197 A KR20140022197 A KR 20140022197A KR 1020120088448 A KR1020120088448 A KR 1020120088448A KR 20120088448 A KR20120088448 A KR 20120088448A KR 20140022197 A KR20140022197 A KR 20140022197A
Authority
KR
South Korea
Prior art keywords
lane
image
color
edge
edge image
Prior art date
Application number
KR1020120088448A
Other languages
English (en)
Inventor
박종민
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020120088448A priority Critical patent/KR20140022197A/ko
Publication of KR20140022197A publication Critical patent/KR20140022197A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 도로상의 오염물에 의해 잘 보이지 않거나 차도 주변 물체의 그림자에 의해 가려져 잘 보이지 않는 차선을 제대로 인식할 수 있는 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템에 관한 것으로, 차선 인식 방법은, 흰색 차선, 노란색 차선 및 파란색 차선 중 적어도 두 개의 차선을 포함하는 컬러 영상에서 차선을 인식하는 차선 인식 방법에 있어서, 컬러 영상에서 제1 색상 강조 영상을 생성하는 단계, 제1 색상 강조 영상에서 제1 색상 에지 영상을 생성하는 단계, 컬러 영상에서 제2 색상 강조 영상을 생성하는 단계, 제2 색상 강조 영상에서 제2 색상 에지 영상을 생성하는 단계, 제1 색상 에지 영상과 제2 색상 에지 영상을 하나의 정합 에지 영상으로 정합하는 단계, 및 정합 에지 영상에서 차선 후보 선택하고 차선을 검출하는 단계를 포함한다.

Description

차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템{LANE DETECTION METHOD AND LANE DEPARTURE WARNING SYSTEM USING SAME}
본 발명은 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템에 관한 것으로, 보다 상세하게는, 도로상의 오염물에 의해 잘 보이지 않거나 차도 주변 물체의 그림자에 의해 가려져 잘 보이지 않는 차선을 제대로 인식할 수 있는 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템에 관한 것이다.
차선 인식(Lane Detection)은 도로상의 흰색 차선이나 황색 차선을 인식하는 것으로, 이를 기반으로 한 응용에는 차선 이탈 경보 시스템이나 차선 유지 보조 시스템 등이 있다. 차선 이탈 경보 시스템 또는 차선 유지 보조 시스템은 차선 이탈이 예상될 때 이를 운전자에게 경고하여 안전 운행을 보조하는 시스템으로 운전자 없이 자동차가 차선을 인식하고 스스로 차를 운행하는 무인 자동차 등에도 이용될 수 있다.
종래의 차선 인식 방법의 일례가 대한민국 공개특허공보 제10-2012-0000573호(2012.01.02)에 개시되어 있다. 이 공보에서의 차선 인식 방법은 차도의 디지털화된 컬러 이미지를 수집하고, 수집된 컬러 이미지에 자동 백색 보정을 실행하고, 컬러 이미지의 각 색상 요소를 평가하고, 평가된 색상 요소를 사용하여 차도 위 표시선(차선 등)의 색상을 측정 및 출력하고, 차도의 회색 값보다 낮은 회색 값을 갖는 표시선을 측정하고, 측정한 표시선의 회색 값을 차도의 회색 값보다 높은 값으로 설정하고, 표시선의 회색 값이 차도의 회색 값보다 높게 설정된 이미지를 출력함으로써, 백색 차선과 황색 차선이 담긴 컬러 이미지에서 효율적으로 차선 인식 연산을 할 수 있음을 개시한다.
이와 같이 종래의 대부분의 차선 인식 방법은 컬러 영상을 회색조(Grayscale) 영상으로 변환하거나 상대적으로 조도가 낮은 컬러 차선을 인식하기 위해 컬러 영상의 변환 시 황색 차선에 백색 차선보다 높은 가중치를 주어 회색조 영상으로 변환한 후 변환된 영상에서 차선 후보를 추출하도록 이루어진다.
그러나, 전술한 종래의 차선 인식 방법은 차선이 닳거나 먼지 등의 오염 물질에 의해 차선이 오염되거나 또는 도로 주변의 시설이나 물체의 그림자에 가려져 잘 보이지 않는 경우 등의 상황에서 도로를 촬영한 컬러 영상의 차선과 도로 면의 밝기 차이가 크지 않아 황색 차선의 에지 추출에 실패하거나 인식된 에지의 길이가 짧아 인식 거리가 줄어드는 단점이 있다.
더욱이, 백색 차선 외에 서로 다른 밝기를 가지는 2개 이상의 컬러 차선(황색 차선, 청색 차선 등)을 포함한 도로 컬러 영상에서 종래의 차선 인식 방법을 이용하여 제대로 차선들을 인식하는 것은 실질적으로 불가능하다.
대한민국 공개특허공보 제10-2012-000573호(2012.01.02)
본 발명은 종래 기술의 한계를 극복하기 위해 도출된 것으로, 본 발명의 목적은 도로상의 오염물에 의해 잘 보이지 않거나 도로 주변 물체의 그림자로 가려져 잘 보이지 않는 차선을 제대로 인식할 수 있는 차선 인식 방법을 제공하는 것이다.
본 발명의 다른 목적은 복수 색상의 차선(백색, 황색 및 청색 차선 등) 중 적어도 두 개의 컬러 차선을 포함하고 적어도 하나의 차선이 흐릿하게 담긴 컬러 영상에서 차선 에지를 제대로 검출할 수 있는 차선 인식 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기한 차선 인식 방법을 이용하여 차선 이탈 여부를 정확하게 판단함으로써 시스템의 안정성과 신뢰성을 향상시킬 수 있는 차선 이탈 경보 시스템을 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따른 차선 인식 방법은, 흰색 차선, 노란색 차선 및 파란색 차선 중 적어도 두 개의 차선을 포함하는 컬러 영상에서 차선을 인식하는 차선 인식 방법에 있어서, 컬러 영상에서 제1 색상 강조 영상을 생성하는 단계; 제1 색상 강조 영상에서 제1 색상 에지 영상을 생성하는 단계; 컬러 영상에서 제2 색상 강조 영상을 생성하는 단계; 제2 색상 강조 영상에서 제2 색상 에지 영상을 생성하는 단계; 제1 색상 에지 영상과 제2 색상 에지 영상을 하나의 정합 에지 영상으로 정합하는 단계; 및 정합 에지 영상에서 차선 후보 선택하고 차선을 검출하는 단계를 포함한다.
일 실시 예에서, 제1 색상 에지 영상을 생성하는 단계에서 제1 색상을 강조하기 위해 적용되는 제1 가중치는 제2 색상 에지 영상을 생성하는 단계에서 제1 색상을 강조하기 위해 적용되는 제1 가중치보다 크거나 작다. 즉, 제1 가중치와 제2 가중치는 서로 다르다.
본 발명의 다른 일 측면에 따른 차선 인식 방법은, 흰색 차선, 노란색 차선 및 파란색 차선 중 적어도 두 개의 차선을 포함하는 컬러 영상에서 차선을 인식하는 차선 인식 방법에 있어서, 컬러 영상에서 제1 색상 및 제2 색상을 강조한 강조 영상을 생성하는 단계; 강조 영상에서 제1 색상 에지 영상을 생성하는 단계; 강조 영상에서 제2 색상 에지 영상을 생성하는 단계; 제1 색상 에지 영상과 제2 색상 에지 영상을 하나의 정합 에지 영상으로 정합하는 단계; 및 정합 에지 영상에서 차선 후보를 선택하고 차선을 검출하는 단계를 포함한다.
본 발명의 또 다른 일 측면에 따른 차선 이탈 경보 시스템은, 주행 중에 차량 전방을 촬영하여 컬러 영상을 생성하는 카메라로부터의 컬러 영상에서 차선을 인식하는 차선 인식부; 및 차선 인식부로부터의 차선 정보에 기초하여 차량의 차선 이탈을 경고하거나 차선 유지를 보조하는 차선유지 제어부를 포함한다.
일 실시 예에서, 차선 인식부는 제1항 내지 제3항 중 어느 한 항의 차선 인식 방법에 따라 동작한다.
본 발명에 의하면, 도로상의 오염물에 의해 잘 보이지 않거나 도로 주변 물체의 그림자에 의해 가려져 잘 보이지 않는 차선을 제대로 인식할 수 있는 차선 인식 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 복수 색상의 차선(백색, 황색 및 청색 차선 등) 중 적어도 두 개의 컬러 차선을 포함하고 적어도 하나의 차선이 흐릿하게 담긴 컬러 영상에서 차선 에지를 제대로 검출할 수 있는 차선 인식 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 상기한 차선 인식 방법을 이용하여 차선 이탈 유무를 정확하게 판단함으로써 시스템의 안정성과 신뢰성을 향상시킬 수 있는 차선 이탈 경보 시스템을 제공할 수 있다. 이러한 차선 이탈 경보 시스템은 무인 자동차 등의 응용에 활용 가능하다.
도 1은 본 발명의 일 실시 예에 따른 차선 인식 방법의 개략적인 순서도이다.
도 2 내지 도 5는 도 1의 차선 인식 방법의 작동 원리를 설명하기 위한 사진들로서, 도 2는 중앙 가이드 레일과 황색 차선이 담긴 도로의 원본 영상, 도 3은 비교 예의 회색조 영상에서 에지 추출 결과, 도 4는 또 다른 비교 예의 적색(R) 및 청색(B) 강조 영상에서 에지를 추출한 결과, 그리고 도 5는 본 실시 예에 따른 방법에 의한 차선 에지 추출 결과를 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 차선 이탈 경보 시스템의 개략적인 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 차선 인식 방법의 개략적인 순서도이다.
일반적으로, 노란색과 파란색 차선이 담긴 컬러 영상으로부터 차선을 인식하는 차선 인식 방법에 있어서, 노란색과 파란색을 동시에 강조하면 파란색 성분을 가진 도로 면의 색도 같이 밝아지기 때문에 차선과 도로 면의 색상 대비가 기대하는 만큼 커지지 않아 원하지 않는 상황에서 차선 에지 추출에 의해 인식된 에지의 길이가 짧아 인식 거리가 줄어들게 된다. 마찬가지로 노란색 성분을 강조하면 차선의 파란색 성분이 줄어들기 때문에 흐린 파란색 차선의 에지를 검출하지 못하는 문제가 발생한다.
본 발명에서는 도 1에 나타낸 바와 같이 노란색 강조 영상과 파란색 강조 영상을 별도로 만들어 에지를 추출하여 에지 영상을 생성하고, 두 개의 에지 영상을 정합해 하나의 에지 영상으로 만들고, 이를 이용하여 흰색 차선, 노란색 차선 및 파란색 차선을 함께 제대로 인식한다.
본 실시 예에 따른 차선 인식 방법을 좀더 구체적으로 설명하면, 우선 차량에 탑재된 차선 인식 시스템에서 카메라 등의 촬영 수단을 통해 흰색 차선, 노란색 차선 및 파란색 차선을 포함한 도로의 RGB 컬러 영상을 획득한다(S10).
다음, RGB 컬러 영상에서 노란색(Y)은 빨간색(R)과 녹색(G)으로 이루어져 있기 때문에 빨간색(R)과 녹색(G)의 평균으로 노란색 강조 영상(IY)을 만든다(S11). 이를 수식으로 나타내면 다음의 수학식 1과 같다.
Figure pat00001
다음, 노란색 강조 영상에서 이전 RGB 컬러 영상에서 추정한 차선의 방향을 갖는 에지를 추출한다(S12). 노란색 강조 영상에서의 차선 에지 추출 시 본 실시 예에 따른 차선 인식 방법에서는 흰색 차선에 비해 밝기가 낮은 노란색 차선을 강조하기 위해 미리 설정된 가중치(GY)를 곱하여 최종적으로 차선 에지를 추출한다. 추출된 제1 색상 에지 영상 또는 노란색 에지 영상을 수식으로 나타내면 다음의 수학식 2와 같다.
Figure pat00002
한편, RGB 컬러 영상에서 파란색(B)은 보통 RGB 컬러 영상에서의 파란색 성분에 해당하지만 색이 바랜 경우 등의 상황에서 녹색(G) 성분이 포함될 수 있다. 따라서, 본 실시 예의 차량 인식 방법에서는 파란색(B)과 녹색(G)의 평균으로 파란색(B)에 대한 강조 영상(IB)을 만든다(S13). 이를 수식으로 나타내면 다음의 수학식 3과 같다.
Figure pat00003
다음, 파란색 강조 영상에서 이전 RGB 컬러 영상에서 추정한 차선의 방향을 갖는 에지를 추출한다(S14). 파란색 강조 영상에서의 차선 에지 추출 시 본 실시 예에 따른 차선 인식 방법에서는 흰색 차선에 비해 밝기가 낮은 파란색 차선을 강조하기 위해 미리 설정된 가중치(GB)를 곱하여 최종적으로 차선 에지를 추출한다. 추출된 제2 색상 에지 영상 또는 파란색 에지 영상을 수식으로 나타내면 다음의 수학식 4와 같다.
Figure pat00004
파란색 에지 영상에 적용된 가중치(GB)와 노란색 에지 영상에 적용된 가중치(GY)는 도로상에서의 흰색의 밝기를 기준으로 파란색과 노란색의 밝기 차이에 기초하여 서로 다르게 설정될 수 있다.
다음, 제1 색상 에지 영상과 제2 색상 에지 영상을 하나의 정합 에지 영상으로 정합한다(S15). 정합 에지 영상은 정합하고자 하는 두 영상에서 픽셀 밝기가 큰 값을 취하도록 두 영상의 히스토그램을 일치시키는 방식으로 수행될 수 있다. 에지 정합을 수식으로 나타내면 다음의 수학식 5와 같다.
Figure pat00005
제1 색상 에지 영상과 제2 색상 에지 영상을 정합하는 방법은 다음 중 어느 하나의 방법 또는 이들의 조합을 이용할 수 있다.
첫 번째로는, 각각의 픽셀(Pixel)마다 에지의 밝기(Magnitude)를 비교하여 밝기가 큰 에지를 선택하는 방법을 이용할 수 있다.
두 번째로는, 컬러 영상의 모든 픽셀들에 대해 HSV(Hue, Satruation, Value), HSB(Hue, Satruation, Brightness), HLS(Hue, Lightness, Saturation) 등의 컬러 모델(Color Model)을 이용한 색공간(Color Space) 분석을 통해 노란색 픽셀이면 노란색 강조 영상에서 추출한 에지 픽셀을, 파란색 픽셀이면 파란색 강조 영상에서 추출한 에지 픽셀을 사용하여 정합하는 방법을 이용할 수 있다.
한편, 흰색 차선은 R, G, B 성분을 모두 가지고 있기 때문에 전술한 제1 및 제2 색상 에지 영상에서 모두 강한 에지로 추출된다. 즉, 흰색 차선은 노란색 강조 영상에서 노란색 차선의 에지와 함께 추출되고 파란색 강조 영상에서 파란색 차선의 에지와 함께 추출될 수 있다. 따라서, 본 실시 예에 의하면 악의 상황에서도 강인한 차선 에지를 추출할 수 있게 된다. 여기서, 악의 상황은 차선이 닳거나 차선이 오염되거나 차선에 주변 물체의 그림자가 덮인 경우를 포함한다.
전술한 에지 정합 과정을 거치면 노란색 차선과 파란색 차선에 대해 강조된 정합 에지 영상을 얻을 수 있다.
다음, 정합 에지 영상에서 차선 후보 선택 및 최종 차선을 검출(Fitting)한다(S16). 즉, 본 단계(S16)에서는, 우선 정합된 에지 영상에서 에지의 밝기가 국소 최대값(Local Maximum)인 경우들을 찾아 차선 후보를 선택한다. 그리고, 음의 극소 최대값(Negative Local Maximum)과 양의 국소 최대값(Positive Local Maximum) 사이의 폭을 실제 차선의 폭과 비교하여 음과 양의 국소 최대값들 사이의 폭이 실제 차선의 폭과 실질적으로 동일한 경우 차선 후보를 최종 차선으로 인식한다.
도 2 내지 도 4는 도 1의 차선 인식 방법의 작동 원리를 설명하기 위한 사진들로서, 도 2는 중앙 가이드 레일과 황색 차선이 담긴 도로의 원본 영상, 도 3은 비교 예의 회색조 영상에서 에지 추출 결과, 도 4는 또 다른 비교 예의 적색(R) 및 청색(B) 강조 영상에서 에지를 추출한 결과, 그리고 도 5는 본 실시 예에 따른 방법에 의한 차선 에지 추출 결과를 나타낸다.
도 2에 도시한 바와 같이, 도로의 원본 컬러 영상에서는 중앙 가이드 레일(21)과, 중앙 가이드 레일(21)의 그림자(22)에 덮인 황색 차선(30)이 포함되어 있다.
비교 예에 따른 종래 기술에서는 도 3에 도시한 바와 같이 원본 컬러 영상에 대한 회색조 영상에서 에지를 추출하여 황색 차선(30)을 인식하게 되는데, 황색 차선(30)이 중앙 가이드 레일(21)의 그림자에 가려져 있으므로 흐린 황색 차선의 에지 추출에 실패하여 점선(31)으로 표시된 것과 같이 황색 차선(30)을 잘못 추정하게 된다.
또한, 또 다른 비교 예에 따른 종래 기술에서는 도 4에 도시한 바와 같이 원본 컬러 영상에 대한 적색 및 청색 동시 강조 영상에서 에지를 추출하여 황색 차선(30)을 인식할 수 있는데, 그 경우 황색 차선(30)이 중앙 가이드 레일(21)의 그림자에 가려져 있어 차선과 도로 면의 밝기 차이가 크지 않아 황색 차선의 에지 추출에 실패하거나 인식된 에지의 길이가 짧아 선분(32)으로 표시된 것과 같이 인식 거리가 줄어들게 된다.
한편, 본 실시 예에 따른 차선 인식 방법에서는 도 5에 도시한 바와 같이 컬러 차선의 색상에 따라 해당 컬러에 대한 컬러 강조 영상(제1 강조 영상에 대응)과 흰색 차선에 대한 기본 강조 영상(제2 강조 영상에 대응)을 준비하고 도 1에 도시한 차선 인식 방법에 준하여 차선 에지를 추출함으로써 차선 에지를 더 멀리 추출할 수 있고 그에 의해 라인(33)으로 표시된 것과 같이 황색 차선(30)을 실질적으로 제대로 인식할 수 있다.
본 실시 예에 의하면, 기존의 차선 이탈 경보 시스템(LDWS)이나 차선 유지 보조 시스템(LKAS)의 취약한 부분인 가드레일 그림자 속 황색 차선에 대한 인식 정확도를 높일 수 있으며 그 외의 악의 상황에서도 차선 인식률을 높일 수 있다.
도 6은 본 발명의 일 실시 예에 따른 차선 이탈 경보 시스템의 개략적인 블록도이다.
도 6을 참조하면, 본 실시 예에 따른 차선 이탈 경보 시스템(LDWS: Lane Depature Warning System, 100)은 주행 중인 차량에 탑재되어 차량의 차선 이탈이 예상될 때 이를 운전자에게 경고하여 안전 운행을 보조하는 시스템으로, 카메라(102) 등의 도로 영상 획득 수단을 통해 획득한 컬러 영상에서 차선을 인식하고 인식한 차선에 기초하여 차량의 차선 이탈 또는 차선 유지를 판단한 후, 차선 이탈 예상 시 운전자에게 경고하거나 차량의 조향 제어 장치(120)와 연동하여 차량의 차선 이탈을 방지하도록 동작한다.
이를 위해, LDWS(100)는 차선 인식부(10)와 차선유지 제어부(110)를 구비한다. LSWS(100)는 차량에 탑재되는 적어도 하나의 전자제어 모듈로 구현될 수 있고, CAN 통신을 통해 카메라(102) 또는 카메라 모듈과 조향 제어 장치(120)와 연결될 수 있다.
차선 인식부(10)는 도 1 내지 도 5를 참조하여 앞서 설명한 본 실시 예의 차선 인식 방법을 구현하는 차선 인식 시스템에 대응한다.
예를 들면, 차선 인식부(10)는 차선 오염이나 그림자 등에 의한 차선 흐려짐 등의 악의 상황 하에서도 차선 에지를 효과적으로 검출하기 위하여 제1 생상 강조 영상 생성부, 제1 색상 에지 영상 생성부, 제2 생상 강조 영상 생성부, 제2 색상 에지 영상 생성부, 정합 에지 영상 생성부, 차선 후보 선택부 및 차선 추출부를 구비한다.
제1 생상 강조 영상 생성부, 제1 색상 에지 영상 생성부, 제2 생상 강조 영상 생성부, 제2 색상 에지 영상 생성부 및 정합 에지 영상 생성부는 도 1의 차선 인식 방법의 일부 단계(S11 내지 S15)에서의 동작을 기재된 순서대로 각각 수행하는 수단 또는 이러한 수단에 상응하는 기능을 수행하는 구성부에 대응할 수 있다. 그리고, 차선 후보 선택부 및 차선 추출부는 도 1의 차선 인식 방법의 나머지 단계(S16)에서의 동작을 수행하는 수단 또는 이러한 수단에 상응하는 기능을 수행하는 구성부에 대응할 수 있다.
차선유지 제어부(110)는 차선 인식부(10)로부터 정확한 차선 정보를 획득하고 이를 근거로 차선유지 제어를 수행한다. 차선유지 제어부(110)는 차량의 차선 이탈 예상 시 조향 제어 장치(120)와 연동하여 차량의 조향 장치를 제어하도록 구현될 수 있다.
전술한 LDWS(100)에 의하면, 도 1 또는 도 5를 참조하여 앞서 설명한 차선 인식 방법을 구현하는 차선 인식부(10)를 구비함으로써 도로상의 오염물에 의해 잘 보이지 않거나 도로 주변 물체의 그림자로 가려져 잘 보이지 않는 차선을 제대로 인식할 수 있다. 특히, 백색, 황색 및 청색 차선 중 적어도 두 개의 컬러 차선을 포함하고 적어도 하나의 차선이 흐릿하게 담긴 컬러 영상에 대하여, 강인한 차선 에지 검출 기능을 제공할 수 있고, 그에 의해 악의 상황 하에서도 차선 이탈을 정확하게 인식하고 차선 이탈 경보 출력, 조향 제어 장치와의 연동 등의 미리 설정된 시나리오를 수행함으로써 차량 주행 보조 시스템의 신뢰성을 향상시킬 수 있다. 이러한 LDWS(100)는 운전자 없이 자동차가 차선을 인식하고 스스로 차를 운행하는 무인 자동차 등에 효과적으로 이용될 수 있다.
한편, 전술한 실시 예에서는 제1 색상과 제2 색상에 대한 강조 영상을 따로 만들고, 각각의 강조 영상에서 에지를 추출한 후 각 색상의 에지 영상을 정합한 후, 정합 에지 영상에 기초하여 차선을 인식하도록 구현하였지만, 본 발명은 그러한 구성으로 한정되지 않고, 전술한 실시 예의 하나의 변형 예로써 제1 색상과 제2 색상 중 적어도 어느 하나를 강조한 강조 영상에서 각 색상에 대한 에지를 따로 추출한 후 하나의 에지 영상으로 정합하고, 이 정합 에지 영상에 기초하여 차선을 인식하도록 구현될 수 있다.
예를 들면, 컬러 영상에서 제1 색상 및 제2 색상을 강조한 강조 영상을 먼저 생성한 후, 강조 영상에서 제1 색상 에지 영상을 생성하고, 강조 영상에서 제2 색상 에지 영상을 생성하고, 이들 제1 색상 에지 영상과 제2 색상 에지 영상을 하나의 정합 에지 영상으로 정합하고, 정합 에지 영상에서 차선 후보를 선택하여 차선을 검출하도록 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 차선 인식부
21: 중앙 가이드 레일
22: 그림자
30: 황색 차선
100: 차선 이탈 경보 시스템
102: 카메라
110: 차선유지 제어부
120: 조향 제어 장치

Claims (5)

  1. 흰색 차선, 노란색 차선 및 파란색 차선 중 적어도 두 개의 차선을 포함하는 컬러 영상에서 차선을 인식하는 차선 인식 방법에 있어서,
    컬러 영상에서 제1 색상 강조 영상을 생성하는 단계;
    상기 제1 색상 강조 영상에서 제1 색상 에지 영상을 생성하는 단계;
    상기 컬러 영상에서 제2 색상 강조 영상을 생성하는 단계;
    상기 제2 색상 강조 영상에서 제2 색상 에지 영상을 생성하는 단계;
    상기 제1 색상 에지 영상과 제2 색상 에지 영상을 하나의 정합 에지 영상으로 정합하는 단계; 및
    상기 정합 에지 영상에서 차선 후보 선택하고 차선을 검출하는 단계
    를 포함하는 차선 인식 방법.
  2. 제1항에 있어서,
    상기 제1 색상 에지 영상을 생성하는 단계에서 제1 색상을 강조하기 위해 적용되는 제1 가중치는 상기 제2 색상 에지 영상을 생성하는 단계에서 제1 색상을 강조하기 위해 적용되는 제1 가중치보다 크거나 작은 차선 인식 방법.
  3. 흰색 차선, 노란색 차선 및 파란색 차선 중 적어도 두 개의 차선을 포함하는 컬러 영상에서 차선을 인식하는 차선 인식 방법에 있어서,
    컬러 영상에서 제1 색상 및 제2 색상을 강조한 강조 영상을 생성하는 단계;
    상기 강조 영상에서 제1 색상 에지 영상을 생성하는 단계;
    상기 강조 영상에서 제2 색상 에지 영상을 생성하는 단계;
    상기 제1 색상 에지 영상과 제2 색상 에지 영상을 하나의 정합 에지 영상으로 정합하는 단계; 및
    상기 정합 에지 영상에서 차선 후보를 선택하고 차선을 검출하는 단계
    를 포함하는 차선 인식 방법.
  4. 주행 중에 차량 전방을 촬영하여 컬러 영상을 생성하는 카메라로부터의 컬러 영상에서 차선을 인식하는 차선 인식부; 및
    상기 차선 인식부로부터의 차선 정보에 기초하여 차량의 차선 이탈을 경고하거나 차선 유지를 보조하는 차선유지 제어부
    를 포함하는 차선 이탈 경보 시스템.
  5. 제4항에 있어서,
    상기 차선 인식부는 제1항 내지 제3항 중 어느 한 항의 차선 인식 방법에 따라 동작하는 차선 이탈 경보 시스템.
KR1020120088448A 2012-08-13 2012-08-13 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템 KR20140022197A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120088448A KR20140022197A (ko) 2012-08-13 2012-08-13 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120088448A KR20140022197A (ko) 2012-08-13 2012-08-13 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템

Publications (1)

Publication Number Publication Date
KR20140022197A true KR20140022197A (ko) 2014-02-24

Family

ID=50268243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120088448A KR20140022197A (ko) 2012-08-13 2012-08-13 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템

Country Status (1)

Country Link
KR (1) KR20140022197A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839275A (zh) * 2014-03-27 2014-06-04 中国科学院遥感与数字地球研究所 高光谱图像的道路提取方法及装置
CN104442815A (zh) * 2014-11-11 2015-03-25 广东好帮手电子科技股份有限公司 汽车偏移预警系统及方法
KR20150112195A (ko) * 2014-03-27 2015-10-07 주식회사 만도 차선 인식 장치 및 그 방법
KR20160089578A (ko) * 2015-01-19 2016-07-28 만도헬라일렉트로닉스(주) 차선 인식 장치 및 차선 인식 방법
CN107901907A (zh) * 2017-09-30 2018-04-13 惠州市德赛西威汽车电子股份有限公司 一种基于色块统计的车道线检测方法
CN112926365A (zh) * 2019-12-06 2021-06-08 广州汽车集团股份有限公司 一种车道线检测方法及其系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839275A (zh) * 2014-03-27 2014-06-04 中国科学院遥感与数字地球研究所 高光谱图像的道路提取方法及装置
KR20150112195A (ko) * 2014-03-27 2015-10-07 주식회사 만도 차선 인식 장치 및 그 방법
CN104442815A (zh) * 2014-11-11 2015-03-25 广东好帮手电子科技股份有限公司 汽车偏移预警系统及方法
KR20160089578A (ko) * 2015-01-19 2016-07-28 만도헬라일렉트로닉스(주) 차선 인식 장치 및 차선 인식 방법
CN107901907A (zh) * 2017-09-30 2018-04-13 惠州市德赛西威汽车电子股份有限公司 一种基于色块统计的车道线检测方法
CN107901907B (zh) * 2017-09-30 2019-12-20 惠州市德赛西威汽车电子股份有限公司 一种基于色块统计的车道线检测方法
CN112926365A (zh) * 2019-12-06 2021-06-08 广州汽车集团股份有限公司 一种车道线检测方法及其系统

Similar Documents

Publication Publication Date Title
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
EP2477139A2 (en) Lane departure warning system and method
EP1909230B1 (en) Vehicle and lane mark recognition apparatus
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US8050456B2 (en) Vehicle and road sign recognition device
EP1887521A1 (en) Vehicle and road sign recognition device
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
KR20140022197A (ko) 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템
JP6141787B2 (ja) レーンマーク認識装置
EP3506169A2 (en) Driver assistance system and method for object detection and notification
KR101498975B1 (ko) 차선 이탈 경보 시스템
KR20150125863A (ko) 연안에서의 객체 인식 장치 및 그 방법
JP6068833B2 (ja) 車用色検出器
EP3051461A1 (en) A computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs
KR20180082089A (ko) 영상 기반 색상정보를 이용한 초지 경계 검출 방법
KR101902291B1 (ko) 차선 보정 시스템 및 그 보정 방법
JP2006259885A (ja) カラー画像を用いた看板および標識の認識方法
KR101620425B1 (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
CN116324911A (zh) 用于从车辆牌照中提取字符的方法和用于执行方法的牌照字符提取装置
KR101362595B1 (ko) 차선 인식 방법 및 시스템
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
KR20170020961A (ko) 차선 인식 장치 및 차선 인식 방법
JP2010015235A (ja) 歩行者検出装置及びプログラム
KR20150111611A (ko) 차량 후보 검출 장치 및 그 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid