KR101169338B1 - 차선 인식 장치 및 차선 인식 방법 - Google Patents

차선 인식 장치 및 차선 인식 방법 Download PDF

Info

Publication number
KR101169338B1
KR101169338B1 KR1020100030855A KR20100030855A KR101169338B1 KR 101169338 B1 KR101169338 B1 KR 101169338B1 KR 1020100030855 A KR1020100030855 A KR 1020100030855A KR 20100030855 A KR20100030855 A KR 20100030855A KR 101169338 B1 KR101169338 B1 KR 101169338B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
detecting
area
lanes
Prior art date
Application number
KR1020100030855A
Other languages
English (en)
Other versions
KR20110111668A (ko
Inventor
양영일
이덕기
김도현
Original Assignee
경상대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경상대학교산학협력단 filed Critical 경상대학교산학협력단
Priority to KR1020100030855A priority Critical patent/KR101169338B1/ko
Publication of KR20110111668A publication Critical patent/KR20110111668A/ko
Application granted granted Critical
Publication of KR101169338B1 publication Critical patent/KR101169338B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/303—Speed sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms

Abstract

차선 인식 장치가 개시된다. 본 차선 인식 장치는, 차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성하는 촬상부, 컬러 이미지의 도로 소실 라인(vanish line)을 검출하고, 검출된 도로 소실 라인의 하부 영역에 대해서 수평하게 분할된 복수의 도로 영역으로 구분하는 영역 생성부, 구분된 복수의 도로 영역 각각의 차선을 병렬적으로 검출하는 차선 검출부, 및, 검출된 복수의 차선을 병합하여 차량 전방의 차선을 인식하는 차선 인식부를 포함한다.

Description

차선 인식 장치 및 차선 인식 방법{LANE RECOGNITION APPARATUS AND METHOD OF RECOGNITION LANE THEREOF}
본 발명은 차선 인식 장치 및 차선 인식 방법에 관한 것으로, 구체적으로, 촬상된 컬러 이미지를 복수의 영역으로 구분하고, 구분된 영역을 이용하여 차선을 검출함으로써 보다 신속하고 보다 정확하게 차선을 인식할 수 있는 차선 인식 장치 및 차선 인식 방법에 관한 것이다.
최근의 차량에는 운전자의 안전을 도모하기 위한 안전장치나 운전의 편의를 다양한 부가장치, 주행장치 등이 적용되고 있다. 이와 같은 부가 장치 중 차선이탈 방지장치는 전방의 영상을 촬영하고, 촬영된 영상에서 일정 거리 전방에 있는 차선과 차량의 위치를 계산하여 자동차가 차선을 이탈하는지를 판단하고 일정 거리를 이탈하는 경우 경보음을 울려 사용자에게 알려 주는 장치이다.
종래의 차선 이탈 방지 장치는 차선 또는 마커 등에 대한 인식을 수행하기 위하여 흑백 정보를 가지고 일반도로와 도로 위 차선과의 그레이 레벨에서 그 차이를 기준으로 차선을 인식하였다.
그러나 흑백 영상에서는 황색 차선이 도로 표면과 거의 구별될 수 없거나 흰색 차선과 유색 차선을 구분하기 어려운 점에 있었다. 구체적으로, 황색 차선의 경우, 콘크리트 표면과 같이 밝은 도료 표면에서는 황색 차선의 밝기와 도료 표면의 밝기가 거의 같다는 점에서, 콘크리트 도로 상의 황색 차선을 검출하기 용이하지 않았다.
이와 같은 점을 해결하기 위하여 컬러 영상을 이용하여 차선을 검출하는 경우, 컬러 영상은 흑백 영상에 비하여 큰 데이터 양을 가진다는 점에서 차선 검출 속도가 늦어지는 단점이 있었다. 이러한 단점을 극복하고자 종래에는 입력 영상의 크기를 줄여 차선을 인식하였다. 그러나 입력 영상의 크기를 줄여 차선을 인식하는 경우, 도로 정보 및 차선 정보의 정확성이 떨어지는 문제점이 있었다.
따라서, 본 발명의 목적은 촬상된 컬러 이미지를 복수의 영역으로 구분하고, 구분된 영역을 이용하여 차선을 검출함으로써 보다 신속하고 보다 정확하게 차선을 인식할 수 있는 차선 인식 장치 및 차선 인식 방법을 제공하는 데 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 차선 인식 장치는, 차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성하는 촬상부, 상기 컬러 이미지의 도로 소실 라인(vanish line)을 검출하고, 상기 검출된 도로 소실 라인의 하부 영역에 대해서 수평하게 분할된 복수의 영역으로 구분하는 영역 생성부, 상기 구분된 복수의 영역 각각의 차선을 병렬적으로 검출하는 차선 검출부, 및, 상기 검출된 복수의 차선을 병합하여 상기 차량 전방의 차선을 인식하는 차선 인식부를 포함한다.
이 경우, 상기 영역 생성부는, 상기 도로 소실 라인 하부 영역에 대해서 수직 방향으로 안전 영역(safe zone), 경고 영역(warning zone), 위급 영역(emergency zone) 및 사고 영역(dead zone)으로 구분하는 것이 바람직하다.
이 경우, 상기 안전 영역, 경고 영역, 위급 영역, 사고 영역은 동일한 이미지 높이를 갖는 것이 바람직하다.
한편, 본 차선 인식 장치는, 상기 차량의 속도를 감지하는 속도 감지부를 더 포함하고, 상기 영역 생성부는, 상기 감지된 차량의 속도에 기초하여 상기 안전 영역, 경고 영역, 위급 영역, 사고 영역의 이미지 높이를 조정하여 구분하는 것이 바람직하다.
한편, 상기 차선 검출부는, 상기 분할된 영역 내의 R, G, B 색상 값을 이용하여 흰색 차선을 검출하는 흰색 차선 검출부, 상기 분할된 영역 내의 Cb, Cr 색상 값을 이용하여 유색 차선을 검출하는 유색 차선 검출부, 상기 검출된 흰색 차선 및 황색 차선에 대한 윤곽선을 검출하는 엣지 검출부, 및 상기 윤곽선이 특정 각도의 직선 성분인지를 파악하여 차선으로 인식하는 허프 변환부를 포함한다.
한편, 본 차선 인식 장치는, 상기 인식된 차량 전방의 차선 내에 다른 차량을 검출하는 차량 검출부, 상기 차량의 속도를 감지하는 속도 감지부, 및, 상기 감지된 속도 및 상기 검출된 다른 차량의 위치 영역에 기초하여 위험을 운전자에게 경고하는 경고부를 더 포함한다.
한편, 상기 차선 인식부는, 차선이 인식되지 않은 영역이 존재하는 경우, 차선이 인식된 다른 영역 및 GPS 정보를 기초로 해당 영역에 대한 가상 차선을 생성하고, 인식된 차선 및 상기 생성된 가상 차선을 병합하는 것이 바람직하다.
한편, 상기 영역 생성부는 VHDL로 구현되는 것이 바람직하다.
한편, 본 실시예에 따른 차선 인식 방법은, 차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성하는 단계, 상기 컬러 이미지의 도로 소실 라인(vanish line)을 검출하는 단계, 상기 검출된 도로 소실 라인의 하부 영역에 대해서 수평하게 분할된 복수의 영역으로 구분하는 단계, 상기 구분된 복수의 도로 각각의 차선을 병렬적으로 검출하는 단계, 및, 상기 검출된 복수의 차선을 병합하여 상기 차량 전방의 차선을 인식하는 단계를 포함한다.
이 경우, 상기 구분하는 단계는, 상기 도로 소실 라인 하부 영역에 대해서 수직 방향으로 동일한 이미지 높이를 갖는 안전 영역(safe zone), 경고 영역(warning zone), 위급 영역(emergency zone) 및 사고 영역(dead zone)으로 구분하는 것이 바람직하다.
한편, 상기 차선을 검출하는 단계는, 상기 분할된 영역 내의 R, G, B 색상 값을 이용하여 흰색 차선을 검출하는 단계, 상기 분할된 영역 내의 Cb, Cr 색상 값을 이용하여 유색 차선을 검출하는 단계, 상기 검출된 흰색 차선 및 황색 차선에 대한 윤곽선을 검출하는 단계, 및, 상기 윤곽선이 특정 각도의 직선 성분인지를 파악하여 차선으로 인식하는 단계를 포함한다.
이상과 같이 본 실시예에 따른 차선 인식 장치 및 차선 인식 방법은 컬러 이미지를 이용하여 차선을 검출한다는 점에서 흰색, 황색, 초록색 등의 다양한 색깔의 차선을 구분하여 인식할 수 있다.
또한, 본 실시예에 따른 차선 인식 장치 및 차선 인식 방법은 입력된 컬러 이미지를 복수의 영역으로 구분하여 차선 인식 과정을 수행한다는 점에서, 도로 정보 및 차선 정보의 정확성이 향상된다.
도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 구성을 나타내는 블록도,
도 2는 도 1의 표시부에 표시되는 사용자 인터페이스 창의 예를 나타내는 도면, 그리고,
도 3은 본 발명의 일 실시예에 따른 차선 인식 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예를 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 차선 인식 장치를 도시한 블록도이다.
도 1을 참조하면, 본 차선 인식 장치(100)는 촬상부(110), 영역 생성부(120), 차선 검출부(130), 차선 인식부(140), 차량 검출부(150), 속도 감지부(160), 경고부(170), 표시부(180) 및 제어부(190)로 구성될 수 있다.
촬상부(110)는 차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성한다. 구체적으로, 촬상부(110)는 CCD 또는 CMOS 소자를 이용하여 차량 전방의 도로 영상을 촬상할 수 있다. 이와 같은 촬상부(110)는 차량 전방의 도로 영상을 촬상하기 위하여 차량의 대쉬보드 등과 같은 차량의 전방에 배치될 수 있다. 한편, 본 실시예에서는 촬상부(110)에 구비되는 CCD 또는 CMOS 소자를 이용하여 도로 영상을 촬상하는 실시예에 대해서만 설명하였지만, 구현시에는 외부 카메라로부터 영상을 입력받는 형태로도 구현될 수 있다.
영역 생성부(120)는 컬러 이미지의 도로의 소실 라인(vanish line)을 검출하고, 검출된 도로 소실 라인의 하부 영역을 수직 방향으로 수평하게 분할된 복수의 영역으로 구분할 수 있다. 구체적으로, 영역 생성부(120)는 촬상부(110)를 통하여 입력된 컬러 이미지 상에 존재하는 도로 소실 라인을 검출하고, 검출된 도로 소실 라인의 경계 아래의 영역을 도 2에 도시된 바와 같이 안전 영역(safe zone), 경고 영역(warning zone), 위급 영역(emergency zone) 및 사고 영역(dead zone)으로 구분할 수 있다.
그리고, 영역 생성부(120)는 구분된 영역을 기초로 컬러 이미지를 분할하고, 분할된 컬러 이미지를 차선 검출부(130)에 전달할 수 있다. 이와 같은 영역 생성부(120)는 구현시에 VHDL(VHSIC Hardware Description Languae) 등과 같은 영상 처리용 칩으로 구현될 수 있다.
차선 검출부(130)는 구분된 복수의 도로 영역 각각에 포함된 차선을 검출한다. 구체적으로, 차선 검출부(130)는 흰색 차선 검출부(131), 유색 차선 검출부(132), 엣지 검출부(133), 허프 변환부(134)로 구성될 수 있다.
흰색 차선 검출부(131)는 분할된 영역 내의 R(Red), G(Green), B(Blue) 색상 값을 이용하여 분할된 영역 내의 흰색 영역을 검출할 수 있다. 구체적으로, 흰색 차선 검출부(131)는 영역 생성부(120)에서 제공된 분할된 영역 이미지 내에 흰색 영역을 검출할 수 있다.
유색 차선 검출부(132)는 분할된 영역 내의 Cb, Cr 색상 값을 이용하여 분할된 영역 내의 황색, 초록색 영역을 검출할 수 있다. 구체적으로, 유색 차선 검출부(132)는 영역 생성부(120)에서 제공된 분할된 영역 이미지 내에 황색 및 초록색 영역을 검출할 수 있다.
엣지 검출부(133)는 흰색 차선 검출부(131) 및 유색 차선 검출부(132)에서 검출된 해당 영역에 대한 윤곽선을 검출할 수 있다. 구체적으로, 엣지 검출부(133)는 캐니 엣지(Canny Edge) 방법을 이용하여 흰색 차선 검출부(131)에서 검출된 흰색 영역 및 유색 차선 검출부(132)에서 검출된 유색 영역에 대한 윤곽선을 검출할 수 있다. 이때 엣지 검출부(133)는 검출된 윤곽선 중 일반적인 차선의 형상과 다른 윤곽선을 갖는 영역에 대해서는 필터링을 수행할 수 있다.
허프 변환부(134)는 윤곽선이 특정 각도의 직선 성분인지를 파악하여 차선으로 인식할 수 있다. 구체적으로, 허프 변환부(134)는 엣지 검출부(133)에서 검출된 윤곽선이 이미지 하부에서 상부로 연결되는 직선인지를 허프 변환(Hough Transform)을 이용하여 파악하고, 하부에서 상부로 연결되는 직선의 경우 차선으로 검출할 수 있다.
구현시에 이와 같은 흰색 차선 검출부(131), 유색 차선 검출부(132), 엣지 검출부(133), 허프 변환부(134)는 복수개 영역의 개수에 대응되는 개수만큼 구비되어, 복수의 영역에 대해서 병렬적으로 차선을 검출하는 형태로 구현될 수 있다. 또는 각각의 흰색 차선 검출부(131), 유색 차선 검출부(132), 엣지 검출부(133), 허프 변환부(134) 각각이 병렬적으로 복수의 영역을 처리하는 형태로도 구현될 수 있다.
차선 인식부(140)는 검출된 복수의 차선을 병합하여 차량 전방의 차선을 인식한다. 구체적으로, 차선 인식부(140)는 차선 검출부(130)에서 검출된 차선을 구분된 영역의 순서에 맞게 연결하여 차량 전방의 차선을 인식할 수 있다.
한편, 촬상된 이미지 상에 다른 차량이 존재하거나, 촬상 조건에 따라 차선이 검출되지 않는 영역이 존재할 수 있다. 이 경우, 차선 인식부(140)는 차선이 인식된 다른 영역 및 GPS 정보를 이용하여 차선이 검출되지 않은 영역에 대한 가상 차선을 생성하고, 생성된 가상 차선과 차선 검출부(130)에서 검출된 차선을 병합하여 차량 전방의 차선을 인식할 수 있다.
차량 검출부(150)는 인식된 차량 전방의 차선 내에 다른 차량이 존재하는지를 검출할 수 있다. 구체적으로, 차량 검출부(150)는 차선 인식부(140)에서 인식된 차선 내의 이미지 영역에 차량이 있는지 여부를 검출할 수 있다. 본 실시 예에서는 차량을 검출하는 실시예에 대해서만 설명하였지만, 차량에 한정되는 것은 아니다.
속도 감지부(160)는 현재 운행 차량의 속도를 감지한다. 구체적으로, 속도 감지부(160)는 GPS 정보, 차량의 계기판의 정보 등을 수신하여 현재 운행 차량의 속도를 파악할 수 있다. 구현시에는 별도의 속도 측정 센서를 이용하여 차량의 속도를 감지할 수도 있다.
경고부(170)는 감지된 속도 및 검출된 다른 차량의 위치 영역에 기초하여 위험을 운전자에게 경고할 수 있다. 구체적으로, 경고부(170)는 차량 검출부(150)에서 감지된 다른 차량이 경고 영역, 위급 영역, 사고 영역에 있는 경우, 경고음 또는 경고 메시지를 운전자에게 알릴 수 있다.
한편, 현재 차량이 정차 또는 저속 주행 중인 경우에는 다른 차량이 경고 영역, 위급 영역, 사고 영역에 있는 경우에도 경고를 할 필요가 없는 경우가 있다. 이러한 점에서, 경고부(170)는 속도 감지부(160)에서 감지된 속도를 참고하여 경고음 또는 경고 메시지를 알릴 수 있다.
표시부(180)는 인식된 차선을 표시할 수 있다. 구체적으로, 표시부(180)는 촬상부(110)에서 촬상된 컬러 이미지를 표시하고, 차선 인식부(140)에서 인식된 차선을 오버랩하여 표시할 수 있다. 표시부(180)에서 표시될 수 있는 사용자 인터페이스 창의 예에 대해서는 도 2를 참고하여 후술한다.
그리고, 표시부(180)는 다른 차량이 경고 영역, 위급 영역, 사고 영역에 있는 경우, 경고 메시지를 사용자 인터페이스 창에 표시할 수도 있다.
제어부(190)는 차선 인식 장치(100) 내의 각 구성을 제어한다. 구체적으로, 차량 운행이 시작되는 경우, 촬상부(110)가 차량의 전방을 촬상하도록 제어하고, 촬상된 이미지를 통하여 차선이 인식되도록 영역 생성부(120), 차선 검출부(130) 및 차선 인식부(140) 등을 제어할 수 있다.
따라서, 본 실시예에 따른 차선 인식 장치는 촬상된 이미지에 대한 스케일링을 수행하지 않고, 복수의 영역으로 구분하여 차선 인식한다는 점에서, 도로 정보 및 차선 정보의 정확성이 향상된다.
또한, 컬러 이미지를 이용하여 차선을 인식한다는 점에서, 흰색 차선뿐만 아니라 황색 차선, 초록 차선에 대해서도 용이하게 검출할 수 있게 된다.
도 2는 도 1의 표시부에 표시되는 사용자 인터페이스 창의 예를 나타내는 도면이다.
도 2를 참고하면, 사용자 인터페이스 창은 수직 방향으로 수평하게 분할된 복수의 영역을 포함한다. 구체적으로, 사용자 인터페이스 창은 도로 소실 라인(202)을 기준으로 도로 소실 라인(202)의 하부 영역이 수평하게 분할된 안전 영역(203), 경고 영역(204), 위급 영역(205), 사고 영역(206)을 포함한다. 그리고, 각각의 영역은 검출된 차선을 포함한다.
구체적으로, 안전 영역(203)은 안전 영역(203) 내의 우측 차선인 SR(Safe zone Right)과 좌측 차선인 SL(Safe zone Left)을 표시한다. 이러한 안전 영역(203)은 현재의 차량과 충분하게 떨어진 거리인바, 다른 차량이 안전 영역(203) 상에 위치하는 경우에도, 차선 인식 장치(100)는 별도의 경고 음성이나 경고음을 출력하지 않는다.
그리고, 경고 영역(204)은 경고 영역(204) 내의 우측 차선인 WR(Warning zone Right)과 좌측 차선인 WL(Warning zone Left)을 표시한다. 이러한 경고 영역(204)은 현재의 차량과 충분하게 떨어지지 않은 거리인바, 다른 차량이 경고 영역(204) 상에 위치하면, 차선 인식 장치(100)는 경고 음성이나 경고음을 알릴 수 있다. 또는 사용자 인터페이스 창 상에 경고 메시지를 표시할 수도 있다. 한편, 현재 차량의 속도가 기설정된 속도 이하인 경우에는 경고 영역(204) 상에 다른 차량이 존재하는 경우에도 경고 음성이나 경고음을 알리지 않을 수 있다.
그리고, 위험 영역(205)은 위험 영역(205) 내의 우측 차선인 ER(Emergency zone Right)과 좌측 차선인 WL(Emergency zone Left)을 표시한다. 이러한 위험 영역(205)은 현재의 차량과 가까운 거리인바, 다른 차량이 위험 영역(205) 상에 위치하면, 위험 영역 상에 다른 차량이나 장해물이 존재함을 경고 음성이나 경고음으로 알릴 수 있다. 한편, 현재 차량의 속도가 기설정된 속도 이하인 경우에는 위험 영역(205) 상에 다른 차량이 존재하는 경우에도 경고 음성이나 경고음을 알리지 않을 수 있다.
그리고, 사고 영역(206)은 사고 영역(206) 내의 우측 차선인 DR(Dead zone Right)과 좌측 차선인 DL(Dead zone left)을 표시한다. 이러한 사고 영역(205)은 현재의 차량과 너무 가까운 거리인바, 다른 차량이 사고 영역(206) 상에 위치하면, 사고가 발생될 수 있음을 운전자에게 알릴 수 있다. 이 경우, 차량의 브레이크가 작동될 수 있도록 이러한 정보를 차량의 제어 모듈에 전달하는 형태로도 구현될 수 있다.
본 실시 예에서는 안전 영역, 경고 영역, 위급 영역, 사고 영역과 같이 검출된 도로 소실 라인의 아래 영역을 4개의 영역으로 구분하였지만, 구현시에는 2개 또는 3개의 영역으로 구분하는 형태로도 구현될 수 있으며, 4개 이상의 영역으로 구분하는 형태로도 구현될 수 있다.
또한, 본 실시 예에서는 각각의 영역이 동일한 이미지 높이를 갖는 실시예에 대해서만 설명하였지만, 구현시에는 각각의 영역의 높이가 다르도록 구현될 수 있으며, 각각의 영역의 높이는 차량의 속도 및 촬상부(110)의 촬상 위치에 따라 조정될 수 있다.
도 3은 본 발명의 일 실시예에 따른 차선 인식 방법을 설명하기 위한 흐름도이다.
먼저, 차량 전방의 영상을 촬상하여 컬러 이미지를 생성한다(S310). 구체적으로, CCD 또는 CMOS 소자를 이용하여 차량 전방의 도로 영상을 촬상할 수 있다.
그리고, 컬러 이미지의 도로 소실 라인을 검출한다(S320). 구체적으로, 촬상된 컬러 이미지 상에 존재하는 도로가 보이는 끝 선인 도로 소실 라인을 이미지 프로세싱을 이용하여 검출할 수 있다.
그리고, 검출된 도로 소실 라인의 하부 영역에 대해서 수직 방향으로 수평하게 분할된 복수의 도로 영역으로 구분한다(S330). 구체적으로, 검출된 도로 소실 라인의 경계 아래의 도로 영역을 도 2에 도시된 바와 같이 안전 영역(safe zone), 경고 영역(warning zone), 위급 영역(emergency zone) 및 사고 영역(dead zone)으로 구분할 수 있다.
그 다음, 구분된 복수의 도로 영역 각각의 차선을 병렬적으로 검출한다(S340). 구체적으로, 각각의 분할된 영역 내의 R, G, B 색상 값을 이용하여 흰색 차선을 검출하고, 각각의 분할된 영역 내의 Cb, Cr 색상 값을 이용하여 유색 차선을 검출할 수 있다. 그리고, 검출된 흰색 차선 및 황색 차선에 대한 윤곽선을 검출하고, 윤곽선이 특정 각도의 직선 성분인지를 파악하여 차선으로 검출할 수 있다.
그 다음, 검출된 복수의 차선을 병합하여 차량 전방의 차선을 인식한다(S350). 구체적으로, 각각의 영역에 대해서 검출된 차선을 구분된 영역의 순서에 맞게 연결하여 차량 전방의 차선을 인식할 수 있다. 한편, 촬상된 이미지 상에 다른 차량이 존재하거나, 촬상 조건에 따라 차선이 검출되지 않는 영역이 존재할 수 있다. 이 경우, 차선이 인식된 다른 영역 및 GPS 정보를 이용하여 차선이 검출되지 않은 영역에 대한 가상 차선을 생성하고, 생성된 가상 차선과 검출된 차선을 병합하여 차량 전방의 차선을 인식할 수 있다.
따라서, 본 실시예에 따른 차선 인식 방식은 촬상된 이미지에 대한 스케일링을 수행하지 않고, 복수의 영역으로 구분하여 차선 인식한다는 점에서, 도로 정보 및 차선 정보의 정확성이 향상된다. 또한, 컬러 이미지를 이용하여 차선을 인식한다는 점에서, 흰색 차선뿐만 아니라 황색 차선, 초록 차선에 대해서도 용이하게 검출할 수 있게 된다. 도 3과 같은 차선 인식 방법은 도 1의 구성을 가지는 차선 인식 장치 상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 차선 인식 장치 상에서도 실행될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 차선 인식 장치 110: 촬상부
120: 영역 생성부 130: 차선 검출부
140: 차선 인식부 150: 차량 검출부
160: 속도 감지부 170: 경고부
180: 표시부 190: 제어부

Claims (11)

  1. 차선 인식 장치에 있어서,
    차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성하는 촬상부;
    상기 컬러 이미지의 도로 소실 라인(vanish line)을 검출하고, 상기 검출된 도로 소실 라인의 하부 영역에 대해서 수평하게 분할된 복수의 영역으로 구분하는 영역 생성부;
    상기 구분된 복수의 영역 각각의 차선을 병렬적으로 검출하는 차선 검출부; 및
    상기 검출된 복수의 차선을 병합하여 상기 차량 전방의 차선을 인식하는 차선 인식부;를 포함하고,
    상기 영역 생성부는,
    상기 도로 소실 라인 하부 영역에 대해서 수직 방향으로 안전 영역(safe zone), 경고 영역(Warning zone), 위급 영역(Emergency zone) 및 사고 영역(dead zone)으로 구분하는 것을 특징으로 하는 차선 인식 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 안전 영역, 경고 영역, 위급 영역, 사고 영역은 동일한 이미지 높이를 갖는 것을 특징으로 하는 차선 인식 장치.
  4. 제1항에 있어서,
    상기 차량의 속도를 감지하는 속도 감지부;를 더 포함하고,
    상기 영역 생성부는,
    상기 감지된 차량의 속도에 기초하여 상기 안전 영역, 경고 영역, 위급 영역, 사고 영역의 이미지 높이를 조정하여 구분하는 것을 특징으로 하는 차선 인식 장치.
  5. 차선 인식 장치에 있어서,
    차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성하는 촬상부;
    상기 컬러 이미지의 도로 소실 라인(vanish line)을 검출하고, 상기 검출된 도로 소실 라인의 하부 영역에 대해서 수평하게 분할된 복수의 영역으로 구분하는 영역 생성부;
    상기 구분된 복수의 영역 각각의 차선을 병렬적으로 검출하는 차선 검출부; 및
    상기 검출된 복수의 차선을 병합하여 상기 차량 전방의 차선을 인식하는 차선 인식부;를 포함하고,
    상기 차선 검출부는,
    상기 분할된 영역 내의 R, G, B 색상 값을 이용하여 흰색 차선을 검출하는 흰색 차선 검출부;
    상기 분할된 영역 내의 Cb, Cr 색상 값을 이용하여 유색 차선을 검출하는 유색 차선 검출부;
    상기 검출된 흰색 차선 및 황색 차선에 대한 윤곽선을 검출하는 엣지 검출부; 및
    상기 윤곽선이 특정 각도의 직선 성분인지를 파악하여 차선으로 검출하는 허프 변환부;를 포함하는 것을 특징으로 하는 차선 인식 장치.
  6. 제1항에 있어서,
    상기 인식된 차량 전방의 차선 내에 다른 차량을 검출하는 차량 검출부;
    상기 차량의 속도를 감지하는 속도 감지부; 및
    상기 감지된 속도 및 상기 검출된 다른 차량의 위치 영역에 기초하여 위험을 운전자에게 경고하는 경고부;를 더 포함하는 것을 특징으로 하는 차선 인식 장치.
  7. 제1항에 있어서,
    상기 차선 인식부는,
    차선이 인식되지 않은 영역이 존재하는 경우, 차선이 인식된 다른 영역 및 GPS 정보를 기초로 해당 영역에 대한 가상 차선을 생성하고, 인식된 차선 및 상기 생성된 가상 차선을 병합하는 것을 특징으로 하는 차선 인식 장치.
  8. 차선 인식 장치에 있어서,
    차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성하는 촬상부;
    상기 컬러 이미지의 도로 소실 라인(vanish line)을 검출하고, 상기 검출된 도로 소실 라인의 하부 영역에 대해서 수평하게 분할된 복수의 영역으로 구분하는 영역 생성부;
    상기 구분된 복수의 영역 각각의 차선을 병렬적으로 검출하는 차선 검출부; 및
    상기 검출된 복수의 차선을 병합하여 상기 차량 전방의 차선을 인식하는 차선 인식부;를 포함하고,
    상기 영역 생성부는 VHDL로 구현되는 것을 특징으로 하는 차선 인식 장치.
  9. 차선 인식 방법에 있어서,
    차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성하는 단계;
    상기 컬러 이미지의 도로 소실 라인(vanish line)을 검출하는 단계;
    상기 검출된 도로 소실 라인의 하부 영역에 대해서 수평하게 분할된 복수의 영역으로 구분하는 단계;
    상기 구분된 복수의 영역 각각의 차선을 병렬적으로 검출하는 단계; 및
    상기 검출된 복수의 차선을 병합하여 상기 차량 전방의 차선을 인식하는 단계;를 포함하고,
    상기 구분하는 단계는,
    상기 도로 소실 라인 하부 영역에 대해서 수직 방향으로 동일한 이미지 높이를 갖는 안전 영역(safe zone), 경고 영역(Warning zone), 위급 영역(Emergency zone) 및 사고 영역(dead zone)으로 구분하는 것을 특징으로 하는 차선 인식 방법.
  10. 삭제
  11. 차선 인식 방법에 있어서,
    차량 전방의 도로 영상을 촬상하여 컬러 이미지를 생성하는 단계;
    상기 컬러 이미지의 도로 소실 라인(vanish line)을 검출하는 단계;
    상기 검출된 도로 소실 라인의 하부 영역에 대해서 수평하게 분할된 복수의 영역으로 구분하는 단계;
    상기 구분된 복수의 영역 각각의 차선을 병렬적으로 검출하는 단계; 및
    상기 검출된 복수의 차선을 병합하여 상기 차량 전방의 차선을 인식하는 단계;를 포함하고,
    상기 차선을 검출하는 단계는,
    상기 분할된 영역 내의 R, G, B 색상 값을 이용하여 흰색 차선을 검출하는 단계;
    상기 분할된 영역 내의 Cb, Cr 색상 값을 이용하여 유색 차선을 검출하는 단계;
    상기 검출된 흰색 차선 및 황색 차선에 대한 윤곽선을 검출하는 단계; 및
    상기 윤곽선이 특정 각도의 직선 성분인지를 파악하여 차선으로 검출하는 단계;를 포함하는 것을 특징으로 하는 차선 인식 방법.
KR1020100030855A 2010-04-05 2010-04-05 차선 인식 장치 및 차선 인식 방법 KR101169338B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100030855A KR101169338B1 (ko) 2010-04-05 2010-04-05 차선 인식 장치 및 차선 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100030855A KR101169338B1 (ko) 2010-04-05 2010-04-05 차선 인식 장치 및 차선 인식 방법

Publications (2)

Publication Number Publication Date
KR20110111668A KR20110111668A (ko) 2011-10-12
KR101169338B1 true KR101169338B1 (ko) 2012-07-30

Family

ID=45027647

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100030855A KR101169338B1 (ko) 2010-04-05 2010-04-05 차선 인식 장치 및 차선 인식 방법

Country Status (1)

Country Link
KR (1) KR101169338B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858608B1 (ko) 2011-10-28 2018-05-17 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101336044B1 (ko) * 2011-12-27 2013-12-03 전자부품연구원 차선 인식을 위한 장치 및 그 장치에서의 차선 인식 방법
KR101365557B1 (ko) * 2012-04-25 2014-02-27 (주)아이머큐리 차선 검출장치 및 그 방법
KR20140071174A (ko) * 2012-12-03 2014-06-11 현대자동차주식회사 차량의 차선 가이드 장치 및 그 방법
KR102564856B1 (ko) 2018-09-07 2023-08-08 삼성전자주식회사 차선을 검출하는 방법 및 장치
KR102181651B1 (ko) * 2018-11-23 2020-11-24 엘지전자 주식회사 경로 제공 장치 및 그것을 포함하는 차량 제어 시스템
KR102075299B1 (ko) * 2019-07-03 2020-02-07 서정현 선 인식 장치 및 방법

Also Published As

Publication number Publication date
KR20110111668A (ko) 2011-10-12

Similar Documents

Publication Publication Date Title
KR101169338B1 (ko) 차선 인식 장치 및 차선 인식 방법
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
JP6291144B2 (ja) 走行支援装置及び走行支援装置による走行支援方法
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
US8913128B2 (en) Image-based barrier detection and warning system and method thereof
US9591274B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
KR102270677B1 (ko) 차량 안전 주행 장치
US9715633B2 (en) Vehicle-mounted image processing device
KR102277018B1 (ko) 차량 주행 보조 장치 및 차량 주행 보조 방법
EP2477139A2 (en) Lane departure warning system and method
JP4528283B2 (ja) 車両周辺監視装置
JP2007234019A (ja) 車両画像領域特定装置およびその方法
JP6068833B2 (ja) 車用色検出器
JP5401257B2 (ja) 遠赤外線歩行者検知装置
JP2005316607A (ja) 画像処理装置及び画像処理方法
KR20160148850A (ko) 교통신호등의 특징점 추출에 기초한 교통신호등의 검출과 인식 방법
JP2007066003A (ja) 停止線検出装置
JP4813304B2 (ja) 車両周辺監視装置
KR101721442B1 (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
KR102214321B1 (ko) 차선 인식 장치 및 그 방법
WO2019200937A1 (zh) 一种有效判别车辆压线及预先提示系统
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
KR101651061B1 (ko) 차선인식 방법 및 장치
JP4324179B2 (ja) 情報提供装置
KR20160133386A (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템의 충돌방지방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160718

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee