KR20120089528A - 차선이탈 경보 시스템 및 방법 - Google Patents

차선이탈 경보 시스템 및 방법 Download PDF

Info

Publication number
KR20120089528A
KR20120089528A KR1020100131452A KR20100131452A KR20120089528A KR 20120089528 A KR20120089528 A KR 20120089528A KR 1020100131452 A KR1020100131452 A KR 1020100131452A KR 20100131452 A KR20100131452 A KR 20100131452A KR 20120089528 A KR20120089528 A KR 20120089528A
Authority
KR
South Korea
Prior art keywords
lane
unit
image
color
edge
Prior art date
Application number
KR1020100131452A
Other languages
English (en)
Other versions
KR101472615B1 (ko
Inventor
김규원
박상현
김주현
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020100131452A priority Critical patent/KR101472615B1/ko
Priority to US13/326,148 priority patent/US20120154588A1/en
Priority to EP11275164A priority patent/EP2477139A3/en
Publication of KR20120089528A publication Critical patent/KR20120089528A/ko
Application granted granted Critical
Publication of KR101472615B1 publication Critical patent/KR101472615B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Abstract

본 발명은 차선이탈 경보 시스템 및 방법에 관한 것으로, 차선이 존재할 가능성이 높은 영역에 대해 차선을 인식할 수 있도록 영역을 설정하고, 차선의 종류 및 색상을 인식할 수 있는 시스템을 구비함으로써, 차선을 인식하는 정확도를 높이고, 차량이 실선으로 표시된 차선을 이탈하더라도 운전자에게 경고하여 주는 차선이탈 경보 시스템 및 방법을 개시한다.

Description

차선이탈 경보 시스템 및 방법{SYSTEM AND METHOD FOR WARNING LANE DEPARTURE}
본 발명은 차선이탈 경보 시스템 및 방법에 관한 것으로, 보다 상세하게는 차선의 종류와 색상을 인식하여 차선 이탈 여부를 판단하는 차선이탈 경보 시스템 및 방법에 관한 것이다.
ASV(Advanced Safety Vehicle)는 차량의 안전도 향상을 위해서 첨단 전자기술과 제어 기술을 적용하는 첨단 차량으로, 교통사고를 감소시켜 교통량을 증가시키고 에너지를 절약하며 운전자의 편의를 도모하게 된다.
ASV의 하나로써 차선이탈 경보 시스템(Lane Departure Warning System:LDWS)은 차량에 부착된 카메라로부터 전방도로 영상을 감지하여 현재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음운전 등으로 차선을 이탈하려고 하면 경보음이 울리도록 하여 주는 안전장치이다. 이러한 차선이탈 경보 시스템은 자동차 전방의 영상신호를 분석하여 차량이 차선을 벗어났는지를 판단하는 차선 검출 장치와 이 차선 검출 장치의 분석 결과 차량이 차선을 벗어나면 그 사실을 운전자에게 경고하는 경고 장치를 포함한다.
그러나, 종래의 차선이탈 경보 시스템은 카메라로부터 입력된 모든 영상에 존재하는 에지 성분에 대하여 차선을 인식하도록 설계되어 차선을 인식하는 확률이 낮고, 연산 과정이 복잡해지는 문제가 있었다.
또한, 종래의 차선 이탈 경고 시스템은 차선변경을 금지하기 위해 표시해둔 실선 및 중앙선, 그리고 차선변경이 가능한 점선을 구별하지 못하여 운전자에게 큰 혼란을 줄 수 있다. 즉, 종래의 차선이탈 경보 시스템은 차선의 종류를 판단하지 못함으로써, 방향 지시등이 온(On) 상태인 것으로 판단되면, 차량이 실선으로 된 차선에 접근하더라도 이를 비정상적인 상황으로 인식하지 못하여 운전자에게 어떠한 경고도 하지 않아 심각한 교통 사고가 발생할 수 있는 문제가 있었다.
본 발명은 상기의 문제점을 해결하기 위하여 제안된 것으로, 차선이 존재할 가능성이 높은 영역에 대해 차선을 인식할 수 있도록 영역을 설정하는 시스템 및 차선의 종류 및 색상을 인식할 수 있는 시스템을 구비함으로써, 차선을 인식하는 정확도를 높이고, 차량이 실선으로 표시된 차선을 이탈하더라도 운전자에게 경고하여 주는 차선이탈 경보 시스템 및 방법을 제공하는 것을 기술적 과제로 한다.
상기 목적을 달성하기 위하여, 본 발명에 따른 일 실시 예에 따르면, 차선이탈 경보 시스템에 있어서, 카메라로부터 연속적으로 촬영되는 복수의 영상들을 감지하는 영상 감지부; 상기 영상 감지부에 의해 입력된 영상 중 차선 인식에 필요한 에지 성분을 강조하고, 강조된 에지 성분을 추출하는 에지 추출부; 추출된 에지 성분에서 직선 성분을 검출하여 차선으로 인식하는 차선 인식부; 인식된 차선으로부터 차선의 종류를 판단하는 차선종류 판단부; 상기 영상 감지부에 의해 입력된 영상 신호값으로부터 차선의 색상을 검출하는 차선색상 검출부; 인식된 차선의 종류 및 색상에 기해 디스플레이 상에 나타나는 차선에 따라 차선 패턴을 생성하는 차선패턴 생성부; 및 차선의 종류 및 색상, 방향 지시등의 상태를 고려하여 차량이 차선을 이탈하는지 여부를 판단하는 차선이탈 판단부;를 포함하는 차선이탈 경보 시스템을 제공한다.
또한, 상기 차선 인식부에 의해 차선이 인식되기 전, 상기 에지 추출부로부터 추출된 에지 성분 중 차선 인식에 필요한 영역을 설정하는 차선인식영역 설정부를 추가로 포함하는 차선이탈 경보 시스템을 제공한다.
또한, 상기 차선인식영역 설정부는 상기 에지 추출부에 의해 추출된 좌측 차선에 대한 에지 성분과 우측 차선에 대한 에지 성분을 기준으로 각각 일정 폭의 좌우 한계선을 설정하여 좌측 영역 및 우측 영역을 설정하는 것으로 이루어지는 차선이탈 경보 시스템을 제공한다.
또한, 상기 차선인식영역 설정부는 차선에 해당하는 에지 성분에 대하여 수평축을 기준으로 일정 이상의 각도 한계선을 설정하는 것을 추가로 수행하는 차선이탈 경보 시스템을 제공한다.
또한, 상기 차선 인식부의 오작동으로 인하여 차선을 잘못 인식하는 경우 다시 차선을 인식하도록 제어하는 차선인식 오류 방지부를 추가로 포함하는 차선이탈 경보 시스템을 제공한다.
또한, 상기 차선인식 오류 방지부는 상기 차선 인식부에 따라 인식된 좌측 차선과 우측 차선의 폭을 구하고, 그 값을 미리 설정된 거리 한계선과 비교함으로써 이루어지는 차선이탈 경보 시스템을 제공한다.
또한, 상기 영상 감지부에 의해 입력된 RGB 이미지를 YCbCr 컬러 공간의 이미지로 변환하는 영상 변환부를 추가로 포함하는 차선이탈 경보 시스템을 제공한다.
또한, 상기 영상 변환부에 의해 변환된 이미지의 화질을 조정하기 위해 다운 스케일링을 수행하는 스케일링부를 추가로 포함하는 차선이탈 경보 시스템을 제공한다.
또한, 상기 스케일링부에 의해 다운 스케일링된 영상 중 차선이 존재하는 영역에 대하여 크로핑을 수행하는 크로핑 수행부를 추가로 포함하는 차선이탈 경보 시스템을 제공한다.
또한, 상기 크로핑 수행부에 의해 크로핑된 영상 중 차선 인식에 노이즈로 작용하는 성분을 필터링 처리하는 노이즈 제거부를 추가로 포함하는 차선이탈 경보 시스템을 제공한다.
또한, 상기 차선종류 판단부는 축적 배열에서 가장 큰 값을 가지는 배열의 값을 미리 설정된 임계값과 비교함으로써 이루어지는 차선이탈 경보 시스템을 제공한다.
또한, 상기 차선색상 검출부는 상기 영상 감지부에 의해 입력된 영상 신호값을 미리 설정된 임계값의 범위에 속하는지 확인하여 이루어지는 차선이탈 경보 시스템을 제공한다.
또한, 상기 차선색상 검출부에 의해 차선색상이 검출되기 전, 상기 영상 감지부에 의해 입력된 영상 신호값에 대하여 자동 화이트 밸런스(AWB)를 적용하는 자동 화이트 밸런스 적용부를 추가로 포함하는 차선이탈 경보 시스템을 제공한다.
한편, 상기 목적을 달성하기 위하여, 본 발명에 따른 다른 일 실시 예에 따르면, 차선이탈 경보 방법에 있어서, 카메라로부터 연속적으로 촬영되는 복수의 영상들을 감지하는 영상 감지 단계; 상기 영상 감지 단계에 의해 입력된 영상 중 차선 인식에 필요한 에지 성분을 강조하고, 상기 에지 성분을 추출하는 에지 추출 단계; 상기 추출된 에지 성분에서 직선 성분을 검출하여 차선으로 인식하는 차선 인식 단계; 상기 차선 인식 단계에 따라 인식된 차선으로부터 차선의 종류를 판단하는 차선종류 판단 단계; 상기 영상 감지부에 의해 입력된 영상 신호값으로부터 차선의 색상을 검출하는 차선색상 검출 단계; 상기 인식된 차선의 종류 및 색상에 기해, 디스플레이 상에 나타나는 차선에 따라 차선 패턴을 생성하는 차선패턴 생성 단계; 및 차선의 종류 및 색상, 방향 지시등의 상태를 고려하여 차량이 차선을 이탈하는지 여부를 판단하는 차선이탈 판단 단계;를 포함하는 차선이탈 경보 방법을 제공한다.
또한, 상기 차선 인식부에 의해 차선이 인식되기 전, 상기 에지 추출부로부터 추출된 에지 성분 중 차선 인식에 필요한 영역을 설정하는 차선인식영역 설정 단계를 추가로 포함하는 차선이탈 경보 방법을 제공한다.
또한, 상기 차선인식 단계 이후, 상기 차선 인식부의 오작동으로 인하여 차선을 잘못 인식하였는지 판단하는 차선인식 오류 방지 단계를 추가로 포함하는 차선이탈 경보 방법을 제공한다.
또한, 상기 차선인식 오류 방지 단계에서 차선을 잘못 인식한 것으로 판단한 경우, 상기 차선 인식 단계로 분기하는 차선이탈 경보 방법을 제공한다.
또한, 상기 영상 감지 단계 이후, 상기 카메라로부터 입력된 RGB 이미지를 YCbCr 색 공간의 이미지로 변환하는 영상 변환 단계를 추가로 포함하는 차선이탈 경보 방법을 제공한다.
또한, 상기 영상 변환 단계에 의해 변환된 이미지의 화질을 조정하기 위해 다운 스케일링을 수행하는 스케일링 단계를 추가로 포함하는 차선이탈 경보 방법을 제공한다.
또한, 상기 스케일링 단계에 의해 다운 스케일링된 영상 중 차선이 존재하는 영역에 대하여 크로핑(Cropping)을 수행하는 크로핑 단계를 추가로 포함하는 차선이탈 경보 방법을 제공한다.
또한, 상기 크로핑 단계에 의해 크로핑된 영상 중 차선 인식에 노이즈로 작용하는 성분을 필터링 처리하는 노이즈 제거단계를 추가로 포함하는 차선이탈 경보 방법을 제공한다.
본 발명에 따른 차선 이탈 경고 시스템 및 방법에 따르면, 차선 이탈 여부를 판단하는데 있어서 불필요한 에지 성분이 존재하는 영역에 대해서는 분석하지 않아도 되므로, 차선을 인식하는 수단에 있어서 신뢰성을 높일 수 있다.
또한, 본 발명에 따른 차선 이탈 경고 시스템 및 방법은 차선의 종류 및 색상을 인식하여 차선을 이탈하는지 여부를 판단함으로써 보다 효율적인 차선 이탈 경고 시스템 및 방법을 제공할 수 있다.
도 1은 본 발명에 따른 차선이탈 경보 시스템의 구성을 나타낸 블록도.
도 2는 차선패턴 생성부에 의해 사용자의 디스플레이 상에 생성되는 차선 패턴을 예시한 도면.
도 3은 차선인식 영역 설정부에 따라 좌측 영역 및 우측 영역으로 설정된 영상을 예시한 도면.
도 4는 차선인식 영역 설정부에 따라 에지 성분에 대하여 수평축을 기준으로 일정 이상의 각도 한계선이 설정된 것을 예시한 도면.
도 5는 차선 인식 오류 방지부에 의해 거리 한계선이 설정된 것을 예시한 도면.
도 6은 차선이탈 경보 시스템에 따른 차선이탈 경보 방법을 도시한 흐름도.
이하, 첨부된 도면에 도시된 본 발명의 실시예를 참조하여 본 발명을 상세히 설명한다. 그러나 본 발명은 이밖에도 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시예로 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면 상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
도 1은 본 발명에 따른 차선이탈 경보 시스템의 구성을 나타낸 블록도이다.
도 1를 참조하면, 본 발명에 따른 차선이탈 경보 시스템(100)은 카메라로부터 연속적으로 촬영되는 복수의 영상들을 감지하는 영상 감지부(101), 상기 영상 감지부(101)에 의해 입력된 영상 중 차선 인식에 필요한 에지 성분을 강조하고, 강조된 에지 성분을 추출하는 에지 추출부(106), 추출된 에지 성분에서 직선 성분을 검출하여 차선으로 인식하는 차선 인식부(108), 인식된 차선으로부터 차선의 종류를 판단하는 차선종류 판단부(110), 상기 영상 감지부(101)에 의해 입력된 신호값으로부터 차선의 색상을 검출하는 차선색상 검출부(111), 인식된 차선의 종류 및 색상에 기해 디스플레이 상에 나타나는 차선에 따라 차선 패턴을 생성하는 차선패턴 생성부(113) 및 차선의 종류 및 색상, 방향 지시등의 상태를 고려하여 차량이 차선을 이탈하는지 여부를 판단하는 차선이탈 판단부(114)로 구성될 수 있다.
상기 영상 감지부(101)는 카메라로부터 연속적으로 촬영된 복수의 영상들을 감지하는 것으로, CMOS(complementary metal-oxide semiconductor) 센서로 구현될 수 있다.
영상 감지부(101)로부터 입력되는 복수의 영상들은 프레임(frame) 단위로 입력될 수 있으며, 이 경우, 상기 영상 감지부(101)는 CMOS 센싱 기능과 색 보간(color interpolation) 기능을 수행하여 제1 포맷(format)의 영상을 출력할 수 있고, 본 발명의 실시예에서 제1 포맷은 RGB영상이 될 수 수 있다.
본 발명에 따른 차선이탈 경보 시스템(100)은 상기 영상 감지부(101)로부터 입력된 RGB 이미지를 YCbCr 색 공간의 이미지로 변환하는 영상 변환부(102)를 추가로 포함할 수 있다.
YCbCr 색 공간이란 영상 시스템에서 사용되는 색공간의 일종으로, Y는 휘도 성분이고, Cb 와 Cr은 색채(chrominance)성분을 나타낸다. YCbCr은 절대 색 공간은 아니며, RGB 정보를 인코딩하는 방식의 하나로, 실제로 보여지는 이미지의 색은 신호를 디스플레이하기 위해 사용된 원본 RGB 정보에 의존한다. 이와 같은 YCbCr는 인간의 시각 시스템이 밝기보다 색깔에 덜 민감한 점을 이용하여 Cr, Cb 성분을 Y 성분보다 낮은 해상도로 표현함으로써, 시각적으로 화질의 큰 저하 없이 색채 성분을 나타내는데 필요한 데이터의 양을 줄일 수 있는 장점이 있다.
또한, 본 발명에 따른 차선이탈 경보 시스템(100)은 상기 영상 변환부(102)에 의해 변환된 이미지의 화질을 조정하기 위해 다운 스케일링을 수행하는 스케일링부(103)를 추가로 포함할 수 있다.
상기 스케일링부(103)는, 스케일러블 영상 부호화 장치가 어떠한 스케일러빌리티(scalability)를 이용하여 원 영상을 부호화할 것인지에 따라 여러 가지의 다운 스케일링을 수행할 수 있다. 일 예로써, 원 영상의 프레임을 수평 방향과 수직 방향으로 서브 샘플링함으로써 화면의 해상도를 낮출 수 있다. 다른 일 예로써, 원 영상을 구성하는 프레임들 중 일부 프레임들을 제거함으로써 원 영상의 프레임률을 낮출 수 있다. 또 다른 일 예로서, 원 영상을 구성하는 화소들의 비트 깊이(bit depth)를 8비트에서 6비트로 변경하는 등의 비트 깊이를 줄일 수 있다. 이와 같이, 스케일링부(103)에 의해 수행되는 다운 스케일링은 스케일러블 영상 부호화 기술에 따라 여러 가지 방법으로 수행될 수 있으며, 본 실시예에 따른 스케일링부(103)는 위에 열거한 방법에 제한되지 않는다.
또한, 본 발명에 따른 차선이탈 경보 시스템(100)은 상기 스케일링부(103)에 의해 다운 스케일링된 영상 중 차선이 존재하는 영역에 대하여 크로핑(Cropping)을 수행하는 크로핑 수행부(104)를 추가로 포함할 수 있다.
차선 인식에 필요한 바람직한 관심 영역(Region Of Interest:ROI)은 탐색해야 하는 범위를 최소화할 수 있도록 하되, 차선의 형상이 포함되어야 하므로, 상기 영상 감지부(101)에 의해 입력된 영상에 대해서 상하 한계선이 설정되도록 크로핑을 수행할 수 있다. 이와 같이, 크로핑을 수행하는 이유는 입력된 영상 전체에 대해 분석할 경우, 오히려 사용자에게 잘못된 정보를 전달할 수 있으며, 연산 과정이 복잡해질 수 있기 때문이다.
또한, 본 발명에 따른 차선이탈 경보 시스템(100)은 상기 크로핑 수행부(104)에 의해 크로핑된 영상 중 차선 인식에 노이즈로 작용하는 성분을 필터링 처리하는 노이즈 제거부(105)를 추가로 포함할 수 있다.
영상 자료의 취득, 변환 및 전송 과정에서 영상 취득 당시의 환경이나 센서의 감지도 이상 등에 의해 전자파 장해(Electromagnetic Interference:EMI)가 발생할 수 있는데, 이는 차선 인식에 있어서 노이즈로 작용할 수 있다. 이러한 차선 인식에 노이즈로 작용하는 성분을 제거하기 위해 스펙클(speckle) 필터링, 평균 필터링, 중앙값 필터링, 로컬 영역 필터링 및 시그마 필터링과 같은 몇몇 노이즈 감소 알고리즘을 이용할 수 있으며, 본 실시예에 따른 노이즈 제거부(105)는 위에 열거한 방법에 제한되지 않는다.
에지 추출부(106)는, 상기 영상 감지부(101)에 의해 입력된 영상에서 차선 인식에 필요한 에지 성분을 추출하는 것으로, 에지 성분을 효과적으로 추출하기 위하여 에지 성분을 추출하기에 앞서, 에지 성분을 강조할 수 있다.
에지 성분을 강조하는 방법은 히스토그램 분석을 통하여 이루어질 수 있다. 히스토그램은 영상 안에서 픽셀들에 대한 명도값의 분포를 나타낸 것으로, 수평축을 영상 신호의 명도값으로 지정하고, 수직축을 픽셀의 개수로 지정한 히스토그램을 이용하여 히스토그램 스트레칭을 수행한다.
하기의 수학식 1은 히스토그램 스트레칭이 수행되는 과정을 수식화한 것으로,
Figure pat00001
히스토그램의 왼쪽 부분에서 픽셀의 개수가 0이 아닌 가장 작은 명도값을 최소값(min)으로 지정하고, 오른쪽 부분에서 픽셀의 개수가 0이 아닌 가장 큰 명도값을 최대값(max)으로 지정한 다음, 현재의 명도값(Pin)에서 최소값(min)을 뺀 값을 명도값이 분포하는 범위(max-min)로 나눠 0 내지 1 사이의 값을 만들고, 여기에 명도값 레벨 범위인 255를 곱하면 좌우로 고른 분포를 가진 히스토그램을 얻을 수 있다. 이와 같이, 영상의 명도값 분포를 나타내는 히스토그램이 균일하게 되도록 명도값 분포를 재분해함으로써, 너무 밝거나 어두운 영상, 또는 어느 한 편으로 치우쳐진 영상을 개선할 수 있어 급격한 밝기 변화를 방지할 수 있다.
상기 히스트그램 스트레칭에 의하여 영상 내의 에지 성분이 강조되면, 에지 추출부(106)는 이를 바탕으로 차선 인식에 필요한 에지 성분을 추출할 수 있다.
에지 성분을 추출하는 대표적인 방법으로 케니 에지 추출법(Canny Edge Detector)이 있는데, 케니 에지 추출법은 영상의 구조적인 특성을 그대로 유지하면서 데이터를 단축시킬 수 있는 영상처리 기법으로, 소벨 연산자(Sobel Operator) 등의 가로와 세로방향 마스크를 이용하여 에지의 방향과 세기를 추출한다. 이 외에도, 에지 성분을 추출하는 방법은 프레윗 마스크(Prewitt Mask), 로버트 마스크(Robert Mask), 라플라시안 마스크(Laplacian Mask) 등을 이용하여 다양하게 수행될 수 있으며, 본 실시예에 따른 에지 추출부(106)에서 수행되는 연산은 위에 열거한 방법에 제한되지 않는다.
차선 인식부(108)는 상기 에지 추출부(106)로부터 추출된 에지 성분에 대해 직선 성분을 검출하여 차선으로 인식할 수 있다.
직선 성분을 검출하기 위하여 보편적으로 사용되는 방법으로 에지 성분에 대해 허프 변환(Hough Transform)을 수행하는 방법이 있다. 이를 위하여 먼저, 허프 변환의 계산량을 간소화하기 위해 상기 에지 추출부(106)에 추출된 에지 성분에 대해 세선화(thinning)작업을 수행한다. 그 다음, 세선화 작업이 수행된 에지 성분에 대해 허프 변환을 이용하여 2차원 영상 좌표에서의 직선의 방정식을 ρ(Rho)와 θ(Delta)의 파라미터(Parameter) 공간으로 변환한다. 2차원 영상 좌표에서의 직선의 방정식은 ρθ파라미터 공간에서 하나의 점으로 나타낼 수 있으므로, 2차원 영상 좌표에서 하나의 점을 지나는 무수히 많은 직선은 ρθ파라미터 공간에서 하나의 곡선으로 표시될 수 있고, 따라서, 에지 성분에 해당하는 모든 점의 좌표를 허프 변환에 의해 ρθ파라미터 공간으로 변환하면, ρθ파라미터 공간에서는 에지 성분의 수에 해당하는 만큼의 곡선이 나타날 수 있다. 즉, ρθ파라미터 공간에서 하나의 곡선은 에지 성분에 해당하는 하나의 점을 지나는 무수히 많은 직선을 의미하므로, ρθ파라미터 공간의 곡선들이 가장 많이 교차하는 교점을 찾으면, 그 교점의 ρ값과 θ값에 해당하는 2차원 영상 좌표에서의 직선이 차선으로 인식될 수 있다.
여기서, ρθ파라미터 공간의 곡선들이 가장 많이 교차하는 교점을 찾기 위하여, 축적 배열(Accumulation Array)을 이용할 수 있다. 각 행에 θ값을 지정하고, 각 열에 ρ값을 지정한 2차원 배열을 만든 후, ρθ파라미터 공간에서의 곡선에 해당하는 배열의 값을 1씩 증가시키면, 축적 배열에서 각 배열이 가지는 값은 당해 배열의 ρ값과 θ값을 지나는 ρθ파라미터 공간에서의 곡선의 수가 되고, 이는 곧, 2차원 영상 좌표에서의 직선을 지나는 에지 성분의 수를 의미하므로, 축적 배열에서 가장 큰 값을 가지는 배열의 ρ값과 θ값에 해당하는 2차원 영상 좌표에서의 직선이 차선으로 인식될 수 있는 것이다.
차선종류 판단부(110)는 상기 차선 인식부(108)에 의해 인식된 차선이 실선인지 또는 점선인지를 판단할 수 있다.
하기의 수학식 2는 차선의 종류를 판단하는 과정을 수식화한 것으로,
Figure pat00002
상기 축적 배열에서 가장 큰 값을 가지는 배열의 값을 acc_max로 지정하고, 실선을 지나는 에지 성분의 수를 미리 설정한 제1임계값을 straight_line_th로, 점선을 지나는 에지 성분의 수를 미리 설정한 제2임계값을 dotted_line_th로 지정한다. 그 다음, acc_max를 straight_line_th 및 dotted_line_th와 비교하여, acc_max가 straight_line_th보다 크면 실선으로 판단하고, acc_max가 dotted_line_th보다 작으면 점선으로 판단할 수 있다. 즉, 상술한 바와 같이, 축적 배열에서 각 배열이 가지는 값은 2차원 영상 좌표에서의 직선을 지나는 에지 성분의 수를 의미하므로, 실선의 경우 점선에 비해 직선을 지나는 에지 성분의 수가 많은 것을 고려하여 설정한 임계값을 acc_max와 비교함으로써 차선의 종류를 판단할 수 있는 것이다.
여기서, straight_line_th만을 임계값으로 하여 straight_line_th보다 크면 실선으로, straight_line_th보다 작으면 점선으로 판단할 수도 있고, 또한, 상기 dotted_line_th을 dotted_line_th_1, dotted_line_th_2,....,dotted_line_th_n과 같이 수개의 임계값으로 분류하여 보다 정밀하게 판단할 수도 있음은 물론이다.
차선색상 검출부(111)는 상기 영상 감지부(101)에 의해 입력된 RGB 신호값으로부터 차선의 색상을 검출할 수 있다.
RGB는 색을 정의하는 색 모델 또는 색 표시 방식으로, 빛의 3원색인 적?녹?청을 혼합하여 색을 나타낼 수 있다. 따라서, 화면상에서 한 픽셀의 색은 적?녹?청 3색의 조합으로 만들어질 수 있으므로, 상기 영상 감지부(101)에 의해 입력된 RGB 신호값이 미리 설정된 RGB 임계값 범위에 속하는지를 확인하여 차선의 색상을 판단할 수 있다.
하기의 수학식 3은 차선의 색상을 판단하는 과정을 수식화한 것으로,
Figure pat00003
예를 들어, designated_1_color를 노란색으로 지정하면, 노란색의 경우 RGB색상 코드값(Color Value)이 (255,255,0)이므로, 상기 영상 감지부(101)에 의해 입력된 RGB 신호값 중 레드(R)값이 245(Cth_1_l) 내지 255(Cth_1_h) 범위에 존재하고, 그린(G)값이 245(Cth_1_l) 내지 255(Cth_1_h) 범위에 존재하며, 블루(B)값이 0(Cth_1_l) 내지 10(Cth_1_h) 범위에 존재하는 경우, 차선의 색상을 노란색으로 판단할 수 있다.
이와 같은 과정을 통하여 차선의 색상을 노란색으로 검출되면, 하기 후술할 차선이탈 판단부(114)는 이를 중앙선으로 인식하여 보다 효과적으로 차선의 이탈 여부를 판단할 수 있게 된다.
본 발명에 따른 차선이탈 경보 시스템(100)은 상기 차선색상 검출부(111)에 의해 차선색상이 검출되기 전, 상기 영상 감지부(101)에 의해 입력된 영상 신호값에 대하여 자동 화이트 밸런스(AWB)를 적용하는 자동 화이트 밸런스 적용부(112)를 추가로 포함할 수 있다.
사람의 경우 색에 대한 순응성이 있어 조명이 변하더라도 색의 차이를 느끼지 못하지만, 카메라의 경우 색에 대한 순응성이 없어 조명이 변하면 그에 따라 색상을 다르게 인식할 수 있다. 따라서, 태양 또는 차량의 전방 라이트 등에 의해 카메라가 차선의 색상을 다르게 인식하는 현상을 제어하기 위하여 자동 화이트 밸런스를 적용하는 것이다.
차선패턴 생성부(113)는 상기 차선 인식부(108)와, 차선종류 판단부(110) 및 차선색상 검출부(111)에 의해 인식된 차선의 종류 및 색상에 기해 디스플레이 상에 나타나는 차선에 따라 차선의 패턴을 생성할 수 있다.
도 2는 차선패턴 생성부(113)에 의해 사용자의 디스플레이 상에 생성되는 차선 패턴을 예시한 도면으로써, 도 2를 참조하면, 디스플레이 상에 생성되는 차선 패턴은 상기 차선색상 검출부(111)로부터 검출된 차선의 색상과 동일한 색으로 형성될 수 있으며, 또한, 점선의 경우에도 운전자가 차선 변경이 가능한 구역임을 시각적으로 쉽게 구별할 수 있도록 점선의 형태로 형성될 수 있도록 하는 것이 효과적일 수 있다. 한편, 상기 차선패턴 생성부(113)는 영상에 짤라 붙인 듯한 느낌을 제거하기 위하여 블러(Blur)처리를 추가로 수행할 수 있으며, 또한, 디스플레이에 나타나는 영상과 디스플레이 상에 생성되는 차선 패턴을 시각적으로 구별하여 주기 위해 하기의 수학식 4를 이용하여 차선 패턴의 굵기값을 조절할 수 있다.
Figure pat00004
여기서, n은 디스플레이 상에 나타나는 차선의 중심 좌표값이고, k는 조절하고자 하는 굵기의 절반값으로, 상기의 수학식 4에 따라 사용자의 디스플레이 상에 생성되는 차선 패턴의 굵기는 2k값을 가질 수 있다.
차선위반 판단부(114)는 상기 인식된 차선을 바탕으로 차량이 차선에 근접하는 경우, 운전자에게 차선을 이탈하고 있음을 알려주는 경고음을 발생시킬 수 있다.
차선 중 실선은 차선 변경 금지 구역을 나타내고, 점선은 차선 변경이 가능한 구역을 나타내므로, 상기 차선종류 판단부(110)에서 차선을 실선으로 판단한 경우, 차선을 중심으로 차량이 일정 거리 이하로 접근하면 경고음을 발생시킨다. 이와 반대로, 상기 차선종류 판단부(110)에서 차선을 점선으로 판단한 경우, 방향 지시등의 온(On)/오프(Off) 상태를 확인하여, 방향 지시등이 온(On) 상태로 확인되면 차선을 중심으로 차량이 일정 거리 이하로 접근하더라도 이는 운전자가 차선 변경을 위하여 접근하는 것으로 인식하여 경고음을 발생시키지 않고, 방향 지시등이 오프(Off) 상태로 확인되면 경고음을 발생시킨다. 그리고, 상기 차선색상 검출부(111)에 따라 차선을 중앙선으로 인식한 경우, 차선을 중심으로 차량이 일정 거리 이하로 접근하면 경고음을 발생시킨다.
이와 같이, 실선 또는 점선, 중앙선에 따라 경보 여부를 조절할 수 있도록 설계함으로써, 종래 차선의 종류에 상관없이 경보음을 발생시키는 차선이탈 경보 시스템에 비해 효과적으로 운전자의 안정성을 도모할 수 있다.
한편, 본 발명에 따른 차선이탈 경보 시스템(100)은 상기 차선 인식부(108)에 의해 차선이 인식되기 전, 상기 에지 추출부(106)로부터 추출된 에지 성분 중 차선 인식에 필요한 영역을 설정하는 차선인식영역 설정부(107)를 추가로 포함할 수 있다.
도 3은 차선인식영역 설정부(107)에 따라 좌측 영역 및 우측 영역으로 설정된 영상을 예시한 도면이다.
상기 에지 추출부(106)에 의해 추출된 에지 성분은 크게 차량을 기준으로 좌측 차선에 대한 에지 성분과 우측 차선에 대한 에지 성분으로 구분될 수 있으므로, 좌측 차선에 대한 에지 성분을 기준으로 일정 폭의 좌우 한계선을 설정하여 좌측 영역을 설정하고, 우측 차선에 대한 에지 성분을 기준으로 일정 폭의 좌우 한계선을 설정하여 우측 영역을 설정할 수 있다.
이와 같이, 에지 성분이 추출된 영상을 좌측 영역 및 우측 영역으로 설정한 다음, 설정된 영역에 대해서만 차선 인식 여부를 판단하면, 차선의 이탈 여부 판단에 불필요한 차량의 정면 부분의 에지 성분에 대해서는 연산 과정을 생략할 수 있고, 보다 효과적이고 정확하게 차선을 인식할 수 있다.
영상이 좌측 영역 및 우측 영역으로 설정되면, 차선인식영역 설정부(107)는 차선에 해당하는 에지 성분에 대하여 수평축을 기준으로 일정 이상의 각도 한계선을 설정하는 것을 추가로 수행할 수 있다.
도 4는 차선인식영역 설정부(107)에 따라 에지 성분에 대하여 수평축을 기준으로 일정 이상의 각도 한계선이 설정된 것을 예시한 도면으로써, 도 4를 참조하면, 차선인식영역 설정부(107)는 좌측 차선에 해당하는 에지 성분에 대해 수평축을 기준으로 마이너스(-) 값을 가지는 일정 이상의 각도를 설정하고, 우측 차선에 해당하는 에지 성분에 대해 플러스(+) 값을 가지는 일정 이상의 각도를 설정할 수 있다.
이와 같이, 수평축을 기준으로 에지 성분에 대하여 일정 이상의 각도 한계선을 설정하는 이유는, 차량이 90도로 회전하지 못하는 특성을 이용한 것으로, 차량이 진행할 수 없는 각도 한계선 내의 에지 성분에 대해서는 계산할 필요가 없기 때문이다. 이에 따라, 차선의 이탈 여부 판단에 불필요한 수평 성분에 가까운 직선들의 추출을 제한할 수 있어, 보다 효과적이고 정확하게 차선을 인식할 수 있다.
한편, 본 발명에 따른 차선이탈 경보 시스템(100)은 상기 차선 인식부(108)의 오작동으로 인하여 차선을 잘못 인식하는 경우 다시 차선을 인식하도록 제어하는 차선인식오류 방지부(109)를 추가로 포함할 수 있다.
도 4는 차선인식오류 방지부(109)에 의해 거리 한계선이 설정된 것을 예시한 도면으로써, 도 4에 참조하면, 차선인식오류 방지부(109)는 좌측 차선과 우측 차선간의 폭과 마진 영역을 고려한 거리 한계선을 설정한다. 그리고, 상기 차선 인식부(108)에 따라 인식된 좌측 차선과 우측 차선간의 폭을 구한 다음, 그 값을 상기 거리 한계선과 비교한다. 상기 차선 인식부(108)에 따라 인식된 좌측 차선과 우측 차선간의 폭이 상기 거리 한계선을 초과하는 경우, 차선인식오류 방지부(109)는 이를 차선 인식부(108)의 오작동으로 판단하고 다시 차선을 인식하도록 차선 인식부(108)를 제어한다. 차선 인식부(108)에 따라 인식된 좌측 차선과 우측 차선간의 폭이 상기 거리 한계선을 초과하였다는 것은, 나올 수 없는 좌측 차선과 우측 차선간의 폭이 산출된 것으로, 차선 인식부(108)의 오작동으로 판단할 수 있기 때문이다.
이와 같이, 거리 한계선을 설정하여 차선 인식부(108)의 오작동을 방지할 수 있도록 설계됨에 따라, 종래 차선이탈 경보 시스템에 비해 신뢰성있는 차선 인식 수단을 제공할 수 있게 된다.
이제, 상기 차선이탈 경보 시스템에 따른 차선이탈 경보 방법에 대해 설명하기로 한다.
도 6은 차선이탈 경보 시스템에 따른 차선이탈 경보 방법을 도시한 흐름도로써, 도 6을 참조하면, 본 발명에 따른 차선이탈 경보 방법은 먼저, 카메라로부터 연속적으로 촬영되는 복수의 영상들을 감지하는 영상 감지 단계를 수행한다(S201).
상기 영상 감지 단계 이후, 본 발명에 따른 차선이탈 경보 방법은 상기 카메라로부터 입력된 RGB 이미지를 YCbCr 색 공간의 이미지로 변환하는 영상 변환 단계를 추가로 수행할 수 있다(S202).
또한, 본 발명에 따른 차선이탈 경보 방법은 상기 영상 변환 단계(S202)에 의해 변환된 이미지의 화질을 조정하기 위해 다운 스케일링을 수행하는 스케일링 단계를 추가로 수행할 수 있다(S203).
또한, 본 발명에 따른 차선이탈 경보 방법은 상기 스케일링 단계(S203)에 의해 다운 스케일링된 영상 중 차선이 존재하는 영역에 대해서는 크로핑(Cropping)을 수행하는 크로핑 단계를 추가로 수행할 수 있다(S204).
또한, 본 발명에 따른 차선이탈 경보 방법은 상기 크로핑 단계(S204)에 의해 크로핑된 영상 중 차선 인식에 노이즈로 작용하는 성분을 필터링 처리하는 노이즈 제거단계를 추가로 수행할 수 있다(S205).
상기 영상 감지 단계(S201)에 따라 영상이 입력되면 차선 인식에 필요한 에지 성분을 강조하고, 상기 에지 성분을 추출하는 에지 추출 단계를 수행한다(S206).
상기 에지 추출 단계(S206)에 따라 에지 성분이 추출되면, 추출된 에지 성분에서 직선 성분을 검출하여 차선으로 인식하는 차선 인식 단계를 수행한다(S208).
그 다음, 상기 차선 인식 단계(S208)에 따라 인식된 차선으로부터 차선의 종류를 판단하는 차선종류 판단 단계를 수행한다(S210).
상기 차선종류 판단 단계(S210)에 따라, 차선의 종류가 판단되면, 상기 영상 감지부(101)에 의해 입력된 영상 신호값으로부터 차선의 색상을 검출하는 차선색상 검출 단계를 수행한다(S211).
그 다음, 상기 차선 인식 단계(S208)와, 차선종류 판단 단계(S210), 그리고 차선색상 검출 단계(S211)에 의해 인식된 차선의 종류 및 색상에 기해, 디스플레이 상에 나타나는 차선에 따라 차선 패턴을 생성하는 차선 패턴 생성 단계를 수행한다(S212).
상기 차선 패턴 생성 단계가 수행되면, 차량이 차선에 근접하는지 여부와 방향 지시등의 온(On)/오프(Off) 상태를 확인하여, 차량이 차선을 이탈하는 여부를 판단하는 차선이탈 판단 단계를 수행한다(S213).
한편, 본 발명에 따른 차선이탈 경보 방법은 상기 차선 인식부(108)에 의해 차선이 인식되기 전, 상기 에지 추출부(106)로부터 추출된 에지 성분 중 차선 인식에 필요한 영역을 설정하는 차선인식영역 설정 단계를 추가로 수행할 수 있다(S207).
또한, 본 발명에 따른 차선이탈 경보 방법은 상기 차선 인식 단계(S207) 이후, 상기 차선 인식부(108)의 오작동으로 인하여 차선을 잘못 인식하였는지 판단하는 차선인식 오류 방지 단계를 추가로 수행할 수 있고(S209), 상기 차선인식 오류 방지 단계(S209)에서 차선을 잘못 인식한 것으로 판단한 경우, 상기 차선 인식 단계(S208)로 분기할 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니고, 첨부된 청구범위에 의해 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
100 : 차선이탈 경보 시스템
101 : 영상 감지부
102 : 영상 변환부
103 : 스케일링부
104 : 크로핑 수행부
105 : 노이즈 제거부
106 : 에지 추출부
107 : 차선인식 오류 방지부
108 : 차선 인식부
109 : 차선인식오류 방지부
110 : 차선종류 판단부
111 : 차선색상 검출부
112 : AWB 적용부
113 : 차선패턴 생성부
114 : 차선이탈 판단부

Claims (21)

  1. 차선이탈 경보 시스템에 있어서,
    카메라로부터 연속적으로 촬영되는 복수의 영상들을 감지하는 영상 감지부;
    상기 영상 감지부에 의해 입력된 영상 중 차선 인식에 필요한 에지 성분을 강조하고, 강조된 에지 성분을 추출하는 에지 추출부;
    추출된 에지 성분에서 직선 성분을 검출하여 차선으로 인식하는 차선 인식부;
    인식된 차선으로부터 차선의 종류를 판단하는 차선종류 판단부;
    상기 영상 감지부에 의해 입력된 영상 신호값으로부터 차선의 색상을 검출하는 차선색상 검출부;
    인식된 차선의 종류 및 색상에 기해 디스플레이 상에 나타나는 차선에 따라 차선 패턴을 생성하는 차선패턴 생성부; 및
    차선의 종류 및 색상, 방향 지시등의 상태를 고려하여 차량이 차선을 이탈하는지 여부를 판단하는 차선이탈 판단부;
    를 포함하는 차선이탈 경보 시스템.
  2. 제 1 항에 있어서,
    상기 차선 인식부에 의해 차선이 인식되기 전, 상기 에지 추출부로부터 추출된 에지 성분 중 차선 인식에 필요한 영역을 설정하는 차선인식영역 설정부를 추가로 포함하는 차선이탈 경보 시스템.
  3. 제 2 항에 있어서,
    상기 차선인식영역 설정부는 상기 에지 추출부에 의해 추출된 좌측 차선에 대한 에지 성분과 우측 차선에 대한 에지 성분을 기준으로 각각 일정 폭의 좌우 한계선을 설정하여 좌측 영역 및 우측 영역을 설정하는 것으로 이루어지는 차선이탈 경보 시스템.
  4. 제 3 항에 있어서,
    상기 차선인식영역 설정부는 차선에 해당하는 에지 성분에 대하여 수평축을 기준으로 일정 이상의 각도 한계선을 설정하는 것을 추가로 수행하는 차선이탈 경보 시스템.
  5. 제 1 항에 있어서,
    상기 차선 인식부의 오작동으로 인하여 차선을 잘못 인식하는 경우 다시 차선을 인식하도록 제어하는 차선인식 오류 방지부를 추가로 포함하는 차선이탈 경보 시스템.
  6. 제 5 항에 있어서,
    상기 차선인식 오류 방지부는 상기 차선 인식부에 따라 인식된 좌측 차선과 우측 차선의 폭을 구하고, 그 값을 미리 설정된 거리 한계선과 비교함으로써 이루어지는 차선이탈 경보 시스템.
  7. 제 1 항에 있어서,
    상기 영상 감지부에 의해 입력된 RGB 이미지를 YCbCr 컬러 공간의 이미지로 변환하는 영상 변환부를 추가로 포함하는 차선이탈 경보 시스템.
  8. 제 7 항에 있어서,
    상기 영상 변환부에 의해 변환된 이미지의 화질을 조정하기 위해 다운 스케일링을 수행하는 스케일링부를 추가로 포함하는 차선이탈 경보 시스템.
  9. 제 8 항에 있어서,
    상기 스케일링부에 의해 다운 스케일링된 영상 중 차선이 존재하는 영역에 대하여 크로핑을 수행하는 크로핑 수행부를 추가로 포함하는 차선이탈 경보 시스템.
  10. 제 9 항에 있어서,
    상기 크로핑 수행부에 의해 크로핑된 영상 중 차선 인식에 노이즈로 작용하는 성분을 필터링 처리하는 노이즈 제거부를 추가로 포함하는 차선이탈 경보 시스템.
  11. 제 1 항에 있어서,
    상기 차선종류 판단부는 축적 배열에서 가장 큰 값을 가지는 배열의 값을 미리 설정된 임계값과 비교함으로써 이루어지는 차선이탈 경보 시스템.
  12. 제 1 항에 있어서,
    상기 차선색상 검출부는 상기 영상 감지부에 의해 입력된 영상 신호값을 미리 설정된 임계값의 범위에 속하는지 확인하여 이루어지는 차선이탈 경보 시스템.
  13. 제 1 항에 있어서,
    상기 차선색상 검출부에 의해 차선색상이 검출되기 전, 상기 영상 감지부에 의해 입력된 영상 신호값에 대하여 자동 화이트 밸런스(AWB)를 적용하는 자동 화이트 밸런스 적용부를 추가로 포함하는 차선이탈 경보 시스템.
  14. 차선이탈 경보 방법에 있어서,
    카메라로부터 연속적으로 촬영되는 복수의 영상들을 감지하는 영상 감지 단계;
    상기 영상 감지 단계에 의해 입력된 영상 중 차선 인식에 필요한 에지 성분을 강조하고, 상기 에지 성분을 추출하는 에지 추출 단계;
    상기 추출된 에지 성분에서 직선 성분을 검출하여 차선으로 인식하는 차선 인식 단계;
    상기 차선 인식 단계에 따라 인식된 차선으로부터 차선의 종류를 판단하는 차선종류 판단 단계;
    상기 영상 감지부에 의해 입력된 영상 신호값으로부터 차선의 색상을 검출하는 차선색상 검출 단계;
    상기 인식된 차선의 종류 및 색상에 기해, 디스플레이 상에 나타나는 차선에 따라 차선 패턴을 생성하는 차선패턴 생성 단계; 및
    차선의 종류 및 색상, 방향 지시등의 상태를 고려하여 차량이 차선을 이탈하는지 여부를 판단하는 차선이탈 판단 단계;
    를 포함하는 차선이탈 경보 방법.
  15. 제 14 항에 있어서,
    상기 차선 인식부에 의해 차선이 인식되기 전, 상기 에지 추출부로부터 추출된 에지 성분 중 차선 인식에 필요한 영역을 설정하는 차선인식영역 설정 단계를 추가로 포함하는 차선이탈 경보 방법.
  16. 제 14 항에 있어서,
    상기 차선인식 단계 이후, 상기 차선 인식부의 오작동으로 인하여 차선을 잘못 인식하였는지 판단하는 차선인식 오류 방지 단계를 추가로 포함하는 차선이탈 경보 방법.
  17. 제 16 항에 있어서,
    상기 차선인식 오류 방지 단계에서 차선을 잘못 인식한 것으로 판단한 경우, 상기 차선 인식 단계로 분기하는 차선이탈 경보 방법.
  18. 제 14 항에 있어서,
    상기 영상 감지 단계 이후, 상기 카메라로부터 입력된 RGB 이미지를 YCbCr 색 공간의 이미지로 변환하는 영상 변환 단계를 추가로 포함하는 차선이탈 경보 방법.
  19. 제 18 항에 있어서,
    상기 영상 변환 단계에 의해 변환된 이미지의 화질을 조정하기 위해 다운 스케일링을 수행하는 스케일링 단계를 추가로 포함하는 차선이탈 경보 방법.
  20. 제 19 항에 있어서,
    상기 스케일링 단계에 의해 다운 스케일링된 영상 중 차선이 존재하는 영역에 대하여 크로핑(Cropping)을 수행하는 크로핑 단계를 추가로 포함하는 차선이탈 경보 방법.
  21. 제 20 항에 있어서,
    상기 크로핑 단계에 의해 크로핑된 영상 중 차선 인식에 노이즈로 작용하는 성분을 필터링 처리하는 노이즈 제거단계를 추가로 포함하는 차선이탈 경보 방법.

KR1020100131452A 2010-12-21 2010-12-21 차선이탈 경보 시스템 및 방법 KR101472615B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100131452A KR101472615B1 (ko) 2010-12-21 2010-12-21 차선이탈 경보 시스템 및 방법
US13/326,148 US20120154588A1 (en) 2010-12-21 2011-12-14 Lane departure warning system and method
EP11275164A EP2477139A3 (en) 2010-12-21 2011-12-21 Lane departure warning system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131452A KR101472615B1 (ko) 2010-12-21 2010-12-21 차선이탈 경보 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120089528A true KR20120089528A (ko) 2012-08-13
KR101472615B1 KR101472615B1 (ko) 2014-12-16

Family

ID=45571333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131452A KR101472615B1 (ko) 2010-12-21 2010-12-21 차선이탈 경보 시스템 및 방법

Country Status (3)

Country Link
US (1) US20120154588A1 (ko)
EP (1) EP2477139A3 (ko)
KR (1) KR101472615B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279712B1 (ko) * 2011-09-09 2013-06-27 연세대학교 산학협력단 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
KR20170059134A (ko) * 2015-11-20 2017-05-30 주식회사 만도 차선 이탈 경고 장치 및 방법
KR20190048284A (ko) * 2017-10-31 2019-05-09 주식회사 켐트로닉스 서라운드 뷰 모니터링 시스템
WO2019088591A3 (ko) * 2017-10-31 2019-06-27 주식회사 켐트로닉스 서라운드 뷰 모니터링 시스템
KR102127276B1 (ko) * 2018-12-11 2020-06-26 주식회사 인텔리빅스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR102192844B1 (ko) 2019-08-21 2020-12-18 주식회사 만도 차선 검출을 위한 색상 이미지 개선 장치 및 그 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003686A (ja) * 2011-06-13 2013-01-07 Sony Corp 認識装置および方法、プログラム、並びに記録媒体
KR101295092B1 (ko) * 2011-12-28 2013-08-09 현대자동차주식회사 차량용 색상검출기
KR101382902B1 (ko) * 2012-06-29 2014-04-23 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
SE538984C2 (sv) * 2013-07-18 2017-03-14 Scania Cv Ab Fastställande av körfältsposition
KR101510336B1 (ko) * 2013-11-14 2015-04-07 현대자동차 주식회사 차량용 운전자 지원 시스템의 검사 장치
KR101510338B1 (ko) * 2013-11-22 2015-04-07 현대자동차 주식회사 차량용 차선 이탈 경보 시스템의 검사 장치
KR101502511B1 (ko) * 2013-11-28 2015-03-13 현대모비스 주식회사 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
JP5908946B2 (ja) * 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
DE102015117535A1 (de) * 2014-10-17 2016-04-21 Hyundai Mobis Co., Ltd. Vorrichtung und Verfahren zur Fahrerassistenz
KR101730713B1 (ko) 2015-03-17 2017-04-27 단국대학교 산학협력단 다중 안테나 시스템에서의 패킷 전송방법 및 장치
KR101847836B1 (ko) * 2015-12-24 2018-04-11 현대자동차주식회사 도로 경계 검출 시스템 및 방법과 이를 이용한 차량
CN106203398B (zh) * 2016-07-26 2019-08-13 东软集团股份有限公司 一种检测车道边界的方法、装置和设备
KR101976425B1 (ko) * 2016-09-22 2019-05-09 엘지전자 주식회사 차량 운전 보조 장치
BR112019006057B1 (pt) * 2016-09-27 2022-12-06 Nissan Motor Co., Ltd Método de estimativa de auto-posição e dispositivo de estimativa de auto-posição
IT201600132670A1 (it) 2016-12-30 2018-06-30 St Microelectronics Srl Procedimento per generare un avvertimento di abbandono corsia in un veicolo, relativo sistema e prodotto informatico
CN106828460A (zh) * 2017-03-02 2017-06-13 深圳明创自控技术有限公司 一种安全性高的汽车防撞全自动驾驶仪
KR102356259B1 (ko) * 2017-03-03 2022-01-27 삼성전자 주식회사 전자 장치 및 전자 장치 제어 방법
KR102010425B1 (ko) * 2017-11-08 2019-08-13 (주)코스텍 차선이탈 경고 시스템
JP2020087001A (ja) * 2018-11-27 2020-06-04 株式会社デンソー 車線位置情報出力装置
KR102395845B1 (ko) * 2020-12-02 2022-05-09 (주)베라시스 전방영상 기반 차선상태 검출방법
CN116331220B (zh) * 2023-05-12 2023-08-04 禾多科技（北京）有限公司 一种自动驾驶车辆的车道偏离预警方法及预警系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JP3690283B2 (ja) * 2001-01-18 2005-08-31 日産自動車株式会社 車線追従制御装置
US7260465B2 (en) * 2002-04-30 2007-08-21 Ford Global Technology, Llc Ramp identification in adaptive cruise control
JP4414369B2 (ja) * 2005-06-03 2010-02-10 本田技研工業株式会社 車両及び路面標示認識装置
US20080036859A1 (en) * 2006-08-11 2008-02-14 Yuh-Chin Chang Digital surveillance camera
KR100811499B1 (ko) 2006-08-29 2008-03-07 쌍용자동차 주식회사 자동차의 차선이탈경보 장치 및 그 방법
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8204277B2 (en) * 2008-07-18 2012-06-19 GM Global Technology Operations LLC Apparatus and method for camera-bases lane marker detection

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279712B1 (ko) * 2011-09-09 2013-06-27 연세대학교 산학협력단 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
KR20170059134A (ko) * 2015-11-20 2017-05-30 주식회사 만도 차선 이탈 경고 장치 및 방법
KR20190048284A (ko) * 2017-10-31 2019-05-09 주식회사 켐트로닉스 서라운드 뷰 모니터링 시스템
WO2019088595A1 (ko) * 2017-10-31 2019-05-09 주식회사 켐트로닉스 서라운드 뷰 모니터링 시스템
WO2019088591A3 (ko) * 2017-10-31 2019-06-27 주식회사 켐트로닉스 서라운드 뷰 모니터링 시스템
KR102127276B1 (ko) * 2018-12-11 2020-06-26 주식회사 인텔리빅스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR102192844B1 (ko) 2019-08-21 2020-12-18 주식회사 만도 차선 검출을 위한 색상 이미지 개선 장치 및 그 방법

Also Published As

Publication number Publication date
US20120154588A1 (en) 2012-06-21
KR101472615B1 (ko) 2014-12-16
EP2477139A2 (en) 2012-07-18
EP2477139A3 (en) 2012-09-19

Similar Documents

Publication Publication Date Title
KR101472615B1 (ko) 차선이탈 경보 시스템 및 방법
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
US8391555B2 (en) Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
EP1887521B1 (en) Vehicle and road sign recognition device
EP2919197B1 (en) Object detection device and object detection method
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
US8050456B2 (en) Vehicle and road sign recognition device
KR101094752B1 (ko) 에이치에스아이 색정보의 통계적 모델을 이용한 차선 분류방법
US9436878B2 (en) Lane mark recognition device
US8934669B2 (en) Self-adaptive image-based obstacle detection method
EP1909230A1 (en) Vehicle and lane mark recognition apparatus
EP3506169A2 (en) Driver assistance system and method for object detection and notification
KR102066290B1 (ko) 차량의 영상인식장치 및 그 방법
KR20140022197A (ko) 차선 인식 방법 및 이를 이용한 차선 이탈 경보 시스템
JP2016110373A (ja) カーブミラー検出装置
KR101669447B1 (ko) 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법
CN109416747B (zh) 目标颜色识别方法、装置以及计算机系统
JP5642785B2 (ja) 車両の周辺監視装置
CN110321828B (zh) 一种基于双目摄像机和车底阴影的前方车辆检测方法
CN110532993B (zh) 一种人脸防伪方法、装置、电子设备及介质
CN112488031A (zh) 一种基于颜色分割的安全帽检测方法
JP4623044B2 (ja) 眼の開閉状態検出装置
Chandiramani et al. Vision based road sign detection and recognition
KR101676376B1 (ko) 차선 인식 장치 및 차선 인식 방법
KR101451070B1 (ko) 그림자에 의한 인식 오류를 제거하여 차량 번호를 인식하는 방법 및 차량 번호 인식 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee