KR20100085288A - 차선 이탈 경보 방법 및 시스템 - Google Patents

차선 이탈 경보 방법 및 시스템 Download PDF

Info

Publication number
KR20100085288A
KR20100085288A KR1020090004477A KR20090004477A KR20100085288A KR 20100085288 A KR20100085288 A KR 20100085288A KR 1020090004477 A KR1020090004477 A KR 1020090004477A KR 20090004477 A KR20090004477 A KR 20090004477A KR 20100085288 A KR20100085288 A KR 20100085288A
Authority
KR
South Korea
Prior art keywords
lane
determined
camera
previous frame
line
Prior art date
Application number
KR1020090004477A
Other languages
English (en)
Other versions
KR101018033B1 (ko
Inventor
신성효
Original Assignee
주식회사 다비안
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다비안 filed Critical 주식회사 다비안
Priority to KR1020090004477A priority Critical patent/KR101018033B1/ko
Publication of KR20100085288A publication Critical patent/KR20100085288A/ko
Application granted granted Critical
Publication of KR101018033B1 publication Critical patent/KR101018033B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차선이 표시된 도로를 운전하는 차량의 차선 이탈을 자동으로 인식하여 경보를 내리는 차선 이탈 경보 방법 및 시스템에 관한 것이다.
본 발명은, 최소한의 변수를 사용하여 노이즈원을 가능한 줄여 차선 이탈을 정확히 감지하도록 하도록 하는 차선 이탈 경보 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적에 의하면, 차선 이탈 경보 방법에 있어서, (a) 차량에서 촬영된 영상을 취득하는 단계; (b) 탑햇 필터(Top-Hat Filter)를 이용하여, 단계 (a)에서 취득된 영상의 기결정된 차선 후보 영역에서 차선 정보를 추출하는 단계; (c) 허프 변환(Hough Transform)을 이용하여, 단계 (b)에서 추출된 상기 차선 정보에 대한 하나 이상의 직선 방정식을 추출하는 단계; (d) 이전 프레임에서 확정된 차선을 이용하여, 단계 (c)에서 추출된 하나 이상의 직선 방정식에 의한 하나 이상의 직선들 중 차선을 확정하는 단계; 및 (e) 단계 (d)에서 확정된 차선을 이용하여 차선 이탈 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보 방법 및 이를 제공하기 위한 시스템을 제공한다.
본 발명에 의하면, 차선 추출 방법, 차선 후보 영역 판단 방법 및 차선 이탈 판단 방법 등을 제시함으로써, 최소한의 변수를 사용하여 노이즈원을 가능한 줄여 차선 이탈을 정확히 감지할 수 있다는 효과가 있다.
차선 이탈, 경보, 차선 추출, 차선 후보 영역

Description

차선 이탈 경보 방법 및 시스템{Method and System for Warning Lane Departure}
본 발명은 차선이 표시된 도로를 운전하는 차량의 차선 이탈을 자동으로 인식하여 경보를 내리는 차선 이탈 경보 방법 및 시스템에 관한 것으로, 더욱 상세하게는 차선 추출, 허프 변환(Hough Transform), 후보 영역 검출 기법 등을 이용하여 차량의 차선 이탈 여부를 정확히 인식하여 경고하는 신뢰성이 제고된 차선 이탈 경보 방법 및 시스템에 관한 것이다.
종래의 차선 이탈 인식 방법은 차선의 폭, 차선의 곡률 반경, 차선 횡단 시간, 차선 중심과 카메라 광학축 사이의 차이 등 다양한 많은 변수들이 고려되어야 하기 때문에 그만큼 많은 노이즈원을 포함하고 있어 정확히 차선 이탈을 인식하기가 어려웠다.
또한, 종래의 차선 이탈 인식 방법은 카메라 캘리브레이션(Camera Calibration)과 좌표 변환(Coordinate Transformation)이 이루어져야 했으며, 또 다른 방법에서는 도로 모델을 필요로 하는 등과 같이 복잡한 계산과 절차가 수반되어야 했다.
또한, 종래의 에지 분포 함수(EDF: Edge Distribution Function)에 기초한 차선 이탈 인식 시스템은 차선 표식이 끊긴 곡선의 도로에 대해서는 부정확하였고, 운전중인 차선의 중심으로부터 차량이 이탈하지 않은 경우에도 잘못된 경보음을 발생시킬 수 있는 요소가 있다는 문제점이 있다.
상기한 문제점을 해결하기 위해 본 발명은, 최소한의 변수를 사용하여 노이즈원을 가능한 줄여 차선 이탈을 정확히 감지하도록 하도록 하는 차선 이탈 경보 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 다양한 조도 하에서나 다양한 도로 조건 하에서도 차선 이탈을 성공적으로 인식할 수 있도록 하는 차선 이탈 경보 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적에 의하면, 차선 이탈 경보 방법에 있어서, (a) 차량에서 촬영된 영상을 취득하는 단계; (b) 탑햇 필터(Top-Hat Filter)를 이용하여, 단계 (a)에서 취득된 영상의 기결정된 차선 후보 영역에서 차선 정보를 추출하는 단계; (c) 허프 변환(Hough Transform)을 이용하여, 단계 (b)에서 추출된 상기 차선 정보에 대한 하나 이상의 직선 방정식을 추출하는 단계; (d) 이전 프레임에서 확정된 차선을 이용하여, 단계 (c)에서 추출된 하나 이상의 직선 방정식에 의한 하나 이상의 직선들 중 차선을 확정하는 단계; 및 (e) 단계 (d)에서 확정된 차선을 이용하여 차선 이탈 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보 방법을 제공한다.
또한, 차선 이탈 경보 시스템에 있어서, 차량에 장착되어 차량 외부를 촬영하여 영상을 취득하는 카메라; 탑햇 필터(Top-Hat Filter)를 이용하여, 상기 카메 라에서 취득된 영상의 기결정된 차선 후보 영역에서 차선 정보를 추출하는 차선 정보 추출부; 허프 변환(Hough Transform)을 이용하여, 상기 차선 정보 추출부에서 추출된 상기 차선 정보에 대한 하나 이상의 직선 방정식을 추출하는 직선 방정식 추출부; 이전 프레임에서 확정된 차선을 이용하여, 상기 직선 방정식 추출부에서 추출된 하나 이상의 직선 방정식에 의한 하나 이상의 직선들 중 차선을 확정하는 차선 확정부; 및 상기 차선 확정부에서 확정된 차선을 이용하여 차선 이탈 여부를 판단하는 차선 이탈 판단부를 포함하는 것을 특징으로 하는 차선 이탈 경보 시스템을 제공한다.
본 발명에 의하면, 차선 추출 방법, 차선 후보 영역 판단 방법 및 차선 이탈 판단 방법 등을 제시함으로써, 최소한의 변수를 사용하여 노이즈원을 가능한 줄여 차선 이탈을 정확히 감지할 수 있다는 효과가 있다.
또한, 다양한 조도 하에서나 다양한 도로 조건 하에서도 차선 이탈을 성공적으로 인식할 수 있다는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경 우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 바람직한 실시예에 따른 차선 이탈 경보 시스템의 전체 구성을 개략적으로 나타낸 블록도이다.
본 발명의 바람직한 실시예에 따른 차선 이탈 경보 시스템은 카메라(100), 차선 정보 추출부(110), 직선 방정식 추출부(120), 차선 확정부(130), 차선 이탈 판단부(140), 차선 후보 영역 결정부(150) 및 카메라 캘리브레이션부(160)를 포함할 수 있다.
본 발명의 바람직한 실시예에 따른 카메라(100)는 차량에 장착되어 차량 외부를 촬영하여 영상을 취득하는 기능을 한다.
본 발명의 바람직한 실시예에 따른 차선 정보 추출부(110)는 탑햇 필터(Top-Hat Filter)를 이용하여, 카메라(100)에서 취득된 영상의 기결정된 차선 후보 영역에서 차선 정보를 추출하는 기능을 한다. 탑햇 필터는 ┍┐형태의 성분을 검출하는데 적절한 방법 중의 하나이며, 차선 후보 영역은 후술할 차선 후보 영역 결정부(150)에서 기결정되어 있는 것이다.
본 발명의 바람직한 실시예에 따른 직선 방정식 추출부(120)는 허프 변환(Hough Transform)을 이용하여, 차선 정보 추출부(110)에서 추출된 차선 정보에 대한 하나 이상의 직선 방정식을 추출하는 기능을 한다. 여기서 허프 변환은 공학에서 일반적으로 사용되는 공식이므로 자세한 설명은 생략한다.
본 발명의 바람직한 실시예에 따른 차선 확정부(130)는 이전 프레임에서 확정된 차선을 이용하여, 직선 방정식 추출부(120)에서 추출된 하나 이상의 직선 방 정식에 의한 하나 이상의 직선들 중 차선을 확정하는 기능을 한다. 이때 차선 확정부(130)에서는, 직선 방정식 추출부(120)에서 추출된 하나 이상의 직선 방정식에 의한 하나 이상의 직선들과 이전 프레임에서 확정된 차선을 비교하여, 기울기의 차이가 가장 작은 것을 차선으로 확정한다.
그런데 차선 확정부(130)에서 이용될 이전 프레임에서의 차선이 확정되지 않은 경우, 현재 프레임의 다른 한쪽의 선이 확정된 경우에는 확정된 다른 한쪽의 선에서 일정 거리에 있는 선으로 차선을 확정하고, 현재 프레임의 다른 한쪽의 선이 확정되지 않은 경우는 직선 방정식 추출부(120)에서의 허프 변환에서 보팅 수가 가장 큰 선으로 차선을 확정한다. 한편, 차선 정보 추출부(110)에서 차선 정보가 추출되지 않는 경우, 차선 확정부(130)에서는 이전 프레임에서 확정된 차선을 현재 프레임의 차선으로 확정한다. 이러한 차선 확정에 대해서는 뒤에 좀 더 상술하기로 한다.
본 발명의 바람직한 실시예에 따른 차선 이탈 판단부(140)는 차선 확정부(130)에서 확정된 차선을 이용하여 차선 이탈 여부를 판단하는 기능을 한다.
본 발명의 바람직한 실시예에 따른 차선 후보 영역 결정부(150)는 차선 확정부(130)에서 확정된 차선을 이용하여, 다음 프레임에서 이용될 차선 후보 영역을 결정하는 기능을 한다.
여기서 차선 후보 영역은, 이전 프레임에서 확정된 차선만을 이용하여 결정될 수도 있고, 이전 프레임 및 그 이전 프레임에서 확정된 차선을 이용하여 결정될 수도 있다. 만약, 이전 프레임에서 차선이 확정되지 않은 경우에는, 카메라(100)의 장착 각도를 이용하여 차선 후보 영역이 결정될 수 있다. 이때 차선 후보 영역은 사다리꼴 모양인 것이 바람직하다. 이러한 차선 후보 영역 결정에 대해서는 뒤에 좀 더 상술하기로 한다.
본 발명의 바람직한 실시예에 따른 카메라 캘리브레이션부(160)는 카메라(100)의 장착 각도를 포함하는 카메라(100)의 특성 정보를 파악하는 기능을 한다. 본 발명의 바람직한 실시예에 따른 카메라 캘리브레이션부(160)에서는, 차선의 지속성 여부를 이용하여 카메라(100)의 장착 각도를 정의하는데, 여기서 차선의 지속성 여부는 서로 평행인 두 차선이 임의의 프레임(Frame) 동안 지속하여 검출되었을 때의 차선의 성분을 이용하여 카메라(100)의 장착 각도를 계산하는 것이다. 이러한 카메라 캘리브레이션 과정에 대해서는 뒤에 좀 더 상술하기로 한다.
도 2는 본 발명의 바람직한 실시예에 따른 차선 이탈 경보 시스템을 이용하여 차선 이탈 경보 방법의 흐름을 나타내는 순서도이다.
우선, 차선 이탈 경보에서 시스템이 정상적으로 동작하기 위해서는 우선 카메라의 특성 등을 파악하는 것이 중요한데, 이 과정을 카메라 캘리브레이션(S200)이라 한다. 이하에서는 본 발명의 바람직한 실시예에 따른 카메라 캘리브레이션 과정을 설명하기로 한다.
전방 카메라로부터 입력된 영상에서 도로면과 전방 차선의 위치는 카메라의 장착 높이, 카메라의 각도, 카메라의 렌즈 및 센서의 특성에 의해서 결정된다. 이 부분에 대한 정의는 카메라 캘리브레이션 과정을 거쳐서 자동으로 설정된다.
보통의 시스템에서 카메라의 렌즈 및 센서의 특성은 이미 제작자에 의해서 결정되므로, 적절한 상수를 입력하면 된다. 카메라 캘리브레이션 과정은 크게 카메라의 높이와 각도를 정하는 것인데, 본 발명의 바람직한 실시예에서 카메라의 높이는 사용자가 결정하는 것으로 한다. 왜냐하면, 차선 이탈 경보 시스템에서 카메라의 높이는 시스템의 작용에 크게 영향을 미치지 않기 때문이다.
이에 대해 카메라의 각도 지정은 시스템의 성능에 큰 영향을 미치는 것이기 때문에 카메라의 정확한 각도 측정을 하는 것이 중요하다. 본 발명의 바람직한 실시예에서는 선의 지속성 여부를 이용하여 카메라 각도를 정의한다. 선의 지속성 여부는 서로 평행인 두 선의 검출 여부로써, 이러한 과정이 임의의 프레임(Frame) 동안 지속되면, 그 선을 차선으로 간주하여, 그때의 선 성분을 이용하여 카메라의 장착 각도를 계산하는 것이다. 이러한 카메라 캘리브레이션 과정을 나타낸 것이 도 3이다.
도 3을 참조하면, 임의의 각도 범위 내에서 두 선분을 이미지 좌표에서 실제 좌표로 반복 변환하였을 때(S300 ~ S350), 두 선이 서로 평행일 경우(S350에서 Yes)의 각도를 추출하면 된다.
도 4는 상기한 과정을 보여주는 한 예로써, 도 4의 (a)는 카메라(100)로부터 입력받은 영상에서의 차선이 보이는 한 예를 나타낸 것이다. 이를 실제 좌표계로 변환하게 되면 도 4의 (b)와 같이 변형되는데, 이에 사용되는 변환식에는 카메라의 각도가 중요한 변수가 된다. 즉, 카메라 각도가 정확하게 일치될 경우에는 (1)과 같이 차선이 평행하게 변환되나, 그렇지 못할 경우에는 (2)나 (3)처럼 평행하지 않은 선으로 변환된다. 따라서, (1)과 같은 평행선이 나오도록 다양한 각도를 입력하 게 되면 실제 카메라 장착 각도를 구할 수 있게 되고 이러한 과정을 거쳐 카메라 캘리브레이션이 가능하게 된다.
카메라 캘리브레이션(S200)이 완료되면, 카메라(100)를 이용하여 차량에서 촬영된 영상을 취득한다(S210).
다음으로, 차선 정보 추출부(110)에서는 탑햇 필터를 이용하여, S210에서 취득된 영상의 기결정된 차선 후보 영역에서 차선 정보를 추출한다(S220).
차선 정보 추출을 위해서는 일정한 두께의 선을 검출해야 한다. 국내의 경우에는 약 15cm, 미국의 경우에는 약 10cm로 차선이 그려져 있다. 종래의 모서리 검출(Edge Detection) 기법을 이용할 경우, 하나의 차선은 두 개의 선으로 검출되게 된다. 그리고 이러한 모서리 검출 방법은 그림자 등과 같이 차선이 아닌 선 성분을 선으로 검출하는 경우도 자주 발생하여 실제로는 사용할 수가 없다. 따라서 본 발명에서는 일정한 두께의 선을 하나의 선으로 검출하기 위하여 탑햇 필터를 이용한다. 보통 차선은 하얀 색 또는 노란 색으로써 도로보다 밝은 색깔로 되어 있으므로 그레이 레벨이 높은 부분을 검출하면 되고, 영상의 위치에 따라 그 넓이를 조절할 수도 있다.
한편, 차선 후보 영역 결정부(150)에서 차선 후보 영역을 결정하는 과정은 후술하기로 한다.
다음으로, 직선 방정식 추출부(120)에서는 S220에서 추출된 차선 성분을 프로세서에서 처리하기 위해 일련의 직선의 공식으로 변환한다(S230). 이러한 직선 방정식으로 변환하는 방법은 대부분 허프 변환을 이용하는데, 전술한 바와 같이 허 프 변환은 공학에서 일반적으로 사용되는 공식이므로 자세한 설명은 생략한다.
다음으로, 차선 확정부(130)에서는 이전 프레임에서 확정된 차선을 이용하여, S230에서 추출된 하나 이상의 직선 방정식에 의한 하나 이상의 직선들 중에서 차선을 확정한다(S240).
S230에서는 다수의 직선의 공식이 출력되게 되는데, 이 직선들 중 차선을 확정하는 방법은 현재 프레임의 차선 정보의 추출 여부 및 이전 프레임의 차선의 확정 여부에 따라 상이하게 적용되는바, 이하에서는 각각의 경우를 나누어 설명하기로 한다.
우선, 현재 프레임에서 차선 정보가 추출되고 이전 프레임에서도 차선이 확정된 경우, 현재 프레임에서 추출된 차선 성분들과 이전 프레임에서 확정된 차선의 기울기를 비교하여 그 차이가 가장 작은 것을 선택하면 된다. 만약 이 차이가 일정 임계값을 넘을 경우에는 차선으로 간주하지 않도록 할 수 있다.
한편, 현재 프레임에서 차선 정보가 추출되었으나 이전 프레임에서 차선이 확정되지 않은 경우, 만약 현재 프레임의 다른 한쪽의 차선이 확정되어 있으면, 그 차선과의 거리가 일정 거리(일반적인 차선의 넓이인 약 2.5m)에 있는 선을 차선으로 확정하고, 만약 다른 한쪽도 확정되어 있지 않으면, S230의 허프 변환에서 보팅 수가 가장 큰 선을 차선으로 확정한다.
한편, 현재 프레임에서 차선 정보가 추출되지 않았으나 이전 프레임에서는 차선이 확정된 경우는, 주로 일반 도로에서 점선 차선에 해당된다. 이 경우에는 이전 프레임에서 결정된 차선의 정보를 그대로 현재 프레임의 차선으로 확정한다.
*한편, 현재 프레임에서도 차선 정보가 추출되지 않고 이전 프레임에서도 차선이 확정되지 않은 경우는, 이전 프레임의 차선의 정보가 그 이전 프레임의 차선의 정보인 경우이다. 이 경우에도 이전 프레임의 차선 정보를 그대로 이용한다. 단, 일정 수의 프레임(약 6프레임) 동안 차선이 지속적으로 결정되지 않을 경우에는 초기 차선 결정 모드로 진입한다. 초기 차선 결정 모드는 후술할 차선 후보 영역 결정에서 설명하기로 한다.
마지막으로, S240에서 확정된 차선을 이용하여 차선 이탈 여부를 판단한다(S250). 차선 이탈을 판단하기 위해서는 영상 좌표 중 일정 위치에 x축을 그은 후, 그 x축과 만나는 차선 방정식의 좌표를 추출하여 미리 정해 놓은 이탈 지점과 비교하여 차선 이탈 여부를 판단할 수 있다. 이를 나타낸 것이 도 5이다.
도 5를 참조하면, 이러한 차선 이탈은 크게 두 단계로 나누어, 차선에 근접하였을 때 1차 경고를 낼 수 있는 경고 단계와, 차선을 이탈하였을 때 2차 경고를 낼 수 있는 이탈 단계로 나누어 경고할 수 있다.
한편, S220에서 차선 정보를 추출할 때, 영상에서 차선을 찾기 위해 영상 전체를 검색, 처리하는 것은 시간을 소요하는 일일 뿐만 아니라, 불필요한 선을 검출하는 확률도 커지게 되어 시스템의 성능에 나쁜 영향을 미치게 된다. 따라서, 본 발명의 바람직한 실시예에서는 후보 영역을 지정하여 그 영역만을 검색하도록 한다.
여기서 후보 영역은 크게 이전 프레임에서 차선을 확정한 경우와 확정하지 못한 경우의 두 가지 경우로 나누어 구분할 수 있다.
우선, 이전 프레임에서 차선이 확정된 경우에는 확정된 차선을 기준으로, 다음 프레임의 차선 위치를 예상하면 된다. 예상되는 차선의 위치 Lt는 수학식 1과 같이 나타낼 수 있다.
Lt = Lt-1 ± α (α는 상수)
그런데 여기서 α를 고정하게 되면, 급하게 차선을 변경하거나, 또는 곡선로의 경우 그 다음 프레임에서 실제 차선의 위치가 이전 차선의 위치에서 많이 벗어나게 될 수도 있다. 따라서 이를 해결하기 위하여 α를 충분히 크게 하는 경우를 생각할 수도 있으나, 이 경우에는 처리해야 할 영역이 커지게 되므로 정확도에 문제가 생길 수도 있다.
따라서 본 발명의 보다 바람직한 실시예에서는 이전 프레임의 차선의 위치(Lt-1)와 그 이전 프레임의 차선의 위치(Lt-2)를 동시에 고려하여, 그 변화량을 측정한다. 이 경우 예상되는 차선의 위치 Lt는 수학식 2와 같이 나타낼 수 있다.
Lt = (Lt-1 ± α ) ± (Lt-1 - Lt-2) (α는 상수)
이렇게 해서 결정된 후보 영역을 도식적으로 표시하면 도 6과 같다.
다음으로, 이전 프레임에서 차선이 확정되지 않은 경우에는 상기와 같은 수 학식 1 및 2를 이용할 수 없기 때문에 별도의 후보 영역 결정이 필요하다. 이를 초기 차선 검색 모드라고 한다. 별도의 후보 영역은 전술한 카메라 캘리브레이션 과정에서 구해진 카메라(100)의 각도를 토대로 구하면 되는데, 기본적인 모양은 사다리꼴로 하는 것이 바람직하다. 사각형 모양으로 했을 경우에는 옆 차선을 인식하는 경우가 발생하게 되어 차선 인식의 성능을 저하할 수가 있으며, 삼각형을 쓰는 경우에는 화면 상단의 선을 제대로 인식하지 못하는 경우가 발생할 수 있기 때문이다. 이렇게 해서 결정된 후보 영역을 도식적으로 표시하면 도 7과 같다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 사상과 범위가 한정되는 것은 아니다. 본 발명의 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 차선 이탈 경보 시스템의 전체 구성을 개략적으로 나타낸 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 차선 이탈 경보 시스템을 이용하여 차선 이탈 경보 방법의 흐름을 나타내는 순서도
도 3은 본 발명의 바람직한 실시예에 따른 카메라 캘리브레이션 과정을 나타낸 흐름도
도 4는 본 발명의 바람직한 실시예에 따른 카메라 캘리브레이션을 나타내는 예시 화면,
도 5는 본 발명의 바람직한 실시예에 따른 차선 이탈 여부를 판단하는 예시화면,
도 6 및 도 7은 본 발명의 바람직한 실시예에 따른 차선 후보 영역을 결정하는 예시 화면이다.

Claims (20)

  1. 차선 이탈 경보 방법에 있어서,
    (a) 차량에서 촬영된 영상을 취득하는 단계;
    (b) 탑햇 필터(Top-Hat Filter)를 이용하여, 단계 (a)에서 취득된 영상의 기결정된 차선 후보 영역에서 차선 정보를 추출하는 단계;
    (c) 허프 변환(Hough Transform)을 이용하여, 단계 (b)에서 추출된 상기 차선 정보에 대한 하나 이상의 직선 방정식을 추출하는 단계;
    (d) 이전 프레임에서 확정된 차선을 이용하여, 단계 (c)에서 추출된 하나 이상의 직선 방정식에 의한 하나 이상의 직선들 중 차선을 확정하는 단계; 및
    (e) 단계 (d)에서 확정된 차선을 이용하여 차선 이탈 여부를 판단하는 단계
    를 포함하는 것을 특징으로 하는 차선 이탈 경보 방법.
  2. 제 1 항에 있어서,
    (f) 단계 (d)에서 확정된 차선을 이용하여, 다음 프레임에서 이용될 차선 후보 영역을 결정하는 단계
    를 추가로 포함하는 것을 특징으로 하는 차선 이탈 경보 방법.
  3. 제 1 항에 있어서,
    상기 차량에 장착된 카메라의 장착 각도를 포함하는 상기 카메라의 특성 정 보를 파악하는 캘리브레이션 과정을 거치는 것을 특징으로 하는 차선 이탈 경보 방법.
  4. 제 3 항에 있어서,
    상기 캘리브레이션 과정에서는, 차선의 지속성 여부를 이용하여 상기 카메라의 장착 각도를 정의하되, 상기 차선의 지속성 여부는 서로 평행인 두 차선이 임의의 프레임(Frame) 동안 지속하여 검출되었을 때 상기 차선의 성분을 이용하여 상기 카메라의 장착 각도를 계산하는 것을 특징으로 하는 차선 이탈 경보 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 차선 후보 영역은, 이전 프레임, 또는 이전 프레임 및 그 이전 프레임에서 확정된 차선을 이용하여 결정되는 것을 특징으로 하는 차선 이탈 경보 방법.
  6. 제 1 항에 있어서,
    이전 프레임에서 차선이 확정되지 않은 경우, 상기 차선 후보 영역은 상기 차량에 장착된 카메라의 장착 각도를 이용하여 결정되는 것을 특징으로 하는 차선 이탈 경보 방법.
  7. 제 6 항에 있어서,
    상기 차선 후보 영역은 사다리꼴 모양인 것을 특징으로 하는 차선 이탈 경보 방법.
  8. 제 1 항에 있어서,
    단계 (d)의 상기 차선의 확정은,
    단계 (c)에서 추출된 하나 이상의 직선 방정식에 의한 상기 하나 이상의 직선들과 상기 이전 프레임에서 확정된 상기 차선을 비교하여, 기울기의 차이가 가장 작은 것을 상기 차선으로 확정하는 것을 특징으로 차선 이탈 경보 방법.
  9. 제 1 항에 있어서,
    단계 (d)에서 이용될 상기 이전 프레임에서의 차선이 확정되지 않은 경우,
    현재 프레임의 다른 한쪽의 선이 확정된 경우는 확정된 상기 다른 한쪽의 선에서 일정 거리에 있는 선으로 상기 차선을 확정하고,
    현재 프레임의 상기 다른 한쪽의 선이 확정되지 않은 경우는 단계 (c)의 상기 허프 변환에서 보팅 수가 가장 큰 선으로 상기 차선을 확정하는 것을 특징으로 차선 이탈 경보 방법.
  10. 제 1 항에 있어서,
    단계 (b)에서 상기 차선 정보가 추출되지 않는 경우, 단계 (d)에서는 상기 이전 프레임에서 확정된 차선을 현재 프레임의 차선으로 확정하는 것을 특징으로 차선 이탈 경보 방법.
  11. 차선 이탈 경보 시스템에 있어서,
    차량에 장착되어 차량 외부를 촬영하여 영상을 취득하는 카메라;
    탑햇 필터(Top-Hat Filter)를 이용하여, 상기 카메라에서 취득된 영상의 기결정된 차선 후보 영역에서 차선 정보를 추출하는 차선 정보 추출부;
    허프 변환(Hough Transform)을 이용하여, 상기 차선 정보 추출부에서 추출된 상기 차선 정보에 대한 하나 이상의 직선 방정식을 추출하는 직선 방정식 추출부;
    이전 프레임에서 확정된 차선을 이용하여, 상기 직선 방정식 추출부에서 추출된 하나 이상의 직선 방정식에 의한 하나 이상의 직선들 중 차선을 확정하는 차선 확정부; 및
    상기 차선 확정부에서 확정된 차선을 이용하여 차선 이탈 여부를 판단하는 차선 이탈 판단부
    를 포함하는 것을 특징으로 하는 차선 이탈 경보 시스템.
  12. 제 11 항에 있어서,
    상기 차선 확정부에서 확정된 차선을 이용하여, 다음 프레임에서 이용될 차선 후보 영역을 결정하는 차선 후보 영역 결정부를 추가로 포함하는 것을 특징으로 하는 차선 이탈 경보 시스템.
  13. 제 11 항에 있어서,
    상기 카메라의 장착 각도를 포함하는 상기 카메라의 특성 정보를 파악하는 카메라 캘리브레이션부를 추가로 포함하는 것을 특징으로 하는 차선 이탈 경보 시스템.
  14. 제 13 항에 있어서,
    상기 카메라 캘리브레이션부에서는, 차선의 지속성 여부를 이용하여 상기 카메라의 장착 각도를 정의하되, 상기 차선의 지속성 여부는 서로 평행인 두 차선이 임의의 프레임(Frame) 동안 지속하여 검출되었을 때 상기 차선의 성분을 이용하여 상기 카메라의 장착 각도를 계산하는 것을 특징으로 하는 차선 이탈 경보 시스템.
  15. 제 11 항 또는 제 12 항에 있어서,
    상기 차선 후보 영역은, 이전 프레임, 또는 이전 프레임 및 그 이전 프레임에서 확정된 차선을 이용하여 결정되는 것을 특징으로 하는 차선 이탈 경보 시스템.
  16. 제 11 항에 있어서,
    이전 프레임에서 차선이 확정되지 않은 경우, 상기 차선 후보 영역은 상기 카메라의 장착 각도를 이용하여 결정되는 것을 특징으로 하는 차선 이탈 경보 시스템.
  17. 제 16 항에 있어서,
    상기 차선 후보 영역은 사다리꼴 모양인 것을 특징으로 하는 차선 이탈 경보 시스템.
  18. 제 11 항에 있어서,
    상기 차선 확정부에서는,
    상기 직선 방정식 추출부에서 추출된 하나 이상의 직선 방정식에 의한 상기 하나 이상의 직선들과 상기 이전 프레임에서 확정된 상기 차선을 비교하여, 기울기의 차이가 가장 작은 것을 상기 차선으로 확정하는 것을 특징으로 차선 이탈 경보 시스템.
  19. 제 11 항에 있어서,
    상기 차선 확정부에서 이용될 상기 이전 프레임에서의 차선이 확정되지 않은 경우 상기 차선 확정부에서는,
    현재 프레임의 다른 한쪽의 선이 확정된 경우는 확정된 상기 다른 한쪽의 선에서 일정 거리에 있는 선으로 상기 차선을 확정하고,
    현재 프레임의 상기 다른 한쪽의 선이 확정되지 않은 경우는 상기 직선 방정식 추출부에서의 상기 허프 변환에서 보팅 수가 가장 큰 선으로 상기 차선을 확정하는 것을 특징으로 차선 이탈 경보 시스템.
  20. 제 11 항에 있어서,
    상기 차선 정보 추출부에서 상기 차선 정보가 추출되지 않는 경우, 상기 차선 확정부에서는 상기 이전 프레임에서 확정된 차선을 현재 프레임의 차선으로 확정하는 것을 특징으로 차선 이탈 경보 시스템.
KR1020090004477A 2009-01-20 2009-01-20 차선 이탈 경보 방법 및 시스템 KR101018033B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090004477A KR101018033B1 (ko) 2009-01-20 2009-01-20 차선 이탈 경보 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090004477A KR101018033B1 (ko) 2009-01-20 2009-01-20 차선 이탈 경보 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20100085288A true KR20100085288A (ko) 2010-07-29
KR101018033B1 KR101018033B1 (ko) 2011-03-02

Family

ID=42644227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090004477A KR101018033B1 (ko) 2009-01-20 2009-01-20 차선 이탈 경보 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101018033B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103192828A (zh) * 2012-01-04 2013-07-10 现代摩比斯株式会社 可识别高通车道的车道偏离警告系统及高通车道识别方法
KR101288374B1 (ko) * 2012-05-18 2013-07-22 (주)베라시스 외차선 도로에서의 차선 설정장치 및 그 방법
KR101310680B1 (ko) * 2012-04-19 2013-09-24 (주)아이머큐리 곡선 차선 검출장치 및 그 방법
KR101365557B1 (ko) * 2012-04-25 2014-02-27 (주)아이머큐리 차선 검출장치 및 그 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295077B1 (ko) * 2011-12-28 2013-08-08 전자부품연구원 다양한 도로 상황에서의 차선 검출 및 추적 장치
KR101366871B1 (ko) * 2012-05-16 2014-02-24 (주)베라시스 관심영역 분할을 통한 곡선차선 검출장치 및 그 방법
WO2021002520A1 (ko) 2019-07-04 2021-01-07 주식회사 피엘케이테크놀로지 운전자 상태 모니터링을 이용한 차선 이탈 경보 판단 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3556766B2 (ja) 1996-05-28 2004-08-25 松下電器産業株式会社 道路白線検出装置
JP3429167B2 (ja) 1997-09-13 2003-07-22 本田技研工業株式会社 車両用白線検出装置
KR20070063637A (ko) * 2005-12-15 2007-06-20 삼성전자주식회사 표시 패널 및 그 제조방법
KR100975749B1 (ko) 2008-09-24 2010-08-12 금오공과대학교 산학협력단 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103192828A (zh) * 2012-01-04 2013-07-10 现代摩比斯株式会社 可识别高通车道的车道偏离警告系统及高通车道识别方法
CN103192828B (zh) * 2012-01-04 2016-04-20 现代摩比斯株式会社 可识别高通车道的车道偏离警告系统及高通车道识别方法
KR101310680B1 (ko) * 2012-04-19 2013-09-24 (주)아이머큐리 곡선 차선 검출장치 및 그 방법
KR101365557B1 (ko) * 2012-04-25 2014-02-27 (주)아이머큐리 차선 검출장치 및 그 방법
KR101288374B1 (ko) * 2012-05-18 2013-07-22 (주)베라시스 외차선 도로에서의 차선 설정장치 및 그 방법

Also Published As

Publication number Publication date
KR101018033B1 (ko) 2011-03-02

Similar Documents

Publication Publication Date Title
KR101018033B1 (ko) 차선 이탈 경보 방법 및 시스템
EP2476996B1 (en) Parallax calculation method and parallax calculation device
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
KR20160137247A (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR101176693B1 (ko) 거리센서를 이용한 차선인식 방법 및 그 시스템
US8090147B2 (en) Matching object and reference pattern images using search window size widths and heights to predict object collision
JP2009143722A (ja) 人物追跡装置、人物追跡方法及び人物追跡プログラム
US9672429B2 (en) Boundary line recognizer device
JP2008286725A (ja) 人物検出装置および方法
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
US10762372B2 (en) Image processing apparatus and control method therefor
JP5977275B2 (ja) 分岐路認識装置
WO2014181386A1 (ja) 車両判別装置
KR20140056790A (ko) 영상 인식 장치 및 그 방법
JP2015185135A (ja) 停車認識装置、停車認識方法及びプログラム
JP6772059B2 (ja) 電子制御装置、電子制御システムおよび電子制御方法
KR20100000698A (ko) 숫자의 기하학적 관계를 이용한 차량 번호판 인식 방법
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
JP2014048702A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
KR101770586B1 (ko) 보행자 인식 시스템 및 그 제어 방법
JP4151631B2 (ja) 物体検出装置
JP2004326559A (ja) 車線区分線検出装置
CN107680118B (zh) 一种影像辨识追踪方法
JP2017058890A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131205

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150223

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180221

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190221

Year of fee payment: 9