KR20110114905A

KR20110114905A - 차선 감지 방법

Info

Publication number: KR20110114905A
Application number: KR1020100034288A
Authority: KR
Inventors: 한헌수; 한영준; 칭 린
Original assignee: 숭실대학교산학협력단
Priority date: 2010-04-14
Filing date: 2010-04-14
Publication date: 2011-10-20
Also published as: KR101121777B1

Abstract

차선 감지 방법에 제공 된다. 본 발명에 따른 차선 감지 방법은 전방 카메라에 의해 촬영된 영상의 각 프레임을 분석하여 차선 후보 에지 링크를 생성하고, 상기 차선 후보 에지 링크에 대한 차선 파라미터 셋을 생성하되, 상기 차선 파라미터 셋은 차선 위치 정보, 차선 색상 정보 및 차선 종류 정보를 포함하는 단계 및 상기 차선 파라미터 셋을 저장하고, 각 프레임에 포함된 상기 차선 파라미터 셋을 비교하여 노이즈 차선 파라미터 셋을 제거하거나 인접 프레임의 유효 차선 파라미터 셋으로 대체하는 프레임 간 보정 단계를 포함한다.

Description

차선 감지 방법{Lane detection method}

본 발명은 차선 감지 방법에 관한 것이다. 보다 자세하게는 차량의 전면부에 설치된 카메라를 통하여 촬영된 영상을 분석하여 차량이 주행 중인 차선을 감지하는 방법에 관한 것이다.

차선 감지 기술은 차량의 전면부에 설치된 카메라를 통하여 촬영된 영상을 분석하여 차량이 주행 중인 도로의 차선을 감지하는 기술을 일컫는다. 촬영된 영상을 분석하여 차선을 감지하는 방법(Lane detection method)은 크게 특성 기반(feature based) 방법과 모델 기반(model based) 방법으로 분류될 수 있다.

특성 기반 방법은 차선 기호의 에지(edge)에서 관찰 될 수 있는 특성으로부터 차선을 감지하는 방법이다. 상기 특성 기반 방법은 'A. Broggi, S. Berte, “Vision-based road detection in automotive systems: a real-time expectation-driven approach”, Journal of Articial Intelligence Research 3 (1995) 325?348'외 다수 문헌에서 소개된다.

한편, 모델 기반 방법은 몇몇 기하적인 파라미터들로 결정될 수 있는 커브 모델의 종류로 차선을 표현한다. 상기 모델 기반 방법 역시 'Yue Wang, Eam Khwang Teoh, Dinggang Shen, “Lane detection and tracking using B-snake,” Image and Vision Computing, vol. 22, 2004, pp. 269-280' 외 다수의 문헌에서 소개된다. 특히, 'Jung, C. R. and C. R. Kelber, “A lane departure warning system using lateral offset with uncalibrated camera,” Proc. IEEE Conf. on Intelligent Transportation Systems, Vienna, Austria, Sep.13-16, 2005. pp. 102-107.'에는 차선을 검출하기 위하여 직선-포물선(linear-parabolic) 모델을 사용하는 기술이 기재되어 있다. 모델 기반 방법에서는 상기 파라미터를 어떻게 평가하느냐가 중요하다. 즉, 카메라에 의하여 촬영된 영상으로부터 구해진 파라미터를 어떻게 평가하느냐에 따라 차선의 검출 여부가 결정되게 된다.

상기 특성 기반 방법은 일반적으로 차선이 뚜렷하게 도색 된 직선 도로 또는 고속 도로에서만 차선을 검출한다. 이에 반하여 상기 모델 기반 방법은 상기 특성 기반 방법에 비하여는 도로 사정이 열악하더라도 어느 정도 차선을 검출할 수 있다. 즉, 상기 모델 기반 방법이 상기 특성 기반 방법에 비하여 더 활용도가 뛰어나다고 판단된다. 그러나, 상기 모델 기반 방법은 모델링과 관련된 많은 정보를 처리해야 하므로, 연산량이 많은 문제가 있고, 파라미터를 제대로 평가하기 위하여 지속적인 에러 감소 알고리즘 적용이 필요하기 때문에 처리에 시간이 걸리는 단점이 존재한다.

본 발명이 해결하고자 하는 기술적 과제는 최소한의 연산량으로 도로 사정에 최대한 영향을 받지 않고 정확히 차선을 감지할 수 있는 차선 감지 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는 전방 카메라에 의해 촬영된 영상 중 차선 존재 가능 영역을 관심 영역으로 설정하여 상기 관심 영역 내부만을 분석하여 차선을 감지하는 차선 감지 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는 차선을 나타내는 에지(edge)를 검출한 후, 에지 사이에 존재할 수 있는 간격(gap)을 연결하고, 좌우 차선을 의미하는 에지 링크 쌍(edge link pair)을 검출하여 노이즈 에지를 제거하는 차선 감지 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는 차선의 위치에 대한 정보 뿐만 아니라, 차선의 종류 및 차선의 색상 정보까지도 감지할 수 있는 차선 감지 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 차선 감지 방법은 전방 카메라에 의해 촬영된 영상의 각 프레임을 분석하여 차선 후보 에지 링크를 생성하고, 상기 차선 후보 에지 링크에 대한 차선 파라미터 셋을 생성하되, 상기 차선 파라미터 셋은 차선 위치 정보, 차선 색상 정보 및 차선 종류 정보를 포함하는 단일 프레임 분석 단계 및 상기 차선 파라미터 셋을 저장하고, 각 프레임에 포함된 상기 차선 파라미터 셋을 비교하여 노이즈 차선 파라미터 셋을 제거하거나 인접 프레임의 유효 차선 파라미터 셋으로 대체하는 프레임 간 보정 단계를 포함한다.

상기와 같은 본 발명에 따르면, 최소한의 연산량으로 도로 사정에 최대한 영향을 받지 않고 정확히 차선을 감지할 수 있는 효과가 있다.

또한, 차선의 위치에 대한 정보뿐만 아니라 차선의 색상 및 차선의 종류에 대한 정보 또한 감지할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 차선 감지 방법의 순서도이다.
도 2는 종래의 관심 영역 설정 방법의 개념도이다.
도 3은 본 발명의 일 실시 예에 따른 관심 영역 설정 방법의 개념도이다.
도 4는 본 발명의 일 실시 예에 따른 에지 처리 방법의 상세 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 에지 검출 필터 적용 예이다.
도 6은 본 발명의 일 실시 예에 따른 방향을 고려한 간격 연결 예시를 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른 차선 후보 에지 링크 생성 동작의 예시이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 차선 검출 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재 되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이하, 차선 정보를 검출하기 위하여 에지(edge) 검출 방법이 참조된다. 상기 에지 검출 방법은 참조 문헌 'http://en.wikipedia.org/wiki/Edge_detection', 'T. Lindeberg (2001) "Edge detection", in M. Hazewinkel (editor), Encyclopedia of Mathematics, Kluwer/Springer', 'D. Ziou and S. Tabbone (1998) "Edge detection techniques: An overview", International Journal of Pattern Recognition and Image Analysis', 'J. M. Park and Y. Lu (2008) "Edge detection in grayscale, color, and range Images", in B. W. Wah (editor) Encyclopedia of Computer Science and Engineering'의 기재가 본 명세서 전체를 통하여 참조될 수 있다.

먼저, 도 1을 참조하여 본 발명에 의한 차선 검출 방법을 개략적으로 설명하기로 한다.

먼저, 전방 카메라에 의하여 촬영된 동영상에 포함된 프레임이 순차적으로 각각 입력 된다(S100). 상기 프레임은 상기 전방 카메라에 의하여 촬영된 동영상의 각 단위 시간 별 정지 영상을 의미하는 것으로 이하 지칭된다. 상기 프레임은 연산 속도를 위하여, 다운 샘플링 될 수 있다(S102). 다운 샘플링(S102)은 정지 영상의 해상도를 감소시키는 것일 수 있다.

상기 프레임은 본 실시예의 단일 프레임 레벨(S110)의 동작을 통하여 분석되고, 그 결과 차선 후보 에지 링크가 생성되고, 상기 차선 후보 에지 링크에 대한 차선 파라미터 셋이 생성될 수 있다.

이하, 단일 프레임 레벨(S110)의 동작을 보다 자세히 설명하기로 한다.

먼저, 다운 샘플링 된(S102) 프레임 내의 관심 영역(Region Of Interest; ROI)이 설정될 수 있다(S112). 상기 관심 영역이 설정 되면, 상기 차선 파라미터 셋은 상기 관심 영역 내의 데이터만을 대상으로 생성된다. 도 2에는 차선 감지 방법에서 일반적으로 실시되는 관심 영역 설정 예시가 도시되어 있다. 도 2에 도시된 바와 같이, 일반적으로 실시되는 관심 영역 설정 방법은 프레임(200)의 상단 및 하단의 일정 높이를 제외한 중앙부의 영역을 관심 영역으로 설정(202)하는 것이다. 그러나, 일반적으로 실시되는 관심 영역 설정 방법에 의하여 설정된 관심 영역 역시 연산량을 충분히 줄이기에는 너무 넓은 영역이다. 본 실시예에 따른 관심 영역 설정 방법은 도 2에 도시된 바와 같은 일반적으로 실시되는 관심 영역 설정 방법에 비하여 더 좁은 영역 만을 관심 영역으로 설정함으로써, 연산량을 더 줄일 수 있는 효과가 있다.

도 3은 본 실시예에 따른 관심 영역 설정 예시를 도시한다. 도 3에서는 도2에 도시된 프레임과 동일한 정지 영상을 대상으로 관심 영역을 설정하는 과정을 도시한다. 먼저, 도 2에 도시된 바와 같이, 프레임(200)의 상단 및 하단의 일정 높이를 제외한 중앙부의 영역을 대상으로 관심 영역을 설정하는 경우를 대상으로 설명하기로 한다. 다만, 상기 중앙부의 영역만을 대상으로 관심 영역을 설정하는 것은 본 발명의 일 실시예에 지나지 않으며, 관심 영역 설정 대상 이미지는 원 프레임 이미지일 수도 있다.

먼저, 프레임 상에 일정 간격의 그리드(grid)를 생성한다(300). 상기 그리드는 도3에 도시된 바와 같이(300), 가로 세로 방향으로 형성되는 것일 수도 있으나, 상기 그리드가 반드시 가로 세로 방향으로 형성되어야 하는 것은 아니다. 즉, 그리드의 형성 방향에는 제한이 없다. 상기 그리드는 적어도 하나 이상의 픽셀을 폭으로 하여 형성되는 것이 바람직하다.

다음으로 상기 그리드로 둘러싸인 영역의 색상을 소정의 배경 색상으로 일원화하여 제1 변형 프레임을 생성한다(302). 상기 배경 색상은 예를 들어 검은색일 수 있다. 상기 배경 색상은 도로에 도포된 아스팔트의 색상과 유사할 수 있다. 또는 상기 배경 색상은 도로에 도포된 시멘트의 색상과 유사할 수 있다. 상기 배경 색상은 차선의 색상과 상이한 것이 바람직하다.

다음으로 제1 변형 프레임(302)에 에지 검출 필터(edge detection filter)를 적용하여 제2 변형 프레임(304)을 생성한다. 상기 에지 검출 필터는 소벨 에지 검출 필터(Sobel edge detection filter)일 수 있다. 상기 소벨 에지 검출 필터와 관련된 기재는 참고 문헌, 'http://en.wikipedia.org/wiki/Sobel_operator', 'K. Engel (2006). Real-time volume graphics,. pp. 112-114.', 'Pattern Classification and Scene Analysis, Duda,R. and Hart,P., John Wiley and Sons,'73, pp271-2'의 기재가 참조될 수 있다.

상기 에지 검출 필터는 제1 변형 프레임(302)의 R, G, B 채널 각각의 데이터에 대하여 개별적으로 적용될 수 있다. 차선은 일반적으로, 노란색, 파란색, 흰색과 같이 특정한 색상을 가지므로, 상기 에지 검출 필터를 각각의 채널에 대하여 독립적으로 적용하면, 차선 형상이 에지로 검출될 확률을 더 높힐 수 있는 효과가 있다. 상기 에지 검출 필터를 R, G, B 채널 각각의 데이터에 대하여 개별적으로 적용한 결과를 합성곱(convolution) 연산으로 종합하여 제2 변형 프레임(304)를 생성할 수 있다. 추가로, 제2 변형 프레임(304)을 상기 배경 색상 및 상기 관심 영역 색상으로 이진화(binarization)하여(306) 차선에 대응하는 형상이 배경 색상과 명확하게 구별되도록 할 수 있다.

다음으로, 제2 변형 프레임(304) 상의 에지 픽셀 및 상기 에지 픽셀의 소정 범위의 인접 픽셀의 색상을 관심 영역 색상으로 설정하여 제3 변형 프레임(308)을 생성할 수 있다

다음으로, 제3 변형 프레임(308) 상의 상기 관심 영역 색상의 픽셀들의 집합을 관심 영역(310)으로 설정할 수 있다. 도 2에 도시된 기존의 관심 영역(202)과 본 실시예에 따라 설정된 관심 영역(310)을 비교하면, 본 실시예에 따라 설정된 관심 영역(310)이 더 좁은 것을 파악할 수 있다. 관심 영역이 더 좁다는 것은, 차선의 감지를 위해 스캔 해야 하는 영역이 그만큼 좁다는 것을 의미하므로, 차선의 감지를 위한 연산량을 감소시키는 효과가 있다.

관심 영역이 도 3에 도시된 바와 같이 설정된 후(S112). 관심 영역 내의 이미지에 에지 검출 필터를 적용하여 차선의 형상에 대응하는 차선 후보 에지 링크를 생성한다(S113). 도 4는 차선의 형상에 대응하는 차선 후보 에지 링크의 생성 동작을 나타내는 순서도이다. 이하, '에지(edge)'는 에지 검출 필터의 적용에 의하여 에지 픽셀로 판정된 픽셀을 의미하는 것으로, '에지 링크(edge linke)'는 서로 인접한 에지들의 집합을 의미하는 것으로 지칭된다. 또한, 이하, '인접'은 특정 픽셀을 표시하는 프레임 상 좌표가 (x, y)라 할 때(x<0<프레임의 폭-1, y<0<프레임의 높이-1), (x-1, y-1), (x-1, y), (x-1, y+1), (x, y-1), (x, y+1), (x+1, y-1), (x+1, y), (x+1, y+1)의 좌표를 가지는 8개의 픽셀의 위치를 의미하는 것으로 지칭된다.

차선 후보 에지 링크의 생성(S113)은 관심 영역(310) 내에서 에지 검출 필터를 적용하여 에지 픽셀을 검출하는 단계(S1132), 상기 검출된 에지 픽셀 중 서로 인접한 에지 픽셀들의 집합인 제1 에지 링크를 생성하는 단계(S1134), 상기 제1 에지 링크 간에 존재하는 간격 한계 픽셀 이하의 간격을 연결하여 제2 에지 링크를 생성하는 단계(S1136) 및 상기 제2 에지 링크 중, 상기 프레임의 좌우 중심축으로부터의 거리를 기준으로 노이즈 에지 링크를 제거한 상기 차선 후보 에지 링크를 생성(S1139)하는 단계를 포함하여 수행될 수 있다.

단계 S1132에서 에지 검출 필터 적용 전의 사전 프로세스로 가우시안 필터를 이용한 스무딩(smoothing) 작업이 수행 되고, 소벨 에지 검출 필터(Sobel edge detection filter)가 적용될 수 있다. 또한, 분리된 에지 픽셀이 발생하지 않도록 이력 문턱값(hysteresis threshold)이 사용될 수 있으며, 상기 소벨 에지 검출 필터에 존재하는 국재성 문재(localization issue)를 해결하기 위해 비 최대치 억제(Non-Local Maximum Suppression) 방법이 소벨 에지 검출 필터 사용 전에 추가로 사용될 수 있다. 이와 관련 된 참고자료는 'Canny, J., A Computational Approach To Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, 1986.'을 참조할 수 있다. 도 5는 관심 영역(310)에 소벨 에지 검출 필터 만을 사용한 경우(500) 및 소벨 에지 검출 필터 사용 전, 비 최대치 억제 방법을 추가로 사용한 경우(502)의 에지 픽셀 생성 결과를 나타낸 도면이다. 도 5에 도시된 바와 같이, 및 소벨 에지 검출 필터 사용 전, 비 최대치 억제 방법을 추가로 사용한 경우(502) 에지 픽셀이 보다 선명한 것을 알 수 있다.

단계 S1134에서, 에지 픽셀이 검출(S1132) 된 프레임을 일방향을 스캔하여 인접한 에지들의 집합인 제1 에지 링크가 생성된다.

단계 S1136에서, 상기 제1 에지 링크 간에 존재할 수 있는 간격(gap)을 연결하여 제2 에지 링크를 생성한다. 하나의 차선에 대응하는 에지 링크라도, 필터 적용 등의 이미지 변환 과정에서 중간에 분단되는 경우가 생길 수 있는데, 소정의 간격 한계 픽셀 이하의 간격은 단계 S1136에서 연결되고, 결과적으로 원래 하나의 차선에 대응하나 분단되어 둘 이상의 제1 에지 링크로 분류되었던 것을 하나의 제2 에지 링크로 연결할 수 있다.

단계 S1136에서, 각각의 제1 에지 링크의 평균 기울기를 측정하고, 상기 측정 된 평균 기울기가 미리 정의된 기울기 범위 내에 있지 않은 상기 제1 에지 링크는 노이즈(noise)로 간주되어 제2 에지 링크에서 제외 될 수 있다. 상기 미리 정의된 기울기 범위는, 예를 들어, 20°에서 160° 사이일 수 있다. 이 경우, 차선은 차량의 진행 방향과 일정한 범위의 각도를 가질 수 밖에 없다는 점을 이용하여 노이즈를 제거할 수 있는 효과가 있다.

단계 S1136에서, 상기 제1 에지 링크 간에 존재하는 간격을 제1 에지 링크의 평균 기울기를 참조하여 연결할 수 있다. 즉, 상기 제1 에지 링크의 시작점 픽셀로부터 끝점 픽셀 방향으로 스캔 하여 상기 제1 에지 링크에 포함된 픽셀을 상기 제2 에지 링크에 포함시키고, 상기 제2 에지 링크의 평균 기울기를 측정하며, 상기 제1 에지 링크의 끝점 픽셀에서 상기 평균 기울기 방향으로 최대 상기 간격 한계 픽셀만큼 진행 시 다른 상기 제1 에지 링크에 속한 에지 픽셀이 존재하는지 판정하고, 다른 상기 제1 에지 링크에 속한 에지 픽셀이 존재하는 경우, 상기 제1 에지 링크 간에 존재하는 간격을 연결하여 제2 에지 링크를 생성할 수 있다. 도 6은 본 실시예에 따른 방향을 고려한 간격 연결 예시를 나타낸 도면이다. 평균 기울기를 측정하는 예시(600) 및 간격 연결 예시(602)가 도시되어 있다. 도 6은 설명의 편의를 위해, 에지 픽셀이 어두운 색으로 채색되어 있다.

간격 연결 예시(602)에 도시된 경우, 제1 에지 링크의 평균 기울기 방향(606)으로 제1 에지 링크를 순회 하다가, 제1 에지 링크의 끝점(604)에 도달 하는 경우, 제1 에지 링크의 평균 기울기 방향(606)의 인접한 3개의 픽셀이 새로운 에지 픽셀의 후보가 된다. 상기 에지 픽셀의 후보 중, 픽셀 색상의 광도를 기준으로 새로운 에지 픽셀을 정할 수 있다. 이때 유의할 점은 새로운 에지 픽셀로 추가되는 픽셀의 수는 최대 소정의 간격 한계 픽셀 이하여야 한다는 점이다. 상기 간격 한계 픽셀의 수는, 예를 들어 5일 수 있다. 본 실시예에 따른 에지 링크의 평균 기울기를 이용한 간격 연결은 실제 연결된 에지가 아닌 경우에도 각각의 에지 링크를 연결하여 발생하는 노이즈를 최대한 감소시킬 수 있는 효과가 있다.

단계 S1136에서, 제2 에지 링크의 상기 평균 기울기 방향의 길이가 소정의 최소 차선 길이 미만인 경우, 상기 제2 에지 링크의 목록에서 제거할 수 있다. 상기 최소 차선 길이는 예를 들어 15 픽셀일 수 있다. 이 경우, 차선일 수 없는 에지 링크를 노이즈로 더 걸러낼 수 있는 효과가 있다.

단계 S1138에서, 제2 에지 링크 중에 좌우 에지 페어링(pairing)을 통하여 노이즈를 더 제거할 수 있다. 즉, 각각의 상기 제2 에지 링크에 대하여 상기 프레임의 좌우 중심축의 반대편에 위치하되, 같은 높이 상에 위치하는 픽셀을 적어도 하나 포함하는 상기 제2 에지 링크를 스캔 하여 짝 링크로 지정하고, 상기 제2 에지 링크에 포함된 픽셀 중 짝 링크에 포함된 픽셀과의 같은 높이 상의 거리가 소정의 한계 차선 넓이 이하인 비율을 연산하며, 상기 소정의 한계 차선 넓이 이하인 비율이 소정의 에지 링크 짝 형성 비율 미만인 상기 제2 에지 링크를 상기 노이즈 에지 링크로 지정하여 상기 제2 에지 링크에서 제거할 수 있다. 이 경우, 차선은 좌우 일정 넓이 이하여야 한다는 점을 이용하여 노이즈를 더 제거할 수 있는 효과가 있다. 상기 링크 짝 형성 비율은 예를 들어 0.8일 수 있다.

상기 소정의 한계 차선 넓이는 상기 프레임 상 높이 별로 서로 다르게 정의되되, 상기 프레임 상 높이가 높아질수록 감소할 수 있다. 상기 프레임 영상은 투영법에 의하여 먼 거리에 있을수록 좌우 폭이 더 좁게 표시되고, 상기 프레임 상 높이가 높아질수록 더 먼거리의 차선이 표시되는 점에서, 특정 높이에 대한 한계 차선 넓이는 높이가 높아질수록 더 감소한다. 프레임 상 높이가 높아진다는 의미는 프레임 상 아래에서 위쪽으로 올라간다는 의미와 동일하다. 상기 소정의 한계 차선 넓이는 상기 프레임 상 높이 별로 소정의 한계 차선 넓이가 대응되어 있는 참조 테이블의 형태로 구성될 수 있다.

도 7은 본 실시예에 따른 차선 후보 에지 링크 생성 동작(S113)의 예시이다.

관심 영역(700)을 대상으로 에지 픽셀을 검출(S1132)한 결과(702)에서, 에지 링크 하여 제1 에지 링크를 생성(S1134)한 결과(704)가 도시되어 있다. 결과(704)에서는 오른쪽 차선이 보이지 않는 것을 확인할 수 있는데, 이는 오른쪽 차선의 중간에 간격이 발생하여, 각각의 제1 에지 링크의 평균 기울기 방향의 길이가 상기 최소 차선 길이 미만이므로, 보이지 않는 것이다. 이를 보정하기 위한 에지 간격 연결하여 제2 에지 링크를 생성하는 경우(S1136), 오른쪽 차선이 다시 보이게 된다(706). 마지막으로, 에지 페어링(pairing)을 통하여 차선 한계 넓이 이내의 반대편 제2 에지 링크가 존재하지 않거나, 존재하는 비율이 상기 에지 링크 짝 형성 비율 미만인 제2 에지 링크(707)가 노이즈로 제거되어, 차선 후보 에지 링크가 생성된다(S1139).

다시, 도 1로 돌아와서 다음 동작을 설명한다.

차선 후보 에지 링크 중에, 차선 후보 에지 링크에 포함된 픽셀의 색상을 기준으로 하여 노이즈를 더 제거하고, 차선의 색상 정보를 설정할 수 있다(S114). 즉, 상기 차선 후보 에지 링크에 포함된 픽셀 중 소정의 차선 색상을 가지는 픽셀의 비율이 소정의 차선 색상 임계 비율 이상인 경우, 상기 차선 후보 에지 링크에 대한 상기 차선 색상 정보를 상기 소정의 차선 색상으로 지정하고, 상기 차선 색상 정보가 지정되지 않는 상기 차선 후보 에지 링크를 노이즈로 판단하여, 상기 차선 후보 에지 링크에서 제거할 수 있다. 이 경우, 차선이 가질 수 없는 색상으로 된 픽셀이 차선으로 인식되는 것을 방지할 수 있는 효과가 있다. 이때, 상기 프레임의 색상 값이 RGB 포맷으로 된 경우, YUV 포맷으로 변환한 후, 픽셀의 색상을 기준으로 하여 노이즈를 더 제거하는 동작(S114)을 수행하는 것이 바람직하다.

다음으로, 차선 후보 에지 링크에 포함된 픽셀들을 반영하는 직선 모델을 생성하고, 상기 직선 모델을 나타내는 파라미터로 상기 차선 위치 정보를 구성한다(S115). 보다 자세하게는, 상기 차선 위치 정보는, 상기 차선 후보 에지 링크에 허프 변환(Hough transform)을 적용하여 상기 차선 후보 에지 링크를 표현하는 것으로 측정되는 직선에 대한 식 xcosθ+ysinθ=ρ 에서의 (θ, ρ) 형태로 구성될 수 있다. 허프 변환에 대한 기재는 문헌 'Duda, R. O. and P. E. Hart, "Use of the Hough Transformation to Detect Lines and Curves in Pictures," Comm. ACM, Vol. 15, pp. 11?15 (January, 1972)', 'P.V.C. Hough, Machine Analysis of Bubble Chamber Pictures, Proc. Int. Conf. High Energy Accelerators and Instrumentation, 1959', 'http://en.wikipedia.org/wiki/Hough_transform#cite_note-1'을 참조할 수 있다.

다음으로, 차선의 연속성이 체크되어 차선의 종류 정보가 설정될 수 있다(S116). 상기 차선의 종류는 직선 차선 및 점선 차선 중 하나일 수 있다. 상기 차선 종류 정보는, 표 1에 기재된 식에 의해 결정될 수 있다.

상기 Li 는 상기 차선 후보 에지 링크이고(i≤0<차선 후보 에지 링크의 수), P(solid|Li), P(dash|Li)는 베이지안 확률 모델(Bayesian probability model) 상의 사후확률함수(posterior probability function)로, 각각 Li 가 직선(solid) 차선일 확률 및 점선(dash) 차선일 확률을 의미하며, P(solid|Li)=P(solid)P(Li|solid)이고, P(dash|Li)=P(dash)P(Li|dash)이며, P(Li|solid) 및 P(Li|dash)는 각각 직선 차선 및 점선 차선의 가능도 확률(likelihood probability)이며, P(solid) 및 P(dash)는 사전확률(prior probability)일 수 있다.

이 때, P(solid) = 1 ? P(dash)일 수 있다. 또한, P(solid)는 상기 차선 색상 정보에 따라 서로 상이하게 미리 정의될 수 있다. 예를 들어, 차선 색상이 노란 색일 경우 P(solid) = 0.8, 차선 색상이 파란 색일 경우 P(solid) = 0.7, 차선 색상이 흰 색일 경우, P(solid) = 0.5일 수 있다. 이 경우, 차선의 색상과 차선의 종류 간에 존재하는 일정한 상관관계를 반영하여 각각의 차선의 종류를 계산할 수 있는 효과가 있다.

P(Li|solid)는 상기 차선 후보 에지 링크를 표현하는 것으로 측정되는 직선의 길이 및 상기 차선 후보 에지 링크의 길이의 비율을 이용하여 연산될 수 있다. P(Li|dash)= 1 - P(Li|solid)일 수 있다.

베이지안 확률 모델에 대한 기재는, 문헌 'ET. Jaynes. Probability Theory: The Logic of Science Cambridge University Press, (2003). ISBN 0-521-59271-2'을 참조할 수 있다.

단일 프레임 레벨(S110)의 동작이 모두 수행되면 각각의 프레임에 포함된 차선들에 대한 정보인 차선 파라미터가 생성되고, 상기 차선 파라미터는 저장된다(S117). 소정의 프레임이 분석되면 프레임 간 보정 레벨(S120)이 시작된다. 프레임 간 보정 레벨(S120)에서는 상기 차선 파라미터 셋을 저장하고, 각 프레임에 포함된 상기 차선 파라미터 셋을 비교하여 노이즈 차선 파라미터 셋을 제거하거나 인접 프레임의 유효 차선 파라미터 셋으로 대체한다.

프레임 간 보정 레벨(S120)에서는 각 프레임에 포함된 차선 파라미터 중 차선 위치 정보를 분석하여 직전 프레임의 차선 위치 정보가 소정의 변화 값 한계치를 초과하는 경우, 노이즈 데이터로 판단하고 제거한 후, 직전 프레임의 차선 위치 정보로 대체할 수 있다(S122).

또한, 하나의 프레임 내의 차선 파라미터 중 상기 차선 위치 정보를 분석한 결과, 상기 프레임의 좌우 중심축으로부터 오른쪽에 차선이 존재하나, 상기 프레임의 왼쪽에 차선이 존재하지 않는 경우, 이전 프레임의 왼쪽 차선의 차선 파라미터 셋을 현재 프레임에 추가할 수 있다(S124).

또한, 상기 차선 색상 정보 및 상기 차선 종류 정보를 소정의 업데이트 주기 프레임 별로 합산하여, 가장 높은 빈도를 가지는 값으로 일원화할 수 있다(S126).

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims

전방 카메라에 의해 촬영된 영상의 각 프레임을 분석하여 차선 후보 에지 링크를 생성하고, 상기 차선 후보 에지 링크에 대한 차선 파라미터 셋을 생성하되, 상기 차선 파라미터 셋은 차선 위치 정보, 차선 색상 정보 및 차선 종류 정보를 포함하는 단일 프레임 분석 단계; 및
상기 차선 파라미터 셋을 저장하고, 각 프레임에 포함된 상기 차선 파라미터 셋을 비교하여 노이즈 차선 파라미터 셋을 제거하거나 인접 프레임의 유효 차선 파라미터 셋으로 대체하는 프레임 간 보정 단계를 포함하는 차선 감지 방법.
제1 항에 있어서,
상기 단일 프레임 분석 단계는,
상기 프레임 내에 상기 차선 파라미터 셋의 생성을 위한 분석 대상인 관심 영역을 설정하는 단계를 포함하되,
상기 관심 영역을 설정하는 단계는,
상기 프레임 상에 일정 간격의 그리드(grid)를 생성하는 단계;
상기 그리드로 둘러싸인 영역의 색상을 소정의 배경 색상으로 일원화하여 제1 변형 프레임을 생성하는 단계;
상기 제1 변형 프레임에 에지 검출 필터(edge detection filter)를 적용하여 제2 변형 프레임을 생성하는 단계;
상기 제2 변형 프레임 상의 에지 픽셀 및 상기 에지 픽셀의 소정 범위의 인접 픽셀의 색상을 관심 영역 색상으로 설정하여 제3 변형 프레임을 생성하는 단계; 및
상기 제3 변형 프레임 상의 상기 관심 영역 색상의 픽셀들의 집합을 상기 관심 영역으로 설정하는 단계를 포함하는 차선 감지 방법.
제1 항에 있어서,
상기 단일 프레임 분석 단계는,
관심 영역을 설정하는 단계;
상기 관심 영역 내에서 에지 검출 필터를 적용하여 에지 픽셀을 검출하는 단계;
상기 검출된 에지 픽셀 중 서로 인접한 에지 픽셀들의 집합인 제1 에지 링크를 생성하는 단계;
상기 제1 에지 링크 간에 존재하는 간격 한계 픽셀 이하의 간격을 연결하여 제2 에지 링크를 생성하는 단계; 및
상기 제2 에지 링크 중, 상기 프레임의 좌우 중심축으로부터의 거리를 기준으로 노이즈 에지 링크를 제거한 상기 차선 후보 에지 링크를 생성하는 단계를 포함하는 차선 감지 방법.
제3 항에 있어서,
상기 제2 에지 링크를 생성하는 단계는,
상기 제1 에지 링크의 평균 기울기를 측정하는 단계; 및
상기 측정 된 평균 기울기가 미리 정의된 기울기 범위 내에 있지 않은 상기 제1 에지 링크를 제외한 상기 제2 에지 링크를 생성하는 단계를 포함하는 차선 감지 방법.
제3 항에 있어서,
상기 제2 에지 링크를 생성하는 단계는,
상기 제1 에지 링크의 시작점 픽셀로부터 끝점 픽셀 방향으로 스캔하여 상기 제1 에지 링크에 포함된 픽셀을 상기 제2 에지 링크에 포함시키는 단계;
상기 제2 에지 링크의 평균 기울기를 측정하는 단계; 및
상기 제1 에지 링크의 끝점 픽셀에서 상기 평균 기울기 방향으로 최대 상기 간격 한계 픽셀만큼 진행 시 다른 상기 제1 에지 링크에 속한 에지 픽셀이 존재하는지 판정하는 단계;
다른 상기 제1 에지 링크에 속한 에지 픽셀이 존재하는 경우, 상기 제1 에지 링크 간에 존재하는 간격을 연결하여 제2 에지 링크를 생성하는 단계를 포함하는 차선 감지 방법.
제3 항에 있어서,
상기 차선 후보 에지 링크를 생성하는 단계는,
각각의 상기 제2 에지 링크에 대하여 상기 프레임의 좌우 중심축의 반대편에 위치하되, 같은 높이 상에 위치하는 픽셀을 적어도 하나 포함하는 상기 제2 에지 링크를 스캔 하여 짝 링크로 지정하는 단계;
상기 제2 에지 링크에 포함된 픽셀 중 짝 링크에 포함된 픽셀과의 같은 높이 상의 거리가 소정의 한계 차선 넓이 이하인 비율을 연산하는 단계; 및
상기 소정의 한계 차선 넓이 이하인 비율이 소정의 에지 링크 짝 형성 비율 미만인 상기 제2 에지 링크를 상기 노이즈 에지 링크로 지정하는 단계를 포함하는 차선 감지 방법.
제1 항에 있어서,
상기 차선 종류 정보는,
식
에 의해 결정 되고,
상기 Li 는 상기 차선 후보 에지 링크이고(i≤0<차선 후보 에지 링크의 수), P(solid|Li), P(dash|Li)는 베이지안 확률 모델(Bayesian probability model) 상의 사후확률함수(posterior probability function)로, 각각 Li 가 직선(solid) 차선일 확률 및 점선(dash) 차선일 확률을 의미하며,
P(solid|Li)=P(solid)P(Li|solid)이고, P(dash|Li)=P(dash)P(Li|dash)이며, P(Li|solid) 및 P(Li|dash)는 각각 직선 차선 및 점선 차선의 가능도 확률(likelihood probability)이며, P(solid) 및 P(dash)는 사전확률(prior probability)인 차선 감지 방법.
제7 항에 있어서,
상기 P(solid)는 상기 차선 색상 정보에 따라 서로 상이하게 미리 정의되는 차선 감지 방법.