KR101472787B1

KR101472787B1 - 차선 인식 시스템 및 그 방법

Info

Publication number: KR101472787B1
Application number: KR1020130057532A
Authority: KR
Inventors: 이찬호; 정대균
Original assignee: 숭실대학교산학협력단
Priority date: 2013-05-22
Filing date: 2013-05-22
Publication date: 2014-12-15
Also published as: KR20140137100A

Abstract

복수 개의 관심 영역 내에서 추출된 곡선 차선을 직선으로 근사하여 연결할 수 있는 차선 인식 시스템 및 그 방법을 개시한다.
차선 인식 시스템은 입력되는 영상을 복수 개의 관심영역으로 분할하는 관심영역 설정부와, 복수 개의 관심영역으로 분할된 영상을 전처리하는 관심영역 전처리부와, 복수 개의 관심영역에 각각 포함되는 선분을 추출하는 선분 추출부와, 선분을 연장시켜 상기 관심영역의 위/아래 경계선과 만나는 지점의 x 좌표를 나타내는 X 포인트를 산출하는 X 포인트 산출부와, X 포인트를 크기순으로 정렬하고, 동일하거나 미리 정해진 범위 내의 크기 차이를 보이는 값들을 하나의 값으로 대체하는 X 포인트 압축부와, 복수 개의 관심 영역의 위/아래 경계선에 압축 정리된 X 포인트를 비교하여 연결점 매칭(connection points matching)을 수행하는 연결점 매칭부; 및 연결점 매칭부를 통해 인식된 선분을 통해 전체 차선을 인식하는 차선 인식부를 포함하므로, 곡선 차선 인식에 매우 강한 시스템을 구현할 수 있다.

Description

차선 인식 시스템 및 그 방법{Lane detection system and method thereof}

차량의 위치와 방향을 추정할 수 있도록 차선 경계선을 인식하는 차선 인식 시스템 및 그 방법에 관한 것이다.

자동차에 IT 기술이 접목되어 지능형 자동차 개발이 활성화되고 있고, 이에 따라 자동차의 편의성과 안정성이 크게 개선되고 있다. 이러한 연구는 자동차 주행과 관련하여 성능 및 안전성을 개선하는 연구와 차량의 상태 및 주변 환경 등의 정보를 제공하는 편의성과 안전성을 높이는 분야로 나누어지는데 후자의 경우 카메라를 통한 영상을 분석하여 주변 상황을 인식하는 연구가 중요한 부분을 차지한다.

이러한 연구 중의 하나인 차선 인식은 차선에서 차량의 위치와 방향을 추정하는데 이용 가능하다. 이를 이용하여 자동차 전용도로 등에서 차량의 차선 이탈을 감지하여 운전자에게 알려주고 모든 주행 상황에서 차선을 인식하고, 자동 운전 시스템에서 차량이 차선을 이탈하지 않고 주행하기 위한 정보를 제공한다. 또한, 다른 차량의 위치와 장애물에 대한 정보를 제공하여 장애물 회피 시스템에서도 이용될 수 있다. 차선 인식을 위해, 카메라, 선 인식 센서, 레이저 탐지, GPS 등의 다양한 센서를 이용한 방법이 연구되었는데, 이 중에서 카메라를 이용한 방식이 가장 광범위하게 특정 조건에 구애받지 않고 사용 가능하다. 카메라를 이용한 영상 인식 방법은 선 인식이나 레이저 탐지 방식처럼 차량 외부 또는 도로에 별도의 장치를 필요로 하지 않고 GPS 신호를 이용하는 방식이 요구하는 축적된 지도 정보 등이 없어도 정확한 위치 정보를 제공할 수 있다.

한편, 영상 인식을 기반으로 한 차선 인식 알고리즘에서 입력된 영상으로부터 차선 경계선 추출은 가장 핵심적인 동작으로 차량이 차선 안에서 좌우로 조금씩 움직이고 차선도 항상 직선을 유지하는 않아 하나의 특징 추출로는 인식이 어렵다. 따라서, 적절한 임계치 설정, 가장자리 탐지와 선 탐지 등의 방법을 통해 실시간으로 이루어진다. 패턴의 가장자리를 인식하는 방법은 차선 경계선처럼 두꺼운 분할선 인식에 적합하고 야간 주행을 돕기 위한 반사판에 의한 영향을 보상하는데도 이용 가능하다.

복수 개의 관심 영역 내에서 추출된 곡선 차선을 직선으로 근사하여 연결할 수 있는 차선 인식 시스템 및 그 방법을 제공한다.

이를 위한 본 발명의 일측면에 의한 차선 인식 시스템은 입력되는 영상을 복수 개의 관심영역으로 분할하는 관심영역 설정부;와, 복수 개의 관심영역으로 분할된 영상을 전처리하는 관심영역 전처리부;와, 복수 개의 관심영역에 각각 포함되는 선분을 추출하는 선분 추출부;와, 상기 선분을 연장시켜 상기 관심영역의 위/아래 경계선과 만나는 지점의 x 좌표를 나타내는 X 포인트를 산출하는 X 포인트 산출부;와, 상기 X 포인트를 크기순으로 정렬하고, 동일하거나 미리 정해진 범위 내의 크기 차이를 보이는 값들을 큰 값으로 대체하는 X 포인트 압축부;와, 상기 복수 개의 관심 영역의 위/아래 경계선에 압축 정리된 X 포인트를 비교하여 선분 근사(line segment approximation)을 수행하는 연결점 매칭부; 및 상기 연결점 매칭부를 통해 인식된 선분을 통해 전체 차선을 인식하는 차선 인식부를 포함할 수 있다.

상기 관심영역 설정부는 상기 입력되는 영상을 좌/우 영상으로 나누고, 상기 좌/우 영상으로 나누어진 프레임을 복수 개의 직사각형 관심영역으로 나누어 분할할 수 있다.

상기 관심영역 전처리부는 상기 복수 개의 관심 영역에 대해 그레이 영상으로 변환한 후, 이진화된 영상으로 변환하는 방식으로 전처리를 수행할 수 있다.

상기 X 포인트 산출부는 상기 X 포인트를 산출하고, 상기 X 포인트를 강 포인트(strong point)와 약 포인트(weak point)로 구분할 수 있다.

상기 X 포인트 산출부가 상기 X 포인트를 강 포인트(strong point)와 약 포인트(weak point)로 구분하는 것은, 상기 선분의 끝점의 y 좌표와 상기 관심 영역의 위/아래 경계선과의 거리 차이에 따라 상기 강 포인트 또는 약 포인트로 구분될 수 있다.

상기 X 포인트 압축부는 상기 X 포인트를 크기에 따라 압축 시, 상기 강 포인트가 존재하면 상기 강 포인트에 해당하는 X 포인트의 값을 기준으로 일정 범위 내의 값을 상기 X 포인트 값으로 대체하여 압축할 수 있다.

상기 연결점 매칭부는 상기 복수 개의 관심영역 중 인접한 관심영역의 경계선에 위치하는 X 포인트를 비교하고, 상기 인접하는 경계선에 위치하는 X 포인트가 동일한 x 좌표를 갖거나 미리 정해진 일정 범위 내의 값을 갖는 경우 두 개의 X 포인트를 매칭하여 선분의 양 끝점을 결정하고 선분을 근사할 수 있다.

상기 차선 인식부는 상기 연결점 매칭부를 통해 근사된 선분을 통해 전체 차선을 도시할 복수 개의 포인트를 지정하여 출력할 수 있다.

상기 차선 인식부는 상기 복수 개의 관심 영역 중 상기 영상의 좌측에 위치하는 관심 영역의 선분에서 가장 오른쪽에 위치한 복수 개의 X 포인트를 선택하여 연결하고, 상기 영상의 우측에 위치하는 관심 영역의 선분에서 가장 왼쪽에 위치한 복수 개의 X 포인트를 선택하여 연결하여 차선을 출력할 수 있다.

그리고, 본 발명의 일실시예에 의한 차선 인식 시스템의 제어방법은 입력되는 영상을 복수 개의 관심영역으로 분할하고, 상기 복수 개의 관심영역에 각각 포함되는 선분을 추출하고, 상기 선분을 연장시켜 상기 관심영역의 위/아래 경계선과 만나는 지점의 x 좌표를 나타내는 X 포인트를 산출하며, 상기 X 포인트 중 동일하거나 미리 정해진 범위 내의 크기 차이를 보이는 값들을 하나의 값으로 대체하고,

상기 복수 개의 관심 영역의 위/아래 경계선에 압축 정리된 X 포인트를 비교하여 선분 근사(line segment approximation)를 수행하여 차선을 인식할 수 있다.

상기 X 포인트를 산출하고, 상기 X포인트를 강 포인트(strong point)와 약 포인트(weak point)를 구분하여 저장할 수 있다.

상기 X 포인트를 강 포인트(strong point)와 약 포인트(weak point)로 구분하는 것은, 상기 선분의 끝점의 y좌표와 상기 관심 영역의 위/아래 경계선과의 거리 차이에 따라 상기 강 포인트 또는 약 포인트로 구분할 수 있다.

상기 X 포인트 중 동일하거나 미리 정해진 범위 내의 크기 차이를 보이는 값들을 하나의 값으로 대체하는 것은, 상기 X 포인트 중 가장 큰 값으로 나머지 값들을 대체하거나, 강 포인트로 정해진 값으로 주변값을 대체할 수 있다.

상기 차선이 인식되면 왼쪽 관심 영역에서 탐지된 선분들 중 가장 오른쪽에 위치한 선분들을 연결하여 표시하고, 오른쪽 관심 영역에서 탐지된 선분들 중 가장 왼쪽에 위치한 선분들을 연결하여 표시하는 것을 더 포함할 수 있다.

이상에서 설명한 바와 같이, 본 발명의 일측면에 의하면 복수 개의 관심 영역을 나누어 선분을 추출하고, 추출된 선분을 연결시켜 차선을 인식하므로, 곡선 차선을 인식할 수 있는 효과적인 방법을 제공한다.

도 1은 본 발명의 일실시예에 의한 차선 인식 시스템에 대한 개략적인 블록도
도 2는 도 1에 도시된 제어부의 세부 블록도
도 3 및 도 4는 도 2의 전처리부의 동작을 설명하기 위한 도면
도 5는 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 차선 인식부에서 사용되는 허프 변환에 대한 개념을 설명하기 위한 도면
도 6은 도 2의 선분 추출부의 동작을 설명하기 위한 도면
도 7 및 도 8은 도 2의 X 포인트 산출부의 동작을 설명하기 위한 도면
도 9는 도 2의 X 포인트 압축부의 동작을 설명하기 위한 도면
도 10은 도 2의 연결점 매칭부의 동작을 설명하기 위한 도면
도 11은 본 발명의 일실시예에 의한 차선 인식 시스템의 제어 흐름도

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 사용하기로 한다.

도 1은 본 발명의 일실시예에 의한 차선 인식 시스템에 대한 개략적인 블록도이다.

차선 인식 시스템(100)은 영상정보 획득장치(110), 제어부(120), 데이터베이스(130) 및 출력장치(140)를 포함할 수 있다.

영상정보 획득장치(110)는 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위, 후방위 및 측방위를 촬영할 수 있는 카메라를 포함할 수 있다. 회전체 반사경 형상으로는 쌍곡면이나 구면, 원추형, 복합형 등 다양하다. 영상정보 획득장치(110)는 차선 인식 시스템(100)의 동일면의 동일 중심축 상에 수평 간격으로 설치되는 적어도 한 쌍의 카메라 또는 단일 카메라를 포함할 수 있다. 수평 간격은 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있으며, 차선 인식 시스템(100)을 구성할 때 설정할 수 있다. 영상정보 획득장치(110)는 영상 촬상이 가능한 임의의 모든 카메라 모듈을 포함할 수 있다.

제어부(120)는 차선 인식 시스템(100)의 전반적인 동작을 제어할 수 있다. 차선 인식 시스템(100)이 주행하기 위한 각종 동력 구동부의 제어를 수행할 수 있다. 제어부(120)는 영상정보 획득장치(110)로부터 수신한 영상의 처리, 차선 인식 및 기타 연산에 관한 처리를 수행할 수 있다.

데이터베이스(130)는 제어부(120)의 동작을 위한 데이터와 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수 있다. 데이터베이스(130)는 플래시 메모리 타입, 하드 디스크 타입, 멀티미디어 카드 타입, SD(Secure Digital) 카드 타입의 메모리, 램 등과 같은 저장매체를 포함할 수 있다.

출력장치(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있으며, 디스플레이부(133) 및 음향 출력 모듈(136)을 포함할 수 있다.

디스플레이부(133)는 차선 인식 시스템(100)에서 처리되는 정보를 출력할 수 있다. 예를 들어, 주행과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다. 디스플레이부(133)는 차선 인식 시스템(100)의 영상정보 획득장치(110)을 통해 획득된 영상 또는 제어부(120)를 통해 인식된 차선과 관련된 정보를 표시할 수 있다. 디스플레이부(133)는 영상과 인식된 차선에 대한 정보를 동시에 표시하되, 상하 또는 좌우측으로 분할하여 표시하거나, 영상에 인식된 차선에 관한 정보를 오버랩하여 표시할 수 있다.

음향 출력 모듈(136)은 녹음 모드, 음성 인식 모드에서 데이터베이스(130)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(136)은 차선 인식 시스템(100)에서 수행되는 차선 인식 결과(예를 들어, 차선 이탈 경고, 자동 차선 유지 알림 등)와 관련된 음향 신호를 출력할 수 있다. 음향 출력 모듈(136)은 리시버(Receiver), 스피커(Speaker), 버저(Buzzer) 등이 포함될 수 있다.

도 2는 도 1에 도시된 제어부의 세부 블록도이며, 도 3 및 도 4는 도 2의 전처리부의 동작을 설명하기 위한 도면이며, 도 5는 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 차선 인식부에서 사용되는 허프 변환에 대한 개념을 설명하기 위한 도면이고, 도 6은 도 2의 선분 추출부의 동작을 설명하기 위한 도면이며, 도 7 및 도 8은 도 2의 X 포인트 산출부의 동작을 설명하기 위한 도면이며, 도 9는 도 2의 X 포인트 압축부의 동작을 설명하기 위한 도면이며, 도 10은 도 2의 연결점 매칭부의 동작을 설명하기 위한 도면이다.

제어부(120)는 관심영역 설정부(121), 관심영역 전처리부(122), 선분 추출부(123), X 포인트 산출부(124), X 포인트 압축부(125), 연결점 매칭부(126) 및 차선 인식부(127)를 포함할 수 있다.

관심영역 설정부(121)는 영상정보 획득장치(110)를 통해 입력되는 영상 프레임을 복수 개의 영역으로 분할할 수 있다. 관심영역 설정부(121)는 영상 프레임을 복수 개의 직사각형 관심영역(ROI, Region Of Interest)으로 나눌 수 있다. 관심영역 설정부(121)는 도 3(a) 내지 도 3(c)를 참조하면, 영상정보 획득장치(110)를 통해 획득된 영상 프레임을 좌우 두 영역으로 나눌 수 있다. 관심영역 설정부(121)는 도 4(a) 내지 도 4(d)를 참조하면, 좌우 두 영역으로 나누어진 영상 프레임을 세로축 방향으로 세 영역으로 각각 나눌 수 있다. 여기서, 상술한 영상 프레임의 영역의 개수는 일 예시를 든 것이므로, 그 실시예가 한정되는 것이 아님은 물론이다.

관심영역 전처리부(122)는 복수 개의 관심영역이 설정되면, 해당 영역을 그레이 영상으로 변환하여 전처리할 수 있다. 도 3(b) 및 도 3(c)를 참조하면, 관심 영역이 그레이 영역으로 변환된 것을 확인할 수 있으며, 이는 차선 경계선을 찾을 경우 배경보다 밝은 색을 인식하여 처리하므로 불필요한 색채를 제거하기 위해 수행하는 작업이다.

관심영역 전처리부(122)는 복수 개의 관심 영역을 그레이 이미지로 변환한 후, 해당 영역을 이진화 영상으로 변환할 수 있다. 도 4(b) 및 도 4(d)를 참조하면, 복수 개의 관심 영역이 이진화 영상으로 변환된 것을 확인할 수 있다. 관심영역 전처리부(122)는 임계값을 날씨, 도로상태, 시간대 등에 따라 조정하여 이진화 영상 변환 시, 영상의 상태에 따른 영향을 최소화할 수 있다.

선분 추출부(123)는 이진화된 영상에 허프 변환을 이용하여 차선 경계선을 직선에 맞추어 결정할 수 있다. 허프 변환은 직교좌표계 (x,y)를 다음과 같은 수식 1로 표현되는 원통좌표계(ρ,θ)로 변환 및 재구성하여 영상정보 내의 직선성분을 추출하는 변환기법이며, 영상에 존재하는 다항식으로 모델링 가능한 물체를 찾아내는 방법이다. 허프 변환은 파라미터 공간에서 에지와 같은 영상의 특징점을 지나는 곡선들의 궤적을 계산하는 것으로, 실수값의 파라미터 공간은 양자화에 의해 셀로 구분되고, 각 셀에 대응되는 특징점의 수를 헤아리기 위한 누산기(Accumulator)의 메모리를 할당해서 처리할 수 있다.

따라서, 일반적인 허프 변환에서 파라미터 공간의 각 파라미터들을 양자화과정을 거쳐 적당한 크기의 값을 갖는 영역으로 분할하고, 이산화된 각 파라미터 공간에 대응되는 영상의 특징점의 수를 누적시켜, 가장 큰 값을 갖는 영역의 파라미터 값으로부터 영상공간에서의 형상에 관한 정보를 추출할 수 있다.

차선 경계선의 직선의 식은 다음과 같은 수식 1에 의해 결정되고, θ와 ρ는 직선 모델에 맞도록 결정될 수 있다.

수식 1

x cosθ + y sinθ = ρ

상술한 수식 1에서, (x, y)평면의 동일 직선상의 점들은 (ρ, θ)평면에서 하나의 점에 대응한다. 도 5을 참조하면, 도 5(a)에서 동일 직선상에 있는 6개의 점들이 허프 변환에 의해 도 5(b)의 (ρ, θ)평면에서 하나의 점에 대응하고 있는 것을 알 수 있다.

허프 변환에서는 영상의 모든 특징점을 대상으로 각 셀에 대응하는 특징점의 수를 누적시켜 최대값을 갖는 셀의 대표값을 구하여 영상의 선분을 추출할 수 있다. 도 6을 참조하면, 분할된 복수 개의 영역에서 추출된 선분을 확인할 수 있으며, 영상 프레임의 분할된 영역의 내부에 위치하는 차선이 곡선이므로 복수 개의 선분이 추출될 수 있다.

X 포인트 산출부(124)는 복수 개의 영역에서 검출되는 선분을 연장하여 분할된 관심 영역의 위/아래의 가로축과 만나는 좌표를 저장할 수 있다. 이 때, X 포인트 산출부(124)는 검출되는 선분의 연장선과 경계선이 만나는 지점의 y 좌표가 동일하므로, x 좌표(이하, “X 포인트”라고 함)만 저장하게 된다. 도 7a를 참조하면, 분할 영역의 내부에서 4개의 선분이 감지된 것을 알 수 있다. 도 7b를 참조하면, 감지된 4개의 선분을 연장시켜 분할 영역의 위아래 경계선과 만나는 좌표를 확인하여 저장할 수 있다. 예를 들어, 도 7b에서 4개의 선분이 위 경계선과 만나는 좌표가 (109, 85, 101, 82)로 확인될 수 있고, 아래 경계선과 만나는 좌표가 (85, 77, 60, 50)로 확인될 수 있다.

X 포인트 산출부(124)는 상술한 단계에서 확인된 X 포인트를 강 포인트(strong point)와 약 포인트(weak point)로 구분할 수 있다. 강 포인트는 관심 영역의 아래 또는 위 경계선과 가까운 선분의 x좌표이다. 즉, 선분의 끝점의 y좌표가 관심영역 위/아래 경계선에서 얼마나 가까운지 여부에 따라 강 포인트로 지정될 수 있다. 예를 들면, 선분의 끝점이 관심 영역 높이의 1/n 내에 위치할 때(예를 들면, 1/3), 경계선과 만나는 점이 강 포인트가 된다. 약 포인트는 관심 영역의 아래 또는 위 경계선에 만나는 좌표 중, 강 포인트가 아닌 좌표가 약 포인트로 된다. 도 8 (a)를 참조하면, 선분의 양 끝점은 관심영역을 1/3의 높이로 나눈 영역 중 중간 영역에 모두 포함되어 있어 이 선분이 연장되어 관심영역의 위/아래 경계선과 만나는 점은 모두 약 포인트가 된다. 도 8 (b)를 참조하면, 선분의 양 끝점 중 하나의 끝점은 중간 영역에 위치하며, 다른 끝점은 아래 1/3 영역에 위치하므로, 아래의 끝점이 관심 영역의 아래 경계선과 만나는 지점은 강 포인트가 되며, 위의 끝점이 관심 영역의 위 경계선과 만나는 점은 약 포인트가 된다. 도 8 (c)를 참조하면, 선분의 양 끝점 중 위의 끝점은 위 1/3 영역에 위치하고, 다른 끝점은 중간 영역에 위치하므로, 선분의 위의 끝점이 연장되어 관심 영역의 위 경계선과 만나는 포인트는 강 포인트가 되며, 아래의 끝점이 연장되어 아래의 경계선과 만나는 포인트는 약 포인트가 된다. 도 8 (d)를 참조하면, 선분의 하나의 끝점은 위의 1/3 영역에 위치하고, 다른 하나의 끝점은 아래의 1/3 영역에 위치하므로, 양 끝점이 연장되어 관심 영역의 위/아래 경계선과 만나는 포인트는 모두 강 포인트가 된다.

한편, 관심 영역 내부의 위/아래 경계선에서 차선 경계선이 완만한 곡면의 형태인 경우 직선에 가까우므로 검출되는 선분이 길어져 직선에 근사시키기 쉽고, 차선 경계선이 심한 곡면 형태이면 선분이 짧아지게 된다. 강 포인트는 관심 영역의 위/아래 경계선에서 차선 경계선의 접선에 가까워 해당 영역에서 차선 경계선의 x좌표가 될 가능성이 매우 크다. 반면에, 강 포인트가 아닌 약 포인트는 실제 차선과 차이를 보이게 된다.

X 포인트 압축부(125)는 선분의 양 끝점이 연장되어 경계선과 만나는 x좌표를 크기순으로 정렬하고, 비슷한 크기의 값들은 그중에서 가장 큰 강 포인트 값으로 대체할 수 있다. 즉 비슷한 값들 중에서 강 포인트가 여러 개이면 그중 가장 큰 강 포인트 값으로, 강 포인트가 하나이면 그 값으로 대체하고 강 포인트가 없으면 약 포인트 중 가장 큰 값으로 대체한다. 이 과정을 거치면 비슷한 값들이 정리되고, 값이 차이가 나는 x 좌표만 남게 된다. 예를 들어, 관심 영역의 위 또는 아래 경계선에서 감지되는 x좌표가 [0, 101, 10, 50, 9, 100, 0, 99]인 경우, 우선 크기순으로 [101, 100, 99, 50, 10, 9, 0, 0]과 같이 정리할 수 있다. 다음으로, 비슷한 크기의 값을 큰 값으로 정리하면 [101, 50, 10, 0, 0, 0, 0, 0]가 남게 된다. 따라서, 관심 영역의 경계선과 만나는 점의 x 값 중 비슷한 값을 큰 값으로 정리하여 차이가 나는 x 포인트만 남길 수 있다. 한편, 크기순으로 정리한 [101, 100, 99, 50, 10, 9, 0, 0] 중 99가 강 포인트라면, [99, 50, 10, 0, 0, 0, 0, 0]와 같이 정리할 수 있다.

연결점 매칭부(126)는 상술한 방법으로 복수 개의 영역으로 분할된 관심 영역의 위/아래 경계선에 정리된 X 포인트를 비교하여 선분 근사(line segment approximation)를 진행할 수 있다.

연결점 매칭부(126)는 이웃한 관심 영역의 겹치는 가로 경계선의 X 포인트를 매칭할 수 있다. 연결점 매칭부(126)는 이웃한 위/아래 관심 영역의 정리된 X 포인트를 비교하여 두 개의 X 포인트의 좌표가 일치하거나 미리 정해진 범위 이내(예를 들면, 5% 이내)이면, 서로 매칭되는 것으로 판단한다. 연결점 매칭부(126)는 매칭되는 X 포인트를 저장할 수 있다.

도 9를 참조하면, 상단 관심 영역의 하단 경계선에서 검출되는 X 포인트는 [110, 105, 85, 0]이며, 중단 관심 영역의 상단 경계선에서 검출되는 X 포인트는 [109, 85, 80, 70]이다. 연결점 매칭부(126)는 상단 관심 영역의 X 포인트 중 중단 관심 영역의 X 포인트와 동일하거나 그 차이가 미리 정해진 범위 내이고 모두 강 포인트이거나 약 포인트인 경우 상단 관심 영역의 X 포인트를 하단 관심 영역의 X 포인트의 값으로 대체하여 저장할 수 있다. 이에 따라, 상단 관심 영역의 하단 경계선에서 검출되는 X 포인트 [110, 105, 85, 0]의 “110”과 “105”는 중단 관심 영역의 상단 경계선에서 검출되는 X 포인트 “109”로 교체되고, “85”는 중단 관심 영역의 상단 경계선에서 검출되는 X 포인트 “85”와 동일하므로 유지된다. 이에 따라, 상단 관심 영역의 하단 경계선에서 검출되는 X 포인트는 [109, 109, 85, 0]으로 전환되어 저장된다. 그러나 강 포인트와 약 포인트가 동시 존재하면 강 포인트로 대체된다.

또한, 하단 관심 영역의 상단 경계선에서 검출되는 X 포인트는 [109, 85, 80, 70]이며, 중단 관심 영역의 하단 경계선에서 검출되는 X 포인트는 [110, 105. 85. 0]와 매칭되어, 상술한 방법과 동일한 방식이 사용되어 하단 관심 영역의 상단 경계선에서 검출되는 X 포인트는 [110, 85, 85, 70]으로 전환되어 저장될 수 있다. 여기서 하단 관심 영역의 상단 경계선에서 검출되는 X 포인트 “70”은 중단 관심 영역의 하단 경계선의 X 포인트 “85”와 큰 차이가 나기 때문에 전환 없이 유지된 상태로 저장되었다.

연결점 매칭부(126)는 위/아래 관심 영역의 X 포인트를 연결 시, 위/아래 강 포인트들을 비교하여 그 좌표가 서로 일치하거나 미리 정해진 범위 이내(예를 들면, 5% 이내)의 포인트들을 고르고, 이 X 포인트가 2개이면 연결점이 된다. 이 때, 이러한 X 포인트들이 3개 이상이면 차선 경계선의 굵기 정보를 이용하여 매칭되는 강 포인트를 판정하고, 2개 미만이면 강 포인트와 가장 인접한 약 포인트를 선택하여 연결할 수 있다.

일반적으로, 분할된 관심 영역 내의 차선경계선이 직선에 가까우면 약 포인트가 거의 없어 X 포인트의 수가 많지 않고 강 포인트만 남게 된다. 이 경우, 분할된 관심 영역의 근사된 직선을 추출하기 쉽다.

연결점 매칭부(126)는 도 10을 참조하면, 차선 경계선의 시작점과 끝점을 구할 수 있다. 연결점 매칭부(126)는 상단 관심 영역의 위 경계선의 강 포인트 중에서 차선 경계선의 굵기 정보를 이용하여 한 쌍을 구할 수 있고, 강 포인트가 한 개인 경우 약 포인트 중에서 차선 굵기를 만족시킬 수 있는 것을 선택하여 시작점을 선택할 수 있다. 연결점 매칭부(126)는 하단 관심 영역의 아래 경계선의 강 포인트 중에서 차선 경계선의 굵기 정보를 이용하여 한 쌍을 구할 수 있고, 강 포인트가 한 개인 경우 약 포인트 중에서 차선 굵기를 만족시킬 수 있는 것을 선택하여 끝점을 선택할 수 있다. 가장 아래 부분의 관심 영역은 차량에서 가장 가까운 위치이므로 곡선 차로에서도 차선 경계선이 직선에 가깝고, 관심 영역 아래쪽 경계에 가까울수록 직선성이 좋다. 따라서 관심 영역의 아래쪽 경계 가로선의 X 포인트에는 일반적으로 강 포인트가 2개만 존재한다. 가장 윗부분의 관심 영역은 차량에서 가장 멀리 떨어져 있고 곡선 경향도 심하여 정확한 X 포인트를 찾기가 어렵다. 따라서 강 포인트가 2개만 존재하지 않는 경우에는 다른 관심 영역의 직선의 기울기와 차선 경계선의 두께 등을 고려하여 적절한 값을 선택한다. 이 경우 선택된 X 포인트가 정확하지 않아도 주행에 큰 영향을 주지 않는다.

차선 인식부(127)는 왼쪽 영역에서 탐지된 선분들 중 가장 오른쪽에 위치한 선분들을 선택하여 연결 후 출력 장치(140)를 통해 화면에 표시할 수 있고, 오른쪽 영역에서 탐지된 선분 들 중 가장 왼쪽에 위치한 선분들을 연결하여 화면에 표시할 수 있다.

도 11은 본 발명의 일실시예에 의한 차선 인식 시스템의 제어 흐름도이다.

관심영역 설정부(121)는 입력되는 영상 프레임을 복수 개의 관심영역으로 분할할 수 있다. 관심영역 설정부(121)는 영상 프레임을 복수 개의 직사각형 관심 영역으로 나눌 수 있다. 관심영역 설정부(121)는 영상 프레임을 좌/우 영역으로 나누고, 좌/우 영역 각각을 복수 개의 영역으로 나눌 수 있다. 이 때, 관심영역 전처리부(122)는 분할된 관심영역에 전처리를 수행하여 그레이 영상 및 이진화 영상으로 변환할 수 있다.(200)

선분 추출부(123)는 전처리된 영상에 허프 변환을 적용하여 선분을 추출할 수 있다. 선분 추출부(123)는 영상의 모든 특징점을 대상으로 각 셀에 대응하는 특징점의 수를 누적시켜 최대값을 갖는 셀의 대표값을 구하여 영상의 선분을 탐지할 수 있다.(210)

X 포인트 산출부(124)는 영상내의 복수 개의 관심영역에서 검출되는 선분을 연장하여 분할된 관심 영역의 위/아래의 가로축과 만나는 좌표 즉, X 포인트를 산출하여 저장할 수 있다.(220)

X 포인트 산출부(124)는 산출된 X 포인트를 강 포인트와 약 포인트로 구분할 수 있다. 강 포인트는 관심 영역의 아래 또는 위 경계선과 가까운 선분의 x 좌표이다. 즉, 선분의 끝점의 y 좌표가 관심영역 아래/위 경계선에서 얼마나 가까운지 여부에 따라 강 포인트로 지정될 수 있다. 강 포인트가 아닌 x 좌표는 약 포인트이다.(230)

X 포인트 압축부(125)는 선분의 양 끝점이 연장되어 경계선과 만나는 x좌표 즉, X 포인트를 크기순으로 정렬하고, 비슷한 크기의 값들은 큰 값으로 대체할 수 있다.(240)

연결점 매칭부(126)는 상술한 방법으로 복수 개의 영역으로 분할된 관심 영역의 위/아래 경계선에 압축 정리된 X 포인트를 비교하여 연결점 매칭(connection points matching)를 진행할 수 있다.(250) 또한 가장 아래의 관심 영역의 아래쪽 경계선의 X 포인트와 가장 위의 관심 영역의 위쪽 경계선의 X 포인트를 찾을 수 있다.

차선 인식부(127)는 왼쪽 영역에서 탐지된 선분에서 가장 오른쪽에 위치한 선분들을 선택하여 연결 후 출력 장치(140)를 통해 화면에 표시할 수 있고, 오른쪽 영역에서 탐지된 선분에서 가장 왼쪽에 위치한 선분들을 연결하여 화면에 표시할 수 있다.(260)

비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허청구범위의 범위에 속함은 자명하다.

Claims

입력되는 영상을 복수 개의 관심영역으로 분할하는 관심영역 설정부;
상기 복수 개의 관심영역으로 분할된 영상을 전처리하는 관심영역 전처리부;
상기 복수 개의 관심영역에 각각 포함되는 선분을 추출하는 선분 추출부;
상기 선분을 연장시켜 상기 관심영역의 위 경계선 및 아래 경계선과 각각 만나는 지점의 x 좌표를 나타내는 X 포인트를 산출하는 X 포인트 산출부;
상기 X 포인트를 크기순으로 정렬하고, 동일하거나 미리 정해진 범위 내의 크기 차이를 보이는 값들을 하나의 값으로 대체하는 X 포인트 압축부;
상기 복수 개의 관심 영역의 위 경계선 및 아래 경계선에 압축 정리된 X 포인트를 비교하여 선분 근사(line segment approximation)을 수행하는 연결점 매칭부; 및
상기 연결점 매칭부를 통해 인식된 선분을 통해 전체 차선을 인식하는 차선 인식부를 포함하는 차선 인식 시스템.
제 1 항에 있어서,
상기 관심영역 설정부는 상기 입력되는 영상을 좌우 영상으로 나누고, 상기 좌우 영상으로 나누어진 프레임을 복수 개의 직사각형 관심영역으로 나누어 분할하는 것인 차선 인식 시스템.
제 1 항에 있어서,
상기 관심영역 전처리부는 상기 복수 개의 관심 영역에 대해 그레이 영상으로 변환한 후, 이진화된 영상으로 변환하는 방식으로 전처리를 수행하는 것인 차선 인식 시스템.
제 1 항에 있어서,
상기 X 포인트 산출부는 상기 X 포인트를 산출하고, 상기 X 포인트를 강 포인트(strong point)와 약 포인트(weak point)로 구분하는 차선 인식 시스템.
제 4 항에 있어서,
상기 X 포인트 산출부가 상기 X 포인트를 강 포인트(strong point)와 약 포인트(weak point)로 구분하는 것은,
상기 선분의 끝점의 y 좌표와 상기 관심 영역의 위 경계선 및 아래 경계선과의 거리 차이에 따라 상기 강 포인트 또는 약 포인트로 구분되는 것인 차선 인식 시스템.
제 4 항에 있어서,
상기 X 포인트 압축부는 상기 X 포인트를 크기에 따라 압축 시, 상기 강 포인트가 존재하면 상기 강 포인트에 해당하는 X 포인트의 값을 기준으로 일정 범위 내의 값을 상기 X 포인트 값으로 대체하여 압축하는 차선 인식 시스템.
제 1 항에 있어서,
상기 연결점 매칭부는 상기 복수 개의 관심영역 중 인접한 관심영역의 경계선에 위치하는 X 포인트를 비교하고, 상기 인접한 관심영역의 경계선에 위치하는 X 포인트가 동일한 x 좌표를 갖거나 미리 정해진 일정 범위 내의 값을 갖는 경우 두 개의 X 포인트를 연결하여 연결점 매칭하는 차선 인식 시스템.
제 1 항에 있어서,
상기 차선 인식부는 상기 연결점 매칭부를 통해 근사된 선분을 통해 전체 차선을 도시할 복수 개의 포인트를 지정하여 출력하는 차선 인식 시스템.
제 8 항에 있어서,
상기 차선 인식부는 상기 복수 개의 관심 영역 중 상기 영상의 좌측에 위치하는 관심 영역의 선분에서 가장 오른쪽에 위치한 복수 개의 X 포인트를 선택하여 연결하고, 상기 영상의 우측에 위치하는 관심 영역의 선분에서 가장 왼쪽에 위치한 복수 개의 X 포인트를 선택하여 연결하여 차선을 출력하는 차선 인식 시스템.
입력되는 영상을 복수 개의 관심영역으로 분할하고,
상기 복수 개의 관심영역에 각각 포함되는 선분을 추출하고,
상기 선분을 연장시켜 상기 관심영역의 위 경계선 및 아래 경계선과 각각 만나는 지점의 x 좌표를 나타내는 X 포인트를 산출하며,
상기 X 포인트 중 동일하거나 미리 정해진 범위 내의 크기 차이를 보이는 값들을 하나의 값으로 대체하고,
상기 복수 개의 관심 영역의 위/아래 경계선에 압축 정리된 X 포인트를 비교하여 연결점 매칭(connection points matching)을 수행하여 차선을 인식하는 차선 인식 시스템의 제어방법.
제 10 항에 있어서,
상기 X 포인트를 산출하고, 상기 X 포인트를 강 포인트(strong point)와 약 포인트(weak point)를 구분하여 저장하는 차선 인식 시스템의 제어방법.
제 11 항에 있어서,
상기 X 포인트를 강 포인트(strong point)와 약 포인트(weak point)로 구분하는 것은,
상기 선분의 끝점의 y 좌표와 상기 관심 영역의 위 경계선 및 아래 경계선과의 거리 차이에 따라 상기 강 포인트 또는 약 포인트로 구분하는 것인 차선 인식 시스템의 제어방법.
제 11 항에 있어서,
상기 X 포인트 중 동일하거나 미리 정해진 범위 내의 크기 차이를 보이는 값들을 하나의 값으로 대체하는 것은,
상기 X 포인트 중 가장 큰 값으로 나머지 값들을 대체하거나, 강 포인트로 정해진 값으로 주변값을 대체하는 것인 차선 인식 시스템의 제어방법.
제 11 항에 있어서,
상기 차선이 인식되면 왼쪽 관심 영역에서 탐지된 선분들 중 가장 오른쪽에 위치한 선분들을 연결하여 표시하고, 오른쪽 관심 영역에서 탐지된 선분들 중 가장 왼쪽에 위치한 선분들을 연결하여 표시하는 것을 더 포함하는 차선 인식 시스템의 제어방법.