KR101612821B1 - 차선 인식 장치 및 그 방법 - Google Patents

Abstract

본 발명은 차선을 인식하고 추적하는 장치 및 방법에 관한 것이다.
본 발명은 카메라로 획득한 영상에서 차선 후보점들을 월드 좌표계(world cordinate)로 변환하여, 복수의 차선들을 추적 및 인식하고, 인식된 차선들 중에서 차량이 현재 주행중인 주행 차선(또는, 주 차선)을 결정함으로써, 차량이 차선 변경을 하거나 굴곡이 심한 도로환경에서도 차선을 정확하게 인지하는 것이다.

Description

차선 인식 장치 및 그 방법{APPARATUS FOR TRACING LANE AND METHOD THEREOF}

본 발명은 이미지 처리를 통해, 차량이 현재 주행 중인 복수의 차선을 인식하는 장치와 방법에 관한 것이다.

기술의 발달과, 수요자의 요구(needs)에 차량에 설치되는 보조 안전 장치의 종류 및 그 수가 다양해지고 있다.

일반적으로 차량에 설치되는 부가 장치가 다양해짐에 따라 차량에는 주차하기에 편리한 후방인식 시스템, 도로 정보를 제공하는 네비게이션 시스템, 주행 중의 차량의 이상 여부를 판단하고 정비 예약, 이동통신 시비스를 제공하는 텔레매틱스, 주행 중 차선을 인식하여 운전자에게 알려주는 차선 인식 시스템 등의 다양한 부가 장치를 많이 활용하고 있다.

특히, 차선 인식 장치는, 카메라 등을 통해 입력된 또는 외부 단말로부터 수신된 임의의 영상에 포함된 차선을 인식하는 장치이다. 이러한 차선 인식 장치는 차량에 카메라를 장착하여, 주행 중 카메라로부터 수신되는 영상을 처리하여, 차량이 차선을 벗어나는 경우를 검출하여, 운전자에게 경보나 메시지를 제공하여 운전자로 하여금 안전 주행을 할 수 있도록 하는 보조 안전 장치이다.

한편, 종래 차선 인식 장치는 카메라로 추출한 영상을 통해 차선을 검출 내지 추적할 때, 차량의 왼쪽 및 오른쪽 차선, 즉 차량의 현재 주행 차선만을 검출하는데 주력하고 있다. 이러한 종래의 차선 추적 방법은 현재 주행 차선만을 인식하고 추적하기 때문에, 오른쪽 차선은 차량의 오른쪽에, 왼쪽 차선은 차량의 왼쪽에 있다는 가정이 전제된다.

이러한 종래의 차선 추적 방법은, 주행 중인 차량이 급하게 차선을 변경하거나, 곡률이 심한 차선을 차량이 주행하는 경우에, 차선 인식의 오검출 가능성이 높아지고 또한 주행 차선의 인식 (또는 선택)이 부정확할 수 있다.

본 발명은, 상술한 종래 기술과 같이, 차량이 주행하고 있는 주행 차선(즉, 주행 중인 차로의 오른쪽 차선 및 왼쪽 차선)을 추적함으로써 발생하는 차선 인식의 오류를 방지하고, 차량이 차선을 변경하거나 곡률이 심한 차선을 주행하여도 차선을 정확하게 인식하는 차선 인식하고 추적하는 차선 인지 장치 및 방법을 제공한다.

또한, 본 발명은 차량의 주행 차선 이외에도 주행하는 도로에 존재하는 모든 차선들을 전방위로 인식하고, 그 인식된 차선들 중에 현재 차량이 주행하고 있는 차선을 선택 내지 결정함으로써, 그 선택된 차선을 기준으로 차선의 변경 시에도 정확하게 차선을 추적하는 차선 인지 장치 및 방법을 제공한다.

상기와 같은 본 발명의 과제 해결을 위해, 본 발명에 따른 차선 인식 방법은,

주행하는 도로의 영상을 획득하여, 상기 획득한 영상에서 미리 설정된 가이드 라인을 근거로 복수 차선들에 해당하는 후보점들을 추출하고; 상기 추출된 후보점들을 월드 좌표로 변환하고; 상기 월드 좌표로 변환된 후보점들을 이용해 복수의 포인트를 확인함으로써, 상기 복수의 차선들을 추적하고; 상기 추적한 복수의 차선들 중에서 주 차선을 결정하고; 상기 추적한 복수의 차선들과 상기 결정한 주 차선을 상기 획득한 영상과 함께 표시하는 것이 특징이다.

바람직하게는, 상기 확인된 복수의 포인트를 근거로 차선의 커브 정보를 계산하고; 상기 확인된 복수의 포인트와 상기 계산된 커브 정보를 상기 획득한 도로의 영상에 오버랩하여 표시하는 과정을 더 수행하는 것이 특징이다.

또한, 상기와 같은 본 발명의 과제 해결을 위해, 본 발명에 따른 차선 인식 장치는,

주행중인 도로의 영상을 촬영하는 카메라 모듈과;

미리 설정된 가이드 라인을 이용하여 상기 촬영한 영상으로부터 차선들에 대응하는 후보점들을 추출하고, 상기 추출된 후보점들을 월드좌표계로 변환하고, 상기 변환된 월드좌표의 후부점들로부터 복수의 차선들을 추적하고, 상기 복수의 차선들 중 차량이 주행하고 있는 주 차선을 결정하는 제어부와;

상기 제어부가 추적한 상기 복수의 차선들과 상기 결정된 주 차선을, 상기 카메라 모듈이 촬영한 영상과 함께 표시하는 표시부;를 포함하는 것이 특징이다.

바람직하게는, 상기 추출된 후보점들을 월드좌표계로 변환하시키는 변환 행렬을 저장하는 저장부를 더 포함하는 것이 특징이다.

본 발명은 주행주인 도로를 촬영한 영상에서 복수의 차선을 추적하기 위해 후보점들을 추출하고, 그 추출된 후보점들은 월드 좌표로 변환하고, 그 변환된 월드 좌표의 후보점들에서 복수의 차선을 추적하고, 또한 그 추적한 복수의 차선에서 주 차선을 결정함으로써, 차량이 차선 변경을 하거나 곡률이 심한 도로를 주행하더라도 차선 인지의 정확성을 높일 수 있다.

도 1은 본 발명의 일 실시 예로서, 본 발명에 따른 차선 인식 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예로서, 본 발명에 따른 차선 인식 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시 예로서, 원본 영상을 나타낸 도이다.
도 4는 본 발명의 일 실시 예로서, 복수의 차선을 추적하기 위한 가이드 라인이 표시된 원본 영상을 나타낸 도이다.
도 5는 본 발명의 일 실시 예로서, 복수의 차선에 대응하는 후보점들을 나타낸 도이다.
도 6은 본 발명의 일 실시 예로서, 월드 좌표로 변환한 복수의 차선들에 해당하는 후보점들을 나타낸 도이다.
도 7은 본 발명의 일 실시 예로서, 커브에 해당하는 포인트들과 복수의 차선에 해당하는 포인들을 추적한 결과를 나타낸 도이다.
도 8는 본 발명의 일 실시예로서, 원본 영상에 커브 정보와, 복수의 차선 정보를 나타낸 도이다.

본 발명은 차선을 인식하고 추적하는 장치 및 방법에 적용된다. 그러나, 본 발명은 이에 한정하지 않고, 본 발명의 기술적 사상이 적용될 수 있는 카메라와 같은 매체로 촬영된 영상을 처리하는 장치 및 방법 이외에도, 모든 멀티미디어 시스템 및 제어장치에 적용될 수도 있다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항복들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 거이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 기본 개념은, 카메라로 획득한 영상에서 차선 후보점(또는, 특징점, 지지점, support point) 들을 월드 좌표계(world cordinate)로 변환하여, 복수의 차선들을 추적 및 인식하고, 인식된 차선들 중에서 차량이 현재 주행중인 주행 차선(또는, 주 차선)을 결정함으로써, 차량이 차선 변경을 하거나 굴곡이 심한 도로환경에서도 차선을 정확하게 인지하는 것이다.

본 발명의 실시 예에서 사용하는 용어들, 예를 들어, 차선 인식 장치, 차선 후보점 등은 본 발명의 설명을 위해 편의상 명명된 것일 뿐, 그 명칭에 의해 기술적 구성 및 기능이 한정되는 것이 아니다. 즉, 예를 들어, 차선 인식 장치는, 차선 인지 장치, 차선 추적 장비, 차선 탐지 장치 등으로 명명될 수도 있으며, 기능적으로 주행 중인 도로의 영상을 획득하여 처리함으로써, 복수의 차선 중 주행 차선을 결정하는 알고리즘을 구비한 모든 소프트웨어 또는 하드웨어일 수 있다. 또한, 차선 후보점은 차선 특징점, 지지점 등으로 명명될 수 있으며, 주행중인 차량의 카메라 촬영한 영상에서 차선을 인식하기 위해 이용되는 영상 상의 특정 좌표값에 해당할 수 있다.

또한, 본 발명의 실시 예에 따른 차선 인식 장치는, 카메라 등을 통해 획득한 영상을 통해 복수의 차선을 인식하고 추적하는 과정을 처리할 수 있는 장치를 통칭하는 것으로서, 그 구현 방법은 다양하다. 예를 들어, 본 발명의 실시 예에 따른 차선 인식 장치는, 스탠드 얼론(stand alone)으로 구성될 수 있을 뿐만 아니라, 이동 단말기(Mobile Terminal), 텔레매틱스 단말기(Telematics Terminal), 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player : PMP), 노트북 컴퓨터, 태블릿 PC(Tablet PC), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 텔레비전(Television), 3D 텔레비전, 영상 기기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, AVN(Audio Video Navigation) 단말기 등과 같이 다양한 단말기에 결합된 구성으로 구현될 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명에 따른 차선 인식 장치의 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 차선 인식 장치(100)는, 카메라 모듈(110), 제어부(120), 표시부(130) 및, 저장부(140)로 구성된다. 다만, 도 1에 도시한 차선 인식 장치(100)의 구성 요소는 기능적인 측면에서 구현한 일 예에 해당한다. 따라서, 도 1에 도시된 차선 인식 장치는 본 발명의 실시 예를 구현하기 위한 필수 구성 요소로 고정되는 것이 아니다. 또 다른 실시 예로서, 도 1에 도시한 구성 요소의 개수보다 많은 구성 요소들에 의해 차선 인식 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 차선 인식 장치(100)가 구현될 수도 있다. 즉, 예를 들어, 카메라 모듈(110)은, 단일 카메라를 포함하거나, 또는 적어도 하나 이상의 카메라(일 예로, 스테레오 카메라(stereo camera) 또는, 스테레오코스픽 카메라(stereoscopic camera))를 포함할 수도 있다. 또한, 카메라 모듈(110)은, 주행 중인 도로를 촬영한 이미지를 처리하는 알고리즘이 포함된 이미지 프로세서(digital image processer)가 일 구성요소로 포함될 수도 있다. 카메라 모듈(110)은 영상 촬영이 가능한 임의의 모든 카메라를 구비한 모듈 내지 장치일 수도 있다.

도 1에 도시된 본 발명의 일 실시 예를 간략히 설명하면 다음과 같다: 1) 즉, 카메라 모듈(110)의 카메라가 주행 중인 도로를 영상(예를 들어, 차량을 기준으로 전방 영상, 좌우 측방의 영상)을 촬영하여, 그 촬영된 영상을 제어부(120)로 보낸다; 2) 제어부(120)는 촬영된 영상(즉, 도로의 영상)에서 차선의 특징점들을 추출하고, 그 추출된 특징점들을 월드좌표계로 변환한다; 3) 제어부(120)는 상기 추출된 차선의 특징점들을 이용하여 복수의 차선들을 추적하고; 4) 제어부(120)는 상기 추적한 복수의 차선들 중에서 차량이 주행하고 있는 주 차선을 결정한다; 5) 제어부(120)는 상기 추적한 복수의 차선들과 주행하고 있는 주 차선을 표시부(130)에 표시한다.

도 2는 본 발명의 일 실시 예로서, 본 발명에 따른 복수의 차선 인식 방법을 나타낸 흐름도이다.

이하, 도 1 및 도 2을 참조하여 본 발명에 따른 복수의 차선을 인식하는 장치 및 방법을 더욱 상세히 설명한다.

카메라 모듈(110)은, 차량에 설치되는 경우, 상기 차량의 소정 위치에 고정되어, 주행 방향의 전방, 측방, 후방 등을 촬영하고, 상기 촬영된 영상을 제어부(120)로 유선 또는 무선 경로로 전송할 수 있다. 즉, 카메라 모듈(110)는 일 구성요소인 카메라를 통하여, 도 3과 같은 주행 중인 도로의 영상(310)을 촬영하여 제어부(120)에 전송할 수 있다(S210). 한편, 카메라 모듈(110)은, CCD 소자, CMOS 소자 등과 같은 이미지 센서일 수 있다.

제어부(120)는 차선 인식 장치(100)의 전반적인 동작을 제어한다. 제어부(120)는 이미지 처리와 관련된 연산을 처리하는 마이크로 프로세서, 캐쉬(cache)를 포함할 수 있다. 제어부(120)는 카메라 모듈(110)이 촬영하여 전송한 이미지(즉, 주행중인 도로의 영상)에서 후보점들을 월드 좌표들로 변환하고, 그 변환된 월드 좌표들을 이용하여 주행중인 복수의 차선들을 추적(tracing, tracking 또는 detecting)하는 알고리즘을 수행한다. 또 다른 실시 예로서, 제어부(120)는 상기 알고리즘을 수행하는 독립적인 칩(chip) 내지 독립 모듈로 구성시켜고, 이를 일 구성요소로 포함할 수도 있다.

제어부(120)는, 상기 S210 단계에서 카메라 모듈(110)을 통해 수신된 영상(310)에서 복수의 차선을 추적하는 동작(또는 알고리즘)을 수행한다. 즉, 제어부(120)는 먼저 상기 S210 단계에서 수신한 영상에서 후보점들(도 5의 510) 을 추출한다(S220). 이때, 제어부(120)는 차선들의 후보점들(support point)을 추출하기 위해, 미리 설정된 가이드 라인(guide line)(도 4의 410)을 근거로 상기 수신된 영상 내에서 복수의 후보점(510)을 추출한다. 한편, 상기 가이드 라인(410)은, 등고선과 같이 등거리로 표시된다. 따라서, 상기 가이드 라인은, 도 4에 도시된 바와 같이, 근거리 보다 원거리에 표시되는 가이드 라인의 간격이 좁게 나타나도록 처리된다. 여기서, 가이드 라인의 줄간 간격은, 설계자의 설계에 따라 다양하게 설정할 수 있으며, 또한, 월드 좌표로 변환 시, 동일한 줄간 간격을 유지하도록 설정할 수 있다.

일 예로, 제어부(120)는, 도 5에 도시한 바와 같이, 상기 미리 설정된 가이드 라인을 근거로 상기 수신된 영상 내에서 후보점들(510)을 추출하고, 표시부(130)를 통해 상기 추출된 후보점들(510)을 이미지 도메인 상에 표시한다. 여기서, 수평축(x축)을 기준으로 상기 복수의 후보점들(510) 간의 수직 방향의 간격은 상기 표시부(130)의 수직 방향의 아래쪽에서 수직 방향의 위쪽으로 갈수록 좁아진다.

이후, 제어부(120)는, 상기 추출된 후보점들을 월드 좌표로 변환한다(S230).

즉, 제어부(120)는, 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용하여 상기 추출된 후보점들을 월드 좌표로 변환한다.

일 예로, 제어부(120)는, 도 6에 도시한 바와 같이, 상기 저장부(140)에 미리 저장된 호모그래픽 행렬을 근거로 상기 추출된 후보점들을 월드 좌표로 변환하고, 상기 월드 좌표로 변환된 후보점들(도 5의 610)을 상기 표시부(130)에 표시한다. 여기서, 수평축을 기준으로 상기 월드 좌표로 변환된 후보점들(610) 간의 수직 방향의 간격은 동일한 간격을 유지한다.

이후, 제어부(120)는, 상기 월드 좌표로 변환된 후보점들(610) 및 상기 저장부(140)에 미리 저장된 커브 방정식을 근거로 상기 월드 좌표로 변환된 후보점(610) 중에서 커브에 해당하는 복수의 포인트들을 확인(또는, 추출)한다.

즉, 제어부(120)는, 도 6에 도시된 바와 같이, 월드 좌표로 변환된 포인트를 이용하여, 커브에 해당하는 포인트를 확인하고, 커브 정보를 계산한다. 또한, 제어부(120)는, 월드 좌표의 변환된 포인트를 이용하여 복수의 차선들을 추적한다(S240).

상기 S240 단계를 보다 상세히 설명하면, 상기 제어부(120)는, 상기 월드 좌표로 변환된 후보점들을 저장부(140)에 미리 저장된 커브 방정식에 대입하여, 상기 대입 결과를 근거로 상기 월드 좌표로 변환된 후보점들(610)의 커브 유무를 확인한다. 여기서, 상기 커브 방정식은 2차원 이상의 방정식일 수 있다.

일 예로, 제어부(120)는, 상기 월드 좌표로 변환된 복수의 후보점을 상기 저장부(140)에 미리 저장된 2차 커브 방정식(예를 들어, y=ax²+bx+c, 여기서 a는 곡률, b는 기울기(또는, 헤딩), C는 옵셋)에 대입하여, a=0이면, 직선으로 인식하고, a≠0이면, 커브로 인식한다.

다른 일 예로, 제어부(120)는, 상기 월드 좌표로 변환된 복수의 후보점을 저장부(140)에 미리 저장된 3차 커브 방정식(예를 들어, y=ax³+bx²+cx+d, 여기서, a는 커브 변화율(curve derivative), b는 곡률, c는 헤딩, d는 옵셋)에 대입하여, 커브 유무를 확인한다. 이때, a가 0일 경우, 2차 방정식에서 b는 곡율, c는 헤딩, d는 옵셋을 나타내며, a와 b 모두 0일 경우는 직선 검출로서, c는 헤딩, d는 옵셋을 나타낸다.

또한, 제어부(120)는, 캘리브레이션 시간을 감소시키고 노이즈를 감소시키기 위해서 상기 확인된 커브에 해당하는 복수의 포인트들을 근거로 추적(tracking 또는 tracing)을 수행한다. 여기서, 캘리브레이션은, 카메라 모듈(110)과 월드 평면과의 변환 관계를 계산하는 것을 의미한다.

일 예로, 상기 제어부(120)는, 도 7에 도시한 바와 같이, 상기 확인된 커브에 해당하는 복수의 포인트들을 근거로 복수의 차선들을 추적하고, 상기 추적한 수행 결과(710), 즉 복수의 차선들을 상기 표시부(130)에 표시한다.

이후, 제어부(120)는, 상기 확인된 커브에 해당하는 복수의 포인트들에 대해서 차선의 중앙점을 추종하는 커브 정보를 계산한다. 이때, 상기 계산된 커브 정보는, 카메라의 캘리브레이션 상태의 영향을 최소화하여, 월드 좌표 상에서의 차선 유지 성능을 향상시키는데 이용할 수 있다.

일 예로, 제어부(120)는, 상기 확인된 커브에 해당하는 복수의 포인트들에 대해서 최소 자승법, 랜삭(RANSAC), 일반 허프 변환법, 스플라인 보간법 등 어느 하나의 방식을 이용하여 차선의 중앙점을 추종하는 커브 정보를 계산하고, 상기 계산된 커브 정보를 상기 표시부(130)에 표시한다.

이후, 제어부(120)는, 상기 계산된 커브 정보 및/또는 차선 정보(또는, 커브 정보)(도 8의 920)를 상기 수신한 원본 영상(즉, 도 3의 영상)에 오버랩하여 상기 표시부(130)에 표시한다. 즉, 제어부(120)는, 월드 좌표인 상기 계산된 차선의 중앙점을 추종하는 커브 정보, 상기 확인된 차선 정보(920) 등의 정보를 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑)하고, 상기 변환된 각각의 좌표를 상기 수신한 원본 영상(310)에 오버랩하여 상기 표시부(130)에 표시한다.

한편, 제어부(120)은 상기 S240 단계에서 추적한 복수의 차선들을 이용하거나, 또는 상기 추적한 복수의 차선들 및 상기 계산한 차선의 중앙점을 위한 커브 정보 등을 이용하여, 차량이 현재 주행하면서 점유하고 있는 주 차선을 결정한다(S250). 이때, 상기 주 차선을 결정은, 여러 가지 방법으로 구현될 수 있다. 예를 들어, 상기 S240 단계에서 추적한 복수의 차선들 중에서 기준 좌표(예를 들어, x 좌표) 또는 기준점을 중심으로 가장 근거리에 추적되는 차선들 사이가 차량이 현재 점유하고 있는 차선이 될 것이다. 이와 같이, 영상을 통해 주 차선을 결정하는 이외에도, 차량에 별도의 센서를 장착하고 센서에서 감지한 일명 위치정보와, 상기 추적된 복수의 차선들의 정보를 이용하여 상기 주 차선을 결정할 수도 있다.

또한, 제어부(120)는, 임의의 GPS 모듈(미도시)을 통해 확인되는 상기 차선 인식 장치(100)(또는, 상기 차선 인식 장치(100)가 구비된 차량)의 위치 및 상기 확인된 커브(또는, 차선)를 근거로 차선 유지와 관련된 기능(경고 메시지 기능, 자동 차선 유지 기능 등 포함)을 수행한다. 또는, 제어부(120)는 차량이 차선 변경 시에 경고 메시지 또는 경고음을 발생시킬 수도 있다.

이상 일련의 절차(S210 ~ S250)를 통해 추적한 복수의 차선들을, 상기 제어부(120)는, 도 8에 도시한 바와 같이, 원본 영상(310)과 상기 계산된 커브에 대응하는 정보 및 복수의 차선들에 대응하는 정보(920)를 상기 표시부(130)에 표시한다(S260).

이하, 도 1에 도시된 본 발명의 실시 예의 일 구성요소들의 기능 및 동작을 더욱 상세히 설명한다.

표시부(130)는, 제어부(120)의 제어에 의해 저장부(140)에 포함된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시한다. 여기서, 표시부(130)에 표시되는 콘텐츠는, 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다.

또한, 표시부(130)는, 3차원 디스플레이(3D Display) 또는 2차원 디스플레이(2D Display)를 포함한다. 또한, 표시부(130)는, 액정 디스플레이(Liquid Crystal Display : LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display : TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode : OLED), 플렉시블 디스플레이(Flexible Display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수도 있다.

또한, 표시부(130)는, 제어부(120)의 제어에 의해 상기 3차원 영상(또는, 2차원 영상)을 표시한다.

한편, 차선 인식 장치(100)의 구현 형태에 따라 상기 표시부(130)가 2개 이상 존재할 수 있다. 예를 들면, 차선 인식 장치(100)에 복수의 표시부들이 하나의 면(동일면)에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

한편, 표시부(130)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 상기 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드, 터치 패널 등의 형태를 가질 수 있다.

또한, 상기 터치 센서는, 표시부(130)의 특정 부위에 가해진 압력 또는 상기 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 또한, 상기 터치 센서는, 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 상기 제어부(120)로 전송한다. 이로써, 제어부(120)는, 상기 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.

또한, 표시부(130)는, 근접 센서를 포함할 수 있다. 또한, 상기 근접 센서는, 터치 스크린에 의해 감싸지는 차선 인식 장치(100)의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다.

또한, 상기 근접 센서는, 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 상기 근접 센서는, 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는, 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(Proximity Touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(Contact Touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치는, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.

또한, 상기 근접 센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 상기 터치 스크린상에 출력될 수 있다.

이상과 같이, 표시부(130)가 입력 장치로 사용되는 경우, 사용자에 의한 버튼 조작을 입력받거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 명령 또는 제어 신호를 입력받을 수 있다.

한편, 저장부(140)는, 각종 메뉴 화면, 다양한 사용자 인터페이스(User Interface : UI) 및/또는 그래픽 사용자 인터페이스(Graphic User Interface : GUI)를 저장한다.

또한, 저장부(140)는, 변환 행렬(예를 들어, 호모그래픽 행렬 등), 커브 방정식, 최소 자승법 등의 수학식을 저장한다.

또한, 저장부(140)는, 상기 차선 인식 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

또한, 상기 저장부(140)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 롬(Read-Only Memory : ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 램(Random Access Memory : RAM), SRAM(Static Random Access Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 저장 매체를 포함할 수 있다.

한편, 차선 인식 장치(100)는, 제어부(120)의 제어에 의해 임의의 단말기 또는 서버와의 통신 기능을 수행하는 통신부(150)를 더 포함할 수 있다. 이때, 상기 통신부는, 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.

또한, 상기 통신부(150)는, 상기 차선 인식 장치(100)가 구비되는 임의의 차량과의 통신을 위한, CAN 통신, 차량용 이더넷, 플렉스레이(flexray), LIN(Local Interconnect Network) 등을 포함할 수 있다.

또한, 상기 통신부(150)는, 제어부(120)의 제어에 의해 임의의 영상에 대해 추출된 복수의 지지점, 상기 복수의 후보점들을 월드 좌표로 각각 변환한 포인트들, 상기 월드 좌표로 변환한 포인트들 중에서 커브에 해당하는 복수의 포인트들, 상기 커브에 해당하는 복수의 포인트들을 근거로 계산되는 차선의 중앙점을 추종하는 커브 정보 등을 상기 임의의 단말기 또는 서버에 전송한다.

또한, 상기 통신부(150)는, 전송된 카메라를 통해 동시에 촬영된 복수의 차선들과 관계된 영상을 상기 임의의 단말기 또는 서버로부터 수신하거나 송신할 수도 있다.

또한, 상기 차선 인식 장치(100)는, 오디오 신호를 수신하기 위한 적어도 하나 이상의 마이크를 포함하는 입력부를 더 포함할 수 있다.

상기 마이크는, 통화 모드, 녹음 모드, 음성 인식 모드, 영상 회의 모드, 영상 통화 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호(사용자의 음성(음성 신호 또는 음성 정보) 포함)를 수신하여 전기적인 음성 데이터로 처리한다. 또한, 상기 처리된 음성 데이터는 음성 출력부(미도시)를 통해 출력하거나 또는, 상기 통신부(150)를 통하여 외부 단말기로 송신 가능한 형태로 변환되어 출력될 수 있다. 또한, 상기 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수도 있다.

또한, 상기 입력부는, 사용자에 의한 버튼 조작에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신한다.

또한, 상기 입력부는, 사용자에 의해 입력된 정보에 대응하는 신호를 수신하며, 키보드(keyboard), 키 패드(Key Pad), 돔 스위치(Dome Switch), 터치 패드(정압/정전), 터치 스크린(touch screen), 조그 셔틀(Jog Shuttle), 조그 휠, 조그 스위치, 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen), 레이저 포인터 등의 다양한 장치가 사용될 수 있다. 이때, 상기 입력부는, 상기 다양한 장치에 의한 입력에 대응하는 신호를 수신한다.

또한, 상기 차선 인식 장치(100)는, 상기 제어부(120)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력하는 음성 출력부(미도시)를 더 포함할 수 있다. 여기서, 상기 음성 출력부는, 스피커가 될 수도 있다.

이상, 도 1 내지 도 8에 도시된 바와 같이, 원본 영상(310) 내에서 복수의 차선들에 해당하는 후보점들을 추출하여 월드 좌표로 변환하고, 상기 변환된 월드 좌표 상에서 복수의 차선들을 추적 및 인식하고, 상기 추적한 복수의 차선들 중에 주 차선을 결정하여 표시부에 표시함으로써, 차량이 주행 중에 차선을 변경하거나 곡률이 심한 도로에서도 차선을 변경하더라도 차선을 정확하게 인식할 수 있다.

한편, 여기까지 설명된 본 발명에 따른 방법은 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 본 발명에 따른 방법은 저장 매체(예를 들어, 이동 단말기 내부 메모리, 플래쉬 메모리, 하드 디스크, 기타 등등)에 저장될 수 있고, 프로세서(예를 들어, 이동 단말기 내부 마이크로 프로세서)에 의해서 실행될 수 있는 소프트웨어 프로그램 내에 코드들 또는 명령어들로 구현될 수 있다.

이상, 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 발명 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (12)

1. 주행하는 도로의 영상을 획득하여, 상기 획득한 영상에서 미리 설정된 가이드 라인을 근거로 복수 차선들에 해당하는 후보점들을 추출하는 단계와;
   상기 추출된 후보점들을 월드 좌표로 변환하는 단계와;
   상기 월드 좌표로 변환된 후보점들에 미리저장된 커브 방정식을 적용하여 상기 변환된 후보점들의 커브 유무를 확인하는 단계와;
   확인된 커브에 해당하는 복수의 포인트들을 근거로 복수의 차선들을 추적하는 단계와;
   상기 추적한 복수의 차선들 중에서 차량이 점유하는 주 차선을 결정하는 단계와;
   상기 추적한 복수의 차선들과 상기 결정한 주 차선을 상기 획득한 영상과 함께 표시하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
2. 제1항에 있어서,
   상기 확인된 복수의 포인트를 근거로 차선의 커브 정보를 계산하는 단계와;
   상기 확인된 복수의 포인트와 상기 계산된 커브 정보를 상기 획득한 도로의 영상에 오버랩하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 차선 인식 방법.
3. 제1항에 있어서, 상기 미리 설정된 가이드 라인은,
   상기 획득한 영상을 수평 방향으로 복수의 가이드 라인이 설정되며,
   상기 복수의 가이드 라인 간의 간격은, 등거리를 유지하도록 화면 상에 표시되는 것을 특징으로 하는 차선 인식 방법.
4. 제1항에 있어서,
   상기 추적한 복수의 차선들과 상기 결정한 주 차선을 이용하여, 차선 변경을 인지하는 단계를 더 포함하는 것을 특징으로 하는 차선 인식 방법.
5. 제1항에 있어서, 상기 추출된 후보점들은
   호모그래픽 행렬을 이용하여 월드 좌표로 변환하고, 상기 월드 좌표로 변환된 후보점들은 수직 방향의 간격이 서로 동일한 것을 특징으로 하는 차선 인식 방법.
6. 제1항에 있어서, 상기 주 차선을 결정하는 단계에서
   상기 추적한 복수의 차선들 중에서 기준점을 중심으로 근거리에 추적되는 차선들을 주 차선으로 결정하는 것을 특징으로 하는 차선 인식 방법.
   
7. 제1항에 있어서, 상기 확인된 복수의 포인트를 근거로 차선의 중앙점을 추종하는 커브 정보를 계산하고, 상기 확인된 복수의 포인트와 차선의 중앙점을 이용하여 상기 주 차선을 결정하는 것을 특징으로 하는 차선 인식 방법.
8. 주행중인 도로의 영상을 촬영하는 카메라 모듈과;
   미리 설정된 가이드 라인을 이용하여 상기 촬영한 영상으로부터 차선들에 대응하는 후보점들을 추출하고, 상기 추출된 후보점들을 월드좌표계로 변환하고, 상기 변환된 월드좌표의 후보점들로부터 복수의 차선들을 추적하고, 상기 복수의 차선들 중 차량이 주행하고 있는 주 차선을 결정하는 제어부와;
   상기 제어부가 추적한 상기 복수의 차선들과 상기 결정된 주 차선을, 상기 카메라 모듈이 촬영한 영상과 함께 표시하는 표시부;를 포함하고,
   상기 제어부는,
   상기 월드 좌표로 변환된 후보점들에 미리저장된 커브 방정식을 적용하여 커브 유무를 확인하고, 확인된 커브에 해당하는 복수의 포인트를 근거로 복수의 차선들을 추적하는 것을 특징으로 하는 차선 인식 장치.
9. 제8항에 있어서,
   상기 추출된 후보점들을 월드좌표계로 변환시키는 변환 행렬을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 차선 인식 장치.
10. 제8항에 있어서, 상기 제어부는,
    상기 복수의 포인트를 근거로 차선의 중앙점을 추종하는 커브 정보를 계산하고, 상기 복수의 포인트와 상기 차선의 중앙점을 이용하여 상기 주 차선을 결정하는 것을 특징으로 하는 차선 인식 장치.
11. 제8항에 있어서, 상기 미리 설정된 가이드 라인은,
    상기 촬영한 영상에 수평 방향으로 복수의 가이드 라인이 설정되며,
    상기 복수의 가이드 라인 간의 간격은, 등거리를 유지하도록 화면 상에 표시되는 것을 특징으로 하는 차선 인식 장치.
    
12. 삭제

Images