KR20200070101A

KR20200070101A - 차선 표시 방법 및 이를 수행하는 전자 기기

Info

Publication number: KR20200070101A
Application number: KR1020190151348A
Authority: KR
Inventors: 이한우
Original assignee: 팅크웨어(주)
Priority date: 2018-12-07
Filing date: 2019-11-22
Publication date: 2020-06-17

Abstract

본 발명은 전자 기기의 차선 표시 방법에 관한 것으로 본 발명에 따른 차선 표시 방법은 차량의 주행 중 촬영된 영상을 획득하는 단계; 획득된 영상을 차량으로부터의 거리에 따라 분할하는 단계; 상기 분할된 영상 내 차선을 검출하는 단계; 상기 검출된 차선을 연속하는 곡선으로 근사시키는 단계; 및 상기 근사된 곡선을 미리 결정된 사용자 인터페이스에 따라 표시하도록 하는 단계를 포함한다. 본 발명에 따르면, 주행 차로의 차량 유무 판단으로 원거리의 차선을 인식 하여 운전자에게 경로 시인성 향상시킬 수 있다. 또한, 경로 안내 표출에 실시간 차선 인식 결과를 사용하여 보다 정확한 경로 안내 정보를 제공할 수 있다.

Description

차선 표시 방법 및 이를 수행하는 전자 기기{Method for displaying lane information and apparatus for executing the method}

전자 기기의 차선 표시 방법 및 전자 기기에 관한 것이다.

인터넷 망이 개방되고 위치데이터와 관련된 법률이 정비됨에 따라, 위치 기반 서비스(Location Based Service; LBS) 관련 산업이 활성화되고 있다. 이러한 위치 기반 서비스를 이용하는 대표적인 디바이스로는 차량 등의 현재위치를 측위하여 목적지까지의 이동 경로를 안내해주는 경로 안내 서비스를 제공하는 차량용 내비게이션을 들 수 있다.

또한, 차량의 정차 또는 운행 중 발생한 사고의 책임소재에 따른 과실비율을 판단하기 위하여 객관적인 자료가 필요한 경우가 증가하고 있다. 이에 따라, 객관적인 자료를 제공할 수 있는 차량용 블랙박스가 사용되고 있다.

차선 이탈 경보는 운전자의 부주의, 졸음 운전 등으로 인해 발생하는 차선 이탈 사고로부터 운전자를 보호하기 위해, 운전자에게 차선 이탈을 경고하는 것이다. 차선 이탈 경보의 정확도를 높이기 위해서는 정확한 차선의 인식이 전제되어야 하나 현재 차선의 인식은 전자 지도에 의존적이여서 실제 주행 차로와 지도 정보의 차이로 경보의 정확도가 문제될 수 있다.

따라서, 현재의 차선 이탈 경보 서비스 같은 경우 단순 차선인식을 위하여 주로 근거리 직선과 특정 속도 이상에서만 동작하도록 구현되며, 커브 구간의 경우에는 주행 차로 앞에 차가 없는 경우에만 차선 인식이 수행되도록 하여 활용 범위가 제한되고 있다.

본 발명은 정확한 차선 인식을 전제로 운전자의 안전 운전이 가능하도록 지원하는 전자 기기 및 전자 기기의 차선 이탈 경보 방법에 관한 것이다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 차선 표시 방법은 차량의 주행 중 촬영된 영상을 획득하는 단계; 획득된 영상을 차량으로부터의 거리에 따라 분할하는 단계; 상기 분할된 영상 내 차선을 검출하는 단계; 상기 검출된 차선을 연속하는 곡선으로 근사시키는 단계; 및 상기 근사된 곡선을 미리 결정된 사용자 인터페이스에 따라 표시하도록 하는 단계를 포함한다.

상기 분할하는 단계는 상기 거리에 따라 결정된 해상도로 상기 입력된 영상을 분할하는 것이 바람직하다.

상기 분할하는 단계는 상기 영상 내 소실점 또는 전방차량을 기준으로 영상을 분할하여 제1 부분 영상을 생성하고,

상기 검출하는 단계는 상기 제1 부분 영상에서 차선을 검출하는 것이 바람직하다.

상기 분할하는 단계는 상기 제1 부분 영상보다 거리가 먼 영역을 포함하는 제2 부분 영상을 생성하고,

상기 검출하는 단계는 상기 제2 부분 영상에서 차선을 검출하는 것이 바람직하다.

상기 검출하는 단계는 상기 분할된 영상 내 주행차량의 존재 여부를 판단하고, 상기 주행차량이 존재하지 않는 차로의 차선을 검출하는 것이 바람직하다.

상기 근사시키는 단계는 상기 검출된 차선 및 주행차량의 존재 여부에 따라 상기 검출된 차선을 근사시키는 것이 바람직하다.

상기 표시하도록 하는 단계는 상기 차량의 주행 경로를 상기 근사된 곡선 상에 표시하는 것이 바람직하다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 차선 이탈 안내 방법은 차량의 주행 중 촬영된 영상을 획득하는 단계; 획득된 영상을 차량으로부터의 거리에 따라 분할하여 상기 분할된 영상 내 차선을 검출하는 단계; 상기 검출된 차선을 연속하는 곡선으로 근사하여 상기 차량이 주행하는 도로의 차선을 인식하는 단계; 및 상기 인식된 도로의 차선에 따라 상기 차량의 차선 이탈 여부를 판단하는 단계를 포함한다.

상기 근사된 곡선을 미리 결정된 사용자 인터페이스에 따라 표시하도록 하는 단계를 더 포함한다.

상기 표시하도록 하는 단계는 상기 판단된 차선 이탈 여부를 상기 사용자 인터페이스에 따라 표시하도록 하는 것이 바람직하다.

상기 판단하는 단계는 상기 근사된 곡선의 커브 컷팅 동작(curve cutting behavior)를 고려하여 상기 차선 이탈 여부의 판단을 위한 임계값을 조절하는 것이 바람직하다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 전자 기기는 차량의 주행 중 촬영된 영상을 획득하는 영상 획득부; 획득된 영상을 차량으로부터의 거리에 따라 분할하는 영상 분할부; 상기 분할된 영상 내 차선을 검출하는 차선 검출부; 상기 검출된 차선을 연속하는 곡선으로 근사시키는 곡선 근사부; 및 상기 근사된 곡선을 미리 결정된 사용자 인터페이스에 따라 표시하도록 하는 표시부를 포함한다.

상기 영상 분할부는 상기 거리에 따라 결정된 해상도로 상기 입력된 영상을 분할하는 것이 바람직하다.

상기 영상 분할부는 상기 영상 내 소실점 또는 전방차량을 기준으로 영상을 분할하여 제1 부분 영상을 생성하고,

상기 차선 검출부는 상기 제1 부분 영상에서 차선을 검출하는 것이 바람직하다.

상기 영상 분할부는 상기 제1 부분 영상보다 거리가 먼 영역을 포함하는 제2 부분 영상을 생성하고,

상기 차선 검출부는 상기 제2 부분 영상에서 차선을 검출하는 것이 바람직하다.

상기 차선 검출부는 상기 분할된 영상 내 주행차량의 존재 여부를 판단하고, 상기 주행차량이 존재하지 않는 차로의 차선을 검출하는 것이 바람직하다.

상기 곡선 근사부는 상기 검출된 차선 및 주행차량의 존재 여부에 따라 상기 검출된 차선을 근사시키는 것이 바람직하다.

상기 표시부는 상기 차량의 주행 경로를 상기 근사된 곡선 상에 표시하는 것이 바람직하다.

본 출원의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따르면, 주행 차로의 차량 유무 판단으로 원거리의 차선을 인식 하여 운전자에게 경로 시인성 향상시킬 수 있다. 또한, 증강현실(AR(Augmented Reality)을 통한 경로 안내 표출에 실시간 차선 인식 결과를 사용하여 보다 정확한 경로 안내 정보를 제공할 수 있다.

또한, 주행 차로에 차량 유무를 판단하여 유동적으로 원거리까지 차선을 검출하여 차선 검출의 속도 및 정확도를 높일 수 있다.

또한, 차선이 존재하는 영상내 영역을 거리에 따라 해상도를 달리 분할함으로써, 보다 세밀한 곡선을 검출하여 이용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 차선 표시 방법을 수행하는 전자 기기를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차선 표시 방법의 흐름도이다.
도 3 내지 6은 본 발명의 일 실시예에 따른 차선 표시 방법에서 영상 분할 예를 나타내는 예시도이다.
도 7 내지 도 8c는 본 발명의 일 실시예에 따른 차선 표시 방법에서 차선 검출 과정을 예시하는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 차선 이탈 안내 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 차선 이탈 안내 방법의 임계 값 설정을 예시하는 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 시스템을 나타내는 블록도이다.
도 12은 본 발명의 일 실시 예에 따른 시스템과 연결된 시스템 네트워크를 설명하기 위한 도이다.
도 13은 본 발명의 일 실시 예에 따른 시스템의 차선 이탈 안내 화면을 나타내는 도이다.
도 14는 본 발명의 일 실시 예에 따른 시스템이 촬영부를 구비하지 않는 경우의 구현 형태를 나타내는 도이다.
도 15는 본 발명의 일 실시 예에 따른 시스템이 촬영부를 구비하는 경우 구현 형태를 나타내는 도이다.
도 16은 본 발명의 일 실시 예에 따른 HUD(Head-Up Display)를 이용한 구현 형태를 나타내는 도이다.
도 17은 본 발명의 일 실시 예에 따른 자율 주행 차량의 구성을 나타내는 블록도이다.
도 18은 본 발명의 일 실시 예에 따른 제어 장치의 세부 구성을 나타내는 블록도이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명은 생략한다.

이하, 본 발명과 관련된 전자 기기 및 서버의 구성에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는, 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 명세서에서 설명되는 전자 기기에는 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multi-media Player), 내비게이션 단말기 등이 포함될 수 있다. 이하에서는 설명의 편의를 위하여 상기 전자 기기를 내비게이션 단말기로 가정하여 설명한다.

교통 관련 영상은, 사용자 디바이스 및 기타 장치(예를 들어, CCTV 등)로부터 수집되는 교통 영상으로서, 도로 정체 정보, 노면 상태 정보, 사고 정보, 유고 정보 등을 포함하는 정지 영상, 동영상을 포함하는 영상 데이터일 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명에 대하여 상세히 설명하기로 한다.

도 1을 참조하여 본 발명의 일 실시예에 따른 전자 기기(10)에 대하여 설명한다.

도 1은, 본 발명의 일 실시예에 따른 전자 기기(10)의 블록 구성도이다.

본 실시예에서 전자 기기(10)는 영상 획득부(12), 영상 분할부(14), 차선 검출부(16), 곡선 근사부(18) 및 표시부(19)를 포함할 수 있다.

영상 획득부(12)는 차량의 주행 중 촬영된 영상을 획득한다.

영상 획득부(12)는 카메라 모듈로 직접 촬영된 전방 영상을 획득할 수 있다. 또는 외부의 적어도 하나의 카메라(미도시)로부터 직접 차량의 주행과 관련된 영상을 수신할 수도 있다. 예를 들어, 전자 기기(10)가 차량의 내비게이션 장치로 동작하는 경우에는 차량의 블랙박스 장치에서 촬영된 영상을 영상 획득부(12)가 수신하여 획득할 수 있다.

즉, 영상 획득부(12)는 영상을 직접 촬영하여 획득하거나 또는 외부의 다른 장치에서 촬영된 영상을 수신하여 획득하는 것도 가능하다.

영상 분할부(14)는 획득된 영상을 차량으로부터의 거리에 따라 분할한다.

본 실시예에서 전자 기기(10)는 영상 내 차선을 인식하기 위하여 영상을 복수의 부분 영상으로 분할하여 이용하므로 영상 분할부(14)는 획득된 영상을 미리 결정된 기준에 따라 분할한다.

이때 영상의 분할은 고정된 기준을 이용하거나 영상 내 인식된 차량 등의 객체 정보를 참조하여 동적 기준을 이용하여 수행될 수 있다.

이에 대해서는 도 3을 참조하여 보다 상세히 설명한다.

먼저 영상의 분할 방법으로 고정된 기준을 이용하는 방법에 대하여 설명한다.

도 3을 참조하면, 영상 분할부(14)는 획득된 영상의 소실점(vanishing point)(5)을 추출하고 소실점(5)을 기준으로 현재 차량의 위치와 소실점(5) 까지의 거리를 기준으로 영상을 분할할 수 있다.

영상 분할부(14)는 먼저 영상 내 지면 영역을 인식할 수 있다. 영상 분할부(14)는 영상의 차선들에 대한 소실점(5)을 이용하여 영상에서의 지평선을 인식하고 지평선을 기준으로 이하의 영역을 지면 영역으로 인식할 수 있다. 이때, 영상 분할부(14)는 인식된 지면 영역을 거리에 따라 복수의 부분 영상으로 분할할 수 있다.

예를 들어 소실점(5)까지의 거리가 d인 경우, 현재 차량의 위치인 영상의 하단에서 d/2가 되는 지점까지의 영상을 제1 부분 영상으로 분할할 수 있다.

또한, 나머지 영상으로부터 소실점(5)까지의 영상을 제2 부분 영상으로 분할할 수 있으며 제2 부분 영상을 거리 d/4 를 기준으로 제3 부분 영상으로 분할하는 것도 가능하다.

즉, 본 실시예에서 영상 분할부(14)는 소실점(5)까지의 영상을 복수로 분할하고 분할된 영상으로부터 차선이 검출될 수 있도록 한다.

또한 다른 실시예로 영상 분할부(14)는 동적으로 영상을 분할하는 것도 가능하다.

예를 들어 현재 차량의 주행 차선을 기준으로 전방 차량(8)이 존재하는 위치까지의 거리를 영상을 분할하는 기준으로 이용할 수 있다.

도 4를 참조하면, 영상 분할부(14)는 획득된 영상에서 전방 차량(8)을 추출하고, 주행 차선 내 전방 차량(8)을 기준으로 영상을 분할할 수 있다.

즉, 전방 차량(8)이 위치하는 거리 d까지를 제1 부분 영상으로 분할할 수 있다.

이때, 나머지 영상에 대해서는 소실점(5)까지의 거리 d'에 해당하는 제2 부분 영상으로 분할할 수 있다. 또는 제2 부분 영상(d')을 기준하여 제3 부분 영상(d'/2)으로 영상을 더욱 분할하는 것도 가능하다.

즉, 본 실시예에서 최초 제1 부분 영상의 분할 기준은 전방 차량(8)의 위치를 이용하므로 동적으로 기준이 변경될 수 있으며, 이후 차선에 대해서는 추가적인 영상 처리를 통해 차선을 인식하도록 할 수 있다.

다른 실시예로 영상의 분할을 위한 기준으로 전방 차량의 위치만을 이용하는 것도 가능하다.

도 5a를 참조하면, 본 실시예에서 영상 분할부(14)는 획득된 영상 내에 포함된 객체로서 전방 차량들(8a, 8b)의 위치를 획득하고, 전방 차량들의 위치를 기준으로 가까운 거리부터 영상을 분할하는 것도 가능하다.

따라서, 영상 분할부(14)는 주행 차선의 전방 차량(8a) 까지의 거리 d에 해당하는 제1 부분 영상과 나머지 영상에서 현재 차선 또는 옆 차선에 위치한 전방 차량(8b) 까지의 거리 d'에 해당하는 제2 부분 영상 및 소실점(5)까지의 거리 d''에 해당하는 제3 부분 영상으로 분할할 수 있다.

이상의 본 발명의 실시예에서 영상 분할부(14)는 소실점을 기준으로 미리 결정된 거리에 따라 영상을 분할하거나 영상에 포함된 객체로서 전방 차량의 위치를 기준으로 영상을 분할할 수 있다.

또한, 영상 내 전방 차량이 존재하지 않는 경우에는 미리 결정된 소정 거리에 따라 영상을 분할하고, 영상 내 전방 차량이 존재하는 경우에는 전방 차량과의 거리에 따라 영상을 분할하는 것도 가능하다.

다만, 도 5b를 참조하면 본 실시예에서 영상 분할부(14)는 획득된 영상 내에 포함된 객체로서 전방 차량들(8c, 8d, 8e)의 위치에 따라 영상 내 차선(1000a, 1000b, 1000c, 1000d)이 차량에 의해 일부 가려지는 경우가 발생될 수 있다.

구체적으로 도 5b의 경우 3개의 차선(1000a, 1000b, 1000d)는 전방에 주행하는 차량에 의해 일부가 가려질 수 있다.

따라서, 차선을 이용한 정확한 안내를 위해 가려진 영역(1150)을 영상 내 차선의 주변 정보 들을 이용하여 보간 할 수 있으며, 이에 대해서는 이하 곡선 근사부(18)에서 보다 상세히 설명한다.차선 검출부(16)는 분할된 영상 내에서 차선을 검출한다.

차선 검출부(16)는 다양한 필터링 알고리즘을 이용하여 차량의 주행 영상으로부터 도로 위에 표시되는 차선 표시선을 인식할 수 있다.

예를 들어, 차선 검출부(16)는 에지(edge) 필터를 이용하여 영상으로부터 차선을 구분하기 위한 차선 표시선을 추출할 수 있다. 에지 필터를 이용하는 경우, 차선 검출부(16)는 영상에 포함된 각 픽셀의 명도 값을 이용하여 영상에서 경계를 이루는 부분을 검색한다. 그리고, 검색된 경계 부분을 토대로 차선 표시선을 인식한다.

한편, 에지 필터는 차선 표시선을 인식하는 방법의 일 예로서, 본 문서에 개시되는 차선 검출부(16)는 에지 필터를 이용한 방법 이외에도 다양한 필터링 알고리즘을 이용하여 영상에 포함된 차선 표시선을 추출할 수 있다.

차선 검출부(16)는 차선 표시선이 추출되면, 추출된 차선 표시선의 외곽선을 토대로 직선, 곡선, 실선, 점선 등의 차선 표시선의 표시 형태를 획득할 수 있다. 또한, 차선 검출부(16)는 추출된 차선 표시선에 대한 색상 인식을 통해 차선 표시선의 색상 정보를 획득할 수 있다.

차선 검출부(16)는 상술한 바와 같이 분할된 복수의 영상에 대하여 각각 차선을 검출할 수 있다.

또한 차선 검출부(16)는 제2 또는 제3 부분 영상으로부터 복수 개의 차선 표시선이 추출되는 경우 복수의 차선 표시선 중에서 차량이 주행 중인 차선에 대응하는 적어도 하나의 차선 표시선을 인지할 수 있다.

여기서, 영상에 포함된 차선 표시선들 중 차량이 주행 중인 차선에 대응하는 차선 표시선을 선택하기 위해 차선 검출부(16)는 영상으로부터 추출된 각 차선 표시선의 영상 내 표시 위치를 이용할 수 있다.

예를 들어, 영상으로부터 복수 개의 차선 표시선이 검출되는 경우, 차선 검출부(16)는 영상을 수직으로 가로지르는 기준선을 설정하고, 기준선과 각 차선 표시선 간의 거리를 토대로 차량이 주행 중인 차선에 대응하는 차선 표시선을 선택할 수 있다.

즉, 기준선에서 가까운 차선 표시선을 차량이 주행 중인 차선과 관련된 차선 표시선으로 선택할 수 있다. 또한, 차선 검출부(16)는 차선 표시선이 기준선을 기준으로 어느 쪽에 위치 하는지에 따라 차량이 주행 중인 차선의 왼쪽 표시선과 오른쪽 표시선을 구분할 수도 있다.

이상의 과정을 통해 차선 검출부(16)는 검출된 차선 중 차량이 주행 중인 차선을 정확히 인식할 수 있다.

곡선 근사부(18)는 검출된 차선을 연속하는 곡선으로 근사(Curve fitting)시킨다. 구체적으로 곡선 근사부(18)는 복수의 차선 중 차량이 주행 중인 차선을 연속하는 곡선으로 근사 시킨다.

본 명세서에서 사용하는 곡선 근사(Curve fitting)는 데이터 피팅(Data fitting)의 일종으로, 검출된 차선 상의 순차적인 두 지점들 간의 기울기에 따라 곡선을 구성할 수 있다. 따라서, 본 명세서의 곡선 근사에서 "곡선"은 대표적인 의미의 표현으로 근사 되는 기준으로 곡선은 "직선"이 포함될 수도 있다. 예를 들어 검출된 차선을 복수 개의 구간들로 분할하고, 분할된 구간들의 시작점과 종료지점 간의 기울기 차이가 0 일 경우에는 직선으로 구현될 것이며, 두 지점들 간의 기울기가 존재할 경우, 그 기울기에 따라 커브가 구성될 것이기 때문이다. 따라서, 본 명세서에서는 "곡선 근사(Curve fitting)"라고 표현하였지만, 이 표현에 한정되도록 해석되어서는 안 된다.

본 실시예에서 차선 검출부(16)는 각각의 영상에 대하여 개별적으로 차선을 검출하므로 검출된 차선들을 그대로 조합하면 일부가 어긋나거나 끊어져서 표시될 수 있다. 따라서, 곡선 근사부(18)는 검출된 차선을 연속하는 형태로 사용자에게 제공하기 위해서 기준 곡선에 차선을 근사 시킬 수 있다.

이때, 근사의 기준이 되는 곡선은 획득된 영상을 기준으로 산출되거나 또는 외부의 데이터를 통해 수신한 링크 정보를 통해 생성될 수 있다.

예를 들어 획득된 영상을 기준으로 차선의 시작점과 끝점을 인식하고 검출된 차선들이 연속하여 이어지도록 근사할 수 있다. 각 검출된 차선들의 곡률과 거리를 고려하여 근사 시킬 기준 곡선을 생성하고 근사할 수 있다.

또는 현재 차량의 주행 위치를 고려하여 주행 위치에 대응하는 도로의 곡률을 외부의 지도 데이터 등을 통해 수신하고 대응되는 도로의 곡률 값에 따른 곡선에 검출된 차선을 근사하는 것도 가능하다.

또한, 상술한 도 5b와 같이 본 실시예에서 차선 내 위치하는 차량에 의해 차선의 일부가 가려지는 상황이 발생될 수 있다.

본 실시예에서는 원거리의 차선을 인식하여 이를 연속하는 곡선으로 근사하는데 원거리의 차선들은 차량에 의해 가려지는 상황이 발생할 수 있으므로 이에 대한 별도의 처리가 필요할 수 있다.

구체적으로 곡선 근사부(18)는 검출된 차선 중 차량에 의해 가려진 부분을 차량에 의해 가려지지 않은 다른 차선 정보를 이용하여 보간할 수 있다.

이를 위해 곡선 근사부(18)는 영상 내 보간을 위한 기준 정보를 추출할 수 있다.

도 8b를 참조하면 근사를 위한 제1 기준으로 도로의 중심점을 추출할 수 있다. 이상의 상술한 예에서는 소실점을 기준으로 거리를 구분하는 예를 설명하였으나 차선의 보간을 위해서 도로의 중심점을 추출할 수 있다.

구체적으로 도로의 중심점은 각 도로를 주행하는 차량(8f, 8g)들의 이동 정보를 이용하여 추출될 수 있다.

차량의 이동 정보는 차량의 특징점을 이용하여 판단될 수 있다. 순차적으로 입력되는 영상 내에서 특징점을 추출하고 특징 점들의 이동 경향을 광학 흐름(Optical flow)으로 생성할 수 있다.

생성된 광학 흐름은 크기와 방향을 갖는 벡터로 정의될 수 있는데, 이러한 벡터는 특정 지점을 향하여 수렴할 수 있다. 일반적으로 주행중인 차량은 도로의 중심을 향해 지속적으로 주행하므로, 차량의 특징점에 대한 벡터들도 도로의 중심점을 향하도록 생성될 수 있다. 따라서, 본 실시예에서는 각 특징점에 대한 이동 경향으로 벡터들이 수렴하는 지점을 도로의 중심점(5a, 5b, 5c)으로 추출할 수 있다.

다음, 곡선 근사부(18)는 도로의 중심점과 함께 추가적으로 다른 차선의 정보를 제2 기준으로 이용할 수 있다.

이하, 도 8c를 참조하여 곡선 근사부(18)의 구체적인 동작에 대하여 보다 상세히 설명한다.

도 8c와 같이 도로가 오른쪽으로 휘어지는 곡선인 경우 차량에 의해 왼쪽 차선이 가려지는 상황이 발생될 수 있다. 즉, 앞서 주행하는 두 차량에 의해 왼쪽에 위치하는 차선(1100a) 중 두 영역이 가려지고, 따라서 차선 검출부(16)에서 차선이 검출되지 않을 수 있다.

이러한 경우 곡선 근사부(18)는 가려지지 않은 반대 차선(1100b)을 기준으로 차선이 검출되지 않은 영역을 보간할 수 있다.

즉, 곡선 근사부(18)는 상술한 예에서 광학 흐름으로 추출된 도로의 중심점(5c)과 두 차선 중 가려짐이 없는 차선(1100b)을 보간에 이용한다.

일반적인 도로의 구조상 가려짐이 없는 차선(1100b)과 반대 차선(1100a)은 도로의 중심점(5c)을 기준으로 같은 거리에 위치하는 것으로 가정할 수 있다.

따라서, 곡선 근사부(18)는 검출된 차선(1100b)과, 도로 중심점(b)으로부터 생성된 가상의 중심선(1050)을 이용하여 대칭되는 위치에 임의의 차선을 생성하고, 차선(1100a)의 가려진 영역(1100a-1, 1100a-2)을 보간 할 수 있다.

이상의 과정을 통해 본 실시예에서 곡선 근사부(18)는 도로의 커브에 따라 차량에 의해 일부 가려지는 영역을 반대 차선과 중심선을 이용하여 보간하며, 사용자에게 보다 정확한 차선 정보를 제공할 수 있다.

표시부(19)는 이상의 과정을 통해 근사된 곡선을 미리 결정된 사용자 인터페이스에 따라 표시한다.

표시부(19)는 직접 근사된 곡선을 표시하거나 차량 내 디스플레이 장치를 통해 근사된 곡선이 표시되도록 할 수 있다.

예를 들어 전자 기기(10)가 네비게이션 장치인 경우에는 경로 안내를 위한 디스플레이 장치가 포함되므로 이를 통해 사용자에게 현재 주행중인 차선을 근사된 곡선으로 보다 명확하게 표시할 수 있다.

다만, 본 발명에 따라 근사된 곡선은 단순한 경로 안내 외에 사용자의 운행 보조를 위한 정보로서 보다 실감나게 사용자에게 제공될 필요가 있으므로 외부의 디스플레이 장치를 활용하여 제공될 수 있다.

구체적으로 외부의 디스플레이 장치는 HUD(Head Up Display) 또는 증강 현실(AR:Augmented Reality) 장치 일 수 있다.

HUD 장치의 경우 영상은 차량의 전면 유리에 반사되고, 차량 운전자는 상기 전면 유리에 반사된 영상을 확인하여 정보를 획득할 수 있다. 이때 표시부(19)는 HUD로 표시되는 영상에 근사된 곡선을 표시시키고 이에 따른 주행 안내 정보를 운전자에게 제공해 줄 수 있다.

따라서 사용자는 운전 중에 시선을 이동할 필요 없이 전방을 주시한 상태에서 표시되는 영상을 확인하고, 곡선으로 표시되는 차선의 이탈 가능성이 발생하는 경우 이에 따른 안내 메시지를 함께 수신할 수 있다.

또는 보다 자세한 정보의 제공을 위해 증강 현실 장치를 이용할 수 있다.

증강 현실 장치는 카메라를 통해 획득된 전방의 영상에 가상의 이미지를 중첩하여 제공할 수 있다.

일반적으로 증강 현실을 이용한 주행 안내는 주행 영상의 지면 영역에 차량 주행 상태에 대응되는 디스플레이 요소를 부가하여 알림, 주의, 경고 등의 주행 상태를 표현할 수 있다.

주행 상태를 표현하기 위한 디스플레이 요소로는 색상과 패턴 중 적어도 하나를 적용할 수 있다. 사전에 주행 상태(예컨대, 일반 주행 상태, 과속 주행 상태, 주의구간 진입 상태, GPS 음영구간 진입 상태)를 구분하여 정의하고, 색상이 가진 특징과 매칭되도록 각 주행 상태에 알맞은 시각적인 요소로 지면 영역을 표현할 수 있다.

구체적으로 표시부(19)는 영상 내 차선에 근사된 곡선을 중첩하여 표시되도록 할 수 있다. 따라서 사용자는 직관적으로 자신이 주행중인 차선에 중첩하여 표시되는 곡선을 통해 차선과 관련된 주행 안내 정보를 제공받을 수 있다.

이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 전자 기기(10)의 거리 별 영상의 차선 검출을 통한 곡선 표시 방법에 대하여 설명한다.

도 2는 본 발명의 일 실시예에 따른 곡선 표시 방법을 도시한 흐름도이다.

도 2를 참조하면 전자 기기(10)의 영상 획득부(12)는 차량의 주행 중 촬영된 영상을 획득한다(S10). 영상이 획득되면 영상 분할부(14)는 획득된 영상을 차량으로부터의 거리에 따라 분할한다(S20).

이때, 분할하는 단계(S20)는 거리에 따라 결정된 해상도로 입력된 영상을 분할할 수 있다. 상술한 바와 같이 거리에 따라 부분 영상으로 분할하되 분할된 영상을 각각 다른 크기(해상도)로 분할할 수 있다.

도 6을 참조하면, 분할하는 단계(S20)는 전방 영상(100)을 각 거리 별로 영상을 분할하되 차량으로부터 거리가 멀어질수록 보다 부분 영상의 크기가 커지도록 설정할 수 있다.

즉, 근거리의 부분 영상(1006)은 현재 주행 중인 차선의 표시선을 검출하도록 크기를 작게 설정하고 중거리 부분 영상(1004)과 원거리 부분 영상(1002) 은 현재 주행 중인 차선뿐만 아니라 그 외 복수의 차선들의 표시선을 검출할 수 있도록 크기를 크게 설정할 수 있다.

구체적으로 부분 영상의 세로축의 크기는 영상을 분할하는 기준으로 상술한 바와 같이 거리 d에 따라 결정될 수 있으므로, 가로축의 크기를 원거리로 갈수록 커지도록 하여 원거리에 대해서는 복수의 차선들이 검출될 수 있도록 할 수 있다.

예를 들어, 가장 가까운 근거리의 부분 영상(1006)은 가로의 폭을 320픽셀로 설정할 수 있으며, 중거리의 부분 영상(1004)은 가로의 폭을 근거리와 동일하게 또는 보다 큰 픽셀로 설정할 수 있다. 원거리의 부분 영상(1002)은 가로의 폭을 획득된 원본 영상의 크기로 설정할 수 있다.

이상의 과정을 통해 분할하는 단계는 설정된 크기로 각각 분할 된 부분 영상을 생성한다.

차선 검출부(16)는 상기 분할된 영상 내 차선을 검출한다(S30).

차선 검출 단계(S30)는 분할된 각각의 영상 내 존재하는 차선을 검출하며, 구체적으로는 영상 처리를 통해 차선을 표시하는 차선 표시선을 검출할 수 있다.

도 7를 참조하면, 도 6에서 분할된 영상에서 검출된 차선은 도 7와 같이 나타날 수 있다. 근거리 부분 영상(1006a)에서는 주행 차선이 주로 검출되며, 중거리 부분 영상(1004a)에 대해서는 현재 주행 차선과 일부 옆 차선이 검출될 수 있으며, 원거리의 부분 영상(1002a)에 대해서는 주행 차선을 포함한 전체 차로의 차선이 함께 검출될 수 있다.

이때, 검출된 차선 들은 분할된 영상 각각에서 검출되었으므로 하나의 연속된 차선으로 표시하기 위해서는 추가적인 처리 과정이 필요할 수 있다.

따라서, 본 실시예에서 곡선 근사부(18)는 상기 검출된 차선을 연속하는 곡선으로 근사 시킨다(S40).

도 8을 참조하면, 각각의 영상에서 검출된 차선들의 길이와 곡률 정보를 토대로 도출된 기준 곡선에 검출된 차선을 근사시켜 연속된 차선으로 생성할 수 있다.

또한, 현재 차량이 주행 중인 위치 정보에 대응하는 도로의 곡률, 길이 정보 등을 통해 근사에 이용되는 기준 곡선을 생성할 수 있으며 기준 곡선에 검출된 차선들을 각각 근사 시켜 주행 중인 차량의 전방 영상(1000a)에서 도로의 차선 정보(1100)를 획득할 수 있다.

표시부(19)는 근사 된 곡선을 미리 결정된 사용자 인터페이스에 따라 표시하도록 한다(S50).

표시하는 단계(S50)는 상술한 바와 같이 디스플레이 장치에 직접 주행 중에 획득된 영상과 차선이 중첩하여 표시되도록 할 수 있으며 또는 HUD 장치 등을 통해 차선 정보를 부가적으로 제공하여 사용자가 운전에 필요한 안내 정보들을 획득하도록 할 수 있다.

또한, 본 실시예에 따른 전자 기기(10)는 추가적으로 검출된 차선을 통한 운전자의 차선 이탈 여부를 판단하여 안내 정보를 제공하는 모듈을 구성할 수 있다.

즉, 분할된 영상을 통해 검출되고 근사된 곡선을 통해 운전자의 차선 이탈 여부에 따른 알림을 제공해 줄 수 있다.

본 실시예에 따른 전자 기기(10)는 근사하는 단계에서 획득한 차선 정보를 토대로, 차량의 차선 이탈 여부를 판단할 수 있다.

여기서, 전자 기기(10)는 차량이 주행 중인 차로의 차선 표시선의 영상 내 위치와 주행 중인 차량의 상대적인 거리(측면 거리)를 토대로 차량의 차선 이탈 여부를 판단할 수 있다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 전자 기기(10)는 검출된 차선 정보를 기초로 설정된 가상의 기준선을 이용하여 차선 이탈 여부를 판단하여 그에 따른 알림을 제공해 줄 수 있다.

구체적으로 전자 기기(10)는 상술한 실시예에 따라 검출된 차선을 통해 차량이 주행 중인 도로의 차선을 인식할 수 있다(S100).

도로의 차선이 인식되면 인식 된 차선을 기준으로 소정 거리의 측면 임계선을 생성할 수 있다.

도 10을 참조하면 본 실시예에서 차선 이탈 여부의 판단을 위해 전자 기기(10)는 검출된 차선(1100)을 기준으로 가장 내측에 위치하며 가장 이른 알림 선(earliest warning line) (1100c)과 가장 외측에 위치하는 가장 늦은 알림 선(latest warning line) (1100b)을 설정할 수 있다.

구체적으로 가장 이른 알림 선(1100c)과 가장 늦은 알림 선(1100b)은 검출된 차선(1100)을 기준으로 미리 결정된 측면 간격을 갖는 선으로 임의로 설정될 수 있다. 예를 들어 가장 이른 알림 선(1100c)과 가장 늦은 알림 선(1100b)의 간격은 차량의 속도, 차로의 폭, 차로의 수 등을 기준으로 결정될 수 있다.

이상의 과정을 통해 가장 이른 알림 선(1100c)과 가장 늦은 알림 선(1100b) 사이의 경고 구간이 형성되며, 경고 구간 내에 실제 차선 이탈 알림을 위한 임계 알림 선(1100a)이 설정될 수 있다.

임계 알림 선(1100a)이 설정되면 차선 대비 차량의 측면 위치를 판단하고, 이를 통해 차량이 주행 중 임계 알림 선(1100a)을 침범하였는지 여부를 판단한다.

판단 결과 설정된 임계 알림 선(1100a)을 침범한 경우에 전자 기기(10)는 차선 이탈에 따른 안내 정보를 운전자에게 제공해 줄 수 있다.

또한, 본 실시예에서 임계 알림 선(1100a)은 검출된 차선 정보를 토대로 곡률, 커브 반지름에 따라 변경될 수 있다.

예를 들어, 차량이 급격한 커브를 주행 중인 경우에는 임계 알림 선(1100a)을 보다 확장하여 커브 구간의 주행 시 운전자의 커브 컷팅 동작(curve cutting behavior)를 고려하여 알림 정보를 제공하도록 할 수 있다.

커브 컷팅 동작은 운전자가 커브를 주행할때에 원심력에 의해 발생되는 횡방향의 가속도에 의한 영향을 줄이고, 실제 도로의 곡률보다 적은 곡률로 주행하기 위한 운전자의 동작을 의미한다.

예를 들어, 운전자는 커브 진입시에는 차로 내에서도 커브의 중심을 기준으로 먼쪽에서 가까운 쪽으로 진입하고, 커브 진출시에는 가까운 쪽에서 먼쪽으로 주행할 수 있다.

따라서, 급격한 커브에서는 운전자가 커브 중심 방향의 차선에 가까이 차량을 주행하더라도 임계 알림 선(1100a)이 확장되어 정상적인 주행으로 판단하고 차선 이탈에 따른 알림이 제공되지 않도록 하는 것도 가능하다.

이상 본 발명에 따르면, 주행 차로의 차량 유무 판단으로 원거리의 차선을 인식하여 운전자의 경로 시인성을 향상시킬 수 있다. 또한, 증강현실(Augmented Reality)을 통한 경로 안내 표출에 실시간 차선 인식 결과를 사용하여 보다 정확한 경로 안내 정보를 제공할 수 있다.

또한, 주행 차로 상의 차량 유무를 판단하여 유동적으로 원거리까지 차선을 검출하여 차선 검출의 속도 및 정확도를 높일 수 있다. 또한, 차선이 존재하는 영상 내 영역을 원거리, 중거리, 근거리 3부분으로 나누고 해상도를 다르게 보다 세밀한 곡선을 검출하여 이용할 수 있다.

한편, 이러한 전자 기기(10)는 ADAS(Advanced Driver Assistance System) 또는 자율 주행을 위한 시스템(100)의 일 모듈로 구현되어 차선 안내 기능을 수행할 수 있다. 이에 대해서는 도 11 내지 13을 참조하여 보다 구체적으로 설명하기로 한다.

도 11은 본 발명의 일 실시 예에 따른 시스템을 나타내는 블록도이다. 도 11을 참조하면, 시스템(100)은 저장부(110), 입력부(120), 출력부(130), 커브 안내부(140), 증강 현실 제공부(160), 제어부(170), 통신부(180), 센싱부(190), 전원부(195)의 전부 또는 일부를 포함한다.

여기서, 시스템(100)은 차량의 운전자에게 운전 관련 안내를 제공할 수 있는 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, PDA(personal digital assistant), PMP(portable multimedia player), 스마트 글래스, 프로젝트 글래스, 내비게이션(navigation), 차량용 영상 촬영 장치인 Car dash cam 또는 Car video recorder 등과 같은 다양한 장치로 구현될 수 있고, 차량에 구비될 수 있다.

운전 관련 안내는 경로 안내, 차선 이탈 안내, 차선 유지 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내, 차로 변경 안내, 차로 안내, 커브 안내 등과 같이 차량 운전자의 운전을 보조하기 위한 다양한 안내를 포함할 수 있다.

여기서, 경로 안내는 운행 중인 차량의 전방을 촬영한 영상에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 증강 현실 경로 안내, 2D(2-Dimensional) 또는 3D(3-Dimensional)의 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 2D(2-Dimensional) 또는 3D(3-Dimensional) 경로 안내를 포함할 수 있다.

뿐만 아니라, 경로 안내는 항공 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 항공 지도 경로 안내를 포함할 수 있다. 여기서, 경로 안내는 사용자가 차량에 탑승하여 운전하는 경우뿐만 아니라, 사용자가 걷거나 뛰어서 이동하는 경우의 경로 안내도 포함하는 개념으로 해석될 수 있다.

또한, 차선 이탈 안내는 주행 중인 차량이 차선을 이탈하였는지 여부를 안내하는 것일 수 있다.

또한, 차선 유지 안내는 차량이 본래 주행 중인 차로로 복귀하도록 안내하는 것일 수 있다.

또한, 전방 차량 출발 안내는 정차 중인 차량의 전방에 위치한 차량의 출발 여부를 안내하는 것일 수 있다.

또한, 신호등 변경 안내는 정차 중인 차량의 전방에 위치한 신호등의 신호 변경 여부를 안내하는 것일 수 있다. 일 예로, 정지 신호를 나타내는 빨간 신호등이 켜진 상태에서 출발 신호를 나타내는 파란 신호등으로 변경되면, 이를 안내하는 것 일 수 있다.

또한, 전방 차량 추돌 방지 안내는 정차 또는 주행 중인 차량의 전방에 위치한 차량과의 거리가 일정 거리 이내가 되면 전방 차량과 추돌을 방지하기 위해 이를 안내하는 것일 수 있다.

또한, 차로 변경 안내는 목적지까지의 경로 안내를 위하여 차량이 위치한 차로에서 다른 차로로 변경을 안내하는 것일 수 있다.

또한, 차로 안내는 현재 차량이 위치한 차로를 안내하는 것일 수 있다.

또한, 커브 안내는 소정 시간 이후에 차량이 주행할 도로가 커브임을 안내하는 것일 수 있다.

이러한, 다양한 안내의 제공을 가능하게 하는 차량의 전방 영상과 같은 운전 관련 영상은 차량에 거치된 카메라 또는 스마트 폰의 카메라에서 촬영될 수 있다. 여기서 카메라는 차량에 거치된 시스템(100)과 일체로 형성되어 차량의 전방을 촬영하는 카메라일 수 있다.

다른 예로, 카메라는 시스템(100)과 별개로 차량에 거치되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 차량의 전방을 향하여 거치된 별도의 차량용 영상 촬영 장치일 수 있고, 시스템(100)은 별도로 거치된 차량용 영상 촬영 장치와 유/무선 통신을 통하여 촬영 영상을 입력 받거나, 차량용 영상 촬영 장치의 촬영 영상을 저장하는 저장 매체가 시스템(100)에 삽입되면, 시스템(100)은 촬영 영상을 입력 받을 수 있다.

이하에서는, 상술한 내용을 기초로 본 발명의 일 실시 예에 따른 시스템(100)에 대해서 보다 구체적으로 설명하기로 한다.

저장부(110)는 시스템(100)의 동작에 필요한 다양한 데이터 및 어플리케이션을 저장하는 기능을 한다. 특히 저장부(110)는 시스템(100)의 동작에 필요한 데이터, 예를 들어 OS, 경로 탐색 어플리케이션, 지도 데이터 등을 저장할 수 있다. 또한 저장부(110)는 시스템(100)의 동작에 의하여 생성된 데이터, 예를 들어 탐색된 경로 데이터, 수신한 영상 등을 저장할 수 있다.

이러한 저장부(110)는 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USIM(Universal Subscriber Identity Module)등과 같은 내장된 형태의 저장소자는 물론, USB 메모리 등과 같은 착탈 가능한 형태의 저장소자로 구현될 수도 있다.

입력부(120)는 시스템(100)의 외부로부터의 물리적 입력을 특정한 전기 신호로 변환하는 기능을 한다. 여기서, 입력부(120)는 사용자 입력부(121)와 마이크부(123)의 전부 또는 일부를 포함할 수 있다.

사용자 입력부(121)는 터치, 푸쉬동작 등과 같은 사용자 입력을 수신할 수 있다. 여기서 사용자 입력부(121)는 다양한 버튼의 형태, 터치 입력을 수신하는 터치 센서, 접근하는 모션을 수신하는 근접 센서 중 적어도 하나를 이용하여 구현될 수 있다.

마이크부(123)는 사용자의 음성 및 차량의 내외부에서 발생한 음향을 수신할 수 있다.

출력부(130)는 시스템(100)의 데이터를 사용자에게 영상 및/또는 음성으로 출력하는 장치이다. 여기서, 출력부(130)는 디스플레이부(131)와 오디오 출력부(133)의 전부 또는 일부를 포함할 수 있다.

디스플레이부(131)는 사용자에게 시각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 디스플레이부(131)는 시스템(100)의 하우징 전면(前面)에 마련된 디스플레이부로 구현될 수 있다. 또한, 디스플레이부(131)는 시스템(100)과 일체로 형성되어 시각적 인식 데이터를 출력할 수 있고, HUD(Head Up Display)와 같이 시스템(100)과 별개로 설치되어 시각적 인식 데이터를 출력할 수도 있다.

오디오 출력부(133)는 시스템(100)가 청각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 오디오 출력부(133)는 시스템(100)의 사용자에게 알려야 할 데이터를 소리를 표현하는 스피커로 구현될 수 있다.

커브 안내부(140)는 상술한 커브 안내 장치(10)의 기능을 수행할 수 있다. 구체적으로, 커브 안내부(140)는 차량이 주행하는 도로에 대응되는 링크 정보를 획득하고, 미래 시점에 차량의 링크에서의 위치를 결정하며, 결정된 위치 및 기준 시점에서의 차량 속도를 이용하여 소정 시간 이후에 차량이 주행할 커브 구간의 위험도를 판단할 수 있다.

증강 현실 제공부(160)는 증강 현실 뷰 모드를 제공할 수 있다. 여기서, 증강 현실이란 사용자가 실제로 보고 있는 현실 세계를 담고 있는 화면에 부가 정보(예를 들면, 관심 지점(Point Of Interest: POI)을 나타내는 그래픽 요소, 커브를 안내하는 그래픽 요소, 운전자의 안전 운전을 돕기 위한 다양한 부가 정보 등)를 시각적으로 중첩하여 제공하는 방법일 수 있다.

이러한 증강 현실 제공부(160)는 캘리브레이션부, 3D 공간 생성부, 객체 생성부, 매핑부의 전부 또는 일부를 포함할 수 있다.

캘리브레이션부는 카메라에서 촬영된 촬영 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행할 수 있다. 여기서, 카메라 파라미터는 실사 공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행렬을 구성하는 파라미터로, 카메라 외부 파라미터(extrinsic parameters), 카메라 내부 파라미터(intrinsic parameters)를 포함할 수 있다.

3D 공간 생성부는 카메라에서 촬영된 촬영 영상을 기초로 가상 3D 공간을 생성할 수 있다. 구체적으로, 3D 공간 생성부는 캘리브레이션부가 추정한 카메라 파라미터를 2D의 촬영 영상에 적용하여 가상 3D 공간을 생성할 수 있다.

객체 생성부는 증강 현실 상에서 안내를 위한 객체, 예를 들어, 경로 안내 객체, 차로 변경 안내 객체, 차선 이탈 안내 객체, 커브 안내 객체 등을 생성할 수 있다.

매핑부는 3D 공간 생성부에서 생성된 가상 3D 공간에 객체 생성부에서 생성된 객체를 매핑할 수 있다. 구체적으로, 매핑부는 객체 생성부에서 생성된 객체의 가상 3D 공간에서의 위치를 결정하고, 결정된 위치에 객체의 매핑을 수행할 수 있다.

한편, 통신부(180)는 시스템(100)가 다른 디바이스와 통신하기 위하여 마련될 수 있다. 통신부(180)는 위치 데이터부(181), 무선 인터넷부(183), 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189)의 전부 또는 일부를 포함할 수 있다.

위치 데이터부(181)는 GNSS(Global Navigation Satellite System)를 통하여 위치 데이터를 획득하는 장치이다. GNSS는 인공위성으로부터 수신한 전파신호를 이용하여 수신 단말기의 위치를 산출할 수 있는 항법 시스템을 의미한다. GNSS의 구체적인 예로는, 그 운영 주체에 따라서 GPS(Global Positioning System), Galileo, GLONASS(Global Orbiting Navigational Satellite System), COMPASS, IRNSS(Indian Regional Navigational Satellite System), QZSS(Quasi-Zenith Satellite System) 등 일 수 있다. 본 발명의 일 실시 예에 따른 시스템(100)의 위치 데이터부(181)는 시스템(100)가 사용되는 지역에서 서비스하는 GNSS 신호를 수신하여 위치 데이터를 획득할 수 있다. 또는, 위치 데이터부(181)는 GNSS 외에도 기지국 또는 AP(Access Point)와의 통신을 통해 위치 데이터를 획득할 수도 있다.

무선 인터넷부(183)는 무선 인터넷에 접속하여 데이터를 획득하거나 송신하는 장치이다. 무선 인터넷부(183)는 WLAN(Wireless LAN), Wibro(Wireless broadband), Wimax(World interoperability for microwave access), HSDPA(High Speed Downlink Packet Access)의 무선 데이터 송수신을 수행하도록 정의된 다양한 통신 프로토콜을 통해 인터넷 망에 접속할 수 있다.

방송 송수신부(185)는 각종 방송 시스템을 통하여 방송 신호를 송수신하는 장치이다. 방송 송수신부(185)를 통하여 송수신할 수 있는 방송 시스템은 DMBT(Digital Multimedia Broadcasting Terrestrial), DMBS(Digital Multimedia Broadcasting Satellite), MediaFLO(Media Forward Link Only), DVBH(Digital Video Broadcast Handheld), ISDBT(Integrated Services Digital Broadcast Terrestrial) 등일 수 있다. 방송 송수신부(185)를 통하여 송수신되는 방송 신호에는 교통 데이터, 생활 데이터 등을 포함할 수 있다.

이동 통신부(186)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 음성 및 데이터 통신할 수 있다.

근거리 통신부(187)는 근거리 통신을 위한 장치이다. 근거리 통신부(187)는, 전술한 바와 같이, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra WideBand), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity) 등을 통하여 통신할 수 있다.

유선 통신부(189)는 시스템(100)를 다른 디바이스와 유선으로 연결할 수 있는 인터페이스 장치이다. 유선 통신부(189)는, USB Port를 통하여 통신할 수 있는 USB 모듈일 수 있다.

이러한, 통신부(180)는 위치 데이터부(181)와, 무선 인터넷부(183)와, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 다른 디바이스와 통신할 수 있다.

일 예로, 시스템(100)이 카메라 기능을 포함하지 않는 경우, Car dash cam이나 Car video recorder와 같은 차량용 영상 촬영 장치에서 촬영된 영상을 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 수신할 수 있다.

다른 예로, 복수의 디바이스와 통신하는 경우에 어느 하나는 근거리 통신부(187)로 통신하고, 다른 하나는 유선 통신부(119)를 통하여 통신하는 경우도 가능하다.

센싱부(190)는 시스템(100)의 현재 상태를 감지할 수 있는 장치이다. 센싱부(190)는 모션 센싱부(191)와 광 센싱부(193)의 전부 또는 일부를 포함할 수 있다.

모션 센싱부(191)는 시스템(100)의 3차원 공간 상에서의 운동을 감지할 수 있다. 모션 센싱부(191)은 3축 지자기 센서 및 3축 가속도 센서를 포함할 수 있다. 모션 센싱부(191)을 통하여 획득한 운동 데이터를 위치 데이터부(181)를 통하여 획득한 위치 데이터와 결합하여, 시스템(100)를 부착한 차량의 궤적을 보다 정확하게 산출할 수 있다.

광 센싱부(193)는 시스템(100)의 주변 조도(illuminance)를 측정하는 장치이다. 광 센싱부(193)를 통하여 획득한 조도데이터를 이용하여, 디스플레이부(131)의 밝기를 주변 밝기에 대응되도록 변화시킬 수 있다.

전원부(195)는 시스템(100)의 동작 또는 시스템(100)과 연결된 다른 디바이스의 동작을 위하여 필요한 전원을 공급하는 장치이다. 전원부(195)는 시스템(100)에 내장된 배터리 또는 차량 등의 외부 전원에서 전원을 공급받는 장치일 수 있다. 또한, 전원부(195)는 전원을 공급받는 형태에 따라서 유선 통신 모듈(119)로 구현되거나, 무선으로 공급받는 장치로 구현될 수도 있다.

제어부(170)는 시스템(100)의 전반적인 동작을 제어한다. 구체적으로 제어부(170)는 저장부(110), 입력부(120), 출력부(130), 커브 안내부(140), 증강 현실 제공부(160), 통신부(180), 센싱부(190), 전원부(195)의 전부 또는 일부를 제어할 수 있다.

특히, 제어부(170)는 이후에 차량이 주행할 도로에 대응되는 링크 정보를 획득할 수 있다. 여기서, 링크 정보는 목적지까지의 경로 안내를 위한 경로 안내 데이터로부터 획득될 수 있다.

일 예로, 입력부(120)를 통하여 목적지 정보가 입력되면, 제어부(170)는 저장부(110)에 기저장된 지도 데이터를 이용하여 목적지까지의 경로 안내 데이터를 생성할 수 있다. 또는, 입력부(120)를 통하여 목적지 정보가 입력되면, 제어부(170)는 현재 위치 정보, 목적지 정보 중 적어도 하나를 포함하는 경로 안내 요청을 서버에 전송할 수 있다. 그리고, 상기 경로 안내 요청에 따라 서버로부터 경로 안내 데이터를 수신할 수 있다. 이 경우, 제어부(170)는 상기 경로 안내 데이터로부터 차량이 주행하는 도로에 대응되는 링크 정보를 획득할 수 있다.

또한, 제어부(170)는 차량의 실시간 위치 정보를 기초로 차량의 주행 예상 경로 정보가 생성되면, 이를 기초로 링크 정보를 획득할 수 있다.

한편, 제어부(170)는 본 발명의 일 실시예에 따른 차선 안내 정보를 제공할 수 있다. 즉, 입력된 영상을 분할하여 차선을 검출하고 검출된 차선과 현재 차량의 위치에 따른 차선 이탈 알림 정보를 제공할 수 있다. 이 경우, 제어부(170)는 상술한 도 1 내지 10의 판단 과정을 이용할 수 있다.

제어부(170)는 판단 결과에 따라 차선 안내 정보를 출력하도록 출력부(130)를 제어할 수 있다. 또한, 제어부(170)는 차량의 속도, 주행 차선의 정보로서 곡률, 차선 폭, 차선 수 등의 정보를 이용하여 위험 레벨에 따른 차선 안내 정보를 출력하도록 하는 것도 가능하다.

만약, 차선 이탈 위험도가 제1 위험 레벨인 경우, 제어부(170)는 제1 차선 이탈 안내를 출력하도록 출력부(130)를 제어할 수 있다. 여기서 제1 위험 레벨은 사용자 주의가 필요한 상태임을 나타내는 수치일 수 있다.

만약, 차선 이탈 위험도가 제2 위험 레벨인 경우, 제어부(170)는 제2 차선 이탈 안내를 출력하도록 출력부(130)를 제어할 수 있다. 여기서, 제2 위험 레벨은 사용자의 보다 높은 주의(경고)가 필요한 상태임을 나타내는 수치일 수 있다.

만약, 차선 이탈 위험도가 제1 위험 레벨 보다 낮은 경우, 제어부(170)는 차선 이탈 안내를 출력하지 않도록 출력부(130)를 제어할 수 있다.

또한, 제어부(170)는 차선 이탈 위험도를 3단계 이상으로 구분하여, 사용자에게 각 단계별로 상황에 적합한 차선 이탈 위험 안내를 제공할 수도 있다.

한편, 이러한 차선 이탈 안내는 증강 현실 화면 내에서 수행될 수 있다. 구체적으로, 증강 현실 제공부(160)는 차선 이탈 안내 객체를 생성하고, 이를 가상 3D 공간에 매핑하여 증강 현실 화면을 생성할 수 있고, 제어부(170)는 상기 생성된 증강 현실 화면을 표시하도록 디스플레이부(131)를 제어할 수 있다.

도 12은 본 발명의 일 실시 예에 따른 시스템과 연결된 시스템 네트워크를 설명하기 위한 도면이다. 도 12를 참조하면, 본 발명의 일 실시 예에 따른 시스템(100)은 내비게이션, 차량용 영상 촬영 장치, 스마트 폰 또는 기타 차량용 증강 현실 인터페이스 제공 장치 등과 같은 차량에 구비되는 각종 장치로 구현될 수 있으며, 다양한 통신망 및 다른 전자 디바이스(61 내지 64)와 접속할 수 있다.

또한, 시스템(100)은 인공위성(20)으로부터 수신한 전파신호에 따라 GPS모듈을 연동하여 현재의 위치 및 현재 시간대를 산출할 수 있다.

각각의 인공위성(20)은 주파수 대역이 상이한 L밴드 주파수를 송신할 수 있다. 시스템(100)은 각각의 인공위성(20)에서 송신된 L밴드 주파수가 시스템(100)에 도달하기까지 소요된 시간에 기초하여 현재 위치를 산출할 수 있다.

한편, 시스템(100)은 통신부(180)을 통하여 제어국(40, ACR), 기지국(50, RAS), AP(Access Point) 등을 통하여 네트워크(30)에 무선으로 접속할 수 있다. 네트워크(30)에 시스템(100)가 접속하면, 네트워크(30)에 접속한 다른 전자 디바이스(61, 62)와도 간접적으로 접속하여 데이터를 교환할 수 있다.

한편, 시스템(100)은 통신 기능을 가진 다른 디바이스(63)를 통하여 간접적으로 네트워크(30)에 접속할 수도 있다. 예를 들어, 네트워크(30)에 접속할 수 있는 모듈이 시스템(100)에 구비되지 않은 경우에, 근거리 통신 모듈 등을 통하여 통신 기능을 가진 다른 디바이스(63)와 통신할 수 있다.

도 13은 본 발명의 일 실시 예에 따른 시스템의 차선 이탈 안내 화면을 나타내는 도면이다. 도 13을 참조하면, 시스템(100)은 차선 이탈의 위험도를 나타내는 안내 객체를 생성하고, 생성된 안내 객체(1003)를 증강 현실을 통하여 출력할 수 있다.

여기서, 안내 객체(1003)는 사용자 주의가 필요한 상태임을 안내하는 객체일 수 있다. 즉, 차선 이탈 안내는 차량이 차선을 벗어날 위험을 알리기 위한 주의(attention) 안내일 수 있다. 본 실시예에서 안내 객체(1003)는 텍스처(texture) 이미지로 구현되어 증강 현실을 통하여 표출될 수 있다. 이에 따라 운전자는 자차가 주행 중인 도로를 용이하게 인식할 수 있다.

또한, 시스템(100)은 안내 객체(1003)를 음성을 통해서도 출력할 수 있다.

도 14는 본 발명의 일 실시 예에 따른 시스템이 촬영부를 구비하지 않는 경우의 구현 형태를 나타내는 도면이다. 도 14를 참조하면, 차량용 시스템(100)과 별도로 마련된 차량용 영상 촬영 장치 (200)가 유선/무선 통신 방식을 이용하여 본 발명의 일 실시 예에 따른 시스템을 구성할 수 있다.

차량용 시스템(100)은 하우징(191)의 전면에 마련된 디스플레이부(131)와, 사용자 입력부(121)와, 마이크(123)를 포함할 수 있다.

차량용 영상 촬영 장치 (200)는 카메라(222)와 마이크(224), 부착부(281)를 포함할 수 있다.

도 15는 본 발명의 일 실시 예에 따른 시스템이 촬영부를 구비하는 경우 구현 형태를 나타내는 도면이다. 도 15를 참조하면, 시스템(100)가 촬영부(150)를 포함하는 경우, 사용자는 시스템(100)의 촬영부(150)가 차량의 전방을 촬영하고, 시스템(100)의 디스플레이 부분을 사용자가 인식 할 수 있도록 하는 장치일 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 시스템을 구현할 수 있다.

도 16은 본 발명의 일 실시 예에 따른 HUD(Head-Up Display)를 이용한 구현 형태를 나타내는 도면이다. 도 16을 참조하면, HUD는 다른 디바이스들과의 유/무선 통신을 통하여 증강 현실 안내 화면을 HUD 상에서 표시할 수 있다.

일 예로, 증강 현실은 차량 앞유리를 이용한 HUD 또는 별도의 영상 출력 장치를 이용한 영상 오버레이 등을 통해 제공될 수 있으며, 증강 현실 제공부(160)는 이와 같이 현실 영상 또는 유리에 오버레이되는 인터페이스 이미지 등을 생성할 수 있다. 이를 통해 증강 현실 내비게이션 또는 차량 인포테인먼트 시스템 등이 구현될 수 있다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 커브 안내 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.

한편, 다른 실시예로 본 발명에 따른 차선 표시 방법 또는 차선 이탈 안내 방법은 자율 주행 차량(2000)의 제어 장치(2100) 내 모듈로 구성될 수 있다. 즉, 제어 장치(2100)의 메모리(2122)와 프로세서(2124)가 본 발명에 따른 차선 표시 방법 또는 차선 이탈 안내 방법을 소프트웨어적으로 구현하도록 할 수 있다.

이하, 도 17을 참조하여 보다 상세히 설명한다.

도 17은 본 발명의 일 실시예에 따른 자율 주행 차량(2000)의 구성을 나타내는 블록도이다.

도 17을 참조하면, 본 실시예에 따른 자율 주행 차량(2000)은 제어 장치(2100), 센싱모듈(2004a, 2004b, 2004c, 2004d), 엔진(2006), 및 사용자 인터페이스(2008)를 포함할 수 있다.

본 실시예에서 제어 장치(2100)는 메모리(2122)와 프로세서(2124)를 포함하는 컨트롤러(2120), 센서(2110), 무선 통신 장치(2130), LIDAR(2140) 및 카메라 모듈(2150)를 포함할 수 있다.

본 실시예에서 컨트롤러(2120)는 차량의 제조사에 의해 제조 시 구성되거나 또는 제조 후에 자율 주행의 기능 수행을 위해 추가 구성될 수 있다. 또는 제조시 구성된 컨트롤러(2120)의 업그레이드를 통해 지속적인 부가 기능 수행을 위한 구성이 포함될 수 있다.

컨트롤러(2120)는 제어 신호를 차량 내 다른 구성들로 포함된 센서(2110), 엔진(2006), 사용자 인터페이스(2008), 무선 통신 장치(2130), LIDAR(2140), 및 카메라 모듈(2150)에 전달할 수 있다. 또한 도시되지는 않았으나 차량의 주행과 관련되는 가속 장치, 브레이킹 시스템, 조향 장치, 또는 네비게이션 장치에도 제어 신호를 전달할 수 있다.

본 실시예에서, 컨트롤러(2120)는 엔진(2006)을 제어할 수 있으며 예를 들어 자율 주행 차량(2000)이 주행 중인 도로의 제한 속도를 감지하고 주행 속도가 제한 속도를 초과하지 않도록 엔진(2006)을 제어하거나, 제한 속도를 초과하지 않는 범위 내에서 자율 주행 차량(2000)의 주행 속도를 가속하도록 엔진(2006)을 제어할 수 있다. 또한 부가적으로 차량 외부의 환경을 센싱모듈(2004a, 2004b, 2004c, 2004d) 이 감지하여 센서(2110)로 전달하면 컨트롤러(2120)는 이를 수신하여 엔진(2006) 또는 조향 장치(미도시)를 제어하는 신호를 생성하여 차량의 주행을 제어할 수 있다.

컨트롤러(2120)는 차량의 전방에 다른 차량 또는 방해물이 존재하는 경우에는 주행 차량을 감속하도록 엔진(2006) 또는 브레이킹 시스템을 제어할 수 있으며, 속도 외에도 궤적, 운행 경로, 조향 각을 제어할 수 있다. 또는 컨트롤러(2120)는 차량의 주행 차선, 주행 신호 등 기타 외부 환경의 인식 정보에 따라 필요한 제어 신호를 생성하여 차량의 주행을 제어할 수 있다.

컨트롤러(2120)는 자체적인 제어 신호의 생성 외에 주변 차량 또는 중앙 서버와의 통신을 수행하고 수신된 정보를 통해 주변 장치들을 제어하기 위한 명령을 전송함으로써, 차량의 주행을 제어하는 것도 가능하다.

또한, 컨트롤러(2120)는 카메라 모듈(2150)의 위치가 변경되거나 화각이 변경될 경우, 본 실시예에 따른 정확한 차량 또는 차선 인식이 어려울 수 있으므로, 이를 방지하기 위해 카메라 모듈(2150)의 캘리브레이션(calibration)을 수행하도록 제어하는 제어 신호를 생성할 수도 있다. 따라서, 본 실시예에서는 컨트롤러(2120)는 카메라 모듈(2150)로 캘리브레이션 제어 신호를 발생시킴으로써, 자율주행차량(2000)의 움직임에 따라 발생되는 진동 또는 충격 등에 의해 카메라 모듈(2150)의 장착 위치가 변경되더라도, 카메라 모듈(2150)의 정상적인 장착 위치, 방향, 화각 등을 지속적으로 유지할 수 있다. 컨트롤러(2120)는 미리 저장된 카메라 모듈(2120)의 최초 장착 위치, 방향, 화각 정보와 자율주행차량(2000)의 주행 중에 측정되는 카메라 모듈(2120)의 최초 장착 위치, 방향, 화각 정보 등이 임계 값 이상으로 달라질 경우, 카메라 모듈(2120)의 캘리브레이션을 수행하도록 제어 신호를 발생할 수 있다.

본 실시예에서 컨트롤러(2120)는 메모리(2122)와 프로세서(2124)를 포함할 수 있다. 프로세서(2124)는 메모리(2122)에 저장된 소프트웨어를 컨트롤러(2120)의 제어 신호에 따라 실행시킬 수 있다. 구체적으로 컨트롤러(2120)는 본 발명에 따른 차선 표시 방법 또는 차선 이탈 안내 방법을 수행하기 위한 데이터 및 명령들은 메모리(2122)에 저장하고, 명령들은 여기에 개시된 하나 이상의 방법들을 구현하기 위해 프로세서(2124)에 의해 실행될 수 있다.

이때, 메모리(2122)는 비 휘발성의 프로세서(2124)에서 실행 가능한 기록 매체에 저장될 수 있다. 메모리(2122)는 적절한 내 외부 장치를 통해 소프트웨어와 데이터를 저장할 수 있다. 메모리(2122)는 RAM(random access memory), ROM(read only memory), 하드디스크, 동글과 연결된 메모리(2122) 장치로 구성될 수 있다.

메모리(2122)는 운영체제(OS, Operating system), 사용자 어플리케이션, 실행 가능한 명령들을 적어도 저장할 수 있다. 메모리(2122)는 어플리케이션 데이터, 배열 데이터 구조들도 저장할 수 있다.

프로세서(2124)는 마이크로 프로세서 또는 적절한 전자적 프로세서로 컨트롤러, 마이크로 컨트롤러 또는 스테이트 머신 일 수 있다.

프로세서(2124)는 컴퓨팅 장치들의 조합으로 구현될 수 있으며, 컴퓨팅 장치는 디지털 신호 프로세서, 마이크로프로세서 이거나 이들의 적절한 조합으로 구성될 수 있다.

또한, 본 실시예에서 제어 장치(2100)는 적어도 하나 이상의 센서(2110)로 자율 주행 차량(2000)의 내외부의 특징을 모니터링하고 상태를 감지할 수 있다.

센서(2110)는 적어도 하나 이상의 센싱모듈(2004)로 구성될 수 있으며, 센싱모듈(2004)은, 감지 목적에 따라 자율 주행 차량(2000)의 특정 위치에 구현될 수 있다. 자율 주행 차량(2000)의 하부, 후단, 전단, 상단, 또는 측단에 위치할 수 있으며, 차량의 내부 부품 또는 타이어 등에도 위치될 수 있다.

이를 통해 센싱모듈(2004)은 차량의 내부 정보로서 엔진(2006), 타이어, 조향각, 속도, 차량의 무게 등 주행과 관련된 정보들을 감지할 수 있다. 또한, 적어도 하나 이상의 센싱모듈(2004)은 가속도 센서(2110), 자이로스코프, 이미지 센서(2110), RADAR, 초음파 센서, LiDAR 센서 등으로 구성될 수 있으며, 자율 주행 차량(2000)의 움직임 정보를 감지할 수 있다.

센싱모듈(2004)은 외부 정보로서 자율 주행 차량(2000)이 위치하는 도로의 상태 정보, 주변 차량 정보, 날씨 등 외부 환경 상태에 대한 특정 데이터를 수신하고, 이에 따른 차량의 파라미터를 감지하는 것도 가능하다. 감지된 정보는 일시적 또는 장기적으로 목적에 따라 메모리(2122)에 저장할 수 있다.

본 실시예에서 센서(2110)는 자율 주행 차량(2000)의 내 외부에서 발생되는 정보를 수집하기 위한 센싱모듈(2004)들의 정보를 통합하여 수집할 수 있다.

제어 장치(2100)는 무선 통신 장치(2130)를 더 포함할 수 있다.

무선 통신 장치(2130)는 자율 주행 차량(2000) 간의 무선 통신을 구현하기 위해 구성된다. 예를 들어, 사용자의 모바일 폰, 또는 다른 무선 통신 장치(2130), 다른 차량, 중앙 장치(교통 제어 장치), 서버 등과 자율 주행 차량(2000)이 통신할 수 있도록 한다. 무선 통신 장치(2130)는 무선 신호를 접속 무선 프로토콜에 따라 송수신할 수 있다. 무선 통신 프로토콜은 Wi-Fi, Bluetooth, Long-Term Evolution (LTE), Code Division Multiple Access (CDMA), Wideband Code Division Multiple Access (WCDMA), Global Systems for Mobile Communications (GSM)일 수 있으며, 통신 프로토콜은 이에 제한되지 않는다.

또한 본 실시예에서 자율 주행 차량(2000)은 무선 통신 장치(2130)를 통해 차량 간 통신을 구현하는 것도 가능하다. 즉, 무선 통신 장치(2130)는 차량 대 차량 간(V2V) 통신(vehicle-to-vehicle communication)으로 도로 상의 다른 차량 및 다른 차량들과 통신을 수행할 수 있다. 자율 주행 차량(2000)은 주행 경고, 교통 정보와 같은 정보를 챠량 간 통신으로 통해 송수신할 수 있으며, 다른 차량에게 정보를 요청하거나 요청을 수신하는 것도 가능하다. 예를 들어, 무선 통신 장치(2130)는 V2V 통신을 지정 단 거리 통신(DSRC, dedicated short-range communication) 장치 또는 C-V2V(Celluar-V2V) 장치로 수행할 수 있다. 또한 차량 간의 통신 외에 차량과 다른 사물(예컨대 보행자가 휴대하는 전자 기기 등) 간의 통신(V2X, Vehicle to Everything communication)도 무선 통신 장치(2130)를 통해 구현할 수 있다.

또한, 제어 장치(2100)는 LIDAR 장치(2140)를 포함할 수 있다. LIDAR 장치(2140)는 LIDAR 센서를 통해 센싱된 데이터를 이용하여 자율 주행 차량(2000) 주변의 객체를 동작 중에 탐지할 수 있다. LIDAR 장치(2140)는 탐지된 정보를 컨트롤러(2120)로 전송하고, 컨트롤러(2120)는 탐지 정보에 따라 자율 주행 차량(2000)을 동작시킬 수 있다. 예를 들어 컨트롤러(2120)는 탐지 정보에 저속 주행하는 전방 차량이 있는 경우 엔진(2006)을 통해 차량이 속도를 줄이도록 명령할 수 있다. 또는 차량이 진입하는 커브의 곡률에 따라 진입 속도를 줄이도록 명령할 수 있다.

제어 장치(2100)는 카메라 모듈(2150)을 더 포함할 수 있다. 컨트롤러(2120)는 카메라 모듈(2150)에서 촬영되는 외부 이미지로부터 객체 정보를 추출하고 이에 대한 정보를 컨트롤러(2120)가 처리하도록 할 수 있다.

또한, 제어 장치(2100)는 외부 환경을 인식하기 위한 이미징 장치들이 더욱 포함할 수 있다. LIDAR(2140) 외에 RADAR, GPS 장치, 주행 거리 측정 장치(Odometry) 및 기타 컴퓨터 비전 장치 들이 이용될 수 있으며, 이들의 장치는 필요에 따라 선택 또는 동시에 동작하여 보다 정밀한 감지가 가능하도록 한다.

자율 주행 차량(2000)은 상술한 제어 장치(2100)에 대한 사용자의 입력을 위한 사용자 인터페이스(2008)를 더 포함할 수 있다. 사용자 인터페이스(2008)는 적절한 상호작용으로 사용자가 정보를 입력하도록 할 수 있다. 예를 들어 터치스크린, 키패드, 조작 버튼 등으로 구현될 수 있다. 사용자 인터페이스(2008)는 입력 또는 명령을 컨트롤러(2120)에 전송하고, 컨트롤러(2120)는 입력 또는 명령에 대한 응답으로 차량의 제어 동작을 수행할 수 있다.

또한, 사용자 인터페이스(2008)는 자율 주행 차량(2000) 외부의 장치로 무선 통신 장치(2130)를 통해 자율 주행 차량(2000)과 통신을 수행하도록 할 수 있다. 예를 들어 사용자 인터페이스(2008)는 모바일 폰, 태블릿, 또는 기타 컴퓨터 장치와 연동 가능하도록 할 수 있다.

나아가, 본 실시예에서 자율 주행 차량(2000)은 엔진(2006)을 포함하는 것으로 설명하였으나, 다른 타입의 추진 시스템을 포함하는 것도 가능하다. 예를 들어 차량은 전기 에너지로 운행될 수 있으며, 수소 에너지 또는 이들을 조합한 하이브리드 시스템을 통해 운행될 수 있다. 따라서 컨트롤러(2120)는 자율 주행 차량(2000)의 추진 시스템에 따른 추진 메커니즘을 포함하고, 이에 따른 제어 신호를 각 추진 메커니즘의 구성들에 제공할 수 있다.

이하, 도 18을 참조하여 본 실시예에 따른 본 발명에 따른 차선 표시 방법 또는 차선 이탈 안내 방법을 수행하는 제어 장치(2100)의 세부 구성에 대하여 보다 상세히 설명한다.

제어 장치(2100)는 프로세서(2124)를 포함한다. 프로세서(2124)는 범용 단일 또는 다중 칩 마이크로프로세서, 전용 마이크로프로세서, 마이크로제어기, 프로그램가능 게이트 어레이 등일 수도 있다. 프로세서는 중앙 처리 장치(CPU)로 지칭될 수도 있다. 또한 본 실시예에서 프로세서(2124)는 복수의 프로세서들의 조합으로 사용되는 것도 가능하다.

제어 장치(2100)는 또한 메모리(2122)를 포함한다. 메모리(2122)는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트일 수도 있다. 메모리(2122) 역시 단일 메모리 외에 메모리(2122)들의 조합을 포함할 수 있다.

본 발명에 따른 차선 표시 방법 또는 차선 이탈 안내 방법을 수행하기 위한 데이터 및 명령어(2122a)들은 메모리(2122)에 저장될 수도 있다. 프로세서(2124)가 명령어(2122a)들을 실행할 때, 명령어(2122a)들과 명령의 수행에 필요한 데이터(2122b)의 전부 또는 일부가 프로세서(2124)상으로 로딩(2124a, 2124b)될 수도 있다.

제어 장치(2100)는 신호들의 송신 및 수신을 허용하기 위한 송신기(2130a), 수신기(2130b) 또는 트랜시버(2130c)를 포함할 수도 있다. 하나 이상의 안테나(2132a, 2132b)들은 송신기(2130a), 수신기(2130b) 또는 각 트랜시버(2130c)에 전기적으로 연결될 수도 있으며 추가적으로 안테나들을 포함할 수도 있다.

제어 장치(2100)는 디지털 신호 프로세서(DSP)(2170)를 포함할 수도 있다. DSP(2170)를 통해 디지털 신호를 차량이 빠르게 처리할 수 있도록 할 수 있다.

제어 장치(2100)는 통신 인터페이스(2180)를 포함할 수도 있다. 통신 인터페이스(2180)는 다른 장치들을 제어 장치(2100)와 연결하기 위한 하나 이상의 포트들 및/또는 통신 모듈 들을 포함할 수도 있다. 통신 인터페이스(2180)는 사용자와 제어 장치(2100)가 상호 작용 할 수 있게 할 수 있다.

제어 장치(2100)의 다양한 구성들은 함께 하나 이상의 버스(2190)들에 의해 연결될 수도 있고, 버스(2190)들은 전력 버스, 제어 신호 버스, 상태 신호 버스, 데이터 버스 등을 포함할 수도 있다. 프로세서(2124)의 제어에 따라 구성들은 버스(2190)를 통해 상호 정보를 전달하고 목적하는 기능을 수행하도록 할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

차량의 주행 중 촬영된 영상을 획득하는 단계;
획득된 영상을 차량으로부터의 거리에 따라 적어도 두 영역으로 분할하는 단계;
상기 분할된 영역 내 차선을 검출하는 단계;
상기 검출된 차선을 연속하는 곡선으로 근사시키는 단계; 및
상기 근사된 곡선을 미리 결정된 사용자 인터페이스에 표시하도록 하는 단계를 포함하는 것을 특징으로 하는 차선 표시 방법.
제 1 항에 있어서,
상기 분할하는 단계는 상기 차량으로부터의 거리에 따라 결정된 해상도로 상기 획득된 영상을 분할하는 것을 특징으로 하는 차선 표시 방법.
제 2 항에 있어서,
상기 분할하는 단계는 상기 영상 내 소실점 또는 전방 차량을 기준으로 상기 획득된 영상의 하부 영역에 대해 적어도 둘 이상의 영역으로 분할하고, 그 중 상기 차량으로부터 근거리의 영역을 제1 부분 영상으로 생성하고,
상기 검출하는 단계는 상기 제1 부분 영상에서 차선을 검출하는 것을 특징으로 하는 차선 표시 방법.
제 3 항에 있어서,
상기 분할하는 단계는 상기 제1 부분 영상보다 거리가 먼 영역을 포함하는 제2 부분 영상을 생성하고,
상기 검출하는 단계는 상기 제2 부분 영상에서 차선을 검출하는 것을 특징으로 하는 차선 표시 방법.
제 1 항에 있어서,
상기 검출하는 단계는 상기 분할된 영상 내 주행 차량의 존재 여부를 판단하고, 상기 주행 차량이 존재하지 않는 차로의 차선을 검출하는 것을 특징으로 하는 차선 표시 방법.
제 5 항에 있어서,
상기 근사시키는 단계는 상기 검출된 차선 및 주행 차량의 존재 여부에 따라 상기 검출된 차선을 근사시키는 것을 특징으로 하는 차선 표시 방법.
제 1 항에 있어서,
상기 표시하도록 하는 단계는 상기 차량의 주행 경로를 상기 근사된 곡선 상에 표시하는 것을 특징으로 하는 차선 표시 방법.
차량의 주행 중 촬영된 영상을 획득하는 단계;
획득된 영상을 차량으로부터의 거리에 따라 적어도 두 영역으로 분할하여 상기 분할된 영역 내 차선을 검출하는 단계;
상기 검출된 차선을 연속하는 곡선으로 근사하여 상기 차량이 주행하는 도로의 차선을 인식하는 단계; 및
상기 인식된 도로의 차선에 따라 상기 차량의 차선 이탈 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 안내 방법.
제 8 항에 있어서,
상기 근사된 곡선을 미리 결정된 사용자 인터페이스에 표시하도록 하는 단계를 더 포함하는 것을 특징으로 하는 차선 이탈 안내 방법.
제 9 항에 있어서,
상기 표시하도록 하는 단계는 상기 판단된 차선 이탈 여부를 상기 사용자 인터페이스에 표시하도록 하는 것을 특징으로 하는 차선 이탈 안내 방법.
제 9 항에 있어서,
상기 판단하는 단계는 운전자의 커브 컷팅 동작(curve cutting behavior)를 고려하여 상기 차선 이탈 여부의 판단을 위한 임계값을 조절하는 것을 특징으로 하는 차선 이탈 안내 방법.
차량의 주행 중 촬영된 영상을 획득하는 영상 획득부;
획득된 영상을 차량으로부터의 거리에 따라 적어도 두 영역으로 분할하는 영상 분할부;
상기 분할된 영상 내 차선을 검출하는 차선 검출부;
상기 검출된 차선을 연속하는 곡선으로 근사시키는 곡선 근사부; 및
상기 근사된 곡선을 미리 결정된 사용자 인터페이스에 표시하도록 하는 표시부를 포함하는 것을 특징으로 하는 전자 기기.
제 12 항에 있어서,
상기 영상 분할부는 상기 차량으로부터의 거리에 따라 결정된 해상도로 상기 획득된 영상을 분할하는 것을 특징으로 하는 전자 기기.
제 13 항에 있어서,
상기 영상 분할부는 상기 영상 내 소실점 또는 전방 차량을 기준으로 상기 획득된 영상의 하부 영역에 대해 적어도 둘 이상의 영역으로 분할하고, 그 중 상기 차량으로부터 근거리 영역을 제1 부분 영상으로 생성하고,
상기 차선 검출부는 상기 제1 부분 영상에서 차선을 검출하는 것을 특징으로 하는 전자 기기.
제 14 항에 있어서,
상기 영상 분할부는 상기 제1 부분 영상보다 거리가 먼 영역을 포함하는 제2 부분 영상을 생성하고,
상기 차선 검출부는 상기 제2 부분 영상에서 차선을 검출하는 것을 특징으로 하는 전자 기기.
제 12 항에 있어서,
상기 차선 검출부는 상기 분할된 영상 내 주행 차량의 존재 여부를 판단하고, 상기 주행 차량이 존재하지 않는 차로의 차선을 검출하는 것을 특징으로 하는 전자 기기.
제 16 항에 있어서,
상기 곡선 근사부는 상기 검출된 차선 및 주행 차량의 존재 여부에 따라 상기 검출된 차선을 근사시키는 것을 특징으로 하는 전자 기기.
제 12 항에 있어서,
상기 표시부는 상기 차량의 주행 경로를 상기 근사된 곡선 상에 표시하는 것을 특징으로 하는 전자 기기.
제 1 항 내지 제 7 항 중 어느 한 항에 따른 차선 표시 방법을 수행하기 위한 프로그램을 저장한 컴퓨터가 판독 가능한 기록 매체.
제 1 항 내지 제 7 항 중 어느 한 항에 따른 차선 표시 방법을 수행하기 위한 컴퓨터가 판독 가능한 기록 매체에 저장된 프로그램