KR20200042760A

KR20200042760A - 차량 위치 결정 방법 및 차량 위치 결정 장치

Info

Publication number: KR20200042760A
Application number: KR1020180123340A
Authority: KR
Inventors: 정경부; 강나협; 강철우; 이원희
Original assignee: 삼성전자주식회사
Priority date: 2018-10-16
Filing date: 2018-10-16
Publication date: 2020-04-24
Also published as: US11175149B2; CN111060094A; KR102483649B1; EP3640599B1; JP2020064046A; EP3640599A1; US20200116499A1; JP7461720B2

Abstract

차량 위치 결정 방법 및 차량 위치 결정 장치가 개시된다. 차량 위치 결정 방법은 위치 센서에 의해 센싱된 위치 데이터에 기초하여 차량의 위치를 추정하는 단계, 차량의 전방을 촬영한 전방 영상에 기초하여 차량의 현재 주행 차로를 결정하는 단계, 결정된 현재 주행 차로의 위치에 기초하여 차량의 추정된 위치를 보정하는 단계 및 전방 영상에 나타난 차선의 기하학 정보에 기초하여 현재 주행 차로 내에서의 차량의 위치를 결정하는 단계를 포함한다.

Description

차량 위치 결정 방법 및 차량 위치 결정 장치{VEHICLE LOCALIZATION METHOD AND VEHICLE LOCALIZATION APPARATUS}

아래의 실시예들은 차량의 위치를 결정하는 기술에 관한 것이다.

차량 및 기타 운송 수단의 주행을 보조하기 위해, 다양한 시각 정보(Visual Information)를 증강 현실(Augmented Reality; AR)을 통해 운전자에게 제공하는 내비게이션 시스템이 있다. 이러한 내비게이션 시스템은 GPS(Global Positioning System) 센서를 통해 인공위성으로부터 GPS 신호를 수신하고, 수신한 GPS 신호에 기초하여 차량의 현재 위치를 추정한다. GPS 신호를 통해 차량의 위도, 경도 상의 절대적인 위치 값이 도출될 수 있다.

일 실시예에 따른 차량 위치 결정 방법은, 위치 센서에 의해 센싱된 위치 데이터에 기초하여 차량의 위치를 추정하는 단계; 상기 차량의 전방을 촬영한 전방 영상에 기초하여 상기 차량의 현재 주행 차로를 결정하는 단계; 상기 결정된 현재 주행 차로의 위치에 기초하여 상기 추정된 차량의 위치를 보정하는 단계; 및 상기 전방 영상에 나타난 차선의 기하학(geometry) 정보에 기초하여 상기 현재 주행 차로 내에서의 상기 차량의 위치를 결정하는 단계를 포함할 수 있다.

상기 차량의 위치를 결정하는 단계는, 상기 전방 영상의 역 투영 변환(inverse perspective mapping) 영상을 획득하는 단계; 상기 역 투영 변환 영상에서 상기 현재 주행 차로를 형성하는 차선들을 추출하는 단계; 및 상기 추출된 차선들의 기하학 정보에 기초하여 상기 식별된 현재 주행 차로 내에서의 상기 차량의 위치를 결정하는 단계를 포함할 수 있다.

상기 차량의 위치를 결정하는 단계는, 상기 추출된 차선들 각각에 대응되는 선들(lines) 사이의 하단 중간 위치 값과 상기 역 투영 변환 영상의 하단 중간 위치 값 간의 차이에 기초하여 상기 차량의 위치를 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 차량 위치 결정 방법은, 상기 전방 영상에 나타난 차선의 기하학 정보에 기초하여 상기 결정된 위치에서 상기 차량이 향하는 방향을 결정하는 단계를 더 포함할 수 있다.

상기 차량이 향하는 방향을 결정하는 단계는, 상기 추출된 차선에 대응하는 선(line)의 방향에 기초하여 상기 차량이 향하는 방향을 결정하는 단계를 포함할 수 있다.

상기 추정된 차량의 위치를 보정하는 단계는, 상기 현재 주행 차로의 중간 위치에 대응하는 지도 상의 위치를 상기 차량의 위치로 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 차량 위치 결정 장치는, 차량의 위치 데이터를 센싱하는 위치 센서; 및 상기 위치 데이터 및 상기 차량의 전방을 촬영한 전방 영상에 기초하여 상기 차량의 위치를 결정하는 프로세서를 포함하고, 상기 프로세서는, 상기 위치 데이터에 기초하여 차량의 위치를 추정하고, 상기 전방 영상에 기초하여 상기 차량의 현재 주행 차로를 결정하고, 상기 결정된 현재 주행 차로의 위치에 기초하여 상기 추정된 차량의 위치를 보정하고, 상기 전방 영상에 나타난 차선의 기하학 정보에 기초하여 상기 현재 주행 차로 내에서의 상기 차량의 위치를 결정할 수 있다.

상기 프로세서는, 상기 현재 주행 차로의 중간 위치에 대응되는 지도 상의 위치를 상기 차량의 위치로 결정하는 것에 의해 상기 추정된 차량의 위치를 보정할 수 있다.

다른 실시예에 따른 차량 위치 결정 장치는, 차량의 위치 데이터를 센싱하는 위치 센서; 및 상기 차량의 위치를 결정하는 프로세서를 포함하고, 상기 프로세서는, 상기 차량의 전방을 촬영한 전방 영상에 기초하여 상기 차량이 주행 중인 현재 주행 차로의 차로 번호를 결정하고, 상기 결정된 차로 번호와 지도 정보에 기초하여 상기 센싱된 차량의 위치 데이터를 보정할 수 있다.

상기 프로세서는, 상기 전방 영상에 나타난 차선의 기하학 정보에 기초하여 상기 차량의 위치를 재보정할 수 있다.

상기 프로세서는, 상기 전방 영상을 역 투영 변환 영상으로 변환하고, 상기 역 투영 변환 영상에서 상기 현재 주행 차로를 형성하는 차선들을 추출하고, 상기 추출된 차선들의 기하학 정보에 기초하여 상기 식별된 현재 주행 차로 내에서의 상기 차량의 위치를 결정하는 것에 의해 상기 차량의 위치를 재보정할 수 있다.

도 1은 일 실시예에 따른 증강 현실 내비게이션 장치가 제공하는 경로 가이드 화면의 일례를 도시하는 도면이다.
도 2 및 도 3은 일 실시예에 따른 차량 위치 결정 방법의 동작을 설명하기 위한 흐름도들이다.
도 4 및 도 5는 일 실시예에 따른 차량 위치를 결정하는 과정을 설명하기 위한 도면들이다.
도 6은 일 실시예에 따른 전방 영상에서 차량의 주행 차로를 식별하는 과정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 주행 차로의 식별 결과에 기초하여 차량의 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 전방 영상으로부터 역 투영 변환 영상을 획득하는 과정을 설명하기 위한 도면이다.
도 9 및 도 10은 일 실시예에 따른 차선의 기하학 정보에 기초하여 차량의 위치를 보정하는 과정을 설명하기 위한 도면들이다.
도 11 및 도 12는 일 실시예에 따른 주행 차로 내에서의 차량 위치 및 방향을 결정하는 과정을 설명하기 위한 도면들이다.
도 13은 일 실시예에 따른 차량 위치 결정 장치의 구성을 도시하는 도면이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 달리 명시되지 않는 한 일반적으로 "하나 이상의"를 의미하는 것으로 해석되어야 한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서, '차량(vehicle)'은 자동차, 버스, 오토바이 또는 트럭과 같이 구동 기관을 가지고 사람이나 물건을 이동시키기 위해 이용되는 모든 종류의 운송 수단을 의미할 수 있다. 또한, '도로(road)'는 차량들이 다니는 길을 의미하며, 예를 들어, 고속도로, 국도, 지방도, 고속국도, 자동차 전용 도로 등과 같은 다양한 유형의 도로를 포함할 수 있다. '차로(lane)'는 도로 노면 상에 표시된 차선(lane boundary)들을 통해 서로 구분되는 도로 공간을 의미한다. '현재 주행 차로'는 여러 차로들 중 현재 차량이 주행 중인 차로로서, 현재 차량이 차지하고 이용 중인 차로 공간을 의미하며, '에고 레인(ego lane)'으로도 지칭될 수 있다. '차선(lane boundary)'은 차로의 구별을 위해 도로 노면 상에 표시된 실선 또는 점선을 의미한다. 본 명세서에서 '차선'은 '차선 표시(lane marking)'로도 대체될 수 있다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서 설명되는 실시예들은 차량의 위치를 보다 정확하게 결정하는 기술적 수단에 관한 것으로, 해당 기술적 수단은 내비게이션 장치(예를 들어, 증강 현실 3D 헤드-업 디스플레이(Augmented Reality Head-Up Display; AR 3D HUD))나 자율 주행 차량 등에서 차량의 위치를 결정하는데 활용될 수 있다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시예에 따른 증강 현실 내비게이션 장치가 제공하는 경로 가이드 화면의 일례를 도시하는 도면이다.

도 1을 참조하면, 증강 현실 내비게이션 장치는 차량의 위치와 지도 정보에 기초하여 차량의 위치로부터 목적지까지의 경로를 설정하고, 설정된 경로를 증강 현실 객체(105)를 통해 차량의 운전자에게 제공할 수 있다. 이 때, 증강 현실 내비게이션 장치는 차량의 절대 위치(위도, 경도)를 측정하기 위해, GPS 센서를 이용한다. GPS 센서의 위치 측정 값은 알려진 10m 내외의 오차 범위를 가지기 때문에, GPS 센서를 이용하여서는 각각 3m 내외의 폭을 가지는 차로들 중에서 차량의 현재 주행 차로의 위치를 식별하는 것이 어렵다. GPS 센서가 가지는 오차 범위의 영향을 줄이기 위해 관성 측정 장치(Inertial Measurement Unit; IMU) 및/또는 시각적 주행 거리 측정법(Visual Odometry, VO) 등을 이용하기도 하나, 차량의 위치를 정확히 식별하기에는 부족한 수단들이다

만약, 증강 현실 객체(105)가 차로 단위로 표시될 수 있다면, 차량의 운전자에게 보다 정밀하고 사실적인 경로 가이드를 제공할 수 있다. 보다 정밀한 경로 가이드를 설정하기 위해서는, 차량의 위치를 정확하게 측정하는 것이 선행되어야 한다. 또한, 차량이 향하는 방향을 추정할 수 있다면, 경로 가이드를 보다 정밀하게 결정하는 것이 가능해 진다.

이하에서 설명될 실시예들은 차량의 주변 영상에 기초하여 차량이 현재 주행 중인 주행 차로를 식별하고, 주행 차로 내에서 차량의 위치와 방향을 보다 정확하게 결정할 수 있는 기술적 수단을 제공한다. 해당 기술적 수단은 차량의 주행 차로와 해당 주행 차로의 차선 정보를 이용하여 주행 차로 내에서 차량의 정확한 위치를 추정한다. 이를 통해, 차량의 절대 위치를 정확하게 예측하고, 고정밀의 지도 정보와 정합하여 수 cm 내의 오차 범위 수준으로 차량의 위치를 추정하는 것이 가능해 진다.

도 2 및 도 3은 일 실시예에 따른 차량 위치 결정 방법의 동작을 설명하기 위한 흐름도들이다. 차량 위치 결정 방법은 본 명세서에서 설명되는 차량 위치 결정 장치에 의해 수행될 수 있다. 차량 위치 결정 장치는 차량의 위치를 결정하는 장치로서, 예를 들어 소프트웨어 모듈, 하드웨어 모듈 또는 이들의 조합으로 구현될 수 있다.

도 2를 참조하면, 단계(210)에서 차량 위치 결정 장치는 위치 센서에 의해 센싱된 위치 데이터에 기초하여 차량의 위치를 추정한다. 예를 들어, 차량 위치 결정 장치는 GPS 센서에 의해 측정된 위치 데이터에 기초하여 차량의 위치를 추정할 수 있다. GPS 센서를 통해 차량 위치의 위도 및 경도가 도출될 수 있다.

차량 위치 결정 장치는 차량의 위치를 보다 정확히 추정하기 위해 GPS 센서뿐만 아니라 관성 측정 장치(IMU), 온보드 진단기(On-board diagnostics; OBD) 센서 및/또는 시각적 주행 거리 측정법 등을 이용할 수도 있다. 예를 들어, 차량 위치 결정 장치는 GPS 센서를 통해 차량의 절대 위치를 측정하고, 관성 측정 장치나 OBD 센서를 이용하여 측정한 차량의 이동 방향 및 속도를 이용하여 차량의 절대 위치를 수정할 수 있다. 관성 측정 장치는 가속도 센서와 자이로 센서를 포함하고, 차량의 움직임과 방향을 측정할 수 있다.

다른 예로, 차량 위치 결정 장치는 GPS 센서를 통해 측정된 차량의 절대 위치의 오차를 줄이기 위해, 차량의 주변 환경을 촬영한 다시점 영상을 이용하여 대상과 차량 사이의 거리를 측정하는 시각적 주행 거리 측정법을 수행할 수 있다. 시각적 주행 거리 측정법을 통해, 다시점 영상에 나타난 객체와 현재 차량 사이의 거리 정보가 추정될 수 있고, 추정된 거리 정보의 시간적 변화로부터 차량의 이동량 및/또는 회전량이 계산될 수 있다. 계산된 이동량 및/또는 회전량을 통해 GPS 센서를 통해 측정된 차량의 절대 위치가 수정될 수 있다.

위와 같이, GPS 센서 등의 위치 센서에 의해 차량의 위치 데이터가 센싱되고, 센싱된 위치 데이터에 기초하여 차량의 위치가 추정된다. 하지만, 이렇게 추정된 차량의 위치는, 차량이 현재 주행 중인 차로를 구별할 수 있을 정도의 위치 정확도를 제공하지 않을 수 있다. 차량 위치 결정 장치는 다음의 과정들을 통해 차량의 위치를 보다 정확하게 결정할 수 있다.

단계(220)에서, 차량 위치 결정 장치는 차량의 전방을 촬영한 전방 영상에 기초하여 차량의 현재 주행 차로를 결정한다. 차량 위치 결정 장치는 전방 영상을 분석하여 차량이 현재 차지하고, 이동 중인 현재 주행 차로의 위치를 결정할 수 있다. 일 실시예에서, 차량 위치 결정 장치는 주행 차로 식별 모델을 이용하여 전방 영상으로부터 차량이 현재 주행 중인 차로 번호를 결정할 수 있다. 주행 차로 식별 모델은 영상이 입력되는 경우 입력된 영상에 대응하는 올바른 차로 번호를 출력하도록 미리 학습(training)된 뉴럴 네트워크일 수 있다. 주행 차로 식별 모델에 전방 영상이나 전방 영상의 특징들이 입력되고, 주행 차로 식별 모델로부터 차량의 현재 주행 차로의 차로 번호에 대한 정보가 출력될 수 있다.

일 실시예에서, 주행 차로 식별 모델은 현재 주행 차로의 차로 번호로서, 도로의 왼쪽 방향으로부터의 제1 차로 번호 및 해당 도로의 오른쪽 방향으로부터의 제2 차로 번호에 대한 정보를 제공할 수 있다. 이 때, 주행 차로 식별 모델은 제1 차로 번호에 대한 신뢰도와 제2 차로 번호에 대한 신뢰도에 대한 정보를 추가적으로 제공할 수 있다. 차량 위치 결정 장치는 제1 차로 번호의 신뢰도와 제2 차로 번호의 신뢰도 중 더 높은 신뢰도를 나타내는 차로 번호에 기초하여 차량의 현재 주행 차로를 결정할 수 있다.

다른 실시예에 따르면, 차량 위치 결정 장치는 전방 영상을 이용하는 것 이외에 차량의 다른 주변 영상을 이용하여 현재 주행 차로를 결정할 수도 있다. 예를 들어, 차량 위치 결정 장치는 차량의 후방을 촬영한 후방 영상 및/또는 차량의 측면을 촬영한 측면 영상을 이용하여 차량의 현재 주행 차로를 결정할 수도 있다. 이 경우에도, 영상에서 현재 주행 차로를 식별하기 위해 뉴럴 네트워크 기반의 주행 차로 식별 모델이 이용될 수 있다.

단계(230)에서, 차량 위치 결정 장치는 단계(220)에서 결정된 현재 주행 차로의 위치에 기초하여 단계(210)에서 추정된 차량의 위치를 보정한다. 차량 위치 결정 장치는 GPS 센서 등을 통해 추정된 차량의 위치를 단계(220)에서 결정된 현재 주행 차로의 차로 번호에 대응하는 지도 상의 위치로 보정할 수 있다. 예를 들어, 차량 위치 결정 장치는 현재 주행 차로의 중간 위치(즉, 현재 주행 차로를 정의하는 양쪽 차선들 사이의 중간 위치)에 대응하는 지도 상의 위치를 차량의 위치로 결정할 수 있다.

다른 실시예에서, 차량 위치 결정 장치는 이전 시간에서 결정된 차량의 주행 차로와 차량의 주행 방향에 기초하여, 단계(210)에서 추정된 차량의 위치를 본 단계에서 결정된 현재 주행 차로의 위치로 보정할지 여부를 결정할 수도 있다. 예를 들어, 바로 이전 시간에서 결정된 주행 차로의 차로 번호가 '2'이었고, 차량의 주행 방향이 차로 방향에 평행한 방향이었으나, 이번에 결정된 현재 주행 차로의 차로 번호가 '4'로 예측되었다면, 차량 위치 결정 장치는 차로 번호 '4'에 대응되는 지도 상의 위치로 차량의 위치를 변경하는 것이 아니라, 기존 차로 번호 '2'에 대응되는 지도 상의 위치로 차량의 위치를 유지할 수 있다. 왜냐하면, 차량의 주행 방향에 기초할 때, 주행 차로의 변경이 일어나지 않았을 가능성이 높기 때문이다.

차량 위치 결정 장치는 위와 같이 현재 주행 차로의 위치에 기초하여 차량의 위치 정보를 보정함으로써, 차량 위치의 정확도를 차로 수준으로 향상시킬 수 있다. 이에 더하여, 차량 위치 결정 장치는 다음의 과정을 통해 차로 내에서의 차량 위치 및/또는 차량 방향을 더욱 정밀하게 계산할 수 있다.

단계(240)에서, 차량 위치 결정 장치는 전방 영상에 나타난 차선의 기하학 정보에 기초하여 현재 주행 차로 내에서의 차량의 위치를 결정한다. 차량 위치 결정 장치는 전방 영상에 나타난 차선의 형태를 분석하여 차로 내에서 차량이 정확히 어느 지점에 위치하고 있는지를 계산할 수 있다. 또한, 차량 위치 결정 장치는 전방 영상에 나타난 차선의 기하학 정보에 기초하여 현재 주행 차로 내에서의 결정된 위치에서 차량이 향하는 방향을 결정할 수도 있다. 단계(240)에 대해서는 도 3을 참조하여 보다 상세히 설명한다.

도 3을 참조하면, 단계(310)에서 차량 위치 결정 장치는 전방 영상의 역 투영 변환(inverse perspective mapping) 영상(또는 탑-뷰(top-view) 영상)을 획득한다. 예를 들어, 차량 위치 결정 장치는 전방 영상에서 도로 영역을 포함하는 관심 영역(region of interest; ROI)을 설정하고, 관심 영역에 대해 카메라 각도에 따른 시각적 관점에서 오는 왜곡(perspective distortion)을 제거하여 역 투영 변환 영상을 생성할 수 있다.

단계(320)에서, 차량 위치 결정 장치는 역 투영 변환 영상에서 현재 주행 차로를 형성하는 차선들을 추출한다. 예를 들어, 차량 위치 결정 장치는 역 투영 변환 영상에서 차선의 컬러를 가지는 라인(line) 형태의 영역들을 추출하고, 추출된 영역들 중 역 투영 변환 영상의 중심선으로부터 양방향으로 가장 가까운 영역들을 현재 주행 차로의 차선으로서 추출할 수 있다. 이외에, 차량 위치 결정 장치는 다양한 방법을 이용하여 역 투영 변환 영상에서 주행 차로의 차선들을 추출할 수 있다. 예를 들어, 차량 위치 결정 장치는 주행 차로의 차선들을 추출하기 위해, 입력 영상에서 차선의 위치를 검출하는 뉴럴 네트워크 기반의 차선 검출 모델을 이용할 수도 있다.

단계(330)에서, 차량 위치 결정 장치는 단계(320)에서 추출된 차선들의 기하학 정보에 기초하여 현재 주행 차로 내에서의 차량의 위치를 결정한다. 차량 위치 결정 장치는, 먼저 단계(320)에서 추출된 차선들 각각에 대응되는 선들(lines) 사이의 하단 중간 위치 값(이하 '제1 하단 중간 위치 값'이라 함)을 결정할 수 있다. 여기서, 하단 중간 위치 값은 역 투영 변환 영상의 하단 경계와 위 대응되는 선들이 만나는 위치들 간의 중간 값에 대응될 수 있다. 차량 위치 결정 장치는 해당 선들 사이의 하단 중간 위치 값과 역 투영 변환 영상의 하단 중간 위치 값(이하 '제2 하단 중간 위치 값'이라 함) 간의 차이를 계산하고, 계산된 차이에 기초하여 차량의 위치를 결정할 수 있다. 역 투영 변환 영상의 경우, 하나의 픽셀이 실제 거리상으로 몇 미터(meter)를 나타내는지를 알 수 있다. 위 계산된 차이는 역 투영 변환 영상의 픽셀 수로 나타낼 수 있으므로, 해당 차이에 대응하는 실제 거리 값이 도출될 수 있다. 차량 위치 결정 장치는 도출된 실제 거리 값에 기초하여 차량이 현재 주행 차로의 중간 위치에서 실제로 어느 정도 떨어져 있는지를 계산할 수 있다.

차량 위치 결정 장치는 제1 하단 중간 위치 값과 제2 하단 중간 위치 값 간의 위치 관계에 기초하여, 차량이 현재 주행 차로 내에서 중간에 위치하는지, 아니면 왼쪽 또는 오른쪽에 위치하고 있는지를 결정할 수 있다. 예를 들어, 제1 하단 중간 위치 값과 제2 하단 중간 위치 값이 동일하다면, 차량이 현재 주행 차로 내의 중간에 위치하고 있는 것으로 결정될 수 있다. 제1 하단 중간 위치 값이 제2 하단 중간 위치 값의 왼쪽에 위치한다면, 차량이 현재 주행 차로 내에서 오른쪽에 위치하고 있는 것으로 결정될 수 있다. 이와 반대로, 제1 하단 중간 위치 값이 제2 하단 중간 위치 값의 오른쪽에 위치한다면, 차량이 현재 주행 차로 내에서 왼쪽에 위치하고 있는 것으로 결정될 수 있다.

차량 위치 결정 장치는 제1 하단 중간 위치 값과 제2 하단 중간 위치 값 간의 위치 관계와 1 하단 중간 위치 값과 제2 하단 중간 위치 값 간의 차이에 대응되는 실제 거리 값에 기초하여 현재 주행 차로 내에서 차량이 어느 곳에 위치하고 있는지를 정확히 결정할 수 있다.

단계(340)에서, 차량 위치 결정 장치는 단계(320)에서 추출된 차선의 기하학 정보에 기초하여 현재 주행 차로 내에서 차량이 향하는 방향을 결정할 수도 있다. 일 실시예에서, 차량 위치 결정 장치는 단계(320)에서 추출된 차선에 대응되는 선(line)(또는, 차선들에 대응하는 선들 사이의 중간선)과 역 투영 변환 영상의 기준선(예를 들어, 중간선)이 형성하는 각도에 기초하여 차량이 향하는 방향을 결정할 수 있다. 전방 영상을 촬영하는 카메라의 각도를 미리 알 수 있으므로, 카메라 각도 정보 및 위 역 투영 변환 영상을 분석하여 계산된 각도 정보를 기초로 차량의 정확한 방향을 예측하는 것이 가능해 진다.

위와 같은 과정을 통해, 전방 영상의 FoV(field of view) 제한, 주변 차량 및/또는 장애물 등에 의한 가려짐이 있더라도, 차량 위치 결정 장치는 현재 주행 차로 내에서의 차량 위치와 해당 차량 위치에서 차량이 향하는 방향을 정확히 추정할 수 있다. 이에 따라, 현재 주행 차로 내에서의 고정밀 차량 위치 측정을 고속으로 수행하는 것이 가능해 진다.

도 2 및 도 3에 도시된 동작들은 도시된 바와 같이 순차적으로 수행되거나 또는 설명된 실시예들의 범위 및 기술적 사상으로부터 벗어나는 것 없이 일부의 동작이 수행되지 않거나 동작들의 순서가 변경될 수도 있다. 예를 들어, 도 2의 단계(210) 및 단계(220), 도 3의 단계(330) 및 단계(340)은 병렬적으로 또는 동시에 수행될 수 있다.

도 4 및 도 5는 일 실시예에 따른 차량 위치를 결정하는 과정을 설명하기 위한 도면들이다.

도 4를 참조하면, 차량 위치 결정 장치는 차량의 주행 차로를 이용한 제1 차량 위치 보정 단계(410)과 차선의 기하학 정보에 기초한 제2 차량 보정 단계(450)을 수행할 수 있다.

제1 차량 위치 보정 단계(410)에서, 차량 위치 결정 장치는 차량의 주행 차로 번호를 인식하고, 인식 결과에 기초하여 차로 수준으로 차량의 위치를 보정한다. 주행 차로 번호를 인식하는 것은 차량이 현재 몇 차선에 있는지를 결정하는 과정이다. 제1 차량 위치 보정 단계(410)를 좀더 세부적인 과정들로 살펴보면, 단계(420)에서 차량 위치 결정 장치는 GPS 센서 등의 센서로부터 획득된 센서 데이터를 이용하여 차량 위치를 추정한다. 차량 위치 결정 장치는 차량의 위치를 보다 정확히 추정하기 위해 관성 측정 장치, OBD 센서 및/또는 시각적 주행 거리 측정법을 이용할 수도 있다.

단계(420)에서, 차량 위치 결정 장치는 차량의 전방 영상에 기초하여 차량이 현재 주행 중인 주행 차로를 결정한다. 일 실시예에서, 차량 위치 결정 장치는 주행 차로 식별 모델을 이용하여 전방 영상으로부터 주행 차로의 차로 번호를 검출할 수 있다. 일 실시예에서, 차량이 도로에서 우측 통행한다고 가정하면, 주행 차로 식별 모델은 중앙선(또는 도로의 좌측)을 기준으로 할 때의 제1 차로 번호에 대한 확률 값과 도로의 우측을 기준으로 주행 차로의 제2 차로 번호에 대한 확률 값을 출력할 수 있다. 차량 위치 결정 장치는 제1 차로 번호의 확률 값과 제2 차로 번호의 확률 값 중 더 큰 것을 기준으로 주행 차로의 차로 번호를 결정할 수 있다. 이와 같은 과정을 통해, 전방 영상에 주변 차량 및/또는 장애물 등에 의한 가림에 강인하게 주행 차로를 인식할 수 있다.

단계(440)에서, 차량 위치 결정 장치는 단계(430)에서 결정된 주행 차로의 위치에 기초하여, 단계(420)에서 추정된 차량 위치를 보정한다. 차량 위치 결정 장치는 단계(430)에서 결정된 주행 차로의 차로 번호에 기초하여 지도 상에서 현재 차량 위치에서 가장 가까운 주행 차로를 검색하고, 검색된 주행 차로의 위치로 차량의 위치를 보정할 수 있다. 예를 들어, 검색된 주행 차로의 중간(또는 중앙) 위치로 차량의 위치가 보정될 수 있다. 이러한 과정들을 통해 차량 위치의 횡 방향 값이 수정된다.

제1 차량 위치 보정 단계(410)의 경우, 여전히 주행 차로 내에서의 위치 오차를 가질 수 있고, 차량의 방향 내지 포즈는 보정이 되지 않았다. 이러한 오차를 줄이기 위해 다음의 제2 차량 위치 보정 단계(450)가 수행될 수 있다. 제2 차량 위치 보정 단계(450)에서, 차량 위치 결정 장치는 주행 차로를 정의하는 차선의 형상(shape) 정보와 같은 기하학 정보를 이용하여 주행 차로 내에서의 위치와 차량 방향을 보정할 수 있다.

제2 차량 위치 보정 단계(450)를 좀더 세부적인 과정들로 살펴보면, 단계(460)에서 차량 위치 결정 장치는 전방 영상에 기초하여 역 투영 변환 영상을 획득하고, 역 투영 변환 영상에서 현재 주행 차로의 차선들을 검출한다. 차량 위치 결정 장치는 역 투영 변환 영상에서 일정 범위 내에 존재하는 차선들을 검출하고, 검출된 차선들을 현재 주행 차로의 차선들로 검출할 수 있다. 주행 차로가 아닌 다른 차로의 경우, 전방 영상에 차선이 나타나지 않은 경우가 자주 발생할 수 있지만, 현재 주행 중인 차로의 경우에는 앞 차량과의 이격 거리로 인하여 전방 영상에 주행 차로의 차선이 나타날 확률이 높다. 따라서, 역 투영 변환 영상의 특정 범위에서 현재 주행 차로의 차선이 용이하게 검출될 수 있다.

단계(470)에서, 차량 위치 결정 장치는 단계(460)에서 검출된 차선들의 형상을 분석한다. 차량 위치 결정 장치는 검출된 차선들의 중간 위치 값 및 방향(주행 차로의 방향에 대응함)을 검출하고, 검출된 정보에 기초하여 차량이 현재 주행 차로의 중간 위치(단계(440)에서 보정된 차량 위치에 대응함)로부터 얼마나 떨어져 있는 지와 차량의 방향을 결정할 수 있다.

단계(480)에서, 차량 위치 결정 장치는 단계(470)의 차선 분석 결과에 기초하여 주행 차로 내에서의 최종 차량 위치와 방향을 결정한다. 차량 위치 결정 장치는 단계(470)의 차선 분석에 기반하여 도출된 현재 주행 차로의 중간 위치로부터 차량이 떨어져 있는 거리와 차량의 방향을 적용함으로써 차량의 최종 위치와 방향을 결정한다.

도 5는 일 실시예에 따른 도 4의 제1 차량 위치 보정 단계(410)와 제2 차량 보정 단계(450)를 보다 구체적으로 도시한 도면이다.

도 5를 참조하면, 차량 위치 결정 장치는 GPS 센서, 관성 측정 장치, OBD 센서 및/또는 카메라 등을 포함하는 센서 모듈(505)로부터 센서 데이터를 수신한다. 예를 들어, 차량 위치 결정 장치는 센서 모듈(505)로부터 GPS 센서에 의해 측정된 위치 데이터, 관성 측정 센서나 OBD 센서에 의해 측정된 차량의 움직임 및 방향 데이터, 카메라에 의해 촬영된 다시점 영상 등을 수신할 수 있다.

단계(510)에서, 차량 위치 결정 장치는 센서 모듈(505)로부터 수신한 센서 데이터에 기초하여 차량의 위치를 추정한다. 예를 들어, 차량 위치 결정 장치는 관성 측정 센서 및/또는 OBD 센서에 의해 측정된 차량의 움직임 및 방향 데이터에 기초하여 GPS 센서에 의해 측정된 차량의 절대 위치를 수정하는 것에 의해 차량의 위치를 추정한다. 차량 위치 결정 장치는 카메라에 의해 촬영된 다시점 영상에 기초하여 시각적 주행 거리 측정법에 따라 차량과 차량 주변 객체 간의 거리를 계산하고, 계산된 거리에 기초하여 차량의 절대 위치를 수정하는 것에 의해 차량의 위치를 추정할 수도 있다. 관성 측정 센서, OBD 센서 및 카메라 센서는 GPS 센서에 의해 측정된 위치 데이터의 정확도를 좀더 개선시키는 역할을 한다.

단계(520)에서, 차량 위치 결정 장치는 차량의 전방 영상에 기초하여 주행 차로를 식별한다. 차량 위치 결정 장치는 주행 차로 식별 모델을 이용하여 전방 영상으로부터 주행 차로를 식별할 수 있다. 예를 들어, 주행 차로 식별 모델은 도로의 왼쪽 경계 기준(예를 들어, 중앙선)에 기초한 차로 번호와 도로의 오른쪽 경계 기준(예를 들어, 도로의 오른쪽 가장 자리 경계선)에 기초한 차로 번호를 출력할 수 있다. 차량 위치 결정 장치는 출력된 두 차로 번호 중 신뢰도가 더 높은 차로 번호에 기초하여 차량이 현재 주행 중인 차로의 차로 번호를 결정할 수 있다.

단계(530)에서, 차량 위치 결정 장치는 단계(520)의 주행 차로의 식별 결과가 적절한 것인지 여부를 검사할 수 있다. 예를 들어, 차량 위치 결정 장치는 이전 시간에서 결정된(또는, 전방 영상의 이전 프레임에서 결정된) 주행 차로의 차로 번호가 '3'번 차로 이었으나, 현재 결정된(또는, 전방 영상의 현재 프레임에서 결정된) 주행 차로의 차로 번호가 '2'번 차로로 변경된 경우, 차량의 주행 방향과 도로의 차로 수 등에 기초하여 현재 결정된 주행 차로의 차로 번호가 맞는지 여부를 결정할 수 있다. 도로의 차로 수가 변하지 않았고, 차량이 직진 주행 중이었으면 이전 시간에서 결정된 차로 번호와 현재 결정된 차로 번호가 서로 달라지지 않아야 한다. 차량 위치 결정 장치는 위와 같이 도로의 차로 수가 변하지 않았고 차량이 직진 주행 중이었으면, 현재 주행 차로의 차로 번호가 이전 시간에서의 차로 번호와 다르게 결정되었더라도, 이전 시간에서 결정된 차로 번호를 그대로 유지할 수 있다. 위 실시예에서는, 현재 시간에서 주행 차로의 차로 번호가 최종적으로 '2'번 차로가 아닌 '3'번 차로로 결정된다. 만약, 도로의 차로 수가 변했거나 및/또는 차량의 주행 방향이 직진이 아니었던 경우에는, 현재 시간에서 결정된 차로 번호로 주행 차로의 차로 번호가 결정될 수 있다.

단계(540)에서, 차량 위치 결정 장치는 지도 상에서 주행 차로의 차로 번호에 대응되는 주행 차로 위치를 탐색한다. 차량 위치 결정 장치는 단계(510)에서 추정된 차량 위치에 기반하여 지도 상에서의 차량 위치를 식별할 수 있고, 식별된 차량 위치를 기준으로 주행 차로의 차로 번호에 대응되는 위치를 탐색할 수 있다.

단계(550)에서, 차량 위치 결정 장치는 지도 상에서 탐색된 주행 차로의 위치로 차량의 위치를 보정한다. 차량 위치 결정 장치는 차량의 위치를 단계(510)에서 추정된 차량 위치에서 현재 주행 차로의 차로 번호에 대응하는 지도 상의 위치(해당 차로 번호에 대응하는 차로의 중간 또는 중앙 위치)로 보정할 수 있다.

단계(560)에서, 차량 위치 결정 장치는 역 투영 변환 기법을 이용하여 전방 영상으로부터 역 투영 변환 영상을 획득한다. 단계(570)에서, 차량 위치 결정 장치는 역 투영 변환 영상에서 현재 주행 차로의 차선을 추출한다. 차량 위치 결정 장치는, 예를 들어 픽셀 값 분석이나 뉴럴 네트워크 기반의 차선 검출 모델 등을 이용하여 역 투영 변환 영상에서 현재 주행 차로의 차선을 추출할 수 있다.

단계(580)에서, 차량 위치 결정 장치는 단계(570)에서 추출된 차선의 기하학 정보를 분석한다. 차량 위치 결정 장치는 추출된 차선들 각각에 대응되는 선들 사이의 하단 중간 위치 값과 해당 선들의 방향을 계산할 수 있다.

단계(590)에서, 차량 위치 결정 장치는 단계(580)에서의 분석 결과에 기초하여 현재 주행 차로 내에서의 차량의 최종 위치 및 차량이 향하는 방향(또는 차량의 포즈)을 결정한다. 차량 위치 결정 장치는 역 투영 변환 영상에서 주행 차로의 차선들 각각에 대응되는 선들 사이의 하단 중간 위치 값과 역 투영 변환 영상의 하단 중간 위치 값 간의 차이에 기초하여, 차량이 현재 주행 차로의 중간 위치로부터 어느 방향으로 얼마나 떨어져 있는지를 계산할 수 있다. 또한, 차량 위치 결정 장치는 역 투영 변환 영상에서 추출된 주행 차로의 차선에 대응하는 선과 역 투영 변환 영상의 중간선 간의 각도 차이에 기초하여 차량의 방향을 계산할 수 있다. 차량 위치 결정 장치는 위와 같이 계산된 결과를 단계(550)에서 보정된 차량의 위치에 적용함으로써, 현재 주행 차로 내에서의 차량의 최종 위치와 최종 위치에서의 차량의 방향을 결정할 수 있다.

도 6은 일 실시예에 따른 전방 영상에서 차량의 주행 차로를 식별하는 과정을 설명하기 위한 도면이다.

도 6을 참조하면, 차량에 탑재된 카메라에 의해 촬영된 차량의 전방 영상(610)의 일례가 도시되어 있다. 전방 영상(610)은 뉴럴 네트워크 기반의 주행 차로 식별 모델(620)에 입력된다. 실시예에 따라, 전방 영상(610)이 주행 차로 식별 모델(620)에 입력되기 전에 전방 영상(610)에 대한 영상 전처리 과정이 수행될 수도 있다. 해당 영상 전처리 과정은 전방 영상(610)에 포함된 노이즈를 제거하는 과정, 전방 영상(610)의 컨트라스트(contrast)를 증가시키는 과정, 전방 영상(610)에 포함된 블러(blur)를 제거하는 디블러링(deblurring) 과정, 전방 영상(610)에서 불필요한 영역을 제거하는 과정, 전방 영상(610)에 포함된 왜곡(distortion)을 보정하는 와핑(warping) 과정 및/또는 전방 영상(610)을 이진화(binarization)하는 과정 등을 포함할 수 있다.

주행 차로 식별 모델(620)은 전방 영상(610)에서 차량의 현재 주행 차로를 식별하기 위한 정보를 제공할 수 있다. 예를 들어, 주행 차로 식별 모델(620)은 현재 주행 차로의 차로 번호와 해당 차로 번호에 대응하는 신뢰도에 대한 정보를 제공할 수 있다. 일 실시예에서, 주행 차로 식별 모델(620)은 현재 주행 차로의 차로 번호로서, 도로의 왼쪽 방향으로부터의 제1 차로 번호에 대한 확률 값 및 해당 도로의 오른쪽 방향으로부터의 제2 차로 번호에 대한 확률 값을 제공할 수 있다. 차량 위치 결정 장치는 확률 값이 더 큰 차로 번호로 현재 주행 차로의 차로 번호를 결정할 수 있다.

도 7은 일 실시예에 따른 주행 차로의 식별 결과에 기초하여 차량의 위치를 보정하는 과정을 설명하기 위한 도면이다.

도 7을 참조하면, 위치(750)는 GPS 센서 등의 위치 센서로부터 출력된 위치 데이터에 기초하여 추정된 차량의 위치를 나타낸다. 전방 영상의 분석 결과, 차량이 현재 주행 중인 차로가 차로(730)로 식별되었다고 가정한다. 참조 번호(720)는 도로 상의 중앙선에 대응된다.

차량 위치 결정 장치는 지도 상에서 주행 차로(730)를 형성하는 양 차선들(710, 715)을 추출하고, 양 차선들(710, 715) 사이의 중간선(740)을 기준으로 센서 데이터에 기초하여 도출된 차량의 위치(750)를 위치(760)로 보정할 수 있다. 보정 결과, 차량의 위치(750)가 횡방향으로 수정되고, 주행 차로(730)를 형성하는 양 차선들(710, 715)의 중간 위치(760)가 차량의 위치로 결정된다. 이러한 보정 과정을 통해, 차량 위치의 오차 범위가 차로 폭의 절반 이하의 범위(예를 들어, 0~1.5m 수준)로 감소될 수 있다.

도 8은 일 실시예에 따른 전방 영상으로부터 역 투영 변환 영상을 획득하는 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 카메라에 의해 차량의 전방을 촬영한 전방 영상(810)이 획득된다. 전방 영상(810)에서 불필요한 영역을 제거하기 위해 도로 영역을 포함하는 관심 영역(820)이 추출될 수 있다. 차량 위치 결정 장치는 전방 영상(810)을 촬영한 카메라의 캘리브레이션 파라미터들(calibration parameters)에 기초하여, 관심 영역(810)에 역 투영 변환 기법을 적용하는 것에 의해 역 투영 변환 영상(830)을 획득할 수 있다. 역 투영 변환 기법은 카메라 각도에 따른 시각적 관점에서 발생하는 왜곡을 제거하여 탑-뷰 영상을 생성하는 기법이다. 역 투영 변환 영상(830)의 경우, 픽셀-미터 측정(pixel to meter metric)이 가능하다. 즉, 역 투영 변환 영상(830)에서 하나의 픽셀이 몇 m를 나타내는지에 대해 계산이 가능하다.

도 9 및 도 10은 일 실시예에 따른 차선의 기하학 정보에 기초하여 차량의 위치를 보정하는 과정을 설명하기 위한 도면들이다.

도 9를 참조하면, 차량 위치 결정 장치는 역 투영 변환 영상(910)에서 현재 주행 차로를 형성하는 양 차선들을 검출한다. 차량 위치 결정 장치는 검출된 차선들의 형상 정보와 같은 기하학 정보에 기초하여 주행 차로 내에서의 차량 위치를 보다 정확히 결정할 수 있다.

차량 위치 결정 장치는 역 투영 변환 영상(910)에서 현재 주행 차로의 차선들에 대응하는 선들(920, 930)을 설정할 수 있다. 차량 위치 결정 장치는 선들(920, 930) 간의 중간선(940)이 역 투영 변환 영상(910)의 하단 경계와 만나는 하단 중간 위치 값(945)을 계산할 수 있다. 또한, 차량 위치 결정 장치는 역 투영 변환 영상(910)의 중간선(950)이 역 투영 변환 영상(910)의 하단 경계와 만나는 하단 중간 위치 값(955)을 계산할 수 있다. 하단 중간 위치 값(945)과 하단 중간 위치 값(955) 간의 차이(960)는 차량의 위치 오차에 대응되고, 차량 위치 결정 장치는 해당 차이(960)에 기초하여 차량의 위치를 보정할 수 있다. 역 투영 변환 영상(910)에서는 하나의 픽셀이 실제로 몇 m에 대응하는지를 알 수 있고, 차량 위치 결정 장치는 해당 차이(960)에 대응하는 픽셀 수만큼의 거리를 기존 차량의 위치에 적용하여 차량의 최종 위치를 결정할 수 있다.

도 10을 참조하면, 차량 위치 결정 장치는 역 투영 변환 영상(1010)에서 현재 주행 차로를 형성하는 양 차선들을 검출하고, 검출된 차선들의 기하학 정보에 기초하여 주행 차로 내에서의 차량 위치와 방향을 결정할 수 있다.

차량 위치 결정 장치는 역 투영 변환 영상(1010)에서 현재 주행 차로의 차선들에 대응하는 선들(1020, 1030)을 설정할 수 있다. 차량 위치 결정 장치는 선들(1020, 1030) 간의 중간선(1040)이 역 투영 변환 영상(1010)의 하단 경계와 만나는 하단 중간 위치 값(1045)을 계산할 수 있다. 또한, 차량 위치 결정 장치는 역 투영 변환 영상(1010)의 중간선(1050)이 역 투영 변환 영상(1010)의 하단 경계와 만나는 하단 중간 위치 값(1055)을 계산할 수 있다. 하단 중간 위치 값(1045)과 하단 중간 위치 값(1055) 간의 차이(1060)는 차량의 위치 오차에 대응되고, 차량 위치 결정 장치는 해당 차이(1060)에 대응하는 거리에 기초하여 차량의 위치를 최종 보정할 수 있다. 또한, 차량 위치 결정 장치는 선들(1020, 1030) 간의 중간선(1040)과 역 투영 변환 영상(1010)의 중간선(1050)이 형성하는 각도(또는, 방향 차이)(1070)에 기초하여 차량의 방향을 추정할 수 있다. 예를 들어, 차량 위치 결정 장치는 차량이 현재 주행 차로 내에서 향하는 방향이 중간선(1040)의 방향에서 각도(1070) 만큼 틀어진 방향을 향하고 있다는 것으로 추정할 수 있다. 이와 같은 과정을 통해, 차량 위치 결정 장치는 현재 주행 차로 내에서 차량 위치와 해당 차량 위치에서의 차량 방향을 정밀하게 예측할 수 있다.

도 11 및 도 12는 일 실시예에 따른 주행 차로 내에서의 차량 위치 및 방향을 결정하는 과정을 설명하기 위한 도면들이다.

도 11을 참조하면, 차량 위치에 대한 일차적인 보정 결과로서, 센서 데이터에 기초하여 추정된 차량의 위치가 현재 주행 차로(1110)의 중간 위치(1120)로 보정되었다고 가정한다. 도 9 내지 도 10의 일 실시예에서 설명한 바와 같이, 차선의 기하학 정보에 기초하여 현재 주행 차로 내에서 차량의 위치가 가지는 오차가 계산될 수 있다. 차량 위치 결정 장치는 이러한 오차를 보상함으로써 현재 주행 차로 내에서의 차량 위치를 보다 정확히 보정할 수 있다. 예를 들어, 차량 위치 결정 장치는 도 9의 하단 중간 위치 값(945)과 하단 중간 위치 값(955) 간의 차이(960)에 대응하는 거리를 중간 위치(1120)에 적용함으로써 이차적인 차량 위치 보정을 수행한다. 이러한 이차적인 차량 위치 보정을 통해 현재 주행 차로 내에서의 차량의 위치 오차가 제거될 수 있다. 차량 위치 보정 결과, 중간 위치(1120)가 위치(1130)로 변경되었다면, 위치(1130)가 차량의 최종 위치로 결정된다.

도 12는 도 11의 영역(1140)을 확대하여 도시한 도면이다. 도 12를 참조하면, 차량 위치 결정 장치는 현재 주행 차로(1110) 내에서 최종적인 차량의 위치(1130)와 함께 위치(1130)에서 차량이 향하는 방향(1210)을 결정할 수 있다. 예를 들어, 차량 위치 결정 장치는 도 10의 중간선(1040)과 중간선(1050)이 형성하는 각도(1070)를 중간선(1040)의 방향에 적용함으로써 차량이 향하는 방향을 결정할 수 있다.

도 13은 일 실시예에 따른 차량 위치 결정 장치의 구성을 도시하는 도면이다.

도 13을 참조하면, 차량 위치 결정 장치(1300)는 프로세서(1330), 메모리(1340) 및 통신 버스(1370)를 포함한다. 실시예에 따라, 차량 위치 결정 장치(1300)는 센서 모듈(1310), 카메라(1320), 디스플레이 장치(1350) 및/또는 통신 인터페이스(1360)를 더 포함할 수도 있다. 센서 모듈(1310), 카메라(1320), 프로세서(1330), 메모리(1340), 디스플레이 장치(1350) 및 통신 인터페이스(1360)는 통신 버스(1370)를 통해 서로 통신할 수 있다.

센서 모듈(1310)은 하나 이상의 센서를 포함한다 예를 들어, 센서 모듈(1310)은 차량의 위치 데이터를 센싱하는 GPS 센서와 같은 위치 센서, 관성 측정 장치 및/또는 OBD 센서를 포함할 수 있다. 센서 모듈(1310)은 차량의 위치, 차량의 자세 및 차량의 주행 환경 등을 센싱하고, 센싱 결과로서 센싱 데이터를 제공한다. 또한, 센서 모듈(1310)은 레이더(Radar), 라이다(Lidar), 초음파 센서, 적외선 카메라(1320) 등을 더 포함할 수도 있다.

카메라(1320)는 차량의 주변을 촬영하여 차량의 주변 영상을 제공한다. 예를 들어, 카메라(1320)는 차량의 전방을 촬영하여 전방 영상을 제공할 수 있다. 또한, 카메라(1320)는 차량과 차량의 주변 객체 간의 거리를 측정하기 위해 이용되는 다시점 영상을 제공할 수도 있다.

메모리(1340)는 프로세서(1330)에 연결되고, 프로세서(1330)에 의해 실행가능한 인스트럭션들, 프로세서(1330)가 연산할 데이터 또는 프로세서(1330)에 의해 처리된 데이터를 저장할 수 있다. 메모리(1340)는, 예를 들어 센서 모듈(1310)로부터 수신한 센서 데이터, 계산된 차량의 위치 데이터, 지도 데이터 등을 저장할 수 있다. 메모리(1340)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.

프로세서(1330)는 차량 위치 결정 장치(1300)의 전체적인 동작을 제어하고, 차량 위치 결정 장치(1300) 내에서 실행하기 위한 기능 및 인스트럭션들을 실행한다. 프로세서(1330)는 도 1 내지 도 12를 통해 전술한 하나 이상의 동작을 수행할 수 있다.

예를 들어, 프로세서(1330)는 센서 모듈(1310)로부터 수신한 차량의 위치 데이터에 기초하여 차량의 위치를 추정할 수 있다. 일 실시예에서, 프로세서(1330)는 GPS 센서를 통해 측정한 차량의 위치 데이터와, 관성 측정기, 온보드 진단기 센서 및 시각적 주행 거리 측정 방법 중 하나 이상을 이용하여 추정한 차량의 움직임 정보에 기초하여 차량의 위치를 추정할 수 있다. 프로세서(1330)는 차량의 전방 영상을 입력으로 하는 주행 차로 식별 모델을 이용하여 차량의 현재 주행 차로와 주행 차로의 차로 번호를 결정할 수 있다. 프로세서(1330)는 결정된 현재 주행 차로의 차로 번호와 지도 정보에 기초하여 센서의 위치 데이터에 기초하여 추정된 차량의 위치 데이터를 보정할 수 있다. 예를 들어, 프로세서(1330)는 결정된 차로 번호에 대응하는 차로를 지도 상에서 식별하고, 식별된 차로의 중간 위치에 대응되는 지도 상의 위치를 차량의 위치로 결정하는 것에 의해 차량의 위치 데이터를 보정할 수 있다.

또한, 프로세서(1330)는 전방 영상에 나타난 차선의 기하학 정보에 기초하여 차량의 위치를 재보정할 수 있다. 프로세서(1330)는 현재 주행 차로를 형성하는 차선의 기하학 정보에 기초하여 현재 주행 차로 내에서의 차량의 위치 및/또는 방향을 결정할 수 있다. 일 실시예에서, 프로세서(1330)는 전방 영상을 역 투영 변환 영상으로 변환하고, 역 투영 변환 영상에서 현재 주행 차로를 형성하는 차선들을 추출할 수 있다. 프로세서(1330)는 추출된 차선들의 기하학 정보에 기초하여 현재 주행 차로 내에서의 차량의 위치를 결정하는 것에 의해 차량의 위치를 재보정할 수 있다. 프로세서(1330)는 추출된 차선들 각각에 대응되는 선들 사이의 하단 중간 위치 값과 역 투영 변환 영상의 하단 중간 위치 값 간의 차이에 기초하여 차량의 위치를 결정할 수 있다. 프로세서(1330)는 해당 차이에 기초하여 차량이 현재 주행 차로의 중간 위치로부터 어느 방향으로 얼마나 떨어져 있는지를 계산할 수 있다. 또한, 프로세서(1330)서는 역 투영 변환 영상에서 추출된 주행 차로의 차선에 대응하는 선의 방향에 기초하여 차량의 방향 내지 포즈를 추정할 수 있다. 이와 같은 과정에 따라, 프로세서(1330)는 차량의 현재 위치를 보다 정확하게 결정할 수 있다.

디스플레이 장치(1350)는 프로세서(1330)에 의해 결정된 차량의 위치 또는 차량의 위치에 기초하여 생성된 경로 가이드를 디스플레이할 수 있다. 디스플레이 장치(1350)는 예를 들어, 헤드-업 디스플레이(Head-Up Display; HUD) 장치일 수 있다. 통신 인터페이스(1360)는 차량 위치 결정 장치(1300)의 외부 장치와 통신하기 위한 기능을 제공한다. 예를 들어, 통신 인터페이스(1360)는 차량이 주행하고 있는 도로에 대응하는 지도 정보 및/또는 내비게이션 정보를 외부 장치로부터 수신할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

위치 센서에 의해 센싱된 위치 데이터에 기초하여 차량의 위치를 추정하는 단계;
상기 차량의 전방을 촬영한 전방 영상에 기초하여 상기 차량의 현재 주행 차로를 결정하는 단계;
상기 결정된 현재 주행 차로의 위치에 기초하여 상기 추정된 차량의 위치를 보정하는 단계; 및
상기 전방 영상에 나타난 차선의 기하학(geometry) 정보에 기초하여 상기 현재 주행 차로 내에서의 상기 차량의 위치를 결정하는 단계
를 포함하는 차량 위치 결정 방법.
제1항에 있어서,
상기 차량의 위치를 결정하는 단계는,
상기 전방 영상의 역 투영 변환(inverse perspective mapping) 영상을 획득하는 단계;
상기 역 투영 변환 영상에서 상기 현재 주행 차로를 형성하는 차선들을 추출하는 단계; 및
상기 추출된 차선들의 기하학 정보에 기초하여 상기 식별된 현재 주행 차로 내에서의 상기 차량의 위치를 결정하는 단계
를 포함하는 차량 위치 결정 방법.
제2항에 있어서,
상기 차량의 위치를 결정하는 단계는,
상기 추출된 차선들 각각에 대응되는 선들(lines) 사이의 하단 중간 위치 값과 상기 역 투영 변환 영상의 하단 중간 위치 값 간의 차이에 기초하여 상기 차량의 위치를 결정하는 단계
를 포함하는 차량 위치 결정 방법.
제1항에 있어서,
상기 전방 영상에 나타난 차선의 기하학 정보에 기초하여 상기 결정된 위치에서 상기 차량이 향하는 방향을 결정하는 단계
를 더 포함하는 차량 위치 결정 방법.
제4항에 있어서,
상기 차량이 향하는 방향을 결정하는 단계는,
상기 전방 영상의 역 투영 변환 영상을 획득하는 단계;
상기 역 투영 변환 영상에서 상기 현재 주행 차로를 형성하는 차선을 추출하는 단계; 및
상기 추출된 차선의 기하학 정보에 기초하여 상기 현재 주행 차로 내에서 상기 차량이 향하는 방향을 결정하는 단계
를 포함하는 차량 위치 결정 방법.
제5항에 있어서,
상기 차량이 향하는 방향을 결정하는 단계는,
상기 추출된 차선에 대응하는 선(line)의 방향에 기초하여 상기 차량이 향하는 방향을 결정하는 단계
를 포함하는 차량 위치 결정 방법.
제1항에 있어서,
상기 추정된 차량의 위치를 보정하는 단계는,
상기 현재 주행 차로의 중간 위치에 대응하는 지도 상의 위치를 상기 차량의 위치로 결정하는 단계
를 포함하는 차량 위치 결정 방법.
제1항에 있어서,
상기 차량의 현재 주행 차로를 결정하는 단계는,
뉴럴 네트워크 기반의 주행 차로 식별 모델을 이용하여 상기 전방 영상으로부터 상기 차량이 현재 주행 중인 차로 번호를 결정하는 단계
를 포함하는 차량 위치 결정 방법.
제8항에 있어서,
상기 차량의 현재 주행 차로를 결정하는 단계는,
상기 주행 차로 식별 모델을 이용하여 왼쪽 방향으로부터의 제1 차로 번호 및 오른쪽 방향으로부터의 제2 차로 번호를 결정하는 단계; 및
상기 제1 차로 번호의 신뢰도와 상기 제2 차로 번호의 신뢰도 중 더 높은 신뢰도를 나타내는 차로 번호에 기초하여 상기 차량의 현재 주행 차로를 결정하는 단계
를 포함하는 차량 위치 결정 방법.
제8항에 있어서,
상기 추정된 차량의 위치를 보정하는 단계는,
상기 추정된 차량의 위치를 상기 결정된 차로 번호에 대응하는 지도 상의 위치로 보정하는 단계
를 포함하는 차량 위치 결정 방법.
제1항에 있어서,
상기 추정된 차량의 위치를 보정하는 단계는,
이전 시간에 결정된 상기 차량의 주행 차로와 상기 차량의 주행 방향에 기초하여, 상기 추정된 차량의 위치를 상기 결정된 현재 주행 차로의 위치로 보정할지 여부를 결정하는 단계
를 포함하는 차량 위치 결정 방법.
하드웨어와 결합되어 제1항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
차량의 위치 데이터를 센싱하는 위치 센서; 및
상기 위치 데이터 및 상기 차량의 전방을 촬영한 전방 영상에 기초하여 상기 차량의 위치를 결정하는 프로세서를 포함하고,
상기 프로세서는,
상기 위치 데이터에 기초하여 차량의 위치를 추정하고,
상기 전방 영상에 기초하여 상기 차량의 현재 주행 차로를 결정하고,
상기 결정된 현재 주행 차로의 위치에 기초하여 상기 추정된 차량의 위치를 보정하고,
상기 전방 영상에 나타난 차선의 기하학 정보에 기초하여 상기 현재 주행 차로 내에서의 상기 차량의 위치를 결정하는, 차량 위치 결정 장치.
제13항에 있어서,
상기 프로세서는,
상기 현재 주행 차로의 중간 위치에 대응되는 지도 상의 위치를 상기 차량의 위치로 결정하는 것에 의해 상기 추정된 차량의 위치를 보정하는, 차량 위치 결정 장치.
제13항에 있어서,
상기 프로세서는,
상기 전방 영상을 역 투영 변환 영상으로 변환하고,
상기 역 투영 변환 영상에서 상기 현재 주행 차로를 형성하는 차선들을 추출하고,
상기 추출된 차선들의 기하학 정보에 기초하여 상기 식별된 현재 주행 차로 내에서의 상기 차량의 위치를 결정하는,
차량 위치 결정 장치.
제15항에 있어서,
상기 프로세서는,
상기 추출된 차선들 각각에 대응되는 선들 사이의 하단 중간 위치 값과 상기 역 투영 변환 영상의 하단 중간 위치 값 간의 차이에 기초하여 상기 차량의 위치를 결정하는,
차량 위치 결정 장치.
제14항에 있어서,
상기 프로세서는,
상기 추출된 차선들 중 하나 이상의 기하학 정보에 기초하여 상기 현재 주행 차로 내에서 상기 차량이 향하는 방향을 결정하는,
차량 위치 결정 장치.
제13항에 있어서,
상기 프로세서는,
관성 측정기(Inertial Measurement Unit; IMU), 온보드 진단기(On-board diagnostics; OBD) 센서 및 시각적 주행 거리 측정 방법(Visual Odometry) 중 적어도 하나를 이용하여 추정한 상기 차량의 움직임 정보와 상기 위치 데이터에 기초하여 상기 차량의 위치를 추정하는, 차량 위치 결정 장치.
차량의 위치 데이터를 센싱하는 위치 센서; 및
상기 차량의 위치를 결정하는 프로세서를 포함하고,
상기 프로세서는,
상기 차량의 전방을 촬영한 전방 영상에 기초하여 상기 차량이 주행 중인 현재 주행 차로의 차로 번호를 결정하고,
상기 결정된 차로 번호와 지도 정보에 기초하여 상기 센싱된 차량의 위치 데이터를 보정하는, 차량 위치 결정 장치.
제19항에 있어서,
상기 프로세서는,
지도에서 상기 결정된 차로 번호에 대응하는 차로를 식별하고, 상기 식별된 차로의 중간 위치에 대응되는 지도 상의 위치를 상기 차량의 위치로 결정하는 것에 의해 상기 차량의 위치 데이터를 보정하는, 차량 위치 결정 장치.
제19항에 있어서,
상기 프로세서는,
상기 전방 영상에 나타난 차선의 기하학 정보에 기초하여 상기 차량의 위치를 재보정하는, 차량 위치 결정 장치.
제21항에 있어서,
상기 프로세서는,
상기 전방 영상을 역 투영 변환 영상으로 변환하고,
상기 역 투영 변환 영상에서 상기 현재 주행 차로를 형성하는 차선들을 추출하고,
상기 추출된 차선들의 기하학 정보에 기초하여 상기 식별된 현재 주행 차로 내에서의 상기 차량의 위치를 결정하는 것에 의해 상기 차량의 위치를 재보정하는, 차량 위치 결정 장치.