KR102463702B1

KR102463702B1 - 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법

Info

Publication number: KR102463702B1
Application number: KR1020160171742A
Authority: KR
Inventors: 이강훈; 이재홍; 이동하
Original assignee: 현대자동차주식회사
Priority date: 2016-12-15
Filing date: 2016-12-15
Publication date: 2022-11-07
Also published as: US20180174321A1; CN108225346B; US20190206081A1; CN108225346A; US10262434B2; US10937190B2; KR20180069501A

Abstract

차량 정밀 위치 추정 장치, 그 방법 및 차량 정밀 위치 추정을 위한 맵 구축 방법에 관한 것으로서, 본 발명의 실시예에 따른 차량 정밀 위치 추정장치는 주행 중 스테레오 영상을 획득하는 영상 입력부; 상기 주행 중 스테레오 영상으로부터 매칭 벡터를 추출하는 매칭 벡터 추출부; 및 미리 구축한 맵 데이터 중 GPS(Global Positioning System) 정보를 기반의 현재 위치의 맵 벡터를 로딩하고, 상기 추출된 매칭 벡터와 상기 로딩된 맵 벡터를 이용하여 자차의 현재 위치를 추정하는 실시간 위치 추정부를 포함할 수 있다.

Description

차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법 {Apparatus for estimating location of vehicle, method for thereof, apparatus for constructing map thereof, and method for constructing map}

본 발명은 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법에 관한 것으로, 보다 상세하게는 스테레오 카메라 기반 도심지역에서 자차의 위치를 보정하여 정밀 위치를 추정할 수 있는 기술에 관한 것이다.

통상적으로 위치인식에 쓰이는 위성항법장치는 도심 지역에서는 건물과 같은 장애물에 의해 위성과의 간섭이 발생해 수십 미터 이상의 오차가 발생하거나 아예 수신이 불가능 한 음영지역이 존재 한다.

이에 종래에는 지상에 위치한 기지국의 보정 데이터를 수신하여 위치 정보를 보정하는 기술(DGPS, RTK)을 개발하였다. 그러나 이러한 위치 정보 보정 기술의 경우에도 장애물에 의한 음영지역이 여전히 존재하는 문제점이 있다.

이에 정밀한 추측항법(Dead Reckoning)을 센서를 차량마다 탑재하는 방법이 있으나 이러한 센서들은 고가의 장비로 차량에 모두 탑재하기 어려운 문제점이 있다.

본 발명의 실시예는 매칭 벡터 및 위치센서에 의한 맵 데이터를 미리 구축하고, 실제 주행 시 스테레오 카메라 영상으로부터 추출된 매칭 벡터와 구축된 맵 데이터를 이용하여 자차의 위치를 정확히 추정할 수 있는 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축방법 제공하고자 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 차량 정밀 위치 추정장치는 주행 중 스테레오 영상을 획득하는 영상 입력부; 상기 주행 중 스테레오 영상으로부터 매칭 벡터를 추출하는 매칭 벡터 추출부; 및 미리 구축한 맵 데이터 중 GPS(Global Positioning System) 정보를 기반의 현재 위치의 맵 벡터를 로딩하고, 상기 추출된 매칭 벡터와 상기 로딩된 맵 벡터를 이용하여 자차의 현재 위치를 추정하는 실시간 위치 추정부를 포함할 수 있다.

일실시예에서, 상기 매칭 벡터 추출부는, 상기 스테레오 영상을 그레이(gray) 영상과 뎁스(depth) 영상으로 분리하고 관심영역을 설정하는 관심영역 설정부; 상기 그레이 영상을 에지 영상으로 변환하는 에지 영상 변환부; 상기 에지(edge) 영상으로부터 라인 성분을 추출하는 라인 성분 검출부; 상기 라인(line) 성분이 추출된 그레이 영상과 상기 뎁스 영상을 융합하는 영상 융합부; 상기 융합된 영상에서 적어도 하나 이상의 우성 뎁스값(dominant depth)을 추출하는 우성 뎁스 추출부; 및 상기 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출하는 매칭 벡터 추출부를 포함할 수 있다.

일실시예에서, 상기 매칭 벡터 추출부는, 상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수평 누적 벡터를 각각 추출하는 단계; 및 상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수직 누적 벡터를 각각 추출하는 단계를 포함할 수 있다.

일실시예에서, 상기 실시간 위치 추정부는, 상기 맵 데이터 중 GPS 정보를 기반으로 현재 위치의 맵 벡터를 로딩하는 맵 벡터 로딩부; 상기 추출된 매칭 벡터와 상기 맵 벡터를 매칭하는 벡터 매칭부; 및 상기 추출된 매칭 벡터와 상기 맵 벡터가 미리 정한 조건을 만족하면, 상기 추출된 매칭 벡터에 해당하는 측위좌표를 자차의 현재 위치로 추정하는 자차 위치 추정부;를 포함할 수 있다.

일실시예에서, 상기 벡터 매칭부는, 상기 주행 중 스테레오 영상으로부터 추출된 우성 뎁스값에 대응하는 뎁스값을 상기 맵 데이터에서 추출하고, 상기 주행 중 스테레오 영상으로부터 획득된 상기 수평 누적 벡터와 대응되는 맵 벡터를 상기 맵 데이터에서 추출하며, 상기 수평 누적 벡터와 대응되는 맵 벡터가 미리 정한 기준치를 만족하면, 상기 주행 중 스테레오 영상으로부터 획득된 상기 수직 누적 벡터에 대응되는 맵 벡터를 상기 맵 데이터에서 추출할 수 있다.

본 발명의 실시예에 따른 차량 정밀 위치 추정을 위한 맵 구축 장치는 주행 중 스테레오 영상을 획득하는 영상 입력부; 상기 주행 중 스테레오 영상으로부터 매칭 벡터를 추출하는 매칭 벡터 추출부; 및 상기 매칭 벡터 추출부에 의해 추출된 매칭 벡터 및 위치 센서에 의한 위치정보를 기반으로 맵 데이터를 구축하는 맵 구축부;를 포함할 수 있다.

일실시예에서, 상기 위치 센서는, 고정밀 관성센서(IMU) 또는 RTK(Real-Time Kinematic)를 포함할 수 있다.

일실시예에서, 상기 맵 구축부는, 상기 매칭 벡터 추출부에 의해 추출된 상기 매칭 벡터와 상기 위치센서에 의한 위치정보를 저장 및 누적하여 맵 데이터를 구축하는 벡터와 측위좌표 누적부; 및 상기 맵 데이터에 대해 자기상관계수를 이용하여 유사 벡터 필터링을 수행하여 최종 맵 데이터를 구축하는 맵 벡터 필터링부를 포함할 수 있다.

본 발명의 실시예에 따른 차량 정밀 위치 추정을 위한 맵 구축방법은 주행 중 스테레오 영상을 획득하는 단계; 상기 주행 중 스테레오 영상의 프레임마다 위치센서를 이용한 위치정보를 추가하는 단계; 상기 주행 중 스테레오 영상에서 일정거리마다 매칭 벡터를 추출하는 단계; 및 상기 추출된 매칭 벡터와 상기 위치정보를 누적하여 저장하여 맵 데이터를 구축하는 단계;를 포함할 수 있다.

일실시예에서, 상기 맵 데이터에 대해 자기상관계수를 이용하여 유사 벡터 필터링을 수행하여 최종 맵 데이터를 구축하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 매칭 벡터를 추출하는 단계는, 상기 스테레오 영상을 입력받는 단계; 상기 스테레오 영상을 그레이(gray) 영상과 뎁스(depth) 영상으로 분리하는 단계; 상기 그레이 영상과 상기 뎁스 영상을 융합하는 단계; 상기 융합된 영상에서 적어도 하나 이상의 우성 뎁스값(dominant depth)을 추출하는 단계; 상기 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출하는 단계를 포함할 수 있다.

일실시예에서, 상기 그레이 영상과 상기 뎁스 영상을 융합하는 단계는, 상기 그레이 영상을 에지 영상으로 변환하는 단계; 상기 에지(edge) 영상으로부터 라인 성분을 추출하는 단계; 상기 라인(line) 성분이 추출된 그레이 영상과 상기 뎁스 영상을 융합하는 단계를 포함할 수 있다.

일실시예에서, 상기 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출하는 단계는, 상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수평 누적 벡터를 각각 추출하는 단계; 및 상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수직 누적 벡터를 각각 추출하는 단계를 포함할 수 있다.

일실시예에서, 상기 위치 정보는 고정밀 관성센서(IMU) 또는 RTK(Real-Time Kinematic)에 의해 센싱된 위치 정보를 포함할 수 있다.

본 발명의 실시예에 따른 차량 정밀 위치 추정 방법은 주행 중 스테레오 영상을 획득하는 단계; 상기 주행 중 스테레오 영상으로부터 매칭 벡터를 추출하는 단계; 미리 구축된 맵 데이터 중 GPS 정보를 기반으로 현재 위치의 맵 벡터를 로딩하는 단계; 상기 추출된 매칭 벡터와 상기 맵 벡터를 매칭하는 단계; 상기 추출된 매칭 벡터와 상기 맵 벡터가 미리 정한 조건을 만족하면 상기 추출된 매칭 벡터에 해당하는 측위좌표를 자차의 현재 위치로 추정하는 단계;를 포함할 수 있다.

일실시예에서, 상기 추출된 매칭 벡터와 상기 맵 데이터를 매칭하는 단계는, 상기 주행 중 스테레오 영상으로부터 추출된 우성 뎁스값에 대응하는 뎁스값을 상기 맵 데이터에서 추출하는 단계; 상기 주행 중 스테레오 영상으로부터 획득된 상기 수평 누적 벡터와 대응되는 맵 벡터를 상기 맵 데이터에서 추출하는 단계; 및 상기 수평 누적 벡터와 대응되는 맵 벡터가 미리 정한 기준치를 만족하면, 상기 주행 중 스테레오 영상으로부터 획득된 상기 수직 누적 벡터에 대응되는 맵 벡터를 상기 맵 데이터에서 추출하는 단계;를 포함할 수 있다.

일실시예에서, 상기 자차의 현재 위치로 추정하는 단계는, 상기 수직 누적 벡터와 대응되는 맵 벡터가 미리 정한 기준치를 만족하면, 상기 우성 뎁스값에 해당하는 측위 좌표를 현재의 자차 위치로 추정하는 단계;를 포함할 수 있다.

본 기술은 차선정보 없이 다차선에서나, 장애물 존재 여부와 상관없이 음영 지역에서도 자차의 위치를 정확히 추정할 수 있어, 자차 위치 정보를 이용한 차량 시스템의 신뢰도를 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 차량 정밀 위치 추정 장치의 구성도이다.
도 2a는 본 발명의 실시예에 따른 스테레오 영상 중 그레이 영상의 예시도이다.
도 2b는 본 발명의 실시예에 따른 스테레오 영상 중 뎁쓰 영상의 예시도이다.
도 3은 본 발명의 실시예에 따른 그레이 영상을 에지 영상으로 변환한 예시도이다.
도 4는 도 3의 에지 영상에서 라인 성분을 검출한 예시도이다.
도 5는 도 4의 라인성분이 검출된 그레이 영상과 도 2b의 뎁쓰 영상을 융합한 예시도이다.
도 6a는 도 5의 융합 영상 중 두 개의 우성 뎁쓰값 d1에 대해 수평 누적한 매칭 벡터 h1의 예시도이다.
도 6b는 도 5의 융합 영상 중 두 개의 우성 뎁쓰값 d2에 대해 수평 누적한 매칭 벡터 h2의 예시도이다.
도 6c는 도 5의 융합 영상 중 두 개의 우성 뎁쓰값 d1에 대해 수직 누적한 매칭 벡터 v1의 예시도이다.
도 6d는 도 5의 융합 영상 중 두 개의 우성 뎁쓰값 d2에 대해 수직 누적한 매칭 벡터 v1의 예시도이다.
도 7은 본 발명의 실시예에 따른 4차로 영상 중 매칭 벡터 h1의 예시도이다.
도 8은 도 7의 차로별 누적 벡터의 영상 예시도이다.
도 9는 도 8의 차로별 누적 벡터에 대한 필터링 후 맵의 예시도이다.
도 10은 본 발명의 실시예에 따른 맵 구축을 위한 차량에 위치센서(RTK, IMU), 스테레오 카메라를 설치한 예시도이다.
도 11은 본 발명의 실시예에 따른 실시간 위치 추정을 위해 실제 스테레오 영상에서 추출된 매칭 벡터의 예시도이다.
도 12는 본 발명의 실시예에 따른 맵 데이터로부터 추출된 맵 벡터의 예시도이다.
도 13은 본 발명의 실시예에 따른 실시간 위치 추정을 위한 차량에 GPS 수신부 및 스테레오 카메라를 설치한 예시도이다.
도 14는 본 발명의 실시예에 따른 매칭 벡터 추출 방법을 나타내는 흐름도이다.
도 15는 본 발명의 실시예에 따른 맵 구축 방법을 나타내는 흐름도이다.
도 16은 본 발명의 실시예에 따른 실시간 위치 추정 방법을 나타내는 흐름도이다.
도 17은 도 16의 실시간 위치 추정 방법을 구체화한 순서도이다.
도 18a는 실제 주행상태에서의 자차의 위치를 나타내는 스테레오 영상의 예시도이다.
도 18b는 맵 데이터에서 현재 위치의 벡터와 매칭된 영상의 예시도이다.
도 19는 GPS 기반 현재 위치와 본 발명의 매칭 벡터에 의한 자차 위치를 나타내는 도면이다.
도 20은 본 발명의 실시예에 따른 자차 정밀 위치 추정 방법을 적용한 컴퓨터 시스템의 구성도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 도 1 내지 도 20을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 차량 정밀 위치 추정 장치의 구성도이다.

차량 정밀 위치 추정 장치는, 영상 입력부(100), 위치정보 획득부(200), GPS 정보 수신부(300), 매칭 벡터 추출부(400), 맵 구축부(500), 실시간 위치 추정부(600)를 포함한다.

영상 입력부(100)는 차량 주행 중 스테레오 영상을 입력받는다. 이때, 영상 입력부(100)는 스테레오 카메라를 포함할 수 있다.

위치정보 획득부(200)는 차량의 위치를 센싱하여 위치정보를 획득한다. 이를 위해, 위치정보 획득부(200)는 RTK(Real-Time Kinematic), 고정밀 관성센서(Inertial Measurement Unit;IMU)를 포함할 수 있다. 이때, RTK 및 고정밀 관성센서(IMU)는 도 10과 같이 맵 구축을 위한 차량에 탑재될 수 있다.

GPS 정보 수신부(300)는 위성으로부터 GPS(Global Positioning System) 정보를 수신한다. 이때 GPS 정보 수신부(300)는 도 13과 같이 실시간 자차 위치 추정을 위한 차량에 탑재될 수 있다. 즉, 본 발명에서 자차 위치를 추정하기 위한 일반 차량에는 고가의 RTK 및 고정밀 관성센서(IMU)가 탑재되지 않고 GPS 수신장치만 탑재되어 비용을 최소화할 수 있다.

매칭 벡터 추출부(400)는 주행 중 스테레오 영상으로부터 매칭 벡터를 추출한다. 이때, 매칭 벡터는 뎁스값(depth)이 융합된 영상의 라인 성분에서 뎁스 분포가 가장 많은 적어도 하나의 우성 뎁스값 d1, d2에 대해 수직방향으로 누적한 수직벡터 h1, h2, 수평방향을 누적한 수평벡터 v1, v2를 포함한다.

이를 위해, 매칭 벡터 추출부(400)는 관심영역 설정부(410), 에지 영상 변환부(420), 라인 성분 검출부(430), 영상 융합부(440), 뎁스 정렬부(450), 우성 뎁스 추출부(460), 매칭 벡터 추출부(470)를 포함한다.

관심영역 설정부(410)는, 스테레오 영상을 그레이(gray) 영상과 뎁스(depth) 영상으로 분리하고 관심영역을 설정한다. 이때, 관심영역은 도 2a 및 도 2b에 도시된 바와 같이 스테레오 영상의 일정부분 상단의 영역(10, 20)이 될 수 있다. 도 2a는 본 발명의 실시예에 따른 스테레오 영상 중 그레이 영상의 예시도이고, 도 2b는 본 발명의 실시예에 따른 스테레오 영상 중 뎁쓰 영상의 예시도이다.

에지 영상 변환부(420)는 그레이 영상을 에지 영상으로 변환한다. 도 3은 본 발명의 실시예에 따른 그레이 영상을 에지 영상으로 변환한 예시도이다. 도 3과 같이 에지(30)가 표시되는 에지 영상으로 변환됨을 알 수 있다.

라인 성분 검출부(430)는 에지(edge) 영상으로부터 라인(line) 성분을 추출한다. 도 4는 도 3의 에지 영상에서 라인 성분을 검출한 예시도로서, 도 4와 같이 라인 성분만 표시됨을 알 수 있다.

영상 융합부(440)는 라인 성분이 추출된 그레이 영상(도 4)과 뎁스 영상도 2b)을 융합한다. 도 5는 도 4의 라인성분이 검출된 그레이 영상과 도 2b의 뎁쓰 영상을 융합한 예시도이다. 도 5를 참조하면 라인성분만 표시됨을 알 수 있다.

뎁스 정렬부(450는 그레이 영상과 뎁스 영상을 융합하여 검출된 라인 픽셀 좌표에 해당하는 뎁스값을 추출하여 정렬한다.

우성 뎁스 추출부(460)는 융합된 영상에서 적어도 하나 이상의 우성 뎁스값(dominant depth)을 추출한다. 이때, 본 발명에선 2개의 우성 뎁스값 d1, d2를 추출한 예를 들어 설명하기로 한다. 이때, 우성 뎁스값은 영상 융합으로 뎁스값이 융합된 라인 성분에서 뎁스 분포가 가장 많은 뎁스값을 의미한다.

매칭 벡터 추출부(470)는 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출한다. 즉 매칭 벡터 추출부(470)는 적어도 하나 이상의 우성 뎁스값 d1, d2 각각에 해당하는 픽셀을 ROI 수평방향으로 누적하여 수평 누적 벡터 h1, h2를 각각 추출하고, 적어도 하나 이상의 우성 뎁스값 d1, d2 각각에 해당하는 픽셀을 ROI 수직방향으로 누적하여 수직 누적 벡터 v1, v2를 각각 추출한다. 도 6a는 도 5의 융합 영상 중 두 개의 우성 뎁쓰값 d1에 대해 수평 누적한 매칭 벡터 h1의 예시도이고, 도 6b는 도 5의 융합 영상 중 두 개의 우성 뎁쓰값 d2에 대해 수평 누적한 매칭 벡터 h2의 예시도이다. 도 6c는 도 5의 융합 영상 중 두 개의 우성 뎁쓰값 d1에 대해 수직 누적한 매칭 벡터 v1의 예시도이고, 도 6d는 도 5의 융합 영상 중 두 개의 우성 뎁쓰값 d2에 대해 수직 누적한 매칭 벡터 v1의 예시도이다.

맵 구축부(500)는 매칭 벡터 추출부에 의해 추출된 매칭 벡터 및 위치 센서(RTK, IMU)에 의한 위치정보를 기반으로 맵 데이터를 구축한다.

이를 위해, 맵 구축부(500)는 위치정보 추가부(510), 벡터와 측위좌표 누적부(520), 맵 벡터 필터링부(530)를 포함한다.

위치정보 추가부(510)는 주행 중 스테레오 영상의 프레임마다 고정밀 관성센서(IMU) 또는 RTK(Real-Time Kinematic)를 이용한 위치정보(lat, lng)를 추가할 수 있다. 이때, 맵 구축부(500)는 매칭 벡터 추출부(400)와 연동하여 주행 중 스테레오 영상에서 일정거리마다 매칭 벡터(d1, d2, h1, h2, v1, v2)를 추출할 수 있다.

벡터와 측위좌표 누적부(520)는, 매칭 벡터 추출부(400)에 의해 추출된 매칭 벡터와 위치센서에 의한 위치정보를 저장 및 누적하여 맵 데이터를 구축한다.

맵 벡터 필터링부(530)는 맵 데이터에 대해 자기상관계수를 이용하여 유사 벡터 필터링을 수행하여 최종 맵 데이터를 구축할 수 있다. 여기서, 자기상관계수는, 어떤 신호의 시간 이동된 자기자신과의 상관성을 나타내는 척도이다. 예를 들어, 맵 데이터에 대해 자기상관계수를 이용하여 유사 벡터 필터링을 수행하는 것은, 주행 중 각 시점마다 획득한 벡터 데이터가 차로별 누적 벡터의 영상에서 어떤 차로 또는 어떤 위치의 벡터와 일치하는지 매칭하는 과정에서, 자차의 현재 위치를 특정하기 위해 자기상관계수를 이용하여 유사 벡터를 제거(또는 필터링)하는 것을 의미할 수 있다.

도 7은 본 발명의 실시예에 따른 4차로 영상 중 매칭 벡터 h1의 예시도이고 도 8은 도 7의 차로별 누적 벡터의 영상 예시도이다. 도 9는 도 8의 차로별 누적 벡터에 대한 필터링 후 맵의 예시도이다. 도 7 내지 도 9는 4차로 영상에서 h1 벡터로 맵을 구축하는 예를 개시하고 있으며 동일한 방법으로 h2, v1, v2의 맵을 구축할 수 있다.

실시간 위치 추정부(600)는 맵 데이터 중 GPS(Global Positioning System) 정보를 기반의 현재 위치의 맵 벡터를 로딩하고, 추출된 매칭 벡터와 로딩된 맵 벡터를 이용하여 자차의 현재 위치를 추정한다.

이를 위해, 실시간 위치 추정부(600)는 GPS 정보 저장부(610), 맵 벡터 로딩부(620), 벡터 매칭부(630), 자차 위치 추정부(640)를 포함한다.

GPS 정보 저장부(610)는 GPS 정보를 저장한다.

맵 벡터 로딩부(620)는 맵 데이터 중 GPS 정보를 기반으로 현재 위치의 맵 벡터를 로딩한다.

벡터 매칭부(630)는 매칭 벡터 추출부(400)를 통해 추출된 매칭 벡터와 맵 벡터를 매칭한다. 이때, 실시간 위치 추정부(600)는 매칭 벡터 추출부(400)와 연동하여 실시간으로 추출되는 매칭 벡터를 전달받을 수 있다.

벡터 매칭부(630)는 주행 중 스테레오 영상으로부터 추출된 우성 뎁스값 d1, d2에 대응하는 뎁스값 d1', d2'을 맵 데이터에서 추출한다. 또한, 벡터 매칭부(630)는 주행 중 스테레오 영상으로부터 획득된 수평 누적 벡터 h1, h2와 대응되는 맵 벡터 h1', h2'를 맵 데이터에서 추출한다. 또한, 벡터 매칭부(630)는 수평 누적 벡터 h1, h2와 대응되는 맵 벡터 h1', h2'가 미리 정한 기준치를 만족하면, 주행 중 스테레오 영상으로부터 획득된 수직 누적 벡터 v1, v2에 대응되는 맵 벡터 h1', h2'를 맵 데이터에서 추출한다. 도 11은 본 발명의 실시예에 따른 실시간 위치 추정을 위해 실제 스테레오 영상에서 추출된 매칭 벡터(h1, h2, v1, v2)의 예시도이고, 도 12는 본 발명의 실시예에 따른 맵 데이터로부터 추출된 맵 벡터(h1', h2', v1', v2')의 예시도이다.

자차 위치 추정부(640)는 추출된 매칭 벡터(h1, h2, v1, v2)와 맵 벡터(h1', h2', v1', v2')가 미리 정한 조건을 만족하면, 추출된 매칭 벡터에 해당하는 측위좌표를 자차의 현재 위치로 추정한다.

이와 같이, 본 발명은 맵 데이터 구축을 위한 차량에서 RTK 및 IMU와 같은 위치 센서를 부착하고 매칭 벡터를 추출하여 맵 데이터를 구축해 놓고, 일반 차량들이 구축된 맵 데이터를 미리 저장받거나 실시간으로 전송받아 이용할 수 있다. 즉 본 발명의 매칭 벡터 추출부(400)와 실시간 위치 추정부(600)는 일반 차량에 탑재되는 구성이고, 매칭 벡터 추출부(400)와 맵 구축부(500), 위치센서는 맵 구축을 위한 차량에 탑재될 수 있다.

이하, 도 14를 참조하여 본 발명의 실시예에 따른 매칭 벡터 추출 방법(S100)을 설명하기로 한다.

매칭 벡터 추출부(400)는 스테레오 영상을 입력받으면(S101), 스테레오 영상으로부터 그레이 영상을 추출하고(S102), 스테레오 영상으로부터 뎁스 영상을 추출한다(S103).

이어, 매칭 벡터 추출부(400)는 그레이 영상으로부터 에지를 검출하여 그레이 영상을 에지 영상으로 변환하고(S104), 에지 영상에서 라인 성분 및 서클 성분을 추출한다(S105).

그 후, 매칭 벡터 추출부(400)는 그레이 영상의 라인 성분을 이용하여 그레이 영상과 상기 뎁스 영상을 융합한다(S106).

이어, 매칭 벡터 추출부(400)는 융합된 영상으로부터 뎁스값을 추출하여 정렬하고(S107), 적어도 하나 이상의 우성 뎁스값(dominant depth) d1, d2을 추출한다(S108).

이 후, 매칭 벡터 추출부(400)는 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출한다(S109). 이때, 매칭 벡터 추출부(400)는 적어도 하나 이상의 우성 뎁스값 각각에 대해 누적된 수평 누적 벡터 h1, h2를 각각 추출하고, 적어도 하나 이상의 우성 뎁스값 각각에 대해 누적된 수직 누적 벡터 v1, v2를 각각 추출한다.

이하, 도 15를 참조하여 본 발명의 실시예에 따른 맵 구축 방법(S200)을 설명하기로 한다.

매칭 벡터 추출부(400)는 주행 중 스테레오 영상을 획득하고(S201), 스테레오 영상으로부터 매칭 벡터를 추출한다(S202). 이때, 매칭 벡터의 추출 방법은 상술한 도 14와 같다.

맵 구축부(500)는 위치센서로부터 수신한 위치 정보를 입력받는다(S203).

이어, 맵 구축부(500)는 매칭 벡터와 위치정보를 함께 저장 및 누적함으로써 맵 데이터를 구축한다(S204).

이어, 맵 구축부(500)는 맵 데이터에 대해 자기상관계수를 이용하여 유사 벡터 필터링을 수행하여 최종 맵 데이터를 구축한다(S205).

이하, 도 16을 참조하여 본 발명의 실시예에 따른 실시간 위치 추정 방법(S300)을 설명하기로 한다.

실시간 위치 추정부(600)는 주행 중 스테레오 영상 및 GPS 정보를 획득하고(S301), 매칭 벡터 추출부(400)와 연동하여 스테레오 영상으로부터 매칭 벡터를 추출한다(S302). 이때, 매칭 벡터의 추출 방법은 상술한 도 14와 같다.

실시간 위치 추정부(600)는 맵 구축부(500)를 통해 미리 구축된 맵 데이터 중 GPS 정보를 기반으로 현재 위치의 맵 벡터를 로딩한다(S303).

이어, 실시간 위치 추정부(600)는 추출된 매칭 벡터와 맵 데이터로부터 로딩한 맵 벡터를 매칭한다(S304).

이후, 실시간 위치 추정부(600)는 추출된 매칭 벡터와 맵 벡터가 미리 정한 조건을 만족하면 상기 추출된 매칭 벡터에 해당하는 측위좌표를 자차의 현재 위치로 추정한다(S305). 즉, 실시간 위치 추정부(600)는 수직 누적 벡터와 대응되는 맵 벡터가 미리 정한 기준치를 만족하면, 우성 뎁스값에 해당하는 측위 좌표를 현재의 자차 위치로 추정한다.

이하, 도 17을 참조하여 도 16의 실시간 위치 추정 방법을 더욱 구체적으로 설명하기로 한다.

본 발명의 차량 정밀 위치 추정 장치는 자차 주행 스테레오 영상으로부터 우성 뎁스값 d1, d2를 탐색한다(S401).

이에, 차량 정밀 위치 추정 장치는 미리 구축해놓은 맵 데이터에서 뎁스값 d1, d2에 해당하는 d1', d2'를 추출한다(S402).

차량 정밀 위치 추정 장치는 맵 데이터에서 d1, d2에 대한 수직 누적 벡터 h1, h2에 해당하는 맵벡터 d1', d2'를 추출한다(S403).

차량 정밀 위치 추정 장치는 맵 벡터 h1'에서 수평 누적 벡터 h1을 뺀 값이 미리 정한 제 1 임계치 미만이고, 맵 벡터 h2'에서 수평 누적 벡터 h2을 뺀 값이 미리 정한 제 2 임계치 미만이면(S404), 맵 데이터에서 d1, d2에 대한 수직 누적 벡터 v1, v2에 해당하는 맵 벡터 v1', v2'를 추출한다(S405).

이에, 차량 정밀 위치 추정 장치는 맵 벡터 v1'에서 수직 누적 벡터 v1을 뺀 값이 미리 정한 제 3 임계치 미만이고, 맵 벡터 v2'에서 수직 누적 벡터 v2을 뺀 값이 미리 정한 제 4 임계치 미만이면(S406), 최종 매칭된 벡터에 해당하는 측위 좌표를 현재의 자차 위치로 추정한다(S407)

도 18a는 실제 주행상태에서의 자차의 위치를 나타내는 스테레오 영상의 예시도이고, 도 18b는 맵 데이터에서 현재 위치의 벡터와 매칭된 영상의 예시도이다. 즉, 스테레오 영상에 의한 자차 위치와 맵 데이터 기반의 자차 현재 위치가 동일함을 알 수있다.

도 19는 GPS 기반 현재 위치와 본 발명의 매칭 벡터에 의한 자차 위치를 나타내는 도면이다. 즉, GPS 기반 현재 위치(50)와 본 발명에 따른 실제 자차 위치(60)에 약간의 오차가 있음을 알 수 있다. 즉 GPS 기반으로 현재 자차 위치(50)가 실제 자차 위치(60)와 다름을 알 수 있다.

이와 같이, 본 발명은 차선정보 없이도 다차선에서 자차 위치 측위가 가능하고 전방 장애물(자동차, 보행자)에 대한 간섭없이 자차의 위치를 정확히 측정하고, GPS 음영 지역에서 차량의 종/횡방향 위치 추정이 가능하다. 또한, 본 발명은 고정 물체의 뎁스(depth) 추출(선,원)을 통해 계절 변화 시에도 정확한 자차 위치 추정이 가능하다.

도 20은 본 발명의 실시예에 따른 자차 정밀 위치 추정 방법을 적용한 컴퓨터 시스템의 구성도이다.

도 20을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.

예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 영상 입력부
200 : 위치정보 획득부
300 : GPS 정보 수신부
400 : 매칭 벡터 추출부
500 : 맵 구축부
600 : 실시간 위치 추정부

Claims

주행 중 스테레오 영상을 획득하는 영상 입력부;
상기 주행 중 스테레오 영상으로부터 매칭 벡터를 추출하는 매칭 벡터 추출부; 및
미리 구축한 맵 데이터 중 GPS(Global Positioning System) 정보를 기반으로 현재 위치의 맵 벡터를 로딩하고, 상기 추출된 매칭 벡터와 상기 로딩된 맵 벡터를 이용하여 자차의 현재 위치를 추정하는 실시간 위치 추정부를 포함하고,
상기 매칭 벡터 추출부는,
상기 스테레오 영상을 그레이(gray) 영상과 뎁스(depth) 영상으로 분리하고 관심영역을 설정하는 관심영역 설정부;
상기 그레이 영상을 에지 영상으로 변환하는 에지 영상 변환부;
상기 에지(edge) 영상으로부터 라인 성분을 추출하는 라인 성분 검출부; 및
상기 라인(line) 성분이 추출된 그레이 영상과 상기 뎁스 영상을 융합하는 영상 융합부;
를 포함하는 차량 정밀 위치 추정 장치.
청구항 1에 있어서,
상기 매칭 벡터 추출부는,
상기 융합된 영상에서 적어도 하나 이상의 우성 뎁스값(dominant depth)을 추출하는 우성 뎁스 추출부; 및
상기 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출하는 매칭 벡터 추출부
를 더 포함하는 것을 특징으로 하는 차량 정밀 위치 추정 장치.
청구항 2에 있어서,
상기 매칭 벡터 추출부는,
상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수평 누적 벡터를 각각 추출하는 단계; 및
상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수직 누적 벡터를 각각 추출하는 단계
를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정 장치.
청구항 1에 있어서,
상기 실시간 위치 추정부는,
상기 맵 데이터 중 GPS 정보를 기반으로 현재 위치의 맵 벡터를 로딩하는 맵 벡터 로딩부;
상기 추출된 매칭 벡터와 상기 맵 벡터를 매칭하는 벡터 매칭부; 및
상기 추출된 매칭 벡터와 상기 맵 벡터가 미리 정한 조건을 만족하면, 상기 추출된 매칭 벡터에 해당하는 측위좌표를 자차의 현재 위치로 추정하는 자차 위치 추정부;를
포함하는 것을 특징으로 하는 차량 정밀 위치 추정 장치.
청구항 4에 있어서,
상기 벡터 매칭부는,
상기 주행 중 스테레오 영상으로부터 추출된 우성 뎁스값에 대응하는 뎁스값을 상기 맵 데이터에서 추출하고,
상기 주행 중 스테레오 영상으로부터 획득된 수평 누적 벡터와 대응되는 맵 벡터를 상기 맵 데이터에서 추출하며,
상기 맵 벡터가 미리 정한 기준치를 만족하면, 상기 주행 중 스테레오 영상으로부터 획득된 수직 누적 벡터에 대응되는 맵 벡터를 상기 맵 데이터에서 추출하는 것을 특징으로 하는 차량 정밀 위치 추정 장치.
주행 중 스테레오 영상을 획득하는 영상 입력부;
상기 주행 중 스테레오 영상으로부터 매칭 벡터를 추출하는 매칭 벡터 추출부; 및
상기 매칭 벡터 추출부에 의해 추출된 매칭 벡터 및 위치 센서에 의한 위치정보를 기반으로 맵 데이터를 구축하는 맵 구축부;
를 포함하고,
상기 매칭 벡터 추출부는,
상기 스테레오 영상을 그레이(gray) 영상과 뎁스(depth) 영상으로 분리하고 관심영역을 설정하는 관심영역 설정부;
상기 그레이 영상을 에지 영상으로 변환하는 에지 영상 변환부;
상기 에지(edge) 영상으로부터 라인 성분을 추출하는 라인 성분 검출부; 및
상기 라인(line) 성분이 추출된 그레이 영상과 상기 뎁스 영상을 융합하는 영상 융합부;
를 포함하는 차량 정밀 위치 추정을 위한 맵 구축 장치.
청구항 6에 있어서,
상기 위치 센서는,
고정밀 관성센서(IMU) 또는 RTK(Real-Time Kinematic)를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정을 위한 맵 구축 장치.
청구항 6에 있어서,
상기 맵 구축부는,
상기 매칭 벡터 추출부에 의해 추출된 상기 매칭 벡터와 상기 위치센서에 의한 위치정보를 저장 및 누적하여 맵 데이터를 구축하는 벡터와 측위좌표 누적부; 및
상기 맵 데이터에 대해 자기상관계수를 이용하여 유사 벡터 필터링을 수행하여 최종 맵 데이터를 구축하는 맵 벡터 필터링부
를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정을 위한 맵 구축 장치.
주행 중 스테레오 영상을 획득하는 단계;
상기 주행 중 스테레오 영상의 프레임마다 위치센서를 이용한 위치정보를 추가하는 단계;
상기 주행 중 스테레오 영상에서 일정거리마다 매칭 벡터를 추출하는 단계; 및
상기 추출된 매칭 벡터와 상기 위치정보를 누적하여 저장하여 맵 데이터를 구축하는 단계;
를 포함하고,
상기 매칭 벡터를 추출하는 단계는,
상기 스테레오 영상을 입력받는 단계;
상기 스테레오 영상을 그레이(gray) 영상과 뎁스(depth) 영상으로 분리하고 관심 영역을 설정하는 단계;
상기 그레이 영상을 에지 영상으로 변환하는 단계,
상기 에지 영상으로부터 라인 성분을 추출하는 단계; 및
상기 라인 성분이 추출된 그레이 영상과 상기 뎁스 영상을 융합하는 단계;
를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정을 위한 맵 구축 방법.
청구항 9에 있어서,
상기 맵 데이터에 대해 자기상관계수를 이용하여 유사 벡터 필터링을 수행하여 최종 맵 데이터를 구축하는 단계
를 더 포함하는 것을 특징으로 하는 차량 정밀 위치 추정을 위한 맵 구축방법.
청구항 9에 있어서,
상기 매칭 벡터를 추출하는 단계는,
상기 융합된 영상에서 적어도 하나 이상의 우성 뎁스값(dominant depth)을 추출하는 단계; 및
상기 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출하는 단계
를 더 포함하는 것을 특징으로 하는 차량 정밀 위치 추정을 위한 맵 구축방법.
삭제
청구항 11에 있어서,
상기 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출하는 단계는,
상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수평 누적 벡터를 각각 추출하는 단계; 및
상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수직 누적 벡터를 각각 추출하는 단계
를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정을 위한 맵 구축방법.
청구항 9에 있어서,
상기 위치 정보는 고정밀 관성센서(IMU) 또는 RTK(Real-Time Kinematic)에 의해 센싱된 위치 정보인 것을 특징으로 하는 차량 정밀 위치 추정을 위한 맵 구축방법.
주행 중 스테레오 영상을 획득하는 단계;
상기 주행 중 스테레오 영상으로부터 매칭 벡터를 추출하는 단계;
미리 구축된 맵 데이터 중 GPS 정보를 기반으로 현재 위치의 맵 벡터를 로딩하는 단계;
상기 추출된 매칭 벡터와 상기 맵 벡터를 매칭하는 단계;
상기 추출된 매칭 벡터와 상기 맵 벡터가 미리 정한 조건을 만족하면 상기 추출된 매칭 벡터에 해당하는 측위좌표를 자차의 현재 위치로 추정하는 단계;
를 포함하고,
상기 매칭 벡터를 추출하는 단계는,
상기 스테레오 영상을 입력받는 단계;
상기 스테레오 영상을 그레이(gray) 영상과 뎁스(depth) 영상으로 분리하고 관심 영역을 설정하는 단계;
상기 그레이 영상을 에지 영상으로 변환하는 단계;
상기 에지 영상으로부터 라인 성분을 추출하는 단계; 및
상기 라인 성분이 추출된 그레이 영상과 상기 뎁스 영상을 융합하는 단계;
를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정 방법.
청구항 15에 있어서,
상기 매칭 벡터를 추출하는 단계는,
상기 융합된 영상에서 적어도 하나 이상의 우성 뎁스값(dominant depth)을 추출하는 단계; 및
상기 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출하는 단계
를 더 포함하는 것을 특징으로 하는 차량 정밀 위치 추정 방법.
삭제
청구항 16에 있어서,
상기 적어도 하나 이상의 우성 뎁스값에 대한 매칭 벡터를 추출하는 단계는,
상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수평 누적 벡터를 각각 추출하는 단계; 및
상기 적어도 하나 이상의 우성 뎁스값 각각에 대해 매칭 벡터인 수직 누적 벡터를 각각 추출하는 단계
를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정 방법.
청구항 18에 있어서,
상기 추출된 매칭 벡터와 상기 맵 데이터를 매칭하는 단계는,
상기 주행 중 스테레오 영상으로부터 추출된 우성 뎁스값에 대응하는 뎁스값을 상기 맵 데이터에서 추출하는 단계;
상기 주행 중 스테레오 영상으로부터 획득된 수평 누적 벡터와 대응되는 맵 벡터를 상기 맵 데이터에서 추출하는 단계; 및
상기 맵 벡터가 미리 정한 기준치를 만족하면, 상기 주행 중 스테레오 영상으로부터 획득된 수직 누적 벡터와 대응하는 맵 벡터를 상기 맵 데이터에서 추출하는 단계;
를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정 방법.
청구항 19에 있어서,
상기 자차의 현재 위치로 추정하는 단계는,
상기 수직 누적 벡터와 대응하는 맵 벡터가, 미리 정한 기준치를 만족하면, 상기 우성 뎁스값에 해당하는 측위 좌표를 현재의 자차 위치로 추정하는 단계;
를 포함하는 것을 특징으로 하는 차량 정밀 위치 추정 방법.