KR20230086664A - 맵 매칭 방법, 장치, 전자기기 및 저장 매체 - Google Patents
맵 매칭 방법, 장치, 전자기기 및 저장 매체 Download PDFInfo
- Publication number
- KR20230086664A KR20230086664A KR1020237009778A KR20237009778A KR20230086664A KR 20230086664 A KR20230086664 A KR 20230086664A KR 1020237009778 A KR1020237009778 A KR 1020237009778A KR 20237009778 A KR20237009778 A KR 20237009778A KR 20230086664 A KR20230086664 A KR 20230086664A
- Authority
- KR
- South Korea
- Prior art keywords
- semantic
- map
- candidate
- positioning information
- semantic feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3859—Differential updating map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Navigation (AREA)
Abstract
본 발명은 맵 매칭 방법, 장치, 전자기기 및 저장 매체를 제공한다. 상기 방법은, 차량의 초기 측위 정보 및 차량 센서 데이터를 획득하는 단계(601); 초기 측위 정보를 기반으로, 복수의 후보 측위 정보를 결정하는 단계(602); 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하는 단계(603); 차량의 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하는 단계(604); 각 후보 측위 정보(605)에 대해, 후보 측위 정보를 기반으로, 복수 맵 시맨틱 특징을 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하는 단계(6051); 복수 관측 시맨틱 특징과 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계(6052); 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 차량의 최적 후보 측위 정보와 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계(606);를 포함한다. 상기 방법은 벡터 시맨틱 맵에 적용되며, 벡터 시맨틱 맵의 벡터 정보만을 사용하여 관측 특징과 맵 특징의 실시간 매칭을 실현하고, 별도의 추가 디스크립터 및 강도와 같은 추가 데이터에 의존하지 않으며, 스토리지 요구 사항 및 컴퓨팅 전력 사용량을 감소하는 기초에서 좋은 매칭 효과를 실현한다.
Description
본 출원은 2020년 09월 27일에 중국특허국에 출원한 출원번호가 2020110314570이고 출원 명칭이 “맵 매칭 방법, 장치, 전자기기 및 저장 매체”인 중국 특허 출원의 우선권을 주장하며, 상기 출원의 전체 내용은 참조로 본 출원에 원용된다.
본 발명의 실시예는 지능형 운전 기술 분야에 관한 것으로, 구체적으로 맵 매칭 방법, 장치, 전자기기 및 비일시적 컴퓨터 판독 가능 저장 매체에 관한 것이다.
지능형 운전 기술 분야에서, 보조 운전이든 자동 운전이든 물론하고 차량 측위 기술은 중요한 역할을 한다. 현재 주요한 차량 측위 기술은 비전 기반 vslam(visual simultaneous localization and mapping, 시각적 실시간 측위 및 맵 구축) 기술과 라이다 기반 lslam(laser simultaneous localization and mapping, 레이저 실시간 측위 및 맵 구축) 기술 등을 포함하며, 이러한 방법들은 일반적으로 사전에 조밀한 위치 맵을 구축하고 매칭을 위한 디스크립터, 강도 등의 정보를 저장해야 하며, 많은 저장 자원을 소모한다.
위치 맵의 크기를 줄이고, 특정 시나리오에서 견고성을 개선하기 위해, 일부 측위 방법은 벡터 시맨틱 맵을 기반으로 측위를 수행한다. 그러나, 벡터 맵의 희소성으로 인해 크기가 크게 줄어들지만, 디스크립터 등 정보가 부족하여 효율적이고 정확한 실시간 매칭을 실현하는데 도전을 제기했다.
상기와 같은 문제점의 발견 과정에 대한 설명은 본 발명의 기술적 해결책에 대한 이해를 돕기 위한 것일 뿐, 상기 내용이 기존의 기술임을 인정하는 것은 아니다.
종래 기술에 존재하는 적어도 하나의 문제점을 해결하기 위해, 본 발명의 적어도 하나의 실시예는 맵 매칭 방법, 장치, 전자기기 및 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다.
제1 측면에서, 본 발명의 실시예는 맵 매칭 방법을 제공하며, 상기 방법은,
차량의 초기 측위 정보 및 차량의 센서 데이터를 획득하는 단계;
상기 초기 측위 정보를 기반으로, 복수의 후보 측위 정보를 결정하는 단계;
상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하는 단계;
상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하는 단계;
상기 각 후보 측위 정보에 대해,
상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하는 단계;
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계;
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계;를 포함한다.
제2 측면에서, 본 발명의 실시예는 또한 맵 매칭 장치를 제공하며, 상기 장치는,
차량의 초기 측위 정보 및 차량 센서 데이터를 획득하고, 상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하기 위한 획득 유닛;
상기 초기 측위 정보를 기반으로 복수 후보 측위 정보를 결정하고, 상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하기 위한 제1 결정 유닛;
상기 각 후보 측위 정보에 대해,
상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하며;
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하기 위한 매칭 유닛;
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하기 위한 제2 결정 유닛;을 포함한다.
제3 측면에서, 본 발명의 실시예는 또한 전자기기를 제공하며, 상기 전자기기는 프로세서 및 메모리를 포함하며, 상기 프로세서는 상기 메모리에 저장된 프로그램 또는 명령을 호출하여 제1 측면의 맵 매칭 방법의 단계를 수행한다.
제4 측면에서, 본 발명의 실시예는 또한 프로그램 또는 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 프로그램 또는 명령이 컴퓨터에 의해 실행됨으로써 제1 측면의 맵 매칭 방법의 단계가 수행된다.
본 발명의 적어도 하나의 실시예에서, 차량 센서 데이터를 기반으로 복수 관측 시맨틱 특징을 결정하고, 차량의 초기 측위 정보를 기반으로 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하고 초기 측위 정보를 포함하는 복수 후보 측위 정보를 결정하며; 각 후보 측위 정보에 대해 모두 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 얻음으로써, 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로 차량의 최적 후보 측위 정보 및 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다.
본 발명의 실시예는 벡터 시맨틱 맵에 적용되며, 벡터 시맨틱 맵의 벡터 정보(예: 맵 시맨틱 특징 정보)만을 사용하여 관측 특징과 맵 특징의 실시간 매칭을 실현하고, 별도의 디스크립터 및 강도와 같은 추가 데이터에 의존하지 않고, 스토리지 요구 사항 및 컴퓨팅 전력 사용량을 감소하고, 좋은 매칭 효과를 달성한다. 또한, 본 발명의 실시예는 센서 유형(카메라, 레이저 레이더 등이 적용 가능함)에 대한 특별한 요구 사항이 없다.
이하, 본 발명의 실시예 또는 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예 또는 기존 기술의 설명에 사용되는 첨부도면에 대해 간단히 설명하며, 다음에 설명되는 첨부도면은 본 발명의 일부 실시예를 나타내며, 본 발명의 기술 분야의 통상의 지식을 가진 자는 이러한 첨부도면을 기초로 다른 첨부도면을 얻을 수 있다.
도 1은 본 발명의 실시예에 의해 제공되는 매칭 문제의 예시적인 장면도이다.
도 2는 본 발명의 실시예에 의해 제공되는 지능형 운전 차량의 아키텍처를 예시한 도면이다.
도 3은 본 발명의 실시예에 의해 제공되는 지능형 운전 시스템의 예시적인 블록도이다.
도 4는 본 발명의 실시예에 의해 제공되는 맵 매칭 장치의 예시적인 블록도이다.
도 5는 본 발명의 실시예에 의해 제공되는 전자기기의 예시적인 블록도이다.
도 6은 본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 예시적인 흐름도이다.
도 7은 본 발명의 실시예에 의해 제공되는 시맨틱-유클리드 거리 행렬의 개략도이다.
도 8은 도 7의 시맨틱-유클리드 거리 행렬에 기반하여 결정된 거리 정렬 행렬의 예시도이다.
도 9는 도 8의 거리 정렬 행렬을 업데이트하여 얻은 행렬의 예시도이다.
도 1은 본 발명의 실시예에 의해 제공되는 매칭 문제의 예시적인 장면도이다.
도 2는 본 발명의 실시예에 의해 제공되는 지능형 운전 차량의 아키텍처를 예시한 도면이다.
도 3은 본 발명의 실시예에 의해 제공되는 지능형 운전 시스템의 예시적인 블록도이다.
도 4는 본 발명의 실시예에 의해 제공되는 맵 매칭 장치의 예시적인 블록도이다.
도 5는 본 발명의 실시예에 의해 제공되는 전자기기의 예시적인 블록도이다.
도 6은 본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 예시적인 흐름도이다.
도 7은 본 발명의 실시예에 의해 제공되는 시맨틱-유클리드 거리 행렬의 개략도이다.
도 8은 도 7의 시맨틱-유클리드 거리 행렬에 기반하여 결정된 거리 정렬 행렬의 예시도이다.
도 9는 도 8의 거리 정렬 행렬을 업데이트하여 얻은 행렬의 예시도이다.
본 발명의 상기 목적, 특징 및 장점을 더 잘 이해할 수 있도록, 이하 첨부도면과 실시예를 결부하여 본 발명에 대해 더 상세히 설명하고자 한다. 상기 설명된 실시예는 본 발명의 일부분 실시예이며, 모든 실시예인 것이 아니다. 여기에서 설명된 특정 실시예는 단지 본 발명을 해석하기 위한 것이며, 본 발명을 한정하려는 것이 아니다. 본 발명의 기술 분야의 통상의 지식을 가진 자가 상기에 설명된 본 발명의 실시예를 기반으로 창의적인 노동을 거치지 않고 얻은 다른 모든 실시예는 모두 본 발명의 보호 범위에 속한다.
또한, 본 명세서에서 “제1” 및 “제2” 와 같은 관계 용어는 하나의 개체 또는 작업을 다른 개체 또는 작업과 구분하기 위해 사용되며, 상기 개체나 작업 간에 반드시 이러한 실제 관계 또는 순서가 존재해야 한다고 요구하거나 암시하는 것은 아니다.
지능형 운전 과정에 맵 매칭을 실시간으로 수행하기 위해, 본 발명의 실시예는 도 1을 결부하여 매칭 문제에 대해 다음과 같이 설명한다.
도 1에서, 집합 M{m1, m2}와 집합 M’{m’1, m’2}가 주어지고, 최소 거리의 제약하에 M 중의 요소를 위해 M’에서 가능한 많은 매칭 요소를 찾아 매칭 쌍을 형성하며, 각 매칭 쌍에는 M 중의 하나의 요소와 M’ 중의 하나의 요소가 포함된다.
도 1에서, 매칭 쌍:(m1, m’2)와 (m2, m’1)이 존재하며, 최소 거리의 제약을 받기 때문에, m1와 m’2 간의 거리는 m1과 m’1 간의 거리보다 작고, 마찬가지로, m2와 m’1 간의 거리도 m2와 m’2 간의 거리보다 작은 것을 이해할 수 있다.
매칭 문제에 대한 상기 설명에 기초하여 맵 매칭에 적용하면, 집합 M은 관측 특징의 집합으로 이해될 수 있고, 집합 M’은 맵 특징의 집합으로 이해될 수 있다. 일부 실시예에서, 관측 특징은 실시간 관측 특징일 수 있고, 관측 특징이든 아니면 맵 특징이든 모두 시맨틱 특징이며, 즉 관측 특징은 관측 시맨틱 특징이고, 맵 특징은 맵 시맨틱 특징이다.
관측 시맨틱 특징은 차량 센서 데이터를 기반으로 결정된 측위를 위한 대상의 관측 시맨틱 특징으로 이해될 수 있으며, 예를 들어, 차량 센서 데이터는 이미지 데이터이며, 대상 검출 알고리즘을 통해 이미지 데이터를 처리하여 이미지에 포함된 대상의 카테고리 및 위치를 결정할 수 있고, 상기 대상은 관측 시맨틱 특징으로 이해될 수 있다. 예를 들어, 이미지에 포함된 차선, 교통노면표시(예: 직진, 좌회전, 우회전 등), 교통 신호등(즉, 신호등), 교통 표지판 등은 모두 측위를 위한 대상의 관측 시맨틱 특징이다.
맵 시맨틱 특징은 맵(예: 벡터 맵)에 포함된 측위를 위한 대상의 시맨틱 특징으로 이해될 수 있으며, 예를 들어, 맵에 포함된 차선, 교통노면표시, 신호등, 교통표지판 등은 모두 측위를 위한 대상의 맵 시맨틱 특징이다. 일부 실시예에서, 맵으로부터 맵 시맨틱 특징을 용이하게 획득하기 위해, 맵에 맵 시맨틱 특징의 정보, 예를 들어, 맵에 맵 시맨틱 특징의 시맨틱 레이블 및 위치 등과 같은 맵 시맨틱 특징과 관련된 정보가 포함되어 맵을 획득하는 동시에 맵에서 맵 시맨틱 특징의 정보를 용이하게 획득할 수 있도록, 맵에 대해 전처리를 수행할 수 있다.
맵 매칭에서, 특정 제약 조건에 따라 가장 많은 매칭 쌍을 찾은 다음, 서로 다른 관측 특징에 각각 대응하는 맵 특징을 결정함으로써, 후속 차량 측위를 위해 근거를 제공한다. 맵 매칭에서, 제약 조건은 최소 거리의 제약을 포함할 뿐만 아니라, 다른 제약 조건도 포함할 수 있으며, 이러한 제약 조건을 통합하여 매칭 쌍이 결정되며, 제약 조건에 포함되는 내용은 아래에서 상세히 설명한다.
따라서, 본 발명의 실시예는 맵 매칭 방법을 제공하며, 차량 센서 데이터를 기반으로 복수 관측 시맨틱 특징을 결정하고, 차량의 초기 측위 정보를 기반으로 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하고 초기 측위 정보를 포함하는 복수 후보 측위 정보를 결정하며; 각 후보 측위 정보에 대해 모두 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 얻음으로써, 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로 차량의 최적 후보 측위 정보 및 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다.
본 발명의 실시예는 벡터 시맨틱 맵에 적용되며, 벡터 시맨틱 맵의 벡터 정보(예: 맵 시맨틱 특징 정보)만을 사용하여 관측 특징과 맵 특징의 실시간 매칭을 실현하고, 별도의 디스크립터 및 강도와 같은 추가 데이터에 의존하지 않고, 스토리지 요구 사항 및 컴퓨팅 전력 사용량을 감소하고, 좋은 매칭 효과를 달성한다. 또한, 본 발명의 실시예는 센서 유형(카메라, 레이저 레이더 등이 적용 가능함)에 대한 특별한 요구 사항이 없다.
일부 실시예에서, 맵 시맨틱 특징과 관측 시맨틱 특징 간의 시맨틱-유클리드 거리를 결정할 수 있고, 더 나아가 거리 행렬을 결정함으로써, 거리 행렬을 기반으로 벡터 시맨틱 맵 매칭을 실현할 수 있다. 일부 실시예에서, 거리 행렬을 기반으로 하는 매칭 방법은 매트릭 거리를 정의할 수 있는 다양한 매칭 시나리오에 광범위하게 적용 가능하다.
본 발명의 실시예는 지능형 운전 차량에 적용될 수 있고, 전자기기에도 적용될 수 있다. 상기 지능형 운전 차량은 다양한 레벨의 지능형 운전 시스템이 탑재된 차량으로서, 지능형 운전 시스템은 예를 들어 무인 운전 시스템, 보조 운전 시스템, 운전 보조 시스템, 고도 자동 운전 시스템, 완전 자동 운전 차량 등을 포함한다. 상기 전자기기에는 지능형 운전 시스템이 설치되며, 예를 들어 전자기기는 지능형 운전 알고리즘을 테스트하기 위해 사용될 수 있고, 또 예를 들어, 전자기기는 차량 탑재 장치일 수 있으며, 일부 실시예에서, 전자기기는 다른 분야에도 적용될 수 있다. 본 발명의 실시예의 응용 시나리오는 본 발명의 부분적 예시 또는 실시예에 불과하며, 당업자는 창의적인 노동을 거치지 않고서도 본 발명을 다른 유사한 시나리오에 적용할 수 있다. 이하, 보다 명확한 설명을 위해, 본 발명의 실시예는 지능형 운전 차량을 예를 들어 맵 매칭 방법, 맵 매칭 장치, 전자기기 또는 비일시적 컴퓨터 판독 가능 저장 매체에 대해 설명한다.
도 2는 본 발명의 실시예에 의해 제공되는 지능형 운전 차량의 아키텍처를 예시한 도면이다. 도 2에 도시된 바와 같이, 지능형 운전 차량은 센서 그룹, 지능형 운전 시스템(200), 차량의 최하위 실행 시스템 및 예컨대 브레이크 페달, 스티어링 휠, 가속 페달 등과 같은 차량의 구동 및 차량의 작동을 제어하기 위한 구성 요소를 포함한다.
센서 그룹은 차량의 외부 환경 데이터를 수집하고 차량의 위치 데이터를 감지한다. 센서 그룹에는 예컨대 카메라, 라이더, 밀리미터파 레이더, 초음파 레이더, 글로벌 포지셔닝 시스템(Global Positioning System, GPS) 및 관성 측정 장치(Inertial Measurement Unit, IMU) 중 적어도 하나가 포함되지만 이에 제한되지 않는다.
일부 실시예에서, 센서 그룹은 차량의 역학 데이터를 수집하기 위해 사용되며, 센서 그룹은 예를 들어 휠 속도 센서, 속도 센서, 가속도 센서, 스티어링 휠 각도 센서 및 전륜 각도 센서 중 적어도 하나를 포함하지만 이에 제한되지 않는다.
지능형 운전 시스템(200)은 센서 그룹의 센서 데이터를 획득하기 위해 사용되며, 상기 센서 데이터는 이미지, 비디오, 레이저 포인트 클라우드, 밀리미터파, GPS 정보, 차량 상태 등을 포함하지만 이에 제한되지 않는다. 일부 실시예에서, 지능형 운전 시스템(200)은 상기 센서 데이터를 기반으로 환경 인식 및 차량 측위를 수행하고, 인식 정보 및 차량 자세를 생성하며; 지능형 운전 시스템(200)은 상기 인식 정보 및 차량 자세를 기반으로 계획 및 의사 결정을 수행하고, 계획 및 의사 결정 정보를 생성하며; 지능형 운전 시스템(200)은 계획 및 의사 결정 정보를 기반으로 차량 제어 명령을 생성하고, 차량의 최하위 실행 시스템으로 전송한다.
일부 실시예에서, 지능형 운전 시스템(200)은 소프트웨어 시스템, 하드웨어 시스템 또는 소프트웨어와 하드웨어가 결합된 시스템일 수 있다. 예를 들어, 지능형 운전 시스템(200)은 운영체제에서 실행되는 소프트웨어 시스템이고, 차량 하드웨어 시스템은 운영체제의 동작을 지원하는 하드웨어 시스템이다.
일부 실시예에서, 지능형 운전 시스템(200)은 클라우드 서버와 상호작용할 수 있다. 일부 실시예에서, 지능형 운전 시스템(200)은 클라우드 서버와 무선 통신 네트워크(예: GPRS 네트워크, Zigbee 네트워크, Wifi 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크 및 기타 무선 통신 네트워크를 포함하지만 이에 제한되지 않음)를 통해 상호작용한다.
일부 실시예에서, 클라우드 서버는 차량과 상호작용하기 위해 사용된다. 상기 클라우드 서버는 환경 정보, 측위 정보, 제어 정보 및 차량 지능형 운전 과정에 필요한 다른 정보를 차량에 전송한다. 일부 실시예에서, 상기 클라우드 서버는 차량의 센서 데이터, 차량 상태 정보, 차량 주행 정보 및 차량 요청 등 관련 정보를 수신할 수 있다. 일부 실시예에서, 클라우드 서버는 사용자 설정 또는 차량 요청에 기반하여 상기 차량을 원격으로 제어할 수 있다. 일부 실시예에서, 클라우드 서버는 서버 또는 서버 팜일 수 있다. 서버 팜은 중앙 집중화되거나 분산될 수 있다. 일부 실시예에서, 클라우드 서버는 로컬 또는 원격 서버일 수 있다.
차량의 최하위 실행 시스템은 차량의 제어 명령을 수신하고, 상기 차량의 제어 명령을 기반으로 차량의 주행을 제어한다. 일부 실시예에서, 차량의 최하위 실행 시스템은 조향 시스템, 제동 시스템 및 구동 시스템을 포함하지만 이에 제한되지 않는다. 일부 실시예에서, 상기 차량의 최하위 실행 시스템은 차량의 제어 명령을 파싱하여 조향 시스템, 제동 시스템 및 구동 시스템과 같은 대응하는 시스템으로 전송하기 위한 최하위 컨트롤러를 더 포함할 수 있다.
일부 실시예에서, 지능형 운전 차량은 도 1에 도시되지 않은 차량용 CAN 버스를 더 포함할 수 있으며, 차량용 CAN 버스는 차량의 최하위 실행 시스템에 연결된다. 지능형 운전 시스템(200)과 차량 하위 실행 시스템 간의 정보 상호 작용은 차량 CAN 버스를 통해 전송된다.
도 3은 본 발명의 실시예에 의해 제공되는 지능형 운전 시스템(300)의 예시적인 블록도이다. 일부 실시예에서, 지능형 운전 시스템(300)은 도 2의 지능형 운전 시스템(200) 또는 지능형 운전 시스템(200)의 일부로 구현될 수 있으며, 차량의 주행을 제어하기 위해 사용된다.
도 3에 도시된 바와 같이, 지능형 운전 시스템(300)은 복수 모듈로 분할될 수 있으며, 예를 들어, 인식 모듈(301), 계획 모듈(302), 제어 모듈(303), 맵 매칭 모듈(304) 및 지능형 운전에 사용되는 일부 다른 모듈을 포함할 수 있다.
인식 모듈(301)은 환경 인식 및 측위를 위해 사용된다. 일부 실시예에서, 인식 모듈(301)은 센서 데이터, V2X(Vehicle to X, 차량용 무선 통신) 데이터, 고정밀 맵과 같은 데이터를 획득하고, 상기 데이터 중 적어도 하나를 기반으로 환경 인식 및 측위를 수행하여 인식 정보 및 측위 정보를 생성한다. 여기서, 인식 정보는 장애물 정보, 도로 표지/표시, 보행자/차량 정보, 주행 가능 영역 중 적어도 하나를 포함할 수 있지만 이에 제한되지 않는다. 측위 정보는 차량 자세를 포함한다.
계획 모듈(302)은 경로 계획 및 의사 결정의 수행을 위해 사용된다. 일부 실시예에서, 계획 모듈(302)은 인식 모듈(301)에 의해 생성된 인식 정보 및 측위 정보를 기반으로, 계획 및 의사 결정 정보를 생성한다. 일부 실시예에서, 계획 모듈(202)은 또한 V2X 데이터, 고정밀 맵 등 데이터 중 적어도 하나를 결합하여 계획 및 의사 결정 정보를 생성할 수 있다. 여기서, 계획 정보는 경로 계획 등을 포함할 수 있지민 이에 제한되지 않으며; 의사 결정 정보는 행동(예: 추종, 추월, 주차, 우회 등을 포함하지만 이에 제한되지 않음), 차량 방향, 차량 속도, 차량의 예상 가속도, 예상 스티어링 휠 각도를 포함하지만 이에 제한되지 않는다.
제어 모듈(303)은 계획 및 의사 결정 정보를 기반으로 차량의 최하위 실행 시스템의 제어 명령을 생성하고, 제어 명령을 전송하여 차량의 최하위 실행 시스템이 차량의 주행을 제어하도록 한다. 여기서, 제어 명령은 스티어링 휠 조향, 횡방향 제어 명령, 종방향 제어 명령 등을 포함할 수 있지만 이에 제한되지 않는다.
맵 매칭 모듈(304)은 차량 센서 데이터를 기반으로 복수 관측 시맨틱 특징을 결정하고, 차량의 초기 측위 정보를 기반으로 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하고 초기 측위 정보를 포함하는 복수 후보 측위 정보를 결정하며; 각 후보 측위 정보에 대해 모두 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 얻음으로써, 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로 차량의 최적 후보 측위 정보 및 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다.
일부 실시예에서, 맵 매칭 모듈(304)의 기능은 인식 모듈(301), 계획 모듈(302) 또는 제어 모듈(303)에 통합될 수 있고, 지능형 운전 시스템(300)과 독립되는 모듈로 구성될 수도 있으며, 맵 매칭 모듈(304)은 소프트웨어 모듈, 하드웨어 모듈 또는 소프트웨어와 하드웨어가 조합된 모듈일 수도 있다. 예를 들어, 맵 매칭 모듈(304)은 운영체제에서 실행되는 소프트웨어 모듈이며, 차량 하드웨어 시스템은 운영체제의 운영을 지원하는 하드웨어 시스템이다.
도 4는 본 발명의 실시예에 의해 제공되는 맵 매칭 장치(400)의 예시적인 블록도이다. 일부 실시예에서, 맵 매칭 장치(400)는 도 3의 맵 매칭 모듈(304) 또는 맵 매칭 모듈(304)의 일부로 구현될 수 있다.
도 4에 도시된 바와 같이, 맵 매칭 장치(400)는 획득 유닛(401), 제1 결정 유닛(402), 매칭 유닛(403) 및 제2 결정 유닛(404)을 포함할 수 있지만 이에 제한되지 않는다.
획득 유닛(401)
획득 유닛(401)은 차량의 관련 정보를 획득하며, 관련 정보는 예를 들어 초기 측위 정보 및 차량 센서 데이터 등과 같은 차량과 직접 또는 간접적으로 관련된 정보를 포함한다. 여기서, 초기 측위 정보는 차량 외부에서 제공된 선험 정보일 수 있고, 제2 결정 유닛(404)에 의해 추정될 수도 있으며; 차량 센서 데이터는 차량에 설치된 센서와의 데이터 상호작용을 통해 획득될 수 있다.
일부 실시예에서, 획득 유닛(401)은 초기 측위 정보를 기반으로 부분 맵 정보를 획득할 수 있다. 일부 실시예에서, 획득 유닛(401)는 초기 측위 정보를 기반으로 미리 구축된 벡터 시맨틱 맵에서 부분 맵 정보를 획득할 수 있으며, 부분 맵 정보는 벡터 시맨틱 맵의 일부분이다. 일부 실시예에서, 획득 유닛(401)은 초기 측위 정보를 기반으로, 최근접 이웃과 같은 알고리즘을 통해 벡터 시맨틱 맵을 인덱싱하여 부분 맵 정보를 획득할 수 있다.
미리 구축된 벡터 시맨틱 맵에는 맵 시맨틱 특징의 정보가 포함되며, 예를 들어, 맵 중의 차선, 교통노면표시, 교통신호등, 교통표지판 등은 모두 맵 시맨틱 특징이다. 맵 시맨틱 특징의 정보는 예를 들어 맵 시맨틱 특징의 시맨틱 레이블 및 위치 등과 같은 맵 시맨틱 특징과 관련된 정보를 포함한다.
본 실시예에서, 획득 유닛(401)은 부분 맵 정보를 획득하는 동시에 부분 맵 정보로부터 맵 시맨틱 특징의 정보를 획득할 수 있으며, 다시 말하면, 부분 맵 정보에 포함된 복수 맵 시맨틱 특징을 획득할 수 있다.
제1 결정 유닛(402)
제1 결정 유닛(402)은 초기 측위 정보를 기반으로 복수 후보 측위 정보를 결정하며, 이 복수 후보 측위 정보에 초기 측위 정보가 포함된다. 본 실시예에서, 초기 측위 정보는 일반적으로 상대적으로 큰 오차를 가지고, 동시에 맵 시맨틱 특징이 희소성이 강하다는 점을 고려하여, 초기 측위 정보를 맵 매칭에 직접 사용하면 매칭 정확도가 낮거나 유효한 매칭 특징이 적을 수 있으므로, 복수 후보 측위 정보를 결정함으로써 후속 맵 매칭의 정확도를 향상시키거나 유효한 매칭 특징의 수를 증가시킬 수 있다.
일부 실시예에서, 제1 결정 유닛(402)은 초기 측위 정보의 특정 범위 내 공간에 대해 이산 랜덤 샘플링을 수행하여 복수 후보 측위 정보를 획득할 수 있다. 일부 실시예에서, 제1 결정 유닛(402)은 몬테카를로 랜덤 샘플링을 통해 초기 측위 정보의 특정 공간 범위 r 내에서 특정 확률 분포에 따른 초기 측위 정보를 포함하는 n개의 후보 측위 정보를 생성한다. 그 중, 공간 범위 r과 후보 측위 정보의 개수 n은 모두 초기 측위 정보의 불확실성과 관련이 있으며, 일반적으로 초기 측위 정보의 불확실성이 높을수록 r과 n의 값이 커진다.
일부 실시예에서, 제1 결정 유닛(402)은 차량 센서 데이터를 기반으로 복수 관측 시맨틱 특징을 결정할 수 있고, 이러한 복수 관측 시맨틱 특징은 실시간 관측 시맨틱 특징이다. 예를 들어, 차량 센서 데이터는 이미지 데이터이며, 제1 결정 유닛(402)은 대상 검출 알고리즘을 통해 이미지 데이터를 처리하여 이미지에 포함된 대상의 카테고리 및 위치를 결정할 수 있고, 상기 대상은 관측 시맨틱 특징으로 이해될 수 있다. 예를 들어, 이미지에 포함된 차선, 교통노면표시(예: 직진, 좌회전, 우회전 등), 교통 신호등(즉, 신호등), 교통 표지판 등은 모두 관측 시맨틱 특징이다. 상기 센서 데이터의 에는 단지 설명을 위한 것이고, 본 발명을 제한하는 것이 아니며, 실제 적용에서, 상기 센서 데이터로부터 관측 시맨틱 특징을 인식할 수 있는 한, 상기 차량 센서 데이터는 임의의 형식(예: 라이다 데이터)일 수 있다.
매칭 유닛(403)
매칭 유닛(403)은 각 후보 측위 정보에 대해 모두 맵 매칭을 수행한다. 일부 실시예에서, 매칭 유닛(403)은 각 후보 측위 정보에 대해, 상기 후보 측위 정보를 기반으로, 복수 맵 시맨틱 특징을 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하며; 복수 관측 시맨틱 특징과 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득한다. 일부 실시예에서, 매칭 유닛(403)은 복수 관측 시맨틱 특징도 동일한 차량 센서의 좌표계로 변환하고, 동일한 차량 센서의 좌표계로 변환된 복수 관측 시맨틱 특징과 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득한다.
일부 실시예에서, 매칭 유닛(403)은 각 후보 맵 시맨틱 특징에 대해 관측 가능성 스크리닝을 수행하며, 즉 후보 맵 시맨틱 특징이 상기 차량 센서의 사각 영역 내에 위치하는지 여부를 판단하며, 위치하는 경우, 상기 후보 맵 시맨틱 특징을 관측 시맨틱 특징에 매칭될 수 없는 것으로 판단하며, 후속 매칭에 참여하지 못하도록 필터링해야 한다.
구체적으로, 매칭 유닛(403)은 각 후보 측위 정보에 대해, 상기 후보 측위 정보를 기반으로, 복수 맵 시맨틱 특징을 차량 센서의 좌표계로 변환하여 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득한 후, 상기 차량 센서의 사각 영역 내 후보 맵 시맨틱 특징을 제거하고; 관측 시맨틱 특징과 나머지 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득한다.
일부 실시예에서, 맵 매칭의 정확도를 향상하거나 유효한 매칭 특징의 수를 증가하기 위해, 본 실시예에서 매칭 쌍은 다음 조건 1 내지 조건 4를 만족해야 한다. 즉:
조건 1: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징은 일대일 대응된다. 즉, 하나의 후보 맵 시맨틱 특징은 하나의 관측 시맨틱 특징에만 매칭되고, 하나의 관측 시맨틱 특징은 하나의 후보 맵 시맨틱 특징에만 매칭된다.
조건 2: 후보 맵 시맨틱 특징의 시맨틱 레이블은 그에 매칭된 관측 시맨틱 특징의 시맨틱 레이블과 동일하다.
조건 3: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 유클리드 거리 임계값보다 작거나 같으며; 상기 시맨틱-유클리드 거리는 하나의 후보 맵 시맨틱 특징과 하나의 관측 시맨틱 특징의 유사성을 나타내며; 상기 유클리드 거리 임계값은 상기 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리와 반상관 관계를 갖는다. 여기서, 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리는 후보 맵 시맨틱 특징에 대응하는 위치(좌표값)와 후보 측위 정보(좌표값) 간의 유클리드 거리로 이해될 수 있다.
일부 실시예에서, 유클리드 거리 임계값은 다음 공식을 통해 결정된다. 즉:
상기 th은 유클리드 거리 임계값이고, th0은 설정된 고정 선험 임계값이고, t은 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리이고, f(t)은 t와 반상관 관계를 갖는 매핑 함수이다. 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리t가 클수록(즉, 후보 맵 시맨틱 특징이 후보 측위 정보와 멀어질수록), 매칭 오류가 발생하기 더 쉽고, 유클리드 거리 임계값th이 작을 수록 정확한 매칭의 확률이 높아진다.
조건 4: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 후보 맵 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작고, 상기 관측 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작다. 일부 실시예에서, 상기 후보 맵 시맨틱 특징과 각 관측 시맨틱 특징에 의해 하나의 시맨틱-유클리드 거리를 계산한다. 일부 실시예에서, 특정 시맨틱-유클리드 거리가 상기 후보 시맨틱 특징에 대응하는 복수 시맨틱-유클리드 거리 중에서 가장 작지만, 관측 시맨틱 특징에 대응하는 복수 시맨틱-유클리드 거리 중에서 가장 작지 않으면, 양자는 매칭 쌍이 아니다.
일부 실시예에서, 매칭 쌍은 또한 다음 조건 5를 만족해야 한다. 즉:
조건 5: 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일하다. 일부 실시예에서, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 유클리드 거리 임계값보다 작거나 같다.
일부 실시예에서, 상위 시맨틱 특징은 측위를 위한 대상의 전체 정보를 나타내고, 하위 시맨틱 특징은 측위를 위한 대상의 부분 또는 끝점을 나타낸다. 예를 들어, 상위 시맨틱 특징은 차선이고, 하위 시맨틱 특징은 차선의 끝점이다.
조건 5를 설정한 목적은 매칭 오류 확률을 줄이기 위한 것이며, 예를 들어, 특정 차선의 끝점이 다른 차선의 끝점에 매칭되는 확률을 줄인다.
현재의 일부 매칭 알고리즘, 예를 들어 최근접 이웃 매칭이나 무차별 대입 매칭은 상기 조건 1 내지 조건 5를 모두 만족하지 못한다.
일부 실시예에서, 매칭 유닛(403)은 다음 방식으로 후보 맵 시맨틱 특징과 임의의 관측 시맨틱 특징 간 시맨틱-유클리드 거리를 결정한다.
상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 서로 다른 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)이며;
상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 동일한 경우, 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리 및 유클리드 거리 임계값을 결정하며;
상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 작거나 같은 경우, 상기 시맨틱-유클리드 거리는 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리이며;
상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 큰 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)인 방식을 통해 결정된다.
일부 실시예에서, 시맨틱-유클리드 거리는 다음 공식을 통해 결정된다. 즉:
여기서, d는 시맨틱-유클리드 거리이며; INF는 무한 값(즉, 무효값)이며; th는 유클리드 거리 임계값이며; de=f(m, m')이고, f(m, m')는 유클리드 거리 계산 함수이고, 그 구체적인 형태는 m, m'의 기하학적 형태와 관련이 있는데, 예를 들어, 점과 점의 거리 메트릭, 선과 선의 거리 메트릭은 차이가 있지만, 모두 일종의 유클리드 거리값을 얻을 수 있으며; m은 관측 시맨틱 특징이고, m'은 후보 맵 시맨틱 특징이고, label은 관측 시맨틱 특징의 시맨틱 레이블이고, label'은 후보 맵 시맨틱 특징의 시맨틱 레이블이다.
일부 실시예에서, 조건 5를 만족시키기 위해, 관측 시맨틱 특징의 시맨틱 레이블이 후보 맵 시맨틱 특징의 시맨틱 레이블과 동일하고 상기 관측 시맨틱 특징 또는 상기 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일한지 여부를 판단하며, 동일하지 않으면, 상기 관측 시맨틱 특징과 상기 맵 시맨틱 특징 간의 시맨틱-유클리드 거리를 무효값(INF)으로 결정한다.
일부 실시예에서, 매칭 유닛(403)은 복수 관측 시맨틱 특징 및 복수 후보 맵 시맨틱 특징으로 구성된 시맨틱-유클리드 거리 행렬을 결정할 수 있다. 도 7에 도시된 시맨틱-유클리드 거리 행렬에서, m1, m2, m3, m4 및 m5는 관측 시맨틱 특징이고, m’1, m’2, m’3, m’4 및 m’5는 후보 맵 시맨틱 특징이다. 도 7에서, m1과 m’1 간의 시맨틱-유클리드 거리는 0.5이고, m1과 m’2 간의 시맨틱-유클리드 거리는 INF이며; m1과 m’3 간의 시맨틱-유클리드 거리는 0.1이며, 이로부터 알 수 있다 시피, 도 7에 도시된 시맨틱-유클리드 거리 행렬 중 각 요소는 시맨틱-유클리드 거리를 나타낸다. 일부 실시예에서, 도 7에 도시된 시맨틱-유클리드 거리 행렬 중에 무효값(INF)이 존재하므로, 시맨틱-유클리드 거리 행렬은 희소 행렬이며, 유효한 값만 저장하고 무효값(INF)은 저장하지 않으므로, 후속 매칭 효율이 향상된다.
일부 실시예에서, 매칭 유닛(403)은 시맨틱-유클리드 거리 행렬을 기반으로 거리 정렬 행렬을 결정할 수 있으며; 상기 거리 정렬 행렬 중 각 요소는 2-튜플이고, 상기 2-튜플은 시맨틱-유클리드 거리가 위치하는 행과 열의 정렬을 나타내며, 거리가 작을 수록 정렬값이 더 작고, 정렬값이 1이면 거리가 가장 작음을 나타낸다. 도 8에 도시된 거리 정렬 행렬은 도 7에 도시된 시맨틱-유클리드 거리 행렬을 기반으로 결정된 거리 정렬 행렬이다. 예를 들어, 도 7에서, m1와 m’1 간의 시맨틱-유클리드 거리가 위치하는 행과 열의 정렬이 각각 1 과 3이므로, 도 8에서, m1과 m’1에 대응하는 요소의 값은 (1, 3)이다.
일부 실시예에서, 매칭 유닛(403)은 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정할 수 있다. 예를 들어, 도 8에서, m1과 m’3을 매칭 쌍으로 결정하고, m5과 m’5도 매칭 쌍으로 결정된다.
일부 실시예에서, 매칭 유닛(403)은 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정한 후, 상기 2-튜플(1,1)에 대응하는 행과 열의 모든 요소를 모두 무효값(INF)으로 수정하고, 거리 정렬 행렬을 업데이트한다.
도 9는 도 8의 거리 정렬 행렬을 업데이트하여 얻은 행렬의 예시도이다. 조건 1을 만족시키기 위해, 도 8 중의 2-튜플(1,1)에 대응하는 행과 열의 모든 요소를 모두 무효값(INF)으로 수정하며, INF으로 수정된 요소로 인해 동일한 행과 열의 요소의 값이 변경되어 도 9와 같은 새로운 행렬을 형성한다. 무효값(INF)으로 수정되는 것은 거리 정렬 행렬을 업데이트하는 중간 동작일 뿐이며, 시맨틱-유클리드 거리가 무효값(INF)임을 나타내는 것이 아니다.
일부 실시예에서, 매칭 유닛(403)은 업데이트된 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 맵 시맨틱 특징을 매칭 쌍으로 결정할 수 있다. 예를 들어,도 9에서, m3과 m’2, m4과 m’4은 모두 매칭 쌍으로 결정된다.
매칭 유닛(403)은 업데이트된 거리 정렬 행렬 중에 2-튜플(1,1)이 없을 때까지, 거리 정렬 행렬을 반복하여 업데이트하여 매칭 쌍으로 결정할 수 있다.
일부 실시예에서, 임의의 매칭 시나리오에서, 거리 측정 방법이 정의되면 거리 행렬을 구성하고, 매칭하여 매칭 결과를 얻을 수 있으므로, 본 발명의 실시예에서 제시된 거리 행렬 기반 매칭 방법은 넓은 적용성을 갖는다.
제2 결정 유닛(404)
제2 결정 유닛(404)은 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 차량의 최적 후보 측위 정보와 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다. 일부 실시예에서, 실시간으로 획득된 관측 시맨틱 특징에 대해 맵 매칭을 수행할 수 있도록, 최적 후보 측위 정보를 초기 측위 정보로 사용할 수 있다.
일부 실시예에서, 제2 결정 유닛(404)은 매칭 쌍이 가장 많은 후보 측위 정보를 차량의 최적 후보 측위 정보로 선택한다.
일부 실시예에서, 제2 결정 유닛(404)은 측위에 대한 서로 다른 후보 맵 시맨틱 특징의 선험 기여도와 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 각 후보 측위 정보의 평가값을 결정할 수 있다. 여기서, 예를 들어 차선 등의 지면의 시맨틱 특징의 선험 기여도는 미리 설정될 수 있고, 도로 표지판 등은 차량 측위에 대한 기여도가 비 지면 특징보다 크므로, 차선의 선험 기여도를 도로 표지판의 선험 기여도보다 높게 설정할 수 있다.
일부 실시예에서, 후보 측위 정보의 평가값은 다음 공식을 통해 결정될 수 있다. 즉:
여기서, score은 후보 측위 정보의 평가값이고, λc 및 λd은 선험 할당 가중치이고, 본 실시예는 구체적인 값을 제한하지 않으며; ci은 제i번째 매칭 쌍에서 차량 측위에 대한 후보 맵 시맨틱 특징의 선험 기여도이며; di은 제i번째 매칭 쌍의 시맨틱-유클리드 거리이며; f(di)은 di 와 반상관 관계를 갖는 매핑 함수이며, 즉 di가 작을 수록, f(di)가 더 크다.
일부 실시예에서, 제2 결정 유닛(404)은 평가값이 가장 높은 후보 측위 정보를 차량의 최적 후보 측위 정보로 선택한다.
일부 실시예에서, 제2 결정 유닛(404)은 평가값이 가장 높은 후보 측위 정보를 선택한 후, 가장 높은 평가값이 평가값 임계값보다 작은 지 여부를 판단하며, 작은 경우, 맵 매칭이 실패한 것으로 판단한다. 여기서, 평가값 임계값은 선험값, 즉 미리 결정된 값이며, 본 실시예는 그 구체적인 값을 제한하지 않으며, 당업자는 실제 필요에 따라 설정할 수 있다.
일부 실시예에서, 맵 매칭 장치(400)의 각 유닛의 분할은 논리적 기능 분할일 뿐이며, 실제 구현에서 다른 방식으로 구현될 수 있는데, 획득 유닛(401), 제1 결정 유닛(402), 매칭 유닛(403) 및 제2 결정 유닛(404) 중 적어도 두개의 유닛이 하나의 유닛으로 구현될 수 있으며; 획득 유닛(401), 제1 결정 유닛(402), 매칭 유닛(403) 또는 제2 결정 유닛(404)은 또한 복수의 서브 유닛으로 분할될 수도 있다. 각 유닛 또는 서브 유닛은 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합을 통해 구현될 수 있다. 이러한 기능을 하드웨어 방식으로 수행할 것인지, 아니면 소프트웨어 방식으로 수행할 것인지는 기술적 해결책의 특정된 적용과 설계의 제약 조건에 의해 결정된다. 당업자는 각 특정된 적용에 대해 다양한 방법을 사용하여 상기 설명한 기능을 구현할 수 있다.
도 5는 본 발명의 실시예에 따른 전자기기의 구조도이다.
도 5에 도시된 바와 같이, 전자기기는 적어도 하나의 프로세서(501), 적어도 하나의 메모리(502) 및 적어도 하나의 통신 인터페이스(503)를 포함한다. 전자기기 중의 각 구성 요소는 버스 시스템(504)을 통해 연결된다. 통신 인터페이스(503)는 외부 장치와의 정보 전송에 사용된다. 버스 시스템(504)은 이들 구성 요소들 간의 연결 및 통신을 구현하기 위해 사용된다. 버스 시스템(504)에는 데이터 버스 외에 전력 버스, 제어 버스 및 상태 신호 버스가 포함된다. 다만, 명확한 설명을 위해, 도 5에서는 각 버스를 버스 시스템(504)으로 통합하여 표시한다.
본 발명의 실시예에서 메모리(502)는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 또는 휘발성 및 비휘발성 메모리를 모두 포함할 수 있다.
일부 실시예에서, 메모리(502)에는 실행 가능한 유닛 또는 데이터 구조, 또는 이들의 서브 세트, 또는 이들의 확장 세트, 운영체제 및 애플리케이션 프로그램과 같은 구성 요소가 저장된다.
상기 운영체제는 다양한 기본 작업을 구현하고 하드웨어 기반 작업을 처리하기 위한 프레임 워크 계층, 코어 라이브러리 계층, 드라이버 계층 등과 같은 다양한 시스템 프로그램을 포함한다. 애플리케이션 프로그램에는 다양한 애플리케이션 태스크를 구현하기 위한 미디어 플레이어(Media Player), 브라우저(Browser) 등과 같은 다양한 애플리케이션 프로그램이 포함된다. 본 발명의 실시예에 의해 제공되는 맵 매칭 방법을 구현하기 위한 프로그램은 애플리케이션 프로그램에 포함될 수 있다.
본 발명의 실시예에서, 프로세서(501)는 메모리(502)에 저장된 프로그램 또는 명령, 구체적으로 애플리케이션 프로그램에 저장된 프로그램 또는 명령을 호출하고, 프로세서(501)는 본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 다양한 실시예의 단계를 수행한다.
본 발명의 실시예에 의해 제공되는 맵 매칭 방법은 프로세서(501)에 적용되거나 프로세서(501)에 의해 구현될 수 있다. 프로세서(501)는 신호 처리 능력을 갖는 집적 회로 칩일 수 있다. 구현 과정에서, 상기 방법 실시예의 각 단계는 프로세서(501)의 하드웨어의 집적 로직 회로 또는 소프트웨어 형식의 명령에 의해 실행될 수 있다. 상기 프로세서(501)는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 현장 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 기타 프로그래머블 로직 디바이스, 이산 게이트, 트랜지스터 로직 디바이스 또는 이산된 하드웨어 컴포넌트일 수 있다. 범용프로세서는 마이크로프로세서일 수 있고, 또는 임의의 일반 프로세서 등일 수 있다.
본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 단계는 하드웨어 디코딩 프로세서에 의해 실행 및 완료되는 것으로 직접 구현되거나, 디코딩 프로세서에서 하드웨어 및 소프트웨어 유닛의 조합에 의해 실행 및 완료되는 것으로 구현될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 롬(read only memory, ROM), 프로그래머블 ROM 또는 전기적 소거 가능한 PROM 및 레지스터 등과 같은 당업계에서 신뢰성이 있는 저장 매체에 저장될 수 있다. 상기 저장 매체는 메모리(502)에 위치하며, 프로세서(501)는 메모리(502)의 정보를 판독하여 하드웨어를 통해 방법의 단계를 완료한다.
도 6은 본 발명의 실시예에 의해 제공되는 맵 매칭 방법의 예시적인 흐름도이다. 상기 방법의 실행 주체는 전자기기이며, 일부 실시예에서, 상기 방법의 실행 주체는 차량 탑재 장치가 지원하는 지능형 운전 시스템일 수 있다. 설명의 편의를 위해, 이하 실시예에서는 전자기기가 실행 주체인 경우를 예를 들어 맵 매칭 방법의 흐름을 설명한다.
도 6에 도시된 바와 같이, 단계 601에서, 전자기기는 차량의 초기 측위 정보 및 차량 센서 데이터를 획득한다.
단계 602에서, 전자기기는 상기 초기 측위 정보를 기반으로 복수 후보 측위 정보를 결정한다.
단계 603에서, 전자기기는 상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정한다.
단계 604에서, 전자기기는 상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득한다.
단계 605에서, 전자기기는 각 상기 후보 측위 정보에 대해,
6051, 상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하며;
6052, 상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득한다.
단계 606에서, 전자기기는 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정한다.
일부 실시예에서, 상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계 전에, 상기 방법은,
상기 차량 센서의 사각 영역 내 후보 맵 시맨틱 특징을 제거하는 단계;를 더 포함한다.
일부 실시예에서, 상기 매칭 쌍은 다음 조건 1 내지 조건 4를 만족한다. 즉:
조건 1: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징은 일대일 대응된다.
조건 2: 후보 맵 시맨틱 특징의 시맨틱 레이블은 그에 매칭된 관측 시맨틱 특징의 시맨틱 레이블과 동일하다.
조건 3: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 유클리드 거리 임계값보다 작거나 같으며; 상기 시맨틱-유클리드 거리는 하나의 후보 맵 시맨틱 특징과 하나의 관측 시맨틱 특징의 유사성을 나타내며; 상기 유클리드 거리 임계값은 상기 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리와 반상관 관계를 갖는다.
조건 4: 후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 후보 맵 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작고, 상기 관측 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작다.
일부 실시예에서, 상기 매칭 쌍은 또한 다음 조건 5를 만족한다. 즉:
조건 5: 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일하다.
일부 실시예에서, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 유클리드 거리 임계값보다 작거나 같다.
일부 실시예에서, 다음 방식으로 임의의 후보 맵 시맨틱 특징과 임의의 관측 시맨틱 특징의 시맨틱-유클리드 거리를 결정한다.
상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 서로 다른 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)이며;
상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 동일한 경우, 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리 및 유클리드 거리 임계값을 결정하며;
상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 작거나 같은 경우, 상기 시맨틱-유클리드 거리는 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리이며;
상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 큰 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)인 방식을 통해 결정된다.
일부 실시예에서, 상기 유클리드 거리 임계값은 다음 공식을 통해 결정된다. 즉:
상기 th은 유클리드 거리 임계값이고, th0은 설정된 고정 선험 임계값이고, t은 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리이고, f(t)은 t와 반상관 관계를 갖는 매핑 함수이다.
일부 실시예에서, 관측 시맨틱 특징의 시맨틱 레이블이 후보 맵 시맨틱 특징의 시맨틱 레이블과 동일하고, 상기 관측 시맨틱 특징 또는 상기 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일한지 여부를 판단하며, 동일하지 않으면, 상기 관측 시맨틱 특징과 상기 맵 시맨틱 특징 간의 시맨틱-유클리드 거리를 무효값(INF)으로 결정한다.
일부 실시예에서, 상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계는,
상기 복수 관측 시맨틱 특징 및 상기 복수 후보 맵 시맨틱 특징으로 구성된 시맨틱-유클리드 거리 행렬을 결정하는 단계;
상기 시맨틱-유클리드 거리 행렬을 기반으로, 거리 정렬 행렬을 결정하는 단계; 상기 거리 정렬 행렬 중의 각 요소는 2-튜플이며, 상기 2-튜플은 시맨틱-유클리드 거리가 위치하는 행과 열의 정렬을 나타냄;
상기 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계;를 포함한다.
일부 실시예에서, 상기 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계 후에, 상기 방법은,
상기 2-튜플(1,1)에 대응하는 행과 열의 모든 요소를 모두 무효값(INF)으로 수정하고, 거리 정렬 행렬을 업데이트하는 단계;
업데이트된 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계;
업데이트된 거리 정렬 행렬 중에 2-튜플(1,1)이 없을 때까지, 상기 두 단계를 반복하는 단계;를 더 포함한다.
일부 실시예에서, 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계는,
매칭 쌍이 가장 많은 후보 측위 정보를 상기 차량의 최적 후보 측위 정보로 선택하는 단계;를 포함한다.
일부 실시예에서, 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계는,
차량 측위에 대한 서로 다른 후보 맵 시맨틱 특징의 선험 기여도와 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 각 후보 측위 정보의 평가값을 결정하는 단계;
평가값이 가장 높은 후보 측위 정보를 상기 차량의 최적 후보 측위 정보로 선택하는 단계;를 포함한다.
일부 실시예에서, 상기 후보 측위 정보의 평가값은 다음 공식을 통해 결정된다. 즉:
상기 score은 후보 측위 정보의 평가값이고, λ c 및 λ d은 연역적인 할당 가중치이고, ci은 제i번째 매칭 쌍에서 차량 측위에 대한 후보 맵 시맨틱 특징의 선험 기여도이고, di은 제i번째 매칭 쌍의 시맨틱-유클리드 거리이고, f(di)은 di 와 반상관 관계를 갖는 매핑 함수이다.
일부 실시예에서, 평가값이 가장 높은 후보 측위 정보를 선택하는 단계 후에, 상기 방법은,
가장 높은 평가값이 평가값 임계값보다 작은 지 여부를 판단하며, 작은 경우, 맵 매칭이 실패한 것으로 판단하는 단계;를 더 포함한다.
설명을 단순화하기 위해, 전술한 다양한 방법 실시예에 대해 일련의 동작의 조합으로 설명하였지만, 당업자는 본 발명의 실시예가 상기에 설명된 동작 순서에 의해 한정되지 않으며, 본 발명의 실시예의 단계는 다른 순서에 따라 수행되거나 또는 동시에 수행될 수 있음을 이해할 수 있을 것이다. 또한, 당업자는 본 명세서에 기재된 실시예들은 모두 대안적 실시예인 것을 이해할 수 있을 것이다.
본 실시예는 또한 비일시적 컴퓨터 판독 가능 저장 매체를 개시하며, 상기 비일시적 컴퓨터 판독 가능 저장 매체에는 프로그램 또는 명령이 저장되고, 상기 프로그램 또는 명령에 따라 맵 매칭 방법 실시예의 각 단계를 수행할 수 있으며, 내용이 반복되는 것을 피하기 위해 여기서는 상세한 설명을 생략한다.
본 명세서에서, “포함”, “함유” 또는 다른 변형은 비배타적 포함을 가리키며, 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 장치가 그 요소 뿐만 아니라 명확하게 나열되지 않은 다른 요소도 포함하며, 또는 이러한 프로세스, 방법, 물품 또는 장치의 고유한 요소도 포함한다. 별도로 제한이 없는 한, “~을 포함”으로 정의된 요소는 해당 요소를 포함하는 프로세스, 방법, 물품 또는 장치에서 다른 동일한 요소의 존재를 배제하지 않는다.
당업자는 본 명세서에 기재된 일부 실시예가 다른 실시예에 포함된 특정 특징을 포함하지만 다른 특징인 것이 아니며, 상이한 실시예의 특징의 조합은 이들이 본 발명의 범위에 속하고 상이한 실시예를 형성한다는 것을 이해할 수 있을 것이다.
당업자는 각 실시예에 대한 설명이 모두 요지가 있으며, 특정 실시예에서 상세히 설명되지 않은 부분은 다른 실시예의 관련 설명을 참조할 수 있음을 이해할 수 있다.
본 발명의 실시예를 첨부도면을 결부하여 설명하였지만, 본 기술 분야의 통상의 지식을 가진 자라면 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하며, 이러한 수정 및 변형이 모두 특허청구범위에 속한다.
산업적 이용 가능성
본 발명의 실시예는 벡터 시맨틱 맵에 적용되며, 벡터 시맨틱 맵의 벡터 정보(예: 맵 시맨틱 특징 정보)만을 사용하여 관측 특징과 맵 특징의 실시간 매칭을 실현하고, 별도의 디스크립터 및 강도와 같은 추가 데이터에 의존하지 않고, 스토리지 요구 사항 및 컴퓨팅 전력 사용량을 감소하고, 좋은 매칭 효과를 달성한다. 또한, 본 발명의 실시예는 센서 유형(카메라, 레이저 레이더 등이 적용 가능함)에 대한 특별한 요구 사항이 없다. 산업상 이용 가능성이 있다.
Claims (17)
- 맵 매칭 방법에 있어서,
차량의 초기 측위 정보 및 차량의 센서 데이터를 획득하는 단계;
상기 초기 측위 정보를 기반으로, 복수의 후보 측위 정보를 결정하는 단계;
상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하는 단계;
상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하는 단계;
상기 각 후보 측위 정보에 대해,
상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하는 단계;
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계;
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계;를 포함하는 것을 특징으로 하는 맵 매칭 방법. - 제1항에 있어서,
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계 전에, 상기 방법은 상기 차량 센서의 사각 영역 내 후보 맵 시맨틱 특징을 제거하는 단계를 더 포함하는 것을 특징으로 하는 맵 매칭 방법. - 제1항에 있어서,
상기 매칭 쌍은 다음 조건, 즉:
후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징은 일대일 대응되며;
후보 맵 시맨틱 특징의 시맨틱 레이블과 그에 매칭된 관측 시맨틱 특징의 시맨틱 레이블은 동일하며;
후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 유클리드 거리 임계값보다 작거나 같으며; 상기 시맨틱-유클리드 거리는 하나의 후보 맵 시맨틱 특징과 하나의 관측 시맨틱 특징의 유사성을 나타내며; 상기 유클리드 거리 임계값은 상기 후보 맵 시맨틱 특징과 후보 측위 정보 간의 유클리드 거리와 반상관 관계를 가지며;
후보 맵 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 후보 맵 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작고, 상기 관측 시맨틱 특징에 대응되는 모든 시맨틱-유클리드 거리 중에서 가장 작은 조건을 만족하는 것을 특징으로 하는 맵 매칭 방법. - 제3항에 있어서,
상기 매칭 쌍은 또한 다음 조건, 즉:
후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일한 조건;을 더 만족하는 것을 특징으로 하는 맵 매칭 방법. - 제4항에 있어서,
상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징과 그에 매칭된 관측 시맨틱 특징의 상위 시맨틱 특징 간의 시맨틱-유클리드 거리는 상기 유클리드 거리 임계값보다 작거나 같은 것을 특징으로 하는 맵 매칭 방법. - 제3항에 있어서,
임의의 후보 맵 시맨틱 특징과 임의의 관측 시맨틱 특징의 시맨틱-유클리드 거리는 다음 방식, 즉:
상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 서로 다른 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)이며;
상기 관측 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 시맨틱 레이블이 동일한 경우, 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리 및 유클리드 거리 임계값을 결정하며;
상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 작거나 같은 경우, 상기 시맨틱-유클리드 거리는 상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리이며;
상기 관측 시맨틱 특징에 대응하는 좌표값과 상기 후보 맵 시맨틱 특징에 대응하는 좌표값 간의 유클리드 거리가 상기 유클리드 거리 임계값보다 큰 경우, 상기 시맨틱-유클리드 거리는 무효값(INF)인 방식을 통해 결정되는 것을 특징으로 하는 맵 매칭 방법. - 제6항에 있어서,
관측 시맨틱 특징의 시맨틱 레이블이 후보 맵 시맨틱 특징의 시맨틱 레이블과 동일하고, 상기 관측 시맨틱 특징 또는 상기 후보 맵 시맨틱 특징이 상위 시맨틱 특징을 갖는 경우, 상기 관측 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블과 상기 후보 맵 시맨틱 특징의 상위 시맨틱 특징의 시맨틱 레이블이 동일한지 여부를 판단하며, 동일하지 않으면, 상기 관측 시맨틱 특징과 상기 맵 시맨틱 특징 간의 시맨틱-유클리드 거리를 무효값(INF)으로 결정하는 것을 특징으로 하는 맵 매칭 방법. - 제3항에 있어서,
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하는 단계는,
상기 복수 관측 시맨틱 특징 및 상기 복수 후보 맵 시맨틱 특징으로 구성된 시맨틱-유클리드 거리 행렬을 결정하는 단계;
상기 시맨틱-유클리드 거리 행렬을 기반으로, 거리 정렬 행렬을 결정하는 단계; 상기 거리 정렬 행렬 중의 각 요소는 2-튜플이며, 상기 2-튜플은 시맨틱-유클리드 거리가 위치하는 행과 열의 정렬을 나타냄;
상기 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계;를 포함하는 것을 특징으로 하는 맵 매칭 방법. - 제9항에 있어서,
상기 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계 후에, 상기 방법은,
상기 2-튜플(1,1)에 대응하는 행과 열의 모든 요소를 모두 무효값(INF)으로 수정하고, 거리 정렬 행렬을 업데이트하는 단계;
업데이트된 거리 정렬 행렬 중의 2-튜플(1,1)에 대응하는 관측 시맨틱 특징과 후보 맵 시맨틱 특징을 매칭 쌍으로 결정하는 단계;
업데이트된 거리 정렬 행렬 중에 2-튜플(1,1)이 없을 때까지, 상기 두 단계를 반복하는 단계;를 더 포함하는 것을 특징으로 하는 맵 매칭 방법. - 제1항에 있어서,
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계는,
매칭 쌍이 가장 많은 후보 측위 정보를 상기 차량의 최적 후보 측위 정보로 선택하는 단계;를 포함하는 것을 특징으로 하는 맵 매칭 방법. - 제1항에 있어서,
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하는 단계는,
차량 측위에 대한 서로 다른 후보 맵 시맨틱 특징의 선험 기여도와 상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 각 후보 측위 정보의 평가값을 결정하는 단계;
평가값이 가장 높은 후보 측위 정보를 상기 차량의 최적 후보 측위 정보로 선택하는 단계;를 포함하는 것을 특징으로 하는 맵 매칭 방법. - 제12항에 있어서,
평가값이 가장 높은 후보 측위 정보를 선택하는 단계 후에, 상기 방법은,
가장 높은 평가값이 평가값 임계값보다 작은 지 여부를 판단하며, 작은 경우, 맵 매칭이 실패한 것으로 판단하는 단계;를 더 포함하는 것을 특징으로 하는 맵 매칭 방법. - 맵 매칭 장치로서,
차량의 초기 측위 정보 및 차량 센서 데이터를 획득하고, 상기 초기 측위 정보를 기반으로, 복수 맵 시맨틱 특징이 포함된 부분 맵 정보를 획득하기 위한 획득 유닛;
상기 초기 측위 정보를 기반으로 복수 후보 측위 정보를 결정하고, 상기 차량 센서 데이터를 기반으로, 복수 관측 시맨틱 특징을 결정하기 위한 제1 결정 유닛;
상기 각 후보 측위 정보에 대해,
상기 후보 측위 정보를 기반으로, 상기 복수 맵 시맨틱 특징을 상기 차량 센서의 좌표계로 변환하여, 상기 좌표계에서 복수 후보 맵 시맨틱 특징을 획득하며,
상기 복수 관측 시맨틱 특징과 상기 복수 후보 맵 시맨틱 특징을 매칭하여 매칭 쌍을 획득하기 위한 매칭 유닛;
상기 각 후보 측위 정보에 대응하는 매칭 쌍을 기반으로, 상기 차량의 최적 후보 측위 정보와 상기 최적 후보 측위 정보에 대응하는 매칭 쌍을 결정하기 위한 제2 결정 유닛;을 포함하는 것을 특징으로 하는 맵 매칭 장치. - 프로세서 및 메모리를 포함하는 전자기기에 있어서,
상기 프로세서는 상기 메모리에 저장된 프로그램 또는 명령을 호출하여 제1항의 방법의 단계를 수행하는 것을 특징으로 하는 전자기기. - 프로그램 또는 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 프로그램 또는 명령이 컴퓨터에 의해 실행됨으로써 제1항의 방법의 단계가 수행되는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011031457.0A CN112179359B (zh) | 2020-09-27 | 2020-09-27 | 一种地图匹配方法、装置、电子设备和存储介质 |
CN202011031457.0 | 2020-09-27 | ||
PCT/CN2020/123162 WO2022062019A1 (zh) | 2020-09-27 | 2020-10-23 | 一种地图匹配方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230086664A true KR20230086664A (ko) | 2023-06-15 |
Family
ID=73944130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237009778A KR20230086664A (ko) | 2020-09-27 | 2020-10-23 | 맵 매칭 방법, 장치, 전자기기 및 저장 매체 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230358547A1 (ko) |
EP (1) | EP4206610A4 (ko) |
JP (1) | JP7542284B2 (ko) |
KR (1) | KR20230086664A (ko) |
CN (1) | CN112179359B (ko) |
WO (1) | WO2022062019A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022212704A1 (de) | 2022-11-28 | 2024-05-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Abgleichen einer digitalen Straßenkarte |
CN116105603B (zh) * | 2023-04-13 | 2023-09-19 | 安徽蔚来智驾科技有限公司 | 用于确定移动物体在场所中的位置的方法及系统 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4934167B2 (ja) * | 2009-06-18 | 2012-05-16 | クラリオン株式会社 | 位置検出装置および位置検出プログラム |
CN102313547B (zh) * | 2011-05-26 | 2013-02-13 | 东南大学 | 基于手绘轮廓语义地图的移动机器人视觉导航方法 |
US11761790B2 (en) | 2016-12-09 | 2023-09-19 | Tomtom Global Content B.V. | Method and system for image-based positioning and mapping for a road network utilizing object detection |
KR102463702B1 (ko) * | 2016-12-15 | 2022-11-07 | 현대자동차주식회사 | 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법 |
US10430968B2 (en) | 2017-03-14 | 2019-10-01 | Ford Global Technologies, Llc | Vehicle localization using cameras |
CN108732582B (zh) * | 2017-04-20 | 2020-07-10 | 百度在线网络技术(北京)有限公司 | 车辆定位方法和装置 |
CN107144285B (zh) * | 2017-05-08 | 2020-06-26 | 深圳地平线机器人科技有限公司 | 位姿信息确定方法、装置和可移动设备 |
CN107990899B (zh) * | 2017-11-22 | 2020-06-30 | 驭势科技(北京)有限公司 | 一种基于slam的定位方法和系统 |
US10606269B2 (en) | 2017-12-19 | 2020-03-31 | X Development Llc | Semantic obstacle recognition for path planning |
CN109145171B (zh) * | 2018-07-23 | 2020-09-08 | 广州市城市规划勘测设计研究院 | 一种多尺度地图数据更新方法 |
US10983526B2 (en) * | 2018-09-17 | 2021-04-20 | Huawei Technologies Co., Ltd. | Method and system for generating a semantic point cloud map |
JP7111586B2 (ja) | 2018-11-09 | 2022-08-02 | 株式会社Soken | 物体検出装置 |
CN109733383B (zh) * | 2018-12-13 | 2021-07-20 | 初速度(苏州)科技有限公司 | 一种自适应的自动泊车方法及系统 |
CN111323029B (zh) * | 2018-12-16 | 2022-05-27 | 北京魔门塔科技有限公司 | 导航方法及车载终端 |
CN111323004B (zh) * | 2018-12-16 | 2022-05-13 | 北京魔门塔科技有限公司 | 初始位置的确定方法及车载终端 |
US10922558B2 (en) | 2018-12-20 | 2021-02-16 | Here Global B.V. | Method and apparatus for localization using search space pruning |
CN110807412B (zh) * | 2019-10-30 | 2022-09-23 | 驭势科技(北京)有限公司 | 一种车辆激光定位的方法、车载设备和存储介质 |
CN110866079B (zh) * | 2019-11-11 | 2023-05-05 | 桂林理工大学 | 一种智慧景区实景语义地图的生成与辅助定位方法 |
-
2020
- 2020-09-27 CN CN202011031457.0A patent/CN112179359B/zh active Active
- 2020-10-23 KR KR1020237009778A patent/KR20230086664A/ko unknown
- 2020-10-23 WO PCT/CN2020/123162 patent/WO2022062019A1/zh unknown
- 2020-10-23 US US18/028,565 patent/US20230358547A1/en active Pending
- 2020-10-23 JP JP2023516484A patent/JP7542284B2/ja active Active
- 2020-10-23 EP EP20954865.0A patent/EP4206610A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023541167A (ja) | 2023-09-28 |
EP4206610A4 (en) | 2024-02-28 |
WO2022062019A1 (zh) | 2022-03-31 |
JP7542284B2 (ja) | 2024-08-30 |
EP4206610A1 (en) | 2023-07-05 |
CN112179359A (zh) | 2021-01-05 |
CN112179359B (zh) | 2022-09-23 |
US20230358547A1 (en) | 2023-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113272830B (zh) | 行为预测系统中的轨迹表示 | |
US11175145B2 (en) | System and method for precision localization and mapping | |
US12061266B2 (en) | Deep learning for object detection using pillars | |
JP7239703B2 (ja) | 領域外コンテキストを用いたオブジェクト分類 | |
US10072936B2 (en) | Estimating a street type using sensor-based surroundings data | |
KR102539942B1 (ko) | 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
US10369993B2 (en) | Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free | |
CN110345955A (zh) | 用于自动驾驶的感知与规划协作框架 | |
US20180211119A1 (en) | Sign Recognition for Autonomous Vehicles | |
CN110325935A (zh) | 用于自动驾驶车辆的路径规划的基于驾驶场景的车道引导线 | |
US12056935B2 (en) | Machine learning-based framework for drivable surface annotation | |
US11544868B2 (en) | Object location coordinate determination | |
KR20230086664A (ko) | 맵 매칭 방법, 장치, 전자기기 및 저장 매체 | |
CN111638536A (zh) | 用于情境感知众包稀疏高清晰度地图的方法和装置 | |
WO2024008086A1 (zh) | 轨迹预测方法及其装置、介质、程序产品和电子设备 | |
EP4095009B1 (en) | Method and device for operating a self-driving car | |
KR20240047408A (ko) | 비전 기반 시스템을 위한 검출된 오브젝트 경로 예측 | |
US20220388531A1 (en) | Method and device for operating a self-driving car | |
CN112710316A (zh) | 专注于构造和本地化技术领域的动态地图生成 | |
EP3995922B1 (en) | Method and system for providing perception scan data for controlling a self-driving vehicle | |
US20220404506A1 (en) | Online validation of lidar-to-lidar alignment and lidar-to-vehicle alignment | |
JP7261892B2 (ja) | 占有格子地図管理装置 | |
US11544899B2 (en) | System and method for generating terrain maps | |
CN115482679B (zh) | 一种自动驾驶盲区预警方法、装置和消息服务器 | |
US20240212319A1 (en) | Classification of objects present on a road |