KR20230043754A - 포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량 - Google Patents

포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량 Download PDF

Info

Publication number
KR20230043754A
KR20230043754A KR1020220120292A KR20220120292A KR20230043754A KR 20230043754 A KR20230043754 A KR 20230043754A KR 1020220120292 A KR1020220120292 A KR 1020220120292A KR 20220120292 A KR20220120292 A KR 20220120292A KR 20230043754 A KR20230043754 A KR 20230043754A
Authority
KR
South Korea
Prior art keywords
point cloud
keypoint
current
frame
target
Prior art date
Application number
KR1020220120292A
Other languages
English (en)
Inventor
샹위 푸
구오웨이 완
야오 저우
량 펑
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20230043754A publication Critical patent/KR20230043754A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량을 제공하고, 포지셔닝 기술분야에 관한 것으로, 특히, 자율주행 및 인공 지능 기술에 관한 것이며, 클라우드 컴퓨팅에 응용될 수 있다. 구체적인 구현방안은 다음과 같다. 포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정하고; 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트에 연관되는 포인트 클라우드 분포 특징에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택하며; 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정한다. 본 개시의 기술에 따르면, GPS가 없거나 GPS 신호가 약한 주행 환경에서 포지셔닝될 단말에 대한 정확한 포지셔닝을 구현할 수 있다.

Description

포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량{POSITIONING METHOD AND APPARATUS, DEVICE, SYSTEM, MEDIUM AND SELF-DRIVING VEHICLE}
본 개시는 포지셔닝 기술분야에 관한 것으로, 특히, 자율주행 및 인공 지능 기술에 관한 것이고, 클라우드 컴퓨팅에 응용될 수 있으며, 구체적으로, 포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량에 관한 것이다.
자율주행 기술은 인공 지능, 비주얼 컴퓨팅, 레이더, 모니터링 장치 및 글로벌 포지셔닝 시스템(Global Positioning System, GPS) 등 협력에 의존하여, 사람이 능동적으로 조작하지 않는 상황에서 컴퓨터가 이동 가능한 단말의 주행 과정을 자율적으로 제어하는 것이다.
이동 가능한 단말은 자체에 장착된 센싱 시스템에 의존하여 도로 환경을 감지하고, 노선 계획 및 순항 등을 자율적으로 수행하여, 제어 과정에 데이터 지원을 제공함으로써, 주행 안전을 확보한다.
본 개시는 GPS에 의존하지 않고 포지셔닝을 수행하는 포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량을 제공한다.
본 개시의 일 측면에 따르면, 포지셔닝 방법을 제공하고, 해당 방법은,
포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정하는 단계;
현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트에 연관되는 포인트 클라우드 분포 특징에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택하는 단계;
타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정하는 단계를 포함한다.
본 개시의 다른 측면에 따르면, 전자 설비를 더 제공하고, 해당 전자 설비는,
적어도 하나의 프로세서; 및
적어도 하나의 프로세서와 통신적으로 연결되는 메모리를 포함하되, 여기서,
메모리는 적어도 하나의 프로세서에 의해 실행 가능한 명령을 저장하고, 명령이 적어도 하나의 프로세서에 의해 실행되어, 적어도 하나의 프로세서가 본 개시의 실시예에서 제공하는 임의의 포지셔닝 방법을 수행할 수 있도록 한다.
본 개시의 다른 측면에 따르면, 포지셔닝 시스템을 더 제공하고, 해당 시스템은 포지셔닝될 단말 및 클라우드 서버를 포함하되, 여기서, 포지셔닝될 단말과 클라우드 서버는 통신적으로 연결되고;
포지셔닝될 단말은 자신이 수집한 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정하며, 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 클라우드 서버에 송신하고;
클라우드 서버는 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트에 연관되는 포인트 클라우드 분포 특징에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택하며;
클라우드 서버는 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정하고, 현재 포즈 데이터를 포지셔닝될 단말에 피드백한다.
본 개시의 다른 측면에 따르면, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 더 제공하고, 여기서, 컴퓨터 명령은 컴퓨터가 본 개시의 실시예에서 제공하는 임의의 포지셔닝 방법을 수행하도록 한다.
본 개시의 다른 측면에 따르면, 자율주행 차량을 더 제공하고, 해당 차량은 본 개시의 실시예에서 제공하는 임의의 전자 설비를 포함한다.
본 개시의 기술에 따르면, GPS가 없거나 GPS 신호가 약한 주행 환경에서 포지셔닝될 단말에 대한 정확한 포지셔닝을 구현할 수 있다.
본 문에서 설명된 내용은 본 개시의 실시예의 핵심적인 특징 또는 중요한 특징을 식별하기 위한 것이 아니고, 본 개시의 범위를 한정하려는 의도가 아님을 이해하여야 한다. 본 개시의 기타 특징은 하기 명세서를 통해 쉽게 이해될 수 있다.
도면은 본 방안을 보다 잘 이해하기 위한 것이고, 본 개시를 한정하지 않는다. 여기서:
도 1a는 본 개시의 실시예에 의해 제공되는 포지셔닝 방법의 흐름도이다.
도 1b는 본 개시의 실시예에 의해 제공되는 포지셔닝 네트워크의 구조도이다.
도 1c는 본 개시의 실시예에 의해 제공되는 포지셔닝 시스템의 구조도이다.
도 1d는 본 개시의 실시예에 의해 제공되는 포지셔닝 시스템의 아키텍처 도면이다.
도 2a는 본 개시의 실시예에 의해 제공되는 다른 포지셔닝 방법의 흐름도이다.
도 2b는 본 개시의 실시예에 의해 제공되는 포인트 클라우드 데이터 전처리 네트워크의 구조도이다.
도 2c는 본 개시의 실시예에 의해 제공되는 특징 추출 네트워크의 구조도이다.
도 2d는 본 개시의 실시예에 의해 제공되는 키포인트 매칭 네트워크의 구조도이다.
도 2e는 본 개시의 실시예에 의해 제공되는 다른 특징 추출 네트워크의 구조도이다.
도 3a는 본 개시의 실시예에 의해 제공되는 다른 포지셔닝 방법의 흐름도이다.
도 3b는 본 개시의 실시예에 의해 제공되는 다른 키포인트 매칭 네트워크의 구조도이다.
도 4a는 본 개시의 실시예에 의해 제공되는 다른 포지셔닝 방법의 흐름도이다.
도 4b는 본 개시의 실시예에 의해 제공되는 다른 키포인트 매칭 네트워크의 구조도이다.
도 5는 본 개시의 실시예에 의해 제공되는 포지셔닝 장치의 구조도이다.
도 6은 본 개시의 실시예의 포지셔닝 방법을 구현하기 위한 전자 설비의 블록도이다.
이하, 도면을 결합하여 본 개시의 예시적인 실시예에 대해 설명하도록 하고, 여기서 본 개시의 실시예를 포함하는 각종 상세한 설명은 이해를 돕기 위한 것이며, 이들을 예시적인 것으로 간주하여야 한다. 따라서, 본 분야의 당업자는 본 개시의 범위 및 사상을 벗어나지 않고 여기서 설명된 실시예에 대하여 다양한 변경 및 수정이 가능함을 이해할 것이다. 마찬가지로, 명확하고 간결하게 하기 위해, 이하의 설명에서는 공지된 기능 및 구조에 대한 설명을 생략하도록 한다.
본 개시에 의해 제공되는 각각의 포지셔닝 방법 및 포지셔닝 장치는 주행 환경에서 포지셔닝될 단말을 포지셔닝하는 경우에 적용되고, 특히 주행 환경에서 GPS 신호가 비교적 약하거나 차단될 때 표지셔닝하는 경우에 적용된다. 본 개시에 의해 제공되는 포지셔닝 방법은 포지셔닝 장치에 의해 수행될 수 있고, 해당 포지셔닝 장치는 소프트웨어 및/또는 하드웨어로 구현되며, 구체적으로 전자 설비에 구성되고, 해당 전자 설비는 포지셔닝될 단말 및/또는 포지셔닝될 단말과 연관되는 기타 컴퓨팅 설비, 예를 들어 클라우드 서버일 수 있다. 예시적으로, 포지셔닝될 단말은 차량 또는 로봇 등일 수 있고, 특히, 포지셔닝될 단말은 자율주행 차량일 수 있다.
이하, 우선적으로 본 개시에 의해 제공되는 각 포지셔닝 방법에 대해 상세히 설명한다.
도 1a에 도시된 포지셔닝 방법을 참조하면, 해당 방법은 다음의 단계를 포함한다.
단계(S101), 포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정한다.
여기서, 현재 프레임의 포인트 클라우드 데이터는 포지셔닝될 단말이 현재 시각에 수집한 하나의 프레임의 포인트 클라우드 데이터를 나타낸다. 여기서, 포인트 클라우드 데이터는 수집 장치에 의해 결정되는 기하적 위치 정보를 포함할 수 있고, 색상 정보(RGB) 또는 반사 강도 정보(Intensity) 등을 더 포함할 수 있다.
여기서, 현재 키포인트는 현재 프레임의 포인트 클라우드 중에서 수집 영역의 환경 상황을 반영할 수 있는 샘플링 포인트를 나타낸다. 현재 키포인트의 개수는 적어도 하나일 수 있고, 일반적으로는 복수 개이다. 포인트 클라우드 분포 특징은 특정된 현재 키포인트와 현재 프레임의 포인트 클라우드 중 기타 수집 포인트의 상대적 위치 관계를 나타낸다.
선택적으로, 포인트 클라우드 분포 특징은 글로벌 포인트 클라우드 분포 특징을 포함할 수 있고, 이는 특정 키포인트와 해당 키포인트가 속하는 포인트 클라우드 프레임 중 기타 키포인트 사이의 상대적 위치 관계를 나타낸다.
선택적으로, 포인트 클라우드 분포 특징은 로컬 포인트 클라우드 분포 특징을 포함할 수 있고, 이는, 특정 키포인트와 해당 키포인트가 속하는 포인트 클라우드 프레임 중의 인접 영역(neighborhood range) 내의 인접 수집 포인트의 상대적 위치 관계를 나타낸다.
여기서, 키포인트의 인접 수집 포인트는 해당 키포인트가 속하는 포인트 클라우드 프레임에서 해당 키포인트가 위치하는 인접 영역 범위 내의 기타 수집 포인트로 이해될 수 있다. 여기서, 인접 영역 범위는 기술자가 수요 또는 경험치에 따라 결정할 수 있다. 예를 들어, 인접 영역 범위는 키포인트를 중심으로 하고, 기설정된 길이를 반경으로 하는 기하적 영역(예를 들어, 원형 영역)일 수 있다. 여기서, 기설정된 길이는 수요 또는 대량의 실험에 따라 결정될 수 있고, 예를 들어, 2m일 수 있다.
이해할 수 있는 것은, 포인트 클라우드 분포 특징을 상이한 상대적 위치 관계를 나타내는 분포 특징 데이터로 세부화하여, 포인트 클라우드 분포 특징의 풍부성을 향상시키고, 현재 키포인트와 매칭되는 타겟 키포인트의 유효성 및 정확성을 향상시키는데 유리함으로써, 현재 포즈 데이터 결정 결과의 정확도를 향상시키는데 유리하다.
단계(S102), 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트에 연관되는 포인트 클라우드 분포 특징에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택한다.
여기서, 글로벌 포지셔닝 맵은 사전에 포지셔닝될 단말의 주행 환경에서 수집한 적어도 하나의 기준 프레임의 포인트 클라우드 데이터에 기반하여 구축된 환경 맵으로 이해될 수 있다. 각 기준 프레임의 포인트 클라우드 데이터에 대해, 해당 기준 프레임의 포인트 클라우드 데이터에 따라, 기준 키포인트 및 기준 키포인트와 연관되는 포인트 클라우드 분포 특징을 결정한다.
예시적으로, 현재 키포인트의 포인트 클라우드 분포 특징과 글로벌 포지셔닝 맵 중의 기준 키포인트와 연관되는 포인트 클라우드 분포 특징을 매칭하고, 매칭 결과에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택한다.
단계(S103), 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정한다.
여기서, 기준 포즈 데이터는 타겟 키포인트가 속하는 기준 프레임의 포인트 클라우드에 대응하는 수집 과정에서의 포즈 데이터를 나타낸다.
이해할 수 있는 것은, 글로벌 포지셔닝 맵으로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 결정함으로써, 글로벌 포지셔닝 맵에서 타겟 키포인트가 속하는 기준 프레임의 포인트 클라우드에 대응하는 기준 포즈 데이터를 포지셔닝될 단말의 현재 포즈 데이터의 결정 근거로 할 수 있다.
예시적으로, 타겟 키포인트와 연관되는 기준 포즈 데이터를 직접 포지셔닝될 단말의 현재 포즈 데이터로 사용할 수 있다.
설명해야 할 것은, 현재 키포인트와 타겟 키포인트가 완전히 일치하지 않은 경우가 존재할 수 있으므로, 즉, 현재 키포인트와 타겟 키포인트 사이에 일정한 매칭 편차가 존재할 수 있으므로, 현재 키포인트와 타겟 키포인트 사이의 편차 상황을 결정할 수도 있고, 편차 상황에 따라, 타겟 키포인트와 연관되는 기준 포즈 데이터를 조정하며, 조정 결과에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정한다.
하나의 선택적인 실시예에서, 상기 포지셔닝 방법은 인공 지능 기술에서의 머신 러닝 모델 또는 딥러닝 모델에 기반하여 구현될 수 있다. 도 1b에 도시된 포지셔닝 네트워크를 참조하면, 해당 포지셔닝 네트워크는 포인트 클라우드 데이터 전처리 네트워크, 키포인트 매칭 네트워크 및 포즈 데이터 결정 네트워크를 포함한다. 여기서, 포인트 클라우드 데이터 전처리 네트워크는, 포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정한다. 키포인트 매칭 네트워크는, 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트에 연관되는 포인트 클라우드 분포 특징에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택한다. 포즈 데이터 결정 네트워크는, 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정한다. 여기서, 상기 각 포인트 클라우드 데이터 전처리 네트워크, 키포인트 매칭 네트워크 및 포즈 데이터 결정 네트워크는 각각 적어도 하나의 머신 러닝 모델 또는 딥러닝 모델 조합에 기반하여 획득될 수 있으며, 각 네트워크가 대응하는 기능을 수행할 수 있기만 하면 되기 때문에, 본 개시에서는 각 네트워크의 구체적인 네트워크 구조에 대해 한정하지 않는다.
본 개시의 실시예는 포지셔닝될 단말의 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트의 포인트 클라우드 분포 특징을 도입하여, 글로벌 포지셔닝 맵에서 현재 키포인트와 서로 매칭되는 타겟 키포인트를 검색함으로써, 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 포즈 데이터를 결정하고, GPS 데이터에 의존할 필요가 없기 때문에, GPS가 차단되거나 GPS 신호가 약한 경우에도 여전히 단말의 포지셔닝을 구현함으로써, 포지셔닝 방법의 일반성을 향상시킨다.
설명해야 할 것은, 본 개시의 실시예에서 포지셔닝 방법을 구현하는 수행 주체는 포지셔닝될 단말 자체일 수 있고, 포지셔닝될 단말과 연관된 기타 컴퓨팅 설비일 수도 있으므로, 포지셔닝될 단말의 컴퓨팅 능력에 대한 요구를 감소한다. 하나의 선택적인 실시예에서, 포지셔닝될 단말과 적어도 하나의 기타 컴퓨팅 설비가 인터랙션을 수행하여 현재 포즈 데이터를 결정함으로써, 컴퓨팅 자원의 균일한 할당을 구현할 수도 있다.
도 1c에 도시된 포지셔닝 시스템을 참조하면, 해당 시스템은 포지셔닝될 단말(10) 및 클라우드 서버(20)를 포함한다. 여기서, 포지셔닝될 단말(10)과 클라우드 서버(20) 간에는 통신적으로 연결된다. 본 개시는 구체적인 통신 방식 및/또는 통신 네트워크에 대해 한정하지 않는다.
여기서, 포지셔닝될 단말(10)은 자신의 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터를 수집하고, 현재 프레임의 포인트 클라우드 데이터에 따라, 단말 데이터를 결정하며, 여기서, 단말 데이터는 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 포함하고, 단말 데이터를 클라우드 서버(20)에 송신한다.
클라우드 서버(20)는 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트에 연관되는 포인트 클라우드 분포 특징에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택하고, 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정하며, 현재 포즈 데이터를 포지셔닝될 단말(10)에 피드백한다. 여기서, 현재 포즈 데이터에 대한 결정 조작은 본 개시의 기타 실시예의 설명을 참조할 수 있으므로, 여기서 더 이상 반복하여 설명하지 않는다.
구체적으로, 도 1d에 도시된 포지셔닝 시스템의 아키텍처 도면을 참조한다. 포지셔닝될 단말에는 단말 애플리케이션 레이어가 구성되고; 클라우드 서버에는 클라우드 알고리즘 레이어 및 클라우드 데이터 레이어가 구성되며; 포지셔닝될 단말과 클라우드 서버 사이에는 네트워크 서비스 레이어가 구성되어 데이터 전송을 수행한다. 여기서, 단말 애플리케이션 레이어는 포지셔닝될 단말에 의해 수집된 현재 프레임의 포인트 클라우드 데이터에 따라, 단말 데이터를 결정하고, 네트워크 서비스 레이어를 통해 클라우드 알고리즘 레이어에 해당 단말 데이터를 전송한다. 클라우드 데이터 레이어는 글로벌 포지셔닝 맵 중 각 기준 프레임의 포인트 클라우드에 대응하는 기준 키포인트 및 기준 키포인트와 연관되는 포인트 클라우드 분포 특징을 저장하여, 현재 포즈 데이터의 결정을 위해 데이터 지원을 제공한다. 클라우드 알고리즘 레이어는 클라우드 데이터 레이어에 의해 제공되는 데이터 및 포지셔닝될 단말에 구성되는 차량 단말 애플리케이션 레이어에 의해 송신되는 단말 데이터에 따라, 현재 포즈 데이터를 결정하고, 네트워크 서비스 레이어를 통해 포지셔닝될 단말의 단말 애플리케이션 레이어에 현재 포즈 데이터를 전송하여, 현재 프레임의 포인트 클라우드 데이터에 기반한 포지셔닝 과정을 완료한다.
이해할 수 있는 것은, 포지셔닝될 단말을 통해 현재 프레임의 포인트 클라우드 데이터 전처리를 수행하여, 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 포함하는 단말 데이터를 획득하고, 단말 데이터를 클라우드 서버에 송신하여 현재 포즈 데이터를 결정한다. 포지셔닝될 단말이 클라우드 서버에만 단말 데이터를 전송하므로, 현재 프레임의 포인트 클라우드 데이터에서 무관한 데이터의 전송으로 인한 대역폭 자원의 낭비를 감소한다. 아울러, 현재 포즈 데이터의 결정 과정은 클라우드 서버에서 구현되므로, 포지셔닝될 단말의 데이터 연산량이 감소되고, 포지셔닝될 단말의 데이터 처리 능력에 대한 요구가 감소되어, 포지셔닝될 단말의 하드웨어 비용이 절감된다. 한편, 클라우드 서버를 통해 현재 포즈 데이터를 결정하므로, 포지셔닝될 단말에서 글로벌 포지셔닝 맵 및 글로벌 포지셔닝 맵과 연관된 각 기준 프레임의 포인트 클라우드 데이터에 대응하는 기준 키포인트 및 기준 키포인트와 연관되는 포인트 클라우드 분포 특징을 결정할 필요가 없어, 포지셔닝될 단말의 데이터 저장 능력에 대한 요구를 감소한다.
상기 각 기술방안의 기초상에서 본 개시는 하나의 선택적인 실시예를 더 제공한다. 해당 선택적인 실시예는 타겟 키포인트의 선택 조작을 최적화하고 개선한 것이다. 본 실시예에서 상세히 설명하지 않은 부분은 전술한 실시예에 대한 설명을 참조할 수 있으며, 여기서 더 이상 반복하여 설명하지 않는다.
도 2a에 도시된 포지셔닝 방법을 참조하면, 해당 방법은 다음의 단계를 포함한다.
단계(S201), 포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정하고; 여기서, 포인트 클라우드 분포 특징은 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 포함한다.
예시적으로, 현재 프레임의 포인트 클라우드 데이터에 대해 키포인트 추출을 수행하여, 현재 키포인트를 획득하고; 현재 키포인트의 포인트 클라우드 데이터 및 현재 프레임의 포인트 클라우드 데이터에 따라, 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 결정한다.
구체적으로, 도 2b에 도시된 포인트 클라우드 데이터 전처리 네트워크의 구조 개략도를 참조한다. 여기서, 포인트 클라우드 데이터 전처리 네트워크는 키포인트 추출 네트워크 및 특징 추출 네트워크를 포함한다. 여기서, 키포인트 추출 네트워크는 현재 프레임의 포인트 클라우드 데이터에 대해 키포인트 추출을 수행하여, 현재 키포인트를 획득하고; 특징 추출 네트워크는 현재 키포인트의 포인트 클라우드 데이터 및 현재 프레임의 포인트 클라우드 데이터에 대해 기술 특징 추출(description feature extraction)을 수행하여, 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 획득한다.
하나의 선택적인 실시예에서, 현재 프레임의 포인트 클라우드 데이터를 키포인트 추출 네트워크에 입력하고, 현재 프레임의 포인트 클라우드에서 현재 키포인트를 선택할 수 있다. 여기서, 키포인트 추출 네트워크는 머신 러닝 모델에 기반하여 구현될 수 있으며, 본 개시에서는 관련되는 머신 러닝 모델의 네트워크 구조 및 구체적인 개수에 대해 한정하지 않는다.
하나의 선택적인 실시예에서, 현재 프레임의 포인트 클라우드 데이터 중 상이한 현재 키포인트 사이의 상대적 위치 관계에 따라, 현재 키포인트의 글로벌 포인트 클라우드 분포 특징을 결정하고; 각각의 현재 키포인트가 속하는 인접 영역 내의 인접 수집 포인트 사이의 상대적 위치 관계에 따라, 현재 키포인트의 로컬 포인트 클라우드 분포 특징을 결정한다. 여기서, 글로벌 포인트 클라우드 분포 특징과 현재 프레임의 포인트 클라우드 데이터는 서로 대응되고; 로컬 포인트 클라우드 분포 특징과 현재 프레임의 포인트 클라우드 데이터 중 현재 키포인트는 서로 대응된다. 즉, 현재 프레임의 포인트 클라우드 데이터의 경우 한 그룹의 글로벌 포인트 클라우드 분포 특징이 존재하고, 현재 프레임의 포인트 클라우드 데이터 중 각각의 현재 키포인트의 경우 한 그룹의 로컬 포인트 클라우드 분포 특징이 존재한다.
이해할 수 있는 것은, 현재 프레임의 포인트 클라우드 중의 현재 키포인트를 추출하여, 상대적으로 희소한 현재 키포인트를 통해, 현재 프레임의 포인트 클라우드가 표시하는 형태를 기술하고 요약함으로써, 후속의 데이터 연산량을 감소하고, 아울러, 비효율적인 수집 포인트로 인한 연산량의 증가를 방지하며, 비정상적인 수집 포인트가 후속의 타겟 키포인트 매칭 과정에 미치는 간섭을 방지하고, 타겟 키포인트 결정 결과의 정확성을 향상시키는데 유리하다. 현재 프레임의 포인트 클라우드 데이터 중 상이한 현재 키포인트 사이의 상대적 위치 관계를 통해, 글로벌 포인트 클라우드 분포 특징을 결정함으로써, 현재 포인트 클라우드 데이터에서의 상이한 현재 키포인트의 포인트 클라우드 분포 상황을 알 수 있기 때문에, 현재 프레임의 포인트 클라우드의 글로벌 시점으로부터 현재 키포인트의 위치 정보에 대해 기술할 수 있다. 현재 프레임의 포인트 클라우드 데이터 중 각각의 현재 키포인트와 인접 영역 내의 인접 수집 포인트 사이의 상대적 위치 관계를 통해, 로컬 포인트 클라우드 분포 특징을 결정함으로써, 해당 현재 키포인트와 인접 영역 내의 인접 수집 포인트 사이의 포인트 클라우드 분포 상황을 알 수 있기 때문에, 현재 프레임의 포인트 클라우드에서의 해당 현재 키포인트의 로컬 범위 내에서 해당 현재 키포인트의 위치 정보에 대해 기술할 수 있다.
설명해야 할 것은, 도 2b도 마찬가지로 글로벌 포지셔닝 맵 중의 각 기준 프레임의 포인트 클라우드의 기준 키포인트 추출, 및 기준 프레임의 포인트 클라우드 데이터에 따라 기준 키포인트의 로컬 포인트 클라우드 분포 특징 및 글로벌 포인트 클라우드 분포 특징을 결정하는 과정에 적용되며, 기준 프레임의 포인트 클라우드로 전술한 현재 프레임의 포인트 클라우드를 대체하고, 기준 프레임의 포인트 클라우드 데이터로 전술한 현재 프레임의 포인트 클라우드 데이터를 대체하며, 기준 키포인트로 현재 키포인트를 대체하기만 하면 된다.
글로벌 포지셔닝 맵 중의 기준 프레임의 포인트 클라우드의 기준 키포인트 추출 및 기준 키포인트의 포인트 클라우드 분포 특징을 결정하는 것은 도 2b의 방식으로 구현되는 것에 한정되지 않는다.
계산의 편의를 위해, 사전에 글로벌 포지셔닝 맵 중의 각 기준 프레임의 포인트 클라우드 데이터의 기준 키포인트, 기준 키포인트의 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 저장할 수 있으며, 실시간 포지셔닝시 검색하여 사용하면 된다.
도 2c에 도시된 특징 추출 네트워크의 구조 개략도를 참조한다. 여기서, 특징 추출 네트워크는 로컬 특징 추출 서브 네트워크 및 글로벌 특징 추출 서브 네트워크를 포함한다. 여기서, 로컬 특징 추출 서브 네트워크 및 글로벌 특징 추출 서브 네트워크는 각각 신경망 모델을 사용하여 구현될 수 있다. 로컬 특징 추출 서브 네트워크와 글로벌 특징 추출 서브 네트워크의 네트워크 구조는 동일하거나 상이할 수 있으며, 본 개시에서는 양자의 구체적인 네트워크 구조에 대해 한정하지 않는다.
하나의 구체적인 구현 방식에서, 포인트 클라우드 데이터 중 키포인트의 포인트 클라우드 데이터(NХ4, 여기서, N은 현재 키포인트 개수임)를 글로벌 특징 추출 서브 네트워크에 입력하고, 포인트 클라우드 프레임 중 상이한 키포인트 사이의 상대적 위치 관계에 따라, 키포인트의 글로벌 포인트 클라우드 분포 특징(1Х128)을 결정한다. 여기서, 글로벌 특징 추출 서브 네트워크는 PointNet 모듈을 사용하여 구현될 수 있다.
하나의 구체적인 구현 방식에서, 포인트 클라우드 데이터에 따라, 각각의 키포인트의 인접 수집 포인트를 결정하여, 각각의 키포인트에 대응하는 인접 영역의 포인트 클라우드 데이터(NХKХ4, 여기서, K는 인접 수집 포인트 개수임)를 결정하고; 인접 영역의 포인트 클라우드 데이터를 로컬 특징 추출 서브 네트워크에 입력하며, 각각의 키포인트가 속하는 인접 영역 내의 인접 수집 포인트 사이의 상대적 위치 관계에 따라, 해당 키포인트의 로컬 포인트 클라우드 분포 특징(NХ32)을 결정한다. 여기서, 로컬 특징 추출 서브 네트워크는 PointNet 모듈을 사용하여 구현될 수 있다.
하나의 선택적인 구현 방식에서, 특징 추출 네트워크는 디코딩 서브 네트워크를 더 포함할 수 있고, 이는 로컬 포인트 클라우드 분포 특징에 대해 차원 상승 처리를 수행하여, 로컬 포인트 클라우드 분포 특징(NХ128)을 업데이트한다.
주의해야 할 점은, 상기 각 포인트 클라우드 분포 특징의 특징 차원(예를 들어, 32, 128 등) 및 인접 수집 포인트의 개수K에 대해서는, 당업자가 수요 또는 대량의 실험을 통해 조절할 수 있으며, 본 개시의 내용에 대한 구체적인 한정으로 이해해서는 아니될 것이다.
설명해야 할 것은, 도 2c에 도시된 특징 추출 네트워크는 현재 프레임의 포인트 클라우드 데이터에 대한 처리에 사용될 수 있고, 대응하는 전술한 키포인트는 즉, 현재 프레임의 포인트 클라우드 중의 현재 키포인트이기 때문에, 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 획득한다. 물론, 도 2c의 특징 추출 네트워크는 글로벌 포지셔닝 맵 중 각각의 기준 프레임의 포인트 클라우드의 기준 프레임의 포인트 클라우드 데이터에 대한 처리에 사용될 수도 있고, 대응하는 전술한 키포인트는 즉 기준 프레임의 포인트 클라우드 중의 기준 키포인트이기 때문에, 기준 키포인트의 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 획득한다. 여기서, 상이한 프레임의 포인트 클라우드 데이터 중의 키포인트의 개수는 동일하거나 상이할 수 있다. 연산의 편의를 위해, 일반적으로 현재 프레임의 포인트 클라우드 데이터의 현재 키포인트의 개수와, 각 기준 프레임의 포인트 클라우드 데이터 중의 기준 키포인트의 개수를 동일한 수치로 설정한다.
글로벌 포지셔닝 맵의 기준 키포인트의 추출 및 기준 키포인트의 포인트 클라우드 분포 특징의 결정은, 포지셔닝 방법을 수행하기 전에 단독으로 결정될 수 있고, 결정된 결과를 사전에 저장하여 사용함으로써, 실시간 포지셔닝 과정에서의 데이터 연산량을 감소한다.
단계(S202), 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 기준 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택한다.
단계(S203), 타겟 프레임의 포인트 클라우드의 기준 키포인트의 로컬 포인트 클라우드 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 타겟 키포인트를 선택한다.
예시적으로, 글로벌 포인트 클라우드 분포 특징을 통해, 글로벌 포지셔닝 맵 중의 기준 프레임의 포인트 클라우드에 대해 예비 선별을 수행하여, 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 획득한다. 타겟 프레임의 포인트 클라우드의 결정을 통해, 현재 키포인트와의 매칭 범위를 글로벌 포지셔닝 맵 중의 모든 기준 키포인트로부터 타겟 프레임의 포인트 클라우드 중의 기준 키포인트로 축소함으로써, 타겟 키포인트 매칭 과정에서의 데이터 연산량을 감소하고, 나아가, 타겟 키포인트의 매칭 효율을 향상시키며, 아울러, 타겟 키포인트 매칭 결과의 정확성을 향상시키는데 유리하다.
구체적으로, 도 2d에 도시된 키포인트 매칭 네트워크의 구조 개략도를 참조한다. 해당 키포인트 매칭 네트워크는 포인트 클라우드 프레임 식별 네트워크 및 일치성 레지스트레이션(registration) 네트워크를 포함할 수 있다. 여기서, 포인트 클라우드 프레임 식별 네트워크는 글로벌 포인트 클라우드 분포 특징에 따라, 글로벌 포지셔닝 맵 중의 기준 프레임의 포인트 클라우드로부터, 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 식별하여, 현재 키포인트의 레지스트레이션 범위를 감소하고; 일치성 레지스트레이션 네트워크는 로컬 포인트 클라우드 분포 특징에 따라, 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터, 현재 키포인트와 일치성이 비교적 좋은 타겟 키포인트를 선택한다. 여기서, 포인트 클라우드 프레임 식별 네트워크 및 일치성 레지스트레이션 네트워크는 머신 러닝 모델 또는 딥러닝 모델을 사용하여 구현될 수 있고, 본 개시에서는 포인트 클라우드 프레임 식별 네트워크 및 일치성 레지스트레이션 네트워크의 구체적인 네트워크 구조에 대해 한정하지 않는다.
하나의 구체적인 구현 방식에서, 직접 현재 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중의 각 기준 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징을 함께 포인트 클라우드 프레임 식별 네트워크에 입력하여, 현재 프레임의 포인트 클라우드와 매칭되는 적어도 하나의 기준 프레임의 포인트 클라우드를 획득하며, 이를 타겟 프레임의 포인트 클라우드로 사용한다.
하나의 구체적인 구현 방식에서, 타겟 프레임의 포인트 클라우드 중의 각 기준 키포인트의 로컬 포인트 클라우드 분포 특징 및 현재 프레임의 포인트 클라우드 중의 각 현재 키포인트의 로컬 포인트 클라우드 분포 특징을 함께 일치성 레지스트레이션 네트워크에 입력하여, 기준 프레임의 포인트 클라우드의 각 기준 키포인트 중 현재 키포인트와 서로 매칭되는 타겟 키포인트를 획득한다.
상기 각 기술방안의 기초상에서, 키포인트 매칭 네트워크의 입력 데이터의 특징 차원을 더욱 풍부하게 하여, 타겟 프레임의 포인트 클라우드 및 타겟 키포인트의 매칭 결과 정확성을 향상시킬 수 있다.
예시적으로, 키포인트의 포인트 클라우드 데이터에 따라, 대응하는 포인트 클라우드 프레임에서의 각각의 키포인트의 키포인트간 분포 특징을 결정하고; 여기서, 키포인트는 현재 키포인트 및 기준 키포인트를 포함하며; 키포인트간 분포 특징 및 글로벌 포인트 클라우드 분포 특징에 따라, 키포인트의 융합 글로벌 포인트 클라우드 분포 특징을 결정한다.
여기서, 특정 키포인트의 키포인트간 분포 특징은 키포인트가 속하는 포인트 클라우드 프레임에서 해당 키포인트와 기타 키포인트 사이의 상대적 위치 관계를 나타낸다. 이해할 수 있는 것은, 키포인트마다 대응하는 키포인트간 분포 특징이 존재하므로, 해당 키포인트가 속하는 포인트 클라우드 프레임에 대응하는 키포인트간 분포 특징은 글로벌 포인트 클라우드 분포 특징에 비해, 운반하는 특징 정보가 보다 풍부하기 때문에, 타겟 프레임의 포인트 클라우드 결정 결과의 정확성을 향상시키는데 유리하다.
구체적으로, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트에 대해, 현재 키포인트의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드에서의 각각의 현재 키포인트의 키포인트간 분포 특징을 결정하고; 해당 현재 키포인트의 키포인트간 분포 특징 및 현재 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 현재 키포인트의 융합 글로벌 포인트 클라우드 분포 특징을 결정하며; 현재 키포인트의 키포인트간 분포 특징 및 현재 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 현재 키포인트의 융합 글로벌 포인트 클라우드 분포 특징을 결정한다. 기준 프레임의 포인트 클라우드 데이터 중의 기준 키포인트에 대해, 기준 키포인트의 포인트 클라우드 데이터에 따라, 기준 프레임의 포인트 클라우드에서의 각각의 기준 키포인트의 키포인트간 분포 특징을 결정하고; 해당 기준 키포인트의 키포인트간 분포 특징 및 기준 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 기준 키포인트의 융합 글로벌 포인트 클라우드 분포 특징을 결정하며; 기준 키포인트의 키포인트간 분포 특징 및 기준 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 기준 키포인트의 융합 글로벌 포인트 클라우드 분포 특징을 결정한다.
대응하게, 현재 키포인트의 융합 글로벌 포인트 클라우드 분포 특징 및 기준 키포인트의 융합 글로벌 포인트 클라우드 분포 특징에 따라, 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택한다.
이해할 수 있는 것은, 융합 글로벌 포인트 클라우드 분포 특징에 의해 운반되는 특징 정보가 보다 풍부하므로, 융합 글로벌 포인트 클라우드 분포 특징으로 글로벌 포인트 클라우드 분포 특징을 대체하여 타겟 프레임의 포인트 클라우드를 선택하면, 선택 결과의 정확성을 향상시키고, 현재 키포인트가 타겟 키포인트와 매칭될 때의 매칭 범위를 축소시키는데 유리함으로써, 타겟 키포인트의 결정 효율 및 결정 결과 정확성을 향상시키는데 유리하다.
예시적으로, 키포인트의 포인트 클라우드 데이터에 따라, 대응하는 포인트 클라우드 프레임에서의 각각의 키포인트의 키포인트간 분포 특징을 결정하고; 여기서, 키포인트는 현재 키포인트 및 기준 키포인트를 포함하며; 키포인트간 분포 특징 및 로컬 포인트 클라우드 분포 특징에 따라, 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 결정한다.
여기서, 특정 키포인트의 키포인트간 분포 특징은 키포인트가 속하는 포인트 클라우드 프레임에서 해당 키포인트와 기타 키포인트 사이의 상대적 위치 관계를 나타내고, 키포인트의 로컬 포인트 클라우드 분포 특징은 해당 키포인트와 인접 수집 포인트 사이의 상대적 위치 관계를 운반한다. 따라서, 키포인트의 로컬 포인트 클라우드 분포 특징과 키포인트간 분포 특징을 융합하여, 키포인트와 해당 키포인트가 속하는 포인트 클라우드 프레임의 기타 수집 포인트 사이의 상대적 위치 관계를 풍부하게 하며, 타겟 키포인트 결정 결과의 정확성을 향상시키는데 유리하다.
구체적으로, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트에 대해, 현재 키포인트의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드에서의 각각의 현재 키포인트의 키포인트간 분포 특징을 결정하고; 해당 현재 키포인트의 키포인트간 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 현재 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 결정하며; 현재 키포인트의 키포인트간 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 현재 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 결정한다. 기준 프레임의 포인트 클라우드 데이터 중의 현재 키포인트에 대해, 기준 키포인트의 포인트 클라우드 데이터에 따라, 기준 프레임의 포인트 클라우드에서의 각각의 기준 키포인트의 키포인트간 분포 특징을 결정하고; 해당 기준 키포인트의 키포인트간 분포 특징 및 기준 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 기준 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 결정하며; 기준 키포인트의 키포인트간 분포 특징 및 기준 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 기준 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 결정한다.
대응하게, 타겟 프레임의 포인트 클라우드의 기준 키포인트의 융합 글로벌 포인트 클라우드 분포 특징 및 현재 키포인트의 융합 로컬 포인트 클라우드 분포 특징에 따라, 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 타겟 키포인트를 선택한다.
이해할 수 있는 것은, 융합 로컬 포인트 클라우드 분포 특징에 의해 운반되는 특징 정보가 보다 풍부하므로, 융합 로컬 포인트 클라우드 분포 특징으로 로컬 포인트 클라우드 분포 특징을 대체하여 타겟 키포인트를 선택하면, 선택된 타겟 키포인트의 정확성을 향상시킴으로써, 현재 포즈 데이터 결정 결과의 정확성을 향상시키는데 유리하다.
도 2e에 도시된 특징 추출 네트워크의 구조 개략도를 참조한다. 해당 특징 추출 네트워크는 도 2c에 도시된 특징 추출 네트워크의 기초상에서, 키포인트간 특징 추출 서브 네트워크를 추가하고, 해당 키포인트간 특징 추출 서브 네트워크는 키포인트의 포인트 클라우드 데이터에 기반하여 키포인트간 분포 특징을 결정한다. 키포인트간 특징 추출 서브 네트워크의 네트워크 구조는 머신 러닝 모델 또는 딥러닝 모델에 기반하여 구현될 수 있으며, 본 개시에서는 구체적인 네트워크 구조에 대해 한정하지 않는다.
하나의 구체적인 구현 방식에서, 포인트 클라우드 데이터 중 키포인트의 포인트 클라우드 데이터(NХ4)를 키포인트간 특징 추출 서브 네트워크에 입력하고, 상이한 키포인트 사이의 상대적 위치 관계에 따라, 각각의 키포인트와 기타 키포인트 사이의 분포 특징을 결정하여, 키포인트간 분포 특징(NХ128)을 획득한다. 여기서, 키포인트간 특징 추출 서브 네트워크는 그래프 신경망에 기반하여 구현될 수 있다.
로컬 포인트 클라우드 분포 특징(NХ128)의 경우, 직접 로컬 포인트 클라우드 분포 특징과 키포인트간 분포 특징(NХ128)을 연접 및 융합하여, 융합 로컬 포인트 클라우드 분포 특징(NХ256)을 획득할 수 있다. 글로벌 포인트 클라우드 분포 특징(1Х128) 및 키포인트간 분포 특징(NХ128)의 경우, 우선 키포인트간 분포 특징(NХ128)에 대해 풀링(pooling) 처리를 수행하여, 풀링 결과(1Х128)를 획득하고, 풀링 결과(1Х128)와 글로벌 포인트 클라우드 분포 특징(1Х128)을 연접 및 융합하여, 융합 글로벌 포인트 클라우드 분포 특징(1Х256)을 획득할 수 있다. 본 개시는 풀링 처리 과정에서 사용한 풀링 함수에 대해 한정하지 않으며, 예를 들어, 최대 풀링 등을 사용할 수 있다.
설명해야 할 것은, 도 2e에 도시된 특징 추출 네트워크는 현재 프레임의 포인트 클라우드 데이터에 대한 처리에 사용될 수 있고, 대응하는 전술한 키포인트는 즉, 현재 프레임의 포인트 클라우드 중의 현재 키포인트이기 때문에, 현재 키포인트의 융합 글로벌 포인트 클라우드 분포 특징 및 융합 로컬 포인트 클라우드 분포 특징을 획득한다. 물론, 도 2e의 특징 추출 네트워크는 글로벌 포지셔닝 맵 중 각각의 기준 프레임의 포인트 클라우드의 기준 프레임의 포인트 클라우드 데이터에 대한 처리에 사용될 수도 있고, 대응하는 전술한 키포인트는 즉, 기준 프레임의 포인트 클라우드 중의 기준 키포인트이기 때문에, 기준 키포인트의 융합 글로벌 포인트 클라우드 분포 특징 및 융합 로컬 포인트 클라우드 분포 특징을 획득한다. 여기서, 상이한 프레임의 포인트 클라우드 데이터 중 키포인트의 개수는 동일하거나 상이할 수 있다. 연산의 편의를 위해, 일반적으로 현재 프레임의 포인트 클라우드 데이터의 현재 키포인트 개수와, 각 기준 프레임의 포인트 클라우드 데이터 중의 기준 키포인트의 개수를 동일한 수치로 설정한다.
단계(S204), 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정한다.
본 개시의 실시예는 타겟 프레임의 포인트 클라우드의 선택을 통해, 현재 키포인트와의 매칭 범위를 글로벌 포지셔닝 맵 중의 모든 기준 키포인트로부터 타겟 프레임의 포인트 클라우드 중의 기준 키포인트로 축소함으로써, 타겟 키포인트 매칭 과정에서의 데이터 연산량을 감소하고, 나아가, 타겟 키포인트의 매칭 효율을 향상시키며, 아울러, 타겟 키포인트 매칭 결과의 정확성을 향상시키는데 유리하다.
상기 각 기술방안의 기초상에서 본 개시는 하나의 선택적인 실시예를 더 제공한다. 해당 선택적인 실시예는 타겟 프레임의 포인트 클라우드의 선택 조작을 최적화 및 개선한 것이다. 본 실시예에서 상세히 설명하지 않은 부분은 전술한 실시예에 대한 설명을 참조할 수 있으므로, 여기서 더 이상 반복하여 설명하지 않는다.
도 3a의 포지셔닝 방법을 참조하면, 해당 방법은 다음의 단계를 포함한다.
단계(S301), 포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정하고; 여기서, 포인트 클라우드 분포 특징은 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 포함한다.
단계(S302), 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중의 각 기준 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징에 따라, 현재 프레임의 포인트 클라우드 및 기준 프레임의 포인트 클라우드에 대해 클러스터 분석을 수행하여, 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 유형이 일치한 후보 프레임의 포인트 클라우드를 선택한다.
단계(S303), 현재 키포인트의 글로벌 포인트 클라우드 분포 특징과 후보 프레임의 포인트 클라우드의 기준 키포인트의 글로벌 포인트 클라우드 분포 특징의 거리에 따라, 후보 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 거리가 비교적 가까운 타겟 프레임의 포인트 클라우드를 선택한다.
현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 각 기준 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징을 통해, 기준 프레임의 포인트 클라우드에 대해 2차 선별을 수행하여, 타겟 프레임의 포인트 클라우드의 개수를 감소하고, 현재 키포인트가 타겟 키포인트와 매칭될 때의 매칭 범위를 축소시킴으로써, 타겟 키포인트 매칭 과정에서의 데이터 연산량을 감소한다.
하나의 선택적인 실시예에서, 도 3b에 도시된 키포인트 매칭 네트워크를 참조하면, 해당 키포인트 매칭 네트워크는 도 2d에 도시된 네트워크 구조의 기초상에서, 포인트 클라우드 프레임 검색 네트워크를 추가하고, 해당 포인트 클라우드 프레임 검색 네트워크는 현재 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징과 각 기준 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징에 따라, 현재 프레임의 포인트 클라우드 및 기준 프레임의 포인트 클라우드에 대해 클러스터 분석을 수행하여, 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 유형이 일치한 후보 프레임의 포인트 클라우드를 선택한다. 여기서, 일치한 유형은 클러스터 결과가 동일한 유형 및/또는 유사한 유형 등으로 이해될 수 있다. 예시적으로, 포인트 클라우드 프레임 검색 네트워크는 K 최근접 이웃(K-Nearest Neighbor, KNN)에 기반할 수 있으며, 본 개시에서는 이에 대해 한정하지 않는다.
대응하게, 포인트 클라우드 프레임 식별 네트워크를 사용하여, 현재 키포인트의 글로벌 포인트 클라우드 분포 특징과 후보 프레임의 포인트 클라우드의 기준 키포인트의 글로벌 포인트 클라우드 분포 특징의 거리에 따라, 후보 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 거리가 비교적 가까운(예를 들어, 가장 가까운) 타겟 프레임의 포인트 클라우드를 선택한다. 여기서, 거리는 유클리드 거리 또는 기타 거리일 수 있으며, 본 개시에서는 이에 대해 한정하지 않는다.
단계(S304), 타겟 프레임의 포인트 클라우드의 기준 키포인트의 로컬 포인트 클라우드 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 타겟 키포인트를 선택한다.
단계(S305), 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정한다.
본 개시의 실시예는 클러스터 분석을 통해 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 유형이 일치한 후보 프레임의 포인트 클라우드를 선택하여, 글로벌 포지셔닝 맵의 대규모 기준 프레임의 포인트 클라우드로부터 후보 프레임의 포인트 클라우드의 예비 선별을 수행함으로써, 타겟 프레임의 포인트 클라우드 결정 과정에서의 데이터 연산량을 감소한다. 글로벌 포인트 클라우드 분포 특징 사이의 거리를 통해, 후보 프레임의 포인트 클라우드로부터 타겟 프레임의 포인트 클라우드를 선택함으로써, 타겟 프레임의 포인트 클라우드 결정 결과의 정확성을 향상시키고, 아울러, 타겟 키포인트의 선택 범위를 축소시키므로, 타겟 키포인트의 결정 효율을 향상시키는데 유리하다.
상기 각 기술방안의 기초상에서, 본 개시는 하나의 선택적인 실시예를 더 제공한다. 해당 선택적인 실시예는 현재 포즈 데이터의 결정 조작을 최적화 및 개선한 것이다.
도 4a에 도시된 포지셔닝 방법을 참조하면, 해당 방법은 다음의 단계를 포함한다.
단계(S401), 포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정하고; 여기서, 포인트 클라우드 분포 특징은 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 포함한다.
단계(S402), 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트에 연관되는 포인트 클라우드 분포 특징에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택한다.
단계(S403), 타겟 키포인트의 로컬 포인트 클라우드 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 현재 키포인트와 타겟 키포인트의 상대적 포즈 데이터를 결정한다.
단계(S404), 타겟 키포인트와 연관되는 기준 포즈 데이터 및 상대적 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정한다.
여기서, 상대적 포즈 데이터는 현재 키포인트와 타겟 키포인트 사이의 상대적 위치 관계를 나타낸다. 여기서, 기준 포즈 데이터는 월드 좌표계에서의 사전에 결정된 타겟 키포인트의 위치 좌표이다. 본 개시에서는 기준 포즈 데이터의 결정 방식에 대해 한정하지 않는다.
현재 키포인트의 수집 단말과 타겟 키포인트의 수집 단말이 상이할 수 있으므로, 양자의 포인트 클라우드 데이터가 사용하는 좌표계도 상이하다. 대응하게, 상대적 위치 데이터를 통해, 현재 키포인트의 포인트 클라우드 데이터를 타겟 키포인트의 좌표계로 전환할 수 있다. 전환된 후의 현재 키포인트와 타겟 키포인트 사이의 위치 차이에 따라, 기준 포즈 데이터를 조정하여, 현재 포즈 데이터를 획득한다.
하나의 선택적인 실시예에서, 랜덤 샘플 일치성(Random Sample Consensus, RANSAC) 알고리즘을 사용하여, 타겟 키포인트의 로컬 포인트 클라우드 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 현재 키포인트와 타겟 키포인트의 상대적 포즈 데이터를 결정할 수 있다.
현재 키포인트와 타겟 키포인트가 매칭되는 과정에서, 일부분의 매칭 편차가 존재하여, 상대적 포즈 데이터 결정 결과의 정확성에 영향을 미칠 수 있다. 상대적 포즈 데이터의 결정 과정을 더 최적화하기 위해, 타겟 키포인트의 로컬 포인트 클라우드 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 현재 키포인트와 타겟 키포인트의 상대적 포즈 데이터를 결정하는 조작을 다음과 같이 세부화할 수도 있다. 각각의 현재 키포인트에 대해, 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징 및 대응하는 타겟 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 현재 키포인트와 대응하는 타겟 키포인트의 공간 오프셋 데이터를 결정하고; 공간 오프셋 데이터에 따라, 대응하는 현재 키포인트에 대해 공간 위치 수정을 수행하며; 수정된 현재 키포인트의 포인트 클라우드 데이터 및 대응하는 타겟 키포인트의 포인트 클라우드 데이터에 따라, 상대적 포즈 데이터를 결정한다.
여기서, 공간 오프셋 데이터는 현재 키포인트와 타겟 키포인트 사이의 위치 편차를 나타낸다.
상이한 수집 단말의 수집 정밀도, 수집 환경 및 시스템 오차 등이 상이하므로, 상이한 수집 단말에 의해 수집된 키포인트가 기타 수집 단말에 대응하는 좌표계로 위치 이동할 때, 일치하게 전환되지 않는 경우가 존재한다. 따라서, 공간 오프셋 데이터를 도입하여 현재 키포인트에 대한 공간 위치 수정을 수행하여, 상이한 수집 단말 간의 차이로 인한 영향을 제거할 수 있음으로써, 현재 키포인트와 타겟 키포인트에 대응하는 수집 단말의 좌표 전환 정확성을 향상시키는데 유리하다.
하나의 선택적인 실시예에서, 도 4b에 도시된 키포인트 매칭 네트워크를 참조하면, 해당 키포인트 매칭 네트워크는 도 2d의 기초상에서 회귀 네트워크를 추가하고, 해당 회귀 네트워크는 각각의 현재 키포인트에 대해, 해당 현재 키포인트의 로컬 포인트 클라우드 분포 특징 및 대응하는 타겟 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 현재 키포인트와 대응하는 타겟 키포인트 사이의 공간 오프셋 데이터를 예측하며, 현재 키포인트와 대응하는 타겟 키포인트 사이의 위치 차이를 나타낸다. 여기서, 회귀 네트워크는 종래 기술의 머신 러닝 모델에 기반하여 구현될 수 있으며, 예를 들어, 반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘에 기반하여 구현될 수 있다.
하나의 선택적인 실시예에서, 현재 키포인트의 융합 로컬 포인트 클라우드 분포 특징 및 대응하는 타겟 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 회귀 네트워크에 입력하여, 공간 오프셋 데이터를 획득할 수도 있다.
설명해야 할 것은, 융합 로컬 포인트 클라우드 분포 특징은 키포인트간 분포 특징을 포함하기 때문에, 키포인트와 해당 키포인트가 속하는 포인트 클라우드 프레임 중 기타 키포인트 사이의 분포 관계를 나타내므로, 글로벌 특성을 구비한다. 그러나, 공간 오프셋 데이터를 결정할 때에는 현재 키포인트와 타겟 키포인트 사이의 특징 차이에 더 관심을 두게 되므로, 융합 로컬 포인트 클라우드 분포 특징을 사용할 때 무관한 정보의 도입으로 인해, 공간 오프셋 데이터 결정 결과 정확성이 떨어지는 경우가 존재한다. 따라서, 통상적으로 현재 키포인트의 로컬 포인트 클라우드 분포 특징 및 대응하는 타겟 키포인트의 로컬 포인트 클라우드 분포 특징을 직접 사용하여 공간 오프셋 데이터를 결정한다.
본 개시의 실시예는 상대적 포즈 데이터를 도입하여 현재 키포인트와 타겟 키포인트 사이의 위치 관계를 매핑하고, 나아가, 타겟 키포인트의 기준 포즈 데이터에 따라 현재 키포인트의 현재 포즈 데이터를 결정함으로써, 상이한 키포인트 수집 단말로 인한 영향을 제거하고, 포지셔닝 방법의 적용 범위를 향상시키는데 유리하다.
상기 각 포지셔닝 방법에 대한 구현으로서, 본 개시에서는 각 포지셔닝 방법을 수행하는 수행 장치의 선택적인 실시예를 더 제공한다. 해당 수행 장치는 소프트웨어 및/또는 하드웨어로 구현될 수 있고, 구체적으로 전자 설비에 구성된다.
나아가 도 5를 참조하면, 해당 포지셔닝 장치(500)는 포인트 클라우드 분포 특징 결정 모듈(501), 타겟 키포인트 선택 모듈(502) 및 현재 포즈 데이터 결정 모듈(503)을 포함한다. 여기서,
포인트 클라우드 분포 특징 결정 모듈(501)은 포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 현재 키포인트의 포인트 클라우드 분포 특징을 결정하고;
타겟 키포인트 선택 모듈(502)은 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트에 연관되는 포인트 클라우드 분포 특징에 따라, 기준 키포인트로부터 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택하며;
현재 포즈 데이터 결정 모듈(503)은 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정한다.
본 개시의 실시예는 포지셔닝될 단말의 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트의 포인트 클라우드 분포 특징을 도입하여, 글로벌 포지셔닝 맵에서 현재 키포인트와 서로 매칭되는 타겟 키포인트를 검색함으로써, 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 포지셔닝될 단말의 포즈 데이터를 결정하고, GPS 데이터에 의존할 필요가 없기 때문에, GPS가 차단되거나 GPS 신호가 약한 경우에도 여전히 단말의 포지셔닝을 구현함으로써, 포지셔닝 방법의 일반성을 향상시킨다.
하나의 선택적인 실시예에서, 포인트 클라우드 분포 특징은 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 포함한다.
하나의 선택적인 실시예에서, 타겟 키포인트 선택 모듈(502)은,
현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 기준 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택하는 타겟 프레임의 포인트 클라우드 선택 유닛; 타겟 프레임의 포인트 클라우드의 기준 키포인트의 로컬 포인트 클라우드 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 타겟 키포인트를 선택하는 타겟 키포인트 선택 유닛을 포함한다.
하나의 선택적인 실시예에서, 타겟 키포인트 선택 모듈(502)은,
키포인트의 포인트 클라우드 데이터에 따라, 대응하는 포인트 클라우드 프레임에서의 각각의 키포인트의 키포인트간 분포 특징을 결정하는 키포인트간 분포 특징 결정 유닛;
키포인트간 분포 특징 및 글로벌 포인트 클라우드 분포 특징에 따라, 키포인트의 융합 글로벌 포인트 클라우드 분포 특징을 결정하는 글로벌 특징 융합 유닛; 및/또는
키포인트간 분포 특징 및 로컬 포인트 클라우드 분포 특징에 따라, 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 결정하는 로컬 특징 융합 유닛을 더 포함하되, 여기서, 키포인트는 현재 키포인트 및 기준 키포인트를 포함한다.
하나의 선택적인 실시예에서, 타겟 프레임의 포인트 클라우드 선택 유닛은,
현재 키포인트의 융합 글로벌 포인트 클라우드 분포 특징 및 기준 키포인트의 융합 글로벌 포인트 클라우드 분포 특징에 따라, 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택하는 타겟 프레임의 포인트 클라우드 선택 서브 유닛을 포함한다.
하나의 선택적인 실시예에서, 타겟 키포인트 선택 유닛은,
타겟 프레임의 포인트 클라우드의 기준 키포인트의 융합 로컬 포인트 클라우드 분포 특징 및 현재 키포인트의 융합 로컬 포인트 클라우드 분포 특징에 따라, 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 타겟 키포인트를 선택하는 타겟 키포인트 선택 서브 유닛을 포함한다.
하나의 선택적인 실시예에서, 타겟 프레임의 포인트 클라우드 선택 서브 유닛은,
현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중의 각 기준 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징에 따라, 현재 프레임의 포인트 클라우드 및 기준 프레임의 포인트 클라우드에 대해 클러스터 분석을 수행하여, 기준 프레임의 포인트 클라우드로부터 후보 프레임의 포인트 클라우드를 선택하는 후보 프레임의 포인트 클라우드 선택 세컨더리 유닛;
현재 키포인트의 글로벌 포인트 클라우드 분포 특징과 후보 프레임의 포인트 클라우드의 기준 키포인트의 글로벌 포인트 클라우드 분포 특징의 거리에 따라, 후보 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 거리가 비교적 가까운 타겟 프레임의 포인트 클라우드를 선택하는 타겟 프레임의 포인트 클라우드 선택 세컨더리 유닛을 포함한다.
하나의 선택적인 실시예에서, 현재 포즈 데이터 결정 모듈(503)은,
타겟 키포인트의 로컬 포인트 클라우드 분포 특징 및 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 현재 키포인트와 타겟 키포인트의 상대적 포즈 데이터를 결정하는 상대적 포즈 데이터 결정 유닛;
타겟 키포인트와 연관되는 기준 포즈 데이터 및 상대적 포즈 데이터에 따라, 포지셔닝될 단말의 현재 포즈 데이터를 결정하는 현재 포즈 데이터 결정 유닛을 포함한다.
하나의 선택적인 실시예에서, 상대적 포즈 데이터 결정 유닛은,
각각의 현재 키포인트에 대해, 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징 및 대응하는 타겟 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 현재 키포인트와 대응하는 타겟 키포인트의 공간 오프셋 데이터를 결정하는 공간 오프셋 데이터 결정 서브 유닛;
공간 오프셋 데이터에 따라, 대응하는 현재 키포인트에 대해 공간 위치 수정을 수행하는 공간 포즈 수정 서브 유닛;
수정된 현재 키포인트의 포인트 클라우드 데이터 및 대응하는 타겟 키포인트의 포인트 클라우드 데이터에 따라, 상대적 포즈 데이터를 결정하는 상대적 포즈 데이터 결정 서브 유닛을 포함한다.
하나의 선택적인 실시예에서, 포인트 클라우드 분포 특징 결정 모듈(501)은,
현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트를 추출하는 현재 키포인트 추출 유닛;
현재 프레임의 포인트 클라우드 데이터 중 상이한 현재 키포인트 사이의 상대적 위치 관계에 따라, 현재 키포인트의 글로벌 포인트 클라우드 분포 특징을 결정하는 글로벌 특징 결정 유닛;
각각의 현재 키포인트가 속하는 인접 영역 내의 인접 수집 포인트 사이의 상대적 위치 관계에 따라, 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징을 결정하는 로컬 특징 결정 유닛을 포함한다.
상기 포지셔닝 장치는 본 개시의 임의의 실시예에서 제공하는 포지셔닝 방법을 수행할 수 있으며, 각 포지셔닝 방법을 수행하는데 대응되는 기능 모듈 및 유익한 효과를 구비한다.
본 개시의 기술방안에서, 언급된 현재 프레임의 포인트 클라우드 데이터의 수집, 저장, 사용, 가공, 전송, 제공 및 공개 등 처리는 모두 관련 법규의 규정에 부합되고, 공서양속을 위반하지 않는다.
본 개시의 실시예에 따르면, 본 개시는 전자 설비, 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 더 제공한다.
도 6은 본 개시의 실시예의 예시를 실시하기 위한 전자 설비(600)의 예시적인 블록도를 도시한다. 전자 설비는 다양한 형태의 디지털 컴퓨터, 예를 들어, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크테이블, 개인용 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터를 나타낸다. 전자 설비는 다양한 형태의 모바일 장치, 예를 들어, 개인 디지털 처리, 휴대 전화기, 스마트폰, 웨어러블 설비 및 기타 유사한 컴퓨팅 장치를 나타낼 수도 있다. 본 문에서 설명된 컴포넌트, 이들의 연결과 관계 및 이들의 기능은 단지 예시적인 것일 뿐, 본 문에서 기술 및/또는 요구한 본 개시의 구현을 제한하려는 의도가 아니다.
도 6에 도시된 바와 같이, 설비(600)는 컴퓨팅 유닛(601)을 포함하되, 이는 판독 전용 메모리(ROM)(602)에 저장된 컴퓨터 프로그램 또는 저장 유닛(608)으로부터 랜덤 액세스 메모리(RAM)(603)에 로딩되는 컴퓨터 프로그램에 따라, 각종 적합한 동작 및 처리를 수행할 수 있다. RAM(603)에는 설비(600)의 조작에 필요한 각종 프로그램 및 데이터가 저장될 수도 있다. 컴퓨팅 유닛(601), ROM(602) 및 RAM(603)은 버스(604)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(605)도 버스(604)에 연결된다.
설비(600) 중의 복수 개의 컴포넌트는 I/O 인터페이스(605)에 연결되고, 해당 컴포넌트는 예를 들어 키패드, 마우스 등과 같은 입력 유닛(606); 예를 들어 각종 유형의 표시장치, 스피커 등과 같은 출력 유닛(607); 예를 들어 자기디스크, 광디스크 등과 같은 저장 유닛(608); 및 예를 들어 네트워크 카드, 모뎀, 무선통신 트랜시버 등과 같은 통신 유닛(609)을 포함한다. 통신 유닛(609)은 설비(600)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각종 전기 통신망을 통해 기타 설비와 정보/데이터를 교환하는 것을 허용한다.
컴퓨팅 유닛(601)은 처리 및 컴퓨팅 능력을 갖는 각종 범용 및/또는 전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(601)의 일부 예시는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 각종 전용 인공 지능(AI) 컴퓨팅 칩, 기계 러닝 모델 알고리즘을 수행하는 각종 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적합한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만, 이에 한정되지 않는다. 컴퓨팅 유닛(601)은 위에서 설명한 각각의 방법 및 처리를 수행하고, 예를 들어, 포지셔닝 방법을 수행한다. 예를 들어, 일부 실시예에서, 포지셔닝 방법은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 이는 저장 유닛(608)과 같은 기계 판독 가능 매체에 유형적으로 포함된다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전체는 ROM(602) 및/또는 통신 유닛(609)에 의해 설비(600)에 로딩 및/또는 장착될 수 있다. 컴퓨터 프로그램이 RAM(603)에 로딩되어 컴퓨팅 유닛(601)에 의해 실행되는 경우, 위에서 설명한 포지셔닝 방법의 하나 이상의 단계를 수행할 수 있다. 대안적으로, 기타 실시예에서, 컴퓨팅 유닛(601)은 기타 임의의 적합한 방식(예를 들어, 펌웨어를 통해)을 통해 포지셔닝 방법을 수행하도록 구성될 수 있다.
본 문에서 상술한 시스템 및 기술의 각종 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 특정 용도 표준 제품(ASSP), 시스템온칩(SOC), 복합 프로그래머블 로직 설비(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이러한 각종 실시형태는 하나 이상의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 해당 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 및/또는 해석(interpretating)될 수 있으며, 해당 프로그램 가능한 프로세서는 전용 또는 범용 프로그램 가능한 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치로 전송한다.
본 개시는 자율주행 차량을 더 제공하고, 해당 자율주행 차량에는 전술한 임의의 전자 설비가 추가로 장착된다.
본 개시의 방법을 실시하기 위한 프로그램 코드는 하나 이상의 프로그래밍 언어의 임의의 조합을 사용하여 작성될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공되어, 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행되면, 흐름도 및/또는 블록도에 규정된 기능/조작이 실시될 수 있도록 한다. 프로그램 코드는 전체가 기계에서 실행되거나, 일부가 기계에서 실행되고, 독립적인 소프트웨어 패키지로서 일부가 기계에서 실행되고 일부가 원격 기계에서 실행되거나, 전부가 원격 기계 또는 서버에서 실행될 수 있다.
본 개시의 전문에서, 기계 판독 가능 매체는 유형 매체(tangible medium)일 수 있고, 이는 명령 실행 시스템, 장치 또는 설비에 의해 사용되거나, 명령 실행 시스템, 장치 또는 설비와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 설비, 또는 상기 내용의 임의의 적합한 조합을 포함할 수 있지만 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예시는 하나 이상의 와이어에 기반한 전기적 연결, 휴대용 컴퓨터 디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 및 프로그램 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 설비, 자기 저장 설비 또는 상기 내용의 임의의 적합한 조합을 포함한다.
사용자와의 인터랙션을 제공하기 위해, 여기서 설명된 시스템 및 기술을 컴퓨터에서 실시할 수 있고, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시장치)모니터), 키보드 및 방향지시 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 해당 키보드 및 해당 방향지시 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치는 사용자와의 인터랙션을 제공할 수도 있고, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있으며, 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력을 포함함)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술은 백엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프런트엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 웹브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백엔드 컴포넌트, 미들웨어 컴포넌트, 또는 프런트엔드 컴포넌트를 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)으로 시스템의 컴포넌트를 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광역 네트워크(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션을 수행한다. 클라이언트와 서버의 관계는 상응하는 컴퓨터에서 작동되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생된다. 서버는 클라우드 컴퓨팅 서버라고도 칭하는 클라우드 서버 또는 클라우드 컴퓨팅 서비스 체계 중의 호스트 제품인 클라우드 호스트일 수 있고, 종래의 물리적 호스트와 VPS 서비스에 존재하는 관리 난이도가 크고, 비즈니스 확장성이 약한 결함을 해결한다. 서버는 분산 시스템의 서버, 또는 블록체인을 결합한 서버일 수도 있다.
인공 지능은 컴퓨터가 사람의 특정 사고 과정과 지능적 행위(예를 들어, 학습, 추론, 사고, 계획 등)를 시뮬레이션하는 것을 연구하는 학과로서, 하드웨어적인 기술을 구비할 뿐만 아니라 소프트웨어적인 기술도 구비한다. 인공 지능 하드웨어 기술은 일반적으로 센서, 전용 인공 지능 칩, 클라우드 컴퓨팅, 분산식 저장, 빅데이터 처리 등과 같은 기술을 포함하고; 인공 지능 소프트웨어 기술은 주로 컴퓨터 비전 기술, 음성 인식 기술, 자연어 처리 기술 및 기계 학습/딥러닝 기술, 빅데이터 처리 기술, 지식 그래프(Knowledge Graph) 기술 등 방향을 포함한다.
클라우드 컴퓨팅(cloud computing)은 네트워크를 통해 탄성적으로 확장 가능한 공유 물리적 리소스 풀 또는 가상 리소스 풀에 액세스하는 것을 의미하고, 리소스는 서버, 운영 시스템, 네트워크, 소프트웨어, 애플리케이션 및 저장 설비 등을 포함할 수 있으며, 상기 클라우드 컴퓨팅은 수요형 셀프 서비스의 방식으로 리소스를 배포하고 관리하는 기술적 체계이다. 클라우드 컴퓨팅 기술을 통해 인공 지능, 블록체인 등 기술적 응용 및 모델 트레이닝에 효율적이고 강력한 데이터 처리 능력을 제공한다.
상술한 각종 형태의 프로세스를 사용하여 단계의 순서재배정, 추가 또는 삭제를 수행할 수 있음을 이해해야 한다. 예를 들어, 본 개시에 기재된 각 단계는 병렬로 수행될 수 있거나 순차적으로 수행될 수도 있거나 서로 다른 순서로 수행될 수도 있으며, 본 개시에서 개시한 기술방안이 희망하는 결과를 달성하기만 하면 되기 때문에, 본 문에서는 이에 대해 한정하지 않는다.
상기 구체적인 실시형태는 본 개시의 보호 범위를 한정하지 않는다. 본 분야의 당업자는 설계 요구 및 기타 요소에 따라 각종 수정, 조합, 부분 조합 및 대체가 가능함을 이해할 수 있을 것이다. 본 개시의 사상 및 원칙 내에서 이루어진 수정, 등가적 대체 및 개선 등은 모두 본 개시의 보호 범위 내에 포함되어야 한다.

Claims (23)

  1. 포지셔닝 방법으로서,
    포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 상기 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 상기 현재 키포인트의 포인트 클라우드 분포 특징을 결정하는 단계;
    상기 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트와 연관되는 포인트 클라우드 분포 특징에 따라, 상기 기준 키포인트로부터 상기 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택하는 단계;
    상기 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 상기 포지셔닝될 단말의 현재 포즈 데이터를 결정하는 단계
    를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  2. 제1항에 있어서,
    상기 포인트 클라우드 분포 특징은 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 포함하는 것을 특징으로 하는 포지셔닝 방법.
  3. 제2항에 있어서,
    상기 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트와 연관되는 포인트 클라우드 분포 특징에 따라, 상기 기준 키포인트로부터 상기 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택하는 단계는,
    상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 상기 기준 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 상기 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택하는 단계;
    상기 타겟 프레임의 포인트 클라우드의 기준 키포인트의 로컬 포인트 클라우드 분포 특징 및 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 상기 타겟 키포인트를 선택하는 단계
    를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  4. 제3항에 있어서,
    상기 포지셔닝 방법은,
    키포인트의 포인트 클라우드 데이터에 따라, 대응하는 포인트 클라우드 프레임에서의 각각의 상기 키포인트의 키포인트간 분포 특징을 결정하는 단계;
    상기 키포인트간 분포 특징 및 상기 글로벌 포인트 클라우드 분포 특징에 따라, 상기 키포인트의 융합 글로벌 포인트 클라우드 분포 특징을 결정하는 단계; 및/또는,
    상기 키포인트간 분포 특징 및 상기 로컬 포인트 클라우드 분포 특징에 따라, 상기 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 결정하는 단계
    를 더 포함하되, 상기 키포인트는 상기 현재 키포인트 및 상기 기준 키포인트를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  5. 제4항에 있어서,
    상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 상기 기준 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 상기 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택하는 단계는,
    상기 현재 키포인트의 융합 글로벌 포인트 클라우드 분포 특징 및 상기 기준 키포인트의 융합 글로벌 포인트 클라우드 분포 특징에 따라, 상기 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  6. 제4항에 있어서,
    상기 타겟 프레임의 포인트 클라우드의 기준 키포인트의 로컬 포인트 클라우드 분포 특징 및 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 상기 타겟 키포인트를 선택하는 단계는,
    상기 타겟 프레임의 포인트 클라우드의 기준 키포인트의 융합 로컬 포인트 클라우드 분포 특징 및 상기 현재 키포인트의 융합 로컬 포인트 클라우드 분포 특징에 따라, 상기 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 상기 타겟 키포인트를 선택하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  7. 제3항에 있어서,
    상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 상기 기준 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 상기 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택하는 단계는,
    상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 상기 글로벌 포지셔닝 맵 중의 각 기준 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징에 따라, 현재 프레임의 포인트 클라우드 및 기준 프레임의 포인트 클라우드에 대해 클러스터 분석을 수행하여, 상기 기준 프레임의 포인트 클라우드로부터 상기 현재 프레임의 포인트 클라우드와 유형이 일치한 후보 프레임의 포인트 클라우드를 선택하는 단계;
    상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징과 상기 후보 프레임의 포인트 클라우드의 기준 키포인트의 글로벌 포인트 클라우드 분포 특징의 거리에 따라, 상기 후보 프레임의 포인트 클라우드로부터 상기 현재 프레임의 포인트 클라우드와 거리가 비교적 가까운 상기 타겟 프레임의 포인트 클라우드를 선택하는 단계
    를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  8. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 상기 포지셔닝될 단말의 현재 포즈 데이터를 결정하는 단계는,
    상기 타겟 키포인트의 로컬 포인트 클라우드 분포 특징 및 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 현재 키포인트와 상기 타겟 키포인트의 상대적 포즈 데이터를 결정하는 단계;
    상기 타겟 키포인트와 연관되는 기준 포즈 데이터 및 상기 상대적 포즈 데이터에 따라, 상기 포지셔닝될 단말의 현재 포즈 데이터를 결정하는 단계
    를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  9. 제8항에 있어서,
    상기 타겟 키포인트의 로컬 포인트 클라우드 분포 특징 및 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 현재 키포인트와 상기 타겟 키포인트의 상대적 포즈 데이터를 결정하는 단계는,
    각각의 현재 키포인트에 대해, 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징 및 대응하는 타겟 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 현재 키포인트와 대응하는 타겟 키포인트의 공간 오프셋 데이터를 결정하는 단계;
    상기 공간 오프셋 데이터에 따라, 대응하는 현재 키포인트에 대해 공간 위치 수정을 수행하는 단계;
    수정된 상기 현재 키포인트의 포인트 클라우드 데이터 및 대응하는 타겟 키포인트의 포인트 클라우드 데이터에 따라, 상기 상대적 포즈 데이터를 결정하는 단계
    를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  10. 제2항 내지 제9항 중 어느 한 항에 있어서,
    포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 상기 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 상기 현재 키포인트의 포인트 클라우드 분포 특징을 결정하는 단계는,
    상기 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트를 추출하는 단계;
    상기 현재 프레임의 포인트 클라우드 데이터 중 상이한 현재 키포인트 사이의 상대적 위치 관계에 따라, 상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징을 결정하는 단계;
    각각의 현재 키포인트가 속하는 인접 영역 내의 인접 수집 포인트 사이의 상대적 위치 관계에 따라, 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징을 결정하는 단계
    를 포함하는 것을 특징으로 하는 포지셔닝 방법.
  11. 포지셔닝 장치로서,
    포지셔닝될 단말에 의해 수집되는 주행 환경 중의 현재 프레임의 포인트 클라우드 데이터에 따라, 상기 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트 및 상기 현재 키포인트의 포인트 클라우드 분포 특징을 결정하는 포인트 클라우드 분포 특징 결정 모듈;
    상기 현재 키포인트의 포인트 클라우드 분포 특징 및 글로벌 포지셔닝 맵 중 기준 키포인트와 연관되는 포인트 클라우드 분포 특징에 따라, 상기 기준 키포인트로부터 상기 현재 키포인트와 서로 매칭되는 타겟 키포인트를 선택하는 타겟 키포인트 선택 모듈;
    상기 타겟 키포인트와 연관되는 기준 포즈 데이터에 따라, 상기 포지셔닝될 단말의 현재 포즈 데이터를 결정하는 현재 포즈 데이터 결정 모듈
    을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  12. 제11항에 있어서,
    상기 포인트 클라우드 분포 특징은 글로벌 포인트 클라우드 분포 특징 및 로컬 포인트 클라우드 분포 특징을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  13. 제12항에 있어서,
    상기 타겟 키포인트 선택 모듈은,
    상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 상기 기준 키포인트의 글로벌 포인트 클라우드 분포 특징에 따라, 상기 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택하는 타겟 프레임의 포인트 클라우드 선택 유닛; 상기 타겟 프레임의 포인트 클라우드의 기준 키포인트의 로컬 포인트 클라우드 분포 특징 및 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 상기 타겟 키포인트를 선택하는 타겟 키포인트 선택 유닛을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  14. 제13항에 있어서,
    상기 타겟 키포인트 선택 모듈은,
    키포인트의 포인트 클라우드 데이터에 따라, 대응하는 포인트 클라우드 프레임에서의 각각의 상기 키포인트의 키포인트간 분포 특징을 결정하는 키포인트간 분포 특징 결정 유닛;
    상기 키포인트간 분포 특징 및 상기 글로벌 포인트 클라우드 분포 특징에 따라, 상기 키포인트의 융합 글로벌 포인트 클라우드 분포 특징을 결정하는 글로벌 특징 융합 유닛; 및/또는
    상기 키포인트간 분포 특징 및 상기 로컬 포인트 클라우드 분포 특징에 따라, 상기 키포인트의 융합 로컬 포인트 클라우드 분포 특징을 결정하는 로컬 특징 융합 유닛
    을 더 포함하되, 상기 키포인트는 상기 현재 키포인트 및 상기 기준 키포인트를 포함하는 것을 특징으로 하는 포지셔닝 장치.
  15. 제14항에 있어서,
    상기 타겟 프레임의 포인트 클라우드 선택 유닛은,
    상기 현재 키포인트의 융합 글로벌 포인트 클라우드 분포 특징 및 상기 기준 키포인트의 융합 글로벌 포인트 클라우드 분포 특징에 따라, 상기 글로벌 포지셔닝 맵의 기준 프레임의 포인트 클라우드로부터 현재 프레임의 포인트 클라우드와 서로 매칭되는 타겟 프레임의 포인트 클라우드를 선택하는 타겟 프레임의 포인트 클라우드 선택 서브 유닛을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  16. 제14항에 있어서,
    상기 타겟 키포인트 선택 유닛은,
    상기 타겟 프레임의 포인트 클라우드의 기준 키포인트의 융합 로컬 포인트 클라우드 분포 특징 및 상기 현재 키포인트의 융합 로컬 포인트 클라우드 분포 특징에 따라, 상기 타겟 프레임의 포인트 클라우드의 기준 키포인트로부터 상기 타겟 키포인트를 선택하는 타겟 키포인트 선택 서브 유닛을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  17. 제13항에 있어서,
    상기 타겟 프레임의 포인트 클라우드 선택 서브 유닛은,
    상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징 및 상기 글로벌 포지셔닝 맵 중의 각 기준 프레임의 포인트 클라우드의 글로벌 포인트 클라우드 분포 특징에 따라, 현재 프레임의 포인트 클라우드 및 기준 프레임의 포인트 클라우드에 대해 클러스터 분석을 수행하여, 상기 기준 프레임의 포인트 클라우드로부터 상기 현재 프레임의 포인트 클라우드와 유형이 일치한 후보 프레임의 포인트 클라우드를 선택하는 후보 프레임의 포인트 클라우드 선택 세컨더리 유닛;
    상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징과 상기 후보 프레임의 포인트 클라우드의 기준 키포인트의 글로벌 포인트 클라우드 분포 특징의 거리에 따라, 상기 후보 프레임의 포인트 클라우드로부터 상기 현재 프레임의 포인트 클라우드와 거리가 비교적 가까운 상기 타겟 프레임의 포인트 클라우드를 선택하는 타겟 프레임의 포인트 클라우드 선택 세컨더리 유닛
    을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  18. 제12항 내지 제17항 중 어느 한 항에 있어서,
    상기 현재 포즈 데이터 결정 모듈은,
    상기 타겟 키포인트의 로컬 포인트 클라우드 분포 특징 및 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 현재 키포인트와 상기 타겟 키포인트의 상대적 포즈 데이터를 결정하는 상대적 포즈 데이터 결정 유닛;
    상기 타겟 키포인트와 연관되는 기준 포즈 데이터 및 상기 상대적 포즈 데이터에 따라, 상기 포지셔닝될 단말의 현재 포즈 데이터를 결정하는 현재 포즈 데이터 결정 유닛
    을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  19. 제18항에 있어서,
    상기 상대적 포즈 데이터 결정 유닛은,
    각각의 현재 키포인트에 대해, 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징 및 대응하는 타겟 키포인트의 로컬 포인트 클라우드 분포 특징에 따라, 상기 현재 키포인트와 대응하는 타겟 키포인트의 공간 오프셋 데이터를 결정하는 공간 오프셋 데이터 결정 서브 유닛;
    상기 공간 오프셋 데이터에 따라, 대응하는 현재 키포인트에 대해 공간 위치 수정을 수행하는 공간 포즈 수정 서브 유닛;
    수정된 상기 현재 키포인트의 포인트 클라우드 데이터 및 대응하는 타겟 키포인트의 포인트 클라우드 데이터에 따라, 상기 상대적 포즈 데이터를 결정하는 상대적 포즈 데이터 결정 서브 유닛
    을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  20. 제12항 내지 제19항 중 어느 한 항에 있어서,
    상기 포인트 클라우드 분포 특징 결정 모듈은,
    상기 현재 프레임의 포인트 클라우드 데이터 중의 현재 키포인트를 추출하는 현재 키포인트 추출 유닛;
    상기 현재 프레임의 포인트 클라우드 데이터 중 상이한 현재 키포인트 사이의 상대적 위치 관계에 따라, 상기 현재 키포인트의 글로벌 포인트 클라우드 분포 특징을 결정하는 글로벌 특징 결정 유닛;
    각각의 현재 키포인트가 속하는 인접 영역 내의 인접 수집 포인트 사이의 상대적 위치 관계에 따라, 상기 현재 키포인트의 로컬 포인트 클라우드 분포 특징을 결정하는 로컬 특징 결정 유닛
    을 포함하는 것을 특징으로 하는 포지셔닝 장치.
  21. 전자 설비로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신적으로 연결되는 메모리
    를 포함하되, 상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령을 저장하고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제10항 중 어느 한 항에 따른 포지셔닝 방법을 수행하도록 하는 것을 특징으로 하는 전자 설비.
  22. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 명령은 컴퓨터가 제1항 내지 제10항 중 어느 한 항에 따른 포지셔닝 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
  23. 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램 중의 컴퓨터 명령이 프로세서에 의해 실행될 경우, 제1항에 따른 포지셔닝 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020220120292A 2021-09-24 2022-09-22 포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량 KR20230043754A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111122142.1A CN113763475A (zh) 2021-09-24 2021-09-24 定位方法、装置、设备、系统、介质和自动驾驶车辆
CN202111122142.1 2021-09-24

Publications (1)

Publication Number Publication Date
KR20230043754A true KR20230043754A (ko) 2023-03-31

Family

ID=78797232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220120292A KR20230043754A (ko) 2021-09-24 2022-09-22 포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량

Country Status (5)

Country Link
US (1) US20230100734A1 (ko)
EP (1) EP4156106A1 (ko)
JP (1) JP2023047329A (ko)
KR (1) KR20230043754A (ko)
CN (1) CN113763475A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620264B (zh) * 2022-12-02 2023-03-07 广汽埃安新能源汽车股份有限公司 车辆定位方法、装置、电子设备和计算机可读介质
CN116863430B (zh) * 2023-07-31 2023-12-22 合肥海普微电子有限公司 一种面向自动驾驶的点云融合方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086111B2 (ja) * 2019-01-30 2022-06-17 バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッド 自動運転車のlidar測位に用いられるディープラーニングに基づく特徴抽出方法
CN112241010A (zh) * 2019-09-17 2021-01-19 北京新能源汽车技术创新中心有限公司 定位方法、装置、计算机设备和存储介质
CN112862874B (zh) * 2021-04-23 2021-07-13 腾讯科技(深圳)有限公司 点云数据匹配方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
JP2023047329A (ja) 2023-04-05
US20230100734A1 (en) 2023-03-30
CN113763475A (zh) 2021-12-07
EP4156106A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
KR20230043754A (ko) 포지셔닝 방법, 장치, 설비, 시스템, 매체 및 자율주행 차량
US11788857B2 (en) Route processing method and apparatus
EP3842745B1 (en) Method and apparatus for updating point cloud
US20230103040A1 (en) Vehicle travel control method and apparatus
CN113947147B (zh) 目标地图模型的训练方法、定位方法及相关装置
US20230104225A1 (en) Method for fusing road data to generate a map, electronic device, and storage medium
KR20220165687A (ko) 지도 데이터 처리 방법, 지도 데이터 처리 장치, 전자장비, 저장매체 및 컴퓨터 프로그램
US20230130901A1 (en) Method for constructing three-dimensional map in high-definition map, device and storage medium
JP2021192041A (ja) 建築物の測位方法、装置、電子デバイス、記憶媒体、プログラム、及び端末デバイス
CN114186007A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN115855084A (zh) 地图数据融合方法、装置、电子设备及自动驾驶产品
KR20230132350A (ko) 연합 감지 모델 트레이닝, 연합 감지 방법, 장치, 설비 및 매체
CN114882719A (zh) 一种智能召唤车辆的控制方法、装置、介质以及电子设备
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
WO2024093641A1 (zh) 多模态融合的高精地图要素识别方法、装置、设备及介质
US20230217406A1 (en) Signal processing method and apparatus, device, and storage medium
JP7397116B2 (ja) マップクエリ方法、装置及び電子機器
US20220351495A1 (en) Method for matching image feature point, electronic device and storage medium
EP4155670A1 (en) Intersection vertex height value acquisition method and apparatus, electronic device and storage medium
CN113015117B (zh) 一种用户定位方法、装置、电子设备和存储介质
CN112818024B (zh) 一种地图数据处理方法、装置、设备及存储介质
CN113723405A (zh) 区域轮廓的确定方法、装置和电子设备
CN110274593B (zh) 一种路径规划的方法和装置
CN116734884A (zh) 地图信息显示方法、装置及相关设备
CN113268677B (zh) 兴趣点状态确定方法、装置、设备及介质