KR20210098534A - 포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템 - Google Patents

포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20210098534A
KR20210098534A KR1020217021835A KR20217021835A KR20210098534A KR 20210098534 A KR20210098534 A KR 20210098534A KR 1020217021835 A KR1020217021835 A KR 1020217021835A KR 20217021835 A KR20217021835 A KR 20217021835A KR 20210098534 A KR20210098534 A KR 20210098534A
Authority
KR
South Korea
Prior art keywords
model
environment
mobile entity
positioning
generated
Prior art date
Application number
KR1020217021835A
Other languages
English (en)
Inventor
빙타오 가오
크리스티안 틸
폴 버나드
Original Assignee
콘티넨탈 오토모티브 게엠베하
콘티넨탈 홀딩 차이나 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티넨탈 오토모티브 게엠베하, 콘티넨탈 홀딩 차이나 컴퍼니 리미티드 filed Critical 콘티넨탈 오토모티브 게엠베하
Publication of KR20210098534A publication Critical patent/KR20210098534A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00—Application
    • G05D2201/02—Control of position of land vehicles
    • G05D2201/0213—Road vehicle, e.g. car or truck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Abstract

포지셔닝을 위한 환경 모델을 생성하기 위한 방법은 모바일 엔티티(10)로부터 스캐닝된 환경의 3D 모델의 생성 단계를 포함하며, 3D 모델은 포인트 클라우드로서 해석된다. 포인트 클라우드의 복수의 세그먼트화된 부분들에서 3D 모델의 포인트 클라우드의 세그먼테이션이 수행되고, 그리고 포인트 클라우드의 세그먼트화된 부분들 각각을 분석함으로써 포인트 클라우드로부터 3D 객체들이 모델링된다. 스캐닝되는 환경의 생성된 3D 모델은 환경의 기존의 3D 모델과 매칭된다. 환경의 존재하는 3D 모델과 스캐닝된 환경의 생성된 3D 모델을 정렬함으로써 환경의 개선된 3D 모델의 표현인 데이터베이스가 생성된다.

Description

포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템
본 개시내용은 포지셔닝을 위한 환경 모델을 생성하기 위한 방법에 관한 것이다. 본 개시내용은 추가로, 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 모바일 엔티티에 관한 것이다. 더욱이, 본 개시내용은 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 시스템에 관한 것이다.
진보된 운전자 시스템들 및 자율 주행 자동차들은 차량들이 주행할 수 있는 도로들 및 다른 영역들의 고정밀 맵들을 필요로 한다. 자율 주행 자동차들에 필요한 고정확도로 도로상에서 차량의 포지션을 결정하는 것은 기존 네비게이션 시스템들, 이를 테면 위성 내비게이션 시스템들, 예를 들어 GPS, 갈릴레오, GLONASS, 또는 삼각 측량 등과 같은 다른 알려진 포지셔닝 기법들에 의해 달성될 수 없다. 그러나, 특히 자율 주행 차량이 다수의 차선들(multiple lanes)을 갖는 도로 상에서 이동할 때, 차선들 중 하나에서 차량의 포지션을 정확하게 결정하는 것이 요망된다.
고정밀 내비게이션과 관련하여, 자율 주행 차량의 안전 주행과 관련된 객체들이 캡처되는 디지털 맵에 대한 액세스를 가질 필요가 있다. 자율 주행 차량들을 이용한 테스트 및 시뮬레이션들은, 차량의 환경 및 도로 규격에 대한 매우 상세한 지식이 요구됨을 보여주고 있다.
그러나, 차량 움직임들의 GNSS 추적과 함께 오늘날 사용되는 도로의 환경의 종래의 디지털 맵들은 운전자-제어 차량들의 내비게이션을 지원하기에 충분할 수 있지만, 이들은 자율 주행 차량들을 위해서는 충분히 상세하지는 않다. 특수한 스캐닝 차량들로 도로를 스캐닝하는 것은 훨씬 더 많은 세부 사항들을 제공하지만, 극도로 복잡하고 시간 소모적이며 비용이 많이 든다.
고정밀도로 자율 주행 모바일 엔티티의 환경에 위치된 주행 관련 객체들의 다른 정보 및 도로 정보를 포함하는 자율 주행 모바일 엔티티의 환경의 정확한 모델을 생성할 수 있게 하는 포지셔닝을 위한 환경 모델을 생성하기 위한 방법을 제공하는 것이 요망된다. 추가의 요구는, 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 모바일 엔티티 및 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 시스템을 제공하는 것이다
포지셔닝을 위한 환경 모델을 생성하기 위한 방법의 실시예는 본 청구항 1에서 특정된다.
실시예에 따르면, 포지셔닝을 위한 환경 모델을 생성하기 위한 방법은 모바일 엔티티, 예컨대 자율 주행 자동차로부터 스캐닝된 환경의 3D 모델을 생성하는 단계를 포함한다. 3D 모델은 모바일 엔티티의 스캐닝된 환경의 표현인 포인트 클라우드(point cloud)로서 해석된다. 다음 단계에서, 포인트 클라우드의 복수의 세그먼트화된 부분들에서의 3D 모델의 포인트 클라우드의 세그먼트화가 수행된다. 후속 단계에서, 3D 객체들은 포인트 클라우드의 세그먼트화된 부분들 각각을 분석함으로써 포인트 클라우드로부터 모델링된다.
후속 단계에서, 3D 모델 매칭이 수행된다. 스캐닝되는 환경의 생성된 3D 모델은 환경의 존재하는 3D 모델과 매칭된다. 방법의 다음 단계에서, 환경의 개선된 3D 모델의 표현인 데이터베이스는 환경의 존재하는 3D 모델과 스캐닝된 환경의 생성된 3D 모델을 정렬함으로써 생성된다.
방법은 선택적으로, 모바일 엔티티, 예컨대 자율적으로 제어되는 차량이 주행되고 있는 경로를 보여주는 궤도(trajectory)를 생성하는 단계를 포함할 수 있다. 궤도의 생성은, 모바일 엔티티의 카메라 시스템에 의해 캡처된 이미지들을 평가함으로써 또는 차량의 다른 센서들로부터 획득된 데이터를 평가함으로써 모바일 엔티티의 측에서 실행된다. 이러한 목적을 위해, 복수의 기법들, 예컨대, VO(Vison Odometry) 기법 또는 SLAM(Simultaneous Localization and Mapping) 기법이 사용될 수 있다.
스캐닝되는 환경을 3D 모델로서 묘사하기 위한 포인트 클라우드는 조밀한 또는 반-조밀한 포인트 클라우드로서 생성될 수 있다. 모바일 엔티티의 환경의 3D 모델로서 스캐닝되는 환경의 표현을 제공하는 포인트 클라우드 생성은, 궤도의 생성 단계 동안 획득된 입력 데이터에 기반할 수 있다. 다른 가능한 실시예에 따르면, 포인트 클라우드는 모바일 엔티티에 설치된 카메라 시스템의 원시 이미지들 또는 다른 센서 데이터로부터 직접 생성될 수 있다.
포인트 클라우드 세그먼테이션의 단계 동안, 생성된 포인트 클라우드는, 공간에서의 객체의 물리적 분포에 기반하여 모바일 엔티티의 환경에서 검출된 객체와 연관된 작은 조각들로, 즉, 세그먼트화된 부분들로 세그먼트화될 것이다.
검출된 객체들의 개개의 3D 모델은, 포인트 클라우드로부터 세그먼트화된 부분들 각각에 대해 포인트 클라우드 3D 모델링의 단계 동안 생성될 것이다. 검출된 3D 객체는 형상, 크기, 배향, 공간에서의 위치 등으로 모델링될 수 있다. 객체의 유형, 컬러, 텍스처 등과 같은 다른 속성들이 또한 스캐닝되는 환경의 3D 모델의 포인트 클라우드로부터 추출된 객체에 추가될 수 있다. 이러한 목적을 위해, 일부 종래의 2D 객체 인식 알고리즘들이 사용될 수 있다. 검출된 객체에 추가된 모든 속성들은, 3D 객체들 각각을 식별하기 위한 부가적인 정보를 제공할 수 있다.
3D 모델 매칭의 단계 동안, 스캐닝된 환경의 생성된 3D 모델은 환경의 존재하는 3D 모델과 비교되는 데 사용될 수 있다. 매칭 프로세스는 모바일 엔티티/차량 측 또는 원격 서버 측에서 수행될 수 있다. 환경의 이미 존재하는 3D 모델은 포인트 클라우드로서 해석될 수 있고, 원격 서버의 모바일 엔티티의 저장 유닛에 저장될 수 있다.
특정 환경, 예컨대 도로의 섹션에 대해, 복수의 모바일 엔티티들에 의해 생성된 환경의 다수의 3D 모델들이 매칭될 수 있다. 그러나, 이들 모델들 중 일부는 잘못 매칭될 수 있다. RANSAC(Random Sample Consensus) 기법과 같은 이상치 제거 방법(outlier removal method)은 3D 모델 매칭 절차의 견고성을 개선하는 데 사용될 수 있다.
결과적으로, 스캐닝된 환경의 새롭게 생성된 3D 모델 및 환경의 존재하는 3D 모델의 각각의 매칭된 쌍은 부가적인 정보를 제공할 것이다. 환경의 또는 환경 내의 객체들의 매칭된 3D 모델들의 물리적 위치는 이론적으로 정확히 동일해야 하여, 시스템에 일부 제약들을 추가한다. 그러한 새로운 제약들로, 3D 모델들의 2개의 데이터베이스들 사이의 시스템 에러가 크게 감소될 수 있다. 이는 또한 환경/시나리오의 3D 모델들의 2개의 동기화되지 않은 데이터베이스들을 정렬하고 이들을 함께 병합하는 것을 도울 수 있다.
방법은, 스캐닝되는 환경의 복수의 3D 모델들이 비교되고 정렬될 수 있고, 그런 다음, 함께 병합될 수 있게 한다. 다양한 모델들을 함께 병합하고 정렬함으로써, 시나리오의 글로벌 3D 모델/맵이 생성될 수 있다.
이러한 방식으로 생성된 랜드마크들/3D 모델들의 수는 일부 종래의 객체 검출 및 인식 알고리즘들에 의해 생성된 것들보다 훨씬 더 많을 수 있는데, 이는 환경 모델을 생성하기 위한 새로운 방법이 반드시 객체들을 인식할 필요가 없기 때문이다. 환경의 3D 모델의 조밀한/반-조밀한 포인트 클라우드들의 평가는, 객체의 위치, 크기, 높이, 형상, 배향 등과 같은 객체의 일부 기하학적 정보를 쉽고 그리고 직접적으로 추출할 수 있게 한다.
더욱이, 환경 모델을 생성하기 위해 제시된 방법에 의해 사용되는 포인트 클라우드-기반 객체 매칭은 뷰잉 각도에 민감하지 않으므로, 이는 큰 뷰잉 각도 차이(균일한(even) 방향 반전)를 갖는 객체들을 정렬하는 데 사용될 수 있다. 제안된 방법은 독립적으로 또는 특징점 기반 정렬과 같은 일부 다른 방법들에 대한 양호한 보완으로서 작동할 수 있다.
포지셔닝을 위한 환경 모델을 생성하기 위해 제안된 방법은 자율 차량 내비게이션, 자율 차량 로컬화의 분야에서뿐만 아니라 클라우드 소싱 데이터베이스 생성을 위해 그리고 클라우드-소싱된 데이터베이스를 정렬, 병합 및 최적화하기 위해 사용될 수 있다. 모바일 엔티티를 포지셔닝하기 위해, 모바일 엔티티/차량 측에서, 환경의 3D 모델의 조밀 또는 반-조밀 포인트 클라우드를 사용하여 환경에서 랜드마크들이 검색될 수 있다. 발견된 랜드마크들은 환경의 이전에 생성된 3D 모델의 표현인 데이터베이스에 저장된 랜드마크들과 매칭된다. 정렬 데이터는, 도로의 대향 측들을 주행하는 다수의 모바일 엔티티들/차량들로부터 수집될 수 있다. 다른 어려운 시나리오들에서 주행하는 다수의 모바일 엔티티들/차량들로부터의 데이터의 정렬이 개선될 수 있다.
모바일 엔티티, 예컨대 자율 주행 차량을 포지셔닝하기 위한 환경 모델을 생성하기 위한 모바일 엔티티는 청구항 11에서 특정된다.
가능한 실시예에 따르면, 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 모바일 엔티티는, 모바일 엔티티의 환경을 스캐닝하기 위한 환경 센서 유닛, 및 모바일 엔티티의 스캐닝된 환경의 생성된 3D 모델을 저장하기 위한 저장 유닛을 포함한다. 모바일 엔티티는 명령들을 실행하기 위해 프로세서 유닛을 더 포함하며, 명령들은 저장 유닛과 협력하여 프로세서 유닛에 의해 실행될 때, 위에서 설명된 바와 같이 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 방법의 프로세싱 단계들을 수행한다.
모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 시스템은 청구항 12에서 특정된다.
가능한 실시예에 따르면, 시스템은 모바일 엔티티의 스캐닝된 환경의 3D 모델을 생성하기 위한 모바일 엔티티를 포함하며, 여기서 3D 모델은 포인트 클라우드로서 해석된다. 시스템은, 모바일 엔티티의 환경의 존재하는 3D 모델을 저장하기 위한 저장 유닛 및 프로세서 유닛을 포함하는 원격 서버를 더 포함한다. 프로세서 유닛은 명령들을 실행하도록 구현되며, 명령들은, 저장 유닛과 협력하여 원격 서버의 프로세서 유닛에 의해 실행될 때, 위에서 설명된 바와 같이 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 방법의 프로세싱 단계들을 수행한다. 프로세싱 단계들은 적어도 생성된 3D 모델과 환경의 기존 3D 모델의 매칭, 및 환경의 개선된 3D 모델의 데이터베이스의 생성을 포함한다.
부가적인 특징들 및 이점들은 다음의 상세한 설명에서 제시된다. 전술한 일반적인 설명 및 다음의 상세한 설명 둘 모두는 단지 예시적이며, 청구항들의 성질 및 특성을 이해하기 위한 개요 또는 프레임워크를 제공하도록 의도된다는 것이 이해되어야 한다.
첨부된 도면들은 추가적인 이해를 제공하기 위해 포함되며, 본 명세서에 통합되어 그 일부를 구성한다. 따라서, 본 개시내용은 첨부된 도면들과 함께 다음의 상세한 설명으로부터 더 완전히 이해될 것이다.
도 1은 포지셔닝을 위한 환경 모델을 생성하기 위한 방법의 예시적인 단순화된 흐름도를 예시한다.
도 2는 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 시스템의 예시적인 단순화된 블록 다이어그램을 도시한다.
예컨대, 자율 주행 모바일 엔티티/차량의 환경 모델을 생성하기 위해 사용될 수 있는 포지셔닝을 위한 환경 모델 ― 모델은 모바일 엔티티/차량을 포지셔닝하기 위해 사용될 수 있음 ― 을 생성하기 위한 방법이, 방법의 상이한 단계들을 예시하는 도 1을 참조하여 하기에 설명된다.
차량은 경로를 따라 주행하고 그리고 주행 경로를 따라 차량의 환경에 관한 정보를 포함하는 데이터를 수집한다. 수집된 데이터는 차량에 이미 제공된 차량의 환경에 관한 정보/데이터와 정렬될 수 있다. 이러한 정보는 차량의 내부 저장 유닛에 저장된 데이터베이스로서 제공될 수 있다. 경로를 따라 주행할 때 캡처된 데이터를 이전에 저장된 데이터와 정렬 및 매칭시킴으로써, 새로운 복합 데이터 세트가 생성될 수 있다. 특히, 주행 차량의 센서 시스템에 의해 현재 스캐닝되는 환경의 3D 모델은 동일한 환경의 이전에 생성된 3D 모델들과 매칭 및 정렬되어, 환경, 그리고 특히 차량의 주행 루트의 환경의 주행 관련 객체들을 표현하는 새로운 데이터베이스를 발생시킨다.
도 2는 모바일 엔티티(10) 및 원격 서버(20)를, 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 방법을 실행하는 데 사용될 수 있는 이들의 개개의 구성요소들과 함께 도시한다. 시스템의 상이한 구성요소들은 방법의 단계들의 다음의 설명에서 설명된다.
도 1에 도시된 단계(S1)는 선택적이며, 모바일 엔티티의 움직임 동안 모바일 엔티티, 예컨대 자율 주행 차량의 궤도의 생성에 관련된다. 궤도 생성의 단계(S1) 동안, 시나리오에서 이동하는 모바일 엔티티/차량의 경로/궤도가 결정될 것이다. 이러한 목적을 위해, 모바일 엔티티/차량(10)의 환경 센서(11)는 모바일 엔티티/차량이 주행하는 경로의 환경에 관한 정보를 수집한다. 궤도를 획득하기 위해, 모바일 엔티티의 환경 센서에 의해 캡처된 데이터는 VO(Vision Odometry) 기법들 또는 SLAM(Simultaneous Localization and Mapping) 기법들에 의해 평가될 수 있다.
환경 센서(11)는 가시 및/또는 적외선 이미지들을 캡처하는 데 적합할 수 있는 CCD 카메라와 같은 카메라 시스템을 포함할 수 있다. 카메라 시스템은 단순한 모노-카메라(mono-camera) 또는 대안적으로 스테레오 카메라를 포함할 수 있으며, 이는 서로 멀리 떨어져 장착된 2개의 이미징 센서들을 가질 수 있다. 적어도 하나의 레이더 센서 또는 적어도 하나의 레이저 센서 또는 적어도 하나의 RF 채널 센서 또는 적어도 하나의 적외선 센서와 같은 추가 센서들이 모바일 엔티티(10)의 환경을 스캐닝 및 검출하고 그리고 모바일 엔티티(10)가 움직이는 궤도를 생성하기 위해 사용될 수 있다.
가능한 실시예에 따르면, 궤도 생성의 단계(S1)는 모바일 엔티티에 의해 사용되는 트래픽 차선의 결정을 포함할 수 있다. 게다가, 궤도의 생성은 모바일 엔티티의 속도 또는 가속도 중 적어도 하나의 프로파일을 생성하는 것을 포함할 수 있다. 모바일 엔티티(10)의 속도/가속도는 3개의 공간 방향들로 단계(S1)에서 결정될 수 있다. 도로의 특정 특성들, 예를 들어, 폭, 방향, 곡률, 각각의 방향에서의 차선들의 수, 차선들의 폭 또는 도로의 표면 구조를 정의하는 추가적인 중요한 파라미터들이 단계(S1)에서 결정될 수 있다.
경로/궤도를 따라 주행하는 모바일 엔티티/차량(10)에 의해 스캐닝되는 환경은, 3D 포인트 클라우드로서 구성되는 3D 모델에 의해 단계(S2)에서 모델링된다. 3D 모델은 궤도를 따라 주행하는 동안 모바일 엔티티의 전체 스캐닝된 환경으로부터 생성된다. 환경 내의 주행-관련 객체들은 생성된 3D 모델에서 포인트 클라우드의 부분들로서 설명된다.
3D 포인트 클라우드는 상이한 정도들의 밀도로 생성될 수 있다. 따라서, 단계(S2)에서, 스캐닝되는 환경의 표현으로서 조밀한 또는 반-조밀한 포인트 클라우드가 생성될 수 있다. 스캐닝되는 환경의 3D 모델의 포인트 클라우드는 모바일 엔티티(10)의 저장 유닛(12)에 저장될 수 있다.
단계(S3)에서, 단계(S2)에서 생성된 3D 모델/포인트 클라우드가 평가된다. 3D 모델에 포함된 생성된 포인트 클라우드를 평가하는 동안, 포인트 클라우드는 공간에서의 그들의 물리적 분포에 기반하여 작은 조각들/부분들로 세그먼트화된다. 평가 알고리즘은 포인트 클라우드 내의 어느 포인트들이 특정 객체, 예컨대, 시나리오 내의 나무, 신호등들, 다른 차량들 등에 속하는지를 결정할 수 있다. 가능한 실시예에 따르면, 환경의 3D 모델의 완전한 포인트 클라우드의 평가는 뉴럴 네트워크를 사용하는 알고리즘, 예컨대 인공 지능 알고리즘에 의해 수행될 수 있다.
단계(S4)에서, 스캐닝된 환경의 생성된 3D 모델의 포인트 클라우드에서 인식된 3D 객체들은, 포인트 클라우드의 세그먼트화된 부분들 각각을 분석함으로써 모델링/추출될 수 있다. 스캐닝되는 환경의 3D 모델에서 객체들의 모델링/추출은 생성된 3D 포인트 클라우드로부터 직접 수행된다. 결과적으로, 캡처된 장면에서 객체의 형상, 크기, 배향 및/또는 위치에 관한 정보는 스캐닝되는 환경의 3D 모델의 포인트 클라우드의 각각의 세그먼트화된 부분에 대해 생성될 수 있다.
단계(S5)에서, 스캐닝되는 환경의 3D 모델의 추출된 객체의 형상, 크기, 배향 및/또는 로컬화에 부가하여, 객체의 유형, 컬러, 텍스처 등과 같은 다른 속성들이 생성된 3D 모델에서 추출된 객체들 각각에 부가될 수 있다. 스캐닝되는 환경의 생성된 3D 모델에서 3D 객체들을 특성화하는 각각의 속성들은 추출된/모델링된 객체들 각각에 연관된다.
단계(S6)에서, 스캐닝된 환경의 생성된 3D 모델은 환경의 존재하는 3D 모델과 매칭된다.
모바일 엔티티의 환경의 기존 3D 모델의 데이터베이스/데이터 세트는 모바일 엔티티(10)의 저장 유닛(12)에 저장될 수 있다. 단계(S6)의 3D 모델 매칭이 모바일 엔티티(10)에 의해 실행되는 경우, 매칭은 모바일 엔티티(10)의 프로세서 유닛(13)에 의해 수행될 수 있다.
다른 가능한 실시예에 따르면, 모바일 엔티티(10)의 저장 유닛(12)에 저장되는 스캐닝된 환경의 생성된 3D 모델의 표현인 데이터베이스/데이터 세트는 모바일 엔티티(10)로부터 원격 서버(20)로 포워딩되어 모바일 엔티티(10)에서 생성된 스캐닝된 환경의 3D 모델과 원격 서버(20)의 저장 유닛(22)에 저장될 수 있는 환경의 존재하는 3D 모델의 매칭을 수행할 수 있다. 모바일 엔티티(10)에서 생성되고 모바일 엔티티의 스캐닝된 환경의 표현인 3D 모델을 설명하는 데이터베이스/데이터 세트는 모바일 엔티티(10)의 통신 시스템(14)에 의해 원격 서버(20)에 포워딩될 수 있다. 모델 매칭은 원격 서버(20)의 프로세서 유닛(21)에 의해 실행된다.
방법 단계(S7)에서, 3D 모델 매칭의 가능한 결과인 이상치들이 제거될 수 있다. 방법의 실시예에 따르면, 생성된 3D 모델과 이미 존재하는 3D 모델 사이의 검출된 적합성에 따라 생성된 3D 모델을 존재하는 모델과 매칭시킨 후에, 스캐닝된 환경의 완전하게 생성된 3D 모델이 추가 프로세싱으로부터 제거될 수 있다.
다른 가능한 실시예에 따르면, 생성된 3D 모델과 존재하는 3D 모델 사이의 검출된 적합성에 따라 생성된 3D 모델을 이미 존재하는 3D 모델과 매칭시킨 후에, 스캐닝된 환경의 생성된 3D 모델의 모델링된/추출된 객체들 중 적어도 하나는 추가 프로세싱으로부터 제거될 수 있다.
특히, 생성된 3D 모델이 모바일 엔티티의 환경의 존재하는 3D 모델에 대해 많은 수의 차이들을 포함할 때, 가장 최근에 생성된 3D 모델 또는 환경의 가장 최근에 생성된 3D 모델에서 모델링된/추출된 객체는 추가 프로세싱으로부터 거부될 수 있다.
방법 단계(S8)에서, 모바일 엔티티의 환경의 개선된 3D 모델의 표현인 데이터베이스는 환경의 존재하는 3D 모델과 스캐닝된 환경의 생성된 3D 모델을 정렬함으로써 생성될 수 있다. 이러한 목적을 위해, 스캐닝된 환경의 현재 생성된 3D 모델은 환경의 이전에 생성된 그리고 현재 이미 존재하는 3D 모델과 비교된다. 존재하는 3D 모델은, 모바일 엔티티/차량(10)과 동일한 궤도를 따라 이전에 주행된 다른 모바일 엔티티들/차량들로부터 캡처된 환경의 3D 모델들을 평가함으로써 생성될 수 있다.
방법 단계(S8)에서, 현재 생성된 3D 모델 및 동일한 환경의 이미 존재하는 3D 모델은 모바일 엔티티의 환경의 개선된 3D 모델의 표현인 개선된 데이터베이스를 생성하도록 구성된다. 동일한 환경의 다양한 3D 모델들의 합성은 모바일 엔티티(10) 또는 원격 서버(20)에서 수행될 수 있다.
환경의 개선된 3D 모델이 원격 서버(20)에서 합성되면, 3D 모델을 설명하는 데이터베이스/데이터 세트는 원격 서버(20)로부터 모바일 엔티티(10)로 송신될 수 있다. 모바일 엔티티(10)에서 현재 생성된 스캐닝된 환경의 3D 모델과 환경의 이미 존재하는 3D 모델의 조합은, 객체들의 높은 정확도 및 정밀한 포지셔닝 정보를 갖는 데이터 세트들을 초래한다.
모바일 엔티티(10)는 원격 서버(20)로부터 수신된 환경의 3D 모델을 환경을 스캐닝함으로써 모바일 엔티티에 의해 생성된 3D 모델과 비교할 수 있다. 모바일 엔티티(10)는, 원격 서버(20)로부터 수신된 환경의 3D 모델과 스캐닝된 환경의 생성된 3D 모델을 매칭 및 정렬함으로써 자신의 포지션을 결정할 수 있다. 다른 실시예에 따르면, 모바일 엔티티(10)의 포지션은 모바일 엔티티(10)에 의해 생성된 환경의 3D 모델과 서버 측에서 이용 가능한 환경의 3D 모델을 매칭 및 정렬시킴으로써 원격 서버에 의해 결정될 수 있다.
10 : 모바일 엔티티
11 : 환경 센서
12 : 저장 유닛
13 : 프로세서 유닛
14 : 통신 유닛
20 : 원격 서버
21 : 프로세서 유닛
22 : 저장 유닛

Claims (12)

  1. 포지셔닝을 위한 환경 모델을 생성하기 위한 방법으로서,
    모바일 엔티티로부터 스캐닝되는 환경의 3D 모델을 생성하는 단계 ― 상기 3D 모델은 포인트 클라우드로서 해석됨 ―,
    상기 포인트 클라우드의 복수의 세그먼트화된 부분들에서 스캐닝되는 환경의 3D 모델의 포인트 클라우드의 세그먼테이션을 수행하는 단계,
    상기 포인트 클라우드의 세그먼트화된 부분들 각각을 분석함으로써 상기 포인트 클라우드로부터 3D 객체들을 모델링하는 단계,
    상기 스캐닝되는 환경의 생성된 3D 모델을 환경의 존재하는 3D 모델과 매칭시키는 단계, 및
    상기 환경의 존재하는 3D 모델과 상기 스캐닝된 환경의 생성된 3D 모델을 정렬함으로써 상기 환경의 개선된 3D 모델의 표현인 데이터베이스를 생성하는 단계를 포함하는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  2. 제1 항에 있어서,
    상기 스캐닝되는 환경의 3D 모델을 생성하기 전에 상기 모바일 엔티티의 이동 동안 상기 모바일 엔티티의 궤도를 생성하는 단계를 포함하는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  3. 제2 항에 있어서,
    상기 궤도는 상기 모바일 엔티티의 카메라 시스템에 의해 생성되는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  4. 제2 항 또는 제3 항에 있어서,
    3개의 공간 방향들에서 상기 모바일 엔티티의 속도 또는 가속도 중 적어도 하나의 프로파일을 생성하는 단계를 포함하는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  5. 제1 항 내지 제4 항 중 어느 한 항에 있어서,
    상기 생성된 3D 모델과 상기 존재하는 모델 사이의 검출된 적합성에 따라 상기 생성된 3D 모델을 상기 존재하는 모델과 매칭시킨 후에, 상기 생성된 3D 모델의 모델링된 객체들 중 적어도 하나 또는 생성된 3D 모델의 제거를 포함하는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  6. 제1 항 내지 제5 항 중 어느 한 항에 있어서,
    조밀한 또는 반-조밀한 포인트 클라우드가 상기 스캐닝되는 환경의 표현으로서 생성되는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  7. 제1 항 내지 제6 항 중 어느 한 항에 있어서,
    3D 객체들은 상기 스캐닝되는 환경에서 각각의 형상, 크기, 배향 및 위치로 모델링되는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  8. 제1 항 내지 제7 항 중 어느 한 항에 있어서,
    상기 3D 객체들을 특징짓는 개개의 속성들은 상기 모델링된 3D 객체들 각각에 연관되는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  9. 제1 항 내지 제8 항 중 어느 한 항에 있어서,
    상기 스캐닝되는 환경의 생성된 3D 모델의 표현인 데이터베이스는, 환경의 존재하는 3D 모델과 상기 생성된 3D 모델의 매칭을 수행하기 위해 상기 모바일 엔티티(10)로부터 원격 서버(20)로 포워딩되는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  10. 제1 항 내지 제9 항 중 어느 한 항에 있어서,
    상기 환경의 존재하는 3D 모델과 상기 스캐닝된 환경의 생성된 3D 모델을 비교함으로써 상기 환경의 개선된 3D 모델의 데이터베이스에 추가될 추가 정보를 추출하는 단계를 포함하는,
    포지셔닝을 위한 환경 모델을 생성하기 위한 방법.
  11. 모바일 엔티티를 포지셔닝하기 위한, 환경 모델을 생성하기 위한 모바일 엔티티로서,
    모바일 엔티티(10)의 환경을 스캔하기 위한 환경 센서 유닛(11),
    모바일 엔티티(10)의 스캐닝된 환경의 생성된 3D 모델을 저장하기 위한 저장 유닛(12), 및
    명령들을 수행하기 위한 프로세스 유닛(13)을 포함하고, 상기 명령들은 상기 저장 유닛(12)과 협력하여 상기 프로세서 유닛(13)에 의해 실행될 때, 제1 항 내지 제10 항 중 어느 한 항에 따른 모바일 엔티티(10)를 포지셔닝하기 위한 환경 모델을 생성하기 위한 방법의 프로세싱 단계들을 수행하는,
    환경 모델을 생성하기 위한 모바일 엔티티.
  12. 모바일 엔티티를 포지셔닝하기 위한, 환경 모델을 생성하기 위한 시스템으로서,
    모바일 엔티티의 스캐닝된 환경의 3D 모델을 생성하기 위한 모바일 엔티티(10) ― 상기 3D 모델은 포인트 클라우드로서 해석됨 ―, 및
    상기 모바일 엔티티(10)의 환경의 존재하는 3D 모델을 저장하기 위한 저장 유닛(22) 및 프로세서 유닛(21)을 포함하는 원격 서버(20)를 포함하고,
    상기 프로세서 유닛(21)은 명령들을 수행하기 위해 구체화되며, 상기 명령들은, 상기 저장 유닛(22)과 협력하여 상기 프로세서 유닛(21)에 의해 실행될 때, 제1 항 내지 제10 항 중 어느 한 항에 따른 모바일 엔티티를 포지셔닝하기 위한 환경 모델을 생성하기 위한 방법의 프로세싱 단계들을 수행하며, 상기 프로세싱 단계들은 적어도 생성된 3D 모델을 환경의 존재하는 3D 모델과 매칭시키는 단계 및 환경의 개선된 3D 모델의 데이터베이스를 생성하는 단계를 포함하는,
    환경 모델을 생성하기 위한 시스템.
KR1020217021835A 2018-12-13 2018-12-13 포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템 KR20210098534A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/120904 WO2020118623A1 (en) 2018-12-13 2018-12-13 Method and system for generating an environment model for positioning

Publications (1)

Publication Number Publication Date
KR20210098534A true KR20210098534A (ko) 2021-08-10

Family

ID=71075827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217021835A KR20210098534A (ko) 2018-12-13 2018-12-13 포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템

Country Status (7)

Country Link
US (1) US20210304518A1 (ko)
EP (1) EP3894788A4 (ko)
JP (1) JP2022513828A (ko)
KR (1) KR20210098534A (ko)
CN (1) CN113227713A (ko)
CA (1) CA3122868A1 (ko)
WO (1) WO2020118623A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022042146A (ja) * 2020-09-02 2022-03-14 株式会社トプコン データ処理装置、データ処理方法およびデータ処理用プログラム
CN112180923A (zh) * 2020-09-23 2021-01-05 深圳裹动智驾科技有限公司 自动驾驶方法、智能控制设备及自动驾驶车辆

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201116959D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
WO2015106799A1 (en) * 2014-01-14 2015-07-23 Sandvik Mining And Construction Oy Mine vehicle, mine control system and mapping method
CN103955920B (zh) * 2014-04-14 2017-04-12 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
GB201409625D0 (en) * 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
CN105184852B (zh) * 2015-08-04 2018-01-30 百度在线网络技术（北京）有限公司 一种基于激光点云的城市道路识别方法及装置
EP3130945B1 (en) * 2015-08-11 2018-05-02 Continental Automotive GmbH System and method for precision vehicle positioning
EP3130891B1 (en) * 2015-08-11 2018-01-03 Continental Automotive GmbH Method for updating a server database containing precision road information
KR102373926B1 (ko) * 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
CN106022381B (zh) * 2016-05-25 2020-05-22 厦门大学 基于车载激光扫描点云的路灯杆自动提取方法
CN106529394B (zh) * 2016-09-19 2019-07-19 广东工业大学 一种室内场景物体同时识别与建模方法
EP3519770B1 (en) * 2016-09-28 2021-05-05 TomTom Global Content B.V. Methods and systems for generating and using localisation reference data
CN106407947B (zh) * 2016-09-29 2019-10-22 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN107918753B (zh) * 2016-10-10 2019-02-22 腾讯科技（深圳）有限公司 点云数据处理方法及装置
CN108225341B (zh) * 2016-12-14 2021-06-18 法法汽车(中国)有限公司 车辆定位方法
CN107161141B (zh) * 2017-03-08 2023-05-23 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
CN106951847B (zh) * 2017-03-13 2020-09-29 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
EP3616420B1 (en) * 2017-05-26 2021-02-17 Google LLC Data layers for a vehicle map service
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
CN108287345A (zh) * 2017-11-10 2018-07-17 广东康云多维视觉智能科技有限公司 基于点云数据的空间扫描方法及系统

Also Published As

Publication number Publication date
JP2022513828A (ja) 2022-02-09
EP3894788A4 (en) 2022-10-05
US20210304518A1 (en) 2021-09-30
CA3122868A1 (en) 2020-06-18
CN113227713A (zh) 2021-08-06
WO2020118623A1 (en) 2020-06-18
EP3894788A1 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
CN108765487B (zh) 重建三维场景的方法、装置、设备和计算机可读存储介质
Broggi et al. Obstacle detection with stereo vision for off-road vehicle navigation
US20200401617A1 (en) Visual positioning system
Ziegler et al. Video based localization for bertha
CN103411609B (zh) 一种基于在线构图的飞行器返航路线规划方法
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
Guo et al. A low-cost solution for automatic lane-level map generation using conventional in-car sensors
US8660338B2 (en) Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
Parra et al. Robust visual odometry for vehicle localization in urban environments
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
JP5404861B2 (ja) 静止物地図生成装置
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
WO2021021862A1 (en) Mapping and localization system for autonomous vehicles
Pannen et al. Hd map change detection with a boosted particle filter
Konrad et al. Localization in digital maps for road course estimation using grid maps
US20220398856A1 (en) Method for reconstruction of a feature in an environmental scene of a road
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
US20210304518A1 (en) Method and system for generating an environment model for positioning
Zhu et al. Fusing GNSS/INS/vision with a priori feature map for high-precision and continuous navigation
Gálai et al. Crossmodal point cloud registration in the Hough space for mobile laser scanning data
Javanmardi et al. Autonomous vehicle self-localization based on probabilistic planar surface map and multi-channel LiDAR in urban area
Meis et al. A new method for robust far-distance road course estimation in advanced driver assistance systems
Andersson et al. Simultaneous localization and mapping for vehicles using ORB-SLAM2
Kim Aerial map-based navigation using semantic segmentation and pattern matching