KR20200078387A - 모바일 유닛을 위한 위치 결정 시스템 및 위치 결정 시스템을 작동시키기 위한 방법 - Google Patents

모바일 유닛을 위한 위치 결정 시스템 및 위치 결정 시스템을 작동시키기 위한 방법 Download PDF

Info

Publication number
KR20200078387A
KR20200078387A KR1020190171747A KR20190171747A KR20200078387A KR 20200078387 A KR20200078387 A KR 20200078387A KR 1020190171747 A KR1020190171747 A KR 1020190171747A KR 20190171747 A KR20190171747 A KR 20190171747A KR 20200078387 A KR20200078387 A KR 20200078387A
Authority
KR
South Korea
Prior art keywords
landmark
mobile unit
positioning system
data
unit
Prior art date
Application number
KR1020190171747A
Other languages
English (en)
Other versions
KR102373733B1 (ko
Inventor
다니엘 윌버스
크리스티안 머펠스
베른트 레쉬
틸로 슈하퍼
니클라스 코흐
스테판 쥐르겐스
로페즈 데이비드 페르도모
콘스탄체 헝가
스테판 와플러
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20200078387A publication Critical patent/KR20200078387A/ko
Application granted granted Critical
Publication of KR102373733B1 publication Critical patent/KR102373733B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K2009/3225—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명의 방법에서 제 1 랜드마크 유형의 제 1 랜드마크(24)에 대한 위치 정보를 포함하는 맵 데이터가 제공되고, 주변 데이터가 수집되고, 모바일 유닛(1)의 위치가 결정된다. 모바일 유닛(1)의 위치, 수집된 주변 데이터 및 제 1 랜드마크(24)에 대한 위치 정보에 기초하여, 트레이닝 데이터가 생성되어 저장된다. 트레이닝 데이터에 기초하여, 제 1 랜드마크 유형을 검출하기 위한 제 1 검출기 모듈이 생성된다. 본 발명의 위치 결정 시스템은 제 1 랜드마크 유형의 제 1 랜드마크(24)에 대한 위치 정보를 포함하는 맵 데이터를 제공하기 위한 메모리 유닛(2)을 포함한다. 상기 시스템은 주변 데이터를 수집하기 위한 수집 유닛(3), 모바일 유닛(1)의 위치를 결정하기 위한 위치 확인 유닛(6) 및 모바일 유닛(1)의 위치, 수집된 주변 데이터 및 제 1 랜드마크(24)에 대한 위치 정보에 기초하여 트레이닝 데이터를 생성 및 저장하기 위한 컴퓨팅 유닛(7)을 더 포함한다. 상기 시스템은 트레이닝 데이터에 기초하여 제 1 랜드마크 유형의 검출을 위한 제 1 검출 모듈을 생성하기 위한 학습 유닛(8)을 더 포함한다.

Description

모바일 유닛을 위한 위치 결정 시스템 및 위치 결정 시스템을 작동시키기 위한 방법{POSITIONING SYSTEM AND METHOD FOR OPERATING A POSITIONING SYSTEM FOR A MOBILE UNIT}
본 발명은 모바일 유닛을 위한 위치 결정 시스템을 작동시키기 위한 방법에 관한 것이다. 본 발명은 또한 모바일 유닛을 위한 위치 결정 시스템에 관한 것이다.
최근의 차량, 특히 적어도 부분적으로 자동으로 제어되는 차량의 많은 주행 기능은 차량의 신뢰적이고 정확한 자체 위치 설정을 전제로 한다. 이에 대해 다양한 개념이 공개되어 있다. 예를 들어 차량 주변에 있는 패턴과 구조가 인식되어 맵에 있는 해당 엔트리와 비교된다. 이러한 개념은, 센서 정보로부터 주변 특징들을 추출할 수 있는 특수한 검출기들이 차량에 장착되어 있는 것을 전제로 한다.
US 2010/0176987 A1호는 GPS 및 카메라가 사용되는, 차량 및 인식된 랜드마크의 위치를 추정하기 위한 방법을 제안한다. GPS에 의해 수행되는 내비게이션은 공개된 랜드마크에 기초하여 개선되는 한편, 동시에 데이터 뱅크에 새로운 랜드마크들이 기록된다.
EP 2 490 092 A1호에 무인 동력 차량의 자율적인 위치 확인을 위한 방법이 기술되고, 이러한 방법에서 공개된 랜드마크들을 위치 확인 수단으로써 이용할 수 있는 주행할 궤적이 계산되어 결정된다. 이러한 랜드마크는 이동 중에 수집되어 이용된다.
DE 10 2016 214 028 A1호는 모바일 유닛의 주변에 있는 랜드마크가 추적되는 모바일 유닛의 위치를 결정하기 위한 방법을 제안한다. 위치는 다양한 가정으로부터 입자 필터에 의해 결정된다.
WO 2014/189495 A1호에 랜드마크 및 Wi-Fi-신호가 검출되어 위치 확인에 이용되며, Wi-Fi-정보를 갖는 데이터 뱅크를 동시 자동 생성하기 위한 방법이 공개되어 있다. 위치 및 Wi-Fi-신호에 대한 새로운 정보가 데이터 뱅크에 추가될 수 있다.
본 발명의 과제는 주변 환경에 대한 이용 가능한 정보의 가급적 포괄적인 이용을 가능하게 하는 위치 결정 시스템 및 그것을 작동시키기 위한 방법을 제공하는 것이다.
본 발명에 따라 상기 과제는 청구항 제 1 항의 특징들을 갖는 방법 및 청구항 제 13 항의 특징들을 갖는 시스템에 의해 해결된다. 바람직한 실시예 및 개선예들은 종속 청구항들에 제시된다.
전술한 방식의 본 발명에 따른 방법에서, 제 1 랜드마크 유형의 제 1 랜드마크에 대한 위치 정보를 포함하는 맵 데이터가 제공된다. 주변 데이터가 수집되고 모바일 유닛의 위치가 결정된다. 모바일 유닛의 위치, 수집된 주변 데이터 및 제 1 랜드마크에 대한 위치 정보에 기초하여 트레이닝 데이터가 생성되어 저장된다. 트레이닝 데이터에 기초하여, 제 1 랜드마크 유형을 검출하기 위한 제 1 검출기 모듈이 생성된다.
이로 인해 바람직하게, 차량 내에 항상 최신 검출기 모듈을 제공하는 것이 가능하고, 이를 위해 복잡한 소프트웨어 업데이트를 수행할 필요는 없다. 그 대신 검출기 모듈은 독립적으로 생성되고 또는 학습될 수 있다.
특히 트레이닝 데이터에 기초하여 생성된 제 1 검출기 모듈은, 제 1 랜드마크 유형의 랜드마크를 검출하도록 구성된다. 제 1 검출기 모듈에 의해 검출 가능한 제 1 랜드마크 유형의 랜드마크들은, 본 방법에서 이미 위치 데이터가 맵 데이터에 포함되고 트레이닝 데이터를 생성하는데 이용된 특정한 제 1 랜드마크를 포함할 수 있다. 그러나 제 1 랜드마크 유형의 다른 랜드마크들도 수집될 수 있으며, 이러한 랜드마크에 대해 추후에 제공되는 맵 데이터에 해당하는 위치 데이터가 포함되고, 상기 랜드마크는 추후 시점에 위치 결정을 위해 이용된다.
본 발명의 기본 사상은, 존재하는 주변 데이터에 기초하여 특정 랜드마크 유형의 특징적인 특징들을 결정하는 것이다. 예를 들어 제 1 랜드마크 유형을 검출하기 위한 검출기 모듈이 없는 경우, 본 방법에서 맵 데이터에 따라 모바일 유닛에 대해서 제 1 랜드마크가 어디에 위치하는지 결정된다. 이어서 이러한 영역에서 수집된 주변 데이터는 저장되고, 제 1 검출기 모듈을 생성하는데 이용된다. 예를 들어, 맵 데이터에 기초하여 급수전의 위치가 확인됨으로써, 급수전에 대한 검출기 모듈이 생성될 수 있다. 거기에서 수집된 주변 데이터에 기초하여, 이러한 물체가 어떻게 보이는지 결정될 수 있고, 해당하는 검출기 모듈이 생성된다.
본 발명과 관련해서 "랜드마크"라는 용어는 식별될 수 있고 적어도 하나의 위치 정보가 배정될 수 있는 주변에 있는 특징 및/또는 패턴을 포함한다. 이는 예를 들어 주변의 특정 위치에 배치된 특징적인 지점 또는 물체일 수 있다. 랜드마크는 시맨틱(sementics)을 가질 수 있으며, 즉 랜드마크는 식별 가능한 물체 또는 특징(Features)으로서 인지 분석을 위한 것으로 식별될 수 있다. 또한, 시맨틱을 갖지 않지만, 패턴 인식에 의해 검출 가능한, 예를 들어 추상적인 패턴을 나타내는 랜드마크도 포함된다.
랜드마크는 원래 공개된 방식으로, 특히 기하학적 특성을 근거로 또는 랜드마크와 관련된 시맨틱을 근거로 분류함으로써 랜드마크 유형에 배정될 수 있다. 즉, 예를 들어 차선 표시, 포스트, 표지판, 구조물, 초목 부분 또는 교통 제어 시스템의 구조물은 각각 상이한 랜드마크 유형으로서 규정될 수 있다. 또한, 예컨대 "정지 표지판" 및 "주차 금지 표지판"과 같은 몇몇 특수한 랜드마크 유형은 예컨대 "표지판"과 같은 보다 일반적인 또는 포괄적인 랜드마크 유형에 배정될 수 있다. 특히 본 방법에서 각각의 랜드마크에는 적어도 하나의 랜드마크 유형이 배정된다. 하나의 특정한 랜드마크가 복수의 특수한 및/또는 포괄적인 랜드마크 유형에 배정될 수도 있다.
랜드마크 유형들은 가령 구조물, 차도 위의 표시, 교통 안내 장비 또는 평면 코드의 모서리나 다른 부분일 수도 있다. 예를 들어, 차선 표시, 방향 전환 화살표, 주차장 표시 또는 이와 유사한 바닥 표시, 포스트, 바, 칼럼, 교통- 또는 다른 표지판, 신호 장비 또는 신호등, 건물의 모서리 또는 -모퉁이, 파이프, QR- 또는 바코드 및 수문자 표현이 검출될 수 있다. 이와 유사하게 자체 위치의 지리적 주변에 있는 특징적인, 위치 확인 가능한 지점들을 나타내는 추가의 특징들이 위치 확인에 이용될 수 있다. 일반적으로 이들은 패턴 인식 방법을 이용해서 식별될 수 있고 위치 데이터가 관련될 수 있는 특징들이다.
맵 데이터는 랜드마크에 대한 위치 정보, 즉 좌표 시스템 내에서 이들의 장소에 대한 정보를 포함한다. 이러한 좌표 시스템은 전역 또는 상대 좌표 시스템일 수 있다. 위치 데이터는 특히 랜드마크의 포즈(pose), 즉 예를 들어 전역 좌표 시스템 내에서 또는 다른 랜드마크에 대한 상기 랜드마크의 방향에 기초하여 설명된, 이들의 위치와 장소의 조합에 관한 것이다. 예를 들어, 화살표는 공간 내에서 특정 방향을 가리킬 수 있고, 포스트는 특정 길이를 가질 수 있고 차도에 대해 특정 각도로 연장될 수 있거나, 구조물의 모서리는 차도에 대해서 특정 위치에 있을 수 있다.
주변 데이터는 원래 공개된 방식으로 수집된다. 예를 들어 주변 데이터는 차량의 센서들, 특히 광학 레이더-, 라이더- 또는 초음파 센서들에 의해 수집된다. 이로 인해 바람직하게는, 관련 주변 데이터를 수집하기 위해, 차량의 제공된 장비들이 이용될 수 있다.
또한, 인터페이스를 이용해서 외부 장비로부터 주변 데이터가 수집되는 것이 제공될 수 있다. 이 경우 예를 들어, 주변 데이터를 수집하여 제공하는 영구적으로 설치된 교통 관측을 위한 센서가 관련될 수 있다. 또한, 관련 주변 데이터를 수신, 저장 및 필요 시 제공하는 외부 서버가 이용될 수 있다. 이러한 주변 데이터는 가령 주행 구간을 따른 다른 차량 및 장비들에 의해 수집되어 서버로 전송될 수 있다.
센서들의 다양한 유형들이 구별되며, 이 경우 특정 센서 유형의 센서는 특정한 물리적 측정 원리에 따라 주변 데이터를 수집한다. 예를 들어 레이더 센서는 제 1 유형의 센서이고, 초음파 센서는 다른 유형의 센서이다. 또한, 예를 들어 구조 및/또는 데이터 처리의 특수한 방식에 있어서 서로 상이한 다양한 유형의 레이더 센서의 구별과 같은 추가 차별화가 수행될 수 있다.
특정 랜드마크 유형의 랜드마크들은 주변 데이터에서 특정 랜드마크 유형의 랜드마크를 검출하는데 적합한 패턴에 기초하여 설명될 수 있다. 이를 위해 이용되는 정보는 가령 패턴의 인식을 위한 수학적으로 공식화된 설명을 포함할 수 있고, 상기 패턴에 의해 센서의 신호에서 주변의 랜드마크 또는 특징이 묘사된다. 예를 들어, 하나의 랜드마크 유형의 물체들의 기하학적 특성뿐만 아니라, 예를 들어 반사도 값과 같은 재료 특성이나 명암 전이의 구배와 같은 수학적 함수도 설명될 수 있다.
하나의 랜드마크 유형의 랜드마크들을 검출하기 위한 이러한 설명은 일반적으로 센서 특정적이므로, 바람직하게는 검출을 위해 센서들의 다양한 유형에 대해 자체 패턴 설명이 제공될 수 있다. 예를 들어 광학 카메라의 이미지에서 패턴들의 인식은 레이저 스캐너가 검출하는 포인트 군집 내에서의 인식과 다르다. 그러나 복수의 센서 유형에 적합한 포괄적인 정보가 검출을 위해 제공될 수도 있다. 또한, 특정 센서 유형으로부터 수집된 데이터는, 다른 센서 유형의 데이터의 경우와 동일한 검출 방법이 상기 수집된 데이터에 적용 가능하도록 처리될 수 있다.
주변 데이터에 기초한 랜드마크의 검출은 원래 공개된 방식으로, 특히 패턴 인식 방법을 이용해서 이루어지고, 상기 방법에 의해 예를 들어 카메라 이미지 또는 레이저 포인트 군집에서 랜드마크가 인식될 수 있다. 이를 위해 소위 "검출기 모듈"이 이용된다. 이 경우 본 발명과 관련해서, 예를 들어 저장 가능한 파일을 포함하는 소프트웨어 모듈이 관련된다. 검출기 모듈은, 수집된 주변 데이터에 기초하여 상기 검출기 모듈을 이용해서 특정 랜드마크 유형의 랜드마크들이 검출될 수 있도록 설계된다. 특히 검출기 모듈은 특정 랜드마크 유형의 검출에 특정적으로 설계될 수 있다. 각각의 검출된 랜드마크에 적어도 하나의 랜드마크 유형이 배정되는 것이 제공될 수 있다.
본 방법에서 특정 랜드마크 유형들에 대한 검출기 모듈들이 존재한다. 상기 검출기 모듈은 예를 들어 메모리 유닛에 저장될 수 있거나 다른 방식으로 컴퓨팅 유닛에서 이용될 수 있다. 본 발명에서 제 1 검출기 모듈은, 예를 들어 이것이 처음에는 존재하지 않기 때문에 생성된다. 검출기 모듈의 생성은 또한 존재하는 검출기 모듈의 업데이트도 포함할 수 있다. 존재하는 검출기 모듈은 새롭게 생성된 검출기 모듈로 대체될 수 있거나, 예를 들어 이미 존재하는 검출기 모듈이 생성에 이용됨으로써, 변경될 수 있다.
검출기 모듈을 이용한 랜드마크의 검출 시, 랜드마크가 어느 랜드마크 유형에 배정되는지 결정될 수 있다. 또한, 검출된 랜드마크들에 대해 위치 데이터가 결정될 수 있으며, 이 경우 특히 랜드마크들에 좌표 시스템에서의 위치 또는 포즈가 배정된다. 이는 검출 단계 또는 별도의 단계에서 수행될 수 있다. 특정 랜드마크 유형에 대해 예를 들어 랜드마크의 장소를 결정하기 위한 특정 축이 규정됨으로써, 또는 랜드마크의 위치를 결정하기 위해 랜드마크의 특정 섹션들을 이용함으로써, 위치 또는 포즈는 특히 배정된 랜드마크 유형에 따라 결정될 수 있다. 예를 들어 포스트의 종방향 연장부는, 상기 포스트의 크기를 결정하는데 이용될 수 있거나, 지면 위의 상기 포스트의 위치에 기초해서 상기 포스트의 위치가 결정되는 것이 미리 정해질 수 있다. 이 경우, 전역 또는 상대 좌표 시스템, 예를 들어 수집 유닛 또는 차량에 대한 상대 시스템이 이용될 수 있다. 위치는 가령 검출된 다른 랜드마크의 위치 또는 센서의 위치에 관련될 수 있고, 상기 센서의 데이터에 기초해서 검출이 수행된다. 또한, 검출된 랜드마크에 대해서 추가 특징들, 예를 들어 그것의 크기 및 형태, 색상은, 동적 특징들을 설명하기 위한 파라미터에 의해, 또는 분류 표시의 평가에 의해 결정될 수 있다.
본 방법에서 트레이닝 데이터에 기초하여 생성된 제 1 검출기 모듈은, 제 1 랜드마크 유형의 임의의 랜드마크에 대한 검출을 수행하는데 이용되고 새롭게 수집된 주변 데이터에 기초하여 제 1 랜드마크 유형의 이러한 임의의 랜드마크에 대한 전술한 정보를 결정하는데 이용된다. 본 방법에서 생성된 제 1 검출기 모듈을 이용해서, 본 방법에서 맵 데이터에 의해 이미 위치 정보가 제공되는 제 1 랜드마크도 검출될 수 있지만, 검출은 이러한 특정 제 1 랜드마크로 제한되지 않는다.
이 경우, 특정 유형의 센서들의 경우에 하나의 랜드마크 유형의 랜드마크들의 검출은 특정 방식으로 수행될 수 있고, 즉, 특정 센서 유형에 의해 수집된 주변 데이터에서 하나의 랜드마크 유형의 랜드마크들이 검출될 수 있도록, 해당하는 패턴에 대한 정보가 제공된다. 이로써, 주변 데이터에 기초한 패턴의 인식은 이러한 주변 데이터를 수집한 센서의 종류에 따라 달라진다.
본 방법에서 또한 모바일 유닛의 위치, 특히 포즈가 결정된다. 이것 또한 전역 또는 상대 좌표 시스템에서 수행될 수 있다. 위치는 원래 공개된 방식으로, 예를 들어 검출된 랜드마크에 기초하여 가령 랜드마크 기반의 위치 확인에 의해 결정된다. 이를 위해, 이러한 랜드마크에 대해 이미 검출기 모듈이 존재해야 하며, 이러한 검출기 모듈은 주변에 있는 특정 랜드마크 유형의 랜드마크들의 검출을 가능하게 한다. 대안으로서 또는 추가로, 예컨대 GPS와 같은 글로벌 항법 위성 시스템(GNSS; Global Navigation Satellite System)을 이용한 다른 위치 결정 시스템이 이용될 수 있다.
본 발명에 따른 방법의 실시예에서 맵 데이터는 제 2 랜드마크 유형의 제 2 랜드마크에 대한 위치 정보를 더 포함하고, 제 2 랜드마크 유형에 대한 제 2 검출기 모듈을 이용해서 주변 데이터에 기초하여 제 2 랜드마크가 검출된다. 이 경우 검출된 제 2 랜드마크에 기초하여 모바일 유닛의 위치 또는 포즈가 결정된다. 모바일 유닛의 위치는 이로써 바람직하게 랜드마크에 기반하여 결정될 수 있다.
특히, 제 2 랜드마크의 검출 시 모바일 유닛에 대해 이들의 위치도 결정되고, 이어서 모바일 유닛의 자체 위치는 맵 데이터에서 제 2 랜드마크에 대한 위치 정보 및 상대 위치의 조정에 기초해서 얻어진다.
특히 맵 데이터의 좌표 시스템에 대해 위치 또는 포즈가 결정된다. 이로써 수집된 주변 데이터는 맵 데이터의 좌표 시스템으로 또는 역으로 변환될 수 있다. 이는 특히, 주변 데이터로부터 생기는 위치 정보가 맵 데이터의 위치에 배정될 수 있음을 의미한다. 예를 들어 특정 위치의 주변 데이터에서 검출된 랜드마크는 맵 데이터의 특정 위치에 배정될 수 있다. 반대로 맵 데이터의 위치에 기초하여, 위치 정보가 주변 데이터 내에 배정될 수 있다. 즉, 맵 데이터가 특정 위치에 랜드마크가 있다는 것에 대해 정보를 포함하면, 이러한 위치에 배정될 수 있는 해당하는 주변 데이터가 식별될 수 있다.
본 방법은, 제 1 랜드마크 유형의 제 1 랜드마크를 실제로 검출하기에 적합한 제 1 검출기 모듈이 이용 가능하지 않더라도, 수집된 주변 데이터는 제 1 랜드마크에 대한 정보를 포함한다는 사실에 기초한다. 맵 데이터에 기초하여 특히, 주변 데이터의 어느 부분이 제 1 랜드마크에 해당하는지 결정될 수 있다. 이어서 제 1 검출기 모듈의 생성을 위해 주변 데이터는 제 1 랜드마크 유형의 랜드마크들에 대한 트레이닝의 출발점으로써 이용된다. 후속해서, 생성된 검출기 모듈은 예를 들어 랜드마크 기반의 위치 확인을 위해 이용될 수 있다.
다른 실시예에서 추후 시점에 제 1 검출기 모듈을 이용해서 제 1 랜드마크가 검출되고, 검출된 제 1 랜드마크에 기초하여 모바일 유닛의 위치가 결정된다. 이로 인해 바람직하게는 생성된 검출기 모듈은, 예를 들어 더욱 정확한 위치 결정을 달성하기 위해, 자체 위치 결정에 이용된다.
특히, 주변 데이터에 기초하여 랜드마크를 검출하기 위해, 슬라이딩 윈도우 기법이 사용된다. 이 경우 수집된 주변 데이터는 "슬라이딩 윈도우"를 이용해서 래스터화되고(rasterized), 래스터의 각 필드의 내용은 검출기 모듈을 이용해서 랜드마크와 일치하는 구조에 대해 조사된다.
본 방법은 특히 반복적으로 수행되며, 이 경우 검출기 모듈은 일정한 간격으로 업데이트될 수 있다. 또한, 생성된 검출기 모듈은, 본 방법에 기초하여 아직 존재하지 않는 추가 검출기 모듈을 새롭게 생성하기 위해, 위치 결정에 이용될 수 있다.
개선예에서 트레이닝 데이터는 수집된 주변 데이터의 부분 집합을 포함하고, 상기 부분 집합은 제 1 랜드마크에 대한 위치 정보에 기초하여 생성된다. 이로써 트레이닝 데이터는 바람직하게 제 1 랜드마크 유형에 대해 특히 목표에 맞게 생성될 수 있다.
특히, 수집된 주변 데이터의 섹션은 트레이닝 데이터의 생성에 이용되며, 이 경우 상이한 시점에, 상이한 장소에서 및 상이한 조건에서 수집된 주변 데이터의 복수의 섹션이 이용될 수 있다. 섹션을 정의하기 위해, 주변 데이터의 섹션을 정의하는 "바운딩 박스(bounding box)"가 규정될 수 있다; 예를 들어 특정한 크기 및 형태의 섹션들이 이용될 수 있다.
주변 데이터의 섹션들이 어느 위치에 있는지 고려되고, 이러한 섹션들은 제 1 랜드마크에 대한 맵 데이터의 위치 정보와 비교된다. 예를 들어 맵 데이터는 특정 제 1 랜드마크의 위치에 대한 정보를 포함하고, 트레이닝 데이터의 생성을 위해 상기 위치에 해당하는 주변 데이터의 섹션이 이용된다. 트레이닝 데이터는 따라서 맵 데이터에 따라 제 1 랜드마크의 위치에 해당하는 위치에서 수집된 주변 데이터를 포함한다.
실시예에서 맵 데이터는 제 1 랜드마크 유형의 랜드마크에 대한 추가 정보를 포함한다. 다른 실시예에서 추가 정보는 다른 소스로부터 수집된다. 이는 바람직하게 주변 데이터에서 그러한 랜드마크를 찾아 내는 것을 용이하게 한다.
이러한 추가 정보는 예를 들어 적절한 바운딩 박스(bounding box)와 관련될 수 있고, 이러한 바운딩 박스는 슬라이딩 윈도우 기법에서 적절한 윈도우의 선택에 또는 주변 데이터로부터 랜드마크를 잘라내는데 적절한 바운딩 박스와 관련될 수 있으며; 예를 들어 랜드마크의 대략적인 형태와 크기가 제시될 수 있다. 이러한 크기는 또한 예를 들어 원반경으로서 또는 타원의 반축에 기초해서 제시될 수 있다. 또한, 제 1 랜드마크 유형의 랜드마크의 인식을 가능하게 하는 방향, 색상 및 다른 특징들이 포함될 수 있다.
예를 들어 이와 같이 인식은 특정한 크기 및 색상의 수직으로 배향된 가느다란 구조로 제한될 수 있으며, 이는 예를 들어 급수전에 대한 검출기 모듈의 생성 시 유용한 제 1 근사치에 해당한다. 대안으로서 또는 추가로 원반경이 제시될 수 있으며, 상기 원반경은 전형적으로 하나의 랜드마크 유형의 랜드마크들에 의해 점유된 영역을 둘러싼다.
본 방법의 실시예에서 추가 정보는 포괄적인 랜드마크 유형에 제 1 랜드마크 유형의 배정을 포함한다. 이것은 바람직하게는 제 1 검출기 모듈의 생성을 용이하게 한다.
포괄적인 랜드마크 유형은 예를 들어 랜드마크 유형들의 더 큰 그룹을 포함할 수 있다. 포괄적인 랜드마크 유형에 대해 해당하는 검출기 모듈이 이미 존재하는 경우, 제 1 랜드마크 유형에 대한 가능한 후보는 미리 이러한 랜드마크로 제한될 수 있다. 이어서 제 1 검출기 모듈의 생성 시 특히, 포괄적인 랜드마크 유형의 다른 랜드마크들과 달리 제 1 랜드마크 유형에 배정된 랜드마크들이 어떠한 공통의 특수성을 갖는지 결정된다.
다른 실시예에서 제 1 검출기 모듈은 기계 학습 방법에 의해 생성된다. 이로 인해 생성은 바람직하게 특히 간단하고 빠르게 수행된다. 원래 공개된 다양한 방법, 예를 들어 딥 러닝(Deep Learning) 방법, 서포트 벡터 머신(Support Vector Machine) 또는 다른 통계적 방법이 이용될 수 있다. 대안으로서 또는 추가로, 특히 이미지 처리의 다른 방법이 이용될 수 있다.
개선예에서, 트레이닝 데이터가 품질 기준을 충족하는 경우에, 제 1 검출기 모듈이 생성된다. 이는 바람직하게는 생성된 제 1 검출기 모듈의 충분한 품질을 보장한다.
예를 들어 제 1 검출기 모듈의 생성을 위한 주변 데이터의 적어도 특정 개수의 섹션을 평가하기 위해, 임계값이 정해질 수 있다. 또한, 예를 들어 불량 수집 품질에 따라 기존의 주변 데이터를 배제하기 위해, 주변 데이터의 품질은, 특히 개별 섹션에 대해 정량화되어 임계값과 비교될 수 있다. 또한, 특정 수집 조건에서 수집된 주변 데이터에 기초해서, 예를 들어 다양한 위치에서, 랜드마크에 대해 다양한 방향에서, 다양한 기상 조건에서 또는 다양한 광 조건 또는 시간대에 수집된 주변 데이터에 기초해서 트레이닝 데이터가 생성되었는지 여부가 검사될 수 있다. 따라서, 트레이닝 데이터에 기초해서 생성된 검출 모듈이 추후에도 신뢰적으로 검출에 적합한 것이 보장될 수 있다.
본 방법의 실시예에서 제 1 검출기 모듈의 생성 시 트레이닝 데이터에 대한 상관관계가 결정되고, 상관관계가 임계값을 초과하는지 검사된다. 특히 이용된 머신 러닝 방법은, 트레이닝 데이터에 포함된 주변 데이터의 섹션들을 서로 및/또는 랜드마크가 없는 반대예와 비교하는 것과 상관관계를 결정하는 것을 기초로 한다. 이로 인해 바람직하게, 랜드마크의 인식이 신뢰적으로 작동하는 것이 보장된다.
특히, 음성 대조군의 경우에도 제 1 랜드마크 유형의 랜드마크들의 인식이 신뢰적인지, 즉 제 1 랜드마크 유형이 존재하지 않는 주변 데이터의 데이터 세트에서 실제로 이러한 유형의 어떠한 랜드마크도 인식되지 않는지가 검사된다.
다른 실시예에서 제 1 검출기 모듈은 모바일 유닛에 통합된 학습 유닛에 의해 생성된다. 생성은 바람직하게는 모바일 유닛에 의해 독립적으로 수행되므로 다른 유닛들과 무관하다. 특히, 예를 들어 데이터 보호 측면과 관련하여 문제가 발생할 수 있는 다른 유닛으로 정보를 전송할 필요는 없다.
제 1 검출기 모듈은 이어서 외부 유닛으로도 전송될 수 있다. 상기 검출기 모듈은, 예를 들어 직접 데이터 연결을 통해 직접적으로 또는 외부 서버의 중개를 통해 간접적으로 추가 모바일 유닛에서 이용될 수도 있다.
개선예에서 트레이닝 데이터는 외부 유닛으로 전송된다. 제 1 검출기 모듈은 외부 유닛에 의해 생성되고, 제 1 검출기 모듈은 모바일 유닛으로 전송된다. 제 1 검출기 모듈은 또한 추가 유닛에서 이용될 수 있다. 복잡한 계산 프로세스는 이로써 바람직하게 모바일 유닛으로부터 재배치될 수 있다. 특히 필수적인 데이터 보호를 보장하기 위해 원래 공개된 방지책이 제공된다.
다른 실시예에서 트레이닝 데이터에 기초하여 출력이 생성되고, 트레이닝 데이터를 확인하도록 사용자에게 요청된다. 이는 바람직하게 트레이닝 데이터의 품질의 수동 제어를 가능하게 한다.
예를 들어 출력은 맵 데이터에 따라 제 1 랜드마크의 위치에 해당하는 카메라 이미지의 섹션들을 포함할 수 있다. 이어서 사용자는, 제 1 랜드마크가 실제로 섹션들에 포함되는지 검사할 수 있다. 필요한 경우 섹션들이 확인되거나 버려질 수 있다.
모바일 유닛을 위한 본 발명에 따른 위치 결정 시스템은 제 1 랜드마크 유형의 제 1 랜드마크에 대한 위치 정보를 포함하는 맵 데이터를 제공하기 위한 메모리 유닛을 포함한다. 상기 시스템은 주변 데이터를 수집하기 위한 수집 유닛, 모바일 유닛의 위치를 결정하기 위한 위치 확인 유닛, 모바일 유닛의 위치, 수집된 주변 데이터 및 제 1 랜드마크에 대한 위치 정보에 기초하여 트레이닝 데이터를 생성 및 저장하기 위한 컴퓨팅 유닛 및, 트레이닝 데이터에 기초하여 제 1 랜드마크 유형의 검출을 위한 제 1 검출 모듈을 생성하기 위한 학습 유닛을 더 포함한다. 특히 검출 모듈은 수집된 주변 데이터에 기초하여 제 1 랜드마크 유형의 랜드마크를 검출하도록 설계된다.
본 발명에 따른 시스템은 특히, 전술한 본 발명에 따른 방법을 구현하도록 설계된다. 따라서 본 시스템은 본 발명에 따른 방법과 동일한 장점을 갖는다.
본 발명에서 특정 유형의 랜드마크들은 특정 소프트웨어 모듈에 의해 검출되고, 후속해서 랜드마크 유형의 검출된 인스턴스가 평가되어 위치 결정을 위해 이용된다. 본 방법에서, 이러한 특정 유형의 기본적으로 임의의 다수의 다양한 랜드마크를 검출하기 위해 이용될 수 있는 검출기 모듈이 생성된다. 따라서 특히, 예를 들어 새롭게 추가되었기 때문에 또는 모바일 유닛이 새로운 환경에 있기 때문에, 트레이닝 동안 검출되지 않았던 랜드마크도 추가 주변 데이터에 기초하여 검출될 수 있다.
본 발명에 따른 시스템의 구현예에서 수집 유닛은 카메라 및/또는 라이더-, 레이더- 및/또는 초음파 센서를 포함한다. 따라서 바람직하게 이미 널리 보급된 센서들이 이용되고, 시스템은 저렴하게 예를 들어 기존 차량에 통합될 수 있다.
다른 실시예에서 수집 유닛의 특정 센서 유형을 위한 제 1 검출기 모듈이 생성된다. 제 1 랜드마크의 검출은 이로 인해 센서 특정적이고, 특히 신뢰적으로 수행될 수 있다. 검출기 모듈은 또한 제 1 랜드마크 유형의 랜드마크를 검출하는데 특히 적합한 센서를 위해 의도대로 생성될 수 있다.
이 경우, 사용된 센서 유형에 따라 상이하게 구성된 데이터가 수집되는 것이 고려된다. 또한, 모바일 유닛의 주변에서 상이한 물리적 특징이 검출될 수 있다. 따라서 특정 센서 유형을 위한 검출기 모듈은 특정 랜드마크 유형의 랜드마크들을 검출하기 위한 특히 센서 특정의 파라미터를 포함한다. 또한, 검출기 모듈은 특정 랜드마크 유형의 랜드마크를 검출할 수 있는 센서 특정의 패턴과 관련될 수 있다. 예를 들어 생성된 센서 특정의 검출기 모듈은, 레이저 스캐너, 카메라, 비행시간 거리 측정(Time-of-Flight) 카메라, 레이더- 또는 라이더-센서 또는 초음파 센서를 이용해서 수집된 주변 데이터에 기초하여 특정 유형의 랜드마크들의 검출을 가능하게 하도록 형성될 수 있다.
본 발명에 따른 차량은 본 발명에 따른 위치 결정 시스템을 포함한다.
본 발명은 도면과 관련하여 실시예를 참고로 설명된다.
도 1은 본 발명에 따른 위치 결정 시스템의 실시예를 포함하는 차량을 도시한 도면.
도 2는 다양한 랜드마크가 있는 주변의 실시예를 도시한 도면.
도 3은 본 발명에 따른 방법의 실시예를 도시한 도면.
도 1과 관련하여 본 발명에 따른 위치 결정 시스템의 실시예를 포함하는 차량이 설명된다.
차량(1)은 카메라(4)와 라이더 스캐너(5)를 포함하는 수집 유닛(3)을 포함한다. 차량은 위치 확인 유닛(6)을 더 포함한다. 수집 유닛(3)과 위치 확인 유닛(6)은 학습 유닛(8)을 포함하는 컴퓨팅 유닛(7)에 연결된다. 컴퓨팅 유닛(7)에 터치 스크린(9)과 메모리 유닛(2)이 더 연결된다.
실시예에서, 위치 확인 유닛(6)은 GPS-모듈 및 랜드마크 기반의 위치 결정을 수행하기 위한 모듈을 포함한다. 다른 실시예에서 대안으로서 또는 추가로 다른 방법들 또는 이들의 조합이 이용될 수 있다.
다른 실시예에서, 수집 유닛(3)은 다른 유형의 센서들 또는 이들의 조합을 포함한다. 예를 들어, 레이더 스캐너, 초음파 센서 또는 비행시간 거리 측정 카메라가 제공될 수 있다. 또한, 차량 외부 유닛에 의해 수집된 데이터를 수신할 수 있는 인터페이스가 제공될 수 있다.
도 2 및 도 3과 관련하여 본 발명에 따른 방법의 실시예가 설명된다. 본 발명에 따른 시스템의 도 1과 관련하여 전술한 실시예는, 방법의 설명에 의해 상기 시스템이 추가로 상술되는 것이 전제된다.
도 2에 도시된 경우에서, 좌측 차도 에지(21)와 우측 차도 에지(22)를 갖는 도로(20) 위에 차량(1)이 위치한다. 차도 에지(21, 22)는 본 예에서 차선 표시로 특징된다. 도로(20)의 주변에는 가이드 포스트(25) 및 급수전(24)이 있다. 차량(1)은 실시예에서 도로(20)를 따라 화살표(23) 방향으로 이동한다.
제 1 방법 단계(30)에서 맵 데이터가 수집된다. 상기 데이터는 차량(1)의 주변에 대한 정보, 특히 지리적으로 설명 가능한 특성 또는 패턴의 배치를 포함한다. 실시예에서 맵 데이터는 도로(20)의 코스, 좌측 차도 에지(21) 및 우측 차도 에지(22)의 표시들의 배치와 특성 및 가이드 포스트(25)의 위치와 특징들에 대한 정보를 포함한다. 맵 데이터는 차량(1)의 주변에 있는 랜드마크가 랜드마크의 어느 카테고리에 속하는지에 대한 정보를 더 포함한다. 이러한 카테고리는 가령 가이드 포스트(25)의 경우 "가이드 포스트" 및 차도 에지(21, 22)의 표시들의 경우 "차선 표시"이다. 맵 데이터는 추가 랜드마크를 더 포함할 수 있으며, 이 경우 일반적으로, 위치가 지정될 수 있고 특정한 특징들에 기초해서, 예를 들어 패턴 인식에 의해 재인식될 수 있는 구조들이 랜드마크로서 설명될 수 있다. 특히, 특정 카테고리에 속하는 특성으로서 인식될 수 있는 시맨틱 랜드마크가 제공된다.
맵 데이터는 랜드마크 유형 "급수전"의 인스턴스로서 급수전(24)에 대한 정보, 특히 위치 정보를 더 포함한다. 상기 맵 데이터는 또한 다양한 랜드마크 유형에 대한 추가 정보도 포함한다. 실시예에서 추가 정보는 바운딩 박스 또는 더 간단한 형태로 원반경을 설명하는 크기 표시를 제시하며, 이로써 내부에 특정 유형의 랜드마크가 표현될 수 있는 영역이 규정될 수 있다. 예를 들어 랜드마크 유형 "가이드 포스트"의 경우에 추가 정보는, 상기 가이드 포스트가 실질적으로 수직으로 정렬되고, 가늘고, 특정 높이에 도달하도록 형성된다는 것을 제시한다. 이러한 정보에 기초하여, 예를 들어 주변 데이터를 래스터화하기 위한 랜드마크의 검출 시 이용될 수 있고 각각의 가이드 포스트(25)가 배치될 수 있는 가상 프레임이 생성될 수 있다.
실시예에서 랜드마크 유형 "급수전"에 대한 추가 정보는, 그것이 둥근 단면 및 적색을 가지며 지면으로부터 수직으로 연장되는 긴 물체와 관련된다는 정보를 포함한다. 이것이 실제로 존재하는 급수전(24)의 일부에만 적용되는 한, 추가 정보는 다르게 형성될 수 있거나 다른 종류의 급수전(24)에 대해 추가 랜드마크 유형이 제공될 수 있다.
맵 데이터에 포함된, 포괄적인 랜드마크에 대한 위치 정보는 다양한 좌표 시스템에 표시될 수 있다. 본 실시예에서, 예를 들어 GPS를 이용한 위치 결정 시 통상적인 전역 좌표 시스템이 이용된다. 대안으로서 또는 추가로 위치들은 다른 좌표 시스템에, 특히 정해진 기준점에 대해 표시될 수 있다.
제 2 단계(31)에서 주변 데이터가 수집되고, 이는 원래 공개된 방식으로 차량(1)의 수집 유닛(3)에 의해 수행된다. 여기서 센서 데이터는 차량(1)의 주변의 수집 공간에서 수집되고, 상기 수집 공간은 예를 들어 수집 유닛(3)의 센서들의 가시 범위 또는 도달 범위에 의해 결정된다. 또한, 차량 외부 유닛에 의해 수집된 주변 데이터가 수신되면, 수집 공간은 상응하게 확장될 수 있다. 실시예에서, 차량(1)에 의해 수집된 주변 데이터는 표시된 랜드마크 전체, 즉 차도 에지(21, 22), 가이드 포스트(25) 및 급수전(24)에 대한 정보를 포함하는 것이 전제된다.
주변 데이터는, 거기에 차량(1)에 대한 공간 정보가 배정될 수 있도록 수집된다. 예를 들어 카메라(4)로 기록된 이미지의 픽셀은 차량(1)에 대한 일정한 공간 각도에 상응한다. 라이더 스캐너(5)를 이용해서 수집된 점군집의 경우에, 각각의 점에 대해 차량(1)에 대한 공간 각도 및 차량(1)과의 거리가 결정될 수 있다. 즉, 예를 들어 표면의 반사에 따라서 수집 유닛(3)에 의해 검출될 수 있는 물체의 위치가 주변 데이터에 기초해서 결정될 수 있다.
추가 단계(32)에서 차량(1)의 위치가 결정된다. 본 실시예에서 위치의 결정은 맵 데이터의 좌표 시스템에서 이루어지고, 차량(1)의 방향을 포함하며, 즉 맵 데이터의 좌표 시스템에서 차량(1)의 포즈가 결정된다. 이러한 위치 결정은 원래 공개된 방식으로 위치 확인 유닛(6)에 의해 수행된다. 위치 결정은 GPS-모듈의 데이터에 기반하고, 랜드마크 기반의 위치 확인에 의해 최적화된다. 실시예에서 이를 위해 차량(1)에 의해 수집된 가이드 포스트(25) 및 차도 에지(21, 22)가 이용된다. 실시예에서, 해당하는 검출기 모듈이 존재하지 않기 때문에, 차량(1)에서는 급수전(24)이 주변 데이터에서 검출될 수 없는 것이 전제된다. 후속해서 급수전(24)에 대해 이러한 검출기 모듈이 생성된다.
또한, 단계(33)에서 트레이닝 데이터 세트가 생성된다. 이를 위해, 먼저 차량(1)에 대해 좌표 시스템으로 맵 데이터의 변환이 수행된다. 이는 역으로도 수행될 수 있다. 급수전(24)에 대한 주변 데이터에 포함된 위치 정보에 기초하여, 수집된 주변 데이터의 어느 섹션에 급수전(24)이 위치하는지 결정된다. 즉, 차량(1)에 급수전(24)을 검출하기 위한 검출기 모듈은 없지만, 주변 데이터의 어떠한 부분 집합이 맵 데이터의 각각의 급수전(24)을 포함해야 하는지 공개되어 있다. 따라서 수집된 주변 데이터의 섹션들이 결정되어 저장되고, 섹션들에 기초해서 트레이닝 데이터가 생성된다. 실시예에서, 특정한 최소 개수의 섹션들이 트레이닝 데이터에 의해 포함되는지가 임계값에 기초하여 검사됨으로써, 트레이닝 데이터의 충분한 크기와 품질이 보장된다. 또한, 섹션들의 품질은, 예를 들어 이미지 품질을 평가하기 위한 정량적 방법을 이용해서 평가된다. 섹션들의 개수 외에, 이러한 섹션들이 특정한 최소 개수의 다양한 환경 조건에서 기록되었는지도 고려된다. 예를 들어, 트레이닝 데이터에 포함된 섹션들이 다양한 시간대와 다양한 조명 조건에서 수집된 것이 보장된다.
트레이닝 데이터에 대한 이러한 조건이 충족되면, 추가 단계(34)에서 랜드마크 유형 "급수전"에 대한 검출기 모듈이 생성된다. 실시예에서 이를 위해, 트레이닝 데이터에 포함된 섹션들에 대해 패턴 인식이 수행되어 상관관계가 결정되는 기계 학습 방법이 이용된다. 이러한 상관관계는 특히, 랜드마크 유형 "급수전"의 각각의 상이한 랜드마크를 포함하는 다양한 섹션들에서 어떠한 공통의 패턴이 인식되는지 제시한다. 수집된 주변 데이터에 기초하여 랜드마크 유형 "급수전"의 랜드마크를 검출하기 위한 검출기 모듈로써 이용될 수 있는 소프트웨어 모듈이 기계 학습 방법으로 생성된다.
추가 실시예에서 기존 검출기 모듈이 업데이트된다. 이러한 경우에 트레이닝 데이터는 기존의 검출기 모듈도 포함하며, 상기 검출기 모듈은 후속해서 업데이트된 검출기 모듈로 대체될 수 있다.
새롭게 생성된 검출기 모듈이 저장되고, 다음 단계에서 랜드마크 기반의 위치 확인을 수행하는데 이용될 수 있다. 추가 실시예에서 검출기 모듈은 외부 유닛으로 전송될 수 있고, 상기 외부 유닛은 상기 검출기 모듈을 후속해서 다른 유닛, 특히 다른 차량에서 이용 가능하다. 추가 실시예에서 새로운 검출기 모듈의 생성은 또한 외부 유닛에 의해 수행될 수 있으며, 이를 위해 트레이닝 데이터 또는 트레이닝 데이터를 생성하기 위해 수집된 주변 데이터의 섹션들이 외부 유닛으로 전송된다. 기계 학습의 특히 계산이 복잡한 방법은 이로써 차량(1)으로부터 위탁될 수 있다.
추가 실시예에서 트레이닝 데이터의 생성 시, 사용자에게 주변 데이터의 선택된 섹션들의 검사를 요청하는 출력이 생성된다. 예를 들어 섹션들은 차량(1)의 터치스크린(9) 상에 디스플레이되고, 사용자는, 예를 들어 섹션에서 소정의 랜드마크 유형의 어떠한 랜드마크도 인식되지 않거나 주변 데이터의 품질이 충분하지 않기 때문에, 섹션이 트레이닝을 위해 이용되어야 하는지 또는 그 대신 폐기되어야 하는지 결정할 수 있다.
추가 실시예에서 랜드마크 유형 "급수전"에 대한 맵 데이터의 추가 정보는 포괄적인 랜드마크 유형 "긴 구조"에 배정을 포함한다. 차량(1)이 이러한 유형의 랜드마크에 대한 검출기 모듈을 이미 가지고 있다면, 이것은 주변 데이터의 적절한 섹션을 더욱 목표에 맞게 결정하기 위해 이용될 수 있다. 이러한 정보 및 경우에 따라서 기존의 검출기 모듈은 또한 급수전에 대한 새로운 검출기 모듈의 생성에 이용될 수 있다.
1 모바일 유닛; 차량
2 메모리 유닛
3 수집 유닛
4 카메라
5 라이더 스캐너
6 위치 확인 유닛
7 컴퓨팅 유닛
8 학습 유닛
9 터치스크린
20 도로
21 좌측 차도 에지
22 우측 차도 에지
23 화살표
24 제 1 랜드마크; 급수전
25 제 2 랜드마크; 가이드 포스트
30 맵 데이터를 제공하는 단계
31 주변 데이터를 수집하는 단계
32 위치를 결정하는 단계
33 트레이닝 데이터를 생성하는 단계
34 검출기 모듈을 생성하는 단계

Claims (15)

  1. 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법으로서,
    제 1 랜드마크 유형의 제 1 랜드마크(24)에 대한 위치 정보를 포함하는 맵 데이터가 제공되고;
    주변 데이터가 수집되고;
    상기 모바일 유닛(1)의 위치가 결정되고;
    상기 모바일 유닛(1)의 위치, 상기 수집된 주변 데이터, 및 상기 제 1 랜드마크(24)에 대한 위치 정보에 기초하여 트레이닝 데이터가 생성되어 저장되고;
    상기 트레이닝 데이터에 기초하여, 상기 제 1 랜드마크 유형을 검출하기 위한 제 1 검출기 모듈이 생성되는 것인 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  2. 제 1 항에 있어서,
    상기 맵 데이터는 제 2 랜드마크 유형의 제 2 랜드마크(25)에 대한 위치 정보를 더 포함하고;
    상기 제 2 랜드마크 유형에 대한 제 2 검출기 모듈을 이용해서 상기 주변 데이터에 기초하여 상기 제 2 랜드마크(25)가 검출되고;
    상기 검출된 제 2 랜드마크(25)에 기초하여 상기 모바일 유닛(1)의 위치가 결정되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    추후 시점에 상기 제 1 검출기 모듈을 이용해서 상기 제 1 랜드마크(24)가 검출되고;
    상기 검출된 제 1 랜드마크(24)에 기초하여 상기 모바일 유닛(1)의 위치가 결정되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 트레이닝 데이터는 상기 수집된 주변 데이터의 부분 집합을 포함하고;
    상기 부분 집합은 상기 제 1 랜드마크(24)에 대한 위치 정보에 기초하여 생성되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 맵 데이터는 상기 제 1 랜드마크 유형의 랜드마크에 대한 추가 정보를 포함하는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  6. 제 5 항에 있어서,
    상기 추가 정보는 포괄적인 랜드마크 유형에 대한 상기 제 1 랜드마크 유형의 배정을 포함하는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 제 1 검출기 모듈은 기계 학습 방법에 의해 생성되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 트레이닝 데이터가 품질 기준을 충족하는 경우에, 상기 제 1 검출기 모듈이 생성되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 제 1 검출기 모듈의 생성 시, 상기 트레이닝 데이터에 대한 상관관계가 결정되고, 상기 상관관계가 임계값을 초과하는지 여부가 검사되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 제 1 검출기 모듈은 상기 모바일 유닛(1)에 통합된 학습 유닛(8)에 의해 생성되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 트레이닝 데이터는 외부 유닛으로 전송되고;
    상기 제 1 검출기 모듈은 상기 외부 유닛에 의해 생성되며;
    상기 제 1 검출기 모듈은 상기 모바일 유닛(1)으로 전송되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 트레이닝 데이터에 기초하여 출력이 생성되고;
    상기 트레이닝 데이터를 확인할 것을 사용자에게 요청되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템을 작동시키기 위한 방법.
  13. 모바일 유닛(1)을 위한 위치 결정 시스템으로서,
    제 1 랜드마크 유형의 제 1 랜드마크(24)에 대한 위치 정보를 포함하는 맵 데이터를 제공하기 위한 메모리 유닛(2);
    주변 데이터를 수집하기 위한 수집 유닛(3);
    상기 모바일 유닛(1)의 위치를 결정하기 위한 위치 확인 유닛(6);
    상기 모바일 유닛(1)의 위치, 상기 수집된 주변 데이터, 및 상기 제 1 랜드마크(24)에 대한 위치 정보에 기초하여 트레이닝 데이터를 생성하고 저장하기 위한 컴퓨팅 유닛(7); 및
    상기 트레이닝 데이터에 기초하여 상기 제 1 랜드마크 유형의 검출을 위한 제 1 검출 모듈을 생성하기 위한 학습 유닛(8)
    을 포함하는 모바일 유닛(1)을 위한 위치 결정 시스템.
  14. 제 13 항에 있어서,
    상기 수집 유닛(3)은 카메라(4) 또는 라이더(5)-, 레이더, 및/또는 초음파 센서를 포함하는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 수집 유닛(3)의 특정 센서 유형을 위해 상기 제 1 검출기 모듈이 생성되는 것을 특징으로 하는 모바일 유닛(1)을 위한 위치 결정 시스템.
KR1020190171747A 2018-12-21 2019-12-20 모바일 유닛을 위한 위치 결정 시스템 및 위치 결정 시스템을 작동시키기 위한 방법 KR102373733B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018133461.3A DE102018133461A1 (de) 2018-12-21 2018-12-21 Positionsbestimmungssystem und Verfahren zum Betreiben eines Positionsbestimmungssystems für eine mobile Einheit
DE102018133461.3 2018-12-21

Publications (2)

Publication Number Publication Date
KR20200078387A true KR20200078387A (ko) 2020-07-01
KR102373733B1 KR102373733B1 (ko) 2022-03-15

Family

ID=68808066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190171747A KR102373733B1 (ko) 2018-12-21 2019-12-20 모바일 유닛을 위한 위치 결정 시스템 및 위치 결정 시스템을 작동시키기 위한 방법

Country Status (5)

Country Link
EP (1) EP3671125B1 (ko)
KR (1) KR102373733B1 (ko)
CN (1) CN111351486A (ko)
DE (1) DE102018133461A1 (ko)
ES (1) ES2927769T3 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018017793A1 (en) * 2016-07-21 2018-01-25 Intelligent Technologies International, Inc. System and method for creating, updating, and using maps generated by probe vehicles

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7610146B2 (en) * 1997-10-22 2009-10-27 Intelligent Technologies International, Inc. Vehicle position determining system and method
US20100110412A1 (en) * 2008-10-31 2010-05-06 Honeywell International Inc. Systems and methods for localization and mapping using landmarks detected by a measurement device
US7868821B2 (en) 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
PL2490092T3 (pl) 2011-02-16 2014-02-28 Siemens Ag Sposób niezależnej lokalizacji niemającego kierowcy, zmotoryzowanego pojazdu
DE102012215533A1 (de) * 2012-08-31 2014-03-06 Siemens Aktiengesellschaft Positionsbestimmung eines Schienenfahrzeugs
WO2014189495A1 (en) 2013-05-21 2014-11-27 Intel Corporation Systems and methods for simultaneously and automatically creating databases of wifi signal information
KR20160002178A (ko) * 2014-06-30 2016-01-07 현대자동차주식회사 자차 위치 인식 장치 및 방법
EP3032221B1 (en) * 2014-12-09 2022-03-30 Volvo Car Corporation Method and system for improving accuracy of digital map data utilized by a vehicle
DE102015200182A1 (de) * 2015-01-09 2016-07-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion einer Durchfahrt eines Kraftfahrzeuges durch ein Verkehrszeichentor
DE102016212147A1 (de) * 2016-07-04 2018-01-04 Continental Teves Ag & Co. Ohg Vorrichtung und Verfahren zum Bestimmen der absoluten Position eines Fahrzeugs
DE102016214028A1 (de) 2016-07-29 2018-02-01 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen einer Position einer mobilen Einheit
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10739142B2 (en) * 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
DE102016225631A1 (de) * 2016-12-20 2018-06-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Entfernen von zumindest einer Landmarkenposition einer Landmarke in einer Radarkarte
DE102017105086A1 (de) * 2017-03-10 2018-09-13 Valeo Schalter Und Sensoren Gmbh Aktualisieren einer Landmarkenkarte

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018017793A1 (en) * 2016-07-21 2018-01-25 Intelligent Technologies International, Inc. System and method for creating, updating, and using maps generated by probe vehicles

Also Published As

Publication number Publication date
ES2927769T9 (es) 2022-11-24
KR102373733B1 (ko) 2022-03-15
US20200200544A1 (en) 2020-06-25
CN111351486A (zh) 2020-06-30
DE102018133461A1 (de) 2020-06-25
EP3671125B1 (de) 2022-08-24
ES2927769T3 (es) 2022-11-10
EP3671125A1 (de) 2020-06-24

Similar Documents

Publication Publication Date Title
US10203409B2 (en) Method and device for the localization of a vehicle from a fixed reference map
CN113034960B (zh) 用于更新精密路线地图的对象变化检测系统及其方法
US11092444B2 (en) Method and system for recording landmarks in a traffic environment of a mobile unit
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
US8452053B2 (en) Pixel-based texture-rich clear path detection
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN109583415A (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
JP2015155903A (ja) 自動運転システム、自動運転の方法及びコンピューティング装置
US20100104137A1 (en) Clear path detection using patch approach
CN102208013A (zh) 风景匹配参考数据生成系统和位置测量系统
US11620478B2 (en) Semantic occupancy grid management in ADAS/autonomous driving
US11892300B2 (en) Method and system for determining a model of the environment of a vehicle
JPWO2018180081A1 (ja) 劣化地物特定装置、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体
US11485373B2 (en) Method for a position determination of a vehicle, control unit, and vehicle
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
CN112988922A (zh) 感知地图构建方法、装置、计算机设备和存储介质
CN114729810A (zh) 人行横道检测
KR102373733B1 (ko) 모바일 유닛을 위한 위치 결정 시스템 및 위치 결정 시스템을 작동시키기 위한 방법
CN117859041A (zh) 用于在泊车空间中支持车辆功能的方法和辅助装置和机动车
US12007238B2 (en) Positioning system and method for operating a mobile unit positioning system
CN106537172B (zh) 用于确定传感器的位置和/或定向的方法
CN114677658A (zh) 十亿像素动态大场景图像采集和多目标检测方法及装置
US20230266469A1 (en) System and method for detecting road intersection on point cloud height map
EP3637056B1 (en) Method and system for generating navigation data for a geographical location

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant