KR20180038475A - 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템 - Google Patents

위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템 Download PDF

Info

Publication number
KR20180038475A
KR20180038475A KR1020187006243A KR20187006243A KR20180038475A KR 20180038475 A KR20180038475 A KR 20180038475A KR 1020187006243 A KR1020187006243 A KR 1020187006243A KR 20187006243 A KR20187006243 A KR 20187006243A KR 20180038475 A KR20180038475 A KR 20180038475A
Authority
KR
South Korea
Prior art keywords
vehicle
data
pixel
depth
point cloud
Prior art date
Application number
KR1020187006243A
Other languages
English (en)
Other versions
KR102698523B1 (ko
Inventor
크르지스토프 퀴드린스키
크르지스토프 믹사
라팔 얀 흘리스크진스키
블라저이 퀴비아크
Original Assignee
톰톰 글로벌 콘텐트 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰톰 글로벌 콘텐트 비.브이. filed Critical 톰톰 글로벌 콘텐트 비.브이.
Publication of KR20180038475A publication Critical patent/KR20180038475A/ko
Application granted granted Critical
Publication of KR102698523B1 publication Critical patent/KR102698523B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

디지털 맵과 관련하여 개선된 위치결정 정확도를 위한 방법 및 시스템이 개시되며, 이는 고도로 그리고 완전히 자동화된 운전 애플리케이션에 바람직하게 사용되고, 디지털 맵과 관련된 위치파악 참조 데이터를 사용할 수 있다. 본 발명은 디지털 맵과 관련된 위치파악 참조 데이터를 생성하기 위한 방법 및 시스템에 추가로 확장된다.

Description

위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
본 발명은, 특정 측면들 및 실시예들에서, 디지털 맵에 비해 향상된 위치 결정 정확도를 위한 방법 및 시스템에 관한 것으로, 고도의 그리고 완전히 자동화된 운전 애플리케이션에 필요하다. 이러한 방법 및 시스템은 디지털 맵과 관련된 위치파악 참조 데이터를 사용할 수 있다. 추가의 측면들에서, 본 발명은, 참조 데이터의 포맷 및 참조 데이터의 사용을 포함하는, 디지털 맵과 관련된 위치파악 참조 데이터의 생성에 관한 것이다. 예를 들어, 본 발명의 실시예는 참조 데이터를 사용하여 차량으로부터의 감지된 데이터와의 비교를 통해 차량을 디지털 맵 상에 정확하게 위치시키는 것에 관한 것이다. 다른 실시예는 차량으로부터 감지된 데이터도 사용하는 기술이 아닌 다른 목적을 위해 참조 데이터를 사용하는 것에 관한 것이다. 예를 들어, 추가 실시예들은 생성된 참조 데이터를 사용하여 차량과 관련된 카메라로부터의 시야(view)를 재구성하는 것에 관한 것이다.
차량 내부에 착탈 가능하게 위치될 수 있는 휴대용 내비게이션 장치(PND) 또는 차량에 통합된 시스템의 형태로 차량이 내비게이션 장치를 구비하는 것이 최근에는 일반적이게 되었다. 이러한 내비게이션 장치는 장치의 현재 위치를 결정하는 수단; GPS 또는 GLONASS와 같은 일반적으로 글로벌 내비게이션 위성 시스템(GNSS) 수신기이다. 그러나, 이동 통신 네트워크, 표면 비콘(surface beacons) 등을 사용하는 것과 같이 다른 수단이 사용될 수 있다는 것이 이해될 것이다.
내비게이션 장치는 또한 차량이 여행하는 주행가능 네트워크를 나타내는 디지털 맵으로의 접근권(access)을 갖는다. 가장 단순한 형태의, 디지털 맵(또는 때때로 알려진 바와 같은 수학 그래프)은 실제로, 노드를 나타내는 데이터, 가장 일반적으로는 도로 교차로를 나타내는 데이터, 이들 교차로들 사이의 도로를 나타내는 이들 노드들 사이의 선들을 나타내는 데이터를 보유하는 데이터베이스이다. 보다 상세한 디지털 맵에서, 선들은 시작 노드 및 종료 노드에 의해 정의되는 세그먼트들로 분할될 수 있다. 이 노드들은 최소 3개의 선 또는 세그먼트가 교차하는 도로 교차로를 나타낸다는 점에서 "실제적"일 수 있으며, 또는 다른 것들 중에서도, 예를 들어 속도 제한과 같은 도로의 일부 특성이 변경되는 도로를 따라 위치를 식별하는 수단 또는 도로의 특정 스트레치(stretch)에 대한 형상 정보를 제공하기 위해 그들이 실제 노드에 의해 한쪽 또는 양쪽 단부에서 정의되지 않는 세그먼트들을 위한 앵커들(anchors)로서 제공된다는 점에서 "인위적"일 수 있다. 거의 모든 최신 디지털 맵에서, 노드와 세그먼트는 데이터베이스의 데이터로 다시 표현되는 다양한 속성에 의해 더욱 정의된다. 예를 들어, 각 노드는, 예를 들어 위도 및 경도와 같이, 일반적으로 그것의 실제 위치를 정의하는 지리적 좌표를 가질 것이다. 노드는 또한 일반적으로 그것과 연관된 기동 데이터(manoeuvre data)를 가지며, 이는 교차로에서 한 도로에서 다른 도로로 이동할 수 있는지의 여부를 나타낸다; 반면에 세그먼트에는 허용되는 최대 속도, 차선 크기, 차선 개수, 중간에 구분선(divider)이 있는지 여부 등과 같은 관련 속성도 가질 것이다. 이 애플리케이션의 목적을 위해, 이 형식의 디지털 맵이 "표준 맵"으로 지칭될 것이다.
내비게이션 장치는 표준 맵과 함께 장치의 현재 위치를 사용하여 결정된 경로와 관련한 지침과 같은 많은 작업을 수행할 수 있도록 구성되어 있으며, 결정된 경로에 기초하여 현재 위치 또는 예측된 미래 위치에 대한 트래픽 및 여행 정보를 제공한다.
그러나, 표준 맵 내에 포함된 데이터는, 차량이 운전자로부터의 입력 없이 예를 들어 가속, 제동 및 조향과 같은 제어를 자동적으로 할 수 있는 고도의 자동화된 운전 심지어는 완전히 자동화된 "자가-운전" 차량과 같은, 다양한 차세대 애플리케이션에는 불충분하다는 것이 인식되어 왔다. 그러한 애플리케이션의 경우, 보다 정밀한 디지털 맵이 필요하다. 이러한 보다 상세한 디지털 맵은 일반적으로 도로의 각 차선이 다른 차선으로의 연결 데이터와 함께 개별적으로 표현되는 3-차원 벡터 모델을 포함한다. 이 애플리케이션의 목적을 위해, 이 형식의 디지털 맵을 "플래닝 맵(planning map)"또는 "HD(High definition) 맵"으로 지칭될 것이다.
플래닝 맵의 일부 표현이 도 1에 나타나며, 여기서 각 선은 차선의 중심선을 나타낸다. 도 2는 플래닝 맵의 또 다른 예시적인 부분을 도시하지만, 이번에는 도로 네트워크의 이미지 상에 중첩되었다. 이 맵들 내의 데이터는 일반적으로 1미터 이내의 정확도를 가지며, 다양한 기술을 사용하여 수집될 수 있다.
그러한 플래닝 맵을 구축하기 위해 데이터를 수집하는 일 예시적인 기술은 모바일 맵핑 시스템을 사용하는 것이다; 그것의 일 예가 도 3에 도시된다. 모바일 맵핑 시스템(2)은 조사 차량(4), 디지털 카메라(40) 및 차량(4)의 지붕(8)에 장착된 레이저 스캐너(6)를 포함한다. 조사 차량(2)은 프로세서(10), 메모리(12) 및 송수신기(14)를 더 포함한다. 또한, 조사 차량(2)은 GNSS 수신기와 같은 절대 위치결정 장치(2) 및 관성 측정 유닛(IMU; inertial measurement unit) 및 거리 측정 기구(DMI; distance measurement instrument)를 포함하는 상대 위치결정 장치(22)를 포함한다. 절대 위치결정 장치(20)는 차량의 지리적 좌표를 제공하고, 상대 위치결정 장치(22)는 절대 위치결정 장치(20)에 의해 측정된 좌표의 정확도를 향상시키는(그리고 내비게이션 위성으로부터 신호를 수신할 수 없을 때 그러한 경우들에서 절대 위치결정 장치를 재배치하는) 역할을 한다. 레이저 스캐너(6), 카메라(40), 메모리(12), 송수신기(14), 절대 위치결정 장치(20) 및 상대 위치결정 장치(22)는 모두 (선들(24)에 의해 표시된 것처럼) 프로세서(10)와 통신하도록 구성된다. 레이저 스캐너(6)는 환경을 가로 질러 3차원으로 레이저 빔을 스캔하고 상기 환경을 나타내는 지점 구름(point cloud)을 생성하도록 구성된다; 각 지점은 레이저 빔이 반사되는 물체의 표면의 위치를 나타낸다. 레이저 스캐너(6)는 또한 물체 표면 상의 레이저 빔의 각각의 입사 위치에 대한 거리를 측정하기 위해 비행-시간 레이저 레인지-파인더(time-of-flight laser range-finder)로도 구성된다.
사용 시, 도 4에 도시된 바와 같이, 조사 차량(4)은 그 위에 그려진 도로 표시(34)를 갖는 표면(32)을 포함하는 도로(30)를 따라 이동한다. 프로세서(10)는 절대 위치결정 장치(20) 및 상대 위치결정 장치(22)를 사용하여 측정된 위치 및 방위 데이터로부터 임의의 시점에 차량(4)의 위치 및 방위를 결정하고, 적절한 타임스탬프(timestamps)로 메모리(12)에 저장한다. 또한, 카메라(40)는 도로 표면(32)의 이미지를 반복적으로 포착하여 복수의 노면 이미지를 제공한다; 프로세서(10)는 각 이미지에 타임스탬프를 부가하고 이미지를 메모리(12)에 저장한다. 또한 레이저 스캐너(6)는 표면(32)을 반복적으로 스캔하여 적어도 복수의 측정된 거리 값을 제공한다; 프로세서는 각각의 거리 값에 타임 스탬프를 부가하고 그들을 메모리(12)에 저장한다. 레이저 스캐너(6)로부터 얻어진 데이터의 예가 도 5 및 도 6에 도시된다. 도 5는 3D 도면을 도시하고, 도 6은 측면 투영을 도시한다; 각 그림의 색상은 도로까지의 거리를 나타낸다. 이들 모바일 맵핑 차량에서 얻은 모든 데이터는 분석되고 차량에 의해 주행되는 조향가능(또는 도로) 네트워크 부분의 플래닝 맵을 만드는데 사용될 수 있다.
출원인은, 상당한 그리고 완전히 자동화된 주행 애플리케이션에 있어서 그러한 플래닝 맵을 사용하기 위해서는, 플래닝 맵에 대한 차량의 위치를 고도의 정확도로 알 필요가 있음을 인식하였다. 내비게이션 위성 또는 지상 비콘을 사용하여 장치의 현재 위치를 결정하는 전통적인 기술은 장치의 절대 위치를 약 5-10 미터의 정확도로 제공한다. 이 절대 위치는 이후 디지털 맵 상의 대응하는 위치에 매칭된다. 이러한 수준의 정확성은 대부분의 전통적인 애플리케이션에는 충분하지만, 도로 네트워크 상에서 고속으로 주행하는 경우에도 디지털 맵과 관련된 위치가 서브-미터(sub-meter) 정확도로 필요한 차세대 애플리케이션에는 충분히 정확하지 않다. 따라서 그것의 개선된 위치결정 방법이 필요하다.
출원인은 또한, 예를 들어 지도(맵)와 관련된 차량의 위치 및 기타 상황을 결정하는데 사용될 수 있는 "플래닝 맵"을 제공하기 위하여, 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 개선된 방법이 필요하다는 것도 인식하였다.
본 발명의 제1 측면에 따르면, 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 방법이 제공되며, 상기 위치파악 참조 데이터는 디지털 맵에 의해 표현된 주행가능 네트워크의 적어도 하나의 주행가능 요소 주변의 환경의 압축된 표현을 제공하고, 상기 방법은, 디지털 맵에 의해 표현된 적어도 하나의 주행가능 요소에 대하여:
참조 평면에 투영된 주행가능 요소 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하는 위치파악 참조 데이터를 생성하는 단계로서, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 연관된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계; 및
생성된 위치파악 참조 데이터를 디지털 맵 데이터와 연관시키는 단계를 포함한다.
디지털 맵(이 경우에서, 그리고 본 발명의 임의의 다른 측면 또는 실시예에서)은 예를 들어 도로 네트워크의 도로와 같은 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함한다는 것이 이해될 것이다.
본 발명의 제1 측면에 따르면, 위치파악 참조 데이터는 디지털 맵에 의해 표시되는 주행가능 네트워크의 하나 이상의 주행가능 요소와 관련하여 생성된다. 그러한 데이터는 맵에 의해 표현된 주행가능 요소의 적어도 일부, 바람직하게는 모두에 대해 생성될 수 있다. 생성된 데이터는 주행가능 요소 주변의 환경에 대한 압축된 표현을 제공한다. 이것은 적어도 하나의 깊이 맵을 사용하여 달성되며, 이는 참조선에 의해 정의된 참조 평면 상에 투영된 요소 주변의 환경을 나타내고, 이는 교대로, 주행가능 요소에 대하여 정의된다. 깊이 맵의 각 픽셀은 참조 평면 내의 위치와 연관되고, 참조 평면에서의 픽셀의 위치로부터 소정 방향을 따라 환경 내 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함한다.
위치파악 참조 데이터의 적어도 하나의 깊이 맵의 다양한 특징이 이제 설명될 것이다. 상호 배타적이지 않은 범위에서, 그러한 특징들이 본 발명의 특정 추가 측면 또는 실시예에서 사용되는 실시간 스캔 데이터의 적어도 하나의 깊이 맵에 대안적으로 또는 추가적으로 적용될 수 있다는 것이 이해할 것이다.
주행가능 요소와 관련된 참조선은, 참조 평면을 정의하는데 사용되며, 주행가능 요소에 대해 임의의 방식으로 설정될 수 있다. 참조선은 주행가능 요소와 관련된 점 또는 점들로 정의된다. 상기 참조선은 상기 주행가능 요소에 대해 소정 배향을 가질 수 있다. 바람직한 실시예에서, 참조선은 주행가능 요소와 평행하다. 이것은 주행가능 요소의 측면 또는 측면들 상의 측방향 환경과 관련된 위치파악 참조 데이터(및/또는 실시간 스캔 데이터)를 제공하는데 적절할 수 있다. 참조선은 선형 또는 비선형일 수 있는데, 즉 주행가능 요소가 직선인지의 여부에 의존한다. 참조선은 예를들어 주행가능 요소와 평행을 유지하기 위해, 직선형 및 비선형(예를 들어 곡선 부분)을 포함할 수 있다. 일부 추가 실시예에서, 참조선은 주행가능 요소와 평행하지 않을 수 있음이 이해될 것이다. 예를 들어, 이하에서 설명되는 바와 같이, 참조선은 주행가능 요소와 관련된 지점(예를 들어, 주행가능 요소 상의 지점)을 중심으로 하는 반경에 의해 정의될 수 있다. 참조선은 원형일 수 있다. 이 경우 이것은 교차점 주변의 환경의 360도 표현을 제공할 수 있다.
참조선은 바람직하게는 종방향 참조선이고, 예를 들어, 주행가능 요소의 에지 또는 경계 또는 그 차선, 또는 주행가능 요소의 중심선일 수 있다. 위치파악 참조 데이터(및/또는 실시간 스캔 데이터)는 이후 요소의 측면 또는 측면들 상의 환경의 표현을 제공할 것이다. 참조선은 요소 위에 놓일 수 있다.
실시예에서, 참조선은 주행가능 요소가 만곡된 경우에도 선형일 수 있는데, 이는 주행가능 요소의 에지 또는 중심선과 같은 주행가능 요소의 참조선 및 관련 깊이 정보가, 선형 참조선으로의 맵핑을 겪을 수 있기 때문이다. 이러한 맵핑 또는 변환은 WO2009/045096A1에서 보다 구체적으로 설명되며; 이 문서의 전체 내용은 본 명세서에 참조로서 포함된다.
참조선에 의해 정의되는 참조 평면은 바람직하게는 주행가능 요소의 표면에 수직으로 배향된다. 본 명세서에서 사용된 참조 평면은 곡면이거나 비곡면인 2차원 표면을 지칭한다.
참조선이 주행가능 요소에 평행한 종방향 참조선인 경우, 각 픽셀의 깊이 채널은 바람직하게는 환경 내의 물체의 표면에 대한 측방향 거리를 나타낸다.
각각의 깊이 맵은 래스터 이미지의 형태일 수 있다. 각각의 깊이 맵은 환경 내의 물체의 표면으로부터 소정 방향을 따라 (예를 들어, 참조 평면과 관련된 각 픽셀의 위치에 대응하는) 복수의 종방향 위치 및 높이에 대한 참조 평면까지의 거리를 나타낸다는 것이 이해될 것이다. 깊이 맵은 복수의 픽셀을 포함한다. 깊이 맵의 각 픽셀은 예를 들어, 래스터 이미지와 같이, 깊이 맵의 특정 종방향 위치 및 높이와 관련된다.
일부 바람직한 실시예에서, 참조 평면은 주행가능 요소에 평행한 종방향 참조선에 의해 정의되고, 참조 평면은 주행가능 요소의 표면에 수직으로 배향된다. 이 경우, 각 픽셀은 환경 내의 물체의 표면에 대한 측방향 거리를 나타내는 깊이 채널을 포함한다.
바람직한 실시예에서, 적어도 하나의 깊이 맵은 고정된 종방향 분해능 및 가변 수직 및/또는 깊이 분해능을 가질 수 있다.
본 발명의 제2 측면에 따르면, 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 방법이 제공되며, 상기 위치파악 참조 데이터는 디지털 맵에 의해 표현된 주행가능 네트워크의 적어도 하나의 주행가능 요소 주변의 환경의 압축된 표현을 제공하며, 상기 방법은, 디지털 맵에 의해 표현된 적어도 하나의 주행가능 요소에 대하여:
참조 평면에 투영된 주행가능 요소 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하는 위치파악 참조 데이터를 생성하는 단계로서, 참조 평면은 주행가능 요소와 평행한 종방향 참조선에 의해 정의되고 주행가능 요소의 표면에 수직하게 배향되며, 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 연관된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 측방향 거리를 나타내는 깊이 채널을 포함하고, 바람직하게는 상기 적어도 하나의 깊이 맵은 고정 종방향 분해능 및 가변 수직 및/또는 깊이 분해능을 갖는, 단계; 및
생성된 위치파악 참조 데이터를 디지털 맵 데이터와 연관시키는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
본 발명에 따르면 그것의 다양한 측면들 및 실시예들에서, 참조선, 참조 평면, 및 환경이 참조 평면 상에 투영되는 선의 배향에 관계없이, 적어도 하나의 깊이 맵이 고정된 종방향 분해능 및 가변되는 수직 및/또는 깊이 분해능을 갖는 것이 바람직하다. 위치파악 참조 데이터(및/또는 실시간 스캔 데이터)의 적어도 하나의 깊이 맵은 바람직하게는 고정된 종방향 분해능 및 가변되는 수직 및/또는 깊이 분해능을 갖는다. 가변되는 수직 및/또는 깊이 분해능은 바람직하게는 비선형이다. 지면에 더 가깝고 주행가능 요소에 더 근접한(그리고 그에 따라 차량에 더 가까운) 깊이 맵의 일부, 예를 들어 래스터 이미지는, 지면으로부터 더 높아지고 주행가능 요소(그리고 그에 따라 차량)로부터 더 멀어지는 깊이 맵의 일부, 예를 들어 래스터 이미지보다 더 높은 분해능을 갖도록 나타날 수 있다. 이는 차량 센서의 감지에 더 중요한 높이와 깊이에서의 정보 밀도를 극대화한다.
참조선 및 평면의 배향 또는 다양한 방향을 따르는 깊이 맵의 분해능에 관계없이, 참조 평면에 대한 환경의 투영은 소정 방향을 따르며, 이는 원하는 바에 따라 선택될 수 있다. 일부 실시예에서, 상기 투영은 직교 투영이다. 이들 실시예에서, 각 픽셀의 깊이 채널은 참조 평면에 수직한 방향을 따라 참조 평면에서의 픽셀의 관련된 위치로부터 환경에서의 물체의 표면까지의 거리를 나타낸다. 따라서, 깊이 채널에 의해 표현되는 거리가 측방향 거리인 일부 실시예에서, 측방향 거리는 참조 평면에 수직인 방향을 따른다(그러나 깊이 채널이 측방향 거리와 관련되는 경우들에서 비-직교 투영이 제한되지는 않는다). 직교 투영의 사용은, 임의의 높이 정보가 참조선(및 참조 평면)으로부터의 거리와 무관하다는 결과를 갖기 때문에, 일부 상황에서는 유리할 수 있다.
다른 실시예에서, 비-직교 투영을 사용하는 것이 바람직할 수 있다는 것이 밝혀졌다. 따라서, 임의의 측면의 본 발명의 일부 실시예에서, 상호 배타적인 경우가 아니라면, (소정 거리가 측방향 거리인지 여부와 상관없이) 각 픽셀의 깊이 채널은 참조 평면에 수직이 아닌 방향을 따라 참조 평면에서의 픽셀의 관련된 위치로부터 환경 내의 물체의 표면까지의 거리를 나타낸다. 비-직교 투영의 사용은 주행가능 요소에 수직으로 배향된 표면에 관한 정보가 보존될 수 있다는 이점을 갖는다(즉, 참조선이 요소에 평행한 경우). 이는 픽셀과 관련된 부가적인 데이터 채널을 제공할 필요 없이 달성될 수 있다. 따라서, 주행가능 요소의 부근에 있는 물체에 관한 정보가 보다 효과적으로 캡처될 수 있으며, 보다 자세하게 캡처될 수 있지만, 저장 용량을 늘릴 필요가 없다. 소정 방향은 45도에서와 같이 참조 평면에 대한 임의의 원하는 방향을 따를 수 있다.
비-직교 투영의 사용은 어둠 상태 하에서 차량의 카메라 또는 카메라들에 의해 검출될 수 있는 물체의 표면에 대한 더 많은 양의 정보를 보존하는데 유용하다는 것도 밝혀졌고, 따라서 참조 이미지 또는 지점 구름이 차량의 카메라(들)에 의해 감지된 실시간 데이터에 기초하여 획득된 이미지 또는 지점 구름과 비교되는 본 발명의 일부 측면들 및 실시예들과의 조합에서 특히 유용하다.
본 ㅂ라명의 추가적인 측면에 따르면, 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 방법에이 제공되며, 상기 위치파악 참조 데이터는 디지털 맵에 의해 표현된 주행가능 네트워크의 적어도 하나의 주행가능 요소 주변의 환경의 압축된 표현을 제공하며, 상기 방법은, 디지털 맵에 의해 표현된 적어도 하나의 주행가능 요소에 대하여:
참조 평면에 투영된 주행가능 요소 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하는 위치파악 참조 데이터를 생성하는 단계로서, 참조 평면은 주행가능 요소와 평행한 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 연관된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하고, 상기 소정 방향은 상기 참조 평면에 직각을 이루지 않는, 단계; 및
생성된 위치파악 참조 데이터를 주행가능 요소를 나타내는 디지털 맵 데이터와 연관시키는 단계를 포함한다.
이러한 추가 측면에 따른 본 발명은, 본 발명의 다른 측면과 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 상호 모순되지 않는 범위 내에서 포함될 수 있다.
본 발명의 측면 또는 실시예 중 어느 하나에서 본 발명에 따르면, 위치파악 참조 데이터(및/또는 실시간 스캔 데이터)는 하나 이상의 센서를 사용하여 주행가능 요소 주변 환경을 스캐닝함으로써 얻어진 스캔 데이터에 기초한다. 하나 이상의 스캐너는 다음 중 하나 이상을 포함할 수 있다: 레이저 스캐너, 레이더 스캐너 및 예를 들어, 단일 카메라 또는 한 쌍의 스테레오 카메라와 같은 카메라.
바람직하게는, 위치파악 참조 데이터(및/또는 실시간 스캔 데이터)의 각 픽셀의 깊이 채널에 의해 표현되는 물체의 표면까지의 거리는 복수의 감지된 데이터 지점의 그룹에 기초하여 결정되며, 각각은 픽셀의 위치로부터 소정 방향을 따른 물체의 표면까지의 거리를 나타낸다. 데이터 지점은 주행가능 요소 주변의 환경의 스캔을 수행할 때 얻어질 수 있다. 감지된 데이터 지점의 그룹은 하나 이상의 유형의 센서로부터 얻어질 수 있다. 그러나, 일부 바람직한 실시예에서, 감지된 데이터 지점은 레이저 스캐너 또는 스캐너들에 의해 감지된 데이터 지점의 그룹을 포함하거나 그로 구성된다. 즉, 감지된 데이터 지점은 레이저 측정을 포함하거나 레이저 측정으로 구성된다.
주어진 픽셀에 대한 깊이 채널을 위한 거리 값을 결정함에 있어서 다수의 감지된 데이터 지점의 평균을 사용하는 것은 잘못된 결과를 초래할 수 있다는 것을 알게 되었다. 이것은, 특정 픽셀에 매핑되는 것으로 간주되는, 적용 가능한 소정 방향을 따라 참조 평면으로부터 물체의 표면의 위치를 나타내는 감지된 데이터 지점 중 적어도 일부가, 다른 물체의 표면과 관련된 것일 수 있을 가능성이 있기 때문이다. 압축된 데이터 포맷으로 인해, 환경의 확장된 영역은 참조 평면에서 픽셀의 영역에 매핑될 수 있음이 이해될 것이다. 상당한 양의 감지된 데이터, 즉 감지된 데이터 지점의 개수는 그 픽셀에 적용 가능할 수 있다. 그 영역 내에서, 참조 평면에 대해 다른 깊이에 위치된 물체가 있을 수 있는데, 예를 들어 나무, 가로등 기둥, 벽, 그리고 움직이는 물체와 같이 어느 한 차원에서 단지 짧은 거리에 걸쳐 다른 물체와 중첩 될 수 있는 물체를 포함할 수 있다. 따라서, 특정 픽셀에 적용 가능한 센서 데이터 지점에 의해 표현되는 물체의 표면에 대한 깊이 값은 상당한 편차를 나타낼 수 있다.
위치파악 참조 데이터(및/또는 실시간 스캔 데이터)의 각 픽셀의 깊이 채널에 의해 표현되는 물체의 표면까지의 거리가 복수의 감지된 데이터 지점의 그룹에 기초하여 결정되는 본 발명의 측면 또는 실시예 중 어느 하나에 따르면, 각각은 픽셀의 위치로부터 소정의 방향을 따라 물체의 표면까지의 감지된 거리를 나타내며, 바람직하게는 픽셀의 깊이 채널에 의해 표현되는 거리는 복수의 감지된 데이터 지점의 그룹에 기초한 평균값이 아니다. 바람직한 실시예에서, 픽셀의 깊이 채널에 의해 표현되는 거리는 감지된 데이터 지점의 그룹 중에서 물체의 표면으로의 가장 가까운 감지된 거리 또는 감지된 깊이 값들의 분포를 사용하여 얻어진 가장 가까운 모드 값이다. 검출된 최근접 값 또는 값들은 픽셀에 대한 물체의 표면의 깊이를 가장 정확하게 반영하는 경향이 있다는 것이 이해될 것이다. 예를 들어, 건물과 도로 사이에 나무가 위치되는 경우를 생각해보자. 특정 픽셀에 적용 가능한 다른 감지된 깊이 값은 빌딩 또는 나무 중 어느 하나의 검출에 기초한 것일 수 있다. 이러한 모든 감지된 값을 고려하여 평균 깊이 값을 제공하면, 평균값은 픽셀로부터 측정된 물체의 표면까지의 깊이가 나무로의 깊이와 건물로의 깊이 사이의 어딘가에 있음을 나타내게 될 것이다. 이로 인해, 픽셀에 대한 오류를 갖는 깊이 값이 야기되고, 이는 실시간 차량 감지 데이터를 참조 데이터와 상관시킬 때 문제를 발생시키며, 물체가 도로에 얼마나 가까이 있는지를 아는 것이 매우 중요하기 때문에 당연히 잠재적으로 위험할 수 있다.
대조적으로, 최근접 깊이 값 또는 최근접 모드 값은, 가장 가까운 물체의 실제 위치를 반영하기 때문에, 건물보다는 나무와 관련되기 쉽다.
본 발명의 추가적인 측면에 따르면, 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 방법이 제공되며, 상기 위치파악 참조 데이터는 디지털 맵에 의해 표현된 주행가능 네트워크의 적어도 하나의 주행가능 요소 주변의 환경의 압축된 표현을 제공하고, 상기 방법은, 디지털 맵에 의해 표현된 적어도 하나의 주행가능 요소에 대하여:
참조 평면에 투영된 주행가능 요소 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하는 위치파악 참조 데이터를 생성하는 단계로서, 참조 평면은 주행가능 요소와 평행한 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 연관된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하고, 각각의 픽셀의 깊이 채널에 의해 나타난 물체의 표면까지의 거리는, 복수의 감지된 데이터 지점의 그룹에 기초하여 결정되고, 각각은 픽셀의 위치로부터 소정 방향을 따른 물체의 표면까지의 감지된 거리를 나타내며, 상기 픽셀의 상기 깊이 채널에 의해 나타난 상기 물체의 상기 표면까지의 상기 거리는, 상기 감지된 데이터 지점의 그룹에 기초한, 최근접 거리 또는 최근접 모드 거리인, 단계; 및
생성된 위치파악 참조 데이터를 디지털 맵 데이터와 연관시키는 단계를 포함한다.
이러한 추가 측면에 따른 본 발명은, 본 발명의 다른 측면과 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 상호 모순되지 않는 범위 내에서 포함될 수 있다.
본 발명의 측면 또는 실시예 중 어느 하나에 있어서, (위치파악 참조 데이터 및/또는 실시간 스캔 데이터에서의) 각 픽셀은 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함한다. 바람직한 실시예에서, 각 픽셀은 하나 이상의 채널을 더 포함한다. 이는 깊이 맵에 하나 이상의 추가 정보 레이어를 제공할 수 있다. 각각의 채널은 바람직하게는 하나 이상의 감지된 데이터 지점, 바람직하게는 복수의 감지된 데이터 지점의 그룹에 기초하여 얻어진 특성값을 나타낸다. 감지된 데이터는 전술한 바와 같이 하나 이상의 센서로부터 얻어질 수 있다. 바람직한 실시예에서, 상기 또는 각 픽셀은 주어진 유형의 감지된 반사율의 값을 나타내는 적어도 하나의 채널을 포함한다.
각각의 픽셀은 감지된 레이저 반사율의 값을 나타내는 채널; 및 감지된 레이더 반사율의 값을 나타내는 채널 중 적어도 하나를 포함할 수 있다. 채널에 의해 표시된 픽셀의 감지된 반사율 값은 픽셀에 의해 표시되는 환경의 적용가능 부분에서의 감지된 반사율과 관련된다. 픽셀의 감지된 반사율 값은 바람직하게는 참조 평면으로부터의 거리 주변에서 감지된 반사율을 나타내고 이는 픽셀의 깊이 채널에 의해 나타난 참조 평면으로부터의 픽셀의 깊이에 대응하고, 다시 말해 픽셀에 대한 깊이 값 부근에서의 감지된 반사율을 나타낸다. 이것은 그 깊이에 존재하는 물체의 관련 반사율 특성을 나타내는 것으로 간주될 수 있다. 바람직하게는 감지된 반사율은 평균 반사율이다. 감지된 반사율 데이터는 깊이 값을 결정하는데 사용된 동일한 데이터 지점 또는 더 큰 세트의 데이터 지점과 관련된 반사율에 기초할 수 있다. 예를 들어, 깊이 채널에 대한 깊이 값을 결정하는데 바람직하게 사용되는 최근접 값 이외에, 픽셀에 적용 가능한 감지된 깊이 값과 관련된 반사율이 추가적으로 고려될 수 있다.
이러한 방식으로, 다중-채널 깊이 맵, 예를 들어 래스터 이미지가 제공된다. 그러한 포맷은 주행가능 요소를 둘러싸는 환경에 관해 더 많은 양의 데이터가 보다 효율적으로 압축되고, 저장 및 처리를 용이하게 하며, 상이한 조건 하에서 차량에 의해 감지된 실시간 데이터와의 개선된 상관을 수행하는 능력을 제공하고, 차량이 참조 위치파악 데이터를 생성하는데 사용된 것과 동일한 유형의 센서를 반드시 가질 필요가 없다. 아래에서 보다 상세히 설명되는 바와 같이, 그러한 데이터는 또한, 특정 조건 하에서, 예를 들어, 밤에, 차량의 카메라를 사용하여 얻어질 수 있는 탐색 가능한 요소 주변의 환경의 이미지 또는 차량에 의해 감지된 데이터를 재구성하는데 도움을 줄 수 있다. 예를 들어, 레이더 또는 레이저 반사율은 예를 들어 밤과 같은 특정 조건 하에서 볼 수 있는 물체가 식별되는 것을 가능하게 할 수 있다.
본 발명의 추가적인 측면에 따르면, 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 방법이 제공되며, 상기 위치파악 참조 데이터는 디지털 맵에 의해 표현된 주행가능 네트워크의 적어도 하나의 주행가능 요소 주변의 환경의 압축된 표현을 제공하며, 상기 방법은 디지털 맵에 의해 표현된 적어도 하나의 주행가능 요소에 대하여:
참조 평면에 투영된 주행가능 요소 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하는 위치파악 참조 데이터를 생성하는 단계로서, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 연관된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하고, 각각의 픽셀은 감지 된 레이저 반사율의 값을 나타내는 채널; 및 감지된 레이더 반사율의 값을 나타내는 채널을 더 포함하는, 단계; 및
생성된 위치파악 참조 데이터를 디지털 맵 데이터와 연관시키는 단계를 포함한다.
이러한 추가 측면에 따른 본 발명은, 본 발명의 다른 측면과 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 상호 모순되지 않는 범위 내에서 포함될 수 있다.
임의의 측면 또는 실시예에서의 본 발명에 따르면, 픽셀과 관련된 다른 채널이 택일적으로 또는 부가적으로 사용될 수 있다. 예를 들어, 추가 채널은: 픽셀의 깊이 채널에 의해 표시된 픽셀의 위치로부터 참조 평면으로부터의 소정 방향을 따른 거리 주변에서의 물체의 두께; 상기 픽셀의 깊이 채널에 의해 표시된 픽셀의 위치로부터 참조 평면으로부터의 소정 방향을 따른 거리 주변에서의 반사된 데이터 지점의 밀도; 상기 픽셀의 깊이 채널에 의해 표시된 픽셀의 위치로부터 참조 평면으로부터의 소정 방향을 따른 거리 주변에서의 색상(colour); 상기 픽셀의 깊이 채널에 의해 표시된 픽셀의 위치로부터 참조 평면으로부터의 소정 방향을 따른 거리 주변에서의 텍스처(texture) 중 적어도 하나를 나타낼 수 있다. 각 채널은 관련 특성을 나타내는 값을 포함 할 수있다. 이 값은 획득된 적용 가능한 센서 데이터에 기초하며, 이는 예를 들어 컬러 또는 텍스처 데이터용 카메라와 같은 하나 이상의 상이한 유형의 센서로부터 적절하게 얻어질 수 있다. 각 값은 다수의 감지된 데이터 지점에 기초할 수 있고, 상기 다수의 감지된 데이터 지점으로부터의 값의 평균일 수 있다.
깊이 채널은 소정 방향을 따라 픽셀의 위치에서 참조 평면으로부터의 물체의 거리를 나타내지만, 다른 채널이 물체의 다른 특성, 예를 들어, 물체의 반사율 또는 색상, 텍스처 등을 나타낼 수 있다는 것이 이해될 것이다. 이는 차량에 의해 감지되는 것으로 예상될 수 있는 스캔 데이터 및/또는 차량에 의해 촬영된 카메라 이미지를 재구성하는데 유용 할 수 있다. 물체의 두께를 나타내는 데이터는 참조 평면에 대한 환경의 직교 투영이 사용되는 주행가능 요소에 수직 인 물체의 표면에 관한 정보를 복구하는데 사용될 수 있다. 이는 비-직교 투영을 사용하는 물체의 표면에 관한 정보를 결정하기 위해 전술한 실시예에 대한 대안을 제공할 수 있다.
많은 실시예에서, 위치파악 참조 데이터는 주행가능 요소의 측면 또는 측면들에 환경의 압축된 표현을 제공하기 위해, 즉 측면 깊이 맵을 제공하는데 사용된다. 이 경우, 참조선은 주행가능 요소와 평행할 수 있으며, 픽셀의 깊이 채널은 참조 평면으로부터의 물체 표면의 측방향 거리를 나타낸다. 그러나, 깊이 맵을 사용하면 다른 관점에서도 도움이 될 수 있다. 본 출원인은 예를 들어, 교차로와 같은 교차점의 영역에서 원형의 깊이 맵을 제공하는 것이 유용할 것이라는 것을 깨달았다. 이것은 교체점에 대해 차량의 위치를 파악하고, 원한다면, 교차점 주변의 환경을 나타내는 데이터를 재구성할 수 있는 개선된 능력을 제공할 수 있다. 바람직하게는 교차점 주변의 환경의 360도 표현이 제공되지만, 깊이 맵이 완전한 원 둘레로 연장될 필요가 없음이 이해될 것이며, 따라서 360도 미만으로 연장될 수 있다. 일부 실시예에서, 참조 평면은 주행가능 요소와 관련된 참조 지점을 중심으로 하는 반경에 의해 정의된 참조선에 의해 정의된다. 이들 실시예에서, 참조선은 만곡되고, 바람직하게는 원형이다. 참조 지점은 바람직하게는 교차점에서 주행가능 세그먼트 상에 위치된다. 예를 들어, 참조 지점은 예를 들어 교차로와 같은 교차점의 중심에 위치될 수 있다. 참조선을 정의하는 반경은 예를 들어 교차점의 크기에 따라, 원하는 대로 선택될 수 있다.
본 발명의 추가적인 측면에 따르면, 주행가능 네트워크의 요소를 나타내는 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 방법이 제공되며, 상기 위치파악 참조 데이터는 디지털 맵에 의해 표현된 주행가능 네트워크의 적어도 하나의 교차점(junction) 주변의 환경의 압축된 표현을 제공하며, 상기 방법은 디지털 맵에 의해 표현된 적어도 하나의 교차점에 대하여:
참조 평면에 투영된 교차점 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하는 위치파악 참조 데이터를 생성하는 단계로서, 참조 평면은 교차점과 관련된 참조 지점을 중심으로 한 반경에 의해 정의된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각 픽셀은 교차점과 연관된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계; 및
생성된 위치파악 참조 데이터를 교차점을 나타내는 디지털 맵 데이터와 연관시키는 단계를 포함한다.
이전 실시예와 관련하여 설명된 바와 같이, 교차점은 교차로일 수 있다. 참조 지점은 교차점의 중앙에 위치될 수 있다. 참조 지점은 교차점를 나타내는 디지털 맵의 노드 또는 교차점에서의 주행가능 요소와 연관될 수 있다. 본 발명의 이러한 추가 측면 또는 실시예는 교차점으로부터 멀어지는 주행가능 요소의 측면에 대한 환경을 나타내는 측면 깊이 맵과 함께 조합화여 활용될 수 있다.
이러한 추가 측면에 따른 본 발명은, 본 발명의 다른 측면과 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 상호 모순되지 않는 범위 내에서 포함될 수 있다.
위치파악 참조 데이터의 생성에 관한 임의의 측면 또는 실시예에서의 본 발명에 따르면, 상기 방법은 주행가능 요소 또는 교차점에 대해 생성된 위치파악 참조 데이터를 상기 요소 또는 교차점을 나타내는 디지털 멥 데이터와 연관시키는 단계를 포함한다. 이 방법은 예를 들어, 관련된 주행가능 요소 또는 교차점과 관련하여 디지털 맵 데이터와 관련된 생성된 위치파악 데이터를 저장하는 단계를 포함할 수 있다.
일부 실시예에서, 위치파악 참조 데이터는, 예를 들어 주행가능 요소의 좌측상의 측방향 환경 및 주행가능 요소의 우측 상의 참조 스캔과 같은, 표현(representation)을 포함할 수 있다. 주행가능 요소의 각 면에 대한 위치파악 참조 데이터는 조합된 데이터 세트에 저장될 수 있다. 따라서, 주행가능 네트워크의 다수 부분들로부터의 데이터는 효율적인 데이터 포맷으로 함께 저장될 수 있다. 조합된 데이터 세트에 저장된 데이터는 압축될 수 있고, 그에 따라 주행가능 네트워크의 더 많은 부분에 대한 데이터가 동일한 저장 용량 내에 저장될 수 있다. 데이터 압축은 또한 무선 네트워크 연결을 통해 참조 스캔 데이터가 차량으로 전송되는 경우 감소된 네트워크 대역폭을 사용할 수 있게 한다. 그러나, 위치파악 참조 데이터는 반드시 주행가능 요소의 양 측면 상의 측방향 환경과 관련될 필요는 없다는 것이 이해될 것이다. 예를 들어, 특정 실시예에서 논의된 바와 같이, 참조 데이터는 교차점을 둘러싸는 환경에 관련될 수 있다.
본 발명은 또한 본 발명의 측면 또는 실시예 중 임의의 것에 따라 생성된 위치파악 참조 데이터를 저장하는 데이터 제품에까지 확장된다.
본 발명의 이러한 추가 측면 또는 실시예 중 임의의 것에 있어서의 데이터 제품은 임의의 적합한 형태일 수 있다. 일부 실시예에서, 데이터 제품은 컴퓨터 판독가능 매체 상에 저장될 수 있다. 컴퓨터 판독가능 매체는, 예를 들어, 디스켓, CD ROM, ROM, RAM, 플래시 메모리 또는 하드 디스크일 수 있다. 본 발명은 본 발명의 측면 또는 실시예의 본 발명에 따른 데이터 제품을 포함하는 컴퓨터 판독가능 매체로 확장된다.
그러한 데이터의 생성에 관한 측면 또는 실시예 중 임의의 것으로 본 발명에 따라 생성된 위치파악 참조 데이터는 다양한 방식으로 사용될 수 있다. 데이터의 사용에 관한 추가 측면에서, 참조 데이터를 획득하는 단계는 데이터를 생성하는 단계까지 연장되거나, 전형적으로 데이터를 검색하는 단계를 포함할 수 있다. 참조 데이터는 서버에 의해 생성되는 것이 바람직하다. 데이터를 사용하는 단계는 바람직하게는 차량과 관련될 수 있는 내비게이션 장치 또는 유사 장치와 같은 장치에 의해 수행된다.
일부 바람직한 실시예에서, 데이터는 디지털 맵에 대한 차량의 위치를 결정하는데 사용된다. 따라서, 디지털 맵은 차량이 이동하는 주행가능 요소를 나타내는 데이터를 포함한다. 이 방법은 주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계; 적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 상기 적어도 하나의 깊이 맵의 각 픽셀은 상기 주행가능 요소와 관련된 상기 참조 평면 내의 위치와 관련되며, 및 상기 픽셀은 적어도 하나의 센서를 사용하여 결정된 상기 참조 평면에서의 픽셀의 관련 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계; 상기 위치측정 참조 데이터와 상기 실시간 스캔 데이터 사이의 상관을 계산하여 깊이 맵 사이의 정렬 오프셋을 결정하는 단계; 및 상기 결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정함으로써 상기 디지털 맵에 대한 상기 차량의 위치를 결정하는 단계를 포함한다. 획득된 위치파악 참조 데이터는 차량이 이동하는 주행가능 요소에 관련된다는 것이 이해될 것이다. 따라서, 주행가능 요소 주변의 환경을 나타내는 위치파악 참조 데이터의 깊이 맵은 차량 주변의 환경을 나타낸다.
본 발명의 추가적인 측면에 따르면, 디지털 맵에 대한 차량의 위치를 결정하는 방법이 제공되며, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 방법은:
주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 상기 적어도 하나의 깊이 맵의 각 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면에서의 위치와 관련되며, 상기 픽셀은, 적어도 하나의 센서를 사용하여 결정된 바와 같은, 상기 참조 평면에서의 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
위치파악 참조 데이터와 실시간 스캔 데이터 사이의 상관을 계산하여 깊이 맵들 사이의 정렬 오프셋을 결정하는 단계; 및
상기 결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
차량의 위치를 결정할 때의 위치파악 참조 데이터 및 실시간 스캔 데이터의 사용에 관한 본 발명의 다른 측면 및 실시예에서, 차량의 현재 위치는 종방향 위치일 수 있다. 실시간 스캔 데이터는 차량 주변의 측방향 환경과 관련될 수 있다. 이 경우, 위치파악 참조 데이터 및/또는 실시간 센서 데이터에 대한 깊이 맵은 주행가능 요소에 평행한 참조선에 의해 정의되고, 환경 내 물체의 표면에 대한 측방향 거리를 나타내는 깊이 채널을 포함한다. 결정된 오프셋은 종방향 오프셋일 수 있다.
본 발명의 추가적인 측면에 따르면, 디지털 맵에 대한 차량의 위치를 결정하는 방법이 제공되며, 상기 디지털 맵은 차량이 이동하는 교차점을 나타내는 데이터를 포함하며, 상기 방법은:
주행가능 네트워크에서 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 교차점과 관련된 참조 지점을 중심으로 한 반경에 의해 정의된 참조선에 의해 정의되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계; 및
적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 상기 적어도 하나의 깊이 맵의 각 픽셀은 교차점과 관련된 참조 평면에서의 위치와 관련되며, 상기 픽셀은, 적어도 하나의 센서를 사용하여 결정된 바와 같은, 상기 참조 평면에서의 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
위치파악 참조 데이터와 실시간 스캔 데이터 사이의 상관을 계산하여 깊이 맵들 사이의 정렬 오프셋을 결정하는 단계; 및
결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정하여 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
본 발명의 추가적인 측면에 따르면, 디지털 맵에 대한 차량의 위치를 결정하는 방법이 제공되며, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 방법은:
주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 적어도 하나의 깊이 맵의 각각의 픽셀은 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 참조 평면은 주행가능 요소와 평행한 종방향 참조선에 의해 정의되고 주행가능 요소의 표면에 수직하게 배향되며, 각각의 픽셀은 환경 내의 물체의 표면에 대한 측방향 거리를 나타내는 깊이 채널을 포함하고, 선택적으로 상기 적어도 하나의 깊이 맵은 고정 종방향 분해능 및 가변 수직 및/또는 깊이 분해능을 갖는, 단계;
적어도 하나의 센서를 이용하여 차량 주변의 환경을 스캐닝함으로써 센서 데이터를 획득하는 단계;
상기 센서 데이터를 이용하여 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 상기 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 관련된 참조 평면에서의 위치와 관련되며, 상기 픽셀은, 상기 센서 데이터로부터 결정된 바와 같은, 환경에서 물체의 표면까지의 측방향 거리를 나타내는 깊이 채널을 포함하고, 선택적으로 상기 적어도 하나의 깊이 맵은 고정 종방향 분해능 및 가변 수직 및/또는 깊이 분해능을 갖는, 단계;
위치파악 참조 데이터와 실시간 스캔 데이터 사이의 상관을 계산하여 깊이 맵들 사이의 정렬 오프셋을 결정하는 단계; 및
결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정하여 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
위치파악된 참조 데이터의 사용에 관한 본 발명의 다른 측면에서, 데이터는 본 발명의 임의의 이전의 측면들에 따라 생성될 수 있다. 차량의 위치를 결정하는데 사용되는 실시간 스캔 데이터 또는 다른 것들은 위치파악 참조 데이터에 상응하는 형태여야 한다.
따라서, 결정된 깊이 맵은, 실시간 스캔 데이터 및 위치파악 참조 데이터가 서로 상관될 수 있도록, 위치파악된 참조 데이터와 동일한 방식으로 주행가능 요소와 관련된 참조선에 대해 정의된 참조 평면에서의 위치들을 갖는 픽셀들을 포함할 것이다. 깊이 맵의 깊이 채널 데이터는, 참조 데이터의 깊이 채널 데이터에 대응하는 방식으로 결정될 수 있고(예를 들어, 감지된 데이터의 평균을 사용하지 않음), 따라서 검출된 복수의 데이터 지점으로부터 표면까지의 최근접 거리를 포함할 수 있다. 실시간 스캔 데이터는 임의의 추가 채널을 포함할 수 있다. 위치파악 참조 데이터의 깊이 맵이 고정된 종방향 분해능 및 가변 수직 및/또는 깊이 분해능을 갖는 경우, 실시간 스캔 데이터의 깊이 맵도 그러한 분해능을 가질 수 있다.
따라서, 본 발명의 이러한 측면 또는 실시예에 따르면, 디지털 맵에 대한 차량의 위치를 연속적으로 결정하는 방법이 제공되며; 디지털 맵은 차량이 이동하는 주행가능 네트워크(예를 들어, 도로 네트워크)의 주행가능 요소(예를 들어, 도로)를 나타내는 데이터를 포함한다. 상기 방법은, 차량 주변의 환경을 스캐닝함으로써 얻어진 실시간 스캔 데이터를 수신하는 단계; 상기 디지털 맵과 관련하여 상기 차량의 간주된 현재 위치에 대한 상기 디지털 맵과 관련된 위치파악 참조 데이터를 검색하는 단계로서(예를 들어, 상기 위치파악 참조 데이터는 상기 간주된 현재 위치 주변의 환경의 참조 스캔을 포함함), 선택적으로 상기 참조 스캔은 디지털 맵에 전체에 걸쳐 경로를 따라 이전에 이동한 적어도 하나의 장치로부터 얻어지는, 단계; 상기 실시간 스캔 데이터와 상기 위치파악 참조 데이터를 비교하여 상기 실시간 스캔 데이터와 상기 위치파악 참조 데이터 사이의 오프셋을 결정하는 단계; 및 상기 오프셋에 기초하여 상기 간주된 현재 위치를 조정하는 단계를 포함한다. 따라서 디지털 맵에 대한 차량의 위치는 언제나 고도의 정확도로 알려질 수 있다. 선행 기술의 예들은 수집된 데이터를 경로를 따른 소정 표식에 대한 알려진 참조 데이터와 비교함으로써 차량의 위치를 결정하려고 시도하였다. 그러나, 랜드마크는 여러 경로에서 드물게(sparsely) 분포될 수 있으므로, 랜드마크 사이를 이동할 때 차량 위치 추정에 심각한 오류가 야기될 수 있다. 이것은 고도로 자동화된 주행 시스템과 같은 상황에서 문제이고, 그러한 오류는 심각한 부상이나 생명 손실을 초래하는 차량 충돌 사고와 같은 치명적인 결과를 초래할 수 있다. 본 발명은, 적어도 특정 측면에서, 디지털 맵 전체에 걸쳐 참조 스캔 데이터를 가짐으로써 그리고 실시간으로 차량 주변의 환경을 스캐닝함으로써 이 문제를 해결한다. 이러한 방식으로, 본 발명은 디지털 맵에 대한 차량의 위치가 항상 높은 정확도로 알려 지도록 실시간 스캔 및 참조 데이터가 비교되는 것을 허용할 수 있다.
본 발명의 추가적인 측면에 따르면, 디지털 맵에 대한 차량의 위치를 결정하는 방법으로서, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 방법은:
주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경에서의 물체의 윤곽(outline)을 포함하고, 상기 참조 평면은 주행가능 요소와 평행한 종방향 참조선에 의해 정의되고 주행가능 요소의 표면에 수직하게 배향되는, 단계;
나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 센서 데이터를 획득하는 단계;
상기 센서 데이터를 이용하여 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 상기 센서 데이터로부터 결정된 바와 같이 참조 평면 상에 투영된 차량 주변 환경 내의 물체의 윤곽을 포함하는, 단계;
위치파악 참조 데이터와 실시간 스캔 데이터 사이의 상관을 계산하여 종방향 정렬 오프셋을 결정하는 단계; 및
결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정하여 디지털 맵에 대한 차량의 종방향 위치를 결정하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
위치파악 참조 데이터는 디지털 맵과 관련하여, 예를 들어, 관련된 주행가능 요소(들)과 관련하여 저장될 수 있고, 그에 따라 참조 평면 상에 투영된 차량 주변의 환경에서의 물체들의 윤곽이 이미 결정된다. 그러나, 다른 실시예에서, 위치파악 참조 데이터는 상이한 포맷으로 저장될 수 있고, 저장된 데이터는 윤곽을 결정하도록 처리된다. 예를 들어, 실시예에서, 본 발명의 이전에 설명된 측면에서와 같이, 위치파악 참조 데이터는 하나 이상의 깊이 맵, 예를 들어, 래스터 이미지를 포함하고, 각 깊이 맵은 복수의 종방향 위치 및 높이에 대한 환경에서의 표면에 대한 측방향 거리를 나타낸다. 깊이 맵은 이전의 측면 및 실시예 중 임의의 것에 따른 것일 수 있다. 다시 말해, 위치파악 참조 데이터는 적어도 하나의 깊이 맵, 예를 들어 래스터 이미지를 포함하고, 이는 차량 주변의 환경을 나타내며, 적어도 하나의 깊이 맵의 각 픽셀은 참조 평면 내의 위치와 관련되고, 각 픽셀은, 환경 내의 물체의 표면으로의, 예를 들어 참조 평면에 수직인 방향으로의, 측방향 거리를 나타내는 채널을 포함한다. 그러한 실시예에서, 관련 깊이 맵, 예를 들어 래스터 이미지는 에지 검출 알고리즘을 사용하여 처리되어 환경에서 물체의 윤곽이 생성된다. 에지 검출 알고리즘은 캐니 연산자(Canny operator), 프레위트 연산자(Prewitt operator) 등을 포함할 수 있다. 그러나, 바람직한 실시예에서, 에지 검출은 소벨 연산자(Sobel operator)를 사용하여 수행된다. 에지 검출 연산자는 높이(또는 고도) 및 종방향 도메인 모두에 또는 상기 도메인 중 하나에만 적용될 수 있다. 예를 들어, 바람직한 실시예에서, 에지 검출 연산자는 종방향 도메인에만 적용된다.
유사하게, 참조 평면 상에 투영된 차량 주변 환경의 물체의 윤곽은 적어도 하나의 센서에 의해 얻어진 센서 데이터로부터 직접 결정될 수 있다. 대안적으로, 다른 실시예에서, 센서 데이터는 예를 들어 래스터 이미지와 같은 하나 이상의 깊이 맵을 결정하는데 사용될 수 있고, 각각의 깊이 맵은 복수의 종방향 위치 및 높이에 대한 환경에서의 표면에 대한 측방향 거리를 나타낸다. 다시 말해서, 실시간 스캔 데이터는 예를 들어 래스터 이미지와 같은 적어도 하나의 깊이 맵을 포함하며, 이는 차량 주변의 환경을 나타내고, 적어도 하나의 깊이 맵의 각 픽셀은 참조 평면 내의 위치와 관련되고, 각 픽셀은, 적어도 하나의 센서를 사용하여 결정되는 바와 같이, 환경 내의 물체의 표면으로의, 예를 들어 참조 평면에 수직한, 측방향 거리를 나타내는 채널을 포함한다. 이후 관련 깊이 맵(예를 들어, 래스터 이미지)은 에지 검출 알고리즘을 이용하여 처리될 수 있고, 바람직하게는 위치파악 참조 데이터에 적용된 동일한 에지 검출 알고리즘을 사용하여 처리될 수 있으며, 그에 의해 실시간 스캔 데이터의 윤곽이 결정될 수 있다. 에지 검출 연산자는 높이(또는 고도) 및 종방향 도메인 모두에 또는 상기 도메인 중 하나에만 적용될 수 있다. 예를 들어, 바람직한 실시예에서, 에지 검출 연산자는 종방향 도메인에만 적용된다.
실시예에서, 블러링 연산자는 위치파악 참조 데이터 및 실시간 스캔 데이터 중 적어도 하나의 윤곽에 적용되며, 두 세트의 데이터가 상관되기 전에 적용된다. 블러링 연산자는 높이(또는 고도) 및 종방향 도메인 모두 또는 상기 도메인 중 하나에만 적용될 수 있다. 예를 들어, 바람직한 실시예에서, 블러링 연산자는 높이 도메인에만 적용된다. 블러 링 연산자는 실시간 스캔 데이터 및/또는 위치파악 참조 데이터를 얻는 동안 차량의 임의의 기울기를 고려할 수 있고, 그에 따라 예를 들어 윤곽이 높이 도메인에서 약간 위로 또는 아래로 이동된다.
임의의 측면 또는 실시예의 본 발명에 따르면, 간주된 현재 차량의 위치, 예를 들어 종방향 위치는 GPS, GLONASS, 유럽 갈릴레오 위치 시스템, COMPASS 위치 시스템 또는 IRNSS(Indian Regional Navigational Satellite System)와 같은, 위성 항법 장치와 같은 절대 위치 시스템으로부터, 적어도 초기에, 얻어질 수 있다. 그러나, 이동 통신, 표면 비콘(surface beacons) 등을 사용하는 것과 같은, 다른 위치 결정 수단이 사용될 수 있다는 것이 이해될 것이다.
디지털 맵은 예를 들어 도로 네트워크의 도로와 같은 주행가능 네트워크의 주행가능 요소를 나타내는 3차원 벡터 모델을 포함할 수 있고, 상기 모델에서 주행가능 요소들의 각각의 차선, 예를 들어 도로는 별개로 표현된다. 따라서, 예를 들어 차량에 장착된 카메라의 이미지 처리를 통해, 차량이 이동하는 차선을 결정함으로써 도로 상의 차량의 측방향 위치를 알 수 있다. 이러한 실시예에서, 종방향 참조선은 예를 들어 주행가능 요소의 차선의 에지 또는 경계 또는 주행가능 요소의 차선의 중심선일 수 있다
실시간 스캔 데이터는 차량의 좌측 및 차량의 우측에서 얻어질 수 있다. 이는 위치 추정에 대한 일시적 특징(transient features)의 영향을 줄이는데 도움이 된다. 그러한 일시적 특징은 예를 들어, 주차된 차량, 추월 차량 또는 동일 경로의 역주행 차량일 수 있다. 따라서, 실시간 스캔 데이터는 차량의 양면에 존재하는 특징을 기록할 수 있다. 일부 실시예에서, 실시간 스캔 데이터는 차량의 좌측 또는 차량의 우측 중 어느 하나로부터 얻어질 수 있다.
위치파악 참조 데이터 및 실시간 스캔 데이터가 각각 차량의 좌측 및 우측에 관련되어 있는 실시예에서, 차량의 좌측으로부터의 실시간 스캔 데이터와 주행가능 요소의 좌측으로부터의 위치파악 참조 데이터와의 비교 및 차량의 우측으로부터의 실시간 스캔 데이터와 주행가능 요소의 우측으로부터의 위치파악 참조 데이터와의 비교는 단일 비교일 수 있다. 따라서, 스캔 데이터가 주행가능 요소의 좌측으로부터의 데이터 및 주행가능 요소의 우측으로부터의 데이터를 포함하는 경우, 스캔 데이터는 단일 데이터 세트로서 비교될 수 있고, 그에 따라 주행가능 요소의 좌측과 주행가능 요소의 우측에 대한 비교가 별도로 수행되는 경우에 비해 처리 요구사항이 현저히 감소된다.
차량의 좌측 및 우측과 관련되는지에 관계 없이, 실시간 스캔 데이터와 위치파악 참조 데이터를 비교하는 단계는 실시간 스캔 데이터와 위치파악 참조 데이터 사이의 상호 상관, 바람직하게는 정규화된 상호-상관(normalised cross-correlation)을 계산하는 단계를 포함할 수 있다. 이 방법은 데이터 세트가 가장 정렬되는 위치를 결정하는 단계를 포함할 수 있다. 바람직하게는, 결정되는 깊이 맵들 사이의 정렬 오프셋은 적어도 종방향 정렬 오프셋이며, 데이터 세트가 가장 정렬되는 위치는 종방향 위치이다. 데이터 세트가 가장 정렬되는 종방향 위치를 결정하는 단계는, 깊이 맵이 정렬될 때까지 서로에 대해 위치파악 참조 데이터에 기초하여 깊이 맵에 의해 제공되는, 예를 들어 래스터 이미지와 같은 실시간 스캔 데이터 및 깊이 맵에 기초하여 깊이 맵에 의해 제공되는, 예를 들어 래스터 이미지와 같은 깊이 맵을 종방향으로 이동시키는 단계를 포함할 수 있다. 이는 이미지 도메인에서 수행될 수 있다.
결정된 종방향 정렬 오프셋은 간주된 현재 위치를 조정하는데 사용되어 디지털 맵에 대한 차량의 종방향 위치가 조정된다.
대안적으로, 또는 바람직하게는 깊이 맵 사이의 종방향 정렬 오프셋을 결정하는 것에 추가로, 깊이 맵 사이의 측방향 정렬 오프셋을 결정하는 것이 바람직하다. 결정된 측방향 정렬 오프셋은 차량의 간주된 현재 측방향 위치를 조정하고 따라서 디지털 맵에 대한 차량의 위치를 결정하는데 사용될 수 있다. 바람직하게는 종방향 정렬 오프셋이 결정되며, 이는 전술한 방식들 중 임의의 방식으로 수행될 수 있으며, 측방향 정렬 오프셋이 추가로 결정된다. 결정된 측방향 및 종방향 정렬 오프셋은 이후 디지털 맵에 대한 차량의 종방향 및 횡방향 위치를 조정하기 위해 함께 사용된다.
상기 방법은, 예를 들어 위치파악 참조 데이터와 실시간 스캔 데이터 간의 상관을 계산하여, 깊이 맵 사이의 종방향 정렬 오프셋을 결정하는 단계를 포함할 수 있고, 깊이 맵 사이의 측방향 오프셋을 결정하는 단계; 및 결정된 측방향 및 종방향 정렬 오프셋을 사용하여 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 더 포함할 수 있다.
종방향 정렬 오프셋은 바람직하게는 측방향 정렬 오프셋 전에 결정된다. 후술되는 특정 실시예에 따르면, 측방향 정렬 오프셋은, 깊이 맵 사이의 종방향 오프셋을 먼저 결정하고 상기 오프셋에 기초하여 서로에 대해 깊이 맵을 종방향으로 정렬하는 것에 기초하여 결정될 수 있다.
바람직하게는, 측방향 오프셋은 깊이 맵의 대응 픽셀들 사이의 가장 공통되는, 즉 모드 측방향 오프셋(mode lateral offset)에 기초하여 결정된다.
본 발명의 추가적인 측면에 따르면, 디지털 맵에 대한 차량의 위치를 결정하는 방법이 제공되며, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 방법은:
주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 상기 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 관련된 참조 평면에서의 위치와 관련되며, 상기 픽셀은, 적어도 하나의 센서를 사용하여 결정된 바와 같은, 상기 참조 평면에서의 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
위치파악 참조 데이터와 실시간 스캔 데이터 사이의 상관을 계산하여 상기 위치파악 참조 데이터와 상기 실시간 스캔 데이터의 깊이 맵들 사이의 종방향 정렬 오프셋을 결정하는 단계; 및
상기 깊이 맵들 사이의 측방향 정렬 오프셋을 결정하는 단계로서, 상기 측방향 오프셋은 깊이 맵들의 상응하는 픽셀들 사이의 가장 공통되는 측방향 오프셋에 기초한 것인, 단계; 및
결정된 종방향 및 측방향 정렬 오프셋을 사용하여 간주된 현재 위치를 조정하여 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
측방향 정렬 오프셋이 결정되는 본 발명의 이들 측면 및 실시예에 따르면, 가장 공통되는 측방향 정렬 오프셋은 깊이 맵의 대응하는 픽셀의 깊이 채널 데이터를 고려하여 결정될 수 있다. 가장 공통되는 측방향 정렬 오프셋은 깊이 맵의 대응되게 위치된 픽셀 개별 쌍 사이에서 결정된, 그리고 바람직하게는 대응하는 픽셀의 각 쌍의 측방향 정렬 오프셋에 기초한, 결정된 측방향 정렬 오프셋에 기초한다. 깊이 맵의 대응 픽셀 사이의 측방향 정렬 오프셋을 결정하기 위해, 깊이 맵에서의 대응하는 픽셀 쌍이 식별되어야 한다. 이 방법은 깊이 맵에서 대응하는 픽셀 쌍을 식별하는 단계를 포함할 수 있다. 바람직하게는 종방향 정렬 오프셋은 측방향 정렬 오프셋 전에 결정된다. 깊이 맵은 종방향으로 정렬 될 때까지 서로에 대해 바람직하게 이동되어 각각의 깊이 맵에서 대응하는 픽셀이 식별될 수 있게 된다.
따라서, 상기 방법은 결정된 종방향 정렬 오프셋을 기초로 서로에 대해 종방향으로 깊이 맵을 정렬하는 단계를 더 포함할 수 있다. 깊이 맵을 종방향으로 서로 정렬하는 단계는 종방향으로 깊이 맵 중 하나 또는 모두를 이동시키는 단계를 포함할 수 있다. 서로에 대해 종방향으로 깊이 맵을 이동시키는 단계는 이미지 도메인에서 수행될 수 있다. 따라서, 깊이 맵을 정렬하는 단계는 서로에 대해 종방향으로 각각의 깊이 맵에 대응하는 래스터 이미지를 이동시키는 단계를 포함할 수 있다. 상기 방법은 실시간 스캔 데이터 깊이 맵에 의해 제공되는 이미지의 크기에 대응하도록 위치 파악 참조 데이터 깊이 맵에 의해 제공된 이미지의 크기를 잘라내는 단계를 더 포함할 수 있다. 이것은 깊이 맵 사이의 비교를 용이하게 할 수 있다.
2개의 깊이 맵 내의 대응하는 픽셀이 식별되면, 대응하는 픽셀의 각 쌍 간의 측방향 오프셋이 결정될 수 있다. 이는 각 픽셀과 연관된 깊이 채널 데이터에 의해 표시된 참조 평면에서의 픽셀의 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 비교함으로써 달성될 수 있다. 전술한 바와 같이, 깊이 맵은 바람직하게는 가변 깊이 분해능을 갖는다. 대응하는 픽셀의 각 쌍 간의 측방향 정렬 오프셋은 픽셀의 깊이 채널 데이터에 의해 표시된 거리의 차이에 기초할 수 있다. 이 방법은 히스토그램을 사용하여 깊이 맵의 대응하는 픽셀 사이의 가장 공통되는 횡방향 정렬 오프셋을 식별하는 단계를 포함할 수 있다. 히스토그램은 대응 픽셀 쌍들 사이의 상이한 측방향 정렬 오프셋의 발생 빈도를 나타낼 수 있다. 히스토그램은 측방향 정렬 이동(lateral alignment shift)의 확률 밀도 함수를 나타낼 수 있고, 모드(mode)는 가장 가능성 있는 이동(most probable shift)를 반영한다.
일부 실시예에서, 각각의 픽셀은 픽셀의 깊이 채널의 값을 나타내는 색상을 갖는다. 대응하는 픽셀의 깊이 값의 비교는 깊이 맵의 대응하는 픽셀의 색상을 비교하는 것을 포함할 수 있다. 대응하는 픽셀 간의 색상의 차이는, 예를 들어 깊이 맵이 고정된 깊이 분해능을 가질 때, 픽셀들 사이의 측방향 정렬 오프셋을 나타낼 수 있다.
측방향 정렬 오프셋이 결정되는 이들 실시예에서, 디지털 맵에 대한 차량의 현재의 종방향 및 측방향 위치가 조정될 수 있다.
차량의 현재 위치가 조정되는 본 발명의 임의의 측면 또는 실시예에 따르면, 종방향 및/또는 측방향 위치 어느 것이든지, 조정되는 현재 위치는 절대 위치 결정 시스템 또는 다른 위치 결정 시스템으로부터와 같이 임의의 적합한 방법으로 얻어진 현재 위치의 추정일 수 있다. 예를 들어, GPS 또는 추측 항법(dead reckoning)이 사용될 수 있다. 이해되는 바와 같이, 절대 위치는 바람직하게는 디지털 맵에 대한 초기 위치를 결정하기 위해 디지털 맵에 매칭된다; 이후 종방향 및/또는 측방향 정정이 초기 위치에 적용되어 디지털 맵에 대한 위치가 개선된다.
본 출원인은 전술한 기술들이 디지털 맵에 대한 차량의 위치를 조정하는데 유용할 수 있지만, 차량의 헤딩(heading)를 정정하지는 않을 것이라는 것을 깨달았다. 바람직한 실시예에서, 상기 방법은 위치파악 참조 데이터 및 실시간 스캔 데이터 깊이 맵을 이용하여 차량의 간주된 헤딩을 조정하는 단계를 더 포함한다. 바람직하게는, 이 추가 단계는 전술한 실시예 중 임의의 것에 따라 깊이 맵의 종방향 및 측방향 정렬 오프셋을 결정하는 단계에 추가로 수행된다. 이들 실시예에서, 차량의 간주된 헤딩은 임의의 적절한 방식으로 결정될 수 있고, 차량의 간주된 위치를 결정하는 것과 관련하여 설명된 바와 같이 예를 들어 GPS 데이터 등을 이용하여 그러한 단계가 수행될 수 있다.
차량의 간주된 헤딩이 부정확한 경우, 깊이 맵의 대응하는 픽셀 사이의 측방향 정렬 오프셋은 깊이 맵을 따라, 즉 깊이 맵 이미지를 따라 종방향으로 변동할 것이다. 헤딩 오프셋은 깊이 맵을 따른 종방향 위치에 대한 깊이 맵의 대응 픽셀 사이의 측방향 정렬 오프셋의 변동을 나타내는 함수에 기초하여 결정될 수 있음이 밝혀졌다. 헤딩 오프셋을 결정하는 단계는 대응하는 픽셀의 측방향 정렬 오프셋을 결정하는 단계와 관련하여 전술한 특징 중 임의의 것을 통합할 수 있다. 따라서, 상기 방법은 먼저 깊이 맵을 서로에 대해 이동시켜 깊이 맵을 종방향으로 정렬시키는 단계를 포함하는 것이 바람직하다.
따라서, 상기 방법은: 깊이 맵들 사이의 종방향 정렬 오프셋을 결정하는 단계; 깊이 맵을 따라 픽셀의 종방향 위치에 대한 깊이 맵들의 대응하는 픽셀들 사이의 측방향 정렬 오프셋의 변동을 나타내는 함수를 결정하는 단계; 및 상기 결정된 함수를 사용하여 차량의 간주된 현재 헤딩을 조정함으로써 디지털 맵에 대한 차량의 헤딩을 결정하는 단계를 포함한다.
대응 픽셀들 간의 결정된 측방향 정렬 오프셋은, 전술한 바와 같이, 바람직하게는 픽셀의 깊이 채널 데이터에 의해 표시된 값의 차이에 기초한다(예를 들어 픽셀의 색상을 참조함).
이러한 측면 또는 실시예에서, 결정된 함수는 차량의 헤딩 오프셋을 나타낸다.
종방향 위치와 함께 측방향 정렬 오프셋의 변화를 나타내는 함수를 결정하는 단계는, 깊이 맵의 종방향을 따라 깊이 맵을 통하는 복수의 수직 영역 각각에서 깊이 맵의 대응 픽셀들의 에버리지(즉, 평균) 측방향 정렬 오프셋을 결정하는 단계를 포함할 수 있다. 이후 상기 함수는 깊이 맵의 종방향을 따라 각 수직 영역에 대해 결정된 평균 측방향 정렬의 변동에 기초하여 얻어질 수 있다. 깊이 맵에서 픽셀의 대응하는 쌍의 적어도 일부, 및 선택적으로 각각이 고려되어 함수가 결정된다는 것이 이해될 것이다.
본 발명의 추가 측면에 따르면, 디지털 맵에 대한 차량의 위치를 결정하는 방법이 제공되며, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 방법은:
주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 상기 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 관련된 참조 평면에서의 위치와 관련되며, 상기 픽셀은, 적어도 하나의 센서를 사용하여 결정된 바와 같은, 상기 참조 평면에서의 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
상기 깊이 맵들을 따른 상기 픽셀들의 종방향 위치에 대한 위치파악 참조 및 실시간 센서 데이터의 대응 픽셀들 사이의 측방향 정렬 오프셋의 변동을 나타내는 함수를 결정하는 단계; 및
결정된 함수를 사용하여 차량의 간주된 현재 헤딩을 조정하여 디지털 맵에 대한 차량의 헤딩을 결정하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
본 발명의 이러한 측면 및 실시예에서, 결정된 헤딩 오프셋을 개선하기 위한 추가 단계들이 취해질 수 있으며, 예를 들어 노이즈가 있는 픽셀(noisy pixels)을 필터링하거나, 깊이 맵 또는 이미지의 종방향 영역 내에서 평균 픽셀 깊이 차이 값에 가중치를 부여하거나, 또는 영역에서 고려된 주요 픽셀의 개수를 참조하는 등의 추가 단계들이 취해질 수 있다.
전술한 바와 같이, 위치파악 참조 데이터 및 그에 따라 또한 실시간 데이터의 깊이 맵은, 항상 선형 참조선과 연관되도록 변형될 수 있다. 깊이 맵의 이러한 선형화로 인해, 주행가능 요소가 곡선일 때, 결정된 종방향, 측방향 및/또는 헤딩 수정을 직접 적용하는 것이 불가능하다는 것이 발견되었다. 본 출원인은 디지털 맵에 대한 차량의 현재 위치를 조정하거나 수정하는 계산적으로 효율적인 방법이 일련의 증분, 독립적 선형 업데이트 단계에서 각각의 수정을 적용하는 것을 수반한다는 것을 확인하였다.
따라서 바람직한 실시예에서, 결정된 종방향 오프셋이 디지털 맵에 대해 차량의 현재 위치에 적용되고, 실시간 스캔 데이터의 적어도 하나의 깊이 맵은 조정된 위치에 기초하여 재계산된다. 재계산된 실시간 스캔 데이터를 사용하여 결정된 측방향 오프셋은 이후 디지털 맵에 대한 차량의 조정된 위치에 적용되고, 실시간 스캔 데이터의 적어도 하나의 깊이 맵은 추가 조정된 위치에 기초하여 재계산된다. 이후, 재계산된 실시간 스캔 데이터를 사용하여 결정된 스큐, 즉 헤딩 오프셋은 디지털 맵에 대한 차량의 추가 조정된 위치에 적용되고, 실시간 스캔 데이터의 적어도 하나의 깊이 맵은 재조정된 위치에 기초하여 재계산된다. 이러한 단계는 바람직하게는 종방향 오프셋, 측방향 오프셋 및 스큐가 0 또는 실질적으로 0이 될 때까지, 필요에 따라 임의의 횟수 반복된다.
그 측면 또는 실시예 중 임의의 것으로 본 발명에 따라 얻어진 생성된 위치파악 참조 데이터는 차량의 보다 정확한 위치를 결정하기 위해 실시간 스캔 데이터와 함께 다른 방식으로 또는 실제로 다른 목적으로 사용될 수 있음이 이해될 것이다. 특히, 출원인은 위치파악 참조 스캔 데이터의 깊이 맵과의 비교를 위해 실시간 스캔 데이터를 사용하여 대응하는 깊이 맵을 결정하는 것이 항상 가능하지는 않거나 적어도 편리하지 않을 수 있다는 것을 인식했다. 즉, 이미지 도메인의 데이터 세트 비교를 수행하는 것은 적절하지 않을 수 있다. 이는 차량에서 사용될 수 있는 센서의 유형이 위치파악 참조 데이터를 얻는데 사용된 센서의 유형과 다른 경우에 특히 그러하다.
본 발명의 또 다른 측면 및 실시예에 따르면, 상기 방법은 위치파악 참조 데이터를 사용하여 주행가능 요소 주뱐의 환경을 나타내는 참조 지점 구름을 결정하는 단계를 포함하며, 상기 참조 지점 구름은 3차원 좌표계에서의 제1 데이터 지점의 세트를 포함하고, 제1 데이터 지점 각각은 환경 내의 물체의 표면을 나타낸다.
본 발명의 추가적인 측면에 따르면, 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 방법이 제공되며, 상기 위치파악 참조 데이터는 디지털 맵에 의해 표현된 주행가능 네트워크의 적어도 하나의 주행가능 요소 주변의 환경의 압축된 표현을 제공하며, 상기 방법은, 디지털 맵에 의해 표현된 적어도 하나의 주행가능 요소에 대하여:
참조 평면에 투영된 주행가능 요소 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하는 위치파악 참조 데이터를 생성하는 단계로서, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각 픽셀은 주행가능 요소와 연관된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
생성된 위치파악 참조 데이터를 디지털 맵 데이터와 연관시키는 단계; 및
상기 위치파악 참조 데이터를 이용하여 주행가능 요소 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
본 발명의 추가적인 측면에 따르면, 주행가능 네트워크의 요소들을 나타내는 디지털 맵과 관련된 위치파악 참조 데이터를 생성하는 방법이 제공되며, 상기 위치파악 참조 데이터는 디지털 맵에 의해 표현된 주행가능 네트워크의 적어도 하나의 교차점(junction) 주변의 환경의 압축된 표현을 제공하며, 상기 방법은, 디지털 맵에 의해 표현된 적어도 하나의 교차점에 대하여:
참조 평면에 투영된 교차점 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하는 위치파악 참조 데이터를 생성하는 단계로서, 참조 평면은 교차점과 관련된 참조 지점을 중심으로 한 반경에 의해 정의된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각 픽셀은 교차점과 연관된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면 내 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경 내의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
생성된 위치파악 참조 데이터를 교차점을 나타내는 디지털 맵 데이터와 연관시키는 단계; 및
상기 위치파악 참조 데이터를 이용하여 교차점 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
참조 지점 구름은 3차원 좌표계에서의 제1 데이터 지점의 세트를 포함하며, 환경 내의 물체의 표면을 나타내는 각각의 제1 데이터 지점은 본 명세서에서 "3D 지점 구름"으로 지칭될 수 있다. 본 발명의 이러한 추가 측면에 따라 얻어진 3D 지점 구름은 차량의 위치를 결정하는데 사용될 수 있다.
일부 실시예에서 상기 방법은 디지털 맵에 대한 차량의 위치를 결정함에 있어서 본 발명의 측면 또는 실시예에 따라 생성된 위치파악 참조 데이터를 사용하는 것을 포함할 수 있고, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하고, 상기 방법은:
주행가능 네트워크의 주행가능 요소 또는 교차점을 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름이 결정되고, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 지점 구름을 포함하고, 상기 지점 구름은 3차원 좌표계에서의 제2 데이터 지점의 세트를 포함하며, 각각의 데이터 지점은 적어도 하나의 센서를 사용하여 결정된 바와 같이 환경에서의 물체의 표면을 나타내는, 단계;
상기 실시간 스캔 데이터의 지점 구름과 상기 획득된 위치파악 참조 데이터의 지점 구름 사이의 상관을 계산하여 지점 구름들 사이의 정렬 오프셋을 결정하는 단계; 및
상기 결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
본 발명의 추가 측면에 따르면, 디지털 맵에 대한 차량의 위치를 결정하는 방법이 제공되며, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 방법은:
주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 지점 구름을 포함하고, 상기 지점 구름은 3차원 좌표계에서의 제2 데이터 지점의 세트를 포함하며, 각각의 데이터 지점은 적어도 하나의 센서를 사용하여 결정된 바와 같이 환경에서의 물체의 표면을 나타내는, 단계;
상기 실시간 스캔 데이터의 지점 구름과 상기 획득된 위치파악 참조 데이터의 지점 구름 사이의 상관을 계산하여 지점 구름들 사이의 정렬 오프셋을 결정하는 단계; 및
상기 결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
본 발명의 추가 측면에 따르면 디지털 맵에 대한 차량의 위치를 결정하는 방법이 제공되며, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 교차점을 나타내는 데이터를 포함하며, 상기 방법은:
주행가능 네트워크의 교차점에서 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 위치 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 상기 참조 평면은 교차점과 관련된 참조 지점을 중심으로 하는 반경에 의해 정의되는 참조선에 의해 정의되며, 상기 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 교차점과 관련된 참조 표면에서의 위치와 관련되며, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 상기 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 지점 구름을 포함하고, 상기 지점 구름은 3차원 좌표계에서의 제2 데이터 지점의 세트를 포함하며, 각각의 데이터 지점은 적어도 하나의 센서를 사용하여 결정된 바와 같이 환경에서의 물체의 표면을 나타내는, 단계;
상기 실시간 스캔 데이터의 지점 구름과 상기 획득된 위치파악 참조 데이터의 지점 구름 사이의 상관을 계산하여 지점 구름들 사이의 정렬 오프셋을 결정하는 단계; 및
상기 결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함한다.
이 추가 측면들에서 참조 지점 구름은 3차원 좌표계에서의 제2 데이터 지점의 세트를 포함하며, 환경 내의 물체의 표면을 나타내는 각각의 제2 데이터 지점은 본 명세서에서 "3D 지점 구름"으로 지칭될 수 있다.
본 발명의 이러한 추가적인 측면 또는 실시예에서, 위치파악 참조 데이터는 3D 참조 지점 구름을 획득하는데 사용된다. 이는 데이터와 관련된 주행가능 요소 또는 교차점 주변의 환경을 나타내며, 따라서 주행가능 요소를 따라 또는 교차점을 통해 이동할 때의 차량 주변 환경을 나타낸다. 실시간 센서 데이터의 지점 구름은 차량 주변의 환경과 관련되며, 따라서 차량이 위치되는 주행가능 요소 또는 교차점 주변의 환경과 관련되는 것으로 참조될 수도 있다. 일부 바람직한 실시예에서, 위치파악 참조 데이터에 기초하여 획득된 3D 지점 구름은 실시간 스캔 데이터에 기초하여 획득된 차량 주변의 환경을 나타내는 3D 지점 구름과 비교된다(즉, 관련 요소로 또는 교차점을 통해 이동할 때). 이후 차량의 위치는 예를 들어 래스터 이미지와 같은 깊이 맵의 비교보다 이 비교에 기초하여 조정될 수 있다.
실시간 스캔 데이터 지점 구름은 차량과 관련된 하나 이상의 센서를 사용하여 얻어진다. 단일 센서 또는 다수의 그러한 센서가 사용될 수 있고, 후자의 경우에, 센서 유형들의 임의의 조합이 사용될 수 있다. 센서는 다음 중 적어도 하나를 포함할 수 있다; 하나 이상의 레이저 스캐너 세트, 하나 이상의 레이더 스캐너 세트, 및 하나 이상의 카메라 세트(예를 들어, 단일 카메라 또는 한 쌍의 스테레오 카메라). 단일 레이저 스캐너, 레이더 스캐너 및/또는 카메라가 사용될 수 있다. 차량이 카메라 또는 카메라들과 관련되는 경우, 하나 이상의 카메라로부터 얻어진 이미지는 차량 주변의 환경을 나타내는 3차원 장면을 구성하는데 사용될 수 있으며, 3차원 지점 구름은 3차원 장면을 사용하여 획득될 수 있다. 예를 들어, 차량이 단일 카메라를 사용하는 경우, 지점 구름은 그로부터 결정될 수 있고, 차량이 주행가능 요소를 따라 또는 교차점을 통해 이동할 때 카메라로부터 2차원 이미지의 시퀀스를 획득함으로써 결정될 수 있으며, 2차원 이미지의 시퀀스를 이용하여 3차원 장면이 구성되고, 3차원 장면을 사용하여 3차원 지점 구름이 얻어진다. 차량이 스테레오 카메라와 관련된 경우, 카메라로부터 얻어진 이미지는 3차원 장면을 얻기 위해 사용되며, 3차원 장면은 이후 3차원 지점 구름을 얻는데 사용된다.
위치파악 참조 데이터의 깊이 맵을 3D 지점 구름으로 변환함으로써, 그것은 차량 센서(들)를 사용하여 실시간 스캐닝을 통해 얻어진 3D 지점 구름과 비교될 수 있고, 이는 그것이 무엇인지와 무관하다. 예를 들어, 위치파악 참조 데이터는 레이저 스캐너, 카메라 및 레이더 스캐너를 포함하는 다양한 센서 유형을 사용하는 참조 스캔에 기초할 수 있다. 차량은 대응하는 센서 세트를 갖거나 갖지 않을 수 있다. 예를 들어, 일반적으로 차량은 하나 이상의 카메라만을 포함할 수 있다.
위치파악 참조 데이터는 차량의 적어도 하나의 센서에 의해 생성되는 것으로 예상될 지점 구름에 대응하는 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는데 사용될 수 있다. 차량의 그것과 동일한 유형의 센서를 사용하여 참조 지점 구름을 얻은 경우, 이는 간단할 수 있으며, 모든 위치파악 참조 데이터는 3D 참조 지점 구름을 구성하는데 사용될 수 있다. 유사하게, 특정 조건 하에서, 한 유형의 센서에 의해 감지된 데이터는, 다른 센서에 의해 감지되는 것과 유사할 수 있다. 예를 들어, 참조 위치파악 데이터를 제공하는데 있어서 레이저 센서에 의해 감지된 물체는 또한 주간 동안 차량의 카메라에 의해 감지될 것으로 예상될 수 있다. 그러나, 이 방법은 차량과 관련된 유형의 센서 또는 센서들 및/또는 현 조건 하에서 검출되는 것으로 예상되는 센서 또는 센서들에 의해 검출될 것으로 예상되는 3D 지점 구름 내의 지점만을 포함하는 단계를 포함할 수 있다. 위치파악 참조 데이터는 적절한 참조 지점 구름이 생성되는 것을 가능케 하는 데이터를 포함할 수 있다.
일부 실시예에서, 전술한 바와 같이, 위치파악 참조 데이터의 각 픽셀은 감지된 반사율의 값을 나타내는 적어도 하나의 채널을 더 포함한다. 각 픽셀은 다음 중 하나 이상을 포함할 수 있다: 감지된 레이저 반사율의 값을 나타내는 채널, 및 감지된 레이더 반사율의 값을 나타내는 채널. 바람직하게는, 레이더 및 레이저 반사율 모두를 나타내는 채널이 제공된다. 이후 바람직하게는, 위치파악 참조 데이터에 기초하여 3D 지점 구름을 생성하는 단계가 수행되며, 감지 된 반사율 데이터를 사용하여 수행된다. 3D 지점 구름의 생성은 또한 차량의 센서 또는 센서들의 유형에 기초할 수 있다. 상기 방법은 참조 3D 지점 구름에 포함되기 위한 3D 지점들을 선택하기 위해 차량의 센서 또는 센서들의 유형을 나타내는 데이터 및 반사율 데이터를 이용하는 단계를 포함할 수 있다. 반사율 채널의 데이터는 3D 지점 구름 생성에 사용하기 위해 깊이 채널로부터 데이터를 선택하는데 사용된다. 반사율 채널은 (적절한 경우, 현재 조건에서) 특정 물체가 관련 센서 유형에 의해 감지되는지 여부의 표시를 제공한다.
예를 들어, 참조 데이터가 레이저 스캐너 및 레이더 스캐너로부터 얻어진 데이터에 기초하고 차량이 단지 레이더 스캐너만을 갖는 경우, 레이더 반사율 값은 3D 지점 구름에 포함시킬 지점들을 선택하는데 사용될 수 있고, 이는 차량의 레이더 스캐너에 의해 감지될 것으로 예상될 것이다. 일부 실시예에서, 각 픽셀은 레이더 반사율을 나타내는 채널을 포함하고, 상기 방법은 상기 레이더 반사율 데이터를 이용하여 레이더 센서에 의해 감지될 지점만을 포함하는 3D 참조 지점 구름을 생성하는 단계를 포함한다. 여기서 상기 방법은 3D 참조 지점 구름을 실시간 스캔 데이터에 기초하여 획득 된 3D 지점 구름과 비교하는 단계를 더 포함하며, 이 경우 실시간 스캔 데이터의 3D 지점 구름은 레이더 스캐너로부터 얻어진 데이터에 기초한다. 차량은 레이더 스캐너만을 포함할 수 있다.
비록 차량이 레이더 및/또는 레이저 스캐너를 포함할 수 있지만, 대부분의 경우, 자동차에는 카메라 또는 카메라들만을 포함할 수 있다. 레이저 반사율 데이터는 어둠의 상황 하에서 센서로서의 카메라 또는 카메라들만을 갖는 차량에 의해 감지될 것으로 예상되는 3D 지점 구름과 상관되는 3D 참조 지점 구름을 얻는 방법을 제공할 수 있다. 레이저 반사율 데이터는 어두운 곳에서 카메라로 감지될 것으로 예상될 수 있는 물체의 표시를 제공한다. 일부 실시예에서, 각 픽셀은 레이저 반사율을 나타내는 채널을 포함하고, 상기 방법은 레이저 반사율 데이터를 사용하여 어둠 상태 동안 차량의 카메라에 의해 감지될 지점만을 포함하는 3D 참조 지점 구름을 생성하는 단계를 포함한다. 상기 방법은 3D 차조 지점 구름을 실시간 스캔 데이터에 기초하여 획득된 3D 지점 구름과 비교하는 단계를 더 포함하며, 이 경우 실시간 스캔 데이터의 3D 지점 구름은 어둠 상태 하에서 카메라로부터 획득된 데이터에 기초할 수 있다.
3차원 지점 구름의 형태로 참조 위치파악 데이터를 획득하고, 이러한 데이터를 사용하여 참조 뷰를 재구성하는 것이 믿어지며, 예를 들어 적용 가능한 조건 하에서 차량의 하나 이상의 카메라로부터 얻어질 것으로 예상될 수 있고 카메라에 의해 얻어진 이미지와 비교될 수 있는 이미지는 그 자체로 유리하다.
일부 실시예에서, 상기 방법은, 적용 가능한 조건 하에서 주행가능 네트워크의 주행가능 요소를 따라 또는 디지털 맵에 의해 표시되는 교차점을 통해 이동하는 차량과 관련된 하나 이상의 카메라로부터 얻어질 것으로 예상되는 뷰를 재구성하는데 있어서, 본 발명의 측면 또는 실시예에 따른 생성된 위치파악 참조 데이터를 사용하는 단계를 포함할 수 있고, 상기 방법은 다음을 포함한다: 교차점에서 또는 주행가능 네트워크의 교차점 또는 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계; 위치파악 참조 데이터를 이용하여 차량 주변 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서의 제1 데이터 지점의 세트를 포함하며, 상기 제1 데이터 지점 각각은 상기 환경 내의 물체의 표면을 나타내는, 단계; 및 상기 참조 지점 구름을 사용하여 적용 가능한 조건 하에서 주행가능 요소 또는 교차점을 횡단할 때 차량과 관련된 하나 이상의 카메라에 의해 획득될 것으로 기대되는 참조 뷰를 재구성하는 단계를 포함한다. 상기 방법은 하나 이상의 카메라를 사용하여 차량 주변 환경의 실시간 장면을 결정하는 단계 및 상기 하나 이상의 카메라에 의해 획득된 실시간 뷰와 참조 뷰를 비교하는 단계를 더 포함할 수 있다.
본 발명의 추가 측면에 따르면, 적용 가능한 조건 하에서 디지털 맵에 의해 표현된 주행가능 네트워크의 주행가능 요소를 따라 이동하는 차량과 관련된 하나 이상의 카메라로부터 얻어질 것으로 예상되는 뷰를 재구성하는 방법이 제공되며, 상기 방법은:
주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
상기 참조 지점 구름을 이용하여 적용 가능한 상태에서 주행가능 요소를 가로지를 때 차량과 관련된 하나 이상의 카메라에 의해 획득될 것으로 예상되는 참조 뷰를 재구성하는 단계;
상기 하나 이상의 카메라를 이용하여 상기 차량 주변의 환경의 실시간 뷰(real time view)를 결정하는 단계; 및
상기 하나 이상의 카메라에 의해 얻어진 상기 실시간 뷰와 참조 뷰(reference view)를 비교하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
본 발명의 추가 측면에 따르면, 적용 가능한 조건 하에서 디지털 맵에 의해 표현된 주행가능 네트워크의 교차점을 통해 이동하는 차량과 관련된 하나 이상의 카메라로부터 얻어질 것으로 예상되는 뷰를 재구성하는 방법이 제공되며, 상기 방법은:
주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 교차점과 관련된 참조 지점을 중심으로 한 반경에 의해 정의된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 교차점과 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
상기 참조 지점 구름을 이용하여 적용 가능한 상태에서 주행가능 요소를 가로지를 때 차량과 관련된 하나 이상의 카메라에 의해 획득될 것으로 예상되는 참조 뷰를 재구성하는 단계;
상기 하나 이상의 카메라를 이용하여 상기 차량 주변의 환경의 실시간 뷰(real time view)를 결정하는 단계; 및
상기 하나 이상의 카메라에 의해 얻어진 상기 실시간 뷰와 참조 뷰(reference view)를 비교하는 단계를 포함한다.
이 추가 측면에 따른 본 발명은, 본 발명의 다른 측면와 관련하여 설명된 특징 중 임의의 것 또는 모든 것을 포함할 수 있으며, 이들은 서로 상반되지 않는 범위 내에서 포함할 수 있다.
본 발명의 이들 측면은, 상이한 유형의 센서로부터 얻어질 수 있는 위치파악 참조 데이터에 기초하여, 차량의 카메라(들)에 의해 획득된 실시간 뷰와 비교될 수 있는 참조 뷰가 구성되는 것을 허용한다는 점에서 특히 유리하다. 실제로, 다수의 차량은 참조 데이터를 얻는데 사용될 수 있는 것과 같이 보다 구체적이거나 정교한 센서가 아닌 카메라 또는 카메라만을 구비할 것이라는 것이 인식되어 왔다.
본 발명의 이러한 추가적인 측면 및 실시예에서, 참조 뷰와 실시간 뷰의 비교 결과가 원하는 대로 사용될 수 있다. 예를 들어, 비교의 결과는 이전에 설명된 측면 및 실시예에서와 같이 차량의 위치를 결정하는데 사용될 수 있다. 상기 방법은 실시간 뷰와 참조 뷰 사이의 상관을 계산하여 뷰들 사이의 정렬 오프셋을 결정하는 단계; 및 상기 결정된 정렬 오프셋을 사용하여 차량의 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함한다.
적용 가능한 조건은 현재 시간에 적용 가능한 조건이며, 조명 조건일 수 있다. 일부 실시예에서, 적용 가능한 조건은 어둠의 상태이다.
참조 뷰는 전술한 실시예 중 임의의 것에 따라 위치파악 참조 데이터로부터 획득될 수 있는 3D 참조 지점 구름을 사용하여 재구성된다. 하나 이상의 카메라에 의해 획득될 것으로 예상되는 참조 뷰를 재구성하는 단계는 바람직하게는 위치파악 참조 데이터의 깊이 맵의 픽셀과 연관된 반사율 데이터 채널의 데이터를 이용하는 단계를 포함한다. 따라서, 바람직하게는, 상기 위치파악 참조 데이터의 각 픽셀은 감지된 레이저 반사율의 값을 나타내는 적어도 하나의 채널을 더 포함하고, 상기 위치파악 참조 데이터를 기반으로 3D 지점 구름을 생성하는 단계는 상기 감지된 레이저 반사율 데이터를 이용하여 수행된다. 레이저 반사율 데이터는 참조 3D 지점 구름을 생성하는데 사용하기 위해 깊이 채널로부터 데이터를 선택하는데 사용될 수 있고, 이는 예를 들어 어둠과 같은 적용 가능한 조건에서 보여질 수 있도록 의도된 물체를 포함하는, 차량의 하나 이상의 카메라로부터 얻어질 것으로 예상될 수 있는 뷰에 대응하는 재구성된 참조 뷰를 생성하기 위함이다. 차량의 하나 이상의 카메라는 전술한 바와 같이 단일 카메라 또는 한 쌍의 스테레오 카메라일 수 있다.
깊이 맵의 비교, 또는 지점 구름의 비교, 또는 재구성된 및 실시간 이미지의 여부에 관계 없이, 다양한 측면 및 실시예에서 본 발명에 따라 수행될 수 있는 위치파악 참조 데이터에 대한 실시간 스캔 데이터의 비교는 데이터 윈도우를 통해 수행될 수 있다. 데이터 윈도우는 예를 들어 종방향 데이터와 같은 이동 방향의 데이터의 윈도우이다. 따라서, 데이터를 윈도우잉(windowing)하면 비교 동안 사용 가능한 데이터의 서브셋이 고려될 수 있다. 상기 비교는 겹치는 윈도우에 대해 주기적으로 수행될 수 있다. 비교를 위해 사용된 데이터 윈도우의 적어도 일부가 중복되는 것이 바람직하다. 예를 들어, 이것은 인접하는 계산된 예를 들어 종방향 오프셋 값들 사이의 차이가 데이터에 대해 완만하게 처리되는 것을 보증할 수 있다. 윈도우는 오프셋 계산의 정확도가 일시적인 특징에 대해 불변이도록 충분한 길이를 가질 수 있으며, 바람직하게는 길이가 적어도 100m일 수 있다. 이러한 일시적인 특징은 예를 들어, 주차된 차량, 추월 차량 또는 동일 경로의 역주행 차량일 수 있다. 일부 실시예에서, 길이는 적어도 50m이다. 일부 실시예에서, 길이는 200m이다. 이러한 방식으로, 감지된 환경 데이터는 도로의 스트레치(예를 들어, 종방향 스트레치), 예를 들어, 200m의 '윈도우'에 대해 결정되고, 결과 데이터는 도로의 스트레치에 대한 위치파악 참조 데이터와 비교된다. 이 크기의 도로의 스트레치, 즉 차량의 길이보다 실질적으로 더 큰 것의 비교를 통해, 도로 상의 다른 차량 및 도로의 측면에 정지된 차량 등과 같은 비-고정적 또는 일시적 물체가 일반적으로 비교 결과에 영향을 미치지 않는다.
본 발명의 측면 또는 실시예에서 본 발명에 따라 사용된 위치파악 참조 데이터의 적어도 일부는 원격으로 저장 될 수 있다. 바람직하게는, 차량이 관련되는 경우, 위치파악 참조 데이터의 적어도 일부는 차량에 국부적으로 저장된다. 따라서, 위치파악 참조 데이터가 경로를 통해 이용 가능하더라도, 차량 상으로 연속적으로 전송될 필요가 없고 비교가 차량 상에서 수행될 수 있다.
위치파악 참조 데이터는 압축된 포맷으로 저장될 수 있다. 위치파악 참조 데이터는 30KB/km 이하에 해당하는 크기를 가질 수 있다.
위치파악 참조 데이터는 디지털 맵에 표현된 주행가능 네트워크의 주행가능 요소의 적어도 일부, 바람직하게는 전부에 대해 저장될 수 있다. 따라서, 차량의 위치는 차량이 주행한 경로를 따라 어디에서나 연속적으로 결정될 수 있다.
실시예에서, 참조 위치파악 데이터는 차량에 의해 순차적으로 이동되는 주행가능 요소를 따라 이전에 이동한 모바일 맵핑 차량(mobile mapping vehicle) 상에 위치된 적어도 하나의 장치를 사용하여 참조 스캔으로부터 얻어질 수 있다. 따라서, 참조 스캔은 위치가 연속적으로 결정되는 현재 차량과 다른 차량을 사용하여 획득될 수 있다. 일부 실시예에서, 모바일 맵핑 차량은 위치가 연속적으로 결정되는 차량과 유사한 설계이다.
실시간 스캔 데이터 및/또는 참조 스캔 데이터는 적어도 하나의 레인지-파인더 센서를 사용하여 획득될 수 있다. 레인지-파인더 센서는 단일 축을 따라 작동하도록 구성될 수 있다. 레인지-파인더 센서는 수직 축에서 스캔을 수행하도록 구성될 수 있다. 수직 축에서 스캔을 수행하면, 여러 높이의 평면에 대한 거리 정보가 수집되고, 따라서 결과적인 스캔이 훨씬 자세하게 처리된다. 선택적으로, 또는 부가적으로, 레인지-파인더 센서는 수평축에서 스캔을 수행하도록 구성될 수 있다.
레인지-파인더 센서는 레이저 스캐너일 수 있다. 레이저 스캐너는 거울을 사용하여 측방향 환경을 가로질러 스캐닝된 레이저 빔을 포함할 수 있다. 부가적으로 또는 대안적으로, 레인지-파인더 센서는 레이더 스캐너 및/또는 한 쌍의 스테레오 카메라일 수 있다.
본 발명은, 본 명세서에서 설명된 방법들 중 임의의 것을 수행하도록, 예를 들어 프로그래밍된 하나 이상의 프로세서와 같은 수단을 갖는, 예를 들어 내비게이션 장치와 같은 장치, 차량 등으로 확장된다.
본 명세서에서 설명된 위치파악 참조 데이터를 생성하는 단계는 바람직하게는 서버 또는 다른 유사한 컴퓨팅 장치에 의해 수행된다.
상기 방법의 단계들 중 임의의 단계를 수행하기 위한 수단은, 예를 들어, 그렇게 하기 위해 프로그래밍되도록 구성된 하나 이상의 프로세서의 세트를 포함할 수 있다. 주어진 단계는 임의의 다른 단계와 동일한 또는 다른 프로세서 세트를 사용하여 수행될 수 있다. 임의의 주어진 단계는 프로세서 세트의 조합을 사용하여 수행될 수 있다. 상기 시스템은 예를 들어 상기 디지털 맵, 상기 위치파악 참조 데이터 및/또는 상기 실시간 스캔 데이터를 저장하기 위한, 컴퓨터 메모리와 같은 데이터 저장 수단을 더 포함할 수 있다.
바람직한 실시예에서, 본 발명의 방법은 서버 또는 유사한 컴퓨팅 장치에 의해 구현된다. 환언하면, 본 발명의 방법은 바람직하게는 컴퓨터 구현된 방법이다. 따라서, 실시예에서, 본 발명의 시스템은 설명된 다양한 단계들을 수행하기 위한 수단을 포함하는 서버 또는 유사한 컴퓨팅 장치를 포함하고, 본 명세서에서 설명된 방법 단계는 서버에 의해 수행된다.
본 발명은 또한 장치가 여기에 설명된 방법 중 임의의 것을 수행하게끔 하는 또는 이를 수행하도록 실행 가능한 컴퓨터 판독가능 명령들을 포함하는 컴퓨터 프로그램 제품에 확장된다. 컴퓨터 프로그램 제품은 바람직하게는 비-일시적인 물리적 저장 매체에 저장된다.
당업자라면 이해할 수 있는 바와 같이, 본 발명의 측면 및 실시예는, 적절한 경우, 본 발명의 임의의 다른 측면에 대하여 본 명세서에서 설명된 본 발명의 바람직한 및 선택적인 특징 중 임의의 하나 이상의 것 또는 전부를 포함할 수 있으며, 바람직하게는 모두 포함한다.
본 발명의 실시예는 첨부된 도면을 참조하여 단지 예로서 설명될 것이다.
도 1은 플래닝 맵의 일부를 나타낸다.
도 2는 도로 네트워크의 이미지 상에 중첩된 플래닝 맵의 일부를 도시한다.
도 3 및 도 4는 맵을 구축하기 위한 데이터를 수집하는데 사용될 수 있는 예시적인 모바일 맵핑 시스템을 도시한다.
도 5는 레이저 스캐너로부터 얻어진 데이터의 3D 도면을 도시하고, 도 6은 레이저 스캐너로부터 얻어진 데이터의 측면 투영을 도시한다.
도 7은 일 실시예에 따른, 주변을 감지하면서 도로를 따라 이동하는 차량을 도시한다.
도 8은 예를 들어 도 7의 차량에 의해 수집된 것과 같은 감지된 환경 데이터와 비교된 위치파악 참조 데이터의 비교를 도시한다.
도 9는 위치파악 참조 데이터가 저장될 수 있는 예시적인 포맷을 도시한다.
도 10a는 도로를 따라 주행하는 차량에 장착된 레인지-파인딩 센서에 의해 획득된 예시적인 지점 구름을 도시하고, 도 10b는 이 지점 구름 데이터가 2개의 깊이 맵으로 변환된 것을 도시한다.
도 11은 일 실시예에서의 정규화된 상호-상관 계산 다음에 결정된 오프셋을 도시한다.
도 12는 "참조" 데이터 세트와 "국부 측정" 데이터 세트 사이에 수행된 상관의 다른 예를 도시한다.
도 13은 일 실시예에 따른 차량 내에 위치된 시스템을 도시한다.
도 14a는 위치파악 참조 데이터의 스트레치의 일부인 예시적인 래스터 이미지를 도시한다.
도 14b는 도 14a의 데이터를 도로 좌측 및 우측의 2개의 개별 평면으로 도시한 조감도를 도시한다.
도 15a는 위치파악 참조 데이터 및 실시간 스캔 데이터의 고정된 종방향 분해능 및 가변의(예를 들어, 비선형의) 수직 및/또는 깊이 분해능을 도시한다.
도 15b는 참조선 위의 높이를 픽셀 Y 좌표 값에 맵핑하는 함수를 도시한다.
도 15c는 참조선으로부터 픽셀 깊이 값들로 거리들을 맵핑하는 함수를 도시한다.
도 15d는 3차원 플롯에서의 고정된 종방향 픽셀 분해능, 가변 수직 픽셀 분해능 및 가변 깊이값 분해능을 도시한다.
도 16a는 도로 요소와 관련된 참조선에 의해 정의된 참조 평면에 대한 직교 투영을 도시한다.
도 16b는 직교 투영을 사용하여 얻어진 측면 깊이 맵을 도시한다.
도 16c는 도로 요소와 관련된 참조선에 의해 정의된 참조 평면에 대한 비-직교 투영을 도시한다.
도 16d는 비-직교 투영을 사용하여 얻어진 측면 깊이 맵을 도시한다.
도 17은 깊이 맵에 대한 다중-채널 데이터 포맷을 도시한다.
도 18은 교차로에서 깊이 맵을 구성하는데 사용될 수 있는 원형 및 선형 참조선을 도시한다.
도 19a는 물체가 상이한 각도 위치에서 원형 깊이 맵 상에 투영될 수 있는 방법을 도시한다.
도 19b는 깊이 맵을 제공하기 위해 참조 평면에 대한 물체의 직교 투영을 도시한다.
도 20a는 참조 깊이 맵 및 대응하는 실시간 깊이 맵을 도시한다.
도 20b는 참조 깊이 맵과 실시간 깊이 맵의 종방향 상관으로부터 유도된 종방향 수정을 도시한다.
도 20c는 참조 깊이 맵 및 실시간 깊이 맵에서의 대응하는 픽셀에 대한 픽셀 깊이 값 사이의 히스토그램 차이로부터 도출된 측방향 수정을 도시한다.
도 20d는 도로 상의 차량의 종방향 위치 및 측방향 위치가 어떻게 보정될 수 있는지를 도시한다.
도 21a는 참조 깊이 맵의 대응 부분을 통한 수직 슬라이스 세트를 도시한다.
도 21b는 깊이 맵을 따른 수직 슬라이스의 종방향 거리에 대해 플롯된 수직 슬라이스에 대한 평균 픽셀 깊이 차이를 도시한다.
도 22는 곡선 도로의 이미지 및 도로에 대한 대응하는 선형 참조 이미지를 도시한다.
도 23a 및 도 23b는 예를 들어 비선형 환경에서 차량의 위치를 설정하는 방법을 도시한다.
도 24는 데이터 차량 센서가 참조 데이터와 상관되어 디지털 맵에 대한 차량의 위치를 파악하는 예시적인 시스템을 도시한다.
도 25a, 도 25b 및 도 25c는 참조 깊이 맵이 3D 지점 구름을 구성하는데 사용되고 그것이 이후 차량 레이저 센서로부터 얻어진 3D 지점 구름과 비교되는 제1 예의 사용 케이스를 도시한다.
도 26a, 도 26b, 도 26c 및 도 26d는 참조 깊이 맵이 3D 지점 구름을 구성하는데 사용되고 그것이 이후 다수의 차량 카메라 또는 단일 차량 카메라로부터 얻어진 3D 장면 또는 뷰와 비교되는 제2 예의 사용 케이스를 도시한다.
도 27a, 도 27b 및도 27c는 깊이 맵의 반사율 데이터가 3D 지점 구름을 구성하는데 사용되고 그것이 이후 차량 카메라로부터 획득된 3D 장면 또는 뷰와 비교되는 제3 예의 사용 케이스를 도시한다.
도 28a 및 도 28b는 깊이 맵의 레이더 데이터가 3D 지점 구름을 구성하는데 사용되고 그것이 이후 차량 카메라를 사용하여 획득된 3D 장면과 비교되는 제4 예의 사용 케이스를 도시한다.
도 29는 본 발명의 실시예에 사용된 상이한 좌표계를 도시한다.
도 30은 차량 위치를 결정하기 위해 차량 센서 데이터를 참조 데이터와 상관시킬 때 수행되는 단계를 도시한다.
도 31은 도 30의 방법에서 레이저 지점 구름을 결정하기 위해 수행되는 단계를 도시한다.
도 32a는 도 30의 방법에서 상관 단계를 수행하기 위한 제1 예시적인 방법을 도시한다.
도 32b는 도 30의 방법에서 상관 단계를 수행하기 위한 제2 예시적인 방법을 도시한다.
디지털 맵(내비게이션 네트워크, 예컨대 도로 네트워크를 나타냄)에 대한, 차량과 같은 장치의 위치를 결정하기 위한 개선된 방법이 요구된다는 것이 인식되어 왔다. 특히, 디지털 맵에 대한 장치의 종방향(longitudinal) 위치가 정확하게, 예를 들어 서브-미터 정확도로 결정될 수 있어야 한다. 본 출원에서의 "종방향" 이라는 용어는 장치(예를 들어, 차량)가 이동하는 조향가능 네트워크(navigable network)의 부분을 따르는 방향을 말한다; 다시 말해서 차량이 주행하는 도로의 길이를 따르는 방향을 의미한다. 본 출원에서의 "횡방향(lateral)" 이라는 용어는 종방향에 수직인 것으로서의 통상적인 의미를 가지며, 따라서 도로의 폭을 따르는 방향을 지칭한다.
인식할 수 있는 바와 같이, 예를 들어 도로의 각 차선이 별도로 나타나는 3차원 벡터 모델(표준 맵에서와 같은 도로에 대한 중심선과는 대조적임)과 같이, 디지털 맵이 전술한 바와 같은 플래닝 맵을 포함하는 경우, 예를 들어 차량과 같은 장치의 횡방향 위치는, 장치가 현재 주행하는 차선을 결정하는 것을 단순히 수반한다. 그러한 결정을 수행하기 위한 다양한 기술이 알려져 있다. 예를 들어, 결정은 글로벌 항법 위성 시스템(GNSS) 수신기로부터 얻어진 정보만을 사용하여 이루어질 수 있다. 추가적으로 또는 대안적으로, 장치와 관련된 카메라, 레이저 또는 다른 이미징 센서로부터의 정보가 사용될 수 있다; 예를 들어, 차량 내부에 장착된 하나 이상의 비디오 카메라로부터의 이미지 데이터가, 예를 들어 다양한 이미지 처리 기술을 사용하여, 분석됨으로써 차량이 주행하는 차선을 탐지하고 추적하는, 실질적인 연구가 최근에 수행되었다.
일 대표적인 기술은 허준화(JunhwaHur), 강승남(Seung-Nam), 서승우(Seung-Woo Seo)가 저술한 "Multi-lanedetection in urban driving environments using conditional random fields"라는 제목의 논문에 나와 있다(지능형 차량 심포지엄(Intelligent Vehicles Symposium) 과정에서 공개됨, 페이지 1297-1302. IEEE, (2013) 참조). 여기서, 장치에는 비디오 카메라, 레이더 및/또는 LIDAR 센서로부터의 데이터 피드(data feed)가 제공될 수 있으며, 적절한 알고리즘이 사용되어 수신된 데이터를 실시간으로 처리함으로써 장치가 이동하고 있는 장치 또는 차량의 현재 차선이 결정된다. 대안적으로, 모빌아이 엔브이(Mobileye NV)로부터 이용가능한 모빌아이(Mobileye) 시스템과 같은, 다른 장치 또는 장비는 이들 데이터 피드에 기초하여 차량의 현재 차선의 결정을 제공할 수 있고, 이후 예를 들어 유선 연결 또는 블루투스 연결에 의해, 장치에 상기 현재 차선의 결정을 공급할 수 있다.
실시예에서, 차량의 종방향 위치는, 차량 주변의, 바람직하게는 차량의 한쪽 또는 양쪽 면 상에서의, 환경의 실시간 스캔을 디지털 맵과 관련된 환경의 참조 스캔과 비교함으로써 결정될 수 있다. 이 비교로부터, (있는 경우) 종방향 오프셋이 결정될 수 있으며, 차량의 위치가 상기 결정된 오프셋을 사용하여 디지털 맵과 매칭된다. 따라서 디지털 맵에 대한 차량의 위치는 언제나 고도의 정확도로 알려질 수 있다.
차량 주변 환경의 실시간 스캔은 차량에 위치된 적어도 하나의 레인지-파인더 센서를 사용하여 얻어질 수 있다. 상기 적어도 하나의 레인지-파인더 센서는 임의의 적합한 형태를 취할 수 있지만, 바람직한 실시예에서는 레이저 스캐너, 즉 LIDAR 장치를 포함한다. 레이저 스캐너는 환경에 걸쳐 레이저 빔을 스캔하고 환경의 지점 구름 표현을 생성하도록 구성될 수 있다; 각 지점은 레이저가 반사되는 대상의 표면의 위치를 나타낸다. 이해될 수 있는 바와 같이, 레이저 스캐너는 물체의 표면으로부터 반사된 후에 레이저 빔이 스캐너로 복귀하는 데 걸리는 시간을 기록하도록 구성되며, 이후 기록된 시간은 각 지점까지의 거리를 결정하는데 사용될 수 있다. 바람직한 실시예에서, 레인지-파인더 센서는 특정 획득 각도(예를 들어, 50-90 ° 사이, 예를 들어 70 °와 같은 각도) 내의 데이터를 얻기 위해 단일 축을 따라 동작하도록 구성된다; 예를 들어, 센서가 레이저 스캐너를 포함할 때, 레이저 빔은 장치 내의 거울을 사용하여 스캐닝된다.
차량(100)이 도로를 따라 주행하는 실시예가 도 7에 도시된다. 차량에는 차량의 각 측면에 위치된 레인지-파인더 센서(101, 102)가 장착되어 있다. 센서가 차량의 각 측면에 도시되어 있지만, 다른 실시예에서는 차량의 일 측면에만 단일 센서가 사용될 수 있다. 바람직하게는, 센서들은 아래에서보다 상세히 설명되는 바와 같이, 각각의 센서로부터의 데이터가 조합될 수 있도록 적절하게 정렬된다.
WO2011/146523A2는 참조 데이터를 3차원 지점 구름 형태로 포착하기 위해 차량에서 사용될 수 있는 스캐너의 예 또는 주변 환경과 관련된 실시간 데이터를 얻기 위해 자율 차량에서 사용될 수도 있는 스캐너의 예를 제공한다.
전술한 바와 같이, 레인지-파인더 센서(들)는 단일 축을 따라 작동하도록 구성될 수 있다. 일 실시예에서, 센서는 수평 방향에서, 즉 도로의 표면에 평행한 평면에서 스캔을 수행하도록 구성될 수 있다. 이는 예를 들어 도 7에 나타난 바와 같다. 차량이 도로를 따라 주행하면서 환경을 지속적으로 스캐닝하면 도 8에 나타난 바와 같은 감지된 환경 데이터가 수집될 수 있다. 데이터(200)는 좌측 센서(102)로부터 수집된 데이터이고, 객체(104)를 도시한다. 데이터(202)는 우측 센서(101)로부터 수집된 데이터이고, 객체(106 및 108)를 도시한다. 다른 실시 예에서, 센서는 수직 방향에서, 즉 도로 표면에 수직인 평면에서 스캔을 수행하도록 구성될 수 있다. 차량이 도로를 따라 주행함에 까라 환경을 계속해서 스캐닝함으로써, 도 6의 방식으로 환경 데이터를 수집하는 것이 가능하다. 이해되는 바와 같이, 수직 방향으로 스캔을 수행함으로써, 다수의 높이에서 평면에 대한 거리 정보가 수집되고, 따라서 결과적인 스캔이 훨씬 더 상세해진다. 스캐닝은 원하는 대로 임의의 축을 따라 수행될 수 있음이 물론 이해될 것이다.
환경의 참조 스캔은 이전에 도로를 따라 이동하는 하나 이상의 차량으로부터 얻어지고, 이는 이후 적절하게 정렬되어 디지털 맵과 연관된다. 참조 스캔은 디지털 맵과 연관된 데이터베이스에 저장되며, 본 명세서에서 위치파악 참조 데이터로 언급된다. 디지털 맵과 위치파악 참조 데이터의 조합은 일치될 때 위치파악 맵이라고 지칭될 수 있다. 이해되는 바와 같이, 위치파악 맵은 차량으로부터 원격으로 생성된다; 전형적으로 톰톰 인터네셔널 비브이(TomTom International B.V.) 또는 HERE, 노키아(Nokia) 회사와 같은 디지털 맵 제작 회사에 의해 제공된다.
참조 스캔은 예를 들어 도 3에 나타난 바와 같이 모바일 맵핑 차량과 같은 전문 차량으로부터 얻어질 수 있다. 그러나, 바람직한 실시예에서, 참조 스캔은 차량이 주행가능 네트워크를 따라 이동함에 따라 차량에 의해 수집된 감지 된 환경 데이터로부터 결정될 수 있다. 이 감지된 환경 데이터는 디지털 맵핑 회사에 저장되고 주기적으로 전송되어 위치파악 맵이 생성, 유지 및 업데이트될 수 있다.
비록 데이터가 원격으로 저장될 수 있음이 이해될 것이지만, 위치파악 참조 데이터는 바람직하게는 차량에서 국부적으로 저장된다. 실시예에서, 특히 위치파악 참조 데이터가 국부적으로 저장되는 경우, 데이터는 압축된 포맷으로 저장된다.
실시예에서, 위치파악 참조 데이터는 도로 네트워크 내의 도로의 각 면에 대해 수집된다. 그러한 실시예에서, 도로의 각각의 측면에 대한 참조 데이터는 개별적으로 저장될 수 있거나, 대안적으로 이들은 결합된 데이터 세트로 함께 저장될 수 있다.
실시예에서, 위치파악 참조 데이터는 이미지 데이터로서 저장될 수 있다. 이미지 데이터는 예를 들어 RGB 이미지와 같은 컬러일 수 있고, 그레이스케일 이미지일 수도 있다.
도 9는 위치파악 참조 데이터가 저장될 수 있는 방법의 예시적인 형태를 도시한다. 이 실시예에서, 도로의 좌측에 대한 참조 데이터는 이미지의 좌측에 제공되고, 도로의 우측에 대한 참조 데이터는 이미지의 우측에 제공된다; 데이터 세트는 특정 종방향 위치에 대한 좌측 참조 데이터 세트가 동일한 종방향 위치에 대한 우측 참조 데이터 세트에 대향하게 도시되도록 정렬된다.
도 9의 이미지에서, 단지 설명을 목적으로, 세로 픽셀 크기는 0.5m이고, 중심선의 각 면 상에 40 픽셀이 있다. 또한 이미지를 컬러(RGB) 이미지가 아닌 그레이스케일 이미지로 저장될 수 있다고 결정되었다. 이 형식으로 이미지를 저장함으로써, 위치파악 참조 데이터의 크기는 30KB/km에 해당한다.
추가적인 예가 도 10a 및 도 10b에 도시되어 있다. 도 10a는 도로를 따라 주행하는 차량에 장착된 레인지-파인딩 센서에 의해 획득된 예시적인 지점 구름을 도시한다. 도 10b에서, 이 지점 구름 데이터는 2개의 깊이 맵으로 변환되었다; 하나는 차량의 왼쪽에 대한 것이고 나머지는 차량의 오른쪽에 대한 것이고, 이들은 각각 서로 옆에 배치되어 합성 이미지를 형성한다.
전술한 바와 같이, 차량에 의해 결정된 감지된 환경 데이터는 오프셋이 존재 하는지를 결정하기 위해 위치파악 참조 데이터와 비교된다. 이후 결정된 오프셋을 사용하여 차량의 위치를 조정함으로써 그것이 디지털 맵 상의 올바른 위치와 정확하게 일치될 수 있다. 이 결정된 오프셋은 본 명세서에서 상관 인덱스로 지칭된다.
실시예에서, 감지된 환경 데이터는 예를 들어 200m인 도로의 종방향 스트레치, 및 예를 들어 이미지 데이터와 같은 결과 데이터에 대해 결정되고, 이후 도로의 스트레치를 위해 위치파악 참조 데이터와 비교된다. 차량의 길이보다 실질적으로 큰 것인 이 크기의 도로를 따라 비교를 수행함으로써, 도로 상의 다른 차량, 도로 옆에 정지된 차량 등과 같은 비-고정적 또는 임시 객체는 일반적으로 비교 결과에 영향을 미치지 않을 것이다.
비교는 바람직하게는 감지된 환경 데이터와 위치파악 참조 데이터 사이의 교차-상관을 계산하여 수행되고, 데이터 세트가 가장 정렬된 종 방향 위치를 결정하도록 수행되는 것이 바람직하다. 최대 정렬에서 양 데이터 세트의 종방향 위치 사이의 차이는 종방향 오프셋이 결정되도록 한다. 이것은, 예를 들어, 도 8의 감지된 환경 데이터와 위치파악 참조 데이터 사이에 표시된 오프셋에 의해 알 수 있다.
실시예에서, 데이터 세트가 이미지로서 제공되는 경우, 상호-상관은 정규화된 상호-상관 연산을 포함하여, 위치파악 참조 데이터와 감지된 환경 데이터 사이의 밝기, 조명 조건 등의 차이가 완화될 수 있다. 바람직하게는, 상기 비교는 예를 들어 200m 길이 중에서 겹치는 윈도우들에 대해 주기적으로 수행되고, 그에 따라 임의의 오프셋은 차량이 도로를 따라 주행함에 따라 연속적으로 결정된다. 도 11은 도시된 위치파악 참조 데이터와 묘사된 감지된 환경 데이터 사이의 정규화된 상호-상관 계산 다음에 예시적인 실시예에서 결정된 오프셋을 도시한다.
도 12는 "참조" 데이터 세트와 "로컬 측정" 데이터 세트"(도로를 따라 주행하는 차량에 의해 획득됨) 사이에서 수행되는 상관(correlation)의 추가적인 예를 도시한다. 두 이미지 간의 상관 결과는 "종방향 상관 지수"에 대한 "시프트"의 그래프에서 볼 수 있고, 여기서 가장 큰 피크의 위치는 도시된 최적 이동(best-fit shift)을 결정하는데 사용되며, 이는 이후 디지털 맵에 대한 차량의 종방향 위치를 조정하는데 사용된다.
도 9, 도 10b, 도 11 및 도 12에서 알 수 있는 바와 같이, 위치파악 참조 데이터 및 감지된 환경 데이터는 바람직하게는 깊이 맵의 형태로 되어 있고, 각 요소(예를 들어, 깊이 맵이 이미지로 저장될 때의 픽셀)는 다음을 포함한다: (도로를 따라) 종방향 위치를 나타내는 제1 값; 고도(즉, 지상 높이)를 나타내는 제2 값; (도로를 가로지르는) 횡방향 위치를 나타내는 제3 값을 포함한다. 따라서, 깊이 맵의 각 요소(예를 들어, 픽셀)는 차량 주변의 환경 표면의 일부에 효과적으로 대응한다. 이해되는 바와 같이, 예를 들어 픽셀과 같은 각 요소에 의해 표현되는 표면의 크기는 압축량에 따라 변화할 것이며, 그에 따라 예를 들어 픽셀과 같은 요소는 깊이 맵(또는 이미지)의 높은 수준의 압축으로 더 큰 표면적을 나타낼 것이다.
위치파악 참조 데이터가 장치의 데이터 저장 수단, 예를 들어, 메모리에 저장되는 실시예들에서, 비교 단계는 차량 내의 하나 이상의 프로세서 상에서 수행될 수 있다. 위치파악 참조 데이터가 차량으로부터 원격으로 저장되는 다른 실시예에서, 감지된 환경 데이터는 무선 접속을 통해 서버에 전송될 수 있으며, 예를 들어 이동 통신 네트워크를 통해 전송될 수 있다. 이후 위치파악 참조 데이터에 액세스하는 서버는, 예를 들어 다시 이동 통신 네트워크를 사용하여, 임의의 결정된 오프셋을 다시 차량에 반환할 것이다.
본 발명의 실시예에 따른, 차량 내에 위치된 예시적인 시스템이 도 13에 도시된다. 이 시스템에서, 상관 인덱스 제공자 유닛으로 지칭되는 처리 장치는 차량의 좌측 상의 환경을 검출하도록 위치된 레인지-파인딩 센서 및 차량의 우측 상의 환경을 검출하도록 위치된 레인지-파인딩 센서로부터 데이터 피드를 수신한다. 처리 장치는 또한 디지털 맵(바람직하게는 플래닝 맵의 형태임) 및 디지털 맵에 적절하게 매칭되는 위치파악 참조 데이터의 데이터베이스에 대한 액세스도 갖는다. 처리 장치는 전술한 방법을 수행하고 그에 따라 레인지-파인딩 센서로부터의 데이터 피드를, 선택적으로 데이터 피드를 적절한 형태, 예를 들어 이미지 데이터로 변환한 후에, 양 센서로부터의 데이터를 조합하여, 위치파악 참조 데이터와 비교함으로써 종방향 오프셋을 결정하도록 구성되고 그에 따라 디지털 맵에 대한 차량의 정확한 위치가 결정된다. 상기 시스템은 또한 수평선 제공자 유닛을 포함하며, 이는 차량의 결정된 위치와 디지털 맵 내의 데이터를 사용하여 차량이 횡단하려는 주행가능 네트워크의 다가오는 부분에 관한 정보("수평선 데이터"로 지칭됨)를 제공한다. 이후 이 수평선 데이터는 차량 내의 하나 이상의 시스템을 제어하여, 예를 들어 적응형 크루즈 컨트롤, 자동 차선 변경, 비상 브레이크 보조 등과 같은 다양한 보조 또는 자동 운전 동작을 수행하는데 사용될 수 있다.
요약하면, 본 발명은 적어도 바람직한 실시예에서, 종방향 상관에 기초한 위치결정 방법에 관한 것이다. 차량 주변의 3D 공간은 도로의 왼쪽과 오른쪽을 모두 커버하는 2개의 깊이 맵의 형태로 표현되며 단일 이미지로 결합될 수 있다. 디지털 맵에 저장된 참조 이미지는 차량의 레이저 또는 다른 레인지-파인딩 센서로부터 도출된 깊이 맵과 교차-상관되어 디지털 맵에서 도로의 표시를 따라서(즉, 종방향으로) 정확하게 위치시킨다. 이후 깊이 정보는, 실시예에서, 차량을 가로질러(즉, 횡방향으로) 위치시키는데 사용될 수 있다.
바람직한 구현에서, 차량 주변의 3D 공간은 도로 궤도와 평행한 2개의 그리드에 투영되고, 투영 값은 그리드의 각 셀 내에서 평균화된다. 종방향 상관기 깊이 맵(longitudinal correlator depth map)의 픽셀은 주행 방향을 따라 약 50cm 및 약 20cm 높이의 치수를 갖는다. 픽셀 값으로 코딩된 깊이는 약 10cm로 양자화된다. 주행 방향을 따른 깊이 맵 이미지 분해능은 50cm이지만, 위치결정 분해능은 훨씬 더 높다. 교차-상관 이미지는 레이저 지점이 분포되고 평균화된 그리드를 나타낸다. 적절한 업-샘플링은 서브-픽셀 계수의 시프트 벡터를 발견하는 것을 가능케 한다. 유사하게, 약 10cm의 깊이 양자화는, 양자화 오차가 상관된 모든 픽셀에 대해 평균화되기 때문에, 도로를 가로 지르는 위치파악의 10cm의 정밀도를 의미하지 않는다. 따라서 실제적으로, 위치파악 정밀도는 주로 레이저 정밀도 및 교정에 의해 제한되며, 종방향 상관기 지수의 양자화 오차로부터의 영향(contribution)은 단지 매우 미미하다.
따라서, 위치파악 정보, 예를 들어 깊이 맵(또는 이미지)는, 항상 사용가능하고(날카로운 물체가 주변에 없는 경우에도 사용가능), 컴팩트하며(전 세계 도로 네트워크 저장 가능), 다른 방식과 비교하여 비슷하거나 더 나은 정밀도를 가능케 한다(어느 곳에서나 이용 가능하다는 점 그리고 그에 따른 높은 평균 오차 가능성으로 인함)는 것이 이해될 것이다.
도 14a는 위치파악 참조 데이터의 스트레치의 일부인 예시적인 래스터 이미지(raster image)를 도시한다. 래스터 이미지는 수집된 3D 레이저 포인트 데이터의 참조선에 의해 정의되고 도로 표면에 수직으로 배향된 초평면(hyperplane)으로의 직교 투영에 의해 형성된다. 투영의 직교성으로 인해 임의의 높이 정보는 참조선으로부터의 거리에 독립적이다. 참조선 자체는 일반적으로 차선/도로 경계와 평행을 이룬다. 초평면의 실제 표현은 고정된 수평 분해능과 비선형 수직 분해능을 갖는 래스터 포맷이다. 이 방법은 차량 센서의 감지에 중요한 높이에서 정보 밀도를 최대화하는 것을 목표로 한다. 실험을 통해 래스터 평면의 높이는 5 ~ 10m로 차후에 차량 위치탐색에 필요한 관련 정보를 넉넉히 수집하는데 충분하다는 결과를 나타낸다다. 래스터의 각 개별 픽셀은 레이저 측정 그룹을 반영한다. 수직 분해능과 마찬가지로, 깊이 정보의 분해능도 비선형 방식으로 표시되지만, 일반적으로 8비트 값(즉, 0에서 255 사이의 값)으로 저장된다. 도 14a는 도로의 양 측면에 대한 데이터를 도시한다. 도 14b는 도 14a의 데이터를 도로 좌측 및 우측의 2개의 분리된 평면으로 도시한 조감적 원근법을 도시한다.
전술한 바와 같이, 전방 또는 측면-장착된 수평 장착 레이저 스캐너 센서를 구비한 차량은, 실시간으로, 위치파악 참조 데이터의 그것과 유사한 2D 평면을 생성할 수 있다. 디지털 맵에 대한 차량의 위치파악은 실시간으로 감지되고 처리된 데이터로 선험적으로 맵핑된 데이터(priori mapped data)의 이미지 공간에서의 상관에 의해 달성된다. 종방향 차량 위치파악은 종방향 도메인에서의 소벨(Sobel) 연산자와 높이 도메인에서 1 픽셀 흐림이 있는 이미지에 중첩된 이동 윈도우에서 계산된 평균의 음이 아닌 정규화된 교차 상관(NCC) 연산(average non-negative normalized cross-correlation operation)을 적용하여 얻어진다.
도 15a는 위치파악 참조 데이터 및 실시간 스캔 데이터의 고정된 종방향 분해능 및 변수, 예를 들어 비선형의, 수직 및/또는 깊이 분해능을 도시한다. 따라서, 값 a, b 및 c에 의해 표현된 종방향 거리는 동일하지만, 값 D, E 및 F로 표현되는 높이 범위는 상이하다. 특히, D로 표시되는 높이 범위는 E로 표시되는 높이 범위보다 작고, E로 표시되는 높이 범위는 F로 표시되는 높이 범위보다 작다. 마찬가지로, 0 값으로 표시되는 깊이 범위, 즉 차량에 가장 가까운 표면은 값 100으로 표시되는 깊이 범위보다 작고, 값 100으로 표시되는 깊이 범위는 값 255로 표시되는 깊이 범위, 즉 차량에서 가장 먼 표면보다 작다. 예를 들어, 값 0은 깊이 1cm를 나타낼 수 있고, 반면에 값 255는 깊이 10cm를 나타낼 수 있다.
도 15b는 수직 분해능이 어떻게 변하는지를 도시한다. 이 예에서, 수직 분해능은 참조선 위의 높이를 픽셀 Y 좌표 값에 맵핑하는 비선형 함수에 따라 변동한다. 도 15b에 도시된 바와 같이, 참조선에 더 가까운 픽셀들, 이 예에서 Y가 40과 동일한 픽셀들은 더 낮은 높이를 나타낸다. 또한 도 15b에 도시된 바와 같이, 수직 분해능은 참조선에 더 가까우면서 더 커진다. 즉, 참조선에 더 가까운 픽셀에 대해서는 픽셀 위치에 대한 높이의 변화가 더욱 작고, 참조선에 더욱 먼 픽셀에 대해서는 더욱 크다.
도 15c는 깊이 분해능이 어떻게 변화할 수 있는지를 도시한다. 이 예에서, 깊이 분해능은 참조선으로부터 픽셀 깊이 (컬러) 값까지의 거리를 맵핑하는 비선형 함수에 기초하여 변동한다. 도 15c에 도시된 바와 같이, 더 낮은 픽셀 깊이 값은 참조선으로부터의 더 짧은 거리를 나타낸다. 또한 도 15c에 도시된 바와 같이, 깊이 분해능은 더 낮은 픽셀 깊이 값에서 더 크다, 즉 픽셀 깊이 값에 대한 거리 변화는 더 낮은 픽셀 깊이 값에 대해서는 더 작고 더 높은 픽셀 깊이 값에 대해서는 더 크다.
도 15d는 픽셀의 서브셋이 참조선을 따른 거리에 어떻게 맵핑되는지를 도시한다. 도 15d에 도시된 바와 같이, 참조선을 따르는 각각의 픽셀은 종방향 픽셀 분해능이 고정되도록 동일한 폭이다. 도 15d는 또한 픽셀의 서브셋이 어떻게 참조선 위로의 높이로 매핑될 수 있는지를 도시한다. 도 15d에 도시된 바와 같이, 픽셀은 참조선으로부터 더 먼 거리에서 점진적으로 더 넓어지므로, 수직 픽셀 분해능은 참조선보다 높은 높이에서 더 낮다. 도 15d는 또한 픽셀 깊이 값의 서브셋이 어떻게 참조선으로부터의 거리에 매핑될 수 있는지를 도시한다. 도 15d에 도시된 바와 같이, 픽셀 깊이 값에 의해 커버되는 거리는 참조선으로부터 더 먼 거리에서 점진적으로 넓어 지므로, 깊이 분해능은 참조선으로부터 더 먼 깊이 거리에서 더 낮다.
본 발명의 몇몇 다른 실시예 및 특징이 이제 설명될 것이다.
도 14a와 관련하여 설명된 바와 같이, 깊이 맵, 예를 들어, 위치파악 참조 데이터의 래스터 이미지는 도로 요소와 관련된 참조선에 의해 정의된 참조 평면 상으로의 직교 투영에 의해 제공될 수 있다. 도 16a는 그러한 투영을 사용한 결과를 도시한다. 참조 평면은 표시된 도로 참조 선에 수직이다. 여기서, 비록 높이 정보가 참조선으로부터의 거리와는 무관하지만(이는 이점을 제공할 수도 있다), 직교 투영의 일 한계는 도로 요소에 수직인 표면에 관한 정보가 손실될 수 있다는 것이다. 이는 직교 투영을 사용하여 얻어진 도 16b의 측면 깊이 맵에 의해 도시된다.
비-직교 투영(예를 들어. 45도에서의 투영)이 사용되는 경우, 도로 요소에 수직인 표면과 관련된 정보가 보존될 수 있다. 이는 도 16c 및 16d에 의해 도시된다. 도 16c는 다시 도로 참조선에 수직인 것으로 정의된 참조 평면에 대한 45도 투영을 도시한다. 도 16d에 도시된 바와 같이, 이 투영을 사용하여 얻어진 측부 깊이 맵은 도로 요소에 수직인 물체의 그러한 표면에 관한 더 많은 정보를 포함한다. 비-직각 투영을 사용함으로써, 그러한 수직 표면에 관한 정보는 깊이 맵 데이터에 의해, 그러나 부가적인 데이터 채널을 포함할 필요가 없이 또는 저장 용량을 증가시킬 필요 없이 포착될 수 있다. 그러한 비-직교 투영이 위치파악 참조 데이터의 깊이 맵 데이터를 위해 사용되는 경우, 대응하는 투영이 그것이 비교될 실시간 감지 데이터를 위해 사용되어야 한다는 것을 이해할 것이다.
위치파악 참조 데이터에 대한 깊이 맵 데이터의 각 픽셀은 감지된 측정 그룹, 예를 들어, 레이저 측정치에 기반한다. 이들 측정치는 픽셀의 위치에서 관련된 소정의 방향을 따라 참조 평면으로부터의 물체의 거리를 나타내는 센서 측정치에 대응한다. 데이터가 압축되는 방식으로 인해, 센서 측정치 그룹이 특정 픽셀에 맵핑된다. 센서 측정치 그룹에 따라 상이한 거리의 평균에 대응하는 픽셀과 관련된 깊이 값을 결정하기보다는, 다양한 센서 측정치에 상응하는 거리 중에서 가장 가까운 거리를 픽셀 깊이 값으로 사용함으로써 더 큰 정확도가 얻어질 수 있다는 것이 밝혀졌다. 픽셀의 깊이 값이 참조 평면으로부터 물체의 가장 가까운 표면까지의 거리를 정확하게 반영하는 것이 중요하다. 이것은 충돌의 위험을 최소화하는 방식으로 차량의 위치를 정확하게 결정할 때 가장 중요하다. 센서 측정치 그룹의 평균이 픽셀에 대한 깊이 값을 제공하는데 사용되는 경우, 깊이 값이 실제의 픽셀 위치에서의 경우보다 물체 표면으로의 더 큰 거리를 제공할 가능성이 있다. 이것은 하나의 물체가 참조 평면과 다른 더 먼 물체 사이에 일시적으로 위치될 수 있기 때문이다(예를 들어, 나무가 건물 앞에 위치될 수 있다). 이 상황에서, 픽셀 깊이 값을 제공하기 위해 사용되는 일부 센서 측정치는, 센서 측정치가 나무를 넘어 그것의 측면 또는 측면들 상에서 연장되는 픽셀에 맵핑되는 영역의 결과로서, 건물 및 나무와 같은 다른 것들과 관련될 것이다. 본 출원인은 가장 근접한 물체(이 경우 나무)의 표면까지의 거리가 신뢰성있게 포착되도록 하기 위해 픽셀과 관련된 깊이 값으로서 다양한 센서 측정치 중 가장 가까운 것을 측정하는 것이 가장 안전하고 신뢰할 수 있다는 것을 인식했다. 대안적으로, 픽셀에 대한 센서 측정치의 분포가 도출될 수 있고, 픽셀 깊이를 제공하기 위해 최근접 모드(closest mode)가 취해질 수 있다. 이렇게 하면 최근접 거리와 비슷한 방식으로 픽셀의 깊이를 보다 안정적으로 표시할 수 있다.
전술한 바와 같이, 위치파악 참조 데이터를 위한 깊이 맵 데이터의 픽셀은 깊이 채널을 포함하고, 이는 참조 평면에서의 픽셀의 위치로부터 물체의 표면까지의 깊이를 나타내는 데이터를 포함한다. 하나 이상의 추가 화소 채널이 위치파악 참조 데이터에 포함될 수 있다. 이렇게 하면 다중-채널 또는 층 깊이 맵이 생성되므로 래스터 이미지가 생성된다. 일부 바람직한 실시예에서, 제2 채널은 픽셀의 위치에서 물체의 레이저 반사율을 나타내는 데이터를 포함하고, 제3 채널은 픽셀 위치에서 물체의 레이더 반사율을 나타내는 데이터를 포함한다.
각 픽셀은 도로 참조선(x-방향)을 따르는 특정 거리 및 도로 참조선(y-방향) 위의 높이에 대응하는 위치를 갖는다. 제1 채널(c1)에서의 픽셀과 관련된 깊이 값은, (바람직하게는 픽셀 깊이 값을 획득하기 위해 사용된 감지된 측정치 그룹에 대응하는) 최근접 물체의 표면에 대한 소정의 방향(사용된 투영에 따라 참조 평면에 대해 직교 또는 비-직교일 수 있음)을 따른 참조 평면에서의 픽셀의 거리를 나타낸다. 각각의 픽셀은, 제2 채널(c2)에서, 참조 평면으로부터의 거리(c1) 부근에서의 레이저 지점의 평균 국부 반사율을 나타내는 레이저 반사율 값을 가질 수 있다. 제3 채널(c3)에서, 참조 평면으로부터의 거리(c1) 부근에서의 레이더 지점의 평균 국부 반사율을 나타내는 레이더 반사율 값을 가질 수 있다. 이는 예를 들어 도 17에 나타난다. 다중-채널 형식을 사용하면 훨씬 많은 양의 데이터가 깊이 맵에 포함되도록 할 수 있다. 이용될 수 있는 다른 가능한 채널은 (직교 투영이 사용되는 도로 궤도에 수직인 표면에 대한 정보를 복원하는데 사용될 수 있는) 물체 두께, 반사된 지점 밀도, 및/또는 텍스처(예를 들어, 참조 스캔 데이터를 제공하는데 사용되는 카메라)이다.
비록 본 발명이 위치파악 참조 데이터의 깊이 맵이 도로의 측면에 대한 환경과 관련되는 실시예와 관련하여 설명되었지만, 상이한 구성의 깊이 맵의 사용이 교차-도로에 차량을 배치하는 것을 돕는데 유용할 수 있다는 것이 인식되어왔다. 이러한 추가 실시예는 교차-도로로부터 떨어진 영역에 대한 측부 깊이 맵과 관련하여 사용될 수 있다.
일부 추가 실시예에서, 참조선은 원의 형태로 정의된다. 즉, 참조선은 비선형이다. 상기 원은 디지털 맵의 교차-도로의 중심을 중심으로 주어진 반지름으로 정의된다. 원의 반경은 교차-도로의 측면에 따라 선택될 수 있다. 참조 평면은 이 참조선에 수직인 2차원 표면으로 정의될 수 있다. 이후, (원형) 깊이 맵이 정의될 수 있으며, 상기 깊이 맵에서 각 픽셀은 선형 참조선이 사용될 때와 같은 방식으로 소정의 방향을 따라 참조 평면에서의 픽셀의 위치로부터 대상의 표면까지의 거리, 즉 깊이 값을 나타내는 채널을 포함한다. 참조 평면으로의 투영은 유사하게 직교이거나 비-직교 일 수 있으며, 각 픽셀은 다중 채널을 가질 수 있다. 주어진 픽셀의 깊이 값은 바람직하게는 물체에 가장 가까운 감지된 거리에 기초한다.
도 18은 교차-도로 및 교차-도로로부터 각각 깊이 맵을 구성하는데 사용될 수 있는 원형 및 선형 참조선을 도시한다. 도 19a는 물체가 상이한 각도 위치에서 원형 깊이 맵 상에 투영되는 방식을 도시한다. 도 19b는 직교 투영을 사용하여 깊이 맵을 제공하기 위한 참조 평면 상으로의 각각의 물체의 투영을 나타낸다.
위치파악 참조 데이터의 깊이 맵(원형이든 다른 방식이든)은 참조 및 실시간 감지 데이터 간의 종방향 정렬 오프셋을 결정하기 위해 차량으로부터 획득된 실시간 센서 데이터와 비교될 수 있고 그 방법이 이하에서 설명된다. 몇몇 추가적인 실시예에서, 횡방향 정렬 오프셋도 또한 얻어진다. 여기에는 이미지 도메인에서 수행될 수 있는 일련의 단계가 수반된다.
측면 깊이 맵을 사용하는 예를 참조하면, 프로세스의 제1 단계에서, 측면 깊이 맵에 기초한 참조 및 실시간 센서깊이 데이터 사이의 종방향 정렬 오프셋이 전술한 방식으로 결정된다. 깊이 맵은 종방향으로 정렬될 때까지 서로에 대해 이동된다. 다음으로, 참조 깊이 맵, 즉 래스터 이미지는 실시간 센서 데이터에 기초한 깊이 맵에 크기가 대응되도록 절단(cropped)된다. 이렇게 정렬된 참조 및 실시간 센서 기반 측면 깊이 맵의 대응하는 위치에서의 픽셀의 깊이 값, 즉 픽셀의 깊이 채널의 값이 이후 비교된다. 각각의 대응 픽셀 쌍의 깊이 값의 차이는 픽셀의 측방향 오프셋을 나타낸다. 이는 각 픽셀의 깊이 값이 색으로 표현되는 픽셀의 색차를 고려하여 평가될 수 있다. 대응하는 픽셀 쌍 사이에서 이와 같이 결정된 가장 일반적인 측방향 오프셋(모드 차이)이 결정되고, 2개의 깊이 맵의 측방향 정렬 오프셋에 대응하도록 취해진다. 가장 일반적인 측방향 오프셋은 픽셀 간의 깊이 차이의 히스토그램을 사용하여 획득될 수 있다. 일단 측방향 오프셋이 결정되면, 이는 도로 상의 차량의 간주된 측방향 위치를 수정하는데 사용될 수 있다.
도 20a는 깊이 맵의 측방향 오프셋 정렬을 결정하기 위해 비교될 수 있는 차량으로부터의 실시간 센서 데이터에 기초한 참조 깊이 맵(즉, 이미지) 및 대응 깊이 맵 또는 이미지를 도시한다. 도 20b에 도시된 바와 같이, 먼저 이미지들이 서로에 대해 이동되어 그들이 종방향으로 정렬된다. 다음으로, 참조 이미지의 절단 후에, 2개의 깊이 맵에서 대응하는 픽셀에 대한 픽셀 깊이 값의 차이의 히스토그램이 사용되어 깊이 맵 사이의 측방향 정렬 오프셋이 결정된다(도 20c). 도 20d는 이것이 어떻게 종방향 위치 및 이후의 도로 상의 차량의 측방향 위치가 보정되는 것을 가능케 하는지를 도시한다.
깊이 맵 기반의 실시간 데이터와 참조 데이터 사이의 측방향 정렬 오프셋이 얻어진 후에는, 차량의 헤딩(heading)이 수정될 수도 있다. 차량의 실제 헤딩과 간주된 헤딩 사이에 오프셋이 있는 경우, 이는 깊이 맵을 따른 종방향 거리의 함수로서 깊이 맵 기반의 실시간 감지 데이터 및 참조 데이터의 대응 픽셀들 사이에서 결정되는 일정하지 않은 측방향 정렬 오프셋(non-constant lateral alignment offset)을 초래할 것이다.
도 21a는 참조 깊이 맵 이미지(상부) 및 실시간 센서 기반 깊이 맵 이미지(하부)의 대응하는 부분을 통한 수직 슬라이스들(vertical slices)의 세트를 도시한다. 각 슬라이스 내의 대응하는 픽셀에 대한 픽셀 깊이 값의 평균 차이(즉, 측방향 정렬 오프셋)는 맵/이미지(x 축)를 따른 종방향 거리에 대해 플로팅(y 축)된다. 그러한 플롯(plot)이 도 21b에 도시된다. 깊이 맵을 따라 평균 픽셀 깊이 거리와 종방향 거리 사이의 관계를 기술하는 함수는 적절한 회귀 분석에 의해 도출될 수 있다. 이 기능의 기울기는 차량의 헤딩 오프셋(heading offset)을 나타낸다.
본 발명의 실시예들에서 사용된 깊이 맵들은 항상 직선 참조선에 대한 것이 되도록, 예를 들어 WO2009/045096A1에 기술된 바와 같이, 다시 말해 선형 참조 이미지들이 되도록, 변환될 수 있다. 이는 도 22에 나타난 바와 같이 장점을 갖는다. 도 22의 왼쪽에는 구부러진 도로의 이미지가 있다. 곡선 도로의 중심선을 표시하기 위해, 다수의 마크(1102)가 배치되어야 한다. 도 22의 우측에서, 대응하는 선형 참조 이미지는 도면의 좌측의 곡선 도로에 대응하여 도시된다. 선형 참조 이미지를 얻기 위해, 곡선 도로의 중심선이 선형 참조 이미지의 직선 참조선에 매핑된다. 이 변환을 고려하여, 이제 참조선은 2개의 종단 지점들(1104 및 1106)에 의해 간단히 정의될 수 있다.
완벽한 직선 도로에서, 참조 및 실시간 깊이 맵을 비교하여 계산된 이동이 직접 적용될 수 있지만, 선형 참조된 이미지를 생성하는데 사용되는 선형화 프로시저의 비선형성으로 인해 곡선 도로에서는 동일한 것이 불가능하다. 도 23a 및 도 23b는 일련의 증분 독립 선형 업데이트 단계(incremental independent linear update steps)를 통해 비선형 환경에서 차량의 위치를 확립하는 계산적으로 효율적인 방법을 도시한다. 도 23a에 도시된 바와 같이, 이 방법은 종방향 보정을 적용하는 것을 수반하고, 이후 측방향 보정을 적용하는 것 및 차후의 일련의 점진적, 독립적인 선형 업데이트 단계에서의 헤딩 보정(heading correction)을 적용하는 것을 포함한다. 특히, 단계 (1)에서, 차량 센서 데이터 및 (예를 들어, GPS를 사용하여 획득된) 디지털 맵에 대한 차량의 현재 간주 위치에 기초한 참조 깊이 맵을 사용하여 종방향 오프셋이 결정된다. 그런 다음 상기 종방향 오프셋은 디지털 맵에 대한 차량의 간주 위치를 조정하도록 적용되고 조정된 위치를 기준으로 참조 깊이 맵이 다시 계산된다. 그 다음, 단계 (2)에서, 차량 센서 데이터 및 재계산된 참조 깊이 맵을 사용하여 측방향 오프셋이 결정된다. 이후 상기 측방향 오프셋은 디지털 맵에 대한 차량의 간주 위치를 추가로 조정하도록 적용되고 조정된 위치를 기준으로 참조 깊이 맵이 다시 계산된다. 마지막으로, 단계 (3)에서, 헤딩 오프셋 또는 스큐가 차량 센서 데이터 및 재계산된 참조 깊이 맵을 사용하여 결정된다. 상기 헤딩 오프셋은 이후 디지털 맵에 대한 차량의 간주된 위치를 더 조정하도록 적용되며, 참조 깊이 맵은 조정된 위치를 기반으로 다시 계산된다. 이러한 단계는 실시간 깊이 맵과 참조 깊이 맵 사이에 종방향, 측방향 및 헤딩 오프셋이 실질적으로 0이 되는데 필요한 만큼 반복된다. 도 23b는 차량 깊이 센서로부터 생성된 지점 구름에 종방향, 측방향 및 헤딩 오프셋을 순차적으로 그리고 반복하여 적용하여 그 지점 구름이 참조 깊이 맵으로부터 생성된 지점 구름과 실질적으로 정렬될 때까지 적용된 결과를 보여준다.
위치파악 참조 데이터에 대한 일련의 예시적인 사용 사례도 설명된다.
예를 들어, 실시간 센서 데이터에 기초한 깊이 맵과 비교할 목적으로 위치파악 참조 데이터의 깊이 맵을 사용하기보다는, 일부 실시예에서, 위치파악 참조 데이터의 깊이 맵을 사용하여 참조 지점 구름을 생성하며, 이는 3차원 좌표계에서 데이터 지점의 세트를 포함하며, 각 지점은 환경에서의 물체의 표면을 나타낸다. 이 참조 지점 구름은 차량 센서에 의해 얻어진 실시간 센서 데이터에 기초하여 대응하는 3차원 지점 구름과 비교될 수 있다. 비교는 깊이 맵들 사이의 정렬 오프셋을 결정하고 그에 따라 차량의 결정된 위치를 조정하는데 사용될 수 있다.
참조 깊이 맵은 차량이 가지고 있는 센서의 유형에 상관 없이 차량의 실시간 센서 데이터에 기초하여 대응하는 지점 구름과 비교될 수 있는 참조 3D 지점 구름을 얻는데 사용될 수 있다. 참조 데이터는 레이저 스캐너, 레이더 스캐너 및 카메라를 포함한 다양한 유형의 센서에서 얻은 센서 데이터를 기반으로 할 수 있지만 차량에는 해당 센서 세트가 없을 수 있다. 3D 참조 지점 구름은 차량에 대해 이용 가능한 특정 유형의 실시간 센서 데이터에 기초하여 얻어진 3D 지점 구름과 비교될 수 있는 참조 깊이 맵으로부터 구성될 수 있다.
예를 들어, 참조 위치파악 데이터의 깊이 맵이 레이더 반사율을 나타내는 채널을 포함하는 경우, 이것은 참조 지점 구름을 생성하는 데에 고려될 수 있으며, 이는 레이더 센서만을 갖는 차량의 실시간 센서 데이터를 사용하여 획득 된 3D 지점 구름과 비교될 수 있다. 픽셀과 연관된 레이더 반사율 데이터는 3D 참조 지점 구름에 포함되어야 하는 데이터 지점, 즉 차량 레이더 센서가 검출할 것으로 예상되는 물체의 표면을 나타내는 데이터 지점을 식별하는데 도움을 준다.
다른 예에서, 차량은 실시간 센서 데이터를 제공하기 위한 카메라 또는 카메라들만을 가질 수 있다. 이 경우, 참조 깊이 맵의 레이저 반사율 채널로부터의 데이터가 사용되어 현재 조건 하에서의 차량의 카메라(들)에 의해 검출될 것으로 예상 될 수 있는 표면에만 관련된 데이터 지점을 포함하는 3D 참조 지점 구름이 구성될 수 있다. 예를 들어, 어두운 경우에는, 상대적으로 반사되는 물체만 포함되어야 한다.
차량의 실시간 감지 데이터에 기초한 3D 지점 구름은 원하는 바에 따라 얻어질 수 있다. 차량이 센서로서 단 하나의 카메라만을 포함하는 경우, "움직임으로부터의 구조(structure from motion)" 기술이 사용될 수 있는데, 상기 기술에서 카메라로부터의 일련의 이미지가 3D 점 구름을 얻을 수 있는 3D 장면을 재구성하는데 사용된다. 차량에 스테레오 카메라가 포함되어있는 경우, 3D 장면이 직접 생성될 수 있고, 3차원 지점 구름을 제공하는데 사용될 수 있다. 이는 불일치 기반 3D 모델(disparity based 3D model)을 사용하여 달성될 수 있다.
또 다른 실시예에서, 참조 지점 구름을 실시간 센서 데이터 지점 구름과 비교하기보다는, 참조 지점 구름을 사용하여 차량의 카메라 또는 카메라들에 의해 보여질 것으로 예상되는 이미지가 재구성된다. 그 다음, 이미지는 비교될 수 있으며, 이미지 사이의 정렬 오프셋을 결정하는데 사용되며, 이는 교대로, 차량의 간주 위치를 수정하는데 사용될 수 있다.
이들 실시예에서, 참조 깊이 맵의 추가 채널은, 차량의 카메라(들)에 의해 감지될 것으로 예상되는 3차원 참조 지점 구름 내의 지점들만을 포함하는 것에 기초하여 이미지를 재구성하기 위해 전술한 바와 같이 사용될 수 있다. 예를 들어, 어두운 곳에서, 레이저 반사율 채널이 사용될 수 있고, 어둠 속에서 카메라(들)가 감지할 수 있는 물체의 표면에 해당하는 3차원 지점 구름에 포함시킬 지점이 선택될 수 있다. 참조 깊이 맵을 결정할 때 참조 평면에 비-직교 투영을 사용하는 것이 이 문맥에서 특히 유용하며, 어두운 곳에서도 여전히 검출될 수 있는 물체의 표면에 대한 더 많은 정보를 보존한다는 점에서 특히 유용한 것으로 밝혀졌다.
도 24는 레이저; 카메라; 및 레이더와 같은 하나 이상의 차량 센서에 의해 수집된 데이터가 차량에서 볼 수 있는 환경의 "실제 풋프린트(footprint)"를 생성하는데 사용되는 본 발명의 실시예들에 따른 예시적인 시스템을 도시한다. 상기 "실제 풋프린트"는 디지털 맵과 관련된 참조 데이터로부터 결정된 대응 "참조 풋프린트"와 비교, 즉 상관되고, 전술한 바와 같이, 참조 데이터는 적어도 거리 채널을 포함하고, 레이저 반사율 채널 및/또는 레이더 반사율 채널을 포함할 수 있다. 이 상관을 통해, 차량의 위치가 디지털 맵에 대해 정확하게 결정될 수 있다.
도 25a에 도시된 바와 같은 제1 예의 사용 케이스에서, 실제 풋프린트는 차량에 배치된 레이저-기반 레인지 센서(예를 들어, LIDAR 센서)로부터 결정되고 참조 데이터의 거리 채널의 데이터로부터 결정된 참조 풋프린트와 상관되어, 차량의 계속적인 포지셔닝(continuous)이 달성된다. 제1 접근법은 도 25b에 도시되며, 여기서 레이저-기반 레인지 센서에 의해 결정된 레이저 지점 구름은 참조 데이터와 동일한 포맷의 깊이 맵으로 변환되고, 2개의 깊이 맵 이미지가 비교된다. 제2의 대안적인 접근법이 도 25c에 도시되며, 여기서 레이저 지점 구름은 참조 데이터로부터 재구성되며, 이 재구성된 지점 구름은 차량에 의해 도시된 바와 같은 레이저 지점 구름과 비교된다.
도 26a에 도시된 바와 같은 제2 예의 사용 케이스에서, 실제 풋프린트는 차량 내의 카메라로부터 결정되고, 참조 데이터의 거리 채널 내의 데이터로부터 결정된 참조 풋프린트와 상관되어, 비록 단지 하루 동안이지만 차량의 계속적인 포지셔닝이 달성된다. 즉, 이 예의 사용 케이스에서는 참조 깊이 맵을 사용하여 3D 지점 구름 또는 뷰를 구성한 다음 단일 차량 카메라나 다수의 차량 카메라로부터 얻어진 3D 장면 또는 뷰와 비교된다.
제1 접근법은 도 26b에 도시되며, 스테레오 차량 카메라를 사용하여 불일치 기반 3D 모델을 구축하고, 이는 참조 깊이 맵으로부터 구축된 3D 지점 구름과의 상관을 위한 3D 지점 구름을 구성하는데 사용된다. 제2 접근법은 도 26c에 도시되며, 여기서 차량 카메라 이미지의 시퀀스는 3D 장면을 구성하는데 사용되며, 이 장면은 참조 깊이 맵으로부터 구축된 3D 지점 구름과의 상관을 위한 3D 지점 구름을 구성하는데 사용된다. 마지막으로, 제3 접근법은 도 26d에 도시되며, 차량 카메라 이미지가 참조 깊이 맵으로부터 구축된 3D 지점 구름으로부터 생성된 뷰와 비교된다.
제3 예의 사용 케이스에서, 도 27a에 도시된 바와 같이, 제2 예의 사용 예에 대한 수정이 도시되며, 깊이 맵의 채널에 있는 참조 데이터의 레이저 반사율 데이터가 3D 지점 구름을 구성하는데 사용될 수 있고, 이는 하나 이상의 카메라에 의해 캡쳐된 이미지에 기초한 3D 지점 구름 또는 뷰와 비교될 수 있다.
제1 접근법이 도 27b에 도시되며, 여기서 차량 카메라 이미지의 시퀀스는 3D 장면을 구성하는데 사용되며, 이는 이후 참조 깊이 맵으로부터 구성되는 3D 지점 구름과의 상관을 위한 3D 지점 구름을 구성하는데 사용된다(거리 및 레이저 반사율 채널 모두를 이용함). 차량 카메라 이미지가 참조 깊이 맵으로부터 구성된 3D 지점 구름으로부터 생성된 뷰와 비교되는 제2 접근법이 도 27c에 도시된다(다시 거리 및 레이저 반사율 채널 모두를 사용함).
도 28a에 도시된 제4 예의 사용 케이스에서, 실제 풋프린트는 차량 내의 레이더-기반 레인지 센서로부터 결정되고 참조 데이터의 거리 및 레이더 반사율 채널의 데이터로부터 결정된 참조 풋프린트와 상관되며, 이는 차량의 비계속적 포지셔닝(sparse positioning)을 달성하기 위함이다. 제1 접근법은 도 28b에 도시되며, 여기서 참조 데이터는 3D 장면을 재구성하는데 사용되고 레이더 반사율 채널의 데이터는 레이더-반사 지점만을 남기기 위해 사용된다. 이 3D 장면은 이후 자동차가 본 레이더 지점 구름과 상관된다.
물론, 디지털 맵에 비해 차량의 보다 정확한 위치파악을 가능하게 하기 위해 다양한 사용 케이스들이 함께 사용될 수 있음, 즉 융합될 수 있음이 이해될 것이다.
이제, 예를 들어 전술한 바와 같이, 차량의 위치를 결정하기 위해 차량 센서 데이터를 참조 데이터와 상관시키는 방법이 도 29 내지 도 32b를 참조하여 설명될 것이다. 도 29는 방법에서 사용되는 다양한 좌표계를 도시한다: 로컬 좌표계(로컬 CS; Local coordinate system); 차량 프레임 좌표계(CF CS; Car Frame coordinate system); 및 차의 궤도를 따른 직선 참조 좌표계(LR CS; Linearly Referenced coordinate system)가 도시된다. 도시되지는 않았지만, 다른 좌표계는 WGS(World Geodetic System)로, 위치는 기술분야에서 알려진 바와 가이 위도와 경도 좌표 쌍으로 주어진다. 일반적인 방법은 도 30에 도시되며, 레이저 지점 구름을 결정하기 위해 수행되는 단계의 세부 사항이 도 31에 도시된다.
도 32a는 도 30의 상관 단계를 수행하는 제1 예시적인 방법을 도시하며, 여기서 차량의 위치는 예를 들어 참조 데이터의 깊이 맵 래스터 이미지와 차량 센서 데이터로부터 생성된 상응하는 깊이 맵 래스터 이미지 사이의 이미지 상관에 의해 수정된다. 도 32b는 도 30의 상관 단계를 수행하는 제2 예시적인 방법을 도시하며, 참조 데이터로부터 구축 된 3차원 장면과 차량 센서에 의해 캡쳐된 3 차원 장면 사이의 3D 상관에 의해 차량의 위치가 보정된다.
본 발명에 따른 임의의 방법은 적어도 부분적으로 소프트웨어(예를 들어, 컴퓨터 프로그램)를 사용하여 구현될 수 있다. 따라서, 본 발명은 또한 본 발명의 측면들 또는 실시예들 중 어느 하나에 따른 방법을 수행하거나 또는 내비게이션 장치가 이를 수행하게 할 수 있는 컴퓨터 판독가능 명령어들을 포함하는 컴퓨터 프로그램으로 확장된다. 따라서, 본 발명은 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가 디스플레이 스크린 상에 디스플레이하기 위한 적절한 이미지(또는 다른 그래픽 정보)를 생성하게 하는 컴퓨터 프로그램 제품을 포함한다. 본 발명은 그러한 소프트웨어를 포함하는 컴퓨터 소프트웨어 캐리어로 대응되게 연장되며, 이는, 데이터 처리 수단을 포함하는 시스템 또는 장치를 동작시키는데 사용될 때, 상기 데이터 처리 수단과 관련하여, 상기 장치 또는 시스템이 본 발명의 방법의 단계들을 수행하게끔 한다. 그러한 컴퓨터 소프트웨어 캐리어는 ROM 칩, CD ROM 또는 디스크와 같은 일시적이지 않은 물리적 저장 매체일 수 있거나, 또는 위성 등과 같은 무선 신호, 광신호 또는 유선상의 전자 신호와 같은 신호일 수 있다. 본 발명은 명령들을 포함하는 기계 판독가능 매체를 제공하며, 이는 기계에 의해 판독될 때 본 발명의 임의의 측면 또는 실시예의 방법에 따라 기계가 작동하게끔 한다.
명백하게 언급되지 않는 한, 본 발명의 임의의 측면은 본 발명의 다른 측면 또는 실시예와 관련하여 설명된 특징의 일부 또는 전부를 상호 배타적이지 않은 범위 내에서 포함할 수 있다는 것을 이해할 것이다. 특히, 방법 및 장치에 의해 수행될 수 있는 동작의 다양한 실시예가 설명되었지만, 이러한 동작 중 임의의 하나 이상 또는 전부는 필요에 따라, 그리고 적절하게, 상기 방법 및 장치에서 임의의 조합으로 수행될 수 있음이 이해될 것이다.

Claims (16)

  1. 디지털 맵에 대한 차량의 위치를 결정하는 방법으로서, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 방법은:
    주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
    상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
    적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 지점 구름을 포함하고, 상기 지점 구름은 3차원 좌표계에서의 제2 데이터 지점의 세트를 포함하며, 각각의 데이터 지점은 적어도 하나의 센서를 사용하여 결정된 바와 같이 환경에서의 물체의 표면을 나타내는, 단계;
    상기 실시간 스캔 데이터의 지점 구름과 상기 획득된 위치파악 참조 데이터의 지점 구름 사이의 상관을 계산하여 지점 구름들 사이의 정렬 오프셋을 결정하는 단계; 및
    상기 결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 실시간 스캔 데이터의 지점 구름은 차량과 관련된 하나 이상의 센서를 사용하여 얻어지는, 방법.
  3. 청구항 2에 있어서,
    상기 하나 이상의 센서는 하나 이상의 레이저 스캐너, 레이더 스캐너 및/또는 카메라의 세트를 포함하는, 방법.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    차량과 관련된 하나 이상의 카메라로부터 얻어진 이미지는 상기 차량 주변의 환경을 나타내는 3차원 장면을 구성하는데 사용되며, 상기 실시간 스캔 데이터의 지점 구름은 상기 3차원 장면을 사용하여 얻어지는, 방법.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 실시간 스캔 데이터의 지점 구름은, 차량이 주행가능 요소를 따라 또는 교차점을 통해 이동할 때 상기 차량과 관련된 카메라로부터 2차원 이미지의 시퀀스를 획득함으로써 결정되며, 상기 2차원 이미지의 시퀀스를 이용하여 차량 주변의 환경을 나타내는 3차원 장면이 구성되고, 상기 3차원 장면을 사용하여 상기 실시간 스캔 데이터의 지점 구름이 얻어지는, 방법.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 실시간 스캔 데이터의 지점 구름은, 차량과 관련된 스테레오 카메라로부터 이미지를 획득함으로써 결정되며, 상기 이미지를 이용하여 차량 주변의 환경을 나타내는 3차원 장면이 구성되고, 상기 3차원 장면을 사용하여 상기 실시간 스캔 데이터의 지점 구름이 얻어지는, 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    차량과 관련된 유형의 하나 이상의 센서에 의해 검출될 것으로 예상되는 및/또는 현재 상태에서 검출될 것으로 예상되는 참조 지점 구름 내의 지점을 포함하는 것을 포함하는, 방법.
  8. 청구항 7에 있어서,
    차량과 관련된 유형의 하나 이상의 센서에 의해 검출될 것으로 예상되는 및/또는 현재 상태에서 검출될 것으로 예상되는 참조 지점 구름 내의 지점을 포함하는 것은, 위치파악 참조 데이터의 깊이 맵의 픽셀과 연관된 적어도 하나의 반사율 데이터 채널의 데이터를 사용하는 것을 포함하는, 방법.
  9. 청구항 8에 있어서,
    상기 적어도 하나의 반사율 데이터 채널은 레이저 반사율 데이터 채널 및/또는 레이더 반사율 데이터 채널을 포함하는, 방법.
  10. 디지털 맵에 대한 차량의 위치를 결정하는 방법으로서, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 방법은:
    주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
    상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
    상기 참조 지점 구름을 이용하여 적용 가능한 상태에서 주행가능 요소를 가로지를 때 차량과 관련된 하나 이상의 카메라에 의해 획득될 것으로 예상되는 참조 뷰를 재구성하는 단계;
    상기 하나 이상의 카메라를 이용하여 상기 차량 주변의 환경의 실시간 뷰(real time view)를 결정하는 단계;
    상기 하나 이상의 카메라에 의해 얻어진 상기 실시간 뷰와 참조 뷰(reference view) 사이의 상관을 계산하여 뷰들 사이의 정렬 오프셋을 결정하는 단계; 및
    상기 결정된 정렬 오프셋을 사용하여 차량의 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 포함하는, 방법.
  11. 청구항 10에 있어서,
    하나 이상의 카메라 의해 검출될 것으로 예상되는 및/또는 현재 상태에서 검출될 것으로 예상되는 참조 지점 구름 내의 지점을 포함하는 것을 포함하는, 방법.
  12. 청구항 11에 있어서,
    하나 이상의 카메라 의해 검출될 것으로 예상되는 및/또는 현재 상태에서 검출될 것으로 예상되는 참조 지점 구름 내의 지점을 포함하는 것은, 위치파악 참조 데이터의 깊이 맵의 픽셀과 연관된 적어도 하나의 반사율 데이터 채널의 데이터를 사용하는 것을 포함하는, 방법.
  13. 청구항 12에 있어서,
    상기 적어도 하나의 반사율 데이터 채널은 레이저 반사율 데이터 채널 및/또는 레이더 반사율 데이터 채널을 포함하는, 방법.
  14. 컴퓨터 프로그램 제품으로서,
    시스템이 청구항 1 내지 청구항 13 중 어느 한 항에 따른 방법을 수행하도록 실행가능한 컴퓨터 판독가능 명령을 포함하고, 선택적으로 비-일시적 컴퓨터 판독가능 매체에 저장되는, 컴퓨터 프로그램 제품.
  15. 디지털 맵에 대한 차량의 위치를 결정하는 시스템으로서, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 시스템은 처리 회로를 포함하고,
    상기 처리 회로는:
    주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
    상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
    적어도 하나의 센서를 사용하여 차량 주변의 환경을 스캐닝함으로써 실시간 스캔 데이터를 결정하는 단계로서, 상기 실시간 스캔 데이터는 차량 주변의 환경을 나타내는 지점 구름을 포함하고, 상기 지점 구름은 3차원 좌표계에서의 제2 데이터 지점의 세트를 포함하며, 각각의 데이터 지점은 적어도 하나의 센서를 사용하여 결정된 바와 같이 환경에서의 물체의 표면을 나타내는, 단계;
    상기 실시간 스캔 데이터의 지점 구름과 상기 획득된 위치파악 참조 데이터의 지점 구름 사이의 상관을 계산하여 지점 구름들 사이의 정렬 오프셋을 결정하는 단계; 및
    상기 결정된 정렬 오프셋을 사용하여 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 수행하도록 구성되는, 시스템.
  16. 디지털 맵에 대한 차량의 위치를 결정하는 시스템으로서, 상기 디지털 맵은 차량이 이동하는 주행가능 네트워크의 주행가능 요소를 나타내는 데이터를 포함하며, 상기 시스템은 처리 회로를 포함하고,
    상기 처리 회로는:
    주행가능 네트워크의 주행가능 요소를 따라 차량의 간주된 현재 위치에 대한 디지털 맵과 관련된 위치파악 참조 데이터를 획득하는 단계로서, 상기 위치파악 참조 데이터는 참조 평면에 투영된 차량 주변의 환경을 나타내는 적어도 하나의 깊이 맵을 포함하고, 참조 평면은 주행가능 요소와 관련된 참조선에 의해 정의되고, 적어도 하나의 깊이 맵의 각각의 픽셀은 차량이 이동하는 주행가능 요소와 관련된 참조 평면 내의 위치와 관련되고, 상기 픽셀은 상기 참조 평면에서 상기 픽셀의 관련된 위치로부터 소정 방향을 따라 환경에서의 물체의 표면까지의 거리를 나타내는 깊이 채널을 포함하는, 단계;
    상기 위치파악 참조 데이터를 이용하여 차량 주변의 환경을 나타내는 참조 지점 구름을 결정하는 단계로서, 상기 참조 지점 구름은 3차원 좌표계에서 제1 데이터 지점의 세트를 포함하고, 각각의 제1 데이터 지점은 환경 내 물체의 표면을 나타내는, 단계;
    상기 참조 지점 구름을 이용하여 적용 가능한 상태에서 주행가능 요소를 가로지를 때 차량과 관련된 하나 이상의 카메라에 의해 획득될 것으로 예상되는 참조 뷰를 재구성하는 단계;
    상기 하나 이상의 카메라를 이용하여 상기 차량 주변의 환경의 실시간 뷰(real time view)를 결정하는 단계;
    상기 하나 이상의 카메라에 의해 얻어진 상기 실시간 뷰와 참조 뷰(reference view) 사이의 상관을 계산하여 뷰들 사이의 정렬 오프셋을 결정하는 단계; 및
    상기 결정된 정렬 오프셋을 사용하여 차량의 간주된 현재 위치를 조정함으로써 디지털 맵에 대한 차량의 위치를 결정하는 단계를 수행하도록 구성되는, 시스템.
KR1020187006243A 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템 KR102698523B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562200611P 2015-08-03 2015-08-03
US201562200613P 2015-08-03 2015-08-03
US62/200,613 2015-08-03
US62/200,611 2015-08-03
US201562218538P 2015-09-14 2015-09-14
US62/218,538 2015-09-14
PCT/IB2016/001198 WO2017021778A2 (en) 2015-08-03 2016-08-03 Methods and systems for generating and using localisation reference data

Publications (2)

Publication Number Publication Date
KR20180038475A true KR20180038475A (ko) 2018-04-16
KR102698523B1 KR102698523B1 (ko) 2024-08-23

Family

ID=56567615

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020187006245A KR102650541B1 (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
KR1020187006247A KR102653953B1 (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
KR1020187006246A KR102630740B1 (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
KR1020187006243A KR102698523B1 (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
KR1020247009211A KR20240040132A (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020187006245A KR102650541B1 (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
KR1020187006247A KR102653953B1 (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
KR1020187006246A KR102630740B1 (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247009211A KR20240040132A (ko) 2015-08-03 2016-08-03 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템

Country Status (6)

Country Link
US (5) US11287264B2 (ko)
EP (7) EP3998456A1 (ko)
JP (5) JP6899368B2 (ko)
KR (5) KR102650541B1 (ko)
CN (5) CN107850448B (ko)
WO (5) WO2017021473A1 (ko)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016209232B4 (de) * 2016-05-27 2022-12-22 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
KR102254787B1 (ko) * 2016-05-30 2021-05-21 미쓰비시덴키 가부시키가이샤 지도 데이터 차분 추출 장치, 지도 데이터 차분 추출 방법 및 기억 매체에 저장된 지도 데이터 차분 추출 프로그램
CN107515006A (zh) * 2016-06-15 2017-12-26 华为终端（东莞）有限公司 一种地图更新方法和车载终端
US10345107B2 (en) * 2016-06-22 2019-07-09 Aptiv Technologies Limited Automated vehicle sensor selection based on map data density and navigation feature density
US10502577B2 (en) * 2016-06-30 2019-12-10 Here Global B.V. Iterative map learning based on vehicle on-board sensor data
WO2018031678A1 (en) * 2016-08-09 2018-02-15 Nauto Global Limited System and method for precision localization and mapping
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US10520904B2 (en) 2016-09-08 2019-12-31 Mentor Graphics Corporation Event classification and object tracking
WO2018060313A1 (en) * 2016-09-28 2018-04-05 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
EP3551967A2 (en) 2016-12-09 2019-10-16 TomTom Global Content B.V. Method and system for video-based positioning and mapping
CN110869981B (zh) * 2016-12-30 2023-12-01 辉达公司 用于自主车辆的高清晰度地图数据的向量数据编码
KR102265376B1 (ko) * 2017-03-07 2021-06-16 현대자동차주식회사 차량 및 그 제어방법과 이를 이용한 자율 주행 시스템
CN110199204A (zh) * 2017-03-29 2019-09-03 深圳市大疆创新科技有限公司 具有小形状因子的激光雷达传感器系统
EP3602121A4 (en) 2017-03-29 2021-05-12 SZ DJI Technology Co., Ltd. CIRCUIT FOR PROCESSING LIGHT DETECTION AND DISTANCE MEASUREMENT (LIDAR) SIGNALS
WO2018176291A1 (en) 2017-03-29 2018-10-04 SZ DJI Technology Co., Ltd. Hollow motor apparatuses and associated systems and methods
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
CN109923488A (zh) * 2017-04-27 2019-06-21 深圳市大疆创新科技有限公司 使用可移动物体生成实时地图的系统和方法
CN110573928B (zh) 2017-04-28 2021-10-08 深圳市大疆创新科技有限公司 光检测和测距系统中的角校准
CN110573830B (zh) 2017-04-28 2022-03-22 深圳市大疆创新科技有限公司 激光传感器的校准方法
WO2018195999A1 (en) 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
US11175146B2 (en) * 2017-05-11 2021-11-16 Anantak Robotics Inc. Autonomously moving machine and method for operating an autonomously moving machine
NL2018911B1 (en) * 2017-05-12 2018-11-15 Fugro Tech Bv System and method for mapping a railway track
WO2019000417A1 (en) 2017-06-30 2019-01-03 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS OF GENERATING CARDS
CN109214248B (zh) * 2017-07-04 2022-04-29 阿波罗智能技术(北京)有限公司 用于识别无人驾驶车辆的激光点云数据的方法和装置
DE102017211607A1 (de) * 2017-07-07 2019-01-10 Robert Bosch Gmbh Verfahren zur Verifizierung einer digitalen Karte eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs
CN107357894B (zh) * 2017-07-13 2020-06-02 杭州智诚惠通科技有限公司 一种道路交通设施数据采集纠偏方法及系统
JP6891375B2 (ja) 2017-07-20 2021-06-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 光学距離測定のためのシステム及び方法
CN110914703A (zh) 2017-07-31 2020-03-24 深圳市大疆创新科技有限公司 对点云中基于运动的不准确性的校正
WO2019031853A1 (ko) 2017-08-08 2019-02-14 엘지전자 주식회사 지도 제공 장치
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
US11415690B2 (en) * 2017-08-28 2022-08-16 HELLA GmbH & Co. KGaA Method and system comparing odometer velocity to radar based velocity
JP7043755B2 (ja) * 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
EP3472645A4 (en) 2017-08-31 2019-07-17 SZ DJI Technology Co., Ltd. DELAY TIME CALIBRATION OF OPTICAL DISTANCE MEASURING DEVICES AND RELATED SYSTEMS AND METHOD
JP7278263B2 (ja) 2017-09-04 2023-05-19 コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション 位置特定を実施する際に使用するための方法およびシステム
JP6970330B6 (ja) * 2017-09-11 2021-12-22 国際航業株式会社 沿道地物の座標付与方法
DE102017216954A1 (de) * 2017-09-25 2019-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs
CN107741233A (zh) * 2017-11-10 2018-02-27 邦鼓思电子科技（上海）有限公司 一种三维室外地图的构建方法
US10699135B2 (en) 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects
US10739784B2 (en) * 2017-11-29 2020-08-11 Qualcomm Incorporated Radar aided visual inertial odometry initialization
DE102017222810A1 (de) * 2017-12-14 2019-06-19 Robert Bosch Gmbh Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten
US11321914B1 (en) * 2018-01-10 2022-05-03 Amazon Technologies, Inc. System for generating a navigational map of an environment
DE102018204500A1 (de) * 2018-03-23 2019-09-26 Continental Automotive Gmbh System zur Erzeugung von Konfidenzwerten im Backend
WO2019195404A1 (en) * 2018-04-03 2019-10-10 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
KR102466940B1 (ko) * 2018-04-05 2022-11-14 한국전자통신연구원 로봇 주행용 위상 지도 생성 장치 및 방법
US10598498B2 (en) * 2018-04-06 2020-03-24 GM Global Technology Operations LLC Methods and systems for localization of a vehicle
CN111566441B (zh) * 2018-04-18 2022-08-09 移动眼视力科技有限公司 利用相机进行车辆环境建模
DE102018206067A1 (de) * 2018-04-20 2019-10-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position eines Fahrzeugs
US10890461B2 (en) * 2018-04-30 2021-01-12 International Business Machines Corporation Map enriched by data other than metadata
CN111033422B (zh) * 2018-05-18 2023-05-26 百度时代网络技术（北京）有限公司 操作自动驾驶车辆的规划阶段和控制阶段之间的漂移校正
CN110515089B (zh) * 2018-05-21 2023-06-02 华创车电技术中心股份有限公司 基于光学雷达的行车辅助方法
CN109064506B (zh) * 2018-07-04 2020-03-13 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质
EP3605383B1 (en) * 2018-07-30 2024-07-10 Aptiv Technologies AG Device and method for controlling a headlight of a vehicle
CN109146976B (zh) * 2018-08-23 2020-06-02 百度在线网络技术（北京）有限公司 用于定位无人车的方法和装置
EP3617749B1 (en) * 2018-09-03 2020-11-11 Zenuity AB Method and arrangement for sourcing of location information, generating and updating maps representing the location
CN110361022B (zh) * 2018-09-30 2021-06-22 毫末智行科技有限公司 行车坐标系构建方法及系统
EP3859273B1 (en) 2018-09-30 2023-09-06 Great Wall Motor Company Limited Method for constructing driving coordinate system, and application thereof
KR102233260B1 (ko) * 2018-10-02 2021-03-29 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
US11016175B2 (en) * 2018-10-10 2021-05-25 Ford Global Technologies, Llc Transportation infrastructure communication and control
CN112912921B (zh) * 2018-10-11 2024-04-30 上海科技大学 从深度图中提取平面的系统和方法
CN109270545B (zh) * 2018-10-23 2020-08-11 百度在线网络技术（北京）有限公司 一种定位真值校验方法、装置、设备及存储介质
CN109459734B (zh) * 2018-10-30 2020-09-11 百度在线网络技术（北京）有限公司 一种激光雷达定位效果评估方法、装置、设备及存储介质
WO2020091111A1 (ko) * 2018-11-01 2020-05-07 엘지전자 주식회사 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
CN110609268B (zh) * 2018-11-01 2022-04-29 驭势科技（北京）有限公司 一种激光雷达标定方法、装置、系统及存储介质
CN111174777A (zh) 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 定位方法、装置以及电子设备
US11422253B2 (en) * 2018-11-19 2022-08-23 Tdk Corportation Method and system for positioning using tightly coupled radar, motion sensors and map information
US10810759B2 (en) * 2018-11-20 2020-10-20 International Business Machines Corporation Creating a three-dimensional model from a sequence of images
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
CN109737977A (zh) 2018-12-10 2019-05-10 北京百度网讯科技有限公司 自动驾驶车辆定位方法、装置及存储介质
US11348453B2 (en) * 2018-12-21 2022-05-31 Here Global B.V. Method and apparatus for dynamic speed aggregation of probe data for high-occupancy vehicle lanes
CN111476879B (zh) * 2019-01-24 2025-01-14 北京京东乾石科技有限公司 一种点云数据的处理方法、终端及存储介质
US10803333B2 (en) * 2019-01-30 2020-10-13 StradVision, Inc. Method and device for ego-vehicle localization to update HD map by using V2X information fusion
US11468690B2 (en) * 2019-01-30 2022-10-11 Baidu Usa Llc Map partition system for autonomous vehicles
US11531110B2 (en) 2019-01-30 2022-12-20 Baidu Usa Llc LiDAR localization using 3D CNN network for solution inference in autonomous driving vehicles
US11069085B2 (en) * 2019-02-13 2021-07-20 Toyota Research Institute, Inc. Locating a vehicle based on labeling point cloud data of a scene
WO2020183659A1 (ja) * 2019-03-13 2020-09-17 学校法人 千葉工業大学 情報処理装置および移動ロボット
CN109949303B (zh) * 2019-03-28 2021-10-29 凌云光技术股份有限公司 工件形状检测方法及装置
CN111854748B (zh) * 2019-04-09 2022-11-22 北京航迹科技有限公司 一种定位系统和方法
CN111316289A (zh) * 2019-04-10 2020-06-19 深圳市大疆创新科技有限公司 目标物体的拟合方法、点云传感器和移动平台
DE102019205994A1 (de) * 2019-04-26 2020-10-29 Robert Bosch Gmbh Verfahren zum Ausbilden einer Lokalisierungsschicht einer digitalen Lokalisierungskarte zum automatisierten Fahren
EP3971525B1 (en) * 2019-05-15 2023-11-08 Nissan Motor Co., Ltd. Self-position correction method and self-position correction device
US11506512B2 (en) * 2019-05-22 2022-11-22 TDK Japan Method and system using tightly coupled radar positioning to improve map performance
CN114127510A (zh) * 2019-06-04 2022-03-01 菲力尔无人机系统公司 3d定位和测绘系统和方法
DE102019208384A1 (de) * 2019-06-07 2020-12-10 Robert Bosch Gmbh Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte
JP7374432B2 (ja) * 2019-08-30 2023-11-07 株式会社日野 道路状況計測装置、方法及びプログラム
CN115516337A (zh) 2019-10-21 2022-12-23 派珀网络公司 使用lidar的交通测位系统和方法
EP4055344A4 (en) * 2019-11-04 2024-02-07 ClearMotion, Inc. MULTI-LANE ROAD TRACKING AND CHARACTERIZATION ALGORITHMS
US11189007B2 (en) * 2019-12-03 2021-11-30 Imagry (Israel) Ltd Real-time generation of functional road maps
US10969232B1 (en) * 2019-12-06 2021-04-06 Ushr Inc. Alignment of standard-definition and High-Definition maps
RU2734070C9 (ru) * 2019-12-24 2022-04-27 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Способ измерения пространственного расстояния между малоразмерными объектами
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11037328B1 (en) * 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
CN111189412B (zh) * 2020-01-06 2021-09-28 珠海丽亭智能科技有限公司 一种车辆3d扫描方法
JP6736798B1 (ja) * 2020-02-14 2020-08-05 ヤマザキマザック株式会社 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム
DE102020103906B4 (de) 2020-02-14 2022-12-29 Audi Aktiengesellschaft Verfahren und Prozessorschaltung zum Aktualisieren einer digitalen Straßenkarte
US20230145649A1 (en) 2020-02-20 2023-05-11 Tomtom Global Content B.V. Using Map Change Data
GB202002409D0 (en) 2020-02-20 2020-04-08 Tomtom Global Content Bv High definition maps used in automated driving systems in automomous vehicles
GB202002410D0 (en) 2020-02-20 2020-04-08 Tomtom Global Content Bv High definition maps used in automated driving systems in autonomous vehicles
GB202002612D0 (en) * 2020-02-25 2020-04-08 Tomtom Global Content Bv Digital map data with enhanced functional safety
US20230145777A1 (en) 2020-04-10 2023-05-11 Semiconductor Energy Laboratory Co., Ltd. Position estimation system, position estimation device, and mobile object
FR3109213B1 (fr) 2020-04-14 2022-03-11 Renault Sas Procédé de correction de la future pose relative pour contrôle du véhicule automobile en conduite autonome
US11472442B2 (en) 2020-04-23 2022-10-18 Zoox, Inc. Map consistency checker
DE102020112482A1 (de) 2020-05-08 2021-11-11 Car.Software Estonia As Verfahren und Vorrichtung zum Bestimmen einer Position eines Fahrzeugs in einem Straßennetzwerk
GB202007211D0 (en) 2020-05-15 2020-07-01 Tomtom Navigation Bv Methods and systems of generating digital map data
CN111695489B (zh) 2020-06-09 2023-08-11 阿波罗智能技术(北京)有限公司 建模路线的验证方法、装置、无人车及存储介质
CN111938513B (zh) * 2020-06-30 2021-11-09 珠海市一微半导体有限公司 一种机器人越障的沿边路径选择方法、芯片及机器人
DE102020118627A1 (de) 2020-07-15 2022-01-20 Bayerische Motoren Werke Aktiengesellschaft Positionsbestimmung eines Fahrzeugs
KR20220037128A (ko) * 2020-09-17 2022-03-24 삼성전자주식회사 사용자의 위치 관련 정보를 결정하는 전자 장치 및 서버
KR102237451B1 (ko) * 2020-10-05 2021-04-06 성현석 절리면 안전성 평가 장치
US11679766B2 (en) 2020-11-23 2023-06-20 Fca Us Llc Techniques for vehicle lane level localization using a high-definition map and perception sensors
US12174641B2 (en) * 2020-12-17 2024-12-24 Aptiv Technologies AG Vehicle localization based on radar detections
CN112669670A (zh) * 2020-12-30 2021-04-16 北京精英智通科技股份有限公司 一种搭建学车训练系统的方法及学车训练系统
RU2752687C1 (ru) * 2021-01-06 2021-07-29 Дмитрий Александрович Рощин Способ определения дальности с помощью цифровой видеокамеры и трех источников света
US12209869B2 (en) * 2021-04-09 2025-01-28 Zoox, Inc. Verifying reliability of data used for autonomous driving
CN113065076A (zh) * 2021-04-25 2021-07-02 北京四维图新科技股份有限公司 地图数据处理方法、装置、电子设备及存储介质
US11555466B1 (en) 2021-09-10 2023-01-17 Toyota Motor North America, Inc. Minimal route determination
US11867514B2 (en) * 2021-09-24 2024-01-09 Telenav, Inc. Navigation system with independent positioning mechanism and method of operation thereof
CN114187341B (zh) * 2021-11-16 2022-09-06 泰瑞数创科技(北京)股份有限公司 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
US20230271607A1 (en) * 2022-02-28 2023-08-31 Nissan North America, Inc. Vehicle lane marking detection system
US20230394691A1 (en) * 2022-06-07 2023-12-07 Toyota Research Institute, Inc. Depth estimation with sparse range sensor depth and uncertainty projection
WO2024042704A1 (ja) * 2022-08-26 2024-02-29 日本電信電話株式会社 学習装置、画像処理装置、学習方法、画像処理方法、及びコンピュータプログラム
CN116012806B (zh) * 2023-03-29 2023-06-13 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、检测器、系统和模型训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228204A1 (en) * 2008-02-04 2009-09-10 Tela Atlas North America, Inc. System and method for map matching with sensor detected objects
US7746271B2 (en) * 2006-08-28 2010-06-29 Ibeo Automobile Sensor Gmbh Method for determining the global position
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
KR20150088525A (ko) * 2014-01-24 2015-08-03 연세대학교 산학협력단 영상 정보를 이용하여 현재 위치를 추정하는 장치 및 방법

Family Cites Families (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4700307A (en) 1983-07-11 1987-10-13 General Dynamics Corp./Convair Division Feature navigation system and method
WO1995006283A1 (en) 1993-08-24 1995-03-02 Downs Roger C Topography processor system
DE4408329C2 (de) 1994-03-11 1996-04-18 Siemens Ag Verfahren zum Aufbau einer zellular strukturierten Umgebungskarte von einer selbstbeweglichen mobilen Einheit, welche sich mit Hilfe von auf Wellenreflexion basierenden Sensoren orientiert
US5961571A (en) 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
US6526352B1 (en) 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
US7418346B2 (en) 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
US7085637B2 (en) 1997-10-22 2006-08-01 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
US6292721B1 (en) * 1995-07-31 2001-09-18 Allied Signal Inc. Premature descent into terrain visual awareness enhancement to EGPWS
DE19532104C1 (de) 1995-08-30 1997-01-16 Daimler Benz Ag Verfahren und Vorrichtung zur Bestimmung der Position wenigstens einer Stelle eines spurgeführten Fahrzeugs
JPH1031799A (ja) 1996-07-15 1998-02-03 Toyota Motor Corp 自動走行制御装置
US5999866A (en) 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
US6047234A (en) 1997-10-16 2000-04-04 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
US6184823B1 (en) * 1998-05-01 2001-02-06 Navigation Technologies Corp. Geographic database architecture for representation of named intersections and complex intersections and methods for formation thereof and use in a navigation application program
JP3588418B2 (ja) * 1998-09-18 2004-11-10 富士写真フイルム株式会社 画像補正方法、画像補正装置及び記録媒体
US6266442B1 (en) 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
DE19930796A1 (de) 1999-07-03 2001-01-11 Bosch Gmbh Robert Verfahren und Vorrichtung zur Übermittlung von Navigationsinformationen von einer Datenzentrale an ein fahrzeugbasiertes Navigationssystem
AU2464101A (en) 1999-12-29 2001-07-09 Geospan Corporation Any aspect passive volumetric image processing method
US6671615B1 (en) 2000-05-02 2003-12-30 Navigation Technologies Corp. Navigation system with sign assistance
US6608913B1 (en) 2000-07-17 2003-08-19 Inco Limited Self-contained mapping and positioning system utilizing point cloud data
US20050149251A1 (en) 2000-07-18 2005-07-07 University Of Minnesota Real time high accuracy geospatial database for onboard intelligent vehicle applications
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
EP1244310A1 (en) * 2001-03-21 2002-09-25 Canal+ Technologies Société Anonyme Data referencing system
US6772062B2 (en) 2001-05-31 2004-08-03 The Regents Of The University Of California Intelligent ultra high speed distributed sensing system and method for sensing roadway markers for intelligent vehicle guidance and control
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
WO2003012740A1 (fr) 2001-07-31 2003-02-13 Cad Center Corporation Dispositif de generation automatique de formes de structure en 3d, procede de generation automatique, programme a cet effet et support d'enregistrement de ce programme
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
JP2003232888A (ja) 2001-12-07 2003-08-22 Global Nuclear Fuel-Japan Co Ltd 輸送物の健全性確認検査システムおよび健全性確認方法
DE10202756A1 (de) 2002-01-25 2003-08-07 Daimler Chrysler Ag Digitale Karte mit Temperaturdaten
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
DE10223201C1 (de) * 2002-05-24 2003-05-28 Fraunhofer Ges Forschung Optikerfassungsvorrichtung
US7433889B1 (en) 2002-08-07 2008-10-07 Navteq North America, Llc Method and system for obtaining traffic sign data using navigation systems
US6728608B2 (en) 2002-08-23 2004-04-27 Applied Perception, Inc. System and method for the creation of a terrain density model
US7324666B2 (en) 2002-11-15 2008-01-29 Whitegold Solutions, Inc. Methods for assigning geocodes to street addressable entities
US6847887B1 (en) 2003-03-04 2005-01-25 Navteq North America, Llc Method and system for obtaining road grade data
FI115668B (fi) 2003-03-25 2005-06-15 Sandvik Tamrock Oy Kaivosajoneuvon paikan ja suunnan alustaminen
FR2854473A1 (fr) * 2003-04-29 2004-11-05 France Telecom Procede pour la modelisation de donnees referentielles et son utilisation pour la localisation de donnees referentielles dans un systeme d'informations
US7035733B1 (en) 2003-09-22 2006-04-25 Navteq North America, Llc Method and system for obtaining road grade data
US6856897B1 (en) 2003-09-22 2005-02-15 Navteq North America, Llc Method and system for computing road grade data
US6990407B1 (en) 2003-09-23 2006-01-24 Navteq North America, Llc Method and system for developing traffic messages
US7050903B1 (en) 2003-09-23 2006-05-23 Navteq North America, Llc Method and system for developing traffic messages
US7096115B1 (en) 2003-09-23 2006-08-22 Navteq North America, Llc Method and system for developing traffic messages
US7251558B1 (en) 2003-09-23 2007-07-31 Navteq North America, Llc Method and system for developing traffic messages
DE102004055069B4 (de) 2004-07-15 2007-02-15 Daimlerchrysler Ag Mehrdimensionale Fahrbahnvermessung
US20060023197A1 (en) * 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
DE102004046589A1 (de) 2004-08-05 2006-02-23 Volkswagen Ag Vorrichtung für ein Kraftfahrzeug
DE102005008185A1 (de) 2005-02-23 2006-08-31 Daimlerchrysler Ag Verfahren, System und Fahrzeuggerät zur Überprüfung digitaler Straßendaten
WO2006118563A1 (en) 2005-04-29 2006-11-09 Chubb International Holdings Limited Method and device for consistent region of interest
CA2609663A1 (en) 2005-06-06 2006-12-14 Tomtom International B.V. Navigation device with camera-info
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US20070016372A1 (en) 2005-07-14 2007-01-18 Gm Global Technology Operations, Inc. Remote Perspective Vehicle Environment Observation System
US20070055441A1 (en) 2005-08-12 2007-03-08 Facet Technology Corp. System for associating pre-recorded images with routing information in a navigation system
US8624964B2 (en) * 2005-12-02 2014-01-07 Koninklijke Philips N.V. Depth dependent filtering of image signal
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
WO2007143757A2 (en) * 2006-06-09 2007-12-13 Carnegie Mellon University Software architecture for high-speed traversal of prescribed routes
JP4600357B2 (ja) 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
ES2425945T3 (es) 2006-06-27 2013-10-18 Tomtom International B.V. Dispositivo de navegación y método para proporcionar avisos de un control de velocidad
WO2008003272A1 (de) 2006-07-06 2008-01-10 Siemens Aktiengesellschaft Vorrichtung zum orten eines an einen fahrweg gebundenen fahrzeugs
US8767190B2 (en) 2006-07-13 2014-07-01 Velodyne Acoustics, Inc. High definition LiDAR system
CA2655221A1 (en) 2006-07-28 2008-01-31 Kabushiki Kaisha Top Electrode needle device with temperature sensor
US8996172B2 (en) * 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
JP5069439B2 (ja) 2006-09-21 2012-11-07 パナソニック株式会社 自己位置認識システム
CN101641610A (zh) 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
US20080243378A1 (en) 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
US7865302B2 (en) 2007-03-29 2011-01-04 Alpine Electronics, Inc. Method and apparatus for displaying house number and building footprint in arrival screen for navigation system
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
EP2158576A1 (en) 2007-06-08 2010-03-03 Tele Atlas B.V. Method of and apparatus for producing a multi-viewpoint panorama
CN101815928A (zh) * 2007-10-02 2010-08-25 电子地图有限公司 捕获供在地图数据库中使用的沿跨越表面的参考线的线性特征的方法
JP4994256B2 (ja) * 2008-01-28 2012-08-08 株式会社ジオ技術研究所 経路案内データベースのデータ構造
GB2457508B (en) * 2008-02-18 2010-06-09 Ltd Sony Computer Entertainmen System and method of audio adaptaton
DE112009001639T5 (de) 2008-07-07 2011-09-29 Mitsubishi Electric Corporation Fahrzeugfahrumgebungs-Erfassungsvorrichtung
CN102037326A (zh) * 2008-07-31 2011-04-27 电子地图有限公司 以3d显示导航数据的方法
KR20110044218A (ko) * 2008-07-31 2011-04-28 텔레 아틀라스 비. 브이. 3차원으로 내비게이션 데이터를 디스플레이하기 위한 방법 및 컴퓨터 장치
WO2010048036A2 (en) 2008-10-22 2010-04-29 Terratrim, Inc. Systems and methods for managing utility consumption
CN102246159A (zh) * 2008-12-09 2011-11-16 通腾北美有限公司 产生测地参考数据库产品的方法
EP2209091B1 (en) 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
US8284997B2 (en) * 2009-03-11 2012-10-09 Honeywell International Inc. Vision-based vehicle navigation system and method
JP5500559B2 (ja) * 2009-06-03 2014-05-21 学校法人中部大学 物体検出装置
WO2011023246A1 (en) 2009-08-25 2011-03-03 Tele Atlas B.V. A vehicle navigation system and method
US8301374B2 (en) 2009-08-25 2012-10-30 Southwest Research Institute Position estimation for ground vehicle navigation based on landmark identification/yaw rate and perception of landmarks
US9052207B2 (en) 2009-10-22 2015-06-09 Tomtom Polska Sp. Z O.O. System and method for vehicle navigation using lateral offsets
CN101701828B (zh) * 2009-11-23 2012-10-03 常州超媒体与感知技术研究所有限公司 基于立体视觉和信息融合的盲人自主导航方法
TWI391874B (zh) 2009-11-24 2013-04-01 Ind Tech Res Inst 地圖建置方法與裝置以及利用該地圖的定位方法
US8861842B2 (en) 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
JP5062497B2 (ja) 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 風景画像認識を用いた自車位置検出システム
US8954265B2 (en) * 2010-04-09 2015-02-10 Tomtom North America, Inc. Method of resolving a location from data representative thereof
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
NL2004996C2 (nl) * 2010-06-29 2011-12-30 Cyclomedia Technology B V Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto.
IT1401367B1 (it) 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
EP2420799B1 (en) * 2010-08-18 2015-07-22 Harman Becker Automotive Systems GmbH Method and system for displaying points of interest
US20120044241A1 (en) 2010-08-20 2012-02-23 Himax Technologies Limited Three-dimensional on-screen display imaging system and method
EP2659458B1 (en) 2010-12-30 2019-05-15 TomTom Global Content B.V. System and method for generating textured map object images
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9140792B2 (en) 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
US10088317B2 (en) * 2011-06-09 2018-10-02 Microsoft Technologies Licensing, LLC Hybrid-approach for localization of an agent
US8630805B2 (en) 2011-10-20 2014-01-14 Robert Bosch Gmbh Methods and systems for creating maps with radar-optical imaging fusion
US9194949B2 (en) 2011-10-20 2015-11-24 Robert Bosch Gmbh Methods and systems for precise vehicle localization using radar maps
US8553942B2 (en) * 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
US8831337B2 (en) 2011-11-11 2014-09-09 Texas Instruments Incorporated Method, system and computer program product for identifying locations of detected objects
US9070216B2 (en) 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US9024970B2 (en) * 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US9522791B2 (en) * 2012-02-10 2016-12-20 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation System and method of material handling using one or more imaging devices on the transferring vehicle to control the material distribution into the storage portion of the receiving vehicle
US20130249899A1 (en) * 2012-03-07 2013-09-26 Willow Garage Inc. Point cloud data hierarchy
GB2501466A (en) * 2012-04-02 2013-10-30 Univ Oxford Localising transportable apparatus
JP5981550B2 (ja) * 2012-07-27 2016-08-31 日産自動車株式会社 立体物検出装置および立体物検出方法
US9175975B2 (en) * 2012-07-30 2015-11-03 RaayonNova LLC Systems and methods for navigation
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US20140176532A1 (en) * 2012-12-26 2014-06-26 Nvidia Corporation Method for image correction and an electronic device embodying the same
US9117306B2 (en) * 2012-12-26 2015-08-25 Adshir Ltd. Method of stencil mapped shadowing
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9275078B2 (en) * 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
CN103630122B (zh) * 2013-10-15 2015-07-15 北京航天科工世纪卫星科技有限公司 一种单目视觉车道线检测方法及其测距方法
US9424672B2 (en) * 2013-11-07 2016-08-23 Here Global B.V. Method and apparatus for processing and aligning data point clouds
US9438891B2 (en) 2014-03-13 2016-09-06 Seiko Epson Corporation Holocam systems and methods
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
US20150347833A1 (en) * 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
US9652031B1 (en) * 2014-06-17 2017-05-16 Amazon Technologies, Inc. Trust shifting for user position detection
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US10028102B2 (en) * 2014-12-26 2018-07-17 Here Global B.V. Localization of a device using multilateration
US9792521B2 (en) * 2014-12-26 2017-10-17 Here Global B.V. Extracting feature geometries for localization of a device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7746271B2 (en) * 2006-08-28 2010-06-29 Ibeo Automobile Sensor Gmbh Method for determining the global position
US20090228204A1 (en) * 2008-02-04 2009-09-10 Tela Atlas North America, Inc. System and method for map matching with sensor detected objects
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
KR20150088525A (ko) * 2014-01-24 2015-08-03 연세대학교 산학협력단 영상 정보를 이용하여 현재 위치를 추정하는 장치 및 방법

Also Published As

Publication number Publication date
KR102698523B1 (ko) 2024-08-23
US20180209796A1 (en) 2018-07-26
JP7066607B2 (ja) 2022-05-13
JP2022110001A (ja) 2022-07-28
CN107850448A (zh) 2018-03-27
WO2017021778A2 (en) 2017-02-09
WO2017021778A3 (en) 2017-04-06
CN107850445A (zh) 2018-03-27
EP3332216B1 (en) 2020-07-22
JP2018532099A (ja) 2018-11-01
EP3998455A1 (en) 2022-05-18
JP2018532979A (ja) 2018-11-08
EP3332218B1 (en) 2021-11-03
US20180202814A1 (en) 2018-07-19
KR20180037243A (ko) 2018-04-11
CN107850449B (zh) 2021-09-03
KR20180037242A (ko) 2018-04-11
WO2017021781A1 (en) 2017-02-09
WO2017021473A1 (en) 2017-02-09
WO2017021475A1 (en) 2017-02-09
CN107850448B (zh) 2021-11-16
US11287264B2 (en) 2022-03-29
KR20180037241A (ko) 2018-04-11
EP3332219B1 (en) 2021-11-03
US11274928B2 (en) 2022-03-15
US10948302B2 (en) 2021-03-16
EP3995783A1 (en) 2022-05-11
EP3332217A1 (en) 2018-06-13
KR102650541B1 (ko) 2024-03-26
JP6899368B2 (ja) 2021-07-07
KR102653953B1 (ko) 2024-04-02
KR102630740B1 (ko) 2024-01-29
CN107850445B (zh) 2021-08-27
JP2018529938A (ja) 2018-10-11
US20190003838A1 (en) 2019-01-03
US20180364349A1 (en) 2018-12-20
EP3332217B1 (en) 2021-11-10
CN107850449A (zh) 2018-03-27
JP6899369B2 (ja) 2021-07-07
EP3998456A1 (en) 2022-05-18
CN107850450B (zh) 2022-01-07
EP3332219A2 (en) 2018-06-13
WO2017021474A1 (en) 2017-02-09
US11629962B2 (en) 2023-04-18
US20220214174A1 (en) 2022-07-07
CN107850450A (zh) 2018-03-27
JP6899370B2 (ja) 2021-07-07
KR20240040132A (ko) 2024-03-27
JP2018533721A (ja) 2018-11-15
EP3332216A1 (en) 2018-06-13
EP3332218A1 (en) 2018-06-13
JP7398506B2 (ja) 2023-12-14
US11137255B2 (en) 2021-10-05
CN114111812A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US11629962B2 (en) Methods and systems for generating and using localization reference data
KR102404155B1 (ko) 위치파악 참조 데이터를 생성 및 사용하기 위한 방법 및 시스템

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20180302

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210730

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231011

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240527

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240820

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240821

End annual number: 3

Start annual number: 1

PG1601 Publication of registration