JP7066607B2 - ローカライゼーション基準データを生成及び使用する方法及びシステム - Google Patents

ローカライゼーション基準データを生成及び使用する方法及びシステム Download PDF

Info

Publication number
JP7066607B2
JP7066607B2 JP2018505024A JP2018505024A JP7066607B2 JP 7066607 B2 JP7066607 B2 JP 7066607B2 JP 2018505024 A JP2018505024 A JP 2018505024A JP 2018505024 A JP2018505024 A JP 2018505024A JP 7066607 B2 JP7066607 B2 JP 7066607B2
Authority
JP
Japan
Prior art keywords
data
vehicle
pixel
depth
navigable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018505024A
Other languages
English (en)
Other versions
JP2018529938A (ja
Inventor
クシシュトフ クドリンスキー,
クシシュトフ ミクシャ,
ラフォル, ジャン グリスザクジンスキー,
ブラシウス クビアク,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tele Atlas BV
Original Assignee
Tele Atlas BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tele Atlas BV filed Critical Tele Atlas BV
Publication of JP2018529938A publication Critical patent/JP2018529938A/ja
Priority to JP2022073592A priority Critical patent/JP7398506B2/ja
Application granted granted Critical
Publication of JP7066607B2 publication Critical patent/JP7066607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/3867Geometry of map features, e.g. shape points, polygons or for simplified maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Description

この発明は、ある態様及び実施形態において、非常に十分に自動化された運転の適用に必要とされる、デジタル地図に対する改良された位置決め精度のための方法及びシステムに関する。当該方法及びシステムは、デジタル地図と関連付けられたローカライゼーション(位置特定)基準データを使用してもよい。更なる態様では、本発明は、基準データのフォーマットを含んだ、デジタル地図と関連付けられたローカライゼーション基準データの生成、及び当該基準データの使用に関する。例えば、本発明の実施形態は、デジタル地図上で車両を正確に位置決めするための車両からの撮影データとの比較を通じた基準データの使用に関する。他の実施形態は、他の目的のための基準データの使用に関し、必ずしも車両からの撮影データを使用する技術である必要はない。例えば、更なる実施形態は車両と関連付けられたカメラからのビューを再構築するための、生成された基準データの使用に関する。
近年では、車両内で取り外し可能に位置決めされうるポータブルナビゲーション装置(PND)又は車両と一体型のシステムのどちらかの形式で、車両がナビゲーション装置を備えることは普通になってきている。これらのナビゲート装置は、装置の現在位置を判定する手段、通常は、GPS又はGLONASS等の全地球測位システム(GNSS)受信機を備える。しかしながら、移動体通信ネットワークやサーフェス(surface)ビーコン等の使用等、他の手段が使用されてもよいことが理解されるだろう。
ナビゲーション装置は、車両が移動しているナビゲート可能ネットワークを表すデジタル地図も利用できる。デジタル地図(又は場合によっては既知の数学的グラフ)は、効果的には、最も単純な形式で、最も一般的には道路交差点を表すノード、及び、それらの交差点間の道路を表すそれらのノード間の線を表すデータを含むデータベースである。より詳細なデジタル地図では、線は開始ノード及び終了ノードにより規定された区分(セグメント)に分割されてもよい。これらのノードは、最低限3つの線又は区分が交差する道路交差点を表す点で“リアル”であってもよく、或いは、それらのノードは、特に、道路の特定のストレッチ(範囲)についての形状情報を提供するためにリアルノードにより一端又は両端で規定されていない区分のアンカとして、或いは、道路のいくつかの特性、例えば速度制限が変化する道路に沿った位置を識別する手段として提供される点で“人工的”であってもよい。事実上、全ての現代のデジタル地図、ノード及び区分は、同様にデータベース内のデータにより表される様々な属性により更に規定される。例えば、各ノードは、現実世界での位置、例えば緯度及び経度を規定するために通常は地理的座標を有するだろう。ノードは、交差点で一方の道路から他方の道路へ移動することが可能かどうかを示す、それと関連付けられた操作データも通常有するだろう。一方、区分は、最大許容速度、レーンサイズ、レーン数、間に分岐があるかどうか等の関連属性も有するだろう。この出願のために、この形式のデジタル地図は“標準地図”と称される。
ナビゲーション装置は、判定された経路に対するガイダンス、及び、現在位置又は判定された経路に基づく予想将来位置に対する交通情報及び移動情報の提供、等の多数のタスクを実行するために、標準地図と共に、装置の現在位置を使用可能に構成される。
しかしながら、標準地図内に含まれるデータは、車両が、運転者からの入力無しに、例えば、加速、ブレーキング及びハンドル操作を自動的に制御することが可能である非常に自動化された運転、及び更に十分に自動化された“自己運転(セルフドライビング)”車両等の、様々な次世代の適用には不十分であることが認識されている。それらの適用のために、より正確なデジタル地図が必要とされる。より詳細なこのデジタル地図は、通常、道路の各レーンが、他のレーンとの接続データと共に、別個に表される3次元ベクトルモデルを含む。この適用のために、この形式のデジタル地図は、“プランニング地図”又は“高解像度(HD)地図”と称されるだろう。
図1にプランニング地図の一部の表現が示され、各線はレーンのセンターライン(中心線)を表す。図2はプランニング地図の別の例示的部分を示すが、今回は道路ネットワークの画像上に重畳されている。これらの地図内のデータは、通常はメートル以下の精度で正確であり、様々な技術を使用して収集されうる。
当該プランニング地図を構築するためにデータを収集する1つの例示的技術は、モバイルマッピングシステムを使用することであり、その例が図3に描写される。モバイルマッピングシステム2は、調査車両4、当該車両4のルーフ8上に取り付けられたデジタルカメラ40及びレーザスキャナ6を備える。調査車両2は、プロセッサ10、メモリ12及びトランシーバ14を更に備える。さらに、調査車両2は、GNSS受信機等の絶対位置決め装置2、及び、慣性計測装置(IMU)及び距離計測装置(DMI)を含む相対位置決め装置22を備える。絶対位置決め装置20は車両の地理的座標を提供し、相対位置決め装置22は絶対位置決め装置20により計測された座標の精度を向上させる(且つナビゲーション衛星から信号が受信できない場合に絶対位置決め装置に取って代わる)働きをする。レーザスキャナ6、カメラ40、メモリ12、トランシーバ14、絶対位置決め装置20及び相対位置決め装置22は、全て(線24により示されるように)プロセッサ10と通信するように構成される。レーザスキャナ6は、環境に対して3Dでレーザビームをスキャンし、環境を表す点群を作成するように構成されており、各点はレーザビームが反射される物体の表面の位置を示している。レーザスキャナ6は、物体表面上へのレーザビームの各入射位置までの距離を計測するように飛行時間型レーザレンジファインダ(光学視差式距離計)としても構成される。
使用時には、図4に示されるように、調査車両4は、ペイントされた道路マーキング34を有する表面32を含む道路30に沿って移動する。プロセッサ10は、絶対位置決め装置20及び相対位置決め装置22を使用して計測された位置姿勢データから任意の瞬間における車両4の位置及び姿勢を判定し、適切なタイムスタンプと共にデータをメモリに格納する。さらに、カメラ40は複数の道路表面画像を提供するために道路表面32の画像を繰り返し撮像し、プロセッサ10は各画像にタイムスタンプを追加して当該画像をメモリ12に格納する。レーザスキャナ6も、少なくとも複数の計測距離値を提供するために表面32を繰り返しスキャンし、プロセッサは、各距離値にタイムスタンプを追加してそれらをメモリ12に格納する。レーザスキャナ6から取得されたデータの例が図5及び図6に示される。図5は3Dビューを示し、図6はサイドビュー投影を示しており、各絵の中の色は道路との距離を表している。これらのモバイルマッピング車両から取得された全てのデータは、解析されて、車両が移動したナビゲート可能(又は道路)ネットワークの部分のプランニング地図を作成するために使用されうる。
出願人は、非常に十分に自動化された運転への適用のためにそうしたプランニング地図を使用するために、プランニング地図に対する車両の位置を高精度に知る必要があることを認識している。ナビゲーション衛星又は地上波ビーコンを使用して装置の現在の場所を判定する従来技術は、5メートル-10メートル付近の精度で装置の絶対位置を提供し、この絶対位置がデジタル地図上の対応位置とマッチングされる。このレベルの精度は大抵の従来の適用に十分であるが、次世代の適用には十分ではなく、デジタル地図に対する位置は、道路ネットワーク上で高速に移動している時でさえもメートル未満の精度が必要とされる。それ故、改良された位置決め方法が必要とされる。
出願人は、例えば、地図に対する車両の位置を判定する時だけではなく他の文脈でも使用されてもよい、“プランニング地図”を提供するために、デジタル地図と関連付けられたローカライゼーション基準データを生成する改良された方法の必要性があることも認識している。
本発明の第1の態様によれば、デジタル地図と関連付けられたローカライゼーション基準データを生成する方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表されたナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供し、前記方法は、前記デジタル地図により表された少なくとも1つのナビゲート可能要素について、
基準面に投影された前記ナビゲート可能要素の周囲の環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することであって、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記生成することと、
前記生成されたローカライゼーション基準データと前記デジタル地図データとを関連付けることと、
を含む方法が提供される。
(本発明のこの態様又は実施形態、及び任意の他の態様又は実施形態において)前記デジタル地図はナビゲート可能ネットワークのナビゲート可能要素、例えば道路ネットワークの道路を表すデータを含むことが理解されるだろう。
本発明の第1の態様によれば、ローカライゼーション基準データは、デジタル地図により表されたナビゲート可能ネットワークの1以上のナビゲート可能要素と関連付けられて生成される。当該データは、前記地図により表された前記ナビゲート可能要素の少なくともいくつか、好適には全てについて生成されてもよい。前記生成されたデータは、前記ナビゲート可能要素の周囲の前記環境の圧縮表現を提供する。これは、前記ナビゲート可能要素に対して規定される、基準線により規定された基準面上へ投影された前記要素の周囲の前記環境を示す、少なくとも1つのデプスマップを使用して達成される。前記デプスマップの各画素は、前記基準面における位置と関連付けられており、前記基準面における前記画素の前記位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む。
前記ローカライゼーション基準データの前記少なくとも1つのデプスマップの様々な特徴が記載されるだろう。当該特徴は、互いに排他的でない程度に、代替的又は追加的に、本発明の任意の更なる態様又は実施形態で使用されるリアルタイムスキャンデータの少なくとも1つのデプスマップに適用されてもよいことが理解されるだろう。
前記ナビゲート可能要素と関連付けられ、前記基準面を規定するために使用される前記基準線は、前記ナビゲート可能要素に対して任意の方法で設定されてもよい。前記基準線は、前記ナビゲート可能要素と関連付けられた1又は複数の点により規定される。前記基準線は、前記ナビゲート可能要素に対して所定の向きを有してもよい。好適な実施形態では、前記基準線は前記ナビゲート可能要素に平行である。これは、前記ナビゲート可能要素の1又は複数のサイドにおける横方向環境に関するローカライゼーション基準データ(及び/又はリアルタイムスキャンデータ)を提供するのに適切かもしれない。前記基準線は、前記ナビゲート可能要素が直線か否かに依存して、線形又は非線形であってもよい。前記基準線は、例えば前記ナビゲート可能要素に平行なままであるために、直線且つ非線形な、例えばカーブした部分を含んでもよい。いくつかの更なる実施形態では、前記基準線は前記ナビゲート可能要素に平行でなくてもよいことが理解されるだろう。例えば、以下に記載されるように、前記基準線は、ナビゲート可能要素と関連付けられた点、例えば前記ナビゲート可能要素上の点を中心とした半径により規定されてもよい。当該基準線は円形であってもよい。これは、ジャンクションの周囲の環境の360度表現を提供してもよい。
前記基準線は、好適には縦方向基準線であり、例えば、前記ナビゲート可能要素のエッジ又は境界又はそのレーン、又は前記ナビゲート可能要素の中心線であってもよい。その場合、前記ローカライゼーション基準データ(及び/又はリアルタイムスキャンデータ)は前記要素の1又は複数のサイドにおける前記環境の表現を提供するだろう。前記基準線は前記要素上にあってもよい。
実施形態では、前記ナビゲート可能要素の前記エッジ又は中心線等の前記ナビゲート可能要素の基準線、及び関連付けられたデプス情報は、線形基準線へのマッピングを受けてもよいので、前記基準線は前記ナビゲート可能要素がカーブしている時でも線形であってもよい。そのようなマッピング又は変換は、国際公開第2009/045096号により詳細に記載されており、その全内容が参照によりここに組み込まれる。
前記基準線により規定された前記基準面は、好適には前記ナビゲート可能要素の表面と垂直に向けられる。ここで使用される基準面は、カーブしていてもしていなくてもよい2次元表面に及ぶ。
前記基準線が前記ナビゲート可能要素に平行な縦方向基準線である場合、各画素の前記デプスチャネルは、好適には、前記環境における物体の表面までの横方向距離を表す。
各デプスマップは、ラスタ画像の形式であってもよい。各デプスマップは、前記基準面と関連付けられた各画素の位置に対応する、複数の縦方向位置及び複数の高さについての前記環境における物体の表面から前記基準面までの所定方向に沿った距離を表すことが理解されるだろう。前記デプスマップは複数の画素を含む。前記デプスマップの各画素は、前記デプスマップ、例えばラスタ画像、における特定の縦方向位置及び高さと関連付けられている。
いくつかの好適な実施形態では、前記基準面は前記ナビゲート可能要素に平行な縦方向基準線により規定されており、前記基準面は前記ナビゲート可能要素の表面に垂直に向けられている。その場合、各画素は、前記環境における物体の表面までの横方向距離を表すデプスチャネルを含む。
好適な実施形態では、前記少なくとも1つのデプスマップは、固定の縦方向解像度及び可変の垂直方向及び/又はデプス方向の解像度を有してもよい。
本発明の第2の態様によれば、デジタル地図と関連付けられたローカライゼーション基準データを生成する方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表されたナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供し、前記方法は、前記デジタル地図により表された少なくとも1つのナビゲート可能要素について、
基準面に投影された前記ナビゲート可能要素の周囲の環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することであって、前記基準面は前記ナビゲート可能要素に平行な縦方向基準線により規定されており且つ前記ナビゲート可能要素の表面に垂直に向けられており、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの横方向距離を表すデプスチャネルを含み、好適には前記少なくとも1つのデプスマップは固定の縦方向解像度、及び、可変の垂直方向及び/又はデプス方向の解像度を有する、前記生成することと、
前記生成されたローカライゼーション基準データと前記デジタル地図データとを関連付けることと、
を含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
前記基準線の向き、基準面、及び前記環境が前記基準面に投影される線に関わらず、様々な態様又は実施形態における本発明によれば、固定の縦方向解像度及び可変の垂直方向及び/又はデプス方向の解像度を有することは前記少なくとも1つのデプスマップにとって有利である。前記ローカライゼーション基準データ(及び/又はリアルタイムスキャンデータ)の前記少なくとも1つのデプスマップは、好適には固定の縦方向解像度及び可変の垂直方向及び/又はデプス方向の解像度を有する。前記可変の垂直方向及び/又はデプス方向の解像度は好適には非線形である。地面により近く且つ前記ナビゲート可能要素により近い(従って車両により近い)前記デプスマップ、例えばラスタ画像の前記部分は、前記地面上でより高く且つ前記ナビゲート可能要素からより遠い(従って車両)前記デプスマップ、例えばラスタ画像の前記部分よりも高い解像度で示されてもよい。これは、車両センサによる検知により重要な高さ、デプス(深さ)で情報密度を最大化する。
前記基準線及び面の向き、又は様々な方向に沿った前記デプスマップ解像度に関わらず、前記基準面への前記環境の前記投影は、所望に選択されてもよい所定方向に沿っている。いくつかの実施形態では前記投影は直交投影である。これらの実施形態では、各画素の前記デプスチャネルは、前記基準面に垂直な方向に沿った前記基準面における前記画素の前記関連付けられた位置から前記環境における物体の表面までの距離を表す。従って、前記デプスチャネルにより表された前記距離が横方向距離であるいくつかの実施形態では、(非直交投影は前記デプスチャネルが横方向距離に関するケースに限定されないが)前記横方向距離は前記基準面に垂直な方向に沿っている。直交投影の使用は、これが任意の高さ情報が前記基準線(従って基準面)からの距離と独立しているという結果をもたらすので、いくつかの文脈で利点があるかもしれない。
他の実施形態では、非直交投影を使用することに利点があるかもしれないことが分かっている。従って、本発明の何れかの態様におけるいくつかの実施形態では、互いに排他的でない限り、前記所定距離が横方向距離であろうとなかろうと、各画素の前記デプスチャネルは、前記基準面に垂直ではない方向に沿った前記基準面における前記画素の前記関連付けられた位置から前記環境における物体の表面までの距離を表す。非直交投影の使用は、前記ナビゲート可能要素に垂直に向けられた表面に関する情報が保存されてもよいという利点を有する(すなわち前記基準線が前記要素に平行である場合)。これは、前記画素と関連付けられた追加データを提供する必要無しに達成されてもよい。それ故、前記ナビゲート可能要素の近傍の物体に関する情報が、より効果的に、より詳細に、しかしストレージ容量を増加させる必要無しに、キャプチャされてもよい。前記所定方向は、45度等の、前記基準面に対する任意の所望の方向に沿っていてもよい。
非直交投影の使用は、暗い条件下で車両の1又は複数のカメラにより検出されてもよい物体の表面についてのより大量の情報を保存するのに役立つことも分かっており、それ故、基準画像又は点群が、車両の(複数の)カメラにより撮影されたリアルタイムデータに基づいて取得された画像又は点群と比較される本発明のいくつかの態様及び実施形態との組み合わせにおいて特に役立つ。
本発明の更なる態様によれば、デジタル地図と関連付けられたローカライゼーション基準データを生成する方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表されたナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供し、前記方法は、前記デジタル地図により表された少なくとも1つのナビゲート可能要素について、
基準面に投影された前記ナビゲート可能要素の周囲の環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することであって、前記基準面は前記ナビゲート可能要素に平行な基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含み、前記所定方向は前記基準面に垂直ではない、前記生成することと、
前記生成されたローカライゼーション基準データと前記ナビゲート可能要素を示すデジタル地図データとを関連付けることと、
を含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
何れかの態様又は実施形態における本発明によれば、前記ローカライゼーション基準データ(及び/又はリアルタイムスキャンデータ)は、1以上のセンサを使用して前記ナビゲート可能要素の周囲の前記環境をスキャンすることにより取得されたスキャンデータに基づくものである。前記1以上のスキャナは、レーザスキャナ、レーダスキャナ及びカメラ、例えば単一カメラ又はステレオカメラのペアのうちの1つ以上を備えてもよい。
好適には、前記ローカライゼーション基準データ(及び/又は前記リアルタイムスキャンデータ)の各画素の前記デプスチャネルにより表された物体の前記表面までの前記距離は、各々が前記画素の前記位置から前記所定方向に沿った物体の前記表面までの距離を示す複数の撮影データ点の集合に基づいて判定される。前記データ点は、前記ナビゲート可能要素の周囲の前記環境のスキャンを実行する際に取得されてもよい。撮影データ点の前記集合は、1以上の種類のセンサから取得されてもよい。しかしながら、いくつかの好適な実施形態では、前記撮影データ点は、1又は複数のレーザスキャナにより撮影されたデータ点の集合を含むか、それから成るものである。換言すれば、前記撮影データ点はレーザ計測を含むか、それから成るものである。
所与の画素について前記デプスチャネルの前記距離値を判定する際に複数の撮影データ点の平均は誤った結果に至るかもしれないことが分かっている。これは、前記適用可能な所定方向に沿った前記基準面からの物体の前記表面の前記位置を示し、且つ特定の画素へマッピングすると考えられる、前記撮影データ点の少なくともいくつかは、異なる物体の表面に関するものであるかもしれないからである。前記圧縮データフォーマットにより、前記環境の拡張領域は、前記基準面における前記画素の領域にマッピングされてもよいことが理解されるだろう。それ故、かなりの量の撮影データ、すなわち多数の撮影データ点がその画素に適用可能であってもよい。その領域内では、何れかの次元でほんの短い距離、別の物体に重なってもよい物体、例えば、移動物体だけではなく、木、街灯柱を含んだ、前記基準面に対して異なるデプスに位置する物体があってもよい。それ故、特定の画素に適用可能な前記センサデータ点により表された物体の前記表面までの前記デプス値は、かなりの分散を示すかもしれない。
前記ローカライゼーション基準データ(及び/又は前記リアルタイムスキャンデータ)の各画素の前記デプスチャネルにより表された物体の前記表面までの前記距離が、各々が前記画素の前記位置から前記所定方向に沿った物体の前記表面までの撮影距離を示す複数の撮影データ点の集合に基づいて判定される、何れかの態様又は実施形態における本発明によれば、好適には、画素の前記デプスチャネルにより表された前記距離は、複数の撮影データ点の前記集合に基づく平均値ではない。好適な実施形態では、画素の前記デプスチャネルにより表された前記距離は、撮影データ点の前記集合から物体の前記表面までの最も近い撮影距離であり、或いは、前記撮影デプス値の分布を使用して取得された最も近い最頻値である。1又は複数の検出された前記最も近い値は、前記画素に対する物体の前記表面の前記デプス(深さ)を最も正確に反映する可能性が高いことが理解されるだろう。例えば、建物と道路との間に木が位置するケースを考慮されたい。特定の画素に適用可能な異なる撮影デプス値は、前記建物又は前記木の何れかの検出に基づいてもよい。平均デプス値を提供するためにこれらの撮影値の全てが考慮されるなら、その平均値は、前記画素から計測された物体の前記表面までの前記デプスが前記木までの前記デプスと前記建物までの前記デプスとの間のどこかにあることを示すだろう。これは、前記画素の誤解を招くデプス値となり、リアルタイム車両撮影データと前記基準データとを関連付ける時に問題となり、道路に対して物体がどのくらい近いかを自信を持って知ることが極めて重要であるので、潜在的に危険であろう。その一方、前記最も近いデプス値又は最も近い最頻値は、前記最も近い物体の真の位置を反映する、前記建物ではなく、前記木に関するものである可能性が高い。
本発明の更なる態様によれば、デジタル地図と関連付けられたローカライゼーション基準データを生成する方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表されたナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供し、前記方法は、前記デジタル地図により表された少なくとも1つのナビゲート可能要素について、
基準面に投影された前記ナビゲート可能要素の周囲の環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することであって、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含み、各画素の前記デプスチャネルにより表された物体の前記表面までの前記距離は、各々が前記画素の前記位置から前記所定方向に沿った物体の前記表面までの撮影距離を示す複数の撮影データ点の集合に基づいて判定され、前記画素の前記デプスチャネルにより表された前記物体の前記表面までの前記距離は、撮影データ点の前記集合に基づいた最も近い距離又は最も近い最頻値距離である、前記生成することと、
前記生成されたローカライゼーション基準データと前記デジタル地図データとを関連付けることと、
を含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
何れかの態様又は実施形態における本発明によれば、(前記ローカライゼーション基準データ及び/又は前記リアルタイムスキャンデータにおける)各画素は、前記環境における物体の表面までの距離を表すデプスチャネルを含む。好適な実施形態では、各画素は1以上の更なるチャネルを含む。これは、前記デプスマップに1以上の追加レイヤの情報を提供してもよい。各チャネルは、好適には、1以上の撮影データ点、好適には複数の撮影データ点の集合、に基づいて取得された特性の値を示す。前記撮影データは、前に記載したような1以上のセンサから取得されてもよい。好適な実施形態では、前記又は各画素は、所与の種類の撮影反射(率)の値を示す少なくとも1つのチャネルを含む。各画素は、撮影されたレーザ反射(率)の値を示すチャネル、及び、撮影されたレーダ反射(率)の値を示すチャネルのうちの1つ以上を含んでもよい。チャネルにより示される前記画素の前記撮影反射率の値は、前記画素により表された前記環境の前記適用可能部分における前記撮影反射率に関する。前記画素の前記撮影反射率値は、好適には、前記画素の前記デプスチャネルにより示される前記基準面からの前記画素の前記デプスに対応する前記基準面からの距離の周囲での前記撮影反射率、すなわち、前記画素の前記デプス値の周囲での前記撮影反射率を示す。その場合、これは、そのデプス(深さ)に存在する前記物体の関連反射特性を示すものと考えられてもよい。好適には、前記撮影反射率は平均反射率である。前記撮影反射率データは、前記デプス値を判定するために使用された同一のデータ点、或いは、より多くのデータ点のセット、と関連付けられた反射率に基づいてもよい。例えば、前記画素に適用可能な撮影デプス値と関連付けられた反射率、及び、好適には前記デプスチャネルの前記デプス値を判定する時に使用される最も近い値以外の値が、更に考慮されてもよい。
このようにして、複数チャネルデプスマップ、例えばラスタ画像、が提供される。そうしたフォーマットは前記ナビゲート可能要素を囲む前記環境に関するより大量のデータがより効率的に圧縮されるのを可能にし、ストレージ及び処理を容易にし、異なる条件下で車両により撮影されたリアルタイムデータとの改良された対応付けを実行する機能を提供し、前記基準ローカライゼーションデータを生成する時に使用されるのと同じ種類のセンサを前記車両が必ずしも有する必要を無くすることを可能にするかもしれない。以下でより詳細に記載されるように、そうしたデータは、車両により撮影されたデータ、或いは、例えば夜等の特定の条件下で前記車両のカメラを使用して取得される前記ナビゲート可能要素の周囲の前記環境の画像を再構築するのにも役立つかもしれない。例えばレーダ又はレーザの反射率は、例えば夜等の特定の条件下で可視である物体が識別されるのを可能にするかもしれない。
デジタル地図と関連付けられたローカライゼーション基準データを生成する方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表されたナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供し、前記方法は、前記デジタル地図により表された少なくとも1つのナビゲート可能要素について、
基準面に投影された前記ナビゲート可能要素の周囲の環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することであって、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含み、各画素は撮影レーザ反射率の値を示すチャネルと撮影レーダ反射率の値を示すチャネルとのうち1つ以上を更に含む、前記生成することと、
前記生成されたローカライゼーション基準データと前記デジタル地図データとを関連付けることと、
を含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
何れかの態様又は実施形態における本発明によれば、画素と関連付けられた他のチャネルが代替的又は追加的に使用されてもよい。例えば、更なるチャネルは、前記画素の前記デプスチャネルにより示される前記画素の前記位置からの前記基準面から前記所定方向に沿った前記距離の周囲における前記物体の厚さ、前記画素の前記デプスチャネルにより示される前記画素の前記位置からの前記基準面から前記所定方向に沿った前記距離の周囲における反射データ点の密度、前記画素の前記デプスチャネルにより示される前記画素の前記位置からの前記基準面から前記所定方向に沿った前記距離の周囲における色、及び、前記画素の前記デプスチャネルにより示される前記画素の前記位置からの前記基準面から前記所定方向に沿った前記距離の周囲におけるテクスチャのうちの1つ以上を示してもよい。各チャネルは、前記反射特性を示す値を含んでもよい。前記値は、例えば色データ又はテテクスチャデータのためのカメラ等、必要に応じて1つ以上の異なる種類のセンサから取得されてもよい、取得された適用可能センサデータに基づくものである。各値は、複数の撮影データ点に基づいてもよく、前記撮影データ点からの値の平均であってもよい。
前記デプスチャネルは所定方向に沿った画素の前記位置における前記基準面からの物体の距離を示すが、前記他のチャネルは、例えば前記物体の反射率、又はその色、テクスチャ等の前記物体の他の特性を示してもよいことが理解されるだろう。これは、車両により撮影されていることが期待されるスキャンデータ及び/又は車両により取られたカメラ画像を再構築する際に役立つかもしれない。物体の前記厚さを示すデータは、前記ナビゲート可能要素に垂直な前記物体の表面に関する情報を元に戻すために使用されてもよく、前記基準面への前記環境の直交投影が使用される。これは、非直交投影を使用する、物体のそのような表面に関する情報を判定する上述の実施形態への代替手段を提供するかもしれない。
多くの実施形態では、前記ローカライゼーション基準データは、ナビゲート可能要素の1つのサイド又は複数のサイドに対する前記環境の圧縮表現を提供するために、すなわちサイドデプスマップを提供するために使用される。その場合、前記基準線は前記ナビゲート可能要素に平行であってもよく、画素の前記デプスチャネルは前記基準面からの前記物体の表面の横方向距離を示す。しかしながら、デプスの使用は、他の文脈の中でも役立つかもしれない。出願人は、ジャンクション、例えば交差道路、の領域において円形デプスマップを提供することが役立つことであろうと認識している。例えば交差道路等のジャンクションに対して車両を位置決めするための、或いは、必要に応じて、例えば交差道路等のジャンクションの周囲の環境を示すデータを再構築するための、改良された機能を提供するかもしれない。前記ジャンクションの周囲の前記環境の360度表現が好適に提供されるが、前記デプスマップは円形全体に及ぶ必要はなく、それ故360度よりも少なく及んでもよいことが理解されるだろう。いくつかの実施形態では、前記基準面は、ナビゲート可能要素と関連付けられた基準点を中心とした半径により規定された基準線により規定される。これらの実施形態では、前記基準線はカーブしており、好適には円形である。前記基準点は、好適には、例えば交差道路等のジャンクションにおける前記ナビゲート可能要素上に位置している。前記基準線を規定する前記半径は、所望のように、例えば前記ジャンクションのサイズに応じて選択されてもよい。
本発明の更なる態様によれば、ナビゲート可能ネットワークの要素を表すデジタル地図と関連付けられたローカライゼーション基準データを生成する方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表された前記ナビゲート可能ネットワークの少なくとも1つのジャンクションの周囲の環境の圧縮表現を提供し、前記方法は、前記デジタル地図により表された少なくとも1つのジャンクションについて、
基準面に投影された前記ジャンクションの周囲の環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することであって、前記基準面は前記ジャンクションと関連付けられた基準点を中心とした半径により規定された基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記ジャンクションと関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記生成することと、
前記生成されたローカライゼーション基準データと前記ジャンクションを示すデジタル地図データとを関連付けることと、
を含む方法が提供される。
前の実施形態に関して記載したように、前記ジャンクションは交差道路であってもよい。前記基準点は、前記ジャンクションの中心に位置してもよい。前記基準点は、前記ジャンクションを表す前記デジタル地図のノード、又は、前記ジャンクションにおけるナビゲート可能要素と関連付けられてもよい。これらの本発明の更なる態様又は実施形態は、前記ジャンクションから離れたナビゲート可能要素のサイドに対する前記環境を表すサイドデプスマップと組み合わせて利用されてもよい。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
ローカライゼーション基準データの生成に関する何れかの態様又は実施形態における本発明によれば、前記方法は、ナビゲート可能要素又はジャンクションに関して前記生成されたローカライゼーション基準データを、前記要素又はジャンクションを示す前記デジタル地図データと関連付けることを含んでもよい。前記方法は、前記デジタル地図データと関連付けられた、前記生成されたローカライゼーション基準データを、例えば、それが関連する前記ナビゲート可能要素又はジャンクションと関連付けて格納することを含む。
いくつかの実施形態では、前記ローカライゼーション基準データは、前記ナビゲート可能要素の左サイド又は前記ナビゲート可能要素の右サイドにおける前記横方向の環境の表現、例えば基準スキャンを含んでもよい。前記ナビゲート可能要素の各サイドについての前記ローカライゼーション基準データは、統合データセットに格納されてもよい。従って、前記ナビゲート可能ネットワークの複数の部分からのデータは、効率的なデータフォーマットで共に格納されてもよい。統合データセットに格納された前記データは圧縮されてもよく、前記ナビゲート可能ネットワークのより多くの部分についてのデータが同一のストレージ容量内に格納されることを可能にする。データ圧縮は、使用されるネットワーク回線容量を低減することも可能にし、前記基準スキャンデータは無線ネットワーク接続を通じて前記車両へ送信されるべきである。しかしながら、前記ローカライゼーション基準データは、前記ナビゲート可能要素の何れかのサイドにおける前記横方向の環境に関する必要がないことが理解されるだろう。例えば、上述の任意の実施形態に記載したように、前記基準データは、ジャンクションを囲む前記環境に関するものであってもよい。
本発明は、本発明の態様又は実施形態の何れかに従って生成された前記ローカライゼーション基準データを格納するデータ製品にも及ぶ。
本発発明のこれらの更なる態様又は実施形態の何れかにおける前記データ製品は、適切な形式であってもよい。いくつかの実施形態では、前記データ製品はコンピュータ可読媒体に格納されてもよい。前記コンピュータ可読媒体は、例えば、ディスケット、CDROM、ROM、RAM、フラッシュメモリ又はハードディスクであってもよい。本発明は、何れかの態様又は実施形態の本発明に従った前記データ製品を含むコンピュータ可読媒体に及ぶ。
当該データの生成に関する何れかの態様又は実施形態における本発明に従って生成された前記ローカライゼーション基準データは、様々な方法で使用されてもよい。前記データの使用に関する更なる態様では、前記基準データを取得するステップは、前記データを生成することに及び、或いは、通常は前記データを取得することを含んでもよい。前記基準データは好適にはサーバにより生成される。前記データを使用するステップは、好適には、車両と関連付けられてもよい、ナビゲーション装置または類似のもの等の装置により実行される。
いくつかの好適な実施形態では、前記データは、前記デジタル地図に対する車両の位置を判定する際に使用される。従って、前記デジタル地図は、前記車両が移動しているナビゲート可能要素を表すデータを含む。前記方法は、前記ナビゲート可能要素のナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられた前記ローカライゼーション基準データを取得することと、少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は、前記少なくとも1つのセンサを使用して判定される、前記基準面における前記画素の前記関連付けられた位置から前記所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記判定することと、前記デプスマップ間の位置合わせオフセットを判定するために前記ローカライゼーション基準データと前記リアルタイムスキャンデータとの間の相関を算出することと、前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含む。取得される前記ローカライゼーション基準データは、前記車両が移動している前記ナビゲート可能要素に関するものであることが理解されるだろう。従って、前記ナビゲート可能要素の周囲の前記環境を示す、前記ローカライゼーション基準データの前記デプスマップは、前記車両の周囲の前記環境を示すものである。
本発明の更なる態様によれば、デジタル地図に対する車両の位置を判定する方法であって、前記デジタル地図は前記車両が移動しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含み、前記方法は、
前記ナビゲート可能ネットワークのナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記取得することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は、前記少なくとも1つのセンサを使用して判定される、前記基準面における前記画素の前記関連付けられた位置から前記所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記判定することと、
前記デプスマップ間の位置合わせオフセットを判定するために前記ローカライゼーション基準データと前記リアルタイムスキャンデータとの間の相関を算出することと、
前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
前記車両の位置を判定する際のローカライゼーション基準データ及びリアルタイムスキャンデータの使用に関する本発明の更なる態様及び実施形態では、前記車両の前記現在位置は縦方向位置であってもよい。前記リアルタイムスキャンデータは、前記車両の周囲の横方向環境に関するものであってもよい。その場合、前記ローカライゼーション基準データ及び/又は前記リアルタイムスキャンデータの前記デプスマップは、前記ナビゲート可能要素に平行な基準線により規定されるだろうし、前記環境における物体の前記表面までの前記横方向距離を表すデプスチャネルを含む。その場合、前記判定されたオフセットは縦方向オフセットであってもよい。
本発明の更なる態様によれば、デジタル地図に対する車両の位置を判定する方法であって、前記デジタル地図は前記車両が移動しているジャンクションを表すデータを含み、前記方法は、
前記ナビゲート可能要素における前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記基準面は前記ジャンクションと関連付けられた基準点を中心とした半径により規定された基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ジャンクションと関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記取得することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記少なくとも1つのデプスマップの各画素は前記ジャンクションと関連付けられた前記基準面における位置と関連付けられており、前記画素は、前記少なくとも1つのセンサを使用して判定される、前記基準面における前記画素の前記関連付けられた位置から前記所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記判定することと、
前記デプスマップ間の位置合わせオフセットを判定するために前記ローカライゼーション基準データと前記リアルタイムスキャンデータとの間の相関を算出することと、
前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
本発明の別の態様によれば、デジタル地図に対する車両の位置を判定する方法であって、前記デジタル地図は前記車両が移動しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含み、前記方法は、
前記ナビゲート可能ネットワークのナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた基準面における位置と関連付けられており、前記基準面は前記ナビゲート可能要素に平行な縦方向基準線により規定されており且つ前記ナビゲート可能要素の表面に対して垂直に向けられており、各画素は前記環境における物体の表面までの横方向距離を表すデプスチャネルを含み、選択的に、前記少なくとも1つのデプスマップは固定の縦方向解像度、及び、可変の垂直方向及び/又はデプス方向の解像度を有している、前記取得することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりセンサデータを取得することと、
前記センサデータを使用してリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは、前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記少なくとも1つのデプスマップの各画素は、前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、各画素は、前記センサデータから判定される、前記環境における物体の表面までの横方向距離を表すデプスチャネルを含み、選択的に、前記少なくとも1つのデプスマップは、固定の縦方向解像度及び可変の垂直方向及び/又はデプス方向の解像度を有する、前記判定することと、
前記デプスマップ間の位置合わせオフセットを判定するために前記ローカライゼーション基準データと前記リアルタイムスキャンデータとの間の相関を算出することと、
前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
前記ローカライゼーション基準データの使用に関する本発明の更なる態様では、前記データは、本発明のより前の態様の何れかに従って生成されてもよい。前記車両の前記位置或いは別のものを判定する際に使用される前記リアルタイムスキャンデータは、前記ローカライゼーション基準データに対応する形式であるべきである。従って、判定された前記デプスマップは、前記リアルタイムスキャンデータ及びローカライズされた基準データが相互に対応付けられるのを可能にするために、前記ローカライズされた基準データと同じ方法でナビゲート可能要素と関連付けられた基準線に対して規定された基準面における位置を有する画素を含むだろう。前記デプスマップの前記デプスチャネルデータは、例えば前記撮影データの平均を使用すること無しに、前記基準データの方法と対応する方法で判定されてもよく、従って、複数の撮影データ点から表面までの最も近い距離を含んでもよい。前記リアルタイムスキャンデータは、任意の追加チャネルを含んでもよい。前記ローカライゼーション基準データの前記デプスマップが固定の縦方向解像度及び可変の垂直方向の又はデプス方向の解像度を有する場合、前記リアルタイムスキャンデータの前記デプスマップもそのような解像度を有してもよい。
従って、本発明のこれらの態様又は実施形態によれば、デジタル地図に対する車両の位置を継続的に判定する方法が提供され、前記デジタル地図は、前記車両が移動しているナビゲート可能ネットワーク(例えば道路ネットワーク)のナビゲート可能要素(例えば道路)を表すデータを含む。前記方法は、前記車両の周囲の環境をスキャンすることにより取得されたリアルタイムスキャンデータを受信することと、前記デジタル地図に関する前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することと、(例えば、前記ローカライゼーション基準データは、前記みなし現在位置の周囲の前記環境の基準スキャンを含み)、選択的に、前記基準スキャンは前記経路に沿って以前移動した少なくとも1つの装置から前記デジタル地図の全体に渡って取得されている、前記取得することと、前記リアルタイムスキャンデータと前記ローカライゼーション基準データとの間のオフセットを判定するために、前記リアルタイムスキャンデータを前記ローカライゼーション基準データと比較することと、前記オフセットに基づいて前記みなし現在位置を調整することとを含む。従来技術の例は、収集されたデータと、経路に沿った予め判定されたランドマークについての既知の基準データとを比較することにより、車両の位置を判定することを試みている。しかしながら、ランドマークは多くの経路上でまばらに分布されているかもしれず、車両がランドマーク間を移動する時に前記車両の位置の推定において重大な誤りが生じるかもしれない。これは非常に自動化された運転システム等の状況では問題であり、そうした誤りは、重傷又は死亡につながる車両衝突事故等の破滅的な結果をもたらしうる。本発明は、少なくともある態様において、前記デジタル地図全体に渡って基準スキャンデータを有しており且つリアルタイムに前記車両の周囲の前記環境をスキャンすることによって、この問題を解決する。このようにして、本発明は、前記デジタル地図に対する前記車両の前記位置が常に高精度に既知であるように、リアルタイムスキャン及び基準データが比較されるのを可能にしてもよい。
本発明の更なる態様によれば、デジタル地図に対する車両の縦方向位置を判定する方法であって、前記デジタル地図は前記車両が移動しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含み、前記方法は、
前記ナビゲート可能ネットワークのナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境における物体の輪郭(外形)を含み、前記基準面は前記ナビゲート可能要素に平行な縦方向基準線により規定されており且つ前記ナビゲート可能要素の表面に垂直に向けられている、前記取得することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりセンサデータを取得することと、
前記センサデータを使用してリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは、前記センサデータから判定される、前記基準面へ投影された前記車両の周囲の前記環境における物体の輪郭を含む、前記判定することと、
縦方向位置合わせオフセットを判定するために前記ローカライゼーション基準データと前記リアルタイムスキャンデータとの間の相関を算出することと、
前記デジタル地図に対する前記車両の前記縦方向位置を判定するために前記みなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
前記場所基準データは、前記基準面に投影された前記車両の周囲の前記環境における物体の前記輪郭が既に判定されるように、例えば前記関連するナビゲート可能要素と関連付けられた、前記デジタル地図と関連付けられて格納されてもよい。しかしながら、他の実施形態では、前記ローカライゼーション基準データは、異なるフォーマットで格納されることができ、前記格納されたデータは前記輪郭を判定するように処理される。例えば、本発明のより前に記載した態様のような実施形態では、前記ローカライゼーション基準データは1つ以上のデプスマップ、例えばラスタ画像を含み、各デプスマップは複数の縦方向位置及び複数の高さについての前記環境における表面から前記基準面までの前記横方向距離を表す。前記デプスマップは、より前の態様又は実施形態の何れかに従ってもよい。換言すれば、前記場所基準データは、前記車両の周囲の前記環境を示す、少なくとも1つのデプスマップ、例えばラスタ画像、を含み、前記少なくとも1つのデプスマップの各画素は、前記基準面における位置と関連付けられており、各画素は、前記環境における物体の表面に対する、例えば前記基準面に垂直な、前記横方向距離を表すチャネルを含む。そうした実施形態では、前記関連するデプスマップ、例えばラスタ画像は、前記環境における前記物体の前記輪郭を生成するためにエッジ検出アルゴリズムを使用して処理される。前記エッジ検出アルゴリズムは、キャニーオペレータ(Canny operator)、プレヴィットオペレータ(Prewitt operator)等を含みうる。しかしながら、好適な実施形態では、前記エッジ検出は、ソーベルオペレータ(Sobel operator)を使用して実行される。前記エッジ検出オペレータは、高度(又は高さ)及び縦方向の領域(ドメイン)の両方において、或いは、前記領域の1つにおいて、適用されうる。例えば、好適な実施形態では、前記エッジ検出オペレータは前記縦方向領域にのみ適用される。
同様に、前記基準面に投影された前記車両の周囲の前記環境における物体の前記輪郭は、前記少なくとも1つのセンサにより取得された前記センサデータから直接判定されうる。或いは、他の実施形態では、前記センサデータは、1つ以上のデプスマップ、例えばラスタ画像を判定するために使用されることができ、各デプスマップは、複数の縦方向位置及び複数の高さについて前記環境における表面までの横方向距離を表す。換言すれば、前記リアルタイムスキャンデータは、前記車両の周囲の前記環境を示す、少なくとも1つのデプスマップ、例えばラスタ画像を含み、前記少なくとも1つのデプスマップの各画素は前記基準面における位置と関連付けられており、各画素は、前記少なくとも1つのセンサを使用して判定される、前記環境における物体の表面に対する、例えば前記基準面に垂直な、前記横方向距離を表すチャネルを含む。前記関連するデプスマップ、例えばラスタ画像は、前記リアルタイムスキャンデータの前記輪郭を判定するために、エッジ検出アルゴリズム、好適には、前記場所基準データに適用されたのと同じエッジ検出アルゴリズムを使用して処理されうる。前記エッジ検出オペレータは、高度(又は高さ)及び縦方向の領域(ドメイン)の両方において、或いは、前記領域の1つにおいて、適用されうる。例えば、好適な実施形態では、前記エッジ検出オペレータは前記縦方向領域にのみ適用される。
実施形態では、ぼかしオペレータ(blurring operator)が、前記ローカライゼーション基準データ及び前記リアルタイムスキャンデータのうちの少なくとも1つの前記輪郭に対して、その2つのセットのデータが対応付けられる前に、適用される。前記ぼかし演算は、高度(又は高さ)及び縦方向の領域(ドメイン)の両方において、或いは、前記領域の1つにおいて、適用されうる。例えば、好適な実施形態では、前記ぼかしオペレータは前記高度領域にのみ適用される。前記ぼかし演算は、前記リアルタイムスキャンデータ及び/又は前記ローカライゼーション基準データを取得する間に前記車両の任意の傾斜(tilting)を考慮でき、その結果、例えば前記輪郭が前記高度領域においてわずかに上又は下にシフトされる。
何れかの態様又は実施形態の本発明によれば、前記車両の前記みなし現在、例えば縦方向位置が、少なくとも初期に、GPS、GLONASS、欧州ガリレオ位置決めシステム、COMPASS位置決めシステム又はIRNSS(インド地域航法衛星システム)等、衛星ナビゲーション装置等の絶対位置決めシステムから取得されうる。しかしながら、移動体通信、表面ビーコン等の、他の場所判定手段が使用されうることが理解されるだろう。
前記デジタル地図は、各ナビゲート可能要素、例えば道路、の各レーン(車線)が別個に表される、前記ナビゲート可能ネットワークの前記ナビゲート可能要素、例えば道路ネットワークの道路、を表す3次元ベクトルモデルを含んでもよい。従って、前記道路上の前記車両の横方向位置は、例えば前記車両に取り付けられたカメラの画像処理を通じて、前記車両が移動している前記レーンを判定することにより知られてもよい。そうした実施形態では、縦方向基準線は、例えば、前記ナビゲート可能要素のレーンのエッジ又は境界、又は、前記ナビゲート可能要素のレーンのセンターライン(中心線)でありうる。
前記リアルタイムスキャンデータは、前記車両の左サイド及び前記車両の右サイドで取得されてもよい。これは位置推定における一時的特徴の影響を減らすのを助ける。そうした一時的特徴は、例えば駐車車両、追い越し車両又は同じ経路を反対方向に移動する車両であってもよい。従って、リアルタイムスキャンデータは、前記車両の両サイドに存在する特徴を記録できる。いくつかの実施形態では、前記リアルタイムスキャンデータは、前記車両の左サイド又は前記車両の右サイドの何れかから取得されてもよい。
前記ローカライゼーション基準データ及び前記リアルタイムスキャンデータが前記車両の左右サイドに関する各々である実施形態では、前記車両の前記左サイドからの前記リアルタイムスキャンデータと前記ナビゲート可能要素の前記左サイドからの前記ローカライゼーション基準データとの比較、及び、前記車両の前記右サイドからの前記リアルタイムスキャンデータと前記ナビゲート可能要素の前記右サイドからの前記ローカライゼーション基準データとの比較は、単一の比較であってもよい。従って、前記スキャンデータが、前記ナビゲート可能要素の前記左サイドからのデータと、前記ナビゲート可能要素の前記右サイドからのデータとを含む場合、前記スキャンデータは、単一のデータセットとして比較されてもよく、前記ナビゲート可能要素の前記左サイドについての比較、及び、前記ナビゲート可能要素の前記右サイドについての比較が別個に実行される場合と比べて、処理要件を大いに低減させる。
車両の前記左右サイドに関するものであるかどうかに関わらず、前記リアルタイムスキャンデータを前記ローカライゼーション基準データと比較することは、前記リアルタイムスキャンデータと前記ローカライゼーション基準データとの間の相互相関、好適には正規化された相互相関を算出することを含んでもよい。前記方法は、前記データセットが最も位置合わせされる位置を判定することを含んでもよい。好適には、判定される前記デプスマップ間の前記位置合わせオフセットは、少なくとも縦方向位置合わせオフセットであり、前記データセットが最も位置合わせされる縦方向位置は、縦方向位置である。前記データセットが最も位置合わせされる縦方向位置を判定するステップは、前記リアルタイムスキャンデータに基づく前記デプスマップ、前記デプスマップにより提供された例えばラスタ画像、及び、前記ローカライゼーション基準データに基づく前記デプスマップ、前記デプスマップにより提供された例えばラスタ画像を、前記デプスマップ同士が位置合わせされるまで互いに縦方向にシフトすることを含んでもよい。これは画像領域において実行されてもよい。
前記判定された縦方向位置合わせオフセットは、前記デジタル地図に対する前記車両の前記縦方向位置を調整するように前記みなし現在位置を調整するために使用される。
前記デプスマップ間の縦方向位置合わせオフセットを判定することに代えて、或いは、好適にはこれに加えて、前記デプスマップ間の横方向位置合わせオフセットを判定することが望まれる。その場合、前記判定された横方向位合わせオフセットは、前記車両の前記みなし現在横方向位置を調整するために、従って前記デジタル地図に対する前記車両の前記位置を判定するために使用されてもよい。好適には、上記の方法の何れかで実行されてもよい、縦方向位置合わせオフセットが判定され、追加的に横方向位置合わせオフセットが判定される。前記判定された横方向及び縦方向の位置合わせオフセットは、共に前記デジタル地図に対する前記車両の前記縦方向位置及び横方向位置の両方を調整するために使用される。
前記方法は、例えば、前記ローカライゼーション基準データと前記リアルタイムスキャンデータとの相関を算出することにより、前記デプスマップ間の縦方向位置合わせオフセットを判定することを含んでもよく、さらに、前記デプスマップ間の横方向オフセットを判定することと、前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように、前記判定された横方向及び縦方向の位置合わせオフセットを使用することとを含んでもよい。
前記縦方向位置合わせオフセットは、好適には前記横方向位置合わせオフセットの前に判定される。以下に記載する任意の実施形態によれば、前記横方向位置合わせオフセットは、前記デプスマップ間の縦方向オフセットを最初に判定すること、及び、前記オフセットに基づいて前記デプスマップ同士を互いに縦方向に位置合わせすることに基づいて判定される。
前記横方向オフセットは、好適には、前記デプスマップの画素間の最も共通の、すなわち最頻値(mode)横方向オフセットに基づいて判定される。
本発明の更なる態様によれば、デジタル地図に対する車両の位置を判定する方法であって、前記デジタル地図は前記車両が移動しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含み、前記方法は、
前記ナビゲート可能ネットワークのナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記取得することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は、前記少なくとも1つのセンサを使用して判定される、前記基準面における前記画素の前記関連付けられた位置から前記所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記判定することと、
前記ローカライゼーション基準データと前記リアルタイムスキャンデータとの間の相関を算出することにより前記ローカライゼーション基準データ及び前記リアルタイムスキャンデータの前記デプスマップ間の縦方向位置合わせオフセットを判定することと、
前記デプスマップ間の横方向位置合わせオフセットを判定することであって、前記横方向オフセットは、前記デプスマップ間の対応画素間の最も共通の横方向オフセットに基づくものである、前記判定することと、
前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように、前記判定された縦方向及び横方向の位置合わせオフセットを使用することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
横方向位置合わせオフセットが判定される本発明のこれらの態様及び実施形態によれば、前記最も共通の横方向位置合わせオフセットは、前記デプスマップの前記対応画素の前記デプスチャネルデータの考慮により判定されてもよい。前記最も共通の横方向位置合わせオフセットは、前記デプスマップの対応して位置する画素のそれぞれのペア間で判定された前記判定された横方向位置合わせオフセットに基づくものであり、好適には、対応画素の各ペアの前記横方向位置合わせオフセットに基づくものである。前記デプスマップの対応画素間の前記横方向位置合わせオフセットを判定するために、前記デプスマップにおける画素の前記対応ペアが識別(特定)されなければならない。前記方法は、前記デプスマップにおける画素の対応ペアを識別することを含んでもよい。好適には、前記縦方向位置合わせオフセットは、前記横方向位置合わせオフセットの前に判定される。前記デプスマップは、各デプスマップにおける前記対応画素が識別されるのを可能にするために、前記デプスマップが縦方向に位置合わせされるまで互いに所望にシフトされる。
それ故、前記方法は、前記判定された縦方向に位置合わせオフセットに基づいて互いに縦方向に前記デプスマップ位置合わせすることをさらに含んでもよい。前記デプスマップを互いに縦方向に位置合わせするステップは、前記デプスマップの何れか又は両方を縦方向にシフトすることを含んでもよい。前記デプスマップを互いに縦方向に位置合わせするステップは、前記画像領域において実行されてもよい。従って、前記デプスマップを位置合わせするステップは、各デプスマップに対応する前記ラスタ画像を互いに縦方向にシフトすることを含んでもよい。前記方法は、前記リアルタイムスキャンデータのデプスマップにより提供される画像のサイズに一致するように、前記ローカライゼーション基準データのデプスマップにより提供される画像のサイズをクロッピングする(切り取る、トリミングする)ことを更に含んでもよい。これにより前記デプスマップ間の比較が容易にしてもよい。
前記2つのデプスマップにおける前記対応画素が識別されるとすぐに、各ペアの対応画素間の横方向オフセットが判定されてもよい。これは、各画素と関連付けられた前記デプスチャネルデータにより識別された前記基準面における前記画素の前記位置から前記所定方向に沿った前記環境における物体の表面までの距離の比較により達成されてもよい。より前に記載したように、前記デプスマップは、好適には可変のデプス方向解像度を有する。各ペアの対応画素間の前記横方向位置合わせオフセットは、前記画素の前記デプスチャネルデータにより示される前記距離の差に基づいてもよい。前記方法は、前記デプスマップの前記対応画素間の最も共通の横方向位置合わせオフセットを識別するためにヒストグラムを使用することを含んでもよい。前記ヒストグラムは、対応する画素のペア間の異なる横方向位置合わせオフセットの発生の頻度を示してもよい。前記ヒストグラムは、最も可能性の高いシフトを反映する最頻値(mode)を有する、前記横方向位置合わせシフトの確率密度関数を示してもよい。
いくつかの実施形態では、各画素は、前記画素の前記デプスチャネルの値を示す色を有する。前記対応画素の前記デプス値の前記比較は、その場合、前記デプスマップの前記対応画素の前記色を比較することを含んでもよい。前記対応画素間の色の差は、例えば前記デプスマップが固定のデプス方向解像度を有する場合、前記画素間の前記横方向位置合わせオフセットを示してもよい。
横方向位置合わせオフセットが判定されるこれらの実施形態では、前記デジタル地図に対する前記車両の前記現在の縦方向及び横方向の位置が調整されてもよい。
前記車両の前記現在が調整される本発明の態様又は実施形態の何れかによれば、前記縦方向及び/又は横方向の位置であろうとなかろうと、調整される前記現在位置は、上記したような絶対位置判定システム又は他の場所判定システム等から、任意の適当な方法で取得された前記現在位置の推定であってもよい。例えば、GPS又は推測航法(デッドレコニング)が使用されてもよい。理解されるように、前記絶対位置は、好適には、前記デジタル地図に対する初期位置を判定するために前記デジタル地図とマッチングされ、その場合、前記デジタル地図に対する前記位置を改良するために前記縦方向及び/又は横方向の補正が前記初期位置に適用される。
出願人は、上記の技術はデジタル地図に対する車両の位置を調整するのに役立つかもしれないが、前記車両の向きは補正しないだろうことを認識している。好適な実施形態では、前記方法は、前記車両のみなし向きを調整するために前記ローカライゼーション基準データ及びリアルタイムスキャンデータを使用することをさらに含む。この更なるステップは、好適には、上記の実施形態の何れか従った前記デプスマップの縦方向及び横方向の位置合わせオフセットを判定することに加えて実行される。これらの実施形態では、前記車両の前記みなし向きは、前記車両の前記みなし位置を判定することに関して記載したように、任意の適当な方法で、例えばGPSデータ等を使用して、判定されてもよい。
前記車両の前記みなし向きが不正確である場合、前記デプスマップの前記対応画素間の前記横方向位置合わせオフセットは、前記デプスマップに沿って、すなわち前記デプスマップ画像に沿って、前記縦方向に変化するだろうことが分かっている。前記デプスマップに沿った縦方向位置に対する前記デプスマップの対応画素間の横方向位置合わせオフセットの変化を示す関数に基づいて、向きオフセットが判定されてもよいことが分かっている。前記向きオフセットを判定するステップは、対応画素の前記横方向位置合わせオフセットを判定することに関して、より前に記載した特徴の何れかを組み込んでもよい。従って、前記方法は、好適には最初に、前記デプスマップを縦方向に位置合わせするために前記デプスマップを互いにシフトすることを含む。
それ故、前記方法は、前記デプスマップ間の縦方向位置合わせオフセットを判定することと、前記デプスマップに沿った前記画素の縦方向位置に対する前記デプスマップの前記対応画素間の前記横方向位置合わせオフセットの変化を示す関数を判定することと、前記デジタル地図に対する前記車両の前記向きを判定するために前記車両の前記みなし現在向きを調整するように前記判定された関数を使用することとをさらに含んでもよい。
対応画素間の前記判定された横方向位置合わせオフセットは、上記のように、好適には、前記画素の前記デプスチャネルデータにより、例えば前記画素の色を参照することにより、示される値の差に基づくものである。
これらの態様又は実施形態では、前記判定された関数は前記車両の向きオフセットを示している。
縦方向位置を伴う横方向位置合わせオフセットの変化を示す前記関数を判定するステップは、前記デプスマップの前記縦方向に沿った前記デプスマップ全体に渡る複数の垂直断面の各々における前記デプスマップの対応画素のアベレージ(すなわち平均)横方向位置合わせオフセットを判定することを含んでもよい。その場合、前記関数は、前記デプスマップの前記縦方向に沿った各垂直断面について判定された前記平均横方向位置合わせオフセットの変化に基づいて取得されてもよい。前記デプスマップにおける画素の前記対応ペアの少なくともいくつか、選択的には各々が、前記関数を判定する際に考慮されることが理解されるだろう。
本発明の更なる態様によれば、デジタル地図に対する車両の位置を判定する方法であって、前記デジタル地図は前記車両が移動しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含み、前記方法は、
前記ナビゲート可能ネットワークのナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記取得することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は、前記少なくとも1つのセンサを使用して判定される、前記基準面における前記画素の前記関連付けられた位置から前記所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記判定することと、
前記デプスマップに沿った前記画素の縦方向位置に対する前記ローカライゼーション基準データのデプスマップ及びリアルタイムスキャンデータのデプスマップの対応画素間の横方向位置合わせオフセットの変化を示す関数を判定することと、
前記デジタル地図に対する前記車両の向きを判定するために前記車両の前記みなし現在向きを調整するように、前記判定された関数を使用することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
本発明のこれらの態様又は実施形態では、例えば、ノイズのある画素を除去することにより、或いは、前記デプスマップ又は画像の縦断面内の前記平均画素デプス差分値を、当該断面において考慮される重要画素の数を参照することにより重み付けすることにより、前記判定された向きオフセットを改良するために更なるステップが取られてもよい。
上述したように、前記ローカライゼーション基準データの前記デプスマップ、及び、前記リアルタイムデータのそれも、線形基準線と常に関連付けられるように変換されうる。前記デプスマップのこの線形化のため、前記ナビゲート可能要素がカーブしている場合、前記判定された縦方向、横方向及び/又は向きの補正を直接適用することが可能ではないことが分かっている。出願人は、前記デジタル地図に対する前記車両の前記現在位置を調整又は補正するコンピュータ的に効率の良い方法は、一連のインクリメンタルな、独立した線形更新ステップにおいて前記補正の各々を適用することを含むことを認識している。
従って、好適な実施形態では、判定された縦方向オフセットが前記デジタル地図に対する前記車両の前記現在一に適用され、前記リアルタイムスキャンデータの前記少なくとも1つのデプスマップが、前記調整された一に基づいて再計算される。前記再計算されたリアルタイムスキャンデータを使用して判定された横方向オフセットは、前記デジタル地図に対する前記車両の前記調整された位置に適用され、前記リアルタイムスキャンデータの前記少なくとも1つのデプスマップは、前記更なる調整された位置に基づいて再計算される。前記再計算されたリアルタイムスキャンデータを使用して判定されたスキュー(傾斜)、すなわち向きオフセットは、前記デジタル地図に対する前記車両の前記更に調整された位置に適用され、前記リアルタイムスキャンデータの前記少なくとも1つのデプスマップは、前記再び調整された位置に基づいて再計算される。これらのステップは、好適には、縦方向オフセット、横方向オフセット及びスキューがゼロ又は略ゼロになる時まで必要に応じて何回も繰り返される。
何れかの態様又は実施形態における本発明に従って取得された、前記生成されたローカライゼーション基準データは、車両のより正確な位置を判定するために、或いは実際には他の目的で、リアルタイムスキャンデータと共に他の方法で使用されてもよいことが理解されるだろう。特に、出願人は、前記ローカライゼーション基準スキャンデータの前記デプスマップとの比較のためにリアルタイムスキャンデータを使用して対応デプスマップを判定することは、常に可能とは限らず、少なくとも使い勝手がよいとは限らないことを認識している。換言すれば、前記画像領域において前記データセットの比較を実行することは適切ではないかもしれない。これは、特に、前記車両上で利用可能なセンサの種類が、前記ローカライゼーション基準データを取得するために使用されたものと異なる場合に当てはまるかもしれない。
本発明のいくつかの更なる態様及び実施形態によれば、前記方法は、前記ナビゲート可能要素の周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用することを含み、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す。
本発明の更なる態様によれば、デジタル地図と関連付けられたローカライゼーション基準データを生成する方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表されたナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供し、前記方法は、前記デジタル地図により表された少なくとも1つのナビゲート可能要素について、
基準面に投影された前記ナビゲート可能要素の周囲の環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することであって、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記生成することと、
前記生成されたローカライゼーション基準データと前記デジタル地図データとを関連付けることと、
前記ナビゲート可能要素の周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用することであって、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す、前記使用することと、
を含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
本発明の更なる態様によれば、ナビゲート可能ネットワークの要素を表すデジタル地図と関連付けられたローカライゼーション基準データを生成する方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表された前記ナビゲート可能ネットワークの少なくとも1つのジャンクションの周囲の環境の圧縮表現を提供し、前記方法は、前記デジタル地図により表された少なくとも1つのジャンクションについて、
基準面に投影された前記ジャンクションの周囲の環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することであって、前記基準面は前記ジャンクションと関連付けられた基準点を中心とした半径により規定された基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記ジャンクションと関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記生成することと、
前記生成されたローカライゼーション基準データと前記ジャンクションを示すデジタル地図データとを関連付けることと、
前記ジャンクションの周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用することであって、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す、前記使用することと、
を含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
各第1のデータ点が前記環境における物体の表面を表す、3次元座標系での第1のデータ点のセットを含む前記基準点群は、ここでは“3次元点群”と称されてもよい。本発明のこれらの更なる態様に従って取得された前記3次元点群は、車両の位置決めを判定する際に使用されてもよい。
いくつかの実施形態では、前記方法は、デジタル地図に対する車両の位置を判定する際に何れかの態様又は実施形態における本発明の前記生成されたローカライゼーション基準データを使用することを含んでもよく、前記デジタル地図は、前記車両が移動しているナビゲート可能ネットワークのナビゲート可能を表すデータを含み、前記方法は、
前記ナビゲート可能ネットワークのナビゲート可能要素又はジャンクションに沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記車両の周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用し、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す、前記取得することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の前記環境を示す点群を含み、前記点群は、前記3次元座標系での第2のデータ点のセットを含み、各データ点は、前記少なくとも1つのセンサを使用して判定される、前記環境における物体の表面を表す、前記判定することと、
前記点群間の位置合わせオフセットを判定するために前記リアルタイムスキャンデータの前記点群と前記取得されたローカライゼーション基準データの前記点群との間の相関を算出することと、
前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含む。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
本発明の更なる態様によれば、デジタル地図に対する車両の位置を判定する方法であって、前記デジタル地図は前記車両が移動しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含み、前記方法は、
前記ナビゲート可能ネットワークのナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記取得することと、
前記車両の周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用することであって、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す、前記使用することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の前記環境を示す点群を含み、前記点群は、前記3次元座標系での第2のデータ点のセットを含み、各データ点は、前記少なくとも1つのセンサを使用して判定される、前記環境における物体の表面を表す、前記判定することと、
前記点群間の位置合わせオフセットを判定するために前記リアルタイムスキャンデータの前記点群と前記取得されたローカライゼーション基準データの前記点群との間の相関を算出することと、
前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
本発明の更なる態様によれば、デジタル地図に対する車両の位置を判定する方法であって、前記デジタル地図は前記車両が移動しているナビゲート可能ネットワークのジャンクションを表すデータを含み、前記方法は、
前記ナビゲート可能ネットワークのジャンクションにおける前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記基準面は前記ジャンクションと関連付けられた基準点を中心とした半径により規定された基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ジャンクションと関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記取得することと、
前記車両の周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用することであって、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す、前記使用することと、
少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の前記環境を示す点群を含み、前記点群は、前記3次元座標系での第2のデータ点のセットを含み、各データ点は、前記少なくとも1つのセンサを使用して判定される、前記環境における物体の表面を表す、前記判定することと、
前記点群間の位置合わせオフセットを判定するために前記リアルタイムスキャンデータの前記点群と前記取得されたローカライゼーション基準データの前記点群との間の相関を算出することと、
前記デジタル地図に対する前記車両の前記位置を判定するために前記みなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含む方法が提供される。
各第2のデータ点が前記環境における物体の表面を表す3次元座標系での第2のデータ点のセットを含むこれらの更なる態様における前記基準点群は、ここでは“3次元点群”と称されてもよい。
本発明のこれらの態様又は実施形態では、前記ローカライゼーション基準データは3次元基準点群を取得するために使用される。これは、前記データが関連する前記ナビゲート可能要素又はジャンクションの周囲の前記環境を示し、よって、前記ナビゲート可能要素に沿って又は前記ジャンクションを通って移動する際の車両の周囲の前記環境を示す。前記リアルタイムセンサデータの前記点群は、前記車両の周囲の前記環境に関し、それ故、前記車両が位置する前記ナビゲート可能要素又はジャンクションの周囲の前記環境に関するものと称されてもよい。いくつかの好適な実施形態では、前記ローカライゼーション基準データに基づいて取得された前記3次元点群は、前記リアルタイムスキャンデータに基づいて(すなわち、前記関連する要素上を又は前記ジャンクションを通って移動する際に)取得された前記車両の周囲の前記環境を示す3次元点群と比較される。前記車両の前記位置は、例えばラスタ画像等のデプスマップの比較ではなく、この比較に基づいて調整されてもよい。
前記リアルタイムスキャンデータ点群は、前記車両と関連付けられた1以上のセンサを使用して取得される。単一のセンサ又は複数のそうしたセンサが使用されてもよく、後者の場合、センサの種類の任意の組み合わせが使用されてもよい。前記センサは、1つ以上のレーザスキャナのセット、1つ以上のレーダスキャナのセット、及び、1つ以上のカメラのセット、例えば単一カメラ又はペアのステレオカメラ、のうちの任意の1つ又は複数を含んでもよい。単一のレーザスキャナ、レーダスキャナ及び/又はカメラが使用されてもよい。前記車両が1つのカメラ又は複数のカメラと関連付けられている場合、前記1つ以上のカメラから取得された画像は、前記車両の周囲の前記環境を示す3次元シーンを構築するために使用されてもよく、前記3次元点群は、前記3次元シーンを使用して取得されてもよい。例えば、前記車両が単一のカメラを使用する場合、前記車両が前記ナビゲート可能要素に沿って又は前記ジャンクションを通って移動するにつれて前記カメラから一連の2次元画像を取得し、3次元シーンを構築するために前記一連の2次元画像を使用し、且つ、前記3次元点群を取得するために前記3次元シーンを使用することにより、そこから点群が取得されてもよい。前記車両がステレオカメラと関連付けられている場合、当該カメラから取得された前記画像は、前記3次元点群を取得するために使用される3次元シーンを取得するために使用されてもよい。
前記ローカライゼーション基準データの前記デプスマップを3次元点群へ変換することによって、それは、前記車両センサを使用して前記リアルタイムスキャンデータを通じて取得された3次元点群と、それらが何であるかに関わらず、比較されてもよい。例えば、前記ローカライゼーション基準データは、レーザスキャン、カメラ及びレーダスキャナを含む様々なセンサの種類を使用した基準スキャンに基づいてもよい。車両は、対応するセンサのセットを有してもよいし、有していなくてもよい。例えば、一般的に車両は1つ以上のカメラを含むのみであってもよい。
前記ローカライゼーション基準データは、前記車両の前記少なくとも1つのセンサにより生成されることが期待される点群に対応する、前記車両の周囲の前記環境を示す基準点群を判定するために使用されてもよい。前記基準点群が、前記車両のセンサと同じ種類のセンサを使用して取得された場合、これは単純であるかもしれず、前記ローカライゼーション基準データの全てが前記3次元点群を構築する際に使用されてもよい。同様に、ある条件下では、1つの種類のセンサより撮影されたデータが別のセンサにより撮影されたものと類似していてもよい。例えば、前記基準ローカライゼーションデータを提供する際にレーザセンサにより撮影された物体が、日中に車両のカメラにより撮影されることも期待されてもよい。しかしながら、前記方法は、前記車両と関連付けられた前記種類の1つのセンサ又は複数のセンサにより検出されることが期待される、且つ/又は、現在の条件下で検出されることが期待される、点群のみを前記3次元点群内に含めることを含んでもよい。前記ローカライゼーション基準データは、適切な基準点群が生成されるのを可能にするデータを含んでもよい。
いくつかの実施形態では、上述したように、前記ローカライゼーション基準データは、撮影反射率の値を示す少なくとも1つのチャネルを更に含んでもよい。各画素は、撮影レーザ反射率の値を示すチャネル、及び、撮影レーダ反射率の値を示すチャネルのうちの1つ以上を含んでもよい。好適には、レーダ反射率及びレーザ反射率の両方を示すチャネルが提供される。前記ローカライゼーション基準データに基づいて前記3次元点群を生成するステップは、好適には、前記撮影反射率データを使用して実行される。前記3次元点群の前記生成は、前記車両の前記種類の1つのセンサ又は複数のセンサに基づいてもよい。前記方法は、前記基準3次元点群に含めるための3次元点を選択するために、前記反射率データ、及び、前記車両の前記種類の1つのセンサ又は複数のセンサを示すデータを使用することを含んでもよい。前記反射率チャネルの前記データは、前記3次元点群の生成用の前記デプスチャネルからデータを選択するために使用される。前記反射率チャネルは、(適宜、現在の条件下で)特定の物体が前記関連するセンサ種類により撮影されるかどうかの指標を付与する。
例えば、前記基準データがレーザスキャナ及びレーダスキャナから取得されたデータに基づくものであり且つ前記車両がレーダスキャナのみを有する場合、前記レーダ反射率は、前記車両の前記レーダスキャナにより撮影されることが期待される前記3次元点群に含めるための点を選択するために使用されてもよい。いくつかの実施形態では、各画素はレーダ反射率を示すチャネルを含み、前記方法は、レーダセンサにより撮影される点のみを含む3次元基準点群を生成するために前記レーダ反射率データを使用するステップを含む。前記方法が、前記3次元基準点群を、前記リアルタイムスキャンデータに基づいて取得された3次元点群と比較することを更に含む場合、前記リアルタイムスキャンデータの前記3次元点群はレーダスキャナから取得されたデータに基づくものである。前記車両はレーダスキャナのみを含んでもよい。
車両がレーダ及び/又はレーザスキャナを含んでもよい一方、多くの場合、自動車は1つのカメラ又は複数のカメラのみを含んでもよい。前記レーザ反射率データは、暗い条件下でセンサのような1つのカメラ又は複数のカメラのみを有する車両により撮影されることが期待される3次元点群と対応付ける3次元基準点群を取得する方法を提供してもよい。前記レーザ反射率データは、夜間にカメラにより検出されることが期待されてもよい複数の物体の指標を提供する。いくつかの実施形態では、各画素はレーザ反射率を示すチャネルを含み、前記方法は、暗い条件の間に車両のカメラにより撮影される点のみを含む3次元基準点群を生成するために前記レーザ反射率データを使用するステップを含む。前記方法が、前記3次元基準点群を、前記リアルタイムスキャンデータに基づいて取得された3次元点群と比較することを更に含む場合、前記リアルタイムスキャンデータの前記3次元点群は、暗い条件下でカメラから取得されたデータに基づいてもよい。
3次元点群の形式で基準ローカライゼーションデータを取得すること、及び、基準ビュー、例えば、適用可能条件下で車両の1つ以上のカメラから取得されることが期待され且つ前記カメラにより取得された画像と比較されてもよい画像、を再構築するために当該データを使用することは、それ自体で利点があると思われる。
いくつかの実施形態では、前記方法は、適用可能条件下でデジタル地図により表されたナビゲート可能ネットワークのナビゲート可能要素に沿って又はジャンクションを通って移動する車両と関連付けられた1つ以上のカメラから取得されることが期待されるビューを再構築する際に何れかの態様又は実施形態における本発明の前記生成されたローカライゼーション基準データを使用することを含んでもよく、前記方法は、前記ナビゲート可能ネットワークのナビゲート可能要素又はジャンクションに沿った或いは前記ジャンクションでの前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することと、前記車両の周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用することであって、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す、前記使用することと、前記適用可能条件下で前記ナビゲート可能要素又は前記ジャンクションを移動する際に前記車両と関連付けられた前記1つ以上のカメラにより取得されることが期待される基準ビューを再構築するために前記基準点群を使用することとを含む。前記方法は、前記1つ以上のカメラを使用して前記車両の周囲の前記環境のリアルタイムビューを判定することと、前記基準ビューを、前記1つ以上のカメラにより取得された前記リアルタイムビューと比較することとを更に含んでもよい。
本発明の更なる態様によれば、適用可能条件下でデジタル地図により表されたナビゲート可能ネットワークのナビゲート可能要素に沿って移動する車両と関連付けられた1つ以上のカメラから取得されることが期待されるビューを再構築する方法であって、
前記ナビゲート可能ネットワークのナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記基準面は前記ナビゲート可能要素と関連付けられた基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記取得することと、
前記車両の周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用することであって、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す、前記使用することと、
前記適用可能条件下で前記ナビゲート可能要素を移動する際に前記車両と関連付けられた前記1つ以上のカメラにより取得されることが期待される基準ビューを再構築するために前記基準点群を使用することと、
前記1つ以上のカメラを使用して前記車両の周囲の前記環境のリアルタイムビューを判定することと、
前記基準ビューを前記1つ以上のカメラにより取得された前記リアルタイムビューと比較することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
本発明の更なる態様によれば、適用可能条件下でデジタル地図により表されたナビゲート可能ネットワークのジャンクションを通って移動する車両と関連付けられた1つ以上のカメラから取得されることが期待されるビューを再構築する方法であって、
前記ナビゲート可能ネットワークのナビゲート可能要素に沿った前記車両のみなし現在位置について前記デジタル地図と関連付けられたローカライゼーション基準データを取得することであって、前記場所基準データは、基準面に投影された前記車両の周囲の環境を示す少なくとも1つのデプスマップを含み、前記基準面は前記ジャンクションと関連付けられた基準点を中心とした半径により規定された基準線により規定されており、前記少なくとも1つのデプスマップの各画素は前記車両が移動している前記ジャンクションと関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含む、前記取得することと、
前記車両の周囲の前記環境を示す基準点群を判定するために前記ローカライゼーション基準データを使用することであって、前記基準点群は3次元座標系での第1のデータ点のセットを含み、各第1のデータ点は前記環境における物体の表面を表す、前記使用することと、
前記適用可能条件下で前記ナビゲート可能要素を移動する際に前記車両と関連付けられた前記1つ以上のカメラにより取得されることが期待される基準ビューを再構築するために前記基準点群を使用することと、
前記1つ以上のカメラを使用して前記車両の周囲の前記環境のリアルタイムビューを判定することと、
前記基準ビューを前記1つ以上のカメラにより取得された前記リアルタイムビューと比較することとを含む方法が提供される。
この更なる態様に従った本発明は、互いに矛盾しない程度に、本発明の他の態様に関して記載された特徴の何れか又は全てを含んでもよい。
本発明のこれらの態様は、車両の(複数の)カメラにより取得されたリアルタイムビューと比較されてもよいが、異なる種類のセンサから取得されてもよいローカライゼーション基準データに基づいてもよい、基準ビューが構築されるのを可能にする際に有利である。実際には、前記基準データを取得するために使用されてもよいような、より特定の又は洗練されたセンサではなく、多くの車両が1つのカメラ又は複数のカメラを備えるのみだろうことが認識されている。
本発明のこれらの更なる態様又は実施形態では、前記基準ビュー及び前記リアルタイムビューとの前記比較の結果は、所望のように使用されてもよい。例えば、前記比較の前記結果は、より前の態様及び実施形態で記載したように前記車両の前記位置を判定する際に使用されてもよい。前記方法は、前記ビュー間の位置合わせオフセットを判定するために前記リアルタイムビューと前記基準ビューとの間の相関を差出することと、前記デジタル地図に対する前記車両の前記位置を判定するために前記車両のみなし現在位置を調整するように前記判定された位置合わせオフセットを使用することとを含んでもよい。
前記適用可能条件は、現在適用可能な条件であり、照明条件であってもよい。いくつかの実施形態では、前記適用可能条件は暗さの条件である。
前記基準ビューは、上述の何れかの実施形態に従った前記ローカライゼーション基準データから取得されてもよい3次元点群を使用して再構築される。前記1つ以上のカメラにより取得されることが期待される前記基準ビューを再構築するステップは、好適には、前記ローカライゼーション基準データの前記デプスマップの前記画素と関連付けられた反射率データチャネルのデータを使用することを含む。それ故、好適には、前記ローカライゼーション基準データの各画素は撮影レーザ反射率の値を示す少なくとも1つのチャネル更に含み、前記ローカライゼーション基準データに基づいて前記3次元点群を生成するステップは、前記撮影レーザ反射率データを使用して実行される。前記レーザ反射率データは、例えば暗闇等の適用可能条件下で見られることが意図されうる物体を含む、前記車両の前記1つ以上のカメラから取得されることが期待されうるビューに対応する前記再構築された基準ビューという結果をもたらすために、前記基準3次元点群の生成用に前記デプスチャネルからデータを選択するために使用されてもよい。 前記車両の前記1つ以上のカメラは、上述したように、単一のカメラ、又はペアのステレオカメラであってもよい。
様々な態様及び実施形態における本発明に従って実行されてもよい前記リアルタイムスキャンデータの前記ローカライゼーション基準データとの前記比較は、デプスマップの比較、点群の比較、再構築及びリアルタイムの画像によるかどうかに関わらず、データのウィンドウを通じて実行されてもよい。データの前記ウィンドウは、移動方向のデータ、例えば縦方向データ、のウィンドウである。従って、前記データをウィンドウ化することは、前記比較が利用可能データのサブセットを考慮することを可能にする。前記比較は、重畳ウィンドウについて定期的に実行されてもよい。前記比較に使用されるデータのウィンドウにおける少なくともいくつかの重畳が望まれる。例えば、これは、近傍の算出された、例えば縦方向オフセット値の間の差が前記データを通じて平滑化されることを保証してもよい。前記ウィンドウは、一時的特徴に対して不変であるように前記オフセット算出の精度のために十分な長さを有してもよく、好適には前記長さは少なくとも100mである。そうした一時的特徴は、例えば駐車車両、追い越し車両又は同じ経路を反対方向に移動する車両であってもよい。いくつかの実施形態では、前記長さは少なくとも50mである。いくつかの実施形態では、前記長さは200mである。このように、前記撮影環境データは、道路のストレッチ(例えば縦方向ストレッチ)、前記“ウィンドウ”、例えば200mについて判定され、結果データは道路の前記ストレッチについて前記ローカライゼーション基準データと比較される。このサイズ、すなわち前記車両の前記長さよりも実質的に大きいサイズの道路のストレッチにおける前記比較を実行することによって、前記道路上の他の車両、前記道路のサイドで停止した車両等の非定常の又は一時的な物体は、通常、前記比較の結果に影響を与えないだろう。
何れかの態様又は実施形態における本発明に従って使用される前記ローカライゼーション基準データの少なくとも一部が遠隔に格納されてもよい。好適には、車両が関与する場合、前記ローカライゼーション基準データの少なくとも一部は前記車両にローカルに格納される。従って、例え前記ローカライゼーション基準データが前記経路を通じて利用可能であったとしても、それが前記車両に継続的に転送される必要はないし、前記比較は前記車両上で実行されてもよい。
前記ローカライゼーション基準データは、圧縮フォーマットで格納されてもよい。前記ローカライゼーション基準データは、30KB/km以下に対応するサイズを有してもよい。
前記ローカライゼーション基準データは、前記デジタル地図に表された前記ナビゲート可能ネットワークの前記ナビゲート可能要素の少なくともいくつか、好適には全てについて格納されてもよい。従って、前記車両の前記位置は、車両が移動する経路に沿ったあらゆる場所で継続的に判定されうる。
実施形態では、前記ローカライゼーション基準データは、車両が実質的に移動する前記ナビゲート可能要素に沿って以前に移動したモバイルマッピング車両に配置された少なくとも1つの装置を使用した基準スキャンから取得されていてもよい。従って、前記基準スキャンは、位置が継続的に判定されている前記現在の車両とは異なる車両を使用して取得されていてもよい。いくつかの実施形態では、前記モバイルマッピング車両は、前記位置が継続的に判定されている前記車両に似たデザインである。
前記リアルタイムスキャンデータ及び/又は前記基準スキャンデータは、少なくとも1つのレンジファインダセンサを使用して取得されてもよい。前記レンジファインダセンサは、単一の軸に沿って動作するように構成されてもよい。前記レンジファインダセンサは、垂直軸においてスキャンを実行するように構成されてもよい。前記スキャンが前記垂直軸において実行される場合、複数の高さでの面の距離情報が収集され、従って、前記結果スキャンは大いにより詳細なものとなる。或いは又は更に、前記レンジファインダセンサは、水平軸においてスキャンを実行するように構成されてもよい。
前記レンジファインダセンサは、レーザスキャナであってもよい。前記レーザスキャナは、ミラーを使用して前記横方向環境に渡ってスキャンされるレーザビームを含んでもよい。或いは又は更に、前記レンジファインダセンサは、レーダスキャナ及び/又はペアのステレオカメラであってもよい。
本発明は、ここに記載した方法の何れかを実行するように構成された、例えばプログラムされた、1つ以上のプロセッサ等の手段を有する装置、例えばナビゲーション装置、車両等に及ぶ。
ここで記載したローカライゼーション基準データを生成するステップは、好適にはサーバ又は他の類似のコンピュータ装置により実行される。
前記方法のステップの何れかを実行する手段は、それを行うように構成された、例えばプログラムされた1つ以上のプロセッサのセットを備えてもよい。所与のステップは、任意の他のステップと同一の又は異なるセットのプロセッサを使用して実行されてもよい。任意の所与のステップは、プロセッサのセットの組み合わせを使用して実行されてもよい。前記システムは、例えば、前記デジタル地図、前記ローカライゼーション基準データ及び/又は前記リアルタイムスキャンデータを格納するためのコンピュータメモリ等のデータ記憶手段を更に備えてもよい。
本発明の方法は、好適な実施形態では、サーバ又は類似のコンピュータ装置により実施される。換言すれば、本発明の方法は好適にはコンピュータ実施方法である。従って、実施形態では、本発明の前記システムは、記載した様々なステップを実行する手段を備えるサーバ又は類似のコンピュータ装置を備え、ここに記載した前記方法はサーバにより実行される。
本発明は更に、ここに記載した前記方法の何れかを実行する、或いは、装置に実行させることを実行可能なコンピュータ可読命令を含むコンピュータプログラム製品に及ぶ。前記コンピュータプログラム製品は好適には非一時的(継続性のある)物理的格記憶媒体に格納される。
当業者に理解されるように、本発明の態様又は実施形態は、必要に応じて、本発明の何れかの他の態様に関してここで記載した本発明の好ましい且つ選択的な特徴の何れか1つ以上又は全てを含むことができ、好適には含む。
本発明の実施形態が、添付の図面を参照して、ほんの一例として記載されるだろう。
図1は、プランニング地図の一部の表現である。 図2は、道路ネットワークの画像上に重畳されたプランニング地図の一部を示す。 図3及び図4は、地図を構築するためのデータを収集するために使用されうる例示的なモバイルマッピングシステムを示す。 図5は、レーザスキャナから取得されたデータの3Dビューを示す。 図6は、レーザスキャナから取得されたデータのサイドビュー投影を示す。 図7は、実施形態に従った、周囲を撮影しながら道路を移動する車両を示す。 図8は、例えば図の車両により収集されるような、撮影環境データに対するローカライゼーション基準データの比較を示す。 図9は、どのようにしてローカライゼーション基準データが格納されうるのかの例示的なフォーマットを示す。 図10Aは、道路を移動する車両に取り付けられた光学視差式距離計センサにより取得される例示点群(ポイントクラウド)を示す。 図10Bは、この点群データが2つのデプスマップに変換されていることを示す。 図11は、実施形態における正規化された相互相関算出の後に判定されたオフセットを示す。 図12は、“基準”データセット及び“局所計測”データセットの間で実行された相関の別の例を示す。 図13は、実施形態に従った車両内に位置するシステムを示す。 図14Aは、ローカライゼーション基準データのストレッチの一部である例示的なラスタ画像を示す。 図14Bは、道路の左右における2つの別個のレーンとしての図14Aのデータの鳥瞰斜視図を示す。 図15Aは、ローカライゼーション基準データ及びリアルタイムスキャンデータの、固定の縦方向解像度及び可変の、例えば非線形の、垂直及び/又はデプス(深さ)の解像度を示す。 図15Bは、画素Yの座標値に対する基準線上の高さをマッピングする関数を示す。 図15Cは、基準線から画素デプス値に距離をマッピングする関数を示す。 図15Dは、3次元プロットにおける、固定の縦方向画素解像度、可変の垂直画素解像度、及び可変のデプス値解像度を示す。 図16Aは、道路要素と関連付けられた基準線により規定された基準面上への直交投影を示す。 図16Bは、直交投影を使用して取得されたサイドデプスマップを示す。 図16Cは、道路要素と関連付けられた基準線により規定された基準面上への非直交投影を示す。 図16Dは、非直交投影を使用して取得されたサイドデプスマップを示す。 図17は、デプスマップのマルチチャネルデータフォーマットを示す。 図18は、交差道路でデプスマップを構築する時に使用されてもよい円形及び線形の基準線を示す。 図19Aは、物体が異なる角度位置で円形デプスマップ上に投影されてもよい方法を示す。 図19Bは、デプスマップを提供するための基準面への物体の直交投影を示す。 図20Aは、基準デプスマップ及び対応するリアルタイムデプスマップを示す。図20Bは、基準デプスマップ及びリアルタイムデプスマップの縦方向相関から取得された縦方向相関を示す。図20Cは、基準デプスマップ及びリアルタイムデプスマップにおける対応画素の画素デプス値の間のヒストグラム差から取得された横方向相関を示す。図20Dは、道路上の車両の縦方向位置及び横方向位置が補正されてもよい方法を示す。 図21Aは、基準デプスマップの対応部分を通る垂直スライスのセットを示す。図21Bは、デプスマップに沿った垂直スライスの縦方向距離に対する垂直スライスの平均画素デプス差を示す。 図22は、カーブした道路の画像、及び、当該道路の対応する線形基準画像を示す。 図23A及び図23Bは、例えば非線形環境において、車両の位置を確立する方法を示す。 図24は、デジタル地図に対して車両の位置を特定する(車両をローカライズする)ためにデータ車両センサが基準データと関連付けられる例示的なシステムを示す。 図25A、図25B及び図25Cは、車両レーザセンサから取得された3D点群と比較される3D点群を構築するために基準デプスマップが使用される第1の例示的ユースケースを示す。 図26A、図26B、図26C及び図26Dは、複数の車両カメラ又は単一の車両カメラから取得された3Dシーン又ビューと比較される3D点群又はビューを構築するために基準デプスマップが使用される第2の例示的ユースケースを示す。 図27A、図27B及び図27Cは、車両カメラから取得された3Dシーン又ビューと比較される3D点群又はビューを構築するためにデプスマップの反射率データが使用される第3の例示的ユースケースを示す。 図28A及び図28Bは、車両レーダを使用して取得された3Dシーンと比較される3D点群を構築するためにデプスマップのレーダデータが使用される第4の例示的ユースケースを示す。 図29は、本発明の実施形態で使用される異なる座標系を示す。 図30は、車両の位置を判定するために車両センサを基準データと関連付ける時に実行されるステップを描写する。 図31は、図30の方法におけるレーザ点群を判定するために実行されるステップを示す。 図32Aは、図30の方法における相関付け(関連付け)ステップを実行する第1の例示的方法を示す。 図32Bは、図30の方法における相関付け(関連付け)ステップを実行する第2の例示的方法を示す。
(ナビゲート可能ネットワーク、例えば道路を表す)デジタル地図に対する車両等の装置の位置を判定する改良方法が必要とされていることが認識されている。特に、デジタル地図に対する装置の縦方向位置が、正確に、例えばサブメータ精度で判定されうることが必要とされる。本願の用語“縦方向(longitudinal)”は、装置、例えば車両が移動しているナビゲート可能ネットワークの一部分に沿った方向、換言すれば車両が移動している道路の長さに沿った方向を指す。本願の用語“横方向(lateral)”は、縦方向に垂直であるという通常の意味を持ち、従って道路幅に沿った方向を指す。
理解されるように、デジタル地図は、上述したようなプランニング地図”、例えば(標準地図のような道路のセンターラインに対して対照的に)別個に表した道路の各レーンを有する3次元ベクトルモデルを含む場合、装置、例えば車両の横方向位置は単に装置が現在移動しているレーンを判定することを含む。そのような判定を行うための様々な技術が知られている。例えば、全地球的航法衛星システム(GNSS)受信機から取得される情報を使用するだけで判定が行われうる。更に又は或いは、カメラ、レーザ又は装置と関連付けられた他の撮影センサが使用されうる。例えば、近年、実質的なリサーチが実行されており、車両が移動しているレーンを解析及び追跡するために、例えば様々な画像処理技術を使用して車両内に取り付けられた1つ以上のビデオカメラからの画像データが解析される。1つの例示的な技術が、Intelligent Vehicles Symposium, page 1297-1302. IEEE, (2013)の会報で公開されたJunhwa Hur, Seung-Nam Kang, and Seung-Woo Seo が著者である“Multi-lane detection in urban driving environments using conditional random fields”で立案されている。ここで、装置は、ビデオカメラ、レーダ及び/又はLIDARセンサからのデータフィードを提供されてもよく、装置が移動している装置又は車両の現在のレーンを判定するためにリアルタイムで受信データを処理するために適切なアルゴリズムが使用される。或いは、Mobileye N.V.から利用可能なモバイルアイシステム等の別の装置又はデバイスが、これらのデータフィードに基づいて車両の現在のレーンの判定を提供し、例えば有線接続又はBluetooth接続により現在のレーンの判定を装置に供給してもよい。
実施形態では、車両の縦方向位置は、車両の周囲の環境、好適には車両のサイドの1つ又は両方に関する、リアルタイムスキャンを、デジタル地図と関連付けられた環境の基準スキャンと比較することにより判定されうる。この比較から、もしあれば縦方向オフセットが判定でき、判定されたオフセットを使用して車両の位置がデジタル地図にマッチングされる。それ故、デジタル地図に対する車両の位置は、常に高精度で既知でありうる。
車両の周囲の環境のリアルタイムスキャンは、車両に位置する少なくとも1つのレンジファインダセンサを使用して取得されうる。少なくとも1つのレンジファインダセンサは、任意の適当な形式をとることができるが、好適な実施形態ではレーザスキャナ、すなわちLIDAR装置を含む。レーザスキャナは、環境に渡ってレーザビームをスキャンし、環境の点群表現を作成するように構成されることができ、各点はレーザが反射される物体の表面の位置を示している。理解されるように、レーザスキャナは、レーザビームが物体の表面から反射された後スキャナに戻るのにかかる時間を記録するように構成されており、記録された時間は各点までの距離を判定するために使用されうる。好適な実施形態では、レンジファインダセンサは、例えば50-90°の間、70°等の任意の取得角度内でデータを取得するように単一の軸に沿って動作するように構成され、例えばセンサがレーザスキャナを備える場合、レーザビームが装置内のミラーを使用してスキャンされる。
車両100が道路に沿って移動している実施形態が図7に示される。車両は、車両の各サイドに位置するレンジファインダセンサ101、102を備えている。センサは車両の各サイドに示されているが、他の実施形態では車両の1つのサイドにおける単一のセンサのみが使用されうる。好適には、以下でより詳細に議論されるように、各センサからのデータが合成されうるようにセンサは適切に位置合わせされる。
国際公開第2011/146523号は、3次元点群の形式で基準データを撮像する車両で使用されてもよい、或いは、周囲の環境に関するリアルタイムデータを取得するために自律車両でも使用されうる、スキャナの例を提供する。
上述したように、(複数の)レンジファインダセンサは、単一の軸に沿って動作するように構成されうる。一実施形態では、センサは、水平方向に、すなわち、道路の表面に平行な面において、スキャンを実行するように構成されうる。これは、例えば図7に示される。車両が道路に沿って移動しながら環境を継続的にスキャンすることによって、図8に示されるような撮影環境データが収集されうる。データ200は、左のセンサ102から収集されたデータであり、物体104を示す。データ202は、右のセンサ101から収集されたデータであり、物体106及び108を示す。他の実施形態では、センサは、垂直方向に、すなわち、道路の表面に垂直な面において、スキャンを実行するように構成されうる。車両が道路に沿って移動しながら環境を継続的にスキャンすることによって、図6の方法で環境データを収集することができる。理解されるように、垂直方向にスキャンを実行することによって、複数の高さの面について距離情報が収集され、従って結果のスキャンが大いにより詳細なものとなる。もちろん、スキャンは所望の任意の軸に沿って実行されうることが理解されるだろう。
環境の基準データは以前に道路を移動した1つ以上の車両から取得され、それは、デジタル地図と適切に位置合わせされて関連付けられる。基準スキャンは、デジタル地図と関連付けられたデータベースに格納され、ここではローカライゼーション基準データ(位置特定基準データ)と称される。デジタル地図とマッチングされる場合のローカライゼーション基準データの組み合わせは、ローカライゼーション地図と称されうる。理解されるように、ローカライゼーション地図は、車両とは離れた所で、通常はTomTom International B.V.又はここではNokia company等のデジタル地図作成会社によって、作成されるだろう。
基準スキャンは、例えば図3に示されるようなモバイルマッピング車両等の専門車両から取得されうる。しかしながら、好適な実施形態では、基準スキャンは、車両がナビゲート可能ネットワークに沿って移動しながら当該車両により収集される撮影環境データから判定されうる。この撮影環境データは、ローカライゼーション地図を作成、維持、及び更新するために、格納されて定期的にデジタルマッピング会社へ送信される。
ローカライゼーション基準データは、好適には車両でローカルに格納されるが、データは遠隔に格納されうることが理解されるだろう。実施形態では、特にローカライゼーション基準データがローカルに格納される場合、データは圧縮フォーマットで格納される。
実施形態では、ローカライゼーション基準データは、道路ネットワーク内において道路の各サイドについて収集される。そのような実施形態では、道路の各サイドについて基準データが別個に格納されることができ、或いは、合成データセットにおいて共に格納されうる。
実施形態では、ローカライゼーション基準データは、画像データとして格納されうる。画像データはカラー、例えばRGBの画像、又はグレイスケール画像でありうる。
図9は、どのようにローカライゼーション基準データが格納されうるのかの例示的なフォーマットを示す。この実施形態では、道路の左サイドについての基準データが画像の左サイドに提供され、道路の右サイドについての基準データが画像の右サイドに提供される。特定の縦方向位置についての左サイド基準データセットが、同じ縦方向位置についての右サイド基準データセットと反対にして示されるように、データセットが位置合わせされる。
図9の画像において、説明目的のみで、縦方向画素サイズは0.5mであり、センターラインの各サイドに40画素がある。画像が、カラー(RGB)画像ではなくグレイスケール画像として格納されうることも判定されている。このフォーマットで画像を格納することによって、ローカライゼーション基準データは、30KB/kmに対応するサイズを有する。
図10A及び図10Bに更なる例が示されうる。図10Aは、道路を移動する車両に取り付けられたレンジファインディングセンサにより取得された例示的な点群を示す。図10Bにおいて、この点群データは2つのデプスマップに変換されており、一方は車両の左サイドに対するものであり、他方は車両の右サイドに対するものであり、それらは合成画像を形成するために各々の近くに配置されている。
上述したように、車両により判定された撮影環境データは、オフセットが存在するかどうか判定するためにローカライゼーション基準データと比較される。任意の判定されたオフセットは、デジタル地図上の現在位置と正確に間チングされるように車両の位置を調整するために使用されうる。この判定されたオフセットは、ここでは相関インデックスと称される。
実施形態では、撮影環境データが、道路の縦方向ストレッチ、例えば200mについて判定され、結果データ、例えば画像データが、道路のストレッチについてのローカライゼーション基準データと比較される。このサイズ、すなわち車両の長さよりも実質的に大きいサイズの道路のストレッチにおける比較を実行することによって、道路上の他の車両、道路のサイドで停止した車両等の非定常の又は一時的な物体は、通常、比較の結果に影響を与えないだろう。
比較は、データセットが最も位置合わせされる縦方向位置を判定するように、撮影環境データ及びローカライゼーション基準データの間の相互相関を算出することによって実行される。最大位置合わせでの両方のデータセットの縦方向位置の間の差異は、縦方向オフセットが判定されることを可能にする。これは、例えば図8の撮影環境データ及びローカライゼーション基準データの間で示されるオフセットによって見られうる。
実施形態では、データセットが画像として提供される場合、明るさ、照明条件の差異が、ローカライゼーション基準データ及び撮影環境データの間の差異が軽減されうるように、相互相関は正規化された相互相関演算を含む。好適には、比較は、車両が道路に沿って移動するにつれて任意のオフセットが継続的に判定されるように、例えば200mの長さの重複ウィンドウについて定期的に実行される。図11は、例示的実施形態において、描写されたローカライゼーション基準データ及び描写された撮影環境データの間の正規化された相互相関算出の後に、判定されたオフセットを示す。
図12は、“基準”データセット及び(道路に沿って移動するにつれて車両により取得される)“局所計測”データセットの間で実行された相関の更なる例を示す。2つの画像間の相関の結果は、“縦方向相関インデックス”に対する“シフト”のグラフに見ることができ、最大ピークの位置は図解されたベストフィットシフトを判定するために使用され、それはデジタル地図に対する車両の縦方向位置を調整するために使用されうる。
図9、図10B、図11及び図12から見られるように、ローカライゼーション基準データ及び撮影環境データは、好適にはデプスマップの形式であり、各要素(例えばデプスマップが画像として格納される場合は画素)は、(道路に沿った)縦方向位置を示す第1の値、高さ(すなわち地面上の高度)を示す第2の値、及び、(道路を横切る)横方向位置を示す第3の値を含む。それ故、デプスマップの各要素、例えば画素は、事実上車両の周囲の環境の表面の一部に対応する。理解されるように、各要素、例えば画素によって表される表面のサイズは圧縮の量で変化するだろうし、その結果、要素、例えば画素は、デプスマップ(又は画像)のより高いレベルの圧縮があればより大きな表面積を表すだろう。
実施形態では、ローカライゼーション基準データは、装置のデータ格納手段、例えばメモリに格納される場合、比較ステップは、車両内の1つ以上のプロセッサで実行されうる。他の実施形態では、ローカライゼーション基準データは車両から遠隔に格納される場合、撮影環境データは、例えば移動体通信ネットワークを介して、無線接続を通じてサーバへ送信されうる。ローカライゼーション基準データにアクセスするサーバは、任意の判定されたオフセットを、例えば再び移動体通信ネットワークを使用して車両へ戻す。
本発明の実施形態に従った、車両内に位置する例示的なシステムが図13に描写される。このシステムでは、相関インデックスプロバイダユニットと称される処理装置が、車両の左サイドに関する環境を検出するために位置するレンジファインディングセンサ及び車両の右サイドに関する環境を検出するために位置するレンジファインディングセンサからのデータフィードを受信する。処理装置は、(好適にはプランニング地図の形式である)デジタル地図及び当該デジタル地図と適切にマッチングされる場所基準データのデータベースにもアクセスする。処理装置は、上述の方法を実行するように構成され、従って、選択的に、データフィードを適切な形式に、例えば両方のセンサからのデータを合成する画像データに変換した後に、縦方向オフセット及び従ってデジタル地図に対する車両の正確な位置を判定するためにレンジファインディングセンサからのデータフィードをローカライゼーション基準データと比較するように構成される。システムは、水平プロバイダユニットも備え、それは、車両がまさに移動しようとしているナビゲート可能ネットワークの近づきつつある部分に関する(“水平データ”と称される)情報を提供するために車両の判定された位置及びデジタル地図内のデータを使用する。この水平データは、例えばアダプティブ・クルーズ・コントロール、自動レーン変更、エマージェンシー・ブレーキ・アシスト等の様々な支援又は自動運転操作実行するように車両内の1つ以上のシステムを制御するために使用されうる。
要約すると、本発明は、少なくとも好適な実施形態では、縦方向相関に基づく位置決め方法に関するものである。車両の周囲の3次元空間は、道路の左及び右の両方をカバーする2つのデプスマップの形式で表され、それらは単一の画像に合成されてもよい。デジタル地図に格納された基準画像は、デジタル地図における道路の表現に沿って(すなわち縦方向に)正確に車両を位置決めするために車両のレーザ又は他のレンジファインディングセンサから取得されたデプスマップと相互に対応づけられる。実施形態では、デプス情報は、道路を横切る(すなわち横方向の)自動車を位置決めするために使用されうる。
好適な実施では、車両の周囲の3次元空間は、道路軌道に平行な2つのグリッドに投影され、投影の値は、グリッドの各セル内で平均化される。縦方向相関器デプスマップの画素は、運転方向に沿った約50cm及び約20cmの高度の寸法を有する。画素値によりコード化されるデプスは約10cmで量子化される。運転方向に沿ったデプスマップ画像の解像度は50cmであるが、位置決めの解像度はもっと高い。相互に相関性のある画像は、レーザ点が分布されて平均化されるグリッドを表す。適切なアップサンプリングはサブピクセル係数のシフトベクトルを見つけることを可能にする。同様に、約10cmのデプス量子化は、量子化誤差が相関性のある画素の全てに渡って平均化されるので、道路に渡って10cmの位置決めの正確性を暗に意味するわけではない。それ故、実際、位置決めの正確性は、縦方向相関器インデックスの量子化誤差からはほんのわずかな寄与であって、多くはレーザの正確性及びキャリブレーションにより制限される。
従って、位置決め情報、例えばデプスマップ(又は画像)は、常に、(たとえシャープな物体が周囲で利用可能でなくても)利用可能であり、コンパクト(全世界の道路ネットワークの格納が可能)であり、(任意の場所での利用可能性、それ故、高い誤差平均化潜在力、による)比較可能な又は他のアプローチよりもはるかに良い正確性を可能にすることが理解されるだろう。
図14Aは、場所基準データのストレッチの一部分である例示的なラスタ画像を示す。ラスタ画像は、収集された3次元レーザ点データの、基準線により規定され且つ道路表面に対して垂直に向けられている超平面への直交投影により形成される。投影の直交性により、任意の高度情報が、基準線からの距離に関して独立している。基準線自体は通常、レーン/道路の境界に平行に走っている超平面の実際の表現は、固定の水平方向解像度及び非線形の垂直方向解像度を有するラスタフォーマットである。この方法は、車両センサによる検出のために重要な高度に関する情報密度を最大化することを目的としている。実験は、5-10mの高度のラスタ面が、車両のローカライゼーションでの後の使用に必要な十分な関連情報を撮像するために十分であることを示している。ラスタにおける各個々の画素は、レーザ計測の集合を反映している。垂直解像度と同様に、デプス情報における解像度は、非線形の方法でも表されるが、通常は8ビット値で格納される(すなわち0から255mでの値として)。図14Aは、道路の両サイドのデータを示す。図14Bは、道路の左及び右に関する2つの別個の面としての図14Aのデータの鳥瞰透視図を示す。
上述したように、前又はサイドに取り付けられた垂直取付レーザスキャナセンサを備える車両は、ローカライゼーション基準データの平面と類似の2次元平面をリアルタイムに生成することが可能である。デジタル地図に対する車両のローカライゼーションは、リアルタイム撮影処理データで、アプリオリにマッピングされたデータの画像空間における相関により達成される。縦方向車両ローカライゼーションは、高度領域における1画素ぼかし及び縦方向領域におけるソーベルオペレータ(Sobel operator)で画像上の重複移動ウィンドウにおいて算出された平均非負の正規化された相互相関(NCC)演算を適用することによって取得される。
図15Aは、ローカライゼーション基準データ及びリアルタイムスキャンデータの固定の縦方向解像度及び可変の、例えば非線形、垂直及び/又はデプスの解像度を示す。従って、値a、b及びcにより表される縦方向距離が同じである一方、値D、E及びFにより表される高度範囲が異なっている。特に、Dにより表される高度範囲はEにより表される高度範囲よりも小さく、Eにより表される高度範囲はFにより表される高度範囲よりも小さい。同様に、値0により表されるデプス範囲は、すなわち車両に最も近い表面は、値100により表されるデプス範囲よりも小さく、値100により表されるデプス範囲は、値255により表されるデプス範囲、すなわち車両から最も遠い表面よりも小さい。例えば、値0は、デプス1cmを表し、一方、値255はデプス10cmを表しうる。
図15Bは、どのように垂直解像度が変化してもよいかを示す。この例では、垂直解像度は、基準線上の高度を画素Yの座標値にマッピングする非線形関数に基づいて変化する。図15Bに示されるように、この例ではY=40である基準線により近い画素は、より低い高度を表す。図15Bにも示されるように、垂直解像度は基準線に近いほどより大きい。すなわち、画素位置に対する高度の変化は、基準線により近い画素についてはより少なく、基準線からより遠い画素についてはより大きい。
図15Cは、どのようにデプス解像度が変化してもよいかを示す。この例では、デプス解像度は、基準線からの距離を画素デプス(色)値にマッピングする非線形関数に基づいて変化する。図15Cに示されるように、画素デプス値が低いほど基準線からの距離がより短いことを表す。図15Cに示されるように、デプス解像度は、より低い画素デプス値ほどより大きい。すなわち、画素デプス値に対する距離の変化は、より低い画素デプス値についてはより少なく、より高い画素デプス値についてはより大きい。
図15Dは、どのように画素のサブセットを基準線に沿った距離にマッピングしてもよいかを示す。図15Dに示されるように、基準線に沿った各画素は縦方向画素解像度が固定されるように同じ幅である。図15Dは、どのように画素のサブセットが基準線上の高度にマッピングしてもよいかも示す。図15Dに示されるように、画素は、基準線上の高度が大きいほど垂直画素解像度は低くなるように、基準線からより大きい距離で漸進的により広くなる。図15Dは、どのよう画素デプス値のサブセットが基準線からの距離にマッピングしてもよいかも示す。図15Dに示されるように、画素デプス値によりカバーされる距離は、基準線からより遠いデプス距離ほどデプス解像度が低くなるように、基準線から離れる距離が大きいほど漸進的に広くなる。
本発明のいくつかの更なる実施形態及び特徴を記載する。
図14Aに関連して記載したように、ローカライゼーション基準データの、デプスマップ、例えばラスタ画像は、道路要素と関連付けられた基準線により規定された基準面への直交投影により提供されてもよい。図16Aは、そのような投影を使用した結果を示す。基準線は、示されるように、道路基準線に垂直である。ここでは、高度情報は基準電からの距離とは独立しているが、いくつかの利点を提供してもよく、直交投影の1つの限定は、道路要素に垂直な表面に関する情報が失われてもよいことである。これは、直交投影を使用して取得された図16Bのサイドデプスマップにより示される。
例えは45度での非直交投影が使用されるなら、道路要素に垂直な表面に関するそのような情報は保存されてもよい。これは図16C及び図16Dに示される。図16Cは、再度道路基準線に垂直であるように規定された基準面への45度投影を示す。図16Dが示すように、この投影を使用して取得されたサイドデプスマップは、道路要素に垂直である物体の表面に関するより多くの情報を含む。非直交投影を使用することによって、追加データチャネルを含める必要無しに、或いは、記憶容量を増大させること無しに、そのような垂直平面についての情報が、デプスマップデータにより撮影されてもよい。そのような非直交投影がローカライゼーション基準データのデプスマップデータに使用される場合、対応する投影が、比較されるであろうリアルタイム撮影データについて使用されるべきであることが理解されるだろう。
ローカライゼーション基準データについてのデプスマップデータの各画素は、撮影計測、例えばレーザ計測の集合に基づくものである。これらの計測は、画素の位置で関連所定方向に沿った基準面からの物体の距離を示すセンサ計測に対応する。データが圧縮される方法に起因して、センサ計測の集合が特定の画素にマッピングされるだろう。センサ計測の集合に従った異なる距離の平均に対応する画素に関連付けられるデプスマップを判定するというよりは、様々なセンサ計測に対応する距離のうち最も近い距離が画素デプス値に使用される場合に、より高い精度が得られるかもしれないことが分かっている。画素のデプス値は、基準面から物体の最も近い表面への距離を反映することが重要である。これは、衝突のリスクを最小化する方法で、車両の位置を正確に判定する際に最も大きな関心事である。センサ計測の集合の平均が画素のデプス値を提供するために使用されるなら、デプス値は、画素位置で実際よりも大きな物体表面までの距離を示す可能性がある。これは、1つの物体が、基準面と、別のより遠くの物体との間に一時的に位置するかもしれないからであり、例えば木が建物の前に位置するかもしれない。この状況では、センサ計測が1つのサイド又は複数のサイド上の木を超えて延びる画素にマッピングするエリアの結果として、画素デプス値を提供するために使用されるいくつかのセンサ計測は、建物に関するものであるだろうし、他のものは木に関するものであるだろう。出願人は、最も近い物体、この場合は木、の表面までの距離が確実に撮影されることを保証するために、様々なセンサ計測のうち最も近いものを画素と関連付けられたデプス値とすることが最も安全且つ信頼できることを認識している。或いは、画素のセンサ計測の分布が取得されてもよく、最も近い最頻値を画素デプスを提供するために取ってもよい。これは、最も近い距離と類似の方法で、画素のデプス値のより信頼できる指標を提供するだろう。
上述したように、ローカライゼーション基準データについてのデプスマップデータの画素はデプスチャネルを含み、それは、基準面内の画素の位置から物体の表面までのデプスを示すデータを含む。1つ以上の追加の画素チャネルがローカライゼーション基準データに含まれてもよい。これによりマルチチャネル又はレイヤデプスマップ、ひいてはラスタ画像となるだろう。いくつかの好適な実施形態では、第2のチャネルは、画素の位置での物体のレーザ反射率を示すデータを含み、第3のチャネルは、画素位置での物体のレーダ反射率を示すデータを含む。
各画素は、道路基準線に沿った特定の距離に対応する位置(x方向)、及び道路基準線上の高度(y方向)を有する。第1のチャネルc1において画素と関連付けられたデプス値は、(好適には画素デプス値を取得するために使用される撮影計測の集合の最も近い距離に対応する)最も近い物体の表面に対する(使用される投影に依存した基準面に直交又は非直交してもよい)所定方向に沿った基準面における画素の距離を示す。各画素は、第2のチャネルc2において、基準面から距離c1の周囲でのレーザ点の平均局所反射率を示すレーザ反射率の値を有してもよい。第3のチャネルc3において、画素は、基準面からc1の距離の周囲でのレーダ点の平均局所反射率を示すレーダ反射率の値を有してもよい。これは、例えば図17に示される。マルチチャネルフォーマットは、非常に大量のデータがデプスマップに含まれることを可能にする。使用されてもよい更なる可能性のあるチャネルは、(直交投影が使用される場合に道路軌道に垂直な表面についての情報を復元するために使用されてもよい)物体の厚さ、反射点密度、及び、(例えば、基準スキャンデータを提供する際に使用されたカメラから取得された)色及び/又はテクスチャである。
ローカライゼーション基準データのデプスマップが道路の横方向サイドに対する環境に関する実施形態に関して本発明を記載しているが、異なる構成のデプスマップの使用が交差道路で車両を位置決めする際に補助するのに役立つかもしれないことが認識されている。これらの更なる実施形態は、交差道路から離れた領域についてのサイドデプスマップと共に使用されてもよい。
いくつかの更なる実施形態では、基準線は円形に規定される。換言すれば、基準線は非線形である。縁はデジタル地図の交差道路の中央を中心とした所与の半径により規定される。円の半径は交差道路のサイドに依存して選択されてもよい。基準面は、この基準線に垂直な2次元表面として規定されてもよい。(円形)デプスマップが規定されてもよく、そこでは、各画素が、線形基準線が使用される時と同様に所定方向に沿った、基準面における画素の位置から物体の表面までの距離、すなわちデプス値、を示すチャネルを含む。基準面への投影は、同様に直交又は非直交であってもよく、各画素は複数のチャネルを有してもよい。所与の画素のデプス値は、好適には物体に対して最も近い撮影距離に基づくものである。
図18は、交差道路での、及び交差道路から離れたデプスマップをそれぞれ構築する際に使用されてもよい円形又は線形の基準線を示す。図19Aは、異なる角度位置で円形デプスマップに物体が投影されてもよい方法を示す。図19Bは、直交投影を使用してデプスマップを提供するための、複数の物体の各々の基準面への投影を示す。
円形であろうとなかろうと、基準及びリアルタイム撮影データの間の縦方向位置合わせオフセットを判定するために車両から取得されたリアルタイムセンサデータとローカライゼーション基準データのデプスマップが比較されてもよい方法が記載されている。いくつかの更なる実施形態では、横方向位置合わせオフセットも取得される。これは、画像領域で実行されてもよい一連のステップを含む。
サイドデプスマップを使用する例に関して、処理の第1のステップでは、サイドデプスマップに基づく基準及びリアルタイムセンサデータの間の縦方向位置合わせオフセットが、前に記載した方法で判定される。デプスマップは、それらが縦方向に位置合わせされるまでお互いにシフトされる。次に、基準デプスマップ、すなわちラスタ画像が、リアルタイムセンサデータに基づいてデプスマップとサイズにおいて対応するようにクロッピングされる。サイドデプスマップ、すなわち画素のデプスチャネルの値に基づいてこのように位置合わせされた基準及びリアルタイムセンサの対応位置における画素のデプス値が比較される。画素の各対応するペアのデプス値の差異は、画素の横方向オフセットを示す。これは画素の色差の考慮により評価されてもよく、各画素のデプス値は色で表される。画素の対応するペア間で判定される最も共通の横方向オフセット(最頻値差(モード差))が、2つのデプスマップの横方向位置合わせオフセットに対応するように、判定されて選ばれる。最も共通の横方向オフセットは、画素間のデプス差のヒストグラムを使用して取得されてもよい。横方向オフセットが判定されると、それは道路上の車両のみなし横方向位置を補正するために使用されてもよい。
図20Aは、基準デプスマップ、すなわち画像、及び、デプスマップの横方向オフセット位置合わせを判定するために比較さてれてもよい車両からのリアルタイムセンサデータに基づく対応するデプスマップ又は画像を示す。図20Bが示すように、最初に縦方向に位置合わせするために画像がお互いにシフトされる。次に、基準画像をクロッピングした後に、2つのデプスマップにおける対応する画素についての画素デプス値における差のヒストグラムが、デプスマップ間の横方向位置合わせオフセットを判定するために使用される-図20C。図20Dは、どのようにこれが道路上の車両の縦方向位置、次に横方向位置が補正されることを可能にしてもよいかを示す。
デプスマップに基づいて基準及びリアルタイムデータ間の横方向オフセットが取得されると、車両の向きも補正されもよい。車両の実際の向き及びみなし向きの間にオフセットがある場合、これにより、基準及びリアルタイム撮影データベースのデプスマップにおける対応画素間で非定常の横方向位置合わせオフセットが、デプスマップに沿った縦方向距離の関数として判定されることになるだろうことが分かっている。
図21Aは、基準デプスマップ画像(上)及びリアルタイムセンサベースのデプスマップ画像(下)の対応部分を通る、垂直スライスのセットを示す。各スライスでの対応画素の画素デプス値における平均差(すなわち横方向位置合わせオフセット)が地図/画像(x軸)に沿って縦方向距離に対してプロットされる(y軸)。そのようなプロットが図21Bに示される。平均画素デプス値及びデプスマップに沿った縦方向距離の間の関係を記載する関数が、適当な回帰分析により取得されてもよい。この関数の勾配は車両の向きオフセットを示す。
本発明の実施形態で使用されるデプスマップは、例えば国際公開第2009/045096号に記載されるように、常に真っ直ぐな基準線に対するものであるように、すなわち線形の基準画像であるように変換されてもよい。これは、図22に示されるような利点を有する。図22の左サイドはカーブした道路の画像である。カーブした道路のセンターラインをマーキングするために、多数のマーク1102が配置されなければならない。図22の右手サイドでは、図の左サイドにおけるカーブした道路に対応して、対応線形基準画像が示される。線形基準画像を取得するために、カーブした道路のセンターラインが、線形基準画像の真っ直ぐな基準線にマッピングされる。この変換を考慮して、基準線は単に2つの端点1104及び1106により規定されうる。
完全に真っ直ぐな道路では、基準及びリアルタイムデプスマップの比較から算出されるシフトは直接適用されうるが、線形基準画像を作成するために使用される線形化手順の非線形性に起因してカーブした道路上では同じことは可能ではない。図23A及び図23Bは、一連のインクリメンタルな線形更新ステップを通じて非線形環境における車両の位置を構築するためのコンピュータ的に効率的な方法を示す。図23Aに示されるように、方法は、一連のインクリメンタルな、独立した線形更新ステップにおいて、縦方向補正、次に横方向補正、及び次に向き補正を適用することを含む。特に、ステップ(1)では、車両センサデータ、及び、(GPSを使用して取得される)デジタル地図に対する車両の現在のみなし位置に基づく基準デプスマップを使用して縦方向オフセットが判定される。デジタル図に対する車両のみなし位置を調整するために縦方向オフセットが適用され、基準デプスマップが調整された位置に基づいて再計算される。次に、ステップ(2)では、車両センサデータ及び再計算された基準デプスマップを使用して横方向オフセットが判定される。デジタル地図に対する車両のみなし位置を更に調整するために横方向オフセットが適用され、基準デプスマップが調整された位置に基づいて再び再計算される。最後にステップ(3)で、車両センサデータ及び再計算された基準デプスマップを使用して向きオフセット又はスキューが判定される。デジタル地図に対する車両のみなし位置を更に調整するために向きオフセットが適用され、基準デプスマップが調整された位置に基づいて再び再計算される。これらのステップは、リアルタイムデプスマップ及び基準デプスマップの間で実質的にゼロの縦方向、横方向及び向きのオフセットになるように必要な回数繰り返される。図23Bは、点群が基準デプスマップから生成された点群と略位置が合うまでの、縦方向、横方向及び向きのオフセットの、車両センサデータから生成された点群への一連の繰り返しの適用を示す。
ローカライゼーション基準データの一連の例示的使用ケースも描写される。
例えば、リアルタイムセンサデータに基づくデプスマップとの比較の目的でローカライゼーション基準データのデプスマップを使用するというよりはむしろ、いくつかの実施形態では、3次元座標系でのデータ点のセットを含む基準点群を生成するためにローカライゼーション基準データのデプスマップが使用され、各点は環境における物体の表面を表す。この基準点群は、車両センサにより取得されたリアルタイムセンサデータに基づく対応3次元点群と比較されてもよい。この比較は、デプスマップ間の位置合わせオフセットを判定し、よって車両の判定された位置を調整するために使用されてもよい。
車両が有するどのような種類のセンサであっても、車両のリアルタイムセンサデータに基づく対応点群と比較されてもよい基準3次元点群を取得するために基準デプスマップが使用されてもよい。基準データは、レーザスキャナ、レーダスキャナ及びカメラを含む様々な種類のセンサから取得されたセンサデータに基づいてもよいが、車両はセンサの対応するセットを有していなくてもよい。車両にとって利用可能な特定の種類のリアルタイムセンサデータに基づいて取得された3次元点群と比較されてもよい3次元基準点群が、基準デプスマップから構築されてもよい。
例えば、ローカライゼーション基準データのデプスマップがレーダ反射率を示すチャネルを含む場合、このことは、レーダセンサのみを有する車両のリアルタイムセンサデータを使用して取得された3次元点群と比較されてもよい基準点群を生成する際に考慮されてもよい。画素と関連付けられたレーダ反射率データは、3次元点群に含まれるべきデータ点、すなわち車両レーダセンサが検出することを期待される物体の表面を表すデータ点を識別するのを助ける。
別の例では、車両は、リアルタイムセンサデータを提供するための1つのカメラ又は複数のカメラのみを有してもよい。この場合、基準デプスマップのレーザ反射率チャネルからのデータが、現在の条件下で車両の(複数の)カメラにより検出されることが期待されてもよい表面にのみ関するデータ点を含む3次元点群を構築するために使用されてもよい。例えば、暗い時には比較的反射する物体のみが含まれるべきである。
車両のリアルタイム撮影データに基づく3次元点群は、所望のように取得されてもよい。車両が単一のカメラのみをセンサとして含む場合、“structure from motion”技術が使用されてもよく、そこではカメラからの一連の画像が3次元シーンを再構築するために使用され、そこから3次元点群が取得されてもよい。車両がステレオカメラを含む場合、3次元シーンが直接生成されてもよく、3次元点群を提供するために使用されてもよい。これは視差ベースの3次元モデルを使用して達成されてもよい。
更に他の実施形態では、基準点群をリアルタイムセンサデータ点群と比較するというよりはむしろ、基準点群は、車両の1つのカメラ又は複数のカメラにより見られることが期待される画像を再構築するために使用される。画像は比較されてもよく、画像間の位置合わせオフセットを判定するために使用されてもよく、次に車両のみなし位置を補正するために使用されてもよい。
これらの実施形態では、車両の(複数の)カメラにより検出されることが期待される3次元基準点群における点のみを含めることに基づいて画像を再構築するために、上述したように基準デプスマップの追加のチャネルが使用されてもよい。例えば、暗闇の中で(複数の)カメラにより検出されうる物体の表面に対応する3次元点群に含まれる点を選択するために、暗闇の中では、レーザ反射率チャネルが使用されてもよい。基準デプスマップを判定する際の基準面への非直交投影の使用は、暗闇でも検出可能であるかもしれない物体の表面についてより多くの情報を保存するこの文脈で特に役立つものであることが分かっている。
図24は、1つ以上の車両センサ:レーザ、カメラ、及びレーダにより収集されたデータが、車両により見られる環境の“実際のフットプリント”を生成するために使用される本発明の実施形態に従った例示的なシステムを描写する。“実際のフットプリント”は、デジタル位置と関連付けられた基準データから判定される対応“基準フットプリント”と比較され、すなわち対応付けられ、上述したように、基準データは少なくとも距離チャネルを含み、レーザ反射率チャネル及び/又はレーダ反射率チャネルを含んでもよい。この相関(対応付け)を通じて、車両の位置がデジタル地図に対して正確に判定されうる。
第1の例示的使用ケースでは、図25Aに描写されるように、車両の継続的位置決めを達成するように、実際のフットプリントが車両におけるレーザベースのレンジセンサ、例えばLIDARセンサから判定されて、基準データの距離チャネルにおけるデータから判定された基準フットプリントと対応付けられる。図25Bに、レーザベースのレンジセンサにより判定されるようなレーザ点群が、基準データと同じフォーマットのデプスマップに変換されて2つのデプスマップ画像が比較される第1のアプローチが示される。図25Cに、レーザ点群が基準データから再構築されて、この再構築された点群が車両により見られるレーザ点群と比較される第2の代替アプローチが示される。
第2の例示的使用ケースでは、図26Aに描写されるように、実際のフットプリントが、日中のみであるが、車両の継続的位置決めを達成するように、実際のフットプリントが車両におけるカメラから判定されて、基準データの距離チャネルにおけるデータから判定された基準フットプリントと対応付けられる。図26Bに、基準デプスマップから構築された3次元点群との相関のために3次元点群を構築するために使用される、視差ベースの3次元モデルを構築するためにステレオ車両カメラが使用される第1のアプローチが示される。図26Cに、一連の車両カメラ画像が3次元シーンを構築するために使用され、基準デプスマップから構築された3次元点群との相関のための3次元点群を構築するために使用される第2のアプローチが示される。最後に、図25Dに、車両カメラ画像が基準デプスマップから構築された3次元点群から作成されたビューと比較される第3のアプローチが示される。
第3の例示的使用ケースでは、図27Aに描写されるように、第2の例示的使用ケースへの修正であり、そこでは、デプスマップのチャネルにある、基準データのレーザ反射率データは、1つ以上のカメラにより撮影された画像に基づいて3次元点群又はビューと比較されてもよい3次元点群又はビューを構築するために使用されうる。図27Bに第1のアプローチが示され、そこでは、3次元シーンを構築するために一連の車両カメラ画像が使用され、それは、(距離及びレーザ反射率チャネルの両方を使用して)基準デプスマップから構築された3次元点群との相関のための3次元点群を構築するために使用される。図27Cに第2のアプローチが示され、そこでは車両が(再び距離及びレーザ反射率チャネルの両方を使用して)基準デプスマップから構築された3次元点群から作成されたビューと比較される。
第4の例示的使用ケースでは、図28Aに描写されるように、実際のフットプリントが、車両のわずかな位置決めを達成するように、実際のフットプリントが車両におけるレーダベースのレンジセンサから判定されて、基準データの距離及びレーダ反射率チャネルにおけるデータから判定された基準フットプリントと対応付けられる。図28Bに第1のアプローチが示され、そこでは基準データは3次元シーンを再構築するために使用され、レーダ反射率チャネルにおけるデータはレーダ反射点のみを残すために使用される。この3次元シーンは、自動車により見られるレーダ点群と対応付けられる。
もちろん、様々な使用ケースは、デジタル地図に対する車両のより正確なローカライゼーションを可能にするために共に使用、すなわち融合されることができることが理解されるだろう。
図29-図32Bを参照して、例えば上述したような、車両の位置を判定するために車両センサデータを基準データと対応付ける方法を記載する。図29は、方法で使用される様々な座標系:局所座標系(局所CS)、自動車フレーム座標系(CF CS)、及び、自動車の軌跡に沿った線形基準座標系(LR CS)を描写する。描写されていないが、別の座標系は、先行技術で既知であるように緯度、経度の座標ペアとして位置が付与される世界測地系(WGS)である。図31に示されているレーザ点群を判定するために実行されるステップの詳細を伴う一般的な方法が図30に示される。図32Aは、図30の相関ステップを実行するための第1の例示的方法を示し、そこでは車両の位置が、例えば基準データのデプスマップラスタ画像及び車両センサデータから作成された対応デプスマップラスタ画像の間の画像相関により補正される。図32Bは、図30の相関ステップを実行するための第2の例示的方法を示し、そこでは車両の位置が、例えば基準データから構築された3次元シーン及び車両センサにより撮影された3次元シーンの間の3次元相関により補正される。
本発明に従った方法の何れかは、少なくとも部分的にソフトウェア、例えばコンピュータプログラムを使用して実施されてもよい。従って、本発明は、本発明の態様又は実施形態の何れかに従った方法を実行するように、或いは、ナビーション装置に実行させるように、実行可能なコンピュータ可読命令を含むコンピュータプログラムにも及ぶ。従って、本発明は、1つ以上のプロセッサにより実行される場合に、当該1つ以上のプロセッサに、表示画面に表示するための適当な画像(又は他のグラフィカル情報)を生成させるコンピュータプログラム製品を包含する。本発明は、相応に、データ処理手段を備えるシステム又は装置を動作させるために使用される場合に、当該データ処理手段と共に、当該装置又はシステムに本発明の方法のステップを実行させるソフトウェアを含むコンピュータソフトウェアキャリアに及ぶ。そのようなコンピュータソフトウェアキャリアは、ROMチップ、CD ROM又はディスク等の非一時的(継続性のある)物理記憶媒体であることができ、或いは、有線の電気信号等の信号、光学信号、又は、衛星等の無線信号であることができる。本発明は、機械により読み込まれた場合に、当該機械を本発明の態様又は実施形態の何れかの方法に従って動作させる命令を含む機械可読媒体を提供する。
明示的に述べていない場合でも、何れかの態様における本発明は、相互に排他的ではない程度に、本発明の他の態様又は実施形態に関して記載された特徴の何れか又は全てを含んでもよいことが理解されるだろう。特に、方法及び装置により実行されてもよい様々な実施形態の動作が記載されているが、これらの動作の何れか1つ以上又は全てが、所望のように、必要に応じて、任意の組み合わせで、方法及び装置により実行されてもよいことが理解されるだろう。

Claims (14)

  1. デジタル地図と関連付けられたローカライゼーション基準データを生成する、コンピュータにより実施される方法であって、前記ローカライゼーション基準データは、前記デジタル地図により表されたナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供し、前記方法は、
    前記デジタル地図により表された少なくとも1つのナビゲート可能要素について、3次元座標系でのデータ点のセットを取得することと、ここで各データ点は前記ナビゲート可能ネットワークの前記少なくとも1つのナビゲート可能要素の周囲の前記環境における物体の表面を表し、
    データ点の前記セットから、基準面に投影された前記ナビゲート可能要素の周囲の前記環境を示す少なくとも1つのデプスマップを含むローカライゼーション基準データを生成することと、ここで、前記基準面は前記ナビゲート可能要素と関連付けられた基準線と平行であり、前記基準線は、前記ナビゲート可能要素のエッジ、境界、レーン又はセンターラインであり、前記少なくとも1つのデプスマップの各画素は前記ナビゲート可能要素と関連付けられた前記基準面における位置と関連付けられており、前記画素は前記基準面における前記画素の前記関連付けられた位置から所定方向に沿った前記環境における物体の表面までの距離を表すデプスチャネルを含み、各画素の前記デプスチャネルにより表された物体の前記表面までの前記距離は、各々が前記画素の前記位置から前記所定方向に沿った物体の前記表面までの撮影距離を示す複数の撮影データ点の集合に基づいて判定され、前記画素の前記デプスチャネルにより表された前記物体の前記表面までの前記距離は、撮影データ点の前記集合に基づいた最も近い距離又は最も近い最頻値の距離であり、
    前記生成されたローカライゼーション基準データと前記デジタル地図データとを関連付けることと、
    を含むことを特徴とする方法。
  2. 特定画素についての複数の撮影データ点の前記集合の前記撮影データ点の少なくともいくつかは、異なる物体の表面に関するものであることを特徴とする請求項1に記載の方法。
  3. 前記異なる物体は、前記基準面に対して異なるデプスに位置することを特徴とする請求項2に記載の方法。
  4. 特定画素の前記デプスチャネルにより表された前記物体の前記表面までの前記距離は、前記特定画素についての複数の撮影データ点の前記集合に基づいた平均値ではないことを特徴とする請求項1乃至3の何れか1項に記載の方法。
  5. 前記ナビゲート可能要素は道路を含み、前記ナビゲート可能ネットワークは道路ネットワークを含むことを特徴とする請求項1乃至4の何れか1項に記載の方法。
  6. 前記ローカライゼーション基準データは、前記デジタル地図により表された前記ナビゲート可能ネットワークの複数のナビゲート可能要素について生成されることを特徴とする請求項1乃至5の何れか1項に記載の方法。
  7. 前記ナビゲート可能要素と関連付けられた前記基準線は、前記ナビゲート可能要素と関連付けられた1つの点又は複数の点により規定されることを特徴とする請求項1乃至6の何れか1項に記載の方法。
  8. 前記ローカライゼーション基準データは、前記ナビゲート可能要素の1つのサイド又は複数のサイドにおける前記環境の表現を提供することを特徴とする請求項1乃至7の何れか1項に記載の方法。
  9. 前記デプスマップは、ラスタ画像の形式であることを特徴とする請求項1乃至8の何れか1項に記載の方法。
  10. 前記デプスマップの各画素は、前記デプスマップにおける特定の縦方向位置及び高さと関連付けられていることを特徴とする請求項1乃至9の何れか1項に記載の方法。
  11. 前記ローカライゼーション基準データは、前記ナビゲート可能要素の左サイド及び前記ナビゲート可能要素の右サイドの前記環境の表現を含むことを特徴とする請求項1乃至10の何れか1項に記載の方法。
  12. 前記ナビゲート可能要素の各サイドについての前記ローカライゼーション基準データは、組み合わせデータセットに格納されることを特徴とする請求項11に記載の方法。
  13. データ点の前記セットは、前記少なくとも1つのナビゲート可能要素に沿って以前移動したモバイルマッピング車両における少なくとも1つの光学視差式距離計センサを使用して取得されることを特徴とする請求項1乃至12の何れか1項に記載の方法。
  14. 請求項1乃至13の何れか1項に記載の方法をコンピュータに実行させるように実行可能なコンピュータ可読命令を含むコンピュータプログラム。
JP2018505024A 2015-08-03 2016-08-03 ローカライゼーション基準データを生成及び使用する方法及びシステム Active JP7066607B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022073592A JP7398506B2 (ja) 2015-08-03 2022-04-27 ローカライゼーション基準データを生成及び使用する方法及びシステム

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562200613P 2015-08-03 2015-08-03
US201562200611P 2015-08-03 2015-08-03
US62/200,611 2015-08-03
US62/200,613 2015-08-03
US201562218538P 2015-09-14 2015-09-14
US62/218,538 2015-09-14
PCT/EP2016/068593 WO2017021473A1 (en) 2015-08-03 2016-08-03 Methods and systems for generating and using localisation reference data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022073592A Division JP7398506B2 (ja) 2015-08-03 2022-04-27 ローカライゼーション基準データを生成及び使用する方法及びシステム

Publications (2)

Publication Number Publication Date
JP2018529938A JP2018529938A (ja) 2018-10-11
JP7066607B2 true JP7066607B2 (ja) 2022-05-13

Family

ID=56567615

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2018505025A Active JP6899370B2 (ja) 2015-08-03 2016-08-03 ローカライゼーション基準データを生成及び使用する方法及びシステム
JP2018505024A Active JP7066607B2 (ja) 2015-08-03 2016-08-03 ローカライゼーション基準データを生成及び使用する方法及びシステム
JP2018505023A Active JP6899369B2 (ja) 2015-08-03 2016-08-03 ローカライゼーション基準データを生成及び使用する方法及びシステム
JP2018505018A Active JP6899368B2 (ja) 2015-08-03 2016-08-03 ローカライゼーション基準データを生成及び使用する方法及びシステム
JP2022073592A Active JP7398506B2 (ja) 2015-08-03 2022-04-27 ローカライゼーション基準データを生成及び使用する方法及びシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018505025A Active JP6899370B2 (ja) 2015-08-03 2016-08-03 ローカライゼーション基準データを生成及び使用する方法及びシステム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2018505023A Active JP6899369B2 (ja) 2015-08-03 2016-08-03 ローカライゼーション基準データを生成及び使用する方法及びシステム
JP2018505018A Active JP6899368B2 (ja) 2015-08-03 2016-08-03 ローカライゼーション基準データを生成及び使用する方法及びシステム
JP2022073592A Active JP7398506B2 (ja) 2015-08-03 2022-04-27 ローカライゼーション基準データを生成及び使用する方法及びシステム

Country Status (6)

Country Link
US (5) US11274928B2 (ja)
EP (7) EP3332218B1 (ja)
JP (5) JP6899370B2 (ja)
KR (5) KR20240040132A (ja)
CN (5) CN107850448B (ja)
WO (5) WO2017021475A1 (ja)

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016209232B4 (de) * 2016-05-27 2022-12-22 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
WO2017208503A1 (ja) * 2016-05-30 2017-12-07 三菱電機株式会社 地図データ更新装置、地図データ更新方法および地図データ更新プログラム
CN107515006A (zh) * 2016-06-15 2017-12-26 华为终端(东莞)有限公司 一种地图更新方法和车载终端
US10345107B2 (en) * 2016-06-22 2019-07-09 Aptiv Technologies Limited Automated vehicle sensor selection based on map data density and navigation feature density
US10502577B2 (en) * 2016-06-30 2019-12-10 Here Global B.V. Iterative map learning based on vehicle on-board sensor data
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10585409B2 (en) 2016-09-08 2020-03-10 Mentor Graphics Corporation Vehicle localization with map-matched sensor measurements
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US11085775B2 (en) * 2016-09-28 2021-08-10 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
JP7213809B2 (ja) 2016-12-09 2023-01-27 トムトム グローバル コンテント ベスローテン フエンノートシャップ ビデオベースの位置決め及びマッピングの方法及びシステム
US10359518B2 (en) * 2016-12-30 2019-07-23 DeepMap Inc. Vector data encoding of high definition map data for autonomous vehicles
KR102265376B1 (ko) * 2017-03-07 2021-06-16 현대자동차주식회사 차량 및 그 제어방법과 이를 이용한 자율 주행 시스템
WO2018176291A1 (en) 2017-03-29 2018-10-04 SZ DJI Technology Co., Ltd. Hollow motor apparatuses and associated systems and methods
WO2018176274A1 (en) * 2017-03-29 2018-10-04 SZ DJI Technology Co., Ltd. A lidar sensor system with small form factor
WO2018176290A1 (en) 2017-03-29 2018-10-04 SZ DJI Technology Co., Ltd. Light detection and ranging (lidar) signal processing circuitry
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
CN109923488A (zh) * 2017-04-27 2019-06-21 深圳市大疆创新科技有限公司 使用可移动物体生成实时地图的系统和方法
CN113702991A (zh) 2017-04-28 2021-11-26 深圳市大疆创新科技有限公司 光检测和测距装置及其校准系统
CN110573830B (zh) 2017-04-28 2022-03-22 深圳市大疆创新科技有限公司 激光传感器的校准方法
EP3615955A4 (en) 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
US11175146B2 (en) * 2017-05-11 2021-11-16 Anantak Robotics Inc. Autonomously moving machine and method for operating an autonomously moving machine
NL2018911B1 (en) 2017-05-12 2018-11-15 Fugro Tech Bv System and method for mapping a railway track
EP3645972A4 (en) * 2017-06-30 2021-01-13 SZ DJI Technology Co., Ltd. CARD GENERATION SYSTEMS AND METHODS
CN109214248B (zh) * 2017-07-04 2022-04-29 阿波罗智能技术(北京)有限公司 用于识别无人驾驶车辆的激光点云数据的方法和装置
DE102017211607A1 (de) * 2017-07-07 2019-01-10 Robert Bosch Gmbh Verfahren zur Verifizierung einer digitalen Karte eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs
CN107357894B (zh) * 2017-07-13 2020-06-02 杭州智诚惠通科技有限公司 一种道路交通设施数据采集纠偏方法及系统
EP3455645A4 (en) 2017-07-20 2019-04-24 SZ DJI Technology Co., Ltd. SYSTEMS AND METHOD FOR OPTICAL SPACING MEASUREMENT
KR102284565B1 (ko) 2017-07-31 2021-07-30 에스지 디제이아이 테크놀러지 코., 엘티디 포인트 클라우드에서의 모션 기반 부정확성의 정정
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
US11409307B2 (en) 2017-08-08 2022-08-09 Lg Electronics Inc. Apparatus for providing map
EP3676628A1 (en) * 2017-08-28 2020-07-08 HELLA GmbH & Co. KGaA Method for operation of a radar system
JP7043755B2 (ja) * 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019041269A1 (en) 2017-08-31 2019-03-07 SZ DJI Technology Co., Ltd. CALIBRATION OF DELAY TIME OF OPTICAL DISTANCE MEASURING DEVICES AND ASSOCIATED SYSTEMS AND METHODS
KR102607113B1 (ko) 2017-09-04 2023-11-27 커먼웰쓰 사이언티픽 앤 인더스트리알 리서치 오거니제이션 국지화를 수행하는 데에 사용되기 위한 방법 및 시스템
JP6970330B6 (ja) * 2017-09-11 2021-12-22 国際航業株式会社 沿道地物の座標付与方法
DE102017216954A1 (de) * 2017-09-25 2019-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs
CN107741233A (zh) * 2017-11-10 2018-02-27 邦鼓思电子科技(上海)有限公司 一种三维室外地图的构建方法
US10699135B2 (en) 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects
US10739784B2 (en) * 2017-11-29 2020-08-11 Qualcomm Incorporated Radar aided visual inertial odometry initialization
DE102017222810A1 (de) 2017-12-14 2019-06-19 Robert Bosch Gmbh Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten
US11321914B1 (en) * 2018-01-10 2022-05-03 Amazon Technologies, Inc. System for generating a navigational map of an environment
DE102018204500A1 (de) * 2018-03-23 2019-09-26 Continental Automotive Gmbh System zur Erzeugung von Konfidenzwerten im Backend
CN112204349A (zh) * 2018-04-03 2021-01-08 御眼视觉技术有限公司 用于车辆导航的系统和方法
KR102466940B1 (ko) * 2018-04-05 2022-11-14 한국전자통신연구원 로봇 주행용 위상 지도 생성 장치 및 방법
US10598498B2 (en) * 2018-04-06 2020-03-24 GM Global Technology Operations LLC Methods and systems for localization of a vehicle
KR20210072837A (ko) 2018-04-18 2021-06-17 모빌아이 비젼 테크놀로지스 엘티디. 카메라를 이용한 차량 환경 모델링
DE102018206067A1 (de) * 2018-04-20 2019-10-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position eines Fahrzeugs
US10890461B2 (en) * 2018-04-30 2021-01-12 International Business Machines Corporation Map enriched by data other than metadata
CN111033422B (zh) * 2018-05-18 2023-05-26 百度时代网络技术(北京)有限公司 操作自动驾驶车辆的规划阶段和控制阶段之间的漂移校正
CN110515089B (zh) * 2018-05-21 2023-06-02 华创车电技术中心股份有限公司 基于光学雷达的行车辅助方法
CN109064506B (zh) * 2018-07-04 2020-03-13 百度在线网络技术(北京)有限公司 高精度地图生成方法、装置及存储介质
EP3605383A1 (en) * 2018-07-30 2020-02-05 Aptiv Technologies Limited A device and a method for controlling a headlight of a vehicle
CN109146976B (zh) * 2018-08-23 2020-06-02 百度在线网络技术(北京)有限公司 用于定位无人车的方法和装置
EP3617749B1 (en) * 2018-09-03 2020-11-11 Zenuity AB Method and arrangement for sourcing of location information, generating and updating maps representing the location
KR102442230B1 (ko) 2018-09-30 2022-09-13 그레이트 월 모터 컴퍼니 리미티드 주행 좌표계의 구축 방법 및 응용
CN110361022B (zh) * 2018-09-30 2021-06-22 毫末智行科技有限公司 行车坐标系构建方法及系统
KR102233260B1 (ko) * 2018-10-02 2021-03-29 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
US11016175B2 (en) * 2018-10-10 2021-05-25 Ford Global Technologies, Llc Transportation infrastructure communication and control
WO2020073982A1 (en) * 2018-10-11 2020-04-16 Shanghaitech University System and method for extracting planar surface from depth image
CN109270545B (zh) * 2018-10-23 2020-08-11 百度在线网络技术(北京)有限公司 一种定位真值校验方法、装置、设备及存储介质
CN109459734B (zh) * 2018-10-30 2020-09-11 百度在线网络技术(北京)有限公司 一种激光雷达定位效果评估方法、装置、设备及存储介质
CN110609268B (zh) * 2018-11-01 2022-04-29 驭势科技(北京)有限公司 一种激光雷达标定方法、装置、系统及存储介质
WO2020091111A1 (ko) * 2018-11-01 2020-05-07 엘지전자 주식회사 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
CN111174777A (zh) * 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 定位方法、装置以及电子设备
US11422253B2 (en) * 2018-11-19 2022-08-23 Tdk Corportation Method and system for positioning using tightly coupled radar, motion sensors and map information
US10810759B2 (en) * 2018-11-20 2020-10-20 International Business Machines Corporation Creating a three-dimensional model from a sequence of images
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
CN109737977A (zh) * 2018-12-10 2019-05-10 北京百度网讯科技有限公司 自动驾驶车辆定位方法、装置及存储介质
US11348453B2 (en) * 2018-12-21 2022-05-31 Here Global B.V. Method and apparatus for dynamic speed aggregation of probe data for high-occupancy vehicle lanes
CN111771141B (zh) 2019-01-30 2024-04-09 百度时代网络技术(北京)有限公司 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
US10803333B2 (en) * 2019-01-30 2020-10-13 StradVision, Inc. Method and device for ego-vehicle localization to update HD map by using V2X information fusion
US11468690B2 (en) * 2019-01-30 2022-10-11 Baidu Usa Llc Map partition system for autonomous vehicles
US11069085B2 (en) * 2019-02-13 2021-07-20 Toyota Research Institute, Inc. Locating a vehicle based on labeling point cloud data of a scene
CN109949303B (zh) * 2019-03-28 2021-10-29 凌云光技术股份有限公司 工件形状检测方法及装置
CN111854748B (zh) * 2019-04-09 2022-11-22 北京航迹科技有限公司 一种定位系统和方法
CN111316289A (zh) * 2019-04-10 2020-06-19 深圳市大疆创新科技有限公司 目标物体的拟合方法、点云传感器和移动平台
DE102019205994A1 (de) * 2019-04-26 2020-10-29 Robert Bosch Gmbh Verfahren zum Ausbilden einer Lokalisierungsschicht einer digitalen Lokalisierungskarte zum automatisierten Fahren
WO2020230314A1 (ja) 2019-05-15 2020-11-19 日産自動車株式会社 自己位置補正方法及び自己位置補正装置
US11506512B2 (en) * 2019-05-22 2022-11-22 TDK Japan Method and system using tightly coupled radar positioning to improve map performance
DE102019208384A1 (de) * 2019-06-07 2020-12-10 Robert Bosch Gmbh Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte
JP7374432B2 (ja) 2019-08-30 2023-11-07 株式会社日野 道路状況計測装置、方法及びプログラム
CN115516337A (zh) 2019-10-21 2022-12-23 派珀网络公司 使用lidar的交通测位系统和方法
US11189007B2 (en) * 2019-12-03 2021-11-30 Imagry (Israel) Ltd Real-time generation of functional road maps
US10969232B1 (en) 2019-12-06 2021-04-06 Ushr Inc. Alignment of standard-definition and High-Definition maps
RU2734070C9 (ru) * 2019-12-24 2022-04-27 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Способ измерения пространственного расстояния между малоразмерными объектами
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
CN111189412B (zh) * 2020-01-06 2021-09-28 珠海丽亭智能科技有限公司 一种车辆3d扫描方法
DE102020103906B4 (de) 2020-02-14 2022-12-29 Audi Aktiengesellschaft Verfahren und Prozessorschaltung zum Aktualisieren einer digitalen Straßenkarte
GB202002410D0 (en) 2020-02-20 2020-04-08 Tomtom Global Content Bv High definition maps used in automated driving systems in autonomous vehicles
EP4107484A1 (en) 2020-02-20 2022-12-28 TomTom Global Content B.V. Generating map change data
GB202002409D0 (en) 2020-02-20 2020-04-08 Tomtom Global Content Bv High definition maps used in automated driving systems in automomous vehicles
US20230145777A1 (en) 2020-04-10 2023-05-11 Semiconductor Energy Laboratory Co., Ltd. Position estimation system, position estimation device, and mobile object
FR3109213B1 (fr) 2020-04-14 2022-03-11 Renault Sas Procédé de correction de la future pose relative pour contrôle du véhicule automobile en conduite autonome
DE102020112482A1 (de) 2020-05-08 2021-11-11 Car.Software Estonia As Verfahren und Vorrichtung zum Bestimmen einer Position eines Fahrzeugs in einem Straßennetzwerk
GB202007211D0 (en) 2020-05-15 2020-07-01 Tomtom Navigation Bv Methods and systems of generating digital map data
CN111695489B (zh) * 2020-06-09 2023-08-11 阿波罗智能技术(北京)有限公司 建模路线的验证方法、装置、无人车及存储介质
DE102020118627A1 (de) 2020-07-15 2022-01-20 Bayerische Motoren Werke Aktiengesellschaft Positionsbestimmung eines Fahrzeugs
KR20220037128A (ko) * 2020-09-17 2022-03-24 삼성전자주식회사 사용자의 위치 관련 정보를 결정하는 전자 장치 및 서버
KR102237451B1 (ko) * 2020-10-05 2021-04-06 성현석 절리면 안전성 평가 장치
US11679766B2 (en) 2020-11-23 2023-06-20 Fca Us Llc Techniques for vehicle lane level localization using a high-definition map and perception sensors
CN112669670A (zh) * 2020-12-30 2021-04-16 北京精英智通科技股份有限公司 一种搭建学车训练系统的方法及学车训练系统
RU2752687C1 (ru) * 2021-01-06 2021-07-29 Дмитрий Александрович Рощин Способ определения дальности с помощью цифровой видеокамеры и трех источников света
CN113065076A (zh) * 2021-04-25 2021-07-02 北京四维图新科技股份有限公司 地图数据处理方法、装置、电子设备及存储介质
US11555466B1 (en) 2021-09-10 2023-01-17 Toyota Motor North America, Inc. Minimal route determination
US11867514B2 (en) * 2021-09-24 2024-01-09 Telenav, Inc. Navigation system with independent positioning mechanism and method of operation thereof
CN114187341B (zh) * 2021-11-16 2022-09-06 泰瑞数创科技(北京)股份有限公司 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
US20230394691A1 (en) * 2022-06-07 2023-12-07 Toyota Research Institute, Inc. Depth estimation with sparse range sensor depth and uncertainty projection
WO2024042704A1 (ja) * 2022-08-26 2024-02-29 日本電信電話株式会社 学習装置、画像処理装置、学習方法、画像処理方法、及びコンピュータプログラム
CN116012806B (zh) * 2023-03-29 2023-06-13 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、检测器、系统和模型训练方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140379254A1 (en) 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system

Family Cites Families (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4700307A (en) 1983-07-11 1987-10-13 General Dynamics Corp./Convair Division Feature navigation system and method
WO1995006283A1 (en) 1993-08-24 1995-03-02 Downs Roger C Topography processor system
DE4408329C2 (de) 1994-03-11 1996-04-18 Siemens Ag Verfahren zum Aufbau einer zellular strukturierten Umgebungskarte von einer selbstbeweglichen mobilen Einheit, welche sich mit Hilfe von auf Wellenreflexion basierenden Sensoren orientiert
US5961571A (en) 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
US6526352B1 (en) 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
US7418346B2 (en) 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
US7085637B2 (en) 1997-10-22 2006-08-01 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
US6292721B1 (en) * 1995-07-31 2001-09-18 Allied Signal Inc. Premature descent into terrain visual awareness enhancement to EGPWS
DE19532104C1 (de) 1995-08-30 1997-01-16 Daimler Benz Ag Verfahren und Vorrichtung zur Bestimmung der Position wenigstens einer Stelle eines spurgeführten Fahrzeugs
JPH1031799A (ja) 1996-07-15 1998-02-03 Toyota Motor Corp 自動走行制御装置
US5999866A (en) 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
US6047234A (en) 1997-10-16 2000-04-04 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
US6184823B1 (en) * 1998-05-01 2001-02-06 Navigation Technologies Corp. Geographic database architecture for representation of named intersections and complex intersections and methods for formation thereof and use in a navigation application program
JP3588418B2 (ja) * 1998-09-18 2004-11-10 富士写真フイルム株式会社 画像補正方法、画像補正装置及び記録媒体
US6266442B1 (en) 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
DE19930796A1 (de) 1999-07-03 2001-01-11 Bosch Gmbh Robert Verfahren und Vorrichtung zur Übermittlung von Navigationsinformationen von einer Datenzentrale an ein fahrzeugbasiertes Navigationssystem
JP4685313B2 (ja) 1999-12-29 2011-05-18 ジオスパン コーポレイション 任意の局面の受動的な体積画像の処理方法
US6671615B1 (en) 2000-05-02 2003-12-30 Navigation Technologies Corp. Navigation system with sign assistance
US6608913B1 (en) 2000-07-17 2003-08-19 Inco Limited Self-contained mapping and positioning system utilizing point cloud data
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
US20050149251A1 (en) 2000-07-18 2005-07-07 University Of Minnesota Real time high accuracy geospatial database for onboard intelligent vehicle applications
EP1244310A1 (en) * 2001-03-21 2002-09-25 Canal+ Technologies Société Anonyme Data referencing system
US6772062B2 (en) 2001-05-31 2004-08-03 The Regents Of The University Of California Intelligent ultra high speed distributed sensing system and method for sensing roadway markers for intelligent vehicle guidance and control
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
WO2003012740A1 (fr) 2001-07-31 2003-02-13 Cad Center Corporation Dispositif de generation automatique de formes de structure en 3d, procede de generation automatique, programme a cet effet et support d'enregistrement de ce programme
KR100446635B1 (ko) * 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
JP2003232888A (ja) 2001-12-07 2003-08-22 Global Nuclear Fuel-Japan Co Ltd 輸送物の健全性確認検査システムおよび健全性確認方法
DE10202756A1 (de) 2002-01-25 2003-08-07 Daimler Chrysler Ag Digitale Karte mit Temperaturdaten
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
DE10223201C1 (de) * 2002-05-24 2003-05-28 Fraunhofer Ges Forschung Optikerfassungsvorrichtung
US7433889B1 (en) 2002-08-07 2008-10-07 Navteq North America, Llc Method and system for obtaining traffic sign data using navigation systems
US6728608B2 (en) 2002-08-23 2004-04-27 Applied Perception, Inc. System and method for the creation of a terrain density model
US7324666B2 (en) 2002-11-15 2008-01-29 Whitegold Solutions, Inc. Methods for assigning geocodes to street addressable entities
US6847887B1 (en) 2003-03-04 2005-01-25 Navteq North America, Llc Method and system for obtaining road grade data
FI115668B (fi) 2003-03-25 2005-06-15 Sandvik Tamrock Oy Kaivosajoneuvon paikan ja suunnan alustaminen
FR2854473A1 (fr) * 2003-04-29 2004-11-05 France Telecom Procede pour la modelisation de donnees referentielles et son utilisation pour la localisation de donnees referentielles dans un systeme d'informations
US7035733B1 (en) 2003-09-22 2006-04-25 Navteq North America, Llc Method and system for obtaining road grade data
US6856897B1 (en) 2003-09-22 2005-02-15 Navteq North America, Llc Method and system for computing road grade data
US7096115B1 (en) 2003-09-23 2006-08-22 Navteq North America, Llc Method and system for developing traffic messages
US6990407B1 (en) 2003-09-23 2006-01-24 Navteq North America, Llc Method and system for developing traffic messages
US7251558B1 (en) 2003-09-23 2007-07-31 Navteq North America, Llc Method and system for developing traffic messages
US7050903B1 (en) 2003-09-23 2006-05-23 Navteq North America, Llc Method and system for developing traffic messages
DE102004055069B4 (de) 2004-07-15 2007-02-15 Daimlerchrysler Ag Mehrdimensionale Fahrbahnvermessung
US20060023197A1 (en) * 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
DE102004046589A1 (de) 2004-08-05 2006-02-23 Volkswagen Ag Vorrichtung für ein Kraftfahrzeug
DE102005008185A1 (de) 2005-02-23 2006-08-31 Daimlerchrysler Ag Verfahren, System und Fahrzeuggerät zur Überprüfung digitaler Straßendaten
WO2006118563A1 (en) 2005-04-29 2006-11-09 Chubb International Holdings Limited Method and device for consistent region of interest
MX2007015348A (es) 2005-06-06 2008-02-15 Tomtom Int Bv Dispositivo de navegacion con informacion de camara.
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
WO2007011522A2 (en) 2005-07-14 2007-01-25 Gm Global Technology Operations, Inc. Remote perspective vehicle environment observation system
US20070055441A1 (en) 2005-08-12 2007-03-08 Facet Technology Corp. System for associating pre-recorded images with routing information in a navigation system
EP1958459B1 (en) * 2005-12-02 2018-06-13 Koninklijke Philips N.V. Depth dependent filtering of image signal
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
US20080059015A1 (en) * 2006-06-09 2008-03-06 Whittaker William L Software architecture for high-speed traversal of prescribed routes
JP4600357B2 (ja) 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
EP2032944B1 (en) 2006-06-27 2013-07-31 TomTom International B.V. Navigation device and method for providing warnings for a speed trap
DE502006007134D1 (de) 2006-07-06 2010-07-15 Siemens Ag Vorrichtung zum orten eines an einen fahrweg gebundenen fahrzeugs
CA2655221A1 (en) * 2006-07-28 2008-01-31 Kabushiki Kaisha Top Electrode needle device with temperature sensor
US8996172B2 (en) * 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
JP5069439B2 (ja) 2006-09-21 2012-11-07 パナソニック株式会社 自己位置認識システム
US20080243378A1 (en) 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
US7865302B2 (en) 2007-03-29 2011-01-04 Alpine Electronics, Inc. Method and apparatus for displaying house number and building footprint in arrival screen for navigation system
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
CA2699621A1 (en) 2007-06-08 2008-12-11 Tele Atlas N.V. Method of and apparatus for producing a multi-viewpoint panorama
JP2010541016A (ja) * 2007-10-02 2010-12-24 テレ アトラス ベスローテン フエンノートシャップ 地図データベースにおいて使用するために、表面に渡る基準線に沿う線形特徴を取り込む方法
JP4994256B2 (ja) * 2008-01-28 2012-08-08 株式会社ジオ技術研究所 経路案内データベースのデータ構造
WO2009098154A1 (en) 2008-02-04 2009-08-13 Tele Atlas North America Inc. Method for map matching with sensor detected objects
GB2457508B (en) * 2008-02-18 2010-06-09 Ltd Sony Computer Entertainmen System and method of audio adaptaton
US20110109745A1 (en) 2008-07-07 2011-05-12 Yuzuru Nakatani Vehicle traveling environment detection device
JP2011529569A (ja) * 2008-07-31 2011-12-08 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションデータを三次元で表示するコンピュータ装置および方法
CA2725800A1 (en) * 2008-07-31 2010-02-04 Tele Atlas B.V. Method of displaying navigation data in 3d
WO2010048036A2 (en) 2008-10-22 2010-04-29 Terratrim, Inc. Systems and methods for managing utility consumption
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法
EP2209091B1 (en) 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
US8284997B2 (en) * 2009-03-11 2012-10-09 Honeywell International Inc. Vision-based vehicle navigation system and method
CN102803991B (zh) * 2009-06-03 2014-06-04 学校法人中部大学 物体检测设备
US8301374B2 (en) 2009-08-25 2012-10-30 Southwest Research Institute Position estimation for ground vehicle navigation based on landmark identification/yaw rate and perception of landmarks
WO2011023246A1 (en) 2009-08-25 2011-03-03 Tele Atlas B.V. A vehicle navigation system and method
US9052207B2 (en) * 2009-10-22 2015-06-09 Tomtom Polska Sp. Z O.O. System and method for vehicle navigation using lateral offsets
CN101701828B (zh) * 2009-11-23 2012-10-03 常州超媒体与感知技术研究所有限公司 基于立体视觉和信息融合的盲人自主导航方法
TWI391874B (zh) 2009-11-24 2013-04-01 Ind Tech Res Inst 地圖建置方法與裝置以及利用該地圖的定位方法
US8861842B2 (en) 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc 3次元計測装置、処理方法及びプログラム
JP5062497B2 (ja) 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 風景画像認識を用いた自車位置検出システム
WO2011127226A1 (en) * 2010-04-09 2011-10-13 Tomtom North America, Inc. A method of resolving a location from data representative thereof
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
EP3901653A3 (en) 2010-05-17 2022-03-02 Velodyne Lidar USA, Inc. High definition lidar system
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
NL2004996C2 (nl) * 2010-06-29 2011-12-30 Cyclomedia Technology B V Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto.
IT1401367B1 (it) 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
EP2420799B1 (en) * 2010-08-18 2015-07-22 Harman Becker Automotive Systems GmbH Method and system for displaying points of interest
US20120044241A1 (en) 2010-08-20 2012-02-23 Himax Technologies Limited Three-dimensional on-screen display imaging system and method
US9679362B2 (en) 2010-12-30 2017-06-13 Tomtom Global Content B.V. System and method for generating textured map object images
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9140792B2 (en) 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
US10088317B2 (en) * 2011-06-09 2018-10-02 Microsoft Technologies Licensing, LLC Hybrid-approach for localization of an agent
US9194949B2 (en) 2011-10-20 2015-11-24 Robert Bosch Gmbh Methods and systems for precise vehicle localization using radar maps
US8630805B2 (en) 2011-10-20 2014-01-14 Robert Bosch Gmbh Methods and systems for creating maps with radar-optical imaging fusion
US8553942B2 (en) * 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
US8831337B2 (en) 2011-11-11 2014-09-09 Texas Instruments Incorporated Method, system and computer program product for identifying locations of detected objects
US9070216B2 (en) 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US9024970B2 (en) * 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
DE112013000939T5 (de) * 2012-02-10 2014-11-06 Zachary T. Bonefas System und Verfahren zum Materialtransport mit einem Bildgebungsgerät am übernehmenden Fahrzeug zur Steuerung der Materialverteilung im Laderaum des übernehmenden Fahrzeugs
US20130249899A1 (en) 2012-03-07 2013-09-26 Willow Garage Inc. Point cloud data hierarchy
GB2501466A (en) * 2012-04-02 2013-10-30 Univ Oxford Localising transportable apparatus
EP2879386B1 (en) * 2012-07-27 2018-01-03 Nissan Motor Co., Ltd Three-dimensional object detection device, and three-dimensional object detection method
US9175975B2 (en) * 2012-07-30 2015-11-03 RaayonNova LLC Systems and methods for navigation
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9117306B2 (en) * 2012-12-26 2015-08-25 Adshir Ltd. Method of stencil mapped shadowing
US20140176532A1 (en) * 2012-12-26 2014-06-26 Nvidia Corporation Method for image correction and an electronic device embodying the same
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9275078B2 (en) * 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
CN103630122B (zh) * 2013-10-15 2015-07-15 北京航天科工世纪卫星科技有限公司 一种单目视觉车道线检测方法及其测距方法
US9424672B2 (en) * 2013-11-07 2016-08-23 Here Global B.V. Method and apparatus for processing and aligning data point clouds
US9438891B2 (en) 2014-03-13 2016-09-06 Seiko Epson Corporation Holocam systems and methods
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
US20150347833A1 (en) * 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
US9652031B1 (en) * 2014-06-17 2017-05-16 Amazon Technologies, Inc. Trust shifting for user position detection
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US9792521B2 (en) * 2014-12-26 2017-10-17 Here Global B.V. Extracting feature geometries for localization of a device
US10028102B2 (en) * 2014-12-26 2018-07-17 Here Global B.V. Localization of a device using multilateration

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140379254A1 (en) 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system

Also Published As

Publication number Publication date
JP2018533721A (ja) 2018-11-15
KR102653953B1 (ko) 2024-04-02
JP7398506B2 (ja) 2023-12-14
US11629962B2 (en) 2023-04-18
CN107850449B (zh) 2021-09-03
KR20180037243A (ko) 2018-04-11
WO2017021781A1 (en) 2017-02-09
CN114111812A (zh) 2022-03-01
EP3332216A1 (en) 2018-06-13
JP6899369B2 (ja) 2021-07-07
US11274928B2 (en) 2022-03-15
US20180202814A1 (en) 2018-07-19
WO2017021778A2 (en) 2017-02-09
WO2017021778A3 (en) 2017-04-06
EP3332217A1 (en) 2018-06-13
EP3998455A1 (en) 2022-05-18
JP2022110001A (ja) 2022-07-28
US11137255B2 (en) 2021-10-05
WO2017021474A1 (en) 2017-02-09
CN107850449A (zh) 2018-03-27
WO2017021475A1 (en) 2017-02-09
JP6899368B2 (ja) 2021-07-07
EP3332219B1 (en) 2021-11-03
KR20240040132A (ko) 2024-03-27
CN107850450A (zh) 2018-03-27
KR102650541B1 (ko) 2024-03-26
US20220214174A1 (en) 2022-07-07
JP2018532979A (ja) 2018-11-08
WO2017021473A1 (en) 2017-02-09
KR20180038475A (ko) 2018-04-16
CN107850445B (zh) 2021-08-27
JP6899370B2 (ja) 2021-07-07
EP3995783A1 (en) 2022-05-11
CN107850448B (zh) 2021-11-16
KR102630740B1 (ko) 2024-01-29
US20190003838A1 (en) 2019-01-03
EP3998456A1 (en) 2022-05-18
EP3332219A2 (en) 2018-06-13
JP2018529938A (ja) 2018-10-11
EP3332218B1 (en) 2021-11-03
KR20180037242A (ko) 2018-04-11
CN107850448A (zh) 2018-03-27
EP3332216B1 (en) 2020-07-22
EP3332217B1 (en) 2021-11-10
KR20180037241A (ko) 2018-04-11
US20180209796A1 (en) 2018-07-26
US20180364349A1 (en) 2018-12-20
EP3332218A1 (en) 2018-06-13
US11287264B2 (en) 2022-03-29
CN107850450B (zh) 2022-01-07
JP2018532099A (ja) 2018-11-01
CN107850445A (zh) 2018-03-27
US10948302B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
JP7090597B2 (ja) 位置特定基準データを生成及び使用する方法及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200824

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210305

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220427

R150 Certificate of patent or registration of utility model

Ref document number: 7066607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150