JP6798032B2 - 地面環境検出方法及び機器 - Google Patents

地面環境検出方法及び機器 Download PDF

Info

Publication number
JP6798032B2
JP6798032B2 JP2019535919A JP2019535919A JP6798032B2 JP 6798032 B2 JP6798032 B2 JP 6798032B2 JP 2019535919 A JP2019535919 A JP 2019535919A JP 2019535919 A JP2019535919 A JP 2019535919A JP 6798032 B2 JP6798032 B2 JP 6798032B2
Authority
JP
Japan
Prior art keywords
ground environment
laser
scan
sub
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019535919A
Other languages
English (en)
Other versions
JP2020504827A (ja
Inventor
ツァオ，トントン
シャオ，ユンフェン
ヤオ，ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2020504827A publication Critical patent/JP2020504827A/ja
Application granted granted Critical
Publication of JP6798032B2 publication Critical patent/JP6798032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)

Description

本発明の実施形態は、自動運転分野に関し、特に地面環境検出方法及び機器に関する。
無人自動車とも呼ばれる自動運転自動車は、無人運転をコンピュータシステム又は端末装置を用いて実施する知的自動車である。自動運転の重要な前提条件の１つは地面環境を検出することであり、後の自動運転の計画、意志決定、及び制御をサポートするために、車両が通行可能な路面状態及び領域は、地面環境を検出することにより決定される。
従来、単一の動作波長に基づくレーザレーダスキャン又は画像認識方法が、通行可能路面を路面の空間情報又は画像特徴に基づき決定するために通常使用される。しかしながら、これらの方法は、地面環境が（滑らかな高速道路面のように）単純である又は地面環境が（明瞭な車線を有する路面のような）明らかな画像特徴を有するときにのみ良好な効果を有し、不均一路面のような複雑な道路環境を正しく検出できず、路面に草又は水がある、道路上に不完全な路線がある、路面に影があるとき、又は夜に、粗悪な検出効果を有する。
以上に鑑み、本発明の実施形態は、複数波長レーザレーダに基づき地面環境を検出する方法及び機器を提供する。当該方法では、異なる動作波長に基づくレーザレーダが地面をスキャンするために使用され、地面環境種別が、レーザの異なる波長の下で地面環境の反射強度特性に基づき決定され、それにより、複雑な地面環境の感知効果を向上し、通行可能路面を良好に決定する。
第１の態様によると、本願は、地面環境検出方法であって、地面環境を、異なる動作波長を有するレーザ探測信号を用いてスキャンし、前記探測信号に対して前記地面環境により反射された反射信号を受信するステップと、前記地面環境の各スキャンスポットのスキャンスポット情報を前記反射信号に基づき決定するステップであって、前記スキャンスポット情報は、レーザレーダに対する前記スキャンスポットの方向角、距離、及びレーザ反射強度を含む、ステップと、各スキャンスポットの空間座標情報及びレーザ反射特性を、各スキャンスポット情報片に基づき決定し、前記地面環境を異なるレーザ反射特性を有するサブ領域に区分するステップであって、前記レーザ反射特性は、異なる波長を有するレーザにおける反射率を含む、ステップと、各サブ領域の地面環境種別を決定するステップと、を含む方法を提供する。
異なる動作波長を有する複数のレーザレーダは、それぞれ、複数のレーザレーダの動作波長のレーザ探測信号を送信して、周囲地面環境をスキャンするために使用されてよいこと、又は複数の動作波長を有するレーザレーダが異なる波長を有するレーザ探測信号を送信するために使用されてよいことが理解され得る。
前述の方法では、周囲地面環境は、異なる波長を有するレーザ探測信号を用いてスキャンされ、異なる波長を有するレーザにおける各スキャンスポットの反射率が決定され、地面環境は異なるレーザ反射特性を有するサブ領域に区分され、各サブ領域の地面環境種別が決定される。地面環境種別は、異なる波長の下で地面環境の反射強度に基づき決定され、それにより、複雑な地面環境における知覚効果を向上し、通行可能路面を良好に決定する。
可能な実装では、各サブ領域の地面環境種別は、各地面環境種別のレーザ反射特性に基づき決定される。
可能な実装では、各サブ領域のレーザ反射特性は、ニューラルネットワークに入力され、ニューラルネットワークにより出力される各サブ領域の地面環境種別を取得する。ニューラルネットワークは、ここでは、異なる波長を有するレーザにおける異なる地面環境種別の反射率のデータを入力として及び対応する地面環境種別を出力として使用するデータのグループを、トレーニングのためのサンプルデータセットとして使用して、異なる地面環境種別の間を区別するために使用されるデータモデルを取得する。ニューラルネットワークによるトレーニングにより取得されたデータモデルに基づき、各サブ領域の地面環境種別は、各サブ領域のレーザ反射特性について決定される。それにより、地面環境種別の識別の精度を向上する。
可能な実装では、各スキャンスポットの位置情報は、同じ座標系に、各スキャンスポットのスキャンスポット情報及び各レーザレーダの設置位置に基づき変換され、各スキャンスポットの空間座標情報及びレーザ反射特性は、各レーザレーダにより取得された各スキャンスポットのスキャンスポット情報を融合することにより決定され、領域区分は、各スキャンスポットの空間座標情報及びレーザ反射特性に基づき実行され、地面環境は異なるレーザ反射特性を有するサブ領域に区分される。つまり、複数のレーザレーダのスキャンデータは、先ず、スキャンスポットの位置情報に基づき融合され、次に、融合されたデータは、異なる波長の反射率情報に基づきクラスタリングされ、地面環境が異なるレーザ反射特性を有するサブ領域に区分される。
可能な実装では、領域区分は、スキャンスポット情報に基づき、各レーザレーダにより取得されたスキャンスポットに対して別個に実行され、各レーザレーダが異なるレーザ反射強度を有するクラスタリング後のサブ領域を生成し、各レーザレーダのクラスタリング後のサブ領域の位置情報が同じ座標系に変換され、各レーザレーダのクラスタリング後のサブ領域の中の各スキャンスポットのスキャンスポット情報が、変換したサブ領域の位置情報に基づき融合され、地面環境が異なるレーザ反射特性を有するサブ領域に区分される。つまり、各レーザレーダのスキャンデータは、領域区分のためにクラスタリングされ、次に、領域区分が異なるレーザレーダに対して実行された後に取得されたデータが、位置情報に基づき融合され、地面環境が異なるレーザ反射特性を有するサブ領域に区分される。
可能な実装では、領域区分は、領域拡張法又はＫ−ｍｅａｎｓ法で実行される。
さらに、地面環境の画像データは、複数のカメラを用いて収集され、カメラにより収集された画像データは、地面環境種別を識別するために処理され、地面環境種別は、各サブ領域の複数波長レーザレーダにより決定された地面環境種別と融合され、それにより、地面環境検出システムの堅牢性を向上する。
第２の態様によると、本発明の一実施形態は、地面環境検出装置であって、地面環境を、異なる動作波長を有するレーザ探測信号を用いてスキャンし、前記探測信号に対して前記地面環境により反射された反射信号を受信するよう構成されるレーザスキャンユニットと、前記地面環境の各スキャンスポットのスキャンスポット情報を前記反射信号に基づき決定するよう構成されるデータ収集ユニットであって、前記スキャンスポット情報は、レーザレーダに対する前記スキャンスポットの方向角、距離、及びレーザ反射強度を含む、データ収集ユニットと、各スキャンスポットの空間座標情報及びレーザ反射特性を、各スキャンスポット情報片に基づき決定し、前記地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成されるスキャンデータ処理ユニットであって、前記レーザ反射特性は、異なる波長を有するレーザにおける反射率を含む、スキャンデータ処理ユニットと、各サブ領域の地面環境種別を決定するよう構成される地面環境決定ユニットと、を含む検出装置を提供する。
可能な実装では、レーザスキャンユニットは、機械的回転レーザレーダ又は固体レーザレーダである。
地面環境検出装置は、異なる波長を有するレーザ探測信号を用いて周囲地面環境をスキャンし、異なる波長を有するレーザにおける各スキャンスポットの反射率を、地面環境により反射された反射信号に基づき決定し、地面環境を、異なるレーザ反射特性を有するサブ領域に区分し、各サブ領域の地面環境種別を決定する。地面環境種別は、異なるレーザ波長の下で地面環境の反射強度に基づき決定され、それにより、複雑な地面環境における知覚効果を向上し、通行可能路面を良好に決定する。
可能な実装では、地面環境決定ユニットは、各サブ領域の地面環境種別を各地面環境種別のレーザ反射特性に基づき決定するよう構成される。
別の可能な実装では、前記地面環境決定ユニットは、各サブ領域のレーザ反射特性をニューラルネットワークに入力して、前記ニューラルネットワークにより出力される各サブ領域の前記地面環境種別を取得するよう構成され、前記ニューラルネットワークにより異なる地面環境種別の間を区別するために使用されるデータモデルは、異なる波長を有する前記レーザにおける異なる地面環境の反射率のデータを入力として及び前記地面環境種別を出力として用いるデータのグループをトレーニングのためのサンプルデータセットとして使用することにより取得される。
可能な実装では、前記スキャンデータ処理ユニットは、各スキャンスポットの位置情報を同じ座標系に、各スキャンスポットの前記スキャンスポット情報及び各レーザレーダの設置位置に基づき変換し、各スキャンスポットの前記空間座標情報及び前記レーザ反射特性を、各レーザレーダにより取得された各スキャンスポットの前記スキャンスポット情報を融合することにより決定するよう構成される融合サブユニットと、領域区分を、各スキャンスポットの前記空間座標情報及び前記レーザ反射特性に基づき実行して、前記地面環境を異なるレーザ反射特性を有する前記サブ領域に区分するよう構成される領域区分サブユニットと、を含む。つまり、融合サブユニットは、先ず、複数のレーザレーダのスキャンデータをスキャンスポットの位置情報に基づき融合するよう構成される。次に、領域区分サブユニットは、融合されたデータを、異なる波長の反射率情報に基づきクラスタリングし、地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成される。
別の可能な実装では、スキャンデータ処理ユニットは、領域区分を、スキャンスポット情報に基づき、各レーザレーダにより取得されたスキャンスポットに対して別個に実行して、各レーザレーダが異なるレーザ反射強度を有するクラスタリング後のサブ領域を生成するよう構成される領域区分サブユニットと、各レーザレーダのクラスタリング後のサブ領域の位置情報を同じ座標系に変換し、各レーザレーダのクラスタリング後のサブ領域の中の各スキャンスポットのスキャンスポット情報を、変換したサブ領域の位置情報に基づき融合し、地面環境を異なるレーザ反射特性を有するサブ領域に区分する、よう構成される融合サブユニットと、を含む。つまり、領域区分サブユニットは、各レーザレーダのスキャンデータを、領域区分のためにクラスタリングするよう構成される。次に、融合サブユニットは、領域区分が異なるレーザレーダに対して実行された後に取得されたデータを位置情報に基づき融合し、地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成される。
可能な実装では、領域区分サブユニットは、領域区分を領域拡張法又はＫ−ｍｅａｎｓ法で実行する。
第３の態様によると、本発明の一実施形態は、地面環境検出装置であって、地面環境を、異なる動作波長を有するレーザ探測信号を用いてスキャンし、前記探測信号に対して前記地面環境により反射された反射信号を受信するよう構成されるレーザスキャンユニットと、プロセッサ及びメモリを含むデータ処理ユニットであって、前記メモリはコンピュータ実行命令を格納するよう構成され、前記プロセッサは、前記コンピュータ実行命令を実行し、前記地面環境の各スキャンスポットのスキャンスポット情報を前記反射信号に基づき決定し、各スキャンスポットの空間座標情報及びレーザ反射特性を、各スキャンスポット情報片に基づき決定し、前記地面環境を異なるレーザ反射特性を有するサブ領域に区分し、各サブ領域の地面環境種別を決定するよう構成され、前記スキャンスポット情報は、レーザレーダに対する前記スキャンスポットの方向角、距離、及びレーザ反射強度を含み、前記レーザ反射特性は、異なる波長を有するレーザにおける反射率を含む、データ処理ユニットと、を含む検出装置を提供する。
可能な実装では、レーザスキャンユニットは、機械的回転レーザレーダ又は固体レーザレーダである。
地面環境検出装置は、異なる波長を有するレーザ探測信号を用いて周囲地面環境をスキャンし、異なる波長を有するレーザにおける各スキャンスポットの反射率を、地面環境により反射された反射信号に基づき決定し、地面環境を、異なるレーザ反射特性を有するサブ領域に区分し、各サブ領域の地面環境種別を決定する。地面環境種別は、異なる波長の下で地面環境の反射強度に基づき決定され、それにより、複雑な地面環境における知覚効果を向上し、通行可能路面を良好に決定する。
可能な実装では、プロセッサは、各サブ領域の地面環境種別を各地面環境種別のレーザ反射特性に基づき決定するよう構成される。
別の可能な実装では、プロセッサは、各サブ領域のレーザ反射特性をニューラルネットワークに入力して、ニューラルネットワークから出力される各サブ領域の地面環境種別を取得するよう構成される。ここで、ニューラルネットワークにより異なる地面環境種別の間を区別するために使用されるデータモデルは、異なる波長を有するレーザにおける異なる地面環境種別の反射率のデータを入力として及び地面環境種別を出力として用いるデータのグループをトレーニングのためのサンプルデータセットとして使用することにより取得される。
可能な実装では、プロセッサは、各スキャンスポットの位置情報を同じ座標系に、各スキャンスポットのスキャンスポット情報及び各レーザレーダの設置位置に基づき変換し、各スキャンスポットの空間座標情報及びレーザ反射特性を、各レーザレーダにより取得された各スキャンスポットのスキャンスポット情報を融合することにより決定し、領域区分を、各スキャンスポットの空間座標情報及びレーザ反射特性に基づき実行して、地面環境を異なるレーザ反射特性を有するサブ領域に区分する、よう構成される。つまり、プロセッサ、先ず、複数のレーザレーダのスキャンデータをスキャンスポットの位置情報に基づき融合し、次に、融合したデータを、異なる波長の反射率情報に基づきクラスタリングし、地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成される。
別の可能な実装では、プロセッサは、領域区分を、スキャンスポット情報に基づき、各レーザレーダにより取得されたスキャンスポットに対して別個に実行して、各レーザレーダが異なるレーザ反射強度を有するクラスタリング後のサブ領域を生成し、各レーザレーダのクラスタリング後のサブ領域の位置情報を同じ座標系に変換し、各レーザレーダのクラスタリング後のサブ領域の中の各スキャンスポットのスキャンスポット情報を、変換したサブ領域の位置情報に基づき融合し、地面環境を異なるレーザ反射特性を有するサブ領域に区分する、よう構成される。つまり、プロセッサは、各レーザレーダのスキャンデータを、領域区分のためにクラスタリングし、次に、領域区分が異なるレーザレーダに対して実行された後に取得されたデータを、位置情報に基づき融合し、地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成される。
可能な実装では、プロセッサは、領域区分を領域拡張法又はＫ−ｍｅａｎｓ法で実行する。
前述の技術的ソリューションでは、本発明の実施形態において提供される地面環境検出方法及び装置は、異なる波長を有するレーザ探測信号を用いて、周囲地面環境をスキャンし、地面環境を異なるレーザ反射特性を有するサブ領域に、異なる波長を有するレーザにおける各スキャンスポットの反射率に基づき区分し、各サブ領域の地面環境種別を決定する。異なる波長を有するレーザが地面をスキャンするために使用され、地面環境種別が、レーザの異なる波長の下で地面環境の反射強度特性に基づき決定され、それにより、複雑な地面環境の感知効果を向上し、通行可能路面を良好に決定する。
本発明の実施形態の技術的ソリューションをより明確に記載するために、以下は、実施形態を説明するのに必要な添付の図面を簡単に紹介する。明らかに、以下の説明中の添付の図面は、本発明のほんの一部の実施形態であり、当業者はこれらの添付の図面から創造的労力を有しないで別の図面を更に導出し得る。
本発明の一実施形態の適用される地面環境検出シナリオの概略図である。
地面環境検出方法のフローチャートである。
区分化を通じてサブ領域を取得する方法の概略図である。
区分化を通じてサブ領域を取得する方法の別の概略図である。
地面環境検出装置の概略構造図である。
地面環境検出装置の別の概略構造図である。
以下は、本発明の実施形態における技術的ソリューションを本発明の実施形態において添付の図面を参照して記載する。
図１は、本発明の一実施形態の適用される地面環境検出シナリオの概略図である。地面環境検出システム全体は、自動運転自動車に設置されたレーザレーダ、及びスキャンデータ処理ユニットを含む。
レーザレーダは、機械的回転レーザレーダ又は固体レーザレーダであってよく、レーザ信号を路面へ送信して周囲環境をスキャンするために使用されてよい。各レーザレーダは、地面により反射されたレーザ信号を受信し、一連のスキャンスポット情報を返す。既存のレーザレーダは、主に、９５０ｎｍ動作波長を用いる。しかしながら、単一動作波長を使用するレーザレーダは、通常、複雑な路面環境を識別することが困難である。本発明の本実施形態の技術的ソリューションでは、複数波長レーザレーダが使用される。つまり、異なる動作波長を有するレーザレーダが地面をスキャンするために使用される。図１は、自動運転車両に設置された３個のレーザレーダを示す。実際の適用では、設置されるレーザレーダの数は、要件及びコストのような要因に基づき柔軟に選択されてよい。これは、本発明において限定されない。
スキャンデータ処理ユニットは、全てのレーザレーダにより受信された、地面上の全てのスキャンスポットに関する情報をまとめ、路面の３次元空間構造及び反射強度を抽出し及び路面が通行可能路面か否かを決定するために、地面へ戻る各スキャンスポットの距離及び反射強度を、レーザ信号の送信と受信との間の時間差及び信号情報に基づき決定する。本発明の本実施形態では、異なる波長を有するレーザが地面スキャンのために使用されるので、スキャンデータ処理ユニットは、さらに、異なる波長を有するレーザレーダの生データに基づき、地面を異なるレーザ反射特性を有するサブ領域、つまり異なる波長を有するレーザにおける反射率が異なるサブ領域に区分してよく、各サブ領域の地面環境種別が最終的に決定される。
図１に示す地面環境検出適用シナリオの概略図を参照すると、本発明の一実施形態は、地面環境検出方法を提供する。図２に示すように、特定の処理は以下のステップを含む。
ステップ２０１。異なる動作波長を有するレーザ探測信号が、地面環境をスキャンするために使用される。異なる動作波長を有するレーザレーダは、周囲地面環境をスキャンするために、レーザ探測信号を送信する。任意で、複数のレーザレーダが、それぞれ異なる波長を有するレーザ探測信号を送信するために使用されてよい。或いは、異なる動作波長を有する複数のレーザレーダが、それぞれ複数のレーザレーダの動作波長を有するレーザ探測信号を送信するために使用されてよい。或いは、複数の動作波長を有するレーザレーダが、異なる動作波長を有するレーザ探測信号を送信するために使用されてよい。
ステップ２０２。探測信号に対して地面環境により反射された反射信号が受信される。レーザレーダにより送信されたレーザ探測信号が周囲地面環境内の目標（スキャンスポットとも呼ばれる）に会うと、レーザ探測信号は反射され、レーザレーダは目標から反射された反射信号を受信する。
ステップ２０３。スキャンスポットのスキャンスポット情報は、受信した反射信号に基づき決定される。ここで、スキャンスポット情報は、ここでは、レーザレーダに対するスキャンスポットの方向角、距離、及びレーザ反射強度を含む。各レーダにより受信された反射信号情報は、スキャンデータ処理ユニットへ送信されてよい。ここで、送信方法は、ここでは、無線送信方法（例えば、ブルートゥース）、ケーブル接続送信方法（例えば、信号ケーブルの直接接続）、等であってよい。スキャンデータ処理ユニットは、各スキャンスポットの方向角、距離、及びレーザ反射強度のような情報を、レーザ探測信号の送信と受信との間の時間差並びに送信及び受信に関連する信号強度のような、各スキャンスポットにより返され且つ各レーザレーダにより受信された送信信号に基づき決定する。ここで、反射信号を受信することによりスキャンスポットのスキャンスポット情報を計算する方法は、既存の一般的レーザレーダ検出方法であってよい。これは、本発明において詳細に記載されず、本発明の適用範囲に影響しない。
ステップ２０４。各スキャンスポットの空間座標情報及びレーザ反射特性は、各スキャンスポット情報片に基づき決定され、地面環境は異なるレーザ反射特性を有するサブ領域に区分される。レーザ反射特性は、ここでは、異なる波長を有するレーザにおける反射率を含む。
全てのスキャンスポットのスキャンスポット情報を結合して、つまり、全てのスキャンスポットの方向角、距離、及びレーザ反射強度に基づき、スキャンデータ処理ユニットは、異なる動作波長を有するレーザレーダにより返されたスキャンスポットデータを融合して、同じ座標系のスキャンスポット情報を生成し、全てのスキャンスポットの中で同様の空間座標及び同様のレーザ反射特性を有するスポットをクラスタリングし、クラスタリング後に、地面環境を異なるレーザ反射特性を有するサブ領域に区分する。
ステップ２０５。各サブ領域の地面環境が決定される。
任意で、各サブ領域の地面環境種別は、各地面環境種別のレーザ反射特性に、つまり異なる波長を有するレーザにおける反射率に基づき決定される。本実施形態では、異なる動作波長を有する３個のレーザレーダが例として使用され、動作波長はそれぞれλ１、λ２、及びλ３として設定される。３つの地面環境種別：Ａ、Ｂ、Ｃ（例えば、それぞれ道路、水、及び植物）があり、ｑは反射率を示し、異なる波長を有するレーザにおける各地面種別のレーザ反射特性は以下の関係に従うと仮定する。
種別Ａ：
Figure 0006798032
 ３つの波長のレーザにおける反射率は基本的に同じである。
種別Ｂ：
Figure 0006798032
 波長がλ１のレーザにおける反射率は０ではなく、波長がλ２及びλ３のレーザにおける反射率は０に近い。
種別Ｃ：
Figure 0006798032
 波長がλ１、λ２、λ３のレーザにおける反射率は１つずつ減少される。
各サブ領域の種別は、異なる波長を有するレーザの間の前述の反射率の関係に基づき決定され、通行可能路面が決定される。具体的に言うと、サブ領域の特定種別の地面は、各地面環境種別のレーザ反射特性の前述の所定の式を用いて決定される。
任意で、実際の適用では、異なる波長を有するレーザの間の反射率関係が複雑である場合、以上に示した所定の式を使用することに加えて、サブ領域の特定種別の地面は、各サブ領域のレーザ反射特性を抽出するために機械学習方法を用いて決定されてよい。異なる波長を有するレーザにおける異なる地面環境種別の反射率のデータを入力として及び対応する地面環境種別を出力として使用するデータのグループは、サンプルデータセットとして使用され、ニューラルネットワークにより異なる地面環境種別の間を区別するために使用されるデータモデルは、ニューラルネットワークをトレーニングすることにより取得される。特定の用途では、各サブ領域のレーザ反射特性は、データモデルに基づきニューラルネットワークにより出力される、各サブ領域の地面環境種別を取得するために、ニューラルネットワークに入力されてよい。例えば、異なる波長を有するＮ個のレーザにおける地面環境種別の反射率のデータのグループを表すベクトルＱ＝［ｑ１，ｑ２，．．．，ｑＮ］が、ニューラルネットワークの入力として使用され、（Ｍ個の分類を含む）地面環境種別を表すＴ∈｛Ｔ１，Ｔ２，．．．，ＴＭ｝が、ニューラルネットワークの出力として使用される。Ｑ及びＴが１対１対応にある一連のデータは、ニューラルネットワークにより地面環境種別の間を区別するために使用されるデータモデルを取得するために、ニューラルネットワークをトレーニングするためのサンプルデータセットとして使用される。このように、各サブ領域のレーザ反射特性データのグループ、つまり異なる波長を有するレーザにおける各サブ領域の反射率データは、ニューラルネットワークへの入力であり、ニューラルネットワークは、トレーニングを通じて取得されたデータモデルに基づき、各サブ領域に対応する地面環境種別を出力してよい。
本発明の一実施形態において提供され図２に示される地面環境検出方法では、異なる波長を有するレーザ探測信号は、周囲地面環境をスキャンするために使用され、異なる波長を有するレーザにおける各スキャンスポットの反射率は、地面環境により反射された反射信号に基づき決定され、地面環境は、異なるレーザ反射特性を有するサブ領域に区分され、各サブ領域の地面環境種別が決定される。異なる波長を有するレーザが地面をスキャンするために使用され、地面環境種別が、レーザの異なる波長の下で地面環境の反射強度に基づき決定され、それにより、複雑な地面環境の感知効果を向上し、通行可能路面を良好に決定する。
さらに、前述の実施形態のステップ２０４で、各スキャンスポットの空間座標情報及びレーザ反射特性は、各スキャンスポット情報片に基づき決定され、地面環境は異なるレーザ反射特性を有するサブ領域に区分される。これは、以下の方法で実施可能である。各スキャンスポットの位置情報は、同じ座標系に、各スキャンスポットのスキャンスポット情報及び各レーザレーダの設置位置に基づき変換され、各スキャンスポットの空間座標情報及びレーザ反射特性は、各レーザレーダにより取得された各スキャンスポットのスキャンスポット情報を融合することにより決定され、領域区分は、各スキャンスポットの空間座標情報及びレーザ反射特性に基づき実行され、地面環境は異なるレーザ反射特性を有するサブ領域に区分される。つまり、スキャンスポット情報を複数のレーザレーダから受信した後に、複数のレーザレーダのスキャンデータは、先ず、スキャンスポットの位置情報に基づき融合され、次に、異なる波長の反射率情報に基づきクラスタリングされる。
具体的に、複数のレーザレーダのスキャンスポット情報を受信した後に、複数のレーザレーダのスキャンデータは、先ず、スキャンスポットの位置情報（方向角及び距離を含む）に基づき融合される。つまり、全てのレーザレーダによりスキャンされたスキャンスポットのスキャンスポット情報は、スキャンスポットに基づき結合される。複数のレーザレーダの設置位置が異なる場合、各レーザレーダにより取得されたスキャンスポットの位置は、先ず、同じ座標系に、例えば車両座標系に変換される必要がある。座標変換が完了した後に、各レーザレーダにより取得されたスキャンスポットの位置情報が１対１対応になく誤って配置されている場合、異なるレーザレーダのスキャン情報を格納するために、新しいスキャンスポットが構成される必要があり、スキャンスポットセットの中の各スキャンスポットの位置は、各レーザレーダのスキャンスポットの位置情報に基づく値を選択してよく、又は所定値を選択してよい。スキャンスポットセットの中の各スポットの異なるレーザレーダの反射強度情報（つまり、異なる波長を有するレーザの反射率情報）は、各レーザレーダのスキャンスポットの反射強度に基づき、最近傍一致法又は補間法を用いて決定される。各スキャンスポットの位置及び異なる波長を有するレーザレーダの反射強度が最終的に出力されてよい。つまり、各スキャンスポットの位置情報及び異なる波長を有するレーザのスキャンスポットの反射率情報が最終的に取得される。例えば、Ｎ個のスキャンスポットが３個のレーザレーダによりスキャンされると仮定し、勿論、異なる量のスキャンスポットが異なるレーザレーダによりスキャンされてよい。説明の容易さのために、各レーザレーダによりスキャンされるスキャンスポットの量は同じであると仮定する。これは、適用範囲及び本発明の本実施形態の保護範囲に影響しない。第１レーザレーダのスキャン波長がλ１であり、スキャンされるスキャンスポットセットＡが｛Ｐ１，Ｐ２，．．．，ＰＮ｝であり、第２レーザレーダのスキャン波長がλ２であり、スキャンされるスキャンスポットセットＢが｛Ｑ１，Ｑ２，．．．，ＱＮ｝であり、第３レーザレーダのスキャン波長がλ３であり、スキャンされるスキャンスポットセットＣが｛Ｌ１，Ｌ２，．．．，ＬＮ｝であり、融合のために新たに構成されるスキャンスポットセットＤが｛Ｚ１，Ｚ２，．．．，ＺＮ｝であり、位置が｛（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２），．．．，（ｘＮ，ｙＮ，ｚＮ）｝として予め定められ、ここで１、２、．．．、Ｎは各スキャンスポットセットの中のスキャンスポットを表し、ｘ，ｙ，ｚはスキャンスポットの３次元座標を表すと仮定する。｛Ｐ１，Ｐ２，．．．，ＰＮ｝の中の最近接位置点にあるスキャンスポットの反射強度値は、第１レーザレーダに対応するＺ１スポットの反射強度ｑ（λ１）として選択されてよい。｛Ｑ１，Ｑ２，．．．，ＱＮ｝の中の最近接位置点にあるスキャンスポットの反射強度値は、第２レーザレーダに対応するＺ１スポットの反射強度ｑ（λ２）として選択されてよい。｛Ｌ１，Ｌ２，．．．，ＬＮ｝の中の最近接位置点にあるスキャンスポットの反射強度値は、第３レーザレーダに対応するＺ１スポットの反射強度ｑ（λ３）として選択されてよい。他のスキャンスポットについて、新たに構成されたスキャンスポットセットＤの中の全てのスキャンスポットの融合が完了するまで、同様の選択が実行される。融合が完了した後に、領域区分が、各スキャンスポットに対して、融合スキャンスポットセットＤの中の各スキャンスポットの異なる波長を有するレーザの反射強度情報の特性（例えば、上述の実施形態で言及した、異なる波長を有するレーザにおける３つの地面環境種別のレーザ反射特性）に基づき、実行される。つまり、クラスタリングが、異なる波長を有するレーザの反射率に基づきスキャンスポットに対して実行される。任意で、領域区分は、接続ドメイン領域拡張法又はＫ平均（K−means）法で実行されてよく、接続ドメイン領域拡張法は、ここでは説明のための一例として使用され、適用範囲及び本発明の実施形態の保護範囲に制限を課さない。先ず、スキャンスポットは開始点として使用され、隣接スキャンスポットの異なる波長の反射強度情報の特性と該スキャンスポットの異なる波長の反射強度情報の特性との間の類似性が計算される。類似性が設定閾より小さい場合、２つのスキャンスポットは接続されるべきであると考えられ、１つのカテゴリに分類される。或いは、類似性が設定閾より小さくない場合、２つのスキャンスポットは接続されないと考えられる。次に、別の隣接スキャンスポットが続けて計算され、異なるレーザ反射強度特性を有するサブ領域を生成するために、全てのスキャンスポットの領域区分が完了するまで以下同様である。処理プロセス全体は図３Ａに示される。各レーザレーダによりスキャンすることにより取得されたスキャンスポットが、先ず位置情報に基づき融合され、次に、領域区分が、各融合スキャンスポットの位置情報及び異なる波長を有するレーザの反射強度情報に基づき実行されて、異なるレーザ反射特性を有するサブ領域を取得する。
従来のレーザレーダ処理プロセスでは、各位置点の距離情報が、区分のために通常使用される。本発明の本実施形態では、領域区分を、各位置点の異なる波長の反射強度情報の特徴に基づき実行することに加えて、任意で、領域区分は、従来の方法における他の情報を結合すること、例えば距離情報を結合することにより実行されてよい。例えば、各スキャンスポットの位置は距離及びスキャン各により示され、スキャンスポットは、先ず、開始点として選択され、隣接スキャン角のスキャンスポットと該スキャンスポットとの間の距離差、及び隣接スキャンスポットの反射強度情報の特性と該スキャンスポットの反射強度情報の特性との間の類似性が、それぞれ計算される。差及び類似性がそれらそれぞれの閾より小さい場合、それらは１つのカテゴリに分類される。
任意で、前述の実施形態におけるステップ２０４の実装では、図３Ａに示す実装を用いることに加えて、以下の実装も使用されてよい。領域区分は、それぞれ、各レーザレーダにより取得されたスキャンスポットに対してスキャンスポット情報に基づき実行されて、異なるレーザ反射強度を有するクラスタリング後のサブ領域を生成し、各レーザレーダのクラスタリング後のサブ領域の位置情報は、同じ座標系に変換され、クラスタリング後の各サブ領域の中の各スキャンスポットのスキャンスポット情報は、変換されたサブ領域の位置情報に基づき融合され、地面環境は異なるレーザ反射特性を有するサブ領域に区分される。つまり、スキャンスポット情報を複数のレーザレーダから受信した後に、各レーザレーダのスキャンデータは、先ず、領域区分のためにクラスタリングされ、次に、領域区分が異なるレーザレーダに対して実行された後に取得されたデータが位置情報に基づき融合される。
具体的に、複数のレーザレーダのスキャンデータは、先ず、反射強度情報に基づき別個にクラスタリングされる。つまり、同様の反射強度特性を有する複数のサブ領域を生成するために、クラスタリングは、異なる波長を有するレーザの反射率に基づき、スキャンスポットに対して実行される。前述の実施形態で記載された方法と同様に、クラスタリング（領域区分）は、接続ドメイン領域拡張法又はＫ−ｍｅａｎｓ法で実行されてよい。同様に、接続ドメイン領域拡張法が一例として使用される。スキャンスポットは先ず開始点として選択され、次に、隣接スキャンスポットの反射強度情報と該スキャンスポットの反射強度情報との間の類似性が計算される。類似性が設定閾より小さい場合、２つのスキャンスポットは接続され１つのカテゴリに分類されると考えられる。或いは、類似性が設定式より小さくない場合、２つのスキャンスポットは接続されないと考えられる。次に、別の隣接スキャンスポットが続けて計算され、以下同様であり、各レーザレーダが各レーザレーダの波長において異なる反射率を有するサブ領域を取得する。前述の実施形態において記載した方法と同様に、領域区分を各位置点の異なる波長の反射強度情報の特性に基づき実行することに加えて、領域区分は、従来の方法における（距離情報のような）他の情報を結合することにより実行されてよく、区分方法及び詳細な説明も前述の実施形態におけるものと基本的に同じであってよい。詳細は、ここで再び記載されない。次に、区分を通じて取得されたサブ領域及び異なるレーザレーダのクラスタリングの後に取得されたサブ領域は、サブ領域の位置情報に基づき融合される。前述の実装方法と同様に、融合精度を保証するために、異なるレーザレーダのクラスタリング後に生成されたサブ領域の位置情報が先ず融合される必要があり、サブ領域の位置情報は同じ座標系に変換される。各レーザレーダのクラスタリング後のサブ領域の中の各スキャンスポットのスキャンスポット情報は、変換されたサブ領域の位置情報に基づき融合され、地面環境は、異なるレーザ反射特性を有するサブ領域に区分される。先ず、新しい座標系で、一連の新しいサブ領域が、全てのレーザレーダのクラスタリング後のサブ領域の境界に基づき区分を通じて取得される。次に、新たに生成されたサブ領域の異なる波長レーザにおける反射率情報が、各レーザレーダのクラスタリング後のサブ領域の反射強度情報に基づき決定される。前述の実施形態におけるように、ここでも、Ｎ個のスキャンスポットが３個のレーザレーダによりスキャンされ、第１レーザレーダのスキャン波長はλ１であり、スキャンされるスキャンスポットセットＡは｛Ｐ１，Ｐ２，．．．，ＰＮ｝であり、第２レーザレーダのスキャン波長はλ２であり、スキャンされるスキャンスポットセットＢは｛Ｑ１，Ｑ２，．．．，ＱＮ｝であり、第３レーザレーダのスキャン波長はλ３であり、スキャンされるスキャンスポットセットＣは｛Ｌ１，Ｌ２，．．．，ＬＮ｝であると仮定する。図３Ｂに示すように、第１レーザレーダのスキャンスポットセットＡのクラスタリングの後に、２個のサブ領域Ａ１及びＡ２が生成される。第２レーザレーダのスキャンスポットセットＢのクラスタリングの後に、３個のサブ領域Ｂ１、Ｂ２、及びＢ３が生成される。第３レーザレーダのスキャンスポットセットＣのクラスタリングの後に、２個のサブ領域Ｃ１及びＣ２が生成される。最後に、融合が、全てのサブ領域Ａ１、Ａ２、Ｂ１、Ｂ２、Ｂ３、Ｃ１、及びＣ２に基づき実行される。先ず、各レーザレーダのクラスタリング後のサブ領域の位置情報は、同じ座標系に変換され、３個のサブ領域Ｘ、Ｙ、Ｘが、全てのサブ領域の境界に基づき区分を通じて取得され、異なる波長における各サブ領域の反射強度情報が、各サブ領域に対応するレーザレーダの波長情報の融合に基づき決定され、地面環境が、異なるレーザ反射特性を有するサブ領域Ｘ、Ｙ、及びＺに区分される。
さらに、本発明の本実施形態で使用される地面環境検出方法は、従来の方法と結合される。例えば、周囲地面環境の画像データは、複数のカメラを用いて収集されてよく、複数の波長を有する各レーザレーダによりスキャンされたデータの融合に加えて、カメラにより収集された画像データの処理及び融合が追加される。例えば、カメラにより収集された画像データは、地面環境種別を識別するために処理され、地面環境種別は、識別した地面環境種別を、複数の波長を有するレーザレーダにより決定される各サブ領域の地面環境種別と比較することにより更に決定され、それにより、地面環境検出システムの堅牢性を向上する。
以上は、本発明の本実施形態で提供される地面環境検出方法を図１、図２、図３Ａ、及び図３Ｂを参照して詳細に記載した。図４は、本願で使用される地面環境検出装置の可能な概略構造図である。検出装置は、図２の方法の実施形態における地面環境検出装置の機能を実装してよい。本実施形態において定義されない用語及び実装の詳細については、図２の前述の方法の実施形態を参照する。図４に示すように、地面環境検出装置４０は、レーザスキャンユニット４１、データ収集ユニット４２、スキャンデータ処理ユニット４３、及び地面環境決定ユニット４４を含む。レーザスキャンユニット４１は、周囲地面環境を、異なる動作波長を有するレーザ探測信号を用いてスキャンし、探測信号に対して地面環境により反射された反射信号を受信するよう構成される。データ収集ユニット４２は、地面環境内の各スキャンスポットのスキャンスポット情報を、レーザスキャンユニット４１により受信された反射信号に基づき決定するよう構成される。ここで、スキャンスポット情報は、レーザレーダに対するスキャンスポットの方向角、距離、及びレーザ反射強度を含む。スキャンデータ処理ユニット４３は、各スキャンスポットの空間座標情報及びレーザ反射特性を、スキャンスポット情報片に基づき決定し、地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成される。ここで、レーザ反射特性は、ここでは、異なる波長を有するレーザにおける反射率である。地面環境決定ユニット４４は、各サブ領域の地面環境種別を決定するよう構成される。
任意で、レーザスキャンユニット４１は、機械的回転レーザレーダ又は固体レーザレーダであってよい。レーザスキャンユニット４１は、異なる動作波長を有する複数のレーザレーダ、又は複数の動作波長を有するレーザレーダであってよい。
本実施形態において提供される地面環境検出装置は、異なる波長を有するレーザ探測信号を用いて周囲地面環境をスキャンし、異なる波長を有するレーザにおける各スキャンスポットの反射率を、地面環境により反射された反射信号に基づき決定し、地面環境を、異なるレーザ反射特性を有するサブ領域に区分し、各サブ領域の地面環境種別を決定する。異なる波長を有するレーザが地面をスキャンするために使用され、地面環境種別が、レーザの異なる波長の下で地面環境のレーザ反射強度に基づき決定され、それにより、複雑な地面環境の感知効果を向上し、通行可能路面を良好に決定する。
任意で、地面環境決定ユニット４４は、具体的に、各サブ領域の地面環境種別を各地面環境種別のレーザ反射特性に基づき決定するよう構成される。各地面環境種別のレーザ反射特性は、ここでは、所定の式を用いて表されてよい。
任意で、地面環境決定ユニット４４は、具体的に、各サブ領域のレーザ反射特性をニューラルネットワークに入力して、ニューラルネットワークにより出力される各サブ領域の地面環境種別を取得するよう構成される。ニューラルネットワークは、ここでは、異なる波長を有するレーザにおける異なる地面環境種別の反射率のデータを入力として及び地面環境種別を出力として用いるデータのグループを、異なる地面環境種別の間を区別するために使用されるデータモデルを取得するためにトレーニングのためのサンプルデータセットとして使用する。ニューラルネットワークは、データモデルを用いて、各サブ領域のレーザ反射特性を、地面環境決定ユニット４４に入力して、各サブ領域の地面環境種別を出力する。
さらに、図４に示すように、スキャンデータ処理ユニット４３は、融合サブユニット４３１及び領域区分サブユニット４３２を含む。融合サブユニット４３１は、各スキャンスポットの位置情報を同じ座標系に、各スキャンスポットのスキャンスポット情報及び各レーザレーダの設置位置に基づき変換し、各スキャンスポットの空間座標情報及びレーザ反射特性を、各レーザレーダにより取得された各スキャンスポットのスキャンスポット情報を融合することにより決定するよう構成される。領域区分サブユニット４３２は、領域区分を、各スキャンスポットの空間座標情報及びレーザ反射特性に基づき実行し、地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成される。つまり、融合サブユニット４３１が、先ず、各レーザレーダによりスキャンすることにより取得されたスキャンスポットを位置情報に基づき融合する。次に、領域区分サブユニット４３２が、異なるレーザ反射特性を有するサブ領域を取得するために、領域区分を、各融合スキャンスポットの位置情報及び異なる波長を有するレーザの反射強度情報に基づき実行する。各レーザレーダによるスキャンにより取得されたスキャンスポットの位置情報に基づく融合、及び領域区分を融合スキャンスポットに基づき実行する方法及び詳細な説明は、基本的に、ステップ２０４で用いられ前述の方法の実施形態において図３Ａに示された実装の説明と同じである。詳細は、ここで再び記載されない。
任意で、スキャンデータ処理ユニット４３は、融合サブユニット４３１及び領域区分サブユニット４３２を含む。領域区分サブユニット４３２は、領域区分を、スキャンスポット情報に基づき、レーザレーダにより取得されたスキャンスポットに対して別個に実行して、各レーザレーダが異なるレーザ反射強度を有するクラスタリング後のサブ領域を生成するよう構成される。融合サブユニット４３１は、各レーザレーダのクラスタリング後のサブ領域の位置情報を同じ座標系に変換し、各レーザレーダのクラスタリング後のサブ領域内の各スキャンスポットのスキャンスポット情報を変換したサブ領域の位置情報に基づき融合し、地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成される。つまり、スキャンスポット情報を複数のレーザレーダから受信した後に、領域区分サブユニット４３２は、先ず、各レーザレーダのスキャンデータを区分のために別個にクラスタリングする。次に、融合サブユニット４３１は、位置情報に基づき、区分を通じて取得された異なるレーザレーダのサブ領域のデータを融合し、地面環境を異なるレーザ反射特性を有するサブ領域に区分する。各レーザレーダのスキャンデータをサブ領域に別個にクラスタリングし区分し、位置情報に基づき区分を通じて取得されたサブ領域のデータを融合する関連する方法及び詳細な説明は、基本的にステップ２０４で用いられた前述の方法の実施形態において図３Ｂに示された実装の説明と同じである。詳細は、ここで再び記載されない。
任意で、領域区分サブユニット４３２は、領域区分を領域拡張法又はＫ−ｍｅａｎｓ法で実行する。
図５は、本発明の一実施形態による別の地面環境検出装置５０を概略的に示す。図５に示すように、地面環境検出装置５０は、レーザスキャンユニット５１及びデータ処理ユニット５２を含む。レーザスキャンユニット５１は、周囲地面環境を、異なる動作波長を有するレーザ探測信号を用いてスキャンし、探測信号に対して地面環境により反射された反射信号を受信するよう構成される。データ処理ユニット５２は、プロセッサ５２１及びメモリ５２２を含む。メモリ５２２は、コンピュータ実行命令を格納するよう構成される。プロセッサ５２１は、メモリ５２２に格納されたコンピュータ実行命令を実行し、地面環境の各スキャンスポットのスキャンスポット情報を反射信号に基づき決定し、各スキャンスポットの空間座標情報及びレーザ反射特性を各スキャンスポット情報片に基づき決定し、地面環境を異なるレーザ反射特性を有するサブ領域に区分し、各サブ領域の地面環境種別を決定するよう構成される。スキャンスポット情報は、ここでは、レーザレーダに対するスキャンスポットの方向角、距離、及びレーザ反射強度を含み、レーザ反射特性は、異なる波長を有するレーザにおける反射率を含む。
プロセッサ５２１は、中央処理ユニット（CPU）、マイクロプロセッサ、特定用途向け集積回路（ASIC）、又は１つ以上の集積回路を用いて、本発明の実施形態で提供される技術的ソリューションを実施するために関連プログラムを実行してよい。
メモリ５２２は、読み出し専用メモリ（ROM）、静的記憶装置、動的記憶装置、又はランダムアクセスメモリ（RAM）であってよい。本発明の本実施形態で提供される技術的ソリューションがソフトウェア又はファームウェアを用いて実施されるとき、本発明の本実施形態で提供される技術的ソリューションを実施するためのプログラムコードは、メモリ５２２に格納され、プロセッサ５２１により実行される。
具体的に、メモリ５２２は、コンピュータ実行命令を格納するよう構成されてよく、又は種々の情報、例えば各地面環境種別のレーザ反射特性式を格納するよう構成されてよい。プロセッサ５２１は、メモリ５２２に格納された情報を読み出し、又は収集した情報をメモリ５２２に格納してよい。
任意で、プロセッサ５２１は、各サブ領域の地面環境種別を各地面環境種別のレーザ反射特性に基づき決定するよう構成される。
任意で、プロセッサ５２１は、各サブ領域のレーザ反射特性をニューラルネットワークに入力して、ニューラルネットワークから出力される各サブ領域の地面環境種別を取得するよう構成される。ここで、ニューラルネットワークにより異なる地面環境種別の間を区別するために使用されるデータモデルは、異なる波長を有するレーザにおける異なる地面環境種別の反射率のデータを入力として及び地面環境種別を出力として用いるデータのグループをトレーニングのためのサンプルデータセットとして使用することにより取得される。
任意で、プロセッサ５２１は、各スキャンスポットの位置情報を同じ座標系に、各スキャンスポットのスキャンスポット情報及び各レーザレーダの設置位置に基づき変換し、各スキャンスポットの空間座標情報及びレーザ反射特性を、各レーザレーダにより取得された各スキャンスポットのスキャンスポット情報を融合することにより決定し、領域区分を、各スキャンスポットの空間座標情報及びレーザ反射特性に基づき実行して、地面環境を異なるレーザ反射特性を有するサブ領域に区分する、よう構成される。
任意で、プロセッサ５２１は、領域区分を、スキャンスポット情報に基づき、各レーザレーダにより取得されたスキャンスポットに対して別個に実行して、各レーザレーダが異なるレーザ反射強度を有するクラスタリング後のサブ領域を生成し、各レーザレーダのクラスタリング後のサブ領域の位置情報を同じ座標系に変換し、各レーザレーダのクラスタリング後のサブ領域の中の各スキャンスポットのスキャンスポット情報を、変換したサブ領域の位置情報に基づき融合し、地面環境を異なるレーザ反射特性を有するサブ領域に区分する、よう構成される。
勿論、プロセッサ５２１は、領域区分を領域拡張法又はＫ−ｍｅａｎｓ法で実行してもよい。
留意すべきことに、プロセッサ５２１及びメモリ５２２だけが図５のデータ処理ユニットについて示されたが、特定の実装プロセスで、当業者は、データ処理ユニットが通常の実行を実施するために必要な別の装置を更に含むことを理解すべきである。例えば、通信インタフェース及びバスであり、ここで、通信インタフェースは、データ処理ユニット５２とレーザスキャンユニット５１との間の通信を実施するために例えば通信機機器を使用してよいが、通信機に限定されない。バスは、プロセッサ５２１とメモリ５２２との間で情報を送信するチャネルを含んでよい。バスは、周辺機器相互接続（PCI）バス、拡張業界標準アーキテクチャ（EISA）バス、等であってよい。バスは、アドレスバス、データバス、制御バス、等に分類されてよい。提示の容易さのために、当業者は、特定要件に従い、図５に示される地面環境検出装置５０が別の追加機能を実装するハードウェア装置を更に含んでよいことを理解すべきである。
当業者は、本願明細書に開示の実施形態で記載された例と組み合わせて、方法のステップ及びユニットが、電子ハードウェア、コンピュータソフトウェア、又はそれらの組み合わせにより実施され得ることを認識し得る。ハードウェアとソフトウェアとの間の同義性を明確に記載するために、以上は、機能に従う各々の例のステップ及び構成を一般的に記載した。機能がハードウェア又はソフトウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約条件に依存する。当業者は、各々の特定の適用について記載の機能を実施するために異なる方法を使用してよいが、実装が本発明の範囲を超えると考えられるべきではない。
便宜上及び簡潔な説明のために、前述の機器及びユニットの詳細な動作処理については、前述の方法の実施形態における対応する処理を参照してよく、詳細はここで記載されないことが、当業者により明らかに理解され得る。
本願において提供される幾つかの実施形態では、開示のシステム、機器、及び方法は他の方法で実装されてよいことが理解されるべきである。例えば、記載した機器の実施形態は単なる一例である。例えば、ユニット／モジュールの分割は、単なる論理的機能の分割であり、実際の実装では他の分割であってよい。例えば、複数のユニット又はコンポーネントは、別のシステムに結合又は統合されてよい。或いは、幾つかの機能は無視されるか又は実行されなくてよい。追加で、示された又は議論された結合、又は直接結合、又は通信接続は、幾つかのインタフェース、機器間又はユニット間の間接結合又は通信接続、又は電気的接続、機械的接続、又は他の形式の接続により実装されてよい。
別個の部分として記載されたユニットは、物理的に別個であってよく又はそうでなくてよい。並びに、ユニットとして表示された部分は、物理的なユニットであってよく又はそうでなくてよく、１カ所に置かれてよく又は複数のネットワークユニットに分散されてよい。一部又は全部のユニットは、本発明の実施形態のソリューションの目的を達成するために実際の必要に応じて選択されてよい。
さらに、本発明の実施形態における機能ユニットは、１つの処理ユニットに統合されてよく、或いは各ユニットが物理的に単独で存在してよく、或いは２以上のユニットが１つのユニットに統合されてよい。統合ユニットは、ハードウェアの形式で実装されてよく、又はソフトウェア機能ユニットの形式で実装されてよい。
統合ユニットがソフトウェア機能ユニットの形式で実装され、独立した製品として販売され又は使用されるとき、統合ユニットは、コンピュータ可読記憶媒体に格納され又は１つ以上の命令若しくはコードとして。コンピュータ可読媒体の中で送信されてよいコンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含み、通信媒体はコンピュータプログラムをある場所から別の場所へ送信させる任意の媒体を含む。記憶媒体は、コンピュータにとってアクセス可能な任意の利用可能な媒体であってよい。以下は、一例を提供するが、限定を意味しない。コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、又は別の光ディスク記憶装置又はディスク記憶媒体、又は別の磁気記憶装置、又は、命令若しくはデータ構造の形式で期待されるプログラムコードを運び又は格納でき且つコンピュータによりアクセス可能な任意の他の媒体を含んでよい。さらに、任意の接続は、コンピュータ可読媒体として適切に定められてよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は、赤外線、無線、及びマイクロ波のような無線技術を用いて、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は、赤外線、無線、及びマイクロ波のような無線技術は、それらの属する媒体の定義に含まれる。例えば、本発明において使用されるディスク（Disk）及びディスク（disc）は、コンパクトディスク（CD）、レーザディスク、光ディスク、デジタルバーサタイルディスク（DVD）、フロッピーディスク、ブルーレイディスクを含む。ここで、ディスク（Disk）は、通常、磁気手段によりデータをコピーし、ディスク（disc）は、レーザ手段により光学的にデータをコピーする。前述の組合せも、コンピュータ可読媒体の保護範囲に含まれるべきである。このような理解に基づき、基本的に本発明の技術的ソリューションは、又は従来技術に貢献する部分は、又は技術的ソリューションの全部又は一部は、記憶媒体に格納されてよく、コンピュータ装置（パーソナルコンピュータ、サーバ、ネットワーク装置、等であってよい）に、本発明の実施形態で記載された方法のステップの全部又は一部を実行するよう指示する幾つかの命令を含む。
最後に、留意すべきことに、前述の実施形態は、単に本発明の技術的ソリューションを説明するためであり、本発明の範囲を限定するためではない。本発明は、前述の実施形態を参照して詳細に説明されたが、当業者は、本発明の実施形態の技術的ソリューションの範囲から逸脱することなく、彼らが前述の実施形態で説明した技術的ソリューションに変更を行い、又はそれら実施形態の幾つかの技術的特徴を等価に置換できることを理解する。

Claims (12)

  1. 地面環境検出装置の実施する方法であって、
    地面環境を、異なる動作波長を有するレーザ探測信号を用いてスキャンするステップと、
    前記探測信号に対して前記地面環境により反射された反射信号を受信するステップと、
    前記地面環境の各スキャンスポットのスキャンスポット情報を前記反射信号に基づき決定するステップであって、前記スキャンスポット情報は、レーザレーダに対する前記スキャンスポットの方向角、距離、及びレーザ反射強度を含む、ステップと、
    各スキャンスポットの空間座標情報及びレーザ反射特性を、前記スキャンスポット情報に基づき決定し、前記地面環境を異なるレーザ反射特性を有するサブ領域に区分するステップであって、
    領域区分を、前記スキャンスポット情報に基づき各レーザレーダにより取得された前記スキャンスポットに対して別個に実行して、各レーザレーダが異なるレーザ反射強度を有する、クラスタリング後のサブ領域を生成するステップと、
    各レーザレーダのクラスタリング後の前記サブ領域の位置情報を同じ座標系に変換し、各スキャンスポットのスキャンスポット情報を各レーザレーダのクラスタリング後の前記サブ領域に、変換したサブ領域の位置情報に基づき融合し、及び前記地面環境を異なるレーザ反射特性を有する前記サブ領域に区分するステップと、
    を含み、前記レーザ反射特性は、異なる波長を有するレーザにおける反射率を含む、ステップと、
    各サブ領域の地面環境種別を決定するステップと、
    を含む方法。
  2. 各サブ領域の地面環境種別を決定する前記ステップは、
    各サブ領域の前記地面環境種別を、各地面環境種別のレーザ反射特性に基づき決定するステップを含む、請求項１に記載の方法。
  3. 各サブ領域の地面環境種別を決定する前記ステップは、
    各サブ領域のレーザ反射特性をニューラルネットワークに入力して、前記ニューラルネットワークから出力される各サブ領域の前記地面環境種別を取得するステップと、
    を含み、
    前記ニューラルネットワークにより異なる地面環境種別の間を区別するために使用されるデータモデルは、異なる波長を有する前記レーザにおける異なる地面環境の反射率のデータを入力として及び前記地面環境種別を出力として用いるデータのグループをトレーニングのためのサンプルデータセットとして使用することにより取得される、請求項１に記載の方法。
  4. 領域区分は、領域拡張法又はＫ−ｍｅａｎｓ法で実行される、請求項１乃至３のいずれか一項に記載の方法。
  5. 地面環境検出装置であって、
    地面環境を、異なる動作波長を有するレーザ探測信号を用いてスキャンし、前記探測信号に対して前記地面環境により反射された反射信号を受信するよう構成されるレーザスキャンユニットと、
    前記地面環境の各スキャンスポットのスキャンスポット情報を前記反射信号に基づき決定するよう構成されるデータ収集ユニットであって、前記スキャンスポット情報は、レーザレーダに対する前記スキャンスポットの方向角、距離、及びレーザ反射強度を含む、データ収集ユニットと、
    各スキャンスポットの空間座標情報及びレーザ反射特性を、前記スキャンスポット情報に基づき決定し、前記地面環境を異なるレーザ反射特性を有するサブ領域に区分するよう構成されるスキャンデータ処理ユニットであって、
    領域区分を、前記スキャンスポット情報に基づき、各レーザレーダにより取得された前記スキャンスポットに対して別個に実行して、各レーザレーダが異なるレーザ反射強度を有するクラスタリング後のサブ領域を生成するよう構成される領域区分サブユニットと、
    各レーザレーダのクラスタリング後の前記サブ領域の位置情報を同じ座標系に変換し、各レーザレーダのクラスタリング後の前記サブ領域の中の各スキャンスポットのスキャンスポット情報を変換したサブ領域の位置情報に基づき融合し、及び前記地面環境を異なるレーザ反射特性を有する前記サブ領域に区分するよう構成される融合サブユニットと、
    を含み、前記レーザ反射特性は、異なる波長を有するレーザにおける反射率を含む、スキャンデータ処理ユニットと、
    各サブ領域の地面環境種別を決定するよう構成される地面環境決定ユニットと、
    を含む検出装置。
  6. 前記地面環境決定ユニットは、
    各サブ領域の前記地面環境種別を各地面環境種別のレーザ反射特性に基づき決定するよう構成される、請求項５に記載の検出装置。
  7. 前記地面環境決定ユニットは、
    各サブ領域のレーザ反射特性をニューラルネットワークに入力して、前記ニューラルネットワークから出力される各サブ領域の前記地面環境種別を取得するよう構成され、
    前記ニューラルネットワークにより異なる地面環境種別の間を区別するために使用されるデータモデルは、異なる波長を有する前記レーザにおける異なる地面環境の反射率のデータを入力として及び前記地面環境種別を出力として用いるデータのグループをトレーニングのためのサンプルデータセットとして使用することにより取得される、請求項６に記載の検出装置。
  8. 前記領域区分サブユニットは、領域拡張法又はＫ−ｍｅａｎｓ法で領域区分を実行する、請求項５乃至７のいずれか一項に記載の検出装置。
  9. 地面環境検出装置であって、
    地面環境を、異なる動作波長を有するレーザ探測信号を用いてスキャンし、前記探測信号に対して前記地面環境により反射された反射信号を受信するよう構成されるレーザスキャンユニットと、
    プロセッサ及びメモリを含むデータ処理ユニットであって、前記メモリはコンピュータ実行命令を格納するよう構成され、前記プロセッサは、前記コンピュータ実行命令を実行し、
    前記地面環境の各スキャンスポットのスキャンスポット情報を前記反射信号に基づき決定し、
    各スキャンスポットの空間座標情報及びレーザ反射特性を、前記スキャンスポット情報に基づき決定し、
    前記地面環境を異なるレーザ反射特性を有するサブ領域に区分するとき、領域区分を、前記スキャンスポット情報に基づき、各レーザレーダにより取得された前記スキャンスポットに対して別個に実行して、各レーザレーダが異なるレーザ反射強度を有するクラスタリング後のサブ領域を生成し、各レーザレーダのクラスタリング後の前記サブ領域の位置情報を同じ座標系に変換し、各レーザレーダのクラスタリング後の前記サブ領域の中の各スキャンスポットのスキャンスポット情報を、変換したサブ領域の位置情報に基づき融合し、前記地面環境を異なるレーザ反射特性を有する前記サブ領域に区分し、
    各サブ領域の地面環境種別を決定する、
    よう構成され、前記スキャンスポット情報は、レーザレーダに対する前記スキャンスポットの方向角、距離、及びレーザ反射強度を含み、前記レーザ反射特性は、異なる波長を有するレーザにおける反射率を含む、データ処理ユニットと、
    を含む検出装置。
  10. 前記プロセッサは、各サブ領域の前記地面環境種別を各地面環境種別のレーザ反射特性に基づき決定するよう構成される、請求項９に記載の検出装置。
  11. 前記プロセッサは、
    各サブ領域のレーザ反射特性をニューラルネットワークに入力して、前記ニューラルネットワークから出力される各サブ領域の前記地面環境種別を取得するよう構成され、
    前記ニューラルネットワークにより異なる地面環境種別の間を区別するために使用されるデータモデルは、異なる波長を有する前記レーザにおける異なる地面環境の反射率のデータを入力として及び前記地面環境種別を出力として用いるデータのグループをトレーニングのためのサンプルデータセットとして使用することにより取得される、請求項９に記載の検出装置。
  12. 前記プロセッサは、領域拡張法又はＫ−ｍｅａｎｓ法で領域区分を実行する、請求項９乃至１１のいずれか一項に記載の検出装置。
JP2019535919A 2016-12-29 2016-12-29 地面環境検出方法及び機器 Active JP6798032B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/113089 WO2018119902A1 (zh) 2016-12-29 2016-12-29 一种地面环境的检测方法和装置

Publications (2)

Publication Number Publication Date
JP2020504827A JP2020504827A (ja) 2020-02-13
JP6798032B2 true JP6798032B2 (ja) 2020-12-09

Family

ID=62710144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019535919A Active JP6798032B2 (ja) 2016-12-29 2016-12-29 地面環境検出方法及び機器

Country Status (6)

Country Link
US (1) US11455511B2 (ja)
EP (1) EP3553566B1 (ja)
JP (1) JP6798032B2 (ja)
KR (1) KR102243118B1 (ja)
CN (1) CN110114692B (ja)
WO (1) WO2018119902A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11124193B2 (en) 2018-05-03 2021-09-21 Volvo Car Corporation System and method for providing vehicle safety distance and speed alerts under slippery road conditions
US11592566B2 (en) 2019-08-15 2023-02-28 Volvo Car Corporation Vehicle systems and methods utilizing LIDAR data for road condition estimation
WO2020142879A1 (zh) * 2019-01-07 2020-07-16 深圳市大疆创新科技有限公司 数据处理方法、探测装置、数据处理装置、可移动平台
CN110441269A (zh) * 2019-08-13 2019-11-12 江苏东交工程检测股份有限公司 标线反光检测方法、装置、设备及存储介质
CN110674292B (zh) * 2019-08-27 2023-04-18 腾讯科技（深圳）有限公司 一种人机交互方法、装置、设备及介质
US10852158B1 (en) * 2019-09-27 2020-12-01 Kitty Hawk Corporation Distance sensor test system
CN113040645B (zh) * 2019-12-26 2022-08-02 江苏美的清洁电器股份有限公司 清洁设备、清洁设备控制方法及装置
CN111123278B (zh) * 2019-12-30 2022-07-12 科沃斯机器人股份有限公司 分区方法、设备及存储介质
EP4099293B1 (en) * 2020-02-25 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for identifying special road conditions, electronic device, and storage medium
CN111724485B (zh) * 2020-06-11 2024-06-07 浙江商汤科技开发有限公司 实现虚实融合的方法、装置、电子设备及存储介质
CN111948669B (zh) * 2020-08-11 2023-01-10 锐驰智光(苏州)科技有限公司 一种基于激光雷达的高光谱数据信息获取系统
JP7338607B2 (ja) * 2020-10-29 2023-09-05 トヨタ自動車株式会社 車両位置推定装置
CN112598690A (zh) * 2020-12-11 2021-04-02 浙江大华技术股份有限公司 一种包裹切分方法、装置、设备及介质
CN114812529B (zh) * 2021-01-18 2023-12-08 上海理工大学 一种洁净室测点装置及洁净室的测点方法
CN115248428B (zh) * 2021-04-28 2023-12-22 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
CN113436258B (zh) * 2021-06-17 2023-09-12 中国船舶重工集团公司第七0七研究所九江分部 基于视觉与激光雷达融合的海上浮码头检测方法及系统
CN113670277A (zh) * 2021-08-25 2021-11-19 广东博智林机器人有限公司 地面装饰安装测绘方法、装置和测绘小车
CN117872354B (zh) * 2024-03-11 2024-05-31 陕西欧卡电子智能科技有限公司 一种多毫米波雷达点云的融合方法、装置、设备及介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1235773A (en) * 1983-12-23 1988-04-26 Shigeto Nakayama Device for detecting road surface condition
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US7840342B1 (en) * 1997-10-22 2010-11-23 Intelligent Technologies International, Inc. Road physical condition monitoring techniques
NL1009364C2 (nl) * 1998-06-10 1999-12-13 Road Ware B V Inrichting voor het bepalen van een profiel van een wegdek.
JP2002156452A (ja) * 2000-11-20 2002-05-31 Hioki Ee Corp レーザレーダシステム
JP2005090974A (ja) * 2003-09-12 2005-04-07 Daihatsu Motor Co Ltd 先行車認識装置
US7026600B2 (en) 2004-02-26 2006-04-11 Rosemount Aerospace Inc. System and method of identifying an object in a laser beam illuminated scene based on material types
JP3955616B2 (ja) * 2005-09-01 2007-08-08 松下電器産業株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP2007240314A (ja) * 2006-03-08 2007-09-20 Omron Corp 物体検出装置
WO2008037282A1 (en) 2006-09-28 2008-04-03 B.E.A. S.A. Sensor for presence detection
CN101806579B (zh) * 2009-02-16 2012-11-21 华为技术有限公司 反射镜位置采样、标定方法及装置和激光器
US8812274B2 (en) * 2009-04-24 2014-08-19 Hermant Virkar Methods for mapping data into lower dimensions
CN102142892B (zh) * 2010-06-30 2014-12-17 华为技术有限公司 一种探测脉冲的产生方法和相干光时域反射仪
JP2012189535A (ja) * 2011-03-14 2012-10-04 Ihi Corp 植生検出装置及び植生検出方法
US9155675B2 (en) * 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
JP2013181968A (ja) * 2012-03-05 2013-09-12 Ricoh Co Ltd 光学装置
US9110196B2 (en) 2012-09-20 2015-08-18 Google, Inc. Detecting road weather conditions
DE102013002333A1 (de) * 2013-02-12 2014-08-14 Continental Teves Ag & Co. Ohg Verfahren und Strahlensensormodul zur vorausschauenden Straßenzustandsbestimmung in einem Fahrzeug
US9128190B1 (en) * 2013-03-06 2015-09-08 Google Inc. Light steering device with an array of oscillating reflective slats
CN103198302B (zh) * 2013-04-10 2015-12-02 浙江大学 一种基于双模态数据融合的道路检测方法
JP2015014514A (ja) * 2013-07-04 2015-01-22 パイオニア株式会社 識別装置
US9329073B2 (en) * 2013-12-06 2016-05-03 Honeywell International Inc. Adaptive radar system with mutliple waveforms
CN103776318A (zh) * 2014-01-03 2014-05-07 中国人民解放军陆军军官学院 光电检测环境模拟系统
CN104463217A (zh) * 2014-12-15 2015-03-25 长春理工大学 基于激光雷达的路面类型识别方法及装置
CN104408443B (zh) 2014-12-15 2017-07-18 长春理工大学 多传感器辅助的基于激光雷达的路面类型识别方法及装置
US9453941B2 (en) * 2014-12-22 2016-09-27 GM Global Technology Operations LLC Road surface reflectivity detection by lidar sensor
CN104656101B (zh) * 2015-01-30 2015-11-18 福州华鹰重工机械有限公司 一种障碍物检测方法
CN104850834A (zh) 2015-05-11 2015-08-19 中国科学院合肥物质科学研究院 基于三维激光雷达的道路边界检测方法
JP2016223795A (ja) * 2015-05-27 2016-12-28 国立大学法人名古屋大学 床面状態検出装置および床面状態検出方法
CN105094143A (zh) * 2015-08-27 2015-11-25 泉州装备制造研究所 基于无人机的地图显示方法和装置
US10832426B2 (en) * 2015-09-24 2020-11-10 Apple Inc. Systems and methods for surface monitoring
CN105510897A (zh) * 2015-12-01 2016-04-20 中国科学院上海技术物理研究所 基于地物类型卫星激光雷达出射激光波长反射率估算方法
KR20170096723A (ko) * 2016-02-17 2017-08-25 한국전자통신연구원 라이다 시스템 및 이의 다중 검출 신호 처리 방법
US10761195B2 (en) * 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system

Also Published As

Publication number Publication date
EP3553566A4 (en) 2020-01-08
WO2018119902A1 (zh) 2018-07-05
KR20190098238A (ko) 2019-08-21
EP3553566A1 (en) 2019-10-16
CN110114692B (zh) 2021-09-17
JP2020504827A (ja) 2020-02-13
US11455511B2 (en) 2022-09-27
CN110114692A (zh) 2019-08-09
US20190317218A1 (en) 2019-10-17
EP3553566B1 (en) 2022-06-22
KR102243118B1 (ko) 2021-04-21

Similar Documents

Publication Publication Date Title
JP6798032B2 (ja) 地面環境検出方法及び機器
Bansal et al. Pointillism: Accurate 3d bounding box estimation with multi-radars
JP6802331B2 (ja) 車線処理方法及び装置
CN107818557B (zh) 用于自动车辆的增强型相机对象检测
Chen et al. Principal axes descriptor for automated construction-equipment classification from point clouds
JP2020079781A (ja) 相対的位置姿勢の決定方法、装置、機器及び媒体
CN102915444A (zh) 图像配准
US20220214444A1 (en) Lidar and radar based tracking and mapping system and method thereof
KR102040702B1 (ko) 위성영상을 이용한 활용서비스 제공 장치 및 방법
US11774554B2 (en) Electronic device, system and method for augmenting image data of a passive optical sensor
US20210216814A1 (en) Adaptive search for lidar-based clustering
KR101864127B1 (ko) 무인 차량을 위한 주변 환경 매핑 방법 및 장치
US11900691B2 (en) Method for evaluating sensor data, including expanded object recognition
WO2020127151A1 (en) Method for improved object detection
CN112444822A (zh) 合成激光雷达信号的产生
CN114495045A (zh) 感知方法、感知装置、感知系统及相关设备
Mussone et al. An innovative method for the analysis of vehicle movements in roundabouts based on image processing
Eslami et al. Improvement of multiclass classification of pavement objects using intensity and range images
Aboalia et al. Enhancing Power Lines Detection Using Deep Learning and Feature-Level Fusion of Infrared and Visible Light Images
Liang et al. Learning Cross-modality Interaction for Robust Depth Perception of Autonomous Driving
Li et al. Digitizing and inventorying traffic control infrastructures: A review of practices
WO2023193567A1 (zh) 机器人的移动控制方法和装置、存储介质及电子装置
Boukhers et al. Less restrictive camera odometry estimation from monocular camera
Baek et al. Robust tracking and detection based on radar camera fusion filtering in urban autonomous driving
CN117290805A (zh) 多识别设备的信息处理方法、控制装置及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201118

R150 Certificate of patent or registration of utility model

Ref document number: 6798032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250