JP7140922B2 - マルチセンサデータ融合方法、及び装置 - Google Patents

マルチセンサデータ融合方法、及び装置 Download PDF

Info

Publication number
JP7140922B2
JP7140922B2 JP2021536829A JP2021536829A JP7140922B2 JP 7140922 B2 JP7140922 B2 JP 7140922B2 JP 2021536829 A JP2021536829 A JP 2021536829A JP 2021536829 A JP2021536829 A JP 2021536829A JP 7140922 B2 JP7140922 B2 JP 7140922B2
Authority
JP
Japan
Prior art keywords
static
data
dynamic
feature data
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021536829A
Other languages
English (en)
Other versions
JP2022514975A (ja
Inventor
学明 彭
之暄 魏
奇 ▲陳▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022514975A publication Critical patent/JP2022514975A/ja
Application granted granted Critical
Publication of JP7140922B2 publication Critical patent/JP7140922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • G01S13/605—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track using a pattern, backscattered from the ground, to determine speed or drift by measuring the time required to cover a fixed distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems

Description

この出願は、信号処理、特に、マルチセンサデータ融合方法、及び装置に関する。
カメラ（Camera）、ミリ波レーダ、及びレーザーレーダなどの異なるセンサは、視野（FOV, Field of View）、検出距離、識別能力、環境適応的性などの面で明らかな違いを有する。これらの違いのために、単一のセンサは、先進運転支援システム（ADAS, Advanced Driver Assistance Systems）の機能の継続的開発の要求、及び自動運転の継続的進化の要求を満たすことができない。
ＡＤＡＳの要求及び自動運転の要求を満たすためには、より高い信頼度、高い冗長性、及び高い相補性を有する知覚情報を取得するために複数のセンサのデータが融合されることが必要である。高い信頼性は、センサの一部の情報が失われている又はセンサの測定が一部の範囲で不正確であるケースにおいて、複数のセンサのデータの融合を通じて、十分な信頼性を有するデータが提供されることを示す。高い冗長性は、複数のセンサのデータの融合のための処理モデルが、複数のセンサのデータと矛盾しないものであってよく、かつ一部の測定範囲において、ほとんど同じ測定結果を有するものであり、これらの測定範囲において、複数のセンサのデータの融合を通じて、冗長性が実現されることを示す。高い相補性は、異なる環境条件及び空間特徴において複数のセンサによって感知された測定結果が、一部の範囲において互いに有利な点及び不利な点を補完し、単一のセンサによって達成することが困難な知覚性能を達成できることを示す。
現在のマルチセンサデータ融合方法は、主に、ＦＯＶ内で移動するターゲットを検出し、追跡し、融合するために利用されているが、静的障害物を感知することは困難である。加えて、動的なターゲットを知覚することについての、かつ現在のマルチセンサデータ融合方法についての正確さも改善されることが必要である。
従って、解決される必要のある問題がある。問題は、マルチセンサデータ融合が静的障害物及び動的なターゲットの両方について、より良い知覚能力を有するように、どのようにしてマルチセンサデータ融合の知覚性能を改善するかである。
この出願は、マルチセンサデータ融合知覚方法、及びマルチセンサデータ融合知覚装置を提供する。マルチセンサデータ融合の知覚性能は、方法及び装置に基づいて改善されることができる。
第１の側面によれば、複数のタイプのセンサによって収集された特徴データを融合するために利用されるマルチセンサデータ融合知覚方法が提供される。複数のタイプのセンサは、移動キャリア上に載置され、移動キャリアが位置する環境のステータスを観測するように構成される。移動キャリアが位置する環境のステータスは、現在の静的環境情報と、現在の動的ターゲット情報とを含む。方法は、複数のタイプのセンサによって収集された特徴データを受信するステップと、特徴データを前処理するステップであって、前処理は、特徴データ上でのデータ分類を実行して、静的特徴データと、動的特徴データとを取得することを含む、ステップと、参照動的ターゲット情報を取得し、静的特徴データと参照動的ターゲット情報とに基づいて現在の静的環境情報を構築するステップであって、参照動的ターゲット情報は、動的特徴データに基づいて取得される、又は、参照動的ターゲット情報は、動的特徴データと過去の静的環境情報とに基づいて取得される、ステップと、参照静的環境情報を取得し、動的特徴データと参照静的環境情報とに基づいて現在の動的ターゲット情報を構築するステップであって、参照静的環境情報は、静的特徴データに基づいて取得される、又は、参照静的環境情報は、静的特徴データと過去の動的ターゲット情報とに基づいて取得される、ステップと、現在の静的環境情報と、現在の動的ターゲット情報とを出力するステップと、を含む。
この出願において、現在の静的環境情報が構築されるとき、静的特徴データが利用されるだけでなく、動的ターゲット情報も参照される。同様に、現在の動的ターゲット情報が構築されるとき、動的特徴データが利用されるだけでなく、静的環境情報も参照される。言い換えると、動的ターゲットの構築と、静的環境の構築とは、互いの構築結果を参照することによって実行される。構築プロセスは、より低いレベルの特徴データを利用するだけでなく、より高いレベルの構築結果（例えば、参照動的ターゲット情報又は参照静的環境情報）も利用するため、マルチセンサデータ融合の知覚性能が改善されることができる。さらに、移動キャリアの知覚能力が改善される。知覚能力は、移動キャリアが位置する環境内の動的ターゲット及び静的環境に対するものである。
可能な実装において、特徴データは、ミリ波レーダ検出データと、非ミリ波レーダ検出データとを含み、特徴データ上でデータ分類を実行することは、ミリ波レーダ検出データ上でデータ分類を実行して、ミリ波レーダ動的検出データと、ミリ波レーダ静的検出データとを取得することと、ミリ波レーダ動的検出データと、ミリ波レーダ静的検出データとに基づいて、非ミリ波レーダ検出データ上でデータ分類を実行し、動的非ミリ波特徴データと、静的非ミリ波特徴データとを取得することと、を含む。
動的特徴データは、ミリ波レーダ動的検出データと、動的非ミリ波特徴データとを含み、静的特徴データは、ミリ波レーダ静的検出データと、静的非ミリ波特徴データとを含む。
ミリ波レーダ検出データは、動的データと、静的データとを含み、それがミリ波レーダの利点である。この利点は利用されることができ、それによって、ミリ波レーダ動的検出データと、ミリ波レーダ静的検出データとを取得するために、ミリ波レーダ検出データが動的及び静的に分離される。次いで、決定された動的静的属性を有するデータに基づいて、非ミリ波レーダ検出データが関連付けられる。例えば、与えられた事前設定条件が、１つの非ミリ波レーダ検出データと、１つのミリ波レーダ動的検出データとの間で満たされる場合に、非ミリ波レーダ検出データが動的特徴データでもあるとみなされてよく、又は、与えられた事前条件が、１つの非ミリ波レーダ検出データと、１つのミリ波レーダ動的検出データとの間で満たされない場合に、非ミリ波レーダ検出データが動的特徴データでもあるとみなされてよい。このようにして、階層的な動的及び静的データ分離は、より正確に、より早く、複数の特徴データの動的属性及び静的属性を決定して、より正確な動的特徴データと、より正確な静的特徴データとを取得することができる。
可能な実装において、参照動的ターゲット情報は、少なくとも１つの他の移動キャリアの移動軌跡を含む。他の移動キャリアは、移動キャリアが位置する環境内にあり、かつ移動キャリア以外の他の移動キャリアを構成する。現在の静的環境情報は、移動キャリアが位置する環境の現在の静的ラスタマップを含む。
静的特徴データと、参照動的ターゲット情報とに基づいて、現在の静的環境情報を構築するステップは、静的特徴データ上での座標系統一を実行して、同じ座標系における静的特徴データを取得することと、同じ座標系における静的特徴データと、第１の他の移動キャリアの移動軌跡とに基づいて、過去の静的ラスタマップ上でのローカル更新を実行して、現在の静的ラスタマップを取得することと、を含む。ローカル更新は、過去の静的ラスタマップ上のターゲットラスタの値を更新することを含み、ターゲットラスタは、第１の他の移動キャリアによってカバーされるラスタである。第１の他の移動キャリアは、少なくとも１つの移動キャリアのいずれか１つであり、静的ラスタマップは、環境内の静的障害物分布を記述するために利用されるデータフォーマットである。
特に、ターゲットラスタは、過去の時点での第１の他の移動キャリアによってカバーされるラスタであり、過去の静的ラスタマップは、過去の時点でのラスタマップでもある。過去の静的ラスタマップが、時点ｔ－１での静的ラスタマップである場合、ターゲットラスタは、時点ｔ－１での第１の他の移動キャリアによってカバーされるラスタである。
現在の静的ラスタマップが構築されるとき、静的特徴データが利用されるだけでなく、他の移動キャリアの移動軌跡も利用されるため、現在の静的ラスタマップの精度が改善される。例えば、時点ｔ－１での過去の静的ラスタマップ上のターゲットラスタの値を更新するプロセスにおいて、ターゲットラスタは、時点ｔ－１での他の移動キャリアによってカバーされるラスタであるため、ターゲットラスタが現時点でアイドル状態である確率は、相対的に高いとみなされる。従って、相対的に小さな確率値が、ターゲットラスタに割り当てられてよく、障害物が、現在、ターゲットラスタにおいて存在するという相対的に低い確率があるとみなされる。現時点での各ラスタの値が取得される、言い換えると、現時点での静的ラスタマップが構築される。従って、この出願において、現在の静的環境情報は、参照動的ターゲット情報に基づいて構築される。これは、静的環境を構築することについての入力情報を追加し、静的環境情報を構築する精度を改善する。
可能な実装において、複数のタイプのセンサは、さらに、移動キャリアの移動ステータスを観測するように構成され、移動キャリアの移動ステータスは、移動キャリアの移動速度を含む。
静的特徴データと、参照動的ターゲット情報とに基づいて、現在の静的環境情報を構築するステップの前に、方法は、移動キャリアの移動速度に基づいて、移動キャリアが位置する環境の過去の静的ラスタマップ上の各ラスタの値上でのグローバル更新を実行して、更新された過去の静的ラスタマップを取得するステップをさらに含む。過去の静的ラスタマップは、現時点の前の時点での静的ラスタマップを含む。前の時点が開始時点であるとき、過去の静的ラスタマップは、初期静的ラスタマップであり、初期静的ラスタマップ上の各ラスタの値は、事前設定された値である。
同じ座標系における静的特徴データと、第１の他の移動キャリアの移動軌跡とに基づいて、過去の静的ラスタマップ上でのローカル更新を実行して、現在の静的ラスタマップを取得するステップは、同じ座標系における静的特徴データと、第１の他の移動キャリアの移動軌跡とに基づいて、更新された過去の静的ラスタマップ上でのローカル更新を実行して、現在の静的ラスタマップを取得すること、を含む。
この実装において提供される方法は、現在の静的ラスタマップを構築すること、つまり、グローバル更新の事前設定された環境とみなされうる。具体的には、グローバル更新は、過去の静的ラスタマップのラスタ確率上で実行される。この更新は、本質的にラスタの確率値を減衰させるプロセスである。この更新は、静的なラスタマップにおける可能な誤検出を低減し、現在の静的なラスタマップの精度を改善することができる。
可能な実装において、参照動的ターゲット情報は、他の移動キャリアの移動軌跡を含み、他の移動キャリアは、移動キャリアが位置する環境内にあり、かつ移動キャリア以外の他の移動キャリアを構成する。
現在の静的環境情報は、移動キャリアが位置する環境内の道路構造情報をさらに含む。
静的特徴データと、参照動的ターゲット情報とに基づいて、現在の静的環境情報を構築するステップは、静的特徴データと、他の移動キャリアの移動軌跡とに基づいて、道路構造情報を構築することをさらに含む。
言い換えると、現在の静的環境情報は、現在の静的環境情報を含んでよく、道路構造情報をさらに含んでよい。道路構造情報が構築されるとき、静的特徴データが利用されることが必要であるだけでなく、参照動的ターゲット情報も必要とされる。これは、道路構造情報を構築することについての入力情報を増加させ、道路構造情報を構築する精度を改善する。
可能な実装において、参照静的環境情報は、道路構造情報を含み、動的特徴データと、参照静的環境情報とに基づいて、現在の動的ターゲット情報を構築するステップは、動的特徴データと、道路構造情報とに基づいて、現在の動的ターゲット情報を構築すること、を含む。
言い換えると、現在の動的ターゲット情報が構築されるとき、動的特徴データが利用されることが必要であるだけでなく、より高いレベルの情報、つまり、静的環境情報が利用されることが必要である。ここで利用される静的環境情報は、道路構造情報であり、言い換えると、現在の動的ターゲット情報は、道路構造情報を参照して構築される。従って、現在の動的ターゲット情報の精度が改善されることができる。
可能な実装において、道路構造情報は、道路端を含み、動的特徴データと、参照静的環境情報とに基づいて、現在の動的ターゲット情報を構築するステップは、動的特徴データをクラスタリングして、１つ又は複数のクラスタリング中心を取得することであって、各クラスタリング中心は、可能な動的ターゲットを表すために利用される、ことを含む。
１つ又は複数のクラスタリング中心内の無効なクラスタリング中心が、道路構造情報に基づいて除外されることは、道路端の外側に位置するクラスタリング中心、又は道路端に重なるクラスタリング中心を、無効なクラスタリング中心として決定すること、を含む。
この可能な実装において、動的特徴データのクラスタリングによって取得された１つ又は複数のクラスタリング中心は、未完成の動的ターゲットとみなされてよく、これらの未完成の動的ターゲット内の無効な動的ターゲットは、道路端を参照することによって削除されてよい。例えば、道路端に重なる未完成の動的ターゲットについて、実際には道路端に乗る車両又は他の移動キャリアがないため、未完成の動的ターゲットは、無効なターゲットとみなされる。
任意選択で、道路構造情報は、地上の物体、例えば、道路標識、空中の掲示板などをさらに含んでよい。従って、未完成の動的ターゲットが地上の物体の上に現れるとき、例えば、無人航空機が地上の物体の上にあるとき、地上の物体の上を飛んでいる動的ターゲットは、道路上を移動する自動運転車両に影響しないため、未完成の動的ターゲットは、無効なターゲットとみなされてもよい。
残りの動的ターゲットは、無効なターゲットを識別して削除することによって、現在の動的ターゲット情報として出力される。例えば、自動運転シナリオにおいて、残りの動的ターゲットは、自車両以外の、現在、道路上を移動する車両又は他の移動キャリアとみなされる。
参照静的環境情報を通じて現在の動的ターゲットを構築する、この方式において、より低いレベルの動的特徴データが考慮されるだけでなく、より高いレベルの静的環境情報が考慮されるため、現在の動的ターゲット情報の構築は、より正確になる。このようにして、知覚性能は改善されることができる。
可能な実装において、特徴データ上でのデータ分類を実行することの前に、前処理は、特徴データを過去の動的ターゲットに関連付けて、動的関連データを取得することであって、過去の動的ターゲットは、現時点の前の時点で移動キャリアが位置する環境内の動的ターゲットである、ことと、特徴データ内にあり、かつ、過去の動的ターゲットが位置する場所に置かれるデータを、動的関連データとして決定することと、動的特徴データとして、動的関連データを決定することと、をさらに含む。
特徴データ上でのデータ分類を実行することは、動的関連データが取り除かれた後に得られる特徴データ上でのデータ分類を実行することを含む。
センサの観測は連続的であるため、過去の動的ターゲットは、過去に出力された知覚結果内に存在することがある。時点ｔ－１で、２つの他の車両が観測される場合、２つの他の車両は、過去の動的ターゲットである。現時点、つまり、時点ｔでセンサによって観測された新たな特徴データ上でのデータ分類が実行されるとき、新たな特徴データは、最初に、過去の動的ターゲットに関連付けられてよい。１つの新たな特徴データと、過去の動的ターゲットとの間で、事前設定された条件が満たされるとき、新たな特徴データは、動的特徴データとみなされうる。この方式において、動的特徴データの一部が、複数の特徴データから選択されてよい。データの一部は、動的ターゲット情報を構築するために、動的特徴データでラベリングされ、直接、動的特徴データとして連続的に出力される。動的及び静的特徴データ分類は、上で説明した方法に従って、動的データでラベリングされていない残りのデータ上でさらに実行されてよい。
この方式で、データ分類が実行される。過去の動的ターゲットが考慮されるため、データ分類の効率及び精度が改善されることができる。
任意選択で、過去の動的ターゲット関連付けを通じてデータ分類が実行される前に、又は、上述したミリ波レーダ検出データを通じて動的及び静的データ分類が実行される前に、他の可能な実装がある。前処理は、無効なデータ又はノイズデータを取り除くために、特徴データをフィルタリングすることをさらに含む。
特徴データ上でのデータ分類を実行することは、取り除かれた特徴データ上でのデータ分類を実行することを含む。
この方法で、無効なデータ又はノイズデータが取り除かれ、データ有効性を改善する。このようにして、知覚性能を改善するためのより良いデータ基礎が確保される。
可能な実装において、前処理は、特徴データ上でのデータ分類を実行して、静的特徴データと、動的特徴データとを取得することを含む。未決定データも取得されてよく、未決定データは、静的特徴データ又は動的特徴データとして決定されることができない。
可能な実装において、特徴データは、ミリ波レーダ検出データと、非ミリ波レーダ検出データとを含み、特徴データ上でのデータ分類を実行することは、ミリ波レーダ検出ポイント上でのデータ分類を実行して、ミリ波レーダ動的検出ポイントと、ミリ波レーダ静的検出ポイントと、ミリ波レーダ動的検出ポイント又はミリ波レーダ静的検出ポイントとして決定されることができないｎ個のミリ波レーダ検出ポイントとを取得することであって、ｎは、０以上の正の整数である、ことと、ミリ波レーダ動的検出ポイントと、ミリ波レーダ静的検出ポイントとに基づいて、非ミリ波レーダ検出データ上でのデータ分類を実行して、動的非ミリ波特徴データと、静的非ミリ波特徴データと、非ミリ波レーダ動的検出データ又は非ミリ波レーダ静的検出データとして決定されることができないｍ個の非ミリ波レーダ検出データとを取得することであって、ｍは、０以上の正の整数である、ことと、を含む。
動的特徴データは、ミリ波レーダ動的検出ポイントと、動的非ミリ波特徴データとを含む。静的特徴データは、ミリ波レーダ静的検出ポイントと、静的非ミリ波特徴データとを含む。未決定データは、ミリ波レーダ動的検出ポイント又はミリ波レーダ静的検出ポイントとして決定されることができないｎ個のミリ波レーダ検出ポイントと、非ミリ波レーダ動的検出データ又は非ミリ波レーダ静的検出データとして決定されることができないｍ個の非ミリ波レーダ検出データと、を含む。
可能な実装において、道路構造情報は、道路端を含み、動的特徴データと、参照静的環境情報とに基づいて、現在の動的ターゲット情報を構築するステップは、動的特徴データと、未決定データとをクラスタリングして、１つ又は複数のクラスタリング中心を取得することであって、各クラスタリング中心は、可能な動的ターゲットを表すために利用される、こと、を含む。
決定されるべき動的ターゲットを取得するために、１つ又は複数のクラスタリング中心内の無効なクラスタリング中心が、道路構造情報に基づいて除外されることは、道路端の外側に位置するクラスタリング中心、又は道路端に重なるクラスタリング中心を無効なクラスタリング中心として決定すること、を含む。
任意選択で、決定されるべき動的ターゲットが取得された後、決定されるべき動的ターゲットは、地上の物体についての情報を参照してさらに除外される。決定されるべき動的ターゲットと、地上の物体についての情報との間で事前設定された条件が満たされる場合、決定されるべき動的ターゲットが、地上の物体であるとみなされる。従って、決定されるべきターゲットが除外され、残りの決定されるべき動的ターゲットが、現在の動的ターゲット情報として決定される。
任意選択で、現在の動的ターゲット情報が決定された後、現在の動的ターゲット情報が追跡されてよい、言い換えると、動的ターゲット追跡が実行される。第１の動的ターゲットが、後続の第１の事前設定された時間期間内にセンサによって、もはや観測されない場合、第１の動的ターゲットは保留にされる。第１の動的ターゲットが、第２の事前設定された時間期間後に、まだ観測されない場合、第１の動的ターゲットは削除される。第１の動的ターゲットが、第３の事前設定された時間期間後に、再び観測される場合、第１の動的ターゲットが現在の動的ターゲットに復帰させられる。ここでは、第１の事前設定された時間期間と、第２の事前設定された時間期間と、第３の事前設定された時間期間とは、全て実験値であってよい。３つの事前設定された時間期間の間の関係は、特に限定されず、対で同じ又は違うものであってよい。第１の動的ターゲットは、現在の動的ターゲット情報によって表される複数の動的ターゲットのいずれか１つである。
第２の側面によれば、マルチセンサデータ融合知覚装置が提供される。マルチセンサデータ融合装置は、第１の側面における方法を実行するように構成されたモジュールを含む。
第３の側面によれば、マルチセンサデータ融合知覚装置が提供される。マルチセンサデータ融合知覚装置は、プログラムを格納するように構成されたメモリと、メモリに格納されたプログラムを実行するように構成されたプロセッサとを含む。メモリに格納されたプログラムが実行されるとき、プロセッサは、第１の側面における方法を実行するように構成される。
第４の側面によれば、コンピュータ可読媒体が提供される。コンピュータ可読媒体は、デバイスによって実行されるべきプログラムコードを格納し、プログラムコードは、第１の側面における方法を実行するために利用される命令を含む。
第５の側面によれば、命令を含むコンピュータプログラム製品が提供される。コンピュータプログラム製品がコンピュータ上で動作するとき、コンピュータは、第１の側面における方法を実行することが可能にされる。
第６の側面によれば、チップが提供される。チップは、プロセッサと、データインターフェースとを含み、プロセッサは、データインターフェースを通じて、メモリに格納された命令を読み出し、第１の側面における方法を実行する。
任意選択で、実装において、チップは、メモリをさらに含んでよい。メモリは、命令を格納し、プロセッサは、メモリに格納された命令を実行するように構成され、命令が実行されるとき、プロセッサは、第１の側面による方法を実行するように構成される。
第７の側面によれば、モバイル端末が提供される。モバイル端末は、第２の側面又は第３の側面のいずれか１つによるマルチセンサデータ融合知覚装置を含む。
この出願の実施形態による、応用シナリオのシステムアーキティクチャである。 この出願の実施形態による、マルチセンサデータ融合知覚装置の模式的な構造図である。 この出願の実施形態による、ミリ波レーダ検出データに基づいてデータ分類を実行するための方法の模式図である。 この出願の実施形態による、静的ラスタマップの模式図である。 この出願の実施形態による、静的ラスタマップ上のラスタのものである累積値と確率値との間の関係の模式図である。 この出願の実施形態による、グローバルラスタ確率更新方法の模式図である。 この出願の実施形態による、部分ラスタ確率更新方法の模式図である。 この出願の実施形態による、静的環境情報が地上の物体を含む例である。 この出願の実施形態による、参照静的環境情報に基づいて動的ターゲット情報を構築することの模式図である。 この出願の実施形態による、マルチセンサデータ融合知覚装置の模式的な構造図である。
以下では、添付の図面を参照しながら、この出願の技術的解決策について説明する。
この出願の実施形態におけるマルチセンサデータ融合方法は、自動運転車両、ロボット、複雑な産業プロセス制御、医療診断、画像処理、及び、マルチセンサ知覚が実行される必要がある他のシナリオとに適用されることができる。この出願の実施形態において、自動運転車両の応用シナリオが、技術的解決策について説明するための例として利用される。
以下では、自動運転車両と、自動運転車両の関連アーキティクチャとについて簡単に説明する。
自動運転車両は、自動車の自動運転システム（Motor Vehicle Auto Driving System）と称され、無人車両とも称され、車載コンピュータシステムを通じて無人運転を実現するインテリジェント車両システムである。自動運転車両は、人工知能、視覚コンピューティング、レーダ、モニタリングデバイス、及び、グローバルポジショニングシステムなどのコラボレーションに依拠しており、それによって、コンピュータは、あらゆる人の積極的な操作なしに、自動車を自動的及び安全に操作することができる。
自動運転車両のアーキティクチャは、通常、３つのレイヤ、即ち、知覚レイヤと、認識レイヤと、実行レイヤとに分けられる。
知覚レイヤは、知覚及び融合を含み、入力情報を取得する際に、ドライバーを置き換える又はアシストするために利用される。入力情報は、例えば、車両の移動ステータス、及び、車両の周囲の環境のステータス、例えば、他の車両の移動ステータス、道路状況情報、交通信号灯のステータス、道路構造（例えば、道路端）、車線のステータス、他の障害物のステータスなどを含む。ドライバーをアシストするために利用されるとき、知覚レイヤは、ドライバーのステータス情報（例えば、ドライバの疲労状態など）をさらに含んでよい。
認識レイヤは、意思決定及び推定と、計画とを含み、知覚レイヤによって取得される情報と、所与の決定ロジックと、所与の計画アルゴリズムとに基づいて、予期される車両速度及びドライビングルートなどの情報を取得する際に、ドライバーを置き換える又はアシストするために利用される。情報は、具体的な制御命令に変換され、実行レイヤに伝えられる。
実行レイヤは、認識レイヤによって伝えられた制御命令を実行して、車両を制御するために利用される。
この出願の実施形態において提供されるマルチセンサデータ融合知覚方法は、自動運転車両の知覚レイヤに適用されうる。方法は、自車両の移動ステータス、及び自車両が位置する環境のステータスをより良く感知するために、複数のタイプのセンサの特徴データを融合するために利用される。このようにして、ドライバーの目及び感覚で感知される関連情報が置き換えられる。アシスタント運転機能を有する車両上で利用されるとき、方法は、ドライバーの目及び感覚で感知される関連情報をアシスト及び追加するためにも利用されうる。自車両が位置する環境のステータスは、静的環境情報と、自車両が位置する環境内のものである移動ターゲット情報とを含む。移動ターゲット情報は、自車両が位置する環境内の他の車両の移動状態情報を含む。
この出願は、相互にアシストするように静的環境情報の構築と動的ターゲット情報の構築とを組み合わせるための新たなマルチセンサデータ融合知覚方法及び装置を提供する。このようにして、より正確な動的環境情報と、より正確な動的ターゲット情報とが得られ、より正確な知覚効果が達成される。
図１は、この出願の実施形態による応用シナリオのシステムアーキティクチャである。
図１に示すように、異なるタイプの複数のセンサが、マルチセンサデータ融合知覚装置の入力として異なるレベルの特徴データを取得する。例えば、視覚センサによって取得される画像は、視覚ターゲット、車線、制限速度プレート、及び交通信号灯などの視覚関連特徴データを取得するために、視覚知覚によって処理される。ミリ波レーダによって取得されるミリ波レーダＩＦ信号は、ミリ波レーダ検出ポイントを取得するために、ミリ波レーダによって処理される。レーザーレーダによって取得されるレーザーレーダデジタル信号は、例えば、レーザーレーダのオリジナルのポイントクラウドなどのレーザーレーダ検出ポイントを取得するために、知覚を通じてレーザーレーダによって処理される。マルチセンサデータ融合知覚装置は、以下の実施形態又はこの出願の実装において提供される融合知覚方法を通じて特徴データを融合する。このようにして、自車両が位置する環境内の、静的環境ステータスと他の動的ターゲットとの知覚が実装される。
知覚情報は、さらに、意思決定及び推定、及び／又は経路計画のための認識レイヤに出力され、知覚結果をユーザに示すための人間－コンピュータインタラクションインターフェースに出力されてよく、又は、ポジショニング又は画像合成のためのポジショニングシステムに出力されてよい。スペース制限のために、図１は、１つの例だけを示している。オプションのデータ情報として、マップ情報の知覚結果を豊かにするために、マルチセンサデータ融合知覚装置によってマップ情報が利用されてよい。
以下では、この出願の実施形態におけるマルチセンサデータ融合知覚装置及び方法について説明する。
最初に、図１に示すように、複数のタイプのセンサが、複数のタイプのセンサによって取得された複数のタイプの特徴データをマルチセンサデータ融合知覚装置に送信する。図２に示すように、マルチセンサデータ融合知覚装置２００は、データ前処理モジュール２０１と、静的環境構築モジュール２０３と、動的ターゲット構築モジュール２０５とを含む。データ前処理モジュール２０１は、複数のタイプの受信又は取得された特徴データを前処理するように構成される。静的環境構築モジュール２０３は、静的環境情報を構築するように構成される。動的ターゲット構築モジュール２０５は、動的ターゲット情報を構築するように構成される。ここでの静的環境情報は、自車両が移動する環境内のステータス情報であり、ステータス情報は、道路構造などを含むことに注意されるべきである。ここでの動的ターゲット情報は、自車両以外の他の移動キャリアの移動ステータス情報であり、移動ステータス情報は、他の車両の位置、運転速度、及び姿勢などを含む。
自動運転車両又は他の移動キャリアの知覚プロセスは通常連続的であるため、上記の様々なモジュールに搭載される知覚プロセスは連続的であることに注意されるべきである。例えば、静的環境構築モジュール２０３によって静的環境情報を構築するプロセスは、連続的であり、プロセスは、各現時点で静的環境情報を構築することを含む。次の時点が到来するとき、現時点は過去の時点になるが、過去の時点での静的環境情報は、通常、次の時点での静的環境情報を構築するために重要な基礎として利用される。この出願の実施形態において、説明を簡潔にするために、静的環境情報の具体的な時点が強調されず、かつ特別な説明が提供されない場合、以下で述べる静的環境情報は、現時点での静的環境情報であるとみなされてよい。同様に、動的ターゲット構築モジュール２０５及びデータ前処理モジュール２０１については、ここでは詳細について再度説明されない。以下では、上述した複数のタイプのセンサによって収集される複数のタイプの特徴データについて説明する。各タイプのデータは、通常、複数の特徴データを含む、言い換えると、特徴データは、複素数の方式で表現されるべきである。しかし、簡単のため、データの数量は、この明細書において意図的に強調されず、このことは、当業者によって理解されるべきである。結局、個別データは利用し難い。
表１に示すように、複数のタイプの特徴データは、以下のタイプのデータ、即ち、レーザーレーダからのレーザーレーダ検出ポイント、ミリ波レーダからのミリ波レーダ検出ポイント、視覚自由空間のものであり、かつ視覚センサからのものであるエッジ情報などを含んでよい。データの具体的な表現形式が以下の表に示されている。
Figure 0007140922000001
視覚センサは、視覚ターゲット、速度制限プレート、及び交通信号灯などの関連情報をさらに取得してよい。視覚センサは、カメラ、例えば、赤外線カメラ及び可視光カメラを含む。この出願の実施形態において、視覚センサは、オプションのセンサである。具体的には、マルチセンサデータ融合が、視覚センサからのデータに基づいて実行されないとき、知覚結果の精度は影響を受けるが、この出願の実施形態における解決策の実装は影響を受けない。
理解を容易にするために、検出ポイントは、以下では、「検出ポイント」又は検出ポイントの表現形式「特徴データ」によって説明されることに注意されるべきである。例えば、ミリ波レーダ検出ポイントは、ミリ波特徴データ又はミリ波レーダ特徴データとして説明されることがある。表１に示したように、「特徴データ」は、「検出ポイント」又は視覚検出情報の具体的な表現形式である。表現における相違は、内容の本質に影響を与えない。
以下では、マルチセンサデータ融合知覚装置２００の各モジュールによって実行される方法及びモジュール間の関係について説明する。
最初に、データ前処理モジュール２０１が、取得された複数のタイプの特徴データを前処理することは、以下のステップを含んでよい。
ステップＳ２０１１：複数のセンサの特徴データをフィルタリングする。
このステップの目的は、無効なデータを取り除くことであってよく、異なるセンサの特徴データについて、異なるフィルタリング方法が利用される。
例えば、レーザーレーダ検出ポイントについて、地上ポイント、雨滴ポイント、及び異常ポイントが削除される必要がある。地上ポイント、雨滴ポイント、及び異常ポイントの決定方法の例は次の通りである。
（１）検出ポイントは、校正情報と車両ステータス情報とに基づいて地表面座標系に変換され、その高さが閾値（通常０．０５ｍ）未満であるポイントが地上ポイントとみなされる。
（２）複数エコーレーザーレーダについて、レーザービームが複数のエコーを有し、非最終エコーのエコー幅が１ｍ（実験値）未満である場合、エコーは、雨滴ポイントである。
（３）各ポイントと、ポイントの最近接ポイントとの間の距離が計算され、距離が解像度の５倍超である場合、そのポイントは、異常ポイントである。
ミリ波レーダ検出ポイントについては、ＲＣＳ（Radar Cross Section、レーダ断面積）が閾値（実験値は－３２ｄＢｓｍ）未満であり、かつ位置エラーＲＭＳ（Root Mean Square、自乗平均平方根）が閾値（実験値は１．１ｍ）を超過する場合、そのポイントは削除される。次いで、異常ポイントは、レーザーレーダと同じ方式で削除される。
視覚センサによって収集される特徴データについては、遷移を抑制するために、現在フレームの特徴データと、その前の３フレームの特徴データとが平均されてよい。
ステップＳ２０１２：動的及び静的特徴データ分離：過去の動的ターゲットに関連付けることによって予備的に動的特徴データをフィルタリングする。
上述したように、知覚プロセスは連続的である。例えば、前の時点での知覚結果によって出力される動的ターゲットは、現時点での過去の動的ターゲットとみなされ、これらの過去の動的ターゲットは、更新及び管理のために、実質、連続的に観測される。この部分の動作はこの出願で説明されない、しかし、これらの過去の動的ターゲットも、現時点での動的ターゲット情報を構築するための重要な参照機能を有する。例えば、ステップＳ２０１２において、これらの過去の動的ターゲットは、現時点での特徴データを関連付けるために利用されてよい。具体的なプロセスが以下で説明される。
最初に、現時点でのセンサによって検出された動的ターゲットの属性は、センサの検出のための現時点と、過去の動的ターゲットの属性（例えば、位置及び速度）に基づいて予測される。例えば、現時点ｔで、過去の時点ｔ－１での過去の動的ターゲットの属性、例えば、過去の動的ターゲットの位置及び速度は、予測された過去の動的ターゲットを取得するために予測される必要がある。予測された過去の動的ターゲットは、現時点ｔでの過去の動的ターゲットの予測された位置及び予測された速度を含む。予測された過去の動的ターゲットは、以下の過去の動的関連付けのために利用される。
次いで、各特徴データについて、特徴データと、予測された過去の動的ターゲットとの間の距離が計算される。距離は、ユークリッド距離又はマハラノビス距離であってよい。距離が事前設定された閾値未満であるとき、特徴データは、過去の動的ターゲットに関連付けられているとみなされてよい。距離が事前設定された閾値を超過するとき、特徴データは、過去の動的ターゲットに関連付けられていないとみなされてよい。この方式では、複数のタイプの特徴データのそれぞれが過去の動的ターゲットに関連付けられているかどうかが決定されうる。具体的な関連付け方法は、特徴データｉと、各既存の予測された過去の動的ターゲットｊとの間の距離ｄi,jを計算することを含んでよい。特徴データｉについては、
Figure 0007140922000002
である場合に、特徴データｉが成功裏にターゲットｊに関連付けられているとみなされる。ｄtは、事前設定された閾値（閾値は、特徴データが属するセンサの解像度の５倍であってよい）である。特徴データｉについては、全ての過去の動的ターゲットｊがｄi,j＞ｄtを満たす場合、関連付けが失敗する、言い換えると、関連付けが実行されない。
関連付けが成功する場合、特徴データは、動的特徴データとしてマーク付けされる。関連付けが失敗する場合、特徴データは、動的特徴データとしてマーク付けされないが、さらなる動的及び静的特徴データ分離のためにステップＳ２０１３へ送られる。
ステップＳ２０１３：動的及び静的特徴データ分離：ミリ波レーダ検出ポイント上での動的及び静的特徴データ分離を実行する。
ミリ波レーダは、半径方向速度（例えば、表１に示したｖｒ）を検出することができるため、ミリ波レーダ検出ポイントは、動的属性及び静的属性を有する特徴データそのものである。半径方向速度は、センサに関連する検出されたターゲット物体のものであり、かつターゲットとセンサとの間の接続線上にある速度の成分である。
表２は、ミリ波レーダ検出ポイントを通じて、動的データ及び静的データを決定する計算プロセスで利用される必要がある変数を示す。
Figure 0007140922000003
ｂ、ｌ、β、ｖ、ω、θi、及びｖr,iは、入力である。ｖs及びαは、中間変数であり、計算方法は、以下のように示されうる。
ミリ波レーダの正方向と、ミリ波レーダの設置位置の速度ベクトルとの間の夾角αは、ミリ波レーダの設置位置（ｂ，ｌ，β）と、自車両の移動ステータス（ｖ，ω）とに基づいて計算される：
Figure 0007140922000004
同時に、ミリ波レーダの設置位置で生成された速度ベクトルｖsは、ミリ波レーダの設置位置（ｂ，ｌ，β）と、自車両の移動ステータス（ｖ，ω）とに基づいて計算される：
Figure 0007140922000005
次いで、ターゲットが静的であると仮定する。ミリ波レーダに関連するターゲットの半径方向速度ｖθは、α、ｖs、及び各ターゲットの夾角θiに基づいて計算される：
Figure 0007140922000006
次いで、｜ｖθ,i－ｖr,i｜＞ｖtである場合、特徴データｉは、動的特徴データであり、そうでない場合、特徴データｉは、静的特徴データである。
ここで説明される自車両は、ミリ波レーダのキャリア車両であることに注意されるべきである。ここで説明されるターゲットは、自車両以外の他の移動キャリア又は静的障害物である。
上で提供された計算方法は、ミリ波レーダ検出ポイントに基づいて動的特徴データ及び静的特徴データを決定することの例として利用されてよく、この出願を限定するものとして利用されない。このコンセプトに基づく他のアルゴリズムが１つずつ列挙されているわけではない。
ミリ波レーダセンサのドップラー測定特性は、ミリ波レーダセンサが自車両又は他の移動ターゲットの移動ステータスを精度良く決定することができると決定するため、動的及び静的特徴データ分離は、上記のステップを通じてミリ波レーダ検出ポイント上で実行されることができる。しかし、視覚センサ及びレーザーレーダセンサなどの他の非ミリ波レーダセンサは、測定ターゲットの移動ステータスを直接的に取得することができない、言い換えると、非ミリ波レーダ特徴データは、動的特徴データ又は静的特徴データとして直接的に決定されることができない。
従って、ミリ波レーダ検出ポイントの移動状態及び静止状態がステップＳ２０１３において決定された後、ミリ波レーダ検出ポイントの一部は、動的特徴データとしてマーク付けされ、また、ミリ波レーダ検出ポイントの一部は、静的特徴データとしてマーク付けされる。いくつかのケースにおいて、ミリ波レーダ検出ポイントの一部は、静的特徴データ又は動的特徴データとしてマーク付けされない。この部分のデータ、及びミリ波レーダ以外の他のセンサのデータは、さらなる処理のためにステップＳ２０１４に入ってよく、又はステップＳ２０１４において処理されなくてよい。代わりに、未決定データとして利用される、この部分のデータは、後で、処理のために、静的環境構築モジュール２０３及び動的ターゲット構築モジュール２０５に入る。
ステップＳ２０１４：動的及び静的特徴データ分離：決定を通じてステップＳ２０１３において取得される動的ミリ波レーダ特徴データと静的ミリ波レーダ特徴データとに基づいて、非ミリ波レーダ特徴データ上での動的及び静的特徴データ分離を実行する。
非ミリ波レーダ特徴データの動的属性及び静的属性は、非ミリ波レーダ特徴データと、マーク付けされた動的特徴データとの間の関連付け関係に基づいてさらに決定されてよい。例えば、このことは、以下の方法を通じて実装されうる。
最初に、全てのセンサによって検出された特徴データが、自車両の車体座標系に変換される。次いで、ミリ波レーダによって検出された特徴データと、センサ、例えば、非ミリ波レーダによって検出された特徴データとの間のユークリッド距離が計算される。非ミリ波レーダ特徴データと、動的ミリ波レーダ特徴データとの間の距離が事前設定された閾値未満であるとき、非ミリ波レーダ特徴データは、動的特徴データとして決定される。そうでない場合、非ミリ波レーダ特徴データは、静的特徴データである。代替的に、非ミリ波レーダ特徴データと、静的ミリ波レーダ特徴データとの間の距離が事前設定された閾値未満であるとき、非ミリ波レーダ特徴データが静的特徴データであると決定される。
具体的な関連付け方法は以下のようになる。
最初に、ミリ波レーダによって検出された特徴データと、他の非ミリ波センサによって検出された特徴データとが、車体座標系に変換される。
自車両の車体座標系におけるセンサの設定位置は（ｘt，ｙt）であり、角度はθであると仮定される。センサの座標は（ｘt，ｙt，θ）である。センサのオリジナルのデータ位置（ｘs，ｙs）を、自車両の車体座標系の位置（ｘv，ｙv）に変換するアルゴリズムは、
Figure 0007140922000007
である。
式の左辺の［ｘv，ｙv，ｌ］は、自車両の車体座標系に変換された後のセンサの座標である。式の右辺の［ｘs，ｙs，ｌ］は、センサのオリジナルの座標データである。変換行列Ｔs vは、
Figure 0007140922000008
である。
次いで、他のセンサによって検出された特徴データｉと、最も近い動的ミリ波レーダ特徴データポイントｊとの間の距離ｄi,jが計算され、距離は、ユークリッド距離であってよい。レーザーレーダによって検出された特徴データは（ｘl,j，ｙl,j，ｚl,j）であり、動的ミリ波レーダ特徴データは（ｘr,j，ｙr,j，ｚr,j）であると仮定される。
レーザーレーダによって検出された特徴データと、動的ミリ波レーダ特徴データとの間のユークリッド距離は、
Figure 0007140922000009
である。視覚センサによって検出された特徴データは（ｘf,i，ｙf,i）であり、動的ミリ波レーダ特徴データは（ｘr,j，ｙr,j，ｚr,j）であると仮定する。レーザーレーダによって検出された特徴データと、動的ミリ波レーダ特徴データとの間のユークリッド距離は、
Figure 0007140922000010
である。距離ｄi,j≦ｄtであって、ｄtは、事前設定された閾値であり、閾値は、通常、センサの解像度の５倍であってよい、という場合、特徴データｉは、動的ミリ波レーダ特徴データポイントｊに関連付けられることができる、言い換えると、特徴データｉは、また、動的特徴データであるとみなされ、そうでない場合、特徴データｉは、さらなる決定のために次のステップに送られる。
もちろん、非ミリ波レーダ特徴データの動的属性と静的属性とは、非ミリ波レーダ特徴データと、マーク付けされた静的ミリ波レーダ特徴データとの間の関連付け関係に基づいてさらに決定されてよい。具体的な方法については、非ミリ波レーダ特徴データを、動的ミリ波レーダ特徴データに関連付ける方法を参照されたい。ここでは詳細について再び説明されない。
ステップＳ２０１４をより良く理解するために、図３を参照されたい。
図３に示すように、灰色の点及び白色の点の両方がミリ波レーダによって検出された特徴データである。灰色の点は、静的特徴データとしてマーク付けされ、かつミリ波レーダ検出ポイント内にある検出ポイント、つまり、静的ミリ波レーダ特徴データである。白色の点は、動的特徴データとしてマーク付けされ、かつミリ波レーダ検出ポイント内にある検出ポイント、つまり、動的ミリ波レーダ特徴データである。黒色の点は、レーザーレーダ（図３では、レーザーレーダのみが例として利用されている。）によって検出された検出ポイントである。鎖線の円は、およそ事前設定された半径で、かつレーザーレーダによって検出された検出ポイントが円の中心として利用されているエリアを表している。エリアが、移動特徴データとしてマーク付けされ、かつミリ波レーダ検出ポイント内にある検出ポイントを含む場合、レーザーレーダ検出ポイントは、動的特徴データである。
このケースにおいて、この出願のこの実施形態における前処理動作は、基本的に完了され、動的特徴データ及び静的特徴データとしてマーク付けされたデータが得られる。未決定データ、言い換えると、動的特徴データ又は静的特徴データとして決定されない特徴データも存在しうる。ここでは、データ前処理モジュール２０１によって処理が実行されるけれども、データの一部は、それでも、動的特徴データ又は静的特徴データとして決定されることに失敗することがあり、この部分のデータは未決定データになることに注意されるべきである。この出願のこの実施形態において、この部分の未決定データは、静的特徴データと共に、静的環境構築モジュール２０３に入ってよく、静的環境の構築に利用される。加えて、この部分の未決定データは、また、動的特徴データと共に、動的ターゲット構築モジュール２０５に入ってよく、動的ターゲットを構築するために利用される。言い換えると、未決定データは、静的特徴データ及び動的特徴データと共に、後続の処理プロセスに入ってよく、静的環境情報又は動的ターゲット情報を構築するために利用される。オプションデータとして利用される、未決定データは、直接的に以下の説明において反映されず、未決定データは、いくつかの可能な実装又はいくつかのオプション実施形態において反映されるが、入力データに関する限定として利用されるべきではない。
この出願のこの実施形態において、ステップＳ２０１１及びステップＳ２０１２の両方はオプションのステップである、言い換えると、ステップＳ２０１３における動的及び静的データ分離と、ステップＳ２０１４における動的及び静的データ分離とは、複数のタイプのセンサによって取得された複数のタイプの特徴データ上で直接的に実行される、ことに注意されるべきである。それに対応して、ステップＳ２０１１が実行されない場合、いくつかの無効なデータが取り除かれないため、一部のデータのエラーが増加される。ステップＳ２０１２が実行されない場合、関連付けを通じて、過去の動的ターゲットに基づいて取得される動的特徴データの一部は失われる。この部分のデータ内のデータは、ステップＳ２０１３及びステップＳ２０１４によって識別されてよいし、又は、ステップＳ２０１３及びステップＳ２０１４によって識別されなくてよい。しかし、ステップＳ２０１１及びステップＳ２０１２の欠如は、予測における部分的なロスのみを生じ、この出願の実施形態において提供される技術的解決策の実装には影響しない。
上述したように、前処理の後、静的特徴データ、動的特徴データ、及び未決定データが取得され、これらのデータは、後続の処理のために利用される。図２に示すように、静的特徴データは、モジュール２０１からモジュール２０３へと出力され、動的特徴データは、モジュール２０１からモジュール２０５へと出力される。モジュール２０３からモジュール２０５へと向いている矢印は、モジュール２０３によって構築された静的環境情報が、参照静的環境情報としてモジュール２０５へと出力され、かつ、モジュール２０５によって、動的特徴データ及び参照静的環境情報に基づいて動的ターゲットを構築するために利用されること、を示すために利用されることに注意されるべきである。同様に、モジュール２０５からモジュール２０３へと向いている矢印は、モジュール２０５によって構築された動的ターゲット情報が、参照動的ターゲット情報としてモジュール２０３へと出力され、かつ、モジュール２０３によって、静的特徴データ及び参照動的ターゲット情報に基づいて静的環境を構築するために利用されること、を示すために利用される。
言い換えると、静的環境構築モジュール２０３は、動的ターゲット構築モジュール２０５の出力情報を利用する必要があり、同様に、動的ターゲット構築モジュール２０５も、静的環境構築モジュール２０３の出力情報を利用する必要がある。２つのモジュールは、対応するデータをデータ前処理モジュール２０１から同時に取得し、静的環境及び動的ターゲットを同時に構築してよい。代替的に、静的環境構築モジュール２０３は、静的特徴データ及び参照動的ターゲット情報に基づいて予め静的環境情報を構築し、参照静的環境情報として静的環境情報を動的ターゲット構築モジュール２０５へと出力してよい。従って、動的ターゲット構築モジュール２０５は、参照静的環境情報と動的特徴データとを参照して動的ターゲット情報を構築する。動的ターゲット情報は、さらに、新たな参照動的ターゲット情報として利用され、静的環境構築モジュール２０３へと出力されてよい。動的ターゲット情報は、静的環境構築モジュール２０３によって、新たな参照動的ターゲット情報と、次の時点での静的特徴データとに基づいて、次の時点での静的環境情報を構築するために利用される。
代替的に、解決策は以下のようであってよい。動的ターゲット構築モジュール２０５は、動的特徴データと参照静的環境情報とに基づいて、予め動的ターゲット情報を構築し、参照動的ターゲット情報として、動的ターゲット情報を静的環境構築モジュール２０３へと出力する。従って、静的環境構築モジュール２０３は、参照動的ターゲット情報と静的特徴データとに基づいて静的環境情報を構築する。静的環境情報は、さらに、新たな参照静的環境情報として利用され、動的ターゲット構築モジュール２０５へと出力されてよい。静的環境情報は、動的ターゲット構築モジュール２０５によって、新たな参照静的環境情報と、次の時点での動的特徴データとに基づいて、次の時点での動的ターゲット情報を構築するために利用される。
この出願のこの実施形態のキーアイデアは、静的環境構築モジュール２０３及び動的ターゲット構築モジュール２０５が、互いの出力情報を利用することである。具体的には、静的特徴データ及び動的ターゲット情報の両方は、静的環境の構築のために利用される必要があり、動的特徴データ及び静的環境情報の両方は、動的ターゲットの構築のために利用される必要がある。言い換えると、静的環境の構築の間、動的ターゲットの状況は、総合的に考慮される必要があり、動的ターゲットの構築の間、静的環境の状況も総合的に考慮される必要がある。
加えて、モジュール２０３及びモジュール２０５は、さらに、それぞれの前の時点での出力情報を利用することによって、現時点での構築を同時に実行してよいし、又は、順次に構築を実行してよい。このことは、この出願において限定されない。
以下では、静的環境構築モジュール２０３の動作、及び動的ターゲット構築モジュール２０５の動作について詳細に説明する。
静的環境構築モジュール２０３の入力情報は、静的特徴データと、移動ターゲットの移動軌跡とを含んでよい。移動ターゲットの移動軌跡は、動的ターゲット構築モジュール２０５によって出力され、参照動的ターゲット情報として利用され、静的環境構築モジュール２０３によって、静的環境を構築するために利用される。
静的環境構築モジュール２０３の出力情報は、静的環境情報である。静的環境情報は、現時点での静的ラスタマップと、道路構造情報とを含んでよい。道路構造情報は、道路端（分離帯など）及び地上の物体（道路標識、地上の広告塔、オーバパスなど）を含んでよい。
モジュール２０３は、特に、２つの部分、即ち、ステップＳ２０３１における静的ラスタマップの構築と、ステップＳ２０３２における道路構造の推定とを実施するように構成されてよい。図４に示すように、静的ラスタマップは、環境内の静的障害物の分布を記述するデータフォーマットである。
図４の上側部分は実際のＹ字分岐であり、下側部分は対応する静的ラスタマップである。静的障害物のみが静的ラスタマップに表示されていることに注意されるべきである。上側部分内の車両は、動的ターゲットであり、静的ラスタマップ上に表示されない。静的ラスタマップ上で、環境は、所与の比例サイズに基づいて、水平及び垂直に配置されたラスタに分けられる。各ラスタの色深度は、ラスタに対応するエリアが静的障害物によって占有されている確率を示す。より深い色は、エリアが占有されている、より高い確率を示す。黒色は、障害物によってラスタが占有されている確率が１であることを示している。白色は、障害物によってラスタが占有されている確率が０である、つまり、ラスタがアイドル状態であることを示している。灰色は、障害物によってラスタが占有されている確率が０．５であることを示し、このことは、通常、未知の状態を示す。
静的ラスタマップは、確率ラスタマップによって表される。確率ラスタマップ内の各ラスタは、３つの属性値、即ち、累積値（ｏｄｄ）と、確率値（ｐｒｏｂ）と、一時占有値とを含む。累積値及び確率値の両方は、ラスタが障害物を含む確率を示し、累積値と確率値との間には１対１の対応関係がある。具体的には、累積値と確率値との間の対応関係、又は変換関係と称されるものは、次のようなものである。
Figure 0007140922000011
累積値（ｏｄｄ）と確率値（ｐｒｏｂ）との間の対応関係は、表３及び図５に示されている。
表３ 累積値と確率値との間の関係
Figure 0007140922000012
ｏｄｄの値範囲は［－５０，５０］である。より高いｏｄｄは、より高い占有確率を示し、より低いｏｄｄは、より高いアイドル確率を示す。ｏｄｄ＝０は、状態が未知であることを示す。対応するｐｒｏｂの値範囲は［０，１］である。より高いｐｒｏｂは、より高い占有確率を示し、より低いｐｒｏｂは、より高いアイドル確率を示す。ｐｒｏｂ＝０．５は、状態が未知であることを示す。
一時占有値は、現時点でのセンサのデータにおいて、ラスタに対応するエリア内に障害物があるかどうかを示す。通常、一時占有値は０又は１である。０は、障害物がないことを示し、１は、障害物があることを示す。
以下では、ステップＳ２０３１の具体的なステップについて説明する。要約すると、ステップは、ステップＳ２０３１ａにおける座標変換と、ステップＳ２０３１ｂにおける部分ラスタ確率更新とを含む。
ステップＳ２０３１が説明される前に、オプションのモジュールが最初に説明される必要がある。オプションのモジュールは、グローバル更新モジュール２０２である。グローバル更新モジュール２０２の入力情報は、自車両の移動速度と、過去の静的ラスタマップとを含む。グローバル更新モジュール２０２は、自車両の移動速度に基づいて、過去の静的ラスタマップ内の各ラスタの確率値を更新し、更新された過去の静的ラスタマップを取得するように構成される。更新された過去の静的ラスタマップは、ステップＳ２０３１ｂにおける処理を実行するために、過去の静的ラスタマップとして、モジュール２０３によって利用される。
特に、グローバル更新モジュール２０２は、ステップＳ２０２１、即ち、適応的グローバルラスタ確率更新を実行するように構成される。
以下では、グローバルラスタ確率更新のものである、原因、シナリオ例、計算方法、及び減衰効果を含む、ステップＳ２０２１における適応的グローバルラスタ確率更新について説明する。
最初に、所謂、適応的グローバルラスタ確率更新は、時間経過とともに連続的に実行され、連続的に繰り返し過去の静的ラスタマップを更新するものであり、過去の静的ラスタマップ内の各ラスタに含まれる累積値及び確率値を更新することを含む、ことに注意されるべきである。過去の静的ラスタマップは、現時点より前の静的ラスタマップを表すために利用される。
グローバルラスタ確率更新は、センサがターゲットを検出するときに誤ったアラーム事象が存在するため、更新されることが必要であり、過去のラスタの累積値は、誤ったアラームの影響を低減するために、徐々に低減される必要がある。従って、グローバルラスタ確率更新は、計算の各ラウンドにおいて実行される必要がある。言い換えると、このステップの目的は、センサの誤検出が時々発生し、連続的には発生しないことである。グローバルラスタ確率更新が実行されるため、時々発生する誤検出は忘れられるだろう。正しい検出結果が連続的に更新されるため、正しい検出結果が静的ラスタマップ内に保存される。
例えば、夜に幹線道路を移動する自動運転車両の視覚センサは、幹線道路の側にある高いポールの街路灯によって幹線道路上に投影された静的な影が、固定道路障壁であると検出することがある。実際には、静的な影は、固定道路障壁ではない。このケースにおいて、これは誤ったアラームである。このシナリオにおいては、自動運転車両が、道路障壁を避けるために迂回するか、又は緊急ブレーキを実行する必要がある。しかし、これは実際には不要である。通常、天候又は光が異常であるとき、車載デバイスに搭載された視覚センサ又はレーダセンサは、たとえ自動運転車両の前方に障害物が無くても、間違いによって障害物を検出する。結果として、自動運転車両は緊急ブレーキを実行し、そうした誤検出が、誤ったアラームになる。
グローバルラスタ確率更新を実行するために方法は、以下のようになる。現時点での静的ラスタマップ上の各ラスタの累積値（ｏｄｄ）は、前の時点での各ラスタの累積値（ｏｄｄ）に、車両移動速度に関する関数を乗じたものである。ここでは、車両は自車両を指す。
車両移動速度ｖ（つまり、上記の動的ターゲット情報の１つのタイプ）に関する関数ｆについて、関数ｆの計算方法の例は以下のようになる。
Figure 0007140922000013
ｖは、自車両速度である。表４は、ｆとｖとの間の関係を列挙している。
Figure 0007140922000014
図６は、グローバルラスタ確率更新の効果を示している。
図６において、各列は、ラスタマップ更新のラウンドである。第１列は、前の時点でのラスタマップ上でグローバルラスタ確率更新が実行された後に得られる結果である。第２列は、現時点で新たに観測されたデータである。第３列は、現時点で新たに観測されたデータを通じて、グローバル確率が減衰した後の、前の時点でのラスタマップを更新することによって得られる結果である。
時点ｔに対応する第１列は、例として利用される。列の最上段の静的ラスタマップ、つまり、第１列の第１行の静的ラスタマップは、実際には、時点ｔ－１でグローバルラスタ確率更新が実行された後に得られる静的ラスタマップである。第１列の中央の静的ラスタマップ、つまり、第１列の第２行のグラフは、時点ｔで観測された新たな静的ラスタマップである。第１列の第１行の静的ラスタマップと、第１列の第２行の静的ラスタマップとに対応するラスタの値は、第１列の最下段での静的ラスタマップ、つまり、第１列の第３行の静的ラスタマップを得るために、重ねられる。このマップは、時点ｔで確率更新が実行される静的ラスタマップである。静的ラスタマップは、第２列の第１行に出力される。具体的には、時点ｔ＋１での開始ラスタマップとして利用される、静的ラスタマップは、時点ｔ＋１で観測される静的ラスタマップに重ねるために利用され、これは、時間とともに順番に次々と進められる。
図６に示すように、第１列に、言い換えると、時点ｔで新たに観測される静的ラスタマップに誤ったアラームの検出ポイントがあることを見ることができる。結果として、間違った障害物が、時点ｔでのラスタマップに現れる。しかし、この出願のこの実施形態におけるグローバルラスタ確率更新が実行された後、この誤ったアラームは、後続の検出（例えば、第３列の第３行の時点ｔ＋３での確率更新結果）において再発生しない。従って、この出願のこの実施形態において提供されるグローバルラスタ確率更新を実行するための方法によれば、間違った障害物の確率は、徐々に低減されることができ、時間が経つにつれて最終的には消える。このようにして、出力された静的ラスタマップの精度は改善され、知覚精度が改善される。
以下では、ステップＳ２０３１ａにおける座標変換と、ステップＳ２０３１ｂにおける部分ラスタ確率更新とについて説明する。
ステップＳ２０３１ａは、入力モジュール２０３の入力情報上での座標系変換を実行すること、言い換えると、データと、情報に含まれるデータとの両方を同じ座標系に変換することを含む。通常、入力データは異なる座標系のものであるため、座標変換が要求される。しかし、データ処理の間、データは、同じ座標系で処理される必要がある。
センサによって検出される特徴データは、世界座標系に変換される。自車両の車体座標系におけるセンサの設置位置及び角度は（ｘt，ｙt，θt）であり、世界座標系における自車両の車体の位置は（ｘv，ｙv，θv）であると仮定する。センサのオリジナルのデータ位置（ｘs，ｙs）を、世界座標系における位置（ｘw，ｙw）に変換するアルゴリズムは、以下のようになる。
Figure 0007140922000015
センサから自車両の車体への回転行列Ｔs vは、
Figure 0007140922000016
である。
自車両の車体から世界座標系への回転行列Ｔv wは、
Figure 0007140922000017
である。
以下では、ステップＳ２０３１ｂにおける部分ラスタ確率更新について説明する。
最初に、データがステップＳ２０３１ａにおいて同じ座標系に変換された後、同じ座標系における静的特徴データ及び未決定データが、ステップＳ２０３１ｂにおける処理を実行するために利用されることに注意されるべきである。従って、ステップＳ２０３１ｂにおいて利用される全てのデータは、同じ座標系のものであり、かつ座標系統一が実行されているデータである。これは以下で繰り返されない。
この出願のこの実施形態において、部分ラスタ確率を更新することの方式は、具体的には、動的ターゲット情報に基づいてラスタ確率を更新することである。
具体的には、ここで利用される動的ターゲット情報は、具体的には他の移動キャリアの移動軌跡である、動的ターゲットの移動軌跡を含む。ここでの他の移動キャリアは、自車両以外であり、かつ、自車両が位置する環境内又は自車両の知覚範囲内にある他の移動キャリアであり、また、他の車両であってよい。他の移動キャリアは、他のタイプの移動キャリアであってもよい。
以下では、動的ターゲット情報に基づいてラスタ確率を更新することについての、原因、シナリオ例、計算方法、及び更新効果について説明する。
同様に、ラスタ確率は、センサがターゲットを検出するときに誤ったアラーム事象が存在するため、動的ターゲット情報に基づいて更新されることが必要である。動的ターゲット情報、例えば、移動ターゲットの移動軌跡は、誤ったアラームの影響を低減するために利用されることができる。
誤ったアラームは上で説明されている。ここで、誤ったアラームをより良く理解するために例が追加される。例えば、自動運転車両の自動運転プロセスにおいて、ミリ波レーダは、道路上にある金属製の穴カバーを障害物として間違って認識することがある。実際には、このタイプの物体は、車両の通常の移動に影響せず、この誤検出は、誤ったアラームである。
具体的には、動的ターゲットの移動軌跡に基づいてラスタ確率を更新することの効果が、図７に示されている。ここでの動的ターゲットは、上記の動的ターゲットのようなものであり、自車両以外の他の移動キャリアである。具体的には、自車両が位置する静的環境の情報は、他の移動キャリアの移動軌跡を通じて構築される。
図７に示された過去の静的ラスタマップは、時点ｔ－１での静的ラスタマップであると仮定する。黒色の四角は、時点ｔ－１でのターゲット車両の１つの位置を示している。黒色の鎖線四角は、時点ｔ－１に関するターゲット車両の過去の位置、例えば、時点ｔ－２での過去の位置を示している。黒色の矢印は、ターゲット車両の移動方向を示している。図中の明るいラスタ色は、より高いアイドル確率を示している。言い換えると、移動ターゲットの移動軌跡によってカバーされるエリアがアイドルエリアである確率は、より高い。より新しい移動軌跡は、より高いアイドル確率を示している。時点ｔは、現時点である。現時点ｔと比較すると、時点ｔ－１での移動ターゲットによってカバーされるラスタは、最も高いアイドル確率を有する。時点ｔ－１で、アイドル確率が最も高く、色は最も明るいことが、図７から理解されることができる。ターゲット車両が、より長い時間とどまるエリアの色は、より深い。より長く、ターゲット車両がエリアにとどまるため、より環境に変化が生じそうである。従って、エリアがアイドルである確率は、より低くなる。図中に示したように、障害物が現時点でエリアに現れる、より高い確率があるため、過去の移動軌跡によってカバーされるエリアの色は、より深い。しかし、より新しい移動軌跡、例えば、図中の最上段の過去の移動軌跡については、移動ターゲットによってカバーされるエリアの色は、より明るい、言い換えると、より新しい移動軌跡は、エリアがアイドルである、より高い確率を示している。車両のより短い通過時間は、車両が通過するエリアに他の障害物が現れる、より低い確率を示すため、このことは容易に理解される。しかし、車両のより長い通過時間は、車両が通過するエリアに他の障害物が現れる、より高い確率を示している。
動的ターゲットの移動軌跡に基づいてラスタ確率を更新するための方法は、以下のようになる。動的ターゲットの移動軌跡によってカバーされるエリアのラスタの累積値（ｏｄｄ）は、エリア内にあり、かつ前の時点のものであるラスタの追跡値（ｏｄｄ）に、移動軌跡の新旧度合いに関する関数を加えたものである。例えば、
Figure 0007140922000018
である。
Ｔは、全移動軌跡の時間長である。ｔiは、現時点である。ｔは、移動軌跡内の時点である。ｏｄｄfreeは、アイドル累積値である。アイドル累積値は、ラスタがアイドル状態にあると検出されるときに累積される必要がある値であり、通常は－０．１である。
具体的なアルゴリズムは、以下のようであってよい。
移動軌跡は、
Figure 0007140922000019
として定義される。Ｐtは、時点ｔでの移動ターゲットの位置を表している。
Figure 0007140922000020
は、移動ターゲットによって、時点ｔiから時間期間Ｔの間、前方へ移動することによって得られる軌跡を表している。ラスタｃが累積する必要がある確率は、以下のようになる。
Figure 0007140922000021
Ａ（Ｐt，ｃ）は、ラスタｃが、時点ｔでの移動ターゲットによって占有される空間内にあるかどうかを示す。ラスタｃが、時点ｔでの移動ターゲットによって占有される空間内にある場合、Ａ（Ｐt，ｃ）は１である。そうでない場合、Ａ（Ｐt，ｃ）は０である。
上記の計算に基づいて、部分的に更新された静的ラスタマップが得られる。部分的に更新された静的ラスタマップは、過去の静的ラスタマップ、言い換えると、静的環境情報構築モジュール２０３によって出力される必要がある情報、の上でのローカル更新が実行された後に得られる現在の静的ラスタマップである。情報は、動的ターゲットを構築するために、動的ターゲット構築モジュール２０５に出力されてよく、現在の静的環境の知覚として利用されるために、そして、関連処理のための後続の処理セクションに出力されるために、現在の静的環境情報として、静的環境構築モジュール２０３によって出力されてもよい。例えば、情報は、意思決定及び推定のための認識レイヤと、車両制御のための経路計画に出力される。
以下では、ステップＳ２０３２における道路構造を推定するための関連方法について説明する。
道路構造は、２つのタイプ、即ち、道路端、例えば、道路分離バーなどと、地上の物体、例えば、道路標識、地上の広告塔、オーバパスなどとに分けられる。
道路端情報は、いくつかの誤った又は無効なターゲットを取り除くことを補助できるため、道路構造は、自動運転車両の移動のために重要である。例えば、道路端は、車両が横断できない境界であり、通常のケースにおいて、道路端の反対側の車両は、自車両の側に移動しない。従って、道路端の外側で生じる誤った検出及び誤ったアラームは、取り除かれることができる。加えて、道路端は、時々、複雑な構造を有する、例えば、誤って移動ターゲットとして検出されうる植物がある。しかし、誤って検出された物体は、実際は、道路端に重なっており、車両が道路端上に「乗る」ことは不可能である。従って、道路端は、類似の誤検出を取り除くために利用されることができる。
地上の物体は、自車両の移動ルートを跨ぐ物体であるが、相対的に高く、車両の通過に影響しない。例えば、図８に示すように、これは、幹線道路上の道路全体を横切る道路標識である。高さ情報を検出することができない、いくつかのミリ波レーダにおいては、このタイプの道路標識は、壁と同じである。道路標識が地上の物体であると確認されることができない場合、車両は、間違って、道路標識の前でブレーキングする。これは、容易に交通事故を引き起こす。
以下では、静的特徴データ及び動的ターゲット情報に基づいて、地上の物体をどのように構築するかについて説明する。
最初に、地上の物体を含むポイントセットは、ｘ軸方向でのデータヒストグラムのピーク値に基づいて抽出される。ポイントセットは、現時点での静的特徴データと、静的ラスタマップから変換されたポイントクラウドとを含む。次いで、決定されるべき地上の物体を得るために、地上の物体のモデルのパラメータが、ポイントセット及び最適化関数を通じて計算される。最後に、ポイントセットの高さ情報を通じて、又は、他の動的ターゲットが、決定されるべき地上の物体を通過する場合、その物体が、地上の物体であることが決定される。
言い換えると、動的ターゲットの移動軌跡が、決定されるべき地上の物体のモデルの線セグメントと交差する、言い換えると、式が解を持つ場合、物体は、地上の物体として決定される。具体的な方法例は、以下のようになる。
地上の物体は、線セグメントモデルによって表現されうる。例えば、地上の物体の線セグメントの始点及び終点は、それぞれ、
Figure 0007140922000022
である。
対応する線セグメントモデルは、以下のようになる。
Figure 0007140922000023
移動軌跡は、
Figure 0007140922000024
として定義される。移動軌跡は、始点
Figure 0007140922000025
と、終点
Figure 0007140922000026
 との間の線セグメント、つまり、
Figure 0007140922000027
として単純化されてよい。２つの直線の交点は、以下の式に従って計算される。
Figure 0007140922000028
２つの直線の間に交点（ｘc，ｙc）があり、交点が、２つの線セグメントの範囲内である、具体的には、
Figure 0007140922000029
の場合、動的ターゲットの移動軌跡は、決定されるべき地上の物体のモデルの線セグメントに交差する（言い換えると、式が解を持つ）とみなされ、地上の物体が決定されることができる。ここで説明される移動ターゲットの移動軌跡は、自車両以外の任意の移動ターゲットの移動軌跡であってよい。
上記の方法によれば、静的環境構築モジュール２０３は、構築を通じて、静的特徴データと動的ターゲット情報とに基づいて静的環境情報を得る。静的環境情報は、静的ラスタマップと、道路構造情報とを含んでよい。
上記のステップにおいて、ステップＳ２０３２はオプションのステップであることに注意されるべきである。具体的には、静的環境構築モジュール２０３がステップＳ２０３２を実行しない、言い換えると、静的環境構築モジュール２０３が道路構造情報を出力しない場合、それによって、いくつかの静的環境について知覚レイヤの知覚結果が失われる。しかし、このことは、この出願のこの実施形態における静的ラスタマップを構築する静的環境構築モジュール２０３に影響しない。しかし、地上の物体を含む、いくつかの道路構造情報は、ステップＳ２０３２において、静的特徴データと動的ターゲット情報（例えば、移動ターゲットの移動軌跡）とを組み合わせることによって得られうるため、ステップＳ２０３２を実行することによって、知覚能力は、自動運転車両が静的環境情報をより良く知覚することを補助するように、より良く改善されることができる。
静的環境構築モジュール２０３の動作が説明された後、動的ターゲット構築モジュール２０５の動作が以下で説明される。
動的ターゲット構築モジュール２０５は、動的特徴データと静的環境情報とに基づいて、動的ターゲットを構築するように構成される。
上で説明したように、データ前処理モジュール２０１がデータ分離を実行した後、得られたデータは、さらに、動的特徴データ及び静的特徴データに加えて未決定データを含みうることに注意されるべきである。未決定データは、動的特徴データ又は静的特徴データとして決定されていない特徴データである。いくつかの実施形態において、未決定データは捨てられてよい。しかし、移動キャリアが位置する環境のリアルな状況をより正確に反映するために、未決定データは、いくつかの他の実施形態においては保持され、そして、静的環境情報を構築するために、静的特徴データと一緒にモジュール２０３に入る。未決定データは、さらに、動的ターゲット情報を構築するため、動的特徴データと一緒にモジュール２０５に入ってよい。
以下で提供される実装において、それは、動的特徴データと未決定データとを利用することによって関連処理を実行する動的ターゲット構築モジュール２０５について説明する。
動的ターゲット構築モジュール２０５の入力情報は、自車両の移動ステータス、動的特徴データ、過去の移動ターゲット情報、静的環境情報、未決定データなどを含んでよい。出力情報は、過去の軌跡と、移動ターゲットのものである位置、速度、サイズ、向き、及びカテゴリなどの属性とを含んでよい。静的環境情報は、道路端、及び／又は地上の物体を含んでよい。
動的ターゲット構築モジュール２０５は、特に、以下の方法、即ち、ステップＳ２０５１におけるクラスタリング、ステップＳ２０５２における静的環境内の動的ターゲットのフィルタリング、ステップＳ２０５３における動的ターゲットのトラッキングを実装するように構成されてよい。
データ前処理モジュール２０１の動作後、出力データは、動的特徴データ、静的特徴データ、及び未決定データである。動的特徴データと未決定データとは、動的ターゲット構築モジュール２０５によって利用される。最初に、動的ターゲット構築モジュール２０５は、ステップＳ２０５１で説明された、動的特徴データ及び未決定データ上でのクラスタリングを実行し、１つ又は複数のクラスタリング中心を得る。各クラスタリング中心は、クラスタリング特徴データの１つのグループを含み、クラスタリング特徴データの各グループは、新たな可能な移動ターゲットとみなされる。ＩＤは、ターゲットに割り当てられ、ターゲットは、未完成の移動ターゲットとしてマーク付けされる。次のステップＳ２０５２が実行される。クラスタリングされていない特徴データは、ノイズポイントであり、捨てられる。
次に、ステップＳ２０５２は、静的環境内の動的ターゲットをフィルタリングするために実行される必要がある。
上記のクラスタリングを通じて得られる１つ又は複数の未完成の移動ターゲットに基づき、未完成の移動ターゲットが道路端の外側に位置する場合、又は未完成の移動ターゲットが道路端に重なる場合、未完成の移動ターゲットが無効な移動ターゲット、言い換えると、ターゲットが実在の移動ターゲットである可能性が相対的に低いとみなされる。
具体的な方法は、未完成の移動ターゲット内に含まれる全ての特徴データを、静的環境情報が属する座標系に投影することを含む。静的環境情報は、未完成の移動ターゲットと道路端との間の関係を決定するために、道路端を含む。
（ｘk，ｙk）が未完成の移動ターゲットｋの位置であり、ｙ＝ｆ（ｘ）が道路端モデルであると仮定する。
未完成の移動ターゲットｋが道路端の外側にある、言い換えると、｜ｆ（ｘk）｜＞ｙkである場合、ターゲットｋは無効である。
未完成の移動ターゲットｋが道路端内にある場合、ターゲットｋと道路端との間の距離は｜ｆ（ｘk）－ｙk｜であると決定される。距離が一般的なボディサイズ（例えば、２．５ｍ）未満である場合、未完成の移動ターゲットは、無効なターゲットとみなされ、言い換えると、道路端に非常に近く、道路端内にある場合、ターゲットｋは、また、無効な移動ターゲットとみなされる。
無効な移動ターゲットは、ステップＳ２０５２におけるフィルタリングを通じて取り除かれる。残りの未完成の移動ターゲットが実在の移動ターゲットとみなされうる可能性は、相対的に高い。この部分の未完成の移動ターゲットは、動的ターゲット構築モジュール２０５の出力結果として利用されてよく、静的環境構築モジュール２０３に出力される。代替的に、この部分の未完成の移動ターゲットは、認識レイヤ、人間－コンピュータインタラクションインターフェースなどにも出力されてよい。
可能な実装において、上記の静的環境情報は、さらに、地上の物体を含んでよく、上記の残りの部分の未完成の移動ターゲットは、残りの部分の未完成の移動ターゲットと、地上の物体との間の関係を決定し、残りの部分の未完成の移動ターゲットが地上の物体であるかどうかを決定することを含む、さらなる処理に利用されてよい。
未決定データが利用されるため、静的特徴データであるべきデータが未決定データ内に存在しそうである。しかし、データは識別されないため、データは、未決定データとして、動的ターゲット構築モジュール２０５に入る。従って、モジュール２０５が動的ターゲット構築を実行するプロセスにおいて、いくつかの可能な移動ターゲットが実際に静的障害物であることが見つかることがある。このことは、この実装が実行される必要がある理由であり、具体的な方法は以下のようになる。
（ｘk，ｙk）がターゲットｋの位置であり、ｘ＝ｆ（ｙ）｜ｙ∈［ｙ1，ｙ2］が地上の物体のモデルであると仮定する。ｙ1＜ｙk＜ｙ2∧｜ｆ（ｙk）－ｘk｜＜δ（δは、通常、５ｍである車両長になる）の場合、ターゲットが地上の物体であるとみなされ、ターゲットは、地上の物体としてマーク付けされる。このケースにおいて、残りの未完成のターゲットは、実在の移動ターゲットとみなされ、残りの未完成のターゲットの関連情報は、モデル２０５によって、移動ターゲット情報として出力される。
図９に示すように、黒色の点は、センサによって検出され、かつ道路端の外側にある誤ったアラームを表し、矢印は、検出された誤ったアラームターゲットの速度である。誤ったアラームが取り除かれない場合、自動運転システムは、自車両の向かってターゲットが移動しており、それが自車両に危険を引き起こし、ブレーキング又は回避などの行動をトリガするものであるとみなす。しかし、ステップＳ２０５２における方法によれば、誤ったアラームは、取り除かれうる。従って、自動運転車両の安全が保証される。
ステップＳ２０５３における動的ターゲットのトラッキングは、決定された移動ターゲットを連続的に追跡するために、閾値相関とカルマンフィルタとに基づいて、既存のマルチターゲットトラッキング方法を通じて実装されうる。移動ターゲットが、もはや第１の事前設定された時間期間又は第１の事前設定されたフレーム内に関連付けられていない場合、移動物体は保留にされる。移動ターゲットが、まだ第２の事前設定された時間期間又は第２の事前設定されたフレーム内に関連付けられていない場合、移動オブジェクトは削除される。移動ターゲットが、第３の事前設定された時間期間又は第３の事前設定されたフレーム内に再び関連付けられる場合、移動ターゲットは復帰させられる。第１の事前設定された時間期間、第２の事前設定された時間期間、及び第３の事前設定された時間期間の値は、実験に基づいて設定されうる。３つの事前設定された値の間の関係は限定されない。例えば、３つの事前設定された時間期間は、同じ又は互いに異なってよい。同じ法則が、第１の事前設定されたフレーム、第２の事前設定されたフレーム、及び第３の事前設定されたフレームに適用される。詳細は再び説明されない。ここで説明される関連付けは、この出願の上記の実施形態のステップＳ２０１２において述べた過去の動的ターゲットを関連付けるための方法と同じであってよく、ここで詳細は再び説明されない。
図１０は、この出願の実施形態によるマルチセンサデータ融合知覚装置１０００のハードウェア構造の模式図である。
図１０に示したマルチセンサデータ融合知覚装置１０００は、メモリと、プロセッサと、通信インターフェースと、バスとを含む。メモリと、プロセッサと、通信インターフェースとの間の通信接続は、バスを通じて実装される。
マルチセンサデータ融合知覚装置１０００は、具体的には、コンピュータデバイスであってよい。
マルチセンサデータ融合知覚装置１０００は、マルチセンサデータ融合知覚装置２００内の各モジュールの機能を実行するように構成されてよい。
マルチセンサデータ融合知覚装置１０００において、メモリは、読み取り専用メモリ（Read Only Memory, ROM）、静的ストレージデバイス、動的ストレージデバイス、又はランダムアクセスメモリ（Random Access Memory, RAM）であってよい。メモリは、プログラムを格納しうる。メモリに格納されたプログラムがプロセッサによって実行されるとき、プロセッサ及び通信インターフェースは、この出願の実施形態におけるマルチセンサデータ融合知覚方法のステップを実行するように構成される。
プロセッサは、汎用中央処理ユニット（Central Processing Unit, CPU）、マイクロプロセッサ、特定用途向け集積回路（Application Specific Integrated Circuit, ASIC）、グラフィックス処理ユニット（graphics processing unit, GPU）、又は１つ又は複数の集積回路であってよい。代替的に、プロセッサは、中央処理ユニットと、ニューラルネットワーク処理を実行するように構成されうるプロセッサ（以下では、ニューラルネットワーク処理ユニットと称する）とを両方含んでよい。言い換えると、プロセッサの機能は、中央処理ユニットと、ニューラルネットワーク処理ユニットとを組み合わせることによって共同で実行されてよい。プロセッサは、関連プログラムを実行して、この出願の実施形態におけるマルチセンサデータ融合知覚装置内の各モジュールによって実行される必要がある機能を実装する、又は、この出願の方法実施形態におけるマルチセンサデータ融合知覚方法を実行するように構成される。
プロセッサは、集積回路チップであってもよく、信号処理能力を有する。実装プロセスにおいて、この出願における行動認識方法のステップは、プロセッサ内のハードウェアの集積論理回路、又はソフトウェアの形式での命令を通じて実装されてよい。プロセッサは、汎用プロセッサ、デジタル信号プロセッサ（Digital Signal Processing, DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array, FPGA）又は他のプログラム可能な論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、又はディスクリートハードウェア要素であってよい。プロセッサは、この出願の実施形態において開示されている、方法、ステップ、及び、論理ブロック図を実装又は実行してよい。汎用プロセッサは、マイクロプロセッサ又は任意の通常プロセッサなどであってよい。この出願の実施形態に関連して開示された方法のステップは、直接、ハードウェアデコーディングプロセッサによって実行又は実現されてよく、又は、デコーディングプロセッサ内のハードウェア及びソフトウェアモジュールの組み合わせによって実行又は実現されてよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、電気的に消去可能なプログラム可能メモリ、又はレジスタなどの当該分野において成熟した記録媒体に置かれてよい。記録媒体は、メモリ内に置かれる。プロセッサは、メモリ内の情報を読み出し、プロセッサのハードウェアと組み合わせて、この出願の実施形態におけるマルチセンサデータ融合知覚装置に含まれるモジュールによって実行される必要がある機能を完成させる、又は、この出願の方法実施形態におけるマルチセンサデータ融合知覚方法を実行する。
通信インターフェースは、トランシーバ装置、例えば、限定せずに、トランシーバを利用し、装置１０００と、他のデバイス又は通信ネットワークとの間の通信を実施する。例えば、複数のセンサによって収集されたデータは、通信インターフェースを通じて取得されうる。
バスは、装置１０００のコンポーネント（例えば、メモリ、プロセッサ、及び通信インターフェース）の間で情報を送信するための経路を含む。
メモリ、プロセッサ、及び通信インターフェースだけが図１０に示した装置１０００内に示されているけれども、具体的な実装プロセスにおいて、当業者は、装置１０００が、さらに、通常の処理を実装するために必要な他のコンポーネントを含むことを理解すべきであることに注意されるべきである。加えて、具体的な要求に基づいて、当業者は、装置１０００が、さらに、他の追加的な機能を実装するためのハードウェアコンポーネントを含んでよいことを理解すべきである。加えて、当業者は、装置１０００は、代替的に、この出願の実施形態を実装するために要求されるデバイスのみを含むが、図１０に示された全てのデバイスを必ずしも含まなくてよいことを理解すべきである。
当業者は、この明細書で開示された実施形態内で説明されている例と組み合わせて、モジュール及び方法ステップは、電子ハードウェア、又は、コンピュータソフトウェアと電子ハードウェアとの組み合わせによって実装されうることを知りうる。機能がハードウェア又はソフトウェアのいずれによって実行されるかは、特別なアプリケーション及び技術的解決策の設計制約条件に依存する。当業者は、各特別なアプリケーションのための説明された機能を実装するために異なる方法を利用しうるが、実装は、この出願の範囲を超えるとみなされるべきではない。
便利で簡単な説明の目的のために、上記のシステム、装置、及びモジュールの詳細な動作プロセスについて、上記の方法実施形態における対応するプロセスを参照されたく、そして、ここでは詳細について再び説明されない、ということは当業者によって明確に理解されうる。
この出願で提供される様々な実施形態において、開示されたシステム、装置、及び方法は、他の方式で実装されうることが理解されるべきである。例えば、説明された装置実施形態は単なる例である。例えば、モジュール分割は、単なる論理的な機能分割であり、実際の実装において他の分割であってよい。例えば、複数のモジュール又はコンポーネントは、他のシステムに結合又は統合されてよく、又はいくつかの特徴は、無視され、又は実行されなくてよい。加えて、表示され又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェースを通じて実装されてよい。装置又はモジュールの間の間接結合又は通信接続は、電気的、機械的、又は他の形式で実装されてよい。
別個のパーツとして説明されたモジュールは、物理的に分かれていてもいなくてもよく、モジュールとして表示されたパーツは、物理的なユニットであってもなくてもよく、１つの位置に置かれてよく、又は複数のネットワークユニット上に分散されてよい。いくつか又は全てのモジュールは、実施形態の解決策の目的を達成するための実際のニーズに基づいて選択されうる。
加えて、この出願の機能モジュールは、１つの処理モジュールに統合されてよく、又は、モジュールのそれぞれは、物理的に単独で存在してよく、又は、２つ以上のモジュールが１つのモジュールに統合される。
機能が、ソフトウェア機能ユニットの形式で実装され、独立の製品として販売又は利用されるとき、機能は、コンピュータ可読記録媒体に格納されうる。そのような理解に基づき、この出願の本質的な技術的解決策、又は、先行技術に寄与する部分、又は、いくつかの技術的解決策は、ソフトウェア製品の形式で実装されうる。ソフトウェア製品は、記録媒体に格納され、（パーソナルコンピュータ、サーバ、又はネットワークデバイスであってよい）コンピュータデバイスに、この出願の実施形態で説明された方法の全て又はいくつかのステップを実行するように命令するための様々な命令を含む。上記の記録媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（Read-Only Memory, ROM）、ランダムアクセスメモリ（Random Access Memory, RAM）、磁気ディスク、又は光ディスクなどの、プログラムコードを格納することができる任意の媒体を含む。
上記の説明は、単に、この出願の特定の実装であるが、この出願の保護範囲を限定することを意図するものではない。この出願において開示された技術的範囲内で当業者によって直ちに見つけられる任意の変形又は置換は、この出願の保護範囲に収まるものとする。従って、この出願の保護範囲は、特許請求の範囲の保護範囲の対象になるものとする。

Claims (24)

  1. 複数のタイプのセンサから特徴データを受信するステップと、
    前記特徴データ上でのデータ分類を実行して、静的特徴データと動的特徴データとを取得するステップと、
    前記動的特徴データに基づいて、参照動的ターゲット情報を取得するステップと、
    前記静的特徴データと前記参照動的ターゲット情報とに基づいて、現在の静的環境情報を構築するステップと、
    前記静的特徴データに基づいて、参照静的環境情報を取得するステップと、
    前記動的特徴データと前記参照静的環境情報とに基づいて、現在の動的ターゲット情報を構築するステップと、
    前記現在の静的環境情報と前記現在の動的ターゲット情報とを出力するステップと、
    を含む、マルチセンサデータ融合知覚方法。
  2. 前記参照動的ターゲット情報は、過去の静的環境情報にさらに基づいて取得される、
    請求項１に記載の方法。
  3. 前記参照静的環境情報は、過去の動的ターゲット情報にさらに基づいて取得される、
    請求項１に記載の方法。
  4. 前記特徴データは、ミリ波レーダ検出データと非ミリ波レーダ検出データとを含み、前記特徴データ上でのデータ分類を実行することは、
    前記ミリ波レーダ検出データ上での前記データ分類を実行して、ミリ波レーダ動的検出データと、ミリ波レーダ静的検出データとを取得することと、
    前記ミリ波レーダ動的検出データと、前記ミリ波レーダ静的検出データとに基づいて、前記非ミリ波レーダ検出データ上での前記データ分類を実行して、動的非ミリ波特徴データと、静的非ミリ波特徴データとを取得することと、
    を含み、
    前記動的特徴データは、前記ミリ波レーダ動的検出データと、前記動的非ミリ波特徴データとを含み、前記静的特徴データは、前記ミリ波レーダ静的検出データと、前記静的非ミリ波特徴データとを含む、
    請求項１～３のいずれか１項に記載の方法。
  5. 前記複数のタイプのセンサは、移動キャリア上に載置され、かつ、前記移動キャリアが位置する環境のステータスを観測するように構成され、前記現在の静的環境情報と前記現在の動的ターゲット情報とは、前記環境のステータスを示し、
    前記参照動的ターゲット情報は、他の移動キャリアの移動軌跡を含み、前記他の移動キャリアは、前記移動キャリアが位置する前記環境内にあり、前記現在の静的環境情報は、前記環境の現在の静的ラスタマップを含み、
    前記静的特徴データと前記参照動的ターゲット情報とに基づいて、現在の静的環境情報を構築する前記ステップは、
    前記静的特徴データ上での座標系統一を実行して、同じ座標系における静的特徴データを取得することと、
    前記同じ座標系における前記静的特徴データと、前記他の移動キャリアの移動軌跡とに基づいて、過去の静的ラスタマップ上でのローカル更新を実行して、前記現在の静的ラスタマップを取得することであって、
    前記ローカル更新は、前記過去の静的ラスタマップ上でのターゲットラスタの値を更新することであって、前記ターゲットラスタは、前記他の移動キャリアによってカバーされるラスタであり、静的ラスタマップは、環境内の静的障害物分布を記述するために利用されるデータフォーマットである、ことを含む、ことと、
    を含む、請求項１～４のいずれか１項に記載の方法。
  6. 前記複数のタイプのセンサは、前記移動キャリアの移動ステータスを観測するようにさらに構成され、前記移動キャリアの前記移動ステータスは、前記移動キャリアの移動速度を含み、
    前記静的特徴データと前記参照動的ターゲット情報とに基づいて、現在の静的環境情報を構築する前記ステップの前に、前記方法は、
    前記移動キャリアの前記移動速度に基づいて、前記移動キャリアが位置する前記環境の過去の静的ラスタマップ上の各ラスタの値に関するグローバル更新を実行して、更新された過去の静的ラスタマップを取得することであって、前記過去の静的ラスタマップは、現時点の前の時点での静的ラスタマップを含み、前記前の時点が開始時点であるとき、前記過去の静的ラスタマップは、初期静的ラスタマップであり、前記初期静的ラスタマップ上の各ラスタの値は、事前設定された値である、こと、
    をさらに含み、
    前記同じ座標系における前記静的特徴データと、他の移動キャリアの移動軌跡とに基づいて、過去の静的ラスタマップ上でのローカル更新を実行して、前記現在の静的ラスタマップを取得することは、
    前記同じ座標系における前記静的特徴データと、前記他の移動キャリアの前記移動軌跡とに基づいて、前記更新された過去の静的ラスタマップ上での前記ローカル更新を実行して、前記現在の静的ラスタマップを取得すること、
    を含む、
    請求項５に記載の方法。
  7. 前記複数のタイプのセンサは、移動キャリア上に載置され、かつ前記移動キャリアが位置する環境のステータスを観測するように構成され、前記現在の静的環境情報と前記現在の動的ターゲット情報とは、前記環境のステータスを示し、
    前記参照動的ターゲット情報は、他の移動キャリアの移動軌跡を含み、前記他の移動キャリアは、前記移動キャリアが位置する前記環境内にあり、
    前記現在の静的環境情報は、前記移動キャリアが位置する前記環境内の道路構造情報をさらに含み、
    前記静的特徴データと、前記参照動的ターゲット情報とに基づいて、現在の静的環境情報を構築する前記ステップは、
    前記静的特徴データと、前記他の移動キャリアの前記移動軌跡とに基づいて、前記道路構造情報を構築すること、をさらに含む、
    請求項１～４のいずれか１項に記載の方法。
  8. 前記参照静的環境情報は、前記道路構造情報を含み、前記動的特徴データと前記参照静的環境情報とに基づいて前記現在の動的ターゲット情報を構築する前記ステップは、
    前記動的特徴データと前記道路構造情報とに基づいて、前記現在の動的ターゲット情報を構築するステップを含む、
    請求項７に記載の方法。
  9. 前記道路構造情報は、道路端を含み、前記動的特徴データと前記参照静的環境情報とに基づいて現在の動的ターゲット情報を構築する前記ステップは、
    前記動的特徴データをクラスタリングして、１つ又は複数のクラスタリング中心を取得することであって、各クラスタリング中心は、可能な動的ターゲットを表すために利用される、ことと、
    前記道路構造情報に基づいて、前記１つ又は複数のクラスタリング中心のうちの無効なクラスタリング中心を除外することであって、前記道路端の外側に位置するクラスタリング中心、又は前記道路端に重なるクラスタリング中心は、無効なクラスタリング中心である、ことと、
    を含む、
    請求項８に記載の方法。
  10. 前記特徴データを過去の動的ターゲットに関連付けて、動的関連データを取得することであって、前記過去の動的ターゲットは、現時点の前の時点で移動キャリアが位置する環境内の動的ターゲットであり、前記複数のタイプのセンサは、前記移動キャリア上に載置され、かつ前記移動キャリアが位置する前記環境のステータスを観測するように構成されている、ことと、
    前記特徴データ内にあり、かつ前記過去の動的ターゲットが位置する場所に置かれるデータを、前記動的関連データとして決定することと、
    前記動的関連データを、前記動的特徴データとして決定することと、
    をさらに含み、
    前記特徴データ上でのデータ分類を実行することは、前記動的関連データが取り除かれた後で得られる特徴データ上での前記データ分類を実行すること、を含む、
    請求項１～９のいずれか１項に記載の方法。
  11. 受信モジュールと、データ前処理モジュールと、静的環境構築モジュールと、動的ターゲット構築モジュールとを含み、
    前記受信モジュールは、複数のタイプのセンサから特徴データを受信するように構成され、
    前記データ前処理モジュールは、前記特徴データ上でのデータ分類を実行して、静的特徴データと動的特徴データとを取得するように構成され、
    前記静的環境構築モジュールは、前記動的特徴データに基づいて、参照動的ターゲット情報を取得し、前記静的特徴データと前記参照動的ターゲット情報とに基づいて現在の静的環境情報を構築するように構成され、
    前記動的ターゲット構築モジュールは、前記静的特徴データに基づいて、参照静的環境情報を取得し、前記動的特徴データと前記参照静的環境情報とに基づいて現在の動的ターゲット情報を構築するように構成され、
    出力モジュールは、前記現在の静的環境情報と、前記現在の動的ターゲット情報とを出力するように構成される、
    マルチセンサデータ融合知覚装置。
  12. 前記参照動的ターゲット情報は、過去の静的環境情報にさらに基づいて取得される、
    請求項１１に記載の装置。
  13. 前記参照静的環境情報は、過去の動的ターゲット情報にさらに基づいて取得される、
    請求項１１又は１２に記載の装置。
  14. 前記特徴データは、ミリ波レーダ検出データと、非ミリ波レーダ検出データとを含み、前記データ前処理モジュールは、
    前記ミリ波レーダ検出データ上での前記データ分類を実行して、ミリ波レーダ動的検出データと、ミリ波レーダ静的検出データとを取得し、
    前記ミリ波レーダ動的検出データと、前記ミリ波レーダ静的検出データとに基づいて、前記非ミリ波レーダ検出データ上での前記データ分類を実行して、動的非ミリ波特徴データと、静的非ミリ波特徴データとを取得する
    ように構成され、
    前記動的特徴データは、前記ミリ波レーダ動的検出データと、前記動的非ミリ波特徴データとを含み、前記静的特徴データは、前記ミリ波レーダ静的検出データと、前記静的非ミリ波特徴データとを含む、
    請求項１１～１３のいずれか１項に記載の装置。
  15. 前記複数のタイプのセンサは、移動キャリア上に載置され、かつ前記移動キャリアが位置する環境のステータスを観測するように構成され、前記現在の静的環境情報と前記現在の動的ターゲット情報は、前記環境のステータスを示し、
    前記参照動的ターゲット情報は、他の移動キャリアの移動軌跡を含み、前記他の移動キャリアは、前記移動キャリアが位置する前記環境内にあり、前記現在の静的環境情報は、前記環境の現在の静的ラスタマップを含み、
    前記静的環境構築モジュールは、
    前記静的特徴データ上での座標系統一を実行して、同じ座標系における静的特徴データを取得し、
    前記同じ座標系における前記静的特徴データと、前記他の移動キャリアの移動軌跡とに基づいて、過去の静的ラスタマップ上でのローカル更新を実行して、前記現在の静的ラスタマップを取得する、
    ように構成され、前記ローカル更新は、
    前記過去の静的ラスタマップ上のターゲットラスタの値を更新することであって、前記ターゲットラスタは、前記他の移動キャリアによってカバーされるラスタであり、静的ラスタマップは、環境内の静的障害物分布を記述するために利用されるデータフォーマットである、ことを含む、
    請求項１１～１４のいずれか１項に記載の装置。
  16. 前記複数のタイプのセンサは、前記移動キャリアの移動ステータスを観測するようにさらに構成され、前記移動キャリアの前記移動ステータスは、前記移動キャリアの移動速度を含み、
    前記静的環境構築モジュールは、
    前記移動キャリアの前記移動速度に基づいて、前記移動キャリアが位置する前記環境の過去の静的ラスタマップ上の各ラスタの値をグローバル更新を実行して、更新された過去の静的ラスタマップを取得することであって、前記過去の静的ラスタマップは、現時点の前の時点での静的ラスタマップを含み、前記前の時点が開始時点であるとき、前記過去の静的ラスタマップは、初期静的ラスタマップであり、前記初期静的ラスタマップ上の各ラスタの値は、事前設定された値である、ことを行うようにさらに構成され、
    前記同じ座標系における前記静的特徴データと、他の移動キャリアの移動軌跡とに基づいて、過去の静的ラスタマップ上でのローカル更新を実行して、前記現在の静的ラスタマップを取得することは、
    前記同じ座標系における前記静的特徴データと、前記他の移動キャリアの前記移動軌跡とに基づいて、前記更新された過去の静的ラスタマップ上での前記ローカル更新を実行して、前記現在の静的ラスタマップを取得すること、を含む、
    請求項１５に記載の装置。
  17. 前記複数のタイプのセンサは、移動キャリア上に載置され、かつ前記移動キャリアが位置する環境のステータスを観測するように構成され、前記現在の静的環境情報と前記現在の動的ターゲット情報とは、前記環境のステータスを示し、
    前記参照動的ターゲット情報は、他の移動キャリアの移動軌跡を含み、前記他の移動キャリアは、前記移動キャリアが位置する前記環境内にあり、
    前記現在の静的環境情報は、前記移動キャリアが位置する前記環境内の道路構造情報をさらに含み、
    前記静的環境構築モジュールは、
    前記静的特徴データと、前記他の移動キャリアの前記移動軌跡とに基づいて、前記道路構造情報を構築するようにさらに構成される、
    請求項１１～１４のいずれか１項に記載の装置。
  18. 前記参照静的環境情報は、前記道路構造情報を含み、前記動的ターゲット構築モジュールは、
    前記動的特徴データと、前記道路構造情報とに基づいて、前記現在の動的ターゲット情報を構築するように構成される、
    請求項１７に記載の装置。
  19. 前記道路構造情報は、道路端を含み、前記動的ターゲット構築モジュールは、
    前記動的特徴データをクラスタリングして、１つ又は複数のクラスタリング中心を取得することであって、各クラスタリング中心は、可能な動的ターゲットを表すために利用される、ことを行い、
    前記道路構造情報に基づいて、前記１つ又は複数のクラスタリング中心のうちの無効なクラスタリング中心を除外することであって、前記道路端の外側に位置するクラスタリング中心、又は前記道路端に重なるクラスタリング中心は、前記無効なクラスタリング中心である、ことを行う
    ように特に構成されている、
    請求項１８に記載の装置。
  20. 前記特徴データ上での前記データ分類を実行する前に、前記データ前処理モジュールは、
    前記特徴データを過去の動的ターゲットに関連付けて、動的関連データを取得することであって、前記過去の動的ターゲットは、現時点の前の時点で移動キャリアが位置する環境内の動的ターゲットであり、前記複数のタイプのセンサは、前記移動キャリア上に載置され、かつ前記移動キャリアが位置する前記環境のステータスを観測するように構成されている、ことを行い、
    前記特徴データ内にあり、かつ前記過去の動的ターゲットが位置する場所に置かれるデータを、前記動的関連データとして決定し、
    前記動的関連データを、前記動的特徴データとして決定する、
    ようにさらに構成され、
    前記特徴データ上でのデータ分類を実行することは、前記動的関連データが取り除かれた後に得られる特徴データ上での前記データ分類を実行することを含む、
    請求項１１～１９のいずれか１項に記載の装置。
  21. マルチセンサデータ融合知覚装置であって、
    プログラムを格納するように構成されたメモリと、
    前記メモリに格納された前記プログラムを実行するように構成されたプロセッサと、
    を含み、前記メモリに格納された前記プログラムを実行するとき、前記プロセッサは、請求項１～１０のいずれか１項に記載の前記方法を実行するように構成される、
    マルチセンサデータ融合知覚装置。
  22. メモリと、通信バスと、プロセッサとを含むモバイル端末であって、前記メモリは、プログラムコードを格納するように構成され、前記プロセッサは、前記プログラムコードを呼び出して、請求項１～１０のいずれか１項に記載の前記方法を実行するように構成される、
    モバイル端末。
  23. コンピュータ可読記録媒体であって、前記コンピュータ可読記録媒体は、命令を格納し、前記命令がコンピュータ上で実行されるとき、前記コンピュータは、請求項１～１０のいずれか１項に記載の前記方法を実行することが可能になる、コンピュータ可読記録媒体。
  24. チップであって、前記チップは、プロセッサと、データインターフェースとを含み、前記プロセッサは、前記データインターフェースを通じて、メモリに格納された命令を読み出すことによって、請求項１～１０のいずれか１項に記載の前記方法を実行するように構成される、チップ。
JP2021536829A 2018-12-29 2019-12-28 マルチセンサデータ融合方法、及び装置 Active JP7140922B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811641186.3 2018-12-29
CN201811641186.3A CN111382768B (zh) 2018-12-29 2018-12-29 多传感器数据融合方法和装置
PCT/CN2019/129629 WO2020135810A1 (zh) 2018-12-29 2019-12-28 多传感器数据融合方法和装置

Publications (2)

Publication Number Publication Date
JP2022514975A JP2022514975A (ja) 2022-02-16
JP7140922B2 true JP7140922B2 (ja) 2022-09-21

Family

ID=71129136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021536829A Active JP7140922B2 (ja) 2018-12-29 2019-12-28 マルチセンサデータ融合方法、及び装置

Country Status (5)

Country Link
US (2) US11353553B2 (ja)
EP (1) EP3879455A4 (ja)
JP (1) JP7140922B2 (ja)
CN (1) CN111382768B (ja)
WO (1) WO2020135810A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111856507B (zh) * 2020-07-28 2023-03-28 上海木木聚枞机器人科技有限公司 一种环境感测实现方法、智能移动设备和存储介质
CN112148769A (zh) * 2020-09-15 2020-12-29 浙江大华技术股份有限公司 数据的同步方法、装置、存储介质以及电子装置
CN112528763A (zh) * 2020-11-24 2021-03-19 浙江大华汽车技术有限公司 一种目标检测方法、电子设备和计算机存储介质
CN112572471B (zh) * 2020-12-08 2022-11-04 西人马帝言(北京)科技有限公司 自动驾驶方法、装置、电子设备及计算机存储介质
CN114639262B (zh) * 2020-12-15 2024-02-06 北京万集科技股份有限公司 感知设备的状态检测方法、装置、计算机设备和存储介质
CN112505671B (zh) * 2021-02-07 2021-05-25 北方工业大学 Gnss信号缺失环境下毫米波雷达目标定位方法及装置
CN113012429B (zh) * 2021-02-23 2022-07-15 云控智行(上海)汽车科技有限公司 一种车路多传感器数据融合方法及系统
CN113051500B (zh) * 2021-03-25 2022-08-16 武汉大学 一种融合多源数据的钓鱼网站识别方法及系统
CN113223090A (zh) * 2021-04-16 2021-08-06 天津开发区文博电子有限公司 铁路调车动态视觉监控方法
CN113267779A (zh) * 2021-05-17 2021-08-17 南京师范大学 一种基于雷达与图像数据融合的目标检测方法及系统
CN113359117A (zh) * 2021-06-29 2021-09-07 上海智能网联汽车技术中心有限公司 一种静态标定系统及方法
CN113535877B (zh) * 2021-07-16 2023-05-30 上海高仙自动化科技发展有限公司 智能机器人地图的更新方法、装置、设备、介质及芯片
CN113688880A (zh) * 2021-08-02 2021-11-23 南京理工大学 一种基于云计算的障碍地图的创建方法
CN113589254A (zh) * 2021-08-23 2021-11-02 东莞正扬电子机械有限公司 基于雷达的移动目标检测方法、装置及雷达检测设备
CN113740843A (zh) * 2021-09-07 2021-12-03 中国兵器装备集团自动化研究所有限公司 一种跟踪目标的运动状态估计方法、系统及电子装置
CN113777601A (zh) * 2021-09-14 2021-12-10 无锡威孚高科技集团股份有限公司 一种基于特征的目标跟踪优化方法、装置和存储介质
CN113879333B (zh) * 2021-09-30 2023-08-22 深圳市商汤科技有限公司 轨迹预测方法、装置、电子设备及存储介质
CN114608589A (zh) * 2022-03-04 2022-06-10 西安邮电大学 一种多传感器信息融合方法及系统
CN114970630B (zh) * 2022-06-01 2024-04-19 中国人民解放军63796部队 一种时序数据多尺度分段的模型训练方法
CN115079168B (zh) * 2022-07-19 2022-11-22 陕西欧卡电子智能科技有限公司 基于激光雷达与毫米波雷达融合的建图方法、装置及设备
CN116106853B (zh) * 2023-04-12 2023-09-01 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN117372987B (zh) * 2023-12-08 2024-01-30 山东高速工程检测有限公司 道路三维数据处理方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016527578A (ja) 2014-03-27 2016-09-08 ▲ホア▼▲ウェイ▼技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． アプリケーションシナリオの識別方法、電力消費の管理方法、装置、および端末デバイス
US20180082430A1 (en) 2016-09-21 2018-03-22 Verizon Patent And Licensing Inc. Feature tracking and dynamic feature addition in an augmented reality environment
US20180107214A1 (en) 2016-10-17 2018-04-19 Steering Solutions Ip Holding Corporation Sensor fusion for autonomous driving transition control
US20180239991A1 (en) 2015-05-15 2018-08-23 Airfusion, Inc. Portable apparatus and method for decision support for real time automated multisensor data fusion and analysis

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003090877A (ja) * 2001-07-12 2003-03-28 Murata Mfg Co Ltd レーダ装置
EP1772746B1 (en) * 2005-10-07 2015-03-04 Saab Ab Method and arrangement for data fusion
CN101413806B (zh) 2008-11-07 2011-05-25 湖南大学 一种实时数据融合的移动机器人栅格地图创建方法
DE102010006828B4 (de) * 2010-02-03 2021-07-08 Volkswagen Ag Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
CN102323854B (zh) * 2011-03-11 2013-10-16 中国科学院研究生院 人体运动捕获装置
CN202216696U (zh) * 2011-07-07 2012-05-09 中国矿业大学(北京) 基于信息融合的煤矿救灾机器人导航装置
CN102564431B (zh) 2011-11-14 2014-11-12 南京理工大学 基于多传感器融合的非结构化环境理解方法
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
CN105445728B (zh) * 2014-08-27 2018-05-11 启碁科技股份有限公司 预警方法及车用雷达系统
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
CN105389984A (zh) * 2015-11-16 2016-03-09 北京智视信息科技有限公司 一种基于移动终端传感信息融合的驾驶行为识别方法
US10565468B2 (en) 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
US10317519B2 (en) * 2016-04-15 2019-06-11 Huawei Technologies Co., Ltd. Systems and methods for environment sensing using radar
CN106291736A (zh) * 2016-08-16 2017-01-04 张家港长安大学汽车工程研究院 无人驾驶汽车车道动态障碍物检测方法
EP3519770B1 (en) * 2016-09-28 2021-05-05 TomTom Global Content B.V. Methods and systems for generating and using localisation reference data
US10127814B2 (en) * 2017-02-03 2018-11-13 Ford Global Technologies, Llc Advanced V2X event dissemination
CN106908783B (zh) 2017-02-23 2019-10-01 苏州大学 基于多传感器信息融合的障碍物检测方法
US10109198B2 (en) * 2017-03-08 2018-10-23 GM Global Technology Operations LLC Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
CN106951879B (zh) 2017-03-29 2020-04-14 重庆大学 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN107202983B (zh) 2017-05-19 2020-11-13 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统
US20180307245A1 (en) * 2017-05-31 2018-10-25 Muhammad Zain Khawaja Autonomous Vehicle Corridor
US20190016331A1 (en) * 2017-07-14 2019-01-17 Nio Usa, Inc. Programming complex parking maneuvers for driverless vehicles
CN108090515B (zh) * 2017-12-27 2020-04-21 南京邮电大学 一种基于数据融合的环境等级评估方法
CN108226924B (zh) * 2018-01-11 2020-11-10 南京楚航科技有限公司 基于毫米波雷达的汽车行驶环境探测方法、装置及其应用
CN108711163A (zh) * 2018-02-24 2018-10-26 中国人民解放军火箭军工程大学 一种基于多传感器的机器人未知环境目标跟踪方法
US10404261B1 (en) * 2018-06-01 2019-09-03 Yekutiel Josefsberg Radar target detection system for autonomous vehicles with ultra low phase noise frequency synthesizer
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016527578A (ja) 2014-03-27 2016-09-08 ▲ホア▼▲ウェイ▼技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． アプリケーションシナリオの識別方法、電力消費の管理方法、装置、および端末デバイス
US20180239991A1 (en) 2015-05-15 2018-08-23 Airfusion, Inc. Portable apparatus and method for decision support for real time automated multisensor data fusion and analysis
US20180082430A1 (en) 2016-09-21 2018-03-22 Verizon Patent And Licensing Inc. Feature tracking and dynamic feature addition in an augmented reality environment
US20180107214A1 (en) 2016-10-17 2018-04-19 Steering Solutions Ip Holding Corporation Sensor fusion for autonomous driving transition control

Also Published As

Publication number Publication date
CN111382768B (zh) 2023-11-14
CN111382768A (zh) 2020-07-07
US11353553B2 (en) 2022-06-07
EP3879455A1 (en) 2021-09-15
EP3879455A4 (en) 2022-01-12
WO2020135810A1 (zh) 2020-07-02
JP2022514975A (ja) 2022-02-16
US20210311167A1 (en) 2021-10-07
US20220326350A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
JP7140922B2 (ja) マルチセンサデータ融合方法、及び装置
CN111670468B (zh) 移动体行为预测装置以及移动体行为预测方法
Yoo et al. A robust lane detection method based on vanishing point estimation using the relevance of line segments
Darms et al. Obstacle detection and tracking for the urban challenge
Mertz et al. Moving object detection with laser scanners
US9127956B2 (en) Technique for lane assignment in a vehicle
JP6800575B2 (ja) 自己の乗り物のドライバを支援する方法およびシステム
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
US11308717B2 (en) Object detection device and object detection method
US11782158B2 (en) Multi-stage object heading estimation
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
Kim et al. Probabilistic threat assessment with environment description and rule-based multi-traffic prediction for integrated risk management system
WO2023092451A1 (zh) 预测可行驶车道的方法和装置
Zhang et al. A framework for turning behavior classification at intersections using 3D LIDAR
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
Kuhnt et al. Lane-precise localization of intelligent vehicles using the surrounding object constellation
Michalke et al. Where can i drive? a system approach: Deep ego corridor estimation for robust automated driving
EP4239616A1 (en) Object tracking device and object tracking method
Seeger et al. Locally adaptive discounting in multi sensor occupancy grid fusion
US20230068848A1 (en) Systems and methods for vehicle camera obstruction detection
Li et al. Composition and application of current advanced driving assistance system: A review
Rezaei et al. Multisensor data fusion strategies for advanced driver assistance systems
EP4239574A1 (en) Object tracking device and object tracking method
Seeger Obstacle Fusion and Scene Interpretation for Autonomous Driving with Occupancy Grids
WO2022230738A1 (ja) 物体追跡装置及び物体追跡方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220908

R150 Certificate of patent or registration of utility model

Ref document number: 7140922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150