JP2023541967A - 自車両の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法 - Google Patents
自車両の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法 Download PDFInfo
- Publication number
- JP2023541967A JP2023541967A JP2023517795A JP2023517795A JP2023541967A JP 2023541967 A JP2023541967 A JP 2023541967A JP 2023517795 A JP2023517795 A JP 2023517795A JP 2023517795 A JP2023517795 A JP 2023517795A JP 2023541967 A JP2023541967 A JP 2023541967A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- server
- vehicles
- machine learning
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000007613 environmental effect Effects 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims abstract description 83
- 238000013480 data collection Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 241000721701 Lynx Species 0.000 description 1
- 238000005054 agglomeration Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
非常に強力であるが、機械学習モデルに関連する主な課題の1つは、それらの訓練である。訓練中、例のセットが機械学習モデルに提供され、それらが抽出しようとする特徴の特定の特殊性(テクスチャ、形状、色など)を自動的に学習することを可能にする。最も重要な態様は、機械学習モデルが特定の特徴(例えば、車両の形状及び車輪、歩行者のシルエットなど)に関して何が関連性があり弁別的であるかを真に「理解」するために、訓練中に変動性の高い十分な例を提供する必要があることである。十分に多様な例で訓練が適切に行われない場合、機械学習モデルは、提供された例に適合するが十分に一般化しない、物体及び現象の無関係な属性を抽出する。これはオーバーフィッティングと呼ばれ、この単一の最も重要な欠点であり、機械学習モデルの品質及び堅牢性に影響を及ぼす。
-トンネル、屋内駐車場などに見られるような困難な照明状況は、車線マーカ、交通標識、信号機などの検出及び分類を担当するカメラベースの機械学習モデルの精度を低下させる可能性がある。
-橋梁、ガードレール、及び他の金属構造は、交通参加者、及び静的環境要素を検出及び位置特定する際に、レーダベースの機械学習モデルの性能に悪影響を及ぼす可能性がある。
-更に、交差点及びラウンドアバウトなどの複雑なシナリオは、機械学習モデルにとって困難であることが判明する可能性がある。
現在、機械学習モデルの再訓練は、自車両のレベルで増分的に行われる。シナリオの修正は、そうするための処理能力を有するサーバからオペレータによって手動で実行され、次いで、正しいデータが自車両に送信され、自車両のそれぞれの機械学習モデルを再訓練するために使用される。
この手法の欠点は以下の通りである。
-単一の例を使用した再訓練後の自車両のそれぞれの機械学習モデルの改善は、限界がある、
-補正は手動で行われるため、追加の時間が必要であり、改善が遅い、
-場合によっては、サーバからのオペレータが補正を行うために利用可能な情報を有していない場合、オペレータは、追加コストを伴うそのような情報を見つけるために他のアクションを実行しなければならない。
方法は、
自車両のデータ収集及び処理ユニットによって実行されるデータ収集ステップI、すなわち
-環境特徴を参照する自車両の周囲からセンサデータを自車両のADASセンサによって取得することと、
-特定のシナリオ解釈を生成する機械学習モデルに基づいてセンサデータを解釈することと、
-特定のシナリオ解釈に従って、関連する命令を自車両の実行電子制御ユニットに送信することと、
-誤って解釈された特定のシナリオをもたらす、特定のシナリオ解釈が誤っている場合、実行電子制御ユニットからフィードバックを受信することと、
-誤った特定のシナリオ解釈に対応する取得されたセンサデータからカメラ画像を抽出することと、
-誤って解釈された特定のシナリオに対応するカメラ画像を符号化してハッシュ化し、自車両の画像ハッシュを取得することと、
-誤って解釈された特定のシナリオに対応する自車両の画像ハッシュを、取得されたセンサデータ、及び車両による特定の類似のシナリオを他車両によって識別するための要求と共に、サーバに送信することと、
サーバによって実行されるデータ処理ステップII、すなわち
-自車両による誤った特定のシナリオ解釈に対応する環境特徴の特定の組み合わせを識別することと、
-複数の他車両の各々がサーバに通信することを求めるサーバ要求、すなわち、
-自車両から受信したデータ画像ハッシュに従った車両による特定の類似のシナリオ、
-及び他車両の類似のシナリオにそれぞれ対応する前記他車両に関連付けられた取得されたセンサデータ、
と共に、自車両の画像ハッシュを複数の他車両にブロードキャストすることと、
他車両のそれぞれのデータ収集及び処理ユニットによって実行されるデータ処理ステップIII、すなわち
-サーバからブロードキャストされた自車両の画像ハッシュ及びサーバ要求を受信することと、
-他車両の各々のADASセンサによって、サーバ要求に従って他車両の各々の周囲からセンサデータを取得することと、
-取得されたセンサデータから他車両のカメラ画像を抽出、符号化、及びハッシュ化し、それぞれの他車両の画像ハッシュを取得することを含む、他車両によって取得されたセンサデータを処理することと、
-構造及び内容に関して、所与の閾値を超える類似度スコアによって、自車両から受信した画像ハッシュとそれぞれの他車両との間の類似度を比較することであって、高い類似度スコアが類似画像に対応することを意味する、ことと、
-類似度スコアに基づいて、
-取得されたセンサデータ及び類似度スコアが所与の閾値を超える画像ハッシュに対応する車両による特定の類似のシナリオを検索することと、
-サーバへ、
-自車両から受信したデータ画像ハッシュに従った車両による特定の類似のシナリオと、
-他車両の類似のシナリオに対応する他車両に関連する取得されたセンサデータと
を送信することと、
サーバによって実行されるデータ処理ステップIV、すなわち
-誤って解釈された特定のシナリオに対応する自車両のセンサデータを、
-類似のシナリオにそれぞれ関連付けられた他車両の取得されたセンサデータと
比較することと、
-自車両及び他車両から受信した取得されたセンサデータを集約し、集約されたセンサデータを機械学習モデルの増分再訓練に使用することと、
-増分的に再訓練されたモデルを自車両に送信することと、
を含む、連続適応型検出コンピュータ実装方法である。
-自車両と、
-サーバと、
-複数の他車両と、
サーバに、自車両及び他車両の各々を接続する電気通信ネットワークとを含み、
システムは、実施形態のいずれかの方法のステップを実行するように構成された手段を含む、データ処理システムが提供される。
-類似のシナリオに遭遇した複数の車両によって収集された画像のサブセットを含むセンサデータがあり、訓練データの変動性の程度がはるかに高くなるため、再訓練による自車両のそれぞれの機械学習モデルの改善の程度は、最新技術よりも高い。
-一方でデータ取得プロセスの自動化のため、及び時間の節約のために、改善の時間が大幅に短縮される。
-本発明の方法で説明したアクション以外に、モデルを再訓練するための情報を取得するための他のアクションを実行する必要がないため、財務資源が節約される。
-サーバの追加のコンピューティングリソースが効率的に割り当てられ、比較的少量の追加データを使用して機械学習モデルの精度が大幅に改善される。
-そのような方法は、有利には、車線、交通標識、信号機、道路標示などの交通参加者及び静的環境要素のための機械学習ベースの検出及び分類の継続的な改善を可能にする。
本発明の方法は、
-自車両V1と、
-サーバと、
-複数の他車両Viと、ここで、i=2,…n、
-自車両V1と他車両Viの各々とをサーバに接続する電気通信ネットワークと、
を備えるシステムにおいて実行される。
サーバは、物理的に近接して配置されるか、又は電気通信ネットワーク内で通信するかのいずれかである。単一部品のハードウェアサーバ又は複数部品のハードウェアサーバとすることができる。サーバの構成は従来技術によるものである。
-自車両V1から受信したデータ画像ハッシュに従った車両Viによる特定の類似のシナリオ、
-及び
-類似のシナリオで他車両Viに対応する他車両Viに関連する取得されたセンサデータ、
と共に、自車両V1から受信した画像ハッシュをブロードキャストする。
-自車両V1から受信したデータ画像ハッシュに従った車両Viによる特定の類似のシナリオ、
-類似のシナリオに対応する、他車両Viに関連する取得されたセンサデータ。
データ処理ステップIVは、サーバによって実行される。
このステップでは、サーバは以下を比較する。
-V1の誤って解釈されたシナリオに対応する自車両V1センサデータ、
と
-類似のシナリオに対応する他車両Viに関連する取得されたセンサデータ、
とを比較し、
類似度スコアの定義、及び他車両Viの機械学習モデルが同じであるという事実を考えると、前のステップにおける他車両Viの大多数による特定の類似のシナリオが同じであると予想することが合理的である。この例では、これは図2bに示す画像に対応する。
1.訓練段階:この段階では、一連の訓練画像から画像特徴が抽出される。次いで、視覚的に類似した画像特徴が一緒にグループ化され、視覚的単語と呼ばれる一般化された画像特徴のセットを表す、いわゆる視覚的語彙が得られる。特徴グループ化は、k平均及び凝集などのクラスタリング技術を使用して実行される。
2.ハッシュ化(インデックス付け)段階:これにより、画像のコンパクトな表現が可能になる。ここでは、画像から特徴を抽出する。次いで、特徴は、視覚的類似度基準を使用して、訓練段階中に生成された語彙内の単語に関連付けられる。結果は、画像ハッシュを表す、所与の画像に対する視覚的単語発生頻度のヒストグラムである。
3.視覚的類似度の計算:2つの画像間の視覚的類似度を計算するために、それらのハッシュのユークリッド距離又はコサイン類似度のいずれかが計算される。
-自車両V1と、
-サーバと、
-複数の他車両Viと、
-サーバに、自車両及び他車両の各々を接続する電気通信ネットワークとを含む、データ処理システムが提供され、
本発明のシステムは、方法を参照するセクションにおいて上記で開示されたように、実施形態のいずれかの方法のステップを実行するように構成された手段を備える。
Claims (9)
- 自車両V1の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法であって、前記自車両V1はサーバに接続され、前記サーバは複数の他車両Vi,i=2,…nに接続され、前記自車両V1、前記他車両Vi及び前記サーバには機械学習モデルが提供されており、
前記方法は、
前記自車両V1のデータ収集及び処理ユニットによって実行されるデータ収集ステップI、すなわち
-前記環境特徴を参照する前記自車両V1の周囲からセンサデータを前記自車両V1のADASセンサによって取得することと、
-特定のシナリオ解釈を生成する前記機械学習モデルに基づいて前記センサデータを解釈することと、
-前記特定のシナリオ解釈に従って、関連する命令を前記自車両V1の実行電子制御ユニットに送信することと、
-誤って解釈されたシナリオをもたらす、前記特定のシナリオ解釈が誤っている場合、前記実行電子制御ユニットからフィードバックを受信することと、
-前記誤った特定のシナリオ解釈に対応する前記取得されたセンサデータからカメラ画像を抽出することと、
-前記特定の誤って解釈されたシナリオに対応する前記カメラ画像を符号化してハッシュ化し、自車両V1の画像ハッシュを取得することと、
-前記特定の誤って解釈されたシナリオに対応する前記自車両V1の画像ハッシュを、前記取得されたセンサデータ、及び前記車両Viによる特定の類似のシナリオを前記他車両Viによって識別するための要求と共に、前記サーバに送信することと、
前記サーバによって実行されるデータ処理ステップII、すなわち
-前記自車両V1による前記誤った特定のシナリオ解釈に対応する前記環境特徴の特定の組み合わせを識別することと、
-前記複数の他車両Viの各々が前記サーバに通信することを求めるサーバ要求、すなわち、
-前記自車両V1から受信した前記データ画像ハッシュに従った前記車両Viによる特定の類似のシナリオ、
-及び類似のシナリオにおいて他車両Viにそれぞれ対応する前記他車両Viに関連付けられた取得されたセンサデータ、
と共に、前記自車両V1の画像ハッシュを前記複数の他車両Viにブロードキャストすることと、
前記他車両Viのそれぞれのデータ収集及び処理ユニットによって実行されるデータ処理ステップIII、すなわち
-前記サーバから前記ブロードキャストされた自車両V1の画像ハッシュ及び前記サーバ要求を受信することと、
前記他車両Viの各々のADASセンサによって、前記サーバ要求に従って前記他車両Viの各々の周囲からセンサデータを取得することと、
-前記取得されたセンサデータから他車両Viのカメラ画像を抽出、符号化、及びハッシュ化し、それぞれの他車両Viの画像ハッシュを取得することを含む、前記他車両Viによって前記取得されたセンサデータを処理することと、
-構造及び内容に関して、所与の閾値を超える類似度スコアによって、前記自車両V1から受信した前記画像ハッシュと前記それぞれの他車両Viとの間の類似度を比較することであって、高い類似度スコアが類似画像に対応することを意味する、ことと、
-前記類似度スコアに基づいて、
-前記取得されたセンサデータ及び前記類似度スコアが前記所与の閾値を超える前記画像ハッシュに対応する前記車両Viによる前記特定の類似のシナリオを検索することと、
-前記サーバへ、
-前記自車両V1から受信した前記データ画像ハッシュに従った前記車両Viによる前記特定の類似のシナリオと、
-他車両Viの類似のシナリオにそれぞれ対応する前記他車両Viに関連する取得されたセンサデータと
を送信することと、
前記サーバによって実行されるデータ処理ステップIV、すなわち
-前記誤って解釈された特定のシナリオに対応する前記自車両V1のセンサデータを、
-前記類似のシナリオにそれぞれ対応する前記他車両Viに関連する取得されたセンサデータと
比較することと、
-前記自車両V1及び前記他車両Viから受信した前記取得されたセンサデータを集約し、前記集約されたセンサデータを前記機械学習モデルの増分再訓練に使用することと、
-前記増分的に再訓練されたモデルを前記自車両V1に送信することと、
前記自車両V1の前記データ収集及び処理ユニットによって実行されるデータ処理ステップV、すなわち
-前記既存の機械学習モデルを前記サーバから受信した前記増分的に再訓練された機械学習モデルで置き換えることによって、前記自車両V1上の前記機械学習モデルを更新することと、
を含む、連続適応型検出コンピュータ実装方法。 - 前記増分的に再訓練された機械学習モデルは、前記他車両Vi上の機械学習モデルを更新するために、前記サーバによって前記複数の他車両Viに送信される、請求項1に記載の方法。
- 前記機械学習は畳み込みニューラルネットワークである、請求項1又は2に記載の方法。
- 前記画像符号化及びハッシュ化は、視覚的語の袋(BoW)技術によって行われる、請求項1から3のいずれか1項に記載の方法。
- 前記好ましい視覚的語の袋技術は、バイナリロバスト独立要素特徴(BRIEF)又は指向及び回転バイナリロバスト独立要素特徴(ORB)などのバイナリ技術である、請求項4に記載の方法。
- 追加の訓練データに基づいて請求項1から5のいずれか1項に記載のステップ4に従ってサーバによって実行される、自車両V1の自動運転及び支援運転における環境特徴の連続適応型検出のための訓練方法であって、前記追加の訓練データは、自車両V1の前記誤ったシナリオ解釈に対応する、前記それぞれの他車両Viに関連付けられた取得されたセンサデータである、訓練方法。
- 請求項1から5のいずれか1項に記載の方法に従って訓練された、訓練された機械学習モデル。
- データ処理システムであって、
-自車両V1と、
-サーバと、
-複数の他車両Viと、ここでi=2,...n、
-前記サーバに、前記自車両V1及び他車両Viの各々を接続する電気通信ネットワークとを含み、
前記システムは、請求項1から5のいずれか1項に記載の方法のステップを実行するように構成された手段を備える、データ処理システム。 - 前記サーバ、前記自車両V1、及び前記他車両Viの1つ以上のそれぞれのプロセッサによって実行されると、それぞれの1つ以上のサーバプロセッサに請求項1から5のいずれか1項に記載の方法を実行させる命令を記憶する複数の非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20465562 | 2020-09-23 | ||
EP20465562.5 | 2020-09-23 | ||
PCT/EP2021/075936 WO2022063774A1 (en) | 2020-09-23 | 2021-09-21 | A continuously, adaptive detection computer-implemented method of environment features in autonomous and assisted driving of an ego-vehicle |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023541967A true JP2023541967A (ja) | 2023-10-04 |
JPWO2022063774A5 JPWO2022063774A5 (ja) | 2024-05-24 |
JP7511750B2 JP7511750B2 (ja) | 2024-07-05 |
Family
ID=73005550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023517795A Active JP7511750B2 (ja) | 2020-09-23 | 2021-09-21 | 自車両の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230368506A1 (ja) |
EP (1) | EP4217917A1 (ja) |
JP (1) | JP7511750B2 (ja) |
KR (1) | KR20230048434A (ja) |
CN (1) | CN116420175A (ja) |
WO (1) | WO2022063774A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230099178A1 (en) * | 2021-09-28 | 2023-03-30 | Univrses Ab | Managing mobile data gathering agents |
CN114722975B (zh) * | 2022-06-08 | 2022-08-30 | 山东大学 | 基于模糊理论和大数据分析的驾驶意图识别方法及系统 |
WO2024065605A1 (en) * | 2022-09-30 | 2024-04-04 | Orange | Method for sharing data |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3290864A1 (en) | 2016-08-30 | 2018-03-07 | Continental Automotive GmbH | Driver assistance system for determining a position of a vehicle |
US10740658B2 (en) * | 2016-09-08 | 2020-08-11 | Mentor Graphics Corporation | Object recognition and classification using multiple sensor modalities |
US10007269B1 (en) | 2017-06-23 | 2018-06-26 | Uber Technologies, Inc. | Collision-avoidance system for autonomous-capable vehicle |
JP6946812B2 (ja) * | 2017-07-20 | 2021-10-06 | 株式会社デンソー | 学習サーバ及び支援システム |
DE102017217444B4 (de) | 2017-09-29 | 2024-03-07 | Volkswagen Ag | Verfahren und System zum Aktualisieren eines Steuerungsmodells für eine automatische Steuerung zumindest einer mobilen Einheit |
EP3820753B1 (en) * | 2018-07-14 | 2023-08-02 | Moove.AI | Vehicle-data analytics |
US10755575B2 (en) * | 2018-08-30 | 2020-08-25 | Cisco Technology, Inc. | Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety |
CN112639913B (zh) | 2018-09-06 | 2022-11-25 | 本田技研工业株式会社 | 车辆控制装置及其方法、自动驾驶车开发系统、存储介质 |
-
2021
- 2021-09-21 WO PCT/EP2021/075936 patent/WO2022063774A1/en unknown
- 2021-09-21 CN CN202180064071.6A patent/CN116420175A/zh active Pending
- 2021-09-21 EP EP21783423.3A patent/EP4217917A1/en active Pending
- 2021-09-21 JP JP2023517795A patent/JP7511750B2/ja active Active
- 2021-09-21 KR KR1020237009084A patent/KR20230048434A/ko active Search and Examination
- 2021-09-21 US US18/246,504 patent/US20230368506A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230048434A (ko) | 2023-04-11 |
EP4217917A1 (en) | 2023-08-02 |
JP7511750B2 (ja) | 2024-07-05 |
WO2022063774A1 (en) | 2022-03-31 |
CN116420175A (zh) | 2023-07-11 |
US20230368506A1 (en) | 2023-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fujiyoshi et al. | Deep learning-based image recognition for autonomous driving | |
JP7511750B2 (ja) | 自車両の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法 | |
US10740654B2 (en) | Failure detection for a neural network object tracker | |
CN107851213B (zh) | 神经网络中的转移学习 | |
US10157441B2 (en) | Hierarchical system for detecting object with parallel architecture and hierarchical method thereof | |
KR102565278B1 (ko) | 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법 | |
WO2020001223A1 (zh) | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 | |
US11256986B2 (en) | Systems and methods for training a neural keypoint detection network | |
US10964033B2 (en) | Decoupled motion models for object tracking | |
US20210319236A1 (en) | Semantically aware keypoint matching | |
CN111344739A (zh) | 时空动作与角色定位 | |
CN106934378B (zh) | 一种基于视频深度学习的汽车远光灯识别系统及方法 | |
JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
WO2012004553A1 (en) | Assisting vehicle guidance over terrain | |
US20230070439A1 (en) | Managing occlusion in siamese tracking using structured dropouts | |
US20230148091A1 (en) | Method and apparatus for determining and classifying at least one object in a sensing area of a sensor | |
Gökçe et al. | Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system | |
Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
CN113269821A (zh) | 消失点提取装置、提取消失点的方法及自动驾驶装置 | |
CN111210411A (zh) | 图像中灭点的检测方法、检测模型训练方法和电子设备 | |
Merugu et al. | Multi lane detection, curve fitting and lane type classification | |
Baek et al. | Vehicles lane-changing behavior detection | |
CN112180913A (zh) | 特种车辆识别方法 | |
Kozel et al. | Real-Time Traffic Lights Identification using YOLOv3 Algorithm For Autonomous Vehicles | |
Nayak | Development of vision-based response of autonomous vehicles towards emergency vehicles using infrastructure enabled autonomy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240221 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20240516 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240625 |