JP7326429B2 - センサの画像区間の選択方法 - Google Patents
センサの画像区間の選択方法 Download PDFInfo
- Publication number
- JP7326429B2 JP7326429B2 JP2021512690A JP2021512690A JP7326429B2 JP 7326429 B2 JP7326429 B2 JP 7326429B2 JP 2021512690 A JP2021512690 A JP 2021512690A JP 2021512690 A JP2021512690 A JP 2021512690A JP 7326429 B2 JP7326429 B2 JP 7326429B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- data
- position information
- additional
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
- さらなる冗長周辺センサにおける、高速で的確な物体検知または物体妥当性検査によって、自律走行車の安全性が向上する。
- 車両に設置された周辺センサは、車両の周辺検知のために相互に密接に協働することができる。
- この方法により、関連する全ての周辺センサにおいて、経時的に車両周辺の全体像を使用することができる。
- 物体検知のために冗長周辺センサの関連画像区間のみを考慮する場合、周辺センサの全てのピクセルまたは全ての入力データを伝送または分析する必要がないため、この周辺センサを高性能に設計しなくてもよい。
- 周辺センサで検知された物体を物体寸法とともに他の周辺センサのターゲット座標系に座標変換し、その後、この周辺センサにデータ伝送し、または少なくとも1つの追加センサのセンサデータからの同じデータを処理することを、速度に重点を置いて、より少ない演算能力で行うことができる。さらに、方法を実施するための車両のバスシステムへの負荷を低く抑えることができる。
特に、方法18は、追加のセンサ6、8のセンサデータに基づいて、センサ4による周辺検出のための区間を選択するために機能する。
ステップ19では、少なくとも1つの追加センサ6、8によって周辺が検出される。少なくとも1つのセンサ6、8の検知されたセンサデータに基づいて、物体検知20が実行される。物体検知20に基づいて、少なくとも1つの検知物体16の位置情報がセンサ4の座標系に変換される21。続いて、変換された位置情報に基づいて、センサ4の走査領域の一部を周辺検出に使用し22、または既に検出されたセンサデータからセンサ4のセンサデータの画像区間を評価に使用する23。
Claims (12)
- センサデータに基づいた、LIDARセンサである主センサ(4)による周辺検出のための区間の選択方法(18)であって、
RADARセンサおよび/またはカメラを含む少なくとも1つの追加センサ(6、8)によって周辺が検出され(19)、
前記少なくとも1つの追加センサ(6、8)の特定されたセンサデータに基づいて、物体検知(20)が実行され、
前記物体検知に基づいて、少なくとも1つの検知された物体(16)の位置情報が前記主センサ(4)の座標系に変換され(21)、
前記主センサ(4)は、前記変換された位置情報に基づいて、(i)周辺検出のための走査領域(22)の一区間、または(ii)既に検出されたセンサデータ(23)の一画像区間を、評価のために使用し、
前記主センサ(4)によって実行される評価は、前記少なくとも1つの追加センサの物体検知の妥当性検査のために使用され、
前記妥当性検査は、前記主センサ(4)が、前記変換された位置情報に基づいて、前記走査領域(22)の一区間または前記一画像区間を使用して、定義された期間において物体検知を実行し、対応する前記物体(16)が妥当性を有するか否かを示す応答を前記少なくとも1つの追加センサ(6,8)に送信する、
方法。 - 前記少なくとも1つの検知された物体(16)からの位置情報は、物体寸法と、物体の位置とを有する、請求項1に記載の方法。
- 前記主センサ(4)は、複数の追加センサ(6、8)からの変換された位置情報に基づいて、既に検出されたセンサデータから少なくとも1つの前記一画像区間を評価のために使用する、請求項1または2に記載の方法。
- 前記位置情報の変換は、中央制御装置(2)またはセンサ制御装置によって実行される、請求項1から3のいずれか一項に記載の方法。
- 前記位置情報の変換は、前記追加センサ(6、8)によって実行され、前記主センサおよび前記追加センサ(4、6、8)間に直接的な通信リンク(12)が確立される、請求項1から4のいずれか一項に記載の方法。
- 前記少なくとも1つの追加センサ(6、8)によって提供された少なくとも1つの物体(16)の位置情報は、前記少なくとも1つの物体(16)を追跡するために経時変化している、請求項1から5のいずれか一項に記載の方法。
- 前記少なくとも1つの追加センサ(6、8)の走査領域外にある前記少なくとも1つの物体(16)における経時変化する位置情報は、車速もしくは車両の動態、または所定の高精度の車両位置を用いて、前記主センサ(4)の座標系に変換される、請求項6に記載の方法。
- 前記主センサ(4)の検出されたセンサデータの評価に使用される前記少なくとも1つの画像区間は、位置センサの追加のセンサデータと地図のデータとに基づいて選択される、請求項1から7のいずれか一項に記載の方法。
- 前記主センサ(4)の検出されたセンサデータの評価に使用される前記少なくとも1つの画像区間は、少なくとも1人の道路利用者(14)の位置データに基づいて選択され、前記少なくとも1人の道路利用者の位置データは、直接的または間接的な通信リンク(12)を介して伝送される、請求項1から8のいずれか一項に記載の方法。
- 前記主センサ(4)の検出されたセンサデータの前記少なくとも1つの画像区間は、人工知能によって選択される、請求項1から9のいずれか一項に記載の方法。
- 前記妥当性検査は、前記少なくとも1つの追加センサ(6、8)からの要求によって実行される、請求項1から10のいずれか一項に記載の方法。
- 少なくとも1つのセンサ(4、6、8)に接続され、少なくとも1つのセンサ(4、6、8)からセンサデータを読み取るための制御装置(2)であって、前記制御装置(2)は、請求項1から11のいずれか一項に記載の方法(18)を実行するように構成されている制御装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018215136.9A DE102018215136B4 (de) | 2018-09-06 | 2018-09-06 | Verfahren zum Auswählen eines Bildausschnitts eines Sensors |
DE102018215136.9 | 2018-09-06 | ||
PCT/EP2019/073512 WO2020049013A1 (de) | 2018-09-06 | 2019-09-04 | Verfahren zum auswählen eines bildausschnitts eines sensors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022500737A JP2022500737A (ja) | 2022-01-04 |
JP7326429B2 true JP7326429B2 (ja) | 2023-08-15 |
Family
ID=68062889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021512690A Active JP7326429B2 (ja) | 2018-09-06 | 2019-09-04 | センサの画像区間の選択方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11989944B2 (ja) |
JP (1) | JP7326429B2 (ja) |
CN (1) | CN112970028A (ja) |
DE (1) | DE102018215136B4 (ja) |
WO (1) | WO2020049013A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020205831A1 (de) | 2020-05-08 | 2021-11-11 | Zf Friedrichshafen Ag | System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004085337A (ja) | 2002-08-27 | 2004-03-18 | Fujitsu Ltd | 車両検出方法及び車両検出装置 |
JP2004125795A (ja) | 2002-10-02 | 2004-04-22 | Robert Bosch Gmbh | 画像センサシステムのキャリブレーション方法および装置 |
JP2012185540A (ja) | 2011-03-03 | 2012-09-27 | Honda Elesys Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017159382A1 (ja) | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 信号処理装置および信号処理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3645177B2 (ja) * | 2000-11-29 | 2005-05-11 | 三菱電機株式会社 | 車両周辺監視装置 |
DE10154861A1 (de) * | 2001-11-08 | 2003-05-22 | Ibeo Automobile Sensor Gmbh | Verfahren zur Bereitstellung von Bildinformationen |
KR101372023B1 (ko) * | 2012-05-31 | 2014-03-07 | 현대자동차주식회사 | 차량 주변의 이동체 감지 장치 및 방법 |
DE102012021282A1 (de) * | 2012-10-29 | 2014-04-30 | Audi Ag | Verfahren zur Koordination des Betriebs von vollautomatisiert fahrenden Kraftfahrzeugen |
DE102013215408A1 (de) | 2013-08-06 | 2015-03-05 | Bayerische Motoren Werke Aktiengesellschaft | Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung |
DE102015204529A1 (de) * | 2015-03-13 | 2016-09-15 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel |
DE102015112289A1 (de) * | 2015-07-28 | 2017-02-02 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug |
DE102015214743A1 (de) * | 2015-08-03 | 2017-02-09 | Audi Ag | Verfahren und Vorrichtung in einem Kraftfahrzeug zur verbesserten Datenfusionierung bei einer Umfelderfassung |
DE102016211182A1 (de) | 2015-09-08 | 2017-03-09 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie |
US10317901B2 (en) * | 2016-09-08 | 2019-06-11 | Mentor Graphics Development (Deutschland) Gmbh | Low-level sensor fusion |
DE102016118538A1 (de) * | 2016-09-29 | 2018-03-29 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Klassifizieren eines Verkehrszeichens in einem Umgebungsbereich eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
-
2018
- 2018-09-06 DE DE102018215136.9A patent/DE102018215136B4/de active Active
-
2019
- 2019-09-04 US US17/272,638 patent/US11989944B2/en active Active
- 2019-09-04 JP JP2021512690A patent/JP7326429B2/ja active Active
- 2019-09-04 CN CN201980073117.3A patent/CN112970028A/zh active Pending
- 2019-09-04 WO PCT/EP2019/073512 patent/WO2020049013A1/de active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004085337A (ja) | 2002-08-27 | 2004-03-18 | Fujitsu Ltd | 車両検出方法及び車両検出装置 |
JP2004125795A (ja) | 2002-10-02 | 2004-04-22 | Robert Bosch Gmbh | 画像センサシステムのキャリブレーション方法および装置 |
JP2012185540A (ja) | 2011-03-03 | 2012-09-27 | Honda Elesys Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017159382A1 (ja) | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 信号処理装置および信号処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US11989944B2 (en) | 2024-05-21 |
JP2022500737A (ja) | 2022-01-04 |
CN112970028A (zh) | 2021-06-15 |
WO2020049013A1 (de) | 2020-03-12 |
DE102018215136B4 (de) | 2021-03-25 |
US20210255330A1 (en) | 2021-08-19 |
DE102018215136A1 (de) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3644294B1 (en) | Vehicle information storage method, vehicle travel control method, and vehicle information storage device | |
CN109863500B (zh) | 事件驱动的感兴趣区域管理 | |
KR101622028B1 (ko) | 차량 통신을 이용한 차량 제어 장치 및 제어 방법 | |
US10369993B2 (en) | Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free | |
JP6852638B2 (ja) | 自動運転車両の配車システム、自動運転車両、及び配車方法 | |
US20160033963A1 (en) | Remote autonomous driving system based on high accuracy of localization by indoor infrastructure map and sensor and method thereof | |
US10399106B2 (en) | Camera and washer spray diagnostic | |
US10162357B2 (en) | Distributed computing among vehicles | |
WO2015129175A1 (ja) | 自動運転装置 | |
US11010927B2 (en) | Method and system for generating dynamic map information capable of providing environment information | |
US10688995B2 (en) | Method for controlling travel and device for controlling travel of vehicle | |
US20210206392A1 (en) | Method and device for operating an automated vehicle | |
JP7326429B2 (ja) | センサの画像区間の選択方法 | |
GB2567144A (en) | Apparatus and method for localising a vehicle | |
US11912290B2 (en) | Self-position estimation accuracy verification method and self-position estimation system | |
JP6901870B2 (ja) | 位置推定装置、制御方法、及びプログラム | |
US11897487B2 (en) | Sensor evaluation system, sensor evaluation device, and vehicle | |
JP6999625B2 (ja) | 環境情報を提供可能なダイナミックマップ情報を生成するための方法およびシステム | |
CN112348993A (zh) | 可提供环境信息的动态图资建立方法及系统 | |
US20220258765A1 (en) | Method for modeling the surroundings of an automated vehicle | |
TWI747016B (zh) | 可提供環境資訊的動態圖資建立方法及系統 | |
US20230382428A1 (en) | Method and apparatus for operating an automated vehicle | |
JP7456967B2 (ja) | 地図情報判定装置及び地図情報判定用コンピュータプログラム | |
US20210339762A1 (en) | Communication interface module for automated driving and information processing method for automated driving | |
JP2021138338A (ja) | 車両制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7326429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |