JP6799169B2 - マルチモーダル融合による3dオブジェクト検出と配向推定の結合 - Google Patents
マルチモーダル融合による3dオブジェクト検出と配向推定の結合 Download PDFInfo
- Publication number
- JP6799169B2 JP6799169B2 JP2019546869A JP2019546869A JP6799169B2 JP 6799169 B2 JP6799169 B2 JP 6799169B2 JP 2019546869 A JP2019546869 A JP 2019546869A JP 2019546869 A JP2019546869 A JP 2019546869A JP 6799169 B2 JP6799169 B2 JP 6799169B2
- Authority
- JP
- Japan
- Prior art keywords
- proposal
- point cloud
- pooling
- candidate set
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004927 fusion Effects 0.000 title claims description 23
- 238000001514 detection method Methods 0.000 title claims description 22
- 238000011176 pooling Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 30
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 108050005509 3D domains Proteins 0.000 description 1
- 230000010391 action planning Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本特許出願は、本出願の譲受人に譲渡され、その全体が参照により本明細書に組み込まれる、2017年3月17日に出願された、「JOINT 3D OBJECT DETECTION AND ORIENTATION ESTIMATION VIA MULTIMODAL FUSION」という名称の仮出願第62/473,054号の優先権を主張するものである。
Claims (20)
- 3Dポイントクラウド及び2D画像からオブジェクトを識別する方法であって、
前記3Dポイントクラウド上でユークリッドクラスタリングを使用して、第1の3D提案セットを決定することと、
3D畳み込みニューラルネットワークに基づいて、前記3Dポイントクラウドから、第2の3D提案セットを決定することと、
前記第1の3D提案セット及び前記第2の3D提案セットをプールして、3D候補セットを決定することと、
前記第1の3D提案セットを、前記2D画像上に投影することと、
2D畳み込みニューラルネットワークを使用して、前記画像に基づいて、第1の2D提案セットを決定することと、
前記投影された第1の3D提案セット及び前記第1の2D提案セットをプールして、2D候補セットを決定することと、
前記3D候補セット及び前記2D候補セットをプールすることと、を含む、方法。 - 前記3Dポイントクラウド上でユークリッドクラスタリングを使用して、第1の3D提案セットを決定することが、
前記3Dポイントクラウドの離散化ボクセルを表す占有グリッドを生成することと、
前記3Dポイントクラウドに基づいて、各ボクセルを、占有又は未占有のいずれかとして指定することと、
LiDAR光線が通り抜けたボクセルに対応する占有確率で、前記占有グリッドを更新することと、
閉塞したボクセルの占有確率を設定して、前記ボクセルが占有されていることを示すことと、を含む、請求項1に記載の方法。 - 前記3Dポイントクラウド上でユークリッドクラスタリングを使用して、第1の3D提案セットを決定することが、
前記3Dポイントクラウドから、グラウンドポイントを除去することと、
閾値未満のユークリッド距離を有する前記ポイントクラウドのポイントを、提案されたクラスタにクラスタ化することと、を含む、請求項1に記載の方法。 - 前記3Dポイントクラウド上でユークリッドクラスタリングを使用して、第1の3D提案セットを決定することが、
長さ、幅、高さ、及び中心座標を有する3D提案ボックスとして、各提案されたクラスタをパラメータ化することを更に含む、請求項3に記載の方法。 - 各提案されたクラスタをパラメータ化することが、
グラウンド高さ及びオブジェクト高さに基づいて、前記中心座標のz座標を設定することと、
前記提案ボックス内のボクセルの占有確率を最大化する、固定長さ及び高さ、並びにx及びy座標を有する、少なくとも1つの提案ボックスを生成することと、を含む、請求項4に記載の方法。 - 前記少なくとも1つの提案ボックスを生成することが、提案されたクラスタについての複数の提案ボックスを生成することを含み、各提案ボックスが、長さ、高さ、及び幅の異なる組み合わせを有する、請求項5に記載の方法。
- 3D畳み込みニューラルネットワークに基づいて、前記3Dポイントクラウドから第2の3D提案セットを決定することが、複数の畳み込み層及び少なくとも1つの最大プーリング層を適用して、前記第2の3D提案セットを含む畳み込み特徴マップを生成することを含む、請求項1に記載の方法。
- 前記第1の3D提案セット及び前記第2の3D提案セットをプールすることが、
前記第2の3D提案セットの各3D提案について、前記畳み込み特徴マップから固定サイズの3D特徴ベクトルを抽出することと、
完全に接続された層を使用して、前記固定サイズの3D特徴ベクトルを平坦化することと、を含む、請求項7に記載の方法。 - 2D畳み込みニューラルネットワークを使用して、前記画像に基づいて、前記第1の2D提案セットを決定することが、前記2D畳み込みニューラルネットワークを使用して、2D特徴マップを生成することを含む、請求項1に記載の方法。
- 前記投影された第1の3D提案セット及び前記第1の2D提案セットをプールして、2D候補セットを決定することが、各2D提案ボックスの固定された2D特徴ベクトルを抽出することを含む、請求項1に記載の方法。
- 前記3D候補セット及び前記2D候補セットをプールすることが、前記3D候補セットを表す3D特徴ベクトルと、前記2D候補セットを表す2D特徴ベクトルとの間の外積を計算して、マルチモーダル表現を生成することを含む、請求項1に記載の方法。
- 前記3D候補セット及び前記2D候補セットをプールすることが、前記マルチモーダル表現から前記3D提案ボックスのサイズ及び配向を回帰させることを含む、請求項11に記載の方法。
- 車両であって、
2D画像を取得するように構成された、カメラと、
3Dポイントクラウドを取得するように構成された、光検出及び測距(LiDAR)システムと、
前記3Dポイントクラウド及び前記2D画像からオブジェクトを識別するように構成された、マルチモーダル融合システムであって、メモリ、及び前記メモリに通信可能に結合されたプロセッサを含む、マルチモーダル融合システムと、を備え、前記プロセッサが、
前記3Dポイントクラウド上でユークリッドクラスタリングを使用して、第1の3D提案セットを決定することと、
3D畳み込みニューラルネットワークに基づいて、前記3Dポイントクラウドから、第2の3D提案セットを決定することと、
前記第1の3D提案セット及び前記第2の3D提案セットをプールして、3D候補セットを決定することと、
前記第1の3D提案セットを、前記2D画像上に投影することと、
2D畳み込みニューラルネットワークを使用して、前記画像に基づいて、第1の2D提案セットを決定することと、
前記投影された第1の3D提案セット及び前記第1の2D提案セットをプールして、2D候補セットを決定することと、
前記3D候補セット及び前記2D候補セットをプールすることと、を行うように構成されている、車両。 - 前記プロセッサが、
前記3Dポイントクラウドの離散化ボクセルを表す占有グリッドを生成することと、
前記3Dポイントクラウドに基づいて、各ボクセルを、占有又は未占有のいずれかとして指定することと、
LiDAR光線が通り抜けたボクセルに対応する占有確率で、前記占有グリッドを更新することと、
閉塞したボクセルの占有確率を設定して、前記ボクセルが占有されていることを示すことと、を行うように構成されている、請求項13に記載の車両。 - 前記プロセッサが、
前記3Dポイントクラウドから、グラウンドポイントを除去することと、
閾値未満のユークリッド距離を有する前記ポイントクラウドのポイントを、提案されたクラスタにクラスタ化することと。
長さ、幅、高さ、及び中心座標を有する3D提案ボックスとして、各提案されたクラスタをパラメータ化することと、を行うように構成されている、請求項13に記載の車両。 - 前記プロセッサが、複数の畳み込み層及び少なくとも1つの最大プーリング層を適用して、前記第2の3D提案セットを含む畳み込み特徴マップを生成することを行うように構成されている、請求項13に記載の車両。
- 前記プロセッサが、
前記第2の3D提案セットの各3D提案について、前記畳み込み特徴マップから固定サイズの3D特徴ベクトルを抽出することと、
完全に接続された層を使用して、前記固定サイズの3D特徴ベクトルを平坦化することと、を行うように構成されている、請求項16に記載の車両。 - 前記プロセッサが、各2D提案ボックスについての固定された2D特徴ベクトルを抽出して、前記2D候補セットを決定するように構成されている、請求項13に記載の車両。
- 前記プロセッサが、
前記3D候補セットを表す3D特徴ベクトルと、前記2D候補セットを表す2D特徴ベクトルとの間の外積を計算して、マルチモーダル表現を生成することと、
前記マルチモーダル表現から前記3D提案ボックスのサイズ及び配向を回帰させることと、を行うように構成されている、請求項13に記載の車両。 - コンピュータ実行可能命令を記憶するコンピュータ可読媒体であって、プロセッサによって実行されると、前記プロセッサに、
前記3Dポイントクラウド上でユークリッドクラスタリングを使用して、第1の3D提案セットを決定することと、
3D畳み込みニューラルネットワークに基づいて、前記3Dポイントクラウドから、第2の3D提案セットを決定することと、
前記第1の3D提案セット及び前記第2の3D提案セットをプールして、3D候補セットを決定することと、
前記第1の3D提案セットを、前記2D画像上に投影することと、
2D畳み込みニューラルネットワークを使用して、前記画像に基づいて、第1の2D提案セットを決定することと、
前記投影された第1の3D提案セット及び前記第1の2D提案セットをプールして、2D候補セットを決定することと、
前記3D候補セット及び前記2D候補セットをプールすることと、を行わせる、コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762473054P | 2017-03-17 | 2017-03-17 | |
US62/473,054 | 2017-03-17 | ||
PCT/US2018/022995 WO2018170472A1 (en) | 2017-03-17 | 2018-03-16 | Joint 3d object detection and orientation estimation via multimodal fusion |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020509494A JP2020509494A (ja) | 2020-03-26 |
JP6799169B2 true JP6799169B2 (ja) | 2020-12-09 |
Family
ID=63523320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019546869A Expired - Fee Related JP6799169B2 (ja) | 2017-03-17 | 2018-03-16 | マルチモーダル融合による3dオブジェクト検出と配向推定の結合 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10885398B2 (ja) |
JP (1) | JP6799169B2 (ja) |
CN (1) | CN110325818B (ja) |
DE (1) | DE112018000899T5 (ja) |
WO (1) | WO2018170472A1 (ja) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11144747B2 (en) * | 2017-03-31 | 2021-10-12 | Pioneer Corporation | 3D data generating device, 3D data generating method, 3D data generating program, and computer-readable recording medium storing 3D data generating program |
US10751548B2 (en) * | 2017-07-28 | 2020-08-25 | Elekta, Inc. | Automated image segmentation using DCNN such as for radiation therapy |
US10769411B2 (en) * | 2017-11-15 | 2020-09-08 | Qualcomm Technologies, Inc. | Pose estimation and model retrieval for objects in images |
US11925446B2 (en) * | 2018-02-22 | 2024-03-12 | Vayyar Imaging Ltd. | Radar-based classification of vehicle occupants |
US11768292B2 (en) | 2018-03-14 | 2023-09-26 | Uatc, Llc | Three-dimensional object detection |
US11500099B2 (en) * | 2018-03-14 | 2022-11-15 | Uatc, Llc | Three-dimensional object detection |
US11080542B2 (en) * | 2018-07-27 | 2021-08-03 | International Business Machines Corporation | Sparse region-of-interest pooling for object detection |
US11100669B1 (en) * | 2018-09-14 | 2021-08-24 | Apple Inc. | Multimodal three-dimensional object detection |
US10984540B2 (en) * | 2018-10-15 | 2021-04-20 | Tusimple, Inc. | Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method |
EP3793899A4 (en) * | 2018-10-29 | 2021-07-07 | DJI Technology, Inc. | MOVABLE OBJECT TO PERFORM A REAL-TIME IMAGE |
DK201970115A1 (en) | 2018-11-08 | 2020-06-09 | Aptiv Technologies Limited | DEEP LEARNING FOR OBJECT DETECTION USING PILLARS |
DE102018127990A1 (de) * | 2018-11-08 | 2020-05-14 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs |
US20200153926A1 (en) * | 2018-11-09 | 2020-05-14 | Toyota Motor North America, Inc. | Scalable vehicle data compression systems and methods |
US11032370B2 (en) * | 2018-11-14 | 2021-06-08 | Toyota Jidosha Kabushiki Kaisha | Wireless communications in a vehicular macro cloud |
US11217012B2 (en) * | 2018-11-16 | 2022-01-04 | Uatc, Llc | System and method for identifying travel way features for autonomous vehicle motion control |
CN109543601A (zh) * | 2018-11-21 | 2019-03-29 | 电子科技大学 | 一种基于多模态深度学习的无人车目标检测方法 |
US10861176B2 (en) | 2018-11-27 | 2020-12-08 | GM Global Technology Operations LLC | Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data |
CN109635685B (zh) * | 2018-11-29 | 2021-02-12 | 北京市商汤科技开发有限公司 | 目标对象3d检测方法、装置、介质及设备 |
WO2020154967A1 (en) * | 2019-01-30 | 2020-08-06 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Map partition system for autonomous vehicles |
CN111771135B (zh) | 2019-01-30 | 2023-03-21 | 百度时代网络技术(北京)有限公司 | 自动驾驶车辆中使用rnn和lstm进行时间平滑的lidar定位 |
EP3707467A1 (en) * | 2019-01-30 | 2020-09-16 | Baidu.com Times Technology (Beijing) Co., Ltd. | A rgb point clouds based map generation system for autonomous vehicles |
US10817777B2 (en) * | 2019-01-31 | 2020-10-27 | StradVision, Inc. | Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same |
DE102019102769A1 (de) * | 2019-02-05 | 2020-08-06 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug |
JP7201909B2 (ja) * | 2019-02-25 | 2023-01-11 | 富士通株式会社 | データセット作成方法、データセット作成装置、及びデータセット作成プログラム |
WO2020190781A1 (en) | 2019-03-16 | 2020-09-24 | Nvidia Corporation | Leveraging multidimensional sensor data for computationally efficient object detection |
CN109959911A (zh) * | 2019-03-25 | 2019-07-02 | 清华大学 | 基于激光雷达的多目标自主定位方法及装置 |
CN110007675B (zh) * | 2019-04-12 | 2021-01-15 | 北京航空航天大学 | 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法 |
WO2020258218A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 可移动平台的障碍物检测方法、装置及可移动平台 |
CN114080629A (zh) * | 2019-07-08 | 2022-02-22 | 伟摩有限责任公司 | 点云中的对象检测 |
US11455806B2 (en) * | 2019-07-10 | 2022-09-27 | Deka Products Limited Partnership | System and method for free space estimation |
CN110490915B (zh) * | 2019-08-19 | 2023-11-24 | 重庆大学 | 一种基于卷积受限玻尔兹曼机的点云配准方法 |
EP3789794A1 (de) * | 2019-09-04 | 2021-03-10 | Ibeo Automotive Systems GmbH | Verfahren und vorrichtung zur distanzmessung |
US11327178B2 (en) * | 2019-09-06 | 2022-05-10 | Volvo Car Corporation | Piece-wise network structure for long range environment perception |
CN111079523B (zh) * | 2019-11-05 | 2024-05-14 | 北京迈格威科技有限公司 | 物体检测方法、装置、计算机设备和存储介质 |
GB2621701A (en) | 2019-11-14 | 2024-02-21 | Motional Ad Llc | Sequential fusion for 3D object detection |
US11407431B2 (en) * | 2019-11-22 | 2022-08-09 | Samsung Electronics Co., Ltd. | System and method for object trajectory prediction in an autonomous scenario |
US11543534B2 (en) * | 2019-11-22 | 2023-01-03 | Samsung Electronics Co., Ltd. | System and method for three-dimensional object detection |
CN111060923B (zh) * | 2019-11-26 | 2022-05-13 | 武汉乐庭软件技术有限公司 | 一种多激光雷达的汽车驾驶障碍物检测方法及系统 |
CN111179247A (zh) * | 2019-12-27 | 2020-05-19 | 上海商汤智能科技有限公司 | 三维目标检测方法及其模型的训练方法及相关装置、设备 |
CN111199206A (zh) * | 2019-12-30 | 2020-05-26 | 上海眼控科技股份有限公司 | 三维目标检测方法、装置、计算机设备及存储介质 |
CN115176175A (zh) * | 2020-02-18 | 2022-10-11 | 株式会社电装 | 物体检测装置 |
JP7501398B2 (ja) | 2020-02-18 | 2024-06-18 | 株式会社デンソー | 物体検出装置 |
US11524701B2 (en) | 2020-03-30 | 2022-12-13 | Toyota Research Institute, Inc. | Methods and systems of predicting road agent behavior using voxel grids |
CN114078181A (zh) * | 2020-08-19 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 人体三维模型的建立方法、装置、电子设备及存储介质 |
CN112307890B (zh) * | 2020-09-22 | 2023-01-20 | 西人马帝言(北京)科技有限公司 | 一种物体识别方法、装置、物体识别设备及存储介质 |
US20220270327A1 (en) * | 2021-02-24 | 2022-08-25 | Denso International America, Inc. | Systems and methods for bounding box proposal generation |
CN112927217B (zh) * | 2021-03-23 | 2022-05-03 | 内蒙古大学 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
CN113313831B (zh) * | 2021-05-24 | 2022-12-16 | 华南理工大学 | 基于极坐标图卷积神经网络的三维模型特征提取方法 |
CN113870422B (zh) * | 2021-11-30 | 2022-02-08 | 华中科技大学 | 一种点云重建方法、装置、设备及介质 |
EP4224366A1 (en) | 2022-02-03 | 2023-08-09 | AImotive Kft. | Neural network training method using semi-pseudo-labels |
DE102022107770A1 (de) * | 2022-04-01 | 2023-10-05 | Valeo Detection Systems GmbH | Verfahren zur Verfolgung wenigstens eines Objekts mit wenigstens einer Detektionsvorrichtung, Detektionsvorrichtung und Fahrzeug mit wenigstens einer Detektionsvorrichtung |
CN115829898B (zh) * | 2023-02-24 | 2023-06-02 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备、介质以及自动驾驶车辆 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4232167B1 (ja) * | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | 対象特定装置、対象特定方法および対象特定プログラム |
US8705792B2 (en) * | 2008-08-06 | 2014-04-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Object tracking using linear features |
US8179393B2 (en) * | 2009-02-13 | 2012-05-15 | Harris Corporation | Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment |
US8488877B1 (en) | 2009-12-02 | 2013-07-16 | Hrl Laboratories, Llc | System for object recognition in colorized point clouds |
GB201116959D0 (en) * | 2011-09-30 | 2011-11-16 | Bae Systems Plc | Vehicle localisation with 2d laser scanner and 3d prior scans |
JP5950296B2 (ja) * | 2012-01-27 | 2016-07-13 | 国立研究開発法人産業技術総合研究所 | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム |
US10007336B2 (en) * | 2013-09-10 | 2018-06-26 | The Board Of Regents Of The University Of Texas System | Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation |
GB2520338A (en) * | 2013-11-19 | 2015-05-20 | Nokia Corp | Automatic scene parsing |
WO2015148824A1 (en) | 2014-03-27 | 2015-10-01 | Hrl Laboratories, Llc | System for filtering, segmenting and recognizing objects in unconstrained environments |
CN105825173B (zh) * | 2016-03-11 | 2019-07-19 | 福州华鹰重工机械有限公司 | 通用道路和车道检测系统与方法 |
CN106157309B (zh) * | 2016-07-04 | 2019-03-22 | 南京大学 | 一种基于虚拟种子点的机载LiDAR地面点云滤波方法 |
GB201616095D0 (en) * | 2016-09-21 | 2016-11-02 | Univ Oxford Innovation Ltd | A neural network and method of using a neural network to detect objects in an environment |
-
2018
- 2018-03-16 JP JP2019546869A patent/JP6799169B2/ja not_active Expired - Fee Related
- 2018-03-16 WO PCT/US2018/022995 patent/WO2018170472A1/en active Application Filing
- 2018-03-16 CN CN201880013889.3A patent/CN110325818B/zh active Active
- 2018-03-16 US US16/326,141 patent/US10885398B2/en active Active
- 2018-03-16 DE DE112018000899.1T patent/DE112018000899T5/de not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
WO2018170472A1 (en) | 2018-09-20 |
CN110325818B (zh) | 2021-11-26 |
DE112018000899T5 (de) | 2019-10-31 |
JP2020509494A (ja) | 2020-03-26 |
US20190188541A1 (en) | 2019-06-20 |
CN110325818A (zh) | 2019-10-11 |
US10885398B2 (en) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6799169B2 (ja) | マルチモーダル融合による3dオブジェクト検出と配向推定の結合 | |
CN112292711B (zh) | 关联lidar数据和图像数据 | |
JP6946298B2 (ja) | 画像ベースの車両位置特定のためのシステム及び方法 | |
JP6514192B2 (ja) | ライダに基づいたオブジェクト移動の分類 | |
US7660436B2 (en) | Stereo-vision based imminent collision detection | |
JP2019509552A (ja) | コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出 | |
CN112997187A (zh) | 基于鸟瞰图点云的二维对象边界框信息估计 | |
EP3903293A1 (en) | Crowdsourced detection, identification and sharing of hazardous road objects in hd maps | |
US20180336697A1 (en) | Monocular localization in urban environments using road markings | |
JP2021089724A (ja) | 構造的制約及び物理的制約を伴う3d自動ラベル付け | |
US11035933B2 (en) | Transition map between lidar and high-definition map | |
US11059493B2 (en) | Systems and methods for estimating velocity of an autonomous vehicle and state information of a surrounding vehicle | |
US11605228B2 (en) | System and method for sensor fusion system having distributed convolutional neural network | |
CN112883790A (zh) | 一种基于单目摄像头的3d物体检测方法 | |
US11308324B2 (en) | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof | |
CN116310673A (zh) | 一种基于点云与图像特征融合的三维目标检测方法 | |
FR2899363A1 (fr) | Procede et dispositif de detection de mouvement d'objets sur des images d'une scene | |
CN114897987B (zh) | 一种确定车辆地面投影的方法、装置、设备及介质 | |
CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
CN117836818A (zh) | 信息处理装置、信息处理系统、模型以及模型的生成方法 | |
WO2024142571A1 (ja) | 画像処理装置 | |
Menon et al. | Distance Estimation & Driver alert system using ZED Stereo Camera and Raspberry Pi using Socket Communication | |
CN118230293A (zh) | 目标检测方法、装置、汽车、存储介质及程序产品 | |
CN117876990A (zh) | 感测信息处理装置及方法 | |
Ku et al. | Vision assisted active safety system for vehicles on the highway |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191009 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190827 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191008 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6799169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |