JP7438320B2 - クロスモーダルセンサデータの位置合わせ - Google Patents
クロスモーダルセンサデータの位置合わせ Download PDFInfo
- Publication number
- JP7438320B2 JP7438320B2 JP2022500653A JP2022500653A JP7438320B2 JP 7438320 B2 JP7438320 B2 JP 7438320B2 JP 2022500653 A JP2022500653 A JP 2022500653A JP 2022500653 A JP2022500653 A JP 2022500653A JP 7438320 B2 JP7438320 B2 JP 7438320B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- image
- embedding
- region
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 63
- 230000000007 visual effect Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 15
- 238000013507 mapping Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000004807 localization Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000009334 Singa Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
Claims (17)
- 1つ以上のデータ処理装置によって遂行される方法であって、前記方法が、
(i)環境の視覚外観を特徴付ける、カメラセンサによって生成される画像、および(ii)前記環境の三次元幾何学形状を特徴付ける、測量センサによって生成されるデータポイントの集合を含むポイントクラウド、を取得することであって、各データポイントが、前記環境内の表面上にあるポイントのそれぞれの三次元空間位置を定義する、取得することと、
視覚埋め込みニューラルネットワークを使用して、前記画像の複数の画像領域の各々を処理して、前記画像領域の各々のそれぞれの画像領域埋め込みを生成することと、
形状埋め込みニューラルネットワークを使用して、前記ポイントクラウドの複数のポイントクラウド領域の各々を処理して、前記ポイントクラウド領域の各々のそれぞれのポイントクラウド領域埋め込みを生成することと、
複数の類似度スコアを決定することであって、各類似度スコアは、各画像領域埋め込みと各ポイントクラウド領域埋め込みとの間の類似度を示す、ことと、
前記複数の類似度スコアに基づいて、前記画像と前記ポイントクラウドの位置合わせを定義する複数の埋め込みペアを識別することと、を含み、各埋め込みペアが、所与の画像領域の画像領域埋め込みおよび所与のポイントクラウド領域のポイントクラウド領域埋め込みを含む、方法。 - 前記測量センサが、ライダセンサまたはレーダセンサである、請求項1に記載の方法。
- 前記カメラセンサおよび前記測量センサが、車両の上に取り付けられている、請求項1または2に記載の方法。
- 前記ポイントクラウド内の各データポイントが、前記測量センサによって伝送された、および前記データポイントによって定義された前記三次元空間位置における前記環境の前記表面上にある前記ポイントから反射された、光のパルスの反射の強さをさらに定義する、請求項1に記載の方法。
- 1つ以上のデータ処理装置によって遂行される方法であって、前記方法が、
(i)環境の視覚外観を特徴付ける、カメラセンサによって生成される画像、および(ii)前記環境の三次元幾何学形状を特徴付ける、測量センサによって生成されるデータポイントの集合を含むポイントクラウド、を取得することであって、各データポイントが、前記環境内の表面上にあるポイントのそれぞれの三次元空間位置を定義する、取得することと、
視覚埋め込みニューラルネットワークを使用して、前記画像の複数の画像領域の各々を処理して、前記画像領域の各々のそれぞれの画像領域埋め込みを生成することと、
形状埋め込みニューラルネットワークを使用して、前記ポイントクラウドの複数のポイントクラウド領域の各々を処理して、前記ポイントクラウド領域の各々のそれぞれのポイントクラウド領域埋め込みを生成することと、
前記画像と前記ポイントクラウドの位置合わせを定義する複数の埋め込みペアを識別することであって、各埋め込みペアが、所与の画像領域の画像領域埋め込みおよび所与のポイントクラウド領域のポイントクラウド領域埋め込みを含む、ことと、
前記複数の埋め込みペアを使用して、前記カメラセンサおよび前記測量センサが正確に較正されているかどうかを判断することを含む、方法。 - 前記画像内のオブジェクトの位置を定義するデータを取得することと、
(i)前記画像内の前記オブジェクトの前記位置、および(ii)前記複数の埋め込みペアに基づいて、前記ポイントクラウド内の前記オブジェクトの対応する位置を識別することと、をさらに含む、請求項1~5のいずれか一項に記載の方法。 - (i)前記画像内の前記オブジェクトの前記位置、および(ii)前記複数の埋め込みペアに基づいて、前記ポイントクラウド内の前記オブジェクトの前記対応する位置を識別することが、
特定の埋め込みペアを識別することであって、各特定の埋め込みペアについて、前記画像領域埋め込みが、前記画像内の前記オブジェクトの前記位置に対応する画像領域を特徴付ける、識別することと、
各特定の埋め込みペアの前記ポイントクラウド領域埋め込みによって特徴付けられるそれぞれのポイントクラウド領域に基づいて、前記ポイントクラウド内の前記オブジェクトの前記位置を判断することと、を含む、請求項6に記載の方法。 - 前記ポイントクラウド内のオブジェクトの位置を定義するデータを取得することと、
(i)前記ポイントクラウド内の前記オブジェクトの前記位置、および(ii)前記複数の埋め込みペアに基づいて、前記画像内の前記オブジェクトの対応する位置を識別することと、をさらに含む、請求項1~7のいずれか一項に記載の方法。 - (i)前記ポイントクラウド内の前記オブジェクトの前記位置、および(ii)前記複数の埋め込みペアに基づいて、前記画像内の前記オブジェクトの前記対応する位置を識別することが、
特定の埋め込みペアを識別することであって、各特定の埋め込みペアについて、前記ポイントクラウド領域埋め込みが、前記ポイントクラウド内の前記オブジェクトの前記位置に対応するポイントクラウド領域を特徴付ける、識別することと、
各特定の埋め込みペアの前記画像領域埋め込みによって特徴付けられるそれぞれの画像領域に基づいて、前記画像内の前記オブジェクトの前記位置を判断することと、を含む、請求項8に記載の方法。 - 前記複数の埋め込みペアを使用して、前記画像と位置合わせされた二次元画像平面に前記ポイントクラウドを投影することと、
ニューラルネットワークを使用して、前記画像および前記投影されたポイントクラウドを処理して、ニューラルネットワーク出力を生成することと、をさらに含む、請求項1~9のいずれか一項に記載の方法。 - 前記ニューラルネットワーク出力が、前記環境内のオブジェクトの位置を識別するデータを含む、請求項10に記載の方法。
- 前記画像内の各ピクセルは、前記複数の画像領域のうちのいずれか1つに含まれる、請求項1~11のいずれか一項に記載の方法。
- 前記ポイントクラウド内の各データポイントは、前記複数のポイントクラウド領域のうちのいずれか1つに含まれる、請求項1~12のいずれか一項に記載の方法。
- 前記複数の埋め込みペアが、グリーディな最近傍マッチングアルゴリズムを使用して識別される、請求項1~13のいずれか一項に記載の方法。
- 前記視覚埋め込みニューラルネットワークおよび前記形状埋め込みニューラルネットワークが、トリプレット損失目的関数またはコントラスト損失目的関数を使用して、一緒にトレーニングされる、請求項1~14のいずれか一項に記載の方法。
- 命令を記憶する1つ以上の非一時的コンピュータ記憶媒体であって、前記命令が、1つ以上のコンピュータによって実行されたときに、前記1つ以上のコンピュータに請求項1~15のいずれか一項に記載のそれぞれの方法の動作を遂行させる、1つ以上の非一時的コンピュータ記憶媒体。
- システムであって、
1つ以上のコンピュータと、
前記1つ以上のコンピュータに通信可能に連結された1つ以上の記憶デバイスと、を備え、前記1つ以上の記憶デバイスが、命令を記憶し、前記命令が、前記1つ以上のコンピュータによって実行されたときに、前記1つ以上のコンピュータに請求項1~15のいずれか一項に記載のそれぞれの方法の動作を遂行させる、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/509,152 US11195064B2 (en) | 2019-07-11 | 2019-07-11 | Cross-modal sensor data alignment |
US16/509,152 | 2019-07-11 | ||
PCT/US2020/040670 WO2021007100A1 (en) | 2019-07-11 | 2020-07-02 | Cross-modal sensor data alignment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022540109A JP2022540109A (ja) | 2022-09-14 |
JP7438320B2 true JP7438320B2 (ja) | 2024-02-26 |
Family
ID=74101825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022500653A Active JP7438320B2 (ja) | 2019-07-11 | 2020-07-02 | クロスモーダルセンサデータの位置合わせ |
Country Status (6)
Country | Link |
---|---|
US (2) | US11195064B2 (ja) |
EP (1) | EP3980969A4 (ja) |
JP (1) | JP7438320B2 (ja) |
KR (1) | KR20220035170A (ja) |
CN (1) | CN114097006A (ja) |
WO (1) | WO2021007100A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11263476B2 (en) * | 2020-03-19 | 2022-03-01 | Salesforce.Com, Inc. | Unsupervised representation learning with contrastive prototypes |
CN113091646B (zh) * | 2021-03-29 | 2021-11-16 | 上海交通大学 | 基于条纹标定的三维形貌测量方法 |
CN113780214B (zh) * | 2021-09-16 | 2024-04-19 | 上海西井科技股份有限公司 | 基于人群进行图像识别的方法、系统、设备及存储介质 |
US20230358563A1 (en) * | 2022-05-05 | 2023-11-09 | Here Global B.V. | Method, apparatus, and computer program product for map geometry generation based on data aggregation and conflation |
DE102022207091A1 (de) | 2022-07-12 | 2024-01-18 | Robert Bosch Gesellschaft mit beschränkter Haftung | Objektklassifikation anhand von Messdaten aus mehreren Perspektiven unter Nutzung von Pseudo-Labels |
US11526990B1 (en) * | 2022-08-10 | 2022-12-13 | Bio-Marketing-T, Ltd. (BMT) | Computer systems and computer-implemented methods for rapid diagnostic test result interpretation platform utilizing computer vision |
US11538228B1 (en) * | 2022-08-26 | 2022-12-27 | Illuscio, Inc. | Systems and methods for augmented reality viewing based on directly mapped point cloud overlays |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011505610A (ja) | 2007-11-07 | 2011-02-24 | テレ アトラス ベスローテン フエンノートシャップ | 画像センサデータに距離センサデータをマッピングする方法及び装置 |
JP2017097906A (ja) | 2012-09-05 | 2017-06-01 | グーグル インコーポレイテッド | 複数の情報源を用いる建設区域検出 |
US20190096086A1 (en) | 2017-09-22 | 2019-03-28 | Zoox, Inc. | Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8290305B2 (en) | 2009-02-13 | 2012-10-16 | Harris Corporation | Registration of 3D point cloud data to 2D electro-optical image data |
US9052721B1 (en) | 2012-08-28 | 2015-06-09 | Google Inc. | Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection |
CN111492403A (zh) * | 2017-10-19 | 2020-08-04 | 迪普迈普有限公司 | 用于生成高清晰度地图的激光雷达到相机校准 |
CN108198145B (zh) | 2017-12-29 | 2020-08-28 | 百度在线网络技术(北京)有限公司 | 用于点云数据修复的方法和装置 |
US11276189B2 (en) * | 2019-03-06 | 2022-03-15 | Qualcomm Incorporated | Radar-aided single image three-dimensional depth reconstruction |
-
2019
- 2019-07-11 US US16/509,152 patent/US11195064B2/en active Active
-
2020
- 2020-07-02 CN CN202080050539.1A patent/CN114097006A/zh active Pending
- 2020-07-02 KR KR1020227004547A patent/KR20220035170A/ko unknown
- 2020-07-02 JP JP2022500653A patent/JP7438320B2/ja active Active
- 2020-07-02 WO PCT/US2020/040670 patent/WO2021007100A1/en unknown
- 2020-07-02 EP EP20837296.1A patent/EP3980969A4/en active Pending
-
2021
- 2021-11-19 US US17/531,444 patent/US20220076082A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011505610A (ja) | 2007-11-07 | 2011-02-24 | テレ アトラス ベスローテン フエンノートシャップ | 画像センサデータに距離センサデータをマッピングする方法及び装置 |
JP2017097906A (ja) | 2012-09-05 | 2017-06-01 | グーグル インコーポレイテッド | 複数の情報源を用いる建設区域検出 |
US20190096086A1 (en) | 2017-09-22 | 2019-03-28 | Zoox, Inc. | Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data |
Non-Patent Citations (2)
Title |
---|
Mengdan Feng et al,2D3D-Matchnet: Learning To Match Keypoints Across 2D Image And 3D Point Cloud,2019 International Conference on Robotics and Automation (ICRA),2019年05月24日,p4790-4796,https://ieeexplore.ieee.org/abstract/document/8794415 |
Mengdan Feng et al,Towards Precise Vehicle-Free Point Cloud Mapping: An On-vehicle System with Deep Vehicle Detection and Tracking,2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC),2018年10月10日,p1288-1293,https://ieeexplore.ieee.org/document/8616221 |
Also Published As
Publication number | Publication date |
---|---|
CN114097006A (zh) | 2022-02-25 |
JP2022540109A (ja) | 2022-09-14 |
EP3980969A4 (en) | 2023-07-05 |
US11195064B2 (en) | 2021-12-07 |
EP3980969A1 (en) | 2022-04-13 |
US20210012166A1 (en) | 2021-01-14 |
KR20220035170A (ko) | 2022-03-21 |
WO2021007100A1 (en) | 2021-01-14 |
US20220076082A1 (en) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7438320B2 (ja) | クロスモーダルセンサデータの位置合わせ | |
US11436437B2 (en) | Three-dimension (3D) assisted personalized home object detection | |
Menze et al. | Object scene flow | |
Fan et al. | Road surface 3D reconstruction based on dense subpixel disparity map estimation | |
CN111328396B (zh) | 用于图像中的对象的姿态估计和模型检索 | |
US11315266B2 (en) | Self-supervised depth estimation method and system | |
US11482014B2 (en) | 3D auto-labeling with structural and physical constraints | |
CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
Zhou et al. | T-LOAM: Truncated least squares LiDAR-only odometry and mapping in real time | |
US20230213643A1 (en) | Camera-radar sensor fusion using local attention mechanism | |
CN114637023A (zh) | 用于激光深度图取样的系统及方法 | |
US11475628B2 (en) | Monocular 3D vehicle modeling and auto-labeling using semantic keypoints | |
US11748998B1 (en) | Three-dimensional object estimation using two-dimensional annotations | |
CN111091038A (zh) | 训练方法、计算机可读介质和检测消失点的方法及装置 | |
CN116601667A (zh) | 用单目监视相机进行3d对象检测和跟踪的系统和方法 | |
Jindal et al. | Bollard segmentation and position estimation from lidar point cloud for autonomous mooring | |
JP2015219868A (ja) | 情報処理装置、情報処理方法、プログラム | |
KR20230049969A (ko) | 글로벌 측위 장치 및 방법 | |
CN112800822A (zh) | 利用结构约束和物理约束进行3d自动标记 | |
CN113255779A (zh) | 多源感知数据融合识别方法、系统及计算机可读存储介质 | |
EP4186419A1 (en) | A method and stsyem for body part measurement for skin treatment | |
Sadjoli et al. | PCD reconstruction, object classification and pose estimation for underwater vehicles using orthogonal multibeam forward looking sonar fusion | |
Singh et al. | Multi-sensor data fusion for accurate surface modeling | |
Wang et al. | Holistic Parking Slot Detection with Polygon-Shaped Representations | |
CN112733617B (zh) | 一种基于多模态数据的目标定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7438320 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |