JP7289470B2 - 三次元空間に対応するマップを生成する車両、及びその方法 - Google Patents
三次元空間に対応するマップを生成する車両、及びその方法 Download PDFInfo
- Publication number
- JP7289470B2 JP7289470B2 JP2022510833A JP2022510833A JP7289470B2 JP 7289470 B2 JP7289470 B2 JP 7289470B2 JP 2022510833 A JP2022510833 A JP 2022510833A JP 2022510833 A JP2022510833 A JP 2022510833A JP 7289470 B2 JP7289470 B2 JP 7289470B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- map database
- current frame
- map
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Description
Claims (11)
- 少なくとも1つのセンサを利用し、三次元空間を感知し、複数フレームの空間情報を出力するセンサ部と、
コンピュータ実行可能命令語を保存するメモリと、
前記コンピュータ実行可能命令語を実行することにより、複数のフレームに基づく客体動きモデルを利用し、現在フレームに対応する客体の位置を予測し、前記予測された客体の位置に基づき、前記現在フレームに含まれた客体を除去し、前記客体が除去された現在フレームで、所定個数の以前フレームで構成されるマップデータベースをアップデートし、前記アップデートされたマップデータベースに基づき、前記三次元空間に対応するマップを生成するプロセッサと、を含み、
前記プロセッサは、
前記コンピュータ実行可能命令語を実行することにより、前記客体が除去された現在フレームと、前記マップデータベースとを整合させ、前記整合結果に基づき、前記客体が除去された現在フレームの新たな点群の位置を推定し、前記推定された新たな点群の位置と、前記マップデータベースに設定された基準点の位置との差値を所定の値と比較し、前記比較結果により、前記マップデータベースで真っ先に保存されたフレームと、最も後に保存されたフレームとのうち、いずれか1つを除去し、前記何れか1つのフレームが除去されたマップデータベースに、前記客体が除去された現在フレームを追加する、車両。 - 前記プロセッサは、
前記コンピュータ実行可能命令語を実行することにより、前記現在フレームの直前フレームまで反映された前記客体動きモデルに、前記現在フレームと前記直前フレームとの時間差を適用し、前記客体の動きを推定することにより、前記現在フレームに対応する前記客体の位置を予測する、請求項1に記載の車両。 - 前記プロセッサは、
前記コンピュータ実行可能命令語を実行することにより、前記現在フレームに含まれた客体を除去するプロセス、及び前記マップデータベースをアップデートするプロセスに対する並列処理として、前記現在フレームに含まれた客体を検出して追跡することにより、前記現在フレームまで反映された前記客体動きモデルを利用し、前記現在フレームの次のフレームに対応する前記客体の位置を予測するプロセスを遂行する、請求項1に記載の車両。 - 前記プロセッサは、
前記コンピュータ実行可能命令語を実行することにより、前記比較結果、前記差値が所定値以上であるならば、前記マップデータベースで前記最も先に保存されたフレームを除去し、前記差値が所定値未満であるならば、前記マップデータベースで前記最も後に保存されたフレームを除去する、請求項1に記載の車両。 - 前記基準点の位置は、前記マップデータベースで最も先に保存されたフレームに設定されており、
前記プロセッサは、
前記コンピュータ実行可能命令語を実行することにより、前記比較結果により、前記マップデータベースで前記最も先に保存されたフレームが除去される場合、前記除去されたフレームの次のフレームに、前記基準点位置を設定する、請求項1に記載の車両。 - 複数フレームの空間情報を利用してマップを生成する方法において、
複数のフレームに基づく客体動きモデルを利用し、現在フレームに対応する客体の位置を予測する段階と、
前記予測された客体の位置に基づき、前記現在フレームに含まれた客体を除去する段階と、
前記客体が除去された現在フレームで、所定個数の以前フレームで構成されるマップデータベースをアップデートする段階と、
前記アップデートされたマップデータベースに基づき、三次元空間に対応するマップを生成する段階と、を含み、
前記アップデートする段階は、
前記客体が除去された現在フレームと、前記マップデータベースとを整合させる段階と、
前記整合結果に基づき、前記客体が除去された現在フレームの新たな点群の位置を推定する段階と、
前記推定された新たな点群の位置と、前記マップデータベースに設定された基準点の位置とに基づき、前記マップデータベースから所定フレームを除去した後、前記所定フレームが除去されたマップデータベースに、前記客体が除去された現在フレームを追加する段階と、を含み、
前記追加する段階は、
前記推定された新たな点群の位置と、前記基準点の位置との差値を、所定値と比較する段階と、
前記比較結果により、前記マップデータベースで最も先に保存されたフレームと、最も後に保存されたフレームとのうち、いずれか一つを除去する段階と、
前記いずれか1つのフレームが除去されたマップデータベースに、前記客体が除去された現在フレームを追加する段階と、を含む、方法。 - 前記予測する段階は、
前記現在フレームの直前フレームまで反映された前記客体動きモデルに、前記現在フレームと前記直前フレームとの時間差を適用し、前記客体の動きを推定することにより、前記現在フレームに対応する前記客体の位置を予測する、請求項6に記載の方法。 - 前記現在フレームに含まれた客体を検出して追跡することにより、前記現在フレームまで反映された前記客体動きモデルを利用し、前記現在フレームの次のフレームに対応する前記客体の位置を予測する段階をさらに含み、
前記次のフレームに対応する前記客体の位置を予測する段階は、
前記現在フレームに含まれた客体を除去する段階、及び前記マップデータベースをアップデートする段階と並列処理される、請求項6に記載の方法。 - 前記除去する段階は、
前記比較結果、前記差値が所定値以上であるならば、前記マップデータベースで前記最も先に保存されたフレームを除去し、前記差値が所定値未満であるならば、前記マップデータベースで前記最も後に保存されたフレームを除去する、請求項6に記載の方法。 - 前記基準点の位置は、前記マップデータベースで最も先に保存されたフレームに設定されており、
前記除去する段階は、
前記比較結果により、前記マップデータベースで前記最も先に保存されたフレームが除去される場合、除去されたフレームの次のフレームに、前記基準点位置を設定する段階をさらに含む、請求項6に記載の方法。 - 電子動力装置において、
複数のフレームに基づく客体動きモデルを利用し、現在フレームに対応する客体の位置を予測する段階と、
前記予測された客体の位置に基づき、前記現在フレームに含まれた客体を除去する段階と、
前記客体が除去された現在フレームで、所定個数の以前フレームで構成されるマップデータベースをアップデートする段階と、
前記アップデートされたマップデータベースに基づき、三次元空間に対応するマップを生成する段階と、を含み、
前記アップデートする段階は、
前記客体が除去された現在フレームと、前記マップデータベースとを整合させる段階と、
前記整合結果に基づき、前記客体が除去された現在フレームの新たな点群の位置を推定する段階と、
前記推定された新たな点群の位置と、前記マップデータベースに設定された基準点の位置とに基づき、前記マップデータベースから所定フレームを除去した後、前記所定フレームが除去されたマップデータベースに、前記客体が除去された現在フレームを追加する段階と、を含み、
前記追加する段階は、
前記推定された新たな点群の位置と、前記基準点の位置との差値を、所定値と比較する段階と、
前記比較結果により、前記マップデータベースで最も先に保存されたフレームと、最も後に保存されたフレームとのうち、いずれか一つを除去する段階と、
前記いずれか1つのフレームが除去されたマップデータベースに、前記客体が除去された現在フレームを追加する段階と、を含み、
複数フレームの空間情報を利用してマップを生成する方法を遂行させる、コンピュータ可読記録媒体に保存されたコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0120132 | 2019-09-27 | ||
KR1020190120132A KR102238522B1 (ko) | 2019-09-27 | 2019-09-27 | 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법 |
PCT/KR2020/012654 WO2021060778A1 (ko) | 2019-09-27 | 2020-09-18 | 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022545213A JP2022545213A (ja) | 2022-10-26 |
JP7289470B2 true JP7289470B2 (ja) | 2023-06-12 |
Family
ID=75165093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022510833A Active JP7289470B2 (ja) | 2019-09-27 | 2020-09-18 | 三次元空間に対応するマップを生成する車両、及びその方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220291012A1 (ja) |
EP (1) | EP4036857A4 (ja) |
JP (1) | JP7289470B2 (ja) |
KR (1) | KR102238522B1 (ja) |
AU (1) | AU2020356082B2 (ja) |
WO (1) | WO2021060778A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102310609B1 (ko) * | 2021-05-14 | 2021-10-13 | 주식회사 인피닉 | 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
KR102310612B1 (ko) * | 2021-06-17 | 2021-10-13 | 주식회사 인피닉 | 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
KR20230031038A (ko) * | 2021-08-26 | 2023-03-07 | (주)서울로보틱스 | 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치 |
KR102656646B1 (ko) * | 2021-08-26 | 2024-04-12 | (주)서울로보틱스 | 센싱 장치의 설치 이상을 감지하는 방법 및 이를 수행하는 센싱 장치 |
KR102652486B1 (ko) * | 2021-09-24 | 2024-03-29 | (주)오토노머스에이투지 | 라이다를 이용한 신호등 정보 예측 방법 및 이를 이용한 서버 |
KR102431122B1 (ko) | 2021-12-30 | 2022-08-10 | 주식회사 버넥트 | 맵 타겟 추적 방법 및 그 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005337863A (ja) | 2004-05-26 | 2005-12-08 | Fuji Photo Film Co Ltd | 地図更新システム |
JP2012118666A (ja) | 2010-11-30 | 2012-06-21 | Iwane Laboratories Ltd | 三次元地図自動生成装置 |
JP2015179514A (ja) | 2014-03-19 | 2015-10-08 | 株式会社リコー | ターゲットオブジェクトの動きパラメーターを予測する方法及び装置 |
JP2017151536A (ja) | 2016-02-22 | 2017-08-31 | 株式会社メガチップス | 画像処理装置、制御プログラム及び領域特定方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008203992A (ja) * | 2007-02-16 | 2008-09-04 | Omron Corp | 検出装置および方法、並びに、プログラム |
JP5471626B2 (ja) * | 2010-03-09 | 2014-04-16 | ソニー株式会社 | 情報処理装置、マップ更新方法、プログラム及び情報処理システム |
US8989944B1 (en) * | 2013-11-26 | 2015-03-24 | Google Inc. | Methods and devices for determining movements of an object in an environment |
JP6557973B2 (ja) * | 2015-01-07 | 2019-08-14 | 株式会社リコー | 地図生成装置、地図生成方法およびプログラム |
US10816654B2 (en) * | 2016-04-22 | 2020-10-27 | Huawei Technologies Co., Ltd. | Systems and methods for radar-based localization |
US11423005B2 (en) * | 2017-04-03 | 2022-08-23 | Mitsubishi Electric Corporation | Map data generator and method for generating map data |
KR20190062635A (ko) * | 2017-11-15 | 2019-06-07 | 전자부품연구원 | 객체 추적 장치 및 객체 추적 방법 |
CN109285220B (zh) * | 2018-08-30 | 2022-11-15 | 阿波罗智能技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
US11679760B2 (en) * | 2018-12-10 | 2023-06-20 | Mobileye Vision Technologies Ltd. | Navigation in vehicle crossing scenarios |
US11151391B2 (en) * | 2018-12-10 | 2021-10-19 | Here Global B.V. | Method and apparatus for creating a visual map without dynamic content |
US11556126B2 (en) * | 2019-02-20 | 2023-01-17 | Toyota Research Institute, Inc. | Online agent predictions using semantic maps |
US11250576B2 (en) * | 2019-08-19 | 2022-02-15 | Toyota Research Institute, Inc. | Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map |
US11442463B1 (en) * | 2019-09-23 | 2022-09-13 | Amazon Technologies, Inc. | System to determine stationary features by autonomous mobile device |
-
2019
- 2019-09-27 KR KR1020190120132A patent/KR102238522B1/ko active IP Right Grant
-
2020
- 2020-09-18 JP JP2022510833A patent/JP7289470B2/ja active Active
- 2020-09-18 EP EP20869015.6A patent/EP4036857A4/en active Pending
- 2020-09-18 WO PCT/KR2020/012654 patent/WO2021060778A1/ko active Application Filing
- 2020-09-18 US US17/636,292 patent/US20220291012A1/en active Pending
- 2020-09-18 AU AU2020356082A patent/AU2020356082B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005337863A (ja) | 2004-05-26 | 2005-12-08 | Fuji Photo Film Co Ltd | 地図更新システム |
JP2012118666A (ja) | 2010-11-30 | 2012-06-21 | Iwane Laboratories Ltd | 三次元地図自動生成装置 |
JP2015179514A (ja) | 2014-03-19 | 2015-10-08 | 株式会社リコー | ターゲットオブジェクトの動きパラメーターを予測する方法及び装置 |
JP2017151536A (ja) | 2016-02-22 | 2017-08-31 | 株式会社メガチップス | 画像処理装置、制御プログラム及び領域特定方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4036857A1 (en) | 2022-08-03 |
EP4036857A4 (en) | 2023-11-15 |
AU2020356082B2 (en) | 2023-11-09 |
WO2021060778A1 (ko) | 2021-04-01 |
US20220291012A1 (en) | 2022-09-15 |
KR20210037469A (ko) | 2021-04-06 |
KR102238522B1 (ko) | 2021-04-09 |
JP2022545213A (ja) | 2022-10-26 |
AU2020356082A1 (en) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7289470B2 (ja) | 三次元空間に対応するマップを生成する車両、及びその方法 | |
JP7405451B2 (ja) | センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ | |
US11227398B2 (en) | RGB point clouds based map generation system for autonomous vehicles | |
EP3707469B1 (en) | A point clouds registration system for autonomous vehicles | |
US11468690B2 (en) | Map partition system for autonomous vehicles | |
EP3745158B1 (en) | Methods and systems for computer-based determining of presence of dynamic objects | |
US11465642B2 (en) | Real-time map generation system for autonomous vehicles | |
JP6595182B2 (ja) | マッピング、位置特定、及び姿勢補正のためのシステム及び方法 | |
US20210327128A1 (en) | A point clouds ghosting effects detection system for autonomous driving vehicles | |
CN111788571A (zh) | 车辆跟踪 | |
US20210389133A1 (en) | Systems and methods for deriving path-prior data using collected trajectories | |
US11507101B2 (en) | Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server | |
JP2016218737A (ja) | 先行車両推定装置及びプログラム | |
US20230322236A1 (en) | Vehicle pose assessment | |
CN116724248A (zh) | 用于产生非模态长方体的系统和方法 | |
US20240199065A1 (en) | Systems and methods for generating a training set for a neural network configured to generate candidate trajectories for an autonomous vehicle | |
US20240203130A1 (en) | Systems and methods for detecting and tracking objects in an environment of an autonomous vehicle | |
KR102710311B1 (ko) | 파티클 필터를 이용하여 객체의 위치를 추정하는 장치 및 방법 | |
JP6916438B2 (ja) | 動線特定システム、サーバ装置、端末装置、動線特定方法、及び動線特定プログラム | |
CN118056724A (zh) | Ads驾驶场景生成 | |
JP2019109331A (ja) | 地図データ構造 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7289470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |