JP7371357B2 - 移動体外部環境認識装置 - Google Patents
移動体外部環境認識装置 Download PDFInfo
- Publication number
- JP7371357B2 JP7371357B2 JP2019106939A JP2019106939A JP7371357B2 JP 7371357 B2 JP7371357 B2 JP 7371357B2 JP 2019106939 A JP2019106939 A JP 2019106939A JP 2019106939 A JP2019106939 A JP 2019106939A JP 7371357 B2 JP7371357 B2 JP 7371357B2
- Authority
- JP
- Japan
- Prior art keywords
- external environment
- map data
- generated
- mobile body
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 38
- 238000003860 storage Methods 0.000 description 42
- 230000015654 memory Effects 0.000 description 11
- 238000012795 verification Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000014759 maintenance of location Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/0875—Registering performance data using magnetic data carriers
- G07C5/0891—Video recorder in combination with video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Description
また、前記制御部は、当該移動体に設けられたセンサから受信したセンサ信号、および、当該移動体の外部から受信したGPSデータのうち少なくともいずれか一方を、前記2Dマップデータとともに、前記記録装置に記録する、としてもよい。
図3は本実施形態に係る車両走行制御装置1におけるイベント発生時の動作例を示すフローチャートである。図3に示すように、所定のイベントが発生すると、制御部30は、生成した2Dマップデータをストレージ35に格納する(S11)。具体的には、制御部30は、経路生成のためにメモリ32に一時的に保存されている2Dマップデータを、ストレージ35に出力する。これにより、イベント発生より少し前のタイミングから、2Dマップデータを記録することができる。そして、タイムスタンプ生成部40は、制御部30からの指示を受けて、タイムスタンプを生成する。生成されたタイムスタンプは、ストレージ35に保存された2Dマップデータに付与される(S12)。
図4は本実施形態に係る車両走行制御装置1におけるイベント発生時の他の動作例を示すフローチャートである。図4に示すように、所定のイベントが発生すると、制御部30は、生成した2Dマップデータをストレージ35に格納する。またこのとき、制御部30は、センサ類5から受信したセンサ信号や、GPS6から受信したGPSデータを、2Dマップデータとともに、ストレージ35に保存する(S21)。タイムスタンプ生成部40は、制御部30からの指示を受けて、タイムスタンプを生成する。生成されたタイムスタンプは、ストレージ35に保存された2Dマップデータ、センサ信号およびGPSデータに付与される(S22)。
動作例1では、ストレージ35に記録した2Dマップデータにタイムスタンプを付与し、動作例2では、ストレージ15に記録した映像データ、並びに、ストレージ35に記録した2Dマップデータ、センサ信号およびGPSデータにタイムスタンプを付与した。ただし、ストレージ15,35に記録したデータに、タイムスタンプを付与しないようにしてもかまわない。この場合は、タイムスタンプ生成部40を省いてもかまわない。
上述の実施形態では、車両の走行経路を生成する車両走行制御装置1を例にとって説明を行ったが、本開示は、走行制御を行う装置に限られるものではない。例えば、カメラ出力から映像データを生成し、この映像データから2Dマップデータを生成する装置であればよい。この場合、別の装置が、生成された2Dマップデータを用いて、車両の走行制御を行ってもよい。
10 画像処理部
15 ストレージ(記録装置)
20 AIアクセラレータ(認識処理部)
30 制御部
35 ストレージ(記録装置)
40 タイムスタンプ生成部
Claims (4)
- 移動体の外部環境を認識する装置であって、
当該移動体に設置されたカメラの出力に対して画像処理を実行し、当該移動体の外部環境を映す映像データを生成する画像処理部と、
前記画像処理部によって生成された映像データを用いて、当該移動体の外部環境を認識する処理を行い、当該移動体の外部環境を表す3Dマップデータを生成する認識処理部と、
前記認識処理部によって生成された3Dマップデータを基にして、当該移動体の周囲の物標を示す2Dマップデータを生成し、生成した2Dマップデータを基にして、当該移動体の走行経路を生成する制御部と、
前記制御部に連結して設けられており、前記2Dマップデータを記録可能に構成された記録装置とを備え、
前記制御部は、走行経路を生成する処理の中で、所定のイベントの発生を検出したとき、生成した2Dマップデータを前記記録装置に記録する
ことを特徴とする移動体外部環境認識装置。 - 請求項1記載の移動体外部環境認識装置において、
タイムスタンプを生成するタイムスタンプ生成部を備え、
前記タイムスタンプ生成部は、前記記録装置に記録される2Dマップデータに、生成したタイムスタンプを付与する
ことを特徴とする移動体外部環境認識装置。 - 請求項2記載の移動体外部環境認識装置において、
前記タイムスタンプ生成部は、当該移動体に設けられたアクチュエータの制御クロックと同期して、前記タイムスタンプを生成する
ことを特徴とする移動体外部環境認識装置。 - 請求項1~3のうちいずれか1項記載の移動体外部環境認識装置において、
前記制御部は、当該移動体に設けられたセンサから受信したセンサ信号、および、当該移動体の外部から受信したGPSデータのうち少なくともいずれか一方を、前記2Dマップデータとともに、前記記録装置に記録する
ことを特徴とする移動体外部環境認識装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019106939A JP7371357B2 (ja) | 2019-06-07 | 2019-06-07 | 移動体外部環境認識装置 |
PCT/JP2020/011397 WO2020246103A1 (ja) | 2019-06-07 | 2020-03-16 | 移動体外部環境認識装置 |
US17/615,103 US20220230445A1 (en) | 2019-06-07 | 2020-03-16 | External environment recognition apparatus for mobile body |
EP20818794.8A EP3965075A4 (en) | 2019-06-07 | 2020-03-16 | EXTERNAL ENVIRONMENT RECOGNITION DEVICE FOR MOBILE BODY |
CN202080036974.9A CN113892130A (zh) | 2019-06-07 | 2020-03-16 | 移动体外部环境识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019106939A JP7371357B2 (ja) | 2019-06-07 | 2019-06-07 | 移動体外部環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020201628A JP2020201628A (ja) | 2020-12-17 |
JP7371357B2 true JP7371357B2 (ja) | 2023-10-31 |
Family
ID=73652012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019106939A Active JP7371357B2 (ja) | 2019-06-07 | 2019-06-07 | 移動体外部環境認識装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220230445A1 (ja) |
EP (1) | EP3965075A4 (ja) |
JP (1) | JP7371357B2 (ja) |
CN (1) | CN113892130A (ja) |
WO (1) | WO2020246103A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004224105A (ja) | 2003-01-21 | 2004-08-12 | Matsushita Electric Ind Co Ltd | ドライブレコーダ装置 |
JP2011204149A (ja) | 2010-03-26 | 2011-10-13 | Daihatsu Motor Co Ltd | 自車位置認識装置 |
JP2015225366A (ja) | 2014-05-26 | 2015-12-14 | 株式会社リコー | 事故防止システム、事故防止装置、事故防止方法 |
JP2019008528A (ja) | 2017-06-23 | 2019-01-17 | 株式会社デンソーテン | 画像記録装置及び画像記録方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2107503A1 (en) * | 2008-03-31 | 2009-10-07 | Harman Becker Automotive Systems GmbH | Method and device for generating a real time environment model for vehicles |
JP4840483B2 (ja) * | 2009-07-13 | 2011-12-21 | トヨタ自動車株式会社 | 制御目標演算装置 |
EP2393295A1 (en) * | 2010-06-07 | 2011-12-07 | Harman Becker Automotive Systems GmbH | Method and device for identifying driving situations |
JP2012209673A (ja) * | 2011-03-29 | 2012-10-25 | Sony Corp | 情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラム |
US9227568B1 (en) * | 2012-01-04 | 2016-01-05 | Spirited Eagle Enterprises LLC | System and method for managing driver sensory communication devices in a transportation vehicle |
CN102572220A (zh) * | 2012-02-28 | 2012-07-11 | 北京大学 | 3-3-2空间信息转换新模式的仿生复眼运动目标检测 |
JP2013080518A (ja) | 2013-01-10 | 2013-05-02 | Panasonic Corp | 車載用動画像データ記録装置 |
KR101582572B1 (ko) * | 2013-12-24 | 2016-01-11 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 이를 구비한 차량 |
CN105469445B (zh) * | 2015-12-08 | 2018-06-29 | 电子科技大学 | 一种步长可变地图生成方法 |
EP3944196A1 (en) * | 2016-09-16 | 2022-01-26 | Panasonic Intellectual Property Corporation of America | Three-dimensional data creation method and three-dimensional data creation device |
JP6758173B2 (ja) * | 2016-12-16 | 2020-09-23 | 株式会社クボタ | 自動走行作業車 |
CN109564709A (zh) * | 2017-05-10 | 2019-04-02 | Jvc 建伍株式会社 | 记录控制装置、记录装置、记录控制方法及记录控制程序 |
WO2019026386A1 (ja) * | 2017-07-31 | 2019-02-07 | 株式会社Jvcケンウッド | 画像記録装置、画像記録方法および画像記録プログラム |
US10262436B2 (en) * | 2017-08-25 | 2019-04-16 | Datalogic Ip Tech S.R.L. | System for multiple decode of captured images |
DE102017216267B4 (de) * | 2017-09-14 | 2020-02-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems |
-
2019
- 2019-06-07 JP JP2019106939A patent/JP7371357B2/ja active Active
-
2020
- 2020-03-16 US US17/615,103 patent/US20220230445A1/en active Pending
- 2020-03-16 WO PCT/JP2020/011397 patent/WO2020246103A1/ja unknown
- 2020-03-16 EP EP20818794.8A patent/EP3965075A4/en not_active Ceased
- 2020-03-16 CN CN202080036974.9A patent/CN113892130A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004224105A (ja) | 2003-01-21 | 2004-08-12 | Matsushita Electric Ind Co Ltd | ドライブレコーダ装置 |
JP2011204149A (ja) | 2010-03-26 | 2011-10-13 | Daihatsu Motor Co Ltd | 自車位置認識装置 |
JP2015225366A (ja) | 2014-05-26 | 2015-12-14 | 株式会社リコー | 事故防止システム、事故防止装置、事故防止方法 |
JP2019008528A (ja) | 2017-06-23 | 2019-01-17 | 株式会社デンソーテン | 画像記録装置及び画像記録方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3965075A4 (en) | 2022-08-03 |
EP3965075A1 (en) | 2022-03-09 |
CN113892130A (zh) | 2022-01-04 |
WO2020246103A1 (ja) | 2020-12-10 |
JP2020201628A (ja) | 2020-12-17 |
US20220230445A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010198552A (ja) | 運転状況監視装置 | |
WO2021041196A1 (en) | Audio data augmentation for machine learning object classification | |
JP2019053376A (ja) | 車両用画像記録装置、車両用画像記録方法および車両用画像記録プログラム | |
US9020696B2 (en) | Event data recorder having traffic monitoring and warning function within safe range | |
US11245909B2 (en) | Timestamp and metadata processing for video compression in autonomous driving vehicles | |
US11321574B2 (en) | Video recording control device, video recording system, video recording method, and non-transitory storage medium | |
CN206209911U (zh) | 具有智能的行车纪录器 | |
US20150326782A1 (en) | Around view system | |
JP6677474B2 (ja) | 周辺認識装置 | |
US11338823B2 (en) | Multiple sensor data storage with compressed video stream in autonomous driving vehicles | |
JPWO2018150888A1 (ja) | 情報記録装置、情報記録方法及び情報記録用プログラム | |
WO2014136378A1 (ja) | 車外画像保存システム、車外画像保存装置、及び車車間通信装置 | |
JP7371357B2 (ja) | 移動体外部環境認識装置 | |
US20240046409A1 (en) | Object detection using planar homography and self-supervised scene structure understanding | |
JP6244129B2 (ja) | 車載器 | |
JP7306076B2 (ja) | 移動体外部環境認識装置 | |
US20230020415A1 (en) | Vehicle control system, vehicle integrated control device, electronic control device, network communication device, vehicle control method and computer readable medium | |
JP2019200481A (ja) | 端末装置および収集方法 | |
KR101788663B1 (ko) | 초음파 센서와 영상 센서의 데이터 통합처리 시스템 | |
JP2022136534A (ja) | 画像記録装置 | |
JP7205049B2 (ja) | 移動ベクトル算出方法及び移動ベクトル算出装置 | |
JP2014154135A (ja) | 衝突防止システムと画像記録装置の接続方法 | |
CN117894095A (zh) | 用于记录车辆数据的方法和数据记录系统 | |
JP2023040483A (ja) | 記録制御装置 | |
CN112805716A (zh) | 用于训练事件检测器的快照图像 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7371357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |