JP7353389B2 - 複雑な道路の活字のシーン属性注釈 - Google Patents
複雑な道路の活字のシーン属性注釈 Download PDFInfo
- Publication number
- JP7353389B2 JP7353389B2 JP2021564865A JP2021564865A JP7353389B2 JP 7353389 B2 JP7353389 B2 JP 7353389B2 JP 2021564865 A JP2021564865 A JP 2021564865A JP 2021564865 A JP2021564865 A JP 2021564865A JP 7353389 B2 JP7353389 B2 JP 7353389B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- road
- scene
- image
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 17
- 238000013145 classification model Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims 6
- 230000004044 response Effects 0.000 claims 3
- 230000015654 memory Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本出願は、2019年6月13日に出願された米国仮特許出願第62/860,874号および2020年6月2日に出願された米国実用特許出願第16/890,123号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
関連技術の説明
ブロック603において、この方法は、例えば、図4の属性設定406のような属性設定のセットに、画像402に描かれた道路シーンを表す値を加えることを含む。図1に示すニューラルネットワーク126のような機械学習モデルは、例えば、ブロック601で受信された画像402および奥行きデータを分析し、属性設定406の属性値を提供するように実施することができる。モデル訓練環境では、機械学習モデル126によって提供される属性値は、最初は正しくないことがある。しかしながら、機械学習モデル126が学習するにつれて、機械学習モデル126によって提供される属性値はより正確になる。
Claims (15)
- 道路タイポロジシーン注釈のためのコンピュータ化された方法であって、
撮像装置から道路シーンを含む画像を受信すること(601)と、
機械学習モデルを使用して、前記道路シーンを表す値を属性設定のセットに入力すること(603)と、
前記道路シーンに対応するように前記属性設定の値を調整するように構成された注釈インタフェースを実装すること(605)と、
前記属性設定の値に基づいて、それぞれの道路シーンのシミュレートされたオーバーヘッドビューを生成すること(607)とを含み、
前記属性設定の少なくとも2つの属性が関連付けられ、
前記2つの関連付けられた属性の第2の属性に割り当てられた値に基づいて、前記2つの関連付けられた属性の第1の属性の許容可能な値を制約することをさらに含み、前記第1の属性の前記許容可能な値は、前記第2の属性の前記値への変化に応答して変化する、道路タイポロジシーン注釈のためのコンピュータ化された方法。 - 前記属性設定の手動で調整された値に基づいて、前記機械学習モデルを調整することをさらに含む、請求項1に記載のコンピュータ化された方法。
- 距離測定値を、前記画像に示される前記道路シーンに関連付けることをさらに含む、請求項1に記載のコンピュータ化された方法。
- 前記距離測定値は、光検出および測距(LIDAR)システムを使用して記録される、請求項3に記載のコンピュータ化された方法。
- 前記距離測定値は、前記画像に重ね合わされて合成画像を形成し、前記合成画像は、前記インタフェースに表示される、請求項3に記載のコンピュータ化された方法。
- 道路タイポロジシーン注釈のためのシステムであって、
コンピュータ可読命令を具体化する非一時的コンピュータ可読記憶媒体(110)と、
前記コンピュータ可読命令に基づいて分類モデル(126)を実装するように構成されたプロセッサ装置(104)とを含み、前記プロセッサはさらに、
撮像装置(160)から道路シーンを含む画像を受信し、
前記分類モデルを使用して、属性設定のセット(130)に前記道路シーンを表す値を入力し、
前記道路シーンに対応するように前記属性設定の値を調整するように構成された注釈インタフェース(128)を実装し、
前記属性設定の値に基づいて、それぞれの道路シーンのシミュレートされたオーバーヘッドビュー(404)を生成するように構成され、
前記属性設定の少なくとも2つの属性が関連付けられ、
前記プロセッサは、前記2つの関連付けられた属性の第2の属性に割り当てられた値に基づいて、前記2つの関連付けられた属性の第1の属性の許容可能な値を制約するようにさらに構成され、
前記第1の属性の許容可能な値は、前記第2の属性の前記値への変化に応じて変化する、システム。 - 前記プロセッサは、前記属性設定の手動で調整された値に基づいて、前記分類モデルを調整するようにさらに構成される、請求項6に記載のシステム。
- 前記プロセッサは、距離測定値を前記画像に示される前記道路シーンに関連付けるようにさらに構成される、請求項6に記載のシステム。
- 前記距離測定値は、光検出および測距(LIDAR)システムを使用して記録される、請求項8に記載のシステム。
- 前記距離測定値は、前記画像に重ね合わされて合成画像を形成し、前記合成画像は、前記インタフェースに表示される、請求項8に記載のシステム。
- 道路タイポロジシーン注釈のためのコンピュータ可読プログラムを備えた非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムがコンピュータ上で実行されるときに、前記コンピュータに、
道路シーンを含む画像の受信すること(601)と、
機械学習モデルを使用して、前記道路シーンを表す値を属性設定のセットに入力すること(603)と、
前記道路シーンに対応するように前記属性設定の値を調整するように構成されたインタフェースを実装すること(605)と、
前記属性設定の値に基づいて、それぞれの道路シーンのシミュレートされたオーバーヘッドビューを生成すること(607)とを含む方法を実行させ、
前記属性設定の少なくとも2つの属性が関連付けられ、前記2つの関連付けられた属性の第2の属性に割り当てられた値に基づいて、前記2つの関連付けられた属性の第1の属性の許容可能な値を制約することをさらに含み、前記第1の属性の許容可能な値は、前記第2の属性の前記値への変化に応じて変化する、非一時的コンピュータ可読記憶媒体。 - 前記属性設定の手動で調整された値に基づいて、前記機械学習モデルを調整することをさらに含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
- 距離測定値を、前記画像に示される前記道路シーンに関連付けることをさらに含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
- 前記距離測定値は、光検出および測距(LIDAR)システムを使用して記録される、請求項13に記載の非一時的コンピュータ可読記憶媒体。
- 前記距離測定値は、前記画像に重ね合わされて合成画像を形成し、前記合成画像は、前記インタフェースに表示される、請求項13に記載の非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962860874P | 2019-06-13 | 2019-06-13 | |
US62/860,874 | 2019-06-13 | ||
US16/890,123 | 2020-06-02 | ||
US16/890,123 US11468591B2 (en) | 2019-06-13 | 2020-06-02 | Scene attribute annotation of complex road typographies |
PCT/US2020/035804 WO2020251811A1 (en) | 2019-06-13 | 2020-06-03 | Scene attribute annotation of complex road typographies |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022531361A JP2022531361A (ja) | 2022-07-06 |
JP7353389B2 true JP7353389B2 (ja) | 2023-09-29 |
Family
ID=73745123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564865A Active JP7353389B2 (ja) | 2019-06-13 | 2020-06-03 | 複雑な道路の活字のシーン属性注釈 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11468591B2 (ja) |
JP (1) | JP7353389B2 (ja) |
DE (1) | DE112020002874T5 (ja) |
WO (1) | WO2020251811A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11340624B2 (en) * | 2019-08-29 | 2022-05-24 | Ford Global Technologies, Llc | Vehicle neural network |
US11417097B2 (en) * | 2020-09-02 | 2022-08-16 | Hewlett Packard Enterprise Development Lp | Video annotation system for deep learning based video analytics |
DE102021201912A1 (de) | 2021-03-01 | 2022-09-01 | Siemens Healthcare Gmbh | Verfahren zur Bereitstellung eines Metadaten-Attributs, das mit einem medizinischen Bild assoziiert ist |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180373980A1 (en) | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9563951B2 (en) * | 2013-05-21 | 2017-02-07 | Magna Electronics Inc. | Vehicle vision system with targetless camera calibration |
US9811756B2 (en) * | 2015-02-23 | 2017-11-07 | Mitsubishi Electric Research Laboratories, Inc. | Method for labeling images of street scenes |
KR102372296B1 (ko) * | 2015-11-12 | 2022-03-08 | 현대모비스 주식회사 | 영상 기반 주행 차로 판단 장치 및 방법 |
WO2018035058A1 (en) * | 2016-08-15 | 2018-02-22 | University Of Southern California | Latent space model for road networks to predict time-varying traffic |
EP3551967A2 (en) * | 2016-12-09 | 2019-10-16 | TomTom Global Content B.V. | Method and system for video-based positioning and mapping |
US10528823B2 (en) * | 2017-11-27 | 2020-01-07 | TuSimple | System and method for large-scale lane marking detection using multimodal sensor data |
US10175697B1 (en) | 2017-12-21 | 2019-01-08 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
US10817750B2 (en) * | 2018-04-09 | 2020-10-27 | Diveplane Corporation | Data inclusion in computer-based reasoning models |
US11868136B2 (en) * | 2019-12-19 | 2024-01-09 | Woven By Toyota, U.S., Inc. | Geolocalized models for perception, prediction, or planning |
US11554790B2 (en) * | 2020-05-08 | 2023-01-17 | Zoox, Inc. | Trajectory classification |
-
2020
- 2020-06-02 US US16/890,123 patent/US11468591B2/en active Active
- 2020-06-03 WO PCT/US2020/035804 patent/WO2020251811A1/en active Application Filing
- 2020-06-03 DE DE112020002874.7T patent/DE112020002874T5/de active Pending
- 2020-06-03 JP JP2021564865A patent/JP7353389B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180373980A1 (en) | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
Also Published As
Publication number | Publication date |
---|---|
US20200394814A1 (en) | 2020-12-17 |
US11468591B2 (en) | 2022-10-11 |
DE112020002874T5 (de) | 2022-03-10 |
WO2020251811A1 (en) | 2020-12-17 |
JP2022531361A (ja) | 2022-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11772663B2 (en) | Neural network based modeling and simulation of non-stationary traffic objects for testing and development of autonomous vehicle systems | |
JP7353389B2 (ja) | 複雑な道路の活字のシーン属性注釈 | |
CN111874006B (zh) | 路线规划处理方法和装置 | |
US10849543B2 (en) | Focus-based tagging of sensor data | |
KR20190132404A (ko) | 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출 | |
CN109725634A (zh) | 用于自动驾驶车辆的使用分色镜的3d lidar系统 | |
CN110914641A (zh) | 自主导航的导航信息的融合构架和分批对齐 | |
CN106503653A (zh) | 区域标注方法、装置和电子设备 | |
JP2021528798A (ja) | 場面のパラメトリック上面視表現 | |
WO2021133964A1 (en) | Systems and methods for presenting a reconstructed representation of a moving object detected in a scene | |
US11610409B2 (en) | Systems and methods for computer-based labeling of sensor data captured by a vehicle | |
KR102565573B1 (ko) | 서브시스템 성능 평가를 위한 메트릭 역전파 | |
CN103770704A (zh) | 用于识别车辆的停车位标志线的系统和方法 | |
KR20190052374A (ko) | 컨텐츠 시각화 장치 및 방법 | |
US11748998B1 (en) | Three-dimensional object estimation using two-dimensional annotations | |
CN111094095A (zh) | 自动地接收行驶信号 | |
US11518413B2 (en) | Navigation of autonomous vehicles using turn aware machine learning based models for prediction of behavior of a traffic entity | |
CN116529784A (zh) | 用于增加激光雷达数据的方法和系统 | |
US20110069087A1 (en) | Method of and computer implemented system for generating a junction view image | |
CN116420096A (zh) | 用于标记lidar点云数据的方法和系统 | |
KR102065693B1 (ko) | 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템 | |
US11465620B1 (en) | Lane generation | |
CN114729810A (zh) | 人行横道检测 | |
Arvanitis et al. | Cooperative saliency-based obstacle detection and ar rendering for increased situational awareness | |
JP6487545B2 (ja) | 認知度算出装置、認知度算出方法及び認知度算出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7353389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |