JP7374001B2 - 学習モデルの生成方法、プログラム及び情報処理装置 - Google Patents
学習モデルの生成方法、プログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP7374001B2 JP7374001B2 JP2020004562A JP2020004562A JP7374001B2 JP 7374001 B2 JP7374001 B2 JP 7374001B2 JP 2020004562 A JP2020004562 A JP 2020004562A JP 2020004562 A JP2020004562 A JP 2020004562A JP 7374001 B2 JP7374001 B2 JP 7374001B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- target object
- learning model
- time
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 68
- 230000010365 information processing Effects 0.000 title claims description 52
- 238000000605 extraction Methods 0.000 claims description 115
- 238000001514 detection method Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
図1は、第1実施形態における学習モデル生成システム100の概要図である。学習モデル生成システム100は、情報処理装置1、移動体2の制御ユニット200及び撮像装置31を含む。情報処理装置1及び制御ユニット200は例えばインターネット又は公衆回線網等のネットワークN1を介して通信可能に接続されている。
第2実施形態では、撮像画像に応じた各種の情報に基づき、n及びmの値が決定される。以下では、第2実施形態について、第1実施形態と異なる点を説明する。後述する構成を除く他の構成については第1実施形態の学習モデル生成システム100と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。第2実施形態における情報処理装置1は、制御ユニット200から、移動体の速度及び撮像画像のフレームレート等を含む付加情報と、撮像装置31により撮影された動画とを受信する。
第3実施形態では、学習モデルを用いて推定した対象物に関する情報を提供する。図13は、第3実施形態における推定システム110の構成例を示すブロック図である。以下では、第3実施形態について、第1実施形態と異なる点を説明する。後述する構成を除く他の構成については第1実施形態の学習モデル生成システム100と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。推定システム110は、移動体2の制御ユニット200及び撮像装置31を含む。
第4実施形態では、撮像画像に応じた検出精度及び移動速度を取得し、n及びmの値を決定する。以下では、第4実施形態について、第3実施形態と異なる点を説明する。後述する構成を除く他の構成については第3実施形態の推定システム110と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
2 移動体
200 制御ユニット
31 撮像装置
32 表示装置
10,20 制御部
11,21 記憶部
1P,2P プログラム
1M 学習モデル
Claims (16)
- 移動体に載置される撮像装置により撮像された対象物を含む撮像画像を取得し、
前記対象物を抽出した複数の対象物抽出画像を前記撮像画像に関連付けて取得し、
取得した撮像画像及び複数の対象物抽出画像と対象物に関する情報とを含む訓練データに基づき、撮像画像及び複数の対象物抽出画像を入力した場合に対象物に関する情報を出力する学習モデルを生成する
学習モデルの生成方法。 - 前記撮像画像及び該撮像画像と時系列で隣接する撮像画像それぞれから前記対象物を抽出した複数の2値化画像を取得する
請求項1に記載の学習モデルの生成方法。 - 移動体の走行路を示す白線を含む撮像画像を取得し、
前記白線を抽出した複数の白線抽出画像を前記撮像画像に関連付けて取得し、
取得した撮像画像及び複数の白線抽出画像と、前記移動体が所在する走行路における位置とを含む訓練データに基づき、移動体の走行路を示す白線を含む撮像画像及び前記白線を抽出した複数の白線抽出画像を入力した場合に、移動体が所在する走行路における位置を出力する前記学習モデルを生成する
請求項1又は請求項2に記載の学習モデルの生成方法。 - 第1時刻における撮像画像と、前記第1時刻及び該第1時刻の前後複数の時刻における複数の対象物抽出画像とを取得し、
取得した第1時刻及び該第1時刻の前後複数の時刻における複数の対象物抽出画像並びに前記第1時刻における撮像画像と、対象物に関する情報とを含む訓練データに基づき、前記学習モデルを生成する
請求項1から請求項3のいずれか1項に記載の学習モデルの生成方法。 - 前記第1時刻における対象物抽出画像に含まれる対象物の検出精度に基づき、前記対象物抽出画像の数を決定する
請求項4に記載の学習モデルの生成方法。 - 前記第1時刻における撮像画像と、前記第1時刻及び該第1時刻の前後複数の時刻における複数の対象物抽出画像とで構成されるデータユニットを含む、前記第1時刻及び該第1時刻の前後複数の時刻における複数のデータユニットにおける撮像画像及び複数の対象物抽出画像を取得し、
取得した複数のデータユニットにおける撮像画像及び複数の対象物抽出画像と対象物に関する情報とを含む訓練データに基づき、複数のデータユニットにおける撮像画像及び複数の対象物抽出画像を入力した場合に対象物に関する情報を出力する前記学習モデルを生成する
請求項4又は請求項5に記載の学習モデルの生成方法。 - 前記第1時刻における前記移動体の移動速度及び前記撮像画像のフレームレートに基づき前記データユニットの数を決定する
請求項6に記載の学習モデルの生成方法。 - 移動体に載置される撮像装置により撮像された対象物を含む撮像画像を取得し、
前記対象物を抽出した複数の対象物抽出画像を前記撮像画像に関連付けて取得し、
撮像画像及び複数の対象物抽出画像と対象物に関する情報とを含む訓練データに基づき、撮像画像及び複数の対象物抽出画像を入力した場合に対象物に関する情報を出力するよう学習された学習モデルに、取得した撮像画像及び複数の対象物抽出画像を入力して、前記対象物に関する情報を出力する
処理をコンピュータに実行させるためのプログラム。 - 前記撮像画像及び該撮像画像と時系列で隣接する撮像画像それぞれから前記対象物を抽出した複数の2値化画像を取得する
処理をコンピュータに実行させるための請求項8に記載のプログラム。 - 移動体の走行路を示す白線を含む撮像画像を取得し、
前記白線を抽出した複数の白線抽出画像を前記撮像画像に関連付けて取得し、
撮像画像及び複数の白線抽出画像と、前記移動体が所在する走行路における位置とを含む訓練データに基づき、移動体の走行路を示す白線を含む撮像画像及び前記白線を抽出した複数の白線抽出画像を入力した場合に、移動体が所在する走行路における位置を出力するよう学習された前記学習モデルに、取得した移動体の走行路を示す白線を含む撮像画像及び前記白線を抽出した複数の白線抽出画像を入力して、前記移動体が所在する走行路における位置を出力する
処理をコンピュータに実行させるための請求項8又は請求項9に記載のプログラム。 - 前記学習モデルは、第1時刻及び該第1時刻の前後複数の時刻における複数の対象物抽出画像並びに前記第1時刻における撮像画像と、対象物に関する情報とを含む訓練データに基づき学習されている
請求項8から請求項10のいずれか1項に記載のプログラム。 - 第1時刻における対象物抽出画像に含まれる対象物の検出精度を取得し、
検出精度に応じて用意された複数種類の前記学習モデルから、取得した検出精度に対応する学習モデルを選択する
処理をコンピュータに実行させるための請求項11に記載のプログラム。 - 前記第1時刻における撮像画像と、前記第1時刻及び該第1時刻の前後複数の時刻における複数の対象物抽出画像とで構成されるデータユニットを含む、前記第1時刻及び該第1時刻の前後複数の時刻における複数のデータユニットにおける撮像画像及び複数の対象物抽出画像を取得し、
複数のデータユニットにおける撮像画像及び複数の対象物抽出画像と対象物に関する情報とを含む訓練データに基づき、複数のデータユニットにおける撮像画像及び複数の対象物抽出画像を入力した場合に対象物に関する情報を出力するよう学習された前記学習モデルに、取得した複数のデータユニットにおける撮像画像及び複数の対象物抽出画像を入力して、前記対象物に関する情報を出力する
処理をコンピュータに実行させるための請求項11又は請求項12のいずれか1項に記載のプログラム。 - 前記第1時刻における前記移動体の移動速度及び前記撮像画像のフレームレートを取得し、
移動速度及びフレームレートに応じて用意された複数種類の前記学習モデルから、取得した移動速度及びフレームレートに対応する学習モデルを選択する
処理をコンピュータに実行させるための請求項13に記載のプログラム。 - 移動体に載置される撮像装置により撮像された対象物を含む撮像画像を取得する第1取得部と、
前記対象物を抽出した複数の対象物抽出画像を前記撮像画像に関連付けて取得する第2取得部と、
前記第1取得部が取得した撮像画像及び前記第2取得部が取得した複数の対象物抽出画像と、対象物に関する情報とを含む訓練データに基づき、撮像画像及び複数の対象物抽出画像を入力した場合に対象物に関する情報を出力する学習モデルを生成する生成部と
を備える情報処理装置。 - 移動体に載置される撮像装置により撮像された対象物を含む撮像画像を取得する第1取得部と、
前記対象物を抽出した複数の対象物抽出画像を前記撮像画像に関連付けて取得する第2取得部と、
撮像画像及び複数の対象物抽出画像と対象物に関する情報とを含む訓練データに基づき、撮像画像及び複数の対象物抽出画像を入力した場合に対象物に関する情報を出力するよう学習された学習モデルと、
前記学習モデルに、前記第1取得部が取得した撮像画像及び前記第2取得部が取得した複数の対象物抽出画像を入力して、前記対象物に関する情報を出力する出力部と
を備える情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020004562A JP7374001B2 (ja) | 2020-01-15 | 2020-01-15 | 学習モデルの生成方法、プログラム及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020004562A JP7374001B2 (ja) | 2020-01-15 | 2020-01-15 | 学習モデルの生成方法、プログラム及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021111273A JP2021111273A (ja) | 2021-08-02 |
JP7374001B2 true JP7374001B2 (ja) | 2023-11-06 |
Family
ID=77060032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020004562A Active JP7374001B2 (ja) | 2020-01-15 | 2020-01-15 | 学習モデルの生成方法、プログラム及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7374001B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4367912A1 (en) | 2021-07-05 | 2024-05-15 | Ricoh Company, Ltd. | Communication apparatus, communication method, and storage medium |
JP2023071336A (ja) * | 2021-11-11 | 2023-05-23 | パナソニックIpマネジメント株式会社 | 車載装置、情報処理装置、センサデータ送信方法、および情報処理方法 |
WO2024013933A1 (ja) * | 2022-07-14 | 2024-01-18 | 日本電気株式会社 | 映像処理システム、映像処理装置及び映像処理方法 |
WO2024013936A1 (ja) * | 2022-07-14 | 2024-01-18 | 日本電気株式会社 | 映像処理システム、映像処理装置及び映像処理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019164611A (ja) | 2018-03-20 | 2019-09-26 | アイシン・エィ・ダブリュ株式会社 | 走行支援装置及びコンピュータプログラム |
JP2019194751A (ja) | 2018-05-01 | 2019-11-07 | 住友電気工業株式会社 | 車線情報処理装置、車線識別システム、車線情報処理方法および車線情報処理プログラム |
-
2020
- 2020-01-15 JP JP2020004562A patent/JP7374001B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019164611A (ja) | 2018-03-20 | 2019-09-26 | アイシン・エィ・ダブリュ株式会社 | 走行支援装置及びコンピュータプログラム |
JP2019194751A (ja) | 2018-05-01 | 2019-11-07 | 住友電気工業株式会社 | 車線情報処理装置、車線識別システム、車線情報処理方法および車線情報処理プログラム |
Non-Patent Citations (1)
Title |
---|
築澤宗太郎,外3名,自動運転向けディープラーニング障害物検出,パナソニック技報,2017年05月,Vol.63,No.1 |
Also Published As
Publication number | Publication date |
---|---|
JP2021111273A (ja) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7374001B2 (ja) | 学習モデルの生成方法、プログラム及び情報処理装置 | |
JP6709283B2 (ja) | 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 | |
CN111368788B (zh) | 图像识别模型的训练方法、装置及电子设备 | |
US20220139070A1 (en) | Learning apparatus, estimation apparatus, data generation apparatus, learning method, and computer-readable storage medium storing a learning program | |
JP6766844B2 (ja) | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 | |
CN108334081A (zh) | 用于对象检测的循环深度卷积神经网络 | |
JP2020052694A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
CN108256431B (zh) | 一种手部位置标识方法及装置 | |
CN108388834A (zh) | 利用循环神经网络和级联特征映射的对象检测 | |
CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
CN108725440A (zh) | 前向碰撞控制方法和装置、电子设备、程序和介质 | |
CN109740590B (zh) | 基于目标跟踪辅助的roi精确提取方法及系统 | |
JP2002373332A (ja) | 画像認識装置および画像認識方法 | |
CN110889421A (zh) | 目标物检测方法及装置 | |
CN113343985B (zh) | 车牌识别方法和装置 | |
JP7518609B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20230104196A1 (en) | Device and a Method for Processing Data Sequences Using a Convolutional Neural Network | |
US20170076468A1 (en) | Method and system for tracking objects between cameras | |
JP2020149086A (ja) | 学習用データ生成装置、学習用データ生成方法、および学習用データ生成プログラム | |
Arthi et al. | Object detection of autonomous vehicles under adverse weather conditions | |
CN117237912A (zh) | 目标检测模型的训练方法、装置、计算机设备及存储介质 | |
CN112614156A (zh) | 一种多目标跟踪网络模型的训练方法、装置及相关设备 | |
CN116664873A (zh) | 图像信息处理方法、装置及存储介质 | |
US20230169797A1 (en) | Traffic hand signal detection system and method thereof | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7374001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |