JP2023513385A - 画像分類器を評価するための方法及び装置 - Google Patents
画像分類器を評価するための方法及び装置 Download PDFInfo
- Publication number
- JP2023513385A JP2023513385A JP2022549288A JP2022549288A JP2023513385A JP 2023513385 A JP2023513385 A JP 2023513385A JP 2022549288 A JP2022549288 A JP 2022549288A JP 2022549288 A JP2022549288 A JP 2022549288A JP 2023513385 A JP2023513385 A JP 2023513385A
- Authority
- JP
- Japan
- Prior art keywords
- image
- classifier
- robot
- image classifier
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 15
- 230000008901 benefit Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 241000282412 Homo Species 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- XDDAORKBJWWYJS-UHFFFAOYSA-N glyphosate Chemical compound OC(=O)CNCP(O)(O)=O XDDAORKBJWWYJS-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Abstract
Description
Matthias Althoff著の学術論文「Reachability Analysis and its Application to the Safety Assessment of Auto-nomous Cars(ミュンヘン工科大学、2010年)」には、自律型車両の到達可能領域を特定するための方法が開示されている。
画像分類器は、少なくとも部分的に自律型及び/又は可動型のロボットを動作させるための鍵となる技術を成している。データから学習させられた画像分類器、特にニューラルネットワークは、現在のところ、最良の分類性能をもたらすということが判明している。
第1の態様によれば、本発明は、画像分類器を評価するためのコンピュータ実装による方法に取り組むものであって、少なくとも部分的に自律型のロボット(100、220)を制御するために、画像分類器の分類器出力が供給され、この評価方法は、以下のステップ、即ち、
・第1のデータセットを求めるステップ(300)であって、この第1のデータセットは複数の画像を含み、これら複数の画像にアノテーションが割り当てられており、これらのアノテーションは、個々の画像において描写されたシーン、及び/又は、分類されるべき画像領域、及び/又は、ロボット(100、220)の運動情報に関する情報を含むステップ(300)と、
・アノテーションに基づき、ロボット(100、220)により到達可能なシーンの領域(212)を求めるステップ(301)と、
・画像分類器により分類されるべき画像領域について関係値を求めるステップ(302)と、
・画像分類器により、第1の画像データセットの画像を分類するステップ(303)と、
・画像分類器(60)により正しく分類された画像領域と、誤って分類された画像領域と、対応する画像領域の計算された関係値とに基づき、画像分類器を評価するステップ(304)と、
を含む。
・物体の立体情報を求めるステップと、
・求められた立体情報に基づき、到達可能領域に対する物体ポジションの関係を特定するステップと、
・この関係に基づき関係値を求めるステップと、
を含む、ということである。
・評価量が予め定められた評価閾値よりも悪い場合には、第2の画像データセットに基づき画像分類器を再トレーニングするステップ
を含む、ということである。
図1には、画像分類器(60)を評価するための方法のフローチャートが示されている。この実施例によれば、画像分類器(60)は、これが高速道路状況において車両を認識し得るように構成されており、ここで、分類器出力(y)には、バウンディングボックスが含まれる。
Claims (12)
- 画像分類器(60)を評価するためのコンピュータ実装による方法であって、
少なくとも部分的に自律型のロボット(100、220)を制御するために、前記画像分類器(60)の分類器出力(y)が供給され、評価するための前記方法は、以下のステップ、即ち、
・第1のデータセットを求めるステップ(300)であって、前記第1のデータセットは複数の画像を含み、前記複数の画像にアノテーションが割り当てられており、前記アノテーションは、個々の前記画像において描写されたシーン、及び/又は、分類されるべき画像領域、及び/又は、前記ロボット(100、220)の運動情報に関する情報を含む、ステップ(300)と、
・前記アノテーションに基づき、前記ロボット(100、220)により到達可能な前記シーンの領域(212)を求めるステップ(301)と、
・前記画像分類器により分類されるべき画像領域について関係値を求めるステップ(302)と、
・前記画像分類器により、第1の画像データセットの画像データを分類するステップ(303)と、
・前記画像分類器(60)により正しく分類された画像領域と、誤って分類された画像領域と、対応する前記画像領域の計算された前記関係値とに基づき、前記画像分類器を評価するステップ(304)と、
を含む、
コンピュータ実装による方法。 - 分類されるべき前記画像領域は、それぞれ1つの物体(210)に対応づけられる、
請求項1に記載の方法。 - 前記ロボット(100、220)により到達可能な前記領域を求めるステップ(301)は、前記ロボット(100、220)の運動情報に基づく、
請求項1又は2に記載の方法。 - 前記関係値を求めるステップ(302)は、以下のステップ、即ち、
・前記物体(210)の立体情報を求めるステップと、
・前記立体情報に基づき、到達可能領域(212)に対する物体ポジションの関係を特定するステップと、
・前記関係に基づき関係値を求めるステップと、
を含む、
請求項1から3までのいずれか1項に記載の方法。 - 前記画像分類器を評価するステップ(304)は、評価量を特定するステップを含み、さらに、前記画像分類器(60)を評価するための前記方法は、以下の付加的なステップ、即ち、
・前記評価量が予め定められた評価閾値よりも悪い場合には、第2の画像データセットに基づき前記画像分類器(60)を再トレーニングするステップ(305)
を含む、
請求項1から4までのいずれか1項に記載の方法。 - 予め定められた回数の反復が実施されるまで、及び/又は、前記予め定められた評価閾値よりも小さくなるまで、前記ステップを反復して繰り返す、
請求項5に記載の方法。 - 前記画像分類器(60)の前記再トレーニングを、前記第2の画像データセットの画像領域の関係値に基づき実施する、
請求項5又は6に記載の方法。 - 画像分類器(60)を動作させるためのコンピュータ実装による方法であって、
前記画像分類器(60)は、請求項1から5までのいずれか1項に従って評価されており、又は、請求項5から7までのいずれか1項に従って再トレーニングされている、
コンピュータ実装による方法。 - 少なくとも部分的に自律型のロボットを制御するための制御システム(40)であって、
当該制御システム(40)は、請求項1から7までのいずれか1項に記載の画像分類器(60)を含み、
さらに当該制御システム(40)は、センサ(30)のセンサ信号(S)に基づき画像データ(x)を前記画像分類器(60)に引き渡し、及び/又は、
分類器出力(y)に基づき制御信号(A)が求められ、前記制御信号(A)は、前記ロボットのアクチュエータ(10)を制御するために用いられる、
制御システム(40)。 - 請求項5から7までのいずれか1項に記載の方法を実施するように構成されているトレーニング装置。
- 請求項1から7までのいずれか1項に記載の方法を実施するために構成されているコンピュータプログラム。
- 請求項11に記載のコンピュータプログラムが記憶されている機械可読記憶媒体(46)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020201939.8 | 2020-02-17 | ||
DE102020201939.8A DE102020201939A1 (de) | 2020-02-17 | 2020-02-17 | Verfahren und Vorrichtung zur Bewertung eines Bildklassifikators |
PCT/EP2021/052931 WO2021165077A1 (de) | 2020-02-17 | 2021-02-08 | Verfahren und vorrichtung zur bewertung eines bildklassifikators |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023513385A true JP2023513385A (ja) | 2023-03-30 |
JPWO2021165077A5 JPWO2021165077A5 (ja) | 2023-09-27 |
JP7473663B2 JP7473663B2 (ja) | 2024-04-23 |
Family
ID=
Also Published As
Publication number | Publication date |
---|---|
US20230038337A1 (en) | 2023-02-09 |
CN115104132A (zh) | 2022-09-23 |
WO2021165077A1 (de) | 2021-08-26 |
DE102020201939A1 (de) | 2021-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3405845B1 (en) | Object-focused active three-dimensional reconstruction | |
US11694432B2 (en) | System and method for augmenting a visual output from a robotic device | |
JP5782088B2 (ja) | 歪みのあるカメラ画像を補正するシステム及び方法 | |
KR20160135482A (ko) | 동적 장애물 움직임 예측 장치 및 그 방법 | |
CN105719311A (zh) | 用于检测目标的车辆系统及其操作方法 | |
EP3913527A1 (en) | Method and device for performing behavior prediction by using explainable self-focused attention | |
US20230038337A1 (en) | Method and device for evaluating an image classifier | |
JP2023010697A (ja) | 異常検出及びセグメンテーションのための対比予測符号化 | |
TW202213015A (zh) | 自走車導航裝置及其方法 | |
Manglik et al. | Future near-collision prediction from monocular video: Feasibility, dataset, and challenges | |
JP2023010698A (ja) | 局所ニューラル変換を用いた異常領域検出 | |
CN115439401A (zh) | 用于深度神经网络的图像标注 | |
Puls et al. | Cognitive robotics in industrial environments | |
Vitor et al. | Stereo vision for dynamic urban environment perception using semantic context in evidential grid | |
Rodrigues et al. | Modeling and assessing an intelligent system for safety in human-robot collaboration using deep and machine learning techniques | |
CN116523823A (zh) | 用于半监督对象检测的鲁棒伪标签生成的系统和方法 | |
JP7473663B2 (ja) | 画像分類器を評価するための方法及び装置 | |
CN116523952A (zh) | 利用2d和3d逐点特征估计6d目标姿态 | |
JP2021197184A (ja) | 分類器を訓練及びテストするためのデバイス及び方法 | |
CN115482442A (zh) | 多模态融合模型对单源对抗的防御 | |
CN114092899A (zh) | 从输入数据中识别对象的方法和设备 | |
Memon et al. | Self-driving car using lidar sensing and image processing | |
US20240046659A1 (en) | Method for detecting an environment by means of images from at least two image sensors | |
US20230303084A1 (en) | Systems and methods for multi-modal data augmentation for perception tasks in autonomous driving | |
WO2023219008A1 (ja) | 評価方法、プログラム、及び、評価システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20230919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240411 |