JP6972444B1 - 信頼度判定装置および信頼度判定方法 - Google Patents
信頼度判定装置および信頼度判定方法 Download PDFInfo
- Publication number
- JP6972444B1 JP6972444B1 JP2021541630A JP2021541630A JP6972444B1 JP 6972444 B1 JP6972444 B1 JP 6972444B1 JP 2021541630 A JP2021541630 A JP 2021541630A JP 2021541630 A JP2021541630 A JP 2021541630A JP 6972444 B1 JP6972444 B1 JP 6972444B1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- abstraction
- feature amount
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 230000007613 environmental effect Effects 0.000 claims description 34
- 239000002131 composite material Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 14
- 241000196324 Embryophyta Species 0.000 description 11
- 241001465754 Metazoa Species 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000873 masking effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
一方、ニューラルネットワークは、一般に、学習に用いられた学習データと類似性が低いデータ(以下「学習範囲外のデータ」という。)に対しては、正答率が低下することが知られている。したがって、ニューラルネットワークによる推論結果を使用する場合は、ニューラルネットワークの入力とした入力データが学習データと類似性が高い(以下「学習範囲内のデータ」という。)データであるか否かが判定されていることが重要である。学習範囲内ではないデータ、言い換えれば、学習範囲外のデータ、を入力とした推論結果は、信頼に足るものではないと想定されるためである。
そこで、従来、学習済みの自己符号化器を用いて、ニューラルネットワークの入力データが学習範囲内のデータか否かを判定する技術が知られている(例えば、特許文献1)。
自己符号化器は、入力層と出力層に同じデータを用いて教師あり学習させたものであり、入力の性質をよくあらわす低次元の特徴量を得る。自己符号化器に与えた入力データが学習範囲内のデータであれば、当該入力データに類似する出力データが得られる。そのため、自己符号化器を用いれば、入力データと出力データの差異に基づき、入力データが学習範囲内のデータであるか否かを判定することができる。
従来技術では、推論時に無数の状況が発生し得ることが考慮されていない。そのため、従来技術では、入力データと学習データとの差異が、無数の状況を想定した学習データを用意することが困難なことに起因する差異であり、その差異が推論結果に影響しない差異であったとしても、入力データは学習範囲外のデータであると判定される、言い換えれば、ニューラルネットワークの推論結果は信頼するに足るものではないと判定される可能性があるという課題があった。
実施の形態1.
信頼度判定装置は、学習済みのニューラルネットワークを用いて、入力データに基づく推論を行い、推論結果がどれぐらい信頼に足るものであるかを示す度合い(以下「信頼度」という。)を判定する。
より詳細には、信頼度判定装置は、基準となる物体の状況に関するデータを入力データとして取得し、学習済みのニューラルネットワークを用いて、基準となる物体に関する推論を行い、得られた推論結果の信頼度を判定する。基準となる物体の状況に関するデータは、具体的には、基準となる物体そのものの状況に関するデータ、または、当該基準となる物体周辺の状況に関するデータを含む。
以下の実施の形態1では、一例として、信頼度判定装置が自動運転可能な車両にて用いられることを想定している。すなわち、基準となる物体は車両であるとする。
信頼度判定装置は、入力データとして車両周辺の環境に関する環境データを取得し、取得した環境データに基づき、学習済みのニューラルネットワークを用いて、車両の自動運転における制御量を推論するとともに、推論した制御量の信頼度を判定する。実施の形態1において、車両の制御量は、例えば、ハンドル操舵角またはブレーキ量等の車両制御コマンドを想定している。
信頼度判定装置1は、車両100に搭載され、センサ2および制御装置3と接続される。
センサ2は、車両100の現在位置を検出するGPS(図示省略)、車両100周辺を撮像する撮像装置(図示省略)、車両100周辺に存在する物体を検出するレーダ(図示省略)、地図情報を取得する地図情報取得装置、車速センサ、または、加速度センサ等、車両100周辺の環境に関するデータを収集可能な種々のセンサである。なお、実施の形態1において、車両100周辺の環境とは、車両100周辺の状況であり、車両100周辺の状況には車両100の状況も含まれる。
なお、図1では、センサ2は1つのみ図示しているが、これは一例に過ぎない。信頼度判定装置1は、複数のセンサ2と接続され得る。複数のセンサ2は、同じ種類の複数のセンサ2であってもよいし、互いに種類の異なる複数のセンサ2であってもよい。
信頼度判定装置1は、推論した車両100の制御量および当該制御量の信頼度に関する情報を対応付けて、制御装置3に出力する。
制御装置3は、信頼度判定装置1から出力された制御量および信頼度に基づき、車両100の自動運転制御を行う。例えば、制御装置3は、信頼度が予め設定された閾値(以下「信頼度判定用閾値」という。)以上であれば、制御量を用いた自動運転制御を行う。例えば、制御装置3は、信頼度が信頼度判定用閾値未満であれば、制御量を用いた自動運転制御を行わず、自動運転から手動運転への切替制御を行う。
実施の形態1では、取得部11は、入力データとして、車両100周辺の環境データを取得する。以下の実施の形態1において、車両100周辺の環境データを、単に「環境データ」ともいう。
取得部11は、取得した入力データ、言い換えれば、環境データを、将来環境予測部12に出力する。
なお、実施の形態1において、取得部11は、取得した環境データを、記憶部(図示省略)に記憶させる。
例えば、将来環境予測部12は、記憶部に記憶されている環境データから、将来的な環境を予測することができる。具体例を挙げると、例えば、将来環境予測部12は、環境データに含まれる自車データに基づけば、車両100の、設定された時間後の位置および車速を予測できる。また、例えば、将来環境予測部12は、環境データに含まれる他者データに基づけば、車両100周辺に存在する歩行者の、設定された時間後の位置および移動速度を予測できる。
将来環境予測部12は、予測した将来的な環境に関するデータを、環境データと対応付けて、抽象化部13に出力する。
実施の形態1では、抽象化部13は、取得部11が取得した環境データに基づき、当該環境データを抽象的な表現形式で示した抽象化データを生成する。
実施の形態1において、データを抽象的な表現形式で示すとは、当該データを構成する各部の細部を捨象することをいう。
抽象化部13は、環境データに基づき、現実に存在する物体、ここでは、例えば、車両100、道路、他車両、または、歩行者を、それぞれ、その存在位置で、その物体の細部、例えば、車両100および他車両についてはその形状または模様等の細部、道路についてはその凹凸等の細部、歩行者についてはその体の形状等の細部を捨象した形状にて示した抽象化データを生成する。物体の細部を捨象した形状をどのような形状とするかは、予め、物体ごとに決められている。
以下の実施の形態1において、抽象化部13が抽象化データとして生成する画像データを、「抽象化画像データ」ともいう。実施の形態1において、抽象化画像データは、例えば、俯瞰図のデータとする。
抽象化部13は、抽象化画像データを生成する際、基準となる物体、ここでは車両100を基準として抽象化画像データを生成する。例えば、予め、基準となる物体を、抽象化画像データで示される抽象化画像上のどの位置で示すかが決められている。また、予め、基準となる物体を基準としてどの範囲内の環境を、抽象化画像上で示すかが決められている。抽象化部13は、基準となる物体を基準として、予め決められた範囲内に存在する物体が、抽象化画像上で、基準となる物体との位置関係に応じた位置に示されるよう、抽象化画像データを生成する。
次に、抽象化部13は、認識した物体を、予め決められた形状にて、基準となる物体、ここでは車両100を基準とした画像上の位置に示した抽象化画像データを生成する。抽象化部13は、環境データに基づけば車両100および車両100周辺の物体が現実に存在する位置を特定できる。抽象化部13は、各物体が現実に存在する位置を特定できれば、当該各物体を、抽象化画像データ上のどの位置で示せばよいかを特定できる。
図2Aは、抽象化部13が抽象化画像データを生成するもととなる現実の車両100周辺の環境(以下「実環境」という。)の一例を示す図である。
図2Bは、実環境が図2Aに示すような環境であった場合に、抽象化部13が生成する抽象化画像データで示される抽象化画像の一例を示す図である。
なお、図2Aは車両100周辺の環境を俯瞰図で示している。また、抽象化部13が生成する抽象化画像データは俯瞰図のデータとしている。
図2Bにおいて、5aは車両100の位置をあらわす抽象化画像であり、5bは車両100が走行可能な領域、すなわち、車線の地形をあらわす抽象化画像であり、5cは他車両の位置をあらわす抽象化画像であり、5dは歩行者の位置をあらわす抽象化画像である。
例えば、5aの抽象化画像、および、5cの抽象化画像において、車両100および他車両は、それぞれ、白色の矩形にて表現されている(図2Bの500、52〜54参照)。車両100および他車両の形状および模様は捨象されている。また、例えば、5bの抽象化画像において、車線は白色の矩形にて表現され(図2Bの51参照)、5dの抽象化画像において、歩行者は白丸で表現されている(図2Bの55〜56)。道路の凹凸、歩行者の形状、および、歩行者の服装は捨象されている。
なお、ここでは、予め、抽象化画像データにおいて表現する物体の形状について、車両および道路の形状は白色の矩形(図2Bの5bの抽象化画像の51参照)、歩行者の形状は白色の丸(図2Bの5dの抽象化画像の55〜56参照)と決められている。また、抽象化画像の背景は黒色と予め決められている。
抽象化部13は、環境データに基づき、抽象化画像上で、予め決められている、抽象化データ作成対象となる物体の位置を示す抽象化画像データを生成する。抽象化データ作成対象となる物体とは、例えば、信頼度判定装置1が信頼度を判定すべき推論結果に関連が高い物体、ここでは、車両100の走行に関連が高い物体である。
また、抽象化部13は、抽象化画像データで示す車両100周辺の環境に存在する物体がその種類に応じて色分けしてあらわされるよう、抽象化画像データを生成することもできる。例えば、抽象化部13は、車両100は赤、他車両は黄色、というように、抽象化画像上で車両100周辺の環境に存在する物体が当該物体の種類に応じて色分けしてあらわされるよう、抽象化画像データを生成することもできる。
図3A、図3B、および、図3Cは、実施の形態1において抽象化部13が生成する抽象化画像データで示される抽象化画像のその他の一例を説明するための図である。
なお、図3A、図3B、および、図3Cは、実環境が図2Aに示すような環境であった場合に、抽象化部13が生成する抽象化画像データで示される抽象化画像の一例を示している。図3Aおよび図3Bは、車線の地形をあらわす抽象化画像の一例としている。図3Cは、他車両の位置をあらわす抽象化画像の一例としている。
例えば、抽象化部13は、車両100が走行可能な車線を示す領域と車両100が走行不能な車線を示す領域とを色分けして示す抽象化画像データを生成してもよい。図3Aは、抽象化部13が、車両100が走行可能な車線を示す領域を白色の矩形にて表現し、車両100が走行不能な車線を示す領域については黒色の矩形にて表現するよう、抽象化画像データを生成した場合の抽象化画像としている。図3Aで示す抽象化画像を図2Bにおいて5bで示していた抽象化画像と比べると、図3Aで示す抽象化画像において、車両100が走行可能な車線のみが白色で表現されていることがわかる。なお、抽象化部13は、車両100が走行可能な車線であるか否かを環境データから判定すればよい。
図4Aは、抽象化部13が道路環境を簡易化した抽象化画像データを生成するもととなる実環境の一例を示す図である。
図4Bは、実環境が図4Aに示すような環境であった場合に、抽象化部13が生成する抽象化画像データで示される抽象化画像の一例を示す図である。
なお、図4Aは、図2A同様、車両100周辺の環境を俯瞰図で示している。また、抽象化部13が生成する抽象化画像データは俯瞰図のデータとしている。
図4Bにおいて、5eは車両100の位置をあらわす抽象化画像であり、5fは車線の地形をあらわす抽象化画像である。
今、図4Aに示すような実環境において、車両100が走行している道路(図4Aにおいて411で示す)は直線ではない。この場合、抽象化部13は、例えば、5fのように、実環境では直線ではない道路を、車両100進行方向を縦軸とする座標系に変換して矩形にした抽象化画像を示すよう変換した抽象化画像データを生成することもできる。5fの抽象化画像において、車線は白色の矩形にて表現されている(図4Bの511参照)。
なお、5eは、図2Bの5a同様、車両100を白色の矩形にて表現した抽象化画像である(図4Bの500参照)。
なお、図5は、実環境が図2Aに示すような環境であった場合に、抽象化部13が生成する抽象化画像データで示される抽象化画像の一例を示す図である。図5は、他車両の位置をあらわす抽象化画像の一例としている。
例えば、抽象化部13は、将来環境予測部12が予測した他車両の将来的な位置に関するデータに基づき、図5に示すように、抽象化画像において、将来、他車両が存在する確率が高い領域ほど白に近い色で表現するよう、抽象化画像データを生成できる。
抽象化部13が将来的な環境を反映した抽象化画像データを生成する機能を有しない場合、信頼度判定装置1は、将来環境予測部12を備えない構成とできる。なお、抽象化部13が将来的な環境を反映した抽象化画像データを生成する場合であっても、抽象化部13はリスクポテンシャルマップを用いて当該抽象化画像データを生成し、将来環境予測部12が予測した将来的な環境に関するデータを用いない場合、信頼度判定装置1は、将来環境予測部12を備えない構成とできる。
自己符号化器14は、入力と出力に同じデータを用いて学習させることで、入力データを再現するデータを出力するようになるとともに、入力の性質をよくあらわす低次元の特徴量を得る。
実施の形態1において、信頼度判定装置1は、学習済みの自己符号化器14の符号化部を特徴量抽出部141として使用し、学習済みの自己符号化器14の複合部を復元部142として使用する。なお、信頼度判定装置1は、特徴量抽出部141および復元部142に自己符号化器を用いるようになっていればよく、信頼度判定装置1が特徴量抽出部141および復元部142として用いる自己符号化器の種類は問わない。例えば、信頼度判定装置1は、特徴量抽出部141および復元部142として変分自己符号化器を用いてもよい。
そして、信頼度判定部15は、類似度が小さいほど特徴量の信頼度は低いと判定する。算出した画像間の距離が大きい場合、言い換えれば、類似度が小さい場合、復元後抽象化画像データは、抽象化画像データを精度よく復元されていないといえる。すなわち、自己符号化器14は、抽象化画像データを復元するための適切な特徴量を抽出するよう学習済みではないといえる。つまり、自己符号化器14が機械学習を行う際、抽象化画像データに対応する学習データは学習対象とならなかったと考えられる。一般に、機械学習におけるニューラルネットワークは、機械学習を行う際に学習対象とならなかった未知のデータに対する出力を保証できない。
したがって、信頼度判定部15は、算出した画像間の距離が大きい場合、言い換えれば、類似度が小さい場合、特徴量の信頼度が低いと判定する。
したがって、信頼度判定部15は、算出した画像間の距離が小さい場合、言い換えれば、類似度が大きい場合、特徴量の信頼度が高いと判定できる。
具体的には、信頼度判定部15は、抽象化画像データが示す抽象化画像と復元後抽象化画像データが示す復元後抽象化画像で表現されている車両100周辺の環境に存在する物体の領域のうち、特徴量の信頼度の判定に用いない領域についてはマスクをかける。信頼度判定部15は、抽象化画像データと復元後抽象化画像データの類似度を算出する際にはマスクがかかっていない部分の類似度を算出し、算出した類似度と類似度判定用閾値との比較によって、特徴量抽出部141が抽出した特徴量の信頼度を判定する。
特徴量の信頼度の判定に用いない領域は、例えば、推論部16による車両100の制御量の推論に影響しないと想定される物体を示す領域であり、当該領域は予め設定されている。推論部16の詳細については、後述する。
図6は、一例として、図2Bに示した車両100の位置をあらわす抽象化画像(図2Bの5a)、車両100が走行可能な領域、すなわち、車線の地形をあらわす抽象化画像(図2Bの5b)、他車両の位置をあらわす抽象化画像(図2Bの5c)、歩行者の位置をあらわす抽象化画像(図2Bの5d)に対して、信頼度判定部15がそれぞれ、特徴量の信頼度の判定に用いない領域にマスクをかけた後の抽象化画像のイメージを示している。
その結果、図2Bの5bで表現されていた車線の地形のうち、車両100が走行している車線に直交する車線の領域にマスクがかけられる(図6の5b’参照)。また、図2Bの5cで表現されていた他車両のうち、54で示されていた他車両が位置する領域にマスクがかけられる(図6の5c’参照)。また、図2Bの5dで表現されていた歩行者が位置する領域の部分にはすべてマスクがかけられる(図6の5d’参照)。
実施の形態1では、推論部16は、特徴量抽出部141が出力した特徴量を入力として車両100の制御量を出力する。
推論部16は、任意のニューラルネットワークである。例えば、推論部16は、人が車両100のテスト走行を行うことで収集された環境データに基づいて生成された抽象化画像データと適切な車両100の制御量の組を学習データとし、当該学習データに基づいて、いわゆる教師あり学習によって学習させたニューラルネットワークとする。また、例えば、推論部16は、シミュレータによって収集された環境データに基づいて生成された抽象化画像データと適切な車両100の制御量の組を学習データとし、当該学習データに基づいて、いわゆる教師あり学習によって学習させたニューラルネットワークとしてもよい。
具体的には、実施の形態1では、推論結果出力部17は、信頼度判定部15から出力された信頼度に関する情報、および、推論部16が出力した車両100の制御量に基づき、信頼度判定部15が判定した信頼度を、推論部16が出力した車両100の制御量に対する信頼度として、車両100の制御量と信頼度とを対応付けて制御装置3に出力する。
よって、例えば、特徴量の信頼度が低い場合、当該信頼度が低い特徴量を入力として得られた車両100の制御量も、信頼に足るものではないといえる。一方、例えば、特徴量の信頼度が高い場合、当該信頼度が高い特徴量を入力として得られた車両100の制御量も、信頼に足るものであるといえる。
図7は、実施の形態1に係る信頼度判定装置1の動作を説明するためのフローチャートである。
例えば、車両100の自動運転中、図7のフローチャートで説明する動作が繰り返される。
具体的には、取得部11は、入力データとして、環境データを取得する。
取得部11は、取得した入力データ、言い換えれば、環境データを、将来環境予測部12に出力する。
また、取得部11は、取得した環境データを、記憶部に記憶させる。
将来環境予測部12は、予測した将来的な環境に関するデータを、環境データと対応付けて、抽象化部13に出力する。
具体的には、抽象化部13は、ステップST1にて取得部11が取得した環境データに基づき、当該環境データを抽象的な表現形式で示した抽象化画像データを生成する。
例えば、抽象化部13は、ステップST1にて取得部11が取得した環境データと、ステップST2にて将来環境予測部12が予測した将来的な環境に関するデータに基づき、将来環境予測部12が予測した将来的な環境を反映した抽象化画像データを生成してもよい。また、抽象化部13は、過去の車両100周辺の環境を反映した抽象化画像データを生成してもよい。
また、抽象化部13は、ステップST1にて取得部11が取得した環境データと、ステップST2にて将来環境予測部12が予測した将来的な環境に関するデータに基づき、過去から将来における車両100周辺の環境を示す時系列の抽象化画像データを生成してもよい。
抽象化部13は、生成した抽象化画像データを、特徴量抽出部141および信頼度判定部15に出力する。
なお、抽象化部13が将来的な環境に基づいて抽象化画像データを生成する機能を有しない場合、信頼度判定装置1の動作は、ステップST2を省略することができる。
信頼度判定部15は、判定した信頼度に関する情報を、推論結果出力部17に出力する。
一方、ニューラルネットワークは、一般に、学習範囲外のデータに対しては正答率が低下する。
そこで、上述したように、従来、学習済みの自己符号化器を用いて、ニューラルネットワークの入力データが学習範囲内のデータか否かを判定する技術が知られている。
上述したような、自動運転を実現する技術でいうと、例えば、学習データにおける歩行者の服装と、推論時の実際の状況における歩行者の服装とが異なるだけで、推論時の入力データは学習範囲外と判定される可能性がある。
実施の形態1において、取得部11と、将来環境予測部12と、抽象化部13と、信頼度判定部15と、推論結果出力部17の機能は、処理回路1001により実現される。すなわち、信頼度判定装置1は、車両100周辺の環境に関する環境データに基づき生成された抽象化画像データから特徴量を取得し、当該特徴量を入力として推論された推論結果である車両100の制御量の信頼度を判定する制御を行うための処理回路1001を備える。
処理回路1001は、図8Aに示すように専用のハードウェアであっても、図8Bに示すようにメモリに格納されるプログラムを実行するプロセッサ1004であってもよい。
また、信頼度判定装置1は、センサ2または制御装置3等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
これに限らず、取得部11と、将来環境予測部12と、抽象化部13と、自己符号化器14と、信頼度判定部15と、推論部16と、推論結果出力部17のうち、一部が車両100の車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとで信頼度判定システムを構成してもよい。
基準となる物体は、工場内のフォークリフト、無人搬送車、産業用ロボット、または、航空機等、種々の移動体とし、信頼度判定装置1は、種々の移動体を制御するための制御量を推論するとともに、推論した制御量の信頼度を判定することもできる。
例えば、信頼度判定装置1において、取得部11が取得する入力データは移動体周辺の環境に関する環境データとし、抽象化部13が生成する抽象化データは、移動体周辺の環境を示す画像データとできる。特徴量抽出部141は、画像データを入力として特徴量を出力し、復元部142は、特徴量抽出部141が出力した特徴量を入力として、特徴量から画像データを復元した復元後の画像データを出力し、信頼度判定部15は、画像データと復元後の画像データとに基づき信頼度を判定できる。
なお、以上の実施の形態1では、制御装置3は、車両100の自動運転制御を行う自動運転制御装置を想定していたが、これは一例に過ぎない。制御装置3は、フォークリフト、無人搬送車、産業用ロボット、または、航空機等の移動体の運転制御を行う自動運転制御装置としてもよい。制御装置3は、信頼度判定装置1から出力される推論結果および信頼度に基づき種々の制御を行う装置とできる。
信頼度判定装置1の推論結果出力部17は、信頼度判定部15が判定した信頼度を、推論部16が出力した乗員状態データに対する信頼度として、乗員状態データと信頼度とを対応付けて出力する。
信頼度判定装置1の推論結果出力部17は、信頼度判定部15が判定した信頼度を、推論部16が出力した、車両100が不測の事態に陥る可能性に関するデータに対する信頼度として、車両100が不測の事態に陥る可能性に関するデータと信頼度とを対応付けて出力する。
例えば、入力データは、動植物の状況に関する動植物データとしてもよい。推論部16は、動植物データに基づいて生成された抽象化データから、動植物の種別を推論する。この場合、推論部16は、特徴量を入力とし動植物の種別に関するデータ(以下「動植物種別データ」という。)を出力するよう学習済みのニューラルネットワークである。信頼度判定装置1の信頼度判定部15は、動植物データから生成した抽象化データと復元部142が復元した復元後抽象化データとの類似度に基づき、特徴量抽出部141が抽象化データに基づいて出力した特徴量の信頼度を判定することで、推論部16から出力された動植物種別データの信頼度を判定する。信頼度判定装置1の推論結果出力部17は、信頼度判定部15が判定した信頼度を、推論部16が出力した動植物種別データに対する信頼度として、動植物種別データと信頼度とを対応付けて出力する。
なお、この場合、基準となる物体は動植物である。このように、基準となる物体は、移動体以外の物体とすることもできる。
Claims (9)
- 入力データを取得する取得部と、
前記取得部が取得した前記入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部と、
前記抽象化部が生成した前記抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部と、
前記特徴量抽出部が出力した前記特徴量を入力として前記抽象化データを復元した復元後抽象化データを出力する復元部と、
前記抽象化部が生成した前記抽象化データと前記復元部が出力した前記復元後抽象化データとに基づき、前記特徴量抽出部が出力した前記特徴量の信頼度を判定する信頼度判定部
を備えた信頼度判定装置。 - 前記特徴量抽出部は学習済みの自己符号化器における符号化部で構成され、
前記復元部は前記自己符号化器における複合部で構成される
ことを特徴とする請求項1記載の信頼度判定装置。 - 前記取得部が取得する前記入力データは環境に関する環境データであり、
前記取得部が取得した前記環境データに基づき将来的な前記環境を予測する将来環境予測部を備え、
前記抽象化部は、前記取得部が取得した前記環境データと、前記将来環境予測部が予測した前記将来的な前記環境に関するデータに基づき、前記抽象化データを生成する
ことを特徴とする請求項1記載の信頼度判定装置。 - 前記取得部が取得する前記入力データは移動体周辺の環境に関する環境データであり、
前記抽象化部が生成する前記抽象化データは、前記移動体周辺の環境を示す画像データであり、
前記特徴量抽出部は、前記画像データを入力として前記特徴量を出力し、
前記復元部は、前記特徴量抽出部が出力した前記特徴量を入力として、前記特徴量から前記画像データを復元した前記復元後の前記画像データを出力し、
前記信頼度判定部は、前記画像データと前記復元後の前記画像データとに基づき前記信頼度を判定する
ことを特徴とする請求項1記載の信頼度判定装置。 - 前記取得部が取得した前記環境データに基づき将来的な前記環境を予測する将来環境予測部を備え、
前記抽象化部は、前記取得部が取得した前記環境データと前記将来環境予測部が予測した前記将来的な前記環境に基づき、過去から将来における前記移動体周辺の前記環境を示す時系列の前記画像データを生成する
ことを特徴とする請求項4記載の信頼度判定装置。 - 前記特徴量抽出部が出力した前記特徴量を入力として推論結果を出力する推論部と、
前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記推論結果に対する前記信頼度として、前記推論結果と前記信頼度とを対応付けて出力する推論結果出力部
とを備えた請求項1記載の信頼度判定装置。 - 前記取得部が取得する前記入力データは車両周辺の環境に関する環境データであり、
前記抽象化部が生成する前記抽象化データは、前記車両周辺の環境に関する画像データであり、
前記特徴量抽出部は、前記画像データを入力として前記特徴量を出力し、
前記復元部は、前記特徴量抽出部が出力した前記特徴量を入力として、前記特徴量から前記画像データを復元した前記復元後の前記画像データを出力し、
前記信頼度判定部は、前記画像データと前記復元後の前記画像データとに基づき前記信頼度を判定し、
前記推論部は、前記特徴量抽出部が出力した前記特徴量を入力として前記車両の制御量を出力し、
前記推論結果出力部は、前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記車両の制御量に対する前記信頼度として、前記車両の制御量と前記信頼度とを対応付けて出力する
ことを特徴とする請求項6記載の信頼度判定装置。 - 前記取得部が取得する前記入力データは車両内の環境に関する環境データであり、
前記抽象化部は、前記取得部が取得した前記環境データに基づいて前記抽象化データを生成し、
前記推論部は、前記特徴量抽出部が出力した前記特徴量を入力として前記車両の乗員の状態に関する乗員状態データを出力し、
前記推論結果出力部は、前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記乗員状態データに対する前記信頼度として、前記乗員状態データと前記信頼度とを対応付けて出力する
ことを特徴とする請求項6記載の信頼度判定装置。 - 取得部が、入力データを取得するステップと、
抽象化部が、前記取得部が取得した前記入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成するステップと、
特徴量抽出部が、前記抽象化部が生成した前記抽象化データを入力として当該抽象化データの特徴量を出力するステップと、
復元部が、前記特徴量抽出部が出力した前記特徴量を入力として前記抽象化データを復元した復元後抽象化データを出力するステップと、
信頼度判定部が、前記抽象化部が生成した前記抽象化データと前記復元部が出力した前記復元後抽象化データとに基づき、前記特徴量抽出部が出力した前記特徴量の信頼度を判定するステップ
とを備える信頼度判定方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/011826 WO2022201276A1 (ja) | 2021-03-23 | 2021-03-23 | 信頼度判定装置および信頼度判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6972444B1 true JP6972444B1 (ja) | 2021-11-24 |
JPWO2022201276A1 JPWO2022201276A1 (ja) | 2022-09-29 |
Family
ID=78605633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021541630A Active JP6972444B1 (ja) | 2021-03-23 | 2021-03-23 | 信頼度判定装置および信頼度判定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230386219A1 (ja) |
JP (1) | JP6972444B1 (ja) |
WO (1) | WO2022201276A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022201222A1 (ja) * | 2021-03-22 | 2022-09-29 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018205920A (ja) * | 2017-05-31 | 2018-12-27 | 富士通株式会社 | 学習プログラム、学習方法および物体検知装置 |
WO2019151393A1 (ja) * | 2018-01-31 | 2019-08-08 | 株式会社ニチレイフーズ | 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法 |
JP2019139277A (ja) * | 2018-02-06 | 2019-08-22 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
-
2021
- 2021-03-23 WO PCT/JP2021/011826 patent/WO2022201276A1/ja active Application Filing
- 2021-03-23 JP JP2021541630A patent/JP6972444B1/ja active Active
-
2023
- 2023-08-08 US US18/231,488 patent/US20230386219A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018205920A (ja) * | 2017-05-31 | 2018-12-27 | 富士通株式会社 | 学習プログラム、学習方法および物体検知装置 |
WO2019151393A1 (ja) * | 2018-01-31 | 2019-08-08 | 株式会社ニチレイフーズ | 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法 |
JP2019139277A (ja) * | 2018-02-06 | 2019-08-22 | オムロン株式会社 | 評価装置、動作制御装置、評価方法、及び評価プログラム |
Non-Patent Citations (3)
Title |
---|
CAI, PEIDE ET AL., DIGNET: LEARNING SCALABLE SELF-DRIVING POLICIES FOR GENERIC TRAFFIC SCENARIOS WITH GRAPH NEURAL NETW, JPN6021018048, 6 March 2021 (2021-03-06), ISSN: 0004609837 * |
LI, HONGYU ET AL., AUTOMATIC UNUSUAL DRIVING EVENT IDENTIFICATION FOR DEPENDABLE SELF-DRIVING [ONLINE], JPN7021001723, 4 November 2018 (2018-11-04), ISSN: 0004609838 * |
ZENG, WENYUAN ET AL., DSDNET: DEEP STRUCTURED SELF-DRIVING NETWORK [ONLINE], JPN6021018047, 13 August 2020 (2020-08-13), ISSN: 0004609839 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022201222A1 (ja) * | 2021-03-22 | 2022-09-29 | ||
JP7370495B2 (ja) | 2021-03-22 | 2023-10-27 | 三菱電機株式会社 | 制御装置および制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230386219A1 (en) | 2023-11-30 |
JPWO2022201276A1 (ja) | 2022-09-29 |
WO2022201276A1 (ja) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10981567B2 (en) | Feature-based prediction | |
JP7140922B2 (ja) | マルチセンサデータ融合方法、及び装置 | |
CN112703459B (zh) | 对抗场景的迭代生成 | |
CN112868022A (zh) | 自动驾驶车辆的驾驶场景 | |
US11472442B2 (en) | Map consistency checker | |
US20200065665A1 (en) | Vehicle adaptive learning | |
CN112166304A (zh) | 传感器数据的误差检测 | |
US11731639B2 (en) | Method and apparatus for lane detection on a vehicle travel surface | |
US11526721B1 (en) | Synthetic scenario generator using distance-biased confidences for sensor data | |
KR20210002018A (ko) | 뉴럴 네트워크의 글로벌 불확실성을 추정하기 위한 방법 | |
US11645360B2 (en) | Neural network image processing | |
CN110986945B (zh) | 基于语义高度地图的局部导航方法和系统 | |
US20230386219A1 (en) | Reliability determination device and reliability determination method | |
US20230400859A1 (en) | Predicting Jaywaking Behaviors of Vulnerable Road Users | |
CN114415672A (zh) | 用于自主驾驶车辆的动态模型评估 | |
CN117056153A (zh) | 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品 | |
CN116142233A (zh) | 载具灯分类系统 | |
CN116703966A (zh) | 多对象跟踪 | |
US11702106B1 (en) | Tuning a safety system based on near-miss events | |
CN116311114A (zh) | 一种可行驶区域生成方法、装置、电子设备及存储介质 | |
US11648962B1 (en) | Safety metric prediction | |
US11745766B2 (en) | Unseen environment classification | |
US11610412B2 (en) | Vehicle neural network training | |
CN112180913A (zh) | 特种车辆识别方法 | |
JP7143538B2 (ja) | 運転支援装置および運転支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210719 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6972444 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |