JP7330278B2 - 自動運転制御装置および自動運転制御方法 - Google Patents
自動運転制御装置および自動運転制御方法 Download PDFInfo
- Publication number
- JP7330278B2 JP7330278B2 JP2021543813A JP2021543813A JP7330278B2 JP 7330278 B2 JP7330278 B2 JP 7330278B2 JP 2021543813 A JP2021543813 A JP 2021543813A JP 2021543813 A JP2021543813 A JP 2021543813A JP 7330278 B2 JP7330278 B2 JP 7330278B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- vehicle
- control amount
- automatic driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 143
- 238000010801 machine learning Methods 0.000 claims description 117
- 230000003247 decreasing effect Effects 0.000 claims description 93
- 230000002093 peripheral effect Effects 0.000 claims description 79
- 230000006870 function Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 12
- 235000019557 luminance Nutrition 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
ここで、特許文献1には、車両の自動運転制御の実行中に周囲環境を認識するために、複眼カメラが撮影した複数の画像に基づいて生成された周囲環境のマップを用いる制御装置が開示されている。この制御装置は、例えば、複眼カメラを構成する2つの車載カメラのうち、いずれかに機能不全が生じた場合、正常に動作する一方の車載カメラが撮影した画像に基づいて周囲環境を推定する。
特許文献1に開示された制御装置は、複数の車載カメラのうちのいずれかに機能不全が生じた場合に、正常に動作する車載カメラが撮影した画像に基づいて周囲環境を推定するものであるが、当該推定は、具体的には、理論的に定められた計算式を利用して行われるものである。これに対し、機械学習モデルは、理論的に定められた計算式を利用して推論を行うものではないため、特許文献1に開示された制御装置における技術を、上記課題の解決手段とすることはできない。
実施の形態1.
図1は、実施の形態1に係る自動運転制御装置1を搭載した車両100の構成例を示す図である。
実施の形態1に係る自動運転制御装置1は、人が運転操作を行わなくても自動で走行することが可能な車両100に搭載される装置である。図1に示すように、車両100には、自動運転制御装置1の他、センサ、車両制御部3、および、制御対象機器4が搭載される。
実施の形態1では、センサには、カメラ21およびミリ波レーダ22が含まれるものとする。
ミリ波レーダ22は、車両100から、車両100周辺に存在する物体までの距離を計測する。ミリ波レーダ22は、計測した、車両100から物体までの距離に関する情報(以下「距離情報」という。)を、自動運転制御装置1に出力する。自動運転制御装置1は、少なくとも、カメラ21から出力された撮影画像、および、ミリ波レーダ22から出力された距離情報に基づき、車両100の自動運転制御に必要な自動運転制御量を推論する。
実施の形態1において、上述の撮影画像または距離情報のように、センサから出力され、自動運転制御装置1における自動運転制御量の推論に用いられる情報を、総称して、「車両周辺情報」ともいう。車両周辺情報は、自動運転制御装置1において自動運転制御量の推論に用いられる情報であり、車両100周辺に関する様々な情報を含み得る。
実施の形態1では、車両周辺情報は、後述のように、自動運転制御量を推論するための機械学習モデルに対する入力データとして利用される。実施の形態1では、車両100の自動運転制御に適した自動運転制御量を推論するための入力データとして、車両周辺情報が信頼できるものかどうかを示す度合いを、車両周辺情報の「信頼度」という。
自動運転制御装置1は、推論した自動運転制御量を、車両100に搭載されている車両制御部3に出力する。
自動運転制御装置1が出力する自動運転制御量は、ブレーキ、アクセル、または、ステアリング操作等の各制御対象機器4の具体的な制御量であってもよいし、時系列的な複数の緯度および経度の値からなる走行軌跡の情報であってもよい。自動運転制御量が、走行軌跡の情報である場合、車両制御部3は、当該走行軌跡の通りに車両100が自動走行するよう、各制御対象機器4の具体的な制御量を計算して、計算した制御量に基づき、各制御対象機器4を制御する。
図2は、実施の形態1に係る自動運転制御装置1の構成例を示す図である。
自動運転制御装置1は、情報取得部11、制御量推論部12、機械学習モデル13、監視部14、および、制御部15を備える。制御量推論部12は、第1制御量推論部121、第2制御量推論部122、および、選択部123を備える。機械学習モデル13は、第1機械学習モデル131および第2機械学習モデル132を備える。
第1制御量推論部121は、推論した第1自動運転制御量を選択部123に出力する。
上述のように、実施の形態1では、カメラ21の撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ22の距離情報については、比較的問題が生じ易いことを前提とする。このため、後述のように、実施の形態1における第2機械学習モデル132は、具体的には、情報取得部11が取得した撮影画像のみを入力として第2自動運転制御量を推論するものである。
第2制御量推論部122は、推論した第2自動運転制御量を選択部123に出力する。
後述のように、制御部15は、監視部14により、複数の車両周辺情報のいずれも信頼度が低下していないと判定された場合、第1自動運転制御量を出力するように、制御量推論部12を制御する。選択部123は、制御量推論部12が制御部15により第1自動運転制御量を出力するように制御された場合に、第1自動運転制御量を選択して出力する。
また、制御部15は、監視部14により、複数の車両周辺情報のうち、第2機械学習モデル132に入力される複数の車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第2自動運転制御量を出力するように、制御量推論部12を制御する。選択部123は、制御量推論部12が制御部15により第2自動運転制御量を出力するように制御された場合に、第2自動運転制御量を選択して出力する。
第1機械学習モデル131は、情報取得部11が取得する複数の車両周辺情報の全部を入力とし、第1自動運転制御量を出力する。実施の形態1では、第1機械学習モデル131は、情報取得部11がカメラ21から取得する撮影画像と、情報取得部11がミリ波レーダ22から取得する距離情報の両方を入力とし、第1自動運転制御量を出力する。
上述のように、実施の形態1では、カメラ21の撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ22の距離情報については、比較的問題が生じ易いことを前提とする。このため、実施の形態1における第2機械学習モデル132は、具体的には、情報取得部11が取得した撮影画像のみを入力として第2自動運転制御量を出力するものである。
具体的には、監視部14は、カメラ21から取得された撮影画像に基づき、当該撮影画像上に存在するある物体について、車両100から当該物体までの実空間における距離(以下「基準距離」という。)を取得する。また、監視部14は、基準距離と、ミリ波レーダ22から取得された距離情報に基づく車両100から前記物体までの距離との差を算出する。そして、監視部14は、算出された差が予め設定された閾値(以下「レーダ判定用閾値」という。)以下であるか否かを判定する。監視部14は、算出された差がレーダ判定用閾値以下であると判定した場合、距離情報の信頼度は低下していないと判定する。一方、監視部14は、算出された差がレーダ判定用閾値より大きいと判定した場合、距離情報の信頼度は低下していると判定する。なお、監視部14が、カメラ21から取得された撮影画像に基づき基準距離を取得する際の手法としては、既知の任意の手法を採用することができる。具体的な手法としては、例えば、物体が撮影された撮影画像と車両100から当該物体までの実空間における距離の実測値との組を教師データとした学習に基づく学習済みモデルを用いる手法がある。
また、例えば、監視部14は、複数の車両周辺情報のうちいずれの車両周辺情報も信頼度が低下していないと判定した場合、車両周辺情報の信頼度は低下していない旨の監視結果情報を、制御部15に出力する。
具体的には、制御部15は、監視部14により、複数の車両周辺情報のうち、第2機械学習モデル132に入力される複数の車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第2自動運転制御量を出力するように、制御量推論部12を制御する。制御量推論部12の選択部123は、制御量推論部12が制御部15により第2自動運転制御量を出力するように制御された場合、第2自動運転制御量を選択して出力する。
図3は、実施の形態1に係る自動運転制御装置1の動作を説明するためのフローチャートである。
第1制御量推論部121は、推論した第1自動運転制御量を選択部123に出力する。
第2制御量推論部122は、推論した第2自動運転制御量を選択部123に出力する。
そして、監視部14は、ステップST304にて取得した基準距離と、ステップST301にて情報取得部11がミリ波レーダ22から取得した距離情報に基づく、車両100から当該物体までの距離との差を算出し、算出された差がレーダ判定用閾値以下であるか否かを判定する(ステップST305)。
制御部15は、ステップST303にて第2制御量推論部122が推論した第2自動運転制御量を出力するよう、制御量推論部12を制御する。選択部123は、第2自動運転制御量を選択し、車両制御部3に出力する(ステップST306)。
制御部15は、ステップST302にて第1制御量推論部121が推論した第1自動運転制御量を出力するよう、制御量推論部12を制御する。選択部123は、第1自動運転制御量を選択し、車両制御部3に出力する(ステップST307)。
また、ステップST303にて第2自動運転制御量を推論する際、第2制御量推論部122は、直前のステップST301にて情報取得部11が取得した撮影画像を用いることを必須としない。例えば、第2制御量推論部122は、記憶部に記憶されている、直前のステップST301以前に情報取得部11が取得した撮影画像を用いて第2自動運転制御量を推論するようにしてもよい。
なお、自動運転制御装置1は、ミリ波レーダ22から取得した距離情報の信頼度が低下したと判定した場合でも、車両100の自動運転を継続させることはできるが、自動運転の水準は低下する可能性がある。つまり、第2制御量推論部122は、第1制御量推論部121よりも、自動運転制御量の推論に用いる車両周辺情報の数が少ないため、推論の水準の差が生じ得る。
具体的には、例えば、第1制御量推論部121は、混雑時の車線変更等の複雑な制御を行うための自動運転制御量を推論できるのに対し、第2制御量推論部122は、走行中の車線をキープする走行を行うための自動運転制御量の推論しかできないというような、推論の水準の差が生じ得る。
しかしながら、ミリ波レーダ22から出力される距離情報の信頼度が低下し得ることが考慮されていない場合、具体的には、仮に、自動運転制御装置1が、第1制御量推論部121しか備えないような構成である場合、距離情報の信頼度が低下すると、自動運転が正常に継続できなくなる可能性が高い。これに対し、実施の形態1に係る自動運転制御装置1は、第2制御量推論部122を備え、第2制御量推論部122がカメラ21から取得した撮影画像と第2機械学習モデル132とに基づいて、第2自動運転制御量を推論できるようにした。そして、ミリ波レーダ22から出力される距離情報の信頼度が低下した場合には、第2制御量推論部122が推論した第2自動運転制御量を用いて、車両100の自動運転が制御されるようにした。その結果、複数のセンサから取得した複数の車両周辺情報のうち、いずれかの車両周辺情報の信頼度が低下した場合でも、比較的低い水準ではあるが車両100の自動運転を継続することができる。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル13とに基づいて、自動運転制御量を推論して出力する自動運転制御装置1において、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両100の自動運転制御に適した自動運転制御量を出力することができる。
実施の形態1では、複数のセンサのうち一部の1または複数のセンサから出力される車両周辺情報に実質的に問題は生じることはない一方、複数のセンサのうち他の1または複数のセンサから出力される車両周辺情報には、問題が比較的生じ易いものであることを前提とした。具体的には、実施の形態1においてセンサに含まれるカメラ21とミリ波レーダ22のうち、カメラ21から出力される撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ22から出力される距離情報については、問題が比較的生じ易いことを前提とした。
実施の形態2では、複数のセンサのうち少なくとも1つがカメラ21である場合を想定する。そして、複数のセンサはいずれも、故障する可能性が、無視できる程度に低い一方、カメラ21から出力される撮影画像については、例えば気象の影響により、比較的問題が生じ易いものであることを前提とし、当該撮影画像の信頼度が低下した場合であっても、自動運転制御装置1が、車両100の自動運転制御に適した自動運転制御量の推論を行う実施の形態について説明する。
実施の形態2では、後述する図4に示すとおり、センサは、カメラ21、および、ミリ波レーダ22である。上述のとおり、実施の形態2においては、カメラ21もミリ波レーダ22も、故障する可能性が、無視できる程度に低い一方、カメラ21から出力される撮影画像については、例えば気象の影響により、比較的問題が生じ易いものであることを前提とする。
自動運転制御装置1aは、実施の形態1同様、カメラ21から出力される撮影画像、および、ミリ波レーダ22から出力される距離情報を、車両周辺情報として取得する。また、実施の形態2では、車両100にGNSS(Global Navigation Satellite System)23が搭載されており、自動運転制御装置1aは、GNSS23から出力される車両100の現在位置に関する情報を、撮影画像の信頼度が低下しているか否かを判定するための情報として取得する。
実施の形態2に係る自動運転制御装置1aについて、実施の形態1で図2を用いて説明した自動運転制御装置1と同じ構成には、同じ符号を付して重複した説明を省略する。実施の形態2に係る自動運転制御装置1aの構成は、実施の形態1に係る自動運転制御装置1の構成とは、気象判定部16を備える点が異なる。また、制御量推論部12aの第2制御量推論部122a、および、監視部14aの具体的な動作が、実施の形態1に係る自動運転制御装置1の第2制御量推論部122、および、監視部14の具体的な動作とは、異なる。
ここで、気象判定部16が判定する、霧がある状態または降水がある状態とは、カメラ21から出力された撮影画像の信頼度が、自動運転制御量の推論に適さないほどに低下したものとなるような、濃霧の状態または激しい降水の状態である。カメラ21自体が故障していない場合でも、車両100の周辺に濃霧または激しい降水がある場合、カメラ21から出力された撮影画像には、車両100の周辺に存在する他車両等が明確には撮影されていないことがあるため、このような撮影画像は、自動運転制御量の推論に適さないものとなる。
なお、気象判定部16が、霧または降水があるか否かを判定する対象となる、車両100周辺とは、例えば、車両100の現在地を中心とした周囲1km以内というように、予め決められているものとする。
クラウド気象サーバ5は、気象状況に関する情報を配信するサーバである。
気象判定部16は、判定した、車両100周辺の気象に関する情報を、監視部14aに出力する。
具体的には、監視部14aは、例えば、気象判定部16が車両100周辺に霧または降水があると判定した場合、カメラ21から得られた撮影画像の信頼度が低下していると判定する。
図5は、実施の形態2に係る自動運転制御装置1aの動作を説明するためのフローチャートである。
第2制御量推論部122aは、推論した第2自動運転制御量を選択部123に出力する。
具体的には、監視部14aは、気象判定部16から出力された気象に関する情報に基づき、例えば、車両100周辺に霧または降水があるか否かを判定する(ステップST505)。
制御部15は、ステップST502にて第1制御量推論部121が推論した第1自動運転制御量を出力するよう、制御量推論部12aを制御する。選択部123は、第1自動運転制御量を選択し、車両制御部3に出力する(ステップST506)。
制御部15は、ステップST503にて第2制御量推論部122aが推論した第2自動運転制御量を出力するよう、制御量推論部12aを制御する。選択部123は、第2自動運転制御量を選択し、車両制御部3に出力する(ステップST507)。
ただし、カメラ21以外のセンサとしては、カメラ21から出力される撮影画像の信頼度が低下する気象条件において、当該センサから出力される車両周辺情報の信頼度が低下しないセンサが用いられることが必要である。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル13aとに基づいて、自動運転制御量を推論して出力する自動運転制御装置1aにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両100の自動運転制御に適した自動運転制御量を出力することができる。
実施の形態2では、複数のセンサのうち少なくとも1つがカメラ21である場合を想定した。そして、複数のセンサはいずれも、故障する可能性が無視できる程度に低い一方、カメラ21から出力される撮影画像については、例えば気象の影響により、比較的問題が生じ易いものであることを前提とした。そして、自動運転制御装置1aが、車両100周辺の気象に基づいて、カメラ21から出力される撮影画像の信頼度が低下したか否かを判定し、当該撮影画像の信頼度が低下した場合であっても、車両100の自動運転制御に適した自動運転制御量の推論を行う実施の形態について説明した。
実施の形態3では、自動運転制御装置1bが、実施の形態2とは異なる方法で、カメラ21から出力される撮影画像の信頼度が低下したか否かを判定する実施の形態について説明する。
実施の形態3では、後述する図6に示すとおり、センサは、カメラ21、および、ミリ波レーダ22である。上述のとおり、実施の形態3においては、カメラ21もミリ波レーダ22も、故障する可能性が、無視できる程度に低い一方、カメラ21から出力される撮影画像については、比較的問題が生じ易いものであることを前提とする。
実施の形態3に係る自動運転制御装置1bについて、実施の形態1で図2を用いて説明した自動運転制御装置1と同じ構成については、同じ符号を付して重複した説明を省略する。実施の形態3に係る自動運転制御装置1bにおいて、制御量推論部12bの第2制御量推論部122b、および、監視部14bの具体的な動作が、実施の形態1に係る自動運転制御装置1の第2制御量推論部122、および、監視部14の具体的な動作とは、異なる。
具体的には、監視部14bは、例えば、情報取得部11が取得した撮影画像の各画素の輝度の最大値が、予め設定された閾値(以下「輝度判定用閾値」という。)以下である場合、カメラ21から得られた撮影画像の信頼度が低下していると判定する。輝度判定用閾値には、例えば、撮影画像のすべての画素が当該輝度判定用閾値以下の輝度となった場合に、撮影画像全体が物体を識別できないほど暗い画像となるような輝度の値が、予め設定されている。
例えば、撮影画像において、真っ黒な画素の輝度を「0」、真っ白な画素の輝度を「255」とした場合、輝度判定用閾値には「5」が設定される。
なお、図7Cに示すように、撮影画像が明るすぎても、撮影画像中の物体を認識できない。よって、例えば、輝度判定用閾値には、撮影画像のすべての画素が当該輝度判定用閾値以上の輝度となった場合に、撮影画像全体が物体を識別できないほど明るい画像となるような輝度の値が、予め設定されているようにしてもよい。この場合、監視部14bは、情報取得部11が取得した撮影画像の各画素の輝度の最小値が、輝度判定用閾値以上である場合、カメラ21から得られた撮影画像の信頼度が低下していると判定する。例えば、撮影画像にいて、真っ黒な画素の輝度を「0」、真っ白な画素の輝度を「255」とした場合、輝度判定用閾値には「250」が設定される。
図8は、実施の形態3に係る自動運転制御装置1bの動作を説明するためのフローチャートである。
そして、監視部14bは、ステップST804にて取得した撮影画像の各画素の輝度の最大値が輝度判定用閾値以下であるか否かを判定する(ステップST805)。
制御部15は、ステップST802にて第1制御量推論部121が推論した第1自動運転制御量を出力するよう、制御量推論部12bを制御する。選択部123は、第1自動運転制御量を選択し、車両制御部3に出力する(ステップST806)。
制御部15は、ステップST803にて第2制御量推論部122bが推論した第2自動運転制御量を出力するよう、制御量推論部12bを制御する。選択部123は、第2自動運転制御量を選択し、車両制御部3に出力する(ステップST807)。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル13bとに基づいて、自動運転制御量を推論して出力する自動運転制御装置1bにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両100の自動運転制御に適した自動運転制御量を出力することができる。
実施の形態2および実施の形態3では、複数のセンサのうち少なくとも1つがカメラ21である場合を想定し、複数のセンサはいずれも、故障する可能性が無視できる程度に低い一方、カメラ21から出力される撮影画像については、比較的問題が生じ易いものであることを前提とした。そして、自動運転制御装置1a、1bが、車両100周辺の気象または撮影画像の画素の輝度に基づいて、カメラ21から出力される撮影画像の信頼度が低下したか否かを判定し、当該撮影画像の信頼度が低下した場合であっても、車両100の自動運転制御に適した自動運転制御量の推論を行う実施の形態について説明した。
実施の形態4では、自動運転制御装置1cが、実施の形態2および実施の形態3とは異なる方法で、カメラ21から出力される撮影画像の信頼度が低下したか否かを判定する実施の形態について説明する。
実施の形態4では、後述の図9に示すように、センサは、カメラ21、ミリ波レーダ22である。実施の形態4でも、実施の形態2および実施の形態3同様、カメラ21もミリ波レーダ22も、故障する可能性が無視できる程度に低い一方、カメラ21から出力される撮影画像については、比較的問題が生じ易いものであることを前提とする。
自動運転制御装置1cは、実施の形態1~3同様、カメラ21から出力される撮影画像、および、ミリ波レーダ22から出力される距離情報を、車両周辺情報として取得する。また、実施の形態4では、自動運転制御装置1cは、車両走行センサ24から出力される、車両100が走行しているか否かを判定するための情報(以下「車両走行情報」という。)を取得する。実施の形態4において、「車両100が走行している」とは、「車両100が移動している」ことと同義である。「車両100が移動している」とは、「車両100の速度が「0」でない」ことと同義である。
なお、車両100が走行しているか否かの判定は、後述する走行判定部17が、車両走行センサ24から出力された車両走行情報に基づいて行う。
実施の形態4に係る自動運転制御装置1cについて、実施の形態1で図2を用いて説明した自動運転制御装置1と同じ構成については、同じ符号を付して重複した説明を省略する。実施の形態4に係る自動運転制御装置1cの構成は、実施の形態1に係る自動運転制御装置1の構成とは、走行判定部17を備える点が異なる。また、実施の形態4に係る自動運転制御装置1cにおいて、制御量推論部12cの第2制御量推論部122c、および、監視部14cの具体的な動作が、実施の形態1に係る自動運転制御装置1の第2制御量推論部122、および、監視部14の具体的な動作とは、異なる。
走行判定部17は、判定した、車両100が走行中であるか否かの情報を、監視部14cに出力する。
車両100が走行中である場合、撮影画像で撮影されている風景は、変化すると想定される。したがって、車両100が走行中であるにもかかわらず、撮影画像で撮影されている風景に変化がないということは、撮影画像の信頼度が低下していることを意味する。
なお、実施の形態4では、自動運転制御装置1cにおいて、情報取得部11は、カメラ21から取得した撮影画像を、記憶部に蓄積させているものとする。監視部14cは、情報取得部11から取得した撮影画像と、記憶部に蓄積されている撮影画像とに基づき、撮影画像で撮影されている風景に変化がないかどうかを判定する。
図10は、実施の形態4に係る自動運転制御装置1cの動作を説明するためのフローチャートである。
第2制御量推論部122cは、推論した第2自動運転制御量を選択部123に出力する。
ステップST1005において、撮影画像が記憶部に蓄積されていないと判定された場合(ステップST1005の“NO”の場合)、監視部14cは、カメラ21から取得された撮影画像の信頼度は低下していないと判定し、撮影画像の信頼度は低下していない旨の監視結果情報を、制御部15に出力する。自動運転制御装置1cの動作は、ステップST1007に進む。
制御部15は、ステップST1003にて第2制御量推論部122cが推論した第2自動運転制御量を出力するよう、制御量推論部12cを制御する。選択部123は、第2自動運転制御量を選択し、車両制御部3に出力する(ステップST1008)。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル13cとに基づいて、自動運転制御量を推論して出力する自動運転制御装置1cにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両100の自動運転制御に適した自動運転制御量を出力することができる。
実施の形態1に係る自動運転制御装置1において、センサから出力される車両周辺情報の信頼度が低下していると判定した場合に、当該信頼度が低下していることを示す情報を、自動運転制御装置1の外部に出力するようにすることもできる。
実施の形態5では、自動運転制御装置1が、センサから出力される車両周辺情報の信頼度が低下していると判定した場合に、当該信頼度が低下していることを示す情報を、自動運転制御装置1の外部に出力する実施の形態について説明する。
実施の形態5に係る自動運転制御装置1dについて、実施の形態1で図2を用いて説明した自動運転制御装置1と同じ構成については、同じ符号を付して重複した説明を省略する。実施の形態5に係る自動運転制御装置1dの構成は、実施の形態1に係る自動運転制御装置1の構成とは、通知制御部18を備えた点が異なる。
実施の形態5では、制御部15は、監視部14により、複数車両周辺情報の一部以外の車両周辺情報の信頼度が低下していると判定された場合、第2自動運転制御量を出力するよう制御するとともに、車両周辺情報の信頼度が低下していることを示す情報を、通知制御部18に出力する。
通知制御部18は、例えば、図12に示すように、ミリ波レーダ22から出力される距離情報の信頼度が低下していることを示す情報として、ディスプレイに、「ミリ波レーダが使用できません」とのメッセージを表示させる(図12の1201参照)。このように、距離情報の信頼度が低下していることを示す情報には、例えば、信頼度が低下している車両周辺情報を出力するセンサが使用不可である旨のメッセージが含まれる。
自動運転制御装置1dの動作は、実施の形態1において図3を用いて説明した動作と、基本的には同じであるため、フローチャートの図示は省略する。
ステップST305において、ステップST304にて取得した基準距離と、ステップST301にて情報取得部11がミリ波レーダ22から取得した距離情報に基づく、車両100から当該物体までの距離との差がレーダ判定用閾値より大きいと判定した場合(ステップST305の“NO”の場合)、監視部14は、ミリ波レーダ22から取得された距離情報の信頼度が低下していると判定し、距離情報の信頼度が低下している旨の監視結果情報を、制御部15に出力する。
制御部15は、ステップST303にて第2制御量推論部122が推論した第2自動運転制御量を出力するよう、制御量推論部12を制御するとともに、車両周辺情報の信頼度が低下していることを示す情報を、通知制御部18に出力する。通知制御部18は、複数の車両周辺情報のうちの一部の車両周辺情報の信頼度が低下していることを示す通知情報を出力する。
また、実施の形態5に係る自動運転制御装置1dにおいて、通知制御部18が、例えば、図13に示すような通知情報を出力する場合、推論できる自動運転の機能が変更になったことを運転者等に通知することができる。これにより、自動運転制御装置1dは、運転者等に対して、期待していた自動運転の機能を使用できないことを把握させ、運転者等による、期待していた自動運転の機能が使用できないことへの混乱を防ぐことができる。なお、上述のとおり、通知制御部18は、図12に示すような通知情報を出力することも可能であるが、図13に示すように、自動運転の制御における機能低下を通知したほうが、運転者等は、自動運転のどの機能が使用できないかを具体的に把握することができる。
実施の形態1~5に係る自動運転制御装置1~1dは、複数のセンサから出力された複数の車両周辺情報について、信頼度が低下している車両周辺情報がない場合には第1機械学習モデル131を用い、信頼度が低下している車両周辺情報がある場合には第2機械学習モデル132,132a~132cを用いるものであった。
しかし、これらは一例に過ぎず、自動運転制御装置は、複数のセンサから出力された複数の車両周辺情報について、信頼度が低下している車両周辺情報がない場合にも、信頼度が低下している車両周辺情報がある場合にも、同じ1つの機械学習モデル13を用いるものとすることも可能である。実施の形態6では、自動運転制御装置が、上記2つ場合のいずれでも、同じ1つの機械学習モデルを用いる実施の形態について説明する。
なお、ここでは、一例として、実施の形態6に係る自動運転制御装置1eの構成および動作を、実施の形態1に係る自動運転制御装置1の構成および動作の一部が変更されたものとして説明する。しかし、実施の形態6に係る自動運転制御装置1eの構成および動作を、実施の形態2~5に係る自動運転制御装置1a~1dのいずれかの構成および動作を一部変更することで実現することもできる。
また、実施の形態6に係る自動運転制御装置1eは、実施の形態1に係る自動運転制御装置1とは、制御部15eの動作が異なる。
実施の形態6では、後述の図14に示すように、センサは、実施の形態1のセンサと同様に、カメラ21、ミリ波レーダ22である。また、実施の形態6では、実施の形態1の前提と同様に、カメラ21の撮影画像については、実質的に問題は生じることはない一方、ミリ波レーダ22の距離情報については、比較的問題が生じ易いことを前提とする。
したがって、制御部15eは、具体的には、監視部14により、ミリ波レーダ22から出力される距離情報の信頼度が低下していると判定された場合、カメラ21から出力された撮影画像に情報有効フラグ「1」を付与し、ミリ波レーダ22から出力された距離情報に情報有効フラグ「0」を付与する。実施の形態6では、一例として、情報有効フラグが「1」の場合、当該情報有効フラグが付与された車両周辺情報の信頼度が低下していないことを示し、情報有効フラグが「0」の場合、当該情報有効フラグが付与されたフラグ付き車両周辺情報の信頼度が低下していることを示すものとする。
以下、情報有効フラグが付与された車両周辺情報を、「フラグ付き車両周辺情報」という。
制御部15eは、情報取得部11が取得した複数の車両周辺情報の全部について情報有効フラグを付与して生成した、複数のフラグ付き車両周辺情報を、制御量推論部12eに出力する。
図15は、実施の形態6に係る自動運転制御装置1eの動作を説明するためのフローチャートである。
図15のステップST1501~ステップST1502の具体的な動作は、それぞれ、実施の形態1で説明した、図3のステップST301、ステップST304の具体的な動作と同様であるため、重複した説明を省略する。
算出された差がレーダ判定用閾値より大きいと判定した場合、監視部14は、ミリ波レーダ22から取得された距離情報の信頼度が低下していると判定し、距離情報の信頼度が低下している旨の監視結果情報を、制御部15eに出力する。
一方、算出された差がレーダ判定用閾値以下であると判定した場合、監視部14は、ミリ波レーダ22から取得された距離情報の信頼度が低下していないと判定し、距離情報の信頼度が低下していない旨の監視結果情報を、制御部15eに出力する。
実施の形態6では、実施の形態1の前提と同様に、カメラ21の撮影画像については、実質的に問題は生じることはない前提であるため、制御部15eは、撮影画像には、常に情報有効フラグ「1」を付与する。
制御部15eは、フラグ付き車両周辺情報を、制御量推論部12eに出力する。
また、自動運転制御装置1eは、自動運転制御量の推論の際、車両周辺情報に情報有効フラグを付与して、車両周辺情報が、自動運転制御量の推論に使用されるのに有効か否かを判別できるようにした。これにより、自動運転制御装置1eは、複数のセンサのうち一部の1または複数のセンサから出力される車両周辺情報の信頼度が低下した場合であっても、車両100の自動運転制御に使用できる自動制御量を推論することができる。
そのため、複数のセンサからそれぞれ出力された複数の車両周辺情報と機械学習モデル13とに基づいて、自動運転制御量を推論して出力する自動運転制御装置1eにおいて、当該複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下した場合であっても、車両100の自動運転制御に適した自動運転制御量を出力することができる。
実施の形態1~6において、情報取得部11と、制御量推論部12~12eと、監視部14~14cと、制御部15,15eと、気象判定部16と、走行判定部17と、通知制御部18の機能は、処理回路1601により実現される。すなわち、自動運転制御装置1~1eは、車両100の自動運転を制御するための自動運転制御量の推論を行う処理回路1601を備える。
処理回路1601は、図16Aに示すように専用のハードウェアであっても、図16Bに示すようにメモリ1606に格納されるプログラムを実行するCPU(Central
Processing Unit)1605であってもよい。
Read-Only Memory)等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
また、自動運転制御装置1~1eは、センサ、車両制御部3、または、出力装置等の装置と、有線通信または無線通信を行う入力インタフェース装置1603および出力インタフェース装置1604を備える。
これに限らず、情報取得部11と、制御量推論部12~12eと、監視部14~14cと、制御部15,15eと、気象判定部16と、走行判定部17と、通知制御部18のうち、一部を車両100の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで自動運転制御システムを構成するようにしてもよい。
図17に一例として示すような自動運転制御システムでは、自動運転制御装置1と車載装置とは、通信装置101および通信装置201を介して接続される。センサが取得した車両周辺情報は、通信装置101および通信装置201を介してサーバ200上の自動運転制御装置1に送信される。自動運転制御装置1は車載装置から受信した車両周辺情報に基づき、自動運転制御量を推論する。そして、自動運転制御装置1が推論した自動運転制御量が、通信装置201および通信装置101を介して車載装置に搭載されている車両制御部3に送信される。車両制御部3は、取得した自動運転制御量に基づき、制御対象機器4を制御する。
また、図17は、一例として、自動運転制御システムは、実施の形態1に係る自動運転制御装置1がサーバ200に備えられたものとしているが、当該自動運転制御システムは、実施の形態2~6に係る自動運転制御装置1a~1eのいずれかがサーバ200に備えられたものとしてもよい。自動運転制御システムを、実施の形態2~6に係る自動運転制御装置1a~1eのいずれかがサーバ200に備えられたものとした場合、図17に示すような構成例において、自動運転制御装置1a~1eの機能の一部または全部が、サーバ200に備えられる。
メモリ。
Claims (14)
- 複数のセンサからそれぞれ出力された複数の車両周辺情報を取得する情報取得部と、
前記情報取得部が取得した前記複数の車両周辺情報と、機械学習モデルとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力する制御量推論部と、
前記情報取得部が取得した前記複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定する監視部と、
前記監視部により、前記複数の車両周辺情報のうちいずれかの車両周辺情報の前記信頼度が低下していると判定された場合、前記信頼度が低下していると判定された車両周辺情報を除いて前記自動運転制御量を出力するよう学習済みの前記機械学習モデルを用いて、当該信頼度が低下していると判定された車両周辺情報の影響を除いた前記自動運転制御量を出力するように、前記制御量推論部を制御する制御部
を備えた自動運転制御装置。 - 前記制御量推論部は、前記情報取得部が取得した前記複数の車両周辺情報の全部と第1機械学習モデルとに基づき第1自動運転制御量を推論する第1制御量推論部と、前記情報取得部が取得した前記複数の車両周辺情報の一部と第2機械学習モデルとに基づき第2自動運転制御量を推論する第2制御量推論部とを含み、
前記制御部は、前記監視部により、前記複数の車両周辺情報のうち、前記第2機械学習モデルに入力される前記複数の車両周辺情報の一部以外の車両周辺情報の前記信頼度が低下していると判定された場合、前記第2自動運転制御量を出力するように、前記制御量推論部を制御する
ことを特徴とする請求項1記載の自動運転制御装置。 - 前記制御量推論部は、前記第1自動運転制御量、または、前記第2自動運転制御量のうち、いずれを出力するかを選択する選択部を備え、
前記選択部は、前記制御量推論部が前記制御部により前記第2自動運転制御量を出力するように制御された場合、前記第2自動運転制御量を選択して出力する
ことを特徴とする請求項2記載の自動運転制御装置。 - 前記第2制御量推論部は、前記制御量推論部が前記制御部により前記第2自動運転制御量を出力するように制御された場合に、前記第2自動運転制御量を推論する
ことを特徴とする請求項2記載の自動運転制御装置。 - 前記制御部は、前記情報取得部が取得した前記複数の車両周辺情報の全部に、前記監視部による前記信頼度の判定結果に基づく情報有効フラグを付与するものであり、
前記制御量推論部は、前記制御部が前記情報有効フラグを付与した前記複数の車両周辺情報の全部と、前記機械学習モデルとに基づいて、前記自動運転制御量を推論して、当該自動運転制御量を出力する
ことを特徴とする請求項1記載の自動運転制御装置。 - 前記複数のセンサには、少なくとも、カメラおよびミリ波レーダが含まれ、
前記情報取得部は、前記複数の車両周辺情報として、少なくとも、前記カメラが車両周辺に存在する物体を撮影した撮影画像、および、前記ミリ波レーダが計測した前記物体までの距離に関する距離情報を取得し、
前記監視部は、前記情報取得部が取得した撮影画像に基づく前記物体までの距離と、前記情報取得部が取得した距離情報に基づく前記物体までの距離との差が、レーダ判定用閾値より大きい場合、前記ミリ波レーダから取得された距離情報の前記信頼度が低下していると判定する
ことを特徴とする請求項1記載の自動運転制御装置。 - 前記複数のセンサの1つは、カメラであり、
前記情報取得部は、前記複数の車両周辺情報の1つとして、前記カメラが車両周辺を撮影した撮影画像を取得し、
前記車両周辺の気象を判定する気象判定部を備え、
前記監視部は、前記気象判定部が判定した気象に基づき、前記カメラから取得された撮影画像の前記信頼度が低下しているか否かを判定する
ことを特徴とする請求項1記載の自動運転制御装置。 - 前記監視部は、前記気象判定部が前記車両周辺に霧または降水があると判定した場合、前記カメラから取得された撮影画像の前記信頼度が低下していると判定する
ことを特徴とする請求項7記載の自動運転制御装置。 - 前記複数のセンサの1つは、カメラであり、
前記情報取得部は、前記複数の車両周辺情報の1つとして、前記カメラが車両周辺を撮影した撮影画像を取得し、
前記監視部は、前記情報取得部が取得した撮影画像の輝度に基づき、前記カメラから取得された撮影画像の前記信頼度が低下しているか否かを判定する
ことを特徴とする請求項1記載の自動運転制御装置。 - 前記複数のセンサの1つは、カメラであり、
前記情報取得部は、前記複数の車両周辺情報の1つとして、前記カメラが車両周辺を撮影した撮影画像を取得し、
車両が走行中であるか否かを判定する走行判定部を備え、
前記監視部は、前記走行判定部が前記車両は走行中であると判定し、かつ、前記情報取得部が取得した撮影画像で撮影されている前記車両周辺の風景に変化がない場合、前記カメラから取得された撮影画像の前記信頼度が低下していると判定する
ことを特徴とする請求項1記載の自動運転制御装置。 - 前記制御部が前記第2自動運転制御量を出力するように前記制御量推論部を制御した場合、前記複数の車両周辺情報のうちの一部の車両周辺情報の前記信頼度が低下していることを示す通知情報を出力する通知制御部を備えた
ことを特徴とする請求項2記載の自動運転制御装置。 - 前記通知情報は、
前記信頼度が低下していると判定された車両周辺情報を出力するセンサが使用不可である旨のメッセージである
ことを特徴とする請求項11記載の自動運転制御装置。 - 前記通知情報は、
前記信頼度が低下していると判断された車両周辺情報があることによって自動運転制御に使用できない機能を通知するメッセージである
ことを特徴とする請求項11記載の自動運転制御装置。 - 情報取得部が、複数のセンサからそれぞれ出力された複数の車両周辺情報を取得するステップと、
制御量推論部が、前記情報取得部が取得した前記複数の車両周辺情報と、機械学習モデルとに基づいて自動運転制御量を推論し、当該自動運転制御量を出力するステップと、
監視部が、前記情報取得部が取得した前記複数の車両周辺情報のうちいずれかの車両周辺情報の信頼度が低下しているか否かを判定するステップと、
制御部が、前記監視部により、前記複数の車両周辺情報のうちいずれかの車両周辺情報の前記信頼度が低下していると判定された場合、前記信頼度が低下していると判定された車両周辺情報を除いて前記自動運転制御量を出力するよう学習済みの前記機械学習モデルを用いて、当該信頼度が低下していると判定された車両周辺情報の影響を除いた前記自動運転制御量を出力するように、前記制御量推論部を制御するステップ
を備えた自動運転制御方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/034441 WO2021044486A1 (ja) | 2019-09-02 | 2019-09-02 | 自動運転制御装置および自動運転制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021044486A1 JPWO2021044486A1 (ja) | 2021-11-25 |
JP7330278B2 true JP7330278B2 (ja) | 2023-08-21 |
Family
ID=74852328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021543813A Active JP7330278B2 (ja) | 2019-09-02 | 2019-09-02 | 自動運転制御装置および自動運転制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220242446A1 (ja) |
JP (1) | JP7330278B2 (ja) |
CN (1) | CN114286772A (ja) |
DE (1) | DE112019007681T5 (ja) |
WO (1) | WO2021044486A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022201222A1 (ja) * | 2021-03-22 | 2022-09-29 | 三菱電機株式会社 | 制御装置および制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047176A1 (ja) | 2015-09-18 | 2017-03-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2017179209A1 (ja) | 2016-04-15 | 2017-10-19 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
WO2018134863A1 (ja) | 2017-01-17 | 2018-07-26 | 株式会社日立製作所 | 移動体の走行制御装置 |
WO2019017253A1 (ja) | 2017-07-18 | 2019-01-24 | パイオニア株式会社 | 制御装置、制御方法、およびプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4426436B2 (ja) * | 2004-12-27 | 2010-03-03 | 株式会社日立製作所 | 車両検知装置 |
JP6682833B2 (ja) * | 2015-12-04 | 2020-04-15 | トヨタ自動車株式会社 | 物体認識アルゴリズムの機械学習のためのデータベース構築システム |
US10410113B2 (en) * | 2016-01-14 | 2019-09-10 | Preferred Networks, Inc. | Time series data adaptation and sensor fusion systems, methods, and apparatus |
JP6558282B2 (ja) * | 2016-03-09 | 2019-08-14 | トヨタ自動車株式会社 | 自動運転システム |
JP6858002B2 (ja) * | 2016-03-24 | 2021-04-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 物体検出装置、物体検出方法及び物体検出プログラム |
JP6690450B2 (ja) * | 2016-07-19 | 2020-04-28 | 株式会社デンソー | 運転支援装置 |
WO2018042592A1 (ja) * | 2016-09-01 | 2018-03-08 | 三菱電機株式会社 | 自動運転レベル低下可否判定装置、自動運転レベル低下可否判定方法 |
US10427645B2 (en) * | 2016-10-06 | 2019-10-01 | Ford Global Technologies, Llc | Multi-sensor precipitation-classification apparatus and method |
JP6548691B2 (ja) * | 2016-10-06 | 2019-07-24 | 株式会社アドバンスド・データ・コントロールズ | 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法 |
US10007269B1 (en) * | 2017-06-23 | 2018-06-26 | Uber Technologies, Inc. | Collision-avoidance system for autonomous-capable vehicle |
JP6944308B2 (ja) | 2017-08-18 | 2021-10-06 | ソニーセミコンダクタソリューションズ株式会社 | 制御装置、制御システム、および制御方法 |
WO2019116518A1 (ja) * | 2017-12-14 | 2019-06-20 | 株式会社日立製作所 | 物体検出装置及び物体検出方法 |
JP7113958B2 (ja) * | 2019-03-11 | 2022-08-05 | 三菱電機株式会社 | 運転支援装置及び運転支援方法 |
JP7460044B2 (ja) * | 2019-03-29 | 2024-04-02 | インテル・コーポレーション | 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体 |
-
2019
- 2019-09-02 DE DE112019007681.7T patent/DE112019007681T5/de not_active Withdrawn
- 2019-09-02 US US17/629,678 patent/US20220242446A1/en active Pending
- 2019-09-02 WO PCT/JP2019/034441 patent/WO2021044486A1/ja active Application Filing
- 2019-09-02 CN CN201980099843.2A patent/CN114286772A/zh active Pending
- 2019-09-02 JP JP2021543813A patent/JP7330278B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047176A1 (ja) | 2015-09-18 | 2017-03-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2017179209A1 (ja) | 2016-04-15 | 2017-10-19 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
WO2018134863A1 (ja) | 2017-01-17 | 2018-07-26 | 株式会社日立製作所 | 移動体の走行制御装置 |
WO2019017253A1 (ja) | 2017-07-18 | 2019-01-24 | パイオニア株式会社 | 制御装置、制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021044486A1 (ja) | 2021-03-11 |
US20220242446A1 (en) | 2022-08-04 |
CN114286772A (zh) | 2022-04-05 |
JPWO2021044486A1 (ja) | 2021-11-25 |
DE112019007681T5 (de) | 2022-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11465626B2 (en) | Virtualized driver assistance | |
US20180319338A1 (en) | Vehicle periphery monitoring device and vehicle periphery monitoring system | |
JP2010068069A (ja) | 車両周辺撮影システム | |
CN103679838A (zh) | 车辆监控系统及方法 | |
CN111157014A (zh) | 路况展示方法、装置及车载终端、存储介质 | |
GB2553905A (en) | Systems, methods, and devices for rendering in-vehicle media content based on vehicle sensor data | |
CN109416884B (zh) | 识别区域推定装置、识别区域推定方法及识别区域推定程序 | |
GB2554787A (en) | Systems, methods, and devices for rendering in-vehicle media content based on vehicle sensor data | |
JP2007082594A (ja) | 疲労検出装置 | |
CN113205088B (zh) | 障碍物图像展示方法、电子设备和计算机可读介质 | |
US20190197730A1 (en) | Semiconductor device, imaging system, and program | |
JP7330278B2 (ja) | 自動運転制御装置および自動運転制御方法 | |
US11393223B2 (en) | Periphery monitoring device | |
US20210323470A1 (en) | Display control device, display control method, and storage medium storing program | |
JP5778006B2 (ja) | 画像処理装置及び画像処理方法 | |
KR20210102212A (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템 | |
JP7427556B2 (ja) | 運転制御装置、運転制御方法及びプログラム | |
WO2022101982A1 (ja) | センサノイズ除去装置およびセンサノイズ除去方法 | |
JP7454177B2 (ja) | 周辺監視装置、およびプログラム | |
JP7371679B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2022153888A1 (ja) | 固体撮像装置、固体撮像装置の制御方法及び固体撮像装置の制御プログラム | |
EP4194883A1 (en) | Device and method for determining objects around a vehicle | |
WO2022064542A1 (ja) | 案内制御装置および案内制御方法 | |
CN118289023A (zh) | 车辆控制方法、装置、设备及存储介质 | |
JP2020094861A (ja) | 運転支援装置、運転支援プログラム、および、運転支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7330278 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |