JP7120820B2 - 車両制御装置、車両制御方法、およびプログラム - Google Patents

車両制御装置、車両制御方法、およびプログラム Download PDF

Info

Publication number
JP7120820B2
JP7120820B2 JP2018113051A JP2018113051A JP7120820B2 JP 7120820 B2 JP7120820 B2 JP 7120820B2 JP 2018113051 A JP2018113051 A JP 2018113051A JP 2018113051 A JP2018113051 A JP 2018113051A JP 7120820 B2 JP7120820 B2 JP 7120820B2
Authority
JP
Japan
Prior art keywords
vehicle
risk
unit
latent
surrounding situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018113051A
Other languages
English (en)
Other versions
JP2019214318A (ja
Inventor
明媚 李
裕司 安井
斗紀知 有吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018113051A priority Critical patent/JP7120820B2/ja
Priority to CN201910499252.6A priority patent/CN110588642B/zh
Priority to US16/436,962 priority patent/US11235767B2/en
Publication of JP2019214318A publication Critical patent/JP2019214318A/ja
Application granted granted Critical
Publication of JP7120820B2 publication Critical patent/JP7120820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4026Cycles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • B60W2720/106Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017Planning or execution of driving tasks specially adapted for safety of other traffic participants

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。
従来、自車両の周辺の障害物と自車両との接触のリスクを考慮に入れ、接触リスクを避けることができる規範行動候補を自車両の運転者に提供する運転支援技術が開示されている(例えば、特許文献1)。特許文献1に記載の技術では、直接に認知可能な障害物の経路である顕在的経路、および存在が予想される障害物の経路である潜在的経路に基づいて、障害物と自車との接触の短期的リスクおよび長期的リスクを推定することで、規範行動候補を提供する。
特開2011-96105号公報
しかしながら、従来の技術では、長期的リスクの推定の必要性を低下させて短期的リスクの推定に注力することで、計算量を低減することについては考慮されているが、短期的リスクの処理負荷の軽減については特に考慮されていなかった。
本発明は、このような事情を考慮してなされたものであり、自車両の周辺に存在する障害物に関連する潜在リスクをより好適に推定する車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る車両制御装置、車両制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る車両制御装置は、車両周辺状況を認識する周辺状況認識部と、前記周辺状況認識部により認識された周辺状況に基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行する運転制御部と、前記周辺状況認識部により認識された対象物の種別と、前記車両と前記対象物との位置関係とに基づいて、障害物と遭遇する潜在リスクの有無および種別を推定する潜在リスク推定部と、を備え、前記運転制御部は、前記潜在リスク推定部の推定結果に基づいて前記運転制御を実行するものである。
(2):上記(1)の様態において、前記潜在リスク推定部による推定結果に含まれる前記潜在リスクの種別を、前記推定結果の特徴を示すキーワードとして記憶する交通シーン記憶部とを更に備えるものである。
(3):上記(2)の様態において、前記潜在リスク推定部は、推定した前記潜在リスクの特徴を示す前記キーワードを生成し、前記交通シーン記憶部の記憶する前記推定結果を前記キーワードにより検索することで、前記潜在リスクの有無および種別を推定するものである。
(4):上記(1)から(3)の様態において、前記車両の周辺状況の潜在リスクを数値化した潜在リスク値と、前記周辺状況認識部によって認識された前記車両の周辺状況の潜在リスクを数値化したリスク値とを比較し、前記潜在リスク値が前記リスク値以上である場合には前記潜在リスクを考慮した前記車両の周辺状況を前記運転制御部に出力し、前記潜在リスク値が前記リスク値未満である場合には前記周辺状況認識部によって認識された前記車両の周辺状況を前記運転制御部に出力するリスク解析部を更に備えるものである。
(5):上記(4)の様態において、前記リスク解析部は、前記潜在リスクに関連する画像情報を前記周辺状況認識部によって認識された認識結果に合成して表示することで、前記潜在リスクを考慮した前記車両の周辺状況を再現するものである。
(6):上記(4)または(5)の様態において、前記リスク解析部は、前記周辺状況認識部によって認識された推定結果を示す事象を認識空間にプロットすることで、前記潜在リスクを考慮した前記車両の周辺状況を再現するものである。
(7):この発明の一態様に係る車両制御装置は、車両周辺状況を認識する周辺状況認識部と、前記周辺状況認識部により認識された周辺状況に基づいて、障害物と遭遇する潜在リスクを推定する潜在リスク推定部と、前記推定された潜在リスクを数値化した潜在リスク値と、前記周辺状況認識部によって認識された前記車両の周辺状況の潜在リスクを数値化したリスク値とを比較し、前記潜在リスク値が前記リスク値以上である場合には前記潜在リスクを考慮した運転制御を行い、前記潜在リスク値が前記リスク値未満である場合には前記周辺状況認識部によって認識された前記車両の周辺状況に基づく運転制御を行う運転制御部と、を備えるものである。
(8):この発明の一態様に係る車両制御方法は、コンピュータが、車両周辺状況を認識し、認識された周辺状況に基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行し、認識された対象物の種別と、前記車両と前記対象物との位置関係とに基づいて、障害物と遭遇する潜在リスクの有無および種別を推定し、推定結果に基づいて前記運転制御を実行する、車両制御方法である。
(9):この発明の一態様に係るプログラムは、コンピュータに、車両周辺状況を認識させ、認識された周辺状況に基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行させ、認識された対象物の種別と、前記車両と前記対象物との位置関係とに基づいて、障害物と遭遇する潜在リスクの有無および種別を推定させ、推定結果に基づいて前記運転制御を実行させる、プログラムである。
(1)~(9)によれば、発生した場合に潜在リスクの高い事象を選別して短期的リスクの処理を行うことにより、処理負荷を軽減することができる。
また、(3)によれば、前記交通シーン記憶部の記憶する前記推定結果を前記キーワードにより検索するという汎用的な技術を用いることで、ソフトウェアの開発負荷を削減することができる。
また、(4)~(7)によれば、前記潜在リスクに関連する画像情報を前記周辺状況認識部によって認識された認識結果に合成することで、より精度の高い短期的リスクの演算処理をすることができる。
実施形態に係る車両制御装置1の構成図である。 第1制御部120および第2制御部160の機能構成図である。 認識部130および行動計画生成部140の処理について説明するための図である。 周辺状況記憶部132Aに格納されるテーブルTの一例を示す図である。 認識部130が認識した自車両Mの走行環境の一例を示す図である。 リスク解析部142がリスク解析に用いる画像の一例を示す図である。 リスク解析部142がリスク解析に用いる画像の他の一例を示す図である。 リスク解析部142が再現した自車両Mの走行環境を示す図である。 交通シーン記憶部150の記憶する各種情報を説明する図である。 交通シーン選択部134による交通シーン設定と、キーワード設定部136によるキーワード設定の処理の流れの一例を示すフローチャートである。 潜在リスク推定部138による交通シーンから連想される潜在リスクを推定する処理の流れの一例を示すフローチャートである。 リスク解析部142による潜在リスクを再現する処理の流れの一例を示すフローチャートである。 リスク解析部142による潜在リスクを演算する処理の流れの一例を示すフローチャートである。 実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。
[全体構成]
図1は、実施形態に係る車両制御装置1の構成図である。車両制御装置1が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両制御装置1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、運転操作子80と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両制御装置1が搭載される車両(以下、自車両M)の任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、自車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、自車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を自動運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま自動運転制御装置100に出力してよい。車両制御装置1から物体認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、自車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、自車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリなどの記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、自車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
自動運転制御装置100は、例えば、第1制御部120と、第2制御部160とを備える。第1制御部120と第2制御部160は、それぞれ、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置100のHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで自動運転制御装置100のHDDやフラッシュメモリにインストールされてもよい。なお、行動計画生成部140と第2制御部160は「運転制御部」の一例である。また、「運転制御部」には後述する潜在リスク推定部138を含んでもよい。
図2は、第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(種別マッチング可能な信号、道路標示などがある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、例えば、周辺状況認識部132と、交通シーン選択部134と、キーワード設定部136と、潜在リスク推定部138と、周辺状況記憶部132Aとを備える。周辺状況認識部132は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、自車両Mの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Mの代表点(重心や駆動軸中心など)を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、周辺状況認識部132は、例えば、自車両Mが走行している車線(走行車線)を認識する。例えば、周辺状況認識部132は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、周辺状況認識部132は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。また、周辺状況認識部132は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
周辺状況認識部132は、走行車線を認識する際に、走行車線に対する自車両Mの位置や姿勢を認識する。周辺状況認識部132は、例えば、自車両Mの基準点の車線中央からの乖離、および自車両Mの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Mの相対位置および姿勢として認識してもよい。これに代えて、周辺状況認識部132は、走行車線のいずれかの側端部(道路区画線または道路境界)に対する自車両Mの基準点の位置などを、走行車線に対する自車両Mの相対位置として認識してもよい。
周辺状況認識部132は、走行車線、走路境界、路側帯、歩道等(以下、道路環境と称する)と、自車両Mの周辺の交通参加者(他車両、自転車、歩行者等)に代表される物体とをそれぞれ区別して認識する。周辺状況認識部132は、例えば、認識された対象物の自車両Mの進行方向と同一方向の相対速度に基づいて、物体であるか道路環境であるかを区別してもよい。周辺状況認識部132は、例えば、認識された対象物の相対速度が自車両Mと異なる場合や、変化する場合に物体であると区別し、認識された対象物の相対速度が自車両Mとほぼ同じ場合に道路環境であると区別してもよい。なお、周辺状況認識部132は、一時停止線、横断歩道、道路標示、障害物、赤信号、料金所、その他の道路事象は、道路環境ではなく物体として認識する。
図3は、周辺状況認識部132の処理について説明するための図である。図3の例では、自車両Mは車線R2を走行中であり、走行方向左側に歩道SWと路側帯SRが位置し、走行方向右側に中央分離帯MSと他の車線R0およびR1とが位置する。周辺状況認識部132は、例えば、図3の例において、路側帯SR、自車両Mが走行する車線R2の区画線LL2およびLR2、車線R1に隣接する車線R0およびR1の区画線LR0、LL0(LR1と同一の区画線であってもよい)、LR1(LL0と同一の区画線であってもよい)、およびLR2(LL1と同一の区画線であってもよい)を認識し、認識結果を交通シーン選択部134に出力する。また、周辺状況認識部132は、交通参加者である他車両OV1およびOV2を認識し、認識結果を周辺状況記憶部132Aおよび交通シーン選択部134に出力する。交通シーン選択部134と、キーワード設定部136と、潜在リスク推定部138については後述する。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、自車両Mの周辺状況に対応できるように、自車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの自車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部140は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部140は、起動させたイベントに応じた目標軌道を生成する。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
行動計画生成部140は、例えば、リスク解析部142を備える。リスク解析部142については後述する。
図2に戻り、第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、自車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECUとを備える。ECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[第1制御部・第2制御部の構成]
図2に戻り、交通シーン選択部134は、周辺状況認識部132の認識結果に基づいて、自車両Mの走行する状況を認識し、自車両Mがまもなく接近する状況を推定して、交通シーンを選択する。交通シーンとは、自車両Mの走行する状況、または自車両Mがまもなく接近する状況を予め設定された種別の中から最適な種別に分類するものである。交通シーン選択部134は、例えば、自車両Mの前方に交差点を認識した場合には、交通シーン記憶部150に記憶された交差点に関連する交通シーンから、自車両Mの走行する状況に最も適した交通シーンを選択する。
交通シーンには、例えば、「直進」、「左折」のような運転操作の情報を含んでもよいし、「市街地の片道3車線の交差点」、「住宅街の小学校周辺」のような地理的な情報を含んでもよいし、「日曜の早朝」、「雨の日の夕方」のような時間帯や天候の情報を含んでもよいし、「渋滞」等の走路状態の情報を含んでもよい。運転操作の情報は、運転操作子80に設置された操作量等を検出するセンサの検出結果から、周辺状況認識部132が導出する。時間帯や天候の情報は、周辺状況認識部132の認識した結果から導出されてもよいし、通信装置20が他装置と通信することにより取得した情報であってもよい。また、交通シーンには、関連する潜在リスクについての情報が対応付く。例えば、「住宅街の小学校周辺」の交通シーンでは、「児童の飛び出し」という潜在リスクの情報が対応付く。なお、潜在リスクには、その潜在リスクの発生可能性の情報が含まれていてもよい。交通シーン選択部134は、周辺状況認識部132が認識した自車両Mの周辺の交通参加者(他車両、自転車、歩行者等)や道路事象の認識結果に基づいて、交通シーンを選択し、キーワード設定部136に出力する。なお、交通シーン選択部134は、認識結果のうち特徴的な交通参加者や道路事象について予めキーワードを設定し、後述するキーワード設定部136に出力してもよい。
キーワード設定部136は、交通シーン選択部134により出力された交通シーンに基づいて、交通シーン選択部134により出力された交通シーンに対応付く潜在リスクの情報を交通シーン記憶部150から検索する。キーワード設定部136は、交通シーン選択部134によりキーワードが出力された場合にはそのキーワードを交通シーンに対応付く潜在リスクの情報の検索に用いてもよい。キーワード設定部136は、検索結果から、交通シーンに対応付く潜在リスクの情報から自車両Mの走行する状態を示すキーワードを予め交通シーン記憶部150に記憶された単語から選択して設定して、設定したキーワードと、交通シーン選択部134により出力された交通シーンとを潜在リスク推定部138に出力する。
潜在リスク推定部138は、キーワード設定部136により出力された交通シーンおよびキーワードに基づいて、交通シーン記憶部150の記憶する交通シーンに対応付いた潜在リスクの情報から、自車両Mの潜在リスクを推定する。潜在リスク推定部138は、推定結果をリスク解析部142に出力する。
リスク解析部142は、潜在リスク推定部138により出力された推定結果に基づいて、リスク解析を行い、周辺状況認識部132の認識する自車両Mの周辺状況に基づいて目標軌道を生成するか、リスク解析結果を反映した目標軌道を生成するかを判定し、判定結果に基づく目標軌道を生成する。
[認識結果の認識処理]
以下、周辺状況認識部132による認識結果の処理について、図3および図4を用いて説明する。図3に戻り、周辺状況認識部132は、自車両Mは車線R2を走行中であり、自車両Mの走行方向左側0.75[m]に路側帯SRが位置すると認識する。また、周辺状況認識部132は、自車両Mの走行方向右側に他の車線R0およびR1と中央線LR0とが位置する。また、周辺状況認識部132は、自車両Mの走行方向前方には他車両OV1およびOV2が位置しており、自車両Mと他車両OV1との距離は5[m]以内であり、自車両Mと他車両OV2との距離は15[m]以内であると認識する。また、周辺状況認識部132は、自車両Mの走行方向前方には停止線SLが位置しており、自車両Mと停止線SLとの距離は20[m]以内であると認識する。
図4は、周辺状況記憶部132Aに格納されるテーブルTの一例を示す図である。
周辺状況認識部132は、周辺状況記憶部132Aにおいて、自車両Mの周辺の物体や道路環境の認識結果を図4に示すような1つのデータテーブルTにまとめて管理する。周辺状況記憶部132Aは、例えば、認識した物体についての認識結果をデータテーブルTの列(カラム)の要素として保持させ、認識した道路環境についての認識結果をデータテーブルTの行(レコード)の要素として保持させる。以下の説明では、データテーブルTを構成する列名としてアルファベットを付与し、構成する行名として数字を付与して、列名を示すアルファベットと行名を示す数字とを組み合わせてセル(データテーブルTを構成する最小要素)の位置を説明する。図4に示すデータテーブルTの各セルには、「1(自車両が存在すること)」、または「(認識対象個数を示す数)*(認識対象との距離)」のデータが格納される。
例えば、図4のデータテーブルTのB4セルには、B列(自車)上の3行目(路側帯)には、自車両Mと路側帯SRとの距離が「0.75[m]」であると認識した、という情報が格納される。また、図4のデータテーブルTのA1セルには自車両Mに関する認識結果の生成時間であるタイムスタンプが格納され、データテーブルTのB7セルおよびB8セルの「1」は、自車両Mが走行車線R2を走行中であることを示すフラグが格納される。また、図4のデータテーブルTのC7セルには他車両OV1の認識結果として、1台の車両が自車両Mから5[m]以内の位置に存在し、走行中であることを示す「1*5[m]」が格納され、C8セルには他車両OV2の認識結果として、1台の他車両が自車両Mから15[m]以内の位置に存在し、走行中であることを示す「1*15[m]」が格納される。また、G4~G8セルには停止線SLの認識結果として、1つの停止線が自車両Mから20[m]以内の位置に存在することを示す「1*20[m]」が格納される。また、上記以外のセルには周辺状況認識部132による認識結果が格納されていないことから、上記以外の他の交通参加者は認識していないことが判る。
キーワード設定部136は、図4に示すようなデータテーブルTに格納される認識結果に基づいて、キーワードの設定を行う。また、潜在リスク推定部138は、推定した潜在リスクをデータテーブルTに反映する。潜在リスク推定部138は、推定した潜在リスクと、周辺状況認識部132により認識された認識結果とが識別できるように、例えば識別フラグ等を付与して、推定した潜在リスクをデータテーブルTに反映する。
[交通シーンの選択]
図5は、周辺状況認識部132が認識した自車両Mの走行環境の一例を示す図である。図5に示すように、自車両Mは、交差点に接近中であり、左折専用レーンを走行中である。自車両Mはまもなく交差点に進入しようとしており、自車両Mの乗員は運転操作子80のうち、方向指示器を用いて左折することを周辺の交通参加者に示していてもよい。また、周辺状況認識部132は、前方の交差点Jや、横断歩道CR1およびCR2、他車両OV1およびOV2を認識する。周辺状況認識部132は、他車両OV1は、図3の認識結果とは異なり、自車両の走行方向右側に存在する車線R1を走行中であると認識する。
交通シーン選択部134は、交通シーン記憶部150の記憶する交通シーンから、周辺状況認識部132が認識した自車両Mの走行する状況に近い交通シーンを検索する。交通シーン選択部134は、例えば、交通シーン記憶部150が「交差点を直進」、「交差点を右折」、「交差点を左折」という3種別の交通シーンを記憶する場合、自車両Mが左折専用レーンを走行している等の認識結果から「交差点を左折」の種別に該当する交通シーンを自車両Mの走行する状態に最も類似する交通シーンとして選択する。交通シーン選択部134は、選択した「交差点を左折」の交通シーンをキーワード設定部136に出力する。
キーワード設定部136は、例えば、周辺状況認識部132の認識した交通参加者や道路事象をそれぞれ識別してキーワード設定する。キーワード設定部136は、例えば、他車両OV1を「自車両との距離が5[m]以内の並走車両」、他車両OV2を「自車両との距離が15[m]以内の前方走行車両」のように、認識した交通参加者や道路事象が認識される画像等の領域(交通シーン領域)と、その対象物を識別するキーワードとを設定する。キーワード設定部136によって交通シーン領域に設定されるキーワードが複数である場合、キーワードは単語の寄せ集めとして管理されてもよいし、キーワードから簡易な文節や文章が作成されてもよい。
キーワード設定部136は、例えば、周辺状況認識部132が、自車両Mが日曜の早朝に市街地の片道3車線の交差点を左折することを認識した場合、「日曜」、「早朝」、「市街地」、「片道3車線」、「交差点」、「左折」のようにキーワードを設定する。または、キーワード設定部136は、周辺状況認識部132が認識した「日曜の早朝に市街地の片道3車線の交差点を左折する」という認識結果を文章化したものをそのままキーワードとして設定してもよいし、「日曜の早朝」、「市街地の片道3車線」、「交差点を左折」のように文章の一部を切り取ってキーワードを設定してもよい。キーワード設定部136は、設定したキーワードを潜在リスク推定部138に出力する。
図5において、キーワード設定部136は、横断歩道CR1を含む交通シーン領域IM1に「横断歩道」、「見通しの悪い交差点」を含むキーワードを設定する。また、キーワード設定部136は、他車両OV2と横断歩道CR1を含む交通シーン領域IM2に「横断歩道」と「先行車両が作る死角」を含むキーワードを設定する。また、キーワード設定部136は、他車両OV1と横断歩道CR2を含む交通シーン領域IM3に「横断歩道」と「右側並走車両が作る死角」を含むキーワードを設定する。
[潜在リスクの推定]
潜在リスク推定部138は、交通シーン選択部134により出力された「交差点を左折」の交通シーンに関連し、かつ、キーワード設定部136によって設定された交通シーン領域と、その交通シーン領域に対応付いたキーワードとを用いて潜在リスクを推定する。潜在リスク推定部138は、例えば、「交差点を左折」の交通シーンにおいて、キーワード設定部136によって設定されたキーワードを用いて交通シーン記憶部150からリスク領域を検索する。潜在リスク推定部138は、例えば、交通シーン記憶部150を検索した検索結果として横断歩道CR1を含む交通シーン領域をリスク領域であると設定する。リスク領域とは、潜在リスクの高い対象物自体、または潜在リスクの高い対象物に関連する対象物が認識される交通シーン領域のことである。
潜在リスク推定部138は、例えば、図5の交通シーン領域IM1に対応する「後方から現時点で認識していない自転車が現れて交差点を横断する」や、交通シーン領域IM2に対応する「前方から現時点で認識していない歩行者が現れて交差点を横断する」の潜在リスクに関する情報を取得する。「後方から現時点で認識していない自転車が現れて交差点を横断する」、「前方から現時点で認識していない歩行者が現れて交差点を横断する」といった潜在リスクに関する情報は、例えば、キーワード設定部136により設定されたキーワードで交通シーン記憶部150の記憶するリスク領域を検索することで取得される。
潜在リスク推定部138は、例えば、「後方から現時点で認識していない自転車が現れて交差点を横断する」という潜在リスクから、先行する他車両OV2の「急停止」や、自車両Mと現時点で認識していない自転車との「急接近」といった避けるべき交通シーン(潜在危険シーン)を推定する。潜在リスク推定部138は、取得した潜在リスクや潜在危険シーンを含む推定結果をリスク解析部142に出力する。なお、潜在リスク推定部138は、リスク領域が複数存在する場合には、リスク領域のそれぞれに優先度の設定を行ってもよい。潜在リスク推定部138は、例えば、自車両Mとの距離が近い対象物ほど高い優先度を設定したり、自車両Mの移動方向に位置する対象物に自車両Mの移動方向に位置しない対象物より高い優先度を設定する。潜在リスク推定部138は、優先度が高いと設定されたリスク領域や潜在危険シーンのみを選択してリスク解析部142に出力してもよい。
[リスク解析]
リスク解析部142は、潜在リスク推定部138により出力された推定結果に基づいてリスク解析を行う。リスク解析とは、例えば、潜在リスク推定部138により出力された推定結果が「後方から現時点で認識していない自転車が現れて交差点を横断する」、「前方から現時点で認識していない歩行者が現れて交差点を横断する」という潜在リスクを具現化した「自転車」や「歩行者」を示す輪郭線の情報を、周辺状況認識部132の認識した物体の実空間での位置を処理する際に用いる認識空間にプロットすることで、周辺状況認識部132が認識している自車両Mの周辺状況に合成して、潜在リスクを考慮した自車両Mの環境を再現することである。潜在リスクを具現化する際に用いる画像情報は、周辺状況認識部132が認識している画像の一部または全部を用いて生成してもよいし、交通シーン記憶部150が記憶する画像情報を用いてもよい。
図6は、リスク解析部142がリスク解析に用いる「後方から現時点で認識していない自転車が現れて交差点を横断する」の「自転車」の画像情報の一例を示す図である。また、図7は、リスク解析部142がリスク解析に用いる「前方から現時点で認識していない歩行者が現れて交差点を横断する」の「歩行者」の画像情報の一例を示す図である。リスク解析部142は、図5に示す現在の自車両Mの交通シーン領域IM1に図6に示す「自転車」の画像情報を合成し、交通シーン領域IM2に図7に示す「歩行者」の画像情報を合成して、自車両Mの走行環境を再現する。図8は、リスク解析部142が再現した自車両Mの走行環境を示す図である。
また、リスク解析部142は、図8に示す再現した自車両Mの周辺状況に基づいて目標軌道生成を行うか、周辺状況認識部132の認識する自車両Mの周辺状況に基づいて目標軌道生成を行うかを判定する。リスク解析部142は、例えば、大型車両、街路樹、看板、建物等の障害物によって、交差点Jの横断歩道CR1およびCR2を横断しようと停止している交通参加者が存在するか否かが周辺状況認識部132によって認識できていない場合には、再現した自車両Mの周辺状況に基づいて目標軌道生成を行うと判定する。
リスク解析部142は、例えば、周辺状況認識部132の認識する自車両Mの周辺状況から導出できるリスク値と、再現した自車両Mの周辺状況から導出できる潜在リスク値とを比較して、リスク値が潜在リスク値以上であれば周辺状況認識部132の認識する自車両Mの周辺状況に基づいて目標軌道を生成すると決定し、リスク値が潜在リスク値未満であれば、再現した自車両Mの周辺状況に基づいて目標軌道を生成すると決定する。リスク値および潜在リスク値とは、不測の事態をどの程度考慮できているかを示す割合であってもよいし、不測の事態の度合いを評価することのできる数値(例えば、不測の事態に遭遇した場合の衝撃の強さを示す物理量や、不測の事態に遭遇した場合に自車両Mが走行を再開するまでに要する見込時間、不測の事態を回避するために要するエネルギー量等)であってもよい。
リスク解析部142は、自車両Mの推定される経路上に自車両Mおよび自車両M以外の物体(例えば、他の交通参加者)が存在する確率の確率分布に基づいて、リスク値および潜在リスク値を導出してもよい。リスク解析部142は、リスク値が潜在リスク値以上であると判定した場合、周辺状況認識部132が認識する自車両Mの周辺状況(実際の交通シーン、例えば図5の状態)から目標軌道を生成する。リスク解析部142は、リスク値が潜在リスク値未満であると判定した場合、再現した自車両Mの周辺状況(再現した潜在危険シーン例えば図8の状態)から目標軌道を生成する。また、リスク解析部142は、リスク値が潜在リスク値以上であると判定した場合、以後の潜在リスク推定部138による推定精度を向上させるため、その際の周辺状況認識部132の認識結果を交通シーン記憶部150に記憶させてもよい。
また、リスク解析部142は、交差点Jの見通しの良さを数値化して、判定材料としてもよい。リスク解析部142は、導出した見通しの良さを示す数値が予め設定された閾値未満である場合には再現した自車両Mの周辺状況に基づいて目標軌道生成を行うと判定する。また、リスク解析部142は、導出した見通しの良さを示す数値が閾値以上である場合には周辺状況認識部132の認識する自車両Mの周辺状況に基づいて目標軌道生成を行うと判定する。
また、リスク解析部142は、図8に示す再現した自車両Mの周辺状況をHMI30等の表示装置に出力する。自車両Mの乗員は、リスク解析部142が再現した自車両Mの周辺状況に基づいて目標軌道を生成して、潜在リスクを考慮して減速したり一時停止したりする運転制御をおこなった場合、自車両Mの軌道や速度に対する違和感を覚える可能性がある。自車両Mの乗員は、表示装置から潜在リスクを考慮して減速したり一時停止したりすることが理解でき、自車両Mの軌道や速度に対する違和感を解消することができる。
[交通シーン記憶部]
以下、交通シーン記憶部150の記憶する交通シーンについて説明する。交通シーン記憶部150は、交通シーン、交通シーンに関連するキーワード、交通シーンに関連する潜在危険に関する情報、交通シーン領域、リスク領域、潜在リスク、潜在危険シーン等について体系的に記憶する。交通シーン記憶部150の記憶する交通シーンには、時間帯や交通参加者がインデックスとして設定されていることが望ましい。
図9は、交通シーン記憶部150の記憶する各種情報を説明する図である。図9を用いて、交通シーン選択部134、キーワード設定部136、潜在リスク推定部138、およびリスク解析部142によって行われる処理において、交通シーン記憶部150の記憶する各種情報が呼び出される一例を説明する。図9において、D1~D5は交通シーン記憶部150の記憶する各種情報群である。また、図9においてA1はキーワード設定部136が設定する、交通シーン領域に対応付いたキーワード群である。
まず、交通シーン選択部134は、周辺状況認識部132の認識結果に基づいて交通シーン群D1の種別の中から最適な種別の交通シーンを選択し、キーワード設定部136に出力する。交通シーン選択部134は、周辺状況認識部132の認識結果からキーワードを設定した場合、選択した交通シーンと併せてキーワードをキーワード設定部136に出力する。キーワード設定部136は、交通シーン選択部134により出力された交通シーンに対応付いたキーワードをキーワード群D2から検索して交通シーン領域を設定し、設定結果を潜在リスク推定部138に出力する。このとき、キーワード設定部136は、交通シーン記憶部150の記憶するキーワードのうち、時間帯や交通参加者のインデックスに該当する1以上のインデックス・キーワードを選択する。
潜在リスク推定部138は、交通シーン選択部134により選択された交通シーン、およびキーワード設定部136により出力された交通シーン領域A1に基づいて、リスク領域群D3の中から抽出して、リスク領域を推定する。さらに、潜在リスク推定部138は、リスク領域に関連する潜在リスクを交通シーン記憶部150の潜在リスク群D4から検索し、その検索結果に関連する潜在危険シーンを、潜在危険シーン群D5から抽出する。
交通シーン記憶部150の記憶する各種情報群D1~D5は、自車両Mの走行環境に応じて初期設定されてもよいし、初期設定の状態から通信装置20等を介して追加・削除されてもよい。
このように、第1制御部120は、周辺状況認識部132の認識結果と、リスク解析部142によって交通シーン記憶部150の記憶する交通シーンに関連する情報から再現した再現結果とを比較して、その比較結果に基づいた目標軌道を生成することで、自車両Mの周辺に存在する障害物に関連する潜在危険リスクをより好適に推定することができ、車両制御装置1に推定結果を反映した運転制御を行わせることができる。
[処理フロー]
図10、図11、図12および図13は、第1制御部120および第2制御部160の処理の流れの一例を示すフローチャートである。図10は交通シーン選択部134による交通シーン設定と、キーワード設定部136によるキーワード設定の処理の流れの一例を示すフローチャートである。図10に示すフローチャートの処理は、例えば、所定の周期或いは所定のタイミングで繰り返し実行されてよい。
まず、周辺状況認識部132は、自車両Mおよび認識した自車両M周辺の認識対象物の行動推定を行う(ステップS100)。次に、交通シーン選択部134は、交通シーンを取得する(ステップS102)。次に、キーワード設定部136は、周辺状況認識部132が認識した交通参加者をキーワード設定し(ステップS104)、更に周辺状況認識部132が認識した交通シーン領域をキーワード設定する(ステップS106)。以上、本フローチャートの処理を終了する。
図11は潜在リスク推定部138による交通シーンから連想される潜在リスクを推定する処理の流れの一例を示すフローチャートである。図11に示すフローチャートの処理は、例えば、図10のフローチャートと同様に、所定の周期或いは所定のタイミングで繰り返し実行されてよいし、図10のフローチャートの処理が終了したことを検知した場合に実行されてもよい。
潜在リスク推定部138は、周辺状況認識部132により認識された、自車両Mと交通シーン領域との距離を導出する(ステップS200)。次に、潜在リスク推定部138は、交通シーン領域のうちリスク領域を認識し、リスク領域に優先度設定を行う(ステップS202)。潜在リスク推定部138は、リスク領域に対応付いたキーワードを用いて交通シーン記憶部150を検索して検索ヒットするか否かを判定する(ステップS204)。検索ヒットする場合、検索結果から潜在危険シーンを推定して行動計画生成部140に出力する(ステップS206)。検索ヒットしない場合、処理を終了する。以上、本フローチャートの処理を終了する。
図12はリスク解析部142による潜在リスクを再現する処理の流れの一例を示すフローチャートである。図12に示すフローチャートの処理は、例えば、図11のフローチャートと同様に、所定の周期或いは所定のタイミングで繰り返し実行されてよいし、図11のフローチャートの処理が終了したことを検知した場合に実行されてもよい。
リスク解析部142は、潜在リスク推定部138により出力された推定結果から、リスク領域に関連するキーワードを抽出する(ステップS300)。次に、リスク解析部142は、抽出したキーワードを用いて交通シーン記憶部150を検索する(ステップS302)。次に、リスク解析部142は、検索結果から時間帯に関連するキーワードを用いて検索結果を抽出し(ステップS304)、時間帯に関連するキーワードを用いて抽出した検索結果を、交通参加者に関連するキーワードを用いて更に抽出する(ステップS306)。次に、リスク解析部142は、抽出結果に対応付いた潜在リスクを具現化した画像情報を選出し(ステップS308)、周辺状況認識部132が認識する自車両Mの周辺状況に合成することで、抽出結果画像を合成する(ステップS310)。以上、本フローチャートの処理を終了する。
なお、時間帯に関連するキーワードがない場合には図12に示すフローチャートのステップS306の処理は割愛されてもよい。また、図12に示すフローチャートのステップS304とステップS306とは逆の順番で行われてもよいし、同時に行われてもよい。
図13はリスク解析部142による潜在リスクを演算する処理の流れの一例を示すフローチャートである。図13に示すフローチャートの処理は、例えば、図12のフローチャートと同様に、所定の周期或いは所定のタイミングで繰り返し実行されてよいし、図12のフローチャートの処理が終了したことを検知した場合に実行されてもよい。
まず、リスク解析部142は、抽出結果画像を合成することで再現した潜在危険シーンから潜在リスク値を導出する(ステップS400)。次に、リスク解析部142は、自車両Mの実際の交通シーンを取得し(ステップS402)、リスク値を導出する(ステップS404)。次に、リスク解析部142は、導出したリスク値と潜在リスク値とを比較する(ステップS406)。リスク解析部142は、リスク値が潜在リスク値以上である場合、実際の交通シーンから目標軌道を生成し(ステップS408)、実際の交通シーンを交通シーン記憶部150に記憶させる(ステップS410)。リスク解析部142は、リスク値が潜在リスク値未満である場合、再現した潜在危険シーンから目標軌道を生成する(ステップS412)。以上、本フローチャートの処理を終了する。
上述したように本実施形態の車両制御装置1によれば、車両周辺状況を認識する周辺状況認識部132と、周辺状況認識部132により認識された対象物に応じて、車両と対象物との位置関係により、車両と対象物の存在する領域とに関連する交通シーンに潜在リスクが存在するか否かを判断し、潜在リスクが存在すると判断した場合、交通シーンの潜在リスクに応じて潜在リスクを推定する潜在リスク推定部138とを備えることにより、実際の交通シーンにおいて推定できない潜在危険シーンに対応することができる、より安全な目標軌道を生成することができる。
[ハードウェア構成]
図14は、実施形態の自動運転制御装置100のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置100は、通信コントローラ100-1、CPU100-2、ワーキングメモリとして使用されるRAM(Random Access Memory)100-3、ブートプログラムなどを格納するROM(Read Only Memory)100-4、フラッシュメモリやHDD(Hard Disk Drive)などの記憶装置100-5、ドライブ装置100-6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ100-1は、自動運転制御装置100以外の構成要素との通信を行う。記憶装置100-5には、CPU100-2が実行するプログラム100-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM100-3に展開されて、CPU100-2によって実行される。これによって、認識部130および行動計画生成部140が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
車両周辺状況を認識させ、
認識された周辺状況に基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行させ、
認識された対象物の種別と、前記車両と前記対象物との位置関係とに基づいて、障害物と遭遇する潜在リスクの有無および種別を推定させ、推定結果に基づいて前記運転制御を実行させる、
ように構成されている、車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両制御装置、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、20…通信装置、30…HMI、40…車両センサ、50…ナビゲーション装置、60…MPU、80…運転操作子、100…自動運転制御装置、120…第1制御部、130…認識部、132…周辺状況認識部、132A…周辺状況記憶部、134…交通シーン選択部、136…キーワード設定部、138…潜在リスク推定部、140…行動計画生成部、142…リスク解析部、150…交通シーン記憶部、160…第2制御部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、M…自車両

Claims (5)

  1. 車両の周辺に存在する物体を含む前記車両の周辺状況を認識する周辺状況認識部と、
    前記周辺状況認識部により認識された対象物の種別と、前記車両と前記対象物との位置関係とに基づいて、障害物と遭遇する潜在リスクの有無および種別を推定する潜在リスク推定部と、
    前記車両の置かれた交通シーンに起因する第1潜在リスクを数値化した第1潜在リスク値と、前記潜在リスク推定部の推定結果に基づく第2潜在リスクを数値化した第2潜在リスク値とを比較し、前記第1潜在リスク値が前記第2潜在リスク値以上である場合には前記第1潜在リスクを考慮した前記車両の周辺状況を運転制御部に出力し、前記第1潜在リスク値が前記第2潜在リスク値未満である場合には前記第2潜在リスクを考慮した前記車両の周辺状況を前記運転制御部に出力するリスク解析部と、
    前記リスク解析部により出力された周辺状況に基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行する前記運転制御部と、
    を備える車両制御装置。
  2. 前記リスク解析部は、
    前記第1潜在リスクまたは前記第2潜在リスクに関連する画像情報を前記周辺状況認識部によって認識された認識結果に合成して表示することで、前記第1潜在リスクまたは前記第2潜在リスクを考慮した前記車両の周辺状況を再現する、
    請求項に記載の車両制御装置。
  3. 前記リスク解析部は、
    前記周辺状況認識部によって認識された推定結果を示す事象を認識空間にプロットすることで、前記第1潜在リスクまたは前記第2潜在リスクを考慮した前記車両の周辺状況を再現する、
    請求項1または2に記載の車両制御装置。
  4. コンピュータが、
    車両の周辺に存在する物体を含む前記車両の周辺状況を認識し、
    前記認識する処理において認識された対象物の種別と、前記車両と前記対象物との位置関係とに基づいて、障害物と遭遇する潜在リスクの有無および種別を推定し、
    前記車両の置かれた交通シーンに起因する第1潜在リスクを数値化した第1潜在リスク値と、前記推定の結果に基づく第2潜在リスクを数値化した第2潜在リスク値とを比較し、前記第1潜在リスク値が前記第2潜在リスク値以上である場合には前記第1潜在リスクを考慮した前記車両の周辺状況を出力し、前記第1潜在リスク値が前記第2潜在リスク値未満である場合には前記第2潜在リスクを考慮した前記車両の周辺状況を出力し、
    前記出力された周辺状況に基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行する、
    車両制御方法。
  5. コンピュータに、
    車両の周辺に存在する物体を含む前記車両の周辺状況を認識させ、
    前記認識する処理において認識された対象物の種別と、前記車両と前記対象物との位置関係とに基づいて、障害物と遭遇する潜在リスクの有無および種別を推定させ、
    前記車両の置かれた交通シーンに起因する第1潜在リスクを数値化した第1潜在リスク値と、前記推定の結果に基づく第2潜在リスクを数値化した第2潜在リスク値とを比較させ、前記第1潜在リスク値が前記第2潜在リスク値以上である場合には前記第1潜在リスクを考慮した前記車両の周辺状況を出力させ、前記第1潜在リスク値が前記第2潜在リスク値未満である場合には前記第2潜在リスクを考慮した前記車両の周辺状況を出力させ、
    前記出力された周辺状況に基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行させる、
    プログラム。
JP2018113051A 2018-06-13 2018-06-13 車両制御装置、車両制御方法、およびプログラム Active JP7120820B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018113051A JP7120820B2 (ja) 2018-06-13 2018-06-13 車両制御装置、車両制御方法、およびプログラム
CN201910499252.6A CN110588642B (zh) 2018-06-13 2019-06-10 车辆控制装置、车辆控制方法及存储介质
US16/436,962 US11235767B2 (en) 2018-06-13 2019-06-11 Vehicle control device, vehicle control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018113051A JP7120820B2 (ja) 2018-06-13 2018-06-13 車両制御装置、車両制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019214318A JP2019214318A (ja) 2019-12-19
JP7120820B2 true JP7120820B2 (ja) 2022-08-17

Family

ID=68839527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018113051A Active JP7120820B2 (ja) 2018-06-13 2018-06-13 車両制御装置、車両制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11235767B2 (ja)
JP (1) JP7120820B2 (ja)
CN (1) CN110588642B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200192393A1 (en) * 2018-12-12 2020-06-18 Allstate Insurance Company Self-Modification of an Autonomous Driving System
CN113312955A (zh) * 2020-02-27 2021-08-27 本田技研工业株式会社 用于执行交叉口情景检索的系统及其方法
US11741723B2 (en) 2020-02-27 2023-08-29 Honda Motor Co., Ltd. System for performing intersection scenario retrieval and method thereof
JP7393260B2 (ja) * 2020-03-16 2023-12-06 本田技研工業株式会社 推定装置
JP2021149464A (ja) * 2020-03-18 2021-09-27 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7362899B2 (ja) * 2020-03-19 2023-10-17 日産自動車株式会社 車両の走行支援方法及び走行支援装置
JP7369077B2 (ja) 2020-03-31 2023-10-25 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP7464425B2 (ja) * 2020-03-31 2024-04-09 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN111698134A (zh) * 2020-05-29 2020-09-22 星络智能科技有限公司 一种远程控制指令的分析方法、系统、计算机设备和可读存储介质
JP7259821B2 (ja) * 2020-09-25 2023-04-18 いすゞ自動車株式会社 自動運転装置
JP7446216B2 (ja) * 2020-12-18 2024-03-08 日立Astemo株式会社 車両制御装置
JP7380541B2 (ja) * 2020-12-22 2023-11-15 トヨタ自動車株式会社 車両制御システム
JP7452455B2 (ja) * 2021-02-05 2024-03-19 トヨタ自動車株式会社 制御装置、方法、及びプログラム
CN114018277A (zh) * 2021-11-09 2022-02-08 车主邦(北京)科技有限公司 行驶路径确定方法、装置、设备以及存储介质
WO2023135738A1 (ja) * 2022-01-14 2023-07-20 三菱電機株式会社 情報処理装置、推定システム、推定方法、及び推定プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217692A (ja) 2008-03-12 2009-09-24 Toyota Central R&D Labs Inc 運転支援装置
JP2011090543A (ja) 2009-10-23 2011-05-06 Nippon Seiki Co Ltd 車両用情報提供装置
JP2011108016A (ja) 2009-11-18 2011-06-02 Toyota Motor Corp 走行支援装置
JP2011221667A (ja) 2010-04-06 2011-11-04 Toyota Motor Corp 対象物リスク予測装置
JP2014238654A (ja) 2013-06-06 2014-12-18 株式会社豊田中央研究所 運転支援装置、及びプログラム
JP2017206117A (ja) 2016-05-18 2017-11-24 トヨタ自動車株式会社 運転支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5407764B2 (ja) 2009-10-30 2014-02-05 トヨタ自動車株式会社 運転支援装置
CN105848981B (zh) * 2013-12-24 2018-10-30 沃尔沃卡车集团 用于车辆的驾驶员辅助方法和系统
US9511767B1 (en) * 2015-07-01 2016-12-06 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle action planning using behavior prediction
JP6376059B2 (ja) * 2015-07-06 2018-08-22 トヨタ自動車株式会社 自動運転車両の制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217692A (ja) 2008-03-12 2009-09-24 Toyota Central R&D Labs Inc 運転支援装置
JP2011090543A (ja) 2009-10-23 2011-05-06 Nippon Seiki Co Ltd 車両用情報提供装置
JP2011108016A (ja) 2009-11-18 2011-06-02 Toyota Motor Corp 走行支援装置
JP2011221667A (ja) 2010-04-06 2011-11-04 Toyota Motor Corp 対象物リスク予測装置
JP2014238654A (ja) 2013-06-06 2014-12-18 株式会社豊田中央研究所 運転支援装置、及びプログラム
JP2017206117A (ja) 2016-05-18 2017-11-24 トヨタ自動車株式会社 運転支援装置

Also Published As

Publication number Publication date
US11235767B2 (en) 2022-02-01
CN110588642B (zh) 2022-07-29
CN110588642A (zh) 2019-12-20
US20190382013A1 (en) 2019-12-19
JP2019214318A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
JP7120820B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN108628300B (zh) 路径决定装置、车辆控制装置、路径决定方法及存储介质
JP6965297B2 (ja) 車両制御装置、車両制御方法、および車両制御プログラム
JP6916953B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6811303B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7048398B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6715959B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN110087964B (zh) 车辆控制系统、车辆控制方法及存储介质
CN110060467B (zh) 车辆控制装置
JP6692930B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6327424B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP7085371B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7170637B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP7098366B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JPWO2019064490A1 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2019064538A (ja) 車両制御装置、車両制御方法、およびプログラム
JP6941543B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2019185112A (ja) 車両制御装置、車両制御方法、およびプログラム
CN113460080A (zh) 车辆控制装置、车辆控制方法及存储介质
JP7042167B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7080091B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6781335B2 (ja) 車両制御システム、サーバ装置、車両制御方法、および車両制御プログラム
CN113895455B (zh) 控制装置、控制方法及存储介质
CN111837012A (zh) 车辆控制系统、车辆控制方法、程序及信息处理装置
JP2019214319A (ja) 認識処理装置、車両制御装置、認識処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220804

R150 Certificate of patent or registration of utility model

Ref document number: 7120820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150