JP7151495B2 - 自動運転システム - Google Patents

自動運転システム Download PDF

Info

Publication number
JP7151495B2
JP7151495B2 JP2019005232A JP2019005232A JP7151495B2 JP 7151495 B2 JP7151495 B2 JP 7151495B2 JP 2019005232 A JP2019005232 A JP 2019005232A JP 2019005232 A JP2019005232 A JP 2019005232A JP 7151495 B2 JP7151495 B2 JP 7151495B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
distrust
driving
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019005232A
Other languages
English (en)
Other versions
JP2020113183A (ja
Inventor
貴之 岩本
翔 大瀧
好政 鄭
慎太朗 芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019005232A priority Critical patent/JP7151495B2/ja
Priority to CN202010013609.8A priority patent/CN111443708B/zh
Priority to US16/742,161 priority patent/US11628860B2/en
Publication of JP2020113183A publication Critical patent/JP2020113183A/ja
Application granted granted Critical
Publication of JP7151495B2 publication Critical patent/JP7151495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload

Description

本発明は、自動運転システムに関する。
従来、自動運転システムに関する技術文献として、特開2015-032054号公報が知られている。この公報には、車両の運転を支援する運転支援システムに対する運転者の過信を判定する過依存抑止装置であって、運転者が過信されていると判定されると、運転者が過信状態であることの運転者への報知又は運転支援制御の抑制を行う装置が示されている。
特開2015-032054号公報
ところで、近年では、一定条件下で自動運転を実行可能な自動運転システムの開発が進められている。このような自動運転において、誤った注意喚起などをシステムが行うと運転者は自動運転システムを信用しなくなるおそれがある。運転者が自動運転システムに不信を持つと、運転者がシステムの報知を信じなくなるなどの問題が生じるため対応することが望まれる。
そこで、本技術分野では、自動運転中における運転者のシステム不信状態の解消を図ることができる自動運転システムを提供することが望まれている。
本発明の一態様は、車両の自動運転を実行すると共に、自動運転中に車両の運転者に対して各種の報知を行う自動運転システムであって、車両の地図上の位置を認識する車両位置認識部と、車両の外部環境を認識する外部環境認識部と、車両の走行状態を認識する走行状態認識部と、地図情報、車両の地図上の位置、車両の外部環境、及び車両の走行状態に基づいて、自動運転に用いる車両の進路を生成する進路生成部と、車両の地図上の位置、車両の外部環境、車両の走行状態、及び車両の進路のうち少なくとも一つに基づいて、自動運転が正常運行状況であるか否かを判定する正常運行状況判定部と、自動運転中に運転者が車両の操舵部を把持する行動が検出された時間である運転者の運転行動時間、自動運転中の運転者の非運転行動時間、及び自動運転中の車両の外部環境の変化に対する運転者の反応遅れ時間のうち少なくとも一つを含む運転者状況を認識する運転者状況認識部と、運転者状況認識部の認識結果に基づいて、運転者がシステム不信状態であるか否かを判定する不信判定部と、正常運行状況判定部により自動運転が正常運行状況であると判定され、且つ、不信判定部により運転者がシステム不信状態であると判定された場合に、車両の外部環境に応じてアラートを出力する報知制御部と、を備える。
本発明の一態様に係る自動運転システムによれば、正常運行状況判定部により自動運転が正常運行状況であると判定され、且つ、不信判定部により運転者がシステム不信状態であると判定された場合に、車両の外部環境に応じてアラートを出力する。これにより、自動運転システムでは、自動運転が正常運行状況であることを確保しつつ外部環境に応じた丁寧なアラートの出力によってシステム不信状態の運転者に対する働き掛けを行うことで、適切に自動運転中における運転者のシステム不信状態の解消を図ることができる。
本発明の一態様に係る自動運転システムにおいて、車両の地図上の位置、車両の外部環境、車両の走行状態、及び車両の進路のうち少なくとも一つに基づいて、自動運転に関するシステム自信度を演算するシステム自信度演算部を更に備え、正常運行状況判定部は、システム自信度が正常運行閾値未満である場合に、自動運転が正常運行状況ではないと判定してもよい。
この自動運転システムによれば、自動運転に関するシステム自信度を用いて自動運転の正常運行状況の判定を行うことで、システム自信度を用いない場合と比べて、自動運転が正常運行状況であるか否かをより適切に判定することができる。
本発明の一態様に係る自動運転システムにおいて、車両の外部環境に基づいて、自動運転中の車両が不安喚起状況であるか否かを判定する不安喚起状況判定部を更に備え、報知制御部は、正常運行状況判定部により自動運転が正常運行状況であると判定され、且つ、不信判定部により運転者がシステム不信状態であると判定された場合において、不安喚起状況判定部により車両が不安喚起状況ではないと判定されたときにアラートを出力せず、車両が不安喚起状況であると判定されたときにアラートを出力してもよい。
この自動運転システムによれば、車両が不安喚起状況であると判定されたときには運転者が出力の外部環境に不安を感じている可能性があるので、アラートを出力することで運転者のシステム不信状態の解消を適切に図ることができる。
本発明の一態様に係る自動運転システムにおいて、不安喚起状況判定部は、車両の外部環境として車両の前方を撮像するカメラの撮像画像における移動物体面積が不安喚起閾値以上である場合、自動運転中の車両が不安喚起状況であると判定してもよい。
この自動運転システムによれば、車両前方を見る運転者の視界内に占める障害物の面積が大きいほど運転者が車両の走行に不安を感じる可能性が高いと考えられることから、車両の前方を撮像するカメラの撮像画像における移動物体面積が不安喚起閾値以上である場合に、自動運転中の車両が不安喚起状況であると判定することができる。
本発明の一態様によれば、自動運転中における運転者のシステム不信状態の解消を図ることができる。
一実施形態に係る自動運転システムを示すブロック図である。 運転行動時間及び非運転行動時間を説明するための図である。 不安喚起状況の一例を説明するための図である。 自動運転処理の一例を示すフローチャートである。 アラート出力処理の一例を示すフローチャートである。 システム不信状態の判定処理の一例を示すフローチャートである。 (a)基準反応遅れ時間の記憶処理の一例を示すフローチャートである。(b)システム不信状態の判定処理の他の例を示すフローチャートである。 不安喚起状況の判定処理の一例を示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。
図1は、一実施形態に係る自動運転システムを示すブロック図である。図1に示す自動運転システム100は、乗用車などの車両に搭載され、車両の自動運転を実行する。自動運転とは、予め設定された目的地に向かって自動で車両を走行させる車両制御である。自動運転では、運転者が操舵などの運転操作を行う必要が無く、車両が自動で走行する。また、自動運転システム100は、自動運転中に車両の運転者に対して各種の報知(warning)を行う。報知について詳しくは後述する。
〈自動運転システムの構成〉
図1に示すように、自動運転システム100は、システムを統括的に管理するECU[Electronic Control Unit]20を備えている。ECU20は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]などを有する電子制御ユニットである。ECU20では、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより各種の機能を実現する。ECU20は、複数の電子ユニットから構成されていてもよい。
ECU20は、GPS受信部1、外部センサ2、内部センサ3、地図データベース4、運転操作検出部5、ドライバモニタカメラ6、音声認識部7、車内通信部8、アクチュエータ9、及びHMI[Human Machine Interface]10と接続されている。
GPS受信部1は、3個以上のGPS衛星から信号を受信することにより、車両の位置(例えば車両の緯度及び経度)を測定する。GPS受信部1は、測定した車両の位置情報をECU20へ送信する。GPS受信部1に代えてGNSS[Global Navigation Satellite System]受信部を用いてもよい。
外部センサ2は、車両の周辺の状況を検出する検出機器である。外部センサ2は、カメラ、レーダセンサのうち少なくとも一つを含む。
カメラは、車両の外部状況を撮像する撮像機器である。カメラは、車両のフロントガラスの裏側に設けられている。カメラは、車両の外部状況に関する撮像情報をECU20へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。
レーダセンサは、電波(例えばミリ波)又は光を利用して車両の周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー[LIDAR:Light Detection and Ranging]が含まれる。レーダセンサは、電波又は光を車両の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサは、検出した物体情報をECU20へ送信する。物体には、ガードレール、建物などの固定物体の他、歩行者、自転車、他車両などの移動物体が含まれる。外部センサ2はレーダセンサを必ずしも備える必要はない。
内部センサ3は、車両の走行状態を検出する検出機器である。内部センサ3は、車速センサ、加速度センサ、及びヨーレートセンサを含む。車速センサは、車両の速度を検出する検出器である。車速センサとしては、例えば、車両の車輪又は車輪と一体に回転するドライブシャフトなどに対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車速情報をECU20に送信する。
加速度センサは、車両の加速度を検出する検出器である。加速度センサは、例えば、車両の前後方向の加速度を検出する前後加速度センサと、車両の横加速度を検出する横加速度センサとを含んでいる。加速度センサは、例えば、車両の加速度情報をECU20に送信する。ヨーレートセンサは、車両の重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した車両のヨーレート情報をECU20へ送信する。
地図データベース4は、地図情報を記憶するデータベースである。地図データベース4は、例えば、車両に搭載されたHDD[Hard Disk Drive]内に形成されている。地図情報には、車線の位置情報、車線形状の情報(曲率、車線幅などの情報)、一時停止線の位置情報、交差点及び分岐点の位置情報、及び構造物の位置情報などが含まれる。地図情報には、地図上の位置又は区間と関連付けられた法定速度などの速度関連情報も含まれていてもよい。地図情報には、車両の位置認識に用いられる電柱などの物標の位置情報が含まれていてもよい。なお、地図データベース4は、車両と通信可能なサーバに記憶されていてもよい。
運転操作検出部5は、運転者による車両の操作部の操作を検出する。運転操作検出部5は、例えば、操舵センサ、アクセルセンサ、及びブレーキセンサを含んでいる。車両の操作部とは、運転者が車両の運転のための操作を入力する機器である。車両の操作部には、車両の操舵部、車両のアクセル操作部、及び車両のブレーキ操作部のうち少なくとも一つが含まれる。操舵部とは、例えばステアリングホイールである。操舵部は、ホイール状である場合に限られず、ハンドルとして機能する構成であればよい。アクセル操作部とは、例えばアクセルペダルである。ブレーキ操作部とは、例えばブレーキペダルである。アクセル操作部及びブレーキ操作部は、必ずしもペダルである必要はなく、運転者による加速又減速の入力が可能な構成であればよい。
操舵センサは、運転者の操舵部の把持を検出するステアリングタッチセンサを含む。ステアリングタッチセンサとしては、例えば静電容量式を用いることができる。ステアリングタッチセンサは、操舵部の左右に設けられ、運転者の両手の把持を検出する。操舵センサは、運転者による操舵部の操作量を検出してもよい。操舵部の操作量には、操舵角又は操舵トルクが含まれる。
アクセルセンサは、運転者によるアクセル操作部の操作量を検出する。アクセル操作部の操作量には、例えばアクセルペダルの踏込み量が含まれる。ブレーキセンサは、運転者によるブレーキ操作部の操作量を検出する。ブレーキ操作部の操作量には、例えばブレーキペダルの踏込み量が含まれる。アクセル操作部及びブレーキ操作部の操作量には踏込み速度が含まれてもよい。運転操作検出部5は、検出した運転者の操作量に関する操作量情報をECU20に送信する。
ドライバモニタカメラ6は、車両の運転者を撮像するための撮像機器である。ドライバモニタカメラ6は、例えば車両のステアリングコラムのカバー上で運転者の正面の位置に設けられ、運転者の撮像を行う。ドライバモニタカメラ6は、運転者を複数方向から撮像するため、複数個設けられていてもよい。ドライバモニタカメラ6は、運転者の撮像情報をECU20へ送信する。なお、自動運転システム100は必ずしもドライバモニタカメラ6を用いる必要はない。
音声認識部7は、車室内の乗員の音声を認識する機器である。音声認識部7は、例えば車室内の音声を収集するためのマイクロフォンを有している。マイクロフォンは車室内に複数個設けられていてもよい。音声認識部7は、車室内の乗員の音声の認識結果をECU20に送信する。音声認識部7は、必ずしも乗員の音声を言語として認識する必要はなく、会話しているか否かの判定のみを行ってもよい。音声認識部7は、音声による個人認証機能を有していてもよく、音声から運転者が会話しているか否かを判定してもよい。
音声認識部7は、一例として常時音声認識状態となっており、いわゆるスマートスピーカとして機能してもよい。また、音声認識部7は、後述するHMI10の一部を構成していてもよい。音声認識部7は、車両外部から車室内に届く音(他車両の走行音、他車両のエンジン音など)を認識してもよい。なお、自動運転システム100は必ずしも音声認識部7を用いる必要はない。
車内通信部8は、ECU20が車内の各種情報端末と通信を行うための機器である。各種情報端末には、例えば、乗員のスマートフォン、タブレットパソコン、及びウェアラブルデバイスのうち少なくとも一つが含まれる。ウェアラブルデバイスには、腕時計型のウェアラブルデバイス、眼鏡型のウェアラブルデバイスなどが含まれる。車内通信部8は、情報端末との通信により、スマートフォンが操作中であるか否かなどの情報を取得する。車内通信部8は、ウェアラブルデバイスとの通信により運転者の生体情報を取得してもよい。生体情報には、心拍、脳波、血圧、体温などのうち少なくとも一つが含まれる。車内通信部8は、通信により取得した各種の情報をECU20に送信する。なお、自動運転システム100は必ずしも車内通信部8を用いる必要はない。
アクチュエータ9は、車両の制御に用いられる機器である。アクチュエータ9は、スロットルアクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。スロットルアクチュエータは、ECU20からの制御信号に応じてエンジンに対する空気の供給量(スロットル開度)を制御し、車両の駆動力を制御する。なお、車両がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータにECU20からの制御信号が入力されて当該駆動力が制御される。車両が電気自動車である場合には、スロットルアクチュエータの代わりに動力源としてのモータにECU20からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ9を構成する。
ブレーキアクチュエータは、ECU20からの制御信号に応じてブレーキシステムを制御し、車両の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を、ECU20からの制御信号に応じて制御する。
HMI10は、自動運転システム100と乗員との間で情報の入出力を行うための機器である。HMI10は、表示器10a、スピーカ10b、及び振動部10cを有している。
表示器10aは、車両に設けられたディスプレイである。表示器10aは、例えば車両のダッシュボードに設けられている。表示器10aは、ECU20からの制御信号に応じて各種の画像表示を行う。表示器10aは、車両のフロントガラスに画像を投影表示するヘッドアップディスプレイであってもよい。表示器10aには、車両のインストルメントパネルに設けられるマルチインフォメーションディスプレイが含まれていてもよい。表示器10aには、車両のサイドミラーに設けられるブラインドスポットモニターが含まれていてもよい。
スピーカ10bは、車両に設けられた音声出力器である。スピーカ10bは、例えば車両のドアの内側及びインストルメントパネルの裏側に設けられる。スピーカ10bは、ECU20からの制御信号に応じて各種の音声出力を行う。
振動部10cは、振動の出力により運転者に報知するための振動アクチュエータである。振動アクチュエータは、例えば、車両の操舵部、運転席のシート、運転席のヘッドレスト、運転席のアームレスト、アクセルペダル、ブレーキペダルのうち少なくとも一つに設けられている。振動部10cは、ECU20からの制御信号に応じて振動を出力する。なお、HMI10は、振動部10cを必ずしも有する必要はない。
次に、ECU20の機能的構成について説明する。ECU20は、車両位置認識部21、外部環境認識部22、走行状態認識部23、進路生成部24、車両制御部25、システム自信度演算部26、正常運行状況判定部27、運転者状況認識部28、不信判定部29、不安喚起状況判定部30、及び報知制御部31を有している。以下に説明するECU20の機能の一部は、車両と通信可能なサーバ上で実行されてもよい。
車両位置認識部21は、GPS受信部1の位置情報及び地図データベース4の地図情報に基づいて、車両の地図上の位置を認識する。また、車両位置認識部21は、地図データベース4の地図情報に含まれた物標の位置情報及び外部センサ2の検出結果を利用して、SLAM[Simultaneous Localization and Mapping]技術等により車両の地図上の位置の推定を行ってもよい。車両位置認識部21は、その他、周知の手法により車両の地図上の位置を認識してもよい。
外部環境認識部22は、外部センサ2の検出結果(レーダセンサの物体情報及び/又はカメラの撮像情報)に基づいて、車両の外部環境を認識する。外部環境には、車両の周囲の物体の状況が含まれる。物体の状況とは、例えば車両に対する物体の相対位置及び相対速度である。
外部環境には、車両の周囲の区画線(車線境界線、中央線など)の認識結果が含まれていてもよい。外部環境認識部22は、外部センサ2の検出結果に基づいて、周知の白線認識により車両に対する区画線の相対位置を認識する。外部環境認識部22は、音声認識部7の認識した車両外部から車室内に響く音を外部環境の一部として認識してもよい。外部環境認識部22は、車両外部の音を検出する外部音検出器(マイクロフォンなど)が車両に設けられている場合には、外部音検出器の検出した音を外部環境の一部として認識してもよい。
走行状態認識部23は、内部センサ3の検出結果に基づいて、走行中の車両の状態を認識する。走行状態には、車両の車速、車両の加速度、車両のヨーレートが含まれる。具体的に、走行状態認識部23は、車速センサの車速情報に基づいて、車両の車速を認識する。走行状態認識部23は、加速度センサの加速度情報に基づいて、車両の加速度(前後加速度及び横加速度)を認識する。走行状態認識部23は、ヨーレートセンサのヨーレート情報に基づいて、車両のヨーレートを認識する。
進路生成部24は、車両の自動運転に利用される進路[trajectory]を生成する。進路生成部24は、予め設定された目的地、地図データベース4の地図情報、車両位置認識部21の認識した車両の地図上の位置、外部環境認識部22の認識した車両の外部環境、及び走行状態認識部23の認識した車両の走行状態(車速、ヨーレートなど)に基づいて、自動運転の進路を生成する。目的地は、車両の乗員によって設定されてもよく、自動運転システム100又は周知のナビゲーションシステムにより提案された目的地であってもよい。
進路生成部24は、目的地、地図情報、及び車両の地図上の位置に基づいて、自動運転の走行ルートを求める。走行ルートとは、自動運転において車両が走行するルートであり、車両の地図上の位置(現在位置)から目的地に向かうルートである。走行ルートは、周知のナビゲーションシステムによって設定されてもよい。走行ルートは、例えば車線単位のルートとして表わすことができる。進路生成部24は、地図情報から走行ルートに沿って車両を自動運転するための進路を生成する。
進路には、自動運転で車両が走行する経路[path]と自動運転における車速プロファイルとが含まれる。経路は、走行ルート上において自動運転中の車両が走行する予定の軌跡である。経路は、例えば走行ルート上の位置に応じた車両の操舵角変化のデータ(操舵角プロファイル)とすることができる。走行ルート上の位置とは、例えば走行ルートの進行方向において所定間隔(例えば1m)毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。
進路生成部24は、例えば走行ルート、地図情報、車両の外部環境、及び車両の走行状態に基づいて、車両が走行する経路を生成する。進路生成部24は、例えば車両が走行ルートに含まれる車線の中央を通るように経路を生成する。
車速プロファイルは、例えば設定縦位置毎に目標車速が関連付けられたデータである。なお、設定縦位置は、距離ではなく車両の走行時間を基準として設定されてもよい。設定縦位置は、車両の1秒後の到達位置、車両の2秒後の到達位置として設定されていてもよい。
進路生成部24は、例えば経路と地図情報に含まれる法定速度などの速度関連情報に基づいて車速プロファイルを生成する。法定速度に代えて、地図上の位置又は区間に対して予め設定された設定速度を用いてもよい。進路生成部24は、経路及び車速プロファイルから自動運転の進路を生成する。なお、進路は上述した内容に限られない。進路は、車両の自動運転を実現するために必要な情報を有していればよい。
車両制御部25は、車両の自動運転を実行する。車両制御部25は、地図情報、車両の地図上の位置、車両の外部環境、車両の走行状態、及び進路に基づいて、車両の自動運転を実行する。車両制御部25は、進路生成部24の生成した進路に沿って自動運転を実行すると共に、緊急時には自動で緊急回避などを実行する。車両制御部25は、アクチュエータ9に制御信号を送信することにより車両の自動運転を実行する。
システム自信度演算部26は、車両の地図上の位置、車両の外部環境、車両の走行状態、及び車両の進路のうち少なくとも一つに基づいて、自動運転システム100の自動運転に関するシステム自信度を演算する。システム自信度とは、自動運転システム100における自動運転の信頼性(確からしさ)を示す指標である。システム自信度は自動運転の継続可能性に対応する。
自動運転システム100は、システム自信度が終了閾値未満となった場合に、自動運転制御を終了して運転者主体の運転に切り替えてもよい。運転者主体の運転には、運転者による手動運転(完全手動運転)と、ACC[Adaptive Cruise Control]、LKA[Lane Keeping Assist]などの運転支援制御に支援される運転者の運転とが含まれる。終了閾値は予め設定された値の閾値である。以後、本明細書の説明で用いる各種の「閾値」は予め設定された値の閾値を意味する。
システム自信度演算部26は、例えば外部環境認識部22の認識した車両の外部環境に基づいて、システム自信度を演算する。具体的に、システム自信度演算部26は、車両の周囲において他車両などの移動物体の数が一定数以上である場合、車両の周囲の移動物体の数が一定数未満である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、車両の前方で一定距離内に先行車が存在する場合、先行車が存在しない場合と比べて、システム自信度を低い値として算出してもよい。
システム自信度演算部26は、車両の前方で一定距離内に先行車が存在する場合、車両と先行車との車間距離が短いほど、システム自信度を低い値として算出してもよい。システム自信度演算部26は、車両の後方で一定距離内に後続車が存在する場合、後続車が存在しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、車両に並走する並走車が存在する場合、並走車が存在しない場合と比べて、システム自信度を低い値として算出してもよい。
システム自信度演算部26は、車両の前方に衝突余裕時間[TTC:TimeTo Collision]がTTC閾値未満の物体が存在する場合、車両の前方に衝突余裕時間がTTC閾値未満の物体が存在しない場合と比べて、システム自信度を低い値として算出してもよい。なお、衝突余裕時間に代えて車間時間を用いてもよい。
システム自信度演算部26は、車両の進行方向で車両から一定距離内に歩行者が存在する場合、歩行者が存在しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、車両の進路を横断する方向に移動している歩行者が存在する場合、当該歩行者が存在しない場合と比べて、システム自信度を低い値として算出してもよい。歩行者ではなく、自転車、パーソナルモビリティなどの場合も同様とすることができる。
システム自信度演算部26は、車両の周囲の他車両が異常挙動を行っている場合、他車両が異常挙動を行っていない場合と比べて、システム自信度を低い値として算出してもよい。異常挙動とは、標準的な走行状況において他車両が行うことが予定されない異常な挙動である。異常挙動には、急減速、急加速、急操舵、ハザードランプの点灯などを含むことができる。システム自信度演算部26は、車両の周囲の他車両が予め設定された通常挙動を逸脱した場合、異常挙動を行っていると認識してもよい。通常挙動は、例えば加速度または減速度が閾値以下であり、車線の法定最高速度以下の速度で車線に沿った走行とすることができる。
システム自信度演算部26は、建物、他車両などによる外部センサ2の検出範囲の遮蔽割合が遮蔽閾値以上である場合、外部センサ2の検出範囲の遮蔽割合が遮蔽閾値未満である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、車両の地図上の位置と地図情報に含まれる物標の位置情報とに基づいて地図上で外部センサ2の検出範囲に含まれる物標を認識し、外部環境認識部22の認識した物標(静止物体)と照合してもよい。システム自信度演算部26は、地図上で外部センサ2の検出範囲に含まれる物標の数から外部環境認識部22の認識した物標の数を減じた差分数が差分閾値以上である場合、差分数が差分閾値未満である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、建物などによる外部センサ2の検出範囲の遮蔽を踏まえて、地図上で外部センサ2の検出範囲に含まれる物標の数を認識してもよい。
システム自信度演算部26は、車両の外部環境として他車両などの移動物体のトラッキング状況に基づいて、システム自信度を演算してもよい。システム自信度演算部26は、外部センサ2の検出範囲内でトラッキングしていた移動物体をロストした場合、移動物体をロストしない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、トラッキング中の移動物体の形状又は体積が一定割合以上に変化した場合、複数の物体を一つの移動物体と誤認識している可能性が高まることから、移動物体の形状又は体積が変化しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、トラッキング中の移動物体の相対速度が急変した場合、速度の異なる複数の物体を誤って一つの物体として誤認識している可能性が高まることから、移動物体の相対速度が急変しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、例えば、一定時間内の速度変化が急変閾値以上である場合に相対速度が急変したと認識することができる。
システム自信度演算部26は、車両の外部環境に車両前方の信号機の認識結果が含まれる場合、認識された信号機の形状と地図情報に記憶された信号機の形状とが一致しない場合(例えば認識した信号機の灯火の数が三つ+矢印灯火であり、地図情報における信号機の灯火の数が三つの三灯式である場合)、認識された信号機の形状と地図情報に記憶された信号機の形状とが一致する場合と比べて、システム自信度を低い値として算出してもよい。信号機の形状だけではなく信号機の寸法を考慮してもよい。また、信号機以外の物標の形状又は寸法を用いてもよい。
システム自信度演算部26は、車両の外部環境に車両の周囲の天候が含まれる場合、車両の周囲の天候が雨天であるとき、車両の周囲の天候が晴天であるときと比べて、システム自信度を低い値として算出してもよい。車両の周囲の天候は、カメラの撮像情報又はレーダセンサの検出結果に基づいて判定することができる。車両の周囲の天候は、車両のワイパー作動状況なども踏まえて判定してもよい。
システム自信度演算部26は、車両の進路に対する移動物体の干渉度に基づいて、システム自信度を演算してもよい。車両の進路に対する移動物体の干渉度は、例えば特開2007-23454号公報に記載の手法を用いて算出することができる。システム自信度演算部26は、例えば車両の進路に対する移動物体の干渉度が高いほど、システム自信度を低い値として算出する。
システム自信度演算部26は、車両の周囲の移動物体の危険度に基づいて、システム自信度を演算してもよい。車両の周囲の移動体の危険度は、例えば特開2008-158969号公報に記載の手法を用いて算出することができる。システム自信度演算部26は、例えば車両の進路に対する移動物体の危険度が高いほど、システム自信度を低い値として算出する。
システム自信度演算部26は、車両位置認識部21による車両の地図上の位置に基づいて、システム自信度を演算してもよい。システム自信度演算部26は、例えば、GPS受信部1の位置情報に加えて物標を用いた車両の位置認識を行っている場合、GPS受信部1の位置情報のみから車両の位置を認識している場合と比べて、システム自信度を低い値として算出する。
システム自信度演算部26は、地図情報の精度が低い区域に車両が位置する場合、それ以外の区域に車両が位置する場合と比べて、システム自信度を低い値として算出してもよい。地図情報の精度が低い区域であるか否かの情報は、例えば地図情報に予め関連付けられている。システム自信度演算部26は、GPS受信部1が信号を受信しているGPS衛星の数がGPS閾値以上である場合、GPS衛星の数がGPS閾値未満である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、GPS受信部1が信号を受信しているGPS衛星の配置が分散している場合、GPS衛星の配置が集中している場合と比べて、システム自信度を低い値として算出してもよい。
システム自信度演算部26は、車両の周囲に位置する物標の認識数が物標閾値未満である場合、物標の認識数が物標閾値以上である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、車両の周囲で認識された複数の物標の位置関係が地図情報における各物標の位置関係と一致していない場合、認識された複数の物標の位置関係が地図情報における各物標の位置関係と一致している場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、認識された複数の物標の位置関係が地図情報における各物標の位置関係と一致しない場合において、各物標の位置誤差の平均が一定距離未満であるとき、各物標の位置誤差の平均が一定距離以上であるときと比べて、システム自信度を低い値として算出してもよい。平均に代えて中央値を用いてもよく、合計値を用いてもよい。
システム自信度演算部26は、交差点、踏み切り、合流区間、分岐区間などの複雑な道路環境に車両が位置する場合、車両が複雑な道路環境に位置しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、地図情報に予め設定された見通しの悪い区間に車両が位置する場合、見通しの悪い区間に車両が位置しない場合と比べて、システム自信度を低い値として算出してもよい。
システム自信度演算部26は、走行状態認識部23による車両の走行状態に基づいて、システム自信度を演算してもよい。システム自信度演算部26は、車両の車速の検出結果が異常値となった場合、車速の検出結果が異常値となっていない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度演算部26は、例えば1フレーム前に検出された車速と今回検出された車速との差が異常検出閾値以上(例えば20km/h以上)である場合に異常値となっていると認識する。加速度、ヨーレートについても同様とすることができる。
システム自信度演算部26は、走行状態認識部23による車両の走行状態と走行計画生成部34の生成した走行計画とに基づいて、走行計画で計画されていた車両の走行状態と自動運転制御を行った結果として認識された車両の走行状態との比較結果から、システム自信度を演算してもよい。システム自信度演算部26は、例えば、走行計画で計画されていた車速と自動運転制御の結果としての車速の履歴との乖離が乖離閾値以上である場合、乖離が乖離閾値未満である場合と比べて、システム自信度を低い値として算出してもよい。加速度、ヨーレートについても同様とすることができる。
その他、システム自信度演算部26は、車両の各種センサ(外部センサ、内部センサなど)の異常を検出した場合には、各種センサが正常である場合と比べて、システム自信度を低い値として算出してもよい。センサの異常検出については周知の異常検出技術を用いることができる。
システム自信度演算部26は、車両の進路上の位置(未来の位置)に対応するシステム自信度の算出(予測)を行う。車両の進路上の位置とは、例えば、予め設定されて所定時間ずつ離れた複数の未来時刻における走行計画上の車両の位置である。所定時間は、例えば1秒であってもよく、0.5秒であってもよい。所定時間は車両の車速が高いほど小さい時間としてもよい。未来時刻の数は二以上であればよい。
或いは、車両の進路上の位置は、車両の進路上で車両を起点として所定間隔ずつ離れた複数の位置であってもよい。所定間隔は例えば10mであってもよく、15mであってもよい。システム自信度の算出対象となる位置の数は固定であってもよく、車両の車速などに応じて変更されてもよい。算出対象となる位置の数は、車両の車速が高いほど増加してもよい。
システム自信度演算部26は、車両の外部環境から車両の周囲の移動物体の挙動を予測することで、車両の進路上の位置における未来のシステム自信度を演算することができる。システム自信度演算部26は、例えば、車両の周囲の移動物体の挙動を予測することで、車両の進路上の位置ごとに車両の周囲における移動物体の数を推測する。システム自信度演算部26は、移動物体の推測数が一定数以上である場合、車両の周囲の移動物体の推測数が一定数未満である場合と比べて、当該位置におけるシステム自信度を低い値として算出する。
システム自信度演算部26は、車両の周囲の他車両の挙動の予測から、車両の進路上の位置ごとに車両の一定距離内に先行車が存在するか否かを判定し、先行車の有無の判定結果から車両の進路上の位置ごとのシステム自信度を演算してもよい。また、システム自信度演算部26は、車両の進路上の位置ごとにおける先行車の挙動の予測から車両と先行車との車間距離を推測し、車両と先行車との車間距離の推測結果に基づいて車両の進路上の位置ごとのシステム自信度を演算してもよい。後続車、並走車についても同様に算出することができる。
システム自信度演算部26は、車両の進路上の位置ごとの車両と移動物体との衝突余裕時間を推定してシステム自信度の算出に用いてもよい。また、システム自信度演算部26は、移動物体の挙動の予測に加えて、静止物体の位置情報を含む地図情報を考慮することで、車両の進路上の位置ごとの外部センサ2の検出範囲の遮蔽割合を予測してシステム自信度の算出に用いてもよい。また、システム自信度演算部26は、上述した車両の進路に対する移動物体の干渉度又は車両の周囲の移動物体の危険度を用いて、車両の進路上の位置ごとのシステム自信度を演算してもよい。
システム自信度演算部26は、地図情報に基づいて、車両の進路上の位置ごとのシステム自信度を演算してもよい。システム自信度演算部26は、例えば、地図情報に基づいて車両の進路上の位置ごとに認識できる物標の数をそれぞれ予測する。システム自信度演算部26は、進路上のある位置において認識できる物標の数が物標閾値未満である場合、物標の数が物標閾値以上である場合と比べて、当該位置におけるシステム自信度を低い値として算出してもよい。システム自信度演算部26は、車両の進路上の位置が地図情報の精度が低い区域に含まれる場合、当該位置が地図情報の精度が低い区域に含まれない場合と比べて、当該位置におけるシステム自信度を低い値として算出してもよい。車両の進路上の位置が複雑な道路環境に位置する場合、車両の進路上の位置が見通しの悪い区間に位置する場合についても同様とすることができる。
正常運行状況判定部27は、車両の地図上の位置、車両の外部環境、車両の走行状態、及び車両の進路のうち少なくとも一つに基づいて、自動運転が正常運行状況であるか否かを判定する。正常運行状況とは、自動運転システム100において自動運転が正常に運行されている状況である。自動運転が正常運行状況であるとは、車両の自動運転が正常に運行されており、自動運転が急に終了して運転者主体の運転への切り換えが生じるような状況ではないことを意味する。
具体的に、正常運行状況判定部27は、車両の地図上の位置、車両の外部環境、車両の走行状態、及び車両の進路のうち少なくとも一つから演算されたシステム自信度に基づいて、自動運転が正常運行状況であるか否かを判定する。正常運行状況判定部27は、例えばシステム自信度が正常運行閾値以上である場合に、自動運転が正常運行状況であると判定する。正常運行状況判定部27は、システム自信度が正常運行閾値未満である場合に、自動運転が正常運行状況ではないと判定する。
正常運行状況判定部27は、システム自信度を用いることなく、自動運転が正常運行状況であるか否かを判定してもよい。正常運行状況判定部27は、例えば、建物、他車両などによる外部センサ2の検出範囲の遮蔽割合が遮蔽用閾値以上である場合、自動運転が正常運行状況ではないと判定してもよい。正常運行状況判定部27は、外部センサ2又は内部センサ3のセンサ異常を検出した場合、自動運転が正常運行状況ではないと判定してもよい。
正常運行状況判定部27は、車両位置認識部21による車両の地図上の位置の認識精度に基づいて、自動運転が正常運行状況であるか否かを判定してもよい。正常運行状況判定部27は、車両の周囲に位置する物標の認識数及び/又は車両の周囲の物標の配置から車両の地図上の位置の認識精度を求める。正常運行状況判定部27は、認識精度が認識精度閾値未満である場合、自動運転が正常運行状況ではないと判定する。
正常運行状況判定部27は、進路生成部24の生成した進路に基づいて、自動運転が正常運行状況であるか否かを判定してもよい。正常運行状況判定部27は、例えば、一定距離内における進路の左右方向のぶれ幅(歪み幅)がぶれ幅閾値以上である場合、自動運転が正常運行状況ではないと判定する。正常運行状況判定部27は、一定距離内における進路の速度上限と速度下限の差が速度差閾値以上である場合、自動運転が正常運行状況ではないと判定してもよい。
その他、正常運行状況判定部27は、特開2009-157502号公報に記載されている進路評価の手法によって、進路生成部24の生成した進路の走行安全度を演算してもよい。この場合、正常運行状況判定部27は、例えば、自動運転に採用される進路の走行安全度が走行安全度閾値未満である場合に、自動運転が正常運行状況ではないと判定することができる。
正常運行状況判定部27は、システム自信度に加えて、上述した外部センサ2の検出範囲の遮蔽割合、車両の地図上の位置の認識精度、進路などの複数の基準を組み合わせて、自動運転が正常運行状況であるか否かの判定を行ってもよい。正常運行状況判定部27は、何れか一つの基準において自動運転が正常運行状況ではないと判定される場合には、他の基準における判定結果に関わらず、自動運転が正常運行状況ではないと判定してもよい。
運転者状況認識部28は、自動運転中における運転者状況を認識する。運転者状況の認識結果は、後述する不信判定部29の不信判定で用いられる。運転者状況には、運転者の運転行動時間、運転者の非運転行動時間、及び車両の外部環境の変化に対する運転者の反応遅れ時間のうち少なくとも一つが含まれる。運転者状況認識部28は、運転操作検出部5の検出した運転者の操作及び/又はドライバモニタカメラ6の撮像した運転者画像に基づいて、運転者状況を認識する。なお、運転者状況には、報知に対する運転者の報知反応遅れ時間が含まれてもよい。
まず、運転者の運転行動について説明する。運転者の運転行動とは、運転者が車両を運転するための行動である。運転行動には、運転者が車両の操舵部を把持する行動、運転者が車両前方などを監視する行動が含まれる。運転者状況認識部28は、例えば、運転操作検出部5の検出した運転者の操作及び/又はドライバモニタカメラ6の撮像した運転者画像に基づいて、運転者の運転行動を検出する。運転者状況認識部28は、例えば運転者が車両前方に顔を向けて車両の操舵部を両手で把持する運転姿勢である場合、運転者が運転行動を行っていると検出する。運転者状況認識部28は、運転者の運転行動を検出した時間を運転行動時間として認識する。
次に、運転者の非運転行動時間について説明する。運転者の非運転行動時間とは、運転者が非運転行動を行っている時間である。非運転行動とは、運転行動と関係ない行動である。非運転行動には、よそ見、スマートフォンの操作、車両設備(例えば音響設備やナビゲーションシステム)の操作などが含まれる。
運転者状況認識部28は、例えばドライバモニタカメラ6の撮像した運転者画像に基づいて、運転者の非運転行動を検出することで、非運転行動時間の認識を行う。運転者状況認識部28は、車内通信部8が運転者のスマートフォンと通信している場合、運転者のスマートフォンの操作情報から運転者の非運転行動を検出してもよい。運転者状況認識部28は、運転者のスマートフォンの操作情報とドライバモニタカメラ6の運転者画像の両方を用いて、運転者の非運転行動を検出してもよい。
運転者状況認識部28は、車両設備の操作情報から運転者の非運転行動を検出してもよい。運転者状況認識部28は、音声認識部7の認識結果に基づいて、運転者が会話に集中していると判定した場合、運転者の非運転行動として検出してもよい。運転者が会話に集中しているとは、例えば運転者が一定以上の音量の声で連続的に会話している状態である。音声認識部7には運転者の音声が予め登録されていてもよい。運転者状況認識部28は、ドライバモニタカメラ6の運転者画像と音声認識部7の認識結果との組み合わせにより、運転者が会話に集中しているか否かを判定してもよい。
続いて、車両の外部環境の変化に対する運転者の反応遅れ時間について説明する。車両の外部環境の変化とは、運転者が反応する対象となる外部環境の変化である。車両の外部環境の変化には、車両前方への他車両の割込み、車両前方への歩行者の飛び出し、車両側方の他車両の追い抜き、先行車の急減速などのうち少なくとも一つが含まれる。運転者状況認識部28は、外部環境認識部22の認識した車両の外部環境に基づいて、車両の外部環境の変化が生じたことを認識する。
運転者状況認識部28は、車両の外部環境の変化の種類を区別して認識してもよい。この場合、車両前方への他車両の割込み、車両前方への歩行者の飛び出し、車両側方の他車両の追い抜き、先行車の急減速は、それぞれ別の種類の外部環境の変化として認識することができる。歩行者の飛び出しは、自転車、パーソナルモビリティ、他車両などの移動体の飛び出しと同じ種類としてもよい。
運転者の反応遅れ時間とは、車両の外部環境の変化が生じてから運転者が反応するまでの遅れ時間である。運転者状況認識部28は、例えば、運転者が車両前方に顔を向けて車両の操舵部を両手で把持する運転姿勢になった場合、車両の外部環境の変化に運転者が反応したと検出する。運転者状況認識部28は、運転者の手の状況に関わらず、運転者が車両前方に顔を向けた場合に、運転者が反応したと検出してもよい。或いは、運転者状況認識部28は、運転者の顔の向きの認識を行わず、運転者が操舵部を両手で把持した場合に運転者が反応したと検出してもよい。
また、運転者状況認識部28は、運転者が車両周囲を確認するように顔を動かした場合に、運転者が反応したと検出してもよい。運転者状況認識部28は、ブレーキセンサにより運転者がブレーキペダルの上に足を置いたことを検知した場合、又は、アクセルセンサにより運転者がアクセルペダルの上に足を置いたことを検知した場合に、運転者が反応したと検出してもよい。
運転者状況認識部28は、運転者が車両の外部環境の変化を視認したと判定した場合に、運転者が反応したと検出してもよい。運転者状況認識部28は、例えば車両の外部環境の変化が他車両の追い抜きである場合、運転者が当該他車両の方に顔を向けた場合に、他車両の追い抜きに対して運転者が反応したと検出する。なお、車両の外部環境の変化に対する運転者の反応遅れ時間を認識する場合には、後述するような運転者に対する報知は行われない。その他、運転者状況認識部28は、車内通信部8を通じて運転者の装着しているウェアラブルデバイスとの通信により運転者の生体情報を認識してもよい。
続いて、報知に対する運転者の報知反応遅れ時間について説明する。報知は、例えば車両の外部環境の変化を運転者に注意喚起するための通知である。この場合の車両の外部環境の変化も、車両前方への他車両の割込み、車両前方への歩行者の飛び出し、車両側方の他車両の追い抜き、先行車の急減速などのうち少なくとも一つを含むことができる。なお、運転者が反応する対象となる車両の外部環境の変化と、報知対象となる車両の外部環境の変化とは必ずしも一致する必要はない。自動運転システム100は、例えば車両前方への他車両の割込みを認識した場合、運転者に対して注意喚起のための報知を行う。報知の内容については後述する。
運転者の報知反応遅れ時間とは、報知が出力されてから運転者が反応するまでの遅れ時間である。運転者の反応は、上述した運転者の反応遅れ時間の場合と同様にして認識することができる。運転者状況認識部28は、報知が画像表示である場合、画像表示の存在する方向に運転者が顔を向けたとき、運転者が反応したと検出してもよい。運転者状況認識部28は、報知が音声出力である場合、音声の出力された方向に運転者が顔を向けたとき、運転者が反応したと検出してもよい。運転者状況認識部28は、報知が出力されてから運転者の反応を認識するまでの時間を報知に対する運転者の報知反応遅れ時間として認識する。なお、運転者状況認識部28は、必ずしも反応遅れ時間及び報知反応遅れ時間を認識する必要はない。
不信判定部29は、運転者状況認識部28の認識結果に基づいて、運転者がシステム不信状態であるか否かを判定する。システム不信状態とは、運転者が自動運転システム100による自動運転に対して不信となっている状態である。
具体的に、不信判定部29は、運転者の運転行動時間に基づいて、運転者がシステム不信状態であるか否かを判定する。不信判定部29は、例えば、自動運転中の一定期間における運転者の運転行動時間の長さを算出する。不信判定部29は、一定期間における運転者の運転行動時間の長さが運転行動閾値以上である場合、運転者がシステム不信状態であると判定する。運転行動閾値は予め設定された値の閾値である。
ここで、図2は、運転行動時間及び非運転行動時間を説明するための図である。図2に、運転行動時間Tdと非運転行動時間Tsとを示す。図2において、運転者状況認識部28は、運転者の運転行動を検出した場合、運転者の運転行動の時間を運転行動時間Tdとして認識する。周辺監視行動は運転行動の一部である。運転者状況認識部28は、運転者の非運転行動を検出した場合、運転者の非運転行動の時間を非運転行動時間Tsとして認識する。図2に示すように、自動運転中の運転者の行動は、一例として、運転行動と非運転行動に区別できる。システム不信状態の運転者は、自動運転中の一定期間における運転行動時間Tdの長さが増加すると考えられることから運転行動時間Tdに基づいて運転者のシステム不信状態を判定することができる。
図2に示す状況において、不信判定部29は、例えば、一定期間における運転者の運転行動時間Tdの長さが運転行動閾値以上である場合、運転者がシステム不信状態であると判定する。不信判定部29は、例えば、一定期間における運転者の運転行動時間Tdの長さが運転行動閾値以上である場合、運転者がシステム不信状態であると判定する。
不信判定部29は、運転者の非運転行動時間Tsに基づいて、運転者がシステム不信状態であるか否かを判定してもよい。不信判定部29は、自動運転中の一定期間における運転者の非運転行動時間Tsの長さが非運転行動閾値未満である場合、運転者がシステム不信状態であると判定する。非運転行動閾値は予め設定された値の閾値である。
不信判定部29は、運転者の運転行動時間Td及び運転者の非運転行動時間Tsに基づいて、運転者がシステム不信状態であるか否かを判定してもよい。不信判定部29は、自動運転中の一定期間における運転行動時間Tdと非運転行動時間Tsとの比率を算出する。不信判定部29は、例えば、運転行動時間Tdに対する非運転行動時間Tsの比率が比率閾値未満である場合、運転者がシステム不信状態であると判定する。比率閾値は予め設定された値の閾値である。比率閾値は、0.2であってもよく、0.3であってもよい。なお、一定期間は、数十分であっても、一時間であってもよく、自動運転が開始されてからの全期間であってもよい。
不信判定部29は、車両の外部環境の変化に対する運転者の反応遅れ時間と運転者の報知反応遅れ時間との比較結果から、運転者がシステム不信状態であるか否かを判定してもよい。システム不信状態の運転者は、自動運転システム100からの報知に頼りきりにならず、車両の外部環境の変化に機敏に反応すると考えられる。このため、車両の外部環境の変化に対する運転者の反応遅れ時間と運転者の報知反応遅れ時間とを比較することで、運転者のシステム不信状態を判定することができる。
この場合において、まず、不信判定部29は、運転者状況認識部28により車両の外部環境の変化に応じた報知に対する運転者の報知反応遅れ時間が認識された場合、運転者の報知反応遅れ時間を基準反応遅れ時間として記憶する。不信判定部29は、ECU20に接続された記憶装置に対して基準反応遅れ時間を記憶させてもよい。
その後、不信判定部29は、運転者状況認識部28により車両の外部環境の変化に対する運転者の反応遅れ時間が認識された場合、基準反応遅れ時間(記憶された報知反応遅れ時間)から当該反応遅れ時間を減算した差を算出する。運転者が外部環境の変化に機敏に対応した場合、基準反応遅れ時間から運転者の反応遅れ時間を減算した差は正の値となり、運転者が機敏に反応するほど差が大きくなると考えられる。不信判定部29は、基準反応遅れ時間から反応遅れ時間を減じた差が不信閾値以上である場合、運転者がシステム不信状態であると判定する。不信閾値は正の値の閾値である。不信閾値は車両の速度又は車両外部の明るさなどの各種パラメータに応じて値が変更されてもよい。
不信判定部29は、車両の外部環境の変化の種類を区別してもよい。不信判定部29は、車両前方への他車両の割込み、車両前方への歩行者の飛び出し、車両側方の他車両の追い抜き、先行車の急減速などの種類ごとに運転者の報知反応遅れ時間を記憶する。不信判定部29は、運転者状況認識部28により車両の外部環境の変化に対する運転者の反応遅れ時間が認識された場合、当該外部環境の変化の種類に応じた報知反応遅れ時間と比較することで運転者がシステム不信状態であるか否かを判定する。
不信判定部29は、必ずしも運転者の反応遅れ時間と運転者の報知反応遅れ時間の比較を行う必要はない。不信判定部29は、車両の外部環境の変化に対する運転者の反応遅れ時間に基づいて、運転者がシステム不信状態であるか否かを判定してもよい。
具体的に、不信判定部29は、車両の外部環境の変化の種類ごとに比較用反応遅れ時間を記憶している。不信判定部29は、車両の外部環境の変化に対する運転者の反応遅れ時間が認識された場合、当該外部環境の変化の種類に応じた比較用反応遅れ時間から運転者の反応遅れ時間を減算した差を算出する。不信判定部29は、比較用反応遅れ時間から運転者の反応遅れ時間を減算した差が不信閾値以上である場合、運転者がシステム不信状態であると判定してもよい。不信判定部29は、車両の外部環境の変化の種類に応じて異なる値の比較用反応遅れ時間を用いてもよい。
同様に、不信判定部29は、車両の外部環境の変化に応じた報知に対する運転者の報知反応遅れ時間に基づいて、運転者がシステム不信状態であるか否かを判定してもよい。不信判定部29は、比較用報知反応遅れ時間を予め記憶している。不信判定部29は、運転者の報知反応遅れ時間が認識された場合、比較用報知反応遅れ時間から運転者の報知反応遅れ時間を減算した差を算出する。不信判定部29は、比較用報知反応遅れ時間から運転者の報知反応遅れ時間を減算した差が不信閾値以上である場合、運転者がシステム不信状態であると判定してもよい。不信判定部29は、車両の外部環境の変化の種類に応じて異なる値の比較用報知反応遅れ時間を用いてもよい。
その他、不信判定部29は、運転行動時間などに加えて、運転者状況認識部28の認識した運転者の生体情報に基づいてシステム不信状態を判定してもよい。不信判定部29は、運転行動時間などと組み合わせて、運転者の生体情報を用いることにより、システム不信状態を判定してもよい。不信判定部29は、運転席のアームレストに運転者の腕の重さを検出するアームレストセンサが設けられている場合には、運転行動時間などと組み合わせて、アームレストセンサの検出結果を用いることにより、システム不信状態を判定してもよい。運転者がアームレストに寄り掛かっていない場合には、運転者がアームレストに寄り掛かっている場合と比べて、運転者がシステム不信状態である可能性が高いと考えることができる。
不安喚起状況判定部30は、車両の外部環境に基づいて、自動運転中の車両が不安喚起状況であるか否かを判定する。不安喚起状況とは、車両の運転者に不安を喚起させるような車両の状況である。不安喚起状況は運転者の観点から判定される。不安喚起状況の一例としては、運転者の視界内で車両の前方に他車両が割込もうとしており、車両と他車両とが近接している状況が挙げられる。
不安喚起状況判定部30は、例えば車両の前方を撮像するカメラの撮像画像に基づいて、撮像画像における移動物体面積が不安喚起閾値以上である場合、自動運転中の車両が不安喚起状況であると判定する。移動物体面積とは、他車両、歩行者、自転車などの移動物体(移動可能な障害物)の撮像画像に占める面積である。不安喚起状況判定部30は、運転者の視界を占める移動物体の面積が大きいほど運転者が車両の状況に不安を感じる可能性が高いと考えられることから、移動物体面積に基づいて不安喚起状況を判定することができる。
ここで、図3は、不安喚起状況の一例を説明するための図である。図3に、カメラの撮像画像G、先行車N1、右側他車両N2、及び左側他車両N3を示す。また、図3に、先行車N1の画像面積A1、右側他車両N2の画像面積A2、左側他車両N3の画像面積A3を示す。移動物体面積は、画像面積A1~A3の合計面積となる。
図3に示す状況において、不安喚起状況判定部30は、外部環境認識部22の認識した車両の外部環境に基づいて、カメラの撮像画像Gにおける移動物体面積(画像面積A1~A3の合計面積)を認識する。不安喚起状況判定部30は、移動物体面積が不安喚起閾値以上である場合、車両が不安喚起状況であると判定する。不安喚起閾値は、車両の速度又は車両外部の明るさなど各種パラメータに応じて値を変更されてもよい。撮像画像に占める移動物体面積の認識には周知の画像認識技術を用いればよい。
不安喚起状況判定部30は、移動物体面積が急に増加した場合に、車両が不安喚起状況であると判定してもよい。不安喚起状況判定部30は、例えば、一定時間内における移動物体面積の増加量が面積増加閾値以上である場合、車両が不安喚起状況であると判定する。
また、不安喚起状況判定部30は、車両の前方を撮像するカメラの撮像画像だけではなく、車両の側方又は後方を撮像するカメラの撮像画像における移動物体面積を考慮してもよい。不安喚起状況判定部30は、例えば車両外部を撮像する全てのカメラの撮像画像における移動物体の画像面積を合計した移動物体面積が不安喚起閾値以上である場合に、自動運転中の車両が不安喚起状況であると判定してもよい。
不安喚起状況判定部30は、必ずしも移動物体面積に基づいて不安喚起状況を判定する必要はない。不安喚起状況判定部30は、車両の周囲の他車両の密度、車両の周囲の他車両の車種、車両の周囲の音を考慮して不安喚起状況を判定してもよい。一例として不安喚起度を用いることができる。不安喚起状況判定部30は、不安喚起度が不安喚起度閾値以上である場合、車両が不安喚起状況であると判定する。
不安喚起状況判定部30は、例えば、車両から一定距離内に位置する他車両の車種が小型車である場合と比べて、車種がトラックなどの大型車である場合、不安喚起度を大きい値として算出する。不安喚起状況判定部30は、車両から一定距離内に位置する他車両の車種が小型車である場合と比べて、車種が高級車のような幅広の車である場合、不安喚起度を大きい値として算出してもよい。
不安喚起状況判定部30は、車両から一定距離内に位置する他車両の車種が小型車である場合と比べて、車種がバイクである場合、不安喚起度を大きい値として算出してもよい。不安喚起状況判定部30は、車両から一定距離内に存在する他車両の台数が多いほど、不安喚起度を大きい値として算出してもよい。不安喚起状況判定部30は、車両の周囲の音の騒音値(例えばデシベル)が大きいほど、不安喚起度を大きい値として算出してもよい。不安喚起状況判定部30は、大型車の接近する音を検出した場合、大型車の接近する音を検出しない場合と比べて、不安喚起度を大きい値として算出してもよい。不安喚起状況判定部30は、救急車両又は警察車両などの特殊車両のサイレン音を検出した場合、特殊車両のサイレン音を検出しない場合と比べて、不安喚起度を大きい値として算出してもよい。不安喚起状況判定部30は、工事などの発する音であっても騒音値が騒音閾値以上の音が存在する場合、騒音値が騒音閾値以上の音が存在しない場合と比べて、不安喚起度を大きい値として算出してもよい。
その他、不安喚起状況判定部30は、車両の外部環境を予め用意された判定用データベースのデータと照合することで、不安喚起状況を判定してもよい。判定用データベースには、例えば不安喚起状況と判定される車両の外部環境がデータとして記憶されている。不安喚起状況判定部30は、例えば、車両の外部環境(カメラの撮像画像、レーダセンサの検出した車両の周囲の他車両の配置など)が判定用データベースのデータと一致する場合、車両が不安喚起状況であると判定する。判定用データベースの生成手法は特に限定されない。
報知制御部31は、自動運転中に運転者に対して各種の報知を行う。報知制御部31は、HMI10に制御信号を送信することにより、各種の報知を実行する。報知は、HMI10の表示器10aによる画像表示、スピーカ10bによる音声出力、及び振動部10cによる振動の出力のうち少なくとも一つによって行われる。報知は、画像表示、音声出力、振動のうち二つ以上を組み合わせて実行されてもよい。
報知制御部31は、一定条件下でアラートを出力する。具体的に、報知制御部31は、正常運行状況判定部27により自動運転が正常運行状況であると判定され、不信判定部29により運転者がシステム不信状態であると判定され、且つ、不安喚起状況判定部30により自動運転中の車両が不安喚起状況であると判定された場合に、アラートを出力する。
上記アラートは、運転者に対してシステム不信状態を解消するためのアラートである。アラートは、車両の外部環境に応じて出力される。アラートは、運転者のシステム不信状態の解消に少しでも寄与できればよく、アラート内容は限定されない。アラートは、運転者に対してシステム不信状態を解消するため、運転者がシステム不信状態ではないと判定された場合と比べて、より丁寧なアラートであってもよい。丁寧なアラートの一例としては、通常の注意喚起のアラートに先立って、運転者に障害物などのリスクがあることを注意喚起する早期アラートなどが挙げられる。
アラートには、表示によるアラート、音によるアラート、振動によるアラートのうち少なくとも一つが含まれる。アラートは、表示によるアラート、音によるアラート、振動によるアラートのうち二つ以上を組み合わせて実行されてもよい。
表示によるアラートには、HMI10の表示器10aからの画像表示が含まれる。表示によるアラートは、ヘッドアップディスプレイによる車両のフロントガラスへの投影表示であってもよい。表示によるアラートは、マルチインフォメーションディスプレイへの画像表示であってもよく、車両のサイドミラーに設けられるブラインドスポットモニターへの画像表示であってもよい。表示によるアラートには、車内通信部8を介して車両と通信している運転者のスマートフォンなどの画面に対する画像表示が含まれていてもよい。表示内容は、アイコン表示であってもよく、テキスト表示であってもよい。表示内容は、運転者のシステム不信状態の解消に寄与できる内容であれば限定されない。
音によるアラートには、スピーカ10bから車両される音声出力が含まれる。音によるアラートには、警報音及び/又は音声が含まれる。警報音は、連続音であっても、断続音であってもよい。音声の種類や内容も運転者のシステム不信状態の解消に寄与できる内容であれば限定されない。
振動によるアラートには、振動部10cによる振動の出力が含まれる。振動によるアラートには、操舵部の振動、運転席のシートの振動、運転席のヘッドレストの振動、運転席のアームレストの振動、アクセルペダルの振動、ブレーキペダルの振動のうち少なくとも一つが含まれる。
報知制御部31は、一例として、正常運行状況判定部27により自動運転が正常運行状況ではないと判定された場合、不信判定部29により運転者がシステム不信状態ではないと判定された場合、又は、不安喚起状況判定部30により自動運転中の車両が不安喚起状況ではないと判定された場合には、アラートの出力を行わない。
報知制御部31は、正常運行状況判定部27により自動運転が正常運行状況であると判定され、不信判定部29により運転者がシステム不信状態であると判定され、且つ、不安喚起状況判定部30により自動運転中の車両が不安喚起状況であると判定された場合に、車両の外部環境に応じてアラートの出力を行う。報知制御部31は、運転者に報知すべき外部環境ではない場合にはアラートの出力を行わない。運転者に報知すべき外部環境とは、車両の前方に障害物が存在する環境、車両の前方で注意すべき道路交通環境などである。運転者に報知すべき外部環境には、車両の周囲に歩行者又は自転車が存在する環境が含まれてもよい。
〈自動運転システムの処理〉
次に、本実施形態の自動運転システム100の処理について図面を参照して説明する。
《自動運転処理》
図4は、自動運転処理の一例を示すフローチャートである。図4に示す自動運転処理は、車両の自動運転が開始される場合に実行される。
図4に示すように、自動運転システム100のECU20は、S10として、車両位置認識部21により車両の地図上の位置の認識を行う。車両位置認識部21は、GPS受信部1の位置情報及び地図データベース4の地図情報に基づいて、車両の地図上の位置を認識する。また、車両位置認識部21は、SLAM技術等により車両の地図上の位置の推定を行ってもよい。
S12において、ECU20は、外部環境認識部22により車両の外部環境の認識を行う。外部環境認識部22は、外部センサ2の検出結果に基づいて、車両の外部環境を認識する。
S14において、ECU20は、走行状態認識部23により車両の走行状態の認識を行う。走行状態認識部23は、内部センサ3の検出結果に基づいて、走行中の車両の状態を認識する。
S16において、ECU20は、進路生成部24により自動運転の進路を生成する。進路生成部24は、予め設定された目的地、地図情報、車両の地図上の位置、車両の外部環境、及び車両の走行状態に基づいて、自動運転の進路を生成する。
S18において、ECU20は、車両制御部25により自動運転を実行する。車両制御部25は、地図情報、車両の地図上の位置、車両の外部環境、車両の走行状態、及び進路に基づいて、車両の自動運転を実行する。
《アラート出力処理》
図5は、アラート出力処理の一例を示すフローチャートである。図5に示すアラート出力処理は、車両の自動運転中に実行される。アラート出力処理は、車両の自動運転が開始されてから一定時間の経過後又は一定距離の走行後に開始されてもよい。
図5に示すように、ECU20は、S20として、システム自信度演算部26により自動運転のシステム自信度を演算する。システム自信度演算部26は、車両の地図上の位置、車両の外部環境、車両の走行状態、及び車両の進路のうち少なくとも一つに基づいて、システム自信度を演算する。
S22において、ECU20は、正常運行状況判定部27により自動運転が正常運行状況であるか否かを判定する。正常運行状況判定部27は、車両の地図上の位置、車両の外部環境、車両の走行状態、及び車両の進路のうち少なくとも一つに基づいて、自動運転が正常運行状況であるか否かを判定する。ECU20は、自動運転が正常運行状況であると判定された場合(S22:YES)、S24に移行する。ECU20は、自動運転が正常運行状況ではないと判定された場合(S22:NO)、今回の処理を終了する。その後、ECU20は、自動運転が継続されている場合、一定時間の経過後に再びS20から処理を繰り返す。
S24において、ECU20は、不信判定部29により運転者がシステム不信状態であるか否かを判定する。不信判定部29は、運転者の運転状況に基づいて、運転者がシステム不信状態であるか否かを判定する。システム不信状態の判定の処理について詳しくは後述する。
ECU20は、運転者がシステム不信状態であると判定された場合(S24:YES)、S26に移行する。ECU20は、運転者がシステム不信状態ではないと判定された場合(S24:NO)、今回の処理を終了する。その後、ECU20は、自動運転が継続されている場合、一定時間の経過後に再びS20から処理を繰り返す。
S26において、ECU20は、不安喚起状況判定部30により自動運転中の車両が不安喚起状況であるか否かを判定する。不安喚起状況判定部30は、例えば車両の前方を撮像するカメラの撮像画像に基づいて、撮像画像における移動物体面積が不安喚起閾値以上である場合、自動運転中の車両が不安喚起状況であると判定する。不安喚起状況の判定処理について詳しくは後述する。
ECU20は、自動運転中の車両が不安喚起状況であると判定された場合(S26:YES)、S28に移行する。ECU20は、自動運転中の車両が不安喚起状況ではないと判定された場合(S26:NO)、今回の処理を終了する。すなわち、ECU20は、自動運転中の車両が不安喚起状況であると判定された場合にはアラートの出力を行わない。その後、ECU20は、自動運転が継続されている場合、一定時間の経過後に再びS20から処理を繰り返す。
S28において、ECU20は、報知制御部31によりアラートの出力を行う。報知制御部31は、HMI10に制御信号を送信することによりアラートの出力を行う。その後、ECU20は、今回の処理を終了する。ECU20は、予め決められた待機時間の経過後に再びS20から処理を繰り返す。
《システム不信状態の判定処理》
図6は、システム不信状態の判定処理の一例を示すフローチャートである。システム不信状態の判定処理は、図5に示すS24の処理に対応する。
図6に示すように、ECU20は、S30として、運転者状況認識部28による運転行動時間の認識を行う。運転者状況認識部28は、例えば、運転操作検出部5の検出した運転者の操作及び/又はドライバモニタカメラ6の撮像した運転者画像に基づいて、運転者の運転行動時間を認識する。
S32として、ECU20は、不信判定部29により、一定期間における運転者の運転行動時間の長さが運転行動閾値以上であるか否かを判定する。ECU20は、一定期間における運転者の運転行動時間の長さが運転行動閾値以上であると判定された場合(S32:YES)、S34に移行する。ECU20は、一定期間における運転者の運転行動時間の長さが運転行動閾値以上ではないと判定された場合(S32:NO)、S36に移行する。
S34において、ECU20は、不信判定部29により運転者がシステム不信状態であると判定する。S36において、ECU20は、不信判定部29により運転者がシステム不信状態ではないと判定する。
《基準反応遅れ時間の記憶処理》
図7(a)は、基準反応遅れ時間の記憶処理の一例を示すフローチャートである。基準反応遅れ時間の記憶処理は、後述するシステム不信状態の判定処理の他の例の前提の処理となる。基準反応遅れ時間の記憶処理は、車両の自動運転中に実行される。
図7(a)に示すように、ECU20は、S40として、報知制御部31による報知が行われたか否かを判定する。報知制御部31は、HMI10に制御信号を送信することにより運転者に対する報知を実行する。判定対象となる報知は、車両の外部環境の変化に対する報知に限ってもよい。ECU20は、報知が行われた場合(S40:YES)、S42に移行する。ECU20は、報知が行われていない場合(S40:NO)、今回の処理を終了する。その後、ECU20は、自動運転が継続されている場合、一定時間の経過後に再びS40から処理を繰り返す。
S42において、ECU20は、運転者状況認識部28により報知に対する運転者の報知反応遅れ時間を認識する。運転者状況認識部28は、報知が出力されてから運転者の反応を認識するまでの時間を報知に対する運転者の報知反応遅れ時間として認識する。
S44において、ECU20は、不信判定部29により運転者の報知反応遅れ時間を基準反応遅れ時間として記憶する。不信判定部29は、ECU20に接続された記憶装置に対して基準反応遅れ時間を記憶させてもよい。その後、ECU20は今回の処理を終了する。ECU20は、予め決められた待機時間の経過後に再びS40から処理を繰り返すことで、基準反応遅れ時間を更新してもよい。
《システム不信状態の判定処理の他の例》
図7(b)は、システム不信状態の判定処理の他の例を示すフローチャートである。システム不信状態の判定処理は、図5に示すS24の処理に対応する。
図7(b)に示すように、ECU20は、S50として、外部環境認識部22により車両の外部環境の変化を検出する。外部環境認識部22は、外部センサ2の検出結果に基づいて、車両の外部環境の変化を検出する。ECU20は、車両の外部環境の変化が検出された場合(S50:YES)、S52に移行する。ECU20は、車両の外部環境の変化が検出されなかった場合(S50:NO)、今回の処理を終了する。その後、ECU20は、自動運転が継続されている場合、一定時間の経過後に再びS50から処理を繰り返す。
S52において、ECU20は、運転者状況認識部28により車両の外部環境の変化に対する運転者の反応遅れ時間を認識する。運転者状況認識部28は、運転操作検出部5の検出した運転者の操作及び/又はドライバモニタカメラ6の撮像した運転者画像に基づいて、車両の外部環境の変化に対する運転者の反応遅れ時間を認識する。
S54において、ECU20は、不信判定部29により運転者の反応遅れ時間と基準反応遅れ時間との差が不信閾値以上であるか否かを判定する。運転者の反応遅れ時間と基準反応遅れ時間との差とは、基準反応遅れ時間から運転者の反応遅れ時間を減じた差である。ECU20は、運転者の反応遅れ時間と基準反応遅れ時間との差が不信閾値以上であると判定された場合(S54:YES)、S56に移行する。ECU20は、運転者の反応遅れ時間と基準反応遅れ時間との差が不信閾値以上ではないと判定された場合(S54:NO)、S58に移行する。
S56において、ECU20は、不信判定部29により運転者がシステム不信状態であると判定する。S58において、ECU20は、不信判定部29により運転者がシステム不信状態ではないと判定する。
なお、ECU20は、図6の判定処理と図7(b)の判定処理の両方を実行する場合において、何れかの判定処理でシステム不信状態と判定されたとき、他の判定処理でシステム不信状態ではないと判定されても、システム不信状態との判定結果を優先してもよい。或いは、ECU20は、図6の判定処理の結果を優先してもよく、図7(b)の判定処理の結果を優先してもよい。また、ECU20は、必ずしも図6の判定処理と図7(b)の判定処理の両方を実行する必要はない。
《不安喚起状況の判定処理》
図8は、不安喚起状況の判定処理の一例を示すフローチャートである。不安喚起状況の判定処理は、図5に示すS26の処理に対応する。
図8に示すように、ECU20は、S60として、不安喚起状況判定部30により車両の前方を撮像するカメラの撮像画像における移動物体面積が不安喚起閾値以上であるか否かを判定する。不安喚起状況判定部30は、車両の前方を撮像するカメラの撮像画像に基づいて上記判定を行う。ECU20は、カメラの撮像画像における移動物体面積が不安喚起閾値以上であると判定された場合(S60:YES)、S62に移行する。ECU20は、カメラの撮像画像における移動物体面積が不安喚起閾値以上ではないと判定された場合(S60:NO)、S64に移行する。
S62において、ECU20は、不安喚起状況判定部30により自動運転中の車両が不安喚起状況であると判定する。S64において、ECU20は、不安喚起状況判定部30により自動運転中の車両が不安喚起状況ではないと判定する。
〈自動運転システムの作用効果〉
以上説明した本実施形態に係る自動運転システム100によれば、正常運行状況判定部27により自動運転が正常運行状況であると判定され、不信判定部29により運転者がシステム不信状態であると判定され、且つ、不安喚起状況判定部30により自動運転中の車両が不安喚起状況であると判定された場合に、車両の外部環境に応じてアラートを出力する。これにより、自動運転システム100では、自動運転が正常運行状況であることを確保しつつ外部環境に応じた丁寧なアラートの出力によってシステム不信状態の運転者に対する働き掛けを行うことで、適切に自動運転中における運転者のシステム不信状態の解消を図ることができる。更に、自動運転システム100によれば、車両が不安喚起状況であると判定されたときには運転者が出力の外部環境に不安を感じている可能性があるので、アラートを出力することで運転者のシステム不信状態の解消を適切に図ることができる。
また、自動運転システム100によれば、自動運転に関するシステム自信度を用いて自動運転の正常運行状況の判定を行うことで、システム自信度を用いない場合と比べて、自動運転が正常運行状況であるか否かをより適切に判定することができる。
また、自動運転システム100によれば、車両前方を見る運転者の視界内に占める障害物の面積が大きいほど運転者が車両の走行に不安を感じる可能性が高いと考えられることから、車両の前方を撮像するカメラの撮像画像における移動物体面積が不安喚起閾値以上である場合に、自動運転中の車両が不安喚起状況であると判定することができる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
不信判定部29は、不安喚起状況判定部30により自動運転中の車両が不安喚起状況ではないと判定された場合における運転者の運転行動時間Tdに基づいて、運転者がシステム不信状態であるか否かを判定してもよい。不信判定部29は、不安喚起状況ではない状況下における運転者の運転行動の割合が高い場合には運転者はシステム不信状態である可能性が高いことから、不安喚起状況ではない状況下における運転者の運転行動時間Tdに基づいて運転者がシステム不信状態であるか否かを判定することができる。不信判定部29は、例えば、不安喚起状況ではない状況下における運転者の運転行動時間Tdの長さが第1不信判定閾値以上である場合、運転者がシステム不信状態であると判定する。
同様にして、不信判定部29は、不安喚起状況ではない状況下における運転者の非運転行動時間Tsに基づいて運転者がシステム不信状態であるか否かを判定してもよい。不信判定部29は、不安喚起状況ではない状況下における運転者の非運転行動時間Tsの長さが第2不信判定閾値未満である場合、運転者がシステム不信状態であると判定してもよい。第1不信判定閾値及び第2不信判定閾値は予め設定された値の閾値である。
自動運転システム100は、必ずしもシステム自信度演算部26を有する必要はない。すなわち、自動運転システム100は、必ずしもシステム自信度を演算する必要はない。この場合、正常運行状況判定部27は、システム自信度を用いることなく、車両の地図上の位置、車両の外部環境、車両の走行状態、及び車両の進路のうち少なくとも一つに基づいて、自動運転が正常運行状況であるか否かを判定すればよい。
自動運転システム100は、必ずしも不安喚起状況判定部30を有する必要はない。すなわち、自動運転システム100は、必ずしも自動運転中の車両が不安喚起状況であるか否かを判定する必要はない。この場合、報知制御部31は、正常運行状況判定部27により自動運転が正常運行状況であると判定され、且つ、不信判定部29により運転者がシステム不信状態であると判定された場合に、アラートの出力を行う。報知制御部31は、正常運行状況判定部27により自動運転が正常運行状況ではないと判定された場合、又は、不信判定部29により運転者がシステム不信状態ではないと判定された場合には、アラートの出力を行わない。
運転者状況認識部28は、アラートの出力後に、アラートに対する運転者の反応を認識してもよい。報知制御部31は、アラートに対する運転者の反応が認識されない場合、アラートを再度出力してもよい。報知制御部31は、アラートを再度出力する場合には、前回のアラートの出力と比べて、アラートを強く出力してもよい。強い出力とは、例えば音声出力の場合はより大きい音量による出力、画像表示の場合は強い輝度の出力である。音量の周波数、画像の色度の変更により強い出力を実現してもよい。不信判定部29は、アラートに対する運転者の反応を認識した場合には、運転者のシステム不信状態が解消されたと判定してもよい。
1…GPS受信部、2…外部センサ、3…内部センサ、4…地図データベース、5…運転操作検出部、6…ドライバモニタカメラ、7…音声認識部、8…車内通信部、9…アクチュエータ、10…HMI、10a…表示器、10b…スピーカ、10c…振動部、20…ECU、21…車両位置認識部、22…外部環境認識部、23…走行状態認識部、24…進路生成部、25…車両制御部、26…システム自信度演算部、27…正常運行状況判定部、28…運転者状況認識部、29…不信判定部、30…不安喚起状況判定部、31…報知制御部、100…自動運転システム。

Claims (5)

  1. 車両の自動運転を実行すると共に、自動運転中に前記車両の運転者に対して各種の報知を行う自動運転システムであって、
    前記車両の地図上の位置を認識する車両位置認識部と、
    前記車両の外部環境を認識する外部環境認識部と、
    前記車両の走行状態を認識する走行状態認識部と、
    地図情報、前記車両の地図上の位置、前記車両の外部環境、及び前記車両の走行状態に基づいて、前記自動運転に用いる前記車両の進路を生成する進路生成部と、
    前記車両の地図上の位置、前記車両の外部環境、前記車両の走行状態、及び前記車両の進路のうち少なくとも一つに基づいて、前記自動運転が正常運行状況であるか否かを判定する正常運行状況判定部と、
    前記自動運転中に前記運転者が前記車両の操舵部を把持する行動が検出された時間である運転行動時間、前記自動運転中の前記運転者の非運転行動時間、及び前記自動運転中の前記車両の外部環境の変化に対する前記運転者の反応遅れ時間のうち少なくとも一つを含む運転者状況を認識する運転者状況認識部と、
    前記運転者状況認識部の認識結果に基づいて、前記運転者がシステム不信状態であるか否かを判定する不信判定部と、
    前記正常運行状況判定部により前記自動運転が前記正常運行状況であると判定され、且つ、前記不信判定部により前記運転者が前記システム不信状態であると判定された場合に、前記車両の外部環境に応じてアラートを出力する報知制御部と、
    を備える自動運転システム。
  2. 前記車両の地図上の位置、前記車両の外部環境、前記車両の走行状態、及び前記車両の進路のうち少なくとも一つに基づいて、前記自動運転に関するシステム自信度を演算するシステム自信度演算部を更に備え、
    前記正常運行状況判定部は、前記システム自信度が正常運行閾値未満である場合に、前記自動運転が前記正常運行状況ではないと判定する、請求項1に記載の自動運転システム。
  3. 前記車両の外部環境に基づいて、自動運転中の前記車両が不安喚起状況であるか否かを判定する不安喚起状況判定部を更に備え、
    前記報知制御部は、前記正常運行状況判定部により前記自動運転が前記正常運行状況であると判定され、且つ、前記不信判定部により前記運転者が前記システム不信状態であると判定された場合において、前記不安喚起状況判定部により前記車両が前記不安喚起状況ではないと判定されたときに前記アラートを出力せず、前記車両が前記不安喚起状況であると判定されたときに前記アラートを出力する、請求項1に記載の自動運転システム。
  4. 前記不安喚起状況判定部は、前記車両の外部環境として前記車両の前方を撮像するカメラの撮像画像における移動物体面積が不安喚起閾値以上である場合、自動運転中の前記車両が前記不安喚起状況であると判定する、請求項3に記載の自動運転システム。
  5. 前記不信判定部は、前記自動運転中の一定期間における前記運転者の運転行動時間の長さが運転行動閾値以上である場合に前記運転者がシステム不信状態であると判定する、又は、自動運転中の一定期間における前記運転者の非運転行動時間の長さが非運転行動閾値未満である場合に前記運転者がシステム不信状態であると判定する、或いは、予め記憶された比較用反応遅れ時間から前記運転者の反応遅れ時間を減じた差が不信閾値以上である場合に前記運転者がシステム不信状態であると判定する、請求項1~4のうち何れか一項に記載の自動運転システム。
JP2019005232A 2019-01-16 2019-01-16 自動運転システム Active JP7151495B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019005232A JP7151495B2 (ja) 2019-01-16 2019-01-16 自動運転システム
CN202010013609.8A CN111443708B (zh) 2019-01-16 2020-01-07 自动驾驶系统
US16/742,161 US11628860B2 (en) 2019-01-16 2020-01-14 Autonomous driving system that can eliminate a system distrust state of the driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019005232A JP7151495B2 (ja) 2019-01-16 2019-01-16 自動運転システム

Publications (2)

Publication Number Publication Date
JP2020113183A JP2020113183A (ja) 2020-07-27
JP7151495B2 true JP7151495B2 (ja) 2022-10-12

Family

ID=71516232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019005232A Active JP7151495B2 (ja) 2019-01-16 2019-01-16 自動運転システム

Country Status (3)

Country Link
US (1) US11628860B2 (ja)
JP (1) JP7151495B2 (ja)
CN (1) CN111443708B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019107412B3 (de) * 2019-03-22 2020-07-09 Zf Active Safety Gmbh Steuerungssystem und Steuerungsverfahren zum Führen eines Kraftfahrzeugs
US11485368B2 (en) * 2019-06-27 2022-11-01 Intuition Robotics, Ltd. System and method for real-time customization of presentation features of a vehicle
DE102020209353A1 (de) * 2020-07-24 2022-01-27 Ford Global Technologies, Llc Steuern eines Fahrzeugs unter Berücksichtigung der Sensorreichweite
CN112286188B (zh) * 2020-10-20 2022-09-30 腾讯科技(深圳)有限公司 车辆行驶的控制方法、装置、设备及计算机可读存储介质
CN114261403B (zh) * 2022-03-03 2022-06-17 宁波均联智行科技股份有限公司 退出自动驾驶时的方向盘信息预警方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117140A (ja) 2006-11-02 2008-05-22 Toyota Central R&D Labs Inc 運転者依存度判定装置及びプログラム並びに運転支援装置及びプログラム
JP2015032054A (ja) 2013-07-31 2015-02-16 株式会社デンソー 運転支援装置、および運転支援方法
JP2017030578A (ja) 2015-08-02 2017-02-09 株式会社デンソー 自動運転制御装置、自動運転制御方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805601B2 (en) 2006-02-28 2014-08-12 Toyota Jidosha Kabushiki Kaisha Object path prediction method, apparatus, and program, and automatic operation system
JP4353192B2 (ja) 2006-03-02 2009-10-28 トヨタ自動車株式会社 進路設定方法、装置、プログラム、および自動運転システム
JP5082433B2 (ja) 2006-12-26 2012-11-28 トヨタ自動車株式会社 移動体周囲危険度判定方法、装置、およびプログラム
JP4730378B2 (ja) 2007-12-25 2011-07-20 トヨタ自動車株式会社 進路評価装置及び進路評価方法
JP5942754B2 (ja) * 2012-09-28 2016-06-29 株式会社デンソー 運転診断管理システム
JP2015032291A (ja) 2013-08-07 2015-02-16 トヨタ自動車株式会社 自動走行支援装置
CN106163858B (zh) 2014-04-02 2018-10-12 日产自动车株式会社 车辆用信息呈现装置
JP6409318B2 (ja) 2014-04-25 2018-10-24 日産自動車株式会社 情報呈示装置及び情報呈示方法
MX367069B (es) 2014-04-25 2019-08-05 Nissan Motor Aparato de presentacion de informacion y metodo de presentacion de informacion.
US9365213B2 (en) * 2014-04-30 2016-06-14 Here Global B.V. Mode transition for an autonomous vehicle
JP6233237B2 (ja) 2014-08-11 2017-11-22 トヨタ自動車株式会社 運転支援装置
JP6382047B2 (ja) 2014-09-25 2018-08-29 株式会社デンソー 過信判定装置、過依存抑止装置
WO2016049812A1 (en) * 2014-09-29 2016-04-07 Bayerische Motoren Werke Aktiengesellschaft Automatic parking warning system
JP6191633B2 (ja) 2015-02-20 2017-09-06 トヨタ自動車株式会社 運転支援装置
KR101708676B1 (ko) * 2015-05-14 2017-03-08 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6494782B2 (ja) * 2015-10-30 2019-04-03 三菱電機株式会社 報知制御装置及び報知制御方法
JP6639194B2 (ja) 2015-11-06 2020-02-05 トヨタ自動車株式会社 情報表示装置
JP6350492B2 (ja) 2015-11-26 2018-07-04 トヨタ自動車株式会社 画像表示装置
JP6508095B2 (ja) 2016-03-11 2019-05-08 トヨタ自動車株式会社 車両の自動運転制御システム
DE102016214394A1 (de) * 2016-08-03 2018-02-08 Volkswagen Aktiengesellschaft Verfahren zur Anpassung einer Mensch-Maschine-Schnittstelle in einem Kraftfahrzeug und Kraftfahrzeug
JP6572847B2 (ja) 2016-08-10 2019-09-11 トヨタ自動車株式会社 自動運転システム
JP6642334B2 (ja) 2016-08-25 2020-02-05 トヨタ自動車株式会社 車両制御装置
US9823657B1 (en) 2016-11-02 2017-11-21 Smartdrive Systems, Inc. Measuring operator readiness and readiness testing triggering in an autonomous vehicle
JP6849415B2 (ja) 2016-11-30 2021-03-24 トヨタ自動車株式会社 自動運転システム
JP6705388B2 (ja) 2017-01-25 2020-06-03 トヨタ自動車株式会社 自動運転システム
JP6998564B2 (ja) * 2017-02-08 2022-01-18 パナソニックIpマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法
JP6631585B2 (ja) * 2017-04-21 2020-01-15 株式会社デンソー 提示制御装置、自動運転制御装置、提示制御方法及び自動運転制御方法
JP6711329B2 (ja) 2017-08-09 2020-06-17 トヨタ自動車株式会社 走行支援装置
JP7135283B2 (ja) * 2017-09-07 2022-09-13 株式会社デンソー 自動運転装置、方法及びプログラム、並びに、自動運転車両
EP3690855B1 (en) * 2017-09-26 2021-07-21 Nissan Motor Co., Ltd. Driving assistance method and driving assistance apparatus
US20190094865A1 (en) * 2017-09-27 2019-03-28 Toyota Research Institute, Inc. Autonomous vehicle control systems and methods of operating a vehicle using the same
CN108469806B (zh) * 2018-03-26 2020-10-16 重庆邮电大学 交替式人机共驾中驾驶权转移方法
JP7115270B2 (ja) 2018-12-07 2022-08-09 トヨタ自動車株式会社 自動運転システム
JP7147575B2 (ja) 2019-01-17 2022-10-05 トヨタ自動車株式会社 報知装置
GB2583960A (en) * 2019-05-16 2020-11-18 Continental Automotive Gmbh Method and system using mapped emotions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117140A (ja) 2006-11-02 2008-05-22 Toyota Central R&D Labs Inc 運転者依存度判定装置及びプログラム並びに運転支援装置及びプログラム
JP2015032054A (ja) 2013-07-31 2015-02-16 株式会社デンソー 運転支援装置、および運転支援方法
JP2017030578A (ja) 2015-08-02 2017-02-09 株式会社デンソー 自動運転制御装置、自動運転制御方法

Also Published As

Publication number Publication date
JP2020113183A (ja) 2020-07-27
CN111443708A (zh) 2020-07-24
CN111443708B (zh) 2023-09-15
US11628860B2 (en) 2023-04-18
US20200223450A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
JP7115270B2 (ja) 自動運転システム
JP7151495B2 (ja) 自動運転システム
US9527441B2 (en) Vehicle control apparatus
JP6693354B2 (ja) 車両用情報提示装置
JP2017151782A (ja) 自動運転装置
JP6269360B2 (ja) 運転支援システム及び運転支援方法
US11873007B2 (en) Information processing apparatus, information processing method, and program
JP2019156144A (ja) 車両制御装置、車両制御方法、およびプログラム
JP3890996B2 (ja) 運転支援装置
CN111383477B (zh) 信息提示装置
JP2017151703A (ja) 自動運転装置
CN111886640A (zh) 车辆用报警装置
JP2017076232A (ja) 車両用報知装置
US11148682B2 (en) Steering assistance systems and methods
JP2019003278A (ja) 車外報知装置
US20190308636A1 (en) Autonomous vehicle control device
JP2017151704A (ja) 自動運転装置
JP7372382B2 (ja) 交通安全支援システム
JP7469358B2 (ja) 交通安全支援システム
JP7469359B2 (ja) 交通安全支援システム
JP2024052612A (ja) 交通安全支援システム及びコンピュータプログラム
JP2024050274A (ja) 制御装置、制御方法、およびプログラム
JP2023175207A (ja) 視線推定装置、視線推定方法、およびプログラム
JP2023005580A (ja) 移動体制御装置、移動体制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151