JP6683803B2 - 車両制御システム、車両制御方法、および車両制御プログラム - Google Patents

車両制御システム、車両制御方法、および車両制御プログラム Download PDF

Info

Publication number
JP6683803B2
JP6683803B2 JP2018512655A JP2018512655A JP6683803B2 JP 6683803 B2 JP6683803 B2 JP 6683803B2 JP 2018512655 A JP2018512655 A JP 2018512655A JP 2018512655 A JP2018512655 A JP 2018512655A JP 6683803 B2 JP6683803 B2 JP 6683803B2
Authority
JP
Japan
Prior art keywords
vehicle
handover
situation
driving
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018512655A
Other languages
English (en)
Other versions
JPWO2017183077A1 (ja
Inventor
嘉崇 味村
嘉崇 味村
浩平 沖本
浩平 沖本
熊切 直隆
直隆 熊切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2017183077A1 publication Critical patent/JPWO2017183077A1/ja
Application granted granted Critical
Publication of JP6683803B2 publication Critical patent/JP6683803B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/182Selecting between different operative modes, e.g. comfort and performance modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • B60K2360/175
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/20Steering systems
    • B60W2510/202Steering torque
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/10Number of lanes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/30Road curve radius
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/35Road bumpiness, e.g. pavement or potholes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406Traffic density
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • B60W2720/103Speed profile

Description

本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。
近年、目的地までの経路に沿って自車両が走行するように、自車両の加減速および操舵のうち、少なくとも一方を自動的に制御する技術(以下、「自動運転」という)についての研究が進められている。これに関連して、自動運転から手動運転に移行するハンドオーバを乗員に通知する通知手段を備えた運転モード制御装置が開示されている(例えば、特許文献1参照)。
特開2016−018238号公報
上記のハンドオーバの通知は、自動運転から手動運転への切り替えが行われる直前のタイミングで行われる。車両乗員は、自動運転の際には、例えば十分に前方を注視していなかったり、ゆったりした着座姿勢をとっていたりするなどして、手動運転に適した状況にない場合もある。このために、例えばハンドオーバの通知が行われたときに、車両乗員が手動運転に対応できる状況にないため、自動運転から手動運転への切り替えに即座に対応して手動運転の準備ができない場合があった。
本発明は、このような事情を考慮してなされたものであり、自動運転から手動運転へのハンドオーバが行われるタイミングで車両乗員が手動運転の準備ができているようにすることができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。
請求項1に記載の発明は、外界状況を認識する外界認識部(142)と、自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転を行う自動運転制御部(120)であって、前記外界認識部により認識された外界状況に基づいて、自動運転のモードから手動運転のモードに切り替えるハンドオーバを実行する自動運転制御部と、前記外界認識部により認識された外界状況に基づいて、前記ハンドオーバの発生可能性を予測するハンドオーバ予測部(155)と、情報を出力する出力部(70)と、前記ハンドオーバ予測部により前記ハンドオーバの発生可能性が高いと予測された場合に、車両乗員に対してハンドオーバへの準備を促す情報を出力するように前記出力部を制御するインターフェース制御部(170)と、手動運転が実行される場合に運転操作を行う車両乗員の車内における状況を取得する車両乗員状況取得部(171)と、を備え、前記車両乗員の車内における状況は、少なくとも乗員の姿勢状態、乗員の目視状況、乗員の姿勢を固定する固定部の使用状況の3つを含み、前記インターフェース制御部は、前記車両乗員状況取得部により複数の前記車両乗員の車内における状況ごとに取得された状況に基づいて、複数の前記車両乗員の車内における状況ごとに得られた運転準備態勢の整い方の度合についてレベル値を総合し、前記総合されたレベル値を用いて前記車両乗員の手動運転準備態勢が整っているかを判定し、前記車両乗員の手動運転準備態勢が整っているか否かに基づいて、前記ハンドオーバへの準備を促す情報の出力程度を変更し、運転準備態勢が整っていると判定した場合に、現在の態勢を維持する情報を出力する車両制御システムである。
請求項2に記載の発明は、車載コンピュータが、外界状況を認識し、自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転を行うにあたり、認識された外界状況に基づいて、自動運転のモードから手動運転のモードに切り替えるハンドオーバを実行し、認識された前記外界状況に基づいて、前記ハンドオーバの発生可能性を予測し、前記ハンドオーバの発生可能性が高いと予測された場合に、車両乗員に対してハンドオーバへの準備を促す情報を出力するように、情報を出力する出力部を制御し、手動運転が実行される場合に運転操作を行う車両乗員の車内における状況を取得し、前記車両乗員の車内における状況は、少なくとも乗員の姿勢状態、乗員の目視状況、乗員の姿勢を固定する固定部の使用状況の3つを含み、複数の前記車両乗員の車内における状況ごとに取得した状況に基づいて、複数の前記車両乗員の車内における状況ごとに得られた運転準備態勢の整い方の度合についてレベル値を総合し、前記総合されたレベル値を用いて前記車両乗員の手動運転準備態勢が整っているかを判定し、前記車両乗員の手動運転準備態勢が整っているか否かに基づいて、前記出力部により出力される前記ハンドオーバへの準備を促す情報の出力程度を変更し、運転準備態勢が整っていると判定した場合に、現在の態勢を維持する情報を出力する車両制御方法である。
請求項3に記載の発明は、車載コンピュータに、外界状況を認識し、自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転を行うにあたり、認識された外界状況に基づいて、自動運転のモードから手動運転のモードに切り替えるハンドオーバを実行し、前記ハンドオーバの発生可能性を予測し、認識された前記外界状況に基づいて、前記ハンドオーバの発生可能性が高いと予測された場合に、車両乗員に対してハンドオーバへの準備を促す情報を出力するように、情報を出力する出力部を制御し、手動運転が実行される場合に運転操作を行う車両乗員の車内における状況を取得し、取得した車両乗員状況に基づいて、前記車両乗員の手動運転準備態勢が整っているか否かを判定し、前記車両乗員の車内における状況は、少なくとも乗員の姿勢状態、乗員の目視状況、乗員の姿勢を固定する固定部の使用状況の3つを含み、複数の前記車両乗員の車内における状況ごとに取得した状況に基づいて、複数の前記車両乗員の車内における状況ごとに得られた運転準備態勢の整い方の度合についてレベル値を総合し、前記総合されたレベル値を用いて前記車両乗員の手動運転準備態勢が整っているかを判定し、前記車両乗員の手動運転準備態勢が整っているか否かに基づいて、前記出力部により出力される前記ハンドオーバへの準備を促す情報の出力程度を変更し、運転準備態勢が整っていると判定した場合に、現在の態勢を維持する情報を出力する処理を実行させるための車両制御プログラムである。
請求項1、5、および6に記載の発明によれば、外界状況に応じて自動運転から手動運転へのハンドオーバが発生する可能性が高い場合には、ハンドオーバの発生前のタイミングでハンドオーバへの準備を促す情報を出力することができる。これにより、自動運転から手動運転へのハンドオーバが行われるタイミングで車両乗員が手動運転の準備ができているようにすることができる。
請求項2に記載の発明によれば、自動運転が実行されている状態において先の走行経路において自動運転から手動運転へのハンドオーバの発生する可能性の高い地点を予測したことに応じて、ハンドオーバの発生する可能性の高い地点に車両が到達するよりも前のタイミングで、ハンドオーバへの準備を促す情報を出力することができる。これにより、自動運転から手動運転へのハンドオーバに対する準備を促す情報を適切なタイミングで出力することが可能になる。
請求項3に記載の発明によれば、ハンドオーバの発生する可能性が高いと判定されたタイミングでの車両乗員の状況に応じて、ハンドオーバへの準備を促す情報を出力する、あるいは出力しないようにすることができる。これにより、ハンドオーバの発生する可能性が高い状況であっても、乗車乗員がハンドオーバへの準備を促す必要のないような状況である場合には、無駄にハンドオーバへの準備を促す情報を出力させないようにすることができる。
請求項4に記載の発明によれば、ハンドオーバの発生する可能性が高いと判定されたタイミングでの車両乗員の状況に応じて、ハンドオーバへの準備を促す情報の出力の態様を異ならせることができる。これにより、例えば車両乗員が手動運転に対してどの程度準備できているのかに応じて、ハンドオーバへの準備を促す情報について適切な内容を出力することができる。
実施形態の車両制御システム100が搭載される車両の構成要素を示す図である。 本実施形態に係る車両制御システム100を中心とした機能構成図である。 HMI70の構成図である。 自車位置認識部140により走行車線L1に対する自車両Mの相対位置が認識される様子を示す図である。 ある区間について生成された行動計画の一例を示す図である。 軌道生成部146の構成の一例を示す図である。 軌道候補生成部146Bにより生成される軌道の候補の一例を示す図である。 軌道候補生成部146Bにより生成される軌道の候補を軌道点Kで表現した図である。 車線変更ターゲット位置TAを示す図である。 3台の周辺車両の速度を一定と仮定した場合の速度生成モデルを示す図である。 第1実施形態に係る車両制御システム100がハンドオーバ準備通知の出力に関連して実行する処理手順例を示すフローチャートである。 第1実施形態に係る車両制御システム100が実行する外界状況認識処理についての処理手順例を示すフローチャートである。 第2実施形態に係る車両制御システム100を中心とした機能構成図である。 第2実施形態に係る車両乗員状況取得部171が取得する車両乗員状況の具体例を説明する図である。 第2実施形態に係る車両制御システム100がハンドオーバ準備通知の出力に関連して実行する処理手順例を示すフローチャートである。 第3実施形態に係る車両制御システム100がハンドオーバ準備通知の出力に関連して実行する処理手順例を示すフローチャートである。
以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。
<共通構成>
図1は、実施形態の車両制御システム100が搭載される車両(以下、自車両Mと称する)の構成要素を示す図である。車両制御システム100が搭載される車両は、例えば、二輪や三輪、四輪等の自動車であり、ディーゼルエンジンやガソリンエンジン等の内燃機関を動力源とした自動車や、電動機を動力源とした電気自動車、内燃機関および電動機を兼ね備えたハイブリッド自動車等を含む。電気自動車は、例えば、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池等の電池により放電される電力を使用して駆動される。
図1に示すように、自車両Mには、ファインダ20−1から20−7、レーダ30−1から30−6、およびカメラ40等のセンサと、ナビゲーション装置(表示部)50と、車両制御システム100とが搭載される。
ファインダ20−1から20−7は、例えば、照射光に対する散乱光を測定し、対象までの距離を測定するLIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)である。例えば、ファインダ20−1は、フロントグリル等に取り付けられ、ファインダ20−2および20−3は、車体の側面やドアミラー、前照灯内部、側方灯付近等に取り付けられる。ファインダ20−4は、トランクリッド等に取り付けられ、ファインダ20−5および20−6は、車体の側面や尾灯内部等に取り付けられる。上述したファインダ20−1から20−6は、例えば、水平方向に関して150度程度の検出領域を有している。また、ファインダ20−7は、ルーフ等に取り付けられる。ファインダ20−7は、例えば、水平方向に関して360度の検出領域を有している。
レーダ30−1および30−4は、例えば、奥行き方向の検出領域が他のレーダよりも広い長距離ミリ波レーダである。また、レーダ30−2、30−3、30−5、30−6は、レーダ30−1および30−4よりも奥行き方向の検出領域が狭い中距離ミリ波レーダである。
以下、ファインダ20−1から20−7を特段区別しない場合は、単に「ファインダ20」と記載し、レーダ30−1から30−6を特段区別しない場合は、単に「レーダ30」と記載する。レーダ30は、例えば、FM−CW(Frequency Modulated Continuous Wave)方式によって物体を検出する。
カメラ40は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の個体撮像素子を利用したデジタルカメラである。カメラ40は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ40は、例えば、周期的に繰り返し自車両Mの前方を撮像する。カメラ40は、複数のカメラを含むステレオカメラであってもよい。
なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
図2は、本実施形態に係る車両制御システム100を中心とした機能構成図である。自車両Mには、ファインダ20、レーダ30、およびカメラ40等を含む検知デバイスDDと、ナビゲーション装置50と、通信装置55と、車両センサ60と、HMI(Human Machine Interface)70と、車両制御システム100と、走行駆動力出力装置200と、ステアリング装置210と、ブレーキ装置220とが搭載される。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、請求の範囲における車両制御システムは、「車両制御システム100」のみを指しているのではなく、車両制御システム100以外の構成(検知部DDやHMI70等)を含んでもよい。
ナビゲーション装置50は、GNSS(Global Navigation Satellite System)受信機や地図情報(ナビ地図)、ユーザインターフェースとして機能するタッチパネル式表示装置、スピーカ、マイク等を有する。ナビゲーション装置50は、GNSS受信機によって自車両Mの位置を特定し、その位置からユーザによって指定された目的地までの経路を導出する。ナビゲーション装置50により導出された経路は、車両制御システム100の目標車線決定部110に提供される。自車両Mの位置は、車両センサ60の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。また、ナビゲーション装置50は、目的地に至る経路について音声やナビ表示によって案内を行う。なお、自車両Mの位置を特定するための構成は、ナビゲーション装置50とは独立して設けられてもよい。また、ナビゲーション装置50は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。この場合、端末装置と車両制御システム100との間で、無線または有線による通信によって情報の送受信が行われる。
通信装置55は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用した無線通信を行う。
車両センサ60は、車速を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。
図3は、HMI70の構成図である。HMI70は、例えば、運転操作系の構成と、非運転操作系の構成とを備える。これらの境界は明確なものではなく、運転操作系の構成が非運転操作系の機能を備える(或いはその逆)ことがあってもよい。また、これらの運転操作系は、自車両Mの車両乗員の操作を受け付ける操作受付部の一例である。
HMI70は、運転操作系の構成として、例えばアクセルペダル71、アクセル開度センサ72およびアクセルペダル反力出力装置73と、ブレーキペダル74およびブレーキ踏量センサ(或いはマスター圧センサ等)75と、シフトレバー76およびシフト位置センサ77と、ステアリングホイール78、ステアリング操舵角センサ79およびステアリングトルクセンサ80と、その他運転操作デバイス81とを含む。
アクセルペダル71は、車両乗員による加速指示(或いは戻し操作による減速指示)を受け付けるための操作子である。アクセル開度センサ72は、アクセルペダル71の踏み込み量を検出し、踏み込み量を示すアクセル開度信号を車両制御システム100に出力する。なお、車両制御システム100に出力するのに代えて、走行駆動力出力装置200、ステアリング装置210、またはブレーキ装置220に直接出力することがあってもよい。以下に説明する他の運転操作系の構成についても同様である。アクセルペダル反力出力装置73は、例えば車両制御システム100からの指示に応じて、アクセルペダル71に対して操作方向と反対向きの力(操作反力)を出力する。
ブレーキペダル74は、車両乗員による減速指示を受け付けるための操作子である。ブレーキ踏量センサ75は、ブレーキペダル74の踏み込み量(或いは踏み込み力)を検出し、検出結果を示すブレーキ信号を車両制御システム100に出力する。
シフトレバー76は、車両乗員によるシフト段の変更指示を受け付けるための操作子である。シフト位置センサ77は、車両乗員により指示されたシフト段を検出し、検出結果を示すシフト位置信号を車両制御システム100に出力する。
ステアリングホイール78は、車両乗員による旋回指示を受け付けるための操作子である。ステアリング操舵角センサ79は、ステアリングホイール78の操作角を検出し、検出結果を示すステアリング操舵角信号を車両制御システム100に出力する。ステアリングトルクセンサ80は、ステアリングホイール78に加えられたトルクを検出し、検出結果を示すステアリングトルク信号を車両制御システム100に出力する。なお、ステアリングホイール78に関する制御として、例えば反力モータ等によりステアリング軸にトルクを出力することで、ステアリングホイール78に対して操作反力を出力してもよい。
その他運転操作デバイス81は、例えば、ジョイスティック、ボタン、ダイヤルスイッチ、GUI(Graphical User Interface)スイッチ等である。その他運転操作デバイス81は、加速指示、減速指示、旋回指示等を受け付け、車両制御システム100に出力する。
HMI70は、非運転操作系の構成として、例えば、表示装置(表示部)82、スピーカ83、接触操作検出装置84およびコンテンツ再生装置85と、各種操作スイッチ86と、シート88およびシート駆動装置89と、ウインドウガラス90およびウインドウ駆動装置91と、車室内カメラ95とを含む。
表示装置82は、例えば、インストルメントパネルの各部、助手席や後部座席に対向する任意の箇所等に取り付けられる、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)表示装置等である。また、表示装置82は、フロントウインドシールドやその他のウインドウに画像を投影するHUD(Head Up Display)であってもよい。スピーカ83は、音声を出力する。接触操作検出装置84は、表示装置82がタッチパネルである場合に、表示装置82の表示画面における接触位置(タッチ位置)を検出して、車両制御システム100に出力する。なお、表示装置82がタッチパネルでない場合、接触操作検出装置84は省略されてよい。
コンテンツ再生装置85は、例えば、DVD(Digital Versatile Disc)再生装置、CD(Compact Disc)再生装置、テレビジョン受信機、各種案内画像の生成装置等を含む。表示装置82、スピーカ83、接触操作検出装置84およびコンテンツ再生装置85は、一部または全部がナビゲーション装置50と共通する構成であってもよい。
各種操作スイッチ86は、車室内の任意の箇所に配置される。各種操作スイッチ86には、自動運転の開始(或いは将来の開始)および停止を指示する自動運転切替スイッチ87を含む。自動運転切替スイッチ87は、GUI(Graphical User Interface)スイッチ、機械式スイッチの何れであってもよい。また、各種操作スイッチ86は、シート駆動装置89やウインドウ駆動装置91を駆動するためのスイッチを含んでもよい。
シート88は、車両乗員が着座する座席シートである。シート駆動装置89は、シート88のリクライニング角度、前後方向位置、ヨー角等を自在に駆動する。ウインドウガラス90は、例えば各ドアに設けられる。ウインドウ駆動装置91は、ウインドウガラス90を開閉駆動する。
車室内カメラ95は、CCDやCMOS等の個体撮像素子を利用したデジタルカメラである。車室内カメラ95は、バックミラーやステアリングボス部、インストルメントパネル等、運転操作を行う車両乗員の少なくとも頭部を撮像可能な位置に取り付けられる。カメラ40は、例えば、周期的に繰り返し車両乗員を撮像する。
車両制御システム100の説明に先立って、走行駆動力出力装置200、ステアリング装置210、およびブレーキ装置220について説明する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、自車両Mが内燃機関を動力源とした自動車である場合、エンジン、変速機、およびエンジンを制御するエンジンECU(Electronic Control Unit)を備え、自車両Mが電動機を動力源とした電気自動車である場合、走行用モータおよび走行用モータを制御するモータECUを備え、自車両Mがハイブリッド自動車である場合、エンジン、変速機、およびエンジンECUと走行用モータおよびモータECUとを備える。走行駆動力出力装置200がエンジンのみを含む場合、エンジンECUは、後述する走行制御部160から入力される情報に従って、エンジンのスロットル開度やシフト段等を調整する。走行駆動力出力装置200が走行用モータのみを含む場合、モータECUは、走行制御部160から入力される情報に従って、走行用モータに与えるPWM信号のデューティ比を調整する。走行駆動力出力装置200がエンジンおよび走行用モータを含む場合、エンジンECUおよびモータECUは、走行制御部160から入力される情報に従って、互いに協調して走行駆動力を制御する。
ステアリング装置210は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、車両制御システム100から入力される情報、或いは入力されるステアリング操舵角またはステアリングトルクの情報に従って電動モータを駆動し、転舵輪の向きを変更させる。
ブレーキ装置220は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、制動制御部とを備える電動サーボブレーキ装置である。電動サーボブレーキ装置の制動制御部は、走行制御部160から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。電動サーボブレーキ装置は、ブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置220は、上記説明した電動サーボブレーキ装置に限らず、電子制御式油圧ブレーキ装置であってもよい。電子制御式油圧ブレーキ装置は、走行制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する。また、ブレーキ装置220は、走行駆動力出力装置200に含まれ得る走行用モータによる回生ブレーキを含んでもよい。
[車両制御システム]
以下、車両制御システム100について説明する。車両制御システム100は、例えば、一以上のプロセッサまたは同等の機能を有するハードウェアにより実現される。車両制御システム100は、CPU(Central Processing Unit)等のプロセッサ、記憶装置、および通信インターフェースが内部バスによって接続されたECU(Electronic Control Unit)、或いはMPU(Micro-Processing Unit)等が組み合わされた構成であってよい。
図2に戻り、車両制御システム100は、例えば、目標車線決定部110と、自動運転制御部120と、走行制御部160と、HMI制御部170と、記憶部180とを備える。自動運転制御部120は、例えば、自動運転モード制御部130と、自車位置認識部140と、外界認識部142と、行動計画生成部144と、軌道生成部146と、切替制御部150とを備える。目標車線決定部110、自動運転制御部120の各部、走行制御部160、およびHMI制御部170のうち一部または全部は、プロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらのうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。
記憶部180には、例えば、高精度地図情報182、目標車線情報184、行動計画情報186等の情報が格納される。記憶部180は、ROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等で実現される。プロセッサが実行するプログラムは、予め記憶部180に格納されていてもよいし、車載インターネット設備等を介して外部装置からダウンロードされてもよい。また、プログラムは、そのプログラムを格納した可搬型記憶媒体が図示しないドライブ装置に装着されることで記憶部180にインストールされてもよい。また、車両制御システム100は、複数のコンピュータ装置によって分散化されたものであってもよい。
目標車線決定部110は、例えば、MPUにより実現される。目標車線決定部110は、ナビゲーション装置50から提供された経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、高精度地図情報182を参照してブロックごとに目標車線を決定する。目標車線決定部110は、例えば、左から何番目の車線を走行するといった決定を行う。目標車線決定部110は、例えば、経路において分岐箇所や合流箇所等が存在する場合、自車両Mが、分岐先に進行するための合理的な走行経路を走行できるように、目標車線を決定する。目標車線決定部110により決定された目標車線は、目標車線情報184として記憶部180に記憶される。
高精度地図情報182は、ナビゲーション装置50が有するナビ地図よりも高精度な地図情報である。高精度地図情報182は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、高精度地図情報182には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。交通規制情報には、工事や交通事故、渋滞等によって車線が封鎖されているといった情報が含まれる。
自動運転制御部120は、目的地までの経路に沿って自車両Mが走行するように、自車両Mの加減速および操舵のうち少なくとも一方を自動的に制御する。
自動運転モード制御部130は、自動運転制御部120が実施する自動運転のモードを決定する。本実施形態における自動運転のモードには、以下のモードが含まれる。なお、以下はあくまで一例であり、自動運転のモード数は任意に決定されてよい。
[第1モード]
第1モードは、他のモードと比べて最も自動運転の度合が高いモードである。第1モードが実施されている場合、複雑な合流制御等、全ての車両制御が自動的に行われるため、車両乗員は自車両Mの周辺や状態を監視する必要がない。
[第2モード]
第2モードは、第1モードの次に自動運転の度合が高いモードである。第2モードが実施されている場合、原則として全ての車両制御が自動的に行われるが、場面に応じて自車両Mの運転操作が車両乗員に委ねられる。このため、車両乗員は、車両Mの周辺や状態を監視している必要がある。
[第3モード]
第3モードは、第2モードの次に自動運転の度合が高いモードである。第3モードが実施されている場合、車両乗員は、場面に応じた確認操作をHMI70に対して行う必要がある。第3モードでは、例えば、車線変更のタイミングが車両乗員に通知され、車両乗員がHMI70に対して車線変更を指示する操作を行った場合に、自動的な車線変更が行われる。このため、車両乗員は自車両Mの周辺や状態を監視している必要がある。
自動運転モード制御部130は、HMI70に対する車両乗員の操作、行動計画生成部144により決定されたイベント、軌道生成部146により決定された走行態様等に基づいて、自動運転のモードを決定する。自動運転のモードは、HMI制御部170に通知される。また、自動運転のモードには、自車両Mの検知デバイスDDの性能等に応じた限界が設定されてもよい。例えば、検知デバイスDDの性能が低い場合には、第1モードは実施されないものとしてよい。いずれのモードにおいても、HMI70における運転操作系の構成に対する操作によって、手動運転モードに切り替えること(オーバーライド)は可能である。
自動運転制御部120の自車位置認識部140は、記憶部180に格納された高精度地図情報182と、ファインダ20、レーダ30、カメラ40、ナビゲーション装置50、または車両センサ60から入力される情報とに基づいて、自車両Mが走行している車線(走行車線)、および、走行車線に対する自車両Mの相対位置を認識する。
自車位置認識部140は、例えば、高精度地図情報182から認識される道路区画線のパターン(例えば実線と破線の配列)と、カメラ40によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。
図4は、自車位置認識部140により走行車線L1に対する自車両Mの相対位置が認識される様子を示す図である。自車位置認識部140は、例えば、自車両Mの基準点(例えば重心)の走行車線中央CLからの乖離OS、および自車両Mの進行方向の走行車線中央CLを連ねた線に対してなす角度θを、走行車線L1に対する自車両Mの相対位置として認識する。なお、これに代えて、自車位置認識部140は、自車線L1の何れかの側端部に対する自車両Mの基準点の位置等を、走行車線に対する自車両Mの相対位置として認識してもよい。自車位置認識部140により認識される自車両Mの相対位置は、行動計画生成部144に提供される。
外界認識部142は、ファインダ20、レーダ30、カメラ40等から入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識する。周辺車両とは、例えば、自車両Mの周辺を走行する車両であって、自車両Mと同じ方向に走行する車両である。周辺車両の位置は、他車両の重心やコーナー等の代表点で表されてもよいし、他車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、上記各種機器の情報に基づいて把握される、周辺車両の加速度、車線変更をしているか否か(あるいは車線変更をしようとしているか否か)を含んでもよい。また、外界認識部142は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者その他の物体の位置を認識してもよい。
行動計画生成部144は、自動運転のスタート地点、および/または自動運転の目的地を設定する。自動運転のスタート地点は、自車両Mの現在位置であってもよいし、自動運転を指示する操作がなされた地点でもよい。行動計画生成部144は、そのスタート地点と自動運転の目的地との間の区間において、行動計画を生成する。なお、これに限らず、行動計画生成部144は、任意の区間について行動計画を生成してもよい。
行動計画は、例えば、順次実行される複数のイベントで構成される。イベントには、例えば、自車両Mを減速させる減速イベントや、自車両Mを加速させる加速イベント、走行車線を逸脱しないように自車両Mを走行させるレーンキープイベント、走行車線を変更させる車線変更イベント、自車両Mに前走車両を追い越させる追い越しイベント、分岐ポイントにおいて所望の車線に変更させたり、現在の走行車線を逸脱しないように自車両Mを走行させたりする分岐イベント、本線に合流するための合流車線において自車両Mを加減速させ、走行車線を変更させる合流イベント、ハンドオーバイベント等が含まれる。
ここで、本実施形態におけるハンドオーバとしては、予定ハンドオーバ、状況対応ハンドオーバおよびオーバーライド対応ハンドオーバを含む。
予定ハンドオーバは、予定された自動運転の終了予定地点で自動運転モードから手動運転モードに移行させるハンドオーバである。
状況対応ハンドオーバは、自動運転モードにおいて、天候、道路等の外界状況が自動運転に適切でない状況となることに応じて手動運転モードに移行させるハンドオーバである。つまり状況対応ハンドオーバは、外界状況に基づいて、自動運転モードから手動運転モードに切り替えるハンドオーバの一例である。状況対応ハンドオーバを行うべきか否かの判定に用いられる外界状況は、外界認識部142によって認識される。
オーバーライド対応ハンドオーバは、自動運転を実行しているときに、運転意思のある操作が車両乗員によって行われたことに応じて手動運転モードに移行させるハンドオーバである。
行動計画生成部144は、目標車線決定部110により決定された目標車線が切り替わる箇所において、車線変更イベント、分岐イベント、または合流イベントを設定する。行動計画生成部144によって生成された行動計画を示す情報は、行動計画情報186として記憶部180に格納される。
図5は、ある区間について生成された行動計画の一例を示す図である。図示するように、行動計画生成部144は、目標車線情報184が示す目標車線上を自車両Mが走行するために必要な行動計画を生成する。なお、行動計画生成部144は、自車両Mの状況変化に応じて、目標車線情報184に拘わらず、動的に行動計画を変更してもよい。例えば、行動計画生成部144は、車両走行中に外界認識部142によって認識された周辺車両の速度が閾値を超えたり、自車線に隣接する車線を走行する周辺車両の移動方向が自車線方向に向いたりした場合に、自車両Mが走行予定の運転区間に設定されたイベントを変更する。例えば、レーンキープイベントの後に車線変更イベントが実行されるようにイベントが設定されている場合において、外界認識部142の認識結果によって当該レーンキープイベント中に車線変更先の車線後方から車両が閾値以上の速度で進行してきたことが判明した場合、行動計画生成部144は、レーンキープイベントの次のイベントを、車線変更イベントから減速イベントやレーンキープイベント等に変更してよい。この結果、車両制御システム100は、外界の状態に変化が生じた場合においても、安全に自車両Mを自動走行させることができる。
図6は、軌道生成部146の構成の一例を示す図である。軌道生成部146は、例えば、走行態様決定部146Aと、軌道候補生成部146Bと、評価・選択部146Cとを備える。
走行態様決定部146Aは、例えば、レーンキープイベントを実施する際に、定速走行、追従走行、低速追従走行、減速走行、カーブ走行、障害物回避走行等のうち何れかの走行態様を決定する。例えば、走行態様決定部146Aは、自車両Mの前方に他車両が存在しない場合に、走行態様を定速走行に決定する。また、走行態様決定部146Aは、前走車両に対して追従走行するような場合に、走行態様を追従走行に決定する。また、走行態様決定部146Aは、渋滞場面等において、走行態様を低速追従走行に決定する。また、走行態様決定部146Aは、外界認識部142により前走車両の減速が認識された場合や、停車や駐車等のイベントを実施する場合に、走行態様を減速走行に決定する。また、走行態様決定部146Aは、外界認識部142により自車両Mがカーブ路に差し掛かったことが認識された場合に、走行態様をカーブ走行に決定する。また、走行態様決定部146Aは、外界認識部142により自車両Mの前方に障害物が認識された場合に、走行態様を障害物回避走行に決定する。また、走行態様決定部146Aは、車線変更イベント、追い越しイベント、分岐イベント、合流イベント、ハンドオーバイベントなどを実施する場合に、それぞれのイベントに応じた走行態様を決定する。
軌道候補生成部146Bは、走行態様決定部146Aにより決定された走行態様に基づいて、軌道の候補を生成する。図7は、軌道候補生成部146Bにより生成される軌道の候補の一例を示す図である。図7は、自車両Mが車線L1から車線L2に車線変更する場合に生成される軌道の候補を示している。
軌道候補生成部146Bは、図7に示すような軌道を、例えば、将来の所定時間ごとに、自車両Mの基準位置(例えば重心や後輪軸中心)が到達すべき目標位置(軌道点K)の集まりとして決定する。図8は、軌道候補生成部146Bにより生成される軌道の候補を軌道点Kで表現した図である。軌道点Kの間隔が広いほど、自車両Mの速度は速くなり、軌道点Kの間隔が狭いほど、自車両Mの速度は遅くなる。従って、軌道候補生成部146Bは、加速したい場合には軌道点Kの間隔を徐々に広くし、減速したい場合は軌道点の間隔を徐々に狭くする。
このように、軌道点Kは速度成分を含むものであるため、軌道候補生成部146Bは、軌道点Kのそれぞれに対して目標速度を与える必要がある。目標速度は、走行態様決定部146Aにより決定された走行態様に応じて決定される。
ここで、車線変更(分岐を含む)を行う場合の目標速度の決定手法について説明する。軌道候補生成部146Bは、まず、車線変更ターゲット位置(或いは合流ターゲット位置)を設定する。車線変更ターゲット位置は、周辺車両との相対位置として設定されるものであり、「どの周辺車両の間に車線変更するか」を決定するものである。軌道候補生成部146Bは、車線変更ターゲット位置を基準として3台の周辺車両に着目し、車線変更を行う場合の目標速度を決定する。
図9は、車線変更ターゲット位置TAを示す図である。図中、L1は自車線を表し、L2は隣接車線を表している。ここで、自車両Mと同じ車線で、自車両Mの直前を走行する周辺車両を前走車両mA、車線変更ターゲット位置TAの直前を走行する周辺車両を前方基準車両mB、車線変更ターゲット位置TAの直後を走行する周辺車両を後方基準車両mCと定義する。自車両Mは、車線変更ターゲット位置TAの側方まで移動するために加減速を行う必要があるが、この際に前走車両mAに追いついてしまうことを回避しなければならない。このため、軌道候補生成部146Bは、3台の周辺車両の将来の状態を予測し、各周辺車両と干渉しないように目標速度を決定する。
図10は、3台の周辺車両の速度を一定と仮定した場合の速度生成モデルを示す図である。図中、mA、mBおよびmCから延出する直線は、それぞれの周辺車両が定速走行したと仮定した場合の進行方向における変位を示している。自車両Mは、車線変更が完了するポイントCPにおいて、前方基準車両mBと後方基準車両mCとの間にあり、且つ、それ以前において前走車両mAよりも後ろにいなければならない。このような制約の下、軌道候補生成部146Bは、車線変更が完了するまでの目標速度の時系列パターンを、複数導出する。そして、目標速度の時系列パターンをスプライン曲線等のモデルに適用することで、上述した図8に示すような軌道の候補を複数導出する。なお、3台の周辺車両の運動パターンは、図10に示すような定速度に限らず、定加速度、定ジャーク(躍度)を前提として予測されてもよい。
評価・選択部146Cは、軌道候補生成部146Bにより生成された軌道の候補に対して、例えば、計画性と安全性の二つの観点で評価を行い、走行制御部160に出力する軌道を選択する。計画性の観点からは、例えば、既に生成されたプラン(例えば行動計画)に対する追従性が高く、軌道の全長が短い場合に軌道が高く評価される。例えば、右方向に車線変更することが望まれる場合に、一旦左方向に車線変更して戻るといった軌道は、低い評価となる。安全性の観点からは、例えば、それぞれの軌道点において、自車両Mと物体(周辺車両等)との距離が遠く、加減速度や操舵角の変化量等が小さいほど高く評価される。
切替制御部150は、自動運転切替スイッチ87から入力される信号に基づいて自動運転モードと手動運転モードとを相互に切り替える。また、切替制御部150は、車両乗員からの操作に基づいて自動運転モードから手動運転モードに切り替えるオーバーライドを行う。
<第1実施形態>
前述のように、本実施形態においては、ハンドオーバの1つとして状況対応ハンドオーバが行われる。状況対応ハンドオーバは、自動運転が行われている状態のもとで、外界状況が自動運転の継続に適さない地点となることに応じて、自動運転モードから手動運転モードに移行させるハンドオーバである。
上記のように状況対応ハンドオーバは、事前に予定されるようなものでなく外界の状況に応じて行われるものである。このため、車両乗員にとっては、予期せずして状況対応ハンドオーバによる自動運転モードから手動運転モードに切り替わるようなことが起こる可能性がある。この場合、例えば手動運転モードに切り替わる際に、ユーザが手動運転モードに対応して即座に運転ができるような状態ではない場合がある。
そこで、本実施形態の車両制御システム100は、以下に説明する構成により、走行先の地点での状況対応ハンドオーバの発生可能性を予測し、状況対応ハンドオーバが発生すると予測した場合には、事前にハンドオーバ準備通知(ハンドオーバへの準備を促す情報の一例)を乗車乗員に出力するように構成される。ハンドオーバ準備通知は、先の地点で状況対応ハンドオーバによる手動運転モードへの切り替えが発生する可能性が高いことから、状況対応ハンドオーバの発生に備えて、今から手動運転が十分に可能な体勢をとってもらうことを促す通知である。ハンドオーバ準備通知は、例えば音声によって行われる。さらにハンドオーバ準備通知は、表示も併用されてよい。
上記のようなハンドオーバ準備通知のため、本実施形態における自動運転制御部120は、ハンドオーバ予測部155を備える。ハンドオーバ予測部155は、ハンドオーバの発生可能性を予測する。本実施形態おいて、ハンドオーバ予測部155は、外界認識部142により認識された外界状況の変化に基づいてハンドオーバの発生可能性を予測する。
図11のフローチャートは、本実施形態の車両制御システム100がハンドオーバ準備通知の出力に関連して実行する処理手順例を示している。同図の処理は、自動運転モードによる自動運転の実行中において、一定時間ごとに繰り返し実行される。
外界認識部142は、状況対応ハンドオーバの発生予測に対応する外界状況認識処理を実行する(ステップS100)。
図12のフローチャートは、図11のステップS100としての外界状況認識処理の処理手順例を示している。
外界認識部142は、外界状況の1つとして、天候状況を認識する(ステップS200)。具体的に、外界認識部142は、通信装置55経由で受信される天気予報の情報を利用して、現在位置に対応する天気を推定することができる。また、外界認識部142は、例えば検知デバイスDDが降雨センサを含む場合には、降雨センサの検知出力に基づいて降雨状況を認識することができる。降雨センサは、例えば自車両Mに対して雨滴の検知が可能なように設けられるセンサである。また、外界認識部142は、検知デバイスDDに含まれる湿度計や、外気の温度を測定する温度計などの計測値に基づいて現在位置に対応する天気を推定することができる。
また、外界認識部142は、外界状況の1つとして路面状況を認識する(ステップS202)。外界認識部142は、路面状況として自車両Mが走行する道路の路面における凹凸の度合いなどを認識する。外界認識部142は、例えば車両センサ60が備える加速度センサが出力する信号から路面の凹凸状態に応じた成分を抽出し、抽出された信号の成分を解析することによって路面状況を認識することができる。
また、外界認識部142は、外界状況の1つとして道路形状を認識する(ステップS204)。外界認識部142は、道路形状として、自車両Mが走行する道路の曲率を認識する。外界認識部142は、例えば高精度地図情報182を利用することで自車両Mが走行する道路の曲率を認識することができる。また、外界認識部142は、道路形状として、例えば道路の勾配についても認識してもよい。
また、外界認識部142は、外界状況の1つとして、渋滞状況を認識する(ステップS206)。外界認識部142は、例えば現在実行中の自動運転のもとで予定されている走行経路における渋滞状況を認識する。外界認識部142は、例えば通信装置55を経由して受信した交通情報を利用して渋滞状況を認識できる。
また、外界認識部142は、外界状況の1つとして、検知デバイスDDを用いた自動運転に関する検知状況の良否について認識する(ステップS208)。ここでの検知状況の良否とは、例えば検知デバイスDDについて、自動運転に対応して正常に検知結果が得られているか否かを示す。
例えば、雨が強かったり、雪が積もっていたりする場合には、検知デバイスDDが備えるカメラ40の撮像画像に基づく車線の検知が行えないような状態となる。即ち、外界認識部142は、検知状況の良否の1つとして、車線が正常に検知されているか否かについて認識することができる。
また、外界認識部142は、検知デバイスの故障などにより正常な検知が行えない状況についても検知状況の良否として認識してよい。
なお、同図においては、天候状況、路面状況、道路形状、渋滞状況および検知状況良否の順で外界状況の認識を行っているが、これらの外界状況の認識順については特に限定されない。また、外界認識部142は、これらの外界状況について同時に並行して認識するようにしてもよい。
説明を図11に戻す。ハンドオーバ予測部155は、ステップS100による外界状況の認識結果に基づいて、走行経路における先の地点において状況対応ハンドオーバが発生する高さ(状況対応ハンドオーバ発生度)を算出する(ステップS102)。
ハンドオーバ予測部155による状況対応ハンドオーバ発生度の算出手法については特に限定されない。
一例として、ハンドオーバ予測部155例えば図12のステップS200〜S208のそれぞれにより認識された外界状況に応じて重み付け値を設定する。例えば、外界状況として認識された天候状況が晴れであれば、重み付け値は低い。これに対して、認識された天候状況が雨や雪などであれば天候状況に対応する重み付け値は高くなり、さらに認識された降雨量や積雪量が多くなるにつれて、天候状況に対応する重み付け値は高くなる。
また、例えば、外界状況として認識された路面状況としての凹凸の度合いを示す値が大きいほど路面状況に対応する重み付け値は高くなる。
また、例えば外界状況として認識された道路形状として、これより先の走行経路における道路の曲率が小さく、また、カーブの数が多くなるほど、道路状況に対応する重み付け値は高くなる。
また、例えば外界状況として認識された渋滞状況として、これより先の走行経路における渋滞の度合いが高く、また、渋滞している距離が長いほど、渋滞状況に対応する重み付け値は高くなる。
また、外界状況として認識された検知状況として、例えば車線などをはじめとする検知対象について正常に検知できない状態が発生する頻度が高くなるほど、検知状況に対応する重み付け値は高くなる。
ハンドオーバ予測部155は、各外界状況に設定された基準値に重み付け値を係数とする乗算を行って各外界状況の点数を算出する。各外界状況については、点数が高いほど、自動運転には適していない状況であることが示される。
ハンドオーバ予測部155は、例えば各外界状況について算出された点数を合計した総合点数を算出する。総合点数が高いほど、自動運転には適していない外界状況であることが示される。ハンドオーバ予測部155は、このように算出された総合点数を状況対応ハンドオーバ発生度とする。
なお、ハンドオーバ予測部155は、当該ステップS102において状況対応ハンドオーバ発生度を算出するにあたり、状況対応ハンドオーバ発生度に対応する走行経路上の地点も特定する。
ハンドオーバ予測部155は、ステップS102により算出された状況対応ハンドオーバ発生度が一定以上であるか否かについて判定する(ステップS104)。このために、ハンドオーバ予測部155は、状況対応ハンドオーバ発生度を所定の閾値と比較すればよい。
状況対応ハンドオーバ発生度が一定以上である場合、HMI制御部170(インターフェース制御部の一例)は、ハンドオーバ準備通知を行う(ステップS106)。
HMI制御部170は、例えば、HMI70(出力部の一例)におけるスピーカ83からハンドオーバ準備通知としての音声が出力されるように制御する。また、HMI制御部170は、例えば、音声によるハンドオーバ準備通知とともに、HMI70における表示装置82(出力部の一例)やナビゲーション装置50の表示部(出力部の一例)などにおいて、ハンドオーバ準備通知としてのメッセージが文字や画像などにより表示されるようにしてもよい。
また、ハンドオーバ準備通知に際しては、状況対応ハンドオーバが発生する可能性のある地点(ハンドオーバ予測地点)を音声や画像により車両乗員に通知してもよい。音声による場合には、現在位置からハンドオーバ予測地点までの距離を通知すればよい。また、画像による場合には、ナビ地図上にハンドオーバ予測地点を示す表示を行うようにすればよい。
一方、状況対応ハンドオーバ発生度が一定未満である場合、ステップS106がスキップされ、同図の処理が終了される。この場合、ハンドオーバ準備通知は行われない。
<第2実施形態>
続いて、第2実施形態について説明する。上記の第1実施形態のように、状況対応ハンドオーバが発生する可能性が高い状況となったことに応じてハンドオーバ準備通知を出力することで、車両乗員は、ハンドオーバ準備通知を行うべきタイミングにおいて、車両乗員は、状況対応ハンドオーバの発生するまでに手動運転が可能な体勢を整えておくように準備することができる。
しかしながら、ハンドオーバ準備通知が行われる際に、乗車乗員が手動運転を行おうとしており、手動運転が可能な態勢が整っているような状況となる場合も多いと考えられる。このような状況では、例えば車両乗員がハンドオーバ準備通知に煩わしさを覚える可能性もあり、敢えてハンドオーバ準備通知を行う必要もないと考えることができる。
そこで、本実施形態の車両制御システム100は、ハンドオーバ準備通知を行うべきタイミングにおいて、ハンドオーバの発生に応じて手動運転を行うこととなる車両乗員について、手動運転が可能な態勢が整っているか否かについて範囲する。そして、車両制御システム100は、手動運転が可能な態勢が整っていないのであればハンドオーバ準備通知を行い、手動運転が可能な態勢が整っていれば、ハンドオーバ準備通知を行う。
図13は、本実施形態における車両制御システム100の構成例を示している。同図において、図2と同一部分については同一符号を伏して説明を省略する。
本実施形態の車両制御システム100は、HMI制御部170において車両乗員状況取得部171を備える。車両乗員状況取得部171は、手動運転が実行される場合に運転操作を行う車両乗員の車内における状況を取得する。
図14を参照して、車両乗員状況取得部171が取得する車両乗員状況の具体例について説明する。同図は、自車両M内の車両乗員の状態例を示している。
図14(A)、(B)においては、車両乗員が着座するシート300を示している。シート300は、HMI70におけるシート88の一例である。図14の例において、シート300は、座部(シートクッション)302と、背もたれ部(シートバック)304と、ヘッドレスト306と、リクライニング調節部308と、荷重センサ310と、固定部312とを備える。リクライニング調節部308は、座部302と背もたれ部304とが成す角度(リクライニング角度)を調節する機構を有する。リクライニング調節部308は、上述の角度の情報を取得することができる。荷重センサ310は、シート300に対する荷重を測定する。図14(A)、(B)の例では、座部302用の荷重センサ310Aと、背もたれ部304用の荷重センサ310Bと、ヘッドレスト306用の荷重センサ310Cとを備えているが、これに限定されるものではない。各荷重センサ310A〜310Cは、例えば板状のものでもよく、また複数のセンサが等間隔に配列されたものでもよい。
固定部312は、例えば自車両Mが自動運転時等の場合に、車両乗員Pが図14(B)に示すようにあぐら等をかいているような場合に姿勢を固定する。固定部312は、例えば背もたれ部304から引き出されるベルト状のものでもよく、背もたれ部304の側面に設けられた移動可能な部材であってもよい。固定部312は、例えば、図14(B)に示すように、車両乗員Pの脇を固定するものでもよく、腰または股間付近を固定するもの(例えば、突起部材)でもよい。
また、自車両Mは、自車両M内の空間を撮像する車室内カメラ(撮像部)400を備える。上述したリクライニング調節部308と、荷重センサ310と、車室内カメラ400とは、上述したHMI70の一例である。車両乗員状況取得部171は、上述したリクライニング調節部308、荷重センサ310、および車室内カメラ400のうち、少なくとも1つから得られる情報から車両乗員状況を取得する。車両乗員状況取得部171は、取得した車両乗員状況に基づいて、車両乗員は現在において手動運転が可能な態勢(手動運転準備態勢)が整っているか否かについて判定する。
例えば、車両乗員状況取得部171は、リクライニング調節部308から取得したリクライニング角度θを車両乗員状況の1つとして取得し、運転準備態勢が整っているか否かの判定に用いることができる。
即ち、車両乗員状況取得部171は、リクライニング調節部308から取得したリクライニング角度θが所定角度以上である場合(背もたれ部304が所定角度以上傾斜している場合)、手動運転準備態勢が整っていないと判定する。一方、車両乗員状況取得部171は、リクライニング角度θが所定値以下である場合、手動運転準備態勢が整っていると判定する。
図14(A)の例において、リクライニング角度θ1が所定値θsより小さい場合に、車両乗員状況取得部171は、車両乗員Pの手動運転準備態勢が整っていると判定する。一方、図14(B)に示すように、リクライニング角度θ2が、所定値θsより大きい場合、車両乗員状況取得部171は、車両乗員Pの手動運転準備態勢が整っていないと判定する。
また、車両乗員状況取得部171は、荷重センサ310A〜310Cのそれぞれの荷重分布を車両乗員状況の1つとして取得し、運転準備態勢が整っているか否かの判定に用いることができる。なお、以降の説明にあたり、荷重センサ310A〜310Cについて特に区別しない場合には、荷重センサ310と記載する。
例えば、図14(A)に示すように、車両乗員Pがステアリングホイール500を把持できるような状態の場合、荷重センサ310Aの荷重が高く、荷重センサ310B、310Cの荷重は低い。一方、図14(B)に示すように、シート300の背もたれ部304を傾斜させている場合、車両乗員Pによる荷重センサ310B、310Cの荷重が高くなる。したがって、車両乗員状況取得部171は、各荷重センサ310A〜310Cから取得したそれぞれの荷重分布に基づいて車両乗員Pの手動運転準備態勢が整っているか否かについて判定することができる。
例えば、各荷重センサ310A〜310Cによる荷重の差が所定値以下である場合、図14(B)に示すように車両乗員Pが背もたれ部304やヘッドレスト306に寄りかかっているため、車両乗員Pの運転準備態勢は整っていないと判定することができる。また、車両乗員状況取得部171は、図14(A)に示すように、各荷重センサ310A〜310Cの荷重の差が所定値より大きい場合、車両乗員Pがすぐにステアリングホイール500を把持して運転が開始できる状態であるから、運転準備態勢が整っていると判定する。
また、本実施形態では、車両乗員状況取得部171は、上述した車室内カメラ400により車両乗員Pを撮像して得られる撮像画像に基づいて車両乗員状況を取得し、車両乗員Pの運転準備態勢が整っているか否かについての判定に用いることができる。
例えば、車両乗員状況取得部171は、車室内カメラ400の撮像画像に基づいて、車両乗員Pの体や目の動き、顔の輪郭を基準とした輝度または形状等の特徴情報により、目の開閉動作や視線方向などの目視に関する状態(目視状態)を車両乗員状況として取得することができる。車両乗員状況取得部171は、取得した目視状態を車両乗員状況の1つとして取得する。
車両乗員状況取得部171は、取得した目視状態に基づき、車両乗員Pの目が閉じている状態が所定時間以上である場合には、車両乗員Pが眠っているとして、車両乗員Pの運転準備態勢が整っていないと判定する。一方、車両乗員状況取得部171は、取得した目視状態に基づき、視線が自車両Mの外(例えば、自車両の進行方向)を向いている場合や、目が開いている場合には、車両乗員Pの運転準備態勢が整っていると判定する。
また、車両乗員状況取得部171は、車室内カメラ400により撮像された撮像画像に含まれる車両乗員Pの輪郭形状と予め設定された輪郭形状との形状マッチング等により、車両乗員Pの姿勢を推定し、推定結果を車両乗員状況として取得してもよい。車両乗員状況取得部171は、姿勢推定の結果、例えば車両乗員Pがあぐらをかいている、またはステアリングホイール500に寄りかかっている姿勢をとっていると推定した場合、車両乗員Pの運転準備態勢が整っていないと判定することができる。
また、車両乗員状況取得部171は、車室内カメラ400により撮像された画像に基づいて、車両乗員Pにより固定部312が使用されているか否かについて推定した結果を車両乗員状況として取得することができる。車両乗員状況取得部171は、固定部312が使用されていることが推定された場合に、車両乗員Pが眠っている、あるいは休憩している状態であるとして、車両乗員Pの運転準備態勢が整っていないと判定する。
なお、固定部312には、車両乗員Pが固定部312を用いて姿勢を固定したことを検知するセンサを設けてもよい。車両乗員状況取得部171は、上記のセンサにより固定部312が使用されていることを検知した場合に、車両乗員Pの運転準備態勢が整っていないと判定することができる。
本実施形態の車両乗員状況取得部171は、例えば上述のリクライニング角度、荷重センサ310の荷重分布、目視状態、姿勢状態、および固定部312の使用状態の5つの車両乗員状況のうちのいずれか1つを利用して、運転準備態勢が整っているか否かについて判定してもよい。あるいは、車両乗員状況取得部171は、上記の5つの車両乗員状況のうちの複数を総合的に利用して運転準備態勢が整っているか否かについての最終的判定を行うこともできる。一例として、複数の車両乗員状況のうちの全てについて運転準備態勢が整っていると判定された場合には、最終的に運転準備態勢が整っていると判定するが、1つでも車両乗員状況について運転準備態勢が整っていないと判定された場合には、最終的に運転準備態勢が整っていないと判定することができる。
なお、車両乗員状況取得部171は、運転準備態勢の整い方の度合い(高さ、低さ)を数値化した情報(例えば、レベル値)を導出(設定)することができる。例えば、背もたれ部304が、所定値θs以上傾斜しており、且つ、車室内カメラ400からの画像により車両乗員Pが眠っていると推定された場合、レベル値を1と設定し、所定値θs以上傾斜しているか、または、車室内カメラ400からの画像により車両乗員Pが眠っていると推定された場合、レベル値を2と設定する。また、リクライニング角度θが所定値θs未満である場合、運転意思が高いと推定し、レベル値を5と設定する。なお、レベル値の設定内容については、これに限定されるものではない。
上記のように運転準備態勢の整い方の度合いを数値化した場合、車両乗員状況取得部171は、例えば複数の車両乗員状況ごとに得られた運転準備態勢の整い方の度合いについてのレベル値を総合し、総合されたレベル値を閾値と比較することによって、最終的に運転準備態勢が整っているか否かについて判定するようにしてもよい。
図15のフローチャートは、本実施形態の車両制御システム100がハンドオーバ準備通知の出力に関連して実行する処理手順例を示している。同図の処理は、自動運転モードによる自動運転の実行中において、一定時間ごとに繰り返し実行される。
同図におけるステップS300〜S304の処理は、図11におけるステップS100〜S104と同様となることから、ここでの説明を省略する。
ステップS304により状況対応ハンドオーバの発生度が一定以上であると判定された場合、車両乗員状況取得部171は、車両乗員状況を取得する(ステップS306)。ステップS306において、車両乗員状況取得部171は、例えば、上述のリクライニング角度、荷重センサ310の荷重分布、目視状態、姿勢状態、および固定部312の使用状態の5つの車両乗員状況のうちから、運転準備態勢についての判定に利用するものを取得する。
車両乗員状況取得部171は、ステップS306により取得した車両乗員状況を利用して、車両乗員の手動運転準備態勢が整っているか否かについて判定する(ステップS308)。
手動運転準備態勢が整っていないと判定された場合、HMI制御部170は、ハンドオーバ準備通知を行う(ステップS310)。
一方、手動運転準備態勢が整っていると判定された場合、同図に示す処理が終了される。このように、手動運転準備態勢が整っていると判定された場合、ステップS310の処理がスキップされることから、ハンドオーバ準備通知は行われない。
このように、本実施形態におけるHMI制御部170は、車両乗員状況取得部171により取得された車両乗員状況に基づいて、ハンドオーバ準備通知の出力可否を決定する。
<第3実施形態>
続いて、第3実施形態について説明する。先の第2実施形態においは、運転準備態勢が整っていると判定された場合には、ハンドオーバ準備通知は行われないようにされていた。
これに対して、本実施形態においては、運転準備態勢が整っていると判定された場合にもハンドオーバ準備通知が行われる。そのうえで、本実施形態においては、運転準備態勢が整っていないと判定された場合には、運転準備態勢を整えてもらうことを強く促す重度のハンドオーバ準備通知を行う。一方、運転準備態勢が整っていると判定された場合には、例えば現在の態勢を維持してもらうことを伝える程度の軽度のハンドオーバ準備通知を行う。即ち、本実施形態においては、運転準備態勢が整っているか否かに応じて、ハンドオーバ準備通知の出力態様を変更する。
本実施形態の場合、運転準備態勢が整っていると判定された場合にもハンドオーバ準備通知が行われることから、安全性を高めることができる。また、運転準備態勢が整っていると判定された場合のハンドオーバ準備通知は軽度のものであることから、車両乗員が既に運転準備態勢を整えているとしても、ハンドオーバ準備通知への煩わしさを感じにくい。
図16のフローチャートは、本実施形態の車両制御システム100がハンドオーバ準備通知の出力に関連して実行する処理手順例を示している。同図の処理は、自動運転モードによる自動運転の実行中において、一定時間ごとに繰り返し実行される。
また、本実施形態における車両制御システム100の構成は、図13と同様でよい。
同図におけるステップS400〜S408の処理は、図15におけるステップS300〜S308と同様となることから、ここでの説明を省略する。
手動運転準備態勢が整っていないと判定された場合、HMI制御部170は、重度のハンドオーバ準備通知を行う(ステップS410)。一方、手動運転準備態勢が整っていると判定された場合、HMI制御部170は、軽度のハンドオーバ準備通知を行う(ステップS412)。
なお、上記各実施形態においては、自動運転の実行中において一定時間ごとに状況対応ハンドオーバの発生可能性が高いか否かについて逐次判定するようにされている。しかしながら、車両制御システム100は、自動運転が開始されるタイミングで、自動運転の終了地点までの走行経路において状況対応ハンドオーバの発生可能性の高い地点を事前判定するようにしてもよい。そして、車両制御システム100は、状況対応ハンドオーバの発生可能性の高い地点に到達する前の所定のタイミングで、ハンドオーバ準備通知を行うようにされてもよい。また、上記の事前判定と上記逐次判定とが組み合わされてもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
本発明は、自動車製造産業に利用することができる。
20…ファインダ、30…レーダ、40…カメラ、DD…検知デバイス、50…ナビゲーション装置、55…通信装置、60…車両センサ、70…HMI、100…車両制御システム、110…目標車線決定部、120…自動運転制御部、130…自動運転モード制御部、140…自車位置認識部、142…外界認識部、144…行動計画生成部、146…軌道生成部、146A…走行態様決定部、146B…軌道候補生成部、146C…評価・選択部、150…切替制御部、152…車両乗員状態推定部、155…ハンドオーバ予測部、160…走行制御部、170…HMI制御部、171…車両乗員状況取得部、180…記憶部、200…走行駆動力出力装置、210…ステアリング装置、220…ブレーキ装置、300…シート、310…荷重センサ、312…固定部、400…車室内カメラ、500…ステアリングホイール、M…自車両

Claims (3)

  1. 外界状況を認識する外界認識部と、
    自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転を行う自動運転制御部であって、前記外界認識部により認識された外界状況に基づいて、自動運転のモードから手動運転のモードに切り替えるハンドオーバを実行する自動運転制御部と、 前記外界認識部により認識された外界状況に基づいて、前記ハンドオーバの発生可能性を予測するハンドオーバ予測部と、
    情報を出力する出力部と、
    前記ハンドオーバ予測部により前記ハンドオーバの発生可能性が高いと予測された場合に、車両乗員に対してハンドオーバへの準備を促す情報を出力するように前記出力部を制御するインターフェース制御部と、
    手動運転が実行される場合に運転操作を行う車両乗員の車内における状況を取得する車両乗員状況取得部と、
    を備え、
    前記車両乗員の車内における状況は、少なくとも乗員の姿勢状態、乗員の目視状況、乗員の姿勢を固定する固定部の使用状況の3つを含み、
    前記インターフェース制御部は、前記車両乗員状況取得部により複数の前記車両乗員の車内における状況ごとに取得された状況に基づいて、複数の前記車両乗員の車内における状況ごとに得られた運転準備態勢の整い方の度合についてレベル値を総合し、前記総合されたレベル値を用いて前記車両乗員の手動運転準備態勢が整っているかを判定し、
    前記車両乗員の手動運転準備態勢が整っているか否かに基づいて、前記ハンドオーバへの準備を促す情報の出力程度を変更し、運転準備態勢が整っていると判定した場合に、現在の態勢を維持する情報を出力する、
    車両制御システム。
  2. 車載コンピュータが、
    外界状況を認識し、
    自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転を行うにあたり、認識された外界状況に基づいて、自動運転のモードから手動運転のモードに切り替えるハンドオーバを実行し、
    認識された前記外界状況に基づいて、前記ハンドオーバの発生可能性を予測し、
    前記ハンドオーバの発生可能性が高いと予測された場合に、車両乗員に対してハンドオーバへの準備を促す情報を出力するように、情報を出力する出力部を制御し、
    手動運転が実行される場合に運転操作を行う車両乗員の車内における状況を取得し、
    前記車両乗員の車内における状況は、少なくとも乗員の姿勢状態、乗員の目視状況、乗員の姿勢を固定する固定部の使用状況の3つを含み、
    複数の前記車両乗員の車内における状況ごとに取得した状況に基づいて、複数の前記車両乗員の車内における状況ごとに得られた運転準備態勢の整い方の度合についてレベル値を総合し、前記総合されたレベル値を用いて前記車両乗員の手動運転準備態勢が整っているかを判定し、
    前記車両乗員の手動運転準備態勢が整っているか否かに基づいて、前記出力部により出力される前記ハンドオーバへの準備を促す情報の出力程度を変更し、運転準備態勢が整っていると判定した場合に、現在の態勢を維持する情報を出力する、
    車両制御方法。
  3. 車載コンピュータに、
    外界状況を認識し、自車両の加減速および操舵のうち少なくとも一方を自動的に制御する自動運転を行うにあたり、認識された外界状況に基づいて、自動運転のモードから手動運転のモードに切り替えるハンドオーバを実行し、
    認識された前記外界状況に基づいて、前記ハンドオーバの発生可能性を予測し、
    前記ハンドオーバの発生可能性が高いと予測された場合に、車両乗員に対してハンドオーバへの準備を促す情報を出力するように、情報を出力する出力部を制御し、
    手動運転が実行される場合に運転操作を行う車両乗員の車内における状況を取得し、
    前記車両乗員の車内における状況は、少なくとも乗員の姿勢状態、乗員の目視状況、乗員の姿勢を固定する固定部の使用状況の3つを含み、
    複数の前記車両乗員の車内における状況ごとに取得した状況に基づいて、複数の前記車両乗員の車内における状況ごとに得られた運転準備態勢の整い方の度合についてレベル値を総合し、前記総合されたレベル値を用いて前記車両乗員の手動運転準備態勢が整っているかを判定し、
    前記車両乗員の手動運転準備態勢が整っているか否かに基づいて、前記出力部により出力される前記ハンドオーバへの準備を促す情報の出力程度を変更し、運転準備態勢が整っていると判定した場合に、現在の態勢を維持する情報を出力する、
    処理を実行させるための車両制御プログラム。
JP2018512655A 2016-04-18 2016-04-18 車両制御システム、車両制御方法、および車両制御プログラム Expired - Fee Related JP6683803B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062239 WO2017183077A1 (ja) 2016-04-18 2016-04-18 車両制御システム、車両制御方法、および車両制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2017183077A1 JPWO2017183077A1 (ja) 2018-11-01
JP6683803B2 true JP6683803B2 (ja) 2020-04-22

Family

ID=60115766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018512655A Expired - Fee Related JP6683803B2 (ja) 2016-04-18 2016-04-18 車両制御システム、車両制御方法、および車両制御プログラム

Country Status (5)

Country Link
US (1) US10829129B2 (ja)
JP (1) JP6683803B2 (ja)
CN (1) CN109070895B (ja)
DE (1) DE112016006760T5 (ja)
WO (1) WO2017183077A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102440597B1 (ko) * 2017-12-11 2022-09-05 현대자동차 주식회사 하이브리드 차량의 회생 제동 제어 시스템 및 방법
JP6754386B2 (ja) * 2018-03-14 2020-09-09 本田技研工業株式会社 車両制御装置
JP7210929B2 (ja) * 2018-08-07 2023-01-24 トヨタ自動車株式会社 運転意識推定装置
JP7210336B2 (ja) * 2019-03-12 2023-01-23 本田技研工業株式会社 車両制御システム、車両制御方法、及びプログラム
JP7166211B2 (ja) * 2019-03-28 2022-11-07 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11340077B2 (en) 2019-03-28 2022-05-24 Here Global B.V. Driving condition specific sensor quality index
JP7090576B2 (ja) * 2019-03-29 2022-06-24 本田技研工業株式会社 車両制御システム
JP7135978B2 (ja) * 2019-03-29 2022-09-13 マツダ株式会社 自動車用演算装置
JP2021018073A (ja) * 2019-07-17 2021-02-15 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
EP4005156A1 (en) * 2019-07-28 2022-06-01 Telefonaktiebolaget LM Ericsson (publ) Notification of expected event
JP2021046043A (ja) * 2019-09-17 2021-03-25 本田技研工業株式会社 車両制御システム
JP7169257B2 (ja) * 2019-09-20 2022-11-10 本田技研工業株式会社 車両制御装置、地図情報管理システム、車両制御方法、およびプログラム
CN111775953A (zh) * 2019-12-16 2020-10-16 王忠亮 驾驶状态即时修正系统及方法
JP6937856B2 (ja) * 2020-02-13 2021-09-22 本田技研工業株式会社 運転支援装置および車両
CN111427331B (zh) * 2020-03-24 2022-03-04 新石器慧通(北京)科技有限公司 无人驾驶车辆的感知信息展示方法、装置和电子设备
EP3915851A1 (en) * 2020-05-28 2021-12-01 Zenuity AB System and method for estimating take-over time
DE102022108787A1 (de) 2022-04-11 2023-10-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überwachen eines zumindest hochautomatisierten Fahrbetriebs eines Fahrzeugs mit Überprüfung eines sicheren Betriebszustands unter Berücksichtigung einer Vertikaldynamik, Recheneinrichtung sowie Fahrerassistenzsystem
CN115071758B (zh) * 2022-06-29 2023-03-21 杭州电子科技大学 一种基于强化学习的人机共驾控制权切换方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3239727B2 (ja) 1995-12-05 2001-12-17 トヨタ自動車株式会社 車両の自動運転制御装置
JPH09160643A (ja) * 1995-12-11 1997-06-20 Toyota Motor Corp 車両用診断システム
JP2003341399A (ja) * 2002-05-29 2003-12-03 Nissan Motor Co Ltd 産業車両のシート装置
JP2014047144A (ja) * 2012-08-30 2014-03-17 Daicel Corp 脂環式エポキシ化合物及びその製造方法
JP6369028B2 (ja) * 2014-01-27 2018-08-08 アイシン・エィ・ダブリュ株式会社 経路探索システム、経路探索方法及びコンピュータプログラム
US9616815B2 (en) * 2014-02-10 2017-04-11 Magna Mirrors Of America, Inc. Vehicle interior rearview mirror assembly with actuator
JP6409318B2 (ja) 2014-04-25 2018-10-24 日産自動車株式会社 情報呈示装置及び情報呈示方法
JP6201916B2 (ja) 2014-07-04 2017-09-27 株式会社デンソー 車両の運転モード制御装置
JP6135618B2 (ja) * 2014-08-08 2017-05-31 トヨタ自動車株式会社 車両制御装置
CN104290745B (zh) * 2014-10-28 2017-02-01 奇瑞汽车股份有限公司 车辆用半自动驾驶系统的驾驶方法
US10532659B2 (en) * 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US10325167B1 (en) * 2015-01-13 2019-06-18 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating data representative of vehicle driver ratings
JP6409699B2 (ja) * 2015-07-13 2018-10-24 トヨタ自動車株式会社 自動運転システム
JP2017097519A (ja) * 2015-11-20 2017-06-01 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法、プログラムおよび記録媒体
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
US9904287B1 (en) * 2017-05-04 2018-02-27 Toyota Research Institute, Inc. Systems and methods for mitigating vigilance decrement while maintaining readiness using augmented reality in a vehicle

Also Published As

Publication number Publication date
WO2017183077A1 (ja) 2017-10-26
DE112016006760T5 (de) 2019-01-03
US10829129B2 (en) 2020-11-10
US20190118832A1 (en) 2019-04-25
CN109070895A (zh) 2018-12-21
JPWO2017183077A1 (ja) 2018-11-01
CN109070895B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
JP6683803B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6753923B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US10337872B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6540983B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6387548B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6368959B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6337382B2 (ja) 車両制御システム、交通情報共有システム、車両制御方法、および車両制御プログラム
JP6275187B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6652417B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6745334B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2017187622A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2017158768A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN108883775B (zh) 车辆控制系统、车辆控制方法及存储介质
WO2017179209A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2017207859A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2017168739A1 (ja) 車両制御装置、車両制御方法、および車両制御プログラム
WO2017168517A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6749790B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6650331B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2017158764A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2017214036A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6735160B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2017213936A (ja) 車両制御システム、車両制御方法、および車両制御プログラム

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20180717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200326

R150 Certificate of patent or registration of utility model

Ref document number: 6683803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees