JP7158839B2 - Driving support device and driving support method - Google Patents

Driving support device and driving support method Download PDF

Info

Publication number
JP7158839B2
JP7158839B2 JP2017204898A JP2017204898A JP7158839B2 JP 7158839 B2 JP7158839 B2 JP 7158839B2 JP 2017204898 A JP2017204898 A JP 2017204898A JP 2017204898 A JP2017204898 A JP 2017204898A JP 7158839 B2 JP7158839 B2 JP 7158839B2
Authority
JP
Japan
Prior art keywords
response
driver
response request
state
driver state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017204898A
Other languages
Japanese (ja)
Other versions
JP2019079217A (en
Inventor
喜久男 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2017204898A priority Critical patent/JP7158839B2/en
Publication of JP2019079217A publication Critical patent/JP2019079217A/en
Application granted granted Critical
Publication of JP7158839B2 publication Critical patent/JP7158839B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、運転支援装置、及び運転支援方法に関する。 The present invention relates to a driving assistance device and a driving assistance method.

従来、車両の操舵、制動、加速等の各種動作の全てについて自動制御を行う自動運転モードと、全ての動作又は一部の動作の自動制御を行わない手動運転モードとを切り替える運転支援装置が提案されている(例えば、特許文献1参照)。
特許文献1に記載された運転支援装置においては、自動運転に必要な設備や情報が整っている道路区間を自動運転可能な道路区間として設定し、車両が自動運転可能な道路区間を走行している場合に限定して、自動運転モードによる制御を行っている。そして、自動運転可能な道路区間の終点に近づいた時に、手動運転への切替えの準備を促す音声メッセージ(手動運転モード切替予告)を出力している。さらに、特許文献1に記載された運転支援装置においては、手動運転モード切替予告を出力する際に、自車両周辺の他車両の状況等をディスプレイに表示して、運転者に対する注意喚起を行っている。
Conventionally, driving support devices have been proposed that switch between an automatic driving mode that automatically controls all of the vehicle's various operations such as steering, braking, and acceleration, and a manual driving mode that does not automatically control all or some of the operations. (See Patent Document 1, for example).
In the driving support device described in Patent Document 1, a road section where the equipment and information necessary for automatic driving are in place is set as a road section where automatic driving is possible, and the vehicle travels in the road section where automatic driving is possible. Control is performed in the automatic operation mode only when there is Then, when the vehicle approaches the end point of a road section on which automatic operation is possible, it outputs a voice message (manual operation mode switch notice) prompting preparation for switching to manual operation. Furthermore, in the driving support device described in Patent Document 1, when outputting a manual driving mode switching notice, the situation of other vehicles around the own vehicle is displayed on the display to alert the driver. there is

特開2016-182906号公報JP 2016-182906 A

上述したように、自動運転モードによる走行制御(自動運転制御)を行っている際に、手動運転モードによる走行制御(手動運転制御)にスムーズに移行させるためには、運転者が手動運転を行い得る状態となっている必要がある。しかしながら、自動運転制御による走行中は、運転者の運転に対する意識が薄れがちであることから、手動運転に移行するための運転者の対応が遅れるおそれがある。
本発明はかかる背景に鑑みてなされたものであり、自動運転制御から手動運転制御に切替える際に、運転者を速やかに手動運転を行い得る状態とすることができる運転支援装置、及び運転支援方法を提供することを目的とする。
As described above, in order to smoothly transition to the driving control (manual driving control) in the manual driving mode when the driving control (automatic driving control) is performed in the automatic driving mode, the driver must perform manual driving. It must be in a state where it can be obtained. However, since the driver's awareness of driving tends to weaken while the vehicle is traveling under automatic driving control, there is a risk that the driver's response to shift to manual driving will be delayed.
The present invention has been made in view of this background, and when switching from automatic driving control to manual driving control, a driving support device and a driving support method that can quickly put the driver in a state where manual driving can be performed. intended to provide

本発明の運転支援装置は、車両に対する自動運転制御と手動運転制御とを、選択的に実行する走行制御部と、前記車両の運転者の状態を認識する運転者状態認識部と、前記走行制御部により前記自動運転制御が実行されているときに、前記自動運転制御から前記手動運転制御への切替が予定されている自動運転終了地点よりも手前の地点に設定された切替準備地点に、前記車両が到達したときに、前記車両が該切替準備地点を走行する際に前記運転者状態認識部により認識された前記運転者の状態である第1運転者状態に応じて、前記運転者に対して応答を要求する第1応答要求を決定して出力する第1応答要求部と、前記第1応答要求の出力に対する前記運転者の応答状態を示す第2運転者状態を、前記運転者状態認識部により認識し、該第2運転者状態に応じて、前記運転者に対して応答を要求する第2応答要求を決定して出力する第2応答要求部と、前記運転者状態認識部により認識される前記運転者の状態を複数の段階に区分し、各段階に対して、優先順位を設定した複数の応答要求を割り当てる応答要求割当部と、を備え、前記第2応答要求部は、前記第1応答要求と同じ内容の応答要求を前記第2応答要求の候補から除外して、前記第2応答要求を決定して出力し、前記第1運転者状態に対する前記第2運転者状態の変化度合が所定レベル以下であるときに、前記第2運転者状態に割り当てられた応答要求が複数あるか否かを判断し、前記第2運転者状態に割り当てられた応答要求が複数ある場合は、前記複数の応答要求のうち、優先度が高い応答要求から先に選択して前記第2応答要求として出力し、前記第2運転者状態に割り当てられた応答要求が複数無い場合には、前記第2運転者状態に割り当てられた応答要求を前記第2応答要求として出力することを特徴とする。 A driving support device of the present invention includes a driving control unit that selectively executes automatic driving control and manual driving control for a vehicle, a driver state recognition unit that recognizes the state of the driver of the vehicle, and the driving control unit. When the automatic operation control is being executed by the unit, at a switching preparation point set at a point before the automatic operation end point where switching from the automatic operation control to the manual operation control is scheduled, When the vehicle arrives, the driver is instructed according to the first driver state, which is the state of the driver recognized by the driver state recognition unit when the vehicle travels through the switching preparation point. a first response request unit for determining and outputting a first response request for requesting a response by means of the driver state recognition unit; a second response request unit for determining and outputting a second response request for requesting a response from the driver according to the second driver state; and the driver state recognition unit. a response request assigning unit that divides the driver's state into a plurality of stages and assigns a plurality of response requests with priority to each stage; A response request having the same content as the first response request is excluded from candidates for the second response request, the second response request is determined and output, and a change in the second driver state with respect to the first driver state is performed. determining whether or not there are a plurality of response requests assigned to the second driver state when the degree is equal to or less than a predetermined level, and if there are a plurality of response requests assigned to the second driver state, Among the plurality of response requests, the response request having the highest priority is first selected and output as the second response request, and if there are no response requests assigned to the second driver state, the first response request The response request assigned to the two driver states is output as the second response request .

本発明の運転支援方法は、車両に対する自動運転制御と手動運転制御とを、選択的に実行する走行制御ステップと、前記車両の運転者の状態を認識する運転者状態認識ステップと、前記走行制御ステップにより前記自動運転制御が実行されているときに、前記自動運転制御から前記手動運転制御への切替が予定されている自動運転終了地点よりも手前の地点に設定された切替準備地点に、前記車両が到達したときに、前記車両が該切替準備地点を走行する際に前記運転者状態認識ステップにより認識された前記運転者の状態である第1運転者状態に応じて、前記運転者に対して応答を要求する第1応答要求を決定して出力する第1応答要求ステップと、前記第1応答要求の出力に対する前記運転者の応答状態を示す第2運転者状態を、前記運転者状態認識ステップにより認識し、該第2運転者状態に応じて、前記運転者に対して応答を要求する第2応答要求を決定して出力する第2応答要求ステップと、前記運転者状態認識ステップにより認識される前記運転者の状態を複数の段階に区分し、各段階に対して、優先順位を設定した複数の応答要求を割り当てる応答要求割当ステップとを含み、前記第2応答要求ステップは、前記第1応答要求と同じ内容の応答要求を前記第2応答要求の候補から除外して、前記第2応答要求を決定して出力し、
、前記第1運転者状態に対する前記第2運転者状態の変化度合が所定レベル以下であるときに、前記第2運転者状態に割り当てられた応答要求が複数あるか否かを判断し、前記第2運転者状態に割り当てられた応答要求が複数ある場合は、前記複数の応答要求のうち、優先度が高い応答要求から先に選択して前記第2応答要求として出力し、前記第2運転者状態に割り当てられた応答要求が複数無い場合には、前記第2運転者状態に割り当てられた応答要求を前記第2応答要求として出力することを特徴とする。
A driving support method of the present invention includes a driving control step of selectively executing automatic driving control and manual driving control for a vehicle, a driver state recognition step of recognizing the state of the driver of the vehicle, and the driving control. When the automatic operation control is executed by the step, at the switching preparation point set at a point before the automatic operation end point where switching from the automatic operation control to the manual operation control is scheduled, When the vehicle arrives, the driver is instructed according to the first driver state, which is the state of the driver recognized by the driver state recognition step when the vehicle travels through the switching preparation point. a first response request step of determining and outputting a first response request for requesting a response through the driver state recognition step; a second response request step for determining and outputting a second response request for requesting a response from the driver according to the second driver state; and a driver state recognition step. and a response request assigning step of classifying the state of the driver to be treated into a plurality of stages and assigning a plurality of response requests with priority to each stage, wherein the second response request step comprises the first response request step. determining and outputting the second response request by excluding response requests having the same content as the first response request from candidates for the second response request;
determining whether or not there are a plurality of response requests assigned to the second driver state when the degree of change of the second driver state with respect to the first driver state is equal to or less than a predetermined level; 2 If there are a plurality of response requests assigned to the driver state, the response request having the highest priority among the plurality of response requests is first selected and output as the second response request, and the second response request is output. When there are not a plurality of response requests assigned to the state, the response request assigned to the second driver state is output as the second response request .

本発明の運転支援装置及び運転支援方法によれば、自動運転終了地点に車両が到達する前の時点に設定された切替事前時点において、運転者の状態(第1運転者状態)に応じて決定された第1応答要求が出力される。そして、第1応答要求に対する運転者の応答状態を示す第2運転状態が認識され、第2運転者状態に応じた第2応答要求が出力される。このように、運転者の応答状態に応じた第2応答要求を出力することによって、自動運転制御から手動運転制御に切替える際に、運転者を速やかに手動運転を行い得る状態とすることができる。 According to the driving assistance device and the driving assistance method of the present invention, at the pre-switching time point set before the vehicle reaches the automatic driving end point, it is determined according to the state of the driver (first driver state). The received first response request is output. Then, a second driving state indicating the response state of the driver to the first response request is recognized, and a second response request corresponding to the second driver state is output. In this way, by outputting the second response request according to the response state of the driver, it is possible to quickly bring the driver into a state in which manual operation can be performed when switching from automatic operation control to manual operation control. .

運転支援装置の構成図。The block diagram of a driving assistance device. 自動運転制御から手動運転制御への切替えタイミングの説明図。Explanatory drawing of the switching timing from automatic operation control to manual operation control. 手動運転への切替えに対する支援処理のフローチャート。4 is a flowchart of support processing for switching to manual operation; 運転者状態認識処理のフローチャート。4 is a flowchart of driver state recognition processing; 第1応答要求出力処理のフローチャート。4 is a flowchart of first response request output processing; 第2応答要求出力処理のフローチャート。10 is a flowchart of second response request output processing; 応答要求テーブルの説明図。Explanatory drawing of a response request table. 対話履歴の説明図。Explanatory drawing of dialogue history.

本発明の実施形態について、図1~図8を参照して説明する。
[1.運転支援装置の構成図]
図1を参照して、本実施形態における運転支援装置10の構成について説明する。本実施形態における運転支援装置10は、車両1に搭載され、車両1の機構部(駆動機構、制動機構、操舵機構等)2の作動を制御する。
Embodiments of the present invention will be described with reference to FIGS. 1 to 8. FIG.
[1. Configuration diagram of driving support device]
A configuration of a driving assistance device 10 according to the present embodiment will be described with reference to FIG. A driving support device 10 according to the present embodiment is mounted on a vehicle 1 and controls the operation of a mechanical section (a driving mechanism, a braking mechanism, a steering mechanism, etc.) 2 of the vehicle 1 .

運転支援装置10は、車両1の自動運転制御及び手動運転制御を実行する。ここで、自動運転制御には、運転者の操作によらずに車両1の走行を制御する完全自動運転制御の他、運転者の操作を補助して車両1を走行させる部分自動運転制御も含まれる。部分自動運転制御としては、例えば、車両1が走行車線からはみ出さないようにする車線維持制御、前走車との車間を一定に維持して走行する車間距離制御等が実行される。 The driving support device 10 executes automatic driving control and manual driving control of the vehicle 1 . Here, the automatic driving control includes fully automatic driving control that controls the running of the vehicle 1 without relying on the driver's operation, as well as partially automatic driving control that assists the driver's operation to drive the vehicle 1. be As the partially automated driving control, for example, lane keeping control to keep the vehicle 1 from running out of the driving lane, inter-vehicle distance control to maintain a constant distance from the preceding vehicle, and the like are executed.

運転支援装置10は、車両1が、予め設定された自動運転区間(自動運転制御の実行が許可された区間)を走行している場合に限定して自動運転制御を実行する。そして、運転支援装置10は、自動運転区間以外の区間(非自動運転区間)を走行している場合には、自動運転制御の実行を禁止する。本実施形態では、高速道路が自動運転区間に設定され、高速道路以外の一般道路が非自動運転区間に設定されている。 The driving support device 10 executes automatic driving control only when the vehicle 1 is traveling in a preset automatic driving section (a section in which execution of automatic driving control is permitted). And driving assistance device 10 prohibits execution of automatic driving control, when it is running the section (non-automatic driving section) other than an automatic driving section. In this embodiment, highways are set as automatic driving sections, and general roads other than expressways are set as non-automatic driving sections.

また、運転支援装置10は、車両1が自動運転区間を走行している場合に、必ず自動運転制御を行うわけではなく、運転者による自動運転制御の実行と停止の操作に応じて、自動運転制御により車両1の走行を制御する状態と、自動運転制御を禁止して手動運転制御により車両1の走行を制御する状態とを切り替える。 In addition, the driving support device 10 does not always perform automatic driving control when the vehicle 1 is traveling in an automatic driving section, and the automatic driving control is performed according to the operation of the driver to execute and stop the automatic driving control. It switches between a state in which driving of the vehicle 1 is controlled by control and a state in which automatic driving control is prohibited and driving of the vehicle 1 is controlled by manual driving control.

車両1は、乗員(主として運転者)により操作される操作部40、表示部41、スピーカー42、画像処理部43、車両前方カメラ44、車両後方カメラ45、車内カメラ46、マイク47、地図DB(Data Base)50、ジャイロセンサ51、GPS(Global Positioning System)受信機52、及びネットワーク通信部56を備えている。 The vehicle 1 includes an operation unit 40 operated by a passenger (mainly a driver), a display unit 41, a speaker 42, an image processing unit 43, a vehicle front camera 44, a vehicle rear camera 45, an in-vehicle camera 46, a microphone 47, a map DB ( Data Base) 50 , gyro sensor 51 , GPS (Global Positioning System) receiver 52 , and network communication section 56 .

運転支援装置10は、CPU20、メモリ30、各種インターフェース回路(図示しない)等により構成された電子回路ユニットである。CPU20は、メモリ30に保存された運転支援装置10の制御用プログラム31を読み込んで実行することにより、走行制御部21、運転者状態認識部22、第1応答要求部23、及び第2応答要求部24として機能する。 The driving assistance device 10 is an electronic circuit unit including a CPU 20, a memory 30, various interface circuits (not shown), and the like. The CPU 20 reads and executes the control program 31 of the driving support device 10 stored in the memory 30 to operate the driving control unit 21, the driver state recognition unit 22, the first response request unit 23, and the second response request. It functions as part 24 .

メモリ30には、制御用プログラム31の他に、運転者に対して出力する応答要求を決定するための応答要求テーブル32のデータと、応答要求の出力と運転者状態の認識結果を記録した対話履歴33のデータが保存される。応答要求テーブル32と対話履歴33の詳細については後述する。 In the memory 30, in addition to the control program 31, data of a response request table 32 for determining the response request to be output to the driver, and a dialogue recording the output of the response request and the recognition result of the driver's state are stored. The data of history 33 is saved. Details of the response request table 32 and the dialogue history 33 will be described later.

運転支援装置10には、操作部40、表示部41、スピーカー42、画像処理部43、地図DB50、ジャイロセンサ51、GPS受信機52、及びネットワーク通信部56が接続されている。 An operation unit 40 , a display unit 41 , a speaker 42 , an image processing unit 43 , a map DB 50 , a gyro sensor 51 , a GPS receiver 52 and a network communication unit 56 are connected to the driving support device 10 .

操作部40は運転者により操作されるスイッチを有し、スイッチの操作状況を示す操作信号が運転支援装置10に入力される。また、運転支援装置10から出力される制御信号によって、表示部41の画面表示及びスピーカー42からの音出力が制御される。 The operation unit 40 has a switch operated by the driver, and an operation signal indicating the operation status of the switch is input to the driving support device 10 . Further, the screen display of the display unit 41 and the sound output from the speaker 42 are controlled by the control signal output from the driving support device 10 .

車両前方カメラ44は車両1の前方を撮像し、車両後方カメラ45は車両1の後方を撮像する。車内カメラ46は運転者を含む車両1の車室内を撮像する。画像処理部43は、車両前方カメラ44、車両後方カメラ45、及び車内カメラ46による撮像画像に対して、公知の特徴量抽出、パターンマッチング等の処理を行う。これらの処理により、画像処理部43は、車両1の周囲に存在する物の種別(信号機、横断歩道、道路標識、歩行者等)を認識し、また、運転者の状態等を認識して、認識結果を示すデータを、運転支援装置10に出力する。地図DB50には、道路の種別(高速道路、一般道路等)を含む地図情報のデータが保存されている。マイク47は、運転者の発声等を収音して、音声データを運転支援装置10に出力する。 The vehicle front camera 44 images the front of the vehicle 1 , and the vehicle rear camera 45 images the rear of the vehicle 1 . The in-vehicle camera 46 images the interior of the vehicle 1 including the driver. The image processing unit 43 performs known processing such as feature quantity extraction and pattern matching on images captured by the vehicle front camera 44 , vehicle rear camera 45 and vehicle interior camera 46 . Through these processes, the image processing unit 43 recognizes the types of objects existing around the vehicle 1 (traffic lights, crosswalks, road signs, pedestrians, etc.), and also recognizes the state of the driver, etc. Data indicating the recognition result is output to the driving support device 10 . The map DB 50 stores map information data including types of roads (highways, general roads, etc.). The microphone 47 picks up the voice of the driver and outputs voice data to the driving support device 10 .

ジャイロセンサ51は、車両1の角速度を検出して角速度検出信号を運転支援装置10に出力する。GPS受信機52は、GPS衛星からの電波を受信して車両1の位置(緯度、経度)を検出し、位置検出信号を運転支援装置10に出力する。ネットワーク通信部56は、通信ネットワーク70を介して情報サーバー71との間で各種情報の送受信を行う。 The gyro sensor 51 detects the angular velocity of the vehicle 1 and outputs an angular velocity detection signal to the driving assistance device 10 . The GPS receiver 52 receives radio waves from GPS satellites, detects the position (latitude and longitude) of the vehicle 1 , and outputs a position detection signal to the driving support device 10 . The network communication unit 56 transmits and receives various types of information to and from the information server 71 via the communication network 70 .

運転支援装置10において、走行制御部21は、自動運転制御による車両1の走行制御と、手動運転制御による車両1の走行制御とを選択的に実行する。走行制御部21は、GPS受信52及びジャイロセンサ51の検出信号に基づいて車両1の現在位置を検出し、地図DB50から車両1が走行している地域の地図情報を取得する。そして、走行制御部21は、車両1が高速道路を走行していると認識しているときに、運転者による自動運転制御の開始操作に応じて、自動運転制御を開始する。 In the driving assistance device 10, the travel control unit 21 selectively executes travel control of the vehicle 1 by automatic operation control and travel control of the vehicle 1 by manual operation control. The travel control unit 21 detects the current position of the vehicle 1 based on the GPS reception 52 and the detection signal of the gyro sensor 51, and acquires the map information of the area where the vehicle 1 travels from the map DB50. And the traveling control part 21 starts automatic driving|running control according to start operation of automatic driving|running control by a driver|operator, when recognizing that the vehicle 1 is driving|running|working the expressway.

走行制御部21は、自動運転制御において、車両前方カメラ44及び車両後方カメラ45による撮像画像から、道路のレーンマーク、周囲の他車両等を認識して、車線維持制御、先行車追従制御、他車両への接近回避制御等を実行する。走行制御部21による処理は、本発明の運転支援方法における走行制御ステップに相当する。 In the automatic driving control, the driving control unit 21 recognizes lane marks on the road, other vehicles in the surroundings, etc. from images captured by the vehicle front camera 44 and the vehicle rear camera 45, and performs lane keeping control, preceding vehicle following control, etc. It executes approach avoidance control, etc. to the vehicle. The processing by the travel control unit 21 corresponds to the travel control step in the driving support method of the present invention.

運転者状態認識部22は、画像処理部43により、車内カメラ46による撮像画像から運転者の画像部分を抽出し、また、マイク47により収音された運転者の発声データを解析する。そして、運転者状態認識部22は、運転者の画像部分と発声の状況に基づいて、運転者状態を認識する。運転者状態認識部22による処理は、本発明の運転支援方法における運転者状態認識ステップに相当する。 The driver state recognition unit 22 uses the image processing unit 43 to extract the image portion of the driver from the image captured by the in-vehicle camera 46 , and analyzes the voice data of the driver picked up by the microphone 47 . Then, the driver state recognition unit 22 recognizes the driver state based on the driver's image portion and the utterance situation. The processing by the driver state recognition unit 22 corresponds to the driver state recognition step in the driving assistance method of the present invention.

第1応答要求部23及び第2応答要求部24は、詳細は後述するが、車両1の運転者に対して、手動運転が可能な状態とするための処理を行う。第1応答要求部23による処理は、本発明の運転支援方法における第1応答要求ステップに相当する。また、第2応答要求部24による処理は、本発明の運転支援方法における第2応答要求ステップに相当する。 Although the details will be described later, the first response requesting unit 23 and the second response requesting unit 24 perform processing for enabling the driver of the vehicle 1 to perform manual driving. The processing by the first response requesting section 23 corresponds to the first response requesting step in the driving assistance method of the present invention. Further, the processing by the second response requesting section 24 corresponds to the second response requesting step in the driving assistance method of the present invention.

ここで、図2は、車両1が自動運転区間である高速道路100を、自動運転制御によって走行している状況を示している。図2において、P1は高速道路の終点(自動運転終了が予定された地点)であり、P3は、車両1が自動運転終了地点P1よりも手前の地点に設定された切替準備地点を示している。 Here, FIG. 2 shows a situation in which the vehicle 1 is traveling on the highway 100, which is an automatically operated section, under automatic operation control. In FIG. 2, P1 is the end point of the expressway (the point where the automatic operation is scheduled to end), and P3 is the switching preparation point set before the automatic operation end point P1 of the vehicle 1. .

第1応答要求部23は、車両1が切替準備地点P3に到達したときに、車両1の運転者が手動運転を行うことが可能な状態になっているか否かを判断する。そして、運転者が手動運転を行うことが可能な状態でないときには、第1応答要求部23は、第1応答要求を出力して、運転者が手動運転が可能な状態になるように促す。 The first response requesting unit 23 determines whether or not the driver of the vehicle 1 is ready for manual driving when the vehicle 1 reaches the switching preparation point P3. When the driver is not in a state in which manual driving can be performed, the first response request unit 23 outputs a first response request to prompt the driver to be in a state in which manual driving is possible.

第2応答要求部24は、第1応答要求を出力しても、運転者が手動運転が可能な状態にならなかったときに、第2応答要求を出力して運転者の状況の変化を促す。走行制御部21は、第1応答要求及び第2応答要求の出力を行っても、運転者が手動運転が可能な状況にならなかったときには、車両1が自動運転終了地点P1の手前の強制停止地点P2に到達したときに、車両1を路肩に寄せて停車する制御を行う。 A second response request unit 24 outputs a second response request to prompt a change in the driver's situation when the driver is not in a state in which manual driving is possible even if the first response request is output. . When the driver does not become capable of manual driving even after outputting the first response request and the second response request, the driving control unit 21 forces the vehicle 1 to stop before the automatic driving end point P1. When the vehicle 1 reaches the point P2, it is controlled to pull the vehicle 1 to the road shoulder and stop.

[2.手動運転への切替えに対する支援処理]
次に、図3~図6に示したフローチャートに従って、運転支援装置10により実行される車両1の運転者を手動運転が可能な状況に移行させるための処理について説明する。図2は、手動運転に対する切替え支援処理の全体的な処理手順を示しており、運転支援装置10は、走行制御部21により自動運転制御が実行されているときに、図3のフローチャートによる処理を実行する。以下では、上述した図2に示した状況を前提として、手動運転への切替えに対する支援処理について説明する。
[2. Support processing for switching to manual operation]
Next, the processing for causing the driver of the vehicle 1 to shift to a state in which manual driving is possible, which is executed by the driving support device 10, will be described with reference to the flowcharts shown in FIGS. 3 to 6. FIG. FIG. 2 shows the overall processing procedure of the switching support processing for manual driving, and the driving support device 10 performs the processing according to the flowchart of FIG. Run. Assistance processing for switching to manual operation will be described below on the premise of the situation shown in FIG. 2 described above.

図3のステップS1~S3は、第1応答要求部23による処理である。第1応答要求部23は、ステップS1で、GPS受信機52から出力される車両1の位置と、地図DB50に保存された道路情報とに基づいて、車両1が切替準備地点P3に到達したか否かを判断する。そして、第1応答要求部23は、車両1が切替準備地点P3に到達したときに、ステップS2に処理を進める。 Steps S1 to S3 in FIG. 3 are processing by the first response requesting section 23. FIG. In step S1, the first response requesting unit 23 determines whether the vehicle 1 has reached the switching preparation point P3 based on the position of the vehicle 1 output from the GPS receiver 52 and the road information stored in the map DB 50. determine whether or not Then, when the vehicle 1 reaches the switching preparation point P3, the first response requesting section 23 advances the process to step S2.

ステップS2で、第1応答要求部23は、運転者状態認識部22により運転者の状態(本発明の第1運転者状態に相当する)を認識する。運転者状態認識部22は、図に示したフローチャートによる処理によって、運転者の状態を認識する。運転者状態認識部22は、ステップS20~S21で、画像処理部43を介して車内カメラ46により撮像を行い、画像処理部43により運転者の画像部分を抽出する。
In step S<b>2 , the first response requesting section 23 recognizes the driver's state (corresponding to the first driver's state of the present invention) with the driver's state recognizing section 22 . The driver state recognizing unit 22 recognizes the state of the driver by the processing according to the flowchart shown in FIG. In steps S20 to S21, the driver's state recognition unit 22 captures an image with the in-vehicle camera 46 via the image processing unit 43, and the image processing unit 43 extracts an image portion of the driver.

また、運転者状態認識部22は、ステップS22~S23で、マイク47により収音を行って、運転者の発声内容を分析する。続くステップS24で、運転者状態認識部22は、運転者の画像部分、及び運転者の発声内容から、運転者の状態を認識する。具体的は、運転者の画像部分から、運転者の視線方向、目の開閉状況、しぐさ等が認識され、運転者の発声内容から、運転者の応答状況や要求事項が認識される。 In steps S22 and S23, the driver state recognition unit 22 picks up sound with the microphone 47 and analyzes the content of the driver's utterance. In subsequent step S24, the driver state recognition unit 22 recognizes the driver's state from the driver's image portion and the content of the driver's utterance. Specifically, the driver's gaze direction, eye opening/closing status, gestures, etc. are recognized from the driver's image portion, and the driver's response status and requirements are recognized from the driver's utterance content.

次のステップS25で、運転者状態認識部22は、認識した運転者の状態と状態のレベルを示すデータ(運転者状態データ)をメモリ30に保存する。ここで、図7は、運転者の状態、各運転者の状態のレベル、各レベルに割り当てられた応答要求、及び各応答要求の優先度を対応付けた応答要求テーブル32を示している。応答要求テーブル32により、運転者状態に応じた応答要求を割り当てる構成は、本発明の応答要求割当部に相当する。 In the next step S<b>25 , the driver state recognition unit 22 stores data (driver state data) indicating the recognized state of the driver and the level of the state in the memory 30 . Here, FIG. 7 shows a response request table 32 in which the driver's condition, each driver's condition level, the response request assigned to each level, and the priority of each response request are associated with each other. A configuration for allocating response requests according to the driver's state by the response request table 32 corresponds to the response request assigning section of the present invention.

図7に示したように、本実施形態では、運転者状態が、前方注視、眠気、スマホ操作、及び居眠りの5段階の想定状態と、各想定状態のレベルとにより区分されている。各想定状態のレベルとして、レベル1(運転可能)、レベル2(現状把握)、レベル2(運転ができる気分)、及びレベル3(運転不能)が設定されている。 As shown in FIG. 7, in the present embodiment, the driver's state is divided into five assumed states of forward gaze, drowsiness, smartphone operation, and dozing off, and levels of each assumed state. Level 1 (possible to drive), level 2 (understanding of current situation), level 2 (feeling ready to drive), and level 3 (impossible to drive) are set as levels of each assumed state.

図3のフローチャートに戻り、ステップS3で、第1応答要求部23は、図5に示したフローチャートにより、第1応答要求出力処理を実行する。図5のステップS30で、第1応答要求部23は、運転者状態の認識結果を読み込む。続くステップS31で、第1応答要求部23は、手動運転への切替えまでの残時間(車両1が自動運転終了地点P1に到達するまでの時間)を算出する。 Returning to the flowchart of FIG. 3, in step S3, the first response requesting unit 23 executes the first response request output process according to the flowchart shown in FIG. At step S30 in FIG. 5, the first response requesting unit 23 reads the recognition result of the driver's state. In subsequent step S31, the first response requesting unit 23 calculates the remaining time until switching to manual driving (the time until the vehicle 1 reaches the automatic driving end point P1).

次のステップS32で、第1応答要求部23は、応答要求テーブル32を参照して、運転者状態、及び手動運転切替えまでの残時間に応じた応答要求を選択し、応答要求の音声をスピーカー42から出力する。例えば、運転者状態が「前方注視」であって、自動運転終了地点P1までの前時間が5分であるときには、「およそ5分後に手動運転に切り替わります。よろしいですか?」との音声(第1応答要求)を、スピーカー42から出力する。なお、音声と共に、同様の内容を示す文字或いは画像を表示部41に表示してもよい。例えば、「ストレッチをするには如何ですか?」との応答要求の音声を出力する際に、ストレッチの仕方を示すガイダンス画面を表示部41に表示してもよい。 In the next step S32, the first response requesting unit 23 refers to the response request table 32, selects a response request according to the driver's state and the remaining time until switching to manual operation, and outputs the voice of the response request to the speaker. Output from 42. For example, when the driver's state is "focusing on the front" and the time until the automatic driving end point P1 is 5 minutes, a voice ( first response request) is output from the speaker 42 . It should be noted that characters or images indicating similar contents may be displayed on the display unit 41 together with the voice. For example, a guidance screen showing how to stretch may be displayed on the display unit 41 when outputting the response request voice "How about stretching?"

続くステップS34で、第1応答要求部23は、ステップS30で読み込んだ運転者状態の認識結果と、ステップS33で出力した第1応答要求の内容を、メモリ30に用意された対話履歴33に記録する。対話履歴33は、図8に示したように、運転者状態認識部22により認識された運転者状態と、第1応答要求部23と第2応答要求部24のいずれかによって出力された応答要求とを、認識時刻及び出力時刻と共に記録した履歴データである。 In subsequent step S34, the first response requesting unit 23 records the driver state recognition result read in step S30 and the content of the first response request output in step S33 in the dialogue history 33 prepared in the memory 30. do. As shown in FIG. 8, the dialogue history 33 includes the driver state recognized by the driver state recognition unit 22 and the response requests output by either the first response request unit 23 or the second response request unit 24. are recorded together with the recognition time and the output time.

図3のフローチャートに戻り、ステップS4~S5及びステップS5から分岐したステップS10,S12からなるループは、第2応答要求部24による処理である。第2応答要求部24は、ステップS5で運転者状態のレベルが運転可能(レベル1)となるか、或いはステップS10で車両1が強制停止地点P2(図2参照)に到達するまで、ステップS4による運転者状態認識処理と、ステップ12による第2応答要求出力処理とを繰り返し実行する。ステップS4で認識された運転者状態は、本発明の第2運転者状態に相当する。第2運転者状態は、第1応答要求又は第2応答要求の要求に対する運転者の応答状態を示すものとなる。 Returning to the flowchart of FIG. 3, a loop consisting of steps S10 and S12 branched from steps S4 to S5 and step S5 is processing by the second response requesting unit . The second response requesting unit 24 waits until the level of the driver's condition becomes drivable (level 1) in step S5 or until the vehicle 1 reaches the forced stop point P2 (see FIG. 2) in step S10. and the second response request output process in step 12 are repeatedly executed. The driver state recognized in step S4 corresponds to the second driver state of the present invention. The second driver state indicates the response state of the driver to the first response request or the second response request.

図6は、第2応答要求出力処理のフローチャートである。第2応答要求部24は、ステップS40で、対話履歴33を参照して前回の運転者状態の認識結果を読出し、続くステップS41で、対話履歴33を参照して今回の運転者状態の認識結果を読み出す。例えば、1回目のループ処理では、前回の運転者状態の認識結果は図3のステップS2の処理で認識された運転者状態であり、今回の運転者状態の認識結果は図3の1回目のステップS4の処理で認識された運転者状態である。また、2回目以降のループ処理では、前回の運転者状態の認識結果は、1回前のループによるステップS4の処理で認識された運転者状態となる。 FIG. 6 is a flowchart of the second response request output process. In step S40, the second response requesting unit 24 refers to the dialogue history 33 to read the previous recognition result of the driver state. read out. For example, in the first loop process, the previous recognition result of the driver state is the driver state recognized in the processing of step S2 in FIG. This is the driver state recognized in the process of step S4. In addition, in the second and subsequent loop processes, the recognition result of the previous driver's state is the driver's state recognized in the process of step S4 in the previous loop.

次のステップS42で、第2応答要求部24は、前回と今回の運転者状態が異なるか否かを判断する。そして、第2応答要求部24は、前回と今回の運転者状態が異なる場合(相違はステップS43に処理を進め、前回と今回の運転者状態が同じ場合にはステップS51に処理を進める。 In the next step S42, the second response requesting unit 24 determines whether or not the driver's state of the previous time and this time is different. Then, the second response requesting unit 24 advances the process to step S43 if the previous and current driver states are different (if the difference is the same, advances the process to step S51 if the previous and current driver states are the same.

ステップS50で、第2応答要求部24は、対話履歴33を参照して、出力済みの応答要求を、次に出力する応答要求の候補から除外し、ステップS43に処理を進める。例えば、図8に示した対話履歴33では、t5及びt6で運転者状態が共に「眠気-運転ができる気分」であって同じであるため、t6で出力された応答要求「ストレッチするのは如何でしょうか?」が、次に出力する応答要求の候補から除外される。そして、次のt8では、異なる応答要求「気分転換のために音楽をかけましょうか?」が選択されて出力されている。 In step S50, the second response requesting unit 24 refers to the dialogue history 33, excludes the output response request from the response request candidates to be output next, and proceeds to step S43. For example, in the dialog history 33 shown in FIG. 8, the driver's state is the same at t5 and t6, which is "drowsiness - feeling ready to drive". Is it possible?" is excluded from the response request candidates to be output next. Then, at the next time t8, a different response request "Shall we play some music for a change of pace?" is selected and output.

ステップS43で、第2応答要求部24は、今回の運転者状態に割り当てられた応答要求が複数あるか否かを判断する。そして、第2応答要求部24は、割り当てられた応答要求が複数ある場合はステップS44に処理を進め、複数の応答要求のうち、優先度が高い応答要求から順に選択する。 In step S43, the second response requesting unit 24 determines whether or not there are a plurality of response requests assigned to the current driver state. Then, if there are a plurality of assigned response requests, the second response requesting unit 24 advances the process to step S44, and selects response requests in descending order of priority among the plurality of response requests.

例えば、図7に示した応答要求テーブル32では、運転者状態「眠気-運転ができる気分」に対して、優先度2-3の「ストレッチするのは如何でしょうか?」と、優先度2-4の「気分転換のために音楽をかけましょうか?」とが割り当てられている。この場合は、優先度2-3の方が優先度2-4よりも高い設定となっているので、「ストレッチするのは如何でしょうか?」が先に選択され、次に「気分転換のために音楽をかけましょうか?」が選択される。 For example, in the response request table 32 shown in FIG. 4 "Shall we play some music for a change of mood?" is assigned. In this case, priority 2-3 is set higher than priority 2-4, so "How about stretching?" Shall we play music on?" is selected.

一方、ステップS51では、割り当てられた応答要求が1つだけであるので、第2応答要求部24は、割り当てられた応答要求を選択してステップS45に処理を進める。例えば、図7に示した応答要求では、運転者状態「前方注視-1:運転可能」には、1つの応答要求「およそ〇〇分後に手動運転に切り替わります。よろしいですか?」が割り当てられている。そのため、第2応答要求部24は、応答要求「およそ〇〇分後に手動運転に切り替わります。よろしいですか?」を選択する。 On the other hand, in step S51, since only one response request is assigned, the second response request unit 24 selects the assigned response request and advances the process to step S45. For example, in the response requests shown in FIG. 7, one response request "Switch to manual driving in about XX minutes. Are you sure?" ing. Therefore, the second response requesting unit 24 selects the response request "The operation will switch to manual operation in about XX minutes. Are you sure?".

ステップS45で、第2応答要求部24は、ステップS44又はステップS51で選択した応答要求(第2応答要求)の音声をスピーカー42から出力する。なお、音声と共に、第2応答要求と同様の内容を示す文字或いは画像を表示部41に表示してもよい。続くステップS46で、第2応答要求部24は、ステップS45で出力した応答要求を対話履歴33に追記して記録する。 In step S<b>45 , the second response request unit 24 outputs the voice of the response request (second response request) selected in step S<b>44 or step S<b>51 from the speaker 42 . Note that characters or an image showing the same content as the second response request may be displayed on the display unit 41 together with the voice. In subsequent step S46, the second response request unit 24 additionally records the response request output in step S45 in the dialogue history 33. FIG.

図3のフローチャートに戻り、第2応答要求部24は、ステップS5で運転者状態が「前方注視-1:運転可能」となったときに、ステップS6に処理を進める。運転支援装置10は、ステップS6で、「およそ〇〇分後に手動運転に切り替わります。準備をお願いします。」等のガイダンス音声を出力する。 Returning to the flowchart of FIG. 3, the second response requesting unit 24 advances the process to step S6 when the driver state becomes "Focus on front -1: Driving possible" in step S5. In step S6, the driving support device 10 outputs a guidance voice such as "We will switch to manual driving in about XX minutes. Please prepare."

続くステップS7で、運転支援装置10は、応答要求の出力に対して運転者からの操作指示があったか否かを判断する。ここで、運転者からの操作指示があったとは、例えば、「暑くないですか?」との応答要求に対して、運転者の「暑いからエアコンをつけて」等の音声出力があった場合、或いは「気分転換のために音楽をかけましょうか?」との応答要求に対して、運転者から「うん、音楽をかけて」等の音声出力があった場合が該当する。 In subsequent step S7, the driving support device 10 determines whether or not the driver has given an operation instruction in response to the output of the response request. Here, an operational instruction from the driver means that, for example, in response to a response request, "Isn't it hot?" , or the case where the driver outputs voice such as "Yes, play music" in response to the response request "Shall we play music for a change of mood?"

そして、運転支援装置10は、運転者からの操作指示があったときは、ステップS8に処理を進めて、操作指示に応じた処理(エアコンを作動させる、音楽をかける等)を行い、ステップS9に処理を進めて、手動運転への切替え支援処理を終了する。一方、運転者からの操作指示がなかったときには、運転支援装置10は、ステップS9に処理を進める。 Then, when there is an operation instruction from the driver, the driving support device 10 advances the processing to step S8, performs processing according to the operation instruction (activate the air conditioner, play music, etc.), and then proceeds to step S9. to end the switching support process to manual operation. On the other hand, when there is no operation instruction from the driver, the driving support device 10 advances the process to step S9.

また、ステップS10で車両1が強制停止地点P2に到達したとき、すなわち、運転者状態が「1:運転可能」となる前に、車両1が強制停止地点P2に到達したときには、第2応答要求部24は、ステップS11に処理を進める。 Further, when the vehicle 1 reaches the forced stop point P2 in step S10, that is, when the vehicle 1 reaches the forced stop point P2 before the driver state becomes "1: drivable", the second response request The unit 24 advances the process to step S11.

ステップS11は走行制御部21による処理であり、走行制御部21は、車両1を減速して路肩に寄せて停止させる制御を行う。これにより、運転者による手動運転が困難であると判断できる状態で、車両1の自動運転制御から手動運転制御に切替えられて、手動運転制御が実行されることが回避される。 Step S11 is processing by the travel control unit 21, and the travel control unit 21 performs control to decelerate the vehicle 1 and bring it to the road shoulder to stop. As a result, it is possible to prevent the automatic operation control of the vehicle 1 from being switched to the manual operation control and the manual operation control being executed in a state where it can be determined that the manual operation by the driver is difficult.

[3.他の実施形態]
上記実施形態では、第2応答要求部24は、応答要求を出力したときに運転者状態が変わらなかったときには、前回とは異なる応答要求を出力したが、同じ応答要求を繰り返し出力する構成としてもよい。
[3. Other embodiments]
In the above embodiment, the second response request unit 24 outputs a response request different from the previous response request when the driver's state does not change when outputting the response request. good.

また、図7の応答要求テーブル32に示したように、応答要求に優先順位を設定して、第2応答要求部24は、優先順位が高い応答要求から順に選択して出力したが、優先順位を設定せずに、任意の順番或いは他の条件により応答要求を選択する構成としてもよい。 Also, as shown in the response request table 32 of FIG. 7, priority is set for response requests, and the second response request unit 24 selects and outputs response requests in descending order of priority. may be configured to select the response requests according to an arbitrary order or other conditions without setting .

また、運転者状態認識部22は、車内カメラ46による撮像画像から抽出した運転者の画像部分と、マイク47により収音した運転者の発声内容とに基づいて、運転者状態を認識したが、運転者の画像部分と発声内容とのうちのいずれか一方のみに基づいて、運転者状態を認識するようにしてもよい。 In addition, the driver state recognition unit 22 recognizes the driver state based on the image portion of the driver extracted from the captured image by the in-vehicle camera 46 and the content of the driver's utterance picked up by the microphone 47. The driver's state may be recognized based on only one of the driver's image portion and the utterance content.

また、運転席に振動体を組み込み、第1応答要求部23又は第2応答要求部24によって応答要求の音声を出力する際に振動体を作動させて、運転者に対する注意喚起の効果を高めてもよい。 Also, a vibrating body is incorporated in the driver's seat, and the vibrating body is activated when the first response requesting unit 23 or the second response requesting unit 24 outputs the voice of the response request, thereby enhancing the effect of alerting the driver. good too.

また、図6のステップS42で、第2応答要求部24は、前回と今回の運転者状態が異なるか否かを判断したが、運転者状態をさらに細かい段階に分類して、前回と今回の運転者状態の相違レベルが所定レベル以下である(運転状態の変化度合が小さい)ときに、前回と異なる応答要求を出力するようにしてもよい。 In addition, in step S42 of FIG. 6, the second response requesting unit 24 determines whether or not the previous and current driver states are different. When the driver state difference level is equal to or less than a predetermined level (the degree of change in the driving state is small), a response request different from the previous response request may be output.

なお、図1は、本願発明を理解容易にするために、運転支援装置10の機能構成を主な処理内容に応じて分類して示した概略図であり、運転支援装置10の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。 FIG. 1 is a schematic diagram showing the functional configuration of the driving assistance device 10 classified according to main processing contents for easy understanding of the present invention. Depending on the content, it can also be classified into more components. Also, one component can be grouped to perform more processing. Also, the processing of each component may be executed by one piece of hardware, or may be executed by a plurality of pieces of hardware. Also, the processing of each component may be implemented by one program or may be implemented by a plurality of programs.

また、運転支援装置10において、CPU20で実行される制御用プログラム31は、例えば、通信ネットワーク70を介して外部サーバーからダウンロードされ、それからRAM等のメモリ30上にロードされてCPU20により実行されるようにしてもよい。また、通信ネットワーク70を介して、外部サーバーからRAM等のメモリ30に直接ロードされ、CPU20により実行されるようにしてもよい。或いは、運転支援装置10に接続された記憶媒体から、RAM等のメモリ30上にロードされるようにしてもよい。 In the driving assistance device 10, the control program 31 executed by the CPU 20 is downloaded from an external server via the communication network 70, for example, loaded onto the memory 30 such as a RAM, and executed by the CPU 20. can be Alternatively, the program may be directly loaded from an external server to the memory 30 such as a RAM via the communication network 70 and executed by the CPU 20 . Alternatively, it may be loaded onto the memory 30 such as RAM from a storage medium connected to the driving support device 10 .

また、図3~図6に示したフローチャートの処理単位は、運転支援装置10による処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。運転支援装置10の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、同様の処理結果が得られるのであれば、上記各フローチャートの処理順序も、図示した例に限られるものではない。 The processing unit of the flowcharts shown in FIGS. 3 to 6 is divided according to the main processing content in order to facilitate understanding of the processing by the driving support device 10. FIG. The present invention is not limited by the division method or name of the processing unit. The processing of the driving support device 10 can also be divided into more processing units according to the content of the processing. Also, one processing unit can be divided to include more processing. Further, the order of processing in each flowchart is not limited to the illustrated example, as long as similar processing results can be obtained.

1 車両
2 機構部
10 運転支援装置
20 CPU
21 走行制御部
22 運転者状態認識部
23 第1応答要求部
24 第2応答要求部
30 メモリ
31 制御用プログラム
32 応答要求テーブル
33 対話履歴
40 操作部
42 スピーカー
43 画像処理部
44 車両前方カメラ
45 車両後方カメラ
45 車内カメラ
46 車内カメラ
47 マイク
50 地図DB
51 ジャイロセンサ
52 GPS受信機
56 ネットワーク通信部
70 通信ネットワーク
71 情報サーバー
1 Vehicle 2 Mechanical Unit 10 Driving Support Device 20 CPU
21 Driving control unit 22 Driver state recognition unit 23 First response request unit 24 Second response request unit 30 Memory 31 Control program 32 Response request table 33 Dialogue history 40 Operation unit 42 Speaker 43 Image processing unit 44 Vehicle front camera 45 Vehicle Rear camera 45 In-vehicle camera 46 In-vehicle camera 47 Microphone 50 Map DB
51 gyro sensor 52 GPS receiver 56 network communication unit 70 communication network 71 information server

Claims (2)

車両に対する自動運転制御と手動運転制御とを、選択的に実行する走行制御部と、
前記車両の運転者の状態を認識する運転者状態認識部と、
前記走行制御部により前記自動運転制御が実行されているときに、前記自動運転制御から前記手動運転制御への切替が予定されている自動運転終了地点よりも手前の地点に設定された切替準備地点に、前記車両が到達したときに、前記車両が該切替準備地点を走行する際に前記運転者状態認識部により認識された前記運転者の状態である第1運転者状態に応じて、前記運転者に対して応答を要求する第1応答要求を決定して出力する第1応答要求部と、
前記第1応答要求の出力に対する前記運転者の応答状態を示す第2運転者状態を、前記運転者状態認識部により認識し、該第2運転者状態に応じて、前記運転者に対して応答を要求する第2応答要求を決定して出力する第2応答要求部と、
前記運転者状態認識部により認識される前記運転者の状態を複数の段階に区分し、各段階に対して、優先順位を設定した複数の応答要求を割り当てる応答要求割当部と、
を備え、
前記第2応答要求部は、
前記第1応答要求と同じ内容の応答要求を前記第2応答要求の候補から除外して、前記第2応答要求を決定して出力し、
前記第1運転者状態に対する前記第2運転者状態の変化度合が所定レベル以下であるときに、前記第2運転者状態に割り当てられた応答要求が複数あるか否かを判断し、前記第2運転者状態に割り当てられた応答要求が複数ある場合は、前記複数の応答要求のうち、優先度が高い応答要求から先に選択して前記第2応答要求として出力し、前記第2運転者状態に割り当てられた応答要求が複数無い場合には、前記第2運転者状態に割り当てられた応答要求を前記第2応答要求として出力する
ことを特徴とする運転支援装置。
A travel control unit that selectively executes automatic operation control and manual operation control for the vehicle;
a driver state recognition unit that recognizes the state of the driver of the vehicle;
When the automatic operation control is executed by the travel control unit, a switching preparation point set at a point before the automatic operation end point where switching from the automatic operation control to the manual operation control is scheduled and, when the vehicle arrives, the driving is performed according to the first driver state, which is the state of the driver recognized by the driver state recognition unit when the vehicle travels through the switching preparation point. a first response request unit that determines and outputs a first response request requesting a response from the person;
A second driver state indicating a response state of the driver to the output of the first response request is recognized by the driver state recognition unit, and a response is made to the driver according to the second driver state. a second response request unit that determines and outputs a second response request requesting
a response request allocation unit that divides the state of the driver recognized by the driver state recognition unit into a plurality of stages, and allocates a plurality of response requests with a set priority to each stage;
with
The second response request unit is
excluding response requests having the same content as the first response request from candidates for the second response request, determining and outputting the second response request;
determining whether or not there are a plurality of response requests assigned to the second driver state when the degree of change in the second driver state with respect to the first driver state is equal to or less than a predetermined level; When there are a plurality of response requests assigned to the driver state, the response request having the highest priority among the plurality of response requests is first selected and output as the second response request, and the second response request is output. outputting the response request assigned to the second driver state as the second response request when there are not a plurality of response requests assigned to
A driving support device characterized by:
車両に対する自動運転制御と手動運転制御とを、選択的に実行する走行制御ステップと、
前記車両の運転者の状態を認識する運転者状態認識ステップと、
前記走行制御ステップにより前記自動運転制御が実行されているときに、前記自動運転制御から前記手動運転制御への切替が予定されている自動運転終了地点よりも手前の地点に設定された切替準備地点に、前記車両が到達したときに、前記車両が該切替準備地点を走行する際に前記運転者状態認識ステップにより認識された前記運転者の状態である第1運転者状態に応じて、前記運転者に対して応答を要求する第1応答要求を決定して出力する第1応答要求ステップと、
前記第1応答要求の出力に対する前記運転者の応答状態を示す第2運転者状態を、前記運転者状態認識ステップにより認識し、該第2運転者状態に応じて、前記運転者に対して応答を要求する第2応答要求を決定して出力する第2応答要求ステップと、
前記運転者状態認識ステップにより認識される前記運転者の状態を複数の段階に区分し、各段階に対して、優先順位を設定した複数の応答要求を割り当てる応答要求割当ステップと、
を含み、
前記第2応答要求ステップは、
前記第1応答要求と同じ内容の応答要求を前記第2応答要求の候補から除外して、前記第2応答要求を決定して出力し、
前記第1運転者状態に対する前記第2運転者状態の変化度合が所定レベル以下であるときに、前記第2運転者状態に割り当てられた応答要求が複数あるか否かを判断し、前記第2運転者状態に割り当てられた応答要求が複数ある場合は、前記複数の応答要求のうち、優先度が高い応答要求から先に選択して前記第2応答要求として出力し、前記第2運転者状態に割り当てられた応答要求が複数無い場合には、前記第2運転者状態に割り当てられた応答要求を前記第2応答要求として出力する
ことを特徴とする運転支援方法。
A travel control step for selectively executing automatic driving control and manual driving control for the vehicle;
a driver state recognition step of recognizing the state of the driver of the vehicle;
When the automatic operation control is executed by the travel control step, a switching preparation point set at a point before the automatic operation end point where switching from the automatic operation control to the manual operation control is scheduled. and, when the vehicle arrives, the driving is performed in accordance with the first driver state, which is the state of the driver recognized by the driver state recognition step when the vehicle travels through the switching preparation point. a first response request step of determining and outputting a first response request requesting a response from the person;
A second driver state indicating a response state of the driver to the output of the first response request is recognized by the driver state recognition step, and a response is made to the driver according to the second driver state. a second response request step of determining and outputting a second response request requesting
a response request assigning step of classifying the state of the driver recognized by the driver state recognition step into a plurality of stages and allocating a plurality of response requests with a set priority to each stage;
including
The second response requesting step includes:
excluding response requests having the same content as the first response request from candidates for the second response request, determining and outputting the second response request ;
determining whether or not there are a plurality of response requests assigned to the second driver state when the degree of change in the second driver state with respect to the first driver state is equal to or less than a predetermined level; When there are a plurality of response requests assigned to the driver state, the response request having the highest priority among the plurality of response requests is first selected and output as the second response request, and the second response request is output. outputting the response request assigned to the second driver state as the second response request when there are not a plurality of response requests assigned to
A driving support method characterized by:
JP2017204898A 2017-10-24 2017-10-24 Driving support device and driving support method Active JP7158839B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017204898A JP7158839B2 (en) 2017-10-24 2017-10-24 Driving support device and driving support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017204898A JP7158839B2 (en) 2017-10-24 2017-10-24 Driving support device and driving support method

Publications (2)

Publication Number Publication Date
JP2019079217A JP2019079217A (en) 2019-05-23
JP7158839B2 true JP7158839B2 (en) 2022-10-24

Family

ID=66627852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017204898A Active JP7158839B2 (en) 2017-10-24 2017-10-24 Driving support device and driving support method

Country Status (1)

Country Link
JP (1) JP7158839B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7310403B2 (en) 2019-07-23 2023-07-19 トヨタ自動車株式会社 Vehicle control device and automatic driving prohibition system
JP7280901B2 (en) * 2021-01-27 2023-05-24 本田技研工業株式会社 vehicle controller

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024778A (en) 2014-07-24 2016-02-08 株式会社デンソー Vehicle notification system, notification controller, and notification device
WO2016035268A1 (en) 2014-09-03 2016-03-10 株式会社デンソー Travel control system for vehicle
JP2016153960A (en) 2015-02-20 2016-08-25 トヨタ自動車株式会社 Drive support device
JP2017001563A (en) 2015-06-11 2017-01-05 パナソニックIpマネジメント株式会社 Vehicle control device, vehicle control method and vehicle control program
JP2017097518A (en) 2015-11-20 2017-06-01 オムロン株式会社 Automatic driving support device, automatic driving support system, automatic driving support method, and automatic driving support program
JP2017123054A (en) 2016-01-07 2017-07-13 株式会社デンソーアイティーラボラトリ Warning device, warning method and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024778A (en) 2014-07-24 2016-02-08 株式会社デンソー Vehicle notification system, notification controller, and notification device
WO2016035268A1 (en) 2014-09-03 2016-03-10 株式会社デンソー Travel control system for vehicle
JP2016153960A (en) 2015-02-20 2016-08-25 トヨタ自動車株式会社 Drive support device
JP2017001563A (en) 2015-06-11 2017-01-05 パナソニックIpマネジメント株式会社 Vehicle control device, vehicle control method and vehicle control program
JP2017097518A (en) 2015-11-20 2017-06-01 オムロン株式会社 Automatic driving support device, automatic driving support system, automatic driving support method, and automatic driving support program
JP2017123054A (en) 2016-01-07 2017-07-13 株式会社デンソーアイティーラボラトリ Warning device, warning method and program

Also Published As

Publication number Publication date
JP2019079217A (en) 2019-05-23

Similar Documents

Publication Publication Date Title
US11673569B2 (en) Alert control apparatus and alert control method
US10647331B2 (en) Presentation control device and presentation control method
JP6447481B2 (en) Startup proposal apparatus and startup proposal method
US20170221480A1 (en) Speech recognition systems and methods for automated driving
CN109844842B (en) Driving mode switching control device, system, method and storage medium
US10640129B2 (en) Driving assistance method and driving assistance device using same, driving assistance system
WO2022044768A1 (en) Vehicular display device
JP2020164056A (en) Control apparatus, control method and program
US20200062173A1 (en) Notification control apparatus and method for controlling notification
JP2017207388A (en) Automatic operation system and automatic operational state notification program
US20230013492A1 (en) Presentation control device and non-transitory computer readable storage medium
JP7158839B2 (en) Driving support device and driving support method
JP2018075900A (en) Vehicle control apparatus, vehicle control method and vehicle control program
JP2022008054A (en) Presentation control device, presentation control program, automatic operation control device, and automatic operation control program
CN114207692B (en) Driving support device, driving support system, and driving support method
WO2020202379A1 (en) Display control device, display control method, and program
WO2016157814A1 (en) Startup suggestion device and startup suggestion method
JP2018149822A (en) Operation mode changeover control device, method and program
CN111341134A (en) Lane line guide prompting method, cloud server and vehicle
JP7256867B2 (en) Control device, control method and program
JP2021160708A (en) Presentation control device, presentation control program, automatic travel control system and automatic travel control program
JP2018169771A (en) Notification control method and notification control device, automatic driving control device, vehicle, program, and notification control system using the same
JP2018188020A (en) Automated driving support device and automated driving support method
JP6635001B2 (en) Vehicle control device
WO2020065892A1 (en) Travel control method and travel control device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221012

R150 Certificate of patent or registration of utility model

Ref document number: 7158839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150