JP6708331B2 - Self-driving car - Google Patents
Self-driving car Download PDFInfo
- Publication number
- JP6708331B2 JP6708331B2 JP2018211869A JP2018211869A JP6708331B2 JP 6708331 B2 JP6708331 B2 JP 6708331B2 JP 2018211869 A JP2018211869 A JP 2018211869A JP 2018211869 A JP2018211869 A JP 2018211869A JP 6708331 B2 JP6708331 B2 JP 6708331B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- hospital
- driving mode
- automatic driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
この発明は、運転者の手動運転操作に基づく手動運転モードと、自律走行を行う自動運転モードとを有する自動運転車に関する。 The present invention relates to an automatic driving vehicle having a manual driving mode based on a driver's manual driving operation and an automatic driving mode for autonomous traveling.
自動車事故を防止して、自動車の運転者や同乗者及び歩行者や他車の運転者及び同乗者の安全を担保することができるようにするために、自動車に搭載される補助装置についての種々の提案がなされている。 A variety of auxiliary devices installed in a vehicle in order to prevent a car accident and ensure the safety of the driver and passengers of the vehicle and pedestrians and the drivers and passengers of other vehicles. Has been made.
例えば、特許文献１（特開２００９−１７３２５２号公報）には、運転者による酒酔い運転を防止するために、運転者が飲酒しているかどうかを判別して、自動車を発進させないようにする発明が提案されている。また、特許文献２（特開平１０−３１５８００号公報）には、運転者の覚醒度（運転者の覚醒（眠さの逆）の程度を表す指標で、その値が小さいほど眠さの程度が大きい）の低下が大きいときには、自動車を自動運転制御手段による車両走行制御をするようにすることが開示されている。 For example, in Patent Document 1 (Japanese Patent Laid-Open No. 2009-173252), in order to prevent a drunk driving by a driver, it is determined whether or not the driver is drunk to prevent the vehicle from starting. Is proposed. Further, Patent Document 2 (Japanese Patent Laid-Open No. 10-315800) is an index showing the degree of awakening of a driver (the degree of awakening of a driver (the opposite of sleepiness), and the smaller the value, the lower the degree of sleepiness. It is disclosed that when the decrease of (large) is large, the vehicle is controlled by the automatic driving control means.
ところで、最近、自動車の運転者が、例えば突然の心臓病や癲癇の発作のために人事不省の状態に陥ったり、前後不覚の状態になったり、失神したりすることによる事故が報じられている。 By the way, recently, it has been reported that an automobile driver has fallen into a state of personnel loss due to sudden attacks of heart disease and epilepsy, is in a state of unconsciousness, and faints. There is.
この場合に、運転者が人事不省の状態に陥ったり、前後不覚の状態になったり、失神したりした場合には、特許文献２の発明の考え方を適用して、自動車を自動運転制御手段による車両走行制御をすることで事故を回避し、自動車の対外的な問題を解決できると期待できる。
In this case, if the driver falls into a state of human resource inefficiency, is in a state of blindness, or faints, the idea of the invention of
しかしながら、自動車を自動運転制御手段による車両走行制御することで、事故を回避することができても、自動車の行先が定まっていないので、自動車は自動運転制御手段による車両走行制御で、どこに向かってよいのか不明となり、運転者が意図していた目的地に向かう経路とは異なる経路を走行する状態になる。あるいは、特許文献２の０００７段落に記載されているように、車両を例えば路肩等に退避させて停止させるしかない。
However, even if an accident can be avoided by controlling the vehicle traveling by the automatic driving control means, the destination of the vehicle is not fixed. It is unclear whether it is good or not, and the driver is in a state of traveling on a route different from the route intended for the destination. Alternatively, as described in paragraph 0007 of
また、人事不省の状態に陥ったり、前後不覚の状態になったり、失神したりした運転者については、対策が全く講じられないという問題がある。すなわち、人事不省の状態に陥ったり、前後不覚の状態になったり、失神したりした運転者は、迅速に、病院等で治療を受けることが肝要である。しかし、自動運転制御手段による車両走行制御で漫然と走行が行われると、運転者に発生した身体的な異変に対する適切な対応が遅れたり、できなかったりするという問題がある。特に、自動車に乗車しているのが、運転者一人の場合には、適切な対応が全く取れない事態も生じるという問題がある。すなわち、運転者や同乗者に関する、いわば自動車の対内的な問題については全く対策が講じられていない。 In addition, there is a problem that no measures can be taken for a driver who has fallen into a state of poor personnel management, is in a state of being unconscious before and after, or has fainted. That is, it is important for a driver who falls into a state of poor management, is in a state of unconsciousness, or has fainted to receive medical treatment promptly at a hospital or the like. However, if the vehicle is controlled by the vehicle driving control by the automatic driving control means, the driver may or may not be able to appropriately cope with a physical abnormality that occurs in the driver. In particular, if there is only one driver in the car, there is a problem that appropriate measures cannot be taken at all. In other words, no measures have been taken for the driver's and passengers' internal problems of the car.
この発明は、以上の問題点に鑑み、事故を回避して安全な運転を確保するようにする自動車の対外的な問題を解決しつつ、運転者や同乗者に関する、いわば自動車の対内的な問題についても適切に対応することができるようした自動運転車を提供することを目的とする。 In view of the above problems, the present invention solves an external problem of a vehicle for avoiding an accident and ensuring safe driving, and at the same time, a so-called internal problem of the vehicle regarding a driver and a passenger. It is an object of the present invention to provide an automatic driving vehicle capable of appropriately responding to.
上記の課題を解決するために、請求項１の発明は、
手動運転モードと、自律走行が可能である自動運転モードとを備える自動運転車において、
運転者の居眠りを判定する居眠り判定手段と、
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、自車を前記自動運転モードとすると共に、前記運転者を覚醒させるように働きかけをする手段と、
前記働きかけに対して前記運転者が覚醒したか否かを判別する判別手段と、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記自動運転モードにおいて予め定めた運転制御を行う制御手段と、
現在位置を検出する現在位置検出手段と、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記現在位置検出手段により検出された現在位置の周辺に存在する病院を検索し、前記検索により検出された病院を目的地として案内する病院ナビゲーション手段と、
通信手段と、
を備え、
前記制御手段は、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記病院ナビゲーション手段により、前記現在位置の周辺に存在する病院を検索して、その検索により検出された病院に、前記自動運転モードにおいて向かうように制御すると共に、
前記病院ナビゲーション手段による前記検出の機能により前記現在位置の周辺に存在する病院を検出できなかったときには、前記自動運転モードにおいて路肩又は予め定められた場所に駐車又は停車して、前記通信手段を通じて１１９番通報を行う
ことを特徴とする自動運転車を提供する。
In order to solve the above problems, the invention of
In an autonomous vehicle having a manual driving mode and an automatic driving mode capable of autonomous driving,
A doze determination means for determining the driver's dozing,
In the dozing determination means, when it is determined that the driver dozing, while setting the own vehicle in the automatic driving mode, a means for working to awaken the driver,
Discriminating means for discriminating whether or not the driver has awakened in response to the action;
When the determination unit determines that the driver is not awake, a control unit that performs predetermined driving control in the automatic driving mode,
Current position detecting means for detecting the current position,
When the determination unit determines that the driver does not wake up, it searches for a hospital existing around the current position detected by the current position detection unit, and guides the hospital detected by the search as a destination. Hospital navigation means to
Communication means,
Equipped with
The control means is
When the determination unit determines that the driver does not wake up, the hospital navigation unit searches for a hospital around the current position, and the hospital detected by the search is set to the automatic driving mode. While controlling to go in
When a hospital existing around the current position cannot be detected by the detection function of the hospital navigation means, the hospital is parked or stopped at a road shoulder or a predetermined place in the automatic operation mode, and the communication means 119 is used. To provide an autonomous vehicle characterized by making a number call .
上述の構成の請求項１の発明においては、居眠り判定手段により運転者の居眠りを判定し、運転者の居眠りを判定したときには、自車を自動運転モードとすると共に、運転者を覚醒させるように働きかけをする。この働きかけに対して運転者が覚醒したか否かを判別する。そして、運転者が覚醒しないと判別したときには、自動運転モードにおいて予め定めた運転制御を行う。
In the invention of
自動運転モードにおいて予め定めた運転制御としては、自車を自動運転モードにおいて予め定められた場所に停車させる、あるいは、現在位置の周辺に存在する病院に、自動運転モードにおいて向かうようにする制御を行うことができる。 The predetermined operation control in the automatic operation mode, to stop the vehicle at a predetermined location in the automatic operation mode, Or, the hospitals existing around the current position, so as to be directed in the automatic operation mode it is possible to perform that control be.
この発明による自動運転車によれば、運転者が居眠りをしたときには、自律走行が可能な自動運転モードとされると共に、運転者を覚醒させるように働きかけをするので、安全を確保することができる。そして、居眠りと判定されたときに、居眠りではなく、昏睡状態などの運転者に身体的な異変、身体的なトラブルや精神的なトラブルが生じているときには、運転者を覚醒させるように働きかけをしても、居眠り状態の運転者は反応しないので、それを判別することができる。したがって、その判別結果等に基づいて、自車を路肩に停車させて１１９番通報したり、病院に向かわせたりするなど、自動運転モードにおいて予め定めた運転制御を行って、運転者の身体的な異変等に対応する処理を行うことができる。 According to the self-driving vehicle of the present invention, when the driver falls asleep, the autonomous driving mode in which the vehicle can autonomously drive is set and the driver is urged to wake up, so that safety can be ensured. .. When it is determined that the driver is asleep, instead of falling asleep, if there is a physical abnormality in the driver such as a coma, or if there is a physical or mental trouble, encourage the driver to wake up. However, the driver in the dozing state does not react, so that it can be discriminated. Therefore, based on the result of the determination, the driver's physical condition is controlled by performing predetermined driving control in the automatic driving mode, such as stopping the vehicle on the shoulder of the road and calling 119 or heading to the hospital. It is possible to perform processing corresponding to such an abnormal change.
図１は、この発明の実施形態の自動運転車１の電子制御回路部１０のハードウエア構成例を示すブロック図である。なお、この実施形態の自動運転車１は、電気自動車の場合の例である。ただし、バッテリーは、図１では図示を省略した。
FIG. 1 is a block diagram showing a hardware configuration example of an electronic
また、この実施形態の自動運転車１は、自動運転モードと、手動運転モードとを備えている。手動運転モードは、自動運転車ではない通常の自動車と同様に、運転者のアクセルペダル操作やブレーキペダル操作、シフトレバー操作及びステアリング操作（ハンドル操作）に応じた走行ができるモードである。また、自動運転モードは、運転者がアクセルペダル操作やブレーキペダル操作、シフトレバー操作及びステアリング操作をしなくても、自動運転車１自身が自動的（自律的）に障害物を回避しながら進路変更をする走行モードである。
In addition, the self-driving
通常時は、自動運転車１の運転者は、例えば後述するタッチパネル１１２を通じた所定の操作により、手動運転モードで走行中の自動運転車１を自動運転モードに切り替えることができると共に、自動運転モードで走行中に、運転者がアクセルペダル操作やブレーキペダル操作、シフトレバー操作又はステアリング操作をすると、自動的に手動運転モードに戻るように構成されている。ただし、この実施形態の自動運転車１は、後述するように、強制的に手動運転モードから自動運転モードに切り替えられたときには、後述する所定の解除条件を満たした後でないと、上記の手動運転モードに戻る操作をしても、その操作は無効とされて、自動運転モードでの走行を維持するように制御される。
In normal times, the driver of the
利用者がタッチパネル１１２等を通じて選択設定する通常の自動運転モードと区別するために、この強制的に切り替えられた後の、手動運転モードに戻る操作をしてもその操作が無効とされて自動運転モードを継続するモードを、この明細書では、特に、強制自動運転モードと称し、また、強制自動運転モードではない自動運転モードを通常の自動運転モードと称することとする。
In order to distinguish from the normal automatic operation mode that is selectively set by the user through the
図１に示すように、電子制御回路部１０は、コンピュータを搭載して構成されている制御部１０１に対して、システムバス１００を通じて、モータ駆動制御部１０２、ステアリング駆動制御部１０３、手動／自動運転モード切替制御部１０４、手動運転操作検知部１０５、レーダー１０６、カメラ群１０７、センサ群１０８、周囲移動体把握部１０９、現在位置検出部１１０、表示部１１１、タッチパネル１１２、カーナビゲーション（以下、カーナビと略称する）機能部１１３、画像認識部１１４、自動運転切替条件判別部１１５、音声認識部１１６、車内状況判定部１１７、携帯電話機能部１１８、時計部１１９、合成音声発生部１２０、音声入出力部１２１、のそれぞれが接続されている。
As shown in FIG. 1, an electronic
モータ駆動制御部１０２には、モータ駆動部１３１が接続されている。ステアリング駆動制御部１０３には、ステアリング駆動部１３２が接続されている。また、カーナビ機能部１１３には、カーナビ用データベース１３３が接続されている。また、画像認識部１１４には、画像認識をするための比較画像の画像情報を記憶する画像情報記憶部１３４が接続されている。また、自動運転切替条件判別部１１５には、自動運転切替条件記憶部１３５が接続されている。さらに、音声認識部１１６には、音声認識をするための比較音声の音声情報を記憶する音声情報記憶部１３６が接続されている。そして、音声入出力部１２１には、マイクロホン１３７とスピーカ１３８が接続されている。
A
モータ駆動制御部１０２は、制御部１０１の制御の下に、この実施形態の電気自動車で構成される自動運転車１のモータ駆動部１３１への駆動信号の供給を制御して、自動運転車１の走行開始、走行速度制御（ブレーキ制御及びアクセル制御を含む）、走行停止などを制御するようにする。
Under the control of the
ステアリング駆動制御部１０３は、制御部１０１の制御の下に、この実施形態の自動運転車１のステアリング駆動部１３２への駆動制御信号の供給を制御して、自動運転車１の進路変更の制御をするようにする。
Under the control of the
手動／自動運転モード切替制御部１０４は、タッチパネル１１２を通じた選択操作入力に応じて、自動運転車１の運転モードを、手動運転モードと、自動運転モードとのいずれかに切り替える制御を行うと共に、後述するように、自動運転切替条件判別部１１５の判別結果に応じて、自動運転車１の運転モードを、手動運転モードと、自動運転モードと、強制自動運転モードとのいずれかに切り替える制御を行う。
The manual/automatic operation mode switching control unit 104 performs control for switching the operation mode of the
手動運転操作検知部１０５は、運転者によるアクセルペダル操作やブレーキペダル操作、シフトレバー操作さらにはステアリング操作の操作情報を受けて、その手動運転操作情報を手動／自動運転モード切替制御部１０４に供給する。
The manual driving
手動／自動運転モード切替制御部１０４は、自動運転車１が手動運転モードのときには、この手動運転操作検知部１０５からの手動運転操作情報を、モータ駆動制御部１０２、ステアリング駆動制御部１０３に供給して、モータ駆動部１３１、ステアリング駆動部１３２を、運転者のペダル操作やシフトレバー操作、ステアリング操作（ハンドル操作）に応じて制御する。
The manual/automatic driving mode switching control unit 104 supplies the manual driving operation information from the manual driving
また、手動／自動運転モード切替制御部１０４は、自動運転車１が自動運転モード（強制自動運転モードを含む）のときには、後述するようにして、レーダー１０６、カメラ群１０７、センサ群１０８、周囲移動体把握部１０９の出力に基づいて制御部１０１で生成される自動運転操作情報を、モータ駆動制御部１０２、ステアリング駆動制御部１０３に供給して、モータ駆動部１３１、ステアリング駆動部１３２を、自動運転操作情報により駆動制御する。なお、自動運転モード（強制自動運転モードを含む）においては、カーナビ機能部１１３において、運転者などにより設定された行先（目的地や目的地の属性）に対する現在位置からの経路が探索され、その探索された経路に沿って走行するように制御される。
Further, the manual/automatic driving mode switching control unit 104, when the
そして、この実施形態では、前述もしたように、手動／自動運転モード切替制御部１０４は、自動運転切替条件判別部１１５での切替条件の合致判別結果を受けて、運転者の意思に反して、すなわち、運転者による運転モードの選択設定に反して、手動運転モードから、強制的に自動運転モードに自動的に切り替える制御も行う。
In this embodiment, as described above, the manual/automatic operation mode switching control unit 104 receives the match determination result of the switching condition in the automatic operation switching
強制自動運転モードではない通常の自動運転モードにおいては、手動／自動運転モード切替制御部１０４は、自動運転モードでの走行中に、運転者がアクセルペダル操作やブレーキペダル操作、シフトレバー操作又はステアリング操作（ハンドル操作）をすると、その手動運転操作の検知情報に基づいて、自動運転車１の運転モードを自動的に手動運転モードに戻すようにモード切替制御を行う。
In the normal automatic driving mode other than the forced automatic driving mode, the manual/automatic driving mode switching control unit 104 allows the driver to operate the accelerator pedal, the brake pedal, the shift lever or the steering wheel while traveling in the automatic driving mode. When an operation (steering wheel operation) is performed, mode switching control is performed so as to automatically return the driving mode of the self-driving
しかし、自動運転車１の運転モードが強制自動運転モードであるときには、後述する解除条件を満足した場合を除き、原則的に、運転者がアクセルペダル操作やブレーキペダル操作、シフトレバー操作又はステアリング操作をしても、手動／自動運転モード切替制御部１０４は、その手動運転操作情報を無効として、強制自動運転モードを維持するようにする。
However, when the driving mode of the self-driving
レーダー１０６は、自動運転車１の車両の周囲に存在する人や物との距離を測るためのもので、レーザー・レーダーやミリ波レーダーなどからなる。レーザー・レーダーは、例えば天井やバンパー付近に埋め込まれ、ミリ波レーダーは、例えば車両の前部及び後部に設けられている。レーザー・レーダーとミリ波レーダーの両方を備えてもよいし、一方のみであってもよい。
The
カメラ群１０７は、自動運転車１の車内を撮影する１〜複数個のカメラと、自動運転車１の前方、側方、後方など、車外の周囲を撮影する１〜複数個のカメラとを含む。車内を撮影するカメラは、例えば運転席と助手席の間に設置されたバックミラー（後写鏡、ルームミラー）やフロントウインドウの上部などに取り付けられ、運転席に座った人物（運転者）の所作を撮影するカメラの他、助手席や、後部座席に座った乗車者（同乗者）の所作を撮影するためのカメラを含む。また、自動運転車１の周囲を撮影するカメラは、例えばバックミラーの左側方及び右側方に取り付けられ、自動運転車１の左前方及び右前方を主として撮影する２台のカメラ（ステレオカメラ）や、自動運転車１の例えばドアミラー又はフェンダーミラーに取り付けられて左右の側方を撮影するカメラ、自動運転車１の後方を撮影するカメラ、さらにルーフに取り付けられ広角で周囲を撮影する全方位カメラ（３６０度カメラ）や魚眼カメラ、などを含む。
The
センサ群１０８は、自動運転車１のドアの開閉や窓の開閉を検知する開閉検知センサ、シートベルト着用を検出するためのセンサ、運転席や助手席などの座席に乗車者が着座したことを検知する着座センサなどの他、車外の近傍の人物を検知する人感センサ（赤外線センサ）や自動運転のための補助となる情報を取得するための各種センサを含む。自動運転のための補助となる情報を取得するための各種センサとしては、例えば車両やタイヤの振動を検出するための振動センサ、タイヤの回転数を検出する回転数センサ、方位を検出するための地磁気センサ、加速度を検出するための加速度センサ、角度や角速度を検出するためのジャイロセンサ（ジャイロスコープ）、などが含まれる。
The
また、この実施形態では、自動運転車１の車内状況を判定する際の一助となる、温度センサ、湿度センサ、熱センサ、煙センサ、呼気センサ、一酸化炭素センサ、硫化水素センサなども、センサ群１０８には含まれる。なお、熱センサや煙センサは、車内での火災の発生を検知するためのものであり、呼気センサは、運転者の飲酒を検出するためのものであり、一酸化炭素センサ、硫化水素センサは、人体に毒性のあるガスが車内で発生したことを検知するためのものである。
Further, in this embodiment, a sensor such as a temperature sensor, a humidity sensor, a heat sensor, a smoke sensor, an exhalation sensor, a carbon monoxide sensor, a hydrogen sulfide sensor, etc., which is helpful in determining the in-vehicle situation of the
周囲移動体把握部１０９は、レーダー１０６やセンサ群１０８、また、カメラ群１０７の撮像画像を用いて、自車の周囲の移動体（人物を含む）を把握するようにする。周囲移動体把握部１０９は、例えばベイズ理論等に基づいた処理を行うことで、周囲の障害物や移動体を把握するようにする。
The surrounding moving
現在位置検出部１１０は、ＧＰＳ衛星からの電波を受信して、自車の現在位置を検出する。現在位置検出部１１０は、ＧＰＳ衛星からの電波により検出された位置の精度は悪いので、ＧＰＳ衛星からの電波の受信で検出された現在位置の情報のみではなく、センサ群１０８に含まれる１〜複数個のセンサからのセンサ出力情報及びレーダー１０６の出力情報、カメラ群１０７に含まれる１〜複数個のカメラからの撮像画像（ナビ機能を併用）などをも用いると共に、例えばベイズ理論等に基づいた処理を行うことで、より精度の高い現在位置を検出確認するようにしている。
The current
自動運転車１は、自動運転モードにおいては、現在位置検出部１１０や周囲移動体把握部１０９において、レーダー１０６、カメラ群１０７、センサ群１０８、ＧＰＳ衛星からの電波の受信で取得した位置情報などの各種情報、つまり、人間の目や耳から得る情報に対応する情報をベイズ理論等により処理し、これに基づき、制御部１０１は、自車の進路変更や障害物の回避など知的な情報処理（人工知能）及び制御（人工知能）を行って、自動運転操作情報を生成する。
In the automatic driving mode, in the
表示部１１１は、例えばＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）からなる。タッチパネル１１２は、ＬＣＤからなる表示部１１１の表示画面の上に、指によるタッチ入力が可能なタッチセンサが重畳されて配設されたものである。表示部１１１の表示画面には、制御部１０１の制御に基づき、ソフトウエアボタン（キーボードの文字入力用ボタンを含む）を含む表示画像が表示される。そして、タッチパネル１１２は、表示画面に表示されているソフトウエアボタン上の指によるタッチを検出すると、そのタッチを制御部１０１に伝達する。これを受けた制御部１０１は、ソフトウエアボタンに対応する制御処理を実行するように構成されている。
The display unit 111 includes, for example, an LCD (Liquid Crystal Display). The
カーナビ機能部１１３に接続されているカーナビ用データベース１３３には、国内の地図データ及び経路案内データが、予め格納されている。カーナビ機能部１１３は、カーナビ用データベース１３３に記憶されている地図データや、経路案内データに基づいて、自動運転車１が指定された目的地まで移動するのを補助するように案内するための機能部であり、経路探索機能のみではなく、所定の位置を中心とした周辺検索機能も備えている。この実施形態では、カーナビ機能部１１３は、手動運転モードと、自動運転モードとで、若干異なる処理をするように構成されている。
In the
すなわち、手動運転モードにおいては、カーナビ機能部１１３は、表示部１１１の表示画面上において、目的地までの経路（ルート）を明示的に表示する地図上に、現在位置検出部１１０で検出確認されている自車位置を重畳表示した画像を表示すると共に、自車の移動に伴い、地図上の自車位置（現在位置）を移動させ、かつ、ルート上の交差点や分岐点など、経路案内が必要な箇所で音声案内をするようにする。これは、通常のカーナビ機能と同様である。
That is, in the manual operation mode, the car
一方、自動運転モードにおいては、カーナビ機能部１１３は、自車の現在位置が目的地までのルート上から離れているときには、その離間方向及び距離の情報を制御部１０１に通知すると共に、自車の現在位置が目的地までのルート上に在るときには、自車の移動に伴い、ルート上の交差点や分岐点などの手前で、ルートに沿った進路方向の変更指示情報を制御部１０１に通知するようにする。制御部１０１は、このカーナビ機能部１１３からの通知された情報と、現在位置検出部１１０の現在位置確認結果及び周囲移動体把握部１０９の把握結果とに基づいて、自車がルート上を指示された通りの進路をとって移動するように、モータ駆動制御部１０２を通じてモータ駆動部１３１を制御すると共に、ステアリング駆動制御部１０３を通じてステアリング駆動部１３２を制御するための自動運転操作情報を生成する。したがって、自動運転モードにおけるカーナビ機能部１１３及び制御部１０１による目的地までの経路案内により、乗車者が無人の状態においても、自動運転車１は、目的地まで移動することができる。
On the other hand, in the automatic driving mode, when the current position of the vehicle is away from the route to the destination, the car
また、後述するように、手動運転モードから自動運転モード（あるいは強制自動運転モード）に切り替えられたときの行先として、目的地の属性、例えば「病院」、「ガソリンスタンド」、「コンビニエンスストア（以下、コンビニと略称する）」が登録されている場合には、カーナビ機能部１１３は、現在位置検出部１１０で検出された現在位置を中心として、前記目的地の属性についての周辺検索を行って、その周辺検索の結果の施設や場所を行先とするようにする。
In addition, as will be described later, the destination attribute such as "hospital", "gas station", "convenience store (hereinafter , "Convenience store") is registered, the car
また、この実施形態では、カーナビ機能部１１３は、現在位置検出部１１０で検出された現在位置情報の緯度・経度の情報から、カーナビ用データベース１３３の地図情報を参照することで、現在位置の場所名や施設名、住所を検出する機能を備える。そして、後述するように、カーナビ機能部１１３は、検出した現在位置の場所名や施設名、住所の名称を、制御部１０１の制御に基づいて、合成音声発生部１２０に転送する機能も備える。
Further, in this embodiment, the car
画像認識部１１４は、カメラ群１０７の内の車内を撮影するカメラや車外を撮影するカメラからの撮像画像と、画像情報記憶部１３４に記憶されている画像情報とのマッチング処理を行うことで、運転者や同乗者の身体的な異変、また、居眠り、飲食や喫煙、よそ見、わき見などの運転者の所作、運転者の履物など、車内状況の判定のための画像認識結果を得る。画像認識部１１４は、得た認識結果を車内状況判定部１１７に転送する。
The
画像認識部１１４に接続されている画像情報記憶部１３４には、画像認識用の比較画像の画像情報が記憶されている。画像情報記憶部１３４に記憶されている比較画像としては、車内を撮影するカメラからの撮影画像との比較用として、座席に座っている人の人事不省、前後不覚、失神の状態の画像、癲癇の発作の状態の画像、居眠り（瞼が一定時間以上閉じたままの状態や、頭のコックリコックリなど）の画像、よそ見やわき見をしている人の画像、飲食をしている人の画像、の他、飲食対象物（おにぎり、サンドイッチ、お弁当、アイスクリーム、飲料物（水、お茶、コーヒー）が入ったペットボトルや缶など、飲食の検出の補助となる）の画像、たばこ（喫煙の検出の補助となる）の画像、履物（下駄、スリッパ、ハイヒールなど運転を誤るおそれのある履物）や裸足（履物を履いておらず、運転を誤るおそれのある状態）の画像、などを含む。
The image
また、画像情報記憶部１３４に記憶されている比較画像としては、車外を撮影するカメラからの撮影画像との比較用として、よそ見やわき見の原因となる風景の画像（例えば紅葉の絶景の画像、名所・旧跡の画像、お祭りの神輿の画像、花火の画像、新装開店セールの画像など）や有名人の画像（著名な芸能人やスポーツ選手などの画像）、などを含む。
In addition, as the comparison image stored in the image
自動運転切替条件判別部１１５は、後で記憶内容を詳述する自動運転切替条件記憶部１３５に記憶されている手動運転モードから自動運転モード（強制自動運転モードを含む）に切り替える切替条件のいずれかに、後述する車内状況判定部１１７における車内状況の判定結果が合致するか否かを判別し、合致すると判別したときに、手動運転モードから自動運転モードあるいは強制自動運転モードへの切り替え指示を、手動／自動運転モード切替制御部１０４に送るようにする。
The automatic operation switching
音声認識部１１６は、マイクロホン１３７からの音声情報と、音声情報記憶部１３６に記憶されている音声情報とのマッチング処理を行うことで、運転者や同乗者の身体的な異変、また、運転者や同乗者の便意や尿意、などの車内状況の判定のための音声認識結果を得る。音声認識部１１６は、得た認識結果を車内状況判定部１１７に転送する。
The
音声認識部１１６に接続される音声情報記憶部１３６には、運転者や同乗者が身体的な異変が生じた時に発する唸り声、喘息音、悲鳴、あるいは「苦しい」、「助けて」、「気持ちが悪い」、「何とかして」、「むかむかする」、「吐きそう」、「うっ」、「げぇー」などの音声情報、また、運転者や同乗者が便意や尿意を催したときに発する「トイレ」、「化粧室」、「お手洗い」、「限界」、「もれそう」等の逼迫した声（言葉）の音声情報などが、音声認識部１１６での音声認識のための比較用として記憶されている。さらに、音声情報記憶部１３６には、子供の泣き声や、子供のシートからの落下音、ペットの吠え声なども、予め登録されて記憶されている。
In the voice
車内状況判定部１１７は、画像認識部１１４からの画像認識結果と、音声認識部１１６からの音声認識結果と、センサ群１０８の内の車内状況の判定に寄与する１〜複数のセンサからのセンサ出力とから、手動運転モードから自動運転モードに切り替える切替条件となる車内状況を判定する。そして、車内状況判定部１１７は、その車内状況の判定結果を自動運転切替条件判別部１１５に転送する。
The in-vehicle
携帯電話機能部１１８は、この例においては、自動運転車１に予め内蔵されているものであり、加入者登録されて、所定の加入者番号が割り当てられている。自動運転車１の運転者や同乗者は、いわゆるハンズフリーにより、携帯電話の通話ができる。そして、自動運転車１の制御部１０１は、後述するように、自動運転切替条件記憶部１３５に記憶されている切替条件に関連する設定情報として、１１９番への通報が記憶されているときには、当該携帯電話機能部１１８を通じて、１１９番通報を行う機能を備えている。その１１９番通報における通報情報は、合成音声発生部１２０からの合成音声により構成される。また、携帯電話機能部１１８は、メール機能やインターネット接続機能も備えている。
In this example, the mobile
時計部１１９は、カレンダー機能を備え、現在日時を提供すると共に、制御部１０１の制御に基づいて、所定のタイミング時点からの時間計測を行うタイマー機能も備える。
The
合成音声発生部１２０は、外部に放音する音声メッセージデータを記憶するメモリを内蔵すると共に、カーナビ機能部１１３からの現在位置の場所名や施設名、住所を合成音声に変換する機能を備える。なお、合成音声発生部１２０が記憶する音声メッセージとしては、後述するように、例えば「強制自動運転モードに切り替えました。」、「手動運転モードに切り替えました。」などの運転モードの切り替え通知メッセージや、自動運転車１の走行開始時に、目的地設定を促す通知メッセージなどが用意されている。
The synthetic
音声入出力部１２１には、前述したように、マイクロホン１３７が接続されていると共に、スピーカ１３８が接続されている。これらマイクロホン１３７及びスピーカ１３８は、携帯電話機能部１１８を用いたハンズフリーの通話用の送受器として用いられる。また、音声入出力部１２１は、携帯電話機能部１１８を用いたハンズフリーの通話用の音声の送受の機能を備えるのみではなく、車内状況の判定のための車内の音声情報を、マイクロホン１３７で収音して、音声認識部１１６に供給する機能と、前述した運転モードの切り替え通知メッセージや、目的地設定を促す通知メッセージなどをスピーカ１３８から放音する機能も備える。
As described above, the
自動運転切替条件判別部１１５に接続されている自動運転切替条件記憶部１３５には、この実施形態では、自動運転車１が手動運転モードである走行中、駐車中あるいは停車中において、自動運転車１の走行モードを手動運転モードから通常の自動運転モードあるいは強制自動運転モードに切り替えるための切替条件と、切替条件に合致したときの制御内容と、自動運転モードや強制自動運転モードにおける行先の情報と、自動運転モードや強制自動運転モードの解除条件とからなる自動運転切替条件テーブルＴＢＬが記憶されている。
In this embodiment, the automatic driving switching
切替条件は、運転者が手動運転モードにおける運転を継続すると、安全性を担保することに支障が生じるような車内状況として定義されている。すなわち、自動運転車１の車内状況がこの切替条件に合致する車内状況となった時には、危険性があったり、安全性が担保されていなかったりするので、手動運転モードから、通常の自動運転モードあるいは強制自動運転モードに切り替えて、安全運転を維持するような走行状態となるようにすべき条件として、この切替条件は定められている。
The switching condition is defined as an in-vehicle situation in which safety is impaired when the driver continues to drive in the manual driving mode. That is, when the in-vehicle situation of the self-driving
切替条件に合致したときの制御内容には、切替条件に合致したときに、通常の自動運転モードに切り替えるのか、強制自動運転モードに切り替えるのかの自動運転モードの指定情報と、合致した切替条件に応じて自動運転車１が、切替後の自動運転モード（強制自動運転モードを含む）において行うべき制御内容を含む。
The control contents when the switching condition is met include the automatic operation mode designation information indicating whether to switch to the normal automatic operation mode or the forced automatic operation mode when the switching condition is satisfied, and the matching switching condition. Accordingly, the self-driving
また、解除条件は、強制自動運転モードを解除して、手動運転モードに復帰させてもよい条件、又は自動運転モードから手動運転モードへの切り替えのための操作の条件である。 Further, the release condition is a condition in which the forced automatic operation mode may be released to return to the manual operation mode, or an operation condition for switching from the automatic operation mode to the manual operation mode.
この自動運転切替条件記憶部１３５に記憶される自動運転切替条件テーブルＴＢＬは、予め、自動運転車１の製造会社や販売会社により書き込まれて記憶される。また、この切替条件は、自動運転車１のユーザ、すなわち、運転者や同乗者によるタッチパネル１１２を通じた所定の操作により、事後的に追加して書き込まれることで、自動運転切替条件記憶部１３５に追加記憶することもできるものとされている。そして、自動運転車１のユーザ、すなわち、運転者は、いくつかの切替条件については、用いるかどうかを選択することもできるように構成されている。
The automatic driving switching condition table TBL stored in the automatic driving switching
また、自動運転切替条件テーブルＴＢＬは、予め各自動車会社が設定して登録するようにしてもよいし、自動車業界が標準化しても、また、国土交通省が定めてもよい。この場合には、ユーザによる記憶内容の変更、消去は不可とされる。なお、自動運転切替条件テーブルＴＢＬは、携帯電話機能部１１８が備えるインターネットへの接続機能を用いて、自動車会社や国土交通省などのホームページから、最新の条件テーブルがアップデートされるようにしてもよい。
The automatic driving switching condition table TBL may be set and registered in advance by each automobile company, may be standardized by the automobile industry, or may be determined by the Ministry of Land, Infrastructure, Transport and Tourism. In this case, the stored contents cannot be changed or deleted by the user. Note that the automatic driving switching condition table TBL may be updated with the latest condition table from a homepage of an automobile company, the Ministry of Land, Infrastructure, Transport and Tourism, using the Internet connection function of the mobile
図２及び図２の続きである図３、図４は、この実施形態における自動運転切替条件記憶部１３５の記憶内容である自動運転切替条件テーブルＴＢＬの例である。図２及び図３、図４の例では、切替条件は、「運転者又は同乗者の健康状態の異変１」、「運転者又は同乗者の健康状態の異変２」、「運転者の居眠り」、「運転者又は同乗者の車酔い、吐き気等の体調不良」、「運転者又は同乗者の便意や尿意」、「過労運転」、「走行中（赤信号停止中、踏切などの一時停止も含む）の運転者の飲酒」、「運転者によるよそ見、わき見運転」、「運転者による飲食又は喫煙」、「運転環境の悪化」、「同乗する子供やペットの異常行動」、「運転者の運転の仕方、姿勢」、「運転者が運転に支障のある履物を履いている、又は履物を履いていない」などの、事故を招きやすい状態を回避して、安全運転を担保するための条件が例示されている。そして、それぞれの切替条件に対応して、切替後の自動運転モードや強制自動運転モードの指定、制御内容と、行先、自動運転モードの解除条件、のそれぞれが定められている。
2 and FIG. 3, which is a continuation of FIG. 2, and FIG. 4 are examples of the automatic driving switching condition table TBL which is the storage content of the automatic driving switching
なお、図２及び図３に示した切替条件は、自動運転切替条件記憶部１３５の記憶内容の一部であり、その他予め定められた種々の切替条件が登録されていることは言うまでもない。
Needless to say, the switching conditions shown in FIGS. 2 and 3 are a part of the stored contents of the automatic driving switching
図２に示すように、例えば「運転者又は同乗者の健康状態の異変１」についての切替条件としては、運転者又は同乗者が人事不省、前後不覚、失神、などの緊急事態が登録されている。自動運転切替条件判別部１１５では、この「運転者又は同乗者の健康状態の異変１」についての切替条件に合致しているか否かを、車内状況判定部１１７の判定結果を用いて判別する。車内状況判定部１１７は、運転者又は同乗者について、画像認識部１１４での画像認識により、人事不省、前後不覚、失神のような身体的な異変が起こった状態になっているかどうかを判定する。
As shown in FIG. 2, for example, as the switching condition for "the
例えば、運転者の場合について説明する。図５（Ａ）に示すように、自動運転車１のバックミラー２の横に装着されたカメラ１０７ａにより、運転者３を撮影する。運転者３に身体的な異変が生じていないときには、運転者３の撮像画像は、運転者３が目を開けて前方を注視し、ステアリングホイール（ハンドル）４を操作している動きのある画像となる。一方、運転者３に身体的な異変が生じて人事不省、前後不覚、失神の状態になると、図５（Ｂ）に示すように、運転者３の撮像画像は、運転者３が目を閉じ、顔が前方を注視せずに下向き（上向きの場合もある）となり、ぐったりして動かない画像となる。車内状況判定部１１７は、画像認識部１１４からの認識結果から、図５（Ｂ）に示すような状態を判定し、自動運転切替条件判別部１１５に伝達するようにする。なお、より精緻な医学的な画像認識をするために、画像情報記憶部１３４には医学的に特徴的かつ精緻な比較画像情報を豊富に記憶するようにしてもよい。
For example, the case of a driver will be described. As shown in FIG. 5(A), the
自動運転切替条件判別部１１５は、この車内状況の判定結果を受けて、その判定結果と自動運転切替条件記憶部１３５の記憶内容とを照合することにより、「運転者又は同乗者の健康状態の異変１」についての切替条件に合致することを判別する。
Upon receiving the determination result of the in-vehicle situation, the automatic driving switching
なお、以上は、画像認識部１１４の画像認識結果のみに基づいて判定することについて説明したが、この実施形態では、車内状況判定部１１７は、画像認識結果に加えて、音声認識部１１６での音声認識により、唸り声や呻き声、鼾（脳溢血（脳出血）などの場合）などを認識したことなども加味して、この「運転者又は同乗者の健康状態の異変１」を判定するようにする。これにより、車内状況判定部１１７における判定の確度を向上させることができる。
In the above description, the determination is performed based on only the image recognition result of the
この「運転者又は同乗者の健康状態の異変１」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。そして、行先としては、病院が指定される。この指定される病院としては、予め運転者等が選択指定することができる。
The control content of the switching condition of "the
すなわち、特定の病院、例えばかかりつけの病院を指定することができる。その場合には、当該かかりつけの病院の病院名、住所、電話番号が自動運転切替条件記憶部１３５に記憶される。自動運転車１の制御部１０１は、携帯電話機能部１１８により、この病院の電話番号を用いて、当該病院に電話をかけ、自車の特徴や運転者の氏名などを告げ、急病人を連れてゆくことを病院に通知するようにする。このためのメッセージは、合成音声発生部１２０に予め記憶されている。なお、病院には、電話ではなく、メールで通知することもできる。また、急病人の病状を病院の医師らに正確に伝えるため、急病人の画像情報や音声情報を添付ファイルでメールするようにしてもよい。
That is, a specific hospital, for example, a family hospital, can be designated. In that case, the hospital name, address, and telephone number of the relevant hospital are stored in the automatic driving switching
また、特定の病院ではなく、「現在位置に近い救急病院又は一般病院」のように目的地属性を記憶するようにすることもできる。後述するように、行先として「現在位置に近い救急病院又は一般病院」のように目的地属性が指定されている場合には、カーナビ機能部１１３が、現在位置周辺の該当病院を周辺検索し、その周辺検索結果を行先とする。その場合に、病院の電話番号を取得することができる場合には、前述と同様に、自動運転車１の制御部１０１は、携帯電話機能部１１８により、この病院の電話番号を用いて、当該病院に電話をかけ、自車の特徴や運転者の氏名などを告げ、急病人を連れてゆくことを病院に通知するようにする。また、前述と同様に、電話のみならず、メールやＬＩＮＥ等の通信アプリケーションで通知することもできる。さらに、急病人の画像情報や音声情報を添付ファイルでメールするようにしてもよい。
Further, instead of a specific hospital, the destination attribute may be stored such as "emergency hospital or general hospital close to the current position". As will be described later, when the destination attribute is designated as a destination such as “emergency hospital or general hospital close to the current position”, the car
また、この実施形態では、行先として特定の目的地や目的地属性を指定するのではなく、路肩等に停車して、１１９番通報することを選択することができるようにされている。この１１９番通報の場合には、自車の特徴や運転者の氏名、急病人が発生したこと、現在位置の場所名、住所などを合成音声発生部１２０から発生させて、１１９番通報内容に含めるようにする。
Further, in this embodiment, instead of designating a specific destination or a destination attribute as a destination, it is possible to select to stop at a road shoulder or the like and issue a 119 call. In the case of this 119th call, the characteristics of the vehicle, the name of the driver, the occurrence of a sudden illness, the place name of the current position, the address, etc. are generated from the synthetic
なお、自動運転車１に各種医学情報（医療情報）や医学用データベース（図示せず）を内蔵する医学情報記憶部（図示せず）を備えるようにしてもよい。その場合に、医学情報記憶部には、脳内出血、くも膜下出血、脳梗塞、心筋梗塞、その他各種疾病について、病名、症状、対処法などの医学情報が克明に記憶される。症状については、各種疾病において特有の、目の状態、顔の表情などの画像情報や、鼾、呻き等の音声情報を記憶し、画像認識や音声認識で各種疾病を初期症状で迅速かつ正確に把握できるようにする。もちろん、画像情報は静止画のみならず動画も記憶される。したがって、異変１が起きた時、医学情報記憶部に記憶されている医学情報に基づいて、自動運転車１の制御内容、対処法、行先を決定するようにできる。
The
すなわち、自動運転車１は、異変１が起きた時、病院への移動が適切なのか、移動せず路肩等に停車して、１１９番通報をし、救急車の到着を待つ方が適切なのかなどを判断する。病院への移動が適切な場合は、自動運転車１は、急病人に負荷のかからない最適な走行速度（例えば時速３０ｋｍ以下）を選択したり、カーナビ機能部１１３には、カーナビ用データベース１３３に道路の凹凸情報なども持たせ、急病人に極力振動を与えず、スムーズに走行できる最適なルートを、カーナビ機能部１１３から提供したりするようにすることもできる。また、この医学情報記憶部には、運転者又は同乗者の既往症や病歴などを記憶しておくと、異変１が起きた時に、より迅速かつ適切な対応ができる。
In other words, is it appropriate for the
もちろん、疾病が特定された場合は、疾病の種類に基づいて、その専門医のいる病院、専門設備のある病院を行先とする。例えば、脳内出血、くも膜下出血、脳梗塞の場合は脳外科の専門医や専門設備、心筋梗塞の場合は循環器や心臓の専門医や専門設備が揃っている病院を行先とする。 Of course, when the illness is specified, the hospital having the specialist or the hospital having the specialized equipment is set as the destination based on the type of the illness. For example, in the case of intracerebral hemorrhage, subarachnoid hemorrhage, or cerebral infarction, a brain surgery specialist or specialized equipment is provided, and in the case of myocardial infarction, a hospital having a cardiovascular or cardiac specialist or specialized equipment is provided as a destination.
なお、乗車者（運転者又は同乗者）が妊婦であって、陣痛が起きた場合、人事不省、前後不覚、失神などの状態ではないし、疾病でもないが、生命に関わる緊急事態であり、異変１に準ずる。この場合、自動運転車１は、妊婦のかかりつけの産婦人科、産科、又は産院を行先として向かい、妊婦が無事に出産ができるようにする。かかりつけの産婦人科、産科、又は産院が現在位置から遠く、出産に間に合わない可能性がある場合は、現在位置に近い産婦人科、産科、又は産院をカーナビ機能部１１３の周辺検索機能により検索し、検索できた産婦人科、産科、又は産院を行先として向かうようにする。妊婦が破水した場合も同様で、かかりつけ又は最寄りの産婦人科、産科、又は産院を行先とする。
If the passenger (driver or passenger) is a pregnant woman and labor pain occurs, it is not a state of labor loss, anteroposterior insufficiency, fainting, etc., and is not a disease, but it is a life-threatening emergency. Same as
この「運転者又は同乗者の健康状態の異変１」の切替条件に対応する強制自動運転モードの解除条件は、「行先に到着」又は「救急車が到着」したときとされる。
The cancellation condition of the forced automatic driving mode corresponding to the switching condition of "the
次に、「運転者又は同乗者の健康状態の異変２」についての切替条件としては、運転者又は同乗者が人事不省、前後不覚、失神などの状態にまでは至っていないが、痙攣や喘息の発作、嘔吐などで手動運転が困難な身体的な異変が登録されている。車内状況判定部１１７は、画像認識部１１４での画像認識結果と、音声認識部１１６での音声認識結果とを用いて、この「運転者又は同乗者の健康状態の異変２」を判定するようにする。
Next, as a switching condition regarding "the
この「運転者又は同乗者の健康状態の異変２」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされると共に、身体的な異変が生じても運転者又は同乗者は覚醒していることを考慮して、この実施形態では、運転者又は同乗者に対する行先の問い合わせとされている。そして、行先としては、「自宅（住所や位置情報を含む）」、「病院（病院名や住所や位置情報を含む）」、「路肩に停車する」を、予め運転者等が選択指定することができる。また、この「運転者又は同乗者の健康状態の異変２」の切替条件に対応する強制自動運転モードの解除条件は、「行先に到着」したときとされる。
The control content of the switching condition of "
この「運転者又は同乗者の健康状態の異変２」の切替条件に合致したときには、自動運転切替条件判別部１１５の合致結果に基づき、制御部１０１は、例えば「大丈夫ですか？」という合成音声メッセージを送出して、安否を尋ねると共に、自動運転切替条件記憶部１３５に行先が事前登録されているときには、「行先を登録地にしますか？」との問い合わせをする。これは、事前登録では「自宅」や「路肩に停車」が選定されていても、身体的な異変の程度から病院に行くべきと運転者又は同乗者が判断する場合を考慮している。なお、この実施形態では、「路肩に停車」が事前登録されている場合には、「１１９番通報しますか？」という問い合わせを行うようにすることが定められている。
When the switching condition of "the
行先が事前登録されていないときには、「自宅に戻りますか？」、「病院に向かいますか？」、「停車しますか？」などの問い合わせメッセージを合成音声により発生し、それぞれのメッセージに対する「はい」、「いいえ」などの運転者又は同乗者の返事を音声認識して、その認識結果に応じて行先を定めるようにする。 When the destination is not pre-registered, an inquiry message such as "Do you want to return home?", "Are you going to the hospital?", "Do you want to stop?" The driver or passenger's reply such as "Yes" or "No" will be recognized by voice, and the destination will be determined according to the recognition result.
さらに、この実施形態では、「運転者又は同乗者の健康状態の異変２」の切替条件に対応する行先として、事前登録がなく、かつ、合成音声による問い合わせに対する応答がなかったときには、制御部１０１は、危険な状態と判断して、現在位置に近い救急病院又は一般病院をカーナビ機能部１１３の周辺検索機能により検索し、検索できた病院に向かうようにする。この場合に、病院が検索できなかったときには、路肩等に停車して、１１９番通報するようにする。１１９番通報においては、前述と同様に、自車の特徴や運転者の氏名、急病人が発生したこと、現在位置の場所名、住所などを合成音声発生部１２０から発生させて、１１９番通報内容に含めるようにする。
Further, in this embodiment, when there is no pre-registration as a destination corresponding to the switching condition of "
この「運転者又は同乗者の健康状態の異変２」の切替条件に対応する強制自動運転モードの解除条件は、「行先に到着」又は「救急車が到着」したときとされる。
The cancellation condition of the forced automatic driving mode corresponding to the switching condition of "the
なお、異変２が起きた時についても、上述の異変１と同様、医学情報記憶部（図示せず）に記憶されている医学情報に基づいて、自動運転車１の制御内容、対処法、行先を決定するようにできることはもちろんである。
Note that, even when the
次に、切替条件の「運転者の居眠り」について説明する。この場合、車内状況判定部１１７は、画像認識部１１４での運転者３を撮影するカメラ１０７ａの撮影画像の画像認識により、瞼が一定時間以上閉じたままの状態や、頭のコックリコックリなどを認識することにより、運転者の居眠りの状況を判定するようにする。
Next, the switching condition “driver's dozing” will be described. In this case, the in-vehicle
この「運転者の居眠り」の切替条件についての制御内容は、通常の自動運転モードへの切り替えとされると共に、運転者を覚醒させるための呼びかけ音声（合成音声）の送出とされる。呼びかけ音声により、運転者が覚醒する状態に復帰することが期待できるからである。ただし、呼びかけ音声によっても覚醒しない（画像認識から判断）ときには、居眠りではなく、身体的トラブルあるいは精神的なトラブルが予想される。 The control content of the switching condition of the "driver's dozing" is to switch to the normal automatic driving mode and to send out a calling voice (synthetic voice) for waking up the driver. This is because the call voice can be expected to return to a state in which the driver is awake. However, when the caller does not awaken (judged by image recognition), physical trouble or mental trouble is expected instead of falling asleep.
この「運転者の居眠り」の切替条件に対する行先としては、自動運転車１の走行開始時に設定された目的地とされる。ただし、呼びかけ音声によっても覚醒しない場合には、カーナビ機能部１１３の周辺検索機能により検索して得られる、現在位置に近い救急病院又は一般病院を行先とする。さらに、周辺検索で病院が見つからなかった場合には、路肩等に停車して、前述したような所定の通知事項を含めた１１９番通報をする。
The destination set for the switching condition of "driver's dozing" is set to the destination set when the
この「運転者の居眠り」の切替条件に対応する通常の自動運転モードの解除条件は、行先が「事前設定した目的地」の場合には「手動運転操作」とされ、行先が病院等のその他の場合には「行先に到着」したときとされる。 The normal automatic driving mode cancellation condition corresponding to this "driver's dozing" switching condition is "manual driving operation" when the destination is "preset destination", and the destination is other such as hospital. In the case of "," it is said that "arriving at the destination".
次に、切替条件の「運転者又は同乗者の車酔い、吐き気等の体調不良」について説明する。この場合、車内状況判定部１１７は、画像認識部１１４での運転者又は同乗者の撮影画像の画像認識結果と、「気持ちが悪い」、「車に酔った」、「むかむかする」、「吐きそう」、「うっ」、「げぇー」などの音声認識部１１６での音声認識結果とから、「運転者又は同乗者の車酔い、吐き気等の体調不良」の状況を判定するようにする。
Next, the switching condition “a physical sickness such as vehicle sickness or nausea of a driver or a passenger” will be described. In this case, the in-vehicle
この「運転者又は同乗者の車酔い、吐き気等の体調不良」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。そして、行先としては、現在位置が高速道路上であれば、最寄りのＰＡ（パーキングエリア）やＳＡ（サービスエリア）とされ、現在位置が一般道であれば「路肩に寄せて停車」とされる。なお、「自宅に戻る」を行先として登録することもできる。また、この「運転者又は同乗者の車酔い、吐き気等の体調不良」の切替条件に対応する強制自動運転モードの解除条件は、「行先に到着」したときとされる。 The control content of the switching condition of "the physical sickness of the driver or fellow passenger such as car sickness and nausea" is switching to the forced automatic driving mode. If the current position is on a highway, the destination is the nearest PA (parking area) or SA (service area), and if the current position is a general road, it is "stopped by approaching the shoulder". .. Note that "return to home" can be registered as the destination. Further, the condition for canceling the forced automatic driving mode corresponding to the switching condition of "the physical sickness such as car sickness and nausea of the driver or the passenger" is "when the vehicle arrives at the destination".
次に、切替条件の「運転者又は同乗者の便意や尿意」について説明する。この場合、車内状況判定部１１７は、画像認識部１１４での運転者又は同乗者の撮影画像の画像認識により、運転者又は同乗者がもぞもぞしている様子を判定すると共に、「トイレ」、「もれそう」、などの発声の音声認識部１１６での音声認識結果とから、「運転者又は同乗者の便意や尿意」の状況を判定するようにする。
Next, the switching condition “a driver's or fellow passenger's urgency or urgency” will be described. In this case, the in-vehicle
この「運転者又は同乗者の便意や尿意」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。そして、行先としては、現在位置が高速道路上であれば、最寄りのＰＡ（パーキングエリア）やＳＡ（サービスエリア）とされ、現在位置が一般道であれば、最寄りの「コンビニ」や「ガソリンスタンド」等のトイレのある場所とされる。このトイレのある場所は、「コンビニ」や「ガソリンスタンド」等の目的地の属性により事前登録することができる。また、この「運転者又は同乗者の便意や尿意」の切替条件に対応する強制自動運転モードの解除条件は、「行先に到着」したときとされる。 The control content of the switching condition of the "driver's or fellow passenger's urgency or urgency" is to switch to the forced automatic driving mode. If the current position is on a highway, the destination is the nearest PA (parking area) or SA (service area). If the current position is a general road, the nearest "convenience store" or "gas station" is selected. There is a toilet such as ". The location of this toilet can be registered in advance by the attribute of the destination such as "convenience store" or "gas station". Further, the condition for canceling the forced automatic driving mode corresponding to the switching condition of the "driver's or fellow passenger's urgency or urgency" is set to "arrive at destination".
次に、切替条件の「過労運転」について説明する。この場合の切替条件は、３種の条件のいずれかとされている。第１の条件は、一人の運転者が連続して、所定時間以上、例えば２時間以上、運転を継続したこととされる。第２の条件は、一人の運転者についての１日の総運転時間が所定時間以上、例えば５時間以上となったこととされる。第３の条件は、一人の運転者が運転している状態で、１日の手動運転モードと自動運転モードとの間での切替回数が所定回数以上、例えば２０回以上となったこととされる。以上のような３種の条件のいずれかが満足される状況は、運転者が過労のために、安全な運転に支障が生じる恐れがあることを考慮したものである。なお、過労の判定条件は上述の３種の条件に限らず、カメラ群１０７のカメラで撮影した運転者の顔の表情を画像認識し、疲労した表情か否かを判定したり、運転者の生体計測をし、その計測値から過労度合いを判定してもよい。
Next, the switching condition "overworking" will be described. The switching condition in this case is one of the three conditions. The first condition is that one driver continuously operates for a predetermined time or longer, for example, 2 hours or longer. The second condition is that the total operating time of one driver per day is a predetermined time or longer, for example, 5 hours or longer. The third condition is that one driver is driving, and the number of times of switching between the manual operation mode and the automatic operation mode per day is a predetermined number or more, for example, 20 or more. It The situation in which any one of the above three conditions is satisfied is in consideration of the possibility that the driver may overwork and may hinder safe driving. The conditions for determining overwork are not limited to the above-mentioned three types of conditions, and the facial expression of the driver's face photographed by the cameras of the
車内状況判定部１１７は、時計部１１９からの時間情報により、一人の運転者が連続して２時間以上、運転を継続したか、また、総運転時間が５時間を超えたかを判別することで、第１の条件又は第２の条件の切替条件の車内状況になったことを判定する。また、車内状況判定部１１７は、手動／自動運転モード切替制御部１０４からの手動運転モードと自動運転モードとの間での切替の情報を受け取り、その回数を計数することで、一人の運転者が運転している状態で、１日の手動運転モードと自動運転モードとの間での切替回数が２０回以上となったことを判別することで、第３の条件の切替条件の車内状況になったことを判定する。
Based on the time information from the
この「過労運転」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。そして、この「過労運転」の切替条件に対する行先としては、自動運転車１の走行開始時に設定された目的地とされる。そして、この「過労運転」の切替条件に対応する強制自動運転モードの解除条件は、「行先に到着」したときとされる。
The control content of the switching condition of the "overwork operation" is switching to the forced automatic operation mode. Then, as the destination for the switching condition of the "overwork driving", the destination set at the start of traveling of the
次に、切替条件の「運転者の飲酒」について説明する。この場合、車内状況判定部１１７は、センサ群１０８に含まれる呼気センサによる運転者の呼気に含まれるアルコール濃度の検出結果から、「運転者の飲酒」の車内状況の判定を行う。また、自動運転車１の車内において、運転者が飲料を飲んでいるときの画像を画像認識部１１４で画像認識し、飲んでいる飲料のボトルや缶がアルコール飲料であるかどうかを認識し、その認識結果を受けた車内状況判定部１１７が、「運転者の飲酒」の車内状況の判定を行うようにする。
Next, the switching condition "drinking of the driver" will be described. In this case, the in-vehicle
この「運転者の飲酒」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。そして、この「運転者の飲酒」の切替条件に対する行先としては、自動運転車１が走行中（赤信号停止中、踏切などの一時停止も含む）であれば、走行開始時に設定された目的地とされる。また、自動運転車１が駐車場や車庫などで停止状態であれば、「発進せず」としてもよいし、走行開始時に設定された目的地とするようにしてもよい。そして、この「運転者の飲酒」の切替条件に対応する強制自動運転モードの解除条件は、「行先に到着」、あるいは、「切替条件の消滅」とされる。切替条件の消滅は、呼気センサでの運転者の呼気のアルコール濃度が所定値以下となった時、あるいは、飲酒状態から正常状態に戻るとされる時間、例えば８時間経過後とされる。
The control content of the "driver's drinking" switching condition is switching to the forced automatic driving mode. Then, as the destination for the switching condition of "driving by the driver", if the
次に、切替条件の「運転者のよそ見・わき見」について説明する。この実施形態では、運転者によるよそ見やわき見が所定時間以上、例えば１分以上続くことが、切替条件とされる。車内状況判定部１１７は、カメラによる運転者の撮影画像の画像認識結果により、運転者がきょろきょろとしている状態の１分以上の継続と、その視線の方向とから、運転者のよそ見、わき見の車内状況を判定するようにする。運転者がきょろきょろとしている状態の１分以上の継続と、その視線の方向を考慮することにより、運転中の安全のための左右確認によるきょろきょろと区別して判定することができる。
Next, the switching condition “driver's looking away/looking aside” will be described. In this embodiment, the switching condition is that the driver looks aside or looks aside for a predetermined time or more, for example, for one minute or more. The in-vehicle
なお、よそ見・わき見の発生しやすいシチュエーションは、以下のようなものが考えられる。
・名所・旧跡・絶景（紅葉など含む）の場所。このような場所では運転者もそれら景観や景色を見たくなり、ついつい、よそ見やわき見をしてしまい、手動運転モードでは安全性の確保ができなくなる恐れがある。
・非日常のイベント、例えばお祭りの神輿、花火、新装開店セール、など。このようなイベントは運転者も見たくなり、ついついよそ見やわき見をしてしまい、手動運転モードでは安全性の確保ができなくなる恐れがある。
・有名人、例えば著名な芸能人やスポーツ選手、また最近話題の人物など。このような有名人は運転者もつい見たくなり、ついついよそ見やわき見をしてしまい、手動運転モードでは安全性の確保ができなくなる恐れがある。
The following situations can be considered as situations in which a person can look aside or look aside.
・Places of sights, historic sites, and spectacular scenery (including autumn leaves). In such a place, the driver also wants to see the scenery or the scenery, and inadvertently looks aside or looks aside, which may make it impossible to ensure safety in the manual driving mode.
・Extraordinary events such as festival mikoshi, fireworks, new store sales, etc. The driver may also want to look at such an event, and he/she may look around and look aside, which may make it impossible to ensure safety in the manual driving mode.
・Celebrities, such as famous celebrities and athletes, and people who have been talking about recently. Such a celebrity also wants the driver to keep an eye on the driver, and often looks aside or looks aside, which may make it impossible to ensure safety in the manual driving mode.
以上のようなシチュエーションを考慮して、車内状況判定部１１７は、カーナビ機能部１１３の周辺検索機能による名所・旧跡・絶景（紅葉など含む）の場所の検出を、上記の画像認識によるきょろきょろの状態の検出に加えて、「運転者のよそ見、わき見」の車内状況の判定をするようにすることができる。また、車内状況判定部１１７は、携帯電話機能部１１８を通じてインターネットにアクセスして、現在位置周辺におけるイベントの情報を検索し、上記のお祭り、花火、新装開店セールなどのイベントの開催の検出結果を、上記の画像認識によるきょろきょろの状態の検出に加えて、「運転者のよそ見、わき見」の車内状況の判定をするようにすることができる。さらに、画像情報記憶部１３４に、著名な芸能人やスポーツ選手、また最近話題の人物などの画像情報を記憶しておくことで、自動運転車１の外部を撮影するカメラからの撮影画像情報と、それらの人物の画像情報ととから、画像認識部１１４で、上記の著名な芸能人やスポーツ選手、また最近話題の人物の検出結果を、上記の画像認識によるきょろきょろの状態の検出に加えて、「運転者のよそ見、わき見」の車内状況の判定をするようにすることができる。
In consideration of the situations as described above, the in-vehicle
この「運転者のよそ見、わき見」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。そして、この「運転者のよそ見、わき見」の切替条件に対する行先としては、自動運転車１の走行開始時に設定された目的地とされる。
The control content of the switching condition of "looking away from the driver, looking aside" is switching to the forced automatic operation mode. Then, as the destination for the switching condition of the "driver's looking away, looking aside", the destination set at the start of traveling of the
なお、運転者に、合成音声メッセージにより立ち寄るかどうかを問い合わせて、その回答が肯定であるときには、周辺検索で検出された当該名所・旧跡や、インターネット検索で検出されたイベント会場等を行先としてもよい。または、見物のために、路肩等に停車するようにしてもよい。 If the driver is asked whether to stop by a synthetic voice message and the answer is affirmative, the destination may be the famous place/historic site detected by the surrounding search or the event venue detected by the Internet search. Good. Alternatively, the vehicle may be stopped on the road shoulder or the like for viewing.
そして、この「運転者のよそ見、わき見」の切替条件に対応する強制自動運転モードの解除条件は、「行先に到着」、あるいは、「切替条件の消滅」とされる。切替条件の消滅は、「運転者のよそ見、わき見」の状態が無くなってから所定時間例えば５分経過後とされる。あるいは、当該「運転者のよそ見、わき見」が発生した場所から所定距離、例えば５００メートル以上離れた時としてもよい。 Then, the condition for canceling the forced automatic operation mode corresponding to the switching condition of "looking away from the driver, looking aside" is "arrival at the destination" or "disappearance of the switching condition". The disappearance of the switching condition is made after a lapse of a predetermined time, for example, 5 minutes, after the state of "looking away from the driver, looking aside" disappears. Alternatively, it may be set at a predetermined distance, for example, 500 meters or more, from the place where the "driver's looking away, looking aside" occurs.
次に、切替条件の「運転者の飲食又は喫煙」について説明する。この実施形態では、運転者による飲食又は喫煙が所定時間以上、例えば３分以上続くことが、切替条件とされる。車内状況判定部１１７は、カメラによる運転者の撮影画像の画像認識結果により、運転者が飲食又は喫煙している状態を判定し、時計部１１９の時間情報に基づいて、その状態が３分以上続いたか否かにより、「運転者の飲食又は喫煙」の車内状況を判定するようにする。運転者による３分未満の短時間での飲食や喫煙は、手動運転への支障の程度が許容できる程度としている。
Next, the switching condition “eating or smoking by the driver” will be described. In this embodiment, the switching condition is that eating, drinking, or smoking by the driver continues for a predetermined time or more, for example, 3 minutes or more. The in-vehicle
この場合、画像認識部１１４では、カメラによる運転者の撮影画像中に含まれる、おにぎり、サンドイッチ、お弁当、アイス、水、お茶、コーヒー等を認識することで、運転者の飲食を認定することができるし、運転者が手に持つものがたばこであれば、運転者の喫煙の状態を認識することができる。ただし、この実施形態では、この「運転者の飲食又は喫煙」の切替条件については、当該切替条件に合致したときに、自動運転になってもよいという運転者からの意思表示を受け付けるようにしており、その肯定的な意思表示が設定されている場合のみ、この切替条件が有効とされる。
In this case, the
この「運転者の飲食又は喫煙」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。そして、この「運転者の飲食又は喫煙」の切替条件に対する行先としては、自動運転車１の走行開始時に設定された目的地とされる。
The control content regarding the switching condition of "eating and drinking or smoking by the driver" is switching to the forced automatic driving mode. Then, as the destination for the switching condition of "driver's eating or drinking", the destination set at the start of traveling of the
そして、この「運転者の飲食又は喫煙」の切替条件に対応する強制自動運転モードの解除条件は、「飲食又は喫煙の終了」、すなわち、「切替条件の消滅」とされる。 Then, the condition for canceling the forced automatic driving mode corresponding to the switching condition of "eating and drinking or smoking by the driver" is "end of eating and drinking or smoking", that is, "disappearance of switching condition".
次に、切替条件の「運転中の周囲環境の悪化」について説明する。この実施形態では、運転中の周辺環境が、逆光の状態、薄暮（日没）の状態、悪天候（雨、雪等）で、運転者が周囲を見づらくなる状態が、切替条件とされる。車内状況判定部１１７は、外部を撮影するカメラからの撮影画像や温度センサ、湿度センサのセンサ検出出力に基づいて、この「運転中の周囲環境の悪化」の車内状況を判定するようにする。なお、車内状況判定部１１７は、運転者が声を出して「見づらい」「運転しづらい」等と叫んでことを音声認識部１１６で音声認識した結果を、併せて用いて、この「運転中の周囲環境の悪化」を判定するようにしてもよい。
Next, the switching condition "deterioration of the surrounding environment during operation" will be described. In this embodiment, the switching environment is such that the surrounding environment during driving is a backlight condition, a dusk (sunset) condition, or bad weather (rain, snow, etc.) and it is difficult for the driver to see the surroundings. The in-vehicle
この「運転中の周囲環境の悪化」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。なお、強制自動運転モードではなく、通常の自動運転モードとしてもよい。そして、この「運転中の周囲環境の悪化」の切替条件に対する行先としては、自動運転車１の走行開始時に設定された目的地とされる。
The control content of the switching condition of "deterioration of the surrounding environment during operation" is switching to the forced automatic operation mode. The normal automatic operation mode may be used instead of the forced automatic operation mode. Then, as the destination for the switching condition of “deterioration of the surrounding environment during driving”, the destination set at the start of traveling of the
そして、この「運転中の周囲環境の悪化」の切替条件に対応する強制自動運転モードの解除条件は、運転中の周囲環境が好転したなどの「切替条件の消滅」とされる。 Then, the condition for canceling the forced automatic operation mode corresponding to the switching condition of "deterioration of the surrounding environment during driving" is "disappearance of switching condition" such as the surrounding environment during driving has improved.
次に、切替条件の「子供、ペットの行動」について説明する。この実施形態では、子供や赤ちゃんが、車内で危険な行動、例えば、座席から落ちるなどの行動をしたり、突然泣き出したりすると、運転者が気になって、その方向に振り向いたりするため、手動運転モードでは安全性の確保ができなくなる恐れがあることを考慮する。また、ペットの行動、例えば排泄行動や吠え声についても同様である。そこで、この実施形態では、これらの「子供、ペットの行動」を切替条件としている。 Next, the "action of children and pets" as a switching condition will be described. In this embodiment, children and babies, dangerous behavior in the vehicle, for example, behave like falling from the seat, or suddenly start crying, the driver is worried, because it turns around in that direction, Consider that the safety may not be ensured in the manual operation mode. The same applies to the behavior of pets such as excretion behavior and barking. Therefore, in this embodiment, these "child and pet actions" are set as the switching conditions.
車内状況判定部１１７は、同乗者を撮影するカメラからの撮影画像の画像認識結果と、音声認識部１１６での音声認識結果としての上記の子供の泣き声、落下音、ペットの吠え声とから、上記の切替条件の「子供、ペットの行動」を判定するようにする。
The in-vehicle
この「子供、ペットの行動」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。そして、この「子供、ペットの行動」の切替条件に対する行先としては、自動運転車１の走行開始時に設定された目的地とされる。
The control content regarding the switching condition of the "child and pet behavior" is switching to the forced automatic driving mode. Then, the destination set for the switching condition of the "child/pet behavior" is the destination set when the
そして、この「子供、ペットの行動」の切替条件に対応する強制自動運転モードの解除条件は、子供やペットの状態が通常に戻るなどの「切替条件の消滅」とされる。 Then, the cancellation condition of the forced automatic driving mode corresponding to the switching condition of "action of child or pet" is "disappearance of switching condition" such as returning the state of the child or pet to normal.
次に、切替条件の「運転者による片手運転、手放し運転」について説明する。この実施形態では、運転者による片手運転の状態が継続して所定時間以上、例えば２分以上続くこと、又は運転者による手放し運転の状態が継続して所定時間以上、例えば１０秒以上続くことが、切替条件とされる。車内状況判定部１１７は、カメラによる運転者の撮影画像の画像認識結果により、運転者が片手運転または手放し運転している状態を判定し、時計部１１９の時間情報に基づいて、その状態が２分以上継続、あるいは１０秒以上継続したか否かにより、「運転者による片手運転、手放し運転」の車内状況を判定するようにする。
Next, the switching condition "one-handed driving by the driver, hand-held driving" will be described. In this embodiment, the state of one-handed operation by the driver continues for a predetermined time or more, for example, 2 minutes or more, or the state of the driver's hand-over operation continues for a predetermined time or more, for example, 10 seconds or more. , Is a switching condition. The in-vehicle
この「運転者による片手運転、手放し運転」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。なお、この時、運転者に対しては、「片手運転、手放し運転は、危険であるため、自動運転モードに切り替えました」などという音声メッセージをスピーカ１３８から放音して、運転者に注意を喚起するようにする。
The control content of the switching condition of "one-handed driving by the driver, hand-released driving" is switching to the forced automatic driving mode. At this time, a voice message such as “One-handed driving or hand-held driving is dangerous, so it was switched to the automatic driving mode” is emitted to the driver from the
そして、この「運転者による片手運転、手放し運転」の切替条件に対する行先としては、自動運転車１の走行開始時に設定された目的地とされる。また、この「運転者による片手運転、手放し運転」の切替条件に対応する強制自動運転モードの解除条件は、運転者が片手運転や手放し運転を止めて、「運転者の運転姿勢が正しいものとなった時」とされる。
Then, as the destination for the switching condition of the "one-handed driving by the driver, the one-handed driving", the destination set at the start of traveling of the
次に、切替条件の「運転者の履物が不適切」について説明する。この実施形態では、運転者の履物が、例えば、下駄、スリッパ、ハイヒールなど、運転を誤るおそれのある履物であったり、履物を履かない裸足であったりして、運転に不適切のものである場合が切替条件とされる。 Next, the switching condition "the driver's footwear is inappropriate" will be described. In this embodiment, the driver's footwear is unsuitable for driving, for example, footwear such as geta, slippers, and high heels that may cause incorrect driving, or barefoot without footwear. The case is a switching condition.
車内状況判定部１１７は、カメラによる運転者の撮影画像中の履物（又は足）の画像認識結果により、履物が下駄、スリッパ、ハイヒールなどの不適切なものかどうか、又は裸足のような不適切な状態かどうかを判定する。
The in-vehicle
この「運転者の履物が不適切」の切替条件についての制御内容は、強制自動運転モードへの切り替えとされる。なお、この時、運転者に対しては、「履物が運転に不適切であるので、履物を交換してください」あるいは「裸足は運転に不適切なので、靴を履いてください」という合成音声メッセージを送出し、履物の交換や着用を警告するようにする。 The control content regarding the switching condition of “the driver's footwear is inappropriate” is switching to the forced automatic driving mode. At this time, a synthetic voice message is given to the driver saying, "Footwear is unsuitable for driving, please replace it." or "Because barefoot is unsuitable for driving, please wear shoes." To warn you about changing or wearing your footwear.
そして、この「運転者の履物が不適切」の切替条件に対する行先としては、自動運転車１の走行開始時に設定された目的地とされる。また、この「運転者の履物が不適切」の切替条件に対応する強制自動運転モードの解除条件は、運転者が履物を適切なものに交換し、あるいは着用して、切替条件が消滅したときとされる。
Then, as the destination for the switching condition of "the driver's footwear is inappropriate", the destination set when the
なお、以上説明した自動運転切替条件記憶部１３５の記憶内容は、切替条件、切替後の強制自動運転内容、解除条件のそれぞれを、対応する処理プログラムとして記憶するようにするものである。なお、ユーザが後で設定する切替条件、切替後の強制自動運転内容、解除条件のそれぞれについては、上記のような切替条件、解除条件及び強制自動運転モードでの制御内容を、ユーザが記述することで、対応する処理プログラムを自動的に生成して自動運転切替条件記憶部１３５に記憶するようにする処理機能を自動運転車１の電子制御回路部１０は備えるものである。
The storage contents of the automatic operation switching
以上のように、自動運転車１の電子制御回路部１０は構成されるが、図１に示した各ブロックのうち、モータ駆動制御部１０２、ステアリング駆動制御部１０３、手動／自動運転モード切替制御部１０４、周囲移動体把握部１０９、現在位置検出部１１０、カーナビ機能部１１３、画像認識部１１４、自動運転切替条件判別部１１５、音声認識部１１６、車内状況判定部１１７、の各処理機能は、制御部１０１が、ソフトウエア処理として実現することができる。
As described above, the electronic
［実施形態の自動運転車１での運転モードの切り替え処理動作の例］
図６及びその続きである図７は、実施形態の自動運転車１において、手動運転モードでの走行中（駐車中あるいは停車中の場合もある）に切替条件を監視して、通常の自動運転モードまたは強制自動運転モードへ切り替えを行う場合の処理動作の流れを説明するためのフローチャートを示す図である。
[Example of Operation Processing for Switching Driving Modes in
FIG. 6 and FIG. 7 that is a continuation of FIG. 6 show normal switching of the
この図６及び図７の説明においては、制御部１０１が、図１に示した各ブロックのうち、モータ駆動制御部１０２、ステアリング駆動制御部１０３、手動／自動運転モード切替制御部１０４、周囲移動体把握部１０９、現在位置検出部１１０、カーナビ機能部１１３、画像認識部１１４、自動運転切替条件判別部１１５、音声認識部１１６、車内状況判定部１１７、の各処理機能を、ソフトウエア処理として実現した場合として説明する。以下に説明する他のフローチャートの説明においても同様である。
In the description of FIGS. 6 and 7, among the blocks shown in FIG. 1, the
なお、この実施形態の自動運転車１では、手動運転モードにおいて運転者の意思に反して強制自動運転モードに切り替えられることを考慮して、自動運転車のエンジンを起動して最初の発進に際しては、運転者により、カーナビ機能において目的地の設定入力をさせるようにしている。したがって、自動運転車１は、強制自動運転モードに切り替えられた後には、自動運転切替条件記憶部１３５に行先として、この発進時における事前設定の目的地以外が指定されている場合を除き、行先のカーナビ機能部１１３による経路案内機能により、目的地へ向かうように走行制御を行うことができる。
In the
そのため、上述の図２〜図４の自動運転切替条件テーブルＴＢＬの行先の情報には、事前設定の目的地の指定を含めるようにしたが、このように、行先として事前設定の目的地の指定情報を記憶しなくてもよく、自動運転切替条件テーブルＴＢＬの切替条件について行先の指定情報が無いときには、行先は発進時における事前設定の目的地と自動的に決定するようにすることもできる。 Therefore, although the destination information of the automatic operation switching condition table TBL in FIGS. 2 to 4 described above includes designation of the preset destination, as described above, the designation of the preset destination is specified as the destination. Information may not be stored, and when there is no destination designation information regarding the switching conditions in the automatic driving switching condition table TBL, the destination may be automatically determined as a preset destination at the time of starting.
図６においては、まず、制御部１０１は、目的地（行先）の入力を促すメッセージを送出する（ステップＳ１）。そして、制御部１０１は、運転者による目的地の入力設定を待ち（ステップＳ２）、目的地の入力を受け付けたと判別したときには、その入力された目的地を保持するようにする（ステップＳ３）。目的地の入力を受け付けていないと判別したときには、ステップＳ２に戻し、目的地の入力の監視を継続する。
In FIG. 6, first, the
次に、制御部１０１は、運転モードが手動運転モードであるか否か判別する（ステップＳ４）。このステップＳ４で、運転モードは手動運転モードではなく自動運転モードであると判別したときには、制御部１０１は、自動運転モードの処理ルーチンに移行する。この自動運転モードの処理ルーチンにおいては、ステップＳ３で保持された目的地に、自動運転モードで向かうようにする。
Next, the
ステップＳ４で、運転モードは、手動運転モードであると判別したときには、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている自動運転モードへの切替条件を監視する（ステップＳ５）。そして、制御部１０１は、上述したような切替条件に合致したか否か判別し（ステップＳ６）、合致していないと判別したときには、処理をステップＳ５に戻し、切替条件の監視を継続する。
When it is determined in step S4 that the operation mode is the manual operation mode, the
ステップＳ６で、切替条件に合致したと判別したときには、制御部１０１は、合致した切替条件により手動運転モードから切り替える自動運転モードの設定は強制自動運転モードであるか否か判別する（ステップＳ７）。
When it is determined in step S6 that the switching condition is met, the
ステップＳ７で、設定は強制自動運転モードであると判別したときには、制御部１０１は、手動運転モードから強制自動運転モードへ切り替え、その旨をスピーカ１３８を通じて音声メッセージとして運転者に通知する（ステップＳ８）。そして、制御部１０１は、合致した切替条件に応じた強制自動運転モードへの切替後の制御内容を実行する（ステップＳ９）。
When it is determined in step S7 that the setting is the forced automatic operation mode, the
次に、制御部１０１は、強制自動運転モードの解除条件の監視を開始する（図７のステップＳ２１）。そして、制御部１０１は、強制自動運転モードの解除条件に合致したか否か判別し（ステップＳ２２）、合致していないと判別したときには、処理をステップＳ２１に戻して、解除条件の監視を継続する。
Next, the
ステップＳ２２で、強制自動運転モードの解除条件に合致したと判別したときには、制御部１０１は、運転モードを通常の自動運転モードに切り替え、その旨をスピーカ１３８を通じて音声メッセージとして運転者に通知する（ステップＳ２３）。そして、制御部１０１は、手動運転操作を検知したか否か判別し（ステップＳ２４）、手動運転操作を検知してはいないと判別したときには、このステップＳ２４を継続して、手動運転操作を待つ。
When it is determined in step S22 that the release condition of the forced automatic driving mode is satisfied, the
そして、ステップＳ２４で、手動運転操作を検知したと判別したときには、制御部１０１は、通常の自動運転モードから手動運転モードに切り替え、その旨をスピーカ１３８を通じて音声メッセージとして運転者に通知する（ステップＳ２５）。そして、制御部１０１は、処理をステップＳ５に戻し、このステップＳ５以降の処理を繰り返す。
When it is determined in step S24 that the manual driving operation is detected, the
また、ステップＳ７で、設定は強制自動運転モードではなく、通常の自動運転モードであると判別したときには、制御部１０１は、手動運転モードから通常の自動運転モードへ切り替え、その旨をスピーカ１３８を通じて音声メッセージとして運転者に通知する（ステップＳ１０）。そして、制御部１０１は、合致した切替条件に応じた通常の自動運転モードへの切替後の制御内容を実行する（ステップＳ１１）。
Further, when it is determined in step S7 that the setting is not the forced automatic operation mode but the normal automatic operation mode, the
次に、制御部１０１は、処理をステップＳ２４に移行させ、手動運転操作を検知したか否か判別し（ステップＳ２４）、手動運転操作を検知してはいないと判別したときには、このステップＳ２４を継続して、手動運転操作を待つ。そして、ステップＳ２４で、手動運転操作を検知したと判別したときには、制御部１０１は、通常の自動運転モードから手動運転モードに切り替え、その旨をスピーカ１３８を通じて音声メッセージとして運転者に通知する（ステップＳ２５）。そして、制御部１０１は、処理をステップＳ５に戻し、このステップＳ５以降の処理を繰り返す。
Next, the
なお、上述の処理は、強制自動運転モードの解除条件に合致すると、強制自動運転モードから通常の自動運転モードを経て、手動運転モードに切り替えるようにしたが、強制自動運転モードから通常の自動運転モードを経ずに、直接手動運転モードに切り替えるようにしてもよい。 In the above process, if the forced automatic operation mode release condition is met, the forced automatic operation mode is switched to the normal automatic operation mode and then to the manual operation mode. You may make it switch to a manual operation mode directly, without going through a mode.
以上は、この実施形態の自動運転車１における運転モードの切り替え処理の要部の大まかな動作の流れの説明である。次に、図６のステップＳ５の切替条件の監視から、ステップＳ９又はステップＳ１１の自動運転モードでの制御内容の処理までの部分の処理動作の例を、図８〜図１３のフローチャートを参照しながら、より詳細に説明する。
The above is a description of the flow of the rough operation of the main part of the switching processing of the driving mode in the
すなわち、制御部１０１は、運転者及び同乗者を、カメラ群１０７の内の車内を撮影するカメラで撮影し、その撮影画像を画像認識すると共に解析する（ステップＳ３１）。このステップＳ３１の処理は、画像認識部１１４の画像認識処理と、車内状況判定部１１７での画像認識結果の処理とが対応する。
That is, the
次に、制御部１０１は、マイクロホン１３７により車内の音や音声を収音し、その収音した音や音声を音声認識すると共に解析する（ステップＳ３２）。このステップＳ３２の処理は、音声認識部１１６の音声認識処理と、車内状況判定部１１７での音声認識結果の処理とが対応する。
Next, the
次に、制御部１０１は、センサ群１０８の内の車内に設けられる呼気センサなどの車内状況の判定に寄与するセンサの出力を取り込んで解析すると共に、車内状況判定に必要なその他の情報を取り込んで解析する（ステップＳ３３）。ここで、車内状況判定に必要なその他の情報としては、時計部１１９からの時間情報、カーナビ機能部１１３からの周辺検索結果の情報、携帯電話機能部１１８を通じてインターネットから取得した情報、手動／自動運転モード切替制御部１０４からの運転モードの切替情報などがある。
Next, the
次に、制御部１０１は、以上の情報の解析結果から車内状況を判定する（ステップＳ３４）。このステップＳ３４の処理は、車内状況判定部１１７での処理に対応する。
Next, the
次に、制御部１０１は、ステップＳ３４で判定した車内状況と、自動運転切替条件記憶部１３５に記憶されている切替条件とを比較参照し（ステップＳ３５）、その比較参照に基づいて、車内状況は、切替条件の内の「運転者又は同乗者の健康状態の異変１」に合致しているか否か判別する（ステップＳ３６）。
Next, the
このステップＳ３６で、車内状況は、切替条件の「運転者又は同乗者の健康状態の異変１」に合致していると判別したときには、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者又は同乗者の健康状態の異変１」の制御内容に従い、強制自動運転モードに切り替え、その旨を運転者に通知する（ステップＳ３７）。
When it is determined in step S36 that the in-vehicle condition matches the switching condition "the
次に、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者又は同乗者の健康状態の異変１」の行先の情報を読出し（ステップＳ３８）、行先として指定されているのは特定の病院か否か判別する（図９のステップＳ４１）。このステップＳ４１で、行先として指定されているのは特定の病院であると判別したときには、制御部１０１は、現在位置から指定された病院までのルートを探索して、行先を当該病院とする（ステップＳ４２）。このとき、当該病院の電話番号が自動運転切替条件記憶部１３５に記憶されているときには、制御部１０１は、携帯電話機能部１１８を通じて、当該病院に電話をかけ、自車の特徴や運転者の氏名などを告げ、急病人を連れてゆくことを内容とする合成音声メッセージを生成して病院に通知するようにする。制御部１０１は、このステップＳ４２の次には、図７のステップＳ２１に処理を進める。
Next, the
また、ステップＳ４１で、行先として指定されているのは特定の病院ではないと判別したときには、制御部１０１は、現在位置に近い病院が行先として指定されているか否か判別する（ステップＳ４３）。このステップＳ４３で、現在位置に近い病院が行先として指定されていると判別したときには、制御部１０１は、現在位置を中心として、現在位置に近い救急病院又は一般病院を周辺検索し（ステップＳ４４）、その周辺検索で検出された救急病院又は一般病院までの現在位置からのルートを探索し、行先を当該病院とする（ステップＳ４５）。このとき、当該病院の電話番号が周辺検索により取得できた時には、制御部１０１は、携帯電話機能部１１８を通じて、当該病院に電話をかけ、自車の特徴や運転者の氏名などを告げ、急病人を連れてゆくことを内容とする合成音声メッセージを生成して病院に通知するようにする。制御部１０１は、このステップＳ４５の次には、図７のステップＳ２１に処理を進める。
When it is determined in step S41 that the specified hospital is not the specific hospital, the
ステップＳ４３で、現在位置に近い病院が行先として指定されてはいないと判別したときには、制御部１０１は、１１９番通報が指定されているか否か判別する（ステップＳ４６）。このステップＳ４６で、１１９番通報が指定されていると判別したときには、制御部１０１は、自車を路肩等の駐車あるいは停車可能な場所に停止させて（ステップＳ４７）、携帯電話機能部１１８を通じて、１１９番通報する（ステップＳ４８）。この１１９番通報においては、自車の特徴や運転者の氏名、運転者の人事不省、前後不覚、失神等の状況、現在位置の場所名、住所などを合成音声として発生させて通知する。なお、この場合の行先は、自車を停止させる場所となる。この場合には、ステップＳ４８で処理の終了となる。
When it is determined in step S43 that the hospital close to the current position is not designated as the destination, the
ステップＳ４６で、１１９番通報が指定されていないと判別したときには、制御部１０１は、ステップＳ４４に処理をジャンプさせる。
When it is determined in step S46 that the 119th report has not been designated, the
なお、ステップＳ４４での周辺検索で、現在位置の近隣に存在する救急病院又は一般病院が検出できなかったときには、ステップＳ４７に処理をジャンプさせて、１１９番通報するようにしてもよい。 In addition, in the vicinity search in step S44, when an emergency hospital or a general hospital existing in the vicinity of the current position cannot be detected, the process may jump to step S47 and the 119th notification may be issued.
次に、図８のステップＳ３６において、車内状況は、切替条件の「運転者又は同乗者の健康状態の異変１」に合致してはいないと判別したときには、制御部１０１は、切替条件の「運転者又は同乗者の健康状態の異変２」に合致しているか否か判別する（図１０のステップＳ５１）。
Next, in step S36 of FIG. 8, when it is determined that the in-vehicle condition does not match the switching condition “
ステップＳ５１で、切替条件の「運転者又は同乗者の健康状態の異変２」に合致していると判別したときには、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者又は同乗者の健康状態の異変２」の制御内容に従い、強制自動運転モードに切り替え、その旨を運転者に通知する（ステップＳ５２）。
When it is determined in step S51 that the switching condition "the
次に、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者又は同乗者の健康状態の異変２」の行先の情報を参照して、登録された行先の指定があるか否か判別する（ステップＳ５３）。このステップＳ５３で、登録された行先の指定があると判別したときには、制御部１０１は、登録された行先で良いかどうかの問い合わせの音声を送出する（ステップＳ５４）。このとき、登録された行先が何処かも分かるように問い合わせが行われる。
Next, the
次に、制御部１０１は、この問い合わせに対して登録された行先で良いとの回答を受けたか否か判別する（ステップＳ５５）。このステップＳ５５で、登録された行先で良いとの回答を受けたと判別したときには、制御部１０１は、上述したステップＳ４２、ステップＳ４４、ステップＳ４５など、登録された行先に応じた処理を行う（ステップＳ５６）。そして、制御部１０１は、その処理後、処理を図７のステップＳ２１に進める。
Next, the
ステップＳ５５で、登録された行先以外という回答を受けた時には、制御部１０１は、行先を運転者又は同乗者に問い合わせる合成音声メッセージを発生して、スピーカ１３８を通じて放音する（ステップＳ５７）。
When receiving the answer that the destination is other than the registered destination in step S55, the
ステップＳ５３で、登録された行先の指定がないと判別したときには、制御部１０１は、ステップＳ５７に進める。そして、制御部１０１は、このステップＳ５７での問い合わせに対する応答を受けたか否か判別し（ステップＳ５８）、応答を受けたと判別したときには、その応答の音声情報を音声認識して、指定された行先を特定する（ステップＳ５９）。この時の行先の指定においては、特定の目的地が指定される場合のみではなく、「近くの病院」などの目的地の属性が指定される場合もある。そして、制御部１０１は、次に、指定された行先について、上述したステップＳ４２、ステップＳ４４、ステップＳ４５などの特定した行先に応じた処理を行う（ステップＳ６０）。そして、制御部１０１は、その処理後、処理を図７のステップＳ２１に進める。
When it is determined in step S53 that the registered destination is not designated, the
ステップＳ５８で、ステップＳ５７での問い合わせに対する応答はないと判別したときには、制御部１０１は、自車を路肩等の駐車あるいは停車可能な場所に停止させて（ステップＳ６１）、携帯電話機能部１１８を通じて、１１９番通報する（ステップＳ６２）。この１１９番通報においては、自車の特徴、急病人の発生、現在位置の場所名、住所などを合成音声として発生させて通知する。なお、この場合の行先は、自車を停止させる場所となる。この場合には、ステップＳ６２で処理の終了となる。
When it is determined in step S58 that there is no response to the inquiry in step S57, the
ステップＳ５１で、車内状況は、切替条件の「運転者又は同乗者の健康状態の異変２」に合致していないと判別したときには、制御部１０１は、車内状況は、切替条件の「運転者の居眠り」が合致しているか否か判別する（図１１のステップＳ７１）。そして、このステップＳ７１で、車内状況は、切替条件の「運転者の居眠り」が合致していると判別したときには、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者の居眠り」の制御内容に従い、自動運転モードに切り替え（ステップＳ７２）、運転者を覚醒させるための呼びかけの合成音声、例えば大きな音量で「起きなさい」、「危ない」などを発生させて、運転者に対してスピーカ１３８から放音する（ステップＳ７３）。なお、運転者を覚醒させるための手段としては、呼びかけの合成音声放音以外に、運転者に対するライトの点滅、運転席シートの振動、あるいはハンドルの振動を用いてもよいし、これらを組み合わせてもよい。
When it is determined in step S51 that the in-vehicle condition does not match the switching condition "
次に、制御部１０１は、この呼びかけ音声により運転者が覚醒したか否かを、カメラによる運転者の撮影画像の画像認識結果や、運転者からの返事の音声の音声認識結果から確認する（ステップＳ７４）。このステップＳ７４で、運転者の覚醒を確認できたと判別したときには、制御部１０１は、処理を図７のステップＳ２４に進める。
Next, the
また、ステップＳ７４で、運転者の覚醒を確認できなかったと判別したときには、制御部１０１は、運転者は単に居眠りをしているのではなく、運転者について身体的な異変が生じたと判断して、自車を路肩等の駐車あるいは停車可能な場所に停止させて（ステップＳ７５）、携帯電話機能部１１８を通じて、１１９番通報する（ステップＳ７６）。この１１９番通報においては、自車の特徴、急病人の発生、現在位置の場所名、住所などを合成音声として発生させて通知する。なお、この場合の行先は、自車を停止させる場所となる。この場合には、ステップＳ７６で処理の終了となる。
Further, when it is determined in step S74 that the driver's awakening could not be confirmed, the
ステップＳ７１で、車内状況は、切替条件の「運転者の居眠り」が合致してはいないと判別したときには、制御部１０１は、車内状況は、切替条件の「運転者又は同乗者の体調不良」と合致しているか否か判別する（図１２のステップＳ８１）。このステップＳ８１で、車内状況は、切替条件の「運転者又は同乗者の体調不良」と合致していると判別したときには、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者又は同乗者の体調不良」の制御内容に従い、強制自動運転モードに切り替え、その旨を運転者に通知する（ステップＳ８２）。
When it is determined in step S71 that the in-vehicle condition does not match the switching condition "driver's dozing", the
次に、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者又は同乗者の体調不良」の行先の情報を参照して、行先として自宅が登録されているか否か判別する（ステップＳ８３）。このステップＳ８３で、行先として自宅が登録されていると判別したときには、制御部１０１は、自宅に戻るかどうかの問い合わせの合成音声を発生させて、スピーカ１３８から放音する（ステップＳ８４）。
Next, the
制御部１０１は、この問い合わせに対して肯定的な回答（音声）が運転者から得られたか否かにより、自宅に戻るかどうかを判別する（ステップＳ８５）。このステップＳ８５で、問い合わせに対する肯定的な回答が得られたとして自宅に戻ると判別したときには、制御部１０１は、行先を自宅して、現在位置から自宅に戻るルートを探索し、強制自動運転モードにより自宅に戻る（ステップＳ８６）。この場合には、ステップＳ８６で処理の終了となる。
The
ステップＳ８５で、問い合わせに対する肯定的な回答が得られなかったことにより、自宅に戻ることはしないと判別したときには、制御部１０１は、処理をステップＳ８７に進める。また、ステップＳ８３で、行先として自宅が登録されてはいないと判別したときにも、制御部１０１は、処理をステップＳ８７に進める。
When it is determined in step S85 that the inquiry is not returned in the affirmative so that the user does not return to the home, the
ステップＳ８７では、制御部１０１は、現在位置は高速道路上であるか否か判別し、高速道路上であると判別したときには、進行方向の最寄りのＰＡ（パーキングエリア）又はＳＡ（サービスエリア）を検索し、検索結果のＰＡ（パーキングエリア）又はＳＡ（サービスエリア）を行先とする（ステップＳ８８）。そして、このステップＳ８８で、この処理ルーチンを終了する。
In step S87, the
また、ステップＳ８７で、現在位置は、高速道路上ではなく一般道であると判別したときには、制御部１０１は、自車を路肩等、駐車可能な場所に停止させる（ステップＳ８９）。そして、このステップＳ８８で、この処理ルーチンを終了する。
Further, when it is determined in step S87 that the current position is not a highway but an ordinary road, the
ステップＳ８１で、車内状況は、切替条件の「運転者又は同乗者の体調不良」と合致していないと判別したときには、制御部１０１は、車内状況は、切替条件の「運転者又は同乗者の便意や尿意」であるか否か判別する（図１３のステップＳ９１）。このステップＳ９１で、車内状況は、切替条件の「運転者又は同乗者の便意や尿意」であると判別したときには、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者又は同乗者の便意や尿意」の制御内容に従い、強制自動運転モードに切り替え、その旨を運転者に通知する（ステップＳ９２）。
When it is determined in step S81 that the in-vehicle condition does not match the switching condition "the physical condition of the driver or fellow passenger is not good", the
次に、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、当該切替条件の「運転者又は同乗者の便意や尿意」の行先の情報を参照して、現在位置は高速道路上であるか否か判別し（ステップＳ９３）、高速道路上であると判別したときには、進行方向の最寄りのＰＡ（パーキングエリア）又はＳＡ（サービスエリア）を検索し、検索結果のＰＡ（パーキングエリア）又はＳＡ（サービスエリア）を行先とする（ステップＳ９４）。そして、このステップＳ９４で、この処理ルーチンを終了する。
Next, the
また、ステップＳ９３で、現在位置は、高速道路上ではなく一般道であると判別したときには、制御部１０１は、最寄りのコンビニやガソリンスタンドなど、トイレのある場所を検索し、その検索の結果、検出された場所を行先とする（ステップＳ９５）。そして、このステップＳ９５で、この処理ルーチンを終了する。
Further, when it is determined in step S93 that the current position is not a highway but an ordinary road, the
また、ステップＳ９１で、車内状況は、切替条件の「運転者又は同乗者の便意や尿意」ではないと判別したときには、制御部１０１は、自動運転切替条件記憶部１３５に記憶されている、「過労運転」、「運転者の飲酒」、「運転者によるよそ見、わき見運転」、「運転者による飲食又は喫煙」、「運転環境の悪化」、「同乗する子供やペットの異常行動」、「運転者の運転の仕方、姿勢」、「運転者が運転に支障のある履物を履いている、又は履物を履いていない」など、他の切替条件に合致するか否か判別する（ステップＳ９６）。このステップＳ９６で、車内状況は、他の切替条件にも合致していないと判別したときには、制御部１０１は、処理を図８のステップＳ３１に戻し、このステップＳ３１以降の処理を繰り返す。
When it is determined in step S91 that the in-vehicle condition is not the switching condition "the driver's or fellow passenger's urgency or urgency", the
また、ステップＳ９６で、自動運転切替条件記憶部１３５に記憶されている他の切替条件のいずれかに合致すると判別したときには、制御部１０１は、その合致した切替条件に対応して記憶されている制御内容を実行し、また、その合致した切替条件に対応して記憶されている行先の情報に基づいて行先を定める（ステップＳ９７）。そして、制御部１０１は、処理を図７のステップＳ２１に進める。
When it is determined in step S96 that any of the other switching conditions stored in the automatic driving switching
［実施形態の効果］
以上説明した実施形態の自動運転車によれば、交通事故等の発生を未然に防ぐために、強制的に手動運転モードから自動運転モードに切り替えた場合にも、運転者が事前に設定した目的地を行先として自動運転車１は自動運転モードで走行をするので、運転者が意図していた目的地に向かう経路とは異なる経路を走行する状態になることはない。
[Effect of Embodiment]
According to the self-driving vehicle of the embodiment described above, in order to prevent the occurrence of traffic accidents and the like in advance, even when forcibly switching from the manual driving mode to the automatic driving mode, the destination set by the driver in advance Since the self-driving
また、上述の実施形態の自動運転車によれば、交通事故等の発生を回避することができるように安全性を確保しながら、運転者又は同乗者に生じた身体的な異変に応じて、適切な行先に自動運転車を向けることができるという顕著な効果を奏する。すなわち、運転者が、人事不省の状態に陥ったり、前後不覚の状態になったり、失神したりした場合においても、行先として病院が設定されるので、運転者に発生した身体的な異変に対する適切な対応が迅速に行われることが期待できる。特に、自動車に乗車しているのが、運転者一人の場合であっても、この実施形態の自動運転車により、当該運転者が病院等に運ばれることにより、適切な対応がなされるという顕著な効果を奏する。 Further, according to the self-driving vehicle of the above-described embodiment, while ensuring safety so that the occurrence of a traffic accident or the like can be avoided, according to a physical abnormality that occurs in the driver or the passenger, The remarkable effect that the self-driving car can be directed to an appropriate destination is achieved. In other words, even if the driver falls into a state of human resource loss, becomes blind, or even faints, the hospital is set as the destination, so that the driver will not be affected by a physical abnormality that occurs in the driver. It can be expected that appropriate measures will be taken promptly. In particular, even if only one driver is in the car, it is remarkable that the driver of this embodiment is taken to a hospital or the like by the driver's self-driving car to take appropriate measures. Has a great effect.
［他の実施形態又は変形例］
以上の実施形態の説明において、図２及び図３、図４の自動運転切替条件テーブルＴＢＬの切替条件として、「運転者又は同乗者の健康状態の異変１」、「運転者又は同乗者の健康状態の異変２」、「運転者の居眠り」、「運転者又は同乗者の車酔い、吐き気等の体調不良」、「運転者又は同乗者の便意や尿意」、「過労運転」、「運転者の飲酒」、「運転者によるよそ見、わき見運転」、「運転者による飲食又は喫煙」、「運転環境の悪化」、「同乗する子供やペットの異常行動」、「運転者の運転の仕方、姿勢」、「運転者が運転に支障のある履物を履いている、又は履物を履いていない」などの、事故を招きやすい状態を回避して、安全運転を担保するための条件を例示した。これらの切替条件は、手動運転モードでの走行中、駐車中あるいは停車中の場合において用いられるものであるが、これらの切替条件の内、「運転者の居眠り」「運転者によるよそ見、わき見運転」、「運転者による飲食又は喫煙」、「運転環境の悪化」、「同乗する子供やペットの異常行動」、「運転者の運転の仕方、姿勢」などは、自動運転車が停止中には基本的に安全性に影響がないため、走行中の場合のみを切替条件として、駐車中あるいは停車中の場合には、切替条件にしないようにすることができる。
[Other Embodiments or Modifications]
In the above description of the embodiment, as the switching condition of the automatic driving switching condition table TBL of FIGS. 2, 3, and 4, “
また、「運転者又は同乗者の健康状態の異変１」、「運転者又は同乗者の健康状態の異変２」については、緊急に病院に向かったり、１１９番通報して路肩等に停車し、救急車の到着を待ったりする必要があるので、手動運転モードでの走行中、駐車中あるいは停車中の場合のみならず、通常の自動運転モードでの走行中、駐車中あるいは停車中の場合であっても、切替条件とすることができる。「運転者又は同乗者の車酔い、吐き気等の体調不良」、「運転者又は同乗者の便意や尿意」についても、最寄りのＰＡ（パーキングエリア）又はＳＡ（サービスエリア）又はガソリンスタンドなどの行先に移動し、トイレを利用したり、休憩したりする必要があるので、通常の自動運転モードでの走行中、駐車中あるいは停車中の場合であっても、切替条件としてもよい。
In addition, regarding "
なお、以上の実施形態の説明においては、切替条件を逐次的（シリアル）に判別処理していたが、並列的（パラレル）に判別処理するようにしてもよい。 In the above description of the embodiment, the switching conditions are sequentially (serially) determined, but they may be determined in parallel (parallel).
また、以上の実施形態の説明においては、切替条件の車内状況は、運転者や同乗者の身体的な異変や、運転者や同乗者の行動や所作に基づく自動車の手動運転に支障が生じる状況を、切替条件とする車内状況としたが、自動車内で発生する外的要因をも含めた車内状況を切替条件とするようにしてもよい。 Further, in the description of the above embodiment, the in-vehicle situation of the switching condition is a situation in which a physical abnormality of the driver or the passenger and a situation in which the manual operation of the vehicle based on the behavior or behavior of the driver or the passenger causes an obstacle. Although the in-vehicle situation is set as the switching condition, the in-vehicle situation including an external factor occurring in the vehicle may be set as the switching condition.
例えば、自動運転車で発生した火災や異常に基づいて、運転者や同乗者がやけどや怪我をしたことを切替条件とし、行先を例えば病院とするようにすることができる。また、乗車者が、車内に練炭を持ち込んで自殺するのを防止するために、車内の一酸化炭素濃度が所定以上になったことと、乗車者が運転せずに、動かない状態にいることを切替条件とするようにしてもよい。この場合には、一酸化炭素濃度は、一酸化炭素の濃度センサにより検出可能であり、乗車者が運転せずに、動かない状態にいることは、カメラ群１０７に含まれるカメラの撮像画像の画像認識により検出可能である。この場合は、行先を病院として、停止状態の自動運転車を発進し、乗車者を搬送するか、１１９番通報して路肩等に停車し、救急車の到着を待つようにする。これと同時に、一酸化炭素濃度を下げるために、窓を開けるようにする。これらの解除条件は、「行先（病院）に到着」又は「救急車が到着」したときとされる。
For example, a driver or fellow passenger may be burned or injured based on a fire or an abnormality that has occurred in an autonomous vehicle, and the destination may be, for example, a hospital. Also, in order to prevent passengers from bringing in briquettes into the vehicle and committing suicide, the concentration of carbon monoxide in the vehicle has exceeded a certain level, and the passenger is not driving and is not moving. May be set as the switching condition. In this case, the carbon monoxide concentration can be detected by the carbon monoxide concentration sensor, and the fact that the occupant does not move without driving indicates that the images captured by the cameras included in the
また、自動運転車が故障により、ドアロックが解除できなくなって、乗車者が降車できなったことを切替条件とするようにすることもできる。この場合の車内状況の検出は、乗車者が「助けて」「出られない」と発声することの検出と、ドアセンサの検出出力とに基づいて行うことができる。この場合は、行先を例えば自動車整備工場や自動車販売会社にし、そこでドアロックの解除をしてもらうようにする。解除条件は、「ドアロックが解除」又は「行先（自動車整備工場など）に到着」したときとされる。 Further, the switching condition can be set such that the door lock cannot be released due to a failure of the self-driving vehicle and the passenger can get off the vehicle. The detection of the vehicle interior situation in this case can be performed based on the detection that the passenger utters "help" and "cannot get out" and the detection output of the door sensor. In this case, the destination is, for example, an automobile maintenance shop or an automobile sales company, and the door lock is requested to be unlocked there. The release condition is when the door is unlocked or when the vehicle arrives at the destination (automobile repair shop, etc.).
なお、自動運転車が車内で火災を起こし、消火できない場合は、走行するのは危険なので、それを切替条件として、１１９番通報して、他に引火の危険のない路肩等に停車する。運転者や同乗者は自動運転車から降車し、消防車の到着を待つようにする。これは、自動運転車が無人運転（自動運転）であっても適用できる。解除条件は、「火災の消火が完了」又は「消防自動車が到着」したときとされる。 If the self-driving car causes a fire in the vehicle and the fire cannot be extinguished, it is dangerous to drive. Therefore, as a switching condition, 119 is notified and the vehicle is stopped at a shoulder or the like where there is no danger of ignition. Drivers and passengers should leave the self-driving car and wait for the fire engine to arrive. This can be applied even if the self-driving vehicle is unmanned (automatic driving). The cancellation condition is when the "fire extinguishing is completed" or "the fire engine arrives".
自動運転車が無人運転（自動運転）時に、異常や故障が発生した場合、それを切替条件として、行先を例えば自動車整備工場、自動車販売会社など、異常や故障を回復・修理できるところに変更する。異常や故障の程度や内容によっては、ＪＡＦ（Japan Automobile Federation；日本自動車連盟）に連絡して路肩等に停車し、ＪＡＦの到着を待つようにしてもよい。解除条件は、「異常や故障を回復・修理」又は「行先（自動車整備工場など）に到着」したときとされる。給油やバッテリー関係のトラブルや、残存燃料が少なくなった場合は、それを切替条件として、ガソリンスタンドや充電スタンドに向かうようにすることができる。解除条件は、「トラブルの回復や燃料補給の完了」又は「行先（ガソリンスタンドなど）に到着」したときとされる。 If an abnormality or failure occurs in an autonomous vehicle during unmanned operation (automatic operation), the destination is changed to a place where the abnormality or failure can be recovered or repaired, for example, a car maintenance shop or a car sales company, using the switching condition as a switching condition. .. Depending on the degree and content of the abnormality or breakdown, the JAF (Japan Automobile Federation) may be contacted to stop on the shoulder of the road and wait for the JAF to arrive. The cancellation condition is when "recovery/repair of abnormality or malfunction" or "arrival at destination (automobile repair shop, etc.)". When troubles related to refueling or batteries or when the amount of remaining fuel becomes low, it can be set as a switching condition and directed to a gas station or a charging station. The cancellation condition is set to "recovery of trouble or completion of refueling" or "arrival at destination (gas station, etc.)".
また、この発明は、夏場の自動車内の温度対策や熱中症対策にも適用できる。親が自動車内に乳幼児や子供を残したまま、スーパーやデパートで買い物をしたり、パチンコ店でパチンコに興じている間に、自動車内で乳幼児や子供が死亡したり、重症となるなど痛ましい事件が報告されている。夏場の自動車内の温度は、外気温よりはるかに高く、５０℃を超えることもある。 Further, the present invention can also be applied to countermeasures against temperature and heat stroke in automobiles in the summer. Parents leaving infants and children in the car, shopping at supermarkets and department stores, playing pachinko at pachinko parlors, while killing infants and children in the car, becoming severely ill Has been reported. The temperature inside a car in the summer is much higher than the outside temperature, and may exceed 50°C.
このような危険性に鑑み、自動運転車に温度センサ（温度計）を備え、所定の温度（例えば３５℃）以上が所定時間（例えば３分間）以上継続することを切替条件として、日向に駐車中あるいは停車中の自動運転車を日陰に移動し、駐車あるいは停車することができる。日陰が見つからない場合は、外気温のできるだけ低い場所を探し、そこで駐車あるいは停車する。また、エアコンの冷房を作動させてもよい。これにより、自動運転車内は快適な温度に保たれる。解除条件は、「車内温度の所定温度以下への低下」又は「日陰に駐車あるいは停車」又は「外気温の低い場所に駐車あるいは停車」したときとされる。 In view of such a danger, the self-driving vehicle is equipped with a temperature sensor (thermometer), and parking in the sun is performed under the switching condition that a predetermined temperature (for example, 35° C.) or more continues for a predetermined time (for example, 3 minutes) or more. A self-driving car that is inside or stopped can be moved in the shade and parked or stopped. If you can't find the shade, find a place with the lowest possible outside temperature and park or stop there. Moreover, you may operate the cooling of an air conditioner. This keeps the temperature inside the autonomous vehicle at a comfortable temperature. The cancellation condition is set when "the temperature inside the vehicle falls below a predetermined temperature" or "parking or stopping in the shade" or "parking or stopping in a place where the outside temperature is low".
さらに、乗車者（車内に残っている人）をカメラ群１０７に含まれるカメラで撮像し、発汗の状態や顔の表情、身体の動きを画像認識することにより、あるいは乗車者の発する音声をマイクロホン１３７で収音し、「暑い」「苦しい」「助けて」などの言葉や、呻き声、喘ぎ声を認識することにより、熱中症などの危険を察知する。その乗車者の熱中症などの危険を切替条件として、運転者に携帯電話で異常事態を連絡するとともに、行先を病院として乗車者を移送することもできる。また、１１９番通報して路肩等に停車し、救急車の到着を待ってもよい。この場合の解除条件は、「熱中症など危険な状態からの回復（快復）」又は「行先（病院）に到着」又は「救急車が到着」したときとされる。
Further, the occupant (the person remaining in the vehicle) is imaged by the cameras included in the
また、自動運転車内の温度を用いる代わりに、暑さ指数と呼ばれるＷＢＧＴ（Wet Bulb Globe Temperature；湿球黒球温度）などのリスク評価指標を用いてもよい。ＷＢＧＴは、自動運転車がＷＢＧＴ指数計を備えることで適用できる。ＷＢＧＴの算出方法は、
屋外：０．７×湿球温度＋０．２×黒球温度＋０．１×乾球温度
屋内：０．７×湿球温度＋０．３×黒球温度
である。自動運転車内のＷＢＧＴは、オープンカータイプの場合は屋外、それ以外は屋内に準じて算出する。ＷＢＧＴは、
３１℃以上 危険
２８℃〜３１℃ 厳重警戒
２５℃〜２８℃ 警戒
２１℃〜２５℃ 注意
２１℃未満 ほぼ安全
と指針が規定されている。
Further, instead of using the temperature in the autonomous vehicle, a risk evaluation index such as WBGT (Wet Bulb Globe Temperature) called a heat index may be used. WBGT can be applied when the autonomous vehicle is equipped with a WBGT index meter. The calculation method of WBGT is
Outdoor: 0.7 x wet bulb temperature + 0.2 x black bulb temperature + 0.1 x dry bulb temperature Indoor: 0.7 x wet bulb temperature + 0.3 x black bulb temperature. The WBGT in the self-driving car is calculated in the same manner as in the case of the open car type, and in the other cases according to the indoor condition. WBGT
31°C or higher Danger 28°C to 31°C Strict warning 25°C to 28°
ＷＢＧＴを用いる場合、所定のＷＢＧＴ（例えば２５℃）以上が所定時間（例えば１０分間）以上継続すること、あるいは所定のＷＢＧＴ（例えば３０℃）を超えることを切替条件として、日向に駐車中あるいは停車中の自動運転車を日陰に移動し、駐車あるいは停車することができる。上述の温度の場合と同様、日陰が見つからない場合は、外気温のできるだけ低い場所を探し、そこで駐車あるいは停車する。また、エアコンの冷房を作動させてもよい。これにより、自動運転車内は快適なＷＢＧＴに保たれる。また、上述と同様、乗車者の危険な状態を切替条件に、行先を病院として乗車者を移送することもできるし、１１９番通報して路肩等に停車し、救急車の到着を待ってもよい。解除条件も上述と同様である。 When using the WBGT, the vehicle is parked in the sun or parked under the sun as a switching condition that a predetermined WBGT (for example, 25° C.) or more continues for a predetermined time (for example, 10 minutes) or a predetermined WBGT (for example, 30° C.) is exceeded. The self-driving car inside can be moved in the shade and parked or stopped. As in the case of the above temperature, if the shade is not found, the place where the outside temperature is as low as possible is searched, and the parking or the parking is stopped there. Moreover, you may operate the cooling of an air conditioner. As a result, the inside of the autonomous driving vehicle is kept comfortable WBGT. Further, similarly to the above, it is also possible to transfer the passenger as a hospital with the destination as a hospital under the dangerous condition of the passenger as a switching condition, and to call 119 to stop at a shoulder or the like and wait for the arrival of an ambulance. .. The cancellation conditions are the same as above.
なお、乳幼児は体温調節機能が未発達であり、高温下では短時間で体温が上昇し、死に至る場合がある。また、自ら窓を開けることもできないため、切替条件の設定温度やＷＧＢＴは、成人健常者より安全を見込み、低めに設定する必要がある。また、高齢者も加齢に伴い、体温調節機能が低下するため、同じように危険であり、切替条件の設定温度やＷＧＢＴは、低めに設定すべきである。乗車者の年齢を予め入力したり、画像認識で年齢を推定したりして、その年齢に基づいて、上述の所定温度、所定のＷＢＧＴ、所定時間を可変にしてもよい。また、体力や免疫力の衰えた病人も同様に熱中症などになる危険性が高いので、切替条件の設定温度やＷＧＢＴは、低めに設定すべきである。 It should be noted that infants have an underdeveloped thermoregulatory function, and their body temperature may rise in a short time under high temperature, resulting in death. In addition, since the window cannot be opened by itself, it is necessary to set the switching condition setting temperature and WGBT to a lower value in consideration of safety than that of a healthy adult person. In addition, elderly people are similarly dangerous because their body temperature regulation function deteriorates with aging, and the set temperature and WGBT of the switching condition should be set to a low level. The age of the passenger may be input in advance or the age may be estimated by image recognition, and the above-mentioned predetermined temperature, predetermined WBGT, and predetermined time may be varied based on the age. Further, since a sick person whose physical strength and immunity are weakened similarly has a high risk of heat stroke, the set temperature and WGBT of the switching condition should be set low.
また、上述の説明は、暑さ対策であるが、もちろん寒さ対策にも適用できる。寒さ対策の場合は、暑さ対策とは逆に、日陰に駐車中あるいは停車中の自動運転車を日向に移動させる。もちろん、エアコンは冷房ではなく、暖房を作動させる。 Further, although the above description is for countermeasures against heat, it can be applied to countermeasures against cold as well. In the case of countermeasures against the cold, contrary to the countermeasures against the heat, the self-driving car parked or stopped in the shade is moved to the sun. Of course, the air conditioner activates heating, not cooling.
また、運転者や同乗者による麻薬や覚醒剤などの依存性薬物の摂取状態を切替条件とし、対応する行先を警察又は病院にする場合にも、この発明は、適用できる。この場合の切替条件に対応する車内状況の判定は、例えば、運転者や同乗者による麻薬や覚醒剤などの依存性薬物の摂取（注射や吸引動作）を、カメラの撮影画像を画像認識することで行うことができる。 The present invention can also be applied to the case where the driver or fellow passenger takes the state of ingestion of addictive drugs such as narcotics and stimulants as a switching condition and the corresponding destination is the police or hospital. In this case, the determination of the in-vehicle situation corresponding to the switching condition is performed by, for example, recognizing the image taken by the camera about the ingestion (injection or suction operation) of the addictive drug such as the drug or the stimulant by the driver or the passenger. It can be carried out.
なお、上述の実施形態の自動運転車では、各種データベースや各種記憶部は自車搭載で構成したが、これに限られるものではなく、クラウド上にあってもよいことはもちろんである。カメラ群１０７についても、自車搭載に限らず、自動運転車が、信号機や街灯などに設置される監視カメラからの画像を通信で入手したり、他車のカメラからの画像を車車間通信で入手したりしてもよい。
In addition, in the automatic driving vehicle of the above-described embodiment, various databases and various storage units are configured to be mounted on the vehicle, but the present invention is not limited to this, and needless to say, may be on the cloud. The
また、運転者や同乗者の身体的な異変などの車内状況を認識や判定する際に、車内の画像情報や音声情報を、専門家（例えば医師）に送信したり、クラウド上にアップロードしたりして、認識結果や判定結果を得るようにすることもできる。 In addition, when recognizing or determining the in-vehicle situation such as a physical abnormality of a driver or a passenger, the image information or audio information in the vehicle can be sent to a specialist (for example, a doctor) or uploaded to the cloud. Then, the recognition result and the determination result can be obtained.
なお、上述の実施形態の自動運転車では、携帯電話機能部１１８は、自動運転車に予め内蔵され、加入者登録されていたが、運転者や同乗者が所有する携帯電話機、スマートフォン、あるいはタブレットを、自動運転車の収納ポケット（ステーション）に装着し、当該自動運転車と接続して、内蔵の携帯電話機能部１１８と同様の機能を持たせることもできる。
In the self-driving car of the above-described embodiment, the mobile
また、手動運転モードでの走行中、駐車中あるいは停車中における車内状況判定部１１７の判定結果が切替条件と合致したか否か判別するのではなく、通常の自動運転モードでの走行中、駐車中あるいは停車中において車内状況判定部１１７の判定結果が切替条件と合致したか否かを判別し、合致したときには、行先を、合致した切替条件に応じて設定されている病院に変更したり、路肩等に停車して１１９番通報したりするようにしてもよい。この場合には、車内状況が切替条件に合致したときでも通常の自動運転モードを継続してもよいし、強制自動運転モードに切り替えるようにしてもよい。ただし、この場合には、自動運転車は手動運転モードを有しないので、強制自動運転モードは、手動運転モードへの切り替えのための手動運転操作を受け付けないのではなく、車内状況が切替条件に合致している状態では、運転者や同乗者による行先の変更を受け付けないようにするモードである。
Further, instead of determining whether or not the determination result of the in-vehicle
この例は、自動運転車として、手動運転モードがなく、自動運転モードしかない場合には、特に有効となる。そして、この例によれば、通常の自動運転モードでの走行中、駐車中あるいは停車中においても、運転者や同乗者に身体的な異変が生じた場合等の車内状況が発生した場合に、行先を、病院に変更したり、路肩等に停止して１１９番通報したりすることができる。 This example is particularly effective when the automatic driving vehicle has no manual driving mode but only the automatic driving mode. Then, according to this example, when traveling in the normal automatic driving mode, even while parked or stopped, when a situation inside the vehicle such as a case where a physical abnormality occurs in the driver or passengers, You can change the destination to a hospital or stop on the shoulder of a road and call 119.
また、上述の実施形態の自動運転車は、電気自動車の場合としたが、ガソリン車、ハイブリッド車、燃料電池車、その他の駆動方式の自動車であっても、この発明は適用可能である。 Further, although the self-driving vehicle of the above-described embodiment is an electric vehicle, the present invention can be applied to a gasoline vehicle, a hybrid vehicle, a fuel cell vehicle, and other driving system vehicles.
さらに、この発明は、普通自動車、軽自動車のみならず、トラック、バス、タクシー、パトカー、救急車、消防車、教習車、トラクター、ダンプカー、ショベルカー、フォークリフト、また、一人用自動車、自動二輪車、自動三輪車などであっても適用可能である。 Furthermore, the present invention is not limited to ordinary cars and light cars, but is also applicable to trucks, buses, taxis, police cars, ambulances, fire trucks, training vehicles, tractors, dump trucks, excavators, forklifts, single-person vehicles, motorcycles, and automatic vehicles. It can be applied even to a tricycle.
１…自動運転車、１０…電子制御回路部、１０１…制御部、１０４…手動／自動運転モード切替制御部、１０５…手動運転操作検知部、１０７…カメラ群、１０８…センサ群、１１４…画像認識部、１１５…自動運転切替条件判別部、１１６…音声認識部、１１７…車内状況判定部、１１８…携帯電話機能部、１１９…時計部、１２０…合成音声発生部、１３４…画像情報記憶部、１３５…自動運転切替条件記憶部、１３６…音声情報記憶部
DESCRIPTION OF
Claims (26)
運転者の居眠りを判定する居眠り判定手段と、
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、自車を前記自動運転モードとすると共に、前記運転者を覚醒させるように働きかけをする手段と、
前記働きかけに対して前記運転者が覚醒したか否かを判別する判別手段と、
現在位置を検出する現在位置検出手段と、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記現在位置検出手段により検出された現在位置の周辺に存在する病院を検索し、前記検索により検出された病院を目的地として案内する病院ナビゲーション手段と、
通信手段と、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記病院ナビゲーション手段により検索されて検出された病院に、前記自動運転モードにおいて向かうように制御すると共に、前記病院ナビゲーション手段による前記検索により前記現在位置の周辺に存在する病院を検出できなかったときには、前記自動運転モードにおいて路肩又は予め定められた場所に駐車又は停車して、前記通信手段を通じて１１９番通報を行う制御手段と、
を備えることを特徴とする自動運転車。 In an autonomous vehicle having a manual driving mode and an automatic driving mode capable of autonomous driving,
A doze determination means for determining the driver's dozing,
In the dozing determination means, when it is determined that the driver dozing, while setting the own vehicle in the automatic driving mode, a means for working to awaken the driver,
Discriminating means for discriminating whether or not the driver has awakened in response to the action;
Current position detecting means for detecting the current position,
When the determination unit determines that the driver does not wake up, it searches for a hospital existing around the current position detected by the current position detection unit, and guides the hospital detected by the search as a destination. Hospital navigation means to
Communication means,
When the determination means determines that the driver does not awaken, the hospital navigation means is controlled so as to go to the hospital searched and detected by the hospital navigation means in the automatic operation mode, and the search by the hospital navigation means is performed. When it is not possible to detect a hospital existing around the current position by, by parking or stopping at a road shoulder or a predetermined place in the automatic driving mode, a control means for making a 119th call through the communication means,
A self-driving vehicle comprising:
ことを特徴とする請求項１に記載の自動運転車。 Vehicle characteristics, the driver's name, the occurrence of sudden illness who, a location name or address of the current position, according to claim 1, characterized in that notifies the hospital detected by the search through the communication means Self-driving car.
運転者の居眠りを判定する居眠り判定手段と、
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、自車を前記自動運転モードとすると共に、前記運転者を覚醒させるように働きかけをする手段と、
前記働きかけに対して前記運転者が覚醒したか否かを判別する判別手段と、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記自動運転モードにおいて予め定めた運転制御を行う制御手段と、
通信手段と、
を備え、
前記居眠り判定手段は、前記通信手段を通じて接続されるクラウドと連携することで前記運転者の居眠りを判定する
ことを特徴とする自動運転車。 In an autonomous vehicle having a manual driving mode and an automatic driving mode capable of autonomous driving,
A doze determination means for determining the driver's dozing,
In the dozing determination means, when it is determined that the driver dozing, while setting the own vehicle in the automatic driving mode, a means for working to awaken the driver,
Discriminating means for discriminating whether or not the driver has awakened in response to the action;
When the determination unit determines that the driver is not awake, a control unit that performs predetermined driving control in the automatic driving mode,
Communication means ,
Equipped with
The self-driving vehicle, wherein the drowsiness determination means determines the drowsiness of the driver by cooperating with a cloud connected through the communication means.
ことを特徴とする請求項３に記載の自動運転車。 Before SL control means by said determining means, when the driver is determined not to wake, according to claim 3, characterized in that park or pulled over or predetermined location in the automatic operation mode Self-driving car.
ことを特徴とする請求項３又は請求項４に記載の自動運転車。 Before SL control means, it said in the determination unit, when the driver is determined to not awaken before SL automatic operation according to perform a 119 Problem to claim 3 or claim 4, characterized in through the communication means car.
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記現在位置検出手段により検出された現在位置の周辺に存在する病院を検索し、前記検索により検出された病院を目的地として案内する病院ナビゲーション手段と、
前記制御手段は、前記判別手段で、前記運転者が覚醒しないと判別したときに、前記病院ナビゲーション手段により検索されて検出された病院に、前記自動運転モードにおいて向かうように制御する
ことを特徴とする請求項３に記載の自動運転車。 Current position detecting means for detecting the current position,
When the determination unit determines that the driver does not wake up, it searches for a hospital existing around the current position detected by the current position detection unit, and guides the hospital detected by the search as a destination. Hospital navigation means to
The control means, when the determination means determines that the driver is not awake, controls the hospital to be headed to the hospital searched and detected by the hospital navigation means in the automatic driving mode. The self-driving vehicle according to claim 3 .
ことを特徴とする請求項６に記載の自動運転車。 Vehicle characteristics, the driver's name, the occurrence of sudden illness who, a location name or address of the current position, according to claim 6, characterized in that notifies the hospital detected by the search through the communication means Self-driving car.
ことを特徴とする請求項６に記載の自動運転車。 The control means, when the hospital existing around the current position cannot be detected by the function of the detection by the hospital navigation means, the vehicle is parked or stopped at a road shoulder or a predetermined place in the automatic driving mode, The self-driving vehicle according to claim 6 , wherein a 119th call is made through the communication means.
運転者の居眠りを判定する居眠り判定手段と、
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、自車を前記自動運転モードとすると共に、前記運転者を覚醒させるように働きかけをする手段と、
前記働きかけに対して前記運転者が覚醒したか否かを判別する判別手段と、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記自動運転モードにおいて予め定めた運転制御を行う制御手段と、
指定された行先に向かうように自車を案内するナビゲーション手段と、
前記自動運転車の走行開始時に設定された目的地を記憶する手段と、
を備え、
前記居眠り判定手段で、前記運転者の居眠りを判定したときの前記自動運転モードにおいては、前記自動運転車の走行開始時に設定された目的地を指定された行先として、前記ナビゲーション手段により案内を実行する
ことを特徴とする自動運転車。 In an autonomous vehicle having a manual driving mode and an automatic driving mode capable of autonomous driving,
A doze determination means for determining the driver's dozing,
In the dozing determination means, when it is determined that the driver dozing, while setting the own vehicle in the automatic driving mode, a means for working to awaken the driver,
Discriminating means for discriminating whether or not the driver has awakened in response to the action;
When the determination unit determines that the driver is not awake, a control unit that performs predetermined driving control in the automatic driving mode,
Navigation means that guides the vehicle to the designated destination,
Means for storing the destination set at the start of traveling of the autonomous vehicle,
Equipped with
In the automatic driving mode when the driver's dozing determination is made by the dozing determination means, the navigation means performs guidance with the destination set at the start of traveling of the autonomous vehicle as the designated destination. A self-driving vehicle characterized by:
ことを特徴とする請求項９に記載の自動運転車。 Before SL control means, said in the determination unit, when the driver is determined not to wake, according to claim 9, characterized in that park or pulled over or predetermined location in the automatic operation mode Self-driving car.
前記制御手段は、前記判別手段で、前記運転者が覚醒しないと判別したときに、前記通信手段を通じて１１９番通報を行う
ことを特徴とする請求項９又は請求項１０に記載の自動運転車。 Equipped with communication means,
Wherein, in said determination means, said when the driver is determined not to wake, before SL automatic operation vehicle according to claim 9 or claim 10, characterized in that performing 119 Problem through communication means ..
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記現在位置検出手段により検出された現在位置の周辺に存在する病院を検索し、前記検索により検出された病院を目的地として案内する病院ナビゲーション手段と、
前記制御手段は、前記判別手段で、前記運転者が覚醒しないと判別したときに、前記病院ナビゲーション手段により検索されて検出された病院に、前記自動運転モードにおいて向かうように制御する
ことを特徴とする請求項９に記載の自動運転車。 Current position detecting means for detecting the current position,
When the determination unit determines that the driver does not wake up, it searches for a hospital existing around the current position detected by the current position detection unit, and guides the hospital detected by the search as a destination. Hospital navigation means to
The control means, when the determination means determines that the driver is not awake, controls the hospital to be headed to the hospital searched and detected by the hospital navigation means in the automatic driving mode. The self-driving vehicle according to claim 9 .
自車の特徴、前記運転者の氏名、急病人の発生、現在位置の場所名又は住所を、前記通信手段を通じて前記検索により検出された前記病院に通知する
ことを特徴とする請求項１２に記載の自動運転車。 Equipped with communication means,
Vehicle characteristics, the driver's name, the occurrence of sudden illness who, a location name or address of the current position, according to claim 12, characterized in that notifies the hospital detected by the search through the communication means Self-driving car.
前記制御手段は、前記病院ナビゲーション手段による前記検出の機能により前記現在位置の周辺に存在する病院を検出できなかったときには、前記自動運転モードにおいて路肩又は予め定められた場所に駐車又は停車して、前記通信手段を通じて１１９番通報を行う
ことを特徴とする請求項１２に記載の自動運転車。 Equipped with communication means,
The control means, when the hospital existing around the current position cannot be detected by the function of the detection by the hospital navigation means, the vehicle is parked or stopped at a road shoulder or a predetermined place in the automatic driving mode, The self-driving vehicle according to claim 12 , wherein a 119th call is issued through the communication means.
ことを特徴とする請求項１〜請求項１４のいずれかに記載の自動運転車。 When the determination means determines that the driver does not awaken, the control means determines that the driver has a physical abnormality, a physical trouble, or a mental trouble, and the automatic The predetermined driving control is performed in a driving mode to perform a process corresponding to the physical abnormality, physical trouble, or mental trouble of the driver . The self-driving car described in either one .
前記運転者を覚醒させるように働きかけをする手段は、呼びかけ音声を、前記運転者に対して前記スピーカから送出する手段からなる
ことを特徴とする請求項１〜請求項１５のいずれかに記載の自動運転車。 A speaker provided inside the autonomous vehicle,
Said means for outreach to awaken the driver, the calling sound, according to any one of claims 1 to 15 which comprises a means for transmitting from said speaker to said driver Self-driving car.
ことを特徴とする請求項１〜請求項１６のいずれかに記載の自動運転車。 The means for encouraging the driver to wake up is any of a voice call to the driver, blinking of a light to the driver, vibration of the driver's seat, vibration of the steering wheel, or a combination thereof. The self-driving vehicle according to any one of claims 1 to 16 , characterized in that.
ことを特徴とする請求項１〜請求項１７のいずれかに記載の自動運転車。 The drowsiness determination means determines the drowsiness of the driver based on image recognition of captured image information from one or a plurality of cameras capturing an image of the inside of the autonomous driving vehicle. 17. The self-driving car according to any one of 17 .
ことを特徴とする請求項１〜請求項１８のいずれかに記載の自動運転車。 Whether or not the driver is awakened by the judging means is judged from the image recognition result of the image photographed by the driver by the camera provided in the vehicle and/or the voice recognition result of the reply voice from the driver. The self-driving vehicle according to any one of claims 1 to 18 , characterized in that.
ことを特徴とする請求項１、請求項５、請求項８、請求項１１又は請求項１４に記載の自動運転車。 When making the 119th call, a synthetic voice including the characteristics of the vehicle, the name of the driver, the occurrence of a sudden illness, the place name or address of the current position is generated and notified. The autonomous vehicle according to claim 1, claim 5, claim 8, claim 11, or claim 14 .
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、前記自動運転モードであったときには、前記自動運転モードを継続あるいは運転者又は同乗者による行先の変更を受け付けない強制自動運転モードに切り替える
ことを特徴とする請求項１〜請求項２０に記載の自動運転車。 The dozing determination means determines not only when the vehicle is in the manual driving mode, but also when the vehicle is in the automatic driving mode, the dozing of the driver is determined.
In the dozing determination means, when determining the dozing of the driver, when it is the automatic driving mode, the automatic driving mode is continued or a forced automatic driving mode that does not accept a change of destination by the driver or a passenger. automatic operation vehicle according to claim 1 to claim 20, characterized in that switch.
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、前記運転者を覚醒させるように働きかけをするWhen the drowsiness determination means determines the drowsiness of the driver, the drowsiness determination means is urged to awaken the driver.
ことを特徴とする請求項１〜請求項２０に記載の自動運転車。The self-driving vehicle according to any one of claims 1 to 20, characterized in that:
運転者の居眠りを判定する居眠り判定手段、
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、自車を前記自動運転モードとすると共に、前記運転者を覚醒させるように働きかけをする手段、
前記働きかけに対して前記運転者が覚醒したか否かを判別する判別手段、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記自動運転モードにおいて予め定めた運転制御を行う制御手段、
現在位置を検出する現在位置検出手段、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記現在位置検出手段により検出された現在位置の周辺に存在する病院を検索し、前記検索により検出された病院を目的地として案内する病院ナビゲーション手段、
として機能させるための自動運転車用のプログラムであって、
前記制御手段は、
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記病院ナビゲーション手段により、前記現在位置の周辺に存在する病院を検索して、その検索により検出された病院に、前記自動運転モードにおいて向かうように制御すると共に、
前記病院ナビゲーション手段による前記検出の機能により前記現在位置の周辺に存在する病院を検出できなかったときには、前記自動運転モードにおいて路肩又は予め定められた場所に駐車又は停車して、前記通信手段を通じて１１９番通報を行う
ことを特徴とする自動運転車用のプログラム。 A computer provided in an automatic driving vehicle that includes a manual driving mode and an automatic driving mode that enables autonomous traveling and that also includes a communication unit ,
Dozing determination means for determining the driver's dozing,
In the dozing determination means, when it is determined that the driver dozing, while the vehicle is in the automatic driving mode, a means for working to awaken the driver,
Discriminating means for discriminating whether or not the driver has awakened in response to the action,
When the determination unit determines that the driver is not awake, a control unit that performs predetermined driving control in the automatic driving mode,
Current position detecting means for detecting the current position,
When the determination unit determines that the driver does not wake up, it searches for a hospital existing around the current position detected by the current position detection unit, and guides the hospital detected by the search as a destination. Hospital navigation means to
A program for automatic operation vehicle to function as,
The control means is
When the determination unit determines that the driver does not wake up, the hospital navigation unit searches for a hospital around the current position, and the hospital detected by the search is set to the automatic driving mode. While controlling to go in
When a hospital existing around the current position cannot be detected by the detection function of the hospital navigation means, the hospital is parked or stopped at a road shoulder or a predetermined place in the automatic operation mode, and the communication means 119 is used. Make a phone call
A program for self-driving cars characterized by:
ことを特徴とする請求項２３に記載の自動運転車用のプログラム。 When the determination means determines that the driver does not awaken, the control means determines that the driver has a physical abnormality, a physical trouble, or a mental trouble, and the automatic 24. The automatic driving according to claim 23 , wherein predetermined driving control is performed in a driving mode to perform a process corresponding to the physical abnormality, physical trouble, or mental trouble of the driver. Program for cars.
運転者の居眠りを判定する居眠り判定手段、Dozing determination means for determining the driver's dozing,
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、自車を前記自動運転モードとすると共に、前記運転者を覚醒させるように働きかけをする手段、In the dozing determination means, when it is determined that the driver dozing, while the vehicle is in the automatic driving mode, a means for working to awaken the driver,
前記働きかけに対して前記運転者が覚醒したか否かを判別する判別手段、Discriminating means for discriminating whether or not the driver has awakened in response to the action,
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記自動運転モードにおいて予め定めた運転制御を行う制御手段、When the determination unit determines that the driver is not awake, a control unit that performs predetermined driving control in the automatic driving mode,
として機能させるための自動運転車用のプログラムであって、It is a program for an autonomous vehicle to function as
前記居眠り判定手段は、前記通信手段を通じて接続されるクラウドと連携することで前記運転者の居眠りを判定するThe dozing determination means determines the dozing of the driver by cooperating with a cloud connected through the communication means.
ことを特徴とする自動運転車用プログラム。A program for autonomous vehicles that is characterized by
運転者の居眠りを判定する居眠り判定手段、Dozing determination means for determining the driver's dozing,
前記居眠り判定手段で、前記運転者の居眠りを判定したときに、自車を前記自動運転モードとすると共に、前記運転者を覚醒させるように働きかけをする手段、In the dozing determination means, when it is determined that the driver dozing, while the vehicle is in the automatic driving mode, a means for working to awaken the driver,
前記働きかけに対して前記運転者が覚醒したか否かを判別する判別手段、Discriminating means for discriminating whether or not the driver has awakened in response to the action,
前記判別手段で、前記運転者が覚醒しないと判別したときに、前記自動運転モードにおいて予め定めた運転制御を行う制御手段、When the determination unit determines that the driver is not awake, a control unit that performs predetermined driving control in the automatic driving mode,
指定された行先に向かうように自車を案内するナビゲーション手段、Navigation means that guides the vehicle to the designated destination,
前記自動運転車の走行開始時に設定された目的地を記憶する手段、Means for storing the destination set at the start of traveling of the autonomous vehicle,
として機能させるための自動運転車用のプログラムであって、It is a program for an autonomous vehicle to function as
前記居眠り判定手段で、前記運転者の居眠りを判定したときの前記自動運転モードにおいては、前記自動運転車の走行開始時に設定された目的地を指定された行先として、前記ナビゲーション手段により案内を実行するIn the automatic driving mode when the driver's dozing determination is made by the dozing determination means, the navigation means performs guidance with the destination set at the start of traveling of the autonomous vehicle as the designated destination. Do
ことを特徴とする自動運転車用プログラム。A program for autonomous vehicles that is characterized by
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018211869A JP6708331B2 (en) | 2018-11-12 | 2018-11-12 | Self-driving car |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018211869A JP6708331B2 (en) | 2018-11-12 | 2018-11-12 | Self-driving car |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017096120A Division JP6437045B2 (en) | 2017-05-15 | 2017-05-15 | Self-driving car |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019067421A JP2019067421A (en) | 2019-04-25 |
| JP6708331B2 true JP6708331B2 (en) | 2020-06-10 |
Family
ID=66338322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018211869A Active JP6708331B2 (en) | 2018-11-12 | 2018-11-12 | Self-driving car |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6708331B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4120225A1 (en) * | 2020-03-10 | 2023-01-18 | Pioneer Corporation | Map data generation device |
| JP7354911B2 (en) | 2020-04-08 | 2023-10-03 | 株式会社デンソー | Emergency response system |
| CN111559381A (en) * | 2020-04-21 | 2020-08-21 | 汉腾汽车有限公司 | Automatic driving control system based on driver state monitoring |
| CN111547062B (en) * | 2020-04-28 | 2021-12-07 | 中国第一汽车股份有限公司 | Automatic driving control method and device and vehicle |
| CN113954847A (en) * | 2020-07-20 | 2022-01-21 | 宝能汽车集团有限公司 | Method and device for detecting driver shoes, vehicle and storage medium |
| JP7100326B1 (en) * | 2021-03-30 | 2022-07-13 | 長瀬産業株式会社 | Detection system and space utilization system |
| WO2022208871A1 (en) * | 2021-04-02 | 2022-10-06 | 三菱電機株式会社 | Transportation service assistance device and transportation service assistance method |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0776235A (en) * | 1993-07-16 | 1995-03-20 | Toyota Motor Corp | Lamp controller for vehicle |
| JP3094834B2 (en) * | 1995-03-30 | 2000-10-03 | 三菱自動車工業株式会社 | Low alertness device |
| JPH10315800A (en) * | 1997-05-15 | 1998-12-02 | Toyota Motor Corp | Traveling auxiliary device for vehicle |
| JP4191313B2 (en) * | 1999-04-23 | 2008-12-03 | 富士通株式会社 | Accident suppression device |
| JP2001219760A (en) * | 2000-02-09 | 2001-08-14 | Hitachi Ltd | Moving body driving support device |
| JP2003223449A (en) * | 2001-10-26 | 2003-08-08 | Yasuhiro Tanaka | Method for registration of terminal information and method of utilizing it |
| JP3835681B2 (en) * | 2001-11-19 | 2006-10-18 | マツダ株式会社 | Vehicle travel support device |
| US20060011399A1 (en) * | 2004-07-15 | 2006-01-19 | International Business Machines Corporation | System and method for controlling vehicle operation based on a user's facial expressions and physical state |
| JP4946374B2 (en) * | 2006-11-13 | 2012-06-06 | トヨタ自動車株式会社 | Self-driving vehicle |
| JP2009037415A (en) * | 2007-08-01 | 2009-02-19 | Toyota Motor Corp | Driver state determination device and driving support device |
| JP2010017403A (en) * | 2008-07-11 | 2010-01-28 | Fujitsu Ten Ltd | Apparatus and method for detecting driver abnormality and program for detection and treatment of driver abnormality |
| JP2010128920A (en) * | 2008-11-28 | 2010-06-10 | Toyota Motor Corp | Safety device for vehicle |
| JP5200222B2 (en) * | 2009-05-20 | 2013-06-05 | オプテックス株式会社 | Driving support method and apparatus |
| US8339268B2 (en) * | 2009-11-10 | 2012-12-25 | GM Global Technology Operations LLC | Driver configurable drowsiness prevention |
-
2018
- 2018-11-12 JP JP2018211869A patent/JP6708331B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019067421A (en) | 2019-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6150258B2 (en) | Self-driving car | |
| JP6437045B2 (en) | Self-driving car | |
| JP6573945B2 (en) | Self-driving car | |
| JP6708331B2 (en) | Self-driving car | |
| JP6440801B2 (en) | Autonomous vehicles and programs for autonomous vehicles | |
| JP6708874B2 (en) | Self-driving cars and programs for self-driving cars | |
| JP6628441B2 (en) | Automotive and automotive programs | |
| JP7080598B2 (en) | Vehicle control device and vehicle control method | |
| CN106293032B (en) | Portable terminal device, and control method and apparatus thereof | |
| US10246098B2 (en) | System and method for responding to driver state | |
| JP6971490B2 (en) | Automotive and automotive programs | |
| JP6552316B2 (en) | Automatic vehicle driving system | |
| JPWO2019017216A1 (en) | Vehicle control device and vehicle control method | |
| JP2000099867A (en) | Automobile accident emergency corresponding device | |
| JP6772428B2 (en) | Programs for self-driving cars and self-driving cars | |
| JP7048997B2 (en) | Programs for self-driving cars and self-driving cars | |
| US20220219605A1 (en) | Control device and provision system | |
| CN114212044A (en) | Whole vehicle grading control method and system for protecting life safety of left-behind living things in vehicle | |
| JP6993732B2 (en) | Programs for self-driving cars and self-driving cars | |
| JP3907509B2 (en) | Emergency call device | |
| JP7311185B2 (en) | Automotive and automotive programs | |
| JP7219507B2 (en) | Automotive and automotive programs | |
| JP7440135B2 (en) | Automotive and automotive programs | |
| JP2020203681A (en) | Automatic driving vehicle and program for automatic driving vehicle | |
| JP7238193B2 (en) | Vehicle control device and vehicle control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200430 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200507 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6708331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |