JP6648722B2 - 故障判定装置、方法およびプログラム - Google Patents

故障判定装置、方法およびプログラム Download PDF

Info

Publication number
JP6648722B2
JP6648722B2 JP2017047075A JP2017047075A JP6648722B2 JP 6648722 B2 JP6648722 B2 JP 6648722B2 JP 2017047075 A JP2017047075 A JP 2017047075A JP 2017047075 A JP2017047075 A JP 2017047075A JP 6648722 B2 JP6648722 B2 JP 6648722B2
Authority
JP
Japan
Prior art keywords
driver
failure
information
vehicle
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017047075A
Other languages
English (en)
Other versions
JP2018151818A (ja
Inventor
芽衣 上谷
芽衣 上谷
匡史 日向
匡史 日向
初美 青位
初美 青位
智浩 籔内
智浩 籔内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017047075A priority Critical patent/JP6648722B2/ja
Priority to PCT/JP2017/033150 priority patent/WO2018168020A1/ja
Priority to DE112017007230.1T priority patent/DE112017007230B4/de
Publication of JP2018151818A publication Critical patent/JP2018151818A/ja
Application granted granted Critical
Publication of JP6648722B2 publication Critical patent/JP6648722B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3013—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • G06F11/0739—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function in a data processing system embedded in automotive or aircraft systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0796—Safety measures, i.e. ensuring safe condition in the event of error, e.g. for controlling element
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、周辺監視システムの故障の有無を判定する故障判定装置、方法およびプログラムに関する。
近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。自動運転モードは、例えば、ＧＰＳ（Global Positioning System）を利用したナビゲーションシステムの情報や、路車間通信により取得される交通情報、車両の周辺の人や車両の位置と動きを監視する周辺監視システムの情報をもとに、パワーユニットや操舵装置、ブレーキ等を制御することで、車両の自動運転を可能にするものである（例えば特許文献１を参照）。
特開２０１５−１８４９７５号公報
自動運転モードによる走行において、車両の周辺の人や車両の位置と動きを監視する周辺監視システムは正常に機能していることが必要不可欠である。周辺監視システムは、例えば、車両の周辺の情報を取得するカメラ等のセンサと、取得された情報を処理するコンピュータ等の処理装置とから構成され得る。
近年では、種々のセンサや処理装置等は、それ自体の故障を検知する自己診断機能を有しているものも少なくない。しかし、その自己診断機能は、常に正常に機能すると断言できるものではない。例えば、経年変化や熱的ストレスなどによって、センサのセンシング機能や処理装置の判定機能に不具合が生じることなども考えられ得る。そのような場合、センサや処理装置等は、その自己診断機能では故障していないと判定されているものの、正しくない情報を出力することになる。
このような実状を考慮すると、周辺監視システム、例えばそのセンサや処理装置の故障の有無を、機械任せでなく、定期的に対話的に確認することが必要であると考えられる。
この発明は、このような事情に着目してなされたもので、周辺監視システムの故障の有無を判定する故障判定装置、方法およびプログラムを提供しようとするものである。
上記課題を解決するため、この発明の第１の態様は、車両の周辺を監視する周辺監視システムの故障の有無を判定する故障判定装置であって、運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が集中度の高い状態にあるか否かを判定する運転者状態判定部と、前記運転者状態判定部により前記運転者が集中度の高い状態にあると判定された場合に、前記周辺監視システムの監視情報に基づいて、前記車両の周辺の状況に関する質問の情報を出力する質問情報出力部と、前記質問に対する前記運転者の回答の情報に基づいて前記周辺監視システムの故障の有無を判定する故障判定部とを具備している。
この発明の第２の態様に係る故障判定装置は、第１の態様に係る故障判定装置において、前記車両に搭載された自動運転制御装置に自動運転制御に関する指示情報を出力する指示情報出力部をさらに具備している。前記指示情報出力部は、前記故障判定部により前記周辺監視システムの故障があると判定された場合に、前記自動運転制御装置の機能を少なくとも制限する指示情報を出力する。
この発明の第３の態様に係る故障判定装置は、第２の態様に係る故障判定装置において、前記故障判定部により前記周辺監視システムの故障があると判定された場合に、前記自動運転制御装置の機能を停止させる指示情報を前記指示情報出力部が出力するように構成されている。
この発明の第１の態様によれば、運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、運転者が集中度の高い状態にあるか否かが判定され、運転者が集中度の高い状態にあると判定された場合に、周辺監視システムの監視情報に基づいて、車両の周辺の状況に関する質問が出力され、質問に対する運転者の回答に基づいて、周辺監視システムの故障の有無が判定される。このため、周辺監視システムの故障の有無が対話的に判定される。これにより、周辺監視システム自体が感知しない故障を発見することが可能になる。このことは、このような故障に起因して起こりかねない自動運転制御の不具合の発生を低減または防止することに貢献する。
この発明の第２の態様によれば、周辺監視システムの故障があると判定された場合に、自動運転制御装置の機能を制限する指示情報が出力される。このため、周辺監視システム自体が感知しない故障に起因して起こりかねない自動運転制御装置の制御不具合の発生を軽減することが可能になる。
この発明の第３の態様によれば、周辺監視システムの故障があると判定された場合に、自動運転制御装置の機能を停止させる指示情報が出力される。このため、周辺監視システム自体が感知しない故障に起因して起こりかねない自動運転制御装置の制御不具合の発生を防止することが可能になる。
すなわち、この発明の各態様によれば、周辺監視システムの故障の有無を判定する故障判定装置制御装置、方法およびプログラムを提供することができる。
この発明の一実施形態に係る故障判定装置を含む運転モード切替制御装置を備えた自動運転制御システムの全体構成を示す図である。 この発明の一実施形態に係る故障判定装置の機能構成を示すブロック図である。 図２に示した故障判定装置による運転モード切替制御の手順と制御内容を示すフローチャートである。 この発明の一実施形態において、タッチパネル式の入出力装置によって質問に対する回答が入力される様子を模式的に示す図である。
以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る自動運転制御システムの全体構成を示す図である。この自動運転制御システムは、乗用車等の車両１に搭載される。
車両１は、基本設備として、動力源および変速装置を含むパワーユニット２と、ステアリングホイール３ａが装備された操舵装置３とを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。
車両１は、手動運転モードまたは自動運転モードのいずれかの運転モードで走行可能に構成されている。
手動運転モードは、例えば、運転者の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。
運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール３ａの操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。
なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。
一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。
図１において、車両１はまた、自動運転モードによる運転制御を実行するための自動運転制御装置５を備えている。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、および車速センサ１６からそれぞれセンシング情報を取得する。自動運転制御装置５は、これらのセンシング情報と、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺監視システム１７により得られる情報をもとに、車両１の走行を自動制御する。
自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。
自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。
本実施形態の自動運転制御システムは、手動運転モードと自動運転モードとの間の運転モードの切り替えを制御するための運転モード切替制御装置６を備えている。また、自動運転制御システムは、運転者を監視する監視センサとしての運転者カメラ７と、運転モード切替制御装置６の一部とで構成された、運転者を監視する運転者監視システム１０を有している。運転者監視システム１０はまた、取得した監視情報に基づいて、運転者と情報の授受を行うための入出力装置９を有している。
運転者カメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、運転者を撮像してその映像信号を運転モード切替制御装置６へ出力する。
入出力装置９は、例えば、出力機能としてスピーカと表示器を有し、運転モード切替制御装置６から出力されたメッセージの音声信号をスピーカから出力すると共に、メッセージの表示信号を表示器に表示する。入出力装置９は、スピーカと表示器の一方だけを有していてもよい。入出力装置９は、例えば、入力機能としてマイクとタッチパネルを有し、マイクとタッチパネルから入力された信号を運転モード切替制御装置６に出力する。入出力装置９は、マイクとタッチパネルの一方だけを有していてもよい。入出力装置９は、ナビゲーションシステムの画像表示機能や音声入出力機能や情報入力機能を利用して構成されてもよい。
運転モード切替制御装置６は、車両１の運転モードの切り替えを制御する機能に加えて、周辺監視システム１７の故障の有無を対話的に判定する機能を有している。このため、運転モード切替制御装置６は、この故障を判定する機能を実施する故障判定装置６ａを有している。
周辺監視システム１７は、車両１の周辺の人や車両の位置と動きを監視し、車両１の周辺の状況に関する監視情報を出力する機能を有している。周辺監視システム１７が出力する監視情報は自動運転制御装置５の制御に利用される。周辺監視システム１７は、例えば、車両１の周辺の情報を取得するカメラ等の周辺監視センサと、取得された情報を処理するコンピュータ等の処理装置とから構成され得る。
そのような周辺監視システム１７の故障としては、周辺監視センサの故障、または、処理装置の故障、または、それら両方の故障が考えられる。
故障判定装置６ａは、周辺監視システム１７の故障の有無を対話的に判定するもので、以下のように構成される。図２はその機能構成を示すブロック図である。
故障判定装置６ａは、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。
入出力インタフェースユニット６２は、運転者カメラ７および周辺監視システム１７からそれぞれ出力された映像信号および周辺監視信号を受信してデジタルデータに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はまた、制御ユニット６１から出力されたメッセージを音声信号および／または表示信号に変換して入出力装置９へ出力する。入出力インタフェースユニット６２はまた、入出力装置９からの入力信号をデジタルデータに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はさらに、制御ユニット６１から出力された指示情報のデータを信号に変換して自動運転制御装置５へ出力する。
記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したものである。記憶ユニット６３は、本実施形態を実施するために使用する記憶領域として、運転者監視映像記憶部６３１と、運転者状態記憶部６３２と、判定結果記憶部６３３とを備えている。記憶ユニット６３は、不揮発性メモリに限らず、ＲＡＭのような揮発性メモリで構成されてもよい。
制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）およびプログラムメモリを有している。制御ユニット６１は、本実施形態を実施するために必要な制御機能として、運転者監視映像取得部６１１と、運転者状態判定部６１２と、質問情報出力部６１３と、故障判定部６１４と、指示情報出力部６１５とを備えている。なお、これらの制御機能はいずれもプログラムメモリに格納されたプログラムをＣＰＵに実行させることにより実現される。
運転者監視映像取得部６１１は、運転者カメラ７から運転者の監視映像を取得する機能を有している。運転者監視映像取得部６１１は、運転者カメラ７から出力された運転者の映像信号のデジタルデータ（運転者監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだ運転者監視映像データを記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。
運転者状態判定部６１２は、運転者の状態を判定する機能を有している。運転者状態判定部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像データを読み込み、その都度、運転者監視映像データに基づいて運転者の状態を判定する。運転者状態判定部６１２は、判定結果を表す情報を、記憶ユニット６３の運転者状態記憶部６３２に記憶させる。
運転者状態判定部６１２が判定する運転者の状態は、例えば、運転者が脇見をしているか否か、運転者が眠気を催しているか否か、運転者が運転に対して集中度の高い状態にあるか否か、また自動運転中であれば、運転者が手動運転に復帰可能な状態であるか否かなど、さまざまであってよい。運転者の状態の判定は、例えば、次のようにして行われる。
まず、運転者状態判定部６１２は、運転者監視映像データに基づいて、運転者の眼の開き具合、瞬きの頻度、または眼球運動等を検出し、運転者の視線の方向や運転者の覚醒度等を認識する。次に、運転者状態判定部６１２は、運転者の視線の滞留時間や覚醒度等を、予め設定された閾値と比較することにより、運転者の状態を判定する。
この実施形態では、記憶ユニット６３の運転者状態記憶部６３２に記憶される運転者状態の判定結果を表す情報は、少なくとも、運転者が運転に対して集中度の高い状態にあるか否かの判定結果を表す情報を含んでいる。
質問情報出力部６１３は、所定のタイミングで、車両１の周辺の状況に関する質問の情報を出力する機能を有している。質問情報出力部６１３は、運転者が集中度の高い状態にあるか否かの判定結果を表す情報を運転者状態記憶部６３２から読み込み、判定結果を表す情報が、運転者が集中度の高い状態にあることを示す場合、周辺監視システム１７の監視情報に基づいて、車両１の周辺の状況に関する質問を生成し、その質問の情報を入出力装置９へ出力する。
故障判定部６１４は、質問に対する運転者の回答の情報を入出力装置９から取得し、これを質問情報出力部６１３から出力された質問の情報と比較することにより、周辺監視システム１７の故障の有無を判定する機能を有している。故障判定部６１４は、判定結果を表す情報を、記憶ユニット６３の判定結果記憶部６３３に記憶させる。
指示情報出力部６１５は、故障判定部６１４の判定結果を表す情報に基づいて、必要に応じて、自動運転制御装置５に自動運転制御に関する指示情報を出力する機能を有している。指示情報は、例えば、自動運転制御装置５の機能を制限または停止させる制御情報であってよい。
（動作）
次に、前述したように構成された故障判定装置の動作を説明する。図３はその全体の制御手順と制御内容を示すフローチャートである。
（１）運転者監視開始
運転が開始されると、運転者監視システム１０は、ステップＳ１において、運転者の監視を開始する。運転者の監視は、例えば、運転のあいだ続けられる。運転者の監視は、例えば、次のようにして行う。
運転が開始されると、運転者カメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像信号を出力する。この状態で故障判定装置６ａは、運転者監視映像取得部６１１の制御の下、運転者カメラ７から出力された映像信号のデジタルデータ（運転者監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだ運転者監視映像データを記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。
なお、運転者の撮像は、所定の時間間隔で間欠的に行ってもよい。また、運転者カメラ７または入出力インタフェースユニット６２において、映像信号を所定の符号化方式に応じて符号化するようにしてもよい。このようにすると、監視映像データの情報量を減らして運転者監視映像記憶部６３１の記憶容量を節約することが可能となる。
運転者監視映像データの取得が開始されると、故障判定装置６ａは、次に運転者状態判定部６１２の制御の下、一定時間の経過が判定される毎に、運転者の状態の判定を行う。この運転者の判定の時間間隔は、例えば実質的に連続的な判定を行えるような１秒程度の短い間隔に設定してもよく、また１０〜３０秒といった比較的長い間隔に設定するようにしてもよい。
運転者状態判定部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像データを読み込む。次に、運転者状態判定部６１２は、運転者監視映像データを読み込む毎に、運転者監視映像データに基づいて、運転者が運転に対して集中度の高い状態にあるか否かを判定する。運転者状態判定部６１２は、判定結果を表す情報を、判定タイミングを表す情報、例えばタイムスタンプ情報と関連付けて、記憶ユニット６３の運転者状態記憶部６３２に記憶させる。
自動運転制御システムは、車両１の周辺の人や車両の位置と動きを監視する周辺監視システム１７を有している。この自動運転制御システムは、例えば、運転が開始されると、運転者の監視の開始に並行して、車両１の周辺の監視を開始する。車両１の周辺の監視は、自動運転の開始時に開始されてもよく、手動運転モードによる走行中において周辺監視システム１７の故障の有無の判定を行う際に開始されてもよい。ここでは、車両１の周辺の監視は、便宜上、運転者の監視の開始に並行して、開始されるものとして説明する。
（２）故障の判定の開始
運転が開始された後、故障判定装置６ａは、ステップＳ２において、質問情報出力部６１３により、所定のタイミングで、周辺監視システム１７の故障の有無の判定を開始する。故障の判定を開始するタイミングは、これに限らないが、例えば、次のような状況であってよい。（ａ）車両１の走行中に一定時間が経過する都度。（ｂ）車両１の走行中に一定距離を走行する都度。（ｃ）高速道路の走行中に車間距離確認区間にさしかかったとき、またはその都度。（ｄ）高速道路の走行中にサービスエリアやパーキングエリアに駐車したとき、またはその都度。そのほか、故障の判定は、さまざまなタイミングで行われてよい。
故障の判定は、走行中に開始されてもよく、また、停車中に開始されてもよいが、好ましくは、運転者が運転操作に忙しくないときに開始されるとよい。故障の判定は、例えば、自動運転中や停車中、手動運転中にあってもステアリン操作やアクセル操作やブレーキ操作がないか少ないときに開始されるとよい。
（３）運転者の状態の判定
故障の判定が開始されると、故障判定装置６ａは、ステップＳ３において、質問情報出力部６１３により、運転者が集中度の高い状態にあるか否かを判定する。
前述したように、運転者状態判定部６１２は、運転者の状態を一定の時間間隔で判定し、その判定結果を表す情報を、運転者状態記憶部６３２に記憶させている。運転者の状態の判定結果を表す情報は、運転者が集中度の高い状態にあるか否かについての判定結果を表す情報を含んでいる。
質問情報出力部６１３は、運転者が集中度の高い状態にあるか否かの判定結果を表す情報を運転者状態記憶部６３２から読み込む。
判定結果を表す情報が、運転者が集中度の高い状態にないことを示す場合、例えば、故障判定装置６ａは、今回の故障の判定の処理を中止し、ステップＳ２に戻り、次回の故障の判定の開始を待つ。
ここでは、一例として、判定結果を表す情報が、運転者が集中度の高い状態にないことを示す場合、故障の判定の処理を中止するとしたが、所定の時間の経過を待って、ステップＳ３の処理、すなわち運転者が集中度の高い状態にあるか否かの判定の処理に戻るようにしてもよい。
（４）質問の出力
反対に、判定結果を表す情報が、運転者が集中度の高い状態にあることを示す場合、故障判定装置６ａは、ステップＳ４において、質問情報出力部６１３により、車両１の周辺の状況に関する質問の情報を出力する。
質問情報出力部６１３は、周辺監視システム１７から、車両１の周辺の状況に関する監視情報を読み込む。次に、質問情報出力部６１３は、監視情報に基づいて、車両１の周辺の状況に関する質問を生成し、質問の内容のメッセージを出力する。
質問の内容のメッセージは、入出力インタフェースユニット６２により音声信号または表示信号またはそれら両方に変換され、入出力装置９へ出力される。入出力装置９は、入力された音声信号をスピーカから音声メッセージとして出力すると共に、入力された表示信号を表示器に表示メッセージとして表示する。
周辺監視システム１７が出力する監視情報は、車両１の周辺の状況に関する情報である。監視情報は、これに限らないが、例えば、車両１の周辺に存在する車両等の車両１に対する相対位置情報を含んでいてよい。ここにおいて、車両等は、実際の車両に限定されるものではなく、人や動物、標識やガードレール等の固定物、センターライン等の指標を含んでいてよい。以下では、これらすべてを含めて単に車両等と称することとする。また、監視情報は、車両１の周辺の映像情報やその映像処理結果の情報を含んでいてよい。
質問は、好ましくは、運転者の感覚に依存しない質問であるとよい。これは、運転者の感覚に依存する質問では、適切な回答が得られないおそれがあるからである。質問は、いわゆるイエス／ノーで答えられる質問、例えば、監視情報が「正しい」か「間違い」かを問うものであってよい。
質問は、これに限らないが、例えば、次のような質問であってよい。（ａ）車両１の周辺に他の車両等が存在することを問うもの。（ｂ）さらに、監視情報に基づいて得られる車両１に対する他の車両等の相対位置が正しいかを問うもの。（ｃ）監視情報に基づいて得られる他の車両等の属性、例えば車種が正しいかを問うもの。そのほか、質問は、さまざまな問いであってよい。
運転者に正否または是非を問う質問、すなわち、運転者に「正しい」か「間違い」かを問う質問の内容のメッセージは、これに限らないが、例えば、次のようなメッセージであってよい。（ａ）「右側に他の車両がいます」（ｂ）「先行車両までの距離は１００ｍです」（ｃ）「先行車両はトラックです」（ｄ）「現在、車線の右寄りを走っています」（ｅ）「駐車スポットの右側の白線から３０ｃｍの距離に停車しています」など。そのほか、質問のメッセージは、さまざまなものであってよい。
質問の内容のメッセージは、音声、または、画像、または、それら両方の情報であってよい。すなわち、質問の内容のメッセージの出力は、音声、または、画像、または、それら両方によって行われてよい。
（５）回答の取得
続いて、故障判定装置６ａは、ステップＳ５において、故障判定部６１４により、質問に対する運転者の回答の情報を取得する。
質問の内容のメッセージの出力後、故障判定部６１４は、所定の時間の間、入出力装置９から回答の入力を待つ。入出力装置９からの回答の入力があったならば、その回答の情報を取得する。所定の時間が経過する間に入出力装置９からの回答の入力がなかった場合には、故障判定装置６ａは、その状況に応じた処理を行う。例えば、ステップＳ４に戻り、質問の情報の出力の処理を再び行ってよい。あるいは、回答なしとの情報をタイムスタンプと関連付けて判定結果記憶部６３３に記憶させ、ステップＳ２に戻り、次回の故障の判定の開始を待ってよい。
回答の入力は、例えば、音声入力によって行われてよい。あるいは、回答の入力は、タッチパネル等の画像を使用したセンシング技術を利用して行われてよい。さらには、回答の入力は、それら両方によって行われてもよい。
図４は、タッチパネル式の入出力装置９によって質問に対する回答が入力される様子を模式的に示している。この例では、入出力装置９の表示器に２つの質問、「質問１：右側斜め前方に大型車あり」と「質問２：右側側方に乗用車あり」のメッセージが表示されており、それらの質問の各々に対して「正しい」と「間違い」の回答用の２つボタンが表示されている。ここでは、質問１に対して、「間違い」のボタンが押された様子が示されている。
（６）故障の有無の判定
さらに、故障判定装置６ａは、ステップＳ６において、故障判定部６１４により、運転者の回答の結果を質問の内容と比較して、周辺監視システム１７の故障の有無を判定する。
故障判定部６１４は、質問の内容と回答の結果を比較した結果、両者が整合する場合には、ステップＳ７において、周辺監視システム１７に故障はないと判定し、反対に、両者が整合しない場合には、ステップＳ８において、周辺監視システム１７に故障がある可能性があると判定する。
例えば、図４の例に対して、故障判定部６１４は、「正しい」との回答に対しては、周辺監視システム１７に故障なしと判定し、「間違い」との回答に対しては、周辺監視システム１７に故障の可能性ありと判定する。
続いて、故障判定部６１４は、ステップＳ９において、判定結果を表す情報を判定結果記憶部６３３に記憶させる。
また、故障判定部６１４は、判定処理の終了を指示情報出力部６１５に通知する。
（７）自動運転機能の制限または停止
故障判定部６１４により周辺監視システム１７に故障の可能性ありと判定された場合、故障判定装置６ａは、ステップＳ１０において、指示情報出力部６１５により、必要に応じて、自動運転制御装置５の自動運転機能を制限または停止させる指示情報を出力する。
この処理は、周辺監視システム１７に故障の可能性ありと判定された場合に必ず行うものではない。例えば、この処理は、周辺監視システム１７に故障の可能性ありと判定され、かつ、所定の条件に当てはまる場合に行うものであってよい。
故障判定部６１４による判定処理の終了の通知を受けると、指示情報出力部６１５は、判定結果記憶部６３３から判定結果を表す情報を読み込む。
判定結果を表す情報が、故障なしとの判定結果を示す場合、指示情報出力部６１５は、特に処理を行わない。
反対に、判定結果を表す情報が、故障の可能性ありとの判定結果を示す場合であって、さらに、予め設定された所定の条件に当てはまる場合に、指示情報出力部６１５は、自動運転制御装置５の自動運転機能を制限または停止させる指示情報を出力する。
例えば、故障の可能性ありとの判定結果が所定の回数連続した場合に、指示情報出力部６１５が指示情報を出力するようにしてよい。所定の条件は、これに限らず、さまざまな条件であってよい。例えば、所定の回数の判定結果において、故障の可能性ありとの判定結果が連続していないものの、その割合が非常に高い場合に、指示情報出力部６１５が指示情報を出力するようにしてもよい。
自動運転制御装置５の自動運転機能を制限または停止させる指示情報は、例えば、自動運転制御装置５に、周辺監視システム１７からの情報を利用しないで、車両１の走行を自動制御させるようにするものであってよい。あるいは、指示情報は、自動運転制御装置５に、車両１の走行の自動制御を実行させないようにするものであってもよい。
指示情報の出力に伴って、好ましくは、指示情報出力部６１５は、さらに、指示情報の内容に応じたメッセージを入出力装置９に出力するとよい。メッセージは、これに限らないが、例えば、次のような内容を含んでいてよい。（ａ）周辺監視システム１７が故障している可能性がある。（ｂ）自動運転制御装置５が周辺監視システム１７を使用できない。（ｃ）自動運転制御装置５の自動運転機能が利用できない。（ａ）周辺監視システム１７の点検が必要である。さまざまなものであってよい。
（８）運転終了の判定
故障判定装置６ａは、ステップＳ１１において、運転が終了したか否かを判定する。運転が終了していないと判定した場合は、ステップＳ２の処理に戻る。運転が終了したと判定した場合は、処理を終了する。
（効果）
以上詳述したように、この発明の一実施形態では、所定のタイミングで、運転者の状態を検出する運転者状態検出センサである運転者カメラ７の検出情報に基づいて、運転者状態判定部６１２により、運転者が集中度の高い状態にあるか否かを判定する。そして、運転者が集中度の高い状態にあると判定した場合に、質問情報出力部６１３により、周辺監視システムの監視情報に基づいて、車両の周辺の状況に関する質問の情報を入出力装置９に出力する。故障判定部６１４により、入出力装置９から入力された質問に対する運転者の回答の情報に基づいて、周辺監視システムの故障の有無を判定する。このため、周辺監視システムの故障の有無が対話的に判定されることになる。これにより、周辺監視システム自体が感知しない故障を発見することが可能になる。
また、故障判定部６１４により、周辺監視システムの故障があると判定された場合に、指示情報出力部６１５により、必要に応じて、自動運転制御装置の機能を制限する指示情報が出力される。このため、周辺監視システム自体が感知しない故障に起因して起こりかねない自動運転制御装置の制御不具合の発生を軽減することが可能になる。
あるいは、故障判定部６１４により、周辺監視システムの故障があると判定された場合に、指示情報出力部６１５により、必要に応じて、自動運転制御装置の機能を停止させる指示情報が出力される。このため、周辺監視システム自体が感知しない故障に起因して起こりかねない自動運転制御装置の制御不具合の発生を防止することが可能になる。
［他の実施形態］
実施形態では、運転者状態検出センサが運転者カメラ７で構成され、運転者カメラ７により得られる運転者の顔を含む映像信号に基づいて運転者の状態を判定する場合を例にとって説明した。しかし、運転者状態検出センサは、運転者カメラ７に限らず、運転者の生体情報を取得する生体センサで構成し、生体センサにより得られる生体信号、例えば脈波センサまたは心拍センサにより検出される運転者の脈波信号または心拍信号や、圧力センサにより検出される横隔膜の上下動を表す信号に基づいて、運転者の状態を判定するようにしてもよい。
実施形態では、図１に関連して、周辺監視システム１７は、自動運転制御装置５とは別個のシステムとして説明したが、車両１に搭載されたカメラ等の周辺監視センサと、自動運転制御装置５の内部に設けられた情報処理部とから周辺監視システムを構成してもよい。この場合、故障判定装置６ａは、自動運転制御装置５内の情報処理部から、監視情報を取得すればよい。
故障判定装置６ａは、実施形態では、ステップＳ８において周辺監視システム１７に故障の可能性ありと判定され、かつ、所定の条件に当てはまる場合に、自動運転制御装置５の自動運転機能を制限または停止させる指示情報を出力するように構成されているが、ステップＳ８において周辺監視システム１７に故障の可能性ありと判定された場合に、直ちに、周辺監視システム１７に故障の可能性ありとのメッセージ、さらには周辺監視システム１７点検を促すメッセージを入出力装置９に出力させるように構成されてもよい。
あるいは、故障判定部６１４は、質問の内容と回答の結果が整合しない場合、周辺監視システム１７に故障の可能性があると判定しているが、直ちに、周辺監視システム１７に故障があると判定してもよい。これに伴い、その場合に、故障判定装置６ａは、自動運転制御装置５の自動運転機能を制限または停止させる指示情報を出力し、また、メッセージを入出力装置９に出力させるように構成されてもよい。
その他、車両の種類、自動運転制御装置の機能、故障判定装置の制御機能と制御手順および制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られるものではない。
（付記１）
車両の周辺を監視する周辺監視システムの故障の有無を判定する故障判定装置であって、ハードウェアプロセッサとメモリとを有し、
前記ハードウェアプロセッサが、
運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が集中度の高い状態にあるか否かを判定し、その判定結果を表す情報を前記メモリに記憶させ、
所定のタイミングで前記メモリから前記判定結果を表す情報を読み出し、前記判定結果を表す情報が、前記運転者が集中度の高い状態にあることを示す場合、前記周辺監視システムの監視情報に基づいて、前記車両の周辺の状況に関する質問の情報を出力し、
前記質問に対する前記運転者の回答の情報に基づいて前記周辺監視システムの故障の有無を判定する、故障判定装置。
（付記２）
車両の周辺を監視する周辺監視システムの故障の有無を判定する装置が実行する故障判定方法であって、
ハードウェアプロセッサを用いて、運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が集中度の高い状態にあるか否かを判定し、その判定結果を表す情報をメモリに記憶させ、
前記ハードウェアプロセッサを用いて、所定のタイミングで前記メモリから前記判定結果を表す情報を読み出し、前記判定結果を表す情報が、前記運転者が集中度の高い状態にあることを示す場合、前記周辺監視システムの監視情報に基づいて、前記車両の周辺の状況に関する質問の情報を出力し、
前記ハードウェアプロセッサを用いて、前記質問に対する前記運転者の回答の情報に基づいて前記周辺監視システムの故障の有無を判定する、故障判定方法。
１…車両、２…パワーユニット、３…操舵装置、３ａ…ステアリングホイール、５…自動運転制御装置、６…運転モード切替制御装置、６ａ…故障判定装置、７…運転者カメラ、９…入出力装置、１０…運転者監視システム、１１…ステアリングセンサ、１２…アクセルペダルセンサ、１３…ブレーキペダルセンサ、１４…ＧＰＳ受信機、１５…ジャイロセンサ、１６…車速センサ、１７…周辺監視システム、６１…制御ユニット、６２…入出力インタフェースユニット、６３…記憶ユニット、６１１…運転者監視映像取得部、６１２…運転者状態判定部、６１３…質問情報出力部、６１４…故障判定部、６１５…指示情報出力部、６３１…運転者監視映像記憶部、６３２…運転者状態記憶部、６３３…判定結果記憶部。

Claims (5)

  1. 車両の周辺を監視する周辺監視システムの故障の有無を判定する故障判定装置であって、
    運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が集中度の高い状態にあるか否かを判定する運転者状態判定部と、
    前記運転者状態判定部により前記運転者が集中度の高い状態にあると判定された場合に、前記周辺監視システムの監視情報に基づいて、前記車両の周辺の状況に関する質問の情報を出力する質問情報出力部と、
    前記質問に対する前記運転者の回答の情報に基づいて前記周辺監視システムの故障の有無を判定する故障判定部とを具備している故障判定装置。
  2. 前記車両に搭載された自動運転制御装置に自動運転制御に関する指示情報を出力する指示情報出力部をさらに具備しており、前記指示情報出力部は、前記故障判定部により前記周辺監視システムの故障があると判定された場合に、前記自動運転制御装置の機能を少なくとも制限する指示情報を出力する、請求項１に記載の故障判定装置。
  3. 前記指示情報出力部は、前記故障判定部により前記周辺監視システムの故障があると判定された場合に、前記自動運転制御装置の機能を停止させる指示情報を出力する、請求項２に記載の故障判定装置。
  4. 車両の周辺を監視する周辺監視システムの故障の有無を判定する装置が実行する故障判定方法であって、
    運転者の状態を検出する運転者状態検出センサの検出情報に基づいて、前記運転者が集中度の高い状態にあるか否かを判定する運転者状態判定ステップと、
    前記運転者が集中度の高い状態にあると判定された場合に、前記周辺監視システムの監視情報に基づいて、前記車両の周辺の状況に関する質問の情報を出力する質問情報出力ステップと、
    前記質問に対する前記運転者の回答の情報に基づいて前記周辺監視システムの故障の有無を判定する故障判定ステップとを有している故障判定方法。
  5. 請求項１ないし請求項３のいずれかひとつに記載の故障判定装置が備える各部の機能または請求項４に記載の故障判定方法の各ステップをコンピュータに実行させるプログラム。
JP2017047075A 2017-03-13 2017-03-13 故障判定装置、方法およびプログラム Expired - Fee Related JP6648722B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017047075A JP6648722B2 (ja) 2017-03-13 2017-03-13 故障判定装置、方法およびプログラム
PCT/JP2017/033150 WO2018168020A1 (ja) 2017-03-13 2017-09-13 故障判定装置、方法およびプログラム
DE112017007230.1T DE112017007230B4 (de) 2017-03-13 2017-09-13 Fehlerbestimmungsvorrichtung, verfahren und programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017047075A JP6648722B2 (ja) 2017-03-13 2017-03-13 故障判定装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018151818A JP2018151818A (ja) 2018-09-27
JP6648722B2 true JP6648722B2 (ja) 2020-02-14

Family

ID=63522888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017047075A Expired - Fee Related JP6648722B2 (ja) 2017-03-13 2017-03-13 故障判定装置、方法およびプログラム

Country Status (3)

Country Link
JP (1) JP6648722B2 (ja)
DE (1) DE112017007230B4 (ja)
WO (1) WO2018168020A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109975033B (zh) * 2019-03-22 2020-05-12 山东省科学院自动化研究所 一种自动驾驶动态测试方法及装置
CN110749455A (zh) * 2019-10-29 2020-02-04 长安大学 一种无人车汇入车流通行能力测试系统及测试方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011188134A (ja) * 2010-03-05 2011-09-22 Panasonic Corp 監視システム、その制御方法及び監視装置
KR101470190B1 (ko) * 2013-07-09 2014-12-05 현대자동차주식회사 자율주행 시스템의 고장 처리 장치 및 그 방법
JP6337269B2 (ja) * 2014-04-09 2018-06-06 パナソニックＩｐマネジメント株式会社 車両評価装置
EP3090913B1 (en) 2015-05-08 2021-09-29 Continental Automotive GmbH Vehicle control system and method

Also Published As

Publication number Publication date
WO2018168020A1 (ja) 2018-09-20
JP2018151818A (ja) 2018-09-27
DE112017007230T5 (de) 2019-12-12
DE112017007230B4 (de) 2023-08-31

Similar Documents

Publication Publication Date Title
WO2018070064A1 (ja) 運転モード切替制御装置、方法およびプログラム
JP6946351B2 (ja) 車両制御装置及び車両制御方法
WO2018186127A1 (ja) 走行支援装置
JP7119653B2 (ja) 車両制御装置
US10843693B2 (en) System and method for rear collision avoidance
CN109689476B (zh) 驾驶模式切换控制装置、方法以及存储介质
JP6447647B2 (ja) 運転モード切替制御装置、方法およびプログラム
JP6733293B2 (ja) 情報処理装置
WO2014148025A1 (ja) 走行制御装置
JP2010125923A (ja) 緊急退避装置
JP6269360B2 (ja) 運転支援システム及び運転支援方法
JP6604577B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
JPWO2019058781A1 (ja) 駐車支援装置
JP2015032291A (ja) 自動走行支援装置
US9886034B2 (en) Vehicle control based on connectivity of a portable device
JP6648722B2 (ja) 故障判定装置、方法およびプログラム
CN112977451B (zh) 行驶辅助系统及其控制方法
JP6627810B2 (ja) 運転モード切替制御装置、方法およびプログラム
JP5310276B2 (ja) 運転支援装置
JP6465131B2 (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
JP6631564B2 (ja) 自動運転車両監視装置、方法およびプログラム
JP2019133488A (ja) 運転支援装置、及び運転支援方法
JP2018149862A (ja) 運転モード切替制御装置、方法およびプログラム
CN114084159A (zh) 辅助驾驶功能提醒方法、装置、介质及车辆
WO2018163536A1 (ja) 運転者身体コンディション回復支援装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191230

R150 Certificate of patent or registration of utility model

Ref document number: 6648722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees