JP6512174B2 - 車載警告システム - Google Patents

車載警告システム Download PDF

Info

Publication number
JP6512174B2
JP6512174B2 JP2016100464A JP2016100464A JP6512174B2 JP 6512174 B2 JP6512174 B2 JP 6512174B2 JP 2016100464 A JP2016100464 A JP 2016100464A JP 2016100464 A JP2016100464 A JP 2016100464A JP 6512174 B2 JP6512174 B2 JP 6512174B2
Authority
JP
Japan
Prior art keywords
driver
warning
vehicle
voice
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016100464A
Other languages
English (en)
Other versions
JP2017206141A (ja
JP2017206141A5 (ja
Inventor
菜美 佐藤
菜美 佐藤
朗浩 小笠原
朗浩 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016100464A priority Critical patent/JP6512174B2/ja
Priority to PCT/JP2017/007426 priority patent/WO2017199524A1/ja
Priority to US16/099,783 priority patent/US10399494B2/en
Publication of JP2017206141A publication Critical patent/JP2017206141A/ja
Publication of JP2017206141A5 publication Critical patent/JP2017206141A5/ja
Application granted granted Critical
Publication of JP6512174B2 publication Critical patent/JP6512174B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)

Description

本発明は、車両に異常が発生したときにメータパネルの警告灯が点灯する車載警告システムに関する。
車両においては、エンジンオイルが不足したり、充電系統に異常が発生したりした場合、メータパネルの警告灯例えば油圧警告灯や充電警告灯等が点灯または点滅する。このようにメータパネルにて警告灯が点灯または点滅すると、運転者は、「何か表示が出ている。気になる。」と思い、運転に集中できない事態が発生していた。
また、特許文献１には、メータパネルの警告灯が点灯した場合に、ナビゲーション装置のディスプレイに警告の内容説明や対処方法説明等を表示するシステムが記載されている。しかし、上記システムの場合、ナビゲーション装置で経路案内している最中において、警告が発生したときには、経路案内の途中で突然、ディスプレイに警告の内容説明や対処方法説明等が表示される。このため、運転者は、メータパネルの警告灯の点灯で気持ちが動揺している上に、ナビゲーション装置のディスプレイの表示が突然変わることから、運転者の精神状態が更に混乱していく可能性があり、運転等に支障をきたすおそれもあった。
特開２００６−１９３１３８号公報
本発明の目的は、メータパネルの警告灯の点灯等の異常が発生した場合に、運転者が精神的に動揺するような事態を極力防止できる車載警告システムを提供することにある。
請求項１の発明は、車両に異常が発生したときにメータパネルの警告灯が点灯または点滅するように構成された車載警告システム（１）であって、前記警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出する検出部（１２）と、運転者の精神的な動揺が検出されたときに、前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知する報知部（１２）とを備え、前記検出部（１２）は、運転者の視線の方向や顔向きの方向等を検出して運転者の視点が前記メータパネルを注視していることを検出する注視検出部（１２）と、運転者の発する音声を音声認識して認識した音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出する音声検出部（１２）とを有するように構成されたものである。
第１実施形態を示す車載警告システムのブロック図 車両のコックピットの領域分割を説明する図（その１） 車両のコックピットの領域分割を説明する図（その２） 警告提示制御のフローチャート 警告灯と警告レベルとの関係を表にして示す図 警告の内容等を説明する説明文の表示態様の一例を示す図
（第１実施形態）
以下、第１実施形態について、図１ないし図６を参照して説明する。本実施形態の車載警告システム１は、図１に示すように、メータＥＣＵ２と、監視カメラＥＣＵ３と、ナビゲーション装置４と、これらＥＣＵ２、３及びナビゲーション装置４が接続された車載ＬＡＮ５とを備えている。メータＥＣＵ２は、車載ＬＡＮ５を介して車両に搭載された種々のＥＣＵから送信された種々の異常検出信号を受信し、受信した異常検出信号に対応するメータパネルの警告灯（例えば油圧警告灯や充電警告灯等）を点灯または点滅動作させる。
監視カメラＥＣＵ３は、運転者（即ち、ドライバ）の顔及び上半身等を撮影するカメラと、カメラで撮影した画像データを画像認識処理する画像情報処理部とを備えている。監視カメラＥＣＵ３は、カメラで撮影した運転者の画像データを画像認識処理することにより、運転者の視線の方向や顔向きの方向等を検出し、運転者が車両のインストルメントパネル及びフロントガラス周辺（即ち、コックピット）のどこに視点を置いているかを検出する機能を有する。この場合、例えば、図２に示すように、インストルメントパネル及びフロントガラス周辺を複数の領域Ｒ１〜Ｒｎに分割し、これら領域Ｒ１〜Ｒｎのいずれに運転者の視点が位置しているかを判定することが可能な構成となっている。図２に示す構成の場合、領域Ｒ２に運転者の視点が位置していると判定されると、運転者はメータパネル、即ち、警告灯を注視していると判断することができる。そして、監視カメラＥＣＵ３は、運転者の視線の方向や顔向きの方向や視点の位置等の検出情報を車載ＬＡＮ５を介してナビゲーション装置４へ送信するように構成されている。
尚、コックピット内を図２に示すように領域分割する代わりに、例えば図３に示すように、コックピット内を複数の領域Ｑ１〜Ｑｎに分割するように構成し、これら領域Ｑ１〜Ｑｎのいずれに運転者の視点が位置しているかを判定するように構成しても良い。
ナビゲーション装置４は、表示部６、操作入力部７、位置検出器８、地図データ入力器９、記憶部１０、音声処理部１１、制御部１２などを備えている。表示部６は、例えば液晶表示器や有機ＥＬ表示器で構成されており、制御部１２からの指示に基づいて各種の情報（例えば種々のメッセージや、ナビゲーションに関する各種の表示等）を表示する。表示部６の画面上には、タッチスイッチ（例えばタッチパネル）が設けられている。
操作入力部７は、上記タッチスイッチや表示部６の周囲に設けられたメカニカルスイッチなどを有し、ユーザによる上記スイッチの操作を検知し、その操作検知信号を制御部１２に出力する。尚、操作入力部７には、音声認識処理を開始するためのトークスイッチが含まれている。制御部１２は、操作入力部７から入力された操作検知信号を解析してユーザによる操作内容を特定する。
位置検出器８は、図示しない周知の地磁気センサ、ジャイロスコープ、車速センサおよびＧＰＳ受信機などを備えており、高精度に車両の現在位置を検出する。さらに、加速度を検出する加速度センサ等を加えてもよい。位置検出器８は、検出した車両の現在位置の情報を制御部１２に出力する。地図データ入力器９は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、不揮発性の半導体メモリ等のような大容量の情報記憶媒体を利用して道路地図データや音声認識辞書のデータなどを入力するためのものである。制御部１２は、位置検出器８から与えられる車両の現在位置情報と、地図データ入力器９から与えられる道路地図データなどに基づいて、いわゆるナビゲーション処理を行う。
記憶部１０は、例えばハードディスクドライブやＳＤメモリなどの不揮発性の記憶媒体からなり、各種データを記憶する記憶領域を有して構成されている。記憶部１０は、ナビゲーション装置４に内蔵されている構成であってもよいし、ナビゲーション装置４から取り外し可能な外部記憶媒体を用いる構成であってもよい。
音声処理部１１には、制御部１２、マイクロホン１３およびスピーカ１４が接続されている。音声処理部１１は、周知の音声入力処理、音声出力処理及び楽曲出力処理等を行う。音声処理部１１は、ユーザ（例えば運転者等）が発した音声をマイクロホン１３から入力すると、その入力した音声データを音声処理して制御部１２へ出力する。また、音声処理部１１は、制御部１２から音声データや楽曲データや音データ等を入力すると、その入力した音声データや楽曲データや音データ等をスピーカ１４から出力する。
制御部１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏバスなどを有するマイクロコンピュータを主体に構成されている。制御部１２は、内蔵のＲＯＭや記憶部１０などに記憶されているコンピュータプログラムに従って、ナビゲーション装置４の動作全般を制御する。制御部１２は、車両の現在地から目的地までの経路を探索する経路探索機能、探索され且つ設定された経路に沿って経路案内する経路案内機能、および、操作入力部７を操作して目的地を設定する目的地設定機能を有している。
また、制御部１２は、車載ＬＡＮ５を介して車両に搭載された種々のＥＣＵから出力された種々の異常検出信号を受信し、メータパネルの警告灯が点灯または点滅されたか否か、即ち、警告が発生したか否かを判定する警告発生判定機能を有する。更に、制御部１２は、マイクロホン１３及び音声処理部１１を介して入力したユーザの音声を、地図データ入力器９の音声認識辞書に基づいて音声認識処理する音声認識機能を有する。尚、音声認識処理は、通常、ユーザがトークスイッチを押下したときに実施されるが、上記警告が発生したことが判定されたときには、トークスイッチが押下されていなくても、即ち、連続音声認識モードがオンされて、自動的且つ連続的に音声認識処理が実施されるように構成されている。
また、制御部１２は、車載ＬＡＮ５を介して監視カメラＥＣＵ３により検出された運転者の視線の方向の情報や顔向きの方向の情報や視点がコックピット内のどこの領域に位置しているかの情報等を受信する機能を有する。また、制御部１２は、運転者の音声の音声認識結果と、運転者の視線の方向の情報や顔向きの方向の情報や視点がコックピット内のどこの領域に位置しているかの情報等とに基づいて、運転者が精神的に動揺（または混乱）していることを検出する機能を有する。そして、制御部１２は、運転者が精神的に動揺していることを検出した場合に、上記警告の内容等をユーザに対して提示する機能を通する。また、制御部１２は、運転者の発話の音声認識結果が「あれ何」等の言葉、即ち、警告が発生した状況下で、運転者の精神が動揺している際に、運転者が発するような言葉であるか否かを判断する機能を有する。制御部１２は、検出部、報知部、注視検出部及び音声検出部としての各機能を備えている。
次に、上記構成のナビゲーション装置４の動作、即ち、制御部１２の警告提示制御について、図４ないし図６を参照して説明する。図４のフローチャートは、制御部１２の警告提示制御の内容を示す。
まず、図４のステップＳ１０においては、制御部１２は、車両ＬＡＮ５を介して受信した異常検出信号に基づいてメータパネルの警告灯が点灯または点滅されたか否か、即ち、警告が発生したか否かを判定する。ここで、警告が発生していないときには、「ＮＯ」へ進み、ステップＳ１０の判断を続ける。上記ステップＳ１０において、警告が発生したときには（ＹＥＳ）、ステップＳ２０へ進み、制御部１２は、連続音声認識モードをオンし、マイクロホン１３を介して入力したユーザの音声を自動的且つ連続的に音声認識処理する。
続いて、ステップＳ３０へ進み、制御部１２は、監視カメラＥＣＵ３から車載ＬＡＮ５を介して送信された運転者の視線の方向や顔向きの方向や視点の位置の情報等を受信して、運転者の視線や視点等を確認することにより、運転者がメータパネル付近を例えば０．３秒以上見たか否かを判断する。ここで、運転者がメータパネル付近を例えば０．３秒以上見ていないときには、「ＮＯ」へ進み、ステップＳ３０の判断を繰り返す。
上記ステップＳ３０において、運転者がメータパネル付近を例えば０．３秒以上見たときには（ＹＥＳ）、ステップＳ４０へ進み、制御部１２は、発生した警告の警告レベルが例えば２以上であるか否かを判断する。尚、警告レベルは、例えば、図５の表に示すように設定されており、警告レベル１は危険度が高く、警告レベル２は危険度が中ぐらいであり、警告レベル３は危険度が低い。上記ステップＳ４０において、警告レベルが２以下でないときには（ＮＯ）、警告レベルが１であって発生した警告の危険度が高いことから、ステップＳ７０へ進む。尚、ステップＳ７０の処理及びそれ以降の処理については、後述する。
また、上記ステップＳ４０において、警告レベルが２以上であるときには（ＹＥＳ）、警告レベルが２または３であって危険度が高くないことから、ステップＳ５０へ進む。このステップＳ５０では、制御部１２は、監視カメラＥＣＵ３から出力された運転者の視点等の情報に基づいて、運転者がメータパネル付近を例えば０．３秒以上見たパネル注視動作の回数が、例えば５秒間に３回以上であるか否かを判断する。この構成の場合、運転者がメータパネルを注視しているからといって、即時に警告内容を提示（例えば表示または音声で報知）するのではなく、所定時間（例えば５秒間）内に設定回数（例えば３回）以上パネル注視動作を実行した場合に、警告内容を提示するようにするためである。
上記ステップＳ５０において、運転者がメータパネル付近を例えば０．３秒以上見たパネル注視動作の回数が、５秒間に３回未満のときには（ＮＯ）、ステップＳ３０へ戻る。また、上記ステップＳ５０において、運転者がメータパネル付近を例えば０．３秒以上見たパネル注視動作の回数が、５秒間に３回以上であるときには（ＹＥＳ）、ステップＳ６０へ進む。
このステップＳ６０においては、制御部１２は、運転者の発話の音声認識結果が、「あれ何」等の言葉であるか否かを判断する。この場合、「あれ何？」の他に、「これ何？」、「この警告なに？」、「この警告なんだっけ？」、「赤い信号？」、または、「何で光っているの？」等の言葉、即ち、警告が発生した状況下で、運転者の精神が動揺している際に、運転者が発するような言葉が、音声認識されたか否かを判断する。
上記ステップＳ６０において、運転者の発話の音声認識結果が、「あれ何」等の言葉でなかったときには（ＮＯ）、ステップＳ３０へ戻る。また、上記ステップＳ６０において、運転者の発話の音声認識結果が、「あれ何」等の運転者の精神が動揺している際に運転者が発するような言葉であったときには（ＹＥＳ）、ステップＳ７０へ進む。
このステップＳ７０においては、制御部１２は、警告の内容を説明する表示態様（例えば図や画像や説明文等）や、警告に対する対処の仕方を説明する表示態様（例えば図やマークや画像や説明文等）等を運転者に提示、即ち、報知する。この場合、制御部１２は、上記各表示態様を、ナビゲーション装置４の表示部６に表示する。表示部６に表示する表示態様の一例を、図６に示す。図６に示すように、メータパネル内で点灯した警告灯、例えば油圧警告灯のマーク（例えば図柄）１５を表示すると共に、警告の内容として「油圧警告」を表示し、更に、警告に対する対処の仕方として「即座に停車してください。エンジンオイルを点検ください。」を表示する。尚、メータパネル内に表示装置が設けられている構成の場合には、メータパネル内の表示装置にも、上記各表示態様等を表示することが好ましい。更に、制御部１２は、上記各表示態様等の中のメッセージ部分を、音声でスピーカ１４から出力するように構成されている。この場合、メッセージ部分を音声出力する際に、丁寧な音声を出力するようにして、運転者の動揺を鎮めるようにすることが好ましい。また、メッセージ部分の音声出力の前に、「警告灯が点灯しました。落ち着いてください。警告の内容及び対処の仕方をご説明します。」というような運転者の動揺を抑制するための言葉を音声で出力するように構成しても良い。
そして、ステップＳ８０へ進み、制御部１２は、警告が終了したか否か、即ち、警告灯が消灯したか否かを判断する。ここで、警告が継続しているときには（ＮＯ）、ステップＳ３０へ戻り、上述した制御を繰り返す。また、上記ステップＳ８０において、警告が終了したときには（ＹＥＳ）、ステップＳ９０へ進み、制御部１２は、連続音声認識モードをオフする。これにより、連続音声認識モードは解除され、これ以降は、通常通り、ユーザ（例えば運転者）がトークスイッチを押下したときに、音声認識処理が実施されるようになる。このステップＳ９０の後は、ステップＳ１０へ戻り、上述した制御を繰り返す。
このような構成の本実施形態においては、メータパネルの警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出し、運転者の精神的な動揺が検出されたときに、点灯または点滅した警告灯の警告の内容や警告に対する対処の仕方を運転者に報知するように構成した。この構成によれば、運転者の精神的な動揺が検出されたときに、初めて点灯または点滅した警告灯の警告の内容や警告に対する対処の仕方が運転者に報知されるようになるので、メータパネルの警告灯の点灯等の異常が発生した場合に、運転者が精神的に動揺するような事態を極力防止できる。
また、上記実施形態では、運転者の精神的な動揺を検出するに際して、監視カメラＥＣＵ３によって、運転者の視線の方向や顔向きの方向等を検出して運転者の視点が前記メータパネルを注視していることを検出し、ナビゲーション装置４の制御部１２によって、運転者の発する音声を音声認識して認識した音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出するように構成した。この構成によれば、運転者の精神的な動揺を正確に検出することができる。
また、上記実施形態では、運転者の視点がメータパネルを注視している時間が設定時間例えば０．３秒以上であるときに、運転者の精神が動揺しているどうかの検出制御を実行するように構成したので、運転者がメータパネルをちら見しかしないとき、即ち、運転者があまり動揺していないときには、上記検出制御を実行しないようにすることができる。
また、上記実施形態では、点灯または点滅した警告灯の警告レベルを考慮して、危険度が高い警告レベル（例えば警告レベルが１のとき）であるときには、点灯または点滅した警告灯の警告の内容や上記警告に対する対処の仕方を運転者に即座に報知するように構成した。この構成によれば、危険度が高い警告が発生した場合、その内容を運転者は速やかに知ることができる。
また、上記実施形態では、危険度が高い警告レベルでないときであって、運転者の視点がメータパネルを注視している時間が設定時間以上であるパネル注視動作の実行回数が、所定時間（例えば５秒間）内に設定回数（例えば３回）以上となったときに、運転者の精神が動揺しているどうかの検出制御を続行するように構成した。この構成によれば、運転者の精神的な動揺をより一層正確に検出することができる。
更に、上記実施形態では、危険度が高い警告レベルでないときであって、パネル注視動作の実行回数が所定時間内に設定回数以上となり、更に、運転者の発する音声が運転者の精神が動揺している際に運転者が発するような言葉であることが検出されたときに、運転者の精神的な動揺が検出されたとして、点灯または点滅した警告灯の警告の内容や上記警告に対する対処の仕方を運転者に報知するように構成した。この構成によれば、運転者の精神的な動揺をより一層正確に検出することができると共に、運転者の精神的な動揺を検出したときに、警告の内容や上記警告に対する対処の仕方を運転者に報知することができる。
また、上記実施形態では、警告灯が点灯または点滅したときに、自動的且つ連続的に音声認識処理を実行するように構成したので、警告が発生したときには、運転者がトークスイッチを押さなくても、運転者の音声の音声認識処理を自動的且つ連続的に実行することができる。更に、上記実施形態では、警告灯が消灯したときに、即ち、警告が終了したときに、連続音声認識モードをオフするように構成したので、高負荷の連続音声認識処理を無駄に続けることを防止できる。
尚、上記実施形態では、ナビゲーション装置４内に音声認識処理の機能を組み込むように構成したが、これに限られるものではなく、音声認識処理専用の車載ＥＣＵを設け、この車載ＥＣＵを車載ＬＡＮ５に接続するように構成しても良い。また、上記実施形態では、監視カメラＥＣＵ３を別途設けたが、これに代えて、監視カメラＥＣＵ３の機能をナビゲーション装置４内に内蔵するように構成しても良い。また、上記実施形態では、警告提示制御の機能をナビゲーション装置４に組み込むように構成したが、これに限られるものではなく、警告提示制御の機能を他の車載ＥＣＵに組み込むと共に、警告の内容や対処の仕方等の表示は、車載ＬＡＮ５に接続されたディスプレイＥＣＵのディスプレイに表示するように構成しても良い。
図面中、１は車載警告システム、２はメータＥＣＵ、３は監視カメラＥＣＵ、４はナビゲーション装置、６は表示部、１１は音声処理部、１２は制御部、１３はマイクロホン、１４はスピーカである。

Claims (6)

  1. 車両に異常が発生したときにメータパネルの警告灯が点灯または点滅するように構成された車載警告システム（１）であって、
    前記警告灯が点灯または点滅したときに、運転者の精神的な動揺を検出する検出部（１２）と、
    運転者の精神的な動揺が検出されたときに、前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知する報知部（１２）とを備え、
    前記検出部（１２）は、運転者の視線の方向や顔向きの方向等を検出して運転者の視点が前記メータパネルを注視していることを検出する注視検出部（１２）と、運転者の発する音声を音声認識して認識した音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出する音声検出部（１２）とを有するように構成された車載警告システム。
  2. 前記検出部（１２）は、運転者の視点が前記メータパネルを注視している時間が設定時間以上であるときに、運転者の精神が動揺しているどうかの検出制御を実行するように構成されていることを特徴とする請求項１記載の車載警告システム。
  3. 前記検出部（１２）は、前記点灯または点滅した警告灯の警告レベルを考慮し、危険度が高い警告レベルであるときには、前記報知部（１２）によって前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に即座に報知するように構成されていることを特徴とする請求項２記載の車載警告システム。
  4. 前記検出部（１２）は、危険度が高い警告レベルでないときであって、運転者の視点が前記メータパネルを注視している時間が設定時間以上であるパネル注視動作の実行回数が、所定時間内に設定回数以上となったときに、運転者の精神が動揺しているどうかの検出制御を続行するように構成されていることを特徴とする請求項３記載の車載警告システム。
  5. 前記検出部（１２）は、危険度が高い警告レベルでないときであって、前記パネル注視動作の実行回数が所定時間内に設定回数以上となり、更に、前記音声検出部（１２）によって運転者の発する音声が運転者の精神が動揺している際に運転者が発するような言葉であることを検出したときに、前記報知部（１２）によって前記点灯または点滅した警告灯の警告の内容や前記警告に対する対処の仕方を運転者に報知するように構成されていることを特徴とする請求項４記載の車載警告システム。
  6. 前記音声検出部（１２）は、前記警告灯が点灯または点滅したときに、連続的に音声認識処理を実行するように構成されていることを特徴とする請求項１から５のいずれか一項記載の車載警告システム。
JP2016100464A 2016-05-19 2016-05-19 車載警告システム Expired - Fee Related JP6512174B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016100464A JP6512174B2 (ja) 2016-05-19 2016-05-19 車載警告システム
PCT/JP2017/007426 WO2017199524A1 (ja) 2016-05-19 2017-02-27 車載警告システム
US16/099,783 US10399494B2 (en) 2016-05-19 2017-02-27 Vehicle-mounted warning system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016100464A JP6512174B2 (ja) 2016-05-19 2016-05-19 車載警告システム

Publications (3)

Publication Number Publication Date
JP2017206141A JP2017206141A (ja) 2017-11-24
JP2017206141A5 JP2017206141A5 (ja) 2018-07-05
JP6512174B2 true JP6512174B2 (ja) 2019-05-15

Family

ID=60326250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016100464A Expired - Fee Related JP6512174B2 (ja) 2016-05-19 2016-05-19 車載警告システム

Country Status (3)

Country Link
US (1) US10399494B2 (ja)
JP (1) JP6512174B2 (ja)
WO (1) WO2017199524A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200072999A (ko) * 2018-12-13 2020-06-23 현대자동차주식회사 운전자 경고 출력 시스템 및 그 제어 방법
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
CN111739192A (zh) * 2020-06-17 2020-10-02 张玲 一种具有散热功能的防抖动智能行车记录仪
CN114071841B (zh) * 2020-08-03 2023-03-28 比亚迪股份有限公司 车辆氛围灯控制系统和方法、车辆及计算机存储介质
WO2023092611A1 (zh) * 2021-11-29 2023-06-01 深圳市大疆创新科技有限公司 一种信息播报方法、通行状态提示方法、装置及车辆

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5595488A (en) * 1994-08-04 1997-01-21 Vigilant Ltd. Apparatus and method for monitoring and improving the alertness of a subject
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US6661345B1 (en) * 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
DE19952857C1 (de) * 1999-11-03 2001-08-09 Bosch Gmbh Robert Vorrichtung zur fahrerzustandsabhängigen Steuerung
JP3848601B2 (ja) * 2002-07-05 2006-11-22 本田技研工業株式会社 車両用メータ装置
JP4211501B2 (ja) * 2003-06-11 2009-01-21 日産自動車株式会社 車両用運転支援装置
JP2006193138A (ja) * 2004-12-14 2006-07-27 Denso Corp 車載システム、警告灯詳細情報通知システム及びサーバシステム
JP2006256377A (ja) * 2005-03-15 2006-09-28 Suzuki Motor Corp 車両用情報表示装置
JP5119587B2 (ja) * 2005-10-31 2013-01-16 株式会社デンソー 車両用表示装置
JP2008225216A (ja) * 2007-03-14 2008-09-25 Toyota Motor Corp 情報表示装置
JP2010282350A (ja) * 2009-06-03 2010-12-16 Toyota Motor Corp 衝突安全システム
JP2011225189A (ja) 2010-04-23 2011-11-10 Kanto Auto Works Ltd 車両故障警告装置及び車両故障警告システム

Also Published As

Publication number Publication date
JP2017206141A (ja) 2017-11-24
WO2017199524A1 (ja) 2017-11-23
US10399494B2 (en) 2019-09-03
US20190135176A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
JP6512174B2 (ja) 車載警告システム
JP5106540B2 (ja) 車載情報提供装置
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
JP5463922B2 (ja) 車載機
JP2018062308A (ja) 運転モード切替制御装置、方法およびプログラム
US20100049527A1 (en) Method and Device for Voice Control of a Device or of a System in a Motor Vehicle
JP2008176357A (ja) 異常診断システム及び診断情報管理装置
US11535260B2 (en) Attention-based notifications
US20110288871A1 (en) Information presentation system
JP2010003126A (ja) 運転支援装置および方法
JP2008040974A (ja) 運転支援装置
US10207584B2 (en) Information providing apparatus for vehicle
JP2018083441A (ja) 情報表示方法及び情報表示装置
US20180015826A1 (en) Vehicle Interior Lighting Systems And Methods
US9128517B2 (en) Vehicular terminal with input switching
JP2015132905A (ja) 電子システム、検出範囲の制御方法、及び制御プログラム
JP2017187845A (ja) 信号機情報通知システム、情報機器、サーバおよびプログラム
JP2015018146A (ja) 機能管理システム及び機能管理方法
US20220032942A1 (en) Information providing device and information providing method
US10394235B2 (en) Driver assistance system
JP2018151818A (ja) 故障判定装置、方法およびプログラム
US9744906B2 (en) Vehicle information notification device
JP6252729B2 (ja) 車両用入力支援装置
JP6409473B2 (ja) 車両通知装置、車両制御装置、および車両通知プログラム
US20230376123A1 (en) Display system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R151 Written notification of patent or utility model registration

Ref document number: 6512174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees