JP7697482B2 - ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム - Google Patents

ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム Download PDF

Info

Publication number
JP7697482B2
JP7697482B2 JP2023034865A JP2023034865A JP7697482B2 JP 7697482 B2 JP7697482 B2 JP 7697482B2 JP 2023034865 A JP2023034865 A JP 2023034865A JP 2023034865 A JP2023034865 A JP 2023034865A JP 7697482 B2 JP7697482 B2 JP 7697482B2
Authority
JP
Japan
Prior art keywords
driver
image
vehicle
terminal
standby state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023034865A
Other languages
English (en)
Other versions
JP2024126476A (ja
Inventor
次郎 藤野
健一郎 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2023034865A priority Critical patent/JP7697482B2/ja
Priority to US18/383,206 priority patent/US20240300544A1/en
Priority to CN202410249537.5A priority patent/CN118618421A/zh
Publication of JP2024126476A publication Critical patent/JP2024126476A/ja
Application granted granted Critical
Publication of JP7697482B2 publication Critical patent/JP7697482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラムに関する。
特許文献１には、自動運転機能を備える車両において、自動運転機能の作動時にドライバに許容される許容行為以外の行為をドライバが継続的に実施していると推定される場合に、情報提示機器にドライバへ向けた警報を実施させることが記載されている。
特許文献２には、ドライバが運転困難状態であるか否かを判定する際に、ドライバの状態の異常に加えて、ドライバによる運転操作及び車両の走行状態の少なくとも一方の異常が検出された場合に、ドライバが運転困難状態であると判定することが記載されている。
特許文献３には、ドライバの状態を検出し、ドライバの状態に応じて、車両の運転モードの切り替え（例えば自動運転モードから手動運転モードへの切り替え）を通知するタイミングを変更することが記載されている。
特許文献４には、ドライバの視線及び状態を監視し、ドライバに自動運転制御モードから手動運転モードへの引継ぎを要求するときに、ドライバの視線がスマートフォンのような機器に向いていることを検出すると、この機器の機能を停止させることが記載されている。
特開２０２１－１５２８８８号公報 特開２０１９－１６６９６８号公報 国際公開第２０１７／０８５９８１号 特開２０２１－０４９８９１号公報
車両においてレベル３の自動運転が実施されるときには、システムからの要求に応じて運転操作を交代できる状態であれば、スマートフォンのような端末の操作がドライバに許可される。一方、運転操作を迅速に引き継ぐことを妨げる居眠りのような行為は禁止されている。
このため、レベル３の自動運転が実施されている場合であっても、ドライバを撮影するように車両に設けられた撮像装置を用いてドライバの状態を監視する必要がある。しかしながら、斯かる撮像装置によって生成された画像に基づいて、ドライバが端末を操作している状態と、ドライバの居眠り又は急病による異常姿勢とを識別することは困難である。このため、ドライバが端末を操作しているときに、ドライバが運転操作を実施可能な運転待機状態でないと誤判定するおそれがある。
そこで、上記課題に鑑みて、本発明の目的は、ドライバが運転操作を実施可能な運転待機状態でないと誤判定することを抑制することにある。
本開示の要旨は以下のとおりである。
（１）車両のドライバが運転操作を実施可能な運転待機状態であるか否かを判定する判定部と、前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知する通知部とを有し、前記判定部は、前記ドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像と、前記ドライバにより操作可能な端末によって取得されたドライバ情報とを取得し、前記画像及び前記ドライバ情報に基づいて前記ドライバが前記運転待機状態であるか否かを判定する、ドライバ監視装置。
（２）前記ドライバ情報は、前記端末に搭載されたカメラによって生成された画像、又は前記ドライバによる前記端末への入力情報を含む、上記（１）に記載のドライバ監視装置。
（３）前記判定部は、前記画像に基づいて前記ドライバが前記運転待機状態であるか否かを所定の判定基準により判定し、前記ドライバ情報に基づいて前記ドライバが覚醒状態であるか否かを判定し、前記ドライバが覚醒状態であると判定した場合には前記判定基準を緩和する、上記（１）又は（２）に記載のドライバ監視装置。
（４）前記判定部は、前記画像に基づいて前記ドライバが前記運転待機状態であるか否かを所定の判定基準により判定し、前記画像に基づいて前記ドライバが前記運転待機状態でないと判定した場合には前記ドライバ情報に基づいて前記ドライバが覚醒状態であるか否かを判定し、前記ドライバが覚醒状態であると判定した場合には前記画像に基づく判定結果を無効にする、上記（１）又は（２）に記載のドライバ監視装置。
（５）前記判定部は、前記画像に基づいて前記ドライバが前記運転待機状態でないと判定した場合には前記端末から前記ドライバ情報を取得し、前記画像に基づいて前記ドライバが前記運転待機状態であると判定した場合には前記端末から前記ドライバ情報を取得しない、上記（１）から（４）のいずれか１つに記載のドライバ監視装置。
（６）前記車両においてレベル２以下の自動運転が実施されているときに、前記ドライバによる前記端末の操作を制限又は禁止する端末制御部を更に有する、上記（１）から（５）のいずれか１つに記載のドライバ監視装置。
（７）前記端末はスマートフォンである、上記（１）から（６）のいずれか１つに記載のドライバ監視装置。
（８）コンピュータにより実行されるドライバ監視方法であって、車両のドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像を取得することと、前記ドライバにより操作可能な端末によって取得されたドライバ情報を取得することと、前記画像及び前記ドライバ情報に基づいて前記ドライバが運転操作を実施可能な運転待機状態であるか否かを判定することと、前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知することとを含む、ドライバ監視方法。
（９）車両のドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像を取得することと、前記ドライバにより操作可能な端末によって取得されたドライバ情報を取得することと、前記画像及び前記ドライバ情報に基づいて前記ドライバが運転操作を実施可能な運転待機状態であるか否かを判定することと、前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知することとをコンピュータに実行させる、ドライバ監視用コンピュータプログラム。
本発明によれば、ドライバが運転操作を実施可能な運転待機状態でないと誤判定することを抑制することができる。
図１は、本本発明の第一実施形態に係るドライバ監視装置を含む車両制御システムの概略的な構成図である。 図２は、ドライバモニタカメラが設けられた車両の内部を概略的に示す図である。 図３は、第一実施形態におけるＥＣＵのプロセッサの機能ブロック図である。 図４は、本発明の第一実施形態における判定基準設定処理の制御ルーチンを示すフローチャートである。 図５は、本発明の第一実施形態における警告処理の制御ルーチンを示すフローチャートである。 図６は、本発明の第二実施形態における警告処理の制御ルーチンを示すフローチャートである。 図７は、第三実施形態におけるＥＣＵのプロセッサの機能ブロック図である。 図８は、本発明の第三実施形態における端末操作判定処理の制御ルーチンを示すフローチャートである。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
＜第一実施形態＞
以下、図１～図５を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ監視装置を含む車両制御システム１の概略的な構成図である。車両制御システム１は、車両に搭載され、車両の各種制御を実行する。
図１に示されるように、車両制御システム１は、ドライバモニタカメラ２、周辺情報検出装置３、ＧＮＳＳ（Global Navigation Satellite System）受信機４、地図データベース５、ナビゲーション装置６、車両挙動検出装置７、アクチュエータ８、ヒューマンマシンインタフェース（ＨＭＩ：Human Machine Interface）９、通信装置１０及び電子制御ユニット（ＥＣＵ：Electronic Control Unit）２０を備える。ドライバモニタカメラ２、周辺情報検出装置３、ＧＮＳＳ受信機４、地図データベース５、ナビゲーション装置６、車両挙動検出装置７、アクチュエータ８、ＨＭＩ９及び通信装置１０は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワーク等を介してＥＣＵ２０に電気的に接続される。
ドライバモニタカメラ２は、車両のドライバを撮影し、ドライバが表された画像を生成する。ドライバモニタカメラ２の出力、すなわちドライバモニタカメラ２によって生成された画像はＥＣＵ２０に送信される。以下、ドライバモニタカメラ２の構成の具体例について説明する。
ドライバモニタカメラ２はカメラ及び投光器を有する。カメラは、レンズ及び撮像素子から構成され、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。投光器は、ＬＥＤ（発光ダイオード）であり、例えばカメラの両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタがカメラの内部に設けられ、近赤外ＬＥＤから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられてもよい。
図２は、ドライバモニタカメラ２が設けられた車両３０の内部を概略的に示す図である。ドライバモニタカメラ２は、車両３０のドライバの撮影するように車両３０の車室内に設けられる。例えば、図２に示されるように、ドライバモニタカメラ２は車両３０のステアリングコラム３１の上部に設けられる。図２には、ドライバモニタカメラ２の投影範囲が破線で示されている。本実施形態では、ドライバモニタカメラ２はドライバの顔を撮影する。なお、ドライバモニタカメラ２は、車両３０のステアリングホイール３２、ルームミラー、メータパネル、メータフード等に設けられてもよい。ドライバモニタカメラ２は、ドライバを撮影するように車両に設けられた撮像装置の一例である。
周辺情報検出装置３は、車両３０の周囲のデータ（画像、点群データ等）を取得し、車両３０の周辺情報（例えば、周辺車両、車線、歩行者、自転車、信号機、標識等）を検出する。例えば、周辺情報検出装置３は、カメラ（単眼カメラ又はステレオカメラ）、ミリ波レーダ、ライダ（ＬＩＤＡＲ：Laser Imaging Detection And Ranging））、若しくは超音波センサ（ソナー）、又はこれらの任意の組み合わせを含む。なお、周辺情報検出装置３は、照度センサ、レインセンサ等を更に含んでいてもよい。周辺情報検出装置３の出力、すなわち周辺情報検出装置３によって検出された車両３０の周辺情報はＥＣＵ２０に送信される。
ＧＮＳＳ受信機４は、複数（例えば３つ以上）の測位衛星から得られる測位情報に基づいて、車両３０の現在位置（例えば車両３０の緯度及び経度）を検出する。具体的には、ＧＮＳＳ受信機４は、複数の測位衛星を捕捉し、測位衛星から発信された電波を受信する。そして、ＧＮＳＳ受信機４は、電波の発信時刻と受信時刻との差に基づいて測位衛星までの距離を算出し、測位衛星までの距離及び測位衛星の位置（軌道情報）に基づいて車両３０の現在位置を検出する。ＧＮＳＳ受信機４の出力、すなわちＧＮＳＳ受信機４によって検出された車両３０の現在位置はＥＣＵ２０に送信される。ＧＰＳ（Global Positioning System）受信機はＧＮＳＳ受信機の一例である。
地図データベース５は地図情報を記憶している。ＥＣＵ２０は地図データベース５から地図情報を取得する。なお、地図データベースが車両３０の外部（例えばサーバ等）に設けられ、ＥＣＵ２０は車両３０の外部から地図情報を取得してもよい。
ナビゲーション装置６は、ＧＮＳＳ受信機４によって検出された車両３０の現在位置、地図データベース５の地図情報、車両３０の乗員（例えばドライバ）による入力等に基づいて、目的地までの車両３０の走行ルートを設定する。ナビゲーション装置６によって設定された走行ルートはＥＣＵ２０に送信される。
車両挙動検出装置７は車両３０の挙動情報を検出する。車両挙動検出装置７は、例えば、車両３０の速度を検出する車速センサ、車両３０のヨーレートを検出するヨーレートセンサ等を含む。車両挙動検出装置７の出力、すなわち車両挙動検出装置７によって検出された車両の挙動情報はＥＣＵ２０に送信される。
アクチュエータ８は車両３０を動作させる。例えば、アクチュエータ８は、車両３０の加速のための駆動装置（例えば内燃機関及び電動機の少なくとも一方）、車両３０の制動（減速）のためのブレーキアクチュエータ、車両３０の操舵のための操舵アクチュエータ等を含む。ＥＣＵ２０はアクチュエータ８を制御して車両３０の挙動を制御する。
ＨＭＩ９は車両３０と車両３０の乗員（例えばドライバ）との間で情報の伝達を行う。ＨＭＩ９は、車両３０の乗員に情報を提供する出力部（例えば、ディスプレイ、スピーカ、光源、振動ユニット等）と、車両３０の乗員によって情報が入力される入力部（例えば、タッチパネル、操作ボタン、操作スイッチ、マイクロフォン等）とを有する。ＥＣＵ２０の出力はＨＭＩ９を介して車両３０の乗員に通知され、車両３０の乗員からの入力はＨＭＩ９を介してＥＣＵ２０に送信される。ＨＭＩ９は、入力装置、出力装置又は入出力装置の一例である。
通信装置１０は、車両３０の外部と通信可能であり、車両３０と車両３０の外部との通信を可能とする。例えば、通信装置１０は、キャリア網及びインターネット網のような通信ネットワークを介して車両３０と車両３０の外部（例えばサーバ）との広域無線通信を可能とする広域無線通信モジュールと、Ｂｌｕｅｔｏｏｔｈ（登録商標）若しくはＺｉｇＢｅｅ（登録商標）のような通信規格に基づく近距離無線通信を可能とする近距離無線通信モジュールとを含む。
一方、図１に示される端末１１は車両３０のドライバによって所持される。端末１１は、ドライバによって車両３０に持ち込まれ、ドライバによって操作可能である。端末１１は予め車両３０とペアリングされ、ＥＣＵ２０は通信装置１０の近距離無線通信モジュールを介して端末１１と通信可能である。本実施形態では、端末１１はスマートフォンである。なお、端末１１は有線によってＥＣＵ２０と電気的に接続されてもよい。
ＥＣＵ２０は車両の各種制御を実行する。図１に示されるように、ＥＣＵ２０は、通信インターフェース２１、メモリ２２及びプロセッサ２３を備える。通信インターフェース２１及びメモリ２２は信号線を介してプロセッサ２３に接続されている。なお、本実施形態では、一つのＥＣＵ２０が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。
通信インターフェース２１は、ＥＣＵ２０を車内ネットワークに接続するためのインターフェース回路を有する。ＥＣＵ２０は通信インターフェース２１を介して他の車載機器に接続される。
メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３によって各種処理が実行されるときに使用されるプログラム、データ等を記憶する。
プロセッサ２３は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。なお、プロセッサ２３は、論理演算ユニット又は数値演算ユニットのような演算回路を更に有していてもよい。
車両制御システム１は、自動運転システムとして機能し、車両３０の自律走行を実現する。本実施形態では、車両制御システム１は、予め設定された運行設計領域（ＯＤＤ：Operational Design Domain））において、レベル３の自動運転を実施可能である。なお、本明細書における自動運転レベルは、ＳＡＥ（Society of Automotive Engineers） Ｊ３０１６の定義に基づく。
車両制御システム１は運行設計領域以外の状況下ではレベル２以下の自動運転を実施する。レベル１又はレベル２の自動運転では、車両制御システム１は、先行車の有無に応じて車両の速度を自動的に制御するアダプティブクルーズコントロール（ＡＣＣ：Adaptive Cruise Control）、車両が車線内に維持されるように車両の操舵を自動的に制御するレーンキーピングアシスト（ＬＫＡ：Lane Keeping Assist）又はレーントレーシングアシスト（ＬＴＡ：Lane Tracing Assist）等の運転支援機能を作動させる。レベル０の自動運転は、車両３０の加速、減速（制動）及び操舵の全てがドライバによって実行される手動運転に相当する。
一方、レベル３の自動運転では、システムが主体的に車両３０の運転操作を実行し、ドライバは周辺監視義務から解放される。したがって、レベル３の自動運転が車両３０において実施されるときには、システムからの要求に応じて運転操作を交代できる状態であれば、端末１１の操作がドライバに許可される。一方、運転操作を迅速に引き継ぐことを妨げる居眠りのような行為は禁止されている。このため、レベル３の自動運転が実施されている場合であっても、ドライバモニタカメラ２のような撮像装置を用いてドライバの状態を監視する必要がある。
本実施形態では、車両３０に設けられたＥＣＵ２０が、車両３０のドライバを監視するドライバ監視装置として機能する。図３は、第一実施形態におけるＥＣＵ２０のプロセッサ２３の機能ブロック図である。本実施形態では、プロセッサ２３は判定部２５及び通知部２６を有する。判定部２５及び通知部２６は、ＥＣＵ２０のメモリ２２に記憶されたコンピュータプログラムをＥＣＵ２０のプロセッサ２３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ２３に設けられた専用の演算回路によって実現されてもよい。
判定部２５は、車両３０のドライバが運転操作を実施可能な運転待機状態であるか否かを判定する。特に、本実施形態では、判定部２５は、車両３０においてレベル３の自動運転が実施されているときに、ドライバが運転待機状態であるか否かを判定する。例えば、判定部２５は、ドライバの居眠り、離席又は急病による異常姿勢が検出されたときには、ドライバが運転待機状態でないと判定する。通知部２６は、判定部２５によってドライバが運転待機状態でないと判定された場合に、ドライバに警告を通知する。このことによって、運転待機状態への復帰をドライバに促すことができ、ひいては車両３０の自律走行の安全性を高めることができる。
判定部２５は、ドライバモニタカメラ２によって生成された画像（以下、「監視画像」と称する）を取得し、監視画像に基づいてドライバが運転待機状態であるか否かを判定する。上述したように、レベル３の自動運転では、ドライバは正当な行為として車両３０の走行中に端末１１を操作することができる。しかしながら、監視画像に基づいて、ドライバが端末１１を操作している状態と、ドライバの居眠り又は急病による異常姿勢とを識別することは困難である。一方、端末１１は、ドライバに関する情報として、監視画像とは異なる情報を取得することができる。
そこで、判定部２５は、監視画像に加えて、端末１１によって取得されたドライバ情報を取得し、監視画像及びドライバ情報に基づいて、ドライバが運転待機状態であるか否かを判定する。このことによって、ドライバが運転待機状態でないと誤判定することを抑制することができる。
本実施形態では、判定部２５は、監視画像に基づいて、ドライバが運転待機状態であるか否かを所定の判定基準により判定する。また、判定部２５は、端末１１によって取得されたドライバ情報に基づいて、ドライバが覚醒状態であるか否かを判定し、ドライバが覚醒状態であると判定した場合には判定基準を緩和する。このことによって、正当な行為として端末１１を操作しているドライバが運転待機状態でないと誤判定されることを抑制することができる。
以下、図４及び図５を参照して、上述した制御について詳細に説明する。図４は、本発明の第一実施形態における判定基準設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、ＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。
最初に、ステップＳ１０１において、プロセッサ２３の判定部２５は、車両３０においてレベル３の自動運転が実施されているか否かを判定する。レベル３の自動運転は、予め設定された運行設計領域においてドライバが自動運転の作動を要求したときに実施される。レベル３の自動運転が実施されていないと判定された場合、本制御ルーチンは終了する。一方、レベル３の自動運転が実施されていると判定された場合、本制御ルーチンはステップＳ１０２に進む。
ステップＳ１０２では、判定部２５は近距離無線通信等によって端末１１からドライバ情報を取得する。ドライバ情報は、端末１１によって取得されるドライバに関する情報であり、例えば、端末１１に搭載されたカメラ（例えばインカメラ）によって生成された画像、又はドライバによる端末１１への入力情報（例えばドライバによる指又は音声による入力情報）を含む。
次いで、ステップＳ１０３において、判定部２５は、ドライバ情報に基づいて、ドライバが覚醒状態であるか否かを判定する。例えば、判定部２５は、端末１１のカメラによって生成された画像（以下、「カメラ画像」と称する）に基づいて、ドライバが覚醒状態であるか否かを判定する。この場合、例えば、判定部２５は、カメラ画像に基づいてドライバの眼の開眼度を算出し、開眼度が所定値以上である場合にはドライバが覚醒状態であると判定し、開眼度が所定値未満である場合にはドライバが覚醒状態でないと判定する。また、判定部２５は、カメラ画像からドライバの眼が検出されない場合には、ドライバが覚醒状態であるか不明であると判定する。
なお、判定部２５は、ドライバによる端末１１への入力情報に基づいて、ドライバが覚醒状態であるか否かを判定してもよい。この場合、判定部２５は、所定時間以内にドライバによって端末１１への入力（タッチ入力、ボタン入力、音声入力等）が行われた場合にはドライバが覚醒状態であると判定し、所定時間以内にドライバによって端末１１への入力が行われていない場合にはドライバが覚醒状態であるか不明であると判定する。また、判定部２５は、カメラ画像及びドライバによる端末１１への入力情報に基づいて、ドライバが覚醒状態であるか否かを判定してもよい。この場合、例えば、判定部２５は、ドライバの眼の開眼度が所定値以上であり且つ所定時間以内にドライバによって端末１１への入力が行われた場合に、ドライバが覚醒状態であると判定する。また、判定部２５は、端末１１に搭載された加速度センサの出力等に基づいて、ドライバが覚醒状態であるか否かを判定してもよい。
ステップＳ１０３においてドライバが覚醒状態でないと判定された場合又はドライバが覚醒状態であるか不明であると判定された場合、本制御ルーチンはステップＳ１０４に進む。ステップＳ１０４では、判定部２５は、ドライバが運転待機状態であるか否かを判定するための判定基準を初期化する。すなわち、判定部２５は、予め設定された条件に判定基準を設定する。判定基準は例えばドライバの顔向き（上下方向及び左右方向）の閾値範囲である。ステップＳ１０４の後、本制御ルーチンは終了する。
一方、ステップＳ１０３においてドライバが覚醒状態であると判定された場合、本制御ルーチンはステップＳ１０５に進む。ステップＳ１０５では、判定部２５は、ドライバが運転待機状態であるか否かを判定するための判定基準を緩和する。すなわち、判定部２５は、ドライバが運転待機状態であると判定されやすくなるように判定基準を変更する。ドライバが膝の上で端末１１を操作するような場合には、ドライバの顔向きが下向きとなる。このため、例えば、判定部２５は顔向きの下方向の閾値を大きくすることによって判定基準を緩和する。また、監視画像において、端末１１を保持するドライバの手若しくは腕又は端末１１によってドライバの眼が遮られる場合がある。このため、判定部２５は、監視画像からドライバの顔が検出される限りドライバが運転待機状態であると判定されるように判定基準を緩和してもよい。ステップＳ１０５の後、本制御ルーチンは終了する。
図５は、本発明の第一実施形態における警告処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、ＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。
最初に、ステップＳ２０１において、図４のステップＳ１０１と同様に、プロセッサ２３の判定部２５は、車両３０においてレベル３の自動運転が実施されているか否かを判定する。レベル３の自動運転が実施されていないと判定された場合、本制御ルーチンは終了する。一方、レベル３の自動運転が実施されていると判定された場合、本制御ルーチンはステップＳ２０２に進む。
ステップＳ２０２では、判定部２５は監視画像を取得する。監視画像はドライバモニタカメラ２によって所定の撮影周期（例えば１／３０秒～１／１０秒）で繰り返し生成され、判定部２５はドライバモニタカメラ２から監視画像を取得する。
次いで、ステップＳ２０３において、判定部２５は、監視画像に基づいて、ドライバが運転待機状態であるか否かを所定の判定基準により判定する。例えば、判定部２５は、監視画像からドライバの顔向きを検出し、ドライバの顔向きが所定の閾値範囲内であるときにはドライバが運転待機状態であると判定し、ドライバの顔向きが所定の閾値範囲外であるときにはドライバが運転待機状態でないと判定する。このとき、ステップＳ１０４又はＳ１０５において設定された判定基準が用いられる。すなわち、ドライバが覚醒状態であると判定された場合には、判定基準が緩和されている。
ステップＳ２０３においてドライバが運転待機状態であると判定された場合、本制御ルーチンは終了する。一方、ステップＳ２０３においてドライバが運転待機状態でないと判定された場合、本制御ルーチンはステップＳ２０４に進む。
ステップＳ２０４では、プロセッサ２３の通知部２６は、ＨＭＩ９を介して、視覚的、聴覚的又は触覚的な警告をドライバに通知する。視覚的な警告の例は、ＨＭＩ９の光源から発せられる警告灯等である。聴覚的な警告の例は、ＨＭＩ９のスピーカから出力される警告音声又は警告音等である。触覚的な警告の例は、ＨＭＩ９の振動ユニットから出力される振動（例えばステアリングホイール３２又はシートベルトの振動）等である。なお、通知部２６は二種類以上の警告（例えば視覚的な警告及び聴覚的な警告）をドライバに通知してもよい。ステップＳ２０４の後、本制御ルーチンは終了する。
なお、図４の制御ルーチンが省略され、図５のステップＳ２０１とＳ２０２との間において、図４のステップＳ１０２～Ｓ１０５が実行されてもよい。また、判定部２５は、監視画像に基づいてドライバが運転待機状態でないと判定した場合にのみ、端末１１からドライバ情報を取得し、ドライバ情報に基づいてドライバが覚醒状態であるか否かを判定してもよい。この場合、判定部２５は、ドライバが覚醒状態であると判定した場合には判定基準を緩和し、緩和された判定基準を用いて、監視画像に基づいてドライバが運転待機状態であるか否かを再度判定する。すなわち、図４の制御ルーチンが省略され、図５のステップＳ２０３とＳ２０４との間において、図４のステップＳ１０２、Ｓ１０３及びＳ１０５並びに図５のステップＳ２０３が実行されてもよい。このようにドライバが運転待機状態でないと判定した場合にのみ端末１１からドライバ情報を取得することによって、端末１１及びＥＣＵ２０における電力の消費量を低減することができる。
＜第二実施形態＞
第二実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。
第二実施形態では、判定部２５は、監視画像に基づいてドライバが運転待機状態であるか否かを所定の判定基準により判定し、監視画像に基づいてドライバが運転待機状態でないと判定した場合には、端末１１によって取得されたドライバ情報に基づいてドライバが覚醒状態であるか否かを判定する。そして、判定部２５は、ドライバが覚醒状態であると判定した場合には、監視画像に基づく判定結果を無効にし、ドライバが運転待機状態であると判定する。このことによって、正当な行為として端末１１を操作しているドライバが運転待機状態でないと誤判定されることを抑制することができる。
また、判定部２５は、監視画像に基づいてドライバが運転待機状態でないと判定した場合には端末１１からドライバ情報を取得し、監視画像に基づいてドライバが運転待機状態であると判定した場合には端末１１からドライバ情報を取得しない。このことによって、端末１１及びＥＣＵ２０における電力の消費量を低減することができる。
以下、図６を参照して、上述した制御について詳細に説明する。図６は、本発明の第二実施形態における警告処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、ＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。
ステップＳ３０１～Ｓ３０３は図５のステップＳ２０１～Ｓ２０３と同様に実行され、ステップＳ３０３では、初期化された判定基準により、監視画像に基づいてドライバが運転待機状態であるか否かが判定される。ステップＳ３０３においてドライバが運転待機状態でないと判定された場合、本制御ルーチンはステップＳ３０４に進む。
ステップＳ３０４では、図４のステップＳ１０２と同様に、判定部２５は端末１１からドライバ情報を取得する。次いで、ステップＳ３０５において、図４のステップＳ１０３と同様に、判定部２５は、ドライバ情報に基づいて、ドライバが覚醒状態であるか否かを判定する。
ステップＳ３０５においてドライバが覚醒状態であると判定された場合、本制御ルーチンはステップＳ３０６に進む。ステップＳ３０６では、判定部２５は監視画像に基づく判定結果を無効にする。すなわち、判定部２５は、ドライバが運転待機状態であると判定する。ステップＳ３０６の後、本制御ルーチンは終了する。
一方、ステップＳ３０５においてドライバが覚醒状態でないと判定された場合、本制御ルーチンはステップＳ３０７に進む。この場合、監視画像に基づく判定結果が維持される。このため、ステップＳ３０７では、図５のステップＳ２０４と同様に、通知部２６はＨＭＩ９を介してドライバに警告を通知する。ステップＳ３０７の後、本制御ルーチンは終了する。なお、ステップＳ３０４はステップＳ３０１とステップＳ３０３との間で実行されてもよい。
＜第三実施形態＞
第三実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第三実施形態について、第一実施形態と異なる部分を中心に説明する。
図７は、第三実施形態におけるＥＣＵ２０のプロセッサ２３の機能ブロック図である。第三実施形態では、プロセッサ２３は、判定部２５及び通知部２６に加えて、端末制御部２７を有する。判定部２５、通知部２６及び端末制御部２７は、ＥＣＵ２０のメモリ２２に記憶されたコンピュータプログラムをＥＣＵ２０のプロセッサ２３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ２３に設けられた専用の演算回路によって実現されてもよい。
端末制御部２７は端末１１に制御信号を送信することによって端末１１を制御する。レベル３の自動運転ではドライバによる端末１１の操作が許可されているが、レベル２以下の自動運転では基本的にドライバによる端末１１の操作が許可されていない。しかしながら、レベル２以下の自動運転において、ドライバが端末１１を操作したい衝動に駆られるおそれがある。このことは、特に、レベル３の自動運転においてドライバが端末１１を操作していた場合に顕著となる。
そこで、第三実施形態では、端末制御部２７は、車両３０においてレベル２以下の自動運転が実施されているときには、ドライバによる端末１１の操作を制限する。このことによって、レベル２以下の自動運転中にドライバの注意が散漫になることを抑制することができる。
第三実施形態では、図４及び図５の制御ルーチンに加えて、図８の制御ルーチンが実行される。図８は、本発明の第三実施形態における端末操作判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、ＥＣＵ２０のプロセッサ２３によって所定の実行間隔で繰り返し実行される。
最初に、ステップＳ４０１において、プロセッサ２３の端末制御部２７は、車両３０においてレベル３の自動運転が実施されているか否かを判定する。レベル３の自動運転が実施されていると判定された場合、本制御ルーチンはステップＳ４０２に進む。
ステップＳ４０２では、端末制御部２７はドライバに端末１１の操作を許可する。このとき、端末制御部２７は、端末１１の操作を許可する制御信号を端末１１に送信してもよい。ステップＳ４０２の後、本制御ルーチンは終了する。
一方、ステップＳ４０１においてレベル３の自動運転が実施されていないと判定された場合、すなわちレベル２以下の自動運転が実施されている場合、本制御ルーチンはステップＳ４０３に進む。ステップＳ４０３では、判定部２５はドライバによる端末１１の操作を制限する。具体的には、判定部２５は、端末１１の操作を制限する制御信号を端末１１に送信する。端末１１が制御信号を受信すると、端末１１のプロセッサは、端末１１の操作を制限する制御を実行する。端末１１の操作の制限対象は、例えば、ドライバの指を用いる操作であり、ドライバの音声による操作（例えば、ハンズフリー通話、ラジオ又は音楽の視聴等）は制限対象から除外される。ステップＳ４０３の後、本制御ルーチンは終了する。
なお、端末制御部２７は、車両３０においてレベル２以下の自動運転が実施されているときに、ドライバによる端末１１の操作を禁止してもよい。この場合、ステップＳ４０３において、端末制御部２７は、端末１１の操作を禁止する制御信号を端末１１に送信する。この結果、端末１１のプロセッサは、端末１１の操作を禁止する制御を実行する。
＜その他の実施形態＞
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。例えば、図１に示される車両制御システム１の構成の一部が省略されてもよい。
また、ドライバによって操作可能な端末１１は、スマートフォンに限られず、タブレット端末若しくは携帯ゲーム機のような他の携帯端末、又は車両３０に設けられたナビゲーション装置６であってもよい。また、レベル３の自動運転以外の状況において、ドライバの状態を監視するために、上述した制御が実行されてもよい。
また、車両３０の外部に設けられたサーバがドライバ監視装置として機能してもよい。この場合、ドライバモニタカメラ２のような撮像装置によって生成された画像と、端末１１によって取得されたドライバ情報とが通信ネットワークを介して車両３０からサーバに送信され、サーバの判定部がドライバが運転待機状態でないと判定したときに、サーバの通知部が車両３０のＥＣＵ２０を介してドライバに警告を通知する。
また、ＥＣＵ２０のプロセッサ２３又はサーバのプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリである。
また、上述した実施形態は、任意に組み合わせて実施可能である。例えば、第二実施形態と第三実施形態とが組み合わされる場合には、第三実施形態において、図４及び図５の制御ルーチンの代わりに図６の制御ルーチンが実行される。
２ ドライバモニタカメラ
１１ 端末
２０ 電子制御ユニット（ＥＣＵ）
２３ プロセッサ
２５ 判定部
２６ 通知部
３０ 車両

Claims (10)

  1. 車両のドライバが運転操作を実施可能な運転待機状態であるか否かを判定する判定部と、
    前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知する通知部と
    を有し、
    前記判定部は、前記ドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像と、前記ドライバにより操作可能な端末によって取得されたドライバ情報とを取得し、前記画像及び前記ドライバ情報に基づいて前記ドライバが前記運転待機状態であるか否かを判定し、
    前記判定部は、前記画像に基づいて前記ドライバが前記運転待機状態でないと判定した場合には前記端末から前記ドライバ情報を取得し、前記画像に基づいて前記ドライバが前記運転待機状態であると判定した場合には前記端末から前記ドライバ情報を取得しない、ドライバ監視装置。
  2. ドライバ監視装置であって、
    車両のドライバが運転操作を実施可能な運転待機状態であるか否かを判定する判定部と、
    前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知する通知部と
    を有し、
    前記判定部は、前記ドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像と、前記ドライバにより操作可能な端末によって取得されたドライバ情報とを取得し、前記画像及び前記ドライバ情報に基づいて前記ドライバが前記運転待機状態であるか否かを判定し、
    当該ドライバ監視装置は、前記車両においてレベル２以下の自動運転が実施されているときに、前記ドライバによる前記端末の操作を制限又は禁止する端末制御部を更に有する、ドライバ監視装置。
  3. 前記ドライバ情報は、前記端末に搭載されたカメラによって生成された画像、又は前記ドライバによる前記端末への入力情報を含む、請求項１又は２に記載のドライバ監視装置。
  4. 前記判定部は、前記画像に基づいて前記ドライバが前記運転待機状態であるか否かを所定の判定基準により判定し、前記ドライバ情報に基づいて前記ドライバが覚醒状態であるか否かを判定し、前記ドライバが覚醒状態であると判定した場合には前記判定基準を緩和する、請求項１又は２に記載のドライバ監視装置。
  5. 前記判定部は、前記画像に基づいて前記ドライバが前記運転待機状態であるか否かを所定の判定基準により判定し、前記画像に基づいて前記ドライバが前記運転待機状態でないと判定した場合には前記ドライバ情報に基づいて前記ドライバが覚醒状態であるか否かを判定し、前記ドライバが覚醒状態であると判定した場合には前記画像に基づく判定結果を無効にする、請求項１又は２に記載のドライバ監視装置。
  6. 前記端末はスマートフォンである、請求項１又は２に記載のドライバ監視装置。
  7. コンピュータにより実行されるドライバ監視方法であって、
    車両のドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像を取得することと、
    前記ドライバにより操作可能な端末によって取得されたドライバ情報を取得することと、
    前記画像及び前記ドライバ情報に基づいて前記ドライバが運転操作を実施可能な運転待機状態であるか否かを判定することと、
    前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知することと、
    前記画像に基づいて前記ドライバが前記運転待機状態でないと判定した場合には前記端末から前記ドライバ情報を取得し、前記画像に基づいて前記ドライバが前記運転待機状態であると判定した場合には前記端末から前記ドライバ情報を取得しないことと
    を含む、ドライバ監視方法。
  8. コンピュータにより実行されるドライバ監視方法であって、
    車両のドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像を取得することと、
    前記ドライバにより操作可能な端末によって取得されたドライバ情報を取得することと、
    前記画像及び前記ドライバ情報に基づいて前記ドライバが運転操作を実施可能な運転待機状態であるか否かを判定することと、
    前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知することと、
    前記車両においてレベル２以下の自動運転が実施されているときに、前記ドライバによる前記端末の操作を制限又は禁止することと
    を含む、ドライバ監視方法。
  9. 車両のドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像を取得することと、
    前記ドライバにより操作可能な端末によって取得されたドライバ情報を取得することと、
    前記画像及び前記ドライバ情報に基づいて前記ドライバが運転操作を実施可能な運転待機状態であるか否かを判定することと、
    前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知することと、
    前記画像に基づいて前記ドライバが前記運転待機状態でないと判定した場合には前記端末から前記ドライバ情報を取得し、前記画像に基づいて前記ドライバが前記運転待機状態であると判定した場合には前記端末から前記ドライバ情報を取得しないことと
    をコンピュータに実行させる、ドライバ監視用コンピュータプログラム。
  10. 車両のドライバを撮影するように前記車両に設けられた撮像装置によって生成された画像を取得することと、
    前記ドライバにより操作可能な端末によって取得されたドライバ情報を取得することと、
    前記画像及び前記ドライバ情報に基づいて前記ドライバが運転操作を実施可能な運転待機状態であるか否かを判定することと、
    前記ドライバが前記運転待機状態でないと判定された場合に、前記ドライバに警告を通知することと、
    前記車両においてレベル２以下の自動運転が実施されているときに、前記ドライバによる前記端末の操作を制限又は禁止することと
    をコンピュータに実行させる、ドライバ監視用コンピュータプログラム。
JP2023034865A 2023-03-07 2023-03-07 ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム Active JP7697482B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023034865A JP7697482B2 (ja) 2023-03-07 2023-03-07 ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
US18/383,206 US20240300544A1 (en) 2023-03-07 2023-10-24 Driver monitoring device, driver monitoring method, and non-transitory recording medium
CN202410249537.5A CN118618421A (zh) 2023-03-07 2024-03-05 驾驶员监视装置、方法以及驾驶员监视用计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023034865A JP7697482B2 (ja) 2023-03-07 2023-03-07 ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2024126476A JP2024126476A (ja) 2024-09-20
JP7697482B2 true JP7697482B2 (ja) 2025-06-24

Family

ID=92600893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023034865A Active JP7697482B2 (ja) 2023-03-07 2023-03-07 ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム

Country Status (3)

Country Link
US (1) US20240300544A1 (ja)
JP (1) JP7697482B2 (ja)
CN (1) CN118618421A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157196A (ja) 2016-02-29 2017-09-07 株式会社デンソー 運転者監視システム
US20200353933A1 (en) 2019-05-06 2020-11-12 University Of Florida Research Foundation, Incorporated Operator monitoring and engagement
JP2021049891A (ja) 2019-09-25 2021-04-01 株式会社Ｓｕｂａｒｕ 車両制御装置
JP2022145990A (ja) 2021-03-22 2022-10-05 トヨタ自動車株式会社 覚醒状態判定システム及び自動運転装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6528583B2 (ja) * 2015-07-31 2019-06-12 株式会社デンソー 運転支援制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157196A (ja) 2016-02-29 2017-09-07 株式会社デンソー 運転者監視システム
US20200353933A1 (en) 2019-05-06 2020-11-12 University Of Florida Research Foundation, Incorporated Operator monitoring and engagement
JP2021049891A (ja) 2019-09-25 2021-04-01 株式会社Ｓｕｂａｒｕ 車両制御装置
JP2022145990A (ja) 2021-03-22 2022-10-05 トヨタ自動車株式会社 覚醒状態判定システム及び自動運転装置

Also Published As

Publication number Publication date
CN118618421A (zh) 2024-09-10
JP2024126476A (ja) 2024-09-20
US20240300544A1 (en) 2024-09-12

Similar Documents

Publication Publication Date Title
JP7024806B2 (ja) 情報提示装置
US11295143B2 (en) Information processing apparatus, information processing method, and program
CN109116839B (zh) 车辆控制系统、车辆控制方法及存储介质
US11873007B2 (en) Information processing apparatus, information processing method, and program
CN111361552A (zh) 自动驾驶系统
CN110730740A (zh) 车辆控制系统、车辆控制方法及程序
CN109032124A (zh) 车辆控制系统、车辆控制方法及存储介质
CN110709304A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
JP7586270B2 (ja) 車両用渋滞判断装置、および車両用表示制御装置
US11834073B2 (en) Autonomous driving system
CN111443708A (zh) 自动驾驶系统
JP2022022075A (ja) 車両制御装置、車両制御方法
JP2023179568A (ja) 車両の表示システム
CN117203112A (zh) 提示控制装置、提示控制程序、自动驾驶控制装置以及自动驾驶控制程序
JP7697482B2 (ja) ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
JP7700811B2 (ja) ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
JP2022084440A (ja) 車両制御装置、車両、車両制御装置の動作方法及びプログラム
KR20190070693A (ko) 자율주행장치 및 그의 제어 방법
US20240262288A1 (en) Driver monitoring device, driver monitoring method, and non-transitory recording medium
US20240375579A1 (en) Information notification device and information notification method
JP7700803B2 (ja) 情報通知装置、情報通知方法及び情報通知用コンピュータプログラム
US20250388240A1 (en) Vehicle control device and vehicle control method
JP7708085B2 (ja) 車両用制御装置及び車両用制御方法
US20250256720A1 (en) Driving assistance device and driving assistance method
US20240336276A1 (en) Parking assistance device and parking assistance program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250526

R150 Certificate of patent or registration of utility model

Ref document number: 7697482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150