JP7180227B2 - 車両用監視装置 - Google Patents

車両用監視装置 Download PDF

Info

Publication number
JP7180227B2
JP7180227B2 JP2018176320A JP2018176320A JP7180227B2 JP 7180227 B2 JP7180227 B2 JP 7180227B2 JP 2018176320 A JP2018176320 A JP 2018176320A JP 2018176320 A JP2018176320 A JP 2018176320A JP 7180227 B2 JP7180227 B2 JP 7180227B2
Authority
JP
Japan
Prior art keywords
vehicle
degree
unit
driving state
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018176320A
Other languages
English (en)
Other versions
JP2020047085A (ja
Inventor
茂 滝波
和彦 山口
眞由美 岩男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2018176320A priority Critical patent/JP7180227B2/ja
Priority to US17/278,098 priority patent/US11403858B2/en
Priority to CN201980061705.5A priority patent/CN112740300B/zh
Priority to PCT/JP2019/036769 priority patent/WO2020059800A1/ja
Priority to DE112019004707.8T priority patent/DE112019004707T5/de
Publication of JP2020047085A publication Critical patent/JP2020047085A/ja
Application granted granted Critical
Publication of JP7180227B2 publication Critical patent/JP7180227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は監視装置に関し、特に、車両に搭載されて車両の運転者を監視するための装置に関する。
近年、運転者の覚醒状態を推定して必要に応じて警報を発する技術が種々提案されている(例えば、特許文献1)。特許文献1に開示されている技術は、開眼幅計測手段により計測された開眼幅の時系列トレンドを追跡し、実測値に低域濾過フィルタのフィルタをかけることで開眼閾値を決定することが開示されている。
特開2010-067137号公報
上記のような技術においては、警報を出力すべきと判定された場合、運転者に警報が通知される。警報は運転者の注意を喚起するためのものである。したがって、車両を運転中の運転者の意識を向けさせるために、音や振動を運転者に提示したり、表示部にメッセージを提示したりすることが行われる。
運転者に注意喚起すべきときにこれらの警報が通知されることは有用である。しかしながら、誤判定によって注意喚起の必要がないときに警報が通知されると、車両を運転中の運転者の集中力を乱しかねない。
本発明はこれらの点に鑑みてなされたものであり、運転状態に関する誤判定を抑制する技術を提供することを目的とする。
本発明の第1の態様は、車両用監視装置である。この装置は、車両の運転者を撮像する撮像部と、前記撮像部が撮像した画像を解析して前記運転者の開眼度を含む複数の運転状態を測定する運転状態測定部と、前記車両の走行状態を判定する走行状態判定部と、前記運転状態と前記走行状態とに基づいて、警報装置を作動させるか否かを判定する警報判定部と、を備える。前記警報判定部は、前記運転状態測定部が前記開眼度の測定に失敗した場合において、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合、前記運転状態測定部に開眼度の測定を再実行させる。
前記警報判定部は、前記運転状態測定部が前記開眼度の検出の初期化処理を開始してから、所定の開眼度測定待機時間が経過しても、前記運転状態測定部から前記開眼度の検出の初期化処理が終了したことを示す信号を未受信の場合、前記運転状態測定部が前記開眼度の測定に失敗したと判定してもよい。
前記走行状態判定部は、前記車両に搭載された車載センサに基づいて定常的に観測される複数の観測データである第1種観測データと、前記車両に搭載された操作部が前記運転者によって操作されることを契機として観測される複数の観測データである第2種観測データとを観測するデータ観測部と、前記第1種観測データ毎に定められた正常判定基準範囲内に各第1種観測データが含まれるか否か、及び前記第2種観測データが観測されるか否かに基づいて、前記走行状態が正常か否かを判定する状態判定部と、を備えてもよい。
前記警報判定部は、前記開眼度の検出の初期化が終了したことを示す信号を未受信の場合に前記運転状態測定部から取得する前記運転者の暫定的な開眼度が前記警報装置を作動させる条件を満たす場合であっても、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合には、前記警報装置の作動を禁止してもよい。
前記車両用監視装置は、前記車両の位置を示す位置情報及び進行方向を検出する座標検出部と、日時、位置情報、及び日照方向を対応付けて格納する日照方向データベースを参照して、日照方向を取得する日照方向取得部と、をさらに備えてもよく、前記警報判定部は、前記運転状態測定部が前記開眼度の測定に失敗した場合において、前記開眼度を除く他の運転状態が正常であり、前記走行状態も正常と判定され、かつ前記車両の進行方向と前記車両の位置における前記日照方向とが所定の関係を満たすことを条件として、前記運転状態測定部に開眼度の検出処理を再実行させてもよい。
本発明によれば、運転状態に関する誤判定を抑制することができる。
実施の形態に係る車両用監視装置の概要を説明するための模式図である。 実施の形態に係る車両用監視装置が測定する運転者の開眼度を説明するための図である。 実施の形態に係る車両用監視装置の機能構成を模式的に示す図である。 実施の形態に係る運転状態測定部の機能構成を模式的に示す図である。 実施の形態に係る走行状態判定部の機能構成を模式的に示す図である。 実施の形態に係る日照方向データベースのデータ構造を模式的に示す図である。 実施の形態に係る車両用監視装置が実行する運転者監視処理の流れを説明するためのフローチャートである。
<実施の形態の概要>
図1は、実施の形態に係る車両用監視装置1の概要を説明するための模式図である。図1に示す例では、車両用監視装置1は運転者Dが運転する車両Vに搭載されている。車両Vは、車両用監視装置1の一部として、撮像部2、車載センサ3、GPS受信部4、及び警報装置5も備えている。
撮像部2は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子であり、車両Vの運転者Dを撮像する。車両用監視装置1は、撮像部2が撮像した画像を解析することによって得られた運転者Dの目の開き具合を示す開眼度、運転者Dの顔向きの角度、運転者Dの顔の位置等に基づいて、運転者Dによる車両Vの運転状態の適否を判定する。
なお、図1において、運転者Dの開眼度はO、運転者Dの視線方向は角度θ、運転者Dの顔の位置は2次元座標(X,Y)で表現されている。詳細は後述するが、運転者Dの開眼度、顔向きの角度、顔の位置等の各種情報は、それぞれ車両用監視装置1が備える専用のモジュールによって解析される。
ここで、「運転者Dによる車両Vの運転状態」とは、運転者Dが車両Vを正常に走行させることができるか否かを示す運転者Dの状態を意味する。例えば、運転者Dが心疾患や脳梗塞等が原因で運転不能となりうずくまっているような場合には、運転者Dは車両Vを正常に走行させることができないので、運転状態は「不適」といえる。また、運転者Dの目が閉じている場合にも、不適といえる。
車載センサ3は、車両Vの走行状態を測定するための種々の車載センサである。ここで、「車両Vの走行状態」とは、車両Vが正常に走行しているか否かを示す車両Vの運動状態を意味する。車両Vの走行状態は、例えば車両Vの速度や加速度、ヨーレート、操舵角、各種ペダルの操作、ワイパーの操作、方向指示器の操作、補助ブレーキの操作、シフト操作、車線における車両Vの走行位置、先行車両との距離等を勘案して車両用監視装置1が判定する。
GPS(Global Positioning System)受信部4は、航法衛星からGPSデータを受信する。警報装置5は、運転者の注意を喚起するための警報を発生する。
運転者Dによる車両Vの運転状態の判定に用いられるデータのうち、運転者Dの開眼度は重要なデータの1つである。開眼度が小さいことは運転者Dの目が閉じていること又は閉じかかっていること、すなわち運転者Dが覚醒していない可能性を示唆する。このため、運転者Dの開眼度は、運転者Dの運転状態を判定するための有用な手がかりとなる。
図2(a)-(b)は、実施の形態に係る車両用監視装置1が測定する運転者Dの開眼度を説明するための図である。具体的には、図2(a)は、開眼度が100%である運転者Dの顔を示す模式図である。図2(b)は、開眼度が30%である運転者Dの顔を示す模式図である。
運転者Dの開眼度は、運転者Dの通常時の目の大きさ(すなわち、運転者Dが覚醒しているときに自然な状態で目を開いているときの目の大きさ)に対する、測定時の運転者Dの目の大きさの割合として定義される。このため、車両用監視装置1が運転者Dの開眼度を算出するためには、比較対象として運転者Dの通常時の目の大きさを確定するための初期化処理が必要となる。
車両用監視装置1が備える各種モジュールのうち、運転者Dの開眼度の検出を担うモジュールは、開眼度検出の初期化処理に成功するとそのことを示す信号を出力するように構成されている。しかしながら、運転者Dの通常時の目の大きさの検出に失敗すると、当然ながら、運転者Dの開眼度の検出を担うモジュールは、初期化処理に成功したことを示す信号を出力できない。
ここで、運転者Dの開眼度の検出を担うモジュールが開眼度検出の初期化処理に失敗する要因は大きく分けて2つ考えられる。1つ目は、運転者Dが脇見運転をしている等の何らかの原因により、撮像部2が運転者Dの目を撮像できない場合である。この場合、警報装置5が、運転者の注意を喚起するための警報を発生するべき状況と言える。
2つ目は、撮像部2が運転者Dの目が存在する領域を撮像しているにもかかわらず、例えばサングラス等に遮蔽されて運転者Dの目の検出がしにくい場合や、西日等が運転者Dの顔を照らし、撮像部2が撮像した画像の画素値が飽和しているような場合である。このような場合、撮像部2は正常に運転している可能性があり、警報装置5は、運転者の注意を喚起するための警報を必ずしもいつも発生するべきではない。
このように、運転者Dの開眼度の検出を担うモジュールが開眼度検出の初期化処理に失敗した場合であっても、警報装置5は、運転者の注意を喚起するための警報を発生するべきではない状況も起こりうる。
そこで、実施の形態に係る車両用監視装置1は、開眼度の測定に失敗した場合において、開眼度を除く他の運転状態が正常であり、かつ車両Vの走行状態も正常と判定される場合、開眼度の検出処理を再実行する。これにより、車両用監視装置1は、運転状態に関する誤判定を抑制することができ、結果として、車両用監視装置1は、誤判定に基づく警報の通知も抑制することができる。ひいては、誤判定に基づく警報の通知によって運転者Dに不快な思いや不信感を抱かせることが抑制できる。
<実施の形態に係る車両用監視装置1の機能構成>
図3は、実施の形態に係る車両用監視装置1の機能構成を模式的に示す図である。車両用監視装置1は、上述した撮像部2、車載センサ3、GPS受信部4、及び警報装置5に加え、記憶部6と制御部7とも備える。図3において、矢印は主なデータの流れを示しており、図3に示していないデータの流れがあってもよい。図3において、各機能ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
記憶部6は、車両用監視装置1を実現するコンピュータのBIOS(Basic Input Output System)等を格納するROM(Read Only Memory)や車両用監視装置1の作業領域となるRAM(Random Access Memory)、OS(Operating System)やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDD(Hard Disk Drive)やSSD(Solid State Drive)等の大容量記憶装置である。
制御部7は、車両VのECU(Electronic Control Unit)等のプロセッサであり、記憶部6に記憶されたプログラムを実行することによって運転状態測定部70、走行状態判定部71、警報判定部72、座標検出部73、及び日照方向取得部74として機能する。
撮像部2は、車両Vの運転者Dを撮像する。具体的には、撮像部2は、車両Vの運転席を被写体に含む画像を撮像できるように設置されており、車両Vに運転者Dが乗り込んで車両Vを運転するときに運転者Dが写るような画像を生成する。
運転状態測定部70は、撮像部2が撮像した画像を解析して、運転者Dの開眼度を含む複数の運転状態を測定する。
図4は、実施の形態に係る運転状態測定部70の機能構成を模式的に示す図である。図4に示すように、実施の形態に係る運転状態測定部70は、顔検出部700、目検出部701、顔向き角度検出部702、顔位置検出部703、開眼度測定部704、及び視線検出部705を少なくとも含む。
顔検出部700、目検出部701、顔向き角度検出部702、顔位置検出部703、開眼度測定部704、及び視線検出部705は、それぞれ既知の画像認識技術又は画像処理技術を用いて実現される。既知の技術であるため詳細な説明は省略するが、顔検出部700は、撮像部2が撮像した画像中に存在する顔を検出する。目検出部701は、顔検出部700が検出した顔に存在する目を検出する。
顔向き角度検出部702は、顔検出部700が検出した顔の向きを示す角度を検出する。顔位置検出部703は、撮像部2が撮像した画像に設定された2次元座標系における顔の位置座標を検出する。なお、顔位置検出部703は、撮像部2が設置されている車両Vのいずれかを原点とする3次元座標系において、車両Vの顔の存在位置を示す3次元座標を検出してもよい。
開眼度測定部704は、上述した「運転者Dの開眼度の検出を担うモジュール」に相当し、目検出部701が検出した目の開眼度を測定する。視線検出部705は、運転者Dの視線の向きを示す角度を検出する。
図3の説明に戻る。走行状態判定部71は、車載センサ3の種々の測定データに基づいて、車両Vの走行状態を判定する。警報判定部72は、運転状態測定部70が測定した運転状態と、走行状態判定部71が判定した走行状態とに基づいて、警報装置5を作動させるか否かを判定する。
警報判定部72は、運転状態測定部70が開眼度の測定に失敗した場合、開眼度を除く他の運転状態が正常であり、かつ走行状態も正常と判定される場合、運転状態測定部70に開眼度の測定を再実行させる。開眼度を除く他の運転状態が正常であり、かつ走行状態も正常と判定される場合は、開眼度の測定にのみ失敗している蓋然性が高い。このような場合は、警報判定部72は運転状態測定部70に開眼度の測定を初期化してはじめからやり直させる。これにより、車両用監視装置1は、開眼度検出に由来する誤判定を抑制することができ、ひいては誤判定に基づく誤警報も抑制することができる。
より具体的には、警報判定部72は、運転状態測定部70が開眼度の検出の初期化処理を開始してから、所定の開眼度測定待機時間が経過しても、運転状態測定部70から開眼度の検出の初期化処理が終了したことを示す信号を未受信の場合、運転状態測定部が開眼度の測定に失敗したと判定する。
ここで「開眼度測定待機時間」とは、警報判定部72が運転状態測定部70に開眼度測定処理を再実行させるか否かを決定するために参照する再測定待機閾時間である。開眼度測定待機時間の具体的な値は、運転状態測定部70が備えている「運転者Dの開眼度の検出を担うモジュール」の性能や初期化処理が正常に終了するまでに要する時間の平均値等を考慮して定めればよいが、例えば60秒間である。
図5は、実施の形態に係る走行状態判定部71の機能構成を模式的に示す図である。図5に示すように、実施の形態に係る走行状態判定部71は、データ観測部710と状態判定部711とを少なくとも含む。
データ観測部710は、車両Vに搭載された車載センサ3に基づいて定常的に観測される複数の観測データである第1種観測データを観測する。また、データ観測部710は、車両Vに搭載された操作部が運転者Dによって操作されることを契機として観測される複数の観測データである第2種観測データも観測する。
データ観測部710が観測する第1種観測データは、例えば、車両Vが走行中の車線における車線内の位置の変動量、車両Vの車速の変動量、操舵角の変動量、ヨーレートの変動量、及び車間距離の変動量等である。第1種観測データは定常的に観測されるデータであるとも言える。
一般に、運転者Dが車両Vを正常に運転している場合は、運転者Dが居眠り運転や脇見運転等の正常でない運転をしている場合と比較して、上述した第1種観測データはいずれも小さな値となると考えられる。そこで、状態判定部711は、第1種観測データ毎に定められた正常判定基準範囲内に各第1種観測データが含まれるか否かを、走行状態が正常か否かを判定するための1つの判定基準とする。
ここで「正常判定基準範囲」は、データ観測部710が車両Vの走行状態が正常である場合に各第1種観測データが取りうる範囲である。各第1種観測データの正常判定基準範囲は、車両Vの大きさやエンジン性能、車種等を考慮して実験により定めればよい。
データ観測部710が観測する第2種観測データは、例えば、アクセルペダル、ブレーキペダル、及びクラッチペダル等のペダル操作の有無、方向指示器の操作の有無、シフト操作の有無等である。第2種観測データは間欠的に観測されるデータであるとも言える。
一般に、運転者Dが車両Vを正常に運転している場合は、運転者Dが居眠り運転や脇見運転等の正常でない運転をしている場合と比較して、第2種観測データが観測される確率が高いと考えられる。ペダル操作や方向指示器の操作等は運転者Dが意図して行わない限り発生しにくいからである。第2種観測データが観測された場合、少なくとも所定の期間が経過するまでは運転者Dは正常であり、車両Vは正常に走行していると考えられる。
そこで、状態判定部711は、第2種観測データが観測されるか否かも、走行状態が正常か否かを判定するためのもう1つの判定基準とする。より具体的には、第2種観測データが観測されてから所定の期間が経過するまでの間、状態判定部711は、車両Vの走行状態は正常と判定する。
ここで「所定の期間」は、第2種観測データが観測された場合に、データ観測部710が走行状態の判定に利用する期間である。ある第2種観測データが観測された後に所定の期間が経過すると、データ観測部710は、その第2種観測データに基づく走行状態の判定を中止する。「所定の期間」の具体的な値は、運転者Dの運転パターン等を勘案して実験により定めればよい。
このように、走行状態判定部71は、車両Vが備える車載センサ3の測定データ及び運転者Dによる操作に基づいて、車両Vの走行状態を精度よく推定することができる。
図3の説明に戻る。運転状態測定部70は、撮像部2が撮像した画像に基づいて、既知の画像認識技術及び画像処理技術を用いて運転者Dの運転状態を測定する。このため、運転状態測定部70が運転状態の測定に用いる画像の品質が低い場合は、高い場合と比較して、運転状態の測定の精度が低下しうる。
画像の品質が低下する要因は種々考えられるが、特に、運転者Dの顔に強い光があたって撮像部2が生成する画像の画素値が飽和してしまったり、運転者Dの顔に大きな陰影が出現したりすると、運転状態測定部70が備える各部の認識精度が低下しやすい。
運転者Dの顔に強い光にさらされる典型的な状況の1つとして、運転者Dの顔に西日が当たる場合が挙げられる。西日は入射角が浅く車両Vに遮られることなく運転者Dに到達しやすいからである。日の出直後の朝日も入射角が浅いと考えられるが、西日が差す時間帯は日の出直後の時間帯よりも運転者Dが活動する時間と重なりやすいため、西日は撮像部2が生成する画像の品質に与える影響が大きいと考えられる。
そこで、座標検出部73は、GPS受信部4が受信したGPSデータに基づいて、車両Vの位置を示す位置情報及び進行方向を検出する。日照方向取得部74は、日時、位置情報、及び日照方向を対応付けて格納する日照方向データベースを参照して、日照方向を取得する。
図6は、実施の形態に係る日照方向データベースのデータ構造を模式的に示す図である。日照方向データベースは記憶部6に格納され、日照方向取得部74によって管理される。図6に示すように、日照方向データベースは、日付を単位として日照方向のデータがまとめられている。図6に示す例では、2017年6月19日の日照方向のデータが図示されている。
より具体的には、日照方向データベースは、各日付において、緯度と経度との組み合わせ毎に、太陽の高度及び方位がまとめられている。日照方向取得部74は、日付、緯度、及び経度を指定して日照方向データベースを参照することにより、例えば30分毎の太陽の高度及び方位を取得することができる。
警報判定部72は、運転状態測定部70が開眼度の測定に失敗した場合において、開眼度を除く他の運転状態が正常であり、走行状態も正常と判定され、かつ車両Vの進行方向と車両Vの位置における日照方向とが所定の関係を満たすことを条件として、運転状態測定部70に開眼度の検出処理を再実行させる。
所定の条件の一例として、警報判定部72は、車両Vの進行方向が日照方向に対向する方向であることを条件としてもよい。車両Vの進行方向が日照方向に対向する方向である場合には、運転者Dの顔に直射日光が当たる蓋然性が高く、運転状態測定部70による運転者Dの運転状態の判定に影響を及ぼす可能性があるからである。これにより、実施の形態に係る車両用監視装置1は、運転状態に関する誤判定を抑制することができ、結果として、車両用監視装置1は、誤判定に基づく警報の通知も抑制することができる。
実施の形態に係る開眼度測定部704は、開眼度検出の初期化処理が終了する前、すなわち100%の開眼度を決定する前であっても、暫定的な開眼度を出力する。開眼度測定部704が出力する暫定的な開眼度は、初期化処理が正常に終了した後に出力する開眼度よりも、精度が劣ると考えられる。
そこで、警報判定部72は、開眼度の検出の初期化が終了したことを示す信号を未受信の場合に運転状態測定部70から取得する運転者Dの暫定的な開眼度が警報装置5を作動させる条件を満たす場合であっても、開眼度を除く他の運転状態が正常であり、かつ走行状態も正常と判定される場合には、警報装置5の作動を禁止する。これにより、実施の形態に係る車両用監視装置1は、運転状態に関する誤判定に基づく警報の通知を抑制することができる。
<車両用監視装置1が実行する運転者D監視処理の処理フロー>
図7は、実施の形態に係る車両用監視装置1が実行する運転者D監視処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば車両用監視装置1が起動したときに開始する。
撮像部2は、車両Vの運転者Dを撮像する(S2)。運転状態測定部70は、撮像部2が撮像した画像を解析して運転者Dの開眼度を含む複数の運転状態を測定する(S4)。走行状態判定部71は、車載センサ3の種々の測定データに基づいて、車両Vの走行状態を判定する(S6)。
運転状態測定部70が開眼度の測定に失敗した場合において(S8のYes)、開眼度を除く他の運転状態が全て正常であり(S10のYes)、かつ走行状態も正常の場合(S12のYes)、警報判定部72は、運転状態測定部70に開眼度の測定を再実行させる(S14)。
運転状態測定部70に開眼度の測定を再実行させた場合、運転状態測定部70が開眼度の測定に成功した場合(S8のNo)、開眼度を除く他の運転状態のうち少なくとも1つが異常の場合(S10のNo)、又は走行状態が異常の場合(S12のNo)、本フローチャートにおける処理は終了する。
<実施の形態に係る車両用監視装置1が奏する効果>
以上説明したように、実施の形態に係る車両用監視装置1によれば、運転状態に関する誤判定を抑制することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
<変形例>
上記では、定常的に観測できる第1種観測データの例として、車両Vが走行中の車線における車線内の位置の変動量、車両Vの車速の変動量、操舵角の変動量、ヨーレートの変動量、及び車間距離の変動量等を説明した。より具体的には、第1種観測データ毎に定められた正常判定基準範囲内に各第1種観測データが含まれるか否かを、走行状態が正常か否かを判定するための1つの判定基準とする場合について説明した。
ここで、車両Vの車速の変動量、操舵角の変動量、ヨーレートの変動量、及び車間距離の変動量等を間欠的に観測される第2種観測データとして採用することもできる。この場合、第1種観測データ毎に定められた正常判定基準範囲とは別に、正常反転基準範囲よりも大きな変動を捉えるための間欠事象観測用基準範囲を設ける。例えば、車両Vの運転者Dが追い越しのために車線を変更したり、車速を上昇させたりするときは、車両Vの車速、操舵角、ヨーレート、及び車間距離に大きな変動が観測される。このような場合は、運転者Dが車両Vを正常に運転していると考えられるため、走行状態が正常か否かを判定するための判定材料として採用することができる。
1・・・車両用監視装置
2・・・撮像部
3・・・車載センサ
4・・・GPS受信部
5・・・警報装置
6・・・記憶部
7・・・制御部
70・・・運転状態測定部
700・・・顔検出部
701・・・目検出部
702・・・顔向き角度検出部
703・・・顔位置検出部
704・・・開眼度測定部
705・・・視線検出部
71・・・走行状態判定部
710・・・データ観測部
711・・・状態判定部
72・・・警報判定部
73・・・座標検出部
74・・・日照方向取得部
V・・・車両

Claims (5)

  1. 車両の運転者を撮像する撮像部と、
    前記撮像部が撮像した画像を解析して前記運転者の開眼度を含む複数の運転状態を測定する運転状態測定部と、
    前記車両の走行状態を判定する走行状態判定部と、
    前記運転状態と前記走行状態とに基づいて、警報装置を作動させるか否かを判定する警報判定部と、を備え、
    前記警報判定部は、前記運転状態測定部が前記開眼度の測定に失敗した場合において、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合、前記運転状態測定部に開眼度の測定を再実行させる、
    車両用監視装置。
  2. 前記警報判定部は、前記運転状態測定部が前記開眼度の検出の初期化処理を開始してから、所定の開眼度測定待機時間が経過しても、前記運転状態測定部から前記開眼度の検出の初期化処理が終了したことを示す信号を未受信の場合、前記運転状態測定部が前記開眼度の測定に失敗したと判定する、
    請求項1に記載の車両用監視装置。
  3. 前記走行状態判定部は、
    前記車両に搭載された車載センサに基づいて定常的に観測される複数の観測データである第1種観測データと、前記車両に搭載された操作部が前記運転者によって操作されることを契機として観測される複数の観測データである第2種観測データとを観測するデータ観測部と、
    前記第1種観測データ毎に定められた正常判定基準範囲内に各第1種観測データが含まれるか否か、及び前記第2種観測データが観測されるか否かに基づいて、前記走行状態が正常か否かを判定する状態判定部と、を備える、
    請求項1又は2に記載の車両用監視装置。
  4. 前記警報判定部は、前記開眼度の検出の初期化が終了したことを示す信号を未受信の場合に前記運転状態測定部から取得する前記運転者の暫定的な開眼度が前記警報装置を作動させる条件を満たす場合であっても、前記開眼度を除く他の運転状態が正常であり、かつ前記走行状態も正常と判定される場合には、前記警報装置の作動を禁止する、
    請求項1から3のいずれか1項に記載の車両用監視装置。
  5. 前記車両の位置を示す位置情報及び進行方向を検出する座標検出部と、
    日時、位置情報、及び日照方向を対応付けて格納する日照方向データベースを参照して、日照方向を取得する日照方向取得部と、をさらに備え、
    前記警報判定部は、前記運転状態測定部が前記開眼度の測定に失敗した場合において、前記開眼度を除く他の運転状態が正常であり、前記走行状態も正常と判定され、かつ前記車両の進行方向と前記車両の位置における前記日照方向とが所定の関係を満たすことを条件として、前記運転状態測定部に開眼度の検出処理を再実行させる、
    請求項1から4のいずれか1項に記載の車両用監視装置。
JP2018176320A 2018-09-20 2018-09-20 車両用監視装置 Active JP7180227B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018176320A JP7180227B2 (ja) 2018-09-20 2018-09-20 車両用監視装置
US17/278,098 US11403858B2 (en) 2018-09-20 2019-09-19 Vehicular monitoring device
CN201980061705.5A CN112740300B (zh) 2018-09-20 2019-09-19 车辆用监视装置
PCT/JP2019/036769 WO2020059800A1 (ja) 2018-09-20 2019-09-19 車両用監視装置
DE112019004707.8T DE112019004707T5 (de) 2018-09-20 2019-09-19 Fahrzeugüberwachungseinrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018176320A JP7180227B2 (ja) 2018-09-20 2018-09-20 車両用監視装置

Publications (2)

Publication Number Publication Date
JP2020047085A JP2020047085A (ja) 2020-03-26
JP7180227B2 true JP7180227B2 (ja) 2022-11-30

Family

ID=69888449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018176320A Active JP7180227B2 (ja) 2018-09-20 2018-09-20 車両用監視装置

Country Status (5)

Country Link
US (1) US11403858B2 (ja)
JP (1) JP7180227B2 (ja)
CN (1) CN112740300B (ja)
DE (1) DE112019004707T5 (ja)
WO (1) WO2020059800A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059056A (ja) 2006-08-29 2008-03-13 Hino Motors Ltd 覚醒度検出装置
JP2008165348A (ja) 2006-12-27 2008-07-17 Toyota Motor Corp 居眠り検知装置、居眠り検知方法
JP2008305190A (ja) 2007-06-07 2008-12-18 Aruze Corp 居眠り警告装置及び自動車
JP2009289136A (ja) 2008-05-30 2009-12-10 Toyota Motor Corp 警報制御装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06262958A (ja) * 1993-03-15 1994-09-20 Aisin Seiki Co Ltd 開口を開閉する運動体の閉じ検出装置
JP3063504B2 (ja) * 1993-12-22 2000-07-12 日産自動車株式会社 画像データの特徴量検出装置
JP3383594B2 (ja) * 1998-09-29 2003-03-04 沖電気工業株式会社 眼の開度測定装置
JP3852294B2 (ja) * 2001-03-22 2006-11-29 日産自動車株式会社 居眠り検出装置
JP2004192345A (ja) * 2002-12-11 2004-07-08 Nissan Motor Co Ltd 運転者状態検出装置
JP4622439B2 (ja) * 2004-10-13 2011-02-02 日産自動車株式会社 覚醒度判定装置
JP4967559B2 (ja) * 2006-09-19 2012-07-04 株式会社豊田中央研究所 居眠り運転防止装置及びプログラム
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
CN101375796B (zh) * 2008-09-18 2010-06-02 浙江工业大学 疲劳驾驶实时检测系统
JP2011043961A (ja) 2009-08-20 2011-03-03 Toyota Motor Corp 運転者監視装置
JP2011205350A (ja) * 2010-03-25 2011-10-13 Sanyo Electric Co Ltd 端末装置
JP6024231B2 (ja) * 2012-06-18 2016-11-09 アイシン精機株式会社 状態判定装置、運転支援システム、状態判定方法及びプログラム
KR101386823B1 (ko) 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
JP2016115117A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 判定装置および判定方法
CN105701445A (zh) 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
DE102015204247A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Müdigkeits- und/oder Schlafzustandes eines Fahrers eines Fahrzeugs
JP2017076180A (ja) * 2015-10-13 2017-04-20 いすゞ自動車株式会社 状態判定装置
JP6730096B2 (ja) * 2016-06-02 2020-07-29 株式会社Subaru 乗員状態監視装置
JP2018176320A (ja) 2017-04-07 2018-11-15 株式会社ディスコ 加工装置
JP2019086813A (ja) * 2017-11-01 2019-06-06 株式会社デンソー 漫然運転抑制システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059056A (ja) 2006-08-29 2008-03-13 Hino Motors Ltd 覚醒度検出装置
JP2008165348A (ja) 2006-12-27 2008-07-17 Toyota Motor Corp 居眠り検知装置、居眠り検知方法
JP2008305190A (ja) 2007-06-07 2008-12-18 Aruze Corp 居眠り警告装置及び自動車
JP2009289136A (ja) 2008-05-30 2009-12-10 Toyota Motor Corp 警報制御装置

Also Published As

Publication number Publication date
JP2020047085A (ja) 2020-03-26
DE112019004707T5 (de) 2021-07-15
US20210350156A1 (en) 2021-11-11
US11403858B2 (en) 2022-08-02
WO2020059800A1 (ja) 2020-03-26
CN112740300A (zh) 2021-04-30
CN112740300B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
JP7247499B2 (ja) 車両用監視装置
US20210197849A1 (en) Warning device and driving tendency analysis method
JP4743054B2 (ja) 車両のドライブレコーダ
US11027746B2 (en) Drive mode switching control device, method and program
US20130204515A1 (en) Traffic accident detection device and method of detecting traffic accident
US20160159217A1 (en) System and method for determining drowsy state of driver
US20190143993A1 (en) Distracted driving determination apparatus, distracted driving determination method, and program
US20170220875A1 (en) System and method for determining a visibility state
US20200172114A1 (en) Information processing system, program, and control method
US20190147274A1 (en) Driver state determination apparatus, method, and recording medium
US11267478B2 (en) Vehicle monitoring device
CN111824149A (zh) 列队行驶控制器、包括其的系统及列队行驶控制方法
JP7187918B2 (ja) 車両用監視装置
JP6521490B2 (ja) 運転者状態判定装置
JP7180227B2 (ja) 車両用監視装置
JP7059566B2 (ja) 車両用警報装置
US20240199046A1 (en) Safe driving determination apparatus
JP2020194228A (ja) 運転者状態判定装置、運転者状態判定方法、および、プログラム
JP2024029994A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2023102059A (ja) 路面標示検出装置及びこれを備える報知システム、並びに路面標示検出方法
JP2024087473A (ja) 運転支援装置
JP2020035043A (ja) 脇見報知装置
JP2023166226A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
FR3062835A1 (fr) Procede et systeme de determination d'un indice de confiance associe a une caracteristique d'une voie de circulation
JP2017004031A (ja) ドライブレコーダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7180227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150