JP6631954B2 - 運転者状態判定装置 - Google Patents

運転者状態判定装置 Download PDF

Info

Publication number
JP6631954B2
JP6631954B2 JP2016058631A JP2016058631A JP6631954B2 JP 6631954 B2 JP6631954 B2 JP 6631954B2 JP 2016058631 A JP2016058631 A JP 2016058631A JP 2016058631 A JP2016058631 A JP 2016058631A JP 6631954 B2 JP6631954 B2 JP 6631954B2
Authority
JP
Japan
Prior art keywords
unit
deviation amount
driver
driving posture
integrated value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016058631A
Other languages
English (en)
Other versions
JP2017174093A (ja
Inventor
英治 長野
英治 長野
安井 博文
博文 安井
光弘 小峰
光弘 小峰
英嗣 入江
英嗣 入江
修一 坂井
修一 坂井
高寛 山田
高寛 山田
憲司 土門
憲司 土門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hino Motors Ltd
University of Tokyo NUC
Original Assignee
Hino Motors Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hino Motors Ltd, University of Tokyo NUC filed Critical Hino Motors Ltd
Priority to JP2016058631A priority Critical patent/JP6631954B2/ja
Publication of JP2017174093A publication Critical patent/JP2017174093A/ja
Application granted granted Critical
Publication of JP6631954B2 publication Critical patent/JP6631954B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Regulating Braking Force (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Description

本発明の一側面は、運転者状態判定装置に関する。
従来の運転者状態判定装置に関する技術として、例えば特許文献1に記載された技術が知られている。特許文献1に記載された技術では、運転席前方に設けられたカメラにより運転者の顔位置をカメラで撮像し、その撮像画像から運転者の顔が存在しない又は目をつむっている等の状況が所定期間継続して検出された場合、運転者の状態が異常と判定する。
特開2007−331652号公報
近年、車両に乗車中の運転者の状態を見極め、運転者の状態が異常の場合には、例えば車両の走行を自動制御することによって障害物との接触時の被害を軽減するシステムの導入が望まれている。このようなシステムを実現するために、上述したような運転者状態判定装置においては、運転者の状態が異常か否かを精度よく判定することが重要とされる。
本発明の一側面は、上記実情に鑑みてなされたものであり、運転者の状態が異常か否かを精度よく判定することが可能な運転者状態判定装置を提供することを課題とする。
本発明の一側面に係る運転者状態判定装置は、少なくとも距離センサを含む検出部による検出結果に基づいて、車両の運転者における複数の骨格部位の相対的な位置関係を含む運転姿勢を認識する認識部と、正常な運転状態における当該運転者の運転姿勢である複数の正常運転姿勢を記憶する記憶部と、記憶部に記憶された複数の正常運転姿勢のそれぞれに対して、当該正常運転姿勢と認識部で認識した運転姿勢とのズレ量を算出するズレ量算出部と、記憶部に記憶された複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する最小ズレ量選択部と、最小ズレ量選択部で選択された最小ズレ量を積算してズレ量積算値を算出する積算値算出部と、積算値算出部で算出されたズレ量積算値が、予め定められた閾値を超えた場合に運転者の状態が異常と判定する判定部と、を備え、積算値算出部は、最小ズレ量選択部で選択された最小ズレ量を積算するとともに、所定時間が経過する毎にズレ量積算値を所定量減算する。
この運転者状態判定装置において、ズレ量算出部は、複数の正常運転姿勢のそれぞれに対して、認識部で認識された運転姿勢とのズレ量を算出する。最小ズレ量選択部は、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。ここで、記憶部に記憶された複数の正常運転姿勢のうち最もズレ量の値が小さくなる正常運転姿勢とは、運転者の運転姿勢に最も近い姿勢である。すなわち、最小ズレ量選択部は、記憶部に記憶された複数の正常運転姿勢の中から運転者の運転姿勢に最も近い正常運転姿勢と、運転者の運転姿勢とのズレ量を最小ズレ量として選択する。積算値算出部は、運転者の運転姿勢に最も近い正常運転姿勢からのズレ量(最小ズレ量)を積算して、ズレ量積算値を算出する。判定部は、ズレ量積算値が予め定められた閾値を超えた場合に、運転者の状態が異常と判定する。このように最小ズレ量を積算して判定を行うことにより、たとえば、車両が段差を乗り越えた等によって運転者の姿勢が一瞬だけ異常な姿勢となった場合や、検出部のノイズなどによって一瞬だけ運転者の異常な運転姿勢が認識部で認識された場合であっても、運転者状態判定装置は、運転者の状態が異常と誤判定してしまうことを抑制できる。したがって、運転者状態判定装置によれば、運転者の状態が異常か否かを精度よく判定することが可能となる。
また、運転者状態判定装置は、ズレ量を積算することによって増加するズレ量積算値を、時間の経過に伴って自動で減算することができる。
運転者状態判定装置は、判定部による判定時以外のときに、認識部で認識した当該運転者の運転姿勢を正常運転姿勢として記憶部に記憶する学習部を備えていてもよい。この構成によれば、判定部による判定時以外のときの運転者の運転姿勢を正常運転姿勢として記憶部に学習させることが可能となる。
本発明の一側面によれば、運転者の状態が異常か否かを精度よく判定することができる運転者状態判定装置を提供することが可能となる。
実施形態に係る運転者状態判定装置の構成を示すブロック図である。 複数の骨格部位を説明する図である。 認識部により認識した運転姿勢の一例を示す図である。 運転者状態判定ECUにおいて実行される判定モードの処理を説明するフローチャートである。 運転者状態判定ECUにおいて実行される学習モードの処理を説明するフローチャートである。
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。
図1は、実施形態に係る運転者状態判定装置100の構成を示すブロック図である。図2は、運転者1の複数の骨格部位2を説明する図である。図1に示すように、運転者状態判定装置100は、自動車等の車両に乗車中の運転者1の状態が異常か否かを判定する装置である。車両としては、特に限定されるものではなく、例えば、トラックやバス等の商用車、普通乗用車、大型車両、中型車両、小型車両又は軽車両等の何れであってもよい。
運転者状態判定装置100は、深度センサ(検出部)10、運転者状態判定ECU20及び出力部30を備えている。深度センサ10は、深度情報を取得する距離センサである。深度センサ10は、対象物までの深度情報(距離画像)を取得するセンサである赤外線センサによって構成されている。深度センサ10は、車両の助手席側の窓とフロントガラスとの間に配置されている。深度センサ10は、運転者1の上方から運転者1側に向かう方向に撮影可能とされている。なお、深度センサ10は、赤外線センサ以外の他の距離センサによって構成されていてもよい。また、深度センサ10は、深度情報を取得する距離センサに加え、対象物のカラー画像を取得するRGBセンサを更に含んで構成されていてもよい。
図1及び図2に示すように、深度センサ10は、運転者1の上半身の深度情報を取得し、取得した深度情報から運転者1における複数の骨格部位2の三次元座標(X軸座標、Y軸座標及びZ軸座標)を取得する。深度センサ10は、当該三次元座標に関する情報を、センサ情報として運転者状態判定ECU20へ出力する。深度センサ10としては、例えば、深度の取得可能範囲が0.5〜8.0[m]、運転者1の検出可能範囲が0.5〜4.5[m]、及び、骨格部位2の検出可能数が20又は25[箇所/人]のものが用いられる。なお、複数の骨格部位2の三次元座標を取得する手法としては、特に限定されず、公知の手法を採用することができる。
骨格部位2は、1又は複数の骨及び軟骨によって構成される構造部位である。骨格部位2は、骨格上において1又は複数のまとまりのある機能及び/又は構造を有する部位である。骨格部位2は、骨格ポイントとも称する。本実施形態の骨格部位2としては、運転者1の上半身の骨格の部位であって、例えば「頭」、「左肩」、「左肘」、「左腕」、「左手」、「右肩」、「右肘」、「右腕」、「右手」、「脊髄」、「背骨中央」、及び「腰」等が挙げられる。上半身とは、身体における頭から腰までの部分である。
運転者状態判定ECU20は、CPU[Central Processing Unit]、ROM[Read OnlyMemory]、RAM[Random Access Memory]等を有する電子制御ユニットである。運転者状態判定ECU20では、ROMに記憶されているプログラムをRAMにロードし、CPUで実行することで、各種の制御を実行する。運転者状態判定ECU20は、複数の電子制御ユニットから構成されていてもよい。運転者状態判定ECU20は、認識部21、記憶部22、判定処理部23及び学習部24を有する。
認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の複数の骨格部位2における相対的な三次元の位置関係を含む運転姿勢を認識する。具体的には、まず、複数の骨格部位2のうちの二つの組合せからなる項目毎に、一方の骨格部位2の座標に対する他方の骨格部位2の三次元座標の大小関係を演算する。例えば当該大小関係は、X軸、Y軸及びZ軸それぞれにおいて、一方の骨格部位2の座標に対して他方の骨格部位2の座標が大きいか、小さいか、又は等しいかでビットパターン化されて表現される。そして、当該大小関係を相対位置情報(相対チェックポイントとも称する)とする。このような相対位置情報を複数の項目毎に有する一群の情報を、運転姿勢(姿勢モデルとも称する)として認識する。
図3は、認識部21により認識した運転姿勢の一例を示す図である。図3に示す例では、運転姿勢は、例えば骨格部位2の数が12箇所であるところ、66通りの骨格部位2の組合せ(項目)を有する。各項目それぞれは、XYZ座標系において、一方の骨格部位2に対する他方の骨格部位2の三次元座標の大小関係に関する相対位置情報を有する。図示するように、例えば項目が「頭−左肩」では、頭のX軸座標が左肩のX軸座標よりも小さく「<」とされ、頭のY軸座標が左肩のY軸座標と等しく「=」とされ、頭のZ軸座標は左肩のZ軸座標よりも大きく「>」とされている。つまり、複数の骨格部位2の組合せについての、座標の相対的大小関係を三軸で比較してなるベクタとして、一つの運転姿勢が記述されている。
図1に示すように、記憶部22は、複数の正常運転姿勢を記憶して蓄積する。正常運転姿勢は、正常な運転状態における運転者1の運転姿勢である。記憶部22は、後述するように、学習部24で平常運転時(通常運転時)に認識された運転姿勢を、正常運転姿勢として記憶する。記憶部22に記憶した複数の正常運転姿勢は、「辞書」、すなわち、多数の正常運転姿勢を集録する集合体を構築する。記憶部22に記憶した複数の正常運転姿勢は、教師データとして用いられる。複数の正常運転姿勢は、相対位置情報のリストの形で構成されている。以下、記憶部22に記憶した複数の正常運転姿勢を、単に「辞書」とも称する。
判定処理部23は、記憶部22に記憶した複数の正常運転姿勢と、認識部21で認識した現在の運転姿勢(以下、「現在運転姿勢」という)とに基づいて、次に示す判定モードを実行し、運転者1の状態が異常か否かを判定する。
具体的には、判定処理部23は、ズレ量算出部23a、最小ズレ量選択部23b、積算値算出部23c、及び判定部23dを備えている。ズレ量算出部23aは、記憶部22に記憶した複数の正常運転姿勢のそれぞれに対して、当該正常運転姿勢と認識部21で認識した現在運転姿勢とのズレ量を算出する。ここで、ズレ量とは、正常運転姿勢に対して現在運転姿勢がどの程度ズレているか(かい離しているか)を表している。ズレ量の値が大きいほど、正常運転姿勢に対して現在運転姿勢がズレている。ズレ量がゼロの場合とは、比較の対象とした正常運転姿勢と認識部21で認識された現在運転姿勢とが一致している場合である。なお、ズレ量が非常に小さい場合(所定値以下の場合)、ズレ量算出部23aは、ズレ量をゼロとして算出してもよい。
より具体的には、ズレ量算出部23aは、一の正常運転姿勢について、その複数の項目の各相対位置情報と現在運転姿勢が有する複数の項目の各相対位置情報とを照合し、相対位置情報が相違する項目の数を算出する。このとき、相対位置情報に含まれる、X軸座標の大小関係とY軸座標の大小関係とZ軸座標の大小関係との全てが同じとき、ズレ量算出部23aは、相対位置情報が一致したとする。
次に、ズレ量算出部23aは、相対位置情報が相違する項目の数に基づいて、ズレ量を算出する。例えば、ズレ量算出部23aは、相対位置情報が相違する項目の数を、ズレ量として用いてもよい。あるいは、ズレ量算出部23aは、相対位置情報が相違する項目の数をズレ量として用いる際に、項目ごとに重み付けを行って、ズレ量を算出してもよい。
続いて、ズレ量算出部23aは、このようなズレ量の算出を、記憶部22が記憶する複数の正常運転姿勢の全てに対して実施する。このように、ズレ量算出部23aは、認識部21によって現在運転姿勢が認識される毎に、記憶部22が記憶する複数の正常運転姿勢の全てに対して、正常運転姿勢と現在運転姿勢とのズレ量を算出する。
最小ズレ量選択部23bは、記憶部22に記憶された複数の正常運転姿勢のそれぞれに対してズレ量算出部23aで算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。この最小ズレ量の選択は、記憶部22に記憶された複数の正常運転姿勢の全てに対してズレ量が算出される毎に行われる。
積算値算出部23cは、判定処理部23において最小ズレ量が選択される毎に、最小ズレ量を積算してズレ量積算値を算出する。すなわち、積算値算出部23cは、過去に選択された最小ズレ量の積算値(ズレ量積算値)に対して、今回選択された最小ズレ量を加算する。
また、積算値算出部23cは、ズレ量積算値を所定時間が経過する毎に所定量減算する。積算値算出部23cは、ズレ量積算値を積算する毎に、ズレ量積算値を減算する。なお、最小ズレ量が選択されるタイミングが一定タイミングである場合、積算値算出部23cは、最小ズレ量を積算する毎にズレ量積算値を所定量ずつ減算する。また、最小ズレ量が選択されるタイミングが変動する場合、所定時間が経過する毎に所定量ずつ減算されるように最小ズレ量の選択のタイミング(時間間隔)を考慮して、最小ズレ量を積算する毎にズレ量積算値を減算する。なお、最小ズレ量が選択されるタイミングの変動は、例えば、CPUの負荷(計算量)に起因して生じることがある。また、積算値算出部23cは、ズレ量積算値の積算とズレ量積算値の減算とを、互いに異なるタイミング或いは互いに異なる周期で行ってもよい。
判定部23dは、積算値算出部23cで算出されたズレ量積算値が予め定められた閾値を超えた場合に運転者1の状態が異常と判定する。また、判定部23dは、積算値算出部23cで算出されたズレ量積算値が予め定められた閾値以下の場合には、運転者1の状態が正常と判定する。この閾値は、運転者1の状態が異常か否かを適切に判定するために、予め定められて記憶された値である。閾値は、実験、過去の実績及び経験、並びにシミュレーション等に基づいて定めることができる。閾値は、固定の値であってもよいし、変動する値であってもよい。
学習部24は、判定処理部23による判定時以外のときに、認識部21で認識した現在運転姿勢を正常運転姿勢として学習する学習モード(辞書登録モード又は辞書強化モードとも称する)を実行する。具体的には、学習部24は、例えばモード判定実行時以外の平常運転時に、認識部21で認識した運転者1の現在運転姿勢を正常運転姿勢として記憶部22に記憶して蓄積する。なお、学習部24は、認識部21で認識した平常運転時における運転者1の現在運転姿勢と、記憶部22に記憶された正常運転姿勢とのズレ量が非常に小さい場合(所定値以下の場合)、学習部24は、認識された現在運転姿勢を記憶部22に蓄積させる処理を行わなくてもよい。これにより、記憶部22に記憶される辞書の増加を抑制することができる。
出力部30は、判定処理部23による判定結果に応じた情報を運転者1へ報知する。出力部30は、例えば、画像情報を表示するためのディスプレイ、及び音声出力のためのスピーカの少なくとも何れかを有している。出力部30は、判定処理部23で運転者1の状態が異常と判定された場合、例えばディスプレイパネル上に警告表示を表示する、及び/又は、警告メッセージ等の警告音声をスピーカから出力する。一方、出力部30は、判定処理部23で運転者1の状態を正常と判定した場合、例えば現在運転姿勢が正常運転姿勢と対応している旨をディスプレイパネル上に表示する、及び/又は、現在運転姿勢が正常運転姿勢と対応している旨の音声をスピーカから出力する。
なお、本実施形態では、運転者状態判定装置100を走行支援装置(不図示)に適用し、判定部23dの判定結果に基づいて車両の走行を自動制御してもよい。例えば、判定部23dにより運転者1の状態が異常と判定された場合、車両制御ECU(不図示)によりステアリングアクチュエータ及びブレーキアクチュエータを制御して、車両を路肩に寄せて停車させてもよい。運転者状態判定装置100は、種々の走行支援装置、運転支援装置及び走行安全装置等に採用可能である。
本実施形態において、判定処理部23による判定モードの実行と学習部24による学習モードの実行とについては、例えば運転者1によるモード切替部(不図示)の操作に応じて所望に切替え可能としてもよい。本実施形態において、骨格部位2の三次元座標の取得、相対的な位置関係とする表現(運転姿勢)への変換、及び、全ての辞書に対するズレ量の算出は、1秒間当たりの処理フレーム数を数十フレームとしてリアルタイム処理を行っている。
次に、運転者状態判定装置100の処理について、図4に示すフローチャートを参照しつつ説明する。
図4は、運転者状態判定ECU20において実行される判定モードの処理を説明するフローチャートである。図4に示すように、運転者状態判定ECU20では、判定モードに係る以下の処理を所定周期で繰り返し実行する。
まず、運転者状態判定ECU20は、深度センサ10からセンサ情報を取得する(S1)。認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の現在運転姿勢を認識する(S2)。ズレ量算出部23aは、複数の正常運転姿勢のそれぞれに対して現在運転姿勢とのズレ量を算出する(S3)。そして、最小ズレ量選択部23bは、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する(S4)。最小ズレ量が選択されると、積算値算出部23cは、選択された最小ズレ量を積算してズレ量積算値を算出するとともに、時間の経過に応じてズレ量積算値の減算を行う(S5)。
続いて、判定部23dは、算出されたズレ量積算値が、予め定められた閾値を超えたか否かを判定する(S6)。ズレ量積算値が閾値を超えている場合(S6:YES)、判定部23dは、運転者1の状態が異常と判定する。その後、運転者状態判定ECU20は、出力部30から警告音声及び/又は警告表示を出力させると共に、次周期の処理に移行する。これに代えてもしくは加えて、車両制御ECUにより車両の走行を自動制御し、例えば車両を路肩に寄せて停車させる。
一方、ズレ量積算値が閾値を超えていない場合(S6:NO)、判定部23dは、運転者1の状態が正常と判定する。その後、運転者状態判定ECU20は、出力部30から、現在運転姿勢が正常運転姿勢と対応している旨を出力させると共に、次周期の処理に移行する。
図5は、運転者状態判定ECU20において実行される学習モードの処理を説明するフローチャートである。図5に示すように、運転者状態判定ECU20では、例えばモード判定実行時以外の平常運転時において、判定モードに係る以下の処理を所定周期で繰り返し実行する。
まず、運転者状態判定ECU20は、深度センサ10からセンサ情報を取得する(S11)。認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の現在運転姿勢を認識する(S12)。学習部24は、現在運転姿勢を正常運転姿勢として記憶部22に記憶する(S13)。その後、運転者状態判定ECU20は、次周期の処理に移行する。
以上、運転者状態判定装置100において、ズレ量算出部23aは、記憶部22に記憶された複数の正常運転姿勢のそれぞれに対して、認識部21で認識された現在運転姿勢とのズレ量を算出する。最小ズレ量選択部23bは、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。ここで、記憶部22に記憶された複数の正常運転姿勢のうち最もズレ量の値が小さくなる正常運転姿勢とは、運転者1の現在運転姿勢に最も近い姿勢である。すなわち、最小ズレ量選択部23bは、記憶部22に記憶された複数の正常運転姿勢の中から運転者1の現在運転姿勢に最も近い正常運転姿勢と、現在運転姿勢とのズレ量を最小ズレ量として選択する。積算値算出部23cは、運転者1の現在運転姿勢に最も近い正常運転姿勢からのズレ量(最小ズレ量)を積算して、ズレ量積算値を算出する。
判定部23dは、ズレ量積算値が予め定められた閾値を超えた場合に、運転者1の状態が異常と判定する。このように最小ズレ量を積算して判定を行うことにより、たとえば、車両が段差を乗り越えた等によって運転者1の姿勢が一瞬だけ異常な姿勢となった場合や、深度センサ10のノイズなどによって一瞬だけ運転者1の異常な運転姿勢が認識部21で認識された場合であっても、運転者状態判定装置100は、運転者1の状態が異常と誤判定してしまうことを抑制できる。したがって、運転者状態判定装置100によれば、運転者1の状態が異常か否かを精度よく判定することが可能となる。
また、ズレ量算出部23aは、記憶部22に記憶された正常運転姿勢と認識部21で認識された現在運転姿勢とのズレ量を算出している。すなわち、記憶部22は、運転者1の異常な運転姿勢のパターンを記憶する必要が無く、正常運転姿勢のみを記憶していればよい。このため、記憶部22が記憶する辞書の増加を抑制できる。また、ズレ量算出部23aは、運転者1の異常な運転姿勢のパターンを用いることなく、正常運転姿勢と現在運転姿勢との比較を行ってズレ量を算出する構成であるため、異常な運転姿勢のパターンについても比較の対象とする場合に比べて、ズレ量を算出するための計算量を抑制できる。
積算値算出部23cは、最小ズレ量選択部23bで選択された最小ズレ量を積算するとともに、所定時間が経過する毎にズレ量積算値を所定量減算する。このため、運転者状態判定装置100は、ズレ量を積算することによって増加するズレ量積算値を、時間の経過に伴って自動で減算することができる。
学習部24は、判定処理部23による判定時以外のときに、認識部21で認識した当該運転者1の運転姿勢を正常運転姿勢として記憶部22に記憶させる。この構成によれば、判定処理部23による判定時以外のときの運転者1の運転姿勢を正常運転姿勢として記憶部22に学習させることが可能となる。
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用してもよい。
例えば上記実施形態では、検出部として深度センサ10を用いたが、距離センサを含むその他のセンサを用いてもよい。要は、検出部の検出結果に基づいて、運転者1の複数の骨格部位2の相対的な位置関係を含む運転姿勢を認識できればよい。
また、ズレ量積算値を所定時間が経過する毎に所定量減算する処理を積算値算出部23cが行うことは必須では無い。また、このズレ量積算値の減算は、所定時間が経過する毎に減算する以外にも、種々の方法によって行うことができる。例えば、運転者1の状態が異常である旨の報知が出力部30によって行われた後、当該報知に対する応答操作(ボタンの押下等)が運転者1によって行われたときに、積算値算出部23cがズレ量積算値を減算してもよい。
運転者状態判定装置100が学習部24を用いて正常運転姿勢の学習を行うことは必須では無い。
1…運転者、2…骨格部位、10…深度センサ(検出部)、21…認識部、22…記憶部、23a…ズレ量算出部、23b…最小ズレ量選択部、23c…積算値算出部、23d…判定部、24…学習部、100…運転者状態判定装置。

Claims (2)

  1. 少なくとも距離センサを含む検出部による検出結果に基づいて、車両の運転者における複数の骨格部位の相対的な位置関係を含む運転姿勢を認識する認識部と、
    正常な運転状態における当該運転者の前記運転姿勢である複数の正常運転姿勢を記憶する記憶部と、
    前記記憶部に記憶された複数の前記正常運転姿勢のそれぞれに対して、当該正常運転姿勢と前記認識部で認識した前記運転姿勢とのズレ量を算出するズレ量算出部と、
    前記記憶部に記憶された複数の前記正常運転姿勢のそれぞれに対して算出された前記ズレ量のうち、最も値が小さい前記ズレ量を最小ズレ量として選択する最小ズレ量選択部と、
    前記最小ズレ量選択部で選択された前記最小ズレ量を積算してズレ量積算値を算出する積算値算出部と、
    前記積算値算出部で算出された前記ズレ量積算値が、予め定められた閾値を超えた場合に前記運転者の状態が異常と判定する判定部と、を備え
    前記積算値算出部は、前記最小ズレ量選択部で選択された前記最小ズレ量を積算するとともに、所定時間が経過する毎に前記ズレ量積算値を所定量減算する、運転者状態判定装置。
  2. 前記判定部による判定時以外のときに、前記認識部で認識した当該運転者の前記運転姿勢を前記正常運転姿勢として前記記憶部に記憶する学習部を備える、請求項1に記載の運転者状態判定装置。
JP2016058631A 2016-03-23 2016-03-23 運転者状態判定装置 Active JP6631954B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016058631A JP6631954B2 (ja) 2016-03-23 2016-03-23 運転者状態判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016058631A JP6631954B2 (ja) 2016-03-23 2016-03-23 運転者状態判定装置

Publications (2)

Publication Number Publication Date
JP2017174093A JP2017174093A (ja) 2017-09-28
JP6631954B2 true JP6631954B2 (ja) 2020-01-15

Family

ID=59972077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016058631A Active JP6631954B2 (ja) 2016-03-23 2016-03-23 運転者状態判定装置

Country Status (1)

Country Link
JP (1) JP6631954B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019006583T5 (de) * 2019-01-07 2021-12-16 Mitsubishi Electric Corporation Bewegungsidentifizierungseinrichtung, Bewegungsidentifizierungsverfahren und Bewegungsidentifizierungsprogramm
JPWO2021095153A1 (ja) * 2019-11-13 2021-05-20

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966640B2 (ja) * 2012-06-08 2016-08-10 株式会社豊田中央研究所 漫然運転検出装置及びプログラム

Also Published As

Publication number Publication date
JP2017174093A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
JP6507015B2 (ja) 運転者状態判定装置
EP3124348B1 (en) Vehicle occupant information acquisition device and vehicle control system
CN107665330B (zh) 在车辆中检测头部姿势的系统、方法和计算机可读介质
US8040247B2 (en) System for rapid detection of drowsiness in a machine operator
US9595197B2 (en) Lateral control apparatus of vehicle and control method of the same
US9177202B2 (en) Red-eye detection device
US9202106B2 (en) Eyelid detection device
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
JP6631954B2 (ja) 運転者状態判定装置
CN112644507B (zh) 驾驶者状态判定装置
JP6365423B2 (ja) 運転者状態判定方法及びその判定装置
Zhao et al. In vehicle diver postural monitoring using a depth camera kinect
JP2008247111A (ja) 車両の衝突安全制御システム
JP5498183B2 (ja) 行動検出装置
JP4325271B2 (ja) 状態検出装置及び状態検出システム
WO2020013035A1 (ja) 異常判定装置
JP2013518341A (ja) 車両用物体衝突警報システムおよび車両用物体衝突警報方法
JP4173083B2 (ja) 覚醒状態判定装置及び覚醒状態判定方法
JP6419134B2 (ja) 車両感情表示装置、車両感情表示方法および車両感情表示プログラム
US20220230474A1 (en) Activity identification method and apparatus
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
EP3270764A1 (en) Situational awareness monitoring method and apparatus
US10945651B2 (en) Arousal level determination device
JP6992285B2 (ja) 運転支援装置
WO2019167172A1 (ja) 機器制御装置及び機器制御システム

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20160420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191202

R150 Certificate of patent or registration of utility model

Ref document number: 6631954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250