JP4858516B2 - 顔向き検出装置 - Google Patents

顔向き検出装置 Download PDF

Info

Publication number
JP4858516B2
JP4858516B2 JP2008233520A JP2008233520A JP4858516B2 JP 4858516 B2 JP4858516 B2 JP 4858516B2 JP 2008233520 A JP2008233520 A JP 2008233520A JP 2008233520 A JP2008233520 A JP 2008233520A JP 4858516 B2 JP4858516 B2 JP 4858516B2
Authority
JP
Japan
Prior art keywords
driver
face
facing
detection device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008233520A
Other languages
English (en)
Other versions
JP2010067058A (ja
Inventor
重康 魚住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008233520A priority Critical patent/JP4858516B2/ja
Publication of JP2010067058A publication Critical patent/JP2010067058A/ja
Application granted granted Critical
Publication of JP4858516B2 publication Critical patent/JP4858516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の運転者等の顔の向きを検出する顔向き検出装置に関する。
従来、車両の運転者の脇見運転を監視する等の目的で、運転者の顔をカメラによって撮影し、撮影された画像から運転者の顔の向きを検出することが行われている。例えば、特許文献1には、運転者が正面を向いているときの顔を撮影し、そのときの顔の画像から顔モデルを作成し、作成した顔モデルを用いて顔の向きを判定することが記載されている。
特開2003−308533号公報
ここで、カメラと運転者との位置関係は、運転者が運転席に座るときの姿勢等によって変化し、カメラは運転者に対して正面方向に必ずしも位置するわけではない。また、運転者によってドライビングポジションは様々であり、運転者自身が正面と感じる向きは運転者毎に異なる。したがって、カメラで撮影した画像において正面向きの運転者が映っていても(運転者がカメラの方を向いていても)、そのときの運転者が車両の正面を向いているとは限らず、運転者が車両の正面を向いている場合にカメラからは斜めを向いているように見えることもある。したがって、カメラで撮影した画像のみに基づいて運転者の顔の向きを判断すると、運転者が正面を向いているか否かを正確に判定することができないおそれがある。その結果、運転者の顔の向きを正確に検出することができないおそれがある。
それ故、本発明の目的は、運転者の顔の向きを正確に検出することができる顔向き検出装置を提供することである。
上記課題を解決するために、本発明は以下の構成を採用した。すなわち、本発明は、車両の運転者の顔向きを検出する顔向き検出装置である。顔向き検出手段は、判断処理手段と、推測手段と、学習手段とを備えている。判断処理手段は、運転者を撮影する撮影手段によって撮影された画像を用いて当該運転者の顔向きを判断する判断処理を行う。推測手段は、運転者の運転状態に基づいて、運転者が正面を向いているか否かを推測する。学習手段は、運転者が正面を向いていると推測される場合に撮影手段によって撮影された画像から検出される顔向きが正面の向きであると判断されるように判断処理に関して学習を行う。
上記によれば、顔向き検出装置は、運転者が実際に正面を向いている場合における運転者の顔向きが、正面の向きであると判断されるように学習を行うことができる。したがって、運転者が正面を向いた状態が撮像手段に対して正面向きでない場合であっても、運転者にとっての実際の正面の向きを検出することができ、運転者の顔の向きを正確に検出することができる。
また、判断処理は、運転者の顔向きを検出して運転者が正面を向いているか否かを判断する処理であってもよい。このとき、学習手段は、判断処理において運転者が正面を向いていると判断される角度範囲を学習によって変更する。
上記によれば、学習によって、運転者にとっての実際の正面の向きに合わせて上記角度範囲を設定することができる。したがって、運転者が正面を向いているか否かの判断を正確に行うことができる。これによれば、例えば運転者が脇見運転をしているか否かを正確に判断することができる。
また、学習手段は、撮影手段によって撮影された画像における中心位置と、当該画像における運転者の顔の位置とのオフセット量に基づいて学習を行うようにしてもよい。
上記によれば、オフセット量を考慮して学習が行われる。ここで、運転者にとっての正面方向は、オフセット量が大きくなるほど、運転者が撮像手段の正面位置に位置する場合における正面方向から、ずれると考えられる。したがって、オフセット量を考慮して学習を行うことによって、このようなずれを補正することができ、顔向きを正確に算出することができる。
また、判断処理手段は、撮影手段によって撮影された画像における運転者の顔の位置として、当該運転者の顔の所定部位の位置から顔の中心線の位置を算出してもよい。
上記によれば、撮影された画像における運転者の顔の位置を、顔の中心線によって容易に算出することができる。
また、判断処理手段は、撮影手段によって撮影された画像における運転者の顔の位置として、当該運転者の顔の両端の中心の位置を算出してもよい。
上記によれば、撮影された画像における運転者の顔の位置を、顔の両端の位置から容易に算出することができる。
また、推測手段は、車両の速度が所定の速度以上であることを少なくとも条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、車両が直進走行していることを少なくとも条件として、運転者が正面を向いていると推測してもよい。
上記によれば、実際に運転者が正面を向いている可能性が高い場合における顔向きを正面の向きとして学習することができるので、運転者の顔の向きを正確に検出することができる。
さらに、推測手段は、撮影手段によって撮影された画像から検出される顔向きの変化量が所定量以下であることをさらに条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、撮影手段によって撮影された画像から検出される顔向きが、運転者から撮影手段への方向を中心とした所定範囲内の向きであることをさらに条件として、運転者が正面を向いていると推測してもよい。また、推測手段は、車両のブレーキが操作中であることを少なくとも条件として、運転者が正面を向いていると推測してもよい。
上記によれば、実際に運転者が正面を向いている可能性がより高い場合における顔向きを正面の向きとして学習することができるので、運転者の顔の向きをより正確に検出することができる。
本発明によれば、運転者が実際に正面を向いている場合における運転者の顔向きが、正面の向きであると判断されるように学習を行うことによって、運転者にとっての実際の正面の向きを検出することができるので、運転者の顔の向きを正確に検出することができる。
以下、本発明の一実施形態に係る顔向き検出装置について説明する。図1は、本実施形態における顔向き検出装置の構成を示すブロック図である。図1に示すように、顔向き検出装置1は、カメラ2、ドライバモニタECU(Electronic Control Unit)3、ドライバサポートシステムECU(以下、「DSSECU」と記載)4、ステアリングセンサ5、ブレーキECU6、および車輪速センサ7を備えている。なお、本実施形態においては、ドライバモニタECU3とDSSECU4とが第1のCAN(Controller Area Network)8に接続されており、DSSECU4とステアリングセンサ5とブレーキECU6とが第2のCAN9に接続されているが、各構成間の通信形態はどのような形態であってもよい。
顔向き検出装置1は、車両に搭載され、車両の運転者の顔の向き(顔向き)を検出するものである。また、本実施形態においては、顔向き検出装置1は、運転者が正面を向いているか否かを判断し、判断結果に応じて、運転者の安全を確保するための動作(ブレーキ等)を行うものである。以下、顔向き検出装置1の各部について説明する。
カメラ2は、運転者の顔を撮影する撮影手段であり、例えばCCDカメラや赤外線カメラ等である。カメラ2は、運転席に着座した運転者の顔を撮影可能な位置に設置される。カメラ2の設置場所の一例として、運転席のメーターフード内、メーターパネル内、およびステアリングコラム上等が挙げられる。また、カメラ2は、例えば、所定時間間隔で運転者の顔を撮影し、撮影した画像をドライバモニタECU3へ逐次出力する。
ドライバモニタECU3は、カメラ2による撮影画像を用いて画像認識を行い、運転者の顔向きを検出する。さらに本実施形態では、ドライバモニタECU3は、上記撮影画像を用いて画像認識を行い、運転者の目の状態(瞼開度(目の開き具合)等)を検出する。ドライバモニタECU3は、運転者の顔向きを示す顔向き情報、および、運転者の目の状態を示す状態情報を第1のCAN8を介してDSSECU4へ逐次出力する。
なお、本実施形態では、ドライバモニタECU3は、メインマイクロコンピュータ(以下メインマイコンと称す)、および、サブマイクロコンピュータ(以下サブマイコンと称す)という2つのマイコンを有している。メインマイコンは、運転者の顔向きの検出を主に行う。サブマイコンは、運転者の目の状態の検出を行う。つまり、ドライバモニタECU3は、上記2つのマイコンによって運転者の顔向きの検出と運転者の目の状態の検出とを並列処理することが可能であり、高速に検出を行うことができる。また、ドライバモニタECU3は、人の顔画像パターンを表すデータを記憶する記憶部を有している。
DSSECU4は、ドライバモニタECU3からの情報に基づいて運転者の状態を判断する。具体的には、DSSECU4は、運転者の顔向きの情報を用いて、運転者が車両の正面を向いているか否か(脇見をしていないか否か)の判断を行う。さらに、本実施形態においては、DSSECU4は、運転者の目に関する顔情報を用いて、運転者が居眠りをしていないか否か等の判断を行う。また、DSSECU4は、これらの判断結果に基づき、車両に設置されている各種装置の動作を制御して運転者および乗員の安全を図る。例えば、上記判断結果に基づいて、運転者の状態が事故に繋がるような状態であると予想される場合には、車両の警告灯を点灯させたり警報ブザーを鳴動させたりして運転者に注意喚起を促す。また、例えば、DSSECU4は、車両に設けられたレーダ装置からの情報(他車両の位置や速度等の情報)に基づいて自車両と他車両との衝突予測を行うようにしてもよい。このとき、DSSECU4は、上記判断結果と衝突予測の結果とに基づいて、運転者に注意喚起を促したり、衝突回避のための動作(ブレーキを作動させる等)を行ったり、衝突時の被害を軽減させる動作(エアバックの作動を準備する等)を行ったりしてもよい。
ステアリングセンサ5、ブレーキECU6、および車輪速センサ7は、運転者の運転状態を検出する。具体的には、ステアリングセンサ5は、車両のステアリングの操舵角を検出する。検出された操舵角を示す操舵角情報は、第2のCAN9を介してDSSECU4へ出力される。ブレーキECU6は、車両のブレーキが運転者によって操作されているか否かを検出する。ブレーキが操作されているか否かを示すブレーキ情報は、第2のCAN9を介してDSSECU4へ出力される。車輪速センサ7は、車両の車輪の回転速度を検出する。検出された回転速度を示す速度情報はブレーキECU6および第2のCANを介してDSSECU4へ出力される。また、ブレーキECU6は、車両のブレーキの動作制御等を行う。本実施形態では、ブレーキECU6は、DSSECU4による指示に従ってブレーキを作動させる。
以下、顔向き検出装置1の動作を説明する。図2は、本実施形態における顔向き検出装置の動作の流れを示すフローチャートである。本実施形態においては、図2に示す動作は、ドライバモニタECU3およびDSSECU4によって行われる。また、図2に示す動作は、例えば車両の走行中、あるいは、車両のイグニッションスイッチがオンである間、実行される。
図2において、まず、ステップS1において、ドライバモニタECU3は、カメラ2による撮影画像を取得する。続くステップS2において、ドライバモニタECU3(上記メインマイコン)は、顔向き検出処理を実行する。顔向き検出処理は、上記撮影画像に基づいて運転者の顔向き(顔向きの角度)を検出する処理である。本実施形態では、運転者の顔向きを判断する判断処理として、ステップS2において顔向きが検出され、後述するステップS8において検出された顔向きが正面の向きであるか否かが判断される。したがって、本実施形態では、ステップS2を実行するドライバモニタECU3およびステップS7を実行するDSSECU4が、請求項に記載の判断処理手段に相当する。以下、図3を参照して顔向き検出処理の詳細について説明する。
図3は、図2に示すステップS2(顔向き検出処理)の詳細を示すフローチャートである。図3におけるステップS11において、ドライバモニタECU3は、上記ステップS1で取得した撮影画像における運転者の顔における左右両端の位置を算出する。続くステップS12において、ドライバモニタECU3は、撮影画像における運転者の所定部位(ここでは、目、鼻、および口)の位置を算出する。なお、ステップS11およびS12における画像認識処理の内容はどのようなものであってもよい。ステップS12の次にステップS13の処理が実行される。
ステップS13において、ドライバモニタECU3は、運転者の顔の中心線を算出する。顔の中心線とは、撮影画像上における顔の領域の中心(すなわち、運転者の左右両端の中心)ではなく、実際の顔における中心を通る線であり、両目の間、鼻、および口を通る線である。ドライバモニタECU3は、ステップS12で算出された各所定部位の位置を用いて上記中心線を算出する。ステップS13の次にステップS14の処理が実行される。
ステップS14において、ドライバモニタECU3は、運転者の顔向きを算出する。顔向きは、上記ステップS11で算出された顔の左右両端の位置と、顔の中心線の位置とを用いて算出される。具体的には、ドライバモニタECU3は、顔の左端から中心線までの長さと、中心線から顔の右端までの長さの比率に基づいて顔向きを算出する。例えば、両者の長さが等しければ、顔向きは、カメラ2に対して正面の向き(0°)であると判断することができる。なお、ここでは、顔向きは、カメラ2の方向を0°とした角度(顔向き角度)で表されるものとする。以上のステップS14の完了後、ドライバモニタECU3は顔向き検出処理を終了する。なお、以上に説明した顔向き検出処理における顔向きの検出方法は一例であり、ドライバモニタECU3は、どのような方法で顔向きを検出してもよい。
図2の説明に戻り、ステップS3において、ドライバモニタECU3(上記サブマイコン)は、運転者の目の瞼開度(目が開いている度合)を算出する。目の瞼開度は、どのような方法によって算出されてもよいが、上記ステップS2において目の部位が抽出されている場合には、ステップS2で得られた情報を用いて算出されてもよい。ステップS3の次にステップS4の処理が実行される。
ステップS4において、ドライバモニタECU3は、ステップS2およびS3による処理結果をDSSECU4へ出力する。すなわち、運転者の顔向きを示す顔向き情報、および、運転者の目の状態を示す状態情報が第1のCAN8を介してDSSECU4へ出力される。ステップS4の次にステップS5の処理が実行される。
ステップS5において、DSSECU4は、運転者の運転状態を表す(運転者の運転状態を判断するために用いる)各種情報を取得する。本実施形態では、DSSECU4は、ステアリングセンサ5から操舵角情報を取得し、ブレーキECU6からブレーキ情報を取得し、車輪速センサ7から速度情報を取得する。ステップS5の次にステップS6の処理が実行される。
ステップS6において、DSSECU4は、運転者の運転状態に基づいて、運転者が正面を向いているか否かを推測する。本実施形態では、ステップS6を実行するDSSECU4が、請求項に記載の推測手段に相当する。本実施形態では、ステップS6における推測は、上記ステップS5で取得された情報、および、ドライバモニタECU3から入力される顔向き情報を用いて行われる。具体的には、DSSECU4は、次の[条件A]〜[条件D]の全ての条件が満たされる場合に運転者が正面を向いていると推測する。
[条件A]車両の速度が所定の速度以上であること
[条件B]車両が直進走行していること
[条件C]車両のブレーキが操作中であること
[条件D]現在の顔向きが、運転者からカメラ2への方向を中心とした所定範囲内の向きであること
[条件A]は上記速度情報により判断することができ、[条件B]は上記操舵角情報により判断することができ、[条件C]は上記ブレーキ情報により判断することができ、[条件D]は最後に実行されるステップS2で得られた顔向きにより判断することができる。なお、[条件D]における「現在の顔向き」とは、運転者が正面を向いていると推測される場合にカメラ2によって撮影された画像から検出される顔向きである。DSSECU4は、運転者が正面を向いていると推測される場合、ステップS7の処理を実行する。一方、運転者が正面を向いていると推測されない場合、DSSECU4は、ステップS7の処理をスキップして後述するステップS8の処理を実行する。
上記[条件A]〜[条件C]が満たされる場合には、運転者が正面を向いている可能性はかなり高いと考えられる。さらに、[条件D]によって、正面から大きく外れた向きを向いている場合に運転者が正面を向いていると推測されることを排除することができる。したがって、本実施形態によれば、上記[条件A]〜[条件D]が全て満たされることを条件とすることにより、運転者が正面を向いていることを正確に推測することができる。なお、他の実施形態においては、運転者が正面を向いていると推測するための条件は、上記に限らず、どのような条件であってもよい。例えば、[条件A]〜[条件D]のうちの一部の条件のみが用いられてもよいし、[条件A]〜[条件D]に加えてさらに別の条件が用いられてもよい。また、例えば、DSSECU4は、[条件D]に代えて(または[条件D]とともに)、「運転者の顔向きの(単位時間あたりにおける)変化量が所定量以下であること」を条件として用いてもよい。
ステップS7において、DSSECU4は、後述するステップS8における判断処理に関して、現在の顔向きが正面の向きであると判断されるように学習を行う。本実施形態では、ステップS7を実行するDSSECU4が、請求項に記載の学習手段に相当する。以下、ステップS7における学習処理について、図4〜図9を参照して説明する。
まず、図4〜図7を参照して、学習処理を行う必要性について説明する。図4は、運転者Dとカメラ2との位置関係の例を示す図であり、図5は、図4に示す場合にカメラ2によって撮影される画像の例を示す図である。図4に示されるように、カメラ2の正面に運転者Dが位置する場合には、図5に示されるように、カメラ2による撮影画像における運転者Dの顔は、正面から見たものとなる。またこのとき、運転者Dの顔は、撮影画像の左右方向に関して中央に位置する。図4に示す場合においては、運転者Dにとっての正面方向は、カメラ2の方向を向く向きであり、撮影画像において運転者Dの顔向きが正面向きであれば、実際にも運転者Dは正面を向いていると判断することができる。
また、図6は、運転者Dとカメラ2との位置関係の他の例を示す図であり、図7は、図6に示す場合にカメラ2によって撮影される画像の例を示す図である。図6に示されるように、カメラ2の正面の位置からずれた位置に運転者Dが位置する場合には、図7に示されるように、カメラ2による撮影画像における運転者Dの顔は、正面から見たものとはならない可能性がある。また、図6の場合においては、運転者にとっての正面方向(運転者D自身が正面と感じる方向)は、図4の場合における正面方向とは異なる可能性がある。以上より、図7に示す撮影画像における顔向きをそのまま運転者の顔向きとして判断すると、運転者にとっての正面方向を正確に判断することができないおそれがある。例えば、図7に示す撮影画像から、「運転者Dの顔向きは、正面方向よりやや外側の向きである」と判断するのは正確ではない。以上のように、カメラ2による撮影画像における顔向きをそのまま実際の運転者の顔向きとすることは適切ではなく、学習処理によって実際の運転者の正面方向を学習する必要がある。
そこで、本実施形態では、DSSECU4は、正面を向いていると判断される範囲(正面範囲)を、ステップS7の学習処理において補正する。正面範囲とは、運転者が正面を向いているか否かを判断する処理(後述するステップS8)において用いられる情報であって、当該処理においては、ドライバモニタECU3から取得された顔向き(顔向き角度)が当該正面範囲内の値であれば、運転者は正面を向いていると判断される。図8は、正面範囲の一例を示す図である。正面範囲は、運転者Dからカメラ2への方向を基準(0°)とした角度で表され、具体的には、正面範囲の中心に対して一方の側の第1境界値Sと、他方の側の第2境界値Tとにより表される。なお、ここでは、上記基準に対して上記一方の側の角度を正の値で表し、上記基準に対して上記他方の側の角度を負の値で表す。したがって、図8においては、第1境界値Sは正の値であり、第2境界値Tは負の値である。また、本実施形態では、上記基準の方向を中心とした範囲を、正面範囲の初期値とする。
ステップS7の学習処理においては、運転者が正面を向いていると推測された場合にカメラ2によって撮影された画像から検出される顔向き(ステップS2で検出された顔向き)が、正面の向きであると判断されるように、正面範囲が補正される。図9は、ステップS7の学習処理を説明するための図である。図9において、角度Aは、ステップS2で検出された現在の顔向き角度である。このとき、DSSECU4は、補正後の正面範囲を次の式(1)に従って算出する。
N=S+A
M=T−A …(1)
上式(1)において、変数Nは補正後の第1境界値であり、変数Mは補正後の第2境界値である。上式(1)によって、図9に示されるように、補正後の正面範囲は、現在の顔向き角度Aを中心とした範囲に補正される。
なお、DSSECU4は、上式(1)に代えて、下記の式(2)に従って補正後の正面範囲を算出してもよい。
N=S+L×P+A
M=T−L×Q−A …(2)
上式(2)において、変数Lは、撮影画像における中心位置から運転者の顔の位置までのオフセット量(図7参照)である。また、定数PおよびQは予め定められている。なお、撮影画像における運転者の顔の位置は、例えば、上記顔の中心線(ステップS13参照)の位置としてもよいし、顔の左右両端の位置の中心位置としてもよいし、顔の所定部位(例えば鼻の位置)としてもよい。ここで、運転者にとっての正面方向は、上記オフセット量Lが大きくなるほど(すなわち、運転者の位置がカメラ2の正面位置からずれるほど)、運転者がカメラ2の正面位置に位置する場合における正面方向から、ずれると考えられる。上式(2)は、このことを考慮して、オフセット量に応じた量だけ正面範囲を補正するようにしたものである。
なお、上記ステップS7においては、正面範囲は、1回の補正で、現在の顔向き角度Aを中心とした範囲に補正された。ここで、他の実施形態においては、DSSECU4は、複数回の補正で、現在の顔向き角度Aを中心とした範囲となるように正面範囲を次第に補正してもよい。このとき、1回の補正で補正範囲を変化させる量は、上記オフセット量Lに応じて決定されてもよい。
図2の説明に戻り、ステップS8において、DSSECU4は、運転者が正面を向いているか否かを判断する。すなわち、DSSECU4は、上記ステップS2で検出された顔向き角度が、上記正面範囲内の値であるか否かを判断する。また、DSSECU4は、判断結果に基づいて、車両に設置されている各種装置の動作を制御して運転者および乗員の安全を図る。上記ステップS8の後、ステップS1の処理が再度実行される。以降、ステップS1〜S8の処理がくり返し実行される。
以上のように、本実施形態によれば、運転者が実際に正面を向いているか否かが推測され(ステップS6)、実際に正面を向いていると推測される場合における顔向き角度が、正面方向を向いているときの顔向き角度となるように学習が行われる(ステップS7)。したがって、運転者が正面を向いた状態が撮像手段に対して正面向きでない場合であっても、運転者にとっての実際の正面の向きを正確に検出することができ、運転者が正面を向いているか否かを正確に判断することができる。
なお、上記実施形態においては、顔向き検出装置は、運転者の顔向きを検出して運転者が正面を向いているか否かを判断するための判断処理に関して学習を行った。ここで、他の実施形態においては、判断処理は、カメラ2によって撮影された画像を用いて運転者の顔向きを判断する処理であればよく、正面を向いているか否かの判断を行うものでなくてもよい。例えば、判断処理は、運転者にとっての正面方向を基準(0°)として顔向き角度を算出する処理であってもよい。このとき、基準となる方向を学習によって補正することで、正面方向を基準とした顔向き角度を正確に算出することができる。
本発明は、運転者の顔の向きを正確に検出すること等を目的として、例えば、運転者が脇見をしているか否かを判定する車両安全システム等に利用することが可能である。
本実施形態における顔向き検出装置の構成を示すブロック図 本実施形態における顔向き検出装置の動作の流れを示すフローチャート 図2に示すステップS2(顔向き検出処理)の詳細を示すフローチャート 運転者Dとカメラ2との位置関係の例を示す図 図4に示す場合にカメラ2によって撮影される画像の例を示す図 運転者Dとカメラ2との位置関係の他の例を示す図 図6に示す場合にカメラ2によって撮影される画像の例を示す図 正面範囲の一例を示す図 ステップS7の学習処理を説明するための図
符号の説明
1 顔向き検出装置
2 カメラ
3 ドライバモニタECU
4 ドライバサポートシステムECU
5 ステアリングセンサ
6 ブレーキECU
7 車輪速センサ

Claims (10)

  1. 車両の運転者の顔向きを検出する顔向き検出装置であって、
    前記運転者を撮影する撮影手段によって撮影された画像を用いて当該運転者の顔向きを判断する判断処理を行う判断処理手段と、
    前記運転者の運転状態に基づいて、前記運転者が正面を向いているか否かを推測する推測手段と、
    前記運転者が正面を向いていると推測される場合に前記撮影手段によって撮影された画像から検出される顔向きが正面の向きであると判断されるように前記判断処理に関して学習を行う学習手段とを備える、顔向き検出装置。
  2. 前記判断処理は、前記運転者の顔向きを検出して前記運転者が正面を向いているか否かを判断する処理であり、
    前記学習手段は、前記判断処理において前記運転者が正面を向いていると判断される角度範囲を学習によって変更する、請求項1に記載の顔向き検出装置。
  3. 前記学習手段は、前記撮影手段によって撮影された画像における中心位置と、当該画像における前記運転者の顔の位置とのオフセット量に基づいて学習を行う、請求項1または請求項2のいずれか1項に記載の顔向き検出装置。
  4. 前記判断処理手段は、前記撮影手段によって撮影された画像における前記運転者の顔の位置として、当該運転者の顔の所定部位の位置から顔の中心線の位置を算出する、請求項3に記載の顔向き検出装置。
  5. 前記判断処理手段は、前記撮影手段によって撮影された画像における前記運転者の顔の位置として、当該運転者の顔の両端の中心の位置を算出する、請求項3に記載の顔向き検出装置。
  6. 前記推測手段は、前記車両の速度が所定の速度以上であることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項1から請求項5のいずれか1項に記載の顔向き検出装置。
  7. 前記推測手段は、前記車両が直進走行していることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項1から請求項6のいずれか1項に記載の顔向き検出装置。
  8. 前記推測手段は、前記撮影手段によって撮影された画像から検出される顔向きの変化量が所定量以下であることをさらに条件として、前記運転者が正面を向いていると推測する、請求項6または請求項7のいずれか1項に記載の顔向き検出装置。
  9. 前記推測手段は、前記撮影手段によって撮影された画像から検出される顔向きが、前記運転者から前記撮影手段への方向を中心とした所定範囲内の向きであることをさらに条件として、前記運転者が正面を向いていると推測する、請求項6または請求項7のいずれか1項に記載の顔向き検出装置。
  10. 前記推測手段は、前記車両のブレーキが操作中であることを少なくとも条件として、前記運転者が正面を向いていると推測する、請求項6または請求項7のいずれか1項に記載の顔向き検出装置。
JP2008233520A 2008-09-11 2008-09-11 顔向き検出装置 Active JP4858516B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008233520A JP4858516B2 (ja) 2008-09-11 2008-09-11 顔向き検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008233520A JP4858516B2 (ja) 2008-09-11 2008-09-11 顔向き検出装置

Publications (2)

Publication Number Publication Date
JP2010067058A JP2010067058A (ja) 2010-03-25
JP4858516B2 true JP4858516B2 (ja) 2012-01-18

Family

ID=42192585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008233520A Active JP4858516B2 (ja) 2008-09-11 2008-09-11 顔向き検出装置

Country Status (1)

Country Link
JP (1) JP4858516B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5272819B2 (ja) * 2009-03-13 2013-08-28 オムロン株式会社 情報処理装置及び方法、並びにプログラム
JP2011147270A (ja) * 2010-01-14 2011-07-28 Aichi Elec Co 発電機および駆動機の固定子
JP3166475U (ja) * 2010-09-07 2011-03-10 研治 片山 追突防止警告装置
JP6982767B2 (ja) * 2017-03-31 2021-12-17 パナソニックIpマネジメント株式会社 検知装置、学習装置、検知方法、学習方法、およびプログラム
JP6720951B2 (ja) 2017-11-15 2020-07-08 オムロン株式会社 運転者状態判定装置とその方法およびプログラム
JP7067353B2 (ja) * 2018-08-09 2022-05-16 トヨタ自動車株式会社 運転者情報判定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3084996B2 (ja) * 1993-02-15 2000-09-04 三菱電機株式会社 脇見判定装置
JP2006331323A (ja) * 2005-05-30 2006-12-07 Toyota Motor Corp 車両逸脱警報装置
JP4702100B2 (ja) * 2006-02-27 2011-06-15 トヨタ自動車株式会社 居眠り判定装置および居眠り運転警告装置
JP4893507B2 (ja) * 2007-07-04 2012-03-07 オムロン株式会社 脇見検出装置および方法、並びに、プログラム

Also Published As

Publication number Publication date
JP2010067058A (ja) 2010-03-25

Similar Documents

Publication Publication Date Title
JP4291741B2 (ja) 車線逸脱警報装置
KR101950476B1 (ko) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
JP4858516B2 (ja) 顔向き検出装置
JP3949073B2 (ja) 駐車支援装置
JP6923458B2 (ja) 電子制御装置
JP6323511B2 (ja) 運転者体調検知装置及び方法
JP2009294753A (ja) 画像処理装置および画像処理方法
WO2015079657A1 (ja) 視認領域推定装置
WO2018167995A1 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP2014115859A (ja) 脇見判定装置
JP2005145402A (ja) 車両のレーンキープ制御装置
JP6439652B2 (ja) 車載装置及び車載システム
KR101701050B1 (ko) 전방 카메라를 이용한 주행 차량 휠 얼라인먼트 경보 시스템 및 방법
JP4954960B2 (ja) 車両の警報装置
KR101073259B1 (ko) 조향 제어를 이용한 충돌회피 방법 및 장치
JP6579496B2 (ja) 運転者状態推定装置
JP2012003397A (ja) ドライバ状態検出装置
WO2013114871A1 (ja) 運転支援装置及び運転支援方法
JP2019121030A (ja) カメラずれ検出装置、カメラずれ検出方法および異常検出装置
JP2005165972A (ja) 車線逸脱防止装置
JP2008042759A (ja) 画像処理装置
JP7320188B2 (ja) ドライバ異常姿勢検出装置
JP6023025B2 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
JP6974192B2 (ja) カメラずれ検出装置およびカメラずれ検出方法
JP5747411B2 (ja) 車両用運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101020

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

R151 Written notification of patent or utility model registration

Ref document number: 4858516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3