JP5033902B2

JP5033902B2 - 脇見判定装置

Info

Publication number: JP5033902B2
Application number: JP2010151045A
Authority: JP
Inventors: 昭夫高橋; 信介植田; 誠一山本
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-07-01
Filing date: 2010-07-01
Publication date: 2012-09-26
Anticipated expiration: 2030-07-01
Also published as: US20120002027A1; JP2012014505A; US8767061B2; EP2402201B1; EP2402201A1

Description

本発明は、脇見判定装置に関する。

従来、例えば車内に配置されるカメラと赤外線照射器とを用いて運転者の眼を撮像し、運転者の注視点が車内又は車外などの特定方向の位置である継続時間により、運転者が脇見をしているか否かを判定する装置が知られている（例えば、特許文献１参照）。

特許第３３６９２３７号公報

ところで、上記従来技術に係る装置において、赤外光の反射による輝点を撮像して視線方向を検出する場合、輝点位置の誤検出などに起因して運転者が瞬間的に誤った方向を向いていると検出されてしまう場合がある。このため、運転者が脇見判定領域を注視しているときに、視線方向の誤検出が発生すると、瞬間的に視線方向が非脇見判定領域に向けられたと判定されることによって、運転者が脇見判定領域を注視しているにもかかわらずに、脇見状態の継続時間がリセットされてしまい、運転者の脇見を適切に判定することができず、この継続時間に応じた報知動作の実行タイミングが遅れてしまうという問題が生じる。

本発明は上記事情に鑑みてなされたもので、運転者の脇見を適切に判定することが可能な脇見判定装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る脇見判定装置は、運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１１）と、該撮像手段から出力された前記顔画像から前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段（例えば、実施の形態での視線方向検知部２３）と、該視線方向検出手段から出力された前記検出結果の前記視線方向が所定の脇見方向になった時点から、前記視線方向が前記所定の脇見方向からずれて当該脇見方向以外の方向になる時点までの継続時間を計測し、該継続時間が所定時間以上である場合に前記運転者が脇見をしていると判定する脇見判定手段（例えば、実施の形態での脇見判定部２４）とを備える脇見判定装置であって、前記脇見判定手段は、前記視線方向検出手段から出力された前記検出結果の前記視線方向が、前記所定の脇見方向から当該脇見方向以外の方向に向けて所定移動速度を超える速度で変化した場合、または、瞬間的に前記脇見方向以外の方向になった場合には、前記継続時間の計測を維持する。

さらに、本発明の第２態様に係る脇見判定装置は、前記所定移動速度は、サッケードによる単位時間当たりの移動限界角度に対応する速度である。

さらに、本発明の第３態様に係る脇見判定装置は、前記撮像手段から出力された前記顔画像から前記運転者の顔向き方向を検出して検出結果を出力する顔向き方向検出手段（例えば、実施の形態での顔向き検知部２６）を備え、前記脇見判定手段は、前記視線方向検出手段から出力された前記検出結果の前記視線方向と、前記顔向き方向検出手段から出力された前記検出結果の前記顔向き方向との間の角度が所定角度以上である場合に、前記継続時間の計測を維持する。

本発明の第１態様に係る脇見判定装置によれば、視線方向が脇見方向（つまり、所定の脇見領域に向う方向）である継続時間を計測しているときに、例えば視線方向検出手段による誤検出に起因して視線方向が過大に変動した場合には、この誤検出を無視して継続時間の計測を維持する。これにより、継続時間の計測が不必要に中断およびリセットされてしまうことを防止し、運転者の脇見を適切に判定することができる。

さらに、本発明の第２態様に係る脇見判定装置によれば、サッケード（saccade：衝動性眼球運動）による単位時間当たりの移動限界角度に対応する速度（つまり所定移動速度）を超える速度で視線方向が変化した場合には、視線方向検出手段による誤検出が発生したと容易に判断することができる。これにより、誤検出の有無を高精度に判定することができ、動作の信頼性を向上させることができる。

さらに、本発明の第３態様に係る脇見判定装置によれば、視線方向と顔向き方向との間の角度が所定角度以上である場合には、視線方向検出手段による誤検出が発生したと判断することができる。これにより、誤検出の有無の判定精度を向上させることができ、動作の信頼性をより一層、向上させることができる。

本発明の実施の形態に係る脇見判定装置の構成図である。本発明の実施の形態に係る脇見判定装置の視線方向検知部の検知結果に応じた視線方向角度の時間変化の一例を示す図である。本発明の実施の形態に係る脇見判定装置の視線方向検知部の検知結果に応じた視線方向角度の時間変化と脇見継続時間との対応関係の一例を示す図である。本発明の実施の形態に係る脇見判定装置の動作を示すフローチャートである。本発明の実施の形態の変形例に係る脇見判定装置の構成図である。本発明の実施の形態の変形例に係る脇見判定装置の顔向き検知部により検知される顔向き方向のなす角度θの一例を示す図である。本発明の実施の形態の変形例に係る脇見判定装置の動作を示すフローチャートである。

以下、本発明の脇見判定装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による脇見判定装置１０は、例えば図１に示すように、乗員カメラ１１と、処理装置１２と、報知装置１３とを備えて構成されている。

乗員カメラ１１は、例えば車室内のインスツルメントパネル（図示略）などに配置され、少なくとも車両の運転席に着座した運転者の顔を撮像対象として撮像領域内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。
なお、乗員カメラ１１による撮像時に撮像対象（例えば、運転席に着座した運転者の顔など）に可視光線または赤外線などの光を照射可能な撮像用光源が、例えば車室内のインスツルメントパネルにおいて乗員カメラ１１から左右にずれた位置などに配置されてもよい。

処理装置１２は、例えば、撮像制御部２１と、顔画像取得部２２と、視線方向検知部２３と、脇見判定部２４と、報知制御部２５とを備えて構成されている。

撮像制御部２１は、乗員カメラ１１による撮像を制御する。
顔画像取得部２２は、乗員カメラ１１から出力される顔画像を取得する。
視線方向検知部２３は、顔画像取得部２２により取得された顔画像から運転者の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、例えば、眼の虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置などを用いた所定の視線検知処理により運転者の視線方向を検知する。

脇見判定部２４は、視線方向検知部２３により検知された運転者の視線方向が所定の脇見方向になった時点から、視線方向が所定の脇見方向からずれて脇見方向以外の方向になる時点までの継続時間（脇見継続時間）を計測する。なお、所定の脇見方向は、例えば、運転者の左右の眼の位置から所定の脇見領域に向かう方向などである。
そして、脇見判定部２４は、計測した脇見継続時間が所定の報知閾時間（例えば、２秒など）以上である場合に運転者が脇見をしていると判定し、この判定結果の信号を出力する。

なお、脇見判定部２４は、視線方向検知部２３により検知された運転者の視線方向が所定の脇見方向になった以後において、視線方向が所定の脇見方向から脇見方向以外の方向に向けて所定移動速度を超える速度で変化した場合または視線方向が瞬間的に脇見方向以外の方向になった場合には、視線方向が誤検知されたと判断して、脇見継続時間の計測を維持する。この所定移動速度は、例えばサッケード（saccade：衝動性眼球運動）による単位時間当たりの移動限界角度Ｄ（例えば、Ｄ＝６００ｄｅｇ／秒など）に対応する速度である。

例えば、視線方向検知部２３により所定処理周期で繰り返し実行される所定の視線検知処理によって単位時間当りに更新される視線方向の検知結果をフレームレートＦ（例えば、Ｆ＝３０フレーム／秒など）とすれば、サッケードによる単位時間当たりの移動限界角度Ｄに対応するフレーム当りの閾角度Ａ（例えば、Ａ＝Ｄ／Ｆ＝６００／３０＝２０ｄｅｇ／フレームなど）を算出することができる。脇見判定部２４は、各フレーム毎に視線方向の角度変化が閾角度Ａよりも大きいか否かを判定することによって、視線方向検知部２３により検知された視線方向が誤検知か否かを判定する。

例えば図２に示すように、視線方向検知部２３により検知された視線方向と所定の基準方向（例えば、運転者の正面方向など）との角度（視線方向角度）の時間変化において、脇見判定部２４は、視線方向角度の変化（例えば、前回のフレーム（時刻）と今回のフレーム（時刻）との間での変化）が閾角度Ａ以下であれば、各フレームに対する視線方向検知部２３の検知結果を各フレームの視線方向として採用する。

一方、例えば時刻ｔ２のように一時的に視線方向角度の変化が閾角度Ａよりも大きくなった場合には、脇見判定部２４は、この時刻ｔ２での視線方向検知部２３の検知結果が誤検知であると判定する。そして、この時刻ｔ２での視線方向検知部２３の検知結果の代わりに、視線方向の前回値（つまり、時刻ｔ１で採用した視線方向）を今回値（つまり、時刻ｔ２での視線方向）として採用する。

なお、例えば時刻ｔ５〜ｔ９に示すように、視線方向角度の変化が閾角度Ａよりも大きくなる状態が一時的ではなく、所定期間ＴＡ（例えば、フレームレートＦが３０フレーム／秒である場合の５フレーム数などの所定のフレーム数に対応する期間）に亘る場合には、脇見判定部２４は、この所定期間ＴＡ以後において視線方向検知部２３の検知結果を視線方向の今回値として採用する。

なお、所定期間ＴＡは、例えば、ひとが対象物を視認するために必要な最低時間（例えば、０．２秒など）などである。これにより、視線方向が適宜の対象物に維持される期間が所定期間ＴＡ未満であれば、ひとが対象物を認識不可能な注視が行なわれたことになり、視線方向の誤検知が発生したと判断することができる。

つまり、時刻ｔ５での視線方向検知部２３の検知結果に対しては視線方向角度の変化（つまり、時刻ｔ４で採用した視線方向に対する変化）が閾角度Ａよりも大きくなることから、脇見判定部２４は、視線方向の前回値（つまり、時刻ｔ４で採用した視線方向）を今回値（つまり、時刻ｔ５での視線方向）として採用する。

さらに、時刻ｔ６での視線方向検知部２３の検知結果に対しても視線方向角度の変化（つまり、時刻ｔ５で採用した視線方向に対する変化）が閾角度Ａよりも大きくなることから、脇見判定部２４は、視線方向の前回値（つまり、時刻ｔ５で採用した視線方向）を今回値（つまり、時刻ｔ６での視線方向）として採用する。

同様にして、順次、時刻ｔ７，ｔ８での視線方向検知部２３の検知結果に対しても視線方向角度の変化が閾角度Ａよりも大きくなることから、脇見判定部２４は、視線方向の前回値（つまり、順次、時刻ｔ６，ｔ７で採用した視線方向）を今回値（つまり、順次、時刻ｔ７，ｔ８での視線方向）として採用する。

そして、時刻ｔ９での視線方向検知部２３の検知結果に対しても視線方向角度の変化（つまり、時刻ｔ８で採用した視線方向に対する変化）が閾角度Ａよりも大きくなるが、この場合には、視線方向角度の変化が閾角度Ａよりも大きくなる状態の連続時間が所定期間ＴＡ（例えば、フレームレートＦが３０フレーム／秒である場合の５フレーム数などの所定のフレーム数に対応する期間）に到達することから、脇見判定部２４は、視線方向検知部２３の検知結果を視線方向の今回値（つまり、時刻ｔ９での視線方向）として採用する。

そして、例えば図３に示すように、視線方向角度の絶対値が所定閾角度θａ以上となる時刻ｔａ以後において、脇見判定部２４は、脇見継続時間の計測を開始し、この計測を、例えば時刻ｔｂ〜ｔｃ間のように視線方向角度の絶対値が、瞬間的に（つまり、ひとが対象物を視認するために必要な最低時間よりも短い微小時間ΔＴの間だけ）あるいは所定移動速度を超える速度で、所定閾角度θａ未満に変化した場合であっても継続する。

そして、例えば脇見継続時間が所定の報知閾時間（例えば、２秒など）以上となる時刻ｔｄ以後において、脇見判定部２４は、運転者が脇見をしていると判定し、この判定結果の信号を報知制御部２５に出力することで、報知装置１３により所定の報知動作を実行させる。
そして、時刻ｔｅ〜ｔｆ間のように、視線方向角度の絶対値が所定閾角度θａ未満となる連続時間が所定期間ＴＢ（例えば、フレームレートＦが３０フレーム／秒である場合の５フレーム数などの所定フレーム数に対応する期間）以上に到達すると、脇見判定部２４は、脇見継続時間をゼロに初期化する。

なお、所定期間ＴＢは、例えば、ひとが対象物を視認するために必要な最低時間（例えば、０．２秒など）などである。これにより、視線方向が適宜の対象物に維持される期間が所定期間ＴＢ未満であれば、ひとが対象物を認識不可能な注視が行なわれたことになり、視線方向の誤検知が発生したと判断することができる。

そして、例えば時刻ｔｇ以後のように、視線方向角度の絶対値が所定閾角度θａ以上になると、脇見判定部２４は、再び脇見継続時間の計測を開始する。

なお、脇見判定部２４は、運転者の視線方向が所定の脇見方向になった以後において、例えば運転者の瞬きによって瞬間的に視線方向が検知不可能となった場合には、脇見継続時間の計測を維持する。
また、脇見判定部２４は、運転者の視線方向が所定の脇見方向以外であっても、例えば運転者が瞬きをしたり、運転者の顔や視線が乗員カメラ１１による撮像範囲外あるいは視線方向検知部２３による検知範囲外に向けられたりすることなどによって視線方向が検知不可能となった場合には、脇見継続時間の計測を開始する。

報知制御部２５は、脇見判定部２４により運転者が脇見をしていると判定された場合には、報知装置１３により所定の報知動作を行なう。
なお、報知装置１３は、例えば、触覚的伝達装置と、視覚的伝達装置と、聴覚的伝達装置とを備えて構成されている。

触覚的伝達装置は、例えばシートベルト装置や操舵制御装置などであって、報知制御部２５から出力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させる。
視覚的伝達装置は、例えば表示装置などであって、報知制御部２５から入力される制御信号に応じて、例えば表示装置に所定の情報を表示したり、所定の灯体を点滅させる。
聴覚的伝達装置は、例えばスピーカなどであって、報知制御部２５から入力される制御信号に応じて所定の音や音声などを出力する。

この実施の形態による脇見判定装置１０は上記構成を備えており、次に、この脇見判定装置１０の動作について説明する。

先ず、例えば図４に示すステップＳ０１においては、乗員カメラ１１から出力された顔画像に基づき、運転者の視線方向を検知する処理を実行する。
次に、ステップＳ０２においては、運転者の視線方向を検知できたか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０３に進む。

次に、ステップＳ０３においては、前回のフレームと今回のフレームとの間での視線方向角度の角度差が閾角度Ａ以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０４に進む。
そして、ステップＳ０４においては、誤検知連続カウントＮがゼロであるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０９に進む。

そして、ステップＳ０５においては、誤検知連続カウントＮを「１」だけカウントアップする。
次に、ステップＳ０６においては、誤検知連続カウントＮが所定値（つまり、所定期間ＴＡに対応する値であって、例えば、フレームレートＦが３０フレーム／秒である場合の５フレーム数に対応する５カウントなど）以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０８に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０７に進む。

そして、ステップＳ０７においては、視線方向検知部２３の今回の検知結果が誤検知であると判定し、視線方向の前回値（つまり、前回のフレームで採用した視線方向）を今回値（つまり、今回のフレームでの視線方向）として採用し、後述するステップＳ１０に進む。
また、ステップＳ０８においては、誤検知連続カウントＮをゼロに初期化する。
そして、ステップＳ０９においては、視線方向検知部２３の今回の検知結果を視線方向の今回値（つまり、今回のフレームでの視線方向）として採用する。

そして、ステップＳ１０においては、視線方向は脇見方向であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１１に進む。
一方、この判定結果が「ＹＥＳ」の場合には、後述するステップＳ１４に進む。
そして、ステップＳ１１においては、脇見継続時間がゼロよりも大きいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１２に進む。
一方、この判定結果が「ＮＯ」の場合には、リターンに進む。

そして、ステップＳ１２においては、視線方向が非脇見方向である状態が所定フレーム数（つまり、所定期間ＴＢに対応する値であって、例えば、フレームレートＦが３０フレーム／秒である場合の５フレーム数など）以上連続したか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。

そして、ステップＳ１３においては、脇見継続時間をゼロに初期化し、リターンに進む。
また、ステップＳ１４においては、脇見継続時間の計測を開始あるいは継続する。
そして、ステップＳ１５においては、脇見継続時間が所定の報知閾時間（例えば、２秒など）以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１６に進む。
そして、ステップＳ１６においては、運転者が脇見をしていることに対する所定の報知を実行し、リターンに進む。

上述したように、本実施の形態による脇見判定装置１０によれば、視線方向が脇見方向（つまり、所定の脇見領域に向う方向）である脇見継続時間を計測しているときに、例えば視線方向検知部２３の誤検知に起因して視線方向が過大に変動した場合には、この誤検出を無視して脇見継続時間の計測を維持する。これにより、脇見継続時間の計測が不必要に中断およびリセットされてしまうことを防止し、運転者の脇見を適切に判定することができ、この脇見継続時間に応じた報知動作の実行タイミングが遅れてしまうことを防止することができる。

さらに、サッケード（saccade：衝動性眼球運動）による単位時間当たりの移動限界角度Ｄに対応する速度（つまり所定移動速度）を超える速度で視線方向が変化した場合や瞬間的に視線方向が変化した場合には、視線方向検知部２３による誤検知が発生したと容易に判断することができる。これにより、誤検知の有無を高精度に判定することができ、報知動作の信頼性を向上させることができる。

なお、上述した実施の形態において、脇見判定装置１０は、例えば図５に示す変形例のように顔向き検知部２６を備えてもよい。
顔向き検知部２６は、例えば図６に示すように、ひとの顔をシリンダー形状に近似して顔向きを算出するシリンダー法などによって、運転者の顔向き方向を検知する。
具体的には、先ず、顔向き検知部２６は、顔画像取得部２２により取得された顔画像から運転者の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、運転者の左右の眼の位置の中心を算出し、この算出結果を運転者の顔中心位置ＦＣとする。

そして、顔向き検知部２６は、顔画像取得部２２により取得された顔画像において、例えば顔中心位置ＦＣを含む所定範囲内などの所定の縦方向位置（例えば、眼などが存在することに起因して左右方向での輝度の変動が所定変動以上となる可能性が高い位置など）以外の領域において、運転者の顔を横断する複数の探索線を設定する。なお、各探索線は、例えば、顔画像の縦方向の各画素毎に１画素分の縦幅を有して左右方向に伸びる線とされている。なお、各探索線の縦幅は１画素分に限定されず、他の縦幅であってもよい。

そして、顔向き検知部２６は、所定条件を満たさない探索線は除外しつつ、複数の各探索線毎に顔の左右端（左右の顔端位置）ＦＬ，ＦＲを検出する。なお、所定条件は、顔左端が顔中心位置ＦＣよりも左側に存在し、顔右端が顔中心位置ＦＣよりも右側に存在し、顔左端と顔右端との間の距離が所定範囲内であることなどである。

そして、顔向き検知部２６は、複数の各探索線毎に、顔中心位置ＦＣと、左右の顔端位置ＦＬ，ＦＲとに基づき、運転者の正面方向に対する顔向き方向のなす角度θを算出する。すなわち、顔向き検知部２６は、左右の顔端位置ＦＬ，ＦＲ間の中央位置ＣＯと顔中心位置ＦＣとの間の左右方向での距離を顔中心のずれｒとし、左右の顔端位置ＦＬ，ＦＲ間の距離を顔の幅２Ｒとし、中央位置ＣＯから乗員カメラ１１に向かう方向が運転席に着座した運転者の正面方向に対してなす角度αと、顔中心のずれｒと顔の幅２Ｒとに基づき、運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θを算出する。例えば角度β＝９０−αとして、正弦定理による下記数式（１）を変形して下記数式（２）が得られ、この下記数式（２）から角度θが下記数式（３）に示すように記述される。

そして、顔向き検知部２６は、最終的に、複数の顔向き方向に基づき、これらの顔向き方向の中央値を、運転者の顔向き方向として検知する。

この変形例では、例えば図７に示すように、上述した実施の形態と同様のステップＳ０１〜ステップＳ０２の処理を実行した後に、ステップＳ０２の判定結果が「ＮＯ」の場合には、ステップＳ１４に進む。
一方、ステップＳ０２の判定結果が「ＹＥＳ」の場合には、ステップＳ２１に進む。

そして、ステップＳ２１においては、運転者の顔向き方向を検知し、視線方向と顔向き方向との角度差が所定角度以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、視線方向が誤検知されていると判断して、ステップＳ０７に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０３に進む。
以下、上述した実施の形態と同様のステップＳ０３〜ステップＳ１６の処理を実行する。

この変形例によれば、視線方向に比べて顔向き方向は検知精度および検知結果の信頼性が高いことから、顔向き方向を基準として視線方向の誤検知を判定することができ、脇見継続時間の計測が不必要に中断およびリセットされてしまうことを防止し、運転者の脇見を適切に判定することができる。

１０脇見判定装置
１１乗員カメラ（撮像手段）
１３報知装置
２３視線方向検知部（視線方向検出手段）
２４脇見判定部（脇見判定手段）
２５報知制御部
２６顔向き検知部（顔向き方向検出手段）

Claims

運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像から前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段と、該視線方向検出手段から出力された前記検出結果の前記視線方向が所定の脇見方向になった時点から、前記視線方向が前記所定の脇見方向からずれて当該脇見方向以外の方向になる時点までの継続時間を計測し、該継続時間が所定時間以上である場合に前記運転者が脇見をしていると判定する脇見判定手段とを備える脇見判定装置であって、
前記脇見判定手段は、前記視線方向検出手段から出力された前記検出結果の前記視線方向が、前記所定の脇見方向から当該脇見方向以外の方向に向けて所定移動速度を超える速度で変化した場合、または、瞬間的に前記脇見方向以外の方向になった場合には、前記継続時間の計測を維持することを特徴とする脇見判定装置。
前記所定移動速度は、サッケードによる単位時間当たりの移動限界角度に対応する速度であることを特徴とする請求項１に記載の脇見判定装置。
前記撮像手段から出力された前記顔画像から前記運転者の顔向き方向を検出して検出結果を出力する顔向き方向検出手段を備え、
前記脇見判定手段は、前記視線方向検出手段から出力された前記検出結果の前記視線方向と、前記顔向き方向検出手段から出力された前記検出結果の前記顔向き方向との間の角度が所定角度以上である場合に、前記継続時間の計測を維持することを特徴とする請求項１または請求項２に記載の脇見判定装置。