JP5273030B2 - 顔特徴点検出装置および眠気検出装置 - Google Patents

Description

本発明は、対象者の撮影画像から顔上の特徴点の位置を取得する顔特徴点検出装置と、その顔特徴点検出装置を用いた眠気検出装置に関する。

従来、対象者の顔を撮影し、撮影された画像から顔における特徴点の位置の変化や顔の向きを捉える技術が提案されている。例えば、対象者（車両の運転者）の顔画像を撮影し、多数の特徴点からなる形態およびテクスチャ情報を持つ２Ｄ（２次元）モデルと、形態のみからなる３Ｄ（３次元）モデルと、を用いて、撮影された画像にこれらのモデルをフィッティングさせて対象者の顔の変化を捉えることにより、対象者が居眠り状態であることを検出する装置が提案されている（特許文献１参照）。

特開２００９−４５４１８号公報

上述した特許文献１の装置では、２Ｄモデルおよび３Ｄモデルとして、個人の様々な画像データに基づいて作成されるその個人にカスタマイズしたモデル（個人モデル）か、あるいは複数人の画像データに基づいて作成される汎用的なモデル（共通モデル）のいずれかが用いられる。

個人モデルを用いる場合、画像データを提供した個人に対しては非常に高い精度で表情の検出を行うことができるが、その個人以外を対象とすると検出精度が低くなってしまう。よって、高い精度で表情の検出を行うためには、表情を測定する対象者ごとにモデルを作成する必要があり、実用化できる場面が限定されていた。

一方、共通モデルを用いる場合は、対象者ごとに詳細なモデルを作成する必要がなく、予め作成しておいたモデルを用いることができるので、実用化が容易である。しかしながら、その共通モデルは平均的な顔に基づくモデルとなるため、個人モデルを用いる場合と比較すれば多くの対象者に対して良好な検出を行うことができるものの、対象者の顔と平均的な顔との相違が大きくなるほど検出精度が悪化し、多くの対象者にとっては例えば眠気を判定するほどの高精度の表情変化を捉えることができなかった。

本発明は、上述した問題に鑑みてなされたものであり、その目的は、実用化が容易であり、高い精度で表情を捉えることができる顔特徴点検出装置および眠気検出装置を提供することである。

上述した問題を解決するためになされた請求項１に記載の発明は、顔上の予め定められた複数存在する特徴点の３次元座標の動きを、撮影された画像から検出する顔特徴点検出装置である。

この顔特徴点検出装置は、撮影対象者の顔を示す撮影画像を取得する手段を有している。この手段は、カメラ等の撮影装置から撮影画像を取得するものであってもよいし、記憶装置などに記憶された撮影画像を取得するものであってもよい。なお、上述した特徴点とは、例えば目尻や目頭、口角、眉といった、顔における位置を特定できる測定点である。この特徴点の動きを知ることで、表情の変化、即ち眠気などの体調や感情などの変化を検出することができる。

また、上記顔特徴点検出装置は、取得した所定の撮影対象者の撮影画像である基準画像から、顔上に予め定められた複数の特徴点の２次元座標を抽出し、その２次元座標からなる基準２Ｄ顔モデルを作成する。ここでいう基準２Ｄ顔モデルは、特徴点の２次元座標情報のみを有するデータ群であってもよいし、特徴点を並べて可視化した図形の情報をさらに有するものであってもよい。そして、この基準２Ｄ顔モデルから、複数の特徴点の２次元座標を移動させてなる変形２Ｄ顔モデルを作成する。

また、上記顔特徴点検出装置は、基準画像を、作成された変形２Ｄ顔モデルに合わせて変形した変形画像を作成する。基準２Ｄモデルは基準画像に基づくものであるため、当然にその特徴点は基準画像の特徴点に対応している。基準２Ｄモデルの変形２Ｄモデルへの変化に合わせて、画像と特徴点との対応を維持するように基準画像を変形させて変形画像を作成する。

また、上記顔特徴点検出装置は、取得した所定の撮影対象者の撮影画像である判定画像と、上述した変形画像と、を、変形画像における特徴点の２次元座標の移動を調整してフィッティングを行う。そして、判定画像と変形画像とが適合するときの変形画像に対応する変形２Ｄ顔モデルにおける複数の特徴点の２次元座標を、判定画像における複数の特徴点の２次元座標である確定２Ｄ座標として決定する。ここでいう適合とは、判定画像と変形画像とが所定の精度以上で一致した状態を意味している。

このように、上記顔特徴点検出装置は、ここまでの処理によって、取得した判定画像における顔上の特徴点の２次元座標を検出する。
次に、顔特徴点検出装置は、上述した複数の特徴点に対応する予め定められた３次元座標を移動させた３次元座標からなる変形３Ｄ顔モデルを作成する。ここでいう変形３Ｄ顔モデルは、特徴点の３次元座標情報のみを有するデータ群であってもよいし、特徴点を並べて可視化した図形の情報をさらに有するものであってもよい。

続いて、この変形３Ｄ顔モデルの３次元座標を、変換式を用いて２次元座標に変換した変換２Ｄ座標を作成する。ここでいう変換式とは、例えば透視投影行列である。
そして、既に決定している確定２Ｄ座標と、作成された変換２Ｄ座標と、を、変形３Ｄ顔モデルへの３次元座標の移動や、上述した変換式を調整してフィッティングを行う。なお、変換式を調整することにより、変形３Ｄ顔モデルの顔の向きを変えて２次元座標に変換することができる。

そして、確定２Ｄ座標と適合する変換２Ｄ座標に対応する変形３Ｄ顔モデルにおける複数の特徴点の３次元座標を、判定画像における複数の特徴点の３次元座標として決定する。ここでいう適合とは、確定２Ｄ座標と変換２Ｄ座標とが所定の精度以上で一致した状態を意味している。

つまり、上記顔特徴点検出装置は、ここまでの処理によって、取得した判定画像における顔上の特徴点の３次元座標を検出する。
このように構成された顔特徴点検出装置では、２次元座標と基準画像という２次元のモデルが、所定のタイミングにて撮影対象者から取得した情報を用いて作成されているため、複数の対象者から作成した共通モデルを用いる場合と比較して２次元座標（確定２Ｄ座標）の検出精度が高くなる。従って、顔特徴点検出装置全体としての検出精度も高くなるので、撮影対象者の表情の変化を高精度に捉えることができるようになる。

また、予め定められた３次元座標や変換式などの３次元のモデルは、撮影対象者にカスタマイズしたものではないので、３次元のモデルを作成するために撮影対象者の様々な画像を使用してモデルを作成するといった作業が必要なく、撮影対象者は、顔特徴点の検出前に正面の顔を撮影するだけでよい。従って、撮影対象者に負担を掛けず様々な場面で使用できるようになる。

このように、上述した顔特徴点検出装置では、実用化が容易であり、高い精度で表情を捉えることができる。
ところで、変形３Ｄ顔モデルを作成する際の３次元座標の移動に関して、特徴点ごとに移動する方向が定められており、移動量のみを調整して変形３Ｄ顔モデルを作成するように構成されている場合、撮影対象者の顔の形状や動作方向に個人差があっても、特徴点の座標は移動量のみを変化量として表すことができるため、移動量の判定や複数の撮影対象者同士の比較を容易に行うことができるようになる。

なお、上述した基準画像は、特徴点を決定するための基準となるモデル（基準２Ｄ顔モデル）を作成するために撮影された撮影画像であり、上述した判定画像は、実際に特徴点の動きを判定する判定対象となる撮影画像である。よって、基準画像は予め取得しておき、判定画像は特徴点の動きを判定するときに取得することで、リアルタイムで特徴点の動作を判定することができる。

請求項２に記載の発明は、請求項１に記載の顔特徴点検出装置において、フィッティングのために３次元座標を移動させる際に、予め定められた特徴点の位置関係を定めるルールを満たすように特徴点の３次元座標を移動させることを特徴とする。

このように構成された顔特徴点検出装置では、特徴点がルールから外れる位置に移動することがないので、変形３Ｄ顔モデルが不自然な形状となることがない。よって、不自然な形状の変形３Ｄモデルを使用する無駄なフィッティングの処理を無くすことができ、また局所解に陥り精度の低い検出結果を出力することを抑制できる。

なお、上記ルールとしては、請求項３から請求項６に記載の顔特徴点検出装置のように、特徴点同士の位置関係を規定することが考えられる。
請求項３に記載の顔特徴点検出装置は、上述したルールとして、目の位置を示す特徴点が眉の位置を示す特徴点よりも下に位置するように定められていることを特徴とする。なお目の位置を示す特徴点とは、目自体を示す特徴点であってもよいし、まぶたや目尻、目頭などを示す特徴点であってもよい。

また、請求項４に記載の顔特徴点検出装置は、上述したルールとして、口の位置を示す特徴点が鼻の位置を示す特徴点よりも下に位置するように定められていることを特徴とする。

また、請求項５に記載の顔特徴点検出装置は、上述したルールとして、上まぶたの位置を示す特徴点が、下まぶたの位置を示す特徴点よりも上に位置するように定められていることを特徴とする。

また、請求項６に記載の顔特徴点検出装置は、上述したルールとして、左の口角の位置を示す特徴点が、右の口角を示す特徴点よりも左に位置するように定められていることを特徴とする。

また、上述したルール以外にも、例えば眉目間の距離を規定すること、口角間の距離を規定すること、下唇と顎との距離を規定することなどが考えられる。
請求項７に記載の発明は、請求項１から請求項６のいずれか１項に記載の顔特徴点検出装置と、眠気を判定する手段と、を備える眠気検出装置である。

眠気を判定する手段は、撮影対象者が覚醒しているときに撮影された判定画像に基づいて顔特徴点検出装置が決定した複数の特徴点の３次元座標（Ａ）と、眠気を判断すべきタイミングで撮影された判定画像に基づいて顔特徴点検出装置が決定した複数の特徴点の３次元座標（Ｂ）と、の比較により眠気の度合を判定する。

このように構成された眠気検出装置では、顔特徴点検出装置が検出した特徴点に基づいて眠気を検出するので、高い精度で眠気を検出することができると共に、撮影対象者に負担を掛けず様々な場面で使用できるようになる。

請求項８に記載の発明は、請求項７に記載の眠気検出装置において、眠気を判定する手段が、３次元座標（Ａ）と３次元座標（Ｂ）とを比較して複数の特徴点の移動量を算出し、その移動量を以下に示す複数のデータと比較することで眠気の度合を判定する。

上述したデータとは、撮影対象者が覚醒している状態における複数の特徴点の３次元座標から、その撮影対象者が眠気を有する状態における複数の特徴点の３次元座標までの移動量と、眠気を有する状態におけるその撮影対象者の眠気の度合と、を対応付けたものである。なお、データを取得する対象となる撮影対象者は１人であってもよいが、複数人であることが好ましい。

このように構成された眠気検出装置あれば、データに記憶された移動量と検出された移動量とを比較することで眠気の度合を判定するので、覚醒状態における特徴点の位置の個人差を考慮する必要がなくなるため、高い精度で眠気の度合を判定することができる。

請求項９に記載の発明は、請求項７または請求項８に記載の眠気検出装置において、さらに、撮影対象者の心拍数を測定する手段を備えている。そして、撮影対象者が覚醒しているときとは、心拍数測定手段により測定された心拍数の平均値が所定の範囲内にある状態のときであり、そのときに撮影した判定画像に基づいて特徴点の３次元座標を検出し、その座標を覚醒時の特徴点とする。

このように構成された眠気検出装置では、心拍数に基づいて覚醒状態を判断できる。よって、覚醒状態でないときに撮影された判定画像を覚醒しているときの判定画像として処理してしまうことがなくなるので、高い精度で眠気を検出することができる。

居眠り防止システムを示す側面図 眠気検出装置の構成を示すブロック図 居眠り防止処理の処理手順を示すフローチャート 顔上の特徴点をしめす図 個人適合処理の処理手順を示すフローチャート 個人表情モデルを示す図 基準値取得処理の処理手順を示すフローチャート 眠気推定処理の処理手順を示すフローチャート 眠気推定アルゴリズムの説明図 表情特徴量検出処理の処理手順を示すフローチャート ３Ｄ表情修正処理の処理手順を示すフローチャート まぶた間距離が０以下である状態を示す図 上下まぶた間距離が目尻と目頭との距離よりも大きい状態を示す図 眉頭と上まぶたとの距離が、こめかみ間の距離の２分の１よりも大きい状態を示す図 眉の特徴点が上まぶたよりも下に位置している状態を示す図 上唇が下唇よりも下に位置している状態を示す図 顎位置と下唇との距離が、目頭と目尻との距離の２分の１よりも小さい状態を示す図 鼻と上唇との距離が０以下である状態を示す図 口角間の距離が０以下である状態を示す図 実際に眉が動いた状態を示す図 本実施例の共通の３次元モデルを用いた場合に眉が動いた状態を示す図 本実施例の共通の３次元モデルを用いた場合に眉が動いた状態を示す図

以下に本発明の実施形態を図面と共に説明する。ただし、以下に説明する実施形態は、あくまでも例示にすぎず、本発明が、下記の事例以外にも様々な形態で実施できるのはもちろんである。
［実施例］
（１）全体構成
本実施例の居眠り防止システム１を図１に示す。居眠り防止システム１は、車両２に搭載されて、運転者３（撮影対象者）の眠気を検出して居眠りを防止するシステムであり、撮影装置１０と、眠気検出装置２０と、居眠り運転による事故防止のための動作を行う警報装置３０，首元空調装置４０，シートベルト振動装置５０，およびブレーキ制御装置６０から構成される。

これらのうち、撮影装置１０は、車両２の運転者３の顔を連続的に撮影するものであって、車両２のダッシュボード４にて運転者３に向けて配置されており、運転者３の正面の顔を示す画像を所定の時間間隔（例えば、１／３０ｓ）で撮影するように構成されている。

眠気検出装置２０は、撮影装置１０により撮影された画像に基づいて運転者３の顔における複数の特徴点（顔における位置を特定できる測定点であり、以降、特徴点とはこの測定点のことを意味する。）を検出すると共に、レベル０〜５の６段階で、眠気のレベルを判定する。眠気検出装置２０の構成を図２に示す。眠気検出装置２０は、制御部２１と、画像キャプチャボード２２と、ハードディスクドライブ２３と、車内ＬＡＮ通信部２４と、からなる。

制御部２１は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，ＥＥＰＲＯＭなどからなる周知のマイクロコンピュータであって、ＲＯＭに記憶されているプログラムに基づいて各種処理を実行する。

画像キャプチャボード２２は、撮影装置１０にて撮影された運転者３の顔の画像データ（以降、単に撮影画像ともいう）を撮影装置１０から取得して一時的に記憶し、制御部２１からの指令に応じて制御部２１に最新の画像を提供する。

ＨＤＤ２３は、後述する個人情報モデル、眠気レベル推定に用いる学習データなどのデータを記憶するための記憶領域を有している。
車内ＬＡＮ通信部２４は、制御部２１からの出力に基づいて、警報装置３０，首元空調装置４０，シートベルト振動装置５０，および，ブレーキ制御装置６０に対し、居眠りを防止するための動作を制御する信号を出力する。

警報装置３０は、図示しないディスプレイおよびスピーカを備えている。この警報装置３０は、制御部２１により判定された眠気の度合に応じて、運転者３に居眠り運転の注意を促す表示（例えば、眠気レベル１，２と判定された場合は「早めに休憩を取りましょう」、眠気レベル３と判定された場合は「注意してください」、眠気レベル４，５と判定された場合は「運転を中止してください」など）をディスプレイに出力すると共に、上述した表示内容をスピーカにて音声で出力する。

また、首元空調装置４０は、運転者３のシートにおけるヘッドレストに配置されており、制御部２１により眠気レベル１〜５のいずれかであると判定されたときに、運転者３の首元に送風する。

また、シートベルト振動装置５０は、シートベルトの引き込み機構に備えられており、制御部２１により眠気レベル３〜５であると判定されたときに、シートベルトを振動させる。

また、ブレーキ制御装置６０は、ブレーキを自動的に作動させる装置である。これは、制御部２１により眠気レベル５であると判定されたときに、ブレーキを作動させ、車両の走行を強制的に停止させたり、順次減速させたりする。
（２）眠気検出装置２０による処理
以下に、眠気検出装置２０が備える制御部２１により実行される各種処理について説明する。
（２．１）居眠り防止処理
居眠り防止処理の処理手順を、図３に示すフローチャートに基づいて説明する。本処理は、車両２が起動して居眠り防止システム１が起動している間、継続して実行される。

本処理では、まず、個人適合処理を行う（ステップ１、以降、ステップを単にＳと記載する）。ここでは、運転者３の顔上の特徴点を取得するときに用いる個人情報モデルの一部を運転者３の撮影画像に基づいて作成する。この個人適合処理および個人情報モデルの詳細は後述する。

次に、基準値取得処理を行う（Ｓ２）。ここでは、Ｓ１で作成した個人情報モデルを利用して、運転者３が眠気を有していない状態（即ち覚醒状態）における特徴点を取得する。顔上の特徴点を図４に示す。特徴点とは、顔において予め定められた特徴点の座標情報であって、本実施例では、上まぶた１０１Ｌ，１０１Ｒ、下まぶた１０２Ｌ，１０２Ｒ、目頭１０３Ｌ，１０３Ｒ、目尻１０４Ｌ，１０４Ｒ、眉頭１０５Ｌ，１０５Ｒ、眉上端１０６Ｌ，１０６Ｒ、眉尻１０７Ｌ，１０７Ｒ、鼻１０８Ｌ，１０８Ｒ、上唇１０９、下唇１１０、口角１１１Ｌ，１１１Ｒ、輪郭１１２〜１１６の各点が定められている。なお、特徴点は上述したものに限定されることなく、眠気に伴う表情の変化が現れる点であれば様々な点に設定することができる。

なお、特徴点の取得／検出とは、特徴点に対応する座標を取得／検出することをいう。この基準値取得処理の詳細は後述する。
次に、眠気推定処理を行う（Ｓ３）。ここでは、Ｓ２にて取得した覚醒状態における特徴点と、Ｓ３を実行する時点で取得した特徴点と、を比較してその移動量を算出し、予め有している学習データとの比較によって眠気のレベルをレベル０〜レベル５の６段階で算出する。さらに、特徴点の測定精度を示す値である信頼度Ａと、眠気レベルの判定精度を示す値である信頼度Ｂと、も合わせて算出する。この眠気推定処理と学習データの詳細は後述する。

次に、Ｓ３にて判定された眠気レベルおよび信頼度Ａ，Ｂに基づいて、警報装置３０，首元空調装置４０，シートベルト振動装置５０，およびブレーキ制御装置６０に動作を行わせる信号を出力する（Ｓ４）。

ここでは、眠気レベル０と判定された場合には上述したいずれの装置にも動作を行わせない。眠気レベル１，２と判定された場合には、警報装置３０および首元空調装置４０に動作を行わせる。眠気レベル３と判定された場合には、警報装置３０，首元空調装置４０，および，シートベルト振動装置５０に動作を行わせる。眠気レベル４，５と判定された場合には、それら全ての装置に動作を行わせるが、信頼度Ａ，Ｂの何れも所定のしきい値を下回る場合には、ブレーキ制御装置６０の動作は行わない。

このＳ４の後、処理がＳ３に戻り、再度眠気の推定を行う。
（２．２）個人適合処理
個人適合処理の処理手順を、図５に示すフローチャートに基づいて説明する。本処理は、居眠り防止処理（図３）のＳ１にて実行される。

本処理では、まず、撮影装置１０により撮影された運転者３の撮影画像を、画像キャプチャボード２２から取得する（Ｓ１０）。
次に、Ｓ１０にて取得した撮影画像から、正面顔である領域（図６（ｂ）に相当する部分）を検出する（Ｓ１２）。本実施例では、ｈａａｒ−ｌｉｋｅ特徴を用いて検出を行っているが、顔画像テンプレートを用いる方法などでも良い。

次に、Ｓ１２にて検出された正面顔から特徴点を検出する（Ｓ１４）。ここでは、共通２Ｄ表情モデル（ＡＡＭ：Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）を用いたフィッティングにより各特徴点を検出し、その２次元座標を取得する。なお、ＡＡＭによるフィッティングに変えて、エッジ特徴点やＧａｂｏｒ特徴量を用いて特徴点を検出してもよい。

次に、Ｓ１４にて検出した特徴点が異常値を示すか否かを判断する（Ｓ１６）。ここでは、所定の特徴点間の距離が所定のしきい値を超える異常な値を示しているか否かを判断し、いずれかが異常値であれば（Ｓ１６：ＹＥＳ）、Ｓ１０にて取得した画像データが正面顔ではないと判断して、Ｓ１０に戻り再度画像データを取得する。ここで言う所定の特徴点間の距離とは、例えば、目の開度（上まぶたと下まぶたとの間の距離）や、口の開度（上下の唇の間の距離）などが該当する。一方、いずれも異常値でなければ（Ｓ１６：ＮＯ）、処理がＳ１８に移行する。

次に、個人表情モデルを作成する（Ｓ１８）。個人表情モデルは、図６（ａ）に示す２Ｄ基準顔，同図（ｂ）に示す２Ｄテンプレート，同図（ｃ）に示す２Ｄ表情ベクトル，同図（ｄ）に示す３Ｄ基準顔，同図（ｅ）に示す３Ｄ表情ベクトル，図示しない２Ｄ変換行列からなる。

上記２Ｄ基準顔とは、２次元座標を有する複数の特徴点からなる顔形状モデルである。
また、２Ｄテンプレートとは、２Ｄ基準顔の領域に対応する顔画像である。
また、２Ｄ表情ベクトルとは、２Ｄ基準顔の特徴点の位置を変化させる２次元ベクトルであって、特徴点ごとに設定される。

また、３Ｄ基準顔とは、３次元座標を有する複数の特徴点からなる顔形状モデルである。
また、３Ｄ表情ベクトルとは、３Ｄ基準顔の特徴点の位置を変化させる３次元ベクトルであって、特徴点ごとに設定される。

また、２Ｄ変換行列は、３Ｄ基準顔の各特徴点を、２次元座標に変換する際に用いる透視投影行列であって、本発明における変換式に相当する。
なお、上述した２Ｄ基準顔は、２Ｄテンプレートと組み合わせた状態（図６（ｆ）参照）でその表情を変化させて（特徴点の座標を調整して）フィッティングを行うものであるため、２Ｄ表情ベクトルの方向は表情の変化（表情筋の動き）に沿うように予め定められている。３Ｄ表情ベクトルの方向も同様に、表情の変化に沿うように定められている。

このＳ１８では、Ｓ１４にて検出した特徴点に基づいて２Ｄ基準顔を作成すると共に、Ｓ１２にて検出した正面顔を２Ｄテンプレートとして設定する。なお、ここで作成される２Ｄ基準顔が本発明における基準２Ｄ顔モデルに相当し、ここで設定される２Ｄテンプレートが本発明における基準画像に相当する。

なお、２Ｄ表情ベクトルは、作成した２Ｄ基準顔に合わせてカスタマイズされる。２Ｄ基準顔と２Ｄ表情ベクトルは、互いに相関関係を有する汎用モデルを有しており、汎用モデルにおける２Ｄ基準顔から新たに作成された２Ｄ基準顔への変化に応じて、汎用モデルの２Ｄ表情ベクトルを変化させ、新たな２Ｄ表情ベクトルを設定する。

なお、上記３Ｄ基準顔，３Ｄ表情ベクトル，２Ｄ変換行列は、予め汎用のデータを有している。このＳ１８の後、本処理を終了する。
（２．３）基準値取得処理
基準値取得処理の処理手順を、図７に示すフローチャートに基づいて説明する。本処理は、居眠り防止処理（図３）のＳ２にて実行される。

本処理では、まず、経過時間のカウントを開始する（Ｓ３０）。
次に、表情特徴量検出処理を行う（Ｓ３２）。ここでは運転者３の顔を撮影し、その顔の撮影画像に基づいて運転者３の顔における複数の特徴点の３次元座標（複数の特徴点の３次元座標を、以降、３次元特徴点集合という）を取得して記憶する。この表情特徴量検出処理の詳細は後述する。

次に、Ｓ３０にて経過時間のカウントを開始してから５分間が経過したか否かを判断する（Ｓ３４）。５分経過していなければ（Ｓ３４：ＮＯ）、処理がＳ３２に戻り、新たに３次元特徴点集合を取得する。５分経過していれば、Ｓ３６に移行する。

次に、Ｓ３２にて取得した複数の３次元特徴点集合の中から、測定の精度が高い３次元特徴点集合のみを選別する（Ｓ３６）。測定の精度は、Ｓ３２の表情特徴量検出処理において撮影画像と個人表情モデルとのフィッティングを行ったときの一致度合を示す値として、３次元特徴点集合の算出と同時に算出されている。ここでは、その値が所定のしきい値以上である３次元特徴点集合を選別する。

次に、Ｓ３６にて選別された３次元特徴点集合を用いて、特徴点ごとの平均値を算出して特徴点ごとの平均の３次元座標（以降、単に基準値ともいう）を決定する。そして、その算出した基準値を記憶し、その後本処理を終了する。

なお、Ｓ３０〜Ｓ３４の処理は、一定の時間を掛けて複数の３次元特徴点集合を取得することにより、覚醒状態における各特徴点の平均的な３次元座標を取得することを目的としている。従って、多数の３次元特徴点集合を取得することができれば５分以外の時間設定であってもよいし、時間経過ではなく３次元特徴点集合を取得した回数をカウントして、所定回数を超えた場合にＳ３６に移行するように構成してもよい。
（２．４）眠気推定処理
眠気推定処理の処理手順を、図８に示すフローチャートに基づいて説明する。本処理は、居眠り防止処理（図３）のＳ３にて実行される。

本処理では、まず、経過時間のカウントを開始する（Ｓ４０）。
次に、表情特徴量検出処理を行う（Ｓ４２）。ここでは運転者３の顔を撮影し、その顔の撮影画像に基づいて３次元特徴点集合を取得して記憶する。この表情特徴量検出処理の詳細は後述する。

次に、Ｓ４０にて経過時間のカウントを開始してから５秒間が経過したか否かを判断する（Ｓ４４）。５秒経過していなければ（Ｓ４４：ＮＯ）、処理がＳ４２に戻り、新たに３次元特徴点集合を取得する。５秒経過していれば（Ｓ４４：ＹＥＳ）、Ｓ４６に移行する。

次に、Ｓ４２にて取得した複数の３次元特徴点集合の中から、測定の精度が高い３次元特徴点集合みを選別すると共に、精度が高い３次元特徴点集合の割合を算出する（Ｓ４６）。測定の精度は、上述したＳ３６における測定の精度と同様に、３次元特徴点集合の算出と同時に値として算出される。ここでは、その値が所定のしきい値以上である３次元特徴点集合を選別し、所定のしきい値以上である３次元特徴点集合の割合を信頼度Ａとして記憶する。

次に、Ｓ４６にて選別された３次元特徴点集合を用いて、特徴点ごとの平均値を算出して特徴点ごとの３次元座標の平均値を算出する（Ｓ４８）。
次に、規格値の算出を行う（Ｓ５０）。具体的には、Ｓ４８にて算出した３次元座標の平均値と、基準値取得処理のＳ３８にて取得した基準値とを比較し、各特徴点ごとの移動量を算出する。その移動量を規格値として記憶する。

次に、眠気推定を行う（Ｓ５２）。ここでは、Ｓ５０にて算出した規格値を用いて、眠気推定アルゴリズムにより眠気のレベルを算出する。眠気推定アルゴリズムについて、図９を用いて説明する。

まず、図中に示す運転者データ２０１について説明する。運転者データ２０１に示される値（ｘ１，ｙ１，ｚ１，ｘ２，ｙ２，ｚ２，・・・）は、上記Ｓ５０にて算出した特徴点の規格値を並べたものである。ｘ、ｙ、ｚに付された数値（１，２・・・）は特徴点を識別するための数値であり、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）・・・（ｘｉ，ｙｉ，ｚｉ）が、それぞれの特徴点における規格値を示している。

眠気推定を行うには、まず、運転者データ２０１と、ＨＤＤ２３に予め記憶された学習データ２０２と、を比較する。
この学習データ２０２は、眠気レベル２０３とその眠気レベル２０３と対になる規格値２０４とのセット２０５を複数集めてなるものである。各セット２０５における規格値２０４は、学習データ２０２のサンプルとなる人物に対して、居眠り防止処理のＳ１（個人適合処理），Ｓ２（基準値取得処理），および眠気推定処理のＳ３０〜Ｓ５０までの処理を行って算出したものである。即ち、上記運転者データ２０１と同様の手法で算出されている。

眠気レベル２０３は、その眠気推定処理におけるＳ３０〜Ｓ５０を実行するときの上記人物の眠気の度合を観察者が官能評価した値である。学習データ２０２は、複数の人物に関する複数のセット２０５を有している。

運転者データ２０１と、学習データ２０２におけるすべてのセット２０５の規格値２０４と、を比較した後、運転者データ２０１と類似性の高い上位Ｋ個のセット２０５を抽出する。そして、抽出したセット２０５の中で、最多の眠気レベルを運転者３の眠気レベルであると推定する。図９の場合には、類似性の高い上位Ｋ個のセットにおいて、眠気レベル０のセットが最多であったので、眠気レベルを「０」と推定している。なお、運転者データ２０１と学習データ２０２とを比較して眠気レベルを推定する処理には、例えばＫ−ＮＮ法などを用いることが考えられる。

なお、この眠気推定の一致精度、即ち抽出したセット全数（Ｋ個）のうち最多であった眠気レベルを有するセットの個数の割合を、信頼度Ｂとして記憶する。その後、本処理を終了する。

なお、本処理のＳ４０〜Ｓ４４の処理は、上述した基準値取得処理のＳ３０〜Ｓ３４の５分間と比較して短い５秒間をカウントしている。ここでは、各特徴点の平均的な３次元座標を取得するために複数の３次元特徴点集合を取得できる時間をとるものの、運転者３に眠気が発現すれば即座にその眠気を検出する必要があるため、短い時間間隔で眠気推定を行うために５分よりも短い時間としている。また、Ｓ３４の場合と同様に、５秒以外の時間設定であってもよいし、３次元特徴点集合を取得した回数をカウントして、所定回数を超えた場合にＳ４６に移行するように構成してもよい。
（２．５）表情特徴量検出処理
表情特徴量検出処理の処理手順を、図１０に示すフローチャートに基づいて説明する。本処理は、基準値取得処理（図７）のＳ３２、および眠気推定処理（図８）のＳ４２にて実行される。

本処理では、まず、撮影装置１０により撮影された撮影画像をキャプチャボードから取得する（Ｓ６０）。なお、ここで取得する撮影画像が、本発明における判定画像に相当する。

次に、個人適合処理（図５）のＳ１８にて作成した２Ｄ基準顔を、各特徴点を２Ｄ表情ベクトルを用いて移動させて変形し、その変形後の各特徴点からなる顔形状モデルである２Ｄ表情Ａを作成する（Ｓ６２）。なお、この２Ｄ表情Ａが、本発明における変形２Ｄ顔モデルに相当する。

次に、Ｓ６２にて作成した２Ｄ表情Ａに合うように、個人適合処理のＳ１８にて作成した２Ｄテンプレートを変形する（Ｓ６４）。２Ｄ基準顔と２Ｄテンプレートを組み合わせると、図６（ｆ）に示すようになり、２Ｄ基準顔が２Ｄ表情Ａに変形するときの特徴点の移動に合わせて、２Ｄテンプレートを変形する。この変形した２Ｄテンプレートが、本発明における変形画像に相当する。

次に、Ｓ６０にて取得した撮影画像における２Ｄ基準顔に対応する部分（顔部分）の画像と、Ｓ６４にて変形させた２Ｄテンプレートとをフィッティングし（Ｓ６６）、誤差を数値化する。この数値化には、輝度差分を用いる手法や、正規化相互相関を用いる手法が考えられる。

次に、撮影画像と２Ｄテンプレートが一致したか否かを判断する（Ｓ６８）。Ｓ６６にて取得した誤差が所定のしきい値を超えていれば、一致していないと判断し（Ｓ６８：ＮＯ）、２Ｄ基準顔の変形量を再設定する（Ｓ７０）。具体的には、最急降下法、ニュートン法などを用いて、誤差が小さくなる２Ｄ表情ベクトルの大きさを特徴点ごとに決定する。そしてＳ６２にて作成した２Ｄ表情Ａを破棄した後、Ｓ６２に戻り、再設定した２Ｄ表情ベクトルを用いて２Ｄ基準顔を変形させる。

一方、Ｓ６８にて、誤差が所定のしきい値以下であれば、撮影画像と２Ｄテンプレートとが一致したと判断し（Ｓ６８：ＹＥＳ）、Ｓ６２にて作成した２Ｄ表情Ａが撮影した画像の特徴点を表していると決定する。その後、処理がＳ７２に移行する。なお、この決定された２Ｄ表情Ａが、本発明における確定２Ｄ座標に相当する。

続いて、図６（ｄ）に示す３Ｄ基準顔を、図６（ｅ）に示す３Ｄ表情ベクトルを用いて移動させて変形し、その変形後の各特徴点からなる顔形状モデルである３Ｄ表情を作成する（Ｓ７２）。３Ｄ表情の作成にあたっては、個人適合処理のＳ１８にて作成した２Ｄ基準顔を参考に、その顔に近づくように３Ｄ表情ベクトルの移動量を決定する。なお、この３Ｄ表情が、本発明における変形３Ｄ顔モデルに相当する。

次に、Ｓ７２にて作成した３Ｄ表情が、顔のつくりとして不自然な形状である場合にそのずれを修正する３Ｄ表情修正処理を行う（Ｓ７４）。この３Ｄ表情修正処理により、Ｓ７２における３Ｄ基準顔の変形に、特徴点の位置関係を定めるルールを与えて、不自然な形状となることを抑制する。これには、後述するＳ８２，Ｓ８４における最急降下法、ニュートン法などを用いた誤差最小化問題において、局所解に陥ることを抑制する効果がある。この３Ｄ表情修正処理の詳細は後述する。

次に、２Ｄ変換行列を用いて、Ｓ７２にて作成した３Ｄ表情を２次元座標に変換した２Ｄ表情Ｂを算出する（Ｓ７６）。なお、この２Ｄ表情Ｂが、本発明における変換２Ｄ座標に相当する。

次に、Ｓ７６にて算出した２Ｄ表情Ｂと２Ｄ表情Ａとをフィッティングする（Ｓ７８）。
次に、２Ｄ表情Ａと２Ｄ表情Ｂとが一致したか否かを判断する（Ｓ８０）。ここでは、各特徴点ごとの距離を誤差として測定し、その誤差の相加平均が所定のしきい値を超えていれば、一致していないと判断し（Ｓ８０：ＮＯ）、誤差を小さくするように続くＳ８２，Ｓ８４の処理を行う。

まず、３Ｄ基準顔の変形量を再設定する（Ｓ８２）。具体的には、最急降下法、ニュートン法などを用いて、誤差が小さくなる３Ｄ表情ベクトルの大きさを特徴点ごとに決定する。これにより、３Ｄ基準顔の各特徴点を移動して、３Ｄ表情と撮影画像との表情の相違を小さくすることができる。

次に、２Ｄ変換行列を更新する（Ｓ８４）。具体的には、最急降下法、ニュートン法などを用いて、誤差が小さくなる２Ｄ変換行列を決定する。これにより、３Ｄ基準顔を２次元化するにあたって顔の向きを調整して誤差を小さくすることができ、３Ｄ表情と撮影画像との顔向きの相違を小さくすることができる。このＳ８４の後、２Ｄ表情Ｂを破棄し、再度Ｓ７２〜Ｓ７６にて２Ｄ表情Ｂを作成する。

また、Ｓ８０にて、誤差の平均値が所定のしきい値以下であれば、一致していると判断し（Ｓ８０：ＹＥＳ）、Ｓ７４にて修正した３Ｄ表情が撮影画像の特徴点を表していると決定してその３次元座標（３次元特徴点集合）を記憶する（Ｓ８６）。その後、本処理を終了する。
（２．６）３Ｄ表情修正処理
３Ｄ表情修正処理の処理手順を、図１１に示すフローチャートに基づいて説明する。本処理は、表情特徴量検出処理（図１０）のＳ７４にて、直前のＳ７２で作成した３Ｄ表情に基づいて実行される。なお、以下の説明において、左右両方に位置する特徴点については左側のみを代表して記載する。

本処理では、まず、まぶた間距離が０以下であるか否かを判断する（Ｓ１００）。まぶた間距離が０以下である状態とは、図１２に示すように、上まぶた１０１Ｌが下まぶた１０２Ｌよりも下に位置している状態であり、このとき、下まぶた１０２Ｌの位置から上まぶた１０１Ｌの位置までの上に向かう距離が０またはマイナスとなる。

まぶた間の距離が０以下でなければ（Ｓ１００：ＮＯ）、処理がＳ１０４に移行する。まぶた間距離が０以下であれば（Ｓ１００：ＹＥＳ）、上まぶた１０１Ｌの位置を基準に、下まぶた１０２Ｌ、目頭１０３Ｌ，目尻１０４Ｌを予め決められた位置に変更する（Ｓ１０２）。その後、処理がＳ１０４に移行する。

次に、図１３に示すように、上下まぶた間の距離Ｌ１が目尻と目頭との距離Ｌ２よりも大きいか否かを判断する（Ｓ１０４）。これにより、上下まぶた間の距離が離れすぎてしまうことを防止する。

Ｌ１＞Ｌ２でなければ（Ｓ１０４：ＮＯ）、処理がＳ１０８に移行する。Ｌ１＞Ｌ２であれば（Ｓ１０４：ＹＥＳ）、上まぶた１０１Ｌの位置を基準に、下まぶた１０２Ｌ、目頭１０３Ｌ，目尻１０４Ｌを予め決められた位置に変更する（Ｓ１０６）。その後、処理がＳ１０８に移行する。

次に、図１４に示すように、眉頭１０５Ｌと上まぶた１０１Ｌとの距離Ｌ３が、こめかみ間（輪郭１１２，１１６間）の距離Ｌ４の２分の１よりも大きいか否かを判断する（Ｓ１０８）。これにより、眉目間の距離が離れすぎてしまうことを防止する。

Ｌ３＞（Ｌ４／２）でなければ（Ｓ１０８：ＮＯ）、処理がＳ１１２に移行する。Ｌ３＞（Ｌ４／２）であれば（Ｓ１０８：ＹＥＳ）、上まぶた１０１Ｌの位置を基準に、眉頭１０５Ｌ、眉上端１０６Ｌ、眉尻１０７Ｌを予め決められた位置に変更する（Ｓ１１０）。その後、処理がＳ１１２に移行する。

次に、眉の特徴点（眉頭１０５Ｌ、眉上端１０６Ｌ、眉尻１０７Ｌ）と上まぶた１０１Ｌとの距離が０以下であるか否かを判断する（Ｓ１１２）。眉と上まぶたとの距離が０以下である状態とは、図１５に示すように、眉の特徴点が上まぶた１０１Ｌよりも下に位置している状態であり、このとき、上まぶた１０１Ｌの位置から眉の特徴点までの上に向かう距離が０またはマイナスとなる。

眉と上まぶたとの距離が０以下でなければ（Ｓ１１２：ＮＯ）、処理がＳ１１６に移行する。眉と上まぶたとの距離が０以下であれば（Ｓ１１２：ＹＥＳ）、上まぶた１０１Ｌの位置を基準に、眉頭１０５Ｌ、眉上端１０６Ｌ、眉尻１０７Ｌを予め決められた位置に変更する（Ｓ１１４）。その後、処理がＳ１１６に移行する。

次に、唇間の距離が０以下であるか否かを判断する（Ｓ１１６）。唇間の距離が０以下である状態とは、図１６に示すように、上唇１０９が下唇１１０よりも下に位置している状態であり、下唇１１０の位置から上唇１０９までの上に向かう距離が０またはマイナスとなる。

唇間の距離が０以下でなければ（Ｓ１１６：ＮＯ）、処理がＳ１２０に移行する。唇間の距離が０以下であれば（Ｓ１１６：ＹＥＳ）、上唇１０９と下唇１１０の位置を入れ替える（Ｓ１１８）。その後、処理がＳ１２０に移行する。

次に、図１７に示すように、顎位置（輪郭１１４）と下唇１１０との距離Ｌ５が、目頭１０３Ｌと目尻１０４Ｌとの距離Ｌ６の２分の１よりも小さいか否かを判断する（Ｓ１２０）。これにより、下唇が下がりすぎてしまうことを防止する。

Ｌ５＜（Ｌ６／２）でなければ（Ｓ１２０：ＮＯ）、処理がＳ１２４に移行する。Ｌ５＜（Ｌ６／２）であれば（Ｓ１２０：ＹＥＳ）、顎位置（輪郭１１４）を基準に、下唇１１０を予め決められた位置に変更する（Ｓ１２２）。その後、処理がＳ１２４に移行する。

次に、鼻１０８Ｌと上唇１０９との距離が０以下であるか否かを判断する（Ｓ１２４）。鼻１０８Ｌと上唇１０９との距離が０以下である状態とは、図１８に示すように、鼻１０８Ｌが上唇１０９よりも下に位置している状態であり、上唇１０９の位置から鼻１０８Ｌまでの上に向かう距離が０またはマイナスとなる。

鼻１０８Ｌと上唇１０９との距離が０以下でなければ（Ｓ１２４：ＮＯ）、処理がＳ１２８に移行する。鼻１０８Ｌと上唇１０９との距離が０以下であれば（Ｓ１２４：ＹＥＳ）、鼻１０８Ｌの位置を基準に、上唇１０９を予め決められた位置に変更する（Ｓ１２６）。その後、処理がＳ１２８に移行する。

次に、口角間の距離が０以下であるか否かを判断する（Ｓ１２８）。口角間の距離が０以下である状態とは、図１９に示すように、左口角１１１Ｌが右口角１１１Ｒよりも右に位置している状態であり、左口角１１１Ｌから右口角１１１Ｒまでの右に向かう距離が０またはマイナスとなる。

口角間の距離が０以下でなければ（Ｓ１２８：ＮＯ）、本処理を終了する。口角間の距離が０以下であれば（Ｓ１２８：ＹＥＳ）、左口角１１１Ｌと右口角１１１Ｒの位置を入れ替える（Ｓ１３０）。その後、本処理を終了する。
（３）発明の効果
このように構成された居眠り防止システム１では、個人表情モデルにおける２Ｄ基準顔と２Ｄテンプレートとを、個人適合処理にて運転者３から取得した情報を用いて作成しているため、特徴点の検出精度が高くすることができる結果、眠気の検出精度を高めることができる。

また、３Ｄ基準顔や２Ｄ変換行列は、運転者３にカスタマイズしたものではないので、運転者３の様々な画像を作成してモデルを作成するといった作業が必要なく、運転者３は何ら特別な動作をとる必要がない。よって、運転者３の個人表情モデル作成の負担を小さくして眠気の検出を行うことができる。このような居眠り防止システム１は、運転者３を撮影して３Ｄ基準顔や２Ｄ変換行列を作成する構成と比較して実用化が容易である。

また、３Ｄ基準顔，２Ｄ変換行列は予め作成された共通のモデルであって、また３Ｄ表情ベクトルの移動方向が定まっているため、以下に示すメリットがある。
まず、図２０（ａ），（ｂ）に、特徴点を検出する対象となるＡ，Ｂ２名の実際の眉の位置と動作を示す。図２０（ａ）は覚醒時の眉位置であり、図２０（ｂ）は眠気を有するとき（傾眠時）の上がった眉位置である。

Ａ，Ｂは、覚醒時，傾眠時において、眉目間の距離、眉頭間の距離のいずれも異なっている。また、眉が上がるときの動作方向も異なっている。従来のように、３Ｄ基準顔、２Ｄ変換行列、３Ｄ表情ベクトルが個人にカスタマイズされたものを用いる場合、上述した移動前の眉位置と移動方向の個人差により、眉の位置や移動量に基づいて画一的に表情の変化を判断することが難いという問題がある。

一方、本実施例のように共通のモデルを用いると、図２１に示すように、共通３Ｄ表情の眉は、方向の定められた３Ｄ表情ベクトルにより所定の範囲内で移動する。よって、Ａ，Ｂの眉の位置は、共通の３Ｄ基準顔における眉を予め定まった方向に移動させたいずれかの位置であるとして判断される。

また、図２２に示すように、覚醒時の眉位置、傾眠時の眉位置には個人差があるものの、眉が動作したか否かは、覚醒時と傾眠時との眉の移動量に基づいて判断することができる。

このように、対象者の顔の形状や動作方向に個人差があっても、表情の変化を、特徴点の移動量のみをパラメータとして扱うことができるため、特徴点の初期位置や移動方向などを勘案する必要がなく、表情変化の判定や比較を容易に行うことができるようになる。

さらに、学習データとして、複数の対象者に対して本実施例の居眠り防止システム１と同様の処理を行って取得したデータを用いるため、眠気レベルの判定精度を高めることができる。

また、上記構成の居眠り防止システム１では、３Ｄ表情修正処理を行うことにより、特徴点がルールから外れる位置に移動することがないので、３Ｄ表情が不自然な形状となることがない。よって、不自然な形状の３Ｄ表情を使用する無駄なフィッティングの処理を無くすことができ、また精度の低い検出結果を出力することを抑制できる。
（４）変形例
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記実施例においては、覚醒状態の特徴点を取得する基準値取得処理を、個人適合処理の直後に行う構成を例示したが、それ以外のタイミングで行ってもよい。例えば、車両２のハンドル、シートなどの運転者３と接触（接近）する部分に運転者３の心拍数を測定する測定センサなどの心拍数測定手段を取り付けておき、測定センサが測定した心拍数の平均値が所定の範囲内にある状態のときに運転者３が覚醒状態であると判断し、覚醒状態である場合に基準値取得処理を実行するように構成してもよい。

このように構成された居眠り防止システム１では、心拍数に基づいて覚醒状態を判断できる。よって、覚醒状態でないときに撮影された撮影画像を覚醒しているときの撮影画像として処理してしまうことがなくなるので、高い精度で眠気を検出することができる。

また、上記実施例においては、２Ｄ基準顔と２Ｄテンプレートとを個人適合処理において取得した撮影画像に基づいて作成する構成を例示したが、２Ｄ基準顔と２Ｄテンプレートのみ予め取得しておいたものを用いる構成であってもよい。例えば、ＨＤＤ２３にそのデータを記憶しておいて、運転者３が運転する際にそのデータを読み出す構成であってもよいし、運転者３がそれらのデータが記憶された記憶媒体を所持しており、運転する際にその記憶媒体からそれらのデータを読み出す構成であってもよい。

また、表情特徴量検出処理（図１０）のＳ７４における３Ｄ表情修正処理において、不自然な形状にならなくするためのルールは、図１１に示すルールに限定されない。例えば、左右口角間の距離を、こめかみ間の距離の２分の１以下となるように制限することが考えられる。

また、比較すべき距離の基準値が０以外である場合（Ｓ１０４，Ｓ１０８，Ｓ１２０）において、基準値となる特徴点間の距離は、上記実施例にて説明したものに限らない。例えばＳ１０４においては、まぶた間の距離が離れすぎないように、目尻と目頭との間の距離を基準としてそれよりも小さいことをルールとしているが、左右目頭間の距離を基準としてもよい。なお、基準値として用いる距離は、表情の変化によって影響を受けにくい距離が望ましい。
（５）対応関係
制御部２１により実行されるＳ１０，６０の処理が、本発明の画像取得手段による処理に相当し、Ｓ１８の処理が基準２Ｄ顔モデル作成手段による処理に相当し、Ｓ６２の処理が２Ｄ変形手段による処理に相当し、Ｓ６４の処理が変形画像作成手段による処理に相当し、Ｓ６６〜７０の処理が２次元座標決定手段による処理に相当し、Ｓ７２，７４の処理が３Ｄ変形手段による処理に相当し、Ｓ７６の処理が座標変換手段による処理に相当し、Ｓ７８〜８４の処理が３次元座標決定手段による処理に相当し、Ｓ５０，Ｓ５２の処理が眠気判定手段による処理に相当する。

１…居眠り防止システム、２…車両、３…運転者、４…ダッシュボード、１０…撮影装置、２０…眠気検出装置、２１…制御部、２２…画像キャプチャボード、２３…ハードディスクドライブ、２４…車内ＬＡＮ通信部、３０…警報装置、４０…首元空調装置、５０…シートベルト振動装置、６０…ブレーキ制御装置、１０１…上まぶた、１０２…下まぶた、１０３…目頭、１０４…目尻、１０５…眉頭、１０６…眉上端、１０７…眉尻、１０８…鼻、１０９…上唇、１１０…下唇、１１１…口角、１１２〜１１６…輪郭、２０１…運転者データ、２０２…学習データ、２０３…眠気レベル、２０４…規格値、２０５…セット

Claims (9)

1. 撮影対象者の顔を示す撮影画像を取得する画像取得手段と、
   前記画像取得手段が取得した所定の撮影対象者の撮影画像である基準画像から、顔上に予め定められた複数の特徴点の２次元座標を抽出し、当該２次元座標からなる基準２Ｄ顔モデルを作成する基準２Ｄ顔モデル作成手段と、
   前記基準２Ｄ顔モデル作成手段により作成された基準２Ｄ顔モデルから前記複数の特徴点の２次元座標を移動させてなる変形２Ｄ顔モデルを作成する２Ｄ変形手段と、
   前記基準画像を、前記２Ｄ変形手段により作成された前記変形２Ｄ顔モデルに合わせて変形した変形画像を作成する変形画像作成手段と、
   前記画像取得手段が取得した前記所定の撮影対象者の撮影画像である判定画像と、前記変形画像と、を、前記２Ｄ変形手段による前記２次元座標の移動を調整してフィッティングを行い、前記判定画像と前記変形画像とが適合するときの前記変形画像に対応する前記変形２Ｄ顔モデルにおける前記複数の特徴点の２次元座標を、前記判定画像における前記複数の特徴点の２次元座標である確定２Ｄ座標として決定する２次元座標決定手段と、
   前記複数の特徴点に対応する予め定められた３次元座標を移動させてなる３次元座標からなる変形３Ｄ顔モデルを作成する３Ｄ変形手段と、
   前記３Ｄ変形手段により作成された前記変形３Ｄ顔モデルの前記３次元座標を、変換式を用いて２次元座標に変換した変換２Ｄ座標を作成する座標変換手段と、
   前記２次元座標決定手段により決定された確定２Ｄ座標と、前記変換２Ｄ座標と、を、前記３Ｄ変形手段による前記３次元座標の移動および／または前記変換式を調整してフィッティングを行い、前記確定２Ｄ座標と適合する前記変換２Ｄ座標に対応する前記変形３Ｄ顔モデルにおける前記複数の特徴点の３次元座標を、前記判定画像における前記複数の特徴点の３次元座標として決定する３次元座標決定手段と、
   を備える顔特徴点検出装置。
2. 前記３Ｄ変形手段は、予め定められた前記特徴点の位置関係を定めるルールを満たすように前記特徴点の３次元座標を移動させる
   ことを特徴とする請求項１に記載の顔特徴点検出装置。
3. 前記ルールは、目の位置を示す前記特徴点が、眉の位置を示す前記特徴点よりも下に位置するように定められている
   ことを特徴とする請求項２に記載の顔特徴点検出装置。
4. 前記ルールは、口の位置を示す前記特徴点が、鼻の位置を示す前記特徴点よりも下に位置するように定められている
   ことを特徴とする請求項２または請求項３に記載の顔特徴点検出装置。
5. 前記ルールは、上まぶたの位置を示す前記特徴点が、下まぶたの位置を示す前記特徴点よりも上に位置するように定められている
   ことを特徴とする請求項２から請求項４のいずれか１項に記載の顔特徴点検出装置。
6. 前記ルールは、左の口角の位置を示す前記特徴点が、右の口角を示す前記特徴点よりも左に位置するように定められている
   ことを特徴とする請求項２から請求項５のいずれか１項に記載の顔特徴点検出装置。
7. 請求項１から請求項６のいずれか１項に記載の顔特徴点検出装置と、
   撮影対象者が覚醒しているときに撮影された前記判定画像に基づいて前記顔特徴点検出装置が決定した当該判定画像における前記複数の特徴点の３次元座標（Ａ）と、眠気を判断すべきタイミングで撮影された前記判定画像に基づいて前記顔特徴点検出装置が決定した当該判定画像における前記複数の特徴点の３次元座標（Ｂ）と、の比較により眠気の度合を判定する眠気判定手段と、を備える
   ことを特徴とする眠気検出装置。
8. 前記眠気判定手段は、
   撮影対象者が覚醒している状態における前記複数の特徴点の３次元座標から、当該撮影対象者が眠気を有する状態における前記複数の特徴点の３次元座標までの移動量と、前記眠気を有する状態における当該撮影対象者の眠気の度合と、を対応付けたデータを複数有しており、
   前記３次元座標（Ａ）と前記３次元座標（Ｂ）とを比較して、前記複数の特徴点の移動量を算出し、当該移動量を前記データと比較することで、眠気の度合を判定する
   ことを特徴とする請求項７に記載の眠気検出装置。
9. 撮影対象者の心拍数を測定する心拍数測定手段を備え、
   前記覚醒しているときとは、前記心拍数測定手段により測定された心拍数の平均値が所定の範囲内にある状態のときである
   ことを特徴とする請求項７または請求項８に記載の眠気検出装置。