JP4770218B2 - 視認行動判定装置 - Google Patents

Description

本発明は、例えば車両を運転する運転者等の被験者の視認行動を判定する視認行動判定装置に関する。

従来より、運転者の顔を撮影し、運転者の状態を判断する技術として、脇見検出装置、居眠り検出装置、漫然運転検出装置、安全確認検出装置等の運転者監視装置が知られている。

この脇見検出装置においては、特許文献１において、運転者の顔画像を動画像として撮影し、画像処理によって連続する顔画像から順次眼の座標を検出し、当該眼の座標の動きから脇見を判定している。

また、脇見運転を検出する他の技術としては、特許文献２に記載されている運転者の視線方向を検出する技術と、特許文献３に記載されている眼の瞳孔の反射を利用して眼の座標を検出する技術と、特許文献４に記載されている差分画像によって運転者の顔の向きを推定する技術とを利用して、運転者が視認すべき方向と実際の視認方向との比較によって、視認すべき方向を見ているかを判定することが提案されている。
特開平６−２６２９５９号公報 特開２００２−８３４００号公報 特開平７−６１２５７号公報 特開２０００−１１３１６４号公報

上述した特許文献１に記載の視線方向の検出処理は、眼の座標から視方向を推定することにより、正面を向いている時の視認行動と、脇見をしようとしている視認行動とを分離して判定するものである。しかしながら、運転者の頭部は、回転運動であるロール運動と上下動作であるピッチ運動、左右運動であるヨー運動の三種類からなり、更に、当該三種類の運動と、体全体の前後、左右、上下の移動による頭部のオフセット運動の三種類とを組み合わせると複雑な動きとなってしまう。

このため、運転者が横を見ようとして顔部のヨー運動を行った場合と、車室内の振動により顔部のロール運動を生じた場合とを、眼の座標位置の変化だけで検出すると、顔のロールによる挙動と、顔のヨーによる挙動が同じような移動量として検出されしまう。したがって、従来では、運転者が横を見ようとして眼の座標が変化したのか、振動によって眼の座標が変化したのかを区別することが困難であるという問題があった。

これに対し、眼の座標のみならず、顔の他の部位として鼻座標や顔の輪郭座標を合わせて追跡して、顔部位間の距離の比を用いた場合には、ヨー運動とロール運動を区別できるが、この場合、眼座標だけでなく顔の他の部位の座標を合わせて追跡しなければならなくなり、計算負荷が高くなるという問題があった。更に、顔の向きを推定することはできるが、運転者が視線方向を変えたか否かを判定することができないという問題があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、被験者の顔画像から得られる眼座標の変化が、被験者の視認行動によるものか、被験者の顔の向きを変える行動によるものかを確実に区別することができる視認行動判定装置を提供することを目的とする。

本発明に係る視認行動判定装置は、撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、顔画像に基づいて、被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、顔画像と眼座標とに基づいて被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段とを備えており、上述の課題を解決するために、眼座標取得手段で追跡されている眼座標の時系列変化及び開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定する。

本発明に係る視認行動判定装置によれば、眼座標の時系列変化及び眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定するので、被験者の眼座標の位置変化に加え、被験者が視線方向を往復させる際には眼のピント補正をするために瞬目行為をするという生理現象を検出して視認行動を判定することができ、顔の向きを変えた場合などを視認行動であると判定することを確実に回避することができ、被験者の顔画像から得られる眼座標の変化が、被験者の視認行動によるものか、被験者の顔の向きを変える行動によるものかを確実に区別することができる。

以下、本発明の実施の形態について図面を参照して説明する。

［第１実施形態］
本発明は、例えば図１に示すように構成された第１実施形態に係る視認行動判定システムの視認行動判定装置１２に適用される。なお、本実施形態において、視認行動判定システムは、車両を運転する運転者（被験者）の運転操作を支援する目的で車両に搭載されることを想定する。この視認行動判定システムにおける視認行動判定装置は、人(運転者)が視認行動を行い、例えば車両側方を見ていた状態から車両前方を視認方向に戻す行動のように、視線方向を戻す際には、眼のピントを補正するために瞬目を行うという生理現象を検出することにより、眼の状態としての眼座標の時系列変化及び開閉状態の時系列変化を検出して、運転者の行動が、「視認行動」であるか、「視認行動ではなく顔の向きを変えた行動」であるかを区別するものである。

［視認行動判定システムの構成］
視認行動判定システムは、図１に示すように、運転者の顔画像を撮像する撮像手段としてのビデオカメラ１０と、運転者の顔周辺を照明する照明装置１１と、運転者の視認行動を判定する視認行動判定装置１２とを有している。

ビデオカメラ１０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの受光素子、この受光素子を制御するドライバ回路、光学フィルタ及びレンズなどが装着された鏡頭部を有しており、撮像した映像（運転者の顔画像）をビデオ信号として視認行動判定装置１２に出力する。

照明装置１１は、例えばＬＥＤ（Light Emitting Diode）やハロゲンランプなどの光源、光源を制御するドライバ回路、光学フィルタ及びレンズ等の光学素子を有しており、近赤外光を運転者の顔面に照射して照明する。

つぎに、視認行動判定装置１２について、図２を参照しながら説明する。第１実施形態に係る視認行動判定装置１２は、図２に示すように、顔画像取得部２０と、眼位置検出部２１と、眼位置追跡部２２と、開閉眼学習部２３と、開閉眼判定部２４と、視認行動判定部２５と、視認結果出力部２６とを有している。

顔画像取得部２０は、ビデオカメラ１０から出力されたビデオ信号が入力され、このビデオ信号に含まれる一連の画像フレームのうちの１枚或いは複数枚の画像フレームを用いて、運転者の顔画像を抽出して取得する。このとき、顔画像取得部２０は、ビデオカメラ１０から入力されたビデオ信号にデジタル処理を施し、顔画像をデジタル画像としてキャプチャして、ビデオメモリ内に蓄積する。ここで、ビデオカメラ１０の取付位置や画角等から運転者の顔が撮像される画像内位置が決められており、顔画像取得部２０は、当該画像内位置のデジタル画像をキャプチャすることになる。

眼座標出力部２１は、例えば所定期間ごとに顔画像取得部２０で撮像された顔画像を取得し、当該顔画像に基づいて、運転者の眼位置を示す眼座標を検出して、眼位置追跡部２２に出力する。

眼位置追跡部２２は、時間的に前後する一連の顔画像を比較（複数の画像フレーム間で比較）して眼座標の追跡を行う。そして、眼位置追跡部２２は、追跡結果である現在の眼座標を開閉眼学習部２３，開閉眼判定部２４及び視認行動判定部２５に出力する。

開閉眼学習部２３は、顔画像取得部２０により取得された顔画像と、眼座標出力部２１により検出された眼座標の追跡結果である現在の眼座標とに基づいて、運転者の眼の開閉状態を学習する。このとき、開閉眼学習部２３は、眼座標から眼開度を取得して、学習結果を得て、開閉眼判定部２４に出力する。

開閉眼判定部２４は、運転者の眼開度に基づく開閉状態の判定を行い、眼開度を視認行動判定部２５に出力する。

視認行動判定部２５は、開閉眼判定部２４からの眼開度及び眼位置追跡部２２からの追跡結果である現在の眼座標から、運転者の視認行動を判定する。具体的には、視認行動判定部２５は、眼開度の変化及び現在の眼座標の時系列的な変化から、運転者の行動が視認行動であるか、顔の位置変動や顔の向き変動などの視認行動以外の行動であるかを判定する。

視認結果出力部２６は、視認行動判定部２５により判定された結果を信号として出力する。

「眼位置検出処理」
つぎに、眼位置検出部２１における眼位置検出処理について説明する。

眼位置検出部２１は、眼位置検出処理が開始されると、図３に示すように、現在の検出モードが、片側候補の検出処理か、或いは両側確定処理かを判断することにより、現在設定されている検出モードを確認する（ステップＳ１０）。

そして、眼位置検出部２１は、ステップＳ１で確認された検出モードに応じて、顔画像の画面全体から片眼となる候補を検出する片眼候補検出処理（ステップＳ１１）、片眼候補の座標によって局所領域から両眼を検出し両眼を確定する両眼確定処理（ステップＳ１２）のいずれかに処理を進める。また、ステップＳ１１或いはステップＳ１２における処理が完了すると、眼位置検出部２１は、眼位置検出処理を終了する。

ステップＳ２において片眼候補検出処理が開始されると、眼位置検出部２１は、図４のフローチャートに示すように、片眼の候補を検出するための処理エリアを設定する処理（ステップＳ２０）と、当該処理エリア内に存在する濃度変化点の連続データを検出する処理（ステップＳ２１）と、片眼候補を絞り込む処理（ステップＳ２２）と、次の画像フレームにおいて片眼候補の検出処理を行うか、両眼確定の処理を行うかを判断する処理（ステップＳ２３）とを順次行う。

ここで、ステップＳ２０において設定される処理エリアは、図５に示すように、顔画像の右半分又は左半分の領域として設定される。なお、図５においては、顔画像の右半分の領域に設定された場合の一例を示す。そして、この顔画像の右半分又は左半分の領域の眼付近では、例えば図６に示すように、眼の輪郭を示す横方向に隣接した濃度変化点群である連続データ（グループＡ）や、眉などの眼ではない濃度変化点群である連続データ（グループＢ）が検出されることになる。

また、ステップＳ２１は、眼位置検出部２１により、ステップＳ２０で設定された処理エリア内の縦ライン毎（図７（ａ））に、光量の濃度変化を検出し（図７（ｂ））、当該検出された白(淡)→黒(濃)と変化する濃度変化点が、横方向に連続する濃度変化点群を検出することにより、当該濃度変化点群を連続データとして検出する処理を行う（図７（ｃ））。なお、図７（ａ）では、処理エリア内に設定された複数の縦ラインのうちの１本のみを図示しており、この１本の縦ラインについての光量の濃度変化を図７（ｂ）に示す。図７（ｂ）に示す光量の濃度変化において、「眼」であると検出された両端点に注目し、複数の縦ラインについて両端点を並べた状態を図７（ｃ）に示す。なお、図７（ｃ）においては、「眼」であると検出された両端点をそれぞれ「○」「×」で示す。

また、ステップＳ２２における片眼候補を絞り込む処理においては、眼位置検出部２１により、ステップＳ２１で検出された連続データが、上瞼のラインであれば、上凸の形状をしているという仮定に基づいて形状認識を行い、上凸の形状と合致した濃度変化点のみを、眼を示す画像として残すように処理する。

ステップＳ２３においては、眼位置検出部２１により、片眼候補座標が検出されていない場合には次の画像フレームにおいて再度図４に示す片眼候補の検出処理を行うと判断し、或いは、片眼候補座標が検出された場合には次の画像フレームにおいてステップＳ１２における両眼確定の処理を行うと判断する。

ステップＳ１２における両眼確定処理を行うと判断されると、同一座標近辺に連続して上凸の形状をし、連続データとして検出される濃度変化点を片眼候補点として、両眼確定処理に遷移する。このステップＳ１２においては、図８に示すように、片眼候補の座標に両眼を検出するための処理エリアを設定する処理（ステップＳ３０）と、処理エリア内の濃度変化点の連続データを検出する処理（ステップＳ３１）と、両眼候補として検出された連続データと予め用意されたテンプレートとの比較によるパターン認識により両眼を判定する処理（ステップＳ３２）と、次の画像フレームにおいて片眼候補の検出処理に戻るか、引き続き両眼確定の処理を行うか、眼位置追跡の処理を行うかを判断する処理（ステップＳ３３）とを順次行う。

ここで、ステップＳ３０において設定される処理エリアは、図９に示すように、顔画像において、運転者の両眼を含む領域が設定される。なお、この図９においては、鼻を検出するための領域も設定されていて、当該領域内に鼻から検出される濃度変化点も示している。

また、ステップＳ３２で採用しているパターン認識処理は、予め複数の眼の画像からテンプレートとなる眼の画像を生成した画像データを用意しておき、当該テンプレートと、ステップＳ３１で検出した連続データとの相関を求める相互相関法を用いる手法が使用可能である。又は、このステップＳ３２では、予め複数の眼の画像と眼ではない顔部位画像(眼鏡のフレームや眉毛、鼻など)をニューラルネットワークによって学習し、眼か否かを判定するための画像をニューラルネットワークより判定する手法などを利用することができる。

「眼位置追跡処理」
つぎに、眼位置追跡部２２における眼位置追跡処理について、図１０に示すフローチャートを参照しながら説明する。

眼位置追跡部２２は、眼位置追跡処理が開始されると、図１１（ａ）に示すように、前回の眼位置検出処理又は両眼確定処理によって検出された眼座標近辺の領域から、基準眼を検出する（ステップＳ４０）。ここで、上述した眼位置検出処理における基準眼の検出位置とは、眼位置検出部２１によって検出された「眼（図７（ｃ））」について、図１１（ｃ）に示すように、「上端」「下端」「左端」「右端」を設定して、これらの中心位置を基準眼の位置として検出する処理である。

次に、眼位置追跡部２２は、基準眼が検出できたか否か判定し（ステップＳ４１）、検出できた場合には、図１１（ｂ）に示すように、当該検出した今回の基準眼の座標から、前回の眼位置検出処理又は両眼確定処理により検出された眼の座標までの眼間距離を求めて、反対眼の検出領域を設定し、当該検出領域から反対眼を検出する（ステップＳ４２）。

ステップＳ４１において、眼位置追跡部２２は、基準眼が検出できないと判定された場合には、反対眼を基準眼に変え（ステップＳ４３）、再び基準眼の検出を行う（ステップＳ４４）。次に、眼位置追跡部２２は、反対眼を基準眼として検出できたか否か判定し（ステップＳ４５）、検出できないと判定された場合には、当該画像フレームでの追跡に失敗したとみなして（ステップＳ４６）、眼位置追跡処理を終了する。また、ステップＳ４５において、眼位置追跡部２２は、反対眼を基準眼として検出できたと判定された場合には、処理をステップＳ４２に進める。

ステップＳ４２において反対眼の検出を行った後、眼位置追跡部２２は、反対眼が検出できたか否か判定し（ステップＳ４７）、検出できた場合には、検出した基準眼及び反対眼の座標を確定して（ステップＳ４８）、眼位置追跡処理を終了する。また、ステップＳ４７において、反対眼を検出できないと判定された場合には、眼位置追跡部２２は、前回の眼座標から眼間距離を求めて、基準眼の座標から眼間距離相当分の移動位置を反対眼の座標として確定し（ステップＳ４９）、眼位置検出処理を終了する。

「開閉眼判断処理」
つぎに、開閉眼学習部２３による開閉眼学習処理及び開閉眼判定部２４による開閉眼判定（決定）処理について、図１２に示すフローチャートを参照しながら説明する。

開閉眼学習部２３及び開閉眼判定部２４は、開閉眼学習処理及び開閉眼判断処理が開始されると、眼位置追跡部２２による眼位置追跡処理によって得られた眼座標近辺の画像領域から、画像の濃淡値により２値化閾値を決定し、顔画像から眼領域を切り出すことにより、眼の「左端」「右端」「上端」「下端」を取得して、開閉眼判断用パラメータを設定する（ステップＳ５０）。ここで、開閉眼判断用パラメータとして設定される眼の「左端」「右端」「上端」「下端」の各座標は、開眼時と閉眼時とではその相対位置関係が異なるように設定されることになる。

次に、開閉眼学習部２３及び開閉眼判定部２４は、眼の「上端」と「下端」との間の距離(眼の縦幅)を眼の開度として求める（ステップＳ５１）。ここで、ステップＳ５０で設定された開閉眼判断用パラメータから、眼の「上端」と「下端」との相対位置関係は、眼の開閉状態が閉眼に近づくに従って、近接した関係となる。

次に、開閉眼判定部２４は、眼の「右端」「左端」「上端」による上瞼の形状に基づいて、「右端」と「左端」とを結ぶ線分に対して「上端」の座標が上方にあるか下方にあるかを判定する。そして、開閉眼判定部２４は、この判定結果に基づいて眼の形状が上凸状であるか、下凸(凹)状であるか、或いは水平であるかを判定する（ステップＳ５２）。

次に、開閉眼判定部２４は、眼の開閉学習が終了しているか否かを判定し（ステップＳ５３）、開閉眼学習部２３による終了していない場合には眼の開閉学習を行わせる（ステップＳ５４）。一方、眼の開閉学習が終了している場合には、眼の形状と眼の学習結果によって得られる眼の縦幅閾値と、検出した現在の眼の縦幅とに基づき、検出した現在の眼の縦幅が眼の縦幅閾値以下の場合を閉眼、縦幅閾値以上の場合を開眼として判断する（ステップＳ５５）。具体的には、図１３に示すように、開閉眼判定部２４は、現在の眼の縦幅（開眼開度値）が予め設定し閾値以上である場合には、運転者の眼が開状態であると判定し、現在の眼の縦幅が閾値以下に下降した場合に、運転者の眼が閉状態であると判定する。

開閉眼学習部２３及び開閉眼判定部２４は、ステップＳ５４或いはステップＳ５５の処理の後に、一連の処理を終了する。

ステップＳ５４における開閉眼学習部２３による眼の開閉学習処理は、以下のようにして行われる。すなわち、図１２のフローチャートに示す一連の処理で得られた眼の縦幅と、眼の形状とから、眼の形状が上凸であるときの開度値を、図１４に示すような開度値ごとに用意したカウンタ用メモリ配列にてカウントし、各開度値の左右のカウンタ用メモリの合計値が予め設定された設定値（本実施形態においては「２０」とする）以上となった開度値を、開眼開度値として学習する。また、開眼開度値から予め設定された所定の割合（本実施形態においては「３０％」とする）を、図１３で説明したように、開眼と閉眼を区別するための閾値として設定する。

「視認行動判定処理」
つぎに、視認行動判定部２５における処理について説明する。

視認行動判定部２５は、視認行動の判定を行うために、眼位置追跡によって得られる眼の座標を眼位置追跡部２２から入力し、開閉眼判定によって得られる眼の開閉状態を開閉眼判定部２４から入力する。そして、視認行動判定部２５は、双方の検出結果の時系列な変化によって、運転者の行動が視認行動であるか、顔の位置変動や顔の向き変動などの視認行動以外の行動であるかを判定する。

図１５に、眼位置追跡処理によって得られる左右の眼の座標（Ｘ軸方向、Ｙ軸方向）と、開閉眼判定処理によって得られる眼の開閉状態を時系列に示す。この図１５（ａ）に示すように、Ｘ軸における眼座標の変化、すなわち視線方向変化がフレーム番号１３００〜１４００で検出されているが、当該視線方向変化の開始時及び終了時において開眼→閉眼→開眼となる変化が短い期間でなされる瞬目行為を検出している。また、図１５（ａ）とは逆方向の眼座標変化を図１５（ｂ）に示すが、この場合であっても、Ｘ軸における眼座標の変化、すなわち視線方向変化がフレーム番号７００〜８００で検出されており、当該視線方向変化の開始時及び終了時において開眼→閉眼→開眼となる変化が短い期間でなされる瞬目行為を検出している。このような結果から、運転者（被験者）が眼座標が変化する視認行動時には、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に瞬目行為を伴う生理現象を検出できていることがわかる。

これに対し、視認行動判定部２５は、眼座標の移動を所定期間ごとに眼位置追跡部２２から入力することによって、時系列で眼座標の変化を検出して、当該眼座標の移動が一定距離以上となり、その後、眼座標の移動が一定距離未満となった場合、すなわち、一定時間区間における眼座標の分散値が設定値以上となる区間と、次の一定時間区間における眼座標の分散値が設定値未満となる区間とを検出する。また、視認行動判定部２５は、当該眼座標の分散値が設定値以上となる区間と、眼座標の分散値が設定値未満となる区間との間付近における、開閉眼判定部２４からの開閉状態の判定結果を入力して、開眼→閉眼→開眼となる変化が短い期間でなされる瞬目行為がなされていたか否かを判定して、瞬目行為があった場合には、眼座標の分散値が設定値以上となった行動が視認行動であると判定し、瞬目行為がなかった場合には、眼座標の分散値が設定値以上となった行動が視認行動ではないと判定できる。

したがって、視認行動判定部２５は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定でき、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定できる。

又は、視認行動判定部２５は、瞬目行為間における眼座標の分散値の平均値を求めて、瞬目行為間での眼座標の分散値が設定値以上であった場合には、当該瞬目行為間で視認行動があったと判定し、瞬目行為間での眼座標の分散値が設定値以上ではなかった場合には、当該瞬目行為間で視認行動がなかったと判定しても良い。

更に、視認行動判定部２５は、視認行動の有無を判断するために、図１６に示すような眼座標の移動量と瞬目行為の有無との関係による視認行動の有無の可能性を記したテーブルデータを使用しても良い。この図１６によれば、（１）眼座標移動が大きく且つ眼座標移動の前後の何れかに瞬目行為が検出された場合には視認行動が有った可能性が高い、（２）眼座標移動が少なく眼座標移動の前後の何れにも瞬目行為が検出されていない場合には視認行動が有った可能性が低い、（３）眼座標移動は大きいが、眼座標移動の前後に瞬目行為が検出されていない場合、又は、眼座標移動は少ないが、眼座標移動の前後に瞬目行為が検出されていた場合には視認行動が有った可能性が中程度である、という（１）〜（３）の３個の条件を使用する。そして、視認行動判定部２５は、このような３個の条件と、眼座標の移動量及び瞬目行為の有無とを比較して、当該眼座標の移動が視認行動である可能性の高、中、低が判定できる。

［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した視認行動判定装置によれば、眼座標の時系列変化及び眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定するので、運転者の眼座標の位置変化に加え、運転者が視線方向を往復させる際には眼のピント補正をするために瞬目行為をするという生理現象を検出して視認行動を判定することができ、顔の向きを変えた場合などを視認行動であると判定することを確実に回避することができる。

また、視認行動判定システムによれば、眼座標の移動量が設定値以上であるかを判定し、当該眼座標の移動時に瞬目行為の有ったと判定した場合には、当該眼座標の時系列変化が、被験者の視認行動であることによるものと判定することができ、視線移動時には瞬目行為を伴うという生理現象を利用して、確実に視認行動と顔の向きを変える等の行為とを区別することができる。

更に、視認行動判定システムによれば、瞬目行為が有ったと判定した場合に、当該瞬目行為間における眼座標の移動量の平均値を求めて、当該瞬目行為間での眼座標の移動量が設定値以上であった場合には、当該眼座標の時系列変化が、被験者の視認行動であることによるものと判定することができ、視線移動時には瞬目行為を伴うという生理現象を利用して、確実に視認行動と顔の向きを変える等の行為とを区別することができる。

また、視認行動判定システムは、眼座標のみから視線方向を推定して正面を向いている時の視認行動と、脇見をしようとしている視認行動とを分離して判定する場合のように複雑な処理を行う必要なく、眼座標の変化が、視認行動によるものか、顔の向きを変えたことによるものかを確実に判定することができる。

すなわち、この視認行動判定システムによれば、運転者の頭部が、回転運動であるロール運動と上下動作であるピッチ運動、左右運動であるヨー運動の三種類からなり、更に、当該三種類の運動と、体全体の前後、左右、上下の移動による頭部のオフセット運動と三種類とを組み合わせると複雑な動きとなってしまうが、このような複雑な動きを眼座標の変化だけで判定する必要がない。更に、眼座標、鼻座標や顔の輪郭座標を合わせて追跡して、顔部位間の距離の比を用いる場合のように、複数の顔部位を追跡する必要なく、視認行動判定システムによれば、眼座標の追跡のみで、視認行動か、顔の向きを変えたかを確実に判定することができる。

更にまた、視認行動判定システムによれば、眼座標を取得するために、顔画像全体の右半分又は左半分から片眼の候補を検出する処理エリアを設定し、当該処理エリアから片眼候補座標の検出を行って片眼候補座標が検出された場合に、当該片眼候補座標を基準にして両眼を検出するための領域を設定し、当該領域内で片眼候補座標に対する両眼の確定処理を行うので、顔画像全体から両眼を探すよりも少ない計算量により両眼を検出することができ、処理負荷を低減させることができる。

更にまた、視認行動判定システムによれば、眼座標を取得するために、顔画像中における眼を検出するための処理エリア内に複数の縦ラインを設定し、当該縦ラインごとに、光量の濃度変化の微分値を求めて濃度変化点を検出し、当該縦ライン間の濃度変化点が横方向で連続する連続データの中心座標を眼座標として取得するので、例えば太陽光の影響による影や、逆光による影響に左右されずに、眼座標の候補を検出することができる。

更にまた、視認行動判定システムによれば、時間的に前に取得した眼座標を中心とした領域から現在の基準となる眼座標が検出された場合には、当該基準となる眼座標から、時間的に前に取得した両眼間距離だけ離れた座標付近に存在する反対眼を求めて両眼を追跡するので、顔画像のフレームごとに眼座標の検出を行う必要がなくなり、前回のフレームで得た眼座標と眼間距離によって、簡単に眼座標の追跡を行うことができる。

更にまた、視認行動判定システムによれば、眼の左端座標、上端座標、右端座標から眼の形状が上凸であるかを判定し、眼の形状が上凸である場合の眼の上端座標と下端座標との距離を開眼開度値として記録し、当該開眼開度値から予め設定された所定の割合を減じた値を開眼と閉眼とを区別するための閾値として設定する学習を行い、当該閾値と眼開度とから運転者の眼の開閉状態を判定するので、眼の縦幅のみを開眼開度値の学習に使用することができ、眼（上瞼）の形状が水平や下凸（凹）といった閉眼の可能性のあるときの開度値を学習データから排除して、精度の高い開閉判定を行うことができる。

［第２実施形態］
つぎに、第２実施形態に係る視認行動判定システムについて説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

第２実施形態に係る視認行動判定システムは、図１７に示すように、眼位置追跡部２２及び視認行動判定部２５に接続された車両信号取得部３１と、視認行動判定部２５に接続された周囲環境取得部３２とを備えた点で、第１実施形態に係る視認行動判定システムとは異なる。車両信号取得部３１は、車速や操舵角を車両信号として取得して、眼位置追跡部２２及び視認行動判定部２５に出力する。また、周囲環境取得部３２は、ＧＰＳ信号に基づく車両位置、ナビゲーションシステムからの走行道路環境情報、車間距離センサからの車間距離などを、車両周囲環境情報として取得して、視認行動判定部２５に出力する。

眼位置追跡部２２は、車速信号、操舵角信号を受信すると、当該車速信号、操舵角信号に基づいて眼座標の追跡処理を保留するか、継続して実行するかを判定する。すなわち、眼位置追跡部２２は、車速が一定速度以下、例えば車両が停止状態である場合には、眼座標の追跡処理を保留する。また、眼位置追跡部２２は、操舵角が一定値以上、例えば右左折動作状態である場合には、眼座標の追跡処理を保留する。

これにより、車両が停止している状態や、右左折動作状態のように運転者が大きく顔を移動させる可能性がある場合には、眼座標の追跡処理を保留させることができる。具体的には、車速がない場合や、駐車場内等の視線方向が定まりずらい場合には、顔の動きが大きくて眼座標が捕らえられない場面を特定して、眼位置追跡部２２の誤検出を防ぐことができる。そして、車速が所定値以上となり、且つ操舵角が所定値以下となったら、眼位置追跡部２２による眼座標の追跡を開始することになる。

また、視認行動判定部２５は、車両信号取得部３１からの車速信号、周囲環境取得部３２からの車間距離信号を受信すると、当該車速信号、車間距離信号の時系列変化によって、自車両が前方車両に急接近したか否かを判定する。そして、視認行動判定部２５は、自車両が前方車両に急接近したと判定した場合には、眼位置追跡部２２から現在の眼座標標を取得して、当該現在の眼座標によって運転者が車両前方の正面を視認しているかを判定する。この結果、視認行動判定部２５は、運転者が車両前方を視認していない場合には、当該結果を視認結果出力部２６から図示しない警報装置に出力させる。ここで、視認行動判定部２５は、上述したように、眼座標の移動量と瞬目行為の有無とに基づいて視認行動により変化したと判定できる眼座標によって、運転者が車両前方を視認しているか否かを判定することになる。

これにより、前方車両に対する急接近時には、前方と見ているか否かを判定することが主な課題となるため、開閉眼判定の結果を用いず、眼の座標位置から正面を向いているか否かを判定して、必要に応じて警報をさせることができる。

また、周囲環境取得部３２によって車両前方の障害物情報を取得する障害物センサを使用し、図１８に示すように、前方車両と歩行者が検出されている場合に、眼座標に応じて、視認行動判定部２５によって現視認領域が前方車両となっており、非視認領域が歩行者となっていることを判定することができる。ここで、視認行動判定部２５は、上述したように、眼座標の移動量と瞬目行為の有無とに基づいて視認行動により変化したと判定できる眼座標によって、運転者が歩行者を視認しているか否かを判定することになる。

これにより、視認行動判定システムでは、現視認領域が前方車両であり、非視認領域が歩行者であることを示す信号を視認結果出力部２６を介して図示しない警報装置に出力することにより、視認領域を歩行者とすることを報知することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明を適用した視認行動判定装置を含む視認行動判定システムの概略ブロック図である。 本発明を適用した第１実施形態に係る視認行動判定システムの構成を示すブロック図である。 眼位置検出部による眼位置検出処理の一例を示すフローチャートである。 片眼候補検出処理の一例を示すフローチャートである。 片眼候補検出処理により設定される処理エリアの一例を示す模式図である。 眼座標の候補となる連続データの取得について説明するための図である。 片眼候補検出処理を説明するための模式図であり、（ａ）は処理エリア内に設定される縦ラインを示す図であり、（ｂ）は縦ラインにおいて光量の濃度変化が検出された状態を示す図であり、（ｃ）は顔画像に含まれる「眼」が検出された状態を示す図である。 両眼確定処理の一例を示すフローチャートである。 両眼確定処理により設定される処理エリアの一例を示す模式図である。 眼位置追跡処理の一例を示すフローチャートである。 眼位置追跡処理を説明するための模式図であり、（ａ）は基準眼の検出を説明するための模式図であり、（ｂ）は反対眼の検出を説明するための模式図であり、（ｃ）は基準眼の検出を説明するための模式図である。 開閉眼判定部による処理の一例を示すフローチャートである。 眼の開度値と閾値との比較によって開眼、閉眼を判定することを説明するための模式図である。 開閉眼判定部による学習処理について説明するための模式図である。 （ａ）は眼座標の時系列変化と瞬目行為との関係を示す図であり、（ｂ）は（ａ）とは逆方向を視認した場合の眼座標の時系列変化と瞬目行為との関係を示す図である。 眼座標の移動量と、眼座標移動前後における瞬目行為の有無によって、視認行動の可能性が高、中、低の程度で分類できることを説明するための図である。 本発明を適用した第２実施形態に係る視認行動判定システムの構成を示すブロック図である。 視認行動判定部によって現視認領域と非視認領域を設定することを説明するための図である。

符号の説明

１０ ビデオカメラ
１１ 照明装置
１２ 視認行動判定装置
２０ 顔画像取得部
２１ 眼位置検出部
２１ 眼座標出力部
２２ 眼位置追跡部
２３ 開閉眼学習部
２４ 開閉眼判定部
２５ 視認行動判定部
２６ 視認結果出力部
３１ 車両信号取得部
３２ 周囲環境取得部

Claims (7)

1. 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
   前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
   前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
   前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
   前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
   前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
   前記眼座標取得手段は、
   顔画像全体の右半分又は左半分から片眼の候補を検出する処理エリアを設定し、当該処理エリアから片眼候補座標の検出を行う片眼候補検出手段と、
   前記片眼候補検出手段により片眼候補座標が検出された場合に、当該片眼候補座標を基準にして両眼を検出するための領域を設定し、当該領域内で片眼候補座標に対する両眼の確定処理を行う両眼確定処理手段とを備えることを特徴とする視認行動判定装置。
2. 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
   前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
   前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
   前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
   前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
   前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
   前記眼座標取得手段は、時間的に前に取得した眼座標を中心とした領域から現在の基準となる眼座標が検出された場合には、当該基準となる眼座標から、時間的に前に取得した両眼間距離だけ離れた座標付近に存在する反対眼を求めて、両眼を追跡することを特徴とする視認行動判定装置。
3. 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
   前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
   前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
   前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
   前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
   前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
   前記眼座標取得手段は、車速センサで検出された自車両の車速が所定値以下である場合、又は、操舵角センサで検出された自車両の操舵角が所定値以上である場合に、眼座標の追跡を保留することを特徴とする視認行動判定装置。
4. 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
   前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
   前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
   前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
   前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
   前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
   前記視認行動判定手段は、車間距離検出センサで検出された自車両と前方車両との車間距離が急接近した場合に、眼座標の時系列変化及び開閉状態の時系列変化から、当該眼座標の時系列変化が被験者の視認行動であることによるものか否かを判定する処理を停止して、眼座標の時系列変化から被験者が前方を視認しているか否かを判定することを特徴とする視認行動判定装置。
5. 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
   前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
   前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
   前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
   前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
   前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
   前記視認行動判定手段は、障害物センサで検出された車両前方の障害物領域のうち、被験者が視認している現視認領域と非視認領域とを判定し、非視認領域を視認することを示す信号を視認結果出力手段を介して警報装置に出力させることを特徴とする視認行動判定装置。
6. 前記眼座標取得手段は、顔画像中における眼を検出するための処理エリア内に複数の縦ラインを設定し、当該縦ラインごとに、光量の濃度変化の微分値を求めて濃度変化点を検出し、当該縦ライン間の濃度変化点が横方向で連続する連続データの中心座標を眼座標として取得すること特徴とする請求項１に記載の視認行動判定装置。
7. 前記開閉眼判定手段は、
   前記眼座標取得手段で取得された眼座標のうち、眼の左端座標、上端座標、右端座標から眼の形状が上凸であるかを判定し、眼の形状が上凸である場合の眼の上端座標と下端座標との距離を、開眼開度値として記録し、当該開眼開度値から予め設定された所定の割合を減じた値を開眼と閉眼とを区別するための閾値として設定する学習を行い、当該閾値と眼開度とから被験者の眼の開閉状態を判定することを特徴とする請求項１乃至請求項５の何れか一項に記載の視認行動判定装置。