JP6720951B2 - 運転者状態判定装置とその方法およびプログラム - Google Patents

Description

この発明の実施形態は、例えば車両の運転者の脇見状態を判定する運転者状態判定装置とその方法およびプログラムに関する。

近年、乗用車等の車両走行時に、運転者を支援するための各種装置が車両に搭載されるようになってきている。その一つに、車両の運転者の特定の状態、例えば、運転者の顔の方向又は視線方向を検出して、運転者が脇見をしているかどうかを判定し、脇見状態であれば警告を発する脇見運転判定装置が知られている。運転者の顔の方向又は視線方向が正面方向から所定角度以上ずれているときに、脇見をしていると判定するのが一般的である。ところが、この運転者の正面方向は車両の正面方向と必ずしも一致するものではなく、個人差が存在する。すなわち、運転者が正面として顔または視線を保持する方向は、個人により数度から十数度の違いがあることが知られている。

そこで、例えば、特許文献１には、脇見と判定された頻度と脇見ではないと判定された頻度との比に応じて、脇見判定の基準値を変更する脇見運転判定装置が提案されている。この装置では、その運転者に合った基準値を設定することで、運転者個々の個人差を補正して運転者の個人差により変化することのない精度の高い脇見判定を行うことができるようにしている。

特開平８−２０７６１７号公報

特許文献１に記載された技術では、運転者に応じて、脇見かどうかの判定基準値が変更される。しかしながらこの変更は、脇見の多い運転者に対しては判定基準を緩くするというものであり、運転者の個人差に応じて運転者の状態判定の精度は保証されるが、安全性の観点からは望ましいものではない。

この発明は上記事情に着目し、その目的の一つは、運転者個々の個人差に依らず安全で精度の高い運転者状態判定をできるようにした、運転者状態判定装置とその方法およびプログラムを提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、運転者状態判定装置が、第１のセンサから出力された、車両の運転者の画像を含む第１のセンシングデータに基づいて、前記運転者の顔または視線の方向を判定し、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向についての統計情報を繰り返し演算する演算部と、前記演算部によって演算された前記統計情報に基づいて、前記車両の正面方向として設定された基準方向に対して前記演算部によって判定された前記運転者の顔または視線の方向を校正する、または、前記基準方向を校正する校正部と、前記校正部によって校正された前記運転者の顔または視線の方向の前記基準方向からの乖離度に基づいて、または、前記演算部によって判定された前記運転者の顔または視線の方向の前記校正部によって校正された前記基準方向からの乖離度に基づいて、前記運転者の状態を判定する第１の判定部と、前記第１の判定部の判定結果を、前記運転者に対して出力する出力部と、を具備し、前記演算部は、誤学習要因を排除した第１の条件が満たされるときに、前記統計情報を繰り返し演算する第１の学習部と、前記誤学習要因を含む第２の条件が満たされるときに、前記統計情報を繰り返し演算する第２の学習部と、を備え、前記校正部は、前記第２の学習部によって演算された前記統計情報に、前記第１の学習部によって演算された前記統計情報よりも低い重み付けを行って、前記運転者の顔または視線の方向、または、前記基準方向を校正するようにしたものである。

この発明の第１の態様によれば、運転者状態判定装置では、演算部により、第１のセンサから出力された第１のセンシングデータに基づいて、運転者の顔または視線の方向を判定し、車両の正面方向に対して運転者が正面として顔または視線を保持する方向についての統計情報を繰り返し演算し、校正部により、この演算された統計情報に基づいて、車両の正面方向として設定された基準方向に対して判定された運転者の顔または視線の方向を校正する、または、基準方向を校正する。つまり、運転者が正面と認識している方向（その運転者にとっての０°）を、車両の正面方向として設定された基準方向である運転者状態判定装置上の正面方向（０°）に合わせるための校正を行う。この校正としては、第１のセンシングデータに基づく運転者の顔または視線の方向の判定値を補正するようにしてもよいし、車両の正面方向として設定された基準方向を補正してもよい。そして、第１の判定部によって、この校正された運転者の顔または視線の方向の基準方向からの乖離度に基づいて、または、判定された運転者の顔または視線の方向の校正された基準方向からの乖離度に基づいて、運転者の状態を判定して、出力部により、その判定結果を運転者に対して出力する。よって、例えば、運転者個々人によって異なる、その運転者の顔または視線の方向の０°を、運転者状態判定装置の所定の基準方向である、例えば車両の正面方向０°に対して校正した上で、運転者の状態、例えば脇見状態か否かを判定することができる。すなわち、その運転者が正面と感じている方向が装置の０°と異なっていれば、その運転者の正面方向を装置の０°として扱う。これにより、例えば脇見運転の判定基準を運転者によって緩める必要が無くなり、運転者個々の個人差に依らず安全で精度の高い運転者状態判定を行うことが可能となる。また、この発明の第１の態様によれば、演算部により、第１の学習部による誤学習要因を排除した第１の条件を満たす、精度は高いが回数が少ない統計情報演算に加えて、第２の学習部による上記誤学習要因を含む第２の条件を満たす、精度は低いが回数が多い統計情報演算も並行して行うことで、第１の判定部において、車両の運転開始直後から早い段階で運転者の状態を判定することが可能になる。また、校正部は、精度の高い統計情報よりも精度の低い統計情報の重みを低くして校正を行うことで、校正結果について、或る程度以上の精度を持たせることが可能になる。

この発明の第２の態様は、上記第１の態様において、前記第１の判定部は、第２のセンサから出力された、車両の状態を表す第２のセンシングデータに基づいて、前記運転者の状態を判定するか否か、または、判定結果を前記出力部によって出力するか否かを決定するようにしたものである。

この発明の第２の態様によれば、第１の判定部によって、第２のセンサから出力された、車両の状態を表す第２のセンシングデータに基づいて、運転者の状態を判定するか否か、または、判定結果を前記出力部によって出力するか否かを決定する。つまり、車両の状態に応じて、運転者の状態を判定するかどうかを決定することができる。例えば、運転者の状態として脇見状態を判定する際に、カーブしている道路を走行しているときや、右左折、車線変更を行う際には、安全確認のため運転者は脇見と同様の振る舞いを行う場合が有るので、これを脇見と判定しないようにすることができる。また、車両が移動していない停車時には、運転者が脇見をしても問題とならない場合が多く、特には、車両を停車状態から発進させる際には、安全確認のために運転者は脇見と同様の振る舞いを行うので、車両停車状態のとき、および発進後所定時間の間または所定距離走行するまで、あるいは所定の車速に達するまでは、脇見判定を行わないようにしてもよい。また、運転者の状態の判定自体は行っても、その判定結果を出力しなければ、同様の効果が得られる。

この発明の第３の態様は、上記第２の態様において、前記演算部は、前記第１の学習部による前記統計情報の演算が所定回数行われたとき、前記第２の学習部による前記統計情報の演算を終了すようにしたものである。

この発明の第３の態様によれば、第１の学習部による統計情報の演算が所定回数行われれば、十分な精度の統計情報が得られるので、第１の学習部による統計情報の演算のみとする。したがって、不要な演算を行う無駄を省くことができる。

この発明の第４の態様は、上記第２または第３の態様において、過去に演算された複数の運転者それぞれの統計情報を記憶する記憶部をさらに具備し、前記演算部は、前記第２の学習部による前記統計情報の演算結果に近似する統計情報が前記記憶部に記憶されているとき、前記第２の学習部による前記統計情報の演算を終了するようにしたものである。

この発明の第４の態様によれば、第２の学習部によって演算された統計情報の演算結果に近似する統計情報が記憶部に記憶されていれば、つまり過去に演算されていれば、それ以上は第２の学習部による統計情報の演算を行わない。したがって、車両を運転している現在の運転者が既に演算した運転者であれば、第１の学習部によって演算された統計情報は正しいものとすることで、第１の学習部による統計情報のみの演算とすることができる。

この発明の第５の態様は、上記第４の態様において、前記第１の学習部は、運転者交代の可能性が生じたとき、そのときまでに前記演算部が演算した前記統計情報を前記記憶部に記憶させ、前記演算部は、運転者交代の可能性が生じたとき、前記第１および第２の学習部による前記統計情報の演算を新規に開始するようにしたものである。

この発明の第５の態様によれば、運転者交代の可能性が生じたとき、それまで第１の学習部によって演算した統計情報を記憶部に記憶させた上で、第１および第２の学習部による統計情報の演算を新規に開始する。通常、車両の動力源がオフされる前に、車両が完全に停止したパーキング状態とされるので、これにより運転者交代可能性有りと判定されて、それまで第１の学習部によって演算した統計情報が記憶部に記憶される。よって、演算した統計情報を確実に記憶部に記憶させることができる。特に、新たな運転者についての統計情報の演算をはじめた場合に、その演算結果を確実に記憶させることができる。

この発明の第６の態様は、上記第５の態様において、前記第１または第２のセンシングデータに基づいて、前記運転者交代の可能性の有無を判定する第２の判定部をさらに具備するようにしたものである。

この発明の第６の態様によれば、運転者交代の可能性が生じたかどうかは、第２の判定部によって、第１または第２のセンシングデータに基づいて判定される。例えば、第２の判定部は、車両が完全に停止したことを、第２のセンサである車速センサのセンシングデータにより判定し、パーキング状態となったことを、第２のセンサであるギアセレクタセンサおよび／またはパーキングブレーキセンサのセンシングデータにより判定することで、運転者が交代した可能性があると判定する。また、例えば、第２の判定部は、第１のセンサであるドライバカメラからの第１のセンシングデータに基づいて、運転者が監視画像中から一旦消えた後、再度監視画像中に出現したこと、あるいは、第１のセンシングデータに基づく運転者の顔または視線の検出が一旦不能となった後、再度検出可能となったことを検出した場合に、運転者が交代した可能性があると判定する。したがって、第１または第２のセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。また、上記第２の判定部が上記運転者交代の可能性の有無を判定するために、顔認識等の複雑な個人認証処理は必要なく、あるいは、運転者が運転者交代を自己申請するような特別な操作を行わなくても、運転者交代の可能性を簡易に判定できるようになる。さらに、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。

この発明の第７の態様は、上記第１乃至第６の態様のいずれかにおいて、前記統計情報は、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向の、所定時間内の平均値および偏差量を含むようにしたものである。

この発明の第７の態様によれば、統計情報として、例えば所定時間内の車両の正面方向に対して運転者が正面として顔または視線を保持する方向の平均値および偏差量を演算する。したがって、統計情報を容易に求めることができる。

また、上記課題を解決するためにこの発明の第８の態様は、車両の運転者の状態を判定する運転者状態判定装置が実行する運転者状態判定方法であって、前記運転者状態判定装置が、第１のセンサから出力された、車両の運転者の画像を含む第１のセンシングデータに基づいて、前記運転者の顔または視線の方向を判定し、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向である保持方向についての統計情報を繰り返し演算する過程と、前記運転者状態判定装置が、前記演算された前記統計情報に基づいて、前記車両の正面方向として設定された基準方向に対して前記判定された前記運転者の顔または視線の方向を校正する、または、前記基準方向を校正する過程と、前記運転者状態判定装置が、前記校正された前記運転者の顔または視線の方向の前記基準方向からの乖離度に基づいて、または、前記判定された前記運転者の顔または視線の方向の前記校正された前記基準方向からの乖離度に基づいて、前記運転者の状態を判定する過程と、前記運転者状態判定装置が、前記運転者の状態の判定結果を、前記運転者に対して出力する過程と、を具備し、前記演算する過程は、誤学習要因を排除した第１の条件が満たされるときに、前記運転者状態判定装置が、前記統計情報を繰り返し演算する第１の学習過程と、前記誤学習要因を含む第２の条件が満たされるときに、前記運転者状態判定装置が、前記統計情報を繰り返し演算する第２の学習過程と、を備え、前記校正する過程は、前記運転者状態判定装置が、前記第２の学習過程によって演算された前記統計情報に、前記第１の学習過程によって演算された前記統計情報よりも低い重み付けを行って、前記運転者の顔または視線の方向、または、前記基準方向を校正する過程を備えるようにしたものである。

この発明の第８の態様によれば、上記第１の態様同様、例えば、運転者個々人によって異なる、その運転者の顔または視線の方向の０°を、運転者状態判定装置の所定の基準方向である、例えば車両の正面方向０°に対して校正した上で、運転者の状態、例えば脇見状態か否かを判定することができ、運転者個々の個人差に依らず安全で精度の高い運転者状態判定を行うことが可能となる。また、上記第１の態様同様、誤学習要因を排除した第１の条件を満たす、精度は高いが回数が少ない統計情報演算に加えて、誤学習要因を含む第２の条件を満たす、精度は低いが回数が多い統計情報演算も並行して行うことで、車両の運転開始直後から早い段階で運転者の状態を判定することが可能になる。また、精度の高い統計情報よりも精度の低い統計情報の重みを低くして校正を行うことで、校正結果について、或る程度以上の精度を持たせることが可能になる。

また、上記課題を解決するためにこの発明の第９の態様は、運転者状態判定プログラムが、上記第１乃至第７の態様のいずれかの運転者状態判定装置が具備する各部としてコンピュータを機能させるようにしたものである。

この発明の第９の態様によれば、コンピュータを利用して、上記第１乃至第７の態様を実現することができる。

すなわちこの発明の各態様によれば、運転者個々の個人差に依らず安全で精度の高い運転者状態判定をできるようにした、運転者状態判定装置とその方法およびプログラムを提供することができる。

図１は、この発明の実施形態に係る運転者状態判定装置の一適用例を説明するブロック図である。 図２は、第１実施形態に係る運転者状態判定装置を備えた運転者状態判定システムの構成を例示したブロック図である。 図３は、第１実施形態における運転者状態判定システムの学習データ記憶部に記憶された学習結果の一例を示す図である。 図４は、第１実施形態における運転者状態判定システムの処理手順と処理内容の一例を示すフローチャートである。 図５は、第１実施形態における処理手順に従った学習内容と演算される個人差補正値の一例を示すタイムチャートである。 図６Ａは、第２実施形態に係る運転者状態判定装置を備えた運転者状態判定システムの学習データ記憶部に構成される不揮発性学習値テーブルの一例を示す図である。 図６Ｂは、第２実施形態における学習データ記憶部に構成される揮発性学習値テーブルの一例を示す図である。 図６Ｃは、第２実施形態における学習データ記憶部に構成される揮発性学習値テーブルの別の例を示す図である。 図６Ｄは、学習された精度優先学習値が新たに追加された不揮発性学習値テーブルの一例を示す図である。 図７は、第２実施形態における運転者状態判定システムの処理手順と処理内容の一例を示すフローチャートである。 図８は、第２実施形態における処理手順に従った学習内容と演算される個人差補正値の一例を示すタイムチャートである。 図９は、第２実施形態の変形例における運転者状態判定システムの処理手順と処理内容の一例を示すフローチャートである。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［適用例］
先ず、この発明の実施形態に係る、車両の運転者の状態を判定する運転者状態判定装置の一つの適用例について説明する。
図１は、この適用例における運転者状態判定装置の構成例を模式的に示したものである。

運転者状態判定装置１０は、監視データ取得部１１と、車両情報取得部１２と、取得情報記憶部１３と、演算部（第１の学習部および第２の学習部）および校正部としての統計演算部１４と、第１の判定部としての運転者状態判定部１５と、出力部１６と、記憶部としての統計記憶部１７と、第２の判定部としての運転者交代可能性判定部１８と、を備えている。

監視データ取得部１１は、運転者に対して車両内の所定位置に設置された、運転者の振る舞い、例えば車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向等を検出する第１のセンサとしての運転者監視センサ２１から、第１のセンシングデータを取り込む。例えば、運転者監視センサ２１は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このカメラは、１秒間に複数枚、運転者の静止画像を撮像するスチルカメラであってもよいし、運転者の動画像を撮像するビデオカメラであってもよい。監視データ取得部１１は、このカメラからの画像信号を、デジタル化処理して、運転者の画像を含む第１のセンシングデータとして取り込む。監視データ取得部１１は、この取り込んだ第１のセンシングデータを、取得情報記憶部１３に記憶させる。

取得情報記憶部１３は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを使用したものである。

車両情報取得部１２は、車両の各所定位置に配置された第２のセンサとしての車両状態センサ２２から、車両の状態を表す第２のセンシングデータである車両情報を取り込む。車両状態センサ２２は、運転者交代可能性判定部１８において運転者の交代が有ったか否かを判定するために使用される情報を検出するセンサである。運転者の交代は、通常であれば、車両が完全に停止したパーキング状態で行われると想定される。よって、車両状態センサ２２は例えば、車両の速度を検出する車速センサ、パーキングブレーキの状態を検出するパーキングブレーキセンサ、オートマチックギア車におけるギアセレクタのパーキングポジションを検出するギアセレクタセンサなどを含むことができる。車両状態センサ２２は、このように複数のセンサを含んでよい。車両情報取得部１２は、この車両状態センサ２２によって検出された検出情報を、デジタル化処理して、車両の状態を表す第２のセンシングデータとして取り込む。車両状態センサ２２は、この取り込んだ第２のセンシングデータを、上記取得情報記憶部１３に記憶させる。

統計演算部１４は、車両の動力源であるエンジンおよび／またはモータのオン期間中、取得情報記憶部１３に記憶された運転者の画像データから、運転者の顔または視線の方向等の特徴量を判定する。そして、統計演算部１４は、所定時間毎に、上記所定時間内における車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量等の統計情報を演算する。この所定時間毎に演算された統計情報は、後述するように、統計記憶部１７に更新記憶されていく。つまり、統計情報が学習されていく。なお、上記所定時間は、例えば数秒（Ｘ秒）である。

ここで、統計演算部１４における特徴量の統計情報の演算は、誤学習要因を排除した第１の条件が満たされるときに行う精度優先学習と、上記誤学習要因を含む第２の条件が満たされるときに行う機会優先学習との２つを含む。本明細書において、誤学習とは、本来学習するべきで無い、他の演算結果と乖離した統計情報を演算して記憶してしまうことを意味する。つまり、後述する運転者状態判定部１５において誤判定結果を招く虞がある、精度の高くない統計情報を学習してしまうことを言う。

第１の条件は、例えば、車両の速度が８０ｋｍ／ｈ以上かつ直線Ｘ秒以上継続で、ウィンカ無しであって、上記Ｘ秒間の上記特徴量の偏差量が所定値以内、例えば運転者の顔または視線の方向の偏差量がＹ°以内、とする。すなわち、直線道路を高速で走行していて且つ車線変更も行わない、顔または視線の方向がふらつかない時に、統計情報を取得する。これにより、精度が高い統計情報を取得することができる。但し、取得回数は少なくなる。

これに対して、第２の条件は、例えば、車両の速度が２０ｋｍ／ｈ以上かつ直線Ｘ秒以上継続で、ウィンカ無し、とする。これにより、多数の統計情報を取得することができる。しかしながら、車両の速度が低い場合には、車両の速度が高い場合に比べて、運転者が脇見をする可能性が高い。そのため、精度はあまり高くない統計情報しか取得することができない。

よって、統計演算部１４は、上述の校正を行う際に、この精度は高くないが多数取得された統計情報に関しては、取得量は少ないが精度の高い統計情報よりも低い重み付けを行って、運転者の顔または視線の方向の判定値、または、基準方向を補正する。なお、上記統計演算部１４は、上記精度優先学習による統計情報の演算が所定回数行われたとき、上記機会優先学習による統計情報の演算を終了することができる。

運転者状態判定部１５は、統計演算部１４によって演算した統計情報に基づいて、車両の正面方向として設定された基準方向に対して判定された運転者の顔または視線の方向を校正する、または、基準方向を校正する。つまり、運転者が正面と認識している方向（その運転者にとっての０°）を、車両の正面方向として設定された基準方向である運転者状態判定装置上の正面方向（０°）に合わせるための校正を行う。この校正としては、第１のセンシングデータに基づく運転者の顔または視線の方向の判定値を補正するようにしてもよいし、車両の正面方向として設定された基準方向を補正してもよい。

そして、運転者状態判定部１５は、この校正した運転者の顔または視線の方向の基準方向からの乖離度、または、統計演算部１４によって判定された運転者の顔または視線の方向の校正された基準方向からの乖離度と、取得情報記憶部１３に記憶された第２のセンシングデータである車両情報とに基づいて、運転者の状態、例えば脇見の状態を判定する。

出力部１６は、運転者状態判定部１５の判定結果を、運転者に対して出力する。出力部１６は、例えば、スピーカと警告灯表示器を有し、運転者状態判定部１５の判定結果を警告音や警告灯の点灯によって、運転者に出力する。出力部１６は、スピーカと警告灯表示器の一方で構成されてもよい。また、警告音や警告表示を、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用することも可能であり、この場合には、出力部１６は、ナビゲーションシステムへ運転者状態判定部１５の判定結果を示す状態判定結果情報を出力するものであってよい。

統計記憶部１７は、記憶媒体として例えばＨＤＤまたはＳＳＤ等の随時書込および読出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリとを組み合わせて使用したものである。統計記憶部１７の不揮発性メモリは、過去に学習した各運転者の振る舞いの特徴量についての統計情報、例えば車両の正面方向に対して運転者の顔または視線の保持方向の平均値および偏差量等の統計情報を記憶することができる。また、統計記憶部１７の揮発性メモリは、統計演算部１４で演算される都度の上記精度優先学習による統計情報と上記機会優先学習による統計情報およびそれぞれの演算回数を一時記憶することができる。上記統計演算部１４は、この統計記憶部１７の不揮発性メモリに、上記機会優先学習による統計情報の演算結果に近似する統計情報が記憶されているとき、この機会優先学習による統計情報の演算を終了するようにしてもよい。

運転者交代可能性判定部１８は、取得情報記憶部１３に記憶された第２のセンシングデータである車両情報に基づいて、運転者交代の可能性を判定する。例えば、運転者交代可能性判定部１８は、車両が完全に停止し、パーキング状態となった場合、運転者が交代した可能性があると判定する。また、運転者交代可能性判定部１８は、取得情報記憶部１３に記憶された第１のセンシングデータである監視データに基づいて、運転者交代の可能性を判定することも可能である。例えば、運転者交代可能性判定部１８は、運転者が一旦検出できなくなった後、再度検出できるようになった場合、運転者が交代した可能性が有ると判定する。上記統計演算部１４は、運転者交代可能性判定部１８によって運転者交代の可能性有りと判定されたとき、それまで演算した上記精度優先学習による統計情報を統計記憶部１７の不揮発性メモリに記憶させてもよい。さらに、上記統計演算部１４は、上記精度優先学習および機会優先学習による統計情報の演算を新規に開始してもよい。

以上のような構成であるから、運転者状態判定装置１０においては、統計演算部１４により、第１のセンサである運転者監視センサ２１から出力された第１のセンシングデータである監視データに基づいて、運転者の顔または視線の方向を判定し、車両の正面方向に対して運転者が正面として顔または視線を保持する方向についての統計情報を繰り返し演算する。そして、運転者状態判定部１５によって、この演算された統計情報に基づいて、車両の正面方向として設定された基準方向に対して判定された運転者の顔または視線の方向を校正する、または、基準方向を校正する。つまり、運転者が正面と認識している方向（その運転者にとっての０°）を、車両の正面方向として設定された基準方向である運転者状態判定装置上の正面方向（０°）に合わせるための校正を行う。この校正としては、第１のセンシングデータに基づく運転者の顔または視線の方向の判定値を補正するようにしてもよいし、車両の正面方向として設定された基準方向を補正してもよい。そして、運転者状態判定部１５によって、この校正した運転者の顔または視線の方向の基準方向からの乖離度に基づいて、または、判定された運転者の顔または視線の方向の校正された基準方向からの乖離度に基づいて、運転者の状態を判定して、出力部１６により、その判定結果を運転者に対して出力する。よって、例えば、運転者個々人によって異なる、その運転者の顔または視線の方向の０°を、運転者状態判定装置の所定の基準方向である、例えば車両の正面方向０°に対して校正した上で、運転者の状態、例えば脇見状態か否かを判定することができる。すなわち、その運転者が正面と感じている方向が装置の０°と異なっていれば、その運転者の正面方向を装置の０°として扱う。これにより、例えば脇見運転の判定基準を運転者によって緩める必要が無くなり、運転者個々の個人差に依らず安全で精度の高い運転者状態判定を行うことが可能となる。

また、運転者状態判定装置１０においては、運転者状態判定部１５によって、車両の状態を表す第２のセンシングデータに基づいて、運転者の状態を判定するか否か、または、判定結果を前記出力部によって出力するか否かを決定する。つまり、車両の状態に応じて、運転者の状態を判定するかどうかを決定することができる。例えば、運転者の状態として脇見状態を判定する際に、カーブしている道路を走行しているときや、右左折、車線変更を行う際には、安全確認のため運転者は脇見と同様の振る舞いを行う場合が有るので、これを脇見と判定しないようにすることができる。また、車両が移動していない停車時には、運転者が脇見をしても問題とならない場合が多く、特には、車両を停車状態から発進させる際には、安全確認のために運転者は脇見と同様の振る舞いを行うので、車両停車状態のとき、および発進後所定時間の間または所定距離走行するまで、あるいは所定の車速に達するまでは、脇見判定を行わないようにしてもよい。また、運転者の状態の判定自体は行っても、その判定結果を出力しなければ、同様の効果が得られる。

また、運転者状態判定装置１０においては、統計演算部１４において、誤学習要因を排除した第１の条件を満たす、精度は高いが回数が少ない精度優先学習に加えて、上記誤学習要因を含む第２の条件を満たす、精度は低いが回数が多い機会優先学習も並行して行うことで、運転者状態判定部１５では、車両の運転開始直後から早い段階で運転者の状態を判定することが可能になる。この場合、運転者状態判定部１５では、精度の高い精度優先学習による統計情報よりも精度の低い機会優先学習による統計情報の重みを低くして校正を行うことで、校正結果について、或る程度以上の精度を持たせることが可能になる。

また、運転者状態判定装置１０においては、統計演算部１４にて精度優先学習による統計情報の演算が所定回数行われれば、十分な精度の統計情報が得られるので、機会優先学習は終了して精度優先学習による統計情報の演算のみとする。したがって、不要な演算を行う無駄を省くことができる。

また、運転者状態判定装置１０においては、統計演算部１４において機会優先学習によって演算された統計情報の演算結果に近似する統計情報が、統計記憶部１７の不揮発性メモリに記憶されていれば、それ以上は機会優先学習による統計情報の演算を行わないようにすることができる。すなわち、車両を運転している現在の運転者が既に演算した運転者であれば、そのとき精度優先学習によって演算された統計情報は正しいものとして、機会優先学習を終了することができる。

ここで、運転者状態判定装置１０においては、運転者交代可能性判定部１８によって運転者交代の可能性有りと判定されたとき、それまで精度優先学習によって演算した統計情報を統計記憶部１７の不揮発性メモリに記憶させた上で、精度優先学習による統計情報の演算と機会優先学習による統計情報の演算とを新規に開始する。通常、車両の動力源がオフされる前に、車両が完全に停止したパーキング状態とされるので、これにより運転者交代可能性判定部１８が運転者交代可能性有りと判定し、それまでの精度優先学習による統計情報が統計記憶部１７の不揮発性メモリに記憶される。よって、演算した統計情報を確実に統計記憶部１７の不揮発性メモリに記憶させて、次回以降の上記近似する統計情報の記憶有無判定に利用できるようにすることができる。特に、新たな運転者についての統計情報の演算をはじめた場合に、その演算結果を確実に記憶させることができる。

なお、運転者状態判定装置１０においては、運転者交代可能性判定部１８による運転者交代の可能性が生じたかどうかの判定は、取得情報記憶部１３に記憶された第１または第２のセンシングデータに基づいて、判定されることができる。例えば、運転者交代可能性判定部１８は、車両が完全に停止したことを、車両状態センサ２２である車速センサのセンシングデータにより判定し、パーキング状態となったことを、車両状態センサ２２であるギアセレクタセンサおよび／またはパーキングブレーキセンサのセンシングデータにより判定することで、運転者が交代した可能性があると判定する。また、例えば、運転者交代可能性判定部１８は、運転者監視センサ２１であるドライバカメラからの監視データに基づいて、運転者が監視画像中から一旦消えた後、再度監視中に出現したこと、あるいは、監視データに基づく運転者の顔または視線の検出が一旦不能となった後、再度検出可能となったことを検出した場合に、運転者が交代した可能性があると判定することができる。したがって、運転者交代可能性判定部１８は、取得情報記憶部１３に記憶されたセンシングデータに基づいて、容易に運転者交代の可能性を判定できる。また、運転者交代可能性判定部１８が上記運転者交代の可能性の有無を判定するために、顔認識等の複雑な個人認証処理は必要なく、あるいは、運転者が運転者交代を自己申請するような特別な操作を行わなくても、運転者交代の可能性を簡易に判定できる。さらに、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。

また、運転者状態判定装置１０においては、統計演算部１４は、統計情報として、例えば所定時間内の車両の正面方向に対して運転者が正面として顔または視線を保持する方向の平均値および偏差量を演算する。したがって、統計情報を容易に求めることができる。

［第１実施形態］
次に、この発明の第１実施形態を説明する。
（構成）
（１）システム
図２は、この発明の第１実施形態に係る運転者状態判定装置を備えた運転者状態判定システムの全体構成の一例を示す図である。

運転者状態判定システムは、第１実施形態に係る運転者状態判定装置３０と、各種のセンサ４１〜４６と、判定結果出力装置５０とを備えている。

（２）センサ
本第１実施形態では、センサとして、例えば、運転者監視センサであるドライバカメラ４１と、車両状態センサである、車速センサ４２、ステアリングセンサ４３、ウィンカセンサ４４、ギアセレクタセンサ４５およびパーキングブレーキセンサ４６とを含む。勿論これは一例であり、その他のセンサを含んでいてもよい。

ドライバカメラ４１は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このドライバカメラ４１は、１秒間に複数枚の静止画像を撮像するスチルカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。

車速センサ４２は、車両の移動速度を検出する。ステアリングセンサ４３は、ステアリングの操舵角を検出する。このステアリングセンサ４３は、運転者によるステアリングの操作自体を検出するセンサであってもよいし、ステアリング操作によって向きを変えられる車輪の舵角を検出するセンサであってもよい。ウィンカセンサ４４は、ウィンカの操作を検出する。このウィンカセンサ４４は、運転者によるウィンカレバーの操作自体を検出するセンサであってもよいし、ウィンカレバー操作に応じて点滅するウィンカの点滅制御信号を検出するセンサであってもよい。

また、ギアセレクタセンサ４５は、オートマチックギア車におけるギアセレクタのパーキングポジションを検出する。このギアセレクタセンサ４５は、運転者によるギアセレクタのセレクト操作自体を検出するセンサであってもよいし、セレクトされたポジションを表示するインジケータの点灯制御信号を検出するセンサであってもよい。パーキングブレーキセンサ４６は、パーキングブレーキの状態を検出する。このパーキングブレーキセンサ４６は、運転者によるパーキングブレーキレバーの操作自体を検出するセンサであってもよいし、パーキングブレーキを駆動する駆動制御信号を検出するセンサであってもよい。ギアセレクタセンサ４５とパーキングブレーキセンサ４６は、必ずしも両方備える必要は無い。例えば、オートマチックギアを搭載した車両では、パーキングブレーキセンサ４６を備えず、ギアセレクタセンサ４５のみであってもよい。マニュアルギアを搭載した車両では、パーキングブレーキセンサ４６のみであってよい。

（３）運転者状態判定装置
運転者状態判定装置３０は、制御ユニット３２と、入出力インタフェースユニット３１と、記憶ユニット３３と、を備えている。

入出力インタフェースユニット３１は、ドライバカメラ４１から出力された画像信号を受信してデジタルデータに変換して、制御ユニット３２に入力する。入出力インタフェースユニット３１はまた、車速センサ４２、ステアリングセンサ４３、ウィンカセンサ４４、ギアセレクタセンサ４５およびパーキングブレーキセンサ４６それぞれのセンシングデータを受信して、それらを制御ユニット３２に入力する。入出力インタフェースユニット３１はさらに、制御ユニット３２から出力された運転者状態判定結果情報を出力制御信号に変換して判定結果出力装置５０へ出力する。

記憶ユニット３３は、記憶媒体として、例えばＳＳＤやＨＤＤ等の随時書き込みおよび読み出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを使用したものである。記憶ユニット３３は、本実施形態を実施するために使用する記憶領域として、運転者の監視データを記憶する監視データ記憶部３３１と、車両の状態を記憶する車両情報記憶部３３２と、統計情報と学習回数とを含む学習結果を学習データとして記憶する学習データ記憶部３３３と、を備えている。

図３は、学習データ記憶部３３３に記憶される学習データの一例を示す図である。本第１実施形態では、学習データ記憶部３３３は、精度優先学習による統計情報である精度優先学習値およびその学習回数と、機会優先学習による統計情報である機会優先学習値およびその学習回数と、を記憶する。統計情報は、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量を含む。図３の例では、車両の正面方向として設定された基準方向である運転者状態判定装置上の正面方向を０°としたとき、精度優先学習による運転者の顔または視線の保持方向の平均値は＋５．１°であり、運転者の顔または視線の保持方向の偏差量は１．１°であって、学習回数は３回であることを示している。また、機会優先学習による運転者の顔または視線の保持方向の平均値は＋４．８°であり、運転者の顔または視線の保持方向の偏差量は１．３°であって、学習回数は８回であることを示している。なお、ここでは、基準方向に対して左右向を＋−方向として記憶する例を示しているが、基準方向に対して上下方向を＋−方向として記憶してもよいし、両方とも記憶するようにしてもよい。さらには、頭の傾きなども記憶するようにしてもかまわない。

制御ユニット３２は、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ３２１とプログラムメモリ３２２とを有している。制御ユニット３２は、プログラムメモリ３２２に記憶されたプログラムをハードウェアプロセッサ３２１が実行することで実現される、本実施形態を実施するために必要なソフトウェア構成として、監視データ取得部３２１１と、車両情報取得部３２１２と、個人差学習装置３２１３と、運転者状態判定部３２１４と、信号出力部３２１５と、を備えている。なお、これらのソフトウェア構成の各部は、専用のハードウェアによって構成してもよい。

監視データ取得部３２１１は、ドライバカメラ４１から運転者の監視画像を取得する。すなわち、監視データ取得部３２１１は、ドライバカメラ４１から出力された運転者の画像信号のデジタルデータであるセンシングデータを入出力インタフェースユニット３１から取り込み、この取り込んだセンシングデータを運転者の監視データとして記憶ユニット３３の監視データ記憶部３３１に記憶させる。

車両情報取得部３２１２は、車速センサ４２、ステアリングセンサ４３、ウィンカセンサ４４、ギアセレクタセンサ４５およびパーキングブレーキセンサ４６それぞれから車両情報を取得する。すなわち、車両情報取得部３２１２は、それら各センサから出力されたセンシングデータを入出力インタフェースユニット３１から取り込み、この取り込んだセンシングデータを車両情報として記憶ユニット３３の車両情報記憶部３３２に記憶させる。

個人差学習装置３２１３は、運転者個々の個人差を学習する。例えば、個人差学習装置３２１３は、車両の動力源であるエンジンおよび／またはモータのオン期間中、所定時間毎、例えば数秒毎に、その所定時間内における車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量といった統計情報を演算する。なお、運転者の顔または視線の現在の方向は、運転者状態判定部３２１４によって、監視データ記憶部３３１に記憶された監視データに基づいて判定され、運転者状態判定部３２１４から個人差学習装置３２１３に入力される。個人差学習装置３２１３は、この入力された運転者の顔または視線の方向に基づいて、所定時間内の運転者の特徴量である車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の統計値を演算する。

なお、この統計情報の演算に際しては、車速や操舵角、ウィンカの有無等による２種類の条件を設けて、それぞれの条件を満たす場合にのみ、演算を行う。精度優先学習のための第１の条件は、例えば、車両の速度が８０ｋｍ／ｈ以上かつ直線Ｘ秒以上継続で、ウィンカ無しであって、上記Ｘ秒間の上記特徴量の偏差量が所定値以内、例えば運転者の顔または視線の方向の偏差量がＹ°以内、とする。これにより、誤学習要因を排除することが可能となり、精度は高い統計情報を取得することができる。但し、取得回数は少なくなる。また、機会優先学習のための第２の条件は、例えば、車両の速度が２０ｋｍ／ｈ以上かつ直線Ｘ秒以上継続で、ウィンカ無し、とする。この場合は、誤学習要因を排除することができないため、統計情報の精度はあまり高くない。しかしながら、多数の統計情報を取得することができる。

なお、個人差学習装置３２１３によって演算する統計情報は、上記所定時間内の運転者の顔または視線の保持方向について演算した平均値や偏差量だけではなく、それまで演算（学習）した統計情報も用いて、つまりそれまで演算した統計情報も加味した統計情報を演算するようにしてもよい。

個人差学習装置３２１３は、精度優先学習による統計情報である精度優先学習値と、その学習回数とを学習データ記憶部３３３に記憶させると共に、機会優先学習による統計情報である機会優先学習値と、その学習回数とを学習データ記憶部３３３に記憶させる。

また、個人差学習装置３２１３での精度優先学習および機会優先学習においては、上記所定時間内に運転者状態判定部３２１４で判定された運転者の顔または視線の保持方向の統計情報を演算して、学習データ記憶部３３３に記憶させる。

なお、個人差学習装置３２１３を含めたハードウェアプロセッサ３２１は、車両の駆動源がオンされると動作を開始し、駆動源のオフに伴って動作を終了する。

運転者状態判定部３２１４は、それぞれ演算して学習データ記憶部３３３に記憶させた、つまり精度優先学習および機会優先学習した学習データを学習データ記憶部３３３から読み込み、この学習データに基づいて、車両の正面方向として設定された基準方向に対して判定された運転者の顔または視線の方向を校正する。あるいは、個人差学習装置３２１３は、学習データに基づいて、基準方向を校正する。つまり、運転者が正面と認識している方向（その運転者にとっての０°）を、車両の正面方向として設定された基準方向である運転者状態判定装置上の正面方向（０°）に合わせるための校正を行う。この校正としては、第１のセンシングデータに基づく運転者の顔または視線の方向の判定値を補正するようにしてもよいし、車両の正面方向として設定された基準方向を補正してもよい。

なお、本第１実施形態においては、この校正は、詳細は後述するように、個人差学習装置３２１３において学習データに基づいて個人差補正値を算出し、運転者状態判定部３２１４において、この個人差補正値を使用して運転者の顔または視線の方向、あるいは、基準方向を補正することによって行う。

さらに、運転者状態判定部３２１４は、車両情報記憶部３３２からステアリングセンサ４３やウィンカセンサ４４のセンシングデータを読み込む。そして、運転者状態判定部３２１４は、校正した運転者の顔または視線の方向の基準方向からの乖離度に基づいて、または、判定された運転者の顔または視線の方向の校正された基準方向からの乖離度に基づいて、運転者の状態、例えば脇見状態であるか否かを判定する。このとき、運転者状態判定部３２１４は、ステアリングセンサ４３やウィンカセンサ４４のセンシングデータにより、この判定自体を行うか否か、または判定結果を出力するか否かを決定する。これは、カーブしている道路を走行しているときや、右左折、車線変更を行う際には、安全確認のため運転者は脇見と同様の振る舞いを行う場合が有るので、これを脇見と判定しないことが望ましいためである。

信号出力部３２１５は、運転者状態判定部３２１４での運転者状態の判定結果を示す運転者状態判定結果情報を、入出力インタフェースユニット３１を介して判定結果出力装置５０へ出力する。

（４）判定結果出力装置
判定結果出力装置５０は、例えば、スピーカと警告灯表示器を有し、運転者状態判定装置３０から出力された運転者状態判定結果情報を警告音や警告灯の点灯によって、運転者に出力する。判定結果出力装置５０は、スピーカと警告灯表示器の一方で構成されてもよい。判定結果出力装置５０は、車両が備えるナビゲーションシステムの音声出力機能や画像表示機能を利用して構成されてもよい。また、この判定結果出力装置５０は、運転者状態判定装置３０に含まれ、信号出力部３２１５によって制御されるように構成されていてもよい。

（動作）
次に、以上のように構成された運転者状態判定システムの動作を説明する。
図４は、図２に示した運転者状態判定システムにおける処理手順と処理内容の一例を示すフローチャートであり、図５は、図２に示した運転者状態判定システムにおける処理手順に従った学習内容と演算される個人差補正値の一例を示すタイムチャートである。

（１）センシングデータ取り込み
車両の駆動源がオンされると、運転者状態判定装置３０と、運転者監視センサであるドライバカメラ４１および車両状態センサである各センサ４２〜４６は、動作を開始する。運転者状態判定装置３０は、ドライバカメラ４１からのセンシングデータを監視データ取得部３２１１により取得し、監視データとして監視データ記憶部３３１に記憶していく。また、運転者状態判定装置３０は、車速センサ４２、ステアリングセンサ４３、ウィンカセンサ４４、ギアセレクタセンサ４５およびパーキングブレーキセンサ４６それぞれからのセンシングデータを車両情報取得部３２１２により取得し、車両情報として車両情報記憶部３３２に記憶してく。これらセンシングデータの取得並びに記憶は、車両の駆動源がオフされるまで、繰り返し実施される。

（２）統計情報学習
上記センシングデータの取り込み動作と並行して、運転者状態判定装置３０は、ステップＳ１１において、機会優先学習による統計情報の学習を開始すると共に、ステップＳ１２において、精度優先学習による統計情報の学習を開始する。

すなわち、運転者状態判定装置３０はまず、運転者状態判定部３２１４に、監視データ記憶部３３１に記憶された監視データに基づいて、運転者の顔または視線の方向を判定させる。そして、運転者状態判定装置３０は、個人差学習装置３２１３に、その運転者の顔または視線の方向から、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量を演算させる。このとき、運転者状態判定装置３０は、精度優先学習においては、第１の条件、例えば、車両の速度が８０ｋｍ／ｈ以上かつ直線Ｘ秒以上継続で、ウィンカ無しであって、上記Ｘ秒間の上記特徴量の偏差量が所定値以内、例えば運転者の顔または視線の方向の偏差量がＹ°以内、を満たす場合に、統計情報を演算する。また、機会優先学習においては、上記第１の条件よりも緩い第２の条件、例えば、車両の速度が２０ｋｍ／ｈ以上かつ直線Ｘ秒以上継続で、ウィンカ無しを満たす場合に、統計情報を演算するものとする。個人差学習装置３２１３は、これら機会優先学習および精度優先学習の演算結果を、学習データとして、学習データ記憶部３３３に記憶させる。

（３）個人差補正値算出、運転者状態判定
（３−１）精度優先学習不十分時
次に、運転者状態判定装置３０は、運転者状態判定部３２１４に、運転者の状態の判定に使用するための個人差補正値を算出させる。

すなわち、個人差学習装置３２１３はまず、ステップＳ１３において、学習データ記憶部３３３に記憶された学習データにおける精度優先学習回数が、所定のＮ回以上となっているか否かを判定する。ここで、Ｎは任意の整数であり、十分な精度の学習結果が得られる回数であればよい。

上記第１の条件と上記第２の条件とでは、第１の条件に比べて緩い条件である第２の条件の方が先に満たされる。よって、運転が開始された初期段階では、精度優先学習よりも機会優先学習の方が多く実行される。よって、上記ステップＳ１３においては、精度優先学習回数が未だＮ回に達していないと判定される。この場合、個人差学習装置３２１３は、ステップＳ１４において、学習データ記憶部３３３に記憶された学習データ、つまり機会優先学習結果と精度優先学習結果とに基づいて補正値を算出する。そして、個人差学習装置３２１３は、ステップＳ１５において、上記算出した補正値を、個人差補正値として採用することを決定する。

なお、上記ステップＳ１４における個人差の算出においては、例えば、次のような演算を行う。すなわち、精度優先学習値をＬｈ、精度優先学習回数をＮｈ、機会優先学習値をＬｌ、機会優先学習回数をＮｌ、重み付け定数をＭとすると、補正値Ｌｃを、
Ｌｃ＝（Ｌｈ＊Ｎｈ＋Ｌｌ＊（Ｎｌ／Ｍ））／（Ｎｈ＋（Ｎｌ／Ｍ））
によって求める。ここで、重み付け定数Ｍは任意の整数である。つまり、機会優先学習値Ｌｌは、精度優先学習値Ｌｈの１／Ｍしか重みが無く、Ｍ回分の機会優先学習値Ｌｌが１回分の精度優先学習値Ｌｈと同等に扱われる。

なお、車両の駆動源は、車両が完全に停止したパーキング状態でオンされる。したがって、図５に示すように、車両の駆動源がオンされた時刻ｔ０において、上記ステップＳ１１およびステップＳ１２で学習を開始しても、実際の統計情報の演算は行われない。そのため、精度優先学習値Ｌｈ、精度優先学習回数Ｎｈ、機会優先学習値Ｌｌおよび機会優先学習回数Ｎｌはいずれも０であり、補正値Ｌｃは０となる。なお、図５では、所定時間（Ｘ秒）の区切りを点線によって表し、また、精度優先学習および機会優先学習においてハッチングが付されていない部分は、実際の学習をしていないことを示す。

次に、運転者状態判定装置３０は、運転者状態判定部３２１４により、ステップＳ１６において、この個人差補正値による運転者の状態の判定を実施する。例えば、運転者状態判定部３２１４は、監視データ記憶部３３１に記憶されている監視データに基づいて判定した運転者の顔または視線の現在の方向を、上記個人差補正値によって補正することで、運転者の顔または視線の方向を校正する。そして、この校正した運転者の顔または視線の方向を、所定の基準方向と比較することで、校正した運転者の顔または視線の方向の基準方向からの乖離度に基づいて、例えば脇見状態であるか否かといった運転者状態を判定する。

但し、個人差補正値が０のときは、上記第１および第２の条件により、車両が停車しているとき、車両発進直後、カーブ走行時、右左折または車線変更時である確率が高いので、運転者状態判定部３２１４は、運転者の状態判定を実施しないことが望ましい。

そして、ステップＳ１７において、運転者状態判定部３２１４は、信号出力部３２１５により、運転者状態の判定結果を示す運転者状態判定結果情報を判定結果出力装置５０へ出力する。これにより、運転者状態判定結果情報が、判定結果出力装置５０にて、警告音や警告灯の点灯として、運転者に呈示される。

その後、運転者状態判定装置３０は、上記ステップＳ１１から処理を繰り返す。

（３−２）精度優先学習十分時
こうして、ステップＳ１１からステップＳ１７を繰り返し、図５に示すように、時刻ｔ１において、Ｎ回目の精度優先学習が行われると、上記ステップＳ１３において、精度優先学習回数がＮ回以上となったと判定される。この場合、個人差学習装置３２１３は、ステップＳ１８において、精度優先学習値Ｌｈを、個人差補正値として採用することを決定する。

次に、運転者状態判定装置３０は、運転者状態判定部３２１４により、ステップＳ１９において、この個人差補正値による運転者の状態の判定を実施する。例えば、運転者状態判定部３２１４は、監視データ記憶部３３１に記憶されている監視データに基づいて判定した運転者の顔または視線の現在の方向を、上記個人差補正値によって補正することで、運転者の顔または視線の方向を校正する。そして、この校正した運転者の顔または視線の方向を、所定の基準方向と比較することで、校正した運転者の顔または視線の方向の基準方向からの乖離度に基づいて、例えば脇見状態であるか否かといった運転者状態を判定する。

そして、ステップＳ２０において、運転者状態判定部３２１４は、信号出力部３２１５により、運転者状態の判定結果を示す運転者状態判定結果情報を判定結果出力装置５０へ出力する。これにより、運転者状態判定結果情報が、判定結果出力装置５０にて、警告音や警告灯の点灯として、運転者に呈示される。

その後、運転者状態判定装置３０は、上記ステップＳ１２から処理を繰り返す。すなわち、以降は、機会優先学習は行わず、精度優先学習のみを実施していく。

なおこの場合も、個人差補正値が０のときは、上記第１の条件により、車両が停車しているとき、車両発進直後、カーブ走行時、右左折または車線変更時である確率が高いので、運転者状態判定部３２１４は、運転者の状態判定を実施しないことが望ましい。

（第１実施形態の効果）
以上詳述したように第１実施形態では、運転者状態判定装置３０においては、運転者状態判定部３２１４により、監視データ記憶部３３１に記憶した監視データに基づいて、運転者の顔または視線の方向を判定し、個人差学習装置３２１３によって、車両の正面方向に対して運転者が正面として顔または視線を保持する方向についての統計情報を繰り返し演算する。そして、この個人差学習装置３２１３において、この演算した統計情報に基づいて、車両の正面方向として設定された基準方向に対して判定された運転者の顔または視線の方向を校正する、または、基準方向を校正する。つまり、運転者が正面と認識している方向（その運転者にとっての０°）を、車両の正面方向として設定された基準方向である運転者状態判定装置上の正面方向（０°）に合わせるための校正を行う。この校正としては、第１のセンシングデータに基づく運転者の顔または視線の方向の判定値を補正するようにしてもよいし、車両の正面方向として設定された基準方向を補正してもよい。そして、運転者状態判定部３２１４によって、この校正した運転者の顔または視線の方向の基準方向からの乖離度に基づいて、または、判定された運転者の顔または視線の方向の校正された基準方向からの乖離度に基づいて、運転者の状態を判定して、判定結果出力装置５０により、その判定結果を運転者に対して出力する。よって、例えば、運転者個々人によって異なる、その運転者の顔または視線の方向の０°を、運転者状態判定装置３０の所定の基準方向である、例えば車両の正面方向０°に対して校正した上で、運転者の状態、例えば脇見状態か否かを判定することができる。すなわち、その運転者が正面と感じている方向が装置の０°と異なっていれば、その運転者の正面方向を装置の０°として扱う。これにより、例えば脇見運転の判定基準を運転者によって緩める必要が無くなり、運転者個々の個人差に依らず安全で精度の高い運転者状態判定を行うことが可能となる。

また、運転者状態判定装置３０においては、運転者状態判定部３２１４は、車両の状態を表す車両情報に基づいて、運転者の状態を判定するかどうか、または、判定結果を判定結果出力装置５０によって出力するか否かを決定する。つまり、車両の状態に応じて、運転者の状態を判定するかどうかを決定することができる。例えば、運転者の状態として脇見状態を判定する際に、カーブしている道路を走行しているときや、右左折、車線変更を行う際には、安全確認のため運転者は脇見と同様の振る舞いを行う場合が有るので、これを脇見と判定しないようにすることができる。また、車両が移動していない停車時には、運転者が脇見をしても問題とならない場合が多く、特には、車両を停車状態から発進させる際には、安全確認のために運転者は脇見と同様の振る舞いを行うので、車両停車状態のとき、および発進後所定時間の間または所定距離走行するまで、あるいは所定の車速に達するまでは、脇見判定を行わないようにしてもよい。また、運転者の状態の判定自体は行っても、その判定結果を出力しなければ、同様の効果が得られる。

また、運転者状態判定装置３０においては、個人差学習装置３２１３において、誤学習要因を排除した第１の条件を満たす、精度は高いが回数が少ない精度優先学習に加えて、上記誤学習要因を含む第２の条件を満たす、精度は低いが回数が多い機会優先学習も並行して行うことで、運転者状態判定部３２１４では、車両の運転開始直後から早い段階で運転者の状態を判定することが可能になる。この場合、個人差学習装置３２１３では、精度の高い精度優先学習による統計情報よりも精度の低い機会優先学習による統計情報の重みを低くして校正を行うことで、校正結果について、或る程度以上の精度を持たせることが可能になる。

例えば特許文献１に開示されているような従来の技術では、或る程度の回数、脇見と判定されるまで、補正を実施することができない。普通の運転者であれば、そのような脇見と判定されるような運転者状態となる回数は限られている。したがって、精度の高い脇見判定を実施できるようになるまで、非常に時間がかかると想定される。一方、脇見運転を判定する脇見運転判定装置等の運転者状態判定装置を、運転支援装置や自動運転装置等の他の装置と組み合わせたシステムを構成する際、車両がどれだけ走行すれば運転者状態判定装置から精度良い結果が得られるか不明であるため、システム構築を行うことが非常に困難である。本第１実施形態では、機会優先学習により、運転開始直後の早い段階から、或る程度の精度を持った判定結果が得られるので、システム構築の面からも有利である。

また、運転者状態判定装置３０においては、個人差学習装置３２１３にて精度優先学習による統計情報の演算が所定回数（Ｎ回）行われれば、十分な精度の統計情報が得られるので、機会優先学習は終了して精度優先学習による統計情報の演算のみとする。したがって、不要な演算を行う無駄を省くことができる。

また、運転者状態判定装置３０においては、個人差学習装置３２１３は、統計情報として、例えば所定時間内の車両の正面方向に対して運転者が正面として顔または視線を保持する方向の平均値および偏差量を演算する。したがって、統計情報を容易に求めることができる。

［第２実施形態］
次に、この発明の第２実施形態を説明する。
（構成）
この発明の第２実施形態に係る運転者状態判定装置を備えた運転者状態判定システムの全体構成は、図２に示した第１実施形態における運転者状態判定システムと同様、運転者状態判定装置３０と、各種のセンサ４１〜４６と、判定結果出力装置５０とを備えている。以下、第１実施形態における運転者状態判定システムと同様の構成部分については、その説明を省略し、第１実施形態と異なる構成部分について説明する。

この第２実施形態に係る運転者状態判定装置３０は、前記第１実施形態に係る運転者状態判定装置３０と、以下の点が異なっている。

すなわち、本第２実施形態においては、記憶ユニットの学習データ記憶部３３３には、図６Ａに示すような学習データを不揮発性に記憶する不揮発性学習値テーブル３３３１と、図６Ｂに示すような、学習データを揮発性に記憶する揮発性学習値テーブル３３３２とが構成されている。

ここで、不揮発性学習値テーブル３３３１は、図６Ａに示すように、過去の精度優先学習によって得られた、運転者毎の精度優先学習値を記憶する。すなわち、運転者毎の、車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向についての、所定時間内の平均値および偏差量といった統計情報である、精度優先学習値を、運転者を表す識別子とともに記憶する。図６Ａの例では、不揮発性学習値テーブル３３３１は、３名の運転者についての精度優先学習値を含んでいる。すなわち、車両の正面方向として設定された基準方向である運転者状態判定装置上の正面方向を０°としたとき、運転者番号１の識別子で特定される運転者の顔または視線の保持方向の平均値は−２．８°であり、運転者の顔または視線の保持方向の偏差量は１．８°である。運転者番号２の識別子で特定される運転者の顔または視線の保持方向の平均値は＋５．０°、偏差量は１．０°であり、運転者番号３の識別子で特定される運転者の顔または視線の保持方向の平均値は＋０．５°、偏差量は２．０°である。なお、ここでは、基準方向に対して左右向を＋−方向として記憶する例を示しているが、基準方向に対して上下方向を＋−方向として記憶してもよいし、両方とも記憶するようにしてもよい。さらには、頭の傾きなども記憶するようにしてもかまわない。

揮発性学習値テーブル３３３２は、図６Ｂに示すように、精度優先学習による統計情報である精度優先学習値およびその学習回数と、機会優先学習による統計情報である機会優先学習値およびその学習回数と、を記憶する。図６Ｂの例では、基準方向を０°としたとき、精度優先学習による運転者の顔または視線の保持方向の平均値は＋５．１°であり、運転者の顔または視線の保持方向の偏差量は１．１°であって、学習回数は３回であることを示している。また、機会優先学習による運転者の顔または視線の保持方向の平均値は＋４．８°であり、偏差量は１．３°であって、学習回数は４回であることを示している。ここで、＋−方向については、不揮発性学習値テーブル３３３１に記憶される精度優先学習値と同様である。

また、個人差学習装置３２１３は、前記第１実施形態と同様に、精度優先学習と機会優先学習の２種類の学習を行うものであるが、本第２実施形態においては、さらに、機会優先学習によって演算された統計情報に近似する統計情報が不揮発性学習値テーブル３３３１に記憶されているときには、機会優先学習を終了する。そのため、個人差学習装置３２１３は、運転者交代の可能性が生じたとき、それまで精度優先学習によって演算した統計情報を、上記不揮発性学習値テーブル３３３１に記憶させた上で、機会優先学習および精度優先学習による統計情報の演算を新規に開始する。

なお、運転者交代可能性の有無は、運転者状態判定部３２１４によって、車両情報記憶部３３２に記憶された車両情報に基づいて判定されることができる。例えば、車両が完全に停止したことを、車速センサ４２のセンシングデータにより判定し、パーキング状態となったことを、ギアセレクタセンサ４５および／またはパーキングブレーキセンサ４６のセンシングデータにより判定することで、運転者が交代した可能性があると判定することができる。あるいは、運転者状態判定部３２１４は、監視データ記憶部３３１に記憶された監視データに基づいて、運転者交代の可能性を判定することも可能である。例えば、運転者が監視画像中から一旦消えた後、再度監視画像中に出現した場合、または、監視データに基づく運転者の顔または視線の検出が一旦不能となった後、再度検出可能となった場合に、運転者が交代した可能性があると判定することができる。運転者状態判定部３２１４は、このように運転者が交代した可能性があると判定したとき、運転者交代トリガ信号を、個人差学習装置３２１３に出力する。

（動作）
次に、以上のように構成された運転者状態判定システムの動作を説明する。
図７は、本第２実施形態における運転者状態判定システムの処理手順と処理内容の一例を示すフローチャートであり、図８は、第２実施形態における処理手順に従った学習内容と演算される個人差補正値の一例を示すタイムチャートである。

（１）センシングデータ取り込み
車両の駆動源がオンされると、前記第１実施形態と同様、運転者状態判定装置３０と、運転者監視センサであるドライバカメラ４１および車両状態センサである各センサ４２〜４６は、動作を開始して、監視データを監視データ記憶部３３１に記憶し、車両情報を車両情報記憶部３３２に記憶してく。これらセンシングデータの取得並びに記憶は、車両の駆動源がオフされるまで、繰り返し実施される。

（２）統計情報学習
上記センシングデータの取り込み動作と並行して、運転者状態判定装置３０は、ステップＳ１１において、機会優先学習による統計情報の演算を開始すると共に、ステップＳ１２において、精度優先学習による統計情報の演算を開始する。このステップＳ１１およびＳ１２は、前記第１実施形態で説明した通りである。個人差学習装置３２１３は、これら機会優先学習および精度優先学習の演算結果を、学習データとして、学習データ記憶部３３３の揮発性学習値テーブル３３３２に記憶させる。

（３）個人差補正値算出、運転者状態判定
（３−１）精度優先学習不十分時
（３−１−１）過去学習無しの場合
次に、運転者状態判定装置３０は、運転者状態判定部３２１４に、運転者の状態の判定に使用するための個人差補正値を算出させる。

すなわち、個人差学習装置３２１３はまず、ステップＳ１３において、学習データ記憶部３３３に記憶された学習データにおける精度優先学習回数が、所定のＮ回以上となっているか否かを判定する。そして、精度優先学習回数が未だＮ回に達していないと判定された場合、個人差学習装置３２１３は、ステップＳ２１において、機会優先学習によって演算して学習データ記憶部３３３の揮発性学習値テーブル３３３２に記憶した機会優先学習値と、学習データ記憶部３３３の不揮発性学習値テーブル３３３１に記憶されている各運転者についての精度優先学習値とを比較する。そして、個人差学習装置３２１３は、ステップＳ２２において、機会優先学習値に近似する精度優先学習値が有ったかどうか、つまり過去に学習されていたかどうかを判定する。この場合、例えば運転者の顔または視線の保持方向の平均値だけでなく、偏差量も用いることで、誤判定の確率を低くしている。

機会優先学習値に近似する精度優先学習値が無いと判定した場合、個人差学習装置３２１３は、前記第１実施形態と同様に、ステップＳ１４において、揮発性学習値テーブル３３３２に記憶された学習データ、つまり機会優先学習結果と精度優先学習結果とに基づいて補正値を算出し、ステップＳ１５において、この算出した補正値を、個人差補正値として採用することを決定する。次に、運転者状態判定装置３０は、運転者状態判定部３２１４により、ステップＳ１６において、この個人差補正値による運転者の状態の判定を実施する。そして、ステップＳ１７において、運転者状態判定部３２１４は、信号出力部３２１５により、運転者状態の判定結果を示す運転者状態判定結果情報を判定結果出力装置５０へ出力する。これにより、運転者状態判定結果情報が、判定結果出力装置５０にて、警告音や警告灯の点灯として、運転者に呈示される。

その後、運転者状態判定装置３０は、個人差学習装置３２１３により、ステップＳ２３において、運転者交代トリガ信号が運転者状態判定部３２１４から入力されたか否かを判定する。そして運転者交代トリガ信号が入力されていなければ、運転者状態判定装置３０は、上記ステップＳ１１から処理を繰り返す。

よって、不揮発性学習値テーブル３３３１に、演算した機会優先学習値に近似する精度優先学習値が記憶されておらず、運転者交代トリガ信号も入力されなければ、運転者状態判定装置３０は、前記第１実施形態と同様の動作を行うことになる。

なお、車両の駆動源は、車両が完全に停止したパーキング状態でオンされる。従って、図５に示すように、車両の駆動源がオンされた時刻ｔ０において、運転者交代トリガ信号が入力される。しかし、この時刻ｔ０においては、未だ上記ステップＳ１１開始前であるので、このフローチャートに示す動作に影響は与えない。

一方、それ以降に所定時間毎に繰り返されるステップＳ１１乃至Ｓ２３の動作中、運転者交代トリガ信号が入力されると、個人差学習装置３２１３は、そのことをステップＳ２３において判定する。この場合には、個人差学習装置３２１３は、ステップＳ２４において、学習データ記憶部３３３の揮発性学習値テーブル３３３２に記憶された学習データ、つまり機会優先学習結果と精度優先学習結果とをリセットする。その後、運転者状態判定装置３０は、上記ステップＳ１１から処理を繰り返す。

（３−１−２）過去学習有りの場合
一方、例えば図６Ｂに示すように、上記演算した機会優先学習値（平均値＋４．８°、偏差量１．３°）に近似する精度優先学習値（運転者番号２の識別子で特定される運転者に対応する平均値＋５．０°、偏差量１．０°）が存在すると、図８の時刻ｔ１１において、上記ステップＳ２２で近似精度優先学習値有りと判定される。この場合には、個人差学習装置３２１３は、その近似する精度優先学習値の運転者が、現在車両を運転している運転者であると判定する。この場合には、個人差学習装置３２１３は、ステップＳ１８において、その近似する精度優先学習値を、個人差補正値として採用することを決定する。次に、運転者状態判定装置３０は、運転者状態判定部３２１４により、ステップＳ１９において、この個人差補正値による運転者の状態の判定を実施する。そして、ステップＳ２０において、運転者状態判定部３２１４は、信号出力部３２１５により、運転者状態の判定結果を示す運転者状態判定結果情報を判定結果出力装置５０へ出力する。これにより、運転者状態判定結果情報が、判定結果出力装置５０にて、警告音や警告灯の点灯として、運転者に呈示される。

その後、運転者状態判定装置３０は、個人差学習装置３２１３により、ステップＳ２５において、運転者交代トリガ信号が運転者状態判定部３２１４から入力されたか否かを判定する。そして運転者交代トリガ信号が入力されていなければ、運転者状態判定装置３０は、ステップＳ２６において、個人差学習装置３２１３により、精度優先学習のみを行わせる。その後は、運転者状態判定装置３０は、上記ステップＳ１８から処理を繰り返す。

よって、不揮発性学習値テーブル３３３１に、演算した機会優先学習値に近似する精度優先学習値が記憶されていれば、運転者交代トリガ信号も入力されない限り、運転者状態判定装置３０は、前記第１実施形態において精度優先学習回数が、所定のＮ回以上となった場合と同様の動作を行うことができる。

そして、それ以降に所定時間毎に繰り返されるステップＳ１８乃至Ｓ２０、Ｓ２５およびＳ２３の動作中、図８に時刻ｔ１２で示すように、運転者交代トリガ信号が入力されると、個人差学習装置３２１３は、そのことをステップＳ２５において判定する。この場合には、個人差学習装置３２１３は、ステップＳ２７において、学習データ記憶部３３３の揮発性学習値テーブル３３３２に記憶された学習データの内の精度優先学習値を、学習データ記憶部３３３の不揮発性学習値テーブル３３３１に更新記憶させる。そして、上記ステップＳ２４において、揮発性学習値テーブル３３３２に記憶された学習データ、つまり機会優先学習結果と精度優先学習結果とをリセットした後、運転者状態判定装置３０は、上記ステップＳ１１から処理を繰り返す。

なお、上記ステップＳ２７において揮発性学習値テーブル３３３２の精度優先学習値を不揮発性学習値テーブル３３３１に更新記憶させる際には、上記ステップＳ２２で判定された、近似する精度優先学習値に上書き記憶させることで、当該運転者についての精度優先学習値を更新する。上記ステップＳ２２で判定の際に、運転者を表す識別子を保存しておくことで、不揮発性学習値テーブル３３３１のどの精度優先学習値に上書きすればよいか判別できる。

（３−２）精度優先学習十分時
例えば、図８に示すように、時刻ｔ１２から開始された、ステップＳ１１からステップＳ２３の繰り返し動作において、時刻ｔ１３において、Ｎ回目の精度優先学習が行われると、学習データ記憶部３３３の揮発性学習値テーブル３３３２には、図６Ｃに示すように、精度優先学習回数Ｎ回が記憶される。これにより、上記ステップＳ１３において、精度優先学習回数がＮ回以上となったと判定される。この場合、個人差学習装置３２１３は、ステップＳ２８において、揮発性学習値テーブル３３３２の精度優先学習値を、図６Ｄに示すように、不揮発性学習値テーブル３３３１に新規に記憶させる。

その後は、上記ステップＳ１８に進み、前述した通りの動作を行う。

なお、ステップＳ２５において、運転者交代トリガ信号が入力されたと判定して、ステップＳ２７において、揮発性学習値テーブル３３３２の精度優先学習値を不揮発性学習値テーブル３３３１に更新記憶させる際には、上記ステップＳ２８で新規記憶させた精度優先学習値に上書き記憶させることで、当該運転者についての精度優先学習値を更新する。上記ステップＳ２８での新規記憶の際に、運転者を表す識別子を保存しておくことで、不揮発性学習値テーブル３３３１のどの精度優先学習値に上書きすればよいか判別できる。

（第２実施形態の効果）
以上詳述したように第２実施形態では、運転者状態判定装置３０においては、前記第１実施形態と同様の効果を奏することができる。

さらに、本第２実施形態では、運転者状態判定装置３０においては、過去に演算された複数の運転者それぞれの精度優先学習値を不揮発性学習値テーブル３３３１に記憶しておき、個人差学習装置３２１３による機会優先学習で演算された機会優先学習値に近似する精度優先学習値が不揮発性学習値テーブル３３３１に記憶されているときには、個人差学習装置３２１３による機会優先学習を終了する。つまり、機会優先学習値に近似する精度優先学習値が過去に演算されていれば、それ以上は機会優先学習を行わない。したがって、車両を運転している現在の運転者が既に演算した運転者であれば、個人差学習装置３２１３による精度優先学習によって演算された統計情報は、未だ十分な精度が得られ回数に満たなくても、正しいものとすることで、精度優先学習のみとすることができる。

また、運転者状態判定装置３０においては、運転者交代の可能性が生じたとき、個人差学習装置３２１３においてそれまで演算した精度優先学習値を不揮発性学習値テーブル３３３１に記憶させた上で、個人差学習装置３２１３における機会優先学習と精度優先学習とを新規に開始する。通常、車両の動力源がオフされる前に、車両が完全に停止したパーキング状態とされるので、これにより運転者交代可能性有りと判定されて、それまで精度優先学習によって演算した精度優先学習値が不揮発性学習値テーブル３３３１に記憶される。よって、演算した精度優先学習値を確実に不揮発性学習値テーブル３３３１に記憶させることができる。特に、新たな運転者についての精度優先学習の演算をはじめた場合に、その演算結果である精度優先学習値を確実に記憶させることができる。

また、運転者状態判定装置３０においては、運転者状態判定部３２１４によって、監視データ記憶部３３１に記憶された監視データまたは車両情報記憶部３３２に記憶された車両情報に基づいて、運転者交代の可能性の有無を判定して、個人差学習装置３２１３に運転者交代トリガ信号を入力する。例えば、運転者状態判定部３２１４は、車両が完全に停止したことを、車両情報である車速センサのセンシングデータにより判定し、パーキング状態となったことを、車両情報であるギアセレクタセンサおよび／またはパーキングブレーキセンサのセンシングデータにより判定することで、運転者が交代した可能性があると判定する。また、例えば、運転者状態判定部３２１４は、運転者監視センサ２１であるドライバカメラからの監視データに基づいて、運転者が監視画像中から一旦消えた後、再度監視画像中に出現したこと、あるいは、監視データに基づく運転者の顔または視線の検出が一旦不能となった後、再度検出可能となったことを検出した場合に、運転者が交代した可能性があると判定する。したがって、監視データまたは車両情報に基づいて、容易に運転者交代の可能性を判定できる。また、運転者状態判定部３２１４が上記運転者交代の可能性の有無を判定するために、顔認識等の複雑な個人認証処理は必要なく、あるいは、運転者が運転者交代を自己申請するような特別な操作を行わなくても、運転者交代の可能性を簡易に判定できるようになる。さらに、個人認証処理を行わないので、プログラムのセキュリティレベルを高くする必要がない。

［変形例］
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

（１）例えば、前記第２実施形態では、機会優先学習によって得られた機会優先学習値を、学習データ記憶部３３３の不揮発性学習値テーブル３３３１に記憶された精度優先学習値と比較することで、近似する精度優先学習値が有るか否かを判定している。機会優先学習値ではなく、機会優先学習値と精度優先学習値とを用いて演算した補正値を、不揮発性学習値テーブル３３３１に記憶された精度優先学習値と比較することで、近似する精度優先学習値が有るか否かを判定するようにしてもよい。

図９は、この変形例における運転者状態判定システムの処理手順と処理内容の一例を示すフローチャートである。

この場合は、ステップＳ１３において、精度優先学習回数が未だＮ回に達していないと判定された場合、個人差学習装置３２１３は、ステップＳ１４において、揮発性学習値テーブル３３３２に記憶された学習データ、つまり機会優先学習結果と精度優先学習結果とに基づいて補正値を算出する。そして、ステップＳ２９において、個人差学習装置３２１３は、この算出した補正値と、不揮発性学習値テーブル３３３１に記憶された精度優先学習値とを比較する。そして、個人差学習装置３２１３は、ステップＳ２２において、補正値に近似する精度優先学習値が有ったかどうか、つまり過去に学習されていたかどうかを判定する。算出した補正値に近似する精度優先学習値が無いと判定した場合、個人差学習装置３２１３は、ステップＳ１５において、この算出した補正値を、個人差補正値として採用することを決定する。これに対して、算出した補正値に近似する精度優先学習値が有ったと判定した場合には、個人差学習装置３２１３は、ステップＳ１８において、その近似する精度優先学習値を、個人差補正値として採用することを決定する。

その他は、第２実施形態と同様である。

このようにしても、前記第２実施形態と同様の作用効果が得られる。さらには、機会優先学習値よりは補正値の方が精度がよいので、より正確な近似精度優先学習値を判定できる。

（２）また、前記第１および第２実施形態では、精度優先学習と機会優先学習の所定時間を同じにしているが、それらは互いに異なっていてもよい。

（３）また、前記第１および第２実施形態では、運転者状態の判定を行う際、監視データ記憶部３３１に記憶されている監視データに基づいて判定した運転者の顔または視線の現在の方向を、個人差補正値によって補正することで、運転者の顔または視線の方向を校正した上で、所定の基準方向と比較することで、校正した運転者の顔または視線の方向の基準方向からの乖離度に基づいて、例えば脇見状態であるか否かといった運転者状態を判定する例を説明した。つまり、基準方向を一定とし、運転者の顔または視線の現在の方向を個人差補正値に基づいて補正して、両者を比較することで運転者状態を判定している。前記第１および第２実施形態において簡単に記載したように、逆に、基準方向を個人差補正値に基づいて補正し、この補正した基準方向と運転者の顔または視線の現在の方向とを比較することで、運転者状態を判定するようにしてもよい。このようにしても、前記第１および第２実施形態と同様の作用効果が得られる。

（４）また、例えば、前記第２実施形態では、運転者交代可能性の有無を、運転者状態判定部３２１４によって判定するものとしているが、個人差学習装置３２１３において、監視データ記憶部３３１に記憶された監視データまたは車両情報記憶部３３２に記憶された車両情報に基づいて、判定するようにしても構わない。あるいは、専用の運転者交代可能性判定部を設けてもよい。このようにしても、前記第２実施形態と同様の作用効果が得られる。

また、運転者の顔または視線の方向についても、監視データ取得部３２１１によってドライバカメラ４１からのセンシングデータに基づいて判定し、その判定結果を監視データ記憶部３３１に記憶しておくようにしてもかまわない。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

［付記］
前記実施形態の一部または全部は、以下の付記に示すように記載することが可能であるが、これに限られない。
（付記１）
第１のセンサ（２１；４１）から出力された、車両の運転者の画像を含む第１のセンシングデータに基づいて、前記運転者の顔または視線の方向を判定し、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向についての統計情報を繰り返し演算する演算部（１４；３２１３）と、
前記演算部によって演算された前記統計情報に基づいて、前記車両の正面方向として設定された基準方向に対して前記演算部によって判定された前記運転者の顔または視線の方向を校正する、または、前記基準方向を校正する校正部（１４；３２１３）と、
前記校正部によって校正された前記運転者の顔または視線の方向の前記基準方向からの乖離度に基づいて、または、前記演算部によって判定された前記運転者の顔または視線の方向の前記校正部によって校正された前記基準方向からの乖離度に基づいて、前記運転者の状態を判定する第１の判定部（１５；３２１４）と、
前記第１の判定部の判定結果を、前記運転者に対して出力する出力部（１６；３２１５，５０）と、
を具備する運転者状態判定装置（１０；３０）。

（付記２）
車両の運転者の状態を判定する運転者状態判定装置（１０；３０）が実行する運転者状態判定方法であって、
前記運転者状態判定装置が、第１のセンサ（２１；４１）から出力された、車両の運転者の画像を含む第１のセンシングデータに基づいて、前記運転者の顔または視線の方向を判定し、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向である保持方向についての統計情報を繰り返し演算する過程と、
前記運転者状態判定装置が、前記演算された前記統計情報に基づいて、前記車両の正面方向として設定された基準方向に対して前記判定された前記運転者の顔または視線の方向を校正する、または、前記基準方向を校正する過程と、
前記運転者状態判定装置が、前記校正された前記運転者の顔または視線の方向の前記基準方向からの乖離度に基づいて、または、前記判定された前記運転者の顔または視線の方向の前記校正された前記基準方向からの乖離度に基づいて、前記運転者の状態を判定する過程と、
前記運転者状態判定装置が、前記運転者の状態の判定結果を、前記運転者に対して出力する過程と、
を具備する運転者状態判定方法。

（付記３）
ハードウェアプロセッサ（３２１）とメモリ（３３）とを有する運転者状態判定装置（３０）であって、
前記ハードウェアプロセッサが、
第１のセンサ（４１）から出力された、車両の運転者の画像を含む第１のセンシングデータに基づいて、前記運転者の顔または視線の方向を判定し、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向である保持方向についての統計情報を繰り返し演算し、
前記演算された前記統計情報に基づいて、前記車両の正面方向として設定された基準方向に対して前記判定された前記運転者の顔または視線の方向を校正し、または、前記基準方向を校正し、
前記校正された前記運転者の顔または視線の方向の前記基準方向からの乖離度に基づいて、または、前記判定された前記運転者の顔または視線の方向の前記校正された前記基準方向からの乖離度に基づいて、前記運転者の状態を判定し、
前記運転者の状態の判定結果を、前記運転者に対して出力する、
運転者状態判定装置。

（付記４）
ハードウェアプロセッサ（３２１）とメモリ（３３）とを有する装置が実行する運転者状態判定方法であって、
前記ハードウェアプロセッサが、第１のセンサ（４１）から出力された、車両の運転者の画像を含む第１のセンシングデータに基づいて、前記運転者の顔または視線の方向を判定し、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向である保持方向についての統計情報を繰り返し演算する過程と、
前記ハードウェアプロセッサが、前記演算された前記統計情報に基づいて、前記車両の正面方向として設定された基準方向に対して前記判定された前記運転者の顔または視線の方向を校正する、または、前記基準方向を校正する過程と、
前記ハードウェアプロセッサが、前記校正された前記運転者の顔または視線の方向の前記基準方向からの乖離度に基づいて、または、前記判定された前記運転者の顔または視線の方向の前記校正された前記基準方向からの乖離度に基づいて、前記運転者の状態を判定する過程と、
前記ハードウェアプロセッサが、前記運転者の状態の判定結果を、前記運転者に対して出力する過程と、
を具備する運転者状態判定方法。

１０…運転者状態判定装置、 １１…監視データ取得部、 １２…車両情報取得部、 １３…取得情報記憶部、 １４…統計演算部、 １５…運転者状態判定部、 １６…出力部、 １７…統計記憶部、 １８…運転者交代可能性判定部、 ２１…運転者監視センサ、 ２２…車両状態センサ、 ３０…運転者状態判定装置、 ３１…入出力インタフェースユニット、 ３２…制御ユニット、 ３３…記憶ユニット、 ４１…ドライバカメラ、 ４２…車速センサ、 ４３…ステアリングセンサ、 ４４…ウィンカセンサ、 ４５…ギアセレクタセンサ、 ４６…パーキングブレーキセンサ、 ５０…判定結果出力装置、 ３２１…ハードウェアプロセッサ、 ３２２…プログラムメモリ、 ３３１…監視データ記憶部、 ３３２…車両情報記憶部、 ３３３…学習データ記憶部、 ３２１１…監視データ取得部、 ３２１２…車両情報取得部、 ３２１３…個人差学習装置、 ３２１４…運転者状態判定部、 ３２１５…信号出力部、 ３３３１…不揮発性学習値テーブル、 ３３３２…揮発性学習値テーブル。

Claims (9)

1. 第１のセンサから出力された、車両の運転者の画像を含む第１のセンシングデータに基づいて、前記運転者の顔または視線の方向を判定し、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向についての統計情報を繰り返し演算する演算部と、
   前記演算部によって演算された前記統計情報に基づいて、前記車両の正面方向として設定された基準方向に対して前記演算部によって判定された前記運転者の顔または視線の方向を校正する、または、前記基準方向を校正する校正部と、
   前記校正部によって校正された前記運転者の顔または視線の方向の前記基準方向からの乖離度に基づいて、または、前記演算部によって判定された前記運転者の顔または視線の方向の前記校正部によって校正された前記基準方向からの乖離度に基づいて、前記運転者の状態を判定する第１の判定部と、
   前記第１の判定部の判定結果を、前記運転者に対して出力する出力部と、
   を具備し、
   前記演算部は、
   誤学習要因を排除した第１の条件が満たされるときに、前記統計情報を繰り返し演算する第１の学習部と、
   前記誤学習要因を含む第２の条件が満たされるときに、前記統計情報を繰り返し演算する第２の学習部と、
   を備え、
   前記校正部は、前記第２の学習部によって演算された前記統計情報に、前記第１の学習部によって演算された前記統計情報よりも低い重み付けを行って、前記運転者の顔または視線の方向、または、前記基準方向を校正する、
   運転者状態判定装置。
2. 前記第１の判定部は、第２のセンサから出力された、車両の状態を表す第２のセンシングデータに基づいて、前記運転者の状態を判定するか否か、または、判定結果を前記出力部によって出力するか否かを決定する、
   請求項１に記載の運転者状態判定装置。
3. 前記演算部は、前記第１の学習部による前記統計情報の演算が所定回数行われたとき、前記第２の学習部による前記統計情報の演算を終了する、請求項２に記載の運転者状態判定装置。
4. 過去に演算された複数の運転者それぞれの統計情報を記憶する記憶部をさらに具備し、
   前記演算部は、前記第２の学習部による前記統計情報の演算結果に近似する統計情報が前記記憶部に記憶されているとき、前記第２の学習部による前記統計情報の演算を終了する、
   請求項２または３に記載の運転者状態判定装置。
5. 前記第１の学習部は、運転者交代の可能性が生じたとき、そのときまでに前記演算部が演算した前記統計情報を前記記憶部に記憶させ、
   前記演算部は、運転者交代の可能性が生じたとき、前記第１および第２の学習部による前記統計情報の演算を新規に開始する、
   請求項４に記載の運転者状態判定装置。
6. 前記第１または第２のセンシングデータに基づいて、前記運転者交代の可能性の有無を判定する第２の判定部をさらに具備する、
   請求項５に記載の運転者状態判定装置。
7. 前記統計情報は、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向の、所定時間内の平均値および偏差量を含む、
   請求項１乃至６のいずれかに記載の運転者状態判定装置。
8. 車両の運転者の状態を判定する運転者状態判定装置が実行する運転者状態判定方法であって、
   前記運転者状態判定装置が、第１のセンサから出力された、車両の運転者の画像を含む第１のセンシングデータに基づいて、前記運転者の顔または視線の方向を判定し、車両の正面方向に対して前記運転者が正面として顔または視線を保持する方向である保持方向についての統計情報を繰り返し演算する過程と、
   前記運転者状態判定装置が、前記演算された前記統計情報に基づいて、前記車両の正面方向として設定された基準方向に対して前記判定された前記運転者の顔または視線の方向を校正する、または、前記基準方向を校正する過程と、
   前記運転者状態判定装置が、前記校正された前記運転者の顔または視線の方向の前記基準方向からの乖離度に基づいて、または、前記判定された前記運転者の顔または視線の方向の前記校正された前記基準方向からの乖離度に基づいて、前記運転者の状態を判定する過程と、
   前記運転者状態判定装置が、前記運転者の状態の判定結果を、前記運転者に対して出力する過程と、
   を具備し、
   前記演算する過程は、
   誤学習要因を排除した第１の条件が満たされるときに、前記運転者状態判定装置が、前記統計情報を繰り返し演算する第１の学習過程と、
   前記誤学習要因を含む第２の条件が満たされるときに、前記運転者状態判定装置が、前記統計情報を繰り返し演算する第２の学習過程と、
   を備え、
   前記校正する過程は、前記運転者状態判定装置が、前記第２の学習過程によって演算された前記統計情報に、前記第１の学習過程によって演算された前記統計情報よりも低い重み付けを行って、前記運転者の顔または視線の方向、または、前記基準方向を校正する過程を備える、
   運転者状態判定方法。
9. 請求項１乃至７のいずれかに記載の運転者状態判定装置が具備する各部としてコンピュータを機能させる運転者状態判定プログラム。