JP5302730B2 - 運転者監視装置 - Google Patents

Description

本発明は、運転者を監視する装置に関するものである。

従来、運転者を監視する装置として、画像を用いて監視するものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、運転者の顔画像を撮像し、撮像した画像領域を探索して目の位置を検出するものである。この装置の撮像部は、ハンドルからオフセットした位置に配置されている。

特開２００６−２０９４４２号公報

しかしながら、従来の装置にあっては、運転者を十分監視することができないおそれがある。例えば、ハンドル等の遮蔽物によって運転者の顔が遮られないように、運転者の正面以外から運転者の顔画像を撮像した場合、角度によっては正確な特徴量を抽出することが困難な場合がある。すなわち、運転者の監視を十分行うためには、運転者の正面を撮像方向とすることが好ましい。

そこで、本発明はこのような技術課題を解決するためになされたものであって、撮像部を遮る遮蔽物が存在する状態であっても画像を用いて運転者を監視することができる運転者監視装置を提供することを目的とする。

すなわち本発明に係る運転者監視装置は、画像を用いて運転者を監視する運転者監視装置であって、運転者の画像を撮像する撮像手段と、運転者と撮像手段との間に介在する遮蔽物の動きに基づいて、撮像手段により撮像された画像のうち遮蔽物が撮像された遮蔽領域を検出する遮蔽領域検出手段と、撮像手段により撮像された画像のうち遮蔽領域を除いた画像領域内を探索して運転者の特徴点を追跡する監視手段と、を備え、遮蔽領域検出手段は、遮蔽物として、運転者に操作されるハンドル又はハンドルを操作する手を対象とし、遮蔽領域とハンドルの動作角度との関係を予め取得し、監視中におけるハンドルの動作角度に基づいて遮蔽領域を検出する。

この発明によれば、運転者を撮像した画像において、運転者と撮像手段との間に介在し可動する遮蔽物を追跡して遮蔽物が遮る遮蔽領域を検出し、撮像した画像のうち遮蔽領域を除く画像領域内を探索して運転者の特徴点を追跡することができる。このため、遮蔽領域を含む領域内を探索することで特徴点の追跡結果に誤差が生じることを回避することが可能となる。よって、撮像した画像に遮蔽領域が含まれる場合、すなわち撮像手段を遮る遮蔽物が存在する状態であっても、画像を用いて精度良く運転者を監視することができる。なお、ここでいう運転者の特徴点とは、体の比較的小さい部分（例えば目、鼻、口等）のみならず、体の比較的大きな部分（例えば顔や手等）を含むものである。また、遮蔽領域検出手段は、遮蔽物として、運転者に操作されるハンドル又はハンドルを操作する手を対象とするため、例えば撮像手段をハンドル後方に配置して運転者を正面から撮像することができるので、画像を用いて精度良く運転者を監視することが可能となる。さらに、遮蔽領域検出手段は、遮蔽領域とハンドルの動作角度との関係を予め取得し、監視中におけるハンドルの動作角度に基づいて遮蔽領域を検出するので、遮蔽領域を的確に追跡して精度良く運転者を監視することができる。

また、監視手段は、撮像手段により撮像された画像の一部を切り出した切出領域の画素情報と運転者の特徴点を反映させた追跡用テンプレートとをマッチング処理して運転者の特徴点を追跡し、切出領域に遮蔽領域が含まれる場合には、切出領域のうち遮蔽領域を除いた画像領域をマッチング処理の対象とすることが好適である。このように構成することにより、遮蔽領域と重なる領域を除いた領域のみをマッチング処理の対象とすることができるので、精度の高いテンプレートマッチングを行うことが可能となる。

また、監視手段は、マッチング処理が成功した切出領域の画素情報を、次回の処理で用いる追跡用テンプレートとすることが好適である。このように構成することで、遮蔽領域を含めて追跡用のテンプレートを更新することができるので、遮蔽物が存在した場合であっても運転者の特徴点を精度良く追跡することが可能となる。

さらに、監視手段は、追跡用テンプレートに遮蔽領域が含まれる場合には、追跡用テンプレートのうち遮蔽領域を除いた画素情報を用いてマッチング処理を行うことが好適である。このように構成することで、精度の高いテンプレートマッチングを行うことが可能となる。

実施形態に係る運転者監視装置を備える車両の構成概要を示すブロック図である。 実施形態に係る運転者監視装置の学習動作を示すフローチャートである。 実施形態に係る運転者監視装置の遮蔽領域検出動作を説明する概要図である。 実施形態に係る運転者監視装置の監視動作を示すフローチャートである。 実施形態に係る運転者監視装置の初期発見モードの実行動作を示すフローチャートである。 実施形態に係る運転者監視装置のトラッキングモードの実行動作を示すフローチャートである。 実施形態に係る運転者監視装置の再探索モードの実行動作を示すフローチャートである。 実施形態に係る運転者監視装置のエッジ処理、平滑化処理を説明する概要図である。 実施形態に係る運転者監視装置のテンプレート作成処理を説明する概要図である。 実施形態に係る運転者監視装置のテンプレートマッチング処理を説明する概要図である。 実施形態に係る運転者監視装置のテンプレートマッチング処理を説明する概要図である。 実施形態に係る運転者監視装置のテンプレートマッチング処理を説明する概要図である。 実施形態に係る運転者監視装置の更新テンプレートを示す概要図である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

本実施形態に係る運転者監視装置は、例えば走行支援機能や運転支援機能を有する車両に好適に採用されるものである。

最初に、本実施形態に係る運転者監視装置を備える車両の概要から説明する。図１は、本実施形態に係る運転者監視装置１を備える車両の概要図である。図１に示す車両３は、ハンドル角検出センサ３０、画像センサ（撮像手段）３１及びＥＣＵ（Electronic Control Unit）２を備えている。ＥＣＵは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random AccessMemory）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。

ハンドル角検出センサ３０は、運転者が操作したハンドルのハンドル角θを検出するセンサである。ハンドル角θは、例えば、操舵していない状態を基準としたハンドル回転角である。ハンドル角検出センサ３０として、例えばホール素子やフォトインタラプタ等の位置検出センサが用いられる。また、ハンドル角検出センサ３０は、検出したハンドル角θをＥＣＵ２に出力する機能を有している。

画像センサ３１は、運転者の画像を撮像するセンサである。画像センサ３１として、例えばＣＣＤカメラ等が用いられる。また、画像センサ３１は、撮像した画像情報をＥＣＵ２へ出力する機能を有している。

ＥＣＵ２は、遮蔽領域検出部２０、遮蔽領域記録部２１、探索範囲設定部２２、顔初期テンプレート生成部２３、特徴点初期テンプレート生成部２４、顔追跡処理部２５及び特徴点追跡処理部２６を有している。

遮蔽領域検出部２０は、画像センサ３１が撮像した画像においてハンドルが撮像された領域（遮蔽領域）を検出する機能を有している。遮蔽領域検出部２０は、例えばハンドル検出用のテンプレートを、画像センサ３１が撮像した画像とマッチングさせることにより遮蔽領域を検出する機能を有している。また、遮蔽領域検出部２０は、検出した遮蔽領域に関する情報を、遮蔽領域記録部２１へ出力する機能を有している。

遮蔽領域記録部２１は、ハンドル角検出センサ３０が出力したハンドル角θ及び遮蔽領域検出部２０が出力した遮蔽領域に関する情報に基づいてハンドル角θと遮蔽領域との関係を記録する手段である。例えば、ＥＣＵ２に備わるメモリ記録する。

探索範囲設定部２２は、画像センサ３１が撮像した画像の探索範囲を設定する機能を有している。探索範囲設定部２２は、画像センサ３１が撮像した画像のうち遮蔽領域を除いた領域を探索範囲として設定する機能を有している。例えば、探索範囲設定部２２は、ハンドル角検出センサ３０が出力した所定のハンドル角θ及び遮蔽領域記録部２１が記録したハンドル角θと遮蔽領域との関係に基づいて、所定のハンドル角θでの遮蔽領域を特定して探索範囲を設定する機能を有している。また、設定した探索範囲を必要に応じて顔初期テンプレート生成部２３、特徴点初期テンプレート生成部２４、顔追跡処理部２５及び特徴点追跡処理部２６へ出力する機能を有している。

顔初期テンプレート生成部２３は、画像内の運転者の顔を探索するために用いるテンプレートを生成する機能を有している。顔初期テンプレート生成部２３は、例えばニューラルネットワーク等の統計手法を用いて運転者の顔位置を画像の中から発見し、運転者の顔の初期テンプレートを作成する機能を有している。顔初期テンプレートは、更新されることがないテンプレートである。

特徴点初期テンプレート生成部２４は、画像内の運転者の特徴点を探索するために用いられるテンプレートを作成する機能を有している。特徴点初期テンプレート生成部２４は、例えばニューラルネットワークなどにより、運転者の顔の特徴点を画像の中から発見し、顔の特徴点の初期テンプレートを作成する機能を有している。顔の特徴点として、例えば目、鼻、口等が用いられる。特徴点初期テンプレートは、更新されることがないテンプレートである。

顔追跡処理部２５は、画像センサ３１が出力する画像内の運転者の顔を追跡する機能を有している。顔追跡処理部２５は、例えば、顔トラッキングテンプレートを、画像センサ３１が撮像した画像とマッチングさせることにより運転者の顔を検出して追跡する機能を有している。顔トラッキングテンプレートは、顔初期テンプレート生成部２３が生成した顔初期テンプレートと同一のものを初期値とし、テンプレートマッチング処理が成功するたびに更新されるテンプレートである。

特徴点追跡処理部２６は、画像センサ３１が出力する画像内における運転者の顔の特徴点を追跡する機能を有している。特徴点追跡処理部２６は、例えば、特徴点トラッキングテンプレートを、画像センサ３１が撮像した画像とマッチングさせることにより運転者の顔の特徴点を検出して追跡する機能を有している。特徴点トラッキングテンプレートは、特徴点初期テンプレート生成部２４が生成した特徴点初期テンプレートと同一のものを初期値とし、テンプレートマッチング処理が成功するたびに更新されるテンプレートである。

運転者監視装置１は、上述した画像センサ３１及びＥＣＵ２を備えて構成され、画像センサ３１は撮像手段として機能し、ＥＣＵ２は遮蔽領域検出手段及び監視手段として機能する。また、運転者監視装置１は、例えば警報システム等に監視結果を提供可能に構成されていてもよい。

次に、本実施形態に係る運転者監視装置１の動作について説明する。まず、監視動作の前処理となる学習動作から説明する。図２は、本実施形態に係る運転者監視装置１の学習動作を示すフローチャートである。図２に示す制御処理は、監視動作を行う前に、所定のタイミングで繰り返し実行される。監視動作とは後述する図４に示す動作のことであり、本実施形態においては一例として図２に示す処理を車両出荷前に実行する場合を説明する。なお、説明理解の容易性を考慮して、画像センサ３１は、ハンドル後方に配置されている例を説明する。

図２に示す制御処理が開始されると、ハンドル角の検出処理及び記録処理から実行する（Ｓ１０）。Ｓ１０の処理は、ハンドル角検出センサ３０が実行し、運転者により操作されたハンドルのハンドル角θを検出しＥＣＵ２のメモリに記録する処理である。Ｓ１０の処理が終了すると、遮蔽領域抽出処理及び記録処理へ移行する（Ｓ１２）。

Ｓ１２の処理は、遮蔽領域検出部２０及び遮蔽領域記録部２１が実行し、遮蔽領域の抽出及び記録を行う処理である。遮蔽領域検出部２０は、Ｓ１０の処理で検出したハンドル角θの時に画像センサ３１により撮像された画像の中から遮蔽領域を検出する。例えば、ハンドルの模様等を反映したテンプレート（ハンドル検出用テンプレート）を事前に作成し、画像センサ３１により撮像された画像全体を探索範囲としてテンプレートマッチング処理を行う。テンプレートマッチング処理の詳細について、図３を用いて説明する。図３は、遮蔽領域を検出するテンプレートマッチング処理を説明するための概要図である。図３（ａ）は、画像センサ３１が運転者を正面から撮像した画像であって、遮蔽領域を検出する対象となる画像である。図３（ａ）に示す画像において、ハンドルが撮像された領域を遮蔽領域Ｒ_Ｈとする。また、図３（ｂ）は、図３（ａ）に示す画像の一部を切り出した切出領域Ｒ_Ｋを示すものである。また、図３（ｃ）画像は、図３（ａ）に示す画像から遮蔽領域Ｒ_Ｈを検出するためのハンドル検出用テンプレートＴ_Ｈであり、事前にハンドルの画像情報を反映させて作成したものである。遮蔽領域検出部２０は、図３（ａ）に示す画像から、ハンドル検出用テンプレートＴ_Ｈと同一サイズの切出領域Ｒ_Ｋを切り出して、ハンドル検出用テンプレートＴ_Ｈと切出領域Ｒ_Ｋとをマッチングする。テンプレートマッチングの方式として、例えば、類似度(ＳＳＤ：Sum of Square Difference)に基づく方式、相違度（ＳＡＤ：Sum of AbsoluteDifference)に基づく方式、正規化相関に基づく方式等が用いられる。例えばＳＡＤに基づく方式を用いた場合、遮蔽領域検出部２０は、ＳＡＤの結果により相違度が一定閾値以下である場合には、マッチング処理に用いた切出領域Ｒ_Ｋは遮蔽領域Ｒ_Ｈであると判定する。あるいは、切出領域Ｒ_Ｋを複数の領域に分割し、その各領域の輝度ヒストグラムとハンドル検出用テンプレートＴ_Ｈの輝度ヒストグラムとの類似度を算出し、類似度が所定の閾値以上の場合には、マッチング処理に用いた切出領域Ｒ_Ｋは遮蔽領域Ｒ_Ｈであると判定してもよい。遮蔽領域検出部２０は、切出領域Ｒ_Ｋを図３（ａ）に示す方向Ｈに沿って順次切り出してテンプレートマッチング処理をそれぞれ行う。そして、遮蔽領域記録部２１は、テンプレートマッチング処理の結果を例えばＥＣＵ２のメモリに記録する。遮蔽領域記録部２１は、画像をｘｙ平面とし、Ｓ１０の処理で検出したハンドル角θと対応させて遮蔽領域Ｒ_Ｈを２次元配列Ｈ（ｘ,ｙ）として記録する。すなわち、ハンドル角θと遮蔽領域Ｒ_Ｈとの関係が記録される。遮蔽領域記録部２１は、例えば、２次元配列Ｈ（ｘ,ｙ）において、遮蔽領域Ｒ_Ｈであれば１、それ以外の領域であれば０として記録する。Ｓ１２の処理が終了すると、図３に示す制御処理を終了する。

図３に示す制御処理を全てのハンドル角θに対して繰り返し実行することにより、ハンドル角θに依存した遮蔽領域Ｒ_Ｈ（２次元配列Ｈ（ｘ,ｙ））を記録することができる。

次に、本実施形態に係る運転者監視装置１の監視動作について説明する。図４〜７は、本実施形態に係る運転者監視装置１の監視動作を示すフローチャートである。図４に示す制御処理は、例えばイグニッションオンされた時から所定のタイミングで繰り返し実行される。なお、説明理解の容易性を考慮して、画像センサ３１は、ハンドル後方に配置されている例を説明する。

図４に示すように、運転者監視装置１は、処理モード分岐判定処理から開始する（Ｓ２０）。Ｓ２０の処理は、初期発見モード、トラッキングモード及び再探索モードの３つのモードから制御モードを選択する処理である。初期発見モードは、画像内の運転者を発見しテンプレートの初期作成等を行う制御モードである。また、トラッキングモードは、画像内の運転者を追跡して監視する制御モードである。また、再探索モードは、画像内の運転者の発見を再度行う制御モードである。各モードの詳細は後述する。Ｓ２０の処理として、ＥＣＵ２は、例えば、ＥＣＵ２のメモリに作成された初期発見モードフラグ、トラッキングモードフラグ、再探索モードフラグの値を判定してモードを選択する。例えば、フラグが１となっているモードを実行する。なお、以下では説明理解の容易性を考慮して、初期発見モードフラグの初期値として１、トラッキングモードフラグ及び再探索モードフラグの初期値として０が設定されているものとし、図４に示す制御処理をイグニッションＯＮされてから最初に実行する場合を説明する。この場合、初期発見モードが選択され、初期発見制御モードの実行処理へ移行する（Ｓ２２）。

Ｓ２２の処理は、初期発見モードを実行する処理である。Ｓ２２の処理の詳細を、図５を用いて説明する。図５は、初期発見モードの実行動作を示すフローチャートである。図５に示すように、最初にハンドル角の検出処理及び記録処理から開始する（Ｓ３０）。

Ｓ３０の処理は、ハンドル角検出センサ３０が実行し、運転者により操作されたハンドルのハンドル角θを検出しＥＣＵ２のメモリに記録する処理である。Ｓ３０の処理が終了すると、処理範囲限定処理へ移行する（Ｓ３２）。

Ｓ３２の処理は、探索範囲設定部２２が実行し、処理範囲を限定する処理である。探索範囲設定部２２は、画像センサ３１により撮像した画像を入力し、入力した画像の中で運転者の顔の発見（探索）を行う領域を設定する。例えば、探索範囲設定部２２は、Ｓ３０の処理で検知したハンドル角θに対応した２次元配列Ｈ（ｘ,ｙ）を、図２に示す制御処理によって記録されたメモリから入力し、入力した２次元配列Ｈ（ｘ,ｙ）の中で、値が０となる領域を探索範囲と設定する。すなわち遮蔽領域Ｒ_Ｈ以外の領域を探索範囲と設定する。Ｓ３２の処理が終了すると、顔の初期発見処理へ移行する（Ｓ３４）。

Ｓ３４の処理は、顔初期テンプレート生成部２３が実行し、顔の初期発見を行う処理である。顔初期テンプレート生成部２３は、Ｓ３２の処理により限定した探索範囲を対象としてニューラルネットワーク等を用いて顔の中心位置及び存在範囲Ｒ_Ｓを検出する。Ｓ３４の処理が終了すると、特徴点の初期発見処理へ移行する（Ｓ３６）。

Ｓ３６の処理は、特徴点初期テンプレート生成部２４が実行し、特徴点の初期発見を行う処理である。特徴点初期テンプレート生成部２４は、Ｓ３４の処理により検出した顔の存在範囲Ｒ_Ｓを対象としてニューラルネットワーク等を用いて顔の特徴点の位置を検出する。特徴点として、例えば、右目頭、右目尻、左目頭、左目尻、鼻腔中心、左右口端などが用いられる。Ｓ３６の処理が終了すると、検出終了判定処理へ移行する（Ｓ３８）。

Ｓ３８の処理は、特徴点初期テンプレート生成部２４が実行し、全ての特徴点の位置を検出したか否かを判定する処理である。例えば、検出すべき特徴点は予め設定されている。Ｓ３８の処理において、全ての特徴点の位置を検出していない場合には、ハンドル角検出処理へ再度移行する（Ｓ３０）。このように、全ての特徴点の位置を検出するまで、Ｓ３０からＳ３８に示す処理を繰り返し実行する。

一方、Ｓ３８の処理において、全ての特徴点の位置を検出した場合には、テンプレート作成処理へ移行する（Ｓ４０）。Ｓ４０の処理は、顔初期テンプレート生成部２３及び特徴点初期テンプレート生成部２４が実行し、顔の初期テンプレート、顔のトラッキングテンプレート、特徴点の初期テンプレート、及び特徴点のトラッキングテンプレートを作成する処理である。まず、トラッキングに適したテンプレートを作成すべく、画像センサ３１から入力した画像を編集する。この処理について、図８を用いて説明する。図８（ａ）は、エッジを強調する処理過程を示す説明図であり、図８（ｂ）は、平滑化処理過程を示す説明図である。図８（ａ）に示すように、画像センサ３１から入力した濃淡画像Ｇ_１に対して横ソーベルフィルタＦ_１をかけて横方向のエッジを強調した横ソーベルフィルタ画像Ｇ_２とする。その後、横ソーベルフィルタ画像Ｇ_２に対して３×３の平滑化フィルタＦ_２をかけて平滑化した横ソーベルフィルタ平滑化画像Ｇ_３とする。横ソーベルフィルタ平滑化画像Ｇ_３は、エッジが強調されているため光環境の変化に対する頑健性が高く、平滑化されていることでノイズが少ないという特徴がある。このため、横ソーベルフィルタ平滑化画像Ｇ_３からテンプレートを作成することにより、最適なトラッキングを実現することができる。

次に、テンプレートの作成の詳細を、図９を用いて説明する。図９（ａ）は、顔初期テンプレート及び顔トラッキングテンプレートの作成を説明する概要図、図９（ｂ）は、特徴点初期テンプレート及び特徴点トラッキングテンプレートの作成を説明する概要図である。顔初期テンプレート生成部２３は、図９（ａ）に示すように、Ｓ３４の処理で検出した顔の存在範囲Ｒ_Ｓを切り出し顔初期テンプレートＴ_ＩＫとして記録する。同様に、顔初期テンプレートＴ_ＩＫと同一の顔トラッキングテンプレートＴ_ＴＫを作成し記録する。また、特徴点初期テンプレート生成部２４は、図９（ｂ）に示すように、Ｓ３６の処理で検出した各特長点の位置を基準に、縦横一定の幅の領域を切り出し特徴点初期テンプレートＴ_ＩＴとして記録する。切り出す領域の大きさは、対象とする特徴点に応じて変化させる。同様に、特徴点初期テンプレートＴ_ＩＴと同一の特徴点トラッキングテンプレートＴ_ＴＴを作成し記録する。上述した顔初期テンプレートＴ_ＩＫ及び特徴点初期テンプレートＴ_ＩＴは、一度記録された後に更新されることがないものである。反対に、顔トラッキングテンプレートＴ_ＴＫ及び特徴点トラッキングテンプレートＴ_ＴＴは、トラッキングが成功するたびに更新されるものである。各テンプレートを作成すると、フラグ更新処理へ移行する（Ｓ４２）。

Ｓ４２の処理は、ＥＣＵ２が実行し、フラグの更新を行う処理である。ＥＣＵ２は、初期発見モードフラグ、トラッキングモードフラグ、再探索モードフラグを０にリセットした後に、トラッキングモードフラグを０から１に変更する。これにより、初期発見モードからトラッキングモードへ移行することができる。Ｓ４２の処理が終了すると、図５に示す制御処理を終了する。

図４のＳ２２の処理に戻り、図４に示す制御処理を終了する。次に、Ｓ４２の処理で設定したフラグ状態、すなわち、初期発見モードフラグ及び再探索モードフラグが０、トラッキングモードフラグが１の場合について説明する。この場合、図４のＳ２０の処理においてトラッキングモードが選択され、トラッキングモード実行処理へ移行する（Ｓ２４）。

Ｓ２４の処理は、トラッキングモードを実行する処理である。Ｓ２４の処理の詳細を、図６を用いて説明する。図６は、トラッキングモードの実行動作を示すフローチャートである。図６に示すように、最初にハンドル角の検出処理及び記録処理から開始する（Ｓ５０）。

Ｓ５０の処理は、ハンドル角検出センサ３０が実行し、ハンドルのハンドル角θを検出して記録する処理である。Ｓ５０の処理は、図５のＳ３０の処理と同様である。Ｓ５０の処理が終了すると、処理範囲限定処理へ移行する（Ｓ５２）。

Ｓ５２の処理は、探索範囲設定部２２が実行し、処理範囲を限定する処理である。Ｓ５２の処理は、図５のＳ３２の処理と同様である。Ｓ５２の処理が終了すると、顔位置トラッキング処理へ移行する（Ｓ５４）。

Ｓ５４の処理は、探索範囲設定部２２及び顔追跡処理部２５が実行し、顔の発見を行う処理である。最初に、探索範囲設定部２２が探索範囲をさらに限定する処理を行う。例えば、探索範囲設定部２２は、顔初期テンプレート生成部２３が図５のＳ３４の処理で発見した顔の位置を中心に探索範囲（探索領域）を設定する。この設定について図１０、１１を用いて説明する。図１０、１１は、顔の探索処理を説明するための概要図である。探索範囲設定部２２は、例えば図１０に示すように、画像センサ３１から入力した画像Ｚ_１において、縦横一定幅の探索領域Ｕ_１を設定する。また、既に一度トラッキングモードを実行済みであって後述するトラッキング処理が成功している場合には、それ以降のフレームに対しては前回フレームでの顔位置を中心に縦横一定幅の探索範囲を設定する。

ここで、図１１に示すように、画像センサ３１から入力した画像Ｚ_２において縦横一定幅の探索領域を設定すると、遮蔽領域Ｒ_Ｈと探索領域とが重なる場合がある。この場合には、探索範囲設定部２２は、縦横一定幅の探索領域に含まれる遮蔽領域Ｒ_Ｈを除いた探索領域Ｕ_２を設定する。このように設定することで、処理負荷を軽減することができる。

次に、顔追跡処理部２５は、設定した探索領域内で顔を探索する。顔追跡処理部２５は、例えば図１０に示すように、縦横一定幅の探索領域Ｕ_１内を探索する場合には、画像Ｚ_１から図５のＳ４０の処理で生成した顔トラッキングテンプレートＴ_ＴＫと同一サイズの切出領域Ｒ_Ｋ１を切り出して、顔トラッキングテンプレートＴ_ＴＫと切出領域Ｒ_Ｋ１とをマッチングする。テンプレートマッチングの方式としては、図２のＳ２０の処理と同様に、類似度に基づく方式、相違度に基づく方式、正規化相関に基づく方式等が用いられる。また、顔追跡処理部２５は、切出領域Ｒ_Ｋ１を画像Ｚ_１に示された方向Ｈ_１に沿って順次切り出してテンプレートマッチング処理をそれぞれ行う。一方、図１１に示す探索領域Ｕ_２内を探索する場合も、同様である。ここで、図１１において、切出領域Ｒ_Ｋ２の切り出す位置によっては、切出領域Ｒ_Ｋ２に遮蔽領域Ｒ_Ｈが含まれる。この場合には、遮蔽領域Ｒ_Ｈ以外の切出領域Ｒ_Ｋ２の画素を用いて顔トラッキングテンプレートＴ_ＴＫとマッチング処理を行う。このようにマッチングの対象とする領域を限定することにより、精度の高いマッチング処理を行うことができる。さらに、切出領域Ｒ_Ｋ２に含まれる遮蔽領域Ｒ_Ｈの割合が所定値以上となる場合には、マッチング処理に利用できる画素数が少ないため、マッチング処理を実行しないこととする。あるいは、遮蔽領域Ｒ_Ｈの画素数が所定値以上である場合には、マッチング処理を実行しないこととする。このように動作することで、精度の低いマッチング処理を実行することを回避することができる。探索領域の全てにおいてマッチング処理が終了すると、トラッキング判定処理へ移行する（Ｓ５６）。

Ｓ５６の処理は、顔追跡処理部２５が実行し、顔のトラッキングが成功したか否かを判定する処理である。顔追跡処理部２５は、例えば、Ｓ５４の処理におけるテンプレートマッチングの最大の相関値が所定値以上であって、かつ、最大の相関値が得られる位置における切出領域Ｒ_Ｋと遮蔽領域Ｒ_Ｈとの重複領域の画素数が所定値以下であることを満たす場合には、顔のトラッキングが成功したと判定する。あるいは、Ｓ５４の処理におけるテンプレートマッチングの最大の相関値が所定値以上であって、かつ、最大の相関値が得られる位置における切出領域Ｒ_Ｋに含まれる遮蔽領域Ｒ_Ｈの切出領域Ｒ_Ｋに対する割合が一定値以下であることを満たす場合には、顔のトラッキングが成功したと判定してもよい。Ｓ５６の処理において、顔のトラッキングが成功したと判定した場合には、テンプレート更新処理へ移行する（Ｓ５８）。

Ｓ５８の処理は、顔追跡処理部２５が実行し、顔トラッキングテンプレートＴ_ＴＫを更新する処理である。顔追跡処理部２５は、トラッキングに成功した顔の位置を中心に縦横一定の幅の領域を切り出して、顔トラッキングテンプレートＴ_ＴＫとする。次回のフレームにおいて顔位置をトラッキングする際には、更新された顔トラッキングテンプレートＴ_ＴＫが用いられる。これにより、顔の表情変化や光環境の変化等へのロバスト性を向上することができる。ここで、例えば図１３（ａ）に示すように、顔トラッキングテンプレートＴ_ＴＫが遮蔽領域Ｒ_Ｈを含む場合には、次回のフレームにおいてＳ５４の処理（顔位置をトラッキングする処理）を行う際に、顔トラッキングテンプレートＴ_ＴＫのうち当該遮蔽領域Ｒ_Ｈを除いた領域を用いてマッチング処理を行う。これにより、マッチングの精度を向上させることができる。Ｓ５８の処理が終了すると、特徴点位置トラッキング処理へ移行する（Ｓ６０）。

Ｓ６０の処理は、探索範囲設定部２２及び特徴点追跡処理部２６が実行し、特徴点の位置をトラッキングする処理である。特徴点追跡処理部２６は、テンプレートマッチングにより各特徴点のトラッキングを行う。図１２を用いて処理の詳細を説明する。図１２は、特徴点のトラッキングを説明するための概要図である。まず、探索範囲設定部２２は、前回のフレームの顔位置（存在範囲Ｒ_Ｓ−１）と今回のフレームの顔位置（存在範囲Ｒ_Ｓ）との差分を算出する。そして、前回の各特徴点Ｐ_ｎの探索中心を、矢印Ｙに示すように、算出した差分に応じてシフトさせる。次に、シフトさせた各特徴点の探索中心を基準に縦横一定幅の探索範囲を設定する。この探索範囲の大きさは、各特徴点に応じて変更する。そして、この探索範囲において、Ｓ５４の処理と同様にテンプレートマッチング処理を行う。探索領域の全てにおいてマッチング処理が終了すると、トラッキング判定処理へ移行する（Ｓ６２）。

Ｓ６２の処理は、特徴点追跡処理部２６が実行し、特徴点のトラッキングが成功したか否かを判定する処理である。特徴点追跡処理部２６は、例えば、Ｓ６０の処理におけるテンプレートマッチングの最大の相関値が所定値以上であって、かつ、最大の相関値が得られる位置における切出領域Ｒ_Ｋと遮蔽領域Ｒ_Ｈとの重複領域の画素数が所定値以下であることを満たす場合には、特徴点のトラッキングが成功したと判定する。あるいは、Ｓ６０の処理におけるテンプレートマッチングの最大の相関値が所定値以上であって、かつ、最大の相関値が得られる位置における切出領域Ｒ_Ｋに含まれる遮蔽領域Ｒ_Ｈの切出領域Ｒ_Ｋに対する割合が一定値以下であることを満たす場合には、特徴点のトラッキングが成功したと判定してもよい。Ｓ６２の処理において、特徴点のトラッキングが成功したと判定した場合には、テンプレート更新処理へ移行する（Ｓ６４）。

Ｓ６４の処理は、特徴点追跡処理部２６が実行し、特徴点トラッキングテンプレートＴ_ＴＴを更新する処理である。顔追跡処理部２５は、トラッキングに成功した顔の位置を中心に縦横一定の幅の領域を切り出して、特徴点トラッキングテンプレートＴ_ＴＴとする。次回のフレームにおいて顔位置をトラッキングする際には、更新された特徴点トラッキングテンプレートＴ_ＴＴが用いられる。これにより、顔の表情変化や光環境の変化等へのロバスト性を向上することができる。また、Ｓ５８の処理と同様に、図１３（ｂ）に示すように、特徴点トラッキングテンプレートＴ_ＴＴが遮蔽領域Ｒ_Ｈを含む場合には、次回のフレームにおいてＳ６０の処理（顔位置をトラッキングする処理）を行う際に、特徴点トラッキングテンプレートＴ_ＴＴのうち当該遮蔽領域Ｒ_Ｈを除いた領域を用いてマッチング処理を行う。これにより、マッチングの精度を向上させることができる。Ｓ６４の処理が終了すると、フラグ更新処理へ移行する（Ｓ６６）。

Ｓ６６の処理は、ＥＣＵ２が実行し、フラグの更新を行う処理である。ＥＣＵ２は、初期発見モードフラグ、トラッキングモードフラグ、再探索モードフラグを０にリセットした後に、トラッキングモードフラグを０から１に変更する。これにより、トラッキングモードを継続することができる。Ｓ６６の処理が終了すると、図６に示す制御処理を終了する。

一方、Ｓ５６の処理で顔のトラッキングが成功しなかった場合、又は、Ｓ６２の処理で特徴点のトラッキングが成功しなかった場合には、フラグ更新処理へ移行する（Ｓ６８）。Ｓ６８の処理は、ＥＣＵ２が実行し、フラグの更新を行う処理である。ＥＣＵ２は、初期発見モードフラグ、トラッキングモードフラグ、再探索モードフラグを０にリセットした後に、再探索モードフラグを０から１に変更する。これにより、トラッキングモードから再探索モードへ変更することができる。Ｓ６８の処理が終了すると、図６に示す制御処理を終了する。

以上で図６に示す制御処理を終了する。図６に示す制御処理を終了すると、図４のＳ２４の処理に戻り、図４に示す制御処理を終了する。次に、Ｓ６８の処理で設定したフラグ状態、すなわち、初期発見モードフラグ及びトラッキングモードフラグが０、再探索モードフラグが１の場合について説明する。この場合、図４のＳ２０の処理において再探索モードが選択され、再探索モード実行処理へ移行する（Ｓ２６）。

Ｓ２６の処理は、再探索モードを実行する処理である。Ｓ２６の処理の詳細を、図７を用いて説明する。図７は、再探索モードの実行動作を示すフローチャートである。図７に示すように、最初にハンドル角の検出処理及び記録処理から開始する（Ｓ７０）。

Ｓ７０の処理は、ハンドル角検出センサ３０が実行し、ハンドルのハンドル角θを検出して記録する処理である。Ｓ７０の処理は、図５のＳ３０の処理と同様である。Ｓ５０の処理が終了すると、処理範囲限定処理へ移行する（Ｓ７２）。

Ｓ７２の処理は、探索範囲設定部２２が実行し、処理範囲を限定する処理である。Ｓ７２の処理は、図５のＳ３２の処理と同様である。Ｓ７２の処理が終了すると、顔位置トラッキング処理へ移行する（Ｓ７４）。

Ｓ７４の処理は、探索範囲設定部２２及び顔追跡処理部２５が実行し、顔の発見を行う処理である。Ｓ７４の処理は、図６のＳ５４の処理とほぼ同様である。Ｓ７４の処理とＳ５４の処理とを比較すると、Ｓ７４の処理では探索処理を実行する場合に顔初期テンプレートＴ_ＩＫを用いる点が相違する。その他の点は図６のＳ５４の処理と同様である。Ｓ７４の処理が終了すると、トラッキング判定処理へ移行する（Ｓ７６）。

Ｓ７６の処理は、顔追跡処理部２５が実行し、顔のトラッキングが成功したか否かを判定する処理である。Ｓ７６の処理は、図６のＳ５６の処理と同様である。Ｓ７６の処理において、顔のトラッキングが成功したと判定した場合には、テンプレート更新処理へ移行する（Ｓ７８）。

Ｓ７８の処理は、顔追跡処理部２５が実行し、顔トラッキングテンプレートＴ_ＴＫを更新する処理である。Ｓ７８の処理は、図６のＳ５８の処理と同様である。Ｓ７８の処理が終了すると、特徴点位置トラッキング処理へ移行する（Ｓ８０）。

Ｓ８０の処理は、探索範囲設定部２２及び特徴点追跡処理部２６が実行し、特徴点の位置をトラッキングする処理である。Ｓ８０の処理は、図６のＳ６０の処理とほぼ同様である。Ｓ８０の処理とＳ６０の処理とを比較すると、Ｓ８０の処理では、特徴点初期テンプレートＴ_ＩＴを用いる点が相違する。その他の点は図６のＳ６０の処理と同様である。Ｓ８０の処理が終了すると、トラッキング判定処理へ移行する（Ｓ８２）。

Ｓ８２の処理は、特徴点追跡処理部２６が実行し、特徴点のトラッキングが成功したか否かを判定する処理である。Ｓ８２の処理は、図６のＳ６２の処理と同様である。Ｓ８２の処理において、特徴点のトラッキングが成功したと判定した場合には、テンプレート更新処理へ移行する（Ｓ８４）。

Ｓ８４の処理は、特徴点追跡処理部２６が実行し、特徴点トラッキングテンプレートＴ_ＴＴを更新する処理である。Ｓ８４の処理は、図６のＳ６４の処理と同様である。Ｓ８４の処理が終了すると、フラグ更新処理へ移行する（Ｓ８６）。

Ｓ８６の処理は、ＥＣＵ２が実行し、フラグの更新を行う処理である。Ｓ８６の処理は、図６のＳ６６の処理と同様である。Ｓ８６の処理が終了すると、図７に示す制御処理を終了する。

一方、Ｓ７６の処理で顔のトラッキングが成功しなかった場合、又は、Ｓ８２の処理で特徴点のトラッキングが成功しなかった場合には、フラグ更新処理へ移行する（Ｓ８８）。Ｓ８８の処理は、ＥＣＵ２が実行し、フラグの更新を行う処理である。ＥＣＵ２は、初期発見モードフラグ、トラッキングモードフラグ、再探索モードフラグを０にリセットした後に、再探索モードフラグを０から１に変更する。これにより、再探索モードを継続することができる。Ｓ８８の処理が終了すると、図７に示す制御処理を終了する。

以上で図７に示す制御処理を終了する。図７に示す制御処理を終了すると、図４のＳ２６の処理に戻り、図４に示す制御処理を終了する。

以上で図４に示す制御処理を終了する。図４に示す制御処理を実行することで、初期テンプレートとトラッキングテンプレートを登録する初期発見モード、運転者の顔移動に追従して顔特徴点の位置をトラッキングするとともにトラッキングに成功した場合にはトラッキングテンプレートを更新するトラッキングモード、顔位置あるいは顔特徴点のトラッキングに失敗した場合に初期テンプレートを用いて再探索する再探索モードの３つのモードを、条件によって遷移させて実行することが可能となる。ここで、初期発見モードでは、ニューラルネットワーク等の統計手法が用いられるため、検出精度は高いが処理負荷が大きい。このため、例えば運転者の顔が大きく移動してトラッキングに失敗した場合には、登録した初期テンプレートを用いて再探索する再探索モードに遷移させ、再発見した場合にトラッキングモードに遷移させることにより、処理負荷の軽減を図ることができる。

上述したように、本実施形態に係る運転者監視装置１によれば、運転者を撮像した画像において、運転者と画像センサ３１との間に介在し可動するハンドルを追跡してハンドルが遮る遮蔽領域Ｒ_Ｈを検出し、撮像した画像のうち遮蔽領域Ｒ_Ｈを除く画像領域内を探索して運転者の顔や顔特徴点を追跡することができる。このため、遮蔽領域Ｒ_Ｈを含む領域内を探索することで顔や顔特徴点の追跡結果に誤差が生じることを回避することが可能となる。よって、撮像した画像に遮蔽領域Ｒ_Ｈが含まれる場合、すなわち画像センサ３１を遮るハンドルが存在する状態であっても、画像を用いて精度良く運転者を監視することができる。また、精度良く運転者を監視することができるので、監視結果を用いるシステム、例えば顔向き角度の算出や警報システム等の精度も向上させることができる。

また、本実施形態に係る運転者監視装置１によれば、遮蔽領域Ｒ_Ｈとハンドル角θとの関係を予め取得し、監視中におけるハンドル角θに基づいて遮蔽領域Ｒ_Ｈを検出することで、遮蔽領域Ｒ_Ｈを的確に追跡して精度良く運転者を監視することができる。

また、本実施形態に係る運転者監視装置１によれば、遮蔽領域Ｒ_Ｈを除いた画像領域内において、画像センサ３１により撮像された画像の一部を切り出した切出領域Ｒ_Ｋ１、Ｒ_Ｋ２の画素情報と運転者の特徴点を反映させたトラッキングテンプレートとをマッチング処理して運転者の特徴点を追跡し、切出領域Ｒ_Ｋ１、Ｒ_Ｋ２に遮蔽領域Ｒ_Ｈが含まれる場合には、切出領域Ｒ_Ｋ１、Ｒ_Ｋ２のうち遮蔽領域Ｒ_Ｈを除いた画像領域をマッチング処理の対象とすることにより、精度の高いテンプレートマッチングを行うことが可能となる。

また、本実施形態に係る運転者監視装置１によれば、マッチング処理が成功した切出領域Ｒ_Ｋ１、Ｒ_Ｋ２の画素情報を、次回の処理で用いるトラッキングテンプレートとすることで、遮蔽領域Ｒ_Ｈを含めて追跡用のテンプレートを更新することができるので、遮蔽物が存在した場合であっても運転者の特徴点を精度良く追跡することが可能となる。

さらに、本実施形態に係る運転者監視装置１によれば、トラッキングテンプレートに遮蔽領域Ｒ_Ｈが含まれる場合には、トラッキングテンプレートのうち遮蔽領域Ｒ_Ｈを除いた画素情報を用いてマッチング処理を行うことが好適である。このように構成することで、精度の高いテンプレートマッチングを行うことが可能となる。

なお、上述した実施形態は本発明に係る運転者監視装置の一例を示すものである。本発明に係る運転者監視装置は、実施形態に係る運転者監視装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る運転者監視装置を変形し、又は他のものに適用したものであってもよい。

例えば、上述した実施形態では、遮蔽物をハンドルとして説明したが、ハンドルに限られるものではない。例えば、遮蔽物として、ハンドルのコラム部分（ステアリングコラム）、当該コラム部分に備わる灯火操作レバー、ワイパー操作レバー、ウィンカ操作レバー、ギアシフトレバー等、差し込まれたイグニッションキー及び付属物等、さらにはハンドルや上記レバーを操作する手であってもよい。この場合、各種レバーの操作については操作方向に応じた手の動き、ハンドルの操作においてはハンドルの操舵速度や回転角に応じた手の動きに基づいて、遮蔽される領域を学習して探索範囲から除外することもできる。また、遮蔽物として、運転者が眼鏡をしている場合にその眼鏡を直す手や、運転者が飲む飲料水の缶等であってもよい。上述した遮蔽物を処理対象とする場合には、実施形態に示すハンドルの例と同様に、事前に遮蔽物のテンプレートのパターンを学習し、図５のＳ３２、図６のＳ５２、図７のＳ７２の処理においてテンプレートを用いて遮蔽物の領域を検出し探索範囲から除外すればよい。この場合、テンプレートでなく色ヒストグラム等を用いても良い。一方、上記の遮蔽物を事前に学習をすることが困難な場合もある。例えば、飲料水の缶等にあっては、全てのパターンを学習できない場合もある。このような場合には、図５のＳ３２、図６のＳ５２、図７のＳ７２の処理において、ニューラルネットワークの学習（適合）により生成される初期テンプレートと、トラッキングパターンの数フレーム分の平均とをマッチングさせて、類似度が所定値未満である場合、すなわち急激に変化したと判定できる場合には、それらの領域を演算処理や探索範囲から除外することで、精度の高い監視処理を実行することができる。

また、上述した実施形態では、ハンドルの動作を回転角で検出する例を説明したが、遮蔽物の動作は回転動作に限られるものではなく、前後方向に動く場合には前後方向の角度も取得して学習することで、本実施形態に示す運転者監視装置１と同様に精度の高い監視処理を実行することができる。

また、上述した実施形態では、図２の処理を車両出荷前に行う例を説明したが、運転中に学習するものであってもよい。

また、上述した実施形態では、ハンドル角を検出し遮蔽領域Ｒ_Ｈを探索範囲から除外することで監視精度を向上させる例を説明したが、ハンドル角が所定角度以上の場合には、追跡を中断するように構成してもよい。このように構成することで、特徴点の誤差を含んだまま追跡して監視対象物を見失うことを回避できるので、顔の向きを利用した警報システム等の誤作動を防止することが可能となる。

１…運転者監視装置、２…ＥＣＵ、３０…ハンドル角度検出センサ、３１…画像センサ（撮像手段）、２０…遮蔽領域検出部（遮蔽領域検出手段）、２１…遮蔽領域記録部（遮蔽領域検出手段）、２２…探索範囲設定部（遮蔽領域検出手段）、２３…顔初期テンプレート生成部、２４…特徴点初期テンプレート生成部、２５…顔追跡処理部（監視手段）、２６…特徴点追跡処理部（監視手段）。

Claims (4)

1. 運転者の画像を撮像する撮像手段と、
   前記運転者と前記撮像手段との間に介在する遮蔽物の動きに基づいて、前記撮像手段により撮像された画像のうち前記遮蔽物が撮像された遮蔽領域を検出する遮蔽領域検出手段と、
   前記撮像手段により撮像された画像のうち前記遮蔽領域を除いた画像領域内を探索して運転者の特徴点を追跡する監視手段と、
   を備え、
   前記遮蔽領域検出手段は、前記遮蔽物として、運転者に操作されるハンドル又はハンドルを操作する手を対象とし、前記遮蔽領域と前記ハンドルの動作角度との関係を予め取得し、監視中における前記ハンドルの動作角度に基づいて前記遮蔽領域を検出する運転者監視装置。
2. 前記監視手段は、前記撮像手段により撮像された画像の一部を切り出した切出領域の画素情報と前記運転者の特徴点を反映させた追跡用テンプレートとをマッチング処理して前記運転者の特徴点を追跡し、前記切出領域に前記遮蔽領域が含まれる場合には、前記切出領域のうち前記遮蔽領域を除いた画像領域を前記マッチング処理の対象とする請求項１に記載の運転者監視装置。
3. 前記監視手段は、前記マッチング処理が成功した前記切出領域の画素情報を、次回の処理で用いる前記追跡用テンプレートとする請求項２に記載の運転者監視装置。
4. 前記監視手段は、前記追跡用テンプレートに遮蔽領域が含まれる場合には、前記追跡用テンプレートのうち前記遮蔽領域を除いた画素情報を用いて前記マッチング処理を行う請求項２又は３に記載の運転者監視装置。