JP6698963B2 - 搭乗者状態検出装置、搭乗者状態検出システム及び搭乗者状態検出方法 - Google Patents

Description

本発明は、搭乗者状態検出装置、搭乗者状態検出システム及び搭乗者状態検出方法に関する。

従来、カメラによる撮像画像における特徴量に基づき設定された補正パラメータを用いて、当該撮像画像を補正する技術が開発されている。例えば、特許文献１には、カメラによる撮像画像における輝度値に基づき設定された補正パラメータを用いて、当該撮像画像の階調を補正する技術が開示されている。

特開２０１３−５５７１２号公報

従来、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行することにより、搭乗者の状態を検出する技術が開発されている。具体的には、例えば、搭乗者の視線、搭乗者の開口度、搭乗者の顔向き、搭乗者の顔色及び搭乗者の開眼度などを検出する技術が開発されている。すなわち、搭乗者の状態を検出する処理（以下「搭乗者状態検出処理」という。）は、複数個の検出項目（視線、開口度、顔向き、顔色及び開眼度など）を含むものである。

ここで、複数個の検出項目を含む搭乗者状態検出処理においては、検出項目毎に適切な補正パラメータが異なるものである。これに対して、特許文献１に記載されているような従来の画像補正技術（以下、単に「従来の画像補正技術」という。）は、搭乗者状態検出処理における検出項目毎に補正パラメータを設定するものではない。このため、搭乗者状態検出処理が複数個の検出項目を含むものである場合、仮に従来の画像補正技術を用いたとしても、搭乗者状態検出処理の精度を十分に向上することはできないという問題があった。

本発明は、上記のような課題を解決するためになされたものであり、複数個の検出項目を含む搭乗者状態検出処理の精度を向上することを目的とする。

本発明の搭乗者状態検出装置は、車室内撮像用のカメラによる撮像画像のうちの搭乗者の顔パーツに対応する顔パーツ領域における特徴量、又は、撮像画像のうちの車室内の構造物に対応する構造物領域における特徴量のうちの少なくとも一方を用いて、搭乗者状態検出処理における検出項目毎に、撮像画像に対する補正パラメータを設定する補正パラメータ設定部と、補正パラメータ設定部により設定された補正パラメータを用いて、搭乗者状態検出処理における検出項目毎に、撮像画像を補正する画像補正部とを備えるものである。

本発明によれば、上記のように構成したので、複数個の検出項目を含む搭乗者状態検出処理の精度を向上することができる。

実施の形態１に係る搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。 図２Ａは、視線検出処理用の撮像画像を補正する場合における、補正前の目領域における輝度値の一例を示す説明図である。図２Ｂは、視線検出処理用の撮像画像を補正する場合における、補正後の目領域における輝度値の一例を示す説明図である。 図３Ａは、実施の形態１に係る搭乗者状態検出装置を含む制御装置のハードウェア構成を示すブロック図である。図３Ｂは、実施の形態１に係る搭乗者状態検出装置を含む制御装置の他のハードウェア構成を示すブロック図である。 実施の形態１に係る搭乗者状態検出装置を含む制御装置の動作を示すフローチャートである。 実施の形態１に係る搭乗者状態検出装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態１に係る搭乗者状態検出装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態１に係る搭乗者状態検出装置を含む制御装置の他の動作を示すフローチャートである。 図５Ａは、撮像画像と撮像画像における輝度値の分布を示すヒストグラムとの一例を示す説明図である。図５Ｂは、参照画像と参照画像における輝度値の分布を示すヒストグラムとの一例を示す説明図である。 実施の形態１に係る搭乗者状態検出システムを含む制御システムの要部を示すブロック図である。 図７Ａは、実施の形態１に係る搭乗者状態検出システムを含む制御システムのシステム構成を示すブロック図である。図７Ｂは、実施の形態１に係る搭乗者状態検出システムを含む制御システムの他のシステム構成を示すブロック図である。図７Ｃは、実施の形態１に係る搭乗者状態検出システムを含む制御システムの他のシステム構成を示すブロック図である。図７Ｄは、実施の形態１に係る搭乗者状態検出システムを含む制御システムの他のシステム構成を示すブロック図である。 実施の形態１に係る他の搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。 実施の形態１に係る他の搭乗者状態検出システムを含む制御システムの要部を示すブロック図である。 実施の形態２に係る搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。 図１１Ａは、搭乗者の顔色が正常状態であるときの黒目領域及び肌領域の各々における基準色特徴量、補正前の色特徴量及び補正後の色特徴量の一例を示す説明図である。図１１Ｂは、搭乗者の顔色が異常状態であるときの黒目領域及び肌領域の各々における基準色特徴量、補正前の色特徴量及び補正後の色特徴量の一例を示す説明図である。 実施の形態２に係る搭乗者状態検出装置を含む制御装置の動作を示すフローチャートである。 実施の形態２に係る搭乗者状態検出装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態２に係る搭乗者状態検出装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態２に係る搭乗者状態検出装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態２に係る搭乗者状態検出装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態２に係る搭乗者状態検出システムを含む制御システムの要部を示すブロック図である。 実施の形態３に係る搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。 図１５Ａは、口領域にて白とびが発生している状態の一例を示す説明図である。図１５Ｂは、図１５Ａに示す状態にて補正パラメータの設定に用いられる領域の一例を示す説明図である。 実施の形態３に係る搭乗者状態検出装置を含む制御装置の動作を示すフローチャートである。 実施の形態３に係る搭乗者状態検出システムを含む制御システムの要部を示すブロック図である。 実施の形態４に係る搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。 実施の形態４に係る搭乗者状態検出装置を含む制御装置の動作を示すフローチャートである。 実施の形態４に係る搭乗者状態検出システムを含む制御システムの要部を示すブロック図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。図１を参照して、実施の形態１の搭乗者状態検出装置１００について、車両１内の制御装置２００に設けられている例を中心に説明する。

車両１は、車室内撮像用のカメラ２を有している。カメラ２は、車両１の車室内前方部に配置されており、車両１の搭乗者（例えば車両１の運転者）の顔を含む範囲を前方から撮像するものである。以下、車両１の搭乗者を単に「搭乗者」という。

カメラ２は、例えば、１個の可視光カメラ、複数個の可視光カメラ、１個の赤外線カメラ又は複数個の赤外線カメラにより構成されている。カメラ２が赤外線カメラにより構成されている場合、搭乗者の顔を含む範囲に対して撮像用の赤外線を照射する光源（不図示）が設けられている。この光源は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により構成されている。

画像データ取得部１１は、カメラ２による撮像画像（以下、単に「撮像画像」という。）を示す画像データ（以下「撮像画像データ」という。）をカメラ２から取得するものである。画像データ取得部１１は、当該取得された撮像画像データを顔領域検出部１２及び構造物領域検出部１４に出力するものである。

顔領域検出部１２は、画像データ取得部１１により出力された撮像画像データを用いて、撮像画像のうちの搭乗者の顔に対応する領域（以下「顔領域」という。）を検出するものである。具体的には、例えば、顔領域検出部１２は、Ｈａａｒ−ｌｉｋｅ検出器にＡｄａＢｏｏｓｔ又はＣａｓｃａｄｅなどを組み合わせてなる識別器により構成されており、これらのアルゴリズムにより顔領域を検出する。顔領域検出部１２は、当該検出された顔領域に対応する画像データ（以下「顔画像データ」という。）を顔パーツ領域検出部１３に出力するものである。

顔パーツ領域検出部１３は、顔領域検出部１２により出力された顔画像データを用いて、顔領域のうちの搭乗者の顔パーツに対応する領域（以下「顔パーツ領域」という。）を検出するものである。顔パーツ領域は、複数個の顔パーツに対応する複数個の領域を含むものである。

例えば、顔パーツ領域は、搭乗者の目に対応する領域、搭乗者の鼻に対応する領域、搭乗者の口に対応する領域、搭乗者の頬に対応する領域、搭乗者の顎に対応する領域及び搭乗者の額に対応する領域などを含むものである。搭乗者の目に対応する領域は、例えば、搭乗者の黒目に対応する領域、搭乗者の目尻に対応する領域、搭乗者の目頭に対応する領域及び搭乗者のまぶたに対応する領域などを含むものである。搭乗者の口に対応する領域は、例えば、搭乗者の口角に対応する領域及び搭乗者の唇に対応する領域などを含むものである。これらの領域のうち、搭乗者の鼻に対応する領域、搭乗者の頬に対応する領域、搭乗者の顎に対応する領域、搭乗者の額に対応する領域及び搭乗者のまぶたに対応する領域などは、搭乗者の肌に対応する領域でもある。

顔パーツ領域の検出には、例えば、モデルフィッティング又はＥＢＧＭ（Ｅｌａｓｔｉｃ Ｂｕｎｃｈ Ｇｒａｐｈ Ｍａｔｃｈｉｎｇ）などのアルゴリズムが用いられる。顔パーツ領域検出部１３は、当該検出された顔パーツ領域に対応する画像データ（以下「顔パーツ画像データ」という。）を特徴量検出部１５に出力するものである。

構造物領域検出部１４は、画像データ取得部１１により出力された撮像画像データを用いて、撮像画像のうちの車両１の車室内の構造物（以下、単に「構造物」という。）に対応する領域（以下「構造物領域」という。）を検出するものである。具体的には、例えば、構造物領域検出部１４は、車両１の天井に対応する領域又は車両１のピラーに対応する領域などを検出する。構造物領域検出部１４は、当該検出された構造物領域に対応する画像データ（以下「構造物画像データ」という。）を特徴量検出部１５に出力するものである。

特徴量検出部１５は、顔パーツ領域検出部１３により出力された顔パーツ画像データを用いて、顔パーツ領域における特徴量を検出するものである。具体的には、例えば、特徴量検出部１５は、顔パーツ領域に含まれる複数個の領域の各々における輝度値の平均値、最大値又はピクセル差分値などを算出することにより、輝度に基づく特徴量（以下「輝度特徴量」という。）を検出する。

また、特徴量検出部１５は、構造物領域検出部１４により出力された構造物画像データを用いて、構造物領域における特徴量を検出するものである。具体的には、例えば、特徴量検出部１５は、構造物領域における輝度値の平均値、最大値又はピクセル差分値などを算出することにより、輝度特徴量を検出する。

画像データ取得部１１、顔領域検出部１２、顔パーツ領域検出部１３、構造物領域検出部１４及び特徴量検出部１５により、第１制御部１０が構成されている。第１制御部１０は、撮像画像データ、顔画像データ、顔パーツ領域データ、構造物画像データ及び特徴量検出部１５により検出された特徴量を示す情報（以下「特徴量情報」という。）の各々を、第２制御部６０内の各部に適宜出力する機能を有している。第２制御部６０は、これらの画像データ及び特徴量情報を用いて、以下の処理を実行するようになっている。

第１補正要否判定部２１は、特徴量検出部１５により検出された特徴量を用いて、搭乗者の視線を検出する処理（以下「視線検出処理」という。）における撮像画像の補正の要否を判定するものである。

具体的には、例えば、第１補正要否判定部２１は、顔パーツ領域における輝度特徴量を用いて撮像画像の補正の要否を判定する。すなわち、第１補正要否判定部２１は、特徴量情報を用いて、搭乗者の黒目に対応する領域（以下「黒目領域」という。）における輝度値と搭乗者のまぶたに対応する領域（以下「まぶた領域」という。）における輝度値との差分値を算出する。第１補正要否判定部２１は、当該算出された差分値と所定の基準値Ｌｒｅｆ１との差分値ΔＬ１を算出する。基準値Ｌｒｅｆ１は、視線検出処理を適切に実行するために必要な黒目領域とまぶた領域間の輝度差に基づき設定された値である。

一例として、黒目領域における輝度値が１０であり、かつ、まぶた領域における輝度値が５０である場合、これらの輝度値間の差分値は４０となる。このとき、基準値Ｌｒｅｆ１が１００に設定されている場合、差分値ΔＬ１は６０となる。

第１補正要否判定部２１は、当該算出された差分値ΔＬ１と所定の閾値Ｌｔｈ１とを比較する。差分値ΔＬ１が閾値Ｌｔｈ１以上である場合、第１補正要否判定部２１は、視線検出処理における撮像画像の補正が必要であると判定する。他方、差分値ΔＬ１が閾値Ｌｔｈ１未満である場合、第１補正要否判定部２１は、視線検出処理における撮像画像の補正が不要であると判定する。

または、例えば、第１補正要否判定部２１は、構造物領域における輝度特徴量を用いて撮像画像の補正の要否を判定する。すなわち、第１補正要否判定部２１は、特徴量情報を用いて、車両１の天井に対応する領域（以下「天井領域」という。）における輝度値と所定の基準値Ｌｒｅｆ２との差分値ΔＬ２を算出する。基準値Ｌｒｅｆ２は、視線検出処理に適した天井領域の輝度、すなわち搭乗者の目に対応する領域（以下「目領域」という。）の画像が安定するときの天井領域の輝度に基づき設定された値である。基準値Ｌｒｅｆ２は、例えば８０に設定されている。

第１補正要否判定部２１は、当該算出された差分値ΔＬ２と所定の閾値Ｌｔｈ２とを比較する。差分値ΔＬ２が閾値Ｌｔｈ２以上である場合、第１補正要否判定部２１は、視線検出処理における撮像画像の補正が必要であると判定する。他方、差分値ΔＬ２が閾値Ｌｔｈ２未満である場合、第１補正要否判定部２１は、視線検出処理における撮像画像の補正が不要であると判定する。

第１補正パラメータ設定部３１は、第１補正要否判定部２１により撮像画像の補正が必要であると判定された場合、特徴量検出部１５により検出された特徴量を用いて、視線検出処理用の補正パラメータを設定するものである。第１画像補正部４１は、第１補正パラメータ設定部３１により設定された補正パラメータを用いて、撮像画像データが示す撮像画像を補正するものである。

具体的には、例えば、基準値Ｌｒｅｆ１が１００に設定されている状態にて、特徴量情報が示す黒目領域Ａ１における輝度値が１０であり、かつ、特徴量情報が示すまぶた領域Ａ２における輝度値が５０であるものとする（図２Ａ参照）。この場合、撮像画像における輝度値を２．５倍にすることにより、黒目領域Ａ１における輝度値が２５となり、かつ、まぶた領域Ａ２における輝度値が１２５となるため、これらの輝度値間の差分値が１００となる（図２Ｂ参照）。すなわち、黒目領域Ａ１とまぶた領域Ａ２間の輝度差が基準値Ｌｒｅｆ１と同等の状態となる。

そこで、第１補正パラメータ設定部３１は、補正パラメータを「２．５」に設定する。第１画像補正部４１は、撮像画像における輝度値を２．５倍にする補正を行う。これにより、黒目領域とまぶた領域間の輝度差を視線検出処理に適した状態にすることができる。

または、例えば、基準値Ｌｒｅｆ２が８０に設定されている状態にて、特徴量情報が示す天井領域における輝度値が４０であるものとする。この場合、撮像画像における輝度値を２．０倍にすることにより、天井領域における輝度値が８０となる。すなわち、天井領域における輝度値が基準値Ｌｒｅｆ２と同等の状態となる。

そこで、第１補正パラメータ設定部３１は、補正パラメータを「２．０」に設定する。第１画像補正部４１は、撮像画像における輝度値を２．０倍にする補正を行う。これにより、目領域の画像が安定した状態にすることができる。

視線検出部５１は、第１補正要否判定部２１により撮像画像の補正が不要であると判定された場合、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて、視線検出処理を実行するものである。また、視線検出部５１は、第１補正要否判定部２１により撮像画像の補正が必要であると判定された場合、第１画像補正部４１による補正後の撮像画像を用いて、視線検出処理を実行するものである。

視線検出処理は、例えば、目領域における基準点（例えば目頭又は目尻などに対応する点）と当該基準点に対する動点（例えば虹彩又は瞳孔などに対応する点）との位置関係に基づき搭乗者の視線角度を算出する方法によるものである。または、例えば、視線検出処理は、目領域における基準点（例えば角膜反射像又は強膜反射像などに対応する点）と当該基準点に対する動点（例えば虹彩又は瞳孔などに対応する点）との位置関係に基づき搭乗者の視線角度を算出する方法、すなわち角膜反射法又は強膜反射法によるものである。

第２補正要否判定部２２は、特徴量検出部１５により検出された特徴量を用いて、搭乗者の開口度を検出する処理（以下「開口度検出処理」という。）における撮像画像の補正の要否を判定するものである。

具体的には、例えば、第２補正要否判定部２２は、顔パーツ領域における輝度特徴量を用いて撮像画像の補正の要否を判定する。すなわち、第２補正要否判定部２２は、特徴量情報を用いて、搭乗者の唇に対応する領域（以下「唇領域」という。）における輝度値と搭乗者の顎に対応する領域（以下「顎領域」という。）における輝度値との差分値を算出する。第２補正要否判定部２２は、当該算出された差分値と所定の基準値Ｌｒｅｆ３との差分値ΔＬ３を算出する。基準値Ｌｒｅｆ３は、開口度検出処理を適切に実行するために必要な唇領域と顎領域間の輝度差に基づき設定された値である。基準値Ｌｒｅｆ３は、例えば８０に設定されている。

第２補正要否判定部２２は、当該算出された差分値ΔＬ３と所定の閾値Ｌｔｈ３とを比較する。差分値ΔＬ３が閾値Ｌｔｈ３以上である場合、第２補正要否判定部２２は、開口度検出処理における撮像画像の補正が必要であると判定する。他方、差分値ΔＬ３が閾値Ｌｔｈ３未満である場合、第２補正要否判定部２２は、開口度検出処理における撮像画像の補正が不要であると判定する。

または、例えば、第２補正要否判定部２２は、構造物領域における輝度特徴量を用いて撮像画像の補正の要否を判定する。すなわち、第２補正要否判定部２２は、特徴量情報を用いて、天井領域における輝度値と所定の基準値Ｌｒｅｆ４との差分値ΔＬ４を算出する。基準値Ｌｒｅｆ４は、開口度検出処理に適した天井領域の輝度、すなわち顔領域の画像が安定するときの天井領域の輝度に基づき設定された値である。基準値Ｌｒｅｆ４は、例えば９０に設定されている。

第２補正要否判定部２２は、当該算出された差分値ΔＬ４と所定の閾値Ｌｔｈ４とを比較する。差分値ΔＬ４が閾値Ｌｔｈ４以上である場合、第２補正要否判定部２２は、開口度検出処理における撮像画像の補正が必要であると判定する。他方、差分値ΔＬ４が閾値Ｌｔｈ４未満である場合、第２補正要否判定部２２は、開口度検出処理における撮像画像の補正が不要であると判定する。

第２補正パラメータ設定部３２は、第２補正要否判定部２２により撮像画像の補正が必要であると判定された場合、特徴量検出部１５により検出された特徴量を用いて、開口度検出処理用の補正パラメータを設定するものである。具体的には、例えば、第２補正パラメータ設定部３２は、顔パーツ領域における輝度特徴量又は構造物領域における輝度特徴量を用いて補正パラメータを設定する。第２補正パラメータ設定部３２による補正パラメータの設定方法は、第１補正パラメータ設定部３１による補正パラメータの設定方法と同様であるため、詳細な説明は省略する。

第２画像補正部４２は、第２補正パラメータ設定部３２により設定された補正パラメータを用いて、撮像画像データが示す撮像画像を補正するものである。第２画像補正部４２による撮像画像の補正方法は、第１画像補正部４１による撮像画像の補正方法と同様であるため、詳細な説明は省略する。

開口度検出部５２は、第２補正要否判定部２２により撮像画像の補正が不要であると判定された場合、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて、開口度検出処理を実行するものである。また、開口度検出部５２は、第２補正要否判定部２２により撮像画像の補正が必要であると判定された場合、第２画像補正部４２による補正後の撮像画像を用いて、開口度検出処理を実行するものである。

開口度検出処理は、例えば、複数個の顔パーツ（例えば口角、唇、鼻及び目など）の位置関係に基づき搭乗者の口の開き度合を算出する方法によるものである。または、例えば、開口度検出処理は、唇領域におけるエッジを検出する方法によるものである。または、例えば、開口度検出処理は、機械学習の結果を用いる方法によるものである。

第３補正要否判定部２３は、特徴量検出部１５により検出された特徴量を用いて、搭乗者の顔向きを検出する処理（以下「顔向き検出処理」という。）における撮像画像の補正の要否を判定するものである。具体的には、例えば、第３補正要否判定部２３は、顔パーツ領域における輝度特徴量又は構造物領域における輝度特徴量を用いて撮像画像の補正の要否を判定する。第３補正要否判定部２３による判定方法は、第１補正要否判定部２１による判定方法及び第２補正要否判定部２２による判定方法と同様であるため、詳細な説明は省略する。

第３補正パラメータ設定部３３は、第３補正要否判定部２３により撮像画像の補正が必要であると判定された場合、特徴量検出部１５により検出された特徴量を用いて、顔向き検出処理用の補正パラメータを設定するものである。具体的には、例えば、第３補正パラメータ設定部３３は、顔パーツ領域における輝度特徴量又は構造物領域における輝度特徴量を用いて補正パラメータを設定する。第３補正パラメータ設定部３３による補正パラメータの設定方法は、第１補正パラメータ設定部３１による補正パラメータの設定方法及び第２補正パラメータ設定部３２による補正パラメータの設定方法と同様であるため、詳細な説明は省略する。

第３画像補正部４３は、第３補正パラメータ設定部３３により設定された補正パラメータを用いて、撮像画像データが示す撮像画像を補正するものである。第３画像補正部４３による撮像画像の補正方法は、第１画像補正部４１による撮像画像の補正方法及び第２画像補正部４２による撮像画像の補正方法と同様であるため、詳細な説明は省略する。

顔向き検出部５３は、第３補正要否判定部２３により撮像画像の補正が不要であると判定された場合、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて、顔向き検出処理を実行するものである。また、顔向き検出部５３は、第３補正要否判定部２３により撮像画像の補正が必要であると判定された場合、第３画像補正部４３による補正後の撮像画像を用いて、顔向き検出処理を実行するものである。

顔向き検出処理は、例えば、複数個の顔パーツ（例えば目、鼻及び口など）の位置関係に基づき顔向き角度を算出する方法によるものである。または、例えば、顔向き検出処理は、機械学習の結果を用いる方法によるものである。

第１補正要否判定部２１、第２補正要否判定部２２及び第３補正要否判定部２３により、補正要否判定部２０が構成されている。第１補正パラメータ設定部３１、第２補正パラメータ設定部３２及び第３補正パラメータ設定部３３により、補正パラメータ設定部３０が構成されている。第１画像補正部４１、第２画像補正部４２及び第３画像補正部４３により、画像補正部４０が構成されている。視線検出部５１、開口度検出部５２及び顔向き検出部５３により、搭乗者状態検出部５０が構成されている。補正要否判定部２０、補正パラメータ設定部３０、画像補正部４０及び搭乗者状態検出部５０により、第２制御部６０が構成されている。

視線検出処理、開口度検出処理及び顔向き検出処理は、いずれも搭乗者の状態を検出する処理である。すなわち、搭乗者状態検出部５０は搭乗者状態検出処理を実行するものであり、搭乗者状態検出部５０による搭乗者状態検出処理は３個の検出項目（視線、開口度及び顔向き）を含むものである。補正要否判定部２０は、当該３個の検出項目毎に撮像画像の補正の要否を判定するものである。補正パラメータ設定部３０は、当該３個の検出項目毎に補正パラメータを設定するものである。画像補正部４０は、当該３個の検出項目毎に撮像画像を補正するものである。搭乗者状態検出部５０は、当該３個の検出項目毎に搭乗者状態検出処理を実行するものである。

運転者状態監視部７０は、視線検出部５１による視線検出処理、開口度検出部５２による開口度検出処理及び顔向き検出部５３による顔向き検出処理の結果を用いて、車両１の運転者（以下、単に「運転者」という。）が居眠り運転状態であるか否かを判定する処理及び運転者が脇見運転状態であるか否かを判定する処理などを実行するものである。すなわち、運転者状態監視部７０は、搭乗者状態検出部５０による搭乗者状態検出処理の結果を用いて、いわゆる「ドライバーモニタリング」を実現するものである。

補正パラメータ設定部３０、画像補正部４０及び搭乗者状態検出部５０により、搭乗者状態検出装置１００の要部が構成されている。また、第１制御部１０、第２制御部６０及び運転者状態監視部７０により、制御装置２００の要部が構成されている。

次に、図３を参照して、制御装置２００の要部のハードウェア構成について説明する。

図３Ａに示す如く、制御装置２００はコンピュータにより構成されており、当該コンピュータはプロセッサ８１及びメモリ８２を有している。メモリ８２には、当該コンピュータを第１制御部１０、第２制御部６０及び運転者状態監視部７０として機能させるためのプログラムが記憶されている。メモリ８２に記憶されているプログラムをプロセッサ８１が読み出して実行することにより、第１制御部１０、第２制御部６０及び運転者状態監視部７０の機能が実現される。

プロセッサ８１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。メモリ８２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどを用いたものである。

または、図３Ｂに示す如く、第１制御部１０、第２制御部６０及び運転者状態監視部７０の機能が専用の処理回路８３により実現されるものであっても良い。処理回路８３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などを用いたものである。

または、制御装置２００はプロセッサ８１、メモリ８２及び処理回路８３を有するものであっても良い。この場合、第１制御部１０、第２制御部６０及び運転者状態監視部７０の機能のうちの一部の機能がプロセッサ８１及びメモリ８２により実現されて、残余の機能が処理回路８３により実現されるものであっても良い。

次に、図４Ａのフローチャートを参照して、制御装置２００の動作について、第１制御部１０の動作を中心に説明する。図４Ａに示す処理は、制御装置２００の電源がオンされている状態にて、例えば所定の時間間隔にて繰り返し実行される。

まず、ステップＳＴ１にて、画像データ取得部１１は、撮像画像データをカメラ２から取得する。画像データ取得部１１は、当該取得された撮像画像データを顔領域検出部１２及び構造物領域検出部１４に出力する。

次いで、ステップＳＴ２にて、顔領域検出部１２は、ステップＳＴ１で画像データ取得部１１により出力された撮像画像データを用いて、撮像画像のうちの顔領域を検出する。顔領域検出部１２は、当該検出された顔領域に対応する画像データ、すなわち顔画像データを顔パーツ領域検出部１３に出力する。

次いで、ステップＳＴ３にて、顔パーツ領域検出部１３は、ステップＳＴ２で顔領域検出部１２により出力された顔画像データを用いて、顔領域のうちの顔パーツ領域を検出する。顔パーツ領域検出部１３は、当該検出された顔パーツ領域に対応する画像データ、すなわち顔パーツ画像データを特徴量検出部１５に出力する。

また、ステップＳＴ４にて、構造物領域検出部１４は、ステップＳＴ１で画像データ取得部１１により出力された撮像画像データを用いて、撮像画像のうちの構造物領域を検出する。構造物領域検出部１４は、当該検出された構造物領域に対応する画像データ、すなわち構造物画像データを特徴量検出部１５に出力する。

次いで、ステップＳＴ５にて、特徴量検出部１５は、ステップＳＴ３で顔パーツ領域検出部１３により出力された顔パーツ画像データを用いて、顔パーツ領域における輝度特徴量を検出する。また、特徴量検出部１５は、ステップＳＴ４で構造物領域検出部１４により出力された構造物画像データを用いて、構造物領域における輝度特徴量を検出する。

次に、図４Ｂ〜図４Ｄのフローチャートを参照して、制御装置２００の動作について、第２制御部６０の動作を中心に説明する。制御装置２００は、図４Ａに示す処理に次いで、図４Ｂ〜図４Ｄの各々に示す処理を実行するようになっている。

まず、ステップＳＴ１１にて、第１補正要否判定部２１は、ステップＳＴ５で特徴量検出部１５により検出された輝度特徴量を用いて、視線検出処理における撮像画像の補正の要否を判定する。第１補正要否判定部２１による判定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。

第１補正要否判定部２１により撮像画像の補正が必要であると判定された場合（ステップＳＴ１１“ＹＥＳ”）、ステップＳＴ１２にて、第１補正パラメータ設定部３１は、ステップＳＴ５で特徴量検出部１５により検出された輝度特徴量を用いて、視線検出処理用の補正パラメータを設定する。次いで、ステップＳＴ１３にて、第１画像補正部４１は、ステップＳＴ１２で第１補正パラメータ設定部３１により設定された補正パラメータを用いて、撮像画像データが示す撮像画像を補正する。次いで、ステップＳＴ１４にて、視線検出部５１は、ステップＳＴ１３における第１画像補正部４１による補正後の撮像画像を用いて視線検出処理を実行する。

他方、第１補正要否判定部２１により撮像画像の補正が不要であると判定された場合（ステップＳＴ１１“ＮＯ”）、ステップＳＴ１４にて、視線検出部５１は、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて視線検出処理を実行する。

第１補正要否判定部２１による判定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。第１補正パラメータ設定部３１による補正パラメータの設定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。視線検出処理の具体例は既に説明したとおりであるため、再度の説明は省略する。

また、ステップＳＴ２１にて、第２補正要否判定部２２は、ステップＳＴ５で特徴量検出部１５により検出された輝度特徴量を用いて、開口度検出処理における撮像画像の補正の要否を判定する。第２補正要否判定部２２による判定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。

第２補正要否判定部２２により撮像画像の補正が必要であると判定された場合（ステップＳＴ２１“ＹＥＳ”）、ステップＳＴ２２にて、第２補正パラメータ設定部３２は、ステップＳＴ５で特徴量検出部１５により検出された輝度特徴量を用いて、開口度検出処理用の補正パラメータを設定する。次いで、ステップＳＴ２３にて、第２画像補正部４２は、ステップＳＴ２２で第２補正パラメータ設定部３２により設定された補正パラメータを用いて、撮像画像データが示す撮像画像を補正する。次いで、ステップＳＴ２４にて、開口度検出部５２は、ステップＳＴ２３における第２画像補正部４２による補正後の撮像画像を用いて開口度検出処理を実行する。

他方、第２補正要否判定部２２により撮像画像の補正が不要であると判定された場合（ステップＳＴ２１“ＮＯ”）、ステップＳＴ２４にて、開口度検出部５２は、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて開口度検出処理を実行する。

第２補正パラメータ設定部３２による補正パラメータの設定方法は、第１補正パラメータ設定部３１による補正パラメータの設定方法と同様であるため、詳細な説明は省略する。第２画像補正部４２による撮像画像の補正方法は、第１画像補正部４１による撮像画像の補正方法と同様であるため、詳細な説明は省略する。開口度検出処理の具体例は既に説明したとおりであるため、再度の説明は省略する。

また、ステップＳＴ３１にて、第３補正要否判定部２３は、ステップＳＴ５で特徴量検出部１５により検出された輝度特徴量を用いて、顔向き検出処理における撮像画像の補正の要否を判定する。第３補正要否判定部２３による判定方法は、第１補正要否判定部２１による判定方法及び第２補正要否判定部２２による判定方法と同様であるため、詳細な説明は省略する。

第３補正要否判定部２３により撮像画像の補正が必要であると判定された場合（ステップＳＴ３１“ＹＥＳ”）、ステップＳＴ３２にて、第３補正パラメータ設定部３３は、ステップＳＴ５で特徴量検出部１５により検出された輝度特徴量を用いて、顔向き検出処理用の補正パラメータを設定する。次いで、ステップＳＴ３３にて、第３画像補正部４３は、ステップＳＴ３２で第３補正パラメータ設定部３３により設定された補正パラメータを用いて、撮像画像データが示す撮像画像を補正する。次いで、ステップＳＴ３４にて、顔向き検出部５３は、ステップＳＴ３３における第３画像補正部４３による補正後の撮像画像を用いて顔向き検出処理を実行する。

他方、第３補正要否判定部２３により撮像画像の補正が不要であると判定された場合（ステップＳＴ３１“ＮＯ”）、ステップＳＴ３４にて、顔向き検出部５３は、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて顔向き検出処理を実行する。

第３補正パラメータ設定部３３による補正パラメータの設定方法は、第１補正パラメータ設定部３１による補正パラメータの設定方法及び第２補正パラメータ設定部３２による補正パラメータの設定方法と同様であるため、詳細な説明は省略する。第３画像補正部４３による撮像画像の補正方法は、第１画像補正部４１による撮像画像の補正方法及び第２画像補正部４２による撮像画像の補正方法と同様であるため、詳細な説明は省略する。顔向き検出処理の具体例は既に説明したとおりであるため、再度の説明は省略する。

このように、搭乗者状態検出装置１００は、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に補正パラメータを設定して、当該検出項目毎に撮像画像を補正する。これにより、複数個の検出項目を含む搭乗者状態検出処理の精度を向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を向上することができる。

特に、輝度特徴量を用いることにより、視線検出処理、開口度検出処理及び顔向き検出処理の精度を向上することができる。この結果、運転者が居眠り状態であるか否かを判定する処理及び運転者が脇見運転状態であるか否かを判定する処理の精度を向上することができる。

また、輝度値の平均値又は最大値などを輝度特徴量に用いることにより、撮像画像における輝度値が視線検出処理に適した輝度値に比して低い場合（すなわち撮像画像が暗い場合）、第１補正要否判定部２１により撮像画像の補正が必要であると判定されて、第１画像補正部４１により輝度値を高くする補正が行われる。撮像画像における輝度値が開口度検出処理に適した輝度値に比して低い場合（すなわち撮像画像が暗い場合）、第２補正要否判定部２２により撮像画像の補正が必要であると判定されて、第２画像補正部４２により輝度値を高くする補正が行われる。撮像画像における輝度値が顔向き検出処理に適した輝度値に比して低い場合（すなわち撮像画像が暗い場合）、第３補正要否判定部２３により撮像画像の補正が必要であると判定されて、第３画像補正部４３により輝度値を高くする補正が行われる。このため、カメラ２が赤外線カメラにより構成されている場合、撮像用の赤外線を照射する光源の発光量を増やすことなく（すなわち当該光源における通電電流を増やすことなく）撮像画像の明るさを確保することができる。このため、ドライバーモニタリングを実現するための消費電力を低減することができる。

なお、顔向き検出部５３による顔向き検出処理が機械学習の結果を用いる方法によるものである場合、特徴量検出部１５は、撮像画像における輝度特徴量と撮像画像に対する比較対象となる画像群（以下「参照画像群」という。）における輝度特徴量とを検出するものであっても良い。

すなわち、この場合、制御装置２００には辞書データが記憶されている。この辞書データは、複数の顔向きと一対一に対応する複数の画像（以下「参照画像」という。）による参照画像群を含むものである。この辞書データは、機械学習の結果を用いて生成されたものである。

特徴量検出部１５は、撮像画像のうちの全領域又は顔領域における輝度値の平均値、中央値又は標準偏差などを算出することにより、撮像画像における輝度特徴量を検出する。また、特徴量検出部１５は、個々の参照画像のうちの全領域又は顔領域における輝度値の平均値、中央値又は標準偏差などを算出することにより、参照画像群における輝度特徴量を検出する。

第３補正要否判定部２３は、撮像画像における輝度特徴量と参照画像群における輝度特徴量との差分値を算出する。第３補正要否判定部２３は、当該算出された差分値が所定値以上である場合、撮像画像の補正が必要であると判定する。他方、当該算出された差分値が所定値未満である場合、第３補正要否判定部２３は、撮像画像の補正が不要であると判定する。

第３補正パラメータ設定部３３は、第３補正要否判定部２３により撮像画像の補正が必要であると判定された場合、第３画像補正部４３による撮像画像の補正が撮像画像における輝度特徴量を参照画像群における輝度特徴量に近づけるものとなるように補正パラメータを設定する。第３画像補正部４３は、第３補正パラメータ設定部３３により設定された補正パラメータを用いて、撮像画像における輝度特徴量を参照画像群における輝度特徴量に近づける補正を行う。

具体的には、例えば、撮像画像における輝度値の平均値が６０であり、かつ、参照画像群における輝度値の平均値が９０であるものとする。この場合、撮像画像における輝度値を１．５倍にすることにより、撮像画像における輝度値の平均値が９０となる。そこで、第３補正パラメータ設定部３３は、補正パラメータを「１．５」に設定する。第１画像補正部４１は、撮像画像における輝度値を１．５倍にする補正を行う。

顔向き検出部５３は、第３補正要否判定部２３により撮像画像の補正が不要であると判定された場合、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて顔向き検出処理を実行する。すなわち、顔向き検出部５３は、未補正の撮像画像を複数の参照画像の各々と比較して、複数の参照画像のうちの未補正の撮像画像に対する類似度が最も高い参照画像を判定することにより、搭乗者の顔向きを検出する。

他方、第３補正要否判定部２３により撮像画像の補正が必要であると判定された場合、顔向き検出部５３は、第３画像補正部４３による補正後の撮像画像を用いて顔向き検出処理を実行する。すなわち、顔向き検出部５３は、補正後の撮像画像を複数の参照画像の各々と比較して、複数の参照画像のうちの補正後の撮像画像に対する類似度が最も高い参照画像を判定することにより、搭乗者の顔向きを検出する。

図５Ａは、撮像画像Ｉ１と、撮像画像Ｉ１における輝度値の分布を示すヒストグラムＨ１との一例を示している。図５Ｂは、参照画像Ｉ２と、参照画像Ｉ２における輝度値の分布を示すヒストグラムＨ２との一例を示している。図５に示す例において、第３補正パラメータ設定部３３が上記のように補正パラメータを設定して、第３画像補正部４３が上記のように撮像画像を補正することにより、ヒストグラムＨ１がヒストグラムＨ２に近づく方向に（すなわち撮像画像が明るくなる方向に）シフトする。これにより、撮像画像の明るさを参照画像の明るさに近づけることができる。この結果、撮像画像を個々の参照画像と比較する処理の精度を向上することができるため、顔向き検出処理の精度を向上することができる。

また、顔パーツ領域検出部１３により検出される顔パーツ領域は、搭乗者状態検出部５０による搭乗者状態処理における検出項目に応じたものであれば良く、上記の具体例に限定されるものではない。例えば、顔パーツ領域検出部１３は、目領域、搭乗者の鼻に対応する小域（以下「鼻領域」という。）、搭乗者の口に対応する領域（以下「口領域」という。）又は搭乗者の頬に対応する領域のうちの少なくとも一つを検出するものであっても良い。

また、構造物領域検出部１４により検出される構造物領域は、天井領域又は車両１のピラーに対応する領域（以下「ピラー領域」という。）に限定されるものではない。ただし、カメラ２に対する位置関係が一定である構造物（例えば天井又はピラーなど）を検出対象とするのが好適であり、カメラ２に対する位置関係が変化し得る構造物（例えば搭乗者が着座している座席のシート又はヘッドレストなど）を検出対象とするのは好適でない。

すなわち、前者の構造物に対応する構造物領域は、撮像画像における位置が一定である。また、前者の構造物は、外光などの環境又は車両１におけるカメラ２の位置などが変化しない限り、撮像画像において常に同じ明るさ、同じ形状及び同じ大きさにて撮像される。このため、後者の構造物に比して構造物領域における特徴量が変動し難い。したがって、後者の構造物に対応する構造物領域における特徴量よりも、前者の構造物に対応する構造物領域における特徴量の方が、補正パラメータの設定に用いるのに適している。

また、第１補正要否判定部２１、第２補正要否判定部２２及び第３補正要否判定部２３の各々において、顔パーツ領域における特徴量又は構造物領域における特徴量のうちのいずれを用いるかは、予め設定されているものであっても良く、又は時間帯に応じて切り替わるものであっても良い。また、第１補正パラメータ設定部３１、第２補正パラメータ設定部３２及び第３補正パラメータ設定部３３の各々において、顔パーツ領域における特徴量又は構造物領域における特徴量のうちのいずれを用いるかは、予め設定されているものであっても良く、又は時間帯に応じて切り替わるものであっても良い。

例えば、朝方及び昼間の時間帯は、車外の明るさなどの環境により、構造物領域における特徴量が安定して検出される状態である蓋然性が高い。これに対して、夕方及び夜間の時間帯は、構造物領域における特徴量を安定して検出することが困難な状態である蓋然性が高い。そこで、朝方及び昼間の時間帯は構造物領域における特徴量を用いる一方、夕方及び夜間の時間帯は顔パーツ領域における特徴量を用いるものであっても良い。

ここで、第１補正要否判定部２１、第２補正要否判定部２２及び第３補正要否判定部２３がいずれも顔パーツ領域における特徴量を用いるものであり、かつ、第１補正パラメータ設定部３１、第２補正パラメータ設定部３２及び第３補正パラメータ設定部３３がいずれも顔パーツ領域における特徴量を用いるものである場合、特徴量検出部１５は構造物領域における特徴量を検出しないものであっても良い。他方、第１補正要否判定部２１、第２補正要否判定部２２及び第３補正要否判定部２３がいずれも構造物領域における特徴量を用いるものであり、かつ、第１補正パラメータ設定部３１、第２補正パラメータ設定部３２及び第３補正パラメータ設定部３３がいずれも構造物領域における特徴量を用いるものである場合、特徴量検出部１５は顔パーツ領域における特徴量を検出しないものであっても良い。

すなわち、特徴量検出部１５は、顔パーツ領域における特徴量又は構造物領域における特徴量のうちの少なくとも一方を検出するものであれば良い。補正要否判定部２０は、顔パーツ領域における特徴量又は構造物領域における特徴量のうちの少なくとも一方を用いて撮像画像の補正の要否を判定するものであれば良い。補正パラメータ設定部３０は、顔パーツ領域における特徴量又は構造物領域における特徴量のうちの少なくとも一方を用いて補正パラメータを設定するものであれば良い。

また、補正要否判定部２０は、特徴量検出部１５により検出された特徴量を用いて、搭乗者状態検出処理における検出項目毎に撮像画像の補正の要否を判定するものであれば良い。すなわち、第１補正要否判定部２１、第２補正要否判定部２２及び第３補正要否判定部２３の各々による判定方法は、上記の具体例に限定されるものではない。

また、補正パラメータ設定部３０は、特徴量検出部１５により検出された特徴量を用いて、搭乗者状態検出処理における検出項目毎に補正パラメータを設定するものであれば良い。すなわち、第１補正パラメータ設定部３１、第２補正パラメータ設定部３２及び第３補正パラメータ設定部３３の各々による補正パラメータの設定方法は、上記の具体例に限定されるものではない。

また、画像補正部４０は、補正パラメータ設定部３０により設定された補正パラメータを用いて、搭乗者状態検出処理における検出項目毎に撮像画像を補正するものであれば良い。すなわち、第１画像補正部４１、第２画像補正部４２及び第３画像補正部４３の各々による撮像画像の補正方法は、上記の具体例に限定されるものではない。第１画像補正部４１、第２画像補正部４２及び第３画像補正部４３の各々は、撮像画像に対して、明暗の補正（例えばコントラスト補正又はガンマ補正など）、ぼかしの補正（例えばガウシアンフィルタ又はメディアンフィルタなど）又はエッジの補正（例えばソーベルフィルタ又はラプラシアンフィルタなど）などの如何なる補正を行うものであっても良い。

また、第１画像補正部４１、第２画像補正部４２及び第３画像補正部４３の各々は、撮像画像のうちの全領域を補正するものであっても良く、又は撮像画像のうちの一部の領域のみを補正するものであっても良い。例えば、第１画像補正部４１は、撮像画像のうちの視線検出処理に用いられる領域（例えば目領域）のみを補正するものであっても良い。第２画像補正部４２は、撮像画像のうちの開口度検出処理に用いられる領域（例えば顔領域）のみを補正するものであっても良い。第３画像補正部４３は、撮像画像のうちの顔向き検出処理に用いられる領域（例えば顔領域）のみを補正するものであっても良い。

また、搭乗者状態検出部５０による搭乗者状態検出処理における検出項目は、搭乗者の視線、搭乗者の開口度及び搭乗者の顔向きに限定されるものではない。例えば、搭乗者状態検出部５０は、搭乗者の顔色を検出する処理（以下「顔色検出処理」という。）を実行するものであっても良い。また、例えば、搭乗者状態検出部５０は、搭乗者の開眼度を検出する処理（以下「開眼度検出処理」という。）を実行するものであっても良い。すなわち、搭乗者状態検出部５０による搭乗者状態検出処理は、複数個の検出項目を含むものであれば良い。当該複数個の検出項目は、搭乗者の視線、搭乗者の開口度、搭乗者の顔向き、搭乗者の顔色又は搭乗者の開眼度のうちの少なくとも一つを含むものであっても良い。

また、特徴量検出部１５により検出される特徴量は、輝度特徴量に限定されるものではない。例えば、特徴量検出部１５は、顔パーツ領域又は構造物領域のうちの少なくとも一方における色値（例えばＲＧＢ値）を検出することにより、色に基づく特徴量（以下「色特徴量」という。）を検出するものであっても良い。また、例えば、特徴量検出部１５は、顔パーツ領域又は構造物領域のうちの少なくも一方におけるＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）又はＥＯＨ（Ｅｄｇｅ Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｏｇｒａｍ）などを検出することにより、エッジに基づく特徴量（以下「エッジ特徴量」という。）を検出するものであっても良い。

すなわち、特徴量検出部１５は、輝度特徴量、色特徴量又はエッジ特徴量のうちの少なくとも一つを検出するものであっても良い。補正要否判定部２０は、輝度特徴量、色特徴量又はエッジ特徴量のうちの少なくとも一つを用いて撮像画像の補正の要否を判定するものであっても良い。補正パラメータ設定部３０は、輝度特徴量、色特徴量又はエッジ特徴量のうちの少なくとも一つを用いて補正パラメータを設定するものであっても良い。

また、通常、撮像画像は時間的に連続する複数のフレームにより構成されている。補正要否判定部２０による要否判定（すなわちステップＳＴ１１，ＳＴ２１，ＳＴ３１の処理）は、毎フレーム実行されるものであっても良く、又は所定数のフレームおきに実行されるものであっても良い。要否判定が所定数のフレームおきに実行されるものである場合、要否判定が実行されないフレームに対する補正は、最新の要否判定の結果（及び最新の補正パラメータ）に基づくものとなる。例えば、要否判定が３フレームおきに実行されるものである場合において、第１フレームに対する要否判定により補正が必要であると判定されて補正パラメータが「２．５」に設定された場合、第１フレームに対して「２．５」の補正がなされるのはもちろんのこと、第２フレーム及び第３フレームに対しても「２．５」の補正がなされる。その後、第４フレームに対する要否判定により補正が必要であると判定されて補正パラメータが「２．１」に設定された場合、第４フレームに対して「２．１」の補正がなされるのはもちろんのこと、第６フレーム及び第７フレームに対しても「２．１」の補正がなされる。

また、運転者状態監視部７０は、搭乗者状態検出部５０による検出結果を用いてドライバーモニタリングを実現するものであれば良い。運転者状態監視部７０による判定項目は、運転者が居眠り運転状態であるか否かの判定及び運転者が脇見運転状態であるか否かの判定に限定されるものではない。例えば、搭乗者状態検出部５０が顔色検出処理を実行するものである場合、運転者状態監視部７０は、搭乗者状態検出部５０による顔色検出処理の結果を用いて、運転者が運転不能状態（いわゆる「デッドマン」）であるか否かを判定する処理を実行するものであっても良い。

すなわち、運転者状態監視部７０は、搭乗者状態検出部５０による搭乗者状態検出処理の結果を用いて、運転者が居眠り運転状態であるか否かを判定する処理、運転者が脇見運転状態であるか否かを判定する処理又は運転者が運転不能状態であるか否かを判定する処理のうちの少なくとも一つを実行するものであっても良い。

また、図６に示す如く、補正パラメータ設定部３０、画像補正部４０及び搭乗者状態検出部５０により搭乗者状態検出システム３００の要部が構成されているものであっても良い。また、第１制御部１０、第２制御部６０及び運転者状態監視部７０により制御システム４００の要部が構成されているものであっても良い。

図７Ａ〜図７Ｄの各々は、制御システム４００の要部のシステム構成を示している。図７に示す如く、制御システム４００は、車両１に搭載自在な車載情報機器９１、車両１に持ち込み自在なスマートフォンなどの携帯情報端末９２、又は、車載情報機器９１若しくは携帯情報端末９２と通信自在なサーバ装置９３のうちのいずれか二以上により構成されている。車載情報機器９１、携帯情報端末９２又はサーバ装置９３のうちのいずれか二以上が連携することにより、第１制御部１０、第２制御部６０及び運転者状態監視部７０の機能が実現されるものであれば良い。

また、図８に示す如く、補正パラメータ設定部３０及び画像補正部４０により搭乗者状態検出装置１００の要部が構成されているものであっても良い。また、図９に示す如く、補正パラメータ設定部３０及び画像補正部４０により搭乗者状態検出システム３００の要部が構成されているものであっても良い。

また、制御装置２００及び制御システム４００は、車両１と異なる移動体にも用いることができる。すなわち、搭乗者状態検出装置１００及び搭乗者状態検出システム３００は、自動車はもちろんのこと、鉄道車両、船舶又は航空機などの移動体における搭乗者状態検出処理にも用いることができる。

以上のように、実施の形態１の搭乗者状態検出装置１００は、車室内撮像用のカメラ２による撮像画像のうちの搭乗者の顔パーツに対応する顔パーツ領域における特徴量、又は、撮像画像のうちの車室内の構造物に対応する構造物領域における特徴量のうちの少なくとも一方を用いて、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に、撮像画像に対する補正パラメータを設定する補正パラメータ設定部３０と、補正パラメータ設定部３０により設定された補正パラメータを用いて、搭乗者状態検出処理における検出項目毎に、撮像画像を補正する画像補正部４０とを備える。これにより、複数個の検出項目を含む搭乗者状態検出処理の精度を向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を向上することができる。

また、搭乗者状態検出装置１００は、画像補正部４０による補正後の撮像画像を用いて、検出項目毎に搭乗者状態検出処理を実行する搭乗者状態検出部５０を備える。これにより、例えば、視線検出処理、開口度検出処理及び顔向き検出処理の精度を向上することができる。この結果、例えば、運転者が居眠り運転状態であるか否かを判定する処理及び運転者が脇見運転状態であるか否かを判定する処理の精度を向上することができる。

また、実施の形態１の搭乗者状態検出システム３００は、車室内撮像用のカメラ２による撮像画像のうちの搭乗者の顔パーツに対応する顔パーツ領域における特徴量、又は、撮像画像のうちの車室内の構造物に対応する構造物領域における特徴量のうちの少なくとも一方を用いて、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に、撮像画像に対する補正パラメータを設定する補正パラメータ設定部３０と、補正パラメータ設定部３０により設定された補正パラメータを用いて、搭乗者状態検出処理における検出項目毎に、撮像画像を補正する画像補正部４０とを備える。これにより、搭乗者状態検出装置１００による上記効果と同様の効果を得ることができる。

また、実施の形態１の搭乗者状態検出方法は、補正パラメータ設定部３０が、車室内撮像用のカメラ２による撮像画像のうちの搭乗者の顔パーツに対応する顔パーツ領域における特徴量、又は、撮像画像のうちの車室内の構造物に対応する構造物領域における特徴量のうちの少なくとも一方を用いて、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に、撮像画像に対する補正パラメータを設定するステップＳＴ１２，ＳＴ２２，ＳＴ３２と、画像補正部４０が、補正パラメータ設定部３０により設定された補正パラメータを用いて、搭乗者状態検出処理における検出項目毎に、撮像画像を補正するステップＳＴ１３，ＳＴ２３，ＳＴ３３とを備える。これにより、搭乗者状態検出装置１００による上記効果と同様の効果を得ることができる。

実施の形態２．
図１０は、実施の形態２に係る搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。図１０を参照して、実施の形態２の搭乗者状態検出装置１００ａについて、車両１内の制御装置２００ａに設けられている例を中心に説明する。なお、図１０において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。

カメラ２ａは、１個又は複数個の可視光カメラにより構成されている。より具体的には、カメラ２ａは、１個又は複数個のカラーカメラにより構成されている。

特徴量検出部１５ａは、顔パーツ領域検出部１３により出力された顔パーツ画像データを用いて、顔パーツ領域における輝度特徴量を検出するものである。また、特徴量検出部１５ａは、構造物領域検出部１４により出力された構造物画像データを用いて、構造物領域における輝度特徴量を検出するものである。特徴量検出部１５ａによる輝度特徴量の検出方法は、図１に示す特徴量検出部１５による輝度特徴量の検出方法と同様であるため、詳細な説明は省略する。

これに加えて、特徴量検出部１５ａは、顔パーツ領域検出部１３により出力された顔パーツ画像データを用いて、顔パーツ領域における色特徴量を検出するものである。具体的には、例えば、特徴量検出部１５ａは、顔パーツ領域に含まれる複数個の領域の各々における色値（例えばＲＧＢ値）を検出する。

また、特徴量検出部１５ａは、構造物領域検出部１４により出力された構造物画像データを用いて、構造物領域における色特徴量を検出するものである。具体的には、例えば、特徴量検出部１５ａは、構造物領域における色値（例えばＲＧＢ値）を検出する。

画像データ取得部１１、顔領域検出部１２、顔パーツ領域検出部１３、構造物領域検出部１４及び特徴量検出部１５ａにより、第１制御部１０ａが構成されている。

第４補正要否判定部２４は、特徴量検出部１５ａにより検出された特徴量を用いて、顔色検出処理における撮像画像の補正の要否を判定するものである。

具体的には、例えば、第４補正要否判定部２４は、顔パーツ領域における色特徴量と、これらの色特徴量に対する比較対象となる色特徴量（以下「基準色特徴量」という。）とを用いて撮像画像の補正の要否を判定する。すなわち、基準色特徴量には、黒目領域のＲＧＢ値に対する比較対象となるＲＧＢ値（以下「第１基準ＲＧＢ値」という。）と、搭乗者の肌に対応する領域（以下「肌領域」という。）のＲＧＢ値に対する比較対象となるＲＧＢ値（以下「第２基準ＲＧＢ値」という。）とが含まれている。第４補正要否判定部２４は、特徴量情報を用いて、黒目領域のＲＧＢ値を第１基準ＲＧＢ値と比較するとともに、肌領域のＲＧＢ値を第２基準ＲＢＧ値と比較する。第４補正要否判定部２４は、これらの比較結果を用いて、いわゆる「色かぶり」の発生の有無を判定する。

ここで、色かぶりとは、撮像画像の全領域における色調が特定の色に偏っている状態をいう。例えば、車両１がトンネル内を走行中であり、当該トンネル内に設置されている照明による黄色の光が車両１に照射されている場合、撮像画像の全領域における色調が黄色に偏る。または、例えば、車両１が夕方の時間帯に走行中であり、夕焼けによる赤色の光が車両１に照射されている場合、撮像画像の全領域における色調が赤色に偏る。

一例として、第１基準ＲＧＢ値が（３０，３０，３０）に設定されており、かつ、第２基準ＲＧＢ値が（２５５，２２６，１９６）に設定されている状態にて、黒目領域のＲＧＢ値が（３０，２２，２２）であり、かつ、肌領域のＲＧＢ値が（２５５，１７０，１４７）であるものとする。この場合、基準ＲＧＢ値に対してＧｒｅｅｎ値及びＢｌｕｅ値が低下しているため、黄色〜橙色の色かぶりが発生していることになる。

第４補正要否判定部２４は、第１基準ＲＧＢ値に対する黒目領域のＲＧＢ値の差分値を算出するとともに、第２基準ＲＧＢ値に対する肌領域のＲＧＢ値の差分値を算出する。第４補正要否判定部２４は、これらの差分値が所定値以上である場合、色かぶりが発生していると判定する。他方、これらの差分値が所定値未満である場合、第４補正要否判定部２４は、色かぶりが発生していないと判定する。

第４補正要否判定部２４は、色かぶりが発生していると判定された場合、顔色検出処理における撮像画像の補正が必要であると判定する。他方、色かぶりが発生していないと判定された場合、第４補正要否判定部２４は、顔色検出処理における撮像画像の補正が不要であると判定する。

ここで、顔パーツ領域に係る基準色特徴量の設定方法について説明する。制御装置２００ａの電源がオンされてから（又は車両１のエンジンが起動してから）所定時間が経過するまでの間、第１制御部１０ａは、撮像画像データを取得する処理、顔領域を検出する処理、顔パーツ領域（例えば、黒目領域、まぶた領域、唇領域、鼻領域及び肌領域など）を検出する処理及び当該顔パーツ領域における色特徴量を検出する処理を所定の時間間隔にて繰り返し実行する。第４補正要否判定部２４は、これらの処理により検出された色特徴量に基づき基準色特徴量を設定する。

なお、制御装置２００ａが搭乗者に対する個人認証処理を実行する機能を有するものである場合、個人認証処理用のデータベースには、搭乗者の顔が撮像された画像を示す画像データが登録されている。この場合、第４補正要否判定部２４は、当該登録されている画像データにおける色特徴量に基づき基準色特徴量を設定するものであっても良い。

または、例えば、第４補正要否判定部２４は、構造物領域における色特徴量と、この色特徴量に対する比較対象となる基準色特徴量とを用いて撮像画像の補正の要否を判定する。すなわち、基準色特徴量には、天井領域のＲＧＢ値に対する比較対象となるＲＧＢ値（以下「第３基準ＲＧＢ値」という。）が含まれている。第４補正要否判定部２４は、特徴量情報を用いて、天井領域のＲＧＢ値を第３基準ＲＧＢ値と比較する。第４補正要否判定部２４は、この比較結果を用いて、色かぶりの発生の有無を判定する。

一例として、第３基準ＲＧＢ値が（１２８，１２８，１２８）に設定されている状態にて、天井領域のＲＧＢ値が（７６，１２８，１２８）であるものとする。この場合、基準ＲＧＢ値に対してＲｅｄ値が低下しているため、赤色の色かぶりが発生していることになる。

第４補正要否判定部２４は、第３基準ＲＧＢ値に対する天井領域のＲＧＢ値の差分値を算出する。第４補正要否判定部２４は、当該算出された差分値が所定値以上である場合、色かぶりが発生していると判定する。他方、当該算出された差分値が所定値未満である場合、第４補正要否判定部２４は、色かぶりが発生していないと判定する。

第４補正要否判定部２４は、色かぶりが発生していると判定された場合、顔色検出処理における撮像画像の補正が必要であると判定する。他方、色かぶりが発生していないと判定された場合、第４補正要否判定部２４は、顔色検出処理における撮像画像の補正が不要であると判定する。

ここで、構造物領域に係る基準色特徴量の設定方法について説明する。制御装置２００ａの電源がオンされてから（又は車両１のエンジンが起動してから）所定時間が経過するまでの間、第１制御部１０ａは、撮像画像データを取得する処理、構造物領域（例えば天井領域又はピラー領域など）を検出する処理及び当該構造物領域における色特徴量を検出する処理を所定の時間間隔にて繰り返し実行する。第４補正要否判定部２４は、これらの処理により検出された色特徴量に基づき基準色特徴量を設定する。

なお、基準色特徴量が第４補正要否判定部２４に予め記憶されており、第４補正要否判定部２４は当該予め記憶されている基準色特徴量を用いるものであっても良い。この場合、基準色特徴量は固定値である。

第４補正パラメータ設定部３４は、第４補正要否判定部２４により撮像画像の補正が必要であると判定された場合、特徴量検出部１５ａにより検出された特徴量を用いて、顔色検出処理用の補正パラメータを設定するものである。第４画像補正部４４は、第４補正パラメータ設定部３４により設定された補正パラメータを用いて、撮像画像データが示す撮像画像を補正するものである。

具体的には、例えば、第１基準ＲＧＢ値が（３０，３０，３０）に設定されている状態にて、特徴量情報が示す黒目領域のＲＧＢ値が（３０，２２，２２）であるものとする。この場合、黒目領域のＲＧＢ値は、第１基準ＲＧＢ値に対して、Ｒｅｄ値が同等であり、かつ、Ｇｒｅｅｎ値が略０．７５倍であり、かつ、Ｂｌｕｅ値が略０．７５倍である。

そこで、第４補正パラメータ設定部３４は、１÷０．７５≒１．３により、Ｇｒｅｅｎ値及びＢｌｕｅ値に対する補正パラメータを「１．３」に設定する。第４画像補正部４４は、撮像画像におけるＧｒｅｅｎ値及びＢｌｕｅ値を１．３倍にする補正を行う。これにより、黄色〜橙色の色かぶりを補正して、撮像画像のホワイトバランスを顔色検出処理に適した状態にすることができる。

または、例えば、第３基準ＲＧＢ値が（１２８，１２８，１２８）に設定されている状態にて、特徴量情報が示す天井領域のＲＧＢ値が（７６，１２８，１２８）であるものとする。この場合、天井領域のＲＧＢ値は、第３基準ＲＧＢ値に対して、Ｒｅｄ値が略０．６倍であり、かつ、Ｇｒｅｅｎ値が同等であり、かつ、Ｂｌｕｅ値が同等である。

そこで、第４補正パラメータ設定部３４は、１÷０．６≒１．７により、Ｒｅｄ値に対する補正パラメータを「１．７」に設定する。第４画像補正部４４は、撮像画像におけるＲｅｄ値を１．７倍にする補正を行う。これにより、赤色の色かぶりを補正して、撮像画像のホワイトバランスを顔色検出処理に適した状態にすることができる。

顔色検出部５４は、第４補正要否判定部２４により撮像画像の補正が不要であると判定された場合、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて、顔色検出処理を実行するものである。また、顔色検出部５４は、第４補正要否判定部２４により撮像画像の補正が必要であると判定された場合、第４画像補正部４４による補正後の撮像画像を用いて、顔色検出処理を実行するものである。

具体的には、例えば、顔色検出部５４は、第２基準ＲＧＢ値と未補正の撮像画像又は補正後の撮像画像のうちの肌領域におけるＲＧＢ値との差分値を算出する。顔色検出部５４は、当該算出された差分値が所定の閾値以上である場合、搭乗者の顔色が異常状態であると判定する。他方、当該算出された差分値が閾値未満である場合、顔色検出部５４は、搭乗者の顔色が正常状態であると判定する。

一例として、図１１Ａ及び図１１Ｂの各々に示す如く、第１基準ＲＧＢ値が（３０，３０，３０）に設定されている状態にて、特徴量情報が示す黒目領域のＲＧＢ値が（３０，２２，２２）であることにより、Ｇｒｅｅｎ値及びＢｌｕｅ値を１．３倍にする補正が行われたものとする。

図１１Ａに示す例においては、補正前の撮像画像における肌領域のＲＧＢ値が（２５５，１７０，１４７）であるため、補正後の撮像画像における肌領域のＲＧＢ値は（２５５，２２１，１９１）となる。この場合、補正後の撮像画像における肌領域のＲＧＢ値（２５５，２２１，１９１）は、第２基準ＲＧＢ値（２５５，２２６，１９６）と略同等である。このため、搭乗者の顔色が正常状態であると判定される。

他方、図１１Ｂに示す例においては、補正前の撮像画像における肌領域のＲＧＢ値が（２５５，１５３，１３２）であるため、補正後の撮像画像における肌領域のＲＧＢ値は（２５５，１９９，１７２）となる。この場合、補正後の撮像画像における肌領域のＲＧＢ値（２５５，１９９，１７２）は、第２基準ＲＧＢ値（２５５，２２６，１９６）に対してＧｒｅｅｎ値及びＢｌｕｅ値が低下している。このため、搭乗者の顔色が異常状態であると判定される。より具体的には、搭乗者の顔色が通常時の顔色に比して赤色〜橙色に変化していると判定される。

なお、仮に第４補正要否判定部２４による判定及び第４補正パラメータ設定部３４による補正パラメータの設定に構造物領域における色特徴量が用いられた場合であっても、顔色検出部５４による顔色検出処理には顔パーツ領域（より具体的には肌領域）における色特徴量が用いられる。すなわち、この場合においても、顔色検出部５４は上記の具体例と同様の顔色検出処理を実行する。

第１補正要否判定部２１、第２補正要否判定部２２、第３補正要否判定部２３及び第４補正要否判定部２４により、補正要否判定部２０ａが構成されている。第１補正パラメータ設定部３１、第２補正パラメータ設定部３２、第３補正パラメータ設定部３３及び第４補正パラメータ設定部３４により、補正パラメータ設定部３０ａが構成されている。第１画像補正部４１、第２画像補正部４２、第３画像補正部４３及び第４画像補正部４４により、画像補正部４０ａが構成されている。視線検出部５１、開口度検出部５２、顔向き検出部５３及び顔色検出部５４により、搭乗者状態検出部５０ａが構成されている。補正要否判定部２０ａ、補正パラメータ設定部３０ａ、画像補正部４０ａ及び搭乗者状態検出部５０ａにより、第２制御部６０ａが構成されている。

運転者状態監視部７０ａは、視線検出部５１による視線検出処理、開口度検出部５２による開口度検出処理及び顔向き検出部５３による顔向き検出処理の結果を用いて、運転者が居眠り運転状態であるか否かを判定する処理及び運転者が脇見運転状態であるか否かを判定する処理などを実行するものである。また、運転者状態監視部７０ａは、顔色検出部５４による顔色検出処理の結果を用いて、運転者が運転不能状態であるか否かを判定する処理などを実行するものである。

補正パラメータ設定部３０ａ、画像補正部４０ａ及び搭乗者状態検出部５０ａにより、搭乗者状態検出装置１００ａの要部が構成されている。また、第１制御部１０ａ、第２制御部６０ａ及び運転者状態監視部７０ａにより、制御装置２００ａの要部が構成されている。

制御装置２００ａの要部のハードウェア構成は、実施の形態１にて図３を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第１制御部１０ａ、第２制御部６０ａ及び運転者状態監視部７０ａの機能は、プロセッサ８１及びメモリ８２により実現されるものであっても良く、又は処理回路８３により実現されるものであっても良い。

次に、図１２Ａのフローチャートを参照して、制御装置２００ａの動作について、第１制御部１０ａの動作を中心に説明する。

まず、画像データ取得部１１がステップＳＴ１の処理を実行する。次いで、顔領域検出部１２がステップＳＴ２の処理を実行して、顔パーツ領域検出部１３がステップＳＴ３の処理を実行する。また、構造物領域検出部１４がステップＳＴ４の処理を実行する。ステップＳＴ１〜ＳＴ４の処理内容は、実施の形態１にて図４Ａを参照して説明したものと同様であるため、詳細な説明は省略する。

次いで、ステップＳＴ５ａにて、特徴量検出部１５ａは、ステップＳＴ３で顔パーツ領域検出部１３により出力された顔パーツ画像データを用いて、顔パーツ領域における輝度特徴量及び色特徴量を検出する。また、特徴量検出部１５ａは、ステップＳＴ４で構造物領域検出部１４により出力された構造物画像データを用いて、構造物領域における輝度特徴量及び色特徴量を検出する。

次に、図１２Ｂ〜図１２Ｅのフローチャートを参照して、制御装置２００ａの動作について、第２制御部６０ａの動作を中心に説明する。制御装置２００ａは、図１２Ａに示す処理に次いで、図１２Ｂ〜図１２Ｅの各々に示す処理を実行するようになっている。

なお、図１２Ｂに示すステップＳＴ１１〜ＳＴ１４の処理内容は、実施の形態１にて図４Ｂを参照して説明したものと同様であるため、詳細な説明は省略する。図１２Ｃに示すステップＳＴ２１〜ＳＴ２４の処理内容は、実施の形態１にて図４Ｃを参照して説明したものと同様であるため、詳細な説明は省略する。図１２Ｄに示すステップＳＴ３１〜ＳＴ３４の処理内容は、実施の形態１にて図４Ｄを参照して説明したものと同様であるため、詳細な説明は省略する。

ステップＳＴ４１にて、第４補正要否判定部２４は、ステップＳＴ５ａで特徴量検出部１５ａにより検出された色特徴量を用いて、顔色検出処理における撮像画像の補正の要否を判定する。第４補正要否判定部２４による判定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。

第４補正要否判定部２４により撮像画像の補正が必要であると判定された場合（ステップＳＴ４１“ＹＥＳ”）、ステップＳＴ４２にて、第４補正パラメータ設定部３４は、ステップＳＴ５ａで特徴量検出部１５ａにより検出された色特徴量を用いて、顔色検出処理用の補正パラメータを設定する。次いで、ステップＳＴ４３にて、第４画像補正部４４は、ステップＳＴ４２で第４補正パラメータ設定部３４により設定された補正パラメータを用いて、撮像画像データが示す撮像画像を補正する。次いで、ステップＳＴ４４にて、顔色検出部５４は、ステップＳＴ４３における第４画像補正部４４による補正後の撮像画像を用いて顔色検出処理を実行する。

他方、第４補正要否判定部２４により撮像画像の補正が不要であると判定された場合（ステップＳＴ４１“ＮＯ”）、ステップＳＴ４４にて、顔色検出部５４は、撮像画像データが示す撮像画像（すなわち未補正の撮像画像）を用いて顔色検出処理を実行する。

第４画像補正部４４による撮像画像の補正方法の具体例は既に説明したとおりであるため、再度の説明は省略する。第４補正パラメータ設定部３４による補正パラメータの設定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。顔色検出処理の具体例は既に説明したとおりであるため、再度の説明は省略する。

このように、搭乗者状態検出装置１００ａは、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に補正パラメータを設定して、当該検出項目毎に撮像画像を補正する。これにより、複数個の検出項目を含む搭乗者状態検出処理の精度を向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を向上することができる。

特に、色特徴量を用いることにより、顔色検出処理の精度を向上することができる。この結果、運転者が運転不能状態であるか否かを判定する処理の精度を向上することができる。

なお、第４補正要否判定部２４による判定方法は、上記の具体例に限定されるものではない。第４補正パラメータ設定部３４による補正パラメータの設定方法は、上記の具体例に限定されるものではない。第４画像補正部４４による撮像画像の補正方法は、上記の具体例に限定されるものではない。

また、第４補正要否判定部２４による要否判定（すなわちステップＳＴ４１の処理）は、毎フレーム実行されるものであっても良く、又は所定数のフレームおきに実行されるものであっても良い。要否判定が所定数のフレームおきに実行されるものである場合、要否判定が実行されないフレームに対する補正は、最新の要否判定の結果（及び最新の補正パラメータ）に基づくものとなる。

また、図１３に示す如く、補正パラメータ設定部３０ａ、画像補正部４０ａ及び搭乗者状態検出部５０ａにより搭乗者状態検出システム３００ａの要部が構成されているものであっても良い。また、第１制御部１０ａ、第２制御部６０ａ及び運転者状態監視部７０ａにより制御システム４００ａの要部が構成されているものであっても良い。

制御システム４００ａの要部のシステム構成は、実施の形態１にて図７を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、車載情報機器９１、携帯情報端末９２又はサーバ装置９３のうちのいずれか二以上が連携することにより、第１制御部１０ａ、第２制御部６０ａ及び運転者状態監視部７０ａの機能が実現されるものであれば良い。

また、図８に示す例と同様に、補正パラメータ設定部３０ａ及び画像補正部４０ａにより搭乗者状態検出装置１００ａの要部が構成されているものであっても良い。また、図９に示す例と同様に、補正パラメータ設定部３０ａ及び画像補正部４０ａにより搭乗者状態検出システム３００ａの要部が構成されているものであっても良い。

そのほか、制御装置２００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち制御装置２００と同様の種々の変形例を採用することができる。また、制御システム４００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち制御システム４００と同様の種々の変形例を採用することができる。

以上のように、実施の形態２の搭乗者状態検出装置１００ａは、車室内撮像用のカメラ２ａによる撮像画像のうちの搭乗者の顔パーツに対応する顔パーツ領域における特徴量、又は、撮像画像のうちの車室内の構造物に対応する構造物領域における特徴量のうちの少なくとも一方を用いて、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に、撮像画像に対する補正パラメータを設定する補正パラメータ設定部３０ａと、補正パラメータ設定部３０ａにより設定された補正パラメータを用いて、搭乗者状態検出処理における検出項目毎に、撮像画像を補正する画像補正部４０ａとを備える。これにより、複数個の検出項目を含む搭乗者状態検出処理の精度を向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を向上することができる。

また、搭乗者状態検出装置１００ａは、画像補正部４０ａによる補正後の撮像画像を用いて、検出項目毎に搭乗者状態検出処理を実行する搭乗者状態検出部５０ａを備える。これにより、例えば、顔色検出処理の精度を向上することができる。この結果、例えば、運転者が運転不能状態であるか否かを判定する処理の精度を向上することができる。

実施の形態３．
図１４は、実施の形態３に係る搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。図１４を参照して、実施の形態３の搭乗者状態検出装置１００ｂについて、車両１内の制御装置２００ｂに設けられている例を中心に説明する。なお、図１４において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。

顔パーツ領域検出部１３ｂは、顔領域検出部１２により出力された顔画像データを用いて、撮像画像における顔パーツ領域を検出するものである。顔パーツ領域検出部１３ｂによる顔パーツ領域の検出方法は、図１に示す顔パーツ領域検出部１３による顔パーツ領域の検出方法と同様であるため、詳細な説明は省略する。

ここで、実施の形態１にて説明したとおり、顔パーツ領域は複数個の顔パーツに対応する複数個の領域（以下、単に「複数個の領域」という。）を含むものである。顔パーツ領域検出部１３ｂは、複数個の領域のうちの検出に失敗した領域（以下「検出失敗領域」という。）を示す情報を除外対象領域設定部１６に出力するものである。

また、顔パーツ領域検出部１３ｂは、複数個の領域のうちの検出に成功した領域の各々について、当該検出の信頼度（以下、単に「信頼度」という。）を算出する機能を有している。顔パーツ領域検出部１３ｂは、複数個の領域のうちの信頼度が所定値よりも低い領域（以下「低信頼度領域」という。）を示す情報を除外対象領域設定部１６に出力するものである。

具体的には、例えば、顔パーツ領域検出部１３ｂは、モデルフィッティング又はＥＢＧＭなどのアルゴリズムにおけるスコアマップを生成する。顔パーツ領域検出部１３ｂは、当該生成されたスコアマップを用いてマッチングスコアを算出する。顔パーツ領域検出部１３ｂは、当該算出されたマッチングスコアの値を信頼度に用いる。

例えば、撮像画像において遮蔽物（例えば搭乗者の手など）により遮蔽されている顔パーツが存在する場合、複数個の領域のうちの当該遮蔽されている顔パーツに対応する領域は、検出失敗領域又は低信頼度領域となる蓋然性が高い。以下、当該遮蔽されている領域を「遮蔽領域」という。

また、例えば、カメラ２が赤外線カメラにより構成されている場合において、複数個の領域のうちのいわゆる「白とび」が発生している領域は、検出失敗領域又は低信頼度領域となる蓋然性が高い。なお、撮像画像において搭乗者の手により遮蔽されている顔パーツが存在することに起因して、当該遮蔽されている顔パーツに対応する領域（すなわち遮蔽領域）にて白とびが発生することもある。以下、白とびが発生している領域を「白とび領域」という。

また、例えば、カメラ２がカラーカメラにより構成されている場合において、複数個の領域のうちのいわゆる「黒つぶれ」が発生している領域は、検出失敗領域又は低信頼度領域となる蓋然性が高い。なお、撮像画像において搭乗者の手により遮蔽されている顔パーツが存在することに起因して、当該遮蔽されている顔パーツに対応する領域（すなわち遮蔽領域）にて黒つぶれが発生することもある。以下、黒つぶれが発生している領域を「黒つぶれ領域」という。

除外対象領域設定部１６は、顔パーツ領域検出部１３ｂにより出力された情報を用いて、複数個の領域のうち、その特徴量が補正パラメータ設定部３０ｂによる補正パラメータの設定から除外される領域（以下「除外対象領域」という。）を設定するものである。具体的には、例えば、除外対象領域設定部１６は、顔パーツ領域検出部１３ｂにより出力された情報が示す検出失敗領域及び低信頼度領域を除外対象領域に設定する。

画像データ取得部１１、顔領域検出部１２、顔パーツ領域検出部１３ｂ、構造物領域検出部１４、特徴量検出部１５及び除外対象領域設定部１６により、第１制御部１０ｂが構成されている。

第１補正パラメータ設定部３１ｂは、第１補正要否判定部２１により撮像画像の補正が必要であると判定された場合、特徴量検出部１５により検出された特徴量を用いて、視線検出処理用の補正パラメータを設定するものである。第１補正パラメータ設定部３１ｂによる補正パラメータの設定方法は、図１に示す第１補正パラメータ設定部３１による補正パラメータの設定方法と同様であるため、詳細な説明は省略する。ただし、第１補正パラメータ設定部３１ｂは、複数個の領域のうちの除外対象領域と異なる領域における特徴量を用いて補正パラメータを設定するようになっている。

第２補正パラメータ設定部３２ｂは、第２補正要否判定部２２により撮像画像の補正が必要であると判定された場合、特徴量検出部１５により検出された特徴量を用いて、開口度検出処理用の補正パラメータを設定するものである。第２補正パラメータ設定部３２ｂによる補正パラメータの設定方法は、図１に示す第２補正パラメータ設定部３２による補正パラメータの設定方法と同様であるため、詳細な説明は省略する。ただし、第２補正パラメータ設定部３２ｂは、複数個の領域のうちの除外対象領域と異なる領域における特徴量を用いて補正パラメータを設定するようになっている。

第３補正パラメータ設定部３３ｂは、第３補正要否判定部２３により撮像画像の補正が必要であると判定された場合、特徴量検出部１５により検出された特徴量を用いて、顔向き検出処理用の補正パラメータを設定するものである。第３補正パラメータ設定部３３ｂによる補正パラメータの設定方法は、図１に示す第３補正パラメータ設定部３３による補正パラメータの設定方法と同様であるため、詳細な説明は省略する。ただし、第３補正パラメータ設定部３３ｂは、複数個の領域のうちの除外対象領域と異なる領域における特徴量を用いて補正パラメータを設定するようになっている。

例えば、図１５Ａに示す如く、撮像画像Ｉ３において搭乗者の口が搭乗者の手により遮蔽されているものとする。また、これに起因して、口領域にて白とびが発生しているものとする。この場合、口領域は検出失敗領域又は低信頼度領域となる。除外対象領域設定部１６は、口領域を除外対象領域に設定する。

そこで、第１補正パラメータ設定部３１ｂ、第２補正パラメータ設定部３２ｂ及び第３補正パラメータ設定部３３ｂの各々は、図１５Ｂに示す如く、口領域と異なる領域Ａ３における特徴量を用いて補正パラメータを設定する。図１５Ｂに示す例において、この領域Ａ３には、目領域、鼻領域及び搭乗者の額に対応する領域などが含まれている。

第１補正パラメータ設定部３１ｂ、第２補正パラメータ設定部３２ｂ及び第３補正パラメータ設定部３３ｂにより、補正パラメータ設定部３０ｂが構成されている。補正要否判定部２０、補正パラメータ設定部３０ｂ、画像補正部４０及び搭乗者状態検出部５０により、第２制御部６０ｂが構成されている。

補正パラメータ設定部３０ｂ、画像補正部４０及び搭乗者状態検出部５０により、搭乗者状態検出装置１００ｂの要部が構成されている。また、第１制御部１０ｂ、第２制御部６０ｂ及び運転者状態監視部７０により、制御装置２００ｂの要部が構成されている。

制御装置２００ｂの要部のハードウェア構成は、実施の形態１にて図３を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第１制御部１０ｂ、第２制御部６０ｂ及び運転者状態監視部７０の機能は、プロセッサ８１及びメモリ８２により実現されるものであっても良く、又は処理回路８３により実現されるものであっても良い。

次に、図１６のフローチャートを参照して、制御装置２００ｂの動作について、第１制御部１０ｂの動作を中心に説明する。

まず、画像データ取得部１１がステップＳＴ１の処理を実行する。次いで、顔領域検出部１２がステップＳＴ２の処理を実行して、顔パーツ領域検出部１３がステップＳＴ３の処理を実行する。また、構造物領域検出部１４がステップＳＴ４の処理を実行する。次いで、特徴量検出部１５がステップＳＴ５の処理を実行する。ステップＳＴ１〜ＳＴ５の処理内容は、実施の形態１にて図４Ａを参照して説明したものと同様であるため、詳細な説明は省略する。

次いで、ステップＳＴ６にて、除外対象領域設定部１６は、顔パーツ領域検出部１３ｂにより出力された情報を用いて、除外対象領域を設定する。具体的には、例えば、除外対象領域設定部１６は、顔パーツ領域検出部１３ｂにより出力された情報が示す検出失敗領域及び低信頼度領域を除外対象領域に設定する。

第２制御部６０ｂの動作は、実施の形態１にて図４Ｂ〜図４Ｄを参照して説明したものと同様であるため、図示及び説明を省略する。ただし、補正パラメータ設定部３０ｂが補正パラメータを設定するとき（すなわちステップＳＴ１２，ＳＴ２２，ＳＴ３２の各々にて）、複数個の領域のうちの除外対象領域と異なる領域における特徴量が用いられる。この除外対象領域は、ステップＳＴ６で除外対象領域設定部１６により設定されたものである。

このように、搭乗者状態検出装置１００ｂにおいては、検出失敗領域及び低信頼度領域における特徴量が補正パラメータ設定部３０ｂによる補正パラメータの設定から除外される。これにより、遮蔽領域、白とび領域又は黒つぶれ領域などにおける特徴量に基づき補正パラメータが設定されるのを回避することができる。この結果、搭乗者状態検出処理の精度を更に向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を更に向上することができる。

特に、輝度特徴量を用いることにより、視線検出処理、開口度検出処理及び顔向き検出処理の精度を更に向上することができる。この結果、運転者が居眠り状態であるか否かを判定する処理及び運転者が脇見運転状態であるか否かを判定する処理の精度を更に向上することができる。

なお、除外対象領域設定部１６による除外対象領域の設定方法は、上記の具体例に限定されるものではない。

例えば、カメラ２が赤外線カメラにより構成されており、かつ、特徴量検出部１５が輝度特徴量を検出するものである場合、除外対象領域設定部１６は、特徴量情報が示す輝度値を用いて、複数個の領域のうちの白とび領域を検出するものであっても良い。特徴量検出部１５は、当該検出された白とび領域を除外対象領域に設定するものであっても良い。または、特徴量検出部１５は、当該検出された白とび領域のうちの検出失敗領域及び低信頼度領域が遮蔽領域であると判定して、当該遮蔽領域であると判定された領域を除外対象領域に設定するものであっても良い。

また、例えば、カメラ２がカラーカメラにより構成されており、かつ、特徴量検出部１５が色特徴量を検出するものである場合、除外対象領域設定部１６は、特徴量情報が示す色値を用いて、複数個の領域のうちの黒つぶれ領域を検出するものであっても良い。特徴量検出部１５は、当該検出された黒つぶれ領域を除外対象領域に設定するものであっても良い。または、特徴量検出部１５は、当該検出された黒つぶれ領域のうちの検出失敗領域及び低信頼度領域が遮蔽領域であると判定して、当該遮蔽領域であると判定された領域を除外対象領域に設定するものであっても良い。

また、例えば、除外対象領域設定部１６は、検出失敗領域又は低信頼度領域のうちの少なくとも一方を除外対象領域に設定するものであっても良い。

また、図１７に示す如く、補正パラメータ設定部３０ｂ、画像補正部４０及び搭乗者状態検出部５０により搭乗者状態検出システム３００ｂの要部が構成されているものであっても良い。また、第１制御部１０ｂ、第２制御部６０ｂ及び運転者状態監視部７０により制御システム４００ｂの要部が構成されているものであっても良い。

制御システム４００ｂの要部のシステム構成は、実施の形態１にて図７を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、車載情報機器９１、携帯情報端末９２又はサーバ装置９３のうちのいずれか二以上が連携することにより、第１制御部１０ｂ、第２制御部６０ｂ及び運転者状態監視部７０の機能が実現されるものであれば良い。

また、図８に示す例と同様に、補正パラメータ設定部３０ｂ及び画像補正部４０により搭乗者状態検出装置１００ｂの要部が構成されているものであっても良い。また、図９に示す例と同様に、補正パラメータ設定部３０ｂ及び画像補正部４０により搭乗者状態検出システム３００ｂの要部が構成されているものであっても良い。

そのほか、制御装置２００ｂは、実施の形態１にて説明したものと同様の種々の変形例、すなわち制御装置２００と同様の種々の変形例を採用することができる。また、制御システム４００ｂは、実施の形態１にて説明したものと同様の種々の変形例、すなわち制御システム４００と同様の種々の変形例を採用することができる。

以上のように、実施の形態３の搭乗者状態検出装置１００ｂにおいて、顔パーツ領域は、複数個の顔パーツに対応する複数個の領域を含むものであり、補正パラメータ設定部３０ｂは、複数個の領域のうちの検出失敗領域と異なる領域における特徴量を用いて撮像画像に対する補正パラメータを設定する。これにより、搭乗者状態検出処理の精度を更に向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を更に向上することができる。

また、搭乗者状態検出装置１００ｂにおいて、顔パーツ領域は、複数個の顔パーツに対応する複数個の領域を含むものであり、補正パラメータ設定部３０ｂは、複数個の領域のうちの低信頼度領域と異なる領域における特徴量を用いて撮像画像に対する補正パラメータを設定する。これにより、搭乗者状態検出処理の精度を更に向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を更に向上することができる。

実施の形態４．
図１８は、実施の形態４に係る搭乗者状態検出装置を含む制御装置の要部を示すブロック図である。図１８を参照して、実施の形態４の搭乗者状態検出装置１００ｃについて、車両１内の制御装置２００ｃに設けられている例を中心に説明する。

なお、図１８において、図１０に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、図１８において、図１４に示すブロックと同様のブロックには同一符号を付して説明を省略する。

図１８に示す如く、画像データ取得部１１、顔領域検出部１２、顔パーツ領域検出部１３ｂ、構造物領域検出部１４、特徴量検出部１５ａ及び除外対象領域設定部１６により、第１制御部１０ｃが構成されている。

第４補正パラメータ設定部３４ｃは、第４補正要否判定部２４により撮像画像の補正が必要であると判定された場合、特徴量検出部１５ａにより検出された特徴量を用いて、顔色検出処理用の補正パラメータを設定するものである。第４補正パラメータ設定部３４ｃによる補正パラメータの設定方法は、図１０に示す第４補正パラメータ設定部３４による補正パラメータの設定方法と同様であるため、詳細な説明は省略する。ただし、第４補正パラメータ設定部３４ｃは、複数個の領域のうちの除外対象領域と異なる領域における特徴量を用いて補正パラメータを設定するようになっている。この除外対象領域は、除外対象領域設定部１６により設定されたものである。

第１補正パラメータ設定部３１ｂ、第２補正パラメータ設定部３２ｂ、第３補正パラメータ設定部３３ｂ及び第４補正パラメータ設定部３４ｃにより、補正パラメータ設定部３０ｃが構成されている。補正要否判定部２０ａ、補正パラメータ設定部３０ｃ、画像補正部４０ａ及び搭乗者状態検出部５０ａにより、第２制御部６０ｃが構成されている。

補正パラメータ設定部３０ｃ、画像補正部４０ａ及び搭乗者状態検出部５０ａにより、搭乗者状態検出装置１００ｃの要部が構成されている。また、第１制御部１０ｃ、第２制御部６０ｃ及び運転者状態監視部７０ａにより、制御装置２００ｃの要部が構成されている。

制御装置２００ｃの要部のハードウェア構成は、実施の形態１にて図３を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第１制御部１０ｃ、第２制御部６０ｃ及び運転者状態監視部７０ａの機能は、プロセッサ８１及びメモリ８２により実現されるものであっても良く、又は処理回路８３により実現されるものであっても良い。

図１９のフローチャートは、第１制御部１０ｃの動作を示している。ステップＳＴ１〜ＳＴ４の処理内容は、実施の形態１にて図４Ａを参照して説明したものと同様であるため、詳細な説明は省略する。ステップＳＴ５ａの処理内容は、実施の形態２にて図１２Ａを参照して説明したものと同様であるため、詳細な説明は省略する。ステップＳＴ６の処理内容は、実施の形態３にて図１６を参照して説明したものと同様であるため、詳細な説明は省略する。

第２制御部６０ｃの動作は、実施の形態２にて図１２Ｂ〜図１２Ｅを参照して説明したものと同様であるため、図示及び説明を省略する。ただし、補正パラメータ設定部３０ｃが補正パラメータを設定するとき（すなわちステップＳＴ１２，ＳＴ２２，ＳＴ３２，ＳＴ４２の各々にて）、複数個の領域のうちの除外対象領域と異なる領域における特徴量が用いられる。この除外対象領域は、ステップＳＴ６で除外対象領域設定部１６により設定されたものである。

このように、搭乗者状態検出装置１００ｃにおいては、検出失敗領域及び低信頼度領域における特徴量が補正パラメータ設定部３０ｃによる補正パラメータの設定から除外される。これにより、遮蔽領域、白とび領域又は黒つぶれ領域などにおける特徴量に基づき補正パラメータが設定されるのを回避することができる。この結果、搭乗者状態検出処理の精度を更に向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を更に向上することができる。

特に、色特徴量を用いることにより、顔色検出処理の精度を更に向上することができる。この結果、運転者が運転不能状態であるか否かを判定する処理の精度を更に向上することができる。

なお、図２０に示す如く、補正パラメータ設定部３０ｃ、画像補正部４０ａ及び搭乗者状態検出部５０ａにより搭乗者状態検出システム３００ｃの要部が構成されているものであっても良い。また、第１制御部１０ｃ、第２制御部６０ｃ及び運転者状態監視部７０ａにより制御システム４００ｃの要部が構成されているものであっても良い。

制御システム４００ｃの要部のシステム構成は、実施の形態１にて図７を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、車載情報機器９１、携帯情報端末９２又はサーバ装置９３のうちのいずれか二以上が連携することにより、第１制御部１０ｃ、第２制御部６０ｃ及び運転者状態監視部７０ａの機能が実現されるものであれば良い。

また、図８に示す例と同様に、補正パラメータ設定部３０ｃ及び画像補正部４０ａにより搭乗者状態検出装置１００ｃの要部が構成されているものであっても良い。また、図９に示す例と同様に、補正パラメータ設定部３０ｃ及び画像補正部４０ａにより搭乗者状態検出システム３００ｃの要部が構成されているものであっても良い。

そのほか、制御装置２００ｃは、実施の形態１〜３にて説明したものと同様の種々の変形例、すなわち制御装置２００，２００ａ，２００ｂと同様の種々の変形例を採用することができる。また、制御システム４００ｃは、実施の形態１〜３にて説明したものと同様の種々の変形例、すなわち制御システム４００，４００ａ，４００ｂと同様の種々の変形例を採用することができる。

以上のように、実施の形態４の搭乗者状態検出装置１００ｃにおいて、顔パーツ領域は、複数個の顔パーツに対応する複数個の領域を含むものであり、補正パラメータ設定部３０ｃは、複数個の領域のうちの検出失敗領域と異なる領域における特徴量を用いて撮像画像に対する補正パラメータを設定する。これにより、搭乗者状態検出処理の精度を更に向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を更に向上することができる。

また、搭乗者状態検出装置１００ｃにおいて、顔パーツ領域は、複数個の顔パーツに対応する複数個の領域を含むものであり、補正パラメータ設定部３０ｃは、複数個の領域のうちの低信頼度領域と異なる領域における特徴量を用いて撮像画像に対する補正パラメータを設定する。これにより、搭乗者状態検出処理の精度を更に向上することができる。また、搭乗者状態検出処理の結果を用いたドライバーモニタリングの精度を更に向上することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本発明の搭乗者状態検出装置は、例えば、ドライバーモニタリングに用いることができる。

１ 車両、２，２ａ カメラ、１０，１０ａ，１０ｂ，１０ｃ 第１制御部、１１ 画像データ取得部、１２ 顔領域検出部、１３，１３ｂ 顔パーツ領域検出部、１４ 構造物領域検出部、１５，１５ａ 特徴量検出部、１６ 除外対象領域設定部、２０，２０ａ 補正要否判定部、２１ 第１補正要否判定部、２２ 第２補正要否判定部、２３ 第３補正要否判定部、２４ 第４補正要否判定部、３０，３０ａ，３０ｂ，３０ｃ 補正パラメータ設定部、３１，３１ｂ 第１補正パラメータ設定部、３２，３２ｂ 第２補正パラメータ設定部、３３，３３ｂ 第３補正パラメータ設定部、３４，３４ｃ 第４補正パラメータ設定部、４０，４０ａ 画像補正部、４１ 第１画像補正部、４２ 第２画像補正部、４３ 第３画像補正部、４４ 第４画像補正部、５０，５０ａ 搭乗者状態検出部、５１ 視線検出部、５２ 開口度検出部、５３ 顔向き検出部、５４ 顔色検出部、６０，６０ａ，６０ｂ，６０ｃ 第２制御部、７０，７０ａ 運転者状態監視部、８１ プロセッサ、８２ メモリ、８３ 処理回路、９１ 車載情報機器、９２ 携帯情報端末、９３ サーバ装置、１００，１００ａ，１００ｂ，１００ｃ 搭乗者状態検出装置、２００，２００ａ，２００ｂ，２００ｃ 制御装置、３００，３００ａ，３００ｂ，３００ｃ 搭乗者状態検出システム、４００，４００ａ，４００ｂ，４００ｃ 制御システム。

Claims (10)

1. 車室内撮像用のカメラによる撮像画像のうちの搭乗者の顔パーツに対応する顔パーツ領域における特徴量、又は、前記撮像画像のうちの車室内の構造物に対応する構造物領域における特徴量のうちの少なくとも一方を用いて、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に、前記撮像画像に対する補正パラメータを設定する補正パラメータ設定部と、
   前記補正パラメータ設定部により設定された補正パラメータを用いて、前記搭乗者状態検出処理における検出項目毎に、前記撮像画像を補正する画像補正部と、
   を備える搭乗者状態検出装置。
2. 前記搭乗者状態検出処理における検出項目は、前記搭乗者の視線、前記搭乗者の開口度、前記搭乗者の顔向き、前記搭乗者の顔色又は前記搭乗者の開眼度のうちの少なくとも一つを含むものであることを特徴とする請求項１記載の搭乗者状態検出装置。
3. 前記顔パーツ領域は、前記搭乗者の目に対応する領域、前記搭乗者の鼻に対応する領域、前記搭乗者の口に対応する領域又は前記搭乗者の頬に対応する領域のうちの少なくとも一つを含むものであることを特徴とする請求項１記載の搭乗者状態検出装置。
4. 前記補正パラメータ設定部による補正パラメータの設定に用いられる特徴量は、輝度特徴量又は色特徴量のうちの少なくとも一方を含むものであることを特徴とする請求項１記載の搭乗者状態検出装置。
5. 前記顔パーツ領域は、複数個の顔パーツに対応する複数個の領域を含むものであり、
   前記補正パラメータ設定部は、前記複数個の領域のうちの検出失敗領域と異なる領域における特徴量を用いて前記撮像画像に対する補正パラメータを設定する
   ことを特徴とする請求項１記載の搭乗者状態検出装置。
6. 前記顔パーツ領域は、複数個の顔パーツに対応する複数個の領域を含むものであり、
   前記補正パラメータ設定部は、前記複数個の領域のうちの低信頼度領域と異なる領域における特徴量を用いて前記撮像画像に対する補正パラメータを設定する
   ことを特徴とする請求項１記載の搭乗者状態検出装置。
7. 前記画像補正部による補正後の前記撮像画像を用いて、検出項目毎に前記搭乗者状態検出処理を実行する搭乗者状態検出部を備えることを特徴とする請求項２記載の搭乗者状態検出装置。
8. 前記搭乗者は運転者を含むものであり、
   前記搭乗者状態検出処理の結果は、前記運転者が居眠り運転状態であるか否かを判定する処理、前記運転者が脇見運転状態であるか否かを判定する処理又は前記運転者が運転不能状態であるか否かを判定する処理のうちの少なくとも一つに用いられるものである
   ことを特徴とする請求項７記載の搭乗者状態検出装置。
9. 車室内撮像用のカメラによる撮像画像のうちの搭乗者の顔パーツに対応する顔パーツ領域における特徴量、又は、前記撮像画像のうちの車室内の構造物に対応する構造物領域における特徴量のうちの少なくとも一方を用いて、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に、前記撮像画像に対する補正パラメータを設定する補正パラメータ設定部と、
   前記補正パラメータ設定部により設定された補正パラメータを用いて、前記搭乗者状態検出処理における検出項目毎に、前記撮像画像を補正する画像補正部と、
   を備える搭乗者状態検出システム。
10. 補正パラメータ設定部が、車室内撮像用のカメラによる撮像画像のうちの搭乗者の顔パーツに対応する顔パーツ領域における特徴量、又は、前記撮像画像のうちの車室内の構造物に対応する構造物領域における特徴量のうちの少なくとも一方を用いて、複数個の検出項目を含む搭乗者状態検出処理における検出項目毎に、前記撮像画像に対する補正パラメータを設定するステップと、
    画像補正部が、前記補正パラメータ設定部により設定された補正パラメータを用いて、前記搭乗者状態検出処理における検出項目毎に、前記撮像画像を補正するステップと、
    を備える搭乗者状態検出方法。

Images