JP7183420B2 - 車載用画像処理装置、および、車載用画像処理方法 - Google Patents

Description

この発明は、画像に基づき運転者の顔を検出する車載用画像処理装置、および、車載用画像処理方法に関する。

従来、撮像装置から取得した、運転者の顔が撮像された画像に基づき、運転者の顔を検出し、その検出結果に基づいて、様々な制御を行う技術が知られている。運転者の顔の検出結果に基づく制御は、例えば、露出制御等の撮像装置の光学設定の制御、または、運転者に対して警告を行う制御である。
例えば、特許文献１には、カメラから受信した画像から運転者の顔領域を検出し、検出した顔領域で最適な明度の画像になるような露光時間を算出してＣＣＤコントローラに指示する機能、および、顔画像を解析して運転者の脇見運転、居眠り運転などを検出して警報を鳴らす機能を有する車載用画像処理装置が開示されている。

特開２００９－１１６７４２号公報

特許文献１に開示されているような従来の車載用画像処理装置では、画像に運転者以外の乗員の顔が撮像されている可能性を考慮できていないという課題があった。

この発明は上記のような課題を解決するためになされたもので、運転者以外の乗員の顔を撮像し得ることを考慮して画像から運転者の顔を検出することを目的とする。

この発明に係る車載用画像処理装置は、撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する画像取得部と、画像取得部が取得した画像に基づき、当該画像上の運転者の顔および当該運転者の顔領域を検出する顔検出部と、顔検出部が検出した運転者の顔に関する情報が顔誤検出条件を満たすか否かによって、顔検出部が運転者以外の乗員の顔を運転者として誤検出したか否かの誤検出判定を行う誤検出判定部と、誤検出判定部が、顔検出部が運転者の顔を誤検出していないと判定した場合誤検出判定部を備え、顔誤検出条件には、顔検出部が検出した運転者の顔領域の位置の変化が第１判定条件を満たすか否か、顔検出部が検出した運転者の顔領域の枠の大きさの変化が第２判定条件を満たすか否か、顔検出部が検出した運転者の顔情報に基づく運転者の顔の特徴の変化が第３判定条件を満たすか否か、または、第１判定条件と第２判定条件と第３判定条件のうちの２つ以上の組み合わせを満たすか否か、が含まれることを特徴とするものである。

この発明によれば、運転者以外の乗員の顔を撮像し得ることを考慮して画像から運転者の顔を検出することができる。

実施の形態１に係る車載用画像処理装置の構成例を示す図である。 図２Ａおよび図２Ｂは、実施の形態１において、撮像装置の設置位置および撮像範囲のイメージの一例を説明する図である。 実施の形態１において、顔検出部が運転者の顔を決定する方法のイメージを説明するための図である。 実施の形態１において、顔検出部が運転者の顔を誤検出する場合の、車両内の状態の一例のイメージを説明するための図である。 実施の形態１において、助手席の乗員が撮像され得る、撮像装置のレイアウトの一例を説明するための図である。 図６Ａ，図６Ｂは、実施の形態１において、領域縮小部が縮小させた顔検出範囲の一例のイメージを説明するための図である。 実施の形態１に係る車載用画像処理装置の動作を説明するためのフローチャートである。 図８Ａは、実施の形態１において、顔誤検出条件を、「運転者の顔領域の位置の変化が第１判定条件を満たすか否か」とした場合の、誤検出判定部による誤検出判定の動作の一例の詳細を説明するフローチャートであり、図８Ｂは、顔誤検出条件を、「運転者の顔領域の位置の変化が第１判定条件を満たすか否か」と、「運転者の顔領域の枠の大きさの変化が第２判定条件を満たすか否か」の組み合わせとした場合の、誤検出判定部による誤検出判定の動作の一例の詳細を説明するフローチャートであり、図８Ｃは、顔誤検出条件を、「運転者の顔領域の枠の大きさの変化が第２判定条件を満たすか否か」と、「運転者の顔の特徴量の変化が第３判定条件を満たすか否か」の組み合わせとした場合の、誤検出判定部による誤検出判定の動作の一例の詳細を説明するフローチャートである。 実施の形態１において、光学設定制御部が、図７のステップＳＴ７０７にて輝度算出部が算出した運転者顔領域画素の平均輝度に応じて、撮像装置の光学設定の制御を行う動作を説明するためのフローチャートである。 実施の形態２に係る車載用画像処理装置の構成例を示す図である。 図１１Ａ，図１１Ｂは、実施の形態１および実施の形態２に係る車載用画像処理装置のハードウェア構成の一例を示す図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る車載用画像処理装置１０の構成例を示す図である。
車載用画像処理装置１０は、車両（図示省略）に搭載される。
車載用画像処理装置１０は、撮像装置２０および照明装置３０と接続される。
実施の形態１では、撮像装置２０は、車両内の運転者の状態を監視するために車両に搭載される、いわゆる「ドライバモニタリングシステム」が有する撮像装置と共用のものを想定している。なお、これは一例に過ぎず、撮像装置２０は、車両内をモニタリングすることを目的に車両に設置されたカメラ等であり、少なくとも、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲を撮像可能に設置されているものであればよい。運転席に着座している運転者の顔が存在すべき範囲とは、例えば、運転席のヘッドレストの前方付近の空間に相当する範囲である。撮像装置２０は、例えば、可視光カメラであっても、赤外線カメラであってもよい。
図２Ａおよび図２Ｂは、実施の形態１において、撮像装置２０の設置位置および撮像範囲のイメージの一例を説明する図である。なお、図２Ａおよび図２Ｂは、車両の車室内部を上から見たイメージを示す図としている。実施の形態１では、図２Ａおよび図２Ｂに示すように、車両内には、運転者以外の乗員も乗車しているものとし、図２Ａおよび図２Ｂにおいて、運転者を２１ａ、後部座席の乗員を２１ｂ、助手席の乗員を２１ｃで示している。
実施の形態１において、撮像装置２０は、例えば、図２Ａに示すように、車両のインストルメントパネル（以下「インパネ」という。）の中央に設置され、インパネの中央から運転席側を撮像するものを想定している。
また、実施の形態１において、撮像装置２０は、例えば、図２Ｂに示すように、車両のインパネの中央に設置され、インパネの中央から、運転席および助手席を撮像するものを想定している。
以下の説明では、撮像装置２０は、図２Ａに示すような設置位置および撮像範囲になるように設置されているものとする。
照明装置３０は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等、照明光を発光する発光器である。照明装置３０は、撮像装置２０付近に設置される。実施の形態１では、照明装置３０は、撮像装置２０に搭載されているものとする。なお、図２Ａおよび図２Ｂでは、照明装置３０の図示は省略されている。

車載用画像処理装置１０は、撮像装置２０から画像を取得するとともに、当該画像上の運転者の顔および運転者の顔領域を検出する。その際、車載用画像処理装置１０は、運転者の顔を誤検出していないかの誤検出判定を行う。車載用画像処理装置１０は、誤検出判定の結果、運転者の顔が誤検出されていないと判定した場合に、当該運転者の顔領域内の画素の平均輝度に応じて、撮像装置２０の光学設定の制御を行う。顔領域は、運転者の顔のパーツの画像上の検出位置に基づいて設定される、画像上の所定の領域である。顔領域の詳細、および、撮像装置２０の光学設定の制御の詳細については後述する。また、車載用画像処理装置１０は、検出した運転者の顔に基づいて運転者の状態を監視し、運転者の状態に応じて、警報を出力する等の制御を行う。
車載用画像処理装置１０は、上記誤検出判定において、運転者の顔を誤検出したと判定した場合は、撮像装置２０の光学設定の制御は行わず、顔検出用領域を縮小した上で、運転者の顔の再検出を行う。これにより、車載用画像処理装置１０は、運転者以外の乗員の顔を含む顔領域の画素の平均輝度に合わせた撮像装置２０の光学設定の制御、または、運転者の状態に依るものではない警報の出力、を行わないようにする。顔検出用領域の詳細、および、顔検出領域を縮小する処理の詳細については後述する。

車載用画像処理装置１０は、図１に示すように、画像取得部１０１、顔検出部１０２、運転者監視部１０３、誤検出判定部１０４、領域縮小部１０５、再検出指示部１０６、輝度算出部１０７、輝度判定部１０８、および、光学設定制御部１０９を備える。
光学設定制御部１０９は、露出制御部１０９１および画像処理部１０９２を備える。

画像取得部１０１は、撮像装置２０から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する。
撮像装置２０は、車両内から取得した光を電気信号に変換し、当該電気信号に基づき画像データを生成する。撮像装置２０は、生成した画像データを画像取得部１０１に出力する。画像取得部１０１は、撮像装置２０から出力された画像データを取得する。
または、撮像装置２０は、車両内から取得した光を電気信号に変換して画像取得部１０１に出力するものであってもよい。この場合、画像取得部１０１は、撮像装置２０から出力された電気信号を変換して、画像データを取得する。
ここでは、例えば、上記のように、画像取得部１０１が撮像装置２０から出力された画像データを取得すること、または、画像取得部１０１が撮像装置２０から出力された電気信号を変換して画像データを取得することを含め、画像取得部１０１が「撮像装置２０から画像を取得する」という。
画像取得部１０１は、取得した画像を、顔検出部１０２および輝度算出部１０７に出力する。

顔検出部１０２は、画像取得部１０１が取得した画像に基づき、当該画像上の運転者の顔および運転者の顔領域を検出する。具体的には、例えば、顔検出部１０２は、画像上に設定された顔検出用領域内において、顔のパーツを検出することで、運転者の顔を検出する。顔検出部１０２は、既知の画像認識の技術を用いて、顔のパーツを検出すればよい。なお、顔検出用領域とは、画像上で、顔検出部１０２が、運転者の顔を検出する対象とする領域であり、当該顔検出用領域の初期値は、予め、例えばユーザによって設定されている。そして、顔検出用領域に関する情報が、記憶部（図示省略）に記憶されている。顔検出用領域に関する情報では、顔検出用領域が定義されており、当該顔検出用領域に関する情報には、例えば、画像上での、顔検出用領域を示す枠を特定するための座標等、顔検出用領域が特定できる情報が含まれる。顔検出部１０２は、記憶部を参照して、顔検出用領域を特定し、運転者の顔を検出する。
顔検出部１０２は、運転者の顔領域も検出する。実施の形態１において、顔領域は、例えば、顔のパーツのうち、眉の位置を顔の上端、口の位置を顔の下端、左右の眼の目尻側の端部をそれぞれ顔の左端および右端とし、顔の上端、顔の下端、顔の左端、および、顔の右端を通る矩形として設定される。また、顔領域は、上記のような、顔の上端、顔の下端、顔の左端、および、顔の右端を通る矩形を、予め設定された比率等で広げた矩形として設定されてもよい。
以下の説明において、顔検出部１０２が運転者の顔を検出する、というとき、当該運転者の顔を検出する、には、運転者の顔領域を検出することも含まれているものとする。

顔検出部１０２は、顔検出用領域内において、複数の顔を検出した場合、検出した顔の信頼度に基づき、最も信頼度が高い顔を、運転者の顔に決定する。
実施の形態１において、顔検出部１０２は、例えば、顔領域が最も大きい顔を、最も信頼度が高い顔とする。

ここで、図３は、実施の形態１において、顔検出部１０２が運転者の顔を決定する方法のイメージを説明するための図である。
図３において、画像取得部１０１が取得した画像を２００、画像上の顔検出用領域を２０１で示している。

今、画像２００上の顔検出用領域２０１において、顔検出部１０２は、第１の顔２０２ａおよび第２の顔２０２ｂの２つの顔を検出したとする。また、顔検出部１０２は、第１の顔２０２ａの顔領域（以下「第１の顔領域２０３ａ」という。）、および、第２の顔２０２ｂの顔領域（以下「第２の顔領域２０３ｂ」という。）を検出したとする。
この場合、顔検出部１０２は、第１の顔領域２０３ａおよび第２の顔領域２０３ｂのうち、大きい方の、第１の顔領域２０３ａに対応する第１の顔２０２ａを、最も信頼度が高い顔と判断し、運転者の顔に決定する。すなわち、顔検出部１０２は、検出された第１の顔２０２ａおよび第２の顔２０２ｂのうち、第１の顔２０２ａを運転者の顔として検出する。

例えば、運転者の顔が種々の位置に動いたとしても運転者の顔が検出できる程度に、顔検出用領域が広く設定されると、当該顔検出用領域には、例えば、図３に示すように、後部座席に座っている乗員の顔も含まれることがある。顔検出用領域に後部座席に座っている乗員の顔が含まれる場合、顔検出部１０２は、当該後部座席に座っている乗員の顔である第２の顔２０２ｂを、運転者の顔である第１の顔２０２ａと合わせて検出することがある。
通常は、運転者の方が撮像装置２０の近くに座っており、画像には運転者の顔の方が大きくうつる。したがって、顔検出部１０２が、乗員の顔である第２の顔２０２ｂと、運転者の顔である第１の顔２０２ａの両方を検出したとしても、顔検出部１０２は、顔領域が大きい方の第１の顔２０２ａを、最も信頼度が高い顔と判断し、当該第１の顔２０２ａを運転者の顔に決定する。

なお、ここでは、一例として、顔検出部１０２は、顔領域の大きさに基づき、検出した顔の信頼度を判断するものとしたが、これは一例に過ぎない。顔検出部１０２は、例えば、検出した顔のパーツの信頼度の高さに応じて、顔の信頼度を判断するものであってもよい。顔のパーツの信頼度とは、例えば、目がどれぐらい目らしいか、または、鼻がどれぐらい鼻らしいかを示す度合いをいう。顔検出部１０２は、既知のパターンマッチング等の画像認識の技術を用いて、顔のパーツの信頼度を算出すればよい。

顔検出部１０２は、検出した運転者の顔に関する情報（以下「顔情報」という。）を、運転者監視部１０３、誤検出判定部１０４、および、輝度算出部１０７に出力する。運転者の顔情報には、運転者の顔のパーツに関する情報、および、運転者の顔領域に関する情報が含まれる。より具体的には、運転者の顔のパーツに関する情報とは、例えば、運転者の顔のパーツを示す情報が、当該パーツの位置を示す、画像上での座標と対応付けられた情報である。また、運転者の顔領域に関する情報とは、例えば、運転者の顔領域を示す枠を特定するための画像上での座標である。顔検出部１０２は、画像取得部１０１から出力された画像を合わせて、運転者監視部１０３、誤検出判定部１０４、および、輝度算出部１０７に出力するものであってもよい。
また、顔検出部１０２は、検出した運転者の顔情報を、記憶部に記憶させる。

図１の説明に戻る。
運転者監視部１０３は、誤検出判定部１０４から顔検出有情報が出力されると、顔検出部１０２から出力された顔情報に基づき、運転者の状態を監視する。一方、運転者監視部１０３は、誤検出判定部１０４から顔検出有情報が出力されない場合は、顔検出部１０２から出力された顔情報に基づく運転者の状態の監視を行わない。実施の形態１において、運転者監視部１０３が監視する運転者の状態は、居眠りまたは脇見等、運転に集中しておらず、運転に支障をきたし得る、運転者の状態をいう。なお、誤検出判定部１０４については、後述する。

運転者監視部１０３は、例えば、運転者の開眼率または鼻筋の角度に基づき、運転者が居眠りまたは脇見等をしていないか監視する。顔のパーツに関する情報に基づいて、開眼率または鼻筋の角度等を算出する技術は、既知の技術であるため、詳細な説明を省略する。運転者監視部１０３は、運転者が運転に支障をきたし得る状態になっているかを監視するものであればよい。
運転者監視部１０３は、運転者が運転に支障をきたし得る状態になっていると判断すると、警報出力指示情報を、警報出力制御部（図示省略）に出力する。
警報出力制御部は、運転者監視部１０３から警報出力指示情報が出力されると、出力装置（図示省略）に対して、警報を出力させる。出力装置は、例えば、車両に備えられた音声出力装置であり、車載用画像処理装置１０と接続されている。警報出力制御部は、出力装置に対して、例えば、警報音を出力させる。

誤検出判定部１０４は、顔検出部１０２が運転者の顔を誤検出したか否かの誤検出判定を行う。具体的には、誤検出判定部１０４は、顔検出部１０２から出力された顔情報に基づき、顔検出部１０２が検出した運転者の顔情報が、顔誤検出条件を満たすか否かを判定する。誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たす場合、顔検出部１０２が運転者の顔を誤検出したと判定する。すなわち、実施の形態１において、顔誤検出条件とは、顔検出部１０２が運転者の顔を誤検出したか否かを判定するための条件である。
誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たす場合、顔検出部１０２が運転者の顔を誤検出したと判定する。一方、誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たさない場合、顔検出部１０２が運転者の顔を誤検出していないと判定する。

ここで、図４は、実施の形態１において、顔検出部１０２が運転者の顔を誤検出する場合の、車両内の状態の一例のイメージを説明するための図である。
例えば、車両内の乗員が、図３に示した画像に撮像されているような状態である場合、顔検出部１０２は第１の顔２０２ａを運転者の顔として検出する。実際に、第１の顔２０２ａは、運転者の顔であるので、顔検出部１０２は、正しく運転者の顔を検出できている。
その後、図３に示した画像に撮像されているような状態から、運転者が、撮像装置２０からみて運転者の顔の手前となる位置に手を移動させたとする。
そうすると、図４に示すように、顔検出用領域２０１内において検出される顔は、後部座席の乗員の顔である第２の顔２０２ｂのみとなる。顔検出部１０２は、それまで検出できていた運転者の顔である第１の顔２０２ａのパーツを検出できなくなるが、画像２００上の顔検出用領域２０１内において、顔検出部１０２は、第２の顔２０２ｂの顔のパーツは検出できる。したがって、顔検出部１０２は、第２の顔２０２ｂを、運転者の顔として検出する。このように、顔検出部１０２は、運転者の顔を誤検出し得る。

誤検出判定部１０４は、図４で示したように、顔検出部１０２が、運転者以外の乗員の顔を運転者の顔として検出する可能性があることを考慮し、顔検出部１０２が検出した運転者の顔情報が、顔誤検出条件を満たすか否かを判定することで、顔検出部１０２が運転者の顔を誤検出したか否かを判定する。

顔誤検出条件は、例えば、「運転者の顔領域の位置の変化が、予め設定された条件（以下「第１判定条件」という。）を満たすか否か」である。
具体的には、誤検出判定部１０４は、顔検出部１０２から出力された顔情報に基づく運転者の顔領域を示す枠（以下「現顔枠」という。）の座標（以下「現顔枠座標」という。）と、記憶部に記憶されている、顔検出部１０２から出力された顔情報よりも時系列でみて１つ前の顔情報に基づく運転者の顔領域を示す枠（以下「直前顔枠」という。）の座標（以下「直前顔枠座標」という。）を取得する。そして、誤検出判定部１０４は、直前顔枠座標と、現顔枠座標とを比較し、座標の差が、第１判定条件を満たすか否かを判定する。
第１判定条件は、例えば、座標の差が予め設定された値（以下「第１の閾値」という。）以上であるか否かである。
誤検出判定部１０４は、例えば、直前顔枠の中心の座標と現顔枠の中心の座標との差の絶対値を座標の差として算出する。誤検出判定部１０４は、当該座標の差が、第１の閾値以上である場合に、顔検出部１０２が運転者の顔を誤検出したと判定する。
または、誤検出判定部１０４は、例えば、直前顔枠の四隅を示す４つの直前顔枠座標と、現顔枠の四隅を示す４つの現顔枠座標とを、それぞれ比較して差を４つ算出し、算出された４つの差の平均値の絶対値を、座標の差として算出する。誤検出判定部１０４は、当該座標の差が、第１の閾値以上である場合に、顔検出部１０２が運転者の顔を誤検出したと判定する。
または、誤検出判定部１０４は、例えば、直前顔枠の四隅を示す４つの直前顔枠座標と、現顔枠の四隅を示す４つの現顔枠座標とを、それぞれ比較して差を４つ算出し、算出された４つの差の絶対値のうち、少なくとも１つが第１の閾値以上である場合に、顔検出部１０２が運転者の顔を誤検出したと判定する。

例えば、車両内の乗員の状態が、図３に示した画像に撮像されているような状態から、図４に示す画像に撮像されているような状態となった場合、顔検出部１０２が検出する運転者の顔領域を示す枠は、第１の顔領域２０３ａを示す枠から、第２の顔領域２０３ｂを示す枠に変化する。なお、第２の顔領域２０３ｂと対応する第２の顔２０２ｂは、運転者の顔と誤検出された後部座席の乗員の顔である。
そうすると、画像上でみた場合、それまで運転者の顔として、画像２００上で検出していた顔領域を示す枠の位置は、左から右へ、一瞬で移動することになる。顔領域を示す枠が大きく移動した場合、検出された顔が、それまで検出していた顔から別人の顔へと変わった可能性がある。よって、誤検出判定部１０４は、例えば、運転者の顔領域の位置の変化が第１の判定条件を満たすか否かによって、顔検出部１０２が運転者の顔を誤検出したか否かを判定する。誤検出判定部１０４は、運転者の顔領域の位置の変化が第１の判定条件を満たす場合、顔誤検出条件を満たすとし、顔検出部１０２が運転者の顔を誤検出したと判定する。

また、顔誤検出条件は、例えば、「運転者の顔領域を示す枠の大きさの変化が、予め設定された条件（以下「第２判定条件」という。）を満たすか否か」としてもよい。
具体的には、誤検出判定部１０４は、直前顔枠と現顔枠の大きさを比較し、直前顔枠の大きさに対する、現顔枠の大きさの変化が、第２判定条件を満たすか否かを判定する。第２判定条件は、例えば、直前顔枠に対する現顔枠の比率が、予め設定された値（以下「第２の閾値」）以下であるか否かである。誤検出判定部１０４は、例えば、直前顔枠の面積と現顔枠の面積を算出し、当該２つの面積の比を直前顔枠に対する現顔枠の比率とする。または、誤検出判定部１０４は、例えば、直前顔枠の周囲の長さと現顔枠の周囲の長さを算出し、当該２つの周囲の長さの比を直前顔枠に対する現顔枠の比率とする。
例えば、車両内の乗員の状態が、図３に示した画像に撮像されているような状態から、図４に示す画像に撮像されているような状態となった場合、顔検出部１０２が検出する運転者の顔領域を示す枠は、第１の顔領域２０３ａを示す枠から、第２の顔領域２０３ｂを示す枠に変化する。なお、第２の顔領域２０３ｂと対応する第２の顔２０２ｂは、運転者の顔と誤検出された後部座席の乗員の顔である。このとき、後部座席の乗員は、撮像装置２０からは、運転者よりも遠い場所にいるため、画像上の後部座席の乗員の顔の大きさは、運転者の顔の大きさより小さくなる。
そうすると、画像上でみた場合、それまで運転者の顔として、画像２００上で検出していた顔領域を示す枠の大きさは、小さくなると考えられる。顔領域を示す枠の大きさが変化した場合、検出された顔が、それまで検出していた顔から別人の顔へと変わった可能性がある。よって、誤検出判定部１０４は、例えば、運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否かによって、顔検出部１０２が正しく運転者の顔を誤検出したか否かを判定する。誤検出判定部１０４は、運転者の顔領域の枠の大きさの変化が第２の判定条件を満たす場合、顔誤検出条件を満たすとし、顔検出部１０２が運転者の顔を誤検出したと判定する。

また、顔誤検出条件は、例えば、「運転者の顔の特徴量の変化が、予め設定された条件（以下「第３判定条件」という。）を満たすか否か」としてもよい。
具体的には、誤検出判定部１０４は、顔検出部１０２から出力された顔情報に基づく、運転者の顔の特徴量（以下「現顔特徴量」という。）と、記憶部に記憶されている、顔検出部１０２から出力された顔情報よりも時系列でみて１つ前の顔情報に基づく、運転者の顔の特徴量（以下「直前顔特徴量」という。）を数値化する。顔の特徴量とは、例えば、両眼間の距離、または、両眼の大きさの比率である。これに限らず、顔の特徴量とは、例えば、鼻および口間の距離、または、鼻および口の大きさの比率としてもよいし、両眼、鼻、および、口間の距離としてもよいし、両眼、鼻、および、口の比率としてもよい。そして、誤検出判定部１０４は、直前顔特徴量と、現顔特徴量とを比較し、特徴量の差が、第３判定条件を満たすか否かを判定する。第３判定条件は、例えば、予め設定された値（以下「第３の閾値」という。）以上の差があるか否か、としてもよいし、特徴量が異なるか否か、としてもよい。
例えば、車両内の乗員の状態が、図３に示した画像に撮像されているような状態から、図４に示す画像に撮像されているような状態となった場合、顔検出部１０２が、顔検出部１０２が運転者の顔として検出する顔は、第１の顔２０２ａから、第２の顔２０２ｂに変化する。なお、第２の顔２０２ｂは、運転者の顔と誤検出された後部座席の乗員の顔である。このとき、それまで運転者の顔として検出されていた第１の顔２０２ａの顔の特徴量と、新たに検出された第２の顔２０２ｂの顔の特徴量は、変化すると考えられる。顔の特徴量が変化した場合、検出された顔が、それまで検出していた顔から別人の顔へと変わった可能性がある。よって、誤検出判定部１０４は、例えば、運転者の顔の特徴量の変化が第３判定条件を満たすか否かによって、顔検出部１０２が正しく運転者の顔を検出できたか否かを判定する。
誤検出判定部１０４は、運転者の顔の特徴量の変化が第３の判定条件を満たす場合、顔誤検出条件を満たすとし、顔検出部１０２が運転者の顔を誤検出したと判定する。

誤検出判定部１０４は、上述したような複数の顔誤検出条件のうち、任意の２つ以上を組み合わせて、顔検出部１０２が検出した運転者の顔情報が、顔誤検出条件を満たすか否かを判定するようにしてもよい。
例えば、誤検出判定部１０４は、「運転者の顔領域の位置の変化が第１判定条件を満たすか否か」を判定し、さらに、「運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否か」を判定するようにしてもよい。誤検出判定部１０４は、運転者の顔領域の位置の変化が第１判定条件を満たし、かつ、運転者の顔領域の枠の大きさの変化が第２判定条件を満たす場合、顔検出部１０２が運転者の顔を誤検出したと判定する。

誤検出判定部１０４が、「運転者の顔領域の変化が第１判定条件を満たすか否か」の顔誤検出条件のみで、顔検出部１０２が運転者の顔を誤検出したか否かを判定すると、顔検出部１０２が運転者の顔を誤検出していないにもかかわらず、顔検出部１０２は運転者の顔を誤検出したと判定する可能性がある。
例えば、図３に示した画像２００に撮像されているような状態から、運転者が、車両の中央に向かって顔を大きく横移動させた場合、画像２００上、第１の顔領域２０３ａを示す枠の位置は、第２の顔領域２０３ｂを示す枠のほうへ、大きく変化する。このように運転者の顔領域の位置は大きく変化した場合も、画像２００上で、第１の顔領域２０３ａの大きさはほぼ変らないこともありうる。このとき、顔検出部１０２は、第１の顔領域２０３ａを運転者の顔として検出する。つまり、顔検出部１０２は、正しく運転者の顔を検出できており、誤検出はしていない。
しかし、誤検出判定部１０４が、「運転者の顔領域の位置の変化が第１判定条件を満たすか否か」の顔誤検出条件のみで、誤検出判定を行うと、誤検出判定部１０４は、顔検出部１０２が運転者の顔を誤検出したと判定してしまう。
そこで、誤検出判定部１０４は、さらに、「運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否か」を判定することで、上述したように運転者が顔を移動させた場合に、顔検出部１０２が運転者の顔を誤検出したと判定することを防ぐことができ、誤検出判定の精度を向上させることができる。

また、例えば、誤検出判定部１０４は、「運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否か」を判定し、さらに、「運転者の顔の特徴量の変化が第３判定条件を満たすか否か」を判定するようにしてもよい。誤検出判定部１０４は、運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たし、かつ、運転者の顔の特徴量の変化が第３判定条件を満たす場合、顔検出部１０２が運転者の顔を誤検出したと判定する。
例えば、図３に示した画像２００に撮像されているような状態から、運転者が、撮像装置２０からみて運転者の顔の手前となる位置に手を移動させ、かつ、後部座席の乗員が、運転席のほうに身を乗り出したとする。後部座席の乗員が身を乗り出しているため、画像２００上で、後部座席の乗員の顔である第２の顔２０２ｂの大きさは、運転者の顔である第１の顔２０２ａの大きさとほぼ変らない。第１の顔２０２ａは、手によって隠されているため、顔検出部１０２は、第２の顔２０２ｂを運転者の顔として検出する。
この場合、誤検出判定部１０４が、「運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否か」の顔誤検出条件のみで、運転者の顔の誤検出判定を行うと、誤検出判定部１０４は、第１の顔領域２０３ａは大きく変化していないと判定する。すなわち、顔検出部１０２が運転者の顔を誤検出していないと判定してしまう。

そこで、誤検出判定部１０４は、さらに、「運転者の顔の特徴量の変化が第３判定条件を満たすか否か」を判定することで、上述したような、後部座席の乗員が、撮像装置２０からの距離が運転者と同じ程度の距離となる位置まで顔を移動させた場合に、顔検出部１０２が運転者の顔を誤検出したにも関わらず、運転者の顔を誤検出していないと判定することを防ぐことができ、誤検出判定の精度を向上させることができる。
なお、ここでは、後部座席の乗員が身を乗り出すケースについて説明したが、これは一例に過ぎない。例えば、仮に、撮像装置２０が、図２Ｂに示すような設置位置および撮像範囲になるように設置されている場合であって、助手席の乗員が撮像され得る場合に（図５参照）、誤検出判定部１０４は、顔検出部１０２が助手席の乗員の顔を運転者の顔と誤検出することを防ぐことができ、誤検出判定の精度を向上させることができる。

誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たすと判定した場合、顔検出部１０２が運転者の顔を誤検出したと判定し、顔検出用領域を縮小させる領域縮小指示を、領域縮小部１０５に出力する。
また、誤検出判定部１０４が、顔検出部１０２が運転者の顔を誤検出したと判定した場合、光学設定制御部１０９は、撮像装置２０の光学設定を現在のまま維持する制御を行う。具体的には、誤検出判定部１０４は、現在の光学設定と同じ光学設定を指示する指令を撮像装置２０に出力する。または、誤検出判定部１０４は、撮像装置２０に対して、何も新たな指令を出力しない。「撮像装置２０の光学設定を現在のまま維持する制御を行う」とは、上記のように、現在の光学設定と同じ光学設定を指示する指令を撮像装置２０に出力すること、または、撮像装置２０に対して何も新たな指令を出力しないことを含む制御である。
また、「撮像装置２０の光学設定を現在のまま維持する制御を行う」とは、誤検出判定部１０４が、顔検出部１０２が運転者の顔を誤検出したと判定した場合、光学設定制御部１０９が、光学設定を、デフォルトの光学設定とする制御も含む。具体的には、光学設定制御部１０９の露出制御部１０９１は、撮像装置２０の露出時間、または、露出時間および点灯時間を、予め設定された初期値とした露出制御を行う。露出時間の初期値、および、点灯時間の初期値には、予め、運転者の顔を鮮明に撮像するのに十分と想定される露光時間および点灯時間が設定されている。また、光学設定制御部１０９の画像処理部１０９２は、撮像装置２０のゲイン値を、予め設定された初期値としたゲイン調整を行う。ゲイン値の初期値には、予め、運転者の顔を鮮明に撮像するのに十分と想定されるゲイン値が設定されている。
一方、誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たさないと判定した場合、顔検出部１０２が運転者の顔を誤検出していないと判定し、顔検出有情報を、運転者監視部１０３および輝度算出部１０７に出力する。

領域縮小部１０５は、誤検出判定部１０４から範囲縮小指示が出力されると、顔検出用領域を縮小させる。このとき、領域縮小部１０５は、顔検出部１０２が誤検出した運転者の顔領域を含まない領域となるよう、顔検出用領域を縮小させる。領域縮小部１０５は、誤検出判定部１０４経由で、顔検出部１０２が出力した顔情報を取得し、取得した顔情報から、顔検出部１０２が誤検出した、運転者の顔領域を特定すればよい。

図６Ａおよび図６Ｂは、実施の形態１において、領域縮小部１０５が縮小させた顔検出用領域の一例のイメージを説明するための図である。なお、図６Ａおよび図６Ｂで示す画像２００は、図４に示すように画像が撮像された状態から、再び、運転者の顔である第１の顔２０２ａのパーツが撮像される状態へと戻ったものとしている。
領域縮小部１０５は、例えば、顔検出用領域を示す矩形の右側の一辺を、左方向へ移動させ、顔検出用領域を狭める。その際、領域縮小部１０５は、顔検出部１０２が検出した運転者の顔領域を含まない領域となるまで、顔検出用領域を狭める（図６Ａ参照）。

また、例えば、領域縮小部１０５は、顔検出用領域を示す矩形の右下の頂点を、左上の頂点方向へ、顔検出用領域の縦横比を維持したまま、当該顔検出用領域を狭める。その際、領域縮小部１０５は、顔検出部１０２が検出した運転者の顔領域を含まない領域となるまで、顔検出用領域を狭める（図６Ｂ参照）。

領域縮小部１０５は、例えば、記憶部に記憶されている顔検出用領域に関する情報で定義されている顔検出用領域を、縮小後の顔検出用領域に更新する。
そして、領域縮小部１０５は、顔検出用領域を縮小した旨の情報を、再検出指示部１０６に出力する。

再検出指示部１０６は、領域縮小部１０５から、顔検出用領域を縮小した旨の情報が出力されると、顔検出部１０２に対して、領域縮小部１０５が縮小した後の顔検出用領域内において、運転者の顔を再検出させる。

輝度算出部１０７は、誤検出判定部１０４から顔検出有情報が出力された場合、画像取得部１０１が取得した画像において、顔検出部１０２が検出した運転者の顔領域内の画素（以下「運転者顔領域画素」という。）の平均輝度を算出する。
輝度算出部１０７は、算出した、運転者顔領域画素の平均輝度に関する情報（以下「顔領域輝度情報」という。）を輝度判定部１０８に出力する。

輝度判定部１０８は、輝度算出部１０７から出力された顔領域輝度情報に基づき、運転者顔領域画素の平均輝度が閾値（以下「輝度判定用閾値」という。）以上であるか否かを判定する。なお、輝度判定用閾値には、例えば、製品出荷時等に、予め、標準的な光のもとで撮像された画像から、運転者の顔を適切に検出した場合に想定される、当該運転者の顔領域の画素の平均輝度を元に、例えば、運転者の顔領域の画素の平均輝度として想定され得る最低の平均輝度値が設定されている。
輝度判定部１０８は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満である場合、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、光学設定制御部１０９の露出制御部１０９１、または、光学設定制御部１０９の画像処理部１０９２に出力する。
具体的には、輝度判定部１０８は、まず、露出制御部１０９１に対して、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を出力する。これを受け、露出制御部１０９１は、露出制御を行う。なお、露出制御部１０９１の詳細は後述する。露出制御部１０９１が露出制御を行うと、輝度判定部１０８は、露出制御後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する。輝度判定部１０８は、露出制御後の運転者領域画素の平均輝度を、輝度算出部１０７に対して算出させることで取得するようにすればよい。
輝度判定部１０８は、露出制御後の運転者顔領域画素の平均輝度が、輝度判定用閾値未満である場合、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、画像処理部１０９２に出力する。画像処理部１０９２は、ゲイン調整を行う。なお、画像処理部１０９２の詳細は後述する。画像処理部１０９２がゲイン調整を行うと、輝度判定部１０８は、ゲイン調整後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する。輝度判定部１０８は、ゲイン調整後の運転者領域画素の平均輝度を、輝度算出部１０７に対して算出させることで取得するようにすればよい。
このように、輝度判定部１０８は、露出制御部１０９１、画像処理部１０９２の順番で光学設定の変更が行われるようにする。

なお、輝度判定部１０８は、運転者顔領域画素の平均輝度が輝度判定用閾値以上であると判定した場合は、光学設定制御部１０９に対して、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を出力しない。

光学設定制御部１０９は、輝度判定部１０８が、運転者顔領域画素の平均輝度が輝度判定用閾値未満であると判定した場合、輝度算出部１０７が算出した運転者顔領域画素の平均輝度に応じて、撮像装置２０の光学設定の制御を行う。
光学設定制御部１０９の露出制御部１０９１は、輝度判定部１０８から、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報が出力されると、露出制御を実施する。具体的には、露出制御部１０９１は、撮像装置２０の露出時間を長く変更する。また、露出制御部１０９１は、必要に応じて、変更した露出時間に合わせて、照明装置３０の点灯時間を長く変更する。露出制御部１０９１が露出時間または点灯時間をどの程度長く変更するかは、運転者顔領域画素の平均輝度に応じて、予め決められているものとする。

光学設定制御部１０９の画像処理部１０９２は、輝度判定部１０８から、露出制御後の運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報が出力されると、ゲイン調整を行う。具体的には、画像処理部１０９２は、撮像装置２０のゲイン値を引き上げ、画像を明るくする。画像処理部１０９２がゲイン値をどの程度引き上げるかは、運転者顔領域画素の平均輝度に応じて、予め決められているものとする。

実施の形態１に係る車載用画像処理装置１０は、以上で説明した構成を有する。
なお、仮に、車載用画像処理装置１０が、誤検出判定部１０４を備えず、車載用画像処理装置１０は、顔検出部１０２が運転者の顔を誤検出したか否かを判定する機能を有しないものであったとする。すなわち、上述した従来技術のように、画像から検出された顔が、運転者以外の顔である可能性があることが考慮されないとする。
その場合、上述の図４の画像で示した状態のように、例えば、何らかの外乱によって、一時的に運転者の顔のパーツを検出できないという状態が生じてしまうと、顔検出部１０２は、運転者以外の乗員の顔を運転者の顔として検出し得る。そして、顔検出部１０２から、運転者以外の乗員の顔を運転者の顔とした、当該運転者以外の乗員の顔に関する顔情報が、運転者監視部１０３および輝度算出部１０７に出力される。

その後、例えば、運転者監視部１０３によって、上記運転者以外の乗員が居眠り状態であると判断されれば、出力装置から警報が出力されることになる。これは、実際には、運転者が居眠り状態であることに対する警報ではないため、無用な警報になり得る。
また、通常、後部座席へは、運転席よりも、例えば照明装置３０の光が届きにくいため、後部座席の乗員は、画像において、暗く撮像される。よって、顔検出部１０２が後部座席の乗員の顔を運転者の顔と誤検出すると、輝度算出部１０７が算出した、運転者顔領域画素の平均輝度は、運転者顔領域画素の平均輝度として想定されている平均輝度より大幅に小さくなり、光学設定制御部１０９は、後部座席の乗員の顔領域に合わせて光学設定の制御を実施することになり得る。その結果、例えば、一時的に運転者の顔のパーツを検出できないという状態から、運転者の顔のパーツを検出できる状態（図３参照）に戻ったとしても、画像上、運転者の顔領域の画素の輝度が適正化されていないことにより、顔検出部１０２は、当該運転者の顔を顔として再検出しにくくなる。具体的には、後部座席より照明装置３０等の光が届きやすい運転席付近は明るくなり過ぎて、画像上、例えば、いわゆる「白とび」が発生してしまい、デフォルト状態の光学設定で撮像された画像よりも、運転者の顔を顔として検出しにくくなる。そうすると、顔検出部１０２は、後部座席の乗員の顔を、運転者の顔として検出し続け、運転者監視部１０３は、当該後部座席の乗員の顔に対して、状態の監視を行い続けることになってしまう。

これに対し、実施の形態１に係る車載用画像処理装置１０では、上述のとおり、誤検出判定部１０４を備える。誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たすか否かを判定することで、運転者の顔が誤検出されたか否かを判定するようにした。そして、誤検出判定部１０４が、運転者の顔が誤検出されていないと判定した場合に、光学設定制御部１０９は、運転者顔領域画素の平均輝度に応じた光学設定の制御を行うようにした。一方、誤検出判定部１０４が、運転者の顔を誤検出したと判定した場合には、光学設定制御部１０９は、光学設定を現在のまま維持する制御を行うようにした。
また、誤検出判定部１０４が、運転者の顔が誤検出されていないと判定した場合、運転者監視部１０３は、顔検出部１０２が検出した運転者の顔に基づく監視を行わないものとした。
このように、車載用画像処理装置１０は、画像から運転者の顔を検出した際、当該運転者の顔を誤検出していない場合、運転者の顔領域の平均輝度に応じて、運転者の顔を鮮明に撮像するための光学設定の制御を行うことで、撮像装置２０が運転者以外の乗員の顔を撮像し得ることを考慮して画像から運転者の顔を検出することを可能としている。
また、車載用画像処理装置１０は、画像から運転者の顔を検出した際に、当該運転者の顔を誤検出した場合、運転者の顔を検出するための顔検出用領域を縮小することで、撮像装置２０が運転者以外の乗員の顔を撮像し得ることを考慮して画像から運転者の顔を検出することを可能としている。

実施の形態１に係る車載用画像処理装置１０の動作について説明する。
図７は、実施の形態１に係る車載用画像処理装置１０の動作を説明するためのフローチャートである。
なお、車載用画像処理装置１０は、図７のフローチャートで示す動作を、車両が走行中、繰り返す。

画像取得部１０１は、撮像装置２０から画像を取得する（ステップＳＴ７０１）。
画像取得部１０１は、取得した画像を、顔検出部１０２および輝度算出部１０７に出力する。

顔検出部１０２は、ステップＳＴ７０１にて画像取得部１０１が取得した画像に基づき、当該画像上に設定された顔検出用領域内において、運転者の顔を検出する（ステップＳＴ７０２の“ＹＥＳ”の場合）。
顔検出部１０２は、検出した運転者の顔情報を、運転者監視部１０３、誤検出判定部１０４、および、輝度算出部１０７に出力する。また、顔検出部１０２は、検出した運転者の顔情報を、記憶部に記憶させる。

顔検出部１０２が、顔検出用領域内において、運転者の顔を検出できない場合（ステップＳＴ７０２の“ＮＯ”の場合）は、車載用画像処理装置１０による処理は、ステップＳＴ７０１に戻る。

誤検出判定部１０４は、誤検出判定を行う（ステップＳＴ７０３）。

誤検出判定部１０４は、顔検出部１０２が運転者の顔を誤検出したと判定した場合（ステップＳＴ７０４の“ＹＥＳ”の場合）、顔検出用領域を縮小させる範囲縮小指示を、領域縮小部１０５に出力する。なお、このとき、光学設定制御部１０９は、光学設定を現在のまま維持する制御を行う。

領域縮小部１０５は、ステップＳＴ７０３にて誤検出判定部１０４から範囲縮小指示が出力されると、顔検出用領域を縮小させる（ステップＳＴ７０５）。
そして、領域縮小部１０５は、顔検出用領域を縮小した旨の情報を、再検出指示部１０６に出力する。

再検出指示部１０６は、ステップＳＴ７０５にて、領域縮小部１０５から、顔検出用領域を縮小した旨の情報が出力されると、顔検出部１０２に対して、領域縮小部１０５が縮小した後の顔検出用領域内において、運転者の顔を再検出させる（ステップＳＴ７０６）。
車載用画像処理装置１０は、ステップＳＴ７０１に戻り、顔検出部１０２は、ステップＳＴ７０１にて画像取得部１０１が取得した画像に基づき、ステップＳＴ７０５にて領域縮小部１０５が縮小した後の顔検出用領域内において、運転者の顔を再検出する。

一方、誤検出判定部１０４は、顔検出部１０２が運転者の顔を誤検出していないと判定した場合（ステップＳＴ７０４の“ＮＯ”の場合）、顔検出有情報を、運転者監視部１０３および輝度算出部１０７に出力する。運転者監視部１０３は、顔検出部１０２から出力された顔情報に基づき、運転者の状態を監視する。

輝度算出部１０７は、ステップＳＴ７０４にて誤検出判定部１０４から顔検出有情報が出力された場合、ステップＳＴ７０１にて画像取得部１０１が取得した画像において、運転者顔領域画素の平均輝度を算出する（ステップＳＴ７０７）。
輝度算出部１０７は、顔領域輝度情報を輝度判定部１０８に出力する。

輝度判定部１０８は、ステップＳＴ７０７にて輝度算出部１０７が算出した、運転者顔領域画素の平均輝度が、輝度判定用閾値以上であるか否かを判定する（ステップＳＴ７０８）。
ステップＳＴ７０８において、輝度判定部１０８は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満であると判定した場合（ステップＳＴ７０８の“ＮＯ”の場合）、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、光学設定制御部１０９に出力する。

ステップＳＴ７０８において、輝度判定部１０８は、運転者顔領域画素の平均輝度が、輝度判定用閾値以上であると判定した場合（ステップＳＴ７０８の“ＹＥＳ”の場合）、ステップＳＴ７０９をスキップし、車載用画像処理装置１０は、処理を終了する。

光学設定制御部１０９は、ステップＳＴ７０８にて輝度算出部１０７が算出した運転者顔領域画素の平均輝度に応じて、撮像装置２０の光学設定の制御を行う（ステップＳＴ７０９）。

ここで、図８Ａ、図８Ｂ、および、図８Ｃは、図７のステップＳＴ７０３～ステップＳＴ７０４における、誤検出判定部１０４による誤検出判定の動作の一例の詳細を説明するためのフローチャートである。
図８Ａは、顔誤検出条件を、「運転者の顔領域の位置の変化が第１判定条件を満たすか否か」とした場合の、誤検出判定部１０４による誤検出判定の動作の一例の詳細を説明するフローチャートである。図８Ｂは、顔誤検出条件を、「運転者の顔領域の位置の変化が第１判定条件を満たすか否か」と、「運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否か」の組み合わせとした場合の、誤検出判定部１０４による誤検出判定の動作の一例の詳細を説明するフローチャートである。図８Ｃは、顔誤検出条件を、「運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否か」と、「運転者の顔の特徴量の変化が第３判定条件を満たすか否か」の組み合わせとした場合の、誤検出判定部１０４による誤検出判定の動作の一例の詳細を説明するフローチャートである。

顔誤検出条件を、「運転者の顔領域の位置の変化が第１判定条件を満たすか否か」とした場合、図８Ａに示すように、誤検出判定部１０４は、運転者の顔領域の位置の変化が第１判定条件を満たすか否かを判定する（ステップＳＴ８０１）。
ステップＳＴ８０１において、運転者の顔領域の位置の変化が第１判定条件を満たすと判定した場合（ステップＳＴ８０１の“ＹＥＳ”の場合）、誤検出判定部１０４は、顔検出部１０２が運転者の顔を誤検出したと判定し、顔検出用領域を縮小させる範囲縮小指示を、領域縮小部１０５に出力する。また、光学設定制御部１０９は、光学設定を現在のまま維持する制御を行う。
ステップＳＴ８０１において、運転者の顔領域の位置の変化が第１判定条件を満たさないと判定した場合（ステップＳＴ８０１の“ＮＯ”の場合）、車載用画像処理装置１０による処理は、図７のステップＳＴ７０７へ進む。

顔誤検出条件を、「運転者の顔領域の位置の変化が第１判定条件を満たすか否か」と、「運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否か」の組み合わせとした場合、図８Ｂに示すように、誤検出判定部１０４は、まず、運転者の顔領域の位置の変化が第１判定条件を満たすか否かを判定する（ステップＳＴ８０１ａ）。
ステップＳＴ８０１ａにおいて、運転者の顔領域の位置の変化が第１判定条件を満たすと判定した場合（ステップＳＴ８０１ａの“ＹＥＳ”の場合）、誤検出判定部１０４は、運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否かを判定する（ステップＳＴ８０１１）。
ステップＳＴ８０１１において、運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすと判定した場合（ステップＳＴ８０１１の“ＹＥＳ”の場合）、誤検出判定部１０４は、ステップＳＴ８０２ａへ進む。
ステップＳＴ８０１１において、運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たさないと判定した場合（ステップＳＴ８０１１の“ＮＯ”の場合）、車載用画像処理装置１０による処理は、図７のステップＳＴ７０７へ進む。
ステップＳＴ８０２ａの具体的な動作は、図８ＡのステップＳＴ８０２の具体的な動作と同様であるため、重複した説明を省略する。
ステップＳＴ８０１ａの“ＮＯ”の場合の具体的な動作は、図８ＡのステップＳＴ８０１の“ＮＯ”の場合の具体的な動作と同様であるため、重複した説明を省略する。

顔誤検出条件を、「運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否か」と、「運転者の顔の特徴量の変化が第３判定条件を満たすか否か」の組み合わせとした場合、図８Ｃに示すように、誤検出判定部１０４は、まず、運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすか否かを判定する（ステップＳＴ８０１１ａ）。
ステップＳＴ８０１１ａにおいて、運転者の顔領域を示す枠の大きさの変化が第２判定条件を満たすと判定した場合（ステップＳＴ８０１１ａの“ＹＥＳ”の場合）、誤検出判定部１０４は、運転者の顔の特徴量の変化が第３判定条件を満たすか否かを判定する（ステップＳＴ８０１２）。
ステップＳＴ８０１２において、運転者の顔の特徴量の変化が第３判定条件を満たすと判定した場合（ステップＳＴ８０１２の“ＹＥＳ”の場合）、誤検出判定部１０４は、ステップＳＴ８０２ｂへ進む。
ステップＳＴ８０１２において、運転者の顔の特徴量の変化が第３判定条件を満たさないと判定した場合（ステップＳＴ８０１２の“ＮＯ”の場合）、車載用画像処理装置１０による処理は、図７のステップＳＴ７０７へ進む。
ステップＳＴ８０２ｂの具体的な動作は、図８ＡのステップＳＴ８０２の具体的な動作と同様であるため、重複した説明を省略する。
ステップＳＴ８０１１ａの“ＮＯ”の具体的な動作も、説明済みであるため、詳細な説明を省略する。

図９は、実施の形態１において、光学設定制御部１０９が、図７のステップＳＴ７０７にて輝度算出部１０７が算出した運転者顔領域画素の平均輝度に応じて、撮像装置２０の光学設定の制御を行う動作を説明するためのフローチャートである。
図７のステップＳＴ７０７にて輝度算出部１０７が運転者顔領域画素の平均輝度を算出すると、輝度判定部１０８は、運転者顔領域画素の平均輝度が、輝度判定用閾値以上であるか否かを判定する（ステップＳＴ７０８）。当該ステップＳＴ７０８の動作は、図７を用いて説明済みの動作である。

ステップＳＴ７０８において、輝度判定部１０８は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満であると判定した場合（ステップＳＴ７０８の“ＮＯ”の場合）、露出制御部１０９１は、撮像装置２０の露出制御を行う（ステップＳＴ９０１）。

輝度判定部１０８は、再度、運転者顔領域画素の平均輝度が、輝度判定用閾値以上であるか否かを判定する（ステップＳＴ９０２）。
ステップＳＴ９０２において、輝度判定部１０８は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満であると判定した場合（ステップＳＴ９０２の“ＮＯ”の場合）、画像処理部１０９２は、撮像装置２０のゲイン調整を行う（ステップＳＴ９０３）。その後、車載用画像処理装置１０は、ステップＳＴ７０８に戻る。

一方、ステップＳＴ７０８にて、輝度判定部１０８が運転者顔領域画素の平均輝度は輝度判定用閾値以上と判定した場合（ステップＳＴ７０８の“ＹＥＳ”の場合）、または、ステップＳＴ９０２において、輝度判定部１０８が運転者顔領域画素の平均輝度は輝度判定用閾値以上と判定した場合（ステップＳＴ９０２の“ＹＥＳ”の場合）、車載用画像処理装置１０は、処理を終了する。なお、車載用画像処理装置１０が処理を終了する際、領域縮小部１０５は、顔検出用領域を縮小させていた場合（図７のステップＳＴ７０５参照）、記憶部に記憶されている顔検出用領域に関する情報において、顔検出用領域を、初期値に戻す。

また、図７～図９を用いて説明した、車載用画像処理装置１０の動作について、領域縮小部１０５は、顔検出用領域を縮小させた場合、顔検出用領域を縮小させてから一定時間が経過しても、顔検出部１０２が運転者の顔を検出しない場合（図７のステップＳＴ７０２参照）、顔検出用領域を初期値に戻すようにしてもよい。なお、その場合、領域縮小部１０５は、例えば、顔検出部１０２から、運転者の顔を検出したか否かの情報を取得するようにする。

なお、以上の実施の形態１では、画像上には、顔検出用領域が設定されることを前提としたが、これに限らず、画像上に顔検出用領域が設定されていることは必須ではない。

以上のように、実施の形態１に係る車載用画像処理装置１０は、撮像装置２０から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する画像取得部１０１と、画像取得部１０１が取得した画像に基づき、当該画像上の運転者の顔および当該運転者の顔領域を検出する顔検出部１０２と、顔検出部１０２が検出した運転者の顔に関する情報が顔誤検出条件を満たすか否かによって、顔検出部１０２が運転者の顔を誤検出したか否かの誤検出判定を行う誤検出判定部１０４と、誤検出判定部１０４が、顔検出部１０２が運転者の顔を誤検出していないと判定した場合、運転者の顔領域内の画素の平均輝度に応じた光学設定の制御を行い、誤検出判定部１０４が、顔検出部１０２は運転者の顔を誤検出したと判定した場合、光学設定を維持する制御を行う光学設定制御部１０９を備えるように構成した。車載用画像処理装置１０は、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止することができる。

また、実施の形態１に係る車載用画像処理装置１０において、顔検出部１０２は、画像取得部１０１が取得した画像に基づき、当該画像上に設定された顔検出用領域内において、運転者の顔および当該運転者の顔領域を検出し、誤検出判定部１０４が、顔検出部１０２が運転者の顔を誤検出したと判定した場合、顔検出用領域を縮小させる領域縮小部１０５と、顔検出部１０２に対して、領域縮小部１０５が縮小した後の顔検出用領域内において、運転者の顔および運転者の顔領域を再検出させる再検出指示部１０６を備えるように構成した。車載用画像処理装置１０は、画像から運転者の顔を検出した際に、当該運転者の顔を誤検出した場合、運転者の顔を検出するための顔検出用領域を縮小するので、画像に運転者以外の乗員の顔が撮像されている可能性があることを考慮して、当該画像から運転者の顔を検出することができる。

実施の形態２．
実施の形態２では、シートベルトの引き出し量を考慮することで、誤検出判定の精度を向上させることができる実施の形態について説明する。

図１０は、実施の形態２に係る車載用画像処理装置１０ａの構成例を示す図である。
図１０において、実施の形態１において図１を用いて説明した車載用画像処理装置１０と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態２に係る車載用画像処理装置１０ａは、実施の形態１に係る車載用画像処理装置１０と比べ、引き出し量検出部１１０を備えた点が異なる。

引き出し量検出部１１０は、車両の座席に設置されたシートベルトの引き出し量を検出する。
引き出し量検出部１１０は、例えば、画像取得部１０１が取得した画像に基づき、当該画像上での、シートベルトに付されたマークの位置の移動量からシートベルトの引き出し量を検出する。シートベルトには、予め、マークが付されているものとする。マークは、撮像装置２０により検出可能なものである。例えば、撮像装置２０が赤外線カメラであれば、マークは、赤外線カメラにより検出可能なものとする。
また、引き出し量検出部１１０は、例えば、各座席に設置されたシートベルト近傍に設置され、シートベルトの移動量に応じて回転する部位を有する巻取りセンサ（図示省略）が検知した回転量から、シートベルトの引き出し量を算出することで、シートベルトの引き出し量を検出するものであってもよい。

引き出し量検出部１１０が検出するシートベルトの引き出し量は、例えば、不使用の状態のシートベルトを基準とした引き出し量（以下「不使用状態基準の引き出し量」という。）である。
また、引き出し量検出部１１０が検出するシートベルトの引き出し量は、例えば、乗員が通常の着座姿勢でシートベルトを着用した状態のシートベルトを基準とした引き出し量（以下、「使用状態基準の引き出し量」という。）でもよい。乗員が通常の着座姿勢から、何らかの目的で姿勢を変化させた場合、シートベルトの引き出し量も変化し得る。引き出し量検出部１１０が使用状態基準の引き出し量を検出する場合、不使用状態基準の引き出し量を検出するよりも、乗員の体格差を考慮した、より正確な、乗員の姿勢の変化に応じたシートベルトの引き出し量を算出することができる。
引き出し量検出部１１０は、算出した引き出し量を、誤検出判定部１０４に出力する。このとき、引き出し量検出部１１０は、どの座席のシートベルトの引き出し量であるかが特定できる情報を付与して、シートベルトの引き出し量を出力するようにする。
引き出し量検出部１１０は、少なくとも顔検出部１０２が検出動作を行うタイミングと同様のタイミングで検出動作を繰り返し行う。そして、検出された引き出し量は、顔情報と対応付けられて記憶部に記憶されるものとする。例えば、顔検出部１０２は、顔情報を記憶部に記憶させる際、引き出し量検出部１１０から引き出し量に関する情報を取得し、顔情報と対応付けて記憶部に記憶させる。

誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たし、かつ、引き出し量検出部１１０が検出した運転席のシートベルトの引き出し量が閾値（以下「第１引き出し量判定用閾値」という。）以下であるか否かを判定する。
誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たし、かつ、引き出し量検出部１１０が検出した運転席のシートベルトの引き出し量が第１の引き出し量判定用閾値以下である場合に、顔検出部１０２は運転者の顔を誤検出したと判定する。
例えば、顔誤検出条件が、「運転者の顔領域の位置の変化が、設定された第１判定条件を満たすか否か」であったとする。
この場合、実施の形態１では、誤検出判定部１０４は、直前顔枠座標と現顔枠座標との差が大きい場合、顔検出部１０２が運転者の顔を誤検出したと判定していた。

しかし、直前顔枠座標と現顔枠座標との差が大きい場合、実際に、運転者が顔を大きく移動させた可能性もある。逆に言うと、運転者が顔を大きく移動させていないにも関わらず、直前顔枠座標と現顔枠座標との差が大きい場合、顔検出部１０２が運転者の顔を誤検出した可能性が高いと言える。
そこで、実施の形態２では、誤検出判定部１０４は、顔誤検出条件に加え、運転席のシートベルトの引き出し量を考慮して、誤検出判定を行う。運転者が通常の着座姿勢における顔の位置から顔を大きく移動させた場合、運転者は身体ごと移動することになり、その際、運転席のシートベルトは引き出される方向に移動する。

実施の形態２に係る車載用画像処理装置１０ａの動作は、実施の形態１において、図７を用いて説明した車載用画像処理装置１０の動作において、ステップＳＴ７０３の具体的な動作が異なる。
ステップＳＴ７０３において、誤検出判定部１０４は、顔誤検出条件を満たし、かつ、引き出し量検出部１１０が検出した運転席のシートベルトの引き出し量が第１引き出し量判定用閾値以下であるか否かを判定することで、誤検出判定を行う。

このように、実施の形態２に係る車載用画像処理装置１０ａは、運転席のシートベルトの引き出し量を考慮して、誤検出判定を行うようにした。そのため、誤検出判定の精度を向上させることができる。

なお、以上の説明では、誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たし、かつ、引き出し量検出部１１０が検出した運転席のシートベルトの引き出し量が第１引き出し量判定用閾値以下であるか否かによって、誤検出判定を行うものとした。
しかし、これに限らず、誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔情報が顔誤検出条件を満たし、かつ、引き出し量検出部１１０が検出した運転席以外の座席のシートベルトの引き出し量が閾値（以下「第２引き出し量判定用閾値」という。）以上であるか否かによって、誤検出判定を行うようにしてもよい。

例えば、運転席の後部の座席のシートベルトの引き出し量が第２引き出し量判定用閾値以上であれば、後部座席の乗員が運転席のヘッドレスト付近まで乗り出して顔を運転者の方に近づけている状態である可能性があり、そのために顔検出部１０２が運転者の顔を誤検出した可能性が高いと言える。
そこで、誤検出判定部１０４は、顔誤検出条件に加え、運転席以外の座席のシートベルトの引き出し量を考慮して、誤検出判定するようにしてもよい。このように判定しても、誤検出判定部１０４は、顔誤検出条件に加え、運転席のシートベルトの引出し量を考慮して、誤検出判定を行う場合と同様に、誤検出判定の精度を向上させることができる。

以上のように、実施の形態２に係る車載用画像処理装置１０ａは、実施の形態１に係る車載用画像処理装置１０の構成に加え、車両の座席に設置されたシートベルトの引き出し量を検出する引き出し量検出部１１０を備え、誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔に関する情報が顔誤検出条件を満たし、かつ、引き出し量検出部１１０が検出した運転席のシートベルトの引き出し量が、第１引き出し量判定用閾値以下であるか否によって、誤検出判定を行うように構成した。あるいは、誤検出判定部１０４は、顔検出部１０２が検出した運転者の顔に関する情報が顔誤検出条件を満たし、かつ、引き出し量検出部１１０が検出した運転席以外の座席のシートベルトの引き出し量が、第２引き出し量判定用閾値以上であるか否かによって、誤検出判定を行うように構成した。
そのため、車載用画像処理装置１０ａは、画像から運転者の顔を検出した際に、当該運転者の顔を誤検出していない場合に、運転者の顔領域の平均輝度に応じて光学設定の制御を行うので、画像に運転者以外の乗員の顔が撮像されている可能性があることを考慮して、当該画像から運転者の顔を検出することができるとともに、運転者の顔を誤検出していないかの誤検出判定を行う際に、運転席のシートベルトの引出し量を加味するようにすることで、当該誤検出判定の精度を向上させることができる。
また、車載用画像処理装置１０ａは、画像から運転者の顔を検出した際に、当該運転者の顔を誤検出した場合、運転者の顔を検出するための顔検出用領域を縮小するので、画像に運転者以外の乗員の顔が撮像されている可能性があることを考慮して、当該画像から運転者の顔を検出することができるとともに、運転者の顔を誤検出していないかの誤検出判定を行う際に、運転席のシートベルトの引出し量を加味するようにすることで、当該誤検出判定の精度を向上させることができる。

図１１Ａ，図１１Ｂは、実施の形態１および実施の形態２に係る車載用画像処理装置１０，１０ａのハードウェア構成の一例を示す図である。
実施の形態１または実施の形態２において、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、誤検出判定部１０４と、領域縮小部１０５と、再検出指示部１０６と、輝度算出部１０７と、輝度判定部１０８と、光学設定制御部１０９と、引き出し量検出部１１０の機能は、処理回路１１０１により実現される。すなわち、車載用画像処理装置１０，１０ａは、運転者の顔を誤検出していないかの誤検出判定を行い、当該誤検出判定の結果に基づいて、撮像装置２０の光学設定の制御を行うための処理回路１１０１を備える。
処理回路１１０１は、図１１Ａに示すように専用のハードウェアであっても、図１１Ｂに示すようにメモリ１１０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０５であってもよい。

処理回路１１０１が専用のハードウェアである場合、処理回路１１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路１１０１がＣＰＵ１１０５の場合、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、誤検出判定部１０４と、領域縮小部１０５と、再検出指示部１０６と、輝度算出部１０７と、輝度判定部１０８と、光学設定制御部１０９と、引き出し量検出部１１０の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、誤検出判定部１０４と、領域縮小部１０５と、再検出指示部１０６と、輝度算出部１０７と、輝度判定部１０８と、光学設定制御部１０９と、引き出し量検出部１１０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１１０２、メモリ１１０６等に記憶されたプログラムを実行するＣＰＵ１１０５、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ１１０２、メモリ１１０６等に記憶されたプログラムは、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、誤検出判定部１０４と、領域縮小部１０５と、再検出指示部１０６と、輝度算出部１０７と、輝度判定部１０８と、光学設定制御部１０９と、引き出し量検出部１１０の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１１０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、誤検出判定部１０４と、領域縮小部１０５と、再検出指示部１０６と、輝度算出部１０７と、輝度判定部１０８と、光学設定制御部１０９と、引き出し量検出部１１０の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１０１および引き出し量検出部１１０については専用のハードウェアとしての処理回路１１０１でその機能を実現し、顔検出部１０２と、運転者監視部１０３と、誤検出判定部１０４と、領域縮小部１０５と、再検出指示部１０６と、輝度算出部１０７と、輝度判定部１０８と、光学設定制御部１０９については処理回路がメモリ１１０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、車載用画像処理装置１０，１０ａは、撮像装置２０または照明装置３０等の装置と、有線通信または無線通信を行う入力インタフェース装置１１０３および出力インタフェース装置１１０４を備える。

なお、以上の実施の形態１および実施の形態２では、車載用画像処理装置１０，１０ａは、車両に搭載されるものとしたが、これは一例に過ぎない。
例えば、図１または図１０を用いて説明したような車載用画像処理装置１０，１０ａの構成部の一部または全部が、サーバに備えられるものとしてもよい。

また、以上の実施の形態１および実施の形態２では、車載用画像処理装置１０，１０ａにおいて、光学設定制御部１０９は、光学設定の制御として、露出制御およびゲイン調整のいずれも行うことが可能であるものとしたが、これは一例に過ぎない。光学設定制御部１０９は、光学設定の制御として、露出制御、または、ゲイン調整のいずれか一方のみを行うものであってもよい。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る車載用画像処理装置は、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止するように構成したため、車両内の乗員が撮像された画像に基づき、車両の運転者の顔を検出する車載用画像処理装置に適用することができる。

１０，１０ａ 車載用画像処理装置、１０１ 画像取得部、１０２ 顔検出部、１０３ 運転者監視部、１０４ 誤検出判定部、１０５ 領域縮小部、１０６ 再検出指示部、１０７ 輝度算出部、１０８ 輝度判定部、１０９ 光学設定制御部、１０９１ 露出制御部、１０９２ 画像処理部、１１０ 引き出し量検出部、２０ 撮像装置、３０ 照明装置、１１０１ 処理回路、１１０２ ＨＤＤ、１１０３ 入力インタフェース装置、１１０４ 出力インタフェース装置、１１０５ ＣＰＵ、１１０６ メモリ。

Claims (12)

1. 撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像に基づき、当該画像上の前記運転者の顔および当該運転者の顔領域を検出する顔検出部と、
   前記顔検出部が検出した前記運転者の顔に関する情報が顔誤検出条件を満たすか否かによって、前記顔検出部が前記運転者以外の乗員の顔を前記運転者として誤検出したか否かの誤検出判定を行う誤検出判定部とを備え、
   前記顔誤検出条件には、
   前記顔検出部が検出した前記運転者の顔領域の位置の変化が第１判定条件を満たすか否か、前記顔検出部が検出した前記運転者の顔領域の枠の大きさの変化が第２判定条件を満たすか否か、前記顔検出部が検出した前記運転者の顔情報に基づく前記運転者の顔の特徴の変化が第３判定条件を満たすか否か、または、前記第１判定条件と前記第２判定条件と前記第３判定条件のうちの２つ以上の組み合わせを満たすか否か、が含まれる
   ことを特徴とする車載用画像処理装置。
2. 前記誤検出判定部が、前記顔検出部が前記運転者以外の乗員の顔を前記運転者として誤検出していないと判定した場合、前記運転者の顔領域内の画素の平均輝度に応じた光学設定の制御を行い、前記誤検出判定部が、前記顔検出部は前記運転者の顔を誤検出したと判定した場合、前記光学設定を維持する制御を行う光学設定制御部
   を備えた請求項１記載の車載用画像処理装置。
3. 前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出していないと判定した場合に、前記顔検出部が検出した前記運転者の顔領域内の画素の前記平均輝度を算出する輝度算出部と、
   前記輝度算出部が算出した前記平均輝度が輝度判定用閾値以上であるか否かを判定する輝度判定部を備え、
   前記光学設定制御部は、
   前記輝度判定部が、前記輝度算出部が算出した前記平均輝度が前記輝度判定用閾値未満であると判定した場合に、前記輝度算出部が算出した前記平均輝度に応じて、前記撮像装置の前記光学設定の制御を行う
   ことを特徴とした請求項２記載の車載用画像処理装置。
4. 撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像に基づき、当該画像上の前記運転者の顔および当該運転者の顔領域を検出する顔検出部と、
   前記顔検出部が検出した前記運転者の顔に関する情報が顔誤検出条件を満たすか否かによって、前記顔検出部が前記運転者以外の乗員の顔を前記運転者として誤検出したか否かの誤検出判定を行う誤検出判定部と、
   前記誤検出判定部が、前記顔検出部が前記運転者以外の乗員の顔を前記運転者として誤検出していないと判定した場合、前記運転者の顔領域内の画素の平均輝度に応じた光学設定の制御を行い、前記誤検出判定部が、前記顔検出部は前記運転者の顔を誤検出したと判定した場合、前記光学設定を維持する制御を行う光学設定制御部
   を備えた車載用画像処理装置。
5. 前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出していないと判定した場合に、前記顔検出部が検出した前記運転者の顔領域内の画素の前記平均輝度を算出する輝度算出部と、
   前記輝度算出部が算出した前記平均輝度が輝度判定用閾値以上であるか否かを判定する輝度判定部を備え、
   前記光学設定制御部は、
   前記輝度判定部が、前記輝度算出部が算出した前記平均輝度が前記輝度判定用閾値未満であると判定した場合に、前記輝度算出部が算出した前記平均輝度に応じて、前記撮像装置の前記光学設定の制御を行う
   ことを特徴とした請求項４記載の車載用画像処理装置。
6. 前記顔検出部は、前記画像取得部が取得した前記画像に基づき、当該画像上に設定された顔検出用領域内において、前記運転者の顔および当該運転者の顔領域を検出し、
   前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出したと判定した場合、前記顔検出用領域を縮小させる領域縮小部と、
   前記顔検出部に対して、前記領域縮小部が縮小した後の前記顔検出用領域内において、前記運転者の顔および前記運転者の顔領域を再検出させる再検出指示部
   を備えた請求項１から請求項５のうちのいずれか１項記載の車載用画像処理装置。
7. 前記顔誤検出条件には、
   前記顔検出部が検出した前記運転者の顔領域の位置の変化が第１判定条件を満たすか否かが含まれる
   ことを特徴とする請求項４または請求項５記載の車載用画像処理装置。
8. 前記顔誤検出条件には、
   前記顔検出部が検出した前記運転者の顔領域の枠の大きさの変化が第２判定条件を満たすか否かが含まれる
   ことを特徴とする請求項４または請求項５記載の車載用画像処理装置。
9. 前記顔誤検出条件には、
   前記顔検出部が検出した前記運転者の顔情報に基づく前記運転者の顔の特徴の変化が第３判定条件を満たすか否かが含まれる
   ことを特徴とする請求項４または請求項５記載の車載用画像処理装置。
10. 前記車両の座席に設置されたシートベルトの引き出し量を検出する引き出し量検出部を備え、
    前記誤検出判定部は、
    前記顔検出部が検出した前記運転者の顔に関する情報が前記顔誤検出条件を満たし、かつ、前記引き出し量検出部が検出した前記運転席のシートベルトの引き出し量が、第１引き出し量判定用閾値以下であるか否によって、前記誤検出判定を行う
    ことを特徴とする請求項１から請求項９のうちのいずれか１項記載の車載用画像処理装置。
11. 前記車両の座席に設置されたシートベルトの引き出し量を検出する引き出し量検出部を備え、
    前記誤検出判定部は、
    前記顔検出部が検出した前記運転者の顔に関する情報が前記顔誤検出条件を満たし、かつ、前記引き出し量検出部が検出した前記運転席以外の座席のシートベルトの引き出し量が、第２引き出し量判定用閾値以上であるか否かによって、前記誤検出判定を行う
    ことを特徴とする請求項１から請求項９のうちのいずれか１項記載の車載用画像処理装置。
12. 画像取得部が、撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得するステップと、
    顔検出部が、前記画像取得部が取得した前記画像に基づき、当該画像上の前記運転者の顔および当該運転者の顔領域を検出するステップと、
    誤検出判定部が、前記顔検出部が検出した前記運転者の顔に関する情報が顔誤検出条件を満たすか否かによって、前記顔検出部が前記運転者以外の乗員の顔を前記運転者として誤検出したか否かの誤検出判定を行うステップとを備え、
    前記顔誤検出条件には、
    前記顔検出部が検出した前記運転者の顔領域の位置の変化が第１判定条件を満たすか否か、前記顔検出部が検出した前記運転者の顔領域の枠の大きさの変化が第２判定条件を満たすか否か、前記顔検出部が検出した前記運転者の顔情報に基づく前記運転者の顔の特徴の変化が第３判定条件を満たすか否か、または、前記第１判定条件と前記第２判定条件と前記第３判定条件のうちの２つ以上の組み合わせを満たすか否か、が含まれる
    ことを特徴とする車載用画像処理方法。

Images