WO2021001943A1

WO2021001943A1 - 車載用画像処理装置、および、車載用画像処理方法

Info

Publication number: WO2021001943A1
Application number: PCT/JP2019/026375
Authority: WO
Inventors: 安田　太郎
Original assignee: 三菱電機株式会社
Priority date: 2019-07-02
Filing date: 2019-07-02
Publication date: 2021-01-07
Also published as: DE112019007358T5; JPWO2021001943A1; JP6945775B2

Abstract

車両内の範囲が撮像された画像を取得する画像取得部（１０１）と、画像取得部（１０１）が取得した画像に基づき、当該画像上の運転者の顔および当該運転者の顔領域を検出する顔検出部（１０２）と、運転者の顔領域内の画素の平均輝度を算出する輝度算出部（１０４）と、輝度算出部（１０４）が算出した平均輝度が輝度判定用閾値以上であるか否かを判定する輝度判定部（１０５）と、輝度判定部（１０５）が、平均輝度が輝度判定用閾値未満であると判定した場合に、撮像装置（２０）の光学設定の制御を行う光学設定制御部（１０６）と、光学設定制御部（１０６）が行った制御の結果に基づき、運転者の顔を誤検出したか否かを判定する誤検出判定部（１０７）と、運転者の顔を誤検出したと判定した場合、撮像装置（２０）の光学設定を適正値に戻す制御を行わせる再制御指示を出力する再制御指示部（１０８）とを備えた。

Description

車載用画像処理装置、および、車載用画像処理方法

　この発明は、画像に基づき運転者の顔を検出する車載用画像処理装置、および、車載用画像処理方法に関する。

　従来、撮像装置から取得した、運転者が撮像された画像に基づき、運転者の顔を検出し、その検出結果に基づいて、画像が運転者の顔の検出により適したものとなるように、撮像装置の光学設定の制御を行う技術が知られている。撮像装置の光学設定の制御には、露出制御またはゲイン調整等が含まれる。
　例えば、特許文献１には、カメラから受信した画像から運転者の顔領域を検出し、検出した顔領域で最適な明度の画像になるような露光時間を算出してＣＣＤコントローラに指示する機能を有する車載用画像処理装置が開示されている。

特開２００９－１１６７４２号公報

　特許文献１に開示されているような従来の車載用画像処理装置では、画像に運転者以外の乗員の顔が撮像されている可能性を考慮できていないという課題があった。画像に運転者以外の乗員の顔が撮像されている場合、従来の車載用画像処理装置は、乗員の顔を運転者の顔として誤検出してしまうことがあり得る。誤検出された運転者の顔に基づいて行われる光学設定の制御は、適切な制御とはならない。

　この発明は上記のような課題を解決するためになされたもので、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止することを目的とする。

　この発明に係る車載用画像処理装置は、撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する画像取得部と、画像取得部が取得した画像に基づき、当該画像上の運転者の顔および当該運転者の顔領域を検出する顔検出部と、顔検出部が検出した運転者の顔領域内の画素の平均輝度を算出する輝度算出部と、輝度算出部が算出した平均輝度が輝度判定用閾値以上であるか否かを判定する輝度判定部と、輝度判定部が、平均輝度が輝度判定用閾値未満であると判定した場合に、平均輝度に応じて、撮像装置の光学設定の制御を行う光学設定制御部と、光学設定制御部が行った制御の結果に基づき、顔検出部が運転者の顔を誤検出したか否かを判定する誤検出判定部と、誤検出判定部が、顔検出部が運転者の顔を誤検出したと判定した場合、光学設定制御部に対して、撮像装置の光学設定を適正値に戻す制御を行わせる再制御指示を出力する再制御指示部とを備えたものである。

　この発明によれば、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止することができる。

実施の形態１に係る車載用画像処理装置の構成例を示す図である。図２Ａおよび図２Ｂは、実施の形態１において、撮像装置の設置位置および撮像範囲のイメージの一例を説明する図である。実施の形態１において、顔検出部が運転者の顔を決定する方法のイメージを説明するための図である。実施の形態１において、顔検出部が運転者の顔を誤検出する場合の、車両内の状態の一例のイメージを説明するための図である。実施の形態１において、実施の形態１において、画像上で、運転者の顔領域周辺に白とびが発生したイメージを示す図である。実施の形態１における顔存在推定領域のイメージを説明するための図である。図７Ａおよび図７Ｂは、実施の形態１において、領域縮小部が縮小させた顔検出用領域の一例のイメージを説明するための図である。実施の形態１に係る車載用画像処理装置の動作を説明するためのフローチャートである。実施の形態１において、図８のステップＳＴ８０４～ステップＳＴ８０７の動作をより詳細に説明するためのフローチャートである。実施の形態２に係る車載用画像処理装置における、図８のステップＳＴ８０４～ステップＳＴ８０７の動作をより詳細に説明するためのフローチャートである。実施の形態３に係る車載用画像処理装置の構成例を示す図である。実施の形態３に係る車載用画像処理装置における、図８のステップＳＴ８０４～ステップＳＴ８０７の動作をより詳細に説明するためのフローチャートである。図１３Ａ，図１３Ｂは、実施の形態１～実施の形態３に係る車載用画像処理装置のハードウェア構成の一例を示す図である。

　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係る車載用画像処理装置１０の構成例を示す図である。
　車載用画像処理装置１０は、車両（図示省略）に搭載される。
　車載用画像処理装置１０は、撮像装置２０および照明装置３０と接続される。
　実施の形態１では、撮像装置２０は、車両内の運転者の状態を監視するために車両に搭載される、いわゆる「ドライバモニタリングシステム」が有する撮像装置と共用のものを想定している。なお、これは一例に過ぎず、撮像装置２０は、車両内をモニタリングすることを目的に車両に設置されたカメラ等であり、少なくとも、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲を撮像可能に設置されているものであればよい。運転席に着座している運転者の顔が存在すべき範囲とは、例えば、運転席のヘッドレストの前方付近の空間に相当する範囲である。撮像装置２０は、例えば、可視光カメラであっても、赤外線カメラであってもよい。
　図２Ａおよび図２Ｂは、実施の形態１において、撮像装置２０の設置位置および撮像範囲のイメージの一例を説明する図である。なお、図２Ａおよび図２Ｂは、車両の車室内部を上から見たイメージを示す図としている。実施の形態１では、図２Ａおよび図２Ｂに示すように、車両内には、運転者以外の乗員も乗車しているものとし、図２Ａおよび図２Ｂにおいて、運転者を２１ａ、後部座席の乗員を２１ｂ、助手席の乗員を２１ｃで示している。
　実施の形態１において、撮像装置２０は、例えば、図２Ａに示すように、車両のインストルメントパネル（以下「インパネ」という。）の中央に設置され、インパネの中央から運転席側を撮像するものを想定している。
　また、実施の形態１において、撮像装置２０は、例えば、図２Ｂに示すように、車両のインパネの中央に設置され、インパネの中央から、運転席および助手席を撮像するものを想定している。
　以下の説明では、撮像装置２０は、図２Ａに示すような設置位置および撮像範囲になるように設置されているものとする。
　照明装置３０は、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等、照明光を発光する発光器である。照明装置３０は、撮像装置２０付近に設置される。実施の形態１では、照明装置３０は、撮像装置２０に搭載されているものとする。なお、図２Ａおよび図２Ｂでは、照明装置３０の図示は、省略されている。

　車載用画像処理装置１０は、撮像装置２０から画像を取得するとともに、当該画像上の運転者の顔および運転者の顔領域を検出し、当該顔領域内の画素の平均輝度に応じて、撮像装置２０の光学設定の制御を行う。顔領域は、運転者の顔のパーツの画像上の検出位置に基づいて設定される、画像上の所定の領域である。顔領域の詳細については後述する。
　車載用画像処理装置１０は、撮像装置２０の光学設定の制御を行うと、当該制御を行った結果に基づき、運転者の顔を誤検出したか否かを判定する（以下「誤検出判定」という。）。車載用画像処理装置１０は、誤検出判定において、運転者の顔を誤検出したと判定した場合は、撮像装置２０の光学設定を適正値とする制御を行う。撮像装置２０の光学設定の適正値とする制御とは、一例を挙げると、例えば、撮像装置２０の光学設定をデフォルト状態とする制御である。実施の形態１では、車載用画像処理装置１０は、運転者の顔を誤検出したと判定した場合は、撮像装置２０の光学設定をデフォルト状態とする制御を行うものとする。車載用画像処理装置１０は、その後、光学設定が初期状態とされた撮像装置２０から取得された画像に基づき、運転者の顔の再検出を行う。
　実施の形態１において、撮像装置２０の光学設定とは、例えば、撮像装置２０の露出時間、照明装置３０の点灯時間、または、撮像装置２０のゲイン値をいう。光学設定をデフォルト状態とすることは、露出時間を予め設定された初期値とすること、点灯時間を予め設定された初期値とすること、または、ゲイン値を予め設定された初期値とすることを意味する。それぞれの初期値には、ある定められた条件のもとで、運転者の顔を鮮明に撮像するのに十分と想定される値が設定されている。
　また、車載用画像処理装置１０は、誤検出判定において、運転者の顔を誤検出していないと判定した場合は、検出した運転者の顔に基づいて運転者の状態を監視し、運転者の状態に応じて、警報を出力する等の処理を行う。
　これにより、車載用画像処理装置１０は、運転者以外の乗員の顔を含む顔領域の画素の平均輝度に応じた撮像装置２０の光学設定の制御を行ってしまうことを防止する。または、車載用画像処理装置１０は、運転者の状態に依るものではない警報の出力等を行ってしまうことを防止する。

　車載用画像処理装置１０は、図１に示すように、画像取得部１０１、顔検出部１０２、運転者監視部１０３、輝度算出部１０４、輝度判定部１０５、光学設定制御部１０６、誤検出判定部１０７、再制御指示部１０８、領域縮小部１０９、および、再検出指示部１１０を備える。
　光学設定制御部１０６は、露出制御部１０６１および画像処理部１０６２を備える。

　画像取得部１０１は、撮像装置２０から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する。
　撮像装置２０は、車両内から取得した光を電気信号に変換し、当該電気信号に基づき画像データを生成する。撮像装置２０は、生成した画像データを画像取得部１０１に出力する。画像取得部１０１は、撮像装置２０から出力された画像データを取得する。
　または、撮像装置２０は、車両内から取得した光を電気信号に変換して画像取得部１０１に出力するものであってもよい。この場合、画像取得部１０１は、撮像装置２０から出力された電気信号を変換して、画像データを取得する。
　ここでは、例えば、上記のように、画像取得部１０１が撮像装置２０から出力された画像データを取得すること、または、画像取得部１０１が撮像装置２０から出力された電気信号を変換して画像データを取得することを含め、画像取得部１０１が「撮像装置２０から画像を取得する」という。
　画像取得部１０１は、取得した画像を、顔検出部１０２および輝度算出部１０４に出力する。

　顔検出部１０２は、画像取得部１０１が取得した画像に基づき、当該画像上の運転者の顔および運転者の顔領域を検出する。具体的には、例えば、顔検出部１０２は、画像上に設定された顔検出用領域内において、顔のパーツを検出することで、運転者の顔を検出する。顔検出部１０２は、既知の画像認識の技術を用いて、顔のパーツを検出すればよい。なお、顔検出用領域とは、画像上で、顔検出部１０２が、運転者の顔を検出する対象とする領域であり、当該顔検出用領域の初期値は、予め、例えばユーザによって設定されている。そして、顔検出用領域に関する情報が、記憶部（図示省略）に記憶されている。顔検出用領域に関する情報では、顔検出用領域が定義されており、当該顔検出用領域に関する情報には、例えば、画像上での、顔検出用領域を示す枠を特定するための座標等、顔検出用領域が特定できる情報が含まれる。顔検出部１０２は、記憶部を参照して、顔検出用領域を特定し、運転者の顔を検出する。
　顔検出部１０２は、運転者の顔領域も検出する。実施の形態１において、顔領域は、例えば、顔のパーツのうち、眉の位置を顔の上端、口の位置を顔の下端、左右の眼の目尻側の端部をそれぞれ顔の左端および右端とし、顔の上端、顔の下端、顔の左端、および、顔の右端を通る矩形として設定される。また、顔領域は、上記のような、顔の上端、顔の下端、顔の左端、および、顔の右端を通る矩形を、予め設定された比率等で広げた矩形として設定されてもよい。
　以下の説明において、顔検出部１０２が運転者の顔を検出する、というとき、当該運転者の顔を検出する、には、運転者の顔領域を検出することも含まれているものとする。

　顔検出部１０２は、顔検出用領域内において、複数の顔を検出した場合、検出した顔の信頼度に基づき、最も信頼度が高い顔を、運転者の顔に決定する。
　実施の形態１において、顔検出部１０２は、例えば、顔領域が最も大きい顔を、最も信頼度が高い顔とする。

　ここで、図３は、実施の形態１において、顔検出部１０２が運転者の顔を決定する方法のイメージを説明するための図である。
　図３において、画像取得部１０１が取得した画像を２００、画像２００上の顔検出用領域を２０１で示している。

　今、画像２００上の顔検出用領域２０１において、顔検出部１０２は、第１の顔２０２ａおよび第２の顔２０２ｂの２つの顔を検出したとする。また、顔検出部１０２は、第１の顔２０２ａの顔領域（以下「第１の顔領域２０３ａ」という。）、および、第２の顔２０２ｂの顔領域（以下「第２の顔領域２０３ｂ」という。）を検出したとする。
　この場合、顔検出部１０２は、第１の顔領域２０３ａおよび第２の顔領域２０３ｂのうち、大きい方の、第１の顔領域２０３ａに対応する第１の顔２０２ａを、最も信頼度が高い顔と判断し、運転者の顔に決定する。すなわち、顔検出部１０２は、検出された第１の顔２０２ａおよび第２の顔２０２ｂのうち、第１の顔２０２ａを運転者の顔として検出する。

　例えば、運転者の顔が種々の位置に動いたとしても運転者の顔が検出できる程度に、顔検出用領域が広く設定されると、当該顔検出用領域には、例えば、図３に示すように、後部座席に座っている乗員の顔も含まれることがある。顔検出用領域に後部座席に座っている乗員の顔が含まれる場合、顔検出部１０２は、当該乗員の顔である第２の顔２０２ｂを、運転者の顔である第１の顔２０２ａと合わせて検出することがある。
　通常は、運転者の方が撮像装置２０の近くに座っており、画像には運転者の顔の方が大きくうつる。したがって、顔検出部１０２が、乗員の顔である第２の顔２０２ｂと、運転者の顔である第１の顔２０２ａの両方を検出したとしても、顔検出部１０２は、顔領域が大きい方の第１の顔２０２ａを、最も信頼度が高い顔と判断し、当該第１の顔２０２ａを運転者の顔に決定する。

　なお、ここでは、一例として、顔検出部１０２は、顔領域の大きさに基づき、検出した顔の信頼度を判断するものとしたが、これは一例に過ぎない。顔検出部１０２は、例えば、検出した顔のパーツの信頼度の高さに応じて、顔の信頼度を判断するものであってもよい。顔のパーツの信頼度とは、例えば、目がどれぐらい目らしいか、または、鼻がどれぐらい鼻らしいかを示す度合いをいう。顔検出部１０２は、既知のパターンマッチング等の画像認識の技術を用いて、顔のパーツの信頼度を算出すればよい。

　顔検出部１０２は、検出した運転者の顔に関する情報（以下「顔情報」という。）を、運転者監視部１０３、輝度算出部１０４、および、誤検出判定部１０７に出力する。運転者の顔情報には、運転者の顔のパーツに関する情報、および、運転者の顔領域に関する情報が含まれる。より具体的には、運転者の顔のパーツに関する情報とは、例えば、運転者の顔のパーツを示す情報が、当該パーツの位置を示す、画像上での座標と対応付けられた情報である。また、運転者の顔領域に関する情報とは、例えば、運転者の顔領域を示す枠を特定するための画像上での座標である。顔検出部１０２は、画像取得部１０１から出力された画像を合わせて、運転者監視部１０３、輝度算出部１０４、および、誤検出判定部１０７に出力するものであってもよい。
　また、顔検出部１０２は、検出した運転者の顔情報を、記憶部に記憶させる。

　図１の説明に戻る。
　運転者監視部１０３は、誤検出判定部１０７から顔検出有情報が出力されると、顔検出部１０２から出力された顔情報に基づき、運転者の状態を監視する。実施の形態１において、運転者監視部１０３が監視する運転者の状態は、居眠りまたは脇見等、運転に集中しておらず、運転に支障をきたし得る、運転者の状態をいう。なお、誤検出判定部１０７については、後述する。

　運転者監視部１０３は、例えば、運転者の開眼率または鼻筋の角度に基づき、運転者が居眠りまたは脇見等をしていないか監視する。顔のパーツに関する情報に基づいて、開眼率または鼻筋の角度等を算出する技術は、既知の技術であるため、詳細な説明を省略する。運転者監視部１０３は、運転者が運転に支障をきたし得る状態になっているかを監視するものであればよい。
　運転者監視部１０３は、運転者が運転に支障をきたし得る状態になっていると判断すると、警報出力指示情報を、警報出力制御部（図示省略）に出力する。
　警報出力制御部は、運転者監視部１０３から警報出力指示情報が出力されると、出力装置（図示省略）に対して、警報を出力させる。出力装置は、例えば、車両に備えられた音声出力装置であり、車載用画像処理装置１０と接続されている。警報出力制御部は、出力装置に対して、例えば、警報音を出力させる。

　輝度算出部１０４は、画像取得部１０１が取得した画像において、顔検出部１０２が検出した運転者の顔領域内の画素（以下「運転者顔領域画素」という。）の平均輝度を算出する。
　輝度算出部１０４は、算出した、運転者顔領域画素の平均輝度に関する情報（以下「顔領域輝度情報」という。）を輝度判定部１０５に出力する。

　輝度判定部１０５は、輝度算出部１０４から出力された顔領域輝度情報に基づき、運転者顔領域画素の平均輝度が閾値（以下「輝度判定用閾値」という。）以上であるか否かを判定する。なお、輝度判定用閾値には、例えば、製品出荷時等に、予め、標準的な光のもとで撮像された画像から、運転者の顔を適切に検出した場合に想定される、当該運転者の顔領域の画素の平均輝度を元に、例えば、運転者の顔領域の画素の平均輝度として想定され得る最低の平均輝度値が設定されている。
　輝度判定部１０５は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満である場合、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、光学設定制御部１０６の露出制御部１０６１、または、光学設定制御部１０６の画像処理部１０６２に出力する。
　具体的には、輝度判定部１０５は、まず、露出制御部１０６１に対して、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を出力する。これを受け、露出制御部１０６１は、露出制御を行う。なお、露出制御部１０６１の詳細は後述する。露出制御部１０６１が露出制御を行うと、輝度判定部１０５は、露出制御後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する。輝度判定部１０５は、露出制御後の運転者領域画素の平均輝度を、輝度算出部１０４に対して算出させることで取得するようにすればよい。
　輝度判定部１０５は、露出制御後の運転者顔領域画素の平均輝度が、輝度判定用閾値未満である場合、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、画像処理部１０６２に出力する。画像処理部１０６２は、ゲイン調整を行う。なお、画像処理部１０６２の詳細は後述する。画像処理部１０６２がゲイン調整を行うと、輝度判定部１０５は、ゲイン調整後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する。輝度判定部１０５は、ゲイン調整後後の運転者領域画素の平均輝度を、輝度算出部１０４に対して算出させることで取得するようにすればよい。
　このように、輝度判定部１０５は、露出制御部１０６１、画像処理部１０６２の順番で光学設定の変更が行われるようにする。

　なお、輝度判定部１０５は、運転者顔領域画素の平均輝度が輝度判定用閾値以上であると判定した場合は、光学設定制御部１０６に対して、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を出力しない。

　光学設定制御部１０６は、輝度判定部１０５が、運転者顔領域画素の平均輝度が輝度判定用閾値未満であると判定した場合、輝度算出部１０４が算出した運転者顔領域画素の平均輝度に応じて、撮像装置２０の光学設定の制御を行う。
　光学設定制御部１０６の露出制御部１０６１は、輝度判定部１０５から、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報が出力されると、露出制御を実施する。具体的には、露出制御部１０６１は、撮像装置２０の露出時間を長く変更する。また、露出制御部１０６１は、必要に応じて、変更した露出時間に合わせて、照明装置３０の点灯時間を長く変更する。露出制御部１０６１が露出時間または点灯時間をどの程度長く変更するかは、運転者顔領域画素の平均輝度に応じて、予め決められているものとする。

　光学設定制御部１０６の画像処理部１０６２は、輝度判定部１０５から、露出制御後の運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報が出力されると、ゲイン調整を行う。具体的には、画像処理部１０６２は、撮像装置２０のゲイン値を引き上げ、画像を明るくする。画像処理部１０６２がゲイン値をどの程度引き上げるかは、運転者顔領域画素の平均輝度に応じて、予め決められているものとする。

　また、光学設定制御部１０６は、再制御指示部１０８から再制御指示が出力された場合、撮像装置２０の光学設定を初期値に戻す制御を行う。再制御指示部１０８の詳細については後述する。
　露出制御部１０６１は、上記再制御指示が出力された場合、露出時間、または、露出時間および点灯時間を初期値に戻してデフォルト状態とする露出制御を行う。
　画像処理部１０６２は、上記再制御指示が出力された場合、ゲイン値を初期値に戻してデフォルト状態とするゲイン調整を行う。

　誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果に基づき、顔検出部１０２が運転者の顔を誤検出したか否かの判定、すなわち誤検出判定を行う。具体的には、誤検出判定部１０７は、光学設定制御部１０６の露出制御部１０６１の露出制御を行った場合、当該露出制御を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たすか否かを判定する。また、誤検出判定部１０７は、光学設定制御部１０６の画像処理部１０６２がゲイン調整を行った場合、当該ゲイン調整を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たすか否かを判定する。実施の形態１において、露出制御部１０６１が露出制御を行った結果、または、画像処理部１０６２がゲイン調整を行った結果得られる、撮像装置２０に関する情報は、撮像装置２０から取得された画像の輝度の情報、または、撮像装置２０のゲイン値の情報を含む。

　誤検出判定部１０７は、撮像装置２０に関する情報が、顔誤検出条件を満たす場合、顔検出部１０２が運転者の顔を誤検出したと判定する。
　一方、誤検出判定部１０７は、撮像装置２０に関する情報が顔誤検出条件を満たさない場合、顔検出部１０２は運転者の顔を正しく検出したと判定する。
　すなわち、実施の形態１において、顔誤検出条件とは、顔検出部１０２が運転者の顔を誤検出したか否かを判定するための条件である。

　ここで、図４は、実施の形態１において、顔検出部１０２が運転者の顔を誤検出する場合の、車両内の状態の一例のイメージを説明するための図である。
　例えば、車両内の乗員が、図３に示した画像に撮像されているような状態である場合、顔検出部１０２は第１の顔２０２ａを運転者の顔として検出する。実際に、第１の顔２０２ａは、運転者の顔であるので、顔検出部１０２は、正しく運転者の顔を検出できている。
　その後、図３に示した画像に撮像されているような状態から、運転者が、撮像装置２０からみて運転者の顔の手前となる位置に手を移動させたとする。
　そうすると、図４に示すように、顔検出用領域２０１内において検出される顔は、後部座席の乗員の顔である第２の顔２０２ｂのみとなる。顔検出部１０２は、それまで検出できていた運転者の顔である第１の顔２０２ａのパーツを検出できなくなるが、画像２００上の顔検出用領域２０１内において、第２の顔２０２ｂの顔のパーツは検出できる。したがって、顔検出部１０２は、第２の顔２０２ｂを、運転者の顔として検出する。このように、顔検出部１０２は、運転者の顔を誤検出し得る。

　顔検出部１０２が、運転者の顔を誤検出した場合、光学設定制御部１０６は、誤検出された運転者顔領域画素の平均輝度に応じて、光学設定の制御を行い得る。具体的には、顔検出部１０２が運転者の顔を誤検出すると、輝度算出部１０４は、誤検出された運転者顔領域画素の平均輝度を算出する。そして、輝度判定部１０５が、誤検出された運転者顔領域画素の平均輝度が輝度判定用閾値未満であると判定すると、光学設定制御部１０６は、誤検出された運転者顔領域画素に応じて、撮像装置２０の光学設定の制御を行うことになる。
　上述の図４を用いて説明した例でいうと、顔検出部１０２が、第２の顔２０２ｂを運転者の顔として誤検出すると、光学設定制御部１０６は、第２の顔領域２０３ｂの画素の平均輝度に応じて、撮像装置２０の光学設定の制御を行う。

　通常、後部座席へは、運転席よりも、例えば照明装置３０の光が届きにくいため、後部座席の乗員は、画像において暗く撮像される。よって、顔検出部１０２が後部座席の乗員の顔を運転者の顔と誤検出すると、第２の顔２０２ｂは、暗く撮像されているため、輝度算出部１０４が算出する第２の顔領域２０３ｂの平均輝度は、輝度判定用閾値未満となり得る。そうすると、光学設定制御部１０６は、運転者以外の乗員の顔領域である第２の顔領域２０３ｂに合わせて光学設定の制御を行うことになる。
　第２の顔領域２０３ｂに合わせて光学設定の制御が行われると、本来、運転者の顔領域として検出されるべき第１の顔領域２０３ａは、元々、第２の顔領域２０３ｂより明るく撮像される領域であるため、画像において必要以上に明るく撮像されてしまうことになる。具体的には、例えば、光学設定制御部１０６の露出制御部１０６１が露出制御を行うと、第１の顔領域２０３ａの画素の平均輝度は、運転者の顔領域の画素の平均輝度として想定される平均輝度よりも大幅に大きくなる。また、例えば、光学設定制御部１０６の画像処理部１０６２がゲイン調整を行うと、第１の顔領域２０３ａのゲイン値は、運転者の顔を鮮明に撮像するのに十分と想定されるゲイン値よりも大幅に大きくなる。また、例えば、画像処理部１０６２がゲイン調整を行うと、第１の顔領域２０３ａのゲイン値が上がることにより、当該第１の顔領域には、いわゆる「白とび」が発生する。図５は、実施の形態１において、撮像装置２０から取得された画像上で、運転者の顔領域周辺に白とびが発生したイメージを示す図である。

　その結果、例えば、一時的に運転者の顔のパーツを検出できないという状態（図４参照）から、運転者の顔のパーツを検出できる状態（図３参照）に戻ったとしても、画像上、運転者の顔領域である第１の顔領域２０３ａの画素の輝度が適正化されていないことにより、顔検出部１０２は、当該運転者の顔である第１の顔２０２ａを顔として再検出しにくくなる。そして、以降、顔検出部１０２は、後部座席の乗員の顔である第２の顔２０２ｂを、運転者の顔として検出し続けることになる。
　顔検出部１０２が、第２の顔２０２ｂを運転者の顔として検出し続けると、運転者監視部１０３は、当該第２の顔２０２ｂに対して、状態の監視を行い続けることになる。その結果、運転者監視部１０３によって、後部座席の乗員が居眠り状態であると判断されれば、出力装置から警報が出力されることになる。これは、実際には、運転者が居眠り状態であることに対する警報ではないため、無用な警報になり得る。

　そこで、誤検出判定部１０７は、顔検出部１０２が、運転者以外の乗員の顔を運転者の顔として検出する（図４参照）可能性があることを考慮し、光学設定制御部１０６が行った制御の結果に基づき、誤検出判定を行う。
　上述のとおり、誤検出判定部１０７は、露出制御部１０６１が露出制御を行った結果、または、画像処理部１０６２がゲイン調整を行った結果、撮像装置２０に関する情報が顔誤検出条件を満たすか否かを判定することで、誤検出判定を行う。

　露出制御部１０６１が露出制御を行った場合、顔誤検出条件は、例えば、「顔検出用領域内で運転者の顔が撮像されている可能性がより高いと推定される領域（以下「顔存在推定領域」という。）の画素の平均輝度が、予め設定された条件（以下「第１判定条件」という。）を満たすか否か」である。

　ここで、実施の形態１における顔存在推定領域について説明する。
　図６は、実施の形態１における顔存在推定領域のイメージを説明するための図である。
　なお、図６は、一例として、図４に示したように、一時的に運転者の顔が検出できない状態となったために顔検出部１０２が後部座席の乗員の顔である第２の顔２０２ｂを運転者の顔と誤検出し、画像処理部１０６２が第２の顔領域２０３ｂに合わせてゲイン調整を行った後に撮像された画像２００上で、運転者顔範囲のイメージを示すものとしている。図６では、説明の簡単のため、顔検出用領域２０１の図示は省略している。また、図６において、顔存在推定領域を６０１で示している。また、図６において、６００は、ヘッドレストを示している。
　顔存在推定領域６０１は、上述したとおり、顔検出用領域内で運転者の顔が撮像されている可能性がより高いと推定される領域である。顔検出用領域２０１は、例えば、運転者の顔が種々の位置に動いたとしても運転者の顔が検出できる程度に、広く設定されることがある。一方、運転中の運転者の姿勢は、ほぼ一定の状態であることが多く、このため、運転者の顔の位置も、一定の位置に止まることが多い。したがって、顔検出用領域２０１が広く設定される場合、当該顔検出用領域２０１の中にも、運転者の顔が撮像されている可能性が比較的高い部分と、比較的低い部分とが生じる状態となる。顔存在推定領域６０１は、このような状態を考慮して設定されるものであり、顔検出用領域２０１の中でも、運転者の顔が撮像されている可能性がより高い部分として設定される領域である。
　顔存在推定領域６０１は、例えば、露出制御部１０６１がヘッドレスト６００の位置から推定するようにすればよい。この場合、露出制御部１０６１は、まず、ヘッドレストの位置を、パターンマッチング等の既知の画像処理技術を用いて検知すればよい。また、車載用画像処理装置１０に備えられた記憶部には、予め、標準的な体格の運転者が運転席の標準的な位置に座り標準的な姿勢にて正面を見た状態における、当該運転者の顔の位置とヘッドレストの位置との関係に関する情報が、記憶されているものとする。露出制御部１０６１は、検知したヘッドレストの位置と、上記記憶部に記憶された運転者の顔の位置とヘッドレストの位置との関係に関する情報とに基づき、顔存在推定領域６０１を推定することができる。

　また、露出制御部１０６１は、例えば、画像２００上で顔検出用領域２０１を左右に二等分し、当該二等分した領域のうちのハンドルに近い側の領域を、顔存在推定領域としてもよい。例えば、実施の形態１で想定しているような右ハンドルの車の場合は、二等分した範囲のうち左側の領域を、顔存在推定領域６０１とする。

　また、露出制御部１０６１は、例えば、記憶部を参照し、記憶されている顔情報に基づき、現在、顔検出部１０２が検出している運転者の顔領域の、１つ前に検出した顔領域を、顔存在推定領域６０１としてもよい。例えば、車両内が、図３で示した画像に撮像されたような状態から、図４に示した画像で撮像されたような状態となった場合、顔検出部１０２は、それまで検出していた運転者の顔（第１の顔２０２ａ）を検出しなくなり、後部座席の乗員の顔（第２の顔２０２ｂ）を運転者の顔として検出する。露出制御部１０６１は、それまで検出していた第１の顔２０２ａの第１の顔領域２０３ａを、顔存在推定領域６０１としてもよい。

　また、露出制御部１０６１は、ヘッドレストの後ろには運転者の顔は存在しないことから、シートリクライニング量に基づき、ヘッドレストの位置を算出し、顔存在推定領域６０１を推定するようにしてもよい。
　また、顔存在推定領域６０１は、標準的な体格の運転者が運転席の標準的な位置に座り標準的な姿勢にて正面を見た状態における当該運転者の顔の位置を考慮して、撮像装置２０が撮像する画像２００に対して予め固定的に定められた当該画像上の領域であってもよい。

　露出制御部１０６１は、何らかの方法で、画像上において、顔存在推定領域６０１を特定できるものであればよい。

　上記第１判定条件は、例えば、顔存在推定領域６０１の画素（以下「推定領域画素」という。）の平均輝度が予め設定された値（以下「運転席輝度判定用閾値」という。）以上であるか否かとしてもよい。運転席輝度判定用閾値には、例えば、運転者の顔を検出するには明るすぎると想定される輝度値の最低値が設定されている。
　例えば、誤検出判定部１０７は、推定領域画素の平均輝度が、運転席輝度判定用閾値以上である場合、顔誤検出条件を満たすとし、顔検出部１０２が運転者の顔を誤検出していると判定する。
　推定領域画素の平均輝度が運転席輝度判定用閾値以上である場合、撮像装置２０の露出制御は、運転席よりも暗い場所にいる、運転者以外の乗員の顔領域の画素の平均輝度に応じて行われている可能性が高いと想定される。

　画像処理部１０６２がゲイン調整を行った場合、顔誤検出条件は、例えば、「撮像装置２０のゲイン値が、予め設定された条件（以下「第２判定条件」という。）を満たすか否か」である。誤検出判定部１０７は、撮像装置２０のゲイン値の情報を、例えば、画像処理部１０６２から取得するようにすればよい。
　第２判定条件は、例えば、撮像装置２０のゲイン値が予め設定された閾値（以下「ゲイン判定用閾値」という。）以上になったか否かとしてもよい。ゲイン判定用閾値には、運転者の顔を鮮明に撮像するには明るくなりすぎると想定されるゲイン値が設定されている。
　例えば、誤検出判定部１０７は、撮像装置２０のゲイン値が、ゲイン判定用閾値以上である場合、顔誤検出要件を満たすとし、顔検出部１０２が運転者の顔を誤検出していると判定する。
　撮像装置２０のゲイン値がゲイン判定用閾値以上である場合、撮像装置２０のゲイン調整は、運転席よりも暗い場所にいる、運転者以外の乗員の顔領域の画素の平均輝度に応じて行われている可能性が高いと想定される。

　また、画像処理部１０６２がゲイン調整を行った場合、顔誤検出条件は、例えば、「運転者顔範囲の白とび面積が、予め設定された条件（以下「第３判定条件」という。）を満たすか否か」としてもよい。
　なお、画像処理部１０６２は、露出制御部１０６１が顔存在推定領域６０１を決定する方法と同様の方法で、顔存在推定領域６０１を決定すればよい。当該顔存在推定領域６０１の決定方法については説明済みであるため、詳細な説明を省略する。

　上記第３判定条件は、例えば、顔存在推定領域６０１の白とび面積が予め設定された閾値（以下「白とび判定用閾値」という。）以上であるか否かとしてもよいし、顔存在推定領域６０１の白とび面積が大きいか否かとしてもよい。白とび判定用閾値には、運転者の顔のパーツが検出できないと想定される白とび面積が、予め設定されている。
　例えば、誤検出判定部１０７は、顔存在推定領域６０１の白とび面積が白とび判定用閾値以上である場合、顔誤検出条件を満たすとし、顔検出部１０２が運転者の顔を誤検出していると判定する。
　運転者顔範囲の白とび面積が白とび判定用閾値以上である場合、撮像装置２０のゲイン調整は、運転席よりも暗い場所にいる、運転者以外の乗員の顔領域の画素の平均輝度に応じて行われている可能性が高いと想定される。

　誤検出判定部１０７は、上述したような複数の顔誤検出条件のうち、任意の２つ以上の条件を組み合わせて、撮像装置２０に関する情報が顔誤検出条件を満たすか否かを判定するようにしてもよい。
　例えば、露出制御部１０６１が露出制御を行った上で、かつ、画像処理部１０６２がゲイン調整も行った場合、誤検出判定部１０７は、「推定領域画素の平均輝度が第１判定条件を満たすか否か」を判定し、さらに、「顔存在推定領域６０１の白とび面積が第３判定条件を満たすか否か」を判定するようにしてもよい。誤検出判定部１０７は、推定領域画素の平均輝度が第１判定条件を満たし、かつ、顔存在推定領域６０１の白とび面積が第３判定条件を満たす場合、顔検出部１０２が運転者の顔を誤検出したと判定する。

　誤検出判定部１０７は、撮像装置２０に関する情報が顔誤検出条件を満たすと判定した場合、顔検出部１０２が運転者の顔を誤検出したとし、顔検出用領域を縮小させる領域縮小指示を、領域縮小部１０９に出力する。また、誤検出判定部１０７は、光学設定制御部１０６に対して、露出時間、点灯時間、または、ゲイン値を初期値に戻す制御を実行させるための再制御要通知を、再制御指示部１０８に出力する。
　一方、誤検出判定部１０７は、撮像装置２０に関する情報が顔誤検出条件を満たさないと判定した場合、顔検出部１０２が運転者の顔を正しく検出できたとし、顔検出有情報を、運転者監視部１０３に出力する。

　再制御指示部１０８は、誤検出判定部１０７から再制御要通知が出力されると、光学設定制御部１０６に対して、撮像装置２０の光学設定を適正値に戻す制御を行わせる再制御指示を出力する。実施の形態１において、撮像装置２０の光学設定の適正値とは、撮像装置２０の光学設定の初期値とする。
　なお、再制御指示部１０８は、例えば、再制御要通知に基づき、露出制御部１０６１に対して露出時間を初期値に戻す露出制御を行わせるのか、画像処理部１０６２に対してゲイン値を初期値に戻すゲイン調整を行わせるのかを、特定可能とする。誤検出判定部１０７は、露出制御またはゲイン調整の、いずれの制御を行わせるかの情報を、再制御要通知に含めるものとする。

　領域縮小部１０９は、誤検出判定部１０７から領域縮小指示が出力されると、顔検出用領域を縮小させる。このとき、領域縮小部１０９は、顔検出部１０２が誤検出した運転者の顔領域を含まない範囲となるよう、顔検出用領域を縮小させる。領域縮小部１０９は、誤検出判定部１０７経由で、顔検出部１０２が出力した顔情報を取得し、取得した顔情報から、顔検出部１０２が誤検出した、運転者の顔領域を特定すればよい。

　図７Ａおよび図７Ｂは、実施の形態１において、領域縮小部１０９が縮小させた顔検出用領域の一例のイメージを説明するための図である。なお、図７Ａおよび図７Ｂで示す画像２００は、図４に示すように画像が撮像された状態から、再び、運転者の顔である第１の顔２０２ａのパーツが撮像される状態へと戻ったものとしている。
　領域縮小部１０９は、例えば、顔検出用領域を示す矩形の右側の一辺を、左方向へ移動させ、顔検出用領域を狭める。その際、領域縮小部１０９は、顔検出部１０２が検出した運転者の顔領域を含まない領域となるまで、顔検出用領域を狭める（図７Ａ参照）。

　また、例えば、領域縮小部１０９は、顔検出用領域を示す矩形の右下の頂点を、左上の頂点方向へ、顔検出用領域の縦横比を維持したまま、当該顔検出用領域を狭める。その際、領域縮小部１０９は、顔検出部１０２が検出した運転者の顔領域を含まない領域となるまで、顔検出用領域を狭める（図７Ｂ参照）。

　領域縮小部１０９は、例えば、記憶部に記憶されている顔検出用領域に関する情報で定義されている顔検出用領域を、縮小後の顔検出用領域に更新する。
　そして、領域縮小部１０９は、顔検出用領域を縮小した旨の情報を、再検出指示部１１０に出力する。

　再検出指示部１１０は、領域縮小部１０９から、顔検出用領域を縮小した旨の情報が出力されると、顔検出部１０２に対して、領域縮小部１０９が縮小した後の顔検出用領域内において、運転者の顔を再検出させる。

　実施の形態１に係る車載用画像処理装置１０は、以上で説明した構成を有する。
　なお、仮に、車載用画像処理装置１０が、誤検出判定部１０７を備えず、車載用画像処理装置１０は、顔検出部１０２が運転者の顔を誤検出したか否かを判定する機能を有しないものであったとする。すなわち、上述した従来技術のように、画像から検出された顔が、運転者以外の顔である可能性があることが考慮されないとする。
　その場合、上述の図４の画像で示した状態のように、例えば、何らかの外乱によって、一時的に運転者の顔のパーツを検出できないという状態が生じてしまうと、顔検出部１０２は、運転者以外の乗員の顔を運転者の顔として検出し得る。そして、顔検出部１０２から、運転者以外の乗員の顔を運転者の顔とした、当該運転者以外の乗員の顔に関する顔情報が、運転者監視部１０３および輝度算出部１０４に出力される。

　上述のとおり、後部座席へは、運転席よりも、例えば照明装置３０の光が届きにくいため、後部座席の乗員は、画像において、暗く撮像される。よって、顔検出部１０２が後部座席の乗員の顔を運転者の顔と誤検出すると、輝度算出部１０４が算出した、運転者顔領域画素の平均輝度は、運転者顔領域画素の平均輝度として想定されている平均輝度より大幅に小さくなり、光学設定制御部１０６は、後部座席の乗員の顔領域に合わせて光学設定の制御を行うことになり得る。その結果、例えば、一時的に運転者の顔のパーツを検出できないという状態から、運転者の顔のパーツを検出できる状態（図３参照）に戻ったとしても、画像上、運転者の顔領域の画素の輝度が適正化されていないことにより、顔検出部１０２は、当該運転者の顔を顔として再検出しにくくなる。具体的には、後部座席より照明装置３０等の光が届きやすい運転席付近は明るくなり過ぎて、画像上、例えば、白とびしてしまい、顔検出部１０２は、デフォルト状態の光学設定で撮像された画像よりも、運転者の顔を顔として検出しにくくなる。そうすると、顔検出部１０２は、後部座席の乗員の顔を、運転者の顔として検出し続けることになってしまう。
　また、運転者監視部１０３は、当該後部座席の乗員の顔に対して、状態の監視を行い続けることになってしまう。例えば、運転者監視部１０３によって、上記後部座席の乗員が居眠り状態であると判断されれば、出力装置から警報が出力されることになる。これは、実際には、運転者が居眠り状態であることに対する警報ではないため、無用な警報になり得る。

　これに対し、実施の形態１に係る車載用画像処理装置１０では、上述のとおり、誤検出判定部１０７を備える。誤検出判定部１０７は、顔検出部１０２が検出した運転者顔領域画素の平均輝度に応じて光学設定の制御が行われた結果、撮像装置２０に関する情報が顔誤検出条件を満たすか否かを判定することで、運転者の顔が誤検出されたか否かを判定する。そして、誤検出判定部１０７は、運転者の顔が誤検出されたと判定した場合、再制御指示部１０８に、露出時間、点灯時間、または、ゲイン値をデフォルト状態に戻す制御を実行させるための再制御指示を光学設定制御部１０６に対して出力させるようにした。このように、車載用画像処理装置１０は、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止することを可能としている。また、車載用画像処理装置１０は、誤検出された運転者の顔に基づく不適切な光学設定の制御が行われた結果、本来の運転者の顔が検出されにくくなる状態が継続することを防止することを可能としている。

　実施の形態１に係る車載用画像処理装置１０の動作について説明する。
　図８は、実施の形態１に係る車載用画像処理装置１０の動作を説明するためのフローチャートである。
　なお、車載用画像処理装置１０は、図８のフローチャートで示す動作を、車両が走行中、繰り返す。

　画像取得部１０１は、撮像装置２０から画像を取得する（ステップＳＴ８０１）。
　画像取得部１０１は、取得した画像を、顔検出部１０２および輝度算出部１０４に出力する。

　顔検出部１０２は、ステップＳＴ８０１にて画像取得部１０１が取得した画像に基づき、当該画像上に設定された顔検出用領域内において、運転者の顔を検出する（ステップＳＴ８０２の“ＹＥＳ”の場合）。
　顔検出部１０２は、検出した運転者の顔情報を、運転者監視部１０３、輝度算出部１０４、および、誤検出判定部１０７に出力する。また、顔検出部１０２は、検出した運転者の顔情報を、記憶部に記憶させる。

　顔検出部１０２が、顔検出用領域内において、運転者の顔を検出できない場合（ステップＳＴ８０２の“ＮＯ”の場合）は、車載用画像処理装置１０による処理は、ステップＳＴ８０１に戻る。

　輝度算出部１０４は、ステップＳＴ８０１にて画像取得部１０１が取得した画像において、運転者顔領域画素の平均輝度を算出する（ステップＳＴ８０３）。
　輝度算出部１０４は、顔領域輝度情報を輝度判定部１０５に出力する。

　輝度判定部１０５は、輝度算出部１０４から出力された顔領域輝度情報に基づき、運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する（ステップＳＴ８０４）。
　ステップＳＴ８０４において、輝度判定部１０５は、運転者顔領域画素の平均輝度が、輝度判定用閾値未満であると判定した場合（ステップＳＴ８０４の“ＮＯ”の場合）、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を、光学設定制御部１０６に出力する。

　ステップＳＴ８０４において、輝度判定部１０５が、運転者顔領域画素の平均輝度は輝度判定用閾値以上であると判定した場合（ステップＳＴ８０４の“ＹＥＳ”の場合）、車載用画像処理装置１０は、処理を終了する。

　光学設定制御部１０６は、輝度算出部１０４が算出した運転者顔領域画素の平均輝度に応じて、撮像装置２０の光学設定の制御を行う（ステップＳＴ８０５）。

　誤検出判定部１０７は、ステップＳＴ８０５にて光学設定制御部１０６が行った制御の結果に基づき、誤検出判定を行う（ステップＳＴ８０６）。

　誤検出判定部１０７は、顔検出部１０２が運転者の顔を誤検出したと判定した場合（ステップＳＴ８０７の“ＹＥＳ”の場合）、顔検出用領域を縮小させる領域縮小指示を、領域縮小部１０９に出力する。また、誤検出判定部１０７は、再制御要通知を、再制御指示部１０８に出力する。
　一方、誤検出判定部１０７は、顔検出部１０２が運転者の顔を誤検出していないと判定した場合（ステップＳＴ８０７の“ＮＯ”の場合）、顔検出有情報を、運転者監視部１０３に出力して、車載用画像処理装置１０は、処理を終了する。

　再制御指示部１０８は、ステップＳＴ８０７にて誤検出判定部１０７から再制御要通知が出力されると、光学設定制御部１０６に対して、再制御指示を出力する。
　光学設定制御部１０６は、再制御指示部１０８から再制御指示が出力された場合、撮像装置２０の光学設定を初期値に戻す制御を行う（ステップＳＴ８０８）。

　領域縮小部１０９は、ステップＳＴ８０７にて誤検出判定部１０７から領域縮小指示が出力されると、顔検出用領域を縮小させる（ステップＳＴ８０９）。
　そして、領域縮小部１０９は、顔検出用領域を縮小した旨の情報を、再検出指示部１１０に出力する。

　再検出指示部１１０は、ステップＳＴ８０９にて、領域縮小部１０９から、顔検出用領域を縮小した旨の情報が出力されると、顔検出部１０２に対して、領域縮小部１０９が縮小した後の顔検出用領域内において、運転者の顔を再検出させる（ステップＳＴ８１０）。そして、車載用画像処理装置１０は、処理を終了する。

　なお、図８で説明した車載用画像処理装置１０の動作において、車載用画像処理装置１０が処理を終了する際、領域縮小部１０９は、顔検出用領域を縮小させた場合（図８のステップＳＴ８０９参照）、記憶部に記憶されている顔検出用領域に関する情報において、顔検出用領域を、初期値に戻す。

　また、以上の、図８を用いて説明した、車載用画像処理装置１０の動作について、領域縮小部１０９は、顔検出用領域を縮小させた場合、顔検出用領域を縮小させてから一定時間が経過しても、顔検出部１０２が運転者の顔を検出しない場合（図８のステップＳＴ８０２参照）、顔検出用領域を初期値に戻すようにしてもよい。なお、その場合、領域縮小部１０９は、例えば、顔検出部１０２から、運転者の顔を検出したか否かの情報を取得するようにする。

　ここで、図９は、図８のステップＳＴ８０４～ステップＳＴ８０７の動作をより詳細に説明するためのフローチャートである。
　ステップＳＴ９０１において、輝度判定部１０５は、図８のステップＳＴ８０３にて輝度算出部１０４から出力された顔領域輝度情報に基づき、運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する（ステップＳＴ９０１）。当該ステップＳＴ９０１の動作は、図８のステップＳＴ８０４の動作である。
　ステップＳＴ９０１において、輝度判定部１０５が、運転者顔領域画素の平均輝度が輝度判定用閾値以上であると判定した場合（ステップＳＴ９０１の“ＹＥＳ”の場合）、車載用画像処理装置１０は、処理を終了する。

　ステップＳＴ９０１において、輝度判定部１０５は、運転者顔領域画素の平均輝度が輝度判定用閾値未満であると判定した場合（ステップＳＴ９０１の“ＮＯ”の場合）、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を露出制御部１０６１に出力し、露出制御部１０６１は、撮像装置２０の露出制御を行う（ステップＳＴ９０２）。

　ステップＳＴ９０２にて露出制御部１０６１が露出制御を行うと、輝度判定部１０５は、露出制御後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する（ステップＳＴ９０３）。
　ステップＳＴ９０３において、輝度判定部１０５が、露出制御後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であると判定した場合（ステップＳＴ９０３の“ＹＥＳ”の場合）、車載用画像処理装置１０による処理は、ステップＳＴ９０６に進む。
　ステップＳＴ９０３において、輝度判定部１０５は、露出制御後の運転者顔領域画素の平均輝度が輝度判定用閾値未満であると判定した場合（ステップＳＴ９０３の“ＮＯ”の場合）、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を画像処理部１０６２に出力し、画像処理部１０６２は、ゲイン調整を行う（ステップＳＴ９０４）。

　ステップＳＴ９０４にて画像処理部１０６２がゲイン調整を行うと、輝度判定部１０５は、ゲイン調整後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であるか否かを判定する（ステップＳＴ９０５）。
　ステップＳＴ９０５において、輝度判定部１０５は、ゲイン調整後の運転者顔領域画素の平均輝度が輝度判定用閾値未満であると判定した場合（ステップＳＴ９０５の“ＮＯ”の場合）、運転者顔領域画素の平均輝度が輝度判定用閾値未満である旨の情報を露出制御部１０６１に出力し、車載用画像処理装置１０による処理は、ステップＳＴ９０２に戻る。

　ステップＳＴ９０５において、輝度判定部１０５が、ゲイン調整後の運転者顔領域画素の平均輝度が輝度判定用閾値以上であると判定した場合（ステップＳＴ９０５の“ＹＥＳ”の場合）、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果に基づき、誤検出判定を行う（ステップＳＴ９０６）。具体的には、誤検出判定部１０７は、ステップＳＴ９０２にて露出制御部１０６１が露出制御を行った場合、当該露出制御を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たすか否かを判定する。また、誤検出判定部１０７は、ステップＳＴ９０４にて画像処理部１０６２がゲイン調整を行った場合、当該ゲイン調整を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たすか否かを判定する。

　誤検出判定部１０７は、露出制御を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たす場合、または、ゲイン調整を行った結果得られる、撮像装置２０に関する情報が、顔誤検出要件を満たす場合（ステップＳＴ９０７の“ＹＥＳ”の場合）、顔検出部１０２が運転者の顔を誤検出したと判定し、顔検出用領域を縮小させる領域縮小指示を、領域縮小部１０９に出力する。また、誤検出判定部１０７は、再制御要通知を、再制御指示部１０８に出力する。そして、車載用画像処理装置１０による処理は、図８のステップＳＴ８０８へ進む。

　誤検出判定部１０７は、露出制御を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たさず、かつ、ゲイン調整を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たさない場合（ステップＳＴ９０７の“ＮＯ”の場合）、顔検出部１０２が運転者の顔を誤検出していないと判定し、顔検出有情報を、運転者監視部１０３に出力する。そして、車載用画像処理装置１０は、処理を終了する。

　なお、以上の実施の形態１では、車載用画像処理装置１０は領域縮小部１０９を備え、領域縮小部１０９は、誤検出判定部１０７から領域縮小指示が出力されると、顔検出用領域を縮小させるものとした。しかし、これに限らず、車載用画像処理装置１０は領域縮小部１０９を備えない構成としてもよい。その場合、再制御指示部１０８から出力された再制御指示に基づき、光学設定制御部１０６が撮像装置２０の光学設定を初期値に戻す制御を行うと、再制御指示部１０８は、顔検出部１０２に対して、光学設定を初期値に戻した後の画像の顔検出用領域内において、運転者の顔を再検出させる。
　但し、車載用画像処理装置１０は、領域縮小部１０９を備えるようにしたほうが、運転者の顔を誤検出したと判定した後、運転者の顔の再検出を行う際、より正しく運転者の顔の検出を行うことができるようになる。
　また、以上の実施の形態１では、画像上には、顔検出用領域が設定されることを前提としたが、これに限らず、画像上に顔検出用領域が設定されていることは必須ではない。

　また、以上の実施の形態１では、車載用画像処理装置１０は、誤検出判定において、運転者の顔を誤検出したと判定した場合に行う、撮像装置２０の光学設定を適正値とする制御は、撮像装置２０の光学設定をデフォルト状態とする制御であるものとした。しかし、これに限らず、車載用画像処理装置１０は、誤検出判定において、運転者の顔を誤検出したと判定した場合に行う、撮像装置２０の光学設定を適正値とする制御として、撮像装置２０の露出時間を時系列でみて１つ前に設定されていた露出時間とする、撮像装置２０の点灯時間を時系列でみて１つ前に設定されていた点灯時間とする、または、撮像装置２０のゲイン値を時系列でみて１つ前に設定されていたゲイン値とする制御を行うようにしてもよい。撮像装置２０は、運転者の顔を誤検出する直前には、これらの値が設定された光学設定によって、運転者の顔を撮像していたので、露出時間を時系列でみて１つ前に設定されていた露出時間とする、点灯時間を時系列でみて１つ前に設定されていた点灯時間とする、または、ゲイン値を時系列でみて１つ前に設定されていたゲイン値とするようにしても、運転者の顔を十分に撮像できると想定される。
　実施の形態１でいう光学設定の適正値とは、上述の、露出時間の初期値、点灯時間の初期値、または、ゲイン値の初期値のほか、１つ前に設定されていた露出時間、１つ前に設定されていた点灯時間、または、１つ前に設定されていたゲイン値を含む。

　以上のように、実施の形態１に係る車載用画像処理装置１０は、撮像装置２０から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する画像取得部１０１と、画像取得部１０１が取得した画像に基づき、当該画像上の運転者の顔および当該運転者の顔領域を検出する顔検出部１０２と、顔検出部１０２が検出した運転者の顔領域内の画素の平均輝度を算出する輝度算出部１０４と、輝度算出部１０４が算出した平均輝度が輝度判定用閾値以上であるか否かを判定する輝度判定部１０５と、輝度判定部１０５が、平均輝度が輝度判定用閾値未満であると判定した場合に、平均輝度に応じて、撮像装置２０の光学設定の制御を行う光学設定制御部１０６と、光学設定制御部１０６が行った制御の結果に基づき、顔検出部１０２が運転者の顔を誤検出したか否かを判定する誤検出判定部１０７と、誤検出判定部１０７が、顔検出部１０２が運転者の顔を誤検出したと判定した場合、光学設定制御部１０６に対して、撮像装置２０の光学設定を適正値に戻す制御を行わせる再制御指示を出力する再制御指示部１０８を備えるように構成した。そのため、車載用画像処理装置１０は、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止することができる。

実施の形態２．
　実施の形態２では、画像から検出された運転者の顔の、画像上の位置を考慮することで、誤検出判定の精度を向上させることができる実施の形態について説明する。

　実施の形態２に係る車載用画像処理装置１０の構成は、実施の形態１に係る車載用画像処理装置１０の構成と同様であるため、重複した説明を省略する。
　実施の形態２に係る車載用画像処理装置１０は、実施の形態１に係る車載用画像処理装置１０とは、誤検出判定部１０７の具体的な動作が異なる。
　実施の形態２において、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果、および、顔検出部１０２が検出した運転者の顔の位置に基づき、運転者の顔の誤検出判定を行う。具体的には、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たし、かつ、顔検出部１０２が検出した運転者の顔の位置が、非運転者領域内にあるか否かを判定する。

　実施の形態２において、非運転者領域とは、顔検出用領域内で運転者以外の乗員の顔が撮像されている可能性が高いと推定される領域をいう。非運転者領域は、例えば、撮像装置２０の撮像範囲を考慮して設定されている顔検出用領域にあわせて、ユーザ等が予め設定しておく。
　例えば、ここでは、撮像装置２０の設置位置および撮像範囲が、図２Ａに示したような設置位置および撮像範囲であることを想定している。当該撮像範囲は、基本的に、運転者の顔が画像の左右方向の略中央位置に撮像されるよう、例えば、ヘッドレストを略中央とする範囲に設定されている。また、当該撮像範囲が撮像された画像において、顔検出用領域は、例えば、通常は画像の略中央に撮像される運転者の顔が、仮に種々の位置に動いたとしても運転者の顔が検出できる程度に、広く設定されることがある。このように設定された顔検出用領域内に、仮に、後部座席の乗員の顔がうつり込んだ場合、当該後部座席の乗員の顔は、顔検出用領域の端にうつり込むことになる可能性が高い。したがって、この場合、非運転者領域は、顔検出用領域の端部に設定される。なお、非運転者領域は、顔検出用領域と対応付けられて、記憶部に記憶されているものとする。

　光学設定制御部１０６が制御を行った結果、露出時間、点灯時間、または、ゲイン値が大幅に変更される要因として、運転者の顔に照明装置３０の光が届きにくい事象が発生した可能性も考えられる。例えば、運転者が帽子を着用している場合、角度によっては、帽子が照明装置３０からの光を遮り、運転者の顔が暗く撮像されることもあり得る。この場合、正しく検出された運転者の顔領域に合わせて光学設定制御部１０６が制御を行うことで、例えば、一時的に運転者顔領域画素の平均輝度が運転席輝度判定用閾値以上となり得る。このように、一時的に運転者顔領域画素の平均輝度が運転席輝度判定用閾値になった場合であっても、運転者以外の乗員の顔領域に合わせて制御が行われたとは言い切れない場合もある。
　そこで、実施の形態２では、誤検出判定部１０７は、顔誤検出条件に加え、顔検出部１０２が検出した運転者の顔の位置を考慮して、顔検出部１０２が運転者の顔を誤検出したか否かを判定する。
　なお、誤検出判定部１０７は、顔検出部１０２が検出した運転者の顔の、画像上の位置を、顔情報から算出すればよい。例えば、誤検出判定部１０７は、顔情報に基づく顔領域の中心の座標を、運転者の顔の位置とすればよい。また、誤検出判定部１０７は、顔検出部１０２から出力された顔情報に基づく、運転者の顔領域を示す枠を、運転者の顔の位置としてもよい。

　顔検出部１０２が検出した運転者の顔の位置が非運転者領域内にある場合、顔検出部１０２が検出した運転者の顔は、運転者以外の乗員の顔である可能性が高い。逆に、運転者の顔の位置が非運転者領域内になければ、運転者の顔の位置は大きく移動しておらず、光学設定制御部１０６は、正しく検出された運転者の顔領域に合わせて、必要な制御を行った可能性が高いと言える。
　誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たし、かつ、顔検出部１０２が検出した運転者の顔の位置が、非運転者領域内にある場合に、顔検出部１０２が運転者の顔を誤検出したと判定する。

　実施の形態２に係る車載用画像処理装置１０の動作について説明する。
　実施の形態２に係る車載用画像処理装置１０の基本的な動作は、実施の形態１において図８を用いて説明した動作と同様であるため、重複した説明を省略する。
　図１０は、実施の形態２に係る車載用画像処理装置１０における、図８のステップＳＴ８０４～ステップＳＴ８０７の動作をより詳細に説明するためのフローチャートである。
　実施の形態１とは異なる、実施の形態２における誤検出判定部１０７の詳細な動作について、図１０を用いて説明する。
　図１０のステップＳＴ９０１～ステップＳＴ９０７の具体的な動作は、実施の形態１において説明した図９のステップＳＴ９０１～ステップＳＴ９０７の具体的な動作と同様であるため、重複した説明を省略する。

　誤検出判定部１０７は、ステップＳＴ９０７において、露出制御を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たす場合、または、ゲイン調整を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たす場合（ステップＳＴ９０７の“ＹＥＳ”の場合）、顔検出部１０２が検出した運転者の顔の位置が、非運転者領域内にあるか否かを判定する（ステップＳＴ１００１）。

　ステップＳＴ１００１において、運転者の顔の位置が非運転者領域内にあると判定した場合（ステップＳＴ１００１の”ＹＥＳ”の場合）、誤検出判定部１０７は、顔検出部１０２が運転者の顔を誤検出したと判定する。そして、誤検出判定部１０７は、顔検出用領域を縮小させる領域縮小指示を、領域縮小部１０９に出力する。また、誤検出判定部１０７は、再制御要通知を、再制御指示部１０８に出力する。車載用画像処理装置１０による処理は、図８のステップＳＴ８０８へ進む。

　一方、ステップＳＴ１００１において、運転者の顔の位置が非運転者領域内にないと判定した場合（ステップＳＴ１００１の”ＮＯ”の場合）、誤検出判定部１０７は、顔検出部１０２が運転者の顔を誤検出していないと判定する。そして、誤検出判定部１０７は、顔検出有情報を、運転者監視部１０３に出力する。車載用画像処理装置１０は、処理を終了する。

　このように、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果、および、顔検出部１０２が検出した運転者の位置に基づき、運転者の顔の誤検出判定を行う。そのため、運転者の顔の誤検出判定の精度を向上させることができる。

　なお、以上の説明では、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たし、かつ、顔検出部１０２が検出した運転者の顔の位置が、非運転者領域内にあるか否かを判定することで、誤検出判定を行うようにした。
　しかし、光学設定制御部１０６が行った制御の結果が顔誤検出条件を満たすか否かを判定することに追加して行う判定は、上述の判定に限らない。
　誤検出判定部１０７は、例えば、光学設定制御部１０６が制御を行うきっかけとなった、顔検出部１０２から出力された現在の顔情報に基づく運転者の顔の位置と、顔検出部１０２から出力された顔情報よりも時系列でみて１つ前の顔情報に基づく運転者の顔の位置とを比較する。そして、誤検出判定部１０７は、この比較の結果、両顔情報に基づく運転者の顔の位置を示す位置座標の差が、予め設定された閾値以上であるか否かを判定するとの処理を、顔誤検出条件を満たすか否かの判定に追加して行ってもよい。また、この場合、誤検出判定部１０７は、例えば、運転者の顔の位置の比較ではなく、運転者の顔の特徴点の比較または、運転者の顔領域を示す枠の大きさの比較を行い、顔の特徴点の差が閾値以上であるか否か、または、顔領域を示す枠の大きさの差が閾値以上であるか否かの判定を、顔誤検出条件を満たすか否かの判定に追加して行ってもよい。

　誤検出判定部１０７が、顔誤検出条件を満たすか否かの判定に追加して、運転者の顔の位置に関する判定、または、運転者の顔の特徴点に関する判定を行うようにすると、例えば、仮に、撮像装置２０の設置位置および撮像範囲が、図２Ｂに示したような設置位置および撮像範囲である場合に、助手席の乗員の顔を、運転者の顔として誤検出していることの誤検出判定の精度を向上させることができる。運転者の顔の位置、または、運転者の顔の特徴点が大きく変化すれば、顔検出部１０２は、助手席の乗員の顔を、運転者の顔と誤検出している可能性が高いと言える。つまり、撮像装置２０に関する情報が顔誤検出条件を満たす場合、光学設定制御部１０６が行った制御は、助手席の乗員の顔領域内の画素の平均輝度に応じて行った制御である可能性が高いと言える。誤検出判定部１０７は、顔誤検出条件を満たすか否かの判定に追加して、運転者の顔の位置に関する判定、または、運転者の顔の特徴点に関する判定を行うことで、このように、顔検出部１０２が助手席の乗員の顔を運転者の顔と誤検出したことを判定できる。

　なお、実施の形態２においても、実施の形態１同様、車載用画像処理装置１０ａは領域縮小部１０９を備えない構成としてもよい。また、画像上に顔検出用領域が設定されていることは必須ではない。

　以上のように、実施の形態２に係る車載用画像処理装置１０は、実施の形態１に係る車載用画像処理装置１０の構成と同様の構成を備えるとともに、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果、および、顔検出部１０２が検出した運転者の顔の位置に基づき、前記誤検出判定を行うように構成した。そのため、車載用画像処理装置１０ａは、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止することができるとともに、誤検出判定を行う際に、検出された運転者の顔の位置を考慮することで、当該誤検出判定の精度を向上させることができる。

実施の形態３．
　実施の形態３では、シートベルトの引き出し量を考慮することで、誤検出判定の精度を向上させることができる実施の形態について説明する。

　図１１は、実施の形態３に係る車載用画像処理装置１０ａの構成例を示す図である。
　図１１において、実施の形態１において図１を用いて説明した車載用画像処理装置１０と同様の構成については、同じ符号を付して重複した説明を省略する。
　実施の形態３に係る車載用画像処理装置１０ａは、実施の形態１に係る車載用画像処理装置１０と比べ、引き出し量検出部１１１を備えた点が異なる。

　引き出し量検出部１１１は、運転席に設置されたシートベルトの引き出し量を検出する。
　引き出し量検出部１１１は、例えば、画像取得部１０１が取得した画像に基づき、当該画像上での、シートベルトに付されたマークの位置の移動量からシートベルトの引き出し量を検出する。シートベルトには、予め、マークが付されているものとする。マークは、撮像装置２０により検出可能なものである。例えば、撮像装置２０が赤外線カメラであれば、マークは、赤外線カメラにより検出可能なものとする。
　また、引き出し量検出部１１１は、例えば、運転席に設置されたシートベルト近傍に設置され、シートベルトの移動量に応じて回転する部位を有する巻取りセンサ（図示省略）が検知した回転量から、シートベルトの引き出し量を算出することで、シートベルトの引き出し量を検出するものであってもよい。

　引き出し量検出部１１１が検出するシートベルトの引き出し量は、例えば、不使用の状態のシートベルトを基準とした引き出し量（以下「不使用状態基準の引き出し量」という。）である。
　また、引き出し量検出部１１１が検出するシートベルトの引き出し量は、例えば、運転者が通常の着座姿勢でシートベルトを着用した状態のシートベルトを基準とした引き出し量（以下、「使用状態基準の引き出し量」という。）でもよい。運転者が通常の着座姿勢から、何らかの目的で姿勢を変化させた場合、シートベルトの引き出し量も変化し得る。引き出し量検出部１１１が使用状態基準の引き出し量を検出する場合、不使用状態基準の引き出し量を検出するよりも、運転者の体格差を考慮した、より正確な、運転者の姿勢の変化に応じたシートベルトの引き出し量を検出することができる。
　引き出し量検出部１１１は、検出した引き出し量を、誤検出判定部１０７に出力する。
　引き出し量検出部１１１は、少なくとも顔検出部１０２が検出動作を行うタイミングと同様のタイミングで検出動作を繰り返し行う。そして、検出された引き出し量は、顔情報と対応付けられて記憶部に記憶されるものとする。例えば、顔検出部１０２は、顔情報を記憶部に記憶させる際、引き出し量検出部１１１から引き出し量に関する情報を取得し、顔情報と対応付けて記憶部に記憶させる。

　誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果、および、引き出し量検出部１１１が検出した引き出し量に基づき、誤検出判定を行う。
　具体的には、誤検出判定部１０７は、例えば、光学設定制御部１０６が制御を行うきっかけとなった、顔検出部１０２から出力された現在の顔情報に対応する引き出し量と、顔検出部１０２から出力された顔情報よりも時系列でみて１つ前の顔情報に対応する引き出し量とを比較する。そして、誤検出判定部１０７は、当該引き出し量の差が、予め設定された閾値（以下「第１引き出し量判定用閾値」という。）以下であるか否かの判定を、顔誤検出条件を満たすか否かの判定に追加して行う。
　誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たし、かつ、引き出し量の差が第１引き出し量判定用閾値以下である場合に、顔検出部１０２が運転者の顔を誤検出したと判定する。
　一方、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たしているが、引き出し量の差が第１引き出し量判定用閾値より大きい場合には、顔検出部１０２が運転者の顔を誤検出していないと判定する。

　また、具体的には、誤検出判定部１０７は、例えば、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たし、かつ、引き出し量検出部１１１が検出した引き出し量が閾値（以下「第２引き出し量判定用閾値」という。）以下であるか否かを判定するものでもよい。
　誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たし、かつ、引き出し量が第２引き出し量判定用閾値以下である場合に、顔検出部１０２は運転者の顔を誤検出したと判定する。
　一方、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たしているが、引き出し量が第２引き出し量判定用閾値より大きい場合には、顔検出部１０２が運転者の顔を誤検出していないと判定する。

　光学設定制御部１０６が制御を行った結果、露出時間、点灯時間、またはゲイン値が大幅に変更される要因の一つとして、例えば、運転者が身体を大きく動かしたことが考えられる。運転者が身体を大きく動かすと、運転者の顔の位置も大きく動く。例えば、運転者は、車両後方の目視確認等のために、身体を大きく動かして、照明装置３０の光が届きにくい後方に顔を大きく移動させることもあり得る。
　したがって、一時的に運転者顔領域画素の平均輝度が運転席輝度判定用閾値以上になった場合であっても、運転者以外の乗員の顔領域に合わせて制御が行われたとは言い切れない場合もある。

　そこで、実施の形態３では、誤検出判定部１０７は、顔誤検出条件に加え、運転席のシートベルトの引き出し量を考慮して、誤検出判定を行う。上述のように、運転者が身体を大きく動かす場合、運転者の顔の位置も大きく動くと考えられる。そして、運転者が、通常の着座姿勢から身体を移動させる場合は、運転席のシートベルトは引き出されることとなり、引き出し量検出部１１１は、シートベルトの移動に応じた引き出し量を検出することになる。
　引き出し量検出部１１１が、不使用状態基準の引き出し量を検出するものである場合、運転者が通常の着座姿勢である場合の引き出し量よりも、運転者が通常の着座姿勢における顔の位置から顔を大きく移動させた場合の引き出し量の方が大きくなる。したがって、ある時点の引き出し量と、他の時点の引き出し量の差によって、運転者が顔を大きく動かしたか否かを判定することができる。または、引き出し量が一定の値より大きい場合に、運転者が通常の着座姿勢における顔の位置から顔を大きく動かしたか否かを判定することができる。
　引き出し量検出部１１１が、使用状態基準の引き出し量を検出するものである場合、運転者が通常の着座姿勢である場合の引き出し量は、基準値として例えば０に設定され、運転者が通常の着座姿勢における顔の位置から顔を大きく移動させた場合の引き出し量は、当該基準値より大きくなる。この場合も、ある時点の引き出し量と、他の時点の引き出し量の差により、運転者が顔を大きく動かしたか否かを判定することができる。または、引き出し量が一定の値より大きい場合に、運転者が通常の着座姿勢における顔の位置から顔を大きく動かしたか否かを判定することができる。
　運転者が顔を大きく動かしたことが判定できている場合は、上記のとおり、顔が大きく動いたために、光学設定制御部１０６が光学設定を大きく変更する制御を行ったとも考えられる。すなわち、運転者が顔を大きく動かしたことが判定できている場合は、必ずしも、運転者の顔が誤検知されたことを意味しない。一方、運転者が顔を大きくは動かしていないことが判定できている場合は、運転者の顔が誤検知されたために、光学設定制御部１０６が光学設定を大きく変更する制御を行ったと考えられる。

　したがって、誤検出判定部１０７は、例えば、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たし、かつ、現在の引き出し量と時系列でみて１つ前の引き出し量との差が第１引き出し量判定用閾値以下である場合に、顔検出部１０２は運転者の顔を誤検出したと判定する。現在の引き出し量と時系列でみて１つ前の引き出し量との差が第１引き出し量判定用閾値以下である場合、運転者の顔は大きくは動かされていないと考えられるからである。
　一方、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たしているが、引き出し量の差が第１引き出し量判定用閾値より大きい場合には、顔検出部１０２が運転者の顔を誤検出していないと判定する。引き出し量の差が第１引き出し量判定用閾値より大きい場合、運転者の顔は大きく動かされたと考えられるからである。
　また、誤検出判定部１０７は、例えば、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たし、かつ、引き出し量が第２引き出し量判定用閾値以下である場合に、顔検出部１０２は運転者の顔を誤検出したと判定する。引き出し量が第２引き出し量判定用閾値以下である場合、運転者の顔は大きくは動かされていないと考えられるからである。
　一方、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果が、顔誤検出条件を満たしているが、引き出し量が第２引き出し量判定用閾値より大きい場合には、顔検出部１０２が運転者の顔を誤検出していないと判定する。引き出し量が第２引き出し量判定用閾値より大きい場合、運転者の顔は大きく動かされたと考えられるからである。

　実施の形態３に係る車載用画像処理装置１０ａの動作について説明する。
　実施の形態３に係る車載用画像処理装置１０ａの基本的な動作は、実施の形態１において図８を用いて説明した動作と同様であるため、重複した説明を省略する。
　図１２は、実施の形態３に係る車載用画像処理装置１０ａにおける、図８のステップＳＴ８０４～ステップＳＴ８０７の動作をより詳細に説明するためのフローチャートである。実施の形態１とは異なる、実施の形態３における誤検出判定部１０７の詳細な動作について、図１２を用いて説明する。
　図１２のステップＳＴ９０１～ステップＳＴ９０７の具体的な動作は、実施の形態１において説明した図９のステップＳＴ９０１～ステップＳＴ９０７の具体的な動作と同様であるため、重複した説明を省略する。
　また、図１２で示す動作では、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果、および、現在の引き出し量と時系列でみて１つ前の引き出し量との差に基づき、誤検出判定を行うものとしている。

　誤検出判定部１０７は、ステップＳＴ９０７において、露出制御を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たす場合、または、ゲイン調整を行った結果得られる、撮像装置２０に関する情報が、顔誤検出条件を満たす場合（ステップＳＴ９０７の“ＹＥＳ”の場合）、引き出し量の差が第１引き出し量判定用閾値以下であるか否かを判定する（ステップＳＴ１２０１）。

　ステップＳＴ１２０１において、誤検出判定部１０７は、引き出し量の差が第１引き出し量判定用閾値以下であると判定した場合（ステップＳＴ１２０１の”ＹＥＳ”の場合）、顔検出部１０２が運転者の顔を誤検出したと判定する。そして、誤検出判定部１０７は、顔検出用領域を縮小させる領域縮小指示を、領域縮小部１０９に出力する。また、誤検出判定部１０７は、再制御要通知を、再制御指示部１０８に出力する。車載用画像処理装置１０による処理は、図８のステップＳＴ８０８へ進む。

　一方、ステップＳＴ１２０１において、引き出し量の差が第１引き出し量判定用閾値より大きいと判定した場合（ステップＳＴ１２０１の”ＮＯ”の場合）、誤検出判定部１０７は、顔検出部１０２が運転者の顔を誤検出していないと判定する。そして、誤検出判定部１０７は、顔検出有情報を、運転者監視部１０３に出力する。車載用画像処理装置１０は、処理を終了する。

　このように、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果、および、引き出し量検出部１１１が検出したシートベルトの引き出し量に基づき、誤検出判定を行う。そのため、誤検出判定の精度を向上させることができる。

　なお、実施の形態３においても、実施の形態１および実施の形態２同様、車載用画像処理装置１０ａは領域縮小部１０９を備えない構成としてもよい。また、画像上に顔検出用領域が設定されていることは必須ではない。

　以上のように、実施の形態３に係る車載用画像処理装置１０ａは、実施の形態１に係る車載用画像処理装置１０の構成に加え、運転席に設置されたシートベルトの引き出し量を検出する、引き出し量検出部１１１を備え、誤検出判定部１０７は、光学設定制御部１０６が行った制御の結果、および、引き出し量検出部１１１が検出した引き出し量に基づき、誤検出判定を行うように構成した。そのため、車載用画像処理装置１０ａは、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止することができるとともに、誤検出判定を行う際に、運転席のシートベルトの引出し量を考慮することで、当該誤検出判定の精度を向上させることができる。

　図１３Ａ，図１３Ｂは、実施の形態１～実施の形態３に係る車載用画像処理装置１０，１０ａのハードウェア構成の一例を示す図である。
　実施の形態１～実施の形態３において、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、輝度算出部１０４と、輝度判定部１０５と、光学設定制御部１０６と、誤検出判定部１０７と、領域縮小部１０９と、再検出指示部１１０と、引き出し量検出部１１１の機能は、処理回路１３０１により実現される。すなわち、車載用画像処理装置１０，１０ａは、運転者の顔を誤検出したかの誤検出判定を行い、当該誤検出判定の結果に基づいて、撮像装置２０の光学設定の制御を行うための処理回路１３０１を備える。
　処理回路１３０１は、図１０Ａに示すように専用のハードウェアであっても、図１０Ｂに示すようにメモリ１３０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１３０５であってもよい。

　処理回路１３０１が専用のハードウェアである場合、処理回路１３０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

　処理回路１３０１がＣＰＵ１３０５の場合、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、輝度算出部１０４と、輝度判定部１０５と、光学設定制御部１０６と、誤検出判定部１０７と、領域縮小部１０９と、再検出指示部１１０と、引き出し量検出部１１１の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、輝度算出部１０４と、輝度判定部１０５と、光学設定制御部１０６と、誤検出判定部１０７と、領域縮小部１０９と、再検出指示部１１０と、引き出し量検出部１１１は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１３０２、メモリ１３０６等に記憶されたプログラムを実行するＣＰＵ１３０５、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ１３０２、メモリ１３０６等に記憶されたプログラムは、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、輝度算出部１０４と、輝度判定部１０５と、光学設定制御部１０６と、誤検出判定部１０７と、領域縮小部１０９と、再検出指示部１１０と、引き出し量検出部１１１の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１３０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。

　なお、画像取得部１０１と、顔検出部１０２と、運転者監視部１０３と、輝度算出部１０４と、輝度判定部１０５と、光学設定制御部１０６と、誤検出判定部１０７と、領域縮小部１０９と、再検出指示部１１０と、引き出し量検出部１１１の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１０１および引き出し量検出部１１１については専用のハードウェアとしての処理回路１３０１でその機能を実現し、顔検出部１０２と、運転者監視部１０３と、輝度算出部１０４と、輝度判定部１０５と、光学設定制御部１０６と、誤検出判定部１０７と、領域縮小部１０９と、再検出指示部１１０については処理回路がメモリ１３０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、車載用画像処理装置１０，１０ａは、撮像装置２０または照明装置３０等の装置と、有線通信または無線通信を行う入力インタフェース装置１３０３および出力インタフェース装置１３０４を備える。

　なお、以上の実施の形態１～実施の形態２では、車載用画像処理装置１０，１０ａは、車両に搭載されるものとしたが、これは一例に過ぎない。
　例えば、図１または図１１を用いて説明したような車載用画像処理装置１０，１０ａの構成部の一部または全部が、サーバに備えられるものとしてもよい。

　また、以上の実施の形態１～実施の形態３では、車載用画像処理装置１０，１０ａにおいて、光学設定制御部１０６は、光学設定の制御として、露出制御およびゲイン調整のいずれも実施可能であるものとしたが、これは一例に過ぎない。光学設定制御部１０６は、光学設定の制御として、露出制御、または、ゲイン調整のいずれか一方のみを行うものであってもよい。

　また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

　この発明に係る車載用画像処理装置は、誤検出された運転者の顔に基づく不適切な光学設定の制御を防止するように構成したため、車両内の乗員を撮像した画像に基づき、車両の運転者の顔を検出する車載用画像処理装置に適用することができる。

　１０，１０ａ　車載用画像処理装置、１０１　画像取得部、１０２　顔検出部、１０３　運転者監視部、１０４　輝度算出部、１０５　輝度判定部、１０６　光学設定制御部、１０６１　露出制御部、１０６２　画像処理部、１０７　誤検出判定部、１０８　再制御指示部、１０９　領域縮小部、１１０　再検出指示部、１１１　引き出し量検出部、２０　撮像装置、３０　照明装置、１３０１　処理回路、１３０２　ＨＤＤ、１３０３　入力インタフェース装置、１３０４　出力インタフェース装置、１３０５　ＣＰＵ、１３０６　メモリ。

Claims

　撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得する画像取得部と、
　前記画像取得部が取得した画像に基づき、当該画像上の前記運転者の顔および当該運転者の顔領域を検出する顔検出部と、
　前記顔検出部が検出した前記運転者の顔領域内の画素の平均輝度を算出する輝度算出部と、
　前記輝度算出部が算出した前記平均輝度が輝度判定用閾値以上であるか否かを判定する輝度判定部と、
　前記輝度判定部が、前記平均輝度が前記輝度判定用閾値未満であると判定した場合に、前記平均輝度に応じて、前記撮像装置の光学設定の制御を行う光学設定制御部と、
　前記光学設定制御部が行った制御の結果に基づき、前記顔検出部が前記運転者の顔を誤検出したか否かを判定する誤検出判定部と、
　前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出したと判定した場合、前記光学設定制御部に対して、前記撮像装置の光学設定を適正値に戻す制御を行わせる再制御指示を出力する再制御指示部と
　を備えたことを特徴とする車載用画像処理装置。
　前記光学設定制御部は、
　前記撮像装置に対して露出制御を行う
　ことを特徴とする請求項１記載の車載用画像処理装置。
　前記光学設定制御部は、
　前記撮像装置に対してゲイン調整を行う
　ことを特徴とする請求項１または請求項２記載の車載用画像処理装置。
　前記顔検出部は、前記画像上に設定された顔検出用領域において、前記運転者の顔および当該運転者の顔領域を検出するものであり、
　前記誤検出判定部は、前記光学設定制御部が前記露出制御を行った結果、前記顔検出用領域内で前記運転者の顔が撮像されている可能性がより高いと推定される領域内の画素の平均輝度が、第１判定条件を満たすか否かを判定し、当該平均輝度が前記第１判定条件を満たす場合に、前記顔検出部は前記運転者の顔を誤検出したと判定する
　ことを特徴とする請求項２記載の車載用画像処理装置。
　前記誤検出判定部は、
　前記光学設定制御部が前記ゲイン調整を行った結果、前記撮像装置のゲイン値が第２判定条件を満たすか否かを判定し、前記撮像装置のゲイン値が前記第２判定条件を満たす場合に、前記顔検出部は前記運転者の顔を誤検出したと判定する
　ことを特徴とする請求項３記載の車載用画像処理装置。
　前記顔検出部は、前記画像上に設定された顔検出用領域内において、前記運転者の顔および当該運転者の顔領域を検出するものであり、
　前記誤検出判定部は、前記光学設定制御部が前記ゲイン調整を行った結果、前記顔検出用領域内で運転者の顔が撮像されている可能性がより高いと推定される領域内の白とび面積が、第３判定条件を満たすか否かを判定し、当該白とび面積が前記第３判定条件を満たす場合に、前記顔検出部は前記運転者の顔を誤検出したと判定する
　ことを特徴とする請求項３記載の車載用画像処理装置。
　前記顔検出部は、前記画像上に設定された顔検出用領域内において、前記運転者の顔および当該運転者の顔領域を検出するものであり、
　前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出したと判定した場合、前記顔検出用領域を縮小させる領域縮小部と、
　前記顔検出部に対して、前記領域縮小部が縮小した後の前記顔検出用領域内において、前記運転者の顔および当該運転者の顔領域を再検出させる再検出指示部と
　を備えた請求項１記載の車載用画像処理装置。
　前記領域縮小部は、
　前記顔検出部が誤検出した前記運転者の顔を含まない領域となるよう、前記顔検出用領域を縮小させる
　ことを特徴とする請求項７記載の車載用画像処理装置。
　前記誤検出判定部は、
　前記光学設定制御部が行った制御の結果、および、前記顔検出部が検出した前記運転者の顔の位置に基づき、前記誤検出判定を行う
　ことを特徴とする請求項１記載の車載用画像処理装置。
　前記運転席に設置されたシートベルトの引き出し量を検出する、引き出し量検出部を備え、
　前記誤検出判定部は、
　前記光学設定制御部が行った制御の結果、および、前記引き出し量検出部が検出した引き出し量に基づき、前記誤検出判定を行う
　ことを特徴とする請求項１記載の車載用画像処理装置。
　画像取得部が、撮像装置から、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像を取得するステップと、
　顔検出部が、前記画像取得部が取得した画像に基づき、当該画像上の前記運転者の顔および当該運転者の顔領域を検出するステップと、
　輝度算出部が、前記顔検出部が検出した前記運転者の顔領域内の画素の平均輝度を算出するステップと、
　輝度判定部が、前記輝度算出部が算出した前記平均輝度が輝度判定用閾値以上であるか否かを判定するステップと、
　光学設定制御部が、前記輝度判定部が、前記平均輝度が前記輝度判定用閾値未満であると判定した場合に、前記平均輝度に応じて、前記撮像装置の光学設定の制御を行うステップと、
　誤検出判定部が、前記光学設定制御部が行った制御の結果に基づき、前記顔検出部が前記運転者の顔を誤検出したか否かを判定するステップと、
　再制御指示部が、前記誤検出判定部が、前記顔検出部が前記運転者の顔を誤検出したと判定した場合、前記光学設定制御部に対して、前記撮像装置の光学設定を適正値に戻す制御を行わせる再制御指示を出力するステップとを有する
　ことを特徴とする車載用画像処理方法。