JP7481392B2

JP7481392B2 - 検出システム

Info

Publication number: JP7481392B2
Application number: JP2022069254A
Authority: JP
Inventors: 賢太郎大友
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2022-04-20
Filing date: 2022-04-20
Publication date: 2024-05-10
Anticipated expiration: 2042-04-20
Also published as: WO2023203956A1; JP2023159530A

Description

本発明は、検出システムに関する。

近年、ドライバーの脇見運転や居眠り運転を防止する目的で、例えば、近赤外カメラと近赤外光源を用いてドライバーの顔を撮影し、顔の向きや眼の開閉度、視線方向などを検出する顔画像撮像装置が開示されている（例えば、特許文献１参照）。

特開２００９－１１６７９７号公報

ところで、車室内に外光（太陽光）が入射する日中におけるサンシェードの使用や西日、夜間の外部照明等によってドライバーの顔の一部に影が生じ、近赤外光をドライバーの顔全体に向けて照射したとしても、顔からの反射光が一律でない場合がある。このような状況で得られた顔画像から顔の特徴点（例えば、顔の輪郭、眼や鼻、口の形及び位置、眼鏡の有無）の検出は可能だが、例えば、眼の虹彩のような局所的なものについては、顔領域内の輝度値の差分が小さいものと比較して、輝度値の差分が大きくなる。そのため、眼の虹彩等の検出精度が低下するおそれがあり、この点で更なる改善の余地がある。

本発明は、顔の特徴点の検出精度低下を抑制することができる検出システムを提供することを目的とする。

上記目的を達成するために、本発明に係る検出システムは、複数の発光素子を有し複数の前記発光素子のそれぞれが車両の乗員の顔の異なる部分に向けて近赤外光を照射する光源部と、前記乗員の顔に照射された近赤外光の反射光により顔画像を撮像する撮像部と、前記撮像部により撮像された顔画像から前記乗員の顔の特徴点及び顔画像領域を検出する制御部と、を備え、前記制御部は、前記顔画像領域を複数の前記発光素子のそれぞれに応じて分割した複数の分割画像領域に基づいて各前記分割画像領域に対応する前記発光素子を個別に調光し、前記制御部は、各前記分割画像領域に含まれる前記特徴点に基づいて、各前記分割画像領域から測定画像領域を抽出する抽出部と、各前記測定画像領域に含まれる複数の画素の全画素値に基づいて画素値の平均値を算出する算出部と、基準となる環境下で撮像された顔画像に基づいて得られ、各前記測定画像領域に含まれる複数の画素の全画素値に基づく画素値の平均値を、各前記分割画像領域に対応する基準値として予め保存する第１記憶部と、測定環境下で撮像された顔画像に基づいて得られ、各前記測定画像領域に含まれる複数の画素の全画素値に基づく画素値の平均値を、各前記分割画像領域に対応する測定値として保存する第２記憶部と、前記測定値に対する前記基準値の差分を閾値と比較して、前記差分が閾値以上である場合、前記分割画像領域に対応する前記発光素子の光量を減らし、前記差分が閾値未満である場合、前記分割画像領域に対応する前記発光素子の光量を増やす調光部と、を有し、前記測定画像領域は、前記顔画像領域をＹ方向に分割する境界線Ｘ、前記Ｙ方向と直交するＸ方向に分割する境界線Ｙと、各前記分割画像領域に含まれる特徴点の前記Ｘ方向及び前記Ｙ方向における各端点とに基づいて形成される、ことを特徴とする。

本発明に係る検出システムは、顔画像領域を複数の発光素子のそれぞれに応じて分割した複数の分割画像領域に基づいて各分割画像領域に対応する発光素子を個別に調光するので、顔の特徴点の検出精度低下を抑制することができる、という効果を奏する。

図１は、実施形態に係る検出システムの車両への適用例を示す模式図である。図２は、実施形態に係る検出システムの構成例を示す概略図である。図３は、実施形態に係る検出システムの構成例を示すブロック図である。図４は、実施形態に係る発光素子の照射範囲と分割画像領域との対応関係を示す図である。図５は、実施形態に係る検出システムの調光制御の一例を示すフローチャートである。図６は、測定環境下で撮像された顔画像における顔画像領域及び特徴点の一例を示す図である。図７は、図６の顔画像領域から分割された分割画像領域の一例を示す図である。図８は、図７の分割画像領域から抽出された測定画像領域の一例を示す図である。図９は、基準環境下で撮像された顔画像における顔画像領域及び特徴点の一例を示す図である。図１０は、図９の顔画像領域から分割された分割画像領域の一例を示す図である。図１１は、図１０の分割画像領域から抽出された測定画像領域の一例を示す図である。

以下に、本発明に係る検出システムの実施形態を図面を参照しつつ詳細に説明する。なお、下記実施形態により本発明が限定されるものではない。すなわち、下記実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれ、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

［実施形態］
本実施形態に係る検出システムを図１～図１１を参照して説明する。検出システム１は、図１に示すように、例えば、自動車等の車両１００に搭載され、当該車両１００の運転席１０２に着座した運転者Ｄの眼の状態を監視するものである。運転者Ｄは、車両１００の乗員である。眼の状態とは、運転者Ｄの視線方向や眼の開閉（まばたき）状態等が含まれる。

なお、以下の説明で用いる上下方向は、図２に示すように、検出システム１を構成する撮像ユニット２の上下方向である。前後方向は、撮像ユニット２の前後方向である。左右方向は、撮像ユニット２の左右方向である。

検出システム１は、例えば、図１に示すように、撮像ユニット２と、制御部３とを備える。

撮像ユニット２は、運転者Ｄの顔Ｆに近赤外光を照射して運転者Ｄの眼Ｅを含む顔画像４０，５０（図６～図１１参照）を撮像するものである。撮像ユニット２は、運転者Ｄの顔画像４０，５０を撮像することが可能な位置に設置され、例えば、ステアリングコラム等に設置される。顔画像４０，５０は、同一の被写体（運転者Ｄ）に対して異なる環境下で撮像されたものである。

顔画像４０は、測定環境下において、撮像ユニット２により運転者Ｄの顔Ｆが撮像された運転者Ｄの顔画像である。測定環境は、例えば、運転者Ｄが日中や夜間等に車両１００を運転している環境である。測定環境化では、例えば、車室１０１内に入射する外光（環境光）やサンシェード等によって運転者Ｄの顔Ｆの一部に影が生じる可能性がある。

顔画像５０は、基準となる環境下で撮像されたものであり、例えば、運転認証使用時に登録される画像や初回使用時にキャリブレーションとして撮影された運転者Ｄの顔画像である。また、顔画像５０は、顔画像５０内の顔の輝度値が一様な画像である。基準となる環境（基準環境）とは、測定環境に対して、顔画像５０内の顔Ｆの輝度値がある程度一様な環境である。

具体的には、撮像ユニット２は、基板部１０と、光源部１１と、撮像部１２とを備える。

基板部１０は、種々の電子部品が実装され、当該電子部品を電気的に接続する電子回路を構成するものであり、いわゆるプリント回路基板（ＰｒｉｎｔｅｄＣｉｒｃｕｉｔＢｏａｒｄ）である。基板部１０は、例えば、エポキシ樹脂、ガラスエポキシ樹脂、紙エポキシ樹脂やセラミック等の絶縁性の材料からなる絶縁層に銅箔等の導電性部材によって配線パターン（プリントパターン）が形成（印刷）されている。基板部１０は、例えば、配線パターンが形成された絶縁層を複数枚積層させ多層化されたもの（つまり、多層基板）である。基板部１０は、矩形状に形成され、光源部１１及び撮像部１２が搭載され、これらが当該基板部１０に電気的に接続されている。

光源部１１は、近赤外光を照射するものである。光源部１１は、制御部３の制御により、例えば、近赤外線を照射する。光源部１１は、図３に示すように、複数の発光素子として、第１ＬＥＤ１１Ａ、第２ＬＥＤ１１Ｂ、第３ＬＥＤ１１Ｃ、及び第４ＬＥＤ１１Ｄを有する。４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、基板部１０に搭載され、それぞれが間隔を空けて当該基板部１０に設けられている。

４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、図２に示すように、基板部１０の左右方向（幅方向）に沿って２行に配置され且つ上下方向（高さ方向）に沿って２列に配置され、それぞれが左右方向及び上下方向において間隔を空けて配置されている。４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、それぞれが車両１００の運転者Ｄの顔Ｆの異なる部分に向けて近赤外光を照射する。４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、例えば、図４に示すように、撮像部１２の撮影範囲の略中央に運転者Ｄの顔Ｆが存在する場合、それぞれが運転者Ｄの顔Ｆに応じて設定された４つの第１照射範囲３１Ａ，第２照射範囲３１Ｂ、第３照射範囲３１Ｃ、及び第３照射範囲３１Ｃに近赤外光を照射するように構成される。４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、それぞれが対応する第１照射範囲３１Ａ～第４照射範囲３１Ｄに近赤外光を照射する照射角θを有する。また、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、放射強度３２がある程度強くなるように設計されている。第１照射範囲３１Ａ～第４照射範囲３１Ｄは、図示のように、互いに重複する部分があってもよい。

撮像部１２は、運転者Ｄの顔Ｆに照射された近赤外光の反射光により顔画像４０を撮像するものである。顔画像４０は、図６～図１１に示すように、運転者Ｄの顔Ｆを含む画像である。顔画像４０は、静止画像であってもよいし、動画から得られる１つのフレーム画像であってもよい。撮像部１２は、例えば、近赤外線カメラであり、基板部１０のほぼ中央に搭載されている。撮像部１２は、図４に示すように、基板部１０において、第１ＬＥＤ１１Ａ及び第４ＬＥＤ１１Ｄを通る対角線と、第２ＬＥＤ１１Ｂ及び第３ＬＥＤ１１Ｃを通る対角線とが交差する位置に配置される。撮像部１２は、カメラレンズが運転者Ｄの顔Ｆに向けて配置され、当該運転者Ｄの顔画像４０を撮像する。撮像部１２は、例えば、光源部１１により運転者Ｄの顔Ｆに照射された近赤外光による反射光を受光して運転者Ｄの顔画像４０を撮像する。撮像部１２は、車両のＡＣＣ（アクセサリー）電源又はＩＧ（イグニッション）電源がオンされた場合に起動し、これらの電源がオフされるまで運転者Ｄの顔画像４０を撮像する。撮像部１２は、基板部１０等を介して制御部３に接続され、撮像した運転者Ｄの顔画像４０を制御部３に出力する。

制御部３は、撮像ユニット２を制御するものである。制御部３は、制御基板２１と、ＣＰＵ２２とを備える。

制御基板２１は、種々の電子部品が実装され、当該電子部品を電気的に接続する電子回路を構成するものであり、いわゆるプリント回路基板である。制御基板２１は、例えば、エポキシ樹脂、ガラスエポキシ樹脂、紙エポキシ樹脂やセラミック等の絶縁性の材料からなる絶縁層に銅箔等の導電性部材によって配線パターンが形成されている。制御基板２１は、例えば、配線パターンが形成された絶縁層を複数枚積層させ多層化されたもの（つまり、多層基板）である。制御基板２１は、ＣＰＵ２２が搭載され、当該ＣＰＵ２２が制御基板２１に電気的に接続されている。また、制御基板２１は、通信線Ｔを介して撮像ユニット２に接続されている。

ＣＰＵ２２は、撮像ユニット２を制御するものである。ＣＰＵ２２は、例えば、図３に示す抽出部２３、算出部２４、記憶部２５、及び調光部２６を備え、これらの機能が１つのＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）に搭載されている。なお、抽出部２３及び算出部２４は、顔認識ミドルウェアを構成する。

抽出部２３は、図６（または図９）に示すように、顔画像４０（または顔画像５０）から運転者Ｄの顔Ｆの特徴点６０に基づいて顔画像領域４１（または顔画像領域５１）を抽出する。顔画像領域４１，５１は、運転者Ｄの顔Ｆを囲う矩形状の枠であり、いわゆる「バウンディングボックス」とも呼ばれる。顔Ｆの特徴点６０は、いわゆる「キーポイント」であり、眉、眼、鼻、口、輪郭等が含まれる。本実施形態の顔Ｆの特徴点６０は、図６に示すように、右眉６１、左眉６２、右眼６３、左眼６４、鼻６５、口６６、輪郭６７が含まれる。抽出部２３は、一般的な顔認識アルゴリズムを利用して、顔の特徴点６０をそれぞれ抽出する。顔画像領域４１は、顔画像４０から抽出される顔Ｆを含む矩形状の領域である。抽出部２３は、右眉６１、左眉６２、右眼６３、左眼６４、鼻６５、口６６、輪郭６７を含む複数の特徴点に基づいて顔画像領域４１を抽出する。

抽出部２３は、抽出した顔画像領域４１（または顔画像領域５１）を４等分する。具体的には、抽出部２３は、図７（または図１０）に示すように、顔画像領域４１を、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのそれぞれに応じて４つの第１分割画像領域４２Ａ（第１分割画像領域５２Ａ）、第２分割画像領域４２Ｂ（第２分割画像領域５２Ｂ）、第３分割画像領域４２Ｃ（第３分割画像領域５２Ｃ）、及び第４分割画像領域４２Ｄ（第４分割画像領域５２Ｄ）に分割する。第１分割画像領域４２Ａ（第１分割画像領域５２Ａ）は、第１ＬＥＤ１１Ａ、及び、第１照射範囲３１Ａに対応する。第２分割画像領域４２Ｂ（第２分割画像領域５２Ｂ）は、第２ＬＥＤ１１Ｂ、及び、第２照射範囲３１Ｂに対応する。第３分割画像領域４２Ｃ（第３分割画像領域５２Ｃ）は、第３ＬＥＤ１１Ｃ、及び、第３照射範囲３１Ｃに対応する。第４分割画像領域４２Ｄ（第４分割画像領域５２Ｄ）は、第４ＬＥＤ１１Ｄ、及び、第４照射範囲３１Ｄに対応する。第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ及び第１分割画像領域５２Ａ～第４分割画像領域５２Ｄは、いずれも矩形状に形成されている。

第１分割画像領域４２Ａと第２分割画像領域４２Ｂ、第３分割画像領域４２Ｃと第４分割画像領域４２Ｄとは、境界線（等分線）Ｙを挟んで顔画像４０（または顔画像５０）のＸ方向において隣接する。また、第１分割画像領域４２Ａと第３分割画像領域４２Ｃ、第２分割画像領域４２Ｂと第４分割画像領域４２Ｄとは、境界線（等分線）Ｘを挟んで顔画像４０（または顔画像５０）のＹ方向において隣接する。境界線Ｘ，Ｙを含む第１分割画像領域４２Ａ～第４分割画像領域４２Ｄの境界は、撮像部１２の設置位置、各ＬＥＤの照射範囲３１等に応じて定まる。

抽出部２３は、図８（または図１０、図１１）に示すように、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）のそれぞれに含まれる特徴点６０に基づいて、各分割画像領域４２（または各分割画像領域５２）から測定画像領域４５（または測定画像領域５５）を抽出する。測定画像領域４５（または測定画像領域５５）は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）に含まれる特徴点６０のＸ方向及びＹ方向における各端点４５ｘ，４５ｙ（または各端点５５ｘ，５５ｙ）と境界線Ｘ，Ｙとに基づいて形成される矩形状の領域である。例えば、端点４５ｘ（または端点５５ｘ）は、第１分割画像領域４２Ａ（または第１分割画像領域５２Ａ）に含まれる複数の特徴点６０のうち、Ｙ方向に沿って境界線Ｘから最も離間した位置にある特徴点である。また、端点４５ｙ（または５５ｙ）は、第１分割画像領域４２Ａ（または第１分割画像領域５２Ａ）に含まれる複数の特徴点６０のうち、Ｘ方向に沿って境界線Ｙから最も離間した位置にある特徴点である。端点４５ｘ，４５ｙ（または５５ｘ，５５ｙ）は、第１分割画像領域４２Ａ（または第１分割画像領域５２Ａ）において、上記方法により特定されるが、第２分割画像領域４２Ｂ～第４分割画像領域４２Ｄ（または第２分割画像領域５２Ｂ～第４分割画像領域５２Ｄ）のそれぞれにおいても上記方法により各端点が特定される。このように、測定画像領域４５（または５５）は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）において抽出される。各測定画像領域４５（または５５）は、端点４５ｘ（または５５ｘ）を通る辺が境界線Ｙと平行に位置し、端点４５ｙ（または５５ｙ）を通る辺が境界線Ｘと平行に位置する。

算出部２４は、抽出部２３にて抽出された少なくとも２つの測定画像領域４５（５５）のそれぞれに含まれる複数の画素の全画素値に基づいて画素値の平均値を算出するものである。具体的には、算出部２４は、各測定画像領域４５（５５）内の全画素に基づく画素値の平均値を、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）に対応する測定値（または基準値）として記憶部２５に保存する。

記憶部２５は、算出部２４により算出された測定値及び基準値を保存するものである。記憶部２５は、顔画像５０に基づいて得られ、測定画像領域５５に含まれる複数の画素の全画素値に基づく画素値の平均値を、第１分割画像領域５２Ａ～第４分割画像領域５２Ｄのそれぞれに対応する基準値として予め保存する。また、記憶部２５は、顔画像４０に基づいて得られ、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに含まれる複数の画素の全画素値に基づく画素値の平均値を、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに対応する測定値として保存する。

調光部２６は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄを発光させ、調光するものである。調光部２６は、第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのすべてを、予め設定された初期光量で発光させる。調光部２６は、第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのそれぞれを調光する。調光部２６は、例えば、第１ＬＥＤ１１Ａの光量を増やしたり、減らすことができる。調光部２６は、記憶部２５に保存された各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄに対応する基準値、及び、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに対応する測定値に基づいて、各第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄの光量を増やしたり、減らしたりして調光を行う。調光部２６は、記憶部２５から読みだした測定値に対する基準値の差分を閾値と比較する。調光部２６は、測定値に対する基準値の差分が第１閾値以上であると判定した場合、該当する分割画像領域４２が明るすぎると判定し、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに対応する第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄの光量を減らす。また、調光部２６は、測定値に対する基準値の差分が第２閾値以下である場合、該当する分割画像領域４２が暗すぎると判定し、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに対応する第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄの光量を増やす。例えば、調光部２６は、差分と閾値との比較結果に応じて、４つの第１分割画像領域４２Ａ～第４分割画像領域のうち、第１分割画像領域４２Ａに対応する第１ＬＥＤ１１Ａのみを減光したり、増光したりすることができる。

上述した第１閾値と第２閾値との関係は、第１閾値＞第２閾値となる。測定値に対する基準値の差分がゼロ（０）の場合は、調光が不要となる。つまり、差分が第１閾値と第２閾値との間にある場合、調光部２６による減光及び増光は不要となる。

次に、検出システム１における光源部１１の調光制御について図５のフローチャートを参照して説明する。

ステップＳ１では、調光部２６は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのすべてを、予め設定された初期光量で発光させて、各第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄから運転者Ｄの顔Ｆに近赤外光を照射する。

次に、ステップＳ２では、撮像部１２は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのすべてから運転者Ｄの顔Ｆに照射された近赤外光の反射光を受光して撮像し、撮像した運転者Ｄの顔画像４０を制御部３に出力する。制御部３は、撮像部１２から運転者Ｄの顔画像４０を取得し、当該顔画像４０を顔認識ミドルウェアに入力する。

次に、ステップＳ３では、抽出部２３は、ステップＳ２で取得された顔画像４０から運転者Ｄの顔Ｆの特徴点６０に基づいて顔画像領域４１を抽出する。

次に、ステップＳ４では、抽出部２３は、顔画像領域４１を、４つの第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに分割する。

次に、ステップＳ５では、抽出部２３は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ内の特徴点６０に基づいて測定画像領域４５をそれぞれ抽出する。

次に、ステップＳ６では、算出部２４は、各測定画像領域４５に含まれる複数の画素の全画素値に基づいて画素値の平均値を算出し、記憶部２５に保存する。

次に、ステップＳ７では、調光部２６は、記憶部２５から読みだした測定値に対する基準値の差分を閾値と比較する。

次に、ステップＳ８では、調光部２６は、差分が第１閾値以上か否かを判定する。調光部２６は、差分が第１閾値以上であると判定した場合、ステップＳ９へ進む。一方、差分が第１閾値以上でないと判定した場合、ステップＳ１０へ進む。

ステップＳ９では、調光部２６は、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄのうち、差分が第１閾値以上の分割画像領域に対応するＬＥＤ（第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのうちの少なくとも１つ）の光量を減らし、本処理を終了する。

ステップＳ１０では、調光部２６は、差分が第２閾値以下か否かを判定する。調光部２６は、差分が第２閾値以下であると判定した場合、ステップＳ１１へ進む。一方、差分が第２閾値以下でないと判定した場合、本処理を終了する。

ステップＳ１１では、調光部２６は、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄのうち、差分が第２閾値以下の分割画像領域に対応するＬＥＤ（第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのうちの少なくとも１つ）の光量を増やし、本処理を終了する。

制御部３は、光源部１１における４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄの調光が終了するまで、上述のステップＳ５からステップＳ１１の処理を繰り返す。制御部３は、調光が不要になると、不要となったタイミングで得られた顔画像４０に基づいて眼の虹彩等の検出を行う。これにより、顔画像領域４１内の輝度値の差分が小さくなるので、顔Ｆの特徴点６０の検出精度の低下を抑制することができる。

以上説明したように、本実施形態に係る検出システム１は、光源部１１及び撮像部１２を有する撮像ユニット２と、制御部３とを備える。光源部１１は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのそれぞれが車両１００の運転者Ｄの顔Ｆの異なる部分に向けて近赤外光を照射する。撮像部１２は、光源部１１から運転者Ｄの顔Ｆに照射された近赤外光の反射光により顔画像４０，５０を撮像する。制御部３は、撮像された顔画像４０，５０に基づいて運転者Ｄの顔Ｆの特徴点６０及び顔画像領域４１を抽出する。制御部３は、顔画像領域４１を４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのそれぞれに応じて分割した４つの第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに基づいて各分割画像領域４２に対応するＬＥＤを個別に調光する。

上記構成により、検出システム１は、例えばサンシェードにより運転者Ｄの顔Ｆの一部に影が生じて暗くなった分割画像領域４２に対応するＬＥＤを明るくしたり、影が生じていない分割画像領域４２に対応する他のＬＥＤを暗くすることができる。この結果、検出システム１は、顔画像４０を顔画像５０に近づけること可能となり、顔画像４０から得られる顔画像領域４１全体の明るさ（輝度）の変化を少なくして、顔Ｆの特徴点６０の検出精度の低下を抑制することができる。検出システム１は、例えば、顔画像領域４１における眼Ｅの虹彩付近が暗い場合には、対応するＬＥＤの光量をあげることで検出精度の低下を抑制することができる。また、検出システム１は、従来の装置構成を変更することなく、光源部１１の調光を行うことが可能となる。また、検出システム１は、近赤外光を照射する光源部１１と、近赤外カメラである撮像部１２とを備えるので、夜間の撮像や運転者Ｄがサングラスをかけている場合でも多くの光量を必要とせず、顔画像４０を取得することができる。また、検出システム１は、例えば、日中において光源部１１を減光することで消費電力を下げて、光源部１１の発熱を抑えることでき、製品寿命を延ばすことができる。

従来のドライバー監視システムの中には、対象物に照射された近赤外光の反射光を受光する近赤外光センサを利用して、光量を調節するものがある（例えば、特開昭５９－８６９７３号公報）。上記従来技術では、検出精度の低下を抑制するために近赤外光センサを用いることから、部品コストが増加したり、センサの制御回路を追加する必要がある。検出システム１は、近赤外光センサを用いることなく、検出精度の低下を抑制することができるので、製品のコストアップを抑制することができる。

また、本実施形態に係る検出システム１は、調光部２６が、測定環境下で顔画像４０が撮像される度に、測定値に対する基準値の差分を閾値と比較して、差分が閾値以上である場合、分割画像領域４２に対応するＬＥＤの光量を減らし、差分が閾値未満である場合、分割画像領域４２に対応する発光素子の光量を増やす。これにより、例えば、顔画像領域４１内の眼Ｅの虹彩付近が暗い場合には、対応するＬＥＤの光量をあげたり、明るい場合には、対応するＬＥＤの光量を下げるので、眼の虹彩等の検出精度低下を抑制することができる。

また、本実施形態に係る検出システム１は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄが、各第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄにより照射される近赤外光の第１照射範囲３１Ａ～第４照射範囲３１Ｄに応じて等分に分割した矩形状の領域である。これにより、顔画像領域４１（または５１）が矩形状である場合、各ＬＥＤと各分割画像領域との位置関係に合わせて顔画像領域４１（または５１）を分割することができ、複数の分割画像領域４２（または５２）と複数のＬＥＤの照射範囲３１との対応が明確になる。

なお、上記実施形態では、算出部２４は、抽出部２３により抽出された測定画像領域４５（または５５）に基づいて画素値の平均値、及び、画素値の測定値を算出しているが、これに限定されるものではない。例えば、算出部２４は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）に基づいて画素値の平均値、及び、画素値の測定値を算出する構成であってもよい。これにより、上述した効果を得ることができる。

また、上記実施形態では、抽出部２３は、顔Ｆの特徴点６０に基づいて顔画像領域４１を抽出しているが、これに限定されず、顔画像領域４１に基づいて顔Ｆの特徴点６０を抽出してもよい。

また、上記実施形態では、測定画像領域４５（または５５）は、矩形状の領域であるが、これに限定されるものではない。例えば、図１０に示すように、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）内の複数の特徴点６０を結んだ線７０と境界線Ｘ，Ｙにより形成される領域であってもよく、画素値を算出する領域については限定しない。

また、上記実施形態では、光源部１１は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄを有するが、これに限定されるものではない。複数のＬＥＤの配置位置は、撮像部１２の設置位置、各ＬＥＤの照射範囲３１等に応じて定まる。

また、上記実施形態では、撮像ユニット２は、ステアリングコラムに設置されているが、これに限定されず、インストルメントパネル、ダッシュボード、ルームミラー等に設置されていてもよい。

また、上記実施形態では、ＣＰＵ２２は、抽出部２３、算出部２４、記憶部２５、及び調光部２６とを備え、これらの機能が１つのＩＣに搭載されている例について説明したが、これに限定されず、上記機能が複数のＩＣに分散して搭載されていてもよい。

また、上記実施形態では、制御部３は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。制御部３は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、制御部３が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、制御部３が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。

また、上記実施形態では、検出システム１は、自動車等の車両１００に適用されているが、これに限定されず、例えば車両以外の船舶や航空機等に適用してもよい。また、検出システム１は、撮像ユニット２と、制御部３とに分かれているが、これらが一体に構成されていてもよい。

１検出システム
２撮像ユニット
３制御部
１１光源部
１１Ａ第１ＬＥＤ（発光素子）
１１Ｂ第２ＬＥＤ（発光素子）
１１Ｃ第３ＬＥＤ（発光素子）
１１Ｄ第４ＬＥＤ（発光素子）
１２撮像部
２３抽出部
２４算出部
２５記憶部（第１記憶部、第２記憶部）
２６調光部
４０，５０顔画像
４１，５１顔画像領域
４２，５２分割画像領域
４２Ａ，５２Ａ第１分割画像領域
４２Ｂ，５２Ｂ第２分割画像領域
４２Ｃ，５２Ｃ第３分割画像領域
４２Ｄ，５２Ｄ第４分割画像領域
４５，５５測定画像領域
６０特徴点
１００車両
Ｄ運転者
Ｆ顔
Ｅ眼

Claims

複数の発光素子を有し複数の前記発光素子のそれぞれが車両の乗員の顔の異なる部分に向けて近赤外光を照射する光源部と、
前記乗員の顔に照射された近赤外光の反射光により顔画像を撮像する撮像部と、
前記撮像部により撮像された顔画像から前記乗員の顔の特徴点及び顔画像領域を検出する制御部と、を備え、
前記制御部は、
前記顔画像領域を複数の前記発光素子のそれぞれに応じて分割した複数の分割画像領域に基づいて各前記分割画像領域に対応する前記発光素子を個別に調光し、
前記制御部は、
各前記分割画像領域に含まれる前記特徴点に基づいて、各前記分割画像領域から測定画像領域を抽出する抽出部と、
各前記測定画像領域に含まれる複数の画素の全画素値に基づいて画素値の平均値を算出する算出部と、
基準となる環境下で撮像された顔画像に基づいて得られ、各前記測定画像領域に含まれる複数の画素の全画素値に基づく画素値の平均値を、各前記分割画像領域に対応する基準値として予め保存する第１記憶部と、
測定環境下で撮像された顔画像に基づいて得られ、各前記測定画像領域に含まれる複数の画素の全画素値に基づく画素値の平均値を、各前記分割画像領域に対応する測定値として保存する第２記憶部と、
前記測定値に対する前記基準値の差分を閾値と比較して、前記差分が閾値以上である場合、前記分割画像領域に対応する前記発光素子の光量を減らし、前記差分が閾値未満である場合、前記分割画像領域に対応する前記発光素子の光量を増やす調光部と、を有し、
前記測定画像領域は、
前記顔画像領域をＹ方向に分割する境界線Ｘ、前記Ｙ方向と直交するＸ方向に分割する境界線Ｙと、各前記分割画像領域に含まれる特徴点の前記Ｘ方向及び前記Ｙ方向における各端点とに基づいて形成される、
ことを特徴とする検出システム。
各前記分割画像領域は、
各前記発光素子により照射される光の照射範囲に応じて等分に分割した矩形状の領域である、
請求項１に記載の検出システム。
前記光源部は、複数の前記発光素子として、４つのＬＥＤを有し、
各前記分割画像領域は、
前記顔画像領域を４つの前記ＬＥＤのそれぞれに応じて分割した４つの第１～第４分割画像領域に基づくものである
請求項１または２に記載の検出システム。
前記光源部及び前記撮像部が搭載された基板部をさらに有し、
４つの前記ＬＥＤは、それぞれが間隔を空けて前記基板部に設けられ、
前記制御部は、
４つの前記第１～前記第４分割画像領域に対応する４つの前記ＬＥＤを個別に調光する
請求項３に記載の検出システム。