JP5466587B2 - 車両用顔画像撮像装置 - Google Patents

Description

本発明は、車両用顔画像撮像装置に関する。

従来、例えばカメラにより運転者の瞬きを撮影して覚醒度を判定する際に、カメラによる運転者の顔の撮影状態や瞬きの撮影状態に応じて異なる警報を発する覚醒度検出装置が知られている（例えば、特許文献１参照）。
また、従来、例えば運転者の顔画像を撮像して特徴部を検出する際に、所定の特徴部が検出できない場合に、この特徴部や推定原因、対応方法などを運転者に報知する顔画像処理装置が知られている（例えば、特許文献２参照）。

特開２００８−３３５２５号公報 特開２００９−２９６３５５号公報

ところで、上記従来技術に係る覚醒度検出装置によれば、カメラの撮影状態によって周期的な音による警報を発するだけであり、視線検出システムの使用に不慣れな運転者にとっては、この警報音が何を意味するのか把握することができないという問題が生じる。例えば第三の警報が発せられたときに、技術的知見の無い運転者が自らカーテンやサンバイザーを用いて外光の影響を低減して、状況が改善される可能性は低く、実質的に利便性の向上が見込めない虞がある。
また、上記従来技術に係る顔画像処理装置によれば、特徴部の検出可否、あるいは不検出の継続時間のみを判定して報知を行なうだけであり、誤報知が行なわれる虞がある。

本発明は上記事情に鑑みてなされたもので、検出精度の低下に対する誤報知を抑制することが可能な車両用顔画像撮像装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る車両用顔画像撮像装置は、車両の運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１１）と、該撮像手段から出力された前記顔画像から所定部位を検出して検出結果を出力する部位検出手段（例えば、実施の形態での部位検出部２３）と、該部位検出手段による前記所定部位の検出が不可能である場合に前記運転者に報知を行なう報知手段（例えば、実施の形態での報知制御部３０および報知装置１４）とを備える車両用顔画像撮像装置であって、前記撮像手段から出力された前記顔画像の輝度分布を算出して算出結果を出力する輝度分布算出手段（例えば、実施の形態での輝度分布算出部２５）と、太陽光の前記車両への入射方向を取得する入射方向取得手段（例えば、実施の形態での入射方向取得部２７）と、所定の前記輝度分布と所定の前記入射方向との対応関係を予め記憶する記憶手段（例えば、実施の形態での記憶部２９）とを備え、前記報知手段は、前記輝度分布算出手段から出力された前記算出結果の前記輝度分布と前記取得手段により取得された前記入射方向との対応関係が、前記記憶手段に記憶されている前記対応関係と一致した場合に、前記報知を行なう。

さらに、本発明の第２態様に係る車両用顔画像撮像装置では、前記報知手段は、前記報知として、車室内に設けられた日除け部材を特定操作すべき旨の報知を行ない、前記特定操作は、前記取得手段により取得された前記入射方向に応じて設定される。

本発明の第１態様に係る車両用顔画像撮像装置によれば、顔画像の輝度分布と太陽光の入射方向との対応関係が、予め記憶手段に記憶されている所定の対応関係と一致した場合に報知を行なうことから、所定部位の検出が不可能である場合の報知に対して、誤報知を抑制して、動作の信頼性を向上させることができる。これに伴い、例えば太陽光に起因して所定部位の検出が不可能となった状態を適切に報知することができる。

さらに、本発明の第２態様に係る車両用顔画像撮像装置によれば、日除け部材を太陽光の入射方向に応じた特定操作することを通知する報知に対して、誤報知が抑制されることで、例えば太陽光に起因して所定部位の検出が不可能となった状態を適切に解消することができる。

本発明の実施の形態に係る車両用顔画像撮像装置の構成図である。 本発明の実施の形態に係る輝度分布算出部から出力される運転者の顔の表面上における輝度分布の例を示す図である。 本発明の実施の形態に係る報知装置の表示画面での視線検知率の表示例を示す図である。 本発明の実施の形態に係る報知装置の灯体での視線検知率に応じた点灯および消灯の例を示す図である。 本発明の実施の形態に係る報知装置の灯体での運転者の顔面上における輝度分布に応じた点灯および消灯の例を示す図である。 本発明の実施の形態に係る報知装置の表示画面でのサンバイザの特定操作を指示する表示の例を示す図である。 本発明の実施の形態に係る報知装置の表示画面での輝度分布算出部から出力される運転者の顔面上における輝度分布に応じた顔面の陰影画像の表示の例を示す図である。 本発明の実施の形態に係る車両用顔画像撮像装置の動作を示すフローチャートである。 本発明の実施の形態の変形例に係る車両用顔画像撮像装置の動作を示すフローチャートである。

以下、本発明の車両用顔画像撮像装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による車両用顔画像撮像装置１０は、例えば図１に示すように、乗員カメラ１１と、車両状態センサ１２と、処理装置１３と、報知装置１４とを備えて構成されている。

乗員カメラ１１は、例えば車室内のインスツルメントパネル（図示略）などに配置され、少なくとも車両の運転席に着座した運転者の顔を撮像対象として撮像領域内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。
なお、乗員カメラ１１による撮像時に撮像対象（例えば、運転席に着座した運転者の顔など）に可視光線または赤外線などの光を照射可能な撮像用光源が、例えば車室内のインスツルメントパネルにおいて乗員カメラ１１から左右にずれた位置などに配置されてもよい。

車両状態センサ１２は、例えば、車両の速度（車速）を検出する車速センサと、車体の姿勢や進行方向を検出するジャイロセンサと、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検出するヨーレートセンサと、ドアウィンドウやサンルーフの開閉状態を検知するセンサとなどであって、各種の車両状態（つまり、車速、姿勢、ヨーレート、開閉状態など）の検出結果の信号を処理装置１３に出力する。

処理装置１３は、例えば、撮像制御部２１と、顔画像取得部２２と、部位検出部２３と、開眼状態判定部２４と、輝度分布算出部２５と、現在位置検出部２６と、入射方向取得部２７と、判定部２８と、記憶部２９と、報知制御部３０とを備えて構成されている。

撮像制御部２１は、乗員カメラ１１による撮像を制御する。
顔画像取得部２２は、乗員カメラ１１から出力される顔画像を取得する。
部位検出部２３は、顔画像取得部２２により取得された顔画像から所定部位を検出するための処理、さらには、所定部位の検出結果に基づき視線方向を検知するための処理を実行する。そして、部位検出部２３は、これらの処理の実行結果の信号、例えば、所定部位の検出結果の信号や、視線方向の検知結果の信号や、所定部位や視線方向を所望の精度で検知することができなかったことを示す信号や、所定部位や視線方向の検知が不可能であったことを示す信号などを出力する。

なお、所定部位は、例えば運転席に着座した運転者の視線方向を検知するために必要とされる部位であって、眼の虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置などを用いた所定の視線検知処理により運転者の視線方向を検知する場合における運転者の左右の眼などである。

そして、部位検出部２３は、所定部位の検出結果や、視線方向の検知結果や、所定部位や視線方向を検知することができなかったことなどに基づき、所定の単位時間あたりでの視線検知率、つまり視線方向を検知する処理を実行した回数に対して、実際に視線方向を検知することが出来た回数の割合を算出して、算出結果の信号を出力する。

開眼状態判定部２４は、顔画像取得部２２により取得された顔画像に対して、例えば運転者の眼を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、運転者の左右の眼の開眼状態、例えばどの程度閉じられた状態であるかなどを判定し、判定結果の信号を出力する。

輝度分布算出部２５は、顔画像取得部２２により取得された顔画像に対して二値化処理などの処理を行ない、運転者の顔面上における輝度分布を算出し、算出結果の信号を出力する。

現在位置検出部２６は、人工衛星を利用して車両の位置を測定するためのＧＰＳ（Global Positioning System）信号などの測位信号をアンテナ１５により受信して、測位信号によって、さらには、車両状態センサ１２により検出された車速や姿勢やヨーレートなどに基づく自律航法の算出処理によって、車両の現在位置を算出して、算出結果の信号を出力する。

入射方向取得部２７は、部位検出部２３から出力される視線検知率の算出結果と、開眼状態判定部２４から出力される開眼状態の判定結果とに応じて、太陽光の車両への入射方向を取得する処理を実行する。例えば、入射方向取得部２７は、視線検知率が所定の検知率閾値（例えば、６０％など）以下である場合や、運転者の左右の眼が所定程度（例えば、半眼など）以上閉じられている状態が所定の閾時間（例えば、５秒など）以上継続している場合などにおいて、太陽光の車両への入射方向を取得する処理を実行する。

そして、入射方向取得部２７は、現在位置検出部２６から出力される車両の現在位置と、車両状態センサ１２のジャイロセンサから出力される車両の姿勢および向きと、処理装置１３が有する内部時計（図示略）から得られる日時の情報とに基づき、所定のマップに対するマップ検索などにより、太陽光の車両への入射方向を取得する。
なお、入射方向取得部２７は、予め、車両の位置と、車両の姿勢および向きと、日時と、太陽光の車両への入射方向との対応関係を示す所定のマップを記憶している。

判定部２８は、輝度分布算出部２５から出力される輝度分布の算出結果に基づき、記憶部２９に予め記憶されている所定マップに対するマップ検索を行ない、太陽光の車両への入射方向を取得する。
なお、記憶部２９に記憶されている所定マップは、運転者の顔面上の所定の輝度分布と所定の入射方向との対応関係を示すマップである。

具体的には、例えば図２（Ａ）に示すように、運転者の顔の下方領域の輝度が所定値よりも高く、上方領域の輝度が所定値よりも低く、輝度が異なる領域間の境界部Ｂがほぼ水平方向に伸びる所定の輝度分布に対しては、所定の入射方向として、太陽光が車両の前方から入射する入射方向が対応付けられている。

また、例えば図２（Ｂ）に示すように、運転者の顔の全体の輝度が所定値よりも高い所定の輝度分布に対しては、所定の入射方向として、太陽光が車両の前方から入射する入射方向が対応付けられている。

また、例えば図２（Ｃ）に示すように、運転者の顔の右方領域（例えば、右半分など）の輝度が所定値よりも高く、左方領域（例えば、左半分など）の輝度が所定値よりも低い所定の輝度分布に対しては、所定の入射方向として、太陽光が車両の右方から入射する入射方向が対応付けられている。

また、例えば図２（Ｄ）に示すように、運転者の顔の下方領域の輝度が所定値よりも高く、上方領域の輝度が所定値よりも低く、輝度が異なる領域間の境界部Ｂが左下がりに伸びる所定の輝度分布に対しては、所定の入射方向として、太陽光が車両の右方から入射する入射方向が対応付けられている。

そして、判定部２８は、入射方向取得部２７により取得された太陽光の入射方向と輝度分布算出部２５により算出された輝度分布との対応関係が、記憶部２９に記憶されている所定の輝度分布と所定の入射方向との対応関係と一致するか否かを判定し、この判定結果の信号を出力する。

報知制御部３０は、例えば、部位検出部２３から出力される信号と、判定部２８から出力される信号と、車両状態センサ１２から出力される信号となどに基づき、報知装置１４の動作を制御して、運転者に各種の報知を行なう。

例えば図３（Ａ）〜（Ｃ）に示すように、報知制御部３０は、車両に搭載されたナビゲーション装置（図示略）の表示画面やインスツルメントパネルに設けられた計器類の複合表示画面などからなる報知装置１４において、部位検出部２３により算出された視線検知率の数値（例えば、図３（Ａ）〜（Ｃ）に示す７０％など）に対応する文字や画像（例えば、アナログ表示画像またはデジタル表示画像など）などを表示する報知を行なう。

また、報知制御部３０は、判定部２８において、入射方向取得部２７により取得された太陽光の入射方向と、輝度分布算出部２５により算出された輝度分布との対応関係が、記憶部２９に記憶されている所定の対応関係と一致すると判定された場合には、車室内に設けられた日除け部材（例えば、サンバイザ４２など）を、太陽光の入射方向に応じて太陽光を遮光するようにして設定される特定操作すべき旨の報知を行なう。

これに伴い、例えば図４（Ａ），（Ｂ）に示すように、報知制御部３０は、例えばインスツルメントパネルなどに設けられた灯体４１を有する報知装置１４において、視線検知率の変化に応じた点灯および消灯による報知をリアルタイムに行なう。

例えば図４（Ａ）に示すように、太陽光が車両の前方から入射している状態において、視線検知率が所定閾値（例えば、６０％など）未満である場合には、灯体４１は消灯されている。このとき、車両の前方から入射している太陽光を遮光するようにしてサンバイザ４２を下ろすことを指示する報知が行なわれて、例えば図４（Ｂ）に示すように、運転者によってサンバイザ４２が操作されることで太陽光が遮光されて、視線検知率が所定閾値（例えば、６０％など）以上になると、リアルタイムで灯体４１は点灯される。

なお、この場合には、例えば図５（Ａ），（Ｂ）に示すように、報知制御部３０は、例えばインスツルメントパネルなどに設けられた灯体４１を有する報知装置１４において、運転者の顔面上における輝度分布の変化に応じた点灯および消灯による報知をリアルタイムに行なってもよい。

例えば図５（Ａ）に示すように、太陽光が車両の前方から入射している状態において、高輝度領域Ｈの割合（つまり、運転者の顔面上で輝度値が所定値以上となる領域の割合）が所定閾値（例えば、５０％など）以上である場合には、灯体４１は消灯されている。このとき、車両の前方から入射している太陽光を遮光するようにしてサンバイザ４２を下ろすことを指示する報知が行なわれて、例えば図５（Ｂ）に示すように、運転者によってサンバイザ４２が操作されることで太陽光が遮光されて、高輝度領域の割合が所定閾値（例えば、５０％など）未満になると、リアルタイムで灯体４１は点灯される。

なお、報知制御部３０は、車室内に設けられた日除け部材（例えば、サンバイザ４２など）を、太陽光の入射方向に応じて設定される特定操作すべき旨の報知を行なう際には、例えばスピーカ（図示略）などからなる報知装置１４において、所定の音声（例えば、「サンバイザを下ろしてください」や「サンバイザを横にしてください」などの音声）による報知を行なう。

また、この場合には、例えば図６（Ａ），（Ｂ）に示すように、報知制御部３０は、ナビゲーション装置（図示略）の表示画面４３やインスツルメントパネルに設けられた計器類の複合表示画面などからなる報知装置１４において、日除け部材（例えば、サンバイザ４２など）の特定操作（例えば、図６（Ａ）でのサンバイザ４２を下ろす操作、および、図６（Ｂ）でのサンバイザ４２を右方に移動させる操作など）を図示する所定画像（例えば、矢印画像など）４４を表示する報知を行なってもよい。

また、報知制御部３０は、例えば図７（Ａ）〜（Ｃ）に示すように、ナビゲーション装置（図示略）の表示画面４３やインスツルメントパネルに設けられた計器類の複合表示画面などからなる報知装置１４において、日除け部材（例えば、サンバイザ４２など）の特定操作などに応じて変化する視線検知率の数値に対応する文字や画像の表示および運転者の顔面上における輝度分布に応じた顔面の陰影画像４５の簡略表示による報知を、リアルタイムに行なってもよい。

この実施の形態による車両用顔画像撮像装置１０は上記構成を備えており、次に、この車両用顔画像撮像装置１０の動作について説明する。

先ず、例えば図８に示すステップＳ０１においては、乗員カメラ１１から出力された顔画像に基づき、視線方向を検知する処理を実行する。
次に、ステップＳ０２においては、視線検知率が所定の検知率閾値（例えば、６０％など）以下であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０３に進む。

そして、ステップＳ０３においては、運転者の左右の眼が所定程度（例えば、半眼など）以上閉じられている状態が所定の閾時間（例えば、５秒など）以上継続しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０４に進む。

次に、ステップＳ０４においては、現在位置検出部２６から出力される車両の現在位置と、車両状態センサ１２のジャイロセンサから出力される車両の姿勢および向きと、処理装置１３が有する内部時計（図示略）から得られる日時の情報とに基づき、太陽光の車両への入射方向を取得する。

次に、ステップＳ０５においては、輝度分布算出部２５から出力される輝度分布に基づき、記憶部２９に予め記憶されている所定マップに対するマップ検索を行ない、太陽光の車両への入射方向を取得する。

次に、ステップＳ０６においては、入射方向取得部２７により取得された太陽光の入射方向と、輝度分布算出部２５により算出された輝度分布との対応関係が、記憶部２９に記憶されている所定の輝度分布と所定の入射方向との対応関係と一致するか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、視線検知率の低下あるいは運転者が眼を細めていることが太陽光に起因すると判断して、ステップＳ０７に進む。

次に、ステップＳ０７においては、入射方向取得部２７により取得された太陽光の入射方向は、太陽光が車両の前方から入射する入射方向であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０８に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０９に進む。

次に、ステップＳ０８においては、車両の前方から入射する太陽光を遮光することを指示する報知として、所定の音声案内（例えば、「サンバイザを下ろしてください」などの音声）を出力し、リターンに進む。

また、ステップＳ０９においては、入射方向取得部２７により取得された太陽光の入射方向は、太陽光が車両の側方から入射する入射方向であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１０に進む。
一方、この判定結果が「ＮＯ」の場合には、リターンに進む。

そして、ステップＳ１０においては、車両の側方から入射する太陽光を遮光することを指示する報知として、所定の音声案内（例えば、「サンバイザを横にしてください」などの音声）を出力し、リターンに進む。

上述したように、本実施の形態による車両用顔画像撮像装置１０によれば、車両に入射する太陽光に起因して所定部位あるいは視線方向を所望の精度で検知することが不可能である場合に実行される報知に対して、誤報知が生じることを抑制し、報知動作の信頼性を向上させることができる。これにより、例えばサンバイザ４２などの日除け部材を太陽光を遮るように操作することを指示する報知に対して、誤報知が抑制されることで、太陽光に起因して所定部位あるいは視線方向を所望の精度で検知することが不可能となった状態を適切に解消することができる。

また、日除け部材（例えば、サンバイザ４２など）を特定操作すべき旨の報知を行なうときに、視線検知率の変化や運転者の顔面上の輝度分布の変化に応じたリアルタイムの報知を行なうことにより、日除け部材に対する操作が適切であるか否かを運転者が容易に把握することができる。これにより、例えば視界の妨げとなるほどに過剰に日除け部材が運転者により操作されてしまうことを防止することができる。

なお、上述した実施の形態においては、車室内に設けられた日除け部材（例えば、サンバイザ４２など）を、太陽光の入射方向に応じて設定される特定操作すべき旨の報知に加えて、太陽光が通過する部位、例えばドアウィンドウやサンルーフなどを特定操作すべき旨の報知を行なってもよい。

この変形例では、例えば図９に示すように、上述した実施の形態と同様のステップＳ０１〜ステップＳ０６の処理を実行した後に、ステップＳ０６の判定結果が「ＮＯ」の場合には、ステップＳ２１に進む。
一方、ステップＳ０６の判定結果が「ＹＥＳ」の場合には、ステップＳ２３に進む。

そして、ステップＳ２１においては、サンルーフが開放されているか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２２に進む。
そして、ステップＳ２２においては、サンルーフを通過する太陽光を遮光することを指示する報知として、所定の音声案内（例えば、「サンルーフを閉めてください」などの音声）を出力し、リターンに進む。

また、ステップＳ２３においては、入射方向取得部２７により取得された太陽光の入射方向は、太陽光が車両の前方から入射する入射方向であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ２４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２５に進む。

そして、ステップＳ２４においては、車両の前方から入射する太陽光を遮光することを指示する報知として、所定の音声案内（例えば、「サンバイザを下ろしてください」などの音声）を出力し、リターンに進む。

また、ステップＳ２５においては、入射方向取得部２７により取得された太陽光の入射方向は、太陽光が車両の側方から入射する入射方向であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ２６に進む。
一方、この判定結果が「ＮＯ」の場合には、リターンに進む。

そして、ステップＳ２６においては、運転席側のドアウィンドウが開放されているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ２７に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２８に進む。

そして、ステップＳ２７においては、運転席側のドアウィンドウを通過する太陽光を遮光することを指示する報知として、所定の音声案内（例えば、「運転席側の窓を閉めてください」などの音声）を出力し、リターンに進む。

そして、ステップＳ２８においては、車両の側方から入射する太陽光を遮光することを指示する報知として、所定の音声案内（例えば、「サンバイザを横にしてください」などの音声）を出力し、リターンに進む。

なお、上述した実施の形態において、日除け部材（例えば、サンバイザ４２など）を特定操作すべき旨の報知が、同一の入射方向に対して所定回数以上繰り返される場合には、運転者が意図的に太陽光の遮光を無視していると判断して、この入射方向に対して日除け部材（例えば、サンバイザ４２など）を特定操作すべき旨の報知の実行を停止してもよい。

１０ 車両用顔画像撮像装置
１１ 乗員カメラ（撮像手段）
１２ 車両状態センサ
１３ 処理装置
１４ 報知装置（報知手段）
２３ 部位検出部（部位検出手段）
２５ 輝度分布算出部（輝度分布算出手段）
２７ 入射方向取得部（入射方向取得手段）
２９ 記憶部（記憶手段）
３０ 報知制御部（報知手段）

Claims (2)

1. 車両の運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像から所定部位を検出して検出結果を出力する部位検出手段と、該部位検出手段による前記所定部位の検出が不可能である場合に前記運転者に報知を行なう報知手段とを備える車両用顔画像撮像装置であって、
   前記撮像手段から出力された前記顔画像の輝度分布を算出して算出結果を出力する輝度分布算出手段と、
   太陽光の前記車両への入射方向を取得する入射方向取得手段と、
   所定の前記輝度分布と所定の前記入射方向との対応関係を予め記憶する記憶手段とを備え、
   前記報知手段は、前記輝度分布算出手段から出力された前記算出結果の前記輝度分布と前記取得手段により取得された前記入射方向との対応関係が、前記記憶手段に記憶されている前記対応関係と一致した場合に、前記報知を行なうことを特徴とする車両用顔画像撮像装置。
2. 前記報知手段は、前記報知として、車室内に設けられた日除け部材を特定操作すべき旨の報知を行ない、前記特定操作は、前記取得手段により取得された前記入射方向に応じて設定されることを特徴とする請求項１に記載の車両用顔画像撮像装置。

Images