JP4192643B2 - 車両運転者の視線検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両運転者の視線検出装置に関し、特に運転者の顔位置を特定する装置に関する。
【０００２】
【従来の技術】
従来から、車両運転者の運転状態（例えば脇見や居眠り状態など）を検出するため、車載カメラで車両運転者を撮影し、得られた画像を処理して運転者の目の状態を監視する装置が提案されている（例えば特許文献１）。この特許文献１には、車両運転者の有無を検出して車両運転者がいない場合の画像（背景画像）と車両運転者が存在する場合の画像（車両運転者画像）を取得し、両画像の差分値に基づいて運転者の顔位置を特定する技術が記載されている。
【０００３】
【特許文献１】
特開平４−６８５００号公報（第３〜６頁、第２、４、５図）
【０００４】
【発明が解決しようとする課題】
上記従来技術では、背景画像を取得してからすぐに車両運転者画像を取得するわけでなく両画像の取得の間に時間差が生じたときに背景画像に対して車両運転者を撮影した際の実際の背景が変化する場合があり、この場合には両画像の差分値には車両運転者に起因する差分値の他に、変化した背景に起因する差分値も含まれてしまうことになるので、運転者の顔位置を特定することが困難となるという問題があった。また、上記従来技術では、車両運転者画像を撮像した時点にて両画像の差分を計算し頭位置を特定し頭の位置座標をメモリに記憶し、その後運転者を撮像する際には撮像する度に先に記憶したメモリ内の位置座標を読み出してその位置座標に基づいて撮像した画像から目を抽出しているので、車両運転者画像と、この画像以降に撮像した画像の各頭位置が相対的にずれる場合には、正確かつ確実に運転者の目を抽出することができないおそれがあった。
【０００５】
本発明は、上述した各問題を解消するためになされたもので、車両運転者の顔の基準位置を容易かつ確実に登録し、かつ、この登録された基準位置に基づいて所定時間毎に撮像した車両運転者画像内に顔位置を特定し、特定された顔位置から目位置を正確かつ確実に抽出する車両運転者の視線検出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１に係る発明の構成上の特徴は、車両の運転シートに着座した運転者の前方に設けられて同運転者を正面から撮像するカメラと、運転者が運転シートに着座する直前の車内をカメラによって撮像する第１画像を、運転者が乗車するために車両のドアを開けたことを検出したら撮像して記憶装置に取り込む第１画像取り込み手段と、運転者が運転シートに着座していることを、運転シートに設けた体重センサを用いて検出する着座検出手段と、運転シートに着座した運転者をカメラによって撮像する第２画像を、運転者が運転シートに着座していることを検出したら撮像して記憶装置に取り込む第２画像取り込み手段と、第１および第２画像取り込み手段によってそれぞれ取り込まれた第１および第２画像の差分画像を算出する画像差分算出手段と、カメラの画像領域内であって画像差分算出手段により算出された差分画像のなかから予め記憶された顔の輪郭情報に基づいて運転者の顔または顔の位置を検出し、当該顔のなかから予め記憶された目情報に基づいて運転者の目を検出できたときには差分画像のなかから運転者の顔位置に相当する領域を運転者の顔の基準位置領域として登録する顔基準位置登録手段と、さらに顔基準位置登録手段にて、運転者の目を検出することができなかったと判定した場合には、顔基準位置登録手段にて目を検出することができたと判定されるまで、再度第２画像の撮像と画像差分算出手段の処理と顔基準位置登録手段の処理を繰り返し実行し、該顔基準位置登録手段が基準位置領域を登録した時点以降にカメラにより撮像した画像であって第２画像でない画像内に顔基準位置登録手段により登録された運転者の顔の基準位置領域から運転者の顔を特定する顔特定手段と、該顔特定手段により特定された運転者の顔内に目を特定する目特定手段と、該目特定手段により特定された運転者の目からの視線を検出する視線検出手段とを備えたことである。
【００１０】
【発明の作用および効果】
上記のように構成した請求項１に係る発明においては、第１画像取り込み手段が、運転者が運転シートに着座する直前の車内をカメラによって撮像される第１画像を、運転者が乗車するために車両のドアを開けたことを検出したら撮像して記憶装置に取り込み、第２画像取り込み手段が、運転シートに着座した運転者を前記カメラによって撮像される第２画像を、運転者が運転シートに着座していることを検出したら撮像して記憶装置に取り込み、画像差分算出手段により第１および第２画像の差分画像を算出し、顔基準位置登録手段が、カメラの画像領域内であって画像差分算出手段により算出された差分画像のなかから予め記憶された顔の輪郭情報に基づいて運転者の顔または顔の位置を検出し、当該顔のなかから予め記憶された目情報に基づいて運転者の目を検出できたときには差分画像のなかから運転者の顔位置に相当する領域を運転者の顔の基準位置領域として登録する。これにより、運転者が運転シートに着座する直前の車内画像（第１画像）を取得した後、時間を空けずに車両運転者画像（第２画像）を取得するため、車両運転者の背景が変化する前に車両運転者画像を取得するので、背景の変化に起因する差分値をできるだけ排除した車両運転者に起因する差分値に基づいて容易かつ確実に運転者の顔の基準位置領域を特定することができる。そして、顔特定手段は、車両運転者画像を取得して運転者の顔の基準位置領域を登録した時点以降にカメラにより撮像した画像であって第２画像（車両運転者画像）でない画像内に、顔基準位置登録手段により登録された運転者の顔の基準位置領域から運転者の顔を特定し、目特定手段は顔特定手段により特定された運転者の顔内に目を特定し、視線検出手段は目特定手段により特定された運転者の目からの視線を検出する。これにより、所定時間毎に撮像した画像（第２画像ではない）内に登録された基準位置領域に基づいて顔位置を特定し、特定された顔位置から目位置を正確かつ確実に抽出することができる。また、運転者が運転シートに着座していることを、運転シートに設けた体重センサを用いて検出するので、確実に車両運転者が着座したことを検出して第２画像を撮像することができる。
さらに顔基準位置登録手段にて、運転者の目を検出することができなかったと判定した場合には、顔基準位置登録手段にて目を検出することができたと判定されるまで、再度第２画像の撮像と画像差分算出手段の処理と顔基準位置登録手段の処理を繰り返し実行する。これにより、顔基準位置登録手段にて画像差分算出手段により算出された差分画像のなかから運転者の顔位置に相当する領域を、運転者の顔の基準位置領域として確実に登録することができる。
【００１４】
【発明の実施の形態】
以下、本発明による車両運転者の視線検出装置の一実施の形態について説明する。図１はこの視線検出装置の構成を示すブロック図である。
【００１５】
この車両運転者の視線検出装置は制御装置１０を備えていて、この制御装置１０にはカメラ１１、体重センサ１２、ドアセンサ１３、警報装置１４および記憶装置１５が接続されている。カメラ１１は、車両の運転シートに着座した運転者の前方（例えばインスツルメントパネル）に設けられており、運転者を正面から撮像し、その画像を制御装置１０に送信する。カメラ１１は所定の短時間毎（例えば１／３０秒）に撮影し、その画像を送信する。このカメラ１１の一例としてＣＣＤ（charge-coupled device）カメラが挙げられる。なお、上記における正面とは、運転者に対しての真正面に限らず、顔の少なくとも目、鼻、口が撮像できる位置であればよい。
【００１６】
体重センサ１２は、運転シート内に設けられており、運転者が運転シートに着座しているか着座していないかを検出し、その検出結果を制御装置１０に送信する。ドアセンサ１３は、車両のドアの開閉状態を検出し、その検出結果を制御装置１０に送信する。警報装置１４は、後述するように検出した運転者の視線に基づいて運転者が居眠り状態やわき見状態であることを検出した場合には、ブザーを鳴動させたり、警報ランプを点灯、点滅させたりして運転者に警報する。記憶装置１５は、カメラ１１から送信される画像を記憶するものである。
【００１７】
制御装置１０は、マイクロコンピュータ（図示省略）を有しており、マイクロコンピュータは、バスを介してそれぞれ接続された入出力インターフェース、ＣＰＵ、ＲＡＭおよびＲＯＭ（いずれも図示省略）を備えている。ＣＰＵは、図２のフローチャートに対応したプログラムを実行して、カメラ１１が撮影した画像に基づいて運転者の視線を検出する制御を行っている。ＲＡＭは同プログラムの実行に必要な変数を一時的に記憶するものであり、ＲＯＭは前記プログラムを記憶するものである。
【００１８】
次に、上述した車両運転者の視線検出装置の動作について図２を参照して説明する。制御装置１０は、運転者が運転シートに着座する直前の車内をカメラ１１によって撮像し、その画像（車内画像）を第１画像として記憶装置１５に取り込む。具体的には制御装置１０は、ステップ１０２において、運転者が運転シートに着座する直前であるかを判定する。すなわち運転シートに設けた体重センサ１２が未着座の状態を検出し続けるなかで、ドアセンサ１３がドア開状態を検出すれば、制御装置１０は運転者が乗車するためにドアを開けたと判定し、つまり運転者が着座直前であると判定する。制御装置１０は、運転者が着座直前であると判定すれば、プログラムをステップ１０４に進める。ステップ１０４においては、制御装置１０は、運転者が着座直前であると判定した時点の車内をカメラ１１によって撮影し、その画像（車内画像）を第１画像（図３（ａ）参照）として記憶装置１５に記憶する。
【００１９】
制御装置１０は、運転シートに着座した運転者をカメラ１１によって撮像し、その画像（車両運転者画像）を第２画像として記憶装置１５に取り込む。具体的にはステップ１０６において、運転シートに設けた体重センサ１２が着座状態を検出すれば、制御装置１０は運転者が着座したと判定する。制御装置１０は、運転者が着座したと判定すれば、プログラムをステップ１０８に進める。ステップ１０８においては、制御装置１０は、運転者が着座したと判定した時点の運転者を含めた車内をカメラ１１によって撮影し、その画像（車両運転者画像）を第２画像（図３（ｂ）参照）として記憶装置１５に記憶する。
【００２０】
制御装置１０は、第１画像と第２画像の差分画像を算出し、カメラ１１の画像領域内であって第１画像と第２画像の差分画像に相当する領域を運転者の顔の基準位置として登録する。具体的には、制御装置１０は、ステップ１１０において、記憶装置１５に記憶されている第１および第２画像を読み出して、両画像の差分画像を算出する。この算出結果は、図３（ｃ）に示すように、第２画像に撮影された運転者のみが存在する画像（差分画像）である。差分画像には運転者の上半身が映し出されており、予め記憶された顔情報（例えば眉毛、目、鼻、口の配置パターン、あるいは顔の輪郭）に基づいて上半身のなかから顔または顔の位置を検出する（ステップ１１２）。そして、予め記憶された目情報（例えば左右の両目の配置パターン、目の輪郭、瞳の輪郭）に基づいて検出した顔のなかから目または目の位置を検出する（ステップ１１４）。
【００２１】
そして、制御装置１０は、ステップ１１６においてステップ１１４の処理により運転者の目を検出することができたか否かを判定し、運転者の目を検出することができたと判定した場合には、プログラムをステップ１１８に進める。ステップ１１８においては、ステップ１１０にて算出された差分画像の領域のうち運転者の顔位置に相当する領域を運転者の顔の基準位置として記憶装置１５に記憶する（登録する）。この顔の基準位置は運転者が運転シートに着座してほぼ正面前方を向いている場合の顔の位置を示しており、運転者が正面前方以外を向いている場合の顔の位置を示すものではない。一方、ステップ１１６において運転者の目を検出することができなかったと判定した場合には、プログラムをステップ１０８に戻し、カメラ１１により第２画像を撮像し記憶装置１５に取り込み（ステップ１０８）、第１および第２画像の差分画像を算出し（ステップ１１０）、差分画像に基づいて運転者の顔を検出し（ステップ１１２）、運転者の目を検出する（ステップ１１４）処理を、ステップ１１６にて目を検出することができたと判定されるまで繰り返し実行する。
【００２２】
制御装置１０は、ステップ１１８にて基準位置を登録した時点以降においてカメラ１１から順次送信される画像から運転者の顔および目（の位置）を特定し、運転者の視線を検出する。カメラ１１により撮像された画像が送信される度に、ステップ１２０において、ステップ１１８にて登録された顔の基準位置を記憶装置１５から読み出し、顔の基準位置に基づいて送信された画像内に運転者の顔（顔位置）を特定する。すなわち、予め記憶された顔情報（例えば眉毛、目、鼻、口の配置パターン、あるいは顔の輪郭）に基づいて送信された画像内の基準位置の領域およびその周辺から顔を探索する。ステップ１２２において、ステップ１１４と同様に予め記憶された目情報（例えば左右の両目の配置パターン、目の輪郭、瞳の輪郭）に基づいて特定した顔のなかから目または目の位置を特定する。そして、ステップ１２４において、特定した運転者の目からの視線（視線の方向）を検出する。なお、この視線検出については、例えば瞳孔中心とプルキニエ像との相対位置関係から算出することが一般に行われているので、詳細な説明は省略する。制御装置１０は、視線検出の処理が終了するまで、例えばイグニッションスイッチがオフされるまで、上述したステップ１２０〜１２４の処理をカメラ１１から画像が送信される度に繰り返し実行する（ステップ１２６）。
【００２３】
上述した説明から理解できるように、この実施の形態においては、運転者が運転シートに着座する直前の車内をカメラ１１によって撮像した第１画像を記憶装置１５に取り込み（ステップ１０２，１０４）、運転シートに着座した運転者をカメラ１１によって撮像した第２画像を記憶装置１５に取り込み（ステップ１０６，１０８）、第１および第２画像の差分画像を算出し（ステップ１１０）、カメラ１１の画像領域内であってステップ１１０にて算出された差分画像に相当する領域を運転者の顔の基準位置として登録する（ステップ１１８）。これにより、運転者が運転シートに着座する直前の車内画像（第１画像）を取得した後、時間を空けずに車両運転者画像（第２画像）を取得するため、車両運転者の背景が変化する前に車両運転者画像を取得するので、背景の変化に起因する差分値をできるだけ排除した車両運転者に起因する差分値に基づいて容易かつ確実に運転者の顔の基準位置を特定することができる。そして、車両運転者画像を取得して運転者の顔の基準位置を登録した時点以降にカメラ１１により撮像した画像内に、ステップ１１８にて登録された運転者の顔の基準位置に基づいて運転者の顔を特定し（ステップ１２２）、この特定された運転者の顔内に目を特定し（ステップ１２４）、この特定された運転者の目からの視線を検出する（ステップ１２６）。これにより、所定時間毎に撮像した車両運転者画像（第２画像ではない）内に登録された基準位置に基づいて顔位置を特定し、特定された顔位置から目位置を正確かつ確実に抽出することができる。
【００２４】
また、上記実施の形態においては、ステップ１０２，１０４の処理により、運転者が乗車するために車両のドアを開けたことを検出して第１画像を撮像するので、確実に乗車直前であることを検出して第１画像を乗車直前に撮像することができる。また、ステップ１０６，１０８の処理により、運転者が車両の運転シートに着座していることを検出して第２画像を撮像するので、確実に車両運転者が着座したことを検出して第２画像を撮像することができる。
【００２５】
また、上記実施の形態においては、ステップ１１０にて算出された差分画像から運転者の顔を検出し（ステップ１１２）、ステップ１１２にて検出された運転者の顔の中から目を検出し（ステップ１１４）、ステップ１１４にて運転者の目が検出されたか否かを判定する（ステップ１１６）。そして、ステップ１１６にて目が検出されたと判定された場合には、ステップ１１０にて算出された差分画像に相当する領域を運転者の顔の基準位置として登録し（ステップ１１８）、目が検出されなかったと判定された場合には、再度、第２画像を撮像し記憶装置に取り込み（ステップ１０８）、第１および第２画像の差分画像を算出し（ステップ１１０）、運転者の顔を検出し（ステップ１１２）、運転者の目を検出する（ステップ１１４）処理を、ステップ１１６にて目が検出されたと判定されるまで繰り返し実行する。これにより、ステップ１１８においてはステップ１１０にて算出された差分画像に相当する領域を確実に運転者の顔の基準位置として登録することができる。
【００２６】
なお、上述した実施の形態においては、ドアセンサ１３からの検出信号の代わりに、リモコンキーからのドアロック解除信号を利用するようにしてもよい。
【００２７】
また、上述した実施の形態においては、運転者の着座状態を検出するために体重センサ１２からの検出信号を利用するようにしたが、これに代えて、シートベルトの着用状態を検出するシートベルト着用センサからの検出信号を利用するようにしてもよい。
【００２８】
また、上述した実施の形態においては、ステップ１１８において、運転者の上半身を示す差分画像の領域を顔の基準位置として登録するようにしてもよい。この場合、ステップ１２０において、ステップ１１８にて登録された顔の基準位置を記憶装置１５から読み出し、運転者の上半身を示す差分画像の領域のうち顔の領域に基づいて送信された画像内に運転者の顔を特定すればよい。なお、顔の領域は頭、首、肩の配置パターンなどにより推定できる。
【図面の簡単な説明】
【図１】 本発明による車両運転者の視線検出装置の一実施の形態の構成を示すブロック図である。
【図２】 図１に示した制御装置にて実行される制御プログラムのフローチャートである。
【図３】 （ａ）は運転者が運転シートに着座する直前の車内の画像であり、（ｂ）は運転者が運転シートに着座した状態の画像であり、（ｃ）は両画像の差分画像である。
【符号の説明】
１０…制御装置、１１…カメラ、１２…体重センサ、１３…ドアセンサ、１４…警報装置、１５…記憶装置。

Claims (1)

1. 車両の運転シートに着座した運転者の前方に設けられて同運転者を正面から撮像するカメラと、
   前記運転者が前記運転シートに着座する直前の車内を前記カメラによって撮像する第１画像を、前記運転者が乗車するために車両のドアを開けたことを検出したら撮像して記憶装置に取り込む第１画像取り込み手段と、
   前記運転者が前記運転シートに着座していることを、前記運転シートに設けた体重センサを用いて検出する着座検出手段と、
   前記運転シートに着座した前記運転者を前記カメラによって撮像する第２画像を、前記運転者が前記運転シートに着座していることを検出したら撮像して前記記憶装置に取り込む第２画像取り込み手段と、
   前記第１および第２画像取り込み手段によってそれぞれ取り込まれた第１および第２画像の差分画像を算出する画像差分算出手段と、
   前記カメラの画像領域内であって前記画像差分算出手段により算出された差分画像のなかから予め記憶された顔の輪郭情報に基づいて運転者の顔または顔の位置を検出し、当該顔のなかから予め記憶された目情報に基づいて運転者の目を検出できたときには前記差分画像のなかから前記運転者の顔位置に相当する領域を運転者の顔の基準位置領域として登録する顔基準位置登録手段と、
   さらに前記顔基準位置登録手段にて、運転者の目を検出することができなかったと判定した場合には、前記顔基準位置登録手段にて目を検出することができたと判定されるまで、再度前記第２画像の撮像と前記画像差分算出手段の処理と前記顔基準位置登録手段の処理を繰り返し実行し、
   該顔基準位置登録手段が基準位置領域を登録した時点以降に前記カメラにより撮像した画像であって前記第２画像でない画像内に前記顔基準位置登録手段により登録された運転者の顔の基準位置領域から前記運転者の顔を特定する顔特定手段と、
   該顔特定手段により特定された運転者の顔内に目を特定する目特定手段と、
   該目特定手段により特定された運転者の目からの視線を検出する視線検出手段とを備えたことを特徴とする車両運転者の視線検出装置。

Images