JP5233322B2

JP5233322B2 - 情報処理装置および方法、並びに、プログラム

Info

Publication number: JP5233322B2
Application number: JP2008047579A
Authority: JP
Inventors: 靖理大元
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2008-02-28
Filing date: 2008-02-28
Publication date: 2013-07-10
Anticipated expiration: 2028-02-28
Also published as: JP2009201756A

Description

本発明は、情報処理装置および方法、並びに、プログラムに関し、運転者の顔情報の取得に失敗した原因を特定する場合に用いて好適な情報処理装置および方法、並びに、プログラムに関する。

近年、車両を運転する運転者の顔を撮影した画像に基づいて運転者の顔に関する顔情報（例えば、顔の向き、視線の向き、顔および顔の各パーツの位置、形状、特徴量など）を取得し、取得した顔情報に基づいて運転者の状態を検出する車載装置の開発が進んでいる。そのような車載装置においては、例えば、運転者を撮影するカメラと運転者との間にステアリングホイールなどの障害物が入り、運転者の顔の一部または全部を撮影できない場合、運転者の顔情報が正確に得られないため、運転者の状態を誤検出してしまう恐れがある。

そこで、従来、２枚以上の画像間のオプティカルフローを計算し、計算したオプティカルフローを予め記憶されているオプティカルフローのパターンと比較することにより、予め想定されている異物（ステアリングホイールのスポーク、手、雑誌など）の画像内への進入を検出し、異物の進入を検出した場合、運転者の状態判定の結果を報知するのを禁止することが提案されている（例えば、特許文献１参照）。

また、従来、赤外線カメラを用いて、熱源の存在により乗員の有無を検出する装置において、赤外線カメラの撮像範囲内に人体に相当する温度の熱源が検出された場合、その熱源の大きさが人体の顔の大きさに相当するとき、座席に乗員が存在すると判定し、その熱源の大きさが人体の顔の大きさに相当しないが、頭部が存在すると想定される領域の熱源に直線的なエッジが存在するか、または、画像内の熱源が所定範囲で左右一対であるとき、乗員を遮蔽する物体が存在するため、正確な検出が不能であると判定することが提案されている（例えば、特許文献２参照）。

さらに、従来、撮影手段により、赤外線が照射された運転者の画像をステアリングホイール越しに撮影し、撮影した画像の輝度を２値化し、２値化した輝度値の平均値を所定の閾値と比較することにより、画像にステアリングホイールが映り込んでいるか否かを判定し、ステアリングホイールが映り込んでいると判定した場合、後続の脇見判定処理を行わないようにすることが提案されている（例えば、特許文献３参照）。

特開２００５−１８６５１号公報特開２００５−４９２２０号公報特開２００５−１５７６４８号公報

ところで、運転者の顔情報の取得に失敗した場合に、失敗した原因をより詳細に特定できれば、より適切な対処を迅速に行うことができる。

本発明は、このような状況に鑑みてなされたものであり、運転者の顔情報の取得に失敗した原因をより詳細に特定できるようにするものである。

本発明の一側面の情報処理装置は、車両を運転する運転者の顔に関する顔情報を入力画像から取得する情報処理装置であって、車両に設けられ、所定の動きをすることにより少なくとも一部が入力画像を撮影する撮影装置のフレームの中に入ったり外に出たりする車載部品の位置を検出する車載部品位置検出手段と、顔情報の推移に基づいて、運転者の顔の状態を推測する顔状態推測手段と、検出された車載部品の位置、および、推測された運転者の顔の状態に基づいて、顔情報の取得に失敗した原因が、車載部品によるものか、運転者の顔の状態によるものか、または、それらとは異なる要因によるものかを分析する原因分析手段とを備える。

本発明の一側面の情報処理装置においては、車両に設けられ、所定の動きをすることにより少なくとも一部が入力画像を撮影する撮影装置のフレームの中に入ったり外に出たりする可能性のある車載部品の位置が検出され、顔情報の推移に基づいて、運転者の顔の状態が推測され、検出された車載部品の位置、および、推測された運転者の顔の状態に基づいて、顔情報の取得に失敗した原因が、車載部品によるものか、運転者の顔の状態によるものか、または、それらとは異なる要因によるものかが分析される。

従って、運転者の顔情報の取得に失敗した原因をより詳細に特定することができる。

この情報取得部、車載部品位置検出手段、顔状態推測手段、原因分析手段は、例えば、CPU（Central Processing Unit）により構成される。

入力画像に基づいて、運転者に照射されている照射光の状態を検出する照射光状態検出手段をさらに設け、原因分析手段には、検出された車載部品の位置、推測された運転者の顔の状態、および、検出された照射光の状態に基づいて、顔情報の取得に失敗した原因が、車載部品によるものか、運転者の顔の状態によるものか、照射光によるものか、または、それらとは異なる要因によるものかを分析させることができる。

これにより、運転者の顔情報の取得に失敗した原因をさらに詳細に特定することができる。

この照射光状態検出手段は、例えば、CPU（Central Processing Unit）により構成される。

顔情報の取得に失敗した原因に応じた対処を行う対処手段をさらに設けることができる。

これにより、運転者の顔情報の取得の失敗に対して適切な処置を迅速に行うことができる。

この対処手段は、例えば、CPU（Central Processing Unit）により構成される。

対処手段には、顔情報の一部を取得できているか否かに応じて対処方法を変更させることができる。

これにより、運転者の顔情報の取得に失敗した原因を明確に特定できない場合にも、運転者の顔情報の取得の失敗に対してより適切な処置を行うことができる。

本発明の一側面の情報処理方法またはプログラムは、車両に設けられ、所定の動きをすることにより少なくとも一部が入力画像を撮影する撮影装置のフレームの中に入ったり外に出たりする車載部品の位置を検出する車載部品位置検出ステップと、顔情報の推移に基づいて、運転者の顔の状態を推測する顔状態推測ステップと、検出された車載部品の位置、および、推測された運転者の顔の状態に基づいて、顔情報の取得に失敗した原因が、車載部品によるものか、運転者の顔の状態によるものか、または、それらとは異なる要因によるものかを分析する原因分析ステップとを含む。

本発明の一側面の情報処理方法またはプログラムにおいては、車両に設けられ、所定の動きをすることにより少なくとも一部が入力画像を撮影する撮影装置のフレームの中に入ったり外に出たりする車載部品の位置が検出され、顔情報の推移に基づいて、運転者の顔の状態が推測され、検出された車載部品の位置、および、推測された運転者の顔の状態に基づいて、顔情報の取得に失敗した原因が、車載部品によるものか、運転者の顔の状態によるものか、または、それらとは異なる要因によるものかが分析される。

この車載部品位置検出ステップは、例えば、車両に設けられ、所定の動きをすることにより少なくとも一部が入力画像を撮影する撮影装置のフレームの中に入ったり外に出たりする車載部品の位置をCPUにより検出する車載部品位置検出ステップにより構成され、この顔状態推測ステップは、例えば、顔情報の推移に基づいて、運転者の顔の状態をCPUにより推測する顔状態推測ステップにより構成され、検出された車載部品の位置、および、推測された運転者の顔の状態に基づいて、顔情報取得部が顔情報の取得に失敗した原因が、車載部品によるものか、運転者の顔の状態によるものか、または、それらとは異なる要因によるものかをCPUにより分析する原因分析ステップにより構成される。

本発明の一側面によれば、運転者の顔情報の取得に失敗した原因をより詳細に特定することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した運転者監視システム１１の一実施の形態を示すブロック図である。図１の運転者監視システム１１は、運転者監視システム１１が設けられている車両（以下、自車とも称する）を運転する運転者の状態を監視するシステムであり、カメラ２１、照明装置２２、センサ部２３、監視装置２４、車両制御装置２５、表示装置２６、音声出力装置２７、および、発光装置２８を含むように構成される。

カメラ２１は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ２１は、例えば、図２に示されるように、ステアリングホイール５１のステアリングスポークの間から運転席に座って運転している運転者の顔を撮影できるように、ステアリングコラム５２の上面に設置される。カメラ２１は、撮影した画像（以下、入力画像と称する）を、監視装置２４の顔情報取得部３１およびエラー処理部３３に供給する。

照明装置２２は、カメラ２１用の補助照明として用いられ、カメラ２１の光軸方向とほぼ同じ方向から、運転者の顔を照らすように設置される。

センサ部２３は、自車の車載部品の位置や状態、運転者の位置や状態、カメラ２１と運転者との間の障害物の有無や位置などを検出する各種のセンサからなり、検出結果を示す信号を監視装置２４のエラー処理部３３に供給する。センサ部２３に含まれるセンサの種類としては、例えば、ステアリングホイール５１の中立位置（ニュートラル位置）を基準とする回転角である操舵角を検出する操舵角センサ、自車の速度を検出する車速センサ、自車の加速度を検出する加速度センサ、自車のシフトレバーの位置を検出するシフトセンサ、運転席の乗員の有無を検出する着座センサ、運転席のドアの開閉を検出するドアセンサ、カメラ２１から運転者までの距離を計測する距離センサ、カメラ２１と運転者との間の障害物を検出する電波センサ、超音波センサ、静電容量センサ、運転席付近の熱源を検出する熱源感知センサなどが考えられる。

監視装置２４は、カメラ２１により撮像された入力画像に基づいて、運転者の状態を監視し、運転者の状態に応じて各種の処理を行う。監視装置２４は、例えば、所定の制御プログラムを実行するCPU（Central Processing Unit）により構成され、顔情報取得部３１、監視部３２、および、エラー処理部３３を含むように構成される。

顔情報取得部３１は、運転者の顔の向き、視線の向き、顔や顔の各パーツ（目、鼻、口など）の位置、形状および特徴量などの顔情報を入力画像から取得し、監視部３２およびエラー処理部３３に供給する。顔情報取得部３１は、顔情報の取得に成功したか否かをエラー処理部３３に通知する。

監視部３２は、顔情報に基づいて運転者の状態を監視し、運転者の状態に応じて、運転者が安全に運転できるように、車両制御装置２５、表示装置２６、音声出力装置２７、および、発光装置２８の動作を制御する。

エラー処理部３３は、運転者の顔情報の取得に失敗した原因を分析し、特定した原因に応じて、運転者監視システム１１の各部の動作を制御し、運転者監視システム１１の誤動作を回避したり、顔情報が正常に取得できるように対処する。

車両制御装置２５は、例えば、ECU（Electronic Control Unit）またはECU（Engine Control Unit）などにより構成され、自車および各種の車載部品の動作を制御する。

表示装置２６は、例えば、LCD（Liquid Crystal Display）などにより構成され、監視部３２またはエラー処理部３３の制御の基に、各種の警告画像や警告メッセージなどを表示する。なお、表示装置２６は、運転者監視システム１１専用の装置として構成するようにしてもよいし、自車に予め設けられている表示装置（例えば、カーナビゲーションシステムのモニタなど）により構成するようにしてもよい。

音声出力装置２７は、例えば、スピーカ、サイレン、または、ブザーなどにより構成され、監視部３２またはエラー処理部３３の制御の基に、各種の警告メッセージや警告音などを出力する。なお、音声出力装置２７は、運転者監視システム１１専用の装置として構成するようにしてもよいし、自車に予め設けられている音声出力装置（例えば、カーオーディオ装置など）により構成するようにしてもよい。

発光装置２８は、例えば、ランプ、LED（Light Emitting Diode）などにより構成され、監視部３２またはエラー処理部３３の制御の基に、各種の警告灯の点灯または点滅を行う。なお、発光装置２８は、運転者監視システム１１専用の装置として構成するようにしてもよいし、自車に予め設けられている発光装置により構成するようにしてもよい。

図３は、エラー処理部３３の機能的構成を示すブロック図である。エラー処理部３３は、車載部品位置検出部１０１、顔状態推測部１０２、照射光状態検出部１０３、原因分析部１０４、および、対処部１０５を含むように構成される。

車載部品位置検出部１０１は、自動的または乗員の操作により所定の動きをするとともにカメラ２１のフレーム内に進入する可能性のある車載部品（例えば、ステアリングホイール、エアバッグ、サンバイザ、ルームミラーなど）の位置を、カメラ２１からの入力画像、および、センサ部２３からの各種のセンサ信号に基づいて検出し、検出結果を原因分析部１０４に通知する。

顔状態推測部１０２は、顔情報取得部３１からの顔情報の推移、および、センサ部２３からの各種のセンサ信号に基づいて、現在の運転者の顔の状態を推測し、推測結果を原因分析部１０４に通知する。

照射光状態検出部１０３は、入力画像に基づいて、また、必要に応じて照明装置２２の点滅や明るさを制御して、運転者に照射されている照射光の状態を検出し、検出結果を原因分析部１０４に通知する。

原因分析部１０４は、顔情報取得部３１から顔情報の取得の失敗が通知された場合、カメラ２１からの入力画像、車載部品の位置の検出結果、運転者の顔の状態の推測結果、および、照射光の状態の検出結果に基づいて、運転者の顔情報の取得に失敗した原因が、車載部品によるものか、運転者の顔の状態によるものか、照射光によるものか、または、それ以外の要因によるものかを分析し、分析結果を対処部１０５に通知する。

対処部１０５は、運転者の顔情報の取得に失敗した原因に応じて、運転者監視システム１１の各部の動作を制御し、運転者監視システム１１の誤動作を回避したり、顔情報が正常に取得できるように対処する。また、対処部１０５は、運転者の顔情報の取得の失敗に対する対処を行っている場合に、顔情報取得部３１から顔情報の取得の成功が通知されたとき、運転者監視システム１１の各部の動作を制御し、実行中の対処を停止する。

次に、図４のフローチャートを参照して、運転者監視システム１１により実行される運転者監視処理を説明する。なお、この処理は、例えば、自車のエンジンが始動されたとき開始され、自車のエンジンが停止したとき終了する。

ステップＳ１において、顔情報取得部３１は、顔情報を取得する。具体的には、顔情報取得部３１、車載部品位置検出部１０１、照射光状態検出部１０３、および、原因分析部１０４は、カメラ２１により撮影された入力画像を取得する。顔情報取得部３１は、取得した入力画像に基づいて、運転者の顔情報を取得する。

ステップＳ２において、顔情報取得部３１は、顔情報の取得に成功したかを判定する。顔情報取得部３１は、ステップＳ１の処理により顔情報の全部を取得できた場合、顔情報の取得に成功したと判定し、処理はステップＳ３に進む。

ステップＳ３において、運転者監視システム１１は、正常動作を行う。具体的には、顔情報取得部３１は、取得した顔情報を監視部３２および顔状態推測部１０２に供給する。また、顔情報取得部３１は、顔情報の取得の成功を対処部１０５に通知する。対処部１０５は、後述する対応動作１乃至５が行われている場合、運転者監視システム１１の各部を制御して、対応動作１乃至５を停止させる。

また、監視部３２は、取得した顔情報に基づいて、通常の監視処理を行う。例えば、監視部３２は、運転者の認証処理を行う。そして、監視部３２は、運転者の認証に失敗した場合、例えば、車両制御装置２５を制御して、自車の走行を禁止したり、表示装置２６、音声出力装置２７、および、発光装置２８を制御して、警告画像、警告メッセージ、警告音、警告灯の点灯または点滅などにより、認証に失敗したことを運転者に通知したり、認証対象以外の人物が運転しようとしていることを外部に通知したりする。

さらに、例えば、監視部３２は、運転者の脇見や居眠りなど危険な状態の検出処理を行う。そして、監視部３２は、運転者の危険な状態を検出した場合、例えば、車両制御装置２５を制御して、車速の制限、加速度の抑制、減速などの自車の走行の制限を行ったり、車両制御装置２５、表示装置２６、音声出力装置２７、または、発光装置２８を制御して、ステアリングホイールの振動、警告画像、警告メッセージ、警告音、警告灯の点灯または点滅などにより、運転者への警告を行ったりする。

その後、処理はステップＳ１に戻り、ステップＳ３において、顔情報の取得に失敗したと判定されるまで、ステップＳ１乃至Ｓ３の処理が繰り返し実行される。

一方、ステップＳ２において、顔情報取得部３１は、ステップＳ１の処理により顔情報の一部または全部を取得できなかった場合、顔情報の取得に失敗したと判定し、処理はステップＳ４に進む。なお、顔情報の取得に成功または失敗したかの判定は、顔情報の取得に成功または失敗した状態が所定の時間（例えば、１秒間）継続してから行うようにするのが望ましい。

ステップＳ４において、原因分析部１０４は、車載部品が原因であるかを判定する。具体的には、顔情報取得部３１は、顔情報の取得の失敗を原因分析部１０４に通知する。車載部品位置検出部１０１は、カメラ２１からの入力画像、および、センサ部２３からの各種のセンサ信号に基づいて、所定の動きをするとともにカメラ２１のフレーム内に進入する可能性のある車載部品の位置を検出し、検出結果を原因分析部１０４に通知する。

カメラ２１の設置位置、および、車載部品の設置位置および動きが既知である場合、原因分析部１０４は、検出された車載部品の位置に基づいて、車載部品がカメラ２１のフレーム内に進入しているか否かを検出することが可能である。原因分析部１０４は、車載部品がカメラ２１のフレーム内に進入していることを検出した場合、顔情報の取得に失敗したのは車載部品が原因であると判定し、処理はステップＳ５に進む。

ここで、カメラ２１のフレーム内に進入する可能性のある車載部品が、図２のステアリングホイール５１である場合について考える。この場合、車載部品位置検出部１０１は、センサ部２３に含まれる操舵角センサからの信号に基づいて自車の操舵角を検出し、さらに、操舵角に基づいてステアリングホイール５１の転舵角を算出し、算出した転舵角を原因分析部１０４に通知する。ステアリングホイール５１の形状は既知であるので、原因分析部１０４は、ステアリングホイール５１の転舵角に基づいて、ステアリングホイール５１のステアリングスポークの位置を求め、ステアリングスポークがカメラ２１のフレーム内に進入しているか否かを検出することができる。

また、ステアリングホイール５１は決められた動きをするため、入力画像内に現れるパターンも予め決まっている。そのため、ステアリングホイール５１の動きに伴い入力画像の特徴量が変化するパターンもほぼ固定化されており、予想される特徴量のパターンを予め登録しておくことが可能である。例えば、図５の点線で示されるように、入力画像をいくつかのセグメントに分割しておき、図６に示されるように、ステアリングホイール５１の動きに伴う入力画像の各セグメントの輝度の変化量を登録パターンとして登録しておくことが考えられる。また、例えば、ステアリングホイール５１の動きに伴う入力画像のオプティカルフローを登録パターンとして登録しておくことが考えられる。

この場合、車載部品位置検出部１０１は、入力画像の過去数フレームにおける特徴量を抽出し、抽出した特徴量と登録パターンとの照合を行い、抽出した特徴量と登録パターンとの差異が所定の閾値未満である場合、ステアリングホイール５１がカメラ２１のフレーム内に進入していると判定し、抽出した特徴量と登録パターンとの差異が所定の閾値以上である場合、ステアリングホイール５１がカメラ２１のフレーム内に進入していないと判定する。

なお、登録パターンに用いる入力画像の特徴量は、上述した例に限定されるものではなく、ステアリングホイール５１などの車載部品の動きをより正確かつ簡単に検出することができる特徴量を採用することが望ましい。

ステップＳ５において、運転者監視システム１１は、対応動作１を行う。具体的には、原因分析部１０４は、顔情報の取得に失敗したこと、および、失敗の原因となった車載部品を対処部１０５に通知する。対処部１０５は、例えば、失敗の原因となった車載部品が強制的に移動しても可能な部品である場合、車両制御装置２５を制御して、その車載部品を強制的にカメラ２１のフレームの外に移動させる。また、対処部１０５は、例えば、顔情報に含まれる情報のうち取得に成功した情報のみを監視部３２に供給し、取得に失敗した情報を監視部３２に供給しないように、顔情報取得部３１を制御する。さらに、対処部１０５は、例えば、カメラ２１のフレーム内に進入している車載部品がフレームの外に移動するまで、カメラ２１および照明装置２２の機能の一部または全部を休止させる。また、対処部１０５は、例えば、表示装置２６、音声出力装置２７、または、発光装置２８を制御して、警告画像、警告メッセージ、警告音、警告灯の点灯または点滅などにより、車載部品がカメラ２１のフレーム内に進入したことにより、顔情報の取得に失敗したことを通知する。

また、監視部３２が運転者の認証処理を行う場合、車載部品がカメラ２１のフレーム内に進入したまま停車したとき、次回の発進時に運転者の顔情報を取得できず、認証に失敗してしまう恐れがある。そこで、対処部１０５は、車両制御装置２５を制御して、停車時、または、次回の発進前のエンジン始動時に、カメラ２１のフレーム内に進入している車載部品を強制的にフレームの外に移動させたり、表示装置２６、音声出力装置２７、または、発光装置２８を制御して、警告画像、警告メッセージ、警告音、警告灯の点灯または点滅などにより、その車載部品をカメラ２１のフレームの外に移動させるように警告する。なお、ステアリングホイール５１がカメラ２１のフレーム内に進入している場合、強制的にステアリングホイール５１を回転させると危険な場合があるので、エンジン、トランスミッションの状態やシフトレバーの位置などに応じて、強制的に回転させるか否かを制御するようにすればよい。

その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。

一方、ステップＳ４において、車載部品が原因でないと判定された場合、処理はステップＳ６に進む。

ステップＳ６において、原因分析部１０４は、顔の状態が原因であるかを判定する。具体的には、顔状態推測部１０２は、現在までの顔情報の推移に基づいて、現在の運転者の顔の向き、顔の位置、口の開き具合などを推測し、推測結果を原因分析部１０４に通知する。原因分析部１０４は、推測結果に基づいて、例えば、運転者の顔の向きが正面方向から大きくずれていたり、運転者の顔がカメラ２１のフレームからはみ出していたり、入力画像における運転者の顔が大きすぎたり、あるいは、小さすぎたり、運転者が大きく口を開けていたりして、顔情報の取得に失敗したのは、運転者の顔の状態が原因であると判定した場合、処理はステップＳ７に進む。

なお、推測精度を向上させるために、さらに、センサ部２３からの情報から得られる自車の進行方向、自車のシフトレバーの位置、運転席の乗員の有無、運転席のドアの開閉、カメラ２１から運転者までの距離などに基づいて、運転者の顔の状態を推測するようにしてもよい。

ステップＳ７において、運転者監視システム１１は、対応動作２を行う。具体的には、原因分析部１０４は、顔情報の取得に失敗したこと、および、失敗の原因となった運転者の顔の状態を対処部１０５に通知する。対処部１０５は、例えば、顔情報に含まれる情報のうち取得に成功した情報のみを監視部３２に供給し、取得に失敗した情報を監視部３２に供給しないように、顔情報取得部３１を制御する。

また、対処部１０５は、例えば、表示装置２６、音声出力装置２７、または、発光装置２８を制御して、警告画像、警告メッセージ、警告音、警告灯の点灯または点滅などにより、運転者の顔の状態に応じた警告を行う。例えば、運転者の脇見により顔情報の取得に失敗した場合、カメラ２１の方向すなわち前方を向くように、あるいは、脇見をやめるように促す警告が行われ、運転者が大きく口を開けているため顔情報の取得に失敗した場合、口を閉じるように促す警告が行われ、入力画像における運転者の顔が大きすぎるまたは小さすぎて顔情報の取得に失敗した場合、カメラ２１から遠ざかるように、または、近づくように促す警告が行われ、運転者の顔がカメラ２１のフレームからはみ出している場合、姿勢を正すように促す警告が行われる。

なお、例えば、自車のシフトレバーの位置が「後進」になっている場合など、自車の進行方向が前方とは異なり、運転者が前方以外の方向を見ている可能性が高い場合、対応動作２を行わないようにしてもよい。

一方、ステップＳ６において、顔の状態が原因でないと判定された場合、処理はステップＳ８に進む。

ステップＳ８において、原因分析部１０４は、照射光が原因であるかを判定する。具体的には、照射光状態検出部１０３は、入力画像に基づいて、運転者に照射されている照射光の状態（例えば、照射光の明るさや照射位置など）を検出し、検出結果を原因分析部１０４に通知する。例えば、照射光状態検出部１０３は、入力画像の平均輝度や輝度の分布に基づいて、照射光の状態を検出したり、照明装置２２を消灯し、消灯時の入力画像に基づいて、照明装置２２の照明光以外の外乱光の状態を検出したりする。原因分析部１０４は、検出結果に基づいて、例えば、照射光が明るすぎまたは暗すぎたり、照射光により輝度のムラが発生しており、運転者の顔情報の取得に失敗したのは、照射光が原因であると判定した場合、処理はステップＳ９に進む。

ステップＳ９において、運転者監視システム１１は、対応動作３を行う。具体的には、原因分析部１０４は、照射光により顔情報の取得に失敗したことを対処部１０５に通知する。対処部１０５は、例えば、顔情報に含まれる情報のうち取得に成功した情報のみを監視部３２に供給し、取得に失敗した情報を監視部３２に供給しないように、顔情報取得部３１を制御する。また、対処部１０５は、例えば、運転席の窓が開いている場合、車両制御装置２５を制御し、運転席の窓を閉め、車内に入射する太陽光を減衰させる。さらに、対処部１０５は、照射光の明るさが適切な明るさになるように、カメラ２１の露光時間や、照明装置２２の明るさを調整する。

さらに、対処部１０５は、例えば、照明装置２２を点滅させ、点灯時の入力画像と消灯時の入力画像の差分画像を生成し、差分画像に基づいて顔情報を取得するように、顔情報取得部３１を制御する。これにより、照明装置２２からの照明光以外の外乱光の影響が除去される。また、対処部１０５は、例えば、表示装置２６、音声出力装置２７、または、発光装置２８を制御して、警告画像、警告メッセージ、警告音、警告灯の点灯または点滅などにより、運転者の顔に照射されている照射光により、顔情報の取得に失敗したことを通知する。

一方、ステップＳ８において、照射光が原因でないと判定された場合、処理はステップＳ１０に進む。

ステップＳ１０において、原因分析部１０４は、顔情報の一部を取得できているかを判定する。顔情報の一部を取得できていると判定された場合、処理はステップＳ１１に進む。なお、この場合の運転者の顔情報の取得に失敗した原因としては、例えば、運転者の手、新聞などの障害物、サングラス、マスクなどにより運転者の顔の一部が隠れていたり、または、取得する顔情報の種類に応じて複数の異なるプログラムが独立して稼動しており、顔情報の取得に成功したプログラムと失敗したプログラムとが存在する場合などが想定される。

ステップＳ１１において、運転者監視システム１１は、対応動作４を行う。具体的には、原因分析部１０４は、顔情報の一部の取得に失敗し、かつ、失敗の原因を特定できないことを対処部１０５に通知する。対処部１０５は、例えば、顔情報に含まれる情報のうち取得に成功した情報のみを監視部３２に供給し、取得に失敗した情報を監視部３２に供給しないように、顔情報取得部３１を制御する。また、対処部１０５は、例えば、表示装置２６、音声出力装置２７、または、発光装置２８を制御して、警告画像、警告メッセージ、警告音、警告灯の点灯または点滅などにより、何かが顔を隠しているため、顔情報の取得に失敗したことを通知する。さらに、対処部１０５は、例えば、マスク、サングラスなど、運転者の顔を隠している物体の特定処理を顔情報取得部３１に実行させる。

一方、ステップＳ１０において、顔情報を全く取得できていないと判定された場合、処理はステップＳ１２に進む。

ステップＳ１２において、運転者監視システム１１は、対応動作５を行う。具体的には、原因分析部１０４は、顔情報の全部の取得に失敗し、かつ、失敗の原因を特定できないことを対処部１０５に通知する。対処部１０５は、例えば、監視部３２への顔情報の供給を停止するように顔情報取得部３１を制御する。また、対処部１０５は、例えば、表示装置２６、音声出力装置２７、または、発光装置２８を制御して、警告画像、警告メッセージ、警告音、警告灯の点灯または点滅などにより、原因は特定できないが、顔情報の取得に失敗したことを通知する。さらに、対処部１０５は、例えば、対応動作５を実行する状態が長時間連続する場合、カメラ２１を再起動させる。また、対処部１０５は、例えば、対応動作４または対応動作５を実行する状態が長時間連続する場合、カメラ２１に自己故障判定処理を実行させる。

このようにして、顔情報の取得に失敗した原因をより詳細に特定することができ、その結果、特定した原因に応じた適切な対処を迅速に行うことができる。また、顔情報の取得に失敗した原因を明確に特定できない場合にも、顔情報の一部を取得できているか否かに応じて対処方法が変更されるので、より適切な対処を行うことができる。

次に、図７のフローチャートを参照して、運転者監視システム１１により実行される運転者監視処理の第２の実施の形態について説明する。なお、図４を参照して説明した運転者監視処理の第１の実施の形態では、１回のループ処理において、顔情報の取得に失敗した原因を１つ特定したら、その原因に対する対応動作を行い、ループの先頭に戻るようにしていたが、運転者監視処理の第２の実施の形態では、１回のループ処理において、複数の原因の特定を可能にし、各原因に対する対応動作を行うようにしている。

ステップＳ５１において、図４のステップＳ１の処理と同様に、顔情報が取得され、ステップＳ５２において、図４のステップＳ２の処理と同様に、顔情報の取得に成功したかが判定される。顔情報の取得に成功したと判定された場合、処理はステップＳ５３に進み、ステップＳ５３において、図４のステップＳ３の処理と同様に、正常動作が行われ、その後、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。

一方、ステップＳ５２において、顔情報の取得に失敗したと判定された場合、処理はステップＳ５４に進み、ステップＳ５４において、図４のステップＳ４の処理と同様に、車載部品が原因であるかが判定される。車載部品が原因であると判定された場合、処理はステップＳ５５に進み、ステップＳ５５において、図４のステップＳ５の処理と同様に、対応動作１が行われ、処理はステップＳ５６に進む。一方、ステップＳ５４において、車載部品が原因でないと判定された場合、ステップＳ５５の処理はスキップされ、処理はステップＳ５６に進む。

ステップＳ５６において、図４のステップＳ６の処理と同様に、顔の状態が原因であるかが判定され、顔の状態が原因であると判定された場合、処理はステップＳ５７に進み、図４のステップＳ７の処理と同様に、対応動作２が行われ、処理はステップＳ５８に進む。一方、ステップＳ５６において、顔の状態が原因でないと判定された場合、ステップＳ５７の処理はスキップされ、処理はステップＳ５８に進む。

ステップＳ５８において、図４のステップＳ８の処理と同様に、照射光が原因であるかが判定され、照射光が原因であると判定された場合、処理はステップＳ５９に進み、図４のステップＳ９の処理と同様に、対応動作３が行われ、処理はステップＳ６０に進む。一方、ステップＳ５８において、照射光が原因でないと判定された場合、ステップＳ５９の処理はスキップされ、処理はステップＳ６０に進む。

ステップＳ６０において、原因分析部１０４は、原因が一つでも判明したかを判定する。原因分析部１０４は、ステップＳ５２、Ｓ５４およびＳ５６の処理において、顔情報の取得に失敗した原因が、車載部品、運転者の顔の状態、または、照射光のうち少なくとも１つであることが判明している場合、原因が一つでも判明したと判定し、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。

一方、ステップＳ６０において、原因が一つも判明していないと判定された場合、処理はステップＳ６１に進み、図４のステップＳ１０の処理と同様に、顔情報の一部を取得できているかが判定される。顔情報の一部を取得できていると判定された場合、処理はステップＳ６２に進み、図４のステップＳ１１の処理と同様に、対応動作４が行われ、その後、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。一方、ステップＳ６１において、顔情報を全く取得できていないと判定された場合、処理はステップＳ６３に進み、図４のステップＳ１２の処理と同様に、対応動作５が行われ、その後、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。

運転者監視処理の第２の実施の形態では、運転者監視処理の第１の実施の形態と比較して、複数の原因により顔情報の取得に失敗している場合、顔情報を取得してから次の顔情報を取得するまでの１ループ内に実行する処理が増加する一方で、１ループ内で複数の原因を特定でき、それらに対する処置をより迅速に行うことができる。従って、運転監視処理を実行するCPUなどのプロセッサの能力が高い場合などに、運転者監視処理の第２の実施の形態を実行するようにすることが想定される。

なお、対応動作の負荷によって、残りの原因の分析を行うか否かを切り替えるようにしてもよい。例えば、対応動作１の負荷が重い場合、対応動作１を行った後、ループの先頭に戻り、対応動作２の負荷が軽い場合、対応動作２を行った後、次の照射光の状態に関する分析を行うようにしてもよい。

なお、運転者監視処理の第１の実施の形態および第２の実施の形態のいずれにおいても、運転者の顔の状態が原因であるか否かを判定する処理と、照射光が原因であるか否かを判定する処理の順番を入れ替えることが可能である。

また、照射光の状態が安定している場合、照射光が原因であるか否かを判定する処理を省略して、車載部品、運転者の顔の状態、および、それ以外の要因に顔情報を失敗した原因を分類するようにしてもよい。

さらに、例えば、顔情報の取得に成功しているのに、車載部品が運転者の顔の撮影を阻害する位置にあることが検出された場合、その車載部品の位置を検出するセンサが故障していると判定することも可能である。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した運転者監視システムの一実施の形態を示すブロック図である。カメラの設置位置の例を示す図である。エラー処理部の機能的構成を示す図である。運転者監視処理の第１の実施の形態を説明するためのフローチャートである。カメラのフレーム内へのステアリングホイールの進入の検出方法の例を説明するための図である。カメラのフレーム内へのステアリングホイールの進入の検出方法の他の例を説明するための図である。運転者監視処理の第２の実施の形態を説明するためのフローチャートである。コンピュータの構成の例を示すブロック図である。

符号の説明

１１運転者監視システム
２１カメラ
２２照明装置
２３センサ部
２４監視装置
２５車両制御装置
２６表示装置
２７音声出力装置
２８発光装置
３１顔情報取得部
３２監視部
３３エラー処理部
１０１車載部品位置検出部
１０２顔状態推測部
１０３照明光状態検出部
１０４原因分析部
１０５対処部

Claims

車両を運転する運転者の顔に関する顔情報を入力画像から取得する情報処理装置において、
前記車両に設けられ、所定の動きをすることにより少なくとも一部が前記入力画像を撮影する撮影装置のフレームの中に入ったり外に出たりする車載部品の位置を検出する車載部品位置検出手段と、
前記顔情報の推移に基づいて、前記運転者の顔の状態を推測する顔状態推測手段と、
検出された前記車載部品の位置、および、推測された前記運転者の顔の状態に基づいて、前記顔情報の取得に失敗した原因が、前記車載部品によるものか、前記運転者の顔の状態によるものか、または、それらとは異なる要因によるものかを分析する原因分析手段と
を含む情報処理装置。
前記入力画像に基づいて、前記運転者に照射されている照射光の状態を検出する照射光状態検出手段を
さらに含み、
前記原因分析手段は、検出された前記車載部品の位置、推測された前記運転者の顔の状態、および、検出された前記照射光の状態に基づいて、前記顔情報の取得に失敗した原因が、前記車載部品によるものか、前記運転者の顔の状態によるものか、前記照射光によるものか、または、それらとは異なる要因によるものかを分析する
請求項１に記載の情報処理装置。
前記顔情報の取得に失敗した原因に応じた対処を行う対処手段を
さらに含む請求項１に記載の情報処理装置。
前記対処手段は、前記顔情報の一部を取得できているか否かに応じて対処方法を変更する
請求項３に記載の情報処理装置。
車両を運転する運転者の顔に関する顔情報を入力画像から取得する情報処理装置の情報処理方法において、
前記車両に設けられ、所定の動きをすることにより少なくとも一部が前記入力画像を撮影する撮影装置のフレームの中に入ったり外に出たりする車載部品の位置を検出する車載部品位置検出ステップと、
前記顔情報の推移に基づいて、前記運転者の顔の状態を推測する顔状態推測ステップと、
検出された前記車載部品の位置、および、推測された前記運転者の顔の状態に基づいて、前記顔情報の取得に失敗した原因が、前記車載部品によるものか、前記運転者の顔の状態によるものか、または、それらとは異なる要因によるものかを分析する原因分析ステップと
を含む情報処理方法。
車両を運転する運転者の顔に関する顔情報の入力画像からの取得に失敗した原因を特定する処理をコンピュータに実行させるプログラムにおいて、
前記車両に設けられ、所定の動きをすることにより少なくとも一部が前記入力画像を撮影する撮影装置のフレームの中に入ったり外に出たりする車載部品の位置を検出する車載部品位置検出ステップと、
前記顔情報の推移に基づいて、前記運転者の顔の状態を推測する顔状態推測ステップと、
検出された前記車載部品の位置、および、推測された前記運転者の顔の状態に基づいて、前記顔情報の取得に失敗した原因が、前記車載部品によるものか、前記運転者の顔の状態によるものか、または、それらとは異なる要因によるものかを分析する原因分析ステップと
を含む処理をコンピュータに実行させるプログラム。