JP5207249B2 - 運転者状態監視システム - Google Patents

Description

本発明は、車両の運転者状態監視システムに係り、より具体的には、ステアリングホイールに取り付けられたカメラによる運転者撮影映像に基づいて運転者の状態を判断する運転者状態監視システムに関する。

世界各国は、車両の運行による交通事故死亡者を大幅に減らすため、先進安全自動車（ＡＳＶ：Advanced Safety Vehicle）の開発に多くの努力を注いでいる。
このような先進安全自動車は、交通事故死亡者を減らす車、運転者の疲労を減らす車、または運転し易い車であって、車両の安定性の向上と歩行者の保護のために事故を前もって防止することをその基本概念とする。そのために適用された安全技術には、運転者状態監視システム、夜間障害物感知システムおよび車両の危険状態警報システムなどがある。
これらの中でも、運転者状態監視システムは、カメラを用いて運転者の状態、例えば運転者の瞬きなどの挙動状態による映像を分析し、ブレーキスイッチや操舵スイッチなどの各種操作類スイッチの信号を用いて居眠り運転状態を判断した後、運転者に警報を発することにより居眠り運転を妨害し、安定した車両運行を可能にする。

運転者状態監視システムは、運転者の正面が撮影できるカメラを必要とし、カメラは、例えばクラスターの内部、ステアリングカラムの上端部、または車両内部のルームミラーに取り付けられる。
しかし、カメラがクラスターの内部またはステアリングカラムの上端部に取り付けられる場合には、ステアリングホイールが回転するとき、ステアリングホイールがカメラを遮るという問題点がある。一方、カメラが車両内部のルームミラーに取り付けられる場合には、ステアリングホイールの回転には影響されないが、ルームミラーが運転者の顔より上方に位置しており、上から下を見る映像として撮影されるほか、運転者の顔から遠く離れており、運転者の状態を細密に測定することが難しいという問題点がある。

特開２００４−２８９５２３号公報

本発明の目的は、ステアリングホイールに取り付けられるカメラによって撮影された運転者の映像に基づいて運転者の状態を判断する運転者状態監視システムを提供することにある。

上記目的を達成するために、本発明は、車両のステアリングホイールに取り付けられるカメラを用いて運転者の顔を撮影する映像撮影部と、前記映像撮影部から入力される撮影映像をステアリング角度だけ回転させて傾きを補正し、前記補正された映像から前記運転者の顔の特徴部を抽出して運転者の状態を判断する制御部とを含むことを特徴とする。

前記カメラは、前記車両のステアリングホイールの中央部で展開されるエアバックとは独立して取り付けられることを特徴とする。

前記ステアリング角度は、ステアリング角度センサー（ＳＡＳ：Steering Angle sensor）から入力される値を用いて算出されることを特徴とする。

前記補正された映像は、補正前映像の処理範囲を超える縁部を補正前映像のサイズに合わせて切り捨てることにより補正前の映像サイズに調整されることを特徴とする。

前記運転者の顔の特徴部は、前記補正された映像に対するヒストグラム分析、エッジ分析およびラベリング分析によって抽出されることを特徴とする。

前記運転者の顔の特徴部は前記運転者の目であり、前記目の開度値から前記運転者の状態を判断することを特徴とする。

前記目の開度値は、前記運転者の目の中央部と推定される箇所の濃度変化に対する微分値グラフにおける最大ピーク値と最小ピーク値との差を用いて算出されることを特徴とする。

前記運転者の顔の特徴部は前記運転者の目であり、前記目の瞬きの度合いから前記運転者の状態を判断することを特徴とする。

前記補正された映像は、揺れが補正されたものであることを特徴とする。

前記制御部は，ステアリング角度が所定角度以上になる場合には傾き補正と顔検出を遂行しないように制御することを特徴とする。

本発明の運転者状態監視システムによれば、ステアリングホイールに取り付けられるカメラを用いて運転者の状態を監視することができ、運転中にステアリングホイールの回転によってカメラ撮影視野が遮られないから、連続的な撮影が可能である。
また、ステアリングホイールの回転によって傾きが適用された映像を補正し、補正された映像から運転者の状態を判断することができる。
また、ステアリングホイールが回転するときにもカメラが遮られないため、直線道路だけでなく曲線道路で運行中の場合にも運転者の監視が可能である。
さらに、カメラが運転者の顔の正面側とさらに近くなって運転者の状態をより精密に判断することができるという効果がある。

本発明の運転者状態監視システムで運転者の映像を撮影するためのカメラの取り付け位置を説明するための図である。 （ａ）、（ｂ）、（ｃ）は、本発明の運転者状態監視システムにおいてカメラで撮影される運転者の顔の映像がステアリングホイールの回転に伴って回転することを示す図である。 本発明の運転者状態監視システムの構成を示す図である。 本発明の運転者状態監視システムの動作を示す流れ図である。 （ａ）、（ｂ）、（ｃ）は、本発明の運転者状態監視システムにおいてステアリングホイールの回転に伴って回転した映像を補正する各過程を示す図である。 （ａ）、（ｂ）、（ｃ）、（ｄ），（ｅ）は、本発明の運転者状態監視システムにおいて撮影された映像から顔領域を検出する各過程を示す図である。 （ａ）、（ｂ）、（ｃ）は、本発明の運転者状態監視システムにおいて目の開度値を算出して運転者の状態を判断する過程を説明するための図である。

以下に添付図面を参照しながら、ステアリングホイールに取り付けられたカメラによって撮影された運転者の映像に基づいて運転者の状態を判断する運転者状態監視システムの実施例についてさらに具体的に説明する。
図１は本発明の運転者状態監視システムで運転者の映像を撮影するためのカメラの取り付け位置を説明するための図である。
図１に示す通り、運転者を撮影するためのカメラ１０は、車両のステアリングホイール１１に取り付けられる。特に、カメラ１０がステアリングホイールの中央部１２に取り付けられる場合には、ステアリングホイールの中央部１２で作動するエアバックとは独立して取り付けられることが好ましい。ここで、独立して取り付けられるというのは、カメラがエアバックの作動から干渉されないように取り付けられることを意味する。例えば、図１に示すように、ステアリングホイール中央部１２のクッションカバーの上端に取り付けられてもよい。これにより、車両の衝突によってエアバックが作動してクッションが膨らむときにカメラがクッションと共に進むのを防止することができる。

カメラ１０をステアリングホイール１１に取り付けると、ステアリングホイール１１が回転するときにもカメラ１０が遮られないため、直線道路だけでなく曲線道路で運行中でも運転者の監視が可能である。また、カメラ１０が運転者の顔の正面側とさらに近くなって運転者の状態をより精密に判断することができる利点がある。
図２（ａ）、（ｂ）、（ｃ）は、本発明の運転者状態監視システムにおいてカメラで撮影される運転者の顔の映像がステアリングホイールの回転に伴って回転することを示す図である。
図２（ａ）は運転者が運転中にステアリングホイール１１を右に回した場合、
ステアリングホイール１１に取り付けられるカメラ１０で撮影される運転者の顔の映像を示す。（ｂ）はステアリングホイール１１を回転させなかった場合に撮影される運転者の顔の映像を示し、（ｃ）はステアリングホイール１１を左に回した場合に撮影される運転者の顔の映像を示す。

図２（ａ）、（ｂ）、（ｃ）から確認できるように、カメラがステアリングホイールに取り付けられる場合には、カメラがステアリングホイールと共に回転してカメラの映像に傾きが適用されたままで撮影される。カメラの回転によって傾いた映像を用いると、運転者の状態が正確に判断できないおそれもある。よって、以下の実施例ではカメラの映像の傾きを補正するためにステアリング角度を用いる方法について説明する。

図３は、本発明の運転者状態監視システムの構成を示す図であり、図４は、本発明の運転者状態監視システムの動作を示す流れ図である。
図４の段階Ｓ４０において、制御部３１は、映像撮影部３０から、本実施例によって車両のステアリングホイールに取り付けられたカメラで撮影された運転者の顔の映像の入力を受ける。この際、運転者の顔の映像は傾きが適用された映像であってもよい。
段階Ｓ４１において、ステアリング角度センサー（ＳＡＳ：Steering Angle Sensor）３３からステアリング角度情報の入力を受ける。センサー３３から入力されるステアリング角度情報は、実際の角度であって、°（度）またはラジアンの単位値で入力されてよい。
また、ステアリング角度情報は、時間に対する角速度の変化率である角加速度であって、秒二乗当りラジアン（ｒａｄ／ｓ^２）の単位値で入力される。もしステアリング角度情報が角加速度値の場合、段階Ｓ４２でこれを°またはラジアン単位の角度値に変換してステアリング角度（θ）を計算する。

段階Ｓ４４において、このステアリング角度（θ）を用いて、映像撮影部３０から入力された映像の傾きを補正することができる。以下、数１は回転変換式の一例を示す。

数１において、θはステアリング角度値を示す。ｘ１、ｙ１は補正前映像の各ピクセルに対する直交座標系による座標値を示し、ｘ２、ｙ２は補正後映像の各ピクセルに対する直交座標系による座標値を示す。ステアリングホイールが３６０°以上回転する場合にも、ステアリング角度θに対するｓｉｎ、ｃｏｓ値を用いるため、カメラが最終回転した角度だけ反映する場合と同一の結果を得ることができる。

傾き補正後の映像は、ステアリング角度θだけ映像が回転して映像のサイズが大きくなり得る。映像サイズは、映像処理の際に読み取るべき範囲であって、全体映像を含む四角形の形状で決定される。すなわち、補正前の映像をステアリング角度θだけ回転させると、映像の縁部が補正前映像の処理範囲を超過し、この縁部を含むように全体映像サイズが大きくなる。
本実施例によって傾きが補正された映像は、補正前映像のサイズと同一のサイズに調整できる。これは、例えば補正前映像の処理範囲を超える縁部を補正前映像のサイズに合わせて切り捨てることにより行われ得る。このことから、補正によって映像の全体サイズが大きくなることにより増加できる演算量を減らすことができる。

図５（ａ）、（ｂ）、（ｃ）は、本発明の運転者状態監視システムにおいてステアリングホイールの回転に伴って回転した映像を補正する各過程を示す図である。
図５（ａ）は、ステアリングホイールの回転によって傾いた映像を示す。（ｂ）は、ステアリング角度θを用いてその角度だけ補正した映像を示す。（ｃ）は、補正前映像のサイズに調整した映像を示す。
一方、ステアリングホイールの移動に伴ってカメラも移動するので、揺れが発生するおそれがある。この場合、カメラの揺れに伴って撮影された映像が被写体の残像によって奇麗でないうえ、激しいときには運転者の顔を検出することが難しいこともある。よって、このために揺れ補正機能のあるカメラを用いるとき、または傾いた映像を補正するとき、上述した回転補正処理と共に揺れ補正処理も施すことができる。

図４において、段階Ｓ４６では、傾きが補正された映像を用いて運転者の状態を判断するために顔の領域を検出する。この場合、映像の濃度差に対するヒストグラム分析によって顔の領域を検出することができる。
そして、エッジ、特に水平エッジの分析によって映像から水平特性の形状を検出して目、鼻、口などの顔の特徴部に対する候補群を探すことができる。また、目、鼻、口などの顔の各特徴部間の分布によるジオメトリ関係を比較するラベリング分析によって候補群から最終候補を抽出することにより、最終の顔領域を決定することができる。

図６（ａ）、（ｂ）、（ｃ）、（ｄ），（ｅ）は、本発明の運転者状態監視システムにおいて撮影された映像から顔領域を検出する各過程を示す図である。
図６（ａ）は、傾きが補正された映像を示し、（ｂ）は、ヒストグラム分析による映像処理結果を示す。（ｃ）は、特徴部の候補群を検出するエッジ、特に水平エッジの分析による映像処理結果を示し、（ｄ）は、各特徴部間のジオメトリを比較するラベリング分析によって獲得する映像処理結果を示す。（ｅ）は、最終決定された顔の範囲を表示する映像処理結果を示す。
図４において、段階Ｓ４８で検出された顔領域および顔内の各特徴部から運転者の状態を判断する。例えば、運転者の瞳の大きさ、すなわち目の開度値を算出して目の開閉有無を判別し、運転者が居眠り状態か否かを判断することができる。

図７（ａ）、（ｂ）、（ｃ）は、本発明の運転者状態監視システムにおいて目の開度値を算出して運転者の状態を判断する過程を説明するための図である。
図７（ａ）は、目検出範囲７０と目追跡範囲７１をヒストグラム分析結果に対して表示したものである。ここで、目追跡範囲７１は、目検出範囲７０内で目の一般な形状、例えば楕円形の形状と目の大きさなどを考慮して決定できる。
（ｂ）は、目追跡範囲７１内の目の形状７２において瞳中央部と判断されるｘ軸座標値ｘ１に対してｙ軸に沿って変化する濃度を示す濃度値グラフ７３と、濃度値グラフに基づく濃度変化に対する微分値グラフ７４を示す。微分値グラフ７４から濃度変化幅を知ることができる。濃度変化幅の最も大きい、最小ピーク値（Ｑ）７５と最大ピーク値（Ｒ）７６との差から目の開度値を判断することができる。

図７（ｃ）は、目を開いているときと推定される場合と、目をほぼ閉じているときと推定される場合の目の開度値を比較したものである。すなわち、目の開度値が一定の基準値以上に大きい場合（７７）は目を開いているときと判断し、目の開度値が一定の基準値以下に小さい場合（７８）は目をほぼ閉じているときと判断することができる。
上述した方法以外にも、運転者の目から居眠りの状態を判断する多様な方法が使用できる。例えば、運転者が目を閉じてから開く動き、すなわち瞬きが発生するか否かを判別し、周期的に変わらない場合には運転者が居眠り状態であることを決定することもできる。
この他にも、運転の妨害になる多様な場合を設定して安全運転を誘導することができる。例えば、運転者の顔範囲の左右側面に人体形状以外のもの、例えば携帯電話と推定されるものが検出されるか否かを判別し、運転者が運転中に通話状態であるか否かを判断することができる。

段階Ｓ４８における運転者の状態を判断した結果に基づき、出力部３２では各状態に対する措置を取る。例えば、運転者が居眠り運転状態であると判断される場合には、居眠り運転であることを運転者に警告することができる。或いは、運転者がハンズフリーなしの通話状態であると判断される場合には、通話中の運転であることを運転者に警告することができる。
一方、 制御部３１は，ステアリング角度が所定角度以上になる場合には傾け補正と顔検出を遂行しないように制御できる． この場合システムの信頼度がもっと高まる。何となれば、左右回轉時に運転者は居眠りの状態に確率は低いにもかかわらず， 補正角度が大きに応じて， 判断誤謬を犯する確率は高いからである。

以上、本発明に関する好ましい実施例を説明したが、本発明は前記実施例に限定されず、本発明の属する技術範囲を逸脱しない範囲での全ての変更が含まれる。

１０ カメラ
１１ ステアリングホイール
３０ 映像撮影部
３１ 制御部
３２ 出力部
３３ ＳＡＳ

Claims (10)

1. 車両のステアリングホイールに取り付けられるカメラを用いて運転者の顔を撮影する映像撮影部と、
   前記映像撮影部から入力される撮影映像をステアリング角度だけ回転させて傾きを補正し、前記補正された映像から前記運転者の顔の特徴部を抽出して運転者の状態を判断する制御部とを含むことを特徴とする運転者状態監視システム。
2. 前記カメラは、前記車両のステアリングホイールの中央部で展開されるエアバックとは独立して取り付けられることを特徴とする請求項１に記載の運転者状態監視システム。
3. 前記ステアリング角度は、ステアリング角度センサー（ＳＡＳ：Ｓｔｅｅｒｉｎｇ Ａｎｇｌｅ ｓｅｎｓｏｒ）から入力される値を用いて算出されることを特徴とする請求項１に記載の運転者状態監視システム。
4. 前記補正された映像は、補正前映像の処理範囲を超える縁部を補正前映像のサイズに合わせて切り捨てることにより補正前の映像サイズに調整されることを特徴とする請求項１に記載の運転者状態監視システム。
5. 前記運転者の顔の特徴部は、前記補正された映像に対するヒストグラム分析、エッジ分析およびラベリング分析によって抽出されることを特徴とする請求項１に記載の運転者状態監視システム。
6. 前記運転者の顔の特徴部は前記運転者の目であり、前記目の開度値から前記運転者の状態を判断することを特徴とする請求項１に記載の運転者状態監視システム。
7. 前記目の開度値は、前記運転者の目の中央部と推定される箇所の濃度変化に対する微分値グラフにおける最大ピーク値と最小ピーク値との差を用いて算出されることを特徴とする請求項６に記載の運転者状態監視システム。
8. 前記運転者の顔の特徴部は前記運転者の目であり、前記目の瞬きの度合いから前記運転者の状態を判断することを特徴とする請求項１に記載の運転者状態監視システム。
9. 前記補正された映像は、揺れが補正されたものであることを特徴とする請求項１に記載の運転者状態監視システム。
10. 前記制御部は，ステアリング角度が所定角度以上になる場合には傾き補正と顔検出を遂行しないように制御することを特徴とする請求項１に記載の運転者状態監視システム。

Images