JP4337131B2

JP4337131B2 - 移動体制御装置

Info

Publication number: JP4337131B2
Application number: JP16421299A
Authority: JP
Inventors: 忠幸新部
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1999-06-10
Filing date: 1999-06-10
Publication date: 2009-09-30
Anticipated expiration: 2019-06-10
Also published as: JP2000351337A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体制御装置に関し、例えば、代表的な移動体である自動車に適用して好適な制御装置に関する。
【０００２】
【従来の技術】
従来より、代表的な移動体である自動車においては、予防安全の観点から自動車を制御する制御装置の一例として、ドライバ（操作者）の脇見に対する警報装置が提案されており、例えば、特開平６−３２１０１１号には、ドライバの頭部の目の周辺の領域を撮影した結果に基づいて該ドライバの視線方向を検出し、その検出結果に応じて、車両に設けられた表示装置の制御を行う技術が提案されている。
【０００３】
また、特開平６−２７０７１１号には、ドライバの頭部の目の周辺の領域を撮影した結果に基づいて該ドライバの瞳孔形状を検出し、その検出結果に基づいて該ドライバの覚醒状態を判定し、覚醒していない居眠り状態等のときには警報を発報する装置が提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の従来例においては、検出したある瞬間のドライバの状態に基づいて制御が行われるため、ドライバに違和感を与えることが予想される。また、ドライバは、覚醒状態にあっても、恐怖や驚き等により過度な緊張状態に陥ったときには、適切な運転操作を行えない場合もある。
【０００５】
そこで本発明は、操作者の緊張状態の変化に応じて、移動体を的確に制御する移動体制御装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る移動体制御装置、以下の構成を特徴とする。
【０００７】
即ち、移動体の操作者の頭顔部を撮影するカメラと、前記カメラからの映像信号に基づいて、前記操作者の瞳孔径に関する値を検出する瞳孔径検出手段と、前記移動体の外部環境を検出する外部環境検出手段と、前記外部環境検出手段により検出された外部環境が所定の状態であり、且つ前記瞳孔径検出手段により検出された瞳孔径の変化速度が所定値より大きいときに、前記操作者が緊張状態にあると判定する緊張状態判定手段と、前記緊張状態判定手段による判定結果に基づいて、前記移動体を制御する制御手段と、を備え、前記移動体は、車両であり、前記外部環境検出手段は、前記移動体が位置する周囲の環境が暗い環境において前記移動体と対向車とがすれ違うことを検出可能な、障害物検出手段を含み、前記所定の状態が、前記移動体が位置する周囲の環境が暗い環境であって、前記移動体と対向車とがすれ違う状態であることを特徴とする。
【０００８】
また、例えば前記外部環境検出手段は、検出すべき外部環境として、前記移動体の走行環境及び／または運転状態を検出する手段を含み、前記制御手段は、前記外部環境検出手段により検出された前記移動体の走行環境及び／または運転状態に関する緊急度の異なる複数種類の情報を報知すると共に、前記緊張状態判定手段により前記操作者が緊張状態にあると判定されたときには、前記走行環境及び運転状態に関する複数種類の情報のうち、緊急度の高い情報を警報として選択的に報知する報知手段含むと良い。
【００１１】
【発明の実施の形態】
以下、本発明に係る移動体制御装置を、代表的な移動体である自動車に適用した実施形態として、図面を参照して詳細に説明する。
【００１２】
［第１の実施形態］
図１は、第１の実施形態における移動体制御装置を搭載する自動車のシステム構成を示す図である。また、図２は、図１に示す自動車の運転席を示す図である。
【００１３】
図１及び図２において、１は、後述する制御を行うコントロールユニットである。２は、前方の障害物との距離を検出するレーザレーダである。３は、前方を撮影する赤外線カメラである。４は、所定の走行位置検出等を行うべく道路上に設けられた磁気マーカからの磁気を検出する磁気マーカセンサである。５は、例えばサイドミラーや車体後方に設けられ、車両側方や後方を撮影するラインＣＣＤ(Charge Coupled Device)である。６は、道路上の白線等によって走行車線を検出すべく、車両前方を撮影する走行車線検出用ＣＣＤカメラである。７は、走行速度を検出する車速センサである。８は、車両の向きや横方向へのＧを検出すべく、ヨー角を検出するヨーレートセンサである。９は、スロットル開度を検出するスロットルセンサである。１０は、ブレーキの操作状態を検出するブレーキスイッチである。１１は、ステアリングホイールの操舵角度を検出する操舵角センサである。１２は、ウインカスイッチの操作状態を検出するウインカセンサである。１３は、後述する如くドライバの頭顔の位置や注視点の検出を行うドライバモニタユニットである。１４は、地図情報と受信したＧＰＳ（Global Positioning System）信号等に基づいて、車両の現在位置の検出や目的地までの経路誘導を行うナビゲーションユニットである。１５は、交通情報、前方の障害物に関する情報、或いは横断歩道を歩行している歩行者の有無に関する情報等を道路上に設けられた無線機と通信する路車間通信ユニットである。２１は、ナビゲーションユニット１４の出力結果や各種の情報提供を行う液晶表示器（ＬＣＤ）やヘッドアップディスプレイ（ＨＵＤ）等のディスプレイである。２２は、各種の音声出力や後述する脇見運転に対する情報提供・警報報知を行うスピーカである。２３は、例えばステアリングホイールのコラムカバーに設けられ、ドライバの頭顔部に赤外光を投光する赤外投光ランプである。そして、２４は、例えばステアリングホイールのコラムカバーに設けられ、赤外投光ランプ２３による頭顔からの反射光を撮影する赤外投光領域撮像カメラである。
【００１４】
ここで、上述したシステム構成における制御の機能構成について説明する。
【００１５】
図３は、第１の実施形態に係る移動体制御装置における制御機能の構成を示すブロック図であり、本実施形態において以下に説明する各モジュールは、コントロールユニット１が備える不図示のＣＰＵが実行するソフトウエアの機能単位を表わす。
【００１６】
同図に示すように、コントロールユニット１の外部環境判断モジュールでは、レーザレーダ２、赤外線カメラ３、磁気マーカセンサ４、ラインＣＣＤ５、走行車線検出用ＣＣＤカメラ６の各出力信号と、ナビゲーションユニット１４の検出結果、並びに路車間通信ユニット１５による入手情報とを用いて、車両の外部環境のセンシングが行われる。尚、これら各出力信号を用いた外部環境のセンシングには、一般的な方法を採用するものとし、本実施形態における詳細な説明は省略する。また、本実施形態では、一例として上記の如く複数種類の検出信号を利用して外部環境のセンシングを行うが、これに限られるものではなく、それら複数種類の検出信号のうち一部の検出信号を適宜利用してセンシングを行っても良い。
【００１７】
また、コントロールユニット１の危険判断モジュールでは、車両状態のセンシングとして、車速センサ７、ヨーレートセンサ８、スロットルセンサ９、ブレーキスイッチ１０、操舵角センサ１１、そしてウインカセンサ１２の各出力信号と、路車間通信ユニット１５による入手情報とを用いて、危険状態の判断が行われる。この危険判断モジュールでは、切迫した危険状態、即ちドライバによる危険回避の余裕が無いと判断したときには、ドライバによる危険回避を待つことなく、ブレーキ操作、スロットル操作、或いはオートマチックトランスミッション（ＡＴ）の変速操作による自動制動、或いは自動操舵等の車両制御を行う。尚、これら各出力信号を用いた危険状態の判断、並びに車両制御には、一般的な方法を採用するものとし、本実施形態における詳細な説明は省略する。
【００１８】
また、コントロールユニット１のドライバ状態判断モジュールでは、ドライバモニタユニット１３にて検出されたドライバの注視点、頭顔位置、そして瞳孔径の検出結果と、検出した瞳孔径の変化速度（瞳孔径の単位時間あたりの変化量）の検出結果とを用いて、ドライバの状態判断が行われる（詳細は後述する）。
【００１９】
そして、コントロールユニット１の情報提供・警報発報判定モジュールでは、危険判断モジュールによる判断結果と、ドライバ状態判断モジュールによる判断結果とに基づいて、情報提供・警報発報の要否判断や報知態様の切り替え判断が行われると共に、その判断結果に応じたディスプレイ２１への情報表示と、スピーカ２２による警報発報とが行われる（詳細は後述する）。
【００２０】
＜注視点の検出＞
次に、ドライバモニタユニット１３によるドライバの注視点の検出方法について説明する。
【００２１】
図４は、第１の実施形態におけるドライバモニタユニットのシステム構成を示すブロック図であり、本実施形態において以下に説明する各モジュールは、ドライバモニタユニット１３が備える不図示のＣＰＵが実行するソフトウエアの機能単位を表わす。
【００２２】
同図に示すように、赤外投光ランプ２３の投光部分と、赤外投光領域撮像カメラ２４の受光部には、赤外透過フィルタが設けられており、ドライバモニタユニット１３は、赤外投光領域撮像カメラ２４から出力される映像信号に基づいて、画像処理モジュールにおいて一般的な２値化処理や特徴点の抽出処理を行うことによってドライバの頭顔部の画像を抽出し、その抽出した頭顔部の画像に基づいて、注視点検出モジュールにおいてドライバの注視点の検出すべく、頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、そして瞳孔径Ｌの検出を行う。
【００２３】
次に、ドライバモニタユニット１３の機能について、図５から図８を参照して説明する。
【００２４】
図５は、第１の実施形態における注視点検出処理のフローチャートを示す図であり、画像処理モジュール及び注視点検出モジュールにより実現される機能を表わす。
【００２５】
同図において、ステップＳ５１：赤外投光ランプ２３によってドライバの頭顔部に投光を行うと共に、赤外投光領域撮像カメラ２４によって撮影した当該頭顔部のアナログ映像信号を画像処理モジュールに取り込み、その映像信号に一般的な２値化処理を施すことにより、ピクセル毎のデジタル多値画像データに変換する。
【００２６】
ステップＳ５２：入手した多値画像データから、一般的な画像処理手法を用いてドライバの顔画像部分を抽出し、その抽出した顔画像部分に含まれる複数の特徴点（例えば目頭、目尻、鼻孔等）の位置を検出する。
【００２７】
ステップＳ５３：抽出した顔画像部分の画像データから、赤外投光によってドライバの眼球の角膜に発生している反射点の位置と瞳孔の位置とを、一般的な画像処理手法を用いて検出する。
【００２８】
ステップＳ５４：検出した瞳孔の位置に対応する画像データの水平方向のピクセル数のうちの最大値を、瞳孔径Ｌとして検出する。ここで、水平方向に注目するのは、垂直方向に注目した場合にはドライバによる「瞬き」が影響することによって正確な瞳孔径が検出できないからである。
【００２９】
ステップＳ５５：ステップＳ５２で検出した特徴点の位置に基づいて、所定の３次元座標空間におけるドライバの頭顔面の傾きを算出することにより、ドライバの頭顔が向けられている方向（頭顔方向）Ｄｓを計測する。
【００３０】
ステップＳ５６：ステップＳ５３で検出した角膜反射点と、ステップＳ５５で検出した頭顔方向Ｄｓとに基づいて、ドライバの視線の方向（注視方向）Ｄｓを検出する。
【００３１】
ステップＳ５７：ステップＳ５６で検出した注視方向Ｄｓと、予め記憶している車両内外の所定位置（前方位置、ルームミラー取り付け位置、左右のサイドミラー取り付け位置等）とに基づいて、ドライバの注視点を検出する。
【００３２】
上述した注視点検出処理は、例えば、ドライバモニタユニット１３のマイクロコンピュータ（不図示）の制御周期毎に行われ、検出された頭顔方向Ｄｈ、視線方向Ｄｓ、瞳孔径Ｌ、そして注視点の各値は、当該マイクロコンピュータのＲＡＭ等に所定の検出回数分だけ時系列に記憶される。
【００３３】
＜コントロールユニット１による制御処理＞
次に、コントロールユニット１における制御処理について説明する。
【００３４】
本実施形態では、ドライバモニタユニット１３にて検出されたドライバの注視点、頭顔位置、そして瞳孔径の検出結果と、検出した瞳孔径の変化速度（瞳孔径の単位時間あたりの変化量）の検出結果とを用いて、ドライバの状態判断を行う。はじめに、刻々と変化する人の瞳孔径と、緊張状態との関係について説明する。
【００３５】
人の瞳孔径は、一般に、２．２ｍｍから１３ｍｍ程度の範囲で変化し、興味の対象に対しては瞳孔径が拡大することが知られており、例えば、車線変更等の運転操作に先立って車両側方の障害物の有無を判断しているドライバの瞳孔径は、サイドミラー等を注視しているときに大きく変化する。ここで、ドライバの頭顔の動きと瞳孔の動きとに関する実験結果の一例を、図６を参照して説明する。
【００３６】
図６は、車線変更時のドライバの頭顔の動きと瞳孔の動きに関する実験結果を示す図である。
【００３７】
同図に示すように、車線変更の可否を判断する合流終了前３０秒から１５秒暗いまでの間においては、ドライバの頭顔は車両後方を確認するために何度も水平方向に大きく向けられ、且つ車線変更が終了するまでの間に渡って瞳孔が左右に激しく動いてサイドミラー及びルームミラーを注視していることが判ると共に、一方、垂直方向に対する頭顔部及び瞳孔の動きには大きな変化が見られないことが判る。これにより、被験者の車線変更時の運転操作には、脇見等の無駄な目視が含まれていなかったと判断できる。即ち、ドライバの注視点が前方に向けられているときであっても、瞳孔径が所定の基準値より小さいときには、運転操作に対する注意力が散漫になっていると判断することができ、また、ドライバの注視点が前方に向けられていないときであっても、後側方の目視確認をすべくサイドミラー等を凝視する等によって瞳孔径が所定の基準値より大きい場合もあるため、ドライバの瞳孔径の検出結果のみによってはそのドライバの運転操作に対する緊張状態を一概に判断することはできない。
【００３８】
次に、ドライバの瞳孔径の大きさが、周囲の環境（運転環境）に応じて変化することについて説明する。
【００３９】
図７及び図８は、実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【００４０】
図７では、計測時間１３０から３８０において周囲を急に明るくしたことに応じて、被験者の瞳孔径（ピクセル数）が急速に縮小していることが判る。この状況は、例えば夜間やトンネル内でのすれちがい等の暗い走行環境において対向車線を走行する他車両のヘッドライトの光がドライバの目に入射した場合に相当する。
【００４１】
また、図８では、計測時間１５０以降において被験者を驚かせたことにより、瞳孔径（ピクセル数）が大きくなると共に激しく上下に変化していることが判る。この状況は、例えば走行車線前方への他車両の急な割り込み等により、ドライバが緊張や不安（恐怖）を感じた場合に相当する。
【００４２】
そこで、本実施形態では、車両外部の運転環境の一例である外部の明暗状態に応じてドライバの瞳孔径が変化すること、そして、驚きや不安（恐怖）を感じたドライバの瞳孔径が激しく変化することに着目して、コントロールユニット１による情報提供・警報発報の制御を行う。
【００４３】
図９は、第１の実施形態における移動体制御装置としてのコントロールユニットによる制御処理を示すフローチャートであり、図１に示した当該ユニットの外部環境判断モジュール、危険判断モジュール、ドライバ状態判断モジュール、そして情報提供・警報発報判定モジュールにより実現される機能を表わす。
【００４４】
同図において、ステップＳ１：レーザレーダ２、赤外線カメラ３、磁気マーカセンサ４、ラインＣＣＤ５、走行車線検出用ＣＣＤカメラ６の各出力信号とを用いて、一般的な手法により、車両の外部環境のセンシングを行う。
【００４５】
ステップＳ２：ナビゲーションユニット１４等から現在の時刻情報を入手し、その入手した時刻に基づいて、周囲の明暗状態を判定する。即ち、入手した時刻情報が、１９時から４時頃までであれば暗環境、５時から１８時頃までであれば明環境と判断する。また、好ましくは時刻情報と共に月日情報を入手し、季節による明暗状態の変動を考慮すると良い。
【００４６】
ステップＳ３：ナビゲーションユニット１４により（路車間通信ユニット１５による入手情報を利用しても良い）、一般的な手法により、車両の現在の走行位置、並びに進路上の道路の形状等を検出する。
【００４７】
ステップＳ４：車速センサ７、ヨーレートセンサ８、スロットルセンサ９、ブレーキスイッチ１０、操舵角センサ１１、そしてウインカセンサ１２の各出力信号を用いて、一般的な手法により、現在の車両状態（直進や旋回状態等）を検出する。
【００４８】
ステップＳ５：路車間通信ユニット１５を介して、道路側の設備より道路に関する情報（カーブの半径、速度規制情報、障害物情報等）を入手する。
【００４９】
ステップＳ６：ステップＳ１からステップＳ５で検出した結果に基づいて、一般的な手法（例えば、上記の各ステップにおける検出結果を数値（ポイント）化し、それら数値の積または和を採る等）により、危険な状態（例えば、前方を走行する（或いは停車中の）他車両への追突や、周囲の障害物との衝突等が発生し得る状態等）か否かを判定する。このとき、判定結果が所定の条件を満足するときには、ドライバによる危険回避の余裕が無いと判断し、ブレーキ操作、スロットル操作、或いはオートマチックトランスミッション（ＡＴ）の変速操作による自動制動、或いは自動操舵等の車両制御を行う。
【００５０】
ステップＳ７，ステップＳ８：ステップＳ６における判定結果により、ドライバによる危険回避の余裕が有ると判断したときには、情報提供・警報発報の要否を判定し（ステップＳ７）、その判定結果がＮＯのとき（必要無いとき）にはリターンし、ＹＥＳのとき（必要なとき）にはステップＳ９に進む（ステップＳ８）。
【００５１】
ステップＳ９：図５を参照して上述したドライバモニタユニット１３より、所定の検出回数分だけ時系列に記憶されているドライバの頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、瞳孔径Ｌ、そして注視点の検出結果を入手する（尚、本実施形態では、少なくとも瞳孔径Ｌを入手すれば良い）。
【００５２】
ステップＳ１０，ステップＳ１１：ドライバの緊張状態を表わす指標として、ステップＳ９で入手した瞳孔径Ｌの単位時間あたりの変化量（変化速度ＶＬ）を算出し（ステップＳ１０）、その算出した変化速度ＶＬの絶対値が所定の基準値ＶＳより大きいか否かを判断し（ステップＳ１１）、ＹＥＳ（｜ＶＬ｜＞ＶＳ）のときには、ドライバの緊張状態がある基準状態を越えてかなり高まっている、或いは精神的に動揺しているために運転操作に対する精神的な余裕が低減していると判断してステップＳ１２に進み、ＮＯ（｜ＶＬ｜≦ＶＳ）のときには、ドライバの緊張状態はそれ程高まっておらず、運転操作について平常時の精神的な余裕が有ると判断してステップＳ１５に進む。ここで、基準値ＶＳとしては、ドライバに運転に対する精神的な負担の少ない走行環境下であって、且つ運転開始初期のタイミングで実験的に求めたドライバの平均的な瞳孔径の変化速度を使用する。
【００５３】
ステップＳ１２：所定の外部環境として、例えば、ステップＳ２で検出した車両周囲の明暗状態が夜間である、或いはステップＳ３で検出した自車両の現在位置がトンネル内であるか否かを判断する。この判断においてＹＥＳのとき（自車両が所定の外部環境下にあるとき）には、ステップＳ１１で瞳孔径の変化速度ＶＬが大きく変化したのは、夜間或いはトンネル内において短期間に対向車のヘッドライトの光が頻繁に交差しながら入射する状態にドライバの目が順応しようとしたためである、及び／または係る環境において対向車とすれ違うための運転操作によりドライバの緊張が高まったためだと推定してステップＳ１３に進み、ＮＯのとき（自車両が所定の外部環境下にはないとき）には、ステップＳ１５に進む。このとき、対向車とのすれ違いの判定を確実に行うためには、レーザレーダ２や赤外線カメラ３の検出結果を利用すれば良い。
【００５４】
ステップＳ１３：ステップＳ８で情報提供・警報発報が必要と判断した情報のうち、ディスプレイ２１に表示すべき視覚情報を、スピーカ２２による音声情報による報知に切り替えるように設定する。
【００５５】
ステップＳ１４：ステップＳ８で情報提供・警報発報が必要と判断した情報が優先的に報知されるように、優先度が低い情報（例えば、ＧＰＳ信号に基づいて検出された現在位置情報、エンターテイメント性が高い音楽等の情報、或いは瞬間燃費等の緊急性が低い情報）の報知を中止するように設定する。
【００５６】
ステップＳ１５：ステップＳ１３及びステップＳ１４にて報知態様を設定したときにはその設定した条件に従って、一方、ステップＳ１１或いはステップＳ１２でＮＯと判断したときには本来の報知態様のままで、ステップＳ８で情報提供・警報発報が必要と判断した情報をドライバに報知し、リターンする。
【００５７】
尚、上述した図９の制御処理では、車両外部の運転環境の一例として、ステップ１２では自車両外部の明暗状態を判断したが、これに限られるものではなく、例えば、ステップＳ３乃至ステップＳ５の処理によって入手可能な自車両前方の道路状態（急なカーブ、渋滞等）、或いは操舵角の変化等を考慮することにより、ドライバの緊張が高まっている、或いは緊張が高まりつつあることを推定しても良い。
【００５８】
このように、本実施形態によれば、ステップＳ６における判定結果においてドライバによる危険回避の余裕が有ると判断した場合において、ドライバの瞳孔径の変化速度ＶＬが大きく変化すると共に、自車両が所定の外部環境の一例である暗状態にあるときには、ドライバの緊張が高まり、運転操作に対する精神的な余裕が少なくなると判断して、情報提供・警報発報の報知態様の切り替えや、優先度の低い情報の報知の中止を的確に行うことができる。即ち、操作者の緊張状態の変化に応じて、移動体を的確に制御することができ、予防安全性を向上することができる。
【００５９】
［第２の実施形態］
次に、上述した第１の実施形態に係る移動体制御装置を基本とする第２の実施形態を説明する。以下の説明においては、第１の実施形態と同様な構成については重複する説明を省略し、本実施形態における特徴的な部分を中心に説明する。
【００６０】
図７及び図８を参照して説明したように、ドライバの瞳孔径は、周囲の環境変化や緊張状態の変化に応じて刻々と変化するが、ある対象に対して驚きや恐怖を感じるあまり、ドライバの緊張の度合が極度に高まると、その緊張の対象に視線が向けられたまま、或いはまぶたを閉じてしまい、危険回避のための運転操作を行えない場合が想定される。
【００６１】
そこで、本実施形態では、このような外部環境の発生を、図１及び図２の如く設けられた各種センサ出力を利用して推定すると共に、ドライバの瞳孔径の大きさの変化（まぶたが閉じられて瞳孔径が検出できない場合を含む）によって緊張の度合を推定し、その推定した結果、危険回避のための運転操作を行えないと推定した場合には、車両の走行を制動する。
【００６２】
＜コントロールユニット１による制御処理＞
図１０は、第２の実施形態における移動体制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【００６３】
同図において、ステップＳ２１からステップＳ２５までの各ステップは、図９のステップＳ１からステップＳ５までの処理と同様なため、説明を省略する。
【００６４】
ステップＳ２６，ステップＳ２７：ステップＳ２１からステップＳ２５で検出した結果に基づいて、一般的な手法（例えば、上記の各ステップにおける検出結果を数値（ポイント）化し、それら数値の積または和を採る等）により、前方を走行する（或いは停車中の）他車両への追突が発生し得る状態か否かを判定し（ステップＳ２６）、追突の危険性が有るとき（ステップＳ２７でＹＥＳのとき）にはステップＳ２８に進み、追突の危険性がないとき（ステップＳ２７でＮＯのとき）にはリターンする。
【００６５】
ステップＳ２８：図９のステップＳ９と同様に、ドライバモニタユニット１３より、所定の検出回数分だけ時系列に記憶されているドライバの頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、瞳孔径Ｌ、そして注視点の検出結果を入手する（尚、本実施形態では、少なくとも瞳孔径Ｌを入手すれば良い）。
【００６６】
ステップＳ２９：ドライバモニタユニット１３より入手した瞳孔径Ｌが、所定の基準値Ｓと係数Ｋとの積より大きいか否かを判断する。
【００６７】
ここで、基準値Ｓには、運転操作中に驚きや恐怖を感じて緊張状態が高まったときのドライバの平均的な瞳孔径を実験的に求めて使用する。
【００６８】
また、係数Ｋには、ステップＳ２３或いはステップＳ２４で検出した走行車線の旋回半径Ｒに応じて変化する値が出力されるマップ（テーブル）として予め設定しておく。即ち、旋回半径Ｒが小さいときほどドライバは運転に集中しなければならないため、ドライバの瞳孔径は一般に大きくなる。そこで、このような場合には、マップから出力される係数Ｋが大きくなるように設定することにより、外部環境の変化に応じて変化するドライバの運転操作に対する精神的な負担を考慮する。
【００６９】
そして、ステップＳ２９では、瞳孔径Ｌが所定の基準値Ｓと係数Ｋとの積より大きいか否かを判断することにより、ドライバの緊張状態を判断する。この判断において、ＹＥＳのとき（瞳孔径Ｌが算出した積より大きいとき）には、ドライバの緊張状態が過度に高まっており、危険回避のための運転操作を行う精神的余裕が無いと判断してステップＳ３２に進み、ＮＯのとき（瞳孔径Ｌが算出した積より小さいとき）にはステップＳ３０に進む。
【００７０】
ステップＳ３０：ステップＳ２９の判断において瞳孔径Ｌが算出した積より小さいときには、ステップＳ２８にて瞳孔径Ｌを所定の制御周期にわたって検出できない状態が継続しているか否かを判断し、ＹＥＳのとき（瞳孔径Ｌが検出できな状態が継続しているとき）には、ドライバが恐怖のあまりまぶたを閉じてしまい、危険回避のための運転操作を行う精神的余裕が無いと判断してステップＳ３２に進み、ＮＯのとき（瞳孔径Ｌが算出した積より小さいとき）には、危険回避のための運転操作がドライバ自身によって行われる可能性が高いと判断してステップＳ３１に進む。
【００７１】
ステップＳ３１：危険回避のための運転操作が必要なことをドライバに報知すべく、追突の可能性を報知する情報提供・警報発報を、ディスプレイ２１及び／またはスピーカ２２により行い、リターンする。
【００７２】
ステップＳ３２：危険回避のために必要な運転操作を自動的に行うことにより、自車両を制動し、リターンする。制動の方法としては、ブレーキ操作、スロットル操作、或いはオートマチックトランスミッション（ＡＴ）の変速操作による自動制動が挙げられ、自動操舵等の車両制御を行っても良い。
【００７３】
尚、上述した図１０の制御処理において、ステップＳ２８にて瞳孔径Ｌを所定の制御周期にわたって検出できない状態としては、ドライバが恐怖のあまりまぶたを閉じてしまった状態を想定したが、この状態には、ドライバが居眠りをすることによりまぶたを閉じてしまった状態を含んでも良い。これは、ドライバが居眠りをしているときにも、ドライバは危険回避のための適切な運転操作を行えないことが予想されるため、ドライバが恐怖のあまりまぶたを閉じてしまった場合と同様にステップＳ３２において自車両を自動制動すべきだからである。
【００７４】
＜第２の実施形態の変形例＞
尚、ステップＳ２９で使用する係数Ｋは、走行車線の旋回半径Ｒに応じた値に限られるものではなく、本変形例で説明するように、ステップＳ２２で判定可能な明暗状態に応じた値としても良い。
【００７５】
図１１及び図１２は、第２の実施形態における移動体制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図であり、図１１では、明環境及び暗環境のそれぞれについて、旋回半径が大きくなるのに応じて、略直線とみなすＲ＝１０００ｍまで次第に係数Ｋが小さくなる特性を示しており、図１２では、明環境及び暗環境のそれぞれについて、旋回半径が大きくなるのに応じて、略直線とみなすＲ＝１０００ｍまで係数Ｋが段階的に小さくなる特性を示している。即ち、暗環境においては一般に運転操作に負担が掛かり、瞳孔径が大きくなるため、そのような暗環境の場合には、ドライバの緊張状態を判断するしきい値（基準値Ｓと係数Ｋとの積）を大きな値にするために、係数Ｋが明環境のときより大きくなるように図１１または図１２を設定している。尚、図１１及び図１２では、明環境及び暗環境の２通りを例示しているが、それら２種類の特性の間に挟まれる薄暮の環境等を複数設定すると良い。
【００７６】
尚、上述した本変形例では、周囲の運転環境の一例として明暗状態を考慮したが、これに限られるものではなく、例えば、車速が早い場合、荒天の場合、自車両の周囲に他車両が多く存在する渋滞等の場合には、何れの場合にも運転操作に対する精神的な負担が高く、瞳孔径が大きくなる。そこで、ステップＳ２９において参照する図１１（図１２）のマップに、明暗の特性の代わりに、車速センサ７により検出した車速、ワイパースイッチの操作状態、或いは路車間通信ユニット１５及び／またはナビゲーションユニット１４により入手可能な周囲の他車両の状態を表わす特性を記憶しておき、そのマップから係数Ｋを求めるように構成しても良い。
【００７７】
このように、第２の実施形態及びその変形例によれば、ドライバの瞳孔径の大きさの変化（まぶたが閉じられて瞳孔径が検出できない場合を含む）によって緊張の度合を推定し、その推定した結果、危険回避のための運転操作を行えないと推定した場合には、車両の走行を的確に制動することができる。即ち、操作者の緊張状態の変化に応じて、移動体を的確に制御することができ、予防安全性を向上することができる。
【００７８】
［第３の実施形態］
次に、上述した第１の実施形態に係る移動体制御装置を基本とする第３の実施形態を説明する。以下の説明においては、第１の実施形態と同様な構成については重複する説明を省略し、本実施形態における特徴的な部分を中心に説明する。
【００７９】
本実施形態では、検出した瞳孔径Ｌの変化速度ＶＬの状態だけを判断条件として、ディスプレイ２１に情報を表示する際の表示態様を変更し、これにより、ドライバの緊張状態に応じた情報提供を行う。
【００８０】
＜コントロールユニット１による制御処理＞
図１３は、第３の実施形態における移動体制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【００８１】
同図において、ステップＳ５１：図９のステップＳ９と同様に、ドライバモニタユニット１３より、所定の検出回数分だけ時系列に記憶されているドライバの頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、瞳孔径Ｌ、そして注視点の検出結果を入手する（尚、本実施形態では、少なくとも瞳孔径Ｌを入手すれば良い）。
【００８２】
ステップＳ５２，ステップＳ５３：図９のステップＳ１０及びステップＳ１１と同様に、ドライバの緊張状態を表わす指標として、ステップＳ５１で入手した瞳孔径Ｌの単位時間あたりの変化量（変化速度ＶＬ）を算出し（ステップＳ５２）、その算出した変化速度ＶＬの絶対値が所定の基準値ＶＳより大きいか否かを判断し（ステップＳ５３）、ＹＥＳ（｜ＶＬ｜＞ＶＳ）のときには、ドライバの緊張状態がある基準状態を越えてかなり高まっている、或いは精神的に動揺しているために運転操作に対する精神的な余裕が低減していると判断してステップＳ５４に進み、ＮＯ（｜ＶＬ｜≦ＶＳ）のときには、ドライバの緊張状態はそれ程高まっておらず、運転操作について平常時の判断を行う精神的な余裕が有ると判断してリターンする。
【００８３】
ステップＳ５４：ステップＳ５３にてドライバが緊張状態にあると判断されたので、ディスプレイ２１に情報を表示する際の表示態様を、表示画面に使用する基準色、輝度、或いはコントラストを調節することにより、緊張状態にないとき（ステップＳ５３にてＮＯと判断したとき）と比較してドライバの注意をひく明るい表示態様に変更し、リターンする。このとき、表示態様の調整度合の制御としては、ステップＳ５１にて入手した瞳孔径Ｌの大きさが大きくなるのに応じて、ドライバの注意をひく明るい表示態様に変更すれば良い。
【００８４】
このように、第３の実施形態によれば、ドライバの瞳孔径の大きさの変化によって緊張の度合を推定し、その推定した結果に応じて、ディスプレイ２１に情報を表示する際の表示態様を変更することができ、予防安全性を向上することができる。
【００８５】
尚、上述したステップＳ５４では、ディスプレイ２１の表示の態様を調整したが、これに限られるものではなく、スピーカ２２への音声出力の音量を大きく変更する、或いは所定の人工音声を出力するのに先立て注意を喚起する所定の警報音を発報する等の処理を行っても良い。
【００８６】
尚、上述した各実施形態では自動車を対象としたが、これに限られるものではなく、本発明に係る移動体制御装置は、列車や航空機等の移動体にも適用でき、その場合においても、外部環境判断モジュールで外部より入手する各種情報を本発明を適用する移動体に応じたセンサ出力にすれば良い。
【００８７】
また、上述した各実施形態では、コントロールユニット１にて行われる各モジュールの機能を当該ユニット内に設けられたＣＰＵにて行われるソフトウエアとして説明したが、これに限られるものではなく、それらのモジュールの機能を実現する専用のハードウエアを採用しても良い。
【００８８】
【発明の効果】
以上説明したように、本発明によれば、操作者の緊張状態の変化に応じて、移動体を的確に制御する移動体制御装置の提供が実現する。
【００８９】
即ち、請求項１の発明によれば、操作者の緊張状態の変化に応じて、移動体を的確に制御することができる。特に、現在位置がトンネル内である（請求項４）、或いは夜間（請求項５）の走行等のように、ドライバの目に対向車のヘッドランプの光が入射する眩しい外部環境にあっても、係る外部環境によって変化する操作者の緊張状態の変化に応じて、移動体を的確に制御することができる。
【００９０】
また、請求項２の発明によれば、前記移動体制御装置の制御対象である報知手段に情報を報知させるに際して、操作者の緊張状態の変化に応じて、必要性の高い情報（例えば安全走行を維持するための情報：請求項６）を、操作者が認識し易い音声情報により（請求項３）、的確に選択して報知することができる。
【図面の簡単な説明】
【図１】第１の実施形態における移動体制御装置を搭載する自動車のシステム構成を示す図である。
【図２】図１に示す自動車の運転席を示す図である。
【図３】第１の実施形態に係る移動体制御装置における制御機能の構成を示すブロック図である。
【図４】第１の実施形態におけるドライバモニタユニットのシステム構成を示すブロック図である。
【図５】第１の実施形態における注視点検出処理のフローチャートを示す図である。
【図６】車線変更時のドライバの頭顔の動きと瞳孔の動きに関する実験結果を示す図である。
【図７】実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【図８】実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【図９】第１の実施形態における移動体制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【図１０】第２の実施形態における移動体制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【図１１】第２の実施形態の変形例における移動体制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図である。
【図１２】第２の実施形態の変形例における移動体制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図である。
【図１３】第３の実施形態における移動体制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【符号の説明】
１：コントロールユニット，
２：レーザレーダ，
３：赤外線カメラ，
４：磁気マーカセンサ，
５：ラインＣＣＤ，
６：走行車線検出用ＣＣＤカメラ，
７：車速センサ，
８：ヨーレートセンサ，
９：スロットルセンサ，
１０：ブレーキスイッチ，
１１：操舵角センサ，
１２：ウインカセンサ，
１３：ドライバモニタユニット，
１４：ナビゲーションユニット，
１５：路車間通信ユニット，
２１：ディスプレイ，
２２：スピーカ，
２３：赤外投光ランプ，
２４：赤外投光領域撮像カメラ，

Claims

移動体の操作者の頭顔部を撮影するカメラと、
前記カメラからの映像信号に基づいて、前記操作者の瞳孔径に関する値を検出する瞳孔径検出手段と、
前記移動体の外部環境を検出する外部環境検出手段と、
前記外部環境検出手段により検出された外部環境が所定の状態であり、且つ前記瞳孔径検出手段により検出された瞳孔径の変化速度が所定値より大きいときに、前記操作者が緊張状態にあると判定する緊張状態判定手段と、
前記緊張状態判定手段による判定結果に基づいて、前記移動体を制御する制御手段と、
を備え、
前記移動体は、車両であり、
前記外部環境検出手段は、前記移動体が位置する周囲の環境が暗い環境において前記移動体と対向車とがすれ違うことを検出可能な、障害物検出手段を含み、
前記所定の状態が、前記移動体が位置する周囲の環境が暗い環境であって、前記移動体と対向車とがすれ違う状態であることを特徴とする移動体制御装置。
前記外部環境検出手段は、検出すべき外部環境として、前記移動体の走行環境及び／または運転状態を検出する手段を含み、
前記制御手段は、前記外部環境検出手段により検出された前記移動体の走行環境及び／または運転状態に関する緊急度の異なる複数種類の情報を報知すると共に、前記緊張状態判定手段により前記操作者が緊張状態にあると判定されたときには、前記走行環境及び運転状態に関する複数種類の情報のうち、緊急度の高い情報を警報として優先的に報知する報知手段を含むことを特徴とする請求項１記載の移動体制御装置。
前記報知手段は、画像表示と音声出力とが可能であって、
前記制御手段は、警報として前記緊急度の高い情報を報知するときには前記報知手段による報知の態様として音声出力を選択し、前記緊張状態判定手段により前記操作者が緊張状態にないと判定されたときには画像表示を選択することを特徴とする請求項２記載の移動体制御装置。
少なくともＧＰＳ信号と地図情報とに基づいて前記移動体の現在位置を検出するナビゲーション装置を備え、
前記暗い環境とは、前記ナビゲーション装置によって前記移動体がトンネル内に位置することが検出されたときに相当することを特徴とする請求項１記載の移動体制御装置。
前記暗い環境を、時刻情報に基づいて推定することを特徴とする請求項１記載の移動体制御装置。
前記移動体の走行環境及び／または運転状態を検出する手段は、前記緊急度の高い情報として、前記移動体の安全走行を維持するための情報を検出することを特徴とする請求項２記載の移動体制御装置。