JP4337130B2 - 運転装置の制御装置 - Google Patents
運転装置の制御装置 Download PDFInfo
- Publication number
- JP4337130B2 JP4337130B2 JP16421199A JP16421199A JP4337130B2 JP 4337130 B2 JP4337130 B2 JP 4337130B2 JP 16421199 A JP16421199 A JP 16421199A JP 16421199 A JP16421199 A JP 16421199A JP 4337130 B2 JP4337130 B2 JP 4337130B2
- Authority
- JP
- Japan
- Prior art keywords
- detected
- detecting
- driving
- control
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、操作者により運転される各種の運転装置の制御装置に関し、例えば、代表的な移動体である自動車に適用して好適な制御装置に関する。
【０００２】
【従来の技術】
従来より、代表的な運転装置である自動車においては、予防安全の観点から自動車を制御する制御装置の一例として、ドライバの脇見に対する警報装置が提案されており、例えば、特開平６−２７０７１２号には、ＣＣＤカメラにより撮影した画像の明るさの勾配に基づいてドライバの視線方向を検出し、その検出した視線方向と車両の進行方向とが一致しないときに脇見と判断して警報出力を行う警報装置が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、検出した視線方向と車両の進行方向とが一致しないときには、その視線方向をドライバが積極的に注視していないときであっても脇見と判断して警報出力を行うため、ドライバに違和感を与えることが予想される。この違和感を解消するためには、検出したドライバの視線方向が車両の進行方向と異なる状態の継続時間を計測し、その継続時間が所定時間より長い場合にはじめて「ドライバが脇見をしている」と判断して警報出力を行えば良いが、この場合はドライバが実際に脇見をしており、直ちに警報出力が必要なときにも当該所定時間が経過するまで警報出力が開始されないため問題となる。
【０００４】
そこで本発明は、操作者の状態に応じて迅速且つ的確な制御を行う運転装置の制御装置の提供を目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る運転装置の制御装置は、以下の構成を特徴とする。
【０００６】
即ち、移動体である運転装置の操作者の頭顔部を撮影するカメラと、前記カメラからの映像信号に基づいて、前記操作者の視線方向を検出する視線方向検出手段と、前記カメラからの映像信号に基づいて、前記操作者の瞳孔径に関する値を検出する瞳孔径検出手段と、前記視線方向検出手段により検出された視線方向に基づいて前記操作者の脇見を検出したときであって、前記瞳孔径検出手段により検出された瞳孔径が所定値より大きいときに警報する制御手段と、を備えることを特徴とする。
【０００９】
また、例えば、前記運転装置の運転環境及び／または運転状態を検出する検出手段と、前記移動体の進行方向を検出する進行方向検出手段と、を更に備え、前記制御手段は、前記検出手段による検出結果が所定の状態になったときに、前記操作者に対して前記運転環境及び／または運転状態に関する情報を提供する情報提供手段を含み、前記情報提供手段は、前記視線方向検出手段により検出した視線方向と、前記進行方向検出手段によって検出した進行方向とに基づいて前記操作者の脇見を検出したときに、前記瞳孔径検出手段により検出した瞳孔径が大きい程、情報提供の度合を大きく補正することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明に係る運転装置の制御装置を、代表的な運転装置である自動車に適用した実施形態として、図面を参照して詳細に説明する。
【００１１】
［第１の実施形態］
図１は、第１の実施形態における運転装置の制御装置を搭載する自動車のシステム構成を示す図である。また、図２は、図１に示す自動車の運転席を示す図である。
【００１２】
図１及び図２において、１は、後述する制御を行うコントロールユニットである。２は、前方の障害物との距離を検出するレーザレーダである。３は、前方を撮影する赤外線カメラである。４は、所定の走行位置検出等を行うべく道路上に設けられた磁気マーカからの磁気を検出する磁気マーカセンサである。５は、例えばサイドミラーや車体後方に設けられ、車両側方や後方を撮影するラインＣＣＤ(Charge Coupled Device)である。６は、道路上の白線等によって走行車線を検出すべく、車両前方を撮影する走行車線検出用ＣＣＤカメラである。７は、走行速度を検出する車速センサである。８は、車両の向きや横方向へのＧを検出すべく、ヨー角を検出するヨーレートセンサである。９は、スロットル開度を検出するスロットルセンサである。１０は、ブレーキの操作状態を検出するブレーキスイッチである。１１は、ステアリングホイールの操舵角度を検出する操舵角センサである。１２は、ウインカスイッチの操作状態を検出するウインカセンサである。１３は、後述する如くドライバの頭顔の位置や注視点の検出を行うドライバモニタユニットである。１４は、地図情報と受信したＧＰＳ（Global Positioning System）信号等に基づいて、車両の現在位置の検出や目的地までの経路誘導を行うナビゲーションユニットである。１５は、交通情報、前方の障害物に関する情報、或いは横断歩道を歩行している歩行者の有無に関する情報等を道路上に設けられた無線機と通信する路車間通信ユニットである。２１は、ナビゲーションユニット１４の出力結果や各種の情報提供を行う液晶表示器（ＬＣＤ）やヘッドアップディスプレイ（ＨＵＤ）等のディスプレイである。２２は、各種の音声出力や後述する脇見運転に対する情報提供・警報報知を行うスピーカである。２３は、例えばステアリングホイールのコラムカバーに設けられ、ドライバの頭顔部に赤外光を投光する赤外投光ランプである。そして、２４は、例えばステアリングホイールのコラムカバーに設けられ、赤外投光ランプ２３による頭顔からの反射光を撮影する赤外投光領域撮像カメラである。
【００１３】
ここで、上述したシステム構成における制御の機能構成について説明する。
【００１４】
図３は、第１の実施形態に係る運転装置の制御装置における制御機能の構成を示すブロック図であり、本実施形態において以下に説明する各モジュールは、コントロールユニット１が備える不図示のＣＰＵが実行するソフトウエアの機能単位を表わす。
【００１５】
同図に示すように、コントロールユニット１の外部環境判断モジュールでは、レーザレーダ２、赤外線カメラ３、磁気マーカセンサ４、ラインＣＣＤ５、走行車線検出用ＣＣＤカメラ６の各出力信号と、ナビゲーションユニット１４の検出結果、並びに路車間通信ユニット１５による入手情報とを用いて、車両の外部環境のセンシングが行われる。尚、これら各出力信号を用いた外部環境のセンシングには、一般的な方法を採用するものとし、本実施形態における詳細な説明は省略する。また、本実施形態では、一例として上記の如く複数種類の検出信号を利用して外部環境のセンシングを行うが、これに限られるものではなく、それら複数種類の検出信号のうち一部の検出信号を適宜利用してセンシングを行っても良い。
【００１６】
また、コントロールユニット１の危険判断モジュールでは、車両状態のセンシングとして、車速センサ７、ヨーレートセンサ８、スロットルセンサ９、ブレーキスイッチ１０、操舵角センサ１１、そしてウインカセンサ１２の各出力信号と、路車間通信ユニット１５による入手情報とを用いて、危険状態の判断が行われる。この危険判断モジュールでは、切迫した危険状態、即ちドライバによる危険回避の余裕が無いと判断したときには、ドライバによる危険回避を待つことなく、ブレーキ操作、スロットル操作、或いはオートマチックトランスミッション（ＡＴ）の変速操作による自動制動、或いは自動操舵等の車両制御を行う。尚、これら各出力信号を用いた危険状態の判断、並びに車両制御には、一般的な方法を採用するものとし、本実施形態における詳細な説明は省略する。
【００１７】
また、コントロールユニット１のドライバ状態判断モジュールでは、ドライバモニタユニット１３にて検出されたドライバの注視点、頭顔位置、そして瞳孔径の検出結果を用いて、ドライバの状態判断が行われる（詳細は後述する）。
【００１８】
そして、コントロールユニット１の情報提供・警報発報判定モジュールでは、危険判断モジュールによる判断結果と、ドライバ状態判断モジュールによる判断結果とに基づいて情報提供・警報発報の要否や開始タイミングの判断が行われると共に、その判断結果に応じたディスプレイ２１への情報表示と、スピーカ２２による警報発報とが行われる（詳細は後述する）。
【００１９】
＜注視点の検出＞
次に、ドライバモニタユニット１３によるドライバの注視点の検出方法について説明する。
【００２０】
図４は、第１の実施形態におけるドライバモニタユニットのシステム構成を示すブロック図であり、本実施形態において以下に説明する各モジュールは、ドライバモニタユニット１３が備える不図示のＣＰＵが実行するソフトウエアの機能単位を表わす。
【００２１】
同図に示すように、赤外投光ランプ２３の投光部分と、赤外投光領域撮像カメラ２４の受光部には、赤外透過フィルタが設けられており、ドライバモニタユニット１３は、赤外投光領域撮像カメラ２４から出力される映像信号に基づいて、画像処理モジュールにおいて一般的な２値化処理や特徴点の抽出処理を行うことによってドライバの頭顔部の画像を抽出し、その抽出した頭顔部の画像に基づいて、注視点検出モジュールにおいてドライバの注視点の検出すべく、頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、そして瞳孔径Ｌの検出を行う。
【００２２】
次に、ドライバモニタユニット１３の機能について、図５から図８を参照して説明する。
【００２３】
図５は、第１の実施形態における注視点検出処理のフローチャートを示す図であり、画像処理モジュール及び注視点検出モジュールにより実現される機能を表わす。
【００２４】
同図において、ステップＳ５１：赤外投光ランプ２３によってドライバの頭顔部に投光を行うと共に、赤外投光領域撮像カメラ２４によって撮影した当該頭顔部のアナログ映像信号を画像処理モジュールに取り込み、その映像信号に一般的な２値化処理を施すことにより、ピクセル毎のデジタル多値画像データに変換する。
【００２５】
ステップＳ５２：入手した多値画像データから、一般的な画像処理手法を用いてドライバの顔画像部分を抽出し、その抽出した顔画像部分に含まれる複数の特徴点（例えば目頭、目尻、鼻孔等）の位置を検出する。
【００２６】
ステップＳ５３：抽出した顔画像部分の画像データから、赤外投光によってドライバの眼球の角膜に発生している反射点の位置と瞳孔の位置とを、一般的な画像処理手法を用いて検出する。
【００２７】
ステップＳ５４：検出した瞳孔の位置に対応する画像データの水平方向のピクセル数のうちの最大値を、瞳孔径Ｌとして検出する。ここで、水平方向に注目するのは、垂直方向に注目した場合にはドライバによる「瞬き」が影響することによって正確な瞳孔径が検出できないからである。
【００２８】
ステップＳ５５：ステップＳ５２で検出した特徴点の位置に基づいて、所定の３次元座標空間におけるドライバの頭顔面の傾きを算出することにより、ドライバの頭顔が向けられている方向（頭顔方向）Ｄｓを計測する。
【００２９】
ステップＳ５６：ステップＳ５３で検出した角膜反射点と、ステップＳ５５で検出した頭顔方向Ｄｓとに基づいて、ドライバの視線の方向（注視方向）Ｄｓを検出する。
【００３０】
ステップＳ５７：ステップＳ５６で検出した注視方向Ｄｓと、予め記憶している車両内外の所定位置（前方位置、ルームミラー取り付け位置、左右のサイドミラー取り付け位置等）とに基づいて、ドライバの注視点を検出する。
【００３１】
＜コントロールユニット１による制御処理＞
次に、コントロールユニット１における制御処理について説明する。
【００３２】
図６は、第１の実施形態における運転装置の制御装置としてのコントロールユニットによる制御処理を示すフローチャートであり、図１に示した当該ユニットの外部環境判断モジュール、危険判断モジュール、ドライバ状態判断モジュール、そして情報提供・警報発報判定モジュールにより実現される機能を表わす。
【００３３】
同図において、ステップＳ１：レーザレーダ２、赤外線カメラ３、磁気マーカセンサ４、ラインＣＣＤ５、走行車線検出用ＣＣＤカメラ６の各出力信号とを用いて、一般的な手法により、車両の外部環境のセンシングを行う。
【００３４】
ステップＳ２：ナビゲーションユニット１４により（路車間通信ユニット１５による入手情報を利用しても良い）、一般的な手法により、車両の現在の走行位置、並びに進路上の道路の形状等を検出する。
【００３５】
ステップＳ３：車速センサ７、ヨーレートセンサ８、スロットルセンサ９、ブレーキスイッチ１０、操舵角センサ１１、そしてウインカセンサ１２の各出力信号を用いて、一般的な手法により、現在の車両状態（直進や旋回状態等）を検出する。
【００３６】
ステップＳ４：路車間通信ユニット１５を介して、道路側の設備より道路に関する情報（カーブの半径、速度規制情報、障害物情報等）を入手する。
【００３７】
ステップＳ５：ステップＳ１からステップＳ４で検出した結果に基づいて、一般的な手法（例えば、上記の各ステップにおける検出結果を数値（ポイント）化し、それら数値の積または和を採る等）により、危険な状態（例えば、前方を走行する他車両への追突や、周囲の障害物との衝突等が発生し得る状態）か否かを判定する。このとき、判定結果が所定の条件を満足するときには、ドライバによる危険回避の余裕が無いと判断し、ブレーキ操作、スロットル操作、或いはオートマチックトランスミッション（ＡＴ）の変速操作による自動制動、或いは自動操舵等の車両制御を行う。
【００３８】
ステップＳ６，ステップＳ７：ステップＳ５における判定結果により、ドライバによる危険回避の余裕が有ると判断したときには、情報提供・警報発報の要否を判定し（ステップＳ６）、その判定結果がＮＯのとき（必要無いとき）にはリターンし、ＹＥＳのとき（必要なとき）にはステップＳ８に進む（ステップＳ７）。
【００３９】
ステップＳ８，ステップＳ９：図５を参照して上述したドライバモニタユニット１３よりドライバの頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、瞳孔径Ｌ、そして注視点の検出結果を入手し（ステップＳ８）、その入手した注視点に基づいてドライバが現在前方を見ているか否かを判断し、その判断結果がＹＥＳのとき（前方を見ているとき）にはリターンし、ＮＯのとき（前方を見ていないとき）にはステップＳ１０に進む（ステップＳ８）。
【００４０】
尚、ステップＳ９の判断では、ドライバモニタユニット１３より視線方向Ｄｓを入手し、且つステップＳ３で検出した車両状態に含まれる車両進行方向との偏差を検出し、その検出した偏差が所定の大きさより大きいときにステップＳ１０以降の処理を行っても良い。
【００４１】
ステップＳ１０：ドライバモニタユニット１３より入手した瞳孔径Ｌが、所定の基準値Ｓと係数Ｋとの積より大きいか否かを判断する。これは、人の瞳孔径は、興味の対象となるものを見ているときには広がるという性質に注目した判断であり、例えば、車線変更等の運転操作に先立って車両側方の障害物の有無を判断しているドライバの瞳孔径は、サイドミラー等を注視しているときに大きく変化する。ここで、ドライバの頭顔の動きと瞳孔の動きとに関する実験結果の一例を、図７を参照して説明する。
【００４２】
図７は、車線変更時のドライバの頭顔の動きと瞳孔の動きに関する実験結果を示す図である。
【００４３】
同図に示すように、車線変更の可否を判断する合流終了前３０秒から１５秒暗いまでの間においては、ドライバの頭顔は車両後方を確認するために何度も水平方向に大きく向けられ、且つ車線変更が終了するまでの間に渡って瞳孔が左右に激しく動いてサイドミラー及びルームミラーを注視していることが判ると共に、一方、垂直方向に対する頭顔部及び瞳孔の動きには大きな変化が見られないことが判る。これにより、被験者の車線変更時の運転操作には、脇見等の無駄な目視が含まれていなかったと判断できる。
【００４４】
また、人の瞳孔は、一般に、２．２ｍｍから１３ｍｍ程度の範囲で変化し、興味の対象に対しては瞳孔径が拡大することが知られている。即ち、ドライバの注視点が前方に向けられているときであっても、瞳孔径が所定の基準値より小さいときには、運転操作に対する注意力が散漫になっていると判断することができ、また、ドライバの注視点が前方に向けられていないときであっても、後側方の目視確認をすべくサイドミラー等を凝視する等によって瞳孔径が所定の基準値より大きい場合もあるため、一概に脇見をしていると判断することはできない。
【００４５】
そこで、本実施形態では、瞳孔径Ｌの大きさを判断要素として運転操作に対する集中の度合を判定すべく、ドライバに運転に対する精神的な負担の少ない走行環境下であって、且つ運転開始初期のタイミングで実験的に求めたドライバの平均的な瞳孔径を、所定の基準値Ｓとして使用する。また、係数Ｋには、ステップＳ２或いはステップＳ４で検出した走行車線の旋回半径Ｒに応じて変化する値が出力されるマップ（テーブル）として予め設定しておく。即ち、旋回半径Ｒが小さいときほどドライバは運転に集中しなければならないため、ドライバの瞳孔径は一般に大きくなる。そこで、このような場合には、マップから出力される係数Ｋが大きくなるように設定することにより（例えば、第２の実施形態で後述する図１１の明暗２つの特性のうち何れか一方の特性）、外部環境の変化に応じて変化するドライバの運転操作に対する精神的な負担を考慮する。そして、ステップＳ１０では、瞳孔径Ｌが所定の基準値Ｓと係数Ｋとの積より大きいか否かを判断することにより、ドライバが脇見をしているか否かを判断する。この判断において、ＹＥＳのとき（瞳孔径Ｌが算出した積より大きいとき）には、ドライバが脇見をしている可能性が高いため、直ちに情報提供・警報発報が必要と判断してステップＳ１２に進み、ＮＯのとき（瞳孔径Ｌが算出した積より小さいとき）にはステップＳ１１に進む。
【００４６】
ステップＳ１１：ステップＳ１２の判断でＮＯのときには、ドライバが脇見をしている可能性が低く、直ちに情報提供・警報発報が必要とは判断できないため、本ステップにおいて所定時間が経過するまではリターンし、所定時間が経過してもステップＳ１０でＮＯと判断したドライバの状態に変化が無いときには「脇見をしている」と判断してステップＳ１２に進む。
【００４７】
ステップＳ１２：ドライバに対して脇見運転に対する注意、並びにステップＳ７で検出した状態（即ち、切迫した危険状態ではないがドライバに報知すべき障害物等に関する情報）を報知すべく、情報提供・警報発報の開始タイミングを早めに変更する。即ち、ディスプレイ２１に所定の事項を表示する情報提供の開始タイミング及び／またはスピーカ２２による警報発報の開始タイミングを所定のタイミングより早めに開始する、或いはスピーカ２２による警報発報の音量を所定の音量より大きくする。
【００４８】
上述した本実施形態によれば、ドライバが前方を見ていないときに、検出した瞳孔径Ｌの大きさを利用して脇見をしているか否かを判断し、脇見をしているときには直ちに情報提供・警報発報の態様（警報出力タイミング、音量）をドライバがより気がつき易い態様に変更し、脇見をしているとは直ちには判断できないときにはその状態が所定時間継続してから情報提供・警報発報の態様を変更している。即ち、情報提供・警報発報の態様を、ドライバの状態に応じて迅速且つ的確に変更することができ、予防安全性を向上することができる。
【００４９】
［第２の実施形態］
次に、上述した第１の実施形態に係る運転装置の制御装置を基本とする第２の実施形態を説明する。以下の説明においては、第１の実施形態と同様な構成については重複する説明を省略し、本実施形態における特徴的な部分を中心に説明する。
【００５０】
本実施形態では、ドライバの瞳孔径の大きさが周囲の環境（運転環境）に応じて変化するということに着目して、コントロールユニット１による情報提供・警報発報の制御を行う。はじめに、周囲の環境に応じて瞳孔径が変化することについて説明する。
【００５１】
図９及び図１０は、実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【００５２】
図９では、計測時間１３０から３８０において周囲を急に明るくしたことに応じて、被験者の瞳孔径（ピクセル数）が急速に縮小していることが判る。この状況は、例えば暗い走行環境において対向車線を走行する他車両のヘッドライトの光がドライバの目に入射した場合に相当する。
【００５３】
また、図１０では、計測時間１５０以降において被験者を驚かせたことにより、瞳孔径（ピクセル数）が大きくなると共に激しく上下に変化していることが判る。この状況は、例えば走行車線前方への他車両の急な割り込み等により、ドライバが緊張や不安を感じた場合に相当する。
【００５４】
そこで、本実施形態では、周囲の運転環境の一例として、外部の明暗状態に応じた情報提供・警報発報の制御を行う。
【００５５】
＜コントロールユニット１による制御処理＞
次に、コントロールユニット１における制御処理について説明する。
【００５６】
図８は、第２の実施形態における運転装置の制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【００５７】
同図において、ステップＳ１Ａ：ナビゲーションユニット１４等から現在の時刻情報を入手し、その入手した時刻に基づいて、周囲の明暗状態を判定する。即ち、入手した時刻情報が、１９時から４時頃までであれば暗環境、５時から１８時頃までであれば明環境と判断する。また、好ましくは時刻情報と共に月日情報を入手し、季節による明暗状態の変動を考慮すると良い。
【００５８】
ステップＳ２〜ステップＳ４：第１の実施形態における図６のステップＳ２からステップＳ４と同様に、走行位置、車両状態、そして路車間情報を入手する。
【００５９】
ステップＳ５Ａ：ステップＳ１Ａで判定した明暗状態と、旋回Ｒとに応じて予め記憶している図１１または図１２のマップ（テーブル）を参照することにより、係数Ｋを決定する。
【００６０】
図１１及び図１２は、第２の実施形態における運転装置の制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図であり、図１１では、明環境及び暗環境のそれぞれについて、旋回半径が大きくなるのに応じて、略直線とみなすＲ＝１０００ｍまで次第に係数Ｋが小さくなる特性を示しており、図１２では、明環境及び暗環境のそれぞれについて、旋回半径が大きくなるのに応じて、略直線とみなすＲ＝１０００ｍまで係数Ｋが段階的に小さくなる特性を示している。即ち、本実施形態では、暗環境においては一般に運転操作に負担が掛かり、瞳孔径が大きくなるため、そのような暗環境の場合には、脇見判断のしきい値（基準値Ｓと係数Ｋとの積）を大きな値にするために、係数Ｋが明環境のときより大きくなるように図１１または図１２を設定している。
【００６１】
尚、図１１及び図１２では、明環境及び暗環境の２通りを例示しているが、それら２種類の特性の間に挟まれる薄暮の環境等を複数設定すると良い。
【００６２】
ステップＳ８〜ステップＳ１２：第１の実施形態における図６のステップＳ８からステップＳ１２と同様に、ドライバが前方を見ていないときには、周囲の明暗状態を表わす係数Ｋを用いてステップＳ１０にて脇見判断を行い、その判断結果に応じて情報提供・警報発報の制御を行う。
【００６３】
このような第２の実施形態によれば、周囲の運転環境に応じて、情報提供・警報発報の態様を、ドライバがより気が付き易い態様に迅速且つ的確に変更することができ、予防安全性を向上することができる。
【００６４】
尚、上述した第２の実施形態では、周囲の運転環境の一例として明暗状態を考慮したが、これに限られるものではなく、例えば、車速が早い場合、荒天の場合、自車両の周囲に他車両が多く存在する渋滞等の場合には、何れの場合にも運転操作に対する精神的な負担が高く、瞳孔径が大きくなる。そこで、ステップＳ５Ａにおいて参照する図１１（図１２）のマップに、明暗の特性の代わりに、車速センサ７により検出した車速、ワイパースイッチの操作状態、或いは路車間通信ユニット１５及び／またはナビゲーションユニット１４により入手可能な周囲の他車両の状態を表わす特性を記憶しておき、そのマップから係数Ｋを求めるように構成しても良い。
【００６５】
また、上述した各実施形態では自動車を対象としたが、これに限られるものではなく、本発明に係る運転装置の制御装置は、列車や航空機等の移動体、或いはプラント等の運転監視装置にも適用でき、その場合においても、外部環境判断モジュールで外部より入手する各種情報を本発明を適用する運転装置に応じたセンサ出力にすれば良い。
【００６６】
また、上述した各実施形態では、コントロールユニット１にて行われる各モジュールの機能を当該ユニット内に設けられたＣＰＵにて行われるソフトウエアとして説明したが、これに限られるものではなく、それらのモジュールの機能を実現する専用のハードウエアを採用しても良い。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、操作者の状態に応じて迅速且つ的確な制御を行う運転装置の制御装置の提供が実現する。
【００６８】
即ち、請求項１の発明によれば、移動体の操作者が脇見をしていると判断したときには直ちに警報を出力することができ、予防安全を図ることができる。
【００７１】
また、請求項３の発明によれば、例えば走行している道路の旋回半径が小さいとき等（請求項４）、車両の運転に対する精神的な負担に応じて変換する操作者の瞳孔径を考慮した的確な制御を行うことができる。
【００７２】
また、請求項５の発明によれば、例えば走行している道路の明暗状態等（請求項６）、車両の運転環境に応じて変換する操作者の瞳孔径を考慮した的確な制御を行うことができる。
【００７３】
また、請求項７の発明によれば、操作者が脇見をしているときに、瞳孔径に応じて情報提供のタイミングを早くする等（請求項８）、的確な情報提供を行うことができる。
【図面の簡単な説明】
【図１】第１の実施形態における運転装置の制御装置を搭載する自動車のシステム構成を示す図である。
【図２】図１に示す自動車の運転席を示す図である。
【図３】第１の実施形態に係る運転装置の制御装置における制御機能の構成を示すブロック図である。
【図４】第１の実施形態におけるドライバモニタユニットのシステム構成を示すブロック図である。
【図５】第１の実施形態における注視点検出処理のフローチャートを示す図である。
【図６】第１の実施形態における運転装置の制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【図７】車線変更時のドライバの頭顔の動きと瞳孔の動きに関する実験結果を示す図である。
【図８】第２の実施形態における運転装置の制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【図９】実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【図１０】実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【図１１】第２の実施形態における運転装置の制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図である。
【図１２】第２の実施形態における運転装置の制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図である。
【符号の説明】
１：コントロールユニット，
２：レーザレーダ，
３：赤外線カメラ，
４：磁気マーカセンサ，
５：ラインＣＣＤ，
６：走行車線検出用ＣＣＤカメラ，
７：車速センサ，
８：ヨーレートセンサ，
９：スロットルセンサ，
１０：ブレーキスイッチ，
１１：操舵角センサ，
１２：ウインカセンサ，
１３：ドライバモニタユニット，
１４：ナビゲーションユニット，
１５：路車間通信ユニット，
２１：ディスプレイ，
２２：スピーカ，
２３：赤外投光ランプ，
２４：赤外投光領域撮像カメラ，
【発明の属する技術分野】
本発明は、操作者により運転される各種の運転装置の制御装置に関し、例えば、代表的な移動体である自動車に適用して好適な制御装置に関する。
【０００２】
【従来の技術】
従来より、代表的な運転装置である自動車においては、予防安全の観点から自動車を制御する制御装置の一例として、ドライバの脇見に対する警報装置が提案されており、例えば、特開平６−２７０７１２号には、ＣＣＤカメラにより撮影した画像の明るさの勾配に基づいてドライバの視線方向を検出し、その検出した視線方向と車両の進行方向とが一致しないときに脇見と判断して警報出力を行う警報装置が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、検出した視線方向と車両の進行方向とが一致しないときには、その視線方向をドライバが積極的に注視していないときであっても脇見と判断して警報出力を行うため、ドライバに違和感を与えることが予想される。この違和感を解消するためには、検出したドライバの視線方向が車両の進行方向と異なる状態の継続時間を計測し、その継続時間が所定時間より長い場合にはじめて「ドライバが脇見をしている」と判断して警報出力を行えば良いが、この場合はドライバが実際に脇見をしており、直ちに警報出力が必要なときにも当該所定時間が経過するまで警報出力が開始されないため問題となる。
【０００４】
そこで本発明は、操作者の状態に応じて迅速且つ的確な制御を行う運転装置の制御装置の提供を目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る運転装置の制御装置は、以下の構成を特徴とする。
【０００６】
即ち、移動体である運転装置の操作者の頭顔部を撮影するカメラと、前記カメラからの映像信号に基づいて、前記操作者の視線方向を検出する視線方向検出手段と、前記カメラからの映像信号に基づいて、前記操作者の瞳孔径に関する値を検出する瞳孔径検出手段と、前記視線方向検出手段により検出された視線方向に基づいて前記操作者の脇見を検出したときであって、前記瞳孔径検出手段により検出された瞳孔径が所定値より大きいときに警報する制御手段と、を備えることを特徴とする。
【０００９】
また、例えば、前記運転装置の運転環境及び／または運転状態を検出する検出手段と、前記移動体の進行方向を検出する進行方向検出手段と、を更に備え、前記制御手段は、前記検出手段による検出結果が所定の状態になったときに、前記操作者に対して前記運転環境及び／または運転状態に関する情報を提供する情報提供手段を含み、前記情報提供手段は、前記視線方向検出手段により検出した視線方向と、前記進行方向検出手段によって検出した進行方向とに基づいて前記操作者の脇見を検出したときに、前記瞳孔径検出手段により検出した瞳孔径が大きい程、情報提供の度合を大きく補正することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明に係る運転装置の制御装置を、代表的な運転装置である自動車に適用した実施形態として、図面を参照して詳細に説明する。
【００１１】
［第１の実施形態］
図１は、第１の実施形態における運転装置の制御装置を搭載する自動車のシステム構成を示す図である。また、図２は、図１に示す自動車の運転席を示す図である。
【００１２】
図１及び図２において、１は、後述する制御を行うコントロールユニットである。２は、前方の障害物との距離を検出するレーザレーダである。３は、前方を撮影する赤外線カメラである。４は、所定の走行位置検出等を行うべく道路上に設けられた磁気マーカからの磁気を検出する磁気マーカセンサである。５は、例えばサイドミラーや車体後方に設けられ、車両側方や後方を撮影するラインＣＣＤ(Charge Coupled Device)である。６は、道路上の白線等によって走行車線を検出すべく、車両前方を撮影する走行車線検出用ＣＣＤカメラである。７は、走行速度を検出する車速センサである。８は、車両の向きや横方向へのＧを検出すべく、ヨー角を検出するヨーレートセンサである。９は、スロットル開度を検出するスロットルセンサである。１０は、ブレーキの操作状態を検出するブレーキスイッチである。１１は、ステアリングホイールの操舵角度を検出する操舵角センサである。１２は、ウインカスイッチの操作状態を検出するウインカセンサである。１３は、後述する如くドライバの頭顔の位置や注視点の検出を行うドライバモニタユニットである。１４は、地図情報と受信したＧＰＳ（Global Positioning System）信号等に基づいて、車両の現在位置の検出や目的地までの経路誘導を行うナビゲーションユニットである。１５は、交通情報、前方の障害物に関する情報、或いは横断歩道を歩行している歩行者の有無に関する情報等を道路上に設けられた無線機と通信する路車間通信ユニットである。２１は、ナビゲーションユニット１４の出力結果や各種の情報提供を行う液晶表示器（ＬＣＤ）やヘッドアップディスプレイ（ＨＵＤ）等のディスプレイである。２２は、各種の音声出力や後述する脇見運転に対する情報提供・警報報知を行うスピーカである。２３は、例えばステアリングホイールのコラムカバーに設けられ、ドライバの頭顔部に赤外光を投光する赤外投光ランプである。そして、２４は、例えばステアリングホイールのコラムカバーに設けられ、赤外投光ランプ２３による頭顔からの反射光を撮影する赤外投光領域撮像カメラである。
【００１３】
ここで、上述したシステム構成における制御の機能構成について説明する。
【００１４】
図３は、第１の実施形態に係る運転装置の制御装置における制御機能の構成を示すブロック図であり、本実施形態において以下に説明する各モジュールは、コントロールユニット１が備える不図示のＣＰＵが実行するソフトウエアの機能単位を表わす。
【００１５】
同図に示すように、コントロールユニット１の外部環境判断モジュールでは、レーザレーダ２、赤外線カメラ３、磁気マーカセンサ４、ラインＣＣＤ５、走行車線検出用ＣＣＤカメラ６の各出力信号と、ナビゲーションユニット１４の検出結果、並びに路車間通信ユニット１５による入手情報とを用いて、車両の外部環境のセンシングが行われる。尚、これら各出力信号を用いた外部環境のセンシングには、一般的な方法を採用するものとし、本実施形態における詳細な説明は省略する。また、本実施形態では、一例として上記の如く複数種類の検出信号を利用して外部環境のセンシングを行うが、これに限られるものではなく、それら複数種類の検出信号のうち一部の検出信号を適宜利用してセンシングを行っても良い。
【００１６】
また、コントロールユニット１の危険判断モジュールでは、車両状態のセンシングとして、車速センサ７、ヨーレートセンサ８、スロットルセンサ９、ブレーキスイッチ１０、操舵角センサ１１、そしてウインカセンサ１２の各出力信号と、路車間通信ユニット１５による入手情報とを用いて、危険状態の判断が行われる。この危険判断モジュールでは、切迫した危険状態、即ちドライバによる危険回避の余裕が無いと判断したときには、ドライバによる危険回避を待つことなく、ブレーキ操作、スロットル操作、或いはオートマチックトランスミッション（ＡＴ）の変速操作による自動制動、或いは自動操舵等の車両制御を行う。尚、これら各出力信号を用いた危険状態の判断、並びに車両制御には、一般的な方法を採用するものとし、本実施形態における詳細な説明は省略する。
【００１７】
また、コントロールユニット１のドライバ状態判断モジュールでは、ドライバモニタユニット１３にて検出されたドライバの注視点、頭顔位置、そして瞳孔径の検出結果を用いて、ドライバの状態判断が行われる（詳細は後述する）。
【００１８】
そして、コントロールユニット１の情報提供・警報発報判定モジュールでは、危険判断モジュールによる判断結果と、ドライバ状態判断モジュールによる判断結果とに基づいて情報提供・警報発報の要否や開始タイミングの判断が行われると共に、その判断結果に応じたディスプレイ２１への情報表示と、スピーカ２２による警報発報とが行われる（詳細は後述する）。
【００１９】
＜注視点の検出＞
次に、ドライバモニタユニット１３によるドライバの注視点の検出方法について説明する。
【００２０】
図４は、第１の実施形態におけるドライバモニタユニットのシステム構成を示すブロック図であり、本実施形態において以下に説明する各モジュールは、ドライバモニタユニット１３が備える不図示のＣＰＵが実行するソフトウエアの機能単位を表わす。
【００２１】
同図に示すように、赤外投光ランプ２３の投光部分と、赤外投光領域撮像カメラ２４の受光部には、赤外透過フィルタが設けられており、ドライバモニタユニット１３は、赤外投光領域撮像カメラ２４から出力される映像信号に基づいて、画像処理モジュールにおいて一般的な２値化処理や特徴点の抽出処理を行うことによってドライバの頭顔部の画像を抽出し、その抽出した頭顔部の画像に基づいて、注視点検出モジュールにおいてドライバの注視点の検出すべく、頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、そして瞳孔径Ｌの検出を行う。
【００２２】
次に、ドライバモニタユニット１３の機能について、図５から図８を参照して説明する。
【００２３】
図５は、第１の実施形態における注視点検出処理のフローチャートを示す図であり、画像処理モジュール及び注視点検出モジュールにより実現される機能を表わす。
【００２４】
同図において、ステップＳ５１：赤外投光ランプ２３によってドライバの頭顔部に投光を行うと共に、赤外投光領域撮像カメラ２４によって撮影した当該頭顔部のアナログ映像信号を画像処理モジュールに取り込み、その映像信号に一般的な２値化処理を施すことにより、ピクセル毎のデジタル多値画像データに変換する。
【００２５】
ステップＳ５２：入手した多値画像データから、一般的な画像処理手法を用いてドライバの顔画像部分を抽出し、その抽出した顔画像部分に含まれる複数の特徴点（例えば目頭、目尻、鼻孔等）の位置を検出する。
【００２６】
ステップＳ５３：抽出した顔画像部分の画像データから、赤外投光によってドライバの眼球の角膜に発生している反射点の位置と瞳孔の位置とを、一般的な画像処理手法を用いて検出する。
【００２７】
ステップＳ５４：検出した瞳孔の位置に対応する画像データの水平方向のピクセル数のうちの最大値を、瞳孔径Ｌとして検出する。ここで、水平方向に注目するのは、垂直方向に注目した場合にはドライバによる「瞬き」が影響することによって正確な瞳孔径が検出できないからである。
【００２８】
ステップＳ５５：ステップＳ５２で検出した特徴点の位置に基づいて、所定の３次元座標空間におけるドライバの頭顔面の傾きを算出することにより、ドライバの頭顔が向けられている方向（頭顔方向）Ｄｓを計測する。
【００２９】
ステップＳ５６：ステップＳ５３で検出した角膜反射点と、ステップＳ５５で検出した頭顔方向Ｄｓとに基づいて、ドライバの視線の方向（注視方向）Ｄｓを検出する。
【００３０】
ステップＳ５７：ステップＳ５６で検出した注視方向Ｄｓと、予め記憶している車両内外の所定位置（前方位置、ルームミラー取り付け位置、左右のサイドミラー取り付け位置等）とに基づいて、ドライバの注視点を検出する。
【００３１】
＜コントロールユニット１による制御処理＞
次に、コントロールユニット１における制御処理について説明する。
【００３２】
図６は、第１の実施形態における運転装置の制御装置としてのコントロールユニットによる制御処理を示すフローチャートであり、図１に示した当該ユニットの外部環境判断モジュール、危険判断モジュール、ドライバ状態判断モジュール、そして情報提供・警報発報判定モジュールにより実現される機能を表わす。
【００３３】
同図において、ステップＳ１：レーザレーダ２、赤外線カメラ３、磁気マーカセンサ４、ラインＣＣＤ５、走行車線検出用ＣＣＤカメラ６の各出力信号とを用いて、一般的な手法により、車両の外部環境のセンシングを行う。
【００３４】
ステップＳ２：ナビゲーションユニット１４により（路車間通信ユニット１５による入手情報を利用しても良い）、一般的な手法により、車両の現在の走行位置、並びに進路上の道路の形状等を検出する。
【００３５】
ステップＳ３：車速センサ７、ヨーレートセンサ８、スロットルセンサ９、ブレーキスイッチ１０、操舵角センサ１１、そしてウインカセンサ１２の各出力信号を用いて、一般的な手法により、現在の車両状態（直進や旋回状態等）を検出する。
【００３６】
ステップＳ４：路車間通信ユニット１５を介して、道路側の設備より道路に関する情報（カーブの半径、速度規制情報、障害物情報等）を入手する。
【００３７】
ステップＳ５：ステップＳ１からステップＳ４で検出した結果に基づいて、一般的な手法（例えば、上記の各ステップにおける検出結果を数値（ポイント）化し、それら数値の積または和を採る等）により、危険な状態（例えば、前方を走行する他車両への追突や、周囲の障害物との衝突等が発生し得る状態）か否かを判定する。このとき、判定結果が所定の条件を満足するときには、ドライバによる危険回避の余裕が無いと判断し、ブレーキ操作、スロットル操作、或いはオートマチックトランスミッション（ＡＴ）の変速操作による自動制動、或いは自動操舵等の車両制御を行う。
【００３８】
ステップＳ６，ステップＳ７：ステップＳ５における判定結果により、ドライバによる危険回避の余裕が有ると判断したときには、情報提供・警報発報の要否を判定し（ステップＳ６）、その判定結果がＮＯのとき（必要無いとき）にはリターンし、ＹＥＳのとき（必要なとき）にはステップＳ８に進む（ステップＳ７）。
【００３９】
ステップＳ８，ステップＳ９：図５を参照して上述したドライバモニタユニット１３よりドライバの頭顔方向Ｄｈの検出、視線方向Ｄｓの検出、瞳孔径Ｌ、そして注視点の検出結果を入手し（ステップＳ８）、その入手した注視点に基づいてドライバが現在前方を見ているか否かを判断し、その判断結果がＹＥＳのとき（前方を見ているとき）にはリターンし、ＮＯのとき（前方を見ていないとき）にはステップＳ１０に進む（ステップＳ８）。
【００４０】
尚、ステップＳ９の判断では、ドライバモニタユニット１３より視線方向Ｄｓを入手し、且つステップＳ３で検出した車両状態に含まれる車両進行方向との偏差を検出し、その検出した偏差が所定の大きさより大きいときにステップＳ１０以降の処理を行っても良い。
【００４１】
ステップＳ１０：ドライバモニタユニット１３より入手した瞳孔径Ｌが、所定の基準値Ｓと係数Ｋとの積より大きいか否かを判断する。これは、人の瞳孔径は、興味の対象となるものを見ているときには広がるという性質に注目した判断であり、例えば、車線変更等の運転操作に先立って車両側方の障害物の有無を判断しているドライバの瞳孔径は、サイドミラー等を注視しているときに大きく変化する。ここで、ドライバの頭顔の動きと瞳孔の動きとに関する実験結果の一例を、図７を参照して説明する。
【００４２】
図７は、車線変更時のドライバの頭顔の動きと瞳孔の動きに関する実験結果を示す図である。
【００４３】
同図に示すように、車線変更の可否を判断する合流終了前３０秒から１５秒暗いまでの間においては、ドライバの頭顔は車両後方を確認するために何度も水平方向に大きく向けられ、且つ車線変更が終了するまでの間に渡って瞳孔が左右に激しく動いてサイドミラー及びルームミラーを注視していることが判ると共に、一方、垂直方向に対する頭顔部及び瞳孔の動きには大きな変化が見られないことが判る。これにより、被験者の車線変更時の運転操作には、脇見等の無駄な目視が含まれていなかったと判断できる。
【００４４】
また、人の瞳孔は、一般に、２．２ｍｍから１３ｍｍ程度の範囲で変化し、興味の対象に対しては瞳孔径が拡大することが知られている。即ち、ドライバの注視点が前方に向けられているときであっても、瞳孔径が所定の基準値より小さいときには、運転操作に対する注意力が散漫になっていると判断することができ、また、ドライバの注視点が前方に向けられていないときであっても、後側方の目視確認をすべくサイドミラー等を凝視する等によって瞳孔径が所定の基準値より大きい場合もあるため、一概に脇見をしていると判断することはできない。
【００４５】
そこで、本実施形態では、瞳孔径Ｌの大きさを判断要素として運転操作に対する集中の度合を判定すべく、ドライバに運転に対する精神的な負担の少ない走行環境下であって、且つ運転開始初期のタイミングで実験的に求めたドライバの平均的な瞳孔径を、所定の基準値Ｓとして使用する。また、係数Ｋには、ステップＳ２或いはステップＳ４で検出した走行車線の旋回半径Ｒに応じて変化する値が出力されるマップ（テーブル）として予め設定しておく。即ち、旋回半径Ｒが小さいときほどドライバは運転に集中しなければならないため、ドライバの瞳孔径は一般に大きくなる。そこで、このような場合には、マップから出力される係数Ｋが大きくなるように設定することにより（例えば、第２の実施形態で後述する図１１の明暗２つの特性のうち何れか一方の特性）、外部環境の変化に応じて変化するドライバの運転操作に対する精神的な負担を考慮する。そして、ステップＳ１０では、瞳孔径Ｌが所定の基準値Ｓと係数Ｋとの積より大きいか否かを判断することにより、ドライバが脇見をしているか否かを判断する。この判断において、ＹＥＳのとき（瞳孔径Ｌが算出した積より大きいとき）には、ドライバが脇見をしている可能性が高いため、直ちに情報提供・警報発報が必要と判断してステップＳ１２に進み、ＮＯのとき（瞳孔径Ｌが算出した積より小さいとき）にはステップＳ１１に進む。
【００４６】
ステップＳ１１：ステップＳ１２の判断でＮＯのときには、ドライバが脇見をしている可能性が低く、直ちに情報提供・警報発報が必要とは判断できないため、本ステップにおいて所定時間が経過するまではリターンし、所定時間が経過してもステップＳ１０でＮＯと判断したドライバの状態に変化が無いときには「脇見をしている」と判断してステップＳ１２に進む。
【００４７】
ステップＳ１２：ドライバに対して脇見運転に対する注意、並びにステップＳ７で検出した状態（即ち、切迫した危険状態ではないがドライバに報知すべき障害物等に関する情報）を報知すべく、情報提供・警報発報の開始タイミングを早めに変更する。即ち、ディスプレイ２１に所定の事項を表示する情報提供の開始タイミング及び／またはスピーカ２２による警報発報の開始タイミングを所定のタイミングより早めに開始する、或いはスピーカ２２による警報発報の音量を所定の音量より大きくする。
【００４８】
上述した本実施形態によれば、ドライバが前方を見ていないときに、検出した瞳孔径Ｌの大きさを利用して脇見をしているか否かを判断し、脇見をしているときには直ちに情報提供・警報発報の態様（警報出力タイミング、音量）をドライバがより気がつき易い態様に変更し、脇見をしているとは直ちには判断できないときにはその状態が所定時間継続してから情報提供・警報発報の態様を変更している。即ち、情報提供・警報発報の態様を、ドライバの状態に応じて迅速且つ的確に変更することができ、予防安全性を向上することができる。
【００４９】
［第２の実施形態］
次に、上述した第１の実施形態に係る運転装置の制御装置を基本とする第２の実施形態を説明する。以下の説明においては、第１の実施形態と同様な構成については重複する説明を省略し、本実施形態における特徴的な部分を中心に説明する。
【００５０】
本実施形態では、ドライバの瞳孔径の大きさが周囲の環境（運転環境）に応じて変化するということに着目して、コントロールユニット１による情報提供・警報発報の制御を行う。はじめに、周囲の環境に応じて瞳孔径が変化することについて説明する。
【００５１】
図９及び図１０は、実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【００５２】
図９では、計測時間１３０から３８０において周囲を急に明るくしたことに応じて、被験者の瞳孔径（ピクセル数）が急速に縮小していることが判る。この状況は、例えば暗い走行環境において対向車線を走行する他車両のヘッドライトの光がドライバの目に入射した場合に相当する。
【００５３】
また、図１０では、計測時間１５０以降において被験者を驚かせたことにより、瞳孔径（ピクセル数）が大きくなると共に激しく上下に変化していることが判る。この状況は、例えば走行車線前方への他車両の急な割り込み等により、ドライバが緊張や不安を感じた場合に相当する。
【００５４】
そこで、本実施形態では、周囲の運転環境の一例として、外部の明暗状態に応じた情報提供・警報発報の制御を行う。
【００５５】
＜コントロールユニット１による制御処理＞
次に、コントロールユニット１における制御処理について説明する。
【００５６】
図８は、第２の実施形態における運転装置の制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【００５７】
同図において、ステップＳ１Ａ：ナビゲーションユニット１４等から現在の時刻情報を入手し、その入手した時刻に基づいて、周囲の明暗状態を判定する。即ち、入手した時刻情報が、１９時から４時頃までであれば暗環境、５時から１８時頃までであれば明環境と判断する。また、好ましくは時刻情報と共に月日情報を入手し、季節による明暗状態の変動を考慮すると良い。
【００５８】
ステップＳ２〜ステップＳ４：第１の実施形態における図６のステップＳ２からステップＳ４と同様に、走行位置、車両状態、そして路車間情報を入手する。
【００５９】
ステップＳ５Ａ：ステップＳ１Ａで判定した明暗状態と、旋回Ｒとに応じて予め記憶している図１１または図１２のマップ（テーブル）を参照することにより、係数Ｋを決定する。
【００６０】
図１１及び図１２は、第２の実施形態における運転装置の制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図であり、図１１では、明環境及び暗環境のそれぞれについて、旋回半径が大きくなるのに応じて、略直線とみなすＲ＝１０００ｍまで次第に係数Ｋが小さくなる特性を示しており、図１２では、明環境及び暗環境のそれぞれについて、旋回半径が大きくなるのに応じて、略直線とみなすＲ＝１０００ｍまで係数Ｋが段階的に小さくなる特性を示している。即ち、本実施形態では、暗環境においては一般に運転操作に負担が掛かり、瞳孔径が大きくなるため、そのような暗環境の場合には、脇見判断のしきい値（基準値Ｓと係数Ｋとの積）を大きな値にするために、係数Ｋが明環境のときより大きくなるように図１１または図１２を設定している。
【００６１】
尚、図１１及び図１２では、明環境及び暗環境の２通りを例示しているが、それら２種類の特性の間に挟まれる薄暮の環境等を複数設定すると良い。
【００６２】
ステップＳ８〜ステップＳ１２：第１の実施形態における図６のステップＳ８からステップＳ１２と同様に、ドライバが前方を見ていないときには、周囲の明暗状態を表わす係数Ｋを用いてステップＳ１０にて脇見判断を行い、その判断結果に応じて情報提供・警報発報の制御を行う。
【００６３】
このような第２の実施形態によれば、周囲の運転環境に応じて、情報提供・警報発報の態様を、ドライバがより気が付き易い態様に迅速且つ的確に変更することができ、予防安全性を向上することができる。
【００６４】
尚、上述した第２の実施形態では、周囲の運転環境の一例として明暗状態を考慮したが、これに限られるものではなく、例えば、車速が早い場合、荒天の場合、自車両の周囲に他車両が多く存在する渋滞等の場合には、何れの場合にも運転操作に対する精神的な負担が高く、瞳孔径が大きくなる。そこで、ステップＳ５Ａにおいて参照する図１１（図１２）のマップに、明暗の特性の代わりに、車速センサ７により検出した車速、ワイパースイッチの操作状態、或いは路車間通信ユニット１５及び／またはナビゲーションユニット１４により入手可能な周囲の他車両の状態を表わす特性を記憶しておき、そのマップから係数Ｋを求めるように構成しても良い。
【００６５】
また、上述した各実施形態では自動車を対象としたが、これに限られるものではなく、本発明に係る運転装置の制御装置は、列車や航空機等の移動体、或いはプラント等の運転監視装置にも適用でき、その場合においても、外部環境判断モジュールで外部より入手する各種情報を本発明を適用する運転装置に応じたセンサ出力にすれば良い。
【００６６】
また、上述した各実施形態では、コントロールユニット１にて行われる各モジュールの機能を当該ユニット内に設けられたＣＰＵにて行われるソフトウエアとして説明したが、これに限られるものではなく、それらのモジュールの機能を実現する専用のハードウエアを採用しても良い。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、操作者の状態に応じて迅速且つ的確な制御を行う運転装置の制御装置の提供が実現する。
【００６８】
即ち、請求項１の発明によれば、移動体の操作者が脇見をしていると判断したときには直ちに警報を出力することができ、予防安全を図ることができる。
【００７１】
また、請求項３の発明によれば、例えば走行している道路の旋回半径が小さいとき等（請求項４）、車両の運転に対する精神的な負担に応じて変換する操作者の瞳孔径を考慮した的確な制御を行うことができる。
【００７２】
また、請求項５の発明によれば、例えば走行している道路の明暗状態等（請求項６）、車両の運転環境に応じて変換する操作者の瞳孔径を考慮した的確な制御を行うことができる。
【００７３】
また、請求項７の発明によれば、操作者が脇見をしているときに、瞳孔径に応じて情報提供のタイミングを早くする等（請求項８）、的確な情報提供を行うことができる。
【図面の簡単な説明】
【図１】第１の実施形態における運転装置の制御装置を搭載する自動車のシステム構成を示す図である。
【図２】図１に示す自動車の運転席を示す図である。
【図３】第１の実施形態に係る運転装置の制御装置における制御機能の構成を示すブロック図である。
【図４】第１の実施形態におけるドライバモニタユニットのシステム構成を示すブロック図である。
【図５】第１の実施形態における注視点検出処理のフローチャートを示す図である。
【図６】第１の実施形態における運転装置の制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【図７】車線変更時のドライバの頭顔の動きと瞳孔の動きに関する実験結果を示す図である。
【図８】第２の実施形態における運転装置の制御装置としてのコントロールユニットによる制御処理を示すフローチャートである。
【図９】実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【図１０】実験的に求めた瞳孔径Ｌの変化の様子を示す図である。
【図１１】第２の実施形態における運転装置の制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図である。
【図１２】第２の実施形態における運転装置の制御装置としてのコントロールユニットに予め記憶するマップの特性例を示す図である。
【符号の説明】
１：コントロールユニット，
２：レーザレーダ，
３：赤外線カメラ，
４：磁気マーカセンサ，
５：ラインＣＣＤ，
６：走行車線検出用ＣＣＤカメラ，
７：車速センサ，
８：ヨーレートセンサ，
９：スロットルセンサ，
１０：ブレーキスイッチ，
１１：操舵角センサ，
１２：ウインカセンサ，
１３：ドライバモニタユニット，
１４：ナビゲーションユニット，
１５：路車間通信ユニット，
２１：ディスプレイ，
２２：スピーカ，
２３：赤外投光ランプ，
２４：赤外投光領域撮像カメラ，
Claims (9)
- 移動体である運転装置の操作者の頭顔部を撮影するカメラと、
前記カメラからの映像信号に基づいて、前記操作者の視線方向を検出する視線方向検出手段と、
前記カメラからの映像信号に基づいて、前記操作者の瞳孔径に関する値を検出する瞳孔径検出手段と、
前記視線方向検出手段により検出された視線方向に基づいて前記操作者の脇見を検出したときであって、前記瞳孔径検出手段により検出された瞳孔径が所定値より大きいときに警報する制御手段と、
を備えることを特徴とする運転装置の制御装置。 - 前記移動体は、車両であることを特徴とする請求項１記載の運転装置の制御装置。
- 更に、前記車両の走行状態を検出する走行状態検出手段を備え、
前記制御手段は、前記走行状態検出手段により検出された走行状態に応じて、前記所定値を変更することを特徴とする請求項２記載の運転装置の制御装置。 - 前記制御手段は、前記検出された走行状態によって前記車両が旋回していると判断したとき、前記所定値を大きく変更することを特徴とする請求項３記載の運転装置の制御装置。
- 更に、前記運転装置の運転環境を検出する運転環境検出手段を備え、
前記制御手段は、前記運転環境検出手段により検出された運転環境に応じて、前記所定値を変更することを特徴とする請求項１記載の運転装置の制御装置。 - 前記制御手段は、前記検出された運転環境が暗い環境であるとき、前記所定値を大きく変更することを特徴とする請求項５記載の運転装置の制御装置。
- 更に、
前記運転装置の運転環境及び／または運転状態を検出する検出手段と、
前記移動体の進行方向を検出する進行方向検出手段と、を備え、
前記制御手段は、前記検出手段による検出結果が所定の状態になったときに、前記操作者に対して前記運転環境及び／または運転状態に関する情報を提供する情報提供手段を含み、
前記情報提供手段は、前記視線方向検出手段により検出した視線方向と、前記進行方向検出手段によって検出した進行方向とに基づいて前記操作者の脇見を検出したときに、前記瞳孔径検出手段により検出した瞳孔径が大きい程、情報提供の度合を大きく補正することを特徴とする請求項１記載の運転装置の制御装置。 - 前記情報提供の度合を大きく補正するとは、情報提供のタイミングを早くする、回数を増やす、或いは情報提供の態様を激しくすることであることを特徴とする請求項７記載の運転装置の制御装置。
- 更に、前記移動体の進行方向を検出する進行方向検出手段を備え、
前記制御手段は、前記視線方向検出手段により検出された視線方向と、前記進行方向検出手段により検出された進行方向とが少なくとも一致しないときに、前記操作者が脇見をしていると判断することを特徴とする請求項１記載の運転装置の制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16421199A JP4337130B2 (ja) | 1999-06-10 | 1999-06-10 | 運転装置の制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16421199A JP4337130B2 (ja) | 1999-06-10 | 1999-06-10 | 運転装置の制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000351339A JP2000351339A (ja) | 2000-12-19 |
| JP4337130B2 true JP4337130B2 (ja) | 2009-09-30 |
Family
ID=15788788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16421199A Expired - Fee Related JP4337130B2 (ja) | 1999-06-10 | 1999-06-10 | 運転装置の制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4337130B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4882153B2 (ja) * | 2001-02-19 | 2012-02-22 | 日産自動車株式会社 | 車輌用情報出力装置 |
| DE10210130B4 (de) * | 2002-03-08 | 2014-12-24 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerwarnung |
| JP3945305B2 (ja) * | 2002-04-26 | 2007-07-18 | 日産自動車株式会社 | 運転者将来状況予測装置 |
| JP4193765B2 (ja) * | 2004-01-28 | 2008-12-10 | トヨタ自動車株式会社 | 車両用走行支援装置 |
| CN1914060B (zh) * | 2004-01-28 | 2013-05-29 | 丰田自动车株式会社 | 车辆行驶支持系统 |
| JP3913771B2 (ja) | 2004-07-23 | 2007-05-09 | 松下電器産業株式会社 | 音声識別装置、音声識別方法、及びプログラム |
| JP4725254B2 (ja) * | 2005-09-05 | 2011-07-13 | トヨタ自動車株式会社 | 脇見判定装置 |
| JP4509042B2 (ja) | 2006-02-13 | 2010-07-21 | 株式会社デンソー | 自動車用もてなし情報提供システム |
| JP4922715B2 (ja) * | 2006-09-28 | 2012-04-25 | タカタ株式会社 | 乗員検出システム、警報システム、制動システム、車両 |
| JP4961934B2 (ja) * | 2006-10-11 | 2012-06-27 | 株式会社デンソー | 運転支援装置 |
| TWI397865B (zh) * | 2009-08-12 | 2013-06-01 | Utechzone Co Ltd | Security personnel to monitor the degree of focus monitoring system |
| KR101386823B1 (ko) * | 2013-10-29 | 2014-04-17 | 김재철 | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 |
| JP6372388B2 (ja) * | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
| JP6312647B2 (ja) * | 2015-11-13 | 2018-04-18 | オートリブ ディベロップメント エービー | 危険回避装置及びコンピュータプログラム |
| JP7401994B2 (ja) * | 2019-08-22 | 2023-12-20 | 矢崎エナジーシステム株式会社 | 作業管理システム |
-
1999
- 1999-06-10 JP JP16421199A patent/JP4337130B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000351339A (ja) | 2000-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4385392B2 (ja) | 車両用情報提供装置 | |
| JP3390289B2 (ja) | 警報装置 | |
| US8174375B2 (en) | Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices | |
| US6327522B1 (en) | Display apparatus for vehicle | |
| JP5169884B2 (ja) | ヘッドアップディスプレイ装置 | |
| JP4337130B2 (ja) | 運転装置の制御装置 | |
| US10467489B2 (en) | Distracted driving determination apparatus, distracted driving determination method, and recording medium having program for distracted driving determination | |
| JP4825868B2 (ja) | 車両用警報装置 | |
| JP2009244959A (ja) | 運転支援装置、運転支援方法 | |
| JP6683185B2 (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
| JP2008193339A (ja) | 後方監視装置 | |
| WO2013115241A1 (ja) | 車両の運転手の注意を喚起する装置及びその方法 | |
| WO2018230245A1 (ja) | 走行支援装置、制御プログラム、コンピュータ読み出し可能持続的有形記録媒体 | |
| JP4103518B2 (ja) | 車載画像表示装置 | |
| US11749105B2 (en) | Vehicular communication system with turn signal identification | |
| JP2012099085A (ja) | 車両用ウインドシールドガラス上のリアルタイム警報システム及びその作動方法 | |
| JP4337131B2 (ja) | 移動体制御装置 | |
| US6975218B2 (en) | Lane based automatic turn signal deactivation | |
| JP6223143B2 (ja) | 運転支援装置および運転支援方法 | |
| JP5402047B2 (ja) | 死角表示装置 | |
| JP3884815B2 (ja) | 車両用情報表示装置 | |
| JP2016031603A (ja) | 車両用表示システム | |
| US11643012B2 (en) | Driving assistance device, driving situation information acquisition system, driving assistance method, and program | |
| JP2008162550A (ja) | 外部環境表示装置 | |
| JP5289920B2 (ja) | 車両用警報装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060217 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20060217 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081027 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090608 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090621 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |