JP4687573B2 - 車両用運転支援装置 - Google Patents

車両用運転支援装置 Download PDF

Info

Publication number
JP4687573B2
JP4687573B2 JP2006165149A JP2006165149A JP4687573B2 JP 4687573 B2 JP4687573 B2 JP 4687573B2 JP 2006165149 A JP2006165149 A JP 2006165149A JP 2006165149 A JP2006165149 A JP 2006165149A JP 4687573 B2 JP4687573 B2 JP 4687573B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
tunnel
image processing
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006165149A
Other languages
English (en)
Other versions
JP2007331545A (ja
Inventor
幸則 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006165149A priority Critical patent/JP4687573B2/ja
Publication of JP2007331545A publication Critical patent/JP2007331545A/ja
Application granted granted Critical
Publication of JP4687573B2 publication Critical patent/JP4687573B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両周辺の環境を撮像する周辺環境撮像手段を備える車両用運転支援装置に関する。
従来から、運転者の瞳孔に不可視光を照射し、該瞳孔からの反射光から得る瞳孔像により瞳孔の直径を計測してその大小関係を調べると共に、車外の照度を受光して得た車外の照度値の大小関係を調べて、これら大小関係の結果および/またはそれらの組合せから車両灯の点灯及び消灯制御を行うことを特徴とする車両灯制御方式が知られている(例えば、特許文献1参照)。
特開平9−315210号公報
ところで、冒頭部で記載した種の車両用運転支援装置では、カメラ(撮像手段)により車両周辺の環境を撮像し、その結果得られる環境画像に対する画像処理により白線認識や障害物認識等を行い、カメラという第2の目により運転者の視覚が支援される。しかしながら、車両は移動体であり、カメラに入射する光量は一定でなく変化して画像認識精度が悪くなる場合がある。このため、一般的には、カメラの受光量は、カメラ自身が取得する画像の明るさに基づいて制御されている。かかる制御によれば、トンネル内部では周囲光が少ないので、カメラの絞りが開く方向に制御されることになる。このような状態で、車両がトンネルの出口付近にさしかかると、カメラのレンズに直射日光が入射することになるので、フレアやゴースト、ハレーションが発生しやすくなり、画像認識精度が一時的に悪くなる場合がある。
そこで、本発明は、トンネルの出口付近で生じうるハレーションの発生を適切に防止することができる車両用運転支援装置の提供を目的とする。
上記目的を達成するため、第1の発明に係る車両用運転支援装置は、車両周辺の環境を撮像するように車両に取り付けられる周辺環境撮像手段と、
周辺環境撮像手段の受光量を調整する受光量調整手段と、
運転者の目を撮像する撮像手段を用いて、運転者の瞳孔を画像認識する瞳孔画像認識手段と、
車両がトンネル内部を走行中であることを検出するトンネル内部検出手段とを備え、
トンネル内部を走行中に運転者の瞳孔が小さくなった場合に、前記受光量調整手段により前記周辺環境撮像手段の受光量を低減させることを特徴とする。
第2の発明は、第1の発明に係る車両用運転支援装置において、
運転者の視線方向を検出する視線検出手段を更に備え、
前記露光状態制御手段は、トンネル内部を走行中に運転者の瞳孔が小さくなった場合であって、運転者の視線が正面方向に向いている場合には、前記周辺環境撮像手段の受光量を低減させることを特徴とする。これにより、トンネル出口付近から差し込む太陽光に反応して運転者の瞳孔が小さくなる現象を精度よく検出することができる。即ち、トンネル内部を走行中であっても、後方車両のヘッドランプの光に反応して運転者の瞳孔が小さくなる場合もあるが、運転者の視線方向を考慮することで、かかる場合を排除することができる。
第3の発明は、第2の発明に係る車両用運転支援装置において、
車両後方の環境を映し出すように配置されるミラーと、
前記ミラーの反射率を調整する反射率調整手段とを更に備え、
トンネル内部を走行中に運転者の瞳孔が小さくなった場合であって、運転者の視線が前記ミラーに向いている場合に、前記反射率調整手段により前記ミラーの反射率を低下させることを特徴とする。これにより、後方車両のヘッドランプの光により感じる運転者の眩しさを自動的に低減することができる。
第4の発明は、第1〜3の何れかの発明に係る車両用運転支援装置において、
前記トンネル内部検出手段は、ナビゲーション装置から得られる情報と、日照センサから得られる情報とに基づいて、車両がトンネル内部を走行中であることを検出することを特徴とする。これにより、車両がトンネル内部を走行中であることを精度良く検出することができる。
本発明によれば、トンネル出口から差し込む光に対しては運転者の瞳孔が日照センサ等よりも一番早く反応することに着目して、トンネル内部を走行中に運転者の瞳孔が小さくなった場合に、受光量調整手段により周辺環境撮像手段の受光量を低減させるので、トンネルの出口付近で生じうるハレーションの発生を適切に防止することができる。
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
図1は、本発明の一実施例が適用された車両用運転支援システムを示すシステム構成図である。車両用運転支援システムは、顔画像処理ECU10を備える。顔画像処理ECU10は、マイクロコンピューターを中心に構成されている。即ち、顔画像処理ECU10は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラム、画像データ、演算結果等を格納するメモリ(例えばROM、RAM,EEPROM等)、タイマ、カウンタ、入出力インターフェイス等を有しており、また、画像処理回路を構成するFPGA(Field Programmable Gate Array)を有してもよい。尚、以下で説明する顔画像処理ECU10の各処理(機能)は、CPUによって実行されるプログラムによって実現される。
顔画像処理ECU10には、CAN(controller area network)などの適切なバスを介して、車両内の各種のECUないしコントローラ16,20,30,34,40,44が接続されている。各種のECUないしコントローラ16,20,30,34,40,44は、顔画像処理ECU10と同様にマイクロコンピューターを中心に構成されている。
前方監視画像処理ECU16には、前方監視カメラ18が接続される。前方監視カメラ18は、CCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子により、車両前方の路面を含む前方環境画像を取得する。前方監視カメラ18は、例えばルームミラー42に取り付けられる。前方監視カメラ18の視線方向(光軸方向)は、運転時の運転者の通常的な視線方向よりも下向きに設定される。即ち、前方監視カメラ18は、正規の姿勢の運転者の目線よりも車両側に近い領域を捕捉するように設定される。例えば、前方監視カメラ18は、車両前方の比較的近い領域の路面を撮像するものであってもよい。前方監視カメラ18は、車両走行中にリアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で前方監視画像処理ECU16に供給するものであってよい。
前方監視画像処理ECU16は、前方監視カメラ18から得られる前方環境画像を画像処理して、車両前方の環境に関する前方環境情報を生成する。前方環境情報は、典型的には、道路区画線の位置や障害物の位置等の情報である。これらの前方環境情報は、車両の走行レーンからの逸脱を防止するためのレーンキープ制御や、前方障害物の存在を運転者に報知する警報制御等に用いられてよい。或いは、前方監視カメラ18の前方環境画像は、運転者の死角を補うために利用されてもよい。この場合、前方監視カメラ18の前方環境画像は、例えば鳥瞰画像(俯瞰画像)に変換されて、ディスプレイ(例えば後述の表示装置13)に表示されるものであってもよい。
前方監視画像処理ECU16は、また、前方監視カメラ18の撮像素子にレンズを介して入射する光の量(受光量)を制御する。受光量の制御は、可変の絞りを調整することにより実現されてもよいし、前方監視カメラ18に電子シャッターが備わる場合にはシャッター速度を調整することにより実現されてもよい。また、受光量の制御は、前方監視カメラ18に可動のレンズフードを設定して、レンズフードを移動させることで実現されてもよい。
前方監視画像処理ECU16は、以下で図3を参照して説明するような特別な場合(顔画像処理ECU10から指令を受ける場合)を除いて、前方監視カメラ18から得られる前方環境画像の明るさに基づいて、前方監視カメラ18の受光量の制御を行う。例えば、夜間走行時等の周辺環境が暗い場合には、前方監視カメラ18の絞りを開く方向に受光量を制御し、逆に日中走行時の周辺環境が明るい場合には、前方監視カメラ18の絞りを閉じる方向に受光量を制御する。
ヘッドライトコントローラ20は、通常時、運転者の操作に応じてヘッドライト22のON/OFF状態を制御する。また、ヘッドライトコントローラ20は、以下で図2を参照して説明するような特別な場合、自動的に(即ち運転者の操作の有無とは無関係に)ヘッドライト22をON/OFF状態を制御する。
メータ輝度コントローラ30は、車速やエンジン回転数等の各種情報を表示するメータ32の輝度を調整する。メータ32の輝度は、メータ32の表示板の背後に設定される光源(例えばLED)の輝度を制御することで自動的に調整されるものであってよい。
ナイトビューコントローラ34は、ヘッドアップ・ディスプレイ(HUD)36によりフロントウインドシールドガラスに、前方監視カメラ18の前方環境画像(赤外線画像)を表示する。この場合、前方監視カメラ18の赤外線画像は、例えばNTSC方式の映像信号としてヘッドアップ・ディスプレイ36の表示器に供給される。前方監視カメラ18の赤外線画像は、ヘッドライト22から近赤外光を含む光を照射することで生成されてもよいし、前方監視カメラ18に可視光域をカットするフィルターを着脱可能に設け、必要時にフィルターにより可視光域をカットして生成されてもよい。
自動防眩ミラーコントローラ40は、ルームミラー(リアビューミラー)42の反射率を制御する。ルームミラー42は、通常的に、車室内のルーフ前端部(フロントウインドシールドガラスの上端部)付近に配置される。ルームミラー42の反射率は、例えばエレクトロクロミック(酸化還元)反応を利用して電気的に制御されるものであってよい。例えば、ルームミラー42は、ガラス基板上に、ITO(透明電極)、発光層であるEC層(Electoro−Chromic層)、アルミ層(電極及び反射膜)を順に積層してなる。アルミ層とITOに所定の電圧が印加されると、電気化学的な酸化還元反応が起こり、EC層が青色に変化し、ルームミラー42の反射率が低くなる。一方、逆電圧が印加されると、EC層の青色が消えてもとの状態に戻り、反射率が高くなる。かかる構成では、自動防眩ミラーコントローラ40は、アルミ層とITOに印加する電圧を制御することで、ルームミラー42の反射率を自動的に調整する。
自動サンシェードコントローラ44は、フロントウインドシールドガラス46の反射率(透過率)を制御する。フロントウインドシールドガラス46の反射率は、ルームミラー42の反射率と同様、エレクトロクロミック反応を利用して電気的に制御されるものであってよい。
顔画像処理ECU10には、照度センサ(照度計)11が接続されている。照度センサ11は、日照量の変化をスキャナー部(集積化光センサ)により検出し、周波数信号として顔画像処理ECU10に出力するものであってよい。照度センサ11は、車室内の日が差し込む位置に配置され、例えばインストルメントパネル上部のフロントデフロスター付近に配置されてよい。
顔画像処理ECU10には、ナビゲーションECU12が接続されている。ナビゲーションECU12には、液晶ディスプレイ等の表示装置13や、DVD、CD−ROM等の記録媒体上に地図データを保有する地図データベース(図示せず)や、ユーザインターフェースとなるタッチパネル等の操作入力部等が接続されている。ナビゲーションECU12は、表示装置13の表示状態を制御し、表示装置13上に地図表示や経路案内表示を映像により出力する。また、ナビゲーションECU12は、表示装置13の表示状態を制御し、表示装置13の画面の明るさ(輝度)を変化させる。
地図データには、通常的な道路情報と同様、有料道路の合流点/分岐点に各々対応する各ノードの座標情報、隣接するノードを接続するリンク情報、トンネル区間に関するトンネル情報、各リンクに対応する道路の幅員情報、各リンクに対応する国道・県道・高速道路等の道路種別、各リンクの通行規制情報及び各リンク間の通行規制情報等が含まれている。
尚、トンネル情報は、予め収録されていてもよいし、実走行中に例えば前方監視カメラ18の検出結果(トンネル認識結果)に基づいて追加・補正されてもよいし、外部センタで新たに生成されて地図データベースに事後的にダウンロードされてもよい。この目的のため、地図データベースはハードディスクのような書き込み可能な記録媒体により構成されるのが好ましい。
ナビゲーションECU12は、自車位置検出手段12aを備えている。自車位置検出手段12aは、GPS(Global Positioning System)受信機、ビーコン受信機及びFM多重受信機や、車速センサやジャイロセンサ等の各種センサを含む。自車位置は、GPS受信機によりGPSアンテナを介してGPS衛星が出力するGPS信号に基づいて測位・演算される。測位方法は、単独測位や相対測位(干渉測位を含む。)等の如何なる方法であってもよいが、好ましくは精度の高い相対測位が用いられる。この際、自車位置は、車速センサやジャイロセンサ等の各種センサの出力や、ビーコン受信機及びFM多重受信機を介して受信される各種情報に基づいて補正されてよい。また、自車位置は、公知のマップマッチング技術により、不定期的に、地図データベース内の地図データを用いて適宜補正されてよい。このようにして得られる自車位置は、自車位置の演算周期毎に、顔画像処理ECU10に供給される。
顔画像処理ECU10には、顔状態検出カメラ14が接続されている。顔状態検出カメラ14は、可視光又は赤外線感応CCD(charge-coupled device)センサアレイを備えるカメラである。顔状態検出カメラ14は、車両の運転者の顔を撮像できる適切な位置・向きに配置される。例えば、顔状態検出カメラ14は、ルームミラー42に取り付けられてもよいし、インストルメントパネルのダッシュボードやステアリングコラム等に取り付けられてもよい。顔状態検出カメラ14は、車両走行中にリアルタイムに運転者の顔部の画像(以下、「顔画像」という)を取得し、所定のフレーム周期(例えば30fps)のストリーム形式で顔画像処理ECU10に供給するものであってよい。
顔画像処理ECU10は、顔状態検出カメラ14から随時入力される顔画像を画像処理して、運転者の瞳孔の大きさ(瞳孔サイズ)を検出する。瞳孔サイズの検出方法としては、例えば以下の方法がある。例えば、顔画像処理ECU10は、先ず、顔状態検出カメラ14により取得された画像から、顔の代表的なポイント(特徴点)を抽出する。この特徴抽出方法は、適切な任意の方法であってよく、例えばActive Appearance Model(AAM)をベースにした技術が用いられてよい。次いで、適切なエッジ検出アルゴリズム(例えばSobelのエッジ検出アルゴリズム)を適用して、目周辺の特徴の境界を抽出する。次いで、図2に示すように、瞳孔の輪郭線を抽出し、瞳孔サイズを認識する。或いは、赤外光オン時(可視光を遮断した状態)の顔画像と赤外光オフ時の顔画像との差分画像に基づいて、瞳孔サイズを認識することも可能である。
また、顔画像処理ECU10は、顔状態検出カメラ14から随時入力される顔画像を画像処理して、運転者の視線の向き(視線方向)を検出する。例えば、顔画像処理ECU10は、図2に示すように、目の輪郭及び眼球の輪郭線を抽出し、目の輪郭内における眼球の位置に基づいて、運転者の視線方向を検出してよい。尚、運転者の視線方向は、運転者の顔向きをも考慮して検出されてもよい。
また、顔画像処理ECU10は、顔状態検出カメラ14から随時入力される顔画像を画像処理して、運転者の瞼の開き量(瞼開度)を検出する。例えば、顔画像処理ECU10は、図2に示すように、目(瞼)の輪郭を抽出し、上下の瞼の輪郭線の最大幅Lを瞼開度として認識する。
図3は、他のECUないしコントローラと協働して顔画像処理ECU10により実現される主要処理の一実施例の流れを示すフローチャートである。本処理ルーチンは、例えばイグニッションスイッチがオンにされてからオフにされるまで周期的に繰り返し実行されるものであってよい。
ステップ100では、顔画像処理ECU10は、顔状態検出カメラ14から今回周期で入力される顔画像に基づいて、運転者の瞳孔サイズ、視線方向及び瞼開度を検出する。
ステップ110では、顔画像処理ECU10は、前回以前の周期で同様に検出された運転者の瞳孔サイズ、視線方向及び瞼開度(時系列データ)を用いて、運転者の瞳孔サイズ、視線方向及び瞼開度の変化量を算出する。
ステップ120では、顔画像処理ECU10は、照度センサ11の出力信号に基づいて、現在が昼か夜かを判別する。尚、昼夜判定は、所定期間の照度センサ11の出力信号に基づいて判断されてよい。これは、昼間であっても車両走行中に建物の陰等により一時的に照度センサ11の出力が一時的に小さくなることがあり、夜間であっても車両走行中に照明灯からの光により一時的に照度センサ11の出力が一時的に大きくなるときがあるからである。また、昼夜判定は、現在の時刻等の他の関連するパラメータを考慮して実行されてもよい。
また、ステップ120では、顔画像処理ECU10は、照度センサ11の出力信号とナビゲーションECU12からの情報(トンネル情報及び自車位置情報)に基づいて、現在の車両位置がトンネル内か否かを判断する。具体的には、顔画像処理ECU10は、照度センサ11の出力が所定閾値以下であり、且つ、現在の車両位置がトンネル内である場合に、現在の車両がトンネル内を走行中であると判定してよい。これは、ナビゲーションECU12からの情報のみを用いて現在の車両がトンネル内を走行中であるか否かを判定することも可能であるが、ナビゲーションECU12からの情報には誤差が含まれうるためである。
ステップ130では、顔画像処理ECU10は、運転者の瞳孔サイズ及び瞼開度が共に通常状態であるか否かを判定する。運転者の瞳孔サイズ及び瞼開度の通常状態は、個人差があるため、同運転者に対して予め試験等により基準画像(例えば運転者の覚醒度の高い状態で、周囲が通常的な明るさのときの画像)を取得しておき、当該基準画像との比較により判定してもよい。運転者の瞳孔サイズ及び瞼開度が共に通常状態である場合には、ステップ132に進み、それ以外の場合、即ち運転者の瞳孔サイズ及び瞼開度のいずれかが通常状態でない場合には、ステップ140に進む。
ステップ132では、全ての制御をリセット状態にする。即ち、以下で説明するように前回周期以前に後述のステップ142,162,176,174,182の処理を実行した場合には、当該処理を中止する。
ステップ140では、顔画像処理ECU10は、上記のステップ110の算出結果に基づいて、運転者の瞳孔サイズが小から大に変化したか否かを判定する。尚、運転者の瞳孔サイズの大小変化には個人差があるため、同運転者に対して予め試験等により基準画像(運転者が眩しく感じるような光を運転者に照射して瞳孔サイズを小さくさせたときの画像や、周囲を暗くして運転者の瞳孔サイズを大きくさせたときの画像)を取得しておき、当該基準画像との比較により判定してもよい。運転者の瞳孔サイズが小から大に変化したと判定した場合には、ステップ142に進み、それ以外の場合には、ステップ150に進む。
ステップ142では、顔画像処理ECU10は、周囲が暗くなったと判断して、メータ輝度コントローラ30をしてメータ32の表示輝度を減光させ、ナビゲーションECU12をして表示装置13の画面を減光させ、ヘッドライトコントローラ20をしてヘッドライト22をON状態にさせ、前方監視画像処理ECU16をして前方監視カメラ18の絞りを開く方向に変更させて前方監視カメラ18の受光量を増加させる。これにより、暗くなった周囲環境に適合した各種制御が実現される。尚、周囲が暗くなる場合としては、例えば、日が暮れた場合や、トンネル内に車両が入った場合や、建物や橋の影に車両が入った等が想定される。
ステップ150では、顔画像処理ECU10は、上記のステップ110の算出結果に基づいて、運転者の瞳孔サイズが大から小に変化し、且つ、運転者の瞼開度が大から小に変化した否かを判定する。尚、運転者の瞼開度の大小変化には個人差があるため、同運転者に対して予め試験等により基準画像(前方から光を受けて運転者が眩しく感じているときの画像(瞼開度が小さいときの画像)や、周囲が暗くて運転者の瞼開度が大きくなっているときの画像)を取得しておき、当該基準画像との比較により判定してもよい。
本ステップ150において、運転者の瞳孔サイズが大から小に変化し、且つ、運転者の瞳孔サイズが大から小に変化したと判定した場合には、運転者が眩しく感じていると判断してステップ160に進み、それ以外の場合、即ちいずれかが満たされない場合には、今回の処理ルーチンでは何ら処理を行うことなくステップ100に戻る。
ステップ160では、顔画像処理ECU10は、上記のステップ120の判定結果に基づいて、現在の状況が昼屋外であるか否かを判定する。現在の状況が昼屋外である場合には、ステップ162に進み、現在の状況が昼屋外でない場合には、ステップ170に進む。
ステップ162では、顔画像処理ECU10は、現在の状況が昼屋外であり、フロントウインドシールドガラス46を介して入射する太陽光により運転者が眩しく感じていると判断して、自動サンシェードコントローラ44をしてフロントウインドシールドガラス46の透過率を低下させる。即ち、フロントウインドシールドガラス46にサンシェードをかけたような状態を形成する。これにより、太陽光により眩しさが自動的に軽減されるので、運転者の運転負担が効果的に軽減される。尚、フロントウインドシールドガラス46の透過率が可変でない構成の場合であって、ルーフの前端付近に搭載されるサンバイザーがモータ等により可動な構成の場合には、顔画像処理ECU10は、サンバイザーを日除け位置に移動させてもよい。
ステップ170では、顔画像処理ECU10は、上記のステップ100の検出結果に基づいて、運転者の視線方向が正面(車両前方)を向いているか否かを判定する。尚、眼球の位置は個人差があるため、運転者に対して予め試験等により各視線に対応した基準画像(即ち正規の姿勢で正面を向いているときの画像)を取得しておき、当該基準画像との比較により判定してもよい。運転者の視線方向が正面を向いている場合には、ステップ172に進み、それ以外の場合には、ステップ180に進む。
ステップ172では、顔画像処理ECU10は、上記のステップ120の検出結果に基づいて、現在の車両位置がトンネル内か否かを判断する。トンネル内部を走行中であると判定した場合には、ステップ176に進み、それ以外の場合には、現在の状況が夜間屋外であり、対向車等のヘッドランプにより運転者が眩しさを感じたと判断して、ステップ174に進む。
ステップ174では、顔画像処理ECU10は、ナイトビューコントローラ34をして、HUD22によりフロントウインドシールドガラス46に、ナイトビュー画面(前方監視カメラ18の前方環境画像)を表示させる。
ステップ176では、顔画像処理ECU10は、現在の状況が昼屋内(正確には昼でトンネル内)であり、トンネル出口付近から差し込まれる太陽光により運転者が眩しさを感じていると判断して、前方監視画像処理ECU16をして、前方監視カメラ18の絞りを閉じる方向に変更させて前方監視カメラ18の受光量を低減させる。これにより、トンネル出口付近で太陽光の強い光が前方監視カメラ18のレンズに直接飛び込んでハレーションが生ずるのを防止することができる。
ステップ180では、顔画像処理ECU10は、上記のステップ100の検出結果に基づいて、運転者の視線方向がルームミラー42を向いているか否かを判定する。尚、眼球の位置は個人差があるため、運転者に対して予め試験等により各視線に対応した基準画像(即ちルームミラー42を向いているときの画像)を取得しておき、当該基準画像との比較により判定してもよい。運転者の視線方向がルームミラー42を向いている場合には、ステップ182に進み、それ以外の場合には、今回の処理ルーチンでは何ら処理を行うことなくステップ100に戻る。
ステップ182では、顔画像処理ECU10は、現在の状況が夜間又は屋内であり、ルームミラー42を介して反射する後方車両のヘッドランプの光により運転者が眩しさを感じていると判断して、自動防眩ミラーコントローラ40をしてルームミラー42の反射率を低下させる。即ち、ルームミラー42の防眩機能を自動的に起動する。これにより、運転者は、後方車両のヘッドランプの光に眩しさを感じることなく、後方環境を視認することができる。
ところで、運転者が正面を向いている場合には、前方監視カメラ18の視線の先よりも遠くを見ていることになるので、トンネル出口から差し込む光に対しては運転者の瞳孔が一番早く反応する。即ち、トンネル出口から差し込む光に対しては、運転者の瞳孔が一番早く反応し、次いで、前方監視カメラ18の画像が反応して明るくなり、最後に(トンネル出口直前又は出口直後)に照度センサ11の出力が反応する。従って、仮に、前方監視カメラ18の画像や照度センサ11の出力を用いて、前方監視カメラ18の受光量を低減させる構成では、前方監視カメラ18のレンズに太陽光の強い光が直接飛び込んだ後にしか、前方監視カメラ18の受光量を低減させることができない。即ちトンネル出口付近でハレーションが発生することになる。
これに対して、本実施例によれば、上述のステップ170,172,176の処理により、運転者の瞳孔の変化に基づいて、前方監視カメラ18の受光量を制御しているので、方監視カメラ18のレンズに太陽光の強い光が直接飛び込む前に、確実に前方監視カメラ18の受光量を低減させることができる。これにより、トンネル出口付近においても、ハレーションを防止して前方監視カメラ18の取得する前方環境画像を有効に利用することができる。従って、前方監視カメラ18の取得する前方環境画像に基づいて行われる各種制御の信頼性や表示自体の信頼性が向上する。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、トンネル出口付近でのハレーションを防止しているが、同様に、太陽光が照射している環境下で、2階以上の階層構造の橋の下層を走行している場合には、同様に橋の出口付近でハレーションが生ずる虞があるので、同様に、運転者の瞳孔の変化に基づいて、前方監視カメラ18の受光量を制御することとしてもよい。これにより、橋の出口付近で生じうるハレーションを防止して、橋の出口付近で前方監視カメラ18の取得する前方環境画像を有効に利用することができる。
また、上述の実施例では、運転者の瞳孔サイズや運転者の瞼開度の変化を所定の閾値を用いて評価してもよい。例えば、運転者の瞳孔サイズの標準サイズを予め実験等により導出しておき、運転者の瞳孔サイズが当該標準サイズよりも所定倍以上大きくなった場合には、運転者の瞳孔サイズが小から大に変化したと判定することとしてもよい。
また、上述の実施例では、運転者が眩しさを感じている状況を精度良く検出するために、運転者の瞳孔サイズ及び運転者の瞼開度の双方の変化態様を評価しているが、運転者の瞳孔サイズの変化のみを評価して、運転者が眩しさを感じている状況を検出することとしてもよい。
また、上述の実施例では、照度センサ11の出力信号とナビゲーションECU12からの情報(トンネル情報及び自車位置情報)に基づいて、現在の車両位置がトンネル内か否かを判断しているが、照度センサ11の出力信号に代えて又はそれに加えて、前方監視カメラ18の受光量の変化(前方環境画像の平均輝度)や、前方監視カメラ18により得られる前方環境画像に対する画像処理結果(トンネル内部状態の認識結果)に基づいて、現在の車両位置がトンネル内か否かを判断することとしてもよい。
また、上述の実施例において、運転者の瞼開度は、運転者の覚醒度(眠気度合い)を考慮して評価してもよい。これは、覚醒度の低い状態では眩しさに関係なく運転者の瞼開度が低くなりうるからである。
また、上述の実施例では、ルームミラー42の反射率を低減しているが、車両後方を映し出す他のミラー(例えば、車両外部のサイドミラーやSUVなどに搭載される補助ミラー)を反射率可変に構成し、上記のステップ180において運転者の視線が係るミラーに向いている場合に、当該ミラーの反射率を低減させることとしてもよい。
また、上述の実施例において、前方監視カメラ18自体を車両に対して可動に搭載してもよい。この場合、上記のステップ176において、前方監視カメラ18の位置を、受光量の少なくなる位置(例えばルーフにより影になる位置)に退避させることで、前方監視カメラ18の受光量を低減してハレーションを防止してもよい。
本発明の一実施例が適用された車両用運転支援システムを示すシステム構成図である。 画像認識処理の説明図である。 顔画像処理ECU10により実現される主要処理の一実施例の流れを示すフローチャートである。
符号の説明
10 顔画像処理ECU
11 照度センサ
12 ナビゲーションECU
12a 自車位置検出手段
13 表示装置
14 顔状態検出カメラ
16 前方監視画像処理ECU
18 前方監視カメラ
20 ヘッドライトコントローラ
22 ヘッドライト
30 メータ輝度コントローラ
32 メータ
34 ナイトビューコントローラ
36 ヘッドアップ・ディスプレイ
40 自動防眩ミラーコントローラ
42 ルームミラー
44 自動サンシェードコントローラ
46 フロントウインドシールドガラス

Claims (4)

  1. 車両周辺の環境を撮像するように車両に取り付けられる周辺環境撮像手段と、
    周辺環境撮像手段の受光量を調整する受光量調整手段と、
    運転者の目を撮像する撮像手段を用いて、運転者の瞳孔を画像認識する瞳孔画像認識手段と、
    車両がトンネル内部を走行中であることを検出するトンネル内部検出手段とを備え、
    トンネル内部を走行中に運転者の瞳孔が小さくなった場合に、前記受光量調整手段により前記周辺環境撮像手段の受光量を低減させることを特徴とする、車両用運転支援装置。
  2. 運転者の視線方向を検出する視線検出手段を更に備え、
    前記露光状態制御手段は、トンネル内部を走行中に運転者の瞳孔が小さくなった場合であって、運転者の視線が正面方向に向いている場合には、前記周辺環境撮像手段の受光量を低減させる、請求項1に記載の車両用運転支援装置。
  3. 車両後方の環境を映し出すように配置されるミラーと、
    前記ミラーの反射率を調整する反射率調整手段とを更に備え、
    トンネル内部を走行中に運転者の瞳孔が小さくなった場合であって、運転者の視線が前記ミラーに向いている場合に、前記反射率調整手段により前記ミラーの反射率を低下させる、請求項2に記載の車両用運転支援装置。
  4. 前記トンネル内部検出手段は、ナビゲーション装置から得られる情報と、日照センサから得られる情報とに基づいて、車両がトンネル内部を走行中であることを検出する、請求項1〜3の何れかに記載の車両用運転支援装置。
JP2006165149A 2006-06-14 2006-06-14 車両用運転支援装置 Expired - Fee Related JP4687573B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006165149A JP4687573B2 (ja) 2006-06-14 2006-06-14 車両用運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006165149A JP4687573B2 (ja) 2006-06-14 2006-06-14 車両用運転支援装置

Publications (2)

Publication Number Publication Date
JP2007331545A JP2007331545A (ja) 2007-12-27
JP4687573B2 true JP4687573B2 (ja) 2011-05-25

Family

ID=38931431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006165149A Expired - Fee Related JP4687573B2 (ja) 2006-06-14 2006-06-14 車両用運転支援装置

Country Status (1)

Country Link
JP (1) JP4687573B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160103713A (ko) * 2015-02-25 2016-09-02 김건중 졸음 운전 예방 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5181998B2 (ja) * 2008-10-10 2013-04-10 三菱自動車工業株式会社 車載用電子機器
CN104811609A (zh) * 2015-03-03 2015-07-29 小米科技有限责任公司 拍摄参数调整方法和装置
JP6312647B2 (ja) * 2015-11-13 2018-04-18 オートリブ ディベロップメント エービー 危険回避装置及びコンピュータプログラム
JPWO2020059076A1 (ja) * 2018-09-20 2021-04-30 三菱電機株式会社 運転支援装置および運転支援方法
JP6865906B2 (ja) * 2018-12-18 2021-04-28 三菱電機株式会社 表示制御装置及び表示制御方法
JP2020166056A (ja) * 2019-03-28 2020-10-08 株式会社デンソー 調光制御装置、調光システム、調光制御方法、及び制御プログラム
KR102270738B1 (ko) * 2019-12-30 2021-06-29 주식회사 유라코퍼레이션 차량용 감광식 미러의 제어 시스템 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09315210A (ja) * 1996-05-29 1997-12-09 Niles Parts Co Ltd 車両灯制御方式、車両の安全制御方式、およびオートライトシステム
JPH1142972A (ja) * 1997-07-29 1999-02-16 Fujitsu Ten Ltd 画像処理装置
JP2003260933A (ja) * 2002-03-11 2003-09-16 Matsushita Electric Ind Co Ltd 自動眩しさ調節装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09315210A (ja) * 1996-05-29 1997-12-09 Niles Parts Co Ltd 車両灯制御方式、車両の安全制御方式、およびオートライトシステム
JPH1142972A (ja) * 1997-07-29 1999-02-16 Fujitsu Ten Ltd 画像処理装置
JP2003260933A (ja) * 2002-03-11 2003-09-16 Matsushita Electric Ind Co Ltd 自動眩しさ調節装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160103713A (ko) * 2015-02-25 2016-09-02 김건중 졸음 운전 예방 시스템
KR101708872B1 (ko) * 2015-02-25 2017-02-21 김건중 졸음 운전 예방 시스템

Also Published As

Publication number Publication date
JP2007331545A (ja) 2007-12-27

Similar Documents

Publication Publication Date Title
JP4687573B2 (ja) 車両用運転支援装置
JP4533762B2 (ja) 可変透過率ウィンドウシステム
US7078692B2 (en) On-vehicle night vision camera system, display device and display method
US11040660B2 (en) Monitor display system and display method of the same
US20190315275A1 (en) Display device and operating method thereof
JP2003200755A (ja) 車両用表示装置
JP3864406B2 (ja) 車両の表示装置
KR101789984B1 (ko) 차량용 사이드 미러 카메라 시스템
JP6354804B2 (ja) 視界制御装置
US9638919B1 (en) Method for reducing reflection when operating a head-up display of a motor vehicle
JP2004058828A (ja) 車両前方表示システム
JP2005297716A (ja) 車両用窓ガラス透光率可変装置
JP2007091186A (ja) 車両周囲状況の撮影表示方法および撮影表示システム
JP4770385B2 (ja) 自動サンバイザ
JP2010188826A (ja) 車両用表示装置
JP2006137209A (ja) 車両用防眩装置
JPH07266923A (ja) 車両の表示装置
JP4735090B2 (ja) 赤外画像撮像装置
JP4033170B2 (ja) 車両用表示装置
JP6658483B2 (ja) 車両用表示制御装置及び車両用表示システム
JP6354805B2 (ja) 視界制御装置
JP2020052070A (ja) ヘッドアップディスプレイ装置
JP4779828B2 (ja) 車両用防眩装置
CN113059986B (zh) 一种智能高透车载遮阳屏装置
JP2006088789A (ja) 車両用視界支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110131

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees