JP4438583B2

JP4438583B2 - 運転支援装置

Info

Publication number: JP4438583B2
Application number: JP2004275197A
Authority: JP
Inventors: 雅明市原
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2004-09-22
Filing date: 2004-09-22
Publication date: 2010-03-24
Anticipated expiration: 2024-09-22
Also published as: JP2006092129A

Description

本発明は、概して、自車両前方信号機の指示変化を運転者に知らせる運転支援装置に係り、特に、運転者に不快感を与えない運転支援装置に関する。

従来、自車両前方信号機の指示変化を運転者に知らせる運転支援システムが知られている（例えば、特許文献１参照）。
特開平６−２５１２８７号公報

しかしながら、上記従来の運転支援システムでは、運転者が不注意により信号見ていないのか、或いは、意図的に見ていないのかが判別されていないため、運転者が確信的に信号を見ていないとき、信号が変わったことをシステムから警告されると運転者が不快感を感じるおそれがある。

本発明はこのような課題を解決するためのものであり、運転者に不快感を与えずに、自車両前方信号機の指示変化を運転者に知らせる運転支援装置を提供することを主たる目的とする。

上記目的を達成するため、第１の発明は、自車両前方信号機の指示変化を運転者に知らせる運転支援装置であって、
自車両前方信号機の指示を検出する信号機指示検出手段と、
自車両停車中に前記信号機指示検出手段により前記自車両前方信号機の指示が発進不許可から発進許可に変化したことが検出されたときに、運転者に対する通知を音声で出力する音声出力手段と、
自車両の助手席に乗員がいるか否かを検知する助手席乗員検知手段と、
運転者が操舵ハンドルを握っているか否かを検知するハンドル握持検知手段と、
前記自車両前方信号機の指示が発進不許可から発進許可に変化したときに運転者が該自車両前方信号機を見ているか否かを検知する運転者視線方向検出手段とを有し、
前記音声出力手段は、前記助手席乗員検知手段により自車両の助手席に乗員が検知されたとき、前記ハンドル握持検知手段により運転者が操舵ハンドルを握っていることが検知されたとき、及び前記運転者視線方向検出手段により運転者が前記自車両前方信号機の指示の変化を見ていたことが検出されたとき、前記通知を出力せず、
前記音声出力手段は、前記信号機指示検出手段により自車両前方信号機の指示が発進許可になるまでの時間が取得できた場合であって、前記運転者視線方向検出手段により自車両前方信号機の指示が発信許可になる前Ｎ秒間でＭ秒間以上運転者が前方を見ていないことが検出されたとき、運転者に対する通知を音声で出力する、ことを特徴とする。

上記信号機指示検出手段は、車両前方風景を撮像し、その撮像された画像に対して画像解析処理を行うことによって信号機の表示（指示）が何色であるかを識別する画像認識カメラであってもよく、或いは、信号機が無線信号でも指示（色）を伝達しているタイプのものであればその無線信号を受信し解読する無線機であってもよい。

また、上記助手席乗員検知手段は、例えば、助手席に向けられた画像認識カメラやシート内部又は下部に設置された圧力センサである。

上記ハンドル握持検知手段は、例えば、操舵ハンドル表面に設置され、物理的接触を感知する接触センサである。

上記運転者視線方向検出手段は、例えば、運転者の目の動きを撮像できるように車室内に設置された画像認識カメラなどである。

第２の発明は、第１の発明に係る運転支援装置であって、
自車両後方の所定の範囲内に他車両を検知する後方車両検知手段を更に有し、
前記音声出力手段は、前記後方車両検知手段により自車両後方の所定の範囲内に他車両が検知されないとき、前記通知を出力しない、ことを特徴とする。

上記後方車両検知手段は、例えば、自車両後部に取り付けられたレーダ、画像認識カメラ、又は超音波センサなどである。

第２の発明によれば、自車両後方に他車両が存在しない場合には、発進許可（青信号）になっても急いで発進する必要性は比較的低い、又は、荷物の出し入れなど信号一時停止とは別の理由で停車中である可能性がある、と判断して運転者に対して信号機の指示が発進許可（青）に変わったことをアナウンスしないため、運転者が不必要なアナウンスにより発進を急かされて不快感を感じるおそれが低減する。

第３の発明は、第１又は第２の発明に係る運転支援装置であって、
上記音声出力手段は、１度の通知で運転者は十分に信号機の指示（表示）が発進許可（青）に変わったことを認識し、通知を繰り返すと運転者に不快感を与えかねないとの観点から、上記通知を出力後、自車両が停車状態を継続した場合、２回目以降の通知を出力しない。

第４の発明は、第１乃至第３のいずれか１つの発明に係る運転支援装置であって、
運転者の発話を音声認識処理し、当該運転支援装置の作動に対して否定的な表現を検出する音声認識手段を更に有し、
前記音声出力手段は、前記通知を出力後、前記音声認識手段により運転者が当該運転支援装置の作動に対して否定的な表現が検出されたとき、次の自車両停車中に前記信号機指示検出手段により自車両前方信号機の指示が発進不許可から発進許可に変化したことが検出されても前記通知を出力しない、ことを特徴とする。
第５の発明は、第１乃至第３のいずれか１つの発明に係る運転支援装置であって、
運転者の発話を音声認識処理し、当該運転支援装置の作動に対して否定的な表現を検出する音声認識手段を更に有し、
前記音声出力手段は、前記通知を出力後、前記音声認識手段により運転者が当該運転支援装置の作動に対して否定的な表現が検出されたとき、次の自車両停車中に前記信号機指示検出手段により自車両前方信号機の指示が発進不許可から発進許可に変化したことが検出されてから前記通知を出力するまでに所定の時間間隔を空ける、ことを特徴とする。

本発明によれば、運転者に不快感を与えずに、自車両前方信号機の指示変化を運転者に知らせる運転支援装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、自車両前方信号機の指示変化を運転者に知らせる運転支援装置の基本概念、主要なハードウェア構成、作動原理、及び基本的な制御手法等については当業者には既知であるため、詳しい説明を省略する。

本発明の一実施例について図１及び２を用いて説明する。まず、図１を用いて、本実施例に係る運転支援装置１００の構成について説明する。図１は、車両に搭載された運転支援装置１００の概略構成図である。

運転支援装置１００は、車両周辺の風景を撮像する車外カメラ（Ｃ）１０１、１０２と、これらカメラ１０１、１０２により撮像された画像を画像処理して、車両周辺の風景を解析し、解析結果を撮像時間と共にバッファする画像解析部１０３とを有する。

また、運転支援装置１００は、更に、運転者の目の動きを撮像する視線カメラ（Ｃ）１０４、１０５と、これらカメラ１０４、１０５により撮像された画像から運転者の視線方向を検出し、検出結果を検出時間と共にバッファする視線検出部１０６とを有する。

また、運転支援装置１００は、更に、運転者の発話音声を録取するためのマイク（ＭＩＣ）１０７と、録取された運転者の発話音声を音声認識処理を用いて解析する音声認識部１０８とを有する。

また、運転支援装置１００は、例えばレーダ、画像認識カメラ、又は超音波センサなどを含み、自車両後方の所定の範囲内に他車両を検出する後方車両検出部１０９と、撮像された自車両前方風景画像と検出された運転者の視線方向Ｖとを照合して運転者が信号機を見ているか否かを判断する制御部１１０とを有する。

さらに、運転支援装置１００は、運転者に対する音声アナウンスを音声合成処理により生成する音声合成部１１１と、この音声合成部１１１により生成された音声アナウンスを運転者に対して出力するスピーカ１１２とを有する。

次いで、図２のフローチャートを用いて、本実施例に係る運転支援装置１００による青信号アナウンス処理の流れを説明する。

イグニッションＯＮ時や運転支援装置１００の電源投入時に本処理が開始されると、まず、図示しない車輪速センサなどの出力値から自車両が停車中であるか否かが判定される（Ｓ２０１）。本処理は車両が信号で一時停車中の場合のものであるため、停車中と判定されるまで待機状態となる（Ｓ２０１が繰り返される）。

自車両が停車中であると判定されると（Ｓ２０１の「ＹＥＳ」）、視線検出部１０６が視線カメラ１０４、１０５を作動させて運転者の視線方向Ｖの検出を開始する（Ｓ２０２）。さらに、画像解析部１０３が車外カメラ１０１、１０２を作動させて自車両前方の風景の撮像を開始し、撮像された画像の画像解析処理から信号機を検出する（Ｓ２０３）。

次いで、画像解析部１０３による自車両前方風景画像の画像解析処理により自車両前方の信号機が青（又は青緑などの発進許可を表す色）になったか否かが判定される（Ｓ２０４）。信号機が青にならなければアナウンスの必要はないため、青でなければ（Ｓ２０４の「ＮＯ」）Ｓ２０１へ戻り、青に変わるまで待機状態となる（Ｓ２０４の判定が繰り返される）。

自車両が停車中であって且つ信号機が青になった場合（Ｓ２０４の「ＹＥＳ」）、Ｓ２０５〜Ｓ２０８において、信号機が青になったことを運転者に知らせる音声アナウンスを出力するべきか否かが判定される。本実施例では、一例として、Ｓ２０５〜Ｓ２０８としてそれぞれ挙げた４つの判定条件を用いて音声アナウンスを出力すべきか否かを判定するものとしているが、これら４つの判定条件はいずれか１つだけが用いられてもよく、或いは、任意の２以上が組み合わせられて用いられてもよい。いずれの場合であっても、いずれかの判定条件が満たされれば、制御部１１０は画像解析部１０３から取得した信号機が青に変わった旨の報告を音声合成部１１１及びスピーカ１１２を通じてアナウンスしない。以下、本実施例のＳ２０５〜Ｓ２０８に沿って各判定条件を説明する。判定順序も任意でよく、本実施例の順序は一例に過ぎない。

まず、信号機が青に変わった瞬間に運転者が信号機を見ていたか及び／又は信号機が青に変わってから運転者が信号機を見たか否かが判定される（Ｓ２０５）。これは、制御部１１０が、画像解析部１０３により解析された自車両前方画像と視線検出部１０６により検出された運転者の視線方向Ｖとを照合することによって実現される。

信号機が青に変わった瞬間に運転者が信号機を見ていた又は信号機が青に変わってから運転者が信号機を見たと判断された場合（Ｓ２０５の「ＹＥＳ」）、運転者は青になったことを認識していると判断して、運転者に対して信号機が青に変わったことをアナウンスせずにＳ２０４へ戻る。これにより、信号機が青になったことを既に十分認識している運転者に対して重ねて音声アナウンスを出力することによって運転者に不快感を与える可能性が低減される。

信号機が青に変わった瞬間に運転者が信号機を見ておらず、信号機が青に変わってからも運転者が信号機を見ていないと判断された場合（Ｓ２０５の「ＮＯ」）、次に、助手席に乗員がいるか否かが判定される（Ｓ２０６）。これは、例えば、図示しない助手席に向けられた画像認識カメラや、シート内部又は下部に設置された圧力センサなどにより実現される。

助手席に乗員がいると判定された場合（Ｓ２０６の「ＹＥＳ」）、仮に運転者が青信号になったことに気が付いていなくても、助手席の乗員が気が付いて運転者に知らせる可能性があると判断して、運転者に対して信号機が青に変わったことをアナウンスせずにＳ２０４へ戻る。これにより、助手席の乗員から信号機が青になったことについて通知を受けた運転者に対して重ねて音声アナウンスを出力することによって運転者に不快感を与える可能性が低減される。なお、この判定条件は後部座席の乗員へ拡張することも可能である。

助手席に乗員がいないと判定された場合（Ｓ２０６の「ＮＯ」）、次に、運転者が操舵ハンドル（ステアリング・ハンドル）を握っているか否かが判定される（Ｓ２０７）。これは、例えば、図示しない操舵ハンドル表面に設置され、物理的接触を感知する接触センサなどにより実現される。

運転者が操舵ハンドルを握っていると判定された場合（Ｓ２０７の「ＹＥＳ」）、運転者はすぐにでも発進する準備ができており、前方へ注意を向けていると判断して、運転者に対して信号が青に変わったことをアナウンスせずにＳ２０４へ戻る。これにより、既に発進しようとしている運転者に対して音声アナウンスを出力することによって、運転者が必要以上に発進を急かされたと感じ、不快に思う可能性が低減される。

運転者が操舵ハンドルを握っていないと判定された場合（Ｓ２０７の「ＮＯ」）、最後に、自車両後方の所定の範囲内に他車両が存在するか否かが判定される（Ｓ２０８）。これは、後方車両検出部１０９が自車両後方の所定の範囲内を走査することによって実現される。

自車両後方の所定の範囲内に他車両が存在しない場合（Ｓ２０８の「ＮＯ」）、青信号になっても急いで発進する必要性は比較的低い、又は、荷物の出し入れなど信号一時停止とは別の理由で停車中である可能性があると判断して、運転者に対して信号機が青に変わったことをアナウンスせずにＳ２０４へ戻る。これにより、運転者が出力された音声アナウンスによって必要以上に発進を急かされたと感じ、不快に思う可能性が低減される。

このように、Ｓ２０５〜Ｓ２０８のいずれかの条件が満たされた場合には（Ｓ２０５の「ＹＥＳ」又はＳ２０６の「ＹＥＳ」又はＳ２０７の「ＹＥＳ」又はＳ２０８の「ＮＯ」）、信号機が青に変わったことを運転者に知らせる音声アナウンスは出力されない。

他方、Ｓ２０５〜Ｓ２０８のすべての条件が満たされなかった場合（Ｓ２０５の「ＮＯ」且つＳ２０６の「ＮＯ」且つＳ２０７の「ＮＯ」且つＳ２０８の「ＹＥＳ」）、信号機が青に変わったことを知らせる音声アナウンスを出力しても運転者に不快感を与える可能性は低いと判断され、制御部１１０は音声合成部１１１及びスピーカ１１２を通じて所定の音声アナウンス（例えば、「信号が青に変わりました」など）を出力する（Ｓ２０９）。

Ｓ２０９の後、本処理はＳ２０１へ戻って繰り返し実行されるが、本実施例において、音声アナウンスは同じ青信号に対しては一度しか出力されないものとする。すなわち、音声アナウンスが一旦出力された後、自車両がしばらく停車状態を維持したとしても、音声アナウンスは再度出力されない。これにより、音声アナウンスにより信号機が青になったことを既に十分認識した運転者に対して重ねて音声アナウンスを出力することによって運転者に不快感を与える可能性が低減される。

また、本実施例においては、Ｓ２０９において音声アナウンスが出力された後の運転者の反応を見て、上述のような判定条件が考慮されたにもかかわらず不快感を与えてしまったようであれば、以後は同様の不快感を与えないように出力条件又は出力タイミングを修正する自己修正機能を持つものとする。

具体的には、音声認識部１０８がマイク１０７を通じて取得した音声アナウンス出力後の運転者の発話を音声認識処理し、運転者の発話中に運転支援装置１００に対する否定的な表現（例えば、「うるさい」、「だまれ」、「わかっているよ」など）が含まれていないか判定し、制御部１１０に報告する。制御部１１０は、音声認識部１０８より運転者から否定的な発言があったとの報告を受けると、運転者が以後同じ反応を取らないように、何らかの修正措置をとる。具体的には、例えば、ａ）所定期間又は所定回数（次の１回など）の間、Ｓ２０５〜Ｓ２０８の判定条件にかかわらず音声アナウンスの出力を停止する、或いは、ｂ）Ｓ２０８とＳ２０９の間に所定の待機時間を設け、この所定の待機時間を経過しても依然として停車状態であったときだけ音声アナウンスを出力するようにする、或いは、ｃ）運転者から再開操作が入力されるまで音声アナウンスの出力を中止する、或いは、ｄ）音声アナウンスの表現をより柔らかい表現に変更する、などの対応が考えられる。

このように、本実施例によれば、運転者に不快感を与えるおそれがあると推定されたときには信号機が青に変わったことを運転者に知らせる音声アナウンスが出力されないため、運転者に不快感を与える可能性が低減される。

なお、上記一実施例において、例えば画像解析部１０３による歩行者用信号機の指示変化の検出などから、自車両前方の信号機が青になるまでの時間が取得できた場合、制御部１１０は、視線検出部１０６を利用して、運転者が青信号になる前Ｎ秒間でＭ秒間以上前方を見ていないとき、音声合成部１１１及びスピーカ１１２を通じて「信号が青に変わります」などといった音声アナウンスを出力してもよい。また、この場合、音声アナウンス出力後に運転者が上述のような否定的な発言をした場合、例えばＭを大きくすることで対応してもよい。

本発明は、自車両前方信号機の指示変化を運転者に知らせる運転支援装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。

本発明の一実施例に係る運転支援装置の概略構成図である。本発明の一実施例に係る運転支援装置による車外対象物案内処理の流れを示すフローチャートである。

符号の説明

１００運転支援装置
１０１、１０２車外カメラ
１０３画像解析部
１０４、１０５視線カメラ
１０６視線検出部
１０７マイク
１０８音声認識部
１０９後方車両検出部
１１０制御部
１１１音声合成部
１１２スピーカ

Claims

自車両前方信号機の指示変化を運転者に知らせる運転支援装置であって、
自車両前方信号機の指示を検出する信号機指示検出手段と、
自車両停車中に前記信号機指示検出手段により前記自車両前方信号機の指示が発進不許可から発進許可に変化したことが検出されたときに、運転者に対する通知を音声で出力する音声出力手段と、
自車両の助手席に乗員がいるか否かを検知する助手席乗員検知手段と、
運転者が操舵ハンドルを握っているか否かを検知するハンドル握持検知手段と、
前記自車両前方信号機の指示が発進不許可から発進許可に変化したときに運転者が該自車両前方信号機を見ているか否かを検知する運転者視線方向検出手段とを有し、
前記音声出力手段は、前記助手席乗員検知手段により自車両の助手席に乗員が検知されたとき、前記ハンドル握持検知手段により運転者が操舵ハンドルを握っていることが検知されたとき、及び前記運転者視線方向検出手段により運転者が前記自車両前方信号機の指示の変化を見ていたことが検出されたとき、前記通知を出力せず、
前記音声出力手段は、前記信号機指示検出手段により自車両前方信号機の指示が発進許可になるまでの時間が取得できた場合であって、前記運転者視線方向検出手段により自車両前方信号機の指示が発信許可になる前Ｎ秒間でＭ秒間以上運転者が前方を見ていないことが検出されたとき、運転者に対する通知を音声で出力する、ことを特徴とする運転支援装置。
請求項１記載の運転支援装置であって、
自車両後方の所定の範囲内に他車両を検知する後方車両検知手段を更に有し、
前記音声出力手段は、前記後方車両検知手段により自車両後方の所定の範囲内に他車両が検知されないとき、前記通知を出力しない、ことを特徴とする運転支援装置。
請求項１又は２記載の運転支援装置であって、
前記音声出力手段は、前記通知を出力後、自車両が停車状態を継続した場合であっても、２回目以降の通知を出力しない、ことを特徴とする運転支援装置。
請求項１乃至３のいずれか一項記載の運転支援装置であって、
運転者の発話を音声認識処理し、当該運転支援装置の作動に対して否定的な表現を検出する音声認識手段を更に有し、
前記音声出力手段は、前記通知を出力後、前記音声認識手段により運転者が当該運転支援装置の作動に対して否定的な表現が検出されたとき、次の自車両停車中に前記信号機指示検出手段により自車両前方信号機の指示が発進不許可から発進許可に変化したことが検出されても前記通知を出力しない、ことを特徴とする運転支援装置。
請求項１乃至３のいずれか一項記載の運転支援装置であって、
運転者の発話を音声認識処理し、当該運転支援装置の作動に対して否定的な表現を検出する音声認識手段を更に有し、
前記音声出力手段は、前記通知を出力後、前記音声認識手段により運転者が当該運転支援装置の作動に対して否定的な表現が検出されたとき、次の自車両停車中に前記信号機指示検出手段により自車両前方信号機の指示が発進不許可から発進許可に変化したことが検出されてから前記通知を出力するまでに所定の時間間隔を空ける、ことを特徴とする運転支援装置。