JP4998870B2 - 車両用刺激提示装置及び刺激提示方法 - Google Patents

Description

本発明は、自車の走行シーンに応じた音や振動による刺激を運転者に与えて、運転の楽しさを実感させる車両用刺激提示装置及び刺激提示方法に関する。

近年、自動車等の車両においては、車載カメラで車両周囲の画像を撮影し、この車載カメラの撮影画像から有用な情報を取得して運転者に提示することで、運転者の運転操作を支援するシステムが種々提案されている（例えば、特許文献１や特許文献２等参照。）。

特許文献１に記載のものは、車両が走行路を逸脱したことを検知して運転者にその旨を報知するシステムであり、特に、車載カメラの撮影画像を処理して車両の走行路に対する横変位を検出し、横変位の標準偏差から運転者の意識レベルを評価して、車両の横変位量と運転者の意識レベルとに基づいて、報知のパターンを変化させるようにしている。

また、特許文献２に記載のものは、車両後方の障害物を検知して運転者にその旨を報知するシステムであり、車載カメラで事前に撮影された障害物のない状況下での車両後方の撮影画像と、車両が後退走行を開始する直前に車載カメラで撮影された車両後方の撮影画像とを比較して車両後方に障害物が存在するか否かを判定し、障害物が存在することを検知したときには運転者にその旨の報知を行うようにしている。
特開平５−１０４９７６号公報 特開２０００−１７７５１３号公報

しかしながら、上述した引用文献１に記載の技術や引用文献２に記載の技術をはじめとして、車載カメラの撮影画像を処理して運転者に何らかの情報を提示する従来のシステムは、何れも運転者が不適切な運転操作を行ってしまうのを未然に防止することを目的としたものであり、運転者に運転の楽しさを実感させるような情報の提示を行うことはできない。

すなわち、運転者が車両の運転を楽しもうとしている場合などにおいては、例えば、ドライビングシミュレータやレーシングゲームなどのように、車両の走行シーンに合わせたパターンの効果音や振動などを運転者に与えると、これが運転者の視覚認知による刺激とは別の副次的な刺激となって興奮状態を高め、運転者に運転の楽しさを実感させることができると考えられる。

しかしながら、車載カメラの撮影画像を処理して運転者に何らかの情報を提示する従来のシステムは、走行シーンに合わせて運転者に提示する情報の内容を変化させる構成とはなっておらず、走行シーンに合わせたパターンで運転者に刺激を与えて運転の楽しさを実感させるといった用途での利用は困難である。

また、運転者に運転の楽しさを実感させるという観点からは、運転者が視覚認知による刺激と効果音や振動などによる刺激との２回の刺激を、一次刺激（予告刺激）と二次刺激（本番刺激）といったかたちで２回に分けて受けるようにすることが、より効果的と考えられる。つまり、２回の刺激を予告刺激と本番刺激として運転者に与えると、運転者は、予告刺激により腹側被蓋から前頭葉の報酬予測系および尾状核の動機付けシステムが刺激されて、本番刺激まで継続したわくわく感、興奮状態が与えられることになり、視覚認知による刺激と効果音や振動などによる刺激との２回の刺激を同時に受けた場合に比べてより高い快感が生まれ、運転の楽しさを強く実感できるようになる。

しかしながら、車載カメラの撮影画像を処理して運転者に何らかの情報を提示する従来のシステムは、運転者に対して２回の刺激を予告刺激と本番刺激といったかたちで与える構成とはなっておらず、運転者に運転の楽しさを実感させることができない。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車載カメラで撮影された画像をもとに車両運転の臨場感を高めるような音や振動による刺激を運転者に与え、さらにその刺激を運転者が視覚認知により受ける刺激と関連付けて、予告刺激と本番刺激といったかたちで運転者に与えることで、運転者に運転の楽しさを強く実感させることができる車両用刺激提示装置及び刺激提示方法を提供することを目的としている。

本発明は、自車前方の風景画像を車載カメラで撮影し、その風景画像に基づいて自車の走行シーンを推定して、推定した自車の走行シーンが所定の走行シーンである場合に、その走行シーンに合わせた所定パターンの音や振動による刺激を発生させる。このとき、所定パターンの音や振動による刺激を発生させるタイミングを、自車の運転者が自車前方の風景変化から前記所定の走行シーンを認識すると推定されるタイミングと異ならせることで、音や振動による刺激と運転者の視覚認知による刺激とが予告刺激と本番刺激といったかたちで運転者に与えられるようにする。

本発明によれば、自車の走行シーンに合わせた音や振動による刺激と運転者の視覚認知による刺激とが予告刺激と本番刺激といったかたちで運転者に与えられるので、運転者に運転の楽しさを強く実感させることができる。

以下、本発明を適用して構成された車両用刺激提示装置の具体例について、図面を参照しながら説明する。

本実施形態の車両用刺激提示装置は、当該車両用刺激提示装置が搭載された車両である自車の前方の風景画像を車載カメラで撮影し、その風景画像に基づいて自車の走行シーンを推定し、推定した走行シーンが予め定めた所定の走行シーンである場合に、当該走行シーンに合わせた所定パターンの効果音を出力して、自車の運転者に運転の楽しさを実感させるものである。そして、特に本実施形態の車両用刺激提示装置では、所定パターンの効果音の出力タイミングを、自車の運転者が自車前方の風景変化から所定の走行シーンを認識すると推定されるタイミングとは異なるタイミングとなるように制御し、効果音による刺激と運転者の視覚認知による刺激とが予告刺激と本番刺激といったかたちで運転者に与えられるようにすることで、運転者の興奮度を効果的に高めて、運転者に運転の楽しさを強く実感させることを大きな特徴としている。

図１は、本実施形態の車両用刺激提示装置の構成を示すブロック図である。図１に示すように、この車両用刺激提示装置は、自車前方の風景画像を撮影する車載カメラ１と、車載カメラ１で撮影された風景画像を処理して自車の走行シーンを推定する画像処理装置１０と、画像処理装置１０で推定された走行シーンに合わせたパターンの効果音を生成するとともにその出力タイミングを制御する音処理装置２０と、音処理装置２０で作成された効果音を音処理装置２０で決定されたタイミングで出力するスピーカ２とを備えて構成される。また、画像処理装置１０および音処理装置２０には、自車の走行速度を検出する速度検出装置３、自車に搭載された車載ナビゲーション装置４、自車の操舵角度を検出する操舵度検出装置５、自車の車室内の照度を検出する室内照度計６がそれぞれ接続されている。

車載カメラ１は、例えば自車前方のフロントバンパーなどに設置され、自車前方の風景画像を所定の撮影周期で連続的に撮影する。そして、車載カメラ１は、撮影した風景画像の画像データを、撮影周期に同期したフレーム単位で画像処理装置１０に出力する。

画像処理装置１０は、輪郭検出部１１と、画像フィルタ部１２と、参照画像パターン記憶部１３と、画像パターン識別部１４と、画像パターン時間変化処理部１５と、走行シーン判定部１６とを備え、車載カメラ１から入力された自車前方の風景画像の画像データを処理して自車の走行シーンを推定する。

車載カメラ１によって撮影された風景画像は、画像処理装置１０の輪郭検出部１１にて車両や道路などの輪郭が検出され、さらに画像フィルタ部１２にて余分な部分が取り除かれることで、車両や道路などの特定のパターンが抽出される。そして、風景画像から抽出された特定のパターンが、参照画像パターン記憶部１３に保存されている画像パターンと、画像パターン認識部１４にて照合され、いずれのパターンであるか決定される。さらに、その画像パターンの時間変化が画像パターン時間変化処理部１５にて風景の時間変化として認識され、これらの画像データの時間的変化と速度検出装置３、車載ナビゲーション装置４、操舵角検出装置５および室内照度計６からの信号をもとに、走行シーン判定部１６にて自車の走行シーンが判定される。

詳述すると、車載カメラ１から画像処理装置１０にフレーム単位で入力された風景画像の画像データは、まず、デジタルデータに変換された上で輪郭検出部１１に供給され、輪郭検出部１１において例えば既知のエッジ検出などの処理が行われて、風景画像に含まれる車両や道路などの輪郭が検出される。そして、輪郭検出部１１にて処理された風景画像が、画像フィルタ部１２において所定のフィルタリング処理が行なわれることで、余分な部分が取り除かれ、車両や道路などの特定のパターンが抽出される。

具体的な例を挙げて説明すると、例えば、車載カメラ１により図２（ａ）に示すような自車前方の風景画像が撮影された場合、この風景画像は、画像処理装置１０の輪郭検出部１１において図２（ｂ）に示すようなエッジ画像に加工され、さらに画像フィルタ部１２において図２（ｃ）に示すようなパターン画像に加工される。つまり、図２（ａ）に示すように、比較的広い直線道路を自車が走行中で前方に１台の先行車と１台の対向車が存在する風景が車載カメラ１により風景画像として撮影されると、画像処理装置１０の輪郭検出部１１及び画像フィルタ部１２での処理を経て、この風景画像から、画像内のある１点に集束する直線のパターンが、直線道路の道路側部やセンターライン、車線区分線などを表す道路パターンＰ１として抽出され、道路上に存在する２つの略矩形のパターンが、自車前方の先行車や対向車を表す車両パターンＰ２として抽出される。

また、例えば、車載カメラ１により図３（ａ）に示すような自車前方の風景画像が撮影された場合、この風景画像は、画像処理装置１０の輪郭検出部１１において図３（ｂ）に示すようなエッジ画像に加工され、さらに画像フィルタ部１２において図３（ｃ）に示すようなパターン画像に加工される。つまり、図３（ａ）に示すように、比較的狭い右カーブの道路を自車が走行中で前方に１台の先行車が存在する風景が車載カメラ１により風景画像として撮影されると、画像処理装置１０の輪郭検出部１１及び画像フィルタ部１２での処理を経て、この風景画像から、画像内のある１点に集束する曲線のパターンが、カーブ路の道路側部やセンターライン、車線区分線などを表す道路パターンＰ１として抽出され、道路上に存在する１つの略矩形のパターンが、自車前方の先行車を表す車両パターンＰ２として抽出される。

なお、ここでは、直線道路やカーブ路を表す道路パターンＰ１や自車前方の先行車や対向車を表す車両パターンＰ２を自車前方の風景画像から抽出する場合を例示しているが、これら道路パターンＰ１や車両パターンＰ２以外にも、例えば、道路脇の建造物や樹木、道路上のトンネルや橋、踏切、信号機、標識などの構造物、道路上の歩行者や二輪車などを表すパターンなど、自車の走行シーンを推定する要因になると考えられる様々なパターンを自車前方の風景画像から抽出する。

画像フィルタ部１２において風景画像から道路パターンＰ１や車両パターンＰ２などの特定のパターンが抽出されると、画像パターン識別部１４により、その風景画像から抽出された道路パターンＰ１や車両パターンＰ２などの特定のパターンが、参照画像パターン記憶部１３に記憶されている参照画像パターンと照合される。すなわち、参照画像パターン記憶部１３には、例えば、様々な形状の道路に対応した各種の道路パターンや、自車に対して様々な位置関係で存在する車両に対応した各種の車両パターンなどが、参照画像パターンとして予め記憶されている。そして、これら参照画像パターン記憶部１３に記憶されている各種道路パターンや各種車両パターンなどの組み合わせにより、例えば図４にその一部を例示するように、自車の様々な走行シーンに対応した自車前方の風景画像全体を表す画像パターンが得られるようになっている。画像パターン認識部１４は、参照画像パターン記憶部１３に記憶されている各種道路パターンや各種車両パターンなどの組み合わせの中から、風景画像から抽出された道路パターンＰ１や車両パターンＰ２などの特定のパターンの組み合わせに最も近い画像パターンを特定する。

画像パターン時間変化処理部１５では、画像パターン認識部１４により特定された風景画像に近い画像パターンの時間的変化が把握される。すなわち、画像パターン時間変化処理部１５は、画像パターン識別部１４での処理結果を、車載カメラ１で撮影された風景画像の複数フレームに亘って一時的に記憶しておき、各フレーム毎の処理結果を比較することによって、画像パターンの時間的変化を認識する。

走行シーン判定部１６では、画像パターン識別部１４により特定された風景画像全体の画像パターンに基づいて、例えば、自車が直線道路を走行中であるのか或いはカーブ路を走行中であるのか、どの程度の道幅の道路を走行中であるか、前方に先行車や対向車が存在するかといった自車の現在の状況が推定され、さらに、画像パターン時間変化処理部１５により把握された風景画像内の特定パターンの時間的変化の様子や、速度検出装置３からの自車の走行速度の情報、自車に搭載された車載ナビゲーション装置４からのナビゲーション情報、操舵角検出装置５からの自車の操舵角度の情報、室内照度計６からの自車の車室内照度の情報なども加味されて、自車の走行シーンが推定される。すなわち、走行シーン判定部１６は、車載カメラ１で撮影された自車前方の風景画像の画像データを加工処理することで得られる情報をもとに、速度検出装置３や車載ナビゲーション装置４、操舵角検出装置５、室内照度計６などからの情報も利用して、自車の走行シーンを推定する。そして、走行シーン判定部１６は、自車前方の風景画像を用いて推定した自車の走行シーンを表す情報を、音処理装置２０に供給する。

音処理装置２０は、効果音処理部２１と、出力タイミング決定部２２とを備え、画像処理装置１０の走行シーン判定部１６により推定される自車の走行シーンが所定の走行シーンである場合に、当該走行シーンに合わせた所定パターンの効果音を、その出力タイミングを制御しながらスピーカ２から出力させる。

効果音処理部２１は、効果音を出力する対象となる走行シーンとその走行シーンに合わせた効果音のパターンとを対応付けてメモリに記憶しており、画像処理装置１０の走行シーン判定部１６により判定された自車の走行シーンが、効果音を出力する対象となる走行シーンとしてメモリに記憶されている走行シーンである場合に、当該走行シーンと対応付けてメモリに記憶されているパターンの効果音を、出力タイミング決定部２２で決定されたタイミングで、スピーカ２から出力させる。

また、出力タイミング決定部２２は、効果音を出力する対象となる走行シーンとその走行シーンに合わせた効果音を出力させる条件との対応関係をメモリに記憶しており、画像処理装置１０の走行シーン判定部１６により判定された自車の走行シーンが、効果音を出力する対象となる走行シーンとしてメモリに記憶されている走行シーンである場合に、当該走行シーンと対応付けてメモリに記憶されている出力条件を確認する。そして、出力タイミング決定部２２は、車載カメラ１で撮影されて画像処理装置１０で加工処理された自車前方の風景画像や、速度検出装置３、車載ナビゲーション装置４、操舵角検出装置５、室内照度計６などからの情報を用い、効果音の出力条件が成立したタイミングを効果音の出力タイミングとして決定して効果音処理部２１に対して効果音の出力指令を与える。これにより、効果音の出力条件が成立したタイミングで、自車の走行シーンに合わせた効果音がスピーカ２から出力される。

ここで、本実施形態の車両用刺激提示装置では、自車の走行シーンに合わせた効果音をスピーカ２から出力させるタイミングを、自車の運転者の視覚認知に合わせて自車前方の風景変化から当該走行シーンを認識すると推定されるタイミングを基準タイミングとしたときに、この基準タイミングとは異なるタイミングとなるように制御する。

具体的な例を挙げて説明すると、例えば、自車が先行車を追い越すシーンが効果音の対象となる走行シーンであり、この追い越しシーンに対応する効果音のパターンが自車と先行車との車間距離に応じて周波数が変化するロケット音であるとした場合、自車の運転者の視覚認知を基準とする基準タイミングで出力される効果音は、図５中のの曲線Ａで示すようなパターンとなる。すなわち、自車の運転者の視覚認知を基準とする基準タイミングで出力される効果音は、自車と先行車との相対距離がＬ１となって自車の運転者が先行車の接近を直接視界で認識できるようになる時刻Ｔ１に出力を開始し、自車と先行車との相対距離が短くなるにつれて音の周波数が高くなって相対距離＝０となる時刻Ｔ２で音の周波数がピークとなり、その後、自車が先行車を追い越してマイナスの値の相対距離が大きくなるにつれて音の周波数が低くなり、自車と先行車との相対距離が−Ｌ１となる時刻Ｔ３で出力を終了するロケット音のパターンとなる。この場合には、自車の運転者に対して、自車前方の風景変化に基づいて認識される自車の走行シーンに同期した効果音が提示され、直接視界による刺激と効果音による刺激とが同時に与えられることになる。

これに対して、本実施形態の車両用刺激提示装置では、図５中の曲線Ｂで示すように、基準タイミングで出力される効果音と同様のパターンの効果音が、例えば時間的に遅れて出力されるように、その出力タイミングを制御する。つまり、音の周波数が最も高くなるピークが、自車が先行車を追い越す時刻Ｔ２よりも遅れて時刻Ｔ２’で発生するように、上述したパターンの効果音の出力タイミングを遅延させる。この場合には、効果音による刺激が、直接視界による刺激から所定の時間差をもって発生する二次的な刺激として、自車の運転者に与えられることになる。その結果、効果音を基準タイミングで出力して自車の運転者の直接視界による刺激と同時に効果音による刺激を与える場合と比較して、運転者の興奮度合いをさらに高めて、強いわくわく感や快感を感じさせることが可能となる。

運転者の快感状態を調べる脳活動指標として前頭部総血流量に着目すると、図５中の曲線Ａ、すなわち追い越しシーンに対応する効果音を自車の運転者の視覚認知に同期した基準タイミングで出力させた場合には、自車の運転者の前頭部総血流量のピークは、図６（ａ）に示すように、自車が先行車を追い越す時刻Ｔ２の１回のみ発生しない。これに対して、図５中の曲線Ｂ、すなわち追い越しシーンに対応する効果音を基準タイミングよりも遅延させたタイミングで出力させた場合には、図６（ｂ）に示すように、自車が先行車を追い越す時刻Ｔ２と効果音の周波数が最も高くなる時刻Ｔ２’との２回で、自車の運転者の前頭部総血流量のピークが発生し、全体時間における血流量積分値が図６（ａ）に比べて大きくなる。これは、自車の運転者の直接視界による視覚刺激が一次刺激（予告刺激）、効果音による刺激が二次刺激（本番刺激）となり、一次刺激による興奮状態が二次刺激への期待感として二次刺激が発生するまで継続し、全体としての血流量積分値が大きくなっていることを示している。この前頭部総血流量は運転者の快感指標であるため、自車の走行シーンに対応する効果音を運転者の視覚認知に同期させて出力させた場合よりも、運転者の視覚認知から遅延させたタイミングで出力させるほうが、運転者に対して強いわくわく感、快感を与えられることが分かる。

なお、以上の例は、自車の走行シーンに対応する効果音の出力タイミングを基準タイミングよりも遅延させた場合の例であるが、自車の走行シーンに対応する効果音の出力タイミングを基準タイミングよりも早めて、効果音による刺激を一次刺激（予告刺激）、運転者の直接視界による視覚刺激を二次刺激（本番刺激）とした場合にも、上述した例と同様に、運転者に対して強いわくわく感、快感を与えることが可能となる。また、追い越しシーンに対応する効果音のパターンも特に以上の例に限定されるものではなく、例えば、自車と先行車との相対距離に応じて音圧が変化させるパターンや、自車と先行車との相対距離に応じて断続音の間隔周期を変化させるパターンなど、自車の運転者が先行車の追い越しを実感できるような様々なパターンの効果音が採用可能である。

本実施形態の車両用刺激提示装置では、自車の走行シーンに対応した効果音の出力タイミングが基準タイミングとは異なる最適なタイミングとなるように、効果音を出力させる対象となる走行シーンごとに、効果音の出力条件を予め定めて音処理装置２０の出力タイミング決定部２２に記憶させている。そして、音処理装置２０の出力タイミング決定部２２が、車載カメラ１で撮影されて画像処理装置１０で加工処理された自車前方の風景画像や、速度検出装置３、車載ナビゲーション装置４、操舵角検出装置５、室内照度計６などからの情報を用い、効果音の出力条件が成立したと判定したときに、自車の走行シーンに合わせた効果音をスピーカ２から出力させるようにしている。

ここで、本実施形態の車両用刺激提示装置において、効果音を出力する対象となる走行シーンとそれに対応する効果音のパターン及び出力条件の具体例について、図７を参照して説明する。

本実施形態の車両用刺激提示装置では、例えば図７に示すように、先行車を追い越す追い越しシーンと、渋滞からの開放シーンと、狭い道から広い道へと切り替わるシーンと、カーブ通過シーンと、トンネル脱出シーンと、橋通過シーンと、踏切通過シーンとを、それぞれ効果音を出力する対象となる所定の走行シーンとして定めている。

追い越しシーンでは、効果音のベースとなる音を、例えばロケット音、長音階、長調音楽とし、これらの何れかをベースとした所定パターンの効果音を、自車の運転者による風景変化の視覚認知に同期する基準タイミングよりも遅らせて、スピーカ２から出力させる。このときの出力条件は、例えば、追い越した先行車が自車のミラーに映ったときとし、出力条件成立の判定には、車載カメラ１で撮影された風景画像の画像データを加工処理して得られる情報、具体的には、車両パターンＰ２の大きさの時間変化から推定される先行車の自車に対する相対位置関係の情報が利用される。この場合には、自車の運転者が直接視界により認識する先行車追い越しの視覚刺激が一次刺激となり、遅れて出力される効果音が二次刺激となって、運転者は強いわくわく感、快感を感じることができる。

また、渋滞からの開放シーンでは、効果音のベースとなる音を、例えばドラの音、ファンファーレの音、長音階、長調音楽とし、これらの何れかをベースとした所定パターンの効果音を、自車の運転者による風景変化の視覚認知に同期する基準タイミングよりも遅らせて、スピーカ２から出力させる。このときの出力条件は、例えば、自車と周囲の車両との車間距離が規定値以上、且つ、自車の走行速度が規定値以上となったときとし、出力条件成立の判定には、車載カメラ１で撮影された風景画像の画像データを加工処理して得られる情報と、速度検出装置３からの自車の走行速度の情報とが利用される。この場合には、自車の運転者が直接視界により認識する渋滞解消の視覚刺激が一次刺激となり、遅れて出力される効果音が二次刺激となって、運転者は強いわくわく感、快感を感じることができる。

また、狭い道から広い道へと切り替わるシーンでは、効果音のベースとなる音を、例えばドラの音、ファンファーレの音、長音階、長調音楽とし、これらの何れかをベースとした所定パターンの効果音を、自車の運転者による風景変化の視覚認知に同期する基準タイミングよりも早めて、スピーカ２から出力させる。このときの出力条件は、例えば、自車前方に広い道が確認できたときとし、出力条件成立の判定には、車載カメラ１で撮影された風景画像の画像データを加工処理して得られる情報と、車載ナビゲーション装置４からのナビゲーション情報とが利用される。この場合には、基準タイミングより早めて出力される効果音が一次刺激となり、自車の運転者が直接視界により認識する広い道への切り替わりの視覚刺激が二次刺激となって、運転者は強いわくわく感、快感を感じることができる。

また、カーブ通過シーンでは、効果音のベースとなる音を、例えば風切音、ジェットコースターの走行音とし、これらの何れかをベースとした所定パターンの効果音を、自車の運転者による風景変化の視覚認知に同期する基準タイミングよりも遅らせて、スピーカ２から出力させる。このときの出力条件は、例えば、自車の操舵角度が規定値以上となったときとし、出力条件成立の判定には、車載カメラ１で撮影された風景画像の画像データを加工処理して得られる情報と、操舵角検出装置５からの自車の操舵角度の情報とが利用される。この場合には、自車の運転者が直接視界により認識するカーブ路への進入の視覚刺激が一次刺激となり、遅れて出力される効果音が二次刺激となって、運転者は強いわくわく感、快感を感じることができる。

また、トンネル脱出シーンでは、効果音のベースとなる音を、例えばラッパ音、長調音楽とし、これらの何れかをベースとした所定パターンの効果音を、自車の運転者による風景変化の視覚認知に同期する基準タイミングよりも遅らせて、スピーカ２から出力させる。このときの出力条件は、例えば、自車の車室内照度が規定値以上となったときとし、出力条件成立の判定には、車載カメラ１で撮影された風景画像の画像データを加工処理して得られる情報と、室内照度計６からの自車の車室内照度の情報とが利用される。この場合には、自車の運転者が直接視界により認識するトンネルからの脱出の視覚刺激が一次刺激となり、遅れて出力される効果音が二次刺激となって、運転者は強いわくわく感、快感を感じることができる。

また、橋通過シーンでは、効果音のベースとなる音を、例えば清流音、滝の音、船の汽笛の音とし、これらの何れかをベースとした所定パターンの効果音を、自車の運転者による風景変化の視覚認知に同期する基準タイミングよりも遅らせて、スピーカ２から出力させる。このときの出力条件は、例えば、自車が橋を渡りきったときとし、出力条件成立の判定には、車載カメラ１で撮影された風景画像の画像データを加工処理して得られる情報と、車載ナビゲーション装置４からのナビゲーション情報とが利用される。この場合には、自車の運転者が直接視界により認識する橋通過の視覚刺激が一次刺激となり、遅れて出力される効果音が二次刺激となって、運転者は強いわくわく感、快感を感じることができる。

また、踏切通過シーンでは、効果音のベースとなる音を、例えば蒸気機関車の警笛の音とし、これをベースとした所定パターンの効果音を、自車の運転者による風景変化の視覚認知に同期する基準タイミングよりも遅らせて、スピーカ２から出力させる。このときの出力条件は、例えば、自車が踏切を渡りきったときとし、出力条件成立の判定には、車載カメラ１で撮影された風景画像の画像データを加工処理して得られる情報と、車載ナビゲーション装置４からのナビゲーション情報とが利用される。この場合には、自車の運転者が直接視界により認識する踏切通過の視覚刺激が一次刺激となり、遅れて出力される効果音が二次刺激となって、運転者は強いわくわく感、快感を感じることができる。

なお、以上は、効果音を出力する対象となる走行シーンとそれに対応する効果音のパターン及び出力条件の具体例を例示したものであり、効果音を出力する対象となる走行シーンや効果音のパターンとしては、以上の例に限らず、様々な走行シーンで様々なバリエーションの効果音を出力させることが可能である。ただし、効果音が実際の音との混同を生じるような音であると自車の運転者に混乱を生じさせる要因となるので、効果音のベースとなる音には、自車の運転者が運転中に耳にするはずのないロケット音、蒸気機関車の警笛などの擬音や、気分転換にふさわしい長音階などを用いることが望ましい。

また、効果音を出力するタイミングを決定する出力条件についても様々な変更が可能であるが、効果音の出力タイミングを基準タイミングよりも遅延させる場合には、自車の走行シーンを推定する要因となった風景画像内の物体、例えば、先行車を追い越す追い越しシーンであれば先行車、渋滞からの開放シーンであれば周囲車両などが、自車のミラーを介して運転者が間接的に視認可能と推定される時間内に、当該走行シーンに対応する効果音がスピーカ２から出力されるように出力条件を定めて、その出力タイミングを制御することが望ましい。これにより、運転者は出力される効果音を自車の走行シーンと確実に関連付けて捉えることができ、上述した一次刺激と二次刺激とによる強いわくわく感、快感を感じることができる。

ところで、以上の説明では、画像処理装置１０の走行シーン判定部１６により推定された自車の走行シーンが効果音の出力対象として記憶されている走行シーンである場合に、音処理装置２０の効果音処理部２１が、当該走行シーンと対応付けて記憶されているパターンの効果音を一律にスピーカ２から出力させることを前提としているが、ある走行シーンとなったときに同じパターンの効果音が一律に提示される状態が継続すると、自車の運転者に効果音に対する慣れが生じて一次刺激から二次刺激までの期待感が低下し、興奮状態を高める効果が薄れてしまうことも考えられる。そこで、音処理装置２０の効果音処理部２１は、自車の走行シーンに対応するパターンの効果音をスピーカ２から出力させる場合に、その出力レベルを所定の確率で変化させて、所定の確率でイレギュラーな効果音が出力される、或いは所定の確率で効果音が出力されないように制御することが望ましい。これにより、自車の運転者の効果音に対する慣れを抑制するとともに、本来の効果音が出力されることへの期待感を持たせて興奮度をさらに高めることができる。なお、効果音の出力レベルを通常のレベルから変化させる確率をあまり高く設定すると、自車の運転者は走行シーンと効果音との対応付けができなくなり、効果音を出力することの効果が薄れるので、効果音の出力レベルを変化させる確率は、実験などで求めた最適な値、例えば１０％〜５０％程度の値に設定することが望ましい。

上述した効果音の出力レベルを変化させる確率と興奮度を高める効果との関係は、例えば図８に示す実験結果をもとに推測することが可能である。図８に示すグラフ図は、被験者を懸賞付き遊戯台で遊戯させて、Ｔ１にて当たりの予告提示、Ｔ２にて大当たりを音と映像で提示する実験を行った結果を示すものであり、図８（ａ）は、Ｔ１での予告提示後に約２％の確率でＴ２にて大当たりを提示した場合の被験者の前頭部総血流量変化を示し、図８（ｂ）は、Ｔ１での予告提示後に約５０〜６０％の確率でＴ２にて大当たりを提示した場合の被験者の前頭部総血流量変化を示し、図８（ｃ）は、Ｔ１での予告提示後に１００％の確率でＴ２にて大当たりを提示した場合の被験者の前頭部総血流量変化を示している。これら図８（ａ）〜（ｃ）の実験結果から分かるように、Ｔ１，Ｔ２における一次刺激と二次刺激とに関連付けがされ、Ｔ１における一次刺激の後にＴ２における二次刺激への期待感が高まるように所定の確率（ここでは約５０％〜６０％）で二次刺激を与えると、図８（ｂ）のように前頭部総血流量のピークが２回発生し、全体時間における血流量積分値が大きくなる。すなわち、被験者はわくわく感、興奮感などの快感を強く感じることになる。

図９は、本実施形態の車両用刺激提示装置における一連の動作の流れを示すフローチャートである。この図９のフローチャートで示すように、本実施形態の車両用刺激提示装置では、自車の運転者による電源スイッチの操作などにより電源が投入されると、まず、ステップＳ１において、車載カメラ１により自車前方の風景画像が撮影され、この車載カメラ１によって撮影された風景画像の画像データが、画像処理装置１０に入力される。そして、ステップＳ２において、画像処理装置１０の輪郭検出部１１及び画像フィルタ部１２により、自車前方の風景画像から道路パターンや車両パターンなどの特定のパターンが抽出される。

以上のステップＳ１及びステップＳ２の処理は、車載カメラ１の撮影周期に同期して繰り返し行われる。そして、ステップＳ３において、画像処理装置１０の画像パターン識別部１４によりステップＳ２で抽出された道路パターンや車両パターンなどの特定のパターンから風景画像全体の画像パターンが特定されるとともに、画像パターン時間変化処理部１５により画像パターンの時間的変化が認識され、これらの情報をもとに、走行シーン判定部１６によって自車の走行シーンが推定される。

次に、ステップＳ４において、音処理装置２０の効果音処理部２１及び出力タイミング決定部２２により、ステップＳ３で推定された自車の走行シーンが効果音の出力対象となる走行シーンか否かが判定され、効果音の出力対象となる走行シーンでなければリターンする。一方、ステップＳ３で推定された自車の走行シーンが効果音の出力対象となる走行シーンであれば、ステップＳ５において、出力タイミング決定部２２により自車の走行シーンに対応した効果音の出力条件が成立したか否かが監視され、出力条件が成立した段階で出力タイミング決定部２２から効果音処理部２１に対して効果音の出力指令が与えられる。そして、ステップＳ６において、効果音処理部２１が自車の走行シーンに対応したパターンの効果音をスピーカ２から出力させ、リターンする。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用刺激提示装置では、車載カメラ１で撮影された自車前方の風景画像から自車の走行シーンを推定し、推定した走行シーンが効果音の出力対象となる所定の走行シーンである場合に、当該走行シーンに対応したパターンの効果音をスピーカ２から出力させる。そして、このときの効果音の出力タイミングを、自車の運転者の直接視界による視覚認知に同期した基準タイミングとは異なるタイミングとなるように制御している。これにより、本実施形態の車両用刺激提示装置では、視覚認知による刺激と効果音による刺激とを一次刺激と二次刺激といったかたちで自車の運転者に与えることができ、自車の運転者に２回の情動変化を生じさせて、運転者の興奮度合いを高め、強いわくわく感や快感を感じさせて、運転の楽しさを実感させることができる。

なお、以上説明した車両用刺激提示装置は、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。例えば、上述した車両用刺激提示装置では、自車の走行シーンに合わせた所定パターンの刺激として、走行シーンに対応したパターンの効果音をスピーカ２から出力させるようにしているが、効果音を出力する代わりに、或いは効果音の出力と合わせて、自車の走行シーンに合わせた所定パターンの振動を、自車の運転者への刺激として発生させるようにしてもよい。この場合は、例えば振動モータなどの振動発生器とこの振動発生器の動作を制御する振動処理装置とを設け、画像処理装置１０で推定された自車の走行シーンが振動発生の対象となる走行シーンである場合に、振動処理装置が、予め定めた振動発生条件が成立したときに、走行シーンに対応するパターンの振動を振動発生器から発生させるようにすればよい。

本発明を適用した車両用刺激提示装置の構成を示すブロック図である。 車載カメラで撮影された自車前方の風景画像から特定のパターンを抽出する処理を説明する図であり、(ａ)は車載カメラで撮影された風景画像の一例、（ｂ）は(ａ)の風景画像を輪郭検出部で加工して得られるエッジ画像、（ｃ）は（ｂ）のエッジ画像を画像フィルタ部で加工して得られるパターン画像である。 車載カメラで撮影された自車前方の風景画像から特定のパターンを抽出する処理を説明する図であり、(ａ)は車載カメラで撮影された風景画像の他の例、（ｂ）は(ａ)の風景画像を輪郭検出部で加工して得られるエッジ画像、（ｃ）は（ｂ）のエッジ画像を画像フィルタ部で加工して得られるパターン画像である。 参照画像パターン記憶部に記憶されている各種道路パターンや各種車両パターンなどの組み合わせにより得られる自車前方の風景画像全体を表す参照画像パターンの例を一覧として示す図である。 走行シーンに対応したパターンの効果音の出力タイミングを説明する図であり、先行車を追い越すシーンで自車と先行車との車間距離に応じて周波数が変化するロケット音を効果音として出力する例において、運転者の視覚認知に同期した基準タイミングで効果音を出力する例と、基準タイミングよりも遅延させて効果音を出力する例とを対比して示す図である。 効果音の出力による運転者の前頭部総血流量の変化を示す図であり、（ａ）は図５の曲線Ａで示す基準タイミングで効果音を出力した場合の血流量変化を示す図、（ｂ）は図５の曲線Ｂで示す基準タイミングより遅延させたタイミングで効果音を出力した場合の血流量変化を示す図である。 本発明を適用した車両用刺激提示装置において、効果音を出力する対象となる走行シーンとそれに対応する効果音のパターン及び出力条件の具体例を説明する図である。 被験者を懸賞付き遊戯台で遊戯させて、Ｔ１にて当たりの予告提示、Ｔ２にて大当たりを音と映像で提示する実験を行った結果を示す図であり、（ａ）はＴ１での予告提示後に約２％の確率でＴ２にて大当たりを提示した場合の被験者の前頭部総血流量変化、（ｂ）はＴ１での予告提示後に約５０〜６０％の確率でＴ２にて大当たりを提示した場合の被験者の前頭部総血流量変化、（ｃ）はＴ１での予告提示後に１００％の確率でＴ２にて大当たりを提示した場合の被験者の前頭部総血流量変化を示すグラフ図である。 本発明を適用した車両用刺激提示装置における一連の動作の流れを示すフローチャートである。

符号の説明

１ 車載カメラ
２ スピーカ
３ 速度検出装置
４ 車載ナビゲーション装置
５ 操舵角検出装置
６ 室内照度計
１０ 画像処理装置
１１ 輪郭検出部
１２ 画像フィルタ部
１３ 参照画像パターン記憶部
１４ 画像パターン識別部
１５ 画像パターン時間変化処理部
１６ 走行シーン判定部
２０ 音処理装置
２１ 効果音処理部
２２ 出力タイミング決定部

Claims (13)

1. 自車前方の風景画像を撮影する車載カメラと、
   前記車載カメラにより撮影された前記風景画像から抽出されたパターンと予め記憶されている参照画像パターンとを照合して最も近い画像パターンを特定し、この処理結果を複数フレームに亘って記憶して比較することによって画像パターンの時間的変化を認識するとともに前記画像パターンの時間的変化に基づいて、自車の走行シーンを推定する走行シーン推定手段と、
   前記走行シーン推定手段により推定される自車の走行シーンが所定の走行シーンである場合に、当該走行シーンに合わせた所定パターンの音及び／又は振動による刺激を発生する刺激発生手段と、
   前記刺激発生手段から前記所定パターンの刺激を発生させるタイミングを制御するタイミング制御手段とを備え、
   前記タイミング制御手段は、自車の運転者の視覚認知に合わせて自車前方の前記画像パターンの時間的変化から自車の走行シーンを認識すると推定されるタイミングを基準タイミングとし、前記所定パターンの刺激を前記基準タイミングとは異なるタイミングとなるように制御することを特徴とする車両用刺激提示装置。
2. 前記タイミング制御手段は、前記基準タイミングよりも遅延させたタイミングで、前記所定の走行シーンに対応するパターンの刺激を前記刺激発生手段から発生させることを特徴とする請求項１に記載の車両用刺激提示装置。
3. 前記タイミング制御手段は、前記所定の走行シーンを推定する要因となった前記風景画像内の物体が、自車のミラーを介して自車の運転者が間接的に視認可能と推定される時間内に、前記所定の走行シーンに対応するパターンの刺激を前記刺激発生手段から発生させることを特徴とする請求項２に記載の車両用刺激提示装置。
4. 前記タイミング制御手段は、前記基準タイミングよりも早いタイミングで、前記所定の走行シーンに対応するパターンの刺激を前記刺激発生手段から発生させることを特徴とする請求項１に記載の車両用刺激提示装置。
5. 前記所定の走行シーンには先行車を追い越す追い越しシーンが含まれ、
   前記タイミング制御手段は、前記車載カメラにより撮影された風景画像に基づいて、追い越しシーンに対応するパターンの刺激を前記刺激発生手段から発生させるタイミングを決定することを特徴とする請求項１に記載の車両用刺激提示装置。
6. 前記所定の走行シーンには渋滞からの開放シーンが含まれ、
   前記タイミング制御手段は、前記車載カメラにより撮影された風景画像と、自車の走行速度の変化とに基づいて、渋滞からの開放シーンに対応するパターンの刺激を前記刺激発生手段から発生させるタイミングを決定することを特徴とする請求項１に記載の車両用刺激提示装置。
7. 前記所定の走行シーンには狭い道から広い道へと切り替わるシーンが含まれ、
   前記タイミング制御手段は、前記車載カメラにより撮影された風景画像と、自車に搭載された車載ナビゲーション装置からの情報とに基づいて、狭い道から広い道へと切り替わるシーンに対応するパターンの刺激を前記刺激発生手段から発生させるタイミングを決定することを特徴とする請求項１に記載の車両用刺激提示装置。
8. 前記所定の走行シーンにはカーブ通過シーンが含まれ、
   前記タイミング制御手段は、前記車載カメラにより撮影された風景画像と、自車の操舵角度とに基づいて、カーブ通過シーンに対応するパターンの刺激を前記刺激発生手段から発生させるタイミングを決定することを特徴とする請求項１に記載の車両用刺激提示装置。
9. 前記所定の走行シーンにはトンネル脱出シーンが含まれ、
   前記タイミング制御手段は、前記車載カメラにより撮影された風景画像と、自車の車室内の照度とに基づいて、トンネル脱出シーンに対応するパターンの刺激を前記刺激発生手段から発生させるタイミングを決定することを特徴とする請求項１に記載の車両用刺激提示装置。
10. 前記所定の走行シーンには橋通過シーンが含まれ、
    前記タイミング制御手段は、前記車載カメラにより撮影された風景画像と、自車に搭載された車載ナビゲーション装置からの情報とに基づいて、橋通過シーンに対応するパターンの刺激を前記刺激発生手段から発生させるタイミングを決定することを特徴とする請求項１に記載の車両用刺激提示装置。
11. 前記所定の走行シーンには踏切通過シーンが含まれ、
    前記タイミング制御手段は、前記車載カメラにより撮影された風景画像と、自車に搭載された車載ナビゲーション装置からの情報とに基づいて、踏切通過シーンに対応するパターンの刺激を前記刺激発生手段から発生させるタイミングを決定することを特徴とする請求項１に記載の車両用刺激提示装置。
12. 前記刺激発生手段から発生させる前記所定パターンの刺激の出力レベルを所定の確率で変化させる出力レベル制御手段を更に備えることを特徴とする請求項１に記載の車両用刺激提示装置。
13. 自車前方の風景画像を撮影する第１のステップと、
    前記第１のステップ撮影した前記風景画像から抽出されたパターンと予め記憶されている参照画像パターンとを照合して最も近い画像パターンを特定し、この処理結果を複数フレームに亘って記憶して比較することによって画像パターンの時間的変化を認識するとともに前記画像パターンの時間的変化に基づいて、自車の走行シーンを推定する第２のステップと、
    前記第２のステップで推定される自車の走行シーンが所定の走行シーンである場合に、当該走行シーンに合わせた所定パターンの音及び／又は振動による刺激を発生する第３のステップとを有し、
    前記第３のステップでは、自車の運転者の視覚認知に合わせて自車前方の前記画像パターンの時間的変化から前記所定の走行シーンを認識すると推定されるタイミングを基準タイミングとし、前記基準タイミングと異なるタイミングで、前記所定の走行シーンに対応する所定パターンの刺激を発生することを特徴とする刺激提示方法。