JP5907268B2 - 運転支援装置 - Google Patents

Description

本発明は、運転支援装置に関する。

例えば国際公開第２００９／１０１６９２号には、車載カメラにより信号機を監視し、青信号の点灯を検出した場合にユーザに報知する前方監視装置が記載されている。

国際公開第２００９／１０１６９２号

しかし、この装置は、ユーザが信号機の監視を望むか否かにかかわらず青信号の点灯を検出した場合に報知する。このため、不要な報知によりユーザに煩わしさを感じさせる場合があった。

そこで、本発明は、不要な報知によりユーザに煩わしさを感じさせることを抑制できる運転支援装置を提供しようとするものである。

本発明の運転支援装置は、車両に搭載された撮像装置により撮像される車両周辺の画像を表示する表示部と、画像上でユーザにより指定された対象を認識対象として設定する設定部と、認識対象が設定された場合、画像上で認識対象の状態変化を検出する検出部と、設定された認識対象の状態変化が検出された場合、報知装置を制御してユーザに報知する報知制御部とを備えて構成される。

これにより、ユーザの指定により設定された認識対象の状態変化が検出された場合にユーザに報知するので、ユーザが認識対象を指定しなければ報知が行われない。よって、不要な報知によりユーザに煩わしさを感じさせることを抑制できる。

また、認識対象が信号機の表示であり、検出部は、信号機の停止表示から進行可能表示への状態変化を検出してもよい。これにより、信号機の状態変化に基づいて自車の進行可能状態を適切に報知できる。

また、認識対象が先行車であり、検出部は、先行車の停止から発進への状態変化を検知してもよい。これにより、先行車の状態変化に基づいて自車の進行可能状態を適切に報知でき、また、自車が実際に進行可能な状態となった場合に報知できる。

また、運転支援装置は、撮像装置により撮像され認識対象の目視に適した第１画像上の位置を、車両に設置された他の撮像装置により撮像され認識対象の状態変化の検出に適した第２画像上の対応する位置に変換する変換部をさらに備え、表示部は、第１画像を表示し、設定部は、第１画像上でユーザにより指定された対象を第２画像上で認識対象として設定し、検出部は、認識対象が設定された場合、第２画像上で認識対象の状態変化を検出してもよい。この場合、認識対象の指定を容易にしつつ状態変化の検出精度を向上できる。

また、運転支援装置は、車両の移動速度を検出する速度検出部をさらに備え、表示部は、移動速度が閾値を超える場合には画像を表示しなくてもよい。この場合、不要な画像の表示に要する電力消費を抑制できる。また、不要な画像の表示による運転操作の妨げを抑制できる。

本発明によれば、不要な報知によりユーザに煩わしさを感じさせることを抑制できる運転支援装置を提供することができる。

本発明の第１実施形態に係る運転支援装置の構成を示すブロック図である。 運転支援装置の動作を示すフローチャートである。 信号機の状態変化に基づく報知を行う運転支援装置の動作を説明する図である。 信号機の状態変化に基づく報知を行う運転支援装置の動作を説明する図である。 先行車の状態変化に基づく報知を行う運転支援装置の動作を説明する図である。 先行車の状態変化に基づく報知を行う運転支援装置の動作を説明する図である。 本発明の第２実施形態に係る運転支援装置の構成を示すブロック図である。 運転支援装置の動作を示すフローチャートである。 先行車の状態変化に基づく報知を行う運転支援装置の動作を説明する図である。 先行車の状態変化に基づく報知を行う運転支援装置の動作を説明する図である。

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当する要素には同一符号を付し、重複する説明を省略する。

まず、図１から図６を参照して本発明の第１実施形態に係る運転支援装置２０について説明する。運転支援装置２０は、信号機、先行車等の認識対象の状態変化に基づく報知を行う装置である。

図１は、第１実施形態に係る運転支援装置２０の構成を示すブロック図である。運転支援装置２０は、例えば車両に搭載されたナビゲーション装置の一機能として実現される。運転支援装置２０には、いずれも車両に設置された撮像装置１１、検出装置１３及び報知装置１４が接続されている。

撮像装置１１は、車両周辺を撮像するカメラである。撮像装置１１は、車両周辺、特に車両前方を撮像し、撮像した画像を運転支援装置２０に供給する。画像は、ユーザの目視により通常捉えられる状況を表す画像でもよく、通常捉えられない状況を表す輝度画像、赤外線画像、スペクトル画像等でもよい。なお、撮像装置１１は、車載カメラでもよく、携帯情報端末の内蔵カメラ等でもよい。

検出装置１３は、車両の移動状態を検出するセンサである。検出装置１３としては、ＧＰＳ（Global Positioning System）センサ、車輪速センサ、加速度センサ、操舵角センサ等が用いられる。検出装置１３は、車両の移動状態を検出し、検出結果を運転支援装置２０に供給する。検出装置１３は、例えば車両の速度を検出する速度検出部として機能する。

報知装置１４は、車両周辺、特に車両前方の状態又は車両の状態をユーザに報知する装置である。報知装置１４としては、スピーカ、ＬＥＤ（Light-Emitting Diode）、バイブレータ等が用いられるが、後述するディスプレイ２１が用いられてもよい。報知装置１４は、運転支援装置２０により制御されて聴覚情報、視覚情報及び触覚情報のうち少なくともいずれかを用いて報知を行う。

運転支援装置２０は、ディスプレイ２１とＥＣＵ２５（Electronic Control Unit）を備えている。ディスプレイ２１は、車両に設置された撮像装置１１により撮像される車両前方の画像を表示する表示部として機能する。ディスプレイ２１は、撮像装置１１から供給される画像を表示する。ディスプレイ２１は、車両の移動中には車両周辺の画像を表示しないように制御されることが好ましい。

ＥＣＵ２５は、設定部２６、検出部２７及び報知制御部２８を備えている。ＥＣＵ２５は、ＣＰＵ、ＲＯＭ、ＲＡＭを主体して構成されており、プログラムにより動作して設定部２６、検出部２７及び報知制御部２８の機能を実現する。なお、設定部２６、検出部２７及び報知制御部２８は、２つ以上のＥＣＵにより実現されてもよい。

設定部２６は、画像上でユーザにより指定された対象を認識対象として設定する。設定部２６は、図示されていないタッチパネルディスプレイ等の入力装置を用いて、画像上でユーザにより指定された対象の位置情報を取得する。設定部２６は、位置情報に基づいて、画像上で指定された位置の周辺にパターンマッチング等の処理を施して認識対象を特定し、特定した認識対象の設定情報を検出部２７に供給する。設定情報は、認識対象の範囲、認識対象の種類等の情報を含んでいる。

検出部２７は、認識対象が設定された場合、画像上で認識対象の状態変化を検出する。検出部２７には、撮像装置１１から画像が供給され、設定部２６から設定情報が供給される。検出部２７は、画像上で特定された認識対象の画像情報（例えば明度、彩度、形状、大きさ等）に基づいて認識対象の状態を検出し、画像情報の変化に基づいて認識対象の状態変化を検出する。検出部２７は、状態変化の検出結果を報知制御部２８に供給する。

報知制御部２８は、設定された認識対象の状態変化が検出された場合、報知装置１４を制御してユーザに報知する。報知制御部２８は、例えば車両の進行可能状態を報知する。報知制御部２８は、例えば、信号機の停止表示から進行可能表示への状態変化が検出され、又は先行車の停止から発進への状態変化が検出された場合にユーザに報知する。報知制御部２８は、状態変化の検出結果に応じた制御信号を報知装置１４に供給することにより報知装置１４の動作を制御する。

図２は、運転支援装置２０の動作を示すフローチャートである。図３から図６は、運転支援装置２０の動作を説明する図である。運転支援装置２０は、図２に示す処理を設定周期で繰り返し実行する。

図２に示すように、撮像装置１１は、車両前方を撮像する（ステップＳ１１）。ＥＣＵ２５は、車両が停止中であるか否か、具体的には移動速度が閾値未満であるか否かを判定する（Ｓ１２）。ここで、停止中であると判定された場合、ディスプレイ２１は、車両前方の画像を表示する（Ｓ１３）。一方、停止中であると判定されなかった場合、画像が表示されずに処理がＳ１１に戻る。

画像が表示されると、ＥＣＵ２５は、ユーザが画像上で対象を指定したか否かを判定する（Ｓ１４）。ここで、対象を指定したと判定された場合、設定部２６は、画像上でユーザにより指定された対象を認識対象として設定する（Ｓ１５）。そして、ディスプレイ２１は、画像に重ねて認識対象の設定結果を表示する（Ｓ１６）。ここで、認識対象の設定は、ユーザが認識対象の設定結果を確認した後に有効にされることが好ましい。一方、対象を指定したと判定されなかった場合、処理がＳ１１に戻る。よって、ユーザが対象を指定しなければ報知処理等の後続処理が行われない。

認識対象が設定されると、検出部２７は、認識対象の画像情報に基づいて認識対象の状態を検出する（Ｓ１７）。また、検出部２７は、認識対象の画像情報に基づいて認識対象の状態変化を検出したか否かを判定する（Ｓ１８）。状態変化を検出したと判定された場合、検出部２７は、認識結果を報知制御部２８に供給し、報知装置１４は、ユーザに報知する（Ｓ１９）。一方、状態変化を検出したと判定されなかった場合、処理がＳ１７に戻る。

図３及び図４は、信号機Ｓの状態変化に基づいて自車の進行可能状態を報知する場合における運転支援装置２０の動作例を示している。この例では、自車が信号待ちのために停止線Ｌの手前で停止している。

図３（ａ）に示すように、ディスプレイ２１には赤信号の点灯、つまり停止表示状態にある信号機Ｓを示す画像Ｉが表示されている。図３（ｂ）に示すように、ユーザが画像Ｉ上で信号機Ｓの領域に指Ｆで触れることで信号機Ｓを指定すると、信号機Ｓが認識対象として設定される。

すると、図４（ａ）に示すように、認識対象の設定を示す設定枠Ａ等が信号機Ｓに重ねて表示される。認識対象の設定は、設定結果の確認を促すメッセージ等にユーザが応答することにより有効となることが好ましい。また、信号機Ｓの停止表示状態が検出される。つぎに、図４（ｂ）に示すように、信号機Ｓの表示が赤信号から青信号に変化すると、信号機Ｓの停止表示状態から進行可能表示状態への状態変化が検出される。そして、例えばスピーカを通じて自車の進行可能状態が報知される。

これにより、ユーザの指定により設定された信号機の停止表示状態から進行可能状態への状態変化が検出された場合にユーザに報知するので、ユーザが信号機を指定しなければ報知が行われない。よって、ユーザが信号機の状態変化に基づく報知を望まず信号機を指定しなければ、不要な報知によりユーザに煩わしさを感じさせずにすむ。

さらに、ユーザの指定により信号機の状態変化の検出処理を開始させることで、ユーザによる信号機の監視が不要となり監視に要するユーザの負担を軽減できる。また、ユーザに信号機を指定させることで、信号機を自動認識する場合と比べて、信号機の認識に要する処理リソースを軽減できるとともに信号機の状態変化を精度良く検出できる。

図５及び図６は、先行車Ｖの状態変化に基づいて自車の進行可能状態を報知する場合における運転支援装置２０の動作例を示している。この例では、自車が渋滞待ちのために先行車Ｖの後方に停止している。

図５（ａ）に示すように、ディスプレイ２１には停止状態の先行車Ｖを示す画像Ｉが表示されている。図５（ｂ）に示すように、ユーザが画像Ｉ上で先行車Ｖに指Ｆで触れることで先行車Ｖを指定すると、先行車Ｖが認識対象として設定される。

すると、図６（ａ）に示すように、認識対象の設定を示す設定枠Ａ等が先行車Ｖに重ねて表示される。また、停止状態の先行車Ｖが検出される。つぎに、図６（ｂ）に示すように、先行車Ｖが発進すると、先行車Ｖの停止から発進への状態変化が検出される。ここで、画像Ｉ上での先行車Ｖの表示領域が小さくなるので、先行車Ｖの発進が検出される。そして、例えばスピーカを通じて自車の進行可能状態が報知される。

これにより、ユーザの指定により設定された先行車の停止から発進への状態変化が検出された場合にユーザに報知するので、ユーザが先行車を指定しなければ報知が行われない。よって、ユーザが先行車の状態変化に基づく報知を望まず先行車Ｖを指定しなければ、不要な報知によりユーザに煩わしさを感じさせずにすむ。また、自車が実際に進行可能な状態となった場合に報知できる。

なお、信号機と先行車の両方を認識対象としてもよい。この場合、信号待ち等の状況において、信号機を認識できる場合には信号機の状態変化に基づいて報知すればよく、信号機を認識できない場合には先行車の状態変化に基づいて報知すればよい。また、先行車を認識対象とする場合、検出精度が確保し易い先行車の一部分、例えばナンバープレートを認識対象としてもよい。

つぎに、図７から図１０を参照して本発明の第２実施形態に係る運転支援装置３０について説明する。第２実施形態は、認識対象の目視確認に適した画像と、認識対象の状態変化の検出に適した画像とを用いる点において第１実施形態と異なる。なお、以下では、第１実施形態と重複する説明を省略する。

図７は、第２実施形態に係る運転支援装置３０の構成を示すブロック図である。運転支援装置３０には、いずれも車両に設置された第１撮像装置１１（撮像装置）、第２撮像装置１２（他の撮像装置）、検出装置１３及び報知装置１４が接続されている。検出装置１３及び報知装置１４の機能については、第１実施形態と同様である。

第１撮像装置１１は、認識対象の目視確認に適した第１画像として車両周辺、特に車両前方を撮像し、撮像した第１画像を運転支援装置３０に供給する。第１画像は、ユーザの目視により通常捉えられる状況を表す画像である。

第２撮像装置１２は、認識対象の状態変化の検出に適した第２画像として車両周辺、特に車両前方を撮像し、撮像した第２画像を運転支援装置３０に供給する。第２画像は、ユーザの目視により通常捉えられない状況を表す輝度画像、赤外線画像、スペクトル画像等である。第１撮像装置１１と第２撮像装置１２では、それらの撮像範囲が少なくとも部分的に重なり合っている。

運転支援装置３０は、ディスプレイ２１とＥＣＵ３５を備えている。ディスプレイ２１は、認識対象の目視確認に適した第１画像を表示する。

ＥＣＵ３５は、設定部３６、変換部３７、検出部３８及び報知部２８を備えている。報知部２８の機能については、第１実施形態と同様である。

設定部３６は、第１画像上でユーザにより指定された対象を認識対象として設定する。設定部３６は、第１画像上でユーザにより指定された対象の位置情報を取得する。設定部３６は、位置情報に基づいて、第１画像上で指定された位置に対応する第２画像上の位置の周辺にパターンマッチング等の処理を施して認識対象を特定し、特定した認識対象の設定情報を検出部３７に供給する。

変換部３７は、第１画像上の位置を第２画像上の位置に変換する。変換部３７は、第１撮像装置１１と第２撮像装置１２の設置状況及び撮像条件を考慮して位置を変換する。変換部３７は、第１画像上で指定された対象の位置情報を第２画像上の対応する位置情報に変換する。

検出部３８は、認識対象が設定された場合、第２画像上で認識対象の状態変化を検出する。検出部３８は、認識対象の状態変化の検出に適した第２画像を用いて検出を行う。検出部３８には、第２撮像装置１２から第２画像が供給され、変換部３７から変換後の位置情報が供給される。検出部３８は、第２画像上で特定された認識対象の画像情報（例えば明度、彩度、形状、大きさ等）に基づいて認識対象の状態を検出し、画像情報の変化に基づいて、認識対象の状態変化が生じたことを検出する。検出部３８は、状態変化の検出結果を報知制御部２８に供給する。

図８は、運転支援装置３０の動作を示すフローチャートである。図９及び図１０は、運転支援装置３０の動作を説明する図である。運転支援装置３０は、図８に示す処理を設定周期で繰り返し実行する。

図８に示すように、第１撮像装置１１及び第２撮像装置１２は、車両前方を撮像する（ステップＳ２１）。ディスプレイ２１は、車両前方の第１画像を表示する（Ｓ２２）。

第１画像が表示されると、ＥＣＵ３５は、ユーザが第１画像上で対象を指定したか否かを判定する（Ｓ２３）。ここで、対象を指定したと判定された場合、設定部３６は、第２画像上で認識対象を設定する（Ｓ２４）。そして、ディスプレイ２１は、第１画像に重ねて認識対象の設定結果を表示する（Ｓ２５）。一方、対象を指定したと判定されなかった場合、処理がＳ２１に戻る。よって、ユーザが対象を指定しなければ報知処理等の後続処理が行われない。

認識対象が設定されると、検出部３８は、第２画像上の認識対象の画像情報に基づいて認識対象の状態を検出する（Ｓ２６）。また、検出部３８は、第２画像上の認識対象の画像情報に基づいて認識対象の状態変化を検出したか否かを判定する（Ｓ２７）。状態変化を検出したと判定された場合、検出部３８は、認識結果を報知制御部２８に供給し、報知装置１４は、ユーザに報知する（Ｓ２８）。一方、状態変化を検出したと判定されなかった場合、処理がＳ２６に戻る。

図９及び図１０は、先行車Ｖの状態変化に基づいて自車の進行可能状態を報知する場合における運転支援装置３０の動作例を示している。この例では、自車が渋滞待ちのために先行車Ｖの後方に停止している。

図９（ａ）に示すように、ディスプレイ２１には停止状態の先行車Ｖを示す第１画像Ｉ１が表示されている。図９（ｂ）に示すように、ユーザが第１画像Ｉ１上で先行車Ｖに指Ｆで触れることで先行車Ｖを指定すると、先行車Ｖが認識対象として設定される。ここで、先行車Ｖの指定には、目視確認に適した第１画像Ｉ１が用いられるので、先行車Ｖの指定が容易である。

すると、図１０（ａ）に示すように、第１画像Ｉ１上で認識対象の設定を示す設定枠Ａ等が先行車Ｖに重ねて表示される。また、停止状態の先行車Ｖが検出される。つぎに、図１０（ｂ）に示すように、先行車Ｖが発進すると、第２画像Ｉ２上で先行車Ｖの停止から発進への状態変化が検出される。なお、第２画像Ｉ２は、ディスプレイ２１には表示されない。ここで、先行車Ｖの状態変化の検出には、状態変化の検出に適した例えば輝度画像等の第２画像Ｉ２が用いられるので、先行車Ｖの状態変化を精度よく検出できる。そして、例えばスピーカを通じて自車の進行可能状態が報知される。

これにより、認識対象の指定を容易にしつつ状態変化の検出精度を向上できる。なお、上記説明では、第２画像を用いて先行車の状態変化を検出する場合を示したが、信号機Ｓの状態変化を検出してもよい。

以上説明したように、本発明の実施形態に係る運転支援装置２０、３０によれば、ユーザの指定により設定された認識対象の状態変化が検出された場合にユーザに報知するので、ユーザが認識対象を指定しなければ報知が行われない。よって、不要な報知によりユーザに煩わしさを感じさせることを抑制できる。

また、信号機の停止表示から進行可能表示への状態変化が検出された場合に報知することにより、信号機の状態変化に基づいて自車の進行可能状態を適切に報知できる。

また、先行車の停止から発進への状態変化が検出された場合に報知することにより、先行車の状態変化に基づいて自車の進行可能状態を適切に報知でき、また、自車が実際に進行可能な状態となった場合に報知できる。

また、認識対象の目視確認に適した画像と、認識対象の状態変化の検出に適した画像とを用いることにより、認識対象の指定を容易にしつつ状態変化の検出精度を向上できる。

また、自車の移動速度が閾値を超える場合には画像を表示しないことにより、不要な画像の表示に要する電力消費を抑制できる。また、不要な画像の表示による運転操作の妨げを抑制できる。

なお、上記実施形態は、本発明に係る運転支援装置２０、３０の最良な実施形態を説明したものであり、本発明に係る運転支援装置２０、３０は、本実施形態に記載したものに限定されるものではない。本発明に係る運転支援装置２０、３０は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る運転支援装置２０、３０を変形し、または他のものに適用したものであってもよい。

例えば上記実施形態では、信号機と先行車の少なくとも一方を認識対象として自車の進行可能状態を報知する場合について説明した。しかし、他の物体を認識対象として自車の進行可能状態を報知してもよい。また、自車の進行可能状態ではなく自車の駐車可能状態、後退可能状態等の他の状態を報知してもよい。

また、検出装置としては、認識対象に応じて最適な装置を選択してもよい。例えば、認識対象を車両に限定すれば、検出装置としてレーダを用いるとともに、コンピュータグラフィックを表示するディスプレイを用いることにより、同様の効果を得ることができる。あるいは、検出装置としては、三次元計測可能なレーザスキャナ等を用いてもよい。

また、認識対象を車両に限定すれば、ナンバープレートの番号を読み上げる音声を音声認識装置により取得することによって認識対象を設定してもよい。

２０、３０…運転支援装置、１１…撮像装置（第１撮像装置）、１２…第２撮像装置、１３…検出装置、１４…報知装置、２１…ディスプレイ、２５、３５…ＥＣＵ、２６、３６…設定部、２７、３８…検出部、２８…報知制御部、３７…変換部。

Claims (5)

1. 車両に設置された撮像装置により撮像される車両周辺の画像を表示する表示部と、
   前記画像上でユーザにより指定された対象を認識対象として設定する設定部と、
   前記認識対象が設定された場合、前記画像上で前記認識対象の状態変化を検出する検出部と、
   設定された前記認識対象の状態変化が検出された場合、報知装置を制御して前記ユーザに報知する報知制御部と、
   を備える運転支援装置。
2. 前記認識対象が信号機の表示であり、
   前記検出部は、前記信号機の停止表示から進行可能表示への状態変化を検出する、請求項１に記載の運転支援装置。
3. 前記認識対象が先行車であり、
   前記検出部は、前記先行車の停止から発進への状態変化を検出する、請求項１又は２に記載の運転支援装置。
4. 前記撮像装置により撮像され前記認識対象の目視確認に適した第１画像上の位置を、前記車両に設置された他の撮像装置により撮像され前記認識対象の状態変化の検出に適した第２画像上の対応する位置に変換する変換部をさらに備え、
   前記表示部は、前記第１画像を表示し、
   前記設定部は、前記第１画像上で前記ユーザにより指定された対象を前記第２画像上で前記認識対象として設定し、
   前記検出部は、前記認識対象が設定された場合、前記第２画像上で前記認識対象の状態変化を検出する、請求項１〜３のいずれか一項に記載の運転支援装置。
5. 前記車両の移動速度を検出する速度検出部をさらに備え、
   前記表示部は、前記移動速度が閾値を超える場合に前記画像を表示しない、請求項１〜４のいずれか一項に記載の運転支援装置。

Images