JP4945177B2 - 車両の運転支援装置 - Google Patents

Description

この発明は、車両の外部を撮像した映像に基づいて車両の運転者を支援する運転支援装置に関する。

主に後方カメラに採用されている車載用カメラは、運転手が外部の死角を補うためのドライブアシスト機能として採用されている。ドライブアシスト機能は、後方カメラで車両の後方を撮影し、ダッシュボードに備え付けたモニターに後方カメラより撮像した画像をそのままリアルタイムに表示することで、バックで駐車しようとする時の利便性を向上させるものである。ドライブアシスト機能に用いられる車載用カメラは少数のカメラで死角を補うため、広角レンズを採用し大きな視界を確保している。

また、自車と外部の位置関係を容易に判断でき、且つ近距離であれば障害物との距離を容易に認識するために、あたかも真上に設置されたカメラから見ているように、後方カメラで撮像した画像を上空から見た平面図（鳥瞰画像）に変換処理して、この変換される鳥瞰図を自車位置とともに表示する車両用障害物監視装置が提案されている（例えば、特許文献１参照）。
特開２００２−１２０６７５号公報

後方カメラで撮像した画像を鳥瞰画像に演算処理して変換する鳥瞰演算処理画像においては、鳥瞰演算処理された画像においては、障害物と近距離になると上方部からの表示であるため、外部との位置関係や距離感が掴みやすいという利点があるものの、広角対応されている遠方部分の死角情報の映像を部分的に排除してしまい、広角レンズの能力を十分に活かすことができないという欠点もある。

一方、鳥瞰演算処理表示を行わない通常の表示においては、鳥瞰演算処理表示と比較して、遠方の死角は確保できるという利点がある。しかしながら、外部と自車の位置関係が把握しにくく、且つ近距離においては鳥瞰演算処理表示ほど距離感が掴みやすいものではない。

鳥瞰画像と広角カメラによる画像とのそれぞれの利点を生かすために、鳥瞰画像表示と通常の広角カメラの映像表示とを切替スイッチにより運転手が表示を選択するように構成できる。しかしながら、切替スイッチを用いて運転手が表示を切り替えるために、スイッチ等を操作する手間が必要になり、操作が煩わしいとともに、その操作に気をとられて運転に対する注意力が散漫になる虞がある。

そこで、この発明は、車の状況に応じて、鳥瞰画像と広角カメラによる画像と選択してモニタに表示させて運転者に周囲の情報が把握しやすい映像を表示させる車両の運転支援装置を提供することを目的とする。

車両の後進方向及び前方の画像を撮影する撮影手段と、この撮影手段で撮像された画像を格納する格納手段と、前記撮影手段で撮像された画像を鳥瞰画像に変換する鳥瞰画像変換手段と、この鳥瞰画像変換手段で変換された鳥瞰画像を格納する格納手段と、画像を表示する表示手段と、車両の速度を検出する速度検出手段と、前記表示手段に与える画像を撮像された画像又は鳥瞰画像へと切替制御する制御手段と、車両が前進しているか後進しているかを判断する判定手段と、を備え、前記制御手段は、前記判定手段で前進方向を判定すると、前記前進方向の画像を前記表示手段に与え、前記判定手段で後進方向を判定すると、前記後進方向の画像を前記表示手段に与える車両の運転支援装置において、前記制御手段は、前記判定手段で前記前進方向を判断し且つ前記速度検出手段からの出力に基づき車両の速度が第１の速度より遅い時には、前進方向を撮像された画像を前記表示手段に与え、前記第１の速度より早く第２の速度より遅い時には、鳥瞰画像の画像を前記表示手段に与え、前記第２の速度より早い速度の時には前進方向を撮像された画像を前記表示手段に与えることを特徴とする。

また、撮像された画像は広角カメラ画像であることを特徴とする。

この発明は、単純に前進方向を判断して表示する画像を切り替えるのではなく、車両の速度に基づき、車庫入れの際の切返しのための前進と判断すれば後退支援のための鳥瞰画像を表示することで（前記第１の速度より早く第２の速度より遅い時）、車庫入れの際、切返しにより一々画像が切替わることの煩わしさを解消できる。

この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、説明の重複を避けるためにその説明は繰返さない。

図１は、この発明の第1の実施形態にかかる車両の運転支援装置の構成を示す概略図、図2は、この発明の第1の実施形態にかかる車両の運転支援装置の構成を示すブロック図である。

車両の運転支援装置は、図１に示すように、自車１０に、距離測定センサ２１、後方カメラ２４、処理ユニット２２、モニタ表示器２３、ユーザーのステアリング操作に関する情報を出力する蛇角センサ２５、自車の速度を検出する車速センサ２６を備える。更に、処理ユニット２２に対して装置のオンオフやその他の設定を行う操作部２７及び図１では図示はしないがシフトポジションを検出するセンサが設けられている。

距離測定センサ２１は、例えば、車両後側に配置される超音波センサであって、超音波センサは、車両後方の障害物までの距離を測定するために、超音波を送信するための超音波送信部と、自車の周囲の障害物により反射される超音波の反射波を受信する超音波受信部とから構成されている。

カメラ２４は、例えば、車両後方に配置されるデジタルカメラ等であって、広角レンズが装着され処理ユニット２２により制御されて、自車の後方を撮影する。

処理ユニット２２は、ＣＰＵやメモリなど記憶部等から構成されており、ＣＰＵは、画像表示のための各種演算処理をする。また、メモリには、各種のデータ、および、コンピュータプログラムなどが記憶されている。

モニタ表示器２３は、液晶ディスプレイ等であって、車室内のインストルメントパネルにて表示画面が車両後方に向けて配置されており、モニタ表示器２３は、処理ユニット２２により制御されて、後方カメラ２４からの広角カメラからの画像またはカメラ２４からの画像を鳥瞰演算処理された自車の周囲の鳥瞰図などを表示する。

蛇角センサ２５は、ステアリング軸の角変位量を検出し、その検出した蛇角を処理ユニット２２に与える。

車速センサ２６は、自車１０の速度を検出し、その検出した速度を処理ユニット２２に与える。

次に、本発明の第１の実施の形態の構成を図２に従い更に説明する。

画像入力手段であるカメラ２４（以下、後方カメラ２４という）と撮影された画像が、歪み補正回路２４０に与えられ、この歪み補正回路２４０で広角レンズによる歪みが補正され、補正された画像が鳥瞰変換回路２５０並びにバッファメモリ２６０に与えられる。鳥瞰変換回路２５０は、歪み補正回路２４０からの画像を鳥瞰演算処理し、鳥瞰画像に変換し、この画像がバッファメモリ２６０に格納される。バッファメモリ２６０は処理部２２により制御され、鳥瞰変換回路２５０からの鳥瞰画像または歪み補正された広角レンズの歪み補正された撮像画像を出力し、入力部２２２から処理部２２内のメモリ２２１に格納される。

制御処理を行う処理部２２は、制御処理中枢を司るＣＰＵ２２０と、各種のデータ、および、コンピュータプログラムなどが記憶されメモリ２２１、各種データが入力される入力部２２２、データ等を出力する出力部２２３を備える。この処理部２２は、便宜上複数の処理ブロックで表現しているがマイクロコンピュータとメモリ等で構成することができる。

ＣＰＵ２２０で所定の演算処理を実行し、自車位置等の画像データと入力された鳥瞰画像または広角レンズの歪みを補正された撮像画像を合成して得られる表示用画像を記憶する表示用画像メモリ２３０に出力する。モニタ表示器２３は、表示用画像メモリ２３０に記憶されている画像を読み出して表示する。

蛇角センサ２５から蛇角信号が、車速センサ２６から車速が、距離測定センサ２１から障害物までの距離が処理部２２にそれぞれ入力される。

更に、処理部２２には、シフトポジションがどの位置、すなわち、前進するＤレンジであるか後進するＲレンジであるかを検出するシフトポジション検出センサ２８からの検出出力が与えられる。

更に、モニタ表示器２３のオンオフ、その他の設定等の指示を行う操作部２７からの操作信号が処理部２２に与えられる。処理部２２は操作部２７より与えられた指示信号に基づきモニタ表示器２３のオンオフ制御、表示器２３に表示させる映像などを選択する。例えば、カーナビゲーション画像を表示したり、運転支援装置の映像を表示したりその表示等が切り替えられる。後述するように、運転支援装置の映像を選択した場合には、車の状況に応じて、鳥瞰画像と広角カメラによる画像とが自動的に選択されてモニタ表示器２３に表示される。

なお、歪み補正回路２４０、鳥瞰変換回路２５０、バッファメモリ２６０、処理部２２、表示用画像メモリ２３０は、その全体または一部を一体化して一つのＬＳＩで構成してもよい。さらに、歪み補正回路２４０、鳥瞰変換回路２５０については、専用の画像処理回路を備える代わりに、処理部２２に対してカメラ２４で撮影した画像を入力し、これを演算処理によってソフトウェア的に歪み補正並びに鳥瞰画像に変換するといった手法で実現することもできる。

処理部２２によって所定の演算処理を施されて最終的にモニタ表示器２３に表示すべき画像は、表示用画像メモリ２３０に記憶される。モニタ表示器２３は、運転席から見易い位置（例えば、ダッシュボードの中央）に配置されており、カーナビゲーション装置のディスプレイを兼用させることもできる。

次に、この実施の形態の車の運転支援装置が実行する制御処理の内容を説明する。ここでは、後方カメラ２４によって撮影される車両後方の画像について、どの様な処理が実行され、モニタ表示器２３にどの様な画像が表示されるかを説明する。

後方カメラ２４で撮影した画像は、歪み補正回路２４０で歪み補正され、また、鳥瞰変換回路２５０において画像処理されて上空から見た鳥瞰画像に変換される。

鳥瞰変換は、次の様にして実行される。なお、前提条件として、後方カメラ２４はオートフォーカス機能を有する。従って、後方カメラ２４で撮影した画像は、その画像中心に焦点距離が合致したものとなっている。この焦点距離は、オートフォーカス機能に基づいてレンズを原点位置からどれだけ移動させたかという情報に基づいて、距離を表す数値情報として取得することができる。また、後方カメラ２４は、その取り付け高さ及び取り付け角度が予め分かっている。さらに、本実施の形態では、地面は平面であることを計算上の前提条件としている。これらの情報及び条件により、後方カメラ２４で撮影した画像を画素単位に分解したときの車両後端を基準線とする各画素までの距離及び幅方向位置を算出することができる。こうして各画素の鳥瞰変換後の位置座標が算出できたら、この位置座標に従って、各画素を配置し直す。これにより、後方カメラ２４で撮影した画像を、上空から見た平面画像に鳥瞰変換することができる。

こうして得られた鳥瞰画像は、後方カメラ２４で撮影した歪み補正された広角カメラ画像と共にバッファメモリ２６０に記憶される。一方、処理部２２のＣＰＵ２２０は、蛇角センサ２５から入力されるステアリング角信号、車速センサ２６から入力される車速信号、距離測定センサ２１から入力される超音波センサ信号、シフトポジション検出センサ２８からのシフトポジション信号に基づいて、車両の動きを算出する。

そして、ＣＰＵ２２０は、この車両の動きに基づいて、バッファメモリ２６０から読み出す画像を選択し、表示用画像メモリ２３０に自車位置情報とともに合成して出力する。

メモリ２２１には、鳥瞰画像を選択するか歪み補正された広角カメラ画像を選択するかを決めるための閾値設定情報が格納されている。すなわち、車速、蛇角、障害物までの距離を閾値情報として格納し、これら閾値に基づき、画像の切り替えを制御する。

たとえば、車速が所定速度を超える場合には、広い視野の方が安全確認が行えるので、広角カメラ画像を選択しモニタ表示器２３に表示させる。この実施形態においては、この閾値速度を時速１０ｋｍに設定している。そして、車速が時速１０ｋｍ以下になると、障害物までの距離と蛇角により表示画像を選択する。

障害物までの距離が近い場合には、外部との位置関係や距離感が掴みやすいので、原則的には鳥瞰画像を選択する。ステアリングを大きくきると車の回転が大きくなるので、広い視野で死角を少なくする方が安全確認が行えるので、蛇角に応じて鳥瞰画像と広角画像とを切り替えるように制御している。この実施形態においては、障害物までの距離が１０ｍ以下の場合を近距離と判断し、原則鳥瞰画像表示を行うが、蛇角により、表示を切り替える。蛇角の閾値はこの実施形態においては、２０度に設定している。

また、この実施形態は、障害物までの距離が１０ｍを超え、２０ｍ未満の場合には、蛇角に関係なく障害物の確認と周囲の状況を把握が容易なように広角カメラ画像を選択するように構成している。さらに、障害物までの距離が２０ｍを超えると障害物と接触する危険性が少なくなるので、蛇角が小さい、すなわち、２０度以内の場合には、鳥瞰画像を表示し、蛇角が大きくなると死角を少なくするために、広角画像を選択するように構成している。

この制御のために、メモリ２２１には、距離の閾値として、１０ｍ、２０ｍの設定値が格納されている。又、蛇角は２０度が閾値としてメモリ２２１に格納されている。

なお、上記した各閾値は、例示であり、必要に応じて決定すればよい。

次に、この実施の形態において処理部２２が実行するメインの制御処理について図３ないし図６のフローチャートに基づいて説明する。

まず、モニタ表示器２３がオンしているか否か判断され（Ｓ１）、オンの場合には、シフトポジションがＲレンジか否か判断する（Ｓ２）。この支援装置においては、運転手がＲレンジにシフトを設定すると、カメラシステムが作動するように構成している。

このシフトレンジがＲレンジか否かについては、シフトポジション検出センサ２８からの入力信号を利用すれば容易に判定できる。ステップＳ２において、シフトレンジがＲレンジであると判定された場合は、さらに、ＤレンジからＲレンジに切り替わった直後であるか否かを判定する（Ｓ３）。ＤレンジからＲレンジに切り替わった直後であれば、バッファメモリ２６０をリセットする（Ｓ４）。また、ステップＳ２において、シフトレンジがＲレンジではないと判断された場合は、さらに、ＲレンジからＤレンジに切り替わった直後であるか否かを判定する（Ｓ５）。ＲレンジからＤレンジに切り替わった直後であれば、バッファメモリ２６０をリセットする（Ｓ６）。

次に、後方カメラ２４を作動させ（Ｓ７）、この後方カメラ２４で撮影した画像を入力する（Ｓ８）。続いて、歪み補正回路２４０で広角画像の歪みを補正し、補正した広角画像をバッファメモリ２６０に格納するとともに鳥瞰変換回路２５０に与える（Ｓ１０）。そして、鳥瞰変換回路２５０は、広角画像を鳥瞰演算処理して鳥瞰画像に変換し、その鳥瞰画像をバッファメモリ２６０に格納する。

続いて、車速センサ２５で検出した車速信号を入力し（Ｓ１１）、この値が１０ｋｍ／ｈ以下か否かを判定する（Ｓ１２）。車速が１０ｋｍ／ｈを超えていると判断されると、死角を少なくするために、広角カメラ画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に広角カメラ画像を格納する（Ｓ１３）。そして、広角カメラ画像をモニタ表示器２３に表示し（Ｓ１４）、初期のステップに戻る。

一方、車速が１０ｋｍ／ｈ以下の場合には、距離測定センサ２６からの検出出力を入力し、障害物までの距離を算出し（Ｓ１５）する。この距離測定センサ２６の信号は、超音波を利用したバックソナーを有する車両では、このバックソナーによる検出データを用いることができる。続いて、蛇角センサ２５からステアリングの蛇角信号を入力する（Ｓ１６）。

こうして必要な情報を入力し終えたら、図４に示すフローに進む。そして、ステップＳ１５で入力した距離測定センサ２６からの出力により算出した障害物までの距離が２０ｍを超えているか否か判断する（Ｓ１７）。障害物までの距離が２０ｍ以内の場合には図５のフローに進む。

障害物までの距離が２０ｍを超えている場合には、続いて、ステップＳ１６で入力した蛇角センサ２５の出力により算出した蛇角が２０度を超えるか否か判断する（Ｓ１９）。蛇角が２０度を超えていると判断した場合には、死角を少なくするために、広角カメラ画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に広角カメラ画像を格納する（Ｓ１９）。そして、広角カメラ画像をモニタ表示器２３に表示し（Ｓ２０）、初期のステップに戻る。

また、蛇角が２０度以下の場合には、ステップＳ１０において、鳥瞰処理された鳥瞰画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に鳥瞰画像を格納する（Ｓ２１）。そして、鳥瞰画像をモニタ表示器２３に表示し（Ｓ２２）、初期のステップに戻る。

ステップＳ１７において、障害物までの距離が２０ｍ以下と判断されると、図５のフローに進み、障害物までの距離が２０ｍ以下且つ１０ｍを超えているか否か判断する（Ｓ２３）。障害物までの距離が２０ｍ以下且つ１０ｍを超えている範囲以外の場合には、図６のフローに進む。

ステップＳ２３にて、障害物までの距離が２０ｍ以下且つ１０ｍを超えている範囲内であると判断すると、死角を少なくするために、広角カメラ画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に広角カメラ画像を格納する（Ｓ２４）。そして、広角カメラ画像をモニタ表示器２３に表示し（Ｓ２５）、初期のステップに戻る。

一方、ステップＳ２３にて、障害物までの距離が２０ｍ以下且つ１０ｍを超えている範囲にないと判断されると、図６のフローに進み、障害物までの距離が１０ｍ以下であるか否か判断される（Ｓ２６）。障害物までの距離が１０ｍ以下でない場合には、初期のステップに戻り、障害物までの距離が１０ｍ以下と判断すると、ステップＳ１６で入力した蛇角センサ２５の出力により算出した蛇角が２０度を以下であるか否か判断する（Ｓ２７）。蛇角が２０度以下の場合には、ステップＳ１０において、鳥瞰処理された鳥瞰画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に鳥瞰画像を格納する（Ｓ２８）。そして、鳥瞰画像をモニタ表示器２３に表示し（Ｓ２９）、初期のステップに戻る。

一方、蛇角が２０度を超えていると判断した場合には、死角を少なくするために、広角カメラ画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に広角カメラ画像を格納する（Ｓ３０）。そして、広角カメラ画像をモニタ表示器２３に表示し（Ｓ３１）、初期のステップに戻る。

以上の様な処理を実行した結果として、モニタ表示器２３には、車の状況に応じて、鳥瞰画像と広角カメラによる画像と自動的に選択して表示させて運転者に好ましい映像を表示させることができる。この実施形態におけるモニタ表示器２３に表示される態様を車速、蛇角、障害物までの距離との関係を表１に示す。

上記のように構成することで、運転手には、バックで車両を駐車しようとするときの車両と障害物や駐車枠などとの位置関係が非常に分かり易くなり、操作性が大幅に向上する。

尚、上記した実施形態においては、車速、蛇角、障害物までの距離の各条件を用いて、鳥瞰画像と広角カメラによる画像の切替制御を行っているが、この全ての条件を用いずに、切替制御を行うように構成できる。例えば、障害物までの距離だけを切替制御の対象とし、例えば、障害物までの距離が１０ｍ以下になると鳥瞰画像をモニタ表示器２３に表示し、１０ｍを超えると広角カメラの画像に切り替えるように制御する。このように、制御すると、制御は容易になるが、視野の確保については、上記した実施形態に比べると悪くなる。

また、車速だけを切替制御の対象とし、例えば、車速が１０ｋｍ／ｈ以下になると鳥瞰画像をモニタ表示器２３に表示し、１０ｋｍ／ｈを超えると広角カメラの画像に切り替えるように制御する。このように、制御すると、制御は容易になるが、視野の確保については、上記した実施形態に比べると悪くなる。

更に、蛇角だけを切替制御の対象とし、例えば、蛇角が２０度以下になると鳥瞰画像をモニタ表示器２３に表示し、２０度を超えると広角カメラの画像に切り替えるように制御する。このように、制御すると、制御は容易になるが、視野の確保については、上記した実施形態に比べると悪くなる。

更に、車速と障害物までの距離、車速と蛇角、障害物までの距離と蛇角とを用いて画像の切替を行うことも可能である。

ところで、車庫入れ等においては、単純にバックするだけでなく、切り返し操作の様に、前進と後進とを繰り返す場合がある。このような場合には、車の前方の表示も可能にする方が運転者には便利である。特に、右ステアリングの車両の場合には、左前方の状況が把握しにくい。また、車両を前進で駐車しようとする場合には、車両の先端も把握しにくいのが実情である。そこで、この発明の第２の実施形態においては、前方カメラと後方カメラを備え、シフトポジションによって、前方カメラと後方カメラの画像を切り替えるとともに、それぞれ車両の状況に応じて、広角画像と鳥瞰画像とを切り替えるものである。

図７は、この発明の第２の実施形態にかかる車両の運転支援装置の構成を示す概略図、図８は、この発明の第２の実施形態にかかる車両の運転支援装置の構成を示すブロック図である。尚、第１の実施形態と同じ構成については、同一符号を付し、説明の重複を避けるために、ここではその説明を割愛する。

車両の運転支援装置は、図７及び図８に示すように、自車１０に、距離測定センサ２１、前方カメラ２４ａ、後方カメラ２４、処理ユニット２２、表示器２３、ユーザーのステアリング操作に関する情報を出力する蛇角センサ２５、自車の速度を検出する車速センサ２６を備える。更に、処理ユニット２２に対して装置のオンオフやその他の設定を行う操作部２７及び図１では図示はしないがシフトポジションを検出するセンサが設けられている。この第２の実施の形態においては、第１の実施形態に、更に前方カメラ２４ａを設けたものである。

この前方カメラ２４ａも後方カメラ２４と同様に広角レンズを装着した広角カメラで構成される。

この第２の実施形態おいては、画像入力手段である後方カメラ２４と前方カメラ２４ａで撮影された画像が、それぞれ歪み補正回路２４０、２４０ａに与えられ、この歪み補正回路２４０、２４０ａで広角レンズによる歪みが補正され、補正された画像が鳥瞰変換回路２５０、２５０ａ並びにバッファメモリ２６０、２６０ａにそれぞれ与えられる。鳥瞰変換回路２５０、２５０ａは、歪み補正回路２４０、２４０ａからの画像をそれぞれ鳥瞰演算処理し、鳥瞰画像に変換し、この画像がバッファメモリ２６０、２６０ａに格納される。バッファメモリ２６０とバッファメモリ２６０は処理部２２により制御され、車両が前進している時には、前方カメラ２４ａからの画像を車両が後進しているときには、後方カメラ２４からの画像が選択され、表示用画像記憶メモリ２３０に与え、モニタ表示器２３に対応する画像を表示する。

後進の場合の鳥瞰画像と広角画像の切替制御は、上述した第１の実施形態と同じ制御が行われる。前進の場合の鳥瞰画像と広角画像の切替制御は車速に応じて切替制御を行うように構成している。切替制御は、低速走行の際の停止寸前時は交差点での死角確保の観点で広角画像を選択するように制御する。そして、ある程度の低速走行時は自車位置の確認用に鳥瞰画像を選択する。それ以上の車速では、安全の観点で広角画像を選択し、更にそれ以上の車速になった場合には、安全の観点からモニタ表示器２３の画面表示をオフにするように制御する。

変換回路２５０からの鳥瞰画像または歪み補正された広角レンズの歪み補正された撮像画像を出力し、入力部２２２から処理部２２内のメモリ２２１に格納される。

なお、上記した各閾値は、例示であり、必要に応じて決定すればよい。

次に、この第2の実施の形態において処理部２２が実行するメインの制御処理について図９ないし図１４のフローチャートに基づいて説明する。

まず、モニタ表示器２３がオンしているか否か判断され（Ｓ４１）、オンの場合には、シフトポジションがＲレンジ或いはＤレンジであるか否か判断する（Ｓ４２）。この第2の実施形態における支援装置においては、運転手がＲレンジ又はＤレンジにシフトを設定すると、後方カメラ２４または前方カメラ２４ａのいずれかのカメラシステムが作動するように構成している。

このシフトレンジがＲレンジか否かについては、シフトポジション検出センサ２８からの入力信号を利用すれば容易に判定できる。ステップＳ４２において、シフトレンジがＲレンジであると判定された場合は、さらに、ＤレンジからＲレンジに切り替わった直後であるか否かを判定する（Ｓ４３）。ＤレンジからＲレンジに切り替わった直後であれば、バッファメモリ２６０をリセットする（Ｓ４４）。また、ステップＳ４２において、シフトレンジがＲレンジではない、すなわちＤレンジであると判断された場合は、さらに、ＲレンジからＤレンジに切り替わった直後であるか否かを判定する（Ｓ４５）。ＲレンジからＤレンジに切り替わった直後であれば、バッファメモリ２６０ａをリセットし（Ｓ４６）、その後、前方カメラ２４ａのシステム動作に移行する。前方カメラ２４ａのシステム動作については、後述する。

まず、ステップＳ４２において、シフトレンジがＲレンジであり、運転手がバックの動作を行う場合につき説明する。

ステップＳ４４において、バッファメモリ２６０をリセットした後、後方カメラ２４を作動させ（Ｓ４７）、この後方カメラ２４で撮影した画像を入力する（Ｓ４８）。続いて、歪み補正回路２４０で広角画像の歪みを補正し、補正した広角画像をバッファメモリ２６０に格納するとともに鳥瞰変換回路２５０に与える（Ｓ５０）。そして、鳥瞰変換回路２５０は、広角画像を鳥瞰演算処理して鳥瞰画像に変換し、その鳥瞰画像をバッファメモリ２６０に格納する。

続いて、車速センサ２５で検出した車速信号を入力し（Ｓ６１）、図１０のフローに進み、車速センサで算出した後進速度の値が１０ｋｍ／ｈ以下か否かを判定する（Ｓ６２）。車速が１０ｋｍ／ｈを超えていると判断されると、死角を少なくするために、後方カメラ２４の広角カメラ画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に広角カメラ画像を格納する（Ｓ６３）。そして、後方カメラの広角カメラ画像をモニタ表示器２３に表示し（Ｓ６４）、初期のステップに戻る。

一方、後進の車速が１０ｋｍ／ｈ以下の場合には、距離測定センサ２６からの検出出力を入力し、障害物までの距離を算出し（Ｓ６５）する。続いて、蛇角センサ２５からステアリングの蛇角信号を入力する（Ｓ６６）。

こうして必要な情報を入力し終えたら、ステップＳ６５で入力した距離測定センサ２６からの出力により算出した障害物までの距離が２０ｍを超えているか否か判断する（ステップＳ６７）。障害物までの距離が２０ｍ以内の場合には図１１のフローに進む。

障害物までの距離が２０ｍを超えている場合には、続いて、ステップＳ６６で入力した蛇角センサ２５の出力により算出した蛇角が２０度を超えるか否か判断する（Ｓ６８）。蛇角が２０度を超えていると判断した場合には、死角を少なくするために、後方カメラ２４の広角カメラ画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に広角カメラ画像を格納する（Ｓ６９）。そして、後方カメラの広角カメラ画像をモニタ表示器２３に表示し（Ｓ７０）、初期のステップに戻る。

一方、蛇角が２０度以下の場合には、ステップＳ５０において、鳥瞰処理された鳥瞰画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に後方カメラ２４に基づく鳥瞰画像を格納する（Ｓ７１）。そして、後方カメラ２４に基づく鳥瞰画像をモニタ表示器２３に表示し（Ｓ７２）、初期のステップに戻る。

ステップＳ６７において、障害物までの距離が２０ｍ以下と判断されると、図１１のフローに進み、障害物までの距離が２０ｍ以下且つ１０ｍを超えているか否か判断する（Ｓ７３）。障害物までの距離が２０ｍ以下且つ１０ｍを超えている範囲以外の場合には、図１２のフローに進む。

ステップＳ７３にて、障害物までの距離が２０ｍ以下且つ１０ｍを超えている範囲内であると判断すると、死角を少なくするために、後方カメラ２４の広角カメラ画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に広角カメラ画像を格納する（Ｓ７４）。そして、後方カメラ２４の広角カメラ画像をモニタ表示器２３に表示し（Ｓ７５）、初期のステップに戻る。

一方、ステップＳ７３にて、障害物までの距離が２０ｍ以下且つ１０ｍを超えている範囲にないと判断されると、図１２のフローに進み、障害物までの距離が１０ｍ以下であるか否か判断される（Ｓ７６）。障害物までの距離が１０ｍ以下でない場合には、初期のステップに戻り、障害物までの距離が１０ｍ以下と判断すると、ステップＳ６６で入力した蛇角センサ２５の出力により算出した蛇角が２０度を以下であるか否か判断する（Ｓ７７）。蛇角が２０度以下の場合には、ステップＳ５０において、後方カメラ２４の画像を鳥瞰処理した鳥瞰画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に後方カメラ２４に基づく鳥瞰画像を格納する（Ｓ７８）。そして、後方カメラ２４に基づく鳥瞰画像をモニタ表示器２３に表示し（Ｓ７９）、初期のステップに戻る。

一方、蛇角が２０度を超えていると判断した場合には、死角を少なくするために、後方カメラ２４の広角カメラ画像をバッファメモリ２６０より読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に広角カメラ画像を格納する（Ｓ８０）。そして、後方カメラ２４の広角カメラ画像をモニタ表示器２３に表示し（Ｓ８１）、初期のステップに戻る。

次に、ステップＳ４２において、シフトレンジがＤレンジであり、運転手が前進の動作を行う場合につき説明する。

ステップＳ４６において、バッファメモリ２６０ａをリセットした後、前方カメラ２４ａを作動させ（Ｓ８２）、この前方カメラ２４ａで撮影した画像を入力する（Ｓ８３）。続いて、歪み補正回路２４０ａで広角画像の歪みを補正し、補正した広角画像をバッファメモリ２６０ａに格納するとともに鳥瞰変換回路２５０ａに与える（Ｓ８５）。そして、鳥瞰変換回路２５０ａは、広角画像を鳥瞰演算処理して鳥瞰画像に変換し、その鳥瞰画像をバッファメモリ２６０ａに格納する。

続いて、車速センサ２５で検出した車速信号を入力し（Ｓ８６）、図１３のフローに進み、車速センサで算出した前進速度の値が２０ｋｍ／ｈを超えるか否かを判定する（Ｓ８７）。車速が１０ｋｍ／ｈを超えていると判断されると、安全の観点からモニタ表示器２３の画面表示をオフにするように制御し（Ｓ８８）、初期のステップに戻る。

ステップＳ８７において、前進速度の値が２０ｋｍ／ｈ以下の場合、前進速度が２０ｋｍ／ｈ以下１０ｋｍ/ｈを超える範囲であるか否か判断する（Ｓ８９）。前進速度が２０ｋｍ／ｈ以下１０ｋｍ/ｈを超える範囲の場合には、死角を少なくするために、前方カメラ２４ａの広角カメラ画像をバッファメモリ２６０ａより読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に前方カメラ２４ａの広角カメラ画像を格納する（Ｓ９０）。そして、前方カメラ２４ａの広角カメラ画像をモニタ表示器２３に表示し（Ｓ９１）、初期のステップに戻る。

一方、前進速度が２０ｋｍ／ｈ以下１０ｋｍ/ｈを超える範囲にない場合には、図１４のフローに進む。そして、前進速度が１０ｋｍ／ｈ以下５ｋｍ/ｈを超える範囲であるか否かを判断する（Ｓ９２）。前進速度が１０ｋｍ／ｈ以下５ｋｍ/ｈを超える範囲の場合には、自車位置確認用に、前方カメラ２４ａの画像を鳥瞰処理した鳥瞰画像をバッファメモリ２６０ａより読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に前方カメラ２４ａに基づく鳥瞰画像を格納する（Ｓ９３）。そして、前方カメラ２４ａに基づく鳥瞰画像をモニタ表示器２３に表示し（Ｓ９４）、初期のステップに戻る。

ステップＳ９２において、前進速度が１０ｋｍ／ｈ以下５ｋｍ/ｈを超える範囲にない場合には、低速走行の停止寸前であるか否かを判断するため、前進速度が５ｋｍ／ｈ以下であるか否か判断する（Ｓ９５）。５ｋｍ／ｈ以下で無い場合には初期のステップに戻る。車速が５ｋｍ／ｈ以下の場合には、死角確保のため、前方カメラ２４ａの広角カメラ画像をバッファメモリ２６０ａより読み出し、自車の位置などを合成し、表示用画像記憶メモリ２３０に前方カメラ２４ａの広角カメラ画像を格納する（Ｓ９６）。そして、前方カメラ２４ａの広角カメラ画像をモニタ表示器２３に表示し（Ｓ９７）、初期のステップに戻る。

以上の様な処理を実行した結果として、モニタ表示器２３には、前進、後進時の車の状況に応じて、鳥瞰画像と広角カメラによる画像と自動的に選択して表示させて運転者に好ましい映像を表示させることができる。この第２の実施形態におけるモニタ表示器２３に表示される後進の態様は、第１の実施形態と同じであるので、前進の時の車速の関係を表２に示す。

この第２の実施形態においては、車庫入れ等においては、単純にバックするだけでなく、切り返し操作の様に、前進と後進とを繰り返す場合があるが、本実施の形態によれば、シフトレンジが切り替わったタイミングで、一旦、バッファメモリをリセットするので、運転手がシフトレンジをＤレンジからＲレンジに切り替えたときには、それまでに前進していた時の画像履歴が残ってしまうことがなく、誤った情報を運転手に与えるといった問題を解決することができる。同様に、切り返しで前進し直す様な場合にも、ＲレンジからＤレンジに切り替わったタイミングで、一旦、バッファメモリをリセットするので、運転手がシフトレンジをＲレンジからＤレンジに切り替えたときには、それまでに後進していた時の画像履歴が残ってしまうことがなく、こちらも、誤った情報を運転手に与えるといった問題を解決することができる。

尚、上記した実施形態においては、前方カメラ２４ａ、後方カメラ２４とも１つのカメラで構成したが、前方カメラ２４ａ及び後方カメラ２４は、それぞれ車両の幅方向に位置をずらして複数個設置しておく様にしても構わない。但し、前方及び／又は後方に複数個のカメラを設置した場合には、この実施の形態のシステムを実現するための画像処理の際に、各カメラ毎に撮影範囲がずれている画像同士を調整して前方の画像及び後方の画像を決定する必要があるので、視野が広くなってより多くの情報が得られる反面、画像処理のための演算処理回路やプログラムが複雑になる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

車の運転支援装置、車両の周辺表示装置、駐車支援装置などに適用できる。

この発明の第1の実施形態にかかる車両の運転支援装置の構成を示す概略図である。 この発明の第1の実施形態にかかる車両の運転支援装置の構成を示すブロック図である。 この発明の第1の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第1の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第1の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第1の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第２の実施形態にかかる車両の運転支援装置の構成を示す概略図である。 この発明の第２の実施形態にかかる車両の運転支援装置の構成を示すブロック図である。 この発明の第２の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第２の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第２の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第２の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第２の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。 この発明の第1の実施形態において処理部が実行するメインの制御処理の動作を示すフロー図である。

符号の説明

１０ 自車、２１ 距離測定センサ、２２ 処理部、２３ モニタ表示器、２４ 後方カメラ、２５ 蛇角センサ、２６ 車速センサ。

Claims (2)

1. 車両の後進方向及び前方の画像を撮影する撮影手段と、この撮影手段で撮像された画像を格納する格納手段と、前記撮影手段で撮像された画像を鳥瞰画像に変換する鳥瞰画像変換手段と、この鳥瞰画像変換手段で変換された鳥瞰画像を格納する格納手段と、画像を表示する表示手段と、車両の速度を検出する速度検出手段と、前記表示手段に与える画像を撮像された画像又は鳥瞰画像へと切替制御する制御手段と、車両が前進しているか後進しているかを判断する判定手段と、を備え、
   前記制御手段は、前記判定手段で前進方向を判定すると、前記前進方向の画像を前記表示手段に与え、前記判定手段で後進方向を判定すると、前記後進方向の画像を前記表示手段に与える車両の運転支援装置において、
   前記制御手段は、前記判定手段で前記前進方向を判断し且つ前記速度検出手段からの出力に基づき車両の速度が第１の速度より遅い時には、前進方向を撮像された画像を前記表示手段に与え、前記第１の速度より早く第２の速度より遅い時には、鳥瞰画像の画像を前記表示手段に与え、前記第２の速度より早い速度の時には前進方向を撮像された画像を前記表示手段に与えることを特徴とする車両の運転支援装置。
2. 前記撮像された画像は広角カメラ画像であることを特徴とする請求項１に記載の車両の運転支援装置。

Images