JP4573242B2

JP4573242B2 - 運転支援装置

Info

Publication number: JP4573242B2
Application number: JP2004324592A
Authority: JP
Inventors: 正一坪井
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2004-11-09
Filing date: 2004-11-09
Publication date: 2010-11-04
Anticipated expiration: 2024-11-09
Also published as: US7432799B2; US20060119472A1; JP2006131166A

Description

本発明は、運転者に対して自動車周辺を撮影した画像を提示することにより、自動車の運転を支援する技術に関するものである。

運転者に対して自動車周辺を撮影した画像を提示することにより、自動車の運転を支援する技術としては、自動車周辺を撮影する１または複数のカメラを自動車に搭載し、各カメラで撮影した画像をユーザに対して提示する技術が知られている（たとえば、特許文献１）。

また、自動車周辺を複数のカメラによって撮影した画像を自動車上方の視点から撮影した場合に得られる画像に視点変換して合成すると共に、合成した画像上に自車を表す図形を配置することにより、自動車周辺を俯瞰的に表す俯瞰画像を生成し、ユーザに提示する技術も知られている（たとえば、特許文献２）。すなわち、この技術では、たとえば、図５ａのように、駐車場で後進する場合、車両の前後左右に設けた広角カメラ５０１５０４で、車両周囲を斜め下方を撮影し、撮影した各画像を視点変換して合成して得られる駐車場を俯瞰する画像を生成する。そして、図５ｂに示すように、駐車場を俯瞰する画像５１０上に、自車を表す図形５１１を配置した画像を作成し俯瞰画像としてユーザに提示する。

なお、このような俯瞰画像の生成し、複数のカメラに代えて、自動車の全周囲を撮影するカメラを用いる技術も知られている。
特開２００２-３２８０２１号公報特開２００２-３５４４６８号公報

前記俯瞰画像をユーザに対して提示する技術によれば、ユーザは、周辺のようすと共に、自車と周辺の物体の関係を、俯瞰画像より直感的に把握することができる。
しかしながら、俯瞰画像からでは、実際の車両と周辺の障害物の距離が分かりづらく、ユーザが俯瞰画像のみから障害物の脇をぎりぎり通り抜けられるかどうかなどの判断を行うことが難しい。また、俯瞰画像中の自車を表す図形と画像が表す周辺の障害物との関係が、実際の車両と周辺の障害物との関係に厳密に一致するように俯瞰画像を生成することは困難である。

特に、図５ｃ、ｄに示すように車両近傍に背の高い障害物５２０が存在する場合、この障害物は、視点変換により俯瞰画像において図５ｅに示すように、当該障害物を撮影するカメラに対して一定の角度範囲の全てを占める図形５２１として、実際に車両上方から車両周辺を観測した場合と異なる形態で表示されてしまうことになる。このために、ユーザは、俯瞰画像からでは、このような障害物の位置や形状を直感的に性格に把握することができない。

そこで、本発明は、自動車周囲の俯瞰画像を表示する運転支援装置において、ユーザが自動車と自動車周辺の障害物との関係をより的確に把握できるようにすることを課題とする。

前記課題達成のために、本発明は、自動車に搭載される運転支援装置を、前記自動車周囲を撮影する周囲撮影カメラと、前記自動車周囲の障害物を検出する障害物検出手段と、表示装置と、前記周囲撮影カメラが撮影した画像を変換して、前記自動車上方より自動車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、前記俯瞰画像生成手段が生成した俯瞰画像を前記表示装置へ表示する表示制御手段と、前記障害物検出手段が検出した障害物の位置周辺を撮影した障害物周辺画像を生成する障害物周辺画像生成手段とを含めて構成し、前記表示制御手段は、前記障害物周辺画像生成手段が生成した障害物周辺画像を、前記俯瞰画像上の、前記障害物検出手段が検出した障害物の位置に対応する位置周辺に表示するようにしたものである。

このような運転支援装置によれば、俯瞰画像に加え、自動車周辺の障害物の位置周辺を撮影した障害物周辺画像が表示されるので、運転者は、俯瞰画像では把握し難い自車と周辺の障害物の関係をより厳密に把握することができるようになる。また、この障害物周辺画像は、俯瞰画像上の障害物の位置に対応する位置周辺に表示されるので、この障害物周辺画像が自車のどちら側の部分を表しており、障害物と自車がどのような位置関係にあるのかを、運転者は容易かつ直感的に把握することができる。

また、本発明は、前記課題達成のために、自動車に搭載される運転支援装置を、前記自動車周囲を撮影する周囲撮影カメラと、前記自動車周囲の障害物を検出する障害物検出手段と、表示装置と、前記周囲撮影カメラが撮影した画像を変換して、前記自動車上方より自動車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、前記俯瞰画像生成手段が生成した俯瞰画像を前記表示装置へ表示する表示制御手段と、前記障害物検出手段が障害物を検出したときに、前記障害物検出手段が検出した障害物の位置周辺を撮影した障害物周辺画像を生成する障害物周辺画像生成手段とを含めて構成し、前記表示制御手段において、前記障害物検出手段が障害物を検出したときに、前記障害物周辺画像生成手段が生成した障害物周辺画像をを前記表示装置に表示するようにしてもよい。なお、この場合に、前記表示制御手段は、前記障害物周辺画像を、前記俯瞰画像上の、前記障害物検出手段が検出した障害物の位置に対応する位置周辺に表示するものとしてもよい。

このような運転支援装置によれば、このような運転支援装置によれば、通常は俯瞰画像を表示するが、障害物が検出されたときには、俯瞰画像に加え、自動車周辺の障害物の位置周辺を撮影した障害物周辺画像が表示されるので、俯瞰画像では把握し難い自車と周辺の障害物の関係をより厳密に把握することができるようになる。また、このような障害物周辺画像は障害物が検出されたときに表示されるので、通常は、障害物周辺画像によって俯瞰画像の視認性が劣化してしまうことがない。

ところで、以上の各運転支援装置は、前記障害物周辺画像生成手段は、前記障害物周辺画像を、前記周囲撮影カメラが撮影した画像から抽出した、前記障害物周辺が写り込んでいる画像部分から生成するようにしてもよい。また、この場合に、前記障害物周辺画像生成手段は、前記障害物検出手段が検出した障害物の位置が前記自動車の後方である場合には、前記障害物周辺画像を、前記抽出した画像部分とは上下及び左右が反転された画像として生成することにより、車両前方を向いて障害物周辺画像を見ている運転者にとっての前後左右と、障害物周辺画像の上下左右を一致させて、障害物周辺画像の視認性を向上するようにしてもよい。

以上のように、本発明によれば、自動車周囲の俯瞰画像を表示する運転支援装置において、ユーザは、自動車と自動車周辺の障害物との関係をより的確に把握できるようになる。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る運転支援装置の構成を示す。
図示するように、図１ｂに示すように運転支援装置は車両前方向の斜下方を撮影する広角のフロントカメラ１０１、図１ｂに示すように車両後方向の斜下方を撮影する広角のリアカメラ１０２、図１ｂに示すように車両左方向の斜下方を撮影する広角のレフトサイドカメラ１０３、図１ｂに示すように車両右方向の斜下方を撮影する広角のライトサイドカメラ１０４、各カメラの撮影画像を保持する画像メモリ１０５、車両周囲の障害物を検出する１または複数の障害物センサ１０６、表示装置１０７、俯瞰画像生成部１０８、ガイドライン描画部１０９、注意画像生成部１１０、表示装置１０７の表示を制御する表示処理部１１１、ユーザの操作を受け付ける操作部１１２、ユーザの自動車のトランスミッションのギヤ操作に応じて車両が後進状態（バックギヤ選択状態）にあるかどうかを検出する後進検出部１１３、ユーザのステアリング操作に応じて車両の操舵輪の操舵角度を検出する舵角センサ１１４、制御部１１５を有している。

また、１または複数の障害物センサ１０６は各カメラの撮影範囲内の障害物を検出するセンサであり、たとえば、複数の障害物センサ１０６としては、各カメラ１０１１０４とセットでカメラ近傍に設置した４つのレーダセンサなどを用いることができる。
以下、このような運転支援装置の動作について説明する。
図２ａに、制御部１１５が行う周辺状況提示処理の手順を示す。
この処理は、ユーザから操作部１１２の所定操作によって周辺状況提示動作を指示された場合や、後進検出部１１３が車両の後進状態を検出した場合に起動され実行される。
図示するように、この処理では、まず、俯瞰画像生成部１０８を制御して、俯瞰画像表示を開始する（ステップ２０２）。
俯瞰画像表示が開始されると、俯瞰画像生成部１０８は、画像メモリ１０５に格納された各カメラ１０１１０４の撮影画像に対して、自動車上方の視点から撮影した場合に得られる画像への視点変換処理と合成処理を施す共に、合成した画像上に自車を表す図形を配置することにより、自動車周辺を自車を表す図形と共に俯瞰的に表す俯瞰画像を生成し、表示処理部１１１に出力する。また、俯瞰画像表示が開始されると、表示処理部１１１は、俯瞰画像生成部１０８から出力される俯瞰画像を表示装置１０７に表示する。

次に、制御部１１５は、舵角センサ１１４から操舵角を取得し（ステップ２０４）、操舵角が現在の操舵角であった場合に車両が走行することになる走行ラインを予測する（ステップ２０６）。そして、予測した走行ラインをガイドするガイドラインの表示を開始する（ステップ２０８）。

ガイドラインの表示が開始されると、ガイドライン描画部１０９は、走行ラインを俯瞰画像上でガイドするガイドライン画像を生成し、表示処理部１１１に出力する。また、表示処理部１１１は、ガイドラインの表示が開始されると、表示装置１０７に表示する俯瞰画像上に、ガイドライン描画部１０９から出力されるガイドライン画像を重畳表示する。

この結果、たとえば、図３ａのように、駐車場で後進する場合、図３ｂに示すように、各カメラ１０１１０４で撮影された各画像を視点変換して合成した、駐車場を鳥瞰図的に俯瞰する画像３１０上に自車を表す図形３１１を配置した俯瞰画像が、車両の走行ラインを表すガイドライン３１２と共に、表示装置１０７に表示されて、ユーザに提示されることになる。

さて、図２ａに戻り、このようにして俯瞰画像とガイドラインの表示を開始したならば、制御部１１５は、障害物センサ１０６の出力を参照して、危険領域に障害物が存在しないかどうかを調べる（ステップ２１０）。ここで、危険領域とは、車両から所定距離（たとえば、２０ｃｍ）内の領域や、ステップ２０６で予測した走行ラインに沿って車両が進行すると、その領域内に障害物が存在したときに、当該障害物が車両と衝突するか車両に所定距離（たとえば、２０ｃｍ）以内に接近することになる領域や、現在、車両のドアを開いたときに、その領域内に障害物が存在した場合に、当該障害物がドアと衝突することになる領域を指す。

そして、危険領域内に障害物が存在しない場合には、ステップ２０４からの処理に戻り、走行ラインの再予測と表示するガイドラインの更新を行う。一方、危険領域内に障害物が存在した場合には、その障害物を対象障害物とする注意画像表示処理を起動した上で（ステップ２１２）、ステップ２０４からの処理に戻り、走行ラインの再予測とガイドラインの更新を行う。この結果、たとえば、図３ａに示すように、走行ラインに沿って車両が進行すると車両が衝突することになる障害物３２１が存在する場合には、この障害物３２１を対象障害物とする注意画像表示処理が起動され、周辺状況提示処理と並行して実行されることになる。

次に、ステップ２１２で起動する注意画像表示処理について説明する。
図２ｂに、この注意画像表示処理の手順を示す。
図示するように、この処理では、まず、障害物センサ１０６が検出した対象障害物の位置より４つのカメラ１０１１０４のうちで対象障害物を最も良好に撮影画像内に捉えているカメラの撮影画像を対象画像として、当該対象画像内の障害物が写っている領域を対象領域として算定する（ステップ２５２）。そして、注意画像表示を開始する（ステップ２５４）。また、障害物センサ１０６の出力に基づく対象障害物の位置追跡を開始する。

注意画像表示が開始されると、注意画像生成部１１０は、算定された対象画像を画像メモリ１０５より読み出し、算定された対象領域より、対象画像から、車両の一部と障害物との画像が含まれる領域の画像を表示対象画像として抽出し、抽出した表示対象画像の歪みと向きを修正し、修正後の表示対象画像の画像サイズを所定の画像サイズにサイズ合わせし、注意画像として表示処理部１１１に出力する。すなわち、注意画像生成部１１０は、表示対象画像が、人間の目でみた場合と同様のプロポーションで車両の一部や対象障害物を表すように表示対象画像の歪みを修正する。また、表示対象画像が、リアカメラ１０２またはライトサイドカメラ１０４またはレフトサイドカメラ１０３が撮影した画像であれば、表示対象画像の左右を反転する。また、表示対象画像が、リアカメラ１０２で撮影した画像である場合には、さらに、表示対象画像の上下を反転するようにしてもよい。

一方、表示処理部１１１は、このようにして注意画像生成部１１０が生成した注意画像を俯瞰画像の上に重ねて表示する。このとき、注意画像の表示位置は、対象障害物の位置に相当する俯瞰画像上の位置として、その表示を行う。より具体的には、たとえば、対象障害物が車両に対して右後方に位置する場合には、注意画像が俯瞰画像中に収まる位置であって、注意画像の左上角が対象障害物に対応する俯瞰画像上の位置に最も近い位置となる位置に注意画像の表示を行い、対象障害物が車両に対して右前方に位置する場合には、注意画像が俯瞰画像中に収まる位置であって、注意画像の左下角が対象障害物に対応する俯瞰画像上の位置に最も近い位置となる位置に注意画像の表示を行い、対象障害物が車両に対して左後方に位置する場合には、注意画像が俯瞰画像中に収まる位置であって、注意画像の右上角が対象障害物に対応する俯瞰画像上の位置に最も近い位置となる位置に注意画像の表示を行い、対象障害物が車両に対して左前方に位置する場合には、注意画像が俯瞰画像中に収まる位置であって、注意画像の右下角が対象障害物に対応する俯瞰画像上の位置に最も近い位置となる位置に注意画像の表示を行い、対象障害物が車両に対して後方に位置する場合には、注意画像が俯瞰画像中に収まる位置であって、注意画像の上辺中央が対象障害物に対応する俯瞰画像上の位置に最も近い位置となる位置に注意画像の表示を行い、対象障害物が車両に対して前方に位置する場合には、注意画像が俯瞰画像中に収まる位置であって、注意画像の下辺中央が対象障害物に対応する俯瞰画像上の位置に最も近い位置となる位置に注意画像の表示を行う。ただし、注意画像の表示位置は、対象障害物の前方、後方、右方、左方、右前方、右後方、左前方、左後方の位置に応じて、それぞれ、前方、後方、右方、左方、右前方、右後方、左前方、左後方のそれぞれに対して予め定めておいた位置に表示するようにしてもよい。また、注意画像生成部１１０は、注意画像を撮影したカメラと注意画像を結びつける引き出し線の表示も行う。

さて、図２に戻り、このようにして、注意画像表示を開始したならば、制御部１１５は、追跡している対象障害物の位置に基づいて、対象障害物が危険領域から逸脱したかどうかを監視し（ステップ２５６）、危険領域から対象障害物が逸脱したならば、注意画像の表示を終了し処理を終了する。一方、危険領域から対象障害物が逸脱するまでは、追跡している対象障害物の位置に基づいて対象画像と対象領域を再算定することにより（ステップ２５８）、注意画像を更新する（ステップ２６０）処理を繰り返す。

以上、本運転支援装置の動作について説明した。
このような運転支援装置の動作によれば、たとえば、図３ａに示すように、走行ラインに沿って車両が進行すると車両が衝突することになる障害物３２１が右後方のライトサイドカメラ１０４の撮影領域内に存在する場合には、障害物３２１を対象障害物として起動された注意画像表示処理によって、図３ｃに示すように俯瞰画像３１０、３１１上の、俯瞰画像３１０、３１１において障害物３２１が写り込んでいる位置近傍に、ライトサイドカメラ１０４によって障害物３２１と車両の一部を撮影した注意画像３３１が、自車を表す図形３１１のライトサイドカメラ１０４に対応する位置からの引き出し線３３２と共に表示されることになる。ここで、この場合、注意画像３３１は、ライトサイドカメラ１０４が撮影した画像を左右反転したものとなっているので、車両前方に向かって注意画像３３１を見るユーザにとっての左右と、注意画像３３１における左右は一致する。すなわち、注意画像３３１中において車両の一部の右側に障害物３２１が写っておれば、実際の車両のユーザにとっての右側に障害物が存在する。

また、同様に、たとえば、図４ａに示すように、走行ラインに沿って車両が進行すると車両が衝突することになる障害物３２１が左後方のレフトサイドカメラ１０３の撮影領域内に存在する場合には、障害物３２１を対象障害物として起動された注意画像表示処理によって、図４ｂに示すように俯瞰画像３１０、３１１上の、俯瞰画像３１０、３１１において障害物３２１が写り込んでいる位置近傍に、レフトサイドカメラ１０３によって障害物３２１と車両の一部を撮影した注意画像３３１が、自車を表す図形３１１のレフトサイドカメラ１０３に対応する位置からの引き出し線３３２と共に表示されることになる。ここで、この場合も、注意画像３３１は、レフトサイドカメラ１０３が撮影した画像を左右反転したものとなっているので、車両前方に向かって注意画像３３１を見るユーザにとっての左右と、注意画像３３１における左右は一致する。

また、図４ｃに示すように、走行ラインに沿って車両が進行すると車両が衝突することになる障害物３２１が後方のリアカメラ１０２の撮影領域内に存在する場合には、障害物３２１を対象障害物として起動された注意画像表示処理によって、図４ｄに示すように俯瞰画像３１０、３１１上の、俯瞰画像３１０、３１１において障害物３２１が写り込んでいる位置に、リアカメラ１０２によって障害物３２１と車両の一部を撮影した注意画像３３１が、自車を表す図形３１１のリアカメラ１０２に対応する位置からの引き出し線３３２と共に表示されることになる。ここで、この場合も、注意画像３３１は、リアカメラ１０２が撮影した画像を左右反転したものとなっているので、車両前方に向かって注意画像３３１を見るユーザにとっての左右と、注意画像３３１における左右は一致する。なお、表示対象画像が、リアカメラ１０２で撮影した画像である場合に、さらに、注意画像生成部１１０において表示対象画像の上下を反転して注意画像を生成した場合には、注意画像は図４ｅに示すようになり、この場合、注意画像の上方が、車両前方に向かって注意画像３３１を見るユーザにとっての前方に一致する。

以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、車両の周囲の撮影に複数のカメラを用いたが、これは、自動車の全周囲を撮影する単一のカメラを用いるようにしてもよい。また、車両の後方及び左右後方のみなど、自動車の周囲の一部のみを撮影するようにしてもよい。また、注意画像の生成に用いる画像を撮影するカメラを、俯瞰画像の生成に用いるカメラとは別に設けるようにしてもよい。
また、以上の実施形態では、車両の周囲を撮影するカメラとは別に、車両周囲の障害物を検出する障害物センサ１０６を設けたが、これは、別途障害物センサを設けずに、車両の周囲を撮影するカメラの撮影画像に対して適当な画像認識処理を行って車両周囲の障害物を検出するようにしてもよい。

以上のように、本実施形態によれば、通常は俯瞰画像を表示するが、障害物が検出されたときには、俯瞰画像に加え、自動車周辺の障害物の位置周辺を撮影した注意画像が表示されるので、ユーザは、俯瞰画像では把握し難い自車と周辺の障害物の関係をより厳密に把握することができるようになる。また、このような注意画像は障害物が検出されているときにのみ表示されるので、通常は、注意画像によって俯瞰画像の視認性を劣化させてしまうことがない。また、この注意画像は、俯瞰画像上の障害物の位置に対応する位置周辺に表示されるので、この注意画像が、自車のどちら側の部分を表しており、注意画像に映された障害物と自車がどのような位置関係にあるのかを、ユーザは直感的に容易に把握することができる。

本発明の実施形態に係る運転支援装置の構成を示すブロック図である。本発明の実施形態に係る運転支援システムが行う処理を示すフローチャートである。本発明の実施形態に係る運転支援システムの動作例を示す図である。本発明の実施形態に係る運転支援システムの動作例を示す図である。従来の運転支援の動作を示す図である。

符号の説明

１０１…フロントカメラ、１０２…リアカメラ、１０３…レフトサイドカメラ、１０４…ライトサイドカメラ、１０５…画像メモリ、１０６…障害物センサ、１０７…表示装置、１０８…俯瞰画像生成部、１０９…ガイドライン描画部、１１０…注意画像生成部、１１１…表示処理部、１１２…操作部、１１３…後進検出部、１１４…舵角センサ、１１５…制御部。

Claims

自動車に搭載される運転支援装置であって、
前記自動車周囲を撮影する周囲撮影カメラと、
前記自動車周囲の障害物及び当該障害物の位置を検出する障害物検出手段と、
表示装置と、
前記周囲撮影カメラが撮影した画像を変換して、前記自動車上方より自動車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像生成手段が生成した俯瞰画像を前記表示装置へ表示する表示制御手段と、
前記障害物検出手段が障害物を検出したときに、前記障害物検出手段が検出した障害物の位置周辺のようすを表す、前記俯瞰画像とは別個の画像である障害物周辺画像を生成する障害物周辺画像生成手段とを有し、
前記表示制御手段は、前記障害物検出手段が障害物を検出したときに、前記障害物周辺画像生成手段が生成した前記障害物周辺画像を、前記俯瞰画像上に重ねて、当該俯瞰画像中の、前記障害物検出手段が検出した障害物の位置に対応する位置周辺に配置して表示し、
前記周囲撮影カメラとして、前記自動車周囲の相互に異なる方向を撮影する複数のカメラを備え、
前記俯瞰画像生成手段は、前記複数のカメラが撮影した複数の画像を変換、合成して前記俯瞰画像を生成し、
前記障害物周辺画像生成手段は、前記障害物検出手段が検出した障害物の位置を撮影しているカメラが撮影した画像から、前記障害物の位置周辺が写り込んでいる領域の画像を抽出し、抽出した画像の歪みを修正することにより、前記障害物周辺画像を生成することを特徴とする運転支援装置。
請求項１記載の運転支援装置であって、
前記障害物周辺画像生成手段は、前記障害物検出手段が検出した障害物の位置が前記自動車の後方である場合には、前記障害物周辺画像を、前記抽出した画像部分とは上下及び左右が反転された画像として生成することを特徴とする運転支援装置。
自動車周囲を撮影する周囲撮影カメラと、表示装置と、前記自動車周囲の障害物及び当該障害物の位置を検出する障害物検出装置とを備えた、前記自動車に搭載される運転支援装置において、障害物回避のための運転を支援する運転支援方法であって、
前記周囲撮影カメラが撮影した画像を変換して、前記自動車上方より自動車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成ステップと、
前記俯瞰画像生成ステップで生成した俯瞰画像を前記表示装置へ表示する俯瞰画像表示ステップと、
前記障害物検出装置が障害物を検出したときに、前記障害物検出装置が検出した障害物の位置周辺のようすを表す、前記俯瞰画像とは別個の画像である障害物周辺画像を生成し、生成した前記障害物周辺画像を、前記俯瞰画像上に重ねて、当該俯瞰画像中の、前記障害物検出装置が検出した障害物の位置に対応する位置周辺に配置して表示する障害物周辺画像表示ステップとを備え、
前記運転支援装置は、前記周囲撮影カメラとして、前記自動車周囲の相互に異なる方向を撮影する複数のカメラを備えており、
前記俯瞰画像生成ステップにおいて、前記複数のカメラが撮影した複数の画像を変換、合成して前記俯瞰画像を生成し、
前記障害物周辺画像表示ステップにおいて、前記障害物検出装置が検出した障害物の位置を撮影しているカメラが撮影した画像から、前記障害物の位置周辺が写り込んでいる領域の画像を抽出し、抽出した画像の歪みを修正することにより、前記障害物周辺画像を生成することを特徴とする運転支援方法。