JP4679260B2 - 車両運転支援装置 - Google Patents

Description

本発明は、車両周辺を撮影して画面に表示することにより車両の運転を支援する車両運転支援装置に関する。

従来から、車載カメラを用いて車両周辺を撮影し、撮影した画像を表示装置に表示する画像処理装置が知られている（例えば、特許文献１参照。）。この装置では、複数のカメラで撮影された画像に対して路面投影処理を行うことにより、車両上空の仮想視点から見た合成画像が得られ、表示が行われる。運転者は、この表示を見ることにより、車両周辺の道路状況、例えば他の車両の存在やその位置を確認することができる。
特許第３３００３３４号公報（第５−１９頁、図１−５０）

ところで、上述した特許文献１に開示された画像処理装置では、車両のドアやトランク等の可動部分にカメラが設置されている場合には、これらのドア等が開いてカメラの向きが動いてしまうと撮影範囲が変わってしまうため正確な合成画像が得られず、周辺画像の表示が不自然になるという問題があった。例えば、駐車中に助手席側のドアを開けたときに、このドアに設置されたカメラの向きも同時に変わってしまうため、このカメラによって実際に撮影された画像がドアを開けない状態で撮影された画像として画像合成に用いられることになり、部分的に不連続な合成画像が得られることになる。

本発明は、このような点に鑑みて創作されたものであり、その目的は、車両周辺の撮影画像の表示が不自然になることを防止することができる車両運転支援装置を提供することにある。

上述した課題を解決するために、本発明の車両運転支援装置は、車両の可動部に取り付けられて車両周辺を撮影するカメラと、カメラによって撮影された画像を格納する撮影画像格納手段と、可動部の動作を検出する動作検出手段と、撮影画像格納手段に格納された車両周辺の画像を読み出して表示する表示手段と、動作検出手段によって可動部が動いたことが検出されたときに、可動部が動く前にカメラによって撮影された画像に基づく表示制御を行う表示画像制御手段とを備えている。このように、可動部が動いたときに動く前に撮影された画像を用いて車両周辺の撮影画像を表示することができるため、可動部に設置されたカメラの撮影範囲が当初想定している範囲からずれてしまうことによって表示が不自然になることを防止することができる。

また、上述した可動部は、車両のドアミラーあるいはドアであって、表示画像制御手段は、動作検出手段によって可動部が動いたことが検出されたときに、撮影画像格納手段による格納画像の更新を停止する。これにより、可動部が動く前に撮影されて格納された画像データの維持が容易となる。また、可動部が動く前に撮影された画像データ用に特別に格納領域を確保する必要がなくなるため、必要な格納容量を少なくすることができる。

また、上述した可動部が動く前にカメラによって撮影された画像に基づく表示が表示画像制御手段の表示制御によって行われていることが認識可能な表示態様で、表示手段による車両周辺の画像の表示が行われることが望ましい。これにより、可動部が動く前の古い撮影画像を用いていることを利用者に知らせることができる。この表示を見た利用者は、車両周辺の状況に変化が生じている可能性があることを知ることができるため、可動部の操作を注意して行うことができる。

また、上述した表示手段は、動作検出手段によって可動部が動いたことが検出されたときに、撮影画像格納手段に格納された車両周辺の画像に、可動部が動いた状態を示す画像を重ねて表示することが望ましい。これにより、可動部が動く前の古い撮影画像を用いた場合であっても、可動部の開閉状態を利用者に知らせることができる。利用者は、この表示を見ながら可動部を操作することが可能になる。

また、上述したカメラによって撮影された画像に基づいて路面投影を行って路面に投影した投影画像を生成する路面投影処理手段をさらに備え、表示手段は、路面投影処理手段によって生成された投影画像を用いて車両周辺の画像の表示を行うことが望ましい。これにより、車両周辺の状況を正確に把握することが可能になる。

また、車両の複数箇所に複数台のカメラが取り付けられており、路面投影処理手段は、複数台のカメラのそれぞれによって撮影された画像に対応する投影画像を合成して合成画像を生成し、表示手段は、路面投影処理手段によって生成された合成画像に基づいて車両周辺の画像の表示を行うことが望ましい。これにより、車両周辺の全範囲について状況を正確に把握することが可能になる。

以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示す車両運転支援装置１００は、カメラ１０ａ〜１０ｄ、撮影画像格納部１２、路面投影処理部２０、投影画像格納部２２、表示処理部３０、表示装置３２、開閉センサ４０ａ〜４０ｃ、４２ａ、４２ｂ、動作状態判定部４４、表示画像制御部５０を含んで構成されている。

カメラ１０ａ〜１０ｄは、自車両の周囲を撮影してサイドビュー画像を生成する。図２は、４台のカメラ１０ａ〜１０ｄの設置位置を示す図である。自車両である車両２００の右側のドアミラーにカメラ１０ａが設置されている。また、左側のドアミラーにカメラ１０ｂが設置されている。これら２つのカメラ１０ａ、１０ｂが設置された左右のドアミラーは格納式であって、駐車時等においてミラー面がドアとほぼ平行な向きになるように倒すことができる。また、後部のトランクドアにカメラ１０ｃが設置されている。前部のバンパー近傍にカメラ１０ｄが設置されている。これらのカメラ１０ａ〜１０ｄのそれぞれは、１８０度の視野角を有する広角レンズを通して車両２００の周辺を撮影する。これらのカメラ１０ａ〜１０ｄによって、車両２００に対して地面を含む水平方向のサイドビュー画像が得られる。カメラ１０ａ〜１０ｄから出力されるサイドビュー画像データは、撮影画像格納部１２に格納される。

路面投影処理部２０は、撮影画像格納部１２に格納されたサイドビュー画像に基づいてトップビュー画像を生成する視点変換処理を行う。この視点変換処理は、カメラ１０ａ〜１０ｄの広角レンズ近傍にある視点位置に対応するサイドビュー画像を、路面の上空にある視点位置に対応するトップビュー画像に変換する処理（路面投影処理）である。４台のカメラ１０ａ〜１０ｄによって撮影されたサイドビュー画像のそれぞれに対応するトップビュー画像が生成される。また、路面投影処理部２０は、４台のカメラ１０ａ〜１０ｄのそれぞれに対応して生成された４つのトップビュー画像を合成して、車両周辺の視野角３６０度に対応するトップビュー画像としての合成画像を生成する。図２では、車両周辺でハッチングが付された４つの領域が、合成画像の中でカメラ１０ａ〜１０ｄのそれぞれによって撮影された画像に対応する部分が示されている。また、本実施形態では、トップビュー画像上に部分的に特定の着色を追加する処理や、開状態のドア画像をトップビュー画像に追加する処理が行われる（詳細については後述する）。このようにして生成された画像合成後のトップビュー画像データが投影画像格納部２２に格納される。

表示処理部３０は、投影画像格納部２２に格納されたトップビュー画像データを読み出して、所定形式の映像信号（例えばＮＴＳＣ方式の映像信号）に変換する。この映像信号は表示装置３２に向けて出力され、その画面上にトップビュー画像が表示される。表示装置３２は、例えば液晶表示装置（ＬＣＤ）を用いて構成されており、運転者が容易に目視可能な車室内位置に設置されている。

開閉センサ４０ａは、カメラ１０ａが設置された右側のドアミラーが備わった右側ドアの開閉状態を検出し、開閉の有無と右側ドアの開閉角度を示す信号を出力する。開閉センサ４０ｂは、カメラ１０ｂが設置された左側のドアミラーが備わった左側ドアの開閉状態を検出し、開閉の有無と左側ドアの開閉角度を示す信号を出力する。開閉センサ４０ｃは、カメラ１０ｃが設置されたトランクドアの開閉状態を検出し、開閉の有無を示す信号を出力する。開閉センサ４２ａは、カメラ１０ａが設置された右側のドアミラーの開閉状態（格納状態）を検出し、格納の有無を示す信号を出力する。開閉センサ４２ｂは、カメラ１０ｂが設置された左側ドアミラーの開閉状態（格納状態）を検出し、格納の有無を示す信号を出力する。本明細書では、左右ドア、トランクドア、左右ドアミラーを総称して「可動部」と称する。

動作状態判定部４４は、開閉センサ４０ａ〜４０ｃから出力される信号に基づいて左右ドアおよびトランクドアの開閉状態を判定するとともに、開閉センサ４２ａ、４２ｂから出力される信号に基づいて左右のドアミラーの格納状態を判定する。判定結果は表示画像制御部５０に送られる。表示画像制御部５０に送られる情報にはドアの開閉角度も含まれる。表示画像制御部５０は、左右のドアやトランクドアが閉状態から開状態に変化したときに、あるいは左右のドアミラーが非格納状態から格納状態に変化したときに、変化前の状態に対応して行われた表示内容を維持するように表示制御を行う。この表示制御の具体例については後述する。

上述した撮影画像格納部１２が撮影画像格納手段に、開閉センサ４０ａ〜４０ｃ、４２ａ、４２ｂ、動作状態判定部４４が動作検出手段に、表示処理部３０、表示装置３２が表示手段に、表示画像制御部５０が表示画像制御手段に、路面投影処理部２０、投影画像格納部２２が路面投影処理手段にそれぞれ対応する。

本実施形態の車両運転支援装置１００はこのような構成を有しており、次にその動作を説明する。図３は、車両運転支援装置１００の動作手順を示す流れ図であり、可動部の開閉状態に応じた表示を行う動作手順が示されている。

カメラ１０ａ〜１０ｄによって所定間隔で車両２００の周辺が撮影される（ステップ１００）。この撮影動作と並行して、動作状態判定部４４は、開閉センサ４０ａ〜４０ｃ、４２ａ、４２ｂのそれぞれに対応する左右ドアおよびトランクドアのいずれかが開状態か否かを判定する（ステップ１０１）。全てのドアが閉じられている場合には否定判断が行われ、次に、動作状態判定部４４は、開閉センサ４２ａ、４２ｂのそれぞれに対応する左右のドアミラーのいずれかが格納状態か否かを判定する（ステップ１０２）。なお、この格納状態には格納途中の状態も含まれているものとする。両方のドアミラーが格納状態でない場合には否定判断が行われる。ステップ１０１、１０２の両方において否定判断が行われるということは、左右ドア、トランクドアが閉じており、左右のドアミラーが格納されていない場合であり、カメラ１０ａ〜１０ｃによって正常に車両周辺が撮影される。この場合には、カメラ１０ａ〜１０ｄから出力される最新のサイドビュー画像データを用いて、撮影画像格納部１２に格納されている４台のカメラ１０ａ〜１０ｄに対応する全ての画像データの内容が更新される（ステップ１０３）。

次に、路面投影処理部２０は、撮影画像格納部１２に格納された４台のカメラ１０ａ〜１０ｄのそれぞれに対応するサイドビュー画像データを読み出し（ステップ１０４）、路面投影処理を行ってトップビュー画像データを生成する（ステップ１０５）。また、路面投影処理部２０は、これらのトップビュー画像データを用いて画像合成を行う（ステップ１０６）。生成された合成画像データは投影画像格納部２２に格納される。表示処理部３０は、投影画像格納部２２に格納された合成画像データを読み出してその内容を表示装置３２に表示する（ステップ１０７）。その後、ステップ１００に戻って、４台のカメラ１０ａ〜１０ｄによる撮影動作が繰り返される。

また、ステップ１０１あるいはステップ１０２の判定において肯定判断が行われると、すなわち、いずれかのドアが開状態になったり、左右どちらかのドアミラーが格納状態になると、次に、表示画像制御部５０は、これらの開状態あるいは格納状態に対応するカメラ（図３では、「該当するカメラ」としている）に対応した撮影画像格納部１２の格納画像データの更新を停止し、それ以外のカメラの格納画像データの内容更新を行う（ステップ１０８）。例えば、右側ドアが開状態になったり、右側のドアミラーが格納状態になると、右側のドアミラーに装着されたカメラ１０ａに対応する画像データのみが更新停止となり、それ以外の３台のカメラ１０ａ〜１０ｃのそれぞれに対応する画像データの内容が更新される。

次に、路面投影処理部２０は、撮影画像格納部１２に格納された４台のカメラ１０ａ〜１０ｄのそれぞれに対応するサイドビュー画像データを読み出し（ステップ１０９）、路面投影処理を行ってトップビュー画像データを生成する（ステップ１１０）。このとき、更新が停止されたサイドビュー画像データに対応する領域には特定の着色（例えば黄色）が付される。なお、更新が停止された撮影内容に基づいていることが認識可能な表示態様であればよいため、着色に代えて網掛け処理等を行うようにしてもよい。また、路面投影処理部２０は、これらのトップビュー画像データを用いて画像合成を行う（ステップ１１１）。なお、この合成画像においては可動部が動いた状態を示す画像が重ねて表示される。例えば、左右のドアが開状態になった場合には、この開閉角度に応じたドア画像が追加される。このようにして生成された合成画像データは投影画像格納部２２に格納される。表示処理部３０は、投影画像格納部２２に格納された合成画像データを読み出してその内容を表示装置３２に表示する（ステップ１０７）。その後、ステップ１００に戻って、４台のカメラ１０ａ〜１０ｄによる撮影動作が繰り返される。

図４は、ドアが開いた状態にあるときの表示例を示す図である。なお、４台のカメラ１０ａ〜１０ｄでは車両２００自体の車体は撮影できないため、図４に示す表示では、あらかじめ用意されている車両画像が表示用に用いられている。

車両２００の右側のドアが開けられると、開ける前に撮影した車両周辺のサイドビュー画像に基づいて生成されたトップビュー画像を用いて画像合成が行われる。このとき、右側のドアに設置されたカメラ１０ａに対応する領域Ｓの画像は最新のものではなくドアが開けられる前のものであるため、そのことを示すために領域Ｓが例えば黄色に着色される（図４ではこの着色をハッチングを付して示している）。また、開状態になった右側のドアの開閉状態を示すドア画像２１０が追加されている。

このように、本実施形態の車両運転支援装置では、カメラ１０ａ〜１０ｃが設置された左右ドア、トランクドア、左右ドアミラーが動いたときに動く前に撮影された画像を用いて車両周辺の撮影画像を表示することができるため、これらの可動部に設置されたカメラ１０ａ〜１０ｃの撮影範囲が当初想定している範囲からずれてしまうことによって表示が不自然になることを防止することができる。

特に、可動部が動いたことが検出されたときに、撮影画像格納部１２による格納画像の更新を停止することにより、可動部が動く前に撮影されて格納された画像データの維持が容易となる。また、可動部が動く前に撮影された画像データ用に特別に格納領域を確保する必要がなくなるため、必要な格納容量を少なくすることができる。

また、可動部が動く前にカメラ１０ａ〜１０ｃによって撮影された画像に基づく表示が表示画像制御部５０の表示制御によって行われていることが認識可能な表示態様（例えば着色）で車両周辺の画像の表示が行われるため、可動部が動く前の古い撮影画像を用いていることを利用者に知らせることができる。この表示を見た利用者は、車両周辺の状況に変化が生じている可能性があることを知ることができるため、可動部（特に左右のドア）の操作を注意して行うことができる。

また、可動部が動いたことが検出されたときに、撮影画像格納部５０に格納された車両周辺の画像を用いて生成された合成画像に、可動部が動いた状態を示す画像を重ねて表示しているため、可動部が動く前の古い撮影画像を用いた場合であっても、可動部の開閉状態を利用者に知らせることができる。利用者は、この表示を見ながら可動部（特に左右のドア）を操作することが可能になる。

また、路面投影処理部２０によって生成された投影画像（トップビュー画像）を用いて車両周辺の画像の表示を行うことにより、車両周辺の状況を正確に把握することが可能になる。また、車両に設置された４台のカメラ１０ａ〜１０ｄを用いて車両周辺を撮影して合成画像を生成することにより、車両周辺の全範囲について状況を正確に把握することが可能になる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、サイドビュー画像からトップビュー画像を生成したが、撮影したトップビュー画像の内容をそのまま表示する場合にも本発明を適用することができる。また、上述した実施形態では、左右のドアミラーにカメラ１０ａ、１０ｂを設置したため、これらのドアミラーの格納状態を検出するようにしたが、左右のドアに直接カメラ１０ａ、１０ｂを設置してもよく、この場合には開閉センサ４２ａ、４２ｂを省略することができる。

一実施形態の車両運転支援装置の構成を示す図である。 ４台のカメラの設置位置を示す図である。 車両運転支援装置の動作手順を示す流れ図である。 ドアが開いた状態にあるときの表示例を示す図である。

符号の説明

１０ カメラ
１２ 撮影画像格納部
２０ 路面投影処理部
２２ 投影画像格納部
３０ 表示処理部
３２ 表示装置
４０、４２ 開閉センサ
４４ 動作状態判定部
５０ 表示画像制御部
１００ 車両運転支援装置

Claims (5)

1. 車両の可動部に取り付けられて車両周辺を撮影するカメラと、
   前記カメラによって撮影された画像を格納する撮影画像格納手段と、
   前記可動部の動作を検出する動作検出手段と、
   前記撮影画像格納手段に格納された車両周辺の画像を読み出して表示する表示手段と、
   前記動作検出手段によって前記可動部が動いたことが検出されたときに、前記可動部が動く前に前記カメラによって撮影された画像に基づく表示制御を行う表示画像制御手段と、
   を備え、前記可動部は、車両のドアミラーあるいはドアであって、前記表示画像制御手段は、前記動作検出手段によって前記可動部が動いたことが検出されたときに、前記撮影画像格納手段による格納画像の更新を停止することを特徴とする車両運転支援装置。
2. 請求項１において、
   前記可動部が動く前に前記カメラによって撮影された画像に基づく表示が前記表示画像制御手段の表示制御によって行われていることが認識可能な表示態様で、前記表示手段による車両周辺の画像の表示が行われることを特徴とする車両運転支援装置。
3. 請求項１または２において、
   前記表示手段は、前記動作検出手段によって前記可動部が動いたことが検出されたときに、前記撮影画像格納手段に格納された車両周辺の画像に、前記可動部が動いた状態を示す画像を重ねて表示することを特徴とする車両運転支援装置。
4. 請求項１〜３のいずれかにおいて、
   前記カメラによって撮影された画像に基づいて路面投影を行って路面に投影した投影画像を生成する路面投影処理手段をさらに備え、
   前記表示手段は、前記路面投影処理手段によって生成された前記投影画像を用いて車両周辺の画像の表示を行うことを特徴とする車両運転支援装置。
5. 請求項４において、
   車両の複数箇所に複数台の前記カメラが取り付けられており、
   前記路面投影処理手段は、複数台の前記カメラのそれぞれによって撮影された画像に対応する前記投影画像を合成して合成画像を生成し、
   前記表示手段は、前記路面投影処理手段によって生成された前記合成画像に基づいて車両周辺の画像の表示を行うことを特徴とする車両運転支援装置。

Images