JP4650935B2

JP4650935B2 - 車両運転支援装置

Info

Publication number: JP4650935B2
Application number: JP2005182757A
Authority: JP
Inventors: 一冨大久保
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2005-06-23
Filing date: 2005-06-23
Publication date: 2011-03-16
Anticipated expiration: 2025-06-23
Also published as: JP2007006051A

Description

本発明は、車両周辺等を撮影して立体画像を表示する車両運転支援装置に関する。

従来から、複数の表示パネルを所定間隔で重ねて配置し、それぞれの表示パネルに表示する画像の輝度を調整することにより、立体画像を表示させる三次元表示方法が知られている（例えば、特許文献１参照。）。この三次元表示方法によって立体画像を表示することにより、立体めがねが不要になったり、装置構成を簡単にすることができる。
特許第３４７２５５２号公報（第５−１２頁、図１−１４）

ところで、上述した特許文献１に開示された三次元表示方法では、複数の表示パネルに輝度が異なる画像データを表示する必要があるため、複数種類の立体表示用の画像データを用意する必要があり、カメラで撮影した画像をそのまま立体表示することができないという問題があった。例えば、車両周辺の画像を撮影してその撮影内容を立体表示することができれば、障害物の有無やその遠近感を運転者に知らせることができて便利であると考えられるが、このような表示は現状では困難である。

本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラで撮影した画像を立体表示することができる車両運転支援装置を提供することにある。

上述した課題を解決するために、本発明の車両運転支援装置は、複数の表示部を用いて重ねて表示される画像の輝度を調整することにより立体画像を表示しており、撮影範囲に含まれる被写体を撮影するカメラと、被写体の三次元位置を検出する三次元位置検出手段と、カメラによって撮影された被写体の二次元画像データと、三次元位置検出手段によって検出された被写体の三次元位置とに基づいて、複数の表示部のそれぞれに表示する画像の立体画像データを生成する立体画像データ生成手段と、立体画像データ生成手段によって生成されたそれぞれの立体画像データに対応する画像を複数の表示部に表示する表示処理手段とを備えている。これにより、カメラによる被写体の撮影とともに被写体の三次元位置の検出を行うことにより、カメラで撮影した画像を用いて立体画像データを生成することが可能になり、カメラで撮影した被写体の画像を立体表示することができる。

また、上述したカメラによって撮影された被写体の二次元画像データを用いて、変更された視点位置から投影した投影画像データを生成する投影処理手段と、視点位置を基準として被写体の三次元位置を変換する三次元位置変換手段とをさらに備え、立体画像データ生成手段は、投影処理手段によって生成された投影画像データと、三次元位置変換手段の変換によって得られた被写体の三次元位置とに基づいて、複数の表示部のそれぞれに表示する画像の立体画像データを生成する。これにより、任意の視点位置に対応する立体画像を表示することが可能となる。

また、本発明の車両運転支援装置は、カメラによって撮影された自車両の路面を含む画像を立体表示し、投影処理手段は、上空に視点位置を配置して路面上に画像を投影することにより投影画像データを生成している。これにより、遠近感のあるトップビュー画像を表示することができ、車両周辺の状況把握が容易となる。

また、上述したカメラは、自車両の左右前後の少なくとも一の端面に設置されており、広角レンズを通してほぼ１８０度の視野角で撮影することが望ましい。これにより、カメラの撮影範囲を広くして車両周辺の表示対象を広げることができる。

以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示す車両運転支援装置１００は、カメラ１０、撮影画像格納部１２、路面投影処理部２０、投影画像格納部２２、三次元映像センサ３０、距離計測部３２、ＸＹＺ座標計算部３４、立体画像データ生成部５０、液晶ドライバ６０、６４、表示装置７０を含んで構成されている。

カメラ１０は、自車両の周囲を撮影して撮影範囲に含まれる被写体のサイドビュー画像（二次元画像）を生成する。図２は、カメラ１０の設置状態を示す図である。自車両である車両２００の前後左右の４箇所にカメラ１０（１０ａ、１０ｂ、１０ｃ、１０ｄ）が設置されている。車両２００の前部に設置されたカメラ１０ａは、車両２００の前方端部よりも前側全体を含むほぼ１８０度の視野角を有する広角レンズを通して、車両２００の前方周辺を撮影する。同様に、車両２００の後部に設置されたカメラ１０ｂは、車両２００の後方端部よりも後側全体を含むほぼ１８０度の視野角を有する広角レンズを通して、車両２００の後方周辺を撮影する。車両２００の右側面部に設置されたカメラ１０ｃは、車両２００の右側面部よりも右側全体を含むほぼ１８０度の視野角を有する広角レンズを通して、車両２００の右側周辺を撮影する。車両２００の左側面部に設置されたカメラ１０ｄは、車両２００の左側面部よりも左側全体を含むほぼ１８０度の視野角を有する広角レンズを通して、車両２００の左側周辺を撮影する。このように、車両２００の前後左右に４つのカメラ１０ａ〜１０ｄを設置することにより、車両２００の周囲３６０度の範囲の路面と路面上の物体を撮影することが可能になる。各カメラ１０ａ〜１０ｄによって撮影されたサイドビュー画像データは、撮影画像格納部１２に格納される。

路面投影処理部２０は、カメラ１０によって撮影されて撮影画像格納部１２に格納されたサイドビュー画像に基づいてトップビュー画像を生成する視点変換処理を行う。この視点変換処理は、カメラ１０の広角レンズ近傍にある視点位置に対応するサイドビュー画像を、路面の上空にある視点位置から投影した投影画像データとしてのトップビュー画像に変換する処理である。生成されたトップビュー画像データは、投影画像格納部２２に格納される。

三次元映像センサ３０は、発光部と受光部を備えており、発光部から出力される出力光が被測定物から反射されて戻ってきた反射光を受光部で検出する。例えば、カメラ１０と同じように、図２に示す車両２００の前後左右に４つの三次元映像センサ３０が設置されている。また、この被測定物としてはカメラ１０の撮影対象となる被写体の全部あるいは一部が含まれている。三次元映像センサ３０としては、例えば、カネスタ社製の商品名「ＥＱＵＩＮＯＸ」を用いることができる。距離計測部３２は、三次元映像センサ３０の受光部によって検出された反射光を分析することにより、自車両の周囲に存在する被測定物（被写体）としての周囲物体の各部（例えば各構成画素）までの距離と方向を計測する。ＸＹＺ座標計算部３４は、距離計測部３２によって距離と方向が計測された周囲物体の各部の三次元位置としてのＸＹＺ座標を計算する。例えば、路面と垂直な向き（高さ方向）にＺ座標値が計算され、路面と平行な向きにＸ座標値とＹ座標値とが計算される。

立体画像データ生成部５０は、路面投影処理部２０によって生成されて投影画像格納部２２に格納されたトップビュー画像データと、ＸＹＺ座標計算部３４によって計算された被写体各部のＸＹＺ座標とに基づいて、画像の立体表示に必要な立体画像データを生成する。本実施形態の表示装置７０は、所定間隔（例えば１ｃｍ間隔）で重ねて配置された２枚の液晶パネル７２、７４と、後側の液晶パネル７４の裏側に配置されたバックライト７６とを含んで構成されている。特許第３４７２５５２号公報に開示されているように、このように配置された２枚の液晶パネル７２、７４に同じ画像を表示させ、それぞれの輝度を調整することにより、この画像の遠近感を変化させることができる。本実施形態では、投影画像格納部２２に格納されたトップビュー画像データが表示対象となるため、遠近感の調整、すなわち２枚の液晶パネル７２、７４のそれぞれに表示される画像の輝度調整は、トップビュー画像を構成する各画素毎にそのＺ座標値に応じて行えばよい。このようにして、立体画像データ生成部５０によって、同じ内容を有し、Ｚ座標値に応じて輝度値が調整された２種類のトップビュー画像データが立体画像データとして生成され、液晶ドライバ６０、６４内のＶＲＡＭ６２、６６に格納される。一方の液晶ドライバ６０は、ＶＲＡＭ６２に格納された一方の立体画像データに対応する画像を前側に配置された液晶パネル７２に表示する処理を行う。なお、本実施形態では、液晶ドライバ６０、６４内にＶＲＡＭ６２、６６を備えているが、立体画像データ生成部５０内に備えるようにしてもよいし、液晶ドライバ６０、６４と立体画像データ生成部５０の間に備えるようにしてもよい。

上述した三次元映像センサ３０、距離計測部３２が三次元位置検出手段に、立体画像データ生成部５０が立体画像データ生成手段に、液晶ドライバ６０、６４が表示処理手段に、路面投影処理部２０が投影処理手段に、ＸＹＺ座標計算部３４が三次元位置変換手段に、２つの表示パネル７２、７４が複数の表示部にそれぞれ対応する。

本実施形態の車両運転支援装置１００はこのような構成を有しており、次にその動作を説明する。図３は、車両運転支援装置１００の動作手順を示す流れ図であり、車両周辺を撮影してトップビュー画像を立体表示する場合の動作手順が示されている。

車両運転支援装置１００の全体動作を制御する制御部（図示せず）によって、表示タイミングか否かが判定されており（ステップ１００）、表示タイミングになるまで否定判断が行われてこの判定が繰り返される。一方、表示タイミングになると肯定判断が行われる。例えば、変速器のレバーをＰ（パーキング）位置に入れたときが表示タイミングであり、ステップ１００において肯定判断が行われる。

次に、カメラ１０による車両２００の周辺の撮影が行われ（ステップ１０１）、得られたサイドビュー画像データが撮影画像格納部１２に格納される。路面投影処理部２０は、撮影画像格納部１２に格納されたサイドビュー画像を用いて路面投影処理（視点変換処理）を行ってトップビュー画像を生成する（ステップ１０２）。生成されたトップビュー画像データは投影画像格納部２２に格納される。

また、上述したトップビュー画像の生成動作と並行して、距離計測部３２は、三次元映像センサ３０の出力に基づいて自車両の周辺物体の各部までの距離と方向を計測する（ステップ１０３）。ＸＹＺ座標計算部３４は、距離計測部３２によって距離と方向が計測された周囲物体の各部の三次元位置としてのＸＹＺ座標を計算する（ステップ１０４）。

次に、立体画像データ生成部５０は、投影画像格納部２２に格納されたトップビュー画像データと、ＸＹＺ座標計算部３４によって計算されたＸＹＺ座標とに基づいて、立体表示に必要な立体画像データを生成する（ステップ１０５）。作成された立体画像データは、液晶ドライバ６０、６４のそれぞれに備わったＶＲＡＭ６２、６６に格納される。一方の液晶ドライバ６０は、ＶＲＡＭ６２に格納された立体画像データを読み出して所定の映像信号に変換してその内容を表示パネル７２に表示する。また、一方の液晶ドライバ６４は、ＶＲＡＭ６６に格納された立体画像データを読み出して所定の映像信号に変換してその内容を表示パネル７４に表示する。このようにして２つの液晶パネル７２、７４を用いることにより、カメラ１０によって撮影した画像に対応する立体表示が行われる（ステップ１０６）。その後、制御部によって表示終了か否かの判定が行われる（ステップ１０７）。終了していない場合には否定判断が行われ、ステップ１０１に戻って車両２００周辺の撮影動作以降が繰り返される。また、表示終了の場合には肯定判断が行われて、一連の動作を終了する。

図４は、表示の一例を示す図である。例えば、路面Ａよりも歩道Ｂが高くなっているときに、その段差部Ｃが次第に高くなる立体画像が表示される。なお。自車両は撮影範囲に含まれないため、図４に示す例では、あらかじめ用意されている車両画像が路面上に合成されている。

このように、本実施形態の車両運転支援装置１００では、カメラ１０による被写体の撮影とともに被写体の三次元位置の検出を行うことにより、カメラ１０で撮影した画像を用いて立体画像データを生成することが可能になり、カメラ１０で撮影した被写体の画像を立体表示することができる。特に、カメラ１０で自車両周辺を撮影した結果を立体表示することにより、車両周辺に存在する障害物の有無とともに各障害物に対する遠近感を運転者に知らせることが可能になる。

また、カメラ１０で撮影したサイドビュー画像をトップビュー画像に変換することにより、遠近感のあるトップビュー画像を立体表示することができ、車両周辺の状況把握が容易となる。

また、カメラ１０は、自車両の左右前後の少なくとも一の端面（図２に示す場合は左右前後の４箇所）に設置されており、広角レンズを通してほぼ１８０度の視野角で撮影しているため、カメラ１０の撮影範囲を広くして車両周囲の表示対象を拡大することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、サイドビュー画像をトップビュー画像に変換した後に立体画像データを生成したが、サイドビュー画像に用いて立体画像を生成するようにしてもよい。この場合には、ＸＹＺ座標計算部３４によるＸＹＺ座標値の計算の代わりに、カメラ１０の位置を視点位置として被写体各部までの距離（奥行き）を計算し、この距離の差に応じて輝度値を調整した立体画像データを生成すればよい。この場合に、カメラ１０の設置位置と三次元映像センサ１０の設置位置とが接近している場合には、距離計測部３２によって計測した距離が被写体各部までの距離を示しているため、ＸＹＺ座標計算部３４を省略して、距離計測部３２によって計測された距離を用いて立体画像データを生成するようにしてもよい。

また、上述した実施形態では、一例として変速器のレバーをＰ位置に入れたときにカメラ１０による撮影を行うようにしたが、車両２００の走行速度が所定値以下になったときや、運転者が所定のスイッチを操作したときなどに、ステップ１００の判定（表示タイミングか否かの判定）において肯定判断を行うようにしてもよい。

また、上述した実施形態では、三次元映像センサ３０を用いて自車両の周辺物体の高さを測定したが、高さを測定する手法については他の手法を用いるようにしてもよい。例えば、レーダーを用いたり、２台以上のカメラで撮影した画像の内容を分析して周囲物体の高さを測定するようにしてもよい。

また、上述した実施形態では、本発明の立体画像表示システムを車両運転支援装置に適用した場合について説明したが、車両周辺以外の被写体を撮影して立体表示を行うようにしてもよい。

一実施形態の車両運転支援装置の構成を示す図である。カメラの設置状態を示す図である。車両運転支援装置の動作手順を示す流れ図である。表示の一例を示す図である。

符号の説明

１０カメラ
１２撮影画像格納部
２０路面投影処理部
２２投影画像格納部
３０三次元映像センサ
３２距離計測部
３４ＸＹＺ座標計算部
５０立体画像データ生成部
６０、６４液晶ドライバ
６２、６６ＶＲＡＭ
７０表示装置
７２、７４液晶パネル
７６バックライト
１００車両運転支援装置

Claims

複数の表示部を用いて重ねて表示される画像の輝度を調整することにより立体画像を表示する車両運転支援装置であって、
撮影範囲に含まれる被写体を撮影するカメラと、
前記被写体の三次元位置を検出する三次元位置検出手段と、
前記カメラによって撮影された前記被写体の二次元画像データと、前記三次元位置検出手段によって検出された前記被写体の三次元位置とに基づいて、前記複数の表示部のそれぞれに表示する画像の立体画像データを生成する立体画像データ生成手段と、
前記立体画像データ生成手段によって生成されたそれぞれの前記立体画像データに対応する画像を前記複数の表示部に表示する表示処理手段と、
前記カメラによって撮影された前記被写体の二次元画像データを用いて、変更された視点位置から投影した投影画像データを生成する投影処理手段と、
前記視点位置を基準として前記被写体の三次元位置を変換する三次元位置変換手段と、を備え、
前記投影処理手段は、上空に前記視点位置を配置して路面上に画像を投影することにより前記投影画像データを生成し、
前記立体画像データ生成手段は、前記投影処理手段によって生成された前記投影画像データと、前記三次元位置変換手段の変換によって得られた前記被写体の三次元位置とに基づいて、前記複数の表示部のそれぞれに表示する画像の立体画像データを生成し、
前記カメラによって撮影された自車両の路面を含む画像を立体表示することを特徴とする車両運転支援装置。
請求項１において、
前記カメラは、前記自車両の左右前後の少なくとも一の端面に設置されており、広角レンズを通してほぼ１８０度の視野角で撮影することを特徴とする車両運転支援装置。