JP4379148B2 - 後方確認装置 - Google Patents

Description

この発明は、車両のサイドミラーとして使用される画面に画像を表示する後方確認装置に関するものである。

従来、自動車のサイドミラーは、車両の後方を確認し、或は左右後方を確認するために使用される。そして、ミラーに映し出されている後方車両と自車との位置関係の把握を容易とするために、サイドミラーは、鏡面に自車の車体が一部に映るように角度設定することが一般的である。

一方、車両には、運転者が車両周囲の状況を確認するために、左右のサイドミラー、車内に設けられたバックミラーなどか備えられているが、これらの確認手段のみでは、車体の陰による死角が発生する。このような死角を認識し、車両周囲の状況をより確実に確認できるように、カメラで映した外部画像を車内のモニターに表示する技術も提案されている。
特開２００３−２０５７８３。

従来のサイドミラーとバックミラーのみで後方確認する場合には、自車の車体の陰となり、これらのミラーを介して確認できない死角が発生する。例えば、車両の真後ろに位置する車両はサイドミラーでは確認できない。また、左右斜め後方に位置する車両は、バックミラーでは認識することは難しい。

また、カメラを用いて車両の外部の映像を車内モニターに映し出すものでは、視認したい方向と、モニターで確認する視線の方向が異なるため、画像に映し出された状態を感覚的に把握しにくいといった欠点がある。また、サイドミラーやバックミラーに加えて、モニターにも視線を移動させる必要が生じ、運転者の負担がかえって増す恐れがある。

一方、上記特許文献１に記載の発明は、サイドミラーやバックミラーの一部に画像表示装置が組み込まれた構成が示され、左右一方のサイドミラーを視認することによって、左右のサイドミラーの像が確認できるものである。この発明では、鏡面は、サイドミラーの半分を構成し、残りの半分が画像表示部となっており、一方のサイド（左側又は右側）の状況を表す領域は、通常の領域の半分である。このように表示領域が半減するため、サイドミラーを介しての状況の認識が十分にできないという問題がある。

この発明の目的は、サイドミラーに映る有用でない部分を有効に使用するとともに、サイドミラーを確認することで車両後方の情報が取得できる後方確認装置を提供することにある。

以上のような問題を解決する本発明は、以下のような構成を有する。

（１）車両の側部に取り付けられ、後方視界を確保するためのミラーと、
該ミラーの鏡面において車体が映る領域を、運転者視点に基づいて特定する車体特定手段と、
車両後方の画像を撮像する撮像手段と、
前記特定された車体の部位に、撮像された画像を運転者の視点に基づき視点変換して嵌め合わせて表示する表示手段とを備え、
前記ミラーはハーフミラーで構成され、
前記表示手段は前記ハーフミラーの背面に設置される表示素子を含むことを特徴とする後方確認装置。

（２）車両の側部に取り付けられ、後方視界を確保するためのミラーと、
前記ミラーの取り付け角度を検出する角度センサと、
運転者視点位置を推測する推測手段と、
前記角度センサが検出した前記ミラーの取り付け角度と、前記推測手段によって推測された運転者視点位置に基づいて、前記ミラーの鏡面において車体が映る領域を特定する車体特定手段と、
車両後方の画像を撮像する撮像手段と、
前記車体特定手段によって特定された車体の部位に、前記撮像手段によって撮像された画像を運転者の視点に基づき視点変換して嵌め合わせて表示する表示手段とを備えることを特徴とする後方確認装置。

（３）前記ミラーはハーフミラーで構成され、
前記表示手段は前記ミラーの背面に設置される表示素子を含むことを特徴とする請求項２に記載の後方確認装置。

請求項１に記載の本発明によれば、ミラーに映る車体部位の画像を、撮像手段で映した後方画像で置き換えるため、通常のサイドミラーを視認する動作で、車体部位で隠される後方の状況が把握できる。

さらに、ミラーはハーフミラーであり、表示素子が背面に設けられているため、表示素子に表示された内容が透過画像としてミラーの表面に現れる。このため、表示素子に映された像と、ミラーに表面に映されている後方の状況を表す像とを容易に合成することこができる。また、車体死角部分のみを画像で補完することにより、見えない部分を仮想的に表現し、現実に見えている状況を仮想的にすることなく、運転者に伝えることが可能となる。さらに、サイドミラーに直接映し出すことにより、方向的な位置関係も直感的に把握することができる。

請求項２に記載の本発明によれば、ミラーに映る車体部位の画像を、撮像手段で映した後方画像で置き換えるため、通常のサイドミラーを視認する動作で、車体部位で隠される後方の状況が把握できる。そして、ミラーの角度や視点位置を考慮して、車体の部位が映る領域が特定されるので、運転者の体格や癖など応じて、より正確に車体部位が映る領域を特定することができる。
請求項３に記載の本発明によれば、ミラーはハーフミラーであり、表示素子が背面に設けられているため、表示素子に表示された内容が透過画像としてミラーの表面に現れる。このため、表示素子に映された像と、ミラーに表面に映されている後方の状況を表す像とを容易に合成することこができる。また、車体死角部分のみを画像で補完することにより、見えない部分を仮想的に表現し、現実に見えている状況を仮想的にすることなく、運転者に伝えることが可能となる。さらに、サイドミラーに直接映し出すことにより、方向的な位置関係も直感的に把握することができる。

以下本発明の好適実施形態について、添付図面に基づいて詳説する。図１は、本発明の後方確認装置１の構成を示すブロック図である。本発明の後方確認装置１は、撮像手段としての左右後方確認用のカメラ７４と、カメラ７４で取得した画像を画像処理するための処理装置３と、処理装置３で処理された画像を表示する表示装置４と、表示装置４の角度を検出するミラー角度センサ２２１と、ナビゲーション装置６とを備えている。

図２は、本発明の後方確認装置１が搭載されている車両７と、後方車両Ｂとの位置関係を示す俯瞰図である。車両７には、左右サイドミラー装置２Ｒ、２Ｌが設けられている。そして、各サイドミラー装置２Ｒ、２Ｌの鏡面に映し出される像の範囲は、車両７の後方であって、それぞれ右後方の特定の範囲７２Ｒと、左後方の特定の範囲７２Ｌであり、この範囲には、自車両７自体の像も含まれる。

また、車両後端部の左右端には、それぞれ撮像手段であるカメラ７４Ｒ、７４Ｌが、車両の後方へ向けて配置され、上記サイドミラー装置２Ｒ、２Ｌで映し出される範囲７２Ｒ、７２Ｌに重なる領域７４１Ｒ、７４１Ｌの画像を取得する。特に、サイドミラー装置の鏡面では、自車の影となって死角となる領域（図２中において、ハッチングされた領域）を画像で取得できる領域となるように設定されている。

即ち、カメラ７４Ｒ、７４Ｌの設置場所は、サイドミラーの鏡面に映し出される範囲７２Ｒ、７２Ｌの内側であることが好ましい。具体的な、自車７における位置としては、最も左右の端に近い位置であることが望ましい。サイドミラー装置の鏡面の軸線に近づけることにより、鏡面の位置から撮影した場合の映像に近づけることができるからである。

図３は、右サイドミラー装置２Ｒの構造を模式的に示す断面平面図である。右サイドミラー装置２Ｒは、遮光性を有する材料で構成された筐体２１と、筐体２１内において支持されている支持部材２２と、支持部材２２内に支持されたハーフミラー５と、画像表示手段としての表示装置４とを有している。ハーフミラー５は、例えば、ガラス板に反射膜をコーティングして構成され、光の反射率と透過率が所望の値（例えば、反射率が５０〜８０％、透過率が５０〜２０％）となるように鏡面５１が構成されており、背面（鏡面の反対側の面）５２側の照度を上げることによって、鏡面５１側ヘ背面５２側からの光を透過させ、背面５２側の状況が視認できる構成であり、背面５２側の照度が、鏡面５１側より小さい場合には、通常の鏡として機能する。ハーフミラー５と表示装置４の位置関係は、表示装置４の表示面４０の前に、ハーフミラー５の背面５２が対向するように、重ねて配置され、さらに表示装置４とハーフミラー５は、共に支持部材２２内に一体として保持されている。この実施形態では、表示装置４の表示面４０と、ハーフミラー５の鏡面５１とが略同じ面積／形状を有している。

支持部材２２は、直交する２つの軸を中心に回動可能に支持されている。この実施形態では、鉛直軸及び水平軸を中心に回動可能に支持されている。そして、支持部材２２と筐体２１との間には、支持部材２２の、鉛直軸を中心とした回動角度を検出する角度センサと、水平軸を中心とした回動角度を検出する角度センサの２つが設けられている。これらのセンサによって、ハーフミラー５の左右方向の傾き角と、仰角と俯角（上下方向の傾き角）が検出される。

また、表示装置４は、ディスプレイ４１とバックライト４２とを備えている。ディスプレイ４１は、例えば、表示素子として液晶画面を有し、その背面側にバックライト４１が設けられている。バックライト４２を点けることにより、液晶画面が明るくなり、それに伴いハーフミラー５の背面側も明るくなる。これにより、液晶画面に表示されている画像が、ハーフミラー５を透けて、鏡面側から視認できる。また、バックライトを消すことによって、ハーフミラー５の背面側が暗くなり、通常のサイドミラーとして、ハーフミラー５を使用することができる。表示素子としては、液晶画面の他、ＥＬ（エレクトロルミネッセンス）素子を用いることもできる。この場合には、素子自体が発効するため、バックライトが不要となるといった利点がある。

図４は、表示装置４の表示面４０を示す表示画面の正面図である。表示面４０は、画像が表示される画像表示領域４０１と、何も表示されない領域４０２とを有している。画像表示領域４０１は、車両側の端部付近と、上部に設けられている。

画像表示領域４０１は、運転者がサイドミラーの鏡面を見た時に、自車の像が写る領域に対応するように設定される。従って、支持部２２の左右方向の角度が、自車寄りに向けられた場合には、自車の像が写る領域が広くなることから、それに応じて、画像表示領域４０１の幅Ｗも広く設定される。さらに、表示面４０の上部に位置する画像表示領域４０３では、その高さＨが、支持部２２の上下方向の角度に応じて変更される。支持部２２が上方を向いている場合には高さＨは大きく採られる。

画像表示領域４０１、４０３以外の何も表示されない領域４０２は、黒色が無模様で表示される。この領域４０２を黒色とすることによって、バックライトで照らされている状態にもかかわらず、領域４０２の部分には、鏡面５１の反射で作られる像を視認することができる。なお、左サイドミラー２Ｌは、右サイドミラー２Ｒと対称であって、配置位置は左右対称であるが、その他の構成は、右サイドミラー２Ｒと同様なので、説明を省略する。

カメラ７４Ｒ、７４Ｌに用いられるレンズは、特に魚眼レンズを用いてもよい。また、魚眼レンズを用いた場合には、自車７の後端部中央部に魚眼レンズ２０を設け、この魚眼レンズカメラ７３によって取得された画像を、左右のサイドミラーの画像として用いる構成とすることもできる。
また、自車７の車内において、運転席には、運転席の前後方向の位置と、背もたれのリクライニング角度をそれぞれ検出する座席センサ７５が設けられている。

処理装置３は、画像処理等を行う中央処理装置（ＣＰＵ）３１と、画像メモリ３２と、記憶装置３３と、ＤＡ変換装置３４と、画像出力装置３５とを備えており、これらの装置は、システムバス３６で相互につなげられている。

中央処理装置３１では、運転者の視点位置を推測する処理、サイドミラーの角度と視点位置から、鏡面に映し出される自車両の像の範囲を算出する処理、カメラ７４Ｒ、７４Ｌで取得した画像から、自車両の像の範囲に対応する死角となる領域を抽出する処理、表示画面の特定の位置に文字や記号などにより構成される情報を表示する処理などを行う。

画像メモリ３２には、カメラ７４Ｒ、７４Ｌで取得された画像が格納される。記憶装置３３は、ＲＡＭやＲＯＭを備え、ＲＡＭは、中央処理装置３１のワーキングメモリとして機能し、ＲＯＭには、中央処理装置３１にロードされる各種処理プログラムや、車両の輪郭を画像表示するための車両輪郭情報（車体の形状、サイドミラーから車体後端部までの距離、車高、カメラの画角、運転席の中心を通る前後方向の軸線とサイドミラーとの距離など、視点位置を推測するために必要な諸値）が格納されている。ＤＡ変換装置３４は、バックライトに供給される電圧を制御し、バックライトの明暗（明るさ）を調節する。画像出力装置３５は、表示装置４の各ディスプレイに、画像処理された画像データを供給する。上記ＲＯＭにより車体部位の輪郭を記憶する輪郭記憶手段が構成される。

カメラ７４Ｒ、７４Ｌで取得された画像は、カメラインターフェース７４２を介してアナログデジタル変換装置７４３に供給され、デジタル信号に変換された画像データは、画像メモリ３２に格納される。座席センサ７５で検出された運転席に関する位置データは、座席センサインターフェース７５１を介して中央処理装置３１に供給される。また、ナビゲーション装置６からは、自車７の位置や、その周囲に関する視覚情報がナビインターフェース６１を介して中央処理装置３１に供給される。さらに、左右のサイドミラー装置２Ｒ、２Ｌに設けられたミラー角度センサ２２１Ｒ、２２１Ｌからの検出値が角度センサインターフェース２２２を介して中央処理装置３１に供給される。また、シフトレバーの位置に関する信号や、ターンシグナル（方向指示器）、車速などに関する信号が、車両本体側から供給され、車両信号インターフェース３７を介して中央処理装置３１に供給される。

以上のように構成された本発明の後方確認装置１における中央処理装置３１の動作について図５に示されているフローチャートに基づき説明する。
ミラー角度センサ２２１Ｒ、２２１Ｌより、左右のサイドミラー装置2Ｒ、２Ｌに設けられたハーフミラー５の設置角度を取得する（ステップＳ１０１）。この角度は、ハーフミラー５の鏡面の軸線（鏡面に垂直な線）の方向を特定する角度であり、垂直な平面内で直交する２直線に対して前記軸線が成す角度である。具体的には、車両の進行方向に直交する垂直面内に含まれる水平線と鉛直線に対して、前記軸線がそれぞれ成す角度θ、γ（図示しない）として取得される。

次に、座席センサ７５により供給された座席位置に基づいて、運転者の視点位置を推定する（ステップＳ１０３）。視点位置は、車両の軸線（車両の直進方向に平行であって、車両の中心を通る線）に平行で、かつ座席の中心を通る直線上に位置するものと推定し、該直線上における前後方向の位置を特定することで、特定される。座席センサ７５からは、前後方向の位置決めがされる座席の位置と、座席の背もたれの角度αの２つのデータが供給される。背もたれの高さをｈとすると、ｈ・ｃｏｓαにより、座席の中心位置から頭部までの距離が演算される。また、視点の高さは、ｈ・ｓｉｎαにより得られる。また、運転者の身長又は座高などを予め入力しておけば、さらに正確な値を得ることができる。
視点位置は、例えば、サイドミラー装置２Ｒ、２Ｌの鏡面中央を基準（原点）とする座標で表される。このステップＳ１０３によって、運転者視点位置を推測する推測手段が構成される。

次に車両形状データを、記憶装置３３のＲＯＭから取得する（ステップＳ１０５）。車両形状データは、車両の全長、車両の外形における角辺や材料の異なる部分の境界線（例えば、ウインドの輪郭、ヘッドライトやテールライトの輪郭、タイヤの輪郭など）を線で表した立体画像（以下、「ワイヤーフレーム画像」という）などを含んでいる。

ステップＳ１０１で得られたミラー角度と、ステップＳ１０３で得られた視点位置から、表示装置４に表示する画像の領域を決定する（ステップＳ１０７）。即ち、ミラー角度と視点位置から、実際にその視点位置からサイドミラーを見た場合に、サイドミラーに映る車両部分の像を推測する。図２で示されている領域７２Ｒ、７２Ｌを決定する。次に、車両形状データに基づき、サイドミラーに映し出される像の中で、自車が映る領域を算出する。図２において、ハッチングで示されている領域である。

この領域は、実際にサイドミラーの鏡面に像が映し出されたときに、鏡面内において、自車が映し出される領域を意味する。上記ステップＳ１０１〜Ｓ１０７により車体特定手段が構成される。

次ぎに画像処理（ステップＳ１０９）を行う。図６は画像処理ルーチンを示すフローチャートである。ステップＳ１０１で取得したミラー角度、ステップＳ２０３で演算した視点位置、及びステップＳ１０５で取得した車両形状データに基づいて、運転者がサイドミラーを見たときに、映し出される自車の輪郭（形状）を演算する（ステップＳ２０１）。つまり、ミラー角度、視点位置から、サイドミラーに映し出される車両の姿勢を推定する。
記憶装置３３のＲＯＭから取得したワイヤーフレームデータを画像処理し、ステップＳ２０１で演算した自車の輪郭に合致するワイヤーフレーム画像を作成する（ステップＳ２０３）。

画像メモリ３２から撮像された画像データを読み出し、視点変換処理を行う（ステップＳ２０５）。カメラ７４Ｒ、７４Ｌからの撮影は、自車７の後端部を撮影点とするものであるので、撮像された画像をそのままサイドミラーの像として用いることはできない。そこで、撮像された画像について視点変換処理を行う。カメラ位置から視点位置までの距離を演算し、その距離に応じて、画像を縮小する。カメラ位置から視点位置までの距離は、カメラ位置からサイドミラー装置の鏡面までの距離と、該鏡面から視点位置までの距離との和として得ることができる。
カメラ位置からサイドミラー装置の鏡面までの距離は、車両形状データとして、記憶装置３３のＲＯＭに記憶されている。また、視点位置から鏡面までの距離は、視点位置の座標から求められる。

視点変換をした画像から、ステップＳ１０７で決定した表示領域に該当する領域を抽出する（ステップＳ２０７）。この領域は、鏡面において自車７が映されている領域であり、抽出された画像には、自車７に影になって死角となっている車両後方の状況が映し出されている。

ステップＳ２０７で抽出した画像に、ステップＳ２０３で形成したワイヤーフレーム画像を合成する（ステップＳ２０９）。このワイヤーフレーム画像は、ステップＳ２０１の演算の結果、鏡面に映し出された自車７の像に重なるように構成されている。このように、単に後方死角部分（車体部分）の画像を表示するのみでなく、ワイヤーフレームを重畳することにより、運転者は位置関係の把握が容易となる。
つまり、表示手段は、撮像された画像に、車体部位の輪郭を重ねて表示する。これにより、表示手段により表示される像に、対応する車体部位の輪郭を重ねて表示するため、周囲の状況と自車位置の関係を容易に把握でき、死角領域の画像を確認することができる。

次に、情報表示フラグが立っているが判断する（ステップＳ２１１）。このフラグが立っている場合には、表示画像に表示する情報があることを意味するので、用意されている画像データをナビ6から取得し、ステップＳ２０９で作成した画像のデータ表示領域に合成する（ステップＳ２１３）。フラグが立っていない場合には、このステップＳ２１３は、スキップされる。

ステップＳ２０９又はステップＳ２１３で合成された画像を、表示装置４に表示する（ステップＳ１１１）。図７は、上記画像処理の結果、右サイドミラー装置２Ｒの鏡面に映し出された像を示すものである。像の左側には、表示装置４のディスプレイに映し出された車両後方の像（後方車両Ｂ）とワイヤーフレーム４０４が表示され、上部には、ナビゲーション装置から供給された情報が文字情報として表示される。その他の領域は、ハーフミラー５の鏡面に映された車両後方の状況であり、ディスプレイ４１の表示画面に基づくものではない。上記ステップＳ２０５、Ｓ２０７、Ｓ２０９、Ｓ１１１によって、表示手段が構成される。

以上説明した処理は、左右のサイドミラー装置２Ｒ、２Ｌについて、それぞれ行われる。カメラ７４Ｒ、７４Ｌが魚眼レンズを用いている場合には、ステップＳ２０５の前又は後に、カメラによって取得した画像を正像変換するステップが設けられる。

なお、ステップＳ２１３合成される情報画像は、例えば、次のような処理によって作成される。図８には、情報に化する画像を作成する処理を示すフローチャートである。処理装置３の外部から、表示データを表示する旨の信号の供給があるか判断し（ステップＳ３０１）、供給があった場合には、表示データを受信する（ステップＳ３０３）。このデータには、ナビゲーション装置６から供給される経路案内に必要な情報、例えば、図７に示されているように、次のポイントまでの距離、次のポイントの名称（交差点、高速道路のランプ、横断道路）などが含まれる。さらに、車両信号インターフェースを介して供給されるデータも表示データに含まれる。例えば、車速、シフトレバー位置、ターンシグナルの点灯の有無などである。また、ウインカーが点けられている場合には、ウインカーが点けられている方向を示す記号（矢印など）を表示してもよい。特に、ウインカーが点けられている場合には、点けられている側のサイドミラーにのみ表示する構成としてもよい。

本発明の後方確認装置の構成を示すブロック図である。 本発明の後方確認装置が搭載されている車両と、後方車両との位置関係を示す俯瞰図である。 右サイドミラー装置の構造を模式的に示す断面平面図である。 表示装置の表示画面を示す表示画面の正面図である。 フローチャートである。 フローチャートである。 上記画像処理の結果、右サイドミー装置の鏡面に映し出された像を示すものである。 フローチャートである。

符号の説明

１ 後方確認装置
２ サイドミラー装置
３ 処理装置
４ 表示装置
５ ハーフミラー
６ ナビゲーション装置

Claims (3)

1. 車両の側部に取り付けられ、後方視界を確保するためのミラーと、
   該ミラーの鏡面において車体が映る領域を、運転者視点に基づいて特定する車体特定手段と、
   車両後方の画像を撮像する撮像手段と、
   前記特定された車体の部位に、撮像された画像を運転者の視点に基づき視点変換して嵌め合わせて表示する表示手段とを備え、
   前記ミラーはハーフミラーで構成され、
   前記表示手段は前記ハーフミラーの背面に設置される表示素子を含むことを特徴とする後方確認装置。
2. 車両の側部に取り付けられ、後方視界を確保するためのミラーと、
   前記ミラーの取り付け角度を検出する角度センサと、
   運転者視点位置を推測する推測手段と、
   前記角度センサが検出した前記ミラーの取り付け角度と、前記推測手段によって推測された運転者視点位置に基づいて、前記ミラーの鏡面において車体が映る領域を特定する車体特定手段と、
   車両後方の画像を撮像する撮像手段と、
   前記車体特定手段によって特定された車体の部位に、前記撮像手段によって撮像された画像を運転者の視点に基づき視点変換して嵌め合わせて表示する表示手段とを備えることを特徴とする後方確認装置。
3. 前記ミラーはハーフミラーで構成され、
   前記表示手段は前記ミラーの背面に設置される表示素子を含むことを特徴とする請求項２に記載の後方確認装置。

Images