JP3876761B2

JP3876761B2 - 車両用周辺監視装置

Info

Publication number: JP3876761B2
Application number: JP2002145233A
Authority: JP
Inventors: 達美柳井
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-05-20
Filing date: 2002-05-20
Publication date: 2007-02-07
Anticipated expiration: 2022-05-20
Also published as: JP2003339044A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の周囲を撮像してその映像を車両内部の表示部に表示する車両用周辺監視装置に関する。
【０００２】
【従来の技術】
車両用周辺監視装置としては、特開２００２−１９５２３号公報に記載のものが知られる。
この車両用周辺監視装置では、車両の周囲を撮像するカメラを車体の周囲に設け、運転者が方向指示器の操作を行うと、操作を行った側の車体後方を撮像するカメラの映像が表示部に表示される。運転者が右左折や車線変更を行う際、表示部に表示された映像を見ることにより安全確認ができる範囲が広がる。
【０００３】
【発明が解決しようとする課題】
上述した従来の車両用周辺監視装置では、表示部に映し出される対象物の大きさが実際の大きさと異なっており、しかも何らの参考指標もないため、対象物の自車両との相対的な位置関係を即座に判断することが困難であるという問題があった。
したがって本発明は、上記の問題点に鑑み、運転者が実際の位置関係を即座に認識できるようにした車両用周辺監視装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
このため、表示映像の視点を発明者になじみのあるものとし、指標を有するものとするため、本発明は、運転者の視点と、監視鏡の反射角度とを検出し、これらの視点と反射角度に基づいて、カメラにより撮像された映像を運転者が監視鏡を通して見るのに対応した視点からの映像に変換し、この変換された映像に上記監視鏡に対応する輪郭画像を重ねて合成した合成映像を表示部に表示するものとした。
【０００５】
【発明の効果】
監視鏡に映し出される映像の視点と表示部に表示される映像の視点が対応しているので、両映像の整合性が保たれ、監視鏡の輪郭を指標として、表示部に映し出された自車両と対象物との相対的な位置関係を実際の位置関係に置き換えて即座に容易に認識することができる。
【０００６】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
図１は実施の形態にかかる周辺監視装置の全体構成を示すブロック図、図２は主要部の配置を示すレイアウト図である。
周辺監視装置１は、車両進行方向の左後方を撮像するカメラ１１、車両運行時に運転者が着座する運転席シート３の位置を検出するシート位置センサ１２、車両左側のドアミラー１８の反射角度を検出するドアミラー角度センサ１３、カメラ１１が撮像した映像を視点変換する映像変換部１４、映像変換部１４によって変換された映像の画像データに後述するドアミラー輪郭Ｄの画像データを合成する映像合成部１５、そして合成された画像データを映像として表示する表示部１６から構成される。表示部１６には表示スイッチ１７が接続されている。
【０００７】
運転席シート３は、図２に突起Ｆで示される車両１０の進行方向に平行で前後にスライドさせて調整可能となっており、シート位置センサ１２は運転席シート３に付設されて、その前後方向位置を検出する。
ドアミラー角度センサ１３は、ドアミラー１８の角度を調整する図示省略の装置に直接取り付けられている。
【０００８】
とくに図２に示されるように、カメラ１１は車両１０の進行方向左側の外部で、ドアミラー１８より前側に設置されている。カメラ１１はその撮像視野１９が、ドアミラー１８の視野２０を包含するばかりでなく、さらにドアミラー１８の死角２１をも含むように広く設定されている。
また、表示部１６は車両１０の例えばインストルメントパネル上など車室内前部に設置されている。運転者は表示部１６に表示される映像と、サイドウインドウ２４を通したドアミラー１８による映像とを見ることができる。
【０００９】
映像変換部１４は、運転者がドアミラー１８を見た時にドアミラー１８に映し出される映像と、カメラ１１の撮像に基づいて表示部１６に映し出される映像の各視点を対応させるよう、カメラ１１が撮像した映像の画像データを変換する。映像変換部１４は、変換作業のためのデータを一時格納する内部メモリ３０を備えている。
以下、映像変換部１４の機能について説明する。
ここでは、まず、ドアミラー１８を見るときの運転者の視点を求める。
運転者の視点は、個々人の体格等によって異なるので、映像変換部１４では、運転席シート３の位置を用いて視点を特定する。
【００１０】
すなわち、図３に示すように、運転者２の眼は運転席シート３上の前後方向所定位置にあるものとして、シート位置センサ１２によって検出した運転席シート３の位置に基づいて、車両１０の前後方向に直交する平面Ａを特定する。
一方、車両幅方向の運転者の視点は運転席シート３を左右に二分する平面Ｂ上にあるので、この平面Ｂと、上記車両の前後方向に直交する平面Ａとが交差する線を求める。この線上において運転者の平均的な座高に基づく眼の位置を含む平面との交点を求めると、運転者の視点Ｐが空間上の点として特定される。
【００１１】
次に、ドアミラー角度センサ１３によって検出したドアミラー１８の反射角度θに基づいて、上述のように求めた運転者２の視点Ｐから見たときのドアミラー１８に映し出される映像範囲Ｆｍ（視野２０）を算出する。ドアミラー１８の反射角度θが変化すると、映像範囲Ｆｍも変化する。
映像変換部１４は、こうして求めた運転者の視点Ｐとドアミラーの反射角度、より具体的にはドアミラー１８に映し出される映像範囲Ｆｍとに基づいて、カメラ１１で撮像した映像の画像データの視点変換方向Ｓを決定し、撮像映像をドアミラー１８に映し出される映像と同じ視点の映像に変換する。ここで、カメラ１１で撮像した映像とドアミラー１８に映し出される映像とは左右が逆になっているので、カメラ１１による画像データの視点変換にあたっては、左右方向の反転が行われる。
【００１２】
映像合成部１５はドアミラー輪郭Ｄの画像データをあらかじめ内部メモリ３１に保持しており、映像変換部１４で視点変換した画像データにドアミラー輪郭Ｄの画像データを重ね合わせる。
図４は、ドアミラー輪郭Ｄが重ね合わされた状態を、表示部１６における映像として示している。ドアミラー１８を左右方向に回動調整して反射角度が変化すると、カメラ１１で撮像した映像範囲Ｆｃに対するドアミラー１８に映し出される映像範囲Ｆｍの領域が変わるので、これに対応させてドアミラー輪郭Ｄは例えばＤ’のように連動して水平方向に変形する。
【００１３】
一方、ドアミラー輪郭Ｄの縦方向の寸法Ｈは、実際のドアミラー１８の実寸相当の実寸輪郭ｄよりも長いイメージに設定してある。これにより、前述のように運転者２の座高を平均的な値と仮定して視点を特定できる。
また、縦方向の寸法Ｈを長くしてあると、走行路面の状態や運転者２の姿勢変更で視点Ｐが上下方向に変動しても、カメラ１１の撮像映像中のドアミラー１８に映し出される映像範囲に対応する映像はドアミラー輪郭Ｄから外れることもない。したがって、ドアミラー１８を上下方向に回動させて反射角度を変えた場合には、ドアミラー輪郭Ｄは上下方向には変形、移動しないように設定してある。
【００１４】
図５、図６は実施の形態における制御の流れを示すフローチャートである。
周辺監視装置１は、運転者２がイグニションスイッチを入れると制御を開始する。
まずステップ１０１において、映像変換部１４は、シート位置センサ１２から運転席シート３の位置データを取り込んで、映像変換部１４の内部メモリ３０に格納する。そして、ステップ１０２で、運転席シート３の位置に基づいて、運転者２の視点Ｐを算出し、その視点データを上記内部メモリ３０に格納する。
【００１５】
映像変換部１４ではさらに、ステップ１０３において、ドアミラー角度センサ１３からドアミラー１８の反射角度データを取り込んで、内部メモリ３０に格納し、ステップ１０４で、このドアミラー１８の反射角度とステップ１０２で求めた視点Ｐとに基づいて視点変換方向Ｓを算出し、その視点方向データも内部メモリ３０に格納する。
【００１６】
ステップ１０５では、イグニションスイッチがＯＮ（オン）のままの状態であるか否かをチェックし、イグニションスイッチがＯＦＦ（オフ）であれば制御は終了し、ＯＮのままであればステップ１０６へ進む。
ステップ１０６では、シート位置センサ１２からの信号を再度取り込み、映像変換部１４の内部メモリ３０に格納してある位置データと比較して、運転席シート３が調整されてその位置が変更されたか否かをチェックする。変更されていない場合はステップ１０７へ進む。
【００１７】
ステップ１０７では、ドアミラー角度センサ１３からの信号を再度取り込み、映像変換部１４の内部メモリ３０に格納してある反射角度データと比較して、ドアミラー１８の反射角度が変更されたか否かをチェックする。変更されていない場合はステップ１０８へ進む。
ステップ１０８では、映像変換部１４にカメラ１１からの車両左後方の映像を取り込む。
ステップ１０９では、内部メモリ３０にデータを格納した最新の視点変換方向Ｓをパラメータとして、前ステップで取り込んだカメラ１１からの映像の視点方向を変換して、視点変換映像を生成する。
【００１８】
つぎのステップ１１０において、映像合成部１５では、視点変換映像を取り込み、内部メモリ３１に予め格納してあるドアミラー輪郭Ｄを、視点変換映像に重ねて合成映像を生成する。
そしてステップ１１１で、表示スイッチ１７がＯＮしているかどうかをチェックする。表示スイッチ１７がＯＮしているときは、ステップ１１２で、合成映像を表示部１６に表示して、ステップ１０５に戻る。
一方、表示スイッチ１７がＯＦＦであるときは、そのままステップ１０５に戻る。
【００１９】
先のステップ１０６のチェックで、運転席シート３の位置が変更されている場合は、ステップ１１３へ進み、運転席シート３の新たな位置データを映像変換部１４の内部メモリ３０に格納して更新する。
そして、ステップ１１４において、この新たな運転席シート３の位置に基づいて、運転者２の視点Ｐを算出し、その視点データを内部メモリ３０に格納して更新する。
ステップ１１５では、更新した最新の視点データとステップ１０３で取り込み格納した反射角度データとから、新たな視点変換方向Ｓを算出して更新し、それからステップ１０７へ進む。
【００２０】
また、ステップ１０７のチェックで、ドアミラー１８の反射角度が変更されている場合は、ステップ１１６へ進み、新たな反射角度データを映像変換部１４の内部メモリ３０に格納して更新する。
そして、ステップ１１７において、この新たなドアミラーの反射角度のデータと映像変換部１４の内部メモリ３０に格納されている最新の視点データとから、新たな視点変換方向Ｓを算出して更新し、それからステップ１０８へ進む。
【００２１】
以上により、フローが繰り返される間、運転席シート３の位置が変更され、あるいはドアミラー１８の反射角度が調整されると、それらの変化に応じて、カメラ１１による映像が常に運転者２がドアミラー１８を覗く視点Ｐからのもののように表示部１６に表示されることになる。
【００２２】
本実施の形態では、上記フローにおけるステップ１０１と１０２、およびステップ１０６、１１３、１１４が発明の視点検出手段を構成し、ステップ１０３、およびステップ１０７、１１６が角度検出手段を、ステップ１０４、１０８、１０９、１１５、１１７が映像変換手段を、そして、ステップ１１０が映像合成手段を構成している。
【００２３】
以上の構成によって、図７に示すように、自車両の側方近傍を他の隣接車両が走行中の場合、表示部１６には図８に示すような映像が表示される。
すなわち、ドアミラー１８が運転者２へ向けて反射する映像範囲Ｆｍは隣接車両Ｒの後部の一部しかカバーしないが、表示部１６においてはこの映像範囲Ｆｍの範囲に相当する映像がドアミラー輪郭Ｄ内に表示されるとともに、ドアミラー輪郭Ｄの外側に映像範囲Ｆｍでカバーできない隣接車両Ｒの残部も表示される。これは、カメラ１１がドアミラー１８の視野２０よりもさらに外方の領域を含む広い撮像視野１９を撮像して映像範囲Ｆｃの映像を表示するからである。
【００２４】
実施の形態は以上のように構成され、ドアミラー１８に映し出される映像の視点と表示部１６に表示される映像の視点が同じなので、両映像の整合性が保たれ、運転者２が表示部１６とドアミラー１８を同時に見ても違和感を感じることがない。そして、表示部１６に映し出された自車両１０や隣接車両Ｒなどの対象物の大きさが実際と異なっても、運転者２はドアミラー輪郭Ｄを指標として、表示部１６に映し出された自車両と対象物との相対的な位置関係を実際の位置関係に置き換えて即座に容易に認識できる。
【００２５】
また、カメラ１１の撮像視野１９がドアミラー１８に映し出される映像範囲Ｆｍよりも広く設定され、表示部１６にはドアミラー１８に映し出される映像範囲Ｆｍを越える領域もドアミラー輪郭Ｄの外側に表示されるので、ドアミラー１８の死角２１の領域の様子も確実容易に把握することができる。
【００２６】
さらに、運転者２の視点は運転席シート３を調整した位置に基づいて求めることにより、多くの複雑なセンサ等が不要で低コストで実現される。
また、ドアミラー角度センサ１３をドアミラー１８の角度を調整する装置に直接取り付ける構成とすることにより、部品点数を削減して製造コストの低減が図れると共に、取り付け方法が簡略化できるので取り付けコストの低減も図れる。
【００２７】
なお、実施の形態では、カメラ１１をドアミラー１８より前側に設置したものとしたが、カメラ１１の撮像映像にドアミラー１８が映る場合には、ドアミラー１８の鏡をマジックミラーとし、マジックミラーの裏側にカメラ１１を設置する構成とすることにより、ドアミラー１８の映りを避けることができる。
【００２８】
また、実施の形態では監視鏡として車両進行方向左側のドアミラー１８を選択したが、これに限定されず、必要に応じて車両進行方向右側のドアミラーやフェンダーミラー或いは車内に設置されたルームミラ−、車両前部の監視用あるいは側方から接近する他車両や歩行者監視用の補助ミラー等の近傍にカメラを設置して車両周辺を撮像し、これらによる撮像した映像に対応するミラーの輪郭を重ねて表示することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の構成を示すブロック図である。
【図２】主要部の配置を示すレイアウト図である。
【図３】運転者の視点検出の要領を示す説明図である。
【図４】ドアミラー輪郭が重ね合わされた表示映像を示す図である。
【図５】実施の形態における制御の流れを示すフローチャートである。
【図６】実施の形態における制御の流れを示すフローチャートである。
【図７】自車両の側方近傍を隣接車両が走行中の状態を示す図である。
【図８】表示部における表示例を示す図である。
【符号の説明】
１周辺監視装置
２運転者
３運転席
１０車両
１１カメラ
１２シート位置センサ
１３ドアミラー角度センサ
１４映像変換部
１５映像合成部
１６表示部
１７表示スイッチ
１８ドアミラー
１９撮像視野
２０視野
２１死角
２４サイドウインドウ
Ｄドアミラー輪郭
ｄ実寸輪郭
Ｆ突起
Ｒ隣接車両

Claims

車両周囲を撮像可能なカメラと、
運転者の視点を検出する視点検出手段と、
車両周囲を監視する監視鏡の反射角度を検出する角度検出手段と、
前記運転者の視点と監視鏡の反射角度に基づいて、前記カメラにより撮像された映像を運転者が監視鏡を通して見るのに対応した視点からの映像に変換する映像変換手段と、
該映像変換手段で変換された映像に前記監視鏡に対応する輪郭画像を重ねて合成する映像合成手段と、
車両内に設置され、前記映像合成手段で合成された映像を表示する表示部とを有することを特徴とする車両用周辺監視装置。
前記カメラの撮像範囲が前記監視鏡に映し出される映像範囲よりも広く設定され、
前記表示部には、前記監視鏡に映し出される映像範囲が前記監視鏡に対応する輪郭内に表示されるとともに、前記監視鏡に映し出される映像範囲を越える領域が、前記監視鏡に対応する輪郭の外側に表示されることを特徴とする請求項１記載の車両用周辺監視装置。
前記視点検出手段は、運転席シートの位置に基づいて前記視点を検出することを特徴とする請求項１または２記載の車両用周辺監視装置。
前記監視鏡がドアミラー、フェンダーミラーまたはルームミラーであり、前記角度検出手段はドアミラー、フェンダーミラーまたはルームミラーの角度を調整する装置に直接設けた角度センサであることを特徴とする請求項１から３のいずれか１に記載の車両用周辺監視装置。