JP4927647B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP4927647B2
JP4927647B2 JP2007152684A JP2007152684A JP4927647B2 JP 4927647 B2 JP4927647 B2 JP 4927647B2 JP 2007152684 A JP2007152684 A JP 2007152684A JP 2007152684 A JP2007152684 A JP 2007152684A JP 4927647 B2 JP4927647 B2 JP 4927647B2
Authority
JP
Japan
Prior art keywords
image
vehicle
periphery monitoring
range
vehicle periphery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007152684A
Other languages
English (en)
Other versions
JP2008306546A (ja
Inventor
治男 伊藤
真樹 水田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2007152684A priority Critical patent/JP4927647B2/ja
Publication of JP2008306546A publication Critical patent/JP2008306546A/ja
Application granted granted Critical
Publication of JP4927647B2 publication Critical patent/JP4927647B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両周辺監視装置に係り、特に、自車両の周辺における所定の監視範囲を監視する車両周辺監視画像を表示することによって、安全かつ円滑な運転操作を支援するのに好適な車載用ナビゲーション装置に関する。
従来から、自動車には、自車両の周辺における所定の監視範囲を監視するための車両周辺監視画像を車内のディスプレイに表示することによって、他車両等の障害物との衝突を回避するための安全かつ円滑な運転操作を支援する車両周辺監視装置が搭載されていた。
このような車両周辺監視装置は、自車両の所定の取り付け位置に取り付けられた車載カメラによって、自車両の周辺の所定の撮影領域を撮影し、撮影映像を用いて、例えば、自車両およびその周辺を自車両の上方から見下ろした俯瞰画像や、自車両の前側方を監視するためのサイドビュー画像等の各種の車両周辺監視画像を生成してディスプレイに表示するようになっていた。
なお、このような車両周辺監視画像の生成に用いられる車載カメラとしては、魚眼レンズ等の広角レンズを備えた車載カメラが用いられていたため、撮影領域は、車載カメラの光軸を中心とした画角190°程度の非常に広い領域となっていた。このため、車載カメラの撮影映像のうちのすべての部分が車両周辺監視画像の生成に用いられるのではなく、撮影領域のうちの予め設定された監視範囲(例えば、路面)の撮影映像のみを切り出して、カメラの撮像面上に定義された座標系の映像からディスプレイ上に定義された座標系の画像へと座標変換することによって、車両周辺監視画像を生成するようになっていた。
この種の車両周辺監視装置では、夜間の路上等の暗所において、自車両の前方の監視範囲に対しては、自車両の前照灯から照射された可視光によって前方の監視範囲の明るさの確保を図るとともに、自車両の後方の監視範囲に対しては、自車両の後尾灯または後退時の後退灯から照射された可視光によって後方の監視範囲の明るさの確保を図るようになっていた。
一方、自車両の側方の監視範囲については、保安基準等によって暗所においても可視光の照射に制約があり、自車両の側部(例えば、ドアミラー)に近赤外光等の可視領域外の光を照射するLED等の補助照明装置を取り付け、この補助照明装置の光を照射するようになっていた。なお、このような補助照明装置の光を用いた暗所における自車両側方の撮影を行う車載カメラは、昼間の路上等の明所における車両周辺監視画像の表示にも対応することが求められていたため、暗所における撮影時には、撮像素子すなわちセンサ(CCD等)の感度を、明所における撮影の際の可視光帯域から、補助照明装置の光の波長帯域(例えば、近赤外帯域)に変更することが行われていた。
特開2005−271836号公報
しかるに、前述した前照灯、後尾灯、後退灯および補助照明装置といった照明装置は、監視範囲における全範囲にわたって光を照射することは、保安基準、コストおよび消費電力等の観点から困難であり、設計上予め定められた監視範囲の中の一部の範囲に限定して光を照射することを余儀なくされていた。
これにより、車両周辺監視画像中には、監視範囲のうちの照明装置の光が有効に照射されている範囲の撮影映像を用いて生成された部位と、監視範囲のうちの照明装置の光が有効に照射されていない範囲の撮影映像を用いて生成された部位とが混在していた。
ここで、照明装置の輝度は、この照明装置に対する照明装置の光が照射される位置の変化にともなって連続的に変化するため、車両周辺監視画像を見た場合に、必ずしも、監視範囲における照明装置の光が有効に照射されている範囲の撮影映像を用いて生成された部位を、そうでない部位と明確に識別することができるとは限らなかった。
そのうえ、夜間の路面(特に、白線の引かれていないもの)のような本来暗色の被写体は、照明装置の光が有効に照射された場合であっても、車両周辺監視画像として得られるのはやはり暗色の画像でしかなかったため、車両周辺監視画像の中から、監視範囲における照明装置の光が有効に照射されている範囲の撮影映像を用いて生成された部位を識別することは一層困難となっていた。
例えば、図10は、自車両の左前部に取り付けられた左フロントカメラ、自車両の右前部に取り付けられた右フロントカメラ、自車両の左側部に取り付けられた左サイドカメラ、自車両の右側部に取り付けられた右サイドカメラおよび自車両の後部に取り付けられたバックカメラの計5台の車載カメラによって撮影された夜間の路上における自車両の周辺の撮影映像に基づいて生成された監視用画面1を示したものである。
この監視用画面1は、車両周辺監視画像としての前述した俯瞰画像2と、車両周辺監視画像としての自車両の左前方を監視するための左サイドビュー画像3と、背景画像4とによって形成されている。
図10に示すように、俯瞰画像2は、自車両の左前方を監視する左前方監視画像5aを有しており、この左前方監視画像5aは、左フロントカメラによる撮影映像に基づいて生成されるようになっている。また、俯瞰画像2は、左前方監視画像5aに対して図10の右方において隣接する位置に、自車両の右前方を監視する右前方監視画像5bを有しており、この右前方監視画像5bは、右フロントカメラによる撮影映像に基づいて生成されるようになっている。さらに、俯瞰画像2は、左前方監視画像5aに対して図10の下方において隣接する位置に、左側方監視画像5cを有しており、この左側方監視画像5cは、左サイドカメラによる撮影映像に基づいて生成されるようになっている。さらにまた、俯瞰画像2は、右前方監視画像5bに対して図10の下方において隣接する位置に、右側方監視画像5dを有しており、この右側方監視画像5dは、右サイドカメラによる撮影映像に基づいて生成されるようになっている。また、俯瞰画像2は、左側方監視画像5cおよび右側方監視画像5dに対して図10の下方において隣接する位置に、自車両の後方を監視するための後方監視画像5eを有しており、この後方監視画像5aは、バックカメラによる撮影映像に基づいて生成されるようになっている。さらに、俯瞰画像2は、各監視画像5a,5b,5c,5d,5eに四方から囲まれる位置に、自車両を示すイラスト画像6を有しており、このイラスト画像6は、撮影映像とは別個に生成されるようになっている。
一方、左サイドビュー画像3は、左サイドカメラによる撮影映像に基づいて生成されるようになっている。なお、図10に示すように、左サイドビュー画像3には、自車両の左側部を映り込ませた映り込み画像3aが含まれている。
そして、図10に示すように、俯瞰画像2には、監視範囲(図10における路面)における監視範囲から見た前照灯の輝度が所定の閾値以上の状態として前照灯の光が有効に照射される範囲(以下、前照灯有効照射範囲と称する)の撮影映像を用いて生成された部位(以下、前照灯有効照射部位7と称する)が含まれている。しかし、この前照灯有効照射部位7は、暗色の撮影映像(路面)に基づいて生成されたものであるため、たとえ前照灯の光が有効に照射されているものであっても俯瞰画像2における他の部位との識別が困難であった。
また、俯瞰画像2には、監視範囲(路面)における監視範囲から見た後尾灯の輝度が所定の閾値以上の状態として後尾灯の光が有効に照射される範囲(以下、後尾灯有効照射範囲と称する)の撮影映像を用いて生成された部位(以下、後尾灯有効照射部位8と称する)が含まれている。しかし、この後尾灯有効照射部位8も、暗色の撮影映像(路面)に基づいて生成されたものであるため、たとえ後尾灯の光が有効に照射されているものであっても識別が困難であった。
さらに、俯瞰画像2には、監視範囲(路面)における監視範囲から見た補助照明装置の輝度が所定の閾値以上の状態として補助照明装置の光が有効に照射される範囲(以下、補助照明有効照射範囲と称する)の撮影映像を用いて生成された部位(以下、補助照明有効照射部位9と称する)が含まれている。しかし、この補助照明有効照射部位9も、暗色の撮影映像(路面)に基づいて生成されたものであるため識別が困難であった。
なお、図示はしないが、自車両の後退時には、俯瞰画像2には、監視範囲(路面)における監視範囲から見た後退灯の輝度が所定の閾値以上の状態として後退灯の光が有効に照射される範囲(以下、後退灯有効照射範囲と称する)の撮影映像を用いて生成された部位(以下、後退灯有効照射部位と称する)が含まれることになる。
一方、左サイドビュー画像3にも、俯瞰画像2と同様に、補助照明有効照射範囲の撮影映像を用いて生成された部位(以下、補助照明有効照射部位10と称する)が含まれているが、この補助照明有効照射部位10も、暗色の撮影映像(路面)に基づいて生成されたものであるため識別が困難であった。
したがって、従来は、暗所における車両周辺監視画像のうちのどの部位が監視範囲の状況、例えば、障害物の有無を正確に反映しているのかを判別することができず、暗所における車両周辺監視画像の信頼性が低いといった問題が発生していた。
そこで、本発明は、このような問題点に鑑みなされたものであり、暗所における車両周辺監視画像の視認性および信頼性を向上させることができ、ひいては、暗所における安全かつ円滑な運転操作を支援することができる車両周辺監視装置を提供することを目的とするものである。
前述した目的を達成するため、本発明に係る車両周辺監視装置は、自車両の周辺における所定の撮影領域を撮影する撮影装置と、この撮影装置によって撮影された撮影映像を用いて、自車両の周辺における所定の監視範囲を監視する画像である車両周辺監視画像を生成し、生成された車両周辺監視画像を表示部に表示する車両周辺監視画像表示処理装置と、前記監視範囲に対して光を照射する照明装置と、前記自車両の暗所の走行の際に、前記監視範囲における前記照明装置の輝度が所定の閾値輝度以上の状態として前記照明装置の光が有効に照射される範囲である有効照射範囲を把握したうえで、前記車両周辺監視画像上に、前記車両周辺監視画像における前記有効照射範囲の撮影映像を用いて生成された部位である有効照射部位を識別するための識別画像を表示する識別画像表示処理装置とを備えたことを特徴としている。
また、本発明に係る他の車両周辺監視装置は、前記識別画像表示処理装置が、前記識別画像として、前記車両周辺監視画像における前記有効照射部位とこれ以外の部位との境界を示す境界線の画像を表示するように形成されていることを特徴としている。
さらに、本発明に係る他の車両周辺監視装置は、前記車両周辺監視画像に、前記自車両の少なくとも一部を示す自車両画像が含まれており、前記識別画像表示処理装置が、前記識別画像として、前記境界線の画像とともに前記車両周辺監視画像における前記有効照射部位および前記自車両画像以外の部位を視認不能にするためのマスク画像を表示するように形成されていることを特徴としている。
さらにまた、本発明に係る他の車両周辺監視装置は、自車両の周辺における所定の撮影領域を撮影する撮影装置と、この撮影装置によって撮影された撮影映像を用いて、自車両の周辺における所定の監視範囲を監視する画像である車両周辺監視画像を生成し、生成された車両周辺監視画像を表示部に表示する車両周辺監視画像表示処理装置と、前記監視範囲に対して光を照射する照明装置と、前記自車両の周辺の明るさを検出する明るさ検出装置と、前記自車両の暗所の走行の際に、前記監視範囲における前記照明装置の輝度が所定の閾値輝度以上の状態として前記照明装置の光が有効に照射される範囲である有効照射範囲を把握したうえで、前記明るさ検出装置によって検出された前記自車両の周辺の明るさが所定の閾値明るさ未満となる場合には、前記車両周辺監視画像上に、前記車両周辺監視画像における前記有効照射範囲の撮影映像を用いて生成された部位である有効照射部位を識別するための第1の識別画像を表示し、前記明るさ検出装置によって検出された前記自車両の周辺の明るさが前記閾値明るさ以上となる場合には、前記車両周辺監視画像上に、前記有効照射部位とその周辺部位とが加え合わされた部位である複合部位を識別するための第2の識別画像を表示する識別画像表示処理装置とを備えたことを特徴としている。
また、本発明に係る他の車両周辺監視装置は、前記識別画像表示処理装置が、前記第1の識別画像として、前記車両周辺監視画像における前記有効照射部位とこれ以外の部位との境界を示す第1の境界線の画像を表示し、前記第2の識別画像として、前記車両周辺監視画像における前記複合部位とこれ以外の部位との境界を示す第2の境界線の画像を表示するように形成されていることを特徴としている。
さらに、本発明に係る他の車両周辺監視装置は、前記車両周辺監視画像に、前記自車両の少なくとも一部を示す自車両画像が含まれており、前記識別画像表示処理装置が、前記第1の識別画像として、前記第1の境界線の画像とともに前記車両周辺監視画像における前記有効照射部位および前記自車両画像以外の部位を視認不能にするための第1のマスク画像を表示するように形成され、前記第2の識別画像として、前記第2の境界線の画像とともに前記車両周辺監視画像における前記複合部位および前記自車両画像以外の部位を視認不能にするための第2のマスク画像を表示するように形成されていることを特徴としている。
さらにまた、本発明に係る他の車両周辺監視装置は、前記明るさ検出装置が、照度計とされていることを特徴としている。
また、本発明に係る他の車両周辺監視装置は、前記撮影装置が、前記撮影領域に対する測光を行い、この測光の結果に基づいて露出を決定し、決定された露出の下で前記撮影領域の撮影を行うように形成され、前記明るさ検出装置が、前記撮影装置による前記測光の結果を用いて前記自車両の周辺の明るさを検出するように形成されていることを特徴としている。
さらに、本発明に係る他の車両周辺監視装置は、前記識別画像表示処置装置が、前記閾値明るさに対する前記明るさ検出装置によって検出された前記自車両の周辺の明るさの超過量の増加にしたがって、前記周辺部位を漸次または段階的に大きくとるように形成されていることを特徴としている。
さらにまた、本発明に係る他の車両周辺監視装置は、車両周辺監視装置の設計に応じて一義的に設定された前記有効照射範囲の情報が記憶された有効照射範囲記憶装置を備え、前記識別画像表示処理装置が、前記有効照射範囲記憶装置に記憶された情報を取得することによって、前記有効照射範囲を把握するように形成されていることを特徴としている。
また、本発明に係る他の車両周辺監視装置は、前記閾値輝度が、前記自車両の走行速度の増加にともなって漸次または段階的に増加する値とされ、前記有効照射範囲が、前記自車両の走行速度の増加にともなう前記閾値輝度の増加にともなって漸次または段階的に縮小する範囲とされていることを特徴としている。
さらに、本発明に係る他の車両周辺監視装置は、前記識別画像表示処理装置が、前記照明装置が点灯していることに基づいて前記自車両が暗所を走行していることを認識するように形成されていることを特徴としている。
さらにまた、本発明に係る他の車両周辺監視装置は、前記車両周辺監視画像が、前記自車両およびその周辺を前記自車両の上方から見下ろした俯瞰画像を含むことを特徴としている。
また、本発明に係る他の車両周辺監視装置は、前記車両周辺監視画像が、前記自車両の前側方を監視する画像であるサイドビュー画像を含むことを特徴としている。
本発明に係る車両周辺監視装置によれば、車両周辺監視画像上に有効照射部位を識別するための識別画像を表示することができるので、暗所における車両周辺監視画像の視認性および信頼性を向上させることができ、ひいては、暗所における安全かつ円滑な運転操作を支援することができる。
また、本発明に係る他の車両周辺監視装置によれば、識別画像として、車両周辺監視画像における有効照射部位とこれ以外の部位との境界を示す境界線の画像を表示することができるので、簡易な画像でありながら、有効照射部位を確実に識別させることができ、暗所における車両周辺監視画像の視認性および信頼性を確実に向上させることができる。
さらに、本発明に係る他の車両周辺監視装置によれば、車両周辺監視画像における有効照射部位および自車両画像以外の部位を視認不能にすることができるので、有効照射部位をさらに明確に識別することができ、暗所における車両周辺監視画像の重要な部分の視認性をさらに向上させることができるとともに、信頼性をさらに高めることができる。
さらにまた、本発明に係る他の車両周辺監視装置によれば、車両周辺監視画像上に有効照射部位を識別するための第1の識別画像または複合部位を識別するための第2の識別画像を表示することができるので、暗所における車両周辺監視画像の視認性および信頼性を向上させることができ、ひいては、暗所における安全かつ円滑な運転操作を支援することができる。
また、本発明に係る他の車両周辺監視装置によれば、第1の識別画像として第1の境界線の画像を表示し、第2の識別画像として第2の境界線の画像を表示することができるので、簡易な画像でありながら、有効照射部位または複合部位を確実に識別することができ、暗所における車両周辺監視画像の視認性および信頼性を確実に向上させることができる。
さらに、本発明に係る他の車両周辺監視装置によれば、第1の境界線の画像の表示の際における有効照射部位および自車両画像以外の部位および第2の境界線の画像の表示の際における複合部位および自車両画像以外の部位を視認不能にすることができるので、有効照射部位または複合部位をさらに明確に識別することができ、暗所における車両周辺監視画像の視認性および信頼性をさらに向上させることができる。
さらにまた、本発明に係る他の車両周辺監視装置によれば、自車両の周辺の明るさを、照度計によって簡便かつ確実に検出することができるので、暗所における車両周辺監視画像の視認性および信頼性をさらに簡便かつ確実に向上させることができる。
また、本発明に係る他の車両周辺監視装置によれば、自車両の周辺の明るさを、撮影装置による撮影領域に対する測光の結果を用いて検出することができるため、既存の機能を有効に利用することができ、コストを削減することができる。
さらに、本発明に係る他の車両周辺監視装置によれば、自車両の周辺の明るさの増加にともなって周辺部位を拡大することができるので、第2の識別画像をさらに拡大することができ、より安全かつ円滑な運転を支援することができる。
さらにまた、本発明に係る他の車両周辺監視装置によれば、設計に応じて予め設定された有効照射範囲に基づいて有効照射部位を画一的に定めることによって識別画像の表示処理を簡素化することができるので、識別画像のすみやかな表示を実現することができるとともに、コストを削減することができる。
また、本発明に係る他の車両周辺監視装置によれば、自車両の走行速度の増加にともなって識別画像を縮小することができるので、安全性をさらに高めることができる。
さらに、本発明に係る他の車両周辺監視装置によれば、照明装置が点灯していることに基づいて、自車両が暗所を走行していると認識して識別画像の表示の処理を行うようにすることができるので、制御を簡素化することができる。
さらにまた、本発明に係る他の車両周辺監視装置によれば、俯瞰画像上に有効照射部位または複合部位を識別するための識別画像を表示することができるので、暗所における俯瞰画像の視認性および信頼性を向上させることができ、ひいては、暗所における安全かつ円滑な運転操作を支援することができる。
さらにまた、本発明に係る他の車両周辺監視装置によれば、サイドビュー画像上に有効照射部位または複合部位を識別するための識別画像を表示することができるので、暗所におけるサイドビュー画像の視認性および信頼性を向上させることができ、ひいては、暗所における安全かつ円滑な運転操作を支援することができる。
(第1実施形態)
以下、本発明に係る車両周辺監視装置の第1実施形態について、図1乃至図5を参照して説明する。
なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。
図1に示すように、本実施形態における車両周辺監視装置11は、撮影装置としての5台の車載カメラ12,13,14,15,16を有しており、これらの車載カメラ12,13,14,15,16は、いずれも、魚眼レンズ等の広角レンズを備えた広角カメラとされているとともに、CCDやCMOS等の固体撮像素子を備えたデジタルカメラとされている。
また、これらの車載カメラ12,13,14,15,16のうちの1台は、自車両の左前部(例えば、左前照灯の近傍)に取付けられた左フロントカメラ12とされており、この左フロントカメラ12は、自車両の周辺における自車両の左前方を中心とした撮影領域を撮影するようになっている。他の4台の車載カメラ13,14,15,16のうちの1台は、自車両の右前部(例えば、右前照灯の近傍)に取付けられた右フロントカメラ13とされており、この右フロントカメラ13は、自車両の周辺における自車両の右前方を中心とした撮影領域を撮影するようになっている。他の3台の車載カメラ14,15,16のうちの1台は、自車両の左側部(例えば、左ドアミラー)に取り付けられた左サイドカメラ14とされており、この左サイドカメラ14は、自車両の左側方を中心とした撮影領域を撮影するようになっている。他の2台の車載カメラ15,16のうちの1台は、自車両の右側部(例えば、右ドアミラー)に取り付けられた右サイドカメラ15とされており、この右サイドカメラ15は、自車両の右側方を中心とした撮影領域を撮影するようになっている。残りの1台の車載カメラ16は、自車両の後部(例えば、リアライセンスガーニッシュ部)に取り付けられたバックカメラ16とされており、このバックカメラ16は、自車両の後方を中心とした撮影領域を撮影するようになっている。
さらに、各車載カメラ12,13,14,15,16は、レンズを通して固体撮像素子のセンサ面に入射した光の光量に基づいて、それぞれの撮影領域に対する測光を行うようになっている。そして、各車載カメラ12,13,14,15,16は、測光の結果に基づいて露出を自動的に決定し、決定された露出の下で、撮影領域の撮影を行うようになっている。
各車載カメラ12,13,14,15,16には、カメラ映像取得部18が接続されており、このカメラ映像取得部18は、各車載カメラ12,13,14,15,16から、撮影領域の撮影映像を取得するようになっている。
カメラ映像取得部18には、車両周辺監視画像表示処理装置としての監視用画面表示処理部19が接続されており、この監視用画面表示処理部19には、カメラ映像取得部18から、各車載カメラ12,13,14,15,16による撮影領域の撮影映像が入力されるようになっている。
監視用画面表示処理部19には、マッピングテーブル記憶部20が接続されており、このマッピングテーブル記憶部20には、例えば、図2に示すようなマッピングテーブル21が記憶されている。
このマッピングテーブル21には、車載カメラ12,13,14,15,16による撮影映像と、図10に示したものと同様の監視用画面1に含まれる車両周辺監視画像2との対応関係が記述されている。
具体的には、図2に示すように、マッピングテーブル21には、撮像面すなわち固体撮像素子のセンサ面上に定義された座標系(以下、撮像面座標系と称する)における座標点(Xc,Yc)(i、j:自然数)に位置する車載カメラ12,13,14,15,16による撮影映像における1つの画素を、後述するディスプレイ23上に定義された座標系における座標点(Xt,Yt)(m、n:自然数)に表示される俯瞰画像2における1つの画素の生成に用いる旨が記述されている。
ここで、マッピングテーブル21には、撮像面座標系のすべての座標点すなわち撮影領域のすべて(全視野角)に対応する座標点が記述されているわけではなく、車載カメラ12,13,14,15,16ごとに固有の監視範囲(例えば、路面)に相当する座標点のみが記述されている。これにより、車載カメラ12,13,14,15,16による撮影領域の撮影映像のうち、実際に車両周辺監視画像の生成に用いられるのは、監視範囲の撮影映像のみとなり、空等の不要な物体が撮影された監視範囲以外の撮影映像については捨てられることになる。
なお、マッピングテーブル21には、1台の車載カメラ12,13,14,15,16による撮影映像における2つ以上の画素を、監視用画面1における1つの画素の生成に用いる旨が記述されていてもよい(例えば、特許文献1段落0041、0044等参照)。また、マッピングテーブル21は、車載カメラ12,13,14,15,16がレンズとして広角レンズを用いることによる撮影映像の歪みを補正することを考慮した座標変換をともなうものであってもよい。
監視用画面表示処理部19は、マッピングテーブル21を用いることによって、左フロントカメラ12による撮影映像を前述した左前方監視画像5aに、右フロントカメラ13による撮影映像を前述した右前方監視画像5bに、左サイドカメラ14による撮影映像を前述した左側方監視画像5cに、右サイドカメラ15による撮影映像を前述した右側方監視画像5dに、バックカメラ16による撮影映像を前述した後方監視画像5eに、それぞれ変換するようになっている。
そして、監視用画面表示処理部19は、各監視画像5a,5b,5c,5d,5eと自車両のイラスト画像6とを合成することによって、俯瞰画像2を生成するようになっている。
また、監視用画面表示処理部19は、左サイドカメラ14による撮影映像に対してトリミング等の処理を行うことによって、左サイドビュー画像3を生成するようになっている。
そして、監視用画面表示処理部19は、このようにして生成された俯瞰画像2および左サイドビュー画像3を、背景画像4と合成することによって、監視用画面1を生成するようになっている。
監視用画面表示処理部19には、ディスプレイ23が接続されており、このディスプレイ23には、監視用画面表示処理部19によって、監視用画面1が表示されるようになっている。
車両周辺監視装置11は、入力操作部24を有しており、ユーザは、この入力操作部24を用いることによって、監視用画面1の表示のための指示を入力することができるようになっている。
監視用画面表示処理部19には、車両情報取得部25が接続されており、この車両情報取得部25は、車両側から、走行速度(車速)やギア位置等の自車両についての車両情報を取得するようになっている。
監視用画面表示処理部19は、車両情報取得部25から入手した自車両の走行速度が所定速度以下の場合に監視用画面1を生成するようにしてもよい。
そして、本実施形態において、車両情報取得部25には、照明装置として、自車両の左前方および右前方の監視範囲に対して光(可視光)を照射する前照灯28、自車両の後方の監視範囲に対して光(可視光)を照射する後尾灯29および自車両の左側方の監視範囲に対して光(例えば、近赤外光)を照射する補助照明装置30がそれぞれ接続されている。車両情報取得部25は、車両情報として、これらの照明装置28,29,30の点灯の有無を示す点灯情報を取得するようになっている。
また、本実施形態において、監視用画面表示処理部19、ディスプレイ23および車両情報取得部25には、識別画像表示処理装置としての識別画像表示処理部31が接続されている。
識別画像表示処理部31は、車両情報取得部25から照明装置28,29,30の点灯情報を取得し、取得された点灯情報が照明装置28,29,30が点灯していることを示すものであることに基づいて、自車両が夜間の路上等の暗所を走行中であると認識するようになっている。
識別画像表示処理部31には、有効照射範囲記憶装置としての有効照射範囲記憶部33が接続されており、この有効照射範囲記憶部33には、監視範囲における監視範囲から見た照明装置の輝度が所定の閾値輝度以上の状態として照明装置の光が有効に照射される範囲である有効照射範囲の情報が記憶されている。
なお、この有効照射範囲の情報は、図3に示すように、照明装置28,29,30の種類に応じた有効照射範囲の類型および有効照射範囲が属する監視範囲の方向(換言すれば、車載カメラ12,13,14,15,16の種類)ごとに区分けされたテーブル34形式の情報であってもよい。
ここで、図3のテーブル34には、前照灯有効照射範囲の情報として、左フロントカメラ12の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群A)を示す情報と、右フロントカメラ13の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群C)を示す情報とが記述されている。また、テーブル34には、後尾灯照射範囲の情報として、バックカメラ16の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群E)を示す情報が記述されている。さらに、テーブル34には、補助照明照射範囲の情報として、左フロントカメラ12の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群B)を示す情報と、左サイドカメラ14の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群D)を示す情報とが記述されている。
また、テーブル34内における「無し」と記述された欄は、この欄に対応する有効照射範囲が存在しないことを示している。例えば、前照灯有効照射範囲と後方(バックカメラ)とに対応する欄には、「無し」が記述されているが、これは、自車両の後方の監視範囲内には前照灯有効照射範囲が存在しないことを示している。
なお、前述した有効照射範囲の定義からも分かるように、有効照射範囲は、照明装置28,29,30の所定の閾値輝度に対応したものであるため、テーブル34内の有効照射範囲の情報は、所定の閾値輝度を基準としているが、この閾値輝度は、照明装置28,29,30ごとに異なるものであってもよい。
このような有効照射範囲は、照明装置28,29,30および車載カメラ12,13,14,15,16の位置、姿勢および寸法等の車両周辺監視装置11の設計に応じて一義的に設定されたものとされている。
図1に戻って、識別画像表示処理部31は、有効照射範囲取得部36を有しており、識別画像表示処理部31は、自車両が暗所を走行中であることを認識した場合には、この有効照射範囲取得部36によって有効照射範囲記憶部33に記憶された有効照射範囲の情報を取得することにより、有効照射範囲を把握するようになっている。
そして、識別画像表示処理部31は、把握された有効照射範囲に基づいて、監視用画面1における各車両周辺監視画像2,3の中から、車両周辺監視画像における有効照射範囲の撮影映像を用いて生成された部位である有効照射部位を抽出するようになっている。
具体的には、識別画像表示処理部31は、俯瞰画像2の中から、図10に示したものと同様に、前照灯有効照射範囲の撮影映像を用いて生成された前照灯有効照射部位7と、後尾灯有効照射範囲の撮影映像を用いて生成された後尾灯有効照射部位8と、補助照明有効照射範囲の撮影映像を用いて生成された補助照明有効照射部位9とを抽出するようになっている。
また、識別画像表示処理部31は、左サイドビュー画像3の中から、図10に示したものと同様に、補助照明有効照射範囲の撮影映像を用いて生成された補助照明有効照射部位10を抽出するようになっている。
そして、識別画像表示処理部31は、抽出結果に基づいて、前照灯有効照射部位7を識別するための識別画像として、図4に示すように、前照灯有効照射部位7とそれ以外の部位との境界を示す破線の境界線の画像(以下、前照灯有効照射部位境界線画像37と称する)を生成し、生成された前照灯有効照射部位境界線画像37を、俯瞰画像2上に重畳表示するようになっている。
また、識別画像表示処理部31は、後尾灯有効照射部位8を識別するための識別画像として、図4に示すように、後尾灯有効照射部位8とそれ以外の部位との境界を示す破線の境界線の画像(以下、後尾灯有効照射部位境界線画像38と称する)を生成し、生成された後尾灯有効照射部位境界線画像38を、俯瞰画像2上に重畳表示するようになっている。
さらに、識別画像表示処理部31は、俯瞰画像2における補助照明有効照射部位9を識別するための識別画像として、図4に示すように、補助照明有効照射部位9とそれ以外の部位との境界を示す破線の境界線の画像(以下、第1補助照明有効照射部位境界線画像39と称する)を生成し、生成された第1補助照明有効照射部位境界線画像39を、俯瞰画像2上に重畳表示するようになっている。
さらにまた、識別画像表示処理部31は、左サイドビュー画像3における補助照明有効照射部位10を識別するための識別画像として、図4に示すように、補助照明有効照射部位10とそれ以外の部位との境界を示す破線の境界線の画像(以下、第2補助照明有効照射部位境界線画像40と称する)を生成し、生成された第2補助照明有効照射部位境界線画像40を、左サイドビュー画像3上に重畳表示するようになっている。
なお、前述したように、自車両の後退時には、俯瞰画像2には、後退灯有効照射部位が含まれることになるが、その場合には、前述した他の有効照射部位7,8,9,10を識別するための境界線の画像37,38,39,40の表示に用いられる方法と同様の方法によって、後退灯有効照射部位を識別するための境界線の画像を、他の境界線の画像37,38,39,40と併せて表示すればよい。なお、図1においては、後退灯は省略されている。
次に、本実施形態の主たる作用について説明する。
本実施形態においては、夜間の路上等の暗所において、ユーザが、照明装置28,29,30を点灯させた状態として入力操作部24を用いて監視用画面1の表示の指示を入力すると、監視用画面表示処理部19によって、車載カメラ12,13,14,15,16による撮影映像がカメラ映像取得部18を介して取得されるとともに、マッピングテーブル記憶部20に記憶されたマッピングテーブル21が読み出される。
そして、監視用画面表示処理部19により、マッピングテーブル21と、車載カメラ12,13,14,15,16による撮影映像とに基づいて、俯瞰画像2が生成され、また、左サイドカメラ14による撮影映像に対するトリミング情報等に基づいて、左サイドビュー画像3が生成される。
さらに、監視用画面表示処理部19により、俯瞰画像2および左サイドビュー画像3が背景画像4と合成されることによって監視用画面1が生成され、生成された監視用画面1がディスプレイ23に表示される。
また、このとき、識別画像表示処理部31により、車両情報取得部25から点灯情報が取得され、取得された点灯情報が、照明装置28,29,30が点灯していることを示すものであることに基づいて、自車両が暗所を走行中であると認識される。
そして、識別画像表示処理部31によって自車両が暗所を走行中であることが認識された後に、識別画像表示処理部31により、有効照射範囲記憶部33に記憶された有効照射範囲の情報が有効照射範囲取得部36を介して取得されることによって、有効照射範囲が把握される。
次いで、識別画像表示処理部31により、有効照射範囲取得部33によって取得された有効照射範囲の情報に基づいて、俯瞰画像2の中から、前照灯有効照射部位7、後尾灯有効照射部位8および補助照明有効照射部位9を抽出するとともに、左サイドビュー画像3の中から、補助照明有効照射部位10を抽出する。
次いで、識別画像表示処理部31により、抽出結果に基づいて、前照灯有効照射部位境界線画像37、後尾灯有効照射部位境界線画像38および第1補助照明有効照射部位境界線画像39を生成して俯瞰画像2上に重畳表示するとともに、第2補助照明有効照射部位境界線画像40を生成して左サイドビュー画像3上に重畳表示する。
このような境界線画像37,38,39,40が表示されることにより、ユーザは、俯瞰画像2および左サイドビュー画像3におけるどの部位が監視範囲の状況を正確に反映しているのかを簡便に判別することができる。
なお、本実施形態の変形例として、有効照射範囲を規定する前述した閾値輝度を、自車両の走行速度の増加にともなって漸次または段階的に増加する値とし、有効照射範囲として、自車両の走行速度の増加にともなう閾値輝度の増加にともなって漸次または段階的に縮小する範囲を用いるようにしてもよい。
このような変形例は、最も簡単な例として、例えば、次の2つのテーブルを用いることによって実現することができる。すなわち、まず、1つ目のテーブルとしては、前述したテーブル34を、このテーブル34内の有効照射範囲を規定するための閾値輝度が、所定の走行速度範囲(例えば、0km/h超過かつ15km/h未満といった一定の広がりを持つ走行速度範囲)と対応関係を有した状態として用意しておく。次に、2つ目のテーブルとしては、前記1つ目のテーブル34と同形式の別のテーブル(以下、別テーブルと称する)として、当該別テーブル内の有効照射範囲を規定するための閾値輝度が前記1つ目のテーブル34よりも高いものを用意しておく。このとき、別テーブル内の有効照射範囲を規定するための閾値輝度は、前記1つ目のテーブル34における閾値輝度に対応する走行速度範囲よりも速い走行速度範囲(例えば、15km/h以上かつ30km/h以下)と対応関係を有するようにしておく。
ここで、前記別テーブル(2つ目のテーブル)内の有効照射範囲の情報は、前記1つ目のテーブル34側よりも有効照射範囲を規定するための閾値輝度が高いことにより、前記1つ目のテーブル34側の有効照射範囲よりも面積が縮小された有効照射範囲を示す情報とすることができる。
例えば、1つ目のテーブル34における前照灯有効照射範囲を、図3に示したように、左フロントカメラ12の撮像面座標点群Aとした場合に、前記別テーブル(2つ目のテーブル)における前照灯有効照射範囲は、図示はしないが、左フロントカメラ12の撮像面座標点群Aよりも面積が縮小された撮像面座標点群A’となる。
そして、自車両が、前記1つ目のテーブル34側に対応する走行速度範囲内の走行速度(低速側)で走行している場合には、前記1つ目のテーブル34側の有効照射範囲を用いて境界線画像37,38,39,40を生成し、一方、自車両が、前記別テーブル側に対応する走行速度範囲内の走行速度(高速側)で走行している場合には、別テーブル側の有効照射範囲を用いて境界線画像を生成すればよい。
このようにすれば、自車両の走行速度の増加にともなって境界線画像の範囲すなわち境界線画像によって識別される範囲を縮小することができるので、安全性をさらに高めることができる。
また、本実施形態の変形例として、図5に示すように、識別画像表示処理部31が、俯瞰画像2上に、識別画像として、境界線画像37,38,39とともに俯瞰画像2における有効照射部位7,8,9およびイラスト画像6(自車両画像)以外の部位を視認不能にするためのマスク画像45を表示し、また、左サイドビュー画像3上に、識別画像として、境界線画像40とともに左サイドビュー画像3における有効照射部位10および映り込み画像3a(自車両画像)以外の部位を視認不能にするためのマスク画像46を表示するようにしてもよい。
このようにすれば、有効照射部位7,8,9,10をさらに明確に識別することができる。
なお、図5においては、説明の便宜上、マスク画像45,46が白抜きになっているが、実際には、黒色等の暗色にすることが暗所における使用の観点から好ましい。
(第2実施形態)
次に、本発明に係る車両周辺監視装置の第2実施形態について、図6乃至図8を参照して説明する。
なお、第1実施形態と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。
図6に示すように、本実施形態における車両周辺監視装置48は、第1実施形態と同様の構成に加え、車載カメラ12,13,14,15,16と識別画像表示処理部31との間に、明るさ検出装置としての明るさ検出部49を有している。
この明るさ検出部49は、各車載カメラ12,13,14,15,16の測光の結果を取得し、取得された測光の結果を用いることによって、自車両の周辺の明るさを検出するようになっている。なお、この明るさ検出部49によって検出される自車両の周辺の明るさは、各車載カメラ12,13,14,15,16の撮影領域の明るさの平均値であってもよい。また、明るさ検出部49によって検出される明るさの単位としては、例えば、照度〔lx〕を用いることができる。
さらに、本実施形態において、識別画像表示処理部31には、周辺範囲記憶部50が接続されており、この周辺範囲記憶部50には、監視範囲における有効照射範囲の周辺の範囲(以下、周辺範囲と称する)の情報が記憶されている。
この周辺範囲の情報は、図7に示すように、有効照射範囲の種類に応じた周辺範囲の類型および周辺範囲が属する監視範囲の方向(換言すれば、車載カメラ12,13,14,15,16の種類)ごとに区分けされたテーブル52形式の情報であってもよい。なお、このテーブル52は、有効照射範囲の情報として図3に示したテーブル34を用いる場合に併用されるものと考えればよい。
ここで、図7のテーブル52には、前照灯有効照射範囲についての周辺範囲の情報として、左フロントカメラ12の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群a)を示す情報と、右フロントカメラ13の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群c)を示す情報とが記述されている。また、テーブル52には、後尾灯照射範囲についての周辺範囲の情報として、バックカメラ16の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群e)を示す情報が記述されている。さらに、テーブル52には、補助照明照射範囲についての周辺範囲の情報として、左フロントカメラ12の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群b)を示す情報と、左サイドカメラ14の撮像面座標系における所定の座標点(画素)の集合(撮像面座標点群d)を示す情報とが記述されている。
また、テーブル52内における「無し」と記述された欄は、この欄に対応する周辺範囲が存在しないことを示している。例えば、前照灯有効照射範囲と後方(バックカメラ)とに対応する欄には、「無し」が記述されているが、これは、自車両の後方の監視範囲内に前照灯有効照射範囲についての周辺範囲が存在しないことを示している。
このような周辺範囲は、照明装置28,29,30および車載カメラ12,13,14,15,16の位置、姿勢および寸法および有効照射範囲の設定範囲等の車両周辺監視装置48の設計に応じて予め設定されたものとされている。
図6に戻って、識別画像表示処理部31は、周辺範囲取得部53を有しており、識別画像表示処理部31は、明るさ検出部49によって検出された自車両の周辺の明るさが所定の閾値明るさ以上となっている場合には、周辺範囲記憶部50に記憶された周辺範囲の情報を、周辺範囲取得部53によって取得するようになっている。
また、識別画像表示処理部31は、複合範囲算出部54を有しており、この複合範囲算出部54は、有効照射範囲取得部33によって取得された有効照射範囲の情報と、周辺範囲取得部53によって取得された周辺範囲の情報とを加算することによって、複合範囲を算出するようになっている。
そして、識別画像表示処理部31は、このような複合範囲を算出した場合には、監視用画面表示処理部19から取得された監視用画面1の中から、複合部位として、車両周辺監視画像における複合範囲の撮影映像を用いて生成された部位を抽出するようになっている。
この複合部位は、第1実施形態において説明した有効照射部位と、その周辺部位とを加え合わせてなる部位とされており、この有効照射部位のうちの周辺部位は、車両周辺監視画像における周辺範囲の撮影映像を用いて生成された部位に相当する。
より具体的には、識別画像表示処理部31は、複合部位として、次のような各複合部位を抽出するようになっている。すなわち、識別画像表示処理部31は、俯瞰画像2の中から、前照灯有効照射範囲およびその周辺範囲からなる複合範囲(以下、前照灯側複合範囲と称する)の撮影映像を用いて生成された複合部位(以下、前照灯側複合部位と称する)を抽出するようになっている。また、識別画像表示処理部31は、俯瞰画像2の中から、後尾灯有効照射範囲およびその周辺範囲からなる複合範囲(以下、後尾灯側複合範囲と称する)の撮影映像を用いて生成された複合部位(以下、後尾灯側複合部位と称する)を抽出するようになっている。さらに、識別画像表示処理部31は、俯瞰画像2の中から、補助照明有効照射範囲およびその周辺範囲からなる複合範囲(以下、補助照明側複合範囲と称する)の撮影映像を用いて生成された複合部位(以下、補助照明側第1複合部位と称する)を抽出するようになっている。さらにまた、識別画像表示処理部31は、左サイドビュー画像3の中から、補助照明有効照射範囲およびその周辺範囲からなる複合範囲(以下、補助照明側複合範囲と称する)の撮影映像を用いて生成された複合部位(以下、補助照明側第2複合部位と称する)を抽出するようになっている。
そして、識別画像表示処理部31は、抽出結果に基づいて、複合部位を識別するための識別画像(第2の識別画像)として、複合部位とそれ以外の部位との境界を示す境界線の画像を生成し、生成された境界線の画像を、車両周辺監視画像上に重畳表示するようになっている。
より具体的には、識別画像表示処理部31は、図8に示すように、前照灯側複合部位57を識別するための境界線の画像として、前照灯側複合部位57とそれ以外の部位との境界を示す破線の境界線の画像(以下、前照灯側複合部位境界線画像62と称する)を生成し、生成された前照灯側複合部位境界線画像62を、俯瞰画像2上に重畳表示するようになっている。
また、識別画像表示処理部31は、図8に示すように、後尾灯側複合部位58を識別するための境界線の画像として、後尾灯側複合部位58とそれ以外の部位との境界を示す破線の境界線の画像(以下、後尾灯側複合部位境界線画像63と称する)を生成し、生成された後尾灯側複合部位境界線画像63を、俯瞰画像2上に重畳表示するようになっている。
さらに、識別画像表示処理部31は、図8に示すように、補助照明側第1複合部位59を識別するための境界線の画像として、補助照明側第1複合部位59とそれ以外の部位との境界を示す破線の境界線の画像(以下、補助照明側第1複合部位境界線画像64と称する)を生成し、生成された補助照明側第1複合部位境界線画像64を、俯瞰画像2上に重畳表示するようになっている。
さらにまた、識別画像表示処理部31は、図8に示すように、補助照明側第2複合部位60を識別するための境界線の画像として、補助照明側第2複合部位60とそれ以外の部位との境界を示す破線の境界線の画像(以下、補助照明側第2複合部位境界線画像65と称する)を生成し、生成された補助照明側第2複合部位境界線画像65を、左サイドビュー画像3上に重畳表示するようになっている。
一方、識別画像表示処理部31は、明るさ検出部49によって検出される自車両の周辺の明るさが閾値明るさ未満となる場合には、複合範囲の算出は行わず、第1実施形態(図4)と同様に有効照射部位を抽出し、抽出された有効照射部位を識別するための識別画像(第1の識別画像)として、抽出された有効照射部位についての境界線画像37,38,39,40を生成して表示するようになっている。
また、本実施形態においても、自車両の後退時には、俯瞰画像2中に、後退灯有効照射部位(図示せず)が含まれることになるが、その場合には、前述した各複合部位57,58,59,60を識別するための境界線の画像62,63,64,65の表示に用いられる方法と同様の方法によって、後退灯有効照射部位とその周辺部位とが加え合わされた後退灯側複合部位を識別するための境界線の画像を、他の境界線の画像62,63,64,65と併せて表示すればよい。
次に、本実施形態に特有の作用について説明する。
本実施形態においては、夜間の路上等の暗所において、ユーザが、照明装置28,29,30を点灯させた状態として入力操作部24を用いて監視用画面1の表示の指示を入力すると、監視用画面表示処理部19により、車載カメラ12,13,14,15,16の撮影映像がカメラ映像取得部18を介して取得されるとともに、マッピングテーブル記憶部20に記憶されたマッピングテーブル21が読み出される。
このとき、明るさ検出部49により、車載カメラ12,13,14,15,16の測光の結果に基づいて、自車両の周辺の明るさが検出される。
次いで、監視用画面表示処理部19により、マッピングテーブル21と、車載カメラ12,13,14,15,16による撮影映像とに基づいて、俯瞰画像2が生成され、また、左サイドカメラ14による撮影映像に対するトリミング処理等により、左サイドビュー画像3が生成される。
さらに、監視用画面表示処理部19により、生成された俯瞰画像2および左サイドビュー画像3が背景画像4と合成されることによって監視用画面1が生成され、生成された監視用画面1がディスプレイ23に表示される。
また、このとき、識別画像表示処理部31により、車両情報取得部25から点灯情報が取得され、取得された点灯情報が、照明装置28,29,30が点灯していることを示すものであることに基づいて、自車両が暗所を走行中であると認識される。
そして、識別画像表示処理部31によって自車両が暗所を走行中であることが認識された後に、識別画像表示処理部31により、有効照射範囲記憶部33に記憶された有効照射範囲の情報が有効照射範囲取得部36を介して取得されることによって、有効照射範囲が把握される。
さらに、このとき、識別画像表示処理部31の周辺範囲取得部53により、明るさ検出部49によって検出された自車両の周辺の明るさが所定の閾値明るさ以上となっていることにともなって、周辺範囲記憶部50に記憶されている周辺範囲の情報が取得される。
次いで、識別画像表示処理部31の複合範囲算出部54により、有効照射範囲の情報と周辺範囲の情報とが加算された複合範囲として、前照灯側複合範囲、後尾灯側複合範囲および補助照明側複合範囲がそれぞれ算出される。
次いで、識別画像表示処理部31により、複合範囲算出部54によって算出された複合範囲に基づいて、俯瞰画像2の中から、前照灯側複合部位57、後尾灯側複合部位58および補助照明側第1複合部位59を抽出するとともに、左サイドビュー画像3の中から、補助照明側第2複合部位60を抽出する。
次いで、図8に示すように、識別画像表示処理部31により、抽出結果に基づいて、前照灯側複合部位境界線画像62、後尾灯側複合部位境界線画像63および補助照明側第1複合部位境界線画像64を生成して俯瞰画像2上に重畳表示するとともに、補助照明側第2複合部位境界線画像65を生成して左サイドビュー画像3上に重畳表示する。
このような境界線画像62,63,64,65が表示されることにより、ユーザは、俯瞰画像2および左サイドビュー画像3におけるどの部位が監視範囲の状況を正確に反映しているのかを簡便に判別することができる。また、実際の自車両の周辺の明るさに応じて境界線画像によって識別される範囲を第1実施形態よりも拡大することができるので、監視範囲の状況をさらに明確に判別することができる。
なお、本実施形態の変形例として、識別画像表示処理部31が、閾値明るさに対する明るさ検出部49によって検出された明るさの超過量の増加にしたがって、複合部位における周辺部位を漸次または段階的に大きくとるようにしてもよい。
このような変形例は、前述した周辺範囲記憶部50に、閾値明るさに対する明るさ検出部49によって検出された明るさの超過量の増加にしたがって大きくなるような周辺範囲を記憶させることによって実現することができる。
より具体的には、最も簡単な例としては、次の2つのテーブルを用いればよい。すなわち、まず、1つ目のテーブルとしては、前述したテーブル52を、このテーブル52内の周辺範囲(図7参照)が、明るさ検出部49によって検出される明るさのうちの所定の明るさの範囲と対応関係を有した状態として用意しておく。ただし、この1つ目のテーブル52内の周辺範囲に対応する前記明るさの範囲は、前記閾値明るさを下限値とした所定の明るさの範囲とする。
次に、2つ目のテーブルとしては、前記1つ目のテーブル52と同形式の別のテーブル(以下、別テーブルと称する)として、図7に示した周辺範囲を包含するような当該周辺範囲よりも面積が拡大された周辺範囲の情報が記述されたテーブルを用意しておく。このとき、前記別テーブル内の周辺範囲が、明るさ検出部49によって検出される明るさのうちの所定の明るさの範囲と対応関係を有するようにしておく。ただし、この別テーブル内の周辺範囲に対応する明るさの範囲は、前記1つ目のテーブル52内の周辺範囲に対応する明るさの範囲における上限値よりもわずか(例えば、1〔lx〕分)に大きな所定の明るさを下限値とした所定の明るさの範囲とする。
そして、明るさ検出部49によって検出された明るさが、前記閾値明るさ以上であって、前記1つ目のテーブル52内の周辺範囲と対応関係を有する明るさの範囲内のものであれば、前記1つ目のテーブル52の周辺範囲を用いて複合範囲の算出、複合部位の抽出および境界線画像の表示を行う。
一方、明るさ検出部49によって検出された明るさが、前記閾値明るさ以上であって、前記別テーブル内の周辺範囲と対応関係を有する明るさの範囲内のものであれば、前記別テーブルの周辺範囲を用いて複合範囲の算出、複合部位の抽出および境界線画像の表示を行えばよい。
このようにすれば、自車両の周辺の明るさの増加にともなって境界線画像の範囲を拡大することができるので、安全性をさらに高めることができる。
また、本実施形態の変形例として、識別画像表示処理部31が、図9に示すように、識別画像(第2の識別画像)として、境界線画像62,63,64,65とともに、車両周辺監視画像2,3における複合部位57,58,59,60および自車両画像3a,6以外の部位を視認不能にするためのマスク画像67,68を生成して表示するようにしてもよい。
このようにすれば、複合部位57,58,59,60をさらに明確に識別することができる。
さらに、明るさ検出部49は、自車両の周辺の明るさを、前述したような1つの検出結果(明るさ)として検出するものに限る必要はなく、例えば、各車載カメラ12,13,14,15,16の撮影領域ごとに個別の明るさを検出するものであってもよい。
そして、このように、撮影領域ごとに個別の明るさを検出する場合には、識別画像表示処理部31は、撮影領域ごとの明るさの検出結果の中に、明るさが所定の閾値明るさ以上となっているような撮影領域がある場合には、当該撮影領域内に属する有効照射範囲についての周辺範囲の情報を、周辺範囲記憶部50から取得するようにすればよい。
このとき、1つの有効照射範囲が2つ以上の車載カメラ12,13,14,15,16の撮影領域内に属することがあるが、このような場合には、いずれか1つでも、撮影領域の明るさの検出結果が閾値明るさ以上となるのであれば、この有効照射範囲の周辺範囲の情報が取得されるようにすればよい。
そして、周辺範囲の情報が取得された有効照射範囲については、複合範囲の算出およびこれに続く複合部位の抽出を行ったうえで、複合部位を識別するための識別画像(第2の識別画像)を表示するようにし、一方、周辺範囲の情報が取得されなかった有効照射範囲については、有効照射範囲を識別するための識別画像(第1の識別画像)を表示するようにすればよい。
以上述べたように、本発明によれば、車両周辺監視画像2,3上に有効照射部位7,8,9,10または複合部位57,58,59,60を識別するための境界線画像37,38,39,40,62,63,64,65を表示することができるので、暗所における車両周辺監視画像2,3の視認性および信頼性を向上させることができ、ひいては、暗所における安全かつ円滑な運転操作を支援することができる。
なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
例えば、車両周辺監視画像2,3は、撮像面座標系からディスプレイ座標系への座標変換を行うことができる方法であれば、マッピングテーブル以外の方法によって生成してもよい。
また、明るさ検出装置として、自車両の周辺の照度を検出する外付けの照度計を用いるようにしてもよい。
本発明に係る車両周辺監視装置の第1実施形態を示すブロック図 本発明に係る車両周辺監視装置の第1実施形態において、マッピングテーブルを示す模式図 本発明に係る車両周辺監視装置の第1実施形態において、有効照射範囲の情報が記述されたテーブルを示す図 本発明に係る車両周辺監視装置の第1実施形態において、識別画像としての境界線画像の表示状態を示す図 本発明に係る車両周辺監視装置の第1実施形態において、変形例としての境界線画像およびマスク画像の表示状態を示す図 本発明に係る車両周辺監視装置の第2実施形態を示すブロック図 本発明に係る車両周辺監視装置の第2実施形態において、周辺範囲の情報が記述されたテーブルを示す図 本発明に係る車両周辺監視装置の第2実施形態において、第2の識別画像としての境界線画像の表示状態を示す図 本発明に係る車両周辺監視装置の第2実施形態において、変形例としての境界線画像およびマスク画像の表示状態を示す図 従来の車両周辺監視画像の表示状態を示す図
符号の説明
11 車両周辺監視装置
12 左フロントカメラ
13 右フロントカメラ
14 左サイドカメラ
15 右サイドカメラ
16 バックカメラ
19 監視用画面表示処理部
28 前照灯
29 後尾灯
30 補助照明装置
31 識別画像表示処理部

Claims (12)

  1. 自車両の周辺における所定の撮影領域を撮影する撮影装置と、
    この撮影装置によって撮影された撮影映像を用いて、自車両の周辺における所定の監視範囲を監視する画像である車両周辺監視画像を生成し、生成された車両周辺監視画像を表示部に表示する車両周辺監視画像表示処理装置と、
    前記監視範囲に対して光を照射する照明装置と、
    前記自車両の暗所の走行の際に、前記監視範囲における前記照明装置の輝度が所定の閾値輝度以上の状態として前記照明装置の光が有効に照射される範囲である有効照射範囲を把握したうえで、前記車両周辺監視画像上に、前記車両周辺監視画像における前記有効照射範囲の撮影映像を用いて生成された部位である有効照射部位を識別するための識別画像を表示する識別画像表示処理装置と
    を備え
    前記車両周辺監視画像に、前記自車両の少なくとも一部を示す自車両画像が含まれており、
    前記識別画像表示処理装置が、前記識別画像として、前記車両周辺監視画像における前記有効照射部位とこれ以外の部位との境界を示す境界線の画像とともに前記車両周辺監視画像における前記有効照射部位および前記自車両画像以外の部位を視認不能にするためのマスク画像を表示するように形成されていることを特徴とする車両周辺監視装置。
  2. 自車両の周辺における所定の撮影領域を撮影する撮影装置と、
    この撮影装置によって撮影された撮影映像を用いて、自車両の周辺における所定の監視範囲を監視する画像である車両周辺監視画像を生成し、生成された車両周辺監視画像を表示部に表示する車両周辺監視画像表示処理装置と、
    前記監視範囲に対して光を照射する照明装置と、
    前記自車両の周辺の明るさを検出する明るさ検出装置と、
    前記自車両の暗所の走行の際に、前記監視範囲における前記照明装置の輝度が所定の閾値輝度以上の状態として前記照明装置の光が有効に照射される範囲である有効照射範囲を把握したうえで、前記明るさ検出装置によって検出された前記自車両の周辺の明るさが所定の閾値明るさ未満となる場合には、前記車両周辺監視画像上に、前記車両周辺監視画像における前記有効照射範囲の撮影映像を用いて生成された部位である有効照射部位を識別するための第1の識別画像を表示し、前記明るさ検出装置によって検出された前記自車両の周辺の明るさが前記閾値明るさ以上となる場合には、前記車両周辺監視画像上に、前記有効照射部位とその周辺部位とが加え合わされた部位である複合部位を識別するための第2の識別画像を表示する識別画像表示処理装置と
    を備えたことを特徴とする車両周辺監視装置。
  3. 前記識別画像表示処理装置が、前記第1の識別画像として、前記車両周辺監視画像における前記有効照射部位とこれ以外の部位との境界を示す第1の境界線の画像を表示し、前記第2の識別画像として、前記車両周辺監視画像における前記複合部位とこれ以外の部位との境界を示す第2の境界線の画像を表示するように形成されていること
    を特徴とする請求項に記載の車両周辺監視装置。
  4. 前記車両周辺監視画像に、前記自車両の少なくとも一部を示す自車両画像が含まれており、
    前記識別画像表示処理装置が、前記第1の識別画像として、前記第1の境界線の画像とともに前記車両周辺監視画像における前記有効照射部位および前記自車両画像以外の部位を視認不能にするための第1のマスク画像を表示するように形成され、前記第2の識別画像として、前記第2の境界線の画像とともに前記車両周辺監視画像における前記複合部位および前記自車両画像以外の部位を視認不能にするための第2のマスク画像を表示するように形成されていること
    を特徴とする請求項に記載の車両周辺監視装置。
  5. 前記明るさ検出装置が、照度計とされていること
    を特徴とする請求項乃至請求項のいずれか1項に記載の車両周辺監視装置。
  6. 前記撮影装置が、前記撮影領域に対する測光を行い、この測光の結果に基づいて露出を決定し、決定された露出の下で前記撮影領域の撮影を行うように形成され、
    前記明るさ検出装置が、前記撮影装置による前記測光の結果を用いて前記自車両の周辺の明るさを検出するように形成されていること
    を特徴とする請求項乃至請求項のいずれか1項に記載の車両周辺監視装置。
  7. 前記識別画像表示処置装置が、前記閾値明るさに対する前記明るさ検出装置によって検出された前記自車両の周辺の明るさの超過量の増加にしたがって、前記周辺部位を漸次または段階的に大きくとるように形成されていること
    を特徴とする請求項乃至請求項のいずれか1項に記載の車両周辺監視装置。
  8. 車両周辺監視装置の設計に応じて一義的に設定された前記有効照射範囲の情報が記憶された有効照射範囲記憶装置を備え、
    前記識別画像表示処理装置が、前記有効照射範囲記憶装置に記憶された情報を取得することによって、前記有効照射範囲を把握するように形成されていること
    を特徴とする請求項1乃至請求項のいずれか1項に記載の車両周辺監視装置。
  9. 前記閾値輝度が、前記自車両の走行速度の増加にともなって漸次または段階的に増加する値とされ、
    前記有効照射範囲が、前記自車両の走行速度の増加にともなう前記閾値輝度の増加にともなって漸次または段階的に縮小する範囲とされていること
    を特徴とする請求項1乃至請求項のいずれか1項に記載の車両周辺監視装置。
  10. 前記識別画像表示処理装置が、前記照明装置が点灯していることに基づいて前記自車両が暗所を走行していることを認識するように形成されていること
    を特徴とする請求項1乃至請求項のいずれか1項に記載の車両周辺監視装置。
  11. 前記車両周辺監視画像が、前記自車両およびその周辺を前記自車両の上方から見下ろした俯瞰画像を含むこと
    を特徴とする請求項1乃至請求項10のいずれか1項に記載の車両周辺監視装置。
  12. 前記車両周辺監視画像が、前記自車両の前側方を監視する画像であるサイドビュー画像を含むこと
    を特徴とする請求項1乃至請求項11のいずれか1項に記載の車両周辺監視装置。
JP2007152684A 2007-06-08 2007-06-08 車両周辺監視装置 Active JP4927647B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007152684A JP4927647B2 (ja) 2007-06-08 2007-06-08 車両周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007152684A JP4927647B2 (ja) 2007-06-08 2007-06-08 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2008306546A JP2008306546A (ja) 2008-12-18
JP4927647B2 true JP4927647B2 (ja) 2012-05-09

Family

ID=40234852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007152684A Active JP4927647B2 (ja) 2007-06-08 2007-06-08 車両周辺監視装置

Country Status (1)

Country Link
JP (1) JP4927647B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
JP5548002B2 (ja) 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
JP5592138B2 (ja) 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
WO2013046358A1 (ja) 2011-09-28 2013-04-04 トヨタ自動車株式会社 車輌側域照明/視認手段を備えた車輌
JP6213727B2 (ja) * 2013-09-25 2017-10-18 株式会社富士通ゼネラル 画像データ変換装置並びに運転支援装置およびナビゲーション装置およびカメラ装置
KR102632092B1 (ko) * 2018-09-03 2024-02-02 현대자동차주식회사 차량 및 그 제어방법
EP3836537A1 (de) 2019-12-09 2021-06-16 ZKW Group GmbH System zur überwachung der umgebung eines kraftfahrzeuges
JP2023071247A (ja) * 2021-11-11 2023-05-23 パナソニックIpマネジメント株式会社 光源ユニット及び車両

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146389A (ja) * 1997-11-04 1999-05-28 Nissan Motor Co Ltd 表示装置
JP2004254044A (ja) * 2003-02-19 2004-09-09 Denso Corp 運転支援方法、表示システム及び報知システム
JP4556777B2 (ja) * 2005-06-15 2010-10-06 株式会社デンソー 夜間運転視界支援装置

Also Published As

Publication number Publication date
JP2008306546A (ja) 2008-12-18

Similar Documents

Publication Publication Date Title
JP4927647B2 (ja) 車両周辺監視装置
JP5680573B2 (ja) 車両の走行環境認識装置
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
JP4491453B2 (ja) 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置
JP2007142624A (ja) 車両搭載撮像装置
JP5629521B2 (ja) 障害物検知システム及び方法、障害物検知装置
JP2005350010A (ja) ステレオ式車外監視装置
CN110087946B (zh) 车辆用照明系统和车辆
JP2010223685A (ja) 車両用撮像装置
JP2009071789A (ja) 車両周辺監視システム
JP2014127924A (ja) 暗視装置
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
JP4735090B2 (ja) 赤外画像撮像装置
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP5712821B2 (ja) 撮影表示制御システム
JP2006311216A (ja) 車両周辺監視システム
JP2005178576A (ja) 車両周辺監視装置
JP2016076912A (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP6322723B2 (ja) 撮像装置および車両
JP2002308014A (ja) 車両用周辺視認装置
JP7295645B2 (ja) 車両用道路標識認識支援装置
JP2008193504A (ja) 暗視装置
JP4376050B2 (ja) 車両周辺監視装置
JP2013009041A (ja) 車両用撮影表示制御システム
CN104702832A (zh) 一种汽车安防监控摄像的成像方法及其设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4927647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150