JP3819284B2 - 車両周囲監視装置 - Google Patents

車両周囲監視装置 Download PDF

Info

Publication number
JP3819284B2
JP3819284B2 JP2001364985A JP2001364985A JP3819284B2 JP 3819284 B2 JP3819284 B2 JP 3819284B2 JP 2001364985 A JP2001364985 A JP 2001364985A JP 2001364985 A JP2001364985 A JP 2001364985A JP 3819284 B2 JP3819284 B2 JP 3819284B2
Authority
JP
Japan
Prior art keywords
image
obstacle
vehicle
warning
monitoring apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001364985A
Other languages
English (en)
Other versions
JP2003169323A (ja
Inventor
亮太 河内
透 大木
博隆 岩野
徳行 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2001364985A priority Critical patent/JP3819284B2/ja
Publication of JP2003169323A publication Critical patent/JP2003169323A/ja
Application granted granted Critical
Publication of JP3819284B2 publication Critical patent/JP3819284B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両周囲監視装置に関し、より詳細には、車両周囲の状況を運転者が容易に把握できるように、複数のカメラにより撮像された画像を合成して画像表示手段に表示する車両周囲監視装置に関する。
【0002】
【従来の技術】
従来から、車両近傍および路面状況等を撮像するカメラを車両に備え、撮像された車両周囲の画像をディスプレイ(画像表示手段)に表示することによって運転者に対して車両周囲の情報を容易に認識させ、運行の安全を図ることを目的とした車両周囲監視装置が知られている。
【0003】
更に今日では、複数のカメラにより撮像された画像を画像処理することによって、車両上方の仮想視点から見下ろした画像を合成する方法が知られている(特開平3−99952号公報参照)。このような画像変換処理(以下「俯瞰処理」という。)を用いてディスプレイに車両周囲の情報を表示させると、カメラによって撮像された画像をそのままディスプレイに表示させる場合に比べて、運転者が車両周囲の距離感を感覚的に把握し易くなり、より運行上の安全性を高めることが可能となる。
【0004】
図11は俯瞰処理を行う車両周囲監視装置の構成を示したブロック図である。車両周囲監視装置3は、車両1の後部の左右コーナー部分に設置されたカメラ2a、2bと(図12参照)、カメラ2a、2bから入力された画像を俯瞰処理して出力画像に画像変換する画像処理装置4と、出力画像を表示する画像表示部5とを備えている。
【0005】
画像処理装置4は、デコーダ6、7と、画像変換部8と、画像重畳部9と、ROM10と、エンコーダ11とを有している。カメラ2a、2bにより撮像された入力画像は、デコーダ6、7によってデコード及びA/D変換されて画像変換部8に送られる。画像変換部8は、いわゆるポイント・トゥ・ポイント法によりカメラ2a、2bからの入力画像を合成画像へと変換処理するが、この変換処理の概念を図13ないし図15を用いて説明する。
【0006】
図13に示すように、カメラ2a、2bにより障害物12が撮像された場合には、カメラ2a、2bの撮像範囲13、14に対応した俯瞰画像15、16を考えることができる。図14に示すように、合成画像17は、その俯瞰画像15と俯瞰画像16との重複する部分のうち俯瞰画像15の領域15aと俯瞰画像16の領域16aとを削除し、俯瞰画像15の残りの領域15bと俯瞰画像16の残りの領域16bとを境界線18でつなぎ合わせることによって生成される。ここで、図13において、符号12aはカメラ2aに対応する俯瞰画像15における障害物12の像を示し、符号12bはカメラ2bに対応する俯瞰画像16における障害物12の像を示している。また、図14において符号12cは、合成画像17に表れた障害物12の像を示している。
【0007】
画像変換部8によって合成画像17への画像変換が行われた後に、画像重畳部9は、ROM10に記憶された画像重畳情報に基づいて合成画像17に所定の画像パターンを重畳させて出力画像を生成する。出力画像はエンコーダ11においてD/A変換及びエンコードされた後に画像表示部5に表示される。
【0008】
図15は、画像表示部5に表示された出力画像を示したものである。この出力画像19には、車両周囲の俯瞰画像のほか、画像重畳部9により重畳された車両1の画像パターン(自車画像パターン)1’とつなぎ目マスクパターン(つなぎ目画像パターン)20とが表示されている。つなぎ目マスクパターン20は、領域15bと領域16bとのつなぎ目(境界線18)を隠すために重畳される。
【0009】
この車両周囲監視装置3では、運転者が出力画像19を画像表示部5で確認することによって、車両周囲の状況を容易かつ正確に判断することが可能となる。
【0010】
また、上述した車両周囲監視装置とは別に、車両後方の障害物等の有無判断を支援するシステムとして、例えば車両後方のバンパー部分に超音波センサを備え、車両後退時に超音波センサが障害物を検出すると警告音を発することによって運転者に注意を促す後方警告装置が存在する。
【0011】
【発明が解決しようとする課題】
しかしながら、上記車両周囲監視装置3では、出力画像のつなぎ目マスクパターン20の部分に死角が生じてしまう。具体的には、図16(a)、(b)に示すように、車両1の後方に直立する障害物12が存在し、この障害物12が出力画像19のつなぎ目マスクパターン20に対応する撮像領域に位置する場合には、出力画像19には図17に示すように障害物12の地面近傍部分の像21しか表示されず、障害物12のより上方の部分は表示されない。このため、この領域に障害物12が位置する場合には、運転者が画像表示部5に表示される出力画像19に基づいて障害物12を判断することが困難であるという問題があった。
【0012】
また、このような問題を解決する一つの手段として、カメラ2a、2bからの入力画像を高速演算して車両上方から斜め方向へ見下ろした仮想視点画像に変換することにより、人間が上方から斜めに地面を見下ろした画像に近似した広画角の画像をディスプレイに表示させる方法が提案されている(特願2000−271281号等)。
【0013】
この処理方法を用いてカメラ2a、2bからの入力画像の画像処理を行うと、障害物12を三次元的に表示させることが可能となるので運転者が障害物12を認識し易くなるが、この処理方法を車両周囲監視装置において実現するためには高速な演算処理装置等が必要となり、コストの大幅な増加を招くので容易に用いることができないという問題があった。
【0014】
一方、超音波センサを用いた上記後方警告装置では、障害物の存在を検出することはできるものの、自車に対する障害物の位置を運転者が正確に把握することが困難であった。
【0015】
本発明は、上記の事情に鑑みて為されたもので、画像表示手段に表示される出力画像の死角となる撮像領域に存在する障害物を、簡易かつ正確に運転者に認識させることができる車両周囲監視装置を提供することを課題としている。
【0016】
【課題を解決するための手段】
上記課題を解決するために、請求項1の発明は、車両周囲の画像を撮像する複数のカメラと、該複数のカメラにより撮像された入力画像を合成して出力画像を生成する画像処理手段と、該画像処理手段により生成された出力画像を表示する画像表示手段とを備える車両周囲監視装置であって、前記入力画像の合成時に画像のつなぎ目となり前記出力画像の死角となる撮像領域に存在する障害物を検出する障害物検出手段と、該障害物検出手段により障害物が検出された場合に、運転者に対して警告を行う警告手段とを備えていることを特徴とする。
【0017】
請求項2の発明は、請求項1に記載の車両周囲監視装置において、前記警告手段が、前記画像表示手段を用いて視覚的な警告を行うことを特徴とする。
【0018】
請求項3の発明は、請求項2に記載の車両周囲監視装置において、前記画像処理手段が、前記出力画像上の前記画像のつなぎ目に対応する位置につなぎ目画像パターンを生成し、前記警告手段が、前記障害物検出手段により障害物が検出された場合に、前記画像表示手段に表示される前記つなぎ目画像パターンを点滅させることを特徴とする。
【0019】
請求項4の発明は、請求項2に記載の車両周囲監視装置において、前記障害物検出手段が、前記障害物を検出したときに該障害物までの離間距離を検出し、前記警告手段が、前記障害物検出手段により障害物が検出された場合に、前記画像処理手段に対して前記障害物検出手段により検出された離間距離に対応させて障害物の画像パターンを生成させ、該障害物の画像パターンを含む出力画像が前記画像表示手段に表示されることによって、前記視覚的な警告が行われることを特徴とする。
【0020】
請求項5の発明は、請求項2に記載の車両周囲監視装置において、前記画像処理手段が、複数の入力画像に含まれる同一の撮像領域について、それぞれの入力画像の画素情報を交互に用いることによって出力画像を生成する画像処理機能を備え、前記警告手段が、前記障害物検出手段により障害物が検出された場合に、前記画像処理手段に対して前記画像処理機能により出力画像を生成させ、前記画像処理機能により生成された出力画像が前記画像表示手段に表示されることによって、前記視覚的な警告が行われることを特徴とする。
【0021】
請求項6の発明は、請求項1ないし請求項5のいずれか1項に記載の車両周囲監視装置において、警告音を発生する警告音発生手段を更に備え、前記警告手段が、前記障害物検出手段により障害物が検出された場合に、前記警告音発生手段に対して警告音を発生させることによって聴覚的な警告を行うことを特徴とする。
【0022】
請求項7の発明は、請求項1ないし請求項6のいずれか1項に記載の車両周囲監視装置において、前記障害物検出手段が超音波センサであるとともに、その放出する超音波の指向性の中心が前記画像のつなぎ目となる撮像領域に向くように車両に設置されていることを特徴とする。
【0023】
請求項8の発明は、請求項1ないし請求項6のいずれか1項に記載の車両周囲監視装置において、前記障害物検出手段が電波レーダーであるとともに、その放出する電波の指向性の中心が前記画像のつなぎ目となる撮像領域に向くように車両に設置されていることを特徴とする。
【0024】
請求項9の発明は、請求項1ないし請求項6のいずれか1項に記載の車両周囲監視装置において、前記障害物検出手段が赤外線センサであるとともに、その放出する赤外線の指向性の中心が前記画像のつなぎ目となる撮像領域に向くように車両に設置されていることを特徴とする。
【0025】
【発明の実施の形態】
本発明の実施の形態に係る車両周囲監視装置を図面に基づいて説明する。
【0026】
[実施例1]
図1は、実施例1に係る車両周囲監視装置の構成を示したブロック図である。車両周囲監視装置25は、車両後部に設置されたカメラ26、27と、画像表示手段としての画像表示部28と、車両後方の障害物を検出する超音波センサ29と、警告音発生手段としての警告音発生装置30と、カメラ26、27により撮像された画像を画像処理して画像表示部28へ出力する画像処理装置31とを備えている。
【0027】
カメラ26、27は、図2に示すように、車両32の後部の左右コーナー部分に設置されている。
【0028】
超音波センサ29は、カメラ26とカメラ27との中間点に設けられており、車両32の車幅方向に対して角度θだけ傾けて設置されている。ここで、角度θは、超音波センサ29が放出する超音波の指向性の中心が、入力画像の合成時に画像のつなぎ目となる撮像領域(後述する出力画像上のつなぎ目マスクパターン付近に対応する実空間における撮像領域)に向くように設定されている。また、超音波センサ29は、その角度θの方向を中心として、ある程度の広がりを持った範囲29aにおける障害物の有無を検出することが可能となっている。
【0029】
画像表示部28は、一般的なディスプレイ(モニタ)であって、運転者が運転時に視認し易い位置、具体的にはインストルメントパネル等に設置されている。また、警告音発生装置30も運転者が運転時に警告音発生の有無を判断し易い位置、例えば、車室内の運転席まわりに設けられている。
【0030】
画像処理装置31は、カメラ26、27から入力されたNTSC信号またはPAL信号をRGB信号にデコードし、そのRGB信号をA/D変換してデジタル信号化するデコーダ33、34と、デコーダ33、34でデジタル信号化された入力画像に基づいて俯瞰処理された合成画像を生成する画像変換部35と、超音波センサ29の検出結果に基づいて警告音発生装置30の制御等を行う信号処理部36と、重畳処理を行うための重畳画像パターンを記憶するROM37と、ROM37に記憶された重畳画像パターンを合成画像に重畳させて出力画像を生成する画像重畳部38と、出力画像をD/A変換した後にNTSC信号またはPAL信号へとエンコードするエンコーダ39とを備えている。この実施の形態では、その画像変換部35、ROM37及び画像重畳部38が画像処理手段として機能し、信号処理部36が警告手段として機能する。
【0031】
カメラ26及びカメラ27によって撮像された入力画像は、デコーダ33、34でデジタルRGBデータに変換されて画像変換部35に送信される。画像変換部35は、入力画像の画素情報と合成画像の画素情報との対応関係が記録された変換テーブルを備えており、この変換テーブルに基づいて二つの入力画像から一つの合成画像を生成する。
【0032】
画像変換部35により生成された合成画像には、ROM37に記憶された重畳画像パターン(自車画像パターンやつなぎ目マスクパターン等)が画像重畳部38によって重畳され、この重畳処理を経て出力画像が生成される。その後、出力画像は、エンコーダ39を介して図3に示すように画像表示部28に表示される。なお、図3において、符号22はその出力画像を、符号32’は自車画像パターンを、符号40はつなぎ目マスクパターンを、符号φはつなぎ目マスクパターン40が自車画像パターン32’の車幅方向に対してなす角度を示す。
【0033】
画像処理装置31は、上述した変換テーブルに基づくポイント・トゥ・ポイント法による画像変換処理をリアルタイムで実行する。カメラ26、27による画像のつなぎ目となり出力画像22の死角となる撮像領域(カメラ26、27の中間位置付近)に障害物が存在せず、他の撮像領域に障害物が存在する場合には、その障害物は出力画像22に表示されるので、運転者は画像表示部28を見ているだけで障害物の存在を容易かつ正確に認識することができる。
【0034】
一方、図4に示すように、その出力画像22の死角となる撮像領域に障害物41が存在する場合には、超音波センサ29が障害物41を検出する。すなわち、この実施の形態では、超音波センサ29がその放出する超音波の指向性の中心を上記画像のつなぎ目となる撮像領域に向けて配置され、超音波センサ29の設置角度θとつなぎ目マスクパターン40のなす角度φとが同一であり、これにより超音波センサ29の有効範囲29aが出力画像22において死角となる範囲をカバーし、超音波センサ29が死角に位置する障害物を感度良く検出する。
【0035】
障害物41を検出した超音波センサ29は、障害物を検出した旨の信号を信号処理部36に送信する。信号処理部36は超音波センサ29からの信号を受信して警告音発生装置30に警告音を発するように指示を出すと共に、画像重畳部38に対してつなぎ目マスクパターン40を点滅させるように指示を出す。警告音発生装置30は信号処理部36の指示に従って警告音を発生し、画像重畳部38は信号処理部36の指示に従って異なった色のつなぎ目マスクパターン40を一定時間毎に交互に重畳することにより、画像表示部28に表示されるつなぎ目マスクパターン40を点滅させて障害物41の存在を運転者に認識させる。なお、障害物41の像は出力画像22において例えば図5に符号41aで示すように表示されるが、この点については従来技術として既に述べたので説明を省略する。
【0036】
この実施例1に係る車両周囲監視装置では、障害物41が出力画像22の死角以外の位置に存在する場合には、運転者は出力画像22に表示された障害物を画像表示部28で確認することによって、障害物の有無及びその位置を容易かつ正確に判断することができる。また、障害物41が出力画像22の死角に入ってしまう場合にも、警告音が発生すると共につなぎ目マスクパターン40が点滅するので、運転者は車両後方に障害物が存在することを容易に認識することが可能となる。
【0037】
また、実施例1に係る車両周囲監視装置は、高速な演算処理装置を必要としないので、コストの大幅な増加を回避し簡易に実施することが可能である。
【0038】
なお、実施例1においては、つなぎ目マスクパターン40が点滅することにより運転者に障害物の存在を知らせることとしたが、このつなぎ目マスクパターン40の点滅はモノクロ画像を用いたものであっても、カラー画像を用いたものであっても良い。
【0039】
[実施例2]
本実施例に係る車両周囲監視装置は、実施例1に係る車両周囲監視装置と同様な構成を有するが、画像変換部35が障害物を検出した旨の信号を信号処理部36から受信した場合に、混合方式を用いて合成画像を生成する点で実施例1に係る車両周囲監視装置と相違する。
【0040】
ここで、混合方式とは、複数の入力画像に含まれる同一の撮像領域について、それぞれの入力画像の画素情報を交互に用いることによって合成画像(あるいは出力画像)を生成する方法である。具体的には、カメラ26、27により図6(a)に示すように障害物41が撮像されたとき、カメラ26、27の撮像範囲50、51に対応した俯瞰画像52、53には同一の撮像領域(障害物41が存在する領域)に関する領域52a、53aがそれぞれ含まれる。そして、その俯瞰画像52、53を合成する際に、上記同一の撮像領域については領域52aの画素情報と領域53aの画素情報とを一定の規則に従って交互に採用し、同図(b)に示すような合成画像54を生成する。この実施の形態では、合成画像54の領域54aには俯瞰画像52の領域52b(俯瞰画像52の領域52aを除いた領域)の画素情報がそのまま用いられ、合成画像54の領域54bには俯瞰画像53の領域53b(俯瞰画像53の領域53aを除いた領域)の画素情報がそのまま用いられる。また、俯瞰画像54の領域54cには領域52aの画素情報52a’と領域53aの画素情報53a’とが一つずつ交互に用いられ、これにより二重には見えるものの障害物41の存在を合成画像54上で確認することができる。
【0041】
この実施例2に係る車両周囲監視装置では、障害物が出力画像の死角以外の撮像領域に存在する場合には、実施例1と同様に出力画像に障害物の像が表示されるので、運転者は画像表示部28を見ることにより障害物の存在を容易かつ正確に認識することができる。
【0042】
一方、障害物が出力画像の死角となる撮像領域に入ってこれを超音波センサ29が検出すると、超音波センサ29は信号処理部36に対して障害物が存在する旨の信号を送信し、信号処理部36は制御信号を画像変換部35に送信し、画像変換部35は混合方式を用いて合成画像を生成し、図7に示すような出力画像55が画像表示部28に表示される。この出力画像55において、障害物41は像41bとして二重に映り込むことになるが、左右のカメラで撮像された障害物が出力画像に確実に表れるので、運転者は障害物の存在をはっきりと認識することができると共に、障害物の方向、位置を把握することができる。この場合、実施例1と同様に警告音発生装置30によって警告音を発生させ、障害物に対する注意をより積極的に運転者に促すことも可能である。
【0043】
[実施例3]
本実施例に係る車両周囲監視装置も、実施例1に係る車両周囲監視装置と同様な構成を有するが、超音波センサ29が障害物までの離間距離を検出し、信号処理部36がその離間距離に応じて画像重畳部38に障害物の位置を示す重畳画像パターンを重畳させる点で実施例1に係る車両周囲監視装置と相違する。
【0044】
すなわち、この実施例3に係る車両周囲監視装置では、障害物が出力画像の死角以外の撮像領域に存在する場合には、実施例1と同様に出力画像に障害物の像が表示されるので、運転者は画像表示部28を見ることにより障害物の存在を容易かつ正確に認識することができる。
【0045】
一方、障害物が出力画像の死角となる撮像領域に入ってこれを超音波センサ29が検出すると、超音波センサ29は信号処理部36に対して障害物までの離間距離情報を障害物が存在する旨の信号として送信し、信号処理部36は制御信号を画像重畳部38に送信する。画像重畳部38は障害物までの離間距離に応じて、ROM37から重畳画像パターン(障害物の画像パターン)を読み出し合成画像に重畳させる。
【0046】
図8(a)は、超音波センサ29(あるいは車両32)から障害物までの離間距離が離れている場合に画像表示部28に表示される出力画像を示した図であり、図8(b)は、その離間距離が近い場合に画像表示部28に表示される出力画像を示した図である(各出力画像には符号56を付す。)。
【0047】
図8(a)及び図8(b)に示すように、超音波センサ29の測定有効範囲を示す重畳画像パターン29bと障害物の存在する範囲(障害物が存在する位置を含む範囲)を示す重畳画像パターン41cとを、超音波センサ29によって検出された障害物までの離間距離に対応させて画像表示部28に表示させることによって、運転者は、障害物の位置を容易に把握することができるだけではなく、測定有効範囲の重畳画像パターン29bによって障害物の存在する角度を推認することが可能となる。
【0048】
なお、図8(a)及び図8(b)には、重畳画像パターンとして、超音波センサ29の測定有効範囲29bと障害物の画像パターン41cとの両方が表示されているが、超音波センサ29の測定有効範囲29bは必須のものではなく、障害物の画像パターン41cのみを重畳させた場合であっても運転者は障害物の存在を認識することができる。また、運転者に注意を喚起させるために障害物の画像パターン41cを点滅させても良い。
【0049】
以上、図面を用いて本発明に係る車両周囲監視装置について説明を行ったが、本発明は実施例1〜実施例3に記載したものに限定されるものではない。例えば、実施例1〜実施例3に記載の車両周囲監視装置では、カメラを2台用いて説明を行ったが、カメラが3台以上であってもよい。
【0050】
図9は、車両32の後部に3台のカメラ43、44、45を備えた車両周囲監視装置を説明するための図である。このような車両周囲監視装置を用いた場合には、図10に示すように、出力画像においてつなぎ目マスクパターン40a、40bが重畳される。つなぎ目マスクパターン40a、40bが車両前後方向に対してθ’、φ’の角度で重畳される場合には、2つの超音波センサ46、47も同様にθ’、φ’の角度で車両32に取り付ける必要がある。一般的に、n台のカメラを用いる場合には、超音波センサを(n−1)個設置する必要がある。
【0051】
また、実施例1〜実施例3に示した車両周囲監視装置の画像変換は、全て車両の上方から垂直に真下を見下ろした視点の画像であったが、必ずしも垂直に見下ろした出力画像に限定されるものではなく、車両上方から斜めに見下ろした出力画像であっても良い。
【0052】
さらに、実施例1〜実施例3に記載の車両周囲監視装置では、超音波センサ29を用いて障害物を検出したが、障害物を検出することができるものであれば超音波センサだけに限定されるものではなく、電波レーダーや赤外線反射型のセンサ等を用いたものであっても良い。この際には、電波レーダーが放出する電波の指向性の中心や赤外線センサが放出する赤外線の指向性の中心が画像のつなぎ目となる撮像領域を向くように、電波レーダーや赤外線センサを車両に取り付ける。
【0053】
【発明の効果】
以上説明したように、本発明に係る車両周囲監視装置によれば、障害物が出力画像の死角とならない撮像領域にある場合には、運転者が画像表示手段により障害物を容易かつ正確に認識することができ、障害物が出力画像の死角となる撮像領域に入った場合でも、画像表示手段に表示される出力画像の重畳画像パターンが点滅・変更することにより、又は警告音発生手段による警告音が発生することにより、運転者は車両後方に障害物が存在することを容易に認識することができる。
【0054】
また、本発明に係る車両周囲監視装置は高速な演算処理装置等を用いる必要がないので、コストの大幅な増加を回避し簡易に実施することができる。
【図面の簡単な説明】
【図1】本発明に係る車両周囲監視装置を示すブロック図である。
【図2】実施例1に係る車両周囲監視装置を備えた車両の後部を示した平面図である。
【図3】実施例1に係る車両周囲監視装置の画像表示部に表示される車両後方に障害物が無いときの出力画像を示した図である。
【図4】実施例1に係る車両周囲監視装置を備えた車両の後方に障害物が存在する場合の超音波センサの検出範囲を示した平面図である。
【図5】実施例1に係る車両周囲監視装置の画像表示部に表示される車両後方に障害物が存在ときの出力画像を示した図である。
【図6】実施例2に係る車両周囲監視装置の画像合成方法を説明するための図であって、(a)は各カメラによる俯瞰画像を示し、(b)はこの合成方法により得られる合成画像を示したものである。
【図7】実施例2に係る車両周囲監視装置の画像表示部に表示される車両後方に障害物が存在ときの出力画像を示した図である。
【図8】実施例3に係る車両周囲監視装置の画像表示部に表示される出力画像であって、(a)は車両後方から遠い位置に障害物が存在ときの出力画像を示した図であり、(b)は車両後方から近い位置に障害物が存在ときの出力画像を示した図である。
【図9】本発明に係る車両周囲監視装置を備える車両後部にカメラが3台設置された車両を示した平面図である。
【図10】本発明に係る車両周囲監視装置を備える車両後部にカメラが3台設置されたときに画像表示部に表示される出力画像を示した平面図である。
【図11】従来の車両周囲監視装置を備えた車両を示した平面図である。
【図12】従来の車両周囲監視装置を示すブロック図である。
【図13】従来の車両周囲監視装置における画像処理部の俯瞰処理を説明するための図である。
【図14】従来の車両周囲監視装置における画像処理部により作成される出力画像を示した図である。
【図15】従来の車両周囲監視装置の画像表示部に表示される車両後方に障害物が存在しないときの出力画像を示した図である。
【図16】従来の車両周囲監視装置を備えた車両の後部に設置されたカメラ及び超音波センサを示した図であって、(a)は平面図を示し、(b)は車両の側面方向から見た図を示したものである。
【図17】従来の車両周囲監視装置の画像表示部に表示される車両後方に障害物が存在するときの出力画像を示した図である。
【符号の説明】
25 車両周囲監視装置
26、27 カメラ
28 画像表示部(画像表示手段)
29 超音波センサ
30 警告音発生装置(警告音発生手段)
31 画像処理装置
33、34 デコーダ
35 画像変換部
36 信号処理部(警告手段)
38 画像重畳部
37 ROM
39 エンコーダ
40 つなぎ目マスクパターン(つなぎ目画像パターン)

Claims (9)

  1. 車両周囲の画像を撮像する複数のカメラと、該複数のカメラにより撮像された入力画像を合成して出力画像を生成する画像処理手段と、該画像処理手段により生成された出力画像を表示する画像表示手段とを備える車両周囲監視装置であって、
    前記入力画像の合成時に画像のつなぎ目となり前記出力画像の死角となる撮像領域に存在する障害物を検出する障害物検出手段と、
    該障害物検出手段により障害物が検出された場合に、運転者に対して警告を行う警告手段とを備えていることを特徴とする車両周囲監視装置。
  2. 前記警告手段は、前記画像表示手段を用いて視覚的な警告を行うことを特徴とする請求項1に記載の車両周囲監視装置。
  3. 前記画像処理手段は、前記出力画像上の前記画像のつなぎ目に対応する位置につなぎ目画像パターンを生成し、
    前記警告手段は、前記障害物検出手段により障害物が検出された場合に、前記画像表示手段に表示される前記つなぎ目画像パターンを点滅させることを特徴とする請求項2に記載の車両周囲監視装置。
  4. 前記障害物検出手段は、前記障害物を検出したときに該障害物までの離間距離を検出し、
    前記警告手段は、前記障害物検出手段により障害物が検出された場合に、前記画像処理手段に対して前記障害物検出手段により検出された離間距離に対応させて障害物の画像パターンを生成させ、
    該障害物の画像パターンを含む出力画像が前記画像表示手段に表示されることによって、前記視覚的な警告が行われることを特徴とする請求項2に記載の車両周囲監視装置。
  5. 前記画像処理手段は、複数の入力画像に含まれる同一の撮像領域について、それぞれの入力画像の画素情報を交互に用いることによって出力画像を生成する画像処理機能を備え、
    前記警告手段は、前記障害物検出手段により障害物が検出された場合に、前記画像処理手段に対して前記画像処理機能により出力画像を生成させ、
    前記画像処理機能により生成された出力画像が前記画像表示手段に表示されることによって、前記視覚的な警告が行われることを特徴とする請求項2に記載の車両周囲監視装置。
  6. 警告音を発生する警告音発生手段を更に備え、
    前記警告手段は、前記障害物検出手段により障害物が検出された場合に、前記警告音発生手段に対して警告音を発生させることによって聴覚的な警告を行うことを特徴とする請求項1ないし請求項5のいずれか1項に記載の車両周囲監視装置。
  7. 前記障害物検出手段が超音波センサであるとともに、その放出する超音波の指向性の中心が前記画像のつなぎ目となる撮像領域に向くように車両に設置されていることを特徴とする請求項1ないし請求項6のいずれか1項に記載の車両周囲監視装置。
  8. 前記障害物検出手段が電波レーダーであるとともに、その放出する電波の指向性の中心が前記画像のつなぎ目となる撮像領域に向くように車両に設置されていることを特徴とする請求項1ないし請求項6のいずれか1項に記載の車両周囲監視装置。
  9. 前記障害物検出手段が赤外線センサであるとともに、その放出する赤外線の指向性の中心が前記画像のつなぎ目となる撮像領域に向くように車両に設置されていることを特徴とする請求項1ないし請求項6のいずれか1項に記載の車両周囲監視装置。
JP2001364985A 2001-11-29 2001-11-29 車両周囲監視装置 Expired - Lifetime JP3819284B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001364985A JP3819284B2 (ja) 2001-11-29 2001-11-29 車両周囲監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001364985A JP3819284B2 (ja) 2001-11-29 2001-11-29 車両周囲監視装置

Publications (2)

Publication Number Publication Date
JP2003169323A JP2003169323A (ja) 2003-06-13
JP3819284B2 true JP3819284B2 (ja) 2006-09-06

Family

ID=19175087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001364985A Expired - Lifetime JP3819284B2 (ja) 2001-11-29 2001-11-29 車両周囲監視装置

Country Status (1)

Country Link
JP (1) JP3819284B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3932127B2 (ja) * 2004-01-28 2007-06-20 マツダ株式会社 車両用画像表示装置
JP4590962B2 (ja) * 2004-07-21 2010-12-01 日産自動車株式会社 車両用周辺監視装置
JP4639753B2 (ja) 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
JP4830380B2 (ja) * 2005-07-13 2011-12-07 日産自動車株式会社 車両周辺監視装置及び車両周辺監視方法
JP4810919B2 (ja) * 2005-08-01 2011-11-09 日産自動車株式会社 車両周辺監視装置
JP4725233B2 (ja) * 2005-08-02 2011-07-13 日産自動車株式会社 俯瞰画像表示システム
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
JP4736611B2 (ja) * 2005-08-10 2011-07-27 日産自動車株式会社 画像処理装置および画像処理方法
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
WO2007129582A1 (ja) 2006-05-09 2007-11-15 Nissan Motor Co., Ltd. 車両周辺画像提供装置及び車両周辺画像提供方法
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
JP2012040883A (ja) * 2008-12-19 2012-03-01 Panasonic Corp 車両周囲画像生成装置
US8442502B2 (en) * 2010-03-02 2013-05-14 Empire Technology Development, Llc Tracking an object in augmented reality
JP5483120B2 (ja) 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
JP5979505B2 (ja) * 2011-08-26 2016-08-24 パナソニックIpマネジメント株式会社 運転支援装置
WO2015006935A1 (en) * 2013-07-17 2015-01-22 Harman International Industries, Incorporated Textureless wall detection
FR3067999B1 (fr) * 2017-06-23 2019-08-02 Renault S.A.S. Procede d'aide a la conduite d'un vehicule automobile
US11926263B2 (en) 2019-04-18 2024-03-12 Mitsubishi Electric Corporation Vehicle surrounding area image generation device, vehicle surrounding area display system, and vehicle surrounding area display method
US11544935B2 (en) * 2020-02-26 2023-01-03 Honda Motor Co., Ltd. System for risk object identification via causal inference and method thereof
JPWO2023037936A1 (ja) * 2021-09-08 2023-03-16

Also Published As

Publication number Publication date
JP2003169323A (ja) 2003-06-13

Similar Documents

Publication Publication Date Title
JP3819284B2 (ja) 車両周囲監視装置
JP5177515B2 (ja) 周辺認知支援システム
JP4846426B2 (ja) 車両周囲監視装置
JP4760831B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP4883977B2 (ja) 車両用画像表示装置
JP5529943B2 (ja) 作業車両用周辺監視システム及び作業車両
JP3894322B2 (ja) 車両用視界モニタシステム
JP4687411B2 (ja) 車両周辺画像処理装置及びプログラム
WO2012043184A1 (ja) 駐車支援装置
JP2002335524A (ja) 運転支援装置
JP2006253872A (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP2014094580A (ja) 作業車両用周辺監視システム及び作業車両
WO2013168230A1 (ja) 俯瞰画像表示装置
JP5926315B2 (ja) 作業車両用周辺監視システム及び作業車両
JP2012252675A (ja) ダンプトラック
JPH07117561A (ja) 車載用監視カメラ装置
JP2013078151A (ja) 車両用表示装置
JP2005236540A (ja) 車載カメラ装置
JP3980304B2 (ja) 駐車支援装置
JP2005012465A (ja) 車両用周辺表示装置
JP2007124097A (ja) 車両周辺視認装置
JPH0717328A (ja) 車両用周辺認識補助装置
JP7121120B2 (ja) 車両制御装置
JP2004056219A (ja) 車両周辺監視装置
JP2007249814A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3819284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110623

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130623

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term