JP3922201B2

JP3922201B2 - In-vehicle visibility monitor system

Info

Publication number: JP3922201B2
Application number: JP2003085997A
Authority: JP
Inventors: 直哉東
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2003-03-26
Filing date: 2003-03-26
Publication date: 2007-05-30
Anticipated expiration: 2023-03-26
Also published as: JP2004291784A

Description

【０００１】
【発明の属する技術分野】
本発明は、車輌の後方など運転者から見えにくい部分の状況を確認するための車載用視界モニタシステムに関するものである。
【０００２】
【従来の技術】
従来より、車輌の走行時に周囲の状況を見ながら運転するための支援装置として、車輌の周囲の状況を監視する車載用視界モニタシステムが提供されている。
【０００３】
例えば特許文献１に示されるような車載用視界モニタシステムでは、車輌に搭載されて当該車輌の後方を撮像するカメラと、当該車輌の舵角を検出する舵角センサと、モニタ装置とを備え、図１０（ａ）〜（ｃ）に示すようにモニタ装置の画面Ｗ２にカメラの撮像した撮像画像Ｇ２を表示するとともに、舵角センサの検出した舵角から車輌が移動すると予測される予想移動軌跡Ｘ２を求めて、予想移動軌跡Ｘ２を撮像画像Ｇ２上に重畳して表示していた。
【０００４】
また従来より、カメラによる撮像画像と、障害物検知センサによる障害物の検知情報とを組み合わせて、周囲の状況を監視できるようにした車載用視界モニタシステムも提供されており、例えば特許文献２に示されるような車載用視界モニタシステムでは、車輌に搭載されて当該車輌の後方を撮像するカメラと、当該車輌のコーナー部分に設置されて車輌周辺の障害物を検知する４個の障害物検知センサと、モニタ装置とを備え、図１１に示すようにモニタ装置の画面Ｗ３を左右二つの領域Ｗ３１，Ｗ３２に分割し、右側の領域Ｗ３１にカメラの撮像した撮像画像Ｇ３を表示すると共に、左側の領域Ｗ３２に各障害物検知センサの検知状況をシンボルＳ４１〜Ｓ４４の色を変えるなどして表示していた。
【０００５】
【特許文献１】
特開２００２−１９４９２号公報（第３頁−第４頁、及び、第２図）
【特許文献２】
特公平２−５６８７６号公報（第１頁−第２頁、及び、第２図）
【０００６】
【発明が解決しようとする課題】
上述した後者の車載用視界モニタシステムでは、カメラによる撮像画像と、障害物検知センサによる検知情報とを組み合わせて周囲の状況を監視しているので、周囲の安全をより確実に確認することができるが、モニタ装置の画面Ｗ３を２つの領域Ｗ３１，Ｗ３２に分割し、それぞれの領域Ｗ３１，Ｗ３２に撮像画像Ｇ３と障害物検知センサの検知情報を分けて表示しているから、モニタ装置の画面Ｗ３を見ても、障害物検知センサが、撮像画像Ｇ３内のどの位置にある障害物を検知していて、その障害物が車輌からどのくらいの距離に存在しているのかを、運転者が視覚的に瞬時に判断することが難しく、車輌周辺の状況を把握しにくいという問題があった。
【０００７】
そこで、このような問題点を解決するために、図１２に示すようにモニタ装置の画面Ｗ４にカメラの撮像画像Ｇ４を表示すると共に、障害物検知センサの検知情報をそれぞれ表示する検知情報表示領域Ａ１〜Ａ３を画面Ｗ４の下側に３つ並べて設け、障害物検知センサの検知情報を撮像画像Ｇ４に重畳して表示するような車載用視界モニタシステムが提供されている。このシステムでは、障害物検知センサが検出した障害物までの距離に応じて検知情報表示領域Ａ１〜Ａ３の表示色を変えるなどして、障害物までの距離を表示しているので、運転者が視覚的に車輌周辺の安全を確認し易くなっているが、やはり、障害物検知センサが撮像画像Ｇ４内のどの障害物を検知しているのか把握しにくいという問題があった。
【０００８】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、車輌の周囲の状況を視覚的に確認しやすい車載用視界モニタシステムを提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明では、車輌に搭載され当該車輌の周囲を撮像する撮像手段と、車輌に搭載され当該車輌の周囲に設定された検知領域において障害物を検知する複数の障害物検知手段と、撮像手段からの画像信号及び各障害物検知手段からの検知信号をもとに、撮像手段の撮像画像に、障害物検知手段が検知した障害物についての検知情報を表す障害物表示シンボルを、当該障害物の検知位置に対応する撮像画像上の位置に重畳した合成画像を作成する合成画像作成手段と、合成画像作成手段が作成した合成画像を表示する画像表示手段とを備え、合成画像作成手段は、障害物表示シンボルとして、障害物までの検知距離と等しい路面上の位置から路面に対して垂直に起立した面内であって、当該障害物を検知した障害物検知手段の検知領域内に、障害物の検知位置を囲む領域を示すシンボルを作成するとともに、障害物表示シンボルに加えて、障害物検知手段の検知領域を示す検知領域表示シンボルを、当該検知領域に対応する撮像画像上の位置に重畳した合成画像を作成することを特徴とする。
【００１１】
請求項２の発明では、請求項１の発明において、合成画像作成手段は、障害物表示シンボルで囲まれる撮像画像の部位を拡大した合成画像を作成することを特徴とする。
【００１２】
請求項３の発明では、請求項１又は２の何れか１つの発明において、車輌の舵角を検出する舵角検出手段と、舵角検出手段の検出結果から車輌が移動すると予想される予想移動範囲を求める移動範囲予想手段とを設け、合成画像作成手段は、移動範囲予想手段が求めた予想移動範囲内で障害物検知手段が障害物を検知した場合のみ、撮像画像に障害物表示シンボルを重畳させることを特徴とする。
【００１４】
請求項４の発明では、請求項１乃至３の何れか１つの発明において、障害物検知手段が検知した障害物についての検知情報を音声で報知する音声報知手段を備えて成ることを特徴とする。
【００１５】
【発明の実施の形態】
本発明に係る車載用視界モニタシステムの一実施形態を図１〜図９に基づいて説明する。
【００１６】
図１は、この車載用視界モニタシステムのブロック構成図であり、ＣＣＤカメラのようなカメラ１（撮像手段）と、複数（本実施形態では例えば６個）の障害物検知センサ２ａ〜２ｆ（障害物検知手段）と、車輌の舵角を検出する舵角検出センサ３（舵角検出手段）と、車室内の運転者から視認可能な位置に設置されるＴＶモニタ４（画像表示手段）と、車室内に設置されるスピーカー５と、制御装置１０とで構成される。
【００１７】
制御装置１０は、ＣＰＵ１１と、各障害物検知センサ２ａ〜２ｆ毎に設けられた送受信回路１２ａ〜１２ｆと、合成画像作成回路１３（合成画像作成手段）と、音声出力回路１４とで構成される。
【００１８】
カメラ１は、図２（ｂ）に示すように車輌１００の後部上方に設置され、車輌１００の後方を撮像する。尚、図２（ｂ）中の２１はカメラ１の視野を示している。
【００１９】
障害物検知センサ２ａ…は超音波を利用してセンシングを行う超音波検知器からなり、その内の４個の障害物検知センサ２ａ〜２ｄは、車輌１００の後部のバンパー１０１に等間隔に装着され（図２（ａ）（ｂ）参照）、残りの２個の障害物検知センサ２ｅ，２ｆは前部のバンパー（図示せず）の左右両側に装着される。各障害物検知センサ２ａ…は、送受信回路１２ａ…から入力される超音波パルス信号によって駆動され、超音波パルスを間欠的に送波して、その後周辺に存在する障害物からの反射波を受波することで障害物を検知するものであり、検知範囲が限定できることや、超音波の伝搬時間をもとに障害物までの距離を測定できるという特徴を有している。なお、図２（ａ）（ｂ）中の２２ａ〜２２ｄは各障害物検知センサ２ａ〜２ｄの検知領域を示している。
【００２０】
送受信回路１２ａ…は、ＣＰＵ１１から入力される送波パルス信号を増幅して得た超音波パルス信号を、障害物検知センサ２ａ…に印加して、障害物検知センサ２ａ…から超音波パルスを送波させる。障害物検知センサ２ａ…は、車輌の周囲にある障害物で反射されたパルス状の反射波を受波すると、送受信回路１２ａ…にパルス信号を出力する。そして、送受信回路１２ａ…は、障害物検知センサ２ａ…から入力された受波パルス信号を増幅してＣＰＵ１１に出力する。
【００２１】
ＣＰＵ１１では、送受信回路１２ａ…から受波パルス信号を受け取ると、送波パルス信号を出力してから受波パルス信号を受け取るまでの時間が、所定の距離範囲に対応する時間内であれば、障害物を検知したと判断して、障害物についての検知情報（障害物を検知した障害物検知センサ２ａ…の番号や検知した障害物までの距離（この距離を検知距離と言う）など）や、各障害物検知センサ２ａ〜２ｆの検知領域の情報を合成画像作成回路１３に出力するとともに、何れの障害物検知センサ２ａ…で障害物を検知したかを示す検知情報を音声出力回路１４に出力する。
【００２２】
合成画像作成回路１３には、カメラ１からの画像信号と、ＣＰＵ１１からの検知情報及び検知領域情報が入力され、カメラ１の撮像画像に、障害物の検知情報を表す障害物表示シンボルと、障害物検知センサ２ａ…の検知領域を表す検知領域表示シンボルとを重畳した合成画像を作成する。そして、合成画像作成回路１３は、作成した合成画像の画像信号をＴＶモニタ４に出力し、ＴＶモニタ４のモニタ画面４ａに合成画像を表示させる。
【００２３】
音声出力回路１４は、ＣＰＵ１２から検知情報が入力されると、どの部位で障害物を検知したかを示す音声メッセージを音声合成して、スピーカー５から出力させており、何れの障害物検知センサ２ａ…が障害物を検知したかを運転者に報知する。而して、車両の運転者がＴＶモニタ４のモニタ画面４ａを見ていない場合でも、音声で確実に警告を与えることができる。ここに、音声出力回路１４とスピーカ６とで音声報知手段が構成される。
【００２４】
次に、図３及び図４を参照して本システムの動作を説明する。図３は、本実施形態の車載用視界モニタシステムを搭載した車輌１００が駐車のために後進する際に、この車輌１００の後方に別の車輌（検知対象車輌）２００が後ろ向きに駐車している状況を示し、図４はこの時のＴＶモニタ４のモニタ画面４ａを示している。
【００２５】
検知対象車輌２００は、車輌１００から距離Ｌ１の位置にあり、車輌１００の後部バンパー１０１に装着された４個の障害物検知センサ２ａ〜２ｄの検出範囲２２ａ〜２２ｄ内に存在するので、全ての障害物検知センサ２ａ〜２ｄで検知対象車輌２００が検出される。したがって、ＣＰＵ１１には、送受信回路１２ａ〜１２ｄより受波パルス信号が入力され、受波パルス信号の受信時間から検知対象車輌２００までの距離が検出される。
【００２６】
この時、ＣＰＵ１１は、検知対象車輌２００を検知した障害物検知センサ２ａ〜２ｄの情報や検知距離Ｌ１などの検知情報と、障害物検知センサ２ａ…の検知領域を示す検知領域情報を合成画像作成回路１３に出力するとともに、障害物検知センサ２ａ〜２ｄが検知したことを示す検知情報を音声出力回路１４に出力する。音声出力回路１４は、ＣＰＵ１１からの検知情報に基づいて障害物検知センサ２ａ〜２ｄが検知したことを示す音声メッセージを音声合成して、スピーカー５から出力させており、運転者に音声で警告を与える。また、合成画像作成回路１３は、ＣＰＵ１１からの検知情報及び検知領域情報に基づいて、障害物検知センサ２ａ…から検知対象車輌２００までの検知距離Ｌ１に等しい路面上の位置を示す線状の障害物表示シンボル（以下、シンボルと省略す）Ｓ１（図中に実線で示す。）と、検知領域（図中の斜線部）を囲む囲み線のような
検知領域表示シンボル（以下、シンボルと省略す）Ｓ２（図中に一点鎖線で示す。）とを作成するとともに、カメラ１の撮像画像Ｇ１に、作成したシンボルＳ１，Ｓ２をそれぞれ撮像画像Ｇ１上の検知位置及び検知領域に対応する位置に重畳した合成画像を作成し、作成した合成画像の画像信号をＴＶモニタ４に出力して、ＴＶモニタ４のモニタ画面４ａに表示させる。また、図中のＳ１１は、障害物検知センサ２ａ…からの距離が１ｍの路面上の位置を示すために、合成画像作成回路１３が作成して撮像画像Ｇ１に重畳したシンボルである。なお、シンボルＳ２としては、検知領域に対応する部分の表示色を変えるなどして、検知領域を面で表すようなシンボルとしても良い。
【００２７】
このように、本実施形態では検知した障害物についての検知情報を表す障害物表示シンボルとして、障害物検知センサ２ａ…からの距離が、障害物（検知対象車輌２００）までの検知距離Ｌ１に等しい路面上の位置を示す線状のシンボルＳ１を撮像画像Ｇ１に重畳してモニタ画面４ａに表示させているので、障害物検知センサ２ａ…がどの障害物を検知しており、その障害物がどれくらいの距離に存在しているか、障害物検知センサ２ａ…の検知領域がどの領域に設定されているかを運転者が視覚的に容易に把握できる。また、合成画像作成回路１３は、検知領域を示す検知領域表示シンボルＳ１を撮像画像Ｇ１に重畳して表示しているので、障害物検知センサ２ａ〜２ｄの検知領域を、運転者が視覚的に容易に把握することができる。
【００２８】
なお本実施形態では、合成画像作成回路１３により、障害物検知センサ２ａ…からの距離が、障害物（検知対象車輌２００）までの検知距離Ｌ１に等しい路面上の位置を示す線状のシンボルＳ１と、検知領域を示すシンボルＳ２とを作成して、これらのシンボルＳ１，Ｓ２を撮像画像Ｇ１に重畳させているが、図５に示すように、障害物検知センサ２ａ…が検知した障害物（検知対象車輌２００）までの距離Ｌ１と等しい路面上の位置から、路面に対して垂直に起立した面内にあって、障害物の検知位置を囲む領域（図中の斜線部）を示す囲み線のようなシンボルＳ３を作成し、このシンボルＳ３のみを撮像画像Ｇ１に重畳してモニタ画面４ａに表示させても良いし、図６に示すように上述したシンボルＳ１〜Ｓ３を撮像画像Ｇ１に重畳してモニタ画面４ａに表示させても良い。
【００２９】
また本実施形態では、合成画像作成回路１３が、検知対象車輌２００を検知した４個の障害物検知センサ２ａ〜２ｄの検知領域を１つのシンボルＳ２で表示しているが、図７に示すように、検知領域を両端の障害物検知センサ２ａ，２ｄの検知領域に対応した領域を示すシンボルＳ２１，Ｓ２３と、中央の障害物検知センサ２ｂ，２ｃの検知領域に対応した領域を示すシンボルＳ２３に細分化するとともに、
障害物検知センサ２ａ、障害物検知センサ２ｂ及び２ｃ、障害物検知センサ２ｄよりそれぞれ障害物の検知距離Ｌ１と等しい路面上の位置から、路面に対して垂直に起立した面内にあって、障害物の検知位置を囲む領域（図中の斜線部）を示す囲み線のような３つのシンボルＳ３１，Ｓ３２，Ｓ３３を作成して、これらのシンボルＳ２１〜Ｓ２３、Ｓ３１〜Ｓ３３を撮像画像Ｇ１に重畳してモニタ画面４ａに表示させても良く、それぞれの障害物検知センサ２ａ〜２ｄが検知した障害物がどの位置にあるのかを、運転者が視覚的に容易に判断できる。
【００３０】
またＣＰＵ１１には、舵角検出センサ３から舵角の検出結果が入力されているので、この舵角情報をもとに車輌が移動すると予想される予想移動範囲Ｘ１を求め、予想移動範囲Ｘ１内で障害物検知センサ２ａ…が障害物を検出した場合のみ、障害物検知センサ２ａ…が検出した障害物を示すシンボルを撮像画像Ｇ１に重畳して表示させるようにしても良い。
【００３１】
例えば、図８（ｂ）は、車輌１００が旋回後退する場合のモニタ画面４ａを示しており、この場合は後部バンパー１０１の左端に装着された障害物検知センサ２ｄが検知対象車輌２００を検出しているが、検知対象車輌２００は予想移動範囲Ｘ１の外側に位置し、予想移動範囲Ｘ１内で何れの障害物検知センサ２ａ〜２ｄも障害物を検知していないので、ＣＰＵ１１は合成画像作成回路１３及び音声出力回路１４に検知情報を出力せず、合成画像作成回路１３は、検知領域を示すシンボルＳ２１〜Ｓ２３と、距離の目安を示すシンボルＳ１１のみを撮像画像Ｇ１に重畳させて、モニタ画面４ａに表示させる。
【００３２】
一方、図８（ａ）は、車輌１００が直進後退する場合のモニタ画面４ａを示しており、この場合は予想移動範囲Ｘ１内にある障害物（検知対象車輌２００）を、後部バンパー１０１の左端に装着された障害物検知センサ２ｄが検出しているので、ＣＰＵ１１は、障害物検知センサ２ｄの検知情報を合成画像作成回路１３及び音声出力回路１４に出力する。この時、合成画像作成回路１３は、障害物検知センサ２ｄから検知対象車輌２００までの検知距離Ｌ１に等しい路面上の位置を示す線状のシンボルＳ１と、障害物検知センサ２ｄが検知した検知対象車輌２００までの距離Ｌ１と等しい路面上の位置から、路面に対して垂直に起立した面内にあって、障害物の検知位置を囲む領域を示す囲み線のようなシンボルＳ３と、距離の目安を示すシンボルＳ１１と、検知領域（図中の斜線部）を囲む囲み線のようなシンボルＳ２１〜Ｓ２３と、を作成し、これらのシンボルＳ１，Ｓ３，Ｓ１１，Ｓ２１〜Ｓ２３を撮像画像Ｇ１に重畳してモニタ画面４ａに表示させている。また、音声出力回路１４は、どの部位で障害物を検知したかを示す音声メッセージを音声合成して、スピーカー５から出力させる。而して、予想移動範囲Ｘ１内に障害物がいる場合のみ、検知情報を示すシンボルを表示させたり、音声で警報を出力することで、運転者に対し不要な警報を発するのを防止し、確実な報知が行える。
【００３３】
ところで、本実施形態において例えば図８（ａ）に示すように、合成画像作成回路１３が、障害物検知センサ２ｄが検知した検知対象車輌２００までの距離Ｌ１と等しい路面上の位置から、路面に対して垂直に起立した面内にあって、障害物の検知位置を囲む領域を示す囲み線のようなシンボルＳ３を作成し、このシンボルＳ３を撮像画像Ｇ１に重畳して表示させる際に、図９に示すように撮像画像Ｇ１のシンボルＳ３で囲まれる部分を拡大してモニタ画面４ａに表示させても良く、障害物が拡大して表示されるので、障害物の確認を容易に行える。
【００３４】
尚、各シンボルＳ１…の形状は上記の形状に限定されるものではなく、障害物についての検知情報を表示できるのであれば、どのような形状の形状のシンボルを用いても良い。
【００３５】
【発明の効果】
上述のように、請求項１の発明は、車輌に搭載され当該車輌の周囲を撮像する撮像手段と、車輌に搭載され当該車輌の周囲に設定された検知領域において障害物を検知する複数の障害物検知手段と、撮像手段からの画像信号及び各障害物検知手段からの検知信号をもとに、撮像手段の撮像画像に、障害物検知手段が検知した障害物についての検知情報を表す障害物表示シンボルを、当該障害物の検知位置に対応する撮像画像上の位置に重畳した合成画像を作成する合成画像作成手段と、合成画像作成手段が作成した合成画像を表示する画像表示手段とを備え、合成画像作成手段は、障害物表示シンボルとして、障害物までの検知距離と等しい路面上の位置から路面に対して垂直に起立した面内であって、当該障害物を検知した障害物検知手段の検知領域内に、障害物の検知位置を囲む領域を示すシンボルを作成するとともに、障害物表示シンボルに加えて、障害物検知手段の検知領域を示す検知領域表示シンボルを、当該検知領域に対応する撮像画像上の位置に重畳した合成画像を作成することを特徴とし、合成画像作成手段は、撮像手段の撮像画像に、障害物検知手段が検知した障害物についての検知情報を表す障害物表示シンボルを、その検知位置に対応する撮像画像上の位置に重畳した合成画像を作成し、この合成画像を画像表示手段に表示させているので、車輌の運転者が、障害物表示シンボルの位置から、障害物検知手段が撮像画像内のどの位置にある障害物を検知したのかを、視覚的に容易に把握できるという効果がある。しかも、合成画像作成手段は、障害物表示シンボルに加えて、障害物検知手段の検知領域を示す検知領域表示シンボルを、当該検知領域に対応する撮像画像上の位置に重畳した合成画像を作成しているので、車輌の運転者が、検知領域表示シンボルから障害物検知手段の検知領域を視覚的に容易に把握できるという効果もある。
【００３６】
しかも、障害物表示シンボルは、障害物検知手段との間の距離が、障害物検知手段が検知した障害物までの距離と等しい路面上の位置から、路面に対して垂直に起立した面内にあって、障害物の検知位置を囲む領域を示すシンボルで構成されているので、車輌の運転者は、障害物表示シンボルで囲まれた領域にある障害物を障害物検知手段が検知したことを、容易に把握できるという効果がある。
【００３７】
請求項２の発明は、請求項１の発明において、合成画像作成手段は、障害物表示シンボルで囲まれる撮像画像の部位を拡大した合成画像を作成することを特徴とする。障害物表示シンボルで囲まれる部位を拡大して表示しているので、画像表示手段の表示が見易くなり、車輌の運転者が障害物を容易に把握できるという効果がある。
【００３８】
請求項３の発明は、請求項１又は２の何れか１つの発明において、車輌の舵角を検出する舵角検出手段と、舵角検出手段の検出結果から車輌が移動すると予想される予想移動範囲を求める移動範囲予想手段とを設け、合成画像作成手段は、移動範囲予想手段が求めた予想移動範囲内で障害物検知手段が障害物を検知した場合のみ、撮像画像に障害物表示シンボルを重畳させることを特徴とし、移動範囲予想手段は舵角検出手段の検出結果から車輌の移動予想範囲を求めており、この移動予想範囲内にある障害物を検知した場合のみ、合成画像作成手段が障害物表示シンボルを撮像画像に重畳して表示しているので、衝突する可能性がある障害物についてのみ障害物表示シンボルを表示させることで、車輌の運転者に対して余計な情報を与えるのを防止できる。
【００４０】
請求項４の発明は、請求項１乃至３の何れか１つの発明において、障害物検知手段が検知した障害物についての検知情報を音声で報知する音声報知手段を備えて成ることを特徴とし、音声報知手段が音声で検知情報を出力しているので、車輌の運転者が、画像表示手段の表示を見ていない場合でも、音声で警告を与えることができる。
【図面の簡単な説明】
【図１】本実施形態の車載用視界モニタシステムのブロック図である。
【図２】（ａ）（ｂ）は同上を搭載した車輌の説明図である。
【図３】同上の動作を説明する説明図である。
【図４】同上のＴＶモニタのモニタ画面の例図である。
【図５】同上のＴＶモニタの別のモニタ画面の例図である。
【図６】同上のＴＶモニタのまた別のモニタ画面の例図である。
【図７】同上のＴＶモニタの更に別のモニタ画面の例図である。
【図８】同上のＴＶモニタのまた更に別のモニタ画面を示し、（ａ）は直進後退時のモニタ画面の例図、（ｂ）は旋回後退時のモニタ画面の例図である。
【図９】同上のＴＶモニタのまた別のモニタ画面の例図である。
【図１０】（ａ）〜（ｃ）は従来の車載用視界モニタシステムのモニタ画面の例図である。
【図１１】従来の別の車載用視界モニタシステムのモニタ画面の例図である。
【図１２】従来のまた別の車載用視界モニタシステムのモニタ画面の例図である。
【符号の説明】
１カメラ
２ａ… 障害物検知センサ
４ＴＶモニタ
１１ＣＰＵ
１２ａ… 送受信回路
１３合成画像作成回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle-mounted visibility monitor system for confirming the situation of a portion that is difficult to be seen by a driver, such as behind a vehicle.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an in-vehicle visibility monitor system that monitors a surrounding situation of a vehicle has been provided as a support device for driving while looking at the surrounding situation when the vehicle is traveling.
[0003]
For example, an in-vehicle visibility monitor system as shown in Patent Document 1 includes a camera that is mounted on a vehicle and images the rear of the vehicle, a steering angle sensor that detects the steering angle of the vehicle, and a monitor device. As shown in FIGS. 10A to 10C, the captured image G2 captured by the camera is displayed on the screen W2 of the monitor device, and the predicted movement trajectory predicted to move the vehicle from the rudder angle detected by the rudder angle sensor. X2 was obtained, and the predicted movement locus X2 was displayed superimposed on the captured image G2.
[0004]
Conventionally, there has also been provided an in-vehicle field of view monitor system that can monitor surrounding conditions by combining an image captured by a camera and obstacle detection information by an obstacle detection sensor. In the in-vehicle visibility monitor system as shown, a camera that is mounted on a vehicle and images the rear of the vehicle, and four obstacle detection sensors that are installed at corners of the vehicle and detect obstacles around the vehicle. And the monitor device, the screen W3 of the monitor device is divided into two left and right regions W31 and W32 as shown in FIG. 11, and the captured image G3 captured by the camera is displayed in the right region W31, and the left side The detection status of each obstacle detection sensor is displayed in the area W32 by changing the colors of the symbols S41 to S44.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-19492 (pages 3 to 4 and FIG. 2)
[Patent Document 2]
Japanese Examined Patent Publication No. 2-56876 (pages 1 and 2 and FIG. 2)
[0006]
[Problems to be solved by the invention]
In the latter in-vehicle visibility monitor system described above, the surrounding situation is monitored by combining the image captured by the camera and the detection information detected by the obstacle detection sensor, so that the surrounding safety can be more reliably confirmed. However, since the screen W3 of the monitor device is divided into two regions W31 and W32, and the captured image G3 and the detection information of the obstacle detection sensor are separately displayed in the respective regions W31 and W32, the screen W3 of the monitor device is displayed. The obstacle detection sensor detects the position of the obstacle in the captured image G3, and the driver visually indicates how far the obstacle is located from the vehicle. However, it is difficult to make an instant determination and it is difficult to grasp the situation around the vehicle.
[0007]
Therefore, in order to solve such a problem, as shown in FIG. 12, the detection information display area for displaying the captured image G4 of the camera on the screen W4 of the monitor device and displaying the detection information of the obstacle detection sensor, respectively. There is provided a vehicle-mounted field-of-view monitor system in which three of A1 to A3 are arranged below the screen W4 and the detection information of the obstacle detection sensor is superimposed on the captured image G4 and displayed. In this system, the distance to the obstacle is displayed by changing the display color of the detection information display areas A1 to A3 according to the distance to the obstacle detected by the obstacle detection sensor. Although it is easy to visually confirm the safety around the vehicle, there is still a problem that it is difficult to grasp which obstacle in the captured image G4 is detected by the obstacle detection sensor.
[0008]
The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle-mounted visual field monitor system in which a situation around a vehicle can be easily visually confirmed.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, an obstacle is detected in an imaging means mounted on a vehicle for imaging the surroundings of the vehicle and a detection area mounted on the vehicle and set around the vehicle. Based on a plurality of obstacle detection means, an image signal from the imaging means, and a detection signal from each obstacle detection means, detection information about the obstacle detected by the obstacle detection means is included in the captured image of the imaging means. A composite image creating means for creating a composite image in which the obstacle display symbol to be displayed is superimposed on a position on the captured image corresponding to the detected position of the obstacle, and an image display means for displaying the composite image created by the composite image creating means with the door, the composite image creation means, as an obstacle symbolize, a plane standing upright perpendicularly with respect to the road surface from a position on equal detection distance to the obstacle road, detects the obstacle In the detection area of harm object detection means, as well as create a symbol indicating an area surrounding the sensing position of the obstacle, in addition to the obstacle display symbols, a detection area display symbols indicating the detection area of the obstacle detecting means, the A composite image superimposed on a position on the captured image corresponding to the detection region is created.
[0011]
The invention of claim 2 is characterized in that, in the invention of claim 1 , the composite image creating means creates a composite image in which a part of the captured image surrounded by the obstacle display symbols is enlarged.
[0012]
According to a third aspect of the present invention, in any one of the first and second aspects of the present invention, a rudder angle detecting means for detecting a rudder angle of the vehicle, and an expected movement in which the vehicle is expected to move based on a detection result of the rudder angle detecting means. A moving range prediction means for obtaining a range, and the composite image creation means displays an obstacle display symbol on the captured image only when the obstacle detection means detects an obstacle within the expected movement range obtained by the movement range prediction means. It is characterized by overlapping.
[0014]
According to a fourth aspect of the present invention, in any one of the first to third aspects of the present invention, the apparatus further comprises voice notification means for notifying the detection information about the obstacle detected by the obstacle detection means by voice. .
[0015]
DETAILED DESCRIPTION OF THE INVENTION
One embodiment of a vehicle-mounted view monitoring system according to the present invention will be described with reference to FIGS.
[0016]
FIG. 1 is a block diagram of this in-vehicle visibility monitor system. A camera 1 such as a CCD camera (imaging means) and a plurality (for example, six in this embodiment) of obstacle detection sensors 2a to 2f (obstacles). Object detection means), a steering angle detection sensor 3 (steering angle detection means) for detecting the steering angle of the vehicle, a TV monitor 4 (image display means) installed at a position visible from the driver in the vehicle compartment, A speaker 5 installed in the passenger compartment and a control device 10 are included.
[0017]
The control device 10 includes a CPU 11, transmission / reception circuits 12 a to 12 f provided for the respective obstacle detection sensors 2 a to 2 f, a synthesized image creating circuit 13 (synthesized image creating means), and an audio output circuit 14. .
[0018]
The camera 1 is installed above the rear part of the vehicle 100 as shown in FIG. Note that reference numeral 21 in FIG. 2B indicates the field of view of the camera 1.
[0019]
The obstacle detection sensor 2a is composed of an ultrasonic detector that performs sensing using ultrasonic waves, and the four obstacle detection sensors 2a to 2d are mounted on the bumper 101 at the rear of the vehicle 100 at equal intervals. The remaining two obstacle detection sensors 2e and 2f are mounted on both the left and right sides of a front bumper (not shown), respectively (see FIGS. 2A and 2B). Each obstacle detection sensor 2a is driven by an ultrasonic pulse signal input from the transmission / reception circuit 12a, intermittently transmits the ultrasonic pulse, and then receives a reflected wave from an obstacle present in the vicinity. An obstacle is detected by the wave, and the detection range can be limited, and the distance to the obstacle can be measured based on the propagation time of the ultrasonic wave. In addition, 22a-22d in Fig.2 (a) (b) has shown the detection area | region of each obstacle detection sensor 2a-2d.
[0020]
The transmission / reception circuits 12a ... apply ultrasonic pulse signals obtained by amplifying the transmission pulse signals input from the CPU 11 to the obstacle detection sensors 2a ..., and send ultrasonic pulses from the obstacle detection sensors 2a ... Let it wave. When the obstacle detection sensor 2a receives a pulsed reflected wave reflected by an obstacle around the vehicle, it outputs a pulse signal to the transmission / reception circuits 12a. The transmission / reception circuits 12a ... amplify the received pulse signals input from the obstacle detection sensors 2a ... and output them to the CPU 11.
[0021]
In the CPU 11, when the received pulse signal is received from the transmission / reception circuit 12a ..., if the time from the output of the transmitted pulse signal to the reception of the received pulse signal is within the time corresponding to the predetermined distance range, Judging that an object has been detected, detection information about the obstacle (the number of the obstacle detection sensor 2a ... that detected the obstacle, the distance to the detected obstacle (this distance is called the detection distance), etc.) Information of detection areas of the respective obstacle detection sensors 2a to 2f is output to the composite image creation circuit 13, and detection information indicating which obstacle detection sensor 2a... Has detected the obstacle is output to the audio output circuit 14. To do.
[0022]
An image signal from the camera 1 and detection information and detection area information from the CPU 11 are input to the composite image creation circuit 13, and an obstacle display symbol representing the detection information of the obstacle is displayed on the captured image of the camera 1. A composite image is created by superimposing detection area display symbols representing detection areas of the object detection sensors 2a. Then, the composite image creation circuit 13 outputs an image signal of the created composite image to the TV monitor 4 and displays the composite image on the monitor screen 4 a of the TV monitor 4.
[0023]
When the detection information is input from the CPU 12, the voice output circuit 14 synthesizes a voice message indicating at which part the obstacle has been detected, and outputs it from the speaker 5, which obstacle detection sensor 2a. Informs the driver whether ... has detected an obstacle. Thus, even when the driver of the vehicle is not looking at the monitor screen 4a of the TV monitor 4, a warning can be reliably given by voice. Here, the voice output circuit 14 and the speaker 6 constitute voice notification means.
[0024]
Next, the operation of this system will be described with reference to FIGS. FIG. 3 shows that when the vehicle 100 equipped with the in-vehicle visibility monitor system of this embodiment moves backward for parking, another vehicle (detection target vehicle) 200 is parked rearward behind the vehicle 100. FIG. 4 shows a monitor screen 4a of the TV monitor 4 at this time.
[0025]
Since the detection target vehicle 200 is located at a distance L1 from the vehicle 100 and exists within the detection ranges 22a to 22d of the four obstacle detection sensors 2a to 2d attached to the rear bumper 101 of the vehicle 100, The detection target vehicle 200 is detected by the obstacle detection sensors 2a to 2d. Therefore, the reception pulse signal is input to the CPU 11 from the transmission / reception circuits 12a to 12d, and the distance from the reception time of the reception pulse signal to the detection target vehicle 200 is detected.
[0026]
At this time, the CPU 11 creates a composite image by detecting the obstacle detection sensors 2a to 2d that have detected the detection target vehicle 200, the detection information such as the detection distance L1, and the detection area information indicating the detection areas of the obstacle detection sensors 2a. While outputting to the circuit 13, the detection information which shows that the obstacle detection sensors 2a-2d detected is output to the audio | voice output circuit 14. The voice output circuit 14 synthesizes a voice message indicating that the obstacle detection sensors 2a to 2d are detected based on the detection information from the CPU 11 and outputs the voice message from the speaker 5, and warns the driver by voice. give. Further, the composite image creation circuit 13 is based on detection information and detection area information from the CPU 11 and shows a linear obstacle indicating a position on the road surface that is equal to the detection distance L1 from the obstacle detection sensor 2a to the detection target vehicle 200. An object display symbol (hereinafter abbreviated as a symbol) S1 (indicated by a solid line in the figure) and a detection area display symbol (hereinafter abbreviated as a symbol) such as a surrounding line surrounding the detection area (the hatched portion in the figure). ) S2 (indicated by the alternate long and short dash line in the figure) is created, and the created symbols S1 and S2 are superimposed on the captured image G1 of the camera 1 at positions corresponding to the detection position and the detection region on the captured image G1, respectively. The synthesized image is created, and the image signal of the created synthesized image is output to the TV monitor 4 and displayed on the monitor screen 4a of the TV monitor 4. S11 in the figure is a symbol created by the composite image creation circuit 13 and superimposed on the captured image G1 in order to indicate a position on the road surface with a distance of 1 m from the obstacle detection sensors 2a. Note that the symbol S2 may be a symbol that represents the detection area by a surface by changing the display color of the portion corresponding to the detection area.
[0027]
Thus, in this embodiment, as an obstacle display symbol representing detection information about the detected obstacle, the distance from the obstacle detection sensor 2a... Is equal to the detection distance L1 to the obstacle (detection target vehicle 200). Since the linear symbol S1 indicating the position on the road surface is superimposed on the captured image G1 and displayed on the monitor screen 4a, the obstacle detection sensor 2a ... detects which obstacle and how much the obstacle is. It is possible for the driver to easily grasp visually which area is set at the distance of the obstacle detection sensor 2a. Further, since the composite image creation circuit 13 displays the detection area display symbol S1 indicating the detection area superimposed on the captured image G1, the driver visually determines the detection areas of the obstacle detection sensors 2a to 2d. It can be easily grasped.
[0028]
In the present embodiment, the composite image creation circuit 13 causes the linear symbol S1 indicating the position on the road surface, where the distance from the obstacle detection sensors 2a... Is equal to the detection distance L1 to the obstacle (detection target vehicle 200). And a symbol S2 indicating the detection area, and these symbols S1 and S2 are superimposed on the captured image G1, but as shown in FIG. 5, the obstacles detected by the obstacle detection sensor 2a. An encircling line indicating a region (hatched portion in the figure) that is in a plane standing upright from the position on the road surface equal to the distance L1 to the detection target vehicle 200) and that surrounds the obstacle detection position. The symbol S3 as shown above may be created and only this symbol S3 may be superimposed on the captured image G1 and displayed on the monitor screen 4a, or the symbols S1 to S3 described above may be superimposed on the captured image G1 as shown in FIG. do it It may be displayed on the screen Nita 4a.
[0029]
Further, in this embodiment, the composite image creation circuit 13 displays the detection areas of the four obstacle detection sensors 2a to 2d that have detected the detection target vehicle 200 with one symbol S2, but as shown in FIG. In addition, symbols S21 and S23 indicating the detection areas corresponding to the detection areas of the obstacle detection sensors 2a and 2d at both ends, and symbols S23 indicating the areas corresponding to the detection areas of the central obstacle detection sensors 2b and 2c, respectively. While subdividing,
The obstacle detection sensor 2a, the obstacle detection sensors 2b and 2c, and the obstacle detection sensor 2d are located in a plane upright from the position on the road surface equal to the obstacle detection distance L1 and perpendicular to the road surface. Three symbols S31, S32, and S33, such as encircling lines that indicate a region surrounding the object detection position (the hatched portion in the figure), are created, and these symbols S21 to S23 and S31 to S33 are superimposed on the captured image G1. Then, it may be displayed on the monitor screen 4a, and the driver can easily visually determine the position of the obstacle detected by the respective obstacle detection sensors 2a to 2d.
[0030]
Further, since the detection result of the steering angle is input to the CPU 11 from the steering angle detection sensor 3, an expected movement range X1 in which the vehicle is expected to move is obtained based on this steering angle information, and the predicted movement range X1 is calculated. Only when the obstacle detection sensor 2a detects an obstacle, a symbol indicating the obstacle detected by the obstacle detection sensor 2a may be superimposed on the captured image G1 and displayed.
[0031]
For example, FIG. 8B shows a monitor screen 4a when the vehicle 100 turns back and forth. In this case, the obstacle detection sensor 2d attached to the left end of the rear bumper 101 detects the detection target vehicle 200. However, since the detection target vehicle 200 is located outside the expected movement range X1 and none of the obstacle detection sensors 2a to 2d has detected an obstacle within the expected movement range X1, the CPU 11 performs a composite image generation circuit. 13 and the audio output circuit 14 do not output the detection information, and the composite image creation circuit 13 superimposes only the symbols S21 to S23 indicating the detection area and the symbol S11 indicating the distance standard on the captured image G1, and displays the monitor screen. 4a is displayed.
[0032]
On the other hand, FIG. 8A shows a monitor screen 4a when the vehicle 100 moves straight back and forth. In this case, an obstacle (detection target vehicle 200) within the expected movement range X1 is moved to the left end of the rear bumper 101. Therefore, the CPU 11 outputs the detection information of the obstacle detection sensor 2d to the composite image creation circuit 13 and the audio output circuit 14. At this time, the composite image creation circuit 13 includes a linear symbol S1 indicating a position on the road surface equal to the detection distance L1 from the obstacle detection sensor 2d to the detection target vehicle 200, and the detection target detected by the obstacle detection sensor 2d. A symbol S3 such as an enclosing line indicating a region surrounding a detection position of an obstacle in a plane standing upright from the position on the road surface equal to the distance L1 to the vehicle 200 and perpendicular to the road surface, and a distance standard Symbol S11 and symbols S21 to S23 such as encircling lines surrounding the detection region (hatched portion in the figure), and these symbols S1, S3, S11, S21 to S23 are superimposed on the captured image G1. And displayed on the monitor screen 4a. Also, the voice output circuit 14 synthesizes a voice message indicating at which part the obstacle is detected, and outputs the voice message from the speaker 5. Thus, only when there is an obstacle in the expected movement range X1, by displaying a symbol indicating detection information or outputting a warning by voice, it is possible to prevent an unnecessary warning from being issued to the driver, Reliable notification can be performed.
[0033]
By the way, in this embodiment, for example, as shown in FIG. 8A, the composite image creation circuit 13 moves from the position on the road surface equal to the distance L1 to the detection target vehicle 200 detected by the obstacle detection sensor 2d to the road surface. When a symbol S3 such as a surrounding line that indicates an area surrounding an obstacle detection position in a plane that stands vertically with respect to the obstacle is created, and the symbol S3 is superimposed on the captured image G1 and displayed, 9, the portion surrounded by the symbol S3 of the captured image G1 may be enlarged and displayed on the monitor screen 4a. Since the obstacle is enlarged and displayed, the obstacle can be easily confirmed.
[0034]
Note that the shape of each symbol S1... Is not limited to the above shape, and any shape of symbol may be used as long as it can display detection information about an obstacle.
[0035]
【The invention's effect】
As described above, the invention of claim 1 includes an imaging unit that is mounted on a vehicle and images the surroundings of the vehicle, and a plurality of obstacles that detect obstacles in a detection area that is mounted on the vehicle and set around the vehicle. Obstacles representing detection information about obstacles detected by the obstacle detection means in the picked-up image of the imaging means based on the image detection means, the image signal from the imaging means and the detection signal from each obstacle detection means A composite image creating unit that creates a composite image in which a display symbol is superimposed on a position on the captured image corresponding to the detected position of the obstacle, and an image display unit that displays the composite image created by the composite image creation unit , the composite image creation means, as an obstacle symbolize, a plane standing upright perpendicularly with respect to the road surface from a position on equal detection distance to the obstacle road obstacle detection means detects the obstacle In the detection area, as well as create a symbol indicating an area surrounding the sensing position of the obstacle, in addition to the obstacle display symbols, a detection area display symbols indicating the detection area of the obstacle detecting means, corresponding to the detection area The composite image creating means is characterized by creating a composite image superimposed at a position on the captured image, and the composite image creating means is an obstacle display symbol representing detection information about the obstacle detected by the obstacle detection means in the captured image of the image pickup means. Is superimposed on the position on the captured image corresponding to the detected position, and this composite image is displayed on the image display means, so that the driver of the vehicle can move from the position of the obstacle display symbol. There is an effect that it is possible to easily visually grasp at which position in the captured image the obstacle detection means has detected the obstacle. Moreover, the composite image creation means creates a composite image in which a detection area display symbol indicating the detection area of the obstacle detection means is superimposed on a position on the captured image corresponding to the detection area in addition to the obstacle display symbol. Therefore, there is an effect that the driver of the vehicle can easily visually grasp the detection area of the obstacle detection means from the detection area display symbol.
[0036]
In addition, the obstacle display symbol is located in a plane that stands perpendicular to the road surface from a position on the road surface where the distance to the obstacle detection means is equal to the distance to the obstacle detected by the obstacle detection means. Since the vehicle is composed of symbols indicating the area surrounding the obstacle detection position, the vehicle driver can detect that the obstacle detection means has detected an obstacle in the area surrounded by the obstacle display symbol. This has the effect of being easily grasped.
[0037]
The invention of claim 2 is characterized in that, in the invention of claim 1 , the composite image creating means creates a composite image in which a part of the captured image surrounded by the obstacle display symbols is enlarged. Since the portion surrounded by the obstacle display symbol is enlarged and displayed, the display of the image display means is easy to see, and there is an effect that the driver of the vehicle can easily grasp the obstacle.
[0038]
According to a third aspect of the present invention, in any one of the first and second aspects, the steering angle detection means for detecting the steering angle of the vehicle, and the expected movement that the vehicle is expected to move from the detection result of the steering angle detection means A moving range prediction means for obtaining a range, and the composite image creation means displays an obstacle display symbol on the captured image only when the obstacle detection means detects an obstacle within the expected movement range obtained by the movement range prediction means. The moving range prediction means obtains the predicted movement range of the vehicle from the detection result of the steering angle detection means, and only when the obstacle within the predicted movement range is detected, the composite image creation means Since the obstacle display symbol is displayed superimposed on the captured image, extra information is given to the driver of the vehicle by displaying the obstacle display symbol only for obstacles that may collide. It can be prevented.
[0040]
The invention of claim 4 is characterized in that in any one of the inventions of claims 1 to 3 , it comprises voice notification means for notifying the detection information about the obstacle detected by the obstacle detection means by voice, Since the voice notification means outputs the detection information by voice, even when the driver of the vehicle is not looking at the display of the image display means, a warning can be given by voice.
[Brief description of the drawings]
FIG. 1 is a block diagram of a vehicle-mounted field-of-view monitor system according to an embodiment.
FIGS. 2A and 2B are explanatory views of a vehicle equipped with the same.
FIG. 3 is an explanatory diagram for explaining the operation described above.
FIG. 4 is an example of a monitor screen of the TV monitor same as above.
FIG. 5 is an example of another monitor screen of the TV monitor same as above.
FIG. 6 is an example of another monitor screen of the TV monitor same as above.
FIG. 7 is an example of another monitor screen of the TV monitor same as above.
FIGS. 8A and 8B show still another monitor screen of the above TV monitor, where FIG. 8A is an example of a monitor screen when rectilinearly moving backward, and FIG. 8B is an example of a monitor screen when turning backward;
FIG. 9 is an example of another monitor screen of the TV monitor same as above.
FIGS. 10A to 10C are examples of monitor screens of a conventional vehicle-mounted field-of-view monitor system.
FIG. 11 is an example of a monitor screen of another conventional in-vehicle view monitoring system.
FIG. 12 is an example of a monitor screen of another conventional in-vehicle field of view monitor system.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Camera 2a ... Obstacle detection sensor 4 TV monitor 11 CPU
12a ... Transmission / reception circuit 13 Composite image creation circuit

Claims

An imaging means mounted on the vehicle for imaging the surroundings of the vehicle, a plurality of obstacle detection means mounted on the vehicle for detecting an obstacle in a detection area set around the vehicle, and an image signal from the imaging means Based on the detection signal from each obstacle detection means, an obstacle display symbol representing detection information about the obstacle detected by the obstacle detection means is displayed on the captured image of the imaging means at the detection position of the obstacle. A composite image creating unit that creates a composite image superimposed at a position on the corresponding captured image; and an image display unit that displays the composite image created by the composite image creation unit, wherein the composite image creation unit includes the obstacle As an object display symbol, within the detection area of the obstacle detection means that detects the obstacle in a plane that stands up perpendicularly to the road surface from a position on the road surface that is equal to the detection distance to the obstacle, As well as create a symbol indicating an area surrounding the sensing position of the serial obstacle, the imaging in addition to the obstacle display symbols, a detection area display symbols indicating the detection area of the obstacle detecting means, corresponding to the detection area A vehicle-mounted field-of-view monitor system that creates a composite image superimposed on a position on an image.

The in-vehicle field-of-view monitor system according to claim 1, wherein the composite image creating unit creates a composite image in which a portion of the captured image surrounded by the obstacle display symbol is enlarged .

There is provided a steering angle detecting means for detecting a steering angle of the vehicle, and a movement range prediction means for obtaining an expected movement range in which the vehicle is expected to move from the detection result of the steering angle detection means. If the obstacle detecting means within the expected range of movement expected means is determined detects an obstacle only, to any one of claims 1 or 2, characterized in that to superimpose the obstacle display symbols in the captured image The vehicle-mounted visual field monitor system described.

The in-vehicle field-of-view monitor system according to any one of claims 1 to 3 , further comprising voice notification means for notifying the detection information about the obstacle detected by the obstacle detection means by voice .