JP4200343B2

JP4200343B2 - モニタ装置

Info

Publication number: JP4200343B2
Application number: JP04184699A
Authority: JP
Inventors: 潔中川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-02-19
Filing date: 1999-02-19
Publication date: 2008-12-24
Anticipated expiration: 2019-02-19
Also published as: JP2000242896A

Description

【０００１】
【発明の属する技術分野】
この発明は、モニタ装置に関する。
【０００２】
【従来の技術】
自動車が車線変更を行う場合、バックミラーやドアミラーにより車線変更を行うと、リアピラーで死角を生じるので、危険である。また、高速で近づいてくる後続車を認識するためには、しばらくの間、ミラーを見て判断する必要があり、これもまた注意が散漫になり、危険である。
【０００３】
そこで、自車の後方の光景をビデオカメラで撮像し、その映像をダッシュボードなどに配置した表示装置に表示することが考えられている。
【０００４】
【発明が解決しようとする課題】
ところが、ビデオカメラにより得られる映像には、立体的に見えるための情報が欠落しているので、表示された映像からは、後続車が自車に対してどのくらい離れているかを知ることができない。したがって、表示された映像により車線変更などを行うと、危険である。
【０００５】
この発明は、そのような問題点を解決しようとするものである。
【０００６】
【課題を解決するための手段】
このため、この発明においては、
光軸が水平方向における自車の後方の左右中央を向くように、上記自車の後部中央に配置された第１のビデオ撮像装置と、
光軸が水平方向において所定の角度だけ上記自車の後方左側を向くように、上記自車の後部左側に配置された第２のビデオ撮像装置と、
光軸が水平方向において所定の角度だけ上記自車の後方右側を向くように、上記自車の後部右側に配置された第３のビデオ撮像装置と、
光軸が、水平方向において、上記第２のビデオ撮像装置の上記光軸と平行となるように、上記第２のビデオ撮像装置よりも前部の左側に、上記自車の後方を向いて配置された第４のビデオ撮像装置と、
光軸が、水平方向において、上記第３のビデオ撮像装置の上記光軸と平行となるように、上記第３のビデオ撮像装置よりも前部の右側に、上記自車の後方を向いて配置された第５のビデオ撮像装置と、
上記第１〜第３のビデオ撮像装置の出力ビデオ信号を、上記自車から後方を見たときの１枚の画面として再生される第１のビデオ信号に合成する第１の画像処理回路と、
上記第２および第４のビデオ撮像装置の出力ビデオ信号を、上記自車から後方左側を見たときの１枚の画面として再生される第２のビデオ信号に合成する第２の画像処理回路と、
上記第３および第５のビデオ撮像装置の出力ビデオ信号を、上記自車から後方右側を見たときの１枚の画面として再生される第３のビデオ信号に合成する第３の画像処理回路と、
上記第１〜第３のビデオ信号にそれぞれ所定の信号処理を行う第１〜第３の合成回路と、
この第１〜第３の合成回路により信号処理された上記第１〜第３のビデオ信号がそれぞれ供給されて上記自車の後方の画像をパノラマ表示する第１〜第３の表示装置と、
上記第１〜第３の合成回路において上記所定の信号処理を行うための第１〜第３の制御信号をそれぞれ形成する信号生成回路と
を有し、
上記信号生成回路は、
上記第１〜第５のビデオ撮像装置の出力ビデオ信号から動きベクトルをそれぞれ検出する第１〜第５の動きベクトル検出回路と、
上記第１〜第５のビデオ撮像装置の出力ビデオ信号から、上記第１〜第５の動きベクトル検出回路の出力信号により、動きの大きさが所定の値以内であるパターンのビデオ信号をそれぞれ抽出する第１〜第５のパターン抽出回路と、
上記第１および第２の抽出回路の出力信号から上記自車と後続車との距離を検出する第１のずれ検出回路と、
上記第１および第３の抽出回路の出力信号から上記自車と上記後続車との距離を検出する第２のずれ検出回路と、
上記第１〜第３のパターン抽出回路の出力信号と、上記第１および第２のずれ検出回路の出力信号とから、上記自車と上記後続車との相対距離に応じて、その後続車の画像の輝度を変化させる制御信号を形成する第１の輝度強調回路と、
この第１の輝度強調回路の出力信号と、上記第１〜第３の動きベクトル検出回路の出力信号とから上記第１の制御信号を形成して出力する第１の加算回路と、
上記第２および上記第４のパターン抽出回路の出力信号を比較することにより、上記第４のビデオ撮像装置の撮像範囲から上記第２のビデオ撮像範囲を除いた領域に位置するパターンのビデオ信号を出力する第１のパターン比較回路と、
上記第４のパターン抽出回路の出力信号と、上記第１のパターン比較回路の出力信号とから、上記第４のパターン抽出回路の出力信号のうち、上記第１のパターン比較回路が区別したパターンの輝度を変化させる制御信号を形成する第２の輝度強調回路と、
この第２の輝度強調回路の出力信号と、上記第４の動きベクトル検出回路の出力信号とから上記第２の制御信号を形成して出力する第２の加算回路と、
上記第３および上記第５のパターン抽出回路の出力信号を比較することにより、上記第５のビデオ撮像装置の撮像範囲から上記第３のビデオ撮像範囲を除いた領域に位置するパターンのビデオ信号を出力する第２のパターン比較回路と、
上記第５のパターン抽出回路の出力信号と、上記第２のパターン比較回路の出力信号とから、上記第５のパターン抽出回路の出力信号のうち、上記第２のパターン比較回路が区別したパターンの輝度を変化させる制御信号を形成する第３の輝度強調回路と、
この第３の輝度強調回路の出力信号と、上記第５の動きベクトル検出回路の出力信号とから上記第３の制御信号を形成して出力する第３の加算回路と
を有し、
上記第１〜第３の制御信号により、上記第１〜第３の表示装置に表示される上記後続車の輝度を、上記自車と上記後続車との相対距離に対応して異ならせるとともに、
上記自車と上記後続車との相対速度を上記第１〜第３の表示装置に表示する
ようにしたモニタ装置
とするものである。
したがって、表示装置には、後続車が遠近感をもって表示される。
【０００７】
【発明の実施の形態】
ところで、人間の視覚には錯覚があり、進出色と後退色とを生じる。つまり、背景が暗い場合には、明るい色の像ほど背景から浮き出て見える。また、逆に、背景が明るい場合には、暗い色の像ほど飛び出して見える。
【０００８】
したがって、ビデオカメラにより後続車を撮像して表示する場合、周囲が明るいとき、つまり、例えば昼間だったら、自車の近くの車両は暗く表示するとともに、遠くの車両を明るく表示すれば、それらの車両を直接に見た場合と同様の距離間を得ることができる。また、周囲が暗いとき、つまり、例えば夜間だったら、自車の近くの車両は明るく表示し、遠くの車両を暗く表示すれば、やはりそれらの車両を直接に見た場合と同様の距離間を得ることができる。
【０００９】
一方、２台のビデオカメラにより１つの被写体を撮像するとき、両方のビデオカメラに適度の視差を与えておけば、その視差により被写体までの距離を計測することができる。
【００１０】
そこで、この発明においては、複数のビデオカメラにより自車の後方の光景を撮像して後続車などとの相対距離を計測し、その計測結果にしたがって、対応する後続車などの輝度（あるいは明度）を変更するようにしたものである。
【００１１】
図１において、符号１１〜１５はカラー撮像素子、例えばカラーＣＣＤにより構成されたビデオカメラを示し、これらカメラ１１〜１５は、自車に対して図２に示すように後ろ向きに設置されている。すなわち、図２は、この発明による装置を搭載した乗用車ＣARの平面図であり、図２における上方が車ＣARの前方、下方が後方に対応する。
【００１２】
そして、カメラ１１〜１５の水平画角は20°〜30°とされ、カメラ１１は、車ＣARの後部中央に配置されるとともに、その光軸の水平方向における向きが後部の左右中央となるように配置され、カメラ１１の水平方向における撮像範囲１１Ａは後方中央とされる。
【００１３】
また、カメラ１２は、車ＣARの後部左側に配置されるとともに、その光軸の水平方向における向きが、カメラ１２から見てやや右側となるように配置され、カメラ１２の水平方向における撮像範囲１２Ａは車ＣARの左後方であって、その撮像範囲１２Ａの左側の部分が撮像範囲１１Ａの右側の部分と重複するようにされる。
【００１４】
さらに、カメラ１３は、車ＣARの後部右側に配置されるとともに、その光軸の水平方向における向きが、カメラ１３から見てやや左側となるように配置され、カメラ１３の水平方向における撮像範囲１３Ａは車ＣARの右後方であって、その撮像範囲１３Ａの右側の部分が、撮像範囲１１Ａの左側の部分と重複するようにされる。
【００１５】
また、カメラ１４は、車ＣARの前部左側、例えば左のドアミラーの位置に配置されるとともに、その光軸の水平方向における向きが、例えばカメラ１２のそれと平行となるように配置され、カメラ１４の水平方向の撮像範囲１４Ａは車ＣARの左側部から左後方であって、その撮像範囲１４Ａの左側の部分が撮像範囲１２Ａの右側の部分と重複するようにされる。
【００１６】
さらに、カメラ１５は、車ＣARの前部右側、例えば右のドアミラーの位置に配置されるとともに、その光軸の水平方向における向きが、例えばカメラ１３のそれと平行となるように配置され、その水平方向の撮像範囲１５Ａが車ＣARの右側部から右後方であって、その撮像範囲１５Ａの右側の部分が撮像範囲１３Ａの左側の部分と重複するようにされる。
【００１７】
なお、カメラ１１〜１５の光軸は垂直方向には等しい角度とされるが、例えば夜間に後続車のヘッドライトによりハレーションを起こさないように、多少下を向くようにされる。
【００１８】
そして、カメラ１１〜１３から出力されるカラービデオ信号が画像処理回路２１に供給され、車ＣARから後方を見たときの１枚の画面として再生されるカラービデオ信号Ｓ21に合成処理される。
【００１９】
また、カメラ１２、１４から出力されるカラービデオ信号が画像処理回路２４に供給され、車ＣARから右後方を見たときの１枚の画面として再生されるカラービデオ信号Ｓ24に合成処理される。さらに、カメラ１３、１５から出力されるカラービデオ信号が画像処理回路２５に供給され、車ＣARから左後方を見たときの１枚の画面として再生されるカラービデオ信号Ｓ25に合成処理される。
【００２０】
そして、これら信号Ｓ21、Ｓ24、Ｓ25が、後述する合成回路３１、３４、３５を通じてカラー表示装置５０に供給される。図１においては、表示装置５０は、３つのカラーＬＣＤ５１、５４、５５により構成されるとともに、図３にも示すように、ＬＣＤ５１の左側および右側にＬＣＤ５５およびＬＣＤ５４が一体化され、これらＬＣＤ５５、５１、５４により１つのパノラマ画面を表示できるようにされている。
【００２１】
また、図１および図３においては、ＬＣＤ５４、５５は、ＬＣＤ５１に対してやや内側を向くように一体化され、この表示装置５０は、車ＣARの例えばダッシュボードに配置される。
【００２２】
そして、信号Ｓ21はＬＣＤ５１に供給され、信号24はＬＣＤ５４に供給され、信号Ｓ25はＬＣＤ５５に供給される。
【００２３】
こうして、ＬＣＤ５５、５１、５４には、例えば図３に示すように、ビデオ信号Ｓ25、Ｓ21、Ｓ24により、車ＣARの後方の光景を撮像したときのパノラマ画面が表示される。図３の場合には、ＬＣＤ５５に車両の画像６Ａが表示され、ＬＣＤ５１に車両の画像６Ｂ、６Ｃが表示され、ＬＣＤ５４に車両の画像６Ｄが表示された場合である。
【００２４】
さらに、信号生成回路４０において、所定の制御合成信号Ｓ41、Ｓ44、Ｓ45が形成され、これら信号Ｓ41、Ｓ44、Ｓ45が合成回路３１、３４、３５に供給される。この場合、生成回路４０の詳細については後述するが、信号Ｓ41は、信号Ｓ21によりＬＣＤ５１に再生される画像であって、後続車などの画像に対して、その輝度を自車ＣARとの相対距離に対応して変更する制御信号であるとともに、その画像との相対速度を表示するための信号である。
【００２５】
また、信号Ｓ44、Ｓ45も、ＬＣＤ５４、５５にそれぞれ表示される画像に対して同様の処理を行うための信号である。
【００２６】
すなわち、昼間の走行の場合、全体がやや暗く表示されるとともに、画像６Ａとして撮像されている車両との相対距離が例えば10ｍ以内とすれば、その画像６Ａは、輝度が最も高く表示される。また、画像６Ｂとして撮像されている車両との相対距離が例えば10ｍ以上で20ｍ以内であるとすれば、画像６Ｂは、輝度が中程度に表示される。
【００２７】
さらに、画像６Ｃとして撮像されている車両との相対距離が例えば20ｍ以上であるとすれば、画像６Ｃは、輝度が最も低く表示される。そして、画像６Ｄとして撮像されている車両との相対距離が10ｍ以内であるとすれば、画像６Ｄは、画像６Ａと同様、輝度が最も高く表示される。なお、夜間の走行のときには、輝度が、昼間の走行時とは逆とされる。
【００２８】
また、各画像６Ａ〜６Ｄの上部には、信号Ｓ41、Ｓ44、Ｓ45により、その画像として撮像されている車両との相対速度を示す数字７Ａ〜７Ｄがそれぞれ表示されるとともに、その相対速度によって数字７Ａ〜７Ｄの表示色は違えられ、例えば、10km/h以上のときには、赤色の点滅表示、５km/h〜10km/mのときには、黄色の表示、０のときは、青色とされる。
【００２９】
こうして、上述のモニタ装置によれば、後続車をカメラ１１〜１５により撮像して表示装置５０に表示するとともに、その表示された画像６Ａ〜６Ｄの輝度を、その後続車との相対距離に対応して変化させているので、表示された車両６Ａ〜６Ｄには、遠近感を生じることになり、したがって、後続車の状況を正しく把握できるようになる。
【００３０】
また、１台のビデオカメラにより後方の光景を撮像すると、画角が広くなるため後続車が遥かに後方に見えてしまい、車線変更時などには危険なこともあるが、上述の装置においては、複数のＣＣＤカメラ１１〜１５の撮影画面を合成して１つの表示画面としているので、表示された後続車は、バックミラーで見た場合と同様の大きさに見え、したがって、後続車の状況をより正しく把握できる。
【００３１】
さらに、後続車の相対速度も表示されるので、車線変更などを行うとき、安全に行うことができる。また、急速に接近してくる後続車を即座に判断することができる。さらに、ＣＣＤカメラ１１〜１５は、障害物が写り込まない場所に配置することができるので、後方の状況の視認性を高めることができる。
【００３２】
図４は、信号生成回路４０の一例を示す。すなわち、ＣＣＤカメラ１１〜１５からのビデオ信号が、パターン抽出回路４１１〜４１５にそれぞれ供給されるとともに、動きベクトル検出回路４２１〜４２５に供給され、その検出出力が抽出回路４１１〜４１５に制限信号として供給され、抽出回路４１１〜４１５からは、動きベクトルが所定の値以内のパターンを抽出した信号が取り出される。つまり、動きベクトルが所定値以上となる建物、街路樹、停車中の車両などのパターンは抽出されない。
【００３３】
そして、抽出回路４１１、４１２、４１３からの抽出信号が輝度強調回路４６１に供給される。また、抽出回路４１１、４１２からの抽出信号がずれ比較回路４３２に供給されるとともに、抽出回路４１１、４１３からの抽出信号がずれ比較回路４３３に供給され、自車ＣARと後続車との距離がそれぞれ検出され、その検出信号が加算回路４５１を通じて輝度強調回路４６１に供給される。さらに、明るさ測定回路４８により周囲の明るさが測定されて昼間であるか夜間であるかが判別され、その判別結果が強調回路４６１に供給される。
【００３４】
こうして、強調回路４６１において、パターン抽出回路４１１〜４１３からのパターンのデータと、ずれ比較回路４３２、４３３の検出信号とにより、自車ＣARと後続車との距離に応じて、その後続車の画像の輝度を例えば２段階あるいは３段階に変化させる信号が形成される。
【００３５】
なお、この場合、昼間であれば、後続車の画像の輝度がもとの値よりも低くなるように、夜間であれば、もとの値よりも高くなるように変化させるものである。また、例えば、自車ＣARよりも10ｍ後方にいる車両の画像は、接近レベル２の輝度とし、20ｍ以上後方の車両の画像は、接近レベル３の輝度とする信号が形成される。
【００３６】
そして、この後続車との相対距離に応じて輝度を変化させる信号が加算回路４７１に供給される。また、動きベクトル検出回路４２１〜４２３の検出信号が加算回路４７１に供給される。こうして、加算回路４７１からは、ＬＣＤ５１に表示される画面において、後続車との相対距離および相対速度を示すための信号Ｓ41が取り出される。
【００３７】
さらに、運転者にとって、図２における撮像範囲１４Ａから撮像範囲１２Ａを除いた領域（斜線部分）に位置する車両、および撮像範囲１５Ａから撮像範囲１３Ａを除いた領域（斜線部分）に位置する車両は、最も注意を払わなければならない。
【００３８】
そこで、図４の生成回路４０においては、抽出回路４１４からの抽出信号が輝度強調回路４６４に供給される。また、抽出回路４１２、４１４からの抽出信号がパターン比較回路４３４に供給され、撮像範囲１４Ａから撮像範囲１２Ａを除いた領域（斜線部分）に位置するパターンが区別され、この区別されたパターンの信号が強調回路４６４に供給される。さらに、明るさ測定回路４８の判別結果が強調回路４６４に供給される。
【００３９】
こうして、強調回路４６４において、抽出回路４１４からの抽出信号のうち、比較回路４３４が区別したパターン（車両）を接近レベル１の輝度とする強調信号が形成される。
【００４０】
そして、この強調回路４６４からの強調信号が加算回路４７４に供給される。また、動きベクトル検出回路４２４の検出信号が加算回路４７４に供給される。こうして、加算回路４７４からは、ＬＣＤ５４に表示される画面において、後続車との相対距離および相対速度を示すための信号Ｓ44が取り出される。
【００４１】
また、パターン比較回路４３４、強調回路４６４、加算回路４７４と同様のパターン比較回路４３５、強調回路４６５、加算回路４７５が設けられ、加算回路４７５からは、ＬＣＤ５５に表示される画面において、後続車との相対距離および相対速度を示すための信号Ｓ45が取り出される。
【００４２】
【発明の効果】
この発明によれば、表示装置に表示された車両には、遠近感を生じることになり、したがって、後続車の状況を正しく把握できるようになる。また、表示装置に表示された後続車は、バックミラーで見た場合と同様の大きさに見え、したがって、後続車の状況をより正しく把握できる。
【００４３】
さらに、車線変更などを行うとき、安全に行うことができる。また、急速に接近してきてくる後続車を即座に判断することができる。さらに、後方の状況の視認性を高めることができる。
【図面の簡単な説明】
【図１】この発明の一形態を示す系統図である。
【図２】この発明を説明するための平面図である。
【図３】表示部の一例を正面斜め上部から見た図である。
【図４】図１の回路の一部の一形態を示す系統図である。
【符号の説明】
１１〜１５…ビデオカメラ、２１〜２５…画像処理回路、３１〜３５…合成回路、４０…信号生成回路、５０…表示装置、４１１〜４１５…パターン抽出回路、４２１〜４２５…動きベクトル検出回路、４３４、４３５…パターン比較回路、４４２、４４３…ずれ比較回路、４５１…加算回路、４６１〜４６５…輝度強調回路、４７１〜４７５…加算回路、４８…明るさ測定回路

Claims

光軸が水平方向における自車の後方の左右中央を向くように、上記自車の後部中央に配置された第１のビデオ撮像装置と、
光軸が水平方向において所定の角度だけ上記自車の後方左側を向くように、上記自車の後部左側に配置された第２のビデオ撮像装置と、
光軸が水平方向において所定の角度だけ上記自車の後方右側を向くように、上記自車の後部右側に配置された第３のビデオ撮像装置と、
光軸が、水平方向において、上記第２のビデオ撮像装置の上記光軸と平行となるように、上記第２のビデオ撮像装置よりも前部の左側に、上記自車の後方を向いて配置された第４のビデオ撮像装置と、
光軸が、水平方向において、上記第３のビデオ撮像装置の上記光軸と平行となるように、上記第３のビデオ撮像装置よりも前部の右側に、上記自車の後方を向いて配置された第５のビデオ撮像装置と、
上記第１〜第３のビデオ撮像装置の出力ビデオ信号を、上記自車から後方を見たときの１枚の画面として再生される第１のビデオ信号に合成する第１の画像処理回路と、
上記第２および第４のビデオ撮像装置の出力ビデオ信号を、上記自車から後方左側を見たときの１枚の画面として再生される第２のビデオ信号に合成する第２の画像処理回路と、
上記第３および第５のビデオ撮像装置の出力ビデオ信号を、上記自車から後方右側を見たときの１枚の画面として再生される第３のビデオ信号に合成する第３の画像処理回路と、
上記第１〜第３のビデオ信号にそれぞれ所定の信号処理を行う第１〜第３の合成回路と、
この第１〜第３の合成回路により信号処理された上記第１〜第３のビデオ信号がそれぞれ供給されて上記自車の後方の画像をパノラマ表示する第１〜第３の表示装置と、
上記第１〜第３の合成回路において上記所定の信号処理を行うための第１〜第３の制御信号をそれぞれ形成する信号生成回路と
を有し、
上記信号生成回路は、
上記第１〜第５のビデオ撮像装置の出力ビデオ信号から動きベクトルをそれぞれ検出する第１〜第５の動きベクトル検出回路と、
上記第１〜第５のビデオ撮像装置の出力ビデオ信号から、上記第１〜第５の動きベクトル検出回路の出力信号により、動きの大きさが所定の値以内であるパターンのビデオ信号をそれぞれ抽出する第１〜第５のパターン抽出回路と、
上記第１および第２の抽出回路の出力信号から上記自車と後続車との距離を検出する第１のずれ検出回路と、
上記第１および第３の抽出回路の出力信号から上記自車と上記後続車との距離を検出する第２のずれ検出回路と、
上記第１〜第３のパターン抽出回路の出力信号と、上記第１および第２のずれ検出回路の出力信号とから、上記自車と上記後続車との相対距離に応じて、その後続車の画像の輝度を変化させる制御信号を形成する第１の輝度強調回路と、
この第１の輝度強調回路の出力信号と、上記第１〜第３の動きベクトル検出回路の出力信号とから上記第１の制御信号を形成して出力する第１の加算回路と、
上記第２および上記第４のパターン抽出回路の出力信号を比較することにより、上記第４のビデオ撮像装置の撮像範囲から上記第２のビデオ撮像範囲を除いた領域に位置するパターンのビデオ信号を出力する第１のパターン比較回路と、
上記第４のパターン抽出回路の出力信号と、上記第１のパターン比較回路の出力信号とから、上記第４のパターン抽出回路の出力信号のうち、上記第１のパターン比較回路が区別したパターンの輝度を変化させる制御信号を形成する第２の輝度強調回路と、
この第２の輝度強調回路の出力信号と、上記第４の動きベクトル検出回路の出力信号とから上記第２の制御信号を形成して出力する第２の加算回路と、
上記第３および上記第５のパターン抽出回路の出力信号を比較することにより、上記第５のビデオ撮像装置の撮像範囲から上記第３のビデオ撮像範囲を除いた領域に位置するパターンのビデオ信号を出力する第２のパターン比較回路と、
上記第５のパターン抽出回路の出力信号と、上記第２のパターン比較回路の出力信号とから、上記第５のパターン抽出回路の出力信号のうち、上記第２のパターン比較回路が区別したパターンの輝度を変化させる制御信号を形成する第３の輝度強調回路と、
この第３の輝度強調回路の出力信号と、上記第５の動きベクトル検出回路の出力信号とから上記第３の制御信号を形成して出力する第３の加算回路と
を有し、
上記第１〜第３の制御信号により、上記第１〜第３の表示装置に表示される上記後続車の輝度を、上記自車と上記後続車との相対距離に対応して異ならせるとともに、
上記自車と上記後続車との相対速度を上記第１〜第３の表示装置に表示する
ようにしたモニタ装置。
請求項１に記載のモニタ装置において、
自車の周囲の明るさを測定する明るさ測定回路を有し、
上記後続車の輝度を変化させる場合に、
上記周囲の明るさが所定値以上のときには、上記後続車の輝度が本来の輝度よりも低くなり、
上記周囲の明るさが所定値未満のときには、上記後続車の輝度を本来の輝度よりも高くなる
ようにしたモニタ装置。