JP6785953B2 - 車載用監視カメラ装置 - Google Patents

Description

この発明は車載用監視カメラ装置に関し、特に、車両の周囲をカメラで監視し、衝突の危険がある障害物をドライバーに伝える車両車載用監視カメラ装置に関するものである。

広く普及している車載用監視カメラとして、車両が後退する際に、車両の後方の障害物をドライバーが確認できるようにするための車両後方監視カメラがある。

また、そのような監視カメラに、後方の障害物または接近物を監視するためのレーダーが備えられている場合もある。当該レーダーは、自車両が後退する時に、自車両に衝突する可能性のある障害物を広範囲に探す構成となっている。そのため、レーダーの検知範囲は、監視カメラの視野範囲よりも広いため、レーダーで検知された物体が、監視カメラの視野範囲外にあって、監視カメラの映像からは確認できない場合がある。

これに対し、撮像範囲を１８０°近くまで広げることが可能な広角レンズを用いることで、大幅に視野範囲を広げた後方監視カメラが用いられている場合がある。しかしながら、その場合には、広角レンズにより画像に歪を生じているため、ドライバーが対象物の位置関係を把握するのが困難となる欠点がある。

この欠点を克服するため、例えば特許文献１に記載の車両用映像補正装置では、広角レンズによる歪を画像処理により取り除く技術が用いられている。特許文献１に記載の装置では、撮像部で撮像された映像内に画像補正処理の基準となる特定位置を設定し、当該特定位置に対して左右方向の映像部分を上下方向にシフトさせて、車両の幅方向に対する映像内の歪曲を直線状に補正する。

特開２００６−１７８６６７号公報

しかしながら、特許文献１に記載のような技術を用いることで、例えば１８０°にわたるような視野角の広い映像を取得したとしても、それを歪なく表示するためには、大きな表示装置が必要となる。そのため、そのような大きな表示装置を、車両内の狭い運転席に設置することは困難であるという課題があった。

この発明は、かかる課題を解決するためになされたものであり、大きな表示装置を必要とせずに、ドライバーが、検知された障害物の方向を迅速に把握することが可能な、車載用監視カメラ装置を得ることを目的とする。

この発明は、レーダーまたはカメラで検知した障害物のうち、自車両に衝突する可能性のある障害物を、第１の障害物として検知する障害物検知部と、前記第１の障害物と前記自車両とが接触するまでの時間を検出する衝突リスク判定部と、標準レンズよりも広い撮像範囲を有する広角レンズにより撮影された第１の画像が入力され、前記第１の画像の歪を補正して第２の画像を生成する歪補正部と、前記衝突リスク判定部が検出した前記接触するまでの時間のうち、最も短い時間を有する前記第１の障害物を第２の障害物として抽出し、当該第２の障害物が横方向の中央に位置するように一定範囲の画像を前記第２の画像から切り出して、第３の画像を生成するカメラ視点表示制御部と、前記第３の画像を表示する第１の表示装置とを備え、前記カメラ視点表示制御部は、前記第３の画像の視野範囲または視野の中心方向を示す画像を前記第３の画像に重畳させ、前記衝突リスク判定部は、前記第１の障害物の位置、進路、速度と、前記自車両の位置、進路、速度とに基づいて、前記自車両の進路と前記第１の障害物の進路とが交差する交点を求め、前記接触するまでの時間を、前記第１の障害物が前記交点に到達するまでの第１の到達時間と、前記自車両が前記交点に到達するまでの第２の到達時間とのうちのいずれか一方の小さい方の到達時間として検出する、車載用監視カメラ装置である。

この発明に係る車載用監視カメラ装置は、広角レンズで撮影した画像から障害物の画像を切り取り、切り取った当該画像に対して、当該画像の視野範囲または当該画像の視野の中心方向を示す画像を重畳して表示するようにしたので、大きな表示装置を必要とせずに、ドライバーが、障害物の方向を迅速に把握することができる。

この発明の実施の形態１に係る車載用監視カメラ装置の構成を示したブロック図である。 この発明の実施の形態１に係る車載用監視カメラ装置の処理の流れを示したフローチャートである。 この発明の実施の形態１に係る車載用監視カメラ装置の処理の流れを示したフローチャートである。 この発明の実施の形態１に係る車載用監視カメラ装置における衝突リスク判定部による検出方法を説明する図である。 この発明の実施の形態１に係る車載用監視カメラ装置における表示装置の画面例を示した図である。 この発明の実施の形態１に係る車載用監視カメラ装置における障害物表示重畳部により重畳されるマークの形状と色とを接触までの時間または距離ごとに定義したデータテーブルの一例を示した図である。 この発明の実施の形態１に係る車載用監視カメラ装置におけるカメラの撮像範囲を示した図である。 この発明の実施の形態２に係る車載用監視カメラ装置の構成を示したブロック図である。 この発明の実施の形態２に係る車載用監視カメラ装置の処理の流れを示したフローチャートである。

以下、図面に基づいて、この発明の実施の形態に係る車載用監視カメラ装置について説明する。

実施の形態１．
図１は、この発明の実施の形態１に係る車載用監視カメラ装置の構成を示すブロック図である。車載用監視カメラ装置１００は車両に搭載されている。以下では、車載用監視カメラ装置１００が搭載されている車両を「自車両」と呼び、他の車両を「他車両」と呼ぶこととする。

まず、図１に示すように、車載用監視カメラ装置１００には、カメラ１が接続されている。カメラ１は、図５に示すように、自車両１０１の後部に設けられている。カメラ１は、標準レンズよりも広い撮像範囲を有する広角レンズを装備している。広角レンズは、撮像範囲を１８０°まで広げることができる。そのため、カメラ１は、図５に示す撮像範囲５０のように、カメラ１のレンズ位置を中心とする、例えば１８０°にわたる広い視野角の撮像範囲の画像を取得することができる。カメラ１は、自車両１０１の後方を撮像し、画像１を出力する。

車載用監視カメラ装置１００は、画像を取得する手段として、歪補正部２を備える。歪補正部２は、カメラ１から画像１を受信し、広角レンズによる画像１の歪を取り除いて画像２を得る。広角レンズによる画像の歪を画像処理により取り除く方法は、例えば特許文献１にも記載されているように、種々提案されている。そのため、歪補正部２は、例えば、そのような既存の技術のうちの１つを用いて、画像１の歪を取り除くようにすればよく、ここでは、画像１の歪を取り除く方法については、特に限定しない。

さらに、図１に示すように、車載用監視カメラ装置１００には、ミリ波レーダー１１が接続されている。ミリ波レーダー１１は、例えば、自車両１０１の後部に設けられている。ミリ波レーダー１１は、ミリ波帯の電波を放射し、当該電波が障害物の表面で反射した反射波を受信する。ミリ波レーダー１１は、当該反射波を用いて、反射点の座標を、障害物に関する感知情報として出力する。

車載用監視カメラ装置１００は、障害物の情報を取得する手段として、障害物検知部３と衝突リスク判定部４とを備えている。

障害物検知部３は、ミリ波レーダー１１から感知情報を予め設定された周期で受信し、当該感知情報に含まれる反射点の座標に基づいて、当該反射点の座標の集合を障害物として特定するとともに、当該集合の時系列的な動きに基づいて、障害物の位置、進路、速度を検知する。さらに、障害物検知部３は、障害物の位置、進路、速度と、自車両１０１の位置、進路、速度とに基づいて、自車両１０１に接触する可能性のある障害物を検知する。以下では、この障害物を「第１の障害物」と呼ぶこととする。

衝突リスク判定部４は、障害物検知部３によって検知された第１の障害物に自車両１０１が接触するまで時間と、第１の障害物と自車両との間の距離を検出する。

図３を用いて、衝突リスク判定部４における「接触するまでの時間」の検出方法について説明する。衝突リスク判定部４は、第１の障害物１０２の位置、進路、速度と、自車両１０１の位置、進路、速度とに基づいて、自車両１０１の進路と第１の障害物１０２の進路とが交差する交点４０を求める。次に、衝突リスク判定部４は、第１の障害物１０２の交点４０までの到達時間Ａ（符号４１参照）と、自車両１０１の交点４０までの到達時間Ｂ（符号４２参照）とを求める。衝突リスク判定部４は、到達時間Ａと到達時間Ｂとのうちのいずれか一方の小さい方の到達時間を「接触するまでの時間」として求める。また、衝突リスク判定部４は、第１の障害物１０２の位置と自車両１０１の位置とに基づいて、第１の障害物１０２と自車両１０１との間の距離を、「障害物と自車両との距離」として求める。なお、図３の例においては、障害物１０２を歩行者としているが、これに限定されずに、障害物１０２には、動物、三輪車、自転車、単車、他の車両などの動的障害物、および、ガードレール、電柱などの静的障害物が含まれる。

また、車載用監視カメラ装置１００は、表示を行う手段として、カメラ視点表示制御部５と障害物表示重畳部７とを備える。カメラ視点表示制御部５には、視点記憶部６が接続されている。視点記憶部６はメモリから構成されている。視点記憶部６は、障害物の情報を保存している。障害物の情報とは、例えば、障害物のＩＤとする。

カメラ視点表示制御部５は、次の３つの動作（１）〜（３）を行う。

（１）カメラ視点表示制御部５は、視点記憶部６に障害物の情報が記録されているか否かを判定し、記録されていない場合に、衝突リスク判定部４で検出された「接触するまでの時間」のうち、最も短い時間を有する第１の障害物を抽出し、抽出した第１の障害物を、第２の障害物として、当該第２の障害物の情報を視点記憶部６に記憶させる。

（２）カメラ視点表示制御部５は、視点記憶部６から第２の障害物の情報を読込み、第２の障害物の画像を画像２から切り出して、画像３を生成する。第２の障害物の画像を切り出す際には、当該第２の障害物が画像の横方向の中心に位置するように、予め設定された一定の範囲を、画像２から切り出す。一定の範囲とは、例えば、予め設定された画素範囲とする。一定の範囲は、第２の障害物までの距離に依らずに、固定値とする。また、このとき、画像の縦方向の中心については、障害物の位置に依らずに一定とする。それにより、自車両１０１からの距離が遠いほど、その障害物の画像内の位置は水平線に近づくことになる。このように、画像の縦方向の中心を一定とすることで、ドライバーが障害物までの距離を把握しやすくなる。

（３）カメラ視点表示制御部５は、ドライバーが第２の障害物の方向を把握できるように、例えば図４Ａに示すように、画像３の視野範囲と視野の中心方向とを示すレーダーチャート３１を画像３に重畳する。図４Ａは、レーダーチャート３１の一例を示す。図４Ａに示すように、レーダーチャート３１は、自車両１０１を中心とした半円形を有している。レーダーチャート３１には、画像３の視野範囲３２と視野の中心方向３３とが表示されている。図４Ａにおいては、色付けされたエリアが視野範囲３２を示し、実線が視野の中心方向３３を示す。ここでは、レーダーチャート３１が、画像３の視野範囲３２と視野の中心方向３３との両方を表示しているが、いずれか一方だけを表示するようにしてもよい。

なお、レーダーチャート３１について、さらに詳しく説明する。図４Ａと図５とを比較する。図５において、符号５０は、カメラ１の撮像範囲を示す。また、符号５２は、画像３として表示されている範囲を示す。以下では、当該範囲を、画像３の表示範囲または視野範囲と呼ぶ。また、符号５３は、障害物１０２の方向を示す。なお、障害物１０２の方向は、画像３の視野の中心方向を示す。このとき、図５の撮像範囲５０と、図４Ａのレーダーチャート３１の半円とが対応する。同様に、図５の表示範囲５２と、図４Ａの視野範囲３２とが対応する。さらに、図５の方向５３と、図４Ａの視野の中心方向３３とが対応する。

障害物表示重畳部７は、画像３に表示された第２の障害物に対して、衝突リスク判定部４で検出された当該第２の障害物の接触までの時間または当該第２の障害物までの距離に応じて、形状と色とが切り替えられるマークを重畳した画像４を生成し、表示装置９に画像４を出力する。なお、図１に示すように、車載用監視カメラ装置１００には、表示装置９と表示装置１０とが接続されている。当該マークは、画像３に表示された第２の障害物に対して、ドライバーの注意を喚起するための強調表示である。当該マークは、接触までに時間または距離に応じて、形状と色とを変えるようにしたので、当該マークの形状と色とにより、ドライバーは、第２の障害物の優先度、すなわち、緊急度を認識することができる。

図４Ａに、画像４（符号３０）に重畳されるマーク３４の一例を示す。また、図４Ｂに、接触までの時間または距離ごとに、マーク３４の形状と色とを定義したデータテーブルの一例を示す。図４Ｂに示すように、接触までの時間が２秒以内または接触までの距離が３ｍ未満の場合、優先度が高いことを示すように、マークの形状は、矩形形状で、かつ、マークの色は赤に設定されている。また、接触までの時間が２秒以上５秒未満または接触までの距離が３ｍ以上６ｍ未満の場合、優先度が中程度であることを示すように、マークの形状は、丸括弧で、かつ、マークの色は緑に設定されている。一方、接触までの時間が５秒以上または接触までの距離が６ｍ以上の場合、優先度が低いことを示すように、マークの形状は、閉じ括弧のみが表示され、かつ、マークの色は青に設定されている。このように、画像４にマーク３４とレーダーチャート３１とを表示することで、ドライバーに対して、障害物の方向と優先度とを同時に提示することができる。なお、マークの形状および色は、単なる一例であり、これらに限定されない。

さらに、車載用監視カメラ装置１００は、カメラ出力部１２を備えている。カメラ出力部１２は、カメラ１から取得した画像１の全体を表示するために、カメラ１から取得した画像１を表示装置１０にそのまま出力する。ドライバーが、表示装置９の画像４と表示装置１０の画像１とを同時に見ることで、画像１により、自車両１０１の後方全体の状態を１８０°の広い視野角で大まかに把握しながら、画像４により、障害物の位置関係を正確に把握することができる。

なお、カメラ視点表示制御部５は、上記動作（１）〜（３）に加えて、下記の動作（４）をさらに行う。カメラ視点表示制御部５には、図１に示すように、操作装置８を接続することができる。

（４）カメラ視点表示制御部５は、操作装置８からの信号を受信し、障害物に自車両１０１が接触するまで時間の順、障害物との距離の順、または、障害物への視点の方向の順のいずれかの順序に従って、視点記憶部６に記憶されている障害物ＩＤを変更する仕組みを備える。これにより、現在、表示装置９に表示されている障害物を、次の障害物に切り替えるときに、どの順序に従って、次の障害物を選択するかを、ドライバーが指定することができる。詳細については後述する。

次に、図２Ａおよび図２Ｂのフローチャートに基づいて、実施の形態１に係る車載用監視カメラ装置１００の動作について説明する。

図２Ａに示すように、まず、歪補正部２が、カメラ１から取得した画像１から、広角レンズによる歪を除去し、画像２を生成する（ステップＳ１）。

次に、障害物検知部３は、ミリ波レーダー１１からの反射点の集合と、その時系列的な動きとに基づいて、１以上の障害物を特定し、それらの障害物の位置と進路と速度とを検知し、障害物の位置、進路、速度と自車両の位置、進路、速度とに基づいて、それらの障害物の中から自車両に接触する可能性のある障害物を、第１の障害物として抽出する（ステップＳ２）。

次に、衝突リスク判定部４が、第１の障害物へ接触する時間を図３に示した方法で検知すると共に、第１の障害物と自車両との距離を検知する（ステップＳ３）。この時、新たに検知された障害物には新しいＩＤを付し、前回検知された障害物には前回と同じＩＤを付す。

次に、カメラ視点表示制御部５は、表示装置９に表示させる障害物を選択するため、視点記憶部６が記憶している障害物のＩＤを読込み、その障害物が画像２内に存在しているか判定する（ステップＳ４）。

存在しない場合は、障害物がいなくなったものとし、検知された第１の障害物の中で接触までの時間が最も短い障害物のＩＤを、視点記憶部６に記憶させる（ステップＳ５）。一方、存在する場合は、そのまま、ステップＳ６に進む。

次に、カメラ視点表示制御部５が、視点記憶部６に記憶されている障害物のＩＤを読込み、該当する障害物が画像の横方向の中央となるように、予め設定された画素範囲を、画像２から切り出して、画像３を生成する。この時、画像の縦方向の中心については、障害物までの距離が把握できるよう障害物の位置に依らず一定とし、遠い障害物ほど、水平線に近づく様子がわかるようにする。さらに、障害物表示重畳部７が、画像３に対して、自車両１０１を中心とした半円のレーダーチャート３１を重畳する（ステップＳ６）。

その後、障害物表示重畳部７は、画像３に対して、図４Ａに示すように、衝突までの時間に応じて、形状と色とを変化させるように、図４Ｂのテーブルで定義されたマーク３４を重畳する。重畳方法は、画像３内の障害物１０２に対応する画素範囲３７に対して、マーク３４を重畳させる。さらに、障害物表示重畳部７は、画像３において、図４Ａに示すように、画像３内に表示されていないその他の障害物の存在を示す左側障害物情報および右側障害物情報を、それぞれ、矢印３５，３６で示す。また、矢印３５，３６内には、障害物の数を示す数字を表示させる。これにより、図４Ａに示す画像４が生成される（ステップＳ７）。

車載用監視カメラ装置１００には、図１に示すように、操作装置８を接続することができる。操作装置８を車載用監視カメラ装置１００に接続した場合の操作装置８へのドライバーの操作による動作をステップＳ８以降に記載する。

操作装置８は、ドライバーによって視点切替の操作入力がなされた場合に、カメラ視点表示制御部５に対して、操作入力があったことを示す信号を送信する。そのため、カメラ視点表示制御部５は、操作装置８からの当該信号の有無に基づいて、視点切替の操作入力があったかどうかを確認する（ステップＳ８）。操作入力があった場合、図２ＢのステップＳ９に進む。一方、操作入力が無かった場合、ステップＳ１の処理に戻る。

操作入力があった場合、カメラ視点表示制御部５は、操作装置８に入力された切替順序がいずれであるかについて判断する（ステップＳ９）。切替順序は、例えば、「接触までの時間順」、「視点の方向順」、「障害物との距離順」の３通りとする。

ステップＳ９の判定で、切替順序が「接触までの時間順」である場合は、カメラ視点表示制御部５は、ステップＳ２で検出された障害物のうち、視点記憶部６に記憶されている障害物の次に接触までの時間が短い障害物のＩＤを、表示対象として視点記憶部６に記憶する。ただし、該当する障害物が無い場合には、最も接触までの時間が短い障害物のＩＤを、表示対象として視点記憶部６に記憶する（ステップＳ１０）。

ステップＳ９の判定で、切替順序が「視点の方向順」である場合は、カメラ視点表示制御部５は、ステップＳ２で検出された障害物であって、且つ、視点記憶部６に記憶されている障害物の右側にある障害物のうち、視点方向が一番近い障害物のＩＤを、表示対象として視点記憶部６に記憶させる。ただし、障害物の右側には、対象となる障害物が存在しない場合は、視点方向の一番左側にある障害物のＩＤを視点記憶部６に記憶させる（ステップＳ１１）。

ステップＳ９の判定で、切替順序が「障害物との距離順」である場合は、カメラ視点表示制御部５は、ステップＳ２で検出された障害物のうち、視点記憶部６に記憶されている障害物の次に自車両１０１との距離が短い障害物のＩＤを、表示対象として視点記憶部６に記憶する。ただし、該当する障害物が無い場合には、最も自車両１０１との距離が短い障害物のＩＤを、表示対象として視点記憶部６に記憶する（ステップＳ１２）。

ステップＳ１からステップＳ１２までの処理は、周期的なループ処理になっており、ステップＳ１２まで処理が完了した後、カメラ１の画像１が入力されるタイミングまで待って、ステップＳ１からステップＳ１２までの処理が再度開始される。

尚、図２Ａ及び図２Ｂにおいては、カメラ出力部１２の動作についての記載を省略しているが、カメラ出力部１２は、常に、カメラ１が出力する画像１を、表示装置１０に出力して、カメラ１全体の画像がドライバーに見えるようにしている。

このようなシステム構成と動作で実施することにより、自車両１０１の後退時に、車両周囲１８０°にわたる広い範囲を、大きな表示装置を用いなくとも、衝突リスクのある障害物の存在と位置の把握を、ドライバーが迅速に行うことが可能になる。

以上のように、実施の形態１においては、車載用監視カメラ装置１００が、ミリ波レーダー１１で検知した障害物のうち、自車両１０１に衝突する可能性のある障害物を、第１の障害物として検知する障害物検知部３と、第１の障害物と自車両１０１とが接触するまでの時間または第１の障害物と自車両との間の距離を検出する衝突リスク判定部４と、広角レンズにより撮影された第１の画像が入力され、第１の画像の歪を補正して第２の画像を生成する歪補正部２と、衝突リスク判定部４が検出した時間または距離のうち、最も短い時間または最も短い距離を有する第１の障害物を第２の障害物として抽出し、当該第２の障害物が横方向の中央に位置するように一定範囲の画像を第２の画像から切り出して、第３の画像を生成するカメラ視点表示制御部５と、第３の画像を表示する第１の表示装置９とを備えている。また、カメラ視点表示制御部５は、第３の画像の視野範囲または第３の画像の視野の中心方向を示す画像としてのレーダーチャート３１を、第３の画像に重畳させることで、第２の障害物の方向を表示する。これにより、標準サイズの表示装置よりも大きな表示装置を必要とせずに、ドライバーが、検知された障害物までの距離および方向を迅速に把握することができる。なお、レーダーチャート３１は単なる一例であり、第３の画像の視野範囲または第３の画像の視野の中心方向を示す画像であれば、いずれのものでもよい。例えば、当該画像の形状は、図４Ａに示したような半円形ではなく、円形であってもよく、矩形であってもよい。また、画像の視野範囲３２および視野の中心方向３３の表示形態および表示方法も、例えば、視野の中心方向３３を矢印で示すなど、他の表示形態及び表示方法であってもよい。

また、実施の形態１においては、第３の画像内に表示されている第２の障害物を強調するための強調表示としてのマーク３４を、第３の画像における第２の障害物に対して重畳する障害物表示重畳部７を備えている。これにより、ドライバーは、障害物の衝突リスクの程度を瞬時に把握することができる。

また、実施の形態１においては、第３の画像内に表示する第２の障害物を、第１の障害物のうちの他の１つに切り替える切替指示が入力される操作装置８を用いるようにしてもよい。その場合には、ドライバーの切替指示に従って、第３の画像内に表示する第２の障害物を、他の１つに切り替えることができる。

また、実施の形態１においては、障害物表示重畳部７が、第３の画像内に表示されていない他の前記第１の障害物の存在を示す情報を、矢印３５，３６で示すようにしてもよい。その場合には、ドライバーが矢印３５，３６に指で触れることにより、画面に表示されていない他の障害物を表示することができる。

実施の形態２．
図６は、この発明の実施の形態２に係る車載用監視カメラ装置１００Ａの構成を示すブロック図である。車載用監視カメラ装置１００Ａは自車両１０１に搭載されている。

まず、図６に示すように、車載用監視カメラ装置１００Ａには、実施の形態１と同様に、カメラ１が接続されている。実施の形態１と同様に、カメラ１は、図５に示すように、自車両１０１の後部に設けられている。カメラ１は、広角レンズを装備している。そのため、カメラ１は、図５に示す撮像範囲５０のように、カメラ１を中心とする、例えば１８０°にわたる広い視野角の撮像範囲の画像を取得することができる。カメラ１は、自車両１０１の後方を撮像し、画像５を出力する。

車載用監視カメラ装置１００Ａは、表示する画像を取得する手段として、実施の形態１と同様に、歪補正部２を備える。歪補正部２は、カメラ１から画像５を受信し、実施の形態１と同様の方法で、広角レンズによる画像５の歪を取り除いて画像６を得る。

さらに、車載用監視カメラ装置１００Ａは、障害物検知部６３と衝突リスク判定部６４とを備えている。

上記の実施の形態１で示した障害物検知部３は、ミリ波レーダー１１の感知情報を用いていたが、一方、実施の形態２における障害物検知部６３は、歪補正部２を介してカメラ１から得られる画像６を用いる。障害物検知部６３は、画像６に画像認識処理を行って、障害物の存在を検知するとともに、障害物が検知された画素座標を逆射影変換し、障害物の位置を検知する。さらに、障害物検知部６３は、過去の画像処理で得られた画像６に含まれる障害物の位置の時系列的な変化をもとに、その障害物の位置、進路、速度を検知するとともに、その障害物の位置、進路、速度と、自車両１０１の位置、進路、速度とに基づいて、自車両１０１に接触する可能性のある障害物を第一の障害物として検知する。
衝突リスク判定部６４は、上記実施の形態１で示した衝突リスク判定部４と同一の検出方法にて、「接触するまでの時間」および「障害物と自車両との距離」を検出する。

さらに、車載用監視カメラ装置１００Ａは、表示を行う手段として、カメラ視点表示制御部６５と障害物表示重畳部６６とを備える。

カメラ視点表示制御部６５は、次の３つの動作（１）〜（３）を行う。

（１）カメラ視点表示制御部６５は、障害物検知部６３によって検知された障害物のうち、距離が短い順に、最大４つの障害物を抽出する。

（２）カメラ視点表示制御部６５は、抽出したそれぞれの障害物ごとに、画像６から、障害物が画像の横方向の中心に位置するように、一定の範囲を切り出して、画像７を生成する。画像７は、障害物ごとに生成されるので、画像７の個数は最大４つである。ここで、一定の範囲とは、例えば、予め設定された画素範囲である。また、画像の縦方向の中心は、実施の形態１と同様に、障害物までの距離が把握できるように、障害物の位置に依らずに一定とする。

（３）カメラ視点表示制御部６５は、画像７に対して、画像７の視野範囲または視野の中心方向を示す画像としてのレーダーチャート３１を重畳する。レーダーチャート３１は、上記の実施の形態１で説明したレーダーチャート３１と同じであるため、ここでは、その説明を省略する。

障害物表示重畳部６６は、画像７の障害物に対して、障害物と自車両との距離に応じて、形状と色の変化するマーク３４を重畳した画像８を生成し、４つの表示装置６７，６８，６９，７０に、それぞれ、表示する。なお、マークの形状と色については、例えば、図４Ｂのデータテーブルで予め定義しておく。なお、画像８の例は、例えば、図４Ａに示す画像４（符号３０）と同じでよい。

次に、図７のフローチャートに基づいて、実施の形態２に係る車載用監視カメラ装置１００Ａの動作について説明する。

まず、歪補正部２が、カメラ１から取得した画像５から、広角レンズによる画像の歪を除去し、画像６を生成する（ステップＳ２１）。

次に、障害物検知部６３は、画像６を用いて、画像認識処理により、第１の障害物の存在、および、その位置を検知する（ステップＳ２２）。

次に、検知された第１の障害物の位置と自車両１０１の位置とに基づいて、衝突リスク判定部６４が、第１の障害物と自車両１０１との距離を検知する（ステップＳ２３）。

次に、カメラ視点表示制御部６５が、第１の障害物の中で、自車両１０１と接触するまでの時間、または距離が短い順に、最大４つの障害物を、第２の障害物として抽出する（ステップＳ２４）。尚、第１の障害物が４つ以内の場合は、抽出される第２の障害物の数は、第１の障害物の数と同一になる。

次に、カメラ視点表示制御部６５は、画像６から、これらの第２の障害物ごとに、当該第２の障害物が画像の横方向の中心となるように一定の範囲の画像を、画像７として切り出す（ステップＳ２５）。画像７の個数は、第２の障害物の個数と同じである。また、一定の範囲とは、実施の形態１と同様に、例えば、予め設定された画素範囲とする。

さらに、カメラ視点表示制御部６５は、各画像７に対し、切り出した画像の視野範囲または視野の中心方向を示すレーダーチャート３１を重畳する（ステップＳ２６）。

最後に、障害物表示重畳部６６が、図４Ｂのデータテーブルに従って、自車両１０１と障害物との距離に応じて、形状と色とを変えたマークを各画像７に対して重畳した画像８を生成する（ステップＳ２７）。画像８の個数は、第２の障害物の個数と同じである。

次に、障害物表示重畳部６６が、外部の表示装置６７，６８，６９，７０に対して、各画像８を出力する（ステップＳ２８）。

ステップＳ２１からステップＳ２８までの動作は、カメラ１からの画像５の入力を起点とした、周期的なループ処理になっており、ステップＳ２８まで処理が完了した後、カメラ１からの画像５が入力されるタイミングまで待って、ステップＳ２１からステップＳ２８までの処理が再度開始される。

実施の形態２においては、このようなシステム構成と動作で実施することにより、自車両１０１の後退時に、車両周囲１８０°にわたる広い範囲を、大きな表示装置を用いなくとも、複数存在する衝突リスクのある障害物の存在と位置の把握をドライバーが迅速に行うことが可能となる。

なお、実施の形態２では、図１に示すカメラ出力部１２と表示装置１０とが設けられていないが、実施の形態２においても、図１に示すカメラ出力部１２と表示装置１０とを設けて、画像５を表示するようにしてもよい。

なお、実施の形態２では、図１に示す操作装置８が設けられていないが、実施の形態２においても、図１に示す操作装置８を設けて、ドライバーが指定する切替順序に従って、障害物の切り替えが行えるようにしてもよい。

以上のように、実施の形態２においては、カメラ１で検知した障害物のうち、自車両に衝突する可能性のある障害物を、第１の障害物として検知する障害物検知部６３と、第１の障害物と自車両１０１とが接触するまでの時間または第１の障害物と自車両との間の距離を検出する衝突リスク判定部６４と、広角レンズにより撮影された第１の画像が入力され、第１の画像の歪を補正して第２の画像を生成する歪補正部２と、衝突リスク判定部６４が検出した時間または距離のうち、最も短い時間または最も短い距離を有する第１の障害物を第２の障害物として抽出し、当該第２の障害物が横方向の中央に位置するように一定範囲の画像を前記第２の画像から切り出して、第３の画像を生成するカメラ視点表示制御部６５と、第３の画像を表示する第１の表示装置６７〜７０とを備えている。また、カメラ視点表示制御部５は、第１の画像の撮像範囲に対する第３の画像の視野範囲または第３の画像の視野の中心方向を示す画像としてのレーダーチャート３１を、第３の画像に重畳させることで、第２の障害物の方向を表示する。これにより、実施の形態１と同様の効果を得ることができる。

さらに、実施の形態２においては、カメラ視点表示制御部５は、第２の障害物として、複数の第１の障害物を抽出して、各第１の障害物ごとに第３の画像を生成する。まら、表示装置として、複数の表示装置６７〜７０が設けられ、各表示装置６７〜７０の画面において、各第１の障害物ごとに生成された各第３の画像をそれぞれ表示させる。これにより、ドライバーは、画面を切り替えることなく、複数の障害物を表示装置で表示することができる。

１ カメラ、２ 歪補正部、３，６３ 障害物検知部、４，６４ 衝突リスク判定部、５，６５ カメラ視点表示制御部、６ 視点記憶部、７，６６ 障害物表示重畳部、８ 操作装置、９，１０，６７，６８，６９，７０ 表示装置、１１ ミリ波レーダー、１２ カメラ出力部、１００，１００Ａ 車載用監視カメラ装置、１０１ 自車両、１０２ 障害物。

Claims (10)

1. レーダーまたはカメラで検知した障害物のうち、自車両に衝突する可能性のある障害物を、第１の障害物として検知する障害物検知部と、
   前記第１の障害物と前記自車両とが接触するまでの時間を検出する衝突リスク判定部と、
   標準レンズよりも広い撮像範囲を有する広角レンズにより撮影された第１の画像が入力され、前記第１の画像の歪を補正して第２の画像を生成する歪補正部と、
   前記衝突リスク判定部が検出した前記接触するまでの時間のうち、最も短い時間を有する前記第１の障害物を第２の障害物として抽出し、当該第２の障害物が横方向の中央に位置するように一定範囲の画像を前記第２の画像から切り出して、第３の画像を生成するカメラ視点表示制御部と、
   前記第３の画像を表示する第１の表示装置と
   を備え、
   前記カメラ視点表示制御部は、前記第３の画像の視野範囲または視野の中心方向を示す画像を前記第３の画像に重畳させ、
   前記衝突リスク判定部は、前記第１の障害物の位置、進路、速度と、前記自車両の位置、進路、速度とに基づいて、前記自車両の進路と前記第１の障害物の進路とが交差する交点を求め、前記接触するまでの時間を、前記第１の障害物が前記交点に到達するまでの第１の到達時間と、前記自車両が前記交点に到達するまでの第２の到達時間とのうちのいずれか一方の小さい方の到達時間として検出する、
   車載用監視カメラ装置。
2. 前記第３の画像内に表示されている前記第２の障害物を強調するための強調表示を、前記第３の画像における前記第２の障害物に対して重畳する障害物表示重畳部を備えた、
   請求項１に記載の車載用監視カメラ装置。
3. 前記障害物表示重畳部は、前記強調表示の色を、前記衝突リスク判定部が検出した前記時間に応じて切り替える、
   請求項２に記載の車載用監視カメラ装置。
4. 前記障害物表示重畳部は、前記強調表示の形状を、前記衝突リスク判定部が検出した前記時間に応じて切り替える、
   請求項２に記載の車載用監視カメラ装置。
5. 前記障害物表示重畳部は、前記第３の画像内に表示されていない他の前記第１の障害物の存在を示す情報を、前記第３の画像に重畳する、
   請求項２から４までのいずれか１項に記載の車載用監視カメラ装置。
6. 前記第３の画像内に表示する前記第２の障害物を、前記第１の障害物のうちの他の１つに切り替える切替指示が入力される操作装置
   を備えた、
   請求項１から５までのいずれか１項に記載の車載用監視カメラ装置。
7. 前記操作装置に入力される前記切替指示による切替順序は、前記衝突リスク判定部が検出した前記時間に基づく、
   請求項６に記載の車載用監視カメラ装置。
8. 前記操作装置に入力される前記切替指示による切替順序は、前記第１の障害物が存在する方向に基づく、
   請求項６に記載の車載用監視カメラ装置。
9. 前記第１の画像を表示する第２の表示装置を備えた、
   請求項１から８までのいずれか１項に記載の車載用監視カメラ装置。
10. 前記カメラ視点表示制御部は、前記第２の障害物として、複数の前記第１の障害物を抽出して、各前記第１の障害物ごとに前記第３の画像を生成し、
    前記第１の表示装置は、複数の画面を有し、各画面において、各前記第１の障害物ごとに生成された各前記第３の画像をそれぞれ表示させる、
    請求項１から９までのいずれか１項に記載の車載用監視カメラ装置。

Images