JP3990836B2 - 車両用周辺監視装置 - Google Patents
車両用周辺監視装置 Download PDFInfo
- Publication number
- JP3990836B2 JP3990836B2 JP05243499A JP5243499A JP3990836B2 JP 3990836 B2 JP3990836 B2 JP 3990836B2 JP 05243499 A JP05243499 A JP 05243499A JP 5243499 A JP5243499 A JP 5243499A JP 3990836 B2 JP3990836 B2 JP 3990836B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- approaching
- detected
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/082—Lane monitoring; Lane Keeping Systems using alarm actuation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
Description
【０００１】
【発明の属する技術分野】
本発明は、車両用周辺監視装置に係わり、特に、自動車などの車両とに設置されたカメラ等の撮像手段によって、車両の周辺を撮像し、撮像された画像を用いて、走行している自車両の周辺より接近してくる他車両を検知し、運転者に警告を与えるための車両用周辺監視装置に関する。
【０００２】
【従来の技術】
例えば、高速道路などの片側２車線以上の道路を走行中の運転者が、車線の変更を行おうとした場合、その車両（自車両）が変更しようとする隣接車線に、自車両よりも速いスピードにて走行中の他車両（周囲の他車両）が後側方から追い上げてきた場合などに、前記他車両の存在を見落としたまま、運転者が車線の変更を行った場合、大事故につながる可能性が極めて高い。
【０００３】
また、自車両と同一の車線を、後続して他車両が走行している場合などにも、後続の他車両が自車両よりも速いスピードであるときは、自車両が急ブレーキをかけるなどすると追突される危険性があり、この意味でも周囲の他車両を確実に認識しておくことが望ましい。
【０００４】
さらには、運転者が居眠りをした場合などで、自車両と同一の車線前方を他車両が自車両よりも遅いスピードで走行していた場合など、前方の車両に追突する危険性があり、やはり周囲の他車両を確実に認識しておくことが望ましい。
【０００５】
そこで、従来より、このような危険性の問題を解決するための技術として、特開平７−５０７６９号公報に記載された車両用周辺監視装置が知られている。この車両用周辺監視装置について、図１０を参照して以下説明する。同図は、カメラ１によって得られる後側方の画像の変化を説明するための図であり、（ｂ）は（ａ）に示す自車両を含む状況においてカメラ１が時間ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像した画像をそれぞれ示す。
【０００６】
今、自車両は平坦な道を直進しているとすると、例えば後方に見える（ａ）に示される道路標識及び建物に注目すると、時間の経過により時間ｔ、時間ｔ＋Δｔにおいて、（ｂ）、（ｃ）に示されるような画像が得られる。この２枚の画像において対応する点を捜しそれらを結ぶと（ｄ）に示されるような速度ベクトルが得られる。これがオプティカルフローである。このオプティカルフローにより従来の車両用周辺監視装置は、自車両に対する後続または隣接車線を走行中の車両の相対関係を監視することによって、自車両に接近してくる他車両の存在を検出するとともに、その旨を知らせる警報を発していた。
【０００７】
また、例えば２台のカメラを使用して、一方のカメラで撮像された画像の隣接する画素の輝度差を調べて物体のエッジ点Ｐａを検出し、検出したエッジ点に対応する他方のカメラで撮像された画像の対応点Ｐｂを検出して、Ｐａ及びＰｂの画素座標により接近他車両の位置Ｐを算出し、算出された位置に基づいて自車両に接近してくる他車両の存在を知らせる警報を発生するものもある。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した車両用周辺監視装置は、霧や強い雨などによりカメラにより撮像された画像により周囲の状況を認識することが難しいときは、画像処理により接近他車両の検出の検出を行うことができない。
【０００９】
例えば、オプティカルフローを検出する車両用周辺監視装置は、オプティカルフローを求めるために、２コマの画像間で対応する点を検出する相関法と呼ばれる画像処理が採用されている。オプティカルフローを求める方法の１つである相関法について図１１を参照して以下説明する。時間ｔで撮像した画像上において、着目する画素Ｑに対し窓Ｗ１を設定する（図１１（ａ））。次に、時間ｔ＋Δｔで撮像した画像上において画素Ｑに対応する窓を画像内全域にわたって移動しながら、時間ｔで窓Ｗ１を構成する各画素について、該各画素に対応した時間ｔ＋Δｔでの窓を構成する各画素と輝度差の絶対値を求める。この求めた各画素の輝度差の総和が最小になったときの窓Ｗ２の点を対応点、すなわち対応する画素Ｒとして求め、このベクトルＱＲをオプティカルフローとして求めていた（図１１（ｂ））。
【００１０】
オプティカルフローはカメラ１により撮像した２コマの画像内に設定した窓を構成する画素の輝度値に基づいて検出されるため、霧や強い雨など悪天候時に走行した場合、撮像した画像全体が白みがかってしまうことによって画像全域の画素の輝度がほぼ等しくなり正確なオプティカルフローを検出することが困難であり、接近他車両を検出することができない。
【００１１】
また、上述したカメラ２台を使用する車両用周辺監視装置も相関法によって２台のカメラにより撮像した２コマの画像間での対応点Ｐａ、Ｐｂを検出するため、霧や強い雨など悪天候時に走行した場合対応点Ｐａ、Ｐｂを検出することが困難であり、接近他車両を検出することができない。
【００１２】
上述したようにカメラにより撮像した画像により周囲の状況が認識できないとき、車両用周辺監視装置は画像処理により接近他車両の検出をすることができない。接近車両の検出ができないことを運転者が知らずに走行した場合、例えば、車線変更の際に隣接車線に接近車がいるにもかかわらず車両用周辺監視装置は警報を発生しないので、運転者は接近車がないと思いこんで車線変更を行なってしまう。この結果、隣接車線の接近車と衝突してしまうという事故を起こしかねない。このように、接近他車両の検出できないことを運転者が知らずに走行することは大変危険であるという問題があった。
【００１３】
そこで、本発明は、上記のような問題点に着目し、接近他車両が検出できない場合であっても安全に走行することができる車両用周辺監視装置を提供することを課題とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するためになされた請求項１記載の発明は、図１（ａ）及び（ｂ）の基本構成図に示すように、車両に搭載され、車両の周辺を撮像して画像を得る撮像手段１と、前記撮像手段１により得た画像を画像処理して接近他車両を検出する画像処理手段３ａ−１と、該画像処理手段３ａ−１により検出した接近他車両について危険を判断する危険判断手段３ａ−２とを備える車両用周辺監視装置において、前記撮像手段１が常に撮像している自車両の車体部分の画素領域を予め記憶する像記憶手段３ｂ−１と、前記像記憶手段３ｂ−１が記憶している前記画素領域と任意時点で前記撮像手段１によって撮像された前記自車両の車体部分の画素領域との類似度が所定値以下のとき前記画像処理手段３ａ−１により接近他車両の検出が不可能と判定する判定手段３ａ−３と、前記判定手段３ａ−３が不可能と判定したときに前記画像処理手段３ａ−１による接近他車両の検出が不可能である旨を知らせる警報を発生する警報発生手段５と、を備えたことを特徴とする車両用周辺監視装置に存する。
【００１９】
請求項１記載の発明によれば、判定手段３ａ−３が像記憶手段３ｂ−１により記憶された撮像手段１が常に撮像している自車両の車体部分の画像領域と任意時点で撮像手段１によって撮像された自車両の車体部分の画素領域との類似度が所定値以下のとき画像処理手段３ａ−１により接近他車両の検出が不可能であると判定するので、類似度によって判定手段３ａ−３が判定を行うことにより、撮像手段１の撮像した画像の内、自車両の車体部分の画素領域のみを画像処理して類似度を算出するため判定手段３ａ−３が判定を行うための画像処理を軽減することができる。
【００２２】
請求項２記載の発明は、図１（ａ）及び（ｃ）の基本構成図に示すように、車両に搭載され、車両の周辺を撮像して画像を得る撮像手段１と、前記撮像手段１により得た画像を画像処理して接近他車両を検出する画像処理手段３ａ−１と、該画像処理手段３ａ−１により検出した接近他車両について危険を判断する危険判断手段３ａ−２とを備える車両用周辺監視装置において、ライトがオンしたことを検出するライトオン検出手段６と、任意時点で前記撮像手段１の撮像した画像から周囲を走行する他車両のライトから得られる任意像を検出するライト像検出手段３ａ−３２と、前記ライトオン検出手段６がライトのオンを検出したときに前記ライトから得られる任意像の大きさが前記接近他車両の検出が可能なときに得られる前記任意像よりも大きい場合、又は、前記ライトから得られる任意像の形状が前記接近他車両の検出が可能なときでは得られない歪みを有する場合、前記画像処理手段３ａ−１により前記接近他車両の検出が不可能と判定する判定手段３ａ−３と、前記判定手段３ａ−３が不可能と判定したときに前記画像処理手段３ａ−１による接近他車両の検出が不可能である旨を知らせる警報を発生する警報発生手段５と、を備えたことを特徴とする車両用周辺監視装置に存する。
【００２３】
請求項２記載の発明によれば、ライトオン検出手段６がライトのオンを検出したとき、ライト像検出手段３ａ−３２が任意時点で撮像手段１の撮像した画像から得られる周囲を走行する他車両のライトから得られる任意像を検出し、任意像の大きさが画像処理手段３ａ−１により接近他車両の検出が可能なときでは得られない大きさであった場合、又は、任意像の形状が接近他車両の検出が可能なときでは得られない歪みを有する場合、判定手段３ａ−３が画像処理手段３ａ−１による接近他車両の検出が不可能であると判定するので、判定手段３ａ−３が夜間であっても画像処理手段３ａ−１により接近他車両の検出が可能か否かを判定することができる。
【００２４】
請求項３記載の発明は、図１（ｃ）の基本構成図に示すように、任意時点で前記撮像手段１が撮像した画像から白線を検出する白線検出手段３ａ−１１と、前記白線検出手段３ａ−１１により検出された白線の任意検出度合を算出する検出度合算出手段３ａ−３１とを備え、そして、前記判定手段３ａ−３が、前記ライトオン検出手段６がライトのオンを検出しないときに前記検出度合算出手段３ａ−３１が算出した白線の任意検出度合が正常検出度合を満たしていない場合、前記画像処理手段３ａ−１により前記接近他車両の検出が不可能と判定することを特徴とする請求項２に記載の車両用周辺監視装置に存する。
【００２５】
請求項３記載の発明によれば、白線検出手段３ａ−１１が任意時点で撮像手段１が撮像した画像から白線を検出し、判断手段３ａ−３が検出度合算出手段３ａ−３１により算出された白線検出手段３ａ−１１の検出する白線の任意検出度合が画像処理手段３ａ−１により接近他車両の検出が可能なとき撮像手段１の撮像する画像により得られるべき白線の正常検出度合を満たしていないとき画像処理手段３ａ−１により接近他車両の検出が不可能と判定するので、接近車両の検出が可能な範囲内で、撮像手段１に付着した汚れ等で撮像手段１の撮像した画像により部分的に周囲の状況が撮像できない場合であっても、画像全体にわたって検出される白線の検出度合から判定することにより、接近他車両の検出が可能であるにもかかわらず不可能であると判定することがない。
【００２６】
請求項４記載の発明は、図１（ｂ）の基本構成図に示すように、前記画像処理手段３ａ−１は、前記白線検出手段３ａ−１１が検出した自車線が走行すべき路面上の自車線の両側に位置する一対の白線をそれぞれ延長した延長線の交わる点をＦＯＥ（無限遠点）として設定し、前記設定したＦＯＥを利用し、前記撮像手段１により所定時間前後して得た２画像中の同一点の移動量をオプティカルフローとして検出するオプティカルフロー検出手段３ａ−１２を有し、前記危険判断手段３ａ−２は、前記オプティカルフロー検出手段３ａ−１２が検出したオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断することを特徴とする請求項３記載の車両用周辺監視装置に存する。
【００２７】
請求項４記載の発明によれば、画像処理手段３ａ−１が白線検出手段３ａ−１１により検出された白線をそれぞれ延長した延長線の交わる点をＦＯＥ（無限遠点）として設定し、設定したＦＯＥを利用し、撮像手段１により所定時間前後して得た２画像中の同一点の移動量をオプティカルフローとして検出し、危険判断手段３ａ−２が検出したオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断するので、画像処理手段３ａ−１がオプティカルフローを検出するために白線を検出する手段である白線検出手段３ａ−１１を接近他車両の検出が可能か否かを判定するために白線を検出する手段として流用することができる。
【００２８】
請求項５記載の発明は、図１（ｅ）の基本構成図に示すように、前記画像処理手段３ａ−１は、前記撮像手段１により所定時間前後して得た２画像中の同一点の移動をオプティカルフローとして検出するオプティカルフロー検出手段３ａ−１２を有し、前記危険判定手段３ａ−２は、前記オプティカルフロー検出手段３ａ−１２が検出したオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断することを特徴とする請求項１〜３の何れか記載の車両用周辺監視装置に存する。
【００２９】
請求項５記載の発明によれば、画像処理手段３ａ−１が撮像手段１により所定時間前後して得た２画像中の同一点の移動をオプティカルフローとして検出するオプティカルフロー検出手段３ａ−１２を有し、危険判断手段３ａ−２が、オプティカルフロー検出手段３ａ−１２によって検出されたオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断するので、危険判断手段３ａ−２が、オプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断することにより、撮像手段１を２つ使う必要がなく、任意時点で１つの撮像手段の撮像した画像からの所定情報が得られないか否かを判定するだけでよい。
【００３０】
請求項６記載の発明は、図１（ａ）の基本構成図に示すように、前記判定手段３ａ−３が前記画像処理手段３ａ−１により接近他車両の検出が不可能であることを判定したとき前記画像処理手段３ａ−１による接近他車両の検出を停止させる画像処理停止手段３ａ−４とを更に備えることを特徴とする請求項１〜５の何れか記載の車両用周辺監視装置に存する。
【００３１】
請求項６記載の発明によれば、判定手段３ａ−３が画像処理手段３ａ−１により接近他車両の検出が不可能であると判定したとき、画像処理停止手段３ａ−４が画像処理手段３ａ−１による接近他車両の検出を停止させるので、画像処理停止手段３ａ−４による接近他車両の検出が不可能なとき運転者が正確でない接近他車両の検出に惑わされることがない。
【００３２】
【発明の実施の形態】
第１実施例
以下、本発明に実施の形態を図面に基づいて説明する。図２は本発明による車両用周辺監視装置の構成を示すブロック図であり、同図において、車載の撮像手段としてのカメラ１は、レンズ１ａにより規定される画角範囲の画像をイメージプレーン１ｂ上に結像させる。また、カメラ１は図３に示すように物体としてのバンパー１０が画像内の所定位置に撮像できるように取り付けられている。
【００３３】
記憶部２は、第１、第２フレームメモリ２ａ、２ｂ、微分画像メモリ２ｃ及び発散オプティカルフローメモリ２ｄを有している。第１フレームメモリ２ａ及び第２フレームメモリ２ｂは、カメラ１のイメージプレーン１ｂ上に結像された撮像画像データＤ１を例えば５１２＊５１２画素、輝度０〜２５５階調といったｍ行ｎ列の画素に変換したものを画素データＤ２、Ｄ３として一時的に記憶すると共にマイクロコンピュータ３（以下マイコン３）に出力する。
【００３４】
これら第１又は第２フレームメモリ２ａ、２ｂは、例えば第１フレームメモリ２ａには時間ｔ、第２フレームメモリ２ｂには時間ｔ＋Δｔ、…といったように、所定時間Δｔ毎に撮像された画像をｍ行ｎ列の画素に変換した画素データＤ２、Ｄ３が順次記憶される。
【００３５】
微分画像メモリ２ｃは、画素データＤ２及びＤ３を微分することにより生成された微分画像データＤ４を記憶する。また、発散オプティカルフローメモリ２ｄは、発散方向のオプティカルフローデータＤ５記憶すると共にマイコン３に出力する。
【００３６】
上述したマイコン３は、車両のウインカ機構に取り付けられていて、運転者が車両を左右側に転回させる際に操作するウインカ（＝ターンシグナル）スイッチがオンするとＨレベルのウインカ信号Ｓ１を出力するウインカ検出センサ４と接続されている。
【００３７】
マイコン３は、制御プログラムに従って動作するＣＰＵ３ａと、このＣＰＵ３ａの制御プログラム及び予め与えられる設定値などを保持するＲＯＭ３ｂと、ＣＰＵ３ａの演算実行時に必要なデータを一時的に保持するＲＡＭ３ｃとを有している。また、像記憶手段としてのＲＯＭ３ｂには、所定情報として図４（ａ）に示すようなオプティカルフローによる接近他車両の検出が可能なときにカメラ１により撮像されるべきバンパー１０部分の第１の像データが予め記憶されている。
【００３８】
上述したＣＰＵ３ａは、判定手段として働き、第１フレームメモリ２ａに記憶されている画素データＤ２から切り出した任意時点でカメラ１の撮像したバンパー１０部分の第２の像データと、ＲＯＭ３ｂ内に記憶されたバンパー１０部分の第１の像データとの類似度を算出し、該類似度が所定値以下であるときオプティカルフローによる接近他車両の検出が不可能と判定し、音声信号Ｓ２、画像信号Ｓ３を警報発生手段としての警報発生部５に出力する。また、ＣＰＵ３ａは、類似度が所定値以上であるときオプティカルフローによる他車両の検出が可能であると判定して、画像処理手段の有するオプティカルフロー検出手段として働きオプティカルフローの検出を行い、次に、危険判断手段として働き、検出されたオプティカルフローの大きさに基づいて他車両との接触の危険度を判断を行う。
【００３９】
警報発生部５は、スピーカ５ａと、ディスプレイ５ｂとを有している。スピーカ５ａは、他車両との接触の危険性ありと判断された場合と、オプティカルフローによる接近他車両の検出が不可能であると判定した場合とにそれぞれマイコン３から出力される音声信号Ｓ２に基づきそれぞれの旨を知らせる音声ガイダンスあるいは警報音といった警報を音声として発生する。
【００４０】
上述したように警報発生部５が接近他車両の検出が不可能である旨を知らせることにより、運転者がオプティカルフローによる接近他車両の検出が不可能であることを認識することができるので、接近他車両を検出できない場合であってもその旨を認識することにより安全に走行することができる。
【００４１】
また、ディスプレイ５ｂは、カメラ１の撮像した画像を表示したり、他車両が自車両に急接近してきて接触の危険があると判断した場合と、オプティカルフローによる接近他車両の検出が不可能であると判定した場合とにそれぞれマイコン３から出力される画像信号Ｓ３に基づきそれぞれの旨を知らせるメッセージなどを表示して運転者に対して危険を映像で知らせる。ディスプレイ５ａは、テレビなどに用いるディスプレイを流用してもよい。
【００４２】
上述した構成の車両用周辺監視装置の動作を以下説明する。先ず、第１フレームメモリ２ａに記憶されている画素データＤ２を取り込む。取り込んだ画素データＤ２からバンパー１０部分に対応する画素領域を切り取り第２の像データとして取得する。該第２の像データとＲＯＭ３ｂ内に記憶された図４（ａ）に示すようなオプティカルフローによる接近他車両の検出が可能なときのバンパー１０部分の第１の像データとの輝度値を比較することにより第１の像データと第２の像データとの類似度を算出する。
【００４３】
類似度を算出した結果、例えば図４（ｂ）に示すように霧が発生し画像全体の輝度が一定になるなどの原因により類似度が所定値以下のときは、所定情報としての第１の像が得られず、オプティカルフローによる接近他車両の検出が不可能であると判定して、ＣＰＵ３ａは画像処理停止手段として働き、オプティカルフローの検出を行わない。このように、接近他車両の検出が不可能なときにオプティカルフローの検出を行わなければ、運転者が正確でない接近他車両の検出に惑わされることがないので、安全性を一層向上させることができる。
【００４４】
次に、その旨を運転者に知らせるためにスピーカ５ａに「接近他車両の検出が不可能です。」とガイダンスを行わせ、ディスプレイ５ｂに「接近他車両の検出不可能。」と表示させる。また、類似度が所定値以上のときは、カメラ１の撮像した画像により所定情報としての第１の像を得ることができ、オプティカルフローによる接近他車両の検出が可能であると判定してオプティカルフローの検出を行い接近他車両の検出を行う。
【００４５】
上述したように、第１の像データと第２の像データとの類似度によって判定を行うことにより、カメラ１の撮像した画像の内、第２の像データのみの画素領域を画像処理して類似度を算出するので、接近他車両の検出が可能であるか否かの判定を行うための画像処理を軽減することができる。
【００４６】
以上概略で説明した車両用周辺監視装置の動作の詳細を図５のＣＰＵ３ａの処理手順を示すフローチャートを参照して以下説明する。先ず、カメラ１の撮像した撮像画像データＤ１を取り込む（ステップＳＰ１）。取り込んだ撮像画像データＤ１を画素データＤ２に変換し、バンパー１０部分に対応する画素領域を切り取り第２の像データを取得する（ステップＳＰ２）。次に、取得した第２の像データとＲＯＭ３ｂ内に記憶されているオプティカルフローによる接近他車両の検出が可能なときカメラ１の撮像する画像から得られるべきバンパー１０部分の第１の像データとの輝度値を比較することにより、第１の像データと第２の像データとの類似度を算出する（ステップＳＰ３）。算出した類似度が所定値以下のときは（ステップＳＰ４でＮ）、オプティカルフローによる接近他車両の検出が不可能であると判定し、その旨を知らせる警報をスピーカ５ａ及びディスプレイ５ｂから発生し（ステップＳＰ５）、オプティカルフローの検出を行わずにステップＳＰ１へ戻る。
【００４７】
類似度が所定値以上のときは（ステップＳＰ４でＹ）、オプティカルフローによる接近他車両の検出が可能であると判断して時刻ｔでの撮像画像データＤ１を取り込み、画素データＤ２として第１フレームメモリ２ａに保持する（ステップＳＰ６）。つぎに、時刻ｔ＋Δｔでの撮像画像データＤ１を取り込み、画素データＤ３として第２フレームメモリ２ｂに保持する（ステップＳＰ７）。次に、ＦＯＥ（無限遠点）から発散する方向のオプティカルフローを検出し、発散オプティカルフローメモリ２ｄに記憶させる（ステップＳＰ８）。
【００４８】
発散オプティカルフローメモリ２ｄに記憶されているオプティカルフローの長さが所定値以上の時、接近他車両が存在していると判断し（ステップＳＰ９でＹ）、ウインカ検出センサ４からウインカ信号Ｓ１が出力されていれば（ステップＳＰ１０でＹ）、車線変更しては危険であるとしてスピーカ５ａ及びディスプレイ５ｂによりその旨を伝える警報を発生する（ステップＳＰ１１）。オプティカルフローの長さが所定値以下のとき（ステップＳＰ９でＮ）、又はウインカ信号Ｓ１が出力されておらず運転者に車線変更の意志がないと判断できるときは（ステップＳＰ１０でＮ）、そのままステップＳＰ１へ戻る。
【００４９】
なお、上述した第１実施例では、物体としてバンパーを使用していたが、例えば、バンパー部分に取付たポールなど、カメラ１により撮像できる範囲内に設置した物体であればなんでもよい。
【００５０】
第２実施例
なお、上述した実施例では所定情報を第１の像としていたが、図２に示すように、ヘッドライトを点灯、消灯させるためのライトスイッチがオンしたときＨレベルのライトオン信号Ｓ５を出力するライトオン検出手段としてのライトオン検出センサ６を更に設け、例えば、ライトオン信号Ｓ５が出力されていない間は、接近他車両の検出が可能であるときカメラ１の撮像する画像から検出される白線の正常検出度合を所定情報とし、ライトオン信号Ｓ５が出力されている間は、接近他車両の検出が可能であるときカメラ１の撮像する画像から得られるべき周囲を走行するライトにより得られる正常像を所定情報としても良い。
【００５１】
上述したように画像全体にわたって検出される白線の検出度合を所定情報にすることにより、接近車両の検出が可能な範囲内で、カメラ１に付着した汚れ等でカメラ１の撮像した画像により部分的に周囲の状況が撮像できない場合であっても所定情報が得られていないと判定することがないので、正確にカメラ１により撮像された画像から所定情報が得られているか否かを判定することができる。
【００５２】
また、白線が検出できないヘッドライトが点灯している間である夜間はライトから得られる正常像を所定情報とし、ヘッドライトが消灯している間である昼間時は白線の正常検出度合を所定情報とすることにより、昼間であっても夜間であっても接近他車両の検出が可能か否かを正確に判定することができる。
【００５３】
以下、第２実施例の車両用周辺監視装置の動作を以下説明する。まず、ライトオン検出センサ５からライトオン信号Ｓ４が出力されていないときは、昼間であるとしてカメラ１は、図６に示す画像を撮像画像データＤ１としてマイコン３に対して出力する。この撮像画像は、道路２０、道路２０上に描かれた白線２１〜２５及び道路２０の両脇に立設された壁２６が、画面上における水平方向中心位置にて消失する画像となっている。カメラ１から撮像された撮像画像データＤ１は、画素データＤ２、Ｄ３として第１、第２フレームメモリ２ａ、２ｂに所定時間Δｔ毎に順次記憶される。
【００５４】
次に、ＣＰＵ３ａは図６に示す撮像画像の画素データＤ２に関し、そのｍ行ｎ列の画素の輝度値Ｉm、nを図６における水平方向に走査し、隣接する画素の輝度値Ｉm、n+1との差Ｉm、n+1−Ｉm、nが所定輝度値以上のとき、輝度値Ｉm、n＝１とし、所定輝度値以下のとき、輝度値Ｉm、n＝０として、撮像画像上のエッジ部分のみの画像である図７に示すような微分画像（エッジ画像）を生成し、生成した微分画像を微分画像データＤ４として微分画像メモリ２ｃに対して出力する。
【００５５】
次に、この微分画像に対し図８に示すような基準線ＶSLを設定する。この基準線ＶSLは、微分画像上の水平方向における中心位置であって垂直方向に、微分画像を縦断するように設定される。つまり、基準線ＶSLは、自車両が走行している白線２２及び２３によって区切られた車線の水平方向の中心に設定される。
【００５６】
基準線ＶSLが設定されると、自車両が走行すべき路面上の自車線の両側に位置する一対の白線２２及び２３を構成するエッジ点の探索を行う。この白線２２及び２３を構成するエッジ点の探索は、図８に示す画面の下端に位置する水平ラインＨ(LO)から上側に向けて行われる。すなわち、基準線ＶSL上であって最下端の点Ｐ(SO)から、水平方向両端部に向けてエッジ点の探索を行う。そして、この探索により、基準線ＶSLの左側に存在する白線２２のエッジを構成する点Ｐ(LO)及び基準線ＶSLの右側に存在する白線２３のエッジを構成する点Ｐ(RO)が取得される。
【００５７】
続いて、最下端より２番目に位置する点Ｐ(S1)から、水平方向両端部に向けてエッジ点の探索が行われ、これにより基準線ＶSLの左側に存在する白線２２のエッジを構成する点Ｐ(L1)及び基準線ＶSLの右側に存在する白線２３のエッジを構成する点Ｐ(R1)が取得される。
【００５８】
このような処理を微分画像における上方に向けて順次エッジ点を抽出する。このとき、後続を走行する他車両を構成するエッジ点Ｐ(L(m+2))、Ｐ(R(m+2))、Ｐ(L(m+4))及びＰ(R(m+4))も抽出してしまうので、この抽出したエッジ点からさらに同一の直線上にあるもののみを抽出する。この結果、自車両が走行すべき路面上の自車線の両側に位置する一対の白線２２及び２３を構成するエッジ点のみを抽出することができる。上述したようにＣＰＵ３ａは、白線検出手段として働く。
【００５９】
このとき、霧や強い雨などにより画像全体がぼやけていたり、白みがかっている場合は、隣接する画素同士の輝度差Ｉm、n+1−Ｉm、nに差がなく、エッジ点を抽出することが難しい。そこで、白線を検出した結果、ＣＰＵ３ａは、検出度合算出手段として働き、白線を構成するエッジ点の数が所定値以下である状態が何回継続したかをカウントしたカウント値を任意検出度合として算出する。該カウント値が所定回数以上のとき、所定情報としての白線の正常検出度合を満たさなかったとして、接近他車両の検出が不可能であると判定し、警報発生部５によりその旨を伝える警報を発生させる。
【００６０】
白線を構成するエッジ数か所定値以上であったり、所定値以下である状態が所定回数以上継続していない場合は、所定情報としての白線の正常検出度合を満たしていると判定し、次に、抽出したエッジ点を最小二乗法による近似線を生成し、この近似線を白線２２及び２３として検出する。そして、白線２２及び２３として検出された近似線を延長させて、その交点をＦＯＥとして設定する。
【００６１】
さらに、時間Δｔ後の撮像画像の画素データＤ３に関しても同様に自車両が走行すべき路面上の自車線の両側に位置する一対の白線２２及び２３を検出し、検出した白線２２及び２３の延長線が交わる点をＦＯＥを設定する。ＦＯＥを設定すると該ＦＯＥから放射状に発散する方向のオプティカルフローを検出し、接近他車両の検出を行う。
【００６２】
また、ＣＰＵ３ａは、ライトオン信号Ｓ４が出力されているときは夜間であるとしてライト像検出手段として働き、任意時点でカメラ１の撮像した画素データＤ２から所定輝度値以上の画素を抽出し、該画素を周囲を走行する他車両のライトから得られる任意像として検出する。このように検出された任意像が接近他車両の検出が可能なときでは得られない像であった場合、例えば、雨などにより任意像が通常より大きくカメラ１に撮像され、接近他車両の検出が可能なときでは得られないような大きさが任意像として検出されたときや、霧などにより任意像が歪んでカメラ１に撮像され、接近他車両の検出が可能なときでは得られないような形状が任意像として検出されたときは、接近他車両の検出が不可能であると判定して警報発生部５によりその旨を知らせる警報を発生させる。
【００６３】
この場合の動作をＣＰＵ３ａの処理手順を示す図９のフローチャートを参照して以下説明する。まず、ライトオン信号Ｓ４が出力されていないときは（ステップＳＰ１０１でＮ）、図６に示すような時間ｔの撮像画像の撮像画像データＤ１がカメラ１から取り込まれ、画素データＤ２として第１フレームメモリ２ａに記憶される（ステップＳＰ１０２）。次に、時間ｔ＋Δｔの撮像画像データＤ１が取り込まれ、画素データＤ３として第２フレームメモリ２ｂに記憶される（ステップＳＰ１０３）。
【００６４】
この画素データＤ２、Ｄ３を微分してエッジ点を抽出することによって図７に示すような微分画像をそれぞれ生成する（ステップＳＰ１０４）。生成した微分画像からオプティカルフローを求めるため車両が走行する自車線の両側を形成する白線を構成するエッジ点を抽出することにより白線を検出する（ステップＳＰ１０５）。このとき、ライトオン検出センサ６からライトオン信号Ｓ４が出力されていなければ（ステップＳＰ１０６でＮ）抽出したエッジ点の数が所定数以下の時（ステップＳＰ１０７でＹ）、ＲＡＭ３ｃ内のカウンタのカウント値をカウントアップする（ステップＳＰ１０８）。
【００６５】
カウントアップした結果、所定回数以上であれば（ステップＳＰ１０９でＹ）、オプティカルフローによる接近他車両の検出が不可能と判定してスピーカ５ａ及びディスプレイ５ｂにその旨を知らせる警報を発生させ（ステップＳＰ１１０）、再びステップＳＰ１０１に戻る。
【００６６】
また、抽出したエッジ点の数が所定数以上の時（ステップＳＰ１０４でＮ）、カウンタをリセットして（ステップＳＰ１１１）、検出した両側の白線を延長し、その交点をＦＯＥとして設定する（ステップＳＰ１１２）。次に、近接車線を走行する他車両、又は後続する他車両に対する危険度を検出するためオプティカルフローを検出し（ステップＳＰ１１３）、求めたオプティカルフローがＦＯＥから発散する方向で、かつ長さが所定長さを超えたとき他車両が自車両に接近していると判断し（ステップＳＰ１１４でＹ）、ウインカ検出センサ４の状態を取り込み、ウインカ信号Ｓ１が出力されていた場合は（ステップＳＰ１１５でＹ）スピーカ５ａ及びディスプレイ５ｂによりその旨を伝える警報を発生させ（ステップＳＰ１１６）、ステップＳＰ１０１へ戻る。
【００６７】
また、接近してくる他車両がなくオプティカルフローがＦＯＥに収束する方向であったり、発散する方向であっても長さが所定長さを超えていなかったとき（ステップＳＰ１１４でＮ）、又は、運転者に車線変更の意志がなくウインカ信号Ｓ１が出力されていないとき（ステップＳＰ１１５でＮ）は危険度が低いと判断し、そのままステップＳＰ１０１へ戻る。
【００６８】
ヘッドライト信号Ｓ４が出力されていれば（ステップＳＰ１０１でＹ）、夜間であるとしてカメラ１から撮像画像データＤ１を取り込み（ステップＳＰ１１７）画素データＤ２に変換する。次に、画素データＤ２において所定輝度以上の画素を周辺を走行する他車両からのライトから得られる任意像として検出する（ステップＳＰ１１８）。任意像が接近他車両の検出が可能なときでは得られない像であった場合（ステップＳＰ１１９でＹ）、ステップＳＰ１１０へ進む。任意像が接近他車両の検出が可能なときでは得られない像ではなかった場合（ステップＳＰ１１９でＮ）、ステップＳＰ１０２へ進む。
【００６９】
上述した第２の実施例は、オプティカルフローを検出するためにの白線を検出を流用して接近他車両の検出が可能か否かを判断するので、コストダウンを図ることができる。
【００７０】
なお、上述した第２実施例では、白線を構成するエッジ点の数が所定数以下の状態が何回継続したかをカウントしたカウント値を任意検出度合として算出していたが、例えば、所定回数白線を検出したときの白線を構成するエッジ数の総数を任意検出度として算出して、エッジ数の総数が所定数以下のとき接近他車両の検出が不可能であると判定しても良い。また、白線を検出できない状態が何回継続したかをカウントしたカウント値を任意検出度合として算出して、カウント値が所定回数以上の時接近他車両の検出が不可能であると判定しても良い。
【００７１】
また、上述した第１及び第２実施例のように、所定情報が得られるか否かを判定することにより、接近他車両の検出が不可能であるか否かの判定をカメラ１の撮像した画像から直接的に判定することができるので、正確に接近他車両の検出が不可能であることを判定することができる。
【００７２】
なお、上述した第１及び第２の実施例ではオプティカルフローを検出することにより接近他車両を検出し、危険度を判定していたが、例えば、２台のカメラを使用して、接近他車両の位置Ｐを算出し、算出された位置に基づいて危険度を判定するものにも適用することができる。しかしながら、この場合は２台の内１台は接近他車両が検出可能な状態であっても、他の１台がカメラに付着した汚れにより接近他車両の検出が不可能なときは結局接近他車両を検出することができない。そこで、２台のカメラにより撮像した画像からそれぞれ所定情報が得られるか否かを判定しなければならない。
【００７３】
第３実施例
また、上述した第１実施例と同様の構成で、ワイパースイッチがオンしたときＨレベルのワイパー信号Ｓ５を出力するワイパー使用検出手段としてのワイパーセンサをマイコン３に接続して、雨や雪などにより運転者がワイパーを使用してワイパーセンサからワイパー信号が出力されたとき、オプティカルフロー検出不可能と判断するようにしても良い。この場合、画像処理を行うことなく間接的に接近他車両が検出できるか否かを判定することができるので、コストダウンを図ることができる。
【００７６】
【発明の効果】
以上説明したように請求項１記載の発明によれば、類似度によって判定手段が判定を行うことにより、撮像手段の撮像した画像の内、自車両の車体部分の画素領域のみを画像処理して類似度を算出するため判定手段が判定を行うための画像処理を軽減することができるので、判定手段として画像処理の速度が速いものを使用しなくてもよくコストダウンを図った車両用周辺監視装置を得ることができる。
【００７８】
請求項２記載の発明によれば、判定手段３ａ−３が夜間であっても画像処理手段３ａ−１により接近他車両の検出が可能か否かを判定することができるので、夜であっても安全に走行することができる車両用周辺監視装置を得ることができる。
【００７９】
請求項３記載の発明によれば、接近車両の検出が可能な範囲内で、撮像手段１に付着した汚れ等で撮像手段１の撮像した画像により部分的に周囲の状況が撮像できない場合であっても、画像全体にわたって検出される白線の検出度合から判定することにより、接近他車両の検出が可能であるにもかかわらず不可能であると判定することがないので、判定手段が正確に撮像手段により撮像された画像から不可能か否かを判定することができる車両用周辺監視装置を得ることができる。
【００８０】
請求項４記載の発明によれば、画像処理手段３ａ−１がオプティカルフローを検出するために白線を検出する手段である白線検出手段３ａ−１１を接近他車両の検出が可能か否かを判定するために白線を検出する手段として流用することができるので、コストダウンを図った車両用周辺監視装置を得ることができる。
【００８１】
請求項５記載の発明によれば、危険判定手段３ａ−２が、オプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断することにより、撮像手段１を２つ使う必要がなく、任意時点で１つの撮像手段の撮像した画像からの所定情報が得られないか否かを判定するだけでよいので、判定手段の判定する速度を速くした車両用周辺監視装置を得ることができる。
【００８２】
請求項６記載の発明によれば、画像処理停止手段による接近他車両の検出が不可能なとき運転者が正確でない接近他車両の検出に惑わされることがないので、安全性を一層向上させた車両用周辺監視装置を得ることができる。
【図面の簡単な説明】
【図１】本発明による車両用周辺監視装置の基本構成図を示す図である。
【図２】本発明による車両用周辺監視装置の一実施の形態を示すブロック図である。
【図３】カメラの取付位置を説明するための図である。
【図４】第１及び第２の像データを説明するための図である。
【図５】第１実施例においてのＣＰＵ３ａの処理手順を示すフローチャートである。
【図６】カメラで撮像された画像を説明する図である。
【図７】撮像画像の微分処理により生成された微分画像（エッジ画像）を説明する図である。
【図８】白線検出するための動作を説明する図である。
【図９】第２実施例においてのＣＰＵ３ａの処理手順を示すフローチャートである。
【図１０】オプティカルフローを検出するための動作を説明する図である。
【図１１】相関法を説明するための図である。
【符号の説明】
１ 撮像手段
３ａ−１ 画像処理手段
３ａ−２ 危険判断手段
３ａ−３ 判定手段
５ 警報発生手段
３ｂ−１ 像記憶手段
３ａ−１１ 白線検出手段
３ａ−３１ 検出度合算出手段
６ ライトオン検出手段
３ａ−３２ ライト像検出手段
７ ワイパー使用検出手段
３ａ−１２ オプティカルフロー検出手段
３ａ−４ 画像処理停止手段
【発明の属する技術分野】
本発明は、車両用周辺監視装置に係わり、特に、自動車などの車両とに設置されたカメラ等の撮像手段によって、車両の周辺を撮像し、撮像された画像を用いて、走行している自車両の周辺より接近してくる他車両を検知し、運転者に警告を与えるための車両用周辺監視装置に関する。
【０００２】
【従来の技術】
例えば、高速道路などの片側２車線以上の道路を走行中の運転者が、車線の変更を行おうとした場合、その車両（自車両）が変更しようとする隣接車線に、自車両よりも速いスピードにて走行中の他車両（周囲の他車両）が後側方から追い上げてきた場合などに、前記他車両の存在を見落としたまま、運転者が車線の変更を行った場合、大事故につながる可能性が極めて高い。
【０００３】
また、自車両と同一の車線を、後続して他車両が走行している場合などにも、後続の他車両が自車両よりも速いスピードであるときは、自車両が急ブレーキをかけるなどすると追突される危険性があり、この意味でも周囲の他車両を確実に認識しておくことが望ましい。
【０００４】
さらには、運転者が居眠りをした場合などで、自車両と同一の車線前方を他車両が自車両よりも遅いスピードで走行していた場合など、前方の車両に追突する危険性があり、やはり周囲の他車両を確実に認識しておくことが望ましい。
【０００５】
そこで、従来より、このような危険性の問題を解決するための技術として、特開平７−５０７６９号公報に記載された車両用周辺監視装置が知られている。この車両用周辺監視装置について、図１０を参照して以下説明する。同図は、カメラ１によって得られる後側方の画像の変化を説明するための図であり、（ｂ）は（ａ）に示す自車両を含む状況においてカメラ１が時間ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像した画像をそれぞれ示す。
【０００６】
今、自車両は平坦な道を直進しているとすると、例えば後方に見える（ａ）に示される道路標識及び建物に注目すると、時間の経過により時間ｔ、時間ｔ＋Δｔにおいて、（ｂ）、（ｃ）に示されるような画像が得られる。この２枚の画像において対応する点を捜しそれらを結ぶと（ｄ）に示されるような速度ベクトルが得られる。これがオプティカルフローである。このオプティカルフローにより従来の車両用周辺監視装置は、自車両に対する後続または隣接車線を走行中の車両の相対関係を監視することによって、自車両に接近してくる他車両の存在を検出するとともに、その旨を知らせる警報を発していた。
【０００７】
また、例えば２台のカメラを使用して、一方のカメラで撮像された画像の隣接する画素の輝度差を調べて物体のエッジ点Ｐａを検出し、検出したエッジ点に対応する他方のカメラで撮像された画像の対応点Ｐｂを検出して、Ｐａ及びＰｂの画素座標により接近他車両の位置Ｐを算出し、算出された位置に基づいて自車両に接近してくる他車両の存在を知らせる警報を発生するものもある。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した車両用周辺監視装置は、霧や強い雨などによりカメラにより撮像された画像により周囲の状況を認識することが難しいときは、画像処理により接近他車両の検出の検出を行うことができない。
【０００９】
例えば、オプティカルフローを検出する車両用周辺監視装置は、オプティカルフローを求めるために、２コマの画像間で対応する点を検出する相関法と呼ばれる画像処理が採用されている。オプティカルフローを求める方法の１つである相関法について図１１を参照して以下説明する。時間ｔで撮像した画像上において、着目する画素Ｑに対し窓Ｗ１を設定する（図１１（ａ））。次に、時間ｔ＋Δｔで撮像した画像上において画素Ｑに対応する窓を画像内全域にわたって移動しながら、時間ｔで窓Ｗ１を構成する各画素について、該各画素に対応した時間ｔ＋Δｔでの窓を構成する各画素と輝度差の絶対値を求める。この求めた各画素の輝度差の総和が最小になったときの窓Ｗ２の点を対応点、すなわち対応する画素Ｒとして求め、このベクトルＱＲをオプティカルフローとして求めていた（図１１（ｂ））。
【００１０】
オプティカルフローはカメラ１により撮像した２コマの画像内に設定した窓を構成する画素の輝度値に基づいて検出されるため、霧や強い雨など悪天候時に走行した場合、撮像した画像全体が白みがかってしまうことによって画像全域の画素の輝度がほぼ等しくなり正確なオプティカルフローを検出することが困難であり、接近他車両を検出することができない。
【００１１】
また、上述したカメラ２台を使用する車両用周辺監視装置も相関法によって２台のカメラにより撮像した２コマの画像間での対応点Ｐａ、Ｐｂを検出するため、霧や強い雨など悪天候時に走行した場合対応点Ｐａ、Ｐｂを検出することが困難であり、接近他車両を検出することができない。
【００１２】
上述したようにカメラにより撮像した画像により周囲の状況が認識できないとき、車両用周辺監視装置は画像処理により接近他車両の検出をすることができない。接近車両の検出ができないことを運転者が知らずに走行した場合、例えば、車線変更の際に隣接車線に接近車がいるにもかかわらず車両用周辺監視装置は警報を発生しないので、運転者は接近車がないと思いこんで車線変更を行なってしまう。この結果、隣接車線の接近車と衝突してしまうという事故を起こしかねない。このように、接近他車両の検出できないことを運転者が知らずに走行することは大変危険であるという問題があった。
【００１３】
そこで、本発明は、上記のような問題点に着目し、接近他車両が検出できない場合であっても安全に走行することができる車両用周辺監視装置を提供することを課題とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するためになされた請求項１記載の発明は、図１（ａ）及び（ｂ）の基本構成図に示すように、車両に搭載され、車両の周辺を撮像して画像を得る撮像手段１と、前記撮像手段１により得た画像を画像処理して接近他車両を検出する画像処理手段３ａ−１と、該画像処理手段３ａ−１により検出した接近他車両について危険を判断する危険判断手段３ａ−２とを備える車両用周辺監視装置において、前記撮像手段１が常に撮像している自車両の車体部分の画素領域を予め記憶する像記憶手段３ｂ−１と、前記像記憶手段３ｂ−１が記憶している前記画素領域と任意時点で前記撮像手段１によって撮像された前記自車両の車体部分の画素領域との類似度が所定値以下のとき前記画像処理手段３ａ−１により接近他車両の検出が不可能と判定する判定手段３ａ−３と、前記判定手段３ａ−３が不可能と判定したときに前記画像処理手段３ａ−１による接近他車両の検出が不可能である旨を知らせる警報を発生する警報発生手段５と、を備えたことを特徴とする車両用周辺監視装置に存する。
【００１９】
請求項１記載の発明によれば、判定手段３ａ−３が像記憶手段３ｂ−１により記憶された撮像手段１が常に撮像している自車両の車体部分の画像領域と任意時点で撮像手段１によって撮像された自車両の車体部分の画素領域との類似度が所定値以下のとき画像処理手段３ａ−１により接近他車両の検出が不可能であると判定するので、類似度によって判定手段３ａ−３が判定を行うことにより、撮像手段１の撮像した画像の内、自車両の車体部分の画素領域のみを画像処理して類似度を算出するため判定手段３ａ−３が判定を行うための画像処理を軽減することができる。
【００２２】
請求項２記載の発明は、図１（ａ）及び（ｃ）の基本構成図に示すように、車両に搭載され、車両の周辺を撮像して画像を得る撮像手段１と、前記撮像手段１により得た画像を画像処理して接近他車両を検出する画像処理手段３ａ−１と、該画像処理手段３ａ−１により検出した接近他車両について危険を判断する危険判断手段３ａ−２とを備える車両用周辺監視装置において、ライトがオンしたことを検出するライトオン検出手段６と、任意時点で前記撮像手段１の撮像した画像から周囲を走行する他車両のライトから得られる任意像を検出するライト像検出手段３ａ−３２と、前記ライトオン検出手段６がライトのオンを検出したときに前記ライトから得られる任意像の大きさが前記接近他車両の検出が可能なときに得られる前記任意像よりも大きい場合、又は、前記ライトから得られる任意像の形状が前記接近他車両の検出が可能なときでは得られない歪みを有する場合、前記画像処理手段３ａ−１により前記接近他車両の検出が不可能と判定する判定手段３ａ−３と、前記判定手段３ａ−３が不可能と判定したときに前記画像処理手段３ａ−１による接近他車両の検出が不可能である旨を知らせる警報を発生する警報発生手段５と、を備えたことを特徴とする車両用周辺監視装置に存する。
【００２３】
請求項２記載の発明によれば、ライトオン検出手段６がライトのオンを検出したとき、ライト像検出手段３ａ−３２が任意時点で撮像手段１の撮像した画像から得られる周囲を走行する他車両のライトから得られる任意像を検出し、任意像の大きさが画像処理手段３ａ−１により接近他車両の検出が可能なときでは得られない大きさであった場合、又は、任意像の形状が接近他車両の検出が可能なときでは得られない歪みを有する場合、判定手段３ａ−３が画像処理手段３ａ−１による接近他車両の検出が不可能であると判定するので、判定手段３ａ−３が夜間であっても画像処理手段３ａ−１により接近他車両の検出が可能か否かを判定することができる。
【００２４】
請求項３記載の発明は、図１（ｃ）の基本構成図に示すように、任意時点で前記撮像手段１が撮像した画像から白線を検出する白線検出手段３ａ−１１と、前記白線検出手段３ａ−１１により検出された白線の任意検出度合を算出する検出度合算出手段３ａ−３１とを備え、そして、前記判定手段３ａ−３が、前記ライトオン検出手段６がライトのオンを検出しないときに前記検出度合算出手段３ａ−３１が算出した白線の任意検出度合が正常検出度合を満たしていない場合、前記画像処理手段３ａ−１により前記接近他車両の検出が不可能と判定することを特徴とする請求項２に記載の車両用周辺監視装置に存する。
【００２５】
請求項３記載の発明によれば、白線検出手段３ａ−１１が任意時点で撮像手段１が撮像した画像から白線を検出し、判断手段３ａ−３が検出度合算出手段３ａ−３１により算出された白線検出手段３ａ−１１の検出する白線の任意検出度合が画像処理手段３ａ−１により接近他車両の検出が可能なとき撮像手段１の撮像する画像により得られるべき白線の正常検出度合を満たしていないとき画像処理手段３ａ−１により接近他車両の検出が不可能と判定するので、接近車両の検出が可能な範囲内で、撮像手段１に付着した汚れ等で撮像手段１の撮像した画像により部分的に周囲の状況が撮像できない場合であっても、画像全体にわたって検出される白線の検出度合から判定することにより、接近他車両の検出が可能であるにもかかわらず不可能であると判定することがない。
【００２６】
請求項４記載の発明は、図１（ｂ）の基本構成図に示すように、前記画像処理手段３ａ−１は、前記白線検出手段３ａ−１１が検出した自車線が走行すべき路面上の自車線の両側に位置する一対の白線をそれぞれ延長した延長線の交わる点をＦＯＥ（無限遠点）として設定し、前記設定したＦＯＥを利用し、前記撮像手段１により所定時間前後して得た２画像中の同一点の移動量をオプティカルフローとして検出するオプティカルフロー検出手段３ａ−１２を有し、前記危険判断手段３ａ−２は、前記オプティカルフロー検出手段３ａ−１２が検出したオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断することを特徴とする請求項３記載の車両用周辺監視装置に存する。
【００２７】
請求項４記載の発明によれば、画像処理手段３ａ−１が白線検出手段３ａ−１１により検出された白線をそれぞれ延長した延長線の交わる点をＦＯＥ（無限遠点）として設定し、設定したＦＯＥを利用し、撮像手段１により所定時間前後して得た２画像中の同一点の移動量をオプティカルフローとして検出し、危険判断手段３ａ−２が検出したオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断するので、画像処理手段３ａ−１がオプティカルフローを検出するために白線を検出する手段である白線検出手段３ａ−１１を接近他車両の検出が可能か否かを判定するために白線を検出する手段として流用することができる。
【００２８】
請求項５記載の発明は、図１（ｅ）の基本構成図に示すように、前記画像処理手段３ａ−１は、前記撮像手段１により所定時間前後して得た２画像中の同一点の移動をオプティカルフローとして検出するオプティカルフロー検出手段３ａ−１２を有し、前記危険判定手段３ａ−２は、前記オプティカルフロー検出手段３ａ−１２が検出したオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断することを特徴とする請求項１〜３の何れか記載の車両用周辺監視装置に存する。
【００２９】
請求項５記載の発明によれば、画像処理手段３ａ−１が撮像手段１により所定時間前後して得た２画像中の同一点の移動をオプティカルフローとして検出するオプティカルフロー検出手段３ａ−１２を有し、危険判断手段３ａ−２が、オプティカルフロー検出手段３ａ−１２によって検出されたオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断するので、危険判断手段３ａ−２が、オプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断することにより、撮像手段１を２つ使う必要がなく、任意時点で１つの撮像手段の撮像した画像からの所定情報が得られないか否かを判定するだけでよい。
【００３０】
請求項６記載の発明は、図１（ａ）の基本構成図に示すように、前記判定手段３ａ−３が前記画像処理手段３ａ−１により接近他車両の検出が不可能であることを判定したとき前記画像処理手段３ａ−１による接近他車両の検出を停止させる画像処理停止手段３ａ−４とを更に備えることを特徴とする請求項１〜５の何れか記載の車両用周辺監視装置に存する。
【００３１】
請求項６記載の発明によれば、判定手段３ａ−３が画像処理手段３ａ−１により接近他車両の検出が不可能であると判定したとき、画像処理停止手段３ａ−４が画像処理手段３ａ−１による接近他車両の検出を停止させるので、画像処理停止手段３ａ−４による接近他車両の検出が不可能なとき運転者が正確でない接近他車両の検出に惑わされることがない。
【００３２】
【発明の実施の形態】
第１実施例
以下、本発明に実施の形態を図面に基づいて説明する。図２は本発明による車両用周辺監視装置の構成を示すブロック図であり、同図において、車載の撮像手段としてのカメラ１は、レンズ１ａにより規定される画角範囲の画像をイメージプレーン１ｂ上に結像させる。また、カメラ１は図３に示すように物体としてのバンパー１０が画像内の所定位置に撮像できるように取り付けられている。
【００３３】
記憶部２は、第１、第２フレームメモリ２ａ、２ｂ、微分画像メモリ２ｃ及び発散オプティカルフローメモリ２ｄを有している。第１フレームメモリ２ａ及び第２フレームメモリ２ｂは、カメラ１のイメージプレーン１ｂ上に結像された撮像画像データＤ１を例えば５１２＊５１２画素、輝度０〜２５５階調といったｍ行ｎ列の画素に変換したものを画素データＤ２、Ｄ３として一時的に記憶すると共にマイクロコンピュータ３（以下マイコン３）に出力する。
【００３４】
これら第１又は第２フレームメモリ２ａ、２ｂは、例えば第１フレームメモリ２ａには時間ｔ、第２フレームメモリ２ｂには時間ｔ＋Δｔ、…といったように、所定時間Δｔ毎に撮像された画像をｍ行ｎ列の画素に変換した画素データＤ２、Ｄ３が順次記憶される。
【００３５】
微分画像メモリ２ｃは、画素データＤ２及びＤ３を微分することにより生成された微分画像データＤ４を記憶する。また、発散オプティカルフローメモリ２ｄは、発散方向のオプティカルフローデータＤ５記憶すると共にマイコン３に出力する。
【００３６】
上述したマイコン３は、車両のウインカ機構に取り付けられていて、運転者が車両を左右側に転回させる際に操作するウインカ（＝ターンシグナル）スイッチがオンするとＨレベルのウインカ信号Ｓ１を出力するウインカ検出センサ４と接続されている。
【００３７】
マイコン３は、制御プログラムに従って動作するＣＰＵ３ａと、このＣＰＵ３ａの制御プログラム及び予め与えられる設定値などを保持するＲＯＭ３ｂと、ＣＰＵ３ａの演算実行時に必要なデータを一時的に保持するＲＡＭ３ｃとを有している。また、像記憶手段としてのＲＯＭ３ｂには、所定情報として図４（ａ）に示すようなオプティカルフローによる接近他車両の検出が可能なときにカメラ１により撮像されるべきバンパー１０部分の第１の像データが予め記憶されている。
【００３８】
上述したＣＰＵ３ａは、判定手段として働き、第１フレームメモリ２ａに記憶されている画素データＤ２から切り出した任意時点でカメラ１の撮像したバンパー１０部分の第２の像データと、ＲＯＭ３ｂ内に記憶されたバンパー１０部分の第１の像データとの類似度を算出し、該類似度が所定値以下であるときオプティカルフローによる接近他車両の検出が不可能と判定し、音声信号Ｓ２、画像信号Ｓ３を警報発生手段としての警報発生部５に出力する。また、ＣＰＵ３ａは、類似度が所定値以上であるときオプティカルフローによる他車両の検出が可能であると判定して、画像処理手段の有するオプティカルフロー検出手段として働きオプティカルフローの検出を行い、次に、危険判断手段として働き、検出されたオプティカルフローの大きさに基づいて他車両との接触の危険度を判断を行う。
【００３９】
警報発生部５は、スピーカ５ａと、ディスプレイ５ｂとを有している。スピーカ５ａは、他車両との接触の危険性ありと判断された場合と、オプティカルフローによる接近他車両の検出が不可能であると判定した場合とにそれぞれマイコン３から出力される音声信号Ｓ２に基づきそれぞれの旨を知らせる音声ガイダンスあるいは警報音といった警報を音声として発生する。
【００４０】
上述したように警報発生部５が接近他車両の検出が不可能である旨を知らせることにより、運転者がオプティカルフローによる接近他車両の検出が不可能であることを認識することができるので、接近他車両を検出できない場合であってもその旨を認識することにより安全に走行することができる。
【００４１】
また、ディスプレイ５ｂは、カメラ１の撮像した画像を表示したり、他車両が自車両に急接近してきて接触の危険があると判断した場合と、オプティカルフローによる接近他車両の検出が不可能であると判定した場合とにそれぞれマイコン３から出力される画像信号Ｓ３に基づきそれぞれの旨を知らせるメッセージなどを表示して運転者に対して危険を映像で知らせる。ディスプレイ５ａは、テレビなどに用いるディスプレイを流用してもよい。
【００４２】
上述した構成の車両用周辺監視装置の動作を以下説明する。先ず、第１フレームメモリ２ａに記憶されている画素データＤ２を取り込む。取り込んだ画素データＤ２からバンパー１０部分に対応する画素領域を切り取り第２の像データとして取得する。該第２の像データとＲＯＭ３ｂ内に記憶された図４（ａ）に示すようなオプティカルフローによる接近他車両の検出が可能なときのバンパー１０部分の第１の像データとの輝度値を比較することにより第１の像データと第２の像データとの類似度を算出する。
【００４３】
類似度を算出した結果、例えば図４（ｂ）に示すように霧が発生し画像全体の輝度が一定になるなどの原因により類似度が所定値以下のときは、所定情報としての第１の像が得られず、オプティカルフローによる接近他車両の検出が不可能であると判定して、ＣＰＵ３ａは画像処理停止手段として働き、オプティカルフローの検出を行わない。このように、接近他車両の検出が不可能なときにオプティカルフローの検出を行わなければ、運転者が正確でない接近他車両の検出に惑わされることがないので、安全性を一層向上させることができる。
【００４４】
次に、その旨を運転者に知らせるためにスピーカ５ａに「接近他車両の検出が不可能です。」とガイダンスを行わせ、ディスプレイ５ｂに「接近他車両の検出不可能。」と表示させる。また、類似度が所定値以上のときは、カメラ１の撮像した画像により所定情報としての第１の像を得ることができ、オプティカルフローによる接近他車両の検出が可能であると判定してオプティカルフローの検出を行い接近他車両の検出を行う。
【００４５】
上述したように、第１の像データと第２の像データとの類似度によって判定を行うことにより、カメラ１の撮像した画像の内、第２の像データのみの画素領域を画像処理して類似度を算出するので、接近他車両の検出が可能であるか否かの判定を行うための画像処理を軽減することができる。
【００４６】
以上概略で説明した車両用周辺監視装置の動作の詳細を図５のＣＰＵ３ａの処理手順を示すフローチャートを参照して以下説明する。先ず、カメラ１の撮像した撮像画像データＤ１を取り込む（ステップＳＰ１）。取り込んだ撮像画像データＤ１を画素データＤ２に変換し、バンパー１０部分に対応する画素領域を切り取り第２の像データを取得する（ステップＳＰ２）。次に、取得した第２の像データとＲＯＭ３ｂ内に記憶されているオプティカルフローによる接近他車両の検出が可能なときカメラ１の撮像する画像から得られるべきバンパー１０部分の第１の像データとの輝度値を比較することにより、第１の像データと第２の像データとの類似度を算出する（ステップＳＰ３）。算出した類似度が所定値以下のときは（ステップＳＰ４でＮ）、オプティカルフローによる接近他車両の検出が不可能であると判定し、その旨を知らせる警報をスピーカ５ａ及びディスプレイ５ｂから発生し（ステップＳＰ５）、オプティカルフローの検出を行わずにステップＳＰ１へ戻る。
【００４７】
類似度が所定値以上のときは（ステップＳＰ４でＹ）、オプティカルフローによる接近他車両の検出が可能であると判断して時刻ｔでの撮像画像データＤ１を取り込み、画素データＤ２として第１フレームメモリ２ａに保持する（ステップＳＰ６）。つぎに、時刻ｔ＋Δｔでの撮像画像データＤ１を取り込み、画素データＤ３として第２フレームメモリ２ｂに保持する（ステップＳＰ７）。次に、ＦＯＥ（無限遠点）から発散する方向のオプティカルフローを検出し、発散オプティカルフローメモリ２ｄに記憶させる（ステップＳＰ８）。
【００４８】
発散オプティカルフローメモリ２ｄに記憶されているオプティカルフローの長さが所定値以上の時、接近他車両が存在していると判断し（ステップＳＰ９でＹ）、ウインカ検出センサ４からウインカ信号Ｓ１が出力されていれば（ステップＳＰ１０でＹ）、車線変更しては危険であるとしてスピーカ５ａ及びディスプレイ５ｂによりその旨を伝える警報を発生する（ステップＳＰ１１）。オプティカルフローの長さが所定値以下のとき（ステップＳＰ９でＮ）、又はウインカ信号Ｓ１が出力されておらず運転者に車線変更の意志がないと判断できるときは（ステップＳＰ１０でＮ）、そのままステップＳＰ１へ戻る。
【００４９】
なお、上述した第１実施例では、物体としてバンパーを使用していたが、例えば、バンパー部分に取付たポールなど、カメラ１により撮像できる範囲内に設置した物体であればなんでもよい。
【００５０】
第２実施例
なお、上述した実施例では所定情報を第１の像としていたが、図２に示すように、ヘッドライトを点灯、消灯させるためのライトスイッチがオンしたときＨレベルのライトオン信号Ｓ５を出力するライトオン検出手段としてのライトオン検出センサ６を更に設け、例えば、ライトオン信号Ｓ５が出力されていない間は、接近他車両の検出が可能であるときカメラ１の撮像する画像から検出される白線の正常検出度合を所定情報とし、ライトオン信号Ｓ５が出力されている間は、接近他車両の検出が可能であるときカメラ１の撮像する画像から得られるべき周囲を走行するライトにより得られる正常像を所定情報としても良い。
【００５１】
上述したように画像全体にわたって検出される白線の検出度合を所定情報にすることにより、接近車両の検出が可能な範囲内で、カメラ１に付着した汚れ等でカメラ１の撮像した画像により部分的に周囲の状況が撮像できない場合であっても所定情報が得られていないと判定することがないので、正確にカメラ１により撮像された画像から所定情報が得られているか否かを判定することができる。
【００５２】
また、白線が検出できないヘッドライトが点灯している間である夜間はライトから得られる正常像を所定情報とし、ヘッドライトが消灯している間である昼間時は白線の正常検出度合を所定情報とすることにより、昼間であっても夜間であっても接近他車両の検出が可能か否かを正確に判定することができる。
【００５３】
以下、第２実施例の車両用周辺監視装置の動作を以下説明する。まず、ライトオン検出センサ５からライトオン信号Ｓ４が出力されていないときは、昼間であるとしてカメラ１は、図６に示す画像を撮像画像データＤ１としてマイコン３に対して出力する。この撮像画像は、道路２０、道路２０上に描かれた白線２１〜２５及び道路２０の両脇に立設された壁２６が、画面上における水平方向中心位置にて消失する画像となっている。カメラ１から撮像された撮像画像データＤ１は、画素データＤ２、Ｄ３として第１、第２フレームメモリ２ａ、２ｂに所定時間Δｔ毎に順次記憶される。
【００５４】
次に、ＣＰＵ３ａは図６に示す撮像画像の画素データＤ２に関し、そのｍ行ｎ列の画素の輝度値Ｉm、nを図６における水平方向に走査し、隣接する画素の輝度値Ｉm、n+1との差Ｉm、n+1−Ｉm、nが所定輝度値以上のとき、輝度値Ｉm、n＝１とし、所定輝度値以下のとき、輝度値Ｉm、n＝０として、撮像画像上のエッジ部分のみの画像である図７に示すような微分画像（エッジ画像）を生成し、生成した微分画像を微分画像データＤ４として微分画像メモリ２ｃに対して出力する。
【００５５】
次に、この微分画像に対し図８に示すような基準線ＶSLを設定する。この基準線ＶSLは、微分画像上の水平方向における中心位置であって垂直方向に、微分画像を縦断するように設定される。つまり、基準線ＶSLは、自車両が走行している白線２２及び２３によって区切られた車線の水平方向の中心に設定される。
【００５６】
基準線ＶSLが設定されると、自車両が走行すべき路面上の自車線の両側に位置する一対の白線２２及び２３を構成するエッジ点の探索を行う。この白線２２及び２３を構成するエッジ点の探索は、図８に示す画面の下端に位置する水平ラインＨ(LO)から上側に向けて行われる。すなわち、基準線ＶSL上であって最下端の点Ｐ(SO)から、水平方向両端部に向けてエッジ点の探索を行う。そして、この探索により、基準線ＶSLの左側に存在する白線２２のエッジを構成する点Ｐ(LO)及び基準線ＶSLの右側に存在する白線２３のエッジを構成する点Ｐ(RO)が取得される。
【００５７】
続いて、最下端より２番目に位置する点Ｐ(S1)から、水平方向両端部に向けてエッジ点の探索が行われ、これにより基準線ＶSLの左側に存在する白線２２のエッジを構成する点Ｐ(L1)及び基準線ＶSLの右側に存在する白線２３のエッジを構成する点Ｐ(R1)が取得される。
【００５８】
このような処理を微分画像における上方に向けて順次エッジ点を抽出する。このとき、後続を走行する他車両を構成するエッジ点Ｐ(L(m+2))、Ｐ(R(m+2))、Ｐ(L(m+4))及びＰ(R(m+4))も抽出してしまうので、この抽出したエッジ点からさらに同一の直線上にあるもののみを抽出する。この結果、自車両が走行すべき路面上の自車線の両側に位置する一対の白線２２及び２３を構成するエッジ点のみを抽出することができる。上述したようにＣＰＵ３ａは、白線検出手段として働く。
【００５９】
このとき、霧や強い雨などにより画像全体がぼやけていたり、白みがかっている場合は、隣接する画素同士の輝度差Ｉm、n+1−Ｉm、nに差がなく、エッジ点を抽出することが難しい。そこで、白線を検出した結果、ＣＰＵ３ａは、検出度合算出手段として働き、白線を構成するエッジ点の数が所定値以下である状態が何回継続したかをカウントしたカウント値を任意検出度合として算出する。該カウント値が所定回数以上のとき、所定情報としての白線の正常検出度合を満たさなかったとして、接近他車両の検出が不可能であると判定し、警報発生部５によりその旨を伝える警報を発生させる。
【００６０】
白線を構成するエッジ数か所定値以上であったり、所定値以下である状態が所定回数以上継続していない場合は、所定情報としての白線の正常検出度合を満たしていると判定し、次に、抽出したエッジ点を最小二乗法による近似線を生成し、この近似線を白線２２及び２３として検出する。そして、白線２２及び２３として検出された近似線を延長させて、その交点をＦＯＥとして設定する。
【００６１】
さらに、時間Δｔ後の撮像画像の画素データＤ３に関しても同様に自車両が走行すべき路面上の自車線の両側に位置する一対の白線２２及び２３を検出し、検出した白線２２及び２３の延長線が交わる点をＦＯＥを設定する。ＦＯＥを設定すると該ＦＯＥから放射状に発散する方向のオプティカルフローを検出し、接近他車両の検出を行う。
【００６２】
また、ＣＰＵ３ａは、ライトオン信号Ｓ４が出力されているときは夜間であるとしてライト像検出手段として働き、任意時点でカメラ１の撮像した画素データＤ２から所定輝度値以上の画素を抽出し、該画素を周囲を走行する他車両のライトから得られる任意像として検出する。このように検出された任意像が接近他車両の検出が可能なときでは得られない像であった場合、例えば、雨などにより任意像が通常より大きくカメラ１に撮像され、接近他車両の検出が可能なときでは得られないような大きさが任意像として検出されたときや、霧などにより任意像が歪んでカメラ１に撮像され、接近他車両の検出が可能なときでは得られないような形状が任意像として検出されたときは、接近他車両の検出が不可能であると判定して警報発生部５によりその旨を知らせる警報を発生させる。
【００６３】
この場合の動作をＣＰＵ３ａの処理手順を示す図９のフローチャートを参照して以下説明する。まず、ライトオン信号Ｓ４が出力されていないときは（ステップＳＰ１０１でＮ）、図６に示すような時間ｔの撮像画像の撮像画像データＤ１がカメラ１から取り込まれ、画素データＤ２として第１フレームメモリ２ａに記憶される（ステップＳＰ１０２）。次に、時間ｔ＋Δｔの撮像画像データＤ１が取り込まれ、画素データＤ３として第２フレームメモリ２ｂに記憶される（ステップＳＰ１０３）。
【００６４】
この画素データＤ２、Ｄ３を微分してエッジ点を抽出することによって図７に示すような微分画像をそれぞれ生成する（ステップＳＰ１０４）。生成した微分画像からオプティカルフローを求めるため車両が走行する自車線の両側を形成する白線を構成するエッジ点を抽出することにより白線を検出する（ステップＳＰ１０５）。このとき、ライトオン検出センサ６からライトオン信号Ｓ４が出力されていなければ（ステップＳＰ１０６でＮ）抽出したエッジ点の数が所定数以下の時（ステップＳＰ１０７でＹ）、ＲＡＭ３ｃ内のカウンタのカウント値をカウントアップする（ステップＳＰ１０８）。
【００６５】
カウントアップした結果、所定回数以上であれば（ステップＳＰ１０９でＹ）、オプティカルフローによる接近他車両の検出が不可能と判定してスピーカ５ａ及びディスプレイ５ｂにその旨を知らせる警報を発生させ（ステップＳＰ１１０）、再びステップＳＰ１０１に戻る。
【００６６】
また、抽出したエッジ点の数が所定数以上の時（ステップＳＰ１０４でＮ）、カウンタをリセットして（ステップＳＰ１１１）、検出した両側の白線を延長し、その交点をＦＯＥとして設定する（ステップＳＰ１１２）。次に、近接車線を走行する他車両、又は後続する他車両に対する危険度を検出するためオプティカルフローを検出し（ステップＳＰ１１３）、求めたオプティカルフローがＦＯＥから発散する方向で、かつ長さが所定長さを超えたとき他車両が自車両に接近していると判断し（ステップＳＰ１１４でＹ）、ウインカ検出センサ４の状態を取り込み、ウインカ信号Ｓ１が出力されていた場合は（ステップＳＰ１１５でＹ）スピーカ５ａ及びディスプレイ５ｂによりその旨を伝える警報を発生させ（ステップＳＰ１１６）、ステップＳＰ１０１へ戻る。
【００６７】
また、接近してくる他車両がなくオプティカルフローがＦＯＥに収束する方向であったり、発散する方向であっても長さが所定長さを超えていなかったとき（ステップＳＰ１１４でＮ）、又は、運転者に車線変更の意志がなくウインカ信号Ｓ１が出力されていないとき（ステップＳＰ１１５でＮ）は危険度が低いと判断し、そのままステップＳＰ１０１へ戻る。
【００６８】
ヘッドライト信号Ｓ４が出力されていれば（ステップＳＰ１０１でＹ）、夜間であるとしてカメラ１から撮像画像データＤ１を取り込み（ステップＳＰ１１７）画素データＤ２に変換する。次に、画素データＤ２において所定輝度以上の画素を周辺を走行する他車両からのライトから得られる任意像として検出する（ステップＳＰ１１８）。任意像が接近他車両の検出が可能なときでは得られない像であった場合（ステップＳＰ１１９でＹ）、ステップＳＰ１１０へ進む。任意像が接近他車両の検出が可能なときでは得られない像ではなかった場合（ステップＳＰ１１９でＮ）、ステップＳＰ１０２へ進む。
【００６９】
上述した第２の実施例は、オプティカルフローを検出するためにの白線を検出を流用して接近他車両の検出が可能か否かを判断するので、コストダウンを図ることができる。
【００７０】
なお、上述した第２実施例では、白線を構成するエッジ点の数が所定数以下の状態が何回継続したかをカウントしたカウント値を任意検出度合として算出していたが、例えば、所定回数白線を検出したときの白線を構成するエッジ数の総数を任意検出度として算出して、エッジ数の総数が所定数以下のとき接近他車両の検出が不可能であると判定しても良い。また、白線を検出できない状態が何回継続したかをカウントしたカウント値を任意検出度合として算出して、カウント値が所定回数以上の時接近他車両の検出が不可能であると判定しても良い。
【００７１】
また、上述した第１及び第２実施例のように、所定情報が得られるか否かを判定することにより、接近他車両の検出が不可能であるか否かの判定をカメラ１の撮像した画像から直接的に判定することができるので、正確に接近他車両の検出が不可能であることを判定することができる。
【００７２】
なお、上述した第１及び第２の実施例ではオプティカルフローを検出することにより接近他車両を検出し、危険度を判定していたが、例えば、２台のカメラを使用して、接近他車両の位置Ｐを算出し、算出された位置に基づいて危険度を判定するものにも適用することができる。しかしながら、この場合は２台の内１台は接近他車両が検出可能な状態であっても、他の１台がカメラに付着した汚れにより接近他車両の検出が不可能なときは結局接近他車両を検出することができない。そこで、２台のカメラにより撮像した画像からそれぞれ所定情報が得られるか否かを判定しなければならない。
【００７３】
第３実施例
また、上述した第１実施例と同様の構成で、ワイパースイッチがオンしたときＨレベルのワイパー信号Ｓ５を出力するワイパー使用検出手段としてのワイパーセンサをマイコン３に接続して、雨や雪などにより運転者がワイパーを使用してワイパーセンサからワイパー信号が出力されたとき、オプティカルフロー検出不可能と判断するようにしても良い。この場合、画像処理を行うことなく間接的に接近他車両が検出できるか否かを判定することができるので、コストダウンを図ることができる。
【００７６】
【発明の効果】
以上説明したように請求項１記載の発明によれば、類似度によって判定手段が判定を行うことにより、撮像手段の撮像した画像の内、自車両の車体部分の画素領域のみを画像処理して類似度を算出するため判定手段が判定を行うための画像処理を軽減することができるので、判定手段として画像処理の速度が速いものを使用しなくてもよくコストダウンを図った車両用周辺監視装置を得ることができる。
【００７８】
請求項２記載の発明によれば、判定手段３ａ−３が夜間であっても画像処理手段３ａ−１により接近他車両の検出が可能か否かを判定することができるので、夜であっても安全に走行することができる車両用周辺監視装置を得ることができる。
【００７９】
請求項３記載の発明によれば、接近車両の検出が可能な範囲内で、撮像手段１に付着した汚れ等で撮像手段１の撮像した画像により部分的に周囲の状況が撮像できない場合であっても、画像全体にわたって検出される白線の検出度合から判定することにより、接近他車両の検出が可能であるにもかかわらず不可能であると判定することがないので、判定手段が正確に撮像手段により撮像された画像から不可能か否かを判定することができる車両用周辺監視装置を得ることができる。
【００８０】
請求項４記載の発明によれば、画像処理手段３ａ−１がオプティカルフローを検出するために白線を検出する手段である白線検出手段３ａ−１１を接近他車両の検出が可能か否かを判定するために白線を検出する手段として流用することができるので、コストダウンを図った車両用周辺監視装置を得ることができる。
【００８１】
請求項５記載の発明によれば、危険判定手段３ａ−２が、オプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断することにより、撮像手段１を２つ使う必要がなく、任意時点で１つの撮像手段の撮像した画像からの所定情報が得られないか否かを判定するだけでよいので、判定手段の判定する速度を速くした車両用周辺監視装置を得ることができる。
【００８２】
請求項６記載の発明によれば、画像処理停止手段による接近他車両の検出が不可能なとき運転者が正確でない接近他車両の検出に惑わされることがないので、安全性を一層向上させた車両用周辺監視装置を得ることができる。
【図面の簡単な説明】
【図１】本発明による車両用周辺監視装置の基本構成図を示す図である。
【図２】本発明による車両用周辺監視装置の一実施の形態を示すブロック図である。
【図３】カメラの取付位置を説明するための図である。
【図４】第１及び第２の像データを説明するための図である。
【図５】第１実施例においてのＣＰＵ３ａの処理手順を示すフローチャートである。
【図６】カメラで撮像された画像を説明する図である。
【図７】撮像画像の微分処理により生成された微分画像（エッジ画像）を説明する図である。
【図８】白線検出するための動作を説明する図である。
【図９】第２実施例においてのＣＰＵ３ａの処理手順を示すフローチャートである。
【図１０】オプティカルフローを検出するための動作を説明する図である。
【図１１】相関法を説明するための図である。
【符号の説明】
１ 撮像手段
３ａ−１ 画像処理手段
３ａ−２ 危険判断手段
３ａ−３ 判定手段
５ 警報発生手段
３ｂ−１ 像記憶手段
３ａ−１１ 白線検出手段
３ａ−３１ 検出度合算出手段
６ ライトオン検出手段
３ａ−３２ ライト像検出手段
７ ワイパー使用検出手段
３ａ−１２ オプティカルフロー検出手段
３ａ−４ 画像処理停止手段
Claims (6)
- 車両に搭載され、車両の周辺を撮像して画像を得る撮像手段と、前記撮像手段により得た画像を画像処理して接近他車両を検出する画像処理手段と、該画像処理手段により検出した接近他車両について危険を判断する危険判断手段とを備える車両用周辺監視装置において、
前記撮像手段が常に撮像している自車両の車体部分の画素領域を予め記憶する像記憶手段と、
前記像記憶手段が記憶している前記画素領域と任意時点で前記撮像手段によって撮像された前記自車両の車体部分の画素領域との類似度が所定値以下のとき前記画像処理手段により接近他車両の検出が不可能と判定する判定手段と、
前記判定手段が不可能と判定したときに前記画像処理手段による接近他車両の検出が不可能である旨を知らせる警報を発生する警報発生手段と、
を備えたことを特徴とする車両用周辺監視装置。 - 車両に搭載され、車両の周辺を撮像して画像を得る撮像手段と、前記撮像手段により得た画像を画像処理して接近他車両を検出する画像処理手段と、該画像処理手段により検出した接近他車両について危険を判断する危険判断手段とを備える車両用周辺監視装置において、
ライトがオンしたことを検出するライトオン検出手段と、
任意時点で前記撮像手段の撮像した画像から周囲を走行する他車両のライトから得られる任意像を検出するライト像検出手段と、
前記ライトオン検出手段がライトのオンを検出したときに前記ライトから得られる任意像の大きさが前記接近他車両の検出が可能なときに得られる前記任意像よりも大きい場合、又は、前記ライトから得られる任意像の形状が前記接近他車両の検出が可能なときでは得られない歪みを有する場合、前記画像処理手段により前記接近他車両の検出が不可能と判定する判定手段と、
前記判定手段が不可能と判定したときに前記画像処理手段による接近他車両の検出が不可能である旨を知らせる警報を発生する警報発生手段と、
を備えたことを特徴とする車両用周辺監視装置。 - 任意時点で前記撮像手段が撮像した画像から白線を検出する白線検出手段と、
前記白線検出手段により検出された白線の任意検出度合を算出する検出度合算出手段とを備え、そして、
前記判定手段が、前記ライトオン検出手段がライトのオンを検出しないときに前記検出度合算出手段が算出した白線の任意検出度合が正常検出度合を満たしていない場合、前記画像処理手段により前記接近他車両の検出が不可能と判定する
ことを特徴とする請求項２に記載の車両用周辺監視装置。 - 前記画像処理手段は、前記白線検出手段が検出した自車線が走行すべき路面上の自車線の両側に位置する一対の白線をそれぞれ延長した延長線の交わる点をＦＯＥ（無限遠点）として設定し、前記設定したＦＯＥを利用し、前記撮像手段により所定時間前後して得た２画像中の同一点の移動量をオプティカルフローとして検出するオプティカルフロー検出手段を有し、
前記危険判断手段は、前記オプティカルフロー検出手段が検出したオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断する
ことを特徴とする請求項３記載の車両用周辺監視装置。 - 前記画像処理手段は、前記撮像手段により所定時間前後して得た２画像中の同一点の移動をオプティカルフローとして検出するオプティカルフロー検出手段を有し、
前記危険判定手段は、前記オプティカルフロー検出手段が検出したオプティカルフローの大きさに基づいて自車両に接近する他車両を検出して危険を判断する
ことを特徴とする請求項１〜３の何れか記載の車両用周辺監視装置。 - 前記判定手段が前記画像処理手段により接近他車両の検出が不可能であることを判定したとき前記画像処理手段による接近他車両の検出を停止させる画像処理停止手段とを
更に備えることを特徴とする請求項１〜５の何れか記載の車両用周辺監視装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05243499A JP3990836B2 (ja) | 1999-03-01 | 1999-03-01 | 車両用周辺監視装置 |
| US09/514,354 US6549124B1 (en) | 1999-03-01 | 2000-02-28 | Environment monitoring system for a vehicle with an image pickup device |
| DE60039139T DE60039139D1 (de) | 1999-03-01 | 2000-02-28 | Vorrichtung zur Überwachung der Umgebung |
| EP00104077A EP1033285B1 (en) | 1999-03-01 | 2000-02-28 | Environment monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05243499A JP3990836B2 (ja) | 1999-03-01 | 1999-03-01 | 車両用周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000251198A JP2000251198A (ja) | 2000-09-14 |
| JP3990836B2 true JP3990836B2 (ja) | 2007-10-17 |
Family
ID=12914656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05243499A Expired - Fee Related JP3990836B2 (ja) | 1999-03-01 | 1999-03-01 | 車両用周辺監視装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6549124B1 (ja) |
| EP (1) | EP1033285B1 (ja) |
| JP (1) | JP3990836B2 (ja) |
| DE (1) | DE60039139D1 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7852462B2 (en) * | 2000-05-08 | 2010-12-14 | Automotive Technologies International, Inc. | Vehicular component control methods based on blind spot monitoring |
| JP4953498B2 (ja) * | 2000-07-12 | 2012-06-13 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
| DE10249816B4 (de) * | 2002-10-24 | 2006-01-12 | Daimlerchrysler Ag | Verfahren und Vorrichtung zum Betrieb eines automobilen Nachtsichtsystems |
| JP3966170B2 (ja) * | 2002-12-05 | 2007-08-29 | 株式会社デンソー | 運転支援装置 |
| JP4176558B2 (ja) * | 2003-06-06 | 2008-11-05 | 本田技研工業株式会社 | 車両周辺表示装置 |
| JP2005170323A (ja) * | 2003-12-15 | 2005-06-30 | Denso Corp | 走路形状表示装置 |
| JP4319928B2 (ja) * | 2004-03-09 | 2009-08-26 | 株式会社デンソー | 車両状態検知システムおよび車両状態検知方法 |
| JP4818816B2 (ja) * | 2006-06-05 | 2011-11-16 | 富士通株式会社 | 駐車支援プログラム及び駐車支援装置 |
| JP4991384B2 (ja) * | 2007-05-08 | 2012-08-01 | 株式会社日立製作所 | 接近物検知装置及び接近物検知プログラム |
| US9001204B2 (en) * | 2009-10-09 | 2015-04-07 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle peripheral monitoring device |
| EP2385482B1 (en) * | 2010-05-05 | 2016-04-20 | Autoliv Development AB | A driver assisting system and method for a motor vehicle |
| JP5716343B2 (ja) * | 2010-10-01 | 2015-05-13 | トヨタ自動車株式会社 | 車両の物体認識システム |
| JP5659913B2 (ja) * | 2011-03-30 | 2015-01-28 | 富士通株式会社 | 警報装置および警報システム並びに警報方法 |
| US9598076B1 (en) | 2015-10-22 | 2017-03-21 | Ford Global Technologies, Llc | Detection of lane-splitting motorcycles |
| WO2019175920A1 (ja) * | 2018-03-12 | 2019-09-19 | 三菱電機株式会社 | 霧特定装置、霧特定方法及び霧特定プログラム |
| JP2019217970A (ja) * | 2018-06-21 | 2019-12-26 | 日本電産コパル株式会社 | 電子ミラー装置及び画像表示方法 |
| CN109492609B (zh) * | 2018-11-27 | 2020-05-15 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4641136A (en) * | 1985-04-18 | 1987-02-03 | Thaddeus Kowalczyk | Security eyes for prevention of car accidents |
| US5463384A (en) * | 1991-02-11 | 1995-10-31 | Auto-Sense, Ltd. | Collision avoidance system for vehicles |
| JP3452268B2 (ja) * | 1993-08-06 | 2003-09-29 | 矢崎総業株式会社 | 車両用後側方監視方法 |
| JP3263699B2 (ja) * | 1992-12-22 | 2002-03-04 | 三菱電機株式会社 | 走行環境監視装置 |
| JPH06276430A (ja) * | 1993-03-24 | 1994-09-30 | Isuzu Motors Ltd | 車線逸脱警報装置 |
| JPH06308256A (ja) * | 1993-04-26 | 1994-11-04 | Hitachi Cable Ltd | 雲霧検出方法 |
| JP3352157B2 (ja) * | 1993-07-06 | 2002-12-03 | マツダ株式会社 | 自動車の安全装置 |
| US6553130B1 (en) * | 1993-08-11 | 2003-04-22 | Jerome H. Lemelson | Motor vehicle warning and control system and method |
| GB2286307A (en) * | 1994-02-02 | 1995-08-09 | Eric Collier | Distance alarm device |
| JP3287117B2 (ja) * | 1994-07-05 | 2002-05-27 | 株式会社日立製作所 | 撮像装置を用いた車両用の環境認識装置 |
| GB2291244B (en) * | 1994-07-15 | 1998-02-11 | Design Technology & Innovation | Vehicle safety systems |
| JPH08285534A (ja) * | 1995-04-12 | 1996-11-01 | Suzuki Motor Corp | 車載用画像処理装置 |
| JPH0939601A (ja) * | 1995-08-04 | 1997-02-10 | Mitsubishi Motors Corp | 居眠り運転警報装置 |
| JPH09113221A (ja) * | 1995-10-17 | 1997-05-02 | Mitsubishi Electric Corp | 車載用画像処理装置及びその画像処理方法 |
| JPH09142207A (ja) * | 1995-11-17 | 1997-06-03 | Yazaki Corp | 車両周辺監視装置 |
| JP3644149B2 (ja) * | 1996-09-10 | 2005-04-27 | 日産自動車株式会社 | 車間距離制御型定速走行装置 |
| JPH11249212A (ja) * | 1998-03-02 | 1999-09-17 | Olympus Optical Co Ltd | ブレ警告機能付カメラ |
| JPH11353565A (ja) * | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
-
1999
- 1999-03-01 JP JP05243499A patent/JP3990836B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-28 US US09/514,354 patent/US6549124B1/en not_active Expired - Lifetime
- 2000-02-28 EP EP00104077A patent/EP1033285B1/en not_active Expired - Lifetime
- 2000-02-28 DE DE60039139T patent/DE60039139D1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000251198A (ja) | 2000-09-14 |
| EP1033285A2 (en) | 2000-09-06 |
| EP1033285A3 (en) | 2004-12-01 |
| EP1033285B1 (en) | 2008-06-11 |
| US6549124B1 (en) | 2003-04-15 |
| DE60039139D1 (de) | 2008-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3990836B2 (ja) | 車両用周辺監視装置 | |
| US11203340B2 (en) | Vehicular vision system using side-viewing camera | |
| US11308720B2 (en) | Vehicular imaging system | |
| CN113998034B (zh) | 骑乘者辅助系统和方法 | |
| JP5022609B2 (ja) | 撮像環境認識装置 | |
| JP6519355B2 (ja) | カメラ装置及び車載システム | |
| JP3452268B2 (ja) | 車両用後側方監視方法 | |
| US20030214584A1 (en) | Side and rear vision enhancement for vehicles | |
| JP2001233150A (ja) | 車両用危険判断装置及び、車両用周辺監視装置 | |
| JP3424808B2 (ja) | 車両用後側方監視装置 | |
| US10896338B2 (en) | Control system | |
| JP2002314989A (ja) | 車両用周辺監視装置 | |
| CN112498343A (zh) | 车辆转向控制系统及方法 | |
| CN112758013A (zh) | 车辆的显示装置和显示方法 | |
| JP2001101592A (ja) | 車両用衝突防止装置 | |
| JP3464368B2 (ja) | 車両用後側方監視装置 | |
| JP3635591B2 (ja) | 車両周辺監視装置 | |
| JP2003151096A (ja) | 進入警報装置 | |
| JP2005309660A (ja) | 車両用右左折支援装置 | |
| JPH05238311A (ja) | 車両用画像表示装置 | |
| JP2004302609A (ja) | 車両用周囲監視装置 | |
| US20230415647A1 (en) | Vehicular control system with cross traffic alert and collision avoidance | |
| JP2022154208A (ja) | 画像処理装置、画像処理システム、および、画像処理方法 | |
| CN114750690A (zh) | 一种adas系统盲区变道集成的预警系统及预警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070723 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |