JP4930256B2 - 隣接車両検出装置および隣接車両検出方法 - Google Patents
隣接車両検出装置および隣接車両検出方法 Download PDFInfo
- Publication number
- JP4930256B2 JP4930256B2 JP2007203230A JP2007203230A JP4930256B2 JP 4930256 B2 JP4930256 B2 JP 4930256B2 JP 2007203230 A JP2007203230 A JP 2007203230A JP 2007203230 A JP2007203230 A JP 2007203230A JP 4930256 B2 JP4930256 B2 JP 4930256B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- adjacent vehicle
- adjacent
- lamp
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
しかしながら、このミリ波レーダやレーザーレーダなどを用いた検出方法では、車両に対するこれらセンサの設置場所などの制約などから、実際に検出できるのは自車両の前方および後方のみであり、自車両の側方(特に真横)は、ブラインドスポットとして検出することが難しい。
しかしながら、その隣接車両が自車両の真横に位置した場合には、その車体外形などによってその隣接車両のヘッドランプが遮蔽されてしまい、テレビカメラ装置によってそれを検知できなくなってしまうため、確実にその隣接車両を検出することは困難である。
そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、自車両の側方を走行する隣接車両を確実に検出してこれを頑強に追跡できる新規な隣接車両検出装置および隣接車両検出方法を提供するものである。
側方カメラによって自車両の側方を撮影し、撮影された画像中の輝度情報を含む画像情報に基づいて隣接車両の車両ランプを検出し、検出された隣接車両の車両ランプの位置に基づいて当該隣接車両の位置を認識する。また、このようにして認識された隣接車両の車両ランプ周辺の画像情報からテンプレートを生成し、生成されたテンプレートを用いたテンプレートマッチング法によって当該隣接車両を追跡する。
そして、前記隣接車両の車両ランプの位置に基づいて認識された隣接車両の位置情報の検出結果とテンプレートマッチング法によって追跡された隣接車両の位置情報の検出結果との両方の検出結果に基づいて、自車両に対する当該隣接車両の相対位置を特定する。
これによって、従来のミリ波レーダやレーザーレーダなどのセンサを用いた車両検出技術と併用することで自車両の全方位認識システムの実現が可能となる。
(構成)
図1は、本発明に係る隣接車両検出装置100の実施の一形態を示したものである。
図示するように、この隣接車両検出装置100は、側方カメラ10と、画像メモリ12と、車両検出処理部14と、テンプレート作成部16と、テンプレート格納メモリ18と、テンプレート更新部20と、車両追跡処理部22と、検出結果合成部24と、ランプ位置予測部26と、露光制御信号算出部28と、結果出力部30とから主に構成されている。
車両検出処理部14は、この画像メモリ12に保持・記録されたカラー画像を、輝度情報のみからなるモノクロ画像に変換した後、画像処理によってその隣接車両の車両ランプ(特にヘッドランプ)を輝度の偏差情報から抽出することでその隣接車両を検出するようになっている(ヘッドランプ検出法)。
テンプレート更新部20は、後述する検出結果合成部24より出力された隣接車両検出結果をもとに画像メモリ12に保持・記憶されている画像情報から検出された隣接車両の車両ランプ周辺の車体外形を含む画像領域を切り出すことでテンプレートを更新し、更新したテンプレートをテンプレート格納メモリ18に出力するようになっている。なお、このテンプレート更新部20は、画像メモリ12に次々と保持・記録される画像情報の各フレーム毎にテンプレートを更新するようになっている。
次に、このような構成をした本発明の隣接車両検出装置100を用いた隣接車両検出方法を図5のフローチャートを主に参照しながら説明する。なお、この図5に示す処理フローは、本発明の隣接車両検出装置100におけるループ処理時のフローチャートを示したものであり、この隣接車両検出装置100が作動している最中はこのループ処理を繰り返し行っているものとする。
先ず、最初のステップS201では、側方カメラ10で撮影された画像を画像メモリ12から読み出して次のステップS202に移行する。
(ステップS202)
ステップS202では、前回のループ処理時にてテンプレート作成部16もしくはテンプレート更新部20においてテンプレートが既に作成あるいは更新されているか否かを判断し、既に作成あるいは更新されていると判断したとき(YES)は、ステップS203側に移行するが、未だ作成あるいは更新されていると判断したとき(NO)は、ステップS204側に移行する。
ステップS203では、既に作成あるいは更新されているテンプレートを用いて車両追跡処理部22においてテンプレートマッチング法による車両追跡を行い、処理が終了したならばステップS205へ移行する。
(ステップS204)
一方、ステップS204では、車両検出処理部14においてヘッドランプ検出法による隣接車両の検出を行ってから次のステップS205に移行する。
(ステップS205)
ステップS205では、このステップS203における車両追跡結果と、ステップS204における車両検出結果を総合判定し、隣接車両の位置を決定する。
次のステップS206では、検出結果合成部106において、隣接車両の検出結果が出力されているかどうかを判断し、隣接車両検出結果が1つ以上出力されていると判断したとき(YES)は、次のステップS207に移行するが、隣接車両検出結果が1つも出力されていないとき(NO)は、隣接車両が自車両側方に存在していないと判断してそのまま処理を終了する。
(ステップS207)
ステップS207では、隣接車両が自車両側方に存在していると判断して、その結果出力部30において自車両のドライバーに隣接車両の存在を警告音や表示によって警告する。
ステップS208では、車両追跡処理部22において、追跡している隣接車両があるかどうかを判断し、追跡している隣接車両があると判断したとき(YES)は、ステップS209に移行し、追跡している隣接車両がないと判断したとき(NO)は、ステップS212に移行する。
(ステップS209)
ステップS209では、検出結果合成部24から出力された隣接車両検出結果をもとにテンプレート更新部20にて次回のループ処理に用いるテンプレートを作成して次のステップS210に移行する。
ステップS210では、検出結果合成部24から出力された隣接車両検出結果に基づいて隣接車両の他方の車両ランプ位置を予測してステップS211に移行する。
(ステップS210)
そして、ステップS211では、ランプ位置予測部26によって予測された他方の車両ランプ位置に基づいて、他方の車両ランプをその予測位置周辺で確実に検出すべく最適な画像が得られるようにその露光制御を行ってから処理を終了する。具体的には、前述したように最初にヘッドランプHが検出された場合は、リアランプRの輝度に合わせた露光制御を行うことになる。
一方、ステップS212では、検出結果合成部24から出力された隣接車両検出結果をもとにテンプレート作成部16にて次回のループ処理に用いるテンプレートを作成して処理を終了する。
そして、このような処理を各フレーム毎に繰り返すことにより、図6に示すように自車両に対して隣接車両が後方または前方から接近し、自車両の真横周辺に位置した際に側方カメラ10のヘッドランプHおよびリアランプRが車体外形により遮蔽されて消失してしまった場合でもその隣接車両を見失うことなく頑強に追跡を継続することができる。
図示するように、先ず隣接車両の初期検出は、ヘッドランプ検出法によって行われ、これをトリガーとしてテンプレートマッチング法による車両追跡が開始される。そして、その後は、両検出法による車両検出が同時並行して行われることになるが、やがてその隣接車両が自車両の真横に位置すると、ヘッドランプHが車体外形により消失してヘッドランプ検出法による車両検出が不可能になる。しかしながら、この時点ではテンプレートマッチング法による車両追跡が継続されているため、隣接車両を見失うようなことはない。
このように本発明はヘッドランプ検出法による検出結果と、テンプレートマッチング法による検出結果を併用して車両検出を行うようにしたため、隣接車両を確実に検出できると共に、常に頑強な隣接車両の検出が可能となる。
また、テンプレートマッチングで用いられるテンプレートは、テンプレートマッチング法による隣接車両の位置情報だけでなく、ヘッドランプ検出法で検出された隣接車両の車両ランプ周辺の車体外形を含む領域の画像情報に基づいて更新することが可能となるため、テンプレートの特定精度がより向上する。
これによって、テンプレートの切り出しサイズ(面積)を小さくできるため、画像メモリ12などの容量を小さくすることができると共に、その後の画像処理などの負荷を軽減できるため、画像処理速度をより向上することができる。
また、このように他方の車両ランプを予測して検出するに際しては、その画像の露光を変更するなどといった画像パラメータを変更することでより確実に他方の車両ランプを検出することができる。
特にリアランプRは、その明るさ(輝度値)がヘッドランプに比べて大幅に低く露光制御のみでは、街灯や反射光などの影響により誤検出や未検出が発生し易いため、これらを回避すべくこのように色情報を加味して検出することが望ましい。
そして、同じく請求項に記載した「隣接車両位置特定手段」は、本実施の形態に係る「検出結果合成部24」に対応し、同じく請求項の「車両ランプ検出手段」は、本実施の形態に係る「ランプ位置予測部26」および「露光制御信号算出部28」、ならびに図5のステップS210、S211にそれぞれ対応するものである。
また、同じく請求項の「テンプレート生成ステップ」は、図5のステップS209、S212に対応し、同じく請求項の「隣接車両追跡ステップ」は、図5のステップS203に対応するものである。
そして、同じく請求項の「隣接車両位置特定ステップ」は、図5のステップS205〜S207に対応するものである。
10…側方カメラ
12…画像メモリ
14…車両検出処理部
16…テンプレート作成部
18…テンプレート格納メモリ
20…テンプレート更新部
22…車両追跡処理部
24…検出結果合成部
26…ランプ位置予測部
28…露光制御信号算出部
30…結果出力部
40…ドアミラーユニット
H…ヘッドランプ(車両ランプ)
R…リアランプ(車両ランプ)
L…ランプ位置予測ライン
Claims (7)
- 自車両の側方を隣接して走行する隣接車両を検出する隣接車両検出装置であって、
自車両の側方を撮影する撮影手段と、
当該撮影手段で撮影された画像中の輝度情報を含む画像情報に基づいて隣接車両の車両ランプを検出する車両ランプ検出手段と、
当該車両ランプ検出手段で検出された隣接車両の車両ランプの位置に基づいて当該隣接車両の位置を認識する隣接車両認識手段と、
当該隣接車両認識手段で認識された隣接車両の車両ランプ周辺の画像情報からテンプレートを生成するテンプレート生成手段と、
当該テンプレート生成手段で生成されたテンプレートを用いたテンプレートマッチング法によって当該隣接車両を追跡する隣接車両追跡手段と、
前記隣接車両認識手段による隣接車両の位置情報の検出結果と前記隣接車両追跡手段による隣接車両の位置情報の検出結果に基づき自車両に対する当該隣接車両の相対位置を判断し、両方の検出結果が得られている場合には、その両方の検出結果をもとに自車両に対する当該隣接車両の相対位置を特定する隣接車両位置特定手段と、を備えたことを特徴とする隣接車両検出装置。 - 請求項1に記載の隣接車両検出装置において、
前記テンプレート生成手段は、
前記隣接車両認識手段で認識された隣接車両の車両ランプ周辺の画像情報に加え、前記隣接車両追跡手段による隣接車両の位置情報に基づいてテンプレートを作成することを特徴とする隣接車両検出装置。 - 請求項1または2に記載の隣接車両検出装置において、
前記車両ランプ検出手段は、
前記撮影手段で撮影された画像中の輝度情報に基づいて検出した隣接車両の車両ランプが当該隣接車両のヘッドランプかリアランプかを判断し、
検出した車両ランプがヘッドランプであると判断したときは、当該ヘッドランプの検出位置に基づいてリアランプの位置を予測して検出すると共に、
検出した車両ランプがリアランプであると判断したときは、当該リアランプの検出位置に基づいてヘッドランプの位置を予測して検出することを特徴とする隣接車両検出装置。 - 請求項3に記載の隣接車両検出装置において、
前記車両ランプ検出手段は、
一方の車両ランプの位置に基づいて他方の車両ランプを検出するときは、最初に検出した一方の車両ランプを検出したときの画像パラメータを他方の車両ランプの種類に応じて変更することを特徴とする隣接車両検出装置。 - 請求項4に記載の隣接車両検出装置において、
前記車両ランプ検出手段が変更する画像パラメータは、前記撮影手段で撮影された画像の露光情報であることを特徴とすることを特徴とする隣接車両検出装置。 - 請求項3に記載の隣接車両検出装置において、
前記車両ランプ検出手段は、
前記撮影手段で撮影された画像の画像情報に、輝度情報と共に色情報が含まれるときは、当該色情報に基づいて前記車両ランプを検出することを特徴とする隣接車両検出装置。 - 自車両の側方を隣接して走行する隣接車両を検出する隣接車両検出装置であって、
自車両の側方を撮影する撮影ステップと、
当該撮影ステップで撮影された画像中の輝度情報を含む画像情報に基づいて隣接車両の車両ランプを検出する車両ランプ検出ステップと、
当該車両ランプ検出ステップで検出された隣接車両の車両ランプの位置に基づいて当該隣接車両の位置を認識する隣接車両認識ステップと、
当該隣接車両認識ステップで認識された隣接車両の車両ランプ周辺の画像情報からテンプレートを生成するテンプレート生成ステップと、
当該テンプレート生成ステップで生成されたテンプレートを用いたテンプレートマッチング法によって当該隣接車両を追跡する隣接車両追跡ステップと、
前記隣接車両認識ステップによる隣接車両の位置情報の検出結果と前記隣接車両追跡ステップによる隣接車両の位置情報の検出結果との両方の検出結果に基づいて自車両に対する当該隣接車両の相対位置を特定する隣接車両位置特定ステップと、を備えたことを特徴とする隣接車両検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007203230A JP4930256B2 (ja) | 2007-08-03 | 2007-08-03 | 隣接車両検出装置および隣接車両検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007203230A JP4930256B2 (ja) | 2007-08-03 | 2007-08-03 | 隣接車両検出装置および隣接車両検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009037542A JP2009037542A (ja) | 2009-02-19 |
JP4930256B2 true JP4930256B2 (ja) | 2012-05-16 |
Family
ID=40439365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007203230A Active JP4930256B2 (ja) | 2007-08-03 | 2007-08-03 | 隣接車両検出装置および隣接車両検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4930256B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2821982B1 (en) * | 2012-03-01 | 2018-06-27 | Nissan Motor Co., Ltd | Three-dimensional object detection device |
JP6177632B2 (ja) * | 2013-09-11 | 2017-08-09 | アルパイン株式会社 | 車両位置検出装置および車両後側方警報装置 |
DE102014109062A1 (de) * | 2014-06-27 | 2015-12-31 | Connaught Electronics Ltd. | Verfahren zum Verfolgen eines sich einem Kraftfahrzeug nähernden Zielfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug |
JP6409747B2 (ja) | 2015-11-16 | 2018-10-24 | トヨタ自動車株式会社 | 車両用サイドドア構造 |
US20180032822A1 (en) * | 2016-08-01 | 2018-02-01 | Ford Global Technologies, Llc | Vehicle exterior monitoring |
CN112950988B (zh) * | 2021-02-25 | 2022-07-29 | 杭州立方控股股份有限公司 | 具有存证功能的停车管理系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08193831A (ja) * | 1995-01-13 | 1996-07-30 | Nissan Motor Co Ltd | 接近車両検出装置 |
JP3435623B2 (ja) * | 1996-05-15 | 2003-08-11 | 株式会社日立製作所 | 交通流監視装置 |
JP3822417B2 (ja) * | 2000-05-30 | 2006-09-20 | 三菱電機株式会社 | 車両周辺監視装置 |
-
2007
- 2007-08-03 JP JP2007203230A patent/JP4930256B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009037542A (ja) | 2009-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4763250B2 (ja) | 物体検出装置 | |
JP5421072B2 (ja) | 接近物体検知システム | |
US8452528B2 (en) | Visual recognition area estimation device and driving support device | |
JP5600332B2 (ja) | 運転支援装置 | |
JP4930256B2 (ja) | 隣接車両検出装置および隣接車両検出方法 | |
JP4425642B2 (ja) | 歩行者抽出装置 | |
US20180001819A1 (en) | Vehicle monitoring device, vehicle monitoring method and vehicle monitoring program | |
JP2010039634A (ja) | 画像処理装置 | |
JP2005222425A (ja) | 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体 | |
JP2007015525A (ja) | カメラが撮影した前方画像に基づいて、先行車両と自車両との間の接近の危険に対処するための信号を出力する出力装置、および、当該出力装置のためのプログラム | |
US11772555B2 (en) | Vehicle and method of providing surrounding information thereof | |
JP5292047B2 (ja) | 車両の周辺監視装置 | |
JP4003569B2 (ja) | 交差点事故防止装置及びプログラム | |
JP2009146153A (ja) | 移動体検出装置、移動体検出方法および移動体検出プログラム | |
JP4772622B2 (ja) | 周辺監視システム | |
US20230169776A1 (en) | Driver assistance apparatus, a vehicle, and a method of controlling the same | |
JP6533244B2 (ja) | 対象物検知装置、対象物検知方法、及び対象物検知プログラム | |
JP2018010466A (ja) | 物体検知装置 | |
JP6949090B2 (ja) | 障害物検知装置及び障害物検知方法 | |
JP2009181310A (ja) | 道路パラメータ推定装置 | |
JP2007286873A (ja) | 車載周辺他車検出装置 | |
JP6315580B2 (ja) | 車両発進支援装置および発進報知方法 | |
JP2018073049A (ja) | 画像認識装置、画像認識システム、及び画像認識方法 | |
KR20220097656A (ko) | 운전자 보조 장치, 차량 및 그 제어 방법 | |
JP2021047758A (ja) | 車両用後側方警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100728 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4930256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |