JP5472928B2 - 対象物検出装置及び方法 - Google Patents
対象物検出装置及び方法 Download PDFInfo
- Publication number
- JP5472928B2 JP5472928B2 JP2010275403A JP2010275403A JP5472928B2 JP 5472928 B2 JP5472928 B2 JP 5472928B2 JP 2010275403 A JP2010275403 A JP 2010275403A JP 2010275403 A JP2010275403 A JP 2010275403A JP 5472928 B2 JP5472928 B2 JP 5472928B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- height
- strip
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
図2に示すように、監視領域の近くの柱に設置されたステレオカメラ20L,20Rが時系列画像を取得する。ステレオカメラ20L,20Rのそれぞれで取得された時系列画像が画像入力部1に入力される。
ステレオカメラから得られる左右の時系列画像は実空間における垂直方向が画像上の垂直方向に一致するように平行等位化がなされているのものとする。図3(a)はステレオカメラ20Lで取得された左画像である。図3(b)はステレオカメラ20Rで取得された右画像である。図3(c)は右画像をアフィン変換して得られる変換画像である。例えば、監視領域平面上の点Pに対応する点の左画像での位置を(xl,yl)、右画像での位置を(xr,yr)と表すと、両者はおおよそ下記の式(1)のようなアフィン変換により対応付けられる。
対象物の検出は、図3に示されるような左画像、右画像および変換画像を用いて行う。この場合、まず、図3に示すように左画像中に領域Alのような実質的に垂直方向に長さが可変な短冊状の領域に分割し、この短冊状の領域Alごとに対象物の接地位置を求める。なお、図3においては、接地位置を短冊状の領域の垂直方向の最下部としているが、接地位置は当初は不明であるため、最初は画像におけるカメラに近い位置となる最近傍点(画像の下端)を最下部として高さが可変な短冊状の領域に分割することになる。2順目以降は既に求めた対象物の高さ位置を下点としてカメラ画像で奥方向の領域を分割する。
対応点の算出には、左右の一方の画像中の任意の点の位置に対して、指定された点に道路平面拘束を適用した場合に、もう一方の画像中で入力点に対応する点の位置を計算する。これにより左右の画像間の対応関係を用いて、図3(b)に示されるような右画像に、右画像中の道路平面拘束を満たす領域が例えば図3(a)に示されるような左画像に一致するような変換を加え、図3(c)のような変換画像を作成し、それを記憶する。
接地位置算出部6及び対象物高さ算出部7において、上記のように接地点の位置と、短冊状の領域の上端の位置とを順に移動させながら画像処理を繰り返し、それぞれの移動量を軸にとると、図5の画像の一致度のグラフのように、接地位置と領域の上端つまり対象物の高さに対する画像の一致度の関係が求められる。すなわち、右画像の領域Ar1と変換画像の領域Artの点Prt1より下の部分の画像信号(輝度信号)と左画像の領域A1との画像特徴量の比較を行なうことにより、点P1を接地位置、点H1を対象物の高さと仮定した場合の画像の一致度が算出される。これを繰り返すことにより図5に示されるような画像一致度を示すグラフが形成される。このグラフより、接地位置を図5の左画像中の点P1、点H1の組み合わせのように正しく仮定した場合に、左画像中の領域と右画像、変換画像との正しい対応関係が与えられ、したがって画像の一致度が最も高くなることがわかる。そこで、一致度のグラフで最高の一致度を与える点を領域A1内での対象物の接地位置と対象物高さとする。
対象物運動情報推定部8は、検出された複数の接地位置が描く境界線をラベリングにより複数の境界線分として検出する。境界線分ごとに、各接地位置に対応する対象物高さ情報をもとに、画像中における対象物領域の大きさを決定する。そして、検出された個々の対象物を時系列で追跡する。
Claims (11)
- 複数台のカメラにより道路上に存在する対象物を撮影した画像を入力する画像入力手段と、
前記画像入力手段により入力された画像を記憶する画像記憶手段と、
前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割手段と、
前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出手段と、
各短冊状領域内の各点と、前記対応点算出手段で求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出手段と、
前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出手段と、
前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出手段と
を備えることを特徴とする対象物検出装置。 - 前記接地位置と前記対象物の高さ情報とに基づいて前記対象物を検出し、路面接地位置により実空間上の位置および速度を推定する対象物運動情報推定手段と
をさらに備えることを特徴とする請求項1記載の対象物検出装置。 - 前記画像分割手段は、
前記基準画像を実空間上の路面垂直方向に沿って複数の短冊状領域に分割するにあたり、路面に直交する方向に一定間隔で一定幅を持つように設定し、垂直方向には画像おける最近傍点もしくは既に対象物高さ算出手段により求めた高さ位置からの高さを連続的に変化させることを特徴とする請求項1記載の対象物検出装置。 - 前記画像分割手段は、
あらかじめ前記基準画像について路面垂直方向が当該画像の垂直方向に一致するよう画像を変換し、前記参照画像についても路面垂直方向が画像の垂直方向に一致するよう変換する画像変換手段を備えることを特徴とする請求項1記載の対象物検出装置。 - 前記対応点算出手段は、
路面上の任意の点について、前記基準画像中における前記任意の点の対応点の座標と、前記参照画像中での任意の点の投影点の座標値との対応関係を求める道路領域対応点算出手段と、
前記任意の点を接地点とし、この接地点を含み道路面に対して垂直な直線を含む一つの平面における基準画像中における前記任意の点の投影点の座標と参照画像中での前記任意の点の投影点の座標との対応関係を求める対象物領域対応点算出手段と
を備えることを特徴とする請求項1記載の対象物検出装置。 - 前記画像一致度算出手段は、
前記参照画像中の道路領域のパターンが前記基準画像の道路領域の特徴パターンと一致する参照画像の道路面変換画像を生成する道路面画像変換手段を備え、
前記基準画像における基準領域画像とこの基準領域画像内に含まれる対象物の道路面との接地位置を入力として、基準領域画像のうち接地位置より下の道路面領域については前記道路面画像変換手段により変換した道路面変換画像との間で一致度を計算し、基準領域画像のうち接地位置より上の対象物領域については前記参照画像との間で一致度を計算することを特徴とする請求項1記載の対象物検出装置。 - 前記接地位置算出手段は、
前記短冊状領域の高さと前記対象物の接地位置を可変として各々の前記画像特徴量の一致度を算出し、隣接する各短冊状領域方向に画像特徴量の一致度を最大化する接地位置関数を算出することを特徴とする請求項1記載の対象物検出装置。 - 前記接地位置算出手段は、
前記短冊状領域について、各接地位置での短冊状領域の高さそれぞれの前記画像特徴量の一致度のうち最大となる画像特徴量の一致度をその接地位置における画像特徴量の一致度として算出し、隣接する各短冊状領域方向に画像特徴量の一致度を最大化する接地位置関数を算出することを特徴とする請求項1記載の対象物検出装置。 - 前記対象物高さ算出手段は、
前記接地位置算出手段で求めた各短冊状領域の接地位置において、前記画像特徴量の一致度が最大となる短冊状領域の高さを算出し、この高さ位置より画像中で上方の領域について前記画像分割から対象物高さ算出を実行し、画像中手前の対象物より奥に存在する対象物の接地位置を求めることを特徴とする請求項1記載の対象物検出装置。 - 前記対象物運動情報推定手段は、
前記対象物の接地位置とこれに対応する対象物の高さ情報に基づき、形状・大きさ等の特徴量から対象物の領域を個々に検出する対象物検出手段と、
前記対象物検出手段から得られる対象物の領域に対して、位置・形状情報を新規に登録する新規対象物登録手段と、
登録した対象物を位置・形状情報に基づいて追跡する対象物追跡手段と、
追跡した対象物の位置・形状情報を更新する対象情報更新手段と
を備えることを特徴とする請求項2記載の対象物検出装置。 - 道路面上に存在する対象物を検出する対象物検出方法であって、
複数台のカメラにより前記対象物を撮影した画像を入力する画像入力ステップと、
前記画像を記憶する画像記憶ステップと、
前記複数台のカメラのうち一つのカメラにより撮影された基準画像を、実空間上の路面垂直方向に沿って複数の短冊状領域に分割する画像分割ステップと、
前記基準画像上で分割した短冊状領域の各点に関して、他のカメラで撮影された参照画像上で対応する点を算出する対応点算出ステップと、
各短冊状領域内の各点と、前記対応点算出ステップで求めた参照画像の対応点との間の画像特徴量の一致度を算出する画像一致度算出ステップと、
前記短冊状領域の高さと前記対象物の接地位置とを変数として、前記画像特徴量の一致度を最大にする接地位置関数を生成する接地位置算出ステップと、
前記接地位置関数における短冊状領域の高さに基づいて前記対象物の高さを算出する対象物高さ算出ステップと
を有することを特徴とする対象物検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010275403A JP5472928B2 (ja) | 2010-12-10 | 2010-12-10 | 対象物検出装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010275403A JP5472928B2 (ja) | 2010-12-10 | 2010-12-10 | 対象物検出装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012122923A JP2012122923A (ja) | 2012-06-28 |
JP5472928B2 true JP5472928B2 (ja) | 2014-04-16 |
Family
ID=46504497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010275403A Expired - Fee Related JP5472928B2 (ja) | 2010-12-10 | 2010-12-10 | 対象物検出装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5472928B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5981284B2 (ja) * | 2012-09-14 | 2016-08-31 | 株式会社東芝 | 対象物検出装置、及び対象物検出方法 |
JP2019045235A (ja) * | 2017-08-31 | 2019-03-22 | 株式会社Ihiエアロスペース | 画像検査システム、画像検査方法及び画像検査用プログラム |
CN108615369B (zh) * | 2018-06-19 | 2020-10-27 | 国家电网公司 | 一种道路限高预警方法、装置及终端设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3348939B2 (ja) * | 1993-11-26 | 2002-11-20 | 富士重工業株式会社 | 車輌用距離検出装置 |
JP3337197B2 (ja) * | 1997-04-04 | 2002-10-21 | 富士重工業株式会社 | 車外監視装置 |
JP2003322521A (ja) * | 2002-04-26 | 2003-11-14 | Honda Motor Co Ltd | 画像認識装置 |
JP4406381B2 (ja) * | 2004-07-13 | 2010-01-27 | 株式会社東芝 | 障害物検出装置及び方法 |
JP5164351B2 (ja) * | 2006-09-07 | 2013-03-21 | 富士重工業株式会社 | 物体検出装置および物体検出方法 |
JP5221886B2 (ja) * | 2007-03-07 | 2013-06-26 | 富士重工業株式会社 | 物体検出装置 |
JP5075672B2 (ja) * | 2008-02-25 | 2012-11-21 | 株式会社東芝 | 対象物検出装置及び方法 |
JP2009282736A (ja) * | 2008-05-22 | 2009-12-03 | Digital Magic:Kk | 画像処理装置、画像処理方法、及びプログラム |
-
2010
- 2010-12-10 JP JP2010275403A patent/JP5472928B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012122923A (ja) | 2012-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5867273B2 (ja) | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム | |
US7103213B2 (en) | Method and apparatus for classifying an object | |
US9064418B2 (en) | Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system | |
JP5075672B2 (ja) | 対象物検出装置及び方法 | |
US7667581B2 (en) | Pedestrian detector and detecting method using change of velocity of object in image | |
JP4553072B1 (ja) | 画像統合装置および画像統合方法 | |
US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
JP6450294B2 (ja) | 物体検出装置、物体検出方法、及びプログラム | |
JP2010072807A (ja) | 道路境界検出判断装置 | |
JP4609603B2 (ja) | 3次元情報表示装置および3次元情報表示方法 | |
JP2012185011A (ja) | 移動体位置測定装置 | |
JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
JP7050763B2 (ja) | カメラ画像からのオブジェクトの検出 | |
JP4940177B2 (ja) | 交通流計測装置 | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
JP2011134207A (ja) | 運転記録装置および地図作成システム | |
JP2009053818A (ja) | 画像処理装置及びその方法 | |
JP2007249257A (ja) | 移動体検出装置および移動体検出方法 | |
JP2020508501A (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
JP5472928B2 (ja) | 対象物検出装置及び方法 | |
JP5981284B2 (ja) | 対象物検出装置、及び対象物検出方法 | |
JP2011064639A (ja) | 距離計測装置及び距離計測方法 | |
JP6185327B2 (ja) | 車両後側方警報装置、車両後側方警報方法および他車両距離検出装置 | |
WO2010113253A1 (ja) | 3次元情報表示装置および3次元情報表示方法 | |
JP5256508B2 (ja) | 3次元情報算出装置および3次元情報算出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131120 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131205 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131212 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131219 |
|
TRDD | Decision of grant or rejection written | ||
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131226 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140109 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5472928 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |