JP5181602B2 - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP5181602B2 JP5181602B2 JP2007254066A JP2007254066A JP5181602B2 JP 5181602 B2 JP5181602 B2 JP 5181602B2 JP 2007254066 A JP2007254066 A JP 2007254066A JP 2007254066 A JP2007254066 A JP 2007254066A JP 5181602 B2 JP5181602 B2 JP 5181602B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- reference image
- plane
- image
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
<1.1 障害物検出装置1の構成>
図1は、第1実施形態に係る障害物検出装置1の模式図である。図1に示す障害物検出装置1は、自動車に搭載され、自動車の前方の障害物を検出する。ただし、このことは、本願発明の適用範囲をこのような障害物検出装置1に限定するものではない。すなわち、本願発明は、自律走行ロボットや無人搬送車のような移動体に搭載され、移動体の移動面上にある特定の物体を検出する物体検出装置に適用することができるのはもちろんのこと、固定監視カメラのような移動を前提としない装置に搭載され、平面上にある特定の物体を検出する物体検出装置にも適用することができる。
ステレオカメラ11は、2次元ステレオ画像を撮影し、撮影した2次元ステレオ画像を画像データとして出力する。すなわち、ステレオカメラ11は、同期して繰り返し撮影を行う2個のカメラ111,112を備え、カメラ111が撮影した2次元画像を画像データとして出力するとともに、カメラ112が撮影した2次元画像を画像データとして出力する。
演算処理装置12は、ステレオカメラ11が出力した2次元ステレオ画像の一方を基準画像、他方を参照画像として取得し、基準画像及び参照画像に映っている障害物を検出する。演算処理装置12は、基準画像及び参照画像に映っている物体のうち、路面上にある特定の物体を障害物として選択的に検出する。
表示装置13は、演算処理装置12が出力した画像を表示する。
図4は、演算処理装置12のブロック図である。演算処理装置12は、視差データ演算部121、路面パラメータ推定部122、路面投影部123、障害物範囲特定部124、障害物領域特定部125、距離測定部126及び表示画像生成部127を備える。
図5は、基準画像501及び基準画像501に定義されたxy直交座標系を示す図であり、図6は、図5に示す基準画像501と同時に撮影された参照画像502及び参照画像502に定義されたxy直交座標系を示す図である。図5に示す基準画像501及び図6に示す参照画像502には、路面601、先行車602,603、遮音壁604、中央分離帯605、空606が映っている。基準画像501及び参照画像502に定義されたxy直交座標系は、それぞれ、基準画像501及び参照画像502の中心を原点とし、横方向をx軸方向、縦方向をy軸方向としている。
路面パラメータ推定部122は、基準画像501に映っている路面601を認識し、3次元空間内における着目する路面601に対するステレオカメラ11の位置及び姿勢を表す路面パラメータを推定する。
路面投影部123は、路面パラメータを用いて基準画像501の上で計測点Pを路面601に投影する。ここで、「基準画像501の上で計測点Pを路面601に投影する」とは、計測点Pに映っている点P’を3次元空間において路面601に投影した点Q’が映っている投影点Q(xp,yp)へ、基準画像501において計測点Pを投影することをいう。
障害物範囲特定部124は、複数の投影点Qから特定の分布を有する投影点Qの集合を選択し、特定の分布を有する投影点Qの集合が存在する範囲を障害物が存在する範囲(以下、「障害物範囲」という)と特定する。ここで、「特定の分布を有する投影点Qの集合を選択」するとは、検出すべき障害物に由来する投影点Qの集合が有していると予想される分布を有する投影点Qの集合を選択するということであり、例えば、特定の長さ、傾き又は形状を有する線素を構成する投影点Qの集合を選択するということである。ここで、線素を構成する投影点Qの集合の抽出は、(1)ハフ変換による直線パラメータの推定、(2)推定された直線パラメータで表される直線の近傍の投影点のグループ化、の2つの段階を経て行うことができる。また、「線素」には、線分だけでなく曲線分も含まれる。
障害物領域特定部125は、障害物範囲であって、3次元空間において路面601からの高さHが300mm<H<1500mmとなる基準画像501の上の領域を検出すべき障害物が映っている障害物領域として特定する。高さHの範囲の上限は、衝突の可能性がある障害物のみを検出するため、自車の高さに基づいて設定することが望ましい。
距離測定部126は、障害物領域622,623の内にある計測点Pにおける視差から障害物領域622,623に映っている障害物までの距離Dを式(14)にしたがって測定する。図20には、式(14)の理解を容易にするため、水平面内における障害物、カメラ111,112の焦点位置及びカメラ111,112の撮像面の位置関係を示した。
表示画像生成部127は、障害物領域特定部125が特定した障害物領域622を示す情報や距離測定部126が測定した障害物までの距離の情報を基準画像501に重畳した画像を生成し、表示装置13に出力する。
単に図19に示すような画像を表示するだけでなく、演算処理装置12の演算処理結果に基づいて運転支援を行うようにしてもよい。例えば、障害物までの距離が閾値以下となった場合に、衝突の危険があるとみなして、運転者に警告を発したり、ブレーキの制御を行ったりするようにしてもよい。
図21は、POC対応付け演算を行うPOC対応付け演算部140のブロック図である。
図22は、基準画像ウインドウ511の設定を説明する図である。
図23は、参照画像ウインドウ512の設定を説明する図である。
基準画像ウインドウDFT部143及び参照画像ウインドウDFT部144は、それぞれ、基準画像ウインドウ511の内の画像f(n1,n2)及び参照画像ウインドウ512の内の画像g(n1,n2)を式(15)、式(16)、式(17)及び式(18)にしたがって、2次元離散フーリエ変換する。
位相比較部145は、周波数空間において画像F(k1,k2),G(k1,k2)を比較するため、式(19)で表される合成位相スペクトルR’(k1,k2)を算出する。合成位相スペクトルR’(k1,k2)は、画像F(k1,k2)と画像G(k1,k2)の複素共役G*(k1,k2)との積F(k1,k2)・G*(k1,k2)を正規化することにより得ることができる。
位置ズレ演算部146は、合成位相スペクトルR(k1,k2)に基づいて、参照画像ウインドウ512の本来あるべき位置からの位置ズレを演算する。ここで、「本来あるべき位置」とは、参照画像ウインドウ512の内の画像が基準画像ウインドウ511の内の画像と理想的に一致するような参照画像ウインドウ512の位置のことをいう。
対応点演算部147は、参照画像ウインドウ512の座標に位置ズレ演算部146が演算した位置ズレを加えることにより、基準画像501の上の点P1に対応する参照画像502の上の点P2を演算する。
図29は、障害物検出装置1の動作を説明するフローチャートである。
第2実施形態は、第1実施形態に係る演算処理装置12に代えて採用することができる演算処理装置22に関する。
データ選択部228は、路面投影部223による計測点Pの投影に先立って、3次元空間における路面601からの高さHが300mm<H<2000mmの範囲の点が映っている計測点Pのみを選択し、残余の計測点Pを路面601への投影対象から除外する。
データ選択部229は、障害物範囲特定部124による投影点Qの集合の選択に先立って、同じx座標の投影点Qのうちy座標ypが最大となるあたりの投影点Qを選択し、残余の投影点Qを投影点Qの集合の選択対象から除外する。より望ましくは、y座標の最大値ymaxを求め、求めた最大値ymaxから所定値範囲内にあるy座標ypの投影点Qを選択する。
11 ステレオカメラ
12 演算処理装置
13 表示装置
121 視差データ演算部
122 路面パラメータ推定部
123 路面投影部
124 障害物範囲特定部
125 障害物領域特定部
126 距離測定部
127 表示生成部
Claims (15)
- 2次元ステレオ画像を撮影し、基準画像及び参照画像として出力するステレオカメラと、
基準画像上の計測点における基準画像と参照画像との間の視差を演算する視差演算部と、
基準画像に定義され第1の座標及び第2の座標により計測点が指定される座標系における計測点の前記第2の座標と前記計測点における視差との複数の組から前記第2の座標及び前記視差により張られるが前記第1の座標が考慮されない単一の2次元の空間において検出される直線に専ら基づき基準画像に映っている着目する平面に対する前記ステレオカメラの位置及び姿勢を表す平面パラメータを推定する平面パラメータ推定部と、
平面パラメータを用いて基準画像上で計測点を投影面に投影する平面投影部と、
前記平面投影部が複数の計測点を投影面に投影することにより得られた複数の投影点から特定の分布を有する投影点の集合を選択する物体候補選択部と、
を備える物体検出装置。 - 前記平面投影部による計測点の投影に先立って、着目する平面からの距離が特定の距離の点が映っている計測点のみを選択する第1の選択部、
をさらに備える請求項1に記載の物体検出装置。 - 前記物体候補選択部による投影点の集合の選択に先立って、最も前記ステレオカメラ寄りの投影点を選択する第2の選択部、
をさらに備える請求項1又は請求項2に記載の物体検出装置。 - 前記視差演算部は、
基準画像に第1のウインドウを設定する第1のウインドウ設定部と、
参照画像に第2のウインドウを設定する第2のウインドウ設定部と、
第1のウインドウ内の画像を実空間から周波数空間へ変換する第1の変換部と、
第2のウインドウ内の画像を実空間から周波数空間へ変換する第2の変換部と、
空間周波数による振幅の変動を抑制した上で周波数空間において第1のウインドウ内の画像と第2のウインドウ内の画像とを比較する画像比較部と、
前記画像比較部の比較結果に基づいて計測点に対応する参照画像上の対応点を演算する対応点演算部と、
を備える請求項1ないし請求項3のいずれかに記載の物体検出装置。 - 前記視差演算部が位相相関限定法を用いて視差を演算する請求項4に記載の物体検出装置。
- 前記平面パラメータ推定部がハフ変換により平面パラメータを推定する請求項1ないし請求項5のいずれかに記載の物体検出装置。
- 前記平面パラメータ推定部は、
平面パラメータで張られる空間を複数のブロックに分割する空間分割部と、
前記空間分割部が複数のブロックに分割した空間において計測点の第2の座標と計測点における視差との複数の組から決定される複数の直線が通過するブロックに投票を行う投票部と、
投票が最も多いブロックが代表する平面パラメータを求めるべき平面パラメータとして決定する平面パラメータ決定部と、
を備える請求項6に記載の物体検出装置。 - 前記物体候補選択部が基準画像上で特定の長さ、傾き又は形状を有する線素を構成する投影点の集合を選択する請求項1ないし請求項7のいずれかに記載の物体検出装置。
- 前記物体候補選択部が基準画像上で実質的に水平な線素を構成する投影点の集合を選択する請求項8に記載の物体検出装置。
- 前記物体候補選択部が基準画像上で基準画像上の位置に応じた長さの線素を構成する投影点の集合を選択する請求項8に記載の物体検出装置。
- 前記物体候補選択部が選択した投影点の集合が存在する範囲であって着目する平面からの距離が特定の距離の基準画像上の領域を検出すべき物体が映っている領域として特定する物体領域特定部、
をさらに備える請求項1ないし請求項10のいずれかに記載の物体検出装置。 - 前記物体候補選択部が選択した投影点の集合が存在する範囲内においてパターン認識により検出すべき物体が映っている領域を特定する物体領域特定部、
をさらに備える請求項1ないし請求項10のいずれかに記載の物体検出装置。 - 前記ステレオカメラが平面上を移動する移動体に搭載され、着目した平面が前記移動体の移動面である請求項1ないし請求項12のいずれかに記載の物体検出装置。
- 前記平面パラメータ推定部が、前記第2の座標と前記視差との複数の組を前記空間にプロットし、プロットが集中する直線を検出することにより平面パラメータを推定する、請求項1に記載の物体検出装置。
- 前記着目する平面が道路の路面であり、
前記平面パラメータが、前記ステレオカメラの撮影方向と前記道路の伸びる方向とのなす角及び前記ステレオカメラの前記路面からの高さであり、
前記平面パラメータ推定部が、前記第2の座標の座標軸における前記直線の切片から前記なす角を求め、前記視差の座標軸における前記直線の切片から前記高さを求める請求項14に記載の物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007254066A JP5181602B2 (ja) | 2007-09-28 | 2007-09-28 | 物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007254066A JP5181602B2 (ja) | 2007-09-28 | 2007-09-28 | 物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009086882A JP2009086882A (ja) | 2009-04-23 |
JP5181602B2 true JP5181602B2 (ja) | 2013-04-10 |
Family
ID=40660251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007254066A Active JP5181602B2 (ja) | 2007-09-28 | 2007-09-28 | 物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5181602B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287029A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 周辺表示装置 |
JP5502448B2 (ja) * | 2009-12-17 | 2014-05-28 | 富士重工業株式会社 | 路面形状認識装置 |
JP5991688B2 (ja) * | 2012-02-24 | 2016-09-14 | 株式会社レゾナント・システムズ | ステレオカメラユニット及び自動車用モニタシステム |
EP2669845A3 (en) * | 2012-06-01 | 2014-11-19 | Ricoh Company, Ltd. | Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program |
KR101551026B1 (ko) | 2013-12-24 | 2015-09-07 | 현대자동차주식회사 | 차량 검출 방법 |
US11314974B2 (en) * | 2020-03-30 | 2022-04-26 | Hitachi Astemo, Ltd. | Detecting debris in a vehicle path |
JP7011093B1 (ja) * | 2021-02-08 | 2022-01-26 | 株式会社フジタ | 変位計測装置および変位計測方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3710548B2 (ja) * | 1996-05-08 | 2005-10-26 | 松下電器産業株式会社 | 車両検出装置 |
JPH1096607A (ja) * | 1996-09-25 | 1998-04-14 | Matsushita Electric Ind Co Ltd | 物体検出装置および平面推定方法 |
JPH10117342A (ja) * | 1996-10-11 | 1998-05-06 | Yazaki Corp | 車両周辺監視装置、障害物検出方法、及び障害物検出プログラムを記憶した媒体 |
JP3364394B2 (ja) * | 1996-10-31 | 2003-01-08 | 株式会社山武 | 距離測定装置 |
JP3596314B2 (ja) * | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
JP3945279B2 (ja) * | 2002-03-15 | 2007-07-18 | ソニー株式会社 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
JP4144300B2 (ja) * | 2002-09-02 | 2008-09-03 | オムロン株式会社 | ステレオ画像による平面推定方法および物体検出装置 |
JP4714104B2 (ja) * | 2006-07-31 | 2011-06-29 | 富士重工業株式会社 | 物体傾き検出装置 |
-
2007
- 2007-09-28 JP JP2007254066A patent/JP5181602B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009086882A (ja) | 2009-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5109691B2 (ja) | 解析装置 | |
JP4406381B2 (ja) | 障害物検出装置及び方法 | |
US9117122B2 (en) | Apparatus and method for matching parking-lot outline | |
JP5181602B2 (ja) | 物体検出装置 | |
JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
US9269124B2 (en) | Image processing device, image processing method, program for image processing device, recording medium, and image display device | |
US9076047B2 (en) | System and method for recognizing parking space line markings for vehicle | |
US20090015675A1 (en) | Driving Support System And Vehicle | |
JP2009041972A (ja) | 画像処理装置及びその方法 | |
JP6392693B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
EP3193306A1 (en) | A method and a device for estimating an orientation of a camera relative to a road surface | |
JP6171593B2 (ja) | 視差図からの対象追跡方法及びシステム | |
JP2002352225A (ja) | 障害物検出装置及びその方法 | |
JP4655242B2 (ja) | 車両用画像処理装置 | |
EP2924655A2 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium | |
JP2009014445A (ja) | 測距装置 | |
JP5267330B2 (ja) | 画像処理装置および方法 | |
JP2009026250A (ja) | 面成分検出装置、地上面検出装置、及び障害物検出装置 | |
JP4052291B2 (ja) | 車両用画像処理装置 | |
JP4894771B2 (ja) | 校正装置及び校正方法 | |
JP4862816B2 (ja) | 画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置 | |
JP2018025906A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
WO2009101687A1 (ja) | 測距装置 | |
JP2015172876A (ja) | 車両周辺監視装置、車両周辺監視システム、及びプログラム | |
JP5256482B2 (ja) | 測距装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121112 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121231 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5181602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160125 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |