JP5580062B2 - 障害物検知警報装置 - Google Patents
障害物検知警報装置 Download PDFInfo
- Publication number
- JP5580062B2 JP5580062B2 JP2010011215A JP2010011215A JP5580062B2 JP 5580062 B2 JP5580062 B2 JP 5580062B2 JP 2010011215 A JP2010011215 A JP 2010011215A JP 2010011215 A JP2010011215 A JP 2010011215A JP 5580062 B2 JP5580062 B2 JP 5580062B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- plane
- distance
- vehicle
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
置および前記被写体の各部分の位置を前記平面に射影する射影手段と、前記路面に相当する平面を複数の領域に分割し、分割して得られた各領域に含まれる前記被写体の部分のうち前記平面からの高さが所定値以上である被写体の部分の数を計数し、前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに加えて、前記平面からの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、前記領域毎の障害物の有無を検知し、前記検知の結果と前記領域から前記車載カメラまでの距離とに応じて警報の態様を変化させる警報手段と、を有することを特徴とする。
図4(a)は、左カメラ1aによる車両後方の撮像画像であり、図4(b)は、右カメラ1bによる車両後方の撮像画像であり、図5(a)は、図4(a)の撮像画像に対して内部校正処理を行った後の画像であり、図5(b)は、図4(b)の撮像画像に対して内部校正処理を行った後の画像である。
ズ歪みやカメラ光軸のズレなどを解消する映像的変形補正を行う。
ステップS2では、距離マップ作成手段6が、内部校正処理が行われた左カメラ1aによる撮像画像と右カメラ1bによる撮像画像(図5(a)、(b))間でテンプレートマッチングと呼ばれる画像の類似度比較を行う。
図6は、図3に示した3次元処理の流れを具体的に説明するフローチャートである。
図7は、距離マップ作成手段6により作成された距離マップを示す模式図である。
図8は、図6に示した路面特定処理の流れを説明するフローチャートである。
ステップS33では、高さ算出手段8が、路面特定手段7により特定された平面Gから被写体の各部分までの高さを算出する。
図9は、図6に示した射影処理が行われた平面Gを示す模式図であり、図10は、図9に示す平面Gを複数領域に分割した状態を示す図である。
ステップS4では、図10に示すように、警報手段10は、射影手段9により射影処理が行われた平面Gを例えば9つの領域に分割する。
ユーザーが車載カメラ1の撮像画像に路面が入るように事前に角度等の調整を行ない、車載カメラ1による撮像画像のデータが情報処理装置2に出力されると、図12(a)に示すように、レンズ歪み補正等の内部校正処理(ステップS21)およびステレオ視差計測処理(ステップS22)が行われる。これらは、実施例1のステップS1およびステップS2と同様の処理であるため、ここでの説明は省略する。
障害物検知警報処理が開始されると、図12(c)に示すように、記憶手段20から平面情報が読みだされ(ステップS24)、高さ算出手段8は、この平面情報に基づいて、平面Gから各被写体の部分までの高さを算出する高さ算出処理を行う(ステップS25)。
(変形例1)
実施例1および実施例2では、距離マップ作成手段6がステレオ視差(画素数のずれ量)を計測し、ステレオ視差、画素間のピッチ、左カメラ1aと右カメラ1b間の距離、焦点距離を用いて、三角測量の原理により、被写体の各部分から車載カメラ1までの距離を算出する場合について説明した。
また、実施例1および実施例2では、車載カメラ1が左カメラ1aおよび右カメラ1bを有するステレオカメラである場合について説明したが、本発明の障害物検知警報装置は、このような形態に限定されるものではなく、複数の撮像画像が得られるものであればよい。
また、車載カメラ1が単一のカメラである場合の他の例として、本発明の障害物検知警報装置は、レーザーを照射方向を可変に投光する投光器(図示せず)を有し、距離マップ作成手段6は、撮像画像において投光器により照射された被写体の部分に対応する画素について、車載カメラ1の光軸となす視線角度を計測し、計測された視線角度と、投光器の照射角度と、車載カメラの焦点距離と、車載カメラ1と投光器との間の距離と、に基づき三角測量の原理により各被写体から車載カメラ1までの距離を算出する構成としてもよい。
2 情報処理装置
3 画像表示装置
4 警報音発生装置
5 内部校正手段
6 距離マップ作成手段
7 路面特定手段
8 高さ算出手段
9 射影手段
10 警報手段
Claims (8)
- 車載カメラと、
前記車載カメラにより撮像された撮像画像に基づいて、前記撮像画像の各画素に、2次元座標と前記各画素に対応する被写体の部分から前記車載カメラまでの距離とを対応付け、前記2次元座標と前記距離とからなる距離マップを作成する距離マップ作成手段と、
前記距離マップに基づいて、前記被写体の各部分の3次元座標を算出する3次元座標算出部と前記被写体の各部分の3次元座標を用いた平面近似により路面に相当する平面を特定して、特定された前記平面から所定値以上の距離にある被写体の部分の有無を検知し、前記所定値以上の距離にある被写体の部分が存在する場合には、前記所定値以上の距離にある前記被写体の部分が存在しなくなるまで、前記所定値以上の距離にある前記被写体の部分を削除したうえで、前記平面近似を繰り返し、最終的に得られた平面を前記被写体の部分のうち路面に相当する平面として特定する特定部とを有する路面特定手段と、
前記路面特定手段により特定された前記平面から前記被写体の各部分までの高さを算出する高さ算出手段と、
前記車載カメラの位置および前記被写体の各部分の位置を前記平面に射影する射影手段と、
前記路面に相当する平面を複数の領域に分割し、分割して得られた各領域に含まれる前記被写体の部分のうち前記平面からの高さが所定値以上である被写体の部分の数を計数し、前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに加えて、前記平面からの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、前記領域毎の障害物の有無を検知し、前記検知の結果と前記領域から前記車載カメラまでの距離とに応じて警報の態様を変化させる警報手段と、を有することを特徴とする障害物検知警報装置。 - 路面が撮像されるように設置された車載カメラと、
前記車載カメラにより撮像された撮像画像に基づいて、前記撮像画像の各画素に、2次元座標と前記各画素に対応する被写体の部分から前記車載カメラまでの距離とを対応付け、前記2次元座標と前記距離とからなる距離マップを作成する距離マップ作成手段と、
前記距離マップに基づいて得られた路面に相当する平面に関する平面情報を予め記憶する記憶手段と、
前記記憶手段に予め記憶された前記平面情報に基づいて前記平面から前記被写体の各部分までの高さを算出する高さ算出手段と、
前記車載カメラの位置および前記被写体の各部分の位置を前記平面に射影する射影手段と、
前記路面に相当する平面を複数の領域に分割し、分割して得られた各領域に含まれる前記被写体の部分のうち前記平面からの高さが所定値以上である被写体の部分の数を計数し、前記平面に射影された前記車載カメラの位置から前記平面に射影された前記被写体の各部分の位置までの前記平面に沿った各距離および前記平面から前記被写体の各部分までの各高さに加えて、前記平面からの高さが所定値以上である被写体の部分の数が所定の閾値以上であるか否かに基づいて、前記領域毎の障害物の有無を検知し、前記検知の結果と前記領域から前記車載カメラまでの距離とに応じて警報の態様を変化させる警報手段と、を有することを特徴とする障害物検知警報装置。 - 前記閾値は、前記領域から前記車載カメラまでの距離に応じて異なることを特徴とする請求項1または請求項2に記載の障害物検知警報装置。
- 前記車載カメラは設置位置が互いに異なるように複数個設けられており、
前記距離マップ作成手段は、各車載カメラにより撮像された2つ以上の撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、前記同一の被写体の部分に対応する画素に基づいて、前記距離マップを作成することを特徴とする請求項1から請求項3のいずれか1項に記載の障害物検知警報装置。 - 前記車載カメラは時系列に相前後して少なくとも2つの撮像画像を撮像する単一のカメラであって、
前記距離マップ作成手段は、前記車載カメラが搭載された車両が走行するのに伴って撮像するときの前記車載カメラの位置が異なった2つ以上の前記撮像画像間での類似度比較を行なうことで、同一の被写体の部分を特定し、前記同一の被写体の部分に対応する画素に基づいて、前記距離マップを作成することを特徴とする請求項1から請求項3のいずれか1項に記載の障害物検知警報装置。 - 前記距離マップ作成手段は、2つ以上の前記撮像画像間での前記同一の被写体の部分の対応する画素数のずれ量を計測し、
計測された前記ずれ量と、前記画素間のピッチ数と、前記各車載カメラの焦点距離と、前記撮像画像を撮像するときの前記車載カメラの位置と、に基づいて三角測量の原理により前記被写体の各部分から前記車載カメラまでの距離を算出することにより、前記距離マップを作成することを特徴とする請求項4又は請求項5に記載の障害物検知警報装置。 - 前記距離マップ作成手段は、前記同一の被写体の部分の対応する画素について、前記各車載カメラの光軸となす視線角度を計測し、
計測された前記視線角度と、前記各車載カメラの焦点距離と、前記撮像画像を撮像するときの前記車載カメラの位置と、に基づいて三角測量の原理により前記被写体の各部分から前記車載カメラまでの距離を算出することにより、前記距離マップを作成することを特徴とする請求項4又は請求項5に記載の障害物検知警報装置。 - レーザーを照射方向を可変に投光する投光器を有し、
前記距離マップ作成手段は、前記撮像画像において前記投光器により照射された被写体の部分に対応する画素について、前記車載カメラの光軸となす視線角度を計測し、
計測された前記視線角度と、前記投光器の照射角度と、前記車載カメラの焦点距離と、前記車載カメラと前記投光器との間の距離と、に基づき三角測量の原理により前記各被写体から前記車載カメラまでの距離を算出することを特徴とする請求項1から請求項3のいずれか1項に記載の障害物検知警報装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010011215A JP5580062B2 (ja) | 2010-01-21 | 2010-01-21 | 障害物検知警報装置 |
PCT/JP2011/050823 WO2011090053A1 (ja) | 2010-01-21 | 2011-01-19 | 障害物検知警報装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010011215A JP5580062B2 (ja) | 2010-01-21 | 2010-01-21 | 障害物検知警報装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011149810A JP2011149810A (ja) | 2011-08-04 |
JP5580062B2 true JP5580062B2 (ja) | 2014-08-27 |
Family
ID=44306855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010011215A Active JP5580062B2 (ja) | 2010-01-21 | 2010-01-21 | 障害物検知警報装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5580062B2 (ja) |
WO (1) | WO2011090053A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014016962A (ja) * | 2012-07-11 | 2014-01-30 | Resonant Systems Inc | 車両周辺監視システム |
JP7293100B2 (ja) * | 2019-12-17 | 2023-06-19 | 日立Astemo株式会社 | カメラシステム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10143659A (ja) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | 物体検出装置 |
JP2000075032A (ja) * | 1998-09-02 | 2000-03-14 | Komatsu Ltd | 走行路上の障害物の検出方法及びその存否推定方法 |
EP1637837A1 (en) * | 2003-05-29 | 2006-03-22 | Olympus Corporation | Stereo camera system and stereo optical module |
JP4389602B2 (ja) * | 2004-02-24 | 2009-12-24 | パナソニック電工株式会社 | 物体検出装置、物体検出方法、プログラム |
JP4468019B2 (ja) * | 2004-03-08 | 2010-05-26 | 独立行政法人産業技術総合研究所 | 画像処理装置 |
JP4297501B2 (ja) * | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | 移動体周辺監視装置 |
JP2007263657A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
-
2010
- 2010-01-21 JP JP2010011215A patent/JP5580062B2/ja active Active
-
2011
- 2011-01-19 WO PCT/JP2011/050823 patent/WO2011090053A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2011090053A1 (ja) | 2011-07-28 |
JP2011149810A (ja) | 2011-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
US8184160B2 (en) | Image processor, driving assistance system, and out-of-position detecting method | |
JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4809019B2 (ja) | 車両用障害物検出装置 | |
JP4918676B2 (ja) | 校正装置および校正方法 | |
JP6392693B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
JP6565188B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP4796676B2 (ja) | 車両上方視点画像表示装置 | |
JP6701532B2 (ja) | 画像処理装置および画像処理方法 | |
JP2013001366A (ja) | 駐車支援装置および駐車支援方法 | |
US10099617B2 (en) | Driving assistance device and driving assistance method | |
JP2018180772A (ja) | 物体検出装置 | |
KR20200071960A (ko) | 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JP2011155393A (ja) | 車両周辺画像表示装置及び車両周辺画像表示方法 | |
JP6455164B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2008309637A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6243758B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
KR20200118073A (ko) | 동적 입체 캘리브레이션을 위한 시스템 및 방법 | |
JP2004257837A (ja) | ステレオアダプタ撮像システム | |
JP2014130429A (ja) | 撮像装置及び立体物領域検出用プログラム | |
JP5580062B2 (ja) | 障害物検知警報装置 | |
US20220172490A1 (en) | Image processing apparatus, vehicle control apparatus, method, and program | |
JP2006323693A (ja) | 処理装置、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140624 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5580062 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |