JP4956795B2 - 車両用画像処理装置および画像処理方法 - Google Patents
車両用画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4956795B2 JP4956795B2 JP2008006235A JP2008006235A JP4956795B2 JP 4956795 B2 JP4956795 B2 JP 4956795B2 JP 2008006235 A JP2008006235 A JP 2008006235A JP 2008006235 A JP2008006235 A JP 2008006235A JP 4956795 B2 JP4956795 B2 JP 4956795B2
- Authority
- JP
- Japan
- Prior art keywords
- voting
- image
- image processing
- group
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
この車両運転支援装置においては、路面を含む水平方向のサイドビューを異なる位置で撮像した複数の画像をそれぞれ視点位置を車両上空に設定したトップビュー画像に変換し、重複領域において同一特徴を有する物体の2つの異なる特徴点の対応関係から、立体物を検出する画像処理を行なっている。
図1は、第1の実施例の構成を示すブロック図である。
画像処理装置1は、カメラ2に接続された画像メモリ3と、画像メモリ3に順次接続された変換画像作成部4、エッジ抽出部5、エッジパラメータ算出部6、パラメータ投票部7、注目領域抽出部8、および平面・立体判別部9を有している。変換画像作成部4、エッジ抽出部5、エッジパラメータ算出部6、パラメータ投票部7、注目領域抽出部8、および平面・立体判別部9はそれぞれ作業メモリ部10とも接続している。
変換画像作成部4は、画像メモリ3に記憶された画像データに基づくサイドビュー画像を、視点位置を車両上空に設定して当該視点から車両周囲を見下ろしたトップビュー画像に変換する。
なお、複数台のカメラで車両周辺の各方向を撮像した場合には、1つの画像への合成も変換画像作成部4において行なう。
エッジパラメータ算出部6は、エッジとして抽出された部位の画素(以下、エッジ要素と呼ぶ)ごとに直線方程式を求め、その傾きと切片をエッジ要素パラメータとして算出する。
注目領域抽出部8は、1フレームの画像に対するエッジ要素パラメータの投票結果から、投票頻度値の高い注目領域を抽出する。
平面・立体判別部9は、注目領域を時系列で比較し、エッジ抽出部5で抽出されたエッジが路面など平面に描かれた模様に帰属するものか、それとも立体物に帰属するものかを判断する。
変換画像作成部4、エッジ抽出部5、エッジパラメータ算出部6、パラメータ投票部7、注目領域抽出部8、および平面・立体判別部9はそれぞれの機能を統合したCPUとして構成することができる。
まず、ステップ100において、画像メモリ3にカメラ2からの画像データを1フレーム分ずつ所定時間間隔で取り込み、記憶する。
ステップ101では、変換画像作成部4が画像メモリ3から画像データを読み出し、トップビュー画像に変換する。
続いてステップ102において、エッジ抽出部5がトップビュー画像内のエッジを抽出する。ここでは、Sobelフィルタを用いることにより、エッジの縦方向の微分値(dx)と横方向の微分値(dy)が得られる。
すなわち、エッジ要素のもつ角度(傾き)はエッジの各方向の微分値を用いて、
θ=tan−1(dy/dx)
で求められる。したがって、エッジ要素(画素)の直線方程式y=ax+bについて、エッジ要素の位置(x,y)は既知であり、係数aもθから算出できるから切片bも算出できる。1つのエッジ要素について1組の傾きθと切片bからなるエッジ要素パラメータが求められる。
ここでは1つのエッジ要素のエッジ要素パラメータ(θ,b)が、投票空間Tとしてθ−b平面に1点としてプロットされることになる。
例えば図4の(a)に示すような駐車枠Wがトップビュー画像として得られている場合、(b)のようなエッジ画像が得られる。そしてエッジ画像におけるE1部分のエッジ要素のエッジ要素パラメータは(c)の投票空間TにおいてF1の投票点群となり、同様に(b)のエッジ画像におけるE2、E3部分は(c)の投票空間TにおいてそれぞれF2、F3の投票点群としてプロットされることになる。
なお、投票空間Tのθ−b平面は、とくに図示はしないが、例えば横軸θを0°から360°まで1°刻みとし、縦軸bを3ピクセル刻みのメッシュに区切ってある。
ステップ106では、平面・立体判別部9は、前回のトップビュー画像についての注目領域の抽出結果が作業メモリ部10に格納されているかどうかをチェックする。
前回の注目領域の抽出結果が作業メモリ部10に格納されていないときは、ステップ100へ戻り、カメラ2から新たな画像データを取り込んで、上述の処理を繰り返す。
具体的には、投票空間Tにおける前回の注目領域と今回の注目領域を比較して相対的な位置関係をチェックする。
例えば路面など平面に描かれている駐車枠のペイントであれば、時間経過に伴って車両が移動しても、図5の(a)に示すように、車両の移動や回転分を考慮すれば注目領域Gh1、Gh2等は投票空間Tにおいてほとんど移動しない。図において、白丸の点群は前回の注目領域の点群、黒丸の点群は今回の注目領域の点群を示す。
したがって、1台のカメラ2で撮像した画像に基づく場合でも、時系列における(すなわち前回と今回の)投票空間T上の注目領域の位置変化の状態により、エッジが立体物と平面のいずれに属するかが判断できる。
また、ステップ103と104とで投票手段を構成し、とくにステップ103がエッジ要素パラメータ算出手段に該当している。そして、ステップ105〜107が判別手段を構成している。
さらに、立体物かどうかの判断は投票空間Tにおけるとくに投票頻度値の高い注目領域の状態に基づいて行うので、この点でも処理が迅速となる。
また、2つの画像におけるエッジ要素パラメータの傾きθと切片bは、車両の移動による画像座標の変化を補正した絶対座標上で算出することにより、注目領域が時系列で移動しているときは当該領域に対応するエッジが立体物に属し、注目領域が移動していないときは当該領域に対応するエッジが路面など平面の模様に帰属する旨、容易に判別することができる。
図6は第2の実施例の構成を示すブロック図である。
本実施例の画像処理装置1Aは、第1の実施例に対して、エッジパラメータ算出部6A、パラメータ投票部7A、平面・立体判別部9Aが異なり、注目領域抽出部の代わりにグループ化演算部11を備える点が相違する。
エッジパラメータ算出部6Aは、エッジ要素の傾きθによって直線の切片をx軸ととるか、y軸ととるかを切り換える。
これによれば、図8に示すように、画面Kの角(隅)部を通る+−45°の直線で囲まれる領域内が投票空間Tの切片範囲となり、切片bx、byは当該領域内に限定されることになる。
なお、エッジ要素パラメータは、第1の実施例のエッジパラメータ算出部におけると同様に、車両の移動による画像座標の変化を補正した絶対座標上に算出する。
なお、投票空間を2つに分ける傾きθが+−45°付近の領域については、投票値が2つの投票空間T1、T2に分散する可能性があるので、本実施例では図7に示すように、上述の基本概念における2つの範囲を分ける角度線(+−45°)を挟んで+−5°の重複領域δを作る。すなわち、範囲αは拡大して具体的には水平方向+−50°のA、範囲βも垂直方向+−50°のBに設定して、エッジの傾きθが重複領域δに現れた場合には双方の投票空間T1、T2にエッジ要素パラメータが投票されるようにする。この場合、切片bx、byの範囲は図8に示した領域よりわずかに外方へ拡大することになる。
平面・立体判別部9Aはさらに、立体物に帰属すると判断したグループを代表する代表値を用いて、当該立体物が移動しているか、静止しているかも判断する。
変換画像作成部4、エッジ抽出部5、エッジパラメータ算出部6A、パラメータ投票部7A、グループ化演算部11、および平面・立体判別部9Aはそれぞれの機能を統合したCPUとして構成することができる。
その他の構成は、第1の実施例の構成と同じである。
ステップ200〜202は第1の実施例における図3のステップ100〜102と同じである。
ステップ203において、エッジパラメータ算出部6Aは、抽出されたエッジ要素ごとの傾きθを算出し、傾きθが図7に示した範囲A、Bのいずれに属するかに応じて、直線式y=axx−bxまたはx=ayy−byからエッジ要素パラメータ(θ,bx)または(θ,by)を算出する。
つぎにグループ化演算部11が、ステップ205において、それぞれの投票空間において、エッジ要素パラメータの高頻度領域を抽出するとともに、ステップ206で隣接する高頻度値領域をグルーピングする。
各グループはそれぞれ例えばその重心など1つの代表パラメータで当該グループを代表させる。
前回のグループが格納されていないときは、ステップ200へ戻り、カメラ2から新たな画像データを取り込んで、上述の処理を繰り返す。
そしてステップ210において、平面・立体判別部9Aは、作業メモリ部10に過去2回分のトップビュー画像についてグループの代表値が格納されているかどうかをチェックする。
過去2回分の代表値が作業メモリ部10に格納されていないときは、ステップ200へ戻り、カメラ2から新たな画像データを取り込んで、上述の処理を繰り返す。
静止している物体から得られる代表値である3本の直線は、例えば図10のように示され、移動する物体から得られる3本の直線は図11のように示される。これらはそれぞれ画像撮像の時系列における変化を示しており、図10においては時間の経過で直線がL1、L2、L3の順で移動し、図11では直線がL4、L5、L6の順で移動している。
ここで各直線の交点に着目すると、図10の静止物体にかかる各直線はほぼ同じ位置P0で交差している一方、図11の移動物体にかかる各直線はその交点がP1からP2へ変化している。したがって、直線の交点の変化の有無により、立体物が移動しているか静止しているかが判別できる。
また、ステップ203と204とで投票手段を構成し、とくにステップ203がエッジ要素パラメータ算出手段に該当している。
そして、ステップ205〜211が判別手段を構成し、とくにステップ205と206とがグループ化手段に該当し、ステップ209が代表値算出手段に該当している。
さらに、立体物かどうかの判断は投票空間T1、T2におけるとくに高頻度値領域の状態に基づいて行うので、この点でも処理が迅速となる。
また、時系列の2つの画像におけるエッジ要素パラメータの傾きθと切片bは、車両の移動による画像座標の変化を補正した絶対座標上で算出することにより、注目領域の位置が変化するか否かに基づいて、対応するエッジが立体物に帰属するのか路面の模様に帰属するのかを容易に判断することができる。
そして立体物判別に際して、各グループはそれぞれ1つのパラメータで代表するので、類似の複数の高頻度値領域が抽出されて演算が煩雑となるのが防止される。
さらに、代表値の算出は立体物にかかるグループについて行なったが、平面にかかるグループについて算出すれば、同様にそれが移動しているか静止しているかを区別できるため、路面に描かれた駐車枠などの検出精度が一層向上する。
また、エッジ抽出のためにSobelフィルタを用いて縦方向と横方向の成分(dx,dy)からエッジ要素の傾きθを求めるものとしたが、これに限定されず、例えば高次局所自己相関(HLAC)で利用される空間フィルタも様々な方向のエッジ抽出と同様作用を有するので、その組み合わせにより必要なエッジの傾きを算出することもできる。
2 カメラ
3 画像メモリ
4 変換画像作成部
5 エッジ抽出部
6、6A エッジパラメータ算出部
7、7A パラメータ投票部
8 注目領域抽出部
9、9A 平面・立体判別部
10 作業メモリ部
11 グループ化演算部
θ エッジ要素の傾き
b 切片
Gh1、Gh2、Gr1、Gr2 注目領域
L1、L2、L3、L4、L5、L6 直線(グループの代表値)
T 投票空間
W 駐車枠
Claims (12)
- 時系列の撮像に基づく車両周辺の画像を取得する画像取得手段と、
前記画像取得手段で得られた撮像画像から、自車両上方の視点位置から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像生成手段により得られた俯瞰画像から特徴点を抽出する特徴点抽出手段と、
特徴点のパラメータを投票空間に投票する投票手段と、
前記時系列における前回と今回の前記投票空間上の投票点群の状態に基づいて、前記特徴点が立体物に帰属するかどうかを判断する判別手段とを備えることを特徴とする車両用画像処理装置。 - 前記特徴点抽出手段が抽出する特徴点が前記画像内のエッジであり、
前記投票手段は、前記エッジの要素の直線方程式を形成する傾きと軸との切片を算出して前記パラメータとするエッジ要素パラメータ算出手段を有し、
前記判別手段は、投票空間における投票頻度値の高い領域の状態に基づいて前記特徴点が立体物に帰属するかどうかを判断することを特徴とする請求項1に記載の車両用画像処理装置。 - 前記エッジ要素パラメータ算出手段は、1の画像における車両の位置および姿勢を絶対座標として定義し、前記画像の取得時点間で車両が移動した場合には,その移動分を補正して絶対座標でのエッジ要素の前記傾きと切片を算出することを特徴とする請求項2に記載の車両用画像処理装置。
- 前記エッジ要素パラメータ算出手段は、前記エッジの要素の傾きに応じて前記切片をとる軸を切り換え、
前記投票手段は、エッジの要素の傾きに応じて投票空間を切り換えることを特徴とする請求項3に記載の車両用画像処理装置。 - 前記判別手段は、時系列で前記投票頻度値の高い領域が移動しているときは当該領域に対応するエッジが立体物に属し、前記投票頻度値の高い領域が移動していないときは当該領域に対応するエッジが平面に属するものとすることを特徴とする請求項3または4に記載の車両用画像処理装置。
- 前記判別手段は、投票空間において隣接する投票頻度値の高い領域をグルーピングするグループ化手段を備え、グループの状態に基づいて前記特徴点が立体物に帰属するかどうかを判断することを特徴とする請求項3または4に記載の車両用画像処理装置。
- 前記グループ化手段は、投票頻度値の極大領域を抽出し、当該極大領域を核としてグルーピングすることを特徴とする請求項6に記載の車両用画像処理装置。
- 前記判別手段は、時系列で前記グループが移動しているときは当該グループに対応するエッジが立体物に属し、前記グループが移動していないときは当該グループに対応するエッジが平面に属するものと判別することを特徴とする請求項6または7に記載の車両用画像処理装置。
- 前記判別に際して、前記グループはそれぞれ1つのパラメータで代表することを特徴とする請求項8に記載の車両用画像処理装置。
- 前記判別手段は、さらに前記グループの代表値を算出する代表値算出手段を備え、時系列での前記代表値の状態に基づいて当該グループにかかる立体物または平面が移動体であるか静止体であるかを判別することを特徴とする請求項6から9のいずれか1に記載の車両用画像処理装置。
- 前記代表値算出手段は、前記グループの代表値を直線として算出し、
前記判別手段は、時系列での前記直線の交点が変化するとき、当該グループにかかる立体物または平面が移動体であるとすることを特徴とする請求項10に記載の車両用画像処理装置。 - カメラで撮像した車両周辺の画像を処理する画像処理方法において、
前記車両周辺の画像を時系列で取得し、
取得した画像から自車両上方の視点位置から見下ろした俯瞰画像を生成し、
生成した俯瞰画像から特徴点を抽出してそのパラメータを投票空間に投票し、
前記時系列における前回と今回の前記投票空間上の投票点群の状態に基づいて、前記特徴点が立体物に帰属するかどうかを判別することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008006235A JP4956795B2 (ja) | 2008-01-15 | 2008-01-15 | 車両用画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008006235A JP4956795B2 (ja) | 2008-01-15 | 2008-01-15 | 車両用画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009169619A JP2009169619A (ja) | 2009-07-30 |
JP4956795B2 true JP4956795B2 (ja) | 2012-06-20 |
Family
ID=40970721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008006235A Active JP4956795B2 (ja) | 2008-01-15 | 2008-01-15 | 車両用画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4956795B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7378302B2 (ja) | 2020-01-23 | 2023-11-13 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3324821B2 (ja) * | 1993-03-12 | 2002-09-17 | 富士重工業株式会社 | 車輌用車外監視装置 |
JP2007310591A (ja) * | 2006-05-17 | 2007-11-29 | Auto Network Gijutsu Kenkyusho:Kk | 画像処理装置及び駐車場判定方法 |
-
2008
- 2008-01-15 JP JP2008006235A patent/JP4956795B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009169619A (ja) | 2009-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6439820B2 (ja) | 対象識別方法、対象識別装置、及び分類器訓練方法 | |
US7437243B2 (en) | Detecting device and method to detect an object based on a road boundary | |
JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
JP5870273B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP4876080B2 (ja) | 環境認識装置 | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
JP2007527569A (ja) | 立体視に基づく差し迫った衝突の検知 | |
JP7072641B2 (ja) | 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法 | |
JP7091686B2 (ja) | 立体物認識装置、撮像装置および車両 | |
JP5834933B2 (ja) | 車両位置算出装置 | |
WO2014002692A1 (ja) | ステレオカメラ | |
JP2018092604A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP2013164351A (ja) | ステレオ視差算出装置 | |
JP6516012B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
KR101699014B1 (ko) | 스테레오 카메라를 이용한 객체 검출 방법 및 장치 | |
JP5073700B2 (ja) | 物体検出装置 | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP6701905B2 (ja) | 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム | |
JP4956795B2 (ja) | 車両用画像処理装置および画像処理方法 | |
JP2004235711A (ja) | 対象物追跡システムおよび対象物追跡方法 | |
CN115546153A (zh) | 一种基于三维点云与二维图像融合感知的产品表面缺陷检测方法 | |
JP2018092603A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
JP2011203853A (ja) | 画像処理装置及びプログラム | |
JP2006172262A (ja) | 車両用道路標示検出装置 | |
JPH10283478A (ja) | 特徴抽出方法およびその方法を用いた物体認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101013 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4956795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |