JP6412345B2 - 車外環境認識装置 - Google Patents
車外環境認識装置 Download PDFInfo
- Publication number
- JP6412345B2 JP6412345B2 JP2014121610A JP2014121610A JP6412345B2 JP 6412345 B2 JP6412345 B2 JP 6412345B2 JP 2014121610 A JP2014121610 A JP 2014121610A JP 2014121610 A JP2014121610 A JP 2014121610A JP 6412345 B2 JP6412345 B2 JP 6412345B2
- Authority
- JP
- Japan
- Prior art keywords
- floating
- dimensional object
- luminance
- score
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
また、前記点数リセット部は、前回までに取得された画像に基づいて前記立体物が非浮遊物と特定されている場合に、該立体物の加速度および加速度の微分を導出し、該立体物の加速度および加速度の微分に基づいて、該立体物が該浮遊物らしい特徴を有するか否かを判定するとよい。
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、自車両1内に設けられた、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
画像処理部160は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(例えば水平4画素×垂直4画素の配列)に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。
図2に戻って説明すると、3次元位置導出部162は、画像処理部160で生成された距離画像214に基づいて検出領域216内の視差ブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離x、高さyおよび相対距離zを含む実空間における3次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、立体部位(画素または複数の画素からなるブロック)の距離画像214における視差からその立体部位の撮像装置110に対する相対距離zを導出する方法である。このとき、3次元位置導出部162は、立体部位の相対距離zと、立体部位と同相対距離zにある道路表面上の点と立体部位との距離画像214上の検出距離とに基づいて、立体部位の道路表面からの高さyを導出する。そして、導出された3次元位置が示された位置情報を改めて距離画像214に対応付ける。かかる相対距離zの導出処理や3次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。
立体物特定部164は、3次元位置の差分が所定範囲内にある立体部位同士をグループ化して立体物とする。具体的に、立体物特定部164は、距離画像214における、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた範囲(例えば0.1m)内にある立体部位同士を、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的な立体グループである立体物が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、立体物特定部164は、グループ化により新たに追加された立体部位に関しても、その立体部位を基点として、水平距離xの差分、高さyの差分および相対距離zの差分が所定範囲内にある立体部位をさらにグループ化する。結果的に、同一の特定物と仮定可能な立体部位全てがグループ化されることとなる。
浮遊物特定部166は、立体物特定部164により特定された立体物から、浮遊物を特定する。
図5は、低輝度浮遊物特定処理を例示した説明図である。浮遊物特定部166は、低輝度シーンに応じた判定条件の浮遊物の特定処理として低輝度浮遊物特定処理を行う。図5(a)に示すように、浮遊物特定部166は、3次元位置導出部162により導出された立体部位の位置情報に基づいて、ウィンドウ222内における立体物の輪郭を判定し、輪郭によって形成された内側の領域をアクセス領域224として設定する。
図6は、高輝度浮遊物特定処理を例示した説明図である。浮遊物特定部166は、高輝度シーンに適した浮遊物の特定処理として高輝度浮遊物特定処理を行う。図6(a)に示すように、浮遊物特定部166は、低輝度浮遊物特定処理と同様に、ウィンドウ222内における立体部位の集合体のみの領域をアクセス領域224として設定する。また、浮遊物特定部166は、ウィンドウ222を垂直方向および水平方向それぞれに対して均等に3分割した9つの分割領域226a〜226iを設定する。
特定物特定部168は、浮遊物特定部166によって非浮遊物として特定された立体物の大きさ、形状、色相等に基づいて、立体物がいずれかの特定物(車両、人等)であるか判定する。
図7は、先行車両が浮遊物を通過する様子、および、その時の立体物の特定を説明する図である。図8は、先行車両から浮遊物が発生する様子、および、その時の立体物の特定を説明する図である。
点数リセット部170は、非浮遊物と特定された立体物を含むウィンドウ222について、立体物(立体部位の集合体)の位置情報と、前回のフレームで撮像された輝度画像212における関係付けられた立体物の位置情報とに基づいて、立体物の加速度および加速度の微分である加加速度を導出する。
点数リセット部170は、例えば3×3画素の空間微分フィルタを輝度画像212全体にかけ、空間微分フィルタによるエッジ画像を作成する。そして、点数リセット部170は、エッジ画像のうち、ウィンドウ222内に含まれるエッジの総数(エッジ総数)を算出する。
次に、中央制御部154が実行する、上記した画像処理、立体物特定処理、浮遊物特定処理、特定物特定処理、点数リセット処理を含む車外環境認処理の流れについて説明する。
図11に示すように、点数リセット部170は、立体物特定処理S404で特定された立体物が1以上あって、当該点数リセット処理S500において、前回の浮遊物特定処理S600において非浮遊物と特定され、かつ、まだ選択されていない立体物があるか否かを判断する(S502)。まだ選択していない立体物があれば(S502におけるYES)、点数リセット部170は、まだ選択していない立体物を1つ選択する(S504)。
図12に示すように、点数リセット部170は、上記3次元位置導出処理S402で導出された立体物の位置情報と、前回の立体物の位置情報とに基づいて、立体物の加速度および加加速度を導出する(S506−1)。また、点数リセット部170は、立体物を含むウィンドウ222内でのブレーキランプの点灯の有無を検出する(S506−2)。
図13に示すように、点数リセット部170は、ウィンドウ222内の各画素に対して空間フィルタをかけ、ウィンドウ222内のエッジを導出するとともに、導出したエッジの総数を導出する(S508−1)。また、点数リセット部170は、ウィンドウ222を水平方向に等分する中心線CLを設定し、中心線CLから左右方向それぞれに離隔位置IPだけ離隔した画素がともに立体物に相当する画素である対称性総数を導出する(S508−2)。
図14に示すように、浮遊物特定部166は、立体物特定処理S404で特定された立体物が1以上あって、まだ選択されていない立体物があるか否かを判断する(S602)。まだ選択していない立体物があれば(S602におけるYES)、浮遊物特定部166は、まだ選択していない立体物を1つ選択する(S604)。
図15に示すように、浮遊物特定部166は、3次元位置導出部162により導出された立体部位の位置情報に基づいて、ウィンドウ222内における立体部位の集合体のみの領域をアクセス領域224として設定する(S606−1)。
図16に示すように、浮遊物特定部166は、ウィンドウ222内にアクセス領域224として設定するとともに、ウィンドウ222を垂直方向および水平方向それぞれを3分割した9つの分割領域226a〜226iを設定する(S608−1)。そして、浮遊物特定部166は、分割領域226a〜226iそれぞれについて、分割領域226a〜226i内のアクセス領域224の輝度について輝度ヒストグラムを生成する(S608−2)。その後、浮遊物特定部166は、生成した輝度ヒストグラムについてピーク輝度値を分割領域226a〜226iそれぞれについて導出するとともに、ピーク輝度値が輝度値閾値以上である高輝度分割領域数を導出する(S608−3)。
164 立体物特定部
166 浮遊物特定部
170 点数リセット部
Claims (7)
- 所定間隔毎に取得される画像から立体物を特定するとともに、該立体物と前回取得された画像における立体物とが対応する場合には、該立体物と前回取得された画像における立体物とを関連付ける立体物特定部と、
前記立体物が浮遊物らしい特徴を有するか否かを低輝度シーンに応じた第1判定条件に基づいて判定し、該立体物が浮遊物らしい特徴を有する場合、該立体物に対して低輝度浮遊物点数を加算していき、また、該立体物が浮遊物の物体らしい特徴を有しない場合、該立体物に対して該低輝度浮遊物点数を減算していく低輝度浮遊点数導出部と、
前記立体物が浮遊物らしい特徴を有するか否かを高輝度シーンに応じた第2判定条件に基づいて判定し、該立体物が浮遊物らしい特徴を有する場合、該立体物に対して高輝度浮遊物点数を加算していき、また、該立体物が浮遊物の物体らしい特徴を有しない場合、該立体物に対して該高輝度浮遊物点数を減算していく高輝度浮遊物点数導出部と、
前記低輝度浮遊物点数が所定の第1点数閾値より大きい場合、または、前記高輝度浮遊物点数が所定の第2点数閾値より大きい場合、前記立体物を前記浮遊物と特定し、該低輝度浮遊物点数が該第1点数閾値以下で、かつ、該高輝度浮遊物点数が該第2点数閾値以下である場合、該立体物を非浮遊物と特定する浮遊物特定部と、
前回までに取得された画像に基づいて前記浮遊物特定部により前記立体物が前記非浮遊物と特定されており、今回取得された画像において、前記第1判定条件および前記第2判定条件とは異なる第3判定条件に基づいて該立体物が該浮遊物らしい特徴を有すると判定すると、前記低輝度浮遊物点数および前記高輝度浮遊物点数を前記第1点数閾値および前記第2点数閾値にそれぞれリセットする点数リセット部と、
を備えることを特徴とする車外環境認識装置。 - 前記低輝度浮遊物点数導出部は、前記第1判定条件として、前記立体物の輪郭を境にした内側および外側の輝度値の平均値に基づいて、前記立体物が前記浮遊物らしい特徴を有するか否かを判定し、
前記高輝度浮遊物点数導出部は、前記第2判定条件として、前記立体物を含む複数の分割領域の輝度ヒストグラムに基づいて、前記立体物が前記浮遊物らしい特徴を有するか否かを判定することを特徴とする請求項1に記載の車外環境認識装置。 - 前記点数リセット部は、前回までに取得された画像に基づいて前記立体物が非浮遊物と特定されている場合に、該立体物の加速度および加速度の微分を導出し、該立体物の加速度および加速度の微分に基づいて、該立体物が該浮遊物らしい特徴を有するか否かを判定する
ことを特徴とする請求項2に記載の車外環境認識装置。 - 前記点数リセット部は、前回までに取得された画像に基づいて前記立体物が非浮遊物である車両と特定されている場合に、該車両のブレーキランプの点灯の有無を検出し、該ブレーキランプの点灯の有無に基づいて、該立体物が該浮遊物らしい特徴を有するか否かを判定する
ことを特徴とする請求項3に記載の車外環境認識装置。 - 前記立体物特定部は、前記立体物を含む矩形状の領域を導出し、
前記点数リセット部は、前記矩形状の領域内のエッジ総数を導出し、前回取得された画像における該エッジ総数と、今回取得された画像における該エッジ総数との変化率が所定のエッジ総数閾値以上である場合に、前記点数をリセットする
ことを特徴とする請求項1から4のいずれか1項に記載の車外環境認識装置。 - 前記立体物特定部は、前記立体物を含む矩形状の領域を導出し、
前記点数リセット部は、前記矩形状の領域における水平方向の中心を基準として、前記立体物の対称性を検出し、前回取得された画像における該対称性と、今回取得された画像における該対称性との変化率が所定の対称性閾値以上である場合に、前記点数をリセットする
ことを特徴とする請求項1から5のいずれか1項に記載の車外環境認識装置。 - 所定間隔毎に取得される画像から立体物を特定するとともに、該立体物と前回取得された画像における立体物とが対応する場合には、該立体物と前回取得された画像における立体物とを関連付ける立体物特定部と、
前記立体物が浮遊物らしい特徴を有するか否かを低輝度シーンに応じた第1判定条件に基づいて判定し、該立体物が浮遊物らしい特徴を有する場合、該立体物に対して低輝度浮遊物点数を加算していき、また、該立体物が浮遊物の物体らしい特徴を有しない場合、該立体物に対して低輝度浮遊物点数を減算していく低輝度浮遊点数導出部と、
前記立体物が浮遊物らしい特徴を有するか否かを高輝度シーンに応じた第2判定条件に基づいて判定し、該立体物が浮遊物らしい特徴を有する場合、該立体物に対して高輝度浮遊物点数を加算していき、また、該立体物が浮遊物の物体らしい特徴を有しない場合、該立体物に対して高輝度浮遊物点数を減算していく高輝度浮遊物点数導出部と、
前記低輝度浮遊物点数が所定の第1点数閾値より大きい場合、または、前記高輝度浮遊物点数が所定の第2点数閾値より大きい場合、前記立体物を前記浮遊物と特定し、該低輝度浮遊物点数が該第1点数閾値以下の第3点数閾値以下で、かつ、該高輝度浮遊物点数が該第2点数閾値以下の第4点数閾値以下である場合、該立体物を非浮遊物と特定する浮遊物特定部と、
前記第1判定条件および前記第2判定条件とは異なる第3判定条件に基づいて、前記立体物が前記浮遊物らしい特徴を有するか否かを判定し、前回までに取得された画像に基づいて前記浮遊物特定部により前記立体物が前記非浮遊物と特定されており、今回取得された画像において該第3判定条件に基づいて該立体物が該浮遊物らしい特徴を有すると判定すると、前記低輝度浮遊物点数を前記第1点数閾値および前記第3点数閾値の間のいずれかの値にリセットするとともに、前記高輝度浮遊物点数を前記第2点数閾値および前記第4点数閾値の間のいずれかの値にリセットする点数リセット部と、
を備えることを特徴とする車外環境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121610A JP6412345B2 (ja) | 2014-06-12 | 2014-06-12 | 車外環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121610A JP6412345B2 (ja) | 2014-06-12 | 2014-06-12 | 車外環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016001434A JP2016001434A (ja) | 2016-01-07 |
JP6412345B2 true JP6412345B2 (ja) | 2018-10-24 |
Family
ID=55076994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014121610A Active JP6412345B2 (ja) | 2014-06-12 | 2014-06-12 | 車外環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6412345B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102304851B1 (ko) | 2017-03-28 | 2021-09-27 | 현대자동차주식회사 | Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2841640B2 (ja) * | 1990-02-28 | 1998-12-24 | 住友電気工業株式会社 | 交通流計測装置 |
DE10324895A1 (de) * | 2003-05-30 | 2004-12-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge |
JP2007298430A (ja) * | 2006-05-01 | 2007-11-15 | Honda Motor Co Ltd | 車両用物体検知装置 |
JP4730267B2 (ja) * | 2006-07-04 | 2011-07-20 | 株式会社デンソー | 車両用視界状況判定装置 |
JP4956374B2 (ja) * | 2007-10-29 | 2012-06-20 | 富士重工業株式会社 | 物体検出装置および接触回避システム |
JP5518359B2 (ja) * | 2009-03-31 | 2014-06-11 | 能美防災株式会社 | 煙検出装置 |
JP2012243049A (ja) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
JP5615862B2 (ja) * | 2012-03-07 | 2014-10-29 | クラリオン株式会社 | 車両周囲監視装置 |
JP2013235444A (ja) * | 2012-05-09 | 2013-11-21 | Denso Corp | 車両視界支援装置 |
-
2014
- 2014-06-12 JP JP2014121610A patent/JP6412345B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016001434A (ja) | 2016-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5906224B2 (ja) | 車外環境認識装置 | |
JP6132412B2 (ja) | 車外環境認識装置 | |
JP5666538B2 (ja) | 車外環境認識装置 | |
JP5886809B2 (ja) | 車外環境認識装置 | |
CN106295494B (zh) | 车外环境识别装置 | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP6420650B2 (ja) | 車外環境認識装置 | |
JP6236039B2 (ja) | 車外環境認識装置 | |
JP2013109391A (ja) | 車外環境認識装置および車外環境認識方法 | |
JP5798011B2 (ja) | 車外環境認識装置 | |
US9524645B2 (en) | Filtering device and environment recognition system | |
JP6329438B2 (ja) | 車外環境認識装置 | |
JP7229032B2 (ja) | 車外物体検出装置 | |
JP6174960B2 (ja) | 車外環境認識装置 | |
JP2016186702A (ja) | 車外環境認識装置 | |
JP6412345B2 (ja) | 車外環境認識装置 | |
JP7261006B2 (ja) | 車外環境認識装置 | |
JP6378547B2 (ja) | 車外環境認識装置 | |
JP6335065B2 (ja) | 車外環境認識装置 | |
JP6254866B2 (ja) | 車両制御装置 | |
JP6273156B2 (ja) | 歩行者認識装置 | |
JP6523694B2 (ja) | 車外環境認識装置 | |
JP5890816B2 (ja) | フィルタリング装置および環境認識システム | |
JP6313667B2 (ja) | 車外環境認識装置 | |
JP2020086791A (ja) | 車外環境認識装置および車外環境認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6412345 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |