JP4707067B2 - 障害物判別装置 - Google Patents
障害物判別装置 Download PDFInfo
- Publication number
- JP4707067B2 JP4707067B2 JP2006181270A JP2006181270A JP4707067B2 JP 4707067 B2 JP4707067 B2 JP 4707067B2 JP 2006181270 A JP2006181270 A JP 2006181270A JP 2006181270 A JP2006181270 A JP 2006181270A JP 4707067 B2 JP4707067 B2 JP 4707067B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- obstacle
- host vehicle
- movement vector
- contact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
障害物を検出する手段として、例えば特許文献1には、2台のカメラによるステレオ視を用いた手法が開示されている。この手法は、2台のカメラを所定間隔で同方向に向けて設置し、2つのカメラの視差から三角測量の原理で道路環境中の物体までの距離を算出することで、障害物を検出するものである。また、自車と衝突の可能性がある危険車両の判別には、例えば特許文献2の手法がある。これは、単一のカメラで取得した画像について、最初に自車の走行レーンを危険領域として設定する。次に、周囲の車両の走行履歴からこの領域に侵入する車両の先端位置を推定し、それらを危険車両として判別する。
図1は、本実施形態に係る障害物判別装置のブロック図である。本実施形態に係る障害物判別装置10は、自車両周辺の画像を撮影する撮像手段12と、撮影された画像を用いて自車両周辺の相手車両(障害物)を検出する車両検出手段(障害物検出手段)14と、相手車両の移動ベクトルを抽出する移動ベクトル抽出手段16と、自車両の進行方向を算出する自車進行方向算出手段18と、相手車両の移動ベクトルと自車両の進行方向とに基づいて、相手車両の危険度(自車両との接触可能性)を判別する危険度判別手段(接触可能性判別手段)22と、相手車両の危険度を表示する報知手段24とを備えるものである。なお移動ベクトル抽出手段16、自車進行方向算出手段18、車両検出手段14および危険度判別手段22は、自車両に搭載されたコンピュータ20によって構成されている。
撮像手段12は、自車両周辺の画像を撮影するものであり、具体的には1台のCCDカメラやミリ波レーダ等で構成されている。なおステレオ視を利用するため2台のカメラで障害物判別装置を構成する場合と比較して、本実施形態では1台のカメラで障害物判別装置を構成することができるので、車両コストを低減することができる。この撮像手段12は、自車両前方の画像を撮影するため、車室内のバックミラー付近などに固定されている。撮像手段12によって撮影された画像は、車両検出手段14や移動ベクトル抽出手段16等に入力される。
車両検出手段14は、撮影された画像を用いて相手車両を検出するものである。
本実施形態では、学習手法の一つであるアダブースト(AdaBoost)を用いて車両の特徴形状を学習し、車両の存在および車両領域を検出する。本実施においては、多くの車種に共通する特徴として、前後車輪を含む車両台車部分の複数の特徴を学習対象とする。また車体色が検知性能に影響を与える可能性があるため、これらの輪郭(形状)を抽出する。車両の検知性能は、多様かつ複数の特徴を学習することで向上すると考えられる。しかしながら、多くの特徴を学習するには多くの計算時間および計算コストを要することになる。そこで本実施形態では、台車部分全体、車両先頭部および車輪の三種類の特徴を学習対象とし、これらの学習結果を用いて車両を検出する。
(1)40×20ピクセルのポジティブデータn個、および40×20ピクセルのネガティブデータn個を用意する。ポジティブデータは、車両側面の写っていない任意サイズの複数枚の画像からランダムに40×20ピクセルで切り出す。
(2)n個のポジティブデータについて、それぞれの重みwiをすべてwi=1/2nとして初期化する。以下、t=1…T繰り返し。
(3)各ポジティブデータの重みwiを、数式1により正規化する。
以上の学習結果である識別器Hiを、図2(b)に示すように直列に並べて強識別器を構成する。車輪形状の判別においては、強識別器を通過した画像を車輪と判別する。
図1に戻り、移動ベクトル抽出手段16は、相手車両の移動ベクトルを抽出するものである。
図3は、移動ベクトルの説明図である。一般に、動画から物体の動きを抽出する手法の一つとして、オプティカルフローが知られている。オプティカルフローは物体30の移動ベクトル32であり、時間的に連続する2つの画像V0,V1間において、同一物体の輝度変化は小さいという仮定の下で、同程度の輝度をもつ点の移動量から算出される。
しかし、求める変数が(u,v)の2つであるのに対して、関係式が数式10の1つなので、これのみではオプティカルフローを求めることはできない。そこで、オプティカルフロー(u,v)の算出にあたり、数式10のほかに、「オプティカルフローは滑らかに変化する」という条件を付け加える。オプティカルフロー(u,v)の変化量は、次の数式11で表される。
図1に戻り、自車進行方向算出手段18は、自車両の進行方向を算出するものである。
図5は、自車進行方向の算出方法の説明図である。本実施形態において、自車の進行方向は、自車の進行によって生じる周囲の静止物体92のオプティカルフロー93から求める。一般に、自車が前方に進行する場合、周囲の静止物体92のオプティカルフロー93は、画像の消失点(Focus of Expansion;以下「FOE」という。)90から湧き出すように発生する。そのため、このFOE90を自車進行方向として求めることができる。この他にも、自車進行方向の算出精度を高める手段として、自車両の速度や操舵角などを用いてもよい。
図1に戻り、危険度判別手段22は、相手車両の移動ベクトルと自車両の進行方向とに基づいて、相手車両の危険度(自車両との接触可能性)を判別するものである。そのため危険度判別手段22に対して、車両検出手段14により検出された相手車両領域の情報、移動ベクトル抽出手段16により抽出された移動ベクトル、および自車進行方向算出手段18により算出された自車進行方向が、それぞれ入力されるようになっている。
図1に戻り、報知手段24は、自車両の運転者に対して相手車両の危険度を表示するものである。そのため報知手段24には、危険度判別手段22により判別された相手車両の危険度の情報が入力される。また報知手段24には、撮像手段12により撮影された画像、および車両検出手段14により検出された相手車両領域の情報が入力される。具体的な報知手段24として、ディスプレイ装置等が、車室内のインスツルメンタル・パネル付近に配置されている。
次に、前記障害物判別装置を用いた障害物判別方法につき、図1、図10および図11を用いて説明する。
図10は、本実施形態に係る障害物判別方法のフローチャートである。まず撮像手段12により、自車両周囲の画像を撮影する。次に移動ベクトル抽出手段16が、撮影された画像を用いて、周囲の物体の移動ベクトルをオプティカルフローとして算出する(S1)。次に自車進行方向算出手段18が、算出された移動ベクトルを用いてFOE(x_foe,y_foe)を求め、自車進行方向を推定する(S2)。次に車両検出手段14が、AdaBoostの手法により、画像から車両領域を検知する(S3)。
図11は、危険度判別サブルーチンのフローチャートである。まず車両領域内の単位面積あたりの移動ベクトル数n_flowをカウントする(S5)。次に、n_flowがしきい値n_flow_thresholdより小さいか判断する(S6)。判断がYesの場合はS6aに進み、危険度を高度に分別して、報知手段への表示設定をする。
そして、本実施形態に係る障害物判別装置を自車両に搭載することにより、運転者の道路状況の確認ミスによる衝突事故を減少させる効果が期待できる。
例えば、上記実施形態における車両検出手段は、AdaBoostの手法を用いて相手車両を検出したが、それ以外のサポートベクターマシン(Support Vector Machine;SVM)やニューラルネットワークの手法等を用いて相手車両を検出することも可能である。ただし、AdaBoostの手法を用いることにより、相手車両を精度良くかつ高速で効率良く検出することが可能である。
Claims (3)
- 自車両周辺の障害物を検出する障害物検出手段と、
前記障害物の移動ベクトルを抽出する移動ベクトル抽出手段と、
前記自車両の進行によって生じる移動ベクトルの消失点を撮像可能な撮像手段と、
前記消失点に基づいて前記自車両の進行方向を算出する自車進行方向算出手段と、
前記障害物の移動ベクトルと前記自車両の進行方向とに基づいて、前記障害物と前記自車両との接触可能性を判別する接触可能性判別手段と、を備え、
前記接触可能性判別手段は、前記障害物の移動ベクトル数が所定値より少ない場合に、前記障害物と前記自車両との接触可能性が高レベルと判断し、
前記接触可能性判別手段は、前記障害物の移動ベクトル数が前記所定値以上の場合に、
前記障害物領域内における移動ベクトルの始点位置の平均値および終点位置の平均値を始点および終点とする平均移動ベクトルに基づいて、
前記平均移動ベクトルが前記消失点に向かっている場合に、前記障害物と前記自車両との接触可能性が中レベルと判断し、
前記平均移動ベクトルが前記消失点から遠ざかっている場合に、前記障害物と前記自車両との接触可能性が低レベルと判断する、
ことを特徴とする障害物判別装置。 - 前記障害物の情報を報知する報知手段を備え、
前記接触可能性判別手段は、前記障害物と前記自車両との接触可能性の大きさを複数レベルに分別し、
前記報知手段は、前記障害物と前記自車両との接触可能性の前記レベルに応じて報知形態を変化させることを特徴とする請求項1に記載の障害物判別装置。 - 前記障害物検出手段は、前記障害物が車両であるか否かを、車両側面の略下半分の輝度分布学習によって識別することを特徴とする請求項1または請求項2に記載の障害物判別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006181270A JP4707067B2 (ja) | 2006-06-30 | 2006-06-30 | 障害物判別装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006181270A JP4707067B2 (ja) | 2006-06-30 | 2006-06-30 | 障害物判別装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008009843A JP2008009843A (ja) | 2008-01-17 |
JP4707067B2 true JP4707067B2 (ja) | 2011-06-22 |
Family
ID=39067970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006181270A Expired - Fee Related JP4707067B2 (ja) | 2006-06-30 | 2006-06-30 | 障害物判別装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4707067B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009099022A1 (ja) * | 2008-02-04 | 2009-08-13 | Konica Minolta Holdings, Inc. | 周辺監視装置及び周辺監視方法 |
JP5764122B2 (ja) | 2010-04-26 | 2015-08-12 | 株式会社日本触媒 | ポリアクリル酸(塩)、ポリアクリル酸(塩)系吸水性樹脂及びその製造方法 |
WO2012001709A2 (en) * | 2010-06-30 | 2012-01-05 | Tata Consultancy Services Limited | Automatic detection of moving object by using stereo vision technique |
KR101178508B1 (ko) * | 2010-07-19 | 2012-09-07 | 포항공과대학교 산학협력단 | 차량 충돌 경보 시스템 및 방법 |
JP5329582B2 (ja) * | 2011-02-09 | 2013-10-30 | 本田技研工業株式会社 | 車両用周辺監視装置 |
JP2013072936A (ja) * | 2011-09-27 | 2013-04-22 | Toyota Mapmaster:Kk | 画像処理装置及びその方法、並びに画像処理するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体 |
US9393908B2 (en) | 2011-11-01 | 2016-07-19 | Aisin Seiki Kabushiki Kaisha | Obstacle alarm device |
WO2013065120A1 (ja) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | 障害物警報装置 |
JP5704417B2 (ja) * | 2011-11-01 | 2015-04-22 | アイシン精機株式会社 | 障害物警報装置 |
CN104081763B (zh) * | 2012-01-17 | 2018-09-14 | 日本先锋公司 | 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质 |
JP5867273B2 (ja) * | 2012-04-27 | 2016-02-24 | 富士通株式会社 | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム |
JP5842110B2 (ja) * | 2013-10-10 | 2016-01-13 | パナソニックIpマネジメント株式会社 | 表示制御装置、表示制御プログラム、および記録媒体 |
JP2016092691A (ja) | 2014-11-07 | 2016-05-23 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2017074871A (ja) * | 2015-10-15 | 2017-04-20 | 日立建機株式会社 | 車両周囲障害物検出装置 |
JP6827202B2 (ja) | 2017-03-24 | 2021-02-10 | パナソニックIpマネジメント株式会社 | 情報表示装置、情報表示方法及びプログラム |
JP7205049B2 (ja) * | 2017-07-19 | 2023-01-17 | 日産自動車株式会社 | 移動ベクトル算出方法及び移動ベクトル算出装置 |
WO2023210175A1 (ja) * | 2022-04-28 | 2023-11-02 | パイオニア株式会社 | 運転支援装置、運転支援方法、及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070743A (ja) * | 2002-08-07 | 2004-03-04 | Nissan Motor Co Ltd | 画像処理装置 |
JP2004192553A (ja) * | 2002-12-13 | 2004-07-08 | Toyota Motor Corp | 車両位置検出装置 |
JP2005170290A (ja) * | 2003-12-12 | 2005-06-30 | Nissan Motor Co Ltd | 障害物検出装置 |
JP2005316746A (ja) * | 2004-04-28 | 2005-11-10 | Mitsubishi Motors Corp | 接近物体報知装置 |
-
2006
- 2006-06-30 JP JP2006181270A patent/JP4707067B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070743A (ja) * | 2002-08-07 | 2004-03-04 | Nissan Motor Co Ltd | 画像処理装置 |
JP2004192553A (ja) * | 2002-12-13 | 2004-07-08 | Toyota Motor Corp | 車両位置検出装置 |
JP2005170290A (ja) * | 2003-12-12 | 2005-06-30 | Nissan Motor Co Ltd | 障害物検出装置 |
JP2005316746A (ja) * | 2004-04-28 | 2005-11-10 | Mitsubishi Motors Corp | 接近物体報知装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008009843A (ja) | 2008-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4707067B2 (ja) | 障害物判別装置 | |
EP2463843B1 (en) | Method and system for forward collision warning | |
US8232872B2 (en) | Cross traffic collision alert system | |
KR101276871B1 (ko) | 차량 충돌 방지 장치 및 방법 | |
JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
EP3161507B1 (en) | Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle | |
US10442438B2 (en) | Method and apparatus for detecting and assessing road reflections | |
US8406472B2 (en) | Method and system for processing image data | |
JPH11353565A (ja) | 車両用衝突警報方法及び装置 | |
JP5907700B2 (ja) | 画像処理装置、車両システム、及び、画像処理方法 | |
Aytekin et al. | Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information | |
JP2007249841A (ja) | 画像認識装置 | |
EP2833096B1 (en) | Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle | |
CN107423675B (zh) | 对陷阱和行人进行前部碰撞警告的先进警告系统 | |
JP2000127849A (ja) | 車両用後側方監視装置 | |
CN107004250B (zh) | 图像生成装置及图像生成方法 | |
KR20120086577A (ko) | 카메라를 이용한 측면차량 검출 장치 및 방법 | |
JPWO2019174682A5 (ja) | ||
JP6496619B2 (ja) | 車両用駐車支援装置 | |
JP2006140636A (ja) | 障害物検出装置および方法 | |
Monwar et al. | Vision-based potential collision detection for reversing vehicle | |
Ma et al. | A real-time rear view camera based obstacle detection | |
CN113173160A (zh) | 车辆用防碰撞装置及车辆用防碰撞方法 | |
JP2000020686A (ja) | 車両用後側方監視装置 | |
JP4092509B2 (ja) | 物体判定装置、および物体判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110309 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |