JP6520740B2 - 物体検出方法、物体検出装置、およびプログラム - Google Patents
物体検出方法、物体検出装置、およびプログラム Download PDFInfo
- Publication number
- JP6520740B2 JP6520740B2 JP2016017197A JP2016017197A JP6520740B2 JP 6520740 B2 JP6520740 B2 JP 6520740B2 JP 2016017197 A JP2016017197 A JP 2016017197A JP 2016017197 A JP2016017197 A JP 2016017197A JP 6520740 B2 JP6520740 B2 JP 6520740B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- object detection
- image
- detected
- movement trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
る。特許文献1は、特に、走行予定経路や運転者の視線から車線変更の有無を推定し、車
線変更が行われると予測した場合には、カメラの撮影方向やレーダーの検知方向を変更する。
範囲内についてはカメラとレーダーの両方を用いて検出を行い、進行経路範囲外についてはレーダーのみを用いて検出を行うことを開示する。
れと撮影画像とを用いて、走行軌跡に沿った危険度を算出することを開示する。
いうのは、物体が車両の移動軌跡上に位置するかしないかを求めること以外に、物体が車両の移動軌跡上に位置する確からしさ(確率)を求めることも含む。
車載カメラを搭載した車両が撮影する画像から前記車両の走行経路上に位置する物体を検出する物体検出方法であって、
前記車両の車載カメラが撮影した車載画像を取得する車載画像取得ステップと、
前記車載画像の撮影以降の前記車両の挙動情報を取得する挙動情報取得ステップと、
前記挙動情報に基づいて、前記車両の移動軌跡を求める軌跡算出ステップと、
前記移動軌跡に基づいて、前記車載画像において前記移動軌跡に対応する領域を求める領域算出ステップと、
前記車載画像から検出対象の物体を検出する物体検出ステップと、
前記物体検出ステップにおいて検出された物体について、前記車載画像における前記移動軌跡に対応する領域との重複量を算出する算出ステップと、
を含むことを特徴とする。
情報の例は、例えば、車両の位置、速度、加速度、ヨーレート、勾配、方位が含まれる。軌跡算出ステップでは、挙動情報に基づいて、ワールド座標系(例えば緯度・経度・高度により表される地理座標系)内または車両座標系(車両を基準とした座標系)内での車両の移動軌跡を求めるとよい。なお、移動軌跡は、挙動情報以外の情報、例えば、地図情報などを用いて求めることも好ましい。また、移動軌跡は、3次元空間内での軌跡であるこ
とが好ましいが、2次元平面内での軌跡として求めてもよい。
複数の画像を用いて物体を検出してもよい。また、車載画像以外に距離画像も用いて物体を検出してもよい。
図1は、車載画像を撮影する車両200と、車載画像から車両200の走行経路上の物体を検
出する物体検出装置100の構成を示す図である。本実施形態における車両200は、ECU(Electronic Control Unit)(不図示)、車載カメラ202、各種センサ204、記憶装置206を含
む。ECUはマイクロプロセッサを含み、当該マイクロプロセッサがプログラムを実行する
ことにより、車両200における処理を制御する。車載カメラ202は、車両の外部、特に車両前方を撮影する撮像装置である。センサ204は、例えば、GPS装置などのGNSS(全地球衛星測位システム)装置、速度センサ、加速度センサ、地磁気(方位)センサ、操舵角センサ、アクセル開度センサなど車両の制御状態を取得するための各種のセンサが含まれる。
の大きさ(幅、長さ、高さ)や、車載カメラ202の設置位置および撮影方向が含まれる。
報210を、車両設定情報212とともに物体検出装置100に送信する。
される。物体検出装置100のハードウェア構成は、CPU(Central Processing Unit)など
の演算装置(マイクロプロセッサ)、RAM(Random Access Memory)などの主記憶装置お
よびHDD(Hard Disk Drive)やSSD(Solid State Drive)などの補助記憶装置を含む記憶装置102、キーボードやマウスやタッチパネルなどの入力装置、ディスプレイやスピーカ
ーなどの出力装置、および無線通信装置を備える。演算装置が、補助記憶装置に格納されているプログラムを主記憶装置にロードし実行することによって、物体検出装置100は図1に示す各機能を提供する。
、軌跡算出部110、走行領域投影部112、物体検出部114、経路上物体判定部116、出力画像生成部118として機能する。これらの各機能部が行う処理は、以下でフローチャートとと
もに説明する。
図2を参照して、本実施形態に係る物体検出装置100が実行する物体検出処理について説明する。図2は、物体検出方法の流れを示すフローチャートである。
車両設定情報を取得し、記憶装置102に格納する。本実施形態においては、車両200から無線通信によってこれらの情報を取得するが、有線通信や記憶媒体経由で取得してもよく、また、他の装置を経由して取得してもよい。
て3次元空間内での車両200の移動軌跡を算出する。本実施形態においては、軌跡算出部110は、挙動情報106に含まれる位置情報(緯度・経度・高度)、速度、ヨーレート、勾配情報を元に、軌跡推定アルゴリズムとしてカルマンフィルタを用いて、車両の移動軌跡を算出する。移動軌跡は、地理座標系(ワールド座標系)によって表すことができる。カルマンフィルタを用いることで、移動軌跡のスムージングが行える。なお、軌跡算出部110は
、移動軌跡の算出に地図情報も用いてマップマッチングを行うことも好ましい。本実施形態においては、移動軌跡は、挙動情報106の取得期間全体にわたって算出される。なお、
移動軌跡は、速度とヨーレートを単に積分することによって求めてもよいし、あるいは各時点の位置情報を単に連結することによって求めてもよい。
線分31の軌跡である面32として求めることができる。線分31は、車両200の幅と同じ長さ
を有し、道路表面上の高さとすることが好ましい。具体的には、軌跡推定アルゴリズムによって点の軌跡(線)が得られるので、この結果を基に当該点を中心とする車両200の幅
と同じ長さの線分の軌跡を求めればよい。なお、図3(B)では、線分31が車両200の最前方
に位置するように描いているが、これは一例であり必ずしも線分31が車両200の最前方に
対応するわけではない。また、線分31の位置は道路表面の高さとすることが好ましい。これは地図情報を用いたマップマッチングにより達成できる。また、線分31の幅は必ずしも車両200の幅と同一の値とする必要はなく、車両200の幅に所定値を足した値や所定係数を掛けた値としてもよい。
体を検出することができる。学習アルゴリズムは任意であって構わないが、例えば、Deformable Part ModelやDeep Learningなどの手法を用いることができる。なお、物体の検出は、処理対象フレームの1枚の画像だけをもとに行う必要はなく、それ以前および以降の
フレームの画像を用いて物体を検出してもよい。例えば、いわゆる物体追跡手法を用いて現在のフレームにおける物体を検出してもよい。また、背景抽出技術により画像内の動くものを抽出してもよい。さらに、レーダーやLIDARから得られた距離画像を用いて物体検
出に利用してもよい。さらに、白線検出を行って高信頼度で白線を検出できた場合に白線情報を利用してもよい。
位置(領域)も特定する。本実施形態では、検出物体を含む矩形が、車載画像内における検出物体の位置として特定される。
の移動軌跡は、ワールド座標系において求められている。また、車両の挙動情報106には
車両の位置情報が含まれ、車両設定情報108には車載カメラ202の設置位置および撮影方向が含まれる。
。図5(A)は車両を上方から見た模式図、図5(B)は車両を側方から見た模式図である。車載
カメラ202の設置位置は、車両中心線51からのオフセット52および地上高53としてあらわ
される。設置位置に車両の前後方向が含まれてもよいが、含まれなくてもよい。また、車載カメラ202の撮影方向は、方位角54および俯角55によって表される。車両設定情報108には、車両200の幅56も含まれる。
位置および撮影方向を用いて車両の移動軌跡61を座標変換することにより、投影面62における移動軌跡の領域63を求めることができる。移動軌跡61が車載画像62に投影される領域63は、移動軌跡61が実空間に存在したと仮定した場合に移動軌跡61が撮影される領域といえる。
を目的とするものであり、この画像が表示されたり、この画像のデータが生成されたりする必要はない。
される(ループL2)。例えば、図6(B)に示す例では、車両66および車両67に対してそれぞれ処理が行われる。
検出物体の矩形領域71および投影された移動軌跡72が示されている。ここで、検出物体と移動軌跡の重複量は、矩形領域71の下辺71a全体の長さ73に対する、下辺のうち移動軌跡72に重なる部分の長さ74の比(割合)として定義することができる。
、矩形領域71の全体面積に対する、矩形領域71のうち移動軌跡72と重複する領域75(斜線部)の面積の比(割合)として定義することもできる。
出物体が移動軌跡上に位置することを意味するためである。
定に用いる重複量としてもよい。例えば、2つの値の単純平均あるいは重みづけ平均、ま
たは最大値あるいは最小値を、判定に用いる重複量としてもよい。
出物体が車両200の走行経路上に位置するか否かの情報を、記憶装置に格納する。あるい
は、物体検出装置100はこれらの情報を外部の装置に出力してもよい。
にない物体については、表示を省略してもかまわない。
本実施形態によれば、車両の実際の挙動情報、特に処理対象画像の撮影後の挙動情報に基づいて車両の移動軌跡を求めているため、精度よく車両の移動軌跡を求めることができる。したがって、車載画像の中から車両の走行経路上に位置する物体を精度良く検出することができる。
上記の説明は、本発明の一実施形態であり本発明をその内容に限定するものではない。本発明は、その技術的思想の範囲内で種々の変形が可能である。
りに、FPGA(Field Programmable Gate Array)などのプログラム可能な集積回路や、ASIC(Application Specific Integrated Circuit)などの専用の集積回路によって実現されてもよい。また、これらの組み合わせにより実現されてもよい。また、物体検出装置は必ずしも1台のコンピュータによって実現される必要はなく、ネットワークを介して接続され
た複数のコンピュータによって実現されてもよい。また、物体検出装置は、処理対象の車載画像を撮影する車両に搭載されてもよい。
ある。例えば、物体検出(S14)と移動軌跡の投影(S16)の実行順序は逆にしてもよいし、並行して行ってもよい。
ながら、この判定を行わずに、上記の重複量または重複量に基づいて算出される値(スコア)を、検出物体が車両200の走行経路上に位置する確信度として出力してもよい。例え
ば、自動運転時に検出される前方車両が自車両の走行経路上に位置するか否かは確率的にしか判断できない。したがって、その確率(確信度)に応じて制御を異ならせるような学習を行うためには、確信度を出力する構成が好適といえる。
110 軌跡算出部 112 走行経路投影部 114 物体検出部
116 経路上物体判定部 118 出力画像生成部
200 車両
Claims (10)
- 車載カメラを搭載した車両が撮影する画像から前記車両の走行経路上に位置する物体を検出する物体検出方法であって、
前記車両の車載カメラが撮影した車載画像を取得する車載画像取得ステップと、
前記車載画像の撮影以降の前記車両の挙動情報を取得する挙動情報取得ステップと、
前記挙動情報に基づいて、前記車両の移動軌跡を求める軌跡算出ステップと、
前記移動軌跡に基づいて、前記車載画像において前記移動軌跡に対応する領域を求める領域算出ステップと、
前記車載画像から検出対象の物体を検出する物体検出ステップと、
前記物体検出ステップにおいて検出された物体について、前記車載画像における前記移動軌跡に対応する領域との重複量を算出する算出ステップと、
を含む、物体検出方法。 - 前記物体検出ステップにおいて検出された物体のうち、前記重複量が所定割合以上である物体を、前記車両の走行経路上に位置する物体であると判定する判定ステップをさらに含む、
請求項1に記載の物体検出方法。 - 前記軌跡算出ステップでは、前記車両の幅に対応する線分の軌跡を前記車両の移動軌跡として求める、
請求項1または2に記載の物体検出方法。 - 前記物体検出ステップでは、前記車載画像において物体が存在する領域を求め、
前記算出ステップでは、前記物体が存在する領域のうち、前記移動軌跡に対応する領域に含まれる部分の割合を、前記重複量として算出する、
請求項1から3のいずれか1項に記載の物体検出方法。 - 前記物体検出ステップでは、物体が存在する矩形領域を求め、
前記算出ステップでは、前記物体が存在する矩形領域の下辺のうち、前記移動軌跡に対応する領域に含まれる部分の割合を、前記重複量として算出する、
請求項1から3のいずれか1項に記載の物体検出方法。 - 前記車載画像に、前記領域算出ステップにおいて求められた前記移動軌跡に対応する領域と、前記物体検出ステップにおいて検出された物体を特定する表示と、を重畳した画像データを出力する画像生成ステップをさらに含む、
請求項1から5のいずれか1項に記載の物体検出方法。 - 前記画像生成ステップでは、前記重複量に応じた態様で前記表示を生成する、
請求項6に記載の物体検出方法。 - 車両の車載カメラが撮影した車載画像を取得する車載画像取得手段と、
前記車載画像の撮影以降の前記車両の挙動情報を取得する挙動情報取得手段と、
前記挙動情報に基づいて、前記車両の移動軌跡を求める軌跡算出手段と、
前記移動軌跡に基づいて、前記車載画像において前記移動軌跡に対応する領域を求める領域算出手段と、
前記車載画像から検出対象の物体を検出する物体検出手段と、
検出された物体について、前記車載画像における前記移動軌跡に対応する領域との重複量を算出する判定手段と、
を含む、物体検出装置。 - 前記判定手段は、検出された物体のうち、前記重複量が所定割合以上である物体を、前記車両の走行経路上に位置する物体であると判定する、
請求項8に記載の物体検出装置。 - 請求項1から7のいずれか1項に記載の方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016017197A JP6520740B2 (ja) | 2016-02-01 | 2016-02-01 | 物体検出方法、物体検出装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016017197A JP6520740B2 (ja) | 2016-02-01 | 2016-02-01 | 物体検出方法、物体検出装置、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017138660A JP2017138660A (ja) | 2017-08-10 |
JP2017138660A5 JP2017138660A5 (ja) | 2018-06-21 |
JP6520740B2 true JP6520740B2 (ja) | 2019-05-29 |
Family
ID=59564990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016017197A Active JP6520740B2 (ja) | 2016-02-01 | 2016-02-01 | 物体検出方法、物体検出装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6520740B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6718425B2 (ja) | 2017-11-17 | 2020-07-08 | 株式会社東芝 | 情報処理装置、情報処理方法及び情報処理プログラム |
WO2019116423A1 (ja) | 2017-12-11 | 2019-06-20 | 本田技研工業株式会社 | 教師データ収集装置 |
JP7125843B2 (ja) * | 2018-01-12 | 2022-08-25 | 株式会社日立国際電気 | 障害検知システム |
WO2019194255A1 (ja) * | 2018-04-05 | 2019-10-10 | 株式会社小糸製作所 | 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具 |
DE102018208278A1 (de) | 2018-05-25 | 2019-11-28 | Robert Bosch Gmbh | Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung |
CN111243281A (zh) * | 2018-11-09 | 2020-06-05 | 杭州海康威视系统技术有限公司 | 一种道路多视频联合检测系统及检测方法 |
DE102020200183A1 (de) * | 2020-01-09 | 2021-07-15 | Continental Automotive Gmbh | Verfahren zum Erstellen einer probabilistischen Freiraumkarte mit statischen und dynamischen Objekten |
JP7303852B2 (ja) * | 2021-09-08 | 2023-07-05 | ソフトバンク株式会社 | 判定装置、プログラム、及び判定方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3690150B2 (ja) * | 1998-12-16 | 2005-08-31 | 株式会社豊田自動織機 | 車両における後退支援装置及び車両 |
JP2005202787A (ja) * | 2004-01-16 | 2005-07-28 | Denso Corp | 車両用表示装置 |
JP2005236540A (ja) * | 2004-02-18 | 2005-09-02 | Matsushita Electric Ind Co Ltd | 車載カメラ装置 |
JP5071743B2 (ja) * | 2010-01-19 | 2012-11-14 | アイシン精機株式会社 | 車両周辺監視装置 |
JP2015209129A (ja) * | 2014-04-25 | 2015-11-24 | 富士重工業株式会社 | 車両の操舵制御装置 |
-
2016
- 2016-02-01 JP JP2016017197A patent/JP6520740B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017138660A (ja) | 2017-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6520740B2 (ja) | 物体検出方法、物体検出装置、およびプログラム | |
US10690770B2 (en) | Navigation based on radar-cued visual imaging | |
US10984261B2 (en) | Systems and methods for curb detection and pedestrian hazard assessment | |
US10753758B2 (en) | Top-down refinement in lane marking navigation | |
US10650254B2 (en) | Forward-facing multi-imaging system for navigating a vehicle | |
EP3183688B1 (en) | Recognition and prediction of lane constraints | |
US11620837B2 (en) | Systems and methods for augmenting upright object detection | |
JP2020064046A (ja) | 車両位置決定方法及び車両位置決定装置 | |
JP5968064B2 (ja) | 走行レーン認識装置および走行レーン認識方法 | |
US20190347808A1 (en) | Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera | |
WO2015175826A1 (en) | Systems and methods for detecting traffic signs | |
JP6038422B1 (ja) | 車両判定装置、車両判定方法及び車両判定プログラム | |
JP2006284281A (ja) | 自車情報認識装置及び自車情報認識方法 | |
CN114694111A (zh) | 车辆定位 | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
CN115841660A (zh) | 距离预测方法、装置、设备、存储介质及车辆 | |
JP2023152109A (ja) | 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180501 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6520740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |