JP7075833B2

JP7075833B2 - 物体検出方法及び物体検出装置

Info

Publication number: JP7075833B2
Application number: JP2018121515A
Authority: JP
Inventors: 健夫宮阪
Original assignee: Renault SAS
Current assignee: Renault SAS
Priority date: 2018-06-27
Filing date: 2018-06-27
Publication date: 2022-05-26
Anticipated expiration: 2038-06-27
Also published as: JP2020003971A

Description

本発明は、物体検出方法及び物体検出装置に関する。

従来より他車両が、自車両が走行する車線（以下、自車線という）に割り込むか否かを判定する方法が知られている（特許文献１）。特許文献１に記載された発明は、他車両と自車線との距離に基づいて、他車両が自車線に割り込むか否かを判定する。

特開２０１７－１２８１７８号公報

しかしながら、特許文献１に記載された発明は、他車両と自車線との距離が所定値以下になるまで割り込みを判定しないため、割り込みの直前にならないと判定できないおそれがある。先行車追従制御などで速度制御が行われる場合、割り込みの判定が遅れると急な減速が発生し、乗員が違和感を感じるおそれがある。

本発明は、上記問題に鑑みて成されたものであり、その目的は、割り込みを早期に判定する物体検出方法及び物体検出装置を提供することである。

本発明の一態様に係る物体検出方法は、取得された画像から複数の特徴点を抽出し、複数の特徴点の中から、移動物体を構成する複数の特徴点を抽出する。物体検出方法は、異なる時刻に取得された複数の画像から移動物体を構成する複数の特徴点の動きベクトルの分散を算出する。物体検出方法は、動きベクトルの道路幅方向における成分の分散が閾値以上である場合、移動物体は自車両が走行する車線に割り込む可能性が有ると判定する。

本発明によれば、割り込みを早期に判定できる。

図１は、本発明の実施形態に係る物体検出装置の概略構成図である。図２は、本発明の実施形態に係る物体検出装置の一動作例を説明するフローチャートである。図３は、本発明の実施形態に係る動きベクトルの一例を説明する図である。図４は、本発明の実施形態に係る動きベクトルの他の例を説明する図である。図５は、本発明の実施形態に係る動きベクトルのさらに他の例を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

（物体検出装置の構成）
図１を参照して、物体検出装置１００の構成を説明する。図１に示すように、物体検出装置１００は、ステレオカメラ１０と、ステレオカメラ１１と、コントローラ２０と、車両制御部３０とを備える。物体検出装置１００は、自動運転機能を有する車両に適用されてもよく、自動運転機能を有しない車両に適用されてもよい。また、物体検出装置１００は、自動運転と手動運転とを切り替えることが可能な車両に適用されてもよい。なお、本実施形態における自動運転とは、例えば、ブレーキ、アクセル、ステアリングなどのアクチュエータの内、少なくとも何れかのアクチュエータが乗員の操作なしに制御されている状態のことを指す。そのため、その他のアクチュエータが乗員の操作により作動していたとしても構わない。また、自動運転とは、加減速制御、横位置制御などのいずれかの制御が実行されている状態であればよい。また、本実施形態における手動運転とは、例えば、ブレーキ、アクセル、ステアリングを乗員が操作している状態のことを指す。

ステレオカメラ１０、１１は、自車両の周囲のステレオ画像を取得する。ステレオカメラ１０、１１の搭載場所は限定されないが、例えばステレオカメラ１０は、自車両の前方左側に搭載される。また、ステレオカメラ１１は、自車両の前方右側に搭載される。また、ステレオカメラ１０、１１は、互いの視野が撮像方向と直交する方向に沿って重なるように配置されてもよい。ステレオカメラ１０、１１は、自車両の周囲にある物体を複数の異なる方向から同時に撮像する。

コントローラ２０（制御部）は、ステレオカメラ１０、１１により取得されたステレオ画像に基づいて、自車両の周囲の物体を検出する。ここで、本実施形態における物体とは、他車両、バイク、自転車、歩行者を含む移動物体でもよく、駐車車両を含む静止物体でもよい。コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ（記憶部）、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体検出装置１００として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、物体検出装置１００が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって物体検出装置１００が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路として、特徴点検出部２１と、オプティカルフロー算出部２２と、距離算出部２３と、センサ運動推定部２４と、絶対運動推定部２５と、物体検出部２６と、物体追跡部２７と、割込み判定部２８と、を備える。

特徴点検出部２１は、ステレオカメラ１０、１１により取得されたそれぞれのステレオ画像から、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出する。特徴点の抽出には、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp.593 - 600.」に記載の方法が用いられる。特徴点検出部２１は、抽出した特徴点をオプティカルフロー算出部２２と、距離算出部２３に出力する。なお、以下では、特に断らない限り、特徴点は、複数あることを前提とする。

オプティカルフロー算出部２２は、過去の画像の特徴点と現在の画像の特徴点から、オプティカルフローを算出する。オプティカルフローとは、ステレオ画像中における物体の動きをベクトルで表すものである。オプティカルフロー算出部２２は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部２２は、互いに関連する、過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。オプティカルフローの算出には、例えば非特許文献「Bruce D. Lucasand Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の方法が用いられる。オプティカルフロー算出部２２は、算出したオプティカルフローをセンサ運動推定部２４と、絶対運動推定部２５に出力する。

距離算出部２３は、互いに関連する第１画像（後述）の特徴点と、第２画像（後述）の特徴点との視差（ずれ量）から、ステレオカメラ１０、１１から特徴点に対応する対象までの距離を算出する。換言すれば、距離算出部２３は、自車両から特徴点に対応する対象までの距離を算出する。また、距離算出部２３は、互いに関連する第１画像の特徴点と第２画像の特徴点との視差から、これらの特徴点に対応する実空間中の３次元座標を算出する。ここで、上述の第１画像とは、ステレオカメラ１０により取得されたステレオ画像である。上述の第２画像とは、ステレオカメラ１１により取得されたステレオ画像である。距離算出部２３は、算出した距離及び３次元座標をセンサ運動推定部２４と、絶対運動推定部２５と、物体検出部２６に出力する。

センサ運動推定部２４は、ステレオカメラ１０、１１の運動、すなわち、３軸並進運動及び３軸回転運動を推定する。以下では、ステレオカメラ１０、１１の運動を、センサ運動と表現する場合がある。３軸並進運動は、自車両の前後方向、車幅方向、上下方向の運動である。３軸回転運動は、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの回転運動である。

センサ運動推定部２４は、例えば、時系列の画像に基づいてセンサ運動を推定してもよい。センサ運動推定部２４は、過去の画像の特徴点における３次元座標と、現在の画像の特徴点とから、センサ運動を推定してもよい。センサ運動推定部２４は、過去の画像の特徴点における３次元座標と、それぞれ関連する現在の画像の特徴点を、オプティカルフロー算出部２２が算出したオプティカルフローに基づいて選択する。センサ運動推定部２４は、過去の画像の特徴点における３次元座標とそれぞれ関連する現在の特徴点の画像上の位置を求める。センサ運動推定部２４は、過去の画像の特徴点における３次元座標のそれぞれが、現在の画像上のそれぞれの位置に投影された場合に、画像上の位置誤差が最小になるステレオカメラ１０、１１の３軸並進運動及び３軸回転運動を推定する。センサ運動推定部２４は、過去の画像の特徴点における３次元座標と、現在の画像の特徴点の３次元座標とからステレオカメラ１０、１１の３軸並進運動及び３軸回転運動を推定するようにしてもよい。また、センサ運動の推定方法として、非特許文献「Geiger, Andreas, Julius Ziegler, and Christoph Stiller. "Stereoscan: Dense 3d reconstruction in real-time." Intelligent Vehicles Symposium (IV), 2011 IEEE. Ieee, 2011.」に記載の方法が用いられてもよい。センサ運動推定部２４は、推定したセンサ運動を絶対運動推定部２５に出力する。

上記の処理により、単位時刻前における特徴点の３次元座標と、現在の３次元座標との差分が、単位時刻前から現在までのその特徴点の３次元運動ベクトルとなる。自車両が移動している場合、３次元運動ベクトルには、単位時刻前から現在までの自車両の移動量が加算される。このため、自車両の移動量（センサ運動）を取り除くことにより、対象（特徴点）の絶対移動量が推定される。絶対運動推定部２５は、センサ運動推定部２４によって推定されたセンサ運動を用いて、単位時刻前における特徴点の３次元座標を、現在のセンサ座標系に変換する。これにより、絶対運動推定部２５は、センサ運動の影響を取り除くことができる。絶対運動推定部２５は、センサ座標系において、単位時刻前における特徴点の３次元座標と、現在の特徴点における３次元座標との差分をとることで、現在の特徴点における絶対３次元運動を推定する。絶対運動推定部２５は、推定した絶対３次元運動を物体検出部２６に出力する。絶対３次元運動とは、センサ運動の影響が取り除かれた特徴点の運動をいう。

物体検出部２６は、絶対運動推定部２５によって推定された現在の画像の特徴点における絶対３次元運動と、距離算出部２３によって算出された３次元座標とに基づいて、移動物体候補を抽出する。物体検出部２６は、自車両の周囲において、路面から所定の高さ以上、かつ所定の速度以上の特徴点を抽出する。換言すれば、物体検出部２６は、路面からの高さが所定値以上である特徴点を移動物体を構成する複数の特徴点として抽出する（第１所定値）。特徴点が路面から所定の高さ以上である理由は、路面の特徴点と区別するためである。所定の高さは、路面の特徴点と区別可能な高さであれば、特に限定されない。このように、路面から所定の高さ以上の特徴点を用いることにより、物体検出部２６が路面を移動物体候補として誤検出することが抑制される。

物体検出部２６は、抽出した特徴点と、その近傍の特徴点との速度差が所定値以内の特徴点を同一物体上の特徴点としてクラスタリングする。物体検出部２６は、同じ処理を再帰的に行い、それぞれの特徴点についてクラスタリングする。これにより、物体検出部２６は、移動物体候補を抽出する。

次に、物体検出部２６は、移動物体候補を構成する複数の特徴点の重心が、自車両から所定領域内にあるか否かを判定する。移動物体候補を構成する複数の特徴点の重心が、自車両から所定領域内にある場合、物体検出部２６は、移動物体候補は自車両の周囲を走行する物体であると判定する。なお、自車両の周囲を走行する物体には、他車両、バイクなどが含まれるが、以下では特に断らない限り、自車両の周囲を走行する物体は他車両として説明する。物体検出部２６は、検出した他車両を物体追跡部２７に出力する。

物体追跡部２７は、物体検出部２６によって検出された他車両を追跡する。具体的には、物体追跡部２７は、オプティカルフローを用いて、単位時刻前の他車両に係る特徴点と現在の他車両に係る特徴点との対応付けを行う。物体追跡部２７は、対応付けられた各時刻の特徴点を軌跡として蓄積する。そして、物体追跡部２７は、今までに蓄積した各時刻の他車両に係る特徴点に現在のセンサ運動の逆運動を適用することで、過去のすべての特徴点を現在のセンサ座標系に変換する。このように物体追跡部２７は、特徴点に係る動きベクトルを算出する。物体追跡部２７は、算出した動きベクトルを割込み判定部２８に出力する。

割込み判定部２８は、物体追跡部２７によって算出された動きベクトルの道路幅方向における成分の分散が閾値以上か否かを判定する。詳細については後述する。分散が閾値以上である場合、割込み判定部２８は、他車両が自車両が走行する車線に割り込む可能性が有ると判定する。なお、以下では、自車両が走行する車線を自車線という。また、割込み判定部２８は、自車線方向への横成分の分散が閾値以上である場合、他車両は自車線に割り込むと判定してもよい。割込み判定部２８は、判定結果を車両制御部３０に出力する。

車両制御部３０は、割込み判定部２８によって他車両が割り込む可能性が有ると判定された場合、例えば、乗員が違和感を感じないように自車両を制動させる。また、車両制御部３０は、割込み判定部２８によって他車両が割り込むと判定された場合にも、乗員が違和感を感じないように自車両を制動させてもよい。

次に、図２に示すフローチャート及び図３～４を参照して、物体検出装置１００の一動作例を説明する。

図２に示すステップＳ１０１において、ステレオカメラ１０、１１は、自車両の周囲を撮像する。処理はステップＳ１０３に進み、特徴点検出部２１は、ステレオカメラ１０、１１により取得されたそれぞれのステレオ画像から、複数の特徴点を抽出する。なお、図２に示すフローチャートは、図３～４に示す移動物体（他車両６０）が自車線に割り込むか否かを判定するための処理である。

処理はステップＳ１０５に進み、オプティカルフロー算出部２２は、ステップＳ１０３で抽出された複数の特徴点のオプティカルフローを算出する。具体的には、オプティカルフロー算出部２２は、物体検出装置１００の起動後の初回のステップＳ１０５ではオプティカルフローを算出しない。オプティカルフロー算出部２２は、２回目以降のステップＳ１０５において、前回、即ち１周期前のステップＳ１０３において抽出された過去の特徴点と、今回のステップＳ１０３において抽出された現在の特徴点とを関連付け、互いに関連する特徴点の動きベクトルの分布をオプティカルフローとして算出する。動きベクトルとは、物体の移動方向や移動量を表すものである。動きベクトルの向きは物体の移動方向を表し、動きベクトルの長さは、物体の移動量を表す。

処理はステップＳ１０７に進み、距離算出部２３は、互いに関連する第１画像の特徴点と第２画像の特徴点との視差を算出する。距離算出部２３は、算出した視差に基づいて、複数の特徴点に対応する実空間中の３次元座標を算出する。また、距離算出部２３は、互いに関連する第１画像の特徴点と、第２画像の特徴点との視差から、ステレオカメラ１０、１１から特徴点に対応する対象までの距離を算出する。

処理はステップＳ１０９に進み、センサ運動推定部２４は、ステレオカメラ１０、１１の３軸並進運動及び３軸回転運動を推定する。センサ運動推定部２４は、初回のステップＳ１０９では、センサ運動を推定しない。センサ運動推定部２４は、２回目以降のステップＳ１０９において、前回のステップＳ１０３において抽出された過去の画像の特徴点の３次元座標と、今回のステップＳ１０３において抽出された現在の画像の特徴点とから、センサ運動を推定する。

処理はステップＳ１１０に進み、絶対運動推定部２５は、ステップＳ１０９で推定されたセンサ運動を用いて、単位時刻前における特徴点の３次元座標を、現在のセンサ座標系に変換する。これにより、絶対運動推定部２５は、センサ運動の影響を取り除くことができる。絶対運動推定部２５は、センサ座標系において、単位時刻前における特徴点の３次元座標と、現在の特徴点における３次元座標との差分をとることで、現在の特徴点における絶対３次元運動を推定する。

処理はステップＳ１１１に進み、物体検出部２６は、路面からの高さが所定値以上である特徴点を移動物体を構成する複数の特徴点として抽出する。物体検出部２６は、抽出した特徴点と、その特徴点の近傍の特徴点との速度差が所定値以内の特徴点を同一物体上の特徴点としてクラスタリングする。これにより、物体検出部２６は、自車両の周囲の移動物体候補を抽出する。

処理はステップＳ１１３に進み、物体検出部２６は、移動物体候補を構成する特徴点の重心が、自車両から所定領域内にあるか否かを判定する。自車両の周囲の所定領域とは、特に限定されないが、例えば自車線に隣接する隣接車線を含む領域と定義されてもよい。移動物体候補を構成する特徴点の重心が、自車両から所定領域内にある場合、物体検出部２６は、移動物体候補は自車両の周囲を走行する物体であると判定する。例えば、図３に示すように、物体検出部２６は、移動物体候補は、隣接車線を走行する他車両６０であると判定する。なお、図３に示すシーンにおいて、他車両６０は、自車両５０と同様の速度で走行しているものとする。つまり、他車両６０は、自車両５０と並んで走行する並走車両である。また、図３に示す先行車両７０は、自車線において自車両５０の前方を走行している。

処理はステップＳ１１５に進み、物体追跡部２７は、オプティカルフローを用いて、単位時刻前の他車両６０に係る特徴点と現在の他車両６０に係る特徴点との対応付けを行い、他車両６０を追跡する。物体追跡部２７は、追跡した結果に基づいて他車両６０に係る特徴点の動きベクトルを算出する。

処理はステップＳ１１７に進み、割込み判定部２８は、ステップＳ１１５で算出された動きベクトルの自車線方向への道路幅方向における成分（横成分）の分散が閾値以上か否かを判定する。この点について以下詳細に説明する。ここでいう動きベクトルは、３次元絶対動きベクトルであるため、３軸の成分を有する。ここでは、３軸の成分のうち、２軸の成分に着目する。

図４に示すように、路面を平面として捉えた場合、動きベクトルの成分は、道路の進行方向の成分と、道路幅方向の成分に分けられる。これら２つの成分は、上記の２軸の成分に相当する。以下では、道路の進行方向の成分を縦成分と表現することがある。また、道路幅方向の成分を横成分と表現することがある。

図４に示すように、他車両６０は、自車線に割り込むとき、ハンドルを左に切る。このとき、他車両６０の前方部分の動きベクトルは後方部分の動きベクトルと比較して左に傾く。すなわち、他車両６０の前方部分の動きベクトルは後方部分の動きベクトルと比較して、自車線方向への横成分が大きくなる。もちろん、後方部分の動きベクトルの自車線方向への横成分について、前方部分の動きベクトルの自車線方向への横成分より小さいものの、横成分はゼロではない。つまり、図４に示すシーンにおいて、他車両６０に係るすべての動きベクトルの横成分は、ゼロより大きい。割込み判定部２８は、他車両６０に係るすべての動きベクトルの横成分の分散を算出し、算出した分散と閾値とを比較する。自車線方向への横成分の分散が閾値以上である場合、他車両６０は左に傾いているため、自車線に割り込む可能性が高い。そこで、割込み判定部２８は、自車線方向への横成分の分散が閾値以上である場合、他車両６０は自車線に割り込むと判定する。これにより、割込み判定部２８は、上述した従来技術のように他車両６０が自車線に接近することを待つことなく、割り込みを早期に判定できる。

なお、図４に示すシーンにおいて、他車両６０が直進走行している場合、動きベクトルの横成分の分散は、ゼロとなる。換言すれば、他車両６０が直進走行している場合、動きベクトルの成分は縦成分のみとなる。なお、鉛直方向の成分は、ここでは考慮しない。つまり、動きベクトルの横成分の分散とは、道路の進行方向に対する動きベクトルの傾きと定義されてもよい。この場合の傾きは、特に限定されないが、例えば１０度である。また、図４に示す状態において他車両６０が右にハンドルを切った場合は、自車線方向とは逆方向への動きベクトルの横成分の分散が閾値以上となるため、割込み判定部２８は、他車両６０は自車線とは逆方向へ車線変更する、あるいは右折することを判定することができる。すなわち、割込み判定部２８は、他車両６０の動きベクトルの横成分の分散が閾値以上か否かによって、他車両６０の車線変更を含めた進路変更を検出して、他車両６０が自車線に割り込む可能性が有ることを検出できる。さらに、割込み判定部２８は、動きベクトルの横成分の方向が自車線方向で有るか否かに基づいて、他車両６０の進路変更の方向が自車線方向であるか否か、すなわち他車両６０が自車線に割り込むか否かを判定することができる。

他車両６０が自車線に割り込むためにハンドルを左に切る場合、他車両６０の車体の動きベクトルは先頭から後方に向かって順番に左に傾いていく。このため、割込み判定部２８は、他車両６０の先頭部分のみの動きベクトルの、自車線方向への横成分の分散に基づいて、割り込みを判定してもよい。また、割込み判定部２８は、他車両６０の中心から先頭部分にかかる動きベクトルの分散に基づいて、割り込みを判定してもよい。他車両６０に係るすべての動きベクトルが抽出されるためには、画像に他車両６０の全体が写る必要がある。これには時間を要する場合がある。そこで他車両６０の一部分の動きベクトルの分散が用いられることにより、画像に他車両６０の全体が写るまで待つ必要がなくなる。すなわち、割込み判定部２８は、他車両６０の一部分の動きベクトルの横成分の分散を用いることにより、より早く割り込みを判定しうる。

図２に示すフローチャートにおいて、ステップＳ１１７でＹｅｓの場合、処理はステップＳ１１９に進むが、これに限定されない。ステップＳ１１７でＹｅｓの場合、処理はステップＳ１２３に進んでもよい。すなわち、本実施形態において、割込み判定部２８は、他車両６０の動きベクトルの横成分の分散のみに基づいて、割り込みを判定してもよい。ステップＳ１１９において、割込み判定部２８は、３次元絶対動きベクトルに基づいて他車両６０の横移動量及び速度を推定する。処理はステップＳ１２１に進み、割込み判定部２８は、ステップＳ１１９で推定した他車両６０の横移動量及び速度に基づいて、他車両６０の軌道を予測する。具体的には、割込み判定部２８は、他車両６０の軌道が所定時間内に自車線に進入する軌道か否か予測する。割込み判定部２８がステップＳ１１７の後にステップＳ１１９、１２１の処理を行う理由は、精度よく割り込みを判定するためである。ステップＳ１２１でＹｅｓの場合、処理はステップＳ１２３に進み、割込み判定部２８は、他車両６０は自車線に割り込むと判定する。このように、割込み判定部２８は、動きベクトルの横成分の分散と他車両６０の軌道を用いることにより、精度よく割り込みを判定できる。

ステップＳ１１７で用いられる閾値は、予め実験やシミュレーションによって設定され、記憶部に記憶される。また、この閾値は、適宜変更され得る。本実施形態において、割込み判定部２８が他車両６０の割り込みを判定する際、他車両６０は、自車両５０から所定領域内に居ると想定される。あるいは、他車両６０は、自車線から所定領域内に居ると想定される。そのため、ステップＳ１１３において、物体検出部２６は、特徴点の重心が、自車両５０から所定領域内にあるか否かを判定する。ただし、物体検出部２６は、このような判定を行わなくてもよい場合がある。自車両５０と他車両６０との間の距離に応じて、他車両６０の動きベクトルの横成分は、変化しうる。ここで、他車両６０が自車両５０の近くに居る場合と、他車両６０が自車両５０の遠くに居る場合とに分けて考える。この２つのケースにおいて、他車両６０がハンドルを左に切った場合を考える。このとき、ハンドルの傾きは、２つのケースにおいて同じである。しかし、ハンドルの傾きが同じであるにも関わらず、観測される動きベクトルの横成分は、異なる。他車両６０が自車両５０の近くに居る場合は、他車両６０が自車両５０の遠くに居る場合と比較して、観測される動きベクトルの横成分は、大きくなる。換言すれば、他車両６０が自車両５０の遠くに居る場合は、他車両６０が自車両５０の近くに居る場合と比較して、観測される動きベクトルの横成分は、小さくなる。要するに、ステップＳ１１７で用いられる閾値が適宜変更されることにより、他車両６０が自車両５０の近くに居るか否かは、動きベクトルの横成分の分散の大きさによって判定され得る。したがってこのような場合、物体検出部２６は、上記の判定を行わなくてもよい。また、上述の通りステップＳ１１７においては、他車両６０の動きベクトルの自車線方向への道路幅方向における成分（横成分）の分散が閾値以上である場合に、割込み判定部２８は他車両６０が自車線に割り込むことを判定すると述べたが、これに限定されない。例えばステップＳ１１７においては、他車両６０の動きベクトルの道路幅方向における成分（横成分）が自車線方向か否かに関係なく、横成分の分散が閾値以上か否かによって割込み判定部２８は他車両６０の車線変更を含めた進路変更を検出して他車両６０が自車線に割り込む可能性が有ると判定してもよい。この場合において、さらにステップＳ１２１で他車両６０の軌道が自車線に侵入する軌道と判定された場合に、割込み判定部２８は他車両６０が自車線に割り込むと判定してもよい。

以上説明したように、本実施形態に係る物体検出装置１００によれば、以下の作用効果が得られる。

物体検出装置１００は、自車両５０の周囲の画像を取得し、取得された画像から複数の特徴点を抽出する。また、物体検出装置１００は、複数の特徴点の中から、移動物体（他車両６０）を構成する複数の特徴点を抽出する。物体検出装置１００は、異なる時刻に取得された複数の画像から移動物体を構成する複数の特徴点の動きベクトルの分散を算出する。物体検出装置１００は、動きベクトルの道路幅方向における成分の分散が閾値以上である場合、移動物体が自車線に割り込む可能性が有ると判定する。さらに、移動物体が自車線に割り込む可能性が有ると判定された場合に、移動物体の動きベクトルの横成分の方向が自車線方向で有るか否かに基づいて、物体検出装置１００は、移動物体が自車線に割り込むか否かを判定することができる。つまり、物体検出装置１００は、動きベクトルの道路幅方向における成分が閾値以上である場合であって、且つ動きベクトルの道路幅方向における成分が自車両が走行する車線方向である場合に、移動物体は自車両が走行する車線に割り込むと判定する。これにより、物体検出装置１００は、上述した従来技術のように移動物体が自車線に接近することを待つことなく、割り込みを早期に判定できる。

物体検出装置１００は、路面からの高さが所定値以上である特徴点を移動物体を構成する複数の特徴点として抽出する。これにより、移動物体の特徴点と、路面の特徴点とが区別され、物体検出装置１００が路面を移動物体候補として誤検出することが抑制される。

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。また、物体検出装置１００は、コンピュータの機能を改善しうる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

特徴点を抽出する方法は上記の方法に限定されない。例えば、パターン認識によって特徴点が抽出されてもよい。パターン認識とは、画像から得られる輝度、反射率などのパターンを機械学習させ、機械学習させたパターン画像を用いる方法である。具体的には、物体検出装置１００は、予め設定されたパターン画像を用いたパターン認識により物体を検出し、検出された物体が占める画像上の領域の中から抽出された複数の特徴点が、自車両５０から一定範囲内に有るとき、複数の特徴点を移動物体を構成する複数の特徴点として抽出してもよい。このようなパターン認識によっても、特徴点は抽出される。

また、移動物体を検出する方法は上記の方法に限定されない。例えば、自車両５０に搭載されたレーダ、ライダ、またはソナーが移動物体を検出してもよい。これにより、移動物体の検出精度が向上する。

また、図３に示すように、物体検出装置１００は、自車両５０と先行車両７０との間の距離に応じて、割り込み判定に使用する閾値を変更してもよい。例えば、物体検出装置１００は、自車両５０と先行車両７０との間の距離が大きい場合は小さい場合と比較して、閾値を小さくしてもよい。自車両５０と先行車両７０との間の距離が大きい場合、他車両６０は、比較的容易に割り込みできる。よって、物体検出装置１００は、閾値を小さくして割り込みを判定することにより、より早く割り込みを判定できる。一方、自車両５０と先行車両７０との間の距離が小さい場合、他車両６０の割り込みは困難である。よって、物体検出装置１００は、閾値を大きくして割り込みを判定することにより、割り込みの誤判定が抑制される。

また、物体検出装置１００は、自車両５０と、複数の特徴点とのそれぞれの距離のうち、もっとも短い距離が所定値以下の場合、移動物体は自車両５０が走行する車線に割り込むと判定してもよい（第２所定値）。もっとも短い距離が所定値以下ということは、移動物体は自車線によっていると考えられる。この判定により、物体検出装置１００は、精度よく割り込みを判定できる。

また、物体検出装置１００は、走行道路の形状に応じて割り込み判定に使用する閾値を変更してもよい。例えば、図５に示すように、物体検出装置１００は、走行道路がカーブである場合、走行道路が直線である場合と比較して、閾値を大きくしてもよい。カーブでは、動きベクトルの横成分が大きくなる傾向がある。そこで、物体検出装置１００は、閾値を大きくして割り込みを判定することにより、割り込みの誤判定が抑制される。なお、走行道路の形状がカーブか否かについて、物体検出装置１００は、道路区分線の形状から判定してもよく、地図データベースを用いて判定してもよい。

また、物体検出装置１００は、他車両６０の速度に応じて割り込み判定に使用する閾値を変更してもよい。例えば、物体検出装置１００は、他車両６０の速度が速い場合は、遅い場合と比較して閾値を小さくしてもよい。

また、物体検出装置１００は、道路幅方向における他車両６０の位置に応じて割り込み判定に使用する閾値を変更してもよい。例えば、物体検出装置１００は、他車両６０が自車線から近い位置に居る場合は、自車線から遠い位置に居る場合と比較して閾値を小さくしてもよい。これにより、他車両６０が自車線から近い位置に居る場合、物体検出装置１００は、素早く割り込みを判定できる。また、物体検出装置１００は、他車両６０が自車線から遠い位置に居る場合は、自車線から近い位置に居る場合と比較して閾値を大きくしてもよい。他車両６０が自車線から遠い位置に居る場合、他車両６０のハンドル操作は他車両６０の位置を車線の中央に戻すことを意図している可能性がある。そこで、物体検出装置１００は、閾値を大きくして割り込みを判定することにより、割り込みの誤判定が抑制される。

１０、１１ステレオカメラ
２０コントローラ
２１特徴点検出部
２２オプティカルフロー算出部
２３距離算出部
２４センサ運動推定部
２５絶対運動推定部
２６物体検出部
２７物体追跡部
２８割込み判定部
３０車両制御部
１００物体検出装置

Claims

自車両の周囲の画像を取得し、
前記画像から複数の特徴点を抽出し、
前記複数の特徴点の中から、移動物体を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記移動物体を構成する複数の特徴点の動きベクトルの分散を算出し、
前記動きベクトルの道路幅方向における成分の分散が閾値以上である場合、前記移動物体は前記自車両が走行する車線に割り込む可能性が有ると判定する
ことを特徴とする物体検出方法。
路面からの高さが第１所定値以上である特徴点を前記移動物体を構成する複数の特徴点として抽出する
ことを特徴とする請求項１に記載の物体検出方法。
予め設定されたパターン画像を用いたパターン認識により物体を検出し、検出された物体が占める画像上の領域の中から抽出された複数の特徴点が前記自車両から一定範囲内に有るとき、前記複数の特徴点を前記移動物体を構成する複数の特徴点として抽出する
ことを特徴とする請求項１または２に記載の物体検出方法。
前記自車両に搭載されたレーダ、ライダ、またはソナーを用いて前記移動物体を検出する
ことを特徴とする請求項１～３のいずれか１項に記載の物体検出方法。
前記自車両と、前記自車両が走行する車線の前方を走行する先行車両との間の距離に応じて、前記閾値を変更する
ことを特徴とする請求項１～４のいずれか１項に記載の物体検出方法。
前記自車両と、前記複数の特徴点とのそれぞれの距離のうち、もっとも短い距離が第２所定値以下の場合、前記移動物体は前記自車両が走行する車線に割り込むと判定する
ことを特徴とする請求項１～５のいずれか１項に記載の物体検出方法。
前記自車両がカーブを走行している場合、前記閾値を大きくする
ことを特徴とする請求項１～６のいずれか１項に記載の物体検出方法。
前記動きベクトルの道路幅方向における成分が閾値以上である場合であって、且つ前記動きベクトルの道路幅方向における成分が前記自車両が走行する車線方向である場合に、前記移動物体は前記自車両が走行する車線に割り込むと判定する
ことを特徴とする請求項１～７のいずれか１項に記載の物体検出方法。
自車両に搭載され、前記自車両の周囲の画像を取得するカメラと、
制御部と、
を備え、
前記制御部は、
前記画像から複数の特徴点を抽出し、
前記複数の特徴点の中から、移動物体を構成する複数の特徴点を抽出し、
異なる時刻に取得された複数の画像から前記移動物体を構成する複数の特徴点の動きベクトルの分散を算出し、
前記動きベクトルの道路幅方向における成分の分散が閾値以上である場合、前記移動物体は前記自車両が走行する車線に割り込む可能性が有ると判定する
ことを特徴とする物体検出装置。