JP6584862B2 - 物体検出装置、物体検出システム、物体検出方法及びプログラム - Google Patents

Description

本発明は、車両の周辺の物体を検出する技術に関する。

従来より、車両の周辺を撮影するカメラで得られた撮影画像を用いて物体を検出する物体検出装置が提案されている。物体検出装置は、例えば、フロントカメラで得られた撮影画像に基づいて物体を検出する。このような物体検出装置の検出結果をユーザ（主にドライバ）に報知することにより、ユーザは見通しの悪い交差点や駐車場などにおいて死角となる位置から接近する他の車両等の物体を容易に把握できる。

このような物体検出装置における物体の検出方式として、オプティカルフロー方式が知られている。オプティカルフロー方式は、周期的に得られる撮影画像（フレーム）から特徴点を抽出し、撮影画像間での特徴点の動きを示すベクトルであるオプティカルフローを導出する。そして、このオプティカルフローに基づいて、自車両の周辺の物体を検出する（例えば、特許文献１参照。）。

特開２０１４−１４６０８３号公報

ところで、オプティカルフロー方式を採用した場合、自車両の走行中においては、移動する物体だけではなく、背景に関してもオプティカルフローが導出される。このような背景に係るオプティカルフローは物体の誤検出の要因となる。

従来の物体検出装置では、このような物体の誤検出を回避するように物体の検出感度が一定に定められている。このため、物体検出装置の物体の検出性能を向上することは難しかった。

本発明は、上記課題に鑑みてなされたものであり、物体の検出性能を向上する技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両の周辺の物体を検出する物体検出装置であって、前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、前記導出手段が導出したオプティカルフローのうちから、処理対象として残すオプティカルフローを選択するフロー選択手段と、前記選択されたオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループのサイズに影響するパラメータを用いてグループ化して、グループを導出するグループ化手段と、前記グループのサイズに基づいて物体を検出する検出手段と、前記車両の速度を取得する取得手段と、前記車両の速度が低いほど、前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する設定手段と、を備えている。

また、請求項２の発明は、請求項１に記載の物体検出装置において、前記車両の速度に応じて、前記車両が停車中か走行中かを判定する判定手段、をさらに備え、前記物体検出装置は、前記停車中は前記走行中と比較して前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する。

また、請求項３の発明は、請求項１または２に記載の物体検出装置において、前記グループ化手段は、前記オプティカルフローに係る特徴点のそれぞれの位置に第１方向に沿った一次元のラインデータを設定する第１手段と、前記第１方向に直交する第２方向における前記ラインデータのドットの数を度数とするヒストグラムを生成する第２手段と、前記度数が第１閾値以上となる前記ヒストグラムの範囲に基づいて、前記グループの前記第１方向における範囲を示す範囲データを導出する第３手段と、を備えている。

また、請求項４の発明は、請求項３に記載の物体検出装置において、前記パラメータは、前記ラインデータのサイズを含む。

また、請求項５の発明は、請求項３または４に記載の物体検出装置において、前記パラメータは、前記第１閾値を含む。

また、請求項６の発明は、請求項３ないし５のいずれかに記載の物体検出装置において、前記第３手段は、前記度数が前記第１閾値以上となる前記ヒストグラムの範囲を示す一次元のデータを前記範囲データとして導出し、隣接する２つの範囲データ同士の間隔が第２閾値以下の場合に、該２つの範囲データを結合して一つの範囲データとするものであり、前記パラメータは、前記第２閾値を含む。

また、請求項７の発明は、車両の周辺の物体を検出する物体検出システムであって、前記車両の周辺を撮影するカメラと、前記カメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、前記導出手段が導出したオプティカルフローのうちから、処理対象として残すオプティカルフローを選択するフロー選択手段と、前記選択されたオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループのサイズに影響するパラメータを用いてグループ化して、グループを導出するグループ化手段と、前記グループのサイズに基づいて物体を検出する検出手段と、前記車両の速度を取得する取得手段と、前記車両の速度が低いほど、前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する設定手段と、を備えている。

また、請求項８の発明は、車両の周辺の物体を検出する物体検出方法であって、（ａ）前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、（ｂ）前記導出工程で導出したオプティカルフローのうちから、処理対象として残すオプティカルフローを選択する工程と、（ｃ）前記選択された前記オプティカルフローに係る特徴点を該特徴点の位置に基づいてグループのサイズに影響するパラメータを用いてグループ化して、グループを導出する工程と、（ｄ）前記グループのサイズに基づいて物体を検出する工程と、（ｅ）前記車両の速度を取得する工程と、（ｆ）前記車両の速度が低いほど、前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する工程と、を備えている。

また、請求項９の発明は、車両において用いられるコンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、（ｂ）前記導出工程で導出したオプティカルフローのうちから、処理対象として残すオプティカルフローを選択する工程と、（ｃ）前記選択されたオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループのサイズに影響するパラメータを用いてグループ化して、グループを導出する工程と、（ｄ）前記グループのサイズに基づいて物体を検出する工程と、（ｅ）前記車両の速度を取得する工程と、（ｆ）前記車両の速度が低いほど、前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する工程と、を実行させる。

請求項１ないし９の発明によれば、車両の速度が低いほどグループのサイズが大きくなるように、グループのサイズに影響するパラメータを設定する。このため、車両の速度が低いほど、物体の検出感度を上げて物体の検出性能を向上できる。

また、特に請求項２の発明によれば、車両の停車中は、走行中と比較してグループのサイズが大きくなるように、グループのサイズに影響するパラメータを設定する。このため、車両の停車中は、物体の検出感度を上げて物体の検出性能を向上できる。一方で、車両の走行中は、物体の検出感度を下げて物体の誤検出を防止できる。

また、特に請求項４の発明によれば、ラインデータのサイズを設定することにより、物体の検出感度を容易に調整できる。

また、特に請求項５の発明によれば、第１閾値を設定することにより、物体の検出感度を容易に調整できる。

また、特に請求項６の発明によれば、第２閾値を設定することにより、物体の検出感度を容易に調整できる。

図１は、物体検出システムの概略構成を示す図である。 図２は、２つのカメラがそれぞれ撮影する方向を示す図である。 図３は、物体検出システムが利用される場面の一例を示す図である。 図４は、グループ化部が備える機能を示すブロック図である。 図５は、表示画像の一例を示す図である。 図６は、フロントカメラで取得された撮影画像の例を示す図である。 図７は、フロントカメラで取得された撮影画像の例を示す図である。 図８は、フロントカメラで取得された撮影画像の例を示す図である。 図９は、オプティカルフロー方式の物体検出処理の流れを示す図である。 図１０は、物体検出処理における検出領域の状態の遷移を示す図である。 図１１は、特徴点をグループ化する手法を説明する図である。 図１２は、特徴点をグループ化する手法を説明する図である。 図１３は、特徴点をグループ化する手法を説明する図である。 図１４は、物体検出装置の動作の流れを示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．システムの構成＞
図１は、本実施の形態の物体検出システム１０の概略構成を示す図である。物体検出システム１０は、自動車などの車両において用いられる。物体検出システム１０は、車両の周辺を移動する物体を検出し、物体を検出した場合はその検出結果をユーザに報知する機能を有している。以下、物体検出システム１０が用いられる車両を「自車両」という。

物体検出システム１０は、撮影画像を表示する表示装置３と、音を発生するスピーカ４とを備えている。表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに報知する。表示装置３は、目的地までのルートを案内するナビゲーション機能など、基本的な表示機能以外の機能を備えていてもよい。スピーカ４は、自車両の車室内に配置され、音により情報をユーザに報知する。

また、物体検出システム１０は、自車両の周辺を撮影して撮影画像を得る複数のカメラ２を備えている。複数のカメラ２はそれぞれ、レンズと撮像素子と画像処理部とを備えており、電子的に撮影画像を取得し、取得した撮影画像に所定の画像処理を行う。各カメラ２は、所定の周期（例えば、１／３０秒周期）で周期的に撮影画像を取得する。

複数のカメラ２は、フロントカメラ２Ｆとバックカメラ２Ｂとを含んでいる。図２は、２つのカメラ２Ｆ，２Ｂがそれぞれ撮影する方向を示す図である。

図に示すように、フロントカメラ２Ｆは、自車両９の前端のバンパーに設けられ、その光軸２１Ｆは自車両９の前後方向に沿って前方に向けられる。したがって、フロントカメラ２Ｆは、自車両９の前方を撮影して、自車両９の前方の様子を示す撮影画像を取得する。また、バックカメラ２Ｂは、自車両９の後端の背面ドア９２に設けられ、その光軸２１Ｂは自車両９の前後方向に沿って後方に向けられる。したがって、バックカメラ２Ｂは、自車両９の後方を撮影して、自車両９の後方の様子を示す撮影画像を取得する。

これらのカメラ２のレンズには魚眼レンズが採用され、各カメラ２は１８０度以上の画角θを有している。このため、フロントカメラ２Ｆは、自車両９の前方に広がる左右方向に１８０度以上の領域を撮影することが可能であり、バックカメラ２Ｂは、自車両９の後方に広がる左右方向に１８０度以上の領域を撮影することが可能である。

物体検出システム１０は、これら２つのカメラ２のうち、動作モードに応じて選択されるカメラ２で得られた撮影画像を表示装置３において表示する。物体検出システム１０は、フロントモードではフロントカメラ２Ｆで得られた撮影画像を表示し、バックモードではバックカメラ２Ｂで得られた撮影画像を表示する。このような動作モードは、例えば、自車両９の進行方向に応じて切り替えられる。これにより、ユーザは進行方向における自車両９の周辺の様子を略リアルタイムに把握できる。

また、物体検出システム１０は、動作モードに応じたカメラ２で得られた撮影画像に基いて自車両９に接近する物体を検出する。そして、物体を検出した場合は、物体検出システム１０は、表示装置３及びスピーカ４を介して検出結果をユーザに報知する。これにより、ユーザは、見通しの悪い交差点や駐車場などにおいて、ユーザの死角となる位置から接近する物体を容易に把握できる。

図３は、物体検出システム１０が利用される場面の一例を示す図である。図３においては、自車両９が見通しの悪い交差点に差し掛かった場面を示している。物体検出システム１０の動作モードは、フロントモードとなっている。前述のように、フロントカメラ２Ｆは１８０度以上の画角θを有している。このため、図３に示すように、自車両９の前端のみが交差点に進入した状態において、フロントカメラ２Ｆは、交差点内の左右に広がった領域を撮影可能である。したがって、物体検出システム１０は、自車両９が存在する道路Ｒ１に対して略直交する他方の道路Ｒ２の様子を示す撮影画像を取得でき、この撮影画像を表示装置３に表示できる。

また、このように取得された撮影画像には、他方の道路Ｒ２を移動して左側又は右側から自車両９に接近する物体（他の車両８や歩行者など）の像が含まれる。物体検出システム１０は、この撮影画像を用いることで自車両９に接近する物体を検出し、その検出結果をユーザに報知する。このため、ユーザは、自車両９の全体を交差点に侵入させる前に、自車両９に接近する物体を容易に把握できる。

図１に戻り、物体検出システム１０は、カメラ２で取得された撮影画像に基づいて自車両９に接近する物体を検出するための物体検出装置１を備えている。物体検出装置１は、自車両９に搭載される車載装置であってもよく、ユーザが自車両９に持ち込むスマートフォンなどの携帯装置であってもよい。物体検出装置１は、画像取得部１２、画像処理回路１３、及び、画像出力部１４を備えている。

画像取得部１２は、動作モードに応じたカメラ２で得られる撮影画像を取得する。画像取得部１２は、所定の周期（例えば、１／３０秒周期）で周期的に撮影画像をカメラ２から取得する。画像取得部１２が取得する一の撮影画像は、映像信号の一のフレームとなる。

画像処理回路１３は、画像取得部１２が取得した撮影画像に対して所定の画像処理を実行するＡＳＩＣやＦＰＧＡなどのハードウェア回路である。画像処理回路１３は、オプティカルフロー方式で物体を検出する物体検出処理を実行する。図中に示す、フロー導出部５１、フロー選択部５２、グループ化部５３及び物体検出部５４は、この物体検出処理に係る機能である。

フロー導出部５１は、カメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する。フロー選択部５２は、フロー導出部５１に導出されたオプティカルフローのうちから、特定の向きのオプティカルフローを処理対象として選択する。

グループ化部５３は、選択された特定の向きのオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループ化して、特徴点のグループを導出する。図４は、グループ化部５３が備える機能を示すブロック図である。グループ化部５３は、ラインデータ設定部５３ａ、ヒストグラム生成部５３ｂ、範囲データ導出部５３ｃ及び範囲データ結合部５３ｄを、機能として備えている。これらの機能の詳細については後述する。

図１に戻り、物体検出部５４は、グループ化部５３に導出されたグループのサイズに基づいて物体を検出する。物体検出部５４が物体を検出した場合は、画像処理回路１３は物体検出処理の検出結果を出力する。

画像出力部１４は、撮影画像とともに各種情報を含む表示画像を生成し、ＮＴＳＣなどの所定形式の映像信号に変換して表示装置３に出力する。これにより、撮影画像を含む表示画像が表示装置３において表示される。

また、物体検出装置１は、操作スイッチ１５、信号受信部１６、音声出力部１７、記憶部１８、及び、制御部１１を備えている。

操作スイッチ１５は、自車両９の車室内に設けられるスイッチである。操作スイッチ１５は、ユーザの操作を受け付け、操作内容を示す信号を制御部１１に入力する。

信号受信部１６は、自車両９に設けられる車載ネットワーク９１を介して、他の装置からの信号を受信して、自車両９の車両状態を取得する。信号受信部１６は、受信した信号を制御部１１に入力する。

信号受信部１６は、シフトセンサ７１及び速度センサ７２が送出する信号を受信する。シフトセンサ７１は、自車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を送出する。このシフトポジションは、自車両９の進行方向を示す。速度センサ７２は、自車両９の車輪軸の回転に基いて速度を検出し、自車両９の速度を示す信号を送出する。これにより、信号受信部１６は、シフトポジション及び速度を、自車両９の車両状態として取得する。

音声出力部１７は、制御部１１からの信号に基いて音声信号を生成して、スピーカ４に出力する。これにより、スピーカ４が、警告音などの音を発生する。

記憶部１８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部１８は、例えば、ファームウェアとしてのプログラム１８ａを記憶する。

制御部１１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理回路１３を含む物体検出装置１の各部を制御する。制御部１１は、例えば、信号受信部１６が取得したシフトポジション、及び、操作スイッチ１５の操作内容などに応じて、物体検出システム１０の動作モードを変更する。

制御部１１の各種の機能は、ソフトウェアで実現される。すなわち、制御部１１の機能は、記憶部１８に記憶されたプログラム１８ａの実行（プログラム１８ａに従ったＣＰＵの演算処理）によって実現される。図中の停車判定部６０、パラメータ設定部６１及び結果報知部６２は、プログラム１８ａの実行により実現される機能の一部である。

停車判定部６０は、信号受信部１６が取得した自車両９の速度に基づいて、自車両９が停車中か走行中かを判定する。

パラメータ設定部６１は、所定のパラメータを設定することで、物体検出装置１の物体の検出感度を調整する。パラメータ設定部６１は、停車判定部６０の判定結果に応じてパラメータを設定する。パラメータ設定部６１は、グループ化部５３が特徴点をグループ化する処理に用いるパラメータを設定する。パラメータ設定部６１が設定するパラメータの詳細については後述する。

結果報知部６２は、画像処理回路１３による物体検出処理の検出結果をユーザに報知する。結果報知部６２は、画像処理回路１３が出力する検出結果を受け取る。そして、結果報知部６２は、画像出力部１４に信号を送出して、検出結果を示す表示画像を画像出力部１４に生成させる。これにより、検出結果を示す表示画像が表示装置３において表示される。また、結果報知部６２は、音声出力部１７に信号を送出して、検出結果に応じた音声信号を音声出力部１７に生成させる。これにより、検出結果に応じた警告音がスピーカ４から発生される。

図５は、フロントモードにおいて表示装置３に表示される表示画像３１の一例を示す図である。表示画像３１は、カメラ２で取得された撮影画像ＳＧと、物体検出処理の検出結果を示す指標となる２つの警告部ＡＦと、動作モードを示すアイコンＣとを含んでいる。

２つの警告部ＡＦは、上下に延びる矩形の領域であり、撮影画像ＳＧの左右にそれぞれ配置される。自車両９の右側から接近する物体が存在する場合は、図５に示すように右側の警告部ＡＦが所定の色（例えば、黄色）で点滅する。逆に、自車両９の左側から接近する物体が存在する場合は、左側の警告部ＡＦが所定の色で点滅する。

また、このように自車両９に接近する物体が存在する場合は、所定の警告音がスピーカ４から発生される。これにより、ユーザは、自車両９に接近する物体の存在とともに、その物体が存在する方向を容易に把握できる。

＜２．物体検出処理＞
次に、画像処理回路１３が実行する物体検出処理について説明する。前述のように、画像処理回路１３は、周期的に得られる複数の撮影画像（フレーム）を用いるフレーム相関方式の一つであるオプティカルフロー方式の物体検出処理で物体を検出する。

図６、図７及び図８は、フロントカメラ２Ｆで時系列的に取得された複数の撮影画像（フレーム）ＳＧの例を示している。図６の撮影画像ＳＧが最も古く、図８の撮影画像ＳＧが最も新しい。図６から図８の撮影画像ＳＧそれぞれには、自車両９に接近する同一の物体の像Ｏｂが含まれている。画像処理回路１３は、このような周期的に得られる複数の撮影画像ＳＧを用いてオプティカルフロー方式の物体検出処理を行なって、自車両９に接近する物体を検出する。

画像処理回路１３は、撮影画像ＳＧに設定される左右２つの検出領域ＴＡのそれぞれを対象にして物体検出処理を行なう。２つの検出領域ＴＡは、撮影画像ＳＧの上下中央付近に設定される。そして、一方の検出領域ＴＡは撮影画像ＳＧの左側、他方の検出領域ＴＡは撮影画像ＳＧの右側にそれぞれ設定される。これらの検出領域ＴＡは、理論的上の無限遠点である消失点（実際には平行な線の像が遠近法により交わる点）を含むことが望ましい。

図９は、オプティカルフロー方式の物体検出処理の流れを示す図である。この物体検出処理は、撮影画像の左右２つの検出領域ＴＡのそれぞれに関して個別に行われる。図１０は、物体検出処理における、撮影画像ＳＧの右側の検出領域ＴＡの状態の遷移を例示しており、状態ＳＴ１は物体検出処理を行う前の状態である。以下、これらの図９及び図１０を参照して、オプティカルフロー方式の物体検出処理について説明する。

物体検出処理は、カメラ２において周期的に得られる一の撮影画像（フレーム）ごとに実行される。物体検出処理の開始時点においては、今回の物体検出処理において処理対象となる一の撮影画像が取得されている。この説明において、今回の物体検出処理において処理対象となる一の撮影画像（直近の撮影画像）を「現フレーム」といい、前回の物体検出処理において処理対象となった撮影画像（直近の撮影画像の１フレーム前の撮影画像）を「前フレーム」という。

まず、フロー導出部５１が、現フレームの検出領域ＴＡにおける特徴点ＦＰを抽出する（ステップＳ２１）。特徴点ＦＰは、撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。フロー導出部５１は、例えば、ハリスオペレータなどの周知の手法を用いて現フレームの特徴点ＦＰを抽出する。フロー導出部５１は、移動する物体に係る特徴点ＦＰのみならず、背景となる被写体（以下、単に「背景」という。）に係る特徴点ＦＰも抽出する（図１０の状態ＳＴ２）。

次に、フロー導出部５１は、時間的に連続する２つの撮影画像の特徴点同士を対応付ける（ステップＳ２２）。フロー導出部５１は、今回の物体検出処理で抽出した現フレームの特徴点ＦＰと、前回の物体検出処理で抽出した前フレームの特徴点とを対応付ける。移動する物体に基づく特徴点は、時間的に連続する２つの撮影画像（フレーム）の間で異なる位置に現れる。このため、フロー導出部５１は、同一の物体の同一箇所に基づく特徴点同士を対応付ける。

前フレームの特徴点に関するデータは、画像処理回路１３のメモリに記憶される。フロー導出部５１は、前フレームの特徴点のそれぞれに関して、現フレームの特徴点ＦＰとの対応付けを試みる。フロー導出部５１は、例えば、前フレームの特徴点を中心とした比較的小さなサイズ（例えば、水平３×垂直３ドット）のブロックと、現フレームの特徴点ＦＰを中心とした同サイズのブロックとを比較する。そして、フロー導出部５１は、ブロックに含まれる画素値が近似する特徴点のペアを対応付ける。

次に、フロー導出部５１は、対応付けた特徴点のペアのそれぞれに関して、特徴点の動きを示すベクトルであるオプティカルフローを導出する（ステップＳ２３）。フロー導出部５１は、前回フレームの特徴点の位置から現フレームの特徴点ＦＰの位置に向かうベクトルをオプティカルフローとして導出する。フロー導出部５１が導出するオプティカルフローには、左向きのオプティカルフローＯＰ１と、右向きのオプティカルフローＯＰ２とが存在する（図１０の状態ＳＴ３）。

次に、フロー選択部５２は、フロー導出部５１が導出したオプティカルフローのうちから、特定の向きのオプティカルフローを選択する（ステップＳ２４）。通常、自車両９に接近する物体の像Ｏｂは、撮影画像ＳＧ中を内向き（撮影画像ＳＧの左右端部から中央側への向き）に移動する。このため、フロー選択部５２は、フロー導出部５１に導出されたオプティカルフローのうち、特定の向きとなる内向きのオプティカルフローを処理対象として残し、外向きのオプティカルフローを処理対象から除外する。

フロー選択部５２は、撮影画像ＳＧの右側の検出領域ＴＡでは左向きのオプティカルフローを処理対象として残し、撮影画像ＳＧの左側の検出領域ＴＡでは右向きのオプティカルフローを処理対象として残す。図１０に例示する検出領域ＴＡでは、フロー選択部５２は、左向きのオプティカルフローＯＰ１のみを処理対象として選択する（状態ＳＴ４）。

次に、グループ化部５３が、選択されたオプティカルフローに係る特徴点（現フレームの特徴点）を該特徴点の位置に基づいてグループ化して、特徴点のグループを導出する（ステップＳ２５）。グループ化部５３は、オプティカルフローに係る特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとしてグループ化する。このグループ化の処理の詳細については後述する。

次に、物体検出部５４は、グループ化部５３に導出されたグループのサイズに基づいて物体を検出する。物体検出部５４は、グループ化部５３に導出されたグループのサイズを所定の基準サイズ（例えば、水平１５×垂直１６ドット）と比較する。そして、物体検出部５４は、サイズが基準サイズより大となるグループを物体として検出する（ステップＳ２６）。

＜３．グループ化＞
次に、グループ化部５３が、特徴点ＦＰをグループ化して、特徴点ＦＰのグループを導出する処理（図９のステップＳ２５）についてより詳細に説明する。図１１、図１２及び図１３は、特徴点ＦＰをグループ化する手法を説明するための図である。なお、図１１においては、検出領域ＴＡの一部を拡大して示している。また、この説明では、水平方向をＸ軸（右側が正）、垂直方向をＹ軸（下側が正）とする。

まず、図１１に示すように、グループ化部５３のラインデータ設定部５３ａが、特徴点ＦＰのそれぞれの位置に、水平方向（Ｘ軸方向）に沿った一次元のラインデータＬを設定する。ラインデータＬは、特徴点ＦＰを中心とした所定サイズのドット（画素）の列である。ラインデータＬのサイズは、図１１の例では「５」ドットとしているが、パラメータとして変更可能とされている（詳細後述。）。

次に、グループ化部５３のヒストグラム生成部５３ｂが、垂直方向（Ｙ軸方向）におけるラインデータＬのドットの数を度数とするヒストグラムＨＸを生成する。ヒストグラム生成部５３ｂは、ラインデータＬのドットを参照し、横軸をＸ軸の各座標位置、縦軸をドットの数とするヒストグラムＨＸを生成する。このヒストグラムＨＸは、水平方向（Ｘ軸方向）の各位置における、垂直方向（Ｙ軸方向）に存在するラインデータＬのドットの数を度数として表す。

次に、グループ化部５３の範囲データ導出部５３ｃが、度数が閾値（以下、「度数閾値」という。）以上となるヒストグラムＨＸの範囲に基づいて、グループの水平方向（Ｘ軸方向）における範囲を示す水平範囲データＬＤを導出する。度数閾値Ｔａは、図１１の例では「３」ドットとしているが、パラメータとして変更可能とされている（詳細後述。）。

範囲データ導出部５３ｃは、ヒストグラムＨＸの度数と度数閾値Ｔａとを比較する。そして、図１１の下部に示すように、範囲データ導出部５３ｃは、度数が度数閾値Ｔａ以上となる水平方向（Ｘ軸方向）の範囲を示す一次元のデータを水平範囲データＬＤとして導出する。この水平範囲データＬＤが示す範囲は、検出領域ＴＡの水平方向（Ｘ軸方向）に関して、複数の特徴点ＦＰが互いに近傍に存在していた範囲に相当する。範囲データ導出部５３ｃは、複数の水平範囲データＬＤを導出する場合もある。

次に、グループ化部５３の範囲データ結合部５３ｄが、範囲データ導出部５３ｃに導出された水平範囲データＬＤのうち、互いに近接する範囲データＬＤ同士を結合して一つの水平範囲データＬＤとする。図１２に示すように、範囲データ結合部５３ｄは、隣接する２つの水平範囲データＬＤ同士の間隔Ｐｈを参照する。そして、範囲データ結合部５３ｄは、間隔Ｐｈが閾値（以下、「結合閾値」という。）以下の場合は、当該２つの水平範囲データＬＤを結合して一つの水平範囲データＬＤとする。結合閾値は、図１２の例では「２」ドットとしているが、パラメータとして変更可能とされている（詳細後述。）。

本来は一つの物体に係る水平範囲データＬＤは、ノイズ等の影響を受けて分断されて導出される場合がある。範囲データ結合部５３ｄは、このように分断された水平範囲データＬＤを結合することで、一つの物体に係る水平範囲データＬＤを適切に導出する。

このようにして、グループ化部５３は、水平範囲データＬＤを導出すると、続いて、グループの垂直方向（Ｙ軸方向）における範囲を示す垂直範囲データを導出する。この垂直範囲データを導出する手法は、水平範囲データを導出する手法をＸ軸とＹ軸とで入れ換えたものとなる。ただし、図１３に示すように、処理の対象とする水平方向（Ｘ軸方向）の範囲は、水平範囲データＬＤが存在する範囲（Ｘ１〜Ｘ２）に限定される。

具体的には、ラインデータ設定部５３ａが、水平範囲データＬＤが存在する範囲（Ｘ１〜Ｘ２）に含まれる特徴点ＦＰのそれぞれの位置に、垂直方向（Ｙ軸方向）に沿った一次元のラインデータを設定する。次に、ヒストグラム生成部５３ｂが、水平方向（Ｘ軸方向）におけるラインデータのドットの数を度数とするヒストグラムＨＹを生成する。次に、範囲データ導出部５３ｃが、度数が度数閾値Ｔｂ以上となるヒストグラムＨＹの範囲に基づいて、垂直範囲データＭＤを導出する。次に、範囲データ結合部５３ｄが、互いに近接する垂直範囲データＭＤ同士を結合して一つの垂直範囲データＭＤとする。この垂直範囲データＭＤが示す範囲は、検出領域ＴＡの垂直方向（Ｙ軸方向）に関して、複数の特徴点ＦＰが互いに近傍に存在していた範囲に相当する。

このように水平範囲データＬＤ及び垂直範囲データＭＤが導出されると、グループ化部５３は、図１３の下部に示すように、水平範囲データＬＤが示す水平方向（Ｘ軸方向）の範囲（Ｘ１〜Ｘ２）と、垂直範囲データＭＤが示す垂直方向（Ｙ軸方向）の範囲（Ｙ１〜Ｙ２）とで規定される矩形領域ＴＤを設定する。そして、グループ化部５３は、この矩形領域ＴＤに含まれる複数の特徴点ＦＰを一つのグループとしてグループ化する。矩形領域ＴＤのサイズが、グループのサイズとなる。グループ化部５３は、一つの検出領域ＴＡから複数のグループを導出する場合もある。

＜４．パラメータの変更＞
上述したオプティカルフロー方式の物体検出処理を採用した場合、自車両９の停車中においては、移動する物体以外の背景と自車両９との相対位置が変化しないため、背景に関してオプティカルフローが導出されることはない。

一方、自車両９の走行中においては、背景と自車両９との相対位置が変化するため、背景に関してもオプティカルフローが導出される。通常、このような背景に係るオプティカルフローは、外向きのオプティカルフローとなるため、処理対象から除外される。

しかしながら、特定の条件下では、背景に係るオプティカルフローが内向きとなる場合がある。例えば、自車両９の旋回中においては、背景に係るオプティカルフローが内向きとなる場合がある。また、道路標示や区画線（白線）などに係るオプティカルフローが、特徴点の誤追跡などに起因して内向きとなる場合がある。したがって、このような背景に係るオプティカルフローに起因して、背景が物体として誤検出される可能性がある。このような物体の誤検出を回避するため、自車両９の走行中においては、物体の検出感度を下げることが望ましい。

一方で、上述のように、背景に係るオプティカルフローは自車両９の走行中に導出されるが、自車両９の停車中には導出されない。したがって、自車両９の停車中においては、背景に係るオプティカルフローに起因する誤検出は発生しないため、物体の検出感度を上げることが望ましい。

このことから、本実施の形態の物体検出装置１は、自車両９の速度に応じて物体の検出感度を調整し、自車両９の速度が低いほど検出感度を上げる。より具体的には、物体検出装置１は、自車両９の走行中は物体の検出感度を相対的に下げる一方で、自車両９の停車中は物体の検出感度を相対的に上げるようにしている。これにより、自車両９の走行中は物体の誤検出を防止できるとともに、自車両９の停車中は物体検出装置１の物体の検出性能を向上できることになる。

本実施の形態の物体検出装置１は、このような物体の検出感度を調整するために、グループ化部５３により導出されるグループのサイズに影響するパラメータを、自車両９の速度に応じて設定するようにしている。

以下、このような物体検出装置１の動作について説明する。図１４は、物体検出装置１の動作の流れを示す図である。図１４に示す処理は一フレームごとに行われ、所定の周期（例えば、１／３０秒周期）で繰り返される。

まず、信号受信部１６が、自車両９の速度を取得する（ステップＳ１１）。信号受信部１６は、速度センサ７２から送出される信号を受信して、自車両９の速度を取得する。

次に、停車判定部６０が、信号受信部１６が取得した自車両９の速度に基づいて自車両９が停車中か走行中かを判定する（ステップＳ１２）。停車判定部６０は、自車両９の速度が所定の閾値（例えば、０．１ｋｍ／ｈ）未満の場合は、自車両９が停車中であると判定する。

次に、パラメータ設定部６１が、停車判定部６０の判定結果に応じて、グループのサイズに影響するパラメータを設定する。パラメータ設定部６１は、自車両９の停車中は、走行中と比較してグループのサイズが大きくなるようにパラメータを設定する。すなわち、自車両９が停車中の場合は（ステップＳ１２にてＹｅｓ）、パラメータ設定部６１は、グループのサイズが相対的に大きくなるようにパラメータを設定する（ステップＳ１３）。一方、自車両９が走行中の場合は（ステップＳ１２にてＮｏ）、パラメータ設定部６１は、グループのサイズが相対的に小さくなるようにパラメータを設定する（ステップＳ１４）。

パラメータ設定部６１は、グループのサイズに影響するパラメータとして、ラインデータのサイズ、度数閾値、及び、結合閾値を設定する。パラメータ設定部６１が設定したパラメータは、以降の物体検出処理（ステップＳ１６）において用いられる。

パラメータ設定部６１は、例えば、ラインデータのサイズを、自車両９が停車中の場合は「５」ドット、自車両９が走行中の場合は「３」ドットにそれぞれ設定する。ラインデータのサイズが大きいほど、ヒストグラムＨＸの度数の分布の範囲は大きくなる。したがって、自車両９の停車中は走行中と比較してグループのサイズが大きくなる。

また、パラメータ設定部６１は、例えば、度数閾値Ｔａ，Ｔｂを、自車両９が停車中の場合は「２」ドット、自車両９が走行中の場合は「３」ドットにそれぞれ設定する。度数閾値Ｔａ，Ｔｂが小さいほど、範囲データＬＤ，ＭＤが示す範囲が大きくなる。したがって、自車両９の停車中は走行中と比較してグループのサイズが大きくなる。

また、パラメータ設定部６１は、例えば、結合閾値を、自車両９が停車中の場合は「２」ドット、自車両９が走行中の場合は「１」ドットにそれぞれ設定する。結合閾値が大きいほど、隣接する２つの範囲データＬＤ，ＭＤ同士が結合されやすくなる。したがって、自車両９の停車中は走行中と比較してグループのサイズが大きくなる。

なお、この図１４に示す処理においては、ステップＳ１３またはステップＳ１４のいずれかにおいてパラメータ設定部６１がパラメータを必ず設定しているが、自車両９の状態が停車中と走行中との間で変化する場合にのみパラメータを設定してもよい。

パラメータ設定部６１がパラメータを設定すると、次に、画像取得部１２が、動作モードに応じたカメラ２から、今回の物体検出処理において処理対象となる一の撮影画像（フレーム）を取得する（ステップＳ１５）。

次に、画像処理回路１３が、画像取得部１２が取得した撮影画像、及び、パラメータ設定部６１が設定したパラメータを用いて物体検出処理を実行する（ステップＳ１６）。この物体検出処理の流れは、図９を用いて上述したとおりである。パラメータ設定部６１が設定したパラメータは、グループ化部５３が特徴点をグループ化する処理（ステップＳ２５）において用いられる。

パラメータ設定部６１が上述のようにパラメータを設定しているため、自車両９の停車中は走行中と比較してグループのサイズが大きくなる。このため、自車両９が停車中の場合は、物体が検出されやすくなって物体の検出感度が上がり、物体検出装置１の物体の検出性能を向上することができる。一方で、自車両９が走行中の場合は、物体が検出されにくくなって物体の検出感度が下がることから、背景などが物体として誤検出されることを防止できる。

物体検出処理において画像処理回路１３が物体を検出した場合は、画像処理回路１３は検出結果を制御部１１に出力する。制御部１１の結果報知部６２は、この物体検出処理の検出結果を受け取ると、該検出結果をユーザに報知する（ステップＳ１７）。結果報知部６２は、撮影画像とともに検出結果を示す表示画像を表示装置３に表示させる。さらに、結果報知部６２は、検出結果に応じた警告音をスピーカ４から発生させる。

以上のように、本実施の形態の物体検出装置１においては、フロー導出部５１が自車両９の周辺を撮影するカメラ２で周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する。そして、グループ化部５３がオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループ化してグループを導出し、物体検出部５４がグループのサイズに基づいて物体を検出する。また、信号受信部１６が自車両９の速度を取得し、パラメータ設定部６１が自車両９の速度が低いほどグループのサイズが大きくなるようにグループのサイズに影響するパラメータを設定する。

このため、自車両９の速度が低いほど、物体の検出感度を上げて物体の検出性能を向上することができる。

また、停車判定部６０が自車両９が停車中か走行中かを判定し、パラメータ設定部６１が停車中は走行中と比較してグループのサイズが大きくなるようにグループのサイズに影響するパラメータを設定する。

このため、自車両９の停車中は、物体の検出感度を上げて物体の検出性能を向上できる。一方で、自車両９の走行中は、物体の検出感度を下げて物体の誤検出を防止できる。

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、車両の周辺を撮影するカメラ２として、フロントカメラ２Ｆ及びバックカメラ２Ｂのいずれかを用いるものとして説明を行ったが、車両の左側方を撮影する左サイドカメラ、及び、車両の右側方を撮影する右サイドカメラなど他のカメラを用いてもよい。

また、上記実施の形態では、物体検出装置１は自車両９に接近する物体を検出するものとしていたが、自車両９から離れる物体など、接近する方向とは異なる方向に移動する物体を検出するものであってもよい。

また、上記実施の形態では、パラメータ設定部６１は、自車両９が停車中か走行中かに応じてパラメータを２つの段階で設定していた。これに対して、パラメータ設定部６１は、自車両９の速度に応じてパラメータを３つ以上の段階で設定するようにしてもよい。この場合においても、パラメータ設定部６１は、自車両９の速度が低いほどグループのサイズが大きくなるようにパラメータを設定することが望ましい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

例えば、上記実施の形態で、画像処理回路１３が実行する説明した処理の全部または一部は制御部１１が実行してもよい。また逆に、制御部１１が実行すると説明した処理の全部または一部は画像処理回路１３が実行してもよい。

１ 物体検出装置
５１ フロー導出部
５３ グループ化部
５３ａ ラインデータ設定部
５３ｂ ヒストグラム生成部
５３ｃ 範囲データ導出部
５３ｄ 範囲データ結合部
６１ パラメータ設定部
ＦＰ 特徴点
ＯＰ１ オプティカルフロー
ＯＰ２ オプティカルフロー

Claims (9)

1. 車両の周辺の物体を検出する物体検出装置であって、
   前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、
   前記導出手段が導出したオプティカルフローのうちから、処理対象として残すオプティカルフローを選択するフロー選択手段と、
   前記選択されたオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループのサイズに影響するパラメータを用いてグループ化して、グループを導出するグループ化手段と、
   前記グループのサイズに基づいて物体を検出する検出手段と、
   前記車両の速度を取得する取得手段と、
   前記車両の速度が低いほど、前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する設定手段と、
   を備えることを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記車両の速度に応じて、前記車両が停車中か走行中かを判定する判定手段、
   をさらに備え、
   前記物体検出装置は、前記停車中は前記走行中と比較して前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定することを特徴とする物体検出装置。
3. 請求項１または２に記載の物体検出装置において、
   前記グループ化手段は、
   前記オプティカルフローに係る特徴点のそれぞれの位置に第１方向に沿った一次元のラインデータを設定する第１手段と、
   前記第１方向に直交する第２方向における前記ラインデータのドットの数を度数とするヒストグラムを生成する第２手段と、
   前記度数が第１閾値以上となる前記ヒストグラムの範囲に基づいて、前記グループの前記第１方向における範囲を示す範囲データを導出する第３手段と、
   を備えることを特徴とする物体検出装置。
4. 請求項３に記載の物体検出装置において、
   前記パラメータは、前記ラインデータのサイズを含むことを特徴とする物体検出装置。
5. 請求項３または４に記載の物体検出装置において、
   前記パラメータは、前記第１閾値を含むことを特徴とする物体検出装置。
6. 請求項３ないし５のいずれかに記載の物体検出装置において、
   前記第３手段は、
   前記度数が前記第１閾値以上となる前記ヒストグラムの範囲を示す一次元のデータを前記範囲データとして導出し、
   隣接する２つの範囲データ同士の間隔が第２閾値以下の場合に、該２つの範囲データを結合して一つの範囲データとするものであり、
   前記パラメータは、前記第２閾値を含むことを特徴とする物体検出装置。
7. 車両の周辺の物体を検出する物体検出システムであって、
   前記車両の周辺を撮影するカメラと、
   前記カメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、
   前記導出手段が導出したオプティカルフローのうちから、処理対象として残すオプティカルフローを選択するフロー選択手段と、
   前記選択されたオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループのサイズに影響するパラメータを用いてグループ化して、グループを導出するグループ化手段と、
   前記グループのサイズに基づいて物体を検出する検出手段と、
   前記車両の速度を取得する取得手段と、
   前記車両の速度が低いほど、前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する設定手段と、
   を備えることを特徴とする物体検出システム。
8. 車両の周辺の物体を検出する物体検出方法であって、
   （ａ）前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、
   （ｂ）前記導出工程で導出したオプティカルフローのうちから、処理対象として残すオプティカルフローを選択する工程と、
   （ｃ）前記選択されたオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループのサイズに影響するパラメータを用いてグループ化して、グループを導出する工程と、
   （ｄ）前記グループのサイズに基づいて物体を検出する工程と、
   （ｅ）前記車両の速度を取得する工程と、
   （ｆ）前記車両の速度が低いほど、前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する工程と、
   を備えることを特徴とする物体検出方法。
9. 車両において用いられるコンピュータによって実行可能なプログラムであって、
   前記コンピュータに、
   （ａ）前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、
   （ｂ）前記導出工程で導出したオプティカルフローのうちから、処理対象として残すオプティカルフローを選択する工程と、
   （ｃ）前記選択されたオプティカルフローに係る特徴点を該特徴点の位置に基づいてグループのサイズに影響するパラメータを用いてグループ化して、グループを導出する工程と、
   （ｄ）前記グループのサイズに基づいて物体を検出する工程と、
   （ｅ）前記車両の速度を取得する工程と、
   （ｆ）前記車両の速度が低いほど、前記グループのサイズが大きくなるように、前記グループのサイズに影響するパラメータを設定する工程と、
   を実行させることを特徴とするプログラム。

Images