JP6532229B2 - 物体検出装置、物体検出システム、物体検出方法及びプログラム - Google Patents

Description

本発明は、車両の周辺の物体を検出する技術に関する。

従来より、車両の周辺を撮影するカメラで得られた撮影画像を用いて物体を検出する物体検出装置が提案されている。物体検出装置は、例えば、フロントカメラで得られた撮影画像に基づいて物体を検出する。このような物体検出装置の検出結果をユーザ（主にドライバ）に報知することにより、ユーザは見通しの悪い交差点や駐車場などにおいて死角となる位置から接近する他の車両等の物体を容易に把握できる。

このような物体検出装置における物体の検出方式として、オプティカルフロー方式が知られている。オプティカルフロー方式は、周期的に得られる撮影画像（フレーム）から特徴点を抽出し、撮影画像間での特徴点の動きを示すベクトルであるオプティカルフローを導出する。そして、このオプティカルフローに基づいて、自車両の周辺の物体を検出する（例えば、特許文献１参照。）。

特開２０１４−１４６０８３号公報

ところで、オプティカルフロー方式を採用した場合、自車両の走行中においては、移動する物体だけではなく、背景となる被写体に関してもオプティカルフローが導出される。このような背景となる被写体に係るオプティカルフローは物体の誤検出の要因となる。

従来の物体検出装置では、このような物体の誤検出を回避するように物体の検出感度が一定に定められている。このため、物体検出装置の物体の検出性能を向上することは難しかった。

本発明は、上記課題に鑑みてなされたものであり、物体の検出性能を向上する技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両の周辺の物体を検出する物体検出装
置であって、前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基
づいてオプティカルフローを導出する導出手段と、前記オプティカルフローに基づいて物
体を検出する検出手段と、前記車両の速度を取得する取得手段と、前記速度に応じて前記
特徴点の数に関わるパラメータを設定する設定手段と、を備え、前記設定手段は前記速度が低いほど前記特徴点の数が多くなるように前記パラメータを設定する。

また、請求項２の発明は、請求項１に記載の物体検出装置において、前記設定手段は、前記速度に基づいて前記車両が停車中か走行中かを判定し、前記停車中は、前記走行中と比較して前記特徴点の数が多くなるように前記パラメータを設定する。

また、請求項３の発明は、請求項１または２に記載の物体検出装置において、前記導出手段は、前記撮影画像の特徴点を抽出する抽出手段と、前記抽出手段に抽出された一の特徴点を中心とする評価領域に他の特徴点が含まれる場合に、該他の特徴点を前記オプティカルフローの導出対象から除外する除外手段と、を備え、前記パラメータは、前記評価領域のサイズを含む。

また、請求項４の発明は、請求項１または２に記載の物体検出装置において、前記導出手段は、一の撮影画像の画素値のみに基づく特徴点である第１特徴点を抽出する抽出手段と、前記一の撮影画像より前に取得された撮影画像の特徴点に対応する前記一の撮影画像中の点である第２特徴点を判定する判定手段と、前記第２特徴点を中心とする評価領域に前記第１特徴点が含まれる場合に、該第１特徴点を前記オプティカルフローの導出対象から除外する除外手段と、を備え、前記パラメータは、前記評価領域のサイズを含む。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の物体検出装置において、前記特徴点の抽出前の前記撮影画像を平滑化する平滑化手段、を備え、前記パラメータは、前記平滑化の強度を含む。

また、請求項６の発明は、請求項１ないし５のいずれかに記載の物体検出装置において、前記特徴点の抽出前の前記撮影画像を鮮鋭化する鮮鋭化手段、を備え、前記パラメータは、前記鮮鋭化の強度を含む。

また、請求項７の発明は、車両の周辺の物体を検出する物体検出システムであって、前
記車両の周辺を撮影するカメラと、前記カメラで周期的に得られる撮影画像の特徴点に基
づいてオプティカルフローを導出する導出手段と、前記オプティカルフローに基づいて物
体を検出する検出手段と、前記車両の速度を取得する取得手段と、前記速度に応じて前記
特徴点の数に関わるパラメータを設定する設定手段と、を備え、前記設定手段は前記速度が低いほど前記特徴点の数が多くなるように前記パラメータを設定する。

また、請求項８の発明は、車両の周辺の物体を検出する物体検出方法であって、（ａ）
前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプテ
ィカルフローを導出する工程と、（ｂ）前記オプティカルフローに基づいて物体を検出す
る工程と、（ｃ）前記車両の速度を取得する工程と、（ｄ）前記速度に応じて前記特徴点
の数に関わるパラメータを設定する工程と、を備え、前記工程（ｄ）は前記速度が低いほど前記特徴点の数が多くなるように前記パラメータを設定する。

また、請求項９の発明は、車両において用いられるコンピュータによって実行可能なプ
ログラムであって、前記コンピュータに、（ａ）前記車両の周辺を撮影するカメラで周期
的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、（ｂ）
前記オプティカルフローに基づいて物体を検出する工程と、（ｃ）前記車両の速度を取得
する工程と、（ｄ）前記速度に応じて前記特徴点の数に関わるパラメータを設定する工程
と、を実行させ、前記工程（ｄ）は前記速度が低いほど前記特徴点の数が多くなるように前記パラメータを設定する。

請求項１ないし９の発明によれば、車両の速度に応じて特徴点の数に関わるパラメータを設定するため、車両の速度に応じて物体の検出感度を適切に調整することで物体の検出性能を向上できる。

また、特に請求項２の発明によれば、車両の停車中は特徴点の数が多くなるようにパラメータを設定するため、車両の停車中は物体の検出感度を上げて物体の検出性能を向上できる。

また、特に請求項３の発明によれば、評価領域のサイズを設定することにより、物体の検出感度を調整できる。

また、特に請求項４の発明によれば、評価領域のサイズを設定することにより、物体の検出感度を調整できる。

また、特に請求項５の発明によれば、平滑化の強度を設定することにより、物体の検出感度を調整できる。

また、特に請求項６の発明によれば、鮮鋭化の強度を設定することにより、物体の検出感度を調整できる。

図１は、物体検出システムの概略構成を示す図である。 図２は、２つのカメラがそれぞれ撮影する方向を示す図である。 図３は、物体検出システムが利用される場面の一例を示す図である。 図４は、フロー導出部が備える機能を示すブロック図である。 図５は、表示画像の一例を示す図である。 図６は、フロントカメラで取得された撮影画像の例を示す図である。 図７は、フロントカメラで取得された撮影画像の例を示す図である。 図８は、フロントカメラで取得された撮影画像の例を示す図である。 図９は、オプティカルフロー方式の概要を説明する図である。 図１０は、オプティカルフロー方式の概要を説明する図である。 図１１は、物体検出装置の動作の流れを示す図である。 図１２は、物体検出処理の詳細な流れを示す図である。 図１３は、鮮鋭化手法の概要を説明する図である。 図１４は、移動平均フィルタの例を示す図である。 図１５は、移動平均フィルタの例を示す図である。 図１６は、第１除外処理の手順を説明する図である。 図１７は、特徴点追跡処理の手順を説明する図である。 図１８は、第２除外処理の手順を説明する図である。 図１９は、特徴点をグループ化する手法を説明する図である。 図２０は、特徴点をグループ化する手法を説明する図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．システムの構成＞
図１は、本実施の形態の物体検出システム１０の概略構成を示す図である。物体検出システム１０は、自動車などの車両に搭載されて当該車両の周辺を移動する物体を検出し、物体を検出した場合はその検出結果をユーザに報知する機能を有している。以下、物体検出システム１０が搭載される車両を「自車両」という。

物体検出システム１０は、撮影画像を表示する表示装置３と、音を発生するスピーカ４とを備えている。表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに報知する。表示装置３は、目的地までのルートを案内するナビゲーション機能など、基本的な表示機能以外の機能を備えていてもよい。スピーカ４は、自車両の車室内に配置され、音により情報をユーザに報知する。

また、物体検出システム１０は、自車両の周辺を撮影して撮影画像を得る複数のカメラ２を備えている。複数のカメラ２はそれぞれ、レンズと撮像素子と画像処理部とを備えており、電子的に撮影画像を取得し、取得した撮影画像に所定の画像処理を行う。各カメラ２は、所定の周期（例えば、１／３０秒周期）で周期的に撮影画像を取得する。

複数のカメラ２は、フロントカメラ２Ｆとバックカメラ２Ｂとを含んでいる。図２は、２つのカメラ２Ｆ，２Ｂがそれぞれ撮影する方向を示す図である。

図に示すように、フロントカメラ２Ｆは、自車両９の前端のバンパーに設けられ、その光軸２１Ｆは自車両９の前後方向に沿って前方に向けられる。したがって、フロントカメラ２Ｆは、自車両９の前方を撮影して、自車両９の前方の様子を示す撮影画像を取得する。また、バックカメラ２Ｂは、自車両９の後端の背面ドア９２に設けられ、その光軸２１Ｂは自車両９の前後方向に沿って後方に向けられる。したがって、バックカメラ２Ｂは、自車両９の後方を撮影して、自車両９の後方の様子を示す撮影画像を取得する。

これらのカメラ２のレンズには魚眼レンズが採用され、各カメラ２は１８０度以上の画角θを有している。このため、フロントカメラ２Ｆは、自車両９の前方に広がる左右方向に１８０度以上の領域を撮影することが可能であり、バックカメラ２Ｂは、自車両９の後方に広がる左右方向に１８０度以上の領域を撮影することが可能である。

物体検出システム１０は、これら２つのカメラ２のうち、動作モードに応じて選択されるカメラ２で得られた撮影画像を表示装置３において表示する。物体検出システム１０は、フロントモードではフロントカメラ２Ｆで得られた撮影画像を表示し、バックモードではバックカメラ２Ｂで得られた撮影画像を表示する。このような動作モードは、例えば、自車両９の進行方向に応じて切り替えられる。これにより、ユーザは進行方向における自車両９の周辺の様子を略リアルタイムに把握できる。

また、物体検出システム１０は、動作モードに応じたカメラ２で得られた撮影画像に基いて自車両９に接近する物体を検出する。そして、物体を検出した場合は、物体検出システム１０は、表示装置３及びスピーカ４を介して検出結果をユーザに報知する。これにより、ユーザは、見通しの悪い交差点や駐車場などにおいて、ユーザの死角となる位置から接近する物体を容易に把握できる。

図３は、物体検出システム１０が利用される場面の一例を示す図である。図３においては、自車両９が見通しの悪い交差点に差し掛かった場面を示している。物体検出システム１０の動作モードは、フロントモードとなっている。前述のように、フロントカメラ２Ｆは１８０度以上の画角θを有している。このため、図３に示すように、自車両９の前端のみが交差点に進入した状態において、フロントカメラ２Ｆは、交差点内の左右に広がった領域を撮影可能である。したがって、物体検出システム１０は、自車両９が存在する道路Ｒ１に対して略直交する他方の道路Ｒ２の様子を示す撮影画像を取得でき、この撮影画像を表示装置３に表示できる。

また、このように取得された撮影画像には、他方の道路Ｒ２を移動して左側又は右側から自車両９に接近する物体（他の車両８や歩行者など）の像が含まれる。物体検出システム１０は、この撮影画像を用いることで自車両９に接近する物体を検出し、その検出結果をユーザに報知する。このため、ユーザは、自車両９の全体を交差点に侵入させる前に、自車両９に接近する物体を容易に把握できる。

図１に戻り、物体検出システム１０は、カメラ２で取得された撮影画像に基づいて自車両９に接近する物体を検出するための物体検出装置１を備えている。物体検出装置１は、画像取得部１２、画像処理回路１３、及び、画像出力部１４を備えている。

画像取得部１２は、動作モードに応じたカメラ２で得られる撮影画像を取得する。画像取得部１２は、所定の周期（例えば、１／３０秒周期）で周期的に撮影画像をカメラ２から取得する。画像取得部１２が取得する一の撮影画像は、映像信号の一のフレームとなる。

画像処理回路１３は、画像取得部１２が取得した撮影画像に対して所定の画像処理を実行するＡＳＩＣやＦＰＧＡなどのハードウェア回路である。画像処理回路１３は、オプティカルフロー方式で物体を検出する物体検出処理を実行する。図中に示す、鮮鋭化部５１、平滑化部５２、フロー導出部５３及び物体検出部５４は、この物体検出処理に係る機能である。

鮮鋭化部５１は、撮影画像の画素値の変化を強調する鮮鋭化処理を行う。鮮鋭化部５１は、鮮鋭化処理を行うことで、撮影画像に含まれる被写体像の輪郭を強調し、被写体像を鮮明にする。

平滑化部５２は、撮影画像の画素値の変化を低減する平滑化処理を行う。平滑化部５２は、平滑化処理を行うことで、撮影画像に含まれるランダムなノイズを除去する。

フロー導出部５３は、撮影画像の特徴点に基づいてオプティカルフローを導出する。図４は、フロー導出部５３が備える、オプティカルフローの導出に関わる機能を示すブロック図である。図４に示す特徴点抽出部５３ａ、特徴点追跡部５３ｂ、特徴点除外部５３ｃ及びフロー選択部５３ｄはそれぞれ、フロー導出部５３が備える機能である。これらの機能の詳細については後述する。

図１に戻り、物体検出部５４は、フロー導出部５３に導出されたオプティカルフローに基づいて物体を検出する。物体検出部５４が物体を検出した場合は、画像処理回路１３は物体検出処理の検出結果を出力する。

画像出力部１４は、撮影画像とともに各種情報を含む表示画像を生成し、ＮＴＳＣなどの所定形式の映像信号に変換して表示装置３に出力する。これにより、撮影画像を含む表示画像が表示装置３において表示される。画像出力部１４は、鮮鋭化処理後の鮮明な被写体像を含む撮影画像を表示画像の生成に用いる。

また、物体検出装置１は、操作スイッチ１５、信号受信部１６、音声出力部１７、記憶部１８、及び、制御部１１を備えている。

操作スイッチ１５は、自車両９の車室内に設けられるスイッチである。操作スイッチ１５は、ユーザの操作を受け付け、操作内容を示す信号を制御部１１に入力する。

信号受信部１６は、自車両９に設けられる車載ネットワーク９１を介して、他の装置からの信号を受信して、自車両９の車両状態を取得する。信号受信部１６は、受信した信号を制御部１１に入力する。

信号受信部１６は、シフトセンサ７１及び速度センサ７２が送出する信号を受信する。シフトセンサ７１は、自車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を送出する。このシフトポジションは、自車両９の進行方向を示す。速度センサ７２は、自車両９の車輪軸の回転に基いて速度を検出し、自車両９の速度を示す信号を送出する。これにより、信号受信部１６は、シフトポジション及び速度を、自車両９の車両状態として取得する。

音声出力部１７は、制御部１１からの信号に基いて音声信号を生成して、スピーカ４に出力する。これにより、スピーカ４が、警告音などの音を発生する。

記憶部１８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部１８は、例えば、ファームウェアとしてのプログラム１８ａを記憶する。

制御部１１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理回路１３を含む物体検出装置１の各部を制御する。制御部１１は、例えば、信号受信部１６が取得したシフトポジション、及び、操作スイッチ１５の操作内容などに応じて、物体検出システム１０の動作モードを変更する。

制御部１１の各種の機能は、ソフトウェアで実現される。すなわち、制御部１１の機能は、記憶部１８に記憶されたプログラム１８ａの実行（プログラム１８ａに従ったＣＰＵの演算処理）によって実現される。図中のパラメータ設定部６１及び結果報知部６２は、プログラム１８ａの実行により実現される機能の一部である。

パラメータ設定部６１は、画像処理回路１３が物体検出処理を実行する際に用いるパラメータを設定する。パラメータ設定部６１は、このようなパラメータを変更することで物体検出装置１の物体の検出感度を調整する。パラメータ設定部６１に設定されるパラメータの詳細については後述する。

結果報知部６２は、画像処理回路１３による物体検出処理の検出結果をユーザに報知する。結果報知部６２は、画像処理回路１３が出力する検出結果を受け取る。そして、結果報知部６２は、画像出力部１４に信号を送出して、検出結果を示す表示画像を画像出力部１４に生成させる。これにより、検出結果を示す表示画像が表示装置３において表示される。また、結果報知部６２は、音声出力部１７に信号を送出して、検出結果に応じた音声信号を音声出力部１７に生成させる。これにより、検出結果に応じた警告音がスピーカ４から発生される。

図５は、フロントモードにおいて表示装置３に表示される表示画像３１の一例を示す図である。表示画像３１は、カメラ２で取得された撮影画像ＳＧと、物体検出処理の検出結果を示す指標となる２つの警告部ＡＦと、動作モードを示すアイコンＣとを含んでいる。

２つの警告部ＡＦは、上下に延びる矩形の領域であり、撮影画像ＳＧの左右にそれぞれ配置される。自車両９の右側から接近する物体が存在する場合は、図５に示すように右側の警告部ＡＦが所定の色（例えば、黄色）で点滅する。逆に、自車両９の左側から接近する物体が存在する場合は、左側の警告部ＡＦが所定の色で点滅する。

また、このように自車両９に接近する物体が存在する場合は、所定の警告音がスピーカ４から発生される。これにより、ユーザは、自車両９に接近する物体の存在とともに、その物体が存在する方向を容易に把握できる。

＜２．物体検出処理の概要＞
次に、画像処理回路１３が実行する物体検出処理の概要について説明する。前述のように、画像処理回路１３は、周期的に得られる複数の撮影画像（フレーム）を用いるフレーム相関方式の一つであるオプティカルフロー方式で物体を検出する。物体検出処理は、一の撮影画像（フレーム）ごとに実行される。

図６、図７及び図８は、フロントカメラ２Ｆで時系列的に取得された複数の撮影画像（フレーム）ＳＧの例を示している。図６の撮影画像ＳＧが最も古く、図８の撮影画像ＳＧが最も新しい。図６から図８の撮影画像ＳＧそれぞれには、自車両９に接近する同一の物体の像Ｏｂが含まれている。画像処理回路１３は、このような周期的に得られる複数の撮影画像ＳＧのそれぞれに関して物体検出処理を行なって、自車両９に接近する物体を検出する。

画像処理回路１３は、撮影画像ＳＧに設定される左右２つの検出領域ＴＡのそれぞれを対象にして物体検出処理を行なう。２つの検出領域ＴＡは、撮影画像ＳＧの上下中央付近に設定される。そして、一方の検出領域ＴＡは撮影画像ＳＧの左側、他方の検出領域ＴＡは撮影画像ＳＧの右側にそれぞれ設定される。これらの検出領域ＴＡは、理論的上の無限遠点である消失点（実際には平行な線の像が遠近法により交わる点）を含むことが望ましい。

図９及び図１０は、オプティカルフロー方式の物体検出処理の概要を説明する図である。これらの図中では、撮影画像の右側に設定される検出領域ＴＡを例示している。

また、図９では、時間的に連続して取得された２つの撮影画像（フレーム）の検出領域ＴＡを示している。図中右側の検出領域ＴＡ１は、直近に取得された撮影画像の検出領域ＴＡである。一方、図中左側の検出領域ＴＡ０は、直近の撮影画像よりも１フレーム前に取得された過去の撮影画像の検出領域ＴＡである。この説明では、直近の撮影画像を「現フレーム」といい、過去の撮影画像を「前フレーム」という。以下、図９及び図１０を参照して、オプティカルフロー方式の物体検出処理の概要を説明する。

物体検出処理の開始時点においては、前フレームの検出領域ＴＡ０における複数の特徴点ＦＰが導出済である。特徴点ＦＰは、撮影画像中において際立って検出できる点であり、前回の物体検出処理において導出される（ステップＳＰ１）。このような前フレームの特徴点（以下、「前回特徴点」という。）ＦＰは、記憶部１８に記憶される。

物体検出処理では、前フレームの検出領域ＴＡ０と現フレームの検出領域ＴＡ１とが比較され、前回特徴点ＦＰが追跡される（ステップＳＰ２）。すなわち、周辺の画素値に基づいて、前回特徴点ＦＰの移動先となる現フレームにおける点が「追跡特徴点」として判定される。そして、前回特徴点ＦＰと追跡特徴点とが対応付けられる。

次に、対応付けられた前回特徴点ＦＰから追跡特徴点へ向かうベクトルがオプティカルフローＯＦとして導出される（ステップＳＰ３）。オプティカルフローＯＦは、撮影画像間での特徴点ＦＰの動きを表すことになる。

オプティカルフローＯＦには、左向き、あるいは、右向きなど様々な向きのオプティカルフローが存在する。自車両９に接近する物体の像Ｏｂは、通常、撮影画像中を内向き（撮影画像の左右端部から中央側への向き）に移動する。このため、内向きのオプティカルフローのみが処理対象として選択され（図１０のステップＳＰ４）、自車両９から離れる方向に移動する物体のオプティカルフローは処理対象から除外される。図１０に示す検出領域ＴＡ１では、左向きのオプティカルフローＯＦのみが処理対象として選択される。

次に、処理対象として選択されたオプティカルフローに係る特徴点（追跡特徴点）が参照され、互いに近傍に存在する複数の特徴点が一つのグループＯＧとしてグループ化される。そして、このようなグループＯＧが物体として検出される（ステップＳＰ５）。

このようなオプティカルフローを採用した場合、自車両９の停車中においては、移動する物体以外の背景となる被写体（以下、単に「背景」という。）と自車両９との相対位置が変化しないため、背景に関してオプティカルフローが導出されることはない。

一方、自車両９の走行中においては、背景と自車両９との相対位置が変化するため、背景に関してもオプティカルフローが導出される。通常、このような背景に係るオプティカルフローは、外向きのオプティカルフローとなるため、処理対象から除外される。

しかしながら、特定の条件下では、背景に係るオプティカルフローが内向きとなる場合がある。例えば、自車両９の旋回中においては、背景に係るオプティカルフローが内向きとなる場合がある。また、道路標示や区画線（白線）などに係るオプティカルフローが、特徴点の誤追跡などに起因して内向きとなる場合がある。したがって、このような背景に係るオプティカルフローが物体の誤検出の要因となる可能性がある。このような物体の誤検出を回避するためには、物体の検出感度を低下させる必要がある。

一方で、上述のように、背景に係るオプティカルフローは自車両９の走行中に導出されるが、自車両９の停車中には導出されない。したがって、自車両９の停車中においては、背景に係るオプティカルフローに起因する誤検出を回避するために物体の検出感度を低下させる必要はない。

このことから、本実施の形態の物体検出装置１は、自車両９の速度に応じて物体の検出感度を調整する。具体的には、自車両９の走行中は物体の検出感度を相対的に下げる一方で、自車両９の停車中は物体の検出感度を相対的に上げるようにしている。これにより、自車両９の走行中は物体の誤検出を防止できるとともに、自車両９の停車中は物体検出装置１の物体の検出性能を向上できることになる。

本実施の形態の物体検出装置１においては、物体検出処理に用いるパラメータを、パラメータ設定部６１が自車両９の速度に応じて設定することで、物体の検出感度を調整する。このパラメータは、オプティカルフローの導出対象となる特徴点の数に関わるパラメータである。以下、このパラメータを「特徴点パラメータ」という。

＜３．動作の流れ＞
以下、このような物体検出装置１の動作について説明する。図１１は、物体検出装置１の動作の流れを示す図である。図１１に示す処理は一フレームごとに行われ、所定の周期（例えば、１／３０秒周期）で繰り返される。

まず、信号受信部１６が、自車両９の速度を取得する（ステップＳ１１）。信号受信部１６は、速度センサ７２から送出される信号を受信して、自車両９の速度を取得する。

次に、パラメータ設定部６１が、信号受信部１６が取得した自車両９の速度に基づいて自車両９が停車中か走行中かを判定する（ステップＳ１２）。パラメータ設定部６１は、自車両９の速度が所定の閾値（例えば、０．１ｋｍ／ｈ）未満の場合は、自車両９が停車中であると判定する。

自車両９が停車中の場合は（ステップＳ１２にてＹｅｓ）、パラメータ設定部６１は、特徴点の数が相対的に多くなるように特徴点パラメータを設定する（ステップＳ１３）。一方、自車両９が走行中の場合は（ステップＳ１２にてＮｏ）、パラメータ設定部６１は、特徴点の数が相対的に少なくなるように特徴点パラメータを設定する（ステップＳ１４）。すなわち、パラメータ設定部６１は、自車両９の停車中は、走行中と比較して特徴点の数が多くなるように特徴点パラメータを設定する。設定された特徴点パラメータは、以降の物体検出処理（ステップＳ１６）において用いられる。特徴点パラメータの具体例については後述する。

このようにパラメータ設定部６１が特徴点パラメータを設定することで、自車両９が停車中の場合は、オプティカルフローの導出対象となる特徴点の数が多くなる。このため、自車両９が停車中の場合は、物体の検出感度が上がり、物体検出装置の物体の検出性能を向上することができる。一方で、自車両９が走行中の場合は、オプティカルフローの導出対象となる特徴点の数が少なくなる。このため、自車両９が走行中の場合は、物体の検出感度が低下し、物体の誤検出を防止することができる。

なお、この図１１に示す処理においては、ステップＳ１３またはステップＳ１４のいずれかにおいてパラメータ設定部６１が特徴点パラメータを必ず設定しているが、自車両９の状態が停車中と走行中との間で変化する場合にのみ特徴点パラメータを設定してもよい。

パラメータ設定部６１が特徴点パラメータを設定すると、次に、画像取得部１２が、動作モードに応じたカメラ２から、今回の物体検出処理において処理対象となる一の撮影画像（フレーム）を取得する（ステップＳ１５）。

次に、画像処理回路１３が、画像取得部１２が取得した撮影画像、及び、パラメータ設定部６１が設定した特徴点パラメータを用いて物体検出処理を実行する（ステップＳ１６）。この物体検出処理において画像処理回路１３が物体を検出した場合は、画像処理回路１３は検出結果を制御部１１に出力する。

制御部１１の結果報知部６２は、この物体検出処理の検出結果を受け取ると、該検出結果をユーザに報知する（ステップＳ１７）。結果報知部６２は、撮影画像とともに検出結果を示す表示画像を表示装置３に表示させる。さらに、結果報知部６２は、検出結果に応じた警告音をスピーカ４から発生させる。

次に、画像処理回路１３が実行する物体検出処理（ステップＳ１６）について詳細に説明する。図１２は、物体検出処理の詳細な流れを示す図である。この物体検出処理は、撮影画像の左右２つの検出領域ＴＡのそれぞれに関して個別に行われる。

この物体検出処理の開始時点においては、今回の物体検出処理において処理対象となる一の撮影画像が取得されている。この説明において、今回の物体検出処理において処理対象となる一の撮影画像（直近の撮影画像）を「現フレーム」といい、前回の物体検出処理において処理対象となった撮影画像（１フレーム前の撮影画像）を「前フレーム」という。

まず、鮮鋭化部５１が、現フレームに対し画素値の変化を強調する鮮鋭化処理を行う（ステップＳ２１）。鮮鋭化部５１は、例えば、ラプラシアンフィルタを用いた鮮鋭化手法により鮮鋭化処理を行う。この鮮鋭化手法では、二次微分を行うラプラシアンフィルタの結果を処理前の原画像から減算することで画素値の変化を強調する。

図１３は、ラプラシアンフィルタを用いた鮮鋭化手法の概要を説明する図である。図中のグラフの横軸は画像における座標位置を示し、縦軸は値を示している。

図１３の最上部の曲線Ｌ０は、処理前の原画像の輪郭の部分における画素値（輝度値）の変化を表している。また、曲線Ｌ１は原画像の曲線Ｌ０に対して微分を行った結果である一次微分値を表し、曲線Ｌ２は曲線Ｌ１に対してさらに微分を行った結果である二次微分値を表している。この二次微分値（曲線Ｌ２）を原画像の画素値（曲線Ｌ０）から減算することで、曲線Ｌ３が得られる。

図１３の最下部の曲線Ｌ３は、処理後の画像の同一部分における画素値（輝度値）の変化を表している。処理後の画像においては、画素値の変化の傾きが大きくなり、また、原画像にないアンダーシュート及びオーバーシュートが生じている。これにより、輪郭の部分の画素値の変化が強調され、被写体像を鮮明にすることができる。

この鮮鋭化手法では、原画像の画素値（曲線Ｌ０）に対する二次微分値（ラプラシアンフィルタの結果）の反映割合を変更することで、鮮鋭化の強度を変更することができる。すなわち、二次微分値の反映割合は鮮鋭化の強度に相当し、この反映割合を大きくすることで鮮鋭化の強度を大きくすることができる。

このような鮮鋭化処理後の画像から特徴点を抽出した場合において、鮮鋭化の強度が大きいときは特徴点の数が相対的に多くなり、鮮鋭化の強度が小さいときは特徴点の数が相対的に少なくなる。このため、本実施の形態では、鮮鋭化処理における鮮鋭化の強度が特徴点パラメータの一つとなっている。

図１１のステップＳ１３，Ｓ１４において、パラメータ設定部６１は、自車両９が停車中の場合は鮮鋭化の強度を相対的に大きく設定し、自車両９が走行中の場合は鮮鋭化の強度を相対的に小さく設定する。鮮鋭化部５１は、パラメータ設定部６１に設定された鮮鋭化の強度に相当する二次微分値の反映割合を用いて、特徴点の抽出前の現フレームに対して鮮鋭化処理を行う。これにより、鮮鋭化処理後の現フレームから特徴点を抽出した場合には、自車両９が停車中の場合は特徴点の数が相対的に多くなり、自車両９が走行中の場合は特徴点の数が相対的に少なくなる。

図１２に戻り、鮮鋭化処理がなされると、次に、平滑化部５２が、現フレームに対し画素値の変化を低減する平滑化処理を行う（ステップＳ２２）。平滑化部５２は、例えば、移動平均フィルタ（平均化フィルタ）を用いた平滑化手法により平滑化処理を行う。この平滑化手法では、注目画素の周辺の画素値を平均化した結果を注目画素の画素値とすることで、画素値の変化を低減する。これにより、画像に含まれるランダムなノイズを除去できる。

図１４及び図１５は、この平滑化手法において用いる移動平均フィルタの例を示す図である。図１４は、注目画素の周辺の３×３画素を平均化するための移動平均フィルタＭ１である。一方、図１５は、注目画素の周辺の５×５画素を平均化するための移動平均フィルタＭ２である。図１５のように、移動平均フィルタのサイズを大きくして平均化の対象となる周辺の画素の数が多くなるほど、平滑化の強度が大きくなる。すなわち、移動平均フィルタのサイズは平滑化の強度に相当する。

このような平滑化処理後の画像から特徴点を抽出した場合において、平滑化の強度が大きいときは特徴点の数が相対的に少なくなり、平滑化の強度が小さいときは特徴点の数が相対的に多くなる。このため、本実施の形態では、平滑化処理における平滑化の強度が特徴点パラメータの一つとなっている。

図１１のステップＳ１３，Ｓ１４において、パラメータ設定部６１は、自車両９が停車中の場合は平滑化の強度を相対的に小さく設定し、自車両９が走行中の場合は平滑化の強度を相対的に大きく設定する。平滑化部５２は、パラメータ設定部６１に設定された平滑化の強度に相当するサイズの移動平均フィルタを用いて、特徴点の抽出前の現フレームに対して平滑化処理を行う。これにより、平滑化処理後の現フレームから特徴点を抽出した場合には、自車両９が停車中の場合は特徴点の数が相対的に多くなり、自車両９が走行中の場合は特徴点の数が相対的に少なくなる。

図１２に戻り、平滑化処理がなされると、次に、フロー導出部５３の特徴点抽出部５３ａが、現フレームの特徴点を抽出する特徴点抽出処理を行う（ステップＳ２３）。特徴点抽出部５３ａは、例えば、ハリスオペレータなどの周知の手法を用いて、現フレームの画素値のみに基づいて特徴点を抽出する。これにより、特徴点抽出部５３ａは、物体の像のコーナー（エッジの交点）などを特徴点として抽出する。以下、このように現フレームの画素値のみに基づいて抽出される特徴点を「抽出特徴点」という。

次に、フロー導出部５３の特徴点除外部５３ｃが、特徴点抽出部５３ａが抽出した抽出特徴点の一部を以降の処理対象から除外する第１除外処理を行う（ステップＳ２４）。

処理対象となる特徴点の数が多くなると、制御部１１や画像処理回路１３の処理の負荷が大きくなり、処理の速度が低下する可能性がある。このため、特徴点除外部５３ｃは、抽出特徴点の密度が大きな領域に関しては、エッジ強度が最大の抽出特徴点のみを代表的に処理対象として残し、他の抽出特徴点については処理対象から除外する。

図１６は、この第１除外処理（ステップＳ２４）の手順を説明する図である。図１６においては、現フレームの検出領域ＴＡ１の一部を模式的に示している。

図示した検出領域ＴＡ１においては、状態ＳＴ１１に示すように、特徴点抽出部５３ａにより７つの抽出特徴点ＥＰ１〜ＥＰ７が抽出されたものとする。これら７つの抽出特徴点ＥＰ１〜ＥＰ７をエッジ強度の大きいものから並べると、抽出特徴点ＥＰ１、抽出特徴点ＥＰ２、抽出特徴点ＥＰ３、抽出特徴点ＥＰ４、抽出特徴点ＥＰ５、抽出特徴点ＥＰ６、及び、抽出特徴点ＥＰ７となる。

特徴点除外部５３ｃは、エッジ強度の大きい順に抽出特徴点を注目特徴点として選択し、注目特徴点を中心とする評価領域に他の抽出特徴点が含まれる場合は、該他の抽出特徴点を以降の処理対象から除外する。図１６の例では、この評価領域のサイズは３×３画素となっている。

図１６の例では、まず、特徴点除外部５３ｃは、エッジ強度が最も大きな抽出特徴点ＥＰ１を注目特徴点として選択する。そして、状態ＳＴ１２に示すように、特徴点除外部５３ｃは、この抽出特徴点ＥＰ１を中心とする評価領域Ａ１１を設定し、評価領域Ａ１１に他の抽出特徴点が含まれているか否かを判断する。この例では、評価領域Ａ１１には２つの抽出特徴点ＥＰ３，ＥＰ７が含まれているため、特徴点除外部５３ｃは、これら２つの抽出特徴点ＥＰ３，ＥＰ７を処理対象から除外する。

続いて、特徴点除外部５３ｃは、エッジ強度が次に大きな抽出特徴点ＥＰ２を注目特徴点として選択する。そして、状態ＳＴ１３に示すように、特徴点除外部５３ｃは、この抽出特徴点ＥＰ２を中心とする評価領域Ａ１２を設定し、評価領域Ａ１２に他の抽出特徴点が含まれているか否かを判断する。この例では、この評価領域Ａ１２には抽出特徴点が含まれていないため、抽出特徴点を除外する処理は行われない。

続いて、特徴点除外部５３ｃは、エッジ強度が次に大きな抽出特徴点ＥＰ４を注目特徴点として選択する。この時点においては、特徴点除外部５３ｃは、抽出特徴点ＥＰ３を処理対象から既に除外しているため、抽出特徴点ＥＰ４を次の注目特徴点として選択する。そして、状態ＳＴ１４に示すように、特徴点除外部５３ｃは、この抽出特徴点ＥＰ４を中心とする評価領域Ａ１４を設定し、評価領域Ａ１４に他の抽出特徴点が含まれているか否かを判断する。この例では、この評価領域Ａ１４には抽出特徴点ＥＰ６が含まれているため、特徴点除外部５３ｃは抽出特徴点ＥＰ６を処理対象から除外する。

続いて、特徴点除外部５３ｃは、エッジ強度が次に大きな抽出特徴点ＥＰ５を注目特徴点として選択する。そして、状態ＳＴ１５に示すように、特徴点除外部５３ｃは、この抽出特徴点ＥＰ５を中心とする評価領域Ａ１５を設定し、評価領域Ａ１５に他の抽出特徴点が含まれているか否かを判断する。この例では、この評価領域Ａ１５には抽出特徴点が含まれていないため、抽出特徴点を除外する処理は行われない。

そして、この時点において、図示した検出領域ＴＡ１にはエッジ強度が次に大きな抽出特徴点は存在しないため、特徴点除外部５３ｃは第１除外処理を終了する。このような第１除外処理の結果、状態ＳＴ１６に示すように、検出領域ＴＡ１には、４つの抽出特徴点ＥＰ１，ＥＰ２，ＥＰ４，ＥＰ５のみが以降の処理対象として残ることになる。

このような第１除外処理に関して、用いる評価領域のサイズが大きい場合には（例えば、５×５画素）、処理対象から除外される抽出特徴点が増加するため、処理対象として残る抽出特徴点の数が相対的に少なくなる。逆に、用いる評価領域のサイズが小さい場合には（例えば、３×３画素）、処理対象から除外される抽出特徴点が減少するため、処理対象として残る抽出特徴点の数が相対的に多くなる。このため、本実施の形態では、第１除外処理に用いる評価領域のサイズは特徴点パラメータの一つとなっている。

図１１のステップＳ１３，Ｓ１４において、パラメータ設定部６１は、自車両９が停車中の場合は評価領域のサイズを相対的に小さく設定し、自車両９が走行中の場合は評価領域のサイズを相対的に大きく設定する。特徴点除外部５３ｃは、パラメータ設定部６１に設定されたサイズの評価領域を用いて、現フレームに対して第１除外処理を行う。これにより、自車両９が停車中の場合は処理対象として残る抽出特徴点の数が相対的に多くなり、自車両９が走行中の場合は処理対象として残る抽出特徴点の数が相対的に少なくなる。

図１２に戻り、第１除外処理がなされると、次に、フロー導出部５３の特徴点追跡部５３ｂが、前フレームの前回特徴点を追跡する特徴点追跡処理を行う（ステップＳ２５）。特徴点追跡部５３ｂは、前フレームの前回特徴点に対応する現フレーム中の点である追跡特徴点を判定する。

図１７は、この特徴点追跡処理（ステップＳ２５）の手順を説明する図である。図１７においては、前フレームの検出領域ＴＡ０の一部と、現フレームの検出領域ＴＡ１の一部とを模式的に示している。これらの検出領域ＴＡ０との検出領域ＴＡ１とは撮影画像中における同一位置の領域である。図示した前フレームの検出領域ＴＡ０においては、３つの前回特徴点ＦＰ１、ＦＰ２、ＦＰ３が存在している。

特徴点追跡部５３ｂは、前回特徴点のそれぞれを注目特徴点として選択し、注目特徴点に対応する追跡特徴点を判定する。特徴点追跡部５３ｂは、前フレームにおいて注目特徴点を中心とする所定のサイズ（例えば、３×３画素）のブロックを設定する。特徴点追跡部５３ｂは、このブロックの画素値と近似する画素値を有する領域を、現フレームの検出領域ＴＡ１から検索する。そして、特徴点追跡部５３ｂは、検索した領域の中心点を注目特徴点の移動先となる点、すなわち、追跡特徴点と判定し、注目特徴点と追跡特徴点とを対応付ける。

図１７の例では、特徴点追跡部５３ｂは、３つの前回特徴点ＦＰ１、ＦＰ２、ＦＰ３のそれぞれに関してこの処理を実行する。これにより、特徴点追跡部５３ｂは、前回特徴点ＦＰ１を追跡特徴点ＣＰ１と対応付け、前回特徴点ＦＰ２を追跡特徴点ＣＰ２と対応付け、前回特徴点ＦＰ３を追跡特徴点ＣＰ３と対応付ける。

特徴点追跡部５３ｂは、このようにして前回特徴点に係る追跡特徴点を判定した後、対応付けた前回特徴点と追跡特徴点とに基づいてオプティカルフローを導出する。すなわち、特徴点追跡部５３ｂは、対応付けた前回特徴点から追跡特徴点へ向かうベクトルをオプティカルフローとして導出する。

図１２に戻り、特徴点追跡処理がなされると、次に、フロー導出部５３の特徴点除外部５３ｃが、追跡特徴点に基づいて抽出特徴点の一部を以降の処理対象から除外する第２除外処理を行う（ステップＳ２４）。

この時点においては、特徴点抽出処理（ステップＳ２３）で特徴点抽出部５３ａが抽出した抽出特徴点と、特徴点追跡処理（ステップＳ２５）で特徴点追跡部５３ｂが判定した追跡特徴点とが存在している。これら抽出特徴点と追跡特徴点とは、被写体の同一部分に関する特徴点である可能性がある。前述のように処理対象となる特徴点の数が多くなると、制御部１１や画像処理回路１３の処理の負荷が大きくなり、処理の速度が低下する可能性がある。このため、特徴点除外部５３ｃは、抽出特徴点と追跡特徴点とが被写体の同一部分に関する特徴点と判断される場合は、追跡特徴点のみを代表的に処理対象として残し、抽出特徴点については処理対象から除外する。

図１８は、この第２除外処理（ステップＳ２６）の手順を説明する図である。図１８においては、現フレームの検出領域ＴＡ１の一部を模式的に示している。

図示した検出領域ＴＡ１においては、状態ＳＴ２１に示すように、特徴点抽出処理及び第１除外処理（ステップＳ２３，Ｓ２４）を経て、４つの抽出特徴点ＥＰ１，ＥＰ２，ＥＰ４，ＥＰ５が処理対象として残っている。また一方で、この検出領域ＴＡ１においては、状態ＳＴ２２に示すように、特徴点追跡処理（ステップＳ２５）を経て、３つの追跡特徴点ＣＰ１，ＣＰ２，ＣＰ３が判定されている。

特徴点除外部５３ｃは、追跡特徴点のそれぞれを注目特徴点として選択し、注目特徴点を中心とする評価領域に抽出特徴点が含まれる場合は、該抽出特徴点を以降の処理対象から除外する。図１８の例では、この評価領域のサイズは３×３画素となっている。

図１８の例において、特徴点除外部５３ｃが、追跡特徴点ＣＰ１を注目特徴点として選択した場合を想定する。この場合は、状態ＳＴ２３に示すように、特徴点除外部５３ｃは、この追跡特徴点ＣＰ１を中心とする評価領域Ａ２１を設定し、評価領域Ａ２１に抽出特徴点が含まれているか否かを判断する。この例では、この評価領域Ａ２１には抽出特徴点ＥＰ１が含まれているため、特徴点除外部５３ｃは、抽出特徴点ＥＰ１を処理対象から除外する。

また、特徴点除外部５３ｃが、追跡特徴点ＣＰ２を注目特徴点として選択した場合は、この追跡特徴点ＣＰ２を中心とする評価領域Ａ２２に抽出特徴点が含まれているか否かを判断する。この例では、この評価領域Ａ２２には抽出特徴点が含まれていないため、抽出特徴点を除外する処理は行われない。

また、特徴点除外部５３ｃが、追跡特徴点ＣＰ３を注目特徴点として選択した場合は、この追跡特徴点ＣＰ３を中心とする評価領域Ａ２３に抽出特徴点が含まれているか否かを判断する。この例では、この評価領域Ａ２３には抽出特徴点ＥＰ４が含まれているため、特徴点除外部５３ｃは、抽出特徴点ＥＰ４を処理対象から除外する。

このような第２除外処理の結果、状態ＳＴ２４に示すように、検出領域ＴＡ１には、３つの追跡特徴点ＣＰ１，ＣＰ２，ＣＰ３、及び、２つの抽出特徴点ＥＰ２，ＥＰ５のみが以降の処理対象として残ることになる。

このような第２除外処理に関して、用いる評価領域のサイズが大きい場合には（例えば、５×５画素）、処理対象から除外される抽出特徴点が増加するため、処理対象として残る抽出特徴点の数が相対的に少なくなる。逆に、用いる評価領域のサイズが小さい場合には（例えば、３×３画素）、処理対象から除外される抽出特徴点が減少するため、処理対象として残る抽出特徴点の数が相対的に多くなる。このため、本実施の形態では、第２除外処理に用いる評価領域のサイズは特徴点パラメータの一つとなっている。

図１１のステップＳ１３，Ｓ１４において、パラメータ設定部６１は、自車両９が停車中の場合は評価領域のサイズを相対的に小さく設定し、自車両９が走行中の場合は評価領域のサイズを相対的に大きく設定する。特徴点除外部５３ｃは、パラメータ設定部６１に設定されたサイズの評価領域を用いて、現フレームに対して第２除外処理を行う。これにより、自車両９が停車中の場合は処理対象として残る抽出特徴点の数が相対的に多くなり、自車両９が走行中の場合は処理対象として残る抽出特徴点の数が相対的に少なくなる。

第２除外処理（ステップＳ２６）の後に処理対象として残った現フレームの追跡特徴点及び抽出特徴点は、記憶部１８に記憶され、次回の物体検出処理において前フレームの前回特徴点として扱われる。すなわち、これらの追跡特徴点及び抽出特徴点は、次回の物体検出処理においてオプティカルフローの導出対象とされる。したがって、特徴点除外部５３ｃが行う第１除外処理（ステップＳ２４）及び第２除外処理（ステップＳ２６）は、オプティカルフローの導出対象から特徴点を除外する処理であるといえる。

図１２に戻り、第２除外処理がなされると、次に、フロー導出部５３のフロー選択部５３ｄが、特徴点追跡処理（ステップＳ２５）で導出されたオプティカルフローのうち、所定の条件を満足するオプティカルフローを処理対象として選択する（ステップＳ２７）。フロー選択部５３ｄは、長さが所定の閾値（例えば、「１」）よりも大きく、かつ、内向きのオプティカルフローのみを処理対象として選択する。

次に、物体検出部５４が、フロー選択部５３ｄに処理対象として選択されたオプティカルフローに基づいて物体を検出する（ステップＳ２８）。まず、物体検出部５４は、オプティカルフローそれぞれの追跡特徴点に注目する。そして、物体検出部５４は、それらの追跡特徴点のうちで、互いに近傍に存在する複数の追跡特徴点を一つのグループとしてグループ化する。

図１９及び図２０は、このような追跡特徴点ＣＰをグループ化する手法を説明する図である。図１９においては、現フレームの検出領域ＴＡ１の一部を模式的に示している。また、この説明では、水平方向をＸ軸（右側が正）、垂直方向をＹ軸（下側が正）とする。

まず、図１９に示すように、物体検出部５４は、追跡特徴点ＣＰのそれぞれの位置に、水平方向（Ｘ軸方向）に延びるラインＬを設定する。このラインＬは、追跡特徴点ＣＰを中心とした特定のサイズ（例えば、５画素）の画素列で構成される。

次に、物体検出部５４は、これらのラインＬの画素を参照し、横軸をＸ軸の各座標位置、縦軸を画素の数（度数）とするヒストグラムＨＸを生成する。このヒストグラムＨＸにおいては、Ｘ軸の各座標位置において、Ｙ軸方向に存在するラインＬの画素の数が度数として示される。

次に、物体検出部５４は、ヒストグラムＨＸの度数と所定の閾値Ｔａ（例えば、「３」）とを比較する。そして、図１９の下部に示すように、物体検出部５４は、度数が閾値Ｔａ以上となるＸ軸方向の範囲を示すラインデータＬＤを導出する。このラインデータＬＤは、検出領域ＴＡ１の水平方向（Ｘ軸方向）に関して、複数の追跡特徴点ＣＰが互いに近傍に存在している範囲を示すものとなる。

次に、図２０に示すように、物体検出部５４は、縦軸をＹ軸の各座標位置、横軸を画素の数（度数）とするヒストグラムＨＹを生成する。このヒストグラムＨＹの作成手法は、図１９に示すヒストグラムＨＸの作成手法を、Ｘ軸とＹ軸とで入れ換えたものとなる。ただし、物体検出部５４は、この処理の対象とするＸ軸方向の範囲を、一のラインデータＬＤが存在する範囲（Ｘ１〜Ｘ２）に限定する。物体検出部５４は、ラインデータＬＤごとに、このようなヒストグラムＨＹを作成する。

次に、物体検出部５４は、ヒストグラムＨＹの度数と所定の閾値Ｔｂ（例えば、「３」）とを比較する。そして、物体検出部５４は、度数が閾値Ｔｂ以上となるＹ軸方向の範囲を示すラインデータＭＤを導出する。このラインデータＭＤは、検出領域ＴＡ１の垂直方向（Ｙ軸方向）に関して、複数の追跡特徴点ＣＰが互いに近傍に存在している範囲を示すものとなる。

そして、物体検出部５４は、図２０の下部に示すように、ラインデータＬＤが存在するＸ軸方向の範囲（Ｘ１〜Ｘ２）と、ラインデータＭＤが存在するＹ軸方向の範囲（Ｙ１〜Ｙ２）とで規定される矩形領域ＴＤに含まれる複数の追跡特徴点ＣＰを一つのグループとしてグループ化する。グループのサイズは、この矩形領域ＴＤのサイズとなる。物体検出部５４は、一つの検出領域ＴＡ１から複数のグループを導出する場合もある。

物体検出部５４は、このようにして複数の追跡特徴点をグループ化してグループを導出すると、次に、導出した各グループのサイズを所定の基準サイズ（例えば、水平１５画素×垂直１６画素）と比較する。そして、物体検出部５４は、サイズが基準サイズより小となるグループを除外し、サイズが基準サイズより大となるグループを物体として検出する。

このように物体検出部５４は、互いに近傍に存在する複数の追跡特徴点を一つのグループとしてグループ化し、そのようなグループを物体として検出する。このため、オプティカルフローの導出対象となる特徴点の数を多くすれば、追跡特徴点がグループ化される可能性が高くなり、物体の検出感度が向上する。逆に、オプティカルフローの導出対象となる特徴点の数を少なくすれば、追跡特徴点がグループ化される可能性が低くなり、物体の検出感度が低下することになる。

以上のように、本実施の形態の物体検出装置１においては、フロー導出部５３が自車両９の周辺を撮影するカメラ２で周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出し、物体検出部５４がオプティカルフローに基づいて物体を検出する。また、信号受信部１６が自車両９の速度を取得し、パラメータ設定部６１が自車両９の速度に応じて特徴点の数に関わる特徴点パラメータを設定する。このため、自車両９の速度に応じて物体の検出感度を適切に調整することができ、物体検出装置１の物体の検出性能を向上できる。

また、パラメータ設定部６１は、自車両９の速度に基づいて自車両９が停車中か走行中かを判定し、自車両９の停車中は走行中と比較して特徴点の数が多くなるように特徴点パラメータを設定する。このため、自車両９の停車中は物体の検出感度を上げて、物体検出装置１の物体の検出性能を向上できる。

＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、車両の周辺を撮影するカメラ２として、フロントカメラ２Ｆ及びバックカメラ２Ｂのいずれかを用いるものとして説明を行ったが、車両の左側方を撮影する左サイドカメラ、及び、車両の右側方を撮影する右サイドカメラなど他のカメラを用いてもよい。

また、上記実施の形態では、物体検出装置１は自車両９に接近する物体を検出するものとしていたが、自車両９から離れる物体など、接近する方向とは異なる方向に移動する物体を検出するものであってもよい。

また、上記実施の形態において、物体検出装置１の画像処理回路１３が行うと説明した画像処理の一部（例えば、鮮鋭化処理など）は、カメラ２が備える画像処理部で行ってもよい。この場合において、例えば、鮮鋭化処理をカメラ２が備える画像処理部で行う場合は、制御部１１は、パラメータ設定部６１が設定した特徴点パラメータ（鮮鋭化の強度）を、カメラ２に信号として送信するようにすればよい。

また、上記実施の形態では、パラメータ設定部６１は、自車両９が停車中か走行中かに応じて特徴点パラメータを２つの段階で設定していた。これに対して、パラメータ設定部６１は、自車両９の速度に応じて特徴点パラメータを３つ以上の段階で設定するようにしてもよい。この場合は、パラメータ設定部６１は、自車両９の速度が低いほど特徴点の数が多くなるように特徴点パラメータを設定することが望ましい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

例えば、上記実施の形態で、画像処理回路１３が実行する説明した処理の全部または一部は制御部１１が実行してもよい。また逆に、制御部１１が実行すると説明した処理の全部または一部は画像処理回路１３が実行してもよい。

１ 物体検出装置
２ カメラ
１０ 物体検出システム
５１ 鮮鋭化部
５２ 平滑化部
５３ フロー導出部
５３ａ 特徴点抽出部
５３ｂ 特徴点追跡部
５３ｃ 特徴点除外部
５４ 物体検出部
６１ パラメータ設定部

Claims (9)

1. 車両の周辺の物体を検出する物体検出装置であって、
   前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、
   前記オプティカルフローに基づいて物体を検出する検出手段と、
   前記車両の速度を取得する取得手段と、
   前記速度に応じて前記特徴点の数に関わるパラメータを設定する設定手段と、
   を備え、
   前記設定手段は前記速度が低いほど前記特徴点の数が多くなるように前記パラメータを設定することを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記設定手段は、
   前記速度に基づいて前記車両が停車中か走行中かを判定し、
   前記停車中は、前記走行中と比較して前記特徴点の数が多くなるように前記パラメー
   タを設定することを特徴とする物体検出装置。
3. 請求項１または２に記載の物体検出装置において、
   前記導出手段は、
   前記撮影画像の特徴点を抽出する抽出手段と、
   前記抽出手段に抽出された一の特徴点を中心とする評価領域に他の特徴点が含まれる
   場合に、該他の特徴点を前記オプティカルフローの導出対象から除外する除外手段と、
   を備え、
   前記パラメータは、前記評価領域のサイズを含むことを特徴とする物体検出装置。
4. 請求項１または２に記載の物体検出装置において、
   前記導出手段は、
   一の撮影画像の画素値のみに基づく特徴点である第１特徴点を抽出する抽出手段と、
   前記一の撮影画像より前に取得された撮影画像の特徴点に対応する前記一の撮影画像
   中の点である第２特徴点を判定する判定手段と、
   前記第２特徴点を中心とする評価領域に前記第１特徴点が含まれる場合に、該第１特
   徴点を前記オプティカルフローの導出対象から除外する除外手段と、
   を備え、
   前記パラメータは、前記評価領域のサイズを含むことを特徴とする物体検出装置。
5. 請求項１ないし４のいずれかに記載の物体検出装置において、
   前記特徴点の抽出前の前記撮影画像を平滑化する平滑化手段、
   を備え、
   前記パラメータは、前記平滑化の強度を含むことを特徴とする物体検出装置。
6. 請求項１ないし５のいずれかに記載の物体検出装置において、
   前記特徴点の抽出前の前記撮影画像を鮮鋭化する鮮鋭化手段、
   を備え、
   前記パラメータは、前記鮮鋭化の強度を含むことを特徴とする物体検出装置。
7. 車両の周辺の物体を検出する物体検出システムであって、
   前記車両の周辺を撮影するカメラと、
   前記カメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、
   前記オプティカルフローに基づいて物体を検出する検出手段と、
   前記車両の速度を取得する取得手段と、
   前記速度に応じて前記特徴点の数に関わるパラメータを設定する設定手段と、
   を備え、
   前記設定手段は前記速度が低いほど前記特徴点の数が多くなるように前記パラメータを設定することを特徴とする物体検出システム。
8. 車両の周辺の物体を検出する物体検出方法であって、
   （ａ）前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、
   （ｂ）前記オプティカルフローに基づいて物体を検出する工程と、
   （ｃ）前記車両の速度を取得する工程と、
   （ｄ）前記速度に応じて前記特徴点の数に関わるパラメータを設定する工程と、
   を備え、
   前記工程（ｄ）は前記速度が低いほど前記特徴点の数が多くなるように前記パラメータを設定することを特徴とする物体検出方法。
9. 車両において用いられるコンピュータによって実行可能なプログラムであって、
   前記コンピュータに、
   （ａ）前記車両の周辺を撮影するカメラで周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、
   （ｂ）前記オプティカルフローに基づいて物体を検出する工程と、
   （ｃ）前記車両の速度を取得する工程と、
   （ｄ）前記速度に応じて前記特徴点の数に関わるパラメータを設定する工程と、
   を実行させ、
   前記工程（ｄ）は前記速度が低いほど前記特徴点の数が多くなるように前記パラメータを設定することを特徴とするプログラム。

Images