JP7180521B2 - 物標検出装置、物標検出方法、及び運転支援システム - Google Patents

Description

本開示は物標検出装置、物標検出方法、及び運転支援システムに関する。

従来、物標検出装置が知られている。物標検出装置は、カメラを用いて、画像の複数のフレームを時系列的に順次取得する。物標検出装置は、複数のフレームにおいて、同一の物標を追跡して検出する処理を実行する。物標検出装置は特許文献１に開示されている。

特開２０１８－８８２３４号公報

物標検出装置は、あるフレームにおいて物標を検出したが、次のフレームでは、様々な要因により、同一の物標を検出できないことがある。この場合、物標の追跡が困難になる。本開示の１つの局面は、過去のフレームで検出できていた物標を検出できなくなった場合でも、物標の追跡を継続できる物標検出装置、物標検出方法、及び運転支援システムを提供することである。

本開示の１つの局面は、画像の複数のフレームを順次取得するように構成された画像取得ユニットと、前記複数のフレームにおいて、同一の物標を追跡して検出する処理を実行するように構成された追跡ユニットと、前記複数のフレームの１つである第１フレームにおいて検出され、前記第１フレームの次のフレームである第２フレームでは検出されない特定物標が存在するか否かを判断するように構成された不検出判断ユニットと、前記特定物標が存在すると前記不検出判断ユニットが判断したことを必要条件として、前記第１フレーム以前のフレームにおける前記特定物標の検出結果に基づき、前記第２フレーム以降のフレームにおける前記特定物標の位置を表す物標情報を推定するように構成された物標情報推定ユニットと、を備える物標検出装置である。

本開示の１つの局面である物標検出装置は、第１フレームにおいて検出され、第２フレームでは検出できない特定物標が存在する場合、第２フレーム以降のフレームにおいて物標情報を推定する。物標情報は、第２フレーム以降のフレームにおける特定物標の位置を表す。よって、本開示の１つの局面である物標検出装置は、第２フレーム以降のフレームでも、物標を追跡することができる。
本開示の別の局面は、画像の複数のフレームを順次取得し、前記複数のフレームにおいて、同一の物標を追跡して検出する処理を実行し、前記複数のフレームの１つである第１フレームにおいて検出され、前記第１フレームの次のフレームである第２フレームでは検出されない特定物標が存在するか否かを判断し、前記特定物標が存在すると判断したことを必要条件として、前記第１フレーム以前のフレームにおける前記特定物標の検出結果に基づき、前記第２フレーム以降のフレームにおいて前記特定物標の位置を表す物標情報を推定する物標検出方法である。
本開示の別の局面である物標検出方法は、第１フレームにおいて検出され、第２フレームでは検出できない特定物標が存在する場合、第２フレーム以降のフレームにおいて物標情報を推定する。物標情報は、第２フレーム以降のフレームにおける特定物標の位置を表す。よって、本開示の別の局面である物標検出方法によれば、第２フレーム以降のフレームでも、物標を追跡することができる。

物標検出装置１と、ステレオカメラ２９と、運転支援装置３１と、の構成を表すブロック図である。 物標検出装置１の機能的構成を表すブロック図である。 物標検出装置１が実行する処理の全体を表すフローチャートである。 物標検出装置１が実行する推定枠推定処理を表すフローチャートである。 Ｆ（Ｎ）において物標を検出する処理を表す説明図である。 Ｆ（Ｎ）とＦ（Ｎ－１）とにおいて同一の物標を追跡して検出する処理を表す説明図である。 Ｆ（Ｎ）において推定されたＲ（Ｎ）の例を表す説明図である。 Ｆ（Ｎ）において推定されたＲ（Ｎ）の例を表す説明図である。 領域４３と、Ｒ（Ｎ）との例を表す説明図である。 物標検出装置１と、単眼カメラ４７と、運転支援装置３１と、の構成を表すブロック図である。

本開示の例示的な実施形態について図面を参照しながら説明する。
＜第１実施形態＞
１．物標検出装置１の構成
物標検出装置１の構成を図１及び図２に基づき説明する。物標検出装置１は、例えば、車両２に搭載されている。図１に示すように、物標検出装置１は、ＣＰＵ３と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ５とする）と、を有するマイクロコンピュータを備える。

物標検出装置１の各機能は、ＣＰＵ３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、物標検出装置１は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

物標検出装置１は、図２に示すように、画像取得ユニット７と、追跡ユニット９と、不検出判断ユニット１１と、物標情報推定ユニット１３と、第１特徴量取得ユニット１７と、第２特徴量取得ユニット１９と、特徴量判断ユニット２１と、推定停止ユニット２３と、物標種別判断ユニット２５と、出力ユニット２７と、を備える。

車両２は、例えば、ステレオカメラ２９、及び運転支援装置３１をさらに備える。ステレオカメラ２９は撮像部に対応する。ステレオカメラ２９は車両２に搭載される。ステレオカメラ２９は、車両２の周囲の風景を撮影して画像を生成する。ステレオカメラ２９は、車両２におけるフロントウィンドシールドの内側に装着される。第１実施形態では、ステレオカメラ２９と物標検出装置１とは別体として構成されている。ステレオカメラ２９は、画像の複数のフレームを順次作成する。また、ステレオカメラ２９は、生成した画像を、ステレオカメラ２９の外部の物標検出装置１に順次送る。

ステレオカメラ２９は２つのカメラを備える。２つのカメラは水平方向に並んでいる。ステレオカメラ２９は、２つのカメラを使用し、同時に撮影することで２つの画像を生成する。第１実施形態では、同時に生成された２つの画像により１つのフレームが構成される。

運転支援装置３１は運転支援を行う。運転支援装置３１として、例えば、制動装置、操舵装置等がある。運転支援として、例えば、車両２の周囲に存在する物標との衝突を避けるための自動ブレーキ制御、自動操舵制御等が挙げられる。物標として、例えば、他の車両、歩行者、固定物等が挙げられる。他の車両として、例えば、先行車、後続車、隣のレーンを走行している車両、停止車両等が挙げられる。

２．物標検出装置１が実行する処理
物標検出装置１が実行する処理を、図３～図９に基づき説明する。物標検出装置１は、図２に示す処理を、ステレオカメラ２９が１つのフレームを物標検出装置１に送るたびに繰り返し実行する。ステレオカメラ２９が物標検出装置１に順次送るフレームを、Ｆ（１）、Ｆ（２）、・・・Ｆ（Ｎ－１）、Ｆ（Ｎ）、Ｆ（Ｎ＋１）、・・・とする。Ｎは２以上の任意の自然数である。Ｆ（Ｎ）は、Ｆ（Ｎ－１）の次に、ステレオカメラ２９が物標検出装置１に送るフレームである。このような時系列的に連続したフレームにより複数のフレームが構成される。

図３は、ステレオカメラ２９がＦ（Ｎ）を物標検出装置１に送ったときに物標検出装置１が実行する処理を表す。ステップ１では、画像取得ユニット７がＦ（Ｎ）を取得する。なお、物標検出装置１が図３に示す処理を繰り返し実行したとき、画像取得ユニット７は、複数のフレームを順次取得する。

ステップ２では、追跡ユニット９が、Ｆ（Ｎ）において車両２の周囲に存在する物標を検出する処理を実行する。追跡ユニット９は、Ｆ（Ｎ）においては、車両２の前方に位置する今回物標３５Ｂを検出する。Ｆ（Ｎ）において今回物標３５Ｂを検出する処理を、図５を用いて説明する。追跡ユニット９は、Ｆ（Ｎ）においてエッジ３３を検出する。エッジ３３とは、画像中において水平方向又は垂直方向に隣接した画素同士の輝度が急変している箇所である。なお、今回物標３５Ｂの端部はエッジ３３として検出され易い。

次に、追跡ユニット９は、ステレオマッチングの方法により、エッジ３３に含まれる各画素の視差値を算出する。次に、追跡ユニット９は、各画素の視差値のばらつきの程度を算出する。追跡ユニット９は、視差値のばらつきの程度が予め設定された基準より小さければ、エッジ３３に基づき、今回物標３５Ｂを検出する。例えば、追跡ユニット９は、エッジ３３により囲まれた領域を、今回物標３５Ｂとして検出する。

ステップ３では、Ｆ（Ｎ）の１つ前の処理で取得したＦ（Ｎ－１）において、前回物標３５Ａが検出されたか否かを追跡ユニット９が判断する。前回物標３５Ａとは、Ｆ（Ｎ－１）において検出される物標である。Ｆ（Ｎ－１）において前回物標３５Ａが検出された場合、本処理はステップ４に進む。Ｆ（Ｎ－１）において前回物標３５Ａが検出されなかった場合、本処理はステップ９に進む。

ステップ４では、追跡ユニット９が、Ｆ（Ｎ）とＦ（Ｎ－１）とにおいて、同一の物標を追跡して検出する処理を行う。追跡ユニット９は、具体的には以下の処理を行う。図６に、前回物標３５Ａと、直前の前記ステップ２で検出された今回物標３５Ｂとを示す。今回物標３５Ｂの数は１つでもよいし、複数でもよい。

追跡ユニット９は、前回物標３５Ａと今回物標３５Ｂとの組み合わせを作る。今回物標３５Ｂの数が複数の場合、前回物標３５Ａと今回物標３５Ｂとの組み合わせは複数存在する。追跡ユニット９は、それぞれの組み合わせについて、以下の第１～第３尤度を算出する。第１～第３尤度は、それぞれ、前回物標３５Ａと今回物標３５Ｂとが同一の物標である確からしさを示す値である。

第１尤度は、車両２から前回物標３５Ａまでの奥行距離と、車両２から今回物標３５Ｂまでの奥行距離との差が小さいほど、大きくなる。なお、車両２から前回物標３５Ａまでの奥行距離は、Ｆ（Ｎ－１）のうち、前回物標３５Ａの部分における視差値から算出できる。車両２から今回物標３５Ｂまでの奥行距離は、Ｆ（Ｎ）のうち、今回物標３５Ｂの部分における視差値から算出できる。第１尤度が大きいほど、前回物標３５Ａと今回物標３５Ｂとが同一の物標である確からしさが大きい。

第２尤度は、図６に示す、前回物標３５Ａと今回物標３５Ｂとの重複部分３７が広いほど、大きくなる。第２尤度が大きいほど、前回物標３５Ａと今回物標３５Ｂとが同一の物標である確からしさが大きい。

第３尤度は、Ｆ（Ｎ－１）のうち、前回物標３５Ａの部分における画像特徴量と、Ｆ（Ｎ）のうち、今回物標３５Ｂの部分における画像特徴量とが近いほど、大きくなる。画像特徴量とは、例えば、エッジ点数、平均輝度値等である。第３尤度が大きいほど、前回物標３５Ａと今回物標３５Ｂとが同一の物標である確からしさが大きい。

次に、追跡ユニット９は、第１～第３尤度を総合して、総合尤度を算出する。総合尤度は、第１尤度が大きいほど、大きい。総合尤度は、第２尤度が大きいほど、大きい。総合尤度は、第３尤度が大きいほど、大きい。例えば、各尤度が均等に総合尤度に作用するように、各尤度に均等の重み付けを設定してもよいし、いずれか１つの尤度が総合尤度に大きく作用するように、各尤度の重み付けを設定してもよい。前回物標３５Ａと今回物標３５Ｂとの組み合わせが複数存在する場合、追跡ユニット９は、複数の組み合わせのそれぞれについて、総合尤度を算出する。総合尤度が大きいほど、前回物標３５Ａと今回物標３５Ｂとが同一の物標である確からしさが大きい。

追跡ユニット９は、総合尤度が予め設定された基準値以上である組み合わせを抽出する。追跡ユニット９は、抽出された組み合わせを構成する前回物標３５Ａと今回物標３５Ｂとは同一の物標であると判断する。このようにして、追跡ユニット９は、Ｆ（Ｎ）とＦ（Ｎ－１）とにおいて、同一の物標を追跡して検出する処理を行う。

なお、Ｆ（Ｎ）とＦ（Ｎ－１）とにおいて、同一の物標を追跡して検出することは、複数のフレームにおいて、同一の物標を追跡して検出することに対応する。
ステップ５では、前回物標３５Ａと同一の今回物標３５Ｂが存在したか否かを、不検出判断ユニット１１が判断する。

前記ステップ４において、総合尤度が基準値以上である、前回物標３５Ａと今回物標３５Ｂとの組み合わせが存在した場合、不検出判断ユニット１１は、前回物標３５Ａと同一の今回物標３５Ｂが存在したと判断する。前回物標３５Ａと同一の今回物標３５Ｂが存在したことは、Ｆ（Ｎ）とＦ（Ｎ－１）とにおいて、同一の物標を追跡して検出できたことを意味する。

いずれの組み合わせでも、総合尤度が基準値未満であった場合、不検出判断ユニット１１は、前回物標３５Ａと同一の今回物標３５Ｂが存在しなかったと判断する。
前回物標３５Ａと同一の今回物標３５Ｂが存在したと判断した場合、本処理はステップ６に進む。前回物標３５Ａと同一の今回物標３５Ｂが存在しなかったと判断した場合、本処理はステップ７に進む。

なお、前回物標３５Ａと同一の今回物標３５Ｂが存在しない場合、その前回物標３５Ａを、以下では特定物標とする。特定物標は、Ｆ（Ｎ－１）では検出され、Ｆ（Ｎ）では検出されなかった物標である。Ｆ（Ｎ－１）は第１フレームに対応し、Ｆ（Ｎ）は第２フレームに対応する。ステップ５で否定判断することは、特定物標が存在すると判断することに対応する。

ステップ６では、Ｆ（Ｎ）とＦ（Ｎ－１）とにおいて、同一の物標を追跡して検出できたことを、追跡ユニット９がメモリ５に記憶する。
ステップ７では、特定物標は近距離車両であるか否かを物標種別判断ユニット２５が判断する。近距離車両とは、車両２に近い車両である。近距離車両とは、例えば、車両の一部がステレオカメラ２９の画角から外れるほど、車両２に近い車両であり、その車両と車両２との距離が所定の距離よりも小さい場合に、物標種別判断ユニット２５は、当該車両を近距離車両であると判断する。

物標種別判断ユニット２５は、例えば、Ｆ（Ｎ－１）において検出した特定物標の形状に基づき、特定物標が車両であるか否かを判断することができる。物標種別判断ユニット２５は、例えば、Ｆ（Ｎ－１）の大きさに対する特定物標の相対的な大きさ、Ｆ（Ｎ－１）における特定物標の位置等に基づき、車両２と特定物標との距離を算出することができる。

特定物標は近距離車両であると判断した場合、本処理はステップ８に進む。特定物標は近距離車両ではないと判断した場合、本処理はステップ９に進む。
ステップ８では、直前の前記ステップ７において近距離車両であると判断した特定物標について、物標情報推定ユニット１３が後述する推定枠推定処理を開始する。推定枠推定処理は、Ｆ（Ｎ）以降のそれぞれのフレームに対し行われる。推定枠推定処理は、後述するステップ２５で推定枠の推定が停止されるまで継続する。

ステップ９では、ステップ２で検出した今回物標３５Ｂの中に新規物標があるか否かを追跡ユニット９が判断する。前回物標３５Ａと同一ではないと判断された今回物標３５Ｂは新規物標である。また、前回物標３５Ａが存在しない場合、今回物標３５Ｂは新規物標である。

新規物標があると判断した場合、本処理はステップ１０に進む。新規物標はないと判断した場合、本処理はステップ１１に進む。
ステップ１０では、新規物標を検出したことを、追跡ユニット９がメモリ５に記憶する。なお、新規物標は、Ｆ（Ｎ＋１）について図３に示す処理を実行するときは、前回物標３５Ａとなる。

ステップ１１では、そもそもステップ２で物標を検出しなかったことを、追跡ユニット９がメモリ５に記憶する。
ステップ１２では、推定枠推定処理が継続中であるか否かを、物標情報推定ユニット１３が判断する。推定枠推定処理が継続中である場合、本処理はステップ１３に進む。推定枠推定処理が継続中ではない場合、本処理はステップ１４に進む。なお、推定枠推定処理は、直前の前記ステップ８で開始される場合と、それ以前に既に開始されている場合とがある。

ステップ１３では、物標情報推定ユニット１３が推定枠推定処理を行う。推定枠推定処理を、図４に基づき説明する。推定枠を推定すべき特定物標が複数ある場合は、それぞれの特定物標ごとに推定枠推定処理を行う。

ステップ２１では、物標情報推定ユニット１３が、Ｆ（Ｎ）において推定枠（以下ではＲ（Ｎ）とする）を推定する。Ｒ（Ｎ）は、Ｆ（Ｘ）では検出されたが、Ｆ（Ｘ＋１）では検出されなかった特定物標の位置を、Ｆ（Ｎ）において表す。ＸはＮ－１以下の自然数である。Ｒ（Ｎ）が表す特定物標の位置は物標情報に対応する。

なお、ステップ２１以降の処理では、Ｆ（Ｘ）は第１フレームに対応し、Ｆ（Ｘ＋１）は第２フレームに対応し、Ｆ（Ｎ）は第２フレーム以降のフレームに対応する。
Ｒ（Ｎ）は、例えば、図７に示すように、Ｆ（Ｎ）において物標３９が存在する範囲を表す枠である。図７に示す例では、物標３９は先行車の背面である。Ｒ（Ｎ）は、例えば、物標３９の全部又は一部を囲んでいる。図７に示す例では、物標３９の背面に背景４５が映ることにより、物標３９を検出できなかった例である。物標３９の背面に背景４５が映ることにより、物標３９を検出できない理由は後述する。

また、Ｒ（Ｎ）は、例えば、図８に示すように、Ｆ（Ｎ）の範囲外にある、物標３９の一部３９Ａを表す枠であってもよい。図８に示す例では、物標３９はトラックであり、一部３９Ａはトラックの荷台の背面である。Ｒ（Ｎ）は、Ｆ（Ｎ）のうち、一部３９Ａの側の周辺部に表示されている。

Ｒ（Ｎ）の形状は、物標３９の形状を反映した形状であってもよいし、矩形、円形等の単純化された形状であってもよい。Ｒ（Ｎ）は、物標３９の端部と接していてもよいし、端部から離れていてもよい。Ｒ（Ｎ）は閉じた形状であってもよいし、一部が開放した形状であってもよい。一部が開放した形状として、例えば、円弧状、Ｃ字状、対向する２本の直線から成る形状等が挙げられる。

物標情報推定ユニット１３は、Ｆ（Ｘ）以前のフレームにおける特定物標の検出結果に基づき、Ｒ（Ｎ）を推定する。例えば、物標情報推定ユニット１３は、まず、Ｆ（Ｘ）以前のフレームにおける特定物標の位置や移動速度を算出する。次に、物標情報推定ユニット１３は、特定物標が、Ｆ（Ｘ）以降においても、Ｆ（Ｘ）以前と同様に移動している、すなわち、特定物標を含む物標３９が車両２に対して奥行距離が一定の変化を続けるように移動している、または車両２が特定物標を含む物標３９に対して奥行距離が一定の変化を続けるように移動していると仮定して、Ｆ（Ｎ）におけるＲ（Ｎ）の位置や大きさを推定する。Ｆ（Ｎ）において推定されたＲ（Ｎ）の例を図７、図８に示す。奥行距離が一定の変化を続ける場合として、奥行距離が小さくなり続ける場合と、奥行距離が大きくなり続ける場合とがある。

ステップ２２では、第１特徴量取得ユニット１７が第１画像特徴量を取得する。第１画像特徴量とは、Ｆ（Ｎ）のうち、前記ステップ２１で推定したＲ（Ｎ）の内部における画像特徴量である。図９に、Ｒ（Ｎ）の内部４１の例を示す。画像特徴量として、例えば、エッジ点数、平均輝度値等が挙げられる。

ステップ２３では、第２特徴量取得ユニット１９が、第２画像特徴量を取得する。第２画像特徴量とは、Ｆ（Ｘ）のうち、物標３９を表す領域の画像特徴量である。Ｆ（Ｘ）は、物標３９が最後に検出されたフレームである。物標３９は、Ｒ（Ｎ）によって位置や大きさが表現される物標である。図９に、物標３９を表す領域４３の例を示す。

ステップ２４では、第１画像特徴量と、第２画像特徴量との差（以下では特徴量差とする）が予め設定された基準値以上であるか否かを、特徴量判断ユニット２１が判断する。
特徴量差が基準値以上であると判断した場合、本処理はステップ２５に進む。特徴量差が基準値未満であると判断した場合、本処理はステップ２６に進む。

ステップ２５では、推定停止ユニット２３が、推定枠の推定を停止する。すなわち、推定停止ユニット２３は、図４に示す処理の対象となった特定物標について、推定枠推定処理を終了させる。その結果、物標検出装置１は、図４に示す処理の対象となった特定物標について、Ｆ（Ｎ）以降のフレームでは推定枠を推定しない。

ステップ２６では、物標情報推定ユニット１３が、Ｆ（Ｎ）以降のフレームでも推定枠の推定を継続することを決定する。
図３に戻り、ステップ１４では、出力ユニット２７が処理結果を運転支援装置３１に出力する。出力の内容は物標情報を含む。物標情報は、例えば、車両２から物標までの３次元空間における距離、Ｆ（Ｎ）上での物標の座標、物標の種別を表す情報等を含む。前記ステップ６の処理を行った場合の物標情報は、Ｆ（Ｎ）とＦ（Ｎ－１）とにおいて、追跡して検出できた同一の物標の物標情報である。前記ステップ１０の処理を行った場合の物標情報は、新規物標の物標情報である。前記ステップ１１の処理を行った場合の物標情報は、物標を検出できなかったことを表す。

前記ステップ１３の処理を行った場合の物標情報は、Ｒ（Ｎ）の物標情報である。Ｒ（Ｎ）の物標情報は、車両２からＲ（Ｎ）までの３次元空間における距離、Ｆ（Ｎ）上でのＲ（Ｎ）の座標、特定物標の種別を表す情報等を含む。車両２からＲ（Ｎ）までの３次元空間における距離とは、Ｒ（Ｎ）に存在すると仮定した特定物標と、車両２との３次元空間における距離である。Ｒ（Ｎ）の物標情報は、特定物標の位置を表す物標情報である。

３．物標検出装置１が奏する効果
（１Ａ）物標検出装置１は、Ｆ（Ｎ－１）において検出され、Ｆ（Ｎ）では検出できない特定物標が存在する場合、Ｆ（Ｎ）以降のフレームにおける推定枠を推定し、推定枠の物標情報を出力する。推定枠の物標情報は、Ｆ（Ｎ）以降のフレームにおける特定物標の位置を表す。よって、物標検出装置１は、Ｆ（Ｎ）以降のフレームでも、物標を追跡することができる。

運転支援装置３１は、例えば、Ｆ（Ｎ）以降のフレームにおいて推定された推定枠の物標情報に応じて運転支援を行うことができる。運転支援として、例えば、推定枠の物標情報が表す位置と車両２との接近を避けるための自動ブレーキの使用等が挙げられる。

なお、同一の物標を、Ｆ（Ｎ－１）では検出でき、Ｆ（Ｎ）では検出できない場合として、以下の場合がある。図７に示すように、Ｆ（Ｎ）において、物標３９の背面に、背景４５が映ることがある。物標３９の背面がガラス、鏡、鏡面加工された金属等から成る場合、背景が映り易い。背景として、例えば、空、雲等がある。前記ステップ２の処理において、検出されるエッジ３３は、物標３９端部のエッジと、背景４５のエッジとを含む。物標３９端部のエッジの視差値と、背景４５のエッジにおける視差値とは大きく異なる。その結果、Ｆ（Ｎ）において、物標３９は検出されなくなる。

また、同一の物標を、Ｆ（Ｎ－１）では検出でき、Ｆ（Ｎ）では検出できない別の場合として、以下の場合がある。図８に示すように、Ｆ（Ｎ－１）では、物標３９の一部３９Ａを検出していた。Ｆ（Ｎ）では、一部３９Ａはフレームの範囲外であった。そのため、Ｆ（Ｎ）では、一部３９Ａを検出できない。また、Ｆ（Ｎ）に表れている、物標３９一部３９Ｂと、Ｆ（Ｎ－１）で検出された一部３９Ａとは、車両２からの距離が大きく異なる。そのため、Ｆ（Ｎ）に表れている一部３９Ｂを、Ｆ（Ｎ－１）で検出された一部３９Ａと同一の物標として検出することはできない。

（１Ｂ）推定枠が表す位置に物標が存在しない場合、特徴量差は大きくなる。前記ステップ２４において特徴量差が基準値以上であると判断する場合は、推定枠が表す位置に物標が存在しない可能性が高い場合である。物標検出装置１は、特徴量差が基準値以上であると判断した場合、推定枠の推定を停止する。そのため、物標検出装置１は、物標が存在しない位置を表す推定枠を推定し続けることを抑制できる。

（１Ｃ）物標検出装置１は、ステレオカメラ２９から画像を取得する。そのため、物標の検出や追跡を一層正確に行うことができる。
（１Ｄ）物標検出装置１は、特定物標が近距離車両であることをさらなる必要条件として、推定枠を推定する。特定物標が近距離車両である場合、フレームにおいて推定枠を推定して運転支援を行う必要性が高い。物標検出装置１は、近距離車両に対する運転支援を可能にする。
＜第２実施形態＞
１．第１実施形態との相違点
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、ステレオカメラ２９から画像を取得した。これに対し、第２実施形態では、単眼カメラから画像を取得する点、及び、図１０に示すように、物標検出装置１と単眼カメラ４７とが一体に構成されている点で、第１実施形態と相違する。物標検出装置１は、単眼カメラ４７が備える撮像部４９から画像を取得する。
第２実施形態では、前記ステップ２において、エッジ３３の形状に基づき、今回物標を検出する。また、第２実施形態では、前記ステップ４において、第２尤度及び第３尤度から総合尤度を算出する。

２．物標検出装置１が奏する効果
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）、（１Ｂ）、（１Ｄ）を奏する。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）前記ステップ２２～２４の処理は、以下の処理であってもよい。ステップ２２では、第１特徴量取得ユニット１７が、Ｆ（Ｎ）のうち、Ｒ（Ｎ）の内部にある各画素の視差値を算出する。

ステップ２３では、第２特徴量取得ユニット１９が、視差値の範囲を設定する。視差値の範囲は、Ｒ（Ｎ）に特定物標が存在すると仮定した場合の、Ｒ（Ｎ）内の視差値を中心とし、一定の幅を有する範囲である。

ステップ２４では、特徴量判断ユニット２１が、まず、前記ステップ２２で算出した視差値のうち、前記ステップ２３で設定した範囲内にある比率（以下では範囲内比率とする）を算出する。次に、範囲内比率が予め設定された基準値以上であるか否かを、特徴量判断ユニット２１が判断する。範囲内比率が基準値未満である場合、本処理はステップ２５に進む。範囲内比率が基準値以上である場合、本処理はステップ２６に進む。

推定枠が表す位置に物標が存在しない場合、範囲内比率は小さくなる。前記ステップ２４において範囲内比率が基準値未満であると判断する場合は、推定枠が表す位置に物標が存在しない可能性が高い場合である。物標検出装置１は、範囲内比率が基準値未満であると判断した場合、推定枠の推定を停止する。そのため、物標検出装置１は、物標が存在しない位置を表す推定枠を推定し続けることを抑制できる。

（２）前記ステップ５で否定判断した場合、常に前記ステップ８に進んでもよい。すなわち、特定物標が近距離車両であるか否かによらず、推定枠推定処理を開始してもよい。
（３）第１実施形態において、物標検出装置１とステレオカメラ２９とは一体の装置であってもよい。第１実施形態において、物標検出装置１と運転支援装置３１とは一体の装置であってもよい。第１実施形態において、物標検出装置１、ステレオカメラ２９、及び運転支援装置３１は一体の装置であってもよい。第２実施形態において、単眼カメラ４７と運転支援装置３１とは一体の装置であってもよい。
（４）本開示に記載の物標検出装置及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の物標検出装置及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の物標検出装置及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。物標検出装置に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（６）上述した物標検出装置の他、当該物標検出装置を構成要素とするシステム、当該物標検出装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物標追跡方法、運転支援方法等、種々の形態で本開示を実現することもできる。

１…物標検出装置、２…車両、３…ＣＰＵ、５…メモリ、７…画像取得ユニット、９…追跡ユニット、１１…不検出判断ユニット、１３…物標情報推定ユニット、１７…第１特徴量取得ユニット、１９…第２特徴量取得ユニット、２１…特徴量判断ユニット、２３…推定停止ユニット、２５…物標種別判断ユニット、２７…出力ユニット、２９…ステレオカメラ、３１…運転支援装置、３３…エッジ、３５Ａ…前回物標、３５Ｂ…今回物標

Claims (6)

1. 画像の複数のフレームを順次取得するように構成された画像取得ユニットと、
   前記複数のフレームにおいて、同一の物標を追跡して検出する処理を実行するように構成された追跡ユニットと、
   前記複数のフレームの１つである第１フレームにおいて検出され、前記第１フレームの次のフレームである第２フレームでは検出されない特定物標が存在するか否かを判断するように構成された不検出判断ユニットと、
   前記特定物標が存在すると前記不検出判断ユニットが判断したことを必要条件として、前記第１フレーム以前のフレームにおける前記特定物標の検出結果に基づき、前記第２フレーム以降のフレームにおける前記特定物標の位置を表す物標情報を推定するように構成された物標情報推定ユニットと、
   前記第２フレーム以降のフレームにおいて、前記物標情報が表す位置における画像特徴量である第１画像特徴量を取得するように構成された第１特徴量取得ユニットと、
   前記第１フレームのうち、前記特定物標を表す領域の前記画像特徴量である第２画像特徴量を取得するように構成された第２特徴量取得ユニットと、
   前記第１画像特徴量と、前記第２画像特徴量との差が予め設定された基準値以上であるか否かを判断するように構成された特徴量判断ユニットと、
   前記差が前記基準値以上であると前記特徴量判断ユニットが判断した場合、前記物標情報の推定を停止するように構成された推定停止ユニットと、
   を備える物標検出装置。
2. 画像の複数のフレームを順次取得するように構成された画像取得ユニットと、
   前記複数のフレームにおいて、同一の物標を追跡して検出する処理を実行するように構成された追跡ユニットと、
   前記複数のフレームの１つである第１フレームにおいて検出され、前記第１フレームの次のフレームである第２フレームでは検出されない特定物標が存在するか否かを判断するように構成された不検出判断ユニットと、
   前記特定物標が存在すると前記不検出判断ユニットが判断したことを必要条件として、前記第１フレーム以前のフレームにおける前記特定物標の検出結果に基づき、前記第２フレーム以降のフレームにおける前記特定物標の位置を表す物標情報を推定するように構成された物標情報推定ユニットと、
   前記特定物標が近距離車両であるか否かを判断するように構成された物標種別判断ユニットと、
   を備え、
   前記物標情報推定ユニットは、前記特定物標が前記近距離車両であると前記物標種別判断ユニットが判断することをさらなる必要条件として、前記物標情報を推定するように構成された物標検出装置。
3. 請求項１又は２に記載の物標検出装置であって、
   前記画像は、ステレオカメラの画像である物標検出装置。
4. 画像の複数のフレームを順次取得し、
   前記複数のフレームにおいて、同一の物標を追跡して検出する処理を実行し、
   前記複数のフレームの１つである第１フレームにおいて検出され、前記第１フレームの次のフレームである第２フレームでは検出されない特定物標が存在するか否かを判断し、
   前記特定物標が存在すると判断したことを必要条件として、前記第１フレーム以前のフレームにおける前記特定物標の検出結果に基づき、前記第２フレーム以降のフレームにおける前記特定物標の位置を表す物標情報を推定し、
   前記第２フレーム以降のフレームにおいて、前記物標情報が表す位置における画像特徴量である第１画像特徴量を取得し、
   前記第１フレームのうち、前記特定物標を表す領域の前記画像特徴量である第２画像特徴量を取得し、
   前記第１画像特徴量と、前記第２画像特徴量との差が予め設定された基準値以上であるか否かを判断し、
   前記差が前記基準値以上であると判断した場合、前記物標情報の推定を停止する物標検出方法。
5. 画像の複数のフレームを順次取得し、
   前記複数のフレームにおいて、同一の物標を追跡して検出する処理を実行し、
   前記複数のフレームの１つである第１フレームにおいて検出され、前記第１フレームの次のフレームである第２フレームでは検出されない特定物標が存在するか否かを判断し、
   前記特定物標が近距離車両であるか否かを判断し、
   前記特定物標が存在すると判断し、且つ、前記特定物標が前記近距離車両であると判断したことを必要条件として、前記第１フレーム以前のフレームにおける前記特定物標の検出結果に基づき、前記第２フレーム以降のフレームにおける前記特定物標の位置を表す物標情報を推定する物標検出方法。
6. 請求項１～３のいずれか１項に記載の物標検出装置と、
   前記複数のフレームを順次生成する撮像部と、
   前記物標検出装置の検出結果に基づき運転支援を行う運転支援装置と、
   を備える運転支援システム。

Images