JP6211473B2 - 対象物認識装置 - Google Patents

Description

本発明は、撮像部により得られる画像において所定種別の対象物に該当する物体を認識する対象物認識装置に関する。

従来、このような対象物認識装置として、撮像部により得られる画像に探索ウィンドウを順次設定し、探索ウィンドウ内に歩行者の像が含まれるか否かを順次判定することにより、画像内の歩行者を認識する装置が知られている（例えば、特許文献１参照）。

特許文献１の認識装置では、所定量ずつずらしながら順次設定される探索ウィンドウと歩行者のテンプレート画像とが、所定の特徴量に基づいて所定の比較器により比較される。その結果得られる類似度を示すスコアが所定値を超える場合に、その探索ウィンドウに歩行者の像が存在する蓋然性が高いと判定される。

その際、テンプレート画像の特徴量を表すテンプレートデータとして、詳細度が低い粗いデータ、詳細度が中程度のデータ、詳細度が高い詳細なデータの３段階のデータが用いられ、歩行者の有無が段階的に判定される。

すなわち、各探索ウィンドウでは、まず、粗いテンプレートデータと比較され、スコアが所定値を超えるか否かが判定される。そして、スコアが所定値を超えると判定された探索ウィンドウについてのみ、詳細度が中程度のテンプレートデータと比較される。さらに、スコアが所定値を超えると判定された探索ウィンドウについて、詳細なテンプレートデータとの比較が行われる。そして、スコアが所定値を超えた場合、その探索ウィンドウに歩行者が存在すると判定される。

特開２０１３−２１８４７６号公報

しかしながら、上記特許文献１の装置によれば、粗いテンプレートデータとの比較により所定値を超える探索ウィンドウが画像中に多く存在する場合、詳細度が中程度のテンプレートデータと比較される探索ウィンドウも多くなる。これに応じて、詳細なテンプレートデータとの比較が行われる探索ウィンドウも多くなる。また、テンプレートデータの詳細度が高いほど、スコア算出に要する処理量も増大する。

一方、撮像部により得られる画像は、フレーム単位で例えば数十ミリ秒毎に書き換えられるので、１フレームの画像についての歩行者認識のために許容される処理時間は、かかる一定の短い処理サイクル期間内に限られる。したがって、その画像中に歩行者などの物体が多く存在する場合には、粗いテンプレートデータとの比較でスコアが所定値を超えると判定された探索ウィンドウのすべてについては、より詳細なテンプレートデータとの比較処理を行うことができない場合がある。

かかる場合には、当該１フレームの画像についての処理を途中で停止し、次のフレームの画像の処理に移行せざるを得ない。しかし、その場合、認識すべき歩行者が認識されず、その後の警報処理などにおいて不都合を生じるおそれがある。

本発明の目的は、かかる従来技術の課題に鑑み、限られた一定時間内に、画像中の対象物を適切に認識できる対象物認識装置を提供することにある。

本発明の対象物認識装置は、車載される対象物認識装置であって、撮像部と、前記撮像部により順次得られる画像毎に、該画像中の所定種別の対象物を一定時間内で認識する対象物認識部とを備え、前記対象物認識部は、前記画像から前記対象物に該当する可能性がある候補物体を抽出する候補抽出部と、前記対象物に該当するか否かの検定の対象とする前記候補物体を決定する検定対象決定部と、前記検定対象決定部により検定の対象に決定された候補物体が前記対象物に該当するか否かを検定する当否検定部とを備え、前記検定対象決定部は、候補物体の抽出数が所定値以上になったときに、前記候補抽出部による候補物体の抽出を途中で終了するものであり、前記当否検定部は、前記終了までに前記候補抽出部により抽出された候補物体について前記対象物に該当するか否かを検定することを特徴とする。

これによれば、候補物体の抽出数に関する上記の所定値を適切に設定することにより、抽出を終了するまでに抽出した候補物体について、残された時間内で確実に検定を行うことができる。

本発明の対象物認識装置は、車載される対象物認識装置であって、撮像部と、前記撮像部により順次得られる画像毎に、該画像中の所定種別の対象物を一定時間内で認識する対象物認識部とを備え、前記対象物認識部は、前記画像から前記対象物に該当する可能性がある候補物体を抽出する候補抽出部と、前記対象物に該当するか否かの検定の対象とする前記候補物体を決定する検定対象決定部と、前記検定対象決定部により検定の対象に決定された候補物体が前記対象物に該当するか否かを検定する当否検定部とを備え、前記検定対象決定部は、前記候補抽出部による候補物体の抽出が行われる毎に、さらに候補物体の抽出及び該抽出によって抽出された抽出物体についての前記当否検定部による検定が、残された時間内に完了できなくなるかどうかを判定し、残された時間内に完了できなくなると判定したとき、前記候補抽出部による候補物体の抽出を終了するものであり、前記当否検定部は前記終了までに前記候補抽出部により抽出された候補物体について前記対象物に該当するか否かを検定するものであってもよい。

これによれば、抽出された候補物体についての当否検定部による検定が、残された時間内で不可能となる前に、候補物体の抽出が終了される。これにより、それまでに抽出された候補物体が検定の対象に決定され、当否判定部による検定が開始される。したがって、抽出された候補物体の検定を、残された時間内で確実に完了することができる。

また、候補物体の抽出が行われる毎に、候補物体の抽出を終了するか否かが判定されるので、抽出される候補物体の検定が確実に完了できる範囲内で最大数の候補物体を抽出することができる。

本発明の一実施形態に係る対象物認識装置の構成を示すブロック図である。 図１の対象物認識装置において１フレームの画像中の歩行者認識処理を行う際に、歩行者認識処理を構成する各処理に割り当てられる時間を示す図である。 図１の対象物認識装置における候補抽出部及び検定対象決定部による処理を示すフローチャートである。

以下、図面を用いて本発明の実施形態を説明する。図１に示すように、実施形態の対象物認識装置１は、撮像部２と、撮像部２により得られる画像に基づき、画像中の所定種別の対象物を認識する処理を行う認識処理部３とを備える。対象物認識装置１は、例えば、車両に搭載され、撮像部２としての車載カメラにより得られる画像に基づいて、対象物としての歩行者等を認識処理部３により認識する。

認識処理部３は、撮像部２による撮像結果としての画像情報を取得する画像取得部４と、その画像情報で構成される画像に基づき、画像中に存在する所定種別の対象物を認識する対象物認識部５とを備える。ここでは、所定種別の対象物として、歩行者が対象物とされ、対象物認識部５により、歩行者を認識する歩行者認識処理が行われる。なお、所定種別の対象物として、歩行者の他、野生動物や車両を対象物としてもよい。

画像取得部４は、例えば数十ミリ秒毎に撮像部２から１フレーム分の画像情報を取得して画像メモリに記憶する。対象物認識部５は、画像メモリに順次記憶されるフレーム毎の画像情報に基づき、その画像における歩行者を認識する。

対象物認識部５は、フレーム毎の画像において、対象物としての歩行者に該当する可能性がある物体を候補物体として抽出する抽出処理を行う候補抽出部６と、対象物に該当するか否かの検定の対象とする候補物体を決定する決定処理を行う検定対象決定部７と、検定対象決定部７により決定された候補物体が対象物に該当するかどうかを検定する検定処理を行う当否検定部８とを備える。

候補抽出部６は、画像中の物体のうち、その位置が撮像部２に近いもの又は該画像の中央に位置するものを優先して候補物体として抽出する。この場合、物体が撮像部２に近いかどうかを判定するに当たって、撮像部２から物体までの距離Ｄは、例えば、次のようにして取得することができる。

すなわち、画像中の無限遠点（消失点）に対して物体の接地点の成す角度をθ、地面から撮像部２までの高さをＨ、画像中の物体の接地点から無限遠点（地平線）までの距離をΔｙ、撮像部２の焦点距離をｆとすると、Ｄ＝Ｈ／ｔａｎθ、ｔａｎθ＝Δｙ／ｆにより距離Ｄを算出することができる。

検定対象決定部７による候補物体の決定は、候補抽出部６による候補物体の抽出数及びその抽出に費やした経過時間に基づいて行われる。本実施形態では、候補物体の決定は、該抽出数及び該経過時間に基づいて、候補物体の抽出を終了することにより行われる。そして、抽出終了までに抽出された候補物体が検定の対象に決定される。

このために、検定対象決定部７は、候補抽出部６による候補物体の抽出が行われる毎に、候補抽出部６による候補物体の抽出を終了するか否かを判定する抽出終了判定部９を備える。抽出終了判定部９は、さらに候補物体の抽出を行った場合に、それまでに抽出された候補物体についての当否検定部８による検定が、残された時間内に完了できなくなるかどうかに基づいて候補物体の抽出を終了するか否かを判定する。

図２は、１フレームの画像について歩行者認識処理を行う場合に、候補抽出部６により候補物体がＮ個抽出された時点ｔ２において、歩行者認識処理を構成する各処理に対して既に割り当てられ、及びこれから割り当てられる時間を示す。

歩行者認識処理に費やすことができる合計時間Ｔｔは、画像取得部４が１フレーム分の画像を取得してから次のフレームの画像を取得するまでのサイクルタイムに対応する。合計時間Ｔｔ内に、対象物認識部５により、１フレーム分の画像について、歩行者認識処理が行われる。

合計時間Ｔｔには、１フレーム分の画像において所定の特徴量に基づいてクラスタリングを行うのに費やした前処理経過時間Ｐｒｔ、並びに候補抽出部６及び当否検定部８がその抽出処理及び検定処理に使用できる時間を含む上限処理時間Ａｌｔと、警報出力等の後処理に使用される後処理時間Ｐｏｔとが含まれる。前処理経過時間Ｐｒｔにおけるクラスタリングは、例えば、物体の輪郭を表すエッジ等の特徴量に基づいて、各エッジを物体毎のクラスタに分類することにより行われる。

上限処理時間Ａｌｔには、候補抽出部６による抽出処理のために費やした抽出処理経過時間Ｐｓｔと、当否検定部８による検定処理に使用されると見積もられる検定処理時間Ｊｄｔと、上限処理時間Ａｌｔから前処理経過時間Ｐｒｔ、抽出処理経過時間Ｐｓｔ及び検定処理時間Ｊｄｔを差し引いた残り時間Ｒｍｔとが含まれる。上限処理時間Ａｌｔには、候補物体を決定する検定対象決定部７により使用される処理時間も含まれるが、ごく僅かである。

検定処理時間Ｊｄｔは、抽出処理経過時間Ｐｓｔにおいて候補抽出部６により抽出された候補物体の抽出数をＮとすると、検定対象決定部７が１つの候補物体について歩行者に該当するかどうかを検定するのに要する平均時間ＡｖｔにＮを乗じることにより見積もられる値である。

抽出終了判定部９は、候補抽出部６により候補物体が抽出される毎に、残り時間Ｒｍｔ内で、さらに１つの候補物体の抽出及び検定を確実に行うことができるかを判定する。そして、この抽出及び検定を確実に行うことができなくなるおそれがあると判定したとき、抽出処理を終了する旨の判定を行う。これにより、それまでに抽出されたＮ個の候補物体が検定処理の対象として決定されることになる。

図３は、候補抽出部６及び検定対象決定部７による抽出処理及び決定処理を示す。１つのフレームの画像について、クラスタリング等の前処理が終了し、前処理経過時間Ｐｒｔが経過した時点で、図３の処理が開始される。

すなわち、処理を開始すると、検定対象決定部７は、まず、ステップＳ１において、少なくとも１つのクラスタ（物体）に係る関心領域（ＲＯＩ）についての候補抽出部６による抽出処理及び当否検定部８による検定処理を確実に行い、かつ上述の後処理を確実に行うための最小限の時間が存在するか否かを判定する。

この判定は、合計時間Ｔｔから前処理経過時間Ｐｒｔを減算して得られる時間が、１つのクラスタについての抽出処理及び検定処理に要する時間のそれぞれの最大値ＰＳＭＴ及びＰＣＭＴと、後処理に要する時間の最大値ＰＰＭＴとの和より小さいか否かにより行われる。合計時間Ｔｔとしては、例えば３０[ｍｓ]が該当する。最大値ＰＳＭＴ、ＰＣＭＴ及びＰＰＭＴとしては、それぞれ、例えば０．５[ｍｓ]、２．０[ｍｓ]、３[ｍｓ]が該当する。

ステップＳ１において最小限の時間が存在すると判定しなかった場合には、１つのクラスタについての抽出処理、検定処理及び後処理ができない可能性があるので、図３の処理を終了する。最小限の時間が存在すると判定した場合には、候補抽出部６及び検定対象決定部７による抽出処理及び決定処理（ステップＳ２〜Ｓ８）が行われる。

すなわち、まず、候補抽出部６は、ステップＳ２において、１つのクラスタについて、対応する関心領域（ＲＯＩ）内の物体が歩行者に該当する可能性があるかどうかを判定し、歩行者に該当する可能性がある物体を候補物体として抽出する。この抽出処理では、上述のように、位置が撮像部２に近い物体としてのクラスタ又は該画像の中央に位置する物体としてのクラスタから優先的に処理される。

歩行者に該当する可能性があるかどうかの判定は、関心領域と簡易な歩行者モデルとを識別器により比較し、識別器によるスコアが所定値以上であるか否かにより行われる。歩行者モデルは、予め種々の歩行者画像からエッジ等の特徴量を抽出し、テンプレートデータとして記憶したものである。

次に、ステップＳ３において、候補物体が抽出できたか否かを判定する。抽出できたと判定した場合には、ステップＳ４において、抽出数Ｎ（初期値０）をインクリメントし、ステップＳ５へ進む。抽出できなかったと判定した場合には、そのままステップＳ５へ進む。

ステップＳ５では、候補抽出部６による前処理が開始されてからの経過時間Ｐｒｔ＋Ｐｓｔ（＝現在時刻ｔ２−前処理開始時刻ｔ１）を算出する。次に、ステップＳ６において、候補抽出部６による抽出処理及び当否検定部８による検定処理に使用できる残時間Ａｒｔ（＝合計時間Ｔｔ−前処理経過時間Ｐｒｔ−抽出処理経過時間Ｐｓｔ−後処理の最大時間ＰＰＭＴ）を算出する。

次に、ステップＳ７において、抽出終了判定部９により、抽出処理を終了するか否かを判定する。この判定は、残時間Ａｒｔが、もう１つのクラスタについての抽出処理と検定処理を許容できなくなる可能性があるかどうかに基づいて行われる。

すなわち、それまでに抽出された候補物体の数Ｎに１つの候補物体についての検定処理に要する平均時間ＰＣＡＴを乗じた値に、１つの候補物体についての抽出処理及び検定処理に要する各時間の最大値ＰＳＭＴ及びＰＣＭＴを加算した値と、ステップＳ６で算出した残時間Ａｒｔとを比較する。残時間Ａｒｔの方が小さい場合には抽出処理を終了すると判定し、図３の処理を終了する。残時間Ａｒｔの方が小さくなければ、ステップＳ８に進む。

ステップＳ８では、すべてのクラスタについての抽出処理が完了したか否かを判定する。完了していないと判定した場合には、ステップＳ２へ戻る。この場合には、次のクラスタについての抽出処理が行われる。完了したと判定した場合には、図３の処理を終了する。

図３の処理が終了すると、それまでに抽出された候補物体が、歩行者に該当するか否かの検定の対象として決定されたことになり、当否検定部８により、歩行者に該当するか否かが検定されることになる。

以上のように、本実施形態によれば、候補物体の抽出数Ｎ及び抽出のために経過した経過時間Ｐｓｔに基づいて、抽出処理を終了することにより、当否検定部８による検定の対象とする候補物体が決定される。したがって、抽出処理の終了タイミングを適切に判定することにより、決定された候補物体が歩行者に該当するか否かの検定を確実に完了することができる。

また、残時間Ａｒｔに基づき、もう１つのクラスタについて抽出処理及び検定処理を確実に行う時間が残されていない場合には、抽出処理が終了される。したがって、抽出した候補物体について確実に検定処理を行える範囲内で、候補物体の抽出数を最大化することができる。すなわち、限られたサイクルタイムとしての合計時間Ｔｔ内で極力多くの歩行者を認識することができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、対象物認識部５は、候補抽出部６による候補物体の抽出に費やされた経過時間Ｐｓｔに拘わらず、抽出された候補物体の抽出数Ｎが所定値以上になったとき、又はすべてのクラスタについて抽出処理が完了したとき、候補抽出部６による候補物体の抽出を終了させてもよい。

この場合、検定対象決定部７は、それまでに抽出された候補物体のうちの一部を、当否検定部８による検定の対象に決定し、該一部の候補物体については、確実に検定が行われるようにしてもよい。また、所定値を適切に定めることにより、抽出数Ｎが所定値になって抽出処理を終了した場合に、抽出された候補物体についての検定処理が確実に行えるようにしてもよい。また、抽出された候補物体のうちの一部を検定の対象に決定する際に、候補物体のうちの位置が撮像部２に近いもの又は該画像の中央に位置するものを優先して決定してもよい。

１…対象物認識装置、２…撮像部、５…対象物認識部、６…候補抽出部、７…検定対象決定部、８…当否検定部、９…抽出終了判定部。

Claims (3)

1. 車載される対象物認識装置であって、
   撮像部と、
   前記撮像部により順次得られる画像毎に、該画像中の所定種別の対象物を一定時間内で認識する対象物認識部とを備え、
   前記対象物認識部は、
   前記画像から前記対象物に該当する可能性がある候補物体を抽出する候補抽出部と、
   前記対象物に該当するか否かの検定の対象とする前記候補物体を決定する検定対象決定部と、
   前記検定対象決定部により検定の対象に決定された候補物体が前記対象物に該当するか否かを検定する当否検定部とを備え、
   前記検定対象決定部は、候補物体の抽出数が所定値以上になったときに、前記候補抽出部による候補物体の抽出を途中で終了するものであり、
   前記当否検定部は、前記終了までに前記候補抽出部により抽出された候補物体について前記対象物に該当するか否かを検定することを特徴とする対象物認識装置。
2. 車載される対象物認識装置であって、
   撮像部と、
   前記撮像部により順次得られる画像毎に、該画像中の所定種別の対象物を一定時間内で認識する対象物認識部とを備え、
   前記対象物認識部は、
   前記画像から前記対象物に該当する可能性がある候補物体を抽出する候補抽出部と、
   前記対象物に該当するか否かの検定の対象とする前記候補物体を決定する検定対象決定部と、
   前記検定対象決定部により検定の対象に決定された候補物体が前記対象物に該当するか否かを検定する当否検定部とを備え、
   前記検定対象決定部は、
   前記候補抽出部による候補物体の抽出が行われる毎に、さらに候補物体の抽出及び該抽出によって抽出された抽出物体についての前記当否検定部による検定が、残された時間内に完了できなくなるかどうかを判定し、残された時間内に完了できなくなると判定したとき、前記候補抽出部による候補物体の抽出を終了するものであり、
   前記当否検定部は前記終了までに前記候補抽出部により抽出された候補物体について前記対象物に該当するか否かを検定することを特徴とする対象物認識装置。
3. 前記画像中の物体のうち、その位置が前記撮像部に近い物体若しくは該画像の中央に位置する物体が優先して前記候補抽出部による抽出の対象とされ、又は前記検定対象決定部による決定の対象とされることを特徴とする請求項１又は２に記載の対象物認識装置。

Images