JP6329823B2 - 立体物認識装置 - Google Patents

Description

本発明は、撮像部により得られる画像における立体物の存否を判定する立体物認識装置に関する。

従来、車載カメラにより撮影して得られる画像から所定の特徴量を有する部分として抽出される特徴点のオプティカルフローに基づいて、物体を認識する装置が知られている（例えば、特許文献１参照）。

特許文献１の装置では、画像から、横方向に濃度勾配を有する部分として得られる縦エッジの横方向の移動速度、及び縦方向に濃度勾配を有する部分として得られる横エッジの縦方向の移動速度が、各エッジについてのオプティカルフローとして算出される。そして、横方向の移動速度が同一である縦エッジを含む部分が対象領域として設定される。

さらに、対象領域に含まれる横エッジの縦方向の移動速度と、その画像上の位置とに基づいて、その領域に含まれる物体が、車載カメラを搭載した車両に到達するまでの時間が算出される。このように、各エッジのオプティカルフローに基づいて物体が認識され、認識結果が、物体との衝突回避等のために役立てられる。

特開２００６−９９１５５号公報

しかしながら、上記特許文献１の装置によれば、縦方向及び横方向の２次元のオプティカルフローに基づいて物体を認識している。このため、車載カメラを搭載した自車両の前方を走行する他車両の速度が、自車両の速度に比べて小さい場合には、自車両の移動速度の影響により、他車両のオプティカルフローと、その背景のオプティカルフローとの差が顕著に表れ難い。

この場合、他車両とその背景のオプティカルフローを区別し難いので、他車両を確実に認識するのが困難となるおそれがある。そうすると、認識結果を、物体との衝突回避等のために役立てられなくなるおそれがある。

本発明の目的は、かかる従来技術の課題に鑑み、立体物を、その背景に対する移動速度が小さい場合でも、背景から容易に区別して認識できる立体物認識装置を提供することにある。

本発明の立体物認識装置は、撮像部により得られる画像に基づいて該画像における立体物の存否判定の対象領域を抽出する対象領域抽出部と、前記対象領域内の所定の特徴点を抽出して各特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフロー算出部により算出されたオプティカルフローのうち、そのオプティカルフローに対応する特徴点の高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数をカウントするカウント部と、前記カウント部によりカウントされたオプティカルフローの数に基づいて、前記対象領域内に立体物が存在するか否かを判定する立体物判定部とを備えることを特徴とする。

本発明によれば、対象領域内の特徴点のオプティカルフローのうち、その特徴点の高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数に基づいて、対象領域内に立体物が存在するか否かが判定される。したがって、立体物を、その背景に対する移動速度が小さい場合でも、簡易な処理で、比較的精度よく、背景から容易に区別して認識することができる。

本発明において、前記立体物判定部は、前記オプティカルフロー算出部により算出されたオプティカルフローの数に対する前記カウント部によりカウントされたオプティカルフローの数の割合が所定値以上の場合、前記対象領域内に立体物が存在する旨の判定を行ってもよい。これにより、より高い精度で、対象領域内に立体物が存在することを判定することができる。

本発明において、前記立体物判定部は、前記オプティカルフロー算出部により算出されたオプティカルフローの数に対する前記カウント部によりカウントされたオプティカルフローの数の割合が所定値以下の場合、前記対象領域内に立体物が存在しない旨の判定を行ってもよい。これによれば、より高い精度で、対象領域内に立体物が存在しないことを判定することができる。

本発明において、前記カウント部によるカウントは、前記対象領域のうちの下端から上方の所定位置までの範囲を除いた領域を対象として行われてもよい。これによれば、より高い精度で対象領域内に立体物が存在するか否かを判定することができる。

本発明において、前記距離についての所定範囲は、前記対象領域までの距離を中心とする一定の範囲であってもよい。これによれば、対象領域内に比較的高い立体物が存在するか否かを良好に判定することができる。

本発明において、前記高さについての所定範囲は、認識したい前記立体物が取り得る高さの範囲であってもよい。これによれば、対象領域内に認識したい立体物に該当する蓋然性の高い立体物が存在するか否かを良好に判定することができる。

本発明の一実施形態に係る立体物認識装置の構成を示すブロック図である。 図１の立体物認識装置のオプティカルフロー算出部により算出されるオプティカルフローの一例を示す図である。 歩行者と路面のオプティカルフローの大きさの比率を説明するための説明図である。 路面上に歩行者が存在する場合の対象領域内の各オプティカルフローに対応する特徴点の距離及び高さの一例を示す図である。 図１の立体物認識装置の認識処理部における立体物認識処理を示すフローチャートである。

以下、図面を用いて本発明の実施形態を説明する。図１に示すように、実施形態の立体物認識装置１は、撮像部２と、撮像部２により得られる画像に基づいて、画像中の立体物を認識する認識処理部３とを備える。立体物認識装置１は、例えば、移動体としての車両に取り付けられ、車両の走行中に、車両に接近する立体物を、背景としての道路から区別して認識する。撮像部２は、例えば、少なくとも１つのカメラにより構成される。

認識処理部３は、撮像部２による撮影結果としての画像情報を取得する画像取得部４と、その画像情報で構成される画像に基づいて、その画像における立体物の存否判定の対象領域を抽出する対象領域抽出部５と、対象領域内の所定の特徴点を抽出して各特徴点のオプティカルフローを算出するオプティカルフロー算出部６とを備える。

画像取得部４は、例えば数十ミリ秒毎に撮像部２から１フレーム分の画像情報を取得して画像メモリに記憶する。対象領域抽出部５は、画像メモリに順次記憶されるフレーム毎の画像情報に基づき、その画像における対象領域を抽出する。対象領域は、例えば、エッジ等の特徴領域を抽出し、クラスタリングを行って得られる各クラスタに対応付けて設定される。

対象領域内の所定の特徴点として、例えば、隣接するエッジの角部が抽出される。特徴点のオプティカルフローは、撮像部２により得られる連続する２つのフレームの画像に基づいて、その特徴点の速度ベクトルとして算出される。

図２は、オプティカルフロー算出部６により算出されるオプティカルフロー（速度ベクトル）の一例を示す。図２においては、撮像部２がその撮影方向に向かって移動している場合に、撮影された道路を含む画像７において抽出された対象領域８と、対象領域８内の各特徴点について算出されたオプティカルフロー９が示されている。オプティカルフロー９の大きさは、その特徴点に対応する路面１０上の位置が撮像部２に近いほど大きいことがわかる。

したがって、図３のように、撮像部２の画角の範囲内に歩行者１１が存在する場合、撮像部２から歩行者１１の足元とその近傍の路面１０までの距離は、さほど異なることがないので、歩行者１１の足部１２とその近傍の背景としての路面１０のオプティカルフローの大きさに大きな差はない。

一方、撮像部２の高さの半分程度の高さに歩行者の腰部１３が位置するとすれば、撮像部２から腰部１３までの距離は、腰部１３の背景としての路面１０までの距離の半分程度となる。この場合には、腰部１３とその背景との距離の差に対応して、背景に対する腰部１３のオプティカルフローの大きさの比率は大きくなる。

他方、撮像部２と歩行者の肩部１４とがほぼ同じ高さに位置する場合には、肩部１４の背景はほぼ無限遠の景色となるので、背景のオプティカルフローの大きさはゼロに近い。これに対し、肩部１４のオプティカルフローはかなり大きい。したがって、この場合、背景に対する肩部１４のオプティカルフローの大きさの比率はさらに大きくなる。このことは、オプティカルフローにより立体物を背景から区別する場合、立体物上の高い位置のオプティカルフローを用いた方が、より明確に区別できることを意味する。

また、図２を用いて上述したように、各特徴点のオプティカルフローの大きさは、その特徴点に対応する路面１０上の位置が撮像部２に近いほど大きい。このことは、路面１０上に存在する歩行者１１のオプティカルフローについても当て嵌まる。このため、オプティカルフローの大きさから、その特徴点に対応する路面１０上の位置までの距離が推定できる。

また、同じ大きさのオプティカルフローでも、対象領域８内で上に位置するオプティカルフローほど、その特徴点に対応する立体物上の位置は高い。したがって、オプティカルフローの大きさ及び対象領域８における位置に基づいて、そのオプティカルフローの特徴点に対応する立体物部分の位置及び高さを推定することができる。

本実施形態では、このような歩行者等の立体物とその背景のオプティカルフローの特質を利用して、立体物が、その背景から区別して認識される。かかる立体物の認識を行うために、認識処理部３は、さらに、オプティカルフロー算出部６により算出されたオプティカルフローのうちの所定のものの数をカウントするカウント部１５と、このカウント数に基づいて、対象領域８内に立体物が存在するか否かを判定する立体物判定部１６とを備える。

カウント部１５は、上記の所定のオプティカルフローの数として、そのオプティカルフローの特徴点に対応する実空間上の部分について推定されるその部分の高さ若しくはその部分までの距離、又はこれらの両方が所定の範囲にあるオプティカルフローの数をカウントする。

所定の高さの範囲としては、所定の高さまでの範囲を除いたその上の範囲や、認識しようとしている立体物が取り得る高さの範囲が該当する。また、所定の距離の範囲としては、例えば、対象領域８までの距離を中心とする一定の範囲が該当する。

対象領域８までの距離は、例えば、それに含まれる特徴点までの平均距離として把握することができる。その距離は、例えば、対象領域８の１フレーム前の画像における大きさに対する現在のフレームの画像における大きさの拡大率が対象領域８までの距離と相関関係にあることを利用して算出することができる。

また、例えば、立体物として図３のような歩行者を認識しようとする場合には、対象領域８の下端から半分程度の高さまでの範囲を除いた領域について、上記のオプティカルフローのカウントが行われる。上述のように、歩行者の位置が高い部分ほど、その背景とのオプティカルフローの大きさの比率が大きくなり、上述の高さや距離が所定値以上であることを把握し易いからである。

図４は、図３のように路面１０上に歩行者が存在する場合の対象領域８内の各オプティカルフローに対応する特徴点までの距離及び高さの一例を示す。横軸は、実空間での基準位置からの距離であり、縦軸は、路面１０からの高さである。マル印により歩行者１１の各特徴点の距離及び高さが示されており、バツ印により路面１０の各特徴点までの距離及び高さが示されている。各特徴点についての距離及び高さの値は、その対象領域８内での位置及び対応するオプティカルフローの値に基づいて算出された値である。

歩行者１１の特徴点は、ある距離の範囲Ｄｗ内に多く存在するのに対し、路面１０の特徴点は、距離方向にばらついている。また、歩行者１１の特徴点は、高さ方向にばらついているのに対し、路面１０の特徴点は、高さｈ１より低い位置に多く存在する。

したがって、高さｈ１より位置が高い特徴点の平均距離Ｄｍを算出し、Ｄｍを中心とする所定の距離の範囲Ｄｗ内に位置する特徴点のオプティカルフローの数をカウントすることにより、そのカウント数に基づいて、対象領域８内に歩行者のような立体物が存在するかどうかを判定することができる。なお、平均距離Ｄｍは、上述の対象領域８までの距離に対応する。

例えば、対象領域８内のオプティカルフローのカウントの対象とした領域における全オプティカルフロー数に対するカウント数の割合が所定値以上である場合には、対象領域８内に立体物が存在する旨の判定を行うことができる。

また、高さがｈ１からｈ２までの範囲のオプティカルフローの数をカウントすることにより、そのカウント数に基づいて、対象領域８内に歩行者のような立体物が存在するか否かが判定される。例えば、対象領域８内のオプティカルフローのカウントの対象とした領域における全オプティカルフロー数に対するカウント数の割合が所定値以上である場合には、対象領域８内に立体物が存在する旨の判定を行うことができる。

なお、オプティカルフローに対応する特徴点の高さ又は該特徴点までの距離のうちのいずれか一方が所定範囲内であるオプティカルフローの数をカウントし、そのカウント数に基づいて立体物の存在する旨の判定を行うようにしてもよい。ただし、上述のように、特徴点の高さ及び該特徴点までの距離の双方が所定範囲内であるオプティカルフローのカウント数に基づいて判定を行うことにより、より高精度な判定を行うことができる。

図５は、認識処理部３における立体物認識処理を示すフローチャートである。認識処理部３は、この処理を開始すると、まず、ステップＳ１において、画像取得部４により得られた１フレームの画像に基づき、対象領域抽出部５により、該画像における立体物の存否判定の対象領域を抽出する。

次に、ステップＳ２において、オプティカルフロー算出部６により、抽出された対象領域８におけるエッジの角部等の各特徴点についてオプティカルフローを算出する。

次に、ステップＳ３において、カウント部１５により、算出されたオプティカルフローのうち、そのオプティカルフローに対応する特徴点について算出される高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数をカウントする。

このとき、カウントは、対象領域８のうちの下端から上方の所定位置までの範囲を除いた領域、例えば対象領域８の上半分の領域を対象として行ってもよい。また、距離についての所定範囲は、対象領域８までの距離を中心とする一定の範囲であってもよい。また、高さについての所定範囲は、認識したい立体物である歩行者が取り得る高さの範囲であってもよい。

次に、ステップＳ４において、立体物判定部１６により、ステップＳ３でカウントしたオプティカルフローの数のステップＳ２で算出した全オプティカルフローの数に対する割合が所定値以上であるか否かを判定する。所定値以上でないと判定した場合には、そのままステップＳ６に進む。所定値以上であると判定した場合には、ステップＳ５において、対象領域８内に立体物が存在すると判定し、ステップＳ６に進む。

ステップＳ６では、ステップＳ１で抽出したすべての対象領域８についての処理が終了したかどうかを判定する。処理が終了していないと判定した場合には、ステップＳ２に戻り、次の対象領域８について、同様にステップＳ２〜Ｓ５の処理を繰り返す。処理が終了したと判定した場合には、図５の処理を終了する。

図５の処理を終了すると、立体物が存在すると判定された対象領域８については、その立体物が歩行者であるどうかを検定するなどのさらに詳細な処理の対象に供することができる。

以上説明したように、本実施形態によれば、対象領域８内の特徴点のオプティカルフローのうち、その特徴点の高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数に基づいて、対象領域８内に立体物が存在するか否かが判定される。したがって、簡易な処理で、比較的精度よく、立体物の認識を行うことができる。

その際、オプティカルフロー算出部６により算出されたオプティカルフローの数に対するカウント部によりカウントされたオプティカルフローの数の割合が所定値以上であるか否かにより、対象領域８内に立体物が存在するか否かを判定することができる。

また、カウント部１５によるカウントは、対象領域８のうちの下端から上方の所定位置までの範囲を除いた領域を対象として行われるので、より高い精度で対象領域８内に立体物が存在するか否かを判定することができる。

また、カウント部１５が、対象領域８までの距離を中心とする一定の範囲に位置する特徴領域のオプティカルフローをカウントする場合には、対象領域８内に比較的高い立体物が存在するか否かを良好に判定することができる。

また、カウント部１５が、認識したい立体物、例えば歩行者がとり得る高さの範囲に位置する特徴領域のオプティカルフローをカウントする場合には、対象領域８内に歩行者に該当する蓋然性の高い立体物が存在するか否かを良好に判定することができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、カウント部１５によるカウントは、図４を用いて説明した高さの範囲ｈ１〜ｈ２と、距離の範囲Ｄｗとを組み合わせた範囲に存在するオプティカルフローを対象としてカウントするようにしてもよい。

１…立体物認識装置、２…撮像部、７…画像、８…対象領域、５…対象領域抽出部、９…オプティカルフロー、６…オプティカルフロー算出部、１５…カウント部、１６…立体物判定部。

Claims (6)

1. 撮像部により得られる画像に基づいて該画像における立体物の存否判定の対象領域を抽出する対象領域抽出部と、
   前記対象領域内の所定の特徴点を抽出して各特徴点のオプティカルフローを算出するオプティカルフロー算出部と、
   前記オプティカルフロー算出部により算出されたオプティカルフローのうち、そのオプティカルフローに対応する特徴点の高さ若しくは該特徴点までの距離、又はこれらの両方が所定範囲内であるオプティカルフローの数をカウントするカウント部と、
   前記カウント部によりカウントされたオプティカルフローの数に基づいて、前記対象領域内に立体物が存在するか否かを判定する立体物判定部とを備えることを特徴とする立体物認識装置。
2. 前記立体物判定部は、前記オプティカルフロー算出部により算出されたオプティカルフローの数に対する前記カウント部によりカウントされたオプティカルフローの数の割合が所定値以上の場合、前記対象領域内に立体物が存在する旨の判定を行うことを特徴とする請求項１に記載の立体物認識装置。
3. 前記立体物判定部は、前記オプティカルフロー算出部により算出されたオプティカルフローの数に対する前記カウント部によりカウントされたオプティカルフローの数の割合が所定値以下の場合、前記対象領域内に立体物が存在しない旨の判定を行うことを特徴とする請求項１又は２に記載の立体物認識装置。
4. 前記カウント部によるカウントは、前記対象領域のうちの下端から上方の所定位置までの範囲を除いた領域を対象として行われることを特徴とする請求項１〜３のいずれか１項に記載の立体物認識装置。
5. 前記距離についての所定範囲は、前記対象領域までの距離を中心とする一定の範囲であることを特徴とする請求項１〜４のいずれか１項に記載の立体物認識装置。
6. 前記高さについての所定範囲は、認識したい前記立体物が取り得る高さの範囲であることを特徴とする請求項１〜５のいずれか１項に記載の立体物認識装置。