JP6077028B2 - 物体認識装置 - Google Patents

Description

本発明は、撮像部により得られる画像中の物体が所定の種別のものに該当するか否かを判定する物体認識装置に関する。

従来、撮像装置により得られる画像中に存在する物体が所定種別の対象物に該当するか否かを識別する装置が知られている（例えば、特許文献１参照）。この装置では、予め、対象物としての歩行者の前後の向き、左向き及び右向きの学習用画像の特徴量に基づいて、各向きの識別モデルが取得される。

そして、撮像された画像中の物体が歩行者に該当するか否かを判定する際には、その画像から順次位置を変えて抽出されるウィンドウ画像の特徴量と、歩行者の各向きの識別モデルとが比較され、歩行者らしさを示すスコアが算出される。このスコアに基づき、例えば、前後の向き、左向き及び右向きの識別モデルのうちのいずれか１つ以上のスコアが大きい場合には、当該ウィンドウ画像において歩行者が存在する旨の判定がなされる。

特開２０１２−２２１１６２号公報

しかしながら、上記特許文献１の装置によれば、各ウィンドウ画像における歩行者の有無を精度良く判定するために、各ウィンドウに対して、前後の向き、左向き及び右向きの各識別モデルを対比させて各方向のスコアを算出するようにしている。このため、歩行者有無の判定に要する処理量が多く、各ウィンドウ画像についての判定結果を得るのに長期間を要する。

また、判定の精度を向上させるためには、識別モデルの特徴量ベクトルとして、より次元数の大きいものを採用する必要がある。その場合には、さらに、判定に要する処理量が増大することになる。

本発明の目的は、かかる従来技術の課題に鑑み、撮像部により得られる画像中の物体が所定種別の対象物に該当するか否かの判定に要する処理量を低減できる物体認識装置を提供することにある。

本発明の物体認識装置は、撮像部と、前記撮像部により得られる画像中に存在する物体が所定種別の対象物に該当するか否かを判定する種別判定部とを備え、前記種別判定部は、前記物体が、左右前後の向きのうちの少なくとも２つの対象方向について、各対象方向のいずれかに向いている前記対象物に該当するか否かを判定する方向別判定部を備え、前記方向別判定部により、前記物体がいずれかの対象方向に向いている前記対象物に該当する旨の最初の判定がなされたとき、他の対象方向に向いている前記対象物に該当するか否かについては該方向別判定部に判定させることなく、前記物体が前記対象物である旨の判定を行うように構成される。

本発明によれば、画像中の物体が所定種別の対象物に該当するか否かを、各対象方向に向いた対象物に該当するか否かにより判定するに当たり、いずれかの対象方向に向いている対象物に該当する旨の最初の判定がなされた後は、他の対象方向については、対象物に該当するか否かを判定する必要がない。したがって、種別判定部の処理量を低減することができる。

本発明において、前記種別判定部は、各対象方向を向いた前記対象物のモデルデータを有し、前記方向別判定部は、該モデルデータとの比較により、前記対象方向毎の判定を行うものであってもよい。これによれば、各モデルデータとの比較により、画像中の物体が各対象方向のいずれかに向いている対象物に該当するか否かを正確に判定することができる。

本発明において、前記種別判定部は、前記画像を左、中央、右の３つの領域に分けたとき、前記物体が前記画像の左領域に位置する場合には、右を向いている前記対象物に該当するか否かの判定を優先して行い、前記物体が前記画像の右領域に位置する場合には、左を向いている前記対象物に該当するか否かの判定を優先して行い、前記物体が前記画像の中央領域に位置する場合には、前又は後ろを向いている前記対象物に該当するか否かの判定を優先して行うことを特徴とする。

この構成において、撮像される画像中の物体について、優先してその物体に該当するかどうかが判定される対象物の向きは、その物体が移動しようとしている向きに一致し、かつその移動方向は、画像の中央に向かう方向である可能性が高い。

このため、撮像部を車両等の移動物に取り付けた場合に、撮像される画像中の物体が、移動物の進行方向に向かって移動している対象物に該当するか否かが、他の方向に移動している対象物に該当するかどうかよりも優先して判定される可能性が高い。したがって、この判定結果を、移動物が当該物体に衝突する可能性を迅速に回避するために役立てることができる。

また、本発明において、前記種別判定部は、前記撮像部の画角に対応する実空間を、該撮像部から見て左、中央、右の３つの領域に分けたとき、前記物体が前記実空間の左領域に位置する場合には、右を向いている前記対象物に該当するか否かの判定を優先して行い、前記物体が前記実空間の右領域に位置する場合には、左を向いている前記対象物に該当するか否かの判定を優先して行い、前記物体が前記実空間の中央領域に位置する場合には、前又は後ろを向いている前記対象物に該当するか否かの判定を優先して行うことを特徴とする。

この場合も、撮像される画像中の物体が、移動物の進行方向に向かって移動している対象物に該当するか否かを、他の方向に移動している対象物に該当するか否かよりも優先して判定することができる。

さらに、本発明において、前記種別判定部は、前記物体が右、左、前又は後ろに移動している場合には、それぞれ右、左、前又は後ろを向いている前記対象物に該当するか否かの判定を最も優先して行うことを特徴とする。

これによれば、最初の判定で対象物に該当するか否かを判定できる確率が高まるので、種別判定部の処理量をより効果的に低減することができる。

本発明の一実施形態に係る物体認識装置の構成を示すブロック図である。 図１の物体認識装置の種別判定部の処理を示すフローチャートである。 図２の処理により種別判定がなされる様子を説明するための説明図である。

以下、図面を用いて本発明の実施形態を説明する。図１に示すように、実施形態の物体認識装置１は、撮像部２と、撮像部２により得られる画像に基づいて画像中の物体を認識する認識処理部３とを備える。物体認識装置１は、例えば、車両に搭載され、撮像部２としての車載カメラにより得られる画像に基づいて、周囲の物体としての歩行者等を認識処理部３により認識する。

認識処理部３は、撮像部２による撮像結果としての画像情報を取得する画像取得部４と、その画像情報で構成される画像に基づき、画像中に存在する物体が所定種別の対象物に該当するか否かを判定する種別判定部５とを備える。所定種別の対象物としては、例えば、歩行者や、犬、車両が該当する。

画像取得部４は、例えば数十ミリ秒毎に撮像部２から１フレーム分の画像情報を取得して画像メモリに記憶する。種別判定部５は、画像メモリに順次記憶されるフレーム毎の画像情報に基づき、その画像における対象物の有無を判定する。

種別判定部５は、１フレーム分の画像において順次設定される対象領域（ＲＯＩ）中の物体が、対象とする方向のいずれかに向いている対象物に該当するか否かを、対象方向毎に、所定の順番で判定する方向別判定部６を備える。対象とする方向は、左右前後の向きのうちの少なくとも２つの向きであり、ここでは、前後の向きを１つの向きとして扱い、左向き、右向き及び前後の向きの３つの向きが対象とされる。

この判定を行うために、種別判定部５は、各対象方向を向いた対象物のモデルデータのデータベース７を有する。方向別判定部６は、このモデルデータとの比較により、対象方向毎に、対象領域中の物体が対象物に該当するか否かの判定を行う。

データベース７には、モデルデータとして、対象物の左向き、右向き及び前後の向きの各向き毎に、図３に示されるようなレイヤー０から２までの、この順で詳細度が高くなる３つのモデルデータが記憶されている。例えば、１つの向きのモデルデータＭ１は、レイヤー０から２までの３つのモデルデータＭ１−０〜Ｍ１−２で構成される。したがって、その詳細度に応じ、レイヤー０のモデルデータとの比較に要する処理が最も少なく、レイヤー２のモデルデータとの比較に要する処理量が最も多い。

具体的には、例えばモデルデータＭ１が左向きのデータである場合、モデルデータＭ１−０は、完全な左向き、斜め左向き、手前側に向いた左向きのすべてを含むような簡易なモデルデータに該当する。モデルデータＭ１−１は、完全な左向き、斜め左向き、手前側に向いた左向きをある程度判別できるモデルデータに該当する。モデルデータＭ１−２は、完全な左向き、斜め左向き、手前側に向いた左向きをほぼ完全に判別できる詳細なモデルデータに該当する。

また、種別判定部５は、方向別判定部６が対象方向毎の判定を行う際の上記所定の順番を決定する判定順番決定部８を備える。方向別判定部６は、各対象領域について、判定順番決定部８により決定される対象方向の順番に従って、対象領域内の物体がその対象方向を向いた対象物であるか否かを判定する。

判定順番決定部８は、画像取得部４により取得される画像を左、中央、右の３つの領域に分けたとき、上記所定の順番を、例えば、対象領域中の物体が画像の左領域に位置する場合には、右を向いている対象物に該当するか否かの判定が優先して行われるように決定する。また、対象領域中の物体が、画像の右領域に位置する場合には、左を向いている対象物に該当するか否かの判定が優先して行われるように、上記所定の順番を決定する。また、対象領域中の物体が、画像の中央領域に位置する場合には、前又は後ろを向いている対象物に該当するか否かの判定が優先して行われるように、上記所定の順番を決定する。

あるいは、判定順番決定部８は、上記所定の順番を、対象領域中の物体が、画面内を右、左、前又は後ろに移動している場合には、それぞれ右、左、前又は後ろを向いている前記対象物に該当するか否かの判定が最も優先されるように決定する。この場合、対象領域中の物体が、画面内を右、左、前又は後ろに移動しているかどうかは、例えば、その物体の現在の画像から求められる位置と、その画像の前のフレームの画像から求められる該物体の位置とを比較することにより判定することができる。

図２は、種別判定部５による種別判定処理を示す。この処理において、１つの対象領域（ＲＯＩ）中の物体が所定の種別の対象物に該当するか否かが判定される。この処理では、歩行者を所定の種別の対象物として判定が行われる。すなわち、処理を開始すると、種別判定部５は、まず、ステップＳ１において、画像取得部４により取得された画像における判定の対象領域（ＲＯＩ）を設定する。

設定される対象領域は、例えば、画像上で所定の方向にずらしながら順次設定されるものであってもよいし、予め画像について抽出された特徴量に基づいて認識される複数の物体に設定された複数の認識枠から順次選択して設定されるものであってもよい。

次に、ステップＳ２において、判定順番決定部８により、対象物である歩行者の向きの順番を、上述のようにして決定する。次に、方向別判定部６により、決定された順番に従い、対象領域中の物体と、歩行者の各順番の向きのモデルデータとを比較し、その物体が歩行者に該当するか否かを判定する（ステップＳ３〜Ｓ１０）。

すなわち、図３のように、まず、対象領域９中の物体と、歩行者の１番目の向きでレイヤー０〜２のモデルデータＭ１−０〜Ｍ１−２とをこの順序で比較し、物体が１番目の向きのモデルデータＭ１（Ｍ１−０〜Ｍ１−２）に一致するか否かを判定する（ステップＳ３、Ｓ４）。

このとき、物体がすべてのレイヤーのモデルデータＭ１−０〜Ｍ１−２と一致する場合には、物体とモデルデータＭ１とが一致すると判定される。モデルデータＭ１−０〜Ｍ１−２のうちのいずれかと一致しない場合には、最初に一致しないことが判明した段階で、物体とモデルデータＭ１とが一致しないと判定される。物体と各モデルデータＭ１−０〜Ｍ１−２とが一致するか否かは、物体と各モデルデータＭ１−０〜Ｍ１−２とが所定の類似度を満たすかどうかにより判定される。

物体が１番目の向きのモデルデータＭ１と一致すると判定した場合には、ステップＳ１０において、物体は歩行者に該当すると判定し、図２の処理を終了する。一致しないと判定した場合には、ステップＳ５、Ｓ６において、２番目の向きのモデルデータＭ２を用いて、物体がモデルデータＭ２に一致するか否かを同様にして判定する。

一致すると判定した場合には、ステップＳ１０において、物体は歩行者に該当すると判定し、図２の処理を終了する。２番目の向きのモデルデータＭ２についても一致しないと判定した場合には、ステップＳ７、Ｓ８において、３番目の向きのモデルデータＭ３を用い、同様にして、物体がモデルデータＭ３に一致するか否かを判定する。

一致すると判定した場合には、ステップＳ１０において、物体は歩行者に該当すると判定し、図２の処理を終了する。一致しないと判定した場合には、ステップＳ９において物体は歩行者でないと判定し、図２の処理を終了する。

このように、種別判定部５は、対象領域９内の物体が歩行者に該当するかどうかを判定するに当たり、方向別判定部６により、物体が、いずれかの対象方向に向いている歩行者のモデルデータに一致する旨の最初の判定がなされたとき、他の対象方向に向いている歩行者のモデルデータと一致するか否かについては方向別判定部６に判定させることなく、物体が歩行者である旨の判定を行う。

以上のように、本実施形態によれば、対象領域９中の物体が歩行者に該当するか否かを判定するに当たり、いずれかの対象方向に向いている対象物に該当する旨の最初の判定がなされた後は、他の対象方向については、対象物に該当するか否かを判定する必要がない。したがって、種別判定部５の処理量を低減することができる。

また、種別判定部５は、各対象方向を向いた歩行者のモデルデータＭ１〜Ｍ３を有し、対象領域９中の物体がモデルデータＭ１〜Ｍ３と一致するか否かにより該物体が歩行者に該当するか否かを判定するので、その判定を正確に行うことができる。

また、方向別判定部６で使用されるモデルデータの向きの順番が、判定順番決定部８により、例えば、物体が、画像の左領域に位置する場合には、右を向いている歩行者に該当するか否かの判定が優先されるように決定される。

この場合、物体が画像の左領域に位置してかつ右を向いている歩行者であるとすれば、画像の中央方向に向かっている可能性が高い。そして、かかる場合に、右を向いている歩行者に該当するか否かが優先して判定される。したがって、撮像部２が車両の前方を撮影しているとすれば、左方から車両の前方に移動してくる歩行者を優先的に認識し、危険の回避に役立てることができる。

また、方向別判定部６で使用されるモデルデータの向きの順番が、判定順番決定部８により、例えば、物体が画面内を右、左、前又は後ろに移動している場合には、それぞれ右、左、前又は後ろを向いている歩行者に該当するか否かの判定が最も優先されるように決定される。したがって、最初の向きのモデルデータＭ１による判定で歩行者に該当するか否かを判定できる確率が高まるので、種別判定部５の処理量をより効果的に低減することができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、方向別判定部６において使用されるモデルデータの向きは、左右前後方向に限らず、上下方向の向きであってもよい。

また、上述の実施形態では、種別判定部５が、撮像部２により得られる画像中の物体が右、左、前後のどの向きを向いている対象物に該当するかを判定するに際し、どの向きについて優先して判定するかを、該画像内での該物体が位置する領域（左領域、右領域、又は中央領域）に基づいて決定している。しかし、この決定を、画像内での該物体が位置する領域（左領域、右領域、又は中央領域）ではなく、撮像部２の画角（視野角）に対応する実空間を、撮像部２から見て左、中央、及び右の３つの領域に分けた場合、該物体が、該実空間において、どの領域（左領域、右領域、又は中央領域）に位置するかに基づいて行ってもよい。

この場合、例えば、撮像部２により得られる画像中の物体をレーダにより検出するとともに、該レーダにより、該物体の実空間内での位置を、該物体が位置する方向及び該物体までの距離として測定することができる。この実空間内での位置に基づき、該物体が、撮像部２の画角に対応する実空間内で、撮像部２から見て左領域、右領域、又は中央領域に位置するかを判定することができる。そして、この判定結果に基づいて、どの向きについて優先して判定するかを、上記画像内での物体が位置する領域に基づいて決定する場合と同様にして、決定することができる。

また、同様に、物体の実空間内での位置に基づき、該物体が右、左、前又は後ろに移動しているかどうかを判定し、この判定結果に基づいて、該物体が右、左、前又は後ろのどの方向を向いている対象物に該当するかの判定を最も優先して行うかを決定することができる。

１…物体認識装置、２…撮像部、５…種別判定部、６…方向別判定部、８…判定順番決定部。

Claims (3)

1. 撮像部と、
   前記撮像部により得られる画像中に存在する物体が所定種別の対象物に該当するか否かを判定する種別判定部とを備え、
   前記種別判定部は、
   前記物体が、左右前後の向きのうちの少なくとも２つの対象方向について、各対象方向のいずれかに向いている前記対象物に該当するか否かを判定する方向別判定部を備え、
   前記物体が、前記方向別判定部によりいずれかの対象方向に向いている前記対象物に該当する旨の最初の判定がなされたとき、他の対象方向に向いている前記対象物に該当するか否かについては該方向別判定部に判定させることなく、前記物体が前記対象物である旨の判定を行うように構成され、
   さらに、前記種別判定部は、
   前記画像を左、中央、右の３つの領域に分けたとき、
   前記物体が前記画像の左領域に位置する場合には、右を向いている前記対象物に該当するか否かの判定を優先して行い、
   前記物体が前記画像の右領域に位置する場合には、左を向いている前記対象物に該当するか否かの判定を優先して行い、
   前記物体が前記画像の中央領域に位置する場合には、前又は後ろを向いている前記対象物に該当するか否かの判定を優先して行うことを特徴とする物体認識装置。
2. 撮像部と、
   前記撮像部により得られる画像中に存在する物体が所定種別の対象物に該当するか否かを判定する種別判定部とを備え、
   前記種別判定部は、
   前記物体が、左右前後の向きのうちの少なくとも２つの対象方向について、各対象方向のいずれかに向いている前記対象物に該当するか否かを判定する方向別判定部を備え、
   前記物体が、前記方向別判定部によりいずれかの対象方向に向いている前記対象物に該当する旨の最初の判定がなされたとき、他の対象方向に向いている前記対象物に該当するか否かについては該方向別判定部に判定させることなく、前記物体が前記対象物である旨の判定を行うように構成され、
   さらに、前記種別判定部は、
   前記撮像部の画角に対応する実空間を、該撮像部から見て左、中央、右の３つの領域に分けたとき、
   前記物体が前記実空間の左領域に位置する場合には、右を向いている前記対象物に該当するか否かの判定を優先して行い、
   前記物体が前記実空間の右領域に位置する場合には、左を向いている前記対象物に該当するか否かの判定を優先して行い、
   前記物体が前記実空間の中央領域に位置する場合には、前又は後ろを向いている前記対象物に該当するか否かの判定を優先して行うことを特徴とする物体認識装置。
3. 撮像部と、
   前記撮像部により得られる画像中に存在する物体が所定種別の対象物に該当するか否かを判定する種別判定部とを備え、
   前記種別判定部は、
   前記物体が、左右前後の向きのうちの少なくとも２つの対象方向について、各対象方向のいずれかに向いている前記対象物に該当するか否かを判定する方向別判定部を備え、
   前記物体が、前記方向別判定部によりいずれかの対象方向に向いている前記対象物に該当する旨の最初の判定がなされたとき、他の対象方向に向いている前記対象物に該当するか否かについては該方向別判定部に判定させることなく、前記物体が前記対象物である旨の判定を行うように構成され、
   さらに、前記種別判定部は、前記物体が右、左、前又は後ろに移動している場合には、それぞれ右、左、前又は後ろを向いている前記対象物に該当するか否かの判定を最も優先して行うことを特徴とする物体認識装置。

Images