JP5596628B2 - 物体識別装置 - Google Patents

Description

本発明は、撮像画像に基づいて複数種類の物体を識別する物体識別装置に関するものである。

自動車用の安全システムを実現するためには、交通環境を認識する技術が不可欠である。交通環境には、自動車、二輪車、歩行者の他、様々な物体が登場するため、これらの複数の物体を認識するアルゴリズムの開発が必要である。また、自動車についても、認識技術の問題として捉えると、普通乗用車からバスやトラック等の大型車、特殊車両等、複数のカテゴリーに分ける必要がある。また、見る方向や、歩行者等の姿勢の変化を考えると、これらは全て異なるカテゴリーとして画像認識の問題を考えなければならない。

一般に複数種類の物体認識（マルチクラス認識）を行う場合には、２クラス認識用識別器を組み合わせて実現することが多い。例えば、普通乗用車の正面、右前斜め、右横、右後斜め、後面、左後斜め、左横、左前斜めの８つのパターンを用意する。また、それをトラック、バス、特殊車両、二輪車毎にも用意する。さらに、歩行者については、向きの他に、姿勢変化を例えば８パターン程度用意しなければならない。このため、全ての物体認識に必要な２クラス認識用識別器の数は膨大となる。

ところで、物体の認識にかかる時間は、少なくとも認識すべき数に比例して大きくなる。このため、自動車用の認識技術のように、即時応答が要求される場合には不利である。また、処理にかかる時間だけでなく、多くの２クラス認識用識別器を用意しなければならないため、開発に時間がかかったり、ＥＣＵに記憶させるプログラム容量や辞書の容量が多くなる可能性がある。

また、非特許文献１には、２クラス認識用識別器を用いることなく、撮像画像に基づいて車両や歩行者のような物体のクラスを識別する技術が提案されている。

’’’Class-Specific Hough Forests for Object Detection’’，JuergenGall,Victor Lempitsky，IEEE Conference onComputer Vision and Pattern Recongnition(CVPR)

しかしながら、上記従来技術においては、物体の一部を表す画像パターンの数や物体のクラスの数が多くなると、物体を識別するための計算量が増大すると共に、識別性能が低下するという問題がある。

本発明の目的は、物体を識別するための計算量を低減すると共に、識別性能を向上させることができる物体識別装置を提供することである。

本発明は、撮像画像に基づいて物体を識別する物体識別装置において、物体の一部を表す複数の画像パターンについて、物体のクラス及び位置情報と出現確率との関係を表す関数テーブルを取得する関数テーブル取得手段と、関数テーブル取得手段により取得された関数テーブルを用いて、物体のクラスに対する各画像パターンの現れ度合を算出するパターン現れ度合算出手段と、撮像画像を複数の画像パターンと照合して、撮像画像に対応する画像パターンを選択するパターン選択手段と、パターン選択手段により選択された画像パターンの現れ度合が所定値以上となるようなクラスを抽出するクラス抽出手段と、クラス抽出手段により抽出されたクラスに対して、パターン選択手段により選択された画像パターンの位置情報を投票する投票手段と、投票手段による投票結果に基づいて物体を認識する認識手段とを備え、パターン現れ度合算出手段は、関数テーブル取得手段により取得された関数テーブルに基づいて、クラス同士における画像パターンを含む特徴量の共用度を求め、特徴量の共用度に基づいて、類似性を有するクラス同士をまとめた樹形図を作成し、樹形図の各ノードの重みをクラスに対する画像パターンの現れ度合として算出することを特徴とするものである。

このように本発明の物体識別装置においては、物体の一部を表す複数の画像パターンについて、物体のクラス及び位置情報と出現確率との関係を表す関数テーブルを取得し、その関数テーブルを用いて、物体のクラスに対する各画像パターンの現れ度合を算出する。そして、撮像画像を複数の画像パターンと照合して、撮像画像に対応する画像パターンを選択し、その画像パターンの現れ度合が所定値以上となるようなクラスを抽出する。そして、抽出されたクラスに対してのみ、選択された画像パターンの位置情報を投票し、その投票結果に基づいて物体を認識する。このように撮像画像に対応する画像パターンが現れる可能性が高いクラスのみを取り出して、画像パターンの位置情報を投票することにより、物体を識別するための計算量を低減すると共に、識別性能を向上させることができる。

また、特徴量の共用度によって、異なるクラス同士及び同じクラス同士で画像パターンを含む特徴量がどれだけ共用されているかが分かる。従って、そのような特徴量の共用度を用いることで、物体のクラスに対する各画像パターンの現れ度合を確実に算出することができる。

さらに、樹形図の各ノードの重みによって、画像パターンがどのクラスの群に現れやすいかを簡単に把握することができる。

本発明によれば、物体を識別するための計算量を低減することができる。また、物体の識別性能を向上させることができる。

本発明に係わる物体識別装置の一実施形態を示す概略構成図である。 図１に示した学習処理部により実行される学習処理手順の詳細を示すフローチャートである。 物体のクラス番号の一例を示す表である。 複数の小領域画像パターンからなるコードブックの一例を示す図である。 小領域画像パターンについての関数テーブルの一例を示すグラフである。 共用度シェアリングマトリクスの一例を示す図である。 類似度樹形図の一例を示すグラフである。 図１に示した認識処理部により実行される認識処理手順の詳細を示すフローチャートである。 小領域画像パターンの位置情報の投票例を示すグラフである。

以下、本発明に係わる物体識別装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる物体識別装置の一実施形態を示す概略構成図である。同図において、本実施形態の物体識別装置１は、例えば車両に搭載され、車両周辺に存在する物体（他車両、自転車、歩行者等）を識別する装置である。

物体識別装置１は、車両前方を撮像するカメラ２と、ＥＣＵ（Electronic Control Unit）３とを備えている。ＥＣＵ３は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。

ＥＣＵ３は、学習処理部４と、メモリ５と、画像処理部６と、認識処理部７とを有している。学習処理部４は、複数の学習用データを用いて、物体を識別するための学習処理を行う。メモリ５には、学習処理部４の学習処理により得られる各種データが記憶される。画像処理部６は、カメラ２により取得された撮像画像に対して特徴抽出等の画像処理を行う。認識処理部７は、画像処理部６からの画像データを入力し、メモリ５に記憶された各種データを用いて画像データ上に存在する物体を認識する。

図２は、学習処理部４により実行される学習処理手順の詳細を示すフローチャートである。図２において、まず複数の学習用データを与えて、物体の認識に使うコードブックを取得する（手順Ｓ１０１）。

学習用データとしては、歩行者や車両等の物体の画像と、その物体の種類を表すクラス番号とが与えられる。クラス番号は、例えば図３に示すように、１番から順番に乗用車、トラック、バス、自転車、バイク、歩行者（大人）、歩行者（子供）となっている。コードブックは、例えば図４に示すように、物体の一部を表す複数の小領域画像パターンからなる集合である。

続いて、コードブックに含まれる各小領域画像パターンについて、物体のクラス番号ｃ及び位置情報ｌと出現確率Ｚ_ｋ（ｌ，ｃ）との関係を表す関数テーブルを生成する（手順Ｓ１０２）。この関数テーブルは、例えば図５に示すように、ある小領域画像パターンｋが与えられたときに、どの位置にどのクラスの物体が現れやすいか（どれくらいの確率で現れるか）を表現する２次元のテーブルである。この関数テーブルは、コードブックの小領域画像パターン毎に１つずつ生成される。なお、位置情報ｌは、物体の中心となる位置であり、簡易的に１次元で表されている。

図５に示す関数テーブルでは、物体のクラス番号ｃ及び位置情報ｌで形成される各格子に出現確率Ｚ_ｋが格納される。例えば、ある小領域画像パターンｋは、クラス２で位置３に現れる確率が０．３５、クラス２で位置４に現れる確率が０．２０、クラス２で位置５に現れる確率が０．０７ということである。

続いて、手順Ｓ１０２で得られた関数テーブルから、共用度シェアリングマトリクスを求める（手順Ｓ１０３）。共用度シェアリングマトリクスは、例えば図６に示すように、異なるクラス同士及び同じクラス同士で、特徴量（小領域画像パターンや位置情報）がどれだけ共用されているかを示す表である。例えばＳ（２，５）は、トラックとバスとで同じ特徴量をどれだけ共用しているかを表し、Ｓ（６，６）は、複数の歩行者（大人）同士で同じ特徴量をどれだけ共用しているかを表している。このとき、共用される特徴量が多いほど、表に入る数値が大きくなる。なお、コードブック全体に対して１つの共用度シェアリングマトリクスが得られる。

ここで、Ｚ_ｋ＝｛ｚ^ｋ _ｃ，ｌ｝、Ｋ＝｛ａ_ｋ，Ｚ_ｋ｝とすると、特徴量の共用度として小領域画像パターンの共用度のみを考慮する場合の共用度シェアリングマトリクスは、下記式で表される。なお、ｃ_ｉはクラスｉを表し、ｃ_ｊはクラスｊを表している。

また、特徴量の共用度として小領域画像パターン及び位置情報の共用度の両方を考慮する場合の共用度シェアリングマトリクスは、下記式で表される。

ただし、ζは規格化因子であり、θ（ｌ_ｇ，ｌ_ｈ）は閾値関数である。

例えば乗用車とバスとでは、似たような小領域画像パターンが似たような位置に現れる傾向が高いので、特徴量の共有の程度は大きい。一方、乗用車と歩行者とでは、似たような小領域画像パターンはあまり現れないので、特徴量の共有の程度は小さい。

続いて、手順Ｓ１０３で得られた共用度シェアリングマトリクスから、類似度樹形図を求める（手順Ｓ１０４）。類似度樹形図は、例えば図７に示すように、各クラスに含まれる特徴量の共用度に基づいて、似ているクラス同士をまとめた（クラスタリングした）ものである。このとき、１つの共用度シェアリングマトリクスにつき、１つの類似度樹形図が得られる。つまり、１つのコードブックにつき、１つの類似度樹形図が得られる。なお、類似度樹形図では、末端の部分で接続されているものほど、類似性が高い。

例えば、普通乗用車（クラス１）とトラック（クラス２）とは似ている。普通乗用車及びトラックを合わせた群とバス（クラス３）とは、ある程度似ている。また、大人歩行者（クラス６）と子供歩行者（クラス７）とは似ている。自転車（クラス４）とバイク（クラス５）とは、ある程度似ている。大人歩行者及び子供歩行者を合わせた群と、自転車及びバイクを合わせた群とは、少しだけ似ている。

続いて、コードブックの各小領域画像パターン毎に、手順Ｓ１０４で得られた類似度樹形図の各ノード（枝の連結部）の重み（ウェイト）を計算する（手順Ｓ１０５）。各ノードの重みは、類似度樹形図全体の中で、どの小領域画像パターンがどのクラスによく現れるか（現れ度合）を表したものである。小領域画像パターンが現れる確率が高くなるほど、重みが大きくなる。小領域画像パターンをｋ、ノードをｔとすると、重みω_ｔ ^ｋは下記式で表される。

このとき、１つの小領域画像パターンについて、各ノードの重みの合計が１となるように正規化される。例えば、図７に示す類似度樹形図において、ノードＮ_１〜Ｎ_１３の重みをω_１ ^ｋ〜ω_１３ ^ｋとすると、ω_１ ^ｋ〜ω_１３ ^ｋの合計は１となる。

続いて、手順Ｓ１０１で得られたコードブックデータと、手順Ｓ１０５で得られた小領域画像パターン毎の各ノードの重みデータとをメモリ５に記憶する（手順Ｓ１０６）。

図８は、認識処理部７により実行される認識処理手順の詳細を示すフローチャートである。図８において、まず車両前方の画像データを画像処理部６から取得する（手順Ｓ１１１）。

続いて、手順Ｓ１１１で取得された画像データを走査し、その画像データをメモリ５に記憶されたコードブックと照合し、コードブックに含まれる複数の小領域画像パターンのうち画像データに最も近い小領域画像パターンを選択する（手順Ｓ１１２）。

続いて、手順Ｓ１１２で選択された小領域画像パターンの各ノードの重みをメモリ５から読み出し、重みが閾値以上となるノードの中で重みが最も小さいノードに係るクラスを抽出する（手順Ｓ１１３）。

例えば図７に示す類似度樹形図において、ノードＮ_１〜Ｎ_７の重みω_１ ^ｋ〜ω_７ ^ｋをそれぞれ０／３５、２／３５、１／３５、４／３５、５／３５、１１／３５、１２／３５とすると、ノードＮ_８〜Ｎ_１３の重みω_８ ^ｋ〜ω_１３ ^ｋは、それぞれ２／３５、２３／３５、３／３５、９／３５、３２／３５、３５／３５となる。ここで、閾値を２２／３５とすると、重みが閾値以上となるノードのうち重みが最も小さいノードは、重みが２３／３５であるＮ_９となる。このノードＮ_９に係るクラス番号は、６番の歩行者（大人）と７番の歩行者（子供）となる。

続いて、手順Ｓ１１３で抽出されたクラスに対して、手順Ｓ１１２で選択された小領域画像パターンの位置情報を投票（voting）する（手順Ｓ１１４）。ここで、小領域画像パターンの位置情報は、小領域画像パターンに対応する物体の中心位置である。具体的には、図９に示すように、ｘｙｚの３次元座標空間上に小領域画像パターンに対応する物体の中心位置をクラス番号と共に投票する。このとき、小領域画像パターンに対応する物体の中心位置をｘｙ座標で表し、クラス番号をｚ座標で表す。

続いて、手順Ｓ１１１で取得された画像データ上の全ての画像領域について投票を行ったかどうかを判断する（手順Ｓ１１５）。画像データ上の全ての画像領域について投票を行っていないときは、手順Ｓ１１２に戻る。

画像データ上の全ての画像領域について投票を行ったときは、手順Ｓ１１４で実行された投票結果から、画像データ上に存在する全ての物体を認識する（手順Ｓ１１６）。具体的には、例えば図９に示すように、複数の小領域画像パターンに対応する物体の中心位置がほぼ一致している集合体Ｐ，Ｑが存在している場合には、その集合体Ｐ，Ｑに対応するクラスの物体であると認識される。このとき、集合体Ｐ，Ｑのそれぞれの中心座標（ｘ，ｙ）が集合体Ｐ，Ｑに対応する物体（クラス）の画像上での中心位置に相当する。

以上において、学習処理部４の上記手順Ｓ１０１，Ｓ１０２は、物体の一部を表す複数の画像パターンについて、物体のクラス及び位置情報と出現確率との関係を表す関数テーブルを取得する関数テーブル取得手段を構成する。同手順Ｓ１０３〜Ｓ１０５は、関数テーブル取得手段により取得された関数テーブルを用いて、物体のクラスに対する各画像パターンの現れ度合を算出するパターン現れ度合算出手段を構成する。認識処理部７の上記手順Ｓ１１１，Ｓ１１２は、撮像画像を複数の画像パターンと照合して、撮像画像に対応する画像パターンを選択するパターン選択手段を構成する。同手順Ｓ１１３は、パターン選択手段により選択された画像パターンの現れ度合が所定値以上となるようなクラスを抽出するクラス抽出手段を構成する。同手順Ｓ１１４は、クラス抽出手段により抽出されたクラスに対して、パターン選択手段により選択された画像パターンの位置情報を投票する投票手段を構成する。同手順Ｓ１１６は、投票手段による投票結果に基づいて物体を認識する認識手段を構成する。

以上のように本実施形態にあっては、コードブックに含まれる各小領域画像パターンについて、物体のクラス番号及び位置情報と出現確率との関係を表す関数テーブルを生成し、その関数テーブルから、各クラス間における特徴量の共用度を表す共用度シェアリングマトリクスを求め、その共用度シェアリングマトリクスから、特徴量が類似するクラス同士をまとめた類似度樹形図を作成し、小領域画像パターン毎に類似度樹形図の各ノードの重みを計算する。そして、カメラ２により取得された撮像画像データをコードブックと照合し、コードブックに含まれる複数の小領域画像パターンのうち最も近い小領域画像パターンを選択し、その小領域画像パターンについて重みが閾値以上となるノードの中で重みが最も小さいノードに係るクラスを抽出し、そのクラスに対して小領域画像パターンの位置情報を投票することにより、撮像画像データ上に存在する物体を認識する。

このように全てのクラスに対して小領域画像パターンの位置情報を投票するのではなく、小領域画像パターンが現れる可能性が高いクラスのみを取り出して、小領域画像パターンの位置情報を投票するので、物体を認識する際の計算量を少なくすることができる。また、認識すべき物体の種類が多くあっても、認識性能を低下させずに、複数種類の物体を認識することができる。

なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態の物体識別装置１は車載用であるが、画像認識によって物体を識別するものであれば、車載用以外のものにも適用可能である。

また、上記実施形態では、学習処理部４をＥＣＵ３の機能の一部としたが、学習処理部４の機能をＥＣＵ３の外部に備える、例えば事前にＰＣで学習させておくようにしても良い。

１…物体識別装置、２…カメラ、３…ＥＣＵ、４…学習処理部（関数テーブル取得手段、パターン現れ度合算出手段）、５…メモリ、６…画像処理部、７…認識処理部（パターン選択手段、クラス抽出手段、投票手段、認識手段）。

Claims (1)

1. 撮像画像に基づいて物体を識別する物体識別装置において、
   前記物体の一部を表す複数の画像パターンについて、前記物体のクラス及び位置情報と出現確率との関係を表す関数テーブルを取得する関数テーブル取得手段と、
   前記関数テーブル取得手段により取得された前記関数テーブルを用いて、前記物体のクラスに対する前記各画像パターンの現れ度合を算出するパターン現れ度合算出手段と、
   前記撮像画像を前記複数の画像パターンと照合して、前記撮像画像に対応する前記画像パターンを選択するパターン選択手段と、
   前記パターン選択手段により選択された前記画像パターンの現れ度合が所定値以上となるような前記クラスを抽出するクラス抽出手段と、
   前記クラス抽出手段により抽出された前記クラスに対して、前記パターン選択手段により選択された前記画像パターンの位置情報を投票する投票手段と、
   前記投票手段による投票結果に基づいて前記物体を認識する認識手段とを備え、
   前記パターン現れ度合算出手段は、前記関数テーブル取得手段により取得された前記関数テーブルに基づいて、前記クラス同士における前記画像パターンを含む特徴量の共用度を求め、前記特徴量の共用度に基づいて、類似性を有するクラス同士をまとめた樹形図を作成し、前記樹形図の各ノードの重みを前記クラスに対する前記画像パターンの現れ度合として算出することを特徴とする物体識別装置。

Images