JP5742873B2 - 物体識別装置 - Google Patents

Description

本発明は、画像内の物体を識別する物体識別装置に関する。

従来、画像内の物体を識別する物体識別装置において、画像内に写っている態様（例えば、人の顔の向き、傾き、大きさ）が変動する物体を識別するために、上記変動の態様（以下、変動態様という）を分類し、分類した変動態様毎に、変動態様に適した識別器を構築する技術が知られている（例えば、特許文献１を参照）。

特開２０１０−１６５０４６号公報

しかし特許文献１に記載の技術では、物体識別装置の設計者が上記変動態様の分類を予め決定しておく必要がある。このため、上記分類における上記変動態様の区切りが設計者の判断に依存し、上記分類が物体識別において適切なものではない可能性がある。また、上記変動態様の数が多くなると、上記分類を設計者が事前に決定することができなくなる可能性がある。

本発明は、こうした問題に鑑みてなされたものであり、物体識別のために行われる分類を設計者の判断を介することなく行うことができる技術を提供することを目的とする。

上記目的を達成するためになされた本発明の物体識別装置は、画像内において写っている態様が変動する物体を識別するものであり、複数の予備識別手段と、スコアベクトル生成手段と、クラスタ決定手段と、本識別手段とを備える。

本発明の物体識別装置では、まず複数の予備識別手段が、識別対象として予め設定された物体である識別対象物体を画像内において識別するために予め設定された特徴量を画像から取得し、取得した特徴量に基づいて、画像内に識別対象物体が写っている信頼度を示すスコアを、互いに異なるように予め設定されたスコア算出条件に基づいて算出する。次にスコアベクトル生成手段が、複数の予備識別手段が算出したスコアを成分とするベクトルであるスコアベクトルを生成する。さらにクラスタ決定手段が、スコアベクトルを分類するために予め設定された複数のクラスタの中から、スコアベクトル生成手段により生成されたスコアベクトルを含むクラスタを決定する。

そして本識別手段が、画像内に識別対象物体が写っているか否かを判断するための判断条件が複数のクラスタ毎に予め設定され、クラスタ決定手段により決定されたクラスタに対応する判断条件に基づいて、画像内に写る識別対象物体を識別する。

このように構成された物体識別装置では、スコアベクトルを分類するために、複数のクラスタが予め設定されている必要がある。
なお、複数のクラスタを予め設定しておくには、画像内に識別対象物体が写っていることを示すスコアベクトルと、画像内に識別対象物体が写っていないことを示すスコアベクトルを多数用意して、これらのスコアベクトルを用いてクラスタリングをする必要がある。

そして、ベクトル空間内の複数のベクトルは、周知のクラスタリング手法により計算機で自動的に分類することができる。このため、スコアベクトルを分類するために予め行われるクラスタ設定を設計者の判断を介することなく行うことができる。これにより、予め設定される必要がある上記クラスタが識別対象物体の識別において適切ではないという事態の発生を抑制することができる。

また上述のように、複数のクラスタの設定を計算機で自動的に行うことができるため、画像内において識別対象物体が写っている態様の数が多くなったとしても、複数のクラスタの設定ができなくなるという事態の発生を抑制することができる。また、設計者の判断では区別が困難な複数のクラスタの設定も適切に行うことができる。

運転支援装置１の構成を示すブロック図である。 制御部４が実行する処理の概要を示す機能ブロック図である。 検出窓とパーツ領域を示す図である。 クラスタリングの方法を示す説明図である。 歩行者識別処理を示すフローチャートである。 歩行者識別学習装置１００が実行する処理の概要を示す機能ブロック図である。 スコアベクトル生成処理を示すフローチャートである。 ＳＶＭ学習処理を示すフローチャートである。 予備識別器の識別性能を示す棒グラフである。 クラスタの数と識別性能との関係を示すグラフである。 変動の態様を設計者が事前に分割した場合の特徴量空間内の分割を示す図である。 クラスタが設定されていない場合における特徴量空間内の超平面を示す図である。 別の実施形態における車両識別方法を説明する図である。 別の実施形態におけるスコアベクトル空間内のスコアベクトル分布を示す図である。

以下に本発明の実施形態について図面とともに説明する。
本発明が適用された運転支援装置１は、車両に搭載され、図１に示すように、カメラ２、ヘッドアップディスプレイ（Head Up Display）装置３（以下、ＨＵＤ装置３という）および制御部４を備えている。

運転支援装置１は、車両の前方に歩行者が存在する場合に、歩行者が存在する位置を示す画像をＨＵＤ装置３に表示させることにより、歩行者の存在を運転者に報知する。
カメラ２は、運転者がウインドシールド越しに視認可能な自車両前方の風景（以下、前景ともいう）を連続して撮影する。なお以下、カメラ２が撮影することにより取得された画像データを前景画像データという。

ＨＵＤ装置３は、画像を表示するための表示光を、ウインドシールドの下方からウインドシールドに向けて照射する。これにより、運転者は、その投影された虚像を車両前方の実際の風景に重ねて視認することになる。

制御部４は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されている。そして制御部４は、カメラ２からの入力に基づいて各種処理を実行してＨＵＤ装置３を制御する。

また制御部４は、図２に示すように、機能ブロックとして、予備識別器群１１、スコアベクトル生成部１２、クラスタ決定部１３および本識別器１４を備えている。
予備識別器群１１は、予備識別器１１−１、予備識別器１１−２、・・・、予備識別器１１−（Ｎ−１）および予備識別器１１−Ｎを備える（Ｎは２以上の整数）。

Ｎ個の予備識別器１１−ｉ（ｉは１〜Ｎの整数）はそれぞれ、ＤＰＭ（Deformable Part Model）を用いて、前景画像データが示す前景画像内に歩行者が存在するか否かを識別する識別器である。

ＤＰＭは、検出対象物体を複数のパーツの集合として表し、各パーツ内に含まれる物体の形状と各パーツの相対位置とに基づいて算出された類似度（スコア）を用いて、画像内の検出対象物体を検出する手法である（P. F. Felzenszwalb et al., "Object Detection with Discriminatively Trained Part Based Models, "IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，２０１０年９月，第３２巻，第９号，ｐ１６２７−１６４５を参照）。

予備識別器１１−ｉは、図３に示すように、１個の検出窓ＤＷと、歩行者の頭部、左肩部、右肩部、腰部、脚部に対応する５個のパーツＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５とを用いて上記スコアを算出する。

なお、前景画像内の歩行者は、歩行者の大きさ、体の向き（前向き、横向き、後ろ向きなど）、歩行状態（静止中、歩行中）および服装（シャツ、コートなど）などに基づいて互いに異なる複数の変動態様で写ることが想定される。

検出窓ＤＷは、検出対象物体である歩行者全体を包含するように矩形状に形成されている。歩行者の頭部に対応する頭部パーツ領域Ｐ１、歩行者の左肩部に対応する左肩部パーツ領域Ｐ２、歩行者の右肩部に対応する右肩部パーツ領域Ｐ３、歩行者の腰部に対応する腰部パーツ領域Ｐ４、および歩行者の脚部に対応する脚部パーツ領域Ｐ５はそれぞれ、歩行者の対応部位を包含するように矩形状に形成されており、検出窓ＤＷ内に配置される。

予備識別器１１−ｉは、検出窓ＤＷを前景画像ＧＤ内で走査させ（図３の矢印ＳＤを参照）、走査された検出窓ＤＷの位置とサイズ毎に、複数のスコアを算出する。スコアは、例えばＨＯＧ（Histograms of Oriented Gradients）特徴量を用いた周知のマッチングアルゴリズムにより算出される。

上記複数のスコアは、全体形状スコアｓ₀、頭部形状スコアｓ₁、左肩部形状スコアｓ₂、右肩部形状スコアｓ₃、腰部形状スコアｓ₄、脚部形状スコアｓ₅、頭部位置スコアｄ₁、左肩部位置スコアｄ₂、右肩部位置スコアｄ₃、腰部位置スコアｄ₄および脚部位置スコアｄ₅により構成されている。

全体形状スコアｓ₀は、検出窓ＤＷ内に包含される画像と歩行者の全身との間における形状の類似度を示す。頭部形状スコアｓ₁は、頭部パーツ領域Ｐ１内に包含される画像と歩行者の頭部との間における形状の類似度を示す。左肩部形状スコアｓ₂は、左肩部パーツ領域Ｐ２内に包含される画像と歩行者の左肩部との間における形状の類似度を示す。右肩部形状スコアｓ₃は、右肩部パーツ領域Ｐ３内に包含される画像と歩行者の右肩部との間における形状の類似度を示す。腰部形状スコアｓ₄は、腰部パーツ領域Ｐ４内に包含される画像と歩行者の腰部との間における形状の類似度を示す。脚部形状スコアｓ₅は、脚部パーツ領域Ｐ５内に包含される画像と歩行者の脚部との間における形状の類似度を示す。

頭部位置スコアｄ₁は、検出窓ＤＷ内における頭部パーツ領域Ｐ１の位置と歩行者の頭部の位置との類似度を示す。左肩部位置スコアｄ₂は、検出窓ＤＷ内における左肩部パーツ領域Ｐ２の位置と歩行者の左肩部の位置との類似度を示す。右肩部位置スコアｄ₃は、検出窓ＤＷ内における右肩部パーツ領域Ｐ３の位置と歩行者の右肩部の位置との類似度を示す。腰部位置スコアｄ₄は、検出窓ＤＷ内における腰部パーツ領域Ｐ４の位置と歩行者の腰部の位置との類似度を示す。脚部位置スコアｄ₅は、検出窓ＤＷ内における脚部パーツ領域Ｐ５の位置と歩行者の脚部の位置との類似度を示す。

そしてＮ個の予備識別器１１−ｉ（ｉは１〜Ｎの整数）は、互いに異なる学習用撮影画像データを用いて行われた学習の結果に基づいて、上記スコアを算出するように構成されている。

スコアベクトル生成部１２は、Ｎ個の予備識別器１１−ｉが算出したスコアを用いて、スコアベクトルを生成する。
スコアベクトルは、Ｎ個の予備識別器１１−ｉのそれぞれについて下式（１）で表されるＮ個の６次元ベクトルＶ_i（ｉは１〜Ｎの整数）を行方向に配列することにより形成された（６×Ｎ）次元ベクトルである。

Ｖ_i＝（ｓ₀，ｓ₁＋ｄ₁，ｓ₂＋ｄ₂，ｓ₃＋ｄ₃，ｓ₄＋ｄ₄，ｓ₅＋ｄ₅） ・・・（１）
クラスタ決定部１３は、スコアベクトル生成部１２により生成されたスコアベクトルが、予め設定されているＭ個（Ｍは２以上の整数）のクラスタの何れに分類されるかを決定する。クラスタは、スコアベクトルを構成する各成分を座標とする（６×Ｎ）次元の特徴空間におけるスコアベクトル間の距離により分類されたスコアベクトルの集合である。本実施形態では、スコアベクトル間の距離計量にはユークリッド距離を用いる。

図４の左図は、特徴空間におけるスコアベクトルの分布を示すイメージ図である。図４の右図は、左図に示すスコアベクトルの分布をクラスタリングした結果を示すイメージ図である。図４では、説明の簡略化のために、特徴空間を、予備識別器１１−１の６次元ベクトルＶ₁の成分を構成する６個のスコアのうちの１個を横軸とし、予備識別器１１−２の６次元ベクトルＶ₂の成分を構成する６個のスコアのうちの１個を縦軸としたものとしている。そして図４では、スコアベクトルが、第１クラスタＣＬ１、第２クラスタＣＬ２、第３クラスタＣＬ３および第４クラスタＣＬ４の何れかに分類されている状態を示している。

クラスタ決定部１３は、Ｍ個のクラスタＣＬ−１，ＣＬ−２，・・・，ＣＬ−（Ｍ−１），ＣＬ−Ｍそれぞれの中心と、入力したスコアベクトルの位置とを比較することにより、入力したスコアベクトルが所属するクラスタを決定する。

本識別器１４は、図２に示すように、サポートベクタマシン（Support Vector Machine）識別器群２１（以下、ＳＶＭ識別器群２１という）および歩行者識別部２２を備えている。

ＳＶＭ識別器群２１は、ＳＶＭ識別器２１−１、ＳＶＭ識別器２１−２、・・・、ＳＶＭ識別器２１−（Ｍ−１）およびＳＶＭ識別器２１−Ｍを備える（Ｍは２以上の整数）。
Ｍ個のＳＶＭ識別器２１−１，２１−２，・・・，２１−（Ｍ−１），２１−Ｍはそれぞれ、Ｍ個のクラスタＣＬ−１，ＣＬ−２，・・・，ＣＬ−（Ｍ−１），ＣＬ−Ｍに対応して設けられている。

ＳＶＭ識別器２１−ｊ（ｊは１〜Ｍの整数）は、周知の線形サポートベクタマシン（以下、線形ＳＶＭ）を用いて、クラスタＣＬ−ｊを構成するスコアベクトルを、歩行者を示すものであるか否かに分類する。ＳＶＭ識別器２１−ｊは、クラスタＣＬ−ｊを構成するスコアベクトルを歩行者および非歩行者の何れか一方に分類するために予め設定された超平面を用いる。具体的には、ＳＶＭ識別器２１−ｊは、入力したスコアベクトルが歩行者を示すものであると判断した場合には、識別スコアとして正の値を出力し、入力したスコアベクトルが歩行者を示すものではないと判断した場合には、識別スコアとして負の値を出力する。

図４の右図には、クラスタＣＬ１，ＣＬ２，ＣＬ３，ＣＬ４のそれぞれに対して設定された超平面ＨＰ１，ＨＰ２，ＨＰ３，ＨＰ４を示している。
なおスコアベクトルの入力は、クラスタ決定部１３で決定されたクラスタに対応するＳＶＭ識別器２１−ｊに対して行われる。例えば、スコアベクトル生成部１２により生成されたスコアベクトルがクラスタＣＬ−２に分類されるとクラスタ決定部１３が決定した場合には、このスコアベクトルはＳＶＭ識別器２１−２に入力される。

歩行者識別部２２は、ＳＶＭ識別器群２１が出力した識別スコアに基づいて、この識別スコアに対応したスコアベクトルが生成された検出窓ＤＷ内の歩行者を識別する。具体的には、識別スコアが正の値である場合には、検出窓ＤＷ内に歩行者が存在すると判断し、識別スコアが負の値である場合には、検出窓ＤＷ内に歩行者が存在しないと判断する。

次に、制御部４が歩行者を識別するために実行する処理（以下、歩行者識別処理という）の手順を図５を用いて説明する。歩行者識別処理は、運転支援装置１の動作中において繰り返し実行される処理である。

歩行者識別処理が実行されると、制御部４は、図５に示すように、まずＳ１０にて、カメラ２から前景画像データを取得する。そしてＳ２０にて、取得した前景画像データを用いて、予備識別器群１１の予備識別器１１−１、予備識別器１１−２、・・・、予備識別器１１−（Ｎ−１）および予備識別器１１−Ｎを用いて、検出窓に対応するスコアｓ¹ ₀，ｓ¹ ₁，ｓ¹ ₂，ｓ¹ ₃，ｓ¹ ₄，ｓ¹ ₅，ｄ¹ ₁，ｄ¹ ₂，ｄ¹ ₃，ｄ¹ ₄，ｄ¹ ₅，ｓ² ₀，・・・，ｄ^N ₅を算出する。ただし、ｓ^j ₀は予備識別器１１−ｊによって算出された全体形状スコア、ｄ^j ₅は予備識別器１１−ｊによって算出された脚部パーツ領域Ｐ５の位置スコアを表す。

その後Ｓ３０にて、スコアベクトル生成部１２を用いてスコアベクトルを生成する。さらにＳ４０にて、クラスタ決定部１３を用いて、スコアベクトルが所属するクラスタを決定する。

次にＳ５０にて、Ｓ４０で決定したクラスタに対応するＳＶＭ識別器２１−ｊを用いて、識別スコアを算出する。そしてＳ６０にて、Ｓ５０で算出した識別スコアに基づいて、前景画像内の歩行者を識別し、歩行者識別処理を一旦終了する。この処理を検出窓の位置およびサイズを変化させながら繰り返すことで、前景画像全体から歩行者を識別する。

次に、制御部４による歩行者識別処理のためにＳＶＭ識別器群２１の学習を行う歩行者識別学習装置１００を説明する。
歩行者識別学習装置１００は、図６に示すように、機能ブロックとして、予備識別器群１０１、スコアベクトル生成部１０２、スコアベクトル記憶部１０３、クラスタリング部１０４、スコアベクトル分類部１０５およびＳＶＭ学習部群１０６を備えている。

予備識別器群１０１は、予備識別器１０１−１、予備識別器１０１−２、・・・、予備識別器１０１−（Ｎ−１）および予備識別器１０１−Ｎを備える（Ｎは２以上の整数）。予備識別器１０１−ｉは、上述の予備識別器１１−ｉと同一のものである（ｉは１〜Ｎの整数）。

スコアベクトル生成部１０２は、Ｎ個の予備識別器１０１−ｉが算出したスコアを用いて、上述のスコアベクトル生成部１２と同様にして、スコアベクトルを生成する。
スコアベクトル記憶部１０３は、スコアベクトル生成部１０２が生成したスコアベクトルを記憶する。

クラスタリング部１０４は、スコアベクトル記憶部１０３に記憶されている複数（本実施形態では例えば１０００個）のスコアベクトルを、周知のクラスタリング手法（例えば「k-means」、「Spectral Clustering」、「凝集クラスタリング」、「混合正規分布を用いたクラスタリング」、「ディリクレ過程混合分布を用いたクラスタリング」）によりクラスタリングし、複数（本実施形態ではＭ個）のクラスタＣＬ−１，ＣＬ−２，・・・，ＣＬ−（Ｍ−１），ＣＬ−Ｍに分類する（Ｍは２以上の整数）。

スコアベクトル分類部１０５は、スコアベクトル記憶部１０５−１、スコアベクトル記憶部１０５−２、・・・、スコアベクトル記憶部１０５−（Ｍ−１）およびスコアベクトル記憶部１０５−Ｍを備える。

スコアベクトル記憶部１０５−１，１０５−２，・・・１０５−（Ｍ−１），スコアベクトル記憶部１０５−Ｍはそれぞれ、スコアベクトル記憶部１０３に記憶されているスコアベクトルのうちクラスタリング部１０４でクラスタＣＬ−１，ＣＬ−２，・・・，ＣＬ−（Ｍ−１），ＣＬ−Ｍに分類されたスコアベクトルを記憶する。例えば、スコアベクトル分類部１０５でクラスタＣＬ−２に分類されたスコアベクトルは、スコアベクトル記憶部１０５−２に記憶される。

ＳＶＭ学習部群１０６は、ＳＶＭ学習部１０６−１、ＳＶＭ学習部１０６−２、・・・、ＳＶＭ学習部１０６−（Ｍ−１）およびＳＶＭ学習部１０６−Ｍを備える。
ＳＶＭ学習部１０６−ｊは、スコアベクトル記憶部１０５−ｊに記憶されているスコアベクトルを入力して、線形ＳＶＭの手法により、歩行者が存在することを示すスコアベクトルと歩行者が存在しないことを示すスコアベクトルとを分類するための超平面を学習する（ｊは１〜Ｍの整数）。

次に、歩行者識別学習装置１００が学習用のスコアベクトルを生成する処理（以下、スコアベクトル生成処理という）の手順を図７を用いて説明する。スコアベクトル生成処理は、学習用撮影画像データが歩行者識別学習装置１００に入力される毎に実行される処理である。

学習用撮影画像データは、予め複数（本実施形態では例えば１０００）用意されており、複数の学習用撮影画像データは互いに画像が異なっている。そして複数の学習用撮影画像データは、歩行者が撮影されている画像（以下、歩行者撮影画像という）、および歩行者が撮影されていない画像の何れかに分類されている。なお学習用撮影画像データには、歩行者撮影画像であるか否かを示す情報が付加される。

スコアベクトル生成処理が実行されると、歩行者識別学習装置１００は、図７に示すように、まずＳ１１０にて、歩行者識別学習装置１００に入力した学習用撮影画像データを取得する。そしてＳ１２０にて、取得した学習用撮影画像データを用いて、予備識別器群１０１の予備識別器１０１−１、予備識別器１０１−２、・・・、予備識別器１０１−（Ｎ−１）および予備識別器１０１−Ｎを用いて、スコアｓ¹ ₀，ｓ¹ ₁，ｓ¹ ₂，ｓ¹ ₃，ｓ¹ ₄，ｓ¹ ₅，ｄ¹ ₁，ｄ¹ ₂，ｄ¹ ₃，ｄ¹ ₄，ｄ¹ ₅，・・・，ｄ^N ₅を算出する。

その後Ｓ１３０にて、スコアベクトル生成部１０２を用いてスコアベクトルを生成し、生成したスコアベクトルをスコアベクトル記憶部１０３に記憶して、スコアベクトル生成処理を一旦終了する。

次に、歩行者識別学習装置１００がＳＶＭ識別器の超平面を学習する処理（以下、ＳＶＭ学習処理という）の手順を図８を用いて説明する。ＳＶＭ学習処理は、ＳＶＭ学習処理の開始を指示するために予め設定された開始指示情報が歩行者識別学習装置１００に入力したときに実行される処理である。

ＳＶＭ学習処理が実行されると、歩行者識別学習装置１００は、図８に示すように、まずＳ２１０にて、クラスタリング部１０４により、スコアベクトル記憶部１０３に記憶されている複数（本実施形態では例えば１０００）のスコアベクトルをクラスタリングする。本実施形態では、クラスタリングにより、クラスタＣＬ−１，ＣＬ−２，・・・，ＣＬ−（Ｍ−１），ＣＬ−Ｍの何れかにスコアベクトルが分類されたとする。

そしてＳ２２０にて、クラスタ毎に分類されたスコアベクトルを、対応するスコアベクトル記憶部１０５−ｊ（ｊは１〜Ｍの整数）に記憶する。例えば、クラスタリング部１０４でクラスタＣＬ−２に分類されたスコアベクトルは、スコアベクトル記憶部１０５−２に記憶される。

その後Ｓ２３０にて、スコアベクトル記憶部１０５−ｊに記憶されたスコアベクトルに基づいて、ＳＶＭ学習部１０６−ｊにより、ＳＶＭ識別器２１−ｊの超平面を学習する（ｊは１〜Ｍの整数）。これにより、クラスタ毎にＳＶＭ識別器の超平面が学習される。そして、全てのクラスタについて超平面の学習が完了すると、ＳＶＭ学習処理を終了する。

次に、本発明が適用された運転支援装置１のように、予備識別器により算出されるスコアの線形結合が本識別に有効であることを以下に示す。
図９は、それぞれ異なるデータを用いて行われた学習の結果に基づいてスコアを算出するように構成された３０個の予備識別器の識別性能（縦棒Ｈ１，Ｈ２，・・・Ｈ２９，Ｈ３０を参照）と、上記３０個の予備識別器により算出されたスコアの線形結合を用いた識別性能（縦棒Ｈ３１を参照）とを示す棒グラフである。Ｈ１〜Ｈ３１はすべて、評価用に用意された同じデータセットに対する識別性能を示す。

図９に示すように、上記３０個の予備識別器により算出されたスコアの線形結合を用いた識別性能（Ｈ３１）は、上記３０個の予備識別器単独の識別性能（Ｈ１〜Ｈ３０）よりも高くなる。

また、本発明が適用された運転支援装置１のように、スコアベクトルを構成する各成分を座標とする特徴空間内でスコアベクトルをクラスタリングすることが本識別に有効であることを以下に示す。

図１０に示すように、データセットＡを用いて行われた学習の結果に基づいてスコアを算出するように構成された予備識別器は、特徴空間を分割することで識別性能が向上している（グラフＧ１を参照）。データセットＡと異なるデータセットＢの両方を用いて行われた学習の結果に基づいてスコアを算出するように構成された予備識別器においても同様に、特徴空間を分割することで識別性能が向上している（グラフＧ２を参照）。

このように構成された運転支援装置１では、まず、Ｎ個の予備識別器１１−ｉ（ｉは１〜Ｎの整数）が、歩行者を画像内において識別するために予め設定されたＨＯＧ特徴量を画像から取得し、取得したＨＯＧ特徴量に基づいて、スコアｓ₀，ｓ₁，ｓ₂，ｓ₃，ｓ₄，ｓ₅，ｄ₁，ｄ₂，ｄ₃，ｄ₄，ｄ₅を、互いに異なる学習用撮影画像データを用いて行われた学習の結果に基づいて算出する。次にスコアベクトル生成部１２が、Ｎ個の予備識別器１１−ｉが算出したスコアを成分とするスコアベクトルを生成する。さらにクラスタ決定部１３が、スコアベクトルを分類するために予め設定されたＭ個（Ｍは２以上の整数）のクラスタの中から、スコアベクトル生成部１２により生成されたスコアベクトルを含むクラスタを決定する。

そして、画像内に歩行者が写っているか否かを判断するための超平面が複数のクラスタ毎に予め設定され、本識別器１４が、クラスタ決定部１３により決定されたクラスタに対応する超平面に基づいて、画像内に写る歩行者を識別する。

このように構成された運転支援装置１では、スコアベクトルを分類するために、複数のクラスタが予め設定されている必要がある。
なお、複数のクラスタを予め設定しておくには、画像内に歩行者が写っていることを示すスコアベクトルと、画像内に歩行者が写っていないことを示すスコアベクトルを多数用意して、これらのスコアベクトルを用いてクラスタリングをする必要がある。

そして、ベクトル空間内の複数のベクトルは、周知のクラスタリング手法により計算機で自動的に分類することができる。このため、スコアベクトルを分類するために予め行われるクラスタ設定を設計者の判断を介することなく行うことができる。これにより、予め設定される必要がある上記クラスタが歩行者の識別において適切ではないという事態の発生を抑制することができる。一方、画像内において写っている態様が変動する物体（本実施形態では歩行者）を識別するために、この変動の態様を設計者が事前に分割した場合には、図１１に示すように、複数の特徴量を座標とする特徴量空間内の分割が歩行者を識別するために適したものにならない可能性がある（図中の実線は、分割された各領域の境界を示し、図中の破線は、各領域内の超平面を示す）。

また上述のように、複数のクラスタの設定を計算機で自動的に行うことができるため、画像内において歩行者が写っている態様の数が多くなったとしても、複数のクラスタの設定ができなくなるという事態の発生を抑制することができる。

また運転支援装置１では、予め設定されたＭ個のクラスタの何れかにスコアベクトルが分類され、歩行者識別のための超平面がＭ個のクラスタ毎に設定されている。このため、例えば線形ＳＶＭのように超平面の設定を簡略化することができる。一方、クラスタが設定されていない場合には、図１２に示すように、歩行者識別のための超平面が複雑になり、線型ＳＶＭでは十分に識別を行えない可能性がある（図１２の破線は超平面を示す）。

またクラスタ決定部１３は、Ｍ個のクラスタＣＬ−１，ＣＬ−２，・・・，ＣＬ−（Ｍ−１），ＣＬ−Ｍそれぞれの中心と、入力したスコアベクトルの位置との間の距離に基づいて、スコアベクトルが所属するクラスタを決定する。これにより、距離の算出と距離の大小の比較という簡便な方法で所属クラスタを決定することができるため、制御部４の演算負荷を低減することができる。

予備識別器１１−ｉ（ｉは１〜Ｎの整数）は、歩行者の頭部、左肩部、右肩部、腰部、脚部を示す５個のパーツにより歩行者が構成されているとして、５個のパーツのそれぞれに対応して設けられたパーツ領域Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５を画像内で移動させることで、５個のパーツ領域Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５毎に、対応する頭部、左肩部、右肩部、腰部、脚部が画像内に写っている信頼度を示すスコアを算出する。このスコアは、少なくとも、頭部形状スコアｓ₁、左肩部形状スコアｓ₂、右肩部形状スコアｓ₃、腰部形状スコアｓ₄、脚部形状スコアｓ₅、頭部位置スコアｄ₁、左肩部位置スコアｄ₂、右肩部位置スコアｄ₃、腰部位置スコアｄ₄および脚部位置スコアｄ₅により構成されている。

そしてスコアベクトル生成部１２は、形状スコアｓ₁，ｓ₂，ｓ₃，ｓ₄，ｓ₅と位置スコアｄ₁，ｄ₂，ｄ₃，ｄ₄，ｄ₅を加算したスコアを成分として含むようにしてスコアベクトルを生成する。これにより、パーツの形状に関する情報とパーツの位置に関する情報を含んだスコアベクトルを生成することができる。さらに、形状スコアｓ₁，ｓ₂，ｓ₃，ｓ₄，ｓ₅と位置スコアｄ₁，ｄ₂，ｄ₃，ｄ₄，ｄ₅をそれぞれ個別に成分とするスコアベクトルよりもベクトルの次元数が小さくなるため、制御部４の演算負荷を低減することができる。このようにして生成したスコアベクトルは、予備識別器における５個のパーツの形状と位置に関する情報と、全体形状に関する情報を独立に持っているため、特に一部のパーツの見え方が変化したり隠れるといった変化の態様に対して、その変化の態様ごとにクラスタを形成することができる。

また本識別器１４は、クラスタ決定部１３におけるクラスタの決定で用いたスコアベクトルに基づいて、画像内に歩行者が写っているか否かを判断する。これにより、本識別器１４による歩行者識別のために新たな情報を追加する必要がなくなり、運転支援装置１の構成が複雑になるのを抑制することができる。

また本識別器１４には、サポートベクタマシン（ＳＶＭ）により、歩行者が存在することを示すスコアベクトルと歩行者が存在しないことを示すスコアベクトルとを分類する超平面が設定されている。ＳＶＭにより、上記両スコアベクトルとの間の距離（マージン）が最大になるように超平面が設定されるため、高い識別能力を確保することができる。

以上説明した実施形態において、運転支援装置１は本発明における物体識別装置、予備識別器１１−ｉは本発明における予備識別手段、スコアベクトル生成部１２は本発明におけるスコアベクトル生成手段、クラスタ決定部１３は本発明におけるクラスタ決定手段、本識別器１４は本発明における本識別手段、歩行者は本発明における識別対象物体、ＨＯＧ特徴量は本発明における特徴量である。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
例えば上記実施形態では、歩行者を識別するものを示したが、識別対象物体は歩行者に限定されるものではなく、例えば自動車や自転車、バイクを識別対象物体としてもよい。また歩行者、自動車、自転車、バイクの全部あるいは一部を識別対象物体としてもよい。

また上記実施形態では、入力としてカメラが撮影することにより取得された画像データを用いていたが、入力とする画像データは他の取得方法によるものとしてもよい。例えば、ＬＩＤＡＲや赤外線カメラなどの計測装置によって取得されるものを用いてもよい。

また上記実施形態では、ＤＰＭを用いて予備識別器がスコアを算出するものを示したが、物体識別に用いるモデルはＤＰＭに限定されるものではなく、識別結果に対応するスコアを算出できるものであればよい。

また上記実施形態では、形状スコアと位置スコアとを加算したスコアを成分として含むようにしてスコアベクトルを生成するものを示した。しかし、形状スコアのみを含むようにしてスコアベクトルを生成してもよいし、位置スコアのみを含むようにしてスコアベクトルを生成してもよいし、形状スコアおよび位置スコアの両方を含むようにしてスコアベクトルを生成してもよい。またＤＰＭではなく識別結果に対応するスコアを算出できる他の予備識別器を用いる場合には、個々の予備識別器のスコアを配列してもよい。

また上記実施形態では、スコアベクトル間の距離計量としてユークリッド距離を利用したが、利用される距離計量はこれに限定されるものではない。例えば、マンハッタン距離、ハミング距離、最大値ノルム、などの周知の距離計量を利用してもよい。

また上記実施形態では、本識別器１４として線型ＳＶＭを用いたが、本識別器１４による識別方法はこれに限定されるものではない。例えば、本識別器１４としてカーネルＳＶＭ、ニューラルネットワーク、ロジスティック回帰など、周知の識別器を用いてもよい。

また上記実施形態では、歩行者を示すものであるか否かの何れかにスコアベクトルを分類することにより本識別器１４が歩行者を識別するものを示した。しかし、本識別器１４による識別方法はこれに限定されるものではない。

例えば図１３に示すように、スコアベクトル空間ＶＳにおいて設定された複数のクラスタ（図１３のクラスタＣＬ１１，ＣＬ１２，ＣＬ１３，ＣＬ１４を参照）のうち、一部あるいは全部のクラスタ（図１２ではクラスタＣＬ１４）について、スコアベクトルとは別の特徴量を用いて物体の識別を行うようにしてもよい。

図１３のクラスタＣＬ１４を構成するスコアベクトルの分布では、物体識別を行うことができない、あるいは、線形ＳＶＭを用いて設定された超平面のような簡単な識別条件では物体識別を行うことができない。なおクラスタＣＬ１４は、典型的な横からの角度で観測した車両が所属するクラスタである。図１３では、スコアベクトルがクラスタＣＬ１４に分類される場合に、ステレオカメラまたは距離センサなどにより検出した物体のサイズと、奥行き情報の分散とを特徴量とした特徴量空間ＦＳ内おける分布に基づいて車両を識別することを示している。これにより、物体か平坦であるか否かを識別し、実車（図１３のＣ１を参照）と看板（図１３のＣ２を参照）とを区別することができる。

また図１４に示すように、スコアベクトル空間ＶＳにおいて設定された複数のクラスタ（図１４のクラスタＣＬ２１，ＣＬ２２，ＣＬ２３，ＣＬ２４を参照）のうち、一部あるいは全部のクラスタ（図１３ではクラスタＣＬ２４）について、スコアベクトルを構成する一部の成分のみを用いて物体の識別を行うようにしてもよい。

図１４では、スコアベクトルがクラスタＣＬ２４に分類される場合に、スコアベクトル空間ＶＳの縦軸の座標を構成するスコアと、横軸の座標を構成するスコアのうち、縦軸の座標を構成するスコアのみを用いて識別を行うことを示している（図１４の超平面ＨＰ２４を参照）。このようにスコアベクトルを構成する部分の一部の成分のみを用いることで、本識別器に必要な記憶容量と計算時間の両方を少なくすることができる。

また上記実施形態では、クラスタ決定部１３で決定されたクラスタの全てにおいてスコアベクトルを用いて本識別器１４が歩行者の識別を行うものを示した。しかし、クラスタ決定部１３で決定されたクラスタに応じて、本識別器１４が歩行者識別に用いる特徴量を異ならせるようにしてもよい。例えば、図４のクラスタＣＬ１では、スコアベクトルを構成する全てのスコアを特徴量とし、クラスタＣＬ２では距離情報を特徴とし、クラスタＣＬ３では、スコアベクトルを構成する一部のスコアを特徴量とし、クラスタＣＬ４では検出窓ＤＷ内のカラーヒストグラムを特徴量とするというようにして、本識別器１４が歩行者識別に用いる特徴量を異ならせるようにしてもよい。

１…運転支援装置、１１−ｉ…予備識別器、１２…スコアベクトル生成部、１３…クラスタ決定部、１４…本識別器

Claims (7)

1. 画像内において写っている態様が変動する物体を識別する物体識別装置（１）であって、
   識別対象として予め設定された前記物体である識別対象物体を前記画像内において識別するために予め設定された特徴量を前記画像から取得し、取得した前記特徴量に基づいて、前記画像内に前記識別対象物体が写っている信頼度を示すスコアを、互いに異なるように予め設定されたスコア算出条件に基づいて算出する複数の予備識別手段（１１−ｉ）と、
   複数の前記予備識別手段が算出した前記スコアを成分とするベクトルであるスコアベクトルを生成するスコアベクトル生成手段（１２）と、
   前記スコアベクトルを分類するために予め設定された複数のクラスタの中から、前記スコアベクトル生成手段により生成された前記スコアベクトルを含む前記クラスタを決定するクラスタ決定手段（１３）と、
   前記画像内に前記識別対象物体が写っているか否かを判断するための判断条件が複数の前記クラスタ毎に予め設定され、前記クラスタ決定手段により決定された前記クラスタに対応する前記判断条件に基づいて、前記画像内に写る前記識別対象物体を識別する本識別手段（１４）とを備える
   ことを特徴とする物体識別装置。
2. 前記クラスタ決定手段は、前記スコアベクトルと複数の前記クラスタそれぞれとの間の距離に基づいて、前記クラスタを決定する
   ことを特徴とする請求項１に記載の物体識別装置。
3. 前記予備識別手段は、
   前記識別対象物体の一部分を示し互いに異なる複数のパーツにより前記識別対象物体が構成されているとして、複数の前記パーツのそれぞれに対応して設けられたパーツ領域を前記画像内で移動させることで、複数の前記パーツ領域毎に、該パーツ領域に対応する前記一部分が前記画像内に写っている信頼度を示すスコアであるパーツスコアを算出し、
   前記パーツスコアに対応する前記パーツ領域内に該パーツ領域に対応する前記一部分が写っている信頼度を示すスコアを第１スコアとし、前記パーツ領域の位置の信頼度を示すスコアを第２スコアとして、前記パーツスコアは、少なくとも前記第１スコアおよび前記第２スコアにより構成されている
   ことを特徴とする請求項１または請求項２に記載の物体識別装置。
4. 前記スコアベクトル生成手段は、
   少なくとも前記第１スコアおよび前記第２スコアの少なくとも一方を成分として含むようにして前記スコアベクトルを生成する
   ことを特徴とする請求項３に記載の物体識別装置。
5. 前記スコアベクトル生成手段は、
   前記第１スコアと前記第２スコアとを加算したスコアを成分として含むようにして前記スコアベクトルを生成する
   ことを特徴とする請求項４に記載の物体識別装置。
6. 前記判断条件は、
   前記クラスタ決定手段が前記クラスタの決定に用いた前記スコアベクトルに基づいて、前記画像内に前記識別対象物体が写っているか否かを判断するように設定されている
   ことを特徴とする請求項１〜請求項５の何れか１項に記載の物体識別装置。
7. 前記判断条件は、
   サポートベクタマシンにより、前記クラスタに分類される複数の前記スコアベクトルが、前記画像内に前記識別対象物体が写っていることを示すもの、および前記画像内に前記識別対象物体が写っていないことを示すものの何れかに分類されるように設定される
   ことを特徴とする請求項６に記載の物体識別装置。