JP5501925B2 - 物体認識装置及びプログラム - Google Patents

Description

本発明は、物体認識装置及びプログラムに係り、特に、撮像した画像から特定の物体を認識する物体認識装置及びプログラムに関する。

近年、車載カメラで撮像した車両周辺の映像を画像処理し、特定の物体を認識してドライバに認識結果を提示する物体認識装置を搭載する車両が増加している。

例えば、撮像画像から道路標識候補の画像を抽出し、基本テンプレートと対応して道路標識候補の付属データを取得し、付属データを用いて基本テンプレート画像から道路標識候補の画像に画像変換するための射影変換行列を算出し、基本テンプレート画像を射影変換行列で変換して得られた変形テンプレート画像と、道路標識候補の画像との形状の一致度を判定し、所定値以上の一致度であるとき、道路標識候補が基本テンプレート画像と同形状の道路標識であると判定する車両用表示体認識装置が提案されている（例えば、特許文献１参照）。特許文献１に記載の車両用表示体認識装置では、道路標識候補の画像と照合するテンプレートを、射影変換行列やアフィン変換行列によって補正することにより、識別の誤りを低減させている。

また、処理対象画像及び参照画像それぞれのパターンを抽出し、抽出されたパターン同士を比較して形状が同一のパターンを抽出し、同一とされたパターンの相互の位置関係に基づき処理対象画像と参照画像との位置合わせのための補正式を算出する画像処理装置が提案されている（例えば、特許文献２参照）。特許文献２に記載の画像処理装置では、算出された補正式を用いて候補の切り出し位置を補正している。

特開２０１０−８６２６８号公報 特開２００４−３８６７８号公報

しかしながら、候補画像の位置ずれや画像のぼけなどによって、正しいパターンとの類似度よりも誤ったパターンとの類似度の方が高くなる場合がある。例えば、図１１に示すように、実際には、制限速度４０ｋｍ／ｈの標識（以下、制限速度Ｎｋｍ／ｈの標識を「速度標識Ｎ」という）を示す候補画像であっても、撮像画像からの切り出し位置のずれや画像のぼけ、及び標識自体の傾きやかすれ等が生じている場合には、速度標識４０の識別モデルとの類似度よりも、速度標識５０の識別モデルとの類似度の方が高くなる類似度の逆転現象が生じる場合がある。特許文献１及び特許文献２に記載の技術では、このような場合に精度良く対象物の種類を識別することができない、という問題がある。

本発明は、上述した問題を解決するために成されたものであり、位置ずれや画像のぼけが生じている場合でも、精度良く対象物の種類を識別することができる物体認識装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の物体認識装置は、撮像手段により撮像された画像から対象物を検出する検出手段と、前記検出手段により検出された対象物を含み、かつ前記画像上での位置及び大きさの少なくとも一方が異なる複数の領域を設定する設定手段と、前記設定手段により設定された複数の領域内の画像である評価画像の各々と、対象物を識別するために該対象物の種類毎に予め生成された識別モデルの各々との類似度を算出し、前記評価画像の各々と、前記対象物と非類似の特徴を示す識別モデル、及び前記対象物と類似する物体であって前記対象物とは異なる前記物体の特徴を示す識別モデルの少なくとも一方との類似度を用いて、前記対象物の種類を識別するための識別モデルとの類似度を補正する算出手段と、前記複数の評価画像の各々の前記位置及び大きさの少なくとも一方に対する前記算出手段により補正された類似度の変化に基づいて、前記対象物の種別を識別する識別手段と、を含んで構成されている。

本発明の物体認識装置によれば、検出手段が、撮像手段により撮像された画像から対象物を検出し、設定手段が、検出手段により検出された対象物を含み、かつ画像上での位置及び大きさの少なくとも一方が異なる複数の領域を設定する。算出手段は、設定手段により設定された複数の領域内の画像である評価画像の各々と、対象物を識別するために該対象物の種類毎に予め生成された識別モデルの各々との類似度を算出し、識別手段が、複数の評価画像の各々の位置及び大きさの少なくとも一方に対する算出手段により算出された類似度の変化に基づいて、対象物の種別を識別する。

このように、対象物を含み、画像上での位置及び大きさの少なくとも一方が異なる複数の評価画像を生成し、評価画像の各々と対象物の種類毎の識別モデルとの類似度を算出し、画像上での位置及び大きさの少なくとも一方に対する類似度の変化に基づいて、検出された標識の種類を識別するため、位置ずれや画像のぼけが生じている場合でも、精度良く標識の種類を識別することができる。

また、前記算出手段は、前記評価画像の各々と、前記対象物と非類似の特徴を示す識別モデル、及び前記対象物と類似する特徴を示す識別モデルの少なくとも一方との類似度を用いて、前記対象物の種類を識別するための識別モデルとの類似度を補正することができる。これにより、より精度良く標識の種類を識別することができる。

また、本発明の物体認識プログラムは、コンピュータを、撮像手段により撮像された画像から対象物を検出する検出手段、前記検出手段により検出された対象物を含み、かつ前記画像上での位置及び大きさの少なくとも一方が異なる複数の領域を、前記画像上に設定する設定手段、前記設定手段により設定された複数の領域内の画像である評価画像の各々と、対象物を識別するために該対象物の種類毎に予め生成された識別モデルの各々との類似度を算出し、前記評価画像の各々と、前記対象物と非類似の特徴を示す識別モデル、及び前記対象物と類似する物体であって前記対象物とは異なる前記物体の特徴を示す識別モデルの少なくとも一方との類似度を用いて、前記対象物の種類を識別するための識別モデルとの類似度を補正する算出手段、及び前記複数の評価画像の各々の前記位置及び大きさの少なくとも一方に対する前記算出手段により補正された類似度の変化に基づいて、前記対象物の種別を識別する識別手段として機能させるための物体認識プログラムである。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明によれば、対象物を含み、画像上での位置及び大きさの少なくとも一方が異なる複数の評価画像を生成し、評価画像の各々と対象物の種類毎の識別モデルとの類似度を算出し、画像上での位置及び大きさの少なくとも一方に対する類似度の変化に基づいて、検出された標識の種類を識別するため、位置ずれや画像のぼけが生じている場合でも、精度良く対象物を識別することができる、という効果が得られる。

第１の実施の形態に係る物体認識装置の構成を示すブロック図である。 （Ａ）撮像画像の一例を示すイメージ図、及び（Ｂ）円検出の結果の一例を示すイメージ図である。 評価画像の一例を示すイメージ図である。 識別モデルの一例を示すイメージ図である。 評価画像の画像上での位置に対する類似度の変化を示す図である。 類似度の変化に対する正規分布の当てはめを説明するための図である。 第１の実施の形態の物体認識装置における物体認識処理ルーチンの内容を示すフローチャートである。 評価画像の他の例を示すイメージ図である。 （Ａ）画像のぼけや位置ずれが生じていない場合、及び（Ｂ）生じている場合における、標識の識別モデル及び非標識の識別モデルに対する類似度の変化を示す図である。 （Ａ）画像のぼけや位置ずれが生じていない場合、及び（Ｂ）生じている場合における、標識の識別モデルに対する補正後の類似度の変化を示す図である。 従来の標識の種類の識別を説明するための図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、認識対象物として標識を認識するための物体認識装置に本発明を適用した場合について説明する。

図１に示すように、第１の実施の形態に係る物体認識装置１０は、認識対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて特定の物体を認識する物体認識処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８と、を備えている。

撮像装置１２は、認識対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）と、を備えている。

コンピュータ１６は、物体認識装置１０全体の制御を司るＣＰＵ、後述する物体認識処理ルーチンのプログラム等及び各種情報を記憶した記憶媒体としてのＲＯＭまたはＨＤＤ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像されコンピュータ１６へ入力された撮像画像から、認識対象物である標識の形状を利用した手法により標識を検出する標識検出部２２と、検出された標識を含み、撮像画像上での位置が異なる複数の候補領域を設定する候補領域設定部２４と、設定された候補領域内の画像を撮像画像から切り出して評価画像を生成する評価画像生成部２６と、標識を識別するために標識の種類毎に予め学習処理により生成された識別モデルが記憶された識別モデル記憶部２８と、評価画像の各々と標識の種類毎の識別モデルの各々との類似度を算出する類似度算出部３０と、評価画像の撮像画像上での位置に応じた類似度の変化に基づいて、標識の種類を識別する標識種類識別部３２と、を含んだ構成で表すことができる。

標識検出部２２は、図２（Ａ）に示すように、撮像装置１２で撮像された撮像画像を取得し、例えば、一般化ハフ変換のアルゴリズム等を用いて円検出を行う（同図（Ｂ））。具体的には、撮像画像からエッジを抽出し、エッジの強度が高い点に対して、予め仮定した標識の大きさ及びエッジの方向を考慮して、円の中心位置を投票する。そして閾値処理などにより、投票値が高い点を円の中心の候補として抽出する。なお、標識の大きさを仮定する際に、様々な大きさを仮定することで、任意の大きさの標識を検出することが可能である。また、ここでは、円形の標識を検出する場合について説明したが、三角形や四角形などの定型の標識であれば、その種別は問わない。また、ここでは、形状を利用した手法を用いて標識を検出する場合について説明したが、その他の手法を用いてもよい。

候補領域設定部２４は、標識検出部２２で検出された標識を含む領域を、撮影画像上での位置を異ならせて複数設定する。例えば、検出された標識を中央に含む矩形領域を設定し、さらに、この矩形領域を左右に所定画素ずつずらした矩形領域を設定する。

評価画像生成部２６は、候補領域設定部２４で設定された領域内の画像を切り出して、複数の評価画像を生成する。これにより、各評価画像は、図３（Ａ）に示すように、円検出の結果から切り出された評価画像、及び同図（Ｂ）に示すように撮像画像からの切り出し位置が少しずつ異なる類似した評価画像となり、検出された標識の切り出し位置に含まれる誤差を吸収することができる。

識別モデル記憶部２８には、撮像画像上での標識の大きさ及び標識の種類毎に、標識を示す画像の特徴量が記憶されている。例えば、図４に示すように、１６×１６画素、２４×２４画素・・・等の撮像画像上での標識の大きさを行方向に対応させ、速度標識３０、速度標識４０、速度標識５０、速度標識６０・・・等の標識の種類を列方向に対応させ、それぞれの大きさ及び標識の種類に応じた特徴量（同図では複数の画像として表現）が記憶されている。

なお、ここでは、識別モデル記憶部２８をコンピュータ１６に設ける場合について説明するが、他の外部装置の記憶手段に識別モデルを記憶しておき、ネットワークや通信手段を介して他の外部装置に接続して、他の外部装置の記憶手段に記憶された識別モデルを読み込むような構成としてもよい。

類似度算出部３０は、評価画像生成部２６で生成された評価画像の各々について、識別モデル記憶部２８に記憶された識別モデルと比較して、識別モデルとの類似度を算出する。具体的には、評価画像と同一の大きさ（幅及び高さ）の識別モデルを選択する。同一の大きさの識別モデルが存在しない場合には、大きさが最も近似する識別モデルを選択してもよいし、評価画像を識別モデルの大きさに応じて拡大縮小処理してもよいし、識別モデルの特徴量を評価画像の大きさに応じて変更するようにしてもよい。識別モデルの大きさが選択されたら、標識の種類毎に評価画像と識別モデルとの類似度を算出する。類似度は、識別モデルの特徴量を抽出したのと同様の手法により評価画像から特徴量を抽出し、この特徴量を比較することにより算出する。

標識種類識別部３２は、評価画像の切り出し位置に応じた標識の種類毎の類似度の変化に基づいて、検出された標識の種類を識別する。図５に、検出された標識が速度標識４０であった場合に、各評価画像と、速度標識３０、速度標識４０、及び速度標識５０の識別モデルとの類似度の変化を示す。正しい標識の種類である速度標識４０の識別モデルとの類似度は、真の標識位置で高く、かつ撮像画像上の位置に応じてなだらかに変化する。なお、真の標識位置とは、撮像画像から評価画像を切り出す際に、位置ずれがない状態で切り出した場合の切り出し位置である。一方、誤った標識の種類である速度標識３０及び速度標識５０の識別モデルとの類似度は、標識が検出された位置付近で類似度が最大となるが、その他の位置でも類似度が高い箇所があり、全体的に類似度の変化が急でばらつきがある。そこで、図６に示すように、撮像画像上での位置に対する類似度の変化を、正規分布に当てはめて、当てはめられた正規分布の最大値、分散、及び当てはめ時の誤差を算出する。そして、これらのパラメータから算出される評価値が最も大きくなる識別モデルに対応した標識の種類を、検出された標識の種類として識別する。評価値は、パラメータの加重平均やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等によって算出される値を用いることができる。

次に、図７を参照して、第１の実施の形態の物体認識装置１０のコンピュータ１６で実行される物体認識処理ルーチンについて説明する。

ステップ１００で、撮像装置１２で撮像された撮像画像を取得し、次に、ステップ１０２で、例えば、一般化ハフ変換のアルゴリズム等を用いた円検出により、標識を検出する。

次に、ステップ１０４で、上記ステップ１０２で検出された標識を含む領域を、撮影画像上での位置を異ならせて複数設定する。次に、ステップ１０６で、上記ステップ１０４で設定された領域内の画像を切り出して、複数の評価画像を生成する。

次に、ステップ１０８で、上記ステップ１０６で生成された評価画像の各々について、評価画像と同一の大きさ（幅及び高さ）の識別モデルを選択し、標識の種類毎に評価画像と識別モデルとの類似度を算出する。

次に、ステップ１１０で、評価画像の切り出し位置に応じた標識の種類毎の類似度の変化を正規分布に当てはめて、当てはめられた正規分布の最大値、分散、及び当てはめ時の誤差をパラメータとして算出し、これらのパラメータから算出される評価値が最も大きくなる識別モデルに対応した標識の種類を、検出された標識の種類として識別する。

以上説明したように、第１の実施の形態の物体認識装置によれば、撮像画像に設定された位置を異ならせた複数の候補領域から評価画像を生成し、評価画像の各々と複数種類の標識の識別モデルとの類似度を算出し、撮像画像上の位置に対する類似度の変化に基づいて、検出された標識の種類を識別するため、位置ずれや画像のぼけが生じている場合でも、精度良く標識の種類を識別することができる。

なお、第１の実施の形態では、類似度の変化を正規分布に当てはめて評価値を算出する場合について説明したが、正規部分に限らず、多項式で表される曲線や、事前に学習したパラメトリックな曲線など、予め定めた基準パターンと当てはめて評価値を算出するようにしてもよい。

また、第１の実施の形態では、候補領域の設定を左右に所定画素ずつ異ならせて評価画像を生成する場合について説明したが、図８に示すように、候補領域の大きさを異ならせて設定し、各々大きさの異なる評価画像を生成するようにしてもよい。この場合、評価画像の大きさに対する類似度の変化に基づいて、評価値を算出するようにするとよい。

また、横方向及び縦方向に切り出し位置を異ならせるようにしてもよい。候補領域を、縦方向及び横方向の各々にＷの範囲で平行移動させながら設定する場合の評価値Ｅの計算式を、下記（１）式に示す。

Ｉ_ｘ，ｙは、標識が検出された位置から（ｘ，ｙ）だけ平行移動した位置で切り出された評価画像、Ｓは、切り出された評価画像の類似度を算出する関数、ｆ_ｓは、切り出し位置に応じた類似度の基準パターンを表す関数である。この例では、評価値Ｅは評価画像の類似度と基準パターンとの差の二乗和で定義されている。

なお、評価値は下記（２）式に示すように、様々な調査パラメータでの類似度を入力とする関数Ｆで算出されればよく、関数Ｆは差の二乗和のみならず、差の加重平均やＳＶＭ等の計算を行ってもよい。

従って、評価画像の切り出し位置及び大きさの双方を異ならせて、多次元的に類似度の変化を求めてもよい。また、切り出し位置として縦横方向へ平行移動させる場合だけでなく、切り出し位置を回転させて、評価画像の各々を異ならせるようにしてもよい。

次に、第２の実施の形態について説明する。なお、第２の実施の形態の物体認識装置の構成は、第１の実施の形態の物体認識装置１０と同様であるので、同一の符号を付して説明を省略する。

第２の実施の形態の物体認識装置１０では、識別モデル記憶部２８に、看板等の非標識の物体を表す非標識カテゴリの識別モデルも記憶しておき、類似度算出部３０において、この非標識カテゴリの識別モデルと評価画像との類似度を用いて、標識の識別モデルとの類似度を補正する。

図９に、（Ａ）評価画像に画像のぼけや位置ずれが生じていない場合、（Ｂ）評価画像に画像のぼけや位置ずれが生じている場合において、速度標識４０の識別モデル、速度標識５０の識別モデル、及び非標識の識別モデルと評価画像との類似度を示す。ここでは、標識検出部２２で検出された標識が速度標識４０であったとする。類似度のピークを比較すると、同図（Ａ）の場合は、正しい標識の識別モデルである速度標識４０の識別モデルとの類似度が最も高く、誤った標識である速度標識５０の識別モデル及び非標識の識別モデルとの類似度は低くなっており、標識の種類を判別するのは容易である。しかし、同図（Ｂ）の場合では、速度標識４０の識別モデルとの類似度よりも、速度標識５０の識別モデルとの類似度の方が高くなる類似度の逆転が生じており、標識の種類を判別するのは困難である。

そこで、類似度算出部３０では、例えば、各標識の識別モデルとの類似度から非標識の識別モデルとの類似度を減算するなどして、各標識の識別モデルとの類似度を非標識の識別モデルとの類似度を用いて補正する。

図１０に、（Ａ）評価画像に画像のぼけや位置ずれが生じていない場合、（Ｂ）評価画像に画像のぼけや位置ずれが生じている場合において、速度標識４０の識別モデル及び速度標識５０の識別モデルとの補正された類似度を示す。評価画像に画像のぼけや位置ずれが生じていない場合は、図９（Ａ）に示すように、速度標識４０の識別モデルとの類似度の山と非標識の識別モデルとの類似度の谷とが重なっており、類似度を補正することで、図１０（Ａ）に示すように、より高い類似度を得ることができ、より明確に標識の種類を識別することができる。評価画像に画像のぼけや位置ずれが生じている場合でも、図９（Ｂ）に示すように、速度標識４０の識別モデルとの類似度の山と非標識の識別モデルとの類似度の谷とが重なっており、類似度を補正することで、図１０（Ｂ）に示すように、正しい標識の識別モデルとの類似度が最大となる。これは、評価画像を１つの種類の標識の識別モデルと比較した場合では、画像のぼけや位置ずれにより容易に類似度が低くなってしまうが、一方、様々なパターンの平均に近い非標識の識別モデルとの比較では、評価画像に画像のぼけや位置ずれが生じている場合でも、類似度の形状は変化し難いためである。

標識種類識別部３２では、類似度算出部３０で算出された補正後の類似度の変化に基づいて、標識の種類を識別する。

また、非標識の識別モデルに替えて、または非標識の識別モデルと合わせて、複数の標識に類似する物体を表す曖昧識別モデルを用いてもよい。例えば、標識検出部２２で標識として検出されたが、実際には標識ではなかった物体等の画像から学習により生成された識別モデルを曖昧識別モデルとすることができる。

このような複数のカテゴリの識別モデルを用いた場合には、下記（３）式に示すように、それぞれのカテゴリの識別モデルと評価画像との類似度の重み付き和として、補正後の類似度Ｓ（Ｉ）を算出することができる。

Ｃは、カテゴリ数、ｗ_ｉは、各カテゴリに対する重み係数、関数ｓ_ｉは、各カテゴリの識別モデルと評価画像との類似度である。重み係数ｗ_ｉは、事前の学習により定めることができる。

以上説明したように、第２の実施の形態の物体認識装置によれば、非標識の識別モデルや曖昧識別モデルと評価画像との類似度を用いて、標識の識別モデルと評価画像との類似度を補正するため、位置ずれや画像のぼけが生じている場合でも、より精度良く標識の種類を識別することができる。

なお、上記第１及び第２の実施の形態では、認識対象物を標識とする場合について説明したが、標識のように形状がある程度定まったものであれば、他の物体を対象物としてもよい。

また、上記第１及び第２の実施の形態では、車両に搭載される物体認識装置を例に説明したが、対象物自体に傾きやかすれ等が生じている場合にも対応できるため、移動体に搭載する場合に限らない。

１０ 物体認識装置
１２ 撮像装置
１６ コンピュータ
２２ 標識検出部
２４ 候補領域設定部
２６ 評価画像生成部
２８ 識別モデル記憶部
３０ 類似度算出部
３２ 標識種類識別部

Claims (2)

1. 撮像手段により撮像された画像から対象物を検出する検出手段と、
   前記検出手段により検出された対象物を含み、かつ前記画像上での位置及び大きさの少なくとも一方が異なる複数の領域を設定する設定手段と、
   前記設定手段により設定された複数の領域内の画像である評価画像の各々と、対象物を識別するために該対象物の種類毎に予め生成された識別モデルの各々との類似度を算出し、前記評価画像の各々と、前記対象物と非類似の特徴を示す識別モデル、及び前記対象物と類似する物体であって前記対象物とは異なる前記物体の特徴を示す識別モデルの少なくとも一方との類似度を用いて、前記対象物の種類を識別するための識別モデルとの類似度を補正する算出手段と、
   前記複数の評価画像の各々の前記位置及び大きさの少なくとも一方に対する前記算出手段により補正された類似度の変化に基づいて、前記対象物の種別を識別する識別手段と、
   を含む物体認識装置。
2. コンピュータを、
   撮像手段により撮像された画像から対象物を検出する検出手段、
   前記検出手段により検出された対象物を含み、かつ前記画像上での位置及び大きさの少なくとも一方が異なる複数の領域を、前記画像上に設定する設定手段、
   前記設定手段により設定された複数の領域内の画像である評価画像の各々と、対象物を識別するために該対象物の種類毎に予め生成された識別モデルの各々との類似度を算出し、前記評価画像の各々と、前記対象物と非類似の特徴を示す識別モデル、及び前記対象物と類似する物体であって前記対象物とは異なる前記物体の特徴を示す識別モデルの少なくとも一方との類似度を用いて、前記対象物の種類を識別するための識別モデルとの類似度を補正する算出手段、及び
   前記複数の評価画像の各々の前記位置及び大きさの少なくとも一方に対する前記算出手段により補正された類似度の変化に基づいて、前記対象物の種別を識別する識別手段
   として機能させるための物体認識プログラム。