JP5338643B2 - 画像特徴抽出装置、画像処理装置、及びプログラム - Google Patents

Description

本発明は、画像特徴抽出装置、画像処理装置、及びプログラムに係り、特に、処理対象画像から特徴量を抽出する画像特徴抽出装置、画像処理装置、及びプログラムに関する。

従来より、画像の各画素のエッジベクトルを用いて局所領域の自己相関を計算することで、対象物の認識に有効な輝度の変化方向と位置の相関情報を表す特徴を抽出する画像特徴抽出装置が知られている（特許文献１）。

また、画像の各画素のエッジ方向を用いて周辺領域の画素との間で画素間の位置関係とエッジ方向の共起性を求めることで、歩行者の認識に有効な特徴を抽出する方法が知られている（非特許文献１）。この方法では、多数の画素間の位置関係ごとにエッジ方向の共起ヒストグラムを生成している。

また、画像の各画素の周辺領域を区分し、区分された領域ごとに輝度勾配の平均を求めて各区分領域の特徴を記述し、それらの共変動性を計算することで、対象物の識別のための特徴を抽出する方法が知られている（特許文献２）。

特開２００８−２１７６２７号公報 特開平９−１７１５５３号公報

Ｔ．Ｗａｔａｎａｂｅ，Ｓ．Ｉｔｏ，Ｋ．Ｙｏｋｏｉ"Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｐｅｄｅｓｔｒｉａｎ Ｄｅｔｅｃｔｉｏｎ"，ＰＳＩＶＴ ２００９，２００９年，ＬＮＣＳ ５４１４，ｐｐ．３７−４７

しかしながら、上記の特許文献１に記載の技術では、局所領域に限定した自己相関を考え、局所領域内の画素の組み合わせに対して自己相関を計算しているため、対象物の識別性能を高くすることが難しい、という問題がある。

また、上記の非特許文献１に記載の技術では、多数の画素間の位置関係ごとにエッジ方向の共起ヒストグラムを生成するため、微少な位置ずれや回転に対する頑健性が低くなり、識別性能が悪くなってしまうと共に、特徴次元数が大きく増大して、識別時の計算量が増大してしまう、という問題がある。

また、上記の特許文献２に記載の技術では、区分された領域ごとに輝度勾配の加重平均を求めて特徴としているため、対象物の識別性能を高くすることが難しい、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる画像特徴抽出装置、画像処理装置、及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る画像特徴抽出装置は、処理対象の画像の各画素について、特徴量を算出する特徴量算出手段と、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段と、各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段と、を含んで構成されている。

本発明に係るプログラムは、コンピュータを、処理対象の画像の各画素について、特徴量を算出する特徴量算出手段、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段、及び各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段として機能させるためのプログラムである。

本発明によれば、特徴量算出手段によって、処理対象の画像の各画素について、特徴量を算出する。相関算出手段によって、各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する。

そして、画素特徴量抽出手段によって、各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する。

このように、画素周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を算出し、画素周辺の所定領域を分割した、複数の小領域の各々に対する相関特徴量の合計又は平均を、画素特徴量として抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。

本発明に係る相関算出手段は、該画素と、該画素の周辺の所定領域内の画素との間における、量子化した前記特徴量の組み合わせの各々の共起性を表わす行列を、相関特徴量として算出し、画素特徴量抽出手段は、複数の小領域の各々に対して、量子化した特徴量の組み合わせの各々の共起性のヒストグラムを表わす行列を、該画素の画素特徴量として抽出することができる。

本発明に係る特徴量算出手段は、処理対象の画像の各画素について、輝度の勾配を前記特徴量として算出することができる。

本発明に係る画像特徴抽出装置は、処理対象の画像を分割した複数の分割領域の各々について、該分割領域内の各画素の画素特徴量の合計又は平均を算出して、複数の分割領域の各々に対する画素特徴量の合計又は平均を、画像特徴量として抽出する画像特徴量抽出手段を更に含むことができる。

上記の小領域を、該画素からの距離及び該画素に対する方向に応じて所定領域を分割し、かつ、該画素からの距離が長いほど、該画素に対する方向に応じた分割数が多くなるように所定領域を分割したものとすることができる。これによって、回転だけでなく、微小な位置ずれに対しても頑健な特徴量を抽出することができる。

上記の小領域を、該画素に対する方向に応じて所定領域を分割したものとすることができる。

本発明に係る画像処理装置は、上記の画像特徴抽出装置と、前記画像特徴抽出装置によって抽出された各画素の前記画素特徴量又は前記画像特徴量に基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段と、を含んで構成されている。

本発明に係る画像処理装置によれば、上記の画像特徴抽出装置によって、処理対象の画像の各画素の画素特徴量又は画像特徴量を抽出する。そして、画像処理手段によって、画像特徴抽出装置によって抽出された各画素の画素特徴量又は画像特徴量に基づいて、処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は処理対象の画像から処理対象物を表わす領域を検出する。

このように、画像特徴抽出装置によって、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができ、対象物の識別または検出を精度よく行なうことができる。

以上説明したように、本発明の画像特徴抽出装置、画像処理装置、及びプログラムによれば、画素周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を算出し、画素周辺の所定領域を分割した、複数の小領域の各々に対する相関特徴量の合計又は平均を、画素特徴量として抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる、という効果が得られる。

本発明の第１の実施の形態に係る対象物識別装置の構成を示す概略図である。 量子化された勾配方向を示す図である。 注目画素に対する局所周辺領域を示すイメージ図である。 注目画素に対する局所周辺領域を小領域に分割する様子を示すイメージ図である。 局所周辺領域内の画素のうちの相関を計算する画素を示す図である。 局所周辺領域内の画素のうちの相関を計算する画素を示す図である。 小領域の各々における、注目画素との相関を計算する画素を示す図である。 撮像画像を分割領域に分割する様子を示すイメージ図である。 本発明の第１の実施の形態に係る対象物識別装置のコンピュータにおける識別処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態において、注目画素に対する局所周辺領域を小領域に分割する様子を示すイメージ図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る対象物識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる撮像画像が歩行者を撮像した画像であるか否かを識別するコンピュータ１４と、コンピュータ１４の識別結果を表示する表示装置１６とを備えている。

撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２から撮像された画像を取得する画像取得部２０と、画像取得部２０により取得した撮像画像の各画素について、特徴量として輝度の勾配を算出する特徴量算出部２２と、各画素について、局所周辺領域を設定すると共に、各画素に対する局所周辺領域を小領域に各々分割する領域分割部２４と、各画素について、局所周辺領域の小領域毎に算出した勾配相関行列を画素特徴ベクトルとして抽出する画素特徴量抽出部２６と、撮像画像を分割した分割領域毎に、小領域毎の画素特徴ベクトルを足し合わせて、画像特徴ベクトルを抽出する画像特徴量抽出部２８と、歩行者を撮像した学習画像に基づいて予め生成された学習モデルとしてのＳＶＭ（サポートベクターマシン）モデルを記憶した学習モデル記憶部３０と、抽出された画像特徴ベクトルと、学習モデルとに基づいて、ＳＶＭ識別器により、識別対象画像が歩行者を撮像した画像であるか否かを識別する識別部３２とを備えている。

特徴量算出部２２は、画像取得部２０により取得した撮像画像の各画素について、輝度の勾配を算出する。輝度の勾配は、大きさと方向とで表わされ、本発明の特徴量の一例である。画像座標(ｘ，ｙ)での勾配の大きさｍ（ｘ，ｙ）と方向θ（ｘ，ｙ）は、以下の（１）式、（２）式に示すように計算される。

なお、Ｉ_ｘ(ｘ，ｙ)は水平方向の微分であり、Ｉ_ｙ(ｘ，ｙ)は垂直方向の微分を表す。

また、勾配の方向は、あらかじめ設定した方向数で量子化されている。たとえば、図２に示すように、均等な角度に分けた量子化方向により勾配方向を量子化したベクトルで方向が表わされる。このとき、勾配方向の量子化方向の近さに応じて要素の値を設定する方法を用いる。上記図２の場合、勾配方向は量子化方向のうち方向２と方向３の間にあり、その角度の比はｔ：１−ｔなので、その角度に応じた線形補間として、勾配方向を、ベクトル［０，１−ｔ，ｔ，０，０，０，０，０］で表す。また、勾配方向に最も近い量子化方向に対応する要素のみを１として他の要素を０としたベクトルで表す方法を用いてもよい。上記図２の例では、勾配方向は量子化方向のうち方向２に最も近いので、勾配方向は、ベクトル［０，１，０，０，０，０，０，０］と表される。

領域分割部２４は、各画素について、図３（Ａ）、（Ｂ）に示すように、注目画素に対する局所周辺領域を設定する。局所周辺領域として、注目画素を中心とした矩形領域または円形領域などを用いる。局所周辺領域の大きさ、形状は他のものでもよい。なお、以下では、局所周辺領域として円形領域を用いた場合を例に説明する。

また、領域分割部２４は、局所周辺領域を複数の小領域に分割する。例えば、図４に示すように、注目画素に対する方向に応じて、放射状に分割する。

画素特徴量抽出部２６は、まず、各画素において、注目画素に対する局所周辺領域内の画素と注目画素との勾配の相関を算出する。本実施の形態では、各注目画素において、注目画素に対する局所周辺領域内の画素と勾配の相関をとるとき、図５（Ａ）、（Ｂ）で示すような、注目画素より下の行の画素か、あるいは同じ行の右側にある画素とのみ、勾配の相関を計算する。これは、たとえば注日画素より１つ左の画素との相関は、１つ左の画素を注目画素としたときの１つ右の画素との相関と同じになり重複するため、そのような重複を除くためである。

２つの画素の勾配の相関は以下のようにして計算する。２画素の勾配の大きさがｍ_ａ，ｍ_ｂ、２画素の勾配の方向を量子化したベクトルがＯ_ａ＝[Ｏ_ａ１，Ｏ_ａ２，…，Ｏ_ａｎ]^Ｔ、Ｏ_ｂ＝[Ｏ_ｂ１，Ｏ_ｂ２，…，Ｏ_ｂｎ]^Ｔ （ｎは量子化方向数）とすると、２画素の勾配の相関（勾配相関行列）は、以下の（３）式に従って計算される。

ただし、Ｃ_ａｂは、２画素の勾配の相関を表わすｎ×ｎ行列（勾配相関行列）であり、量子化した勾配方向の組み合わせの各々の共起性を表わす行列である。勾配相関行列は、本発明の相関特徴量の一例である。また、ｗ(ｍ_a，ｍ_ｂ)は２つの画素の勾配の大きさから計算される相関の重みであり、以下の（４）式又は（５）式で表される

図６に示すような局所周辺領域の場合、注目画素と相関を計算する画素は１８画素あるので、画素（ｘ，ｙ）において、１８通りの位置関係の画素との相関Ｃ_１（ｘ，ｙ），Ｃ_２（ｘ，ｙ），…，Ｃ_１８（ｘ，ｙ）を計算する。例えば、Ｃ_１（ｘ，ｙ）は、画素（ｘ，ｙ）と、上記図６に示す位置関係１(ひとつ右)の画素（ｘ＋１，ｙ）との相関を表わすｎ×ｎ行列である。

以上のようにして、すべての注目画素において、すべての位置関係の画素との勾配相関行列を計算する。

次に、画素特徴量抽出部２６は、各注目画素で計算した局所周辺領域内の画素との勾配相関行列を、局所周辺領域を分割した小領域ごとに足し合わせて、注目画素の特徴量として、小領域毎の勾配相関のヒストグラムを示す行列（勾配相関行列の合計）を表わす画素特徴ベクトルを生成する。小領域がＲ₁，…，Ｒ_ｍであるとき、以下の（６）式に従って、小領域Ｒ_ｋの勾配相関行列の合計を計算する。

上記（６）式のように、小領域Ｒ_ｋの勾配相関行列の合計Ｃ_Ｒｋ（ｘ、ｙ）は、量子化した勾配方向の組み合わせの各々の共起性のヒストグラムを表わす行列である。

図７に示すように、局所周辺領域が小領域に分割されている場合、勾配の相関の計算処理により各画素において勾配相関行列Ｃ_１（ｘ，ｙ），Ｃ_２（ｘ，ｙ），…，Ｃ_１８（ｘ，ｙ）が得られているので、小領域Ｒ₁，Ｒ_２，Ｒ_３毎に、小領域Ｒ₁，Ｒ_２，Ｒ_３それぞれに含まれる局所周辺領域内の画素に対する勾配相関行列を足し合わせる。例えば、小領域Ｒ₁について足し合わせた、勾配相関行列の合計を、以下の（７）式に従って計算する。

上記（７）式のように計算された小領域毎の勾配相関行列の合計が、注目画素の画素特徴ベクトルとして抽出される。

このように、小領域ごとに勾配相関行列を足し合わせて、画素特徴ベクトルを生成するため、小領域内でのずれは、画素特徴ベクトルに影響しない。また、放射状に分割して小領域を設定することにより、微少な回転が起こっても、画素のずれは小領域内にとどまるため画素特徴ベクトルは変化せず、微少な回転ずれに頑健な特徴となる。

なお、局所周辺領域の画素はどれか１つの領域にのみ含まれるとせず、その位置に応じて線形補間による重み付けをして足し合わせてもよい。たとえば、図７の画素１４であれば、小領域Ｒ_１とＲ_２の両方の勾配相関行列の合計の計算において、線形補間による重み付けをして加算されるようにしてもよい。

画像特徴量抽出部２８は、図８に示すように、撮像画像全体を複数の領域に分割し、分割領域内に含まれる画素の画素特徴ベクトル（小領域毎の勾配相関行列の合計）を足し合わせる。このとき、計算された画素特徴ベクトルの合計（勾配相関行列の合計の合計）を示す行列の各値を正規化してもよい。例えば、すべての要素の値の２乗和が１になるように正規化する。あるいは、すべての要素の値の絶対値和が１になるように正規化する。

画像特徴量抽出部２８は、最終的に、撮像画像の分割領域ごとに、小領域の数だけの勾配相関行列の合計（画素特徴ベクトルと同等の行列）が得られるので、すべての分割領域の各々について、すべての小領域の勾配相関行列の値を並べたものを、入力された撮像画像の画像特徴ベクトルとして抽出する。

勾配の方向の量子化数がｎ、局所周辺領域を分割した小領域数がｍ、画像全体がｂ_ｘ×ｂ_ｙ個の領域に分割されたとすると、最終的な画像特徴ベクトルの次元数は（ｎ×ｎ×ｍ×ｂ_ｘ×ｂ_ｙ)となる。

学習モデル記憶部３０では、以下のような学習処理によって予め求められた学習モデルを記憶している。

まず、歩行者を撮像した複数の歩行者画像と、歩行者以外を撮像した複数の非歩行者画像とを予め用意し、複数の歩行者画像と複数の非歩行者画像との各々について、上述したように画像特徴ベクトルを抽出する。

そして、各画像について求められた画像特徴ベクトルを訓練データとし、各画像が歩行者画像及び非歩行者画像の何れであるかに応じて付与される教師ラベルを用いて、学習処理を行い、ＳＶＭモデルを学習モデルとして求め、学習モデル記憶部３０に記憶する。

識別部３２は、学習モデル記憶部３０に記憶された学習モデルと、画像特徴量抽出部２８により算出された画像特徴ベクトルとに基づいて、従来既知のＳＶＭ識別器を用いて、識別対象画像が歩行者を撮像した画像であるか否かを識別し、識別結果を、表示装置１６に表示させる。

次に、本実施の形態に係る対象物識別装置１０の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像と、歩行者以外を撮像することにより得られた非歩行者画像とに基づいて、学習処理を行い、得られたＳＶＭモデルを、学習モデル記憶部３０に記憶する。

そして、対象物識別装置１０を搭載した車両の走行中に、撮像装置１２によって車両の前方の所定領域が撮像されると、コンピュータ１４において、図９に示す識別処理ルーチンが実行される。

まず、ステップ１００において、撮像装置１２から撮像画像を取得し、ステップ１０２において、上記ステップ１００で取得した撮像画像の各画素について、特徴量として、輝度の勾配を算出する。そして、ステップ１０４において、各画素について、注目画素の周辺に局所周辺領域を設定すると共に、局所周辺領域を、複数の小領域に分割する。

次のステップ１０６では、各画素について、注目画素と、注目画素に対する局所周辺領域内の各画素との勾配相関行列を算出する。そして、ステップ１０８において、各画素について、上記ステップ１０４で分割した、注目画素に対する局所周辺領域の小領域毎に、勾配相関行列を加算して、小領域毎に求められた勾配相関行列の合計を、画素特徴ベクトルとして算出する。

次のステップ１１０では、上記ステップ１００で取得した撮像画像を、複数の分割領域に分割すると共に、分割領域毎に、当該分割領域内の各画素の画素特徴ベクトル（小領域毎の勾配相関行列の合計）を加算して、分割領域毎に求められた画素特徴ベクトルの合計（小領域毎の勾配相関行列の合計）を、画像特徴ベクトルとして算出する。

そして、ステップ１１２において、上記ステップ１１０で得られた画像特徴ベクトルに基づいて、予め求められた学習モデル及びＳＶＭ識別器を用いて、上記ステップ１００で取得した撮像画像が、歩行者を表わす歩行者画像であるか否かを識別する。そして、ステップ１１４において、上記ステップ１１２における識別結果を表示装置１６に表示して、識別処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る対象物識別装置によれば、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす勾配相関行列を算出し、局所周辺領域を分割した小領域毎に求められる勾配相関行列の合計を、画素特徴ベクトルとして抽出し、撮像画像を分割した分割領域毎に求められる画素特徴ベクトルの合計を、画像特徴ベクトルとして抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。

また、小領域内の各画素について勾配相関行列を足し合わせて、勾配相関のヒストグラムを表わす行列を算出しても、重要な勾配の情報は保持されるため、勾配相関行列の合計を用いた画像特徴量に基づいて、高精度な識別が可能である。

従来より、物体の識別性能を向上させる画像特徴量として、２つの画素間のエッジ方向の共起ヒストグラムを利用する方法があるが、このような従来の手法では、様々な２画素の位置関係ごとに共起ヒストグラムを生成するため、特徴量の次元数が増大し、処理量の増大につながることや、微少な位置ずれや回転に対する不変性が弱くなる、という問題がある。また、局所領域に限定した２画素の位置関係だけの共起ヒストグラムでは識別性能を十分に向上させることができない。一方、本実施の形態では、様々な画素間の位置関係を、複数の小領域に応じた複数のグループに分け、グループごとに、共起ヒストグラムに相当する勾配相関行列の合計を算出して、特徴量とすることで、特徴量の次元数を増大させることなく、識別性能を向上させることができる。また、画像から人などの複雑な形状の物体を、処理量を増大させることなく高精度に識別することができる。

また、局所領域に限定して共起ヒストグラムを生成する従来技術に比べて、局所領域の大きさを広げて共起ヒストグラムを生成するため、画像から、より詳細な形状の特徴を抽出することができる。

また、局所周辺領域内の多数の画素間の位置関係を用いるが、局所周辺領域を小領域に分割し、小領域ごとにまとめて、共起ヒストグラムに相当する勾配相関行列の合計を算出するため、微少な位置ずれや回転に対して頑健になると共に、次元数の増大も防ぐことができる。

また、区分された小領域の各画素と注目画素のペアを用いて、共起ヒストグラムに相当する勾配相関行列の合計を算出し、画素特徴ベクトルを生成しているため、領域内に複数の勾配方向が存在していてもそれを特徴として記述することができる。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る対象物識別装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第２の実施の形態では、注目画像からの距離及び注目画素に対する方向に応じて、局所周辺領域を分割している点が、第１の実施の形態と異なっている。

第２の実施の形態では、領域分割部２４によって、図１０に示すように、注目画像からの距離及び注目画素に対する方向に応じて、注目画素に対する局所周辺領域を、分割する。例えば、注目画素からの距離が長いほど、注目画素に対する方向に応じた分割数が多くなるように局所周辺領域を分割する。

上記図１０に示すように、注目画素に対する方向だけでなく、注日画素からの距離によっても分割を行い、距離が近い範囲では方向による分割数を小さく、距離が遠い範囲では方向による分割数を大きく設定することにより、回転に対する頑健性を保持したまま、位置関係に対する情報量を増やすことができる。

なお、第２の実施の形態に係る対象物識別装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る対象物識別装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第３の実施の形態では、画素毎の画素特徴ベクトルを、画像特徴量として用いて、識別処理を行っている点が、第１の実施の形態と異なっている。

第３の実施の形態に係る対象物識別装置のコンピュータ１４は、画像取得部２０と、特徴量算出部２２と、領域分割部２４と、画素特徴量抽出部２６と、学習モデル記憶部３０と、識別部３２とを備えている。

学習モデル記憶部３０は、以下のような学習処理によって予め求められた学習モデルを記憶している。

まず、歩行者を撮像した複数の歩行者画像と、歩行者以外を撮像した複数の非歩行者画像とを予め用意し、複数の歩行者画像と複数の非歩行者画像との各々について、画素毎の画素特徴ベクトルを抽出する。

そして、各画像について求められた画素毎の画素特徴ベクトルを訓練データとし、各画像が歩行者画像及び非歩行者画像の何れであるかに応じて付与される教師ラベルを用いて、学習処理を行い、ＳＶＭモデルを学習モデルとして求め、学習モデル記憶部３０に記憶する。

識別部３２は、学習モデル記憶部３０に記憶された学習モデルと、画素特徴量抽出部２６により算出された画素毎の画素特徴ベクトルとに基づいて、従来既知のＳＶＭ識別器を用いて、識別対象画像が歩行者を撮像した画像であるか否かを識別し、識別結果を、表示装置１６に表示させる。

なお、第３の実施の形態に係る対象物識別装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす勾配相関行列を算出し、局所周辺領域を分割した小領域毎に求められる勾配相関行列の合計を、画素特徴ベクトルとして抽出し、各画素の画素特徴ベクトルを、画像の特徴量とすることにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る対象物識別装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第４の実施の形態では、撮像画素の各画素から、輝度情報を抽出して、注目画素の輝度情報と、局所周辺領域の各画素の輝度情報とから、小領域毎の輝度の相関値を表わす画素特徴ベクトルを生成している点が、第１の実施の形態と異なっている。

第４の実施の形態に係る対象物識別装置では、特徴量算出部２２は、画像取得部２０により取得した撮像画像の各画素について、輝度情報を算出する。輝度情報は、輝度値を示す。

画素特徴量抽出部２６は、まず、各画素において、注目画素の局所周辺領域内の画素と注目画素との輝度情報の相関値（例えば、輝度値の乗算値）を算出する。

上記図６に示すような局所周辺領域の場合、注目画素と相関を計算する画素は１８画素あるので、画素（ｘ，ｙ）において、１８通りの位置関係の画素との相関値を計算する。

以上のようにして、すべての注目画素において、すべての位置関係の画素との相関値を計算する。

次に、画素特徴量抽出部２６は、各画素で計算した局所周辺領域内の画素との相関値を、局所周辺領域を分割した小領域ごとに足し合わせて、画素の特徴量として、小領域毎の相関値の合計値を示す画素特徴ベクトルを生成する。

画像特徴量抽出部２８は、撮像画像全体を複数の領域に分割し、分割領域内に含まれる画素の画素特徴ベクトル（小領域毎の相関値の合計値）を足し合わせて、画像の特徴量として、小領域毎の相関値の合計値（相関値の合計値の合計値）を示す画像特徴ベクトルを生成する。画像特徴量抽出部２８は、最終的に、撮像画像の分割領域ごとに、小領域の数だけの相関値の合計値を示すベクトル（画素特徴ベクトルと同等のベクトル）が得られるので、すべての分割領域の各々について、すべての小領域の相関値の合計値を並べたものを、入力された撮像画像の画像特徴ベクトルとして抽出する。

なお、第４の実施の形態に係る対象物識別装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、注目画素周辺の局所周辺領域内の各画素の特徴量との相関を表わす相関値を算出し、局所周辺領域を分割した小領域毎に求められる相関値の合計を、画素特徴ベクトルとして抽出し、撮像画像を分割した分割領域毎に求められる画素特徴ベクトルの合計を、画像特徴ベクトルとして抽出することにより、特徴量の次元数の増大を抑制すると共に、対象物の識別または検出の性能を向上させ、かつ、微小な位置ずれや回転に対して頑健な特徴量を抽出することができる。

なお、上記の第１の実施の形態〜第４の実施の形態では、局所周辺領域の小領域毎に、勾配相関行列を合計して、画素特徴ベクトルを生成する場合を例に説明したが、これに限定されるものではなく、局所周辺領域の小領域毎に、勾配相関行列を平均して、画素特徴ベクトルを生成してもよい。

また、分割領域毎に、画素特徴ベクトルを足し合わせて、画像特徴ベクトルを生成する場合を例に説明したが、これに限定されるものではなく、分割領域毎に、画素特徴ベクトルを平均して、画像特徴ベクトルを生成してもよい。

また、ＳＶＭ識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いて、画像の識別処理を行うようにしてもよい。

また、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に、本発明を適用した場合を例に説明したが、これに限定されるものではなく、撮像画像から、検出対象物としての歩行者を表わす領域を検出する対象物検出装置に、本発明を適用してもよい。例えば、撮像画像内の対象領域（例えば、探索範囲により切り出された領域）について生成された画像特徴ベクトルと、歩行者を表わす領域について予め求められた画像特徴ベクトルとを比較することにより、撮像画像から、歩行者を表わす領域を検出するようにしてもよい。

また、撮像装置から撮像画像を取得し、識別対象の画像とした場合を例に説明したが、これに限定されるものではなく、ハードディスク装置から画像データを読み込み、読み込んだ画像データを、識別対象の画像としてもよい。

また、分割した小領域や分割領域について、隣接する領域間で重なりがないように分割した場合を例に説明したが、これに限定されるものではなく、隣接する領域間で重なりがある分割方式によって、小領域や分割領域に分割するようにしてもよい。また、均等でない分割方式によって、分割領域に分割するようにしてもよい。

また、撮像画像から抽出される特徴量が、輝度の勾配又は輝度情報である場合を例に説明したが、これに限定されるものではなく、他の種類の特徴量を、各画素について抽出するようにしてもよい。

また、識別対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を識別対象物としてもよい。

なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。

１０ 対象物識別装置
１２ 撮像装置
１４ コンピュータ
１６ 表示装置
２２ 特徴量算出部
２４ 領域分割部
２６ 画素特徴量抽出部
２８ 画像特徴量抽出部
３２ 識別部

Claims (8)

1. 処理対象の画像の各画素について、特徴量を算出する特徴量算出手段と、
   各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段と、
   各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段と、
   を含む画像特徴抽出装置。
2. 前記相関算出手段は、該画素と、該画素の周辺の前記所定領域内の画素との間における、量子化した前記特徴量の組み合わせの各々の共起性を表わす行列を、前記相関特徴量として算出し、
   前記画素特徴量抽出手段は、前記複数の小領域の各々に対して、量子化した前記特徴量の組み合わせの各々の共起性のヒストグラムを表わす行列を、該画素の画素特徴量として抽出する請求項１記載の画像特徴抽出装置。
3. 前記特徴量算出手段は、前記処理対象の画像の各画素について、輝度の勾配を前記特徴量として算出する請求項１又は２記載の画像特徴抽出装置。
4. 前記処理対象の画像を分割した複数の分割領域の各々について、該分割領域内の各画素の前記画素特徴量の合計又は平均を算出して、前記複数の分割領域の各々に対する前記画素特徴量の合計又は平均を、前記画像特徴量として抽出する画像特徴量抽出手段を更に含む請求項１〜請求項３の何れか１項記載の画像特徴抽出装置。
5. 前記小領域を、該画素からの距離及び該画素に対する方向に応じて前記所定領域を分割し、かつ、該画素からの距離が長いほど、該画素に対する方向に応じた分割数が多くなるように前記所定領域を分割したものとした請求項１〜請求項４の何れか１項記載の画像特徴抽出装置。
6. 前記小領域を、該画素に対する方向に応じて前記所定領域を分割したものとした請求項１〜請求項４の何れか１項記載の画像特徴抽出装置。
7. 請求項１〜請求項６の何れか１項記載の画像特徴抽出装置と、
   前記画像特徴抽出装置によって抽出された各画素の前記画素特徴量又は前記画像特徴量に基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段と、
   を含む画像処理装置。
8. コンピュータを、
   処理対象の画像の各画素について、特徴量を算出する特徴量算出手段、
   各画素について、該画素の周辺の所定領域内の各画素の特徴量との相関を表わす相関特徴量を各々算出する相関算出手段、及び
   各画素について、該画素の周辺の所定領域を分割した複数の小領域の各々で、該小領域内の各画素の前記相関特徴量の合計又は平均を算出して、複数の小領域の各々に対する前記相関特徴量の合計又は平均を、該画素の画素特徴量として抽出する画素特徴量抽出手段
   として機能させるためのプログラム。

Images