JPWO2018143277A1 - 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム - Google Patents

Abstract

より頑強な画像認識方式を提供する。画像処理装置８は、画像認識の対象となる画像を高解像度画像１１、中解像度画像１２、及び低解像度画像１３に変換する。画像処理装置８は、高解像度画像１１の注目画素５を設定し、オフセット画素１ａ〜１ｄとの勾配方向の共起、中解像度画像１２で画素２ａ〜２ｄとの勾配方向の共起、低解像度画像１３で画素３ａ〜３ｄとの勾配方向の共起を共起行列１５に投票する。画像処理装置８は、このような共起行列１５を画素の組合せごと、及び解像度ごとに作成する。画像処理装置８は、高解像度画像１１の各々の画素に対して上記の処理を行い、その結果完成した複数の共起行列１５の要素を一列に並べた共起ヒストグラムを作成する。更に、画像処理装置８は、共起ヒストグラムを正規化して、これによる度数を成分とするベクトル量を当該画像の特徴量として抽出する。

Description

本発明は、画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラムに関し、例えば、画像から認識対象の特徴量を取得するものに関する。

画像認識技術で画像から画像特徴量として輝度の勾配方向の分布を抽出し、これを予め学習した画像の輝度の勾配方向の分布と比較することにより対象を認識するものがある。
輝度の勾配方向の分布による画像特徴量としては、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量が有名である。

図１０は、ＨＯＧ特徴量の概念を説明するための図である。
ＨＯＧ特徴量は、次の手順により画像から抽出される。
図１０（ａ）左図に示した画像１０１は、対象を観測する観測窓などによって抽出された観測領域とする。
まず、画像１０１を矩形のセル１０２ａ、１０２ｂ、・・・に分割する。
次に、図１０（ａ）右図に示したように、セル１０２ごとに各画素（ピクセル）の輝度の勾配方向（低輝度から高輝度に向かう方向）を例えば８方向に量子化する。なお、この量子化を上述した矩形のセルに分割する前に行ってもよい。

次に、図１０（ｂ）に示したように、量子化した輝度の勾配方向をビン（階級）とし、出現回数を度数とするヒストグラムを生成することにより、セル１０２に含まれる輝度の勾配方向のヒストグラム１０６をセル１０２ごとに作成する。
そして、セル１０２をいくつか集めたブロック単位でヒストグラム１０６の合計度数が１となるように正規化する。

図１０（ａ）左図の例では、セル１０２ａ、１０２ｂ、１０２ｃ、１０２ｄから１ブロックが形成されている。
このようにして正規化したヒストグラム１０６ａ、１０６ｂ、・・・を図１０（ｃ）のように一列に並べたヒストグラムが画像１０１のＨＯＧ特徴量１０７である。

ＨＯＧ特徴量を用いた画像認識装置では、基準となる画像のＨＯＧ特徴量と、認識対象となる画像のＨＯＧ特徴量を比較することにより、両者の類否を判定して画像認識を行っている。
このようなＨＯＧ特徴量を用いた技術として、特許文献１の「人物検出装置」がある。この技術は、監視カメラに写った人物をＨＯＧ特徴量により検出するものである。
しかし、例えば、車載カメラで歩行中の人物を認識して追跡する場合など、より頑強な画像認識方式が求められていた。

特開２０１５−１８４９４４号公報

本発明は、より頑強な画像認識方式を提供することを目的とする。

（１）請求項１に記載の発明では、画像を入力する画像入力手段と、前記入力した画像の解像度を変換する解像度変換手段と、前記入力した画像と前記解像度を変換した画像に含まれる画素の、輝度の勾配方向を取得する勾配方向取得手段と、前記入力した画像と前記解像度を変換した画像に含まれる画素から２つの画素の組合せを取得する画素組合せ取得手段と、前記取得した各画素の輝度の勾配方向を使用して、前記取得した組合せに係る２つの画素に対する、前記勾配方向取得手段で取得した輝度の勾配方向の共起を取得する共起取得手段と、前記画素組合せ取得手段で取得する画素の組合せを変化させながら、前記共起取得手段で取得した共起の出現頻度の分布を取得する出現頻度取得手段と、前記取得した輝度の勾配方向に対する出現頻度の分布を含まない、前記出現頻度取得手段で取得した共起の出現頻度の分布を前記画像の特徴量として出力する出力手段と、を備えたことを特徴とする画像特徴量出力装置を提供する。
（２）請求項２に記載の発明では、画像を入力する画像入力手段と、前記入力した画像の解像度を変換する解像度変換手段と、前記入力した画像と前記解像度を変換した画像に含まれる画素から２つの画素の組合せを取得する画素組合せ取得手段と、前記取得した組合せに係る２つの画素の輝度の勾配方向の共起を取得する共起取得手段と、前記取得する画素の組合せを変化させながら、前記取得する共起の出現頻度の分布を取得する出現頻度取得手段と、前記取得した共起の出現頻度の分布を前記画像の特徴量として出力する出力手段と、を備えたことを特徴とする画像特徴量出力装置を提供する。
（３）請求項３に記載の発明では、前記画素組合せ取得手段は、少なくとも、前記画像の全体に渡って隣接する画素の組合せを取得することを特徴とする請求項１、又は請求項２に記載の画像特徴量出力装置を提供する。
（４）請求項４に記載の発明では、前記画素組合せ取得手段は、異なる解像度の画素の組合せを取得することを特徴とする請求項１、請求項２、又は請求項３に記載の画像特徴量出力装置を提供する。
（５）請求項５に記載の発明では、前記画素組合せ取得手段は、解像度ごとに同一の解像度の画素の組合せを取得することを特徴とする請求項１、請求項２、又は請求項３に記載の画像特徴量出力装置を提供する。
（６）請求項６に記載の発明では、認識対象の特徴量を輝度の勾配方向の共起の出現頻度の分布で表した基準特徴量を取得する基準特徴量取得手段と、判断対象となる対象画像を取得する対象画像取得手段と、前記取得した対象画像を請求項１、又は請求項２に記載の画像特徴量出力装置の画像入力手段に入力して当該対象画像の特徴量を取得する対象画像特徴量取得手段と、前記取得した基準特徴量と、前記取得した対象画像の特徴量を比較することにより前記対象画像が認識対象の画像を含んでいるか否かを判断する判断手段と、前記判断の結果を出力する結果出力手段と、を具備したことを特徴とする画像認識装置を提供する。
（７）請求項７に記載の発明では、画像を入力する画像入力機能と、前記入力した画像の解像度を変換する解像度変換機能と、前記入力した画像と前記解像度を変換した画像に含まれる画素の、輝度の勾配方向を取得する勾配方向取得機能と、前記入力した画像と前記解像度を変換した画像に含まれる画素から２つの画素の組合せを取得する画素組合せ取得機能と、前記取得した各画素の輝度の勾配方向を使用して、前記取得した組合せに係る２つの画素に対する、前記勾配方向取得機能で取得した輝度の勾配方向の共起を取得する共起取得機能と、前記画素組合せ取得機能で取得する画素の組合せを変化させながら、前記共起取得機能で取得した共起の出現頻度の分布を取得する出現頻度取得機能と、前記取得した輝度の勾配方向に対する出現頻度の分布を含まない、前記出現頻度取得機能で取得した共起の出現頻度の分布を前記画像の特徴量として出力する出力機能と、をコンピュータに実現させることを特徴とする画像特徴量出力プログラムを提供する。
（８）請求項８に記載の発明では、認識対象の特徴量を輝度の勾配方向の共起の出現頻度の分布で表した基準特徴量を取得する基準特徴量取得機能と、判断対象となる対象画像を取得する対象画像取得機能と、前記取得した対象画像を、請求項１、又は請求項２に記載の画像特徴量出力装置の画像入力手段、又は請求項７に記載の画像特徴量出力プログラムの画像入力機能、に入力して当該対象画像の特徴量を取得する対象画像特徴量取得機能と、前記取得した基準特徴量と、前記取得した対象画像の特徴量を比較することにより前記対象画像が認識対象の画像を含んでいるか否かを判断する判断機能と、前記判断の結果を出力する結果出力機能と、をコンピュータで実現する画像認識プログラムを提供する。

本発明によれば、輝度の勾配方向の共起によって特徴量を取得することにより、より頑強な画像認識方式を提供することができる。

実施形態に係る画像処理を説明するための図である。 画像処理装置が行う画像認識処理について説明するための図である。 画像処理装置のハードウェア的な構成の一例を示した図である。 共起特徴量を用いた画像認識能力を検証した実験データを示した図である。 特徴量抽出処理の手順を説明するためのフローチャートである。 画像認識処理の手順を説明するためのフローチャートである。 第１の変形例について説明するための図である。 第２の変形例について説明するための図である。 第３の変形例を説明するための図である。 従来例を説明するための図である。

（１）実施形態の概要
本実施形態の画像処理装置８（図１）では、注目画素５とその周辺画素との輝度の勾配方向の共起関係に基づいて共起行列１５を作成し、これを認識対象画像の特徴量とするものである。この特徴量は、各注目画素５が本来備えている特徴（輝度の勾配方向）の情報を、その注目画素５に隣接する画素１ａ〜１ｄとの共起関係の中に含めたものとして使用している。

具体的には、画像処理装置８は、画像認識の対象となる画像を高解像度画像１１、中解像度画像１２、及び低解像度画像１３に変換する。高解像度画像１１に関しては元の画像を変換せずにそのまま用いることも可能である。
画像処理装置８は、高解像度画像１１の注目画素５を設定し、高解像度画像１１内で注目画素５に隣接する画素１ａ〜１ｄとの（輝度の）勾配方向の共起、注目画素５と、中解像度画像１２でその周囲にある画素２ａ〜２ｄとの勾配方向の共起、及び注目画素５と、更に低解像度画像１３でその周囲にある画素３ａ〜３ｄとの勾配方向の共起を共起行列１５に投票（カウント）する。
画像処理装置８は、このような共起行列１５を画素の組合せごと、及び解像度ごとに作成する。

画像処理装置８は、高解像度画像１１の各々の画素に対して上記の処理を行い、その結果完成した複数の共起行列１５の要素を一列に並べた共起ヒストグラムを作成する。
更に、画像処理装置８は、共起ヒストグラムを正規化して、これによる度数を成分とするベクトル量を当該画像の特徴量として抽出する。

画像処理装置８は、画像処理により認識対象（例えば、歩行者）の様々な画像の多数を上記方法にて学習し、認識対象の基準となる基準特徴量を抽出する。
そして、画像処理装置８は、画像認識の対象となる画像に対して上記処理にて特徴量を抽出し、これと基準特徴量との類似により、当該画像に認識対象が写っているか否かを判断する。
以上のように、画像処理装置８は、輝度の勾配方向の共起によって、画素同士の勾配方向の組合せを特徴量とするため、単独の画素の勾配方向の分布を特徴量とするＨＯＧ特徴量よりも頑強に対象を認識することができる。

（２）実施形態の詳細
図１は、本実施形態に係る画像処理を説明するための図である。
本実施形態の画像処理装置８は、画像から特徴量を抽出する画像特徴量出力装置としての機能と、これを用いて画像認識処理を行う画像認識装置としての機能を併せ持っている装置であって、同じ画像の異なる解像度間に渡る共起をみることにより画像から特徴量を抽出する。

図１（ａ）に示したように、画像処理装置８は、画像処理の対象となる元画像２の入力を受け付け、これを複数の同じ矩形形状のブロック領域３Ａ、３Ｂ、・・・に区分する。
このように画像処理装置８は、画像を入力する画像入力手段を備えている。
図では、図示しやすいように４×４に区分しているが、標準的な値は、例えば、４×８である。
なお、ブロック領域３Ａ、３Ｂ、・・・を特に区別しない場合は、単にブロック領域３と記す。

画像処理装置８は、元画像２をブロック領域３に区分すると共に、元画像２の解像度を変換し、図１（ｂ）に示したように解像度（画像サイズ）の異なる高解像度画像１１、中解像度画像１２、低解像度画像１３を生成する。元画像２の解像度が適当な場合は、元画像２をそのまま高解像度画像１１として使用する。
このように、画像処理装置８は、画像の解像度を変換する解像度変換手段を備えている。
図では、ブロック領域３Ａの部分の高解像度画像１１、中解像度画像１２、低解像度画像１３を示しており、升目は画素の例を表している。

そして、画像処理装置８は、高解像度画像１１、中解像度画像１２、低解像度画像１３のそれぞれの画素について４５度ごとの８方向に量子化した輝度の勾配方向（低輝度から高輝度に向かう方向）を計算する。
なお、以下では、輝度の勾配方向を単に勾配方向と記す。また、８方向に量子化するのは一例であって、量子化の方向数は他の数ｍ（例えば、ｍ＝１６、３２等）であってもよい。

画像処理装置８は、このようにして勾配方向を算出すると、基準とする画素（以下、注目画素という）と、これから離れた位置にある画素（以下、オフセット画素という）の勾配方向の共起を次のようにして取得する。

まず、画像処理装置８は、図１（ｃ）に示したように、高解像度画像１１に注目画素５を設定し、高解像度画像１１で注目画素５からオフセット距離１（即ち、高解像度において隣接する）にあるオフセット画素１ａ〜１ｄに着目する。
なお、画素ｎ個分の距離をオフセット距離ｎと呼ぶことにする。

そして、画像処理装置８は、注目画素５とオフセット画素１ａ〜オフセット画素３ｄとの各勾配方向の共起（勾配方向の組合せ）を取得し、図１（ｄ）に示す共起行列１５に投票する。
図１（ｄ）は、共起行列について概念的に表したものである。図１（ｄ）に示すように、共起行列１５は、注目画素５とオフセット画像１ａに対する共起行列１５（１ａ）〜注目画素５とオフセット画素３ｄに対する共起行列１５（３ｄ）、からなる１２の共起行列１５で構成されている。
なお、図１（ｄ）に示した１２の共起行列１５（１ａ）〜１５（３ｄ）は、図１（ａ）で区分したブロック領域３Ａ、３Ｂ、・・・毎に作成される。
以下、複数の共起行列全体をさす場合には共起行列を１５という。

例えば、図１（ｃ）において、注目画素５とオフセット画素１ａの共起関係についてみると、注目画素５の勾配方向は右向きで、オフセット画素１ａの勾配方向は左向きである。このため、画像処理装置８は、オフセット画素１ａ用の共起行列１５（１ａ）に対し、勾配方向が右向きの列と、勾配方向が左向きの行が交差する要素に１票を投じる。

そして、画像処理装置８は、高解像度画像１１内で、注目画素５を順次移動しながら、注目画素５とオフセット画素１ａとの共起を取って共起行列１５（１ａ）に投票する。
このように共起行列１５は、画像中にある特定のオフセット（注目画素５からの相対位置）を持つ２つの勾配方向ペアがどのような出現頻度を持つかを表現している。

なお、図１（ｃ）で、図面に向かって注目画素５の右側の画素について共起を観察するのは、まず、注目画素５を図面に向かって左上端の画素から、順次右方向の画素に移動し、右端に達すると、１段下で左端の画素から右方向に移動させるという移動経路を設定しているので、注目画素５の移動に伴って重複する共起の組合せを取得しないようにするためである。

また、注目画素５の移動はブロック領域３Ａ内（同一のブロック領域内）で行うが、オフセット画素の選択は、ブロック領域３Ａを超える場合でも行われる。
元画像２の端部では、勾配方向を算出することができないが、これについては、適当な任意の方法で処理する。

次に、画像処理装置８は、注目画素５とオフセット画素１ｂ（図１（ｃ）参照）との勾配方向の共起を取得して、共起行列１５（１ｂ）に投票（同一勾配方向の共起数をカウントアップ）する。
なお、画像処理装置８は、先に注目画素５とオフセット画素１ａで使用した共起行列１５とは異なる新たな共起行列１５（１ｂ）を用意し、これに投票する。このように、画像処理装置８は、注目画素５とオフセット画素の相対的な位置関係の組合せごとに共起行列１５を生成する。
そして、高解像度画像１１内で注目画素５を順次移動しながら、注目画素５とオフセット画素１ｂとの共起を取って当該共起行列１５（１ｂ）に投票する。

以下同様に画像処理装置８は、注目画素５とオフセット画素１ｃとの組合せ、及び注目画素５とオフセット画素１ｄの組合せについても、それぞれに個別の共起行列１５（１ｃ）、１５（１ｄ）を用意して勾配方向の共起を投票する。

このようにして、画像処理装置８は、注目画素５と、注目画素５からオフセット距離１のオフセット画素１ａ〜１ｄについての４つの共起行列１５を生成すると、次に、高解像度画像１１における注目画素５と、オフセット距離２にある中解像度画像１２のオフセット画素２ａ〜２ｄに着目する。

そして、上記の手法と同じ手法により、注目画素５とオフセット画素２ａの組合せによる共起行列１５（２ａ）、同様にオフセット画素２ｂ、２ｃ、２ｄの組合せによる共起行列１５（２ｂ）、１５（２ｃ）、・・・を作成する。

そして、画像処理装置８は、高解像度画像１１における注目画素５と、オフセット距離３にある低解像度画像１３のオフセット画素３ａ〜３ｄについても同様に、注目画素５とオフセット画素３ａ〜３ｄの相対的な位置関係の組合せごとの共起行列１５（３ａ）、１５（３ｂ）、・・・を生成する。
画像処理装置８は、以上の処理をブロック領域３Ｂ、３Ｃ、・・・に対しても行い、元画像２の特徴を抽出した複数の共起行列１５を生成する。
このように画像処理装置８は、ブロック領域３Ａ、３Ｂ、３Ｃ・・・毎に、複数の共起行列１５（１ａ）〜１５（３ｄ）を生成する。

このように画像処理装置８は、入力した画像と解像度を変換した画像に含まれる画素から２つの画素の組合せを取得する画素組合せ取得手段と、当該組合せに係る２つの画素の輝度の勾配方向の共起を取得する共起取得手段を備えている。
そして、当該画素組合せ取得手段は、少なくとも、画像の全体に渡って隣接する画素の組合せを取得し、当該画素の組合せを変化させながら、勾配方向の共起の出現頻度の分布を取得する出現頻度取得手段を備えている。
更に、画素組合せ取得手段は、解像度を変換した画素を組合せの対象とし、異なる解像度の画素の組合せも取得している。

画像処理装置８は、このようにして元画像２から複数の共起行列１５を生成すると、これらの成分を図１（ｅ）に示したように一列に並べて共起ヒストグラム１８を形成する。
共起ヒストグラム１８は、元画像２の特徴量を勾配方向の共起によって含んでおり、画像処理装置８は、ヒストグラムの度数の合計度数が１となるようにこれを正規化する。

そして、画像処理装置８は、正規化した共起ヒストグラム１８の度数を成分とするベクトル量を元画像２の共起特徴量として出力する。
共起特徴量は、勾配方向の共起の出現頻度を表しており、このように画像処理装置８は、共起の出現頻度の分布を画像の特徴量として出力する出力手段を備えている。

一例として、ブロック数が４×８、中解像度画像１２の解像度が高解像度画像１１の１／２、低解像度画像１３の解像度が高解像度画像１１の１／４とすると、特徴量は、高解像度画像１１内での共起により（８×８×４）×４×８＝８１９２個、高解像度画像１１と中解像度画像１２との共起により（８×８×４）×２×４＝２０４８個、高解像度画像１１と低解像度画像１３との共起により（８×８×４）×１×２＝５１２個で、合計１０７５２個となる。

ここで（８×８×４）は、共起行列１５の要素数である８×８に注目画素５と組合せるオフセット画素数４を乗じたものである。
そして、４×８、２×４、１×２は、それぞれ高解像度画像１１、中解像度画像１２、低解像度画像１３のブロック数である。
このように、出力手段は、勾配方向の共起の分布だけを出力しており、例えば、従来例のＨＯＧ特徴量で規定される画素の輝度の勾配方向の分布による特徴量を含んでいない。

以上の説明は、共起特徴量を抽出する方法の概念を説明するためのものであり、画像処理装置８が、注目画素５の周囲にあるオフセット画素の勾配方向の共起を取得する課程で、これらの解像度の画素を動的に順次生成していくように構成することができる。

この手順は、入力されてくる元画像２の画像データを入力と平行して処理して共起特徴量を出力する専用ハードウェアによって実現するのに適したものである。
そして、画像処理装置８が当該ハードウェアを搭載すると共起特徴量を高速に抽出できるため、例えば、車載カメラから出力される動画フレームの共起特徴量から歩行者をリアルタイムで検出することも可能となる。

図２は、画像処理装置８が行う画像認識処理について説明するための図である。
画像処理装置８は、以上のように元画像２から共起特徴量を抽出する特徴量抽出機能を有しているが、次に、これを用いた画像認識機能について説明する。
まず、画像処理装置８は、認識対象（以下では、一例として歩行者とする）が様々な態様で写っている画像を大量に上記手法にて処理し、歩行者が写った画像の共起特徴量を学習する。この学習した特徴量を基準特徴量と呼ぶことにする。

なお、学習は、例えば、最初の元画像２について投票して完成した共起行列１５、１５、・・・に対して、次の元画像２による共起を重畳して投票する、といったように、投票を重ね合わせていくことにより生成する。

基準特徴量には、画像に写っている歩行者に特有な勾配方向に基づく特徴が含まれており、共起特徴量空間である方向を向いた単位ベクトルとなる。これを基準特徴量ベクトル（基準特徴量）１９とする。
図では、簡単のため、共起特徴量空間を２次元で表しているが、共起ヒストグラム１８のビンがｎ個ある場合は、ｎ次元となる。先に説明した例では、１０７５２次元となる。

画像処理装置８は、このようにして、歩行者の画像を予め学習して基準特徴量を準備した後、画像認識の対象である認識対象画像を取得して、当該認識対象画像から共起特徴量を抽出する。
これも共起特徴量空間での単位ベクトルとなり、これを共起特徴量ベクトル２０、２１、２２とする。
このように画像処理装置８は、認識対象の特徴量を輝度勾配の共起の出現頻度の分布で表した基準特徴量を取得する基準特徴量取得手段を備えている。

学習した画像と認識対象画像が類似している場合、即ち、認識対象画像に歩行者が含まれている場合、共起特徴量ベクトルは、共起特徴量ベクトル２０のように基準特徴量ベクトル１９に近い方向を向く。
一方、認識対象画像に歩行者が含まれていない場合、当該認識対象画像の共起特徴量ベクトルは、共起特徴量ベクトル２１、２２のように、基準特徴量ベクトル１９とは異なる方向を向く。

このため、基準特徴量ベクトル１９と、認識対象画像から抽出した共起特徴量ベクトルの内積によって、学習した画像と認識対象画像との類似度を数値化することができ、両者が類似するほど１に近い値となる。
そして、画像処理装置８は、例えば、この内積が所定の閾値よりも大きい場合に、認識対象画像に歩行者が写っていると判断し、その判断結果を出力する。
このように画像処理装置８は、認識対象画像の特徴量と基準特徴量を比較することにより、学習した画像と認識対象との類似を判断して出力する判断手段を備えている。

図３は、画像処理装置８のハードウェア的な構成の一例を示した図である。
画像処理装置８は、例えば、パーソナルコンピュータによって構成されている。
これは一例であって、共起特徴量抽出用の専用のハードウェアを半導体装置で形成し、これを車載カメラに搭載するように構成することもできる。

画像処理装置８は、ＣＰＵ８１、ＲＯＭ８２、ＲＡＭ８３、記憶装置８５、記憶媒体駆動装置８５、入力部８６、及び出力部８７などがバスラインで接続されて構成されている。
ＣＰＵ８１は、中央処理装置であって、記憶装置８５が記憶する画像認識プログラムに従って動作し、上述した画像からの特徴量抽出処理や、抽出した共起特徴量を用いた画像認識処理などを行う。

ＲＯＭ８２は、読み出し専用のメモリであって、ＣＰＵ８１を動作させるための基本的なプログラムやパラメータを記憶している。
ＲＡＭ８３は、読み書きが可能なメモリであって、ＣＰＵ８１が特徴量抽出処理や画像認識処理を行う際のワーキングメモリを提供する。

記憶装置８４は、ハードディスクなどの大容量の記憶媒体を用いて構成されており、画像認識プログラムや、学習用画像、及び認識対象画像の画像データなどを記憶している。
画像認識プログラムは、ＣＰＵ８１に特徴量抽出処理機能や画像認識処理機能を発揮させるプログラムである。

記憶媒体駆動装置８５は、例えば、半導体記憶装置やハードディスクなどの外付けの記憶媒体を駆動する装置である。
これにより、学習用画像や認識対象画像を読み込むことができる。
入力部８６は、操作担当者からの入力を受け付けるキーボード、マウスなどの入力デバイスを備えており、各種プログラムやデータの読み込みや、操作担当者からの操作を受け付ける。
出力部８７は、操作担当者に各種の情報を提示するディスプレイ、プリンタなどの出力デバイスを備えており、画像認識プログラムの操作画面、及び、特徴量抽出処理や画像認識処理の結果を出力する。

このほかに、画像処理装置８は、通信ネットワークと接続する通信制御部や外部機器と接続するためのインターフェースなどを備えている。
通信ネットワークやインターフェースに接続したカメラから動画を受信し、これに対してリアルタイムで画像認識処理を行うこともできる。

図４は、共起特徴量を用いた画像認識能力を検証した実験データを示した図である。
グラフの縦軸は正検出率を表しており、横軸は誤検出率を表している。
実線で示した曲線３１は、上の方法により取得した複数解像度間（多重解像度間）の共起を含む共起特徴量にＨＯＧ特徴量を加えた特徴量で画像認識を行った場合を示しており、波線で示した曲線３２は、当該共起特徴量だけを用いた特徴量で画像認識を行った場合を示している。

このように、共起特徴量にＨＯＧ特徴量を加えた場合と、共起特徴量だけの場合を比較したのは、複数解像度間の共起を含む共起特徴量だけを用いた画像認識能力がＨＯＧ特徴量だけを用いた画像認識能力よりも著しく良好であったため、更に、共起特徴量にＨＯＧ特徴量を加えることにより更に画像認識能力が向上するかを確認するためである。

その結果、図に示したように、誤検出率が０．２を超えるあたりまで、両者はほとんど同じであり、そのためこの領域では、曲線３１と曲線３２は、重なっている。
正検出率が１．０に近づくにつれて、曲線３２は、曲線３１よりも若干正検出率が小さくなるが、その差は小さく、複数解像度間の共起を含む共起特徴量にＨＯＧ特徴量を加えても画像認識能力はほとんど変わらないことがわかる。
ちなみに、このグラフでは、曲線の下側の面積が大きいほど能力が高いことを示している。

このように、ＨＯＧ特徴量による補強を要さずに、複数解像度間の共起を含む共起特徴量だけを用いて良好な結果が得られる理由は次のように推測される。
即ち、勾配方向の共起ヒストグラムを計算するときに、隣接した画素は輝度値が微少量しか変位しないため、同一の勾配方向が多くある。そのため、局所領域における共起ペアは、注目画素自身のヒストグラムであるＨＯＧ特徴量を内包しており、ＨＯＧ特徴量が冗長な情報となっている。

また、ＨＯＧ特徴量による補強が不要であることに関し、別の観点として次の理由が推測される。
即ち、図１（ｄ）の共起行列１５では、列を注目画素５の勾配方向とし、行をオフセット画素の勾配方向とすることで、注目画素５とオフセット画素との勾配方向を２次元で表している。この共起行列１５における全ての行に対し、各行毎の要素の値を全て加算して１次元で表すと、図１０（ｂ）と同様に、輝度の勾配方向のヒスとグラムを生成することができる。
例えば、共起行列１５において、勾配方向が右方向である列についての要素を全て足すと、勾配方向が右方向の注目画素５の出現回数となる。
このように、本実施形態の共起行列１５には、すでにＨＯＧ特徴量に相当する情報が含まれていることが理由であると推測される。

このようにＨＯＧ特徴量で補強せずに、共起特徴量だけで画像認識ができるため、対象を表現する特徴量を効率的に計算できる上、ＨＯＧ特徴量の計算を行わないことによる処理の高速化、及びハードウェアに実装する場合の回路規模の削減を図ることができる。

図５は、特徴量抽出処理の手順を説明するためのフローチャートである。
以下の処理は、ＣＰＵ８１が画像認識プログラムに従って行うものである。
まず、画像処理装置８は、特徴を抽出する対象となる元画像２の入力を記憶装置８４などから受け付けてＲＡＭ８３に読み込む（ステップ５）。
次に、画像処理装置８は、元画像２をブロック領域３に区分し、当該区分の位置をＲＡＭ８３に記憶する（ステップ１０）。

次に、画像処理装置８は、区分した高解像度画像１１のブロック領域３のうちの１つを選択し（ステップ１５）、これから共起対象の高解像度画像１１の画素、中解像度画像１２の画素、低解像度画像１３の画素を生成してＲＡＭ８３に記憶する（ステップ２０）。
なお、元画像２をそのまま高解像度画像１１として使用する場合は、元画像２の画素を解像度変換せずに高解像度画像１１の画素として使用する。

次に、画像処理装置８は、生成した高解像度画像１１、中解像度画像１２、低解像度画像１３の個々の画素について勾配方向を算出してＲＡＭ８３に記憶する（ステップ２５）。
次に、画像処理装置８は、高解像度画像１１内、高解像度画像１１と中解像度画像１２の間、及び高解像度画像１１と低解像度画像１３の間で勾配方向の共起を取って対応する共起行列１５に投票し、ＲＡＭ８３に記憶する（ステップ３０）。これにより当該ブロック領域３Ａによる共起行列１５、１５、・・・が得られる。

次に、画像処理装置８は、全てのブロック領域３について投票したか否かを判断する（ステップ３５）。
まだ、投票処理を行っていないブロック領域３がある場合（ステップ３５；Ｎ）、画像処理装置８は、ステップ１５に戻って次のブロック領域３を選択し、これについて投票を行う。

一方、全てのブロック領域３について投票した場合（ステップ３５；Ｙ）、画像処理装置８は、ＲＡＭ８３の配列から、全てのブロック領域３のヒストグラムを連結した元画像２の共起ヒストグラム１８を作成する（ステップ４０）。

そして、元画像２は、当該ヒストグラムを正規化し、各々のビンの度数を成分とするベクトル量を元画像２の共起特徴量としてＲＡＭ８３に出力する（ステップ４５）。
以上のようにして画像処理装置８は、元画像２から共起特徴量を抽出することができ、元画像２として学習画像を多数入力して学習すれば、基準特徴量を出力し、認識対象画像を入力すれば、当該認識画像を画像認識するための共起特徴量を出力する。

図６は、画像認識処理の手順を説明するためのフローチャートである。
ここでは、一例として、車載カメラで歩行者を追跡する場合について説明する。
画像処理装置８は、車両に搭載されており、車外（例えば、車両前方）を被写体とするカメラと接続されている。
車両は、画像処理装置８によって歩行者を追跡してこれを車両の制御系に出力し、制御系は、これに基づいて運転者のハンドル操作やブレーキ操作などを支援して安全性を高める。

まず、画像処理装置８は、認識対象（ここでは歩行者）を学習した基準特徴量を記憶装置８４などからＲＡＭ８３に読み込む（ステップ５０）。
次に、画像処理装置８は、カメラから送信される動画データから動画フレームを取得してＲＡＭ８３に記憶する（ステップ５５）。

次に、画像処理装置８は、ＲＡＭ８３に記憶した動画フレームにおいて、歩行者を検出するための矩形の観測領域（注目画像領域）を設定する（ステップ６０）。
初回の歩行者検出では、歩行者がどこに写っているかわからないため、画像処理装置８は、例えば、適当な初期値に基づいて白色雑音による乱数（パーティクル）を発生させて、これに基づいて適当な大きさの観測領域を適当な位置に設定する。
画像処理装置８は、当該観測領域に含まれる画像を認識対象画像としてＲＡＭ８３に記憶する。

次に、画像処理装置８は、認識対象画像の共起特徴量を特徴量抽出処理にて算出し、ＲＡＭ８３に記憶する（ステップ６５）。
そして、画像処理装置８は、ＲＡＭ８３に記憶した基準特徴量と認識対象画像の共起特徴量を読み出し、共起特徴量空間での内積を計算することにより類似度を算出してＲＡＭ８３に記憶する（ステップ７０）。
この類似度の計算は、例えば、ＳＶＭ（サポートベクターマシン）やＡｄａＢｏｏｓｔなどの識別器に入力して画像認識の判定を行うことができる。なお、これは、識別器を限定するものではなく、計算コストや精度の兼ね合いから使用者が自由に選択することができる。

次に、画像処理装置８は、ＲＡＭ８３に記憶した類似度が所定の条件を満たしているか否か（例えば、所定の閾値に達しているか否か）により、認識対象画像が歩行者に類似しているか否かの類否を判断し（ステップ７５）、これをＲＡＭ８３に出力する（ステップ８０）。
類似していない場合、画像処理装置８は、動画フレーム内で歩行者を当該観測領域内に認識できなかったと判断し（ステップ８５；Ｎ）、ステップ６０に戻って、更に動画フレームに前回とは異なる観測領域を設定して、歩行者の認識を繰り返す。

類似している場合、画像処理装置８は、動画フレーム内で歩行者を当該観測領域内に認識できたと判断し（ステップ８５；Ｙ）、その認識結果を車両の制御系に出力する。
そして、画像処理装置８は、更に認識対象の追跡を継続するか否かを判断する（ステップ９０）。この判断は、例えば、車両が目的地に到着するなどして走行を停止した場合に追跡を継続しないと判断し、車両が走行している場合は追跡すると判断する。

追跡を継続しないと判断した場合（ステップ９０；Ｎ）、画像処理装置８は、画像認識処理を終了する。
一方、追跡を継続すると判断した場合（ステップ９０；Ｙ）、画像処理装置８は、ステップ５５に戻って、次の動画フレームに対して同様の画像認識処理を行う。

なお、２回目以降の画像認識では、画像処理装置８は、ステップ６０において前回の画像認識で歩行者が検出された付近に観測領域を設定する。
これは、歩行者が１つ前の動画フレームで検出された付近に今回の動画フレームでも存在すると考えられるからである。

これには、例えば、前回歩行者が検出された観測領域を中心に正規分布を成す乱数（パーティクル）を発生させ、当該乱数に対応して観測領域を次々に発生させて最も類似度の高い観測領域を探索するパーティクルフィルタの手法を用いると効果的である。

以上のようにして、画像処理装置８は、車載カメラが撮影した車外画像から歩行者を検出し、これを追跡することができる。
なお、この手法は、車載カメラ以外に監視カメラや、その他の動く対象を動画に基づいて追跡するシステムに適用することができる。

また、認識対象を歩行者としたが、例えば、道路上の白線、信号機、標識などを走行しながら認識し、自動運転に適用することも可能である。
更に、前方を走行する車両を画像認識によって追跡して、これに追随走行する所謂コンボイ走行に適用することも可能である。

なお、以上に説明した実施形態では、同一の被写体に対する３つの解像度の画像を用意して、オフセット距離１〜３までの勾配方向の共起を取得したが、これに限定するものではなく、必要な画像認識精度が得られるのであれば、２つの解像度、あるいは、４つ以上の解像度の画像を組合せることもできる。

図７は、第１の変形例について説明するための図である。
図７（ａ）に示したように、本変形例に係る画像処理装置８は、先に説明した実施形態の画像処理装置８と同様に、高解像度画像１１、中解像度画像１２、低解像度画像１３を形成する。
そして、画像処理装置８は、これら解像度の異なる画像のそれぞれについて個々の画素の勾配方向を計算し、それぞれの解像度の範囲内で勾配方向の共起を観察する。

図７（ｂ）は、高解像度画像１１内での共起の取得を説明するための図である。
画像処理装置８は、高解像度画像１１に注目画素５を設定し、オフセット距離１の（即ち注目画素５に隣接している）オフセット画素１ａ〜１ｄについて、注目画素５との勾配方向の共起を取得して注目画素５とオフセット画素１ａとの組合せの共起行列１５、注目画素５とオフセット画素１ｂとの組合せの共起行列１５、・・・に投票する。

次に、画像処理装置８ａは、注目画素５からオフセット距離２のオフセット画素２ａ〜２ｆについて、注目画素５との勾配方向の共起を取得して、組合せごとの共起行列１５に投票する。
更に、画像処理装置８ａは、注目画素５からオフセット距離３のオフセット画素３ａ〜３ｈ、及び注目画素５からオフセット距離４のオフセット画素４ａ〜４ｌについても注目画素５との勾配方向の共起を取得して組合せごとの共起行列１５に投票する。
画像処理装置８は、上の処理を高解像度画像１１内で注目画素５を移動しながら全ての画素について行う。

図７（ｃ）は、中解像度画像１２内での共起の取得を説明するための図である。
画像処理装置８は、中解像度画像１２に注目画素５を設定し、注目画素５からオフセット距離１の（即ち注目画素５に隣接している）オフセット画素１ａ〜１ｄについて、注目画素５との勾配方向の共起を取得して組合せごとの共起行列１５に投票する。

同様にして、オフセット距離２のオフセット画素２ａ〜２ｆ、オフセット距離３の図示しないオフセット画素群や更に遠いオフセット画素群についても同様に共起を取ってそれぞれの共起行列１５に投票する。
画像処理装置８は、上の処理を中解像度画像１２内で注目画素５を移動しながら全ての画素について行う。

図示しないが、画像処理装置８は、低解像度画像１３についても同様に注目画素５を移動しながら全ての画素について勾配方向の共起を取得して図示しない共起行列１５に投票する。
なお、最も遠いオフセット距離は、高解像度画像１１と中解像度画像１２では、画素４個分、低解像度画像１３では、画素３個分とするなど、解像度ごとに異なった値を設定することができ、画像認識の精度との兼ね合いから最適な値を設定することができる。

このように、本変形例の画像処理装置８の有する画素組合せ取得手段は、解像度ごとに同一の解像度の画素の組合せを取得している。
画像処理装置８は、上の処理を元画像２の全てのブロック領域３について行い、得られた共起行列１５の要素の成分を連結して１列に並べて図７（ｄ）に示した共起ヒストグラム１８を作成する。
そして、画像処理装置８は、これを正規化して共起特徴量ベクトルを生成し、これを画像の共起特徴量とする。

図８は、第２の変形例について説明するための図である。
本変形例の画像処理装置８は、解像度の変換は行わずに、高解像度画像１１（元画像２）における勾配方向の共起から共起特徴量を取得する。

画像処理装置８は、図８（ａ）に示したように、ブロック領域３Ａ（図１（ａ）参照）から得られる高解像度画像１１について、図８（ｂ）に示したように注目画素５と、注目画素５からオフセット距離１〜４のオフセット画素１ａ〜４ｌの勾配方向の共起を取り、実施形態で説明したのと同様にして注目画素５とオフセット画素の組合せごとの共起行列１５に投票する。
そして、画像処理装置８は、注目画素５を図に向かって右方向の隣接する画素に移動しながら、高解像度画像１１の全ての画素について同様の処理を行う。

そして、画像処理装置８は、全てのブロック領域３について共起行列１５を完成させると、これから形成されるヒストグラムを連結して図８（ｃ）に示した共起ヒストグラム１８を生成し、これを正規化して共起特徴量とする。

図９は、第３の変形例を説明するための図である。
本変形例では、勾配方向を０°〜３６０°の連続値とし、ＧＭＭ（混合ガウスモデル）を用いて共起特徴量を抽出する。

共起を取る画像は、実施形態の図１（ｂ）で示した高解像度画像１１、中解像度画像１２、低解像度画像１３とし、実施形態と同様に、高解像度画像１１に設定した注目画素５とオフセット画素１ａ〜３ｄとの勾配方向の共起を取る。
なお、これは一例であって、第１の変形例で示した複数解像度の各解像度内での共起であってもよいし、第２の変形例に示した高解像度画像１１内の共起であってもよい。

このように、画像処理装置８は、実施形態と同様にして、高解像度画像１１に注目画素５を設定し、これと、オフセット画素１ａ〜１ｄ、２ａ〜２ｄ、３ａ〜３ｄの間で勾配方向の共起を取る。
実施形態では、共起行列１５に投票したが、本変形例では、横軸を注目画素５の勾配方向とし、縦軸をオフセット画素の勾配方向とする特徴面５０に共起対応点５１としてプロットする。特徴面５０は、図９（ａ）に示した散布図となる。
また、画像処理装置８は、共起行列１５と同様に、注目画素５とオフセット画素の相対的な位置ごとに特徴面５０を作成する。

特徴面５０にプロットされた共起対応点５１、５１、・・・は、画像の特徴に応じて集まる傾向があり、画像処理装置８は、これをＫ個のクラスタ６０ａ、６０ｂ、６０ｃにクラスタリングする。クラスタリングとは、距離の近い点をグループにまとめる処理である。
Ｋは、予め設定された値であり、典型的にはＫ＝６４などの整数であるが、図の例では簡略化のためＫ＝３とした。

画像処理装置８は、共起対応点５１をクラスタリングした後、特徴面５０における共起対応点５１の分布の集まり具合を図９（ｂ）に示したようにＫ個のガウス分布を線形に重ね合わせたＧＭＭ５３による確率密度関数ｐ（ｘ｜θ）で表す。ｘは、共起対応点５１の分布を表すベクトル量でありθは母数を表すベクトル量である。

より具体的には、ｐ（ｘ｜θ）は、図９（ｃ）の式で表される。Ｋは、混合数であり、ＧＭＭ５３で重ね合わせるガウス分布の数であり、上の例では３である。
ｚは、ＥＭアルゴリズムや負担率を計算するのに用いられる潜在変数であり、混合するＫ個のガウス分布に対応してｚ１、ｚ２、・・・、ｚＫが用いられる。
ＥＭアルゴリズムは、説明は省略するが、尤度を最大化する母数（μｊ、Σｊ）を推定するアルゴリズムである。
πｊは、混合係数と呼ばれ、ｊ番目のガウス分布を選択する確率を表している。

画像処理装置８は、以上の機能により認識対象を写した学習画像を多数学習して、図９（ｄ）に示した基準ＧＭＭ５５を算出する。図では、分かりやすくするために基準ＧＭＭ５５を２次元平面で模式的に表している。基準ＧＭＭ５５は、認識対象の特徴量を含んだ量となっている。

画像処理装置８は、このように基準ＧＭＭ５５を用意した後、基準ＧＭＭ５５に対する負担率γによって認識対象画像の特徴量を抽出する。
γ（ｚｋｎ）は、図９（ｅ）の式で表したように、基準ＧＭＭ５５に対して認識対象画像の共起対応点５１の分布が与えられた場合の潜在変数ｚの事後確率であり、ｋ番目のガウス分布がｘｎの観測を説明する度合いを表している。
画像処理装置８は、これらの特徴量を用いて画像認識する。

以上に説明した実施形態や変形例によって、次のような効果を得ることができる。
（１）勾配方向の共起によってＨＯＧ特徴量を用いずに、ＨＯＧ特徴量よりも頑強な特徴量を画像から抽出することができる。
（２）複数の解像度に渡って、あるいは、それぞれの解像度内で勾配方向の共起を取ることにより、共起特徴量を取得することができる。
（３）動画フレームをリアルタイムで画像認識することにより、動いている対象を動画で追跡することができる。
（４）半導体装置による実装に適しているため、専用チップを開発して低価格で大量に供給することができる。
（５）専用チップを実装することにより小型化、低コスト化を図ることができ、例えば、車載装置などの移動体装置やスマートフォンなどの携帯端末などでの普及を図ることができる。

２ 元画像
３ ブロック領域
５ 注目画素
８ 画像処理装置
１１ 高解像度画像
１２ 中解像度画像
１３ 低解像度画像
１５ 共起行列
１８ 共起ヒストグラム
１９ 基準特徴量ベクトル
２０、２１、２２ 共起特徴量ベクトル
３１、３２ 曲線
５０ 特徴面
５１ 共起対応点
５３ ＧＭＭ
５５ 基準ＧＭＭ
６０ クラスタ
８１ ＣＰＵ
８２ ＲＯＭ
８３ ＲＡＭ
８４ 記憶装置
８５ 記憶媒体駆動装置
８６ 入力部
８７ 出力部
１０１ 画像
１０２ セル
１０６ ヒストグラム
１０７ ＨＯＧ特徴量

Claims (8)

1. 画像を入力する画像入力手段と、
   前記入力した画像の解像度を変換する解像度変換手段と、
   前記入力した画像と前記解像度を変換した画像に含まれる画素の、輝度の勾配方向を取得する勾配方向取得手段と、
   前記入力した画像と前記解像度を変換した画像に含まれる画素から２つの画素の組合せを取得する画素組合せ取得手段と、
   前記取得した各画素の輝度の勾配方向を使用して、前記取得した組合せに係る２つの画素に対する、前記勾配方向取得手段で取得した輝度の勾配方向の共起を取得する共起取得手段と、
   前記画素組合せ取得手段で取得する画素の組合せを変化させながら、前記共起取得手段で取得した共起の出現頻度の分布を取得する出現頻度取得手段と、
   前記取得した輝度の勾配方向に対する出現頻度の分布を含まない、前記出現頻度取得手段で取得した共起の出現頻度の分布を前記画像の特徴量として出力する出力手段と、
   を備えたことを特徴とする画像特徴量出力装置。
2. 画像を入力する画像入力手段と、
   前記入力した画像の解像度を変換する解像度変換手段と、
   前記入力した画像と前記解像度を変換した画像に含まれる画素から２つの画素の組合せを取得する画素組合せ取得手段と、
   前記取得した組合せに係る２つの画素の輝度の勾配方向の共起を取得する共起取得手段と、
   前記取得する画素の組合せを変化させながら、前記取得する共起の出現頻度の分布を取得する出現頻度取得手段と、
   前記取得した共起の出現頻度の分布を前記画像の特徴量として出力する出力手段と、
   を備えたことを特徴とする画像特徴量出力装置。
3. 前記画素組合せ取得手段は、少なくとも、前記画像の全体に渡って隣接する画素の組合せを取得することを特徴とする請求項１、又は請求項２に記載の画像特徴量出力装置。
4. 前記画素組合せ取得手段は、異なる解像度の画素の組合せを取得することを特徴とする請求項１、請求項２、又は請求項３に記載の画像特徴量出力装置。
5. 前記画素組合せ取得手段は、解像度ごとに同一の解像度の画素の組合せを取得することを特徴とする請求項１、請求項２、又は請求項３に記載の画像特徴量出力装置。
6. 認識対象の特徴量を輝度の勾配方向の共起の出現頻度の分布で表した基準特徴量を取得する基準特徴量取得手段と、
   判断対象となる対象画像を取得する対象画像取得手段と、
   前記取得した対象画像を請求項１、又は請求項２に記載の画像特徴量出力装置の画像入力手段に入力して当該対象画像の特徴量を取得する対象画像特徴量取得手段と、
   前記取得した基準特徴量と、前記取得した対象画像の特徴量を比較することにより前記対象画像が認識対象の画像を含んでいるか否かを判断する判断手段と、
   前記判断の結果を出力する結果出力手段と、
   を具備したことを特徴とする画像認識装置。
7. 画像を入力する画像入力機能と、
   前記入力した画像の解像度を変換する解像度変換機能と、
   前記入力した画像と前記解像度を変換した画像に含まれる画素の、輝度の勾配方向を取得する勾配方向取得機能と、
   前記入力した画像と前記解像度を変換した画像に含まれる画素から２つの画素の組合せを取得する画素組合せ取得機能と、
   前記取得した各画素の輝度の勾配方向を使用して、前記取得した組合せに係る２つの画素に対する、前記勾配方向取得機能で取得した輝度の勾配方向の共起を取得する共起取得機能と、
   前記画素組合せ取得機能で取得する画素の組合せを変化させながら、前記共起取得機能で取得した共起の出現頻度の分布を取得する出現頻度取得機能と、
   前記取得した輝度の勾配方向に対する出現頻度の分布を含まない、前記出現頻度取得機能で取得した共起の出現頻度の分布を前記画像の特徴量として出力する出力機能と、
   をコンピュータに実現させることを特徴とする画像特徴量出力プログラム。
8. 認識対象の特徴量を輝度の勾配方向の共起の出現頻度の分布で表した基準特徴量を取得する基準特徴量取得機能と、
   判断対象となる対象画像を取得する対象画像取得機能と、
   前記取得した対象画像を、請求項１、又は請求項２に記載の画像特徴量出力装置の画像入力手段、又は請求項７に記載の画像特徴量出力プログラムの画像入力機能、に入力して当該対象画像の特徴量を取得する対象画像特徴量取得機能と、
   前記取得した基準特徴量と、前記取得した対象画像の特徴量を比較することにより前記対象画像が認識対象の画像を含んでいるか否かを判断する判断機能と、
   前記判断の結果を出力する結果出力機能と、
   をコンピュータで実現する画像認識プログラム。

Images