JP4858612B2 - 物体認識システム、物体認識方法および物体認識用プログラム - Google Patents

Description

本発明は画像に基づく物体認識システム、物体認識方法および物体認識用プログラムに関し、特に物体の部分的な隠れによる影響を受けにくい物体認識システム、物体認識方法および物体認識用プログラムに関する。

画像に基づいて物体認識する場合、一般的に、障害物やノイズによって物体に部分的な隠れが生じると認識率が大幅に低下する傾向がある。部分的な隠れによる影響を受けにくい物体認識システムの一例が、非特許文献１、非特許文献２に記載されている。

非特許文献１は、画像に基づいて顔を認識する例である。非特許文献１に記載の物体認識システムの動作は概ね次の通りである。まず、入力された顔画像を部分的な領域に分割し、個別の領域について特徴抽出処理と認識処理を行う。次に個別の部分領域の認識結果のうち、類似度が高い領域をある一定数だけ利用することによって、隠れが生じている領域を排除して最終的な類似度を計算する。この技術を使う場合、部分的な隠れがある場合でも概ね認識可能になるが、隠れ領域が広い場合と狭い場合の双方に同時には対応できない。また類似度が低い領域の情報が最終結果に全く反映されないため、認識に有益な情報を失っている可能性がある。

非特許文献２は、自己連想メモリと呼ばれるデータの欠損部分を想起する手法を用いて、入力された画像の例外部分、すなわち隠れやノイズがある部分を補完してから認識する手法である。これにより隠れがある場合でも良好な認識結果が得られると報告されているが、データの欠損部分を想起する計算を実行する必要があるため、計算量が多くなってしまう問題がある。また、欠損部分を十分想起できるように、自己連想メモリを訓練するためのデータを大量に用意する必要がある。

ところで、非特許文献１のように部分領域に分割して個別に認識し、個別の認識結果を統合する方式は、統合する方式を変更することで特性が変わる。複数のパターン認識結果を統合する低演算量な手法としては、次のような統合方式１，２，３が挙げられる。

統合方式１：個別の部分認識結果の多数決をとる。

統合方式２：個別の部分認識スコアの最大値に基づいて統合スコアを求める。

統合方式３：個別の部分領域において認識対象カテゴリが生起する確率の積に基づいて統合スコアを求める。

統合方式４：部分認識スコアが生起する確率の積に基づいて統合スコアを求める。

統合方式１が有効な手法であることはパターン認識分野では広く知られているが、部分的な隠れがある物体を認識する場合、隠れがある領域数が全体の半分以上になると正しく認識できない。一方、統合方式２は、個別の部分認識スコアの最大値を利用するため、偶発的に１つの部分領域のみが認識対象カテゴリらしくなった場合に誤認識し易い。一方、統合方式３は、各部分領域が統計的に独立であれば確率論的な裏づけがある統合スコアを求められる。ただし、部分的な隠れが発生することを考慮していないため、少数の領域に隠れがあるだけで、認識スコアが極端に低下してしまうという問題がある。尚、統合方式３を利用する事例の１つが、非特許文献３の式（１）に記されている。一方、統合方式４は、特許文献１の式（２）に記されているようなベイズの公式に基づいて認識する場合において、特許文献１の式（３）に記されているように、認識対象カテゴリであるという条件下での部分認識スコアが生起する確率の積に基づいて統合スコアを計算する手法である。もし、この特許文献１の式（２）における事前確率Ｐ（ｋｉ）が認識対象カテゴリと非認識対象カテゴリで同一であると仮定できれば、統合方式４は統合方式３と同等となる。

尚、カテゴリとは、パターン認識分野の用語で、パターンの分類を指す。クラスと呼んでも良い。一般的な用語では、「種類」「部類」となる。例えば、画像を「自動車」か「自動車でない」のどちらかに識別する場合、カテゴリは「自動車」、「自動車でない」の２つということになる。また、「子供」「大人」「老人」「人間でない」の場合は、カテゴリは４つになり、認識させたい内容に応じて設定すればよい。尚、パターンとは、画像、音声、文字を始めとしたあらゆるデータを指す。

特開２００１−２８３１５７号公報 井上晃著，「部分領域マッチングを用いた顔照合」，電子情報通信学会２００３年総合大会講演論文集，２００３年３月，番号Ｄ−１２−５７ 高橋隆史，栗田多喜夫，池田幸史著，"画像の例外部分を補正する前処理機構をもったニューラルネット識別器",電子情報通信学会論文誌, Ｖｏｌ． Ｊ８７０−ＤＩＩ Ｎｏ．５, ｐｐ．１１６２−１１６９， ２００４年 門田啓，吉本誠司著，"無相関確率モデルに基づく指紋の類似度評価法", 電子情報通信学会技術研究報告, Ｖｏｌ． １０１ Ｎｏ．５２５, ｐｐ．５３−５８， ２００１年１２月

上述した物体認識システムの第１の問題点は、物体を撮影した画像の「見え」に基づく物体認識方式では、高い物体認識率が得られることがわかっているが、部分的な隠れがあるだけで認識率が大幅に低下することである。

その理由は、「見え」に基づく認識では、部分的な隠れによって対象物体ではない「見え」が観測されるため、その影響により認識率が大幅に低下するためである。

第２の問題点は、部分的な隠れに対応する認識手法では、計算量が多いか、または隠れ領域が大きいと認識できなくなるか、またはある１部分のみに対象物体らしいノイズが発生した場合に対応するのが困難であるということである。

その理由は、隠れ部分を認識計算処理から除去する手法では、隠れ部分を判定するための計算量が多い。また、領域を部分領域に分割して認識し、部分領域別の結果を統合する手法では、多数決で統合を行うと隠れ領域が大きい場合に対処できないし、最大部分認識スコアに基づいて統合を行うとある１領域のスコアが偶然高い場合に誤認識してしまう。一方、部分認識スコアが大きいＮ個により統合を行う場合は、Ｎの値をあらかじめ決定しておかねばならない。

本発明の目的は、物体に部分的な隠れがあっても高い認識率を維持できる物体認識システム、物体認識方法、物体認識用プログラムを提供することにある。

前記目的を達成するため、本発明に係る物体認識システムは、物体の画像に基づいて物体のカテゴリを認識するシステムであって、
前記画像の部分領域の特徴量を取得する部分特徴量取得手段と、
前記部分領域においてカテゴリを認識して部分認識スコアを求める部分認識手段と、
認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の推定値を計算する生起確率算出手段と、
複数の前記部分領域における、認識対象カテゴリであるという条件下で前記部分認識スコアが生起しない確率、に基づいて統合スコアを計算する統合スコア算出手段と、
前記統合スコアに基づいて物体のカテゴリを判定する結果判定手段と、
を具備することを特徴とするものである。

本発明に係る物体認識方法は、物体の画像に基づいて物体のカテゴリを認識する方法であって、
前記画像の部分領域の特徴量を取得する処理と、前記部分領域においてカテゴリを認識して部分認識スコアを求め処理と、認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の推定値を計算する処理とを、前記画像の各部分領域について実行し、
複数の前記部分領域における、認識対象カテゴリであるという条件下で前記部分認識スコアが生起しない確率、に基づいて統合スコアを計算し、
前記統合スコアに基づいて物体のカテゴリを判定することを特徴とするものである。

本発明に係る物体認識用プログラムは、物体の画像に基づいて物体のカテゴリを認識するためのプログラムであって、
コンピュータに、
前記画像の部分領域の特徴量を取得する部分特徴量取得処理と、
前記部分領域においてカテゴリを認識して部分認識スコアを求める部分認識処理と、
認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の推定値を計算する生起確率算出処理と、
複数の前記部分領域における、認識対象カテゴリであるという条件下で前記部分認識スコアが生起しない確率、に基づいて統合スコアを計算する統合スコア算出処理と、
前記統合スコアに基づいて物体のカテゴリを判定する結果判定処理と、を実行させることを特徴とするものである。

本発明による第１の効果は、部分的な隠れがあっても高い認識率を維持できることにある。

その理由は、部分領域別に認識し、かつ隠れがある部分領域の影響を抑えるように統合スコアを算出するためである。

第２の効果は、計算量が多くなく、かつ隠れ領域が大きくても認識でき、さらにある１部分のみに認識対象カテゴリらしいノイズが発生した場合に正しく棄却できる可能性があることである。

その理由は、部分領域について算出された部分認識スコアが生起しない確率の積に基づいて統合スコアを計算することによって、部分領域数と同じ乗算回数で統合スコアを計算でき、かつ隠れていない部分領域が少数でも存在すれば全体的にやや低いスコアの場合よりも高い統合スコアが得られ、これによって、閾値を調整することでノイズがある状況にも対応し易いためである。

次に、本発明の実施形態を図に基づいて詳細に説明する。

図１を参照すると、本発明の第１の実施形態に係る物体認識システム１０は、プログラム制御により動作するデータ処理装置１００と、記憶装置２００とから構成されている。

データ処理装置１００は、部分特徴量取得手段１１０と、部分認識手段１２０と、生起確率算出手段１３０と、統合スコア算出手段１４０と、結果判定手段１５０とを含む。記憶装置２００は、識別パラメータ記憶部２１０と生起確率推定パラメータ記憶部２２０とを含む。

前記記憶部はそれぞれ概略つぎのようなデータを保持する。識別パラメータ記憶部２１０は、部分認識手段１２０によって部分特徴量が特定のカテゴリであるか否か、すなわち認識対象カテゴリらしさを表す部分認識スコアを求めるためのパラメータを保持する。

生起確率推定パラメータ記憶部２２０は、部分認識手段１２０で得られた部分領域の部分認識スコアから、認識対象カテゴリという条件下で部分認識スコアの生起確率を推定するためのパラメータを保持する。

前記手段はそれぞれ概略つぎのように動作する。部分特徴量取得手段１１０は、物体の部分領域が認識対象カテゴリであるか否かを識別するための特徴量を取得する。前記部分領域とは、画像上において物体全体ではなく物体の一部分に相当する領域のことを意味する。取得される部分特徴量としては、「画像」から求められるデータであればよく、具体的な例としては、画像の輝度データ、または画像の輝度ヒストグラムデータ、または画像から抽出した勾配情報データ、または画像から抽出した周波数データ、または複数の画像について差分情報を抽出したデータ、またはこれらの組み合わせであってもよい。

部分認識手段１２０は、識別パラメータ記憶部２１０で保持されているパラメータに従って、部分特徴量取得手段１１０で取得された特徴量に対応する部分領域が認識対象カテゴリの部分領域であるか否かを識別する。部分領域の識別結果としては対象カテゴリの部分認識スコアを出力する。部分認識手段１２０で実行される識別手法としては、統計的なパターン認識手法を用いればよく、例えばニューラルネットワークの一種であるパーセプトロン、またはサポートベクトルマシン、最尤推定、ベイズ推定、学習ベクトル量子化、部分空間法などを利用すればよい。

前記識別パラメータ記憶部２１０にあらかじめ保持しておくパラメータは、部分領域の認識に必要なパラメータであって、例えば、学習ベクトル量子化で認識（識別）する場合には、学習された参照ベクトルを保持しておく。

生起確率算出手段１３０は、部分認識手段１２０で計算された部分認識スコアから、生起確率推定パラメータ記憶部２２０に記憶されたパラメータにしたがって、認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の推定値を計算する。かかる生起確率の推定手法としては、あらかじめ生起確率を、生起確率推定パラメータを含む部分認識スコアの関数としてモデル化しておくことで、部分認識スコアから生起確率を求めればよいし、または部分認識スコアから生起確率に変換する変換表を利用しても良い。

統合スコア算出手段１４０は、複数個の部分領域についてそれぞれ求められた生起確率の数値群から、認識対象カテゴリであるという条件下で特徴量が生起「しない」確率の積を計算することによって、物体が認識対象カテゴリであるか否かを判定するための統合スコアを算出する。前記生起しない確率は、１．０から前記生起確率を減算することによって求められる。次の数式１は、前記生起しない確率を求める数式を示している。ここで、Ｓ_ｉは部分領域ｉ（ｉは１以上部分領域の個数以下の整数）の部分認識スコア、ω_ｃは認識対象カテゴリ、ｐ（Ｓ_ｉ｜ω_ｃ）はω_ｃであるという条件下でのＳ_ｉの生起確率である。

結果判定手段１５０は、統合スコア算出手段１４０で計算された統合スコアに基づいて、物体が認識対象カテゴリであるか否かの判定を行う。判定の手法としては、あらかじめ設定しておいた閾値によって閾値処理することにより判定する。

次に、図１及び図２のフローチャートを参照して本実施形態の全体の動作について詳細に説明する。

まず、部分特徴量取得手段１１０は、物体の画像の入力を受け物体の一部分に相当する部分領域の特徴量を抽出する（図２のステップＳ１１０）。次に、部分認識手段１２０は、抽出された部分領域の特徴量の入力を受け、かかる部分領域が認識対象カテゴリの部分領域であるか否かを識別し、部分領域の認識スコア（部分認識スコア）を求める（ステップＳ１２０）。このステップＳ１２０では、識別パラメータ記憶部２１０に保持されているパラメータに基づいて識別を行う。

さらに、生起確率算出手段１３０は、ステップＳ１２０で求まった部分認識スコアの入力入力を受け、認識対象カテゴリであるという条件下で、前記部分領域に前記部分認識スコアが生起する確率を推定する（ステップＳ１３０）。このステップＳ１３０では、生起確率推定パラメータ記憶部２２０に記憶されたパラメータに基づいて生起確率の推定値を算出する。そして、このようなステップＳ１１０からステップＳ１３０までの処理を複数の部分領域について、繰り返し実行する（ステップＳ１４０）。

図３と図４は、繰り返し処理を通して、各部分領域の部分認識スコアと生起確率の数値が求まる様子を表した概念図である。図３の画像２０には、Ｍ個（この例ではＭ＝９）の部分領域２１が設定されている。まず、各部分領域２１について、部分認識スコアＳ_ｉ＝Ｓ_ｉ（ω_ｃ｜ｘ_ｉ）を求める。次に、図４に示すように各部分領域２０のＳｉに基づいて生起確率Ｐ（Ｓ_ｉ｜ω_ｃ）を算出する。

図２において、統合スコア算出手段１４０は、複数の部分領域についてそれぞれ求められた生起確率を用いて統合スコアを計算する（ステップＳ１５０）。統合スコア算出手段１４０は、数式１で表現される確率、すなわち認識対象カテゴリであるという条件下でそれぞれの部分領域に部分認識スコアが生起「しない」確率、の積に基づいて、統合スコアを計算する。かかる統合スコアの計算式としては、次の数式２を用いればよい。数式２において右辺の先頭に負号があるのは、認識対象カテゴリらしいほど統合スコアが高くなるよう調整するためである。

最後に、結果判定手段１５０が、ステップＳ１５０で計算された統合スコア値を閾値処理することにより、入力された物体の画像が認識対象カテゴリであるか否かを判定する（ステップＳ１６０）。

次に、本実施形態の効果について説明する。本実施形態では、数式１で計算される値、すなわち認識対象カテゴリであるという条件下での部分認識スコアが生起「しない」確率、の積に基づいた統合スコア算出手段を含む構成であるため、部分的な隠れがある物体画像であっても認識対象カテゴリであるか否かを認識できる。また、本実施形態では、さらに、数式２で計算される値を統合スコアとするため、部分領域の個数分だけの乗算回数で統合スコアを求められる。しかも、隠れ領域が大きくても認識でき、さらにある１部分のみに対象物体らしいノイズが発生した場合に正しく棄却できることがある。

次に、前記本実施形態の効果が得られる理由を、具体例を用いて説明する。図５は、部分領域の個数が５である場合に求まる生起確率の例と、生起確率から計算される統合スコアを計算した値を示している。表の第２列は部分領域別の生起確率であり、数値が大きいほど部分領域が認識対象カテゴリらしいことを意味している。表の第３列は部分認識スコアが生起「する」確率の積による統合スコア、表の第４列は部分認識スコアが生起「しない」確率の積に基づいた統合スコア、すなわち第４列は本実施形態によって求まる統合スコアである。

表の事例１は隠れがない場合、事例２は１つの部分領域が隠れである場合、事例３は２つの部分領域が隠れである場合、事例４は隠れが無いものの全体的に概ね認識対象カテゴリらしい場合、事例５は大半の部分領域が隠れである場合、事例６は全体的に概ね認識対象カテゴリらしくない場合である。本発明の課題である「部分的な隠れが発生しうる物体画像を正しく認識する事」を考えると、事例１と２と３については、明らかに認識対象カテゴリであると判定すべきであり、事例６は認識対象カテゴリではないと判定するべきである。一方、事例４と５については、ほぼ認識対象カテゴリらしいと判定するのが概ね正しいであろう。

まず、物体画像中の隠れの面積が比較的狭い場合について説明する。統合スコアとして生起「する」確率の積を使う場合は、事例２では事例１と比較してスコアが急激に低下し、明らかに認識対象カテゴリであるとは断定できない事例４よりも低い値となってしまう。しかし、本実施形態では、事例２でも事例４より高い統合スコアが得られる。これは、本実施形態によって「隠れ領域が小さい物体画像について認識対象カテゴリであるか否かを正しく認識できる」という事例である。

次に、物体画像中の隠れの面積が比較的広い場合について説明する。統合スコアとして生起「する」確率の積を使う場合は、事例５は事例６と比較して低いスコアとなるため、閾値を調整しても事例５を認識対象カテゴリとし、かつ事例６を認識対象カテゴリでないと正しく判定することができない。一方、本実施形態では、閾値を調整すれば（例えば、閾値を−０．０７とすれば）正しく判定することが可能である。これは、本実施形態によって、「隠れ領域が大きい物体画像について、認識対象カテゴリであるか否かを正しく認識することが可能である」という事例である。

ところで、事例５のような生起確率の場合、本当は認識対象カテゴリではないが、部分領域の１つに偶発的に認識対象カテゴリらしいノイズが発生したという事象も考えられる。この場合には、統合スコアの閾値を調整しておく（例えば、閾値を−０．０６とする）ことで、認識対象カテゴリではないと判定することが可能である。

尚、部分特徴量取得手段１１０に入力するデータが、物体の画像そのものではなく、既に物体の画像から変換された特徴量であっても、部分特徴量取得手段１１０で部分領域別の特徴量に変換することができれば、同様の効果を得られる。

一方、部分領域の設定の仕方については、物体画像を任意の複数個の部分領域に分割すれば、本実施形態の効果を得られる。例えば、図６（ａ）に例示するように、均等な正方領域２２とする、または図６（ｂ）に例示するように面積が不均等な部分領域２３、２４、２５に分割する、または、これら領域を画像平面上で重複させるように設定してもよい。

また、ステップＳ１４０の繰り返し動作は、ステップＳ１１０，Ｓ１２０，Ｓ１３０のそれぞれを個別に繰り返し動作させても、全く同じ効果を得ることができる。

尚、数式２の右辺に、定数項を付加しても、全く同等の認識性能を得ることができる。たとえば、定数項として”１”を付加すれば、統合スコアの値を０から１に収められる。

一方、統合スコアの計算方法は、数式２のように前記生起しない確率の総積を求めるのではなく、次の数式３のように前記生起しない確率の対数の総和として計算しても、統合スコアの閾値を調整することで全く同等の認識性能を得ることができる。

されに、これだけでなく、総積と同じように、生起しない確率の一部のみが高い場合にも高いスコアが得られる数学関数を利用して統合スコアを計算することでも、ほぼ同等性能の認識性能を得ることができる。

一方、本明細書の背景技術の欄に記載したとおり、ベイズの公式の事前確率が認識対象カテゴリと非認識対象カテゴリで同一と仮定する場合、生起確率算出ステップＳ１３０において、生起確率算出手段１３０によって「部分認識スコアが生起する確率」を求めるのではなく、「部分領域において認識対象カテゴリが生起する確率」を求めるようにし、さらに統合スコア算出ステップＳ１５０では、統合スコア算出手段１４０で「部分領域において認識対象カテゴリが生起しない確率」に基づいて統合スコアを計算すれば、同様の効果を得ることができる。

ところで、入力される物体画像が欠損している場合には、部分特徴量取得手段１１０で部分特徴量を取得できない。このような場合には、観測可能な部分領域の個数を変数ｍとし、次の数式４のように、生起しない確率の対数の総和をｍで除算することによって、部分領域の個数に依存しない一定の閾値で統合スコアを閾値処理できる。

一方、数式４で統合スコアを求める場合には、ｍの個数は可変であるため、すべてではなく一部の部分領域についてステップＳ１１０，Ｓ１２０，Ｓ１３０を実行した時点で統合スコアを計算できる。そのため、一部の部分領域のみから求めた統合スコアに対して閾値処理を行って、ある閾値よりも高い統合スコアが得られていれば、残りの部分領域についての処理を省略して最終的な認識結果を出力してもよい。

次に、本発明の第２の実施形態に係る物体認識システム１１について図面を参照して詳細に説明する。本実施の形態では、物体を識別すべきカテゴリが２つではなく３つ以上ある場合に対応できる。以下、物体認識システム１０と共通する構成要素には、図面に図１と同一の符号を付して説明を省略する。

図７は、物体認識システム１１の構成図である。本実施形態は、図１の物体認識システム１０の構成と同一であるが、処理の流れと、識別パラメータ記憶部２１０及び生起確率推定パラメータ記憶部２２０に保持される内容が異なる。本実施形態では、識別パラメータ記憶部２１０に保持されるパラメータは１カテゴリだけでなく、カテゴリ個数分のパラメータである。また、生起確率推定パラメータ記憶部２２０に保持されるパラメータもカテゴリ個数分のパラメータである。

次に、図２、図７及び図８のフローチャートを参照して本実施形態の全体の動作について詳細に説明する。以下では、カテゴリ数をＮとして説明を進める。

部分特徴量取得手段１１０，部分認識手段１２０，生起確率算出手段１３０，統合スコア算出手段１４０及び結果判定手段１５０を用いて、物体が１番目のカテゴリであるか否か、すなわち１番目の認識対象カテゴリであるか否かを、図２のステップＳ１１０からステップＳ１５０までの動作により識別する（図８のステップＳ２１０）。識別結果として、１番目のカテゴリであると判定された場合は、最終結果を１番目のカテゴリとして終了し、１番目のカテゴリではないと判定された場合は２番目のカテゴリ識別ステップに戻る（ステップＳ２２０）。

このようにして、最大でＮ−１番目のカテゴリまで識別ステップＳ２１０を繰り返し実行することにより、どのカテゴリであるかを判定する。

次に、本実施形態の効果について説明する。本実施形態では、第１の実施形態と同じ効果を得ることに加えて、カテゴリ数が３つ以上の場合にも識別を正しく行うことができる。

次に、本発明の第１の実施形態についての具体例を第３の実施形態として説明する。

本実施形態３では、物体が人間であるか否かを認識する例について説明する。本実施形態３では、部分領域の認識手法として、「一般化学習ベクトル量子化」を用いる。また生起確率の推定値を算出するのには、部分領域の部分認識スコアと生起確率の推定値を１対１に対応付ける変換表を利用する。このような場合、識別パラメータ記憶部２１０には、パラメータとして「一般化学習ベクトル量子化」で識別を実行するために必要な「参照ベクトル」をあらかじめ保持しておく。また、生起確率推定パラメータ記憶部２２０には、パラメータとして、部分領域の部分認識スコアから生起確率への変換表をあらかじめ保持しておく。

図１において本実施形態３では、データ処理装置１００としてパーソナルコンピュータ、記憶装置２００として半導体メモリを用いる。この場合、識別パラメータ記憶部２１０と生起確率推定パラメータ記憶部２２０は半導体メモリ上の一部とみなせる。一方、部分特徴量取得手段１１０、部分認識手段１２０、生起確率算出手段１３０、統合スコア算出手段１４０、結果判定手段１５０は、パーソナルコンピュータのＣＰＵ上で実現できる。

次に本実施形態３の動作を説明する。まず、部分特徴量取得手段１１０が図２のステップＳ１１０に相当する動作を実行する。このステップでは、部分特徴量取得手段１１０は、認識したい物体の画像を入力し、特徴抽出処理として画像からエッジを抽出してから図６（ａ）のように部分領域を設定し、１つの部分領域の特徴量を取り出す。この際、部分領域を画像として取り出した後にエッジ抽出処理を実行しても構わない。

次に、部分認識手段１２０が図２のステップＳ１２０に相当する動作を実行する。このステップでは、部分認識手段１２０は前記「一般化学習ベクトル量子化」に基づいて、部分領域が認識対象カテゴリ（人間）であるか否かを識別処理し、部分認識スコアを算出する。

次に、生起確率算出手段１３０が図２のステップＳ１３０に相当する動作を実行する。このステップでは、生起確率算出手段１３０は、前記変換表に基づいて、人間であるという条件下で求まった部分認識スコアが部分領域に生起する確率を計算する。そして、ここまでの処理をすべての部分領域について繰り返し実行し、その実行結果に基づいて、統合スコア算出手段１４０は、部分領域個数分の生起確率を算出する（図２のステップＳ１４０）。

次に、結果判定手段１５０が図２のステップＳ１５０に相当する動作を実行し、統合スコアを算出する。このステップでは、結果判定手段１５０は、数式４で表現される生起しない確率に基づいた数式によって統合スコアを計算すればよい。次に、結果判定手段１５０は、図２のステップＳ１６０に相当する動作を実行して、統合スコアを閾値処理することで、物体が人間であるか否かを判定する。

次に、本発明の第２の実施形態についての具体例を第４の実施形態として説明する。本実施形態４では、物体が「人間」であるか、または「自動車」であるか、または「人間でも自動車でもない何か」であるかを認識する例について説明する。

本実施形態４では、第３の実施形態と同様に、部分認識手段１２０は部分領域の認識手法として「一般化学習ベクトル量子化」を用い、生起確率算出手段１３０が生起確率の推定値を算出するのには、部分領域の部分認識スコアと生起確率の推定値を１対１に対応付ける変換表を利用する。このような場合、識別パラメータ記憶部２１０には、パラメータとして「一般化学習ベクトル量子化」で識別を実行するために必要な人間判定用の「参照ベクトル」と自動車認識用の「参照ベクトル」をあらかじめ保持しておく。また、生起確率推定パラメータ記憶部２２０には、パラメータとして、部分領域の部分認識スコアから生起確率へ変換する人間用の変換表と自動車用の変換表をあらかじめ保持しておく。

使用するハードウェア構成は、実施形態３と同様に、データ処理装置１００としてパーソナルコンピュータ、記憶装置２００として半導体メモリを用いればよい。

次に本実施形態４の動作を説明する。部分特徴量取得手段１１０，部分認識手段１２０，生起確率算出手段１３０，統合スコア算出手段１４０及び結果判定手段１５０を用いて、図８のステップＳ２１０に相当する動作を実行する。このステップでは、第３の実施形態と同じ動作によって、物体が人間であるか否かを判定する。

次に、結果判定手段１５０は、ステップＳ２２０に相当する動作として、物体が人間と判定されていれば最終的な認識結果を「人間である」として終了し、そうでなければ、Ｓ２１０に戻って物体が自動車であるか否かを判定する。次に、結果判定手段１５０は、物体が自動車と判定されていれば最終的な認識結果を「自動車である」として終了し、そうでなければ認識結果を「人間でも自動車でもない何か」として終了する。

本発明の他の実施形態に係る物体認識システムは、物体を撮像した画像に基づいて、物体が認識対象カテゴリであるか否かを判定するシステムであって、データ処理装置（１００）と記憶装置（２００）とを備える構成としてもよいものである。前記データ処理装置は、物体の一部分に対応する特徴量を取得する部分特徴量取得手段（１１０）と、前記特徴量に対して識別を実行して部分認識スコアを求める部分認識手段(１２０)と、認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率を推定する生起確率算出手段（１３０）と、認識対象カテゴリであるという条件下で部分認識スコアが生起「しない」確率に基づいて統合スコアを計算する統合スコア算出手段（１４０）と統合スコアに基づいて識別結果を判定する結果判定手段（１５０）とを備える構成としてもよいものである。前記記憶装置は、部分領域について識別するためのパラメータを記憶している識別パラメータ記憶部（２１０）と、部分領域の識別結果から生起確率を推定するパラメータを記憶している生起確率推定パラメータ記憶部（２２０）とを備える構成としてもよいものである。

本発明の他の実施形態に係る物体認識システムは、次のように動作する。まず、物体画像から部分的な領域の特徴量を部分特徴量取得手段で取得し（Ｓ１１０）、取得された部分領域について部分認識手段で前記識別パラメータに基づいて部分認識スコアを求め、部分領域の部分認識スコアをもとに生起確率算出手段で認識対象カテゴリであるという条件下での部分認識スコアが生起する確率を算出する（Ｓ１３０）。そして、（Ｓ１１０）から（Ｓ１３０）までの処理を全ての部分領域について繰り返し、各領域について生起確率を求める（Ｓ１４０）。次に、統合スコア算出手段で、認識対象カテゴリであるという条件下で部分認識スコアが生起「しない」確率に基づいて統合スコアを算出する（Ｓ１５０）。そして、前記統合スコアに基づいて、物体が認識対象カテゴリであるか否かを結果判定手段で判定する（Ｓ１６０）。

このような構成を採用し動作させることにより本発明の目的を達成することができる。

本発明の他の実施形態に係る物体認識方法及び物体認識用プログラムによっても、上記物体認識システムと同様に本発明の目的を達成することができる。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は２００７年４月９日に出願された日本出願特願２００７−１０１９０４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、カメラで撮影された動画像から人物や自動車といった所望の物体を、ある程度の隠れがある場合でも検出するといった物体監視用途に適用できる。

また、写真に写っている物体の種類を、ある程度の隠れがある場合でも認識して自動的に分類するといった用途にも適用可能である。

本発明の第１の実施形態の構成を示すブロック図である。 本発明の実施形態の動作を示す流れ図である。 本発明の第１の実施形態の動作を説明するための概念図である。 本発明の第１の実施形態の動作を説明するための概念図である。 本発明の第２の実施形態の動作を説明する表である。 本発明の第３の実施形態において、物体画像に設定される部分領域の具体的な例を説明する図である。 本発明の第４の実施形態の構成を示すブロック図である。 本発明の第４の実施形態の動作を説明する流れ図である。

符号の説明

１０、１１ 物体認識システム
１００ データ処理装置
１１０ 部分特徴量取得手段
１２０ 部分認識手段
１３０ 生起確率算出手段
１４０ 統合スコア算出手段
１５０ 結果判定手段
２００ 記憶装置
２１０ 識別パラメータ記憶部
２２０ 生起確率推定パラメータ記憶部

Claims (24)

1. 物体の画像に基づいて物体のカテゴリを認識するシステムであって、
   前記画像の部分領域の特徴量を取得する部分特徴量取得手段と、
   前記部分領域においてカテゴリを認識して部分認識スコアを求める部分認識手段と、
   認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の推定値を計算する生起確率算出手段と、
   複数の前記部分領域における、認識対象カテゴリであるという条件下で前記部分認識スコアが生起しない確率、に基づいて統合スコアを計算する統合スコア算出手段と、
   前記統合スコアに基づいて物体のカテゴリを判定する結果判定手段と、
   を具備することを特徴とする物体認識システム。
2. 前記統合スコア算出手段が、前記部分認識スコアが生起しない確率の総積を含む数式に従って、統合スコアを計算することを特徴とする請求項１に記載の物体認識システム。
3. 前記統合スコア算出手段が、前記部分認識スコアが生起しない確率の対数の総和を含む数式に従って、統合スコアを計算することを特徴とする請求項１に記載の物体認識システム。
4. 前記統合スコア算出手段が、前記部分認識スコアが生起しない確率の対数の総和を部分領域個数で除算する演算を含む数式に従って、統合スコアを計算することを特徴とする請求項１に記載の物体認識システム。
5. 前記部分特徴量取得手段と前記部分認識手段と前記生起確率算出手段を、一部の部分領域のみについて動作させた時点で、前記統合スコア算出手段と前記結果判定手段によって統合スコアを求め、統合スコアが認識対象カテゴリらしい値であればそのカテゴリを認識結果とする請求項４に記載の物体認識システム。
6. 前記部分特徴量取得手段と前記部分認識手段と前記生起確率算出手段を、一部の部分領域のみについて動作させた時点で、前記統合スコア算出手段と前記結果判定手段によって統合スコアを求め、統合スコアが認識対象カテゴリらしい値であればそのカテゴリを認識結果として、残りの部分領域の処理を省略することを特徴とする請求項４に記載の物体認識システム。
7. 前記結果判定手段が、物体が、ある認識対象カテゴリではないと判定した場合に、物体が別の認識対象カテゴリであるか否かを認識する動作を行うことを特徴とする請求項１から６のいずれかひとつに記載の物体認識システム。
8. 前記生起確率算出手段が、認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の代わりに、部分領域において認識対象カテゴリが生起する確率の推定値を計算し、前記統合スコア算出手段が、部分領域において認識対象カテゴリが生起しない確率に基づいて統合スコアを計算することを特徴とする請求項１から請求項７のいずれかひとつに記載の物体認識システム。
9. 物体の画像に基づいて物体のカテゴリを認識する方法であって、
   前記画像の部分領域の特徴量を取得する処理と、前記部分領域においてカテゴリを認識して部分認識スコアを求め処理と、認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の推定値を計算する処理とを前記画像の各部分領域について実行し、
   複数の前記部分領域における、認識対象カテゴリであるという条件下で前記部分認識スコアが生起しない確率、に基づいて統合スコアを計算し、
   前記統合スコアに基づいて物体のカテゴリを判定することを特徴とする物体認識方法。
10. 前記統合スコアを算出する際、前記部分認識スコアが生起しない確率の総積を含む数式に従って、統合スコアを計算することを特徴とする請求項９に記載の物体認識方法。
11. 前記統合スコアを算出する際、前記部分認識スコアが生起しない確率の対数の総和を含む数式に従って、統合スコアを計算することを特徴とする請求項９に記載の物体認識方法。
12. 前記統合スコアを算出する際、前記部分認識スコアが生起しない確率の対数の総和を部分領域個数で除算する演算を含む数式に従って、統合スコアを計算することを特徴とする請求項９に記載の物体認識方法。
13. 前記部分特徴量の取得処理と、前記部分認識スコアを求める処理と、前記部分認識スコアの生起確率の指定値を計算する処理とを、一部の部分領域のみについて実行した時点で、前記統合スコア算出ステップと前記結果判定ステップを実行して、統合スコアが認識対象カテゴリらしい値であればそのカテゴリを認識結果とすることを特徴とする請求項１２に記載の物体認識方法。
14. 前記部分特徴量の取得処理と、前記部分認識スコアを求める処理と、前記部分認識スコアの生起確率の指定値を計算する処理とを、一部の部分領域のみについて実行した時点で、前記統合スコア算出ステップと前記結果判定ステップを実行して、統合スコアが認識対象カテゴリらしい値であればそのカテゴリを認識結果として、残りの部分領域の処理を省略することを特徴とする請求項１２に記載の物体認識方法。
15. 前記物体のカテゴリを判定する際、物体が、ある認識対象カテゴリではないと判定した場合に、物体が別の認識対象カテゴリであるか否かを認識する動作を行うことを特徴とする請求項９から１４のいずれかひとつに記載の物体認識方法。
16. 前記部分認識スコアの生起確率の指定値を計算する際、前記部分認識スコアが生起する確率の代わりに、前記部分領域において認識対象カテゴリが生起する確率の推定値を計算し、前記統合スコア算出ステップにおいて、部分領域において認識対象カテゴリが生起しない確率に基づいて統合スコアを計算することを特徴とする請求項９から請求項１５のいずれかひとつに記載の物体認識方法。
17. 物体の画像に基づいて物体のカテゴリを認識するためのプログラムであって、
    コンピュータに、
    前記画像の部分領域の特徴量を取得する部分特徴量取得処理と、
    前記部分領域においてカテゴリを認識して部分認識スコアを求める部分認識処理と、
    認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の推定値を計算する生起確率算出処理と、
    複数の前記部分領域における、認識対象カテゴリであるという条件下で前記部分認識スコアが生起しない確率、に基づいて統合スコアを計算する統合スコア算出処理と、
    前記統合スコアに基づいて物体のカテゴリを判定する結果判定処理と、
    を実行させることを特徴とする物体認識用プログラム。
18. 前記コンピュータに、前記部分認識スコアが生起しない確率の総積を含む数式に従って、統合スコアを計算させることを特徴とする請求項１７に記載の物体認識用プログラム。
19. 前記コンピュータに、前記部分認識スコアが生起しない確率の対数の総和を含む数式に従って、統合スコアを計算させることを特徴とする請求項１７に記載の物体認識用プログラム。
20. 前記コンピュータに、前記部分認識スコアが生起しない確率の対数の総和を部分領域個数で除算する演算を含む数式に従って、統合スコアを計算させることを特徴とする請求項１７に記載の物体認識用プログラム。
21. 前記コンピュータに、
    前記部分特徴量の取得処理と、前記部分認識スコアを求める処理と、前記部分認識スコアの生起確率の指定値を計算する処理とを、一部の部分領域のみについて実行した際に、前記統合スコア算出処理と前記結果判定処理を実行して統合スコアを求め、統合スコアが認識対象カテゴリらしい値であればそのカテゴリを認識結果とする処理を実行させる請求項２０に記載の物体認識用プログラム。
22. 前記コンピュータに、
    前記部分特徴量の取得処理と、前記部分認識スコアを求める処理と、前記部分認識スコアの生起確率の指定値を計算する処理とを、一部の部分領域のみについて実行して統合スコアを求め、統合スコアが認識対象カテゴリらしい値であればそのカテゴリを認識結果とする処理を実行させることを特徴とする請求項２０に記載の物体認識用プログラム。
23. 前記コンピュータに、
    前記物体のカテゴリを判定する際に、物体が、ある認識対象カテゴリではないと判定した場合に、物体が別の認識対象カテゴリであるか否かを認識する動作を実行させることを特徴とする請求項１７から２１のいずれかひとつに記載の物体認識用プログラム。
24. 前記コンピュータに、
    前記部分認識スコアの生起確率の指定値を計算する際、認識対象カテゴリであるという条件下で前記部分認識スコアが生起する確率の代わりに、部分領域において認識対象カテゴリが生起する確率の推定値を計算し、部分領域において認識対象カテゴリが生起しない確率に基づいて統合スコアを計算する処理を実行させることを特徴とする請求項１７から請求項２３のいずれかひとつに記載の物体認識用プログラム。

Images