JPWO2012032889A1 - 物体識別向けの学習装置、学習システム、学習方法、及び学習プログラム - Google Patents

Abstract

本発明は、見えの変動が多様な物体であっても高い識別精度を得ることが可能な技術を提供する。本発明における学習装置は、対象のインスタンスの識別スコアを計算する弱識別器を、特徴量とバッグラベルとに基づいて生成する弱識別器生成部と、生成された弱識別器に基づいて識別スコアを計算する弱識別部と、計算された識別スコアに基づいて対象のインスタンスのインスタンス確率を計算するインスタンス確率計算部と、計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率を計算するバッグ確率計算部と、バッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する尤度計算部と、を含む。

Description

本発明は、画像中の物体を識別するための学習に関し、特に高い識別精度を得ることが可能な学習装置、学習システム、学習方法、及び学習プログラムに関する。

画像中の物体を識別する方式の１つとして、統計的パターン認識技術に基づく方式がある。この方式では、物体のテクスチャデータを事前に収集して学習処理を実行し、学習処理で計算されたパラメータに基づいて識別処理を実行することで、識別したい画像中のテクスチャが物体のものであるか否かを識別する。この方式では高い識別精度を得られることが知られている。
その反面、統計的な手法であるため高い識別精度を得るためには、学習処理を実行するために必要なデータ（以下、学習データと記載する）を大量に用意する必要がある。学習データとは、識別の対象となる対象物体を切出した画像テンプレート群とそれら個々の物体のクラス情報（ラベルとも呼ばれる）の集合とみなしてよい。この学習データを作成するためには、物体が映った画像を用意し、さらに、画像上での対象物体の正確な位置・サイズ・回転角等の情報を用意する必要がある。この対象物体の位置・サイズ・回転角等の情報は、通常、人間が画像を目視し、手作業によって作成する。
統計的パターン認識技術に基づく方式の問題は、この学習データを作成するための作業量が膨大であることである。また、画像テンプレートを切出す際の対象物体の位置・サイズ・回転角等の決定基準を、どのようにして定めれば良い識別精度を得られるかは、実際に学習して、識別してみなければわからない。例えば、対象物体が人体の場合を考える。対象物体が人体か否かを識別するのに、全身の画像を画像テンプレートとして利用するのが良いか、または手足のように位置の変動が大きな部位を使わず胴体のみの画像を画像テンプレートとして利用するのが良いかは実際に試してみないとわからない。
仮に、対象物体の位置・サイズ・回転角等が正確でなくとも、自動的かつ適切に学習できるならば、学習データを作成する作業量を大幅に削減することができる。このような学習方式の１つが非特許文献１に記載されている。
非特許文献１に記載されている手法は、Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ Ｂｏｏｓｔｉｎｇと呼ばれる。この手法では、ある対象について位置・サイズ・回転角を摂動させた多数の画像テンプレートを用意し、これら画像テンプレートの集合（以下、バッグと記載する）を用いて学習処理を行う。非特許文献１に記載の手法は、「バッグ内の多数の画像テンプレートのうち１つ以上が正確な位置・サイズ・回転角に基づいた物体の画像テンプレートである確率」に基づいた評価尺度で学習する。これにより非特許文献１に記載の手法は、画像テンプレートの集合の中に、正確でない位置・サイズ・回転角に基づいた画像テンプレートが含まれていても、学習処理の過程で自動的に、バッグ同士で共通した特徴を見いだし学習する。つまり、非特許文献１に記載の手法は、自動的に物体の位置・サイズ・回転角が揃った特徴を選んで学習処理をしていると解釈できる。
統計的パターン認識技術分野においては、多種多様な学習方式が存在し、そのうちの１種としてアンサンブル型と呼ばれる種類の学習方式がある。この方式では、弱識別器と呼ばれる識別器を複数組み合わせることによって、最終的な識別結果を得る。この方式では、弱識別器群が行う識別と最終的な識別とを合わせた一連の識別処理を、１つの識別器が行っているとみなす。その一連の識別処理を行う１つの識別器を、強識別器と呼ぶ。この方式の特徴は、弱識別器１つずつの識別精度は必ずしも高くなくても、強識別器としてみれば高い識別精度を得られる点である。非特許文献１では「ブースティング」と呼ばれるアンサンブル型学習方式を改良した方式が採用されている。
一方、特許文献１に記載の手法は、学習ベクトル量子化（ＬＶＱ）と呼ばれる統計的パターン認識手法の１種である。ＬＶＱという手法自体はアンサンブル型学習方式ではないが、この特許文献１では、アンサンブル学習に近い概念が取り入れられている。
特許文献１に記載の手法は、パターンの特徴ベクトルについて、識別に有効な次元を逐次選択して追加していく。このため、特許文献１に記載の手法は、最初は低次元ベクトルによる識別を行い、その後は次元が追加された高次元ベクトルによる識別を行う。この手法の場合、追加される特徴次元による識別を弱識別器とみなせば、弱識別器群の組み合わせによって強識別器を構成しているとみなせるので、アンサンブル型の学習方式の一種とみなせる。
その他、本発明に関連する技術として、特許文献２及び特許文献３にはサンプル画像を用いた学習方式が記載されている。

Ｐａｕｌ Ｖｉｏｌａ，Ｊｏｈｎ Ｃ． Ｐｌａｔｔ，ａｎｄ Ｃｈａ Ｚｈａｎｇ著「Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｂｏｏｓｔｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」Ｉｎ ＮＩＰＳ １８、１４１９−１４２６ページ、ＭＩＴ Ｐｒｅｓｓ、２００６年

特願２００９−０２２８９８号公報 特開２００５−２５０７７３号公報 特開２００７−２２６５１２号公報

しかしながら上記の関連技術では、対象物体の見えの変動が多様な場合に十分高い識別精度を得ることができない。例えば非特許文献１に記載の技術は、学習処理において「バッグ内の画像テンプレートのどれか１つ以上が物体の正確な位置・サイズ・回転角である確率」という確率に基づいた評価尺度を用いている。このため、非特許文献１に記載の技術は、見えの変動が多様な物体に対しては、評価尺度である尤度を最大化しても、バッグ同士で共通した特徴に着目できず、その結果、対象物体が共通して持つ特徴を学習できない。
以上より、本発明の目的は、見えの変動が多様な物体であっても高い識別精度を得ることが可能な、物体識別向けの学習装置、学習システム、学習方法、及び学習プログラムを提供することにある。

上記目的を達成するために、本発明に係る学習装置は、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成する弱識別器生成部と、弱識別器生成部によって生成された弱識別器に基づいて識別スコアを計算する弱識別部と、弱識別部によって計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算するインスタンス確率計算部と、インスタンス確率計算部で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算するバッグ確率計算部と、バッグ確率計算部で計算されたバッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する尤度計算部と、を含む。
上記目的を達成するために、本発明に係る学習システムは、上述の学習装置と記憶装置とを含む学習システムであって、記憶装置は、正確な対象物体のインスタンス（ポジティブインスタンス）を２つ以上含む、対象物体のインスタンスについて摂動させた多数のインスタンスの集合（ポジティブバッグ）と、ポジティブバッグではないインスタンスの集合（ネガティブバッグ）とに関する、複数のバッグから抽出した特徴量を保持する特徴量記憶部と、各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルを保持するバッグラベル記憶部と、を含み学習装置において、弱識別器生成部は、弱識別器を、特徴量記憶部の保持する特徴量とバッグラベル記憶部の保持するバッグラベルとに基づいて生成し、尤度計算部は、尤度を、バッグラベル記憶部が保持するバッグラベルに基づいて、学習に用いる複数のバッグを対象に計算し、学習装置は、尤度計算部で計算された尤度に基づいて弱識別器を選択する弱識別器選択部をさらに含み、記憶装置は、弱識別器選択部で選択された弱識別器に関するパラメータを記憶するパラメータ記憶部をさらに含む。
上記目的を達成するために、本発明に係る学習方法は、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、生成された弱識別器に基づいて識別スコアを計算し、計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、計算されたバッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する。
上記目的を達成するために、本発明に係る記録媒体が格納する学習プログラムは、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、生成された弱識別器に基づいて識別スコアを計算し、計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、計算されたバッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する、処理をコンピュータに実行させる。

本発明における物体識別向けの学習装置、学習システム、学習方法、及び学習プログラムによれば、見えの変動が多様な物体であっても高い識別精度を得ることができる。

非特許文献１におけるポジティブバッグとネガティブバッグの概念図である。 「位置に関して摂動させて切出した画像テンプレート」を説明するための図である。 「スケール・回転角に関して摂動させて切出した画像テンプレート」を説明するための図である。 物体識別の学習処理に用いるデータを説明するための図である。 本発明の第１の実施の形態における学習システムの機能構成を示すブロック図である。 本発明の第１の実施の形態におけるポジティブバッグとネガティブバッグの概念図である。 本発明の第１の実施の形態における学習システムの動作を示す流れ図である。 本発明の第２の実施の形態における学習システムの機能構成を示すブロック図である。 「位置に関して摂動の程度が近いこと」を説明するための図である。 「スケール・回転角に関して摂動の程度が近いこと」を説明するための図である。 本発明の第２の実施の形態におけるポジティブバッグとネガティブバッグの概念図である。 摂動の程度とインスタンスがポジティブである確率との関係を説明するための図である。 本発明の第２の実施の形態における学習システムの動作を示す流れ図である。 本発明の第３の実施の形態における識別システムと学習システムとの関係の機能構成を示すブロック図である。 識別システムの動作を示す流れ図である。 第４の実施の形態における本発明に係る学習装置の機能構成を示すブロック図である。 第４の実施の形態における学習装置の動作を示す流れ図である。

まず、本発明の理解を容易にするために、本発明の関連技術について詳細に説明する。
非特許文献１では、対象物体である事象を「ポジティブ」と呼び、対象物体でない事象を「ネガティブ」と呼ぶ。また、位置・サイズ・回転角が正確である対象物体の画像テンプレートを「ポジティブインスタンス」と呼び、正確でない対象物体の画像テンプレートおよび対象物体でない画像テンプレートのことを「ネガティブインスタンス」と呼ぶ。尚、インスタンスという言葉は、画像テンプレートそのものを指すことと、画像テンプレートを任意の特徴量に変換した特徴量テンプレートを指すことがある。
非特許文献１では、バッグの中にポジティブインスタンスが１つでも存在すれば、そのバッグを「ポジティブバッグ」と呼び、バッグの中にネガティブインスタンスのみが存在すれば、そのバッグを「ネガティブバッグ」と呼ぶ。図１は、非特許文献１におけるポジティブバッグとネガティブバッグの概念図である。バッグがポジティブかネガティブかという情報を「バッグラベル」と呼ぶ。
図２及び図３は、「摂動させて切出した画像テンプレート」を説明するための図である。具体的には、図２は、「位置に関して摂動させて切出した画像テンプレート」を説明するための図である。図２は、対象物体の画像テンプレートを横方向と縦方向に摂動させた画像テンプレートの集合を示す。図２において、縦軸は「縦方向の位置の摂動」を示す。また、横軸は「横方向の位置の摂動」を示す。図３は、「スケール・回転角に関して摂動させて切出した画像テンプレート」を説明するための図である。図３は、対象物体の画像テンプレートを回転角とスケールとに関して摂動させた画像テンプレートの集合を示す。図３において、縦軸は「スケールの摂動」を示す。また、横軸は「回転角の摂動」を示す。ポジティブバッグは、図２と図３に示すように、位置やサイズ等を摂動させて切出した画像テンプレート群で構成される。
図４は、物体識別の学習処理に用いるデータを説明するための図である。図４において、１（星のマーク）は物体画像テンプレートを摂動させて生成した画像テンプレートである。また、２（四角のマーク）は物体画像以外のその他の画像テンプレートから生成した画像テンプレートである。
図４に示すように、学習処理に用いるデータは、対象物体の画像テンプレートを摂動させて生成した画像テンプレートの集合であるポジティブバッグとその他の画像テンプレートから生成した画像テンプレートの集合であるネガティブバッグとを含む。実際に学習する際には、複数のポジティブバッグと１つ以上のネガティブバッグが用いられる。
以下に、非特許文献１の学習処理における計算手順を説明する。ｉ番目のバッグ内のｊ番目の画像テンプレートが対象物体である確率をＰｉｊとし、バッグ内の１つ以上の画像テンプレートが対象物体である確率をＰｉとすると、Ｐｉは式１によって計算される。

また、識別結果の尤もらしさを評価する評価尺度をＬとすると、Ｌは式２によって定義される。

ｔｉは、ｉ番目のバッグに対象物体が１つ以上含まれている場合は１、そうでない場合は０をとる変数である。非特許文献１に記載の技術は、上記Ｌで表される尤度を最大化するように学習パラメータを求める。以上の非特許文献１で与えられる言葉の定義は、以下に記載する本発明の実施の形態における説明でも、特に断らない限りにおいて同様の意味で使用する。
以下、本発明の実施の形態について説明する。なお、各実施の形態の学習システムを構成する各装置における各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ。以下同様。）などからなり、オペレーティングシステムを動作させて学習システムの各装置の全体を制御する。また、制御部は、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
また、各実施の形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施の形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段は特に限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施の形態のシステムを実現しても良い。
＜第１の実施の形態＞
図５は、本発明の第１の実施の形態における学習システム１０の機能構成を示すブロック図である。図５に示すように、学習システム１０は、学習装置１００と、記憶装置２００とを含む。学習装置１００は、弱識別器生成部１１０と、弱識別部１２０と、インスタンス確率計算部１３０と、バッグ確率計算部１４０と、尤度計算部１５０と、弱識別器選択部１６０とを含む。記憶装置２００は、特徴量記憶部２１０と、バッグラベル記憶部２２０と、パラメータ記憶部２３０とを含む。
まず、記憶装置２００が含む各記憶部について説明する。
特徴量記憶部２１０は、事前に、学習に利用するインスタンスを保持する。本実施の形態において、学習に利用するインスタンスは、画像テンプレートを任意の特徴量に変換したデータであって、ポジティブバッグ又はネガティブバッグに含まれる。すなわち、特徴量記憶部２１０は、正確な対象物体の画像テンプレート（ポジティブインスタンス）を２つ以上含む、対象物体の画像テンプレートについて摂動させた多数の画像テンプレートの集合（ポジティブバッグ）と、ポジティブバッグではない画像テンプレートの集合（ネガティブバッグ）とに関する、複数のバッグから抽出した特徴量を保持する。
バッグラベル記憶部２２０は、事前に、学習に利用する個々のバッグがポジティブバッグであるかまたはネガティブバッグであるかという情報であるバッグラベルを保持する。
パラメータ記憶部２３０は、弱識別器選択部１６０で選択された弱識別器に関するパラメータを記憶する。弱識別器に関するパラメータは、具体的には、使用する特徴量、弱識別の手順を決定する値、又は閾値等であり、弱識別器の識別方式によって異なる。
次に、学習装置１００が含む各構成について説明する。
弱識別器生成部１１０は、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、特徴量記憶部２１０の保持する特徴量とバッグラベル記憶部２２０の保持するバッグラベルとに基づいて生成する。生成される弱識別器は、１種類または複数の特徴量を用いて２クラス識別する任意の識別器でも良い。
弱識別部１２０は、弱識別器生成部１１０によって生成された弱識別器に基づいて、画像テンプレートを識別処理して、識別スコアを計算する。
インスタンス確率計算部１３０は、弱識別部１２０によって計算された識別スコアに基づいて対象のインスタンスがポジティブインスタンスである確率（インスタンス確率）Ｐｉｊを計算する。インスタンス確率Ｐｉｊは、例えば、式３によって計算されても良い。

式３においてｉはバッグの番号、ｊはインスタンスの番号である。また、Ｓｉｊは弱識別器によって求められた識別スコアである。係数αとβは、実際のデータを元に近似推定しても良いし、定数としても良い。尚、スコア確率値を量子化して１対１に対応付けた対応表による変換といった、式３による算出以外の算出方法であっても、Ｐｉｊが数学的に確率としての条件を満たせば良い。
バッグ確率計算部１４０は、インスタンス確率計算部１３０で計算された、１つのバッグ中のインスタンス全てのインスタンス確率の値から、バッグがポジティブである確率を計算する。ただし、「バッグがポジティブである」とは、バッグ中のインスタンスのうち２つ以上がポジティブインスタンスであること、である。すなわち、バッグ確率計算部１４０は、インスタンス確率計算部１３０で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算する。例えば、バッグ確率計算部１４０は、式４によってバッグ確率を計算しても良い。

ただし、

式４において、右辺の大括弧内の第１項はすべてのインスタンスがポジティブインスタンスでない確率であり、一方、第２項は１つのインスタンスだけがポジティブインスタンスである確率である。式４におけるＰｉは、１から第１項と第２項を引くことで、２つ以上のインスタンスがポジティブインスタンスである確率を表していると言える。
尤度計算部１５０は、バッグラベル記憶部２２０が保持するバッグラベルに基づいて、バッグ確率計算部１４０で計算された、学習に用いる複数のバッグのバッグ確率の尤もらしさを表す尤度Ｌを計算する。Ｌは、例えば式５によって計算しても良い。

ここで、ｔｉは以下の値を取る。

ただし、Ｌは尤もらしさを表現すればよいので、対数関数などの単調増加関数でさらに変換しても構わない。また、単調減少関数で変換しても構わない。その場合、後述の弱識別器選択部１６０は、値が最大になる場合ではなく最小になる場合を選択しても良い。本実施の形態においては、尤度の高さが尤もらしさの高さを表すものとする。
弱識別器選択部１６０は、尤度計算部１５０で計算された尤度に基づいて弱識別器を選択する。すなわち、弱識別器選択部１６０は、尤度計算部１５０で計算された尤度が最も高い弱識別器を選択する。弱識別器選択部１６０は、選択した弱識別器に関するパラメータをパラメータ記憶部２３０に記憶する。
次に、本発明の第１の実施の形態における「バッグラベル」の定義について説明する。図６は、本発明の第１の実施の形態におけるポジティブバッグとネガティブバッグの概念図である。図６に示すように、本発明の第１の実施の形態では、バッグの中にポジティブインスタンスが２つ以上存在すれば、そのバッグを「ポジティブバッグ」と呼び、バッグの中のポジティブインスタンスが１つ以下であれば、そのバッグを「ネガティブバッグ」と呼ぶ。
次に、図５、及び図７の流れ図を参照して学習システム１０の全体の動作について詳細に説明する。
図７は、本発明の第１の実施の形態における学習システム１０の動作を示す流れ図である。図７に示すように、まず弱識別器生成部１１０は、特徴量記憶部２１０の保持する特徴量と、バッグラベル記憶部２２０の保持するバッグラベルに基づいて、弱識別器を１つ生成する［弱識別器生成ステップ（ステップＳ１１０）］。弱識別器は、１種類または複数の特徴量を用いて２クラス識別する任意の識別器である。なお、ある弱識別器が最終的に利用されるかどうかは後述のステップＳ１６０の結果次第であり、個々の弱識別器の識別精度が高い必要はない。
次に、弱識別部１２０は、１つのインスタンスについて弱識別行い、識別スコアを得る［弱識別実行ステップ（ステップＳ１２０）］。識別スコアは、例えば０または１の２値をとり得る値でも良いし、実数値でも良い。
次に、インスタンス確率計算部１３０は、インスタンスがポジティブインスタンスである確率、つまり位置、サイズ、および回転角が正確である対象物体のインスタンスである確率（インスタンス確率）を算出する［インスタンス確率計算ステップ（ステップＳ１３０）］。
なお、ステップＳ１２０とステップＳ１３０は、１つのバッグ内の全てのインスタンス分だけ繰り返し実行される。
次に、バッグ確率計算部１４０は、バッグがポジティブである確率、つまりバッグ中のインスタンスのうち２つ以上がポジティブインスタンスである確率（バッグ確率）を、例えば式４に基づいて計算する［バッグ確率計算ステップ（ステップＳ１４０）］。
なお、ステップＳ１２０からＳ１４０までの処理は、全てのバッグ個数分だけ繰り返し実行される。
次に、尤度計算部１５０は、ステップＳ１４０までで計算された学習処理に用いる全てのバッグに関する確率と、バッグラベル記憶部２２０に記憶されたバッグラベルに基づいて、計算された確率の尤もらしさ（尤度）Ｌを計算する［尤度計算ステップ（ステップＳ１５０）］。先述の通り、尤度計算部１５０は、例えば式５によりＬを計算しても良い。
なお、ステップＳ１１０からステップＳ１５０までの処理は、弱識別器生成ステップで生成された全ての弱識別器候補について繰り返し実行される。ただし、後述のステップＳ１６０で選択された弱識別器については除く。つまり、ステップＳ１１０からステップＳ１５０までの処理は、全ての弱識別器候補のうち未選択のものについて繰り返し実行される。
次に、弱識別器選択部１６０は、ステップＳ１５０までの処理で計算された弱識別器の尤度について、最も高い尤度の弱識別器を選択して、弱識別器に関するパラメータをパラメータ記憶部２３０に記憶する［弱識別器選択ステップ（ステップＳ１６０）］。
なお、ステップＳ１１０からＳ１６０までの処理は、所定の回数、または、強識別器としての所定の識別精度に達するまで繰り返す。所定の回数は、事前に決められた回数でも良いし、学習処理時間の上限によって回数を決めても良い。また、所定の識別精度は、例えば、ネガティブインスタンスをポジティブインスタンスであると識別した誤受入率と、ポジティブバッグをネガティブバッグと識別した誤棄却率の２つの値が両方とも閾値を下回るように設定しても良い。
以上説明したように、本発明の第１の実施の形態における学習システム１０は、１つのバッグの中のインスタンスのうち２つ以上がポジティブインスタンスである確率を計算する。つまり学習システム１０は、１つのバッグに対応する摂動された画像テンプレート群のうち２つ以上の画像テンプレートの位置・サイズ・回転角が正しい確率（バッグ確率）を計算する。学習システム１０は、計算したバッグ確率に基づいて学習処理するように構成されているため、見えの変動が多様な物体であっても高い識別精度を得ることが可能な学習ができる。
なぜならば、ポジティブバッグは、摂動させた画像テンプレートのみで構成されるため、摂動が粗くなければ、殆ど正確な位置・サイズ・回転角のテンプレートが必ず複数存在するためである。そのため、本発明の第１の実施の形態における学習システム１０によれば、見えの変動が多様な物体に関する識別といった識別が困難な場合においても、バッグが２つ以上のポジティブインスタンスを含む確率という評価尺度である尤度を最大化することで、バッグ同士で共通した特徴を使った弱識別器が選択されやすい。
＜第２の実施の形態＞
本発明の第２の実施の形態における学習システムは、バッグ確率計算部が、特定の条件を満たすバッグ確率を計算する条件付バッグ確率計算部である点が、第１の実施の形態における学習システムと異なる。
図８は、本発明の第２の実施の形態における学習システム１１の機能構成を示すブロック図である。図８に示すように、学習システム１１は、学習装置１０１と記憶装置２００とを含む。
学習装置１０１は、第１の実施の形態における学習システム１０の学習装置１００とほぼ同じ構成であるが、バッグ確率計算部１４０が、特定の条件を満たすバッグ確率を計算する条件付バッグ確率計算部１４１である点が異なる。記憶装置２００は、第１の実施の形態における学習システム１０の記憶装置２００と同じ構成である。
条件付バッグ確率計算部１４１は、インスタンス確率計算部１３０で計算された、１つのバッグ中のインスタンス全ての確率の値から、バッグがポジティブである確率を計算する。ただし、本実施の形態において「バッグがポジティブである」とは、バッグ中のインスタンスのうち特定の条件を満たす２つ以上のインスタンスがポジティブインスタンスであること、である。また、特定の条件とは、インスタンスに対応した画像テンプレートの位置・サイズ・回転角に関する摂動の程度が近いこと、である。
図９、及び図１０を参照して「摂動の程度が近いこと」について詳しく説明する。図９は、「位置に関して摂動の程度が近いこと」を説明するための図である。図１０は、「スケール・回転角に関して摂動の程度が近いこと」を説明するための図である。図９、及び図１０に示すように、「摂動の程度が近い」とは、例えば、図９と図１０において太枠で囲まれた隣接した２つの画像テンプレートの関係に相当する。このように、本実施の形態では摂動の程度が近い２つのインスタンスが同時にポジティブインスタンスであることを「バッグがポジティブである」と定義する。
次に、本発明の第２の実施の形態における「バッグラベル」の定義について説明する。図１１は、本発明の第２の実施の形態におけるポジティブバッグとネガティブバッグの概念図である。図１１において、３は摂動の程度が近いポジティブインスタンスの例である。また、４は摂動の程度が近くないポジティブインスタンスの例である。
図１１に示すように、本発明の第２の実施の形態では、バッグの中にポジティブインスタンスが２つ以上存在し、そのポジティブインスタンスに対応した画像テンプレートの摂動の程度が近い場合に、そのバッグを「ポジティブバッグ」と呼ぶ。バッグの中のポジティブインスタンスが２つ以上存在しても、摂動の程度が近くない場合は、そのバッグを「ネガティブバッグ」と呼ぶ。
図１２は、摂動の程度とインスタンスがポジティブである確率との関係を説明するための図である。図１２に示すように、実際に学習処理するバッグは、摂動させた画像テンプレートのみで構成されるため、摂動が粗くなければ、殆ど正確な位置・サイズ・回転角のテンプレートが必ず複数存在し、しかもそれらテンプレート同士は摂動の程度が近い、という性質がある。図１２において、縦軸は「インスタンスがポジティブである確率」を示す。また、横軸は「摂動の程度」を示す。
条件付バッグ確率計算部１４１は、上記の性質に基づき、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）を計算する。
条件付バッグ確率計算部１４１は、式６によって条件付バッグ確率を計算しても良い。

ただし、

式６において、右辺の大括弧内の第３項Ｒは摂動の程度が近くない２つのインスタンスがポジティブインスタンスである確率である。つまり、式６におけるＰｉは、摂動の程度が近い２つのポジティブインスタンスが１組以上存在する確率を表していると言える。Ｒは、摂動の程度が近くない２つのインスタンスがポジティブインスタンスである確率を表すものであれば、どのような式で表しても良い。
本実施の形態において、尤度計算部１５０は、バッグラベル記憶部２２０が保持するバッグラベルに基づいて、条件付バッグ確率計算部１４１で計算された、学習に用いる複数のバッグのバッグ確率の尤もらしさを表す尤度Ｌを計算する。
次に、図８、及び図１３の流れ図を参照して学習システム１１の全体の動作について詳細に説明する。
図１３は、本発明の第２の実施の形態における学習システム１１の動作を示す流れ図である。図１３に示すように、学習システム１１の動作は、学習システム１０の動作とほぼ同じであるが、図７のステップＳ１４０における動作が、ステップＳ１４１（条件付バッグ確率計算ステップ）である点が異なる。
学習システム１１は、ステップ１４０の動作の代わりに、条件付バッグ確率計算部１４１が、バッグがポジティブである確率を計算する。つまり、条件付バッグ確率計算部１４１は、バッグ内の摂動の程度が近い２つのインスタンスがポジティブインスタンスである確率を、例えば式６に基づいて計算する［条件付バッグ確率計算ステップ（ステップＳ１４１）］。
学習システム１１における尤度算出ステップＳ１５０では、尤度計算部１５０が、ステップＳ１４１までで計算された学習処理に用いる全てのバッグに関する確率と、バッグラベル記憶部２２０に記憶されたバッグラベルに基づいて、計算された確率の尤もらしさＬを計算する。
以上説明したように、本発明の第２の実施の形態における学習システム１１は、１つのバッグの中のインスタンスのうち摂動の程度が近い２つがポジティブインスタンスである確率を計算する。つまり学習システム１１は、１つのバッグに対応する摂動された画像テンプレート群のうち摂動の程度が近い２つの画像テンプレートの位置・サイズ・回転角が正しい確率（条件付バッグ確率）を計算する。学習システム１１は、計算した条件付バッグ確率に基づいて学習処理するように構成されているため、見えの変動が多様な物体であっても高い識別精度を得ることが可能な学習ができる。
なぜならば、ポジティブバッグは、摂動させた画像テンプレートのみで構成されるため、摂動が粗くなければ、殆ど正確な位置・サイズ・回転角のテンプレートが摂動の程度が近い範囲内に必ず複数存在するためである。そのため、本発明の第２の実施の形態における学習システム１１によれば、見えの変動が多様な物体に関する識別といった識別が困難な場合においても、バッグが摂動の程度が近い２つ以上のポジティブインスタンスを含む確率という評価尺度である尤度を最大化することで、バッグ同士で共通した特徴を使った弱識別器が選択されやすい。
＜第３の実施の形態＞
本発明の第３の実施の形態は、第１又は第２の実施の形態における学習システムで学習したパラメータを用いて物体の識別処理を行う識別システム２０である。
図１４は、本発明の第３の実施の形態における識別システムと学習システムとの関係の機能構成を示すブロック図である。図１４に示すように、識別システム２０は、学習システム１０又は１１が含む記憶装置２００と、識別装置３００と、を含む。学習システム１０又は１１については、第１又は第２の実施の形態と同様の構成であるため説明を省略する。また、図１４に示すように、識別システム２０を含むシステム全体を学習システム３０としても良い。
識別装置３００は特徴量抽出手部３１０と識別部３２０とを含む。
特徴量抽出部３１０は、識別の対象となる画像から特徴量を抽出する。
識別部３２０は、特徴量抽出部３１０が抽出した特徴量について、パラメータ記憶部２３０から読み出したパラメータに基づいて画像中の物体を識別する。
次に、図１４、及び図１５の流れ図を参照して、識別システム２０の動作について説明する。
図１５は、識別システム２０の動作を示す流れ図である。図１５に示すように、まずユーザは、識別したい画像を特徴量抽出部３１０に入力する。特徴量抽出部３１０は、入力された識別の対象となる画像から特徴量を抽出する［特徴量抽出ステップ（ステップＳ３１０）］。
特徴量抽出部３１０は、上記の学習システム１０又は１１の特徴量記憶部２１０に記憶される特徴量と同じ方式で計算した特徴量を抽出する。ただし、弱識別器選択部１６０において、選択された弱識別器が必要とする特徴量のみを抽出しても良い。特徴量抽出部３１０は、どの特徴量が必要かどうかの情報をパラメータ記憶部２３０から読み出す。
次に、識別部３２０は、特徴量抽出手部３１０で抽出した特徴量について、パラメータ記憶部２３０から読み出したパラメータに基づいて画像中の物体の種類を識別する［識別ステップ（ステップＳ３２０）］。
この物体の種類を識別する方式は、学習システム１０又は１１で採用した手法にあわせれば良い。例えば、特許文献１はＬＶＱの一種である。この手法を学習に採用した場合、識別部３２０は、特徴量をベクトルとして考え、所定の次元数の特徴量を用いて、識別のパラメータである代表ベクトル（参照ベクトルとも呼ぶ）との識別を実行すれば良い。
以上説明したように、本発明の識別システム２０によれば、学習システム１０又は１１で学習したパラメータを用いることで、見えの変動が多様な物体であっても高い識別精度で識別することができる。
＜第４の実施の形態＞
図１６は、第４の実施の形態における本発明に係る学習装置１０２の機能構成を示すブロック図である。図１６に示すように、学習装置１０２は、弱識別器生成部１１０と、弱識別部１２０と、インスタンス確率計算部１３０と、バッグ確率計算部１４０と、尤度計算部１５０と、を含む。
弱識別器生成部１１０は、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成する。
複数のバッグから抽出した特徴量とバッグラベルは、図１６には図示しない記憶装置が保持していても良い。その場合、弱識別器生成部１１０は、適宜図示しない記憶装置から特徴量とバッグラベルを読み出して、弱識別器を生成しても良い。
弱識別部１２０は、弱識別器生成部１１０によって生成された弱識別器に基づいて識別スコアを計算する。
インスタンス確率計算部１３０は、弱識別部１２０によって計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算する。
バッグ確率計算部１４０は、インスタンス確率計算部１３０で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算する。
尤度計算部１５０は、バッグ確率計算部１４０で計算されたバッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する。バッグラベルは、１６には図示しない記憶装置が保持していても良い。その場合、尤度計算部１５０は、適宜図示しない記憶装置からバッグラベルを読み出して、尤度を計算しても良い。
次に、図１６、及び図１７の流れ図を参照して、学習装置１０２の動作について説明する。
図１７は、第４の実施の形態における学習装置１０２の動作を示す流れ図である。図１７に示すように、まず弱識別器生成部１１０は、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて、弱識別器を１つ生成する［弱識別器生成ステップ（ステップＳ１１０）］。
次に、弱識別部１２０は、１つのインスタンスについて弱識別行い、識別スコアを得る［弱識別実行ステップ（ステップＳ１２０）］。
次に、インスタンス確率計算部１３０は、インスタンスがポジティブインスタンスである確率、つまり位置、サイズ、および回転角が正確である対象物体のインスタンスである確率（インスタンス確率）を算出する［インスタンス確率計算ステップ（ステップＳ１３０）］。
なお、ステップＳ１２０とステップＳ１３０は、１つのバッグ内の全てのインスタンス分だけ繰り返し実行される。
次に、バッグ確率計算部１４０は、バッグがポジティブである確率、つまりバッグ中のインスタンスのうち２つ以上がポジティブインスタンスである確率（バッグ確率）を、例えば式４に基づいて計算する［バッグ確率計算ステップ（ステップＳ１４０）］。
なお、ステップＳ１２０からＳ１４０までの処理は、全てのバッグ個数分だけ繰り返し実行される。
次に、尤度計算部１５０は、ステップＳ１４０までで計算された学習処理に用いる全てのバッグに関する確率と、バッグラベルとに基づいて、計算された確率の尤もらしさ（尤度）Ｌを計算する［尤度計算ステップ（ステップＳ１５０）］。
なお、ステップＳ１１０からステップＳ１５０までの処理は、弱識別器生成ステップで生成された全ての弱識別器候補について繰り返し実行される。
その後、学習装置１０２は、尤度計算ステップで計算された尤度に基づいて弱識別器を選択し、該弱識別器に関するパラメータを図示しない記憶装置に記憶しても良い。
以上説明したように、本発明の学習装置１０２によれば、見えの変動が多様な物体であっても高い識別精度を得ることが可能な学習ができる。

次に、本発明の第１の実施の形態の具体的な実施例を説明する。以下、人物の頭部を識別対象とする例について説明する。
本実施例では、統計的パターン認識手法として、特許文献１に記載されている手法を用いる。以下、この手法を「カスケード型ＧＬＶＱ（カスケード型一般化学習ベクトル量子化）」と表記する。
まず、具体的な構成や動作の説明の前に、カスケード型ＧＬＶＱについて簡潔に説明する。カスケード型に限らずＬＶＱによる手法では、識別したいクラス毎に参照ベクトルと呼ばれる代表ベクトルを用意し、学習処理によって識別に適した参照ベクトルを求める。
ここでは、特に、特徴量パターンをＤ次元ベクトルとした場合について説明する。カスケード型ＧＬＶＱの学習処理では、まず、ある１次元に着目し、その次元の値のみを使って１次元の参照ベクトルを学習する。この処理をすべての次元分だけ実行することで、１次元の参照ベクトルがＤ個求まる。そして、１次元参照ベクトルの中で最も識別に向くベクトルを選択する。次に、選択済みの次元と未選択の次元のある１次元に着目し、２次元の参照ベクトルを学習する。そして、１次元目と同様の手順により、２次元の参照ベクトルの中で最も識別に向くベクトルを選択する。このような処理を３次元目以降も繰り返すことで、最終的にＤ次元の参照ベクトルが求まる。
なお、カスケード型ＧＬＶＱの識別処理では、入力された特徴量パターンと参照ベクトルとの距離を計算し、最も近い参照ベクトルが属するクラスに識別される。
次に、本実施例の具体的な構成を説明する。
学習システム１０の構成図である図５において、学習装置１００としてパーソナルコンピュータ、記憶装置２００として半導体メモリを用いる。この場合、特徴量記憶部２１０とバッグラベル記憶部２２０、パラメータ記憶部２３０は半導体メモリ上の一部とみなせる。一方、弱識別器生成部１１０、弱識別部１２０、インスタンス確率計算部１３０、バッグ確率計算部１４０、尤度計算部１５０、弱識別器選択部１６０は、パーソナルコンピュータのＣＰＵ上で実現できる。
なお、特徴量記憶部２１０は、事前に、位置・スケール・回転角に関して摂動させた頭部画像テンプレートについて特徴量を抽出したデータ（ポジティブインスタンス）と、物体でない画像テンプレートについて特徴量を抽出したデータ（ネガティブインスタンス）とを保持する（図２、図３参照）。これらのデータを用意するのに、位置・スケール・回転角に関して正確な情報は必要ない。
また、バッグラベル記憶部２２０は、事前に、特徴量記憶部２１０に記憶されているインスタンスで構成されるバッグの情報として、各バッグがポジティブであるかネガティブであるかという情報（バッグラベル）を保持する。
次に本実施例の動作を説明する。
まず、学習システム１０は、図７のステップＳ１１０に相当する動作を実行する。ステップＳ１１０において、弱識別器生成部１１０は、特徴量記憶部２１０に記憶されたＤ次元特徴量のうちある１次元のみに着目した弱識別器を生成する。弱識別器を生成する動作は、カスケード型ＧＬＶＱにおける１次元分の識別器（１次元の参照ベクトル群）を学習する動作に相当する。
次に、学習システム１０は、ステップＳ１２０に相当する動作を実行する。ステップＳ１２０において、弱識別部１２０は、Ｓ１１０で生成された弱識別器による弱識別として、カスケード型ＧＬＶＱにおける１次元分の識別処理を行い、識別スコアを計算する。カスケード型ＧＬＶＱでは、識別スコアとして実数値が出力される。
次に、学習システム１０は、ステップＳ１３０に相当する動作を実行する。ステップＳ１３０において、インスタンス確率計算部１３０は、式３によって識別スコアからインスタンス確率を計算する。式３の係数αとβについては、例えば、それぞれ１としても良い。なお、学習システム１０は、ステップＳ１２０とＳ１３０との動作を、１つのバッグ内の全てのインスタンス分だけ繰り返し実行する。
次に、学習システム１０は、ステップＳ１４０に相当する動作を実行する。ステップＳ１４０において、バッグ確率計算部１４０は、式４に基づいてバッグがポジティブである確率を計算する。これにより求まる値は、具体的には、バッグの中に正確に切出された頭部画像テンプレートが２つ以上ある確率である。なお、学習システム１０は、ステップＳ１２０からＳ１４０までの動作を、全てのバッグ個数分だけ繰り返し実行する。
次に、学習システム１０は、ステップＳ１５０に相当する動作を実行する。ステップＳ１５０において、尤度計算部１５０は、式５に基づいて尤度を計算する。ただし、計算途中の値が微小な数値になり、数値計算上不安定になる場合があるため、本実施例においては、尤度計算部１５０は、式５の尤度Ｌの対数Ｌｏｇ（Ｌ）を計算する。なお、学習システム１０は、ステップＳ１１０からＳ１５０までの動作を、全ての弱識別器候補の数Ｄから選択済みの候補数を引いた回数だけ繰り返し実行する。
次に、学習システム１０は、ステップＳ１６０に相当する動作を実行する。ステップＳ１６０において、弱識別器選択部１６０は、最も高い尤度となる弱識別器を選択し、選択した弱識別器に関するパラメータを、パラメータ記憶部２３０に記録する。記録するパラメータは、弱識別に使う特徴量次元の番号、カスケード型ＧＬＶＱの参照ベクトル、弱識別したスコアの閾値である。なお、ステップＳ１１０からＳ１６０までの処理は所定の回数、例えばＤ回実行する。
以上の動作により、パラメータ記憶部２３０に学習処理の結果としてのパラメータが保持される。
＜実施の形態の他の表現＞
上記の各実施の形態においては、以下に示すような学習装置、学習システム、学習方法、学習プログラム及び識別装置の特徴的構成が示されている（以下のように限定されるわけではない）。なお、本発明の学習プログラムは、コンピュータに、図７、図１３、図１５、又は図１７に示した各ステップを実行させるプログラムであって、各実施の形態で説明した各ステップの動作を実行させるプログラムであれば良い。
（付記１）
対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成する弱識別器生成手段と、
前記弱識別器生成手段によって生成された弱識別器に基づいて前記識別スコアを計算する弱識別手段と、
前記弱識別手段によって計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算するインスタンス確率計算手段と、
前記インスタンス確率計算手段で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算するバッグ確率計算手段と、
前記バッグ確率計算手段で計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する尤度計算手段と、
を含む学習装置。
（付記２）
前記正確な対象物体のインスタンスは、位置、サイズ、および回転角が正確である対象物体のインスタンスである、
付記１に記載の学習装置。
（付記３）
前記バッグ確率計算手段は、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）を計算する条件付バッグ確率計算手段である、
付記１又は２に記載の学習装置。
（付記４）
付記１〜３のいずれかに記載の学習装置と記憶装置とを含む学習システムであって、
前記記憶装置は、
正確な対象物体のインスタンス（ポジティブインスタンス）を２つ以上含む、対象物体のインスタンスについて摂動させた多数のインスタンスの集合（ポジティブバッグ）と、ポジティブバッグではないインスタンスの集合（ネガティブバッグ）とに関する、複数のバッグから抽出した特徴量を保持する特徴量記憶手段と、
各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルを保持するバッグラベル記憶手段と、
を含み
前記学習装置において、
前記弱識別器生成手段は、前記弱識別器を、前記特徴量記憶手段の保持する特徴量と前記バッグラベル記憶手段の保持するバッグラベルとに基づいて生成し、
前記尤度計算手段は、前記尤度を、前記バッグラベル記憶手段が保持するバッグラベルに基づいて、学習に用いる複数のバッグを対象に計算し、
前記学習装置は、前記尤度計算手段で計算された尤度に基づいて弱識別器を選択する弱識別器選択手段をさらに含み、
前記記憶装置は、前記弱識別器選択手段で選択された弱識別器に関するパラメータを記憶するパラメータ記憶手段をさらに含む、
学習システム。
（付記５）
識別の対象となる画像から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出した特徴量について、前記パラメータ記憶手段が記憶する前記パラメータに基づいて前記画像中の物体を識別する識別手段と、
を含む付記４に記載の学習システム。
（付記６）
対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、
前記生成された弱識別器に基づいて前記識別スコアを計算し、
前記計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、
前記計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、
前記計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する、
学習方法。
（付記７）
前記正確な対象物体のインスタンスは、位置、サイズ、および回転角が正確である対象物体のインスタンスである、
付記６に記載の学習方法。
（付記８）
前記バッグ確率は、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）である、
付記６又は７に記載の学習方法。
（付記９）
対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、
前記生成された弱識別器に基づいて前記識別スコアを計算し、
前記計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、
前記計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、
前記計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する、
処理をコンピュータに実行させる学習プログラムを格納する記録媒体。
（付記１０）
前記正確な対象物体のインスタンスは、位置、サイズ、および回転角が正確である対象物体のインスタンスである、
付記９に記載の学習プログラムを格納する記録媒体。
（付記１１）
前記バッグ確率は、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）である、
付記９又は１０に記載の学習プログラムを格納する記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は以上の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
この出願は、２０１０年９月９日に出願された日本出願特願２０１０−２０１５９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明の学習装置、学習システム、学習方法、及び学習プログラムは、カメラで撮影された画像について人物や自動車といった所望の物体に応じて分類する画像整理用途や、所望の物体を画像から検出して物体の状況を監視する自動監視用途等に適用できる。

１０ 学習システム
１１ 学習システム
２０ 識別システム
３０ 学習システム
１００ 学習装置
１０１ 学習装置
１０２ 学習装置
１１０ 弱識別器生成部
１２０ 弱識別部
１３０ インスタンス確率計算部
１４０ バッグ確率計算部
１４１ 条件付バッグ確率計算部
１５０ 尤度計算部
１６０ 弱識別器選択部
２００ 記憶装置
２１０ 特徴量記憶部
２２０ バッグラベル記憶部
２３０ パラメータ記憶部
３００ 識別装置
３１０ 特徴量抽出部
３２０ 識別部

【書類名】 明細書
【発明の名称】 物体識別向けの学習装置、学習システム、学習方法、及び学習プログラム
【技術分野】 本発明は、画像中の物体を識別するための学習に関し、特に高い識別精度を得ることが可能な学習装置、学習システム、学習方法、及び学習プログラムに関する。
【背景技術】
【０００１】
画像中の物体を識別する方式の１つとして、統計的パターン認識技術に基づく方式がある。この方式では、物体のテクスチャデータを事前に収集して学習処理を実行し、学習処理で計算されたパラメータに基づいて識別処理を実行することで、識別したい画像中のテクスチャが物体のものであるか否かを識別する。この方式では高い識別精度を得られることが知られている。
【０００２】
その反面、統計的な手法であるため高い識別精度を得るためには、学習処理を実行するために必要なデータ（以下、学習データと記載する）を大量に用意する必要がある。学習データとは、識別の対象となる対象物体を切出した画像テンプレート群とそれら個々の物体のクラス情報（ラベルとも呼ばれる）の集合とみなしてよい。この学習データを作成するためには、物体が映った画像を用意し、さらに、画像上での対象物体の正確な位置・サイズ・回転角等の情報を用意する必要がある。この対象物体の位置・サイズ・回転角等の情報は、通常、人間が画像を目視し、手作業によって作成する。
【０００３】
統計的パターン認識技術に基づく方式の問題は、この学習データを作成するための作業量が膨大であることである。また、画像テンプレートを切出す際の対象物体の位置・サイズ・回転角等の決定基準を、どのようにして定めれば良い識別精度を得られるかは、実際に学習して、識別してみなければわからない。例えば、対象物体が人体の場合を考える。対象物体が人体か否かを識別するのに、全身の画像を画像テンプレートとして利用するのが良いか、または手足のように位置の変動が大きな部位を使わず胴体のみの画像を画像テンプレートとして利用するのが良いかは実際に試してみないとわからない。
【０００４】
仮に、対象物体の位置・サイズ・回転角等が正確でなくとも、自動的かつ適切に学習できるならば、学習データを作成する作業量を大幅に削減することができる。このような学習方式の１つが非特許文献１に記載されている。
【０００５】
非特許文献１に記載されている手法は、Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ Ｂｏｏｓｔｉｎｇと呼ばれる。この手法では、ある対象について位置・サイズ・回転角を摂動させた多数の画像テンプレートを用意し、これら画像テンプレートの集合（以下、バッグと記載する）を用いて学習処理を行う。非特許文献１に記載の手法は、「バッグ内の多数の画像テンプレートのうち１つ以上が正確な位置・サイズ・回転角に基づいた物体の画像テンプレートである確率」に基づいた評価尺度で学習する。これにより非特許文献１に記載の手法は、画像テンプレートの集合の中に、正確でない位置・サイズ・回転角に基づいた画像テンプレートが含まれていても、学習処理の過程で自動的に、バッグ同士で共通した特徴を見いだし学習する。つまり、非特許文献１に記載の手法は、自動的に物体の位置・サイズ・回転角が揃った特徴を選んで学習処理をしていると解釈できる。
【０００６】
統計的パターン認識技術分野においては、多種多様な学習方式が存在し、そのうちの１種としてアンサンブル型と呼ばれる種類の学習方式がある。この方式では、弱識別器と呼ばれる識別器を複数組み合わせることによって、最終的な識別結果を得る。この方式では、弱識別器群が行う識別と最終的な識別とを合わせた一連の識別処理を、１つの識別器が行っているとみなす。その一連の識別処理を行う１つの識別器を、強識別器と呼ぶ。この方式の特徴は、弱識別器１つずつの識別精度は必ずしも高くなくても、強識別器としてみれば高い識別精度を得られる点である。非特許文献１では「ブースティング」と呼ばれるアンサンブル型学習方式を改良した方式が採用されている。
【０００７】
一方、特許文献１に記載の手法は、学習ベクトル量子化（ＬＶＱ）と呼ばれる統計的パターン認識手法の１種である。ＬＶＱという手法自体はアンサンブル型学習方式ではないが、この特許文献１では、アンサンブル学習に近い概念が取り入れられている。
【０００８】
特許文献１に記載の手法は、パターンの特徴ベクトルについて、識別に有効な次元を逐次選択して追加していく。このため、特許文献１に記載の手法は、最初は低次元ベクトルによる識別を行い、その後は次元が追加された高次元ベクトルによる識別を行う。この手法の場合、追加される特徴次元による識別を弱識別器とみなせば、弱識別器群の組み合わせによって強識別器を構成しているとみなせるので、アンサンブル型の学習方式の一種とみなせる。
【０００９】
その他、本発明に関連する技術として、特許文献２及び特許文献３にはサンプル画像を用いた学習方式が記載されている。
【先行技術文献】
【特許文献】
【００１０】
【非特許文献】
【００１１】
【非特許文献１】 Ｐａｕｌ Ｖｉｏｌａ，Ｊｏｈｎ Ｃ． Ｐｌａｔｔ，ａｎｄ Ｃｈａ Ｚｈａｎｇ著「Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｂｏｏｓｔｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」Ｉｎ ＮＩＰＳ １８、１４１９−１４２６ページ、ＭＩＴ Ｐｒｅｓｓ、２００６年
【特許文献１】 特願２００９−０２２８９８号公報
【特許文献２】 特開２００５−２５０７７３号公報
【特許文献３】 特開２００７−２２６５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら上記の関連技術では、対象物体の見えの変動が多様な場合に十分高い識別精度を得ることができない。例えば非特許文献１に記載の技術は、学習処理において「バッグ内の画像テンプレートのどれか１つ以上が物体の正確な位置・サイズ・回転角である確率」という確率に基づいた評価尺度を用いている。このため、非特許文献１に記載の技術は、見えの変動が多様な物体に対しては、評価尺度である尤度を最大化しても、バッグ同士で共通した特徴に着目できず、その結果、対象物体が共通して持つ特徴を学習できない。
【００１３】
以上より、本発明の目的は、見えの変動が多様な物体であっても高い識別精度を得ることが可能な、物体識別向けの学習装置、学習システム、学習方法、及び学習プログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明に係る学習装置は、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成する弱識別器生成部と、弱識別器生成部によって生成された弱識別器に基づいて識別スコアを計算する弱識別部と、弱識別部によって計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算するインスタンス確率計算部と、インスタンス確率計算部で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算するバッグ確率計算部と、バッグ確率計算部で計算されたバッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する尤度計算部と、を含む。
【００１５】
上記目的を達成するために、本発明に係る学習システムは、上述の学習装置と記憶装置とを含む学習システムであって、記憶装置は、正確な対象物体のインスタンス（ポジティブインスタンス）を２つ以上含む、対象物体のインスタンスについて摂動させた多数のインスタンスの集合（ポジティブバッグ）と、ポジティブバッグではないインスタンスの集合（ネガティブバッグ）とに関する、複数のバッグから抽出した特徴量を保持する特徴量記憶部と、各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルを保持するバッグラベル記憶部と、を含み学習装置において、弱識別器生成部は、弱識別器を、特徴量記憶部の保持する特徴量とバッグラベル記憶部の保持するバッグラベルとに基づいて生成し、尤度計算部は、尤度を、バッグラベル記憶部が保持するバッグラベルに基づいて、学習に用いる複数のバッグを対象に計算し、学習装置は、尤度計算部で計算された尤度に基づいて弱識別器を選択する弱識別器選択部をさらに含み、記憶装置は、弱識別器選択部で選択された弱識別器に関するパラメータを記憶するパラメータ記憶部をさらに含む。
【００１６】
上記目的を達成するために、本発明に係る学習方法は、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、生成された弱識別器に基づいて識別スコアを計算し、計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、計算されたバッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する。
【００１７】
上記目的を達成するために、本発明に係る学習プログラムは、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、生成された弱識別器に基づいて識別スコアを計算し、計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、計算されたバッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する、処理をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明における物体識別向けの学習装置、学習システム、学習方法、及び学習プログラムによれば、見えの変動が多様な物体であっても高い識別精度を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】 非特許文献１におけるポジティブバッグとネガティブバッグの概念図である。
【図２】 「位置に関して摂動させて切出した画像テンプレート」を説明するための図である。
【図３】 「スケール・回転角に関して摂動させて切出した画像テンプレート」を説明するための図である。
【図４】 物体識別の学習処理に用いるデータを説明するための図である。
【図５】 本発明の第１の実施の形態における学習システムの機能構成を示すブロック図である。
【図６】 本発明の第１の実施の形態におけるポジティブバッグとネガティブバッグの概念図である。
【図７】 本発明の第１の実施の形態における学習システムの動作を示す流れ図である。
【図８】 本発明の第２の実施の形態における学習システムの機能構成を示すブロック図である。
【図９】 「位置に関して摂動の程度が近いこと」を説明するための図である。
【図１０】 「スケール・回転角に関して摂動の程度が近いこと」を説明するための図である。
【図１１】 本発明の第２の実施の形態におけるポジティブバッグとネガティブバッグの概念図である。
【図１２】 摂動の程度とインスタンスがポジティブである確率との関係を説明するための図である。
【図１３】 本発明の第２の実施の形態における学習システムの動作を示す流れ図である。
【図１４】 本発明の第３の実施の形態における識別システムと学習システムとの関係の機能構成を示すブロック図である。
【図１５】 識別システムの動作を示す流れ図である。
【図１６】 第４の実施の形態における本発明に係る学習装置の機能構成を示すブロック図である。
【図１７】 第４の実施の形態における学習装置の動作を示す流れ図である。
【発明を実施するための形態】
【００２０】
まず、本発明の理解を容易にするために、本発明の関連技術について詳細に説明する。
【００２１】
非特許文献１では、対象物体である事象を「ポジティブ」と呼び、対象物体でない事象を「ネガティブ」と呼ぶ。また、位置・サイズ・回転角が正確である対象物体の画像テンプレートを「ポジティブインスタンス」と呼び、正確でない対象物体の画像テンプレートおよび対象物体でない画像テンプレートのことを「ネガティブインスタンス」と呼ぶ。尚、インスタンスという言葉は、画像テンプレートそのものを指すことと、画像テンプレートを任意の特徴量に変換した特徴量テンプレートを指すことがある。
【００２２】
非特許文献１では、バッグの中にポジティブインスタンスが１つでも存在すれば、そのバッグを「ポジティブバッグ」と呼び、バッグの中にネガティブインスタンスのみが存在すれば、そのバッグを「ネガティブバッグ」と呼ぶ。図１は、非特許文献１におけるポジティブバッグとネガティブバッグの概念図である。バッグがポジティブかネガティブかという情報を「バッグラベル」と呼ぶ。
【００２３】
図２及び図３は、「摂動させて切出した画像テンプレート」を説明するための図である。具体的には、図２は、「位置に関して摂動させて切出した画像テンプレート」を説明するための図である。図２は、対象物体の画像テンプレートを横方向と縦方向に摂動させた画像テンプレートの集合を示す。図２において、縦軸は「縦方向の位置の摂動」を示す。また、横軸は「横方向の位置の摂動」を示す。図３は、「スケール・回転角に関して摂動させて切出した画像テンプレート」を説明するための図である。図３は、対象物体の画像テンプレートを回転角とスケールとに関して摂動させた画像テンプレートの集合を示す。図３において、縦軸は「スケールの摂動」を示す。また、横軸は「回転角の摂動」を示す。ポジティブバッグは、図２と図３に示すように、位置やサイズ等を摂動させて切出した画像テンプレート群で構成される。
【００２４】
図４は、物体識別の学習処理に用いるデータを説明するための図である。図４において、１（星のマーク）は物体画像テンプレートを摂動させて生成した画像テンプレートである。また、２（四角のマーク）は物体画像以外のその他の画像テンプレートから生成した画像テンプレートである。
【００２５】
図４に示すように、学習処理に用いるデータは、対象物体の画像テンプレートを摂動させて生成した画像テンプレートの集合であるポジティブバッグとその他の画像テンプレートから生成した画像テンプレートの集合であるネガティブバッグとを含む。実際に学習する際には、複数のポジティブバッグと１つ以上のネガティブバッグが用いられる。
【００２６】
以下に、非特許文献１の学習処理における計算手順を説明する。ｉ番目のバッグ内のｊ番目の画像テンプレートが対象物体である確率をＰｉｊとし、バッグ内の１つ以上の画像テンプレートが対象物体である確率をＰｉとすると、Ｐｉは式１によって計算される。
【００２７】
【数１】

また、識別結果の尤もらしさを評価する評価尺度をＬとすると、Ｌは式２によって定義される。
【００２８】
【数２】

ｔｉは、ｉ番目のバッグに対象物体が１つ以上含まれている場合は１、そうでない場合は０をとる変数である。非特許文献１に記載の技術は、上記Ｌで表される尤度を最大化するように学習パラメータを求める。以上の非特許文献１で与えられる言葉の定義は、以下に記載する本発明の実施の形態における説明でも、特に断らない限りにおいて同様の意味で使用する。
【００２９】
以下、本発明の実施の形態について説明する。なお、各実施の形態の学習システムを構成する各装置における各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
【００３０】
制御部は、ＣＰＵ（Central Processing Unit。以下同様。）などからなり、オペレーティングシステムを動作させて学習システムの各装置の全体を制御する。また、制御部は、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
【００３１】
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【００３２】
また、各実施の形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施の形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段は特に限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施の形態のシステムを実現しても良い。
【００３３】
＜第１の実施の形態＞
図５は、本発明の第１の実施の形態における学習システム１０の機能構成を示すブロック図である。図５に示すように、学習システム１０は、学習装置１００と、記憶装置２００とを含む。学習装置１００は、弱識別器生成部１１０と、弱識別部１２０と、インスタンス確率計算部１３０と、バッグ確率計算部１４０と、尤度計算部１５０と、弱識別器選択部１６０とを含む。記憶装置２００は、特徴量記憶部２１０と、バッグラベル記憶部２２０と、パラメータ記憶部２３０とを含む。
【００３４】
まず、記憶装置２００が含む各記憶部について説明する。
【００３５】
特徴量記憶部２１０は、事前に、学習に利用するインスタンスを保持する。本実施の形態において、学習に利用するインスタンスは、画像テンプレートを任意の特徴量に変換したデータであって、ポジティブバッグ又はネガティブバッグに含まれる。すなわち、特徴量記憶部２１０は、正確な対象物体の画像テンプレート（ポジティブインスタンス）を２つ以上含む、対象物体の画像テンプレートについて摂動させた多数の画像テンプレートの集合（ポジティブバッグ）と、ポジティブバッグではない画像テンプレートの集合（ネガティブバッグ）とに関する、複数のバッグから抽出した特徴量を保持する。
【００３６】
バッグラベル記憶部２２０は、事前に、学習に利用する個々のバッグがポジティブバッグであるかまたはネガティブバッグであるかという情報であるバッグラベルを保持する。
【００３７】
パラメータ記憶部２３０は、弱識別器選択部１６０で選択された弱識別器に関するパラメータを記憶する。弱識別器に関するパラメータは、具体的には、使用する特徴量、弱識別の手順を決定する値、又は閾値等であり、弱識別器の識別方式によって異なる。
【００３８】
次に、学習装置１００が含む各構成について説明する。
【００３９】
弱識別器生成部１１０は、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、特徴量記憶部２１０の保持する特徴量とバッグラベル記憶部２２０の保持するバッグラベルとに基づいて生成する。生成される弱識別器は、１種類または複数の特徴量を用いて２クラス識別する任意の識別器でも良い。
【００４０】
弱識別部１２０は、弱識別器生成部１１０によって生成された弱識別器に基づいて、画像テンプレートを識別処理して、識別スコアを計算する。
【００４１】
インスタンス確率計算部１３０は、弱識別部１２０によって計算された識別スコアに基づいて対象のインスタンスがポジティブインスタンスである確率（インスタンス確率）Ｐｉｊを計算する。インスタンス確率Ｐｉｊは、例えば、式３によって計算されても良い。
【００４２】
【数３】

式３においてｉはバッグの番号、ｊはインスタンスの番号である。また、Ｓｉｊは弱識別器によって求められた識別スコアである。係数αとβは、実際のデータを元に近似推定しても良いし、定数としても良い。尚、スコア確率値を量子化して１対１に対応付けた対応表による変換といった、式３による算出以外の算出方法であっても、Ｐｉｊが数学的に確率としての条件を満たせば良い。
【００４３】
バッグ確率計算部１４０は、インスタンス確率計算部１３０で計算された、１つのバッグ中のインスタンス全てのインスタンス確率の値から、バッグがポジティブである確率を計算する。ただし、「バッグがポジティブである」とは、バッグ中のインスタンスのうち２つ以上がポジティブインスタンスであること、である。すなわち、バッグ確率計算部１４０は、インスタンス確率計算部１３０で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算する。例えば、バッグ確率計算部１４０は、式４によってバッグ確率を計算しても良い。
【００４４】
【数４】

ただし、
【００４５】
【数５】

式４において、右辺の大括弧内の第１項はすべてのインスタンスがポジティブインスタンスでない確率であり、一方、第２項は１つのインスタンスだけがポジティブインスタンスである確率である。式４におけるＰｉは、１から第１項と第２項を引くことで、２つ以上のインスタンスがポジティブインスタンスである確率を表していると言える。
【００４６】
尤度計算部１５０は、バッグラベル記憶部２２０が保持するバッグラベルに基づいて、バッグ確率計算部１４０で計算された、学習に用いる複数のバッグのバッグ確率の尤もらしさを表す尤度Ｌを計算する。Ｌは、例えば式５によって計算しても良い。
【００４７】
【数６】

ここで、ｔｉは以下の値を取る。
【００４８】
【数７】

【００４９】
ただし、Ｌは尤もらしさを表現すればよいので、対数関数などの単調増加関数でさらに変換しても構わない。また、単調減少関数で変換しても構わない。その場合、後述の弱識別器選択部１６０は、値が最大になる場合ではなく最小になる場合を選択しても良い。本実施の形態においては、尤度の高さが尤もらしさの高さを表すものとする。
【００５０】
弱識別器選択部１６０は、尤度計算部１５０で計算された尤度に基づいて弱識別器を選択する。すなわち、弱識別器選択部１６０は、尤度計算部１５０で計算された尤度が最も高い弱識別器を選択する。弱識別器選択部１６０は、選択した弱識別器に関するパラメータをパラメータ記憶部２３０に記憶する。
【００５１】
次に、本発明の第１の実施の形態における「バッグラベル」の定義について説明する。図６は、本発明の第１の実施の形態におけるポジティブバッグとネガティブバッグの概念図である。図６に示すように、本発明の第１の実施の形態では、バッグの中にポジティブインスタンスが２つ以上存在すれば、そのバッグを「ポジティブバッグ」と呼び、バッグの中のポジティブインスタンスが１つ以下であれば、そのバッグを「ネガティブバッグ」と呼ぶ。
【００５２】
次に、図５、及び図７の流れ図を参照して学習システム１０の全体の動作について詳細に説明する。
【００５３】
図７は、本発明の第１の実施の形態における学習システム１０の動作を示す流れ図である。図７に示すように、まず弱識別器生成部１１０は、特徴量記憶部２１０の保持する特徴量と、バッグラベル記憶部２２０の保持するバッグラベルに基づいて、弱識別器を１つ生成する［弱識別器生成ステップ（ステップＳ１１０）］。弱識別器は、１種類または複数の特徴量を用いて２クラス識別する任意の識別器である。なお、ある弱識別器が最終的に利用されるかどうかは後述のステップＳ１６０の結果次第であり、個々の弱識別器の識別精度が高い必要はない。
【００５４】
次に、弱識別部１２０は、１つのインスタンスについて弱識別行い、識別スコアを得る［弱識別実行ステップ（ステップＳ１２０）］。識別スコアは、例えば０または１の２値をとり得る値でも良いし、実数値でも良い。
【００５５】
次に、インスタンス確率計算部１３０は、インスタンスがポジティブインスタンスである確率、つまり位置、サイズ、および回転角が正確である対象物体のインスタンスである確率（インスタンス確率）を算出する［インスタンス確率計算ステップ（ステップＳ１３０）］。
【００５６】
なお、ステップＳ１２０とステップＳ１３０は、１つのバッグ内の全てのインスタンス分だけ繰り返し実行される。
【００５７】
次に、バッグ確率計算部１４０は、バッグがポジティブである確率、つまりバッグ中のインスタンスのうち２つ以上がポジティブインスタンスである確率（バッグ確率）を、例えば式４に基づいて計算する［バッグ確率計算ステップ（ステップＳ１４０）］。
【００５８】
なお、ステップＳ１２０からＳ１４０までの処理は、全てのバッグ個数分だけ繰り返し実行される。
【００５９】
次に、尤度計算部１５０は、ステップＳ１４０までで計算された学習処理に用いる全てのバッグに関する確率と、バッグラベル記憶部２２０に記憶されたバッグラベルに基づいて、計算された確率の尤もらしさ（尤度）Ｌを計算する［尤度計算ステップ（ステップＳ１５０）］。先述の通り、尤度計算部１５０は、例えば式５によりＬを計算しても良い。
【００６０】
なお、ステップＳ１１０からステップＳ１５０までの処理は、弱識別器生成ステップで生成された全ての弱識別器候補について繰り返し実行される。ただし、後述のステップＳ１６０で選択された弱識別器については除く。つまり、ステップＳ１１０からステップＳ１５０までの処理は、全ての弱識別器候補のうち未選択のものについて繰り返し実行される。
【００６１】
次に、弱識別器選択部１６０は、ステップＳ１５０までの処理で計算された弱識別器の尤度について、最も高い尤度の弱識別器を選択して、弱識別器に関するパラメータをパラメータ記憶部２３０に記憶する［弱識別器選択ステップ（ステップＳ１６０）］。
【００６２】
なお、ステップＳ１１０からＳ１６０までの処理は、所定の回数、または、強識別器としての所定の識別精度に達するまで繰り返す。所定の回数は、事前に決められた回数でも良いし、学習処理時間の上限によって回数を決めても良い。また、所定の識別精度は、例えば、ネガティブインスタンスをポジティブインスタンスであると識別した誤受入率と、ポジティブバッグをネガティブバッグと識別した誤棄却率の２つの値が両方とも閾値を下回るように設定しても良い。
【００６３】
以上説明したように、本発明の第１の実施の形態における学習システム１０は、１つのバッグの中のインスタンスのうち２つ以上がポジティブインスタンスである確率を計算する。つまり学習システム１０は、１つのバッグに対応する摂動された画像テンプレート群のうち２つ以上の画像テンプレートの位置・サイズ・回転角が正しい確率（バッグ確率）を計算する。学習システム１０は、計算したバッグ確率に基づいて学習処理するように構成されているため、見えの変動が多様な物体であっても高い識別精度を得ることが可能な学習ができる。
【００６４】
なぜならば、ポジティブバッグは、摂動させた画像テンプレートのみで構成されるため、摂動が粗くなければ、殆ど正確な位置・サイズ・回転角のテンプレートが必ず複数存在するためである。そのため、本発明の第１の実施の形態における学習システム１０によれば、見えの変動が多様な物体に関する識別といった識別が困難な場合においても、バッグが２つ以上のポジティブインスタンスを含む確率という評価尺度である尤度を最大化することで、バッグ同士で共通した特徴を使った弱識別器が選択されやすい。
【００６５】
＜第２の実施の形態＞
本発明の第２の実施の形態における学習システムは、バッグ確率計算部が、特定の条件を満たすバッグ確率を計算する条件付バッグ確率計算部である点が、第１の実施の形態における学習システムと異なる。
【００６６】
図８は、本発明の第２の実施の形態における学習システム１１の機能構成を示すブロック図である。図８に示すように、学習システム１１は、学習装置１０１と記憶装置２００とを含む。
【００６７】
学習装置１０１は、第１の実施の形態における学習システム１０の学習装置１００とほぼ同じ構成であるが、バッグ確率計算部１４０が、特定の条件を満たすバッグ確率を計算する条件付バッグ確率計算部１４１である点が異なる。記憶装置２００は、第１の実施の形態における学習システム１０の記憶装置２００と同じ構成である。
【００６８】
条件付バッグ確率計算部１４１は、インスタンス確率計算部１３０で計算された、１つのバッグ中のインスタンス全ての確率の値から、バッグがポジティブである確率を計算する。ただし、本実施の形態において「バッグがポジティブである」とは、バッグ中のインスタンスのうち特定の条件を満たす２つ以上のインスタンスがポジティブインスタンスであること、である。また、特定の条件とは、インスタンスに対応した画像テンプレートの位置・サイズ・回転角に関する摂動の程度が近いこと、である。
【００６９】
図９、及び図１０を参照して「摂動の程度が近いこと」について詳しく説明する。図９は、「位置に関して摂動の程度が近いこと」を説明するための図である。図１０は、「スケール・回転角に関して摂動の程度が近いこと」を説明するための図である。図９、及び図１０に示すように、「摂動の程度が近い」とは、例えば、図９と図１０において太枠で囲まれた隣接した２つの画像テンプレートの関係に相当する。このように、本実施の形態では摂動の程度が近い２つのインスタンスが同時にポジティブインスタンスであることを「バッグがポジティブである」と定義する。
【００７０】
次に、本発明の第２の実施の形態における「バッグラベル」の定義について説明する。図１１は、本発明の第２の実施の形態におけるポジティブバッグとネガティブバッグの概念図である。図１１において、３は摂動の程度が近いポジティブインスタンスの例である。また、４は摂動の程度が近くないポジティブインスタンスの例である。
【００７１】
図１１に示すように、本発明の第２の実施の形態では、バッグの中にポジティブインスタンスが２つ以上存在し、そのポジティブインスタンスに対応した画像テンプレートの摂動の程度が近い場合に、そのバッグを「ポジティブバッグ」と呼ぶ。バッグの中のポジティブインスタンスが２つ以上存在しても、摂動の程度が近くない場合は、そのバッグを「ネガティブバッグ」と呼ぶ。
【００７２】
図１２は、摂動の程度とインスタンスがポジティブである確率との関係を説明するための図である。図１２に示すように、実際に学習処理するバッグは、摂動させた画像テンプレートのみで構成されるため、摂動が粗くなければ、殆ど正確な位置・サイズ・回転角のテンプレートが必ず複数存在し、しかもそれらテンプレート同士は摂動の程度が近い、という性質がある。図１２において、縦軸は「インスタンスがポジティブである確率」を示す。また、横軸は「摂動の程度」を示す。
【００７３】
条件付バッグ確率計算部１４１は、上記の性質に基づき、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）を計算する。
【００７４】
条件付バッグ確率計算部１４１は、式６によって条件付バッグ確率を計算しても良い。
【００７５】
【数８】

ただし、
【００７６】
【数９】

式６において、右辺の大括弧内の第３項Ｒは摂動の程度が近くない２つのインスタンスがポジティブインスタンスである確率である。つまり、式６におけるＰｉは、摂動の程度が近い２つのポジティブインスタンスが１組以上存在する確率を表していると言える。Ｒは、摂動の程度が近くない２つのインスタンスがポジティブインスタンスである確率を表すものであれば、どのような式で表しても良い。
【００７７】
本実施の形態において、尤度計算部１５０は、バッグラベル記憶部２２０が保持するバッグラベルに基づいて、条件付バッグ確率計算部１４１で計算された、学習に用いる複数のバッグのバッグ確率の尤もらしさを表す尤度Ｌを計算する。
【００７８】
次に、図８、及び図１３の流れ図を参照して学習システム１１の全体の動作について詳細に説明する。
【００７９】
図１３は、本発明の第２の実施の形態における学習システム１１の動作を示す流れ図である。図１３に示すように、学習システム１１の動作は、学習システム１０の動作とほぼ同じであるが、図７のステップＳ１４０における動作が、ステップＳ１４１（条件付バッグ確率計算ステップ）である点が異なる。
【００８０】
学習システム１１は、ステップ１４０の動作の代わりに、条件付バッグ確率計算部１４１が、バッグがポジティブである確率を計算する。つまり、条件付バッグ確率計算部１４１は、バッグ内の摂動の程度が近い２つのインスタンスがポジティブインスタンスである確率を、例えば式６に基づいて計算する［条件付バッグ確率計算ステップ（ステップＳ１４１）］。
【００８１】
学習システム１１における尤度算出ステップＳ１５０では、尤度計算部１５０が、ステップＳ１４１までで計算された学習処理に用いる全てのバッグに関する確率と、バッグラベル記憶部２２０に記憶されたバッグラベルに基づいて、計算された確率の尤もらしさＬを計算する。
【００８２】
以上説明したように、本発明の第２の実施の形態における学習システム１１は、１つのバッグの中のインスタンスのうち摂動の程度が近い２つがポジティブインスタンスである確率を計算する。つまり学習システム１１は、１つのバッグに対応する摂動された画像テンプレート群のうち摂動の程度が近い２つの画像テンプレートの位置・サイズ・回転角が正しい確率（条件付バッグ確率）を計算する。学習システム１１は、計算した条件付バッグ確率に基づいて学習処理するように構成されているため、見えの変動が多様な物体であっても高い識別精度を得ることが可能な学習ができる。
【００８３】
なぜならば、ポジティブバッグは、摂動させた画像テンプレートのみで構成されるため、摂動が粗くなければ、殆ど正確な位置・サイズ・回転角のテンプレートが摂動の程度が近い範囲内に必ず複数存在するためである。そのため、本発明の第２の実施の形態における学習システム１１によれば、見えの変動が多様な物体に関する識別といった識別が困難な場合においても、バッグが摂動の程度が近い２つ以上のポジティブインスタンスを含む確率という評価尺度である尤度を最大化することで、バッグ同士で共通した特徴を使った弱識別器が選択されやすい。
【００８４】
＜第３の実施の形態＞
本発明の第３の実施の形態は、第１又は第２の実施の形態における学習システムで学習したパラメータを用いて物体の識別処理を行う識別システム２０である。
【００８５】
図１４は、本発明の第３の実施の形態における識別システムと学習システムとの関係の機能構成を示すブロック図である。図１４に示すように、識別システム２０は、学習システム１０又は１１が含む記憶装置２００と、識別装置３００と、を含む。学習システム１０又は１１については、第１又は第２の実施の形態と同様の構成であるため説明を省略する。また、図１４に示すように、識別システム２０を含むシステム全体を学習システム３０としても良い。
【００８６】
識別装置３００は特徴量抽出手部３１０と識別部３２０とを含む。
【００８７】
特徴量抽出部３１０は、識別の対象となる画像から特徴量を抽出する。
【００８８】
識別部３２０は、特徴量抽出部３１０が抽出した特徴量について、パラメータ記憶部２３０から読み出したパラメータに基づいて画像中の物体を識別する。
【００８９】
次に、図１４、及び図１５の流れ図を参照して、識別システム２０の動作について説明する。
【００９０】
図１５は、識別システム２０の動作を示す流れ図である。図１５に示すように、まずユーザは、識別したい画像を特徴量抽出部３１０に入力する。特徴量抽出部３１０は、入力された識別の対象となる画像から特徴量を抽出する［特徴量抽出ステップ（ステップＳ３１０）］。
【００９１】
特徴量抽出部３１０は、上記の学習システム１０又は１１の特徴量記憶部２１０に記憶される特徴量と同じ方式で計算した特徴量を抽出する。ただし、弱識別器選択部１６０において、選択された弱識別器が必要とする特徴量のみを抽出しても良い。特徴量抽出部３１０は、どの特徴量が必要かどうかの情報をパラメータ記憶部２３０から読み出す。
【００９２】
次に、識別部３２０は、特徴量抽出手部３１０で抽出した特徴量について、パラメータ記憶部２３０から読み出したパラメータに基づいて画像中の物体の種類を識別する［識別ステップ（ステップＳ３２０）］。
【００９３】
この物体の種類を識別する方式は、学習システム１０又は１１で採用した手法にあわせれば良い。例えば、特許文献１はＬＶＱの一種である。この手法を学習に採用した場合、識別部３２０は、特徴量をベクトルとして考え、所定の次元数の特徴量を用いて、識別のパラメータである代表ベクトル（参照ベクトルとも呼ぶ）との識別を実行すれば良い。
【００９４】
以上説明したように、本発明の識別システム２０によれば、学習システム１０又は１１で学習したパラメータを用いることで、見えの変動が多様な物体であっても高い識別精度で識別することができる。
【００９５】
＜第４の実施の形態＞
図１６は、第４の実施の形態における本発明に係る学習装置１０２の機能構成を示すブロック図である。図１６に示すように、学習装置１０２は、弱識別器生成部１１０と、弱識別部１２０と、インスタンス確率計算部１３０と、バッグ確率計算部１４０と、尤度計算部１５０と、を含む。
【００９６】
弱識別器生成部１１０は、対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成する。
【００９７】
複数のバッグから抽出した特徴量とバッグラベルは、図１６には図示しない記憶装置が保持していても良い。その場合、弱識別器生成部１１０は、適宜図示しない記憶装置から特徴量とバッグラベルを読み出して、弱識別器を生成しても良い。
【００９８】
弱識別部１２０は、弱識別器生成部１１０によって生成された弱識別器に基づいて識別スコアを計算する。
【００９９】
インスタンス確率計算部１３０は、弱識別部１２０によって計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算する。
【０１００】
バッグ確率計算部１４０は、インスタンス確率計算部１３０で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算する。
【０１０１】
尤度計算部１５０は、バッグ確率計算部１４０で計算されたバッグ確率の尤もらしさを表す尤度を、バッグラベルに基づいて計算する。バッグラベルは、１６には図示しない記憶装置が保持していても良い。その場合、尤度計算部１５０は、適宜図示しない記憶装置からバッグラベルを読み出して、尤度を計算しても良い。
【０１０２】
次に、図１６、及び図１７の流れ図を参照して、学習装置１０２の動作について説明する。
【０１０３】
図１７は、第４の実施の形態における学習装置１０２の動作を示す流れ図である。図１７に示すように、まず弱識別器生成部１１０は、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて、弱識別器を１つ生成する［弱識別器生成ステップ（ステップＳ１１０）］。
【０１０４】
次に、弱識別部１２０は、１つのインスタンスについて弱識別行い、識別スコアを得る［弱識別実行ステップ（ステップＳ１２０）］。
【０１０５】
次に、インスタンス確率計算部１３０は、インスタンスがポジティブインスタンスである確率、つまり位置、サイズ、および回転角が正確である対象物体のインスタンスである確率（インスタンス確率）を算出する［インスタンス確率計算ステップ（ステップＳ１３０）］。
【０１０６】
なお、ステップＳ１２０とステップＳ１３０は、１つのバッグ内の全てのインスタンス分だけ繰り返し実行される。
【０１０７】
次に、バッグ確率計算部１４０は、バッグがポジティブである確率、つまりバッグ中のインスタンスのうち２つ以上がポジティブインスタンスである確率（バッグ確率）を、例えば式４に基づいて計算する［バッグ確率計算ステップ（ステップＳ１４０）］。
【０１０８】
なお、ステップＳ１２０からＳ１４０までの処理は、全てのバッグ個数分だけ繰り返し実行される。
【０１０９】
次に、尤度計算部１５０は、ステップＳ１４０までで計算された学習処理に用いる全てのバッグに関する確率と、バッグラベルとに基づいて、計算された確率の尤もらしさ（尤度）Ｌを計算する［尤度計算ステップ（ステップＳ１５０）］。
【０１１０】
なお、ステップＳ１１０からステップＳ１５０までの処理は、弱識別器生成ステップで生成された全ての弱識別器候補について繰り返し実行される。
【０１１１】
その後、学習装置１０２は、尤度計算ステップで計算された尤度に基づいて弱識別器を選択し、該弱識別器に関するパラメータを図示しない記憶装置に記憶しても良い。
【０１１２】
以上説明したように、本発明の学習装置１０２によれば、見えの変動が多様な物体であっても高い識別精度を得ることが可能な学習ができる。
【０１１３】
＜実施例＞
次に、本発明の第１の実施の形態の具体的な実施例を説明する。以下、人物の頭部を識別対象とする例について説明する。
【０１１４】
本実施例では、統計的パターン認識手法として、特許文献１に記載されている手法を用いる。以下、この手法を「カスケード型ＧＬＶＱ（カスケード型一般化学習ベクトル量子化）」と表記する。
【０１１５】
まず、具体的な構成や動作の説明の前に、カスケード型ＧＬＶＱについて簡潔に説明する。カスケード型に限らずＬＶＱによる手法では、識別したいクラス毎に参照ベクトルと呼ばれる代表ベクトルを用意し、学習処理によって識別に適した参照ベクトルを求める。
【０１１６】
ここでは、特に、特徴量パターンをＤ次元ベクトルとした場合について説明する。カスケード型ＧＬＶＱの学習処理では、まず、ある１次元に着目し、その次元の値のみを使って１次元の参照ベクトルを学習する。この処理をすべての次元分だけ実行することで、１次元の参照ベクトルがＤ個求まる。そして、１次元参照ベクトルの中で最も識別に向くベクトルを選択する。次に、選択済みの次元と未選択の次元のある１次元に着目し、２次元の参照ベクトルを学習する。そして、１次元目と同様の手順により、２次元の参照ベクトルの中で最も識別に向くベクトルを選択する。このような処理を３次元目以降も繰り返すことで、最終的にＤ次元の参照ベクトルが求まる。
【０１１７】
なお、カスケード型ＧＬＶＱの識別処理では、入力された特徴量パターンと参照ベクトルとの距離を計算し、最も近い参照ベクトルが属するクラスに識別される。
【０１１８】
次に、本実施例の具体的な構成を説明する。
【０１１９】
学習システム１０の構成図である図５において、学習装置１００としてパーソナルコンピュータ、記憶装置２００として半導体メモリを用いる。この場合、特徴量記憶部２１０とバッグラベル記憶部２２０、パラメータ記憶部２３０は半導体メモリ上の一部とみなせる。一方、弱識別器生成部１１０、弱識別部１２０、インスタンス確率計算部１３０、バッグ確率計算部１４０、尤度計算部１５０、弱識別器選択部１６０は、パーソナルコンピュータのＣＰＵ上で実現できる。
【０１２０】
なお、特徴量記憶部２１０は、事前に、位置・スケール・回転角に関して摂動させた頭部画像テンプレートについて特徴量を抽出したデータ（ポジティブインスタンス）と、物体でない画像テンプレートについて特徴量を抽出したデータ（ネガティブインスタンス）とを保持する（図２、図３参照）。これらのデータを用意するのに、位置・スケール・回転角に関して正確な情報は必要ない。
【０１２１】
また、バッグラベル記憶部２２０は、事前に、特徴量記憶部２１０に記憶されているインスタンスで構成されるバッグの情報として、各バッグがポジティブであるかネガティブであるかという情報（バッグラベル）を保持する。
【０１２２】
次に本実施例の動作を説明する。
【０１２３】
まず、学習システム１０は、図７のステップＳ１１０に相当する動作を実行する。ステップＳ１１０において、弱識別器生成部１１０は、特徴量記憶部２１０に記憶されたＤ次元特徴量のうちある１次元のみに着目した弱識別器を生成する。弱識別器を生成する動作は、カスケード型ＧＬＶＱにおける１次元分の識別器（１次元の参照ベクトル群）を学習する動作に相当する。
【０１２４】
次に、学習システム１０は、ステップＳ１２０に相当する動作を実行する。ステップＳ１２０において、弱識別部１２０は、Ｓ１１０で生成された弱識別器による弱識別として、カスケード型ＧＬＶＱにおける１次元分の識別処理を行い、識別スコアを計算する。カスケード型ＧＬＶＱでは、識別スコアとして実数値が出力される。
【０１２５】
次に、学習システム１０は、ステップＳ１３０に相当する動作を実行する。ステップＳ１３０において、インスタンス確率計算部１３０は、式３によって識別スコアからインスタンス確率を計算する。式３の係数αとβについては、例えば、それぞれ１としても良い。なお、学習システム１０は、ステップＳ１２０とＳ１３０との動作を、１つのバッグ内の全てのインスタンス分だけ繰り返し実行する。
【０１２６】
次に、学習システム１０は、ステップＳ１４０に相当する動作を実行する。ステップＳ１４０において、バッグ確率計算部１４０は、式４に基づいてバッグがポジティブである確率を計算する。これにより求まる値は、具体的には、バッグの中に正確に切出された頭部画像テンプレートが２つ以上ある確率である。なお、学習システム１０は、ステップＳ１２０からＳ１４０までの動作を、全てのバッグ個数分だけ繰り返し実行する。
【０１２７】
次に、学習システム１０は、ステップＳ１５０に相当する動作を実行する。ステップＳ１５０において、尤度計算部１５０は、式５に基づいて尤度を計算する。ただし、計算途中の値が微小な数値になり、数値計算上不安定になる場合があるため、本実施例においては、尤度計算部１５０は、式５の尤度Ｌの対数Ｌｏｇ（Ｌ）を計算する。なお、学習システム１０は、ステップＳ１１０からＳ１５０までの動作を、全ての弱識別器候補の数Ｄから選択済みの候補数を引いた回数だけ繰り返し実行する。
【０１２８】
次に、学習システム１０は、ステップＳ１６０に相当する動作を実行する。ステップＳ１６０において、弱識別器選択部１６０は、最も高い尤度となる弱識別器を選択し、選択した弱識別器に関するパラメータを、パラメータ記憶部２３０に記録する。記録するパラメータは、弱識別に使う特徴量次元の番号、カスケード型ＧＬＶＱの参照ベクトル、弱識別したスコアの閾値である。なお、ステップＳ１１０からＳ１６０までの処理は所定の回数、例えばＤ回実行する。
【０１２９】
以上の動作により、パラメータ記憶部２３０に学習処理の結果としてのパラメータが保持される。
【０１３０】
＜実施の形態の他の表現＞
上記の各実施の形態においては、以下に示すような学習装置、学習システム、学習方法、学習プログラム及び識別装置の特徴的構成が示されている（以下のように限定されるわけではない）。なお、本発明の学習プログラムは、コンピュータに、図７、図１３、図１５、又は図１７に示した各ステップを実行させるプログラムであって、各実施の形態で説明した各ステップの動作を実行させるプログラムであれば良い。
（付記１）
対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成する弱識別器生成手段と、
前記弱識別器生成手段によって生成された弱識別器に基づいて前記識別スコアを計算する弱識別手段と、
前記弱識別手段によって計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算するインスタンス確率計算手段と、
前記インスタンス確率計算手段で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算するバッグ確率計算手段と、
前記バッグ確率計算手段で計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する尤度計算手段と、
を含む学習装置。
（付記２）
前記正確な対象物体のインスタンスは、位置、サイズ、および回転角が正確である対象物体のインスタンスである、
付記１に記載の学習装置。
（付記３）
前記バッグ確率計算手段は、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）を計算する条件付バッグ確率計算手段である、
付記１又は２に記載の学習装置。
（付記４）
付記１〜３のいずれかに記載の学習装置と記憶装置とを含む学習システムであって、
前記記憶装置は、
正確な対象物体のインスタンス（ポジティブインスタンス）を２つ以上含む、対象物体のインスタンスについて摂動させた多数のインスタンスの集合（ポジティブバッグ）と、ポジティブバッグではないインスタンスの集合（ネガティブバッグ）とに関する、複数のバッグから抽出した特徴量を保持する特徴量記憶手段と、
各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルを保持するバッグラベル記憶手段と、
を含み
前記学習装置において、
前記弱識別器生成手段は、前記弱識別器を、前記特徴量記憶手段の保持する特徴量と前記バッグラベル記憶手段の保持するバッグラベルとに基づいて生成し、
前記尤度計算手段は、前記尤度を、前記バッグラベル記憶手段が保持するバッグラベルに基づいて、学習に用いる複数のバッグを対象に計算し、
前記学習装置は、前記尤度計算手段で計算された尤度に基づいて弱識別器を選択する弱識別器選択手段をさらに含み、
前記記憶装置は、前記弱識別器選択手段で選択された弱識別器に関するパラメータを記憶するパラメータ記憶手段をさらに含む、
学習システム。
（付記５）
識別の対象となる画像から特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出した特徴量について、前記パラメータ記憶手段が記憶する前記パラメータに基づいて前記画像中の物体を識別する識別手段と、
を含む付記４に記載の学習システム。
（付記６）
対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、
前記生成された弱識別器に基づいて前記識別スコアを計算し、
前記計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、
前記計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、
前記計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する、
学習方法。
（付記７）
前記正確な対象物体のインスタンスは、位置、サイズ、および回転角が正確である対象物体のインスタンスである、
付記６に記載の学習方法。
（付記８）
前記バッグ確率は、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）である、
付記６又は７に記載の学習方法。
（付記９）
対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、
前記生成された弱識別器に基づいて前記識別スコアを計算し、
前記計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、
前記計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、
前記計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する、
処理をコンピュータに実行させる学習プログラム。
（付記１０）
前記正確な対象物体のインスタンスは、位置、サイズ、および回転角が正確である対象物体のインスタンスである、
付記９に記載の学習プログラム。
（付記１１）
前記バッグ確率は、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）である、
付記９又は１０に記載の学習プログラム。
【０１３１】
以上、実施の形態を参照して本願発明を説明したが、本願発明は以上の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
【０１３２】
この出願は、２０１０年９月９日に出願された日本出願特願２０１０−２０１５９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１３３】
本発明の学習装置、学習システム、学習方法、及び学習プログラムは、カメラで撮影された画像について人物や自動車といった所望の物体に応じて分類する画像整理用途や、所望の物体を画像から検出して物体の状況を監視する自動監視用途等に適用できる。
【符号の説明】
【０１３４】
１０ 学習システム
１１ 学習システム
２０ 識別システム
３０ 学習システム
１００ 学習装置
１０１ 学習装置
１０２ 学習装置
１１０ 弱識別器生成部
１２０ 弱識別部
１３０ インスタンス確率計算部
１４０ バッグ確率計算部
１４１ 条件付バッグ確率計算部
１５０ 尤度計算部
１６０ 弱識別器選択部
２００ 記憶装置
２１０ 特徴量記憶部
２２０ バッグラベル記憶部
２３０ パラメータ記憶部
３００ 識別装置
３１０ 特徴量抽出部
３２０ 識別部

Claims (7)

1. 対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成する弱識別器生成手段と、
   前記弱識別器生成手段によって生成された弱識別器に基づいて前記識別スコアを計算する弱識別手段と、
   前記弱識別手段によって計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算するインスタンス確率計算手段と、
   前記インスタンス確率計算手段で計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算するバッグ確率計算手段と、
   前記バッグ確率計算手段で計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する尤度計算手段と、
   を含む学習装置。
2. 前記正確な対象物体のインスタンスは、位置、サイズ、および回転角が正確である対象物体のインスタンスである、
   請求項１に記載の学習装置。
3. 前記バッグ確率計算手段は、バッグ内に含まれる２つ以上のポジティブインスタンスが、摂動の程度が近い２つ以上のインスタンスである確率（条件付バッグ確率）を計算する条件付バッグ確率計算手段である、
   請求項１又は２に記載の学習装置。
4. 請求項１〜３のいずれかに記載の学習装置と記憶装置とを含む学習システムであって、
   前記記憶装置は、
   正確な対象物体のインスタンス（ポジティブインスタンス）を２つ以上含む、対象物体のインスタンスについて摂動させた多数のインスタンスの集合（ポジティブバッグ）と、ポジティブバッグではないインスタンスの集合（ネガティブバッグ）とに関する、複数のバッグから抽出した特徴量を保持する特徴量記憶手段と、
   各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルを保持するバッグラベル記憶手段と、
   を含み
   前記学習装置において、
   前記弱識別器生成手段は、前記弱識別器を、前記特徴量記憶手段の保持する特徴量と前記バッグラベル記憶手段の保持するバッグラベルとに基づいて生成し、
   前記尤度計算手段は、前記尤度を、前記バッグラベル記憶手段が保持するバッグラベルに基づいて、学習に用いる複数のバッグを対象に計算し、
   前記学習装置は、前記尤度計算手段で計算された尤度に基づいて弱識別器を選択する弱識別器選択手段をさらに含み、
   前記記憶装置は、前記弱識別器選択手段で選択された弱識別器に関するパラメータを記憶するパラメータ記憶手段をさらに含む、
   学習システム。
5. 識別の対象となる画像から特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段が抽出した特徴量について、前記パラメータ記憶手段が記憶する前記パラメータに基づいて前記画像中の物体を識別する識別手段と、
   を含む請求項４に記載の学習システム。
6. 対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、
   前記生成された弱識別器に基づいて前記識別スコアを計算し、
   前記計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、
   前記計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、
   前記計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する、
   学習方法。
7. 対象のインスタンスがポジティブインスタンスであるか否かを示す識別スコアを計算する弱識別器を、複数のバッグから抽出した特徴量と各バッグがポジティブバッグかネガティブバッグかという情報であるバッグラベルとに基づいて生成し、
   前記生成された弱識別器に基づいて前記識別スコアを計算し、
   前記計算された識別スコアに基づいて対象のインスタンスが正確な対象物体のインスタンス（ポジティブインスタンス）である確率（インスタンス確率）を計算し、
   前記計算されたインスタンス確率に基づいて、ポジティブインスタンスがバッグ内に２つ以上含まれる確率（バッグ確率）を計算し、
   前記計算されたバッグ確率の尤もらしさを表す尤度を、前記バッグラベルに基づいて計算する、
   処理をコンピュータに実行させる学習プログラムを格納する記録媒体。

Images