JP7367775B2 - 特徴学習システム、特徴学習方法およびプログラム - Google Patents

Description

本発明は、映像中の人物の行動を効率的に学習するシステム、方法およびプログラムに関する。

近年、監視カメラ等の画像をコンピュータにより処理を行うことで、画像内に映る人物がどのような行動をしているかを推定する技術が多数開発されている。しかし、人物の行動は非常に複雑かつ多様である。そのため、ある２つの行動について人間が客観的に「同じ行動である」と推定できたとしても、その行動をしている人物の違いや、その行動をする際の周囲の環境の違いなどにより、それらの行動が同じか否かをコンピュータが推定することは困難となり得る。「走っている」という行動を例に挙げると、人によって走る速さや手足の位置などが異なることは容易に想像できる。また、同じ人が走るとしても、地面の状況（競技場、砂浜など）や周囲の混み具合などの環境によって、走る速さや手足の位置などが異なることが容易に想像できる。すなわち、コンピュータで人物の行動を推定するにあたっては、非常に莫大な学習用データを用意して人や環境の違いに対応することが必要になることが多い。しかしながら、認識したい行動によっては、十分な数の学習データを用意できない可能性がある。

なお、人物の行動をコンピュータに学習させる方法として、主成分分析や深層学習の最終層を用いる方法などが考えられる。このうち、深層学習の最終層を用いる方法としては、非特許文献１や非特許文献２で述べられているような、距離学習（Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇ）を利用することが考えられる。距離学習は、特徴量そのものではなく、特徴量のベクトル空間上での距離に着目し、類似した行動は近くに、異なる行動は遠くに配置されるような特徴空間を構築するよう、学習を進めるものである。

しかし、一口に「異なる行動」といっても、見た目の違いはあまり大きくない可能性がある。例えば、通常の歩行動作と路上で倒れるときの動作との組み合わせと、スマートフォンなどを使用しながらの歩行動作（以下「歩きスマホ」と称する）と、単にうつむきながらの歩行動作（以下「うつむき歩行」と称する）との組み合わせを考える。両者とも「異なる行動」の組み合わせであるものの、前者は見た目が大きく異なる一方、後者は見た目の違いは大きくない。言い換えると、前者は「全く異なる行動」であり、後者は「似ているが異なる行動」であるといえる。

従来の距離学習は、「全く異なる行動」であっても、「似ているが異なる行動」であっても、単に「異なる行動」であるとして学習を進める。しかし、「似ているが異なる行動」を「異なる行動」として特徴空間上で無理やり離そうとすると、学習データに存在する、行動の違いとは無関係で些細な違い（例えば、体形の違いによるものや個人の癖など）を誇張するような変換を学習するなどして、学習モデルの識別精度に悪影響を及ぼす可能性がある。このように「異なる」の度合いに差があるデータに対応するものとして、類似性を考慮した学習の手法が提案されている。

例えば特許文献１では、企業の求人票の条件に合った求職者のレジュメを選び出すにあたって、文書中のキーワードをいくつかのトピックにまとめ、そのトピックに基づいて学習することにより、少ない学習用の文書でも高精度に対象のレジュメの抽出を行うことを可能にしている。

特開２０１７－１３４７３２号公報

Ｒ． Ｈａｄｓｅｌｌ，Ｓ． Ｃｈｏｐｒａ ａｎｄ Ｙ． ＬｅＣｕｎ， "Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ ｂｙ ｌｅａｒｎｉｎｇ ａｎｄ ｉｎｖａｒｉａｎｔ ｍａｐｐｉｎｇ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００６． Ｊ． Ｗａｎｇ ｅｔ ａｌ．， "Ｌｅａｒｎｉｎｇ ｆｉｎｅ－ｇｒａｉｎｅｄ ｉｍａｇｅ ｓｉｍｉｌａｒｉｔｙ ｗｉｔｈ ｄｅｅｐ ｒａｎｋｉｎｇ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１４．

前述したように、「全く異なる行動」と「似ているが異なる行動」を同じ「異なる行動」として学習（例えば、距離学習）を行うことは、学習モデルの識別精度に悪影響を及ぼす可能性がある。それに対して、特許文献１におけるトピックのように、似た行動をグループにまとめ、各グループでの識別を行ったうえでグループ内の識別を行えば、行動の類似性を考慮した識別が可能になり得る。しかし、特許文献１の技術では、学習時にグループを分類する識別器とグループ内で行動を分類する識別器を分けて生成し、また識別の際にも同様に２回の識別を行う必要がある。そのため、学習や識別に従来よりも多くの時間を要する問題がある。

本発明のいくつかの態様は前述の課題に鑑みてなされたものである。本発明の目的の１つは、人物の行動の学習や識別に要する時間を低減させる技術を提供することである。

本発明の特徴学習システムは、
２つの特徴ベクトルそれぞれに対応する２つのクラス間の類似度を定義する類似度定義手段と、
処理対象として取得した複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに基づいて前記類似度を取得し、当該複数の特徴ベクトルと当該類似度とを含む学習用データを生成する学習用データ生成手段と、
前記学習用データを用いた機械学習を実施する学習手段と、
を備える。

本発明の特徴学習方法は、
コンピュータが、
２つの特徴ベクトルそれぞれに対応する２つのクラス間の類似度を定義し、
処理対象として取得した複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに基づいて前記類似度を取得し、
当該複数の特徴ベクトルと当該類似度とを含む学習用データを生成し、
前記学習用データを用いた機械学習を実施する、
ことを含む。

本発明のプログラムは、コンピュータに、上述の特徴学習方法を実行させる。

本発明に係る第１の課題解決手段によれば、人物の行動の学習や識別に要する時間を低減させる技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第１実施形態の特徴学習システムの構成を例示する図である。 特徴ＤＢに格納される情報の一例を示す図である。 類似度定義部の動作例を説明するための図である。 類似度定義部の動作例を説明するための他の図である。 類似度ＤＢに格納される情報の一例を示す図である。 類似度ＤＢに格納される情報の一例を示す図である。 学習用ＤＢに格納される情報の一例を示す図である。 学習用ＤＢに格納される情報の他の一例を示す図である。 特徴学習システムのハードウエア構成を例示するブロック図である。 第１実施形態の特徴学習システムの処理の流れを示すフローチャートである。 第２実施形態の特徴学習システムの構成を例示する図である。 表示処理部が出力する画面の一例を示す図である。 表示処理部が出力する画面の他の一例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中の矢印の向きは、情報の流れを分かり易くするためのものであり、特に説明のない限り通信の方向（一方向通信／双方向通信）を限定しない。

（１． 第１実施形態）
（１．１ 概要）
以下に本発明の実施形態を説明する。第１実施形態に係る特徴学習システムは、例えばセンサ情報から行動特徴を抽出したのち、学習させる行動特徴の組み合わせから類似度を判定する。行動特徴の組み合わせと類似度は、例えば、互いに関連付けた状態で学習用データベース（以下、「学習用ＤＢ」と表記）に格納される。特徴学習システムは、学習時にその類似度に基づいて学習を行う。これによれば、行動の異なる度合いに差がある行動特徴もその類似度を考慮して学習することができるため、より安定的に学習を進めることができる効果がある。

（１．２ システム構成）
以下、図１を参照しながら、第１実施形態における特徴学習システムの概要を説明する。図１は、第１実施形態の特徴学習システム１００の構成を例示する図である。

図１に例示される特徴学習システム１００は、特徴データベース（以下、「特徴ＤＢ」と表記）１１１と、類似度定義部１０１と、類似度データベース（以下、「類似度ＤＢ」と表記）１１２と、学習用データ生成部１０２と、学習用ＤＢ１１３と、学習部１０３とを備える。なお、これらの構成要素は、１つの装置（コンピュータ）に備えてられていてもよいし、複数の装置（コンピュータ）に分散して備えられていてもよい。以下の説明では、１つの装置（コンピュータ）が、特徴学習システム１００の全構成要素を備えるものとする。

特徴ＤＢ１１１は、複数の行動特徴を、各々の行動特徴に対応するクラス情報と共に格納している。行動特徴は、人物の行動の特徴を示す情報であり、例えば、ある特徴空間のベクトルによって表現される。行動特徴は、例えば可視光カメラ、赤外カメラ、デプスセンサなどのセンサによって得られる情報（以下、「センサ情報」とも表記）を基に生成される。一例として、行動特徴は、行動を取っている人物が存在する領域をセンシングして得られるセンサ情報、当該センサ情報に基づいて生成される人物の骨格情報、もしくはそれらを所定の関数を用いて変換した情報などを含む。ただし、行動特徴はその他の情報を含んでもよい。なお、行動特徴の生成および取得には既存の手法を用いることができる。クラス情報は、行動特徴がどのような行動に関するものか、すなわち行動の種類が何かを表す情報である。クラス情報は、例えば、図示しない入力装置を介して、人手で入力される。その他にも、クラス情報は、各行動特徴を該当するクラスに分類するように学習された学習モデルを用いて、上記のように取得された行動特徴それぞれに付与されてもよい。

図２は、特徴ＤＢ１１１に格納される情報の一例を示す図である。図２の例では、特徴ＤＢ１１１は、行動の種類を示すクラス情報（例えば、クラス０）と、そのクラスに対応する行動特徴（その行動を取ったときの人物の各特徴点の位置座標）とを関連付けて格納している。

類似度定義部１０１は、２つの行動特徴のそれぞれに対応する２つクラス間の類似度を定義し、類似度ＤＢ１１２に格納する。なお、行動特徴の類似度は、例えば０以上１以下の数値で表される。またこの場合、値が大きいほど（数値が１に近いほど）、組を成す２つの行動特徴が類似していることを示す。類似度定義部１０１における類似度の定義方法としては、いくつかの方法が考えられる。大きく分けて、組になっている行動のクラスごとに類似度を定める方法と、行動特徴ごとに個別に類似度を定める方法が挙げられる。行動特徴毎に個別に類似度を定める場合、類似度定義部１０１は類似度を求める計算式を定義することになる。

組になっている行動のクラスごとに類似度を定める方法の例を２例挙げる。以下２例では、特徴ＤＢ１１１に格納されている行動特徴のクラス数はｎであるとする。

第１の例として、主成分分析を用いる方法が考えられる。その具体例を数式に触れながら説明する。この場合、類似度定義部１０１は、例えば次のようにして、クラスの組み合わせ毎の類似度を定義することができる。なお、以下で説明する動作はあくまで一例であり、類似度定義部１０１の動作は以下の例に制限されない。まず、類似度定義部１０１は、特徴ＤＢ１１１に格納されている行動特徴を取り出す。そして、類似度定義部１０１は、特徴ＤＢ１１１から取り出した行動特徴の各々を、例えば機械学習によって構築された学習モデルを用いて対応するクラスに分類する。そして、類似度定義部１０１は、各クラス内の行動特徴について主成分分析を行い、得られた第１主成分に対する固有ベクトルを求める。ここで、クラスｋ（１≦ｋ≦ｎ）の第１主成分に対応する固有ベクトルをｖ_ｋとおく。そして、クラスｉとクラスｊとの類似度ｓ_ｉｊを、クラスｉおよびクラスｊそれぞれの固有ベクトルｖ_ｉおよびｖ_ｊを用いて以下のように定義する。

これは、ｖ_ｉとｖ_ｊとのなす角の余弦を類似度の条件を満たすように正規化した値に相当する。類似度定義部１０１は、［１，ｎ］の範囲でｉ、ｊを変化させたときのすべてのｓ_ｉｊを類似度ＤＢ１１２に格納する。

第２の例として、いったん従来の方法で行動特徴の学習および評価を行ったうえで、誤認識率を類似度とする方法が考えられる。この場合、類似度定義部１０１は、例えば次のようにして、クラスの組み合わせ毎の類似度を定義することができる。なお、以下で説明する動作はあくまで一例であり、類似度定義部１０１の動作は以下の例に制限されない。まず、類似度定義部１０１は、特徴ＤＢ１１１から、クラス毎に同数の行動特徴を取り出す。そして、類似度定義部１０１は、取り出した行動特徴をクラス内でさらに分類する。例えば、類似度定義部１０１は、クラス毎に取り出した行動特徴について、一部（クラス毎に同数）を評価用特徴、残りを学習用特徴とする。そして、類似度定義部１０１は、学習用特徴を用いて従来の方法で学習を行ったのち、得られた識別器（学習モデル）で評価用特徴の識別を行う。そして、類似度定義部１０１は、評価用特徴の識別結果をクラス毎に集計する。そして、類似度定義部１０１は、集計の結果に基づいて、クラスｓに属する行動特徴をクラスｔに属する行動特徴と認識した割合ｍ_ｓｔを算出する。このとき、クラスｉとクラスｊとの類似度ｓ_ｉｊを、クラスｉに属する行動特徴をクラスｊに属する行動特徴と認識した割合ｍ_ｉｊおよびクラスｊに属する行動特徴をクラスｉに属する行動特徴と認識した割合ｍ_ｊｉを用いて以下のように定義する。

たとえば、クラスＡとクラスＢがあり、クラスＡに属する行動特徴をクラスＢに属する行動特徴と誤る割合が０．２、クラスＢに属する行動特徴をクラスＡに属する行動特徴と誤る割合が０．１だったとする。この場合、類似度定義部１０１は、上記式（２）を用いて、クラスｉとクラスｊとの類似度ｓ_ｉｊを「０．１５」と定義することができる。類似度定義部１０１は、［１，ｎ］の範囲でｉ、ｊを変化させたときのすべてのｓ_ｉｊを類似度ＤＢ１１２に格納する。

その他の例として、人為的に類似度を定めても構わない。例えば、通常の歩行動作と倒れるときの動作との類似度は０、歩きスマホとうつむき歩きとの類似度は０．２５とするなどである。この場合、類似度定義部１０１は、例えば次のようにして、クラスの組み合わせ毎の類似度を定義することができる。なお、以下で説明する動作はあくまで一例であり、類似度定義部１０１の動作は以下の例に制限されない。まず、類似度定義部１０１は、クラスの組み合わせ毎の類似度を設定するための画面を、作業担当者が利用するディスプレイ（図示せず）に表示させる。作業担当者は、ディスプレイに表示された画面において、クラスの組み合わせ毎に設定すべき数値を入力する。ここで、類似度定義部１０１は、特徴ＤＢ１１１に格納されている行動特徴の一部または全部を、例えばクラス毎に分類してディスプレイに表示するようにしてもよい。作業担当者は、ディスプレイに表示される行動特徴のクラス毎の分類結果を、異なる２つクラスの組み合わせの類似度を決定する際の支援情報として活用できる。例えば、作業担当者は、第１のクラスに分類された行動特徴と第２のクラスに分類された行動特徴とを参照および比較しながら、当該第１および第２のクラスの組み合わせの類似度として設定すべき数値を決定することができる。類似度定義部１０１が上述したような分類結果をディスプレイに表示する機能を備えていない場合、作業担当者は、例えば自身の感覚に基づいて設定すべき数値を入力するようにしてもよい。そして、類似度定義部１０１は、画面に入力された数値を、クラスの組み合わせを示す情報と共に類似度ＤＢ１１２に格納する。

一方、行動特徴の組み合わせ毎に類似度を定める方法としては、次のような例が挙げられる。

第１の例として、主成分分析を用いる方法が考えられる。この場合、類似度定義部１０１は、例えば次のようにして、行動特徴の組み合わせ毎の類似度を定義することができる。なお、以下で説明する動作はあくまで一例であり、類似度定義部１０１の動作は以下の例に制限されない。まず、類似度定義部１０１は、特徴ＤＢ１１１からすべての行動特徴を取り出して主成分分析を行う。ここで、類似度定義部１０１は、行動特徴毎の主成分分析の結果を基に行動特徴の次元削減を行ってもよい。次元削減は従来の方法を用いることができる。そして、類似度定義部１０１は、各行動特徴から得られた特徴ベクトルの類似度を行動の類似度とする。具体的には、第１の行動特徴Ｖと第２の行動特徴Ｗとの間の類似度ｓ_ｖｗを、第１の行動特徴Ｖの特徴ベクトルｖと第２の行動特徴Ｗの特徴ベクトルｗとの差のノルム（Ｌ２ノルムを用いることが考えられるが、それ以外のノルムでもよい）を用いて、以下の式（３）のように定義することができる。

また、第１の行動特徴Ｖと第２の行動特徴Ｗとの間の類似度ｓ_ｖｗを、第１の行動特徴Ｖの特徴ベクトルｖと第２の行動特徴Ｗの特徴ベクトルｗとがなす角の余弦を用いて、以下の式（４）のように定義することができる。

この場合において、類似度ＤＢ１１２には、次元削減のための変換式と、上記類似度の定義式が格納される。

また、行動特徴そのものの類似性を類似度とすることも考えられる。この場合、類似度定義部１０１は、特徴ＤＢ１１１を参照せずに２つの行動特徴に基づいて２つのクラス間の類似度を求める数式を定義し、その数式を類似度ＤＢ１１２に格納する。以下、この方法の具体例について、図３を参照しながら説明する。図３は、類似度定義部１０１の動作例を説明するための図である。図３には、行動特徴の例として、身長に基づいて正規化した人物ＡおよびＢそれぞれの骨格情報が示されている。ここでは、この２人の行動特徴を比較する例を説明する。

図３に記載される各記号の定義は以下のとおりである。図３に示すように、点Ａ_０～Ａ_１３および点Ｂ_０～Ｂ_１３は、それぞれ、人物Ａおよび人物Ｂの特徴点である。なお、添字（０～１３）は人物の特徴点となる部位に対応している。本図の例では、添字「０」は頭部、添字「１」は頸部、添字「２」は右肩関節、添字「３」は右肘関節、添字「４」は右手関節、添字「５」は左肩関節、添字「６」は左肘関節、添字「７」は左手関節、添字「８」は右股関節、添字「９」は右膝関節、添字「１０」は右足関節、添字「１１」は左股関節、添字「１２」は左膝関節、添字「１３」は左足関節をそれぞれ表す。これら特徴点の情報は、人物の骨格を示す情報（人物骨格情報）とも言える。このとき、各点はカメラ座標系で定義されていてもよいし、世界座標系で定義されていてもよい。本図の例において、両股関節の中点、すなわち線分Ａ_８Ａ_１１と線分Ｂ_８Ｂ_１１それぞれの中点を原点Ｏとする。そして、原点Ｏから点Ａ_０～Ａ_１３に向けたベクトルをａ_０～ａ_１３、同じく点Ｂ_０～Ｂ_１３に向けたベクトルをｂ_０～ｂ_１３とする。また、特徴点同士を結んだ線分のなす角としてα_１～α_１２、β_１～β_１２を図３内に示すように定義する。

以下では、行動特徴間の類似度ｓ、または行動特徴間の距離ｄの算出方法を説明する。類似度定義部１０１は、行動特徴間の距離ｄを、例えば以下の式（５）に基づき類似度ｓに変換することができる。

なお、物理的制約等から距離ｄの最大値Ｄを見込むことができる場合、類似度定義部１０１は、以下の式（６）に基づき類似度ｓを算出することもできる。

ここで、類似度ｓまたは距離ｄの算出方法につき、いくつかの具体例を説明する。第１の例として、距離ｄを以下の式（７）のように定めることが考えられる。類似度定義部１０１は、以下の式（７）を用いて、各対応特徴点間の距離の合計値を、行動特徴間の距離ｄとして算出することができる。

第２の例として、距離ｄを以下の式（８）のように定めてもよい。類似度定義部１０１は、以下の式（８）を用いて、第１の行動特徴の特徴点の重心と、第２の行動特徴の特徴点の重心との距離を、行動特徴間の距離ｄとして算出することができる。

第３、第４の例として、距離ｄを以下の式（９）または式（１０）のように定めてもよい。以下の式（９）および式（１０）は、姿勢による行動の違いが横方向よりも高さ方向に表れやすいという事実に基づき、上述の式（７）および式（８）からそれぞれ高さ方向の情報以外を除いたものである。以下の式において、ａ_ｙ０～ａ_ｙ１３およびｂ_ｙ０～ｂ_ｙ１３は、それぞれ、ベクトルａ_０～ａ_１３およびベクトルｂ_０～ｂ_１３の高さ方向の要素である。

第５の例として、内積からベクトルのなす角を求める手順で、類似度ｓを以下の式（１１）のように定めてもよい。

第６の例として、特徴点同士を結ぶ線分のなす角に基づき、類似度ｓを以下の式（１２）のように定めてもよい。

第７、第８、第９、第１０の例として、類似度定義部１０１は、各人物の特徴点の動き情報に基づいて、２つの行動特徴間の距離ｄまたは２つの行動特徴間の類似度ｓを定めてもよい。この場合、類似度定義部１０１は、人物Ａおよび人物Ｂそれぞれの行動特徴を経時的に取得し、個々の人物について取得された複数の行動特徴（時間的に連続する行動特徴）に基づいて、各人物の特徴点の動き情報を算出ことができる。例えば、人物Ａおよび人物Ｂの各特徴点の位置が、図３の次の取得機会において、図３に示される状態から図４に示される状態に変化したとする。図４は、類似度定義部の動作例を説明するための他の図である。この場合において、２つの行動特徴間の距離ｄまたは２つの行動特徴間の類似度ｓを、例えば、以下の式（１３）、式（１４）、式（１５）または式（１６）のように定めてもよい。これらの式は、式（７）、式（９）、式（１１）、および式（１２）のそれぞれを、各人物の特徴点の動き情報を用いる式に変形したものである。

なお、実際に撮像された画像において、対象物の特徴点の一部が検出されない場合がある。例えば、対象となる人物がカメラに対して横を向いていれば、当該人物の片腕の特徴点が画像に現れないこともある。そこで第１１の例として、特徴点が検出されているかどうかに基づいて２つの行動特徴間の類似度ｓを定めてもよい。例えば、Ａ_ｋとＢ_ｋがともに検出、または未検出であれば１、片方だけが検出されていたら０となる関数ｈ（ｋ）を用いて、以下の式（１７）のように類似度ｓを定めることが考えられる。

そのほか、類似度定義部１０１は、上述の式（７）から式（１７）の少なくとも２つ以上を用いて複数の類似度を算出し、それらを平均等により統合することによって、類似度ＤＢ１１２に格納する類似度を求めてもよい。

以上、類似度算出の例を挙げたが、ここで例示した方法以外の方法によって類似度を算出してもよい。例えば、同じクラスに属する行動であれば類似度は１とし、違うクラスに属する行動であれば特徴毎に類似度を定めるなど、行動のクラスごとに類似度を定める方法と行動特徴毎に個別に類似度を定める方法を組み合わせてもよい。

類似度ＤＢ１１２に格納される情報の一例につき、図５および図６を用いて説明する。図５および図６は、類似度ＤＢ１１２に格納される情報の一例を示す図である。図５および図６には、０～４の５つのクラスが存在する場合の情報の一例が示されている。図５の例では、類似度ＤＢ１１２は、クラスの組み合わせ毎に１つの類似度を格納している。また、図６の例では、類似度ＤＢ１１２は、同じクラスの組み合わせについては１つの類似度を格納し、また、異なるクラスの組み合わせについては類似度を求める計算式を格納している。なお、これらの図はあくまで一例であり、類似度ＤＢ１１２に格納される情報はこれらの図に制限されない。

学習用データ生成部１０２は、特徴ＤＢ１１１から複数個の行動特徴を、各行動特徴に関連付けられたクラス情報と共に取り出す。学習用データ生成部１０２は、処理対象とする複数の行動特徴を、ランダムに特徴ＤＢ１１１から取り出してもよいし、所定の規則に則って特徴ＤＢ１１１から取り出してもよい。そして、学習用データ生成部１０２は、特徴ＤＢ１１１から取り出された行動特徴の中から２つの行動特徴を任意に選択し、それら２つの行動特徴それぞれに関連付けられたクラス情報を基にクラスの組み合わせを特定する。そして、学習用データ生成部１０２は、特定したクラスの組み合わせに対応する類似度もしくは類似度を求める計算式を、類似度ＤＢ１１２から取り出す。ここで、類似度ＤＢ１１２から類似度を求める計算式が取り出された場合、学習用データ生成部１０２は、その計算式に上記選択された２つの行動特徴を代入して類似度を求める。最後に、学習用データ生成部１０２は、上記選択された２つの行動特徴と、類似度ＤＢ１１２の情報を用いて得られた類似度とを１セットの学習用データとして、学習用ＤＢ１１３に格納する。

学習部１０３は、学習用ＤＢ１１３から類似度と行動特徴のセットを必要数取り出し、機械学習を実施する。機械学習の手法としては、既存の手法を用いることができる。なお、本発明において、学習部１０３は、新たな変数として類似度を導入して機械学習を実施する。

以下、具体的な機械学習の手法をいくつか挙げ、学習用データ生成部１０２と学習部１０３の構成をより具体的に説明する。なお以下の例において、学習用データ生成部１０２は、距離学習に用いる学習用データを生成し、学習部１０３は当該学習用データを用いて距離学習を行う。

まず、非特許文献１で述べられているＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋを用いる場合の学習用データ生成部１０２および学習部１０３の動作について説明する。

Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋは、２つの学習データを１組とし、以下の式（１８）に示すＬｏｓｓが小さくなるように学習を進めるものである。

上記の式（１８）において、ｓは学習データの組が同一のクラスのとき１、異なるクラスのとき０とする。ｍはマージンと呼ばれる定数であり、ｄは両学習データ間の距離を表す。

Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋを用いる場合、学習用データ生成部１０２は、まず、特徴ＤＢ１１１から２つの行動特徴を取り出す。そして、学習用データ生成部１０２は、取り出した２つの行動特徴間の類似度を前述の要領で求め、当該２つの行動特徴とそれら２つの行動特徴について得られた類似度とを１セットにまとめて学習用ＤＢ１１３に格納する（例：図７）。図７は、学習用ＤＢ１１３に格納される情報の一例を示す図である。

Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋを用いる場合、学習部１０３は、学習用ＤＢ１１３から２つの行動特徴と類似度のセット（学習用データ）を必要数取り出し、機械学習を実施する。このとき、学習部１０３は、上記式（１８）のｓに、取り出した学習用データの類似度を代入したものをＬｏｓｓとして学習を行う。

次に、非特許文献２で述べられているＴｒｉｐｌｅｔ Ｎｅｔｗｏｒｋを用いる場合の学習用データ生成部１０２および学習部１０３の動作について説明する。

Ｔｒｉｐｌｅｔ Ｎｅｔｗｏｒｋは、基準となるＡｎｃｈｏｒサンプルと、Ｐｏｓｉｔｉｖｅサンプル、Ｎｅｇａｔｉｖｅサンプルの計３つの学習データを１組とし、以下に示すＬｏｓｓが小さくなるように学習を進めるものである。ここで、Ｐｏｓｉｔｉｖｅサンプルは、Ａｎｃｈｏｒサンプルと同じクラスに属する。また、Ｎｅｇａｔｉｖｅサンプルは、ＡｎｃｈｏｒサンプルおよびＰｏｓｉｔｉｖｅサンプルとは異なるクラスに属する。

上記の式（１９）において、ｄ_ｐはＡｎｃｈｏｒサンプルとＰｏｓｉｔｉｖｅサンプルとの距離を表す。また、ｄ_ｎはＡｎｃｈｏｒサンプルとＮｅｇａｔｉｖｅサンプルとの距離を表す。また、ｍはマージンと呼ばれる定数である。

Ｔｒｉｐｌｅｔ Ｎｅｔｗｏｒｋを用いる場合、学習用データ生成部１０２は、特徴ＤＢ１１１からＡｎｃｈｏｒサンプルとなる行動特徴（Ａとする）と、２つの行動特徴（Ｘ、Ｙとする）とを取り出す。そして、学習用データ生成部１０２は、行動特徴Ａ・Ｘ間、および行動特徴Ａ・Ｙ間の類似度を前述の要領で求める。ここで求められる両類似度の差が大きくなるように行動特徴Ｘと行動特徴Ｙが選ばれるのが望ましい。学習用データ生成部１０２は、例えば、行動特徴Ｘまたは行動特徴Ｙの一方を行動特徴Ａと同じクラスから選択し、その他方を行動特徴Ａと異なるクラスから選択することで、両類似度の差を大きくすることができる。その他にも、学習用データ生成部１０２は、特徴ＤＢ１１１からランダムに抽出した行動特徴Ｘおよび行動特徴Ｙの各々について行動特徴Ａとの類似度を計算し、当該計算したＡ・Ｘ間の類似度とＡ・Ｙ間の類似度との差に基づいて、行動特徴Ａと共に処理に用いる２つの行動特徴を選択するようにしてもよい。例えば、学習用データ生成部１０２は、計算したＡ・Ｘ間の類似度とＡ・Ｙ間の類似度との差が所定の閾値（例えば、０．５など）以上であれば当該行動特徴Ｘおよび行動特徴Ｙを学習用データの生成に使用する行動特徴として選択し、当該差が所定の閾値未満であれば当該行動特徴Ｘおよび行動特徴Ｙを選択しないように構成されていてもよい。更なる例として、学習用データ生成部１０２は、例えばＡ・Ｘ間の類似度とＡ・Ｙ間の類似度との計算結果を含む画面をユーザに提示し、行動特徴Ａと共に処理に用いる２つの行動特徴として選択するか否かを当該画面でのユーザの選択操作に基づいて決定するように構成されていてもよい。そして、学習用データ生成部１０２は、３つの行動特徴（Ａ、ＸおよびＹ）と２つの類似度（Ａ・Ｘ間の類似度およびＡ・Ｙ間の類似度）とを１セットにまとめて学習用ＤＢ１１３に格納する（例：図８）。図８は、学習用ＤＢ１１３に格納される情報の他の一例を示す図である。

Ｔｒｉｐｌｅｔ Ｎｅｔｗｏｒｋを用いる場合、学習部１０３は、学習用ＤＢ１１３から３つの行動特徴と２つ類似度とのセット（学習用データ）を必要数取り出し、機械学習を実施する。このとき、学習部１０３は、Ｌｏｓｓを以下のように定義する。

ここで、ｓ_ｘ、ｓ_ｙはそれぞれ行動特徴Ａ・Ｘ間、行動特徴Ａ・Ｙ間の類似度を表す。また、ｄ_ｘ、ｄ_ｙはそれぞれ行動特徴Ａ・Ｘ間、行動特徴Ａ・Ｙ間の距離を表す。上記式（２０）において、ＸをＰｏｓｉｔｉｖｅサンプル、ＹをＮｅｇａｔｉｖｅサンプル、ｓ_ｘを１、ｓ_ｙを０とすると、従来のＴｒｉｐｌｅｔ Ｎｅｔｗｏｒｋと一致する点に注意されたい。

以上、機械学習の手法別に学習用データ生成部１０２と学習部１０３の詳細な構成を説明したが、これら以外の機械学習の手法を用いて独自に構成しても構わない。

（１．３ ハードウエア構成例）
図９は、特徴学習システム１００のハードウエア構成を例示するブロック図である。本図の例において、特徴学習システムの構成要素（類似度定義部１０１、学習用データ生成部１０２、学習部１０３）は、情報処理装置１０００（コンピュータ）によって実現される。情報処理装置１０００は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は情報処理装置１０００の各機能（類似度定義部１０１、学習用データ生成部１０２、学習部１０３など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

入出力インタフェース１０５０は、情報処理装置１０００と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース１０５０には、例えば、マウス、キーボード、タッチパネルなどの入力装置や、ディスプレイなどの出力装置が接続され得る。

ネットワークインタフェース１０６０は、情報処理装置１０００をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

なお、情報処理装置１０００のハードウエア構成は図９に例示される構成に限定されない。

（１．４ 処理の流れ）
以下、第１実施形態の特徴学習システムの処理の流れを、図１０を参照しながら説明する。図１０は、第１実施形態の特徴学習システム１００の処理の流れを示すフローチャートである。

まず、類似度定義部１０１は、行動特徴のクラスの組み合わせに対する類似度を定義し、類似度ＤＢ１１２に格納する。（ステップＳ１０１、以下単にＳ１０１と記載する）。

学習用データ生成部１０２は、特徴ＤＢ１１１から複数個の行動特徴を任意に選択して取り出す（Ｓ１０２）。そして、学習用データ生成部１０２は、取り出された２つの行動特徴に関するクラスの組み合わせに基づいて類似度ＤＢ１１２を参照し、当該組み合わせに対応する類似度を取得する（Ｓ１０３）。例えば、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋを用いる場合、学習用データ生成部１０２は特徴ＤＢ１１１から２つの行動特徴を取り出す。そして、学習用データ生成部１０２は、取り出した２つの行動特徴の一方が属する第１のクラスと他方が属する第２のクラスとの組み合わせに対応する類似度を、類似度ＤＢ１１２に格納されている情報に基づいて取得する。例えば、取り出された２つの行動特徴の一方のクラスが「０」、他方のクラスが「１」であったとする。ここで図５に示されるような情報が類似度ＤＢ１１２に格納されていた場合、学習用データ生成部１０２は、類似度ＤＢ１１２から「０．０５」という情報を、それらのクラスの組み合わせに対応する類似度として取得することができる。また、図６に例示されるような情報が類似度ＤＢ１１２に格納されていた場合、学習用データ生成部１０２は、類似度を求める計算式を類似度ＤＢ１１２から取り出す。そして、学習用データ生成部１０２は、取り出した計算式に対して、上述の２つの行動特徴の数値を代入することによって、類似度を取得することができる。そして、学習用データ生成部１０２は、Ｓ１０２で取り出した複数個の行動特徴とＳ１０３の処理で取得した類似度とを１セットにまとめ、学習用データとして学習用ＤＢ１１３に格納する（Ｓ１０４）。

学習用データ生成部１０２は、学習用ＤＢに行動特徴と類似度のセット（学習用データ）が十分な個数格納されたかを確認する（Ｓ１０５）。例えば、学習用データ生成部１０２は、所定数或いは事前に指定された数の学習用データが、学習用ＤＢ１１３に格納されたか否かを判定する。十分な数の学習用データが学習用ＤＢ１１３に格納されていない場合（Ｓ１０５のＮＯ）、学習用データ生成部１０２は、Ｓ１０２からＳ１０４の処理を繰り返す。一方、十分な数の学習用データが学習用ＤＢ１１３に格納されている場合（Ｓ１０５のＹＥＳ）、学習用データ生成部１０２は学習用データを生成する処理を終了する。この場合、処理はステップＳ１０６に進む。

学習部１０３は、学習用ＤＢ１１３から類似度と行動特徴のセット（学習用データ）を必要数取り出し、類似度を考慮した機械学習を実施する（Ｓ１０６）。例えば、Ｓｉａｍｅｓｅ ＮｅｔｗｏｒｋまたはＴｒｉｐｌｅｔ Ｎｅｔｗｏｒｋを用いる場合、学習部１０３は、類似度を変数として含む式（１８）または式（２０）によって定義されるＬｏｓｓの値が小さくなるように学習を進める。

（１．５ 本実施形態に係る効果）
以上のように、本実施形態に係る特徴学習システム１００は、人物の行動の識別に対して、識別の方法を従来と変えないまま、行動間の類似度を考慮しながら学習することを可能にする。これにより、「見た目が似ているが異なる行動」を学習することによる悪影響を抑えて安定的に学習を行うことができる。つまり、行動の差異の過剰な強調などを必要としない、安定した特徴空間を構築することができ、従来と同じ識別方法のままで、識別性能を向上させる効果が見込める。また、学習時に関しても、類似度を定める際に主成分分析や事前の学習・識別等による前処理が必要になる場合があるものの、一度類似度を定めてしまえばその後の学習ではその値を使い続けることができるし、人為的に類似度を定めるなどの前処理のない方法を採ることもできる。そのため、機械学習に用いる学習データを揃える際の労力を、従来技術よりも抑えることができる。

（２ 第２実施形態）
（２．１ システム構成）
本実施形態の特徴学習システムは、以下で説明する点を除き、第１実施形態と同様の構成を有する。図１１は、第２実施形態の特徴学習システム１００の構成を例示する図である。

図１１に示されるように、本実施形態の特徴学習システム１００は表示処理部１０４を更に備える。表示処理部１０４は、学習用データ生成部１０２の処理結果（行動特徴間の類似度の判定結果等）を示す画面を、作業担当者用に設けられたディスプレイ（図示せず）に出力する。

（２．２ 出力画面例）
以下、図を用いて、表示処理部１０４が出力する画面の具体例について説明する。

図１２は、表示処理部１０４が出力する画面の一例を示す図である。図１２の例において、表示処理部１０４は、特徴ＤＢ１１１から任意に選択して取り出した２つの行動特徴（行動特徴Ａおよび行動特徴Ｂ）と、それらの類似度を示す情報とを含む画面を表示している。このような画面によって、学習用データを生成する作業を行う人物は、学習用データの内容を確認しつつ作業を進めることができる。

なお、表示処理部１０４によって出力される画面は、図１２の例に制限されない。例えば、表示処理部１０４は、２つの行動特徴を重畳した状態で含む画面を生成して、当該画面を作業担当者に設けられたディスプレイに出力してもよい。この場合、表示処理部１０４は、例えば、２つの行動特徴の違いが判るように、２つの行動特徴の画像データの透過率を調整するようにしてもよい。

また、表示処理部１０４は、２つの行動特徴間で対応する各特徴点の類似性に基づいて、各特徴点の表示態様を変更するように構成されていてもよい。例えば、表示処理部１０４は、類似性が低い（または高い）特徴点の形状や色を変更するなどして、当該特徴点を他の特徴点よりも強調して表示するようにしてもよい。

また、表示処理部１０４は、学習用データ生成部１０２によって生成された学習データを学習用ＤＢ１１３に格納するか否かを作業担当者が選択できるような表示要素を更に含む画面を出力するように構成されていてもよい。

また、表示処理部１０４は、学習用ＤＢ１１３にすでに格納されている学習用データの分布（例えば、学習用データに含まれる類似度に基づく分布）を示す情報を更に含む画面を出力するように構成されていてもよい。

表示処理部１０４が出力する画面の他の一例を図１３に示す。図１３は、表示処理部１０４が出力する画面の他の一例を示す図である。図１３に例示される画面によれば、作業担当者は、特徴点の表示態様によって、２つの行動特徴のどの部分が類似しているのか（あるいは類似していないのか）を容易に把握することができる。また、作業担当者は、学習用データの内容や学習用ＤＢ１１３における学習用データの分布といった画面上の情報を確認して、必要な学習用データを選別して学習用ＤＢ１１３に格納することができる。

（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

また、本明細書内では人物行動の識別について述べているが、本発明はベクトルで表現可能な特徴であればどのような特徴の識別にも応用可能である。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
２つの特徴ベクトルそれぞれに対応する２つのクラス間の類似度を定義する類似度定義手段と、
処理対象として取得した複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに基づいて前記類似度を取得し、当該複数の特徴ベクトルと当該類似度とを含む学習用データを生成する学習用データ生成手段と、
前記学習用データを用いた機械学習を実施する学習手段と、
を備える特徴学習システム。
２．
前記類似度定義手段は、前記２つの特徴ベクトルに基づいて前記２つのクラス間の類似度を求める計算式を定義し、
前記学習用データ生成手段は、前記処理対象として取得した前記複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに対応する類似度を求める計算式を取得し、当該複数の特徴ベクトルを当該計算式に代入して類似度を算出する、
１．に記載の特徴学習システム。
３．
前記類似度は、前記特徴ベクトルもしくは当該特徴ベクトルを次元削減したベクトルの差のノルムもしくは当該ベクトル同士のなす角に基づき算出される、
２．に記載の特徴学習システム。
４．
前記学習手段は、距離学習を用いる、
１．から３．のいずれか１つに記載の特徴学習システム。
５．
前記類似度は、前記特徴ベクトルが属するクラス毎に主成分分析を行うことで当該クラス毎に得られる第１主成分に対応する固有ベクトルのなす角に基づき算出される、
１．から４．のいずれか１つに記載の特徴学習システム。
６．
前記類似度は、前記特徴ベクトルを用いてクラスの識別を行った際の誤認識率に基づき算出される、
１．から４．のいずれか１つに記載の特徴学習システム。
７．
前記特徴ベクトルは、人物行動の特徴であり、
前記特徴ベクトルが属するクラスは、前記人物行動の特徴が属する行動の種類である、
１．から６．のいずれか１つに記載の特徴学習システム。
８．
前記人物行動の特徴は、可視光カメラ、赤外カメラ、デプスセンサのうち１つ以上のセンサ情報を含む、
７．に記載の特徴学習システム。
９．
前記人物行動の特徴は、人物骨格情報を含み、
当該人物骨格情報は、頭部、頸部、左肘、右肘、左手、右手、腰部、左膝、右膝、左足、および右足のうち１つ以上の位置情報を少なくとも含む、
７．に記載の特徴学習システム。
１０．
前記類似度は、前記人物骨格情報の対応する部位同士の距離、もしくは部位間を連結する線分同士のなす角に基づき算出される、
９．に記載の特徴学習システム。
１１．
コンピュータが、
２つの特徴ベクトルそれぞれに対応する２つのクラス間の類似度を定義し、
処理対象として取得した複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに基づいて前記類似度を取得し、
当該複数の特徴ベクトルと当該類似度とを含む学習用データを生成し、
前記学習用データを用いた機械学習を実施する、
ことを含む特徴学習方法。
１２．
前記コンピュータが、
前記２つの特徴ベクトルに基づいて前記２つのクラス間の類似度を求める計算式を定義し、
前記処理対象として取得した前記複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに対応する類似度を求める計算式を取得し、当該複数の特徴ベクトルを当該計算式に代入して類似度を算出する、
ことを含む１１．に記載の特徴学習方法。
１３．
前記類似度は、前記特徴ベクトルもしくは当該特徴ベクトルを次元削減したベクトルの差のノルムもしくは当該ベクトル同士のなす角に基づき算出される、
１２．に記載の特徴学習方法。
１４．
前記コンピュータが、前記機械学習として距離学習を用いる、
ことを含む１１．から１３．のいずれか１つに記載の特徴学習方法。
１５．
前記類似度は、前記特徴ベクトルが属するクラス毎に主成分分析を行うことで当該クラス毎に得られる第１主成分に対応する固有ベクトルのなす角に基づき算出される、
１１．から１４．のいずれか１つに記載の特徴学習方法。
１６．
前記類似度は、前記特徴ベクトルを用いてクラスの識別を行った際の誤認識率に基づき算出される、
１１．から１４．のいずれか１つに記載の特徴学習方法。
１７．
前記特徴ベクトルは、人物行動の特徴であり、
前記特徴ベクトルが属するクラスは、前記人物行動の特徴が属する行動の種類である、
１１．から１６．のいずれか１つに記載の特徴学習方法。
１８．
前記人物行動の特徴は、可視光カメラ、赤外カメラ、デプスセンサのうち１つ以上のセンサ情報を含む、
１７．に記載の特徴学習方法。
１９．
前記人物行動の特徴は、人物骨格情報を含み、
当該人物骨格情報は、頭部、頸部、左肘、右肘、左手、右手、腰部、左膝、右膝、左足、および右足のうち１つ以上の位置情報を少なくとも含む、
１７．に記載の特徴学習方法。
２０．
前記類似度は、前記人物骨格情報の対応する部位同士の距離、もしくは部位間を連結する線分同士のなす角に基づき算出される、
１９．に記載の特徴学習方法。
２１．
コンピュータに、１１．から２０．のいずれか１つに記載の特徴学習方法を実行させるプログラム。

Claims (13)

1. ２つの特徴ベクトルそれぞれに対応する２つのクラス間の類似度を定義する類似度定義手段と、
   処理対象として取得した複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに基づいて前記類似度を取得し、当該複数の特徴ベクトルと当該類似度とを含む学習用データを生成する学習用データ生成手段と、
   前記学習用データを用いた機械学習を実施する学習手段と、
   を備え、
   前記類似度は、前記特徴ベクトルが属するクラス毎に主成分分析を行うことで当該クラス毎に得られる第１主成分に対応する固有ベクトルのなす角に基づき算出される、
   特徴学習システム。
2. 前記類似度定義手段は、前記２つの特徴ベクトルに基づいて前記２つのクラス間の類似度を求める計算式を定義し、
   前記学習用データ生成手段は、前記処理対象として取得した前記複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに対応する類似度を求める計算式を取得し、当該複数の特徴ベクトルを当該計算式に代入して類似度を算出する、
   請求項１に記載の特徴学習システム。
3. 前記類似度は、前記特徴ベクトルもしくは当該特徴ベクトルを次元削減したベクトルの差のノルムもしくは当該ベクトル同士のなす角に基づき算出される、
   請求項２に記載の特徴学習システム。
4. 前記学習手段は、距離学習を用いる、
   請求項１から３のいずれか１項に記載の特徴学習システム。
5. 前記類似度は、前記特徴ベクトルを用いてクラスの識別を行った際の誤認識率に基づき算出される、
   請求項１から３のいずれか１項に記載の特徴学習システム。
6. 前記特徴ベクトルは、人物行動の特徴であり、
   前記特徴ベクトルが属するクラスは、前記人物行動の特徴が属する行動の種類である、
   請求項１から５のいずれか１項に記載の特徴学習システム。
7. 前記人物行動の特徴は、可視光カメラ、赤外カメラ、デプスセンサのうち１つ以上のセンサ情報を含む、
   請求項６に記載の特徴学習システム。
8. 前記人物行動の特徴は、人物骨格情報を含み、
   当該人物骨格情報は、頭部、頸部、左肘、右肘、左手、右手、腰部、左膝、右膝、左足、および右足のうち１つ以上の位置情報を少なくとも含む、
   請求項６に記載の特徴学習システム。
9. 前記類似度は、前記人物骨格情報の対応する部位同士の距離、もしくは部位間を連結する線分同士のなす角に基づき算出される、
   請求項８に記載の特徴学習システム。
10. ２つの特徴ベクトルそれぞれに対応する２つのクラス間の類似度を定義する類似度定義手段と、
    処理対象として取得した複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに基づいて前記類似度を取得し、当該複数の特徴ベクトルと当該類似度とを含む学習用データを生成する学習用データ生成手段と、
    前記学習用データを用いた機械学習を実施する学習手段と、
    を備え、
    前記特徴ベクトルは、人物行動の特徴であり、
    前記特徴ベクトルが属するクラスは、前記人物行動の特徴が属する行動の種類であり、
    前記人物行動の特徴は、人物骨格情報を含み、
    当該人物骨格情報は、頭部、頸部、左肘、右肘、左手、右手、腰部、左膝、右膝、左足、および右足のうち１つ以上の位置情報を少なくとも含み、
    前記類似度は、前記人物骨格情報の対応する部位同士の距離、もしくは部位間を連結する線分同士のなす角に基づき算出される、
    特徴学習システム。
11. コンピュータが、
    ２つの特徴ベクトルそれぞれに対応する２つのクラス間の類似度を定義し、
    処理対象として取得した複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに基づいて前記類似度を取得し、
    当該複数の特徴ベクトルと当該類似度とを含む学習用データを生成し、
    前記学習用データを用いた機械学習を実施する、
    ことを含み、
    前記類似度は、前記特徴ベクトルが属するクラス毎に主成分分析を行うことで当該クラス毎に得られる第１主成分に対応する固有ベクトルのなす角に基づき算出される、
    特徴学習方法。
12. コンピュータが、
    ２つの特徴ベクトルそれぞれに対応する２つのクラス間の類似度を定義し、
    処理対象として取得した複数の特徴ベクトルのそれぞれが属するクラスの組み合わせに基づいて前記類似度を取得し、
    当該複数の特徴ベクトルと当該類似度とを含む学習用データを生成し、
    前記学習用データを用いた機械学習を実施する、
    ことを含み、
    前記特徴ベクトルは、人物行動の特徴であり、
    前記特徴ベクトルが属するクラスは、前記人物行動の特徴が属する行動の種類であり、
    前記人物行動の特徴は、人物骨格情報を含み、
    当該人物骨格情報は、頭部、頸部、左肘、右肘、左手、右手、腰部、左膝、右膝、左足、および右足のうち１つ以上の位置情報を少なくとも含み、
    前記類似度は、前記人物骨格情報の対応する部位同士の距離、もしくは部位間を連結する線分同士のなす角に基づき算出される、
    特徴学習方法。
13. コンピュータに、請求項１１または１２に記載の特徴学習方法を実行させるプログラム。

Images