JP5505409B2 - 特徴点生成システム、特徴点生成方法および特徴点生成プログラム - Google Patents

Description

本発明は、３次元形状モデルから特徴点を生成する特徴点生成システム、特徴点生成方法および特徴点生成プログラムに関する。

個体（例えば人の顔）の画像から、その個体の向き（以下、姿勢と記す。）を推定したり、その個体を識別したりするための種々の技術が提案されている。

特徴点を用いて顔等の個体の姿勢推定や個体識別を行う一般的な手法として、以下のような手順を踏むことが考えられる。

（１）認識対象とする物体の３次元形状モデル（以下、３Ｄ形状モデルと記す。）のデータベースを構築する。多くの場合、３次元計測装置（３Ｄスキャナ）によって３次元形状を計測し、その結果得た３Ｄ形状モデルのデータベースを構築する。

（２）認識に用いる特徴点として用いる物体の特定の部位を、３Ｄ形状モデル上における特徴点として決定する。

（３）画像から各特徴点を抽出するための特徴点抽出器を構築する。換言すれば、特徴点抽出器における学習を行う。特徴点抽出器は、あるパターンが入力されたときに、そのパターンが特徴点であるか否かを判定するための内部データを、予め既知の特徴点および既知の非特徴点から生成する。このような内部データの生成を学習という。

（４）姿勢推定や個体識別等の認識タスクを行おうとする画像から、その特徴点抽出器を用いて特徴点を抽出する。そして、その画像から抽出した特徴点の位置と、３Ｄ形状モデル上の特徴点の位置との対応関係を用いて、認識タスクを行う。

上記（２）に利用可能な技術として、例えば、非特許文献２には、エントロピーに基づいて特徴点を生成する方法が記載されている。特徴点が定まっていない状態から特徴点を定めることを、特徴点を生成すると記す。

上記（３）に利用可能な、特徴点抽出器を構築するための技術として、例えば、非特許文献１には、画像間の対応点を求めるために必要な特徴点を、ＳＩＦＴ（Scale-Invariant Feature Transform ）アルゴリズムによって抽出する技術が記載されている。ＳＩＦＴアルゴリズムは、多重解像度解析による塊検出と、濃淡勾配のヒストグラムを利用した画像間の対応付けを可能とする。

また、特徴点抽出器を構築するための他の技術として、特徴点として抽出すべき画像パターンについて予め機械学習を行っておき、その学習結果を用いてパターンの識別判定を行う場合がある。このような学習および判定に、一般化学習ベクトル量子化（ＧＬＶＱ：Generalized Learning Vector Quantization）を用いることが非特許文献３に記載されている。非特許文献３では顔のパターン検出を行っているが、パターンを顔から特徴点周辺部分に置き換えれば特徴点の検出を行うことができる。また、機械学習の手法としてＳＶＭ（Support Vector Machine）も知られている。

非特許文献１，２に記載された技術によって生成した特徴点は、例えば、上記のような顔の姿勢推定や顔の識別等に利用することができる。

藤吉弘亘、「Ｇｒａｄｉｅｎｔベースの特徴抽出 −ＳＩＦＴとＨＯＧ−」、情報処理学会研究報告 ＣＶＩＭ１６０、pp.211-224、２００７年 Joshua Cates, Miriah Meyer, P.Thomas Fletcher, Ross Whitaker, "Entropy-Based Particle Systems for Shape Correspondence",Proceedings of the MICCAI,２００６年 細井利憲、鈴木哲明、佐藤敦、「一般化学習ベクトル量子化による顔検出」、Technical report of IEICE. PRMU，Vol.102,No.651(20030213),pp.47-52

本発明の発明者は、姿勢推定や個体識別等の種々の処理に利用される特徴点が満たすべき要件を検討し、特徴点は以下のような３つの要件を満たすべきと考えた。

第１の要件（以下、要件Ａと記す。）は、認識対象となる画像の照明や姿勢の変化に対して頑健に、特徴点の位置を画像から抽出できる特徴点抽出器を構築できることである。すなわち、特徴点と、特徴点以外の点とを特徴点抽出器に入力し、あるパターンが入力されたときに、そのパターンが特徴点であるか否かを判定するための内部データを特徴点抽出器に学習させることができることである。例えば、頬の領域はどこをとっても似たような画像パターンであるから、頬の一点を特徴点としても、その特徴点と頬の他の位置の点の画像のパターンは同様であり、特徴点抽出器による抽出が困難である。よって、頬の点は要件Ａを満たしていないと言える。

第２の要件（以下、要件Ｂと記す。）は、異なる個体間において特徴点が対応付いていることである。例えば、目尻の点を特徴点とした場合、人物Ｘの目尻の点と人物Ｙの目尻の点とは、対応付けられる。よって、目尻の点は、要件Ｂを満たす。要件Ｂは、さらに２つの要件に分けて考えることができる。一つは、全ての３Ｄ形状モデルを同一の座標系の座標系に重ね合わせて配置したときに、３Ｄ形状モデル上の近い位置に特徴点が存在することである。この要件を要件Ｂ１と記す。もう一つは、各画像間で、画像から切り出した特徴点を含む特徴点周囲の局所領域のパターン（局所パターン）が類似していることである。この要件を要件Ｂ２と記す。上記の目尻を例に説明すると、人物Ｘ，Ｙの３Ｄ形状モデルを重ねた場合、目尻の点は互いに近いので要件Ｂ１を満たす。また、人物が異なっていても、人物の顔画像における目尻の点およびその周囲を切り出すと、切り出した部分同士は類似しているので、目尻の点は要件Ｂ２も満たす。

第３の要件（以下、要件Ｃと記す。）は、認識タスクにとって重要な点が特徴点として網羅されていて、その特徴点を用いることにより十分に高い認識性能を実現できることである。そのような条件の一例として、要件Ｃは、３Ｄ形状モデルの一部に特徴点が集中せずに、３Ｄ形状モデル全体から均一に抽出されていることということができる。

また、３Ｄ形状モデルの特徴点を生成する手法として、以下に示す第１の手法および第２の手法が考えられる。第１の手法は、一般的な特徴点抽出器により特徴点を抽出し、その特徴点の中から要件Ａ〜Ｃを満たす特徴点を選ぶ方法である。一般的な特徴点抽出器として、例えば、コーナー（角）等の一般的なパターンに該当するか否かを判定する特徴点抽出器を用いればよい。

また、ＳＩＦＴアルゴリズムを用いた特徴点抽出器を第１の手法に適用してもよい。例えば、３Ｄ形状モデルに対する照明の状態を様々に変化させた各画像を用意し、ＳＩＦＴアルゴリズムを用いた特徴点抽出器によって、その各画像から特徴点抽出および特徴量の算出を行う。その特徴点の中から要件Ａ〜Ｃを満たす特徴点を選択すればよい。要件Ａを満たす特徴点を選択するには、例えば、個々の個体（例えば、個々の顔）について照明を変化させた各画像を用意し、ＳＩＦＴアルゴリズムを用いた特徴点抽出器によって、その各画像から特徴点抽出および特徴量の算出を行う。そして、特徴量が近い特徴点同士を対応付け、対応付けられた各特徴点の画像内での位置の平均を計算し、平均位置から個々の特徴点のずれを求める処理を個体毎に行う。ある一つの個体において、平均からの位置ずれ量が少ない特徴点を選択することにより、要件Ａを満たす特徴点が得られる。また、対応付けられた特徴点の平均位置を個体毎に求めたとき、個体毎の平均位置の平均を求め、その平均（すなわち個体間の平均）と、個々の個体毎における各画像間での平均位置とのずれが小さい特徴点を選べば、要件Ｂを満たす特徴点が得られる。そして、要件Ａ，Ｂを満たす特徴点の中から、３Ｄ形状モデル上全体に均一に散らばるような特徴点の組み合わせを選ぶことで、要件Ａ〜Ｃを満たす特徴点が得られる。

また、３Ｄ形状モデルの特徴点を生成する第２の手法として、所望の条件を満たす特徴点を予め選んでおき、その特徴点に特化した学習を特徴点抽出器に行わせ、その特徴点抽出器により特徴点抽出を行う手法が挙げられる。そして、所望の条件を満たす特徴点を選ぶ際に、非特許文献２に記載されたエントロピーに基づいて特徴点を抽出する方法を用いることが考えられる。非特許文献２に記載された方法は、３Ｄ形状モデル全体から、特徴点を選択する。また、異なる個体においてそれぞれ似た位置に存在する特徴点を選択する。すなわち、要件Ｂ１および要件Ｃを満たす特徴点を抽出する。そのような特徴点の局所パターンと、そのような特徴点に該当しない点の局所パターンをそれぞれ複数、特徴点抽出器に入力し、特徴点抽出器に学習を行わせれば、以降、その特徴点抽出器により同様の特徴点を抽出することができる。このような特徴点抽出器の構築（学習）において、非特許文献３に記載されたＧＬＶＱやＳＶＭを利用可能である。

第１の手法で特徴点を生成する場合、まず、ある特徴点抽出器によって特徴点の抽出を行い、その中から要件Ａ〜Ｃを満たす特徴点を選ぶ。従って、第１の手法では、予め用意した特徴点抽出器で良好に抽出できる特徴点に限定される。そのため、得られた特徴点が認識を行う上で最適とは言えなかった。例えば、ＳＩＦＴアルゴリズムを用いた特徴点抽出器によって抽出した特徴点から要件Ａ〜Ｃを満たす特徴点を選んだとしても、認識においてより重要な特徴点がはじめからＳＩＦＴ特徴点抽出器では抽出できないものであった可能性もある。従って、得られた特徴点が高い認識性能を得るために最適であるかが不明であった。

エントロピーに基づいて特徴点を抽出する方法（非特許文献２に記載の方法）を第２の手法に適用した場合、異なる個体においてそれぞれ似た位置に存在する特徴点であって３Ｄ形状モデル全体から均一に得られるような特徴点を抽出する。そして、そのような特徴点を生成するための学習を特徴点抽出器に学習させることができる。従って、要件Ｂ１および要件Ｃを満たす特徴点を生成することができる。しかし、特徴点抽出器における学習のしやすさ（要件Ａ）や、異なる個体間での局所パターンの類似性（要件Ｂ２）を考慮していないので、特徴点抽出精度が悪くなる特徴点を生成してしまう。そのような特徴点は認識において有効でなく、結果的に、生成される特徴点の認識における有効性が高いとは言えなかった。

そこで、本発明は、好ましい条件を満たす特徴点（認識性能を高めるために有効性を高めるための条件）を３次元形状モデルから自動的に生成することができる特徴点生成システム、特徴点生成方法および特徴点生成プログラムを提供することを目的とする。

本発明による特徴点生成システムは、３次元形状モデルに対して条件を変化させて得られる複数の画像を生成する画像群生成手段と、特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する評価手段と、評価手段が計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置手段とを備えることを特徴とする。

本発明による特徴点生成方法は、３次元形状モデルに対して条件を変化させて得られる複数の画像を生成し、特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算し、指定された特徴点群に対する評価値が最小となるように３次元形状モデル上の特徴点群を配置することを特徴とする。

本発明による特徴点生成プログラムは、コンピュータに、３次元形状モデルに対して条件を変化させて得られる複数の画像を生成する画像群生成処理、特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する評価処理、および、評価処理で計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置処理を実行させることを特徴とする。

本発明によれば、好ましい条件を満たす特徴点を３次元形状モデルから生成することができる。

本発明の第１の実施形態の特徴点生成システムの例を示すブロック図である。 学習画像群生成手段に入力される３Ｄ形状モデルを模式的に示す説明図である。 生成された画像の例を示す説明図である。 ３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す説明図である。 対称の例を示す説明図である。 第１の実施形態の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の特徴点生成システムの例を示すブロック図である。 本発明の第３の実施形態の特徴点生成システムの例を示すブロック図である。 第３の実施形態の処理経過の例を示すフローチャートである。 本発明の最小構成を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明の第１の実施形態の特徴点生成システムの例を示すブロック図である。第１の実施形態の特徴点生成システム１は、学習画像群生成手段２と、特徴点配置手段３と、評価手段４とを備える。

学習画像群生成手段２には、３Ｄ形状モデル（３次元形状モデル）６が入力され、学習画像群生成手段２は、入力された３Ｄ形状モデル６からＣＧ（Computer Graphics ）画像として複数の画像（２次元画像）を生成する。ここでは、学習画像群生成手段２に、人間の顔の３Ｄ形状モデルが入力される場合を例にして説明する。また、この３Ｄ形状モデルにはテクスチャが貼り付けられているものとする。学習画像群生成手段２は、入力された３Ｄ形状モデルに対して、条件を種々変化させた場合の画像を複数生成する。学習画像群生成手段２は、この条件として、照明の状態（照明の位置）や３Ｄ形状モデルの姿勢を様々に定め、それらの各条件のもとでの画像を生成する。以下、この２次元画像を学習画像と記す。また、学習画像群生成手段２には、複数の個体についてそれぞれ作成された３Ｄ形状モデルが入力される。図２では二つの３Ｄ形状モデルを示しているが、学習画像群生成手段２に入力される３Ｄ形状モデル数は２に限定されない。

図２は、学習画像群生成手段２に入力される３Ｄ形状モデルを模式的に示す説明図である。図２では３Ｄ形状モデルを模式的に２次元で表している。図２（ａ），（ｂ）は、それぞれ異なる人物の顔の３Ｄ形状モデルを表している。学習画像群生成手段２は、図２（ａ），（ｂ）に示すような複数の個体（複数の人物）の３Ｄ形状モデルが入力されると、それぞれの個体毎に、照明位置や姿勢を種々変化させた場合の学習画像を生成する。図３は、生成された学習画像の例を示す説明図である。図３（ａ）は、図２（ａ）に示す３Ｄ形状モデルから生成した複数の学習画像の例であり、図３（ｂ）は、図２（ｂ）に示す３Ｄ形状モデルから生成した複数の学習画像の例である。図３では、照明の位置を種々変化させて得た複数の画像を示しているが、３Ｄ形状モデルの姿勢を変化させてもよい。３Ｄ形状モデルに対する照明の位置を変化させることで、照明位置に応じた場所に影１１が生じた学習画像を得ることができる（図３参照）。図３では、個体毎に３種類の学習画像を示しているが、学習画像群生成手段２が生成する学習画像の種類は３種類に限定されない。学習画像群生成手段２は、３Ｄ形状モデルおよび生成した学習画像群７を特徴点配置手段３および評価手段４に入力する。

特徴点配置手段３は、特徴点群の初期位置を、特徴点生成システム１に入力された３Ｄ形状モデル上において定める。学習画像は、３Ｄ形状モデルからＣＧ画像として生成される画像であるので、３Ｄ形状モデル上の特徴点が指定されれば、その特徴点に応じた学習画像内の特徴点も定めることができる。例えば、図４に示す３Ｄ形状モデルにおける特徴点１３等の特徴点群を初期位置として定めると、各学習画像においても対応する特徴点１３ａ等をそれぞれ定めることができる。特徴点配置手段３は、３Ｄ形状モデル上の各特徴点に対応する学習画像内の各特徴点も定める。

図４（ａ）は、図２（ｂ）に示す３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す。同様に、図４（ｂ）は、図２（ｂ）に示す３Ｄ形状モデル上の特徴点の初期位置およびその特徴点に対応する学習画像上の特徴点の例を示す。後述するように、評価手段４は、特徴点配置手段３に指定された特徴点群が要件Ａ〜Ｃをどの程度満たしているかを示す評価値を計算する。この評価値をＱとする。評価値Ｑは、特徴点群が要件Ａ〜Ｃを満たしているほど小さな値となる。特徴点配置手段３は、評価値Ｑを最小化するように特徴点群の位置を初期位置から移動させる。特徴点配置手段３が特徴点群を移動させて評価手段４がその特徴点群における評価値Ｑを計算する処理を繰り返すことで、評価値Ｑが最小となる特徴点群を求め、その特徴点群を最適な特徴点群８（図１参照）として出力する。

評価手段４は、各個体の３Ｄ形状モデル上の特徴点群が指定されると、その特徴点群が、要件Ａ〜Ｃをどの程度満たしているかを示す評価値Ｑを計算する。評価手段４は、特徴点配置手段３に指定された特徴点群について、以下に示す式（１）の計算により評価値Ｑを求める。

以下、式（１）の右辺の第１項から第４項の計算方法について説明する。

式（１）の右辺の第１項におけるＨｃ［Ｐ］は、個体毎の３次元形状モデル間での位置の一致性を表すエントロピーである。従って、第１項は要件Ｂ１に対応する項である。第１項の算出では、特徴点の座標を用いた計算を行う。人物数がＭであるとし、着目している人物をｋで表すこととする。ｋ番目の人物の一つの３次元形状モデル上におけるｉ番目の特徴点をＰｉとしたときに、その特徴点Ｐｉの座標をｘｋ，ｉと表すこととする。また、その３次元形状モデル上の特徴点の座標を並べたものをｚｋとすると、ｚｋは、（ｘｋ，１Ｔ，ｘｋ，２Ｔ，・・・，ｘｋ，ＮＴ）Ｔである。Ｎは３次元形状モデル内の特徴点数である。座標の次元をｄとすると、ｚｋは、Ｎｄ次元ベクトルである。各特徴点Ｐｉが各人物の３次元形状モデルにおいてそれぞれ近接した位置に配置されていると、ｚｋ（ｋ＝１，２，・・・，Ｍ）のＮｄ次元空間における分布の分散は小さくなる。｛ｚｋ｝の分布を正規分布で近似しその共分散をΣで表すとき、そのエントロピーは、以下に示す式（２）で計算できる。評価手段４は、式（１）の右辺第１項におけるＨｃ［Ｐ］を以下に示す式（２）で計算すればよい。ただし、λｊはΣの固有値である。

評価手段４は、計算したＨｃ［Ｐ］にξを乗じることによって、式（１）の右辺第１項を計算する。ξは第１項の重み係数である。第１項の重みに応じてξを定めておけばよく、第１項を考慮しないのであればξ＝０としてもよい。

式（１）の右辺第２項（“−”符号も含む。）の計算について説明する。この第２項は、特徴点群の分布の均一性をエントロピーで定量化した項であり、要件Ｃに対応する。１番目の人物からＭ番目の人物までについてそれぞれ−Ｈｕ［Ｐｋ］を求め、その総和を計算したものが式（１）の右辺第２項である。ここで、［Ｐｋ］は着目している人物の特徴点群であり、Ｈｕ［Ｐｋ］はそのエントロピーである。

曲面Ｓ上に分布するＮ個の点群｛Ｐｉ｝が与えられたとき、この｛Ｐｉ｝を、Ｓ上に定義された確率密度分布ｐ（ｘ）（ｘ∈Ｓ）に従って生成された点群とみなす。このとき、点群｛Ｐｉ｝の分布の均一さは、ｐ（ｘ）のＳ上におけるエントロピーＨｕ［Ｐ］＝−∫Ｓｐ（ｘ）ｌｏｇｐ（ｘ）ｄｘによって定義できる。ここで、｛Ｐｉ｝により３次元顔モデルを十分サンプリングできているとき、Ｈｕ［Ｐ］は、−（１／Ｎ）Σｉｌｏｇｐ（ｘｉ）で近似することができる。ただし、ｘｉは特徴点Ｐｉの位置である。この式により、Ｈｕ［Ｐ］を計算するためには、ｐ（ｘｉ）を推定する必要がある。この推定にはガウス関数Ｇ（ｘ，σ）を窓関数としたＰａｒｚｅｎ推定を採用する。このとき、以下に示す式（３）を得る。

よって、−Ｈｕ［Ｐ］を以下の式（４）のように計算することができる。

評価手段４は、Ｍ人の人物についてそれぞれ式（４）の計算で−Ｈｕ［Ｐｋ］を求め、その総和を計算し、総和にηを乗じることにより、式（１）の右辺第２項を計算すればよい。ηは第２項の重み係数である。第２項の重みに応じてηを定めておけばよく、第２項を考慮しないのであればη＝０としてもよい。

式（１）の右辺第３項（“−”符号も含む。）の計算について説明する。この第３項は、局所パターンの対称性を表す項であり、局所パターンの対称性が大きいほど第３項の値は小さくなる。換言すれば、この第３項は、要件Ａに対応し、特徴点群が要件Ａを満たす程度が大きいほど、第３項の値は小さくなる。

この局所パターンは、学習画像内の特徴点を含む特徴点周囲の局所領域の画像である。特徴点としてエッジ、コーナーまたは極大点を含む局所パターンは、局所的に回転対称性やスケール対称性を有している。ここで対称性とは、特定の変換に対する対象の不変性のことである。例えば、左右対称とは、左右反転する変換に対する対象の不変性である。図５は対称の例を示す説明図である。図５（ａ）は、画素値の極大点周辺の局所パターンであり、回転変換に対して不変であることから回転対称である。図５（ｂ）は、コーナーとエッジであり、拡大縮小に対して不変なスケール対称性を有するパターンである。

局所パターンをＩ（ｕ，ｖ）で表すことにする。局所的な座標系（ｕ，ｖ）の原点は局所領域の中央に設定する。ユークリッド座標系（ｕ，ｖ）を（対数）極座標（ｒ，θ）へと変換する。さらに、Ｉ（ｕ，ｖ）が変数分離できると仮定する。ここで、以下の式（５）が成り立つ。

Ｉ（ｕ，ｖ）＝ｆ（ｒ）ｇ（θ） 式（５）

局所パターンＩ（ｕ，ｖ）が回転対称であるとき、Ｉ（ｕ，ｖ）はθの変化に対して不変となるため、以下の式（６）を満たす。

Ｉ（ｕ，ｖ）＝ｆ（ｒ）Θ０ 式（６）

ただし、Θ０は定数である。一方、Ｉ（ｕ，ｖ）がスケール対称であるとき、Ｉ（ｕ，ｖ）は動径ｒの変化に対して不変となるため、以下の式（７）を満たす。ここで、式（７）におけるＲ０は定数である。

Ｉ（ｕ，ｖ）＝Ｒ０ｇ（θ） 式（７）

局所パターンの極座標表現Ｉ（ｒ，θ）の２次元フーリエ係数をＣｍｎで表すことにすると、Ｃｍｎは、以下に示す式（８）の計算によって求めることができる。

ただし、ｍ，ｎは整数であり、εは局所領域の半径である。また、第１の実施形態では、局所領域が正方形であるものとして説明する。この場合、εは、正方形の局所領域の中心から正方形の辺までの距離であり、局所領域となる内接円の半径である。また、式（８）中のｊは虚数単位である。フーリエ係数Ｃｍｎのうち、Ｃ００は、Ｉ（ｒ，θ）の局所領域内の平均値に対応していて、この値の大小は特徴点としての抽出のしやすさには関係ない。仮に局所パターンが回転対称であるならば、Ｃ０ｎ以外は全て０になる。一方、局所パターンがスケール対称であるならば、Ｃｍ０以外は全て０になる。このため、Ｓａｌｌを式（９）のように定めると、局所パターンの回転対称性Ｓｒｏｔとスケール対称性Ｓｓｃｌは、Ｓａｌｌを用いて式（１０）、式（１１）により計算することができる。

０≦Ｓｒｏｔ，Ｓｓｃｌ≦１であり、Ｓｒｏｔ，Ｓｓｃｌは、局所パターンが対称である場合にのみ最大値１となる。評価手段４は、学習画像から局所パターンを切り出し、各位置においてＳｒｏｔとＳｓｃｌを計算し、３Ｄ形状モデル上の各特徴点のうち画像に写る全ての点に対して、特徴点としての抽出しやすさを表す２次元ベクトル［Ｓｒｏｔ，Ｓｓｃｌ］Ｔを求める。そして、評価手段４は、このベクトルの長さにより画像からの抽出容易性を求める。この抽出容易性をｌｏｇ−ｐｏｌａｒ特徴量と称してもよい。抽出容易性をＤ（Ｐ）とすると、評価手段４は、以下に示す式（１２）により、抽出容易性Ｄ（Ｐ）を計算することができる。

評価手段４は、それぞれの個体の特徴点毎に、式（１２）の計算を行い、抽出容易性Ｄ（Ｐ）を求め、その総和に−αを乗じることによって、式（１）の右辺第３項を計算する。αは第３項の重み係数である。第３項の重みに応じてαを定めておけばよく、第３項を考慮しないのであればα＝０としてもよい。

第３項は、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど値が小さくなる項であればよい。上記の例では、そのような第３項として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される項を用いる場合を例示した。

式（１）の右辺第４項（“−”符号も含む。）の計算について説明する。この第４項は、要件Ｂ２に対応する。そして、特徴点群が要件Ｂ２を満たす度合いが大きいほど、第４項の値は小さくなる。式（１）の右辺第４項におけるＡ（Ｐｉ）は、各人物間における特徴点Ｐｉのテンプレート（学習画像の局所領域）の輝度の統計量である。評価手段４は、各人物間で対応する特徴点のテンプレートの輝度の特徴量として、例えば、分散を計算してもよい。あるいは、人物間の輝度の平均値を計算し、その平均値と個々の人物における輝度値との差分の総和を統計量として計算してもよい。また、輝度を用いるのはあくまで一例であり、様々な特徴抽出演算子を適用して計算した特徴量の値を用いてもよい。評価手段４は、各特徴点について計算した特徴量の総和に−βを計算することで式（１）の右辺第４項を計算する。βは第４項の重み係数である。第４項の重みに応じてβを定めておけばよく、第４項を考慮しないのであればβ＝０としてもよい。このように条件（本例では人物）を変えた局所パターンの類似度が大きいほど値が小さくなる項を、第４項とすればよい。この条件として、姿勢や照明位置等を用いてもよい。

また、前述のように、特徴点配置手段３は、評価値Ｑが小さくなるように特徴点を移動させる。特徴点配置手段３は、最急降下法によって、評価値Ｑを最小とする特徴点群を求める。特徴点配置手段３は、以下に示す式（１３）の計算を行って、各特徴点を移動させればよい。

式（１３）におけるγは移動量を調整するパラメータであり、予め定めておけばよい。また、式（１３）におけるＥは、各点の座標の組をｚ＝（ｘ１，ｘ２，・・・，ｘＮ）により表したときに、以下に示す式（１４）のように表される関数である。

Ｅ（ｚ）のｘｉによる微係数は、以下の式（１５）のよう表される。ただし、Σｊωｉｊ＝１である。

また、前述のｚｋに関しサンプル平均を以下の式（１６）のように表す。

また、平均まわりの偏差ｙｋを以下の式（１７）のように表す。

また、ｙｋを並べたＮｄ×Ｍの行列をＹ＝［ｙ１ｙ２・・・ｙＭ］で表す。このとき、Σ＝（１／（Ｍ−１））ＹＹＴである。このとき、以下の式（１８）が得られる。

学習画像群生成手段２、特徴点配置手段３および評価手段４は、例えば、特徴点生成プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、コンピュータの記憶装置（図示略）に記憶された特徴点生成プログラムを読み込み、そのプログラムに従って学習画像群生成手段２、特徴点配置手段３および評価手段４として動作すればよい。あるいは、学習画像群生成手段２、特徴点配置手段３および評価手段４がそれぞれ専用の回路で実現されていてもよい。

次に、動作について説明する。
図６は、第１の実施形態の処理経過の例を示すフローチャートである。学習画像群生成手段２は、各人物の顔の３Ｄ形状モデルが入力されると、３Ｄ形状モデルに対する照明の位置や３Ｄ形状モデルの姿勢を種々変化させた場合の学習画像を人物毎に作成する（ステップＳ１）。

次に、特徴点配置手段３および評価手段４が、各特徴点の局所領域の大きさε（局所領域の内接円半径）を固定値として、特徴点の位置を定める（ステップＳ２）。ステップＳ２では、特徴点配置手段３が、各３Ｄ形状モデル上の特徴点群の初期位置を定め、その特徴点群に対する評価値を評価手段４が計算する。特徴点配置手段３は、３Ｄ形状モデル上の特徴点群の初期位置を定めるとき、その特徴点群に対応する学習画像内の特徴点群の位置も定める。特徴点の位置が指定されると、評価手段４は、式（８）におけるεを固定値として、特徴点配置手段３に指定された特徴点群の評価値Ｑを計算する。そして、特徴点配置手段３は、評価値Ｑを最小にするように、３Ｄ形状モデル上の特徴点群を移動させ、評価手段４は、その特徴点群に対する評価値Ｑを、εを固定値として再度計算する。この処理を、評価値Ｑが収束するまで行い、評価値Ｑが収束したときの特徴点群の位置を特定する。

次に、評価手段４は、その位置に特徴点群が存在するものとして、特徴点群の位置を固定し、局所領域の大きさεを変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのεを特定する（ステップＳ３）。εを変化させることで、式（８）の計算で求めるＣｍｎが変化し、その結果評価値Ｑもεに応じて変化する。ステップＳ３では、特徴点群を固定としたまま、評価手段４は、εを変化させて、評価値Ｑを最小とするεを求める。

図６に示すように、ステップＳ２，Ｓ３はループ処理である。ステップＳ３の後、評価手段４は、ステップＳ２，Ｓ３のループ処理を終了するか否かを判定する（ステップＳ４）。例えば、直前のステップＳ３でεを変化させて計算した評価値Ｑの最小値と、その前のステップＳ３でεを変化させて計算した評価値Ｑの最小値との差が、所定値以下となった状態（Ｑが収束した状態）になっていたら（ステップＳ４のＹｅｓ）、ループ処理を終了すると判定し、そうでなければ（ステップＳ４のＮｏ）、ステップＳ２，Ｓ３を再度繰り返すと判定してもよい。

ステップＳ４の後、再度ステップＳ２を行う場合、直前のステップＳ３で計算したεをεの固定値として用いればよい。また、直前のステップＳ２で定めた特徴点群の位置を特徴点群の初期位置としてステップＳ２を開始すればよい。

ステップＳ４においてループ処理を終了すると判定した場合、特徴点配置手段３は、直前のステップＳ２で定めた特徴点群と、直前のステップＳ３で定めたεとを出力する。すなわち、特徴点配置手段３は、特徴点の配置を定めるとともに、各特徴点の抽出に用いるべき局所パターンの大きさを、直前のステップＳ３で定めたεとすることを決定する。

なお、図６では、ステップＳ２，Ｓ３をループ処理とする場合を示したが、ステップＳ２，Ｓ３を繰り返さずに、ステップＳ２，Ｓ３を一回ずつ行った後に処理を終了してもよい。

本発明によれば、評価値Ｑを式（１）の計算によって求める。式（１）の右辺に示す第１項から第４項は、それぞれ、特徴点が満たすべき要件Ｂ１、要件Ｃ、要件Ａ、要件Ｂ２に対応し、特徴点群がそれぞれの要件を満たす度合いが大きいほど各項は小さな値となり、評価値Ｑも小さな値となる。そして、特徴点配置手段３は、評価値Ｑを最小とするように特徴点群を移動させるので、要件Ａ，Ｂ１，Ｂ２，Ｃを満たす特徴点群を生成することができる。

また、式（１）の第１項から第４項に、重み付け係数が０となる項があってもよい。例えば、式（１）のξやβを０として、第２項および第３項の和を計算してもよい。また、例えば、βを０とせずに、第２項、第３項および第４項の和を計算してもよい。また、各項の重み付け係数をいずれも０とせず、第１から第４までの各項の和を計算してもよい。いずれの場合においても、重み付け係数を０としない項に対応する条件を考慮した好ましい特徴点群を生成することができる。

また、ステップＳ２で特徴点の位置を定めた後、特徴点を含む局所領域の大きさεを変化させて評価値Ｑを計算し、評価値Ｑを最小とするεを定める。よって、要件Ａ，Ｂ１，Ｂ２，Ｃを満たすεも決定することができる。また、ステップＳ２，Ｓ３を繰り返すことで、より好ましい特徴点群およびεを定めることができる。

また、上記の説明では、ε（局所領域の大きさ）を固定値として特徴点の位置を定め（ステップＳ２）、次に、特徴点の位置を固定としてεの大きさを定める（ステップＳ３）場合を示した。各特徴点の位置とεとを同時に定めてもよい。すなわち、特徴点の初期位置から評価値Ｑが最小となるように特徴点を移動させるときに、評価値Ｑの計算においてεの値を変化させてもよい。そして、評価値Ｑが最小となるときの、特徴点の位置およびεを同時に決定してもよい。

実施形態２．
第２の実施形態の特徴点生成システムは、特徴点抽出器の内部データを学習する機能を有する。図７は、第２の実施形態の特徴点生成システムの例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付し、説明を省略する。第２の実施形態の特徴点生成システムは、学習画像群生成手段２と、特徴点配置手段３と、評価手段４と、特徴点抽出器学習手段２１とを備える。

特徴点配置手段３は、第１の実施形態と同様に、生成した特徴点群および局所領域の半径εを出力する。特抽点抽出器学習手段２１は、生成された特徴点群を用いて、学習を行う。すなわち、与えられるパターンが特徴点であるか否かを判定するための特徴点抽出器の内部データを生成する。特抽点抽出器学習手段２１が特徴点抽出器として動作し、生成された特徴点群を用いて学習を行う構成であってもよい。

特抽点抽出器学習手段２１は、特徴点に該当する複数のパターンと、特徴点に該当しない複数のパターンとを参照することによって学習を行う。ある特徴点に着目して学習を行う場合、特抽点抽出器学習手段２１は、特徴点に該当するパターンとして、その特徴点やその特徴点の近辺の点を中心とし、εによって決まる局所パターンを学習画像から複数切り出す。また、特抽点抽出器学習手段２１は、特徴点に該当しないパターンとして、その特徴点の周囲の局所パターンであって特徴点を含まない局所パターンを学習画像から複数切り出す。そして、特抽点抽出器学習手段２１は、特徴点に該当する複数のパターンおよび特徴点に該当しない複数のパターンを用いて学習を行い、与えられるパターンがその特徴点であるか否かを判定するための内部データを生成する。特抽点抽出器学習手段２１は、生成された特徴点群の特徴点毎に学習を行えばよい。

特抽点抽出器学習手段２１は、特徴点群およびεが確定した後に（例えば、ステップＳ４でＹｅｓと判定された後）、その特徴点群およびεを用いて学習を行えばよい。

特抽点抽出器学習手段２１は、例えば、特徴点生成プログラムに従って動作するコンピュータのＣＰＵによって実現され、ＣＰＵが特徴点生成プログラムに従って、特徴点抽出器学習手段２１および他の各手段２〜４として動作してもよい。あるいは、特抽点抽出器学習手段２１が専用の回路として他の手段とは別に設けられていてもよい。

第２の実施形態においても、第１の実施形態と同様の効果が得られる。さらに、生成された特徴点群を用いて学習を行うので、あるパターンが与えられるとそのパターンが要件Ａ〜Ｃを満たす特徴点であるか否かを判定できる。

実施形態３．
また、上記の各実施形態では、局所領域が正方形であるものとして説明した。第３の実施形態では、局所領域が長方形であり、長方形の大きさだけでなく、アスペクト比も定める。アスペクト比は、局所領域となる長方形の縦の長さに対する横の長さの倍率である。図８は、第３の実施形態の構成例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同様の符号を付し、説明を省略する。本実施形態の特徴点生成システム１ａは、学習画像群生成手段２と、特徴点配置手段３と、評価手段４ａとを備える。

評価手段４ａは、第１の実施形態における評価手段４と同様に、評価値Ｑを計算する。ただし、本実施形態では、評価手段４ａは、局所領域の大きさεだけでなく、局所領域のアスペクト比も変化させ、アスペクト比に応じた評価値Ｑを計算する。アスペクト比をＷとすると、評価手段４ａは、Ｗに応じた評価値Ｑを以下のように計算すればよい。すなわち、評価手段４ａは、式（８）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換し、その変換後の学習画像について式（８）の積分計算を行う。評価値Ｑの計算過程におけるその他の点に関しては、第１の実施形態における評価値Ｑの計算方法と同様である。例えば、アスペクト比が２である場合、評価手段４ａは、式（８）の積分計算を行う前に、学習画像を横方向に１／２倍になるように縮小する。そして、縮小後の学習画像について式（８）の積分計算を行えばよい。このように、学習画像を横方向に１／Ｗ倍になるように変換し、その画像について式（８）の計算を行うこととして、評価値Ｑを計算すれば、長方形の局所領域に応じた評価値Ｑを計算することができる。式（８）は、式（１）の右辺の第３項に影響する計算であり、評価手段４ａは、式（１）の右辺第３項をアスペクト比に応じて計算することになる。

評価手段４ａは、例えば、特徴点生成プログラムに従って動作するコンピュータのＣＰＵによって実現され、ＣＰＵが特徴点生成プログラムに従って、評価手段４ａおよび他の各手段２，３として動作してもよい。あるいは、評価手段４ａが専用の回路として他の手段とは別に設けられていてもよい。

図９は、第３の実施形態の処理経過の例を示すフローチャートである。学習画像群生成手段２は、各人物の顔の３Ｄ形状モデルが入力されると、３Ｄ形状モデルに対する照明の位置や３Ｄ形状モデルの姿勢を種々変化させた場合の学習画像を人物毎に作成する（ステップＳ１１）。

次に、特徴点配置手段３および評価手段４ａが、各特徴点の局所領域の大きさεおよびアスペクト比Ｗを固定値として、特徴点の位置を定める（ステップＳ１２）。第１の実施形態のステップＳ２と同様に、特徴点配置手段３は、各３Ｄ形状モデル上の特徴点群の初期位置を定め、その特徴点群に対応する学習画像内の特徴点群の位置も定める。特徴点の位置が指定されると、評価手段４ａは評価値Ｑを計算する。このとき、評価手段４ａは、式（８）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換する。そして、評価手段４ａは、式（８）におけるεを固定値として、変換後の学習画像に対して式（８）の積分計算を行い式（１）の第３項を計算する。評価値Ｑの計算過程において、他の点は第１の実施形態のステップＳ２と同様である。そして、特徴点配置手段３は、評価値Ｑを最小にするように、３Ｄ形状モデル上の特徴点群を移動させ、評価手段４ａは、その特徴点群に対する評価値Ｑを、εを固定値として再度計算する。この処理を、評価値Ｑが収束するまで行い、評価値Ｑが収束したときの特徴点群の位置を特定する。

次に、評価手段４ａは、その位置に特徴点群が存在するものとして、特徴点群の位置を固定し、アスペクト比Ｗを固定値として、局所領域の大きさεを変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのεを特定する（ステップＳ１３）。このとき、評価手段４ａは、式（８）の積分計算を行う前に、学習画像を横方向に１／Ｗ倍になるように変換し、変換後の学習画像について、εを種々変化させたときの評価値Ｑを計算すればよい。式（８）の計算の際に、学習画像を横方向に１／Ｗ倍になるように変換する点の他は、第１の実施形態と同様である。

次に、評価手段４ａは、ステップＳ１２で定めた位置に特徴点群が存在し、ステップＳ１３で定めたεの値を固定とし、アスペクト比を変化させて、その特徴点群の評価値Ｑを再計算する。そして、評価値Ｑが最小となるときのＷを特定する（ステップＳ１４）。ステップＳ１４においても、評価手段４ａは、式（８）の積分計算の前に、学習画像を横方向に１／Ｗ倍になるように変換する。このとき、評価手段４ａは、Ｗを変化させ、様々な倍率（１／Ｗ）で学習画像を変換する。そして、各Ｗに応じた評価値Ｑを計算し、評価値Ｑが最小となるＷを特定する。

ステップＳ１４の後、評価手段４ａは、ステップＳ１２〜Ｓ１４のループ処理を終了するか否かを判定する（ステップＳ１５）。例えば、直前のステップＳ１４でＷを変化させて計算した評価値Ｑの最小値と、その前のステップＳ１５でＷを変化させて計算した評価値Ｑの最小値との差が所定値以下となった状態（Ｑが収束した状態）になっていたら（ステップＳ１５のＹｅｓ）、ループ処理を終了すると判定し、そうでなければ（ステップＳ１５のＮｏ）、ステップＳ１２〜Ｓ１４を再度繰り返すと判定してもよい。

ステップＳ１５の後、再度ステップＳ１２を行う場合、直前のステップＳ１３，Ｓ１４５で定めたεおよびＷを、εおよびＷの固定値として用いればよい。また、直前のステップＳ１２で定めた特徴点群の位置を特徴点群の初期位置としてステップＳ１２を開始すればよい。

ステップＳ１５においてループ処理を終了すると判定した場合、特徴点配置手段３は、直前のステップＳ１２で定めた特徴点群と、直前のステップＳ１３で定めたεと、直前のステップＳ１４で定めたＷとを出力する。すなわち、特徴点配置手段３は、特徴点の配置を定めるとともに、各特徴点の抽出に用いるべき局所パターンの大きさを、直前のステップＳ１３で定めたεとすることを決定し、また、各特徴点の抽出に用いるべき局所パターンのアスペクト比を、直前のステップＳ１４で定めたＷとすることを決定する。

本実施形態においても、第１の実施形態と同様の効果を得ることができる。さらに、アスペクト比Ｗも考慮して評価値Ｑを計算し、評価値Ｑが最小となるアスペクト比Ｗを求めているので、姿勢推定や個体認証等において局所領域として長方形を切り出す場合、要件Ａ〜Ｃを満たす好ましいアスペクト比を求めることができる。

なお、図９では、ステップＳ１２〜Ｓ１４をループ処理とする場合を示したが、ステップＳ１２〜Ｓ１４をループ処理とせずに、ステップＳ１２〜Ｓ１４を一回ずつ行った後に処理を終了してもよい。

また、ステップＳ１３とステップＳ１４とを別々に行うのではなく、評価値４ａが、εおよびＷをそれぞれ変化させて、評価値Ｑが最小となるεおよびＷを同時に特定してもよい。

また、各特徴点の位置とεおよびＷを同時に定めてもよい。すなわち、特徴点の初期位置Ｗから評価値Ｑが最小となるように特徴点を移動させるときに、評価値Ｑの計算においてε，Ｗを変化させてもよい。そして、評価値Ｑが最小となるときの、特徴点の位置およびε，Ｗを同時に決定してもよい。

第３の実施形態の特徴点生成システムが、第２の実施形態と同様に、特徴点抽出器学習手段２１を備えていてもよい。

次に、本発明の最小構成を説明する。図１０は、本発明の最小構成を示すブロック図である。本発明の特徴点生成システムは、画像群生成手段３１と、特徴点配置手段３２と、評価手段３３とを備える。

画像群生成手段３１（例えば、学習画像群生成手段２）は、３次元形状モデルに対して条件（例えば、個体の姿勢や照明の当たり方等）を変化させて得られる複数の画像（例えば、学習画像）を生成する。

評価手段３３（例えば、評価手段４，４ａ）は、特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値（例えば、式（１）の右辺第２項）と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値（例えば、式（１）の右辺第３項）とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値（例えば、評価値Ｑ）を計算する。

そして、特徴点配置手段３２（例えば、特徴点配置手段３）は、評価手段３３が計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する。

そのような構成により、好ましい特徴点群を得ることができる。

また、上記の実施形態には、評価手段３３が、第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる構成が開示されている。

また、上記の実施形態には、評価手段３３が、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値（例えば、式（１）の右辺第４項）を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する構成が開示されている。

また、上記の実施形態には、画像群生成手段３１が、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、評価手段３３が、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値（例えば、式（１）の右辺第１項）を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する構成が開示されている。

また、上記の実施形態には、評価手段３３が、特徴点における局所パターンの大きさを変化させ、局所パターンの大きさに応じた第２の評価値を計算し、特徴点配置手段３２が、特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンの大きさを決定する構成が開示されている。そのような構成によれば、好ましい局所パターンの大きさも定めることができる。

また、上記の実施形態には、評価手段３３が、特徴点における局所パターンの大きさを一定として、第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、特徴点配置手段２３が、評価手段３３が計算する評価値が最小となるように特徴点群を移動させ（例えば、ステップＳ２を実行し）、評価手段３３が、評価値が最小となる特徴点群が定められたときに、特徴点群の位置を固定とし、特徴点における局所パターンの大きさを変化させて、局所パターンの大きさに応じた第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、その評価値が最小となる局所パターンの大きさを定める（例えば、ステップＳ３を実行する）構成が開示されている。

また、上記の実施形態には、評価手段３３が、評価値が最小となる局所パターンの大きさを定めたときに、その大きさで特徴点における局所パターンの大きさを一定として、第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、特徴点配置手段３２が、評価手段３３が計算する評価値が最小となるように特徴点群を移動させる構成が開示されている。

また、上記の実施形態には、評価手段３３（例えば、評価手段４ａ）が、特徴点における局所パターンのアスペクト比を変化させ、局所パターンのアスペクト比に応じた第２の評価値を計算し、特徴点配置手段３２が、特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンのアスペクト比を決定する構成が開示されている。そのような構成によれば、好ましい局所パターンのアスペクト比も定めることができる。

また、上記の実施形態には、評価値が最小となるように特徴点を含む局所パターンと、特徴点を含まない局所パターンとにより、特徴点に該当するか否かを判定するための判定用データ（例えば、特徴点抽出器の内部データ）を学習する判定用データ学習手段（例えば、特徴点抽出器学習手段２１）を備える構成が開示されている。そのような構成によれば、あるパターンが与えられるとそのパターンが要件Ａ〜Ｃを満たす特徴点であるか否かを判定用データで判定できる。

この出願は、２００９年３月１３日に出願された日本出願特願２００９−０６１９３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１） ３次元形状モデルに対して条件を変化させて得られる複数の画像を生成する画像群生成部と、
特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、
３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する評価部と、
前記評価部が計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置部とを備える
ことを特徴とする特徴点生成システム。

（付記２） 評価部は、第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる
付記１に記載の特徴点生成システム。

（付記３） 評価部は、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
付記１に記載の特徴点生成システム。

（付記４） 画像群生成部は、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、
評価部は、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
付記１に記載の特徴点生成システム。

（付記５） 評価部は、特徴点における局所パターンの大きさを変化させ、局所パターンの大きさに応じた第２の評価値を計算し、
特徴点配置部は、特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンの大きさを決定する
付記１に記載の特徴点生成システム。

（付記６） 評価部は、特徴点における局所パターンの大きさを一定として、第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、
特徴点配置部は、評価手段が計算する評価値が最小となるように特徴点群を移動させ、
評価部は、評価値が最小となる特徴点群が定められたときに、特徴点群の位置を固定とし、特徴点における局所パターンの大きさを変化させて、局所パターンの大きさに応じた第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、前記評価値が最小となる局所パターンの大きさを定める
付記１に記載の特徴点生成システム。

（付記７） 評価部は、評価値が最小となる局所パターンの大きさを定めたときに、その大きさで特徴点における局所パターンの大きさを一定として、第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、
特徴点配置部は、評価手段が計算する評価値が最小となるように特徴点群を移動させる
付記６に記載の特徴点生成システム。

（付記８） 評価部は、特徴点における局所パターンのアスペクト比を変化させ、局所パターンのアスペクト比に応じた第２の評価値を計算し、
特徴点配置部は、特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンのアスペクト比を決定する
付記１に記載の特徴点生成システム。

（付記９） 評価値が最小となるように特徴点を含む局所パターンと、特徴点を含まない局所パターンとにより、特徴点に該当するか否かを判定するための判定用データを学習する判定用データ学習部を備える
付記１に記載の特徴点生成システム。

（付記１０） ３次元形状モデルに対して条件を変化させて得られる複数の画像を生成し、
特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算し、
指定された特徴点群に対する評価値が最小となるように３次元形状モデル上の特徴点群を配置する
ことを特徴とする特徴点生成方法。

（付記１１） 第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる
付記１０に記載の特徴点生成方法。

（付記１２） 条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
付記１０に記載の特徴点生成方法。

（付記１３） 複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、
各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
付記１０に記載の特徴点生成方法。

（付記１４） 特徴点における局所パターンの大きさを変化させ、局所パターンの大きさに応じた第２の評価値を計算し、
特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンの大きさを決定する
付記１０に記載の特徴点生成方法。

（付記１５） コンピュータに、
３次元形状モデルに対して条件を変化させて得られる複数の画像を生成する画像群生成処理、
特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する評価処理、および、
前記評価処理で計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置処理
を実行させるための特徴点生成プログラム。

（付記１６） コンピュータに、
評価処理で、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を第２の評価値とさせる
付記１５に記載の特徴点生成プログラム。

（付記１７） コンピュータに、
評価処理で、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値を計算させ、各評価値の重み付和として、指定された特徴点群に対する評価値を計算させる
付記１５に記載の特徴点生成プログラム。

（付記１８） コンピュータに、
画像群生成処理で、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成させ、
評価処理で、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値を計算させ、各評価値の重み付和として、指定された特徴点群に対する評価値を計算させる
付記１５に記載の特徴点生成プログラム。

（付記１９） コンピュータに、
評価処理で、特徴点における局所パターンの大きさを変化させ、局所パターンの大きさに応じた第２の評価値を計算させ、
特徴点配置処理で、特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンの大きさを決定させる
付記１５に記載の特徴点生成プログラム。

本発明は、個体の姿勢推定や個体識別を行う装置等で用いられる３次元形状モデル上の特徴点を生成するシステムとして好適に利用できる。

１ 特徴点生成システム
２ 学習画像群生成手段
３ 特徴点配置手段
４，４ａ 評価手段
２１ 特徴点抽出器学習手段

Claims (19)

1. ３次元形状モデルに対して条件を変化させて得られる複数の画像を生成する画像群生成手段と、
   特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、
   ３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する評価手段と、
   前記評価手段が計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置手段とを備える
   ことを特徴とする特徴点生成システム。
2. 評価手段は、第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる
   請求項１に記載の特徴点生成システム。
3. 評価手段は、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
   請求項１または請求項２に記載の特徴点生成システム。
4. 画像群生成手段は、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、
   評価手段は、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
   請求項１から請求項３のうちのいずれか１項に記載の特徴点生成システム。
5. 評価手段は、特徴点における局所パターンの大きさを変化させ、局所パターンの大きさに応じた第２の評価値を計算し、
   特徴点配置手段は、特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンの大きさを決定する
   請求項１から請求項４のうちのいずれか１項に記載の特徴点生成システム。
6. 評価手段は、特徴点における局所パターンの大きさを一定として、第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、
   特徴点配置手段は、評価手段が計算する評価値が最小となるように特徴点群を移動させ、
   評価手段は、評価値が最小となる特徴点群が定められたときに、特徴点群の位置を固定とし、特徴点における局所パターンの大きさを変化させて、局所パターンの大きさに応じた第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、前記評価値が最小となる局所パターンの大きさを定める
   請求項１から請求項５のうちのいずれか１項に記載の特徴点生成システム。
7. 評価手段は、評価値が最小となる局所パターンの大きさを定めたときに、その大きさで特徴点における局所パターンの大きさを一定として、第２の評価値を計算し、各評価値の和として、指定された特徴点群に対する評価値を計算し、
   特徴点配置手段は、評価手段が計算する評価値が最小となるように特徴点群を移動させる
   請求項６に記載の特徴点生成システム。
8. 評価手段は、特徴点における局所パターンのアスペクト比を変化させ、局所パターンのアスペクト比に応じた第２の評価値を計算し、
   特徴点配置手段は、特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンのアスペクト比を決定する
   請求項１から請求項７のうちのいずれか１項に記載の特徴点生成システム。
9. 評価値が最小となるように特徴点を含む局所パターンと、特徴点を含まない局所パターンとにより、特徴点に該当するか否かを判定するための判定用データを学習する判定用データ学習手段を備える
   請求項１から請求項８のうちのいずれか１項に記載の特徴点生成システム。
10. ３次元形状モデルに対して条件を変化させて得られる複数の画像を生成し、
    特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算し、
    指定された特徴点群に対する評価値が最小となるように３次元形状モデル上の特徴点群を配置する
    ことを特徴とする特徴点生成方法。
11. 第２の評価値として、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を用いる
    請求項１０に記載の特徴点生成方法。
12. 条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
    請求項１０または請求項１１に記載の特徴点生成方法。
13. 複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成し、
    各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値を計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する
    請求項１０から請求項１２のうちのいずれか１項に記載の特徴点生成方法。
14. 特徴点における局所パターンの大きさを変化させ、局所パターンの大きさに応じた第２の評価値を計算し、
    特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンの大きさを決定する
    請求項１０から請求項１３のうちのいずれか１項に記載の特徴点生成方法。
15. コンピュータに、
    ３次元形状モデルに対して条件を変化させて得られる複数の画像を生成する画像群生成処理、
    特徴点群が３次元形状モデル上で均一に分布しているほど小さくなる第１の評価値と、３次元形状モデル上の特徴点に応じた画像内の特徴点の抽出が容易であるほど小さくなる第２の評価値とを計算し、各評価値の重み付和として、指定された特徴点群に対する評価値を計算する評価処理、および、
    前記評価処理で計算する評価値が最小となるように３次元形状モデル上の特徴点群を配置する特徴点配置処理
    を実行させるための特徴点生成プログラム。
16. コンピュータに、
    評価処理で、画像内の特徴点における局所パターンの対称性が大きいほど小さな値として計算される値を第２の評価値とさせる
    請求項１５に記載の特徴点生成プログラム。
17. コンピュータに、
    評価処理で、条件の異なるそれぞれの画像間での、画像内の特徴点における局所パターンの類似度が大きいほど小さな値として計算される第３の評価値を計算させ、各評価値の重み付和として、指定された特徴点群に対する評価値を計算させる
    請求項１５または請求項１６に記載の特徴点生成プログラム。
18. コンピュータに、
    画像群生成処理で、複数の個体の３次元形状モデルに対して条件を変化させて得られる画像を生成させ、
    評価処理で、各個体の３次元形状モデルを同一座標系で重ねた場合の個体同士の特徴点が近いほど小さな値となる第４の評価値を計算させ、各評価値の重み付和として、指定された特徴点群に対する評価値を計算させる
    請求項１５から請求項１７のうちのいずれか１項に記載の特徴点生成プログラム。
19. コンピュータに、
    評価処理で、特徴点における局所パターンの大きさを変化させ、局所パターンの大きさに応じた第２の評価値を計算させ、
    特徴点配置処理で、特徴点の配置に加え、各特徴点の抽出に用いるべき局所パターンの大きさを決定させる
    請求項１５から請求項１８のうちのいずれか１項に記載の特徴点生成プログラム。

Images