JPWO2011086889A1 - 特徴点選択システム、特徴点選択方法および特徴点選択プログラム - Google Patents
特徴点選択システム、特徴点選択方法および特徴点選択プログラム Download PDFInfo
- Publication number
- JPWO2011086889A1 JPWO2011086889A1 JP2011549921A JP2011549921A JPWO2011086889A1 JP WO2011086889 A1 JPWO2011086889 A1 JP WO2011086889A1 JP 2011549921 A JP2011549921 A JP 2011549921A JP 2011549921 A JP2011549921 A JP 2011549921A JP WO2011086889 A1 JPWO2011086889 A1 JP WO2011086889A1
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- importance
- recognition
- evaluation
- recognition task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる特徴点選択システムを提供する認識タスク実行手段11は、複数の評価用画像に対して、3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する。認識誤差評価手段12は、認識タスクの認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する。特徴点重要度決定手段13は、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、コスト関数の値が最小となるような各特徴点候補の重要度を計算する。特徴点選択手段14は、各特徴点候補の重要度に基づいて、3次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する。
Description
本発明は、3次元形状モデル上の複数の特徴点の中から認識タスクにとって有効な特徴点を選択する特徴点選択システム、特徴点選択方法および特徴点選択プログラムに関する。
画像に示された物体やその物体の状態を認識する処理を認識タスクと呼ぶ。認識タスクの例として、個体(例えば人の顔)の画像から、その個体の向き(以下、姿勢と記す。)を推定したり、その個体を識別したりする処理が挙げられる。物体の姿勢推定を例にして認識タスクの例を示す。まず、予め物体の3次元形状モデルにおける特徴点の3次元位置を記憶しておく。一般に、システム稼働後に認識対象の個体が新たに登録されるシステムにおいて、特徴点位置は全個体で共通とされる。特徴点の記憶後、認識対象の画像(本例では、姿勢推定しようとする物体が表された画像)から、特徴点の位置を検出し、予め記憶していた特徴点の3次元位置と対応付ける。そして、認識対象画像における特徴点の位置と、3次元形状モデル上における特徴点の位置との対応関係から物体の姿勢推定を行う。この対応関係から物体の姿勢を推定する方法は、透視n点問題の解法として知られている。
上記のような処理において、予め記憶される3次元形状モデル上の特徴点は、予め、認識対象物体の一部であり画像の中で位置を特定することが容易であること、および、認識タスクにおいてその部位の位置が重要であることの双方を総合的に考慮して人手で定められていた。人手による特徴点決定について、より詳細に説明する。姿勢推定や個体識別等のタスクを行う認識アルゴリズムは、一般に、用いる特徴点の数が多いほど認識性能を向上できる。しかし、多数の特徴点を用いると、認識アルゴリズムの計算量は増大する。さらに、認識対象画像から特徴点を抽出するための計算量も増大する。そのため、特徴点の数を絞り込むことが実用上重要である。少数の特徴点で認識タスクにおける認識性能を向上させるためには、以下のような条件を満たす特徴点を決めておく必要がある。第1条件として、認識タスクにおいて重要な特徴点であること(換言すれば、認識アルゴリズムの精度に与える影響が大きいこと)が必要である。さらに、第2条件として、画像から特徴点として精度良く抽出できることが必要である。一般的に、第1条件および第2条件を両方とも満たす特徴点が3次元形状モデル上の点から人手で決められている。
3次元モデル上の特徴点を自動的に決定する手法としては、例えば、非特許文献1には、エントロピーに基づいて特徴点を生成する方法が記載されている。しかしながら、この技術では上記の第1条件・第2条件の双方を考慮し、認識タスクにとって有用な少数の特徴点に絞り込むことができなかった。このため、認識タスクに使用する特徴点の定義は人手によって決定されていた。
また、認識対象画像からの特徴点抽出は、認識対象画像から各部分をそれぞれ切り出し、予め学習しておいた判定用パターンと比較し、最も特徴点らしいと判定された位置を特徴点位置と決定することにより行う。
非特許文献2には、画像間の対応点を求めるために必要な特徴点を、SIFT(Scale-Invariant Feature Transform )アルゴリズムによって抽出する技術が記載されている。SIFTアルゴリズムは、多重解像度解析による塊検出と、濃淡勾配のヒストグラムを利用した画像間の対応付けを可能とする。SIFTアルゴリズムでは、特徴点の特徴量も算出する。予め学習において与えられた判定用パターンの特徴量を記憶しておき、認識対象の画像から抽出された特徴点の特徴量と比較することで、特徴点かどうかの判定を行い、その位置を抽出することができる。
また、この判定を行う技術として、多くのパターン識別法を利用することもできる。その一例として、一般化学習ベクトル量子化(GLVQ:Generalized Learning Vector Quantization)を用いることが非特許文献3に記載されている。非特許文献3では顔のパターン検出を行っているが、パターンを顔から特徴点に置き換えれば特徴点の検出を行うことができる。また、機械学習の手法としてSVM(Support Vector Machine)も知られている。
認識対象画像上に表される特徴点の見え方は、物体の姿勢や照明条件によって変化する。画像から切り出された部分が特徴点に該当するか否かを正しく判断するためには、判定用パターンを学習しておく必要がある。そのため、様々な条件で物体の学習用画像を多数撮影しておき、その多数の学習用画像それぞれにおいて正しい特徴点の位置を人手で入力して判定用パターンを学習させていた。
Joshua Cates, Miriah Meyer, P.Thomas Fletcher, Ross Whitaker, "Entropy-Based Particle Systems for Shape Correspondence",Proceedings of the MICCAI,2006年
藤吉弘亘、「Gradientベースの特徴抽出 −SIFTとHOG−」、情報処理学会研究報告 CVIM160、pp.211-224、2007年
細井利憲、鈴木哲明、佐藤敦、「一般化学習ベクトル量子化による顔検出」、Technical report of IEICE. PRMU,Vol.102,No.651(20030213),pp.47-52
上記の第1条件における重要度や第2条件における特徴点抽出の精度は、認識対象物体の種類(形状や見え方)、画像から特徴点を抽出する方法の特性、認識タスク(姿勢推定や個体識別等)に用いる手法の特性、認識対象画像の撮影条件等の様々な要因に依存する。そのため、認識タスクを行うシステムを作り上げて稼働させるまで、第1条件における重要度や第2条件における特徴点抽出の精度は定量化することが難しかった。そのため、そのような重要度や精度をシステム開発者が主観的に見積もっていた。従って、熟達した開発者でなければ、3次元形状モデル上から、上記の第1条件および第2条件を満たす適切な特徴点を選択することが困難であり、認識タスクのアルゴリズム自体が持つ最大限の認識性能を得ることが困難であった。
そこで、本発明は、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる特徴点選択システム、特徴点選択方法および特徴点選択プログラムを提供することを目的とする。
本発明による特徴点選択システムは、3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行手段と、認識タスク実行手段による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価手段と、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定手段と、各特徴点候補の重要度に基づいて、3次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する特徴点選択手段とを備え、認識タスク実行手段、認識誤差評価手段および特徴点重要度決定手段は、特徴点重要度決定手段によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行手段が、認識タスクを実行し、認識誤差評価手段が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定手段が、特徴点候補の重要度を決定することを繰り返すことを特徴とする。
また、本発明による特徴点選択方法は、3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行し、認識タスクの認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価し、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定し、決定された各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスクの実行と、全評価用画像に関する認識誤差の評価と、特徴点候補の重要度の決定を繰り返し、各特徴点候補の重要度に基づいて、3次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択することを特徴とする。
また、本発明による特徴点選択プログラムは、コンピュータに、3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行処理、認識タスク実行処理による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価処理、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定処理、および、各特徴点候補の重要度に基づいて、3次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する特徴点選択処理を実行させ、特徴点重要度決定処理で決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行処理、認識誤差評価処理および特徴点重要度決定処理を繰り返させることを特徴とする。
本発明によれば、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる。
以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
図1は、本発明の第1の実施形態の特徴点選択システムの例を示すブロック図である。第1の実施形態の特徴点選択システムには、3次元形状モデル1と、その3次元形状モデル1上の複数の特徴点候補2と、評価データ3とが入力データとして入力される。特徴点候補2は、3次元形状モデル1上の複数の特徴点の候補であり、3次元形状モデル1における位置で表される。また、評価データ3には、認識タスクの性能評価に用いるための多様な撮影条件における評価用画像群(図1において図示略)と、その評価用画像群に対して特徴点抽出を実行した結果として得られた特徴点データ4と、その評価用画像群に対する認識タスクの正解データ(認識結果正解データ)5とが含まれる。特徴点データ4は、評価用画像上の特徴点のデータであり、評価用画像における位置で表される。なお、認識タスクの種類は特に限定されないが、特徴点選択システムが扱う認識タスクは予め定められている。また、評価用画像は、3次元形状モデル1から作成された画像であり、認識タスクにおける認識誤差を評価するために用いられる画像である。また、評価用画像群からの特徴点抽出は、例えば、あるパターン(画像の一部)が入力されたときにそのパターンが特徴点であるか否かを判定する特徴点抽出器を用いて行えばよい。特徴点抽出器は、そのような判定を行うための内部データを予め学習しておけばよい。
図1は、本発明の第1の実施形態の特徴点選択システムの例を示すブロック図である。第1の実施形態の特徴点選択システムには、3次元形状モデル1と、その3次元形状モデル1上の複数の特徴点候補2と、評価データ3とが入力データとして入力される。特徴点候補2は、3次元形状モデル1上の複数の特徴点の候補であり、3次元形状モデル1における位置で表される。また、評価データ3には、認識タスクの性能評価に用いるための多様な撮影条件における評価用画像群(図1において図示略)と、その評価用画像群に対して特徴点抽出を実行した結果として得られた特徴点データ4と、その評価用画像群に対する認識タスクの正解データ(認識結果正解データ)5とが含まれる。特徴点データ4は、評価用画像上の特徴点のデータであり、評価用画像における位置で表される。なお、認識タスクの種類は特に限定されないが、特徴点選択システムが扱う認識タスクは予め定められている。また、評価用画像は、3次元形状モデル1から作成された画像であり、認識タスクにおける認識誤差を評価するために用いられる画像である。また、評価用画像群からの特徴点抽出は、例えば、あるパターン(画像の一部)が入力されたときにそのパターンが特徴点であるか否かを判定する特徴点抽出器を用いて行えばよい。特徴点抽出器は、そのような判定を行うための内部データを予め学習しておけばよい。
第1の実施形態の特徴点選択システムは、予め定められた認識タスクにおける認識誤差を少なくできるような重要度の高い特徴点9を、3次元形状モデル1上の複数の特徴点候補2の中から選択し、出力する。
本発明の第1の実施形態の特徴点選択システムは、認識タスク実行手段11と、認識誤差評価手段12と、特徴点重要度決定手段13と、特徴点選択手段14とを備える。
認識タスク実行手段11は、評価データ3に含まれるそれぞれの評価用画像から得られた特徴点データ4を用い、予め定められた認識タスクを実行する。認識タスクの種類は特に限定されない。例えば、認識タスク実行手段11は、姿勢推定を行っても、あるいは、顔識別等の個体識別を行ってもよい。あるいは、表情推定や年齢推定等を行ってもよい。
ただし、本発明では、各特徴点に対して重みを付与した上で認識タスクを実行する点が特徴である。各特徴点に対して重みを付与した上で実行する認識タスクを、重み付き認識タスクと呼ぶこととする。各特徴点に対する重みは、認識タスクにおける認識誤差を少なくするという観点での特徴点の重要度ということができ、特徴点に対する重みを、特徴点の重要度と記す場合がある。一般的な認識タスクと本発明における重み付き認識タスクとを比較すると、一般的な認識タスクでは、認識結果を用いて各特徴点の位置を再現した際の再現誤差の総和を最小化するような認識結果を求めるものである。これに対して、本発明における重み付き認識タスクでは、各特徴点の重要度をあらわす重みを再現誤差に乗算した値の総和を最小化するような認識結果を求める。特徴点に対する重み(特徴点の重要度)は、個々の特徴点に対してそれぞれ定められる値である。また、評価データ3に含まれる各評価用画像に対して認識タスクを行う際に、各特徴点の重要度として同じ重要度を用いる。すなわち、特徴点の重要度は、個々の特徴点に対してそれぞれ定められる。そして、その特徴点毎の各重要度は、評価用画像毎に変化しない。
また、認識タスク実行手段11は、評価データ3に含まれるそれぞれの評価用画像に対して重み付き認識タスクを実行する毎に、その認識タスクの認識結果で生じた認識誤差を求める処理も行う。認識誤差は、認識タスクで得られた認識結果と、認識結果正解データとの差である。
例えば、認識タスクが姿勢推定であるとすると、認識タスク実行手段11は、評価データ3に含まれる評価用画像に対して、特徴点セット(特徴点の集合)を用いて姿勢推定を行った結果得た向きと正解となる姿勢との差を認識誤差として計算すればよい。また、認識タスクとして顔画像による個人識別を行う場合、複数の人物について3次元形状モデル1およびその3次元形状モデル1上の複数の特徴点を指定する情報を用意しておき、各人物の評価データ3も作成しておく。そして、その評価データ3に対して特徴点セットを用いて顔認識を行った結果、顔認識に失敗した人物の割合を認識誤差として計算する。ここに上げた認識タスクの例はあくまで一例であり、これらに限定されるものではない。
なお、ここでは、認識タスク実行手段11が重み付き認識タスクを行うとともに、認識誤差も求めるものとして説明したが、認識誤差の算出は、認識タスク実行手段11ではなく、認識誤差評価手段12が行ってもよい。図1では、認識誤差評価手段12が、認識結果正解データ5を用いて、認識誤差を求める場合の例を示している。
以下、認識タスク実行手段11が実行する認識タスクの実行例を詳しく説明する。ここでは、認識タスク実行手段11が認識タスクとして、評価用画像に関する姿勢推定を行う場合を例にして説明する。評価用画像に関する姿勢推定は、「評価用画像から抽出された特徴点の位置(すなわち、特徴点データ4)」と「3次元形状モデル1上の特徴点(特徴点候補2)から計算される、ある姿勢における画像上の特徴点の位置」との間の誤差(再投影誤差)が最小となるとなるような姿勢θを計算する処理である。θは、物体の回転角度と3次元位置を並べた6次元ベクトルである。
評価用画像から抽出された特徴点iの位置をベクトルyiとする。このベクトルyiは、図1に示す特徴点データ4に相当する。また、3次元形状モデル1から計算される物体の姿勢がθであるときの特徴点iの画像上の位置をベクトルxi(θ)と記す。すなわち、xi(θ)は、3次元形状モデル1の姿勢をθとしたときの画像上の特徴点であって、3次元形状モデル1上の特徴点に対応する特徴点の位置である。
一般的な姿勢推定では、再投影誤差εaは、以下に示す式(1)で表される。
εa=Σi(yi−xi(θ))T(yi−xi(θ)) 式(1)
ここで、3次元形状モデル1上の特徴点の位置をXiとし、姿勢θによって決まる透視カメラ行列をPp(θ)とする。なお、3次元形状モデル1上の特徴点の位置Xiは、図1に示す特徴点候補2に相当する。このとき、xi(θ)は、以下に示す式(2)によって求められる。
xi(θ)=Pp(θ)Xi 式(2)
また、Pp(θ)は、以下に示す式(3)によって求められる。
Pp(θ)=A[R T] 式(3)
式(3)において、Aは、カメラの内部パラメータを表す行列であり、カメラの内部パラメータ行列として現実的な値に定めておけばよい。R,Tは、それぞれ姿勢θにおける回転ベクトルおよび平行移動ベクトルとして定められる。一般的な姿勢推定の認識タスクは、式(1)におけるεaの値を最小にする姿勢パラメータθの値を求める問題として定式化できる。この問題は、非線形最小二乗法の解法を用いて解くことができ、そのための数多くの方法が一般に公知である。例えば、下記の参考文献1に記載された方法を適用して、εaの値を最小にする姿勢パラメータθを求めることができる。
[参考文献1]
徐剛、「写真から作る3次元CG」、近代科学社、P.59-62および付録F
徐剛、「写真から作る3次元CG」、近代科学社、P.59-62および付録F
本発明の認識タスク実行手段11は、各特徴点iの認識タスクにおける重要度を表す重みwiを導入し、姿勢推定を重み付き認識タスクとして実行する。すなわち、姿勢推定を行う場合には、認識タスク実行手段11は、以下に示す式(4)のように、重みwiの乗算を含む計算を行って再投影誤差εb(以下、重み付き再投影誤差と呼ぶ。)を計算し、重み付き再投影誤差εbを最小とする姿勢θを計算する。
εb=Σiwi(yi−xi(θ))T(yi−xi(θ)) 式(4)
各wiは、特徴点候補2に該当する特徴点毎に定められる。認識タスク実行手段11は、認識タスクを実行する時点で既に定められているwiを用いて、認識タスク(本例では姿勢推定)を行う。認識タスク実行時にwiは既知であるので、一般的な姿勢推定においてεaの値を最小にする姿勢パラメータθを求める場合と全く同様の方法で、重み付き再投影誤差εbを最小とする姿勢θを計算することができる。
なお、後述するように、本発明の特徴点選択システムは、認識タスクと、特徴点の重要度計算とを含むループ処理を行う。最初に認識タスクを実行する際には、認識タスク実行手段11は、重要度wiの初期値として定められた値を用いればよい。また、2回目以降のループ処理において認識タスクを実行する際には、認識タスク実行手段11は、直前の重要度計算処理で求めた重要度wiを用いればよい。
認識タスク実行手段11は、評価データ3に含まれる全ての評価用画像に対してそれぞれ、重み付き認識タスク(本例では、重み付き再投影誤差εbを最小とする姿勢θの算出)を行う。評価用画像jに対する認識結果として算出した姿勢をθjとする。
認識誤差評価手段12は、認識タスク実行手段11によって得られた認識結果の誤差を評価する。具体的には、認識誤差評価手段12は、全ての評価用画像全体に関する認識結果の誤差の大小を表す値を計算し、その計算結果を、認識結果の誤差の評価結果とする。この評価結果をεcと記す。評価データ3には、各評価用画像jに対する認識結果の正解値(すなわち、認識結果正解データ5)が含まれている。上述した例のように、認識タスクが姿勢推定である場合には、認識結果正解データ5は姿勢θjの正解値である。この正解値をθ* jと記す。この場合、認識誤差評価手段12は、例えば、以下の式(5)の計算を行い、全ての評価用画像全体に関する認識結果の誤差の評価結果εcを計算してもよい。
εc=Σj(θj−θ* j)2 式(5)
すなわち、認識誤差評価手段12は、重み付き認識タスクによって得られたθjと、正解値θ* jとの差の二乗を、評価用画像毎に計算し、その総和を評価結果εcとしてもよい。この評価結果εcは、全て評価用画像に対する認識誤差の総和(より正確には、認識誤差の二乗の総和)である。
なお、既に説明したように、認識タスク実行手段11が重み付き認識タスクを行うとともに、認識誤差も求めてもよく、あるいは、認識誤差評価手段12が認識誤差の算出を行ってもよい。式(5)に示す例では、認識タスク実行手段11が重み付き認識タスクを行うとともに、(θj−θ* j)の計算を行ってもよい。あるいは、(θj−θ* j)の計算も含め、式(5)の計算全体を認識誤差評価手段12が行ってもよい。
特徴点重要度決定手段13は、認識結果の誤差の評価結果εcを最小にする特徴点の重要度(重み)を計算する。この計算は、全て評価用画像に対する認識誤差の総和(上記の例では、認識誤差の二乗の総和)を最小にする特徴点の重要度を求めることを意味する。本発明では、この重要度に関し、本発明の目的である特徴点の選択を行うために適した制約条件を付け加える点が特徴的である。本発明の目的は、できるだけ少ない特徴点を使って認識誤差を小さくするために、入力された特徴点候補群(3次元形状モデル1上の複数の特徴点候補2)から少数の適切な特徴点を選択することである。そこで、重要である度合いに応じて重みの値が疎になるように、すなわち、重要でない点の値がなるべくゼロに近づきやすくなるように、各特徴点の重要度を要素とするベクトルのL1ノルムを最小化するという制約条件を、重要度の計算に付加する。すなわち、εcに、各特徴点の重要度を要素とするベクトルのL1ノルムを加えた関数を、以下の式(6)に示すように、コスト関数Jとして定義する。なお、上記のような、重要でない点の値がなるべくゼロに近づきやすくなるように各特徴点の重要度を要素とするベクトルのL1ノルムを最小化するという制約条件は、各特徴点の重要度を離散的にする制約条件であるということができる。
J(w)=εc+α|w|1
=Σj(θj−θ* j)2+α|w|1 式(6)
=Σj(θj−θ* j)2+α|w|1 式(6)
式(6)において、wは、各特徴点の重要度を要素に持つベクトルである。αは、上記の制約条件を、どの程度強く効かせるかを規定する定数パラメータであり、αの値は、予め適当な値に設定しておく。w(すなわち、各特徴点の重要度)を決定しておき、認識タスク実行手段11が重み付き認識タスクを実行し、認識誤差評価手段12が、認識誤差の評価結果εcを計算することにより、特徴点重要度決定手段13は、コスト関数Jの値を計算することができる。従って、コスト関数Jは、重要度wの関数となり、J(w)と表してもよい。
姿勢推定における特徴点の重要度は、非線形関数J(w)に対する制約付き最適化問題として定式化される。この最適化の計算方法として、適当な初期値を設定して繰り返し処理を行うことで最適な解を得る様々な方法が既に公知である。例えば、参考文献2に記載されているように、Lagrangeの未定数乗法を用いて計算する方法がある。
[参考文献2]
C.M.ビショップ、「パターン認識と機械学習(上)」、シュプリンガージャパン株式会社、付録E
C.M.ビショップ、「パターン認識と機械学習(上)」、シュプリンガージャパン株式会社、付録E
具体的な処理は以下のようになる。まず、重要度(重み)の初期値を決定する。これには様々な方法があるが、一例として、全ての重みを均一とする方法がある。すなわち、特徴点の数がN個である場合、各特徴点の重みwiの初期値を、wi=1/Nと定めておく。次に、特徴点重要度決定手段13は、各特徴点の重要度を要素とするベクトルwを変化させながらコスト関数J(w)の値を最小化する重み(具体的にはベクトルw)を求める。すなわち、初期値から、各特徴点の重要度を要素とするベクトルwを更新しつつ、認識タスク実行手段11による重み付き認識タスクと、認識誤差評価手段12による認識誤差の評価結果算出を繰り返し実行し、特徴点重要度決定手段13が、J(w)の値が収束したときのwを、最適なwとして求める。この結果、最適な、各特徴点の重要度が得られる。
上記の処理では、コスト関数の値が収束するまで認識タスク実行手段11による重み付き認識タスクを繰り返し実行することとなる。各特徴点の重要度の最適化(wの最適化)の途中で、重要度wiの値がある閾値以下に低くなった特徴点については、wi=0として、その特徴点を計算対象から除外してもよい。このようにすることで、重み付き認識タスクの計算処理を高速化することができる。この閾値は、予め定めておけばよい。
特徴点選択手段14は、決定された各特徴点の重要度に応じて、特徴点を選択する。なお、各特徴点の重要度は、特徴点重要度決定手段13によって、各特徴点の重要度を要素とするベクトルwとして決定される。特徴点選択手段14は、例えば、本発明の特徴点選択システムに入力される特徴点候補2の中から、重要度が大きい順に、所定個の特徴点を選択する。選択する特徴点の数は、認識タスク実行時の計算量を考慮して、予め所望の数を定めておけばよい。特徴点選択手段14は、選択した特徴点を、認識タスクに適した特徴点として出力する。
特徴点選択手段14が特徴点を選択する方法は、上記の方法に限定されない。例えば、特徴点の重要度を選択するか否かを判定するための閾値を定めておき、特徴点選択手段14は、重要度がその閾値を超えている特徴点のみを選択し、重要度がその閾値以下となっている特徴点を選択しないようにしてもよい。
また、重要度が最大である特徴点から順次選択していき、選択された特徴点の重要度の累積値に対して閾値を定めておく方法であってもよい。例えば、特徴点選択手段14は、重要度が最大である特徴点から特徴点を順次選択し、特徴点を選択する毎に、選択した特徴点の重要度を加算した累積値を算出する。そして、特徴点選択手段14は、その累積値が、予め定められた閾値を超えたときに、特徴点の選択を停止して、それまでに選択した各特徴点を、認識タスクに適した特徴点として出力してもよい。あるいは、累積値が閾値を超えた時点で、最後に選択した特徴点を除外し、累積値が閾値以下となっているという条件を満たしている間に選択した各特徴点を、認識タスクに適した特徴点として出力してもよい。
また、重要度を大きい順にソートし、値が急激に減少する順位を決定し、高位の特徴点のみを選択する方法であってもよい。例えば、特徴点選択手段14は、重要度を大きい順にソートし、順位が隣り合う重要度同士の差を計算する。そして、その差が、予め定められた閾値より大きくなった場合、その差の計算対象とした2つの重要度のうち、順位が高い方までの各重要度に対応する特徴点を選択してもよい。すなわち、1番目と2番目、2番目と3番目、・・・という順に、順位が隣り合う重要度同士の差を計算し、k番目とk+1番目の重要度同士の差が閾値より大きくなったならば、特徴点選択手段14は、ソート後の重要度の順位が1番目からk番目までとなっている各特徴点を選択してもよい。
認識タスク実行手段11、認識誤差評価手段12、特徴点重要度決定手段13および特徴点選択手段14は、例えば、特徴点選択プログラムに従って動作するコンピュータのCPUによって実現される。例えば、CPUが、特徴点選択システムの記憶装置(図示せず)から特徴点選択プログラムを読み込み、そのプログラムに従って、上記の各手段として動作してもよい。あるいは、各手段11〜14がそれぞれ別々の専用回路によって実現されていてもよい。
次に、動作について説明する。
図2は、第1の実施形態の特徴点選択システムの処理経過の例を示すフローチャートである。以下の説明においても、認識タスクとして姿勢推定を行う場合を例にして説明する。
図2は、第1の実施形態の特徴点選択システムの処理経過の例を示すフローチャートである。以下の説明においても、認識タスクとして姿勢推定を行う場合を例にして説明する。
まず、認識タスク実行手段11が、重み付き認識タスクを実行する(ステップS1)。例えば、認識タスク実行手段11は、式(4)における重み付き再投影誤差εbを最小とする姿勢θを求める。また、最初にステップS1を実行するときには、予め重要度wiの初期値を定めておき、その初期値を用いればよい。既に説明したように、特徴点の数がN個である場合、各特徴点の重みwiの初期値をそれぞれ均一として、wi=1/Nと定めておいてもよい。
次に、認識誤差評価手段12が、全ての評価用画像全体に関する認識結果の誤差の評価結果εcを計算する(ステップS2)。例えば、認識誤差評価手段12は、式(5)を計算することによってεcを算出すればよい。
次に、特徴点重要度決定手段13が、各特徴点の重要度を計算する(ステップS3)。例えば、特徴点重要度決定手段13は、εcに、各特徴点の重要度を要素とするベクトルのL1ノルムを加えたコスト関数J(w)を定め(式(6)参照)、コスト関数J(w)の値を最小とするベクトルwを求める。このベクトルの要素が、各特徴点の重要度である。
次に、特徴点重要度決定手段13は、コスト関数J(w)が収束したか否かを判定する(ステップS4)。例えば、前回のループ処理のステップS3で求めたベクトルwから定まるJ(w)の最小値と、今回のループ処理のステップS3(すなわち、直近のステップS3)で求めたベクトルwから定まるJ(w)の最小値との差の絶対値が、予め定められた閾値以下になったならば、特徴点重要度決定手段13は、J(w)が収束したと判定すればよい。一方、その差の絶対値が、予め定められた閾値よりも大きければ、特徴点重要度決定手段13は、J(w)が収束していないと判定すればよい。
J(w)が収束していないと判定したならば(ステップS4におけるNo)、特徴点選択システムは、ステップS1以降の処理を繰り返す。2回目以降のステップS1では、その前のステップS3で算出された各特徴点の重要度wiを用いればよい。
また、特徴点重要度決定手段13は、重要度wiの値がある閾値以下に低くなった特徴点については、wi=0としてもよい。このことは、重要度wiの値がある閾値以下に低くなった特徴点を、認識タスク実行手段11が行う重み付き認識タスクの処理対象から除外することを意味する。
J(w)が収束したと判定したならば(ステップS4におけるYes)、特徴点選択手段14は、直前のステップS3で決定された重要度に基づいて、入力された特徴点候補2の中から特徴点を選択し、選択した特徴点を、認識タスクに適した特徴点として出力する。
本実施形態において、評価データ3に含まれる特徴点データ4は、評価用画像を実際に認識システムを実用に供した際に生じるであろう特徴点抽出誤差を含んでいる。本実施形態によれば、この特徴点データ4を用い、各特徴点に重要度の重みをつけた上で認識タスクを実行し、認識誤差を評価する。そして、認識誤差が最小になるような、重要度の値を求める。上記の例では、認識誤差を評価結果に、重要でない点の値がなるべくゼロに近づきやすくなるような制約条件を付加したコスト関数J(w)を定め、そのJ(w)が最小となるような、各特徴点の重要度を求める。このように処理することで、3次元形状モデル1上の指定された各特徴点が、実際の認識システムの運用状況における認識誤差を小さくするという目的において、どの程度重要であるかを評価することができる。よって、例えば、重要度が大きい順に所定個の特徴点を選択することによって、限られた数で精度よく認識タスクを実行することができるような特徴点を選択することができる。なお、重要度が大きい順に所定個の特徴点を選択するという選択方法は例示であり、重要度に基づいた他の特徴点選択方法によっても、適切な特徴点を選択することができる。
また、以上の説明では、認識タスクの例として姿勢推定や個体識別を例示したが、認識タスクはこれらの処理に限定されない。例えば、姿勢ではなく物体の変形量を推定する処理や、顔画像に対する表情認識処理などであってもよい。
実施形態2.
図3は、本発明の第2の実施形態の特徴点選択システムの例を示すブロック図である。第1の実施形態と同様の構成要素やデータについては、図1と同一の符号を付し、詳細な説明を省略する。第2の実施形態の特徴点選択システムは、認識タスク実行手段11、認識誤差評価手段12、特徴点重要度決定手段13および特徴点選択手段14に加え、学習・評価データ生成手段15と、特徴点抽出学習データ生成手段(以下、特抽学習データ生成手段と記す。)16と、特徴点抽出器学習手段17と、特徴点抽出実行手段18とを備える。
図3は、本発明の第2の実施形態の特徴点選択システムの例を示すブロック図である。第1の実施形態と同様の構成要素やデータについては、図1と同一の符号を付し、詳細な説明を省略する。第2の実施形態の特徴点選択システムは、認識タスク実行手段11、認識誤差評価手段12、特徴点重要度決定手段13および特徴点選択手段14に加え、学習・評価データ生成手段15と、特徴点抽出学習データ生成手段(以下、特抽学習データ生成手段と記す。)16と、特徴点抽出器学習手段17と、特徴点抽出実行手段18とを備える。
第2の実施形態では、3次元形状モデル1と、その3次元形状モデル1上の複数の特徴点候補2を入力データとし、評価データ3に関しては、特徴点選択システムが生成する。従って、第2の実施形態では、認識タスクの性能評価に用いるための多様な撮影条件における評価用画像群と、その評価用画像群に対して特徴点抽出を実行した結果として得られた特徴点データ4と、その評価用画像群に対する認識タスクの正解データ5に関しては、特徴点選択システムに対して入力する必要がない。
認識タスクの認識性能を高めるために真に重要な特徴点を選択するためには、入力される特徴点候補2がそれらの重要な点を全て網羅していることが必要である。すなわち、入力される特徴点の候補は多数でなければならない。特に、物体が特徴的な点を多数含む場合や、逆に、明確な特徴点がなく優劣付けがたい点が多数あるような場合には、特徴点候補2を大量に用意しなければ、重要な特徴点を選択することができない。また、多様な環境で撮影された画像を認識対象とする認識タスクを対象として特徴点を選択する場合、多様な環境で動作可能な特徴点抽出器が必要とされる。本実施形態では、有効な特徴点を網羅するように大量の特徴点候補を得たときに、その特徴点に対する特徴点抽出器を自動的に生成することができ、その特徴点抽出器を用いることで、結果として、最終的に、より正確な特徴点を選択することが可能となる。
また、以下の説明において、テンプレートとは、画像から切り出される局所領域を意味し、テンプレートの大きさをテンプレートサイズと記す。
学習・評価データ生成手段15には、3次元形状モデル1と、その3次元形状モデル1上の複数の特徴点を指定する情報(特徴点候補2)が入力される。3次元形状モデル1にはテクスチャが貼り付けられているものとする。学習・評価データ生成手段15は、入力された3次元形状モデル1の姿勢(向き)や、3次元形状モデル1に対する照明の位置等を様々に変更した画像を含む学習データ51および評価データ3を生成する。学習・評価データ生成手段15によって生成される学習データ51には、3次元形状モデル1の姿勢や照明の位置等を様々に変更した複数の学習画像52と、それらの学習画像52における特徴点の正解位置データ53が含まれる。また、学習・評価データ生成手段15によって生成される評価データ3には、3次元形状モデル1の姿勢や照明の位置等を様々に変更した複数の評価用画像6と、各評価用画像6に対する認識タスクの正解データ5とを含む。学習画像52および評価用画像6は、3次元形状モデル1の姿勢や3次元形状モデル1に対する照明の位置等を様々に変更して得られる画像である点で共通である。ただし、学習画像52と評価用画像6とでは、姿勢(向き)や照明位置等の条件が異なるようにする。学習・評価データ生成手段15は、3次元形状モデル1を用いて、学習画像52および評価用画像6を、2次元のCG(Computer Graphics )画像として生成する。
ここで、特徴点抽出器と、学習・評価データ生成手段15によって生成される学習データ51および評価データ3とについて説明する。特徴点抽出器は、あるパターンが入力されたときにそのパターンが特徴点であるか否かを判定する。通常、特徴点抽出器は、そのような判定を行うための内部データを予め学習しておく。特徴点抽出器には様々なパターン識別法や特徴抽出演算子を利用可能である。
一例として、非特許文献2に記載のSIFT特徴量を用いることができる。この場合、学習としては、学習データ(学習画像52)の特徴点に該当する位置に対してSIFT特徴抽出演算子を適用し、SIFT特徴量を抽出する。そして、そのSIFT特徴量を内部データとして記憶しておく。認識タスク等において、ある認識対象となる画像が入力されると、その画像からSIFT特徴量を抽出し、内部データと比較することにより、そのテンプレートが特徴点に該当するか否かを判定する。
また、別の方法として、非特許文献3に記載のGLVQのようなパターン識別法を用いることもできる。本実施形態では、これらの方法について詳しく説明する。学習においては、特徴点に該当するテンプレートと、特徴点に該当しないテンプレートをそれぞれ複数入力され、そのテンプレートから内部データを生成する。そして、特徴点抽出器は、認識タスク等において、あるテンプレートが入力されると、内部データと比較することにより、そのテンプレートが特徴点に該当するか否かを判定する。特徴点抽出器が内部データを学習するためのテンプレートを切り出すために用いられる画像群が学習画像52である。そして、学習画像52と、その画像群(学習画像52)における特徴点の正解位置データ53とを含むデータが、学習・評価データ生成手段15によって生成される学習データ51に含まれる。
また、内部データ学習後の特徴点抽出器が、実際の認識タスクにおいて用いられた場合にどの程度の精度で特徴点を抽出できるかを評価するために、学習データとは別に用意される画像群が、評価用画像6である。そして、評価用画像6と、その評価用画像6に対して認識タスクを実行した場合における認識結果の正解を表す認識結果正解データ5が、学習・評価データ生成手段15によって生成される評価データ3に含まれる。
学習・評価データ生成手段15は、3次元形状モデル1の姿勢(向き)や、3次元形状モデル1に対する照明の位置等を様々に変更した画像をCG(Computer Graphics )画像として、学習画像52および評価用画像6を生成する。ただし、3次元形状モデル1の姿勢(向き)や3次元形状モデル1に対する照明の位置等の条件は、学習画像52と評価用画像6とが同一にならないように異なるものとする。画像生成時の条件が異なる点を除き、学習・評価データ生成手段15は、同様の処理を行って学習画像52および評価用画像6を生成する。また、学習・評価データ生成手段15は、学習画像52となる画像および評価用画像6となる画像を、それぞれ複数生成する。学習・評価データ生成手段15は、認識タスクにおいて認識対象となる画像の撮影条件を網羅するように、様々な姿勢・照明条件を設定して、多数の画像を生成することが好ましい。
図4は、学習画像52や評価用画像6となる画像の例を示す説明図である。図4に示す例では、2種類の3次元形状モデルから生成された画像の例を示している。図4(a)は、ある一つの3次元形状モデルから生成された複数種類の画像であり、図4(b)は、別の3次元形状モデルから生成された複数種類の画像である。図4(a),(b)に例示する各画像では、照明位置の条件を変えることで、影61の現れる場所が変化している。図4では、照明位置の条件を変えた場合の種々の画像を例示しているが、学習・評価データ生成手段15は、3次元形状モデルの姿勢を変更した場合の画像も、学習画像52および評価用画像6として生成してもよい。
また、学習・評価データ生成手段15には、3次元形状モデル1上の特徴点群として指定された特徴点候補2が入力される。学習・評価データ生成手段15は、この特徴点候補2に対応する学習画像52上の特徴点を特定する。学習・評価データ生成手段15は、特徴点候補2として指定された3次元形状モデル1上の特徴点の位置と、CG画像(ここでは、学習画像)の生成時に用いた姿勢に関する条件(3次元形状モデルの向き)とから、学習画像52上の特徴点の位置を正しく求めることができる。この学習画像52上の特徴点の位置が、特徴点の正解位置データ53に該当する。
図5は、特徴点の正解位置データ53の例を示す説明図である。図5(a),(b)の左端は、それぞれ、3次元形状モデルと、その3次元形状モデル上の特徴点候補2を表している。ただし、いずれの3次元形状モデルも、模式的に2次元で表している。図5(a),(b)において、右側の3つの画像は、それぞれ、左端に示す3次元形状モデルから生成された2次元の学習画像を表しており、図5に示す例では、図4に示す場合と同様に、影が現れている。学習・評価データ生成手段15は、このような学習画像上において、3次元形状モデル上の特徴点として指定された特徴点候補2に対応する、特徴点の正解位置データ53を特定する。図5では、各学習画像における顔の向きがいずれも同一である場合を例示しているが、姿勢(向き)に関する条件を変えた場合にも、学習・評価データ生成手段15は、その条件と、3次元形状モデル1における指定された特徴点の位置(特徴点候補2)とから、学習画像上における特徴点の正解位置データ53を特定する。
また、学習・評価データ生成手段15は、各評価用画像6に対する認識タスクの正解を付与し、認識結果正解データ5とする。例えば、認識タスクとして姿勢推定を行う場合は、各評価用画像を生成した際に用いた姿勢に関する条件を、認識結果正解データ5とすればよい。また、認識タスクとして個体識別を行う場合は、各評価用画像を生成した際に用いた3次元形状モデルの個体を特定する識別情報を認識結果正解データ5とすればよい。
特抽学習データ生成手段16は、学習データ51に含まれる学習画像52から、特徴点に該当するテンプレートと、特徴点に該当しないテンプレートを複数切り出す。特徴点に該当するテンプレートとして、学習画像52における特徴点やその近辺の点を中心とし、テンプレートサイズによって決まるテンプレートを学習画像52から複数切り出せばよい。また、特徴点に該当しないテンプレートとして、その特徴点の周囲の点を中心とするテンプレートであって特徴点を含まないテンプレートを学習画像52から複数切り出せばよい。このとき、特抽学習データ生成手段16は、学習画像52における特徴点を、特徴点の正解位置データ53によって判断すればよい。また、テンプレートサイズは、例えば、入力データとして入力されることによって、指定されればよい。ただし、テンプレートサイズは他の指定態様で指定されてもよい。以下、特徴点に該当するテンプレートを、特徴点テンプレート57と記し、特徴点に該当しないテンプレートを、非特徴点テンプレート58と記す。そして、特徴点テンプレート57および非特徴点テンプレート58を合わせて、特徴点抽出学習データ56と記す。
特徴点抽出器学習手段17は、特徴点抽出器の内部データを学習する。すなわち、与えられるパターンが特徴点であるか否かを判定するための特徴点抽出器の内部データを生成する。特徴点抽出器学習手段17は、特抽学習データ生成手段16によって生成された複数の特徴点テンプレート57および複数の非特徴点テンプレート58を参照して、内部データ59を学習する。
特徴点抽出実行手段18は、学習・評価データ生成手段15によって生成された評価データ3におけるそれぞれの評価用画像6について、局所的なテンプレートを順次切り出し、テンプレートと内部データ59とを比較して、そのテンプレートが特徴点に該当するか否かを判定する。特徴点抽出実行手段18は、この判定処理によって、各評価用画像6におけるどの部分が特徴点であるかを判定する。この判定結果が、特徴点データ4となる。
第2の実施形態における学習・評価データ生成手段15、特抽学習データ生成手段16、特徴点抽出器学習手段17および特徴点抽出実行手段18は、例えば、特徴点選択プログラムに従って動作するコンピュータのCPUによって実現される。例えば、CPUが、特徴点選択プログラムを読み込み、そのプログラムに従って、各手段11〜18として動作してもよい。あるいは、各手段11〜18がそれぞれ別々の専用回路によって実現されていてもよい。
次に、動作について説明する。
図6は、第2の実施形態における処理経過の例を示すフローチャートである。ただし、第1の実施形態と同様の処理については、省略している。
図6は、第2の実施形態における処理経過の例を示すフローチャートである。ただし、第1の実施形態と同様の処理については、省略している。
まず、学習・評価データ生成手段15が、入力された3次元形状モデル1および特徴点候補2を用いて、学習画像52と、その学習画像52上における特徴点の正解位置データ53を生成する。また、学習・評価データ生成手段15は、評価用画像6と、その評価用画像6に対して認識タスクを実行した場合における認識結果の正解を表す認識結果正解データ5も生成する(ステップS11)。
次に、特抽学習データ生成手段16は、ステップS11で生成された学習画像52、および特徴点の正解位置データ53に基づいて、特徴点テンプレート57および非特徴点テンプレート58を、学習画像52から切り出す(ステップS12)。
次に、特徴点抽出器学習手段17は、特徴点テンプレート57および非特徴点テンプレート58を参照して、特徴点抽出器の内部データ59を学習する(ステップS13)。
続いて、特徴点抽出実行手段18が、それぞれの評価用画像6から特徴点を抽出する(ステップS14)。具体的には、特徴点抽出実行手段18は、局所的なテンプレートを順次切り出し、切り出したテンプレートと内部データ59とを比較して、そのテンプレートが特徴点に該当するか否かを判定する。テンプレートが特徴点に該当すると判定した場合には、特徴点抽出実行手段18は、評価用画像におけるそのテンプレートの位置を特徴点の位置とし、その特徴点の位置を特徴点データ4と定める。
以上の処理において、学習・評価データ生成手段15によってステップS11で生成された評価用画像6および認識結果正解データ5と、特徴点抽出実行手段18によってステップS14で定められた特徴点データ4とが、第1の実施形態における評価データ3に相当する。ステップS14の後、認識タスク実行手段11、認識誤差評価手段12、特徴点重要度決定手段13および特徴点選択手段14は、上記の評価用画像6、認識結果正解データ5、特徴点データ4と、入力データである3次元形状モデル1および特徴点候補2とを用いて、第1の実施形態と同様の処理(ステップS1以降の処理)を実行する。この処理は、第1の実施形態と同様であり、説明を省略する。
第2の実施形態によれば、第1の実施形態と同様に、認識タスクとして行う処理に応じた適切な特徴点を選択することができる。また、第2の実施形態では、入力データを、次元形状モデル1と、その3次元形状モデル1上の複数の特徴点候補2とすればよく、第1の実施形態よりも入力データを少なくすることができる。すなわち、第1の実施形態における評価データ3に相当する評価用画像6、認識結果正解データ5および特徴点データ4に関しては、特徴点選択システム自身が生成するので、入力データとして入力する必要がない。従って、入力データを準備するコストを削減することができる。
以上に説明したように、第2の実施形態では、3次元形状モデル1と特徴点の候補の配置(特徴点候補2)を入力データとして、3次元形状モデル1を利用して、学習データ51および評価データ3を自動的に生成する。このように学習データ51を自動生成することによって、大量の特徴点候補に対する特徴点抽出学習データ56を用意し、特徴点抽出器の内部データ59を得ることを可能としている。さらに、指定の認識タスクを多様な画像に対して実行した際の認識誤差を見積もるための評価データ3(評価用画像6、認識結果正解データ5、および特徴点データ4)も自動的に生成することにより、データを準備するコストを削減できるようにもしている。
なお、特徴点候補2があらかじめ少数に絞られている場合等には、学習データ51は別途用意できる場合もある。また、予め認識タスクの正解データが用意された評価用画像を入手可能な場合もある。このような場合には、本実施形態における学習・評価データ手段15を備えない構成であってもよい。そして、別途用意された学習データ51、評価用画像6および認識結果正解データ5を用いて、ステップS12以降の処理を実行して、適切な特徴点を選択してもよい。
実施形態3.
図7は、本発明の第3の実施形態の特徴点選択システムの例を示すブロック図である。第1の実施形態や第2の実施形態と同様の構成要素やデータについては、図1、図3と同一の符号を付し、詳細な説明を省略する。第3の実施形態の特徴点選択システムは、認識タスク実行手段11、認識誤差評価手段12、特徴点重要度決定手段13、特徴点選択手段14、学習・評価データ生成手段15、特抽学習データ生成手段16、特徴点抽出器学習手段17および特徴点抽出実行手段18に加え、特徴点候補決定手段19を備える。
図7は、本発明の第3の実施形態の特徴点選択システムの例を示すブロック図である。第1の実施形態や第2の実施形態と同様の構成要素やデータについては、図1、図3と同一の符号を付し、詳細な説明を省略する。第3の実施形態の特徴点選択システムは、認識タスク実行手段11、認識誤差評価手段12、特徴点重要度決定手段13、特徴点選択手段14、学習・評価データ生成手段15、特抽学習データ生成手段16、特徴点抽出器学習手段17および特徴点抽出実行手段18に加え、特徴点候補決定手段19を備える。
第3の実施形態の特徴点選択システムは、3次元形状モデル1を入力データとし、3次元形状モデル1上の特徴点の候補となる特徴点候補2、および、評価データ3(評価用画像6、認識結果正解データ5、特徴点データ4)を自動的に生成する。従って、特徴点候補2、評価データ3に関しては、特徴点選択システムに対して入力する必要がない。また、第3の実施形態の特徴点選択システムでは、特徴点候補決定手段19が、特徴点候補2として大量の特徴点を決定し、その結果、重要な点をもらさず選択できるようにしている。
特徴点候補決定手段19は、3次元形状モデル1の表面の文様を表すテクスチャ画像に対し、エッジ抽出等の特徴抽出演算子を適用し、特徴強度の強い部分を決定し、特徴点の候補とする。特徴抽出演算子として様々な技術が公知であるが、一例として、前述のSIFT特徴抽出や、コーナー検出器などを用いることが可能である。特徴点候補決定手段19は、複数の特徴点抽出器(特徴抽出演算子)を用いて特徴点の候補を決定し、個々の特徴点抽出器により決定した特徴点の候補を、全て特徴点候補2としてもよい。また、特徴点候補決定手段19は、テクスチャ画像に加え、3次元形状モデル1の表面の形状データに対して特徴点抽出を適用して特徴点を抽出することによって、特徴点候補を追加してもよい。
特徴点候補決定手段19が決定した特徴点の候補は、第1の実施形態や第2の実施形態における特徴点候補2に相当する。特徴点候補決定手段19によって特徴点候補2が決定されると、学習・評価データ生成手段15は、入力データとして与えられた3次元形状モデル1と、その特徴点候補2とを用いて、第2の実施形態と同様に、学習データ51および評価データ3を生成する。以降の動作は、第2の実施形態と同様であり、説明を省略する。
特徴点候補決定手段19は、他の各手段と同様に、例えば、特徴点選択プログラムに従って動作するCPUによって実現される。また、特徴点候補決定手段19は、他の手段とは別の専用回路によって実現されていてもよい。
以上のように、特徴点候補決定手段19が、3次元形状モデル1が3次元形状モデル1のテクスチャ画像に対して特徴抽出演算子を適用したり、形状に対して特徴点抽出を行ったりすることで、大量の特徴点候補を決定することができる。特に、複数種類の特徴抽出演算子を適用することで、大量の特徴点候補を決定できる。これらの特徴点候補には、認識タスクにとってずしも有効でない特徴点も多く含まれる。しかし、画像上で特徴抽出が容易な点が特徴点候補に確実に含まれている。そのため、特徴点候補2を例えばオペレータが指定する場合よりも確実に、認識タスクにとって重要な点を漏らさず特徴点候補とすることができる。さらに、入力データにおいて予め特徴点候補2として決めていなかった特徴点であっても、その特徴点抽出器を自動生成することができるので、認識タスクを実行するシステムを直ちに構築することができるという利点がある。
次に、本発明の最小構成について説明する。図8は、本発明の最小構成の例を示すブロック図である。本発明の特徴点選択システムは、認識タスク実行手段11と、認識誤差評価手段12と、特徴点重要度決定手段13と、特徴点選択手段14とを備える。
認識タスク実行手段11は、3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する。
認識誤差評価手段12は、認識タスク実行手段11による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する。
特徴点重要度決定手段13は、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する。
そして、認識タスク実行手段11、認識誤差評価手段12および特徴点重要度決定手段13は、特徴点重要度決定手段13によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行手段11が、認識タスクを実行し、認識誤差評価手段12が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定手段13が、特徴点候補の重要度を決定することを繰り返す。
特徴点選択手段14は、各特徴点候補の重要度に基づいて、3次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する。
以上のような構成により、認識タスクにおける認識アルゴリズムに合う適切な特徴点を、3次元形状モデル上の特徴点候補から選択することができる。
なお、上記の実施形態では、以下の(1)〜(10)に示すような特徴点選択システムの特徴的構成が開示されている。
(1)本発明による特徴点選択システムは、3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行手段(例えば、認識タスク実行手段11)と、認識タスク実行手段による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価手段(例えば、認識誤差評価手段12)と、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定手段(例えば、特徴点重要度決定手段13)と、各特徴点候補の重要度に基づいて、3次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する特徴点選択手段(例えば、特徴点選択手段14)とを備え、認識タスク実行手段、認識誤差評価手段および特徴点重要度決定手段は、特徴点重要度決定手段によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行手段が、認識タスクを実行し、認識誤差評価手段が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定手段が、特徴点候補の重要度を決定することを繰り返すことを特徴とする。
(2)特徴点重要度決定手段が、重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外する構成であってもよい。
(3)3次元形状モデルから複数の評価用画像と、各評価用画像に対する認識タスクの正解データとを作成するとともに、3次元形状モデルから生成される画像であって特徴点抽出器の判定用データ(例えば、特徴点抽出器の内部データ)の学習に用いられる画像である学習画像を複数生成し、3次元形状モデル上の各特徴点候補の各学習画像上における位置を表す位置データを生成する学習・評価用データ生成手段(例えば、学習・評価用データ生成手段15)と、学習・評価用データ生成手段によって生成された各学習画像および位置データに基づいて、各学習画像から特徴点に該当する局所領域(例えば、特徴点テンプレート57)および特徴点に該当しない局所領域(例えば、非特徴点テンプレート58)を切り出す局所領域切り出し手段(例えば、特徴点抽出学習データ生成手段16)と、特徴点に該当する局所領域および特徴点に該当しない局所領域に基づいて、特徴点抽出器の判定用データを学習する特徴点抽出器学習手段(例えば、特徴点抽出器学習手段17)と、判定用データを用いて、各評価用画像から特徴点を抽出する特徴点抽出実行手段(例えば、特徴点抽出実行手段18)とを備える構成であってもよい。
(4)3次元形状モデルから、当該3次元形状モデル上の特徴点候補となる点を決定する特徴点候補決定手段(例えば、特徴点候補決定手段19)を備える構成であってもよい。
(5)特徴点候補決定手段が、3次元形状モデルのテクスチャ画像および3次元形状モデルの形状に対して複数種類の特徴抽出演算子を適用して特徴点候補となる点を抽出することによって、特徴点候補となる点を決定する構成であってもよい。
(6)本発明による特徴点選択システムは、3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行部(例えば、認識タスク実行手段11)と、認識タスク実行部による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価部(例えば、認識誤差評価手段12)と、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定部(例えば、特徴点重要度決定手段13)と、各特徴点候補の重要度に基づいて、3次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する特徴点選択部(例えば、特徴点選択手段14)とを備え、認識タスク実行部、認識誤差評価部および特徴点重要度決定部は、特徴点重要度決定部によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行部が、認識タスクを実行し、認識誤差評価部が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定部が、特徴点候補の重要度を決定することを繰り返すことを特徴とする。
(7)特徴点重要度決定部が、重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外する構成であってもよい。
(8)3次元形状モデルから複数の評価用画像と、各評価用画像に対する認識タスクの正解データとを作成するとともに、3次元形状モデルから生成される画像であって特徴点抽出器の判定用データ(例えば、特徴点抽出器の内部データ)の学習に用いられる画像である学習画像を複数生成し、3次元形状モデル上の各特徴点候補の各学習画像上における位置を表す位置データを生成する学習・評価用データ生成部(例えば、学習・評価用データ生成手段15)と、学習・評価用データ生成部によって生成された各学習画像および位置データに基づいて、各学習画像から特徴点に該当する局所領域(例えば、特徴点テンプレート57)および特徴点に該当しない局所領域(例えば、非特徴点テンプレート58)を切り出す局所領域切り出し部(例えば、特徴点抽出学習データ生成手段16)と、特徴点に該当する局所領域および特徴点に該当しない局所領域に基づいて、特徴点抽出器の判定用データを学習する特徴点抽出器学習部(例えば、特徴点抽出器学習手段17)と、判定用データを用いて、各評価用画像から特徴点を抽出する特徴点抽出実行部(例えば、特徴点抽出実行手段18)とを備える構成であってもよい。
(9)3次元形状モデルから、当該3次元形状モデル上の特徴点候補となる点を決定する特徴点候補決定部(例えば、特徴点候補決定手段19)を備える構成であってもよい。
(10)特徴点候補決定部が、3次元形状モデルのテクスチャ画像および3次元形状モデルの形状に対して複数種類の特徴抽出演算子を適用して特徴点候補となる点を抽出することによって、特徴点候補となる点を決定する構成であってもよい。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2010年1月12日に出願された日本特許出願2010−003883を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、個体の姿勢推定や個体識別等の認識タスクを行う装置等で認識タスクに用いられる3次元形状モデル上の特徴点を決定するシステムとして好適に利用できる。
11 認識タスク実行手段
12 認識誤差評価手段
13 特徴点重要度決定手段
14 特徴点選択手段
15 学習・評価データ生成手段
16 特徴点抽出学習データ生成手段(特抽学習データ生成手段)
17 特徴点抽出器学習手段
18 特徴点抽出実行手段
19 特徴点候補決定手段
12 認識誤差評価手段
13 特徴点重要度決定手段
14 特徴点選択手段
15 学習・評価データ生成手段
16 特徴点抽出学習データ生成手段(特抽学習データ生成手段)
17 特徴点抽出器学習手段
18 特徴点抽出実行手段
19 特徴点候補決定手段
Claims (9)
- 3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、前記3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行手段と、
認識タスク実行手段による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価手段と、
各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定手段と、
各特徴点候補の重要度に基づいて、前記3次元形状モデル上の特徴点候補から、前記認識タスクで使用するべき特徴点を選択する特徴点選択手段とを備え、
認識タスク実行手段、認識誤差評価手段および特徴点重要度決定手段は、特徴点重要度決定手段によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行手段が、認識タスクを実行し、認識誤差評価手段が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定手段が、特徴点候補の重要度を決定することを繰り返す
ことを特徴とする特徴点選択システム。 - 特徴点重要度決定手段は、重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外する
請求項1に記載の特徴点選択システム。 - 3次元形状モデルから複数の評価用画像と、各評価用画像に対する認識タスクの正解データとを作成するとともに、3次元形状モデルから生成される画像であって特徴点抽出器の判定用データの学習に用いられる画像である学習画像を複数生成し、3次元形状モデル上の各特徴点候補の各学習画像上における位置を表す位置データを生成する学習・評価用データ生成手段と、
学習・評価用データ生成手段によって生成された各学習画像および位置データに基づいて、各学習画像から特徴点に該当する局所領域および特徴点に該当しない局所領域を切り出す局所領域切り出し手段と、
特徴点に該当する局所領域および特徴点に該当しない局所領域に基づいて、特徴点抽出器の判定用データを学習する特徴点抽出器学習手段と、
前記判定用データを用いて、各評価用画像から特徴点を抽出する特徴点抽出実行手段とを備える
請求項1または請求項2に記載の特徴点選択システム。 - 3次元形状モデルから、当該3次元形状モデル上の特徴点候補となる点を決定する特徴点候補決定手段を備える
請求項3に記載の特徴点選択システム。 - 特徴点候補決定手段は、3次元形状モデルのテクスチャ画像および3次元形状モデルの形状に対して複数種類の特徴抽出演算子を適用して特徴点候補となる点を抽出することによって、特徴点候補となる点を決定する
請求項4に記載の特徴点選択システム。 - 3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、前記3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行し、
前記認識タスクの認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価し、
各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定し、
決定された各特徴点候補の重要度により定まるコスト関数の値が収束するまで、前記認識タスクの実行と、全評価用画像に関する認識誤差の評価と、特徴点候補の重要度の決定を繰り返し、
各特徴点候補の重要度に基づいて、前記3次元形状モデル上の特徴点候補から、前記認識タスクで使用するべき特徴点を選択する
ことを特徴とする特徴点選択方法。 - 重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外する請求項6に記載の特徴点選択方法。
- コンピュータに、
3次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、前記3次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行処理、
認識タスク実行処理による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価処理、
各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定処理、および、
各特徴点候補の重要度に基づいて、前記3次元形状モデル上の特徴点候補から、前記認識タスクで使用するべき特徴点を選択する特徴点選択処理を実行させ、
前記特徴点重要度決定処理で決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、前記認識タスク実行処理、前記認識誤差評価処理および前記特徴点重要度決定処理を繰り返させる
ための特徴点選択プログラム。 - コンピュータに、
特徴点重要度決定処理で、重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外させる
請求項8に記載の特徴点選択プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010003883 | 2010-01-12 | ||
JP2010003883 | 2010-01-12 | ||
PCT/JP2011/000073 WO2011086889A1 (ja) | 2010-01-12 | 2011-01-11 | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2011086889A1 true JPWO2011086889A1 (ja) | 2013-05-16 |
Family
ID=44304167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011549921A Pending JPWO2011086889A1 (ja) | 2010-01-12 | 2011-01-11 | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8885923B2 (ja) |
JP (1) | JPWO2011086889A1 (ja) |
WO (1) | WO2011086889A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012032747A1 (ja) * | 2010-09-06 | 2012-03-15 | 日本電気株式会社 | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
JP5746550B2 (ja) * | 2011-04-25 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
WO2013145496A1 (ja) * | 2012-03-27 | 2013-10-03 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6222948B2 (ja) * | 2013-03-14 | 2017-11-01 | セコム株式会社 | 特徴点抽出装置 |
KR20150015680A (ko) * | 2013-08-01 | 2015-02-11 | 씨제이씨지브이 주식회사 | 특징점의 생성을 이용한 이미지 보정 방법 및 장치 |
KR102120864B1 (ko) | 2013-11-06 | 2020-06-10 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP6348093B2 (ja) * | 2015-11-06 | 2018-06-27 | ファナック株式会社 | 入力データから検出対象物の像を検出する画像処理装置および方法 |
CN108353534B (zh) * | 2015-11-09 | 2020-11-24 | 株式会社富士 | 引脚前端位置图像识别方法及引脚前端位置图像识别系统 |
JP7057913B2 (ja) * | 2016-06-09 | 2022-04-21 | 株式会社島津製作所 | ビッグデータ解析方法及び該解析方法を利用した質量分析システム |
US10878288B2 (en) | 2016-07-29 | 2020-12-29 | Hitachi, Ltd. | Database construction system for machine-learning |
JP7051287B2 (ja) * | 2016-12-05 | 2022-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、および情報処理方法 |
JP2019023858A (ja) * | 2017-07-21 | 2019-02-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 学習データ生成装置、学習データ生成方法、機械学習方法及びプログラム |
JP6860081B2 (ja) | 2017-10-05 | 2021-04-14 | 日本電気株式会社 | 個体識別装置 |
JP6647474B2 (ja) * | 2017-11-27 | 2020-02-14 | 三菱電機株式会社 | 表情認識装置 |
CN110895699B (zh) * | 2018-09-12 | 2022-09-13 | 北京字节跳动网络技术有限公司 | 用于处理图像的特征点的方法和装置 |
JP7267068B2 (ja) * | 2019-03-29 | 2023-05-01 | 三井情報株式会社 | 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム |
CN111723688B (zh) * | 2020-06-02 | 2024-03-12 | 合肥的卢深视科技有限公司 | 人体动作识别结果的评价方法、装置和电子设备 |
CN111738141B (zh) * | 2020-06-19 | 2023-07-07 | 首都师范大学 | 一种硬笔书法作品评判方法 |
JP2022075139A (ja) * | 2020-11-06 | 2022-05-18 | 富士通株式会社 | 形状データ出力プログラム、形状データ出力方法および情報処理装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0738225B2 (ja) | 1988-11-08 | 1995-04-26 | 日本電信電話株式会社 | 特徴点対応づけ処理方法 |
US20070183665A1 (en) | 2006-02-06 | 2007-08-09 | Mayumi Yuasa | Face feature point detecting device and method |
JP4991317B2 (ja) | 2006-02-06 | 2012-08-01 | 株式会社東芝 | 顔特徴点検出装置及びその方法 |
JP4891712B2 (ja) * | 2006-09-05 | 2012-03-07 | 株式会社日立ハイテクノロジーズ | 類似度分布を利用したテンプレートマッチング方法を用いた検査装置 |
JP4926116B2 (ja) * | 2008-04-16 | 2012-05-09 | 株式会社日立ハイテクノロジーズ | 画像検査装置 |
JP5294342B2 (ja) * | 2008-04-28 | 2013-09-18 | 公立大学法人大阪府立大学 | 物体認識用画像データベースの作成方法、処理装置および処理用プログラム |
JP5206517B2 (ja) * | 2009-03-13 | 2013-06-12 | 日本電気株式会社 | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
-
2011
- 2011-01-11 JP JP2011549921A patent/JPWO2011086889A1/ja active Pending
- 2011-01-11 WO PCT/JP2011/000073 patent/WO2011086889A1/ja active Application Filing
- 2011-01-11 US US13/521,439 patent/US8885923B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8885923B2 (en) | 2014-11-11 |
US20140161346A1 (en) | 2014-06-12 |
WO2011086889A1 (ja) | 2011-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011086889A1 (ja) | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム | |
JP5206517B2 (ja) | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム | |
US10936911B2 (en) | Logo detection | |
CN104573614B (zh) | 用于跟踪人脸的设备和方法 | |
US11017210B2 (en) | Image processing apparatus and method | |
JP5505409B2 (ja) | 特徴点生成システム、特徴点生成方法および特徴点生成プログラム | |
CN111780763A (zh) | 一种基于视觉地图的视觉定位方法、装置 | |
JP4376145B2 (ja) | 画像分類学習処理システム及び画像識別処理システム | |
JP6872044B2 (ja) | 対象物の外接枠を決定するための方法、装置、媒体及び機器 | |
CN105426929B (zh) | 对象形状对准装置、对象处理装置及其方法 | |
JP2001056861A (ja) | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 | |
JP2019036167A (ja) | 画像処理装置、画像処理方法 | |
JP2011508323A (ja) | 不変の視覚場面及び物体の認識 | |
Bhuyan et al. | Trajectory guided recognition of hand gestures having only global motions | |
CN107480627B (zh) | 行为识别方法、装置、存储介质和处理器 | |
JP6623851B2 (ja) | 学習方法、情報処理装置および学習プログラム | |
WO2021095509A1 (ja) | 推定システム、推定装置および推定方法 | |
JP7156643B2 (ja) | 姿勢推定装置、学習装置、方法、及びプログラム | |
JPWO2015068417A1 (ja) | 画像照合システム、画像照合方法およびプログラム | |
WO2012032747A1 (ja) | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム | |
JP2006031114A (ja) | 画像分割処理システム | |
JP6663838B2 (ja) | 法線推定装置、法線推定方法、及び法線推定プログラム | |
JP2005149302A (ja) | 顔画像認識装置及び顔画像認識プログラム | |
JP2018088093A (ja) | 物体候補領域抽出装置、方法、及びプログラム | |
CN118212491B (zh) | 模型训练方法、三维姿态估计方法、装置及电子设备 |