JP3764773B2 - 注視点を用いた頑健な認識装置 - Google Patents
注視点を用いた頑健な認識装置 Download PDFInfo
- Publication number
- JP3764773B2 JP3764773B2 JP04341996A JP4341996A JP3764773B2 JP 3764773 B2 JP3764773 B2 JP 3764773B2 JP 04341996 A JP04341996 A JP 04341996A JP 4341996 A JP4341996 A JP 4341996A JP 3764773 B2 JP3764773 B2 JP 3764773B2
- Authority
- JP
- Japan
- Prior art keywords
- object model
- parameter
- space
- voting
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は文書構造理解処理、マニピュレータによる物体の操作や移動ロボットのナビゲーションなどに用いられ、例えば環境中に存在する物体の重心などを認識するための頑健な認識装置に関する。
【０００２】
更に詳しくは、物体や図形の形状情報を物体モデルとして保持し、環境の観測によって得られた特徴点に基づいて、環境内に存在する物体、または図形の種類や位置姿勢などの、環境を記述するパラメータを推定する頑健な認識装置に関する。
【０００３】
【従来の技術】
近年このような認識装置を搭載した機器が広範に用いられるようになっており、それに伴いこのような機器によって取り扱われる環境の範囲は整備され、固定された環境から、整備されておらず、不確実性の高い環境も含むようになってきている。従って不確実な環境であっても、対象を正しく認識することができる頑健な認識装置が、これらの機器の構成要素として重要な役割を期待されるようになっている。
【０００４】
例えばカメラによって撮影された画像から、環境中に存在する物体を認識する認識装置、特にノイズなどが存在する環境においても、正しく対象を認識することができる頑健な認識装置を実現するための技術の代表例として、一般化ハフ変換に基づく頑健な認識装置が広く知られている。この認識装置の文献を次に示す。
【０００５】
D.H. Ballard:“Generalizing the Hough transform to detect arbitrary shapes", Pattern Recognition, Vol.13, No.2, pp111-122 (1981)
図２７はこのような頑健な認識装置の従来例、すなわち一般化ハフ変換に基づく頑健な認識装置の基本構成ブロック図である。同図において、従来の認識装置は１つ以上の物体の形状情報を保持する物体モデル保持部１０１、環境を記述するパラメータの空間を保持するパラメータ空間保持部１０２、例えば画像データから抽出された特徴点、すなわち観測された１つ以上の特徴点と、物体モデル保持部１０１に保持されている物体モデルに基づいて、パラメータ空間上の投票空間、例えばパラメータ空間をメッシュ状に区切った投票空間上に投票を行う投票実行部１０３、投票空間上に得られた投票値からパラメータの推定値を出力するパラメータ推定部１０４を備えている。
【０００６】
図２８は、図２７の認識装置におけるパラメータ推定法のフローチャートである。同図において処理が開始されると、まずステップＳ１０１で、環境の観測によって得られた１つ以上の観測特徴点の集合の入力に対して、各観測特徴点について物体モデルと整合性がとれるパラメータ空間中の部分集合が求められ、その部分集合に対する投票が行われる。続いてステップＳ１０２で、パラメータ空間上に得られた投票値から環境を記述するパラメータ、例えば物体の重心座標の位置などの推定が行われ、処理が終了する。
【０００７】
図２７、および図２８で説明した認識装置の従来例の動作を、物体モデルの具体例を用いて更に説明する。図２９は複数の２次元図形が含まれている文書を示し、この文書を認識対象の環境として、認識装置の動作を説明する。
【０００８】
図３０は、図２７の物体モデル保持部１０１に保持されている物体モデルの例である。物体モデル保持部１０１には一般に複数の物体のモデルが保持されているが、図３０はその１つを示し、ハート形２次元図形に対する物体モデルであり、この物体モデルの形状情報として、ハート形の輪郭上の点がある間隔でとられた黒丸の位置が保持されている。
【０００９】
図２９のような文書から、ハート形の図形の重心を、環境を記述するパラメータとして、その推定値を出力する場合を考える。図２９の文書に対する画像データに対して、例えばエッジ抽出を行い、データを２値化することによって、各２次元図形を構成する輪郭点の位置が観測特徴点として得られたものとする。図３１はこのような観測特徴点を示し、ここでは簡単のためにハートマークと円形マークとのそれぞれに対する輪郭点が、観測特徴点として得られたものとする。
【００１０】
図３１で観測特徴点のうち、Ａ，Ｂ，Ｃ、およびＤを考える。これらの観測特徴点が得られた段階では、これらの４つの点のうちどれが図２９の文書内のハートマーク上の輪郭点に対応するかは不明であるが、ここではＡ，Ｂ、およびＣがハートマークの輪郭点であり、Ｄは円形マークの輪郭点であるとする。図３１にこの様子を示す。
【００１１】
前述のように、この例ではハートマークの重心位置をパラメータとして推定することにする。そこで４つの観測特徴点Ａ，Ｂ，Ｃ、およびＤのそれぞれについて、その点が図３０に示した物体モデルの輪郭上の点のいずれかに一致した場合のその輪郭点に対応する重心の位置を求め、１つの観測特徴点がハートマークの輪郭上で次々と移動した時に、その重心が描く軌跡を求める。そのような軌跡を図３２に示す。
【００１２】
１つの観測特徴点に対応する重心の軌跡は、丁度図３０の物体モデルを上下に反転させた逆向きハートマークとなり、Ａ，Ｂ，Ｃ、及びＤのそれぞれの観測特徴点に対して４つの逆向きハートマークがｘｙ平面上に描かれる。
【００１３】
図３２において、図３１の円形マークの輪郭点Ｄに対応する逆向きハートマークは他の３つのハートマークとは共通の交点を持たない。これは観測特徴点Ｄが、ここでパラメータとして重心の値が推定されるハートマーク上に存在しないためである。これに対して他の観測特徴点Ａ，Ｂ、およびＣに対応する３つの逆向きハートマークは１箇所（図の黒丸印）で交わり、この点が推定値としての真の重心の位置を示すことになる。このパラメータ推定値を求めるためには、ｘｙ平面を細かいメッシュに区切り、それぞれのメッシュを逆向きハートマークが通った時にそのメッシュに対する投票数を１として、３つの逆向きハートマークに対応してメッシュ空間に投票を行うことにより、投票数として３を得た点が図２９の文書内のハートマークの重心位置、すなわちパラメータ推定値として出力される。
【００１４】
【発明が解決しようとする課題】
以上説明したように、例えば図３２でｘｙ平面上のパラメータ、すなわち文書中に存在するハートマークの重心の位置を求めるためには、その重心が存在する可能性がある部分、すなわちパラメータ空間を細かいメッシュに分割して投票空間とし、その投票空間に対する投票を行うことによってパラメータの推定値を求めることになる。そこで重心の位置を精度よく求めるためには、このメッシュ分割を細かく行わなければならず、投票空間、すなわちパラメータ空間を表現するために必要なメモリ消費量が膨大になってしまうという問題点があった。
【００１５】
例えば縦 100mm、横 100mmの文書上にハートマークがあり、その重心を 0.1mmの精度で求める必要がある場合には、パラメータ空間を1,000 ×1,000 個のメッシュに分割する必要があり、その分割数に対応するメモリ領域が必要となる。文書の大きさが大きくなるほど、また重心の位置の精度を高くするほどメモリ消費量は膨大なものとなり、実用的な認識装置を構成することは困難となる。
【００１６】
本発明は、パラメータ空間の表現に必要なメモリ消費量を大幅に削減し、高精度でパラメータの推定を行うことができる頑健な認識装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
図１は本発明の認識装置の原理構成ブロック図である。同図は、環境の観測によって得られた特徴点の集合と、その環境中に存在すると予想される物体の形状情報を示す物体モデルとを用いて、環境を記述するパラメータ、例えば文書内の２次元図形の重心位置を推定する、注視点を用いた頑健な認識装置の原理構成ブロック図である。
【００１８】
図１において制約パラメータ空間保持手段１は、物体モデルに基づくパラメータ空間としての制約パラメータ空間を保持するものである。この制約パラメータ空間は環境を記述するパラメータの空間があらかじめ与えられている注視点の情報によって制約されたものであり、この注視点情報は、物体モデルとしての形状情報に対応する情報である。
【００１９】
投票実行手段２は、制約パラメータ空間保持手段１に保持されている制約パラメータ空間内の部分パラメータ集合に対して投票を行うものであり、この部分パラメータ集合は特徴点のそれぞれに対して物体モデルと整合性を有する制約パラメータ空間内の部分領域である。
【００２０】
更にパラメータ推定手段３は、特徴点の全てに対する投票実行手段２による制約パラメータ空間への投票の終了後に、制約パラメータ空間上の投票空間に対してなされた投票の結果に応じて、環境を記述するパラメータの推定値を出力するものである。
【００２１】
本発明においては、図１の構成要素に加えて、更に例えば物体モデルとしての形状情報を保持する物体モデル保持手段が備えられる。この物体モデル保持手段は、物体モデルとしての形状情報を制約パラメータ空間保持手段１、および投票実行手段２に出力するものである。
【００２２】
本発明においては、従来技術で説明したパラメータ空間を大幅に狭めるために、例えばユーザによって指定される注視点が用いられる。この注視点は、例えば図２９〜図３２で説明した２次元図形としてのハートマークに対してはそのハートマークの輪郭上の１つの点であり、この点の座標があらかじめ与えれらることによって、パラメータ空間が大幅に制約され、制約パラメータ空間が得られる。
【００２３】
例えば図３２では、パラメータ空間は観測特徴点のそれぞれに対する逆向きハートマークが描かれる可能性があるｘｙ平面上の範囲の全てに渡り、投票を行うためにこの領域が細かいメッシュに分割される。
【００２４】
これに対して本発明では、画像上の１つの点が注視点として与えられ、この注視点がその重心の位置を認識すべきハートマーク上に必ず存在するという知識が前もって与えられる。このため、この注視点に対応する逆向きハートマーク上に推定すべきパラメータとしての真の重心が存在することが明白であるため、この逆向きハートマークが通る位置のみを投票空間として、他の観測特徴点に対応する逆向きハートマークが注視点に対応する逆向きハートマークと交わる位置に対してのみ投票を行えばよいことになる。
【００２５】
このように本発明によれば、推定すべきパラメータの空間としての制約パラメータ空間が従来のパラメータ空間に比べて大幅に小さくなる。例えば図３２で説明した例では、従来技術におけるパラメータ空間はｘｙ平面をメッシュ状に区切った２次元空間であるのに対して、本発明における制約パラメータ空間は注視点に対応する逆向きハートマークの輪郭線のみであり、この輪郭線上の点の位置を、例えばハートマークの輪郭線の長さに対応させれば、実質的に制約パラメータ空間は１次元となる。
【００２６】
【発明の実施の形態】
図２は本発明の頑健な認識装置の基本構成ブロック図である。同図において物体モデル保持部１１は、一般に複数の物体の物体モデルとしての物体の形状情報を保持する。この形状情報は、例えばハートマークの輪郭線上の点を一定間隔でとった点の２次元座標値を表す。
【００２７】
制約パラメータ空間保持部１２は、物体モデル保持部１１に保持されている物体モデルに対応する制約パラメータ空間を保持する。この制約パラメータ空間は、物体モデルに対応して、例えばその物体の重心の位置が存在する可能性のあるパラメータ空間が、例えばその物体の輪郭線上に存在する１つの注視点によって制約されたものであり、この注視点は例えばユーザによって指定される。
【００２８】
投票実行部１３は、物体モデル保持部１１に保持されている物体モデルと、観測された特徴点のそれぞれに対して、制約パラメータ空間に対する投票を実行し、全ての観測特徴点に対する投票が終了した後に、パラメータ推定部１４が制約パラメータ空間上の投票空間に投票された投票結果に応じて、環境を記述するパラメータの推定値を出力する。
【００２９】
図３は、図２の認識装置の構成に対応して、その認識装置で実行される環境記述パラメータの推定方法のフローチャートである。同図において処理が開始されると、まずステップＳ１で与えられた注視点と物体モデルとに基づいて、制約パラメータ空間が生成される。図３２の例では、注視点に対応する逆向きハートマークが制約パラメータ空間として生成される。
【００３０】
ステップＳ２では、各観測特徴点について物体モデルと整合性のとれた制約パラメータ空間内の部分集合が求められ、投票が実行される。この部分集合はステップＳ１で生成された制約パラメータ空間、例えば注視点に対応する逆向きハートマークと、任意の観測特徴点に対応する逆向きハートマークとの、一般に２つの交点として求められる。
【００３１】
続いてステップＳ３で、制約パラメータ空間上に得られた投票値から環境記述パラメータ、例えば重心の位置が推定されて処理を終了する。
図４は本発明を実現するためのコンピュータシステムの構成を示すブロック図である。同図においてシステムは全体を制御する中央処理装置（ＣＰＵ）１５、物体モデルとしての形状情報や、制約パラメータ空間のデータが格納されるランダムアクセスメモリ（ＲＡＭ）１６、認識プログラムなどを格納するリードオンリメモリ（ＲＯＭ）１７、カメラによって撮影された画像データを格納するフレームバッファ（ＦＲＡＭ）１８、およびパラメータの推定結果、例えば物体の位置と姿勢に応じて、例えば推定対象物体を色付けした画像データをディスプレイ上に表示させるにあたり、その画像データを格納するビデオランダムアクセスメモリ（ＶＲＡＭ）１９を備えている。
【００３２】
図５は、図４のＲＡＭ１６上に展開されるデータのうちで、制約パラメータ空間上の投票空間としての配列データのデータ構造である。メモリ上には制約パラメータ空間が区切られたメッシュのそれぞれに対応して、投票数が格納される配列のデータが展開される。注視点と観測特徴点とのデータに基づいて投票される配列要素が決定され、その配列要素に対応する投票値が１だけ増加される。
【００３３】
続いて本発明の実施例を説明する。図６は本発明の第１の実施例を説明するための認識装置の構成ブロック図である。同図を図２と比較すると、物体モデル保持部１１が保持する物体モデルが図形の輪郭点の２次元位置座標であることと、観測特徴点が文書内の（図形の）輪郭点の２次元位置座標である点が異なっている。これは、第１の実施例では図２９で説明したような文書中に含まれる２次元図形を認識し、その図形のパラメータとして、その図形の位置姿勢の推定値を出力する動作が行われるためである。すなわち第１の実施例では、図３０に示したような物体モデルが図６の物体モデル保持部１１に保持され、図２９に示したような文書中のハートマークの位置姿勢の推定が行われ、ハートマークを他の図形と分離することが可能となる。
【００３４】
物体モデルは、文書から検出したい図形の形状モデルのことである。ここでは、図形の輪郭点の集合により表現する。これにより、輪郭点の量子化精度の範囲内で任意の形状の図形をモデル化することができる。図形Ｋの物体モデルＭは、図形ＫのＮM 個の輪郭点のそれぞれの物体モデル座標系における２次元座標、すなわち
【００３５】
【数１】
【００３６】
で表現できる。
図形Ｋの位置姿勢パラメータは、図形Ｋの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置２次元と姿勢１次元、すなわち
（Ｘ，Ｙ，Θ） （２）
により表現される。第１の実施例の認識装置の目的は、文書中に配置された図形Ｋの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として文書から得られた輪郭点のうちの１つを指定されたとして、この注視点を輪郭点の一部として含む図形Ｋの位置姿勢パラメータを推定する。
【００３７】
物体モデルとその位置姿勢について、図７と図８を用いて更に説明する。図７はハートマークの物体モデルとしての輪郭線上の点、すなわち代表点の例である。ここではＮM ＝２４であって、２４個の代表点でハートマークの形状が近似的に表現されている。本来はハートマークの輪郭線上の点を連続的に表現することが望ましいが、一般に任意の形状を持つ物体を方程式などの形で表すことは困難であるため、輪郭線上の点をある間隔で選び、その点集合を物体の形状情報、すなわち物体モデルを表す代表点とみなすことにする。
【００３８】
図８は図形Ｋの位置姿勢パラメータの説明図である。同図において、図７の物体モデルを移動させる並進ベクトルのｘ方向成分Ｘ、ｙ方向成分Ｙと、移動結果の回転角Θとを用いて、文書中の図形の位置姿勢パラメータが表現される。
【００３９】
第１の実施例の目的は、前述のように文書中に配置された図形Ｋの位置姿勢パラメータを推定することであるが、本実施例では文書から得られた輪郭点のうちの１つが例えばユーザによって注視点として指定された時、この注視点を輪郭点の一部として含む図形Ｋの位置姿勢パラメータの推定が行われる。すなわち、この注視点が１つの輪郭点として含まれる図形Ｋの位置姿勢パラメータの範囲が求められ、その範囲が制約パラメータ空間とされる。
【００４０】
観測特徴点は、２次元図形が含まれる文書の画像データに対してエッジ抽出を行い、データの２値化を行うことによって得られるものであり、図形の輪郭を構成する輪郭点を示す。このエッジ抽出において、例えば sobelフィルタが用いられる。一般に輪郭点においては画像の濃度が急激に変化する性質があり、輪郭点の近傍における濃度勾配を求めることにより、輪郭点の有無を調べることができる。濃淡画像ｆ（ｘ，ｙ）のｘ方向とｙ方向の単位ベクトルを 外１ （以下ベクトルｉと表記する）、 外２ （以下ベクトルｊと表記する）とする時、画像
【００４１】
【外１】
【００４２】
【外２】
【００４３】
の濃度勾配は次式で表される。
【００４４】
【数２】
【００４５】
ディジタル化された画像においては、濃度勾配の大きさを示す微分係数を差分演算で近似することにより、濃度勾配の大きさが求められる。この差分近似の方法には幾通りかの方法があり、各種の差分フィルタが考えられる。更に平滑化フィルタと差分フィルタの線形合成によって新たな差分フィルタを構成することができ、その代表的なものが sobelフィルタである。 sobelフィルタを用いると、輪郭点を求める場合における雑音の影響を軽減することができる。
【００４６】
第１の実施例において、観測特徴点は２次元位置座標によって表現され、ＮD 個の観測特徴点は文書上に設定される作業座標系における２次元座標を用いて、次式のように表現できる。
【００４７】
【数３】
【００４８】
次に制約パラメータ空間の生成と、投票実行部による投票とについて説明する。
注視点 外３ （以下ベクトルｘA と表記する）の文書上に設定される作業座
【００４９】
【外３】
【００５０】
標系における２次元座標を、（ｘA ，ｙA ）とする。
制約パラメータ空間保持部１２は、初期化時に、物体モデルと注視点から制約パラメータ空間Ｃを生成する。制約パラメータ空間Ｃは、注視点を輪郭として含む、形状が図形Ｋである物体の位置姿勢パラメータの集合である。物体モデルの代表点 外４ （以下ベクトルｘM と表記する）、注視点ベクトルｘA 、制約パ
【００５１】
【外４】
【００５２】
ラメータ空間Ｃの代表点 外５ （以下（ベクトルｘC ，θC ）＝（ｘC ，ｙC ，θC ）と表記する）の間の関係は、座標変換の式から、回転行列 外６ （以
【００５３】
【外５】
【００５４】
下Ｒθと表記する）を用いて、
【００５５】
【外６】
【００５６】
【数４】
【００５７】
で表すことができる。
θC を［０，２π］で量子化し、代表点を、
【００５８】
【数５】
【００５９】
とすると、制約パラメータ空間Ｃは、物体モデルＭと姿勢パラメータθC の代表点を用いて、
【００６０】
【数６】
【００６１】
と表現できる。従って制約パラメータ空間上の投票空間は、２次元配列、
【００６２】
【数７】
【００６３】
で離散的に表現できる。ここで、ＮM は物体モデルの代表点の数、 外７ （以下Ｎθと表記する）は姿勢パラメータの量子化数である。
【００６４】
【外７】
【００６５】
従来技術では、投票空間が位置姿勢パラメータ空間３次元をそのまま離散化した３次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【００６６】
観測特徴点 外８ が与えられた時の投票実行部１３による投票は、以下のよ
【００６７】
【外８】
【００６８】
うに行う。
観測特徴点 外９ （以下ベクトルｘj D と表記する）と物体モデルＭにより
【００６９】
【外９】
【００７０】
作られる位置姿勢パラメータの可能性集合Ｃj は、注視点の場合と同様の考え方により、
【００７１】
【数８】
【００７２】
と表現できる。
投票実行部１３は、制約パラメータ空間Ｃと、観測特徴点ベクトルｘj D による可能性集合Ｃj との交わりに投票する。
【００７３】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Ｃj と交わったＣの代表点を表す２次元座標（ｉ，ｋ）に対して、
Ｈ(i,k):＝Ｈ(i,k) ＋１ （９）
とすることにより投票を行う。
【００７４】
パラメータ推定部１４は、投票実行部１３により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【００７５】
制約パラメータ空間の生成と投票の実行について、フローチャートを用いて更に説明する。図９は制約パラメータ空間生成処理のフローチャートである。同図において処理が開始されると、まずステップＳ１１で投票空間Ｈ（ｉ，ｋ）と、制約パラメータ空間Ｃの代表点 外１０ （以下ベクトルＰ（ｉ，ｋ）と表記する）との格納領域がメモリ上に確保される。制約パラメータ空間の生成とは、具
【００７６】
【外１０】
【００７７】
体的には投票空間としての２次元配列Ｈ（ｉ，ｋ）と、パラメータ空間中の代表点の座標値ベクトルＰ（ｉ，ｋ）の組を、ｉとｋとの値の組としてのインデックス（ｉ，ｋ）（ｉ＝１，…，ＮM ，ｋ＝１，…，Ｎθ）に対して生成することであり、ステップＳ１１ではこれらの空間に対する領域がメモリ上に確保される。
【００７８】
続いて図９において、ステップＳ１２でこのインデックス（ｉ，ｋ）に対してステップＳ１３の処理が行われる。ステップＳ１３では投票空間Ｈ（ｉ，ｋ）の値が０に初期化されると共に、ベクトルＰ（ｉ，ｋ）の値が求められる。
【００７９】
制約パラメータ空間Ｃの代表点ベクトルＰ（ｉ，ｋ）は、（６）式で説明したように３次元で表現される。（６）式において、θk C は１次元の姿勢パラメータθの量子化後の代表点であり、次式によって計算できる。
【００８０】
【数９】
【００８１】
また、Ｒθは２次元回転行列であり、次式によって与えられる。
【００８２】
【数１０】
【００８３】
これらを用いて、ベクトルＰ（ｉ，ｋ）は次式のように計算できる。
【００８４】
【数１１】
【００８５】
なお（１０）式において、姿勢パラメータθの量子化を行うための分割数Ｎθとしては通常 100〜1000位の数をとることによって、十分な姿勢精度が確保される。本来は０〜２πの間を連続して取り扱うことが望ましいが、コンピュータで演算を行うためにこのような量子化が必要となる。
【００８６】
図１０は投票処理の詳細フローチャートである。同図において処理が開始されると、まずステップＳ１５で観測特徴点のそれぞれに対して、ステップＳ１６〜Ｓ２２の処理が実行される。
【００８７】
まずステップＳ１６で可能性集合Ｃj の生成が行われ、その後この可能性集合を用いて、ステップＳ１７で全てのインデックス、すなわち（ｉ，ｋ）の組についてステップＳ１８以降の処理が行われる。
【００８８】
ステップＳ１８では、まずフラグが０とされ、ステップＳ１９で全ての（ｉ′，ｋ′）の組についてステップＳ２０、およびＳ２１の処理が行われる。ステップＳ２０では、制約パラメータ空間上の代表点ベクトルＰ（ｉ，ｋ）と可能性集合の要素 外１１ （以下ベクトルＰj （ｉ′，ｋ′）と表記する）との距離の
【００８９】
【外１１】
【００９０】
計算が行われ、ステップＳ２１ではこの距離が量子化距離εより小さい場合にフラグの値が１とされる。その後ステップＳ２２でフラグの値が１である時に制約パラメータ空間上の代表点のインデックス（ｉ，ｋ）に対応する投票空間上の投票値Ｈ（ｉ，ｋ）が１だけ増加されて、処理を終了する。
【００９１】
図１０のステップＳ１６で行われる可能性集合の生成は、前述のように制約パラメータ空間の生成におけると同様に行われ、可能性集合は次式によって与えられる。
【００９２】
【数１２】
【００９３】
ステップＳ２０における距離の計算で用いられるノルムとしては、シティブロック距離、またはユークリッド距離などが用いられる。２つのベクトル 外１２、 外１３ の間のシティブロック距離とユークリッド距離とは、それぞれ次
【００９４】
【外１２】
【００９５】
【外１３】
【００９６】
式で与えられる。
【００９７】
【数１３】
【００９８】
投票処理が終了した後のパラメータの推定においては、投票結果によって得られた投票数を示す配列Ｈ（ｉ，ｋ）の中から最大の値となっている 外１４ が
【００９９】
【外１４】
【０１００】
探索され、このインデックス 外１５ に対する制約パラメータ空間の代表点
【０１０１】
【外１５】
【０１０２】
外１６ がパラメータ推定値として出力される。なおステップＳ２０の距離の比
【０１０３】
【外１６】
【０１０４】
較で用いられる量子化距離εは、例えば物体モデルの代表点の間隔ｄM と、姿勢パラメータの量子化精度 外１７ とを用いて、次式によって求められる。
【０１０５】
【外１７】
【０１０６】
【数１４】
【０１０７】
次に第１の実施例によるメモリ消費量の削減について説明する。図１１は注視点によって制約される以前、すなわち元々の３次元パラメータ空間を示す。前述のように、第１の実施例における図形Ｋの位置姿勢パラメータは、位置２次元（ｘ，ｙ）と姿勢１次元（θ）、すなわち３次元パラメータ空間として表現される。
【０１０８】
図１２は、第１の実施例における制約パラメータ空間を概念的に示したものである。前述のように、制約パラメータ空間はインデックス（ｉ，ｋ）としてのｉとｋとの値の組に対して表現され、一般的に図１２のような座標空間内の曲面によって表現される。
【０１０９】
図１３は、図１２の制約パラメータ空間上の投票空間を平面的に表したものである。これは図１２の制約パラメータ空間を、例えば平面に伸ばしたものと解釈することができる。投票空間上のメッシュの数はＮi ×Ｎk となる。ここでＮi は物体モデルの代表点の数、Ｎk は姿勢パラメータの量子化数である。
【０１１０】
図１４は投票対象空間、すなわち図１３の投票空間上で投票が行われるメッシュの位置の決定法の説明図である。同図において、制約パラメータ空間を表す２次元曲面と、観測特徴点による可能性空間を表す２次元曲面との交線が投票対象空間として決定される。
【０１１１】
図１５はこの２次元投票空間への投票の説明図である。図１４で決定された投票対象空間、すなわち観測特徴点による可能性空間との交線上にある制約パラメータ空間上の位置に対応するメッシュへの投票が行われる。
【０１１２】
図１６は従来技術を用いる場合の投票空間を示し、これは図１１の元々の３次元パラメータ空間をＮx ×Ｎy ×Ｎθの個数のメッシュに区切ったものである。このように従来技術を用いると投票空間が３次元となるのに対して、第１の実施例では、図１３で説明したように投票空間が２次元となるために、従来技術と比較してメモリ消費量を大幅に削減することが可能となる。
【０１１３】
続いて本発明の第２の実施例について説明する。第２の実施例では、第１の実施例におけると同様に、２次元図形が含まれる文書から指定された図形Ｋの位置姿勢パラメータの推定が行われるが、図形の輪郭法線が用いられる点が第１の実施例と異なっている。
【０１１４】
図１７は第２の実施例における認識装置の構成を示すブロック図である。第１の実施例に対する図６と異なる点は、物体モデル保持部１１に保持されている物体モデルとしての形状情報が図形の輪郭法線の位置姿勢であり、また画像データから得られる観測特徴点が文書内の（図形の）輪郭法線の位置姿勢になっていることである。
【０１１５】
第２の実施例の物体モデルは、図形の輪郭法線の位置姿勢の集合により表現される。これにより、輪郭法線の量子化精度の範囲内で任意の形状の図形をモデル化することができる。図形Ｋの物体モデルＭは、図形ＫのＮM 個の輪郭法線のそれぞれの位置姿勢の物体モデル座標系における２次元位置座標と１次元姿勢、すなわち
【０１１６】
【数１５】
【０１１７】
で表現できる。
図形Ｋの位置姿勢パラメータは、図形Ｋの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置２次元と姿勢１次元、すなわち
（Ｘ，Ｙ，Θ） （１７）
により表現される。第２の実施例の認識装置の目的は、文書中に配置された図形Ｋの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として文書から得られた輪郭法線のうちの１つを指定されたとして、この注視点を輪郭法線の一部として含む図形Ｋの位置姿勢パラメータを推定する。
【０１１８】
図形の輪郭法線について、図１８および図１９を用いて更に説明する。図１８は、図７におけると同様に、物体としてのハートマークの輪郭線上の点における輪郭法線を示す。その輪郭法線は、輪郭線上の点の位置と、その点における法線の姿勢との組で表現されるものであり、図形の形状を第１の実施例におけるよりも詳しく表現したものである。
【０１１９】
図１８におけるように、輪郭法線は輪郭線上の代表点から伸び、輪郭線と直交する方向を持つ矢印として、幾何学的に表現される。
図１９は輪郭法線の定量的な表現法の説明図である。同図において、法線の矢印の出発点としての代表点の物体モデル座標系での位置座標（ｘ，ｙ）と、法線がｘ軸方向となす角θを用いて、輪郭法線が定量的に（ｘ，ｙ，θ）によって表現される。
【０１２０】
観測特徴点は、文書を sobelフィルタを用いるなどしてエッジ抽出し、２値化することにより得られる輪郭を構成する輪郭法線のこととする。この場合、観測特徴点は、位置（２次元）と姿勢（１次元）により表現され、ＮD 個の観測特徴点は、文書上に設定される作業座標系における２次元位置座標と１次元姿勢により、
【０１２１】
【数１６】
【０１２２】
と表現できる。
注視点ベクトルｘA の文書上に設定される作業座標系における位置姿勢を、（ｘA ，ｙA ，θA ）とする。
【０１２３】
制約パラメータ空間保持部１１は、初期化時に、物体モデルと注視点から制約パラメータ空間Ｃを生成する。制約パラメータ空間Ｃは、注視点を輪郭として含む、形状が図形Ｋである物体の位置姿勢パラメータの集合である。物体モデルの代表点ベクトルｘM 、注視点ベクトルｘA 、制約パラメータ空間Ｃの代表点（ベクトルｘC ，θC ）＝（ｘC ，ｙC ，θC ）の間の関係は、座標変換の式から、回転行列Ｒθを用いて、
【０１２４】
【数１７】
【０１２５】
で表すことができる。
従って、制約パラメータ空間Ｃは、物体モデルＭの代表点を用いて、
【０１２６】
【数１８】
【０１２７】
と表現できる。従って制約パラメータ空間上の投票空間は、１次元配列、
｛Ｈ（ｉ）｜ｉ＝１・・・ＮM ｝ （２１）
で離散的に表現できる。ここで、ＮM は物体モデルの代表点の数である。
【０１２８】
従来技術では、投票空間が位置姿勢パラメータ空間３次元をそのまま離散化した３次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【０１２９】
観測特徴点（ベクトルｘj D ，θj D ）＝（ｘj D ，ｙj D ，θj D ）が与えられた時の投票実行部１３による投票は、以下のように行う。
観測データ（ベクトルｘj D ，θj D ）と物体モデルＭにより作られる位置姿勢パラメータの可能性集合Ｃj は、注視点の場合と同様の考え方により、
【０１３０】
【数１９】
【０１３１】
と表現できる。
投票実行部１３は、制約パラメータ空間Ｃと、観測特徴点による可能性集合Ｃj との交わりに投票する。
【０１３２】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Ｃj と交わったＣの代表点を表す１次元座標（ｉ）に対して、
Ｈ(i):＝Ｈ(i) ＋１ （２３）
とすることにより投票を行う。
【０１３３】
パラメータ推定部１４は、投票実行部１３により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【０１３４】
このように第２の実施例では、制約パラメータ空間上の投票空間は１次元配列Ｈ（ｉ）によって表される。これに対して前述の第１の実施例では投票空間は２次元であり、Ｈ（ｉ，ｋ）で表された。その理由について図２０、および図２１を用いて説明する。
【０１３５】
本発明においては注視点が１つ与えられ、その注視点が物体モデルの代表点の１つに対応するものと考えて、物体の位置姿勢パラメータの可能性空間、すなわち制約パラメータ空間が生成される。
【０１３６】
第１の実施例においては、注視点としてその位置のみが与えられているにすぎないために、図２０に示すようにその注視点を中心とする回転の自由度が残っていることになる。
【０１３７】
従って制約パラメータ空間は、代表点の移動に伴う自由度１つ（ｉ）と、回転による姿勢の変化に伴う自由度１つ（ｋ）の合計２つの自由度（ｉ，ｋ）を持つことになり、制約パラメータ空間は２次元、すなわち曲面となり、対応する投票空間も２次元配列となる。
【０１３８】
これに対して第２の実施例においては、注視点、すなわち注視法線の情報として、輪郭上の点の位置に加えて、法線の姿勢も指定されているために、この注視法線を物体モデルの１つとしての輪郭法線に対応させることにより、図２１に示すように、２つの法線が一致するような１つの位置姿勢に限定されるようにしか、物体が存在することができなくなる。従って制約パラメータ空間は、代表点の移動に伴う１つの自由度（ｉ）のみを持つこととなり、対応する投票空間も１次元配列となる。
【０１３９】
なお第２の実施例では、物体モデルの代表点の量子化は行われているが、姿勢パラメータの量子化は行われていない。
次に本発明の第３の実施例について説明する。第３の実施例では、３次元物体が含まれる環境から、指定された物体Ｋの位置姿勢パラメータの推定が行われる。図２２は、第３の実施例における認識装置の構成を示すブロック図である。例えば第１の実施例に対応する図６と比較すると、物体モデル保持部１１が物体の表面上の点の３次元位置を物体の形状情報として保持し、観測特徴点が環境中の（物体の）表面上の点の３次元位置を表すことと、パラメータ推定部１４が３次元物体の位置姿勢の推定値を出力する点が異なっている。
【０１４０】
第３の実施例の物体モデルは、物体の表面上の点を特徴点としてこの特徴点の集合により表現される。これにより、特徴点の量子化精度の範囲内で任意の形状の物体をモデル化することができる。物体Ｋの物体モデルＭは、物体ＫのＮM 個の表面上の点のそれぞれの物体モデル座標系における３次元位置座標、すなわち、
【０１４１】
【数２０】
【０１４２】
で表現できる。
物体Ｋの位置姿勢パラメータは、物体Ｋの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置３次元と姿勢３次元、すなわち
（Ｘ，Ｙ，Ｚ，Θ） （２５）
により表現される。Θは、物体Ｋの姿勢を表し、例えばオイラー角を用いるなどして３次元の成分を持つ。
【０１４３】
第３の実施例の認識装置の目的は、環境中に配置された物体Ｋの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として環境から得られた表面上の点のうちの１つを指定されたとして、この注視点を表面の一部として含む物体Ｋの位置姿勢パラメータを推定する。
【０１４４】
観測特徴点は、環境をレンジファインダあるいはステレオ視を行うことにより観測し、距離画像を取得することにより得られる物体表面を構成する特徴点のこととする。この場合、観測特徴点は、位置（３次元）により表現され、ＮD 個の観測特徴点は、環境上に設定される作業座標系における３次元位置座標により、
【０１４５】
【数２１】
【０１４６】
と表現できる。
ここでレンジファインダ、あるいはステレオ視による特徴点の観測について、図２３，図２４を用いて説明する。図２３はレンジファインダによる特徴点の観測法の説明図である。レンジファインダによれば、視点から観測特徴点までの距離と、その方向を測定することができるため、図に示すように観測特徴点の位置を求めることができる。
【０１４７】
図２４はステレオ視の説明図である。２つの視点から観測特徴点の方向を測定することにより、三角測量の原理を用いて観測特徴点の位置を求めることができる。
【０１４８】
次に、制約パラメータ空間の生成について説明する。まず、注視点ベクトルｘA の位置、すなわち環境上に設定される作業座標系における位置を、（ｘA ，ｙA ，ｚA ）とする。
【０１４９】
制約パラメータ空間保持部１２は、初期化時に、物体モデルと注視点から制約パラメータ空間Ｃを生成する。制約パラメータ空間Ｃは、注視点を表面として含む形状が物体Ｋである物体の位置姿勢パラメータの集合である。物体モデルの代表点ベクトルｘM 、注視点ベクトルｘA 、制約パラメータ空間Ｃの代表点 外１８ （以下ベクトルｘC ，ΘC ）＝（ｘC ，ｙC ，ｚC ，ΘC ）と表記する）の
【０１５０】
【外１８】
【０１５１】
間の関係は、座標変換の式から、回転作用素 外１９ （以下ＲΘと表記する）
【０１５２】
【外１９】
【０１５３】
を用いて、
【０１５４】
【数２２】
【０１５５】
で表すことができる。
ここでオイラー角と、回転作用素ＲΘについて更に説明する。ここではオイラー角の表現の例としてロール、ピッチ、およびヨーによる表現を説明する。この表現では、基準座標軸に対して３つの回転を順次行った場合の結果としての座標軸の姿勢が表現される。まず第１に、ｘ軸の回りの回転としてヨー（角度ψ）が定義され、その回転の後に更にｙ軸の回りの回転としてピッチ（角度θ）が定義され、更にその後にｚ軸の回りの回転としてのロール（角度φ）が定義される。この表現を用いることにより、３次元の姿勢ΘはΘ＝（ψ，θ，φ）と表すことができる。また前述の回転作用素ＲΘは、次式によって求められる。
【０１５６】
【数２３】
【０１５７】
従って、制約パラメータ空間Ｃは、物体モデルＭの代表点と姿勢パラメータの代表点を用いて、
【０１５８】
【数２４】
【０１５９】
と表現できる。従って制約パラメータ空間上の投票空間は、２次元配列、
【０１６０】
【数２５】
【０１６１】
で離散的に表現できる。ここで、ＮM は物体モデルの代表点の数、Ｎθは姿勢パラメータの量子化数である。物体モデルの代表点は物体表面を覆っているため２次元、姿勢パラメータは３次元の広がりを持つと考えられるので、制約パラメータ空間は５次元の広がりを持つと考えられる。
【０１６２】
従来技術では、投票空間が位置姿勢パラメータ空間６次元をそのまま離散化した６次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【０１６３】
観測特徴点ベクトルｘj D ＝（ｘj D ，ｙj D ，ｚj D ）が与えられた時の投票実行部１３による投票は、以下のように行う。
観測特徴点ベクトルｘj D と物体モデルＭにより作られる位置姿勢パラメータの可能性集合Ｃj は、注視点の場合と同様の考え方により、
【０１６４】
【数２６】
【０１６５】
と表現できる。
投票実行部１３は、制約パラメータ空間Ｃと、観測特徴点ベクトルｘj D による可能性集合Ｃj との交わりに投票する。
【０１６６】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Ｃj と交わったＣの代表点を表す２次元座標（ｉ，ｋ）に対して、
Ｈ(i,k):＝Ｈ(i,k) ＋１ （３２）
とすることにより投票を行う。
【０１６７】
パラメータ推定部１４は、投票実行部１３により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【０１６８】
第３の実施例における制約パラメータ空間および投票空間の次元数と、メモリ容量の削減について更に説明する。例えば前述の第１の実施例では元々のパラメータ空間が位置２次元、姿勢１次元の合計３次元、制約パラメータ空間が物体モデルの自由度１次元、姿勢の自由度１次元の計２次元であった。
【０１６９】
これに対して第３の実施例では、元々のパラメータ空間は位置３次元、姿勢３次元の合計６次元となっている。これは環境が２次元から３次元になったためである。制約パラメータ空間のＣの式は、第１の実施例における（６）式と類似した式となっているが、インデックスとしてのｉとｋの次元数が第１の実施例とは異なってくる。
【０１７０】
ｉは物体モデルの代表点を示すインデックスであり、第３の実施例では代表点は物体表面を覆う点を示し、インデックスｉは本来２次元のインデックスを１つの数で代用したものと考えられる。またｋは姿勢の代表点のインデックスであり、オイラー角が３つの数で表現されることから、インデックスｋは元々３次元のインデックスを１つの数で代用したものと考えられる。従って制約パラメータ空間は、第３の実施例では５次元となる。
【０１７１】
一方投票空間の次元数と制約パラメータ空間の次元数とは同じであり、第３の実施例における投票空間は５次元となる。前述の説明では投票空間はＨ（ｉ，ｋ）と表現され、２次元配列のように見えるが、前述のようにｉが２次元、ｋが３次元のインデックスと考えれらるために、Ｈ（ｉ，ｋ）で示した投票空間も５次元となる。
【０１７２】
このように第３の実施例では元々のパラメータ空間が６次元であるのに対して、投票空間は５次元となり、１次元分のメモリ容量の削減が実現される。１次元あたりの量子化数は 100〜1000程度であるために、メモリ容量を１／100 〜１／1000に削減することが可能となり、これは認識装置の実用化の可否を左右する重要な進歩と考えられる。
【０１７３】
最後に本発明の第４の実施例について説明する。第４の実施例では、第３の実施例におけると同様に、３次元物体が含まれる環境から指定された物体Ｋの位置姿勢パラメータの推定が行われるが、物体の表面法線が形状情報として用いられる点が異なっている。
【０１７４】
図２５は第４の実施例における認識装置の構成を示すブロック図である。第３の実施例に対応する図２２と比較すると、物体モデル保持部１１が、物体モデルとしての形状情報として、物体の表面法線の６次元位置姿勢を保持し、また観測特徴点が環境中の（物体の）表面法線の６次元位置姿勢を表す点が異なっている。
【０１７５】
すなわち第４の実施例においては物体の表面法線が形状情報として用いられるが、この表面法線とは物体表面上の点から出発し、その表面に垂直な法線を意味する。物体モデルは物体の表面をある密度で覆うような表面法線の集合で表される。定量的には表面法線の出発点の位置座標３次元と、法線の姿勢３次元の合計６次元の量として、表面法線が表される。
【０１７６】
第４の実施例の物体モデルは、物体の表面法線を特徴点としてこの特徴点の集合により表現される。これにより、特徴点の量子化精度の範囲内で任意の形状の物体をモデル化することができる。物体Ｋの物体モデルＭは、物体ＫのＮM 個の表面法線のそれぞれの位置姿勢を示す、物体モデル座標系における３次元位置座標、およびオイラー角などの３次元姿勢座標、すなわち
【０１７７】
【数２７】
【０１７８】
で表現できる。
物体Ｋの位置姿勢パラメータは、物体Ｋの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置３次元と姿勢３次元、すなわち
（Ｘ，Ｙ，Ｚ，Θ） （３４）
により表現される。Θは、物体Ｋの姿勢を表し、例えばオイラー角を用いるなどして３次元の成分を持つ。
【０１７９】
第４の実施例の認識装置の目的は、環境中に配置された物体Ｋの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として環境から得られた表面法線のうちの１つを指定されたとして、この注視点を表面法線の一部として含む物体Ｋの位置姿勢パラメータを推定する。
【０１８０】
観測特徴点は、環境をレンジファインダあるいはステレオ視を行うことにより観測し、距離画像を取得することにより得られる物体表面法線のこととする。この場合、観測特徴点は、位置（３次元）および姿勢（３次元）により表現され、ＮD 個の観測特徴点は、環境上に設定される作業座標系における６次元位置姿勢座標により、
【０１８１】
【数２８】
【０１８２】
と表現できる。
注視点ベクトルｘA の環境上に設定される作業座標系における位置姿勢を、（ｘA ，ｙA ，ｚA ，ΘA ）とする。
【０１８３】
制約パラメータ空間保持部１２は、初期化時に、物体モデルと注視点から制約パラメータ空間Ｃを生成する。制約パラメータ空間Ｃは、注視点を表面法線として含む、形状が物体Ｋである物体の位置姿勢パラメータの集合である。物体モデルの代表点（ベクトルｘM ，ΘM ）、注視点（ベクトルｘA ，ΘA ）、制約パラメータ空間Ｃの代表点（ベクトルｘC ，ΘC ）＝（ｘC ，ｙC ，ｚC ，ΘC ）の間の関係は、座標変換の式から、回転作用素ＲΘを用いて、
【０１８４】
【数２９】
【０１８５】
と表すことができる。
従って、制約パラメータ空間Ｃは、物体モデルＭの自由度２次元と、姿勢パラメータの自由度１次元の合計３次元の広がりを持ち、投票空間は、３次元配列で離散的に表現できる。
【０１８６】
従来技術では、投票空間が位置姿勢パラメータ空間６次元をそのまま離散化した６次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【０１８７】
投票実行部１３による投票、パラメータ推定部１４によるパラメータの推定は、第１〜第３の実施例と同様にして行うことができる。
この第４の実施例では注視点、すなわち注視表面法線は位置と姿勢の情報を持つ。この注視点に対して物体の代表点の１つを対応させる場合を考えると、図２６に示すように物体の自由度は注視法線を中心とする回転の自由度１つを持つことになる。一方物体表面上の代表点は物体の表面に存在するために、２つの自由度を持つ。従って制約パラメータ空間の自由度は合計３つとなり、また投票空間の自由度も同様に３次元となる。
【０１８８】
【発明の効果】
以上詳細に説明したように、本発明によれば雑音や隠蔽などによって認識したい物体の観測特徴点の情報が欠落していたり、余計なにせの情報が混入している場合でも、環境記述パラメータを正しく推定することができ、また従来の方法に比較してパラメータ空間の表現に必要なメモリの消費量を著しく削減することが可能となる。従って、不確実性の高い環境に対しても実用的なメモリ消費量で動作することができる頑健な認識システムを構築することができ、対象認識技術の向上に寄与するところが大きい。
【図面の簡単な説明】
【図１】本発明の認識装置の原理構成を示すブロック図である。
【図２】本発明の頑健な認識装置の基本構成を示すブロック図である。
【図３】図２の認識装置における環境記述パラメータの推定方法のフローチャートである。
【図４】本発明を実現するためのコンピュータシステムの構成を示すブロック図である。
【図５】制約パラメータ空間上の投票空間としての配列を説明する図である。
【図６】第１の実施例における認識装置の構成を示すブロック図である。
【図７】物体モデルの代表点の例を示す図である。
【図８】２次元図形の位置姿勢パラメータを説明する図である。
【図９】制約パラメータ空間生成処理のフローチャートである。
【図１０】投票処理の詳細フローチャートである。
【図１１】注視点によって制約される以前のパラメータ空間を示す図である。
【図１２】制約パラメータ空間の概念を示す図である。
【図１３】制約パラメータ空間上の投票空間を示す図である。
【図１４】投票対象空間としてのメッシュの位置の決定法を説明する図。
【図１５】２次元投票空間への投票の説明図である。
【図１６】従来における投票空間を示す図である。
【図１７】第２の実施例における認識装置の構成を示すブロック図である。
【図１８】物体モデルとしての輪郭法線を示す図である。
【図１９】輪郭法線の定量的な表現法を説明する図である。
【図２０】第１の実施例における注視点を中心とする物体の回転の説明図である。
【図２１】第２の実施例における注視点と物体との対応を説明する図である。
【図２２】第３の実施例における認識装置の構成を示すブロック図である。
【図２３】レンジファインダによる特徴点の観測法の説明図である。
【図２４】ステレオ視による特徴点の観測法の説明図である。
【図２５】第４の実施例における認識装置の構成を示すブロック図である。
【図２６】第４の実施例における注視法線を中心とする物体の回転を説明する図である。
【図２７】頑健な認識装置の従来例の構成を示すブロック図である。
【図２８】図２７の認識装置におけるパラメータ推定法のフローチャートである。
【図２９】複数の２次元図形が含まれている文書の例を示す図である。
【図３０】物体モデルの例を示す図である。
【図３１】文書の観測によって得られた特徴点の例を示す図である。
【図３２】図３１のハートマークの重心の推定法を説明する図である。
【符号の説明】
１ 制約パラメータ空間保持手段
２ 投票実行手段
３ パラメータ推定手段
１１ 物体モデル保持部
１２ 制約パラメータ空間保持部
１３ 投票実行部
１４ パラメータ推定部
１５ 中央処理装置（ＣＰＵ）
１６ ランダムアクセスメモリ（ＲＡＭ）
１７ リードオンリメモリ（ＲＯＭ）
１８ フレームメモリ（ＦＲＡＭ）
１９ ビデオランダムアクセスメモリ（ＶＲＡＭ）
【発明の属する技術分野】
本発明は文書構造理解処理、マニピュレータによる物体の操作や移動ロボットのナビゲーションなどに用いられ、例えば環境中に存在する物体の重心などを認識するための頑健な認識装置に関する。
【０００２】
更に詳しくは、物体や図形の形状情報を物体モデルとして保持し、環境の観測によって得られた特徴点に基づいて、環境内に存在する物体、または図形の種類や位置姿勢などの、環境を記述するパラメータを推定する頑健な認識装置に関する。
【０００３】
【従来の技術】
近年このような認識装置を搭載した機器が広範に用いられるようになっており、それに伴いこのような機器によって取り扱われる環境の範囲は整備され、固定された環境から、整備されておらず、不確実性の高い環境も含むようになってきている。従って不確実な環境であっても、対象を正しく認識することができる頑健な認識装置が、これらの機器の構成要素として重要な役割を期待されるようになっている。
【０００４】
例えばカメラによって撮影された画像から、環境中に存在する物体を認識する認識装置、特にノイズなどが存在する環境においても、正しく対象を認識することができる頑健な認識装置を実現するための技術の代表例として、一般化ハフ変換に基づく頑健な認識装置が広く知られている。この認識装置の文献を次に示す。
【０００５】
D.H. Ballard:“Generalizing the Hough transform to detect arbitrary shapes", Pattern Recognition, Vol.13, No.2, pp111-122 (1981)
図２７はこのような頑健な認識装置の従来例、すなわち一般化ハフ変換に基づく頑健な認識装置の基本構成ブロック図である。同図において、従来の認識装置は１つ以上の物体の形状情報を保持する物体モデル保持部１０１、環境を記述するパラメータの空間を保持するパラメータ空間保持部１０２、例えば画像データから抽出された特徴点、すなわち観測された１つ以上の特徴点と、物体モデル保持部１０１に保持されている物体モデルに基づいて、パラメータ空間上の投票空間、例えばパラメータ空間をメッシュ状に区切った投票空間上に投票を行う投票実行部１０３、投票空間上に得られた投票値からパラメータの推定値を出力するパラメータ推定部１０４を備えている。
【０００６】
図２８は、図２７の認識装置におけるパラメータ推定法のフローチャートである。同図において処理が開始されると、まずステップＳ１０１で、環境の観測によって得られた１つ以上の観測特徴点の集合の入力に対して、各観測特徴点について物体モデルと整合性がとれるパラメータ空間中の部分集合が求められ、その部分集合に対する投票が行われる。続いてステップＳ１０２で、パラメータ空間上に得られた投票値から環境を記述するパラメータ、例えば物体の重心座標の位置などの推定が行われ、処理が終了する。
【０００７】
図２７、および図２８で説明した認識装置の従来例の動作を、物体モデルの具体例を用いて更に説明する。図２９は複数の２次元図形が含まれている文書を示し、この文書を認識対象の環境として、認識装置の動作を説明する。
【０００８】
図３０は、図２７の物体モデル保持部１０１に保持されている物体モデルの例である。物体モデル保持部１０１には一般に複数の物体のモデルが保持されているが、図３０はその１つを示し、ハート形２次元図形に対する物体モデルであり、この物体モデルの形状情報として、ハート形の輪郭上の点がある間隔でとられた黒丸の位置が保持されている。
【０００９】
図２９のような文書から、ハート形の図形の重心を、環境を記述するパラメータとして、その推定値を出力する場合を考える。図２９の文書に対する画像データに対して、例えばエッジ抽出を行い、データを２値化することによって、各２次元図形を構成する輪郭点の位置が観測特徴点として得られたものとする。図３１はこのような観測特徴点を示し、ここでは簡単のためにハートマークと円形マークとのそれぞれに対する輪郭点が、観測特徴点として得られたものとする。
【００１０】
図３１で観測特徴点のうち、Ａ，Ｂ，Ｃ、およびＤを考える。これらの観測特徴点が得られた段階では、これらの４つの点のうちどれが図２９の文書内のハートマーク上の輪郭点に対応するかは不明であるが、ここではＡ，Ｂ、およびＣがハートマークの輪郭点であり、Ｄは円形マークの輪郭点であるとする。図３１にこの様子を示す。
【００１１】
前述のように、この例ではハートマークの重心位置をパラメータとして推定することにする。そこで４つの観測特徴点Ａ，Ｂ，Ｃ、およびＤのそれぞれについて、その点が図３０に示した物体モデルの輪郭上の点のいずれかに一致した場合のその輪郭点に対応する重心の位置を求め、１つの観測特徴点がハートマークの輪郭上で次々と移動した時に、その重心が描く軌跡を求める。そのような軌跡を図３２に示す。
【００１２】
１つの観測特徴点に対応する重心の軌跡は、丁度図３０の物体モデルを上下に反転させた逆向きハートマークとなり、Ａ，Ｂ，Ｃ、及びＤのそれぞれの観測特徴点に対して４つの逆向きハートマークがｘｙ平面上に描かれる。
【００１３】
図３２において、図３１の円形マークの輪郭点Ｄに対応する逆向きハートマークは他の３つのハートマークとは共通の交点を持たない。これは観測特徴点Ｄが、ここでパラメータとして重心の値が推定されるハートマーク上に存在しないためである。これに対して他の観測特徴点Ａ，Ｂ、およびＣに対応する３つの逆向きハートマークは１箇所（図の黒丸印）で交わり、この点が推定値としての真の重心の位置を示すことになる。このパラメータ推定値を求めるためには、ｘｙ平面を細かいメッシュに区切り、それぞれのメッシュを逆向きハートマークが通った時にそのメッシュに対する投票数を１として、３つの逆向きハートマークに対応してメッシュ空間に投票を行うことにより、投票数として３を得た点が図２９の文書内のハートマークの重心位置、すなわちパラメータ推定値として出力される。
【００１４】
【発明が解決しようとする課題】
以上説明したように、例えば図３２でｘｙ平面上のパラメータ、すなわち文書中に存在するハートマークの重心の位置を求めるためには、その重心が存在する可能性がある部分、すなわちパラメータ空間を細かいメッシュに分割して投票空間とし、その投票空間に対する投票を行うことによってパラメータの推定値を求めることになる。そこで重心の位置を精度よく求めるためには、このメッシュ分割を細かく行わなければならず、投票空間、すなわちパラメータ空間を表現するために必要なメモリ消費量が膨大になってしまうという問題点があった。
【００１５】
例えば縦 100mm、横 100mmの文書上にハートマークがあり、その重心を 0.1mmの精度で求める必要がある場合には、パラメータ空間を1,000 ×1,000 個のメッシュに分割する必要があり、その分割数に対応するメモリ領域が必要となる。文書の大きさが大きくなるほど、また重心の位置の精度を高くするほどメモリ消費量は膨大なものとなり、実用的な認識装置を構成することは困難となる。
【００１６】
本発明は、パラメータ空間の表現に必要なメモリ消費量を大幅に削減し、高精度でパラメータの推定を行うことができる頑健な認識装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
図１は本発明の認識装置の原理構成ブロック図である。同図は、環境の観測によって得られた特徴点の集合と、その環境中に存在すると予想される物体の形状情報を示す物体モデルとを用いて、環境を記述するパラメータ、例えば文書内の２次元図形の重心位置を推定する、注視点を用いた頑健な認識装置の原理構成ブロック図である。
【００１８】
図１において制約パラメータ空間保持手段１は、物体モデルに基づくパラメータ空間としての制約パラメータ空間を保持するものである。この制約パラメータ空間は環境を記述するパラメータの空間があらかじめ与えられている注視点の情報によって制約されたものであり、この注視点情報は、物体モデルとしての形状情報に対応する情報である。
【００１９】
投票実行手段２は、制約パラメータ空間保持手段１に保持されている制約パラメータ空間内の部分パラメータ集合に対して投票を行うものであり、この部分パラメータ集合は特徴点のそれぞれに対して物体モデルと整合性を有する制約パラメータ空間内の部分領域である。
【００２０】
更にパラメータ推定手段３は、特徴点の全てに対する投票実行手段２による制約パラメータ空間への投票の終了後に、制約パラメータ空間上の投票空間に対してなされた投票の結果に応じて、環境を記述するパラメータの推定値を出力するものである。
【００２１】
本発明においては、図１の構成要素に加えて、更に例えば物体モデルとしての形状情報を保持する物体モデル保持手段が備えられる。この物体モデル保持手段は、物体モデルとしての形状情報を制約パラメータ空間保持手段１、および投票実行手段２に出力するものである。
【００２２】
本発明においては、従来技術で説明したパラメータ空間を大幅に狭めるために、例えばユーザによって指定される注視点が用いられる。この注視点は、例えば図２９〜図３２で説明した２次元図形としてのハートマークに対してはそのハートマークの輪郭上の１つの点であり、この点の座標があらかじめ与えれらることによって、パラメータ空間が大幅に制約され、制約パラメータ空間が得られる。
【００２３】
例えば図３２では、パラメータ空間は観測特徴点のそれぞれに対する逆向きハートマークが描かれる可能性があるｘｙ平面上の範囲の全てに渡り、投票を行うためにこの領域が細かいメッシュに分割される。
【００２４】
これに対して本発明では、画像上の１つの点が注視点として与えられ、この注視点がその重心の位置を認識すべきハートマーク上に必ず存在するという知識が前もって与えられる。このため、この注視点に対応する逆向きハートマーク上に推定すべきパラメータとしての真の重心が存在することが明白であるため、この逆向きハートマークが通る位置のみを投票空間として、他の観測特徴点に対応する逆向きハートマークが注視点に対応する逆向きハートマークと交わる位置に対してのみ投票を行えばよいことになる。
【００２５】
このように本発明によれば、推定すべきパラメータの空間としての制約パラメータ空間が従来のパラメータ空間に比べて大幅に小さくなる。例えば図３２で説明した例では、従来技術におけるパラメータ空間はｘｙ平面をメッシュ状に区切った２次元空間であるのに対して、本発明における制約パラメータ空間は注視点に対応する逆向きハートマークの輪郭線のみであり、この輪郭線上の点の位置を、例えばハートマークの輪郭線の長さに対応させれば、実質的に制約パラメータ空間は１次元となる。
【００２６】
【発明の実施の形態】
図２は本発明の頑健な認識装置の基本構成ブロック図である。同図において物体モデル保持部１１は、一般に複数の物体の物体モデルとしての物体の形状情報を保持する。この形状情報は、例えばハートマークの輪郭線上の点を一定間隔でとった点の２次元座標値を表す。
【００２７】
制約パラメータ空間保持部１２は、物体モデル保持部１１に保持されている物体モデルに対応する制約パラメータ空間を保持する。この制約パラメータ空間は、物体モデルに対応して、例えばその物体の重心の位置が存在する可能性のあるパラメータ空間が、例えばその物体の輪郭線上に存在する１つの注視点によって制約されたものであり、この注視点は例えばユーザによって指定される。
【００２８】
投票実行部１３は、物体モデル保持部１１に保持されている物体モデルと、観測された特徴点のそれぞれに対して、制約パラメータ空間に対する投票を実行し、全ての観測特徴点に対する投票が終了した後に、パラメータ推定部１４が制約パラメータ空間上の投票空間に投票された投票結果に応じて、環境を記述するパラメータの推定値を出力する。
【００２９】
図３は、図２の認識装置の構成に対応して、その認識装置で実行される環境記述パラメータの推定方法のフローチャートである。同図において処理が開始されると、まずステップＳ１で与えられた注視点と物体モデルとに基づいて、制約パラメータ空間が生成される。図３２の例では、注視点に対応する逆向きハートマークが制約パラメータ空間として生成される。
【００３０】
ステップＳ２では、各観測特徴点について物体モデルと整合性のとれた制約パラメータ空間内の部分集合が求められ、投票が実行される。この部分集合はステップＳ１で生成された制約パラメータ空間、例えば注視点に対応する逆向きハートマークと、任意の観測特徴点に対応する逆向きハートマークとの、一般に２つの交点として求められる。
【００３１】
続いてステップＳ３で、制約パラメータ空間上に得られた投票値から環境記述パラメータ、例えば重心の位置が推定されて処理を終了する。
図４は本発明を実現するためのコンピュータシステムの構成を示すブロック図である。同図においてシステムは全体を制御する中央処理装置（ＣＰＵ）１５、物体モデルとしての形状情報や、制約パラメータ空間のデータが格納されるランダムアクセスメモリ（ＲＡＭ）１６、認識プログラムなどを格納するリードオンリメモリ（ＲＯＭ）１７、カメラによって撮影された画像データを格納するフレームバッファ（ＦＲＡＭ）１８、およびパラメータの推定結果、例えば物体の位置と姿勢に応じて、例えば推定対象物体を色付けした画像データをディスプレイ上に表示させるにあたり、その画像データを格納するビデオランダムアクセスメモリ（ＶＲＡＭ）１９を備えている。
【００３２】
図５は、図４のＲＡＭ１６上に展開されるデータのうちで、制約パラメータ空間上の投票空間としての配列データのデータ構造である。メモリ上には制約パラメータ空間が区切られたメッシュのそれぞれに対応して、投票数が格納される配列のデータが展開される。注視点と観測特徴点とのデータに基づいて投票される配列要素が決定され、その配列要素に対応する投票値が１だけ増加される。
【００３３】
続いて本発明の実施例を説明する。図６は本発明の第１の実施例を説明するための認識装置の構成ブロック図である。同図を図２と比較すると、物体モデル保持部１１が保持する物体モデルが図形の輪郭点の２次元位置座標であることと、観測特徴点が文書内の（図形の）輪郭点の２次元位置座標である点が異なっている。これは、第１の実施例では図２９で説明したような文書中に含まれる２次元図形を認識し、その図形のパラメータとして、その図形の位置姿勢の推定値を出力する動作が行われるためである。すなわち第１の実施例では、図３０に示したような物体モデルが図６の物体モデル保持部１１に保持され、図２９に示したような文書中のハートマークの位置姿勢の推定が行われ、ハートマークを他の図形と分離することが可能となる。
【００３４】
物体モデルは、文書から検出したい図形の形状モデルのことである。ここでは、図形の輪郭点の集合により表現する。これにより、輪郭点の量子化精度の範囲内で任意の形状の図形をモデル化することができる。図形Ｋの物体モデルＭは、図形ＫのＮM 個の輪郭点のそれぞれの物体モデル座標系における２次元座標、すなわち
【００３５】
【数１】
で表現できる。
図形Ｋの位置姿勢パラメータは、図形Ｋの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置２次元と姿勢１次元、すなわち
（Ｘ，Ｙ，Θ） （２）
により表現される。第１の実施例の認識装置の目的は、文書中に配置された図形Ｋの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として文書から得られた輪郭点のうちの１つを指定されたとして、この注視点を輪郭点の一部として含む図形Ｋの位置姿勢パラメータを推定する。
【００３７】
物体モデルとその位置姿勢について、図７と図８を用いて更に説明する。図７はハートマークの物体モデルとしての輪郭線上の点、すなわち代表点の例である。ここではＮM ＝２４であって、２４個の代表点でハートマークの形状が近似的に表現されている。本来はハートマークの輪郭線上の点を連続的に表現することが望ましいが、一般に任意の形状を持つ物体を方程式などの形で表すことは困難であるため、輪郭線上の点をある間隔で選び、その点集合を物体の形状情報、すなわち物体モデルを表す代表点とみなすことにする。
【００３８】
図８は図形Ｋの位置姿勢パラメータの説明図である。同図において、図７の物体モデルを移動させる並進ベクトルのｘ方向成分Ｘ、ｙ方向成分Ｙと、移動結果の回転角Θとを用いて、文書中の図形の位置姿勢パラメータが表現される。
【００３９】
第１の実施例の目的は、前述のように文書中に配置された図形Ｋの位置姿勢パラメータを推定することであるが、本実施例では文書から得られた輪郭点のうちの１つが例えばユーザによって注視点として指定された時、この注視点を輪郭点の一部として含む図形Ｋの位置姿勢パラメータの推定が行われる。すなわち、この注視点が１つの輪郭点として含まれる図形Ｋの位置姿勢パラメータの範囲が求められ、その範囲が制約パラメータ空間とされる。
【００４０】
観測特徴点は、２次元図形が含まれる文書の画像データに対してエッジ抽出を行い、データの２値化を行うことによって得られるものであり、図形の輪郭を構成する輪郭点を示す。このエッジ抽出において、例えば sobelフィルタが用いられる。一般に輪郭点においては画像の濃度が急激に変化する性質があり、輪郭点の近傍における濃度勾配を求めることにより、輪郭点の有無を調べることができる。濃淡画像ｆ（ｘ，ｙ）のｘ方向とｙ方向の単位ベクトルを 外１ （以下ベクトルｉと表記する）、 外２ （以下ベクトルｊと表記する）とする時、画像
【００４１】
【外１】
【外２】
の濃度勾配は次式で表される。
【００４４】
【数２】
ディジタル化された画像においては、濃度勾配の大きさを示す微分係数を差分演算で近似することにより、濃度勾配の大きさが求められる。この差分近似の方法には幾通りかの方法があり、各種の差分フィルタが考えられる。更に平滑化フィルタと差分フィルタの線形合成によって新たな差分フィルタを構成することができ、その代表的なものが sobelフィルタである。 sobelフィルタを用いると、輪郭点を求める場合における雑音の影響を軽減することができる。
【００４６】
第１の実施例において、観測特徴点は２次元位置座標によって表現され、ＮD 個の観測特徴点は文書上に設定される作業座標系における２次元座標を用いて、次式のように表現できる。
【００４７】
【数３】
次に制約パラメータ空間の生成と、投票実行部による投票とについて説明する。
注視点 外３ （以下ベクトルｘA と表記する）の文書上に設定される作業座
【００４９】
【外３】
標系における２次元座標を、（ｘA ，ｙA ）とする。
制約パラメータ空間保持部１２は、初期化時に、物体モデルと注視点から制約パラメータ空間Ｃを生成する。制約パラメータ空間Ｃは、注視点を輪郭として含む、形状が図形Ｋである物体の位置姿勢パラメータの集合である。物体モデルの代表点 外４ （以下ベクトルｘM と表記する）、注視点ベクトルｘA 、制約パ
【００５１】
【外４】
ラメータ空間Ｃの代表点 外５ （以下（ベクトルｘC ，θC ）＝（ｘC ，ｙC ，θC ）と表記する）の間の関係は、座標変換の式から、回転行列 外６ （以
【００５３】
【外５】
下Ｒθと表記する）を用いて、
【００５５】
【外６】
【数４】
で表すことができる。
θC を［０，２π］で量子化し、代表点を、
【００５８】
【数５】
とすると、制約パラメータ空間Ｃは、物体モデルＭと姿勢パラメータθC の代表点を用いて、
【００６０】
【数６】
と表現できる。従って制約パラメータ空間上の投票空間は、２次元配列、
【００６２】
【数７】
で離散的に表現できる。ここで、ＮM は物体モデルの代表点の数、 外７ （以下Ｎθと表記する）は姿勢パラメータの量子化数である。
【００６４】
【外７】
従来技術では、投票空間が位置姿勢パラメータ空間３次元をそのまま離散化した３次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【００６６】
観測特徴点 外８ が与えられた時の投票実行部１３による投票は、以下のよ
【００６７】
【外８】
うに行う。
観測特徴点 外９ （以下ベクトルｘj D と表記する）と物体モデルＭにより
【００６９】
【外９】
作られる位置姿勢パラメータの可能性集合Ｃj は、注視点の場合と同様の考え方により、
【００７１】
【数８】
と表現できる。
投票実行部１３は、制約パラメータ空間Ｃと、観測特徴点ベクトルｘj D による可能性集合Ｃj との交わりに投票する。
【００７３】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Ｃj と交わったＣの代表点を表す２次元座標（ｉ，ｋ）に対して、
Ｈ(i,k):＝Ｈ(i,k) ＋１ （９）
とすることにより投票を行う。
【００７４】
パラメータ推定部１４は、投票実行部１３により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【００７５】
制約パラメータ空間の生成と投票の実行について、フローチャートを用いて更に説明する。図９は制約パラメータ空間生成処理のフローチャートである。同図において処理が開始されると、まずステップＳ１１で投票空間Ｈ（ｉ，ｋ）と、制約パラメータ空間Ｃの代表点 外１０ （以下ベクトルＰ（ｉ，ｋ）と表記する）との格納領域がメモリ上に確保される。制約パラメータ空間の生成とは、具
【００７６】
【外１０】
体的には投票空間としての２次元配列Ｈ（ｉ，ｋ）と、パラメータ空間中の代表点の座標値ベクトルＰ（ｉ，ｋ）の組を、ｉとｋとの値の組としてのインデックス（ｉ，ｋ）（ｉ＝１，…，ＮM ，ｋ＝１，…，Ｎθ）に対して生成することであり、ステップＳ１１ではこれらの空間に対する領域がメモリ上に確保される。
【００７８】
続いて図９において、ステップＳ１２でこのインデックス（ｉ，ｋ）に対してステップＳ１３の処理が行われる。ステップＳ１３では投票空間Ｈ（ｉ，ｋ）の値が０に初期化されると共に、ベクトルＰ（ｉ，ｋ）の値が求められる。
【００７９】
制約パラメータ空間Ｃの代表点ベクトルＰ（ｉ，ｋ）は、（６）式で説明したように３次元で表現される。（６）式において、θk C は１次元の姿勢パラメータθの量子化後の代表点であり、次式によって計算できる。
【００８０】
【数９】
また、Ｒθは２次元回転行列であり、次式によって与えられる。
【００８２】
【数１０】
これらを用いて、ベクトルＰ（ｉ，ｋ）は次式のように計算できる。
【００８４】
【数１１】
なお（１０）式において、姿勢パラメータθの量子化を行うための分割数Ｎθとしては通常 100〜1000位の数をとることによって、十分な姿勢精度が確保される。本来は０〜２πの間を連続して取り扱うことが望ましいが、コンピュータで演算を行うためにこのような量子化が必要となる。
【００８６】
図１０は投票処理の詳細フローチャートである。同図において処理が開始されると、まずステップＳ１５で観測特徴点のそれぞれに対して、ステップＳ１６〜Ｓ２２の処理が実行される。
【００８７】
まずステップＳ１６で可能性集合Ｃj の生成が行われ、その後この可能性集合を用いて、ステップＳ１７で全てのインデックス、すなわち（ｉ，ｋ）の組についてステップＳ１８以降の処理が行われる。
【００８８】
ステップＳ１８では、まずフラグが０とされ、ステップＳ１９で全ての（ｉ′，ｋ′）の組についてステップＳ２０、およびＳ２１の処理が行われる。ステップＳ２０では、制約パラメータ空間上の代表点ベクトルＰ（ｉ，ｋ）と可能性集合の要素 外１１ （以下ベクトルＰj （ｉ′，ｋ′）と表記する）との距離の
【００８９】
【外１１】
計算が行われ、ステップＳ２１ではこの距離が量子化距離εより小さい場合にフラグの値が１とされる。その後ステップＳ２２でフラグの値が１である時に制約パラメータ空間上の代表点のインデックス（ｉ，ｋ）に対応する投票空間上の投票値Ｈ（ｉ，ｋ）が１だけ増加されて、処理を終了する。
【００９１】
図１０のステップＳ１６で行われる可能性集合の生成は、前述のように制約パラメータ空間の生成におけると同様に行われ、可能性集合は次式によって与えられる。
【００９２】
【数１２】
ステップＳ２０における距離の計算で用いられるノルムとしては、シティブロック距離、またはユークリッド距離などが用いられる。２つのベクトル 外１２、 外１３ の間のシティブロック距離とユークリッド距離とは、それぞれ次
【００９４】
【外１２】
【外１３】
式で与えられる。
【００９７】
【数１３】
投票処理が終了した後のパラメータの推定においては、投票結果によって得られた投票数を示す配列Ｈ（ｉ，ｋ）の中から最大の値となっている 外１４ が
【００９９】
【外１４】
探索され、このインデックス 外１５ に対する制約パラメータ空間の代表点
【０１０１】
【外１５】
外１６ がパラメータ推定値として出力される。なおステップＳ２０の距離の比
【０１０３】
【外１６】
較で用いられる量子化距離εは、例えば物体モデルの代表点の間隔ｄM と、姿勢パラメータの量子化精度 外１７ とを用いて、次式によって求められる。
【０１０５】
【外１７】
【数１４】
次に第１の実施例によるメモリ消費量の削減について説明する。図１１は注視点によって制約される以前、すなわち元々の３次元パラメータ空間を示す。前述のように、第１の実施例における図形Ｋの位置姿勢パラメータは、位置２次元（ｘ，ｙ）と姿勢１次元（θ）、すなわち３次元パラメータ空間として表現される。
【０１０８】
図１２は、第１の実施例における制約パラメータ空間を概念的に示したものである。前述のように、制約パラメータ空間はインデックス（ｉ，ｋ）としてのｉとｋとの値の組に対して表現され、一般的に図１２のような座標空間内の曲面によって表現される。
【０１０９】
図１３は、図１２の制約パラメータ空間上の投票空間を平面的に表したものである。これは図１２の制約パラメータ空間を、例えば平面に伸ばしたものと解釈することができる。投票空間上のメッシュの数はＮi ×Ｎk となる。ここでＮi は物体モデルの代表点の数、Ｎk は姿勢パラメータの量子化数である。
【０１１０】
図１４は投票対象空間、すなわち図１３の投票空間上で投票が行われるメッシュの位置の決定法の説明図である。同図において、制約パラメータ空間を表す２次元曲面と、観測特徴点による可能性空間を表す２次元曲面との交線が投票対象空間として決定される。
【０１１１】
図１５はこの２次元投票空間への投票の説明図である。図１４で決定された投票対象空間、すなわち観測特徴点による可能性空間との交線上にある制約パラメータ空間上の位置に対応するメッシュへの投票が行われる。
【０１１２】
図１６は従来技術を用いる場合の投票空間を示し、これは図１１の元々の３次元パラメータ空間をＮx ×Ｎy ×Ｎθの個数のメッシュに区切ったものである。このように従来技術を用いると投票空間が３次元となるのに対して、第１の実施例では、図１３で説明したように投票空間が２次元となるために、従来技術と比較してメモリ消費量を大幅に削減することが可能となる。
【０１１３】
続いて本発明の第２の実施例について説明する。第２の実施例では、第１の実施例におけると同様に、２次元図形が含まれる文書から指定された図形Ｋの位置姿勢パラメータの推定が行われるが、図形の輪郭法線が用いられる点が第１の実施例と異なっている。
【０１１４】
図１７は第２の実施例における認識装置の構成を示すブロック図である。第１の実施例に対する図６と異なる点は、物体モデル保持部１１に保持されている物体モデルとしての形状情報が図形の輪郭法線の位置姿勢であり、また画像データから得られる観測特徴点が文書内の（図形の）輪郭法線の位置姿勢になっていることである。
【０１１５】
第２の実施例の物体モデルは、図形の輪郭法線の位置姿勢の集合により表現される。これにより、輪郭法線の量子化精度の範囲内で任意の形状の図形をモデル化することができる。図形Ｋの物体モデルＭは、図形ＫのＮM 個の輪郭法線のそれぞれの位置姿勢の物体モデル座標系における２次元位置座標と１次元姿勢、すなわち
【０１１６】
【数１５】
で表現できる。
図形Ｋの位置姿勢パラメータは、図形Ｋの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置２次元と姿勢１次元、すなわち
（Ｘ，Ｙ，Θ） （１７）
により表現される。第２の実施例の認識装置の目的は、文書中に配置された図形Ｋの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として文書から得られた輪郭法線のうちの１つを指定されたとして、この注視点を輪郭法線の一部として含む図形Ｋの位置姿勢パラメータを推定する。
【０１１８】
図形の輪郭法線について、図１８および図１９を用いて更に説明する。図１８は、図７におけると同様に、物体としてのハートマークの輪郭線上の点における輪郭法線を示す。その輪郭法線は、輪郭線上の点の位置と、その点における法線の姿勢との組で表現されるものであり、図形の形状を第１の実施例におけるよりも詳しく表現したものである。
【０１１９】
図１８におけるように、輪郭法線は輪郭線上の代表点から伸び、輪郭線と直交する方向を持つ矢印として、幾何学的に表現される。
図１９は輪郭法線の定量的な表現法の説明図である。同図において、法線の矢印の出発点としての代表点の物体モデル座標系での位置座標（ｘ，ｙ）と、法線がｘ軸方向となす角θを用いて、輪郭法線が定量的に（ｘ，ｙ，θ）によって表現される。
【０１２０】
観測特徴点は、文書を sobelフィルタを用いるなどしてエッジ抽出し、２値化することにより得られる輪郭を構成する輪郭法線のこととする。この場合、観測特徴点は、位置（２次元）と姿勢（１次元）により表現され、ＮD 個の観測特徴点は、文書上に設定される作業座標系における２次元位置座標と１次元姿勢により、
【０１２１】
【数１６】
と表現できる。
注視点ベクトルｘA の文書上に設定される作業座標系における位置姿勢を、（ｘA ，ｙA ，θA ）とする。
【０１２３】
制約パラメータ空間保持部１１は、初期化時に、物体モデルと注視点から制約パラメータ空間Ｃを生成する。制約パラメータ空間Ｃは、注視点を輪郭として含む、形状が図形Ｋである物体の位置姿勢パラメータの集合である。物体モデルの代表点ベクトルｘM 、注視点ベクトルｘA 、制約パラメータ空間Ｃの代表点（ベクトルｘC ，θC ）＝（ｘC ，ｙC ，θC ）の間の関係は、座標変換の式から、回転行列Ｒθを用いて、
【０１２４】
【数１７】
で表すことができる。
従って、制約パラメータ空間Ｃは、物体モデルＭの代表点を用いて、
【０１２６】
【数１８】
と表現できる。従って制約パラメータ空間上の投票空間は、１次元配列、
｛Ｈ（ｉ）｜ｉ＝１・・・ＮM ｝ （２１）
で離散的に表現できる。ここで、ＮM は物体モデルの代表点の数である。
【０１２８】
従来技術では、投票空間が位置姿勢パラメータ空間３次元をそのまま離散化した３次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【０１２９】
観測特徴点（ベクトルｘj D ，θj D ）＝（ｘj D ，ｙj D ，θj D ）が与えられた時の投票実行部１３による投票は、以下のように行う。
観測データ（ベクトルｘj D ，θj D ）と物体モデルＭにより作られる位置姿勢パラメータの可能性集合Ｃj は、注視点の場合と同様の考え方により、
【０１３０】
【数１９】
と表現できる。
投票実行部１３は、制約パラメータ空間Ｃと、観測特徴点による可能性集合Ｃj との交わりに投票する。
【０１３２】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Ｃj と交わったＣの代表点を表す１次元座標（ｉ）に対して、
Ｈ(i):＝Ｈ(i) ＋１ （２３）
とすることにより投票を行う。
【０１３３】
パラメータ推定部１４は、投票実行部１３により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【０１３４】
このように第２の実施例では、制約パラメータ空間上の投票空間は１次元配列Ｈ（ｉ）によって表される。これに対して前述の第１の実施例では投票空間は２次元であり、Ｈ（ｉ，ｋ）で表された。その理由について図２０、および図２１を用いて説明する。
【０１３５】
本発明においては注視点が１つ与えられ、その注視点が物体モデルの代表点の１つに対応するものと考えて、物体の位置姿勢パラメータの可能性空間、すなわち制約パラメータ空間が生成される。
【０１３６】
第１の実施例においては、注視点としてその位置のみが与えられているにすぎないために、図２０に示すようにその注視点を中心とする回転の自由度が残っていることになる。
【０１３７】
従って制約パラメータ空間は、代表点の移動に伴う自由度１つ（ｉ）と、回転による姿勢の変化に伴う自由度１つ（ｋ）の合計２つの自由度（ｉ，ｋ）を持つことになり、制約パラメータ空間は２次元、すなわち曲面となり、対応する投票空間も２次元配列となる。
【０１３８】
これに対して第２の実施例においては、注視点、すなわち注視法線の情報として、輪郭上の点の位置に加えて、法線の姿勢も指定されているために、この注視法線を物体モデルの１つとしての輪郭法線に対応させることにより、図２１に示すように、２つの法線が一致するような１つの位置姿勢に限定されるようにしか、物体が存在することができなくなる。従って制約パラメータ空間は、代表点の移動に伴う１つの自由度（ｉ）のみを持つこととなり、対応する投票空間も１次元配列となる。
【０１３９】
なお第２の実施例では、物体モデルの代表点の量子化は行われているが、姿勢パラメータの量子化は行われていない。
次に本発明の第３の実施例について説明する。第３の実施例では、３次元物体が含まれる環境から、指定された物体Ｋの位置姿勢パラメータの推定が行われる。図２２は、第３の実施例における認識装置の構成を示すブロック図である。例えば第１の実施例に対応する図６と比較すると、物体モデル保持部１１が物体の表面上の点の３次元位置を物体の形状情報として保持し、観測特徴点が環境中の（物体の）表面上の点の３次元位置を表すことと、パラメータ推定部１４が３次元物体の位置姿勢の推定値を出力する点が異なっている。
【０１４０】
第３の実施例の物体モデルは、物体の表面上の点を特徴点としてこの特徴点の集合により表現される。これにより、特徴点の量子化精度の範囲内で任意の形状の物体をモデル化することができる。物体Ｋの物体モデルＭは、物体ＫのＮM 個の表面上の点のそれぞれの物体モデル座標系における３次元位置座標、すなわち、
【０１４１】
【数２０】
で表現できる。
物体Ｋの位置姿勢パラメータは、物体Ｋの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置３次元と姿勢３次元、すなわち
（Ｘ，Ｙ，Ｚ，Θ） （２５）
により表現される。Θは、物体Ｋの姿勢を表し、例えばオイラー角を用いるなどして３次元の成分を持つ。
【０１４３】
第３の実施例の認識装置の目的は、環境中に配置された物体Ｋの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として環境から得られた表面上の点のうちの１つを指定されたとして、この注視点を表面の一部として含む物体Ｋの位置姿勢パラメータを推定する。
【０１４４】
観測特徴点は、環境をレンジファインダあるいはステレオ視を行うことにより観測し、距離画像を取得することにより得られる物体表面を構成する特徴点のこととする。この場合、観測特徴点は、位置（３次元）により表現され、ＮD 個の観測特徴点は、環境上に設定される作業座標系における３次元位置座標により、
【０１４５】
【数２１】
と表現できる。
ここでレンジファインダ、あるいはステレオ視による特徴点の観測について、図２３，図２４を用いて説明する。図２３はレンジファインダによる特徴点の観測法の説明図である。レンジファインダによれば、視点から観測特徴点までの距離と、その方向を測定することができるため、図に示すように観測特徴点の位置を求めることができる。
【０１４７】
図２４はステレオ視の説明図である。２つの視点から観測特徴点の方向を測定することにより、三角測量の原理を用いて観測特徴点の位置を求めることができる。
【０１４８】
次に、制約パラメータ空間の生成について説明する。まず、注視点ベクトルｘA の位置、すなわち環境上に設定される作業座標系における位置を、（ｘA ，ｙA ，ｚA ）とする。
【０１４９】
制約パラメータ空間保持部１２は、初期化時に、物体モデルと注視点から制約パラメータ空間Ｃを生成する。制約パラメータ空間Ｃは、注視点を表面として含む形状が物体Ｋである物体の位置姿勢パラメータの集合である。物体モデルの代表点ベクトルｘM 、注視点ベクトルｘA 、制約パラメータ空間Ｃの代表点 外１８ （以下ベクトルｘC ，ΘC ）＝（ｘC ，ｙC ，ｚC ，ΘC ）と表記する）の
【０１５０】
【外１８】
間の関係は、座標変換の式から、回転作用素 外１９ （以下ＲΘと表記する）
【０１５２】
【外１９】
を用いて、
【０１５４】
【数２２】
で表すことができる。
ここでオイラー角と、回転作用素ＲΘについて更に説明する。ここではオイラー角の表現の例としてロール、ピッチ、およびヨーによる表現を説明する。この表現では、基準座標軸に対して３つの回転を順次行った場合の結果としての座標軸の姿勢が表現される。まず第１に、ｘ軸の回りの回転としてヨー（角度ψ）が定義され、その回転の後に更にｙ軸の回りの回転としてピッチ（角度θ）が定義され、更にその後にｚ軸の回りの回転としてのロール（角度φ）が定義される。この表現を用いることにより、３次元の姿勢ΘはΘ＝（ψ，θ，φ）と表すことができる。また前述の回転作用素ＲΘは、次式によって求められる。
【０１５６】
【数２３】
従って、制約パラメータ空間Ｃは、物体モデルＭの代表点と姿勢パラメータの代表点を用いて、
【０１５８】
【数２４】
と表現できる。従って制約パラメータ空間上の投票空間は、２次元配列、
【０１６０】
【数２５】
で離散的に表現できる。ここで、ＮM は物体モデルの代表点の数、Ｎθは姿勢パラメータの量子化数である。物体モデルの代表点は物体表面を覆っているため２次元、姿勢パラメータは３次元の広がりを持つと考えられるので、制約パラメータ空間は５次元の広がりを持つと考えられる。
【０１６２】
従来技術では、投票空間が位置姿勢パラメータ空間６次元をそのまま離散化した６次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【０１６３】
観測特徴点ベクトルｘj D ＝（ｘj D ，ｙj D ，ｚj D ）が与えられた時の投票実行部１３による投票は、以下のように行う。
観測特徴点ベクトルｘj D と物体モデルＭにより作られる位置姿勢パラメータの可能性集合Ｃj は、注視点の場合と同様の考え方により、
【０１６４】
【数２６】
と表現できる。
投票実行部１３は、制約パラメータ空間Ｃと、観測特徴点ベクトルｘj D による可能性集合Ｃj との交わりに投票する。
【０１６６】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Ｃj と交わったＣの代表点を表す２次元座標（ｉ，ｋ）に対して、
Ｈ(i,k):＝Ｈ(i,k) ＋１ （３２）
とすることにより投票を行う。
【０１６７】
パラメータ推定部１４は、投票実行部１３により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【０１６８】
第３の実施例における制約パラメータ空間および投票空間の次元数と、メモリ容量の削減について更に説明する。例えば前述の第１の実施例では元々のパラメータ空間が位置２次元、姿勢１次元の合計３次元、制約パラメータ空間が物体モデルの自由度１次元、姿勢の自由度１次元の計２次元であった。
【０１６９】
これに対して第３の実施例では、元々のパラメータ空間は位置３次元、姿勢３次元の合計６次元となっている。これは環境が２次元から３次元になったためである。制約パラメータ空間のＣの式は、第１の実施例における（６）式と類似した式となっているが、インデックスとしてのｉとｋの次元数が第１の実施例とは異なってくる。
【０１７０】
ｉは物体モデルの代表点を示すインデックスであり、第３の実施例では代表点は物体表面を覆う点を示し、インデックスｉは本来２次元のインデックスを１つの数で代用したものと考えられる。またｋは姿勢の代表点のインデックスであり、オイラー角が３つの数で表現されることから、インデックスｋは元々３次元のインデックスを１つの数で代用したものと考えられる。従って制約パラメータ空間は、第３の実施例では５次元となる。
【０１７１】
一方投票空間の次元数と制約パラメータ空間の次元数とは同じであり、第３の実施例における投票空間は５次元となる。前述の説明では投票空間はＨ（ｉ，ｋ）と表現され、２次元配列のように見えるが、前述のようにｉが２次元、ｋが３次元のインデックスと考えれらるために、Ｈ（ｉ，ｋ）で示した投票空間も５次元となる。
【０１７２】
このように第３の実施例では元々のパラメータ空間が６次元であるのに対して、投票空間は５次元となり、１次元分のメモリ容量の削減が実現される。１次元あたりの量子化数は 100〜1000程度であるために、メモリ容量を１／100 〜１／1000に削減することが可能となり、これは認識装置の実用化の可否を左右する重要な進歩と考えられる。
【０１７３】
最後に本発明の第４の実施例について説明する。第４の実施例では、第３の実施例におけると同様に、３次元物体が含まれる環境から指定された物体Ｋの位置姿勢パラメータの推定が行われるが、物体の表面法線が形状情報として用いられる点が異なっている。
【０１７４】
図２５は第４の実施例における認識装置の構成を示すブロック図である。第３の実施例に対応する図２２と比較すると、物体モデル保持部１１が、物体モデルとしての形状情報として、物体の表面法線の６次元位置姿勢を保持し、また観測特徴点が環境中の（物体の）表面法線の６次元位置姿勢を表す点が異なっている。
【０１７５】
すなわち第４の実施例においては物体の表面法線が形状情報として用いられるが、この表面法線とは物体表面上の点から出発し、その表面に垂直な法線を意味する。物体モデルは物体の表面をある密度で覆うような表面法線の集合で表される。定量的には表面法線の出発点の位置座標３次元と、法線の姿勢３次元の合計６次元の量として、表面法線が表される。
【０１７６】
第４の実施例の物体モデルは、物体の表面法線を特徴点としてこの特徴点の集合により表現される。これにより、特徴点の量子化精度の範囲内で任意の形状の物体をモデル化することができる。物体Ｋの物体モデルＭは、物体ＫのＮM 個の表面法線のそれぞれの位置姿勢を示す、物体モデル座標系における３次元位置座標、およびオイラー角などの３次元姿勢座標、すなわち
【０１７７】
【数２７】
で表現できる。
物体Ｋの位置姿勢パラメータは、物体Ｋの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置３次元と姿勢３次元、すなわち
（Ｘ，Ｙ，Ｚ，Θ） （３４）
により表現される。Θは、物体Ｋの姿勢を表し、例えばオイラー角を用いるなどして３次元の成分を持つ。
【０１７９】
第４の実施例の認識装置の目的は、環境中に配置された物体Ｋの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として環境から得られた表面法線のうちの１つを指定されたとして、この注視点を表面法線の一部として含む物体Ｋの位置姿勢パラメータを推定する。
【０１８０】
観測特徴点は、環境をレンジファインダあるいはステレオ視を行うことにより観測し、距離画像を取得することにより得られる物体表面法線のこととする。この場合、観測特徴点は、位置（３次元）および姿勢（３次元）により表現され、ＮD 個の観測特徴点は、環境上に設定される作業座標系における６次元位置姿勢座標により、
【０１８１】
【数２８】
と表現できる。
注視点ベクトルｘA の環境上に設定される作業座標系における位置姿勢を、（ｘA ，ｙA ，ｚA ，ΘA ）とする。
【０１８３】
制約パラメータ空間保持部１２は、初期化時に、物体モデルと注視点から制約パラメータ空間Ｃを生成する。制約パラメータ空間Ｃは、注視点を表面法線として含む、形状が物体Ｋである物体の位置姿勢パラメータの集合である。物体モデルの代表点（ベクトルｘM ，ΘM ）、注視点（ベクトルｘA ，ΘA ）、制約パラメータ空間Ｃの代表点（ベクトルｘC ，ΘC ）＝（ｘC ，ｙC ，ｚC ，ΘC ）の間の関係は、座標変換の式から、回転作用素ＲΘを用いて、
【０１８４】
【数２９】
と表すことができる。
従って、制約パラメータ空間Ｃは、物体モデルＭの自由度２次元と、姿勢パラメータの自由度１次元の合計３次元の広がりを持ち、投票空間は、３次元配列で離散的に表現できる。
【０１８６】
従来技術では、投票空間が位置姿勢パラメータ空間６次元をそのまま離散化した６次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【０１８７】
投票実行部１３による投票、パラメータ推定部１４によるパラメータの推定は、第１〜第３の実施例と同様にして行うことができる。
この第４の実施例では注視点、すなわち注視表面法線は位置と姿勢の情報を持つ。この注視点に対して物体の代表点の１つを対応させる場合を考えると、図２６に示すように物体の自由度は注視法線を中心とする回転の自由度１つを持つことになる。一方物体表面上の代表点は物体の表面に存在するために、２つの自由度を持つ。従って制約パラメータ空間の自由度は合計３つとなり、また投票空間の自由度も同様に３次元となる。
【０１８８】
【発明の効果】
以上詳細に説明したように、本発明によれば雑音や隠蔽などによって認識したい物体の観測特徴点の情報が欠落していたり、余計なにせの情報が混入している場合でも、環境記述パラメータを正しく推定することができ、また従来の方法に比較してパラメータ空間の表現に必要なメモリの消費量を著しく削減することが可能となる。従って、不確実性の高い環境に対しても実用的なメモリ消費量で動作することができる頑健な認識システムを構築することができ、対象認識技術の向上に寄与するところが大きい。
【図面の簡単な説明】
【図１】本発明の認識装置の原理構成を示すブロック図である。
【図２】本発明の頑健な認識装置の基本構成を示すブロック図である。
【図３】図２の認識装置における環境記述パラメータの推定方法のフローチャートである。
【図４】本発明を実現するためのコンピュータシステムの構成を示すブロック図である。
【図５】制約パラメータ空間上の投票空間としての配列を説明する図である。
【図６】第１の実施例における認識装置の構成を示すブロック図である。
【図７】物体モデルの代表点の例を示す図である。
【図８】２次元図形の位置姿勢パラメータを説明する図である。
【図９】制約パラメータ空間生成処理のフローチャートである。
【図１０】投票処理の詳細フローチャートである。
【図１１】注視点によって制約される以前のパラメータ空間を示す図である。
【図１２】制約パラメータ空間の概念を示す図である。
【図１３】制約パラメータ空間上の投票空間を示す図である。
【図１４】投票対象空間としてのメッシュの位置の決定法を説明する図。
【図１５】２次元投票空間への投票の説明図である。
【図１６】従来における投票空間を示す図である。
【図１７】第２の実施例における認識装置の構成を示すブロック図である。
【図１８】物体モデルとしての輪郭法線を示す図である。
【図１９】輪郭法線の定量的な表現法を説明する図である。
【図２０】第１の実施例における注視点を中心とする物体の回転の説明図である。
【図２１】第２の実施例における注視点と物体との対応を説明する図である。
【図２２】第３の実施例における認識装置の構成を示すブロック図である。
【図２３】レンジファインダによる特徴点の観測法の説明図である。
【図２４】ステレオ視による特徴点の観測法の説明図である。
【図２５】第４の実施例における認識装置の構成を示すブロック図である。
【図２６】第４の実施例における注視法線を中心とする物体の回転を説明する図である。
【図２７】頑健な認識装置の従来例の構成を示すブロック図である。
【図２８】図２７の認識装置におけるパラメータ推定法のフローチャートである。
【図２９】複数の２次元図形が含まれている文書の例を示す図である。
【図３０】物体モデルの例を示す図である。
【図３１】文書の観測によって得られた特徴点の例を示す図である。
【図３２】図３１のハートマークの重心の推定法を説明する図である。
【符号の説明】
１ 制約パラメータ空間保持手段
２ 投票実行手段
３ パラメータ推定手段
１１ 物体モデル保持部
１２ 制約パラメータ空間保持部
１３ 投票実行部
１４ パラメータ推定部
１５ 中央処理装置（ＣＰＵ）
１６ ランダムアクセスメモリ（ＲＡＭ）
１７ リードオンリメモリ（ＲＯＭ）
１８ フレームメモリ（ＦＲＡＭ）
１９ ビデオランダムアクセスメモリ（ＶＲＡＭ）
Claims (9)
- 環境の観測によって得られた特徴点の集合と、該環境中に存在すると予想される物体の形状情報を示す物体モデルとを用いて、環境を記述するパラメータを推定する認識装置において、
該物体モデルとしての形状情報に対応する情報であって、ユーザによって与えられる、該物体モデルが環境中を移動してパラメータ空間を生成する場合の該物体モデルの移動範囲の制約となる注視点に関する情報によって、制限された前記パラメータの空間としての制約パラメータ空間を保持する制約パラメータ空間保持手段と、
該制約パラメータ空間内で前記特徴点のそれぞれに対して前記物体モデルと整合性を有する部分パラメータ集合に対して投票を行う投票実行手段と、
該特徴点の全てに対する投票の終了後に、該制約パラメータ空間上の投票空間に対してなされた投票結果に応じて、環境を記述するパラメータの推定値を出力するパラメータ推定手段と
を備えたことを特徴とする注視点を用いた頑健な認識装置。 - 前記物体モデルとしての形状情報を保持し、該形状情報を前記制約パラメータ空間保持手段と投票実行手段とに出力する物体モデル保持手段を更に備えたことを特徴とする請求項１記載の注視点を用いた頑健な認識装置。
- 前記物体モデルとしての形状情報が２次元物体の輪郭点の位置座標の集合であることと、前記注視点情報が該輪郭点のうちの任意の１つの位置座標を示すことを特徴とする請求項１、または２記載の注視点を用いた頑健な認識装置。
- 前記物体モデルとしての形状情報が２次元物体の輪郭法線の位置姿勢の集合であることと、前記注視点情報が該輪郭法線のうちの任意の１つの位置姿勢を示すことを特徴とする請求項１、または２記載の注視点を用いた頑健な認識装置。
- 前記物体モデルとしての形状情報が３次元物体の表面上の点の位置座標の集合であることと、前記注視点情報が該表面上の点のうちの任意の１つの位置座標を示すことを特徴とする請求項１、または２記載の注視点を用いた頑健な認識装置。
- 前記物体モデルとしての形状情報が３次元物体の表面上の法線の位置姿勢の集合であることと、前記注視点情報が該表面上の法線のうちの任意の１つの位置姿勢を示すことを特徴とする請求項１、または２記載の注視点を用いた頑健な認識装置。
- 前記パラメータ推定手段が出力するパラメータ推定値が、前記物体の重心の位置座標の推定値であることを特徴とする請求項１、または２記載の注視点を用いた頑健な認識装置。
- 前記パラメータ推定手段が出力するパラメータ推定値が、前記物体に対する物体モデル座標系から前記環境中に設定される作業座標系への変換パラメータとしての、該物体の位置姿勢の推定値であることを特徴とする請求項１、または２記載の注視点を用いた頑健な認識装置。
- 環境の観測によって得られた特徴点の集合と、該環境中に存在すると予想される物体の形状情報を示す物体モデルとを用いて、環境を記述するパラメータを推定する機能をコンピュータに実行させるための記憶媒体であって、
該物体モデルとしての形状情報に対応する情報であって、ユーザによって与えられる、該物体モデルが環境中を移動してパラメータ空間を生成する場合の該物体モデルの移動範囲の制約となる注視点に関する情報によって、制限された前記パラメータの空間としての制約パラメータ空間と、該制約パラメータ空間上の空間であって、前記特徴点のそれぞれに対して前記物体モデルと整合性を有する部分パラメータ集合に対して投票が行われる投票空間とを保持し、該特徴点の全てに対する投票の終了後に、該制約パラメータ空間に対してなされた投票結果に応じて、環境を記述するパラメータの推定値の出力を実現させることを特徴とする記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04341996A JP3764773B2 (ja) | 1996-02-29 | 1996-02-29 | 注視点を用いた頑健な認識装置 |
| US08/758,310 US5864779A (en) | 1996-02-29 | 1996-12-03 | Strict recognizing apparatus using observation point |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04341996A JP3764773B2 (ja) | 1996-02-29 | 1996-02-29 | 注視点を用いた頑健な認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09237342A JPH09237342A (ja) | 1997-09-09 |
| JP3764773B2 true JP3764773B2 (ja) | 2006-04-12 |
Family
ID=12663195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04341996A Expired - Fee Related JP3764773B2 (ja) | 1996-02-29 | 1996-02-29 | 注視点を用いた頑健な認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5864779A (ja) |
| JP (1) | JP3764773B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| US7013035B2 (en) * | 1998-09-25 | 2006-03-14 | Canon Kabushiki Kaisha | Image processing method for setting an extraction area, and apparatus and recording medium |
| US6763148B1 (en) * | 2000-11-13 | 2004-07-13 | Visual Key, Inc. | Image recognition methods |
| US6826311B2 (en) * | 2001-01-04 | 2004-11-30 | Microsoft Corporation | Hough transform supporting methods and arrangements |
| US7308131B2 (en) * | 2002-12-03 | 2007-12-11 | Ntt Docomo, Inc. | Representation and coding of panoramic and omnidirectional images |
| US8081820B2 (en) * | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| US7190834B2 (en) * | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| US7545307B2 (en) * | 2005-12-15 | 2009-06-09 | Raytheon Company | Target recognition system and method with unknown target rejection |
| US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
| JP5526942B2 (ja) * | 2010-03-31 | 2014-06-18 | ソニー株式会社 | ロボット装置、ロボット装置の制御方法およびプログラム |
| EP2385483B1 (en) * | 2010-05-07 | 2012-11-21 | MVTec Software GmbH | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| US9868212B1 (en) * | 2016-02-18 | 2018-01-16 | X Development Llc | Methods and apparatus for determining the pose of an object based on point cloud data |
| CN109641351B (zh) * | 2018-06-08 | 2021-11-26 | 深圳蓝胖子机器人有限公司 | 一种物体特征的识别方法、视觉识别装置及机器人 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2885823B2 (ja) * | 1989-04-11 | 1999-04-26 | 株式会社豊田中央研究所 | 視覚認識装置 |
| JPH03125585A (ja) * | 1989-10-11 | 1991-05-28 | Mitsubishi Electric Corp | 画像信号の符号復号化器 |
| JPH0467275A (ja) * | 1990-07-06 | 1992-03-03 | Matsushita Electric Ind Co Ltd | 認識方法及び認識装置 |
| EP0514688A2 (en) * | 1991-05-21 | 1992-11-25 | International Business Machines Corporation | Generalized shape autocorrelation for shape acquisition and recognition |
| JP2873338B2 (ja) * | 1991-09-17 | 1999-03-24 | 富士通株式会社 | 動物体認識装置 |
| JP2626528B2 (ja) * | 1993-11-22 | 1997-07-02 | 日本電気株式会社 | 図形認識装置 |
| US5638465A (en) * | 1994-06-14 | 1997-06-10 | Nippon Telegraph And Telephone Corporation | Image inspection/recognition method, method of generating reference data for use therein, and apparatuses therefor |
-
1996
- 1996-02-29 JP JP04341996A patent/JP3764773B2/ja not_active Expired - Fee Related
- 1996-12-03 US US08/758,310 patent/US5864779A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09237342A (ja) | 1997-09-09 |
| US5864779A (en) | 1999-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6681729B2 (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| US11565407B2 (en) | Learning device, learning method, learning model, detection device and grasping system | |
| JP3764773B2 (ja) | 注視点を用いた頑健な認識装置 | |
| Faugeras et al. | The representation, recognition, and locating of 3-D objects | |
| CN100559398C (zh) | 自动的深度图像配准方法 | |
| Campbell et al. | A survey of free-form object representation and recognition techniques | |
| JP5759161B2 (ja) | 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム | |
| US8280150B2 (en) | Method and apparatus for determining similarity between surfaces | |
| CN111178250A (zh) | 物体识别定位方法、装置及终端设备 | |
| JP5251080B2 (ja) | 物体認識方法 | |
| Wyngaerd et al. | Automatic crude patch registration: Toward automatic 3D model building | |
| Mokhtarian et al. | Multi-scale free-form 3D object recognition using 3D models | |
| Malassiotis et al. | Snapshots: A novel local surface descriptor and matching algorithm for robust 3D surface alignment | |
| JP6487642B2 (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
| JP5092711B2 (ja) | 物体認識装置およびロボット装置 | |
| WO2009124139A1 (en) | Methods and systems of comparing face models for recognition | |
| CN112651944B (zh) | 基于cad模型的3c部件高精度六维位姿估计方法及系统 | |
| CN113936090A (zh) | 三维人体重建的方法、装置、电子设备及存储介质 | |
| Kroemer et al. | Point cloud completion using extrusions | |
| Pottmann et al. | Line geometry for 3D shape understanding and reconstruction | |
| JP4921847B2 (ja) | 対象物の三次元位置推定装置 | |
| Ibrayev et al. | Recognition of curved surfaces from “one-dimensional” tactile data | |
| JP2019211981A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| CN116091686A (zh) | 用于三维重建的方法、系统和存储介质 | |
| Garcia et al. | Efficient generation of discontinuity-preserving adaptive triangulations from range images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060123 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |