JP4925120B2

JP4925120B2 - 物体認識装置および物体認識方法

Info

Publication number: JP4925120B2
Application number: JP2007174597A
Authority: JP
Inventors: 展之大津; 譲二若色
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2007-07-02
Filing date: 2007-07-02
Publication date: 2012-04-25
Anticipated expiration: 2027-07-02
Also published as: JP2009014415A

Description

本発明は、物体認識装置および物体認識方法に関するものであり、特に距離画像を使用し、高速かつ高精度に物体の種類等を識別することができる物体認識装置および物体認識方法に関するものである。

物体の認識、識別は、監視システム、ロボット、生産の自動化などに幅広く必要とされる重要な技術である。物体認識では画像がよく用いられるが、その中でも物体の表面までの距離（位置）を表す距離画像は輝度画像に比べ照明とスケールの影響を受けにくい性質があり、物体認識に用いるデータとして有効なデータであると考えられる。

例えば下記の特許文献１には距離画像を用いた物体検知装置が開示されている。この物体検知装置は、距離画像取得手段で取得された距離画像に基づき、撮像された物体の輪郭情報を生成することにより、物体を抽出する。抽出された物体が、予め定められた目標物であるかどうかの判定は、画像処理部が具備している認識辞書にあるパターンと輪郭情報とのマッチングにより行う。認識辞書には、予め定められた目標物の形状パターン（物体に動きがある場合には、その動きに応じた複数の形状パターン）が記憶されている。
特開平１１−２１３１６６号公報また、本出願人は、動画像における動作の認識方法の研究を行い、本出願人が出願した下記の特許文献２には、立体高次局所自己相関特徴（以下、CHLACデータとも記す）を用いた動画像における動作の認識技術が開示されている。この技術は、立体高次局所自己相関特徴抽出方式によって動画像から特徴データを抽出し、抽出した特徴データを多変量解析などの統計的手法によって変換することによって新たな特徴データを生成し、登録データと比較することによって判定を行うものである。特開２００５−０９２３４６号公報

上記したような距離画像からモデルベースで物体認識、識別を行う既存手法においては、距離画像を得る計測器については実時間と言われる領域まで高速化してきているに対し、照合処理は認識対象やその姿勢の数が多くなるにつれて計算コストが組み合わせ的に増大していき、大量のパターン照合による認識処理に時間がかかるという問題があり、距離画像から複数物体を高速に認識する手法は開発されていなかった。

本発明の目的は、上記したような従来例の問題点を解決し、距離画像から立体高次局所自己相関特徴を抽出し、多変量解析を行うことにより、高速かつ高精度に物体の種類や向き、数等を識別することができる物体認識装置および物体認識方法を提供する点にある。

本発明の物体認識装置は、対象物の表面の距離画像を取得する計測手段と、設定された単位長情報に基づいて前記距離画像から離散化距離画像データを生成する離散化距離画像データ生成手段と、前記離散化距離画像データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、学習した情報に基づいて多変量解析を行って、前記特徴データから対象物の種類、姿勢、個数の内の少なくとも１つを判定する多変量解析手段とを備えたことを主要な特徴とする。

また、上記した物体認識装置において、更に、対象物の種類が既知である学習用距離画像から設定された単位長情報に基づいて離散化距離画像データを生成し、前記離散化距離画像データから立体高次局所自己相関によって特徴データを得て、前記特徴データに基づき線形判別分析によって射影軸に射影するための変換行列を求め、かつ前記特徴データを射影軸に射影し、更に対象物の種類ごとの重心を求める学習手段を備え、前記多変量解析手段は、前記特徴データを前記変換行列を使用して射影軸に射影し、前記特徴データの種類が射影した前記特徴データからの距離が最も近い重心の種類に属すると判定するＭＤＤ(Minimum Distance Decision)法によって対象物の種類を判定する点にも特徴がある。

また、上記した物体認識装置において、更に、対象物の種類が既知である学習用距離画像から設定された単位長情報に基づいて離散化距離画像データを生成し、前記離散化距離画像データから立体高次局所自己相関によって特徴データを得て、前記特徴データに基づき線形判別分析によって射影軸に射影するための変換行列を求め、かつ前記特徴データを射影軸に射影する学習手段を備え、前記多変量解析手段は、前記特徴データを前記変換行列を使用して射影軸に射影し、射影した前記特徴データからの距離が最も近い所定個数の射影した学習特徴データを求め、前記特徴データの種類が前記所定個数の射影した学習特徴データの中で最も多数を占めた種類に属すると判定するｋ−ＮＮ法によって対象物の種類を判定する点にも特徴がある。

また、上記した物体認識装置において、更に、対象物の種類および姿勢が既知である学習用距離画像から設定された単位長情報に基づいて離散化距離画像データを生成し、前記離散化距離画像データから立体高次局所自己相関によって学習特徴データを得る学習手段を備え、前記多変量解析手段は、前記特徴データの種類および姿勢が前記特徴データからの距離が最も近い学習特徴データの種類および姿勢に対応すると判定するＮＮ法によって対象物の種類および姿勢を判定する点にも特徴がある。

また、上記した物体認識装置において、更に、対象物の種類および個数が既知である学習用距離画像から設定された単位長情報に基づいて離散化距離画像データを生成し、前記離散化距離画像データから立体高次局所自己相関によって特徴データを得て、前記特徴データに基づき線形重回帰分析によって係数行列を求める学習手段を備え、前記多変量解析手段は、前記特徴データを前記係数行列を使用して個数ベクトルを求め、前記個数ベクトルの各要素の小数点以下を四捨五入することによって対象物の種類および個数を判定する点にも特徴がある。

また、上記した物体認識装置において、２つ以上の異なる多変量解析手段を用いて判定を行う点にも特徴がある。
また、上記した物体認識装置において、前記離散化距離画像データ生成手段は、複数の異なる単位長情報に基づいてそれぞれ前記距離画像から離散化距離画像データを生成する点にも特徴がある。

本発明の物体認識方法は、対象物の表面の距離画像を取得するステップ、設定された単位長情報に基づいて前記距離画像から離散化距離画像データを生成するステップ、前記離散化距離画像データから立体高次局所自己相関によって特徴データを抽出するステップ、学習した情報に基づき、前記特徴データから対象物の種類、姿勢、個数の内の少なくとも１つを判定するステップを含むことを主要な特徴とする。

本発明によれば、以下のような効果がある。
（１）対象物の切り出しやマッチング処理を行わずに対象物を認識するので、特徴抽出や種類等の判定のための計算量が少なく、実時間処理が可能である。
（２）物体の種類と共に個数や姿勢（向き）も判定可能である。
（３）複数の異なる多変量解析手段を組み合わせて判定することにより、認識精度が向上する。
（４）距離画像を使用することにより、照明や外光等の影響を受け難くなり、認識精度が向上する。
（５）距離画像を使用することにより、背景が動いていても容易に対象物を切り出し、背景を削除することができるので、認識精度がより向上する。
（６）距離画像を使用することにより、対象物までの距離情報を取得することができる。

以下、実施例について説明するが、本発明は距離画像を取得可能な任意の対象物に適用可能である。

図１は、本発明の物体認識装置のハードウェア構成の一例を示すブロック図である。図１（ａ）は計測時（物体認識時）におけるハードウェア構成の一例を示している。レンジファインダ１０は距離画像を計測するための装置であり、例えばレーザ光を放射して対象物表面から反射して帰ってくるまでの時間を用いる光飛行時間測定法や三角測量の原理を用いた光切断法を採用した装置を採用可能である。

近年レンジファインダは、小型化、高速化の技術が進歩して実用性が高まっており、実施例におけるレンジファインダの一例として、例えば光切断法によって０．３秒で距離画像を撮影可能なコニカミノルタホールディングス社製の３次元デジタイザVIVID910を採用可能である。

コンピュータ（ＰＣ）１１は例えば周知の汎用デジタルインターフェイス回路を備えた周知のパソコン（ＰＣ）であってもよい。本発明は、後述する処理を実行するプログラムを作成し、パソコンなどの周知のコンピュータ１１にインストールして起動することにより実現される。モニタ装置１２はコンピュータ１１の周知の出力装置であり、例えば対象の認識結果をオペレータに表示するために使用される。キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。

図１（ｂ）は学習時におけるハードウェア構成の一例を示している。学習時においては、例えば対象物１５を回転台１６に搭載し、所定の角度（例えば数度）づつ回転しては距離画像を撮影する（処理については後述する）。回転台１６は所定の角度づつ回転するようにＰＣ１１から制御してもよいし、手動で回転と撮影を繰り返してもよい。

なお、図１（ｂ）においては、垂直軸についてのみ回転させているが、例えば飛行物体など、対象物によっては直行する２つの水平軸についても回転させて撮影する必要がある。この場合には例えば、全球の表面になるべくそれぞれの間の距離が一定になるような複数の点を設定し、これらの点を球の中心から見た方向を対象物の撮影方向としてもよい。

図２は、本発明における物体認識処理の内容を示すフローチャートである。Ｓ１０からＳ１２においては、いずれかの１つの手段を用いて距離画像を取得する。Ｓ１０においては、前述したレンジファインダ１０により距離画像を取得する。距離画像とは計測機器と対象表面までの距離の２次元分布データ（対象物表面の位置データ）からなる画像である。距離を計測しているため、照明等の外来光や対象物表面の模様などから受ける影響は少ない。

Ｓ１１においては、ステレオカメラにより距離画像を取得する。公知のステレオ画像法は複数のカメラから得た輝度画像の対応点を検出して距離分布を推定する方法である。ステレオ画像法の詳細については本発明の要旨ではないので説明は省略する。

Ｓ１２においては、濃淡２次元画像を取得して距離画像に変換する。この場合には２次元画像の２つの座標軸をｘ軸およびｙ軸とし、各画素の輝度値を定数（値は任意）倍した値をｚ軸の値として採用する。従って、２次元画像を、明るい部分が遠く、暗い部分が近い（あるいはその逆の）距離画像と見なすことになる。なお、Ｓ１０からＳ１２の内の複数の手段を用いて距離画像を撮影し、取得したデータを合成して距離画像を得てもよい。

Ｓ１３においては、単位長情報であるキューブサイズに基づき距離画像を離散化処理する。Ｓ１０〜Ｓ１２において得られる距離画像データは、例えば計測機器の光軸と直交する水平軸をｘ軸、光軸と直交する垂直軸をｙ軸、光軸をｚ軸とする直交座標における対象物表面の離散した計測点の位置情報（ｘi、ｙi、ｚi）の集合からなる。

Ｓ１３においては、設定した長さ＝キューブサイズの辺をもつ立方体（あるいは直方体）を定義し、この立方体を用いて測定空間内を分割（くまなくかつ重複無く走査）して、この立方体内に計測点の位置情報が含まれていた場合には当該位置と対応する値を１とし、そうでなければ０として離散化距離画像データを生成する。

なお、Ｓ１３において、一定の距離以上の位置情報を背景情報と見なして削除してもよい。この処理は、背景が一様であれば、CHLACの加法性から対象の違いがCHLACに反映されるので必須ではないが、背景が複雑で対象が隠蔽する部分が異なる場合には誤差になるので、背景は削除しておいた方が望ましい。また、近接する位置情報とかけ離れたり、欠落している位置情報はノイズと見なし、周囲の位置情報から補間演算により補正してもよい。

図５は、本発明における離散化処理の内容を示す説明図である。図５においては、離散化処理によって生成されたアヒルの置物の離散化距離画像データについて、値が１である立方体のみを抽出し、ｚ軸方向とは異なる所定の角度（斜め上）から見える立方体について立方体の各面に異なる陰影をつけて表示してある。各辺の最小単位がキューブサイズとなっている。

図２に戻って、Ｓ１４においては、離散化距離画像データからCHLACベクトルデータを抽出する。ここで、立体高次局所自己相関特徴(CHLAC)について説明する。Ｎ次自己相関関数は次の数式１のように表せる。

ここでg(r) は離散化距離画像の値、ｒは位置ベクトル、ａ₁、ａ₂、…ａ_Nは変位ベクトルを表す。参照点（注目位置）ｒおよび参照点からみたＮ個の変位ａ_i（ｉ＝１，…，Ｎ）は三次元のベクトルである。

高次自己相関関数は変位方向、次数のとり方により無数に考えられるが、これを局所領域に限定したものが高次局所自己相関関数である。立体高次局所自己相関特徴では変位方向を参照点ｒを中心とする３×３×３画素の局所領域内、即ち参照点ｒの２６近傍に限定している。１組の変位方向に対応する数式１の積分値が特徴量の１つの要素になる。従って変位方向の組み合わせ（＝マスクパターン）の数だけ特徴量の要素が生成される。

図６は、３次元空間における自己相関処理座標を示す説明図である。図６においては、ｚ−１層、ｚ層、ｚ＋１層の３つの層のｘｙ平面を並べて図示してある。本発明においては、注目する参照画素を中心とする３×３×３（＝２７）画素の立方体の内部の画素について相関を取る。

特徴量の要素数、つまり特徴ベクトルの次元はマスクパターンの種類に相当する。マスクパターンは、相関を取る画素の組合せを示す情報であり、マスクパターンによって選択された画素のデータは相関値の計算に使用されるが、マスクパターンによって選択されなかった画素は無視される。マスクパターンでは注目画素（中心の画素：参照点）は必ず選択される。

離散化距離画像の値の場合、画素値１を何回乗算しても１であるので、二乗以上の項を含む特徴量の要素（パターン）は乗数のみが異なる１乗の項を含む特徴量の要素（パターン）と重複するものとして削除する。また数式１の積分操作（平行移動：スキャン）で重複するパターンは１つの代表パターンを残して他を削除する。数式１右辺の式は参照点（ｇ(r)：局所領域の中心）を必ず含むので、代表パターンとしては中心点を含み、パターン全体が３×３×３画素の局所領域内に収まるものを選択する。

この結果、中心点を含むマスクパターンの種類は、選択画素数が１個のもの（０次）：１個、２個のもの（１次）：２６個、３個のもの（２次）：２６×２５／２＝３２５個の計３５２個あるが、数式１の積分操作（平行移動：スキャン）で重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、次数を高々２次、変位ベクトルを３×３×３の近傍に限った場合、１つの３次元データに対する立体高次局所自己相関特徴ベクトルは２５１次元となる。

図７は、自己相関マスクパターンの例を示す説明図である。図７（１）は注目画素のみの最も簡単な０次のマスクパターンである。（２）はハッチングを施した２つの画素が選択されている１次マスクパターン例、（３）、（４）はハッチングを施した３つの画素が選択されている３次マスクパターン例であり、この他に多数のパターンがある。そして、前記したように、重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、３×３×３画素の３次元データに対する立体高次局所自己相関特徴ベクトルは２５１次元となり、要素の値は０か１である。

立体高次局所自己相関特徴には、対象の位置によらず同一の対象から同一の特徴量が得られるという位置不変性、および画像内に複数の対象がある場合、この画像全体から得られる特徴量がそれぞれの対象から得られる特徴量の和となる加法性がある。CHLAC特徴は位置不変性から認識時に対象の切り出しを必要としない。また加法性があるので、対象物の個数の判定ができる。更に、積分特徴であるためノイズに強い。

図８は、Ｓ１４の画素CHLACデータ抽出処理の内容を示すフローチャートである。Ｓ５０においては、２５１個の相関パターン対応の相関値群データをクリアする。Ｓ５１においては、未処理のキューブ（参照点である立方体）を１つ選択する（対象空間内において参照点である立方体を順にスキャンする）。Ｓ５２においては、未処理の相関マスクパターンを１つ選択する。

Ｓ５３においては、前記した数式１を用いてパターンと対応する位置のキューブ値（０または１）を乗算して相関値を計算する。なお、この処理は前記した数式１におけるｇ(r)ｇ(r+a₁)…ｇ(r+a_N)の演算に相当する。

Ｓ５４においては、相関値は１か否かが判定され、判定結果が肯定の場合にはＳ５５に移行するが、否定の場合にはＳ５６に移行する。Ｓ５５においては、マスクパターンと対応する相関値データに１を加算する。Ｓ５６においては、全てのマスクパターンについて処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ５７に移行するが、否定の場合にはＳ５２に移行する。

Ｓ５７においては、全てのキューブについて処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ５８に移行するが、否定の場合にはＳ５１に移行する。Ｓ５８においては、相関値群データをCHLACデータとして出力する。

図２に戻って、Ｓ１５、１６の処理、Ｓ１７の処理、Ｓ１８、１９の処理については少なくとも１つの処理を実行し、必要に応じて任意の２つあるいは３つ全部を並列に、あるいは順次直列に実行して所望の出力を得る。また、異なるキューブサイズの特徴データに対して同じ処理を繰り返して実行してもよい。なお、複数の処理を実行する場合には、対象物の種類についてはそれぞれの認識結果を他の処理において参照したり、複数の結果を総合的に判断して決定してもよい。

Ｓ１５においては、学習時に線形判別分析によって求めた変換行列を使用して対象の種類を最も判別する射影軸に射影する。即ち、特徴ベクトルと変換行列の積を求めて判別特徴ベクトルを得る。Ｓ１６においては、学習時に求めた各対象の判別特徴ベクトルの重心を使用したＭＤＤ法により、あるいはCHLAC射影特徴ベクトルを使用したｋ−ＮＮ法により種類を判別する。公知のＭＤＤ法とは識別すべき入力特徴点から重心までの距離が最も小さいクラス（種類）に識別する手法である。比較に用いる距離としてはユークリッド距離を用いるが、分散を考慮した距離であるマハラノビス距離を利用することも可能である。

やはり公知の最近傍（ＮＮ、Nearest Neighbor）法とは、入力特徴点に最も近い学習サンプル点を求め、そのクラスに識別する手法であり、より一般的な方法としてk-最近傍（ｋ−ＮＮ、k-Nearest Neighbor）法がある。ｋ−ＮＮ法では入力特徴点に最も近いｋ個（通常は奇数個）の学習サンプル点を求め、その中で最も多数を占めたクラスに識別する手法である。

Ｓ１７においては、学習時に求めたCHLACデータを使用し、最近傍法により、種類および姿勢（向き）を判定する。最近傍(Nearest Neighbor, NN) 法とは、入力特徴点に最も近い学習サンプル点を求め、そのクラスに識別する手法である。最も近い学習サンプル点が判明すれば、その学習サンプルの学習時の向きも判明するので、その向きが入力特徴点の向きであるものと推定する。

Ｓ１８においては、学習時に線形重回帰分析によって求めた係数行列を使用し、個数ベクトルを求める。即ち、入力特徴ベクトルと係数行列とを乗算して個数推定値ベクトルを求める。Ｓ１９においては、Ｓ１８によって求めた個数推定値ベクトルの要素である各種類ごとの個数推定値の小数点以下を四捨五入して種類ごとの個数を求める。なお、推定値が負の場合は０個とする。Ｓ１６、Ｓ１７、Ｓ１９の判別結果は例えばモニタ装置１２に表示される。

図３は、本発明における物体認識処理の学習時の処理の内容を示すフローチャートである。Ｓ３０からＳ３２においては、Ｓ１０からＳ１２と同様に１つの手段を用いて距離画像を取得する。Ｓ３０においては、Ｓ１０と同様にレンジファインダにより距離画像を取得する。また、Ｓ３１においては、Ｓ１１と同様にステレオカメラにより距離画像を取得する。Ｓ３２においては、Ｓ１２と同様に濃淡２次元画像を取得して距離画像と見なす。

Ｓ３３においては、対象物を所定角度だけ回転させる。例えば図１（ｂ）に開示されているように回転台１６を制御して対象物１５を所定の角度だけ回転させる。Ｓ３４においては、距離画像の取得終了か否かが判定され、判定結果が否定の場合にはＳ３０〜３２のいずれかに移行するが、肯定の場合にはＳ３５に移行する。以上の処理によって種類、個数および姿勢が既知の学習用距離画像データが得られる。

Ｓ３５においては、背景部分や回転台部分の距離データを削除する。即ち、距離（ｚ値）が一定の値以上の距離（位置）データや高さ（ｙ値）が一定の値以下の距離（位置）データを削除する。

Ｓ３６においては、Ｓ１３と同様に、１つあるいは複数のキューブサイズに基づきそれぞれ距離画像を離散化処理する。具体的には、計測空間内においてｘ軸、ｙ軸、ｚ軸それぞれを単位長情報であるキューブサイズで立方体（あるいは直方体）に区切り、その立方体内に距離画像の画素である距離データが含まれていれば１、含まれていなければ０として離散化距離画像データを生成する。

キューブサイズは、小さすぎると全体の特徴を捉えることができなくなり、認識率が低下するが、大きすぎても分解能が低下して認識率が低下する。発明者が実験した結果、比較的大きなキューブサイズから生成した特徴データにも識別に有効な情報が含まれていることが判明した。具体的には、計測対象物が１００ｍｍ前後の大きさである場合にキューブサイズが数十ｍｍ程度でも物体の識別が可能であった。また、キューブサイズが大きいほど離散化距離画像データのデータ量は減少する。

なお、同じ距離画像から異なるキューブサイズで抽出された例えば２つの特徴データはそのまま組み合わせて２５１＋２５１＝５０２次元の１つの特徴データとして後続する処理を行ってもよいし、２つの特徴データとしてそれぞれ後続の処理を行って、最後に結果の統合（例えば、多数決）を行ってもよい。

Ｓ３７においては、Ｓ１４と同様に、それぞれの離散化距離画像データから学習ＣＨＬＡＣ特徴ベクトルデータを抽出する。Ｓ３８においては、この学習特徴データから線形判別分析によって射影軸（変換行列）を求める。線形判別分析とは対象の種類判別に適した空間を求めるための公知の統計的手法である。線形判別分析では、数式２に示す、級間分散σ² _Bを級内分散σ² _Wに対して大きくする、つまりλを最大化する射影軸を解析的に陽に求めることができる。

具体的には、学習データに基づき、数式３に示すような、より少ない次元で種類間の分離を最大限強調する線形写像を構成する係数行列Ａを求める。

最適な係数行列Ａは数式４に示す公知の固有値問題の解として求まる。

ここで、Ｍは判別空間の次元であり、Ｍ≦（種類の数−１）となる。（正確には、maxＭ＝min(種類の数-1,元のｘの次元（251)））即ち、対象物の種類が２つであればＭは１となる。ΣBおよびΣWはそれぞれ級間共分散行列および級内共分散行列であり、Ｉ_Mは単位行列である。
Ｓ３９においては、Ｓ３８で求めた変換行列を使用して学習CHLACデータを判別空間に射影する。Ｓ４０においては、学習CHLAC射影データの重心を求める。

図４は、線形判別分析による射影処理の内容を示す説明図である。図４においては、記載を容易にするために特徴データの次元を２、対象物の種類を２種類としてある。CHLAC特徴空間において、CHLACデータ（種類Ａ）２０、CHLACデータ（種類Ｂ）２１はそれぞれ１つの点として表されている。そして、角度を少しづつ変えて計測した１つの種類（例えば種類Ａ）の特徴データ全体は例えば（超）楕円などの環状に分布している。

線形判別分析によって得られた射影軸は例えば図４に図示するような角度となり、特徴データを射影した種類Ａの射影データと種類Ｂの射影データとは完全に分離している。更にそれぞれの射影データの重心も求めておく。

図３に戻って、Ｓ４１においては、線形重回帰分析により係数行列を求める。線形重回帰分析とは、多変数間の関係式を線形推定する公知の統計的手法である。説明変数ベクトルｘ（サンプル数Ｌ個の学習用特徴データを並べたベクトル）から、目的変数（教示）ベクトルｙ（学習用特徴ベクトルと対応する、種類ごとの個数データを並べたベクトル）を推定したときの推定誤差を最小化する係数を考える。ｙの推定値および平均操作を数式５の１行目に記載されているものとすると、平均２乗誤差は数式５の３行目以降のようになる。

ここで、Ｒ_xx、Ｒ_xyおよびＲ_yyはそれぞれｘ_iの自己相関行列、ｘ_iとｙ_iの相互相関行列、ｙ_iの自己相関行列である。このとき誤差ｅを最小にする係数行列Ａは以下の数式６を解いて、解は数式７のように線形代数の範囲で陽に求まる。

以上の学習時の処理によって、特徴データ、射影のための変換行列、射影後の特徴データ、射影後の重心、個数を求めるための係数行列が得られる。Ｓ３８からＳ４１の処理については、図２の認識時の判定に必要な処理のみを行えばよい。

本発明の物体認識装置のハードウェア構成の一例を示すブロック図である。本発明における物体認識処理の内容を示すフローチャートである。本発明における物体認識処理の学習時の処理の内容を示すフローチャートである。線形判別分析による射影処理の内容を示す説明図である。本発明における離散化処理の内容を示す説明図である。３次元空間における自己相関処理座標を示す説明図である。自己相関マスクパターンの例を示す説明図である。Ｓ１４の画素CHLACデータ抽出処理の内容を示すフローチャートである。

符号の説明

１０…レンジファインダ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス

Claims

対象物の表面の距離画像を取得する計測手段と、
設定された単位長情報に基づいて前記距離画像から離散化距離画像データを生成する離散化距離画像データ生成手段と、
前記離散化距離画像データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、
学習した情報に基づいて多変量解析を行って、前記特徴データから対象物の種類、姿勢、個数の内の少なくとも１つを判定する多変量解析手段と
を備えたことを特徴とする物体認識装置。
更に、対象物の種類が既知である学習用距離画像から設定された単位長情報に基づいて離散化距離画像データを生成し、前記離散化距離画像データから立体高次局所自己相関によって特徴データを得て、前記特徴データに基づき線形判別分析によって射影軸に射影するための変換行列を求め、かつ前記特徴データを射影軸に射影し、更に対象物の種類ごとの重心を求める学習手段を備え、
前記多変量解析手段は、前記特徴データを前記変換行列を使用して射影軸に射影し、前記特徴データの種類が射影した前記特徴データからの距離が最も近い重心の種類に属すると判定するＭＤＤ法によって対象物の種類を判定することを特徴とする請求項１に記載の物体認識装置。
更に、対象物の種類が既知である学習用距離画像から設定された単位長情報に基づいて離散化距離画像データを生成し、前記離散化距離画像データから立体高次局所自己相関によって特徴データを得て、前記特徴データに基づき線形判別分析によって射影軸に射影するための変換行列を求め、かつ前記特徴データを射影軸に射影する学習手段を備え、
前記多変量解析手段は、前記特徴データを前記変換行列を使用して射影軸に射影し、射影した前記特徴データからの距離が最も近い所定個数の射影した学習特徴データを求め、前記特徴データの種類が前記所定個数の射影した学習特徴データの中で最も多数を占めた種類に属すると判定するｋ−ＮＮ法によって対象物の種類を判定することを特徴とする請求項１に記載の物体認識装置。
更に、対象物の種類および姿勢が既知である学習用距離画像から設定された単位長情報に基づいて離散化距離画像データを生成し、前記離散化距離画像データから立体高次局所自己相関によって学習特徴データを得る学習手段を備え、
前記多変量解析手段は、前記特徴データの種類および姿勢が前記特徴データからの距離が最も近い学習特徴データの種類および姿勢に対応すると判定するＮＮ法によって対象物の種類および姿勢を判定することを特徴とする請求項１に記載の物体認識装置。
更に、対象物の種類および個数が既知である学習用距離画像から設定された単位長情報に基づいて離散化距離画像データを生成し、前記離散化距離画像データから立体高次局所自己相関によって特徴データを得て、前記特徴データに基づき線形重回帰分析によって係数行列を求める学習手段を備え、
前記多変量解析手段は、前記特徴データを前記係数行列を使用して個数ベクトルを求め、前記個数ベクトルの各要素の小数点以下を四捨五入することによって対象物の種類および個数を判定することを特徴とする請求項１に記載の物体認識装置。
請求項２ないし請求項５の内の２つ以上の請求項の構成要件を備えていることを特徴とする物体認識装置。
前記離散化距離画像データ生成手段は、複数の異なる単位長情報に基づいてそれぞれ前記距離画像から離散化距離画像データを生成することを特徴とする請求項１に記載の物体認識装置。
対象物の表面の距離画像を取得するステップ、
設定された単位長情報に基づいて前記距離画像から離散化距離画像データを生成するステップ、
前記離散化距離画像データから立体高次局所自己相関によって特徴データを抽出するステップ、
学習した情報に基づき、前記特徴データから対象物の種類、姿勢、個数の内の少なくとも１つを判定するステップ
を含むことを特徴とする物体認識方法。