JP3859347B2 - 物体認識装置及びその方法 - Google Patents
物体認識装置及びその方法 Download PDFInfo
- Publication number
- JP3859347B2 JP3859347B2 JP08133198A JP8133198A JP3859347B2 JP 3859347 B2 JP3859347 B2 JP 3859347B2 JP 08133198 A JP08133198 A JP 08133198A JP 8133198 A JP8133198 A JP 8133198A JP 3859347 B2 JP3859347 B2 JP 3859347B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- matching
- distribution
- distribution vector
- collation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、平面物体の三次元位置と姿勢を認識する物体認識装置及びその方法に関する。
【０００２】
【従来の技術】
テレビカメラなどで撮影した画像から目的の物体を認識し、その位置と姿勢を計算する画像処理手法の研究が行われている。この画像処理手法は、ロボットが手でつかむ部品を見つけるハンドアイシステムや、自動走行車が交通標識を見つけるために使ったり、物流現場で荷物に貼付された荷札を見つけるために使ったりするなど様々な応用のために必要とされている。
【０００３】
この手法で対象となる物体の多くは、交通標識や荷札などの平面物体である。対象を三次元の凹凸のある物体ではなく平面物体に限った研究も行われている。その従来例に、例えば、Y.Lamdan, J.T.Schwarta, and H.J.Wolfson. がProceedings of IEEE International Conference on Robotics and Automation において８８年に発表した"On reccognition of 3-D Objects from 2D images" で示された、Geometric Hashing という手法がある。
【０００４】
この手法では、Ｍ点の特徴点の集合で対象を表現する。対象から幾何学的不変量を計算するために必要なｎ点（平面の場合は通常４点以上）として、Ｍ点からｎ点を選択する全ての組み合わせについて、その組み合わせの幾何学的不変量と残ったＭ−ｎ点の配置を記憶する。
【０００５】
対象を認識するときには、画像中の特徴点からｎ点の組み合わせを選択し、それが記憶した幾何学的不変量と一致するときに、残ったＭ−ｎの特徴点の配置を用いて対象物であるか検証を行って対象を認識する。
【０００６】
この手法では、対象の特徴点の数が多くなると記憶する照合情報が膨大になることと、画像中の対象物以外の特徴点の数が多くなると、うまく対象物だけから特徴点を選択する確率が低くなる欠点がある。
【０００７】
また、前記とは別の手法で、例えば、H.Murase, S.K.Nayer の"Visual Learning and Recognition of 3-D Objects from Appearance" , International Journal of Computer Vision vol 14-1 p.5-24 で示された、パラメトリック固有空間法という手法がある。この手法では、予め対象物の位置と姿勢を変化した画像を主成分分析する。対象物の位置姿勢の変化によるパターンの変化をパターンの主成分を位置と姿勢をパラメータとした多項式関数で近似した辞書を作成する。対象物を認識する際には、画像から取り出した領域と主成分分析で得られた主固有パターンとの内積で主成分を求め、これを辞書の主成分と比較して認識を行う。
【０００８】
しかし、対象となる物体の位置姿勢は、三次元の位置と向きを合わせて六次元の自由度があり、画像中での座標を指定したとしても四次元の自由度が残っている。四次元の自由度を持つ関数を多項式に近似するのは近似誤差が大きく認識率が低下する。
【０００９】
【発明が解決しようとする課題】
以上述べたように、従来方式では、特徴点の組み合わせを調べる場合は点数が増えると組み合わせの数が増大して認識に時間がかかるという問題があった。また、画像パターン自体を照合する方式では、パターン変化の自由度が大きく、近似関数で表すことが困難であるという問題があった。
【００１０】
そこで本発明は、上記問題点に鑑みて平面物体の三次元位置と姿勢を効率よく認識する物体認識装置及び方法を提供する。
【００１１】
【課題を解決するための手段】
本発明は、カメラなどで撮影した画像中に写っている平面物体である対象物の種別、位置、姿勢などを認識する物体認識装置であって、前記認識したい対象物である認識物を撮影した画像における２つの特徴点の座標を両端点とする線分上の座標集合上の前記画像の明度や彩度などのパターン分布を獲得し、それを距離について正規化した認識用分布ベクトルを獲得する分布ベクトル獲得手段と、予め認識した対象物である照合物について作成された照合情報を記憶する記憶手段と、前記分布ベクトル獲得手段で得られた前記認識用分布ベクトルと、前記記憶手段に記憶されている照合情報とを照合して、前記認識物を認識する認識手段を備えたことを特徴とする物体認識装置である。
【００１３】
【発明の実施の形態】
以下、本発明に関する実施例を図１から図６を用いて説明する。
【００１４】
図１は、本実施例による物体認識装置１０のシステム構成を示す構成図である。物体認識装置１０は、画像入力部１２と前処理部１６と記憶部１４と認識部２４とよりなる。
【００１５】
画像入力部１２
画像入力部１２は、ＴＶカメラ、ラインスキャンカメラなど画像入力デバイスで対象物の画像を撮影して、画像をデジタル化して出力する。
【００１６】
記憶部１４
記憶部１４は、照合対象となる対象物（以下、照合物という）の照合情報を記憶しているメモリである。この記憶部１４に記憶してある照合情報は、予め対象物を撮影した画像から前処理部１６で作成したものである。
【００１７】
前処理部１６
前処理部１６は、特徴点抽出部１８と明度分布ベクトル獲得部２０と照合情報作成部２２とよりなる。そして、前処理部１６は、２つの役割をする。
【００１８】
第１の役割は、特徴点抽出部１８と明度分布ベクトル獲得部２０と照合情報作成部２２とを使用して予め照合物を撮影した画像から照合情報を作成する。
【００１９】
第２の役割は、特徴点抽出部１８と明度分布ベクトル獲得部２０とを使用して、画像入力部１２からデジタル画像を入力し、認識したい対象物（以下、認識物という）の明度分布ベクトルを作成して、認識部２４に送る役割である。
【００２０】
認識部２４
認識部２４は、前処理部１６から送られてきた認識物の明度分布ベクトルと記憶部１４に記憶している照合物の照合情報を比較して、認識物の位置と姿勢を出力するものである。
【００２１】
照合物の照合情報の作成
照合物の照合情報を作成する手順を図２のフローチャートにしたがって説明する。
【００２２】
（ステップ１０１）
まず、例えば、照合物の形状が長方形である場合は画像中に写っている対象の四隅を指示するなどして、画像中から照合物の領域を指定する。照合物が荷札などの場合は対象の上に宛先などが書き込まれて個々の荷札でテクスチャーが異なる場合がある。このような場合には、個別対象で異なるテクスチャー領域も合わせて指定する。
【００２３】
（ステップ１０２）
特徴点抽出部１８は、入力した画像から、コーナー等幾何学的な特徴のある特徴点を抽出する。この特徴点の抽出処理には、例えば、Andrew Blake, Alan Yuille 著、"Active Vision" The MIT Press出版p-265 に示されたアルゴリズムを用いる。抽出された特徴点のうち、指定した認識対象の領域内にあり、かつ、個別対象で異なるテクスチャー領域の領域外にある特徴点を選択する。画像から特徴点を抽出した状態を図３に示す。
【００２４】
（ステップ１０３）
次に、ステップで選択された特徴点の数をｎ点から２点の組み合わせを重なりがないように順に選択する。但し、２点を端点とする線分が、個別対象で異なるテクスチャー領域と交差する場合は選択しない。
【００２５】
（ステップ１０４）
明度分布ベクトル獲得部２０は、選択した２点（Ｐ１とＰ２とする）を両端点とする線分を作成し、線分上にある画素を調べてＰ１からＰ２への順番に並べた明度分布を示すベクトルデータｓを作成する。図４に線分とそれに対応する明
度分布ベクトルの例を示す。
【００２６】
なお、画像がカラー画像などの場合は明度ではなく彩度の分布ベクトルを作成するなど、別のパターン情報を用いても良い。
【００２７】
また、明度分布ベクトルの作成では、選択した２点を両端点とする線分上の画素を使うのではなく、例えば、直線Ｐ１，Ｐ２の中点を通ってＰ１，Ｐ２と垂直なＰ１，Ｐ２と同じ長さの線分等、Ｐ１とＰ２の２点の座標から幾何学的に一意に決まる座標の集合上の画素を用いても構わない。
【００２８】
（ステップ１０５）
前記ベクトルｓの長さは、Ｐ１とＰ２の距離によって異なるので、明度分布
ベクトル獲得部２０は長さｌのベクトルｓを一定の長さｌ0 のベクトルｓ ＊に正規化する処理を行う。
【００２９】
ベクトルｓのｉ番目の要素をｓ ｉで表すとすると、正規化したベクトルのｊ番目の要素ｓ ｊ ＊は、もとのベクトルｓで、ｊｌ／ｌ0 番目の要素に相当する。しかし、ｊl ／ｌ0 は一般には整数ではないので、以下の式で表される内挿による補間で求めた値を正規化した値として用いる。
【００３０】
【数１】
ここで、ｊ´＝floor （ｊl ／ｌ0 ）であり、関数floor （ｘ）は、ある数ｘを超えない最大の整数をとる関数である。
【００３１】
（ステップ１０６）
全ての特徴点の組み合わせについて明度分布ベクトルを作成し、正規化を行った後、照合情報作成部２２は、これらの主成分分析を行って照合情報を作成する。ここで主成分分析を行うのは、記憶部１４に記憶させる場合に、正規化した明度分布ベクトルをそのまま記憶、検索させるのでは、記憶、検索する量が多いため、主成分分析を行って記憶、検索する量を少なくして効率を上げるためである。
【００３２】
先に得られた特徴点の組み合わせの数をｍとし、ｉ番目の組み合わせに関する正規化された明度分布ベクトルのｊ番目の要素をｓ j i で表す。まず、明度分布から、分散共分散行列Ｖを構成する。これは、以下のようにして求めることができる。
【００３３】
【数２】
分散共分散行列Ｖを固有値分解する。固有値を大きな物から順に並べたものを（λ１，λ２，……，λｎ）、対応する固有ベクトルを（ａ１，ａ２，……ａｎ）とする。また、第ｉ固有値と全固有値の和の比
【数３】
を寄与率といい、第１〜第ｋ番目までの固有値の寄与率の和が一定値を超えるｋをｋmax とし、ｋmax までの固有ベクトルを使う。
【００３４】
そして、この第１〜第ｋ番目（第ｋmax 番目）までの固有ベクトルを記憶部１４の固有ベクトルテーブルに記憶させる。
【００３５】
（ステップ１０７）
次に、照合用主成分テーブルを作成する。
【００３６】
まず、ステップ１０３で得られたｍ個の組み合わせの各々について、第ｋmax 番目までの主成分（以下、照合用主成分という）を計算する。すなわち、第ｉ照合用主成分は明度分布ベクトルと第ｉ固有ベクトルの内積で計算される。これらの照合用主成分と線分の端点となる特徴点のＩＤ、座標を記憶部１４に照合用主成分主成分テーブルとして記憶する。
【００３７】
得られた第ｉ照合用主成分の値を昇順にソートし、照合用主成分の値とそれに対応する特徴点の組み合わせを関連づけて記憶部１４に記憶する。記憶部１４に記憶されたデータ構造の例を図５に示す。認識する対象が複数ある場合は、それぞれの対象について前処理部１６で説明した処理を行う。その際、特徴点には対象毎に異なるＩＤを付けておく。
【００３８】
なお、照合情報とは、上記で説明した固有ベクトル、照合用主成分、特徴点のＩＤ、特徴点の座標をいう。
【００３９】
認識物の認識
認識物の認識手順について、図６のフローチャートにしたがって説明する。
【００４０】
（ステップ２０１）
まず、画像入力部１２から認識物のデジタル画像を前処理部１６が入力し、この入力した画像から、先にステップで述べた特徴点抽出部１８において、特徴点抽出処理を行って認識物の特徴点を抽出する。
【００４１】
（ステップ２０２）
次に、認識物の検出した特徴点からランダムに１点を選択する。これをｐ0 とする。
【００４２】
（ステップ２０３）
ｐ0 とは異なる特徴点ｐ1 をランダムに選択する。
【００４３】
（ステップ２０４）
ステップ１０５と同様に、明度分布ベクトル獲得部２０で選択した２点ｐ0 ，ｐ1 を端点とする線分上の認識物の正規化された明度分布ベクトルを作成する。
【００４４】
（ステップ２０５）
次に、認識物の正規化した明度分布ベクトルをキーにして照合情報から線分上の明度分布ベクトルの類似した特徴点の組み合わせを検索する。
【００４５】
この検索では、記憶部１４の固有ベクトルテーブルに記憶した第１からｋ番目までの固有ベクトルと、認識物の正規化した明度分布ベクトルの内積である主成分を求める。
【００４６】
そして、求めた主成分の値と記憶部１４の照合用主成分テーブルに記憶された照合用主成分の値を比較する。記憶部１４に記憶された特徴点の組み合わせから、ｋ番目までの主成分の全てで、両主成分の差が一定閾値以下であった組み合わせを検索結果とする。照合用主成分は、ソートされて記憶されているので、記憶された組み合わせの数をｎとすると、ｌｏｇ（ｎ）の計算回数で検索することができる。
【００４７】
（ステップ２０６）
次に、ステップ２０３に移って新しい特徴点ｐ1 をランダムに選択する。
【００４８】
（ステップ２０７）
このステップ２０６を一定回数繰り返した後、選択した全ての特徴点Ｐ１について、検索によって類似した特徴点の組み合わせが得られなければ、次のステップ２０８へ移る。特徴点の組み合わせが得られた場合は、ステップ２０９に移る。
【００４９】
（ステップ２０８）
ステップ２０６が終了したのであれば、ステップ２０３に移って新しい特徴点ｐ0 をランダムに選択する。この時、ｐ0 の選択を一定回数繰り返したならば、画像から対象物は検出できなかったと判定して認識部２４の処理を終了する。
【００５０】
（ステップ２０９）
ステップ２０６で検索した照合情報を集計して特徴点ｐ0 に対応する照合情報中の特徴点の候補を求める。ステップ２０５での照合情報検索では、画像中の特徴点ｐ0 ，ｐ1 からなる線分が例えば照合情報の特徴点Ｐi ，Ｐj からなる線分に類似しているという結果が得られるが、これからｐ0 がＰi に対応することが判る。したがって、ステップ２０６での繰り返し処理で一つのｐ0 と複数のｐ1 の組み合わせについて照合情報の検索を行い、線分毎にｐ0 に照合情報中のどの特徴点が対応するかを投票し、その結果を集計すれば実際にｐ0 に対応する種別の、対応する点では複数のカウントが得られる。
【００５１】
ここでは、集計された特徴点を照合情報中の特徴点の候補とする。
【００５２】
（ステップ２１０）
そして、これら特徴点の候補のカウント数が一定閾値が３以上であればステップ２１１に進み、３未満であればステップ２０８に戻る。
【００５３】
（ステップ２１１）
ステップ２１０で得られた閾値が３以上の特徴点候補について、実際にｐ0 に対応する特徴点かどうか判定処理を行う。判定結果によって候補が対象物であると判定された場合はその結果を出力して終了する。対象物と判定されなかった場合はステップ２０８に移る。
【００５４】
判定処理のための評価値には、例えば、(1) 幾何学的評価値と(2) パターン評価値の２種類がある。
【００５５】
(1) 幾何学的評価値
ｐ0 に対応する点がＰ０であり、ステップ２０６の照合情報検索の繰り返し処理でｐ1 〜ｐn がＰ１〜Ｐｎに対応しているとする。この時、以下の式を解いて対応点間のアフィン変換パラメータをａ〜ｆを最小自乗法で求める。この時の推定残差を候補の幾何学的評価値とする。
【００５６】
【数４】
(2) パターン評価値
パターン評価値とは対応する線分の明度分布パターンの距離の総和をいう。
【００５７】
そして、判定処理は、評価関数ｆを使って、この上記(1) (2) の方法で求めた評価値が予め定めた一定閾値より小さい場合に対応する特徴点であると判定する。
【００５８】
評価関数には、例えば幾何学的評価値ｘとパターン評価値ｙの２種類を用いて以下に示す二つの評価値に一定の重みをかけて加えたｆ（ｘ，ｙ）を使う。
【００５９】
【数５】
また、評価関数に、幾何学的評価値かパターン評価値のいずれか一方だけを使っても構わない。
【００６０】
【発明の効果】
以上述べたように、本発明の物体認識装置及びその方法は、２つの特徴点から得られるる分布ベクトルを用いて照合を行うので、画像から選ぶ特徴点の組み合わせの場合の数が少なく、効率良く対象物を認識できる。
【００６１】
また、２つの特徴点を結ぶ線分上の分布ベクトルはアフィン変換に不変であるので、パラメータを用いてパターンを近似表現することなく照合を行える。
【図面の簡単な説明】
【図１】物体認識装置のシステム構成図である。
【図２】前処理部のフローチャートである。
【図３】特徴点の例である。
【図４】明度分布ベクトルの例である。
【図５】記憶部のデータ構造である。
【図６】認識部のフローチャートである。
【符号の説明】
１０ 物体認識装置
１２ 画像入力部
１４ 記憶部
１６ 前処理部
１８ 特徴点抽出部
２０ 明度分布ベクトル獲得部
２２ 照合情報作成部
２４ 認識部
【発明の属する技術分野】
本発明は、平面物体の三次元位置と姿勢を認識する物体認識装置及びその方法に関する。
【０００２】
【従来の技術】
テレビカメラなどで撮影した画像から目的の物体を認識し、その位置と姿勢を計算する画像処理手法の研究が行われている。この画像処理手法は、ロボットが手でつかむ部品を見つけるハンドアイシステムや、自動走行車が交通標識を見つけるために使ったり、物流現場で荷物に貼付された荷札を見つけるために使ったりするなど様々な応用のために必要とされている。
【０００３】
この手法で対象となる物体の多くは、交通標識や荷札などの平面物体である。対象を三次元の凹凸のある物体ではなく平面物体に限った研究も行われている。その従来例に、例えば、Y.Lamdan, J.T.Schwarta, and H.J.Wolfson. がProceedings of IEEE International Conference on Robotics and Automation において８８年に発表した"On reccognition of 3-D Objects from 2D images" で示された、Geometric Hashing という手法がある。
【０００４】
この手法では、Ｍ点の特徴点の集合で対象を表現する。対象から幾何学的不変量を計算するために必要なｎ点（平面の場合は通常４点以上）として、Ｍ点からｎ点を選択する全ての組み合わせについて、その組み合わせの幾何学的不変量と残ったＭ−ｎ点の配置を記憶する。
【０００５】
対象を認識するときには、画像中の特徴点からｎ点の組み合わせを選択し、それが記憶した幾何学的不変量と一致するときに、残ったＭ−ｎの特徴点の配置を用いて対象物であるか検証を行って対象を認識する。
【０００６】
この手法では、対象の特徴点の数が多くなると記憶する照合情報が膨大になることと、画像中の対象物以外の特徴点の数が多くなると、うまく対象物だけから特徴点を選択する確率が低くなる欠点がある。
【０００７】
また、前記とは別の手法で、例えば、H.Murase, S.K.Nayer の"Visual Learning and Recognition of 3-D Objects from Appearance" , International Journal of Computer Vision vol 14-1 p.5-24 で示された、パラメトリック固有空間法という手法がある。この手法では、予め対象物の位置と姿勢を変化した画像を主成分分析する。対象物の位置姿勢の変化によるパターンの変化をパターンの主成分を位置と姿勢をパラメータとした多項式関数で近似した辞書を作成する。対象物を認識する際には、画像から取り出した領域と主成分分析で得られた主固有パターンとの内積で主成分を求め、これを辞書の主成分と比較して認識を行う。
【０００８】
しかし、対象となる物体の位置姿勢は、三次元の位置と向きを合わせて六次元の自由度があり、画像中での座標を指定したとしても四次元の自由度が残っている。四次元の自由度を持つ関数を多項式に近似するのは近似誤差が大きく認識率が低下する。
【０００９】
【発明が解決しようとする課題】
以上述べたように、従来方式では、特徴点の組み合わせを調べる場合は点数が増えると組み合わせの数が増大して認識に時間がかかるという問題があった。また、画像パターン自体を照合する方式では、パターン変化の自由度が大きく、近似関数で表すことが困難であるという問題があった。
【００１０】
そこで本発明は、上記問題点に鑑みて平面物体の三次元位置と姿勢を効率よく認識する物体認識装置及び方法を提供する。
【００１１】
【課題を解決するための手段】
本発明は、カメラなどで撮影した画像中に写っている平面物体である対象物の種別、位置、姿勢などを認識する物体認識装置であって、前記認識したい対象物である認識物を撮影した画像における２つの特徴点の座標を両端点とする線分上の座標集合上の前記画像の明度や彩度などのパターン分布を獲得し、それを距離について正規化した認識用分布ベクトルを獲得する分布ベクトル獲得手段と、予め認識した対象物である照合物について作成された照合情報を記憶する記憶手段と、前記分布ベクトル獲得手段で得られた前記認識用分布ベクトルと、前記記憶手段に記憶されている照合情報とを照合して、前記認識物を認識する認識手段を備えたことを特徴とする物体認識装置である。
【００１３】
【発明の実施の形態】
以下、本発明に関する実施例を図１から図６を用いて説明する。
【００１４】
図１は、本実施例による物体認識装置１０のシステム構成を示す構成図である。物体認識装置１０は、画像入力部１２と前処理部１６と記憶部１４と認識部２４とよりなる。
【００１５】
画像入力部１２
画像入力部１２は、ＴＶカメラ、ラインスキャンカメラなど画像入力デバイスで対象物の画像を撮影して、画像をデジタル化して出力する。
【００１６】
記憶部１４
記憶部１４は、照合対象となる対象物（以下、照合物という）の照合情報を記憶しているメモリである。この記憶部１４に記憶してある照合情報は、予め対象物を撮影した画像から前処理部１６で作成したものである。
【００１７】
前処理部１６
前処理部１６は、特徴点抽出部１８と明度分布ベクトル獲得部２０と照合情報作成部２２とよりなる。そして、前処理部１６は、２つの役割をする。
【００１８】
第１の役割は、特徴点抽出部１８と明度分布ベクトル獲得部２０と照合情報作成部２２とを使用して予め照合物を撮影した画像から照合情報を作成する。
【００１９】
第２の役割は、特徴点抽出部１８と明度分布ベクトル獲得部２０とを使用して、画像入力部１２からデジタル画像を入力し、認識したい対象物（以下、認識物という）の明度分布ベクトルを作成して、認識部２４に送る役割である。
【００２０】
認識部２４
認識部２４は、前処理部１６から送られてきた認識物の明度分布ベクトルと記憶部１４に記憶している照合物の照合情報を比較して、認識物の位置と姿勢を出力するものである。
【００２１】
照合物の照合情報の作成
照合物の照合情報を作成する手順を図２のフローチャートにしたがって説明する。
【００２２】
（ステップ１０１）
まず、例えば、照合物の形状が長方形である場合は画像中に写っている対象の四隅を指示するなどして、画像中から照合物の領域を指定する。照合物が荷札などの場合は対象の上に宛先などが書き込まれて個々の荷札でテクスチャーが異なる場合がある。このような場合には、個別対象で異なるテクスチャー領域も合わせて指定する。
【００２３】
（ステップ１０２）
特徴点抽出部１８は、入力した画像から、コーナー等幾何学的な特徴のある特徴点を抽出する。この特徴点の抽出処理には、例えば、Andrew Blake, Alan Yuille 著、"Active Vision" The MIT Press出版p-265 に示されたアルゴリズムを用いる。抽出された特徴点のうち、指定した認識対象の領域内にあり、かつ、個別対象で異なるテクスチャー領域の領域外にある特徴点を選択する。画像から特徴点を抽出した状態を図３に示す。
【００２４】
（ステップ１０３）
次に、ステップで選択された特徴点の数をｎ点から２点の組み合わせを重なりがないように順に選択する。但し、２点を端点とする線分が、個別対象で異なるテクスチャー領域と交差する場合は選択しない。
【００２５】
（ステップ１０４）
明度分布ベクトル獲得部２０は、選択した２点（Ｐ１とＰ２とする）を両端点とする線分を作成し、線分上にある画素を調べてＰ１からＰ２への順番に並べた明度分布を示すベクトルデータｓを作成する。図４に線分とそれに対応する明
度分布ベクトルの例を示す。
【００２６】
なお、画像がカラー画像などの場合は明度ではなく彩度の分布ベクトルを作成するなど、別のパターン情報を用いても良い。
【００２７】
また、明度分布ベクトルの作成では、選択した２点を両端点とする線分上の画素を使うのではなく、例えば、直線Ｐ１，Ｐ２の中点を通ってＰ１，Ｐ２と垂直なＰ１，Ｐ２と同じ長さの線分等、Ｐ１とＰ２の２点の座標から幾何学的に一意に決まる座標の集合上の画素を用いても構わない。
【００２８】
（ステップ１０５）
前記ベクトルｓの長さは、Ｐ１とＰ２の距離によって異なるので、明度分布
ベクトル獲得部２０は長さｌのベクトルｓを一定の長さｌ0 のベクトルｓ ＊に正規化する処理を行う。
【００２９】
ベクトルｓのｉ番目の要素をｓ ｉで表すとすると、正規化したベクトルのｊ番目の要素ｓ ｊ ＊は、もとのベクトルｓで、ｊｌ／ｌ0 番目の要素に相当する。しかし、ｊl ／ｌ0 は一般には整数ではないので、以下の式で表される内挿による補間で求めた値を正規化した値として用いる。
【００３０】
【数１】
【００３１】
（ステップ１０６）
全ての特徴点の組み合わせについて明度分布ベクトルを作成し、正規化を行った後、照合情報作成部２２は、これらの主成分分析を行って照合情報を作成する。ここで主成分分析を行うのは、記憶部１４に記憶させる場合に、正規化した明度分布ベクトルをそのまま記憶、検索させるのでは、記憶、検索する量が多いため、主成分分析を行って記憶、検索する量を少なくして効率を上げるためである。
【００３２】
先に得られた特徴点の組み合わせの数をｍとし、ｉ番目の組み合わせに関する正規化された明度分布ベクトルのｊ番目の要素をｓ j i で表す。まず、明度分布から、分散共分散行列Ｖを構成する。これは、以下のようにして求めることができる。
【００３３】
【数２】
【数３】
【００３４】
そして、この第１〜第ｋ番目（第ｋmax 番目）までの固有ベクトルを記憶部１４の固有ベクトルテーブルに記憶させる。
【００３５】
（ステップ１０７）
次に、照合用主成分テーブルを作成する。
【００３６】
まず、ステップ１０３で得られたｍ個の組み合わせの各々について、第ｋmax 番目までの主成分（以下、照合用主成分という）を計算する。すなわち、第ｉ照合用主成分は明度分布ベクトルと第ｉ固有ベクトルの内積で計算される。これらの照合用主成分と線分の端点となる特徴点のＩＤ、座標を記憶部１４に照合用主成分主成分テーブルとして記憶する。
【００３７】
得られた第ｉ照合用主成分の値を昇順にソートし、照合用主成分の値とそれに対応する特徴点の組み合わせを関連づけて記憶部１４に記憶する。記憶部１４に記憶されたデータ構造の例を図５に示す。認識する対象が複数ある場合は、それぞれの対象について前処理部１６で説明した処理を行う。その際、特徴点には対象毎に異なるＩＤを付けておく。
【００３８】
なお、照合情報とは、上記で説明した固有ベクトル、照合用主成分、特徴点のＩＤ、特徴点の座標をいう。
【００３９】
認識物の認識
認識物の認識手順について、図６のフローチャートにしたがって説明する。
【００４０】
（ステップ２０１）
まず、画像入力部１２から認識物のデジタル画像を前処理部１６が入力し、この入力した画像から、先にステップで述べた特徴点抽出部１８において、特徴点抽出処理を行って認識物の特徴点を抽出する。
【００４１】
（ステップ２０２）
次に、認識物の検出した特徴点からランダムに１点を選択する。これをｐ0 とする。
【００４２】
（ステップ２０３）
ｐ0 とは異なる特徴点ｐ1 をランダムに選択する。
【００４３】
（ステップ２０４）
ステップ１０５と同様に、明度分布ベクトル獲得部２０で選択した２点ｐ0 ，ｐ1 を端点とする線分上の認識物の正規化された明度分布ベクトルを作成する。
【００４４】
（ステップ２０５）
次に、認識物の正規化した明度分布ベクトルをキーにして照合情報から線分上の明度分布ベクトルの類似した特徴点の組み合わせを検索する。
【００４５】
この検索では、記憶部１４の固有ベクトルテーブルに記憶した第１からｋ番目までの固有ベクトルと、認識物の正規化した明度分布ベクトルの内積である主成分を求める。
【００４６】
そして、求めた主成分の値と記憶部１４の照合用主成分テーブルに記憶された照合用主成分の値を比較する。記憶部１４に記憶された特徴点の組み合わせから、ｋ番目までの主成分の全てで、両主成分の差が一定閾値以下であった組み合わせを検索結果とする。照合用主成分は、ソートされて記憶されているので、記憶された組み合わせの数をｎとすると、ｌｏｇ（ｎ）の計算回数で検索することができる。
【００４７】
（ステップ２０６）
次に、ステップ２０３に移って新しい特徴点ｐ1 をランダムに選択する。
【００４８】
（ステップ２０７）
このステップ２０６を一定回数繰り返した後、選択した全ての特徴点Ｐ１について、検索によって類似した特徴点の組み合わせが得られなければ、次のステップ２０８へ移る。特徴点の組み合わせが得られた場合は、ステップ２０９に移る。
【００４９】
（ステップ２０８）
ステップ２０６が終了したのであれば、ステップ２０３に移って新しい特徴点ｐ0 をランダムに選択する。この時、ｐ0 の選択を一定回数繰り返したならば、画像から対象物は検出できなかったと判定して認識部２４の処理を終了する。
【００５０】
（ステップ２０９）
ステップ２０６で検索した照合情報を集計して特徴点ｐ0 に対応する照合情報中の特徴点の候補を求める。ステップ２０５での照合情報検索では、画像中の特徴点ｐ0 ，ｐ1 からなる線分が例えば照合情報の特徴点Ｐi ，Ｐj からなる線分に類似しているという結果が得られるが、これからｐ0 がＰi に対応することが判る。したがって、ステップ２０６での繰り返し処理で一つのｐ0 と複数のｐ1 の組み合わせについて照合情報の検索を行い、線分毎にｐ0 に照合情報中のどの特徴点が対応するかを投票し、その結果を集計すれば実際にｐ0 に対応する種別の、対応する点では複数のカウントが得られる。
【００５１】
ここでは、集計された特徴点を照合情報中の特徴点の候補とする。
【００５２】
（ステップ２１０）
そして、これら特徴点の候補のカウント数が一定閾値が３以上であればステップ２１１に進み、３未満であればステップ２０８に戻る。
【００５３】
（ステップ２１１）
ステップ２１０で得られた閾値が３以上の特徴点候補について、実際にｐ0 に対応する特徴点かどうか判定処理を行う。判定結果によって候補が対象物であると判定された場合はその結果を出力して終了する。対象物と判定されなかった場合はステップ２０８に移る。
【００５４】
判定処理のための評価値には、例えば、(1) 幾何学的評価値と(2) パターン評価値の２種類がある。
【００５５】
(1) 幾何学的評価値
ｐ0 に対応する点がＰ０であり、ステップ２０６の照合情報検索の繰り返し処理でｐ1 〜ｐn がＰ１〜Ｐｎに対応しているとする。この時、以下の式を解いて対応点間のアフィン変換パラメータをａ〜ｆを最小自乗法で求める。この時の推定残差を候補の幾何学的評価値とする。
【００５６】
【数４】
パターン評価値とは対応する線分の明度分布パターンの距離の総和をいう。
【００５７】
そして、判定処理は、評価関数ｆを使って、この上記(1) (2) の方法で求めた評価値が予め定めた一定閾値より小さい場合に対応する特徴点であると判定する。
【００５８】
評価関数には、例えば幾何学的評価値ｘとパターン評価値ｙの２種類を用いて以下に示す二つの評価値に一定の重みをかけて加えたｆ（ｘ，ｙ）を使う。
【００５９】
【数５】
【００６０】
【発明の効果】
以上述べたように、本発明の物体認識装置及びその方法は、２つの特徴点から得られるる分布ベクトルを用いて照合を行うので、画像から選ぶ特徴点の組み合わせの場合の数が少なく、効率良く対象物を認識できる。
【００６１】
また、２つの特徴点を結ぶ線分上の分布ベクトルはアフィン変換に不変であるので、パラメータを用いてパターンを近似表現することなく照合を行える。
【図面の簡単な説明】
【図１】物体認識装置のシステム構成図である。
【図２】前処理部のフローチャートである。
【図３】特徴点の例である。
【図４】明度分布ベクトルの例である。
【図５】記憶部のデータ構造である。
【図６】認識部のフローチャートである。
【符号の説明】
１０ 物体認識装置
１２ 画像入力部
１４ 記憶部
１６ 前処理部
１８ 特徴点抽出部
２０ 明度分布ベクトル獲得部
２２ 照合情報作成部
２４ 認識部
Claims (10)
- カメラなどで撮影した画像中に写っている平面物体である対象物の種別、位置、姿勢などを認識する物体認識装置であって、
前記認識したい対象物である認識物を撮影した画像における２つの特徴点の座標を両端点とする線分上の座標集合上の前記画像の明度や彩度などのパターン分布を獲得し、それを距離について正規化した認識用分布ベクトルを獲得する分布ベクトル獲得手段と、
予め認識した対象物である照合物について作成された照合情報を記憶する記憶手段と、
前記分布ベクトル獲得手段で得られた前記認識用分布ベクトルと、前記記憶手段に記憶されている照合情報とを照合して、前記認識物を認識する認識手段を備えた
ことを特徴とする物体認識装置。 - 前記物体認識装置は、照合情報作成手段も有し、
前記分布ベクトル獲得手段は、前記照合物に関して正規化した照合用分布ベクトルを獲得し、
前記照合情報作成手段は、前記分布ベクトル獲得手段が獲得した照合用分布ベクトルの集合から照合情報を作成し、
前記記憶手段は、前記照合情報作成手段によって作成した照合情報を記憶する
ことを特徴とする請求項１に記載の物体認識装置。 - 前記照合情報作成手段は、
前記照合用分布ベクトルの集合に主成分分析を施して照合情報を作成する
ことを特徴とする請求項２に記載の物体認識装置。 - 前記認識手段は、
前記認識用分布ベクトルと前記照合情報を用いて、前記認識物に関する特徴点と対応する前記照合物に関する特徴点を選択し、
この選択した照合物に関する特徴点を用いて、前記認識物が前記照合物に該当する否かを判定する
ことを特徴とする請求項１に記載の物体認識装置。 - 前記照合情報作成手段は、
前記照合用分布ベクトルの集合から照合情報の一つとして固有ベクトルを作成し、
前記認識手段は、
検索手段と繰返し手段と対応付け手段を有し、
前記検索手段は、
前記認識物に関する２つの特徴点から得られる前記認識用分布ベクトルと前記固有ベクトルの内積によって認識用主成分を計算し、
前記照合物に関する２つの特徴点から得られる前記照合用分布ベクトルと前記固有ベクトルの内積によって照合用主成分を計算し、
前記認識用主成分と前記照合用主成分とを比較して、閾値以上に類似した前記
照合用主成分を持つ照合用分布ベクトルを検索して、この検索した照合用分布ベクトルを類似照合用分布ベクトルと決定し、
前記繰返し手段は、
前記認識物に関する一の特徴点を基準点として選択し、この基準点とそれ以外の特徴点から得られた複数の前記認識用分布ベクトルについて前記検索手段による検索を繰返し行って類似照合用分布ベクトルをそれぞれ決定し、
前記対応付け手段は、
前記繰返し手段で得られた複数の類似照合用分布ベクトルの獲得に用いた照合物に関する特徴点を集計し、前記基準点とその集計数の最も多い照合物に関する特徴点を対応付けする
ことを特徴とする請求項４に記載の物体認識装置。 - カメラなどで撮影した画像中に写っている平面物体である対象物の種別、位置、姿勢などを認識する物体認識方法であって、
前記認識したい対象物である認識物を撮影した画像における２つの特徴点の座標を両端点とする線分上の座標集合上の前記画像の明度や彩度などのパターン分布を獲得し、それを距離について正規化した認識用分布ベクトルを獲得する分布ベクトル獲得ステップと、
予め認識した対象物である照合物について作成された照合情報を記憶する記憶ステップと、
前記分布ベクトル獲得ステップで得られた前記認識用分布ベクトルと、前記記憶ステップに記憶されている照合情報とを照合して、前記認識物を認識する認識ステップを備えた
ことを特徴とする物体認識方法。 - 前記物体認識方法は、照合情報作成ステップも有し、
前記分布ベクトル獲得ステップは、前記照合物に関して正規化した照合用分布ベクトルを獲得し、
前記照合情報作成ステップは、前記分布ベクトル獲得ステップが獲得した照合
用分布ベクトルの集合から照合情報を作成し、
前記記憶ステップは、前記照合情報作成ステップによって作成した照合情報を記憶する
ことを特徴とする請求項６に記載の物体認識方法。 - 前記照合情報作成ステップは、
前記照合用分布ベクトルの集合に主成分分析を施して照合情報を作成する
ことを特徴とする請求項７に記載の物体認識方法。 - 前記認識ステップは、
前記認識用分布ベクトルと前記照合情報を用いて、前記認識物に関する特徴点と対応する前記照合物に関する特徴点を選択し、
この選択した照合物に関する特徴点を用いて、前記認識物が前記照合物に該当する否かを判定する
ことを特徴とする請求項６に記載の物体認識方法。 - 前記照合情報作成ステップは、
前記照合用分布ベクトルの集合から照合情報の一つとして固有ベクトルを作成
し、
前記認識ステップは、
検索ステップと繰返しステップと対応付けステップを有し、
前記検索ステップは、
前記認識物に関する２つの特徴点から得られる前記認識用分布ベクトルと前記固有ベクトルの内積によって認識用主成分を計算し、
前記照合物に関する２つの特徴点から得られる前記照合用分布ベクトルと前記固有ベクトルの内積によって照合用主成分を計算し、
前記認識用主成分と前記照合用主成分とを比較して、閾値以上に類似した前記照合用主成分を持つ照合用分布ベクトルを検索して、この検索した照合用分布ベクトルを類似照合用分布ベクトルと決定し、
前記繰返しステップは、
前記認識物に関する一の特徴点を基準点として選択し、この基準点とそれ以外の特徴点から得られた複数の前記認識用分布ベクトルについて前記検索ステップによる検索を繰返し行って類似照合用分布ベクトルをそれぞれ決定し、
前記対応付けステップは、
前記繰返しステップで得られた複数の類似照合用分布ベクトルの獲得に用いた照合物に関する特徴点を集計し、前記基準点とその集計数の最も多い照合物に関する特徴点を対応付けする
ことを特徴とする請求項９に記載の物体認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08133198A JP3859347B2 (ja) | 1998-03-27 | 1998-03-27 | 物体認識装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08133198A JP3859347B2 (ja) | 1998-03-27 | 1998-03-27 | 物体認識装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11283031A JPH11283031A (ja) | 1999-10-15 |
| JP3859347B2 true JP3859347B2 (ja) | 2006-12-20 |
Family
ID=13743408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08133198A Expired - Fee Related JP3859347B2 (ja) | 1998-03-27 | 1998-03-27 | 物体認識装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3859347B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004252511A (ja) * | 2003-02-18 | 2004-09-09 | Hitachi Ltd | 顔向き推定方法 |
| US7257268B2 (en) * | 2003-02-28 | 2007-08-14 | Aperio Technologies, Inc. | Systems and methods for image pattern recognition |
| JP4750612B2 (ja) * | 2006-04-21 | 2011-08-17 | キリンエンジニアリング株式会社 | シュリンクフィルム検査装置及びシュリンクフィルム検査方法 |
| JP2010025759A (ja) | 2008-07-18 | 2010-02-04 | Fuji Xerox Co Ltd | 位置計測システム |
| JP2011163900A (ja) * | 2010-02-09 | 2011-08-25 | Casio Computer Co Ltd | 画像処理装置、画像処理プログラム、及び画像処理方法 |
-
1998
- 1998-03-27 JP JP08133198A patent/JP3859347B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11283031A (ja) | 1999-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Soltanpour et al. | A survey of local feature methods for 3D face recognition | |
| Schmid et al. | Local grayvalue invariants for image retrieval | |
| Bak et al. | Person re-identification using spatial covariance regions of human body parts | |
| US7200270B2 (en) | Pattern recognition apparatus and method using distributed model representation of partial images | |
| Fehr et al. | Compact covariance descriptors in 3d point clouds for object recognition | |
| Zhou et al. | An efficient 3-D ear recognition system employing local and holistic features | |
| Arbeiter et al. | Evaluation of 3D feature descriptors for classification of surface geometries in point clouds | |
| CN101510257A (zh) | 一种人脸相似度匹配方法及装置 | |
| Wang et al. | Head pose estimation with combined 2D SIFT and 3D HOG features | |
| JP3914864B2 (ja) | パターン認識装置及びその方法 | |
| Jayaraman et al. | An efficient color and texture based iris image retrieval technique | |
| Gürel et al. | Design of a face recognition system | |
| Verlekar et al. | View-invariant gait recognition exploiting spatio-temporal information and a dissimilarity metric | |
| JP3859347B2 (ja) | 物体認識装置及びその方法 | |
| Mian et al. | 2D and 3D multimodal hybrid face recognition | |
| Prakash | False mapped feature removal in spin images based 3D ear recognition | |
| KR101733288B1 (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
| Bousnina et al. | Learning system for mobile robot detection and tracking | |
| Yu et al. | Head pose estimation in thermal images for human and robot interaction | |
| Chtourou et al. | Walking direction estimation for gait based applications | |
| Mittal et al. | Small object discovery and recognition using actively guided robot | |
| Thuresson et al. | Finding object categories in cluttered images using minimal shape prototypes | |
| Seib et al. | Ensemble classifier for joint object instance and category recognition on rgb-d data | |
| Soltanpour et al. | Multimodal 2D-3D face recognition using structural context and pyramidal shape index | |
| Ratyal et al. | 3D face recognition based on region ensemble and hybrid features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060919 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |