JP4050587B2 - 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 - Google Patents
物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4050587B2 JP4050587B2 JP2002312686A JP2002312686A JP4050587B2 JP 4050587 B2 JP4050587 B2 JP 4050587B2 JP 2002312686 A JP2002312686 A JP 2002312686A JP 2002312686 A JP2002312686 A JP 2002312686A JP 4050587 B2 JP4050587 B2 JP 4050587B2
- Authority
- JP
- Japan
- Prior art keywords
- differential
- eigenspace
- image
- vector
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像内に、どのような対象が写っているかを識別する画像識別技術に属し、その具体的な産業応用システムとして、例えば画像検索システムなどが挙げられる。
【0002】
【従来の技術】
画像認識技術は、画像データ内のある領域がどのカテゴリーに属するかを特定する技術である。パターンマッチング方式では、入力画像の中にあらかじめ作成した標準パターンと同じ物があるか、あるいは近いものがあるかを検出する。標準パターンは、そのパターンを良く示す特徴を用いて表現される。代表的な手法であるテンプレートマッチング方法では、濃淡画像を特徴としたテンプレートや、濃淡画像を微分した微分濃淡画像を特徴とするテンプレートを標準パターンとして利用するのが一般的である。
【0003】
しかしながら、従来の手法では、以下の2つの問題があった。
【0004】
(1)対象物のパラメータ、撮影条件のパラメータが多い場合にデータ量が指数関数的に大きくなるため、対応ができなくなる。
【0005】
例えば、屋外などで、照明条件が大きく変化し、かつ、対象の見え方が撮影位置によって大きく変化する3次元物体の場合、パターンマッチング方式では、必要になるテンプレート数(パラメータの組み合わせ数)が膨大になり、現実的ではなかった。
【0006】
(2)似た物体を識別したい際に、相関値や同時生起確率だけでは、間違える可能性が高く、実用化できない。
【0007】
例えば、「大」と「太」などの見え方が似ている文字の場合、パターンマッチング方式では、「大」を識別しても、「大」と「太」の各テンプレートによる相関値はどちらも高くなり、間違える可能性が高かった。
【0008】
上記間題点を解く従来方法として、テンプレートを圧縮する方法がある(例えば、非特許文献1参照)。
【0009】
【非特許文献1】
「2次元照合による3次元物体認識−パラメトリック固有空間法−」(村瀬 洋、S.K.Nayer著、信学論、J77-D-II,No.11,2179-2187、1994年、11月)
【0010】
【発明が解決しようとする課題】
従来のテンプレートを圧縮する方法においても、照明条件がシミュレーション可能である環境下でないと利用できないなどの制約があった。
【0011】
本発明の目的は、照明条件などの撮影条件による影響を小さくしながら、データ量を少なくし、似た物体の識別精度を高くした物体識別装置、物体識別方法、物体識別のためのプログラムおよびこのプログラムを記録した記録媒体を提供することにある。
【0012】
【課題を解決するための手段】
本発明では、上記課題を解決するために、
識別したい物体の学習段階において、
(1)物体からの距離が一定となる球面上の複数の視点からの画像を入力し、各画素値を光エネルギー量に変換し、光エネルギー量に対して対数変換を行い、画像のx(横)方向の微分とy(縦)方向の微分を計算し、微分の方向と強さを計算する。
【0013】
(2)すべての画素の微分方向と強さを要素とした1つのベクトルとし、(1)で撮影した画像をサンプルとして主成分分析し、寄与率の合計が一定以上になる固有空間を構成することにより、対象のテンプレートを圧縮する。
【0014】
(3)作成された固有空間に対し、他の物体の固有空間との判別平面を求める。
【0015】
また、画像の照合段階において、
(4)照合したい入力画像の一部を選択し、対象領域を切り出し、回転、拡大縮小の変形を加えた画像を生成し、生成された画像の各画素値に対して対数変換を行い、画像のx(横)方向の微分とy(縦)方向の微分を計算し、微分の方向と強さを計算する。
【0016】
(5)すべての画素の微分方向と強さを1つのベクトルとみなし、各物体の固有空間との距離を求める。
【0017】
(6)ある閾値以下の距離を示した物体同士の双対空間にベクトルを投影し、双対空間上で判別を行う。
【0018】
以上の処理要素からなる本発明により、以下の3つの作用効果を得る。
【0019】
・処理要素(1)、(4)により、画素値の対数(Log)をとっており、照明光の変化に対して大きさの変動による影響は小さくなる。また、微分の方向は照明光による変化の影響を受けない。すなわち、照明光の変化による画素値の変化を吸収できる特徴を用いるため、照明による変化を考慮しなくてもよいため、用意するべきデータを大幅に削減できる。
【0020】
・処理要素(2)、(5)により、各画像を圧縮するため、用意するべきデータを圧縮できる。また、圧縮によって、固有空間からの距離値の精度を高めることができる。
【0021】
・処理要素(3)、(6)により、識別したい物体の中に、似た物体が存在していても、判別平面で判別するため、精度高く対象物を識別することができる。
【0022】
以上のことから、本発明は、以下の装置、方法、プログラム、記録媒体を特徴とする。
【0023】
(物体識別装置の発明)
(1)物体からの距離が一定となる球面上の複数の視点、それぞれから物体を撮影した複数の画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、前記複数の画像それぞれについて、画像中の各画素値に対して対数変換をする対数変換手段と、
前記対数変換を行った前記複数の画像それぞれについて、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記微分成分の計算を行った前記複数の画像それぞれについて、1画像中のすべての画素の微分方向と強さを1つのベクトルとみなしたベクトルを作成し、作成された複数のベクトルに対して主成分分析を行い、固有ベクトルと寄与率を計算する主成分分析手段と、
前記寄与率の合計が一定以上になる固有空間を構成する固有空間構成手段と、
該固有空間を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。
【0024】
(2)入力画像中の対象が予め登録された複数の物体のいずれの物体であるかを識別する物体識別装置であって、
前記入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、
前記入力画像から生成された画像中の各画素値に対して対数変換を行う対数変換手段と、
前記対数変換を行った前記入力画像について、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記微分成分の計算を行った前記入力画像について、すべての画素の微分方向と強さを1つのベクトルとみなし、前記ベクトルと予め蓄積手段に保存された各登録物体の固有空間との距離を求める固有空間距離計算手段と、
最小の固有空間距離を示す前記登録物体を識別結果として出力する出力手段と、
を有することを特徴とする物体識別装置。
【0025】
(3)物体からの距離が一定となる球面上の複数の視点、それぞれから物体を撮影した複数の画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、前記複数の画像それぞれについて、画像中の各画素値に対して対数変換をする対数変換手段と、
前記対数変換を行った前記複数の画像それぞれについて、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記微分成分の計算を行った前記複数の画像それぞれについて、1画像中のすべての画素の微分方向と強さを1つのベクトルとみなしたベクトルを作成し、作成された複数のベクトルに対して主成分分析を行い、固有ベクトルと寄与率を計算する主成分分析手段と、
前記寄与率の合計が一定以上になる固有空間を構成するする固有空間構成手段と、
前記作成された各固有空間同士を判別する判別平面をWidrow−Hoffの方法またはSVMの原理を用いて求める判別平面構成手段と、
該固有空間および判別平面を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。
【0026】
(4)入力画像中の対象が、予め登録された複数の物体のいずれの物体であるかを識別する物体識別装置であって、
前記入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、
前記入力画像から生成された画像中の各画素値に対して対数変換を行う対数変換手段と、
前記対数変換を行った前記入力画像について、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記微分の計算を行った前記入力画像について、すべての画素の微分方向と強さを1つのベクトルとみなし、前記ベクトルと予め蓄積手段に保存された各登録物体の固有空間との距離を求める固有空間距離計算手段と、
前記固有空間距離計算手段で求められた固有空間との距離が小さい順に既定の個数の登録物体に対して、前記蓄積手段に保存された固有空間の物体同士の判別平面により、各登録物体のいずれの固有空間に属するかを判別して出力する判別手段と、
を有することを特徴とする物体識別装置。
【0028】
(5)前記主成分分析手段において、すべての画素の微分方向と強さを1つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を1つのベクトルとみなす主成分分析手段を有することを特徴とする(1)〜(4)のいずれか1項に記載の物体識別装置。
【0029】
(6)前記固有空間距離計算手段において、すべての画素の微分方向と強さを1つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を1つのベクトルとみなす固有空間距離計算手段を有することを特徴とする(2)または(4)に記載の物体識別装置。
【0030】
(物体識別方法の発明)
(7)物体からの距離が一定となる球面上の複数の視点、それぞれから物体を撮影した複数の画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、前記複数の画像それぞれについて、画像中の各画素値に対して対数変換をする対数変換段階と、
前記対数変換を行った前記複数の画像それぞれについて、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記微分成分の計算を行った前記複数の画像それぞれについて、1画像中のすべての画素の微分方向と強さを1つのベクトルとみなしたベクトルを作成し、作成された複数のベクトルに対して主成分分析を行い、固有ベクトルと寄与率を計算する主成分分析段階と、
前記寄与率の合計が一定以上になる固有空間を構成する固有空間構成段階と、
該固有空間を蓄積する蓄積段階と、
を有することを特徴とする物体識別方法。
【0031】
(8)入力画像中の対象が予め登録された複数の物体のいずれの物体であるかを識別する物体識別方法であって、
前記入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、
前記入力画像から生成された画像中の各画素値に対して対数変換を行う対数変換段階と、
前記対数変換を行った前記入力画像について、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記微分成分の計算を行った前記入力画像について、すべての画素の微分方向と強さを1つのベクトルとみなし、前記ベクトルと予め蓄積手段に保存された各登録物体の固有空間との距離を求める固有空間距離計算段階と、
最小の固有空間距離を示す前記登録物体を識別結果として出力する出力段階と、
を有することを特徴とする物体識別方法。
【0032】
(9)物体からの距離が一定となる球面上の複数の視点、それぞれから物体を撮影した複数の画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、前記複数の画像それぞれについて、画像中の各画素値に対して対数変換をする対数変換段階と、
前記対数変換を行った前記複数の画像それぞれについて、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記微分成分の計算を行った前記複数の画像それぞれについて、1画像中のすべての画素の微分方向と強さを1つのベクトルとみなしたベクトルを作成し、作成された複数のベクトルに対して主成分分析を行い、固有ベクトルと寄与率を計算する主成分分析段階と、
前記寄与率の合計が一定以上になる固有空間を構成するする固有空間構成段階と、
前記作成された各固有空間同士を判別する判別平面をWidrow−Hoffの方法またはSVMの原理を用いて求める判別平面構成段階と、
該固有空間および判別平面を蓄積する蓄積段階と、
を有することを特徴とする物体識別方法。
【0033】
(10)入力画像中の対象が、予め登録された複数の物体のいずれの物体であるかを識別する物体識別方法であって、
前記入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、
前記入力画像から生成された画像中の各画素値に対して対数変換を行う対数変換段階と、
前記対数変換を行った前記入力画像について、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記微分の計算を行った前記入力画像について、すべての画素の微分方向と強さを1つのベクトルとみなし、前記ベクトルと予め蓄積手段に保存された各登録物体の固有空間との距離を求める固有空間距離計算段階と、
前記固有空間距離計算段階で求められた固有空間との距離が小さい順に既定の個数の登録物体に対して、前記蓄積手段に保存された固有空間の物体同士の判別平面により、各登録物体のいずれの固有空間に属するかを判別して出力する判別段階と、
を有することを特徴とする物体識別方法。
【0035】
(11)前記主成分分析段階において、すべての画素の微分方向と強さを1つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を1つのベクトルとみなす主成分分析段階を有することを特徴とする(7)〜(10)のいずれか1項に記載の物体識別方法。
【0036】
(12)前記固有空間距離計算段階において、すべての画素の微分方向と強さを1つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を1つのベクトルとみなす固有空間距離計算段階を有することを特徴とする(7)または(9)に記載の物体識別方法。
【0037】
(プログラムの発明)
(13)上記の(7)〜(12)のいずれか1項の物体識別方法を、コンピュータで実行可能に構成したことを特徴とする物体識別方法のプログラム。
【0038】
(記録媒体の発明)
(14)上記の(7)〜(12)のいずれか1項の物体識別方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【0039】
【発明の実施の形態】
(実施形態1)
以下、本発明の実施の形態例1について図を用いて詳細に説明する。
【0040】
図1は、本発明をおみやげ人形識別システムに適用した例であり、本システムにより、ユーザは、撮影したおみやげ人形の画像を基に、そのおみやげ人形の詳細情報をみることができる。ただし、あらかじめ、おみやげ人形製造者がセンタにおみやげ人形の情報を登録していることが前提となる。システムは、学習装置1と識別装置2および登録情報蓄積検索装置3から構成される。
【0041】
学習装置1と識別装置2は、複数の視点から物体を撮影した複数視点画像を用いて物体を登録し、登録された複数の物体を識別する。登録情報蓄積検索装置3は、物体名と登録情報を蓄積しておき、物体名から登録情報を検索する装置であり、一般のデータベースにより構築できるため、本実施形態では詳細を記載しない。
【0042】
学習装置1は、複数の視点から物体を撮影した複数視点画像から識別に必要な情報を求め、蓄積する。識別装置2は、ユーザが入力する画像と蓄積装置に蓄積された識別に必要な情報を利用し、画像に撮影された物体を識別する。
【0043】
以下の例では、「ダルマ」、「大仏」、「こけし」の3種類のおみやげ品を登録/識別する場合を例に説明する。
【0044】
本実施形態では、「ダルマ」の複数視点画像数をS(ダルマ)、「大仏」の複数視点画像数をS(大仏)、「こけし」の複数視点画像数をS(こけし)で表す。また、以後の表現では、画像の名前をIとすると、各画素値をI(x,y)で表現する。複数視点画像は、例えば、図2のように、対象物の中心を原点とした極座標(r、α、β)で考えると、各視点をr=R、α=5n度、β=5m度として5184枚撮影する。ただし、Rは定数、nは0以上71以下の整数、mは0以上71以下の整数とする。
【0045】
図3は、本発明の請求項1等に対応させた図であって、学習装置1および識別装置2の詳細を説明している。学習装置1は、複数の視点から物体を撮影した複数視点画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換する対数変換手段1Aと、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段1Bと、すべての画素の微分方向を強さを1つのベクトルとみなし、1画像を1サンプルとして主成分分析する主成分分析手段1Cと、寄与率の合計が所定値以上になる固有空間を構成する固有空間構成手段1Dと、該固有空間を蓄積する蓄積手段1Eから構成されている。
【0046】
識別装置2は、照合したい入力画像(識別対象画像)の一部を選択して対象領域を切り出して回転、拡大・縮小の変形を加えた画像を生成する変形画像生成手段2Aと、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行う対数変換手段2Bと、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段2Cと、すべての画素の微分方向と強さを1つのベクトルとみなして各物体の固有空間との距離を求める固有空間距離計算手段2Dと、最小の固有空間距離を示す物体を識別結果として出力する出力手段2Eにより構成される。
【0047】
以下では図を用いながら、各手段の詳細を示す。
【0048】
対数変換装置1Aは、入力画像の各画素値を光エネルギー量に変換し、光エネルギー量に対して、例えば、I(x、y)=log10I(x、y)のように、対数変換を行う。一般の画像の画素値は、CCDの特性関数をF、光エネルギー量値をvとすると、画素値=F(v)と表されるため、v=F-1(画素値)と変換する。Fがわからない場合は、v=画素値とする。対数変換では、例えば、以下のように変換する。
【0049】
【数1】
v(x,y)=log10(1+v(x,y))
微分強度方向計算手段の例を図4に示す。原画像Iの横をx軸、縦をy軸と考える。画像は横Xピクセル×縦Yピクセルであり、画像サイズはX×Yとなる。まず、原画像に対し、ソーベルオペレータを作用させ、x方向の微分を計算したx方向微分画像Dxと、y方向の微分を計算したy方向微分画像Dyを生成する。ソーベルオペレータでは、以下の式に従って画素値を求める。
【0050】
【数2】
【0051】
ただし、ソーベルオペレータを用いるのは一例であって、その他の方法であってもよい。
【0052】
次に、微分強度画像Diと微分方向画像Ddの各画素を以下の手段で求める。
【0053】
【数3】
【0054】
最後に、DiとDdを左右で連結して微分強度方向画像Didを作成する。Didのサイズは、2X×Yとなる。なお、微分強度方向画像ベクトルは、図16のように、DiとDdを左右で連結する代わりに、DxとDyを左右で連結してもよい。
【0055】
主成分分析手段1Cは、複数の入力ベクトルに対して、主成分分析を行い、固有ベクトルと寄与率を計算する。これには以下の手段で計算する。
【0056】
(1)入力ベクトル群の共分散行列を求める。
【0057】
(2)共分散行列の固有値(寄与率)、固有ベクトルを求める。
【0058】
図5は、すべての画素の微分方向と強さを1つのベクトルとみなす例である。
微分強度方向画像のベクトルは、Did(0,0)、Did(0,1)〜Did(m,n)〜Did(2X−1,Y−1)を各要素としたベクトルとなる。
【0059】
固有空間構成手段1Dは、各固有ベクトルと該固有ベクトルの寄与率から、固有空間を構成する。図6は、寄与率の合計が一定以上となる固有空間の構成例である。たとえば、「ダルマ」の複数視点画像を主成分分析し、10次元の固有ベクトルで寄与率の合計が80%以上となった場合、寄与率の上位10個の固有ベクトルで固有空間を構成する。また、「大仏」の複数視点画像を主成分分析し、12次元の固有ベクトルで寄与率の合計が80%以上となった場合、寄与率の上位12個の固有ベクトルで固有空間を構成する。また、「こけし」の複数視点画像を主成分分析し、9次元の固有ベクトルで寄与率の合計が80%以上となった場合、寄与率の上位9個の固有ベクトルで固有空間を構成する。
【0060】
図6では、3次元で原空間を表現しているが、実際は、2X×Y次元の空間である。また、2次元平面で固有空間を表現しているが、実際は、9,10,12次元の空間である。
【0061】
蓄積手段1Eでは構成された固有空間を特定するパラメータ、ベクトルの要素を蓄積する。図7は、固有空間を蓄積するフォーマットであって、物体毎にエントリがある。各エントリには、物体名、固有ベクトルの数、各固有ベクトル(2X×Y次元)が保存されている。
【0062】
識別装置2の変形画像生成手段2Aでは、ある画素を中心として、定められたサイズ(学習段階の画像と同サイズ、X×Y)の領域を切り出し、変形パラメータの組み合わせ数分(P)の矩形画像を生成する。変形パラメータの例としては、画像の回転パラメータや、拡大・縮小パラメータ、アフィン変換パラメータ等がある。本実施形態では以下のアフィン変換パラメータを例として採用する。
【0063】
【数4】
【0064】
アフィンパラメータの組み合わせ数Pは、各パラメータが取り得る数をPa,Pb,Pc,Pdとすると、P=Pa*Pb*Pc*Pdで求められる。
【0065】
対数変換手段2Bおよび微分強度方向計算手段2Cは、変形画像に対して学習装置1の1A,1Bと同等の変換、計算を行う。
【0066】
固有空間距離計算手段2Dでは、変形後に生成された矩形画像の微分強度方向画像であるEと、各物体の固有空間との距離を求める。距離の計算式は以下のとおり。
【0067】
【数5】
距離=(x0−x0’)2+(x1−x1’)2+…+(xs−xs)2
ただし、固有空間の次元数をs、E=(x0,x1,…,xs)、Eを固有空間に投影した点をE’=(x0’,x1’,…,xs’)とする。
【0068】
図8は、Eと「こけし」「ダルマ」「大仏」の距離を示している。
【0069】
出力手段2Eでは、固有空間との距離が最小である物体を識別結果として出力する。例では「ダルマ」が最小であるため、「ダルマ」を結果として出力する。
【0070】
図9は、本発明の請求項5等の学習段階を説明した図であって、学習装置の動作例を示したフローチャートである。学習装置1では以下の学習処理を行う。なお、以下の説明中で、Rは繰り返しループを、Sは処理ステップを示す。
【0071】
1:登録物体数(本例では3)分繰り返し[R1]
2:物体の複数視点数分繰り返し[R2]
3:原画像の入力[S1]
4:原画像の画素数(X×Y)分繰り返し[R3]
5:画素値を対数変換[S2]
6:繰り返し[R3]終了
7:原画像の画素数(X×Y)分繰り返し[R4]
8:微分強度方向の計算[S3]
9:繰り返し[R4]終了
10:繰り返し[R2]終了
11:主成分分析[S4]
12:固有空間の構成[S5]
13:固有空間の蓄積[S6]
14:繰り返し[R1]終了
図10は、本発明の請求項6等の識別段階を説明した図であって、識別装置の動作例を示したフローチャートである。識別装置2では以下の識別処理を行う。
【0072】
1:識別画像の入力[S11]
2:画素数分(本例ではα×β)分繰り返し[R11]
3:識別画像の領域切り出し[S12]
4:変形パラメータの組み合わせ数(P)分繰り返し[R12]
5:変形画像の生成[S13]
6:変形画像の画素数(X×Y)分繰り返し[R13]
7:画素値を対数変換[S14]
8:繰り返し[R13]終了
9:原画像の画素数(X×Y)分繰り返し[R14]
10:微分強度方向の計算[S15]
11:繰り返し[R14]終了
12:登録物体数分(本例では3)繰り返し[R15]
13:固有空間との距離計算[S16]
14:繰り返し[R15]終了
15:繰り返し[R12]終了
16:繰り返し[R11]終了
17:固有空間との距離が最小となる物体名を出力[S17]
(実施形態2)
以下、本発明の実施の形態例2について、図を用いて詳細に説明する。
【0073】
図11は、本発明の請求項3等に対応する図であって、実施形態1との差は、学習装置1において物体同士を識別する判別面を構成する判別面構成手段1Fが加わる点と、蓄積手段1Eに変更がある点と、識別装置2において判別手段2Fが加わる点である。本例では、実施形態1と重なる部分については記述せず、異なる点のみを記載する。
【0074】
判別面構成手段1Fは、物体同士を判別する平面を構成する。図12は、「ダルマ」と「大仏」の判別平面の例である。画像ベクトルEが領域Aに属する場合は「ダルマ」、領域Bに属する場合は「大仏」と判定される。判別平面を求める方法は、線形識別関数を用いたWidrow−Hoffの方法(「わかりやすいパターン認識」、オーム社、石井著:第2章〜3章を参照)やSVM(Support Vector Machine)の原理(「パターン識別」、新技術コミュニケーションズ、p.259〜p.262を参照)を用いて求める。
【0075】
蓄積手段1Eは、構成された固有空間と各物体同士の判別面を蓄積する。図13は、判別平面を蓄積するフォーマットであって、物体の組み合わせ毎にエントリがある。各エントリには、物体名1、物体名2、判別平面(2X×Y−1次元)が保存されている。
【0076】
判別手段2Fは、固有空間までの距離が上位N個の物体に対して判別平面を利用した判別を行う。上位N個の物体をO(1),O(2),…,O(N)で表現し、判別平面をH(O(a)、O(b))で表現する。判別結果をK(H(O(a),O(b)))={O(a)|O(b)}で表現する。この判別は、以下のようにして判別する。
【0077】
図14は、本発明の請求項7等の学習段階を説明した図であって、学習装置の動作例を示したフローチャートである。学習装置では以下の処理を行う。
【0078】
1:登録物体数(本例では3)分繰り返し[R21]
2:物体の複数視点数分繰り返し[R22]
3:原画像の入力[S21]
4:原画像の画素数(X×Y)分繰り返し[R23]
5:画素値を対数変換[S22]
6:繰り返し[R23]終了
7:原画像の画素数(X×Y)分繰り返し[R24]
8:微分強度方向の計算[S23]
9:繰り返し[R24]終了
10:繰り返し[R22]終了
11:主成分分析[S24]
12:固有空間の構成[S25]
13:固有空間の蓄積[S26]
14:繰り返し終了[R21]
15:登録物体数分繰り返し[R25]
16:判別平面の計算[S27]
17:繰り返し[R25]終了
図15は、本発明の請求項8等の識別段階を説明した図であって、識別装置の動作例を示したフローチャートである。識別装置では以下の処理を行う。
【0079】
1:識別画像の入力[S31]
2:識別画像の画素数分(本例ではα×β)分繰り返し[R31]
3:識別画像の領域の切り出し[S32]
4:変形パラメータの組み合わせ数(P)分繰り返し[R32]
5:変形画像の生成[S33]
6:変形画像の画素数(X×Y)分繰り返し[R33]
7:画素値を対数変換[S34]
8:繰り返し[R33]終了
9:原画像の画素数(X×Y)分繰り返し[R34]
10:微分強度方向の計算[S35]
11:繰り返し[R34]終了
12:登録物体数分(本例では3)繰り返し[R35]
13:固有空間との距離計算[S36]
14:繰り返し[R35]終了
15:繰り返し[R32]終了
16:繰り返し[R31]終了
17:判別平面を利用した判別[S37]
18:判別結果となる物体名を出力[S38]
なお、本発明は、図9、図10等に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、MO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【0080】
【発明の効果】
以上述べたように、本発明による物体認識装置および方法によれば、
物体を登録する段階において、各画像の各画素値を光エネルギー量に変換し、光エネルギー量に対して対数変換をし、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算し、すべての画素の微分方向と強さを1つのベクトルとみなし、1画像を1サンプルとして主成分分析し、寄与率の合計が一定以上になる固有空間を構成し、作成された固有空間に対し他の物体の固有空間との差を強調して判別する平面を求め、該固有空間と判別平面を蓄積し、
物体を識別する段階において、照合したい入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成し、生成された画像の各画素値を光エネルギー量に変換し光エネルギー量に対して対数変換を行い、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算し、すべての画素の微分方向と強さを1つのベクトルとみなして各物体の固有空間との距離を求め、ある閾値以下の距離を示した固有空間の物体同士の判別平面を用いて判別して出力するようにしたため、照明による画素値の変化を吸収できる特徴を有しており、照明による変化を考慮しなくてもよいため、用意するべきデータを大幅に削減できる。
【0081】
また、各画像を主成分分析により圧縮するため、用意するべきデータを圧縮し、精度を高めることができる。
【0082】
さらに、識別したい物体の中に、似た物体が存在していても、判別平面で判別するため、精度高く対象物を識別することができる。
【図面の簡単な説明】
【図1】本発明の実施形態1を示す物体識別装置の構成図。
【図2】実施形態1における複数視点画像の極座標の説明図。
【図3】実施形態1における学習装置と識別装置の詳細図。
【図4】実施形態1における微分強度方向計算の説明図。
【図5】実施形態1における画素の微分方向と強さを1つのベクトルとみなす例。
【図6】実施形態における固有空間の構成例。
【図7】実施形態1における固有空間のデータ例。
【図8】実施形態1における固有空間までの距離の説明図。
【図9】実施形態1における学習装置のフローチャート。
【図10】実施形態1における識別装置のフローチャート。
【図11】本発明の実施形態2を示す学習装置と識別装置の詳細図。
【図12】実施形態2における「ダルマ」と「大仏」の判別平面の例。
【図13】実施形態2における追加蓄積するデータフォーマットの例。
【図14】実施形態2における学習装置のフローチャート。
【図15】実施形態2における識別装置のフローチャート。
【図16】実施形態1における微分強度方向計算の他の例を示す図。
【符号の説明】
1…学習装置
2…識別装置
3…登録情報蓄積検索装置
1A、2B…対数変換手段
1B、2C…微分強度方向計算手段
1C、2D…主成分分析手段
1D…固有空間構成手段
1E…蓄積手段
1F…判別面構成手段
2A…変形画像生成手段
2E…出力手段
2F…判別手段
Claims (14)
- 物体からの距離が一定となる球面上の複数の視点、それぞれから物体を撮影した複数の画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、前記複数の画像それぞれについて、画像中の各画素値に対して対数変換をする対数変換手段と、
前記対数変換を行った前記複数の画像それぞれについて、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記微分成分の計算を行った前記複数の画像それぞれについて、1画像中のすべての画素の微分方向と強さを1つのベクトルとみなしたベクトルを作成し、作成された複数のベクトルに対して主成分分析を行い、固有ベクトルと寄与率を計算する主成分分析手段と、
前記寄与率の合計が一定以上になる固有空間を構成する固有空間構成手段と、
該固有空間を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。 - 入力画像中の対象が予め登録された複数の物体のいずれの物体であるかを識別する物体識別装置であって、
前記入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、
前記入力画像から生成された画像中の各画素値に対して対数変換を行う対数変換手段と、
前記対数変換を行った前記入力画像について、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記微分成分の計算を行った前記入力画像について、すべての画素の微分方向と強さを1つのベクトルとみなし、前記ベクトルと予め蓄積手段に保存された各登録物体の固有空間との距離を求める固有空間距離計算手段と、
最小の固有空間距離を示す前記登録物体を識別結果として出力する出力手段と、
を有することを特徴とする物体識別装置。 - 物体からの距離が一定となる球面上の複数の視点、それぞれから物体を撮影した複数の画像を用いて物体を登録し、登録された複数の物体を識別する物体識別装置であって、
物体を登録する段階において、前記複数の画像それぞれについて、画像中の各画素値に対して対数変換をする対数変換手段と、
前記対数変換を行った前記複数の画像それぞれについて、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記微分成分の計算を行った前記複数の画像それぞれについて、1画像中のすべての画素の微分方向と強さを1つのベクトルとみなしたベクトルを作成し、作成された複数のベクトルに対して主成分分析を行い、固有ベクトルと寄与率を計算する主成分分析手段と、
前記寄与率の合計が一定以上になる固有空間を構成するする固有空間構成手段と、
前記作成された各固有空間同士を判別する判別平面をWidrow−Hoffの方法またはSVMの原理を用いて求める判別平面構成手段と、
該固有空間および判別平面を蓄積する蓄積手段と、
を有することを特徴とする物体識別装置。 - 入力画像中の対象が、予め登録された複数の物体のいずれの物体であるかを識別する物体識別装置であって、
前記入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成手段と、
前記入力画像から生成された画像中の各画素値に対して対数変換を行う対数変換手段と、
前記対数変換を行った前記入力画像について、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
前記微分の計算を行った前記入力画像について、すべての画素の微分方向と強さを1つのベクトルとみなし、前記ベクトルと予め蓄積手段に保存された各登録物体の固有空間との距離を求める固有空間距離計算手段と、
前記固有空間距離計算手段で求められた固有空間との距離が小さい順に既定の個数の登録物体に対して、前記蓄積手段に保存された固有空間の物体同士の判別平面により、各登録物体のいずれの固有空間に属するかを判別して出力する判別手段と、
を有することを特徴とする物体識別装置。 - 前記主成分分析手段において、すべての画素の微分方向と強さを1つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を1つのベクトルとみなす主成分分析手段を有することを特徴とする請求項1〜4のいずれか1項に記載の物体識別装置。
- 前記固有空間距離計算手段において、すべての画素の微分方向と強さを1つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を1つのベクトルとみなす固有空間距離計算手段を有することを特徴とする請求項2または4に記載の物体識別装置。
- 物体からの距離が一定となる球面上の複数の視点、それぞれから物体を撮影した複数の画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、前記複数の画像それぞれについて、画像中の各画素値に対して対数変換をする対数変換段階と、
前記対数変換を行った前記複数の画像それぞれについて、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記微分成分の計算を行った前記複数の画像それぞれについて、1画像中のすべての画素の微分方向と強さを1つのベクトルとみなしたベクトルを作成し、作成された複数のベクトルに対して主成分分析を行い、固有ベクトルと寄与率を計算する主成分分析段階と、
前記寄与率の合計が一定以上になる固有空間を構成する固有空間構成段階と、
該固有空間を蓄積する蓄積段階と、
を有することを特徴とする物体識別方法。 - 入力画像中の対象が予め登録された複数の物体のいずれの物体であるかを識別する物体識別方法であって、
前記入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、
前記入力画像から生成された画像中の各画素値に対して対数変換を行う対数変換段階と、
前記対数変換を行った前記入力画像について、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記微分成分の計算を行った前記入力画像について、すべての画素の微分方向と強さを1つのベクトルとみなし、前記ベクトルと予め蓄積手段に保存された各登録物体の固有空間との距離を求める固有空間距離計算段階と、
最小の固有空間距離を示す前記登録物体を識別結果として出力する出力段階と、
を有することを特徴とする物体識別方法。 - 物体からの距離が一定となる球面上の複数の視点、それぞれから物体を撮影した複数の画像を用いて物体を登録し、登録された複数の物体を識別する物体識別方法であって、
物体を登録する段階において、前記複数の画像それぞれについて、画像中の各画素値に対して対数変換をする対数変換段階と、
前記対数変換を行った前記複数の画像それぞれについて、画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記微分成分の計算を行った前記複数の画像それぞれについて、1画像中のすべての画素の微分方向と強さを1つのベクトルとみなしたベクトルを作成し、作成された複数のベクトルに対して主成分分析を行い、固有ベクトルと寄与率を計算する主成分分析段階と、
前記寄与率の合計が一定以上になる固有空間を構成するする固有空間構成段階と、
前記作成された各固有空間同士を判別する判別平面をWidrow−Hoffの方法またはSVMの原理を用いて求める判別平面構成段階と、
該固有空間および判別平面を蓄積する蓄積段階と、
を有することを特徴とする物体識別方法。 - 入力画像中の対象が、予め登録された複数の物体のいずれの物体であるかを識別する物体識別方法であって、
前記入力画像の一部を選択して対象領域を切り出し、変形を加えた画像を生成する変形画像生成段階と、
前記入力画像から生成された画像中の各画素値に対して対数変換を行う対数変換段階と、
前記対数変換を行った前記入力画像について、画像の横方向の微分と縦方向の微分を計算して微分の方向と強さを計算する微分強度方向計算段階と、
前記微分の計算を行った前記入力画像について、すべての画素の微分方向と強さを1つのベクトルとみなし、前記ベクトルと予め蓄積手段に保存された各登録物体の固有空間との距離を求める固有空間距離計算段階と、
前記固有空間距離計算段階で求められた固有空間との距離が小さい順に既定の個数の登録物体に対して、前記蓄積手段に保存された固有空間の物体同士の判別平面により、各登録物体のいずれの固有空間に属するかを判別して出力する判別段階と、
を有することを特徴とする物体識別方法。 - 前記主成分分析段階において、すべての画素の微分方向と強さを1つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を1つのベクトルとみなす主成分分析段階を有することを特徴とする請求項7〜10のいずれか1項に記載の物体識別方法。
- 前記固有空間距離計算段階において、すべての画素の微分方向と強さを1つのベクトルとみなす代わりに、すべての画素の横方向の微分値と縦方向の微分値を1つのベクトルとみなす固有空間距離計算段階を有することを特徴とする請求項7または9に記載の物体識別方法。
- 請求項7〜12のいずれか1項の物体識別方法を、コンピュータで実行可能に構成したことを特徴とする物体識別方法のプログラム。
- 請求項7〜12のいずれか1項の物体識別方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002312686A JP4050587B2 (ja) | 2002-10-28 | 2002-10-28 | 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002312686A JP4050587B2 (ja) | 2002-10-28 | 2002-10-28 | 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004145818A JP2004145818A (ja) | 2004-05-20 |
JP4050587B2 true JP4050587B2 (ja) | 2008-02-20 |
Family
ID=32457513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002312686A Expired - Lifetime JP4050587B2 (ja) | 2002-10-28 | 2002-10-28 | 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4050587B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007052665A (ja) * | 2005-08-18 | 2007-03-01 | Kyushu Institute Of Technology | 固有空間を用いた動体の動作判別方法 |
JP4802330B2 (ja) * | 2006-12-28 | 2011-10-26 | 国立大学法人九州工業大学 | 動体の動作判別方法 |
JP4934810B2 (ja) * | 2006-12-28 | 2012-05-23 | 国立大学法人九州工業大学 | モーションキャプチャ方法 |
-
2002
- 2002-10-28 JP JP2002312686A patent/JP4050587B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004145818A (ja) | 2004-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6448767B2 (ja) | 画像物体認識におけるロバスト特徴特定 | |
US8712156B2 (en) | Comparison of visual information | |
JP4838532B2 (ja) | マルチスケールの有向パッチ(multi−scaleorientedpatches)を使用したマルチ画像特徴(feature)のマッチング | |
US8175412B2 (en) | Method and apparatus for matching portions of input images | |
JP6798183B2 (ja) | 画像解析装置、画像解析方法およびプログラム | |
US9076076B1 (en) | Image similarity determination | |
CN101853268B (zh) | 图像检索系统及图像检索方法 | |
JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
KR20140109463A (ko) | 이미지들을 비교하는 방법 및 시스템 | |
KR20130120175A (ko) | 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
CN111612842A (zh) | 生成位姿估计模型的方法和装置 | |
JPWO2012046426A1 (ja) | 物体検出装置、物体検出方法および物体検出プログラム | |
Zhang et al. | Fine localization and distortion resistant detection of multi-class barcode in complex environments | |
JP2008251039A (ja) | 画像認識システム及びその認識方法並びにプログラム | |
CN113628181A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112766348A (zh) | 一种基于对抗神经网络生成样本数据的方法以及装置 | |
JP5500404B1 (ja) | 画像処理装置及びそのプログラム | |
JP4050587B2 (ja) | 物体識別装置、物体識別方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 | |
JP2012234500A (ja) | パターン識別装置、パターン識別方法およびプログラム | |
JP6778625B2 (ja) | 画像検索システム、画像検索方法及び画像検索プログラム | |
Ciubotariu et al. | Enhancing the performance of image classification through features automatically learned from depth-maps | |
JP7369247B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2019046184A (ja) | 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム | |
JP6918382B1 (ja) | 情報処理装置及び情報処理方法 | |
KR102563522B1 (ko) | 사용자의 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4050587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |