JP3659221B2 - Image recognition apparatus and method - Google Patents

Description

【００３４】
【数２】

【００３５】
図６のような全ての周波数成分(u,v)のパワースペクトルを物体名と共に学習情報データベース５に格納する(ステップ３０３)。
【００３６】
次に、画像認識処理の動作について、図４のフローチャートを用いて説明する。
【００３７】
まず、検出対象となる図７のような画像データg(x,y)を入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ４０１)。
【００３８】
特徴抽出手段２は、画像入力部１１から画像データg(x,y)を入力し、周波数抽出部２１で（数１）に示す式のf(x,y)にg(x,y)を代入して２次元離散フーリエ変換g(x, y)→G(u, v)を行い、（数２）に示す式のF(u,v)にG(u,v)を代入して各周波数成分(u,v)のパワースペクトルを求める(ステップ４０２)。
【００３９】
照合手段３の画像特徴照合部３１は、周波数抽出部２１から図８に示すような入力画像のパワースペクトルG(u,v)を入力し、学習情報データベースから図６のようなモデル画像のパワースペクトルF(u,v)を入力して、（数３）に代入し、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める(ステップ４０３)。
【００４０】
【数３】

【００４１】
距離distが一定閾値Ｔより小さければ(ステップ４０４)、入力画像にニッパがあると判断する(ステップ４０５)。距離が閾値Ｔ以上であれば、入力画像にはニッパは存在しないと判断する(ステップ４０６)。
【００４２】
出力部４は、画像特徴照合部３１で判断した物体の有無を出力する(ステップ４０７)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００４３】
以上のように、本実施の形態では、モデル周波数抽出部７１が予めモデル画像のパワースペクトルを算出しておき、周波数抽出部２１が入力画像のパワースペクトルを算出し、画像特徴照合部３１が入力画像のパワースペクトルとモデル画像のパワースペクトルの類似度を照合することにより、画像内での物体の位置によらず、物体の有無を判断でき、その効果は大きい。
【００４４】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能である。
【００４５】
また、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００４６】
(実施の形態２)
図９は、本発明の実施の形態２における画像認識装置のブロック構成図を示す。図９において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２１は画像切り出し部１２から複数の局所画像を入力しそれぞれに対してパワースペクトルを算出する周波数抽出部、３は特徴抽出手段２から画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置を推定する照合手段、３１は周波数抽出部２１から入力したパワースペクトルを予め算出されているモデルの各局所画像のパワースペクトルと照合し類似したパワースペクトルを持つ入力とモデルの局所画像のそれぞれの画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置を集計して同じ位置が多数あればそこに物体があると判断し物体の位置とともに出力する集計部、４は照合手段３から物体の有無と物体の位置を入力してそれをディスプレイなどに表示する出力部である。
【００４７】
また、５は検出対象物体のモデル画像における各局所画像のパワースペクトルを局所画像のモデル画像内での位置を表す座標と物体名と共に予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７１はモデル画像切り出し部６２から入力した画像データのパワースペクトルを求めて物体名と位置の情報と共に学習情報データベース５に格納するモデル周波数抽出部である。
【００４８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００４９】
以上のように構成された画像認識装置について、以下その動作を図１０と図１１のフローチャートを用いて説明する。図１０は、モデル生成手段７の動作を示すフローチャート、図１１は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図７は、画像入力部１１で入力される入力画像の例、図１２は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１３は、学習情報データベースに格納されるモデルの局所画像のパワースペクトルと物体名と局所画像のモデル画像内での位置の例、図１４は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００５０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求めるモデルを生成しておくもので、モデル生成手段７の動作を図１０のフローチャートを用いて説明する。
【００５１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像５０１として物体名５０２と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像１２００を入力し(ステップ１００１)、図１２に示すような一定サイズの矩形画像１２０１〜１２０４を物体中の特徴的な領域から順次切り出す(ステップ１００２)。
【００５２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各矩形画像１２０１〜１２０４に対して、モデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求め(ステップ１００３)、図１３に示すようにパワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１００４)。
【００５３】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の左上角点の座標をモデル画像内の座標系で表した値である。
【００５４】
ステップ１００２で切り出したモデル画像内の全ての局所画像について、ステップ１００３からステップ１００４までの処理を行い、パワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１００５)。
【００５５】
次に、画像認識処理の動作について、図１１のフローチャートを用いて説明する。
【００５６】
まず、検出対象となる図７のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ１１０１)。画像切り出し部１２は、図１２に示すモデルの局所画像と同じサイズの矩形の局所画像を図７の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ１１０２)。
【００５７】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の左上角点の座標を入力画像内の座標系で表した値である。
【００５８】
特徴抽出手段２は、画像切り出し部１２から画像データを入力し、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める(ステップ１１０３)。
【００５９】
照合手段３は、周波数抽出部２１からパワースペクトルを入力すると、まず、画像特徴照合部３１で学習情報データベースからモデルの局所画像のパワースペクトルを入力して、（数３）の式に示すように、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める。距離distが一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ１１０４)。
【００６０】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、入力画像中とモデル画像中とで物体は並行移動の関係にあると仮定して、座標の対から入力画像中の物体の位置を推定して出力する(ステップ１１０５)。
【００６１】
入力の全ての局所画像について、ステップ１１０３からステップ１１０５までの処理を行い(ステップ１１０６)、位置推定部３２から出力される位置が同じであるものの数を集計部３３で集計する。
【００６２】
集計した値で一定閾値より大きいものがあれば(ステップ１１０７)、その位置にニッパがあると判断する(ステップ１１０８)。集計した値で一定閾値より大きいものがなければ(ステップ１１０７)、入力画像にはニッパは存在しないと判断する(ステップ１１０９)。
【００６３】
出力部４は、集計部３３で物体有と判断した場合には、その位置を図１４のように矩形領域１４０１で表示して出力する(ステップ１１１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００６４】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル周波数抽出部７１が予めモデルの局所画像のパワースペクトルを算出しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、周波数抽出部２１が入力の局所画像のパワースペクトルを算出し、画像特徴照合部３１がモデルの局所画像のパワースペクトルの中から入力の各局所画像のパワースペクトルと類似したものをそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置をそれぞれ推定し、集計部３３が推定された位置が一致するものの数を集計することにより、画像データを直接用いて照合するよりも少ない量のデータで、一部隠蔽されている場合にも物体の有無を判断でき、物体有の場合にはその位置を推定でき、その効果は大きい。
【００６５】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００６６】
(実施の形態３)
図１５は、本発明の実施の形態３における画像認識装置のブロック構成図を示す。図１５において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２０は画像切り出し部１２から入力した各局所画像に対して基準点を中心として極座標変換を行う極座標変換部、２１は極座標変換部２０から入力した各画像に対してパワースペクトルを算出する周波数抽出部、３は特徴抽出手段２から各局所画像の画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置と角度を推定する照合手段、３１は周波数抽出部２１から入力したパワースペクトルを予め算出されているモデルの各局所画像のパワースペクトルと照合し類似したパワースペクトルを持つモデルの局所画像を抽出して入力局所画像とモデルの局所画像の各画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置と角度を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置と角度を集計して同じ位置と角度のものが多数あれば、そこに物体があると判断し位置と角度の値を出力する集計部、４は照合手段３から物体の有無と物体の位置と角度を入力してそれをディスプレイなどに表示する出力部である。
【００６７】
また、５はモデル画像の局所画像を極座標変換した画像のパワースペクトルを局所画像のモデル画像内での位置を表す座標と物体名と共に予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と局所画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７０はモデル画像切り出し部６２から入力した局所画像の基準点を中心として極座標変換するモデル極座標変換部、７１はモデル極座標変換部７０から入力した各画像に対してパワースペクトルを求めて物体名と位置の情報と共に学習情報データベース５に格納するモデル周波数抽出部である。
【００６８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００６９】
以上のように構成された画像認識装置について、以下その動作を図１６と図１７のフローチャートを用いて説明する。図１６は、モデル生成手段７の動作を示すフローチャート、図１７は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図１８は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１９は、画像入力部１１で入力される入力画像の例、図１３は、学習情報データベースに格納されるモデルの局所画像のパワースペクトルと物体名と局所画像のモデル画像内での位置の例、図２０は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００７０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求めるモデルを生成しておくもので、モデル生成手段７の動作を図１６のフローチャートを用いて説明する。
【００７１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像として物体名と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像を入力し(ステップ１６０１)、図１８に示すような一定サイズの円形画像１８０１〜１８０３を物体中の特徴的な領域から順次切り出す(ステップ１６０２)。
【００７２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各円形画像１８０１〜１８０３に対して、モデル極座標変換部７０で円の中心を中心点とする極座標変換を行い、極座標変換後の画像に対してモデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求め(ステップ１６０３)、図１３に示すようにパワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１６０４)。
【００７３】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の円の中心の座標をモデル画像内の座標系で表した値である。
【００７４】
ステップ１６０２で切り出したモデル画像内の全ての局所画像について、ステップ１６０３からステップ１６０４までの処理を行行い、パワースペクトルを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ１６０５)。
【００７５】
次に、画像認識処理の動作について、図１７のフローチャートを用いて説明する。
【００７６】
まず、検出対象となる図１９のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ１７０１)。画像切り出し部１２は、図１８に示すモデルの局所画像と同じサイズの円形の局所画像を図１９の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ１７０２)。
【００７７】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の円の中心の座標を入力画像内の座標系で表した値である。
【００７８】
特徴抽出手段２は、画像切り出し部１２から画像データを入力し、極座標変換部２０で円の中心を中心点とした極座標変換を行った後、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める(ステップ１７０３)。
【００７９】
照合手段３は、周波数抽出部２１からパワースペクトルを入力すると、まず、画像特徴照合部３１で学習情報データベース５からモデルの局所画像のパワースペクトルを入力して、（数３）の式に示すように、各周波数成分における入力とモデルのパワースペクトルの平方根の差の二乗の総和を、距離distとして求める。距離distが一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ１７０４)。
【００８０】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、座標の対から推定され得る入力画像中の物体の位置・角度の組を全て出力する(ステップ１７０５)。このとき、類似した入力とモデルの局所画像は、画像内の物体が画像面内で任意角度回転していても類似したものとして検出される。よって、物体の位置と角度の推定では、○度回転していると仮定した場合の位置を一定角度ごとに算出して、位置と角度の組を出力する。
【００８１】
入力の全ての局所画像について、ステップ１７０３からステップ１７０５までの処理を行い(ステップ１７０６)、位置推定部３２から出力される位置と角度の組が同じであるものの数を集計部３３で集計する。
【００８２】
集計した値で一定閾値より大きいものがあれば(ステップ１７０７)、その位置・角度にニッパがあると判断する(ステップ１７０８)。集計した値で一定閾値より大きいものがなければ(ステップ１７０７)、入力画像にはニッパは存在しないと判断する(ステップ１７０９)。
【００８３】
出力部４は、集計部３３で物体有と判断した場合には、図２０のように矩形領域２００１で表示して、その位置（５，７２）２００２と角度（１２度）２００３を出力する(ステップ１７１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【００８４】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル極座標変換部７０が予めモデルの局所画像を極座標変換し、モデル周波数抽出部７１が予め極座標変換後の局所画像のパワースペクトルを算出しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、極座標変換部２０が入力の局所画像を極座標変換し、周波数抽出部２１が極座標変換後の局所画像のパワースペクトルを算出し、画像特徴照合部３１がモデルのパワースペクトルの中から入力の各局所画像のパワースペクトルと類似したものをそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置と角度をそれぞれ推定し、集計部３３が推定された位置と角度が一致するものの数を集計することにより、画像面内で物体が回転している場合にも１つのモデル画像で物体の有無を判断でき、物体有の場合にはその位置と角度を推定でき、その効果は大きい。
【００８５】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【００８６】
(実施の形態４)
図２１は、本発明の実施の形態４における画像認識装置のブロック構成図を示す。図２１において、１は処理対象となる画像データを生成する入力手段、１１は物体の濃淡画像を入力する画像入力部、１２は画像入力部１１の画像から一定サイズの局所画像を順次切り出す画像切り出し部、２は入力手段１から画像を入力して画像特徴を抽出する特徴抽出手段、２１は画像切り出し部１２から複数の局所画像を入力しそれぞれに対してパワースペクトルを算出する周波数抽出部、２２は周波数抽出部１１から入力したパワースペクトルを予め算出してある特徴空間にベクトルとして投影する特徴空間投影部、３は特徴抽出手段２から画像特徴を入力してモデルの画像特徴と照合し入力画像中の物体の有無と物体の位置を推定する照合手段、３１は特徴空間投影部２２から入力したベクトルを予め算出されているモデルの各局所画像のベクトルと照合し類似したベクトルを持つ入力とモデルの局所画像のそれぞれの画像内での座標を対にして出力する画像特徴照合部、３２は画像特徴照合部３１から入力した座標の対から入力画像中の物体の位置を推定して出力する位置推定部、３３は位置推定部３２が推定した入力画像内での物体の位置を集計して同じ位置が多数あれば、そこに物体があると判断し物体の位置とともに出力する集計部、４は照合手段３から物体の有無と物体の位置を入力してそれをディスプレイなどに表示する出力部である。
【００８７】
また、５は検出対象物体のモデル画像から抽出した局所画像のパワースペクトルから予め算出しておいた特徴空間のパラメタと各パワースペクトルを特徴空間に投影したときのベクトルと局所画像のモデル画像内での位置を表す座標と物体名とを予め格納している学習情報データベース、６は検出対象物体のモデル画像から局所画像を生成するモデル画像生成手段、６１は検出対象物体の濃淡画像を物体名と共に格納している画像データベース、６２は画像データベースからモデル画像を入力して入力の局所画像と同じサイズの局所画像を切り出しその局所画像のモデル画像内での位置の情報と画像データを物体名と共に出力するモデル画像切り出し部、７はモデル画像生成手段６から画像データを入力して画像特徴を抽出し物体名と位置の情報と共に出力するモデル生成手段、７１はモデル画像切り出し部６２から入力した画像データのパワースペクトルを求めて物体名と位置の情報と共に出力するモデル周波数抽出部、７２はモデル周波数抽出部７１で算出した各モデル局所画像のパワースペクトルをそれぞれベクトルデータにして全てのベクトルから固有空間を生成し各ベクトルを固有空間に射影し固有空間の基底ベクトルと射影したベクトルを物体名と位置の情報と共に学習情報データベース５に格納する特徴空間生成部である。
【００８８】
また、実施の形態１と同様に、図２に示すようにコンピュータにより画像認識装置を実現することも可能である。
【００８９】
以上のように構成された画像認識装置について、以下その動作を図２２と図２３のフローチャートを用いて説明する。図２２は、モデル生成手段７の動作を示すフローチャート、図２３は、画像を入力してから結果を出力するまでの動作を示すフローチャート、図５は、画像データベース６１に格納されているモデル画像の例、図７は、画像入力部１１で入力される入力画像の例、図１２は、画像データベース６１から入力した画像に対してモデル画像切り出し部６２が切り出す領域の例、図１４は、照合手段３で検出した物体の位置を矩形で表示して出力部４のディスプレイに出力している例である。
【００９０】
物体の画像認識処理の前に予め対象物体の画像特徴として、画像のパワースペクトルを求め、全てのパワースペクトルを特徴空間に投影するモデルを生成しておくもので、モデル生成手段７の動作を図２２のフローチャートを用いて説明する。
【００９１】
画像データベース６１には、図５に示すような物体ごとの濃淡画像ファイルがモデル画像として物体名と共に格納されている。図５に示すようなニッパを検出対象とするとき、モデル画像生成手段６のモデル画像切り出し部６２は、画像データベース６１から「物体名：ニッパ」のモデル画像を入力し(ステップ２２０１)、図１２に示すような一定サイズの矩形画像を物体中の特徴的な領域から順次切り出す(ステップ２２０２)。
【００９２】
モデル生成手段７は、モデル画像切り出し部６２から入力した各矩形画像に対して、モデル周波数抽出部７１で（数１）に示す２次元離散フーリエ変換を行い、（数２）の式により各周波数成分のパワースペクトルを求める(ステップ２２０３−１)。
【００９３】
モデル画像切り出し部６２から入力した全ての局所画像について、スッテプ２２０３−１のパワースペクトル算出の処理を行った後(ステップ２２０３−２)、特徴空間生成部７２は、各局所画像のパワースペクトルをベクトルデータとして、全てのパワースペクトルのベクトルから固有空間を生成し、全てのベクトルを固有空間に投影する(ステップ２２０３−３)。
【００９４】
算出した固有空間の基底ベクトルと固有空間投影後の各局所画像のベクトルの座標とを物体名とその局所画像のモデル画像内での座標と共に学習情報データベース５に格納する(ステップ２２０４)。
【００９５】
ここで、局所画像のモデル画像内での座標は、モデル画像の左上を原点とし、局所画像の左上角点の座標をモデル画像内の座標系で表した値である。
【００９６】
次に、画像認識処理の動作について、図２３のフローチャートを用いて説明する。
【００９７】
まず、検出対象となる図７のような画像データを入力手段１の画像入力部１１(カメラ２１０または画像データベース２１１)から入力する(ステップ２３０１)。画像切り出し部１２は、図１２に示すモデルの局所画像と同じサイズの矩形の局所画像を図７の入力画像から一定間隔で切り出して、局所画像の座標と共に出力する(ステップ２３０２)。
【００９８】
ここで、局所画像の座標は、入力画像の左上を原点とし、局所画像の左上角点の座標を入力画像内の座標系で表した値である。
【００９９】
特徴抽出手段２は、まず、画像切り出し部１２から画像データを入力し、周波数抽出部２１で（数１）に示す２次元離散フーリエ変換を行い、（数２）に示す式により各周波数成分のパワースペクトルを求める。
【０１００】
次に、特徴空間投影部２２で、学習情報データベース５から固有空間の基底ベクトルを入力し、周波数抽出部２１が算出したパワースペクトルのベクトルを、（数４）により次元を落とした固有空間に投影する(ステップ２３０３)。
【０１０１】
【数４】

【０１０２】
照合手段３は、特徴空間投影部２２からベクトルを入力すると、まず、画像特徴照合部３１で学習情報データベースからモデルの局所画像のベクトルを入力して、スッテプ２３０３で用いた低次元の固有空間において入力局所画像のベクトルとモデルの局所画像のベクトルとの距離を求める。距離が一定閾値Ｔより小さいものを入力の局所画像に類似したモデルの局所画像として抽出し、入力の局所画像の座標と類似したモデルの局所画像の座標を対にして出力する(ステップ２３０４)。
【０１０３】
位置推定部３２は、画像特徴照合部３１から入力とモデルの局所画像の座標の対を入力すると、入力画像中とモデル画像中とで物体は並行移動の関係にあると仮定して、座標の対から入力画像中の物体の位置を推定して出力する(ステップ２３０５)。
【０１０４】
入力の全ての局所画像について、ステップ２３０３からステップ２３０５までの処理を行い(ステップ２３０６)、位置推定部３２から出力される位置が同じであるものの数を集計部３３で集計する。
【０１０５】
集計した値で一定閾値Ｓより大きいものがあれば(ステップ２３０７)、その位置にニッパがあると判断する(ステップ２３０８)。集計した値で一定閾値Ｓより大きいものがなければ(ステップ２３０７)、入力画像にはニッパは存在しないと判断する(ステップ２３０９)。
【０１０６】
出力部４は、集計部３３で物体有と判断した場合には、その位置を図１４のように矩形領域１４０２で表示して出力する(ステップ２３１０)。この出力は、Ｉ／Ｆユニット２０８を介して出力端子２１３から出力される。
【０１０７】
以上のように、本実施の形態では、モデル画像切り出し部が予めモデル画像から一定サイズの局所画像を切り出し、モデル周波数抽出部７１が予めモデルの局所画像のパワースペクトルを算出し、特徴空間生成部７２がモデルの全てのパワースペクトルから固有空間を算出し、全てのパワーベクトルを固有空間に投影しておき、画像切り出し部１２が入力画像からモデルの局所画像と同じサイズの局所画像を切り出し、周波数抽出部２１が入力の局所画像のパワースペクトルを算出し、特徴空間投影部２２が入力のパワースペクトルを特徴空間生成部７２で生成した固有空間の次元を落とした空間に投影し、画像特徴照合部３１がモデルの局所画像の中から入力の各局所画像と類似したものを低次元の固有空間上でそれぞれ抽出し、位置推定部３２が各々の類似した入力局所画像とモデル局所画像についてその入力画像内での座標とモデル画像内での座標から入力画像における物体の位置をそれぞれ推定し、集計部３３が推定された位置が一致するものの数を集計することにより、よりデータ量の少ない低次元の空間で照合を行い、一部隠蔽されている場合にも物体の有無を判断でき、物体有の場合にはその位置を推定できるので、その効果は大きい。
【０１０８】
なお、以上の説明では、画像を濃淡画像とし、画像特徴をパワースペクトルとした例で説明したが、カラー画像や２値画像でも同様に実施可能であるし、パワースペクトルだけでなく各周波数成分の位相角などを画像特徴として用いても同様に実施可能である。
【０１０９】
【発明の効果】
以上のように本発明によれば、画像中の物体の位置に依存しない特徴量である周波数情報を、モデル画像と入力画像とで照合することにより、少ないモデルデータで、物体を検出できる。
【０１１０】
また、物体が画像面内で並行移動や回転、あるいは一部隠蔽されていても、精度良く検出できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像認識装置のブロック構成図
【図２】本発明の実施の形態１におけるコンピュータによる画像認識装置のブロック構成図
【図３】本発明の実施の形態１におけるモデル生成手段の処理の流れを示すフローチャート
【図４】本発明の実施の形態１における画像入力部から出力部までの処理の流れを示すフローチャート
【図５】画像データベースが保管しているモデル画像の一例を示す図
【図６】本発明の実施の形態１における学習情報データベースが保管しているモデルのパワースペクトルの一例を示す図
【図７】本発明の実施の形態における入力画像の一例を示す図
【図８】本発明の実施の形態１における入力画像のパワースペクトルの一例を示す図
【図９】本発明の実施の形態２における画像認識装置のブロック構成図
【図１０】本発明の実施の形態２におけるモデル生成手段の処理の流れを示すフローチャート
【図１１】本発明の実施の形態２における画像入力部から出力部までの処理の流れを示すフローチャート
【図１２】本発明の実施の形態２、４におけるモデル画像切り出し部が切り出す矩形領域の一例を示す図
【図１３】本発明の実施の形態２、４における学習情報データベースが保管しているモデルのパワースペクトルの一例を示す図
【図１４】本発明の実施の形態２、４における出力部が出力する検出結果の一例を示す図
【図１５】本発明の実施の形態３における画像認識装置のブロック構成図
【図１６】本発明の実施の形態３におけるモデル生成手段の処理の流れを示すフローチャート
【図１７】本発明の実施の形態３における画像入力部から出力部までの処理の流れを示すフローチャート
【図１８】本発明の実施の形態３におけるモデル画像切り出し部が切り出す円領域の一例を示す図
【図１９】本発明の実施の形態３における入力画像の一例を示す図
【図２０】本発明の実施の形態３における出力部が出力する検出結果の一例を示す図
【図２１】本発明の実施の形態４における画像認識装置のブロック構成図
【図２２】本発明の実施の形態４におけるモデル生成手段の処理の流れを示すフローチャート
【図２３】本発明の実施の形態４における画像入力部から出力部までの処理の流れを示すフローチャート
【図２４】従来の画像認識装置の一例を示すブロック図
【図２５】従来の画像認識装置の別の一例を示すブロック図
【符号の説明】
１ 入力手段
２ 特徴抽出手段
３ 照合手段
４ 出力部
５ 学習情報データベース
６ モデル画像生成手段
７ モデル生成手段
１１ 画像入力部
１２ 画像切り出し部
２０ 極座標変換部
２１ 周波数抽出部
２２ 特徴空間投影部
３１ 画像特徴照合部
３２ 位置推定部
３３ 集計部
６１ 画像データベース
６２ モデル画像切り出し部
７０ モデル極座標変換部
７１ モデル周波数抽出部
７２ 特徴空間生成部
２０１ コンピュータ
２０２ ＣＰＵ
２０３ メモリ
２０４ キーボード／ディスプレイ
２０５ 蓄積媒体ユニット
２０６〜２０８ Ｉ／Ｆユニット
２０９ ＣＰＵバス
２１０ カメラ
２１１ 画像データベース
２１２ 学習情報データベース
２１３ 出力端子[0001]
BACKGROUND OF THE INVENTION
The present invention extracts an image feature to be detected in advance from a model image obtained by photographing a specific object, and compares the feature extracted in the same manner from the input image with the feature of the model, thereby identifying the object from the input image. The present invention relates to an image recognition apparatus that detects and outputs a position thereof, and a method thereof.
[0002]
[Prior art]
Known image recognition apparatuses include those described in Japanese Patent Application Laid-Open Nos. 9-21610 and 2000-30060, and FIG. 24 and FIG. Show.
[0003]
FIG. 24 is a block diagram of the image recognition apparatus disclosed in Japanese Patent Laid-Open No. 9-21610, and includes an image input unit 11 for inputting an image and a model storage unit for storing a local model of an extraction target in advance. 12, a matching processing unit 13 for matching each partial image of the input image with each local model, and a parameter space including image position information depending on how much each partial image of the input image matches the local model And the local information integration unit 14 for stochastically displaying and integrating the position of the extraction object, and extracting the portion with the highest probability in the parameter space, and determining and outputting the position of the extraction object in the input image The object position determination unit 15 is configured.
[0004]
FIG. 25 is a block diagram of an image recognition apparatus disclosed in Japanese Patent Laid-Open No. 2000-30060. Image data obtained by quantizing a video signal input to a built-in image memory by an A / D converter is shown in FIG. A stored image input unit 1; a contour extraction unit 2 storing the data obtained by obtaining the center of the image from the extracted contour XY coordinate sequence and converting it to polar coordinates with the center as the origin; and the contour XY coordinate sequence; A Fourier transform unit 3 that calculates a radial power spectrum from the extraction unit 2; an area calculation unit 4 that calculates an area in the contour extracted by the contour extraction unit 2; and a fundamental wave component obtained by the Fourier transform unit 3; A scaler 5 that converts the power spectrum of each harmonic component into a ratio with a DC component and calculates the feature data thereof, a dictionary 6 that stores feature data in advance by learning, and the feature data and dictionary 6 It is composed of minute from determination unit 7.
[0005]
[Problems to be solved by the invention]
A conventional image recognition apparatus disclosed in Japanese Patent Laid-Open No. 9-21610 divides an image into local regions to estimate a position of the target object, creates a model for each local region, and also displays an image plane of the target object. In order to create an arbitrary rotation angle model in order to estimate the rotation angle inside, there is a problem that an enormous amount of data is required. Further, the conventional image recognition apparatus disclosed in Japanese Patent Laid-Open No. 2000-30060 has a problem that recognition is difficult when the position of the target object in the input image is unknown.
[0006]
An object of the present invention is to solve the above-described conventional problems and to recognize an object in an image with a small amount of data.
[0007]
[Means for Solving the Problems]
  In order to solve this problem, in an apparatus for detecting a specific object from an input image,An input means for cutting out the input image as a constant local image, and polar coordinate conversion centered on the reference point of each local image, and a polar coordinate conversion imageCalculating the frequency information of each spatial frequency component and outputting as input frequency information, a learning information database preliminarily holding the model image frequency information together with the object name as model frequency information, and the input frequency information Is collated with frequency information of the model image of the detection target object to determine the presence or absence of the detection target object, and an output unit that outputs the result of the collation means.
[0008]
  As a result, the present inventionBy using the model polar coordinate conversion image as the input image, the object in one model image is arbitrarily rotated in the input image plane by collating the frequency information of the local image subjected to polar coordinate conversion. Can detect the position and angle of the object using the model image.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
In claim 1 of the present inventionIn the described invention, in an apparatus for detecting a specific object from an input image, an image is input, a local area of a certain size is sequentially cut out from the input image as an input local image, and the position of each local area in the image is determined. Input means for outputting as input local image position information together with the input local image, and for the input local image from the image input means, polar coordinate conversion is performed around the reference point of each local image, and output as polar coordinate conversion image together with the input local image position information A feature extraction means including a polar coordinate conversion unit, a frequency extraction unit that calculates frequency information of each spatial frequency component of the polar coordinate conversion image, and outputs input frequency information and input local image position information; Model frequency information and model image, which are frequency information of the model polar coordinate transformation image obtained by polar transformation around the reference point of each local image A model having similar model frequency information by collating each input frequency information from the feature extraction means with model frequency information and a learning information database that holds model local image position information that is position information in advance An image feature matching unit that outputs information on the position of the local image in the model image as similar local image position information together with the input local image position information, and a pair of each of the input local image position information and similar local image position information A position estimation unit that estimates the position of the target object in the input image and the rotation angle of the target object in the image plane, outputs the estimated position information and the estimated angle information, and each of the estimated position information and the estimated angle A collating unit including a totaling unit that aggregates information to determine the presence or absence of an object and outputs the position and angle of the object, and an output that outputs a result of the collating unit The model frequency extraction unit is characterized in that the model polar coordinate transformation image is used as an input image, and by collating frequency information of a local image obtained by polar coordinate transformation, Even if the object is arbitrarily rotated within the input image plane, the model image can be used to detect the position and angle of the object.
[0015]
  Claim2The invention described in claim 11In the described image recognition apparatus, the model frequency information and the model local image position information in the learning information database are obtained by sequentially extracting a local image having the same size as the input local image from the model image stored in the image database as a model local image. The model polar coordinates are obtained by calculating the frequency information of each spatial frequency component of the model polar coordinate transformation image obtained by polar transformation with the reference point of the model local image as the center. By calculating the frequency information of each spatial frequency component of the converted image, even if an object in one model image is arbitrarily rotated in the input image plane, the position and angle of the object are detected using the model image Has the effect of being able to.
[0021]
  Claim3In the method of detecting a specific object from an image, a local region of a certain size is sequentially extracted from an input image, and a spatial frequency component in a polar coordinate conversion image centered on a reference point is input for each input local region. Frequency information is calculated as input frequency information, and for each input frequency information, similar frequency information is extracted from the frequency information of the polar coordinate conversion image calculated in advance from the local image of the model image of the detection target object. The position and angle of the target object in the input image from the position of the input local image in the input image and the position of the model local image in the model image for each set of the input local image and model local image having similar frequency information And the model frequency extraction unit determines that the target exists by the fact that both the estimated position and the estimated angle match. By using the model polar coordinate conversion image as the input image, the object in one model image is arbitrarily rotated in the input image plane by collating the frequency information of the local image subjected to polar coordinate conversion. The model image can be used to detect the position and angle of the object.
[0022]
  Claim4The invention described in claim 13In the image recognition method described, the frequency information of the spatial frequency component is characterized by the intensity or phase of the spatial frequency component, and by using the intensity or phase of each spatial frequency component of the image as frequency information, By comparing the spectrum of the model image and the spectrum of the input image with a small number of frequency information, it has the effect of determining the presence or absence of the object in the input image and outputting it regardless of the position of the object in the model and the input image .
[0023]
  Claim5The invention described in claim 13In the image recognition method described above, whether or not the target exists is determined by the number of objects whose both the estimated position and the estimated angle match, and the number of objects whose angle matches the estimated position Thus, the presence / absence of an object can be determined from one model image even when the object is rotating in the image plane, and the position and angle can be estimated when the object is present.
[0024]
  Claim6The invention described in claim 13In the described image recognition method, the frequency information of the polar coordinate conversion image calculated in advance from the local image of the model image is obtained by converting the local image having the same size as the input local image from the model image stored in the image database. It is characterized by calculating the frequency information of each spatial frequency component of the model polar coordinate conversion image obtained by sequentially cutting out as an image and converting the polar coordinate around the reference point of the model local image, with the reference point of the model local image as the center By calculating the frequency information of each spatial frequency component of the model polar coordinate transformed image obtained by polar coordinate transformation, even if an object in one model image is arbitrarily rotated in the input image plane, the model image is used to The position and angle can be detected.
[0025]
  Claim7The invention described in is a program for performing image recognition by a computer,In a method for detecting a specific object from an image, local regions of a certain size are sequentially extracted from the input image, and for each input local region, frequency information of spatial frequency components in a polar coordinate transformation image centered on a reference point is input frequency. It calculates as information, extracts similar frequency information from the frequency information of the polar coordinate conversion image calculated in advance from the local image of the model image of the detection target object for each input frequency information, the similar frequency information Estimate the position and angle of the target object in the input image from the position of the input local image in the input image and the position of the model local image in the model image for each set of the input local image and model local image Judge that the target exists because both the position and the estimated angle matchA recording medium in which an image recognition program is recorded, and the object in one model image is arbitrarily rotated in the input image plane by collating the frequency information of the local image subjected to polar coordinate conversion by being read and executed by a computer. Even so, the model image can be used to detect the position and angle of the object.
[0026]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0027]
(Embodiment 1)
FIG. 1 shows a block diagram of an image recognition apparatus according to Embodiment 1 of the present invention.
[0028]
In FIG. 1, 1 is an input unit that generates image data to be processed, 11 is an image input unit that inputs a grayscale image of an object, and 2 is a feature extraction that inputs a grayscale image from the input unit 1 and extracts image features. Means 21 is a frequency extractor for inputting a grayscale image from the image input unit 11 and calculating its power spectrum, 3 is an image feature input from the feature extractor 2 and collated with the model to determine the presence or absence of the model in the input image. A collating means 31 for judging, an image feature collating section 31 for inputting a power spectrum from the frequency extracting section 21 to obtain a degree of coincidence with a power spectrum of a model extracted in advance and judging the presence or absence of an object, 4 from the collating means 3 An output unit for inputting the result of determination of the presence / absence of an object and displaying the result on a display or the like. The stored learning information database, 6 is a model image generation unit that generates a model image of the detection target object, 61 is an image database that stores a grayscale image of the detection target object together with the object name, and 7 is a model image generation unit 6 Model generation means for inputting a grayscale image from the image and extracting image features for each target object, 71 is a model frequency extraction unit for obtaining the power spectrum of the grayscale image input from the learning database 61 and storing it in the learning information database 5 together with the object name It is.
[0029]
FIG. 2 is a block diagram when an image recognition apparatus is realized by a computer. 201 is a computer, 202 is a CPU, 203 is a memory, 204 is a keyboard and display, and 205 is an FD for reading an image recognition program. , PD, MO, DVD, and other storage medium units, 206 to 208, I / F units, 209, a CPU bus, 210, a camera for capturing images, 211, an image database for capturing prestored images, A learning information database 212 stores the spectrum of the model image together with the object name, and 213 includes an output terminal that outputs the name of the detected object via the I / F unit.
[0030]
The operation of the image recognition apparatus configured as described above will be described below with reference to the flowcharts of FIGS. FIG. 3 is a flowchart showing the operation of the model generating means 7, FIG. 4 is a flowchart showing the operation of the image recognition processing from the input of image data for which the presence / absence of the target object is determined to the output of the result, and FIG. 6 is an example of a model image stored in the image database 61, FIG. 6 is an example describing the power spectrum of the model image of FIG. 5 stored in the learning information database 5, and FIG. 7 is input by the image input unit 11. 8 is an example in which the power spectrum of the input image of FIG. 7 is described.
[0031]
A model for obtaining the power spectrum of the image is generated in advance as the image feature of the target object before the object image recognition processing, and the operation of the model generation means 7 will be described with reference to the flowchart of FIG.
[0032]
In the image database 61, a gray image file for each object as shown in FIG. 5 is stored as a model image 501 together with an object name 502. When the nipper as shown in FIG. 5 is to be detected, the model generation means 7 inputs the model image data f (x, y) of “object name: nipper” from the image database 61 (step 301). The input model image data f (x, y) is subjected to a two-dimensional discrete Fourier transform f (x, y) → F (u, v) shown in (Equation 1) by the model frequency extraction unit 71 to obtain (number The power spectrum of each frequency component (u, v) is obtained by the equation 2) (step 302).
[0033]
[Expression 1]

[0034]
[Expression 2]

[0035]
The power spectra of all frequency components (u, v) as shown in FIG. 6 are stored in the learning information database 5 together with the object name (step 303).
[0036]
Next, the operation of the image recognition process will be described using the flowchart of FIG.
[0037]
First, image data g (x, y) as a detection target as shown in FIG. 7 is input from the image input unit 11 (camera 210 or image database 211) of the input means 1 (step 401).
[0038]
The feature extraction unit 2 inputs the image data g (x, y) from the image input unit 11, and the frequency extraction unit 21 sets g (x, y) to f (x, y) in the equation shown in (Equation 1). Substituting and performing a two-dimensional discrete Fourier transform g (x, y) → G (u, v), and substituting G (u, v) for F (u, v) in the equation (2) The power spectrum of the frequency component (u, v) is obtained (step 402).
[0039]
The image feature matching unit 31 of the matching unit 3 inputs the power spectrum G (u, v) of the input image as shown in FIG. 8 from the frequency extraction unit 21, and the power of the model image as shown in FIG. 6 from the learning information database. The spectrum F (u, v) is input and substituted into (Equation 3), and the sum of the squares of the differences between the square roots of the input and the model power spectrum in each frequency component is obtained as the distance dist (step 403).
[0040]
[Equation 3]

[0041]
If the distance dist is smaller than the predetermined threshold T (step 404), it is determined that there is a nipper in the input image (step 405). If the distance is equal to or greater than the threshold value T, it is determined that no nipper exists in the input image (step 406).
[0042]
The output unit 4 outputs the presence / absence of the object determined by the image feature matching unit 31 (step 407). This output is output from the output terminal 213 via the I / F unit 208.
[0043]
As described above, in the present embodiment, the model frequency extraction unit 71 calculates the power spectrum of the model image in advance, the frequency extraction unit 21 calculates the power spectrum of the input image, and the image feature matching unit 31 inputs it. By checking the similarity between the power spectrum of the image and the power spectrum of the model image, the presence or absence of the object can be determined regardless of the position of the object in the image, and the effect is great.
[0044]
In the above description, an example in which an image is a gray image and an image feature is a power spectrum has been described. However, a color image or a binary image can be similarly applied.
[0045]
Further, the present invention can be similarly implemented by using not only the power spectrum but also the phase angle of each frequency component as an image feature.
[0046]
(Embodiment 2)
FIG. 9 shows a block configuration diagram of an image recognition apparatus according to Embodiment 2 of the present invention. In FIG. 9, 1 is an input unit that generates image data to be processed, 11 is an image input unit that inputs a gray image of an object, and 12 is an image cutout that sequentially cuts out a local image of a certain size from the image of the image input unit 11. 2 and 2, a feature extraction unit that extracts an image feature by inputting an image from the input unit 1, and a frequency extraction unit 21 that receives a plurality of local images from the image cutout unit 12 and calculates a power spectrum for each of them. Is a collating unit that inputs an image feature from the feature extracting unit 2 and collates with the image feature of the model to estimate the presence / absence of the object and the position of the object in the input image. Compare the power spectrum of each local image of the model and the coordinates in the image of the input and the local image of the model that have a similar power spectrum. The image feature matching unit 32 outputs the estimated position of the object in the input image from the pair of coordinates input from the image feature matching unit 31, and 33 the input estimated by the position estimation unit 32. A totaling unit 4 that counts the positions of objects in the image and determines that there are many same positions and outputs them together with the positions of the objects. 4 inputs the presence / absence of the objects and the positions of the objects from the collating means 3 This is an output unit that displays it on a display or the like.
[0047]
Reference numeral 5 denotes a learning information database in which the power spectrum of each local image in the model image of the detection target object is stored in advance together with coordinates representing the position of the local image in the model image and the object name, and 6 denotes the model of the detection target object. Model image generation means for generating a local image from an image, 61 is an image database that stores a grayscale image of a detection target object together with an object name, 62 is a model image input from the image database and has the same size as the input local image A model image cutout unit that cuts out a local image and outputs information on the position of the local image in the model image and image data together with the object name, and 7 extracts image features by inputting image data from the model image generation means 6 Model generation means for outputting together with name and position information, 71 is the power of image data input from the model image cutout unit 62 A model frequency extracting unit stored with the information of the object name and location in the learning information database 5 seeking spectrum.
[0048]
As in the first embodiment, an image recognition apparatus can be realized by a computer as shown in FIG.
[0049]
The operation of the image recognition apparatus configured as described above will be described below with reference to the flowcharts of FIGS. FIG. 10 is a flowchart showing the operation of the model generating means 7, FIG. 11 is a flowchart showing the operation from inputting an image to outputting the result, and FIG. 5 is a diagram of the model image stored in the image database 61. FIG. 7 shows an example of an input image input by the image input unit 11, FIG. 12 shows an example of a region cut out by the model image cutout unit 62 for an image input from the image database 61, and FIG. 13 shows learning information. FIG. 14 shows an example of the power spectrum of the local image of the model stored in the database, the object name, and the position of the local image in the model image. FIG. It is an example of outputting to the display.
[0050]
A model for obtaining a power spectrum of an image is generated in advance as an image feature of the target object before the object image recognition process, and the operation of the model generation means 7 will be described with reference to the flowchart of FIG.
[0051]
The image database 61 stores a gray image file for each object as shown in FIG. 5 together with the object name 502 as a model image 501. When the nipper as shown in FIG. 5 is a detection target, the model image cutout unit 62 of the model image generating unit 6 inputs the model image 1200 of “object name: nipper” from the image database 61 (step 1001). 12, rectangular images 1201 to 1204 having a certain size are sequentially cut out from characteristic regions in the object (step 1002).
[0052]
The model generation means 7 performs the two-dimensional discrete Fourier transform shown in (Equation 1) by the model frequency extraction unit 71 on each rectangular image 1201 to 1204 input from the model image cutout unit 62, and the equation of (Equation 2) Thus, the power spectrum of each frequency component is obtained (step 1003), and the power spectrum is stored in the learning information database 5 together with the object name and the coordinates in the model image of the local image as shown in FIG. 13 (step 1004).
[0053]
Here, the coordinates of the local image in the model image are values in which the upper left corner of the model image is represented by the coordinate system in the model image with the upper left corner of the model image as the origin.
[0054]
For all local images in the model image cut out in step 1002, the processing from step 1003 to step 1004 is performed, and the power spectrum is stored in the learning information database 5 together with the object name and the coordinates of the local image in the model image. (Step 1005).
[0055]
Next, the operation of the image recognition process will be described using the flowchart of FIG.
[0056]
First, image data as shown in FIG. 7 to be detected is input from the image input unit 11 (camera 210 or image database 211) of the input means 1 (step 1101). The image cutout unit 12 cuts out a rectangular local image having the same size as the local image of the model shown in FIG. 12 from the input image in FIG. 7 and outputs it together with the coordinates of the local image (step 1102).
[0057]
Here, the coordinates of the local image are values in which the upper left corner of the input image is the origin and the coordinates of the upper left corner point of the local image are expressed in the coordinate system in the input image.
[0058]
The feature extraction unit 2 inputs image data from the image cutout unit 12, performs a two-dimensional discrete Fourier transform shown in (Equation 1) in the frequency extraction unit 21, and a power spectrum of each frequency component according to an equation shown in (Equation 2). Is obtained (step 1103).
[0059]
When the matching means 3 receives the power spectrum from the frequency extraction unit 21, the image feature matching unit 31 first inputs the power spectrum of the local image of the model from the learning information database, as shown in the equation (3). The sum of the squares of the differences between the square roots of the input and the model power spectrum at each frequency component is obtained as the distance dist. A distance dist smaller than a certain threshold T is extracted as a local image of a model similar to the input local image, and the coordinates of the local image of the model similar to the coordinates of the input local image are output as a pair (step 1104). .
[0060]
When the position estimation unit 32 inputs a pair of coordinates of the input and the local image of the model from the image feature matching unit 31, the position estimation unit 32 assumes that the object is in a parallel movement relationship in the input image and the model image. The position of the object in the input image is estimated from the pair and output (step 1105).
[0061]
The processing from step 1103 to step 1105 is performed for all the input local images (step 1106), and the number of the same positions output from the position estimation unit 32 is totaled by the totaling unit 33.
[0062]
If there is a total value larger than a certain threshold value (step 1107), it is determined that there is a nipper at that position (step 1108). If there is no aggregated value greater than a certain threshold value (step 1107), it is determined that no nipper exists in the input image (step 1109).
[0063]
When the totaling unit 33 determines that the object is present, the output unit 4 displays the position in the rectangular area 1401 as shown in FIG. 14 and outputs it (step 1110). This output is output from the output terminal 213 via the I / F unit 208.
[0064]
As described above, in the present embodiment, the model image cutout unit cuts out a local image of a certain size from the model image in advance, the model frequency extraction unit 71 calculates the power spectrum of the model local image in advance, and the image cutout The unit 12 cuts out a local image having the same size as the model local image from the input image, the frequency extraction unit 21 calculates the power spectrum of the input local image, and the image feature matching unit 31 includes the power spectrum of the model local image. And the position estimation unit 32 extracts the similar input local image and model local image from the coordinates in the input image and the coordinates in the model image. Each position of the object in the input image is estimated, and the counting unit 33 counts the number of objects whose estimated positions match. This makes it possible to determine the presence / absence of an object even when it is partially concealed with a smaller amount of data than to directly collate using image data, and if there is an object, its position can be estimated, and the effect is great .
[0065]
In the above description, an example in which the image is a gray image and the image feature is a power spectrum has been described. However, the present invention can be similarly applied to a color image or a binary image, and not only the power spectrum but also each frequency component. The same can be implemented by using a phase angle or the like as an image feature.
[0066]
(Embodiment 3)
FIG. 15 shows a block configuration diagram of an image recognition apparatus according to Embodiment 3 of the present invention. In FIG. 15, 1 is an input unit that generates image data to be processed, 11 is an image input unit that inputs a gray image of an object, and 12 is an image cutout that sequentially cuts out a local image of a certain size from the image of the image input unit 11. Unit 2 is a feature extraction unit that extracts an image feature by inputting an image from the input unit 1, and 20 is a polar coordinate conversion unit that performs a polar coordinate conversion around the reference point for each local image input from the image cutout unit 12, Reference numeral 21 denotes a frequency extraction unit that calculates a power spectrum for each image input from the polar coordinate conversion unit 20, and 3 denotes an image feature of each local image input from the feature extraction unit 2 to collate with the image feature of the model. Collating means for estimating the presence / absence of the object and the position and angle of the object, 31 is a power spectrum input from the frequency extraction unit 21 of each local image of the model that has been calculated in advance An image feature matching unit for extracting a local image of a model having a similar power spectrum by collating with a word spectrum and outputting the input local image and the local image of the model as a pair, and 32 is an image feature matching A position estimation unit 33 estimates and outputs the position and angle of the object in the input image from the coordinate pair input from the unit 31, and 33 calculates the position and angle of the object in the input image estimated by the position estimation unit 32. If there are many objects with the same position and angle, the counting unit 4 determines that there is an object and outputs the position and angle values, and 4 inputs the presence / absence of the object, the position and angle of the object from the collating means 3 This is an output unit that displays it on a display or the like.
[0067]
Further, 5 is a learning information database that stores in advance the power spectrum of the image obtained by polar-coordinate conversion of the local image of the model image together with the coordinates representing the position of the local image in the model image and the object name, and 6 is the model of the detection target object. Model image generation means for generating a local image from an image, 61 is an image database that stores a grayscale image of a detection target object together with an object name, 62 is a model image input from the image database and has the same size as the input local image A model image cutout unit that cuts out a local image and outputs information on the position of the local image in the model image and local image data together with the object name, and 7 extracts image features by inputting image data from the model image generation means 6 Model generation means for outputting together with object name and position information, 70 is a reference point of a local image input from the model image cutout unit 62 A model polar coordinate conversion unit 71 that performs polar coordinate conversion as a center is a model frequency extraction unit 71 that obtains a power spectrum for each image input from the model polar coordinate conversion unit 70 and stores it in the learning information database 5 together with object name and position information. .
[0068]
As in the first embodiment, an image recognition apparatus can be realized by a computer as shown in FIG.
[0069]
The operation of the image recognition apparatus configured as described above will be described below with reference to the flowcharts of FIGS. FIG. 16 is a flowchart showing the operation of the model generation means 7, FIG. 17 is a flowchart showing the operation from inputting an image to outputting the result, and FIG. 5 shows the model image stored in the image database 61. For example, FIG. 18 shows an example of a region cut out by the model image cutout unit 62 from an image inputted from the image database 61, FIG. 19 shows an example of an input image inputted by the image input unit 11, and FIG. FIG. 20 shows an example of the position in the model image of the power spectrum, the object name, and the local image of the model stored in the database. FIG. It is an example of outputting to the display.
[0070]
A model for obtaining a power spectrum of an image is generated in advance as an image feature of the target object before the object image recognition process, and the operation of the model generation means 7 will be described with reference to the flowchart of FIG.
[0071]
In the image database 61, a gray image file for each object as shown in FIG. 5 is stored as a model image together with the object name. When the nipper as shown in FIG. 5 is to be detected, the model image cutout unit 62 of the model image generating means 6 inputs the model image of “object name: nipper” from the image database 61 (step 1601), and FIG. Are sequentially cut out from characteristic areas in the object (step 1602).
[0072]
The model generation means 7 performs polar coordinate conversion on the circular images 1801 to 1803 input from the model image cutout unit 62 with the center of the circle as the center point in the model polar coordinate conversion unit 70, and the image after the polar coordinate conversion is performed. Then, the model frequency extraction unit 71 performs the two-dimensional discrete Fourier transform shown in (Equation 1), obtains the power spectrum of each frequency component by the equation (Equation 2) (step 1603), and obtains the power spectrum as shown in FIG. The object name and the coordinates of the local image in the model image are stored in the learning information database 5 (step 1604).
[0073]
Here, the coordinates of the local image in the model image are values in which the upper left corner of the model image is the origin and the coordinates of the center of the circle of the local image are expressed in the coordinate system in the model image.
[0074]
For all local images in the model image cut out in step 1602, the processing from step 1603 to step 1604 is performed, and the power spectrum is stored in the learning information database 5 together with the object name and the coordinates of the local image in the model image. (Step 1605).
[0075]
Next, the operation of the image recognition process will be described using the flowchart of FIG.
[0076]
First, image data as shown in FIG. 19 to be detected is input from the image input unit 11 (camera 210 or image database 211) of the input means 1 (step 1701). The image cutout unit 12 cuts out a circular local image having the same size as the local image of the model shown in FIG. 18 from the input image of FIG. 19 at a predetermined interval and outputs it together with the coordinates of the local image (step 1702).
[0077]
Here, the coordinates of the local image are values in which the upper left corner of the input image is the origin and the coordinates of the center of the circle of the local image are expressed in the coordinate system in the input image.
[0078]
The feature extraction unit 2 receives the image data from the image cutout unit 12, performs polar coordinate conversion with the center of the circle as the center point by the polar coordinate conversion unit 20, and then performs two-dimensional analysis shown in (Expression 1) by the frequency extraction unit 21. Discrete Fourier transform is performed, and the power spectrum of each frequency component is obtained by the equation shown in (Expression 2) (step 1703).
[0079]
When the collation means 3 inputs the power spectrum from the frequency extraction unit 21, first, the image feature collation unit 31 inputs the power spectrum of the model local image from the learning information database 5, as shown in the equation (3). Then, the sum of the squares of the differences between the square roots of the input and the model power spectrum at each frequency component is obtained as the distance dist. A distance dist smaller than a certain threshold T is extracted as a local image of a model similar to the input local image, and the coordinates of the local image of the model similar to the coordinates of the input local image are output as a pair (step 1704). .
[0080]
When the position estimation unit 32 inputs the input and the coordinate pair of the local image of the model from the image feature matching unit 31, the position estimation unit 32 outputs all the combinations of the position and angle of the object in the input image that can be estimated from the coordinate pair (step 1705). At this time, the similar input and the local image of the model are detected as similar even if the object in the image is rotated by an arbitrary angle in the image plane. Therefore, in the estimation of the position and angle of the object, the position when it is assumed that it is rotated by ◯ is calculated for each fixed angle, and a set of position and angle is output.
[0081]
The processing from step 1703 to step 1705 is performed for all input local images (step 1706), and the number of the same pairs of positions and angles output from the position estimation unit 32 is totalized by the totaling unit 33.
[0082]
If there is a total value larger than a certain threshold value (step 1707), it is determined that there is a nipper at that position / angle (step 1708). If there is no total value greater than a certain threshold value (step 1707), it is determined that no nipper exists in the input image (step 1709).
[0083]
When the counting unit 33 determines that the object is present, the output unit 4 displays it in the rectangular area 2001 as shown in FIG. 20, and outputs the position (5, 72) 2002 and the angle (12 degrees) 2003 ( Step 1710). This output is output from the output terminal 213 via the I / F unit 208.
[0084]
As described above, in the present embodiment, the model image cutout unit cuts out a local image of a certain size from the model image in advance, the model polar coordinate conversion unit 70 performs polar coordinate conversion of the model local image in advance, and the model frequency extraction unit 71 The power spectrum of the local image after polar coordinate conversion is calculated in advance, the image cutout unit 12 cuts out a local image having the same size as the model local image from the input image, and the polar coordinate conversion unit 20 performs polar coordinate conversion of the input local image. The frequency extraction unit 21 calculates the power spectrum of the local image after the polar coordinate conversion, and the image feature matching unit 31 extracts the one similar to the power spectrum of each input local image from the power spectrum of the model. The estimation unit 32 determines the coordinates in the input image and the model image for each of the similar input local image and model local image. Even when the object is rotating in the image plane by estimating the position and angle of the object in the input image from the coordinates, and counting the number of objects whose angles coincide with the estimated position by the counting unit 33 The presence / absence of an object can be determined from one model image, and when there is an object, its position and angle can be estimated, and the effect is great.
[0085]
In the above description, an example in which the image is a gray image and the image feature is a power spectrum has been described. However, the present invention can be similarly applied to a color image or a binary image, and not only the power spectrum but also each frequency component. The same can be implemented by using a phase angle or the like as an image feature.
[0086]
(Embodiment 4)
FIG. 21 is a block diagram of an image recognition apparatus according to Embodiment 4 of the present invention. In FIG. 21, 1 is an input means for generating image data to be processed, 11 is an image input unit for inputting a gray image of an object, and 12 is an image cutout for sequentially cutting out a local image of a certain size from the image of the image input unit 11. 2 and 2, a feature extraction unit that extracts an image feature by inputting an image from the input unit 1, and a frequency extraction unit 21 that receives a plurality of local images from the image cutout unit 12 and calculates a power spectrum for each of them. Is a feature space projection unit that projects a power spectrum input from the frequency extraction unit 11 as a vector onto a feature space that has been calculated in advance, and 3 is an image obtained by inputting image features from the feature extraction unit 2 and collated with the image features of the model. Collating means for estimating the presence / absence of an object and the position of the object, 31 is a model that has been calculated in advance from the vector input from the feature space projection unit 22 An image feature matching unit 32 that outputs a pair of coordinates in the images of an input having a similar vector and a local image of the model by matching with an image vector, and 32 is a pair of coordinates input from the image feature matching unit 31 A position estimator 33 for estimating and outputting the position of the object in the input image, and 33 sums up the positions of the objects in the input image estimated by the position estimator 32, and if there are many same positions, there is an object there. 4 is an output unit that inputs the presence / absence of the object and the position of the object from the collating means 3 and displays them on a display or the like.
[0087]
In addition, 5 is a feature space parameter calculated in advance from the power spectrum of the local image extracted from the model image of the detection target object, a vector when each power spectrum is projected onto the feature space, and the model image of the local image. 6 is a learning information database in which coordinates representing the position of the object and the object name are stored in advance, 6 is a model image generating unit that generates a local image from the model image of the detection target object, and 61 is a gray image of the detection target object together with the object name The stored image database 62 inputs a model image from the image database, cuts out a local image having the same size as the input local image, and outputs information on the position of the local image in the model image and image data together with the object name. A model image cutout unit 7 for inputting image data from the model image generation means 6 to extract image features and to detect the object name and position Model generation means 71 for outputting together with the information, 71 is a model frequency extraction unit for obtaining the power spectrum of the image data input from the model image cutout unit 62 and outputting it together with information on the object name and position, 72 is calculated by the model frequency extraction unit 71 The eigenspace is generated from all the vectors by using the power spectrum of each model local image as vector data, and each vector is projected onto the eigenspace. The eigenspace base vector and the projected vector together with the object name and position information are learned information database. 5 is a feature space generation unit to be stored in 5.
[0088]
As in the first embodiment, an image recognition apparatus can be realized by a computer as shown in FIG.
[0089]
The operation of the image recognition apparatus configured as described above will be described below with reference to the flowcharts of FIGS. FIG. 22 is a flowchart showing the operation of the model generation means 7, FIG. 23 is a flowchart showing the operation from inputting an image to outputting the result, and FIG. 5 is a diagram of the model image stored in the image database 61. FIG. 7 shows an example of an input image input by the image input unit 11, FIG. 12 shows an example of a region cut out by the model image cutout unit 62 for an image input from the image database 61, and FIG. This is an example in which the position of the object detected in 3 is displayed in a rectangle and output to the display of the output unit 4.
[0090]
Prior to the object image recognition process, the power spectrum of the image is obtained as an image feature of the target object in advance, and a model for projecting all the power spectrum onto the feature space is generated. This will be described with reference to the flowchart of FIG.
[0091]
In the image database 61, a gray image file for each object as shown in FIG. 5 is stored as a model image together with the object name. When a nipper as shown in FIG. 5 is to be detected, the model image cutout unit 62 of the model image generating means 6 inputs a model image of “object name: nipper” from the image database 61 (step 2201), and FIG. Are sequentially cut out from characteristic areas in the object (step 2202).
[0092]
The model generation means 7 performs a two-dimensional discrete Fourier transform shown in (Equation 1) on each rectangular image input from the model image cutout unit 62 by the model frequency extraction unit 71, and each frequency is expressed by the equation (Equation 2). The power spectrum of the component is obtained (step 2203-1).
[0093]
After performing the power spectrum calculation processing of step 2203-1 for all local images input from the model image cutout unit 62 (step 2203-2), the feature space generation unit 72 calculates the power spectrum of each local image as a vector. As data, an eigenspace is generated from all power spectrum vectors, and all vectors are projected onto the eigenspace (step 2203-3).
[0094]
The calculated eigenspace basis vector and the coordinates of the vector of each local image after eigenspace projection are stored in the learning information database 5 together with the object name and the coordinates of the local image in the model image (step 2204).
[0095]
Here, the coordinates of the local image in the model image are values in which the upper left corner of the model image is represented by the coordinate system in the model image with the upper left corner of the model image as the origin.
[0096]
Next, the operation of the image recognition process will be described using the flowchart of FIG.
[0097]
First, image data as shown in FIG. 7 to be detected is input from the image input unit 11 (camera 210 or image database 211) of the input means 1 (step 2301). The image cutout unit 12 cuts out a rectangular local image having the same size as the local image of the model shown in FIG. 12 from the input image in FIG. 7 and outputs it together with the coordinates of the local image (step 2302).
[0098]
Here, the coordinates of the local image are values in which the upper left corner of the input image is the origin and the coordinates of the upper left corner point of the local image are expressed in the coordinate system in the input image.
[0099]
The feature extraction unit 2 first inputs image data from the image cutout unit 12, performs a two-dimensional discrete Fourier transform shown in (Equation 1) in the frequency extraction unit 21, and calculates each frequency component according to the equation shown in (Equation 2). Find the power spectrum.
[0100]
Next, the feature space projection unit 22 inputs a base vector of the eigenspace from the learning information database 5 and projects the power spectrum vector calculated by the frequency extraction unit 21 into the eigenspace with the dimension reduced by (Equation 4). (Step 2303).
[0101]
[Expression 4]

[0102]
When a vector is input from the feature space projection unit 22, the matching unit 3 first inputs a vector of a model local image from the learning information database in the image feature matching unit 31, and in the low-dimensional eigenspace used in Step 2303. The distance between the input local image vector and the model local image vector is obtained. A distance whose distance is smaller than a certain threshold T is extracted as a local image of a model similar to the input local image, and the coordinates of the local image of the model similar to the coordinates of the input local image are paired and output (step 2304).
[0103]
When the position estimation unit 32 inputs a pair of coordinates of the input and the local image of the model from the image feature matching unit 31, the position estimation unit 32 assumes that the object is in a parallel movement relationship in the input image and the model image. The position of the object in the input image is estimated from the pair and output (step 2305).
[0104]
The processing from step 2303 to step 2305 is performed for all the input local images (step 2306), and the number of the same positions output from the position estimation unit 32 is totaled by the totaling unit 33.
[0105]
If there is an aggregated value that is greater than a certain threshold S (step 2307), it is determined that there is a nipper at that position (step 2308). If there is no aggregated value greater than the predetermined threshold S (step 2307), it is determined that no nipper exists in the input image (step 2309).
[0106]
When the counting unit 33 determines that the object is present, the output unit 4 displays the position in the rectangular area 1402 as shown in FIG. 14 and outputs it (step 2310). This output is output from the output terminal 213 via the I / F unit 208.
[0107]
As described above, in the present embodiment, the model image cutout unit cuts out a local image of a certain size from the model image in advance, the model frequency extraction unit 71 calculates the power spectrum of the model local image in advance, and the feature space generation unit 72 calculates an eigenspace from all the power spectra of the model, projects all power vectors onto the eigenspace, and the image cutout unit 12 cuts out a local image having the same size as the local image of the model from the input image, The extraction unit 21 calculates the power spectrum of the input local image, the feature space projection unit 22 projects the input power spectrum onto the space with the dimension of the eigenspace generated by the feature space generation unit 72, and the image feature matching unit 31 is a model that extracts similar local input images from local images of the model in a low-dimensional eigenspace and estimates the position. 32 estimates the position of the object in the input image from the coordinates in the input image and the coordinates in the model image for each of the similar input local image and model local image, and the position estimated by the counting unit 33 matches. By counting the number of objects to be checked, matching can be performed in a low-dimensional space with a smaller amount of data, so that the presence or absence of an object can be determined even when it is partially concealed, and its position can be estimated when there is an object So the effect is great.
[0108]
In the above description, an example in which an image is a gray image and an image feature is a power spectrum has been described. However, the present invention can be similarly applied to a color image or a binary image. The same can be implemented by using a phase angle or the like as an image feature.
[0109]
【The invention's effect】
As described above, according to the present invention, an object can be detected with a small amount of model data by collating frequency information, which is a feature amount independent of the position of the object in the image, between the model image and the input image.
[0110]
Moreover, even if the object is moved or rotated in the image plane, or partially hidden, it can be detected with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of an image recognition apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a block configuration diagram of an image recognition apparatus using a computer according to Embodiment 1 of the present invention;
FIG. 3 is a flowchart showing a process flow of a model generation unit according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing a flow of processing from an image input unit to an output unit in Embodiment 1 of the present invention.
FIG. 5 is a diagram illustrating an example of model images stored in an image database.
FIG. 6 is a diagram showing an example of a power spectrum of a model stored in a learning information database according to Embodiment 1 of the present invention.
FIG. 7 is a diagram showing an example of an input image in the embodiment of the present invention.
FIG. 8 is a diagram showing an example of a power spectrum of an input image in the first embodiment of the present invention.
FIG. 9 is a block configuration diagram of an image recognition apparatus according to Embodiment 2 of the present invention.
FIG. 10 is a flowchart showing a flow of processing of model generation means in Embodiment 2 of the present invention.
FIG. 11 is a flowchart showing a flow of processing from an image input unit to an output unit in Embodiment 2 of the present invention.
FIG. 12 is a diagram illustrating an example of a rectangular area cut out by the model image cutout unit according to Embodiments 2 and 4 of the present invention;
FIG. 13 is a diagram showing an example of a power spectrum of a model stored in a learning information database according to Embodiments 2 and 4 of the present invention.
FIG. 14 is a diagram illustrating an example of a detection result output by the output unit according to the second and fourth embodiments of the present invention.
FIG. 15 is a block configuration diagram of an image recognition apparatus according to Embodiment 3 of the present invention.
FIG. 16 is a flowchart showing a flow of processing of model generation means in Embodiment 3 of the present invention.
FIG. 17 is a flowchart showing a flow of processing from an image input unit to an output unit in Embodiment 3 of the present invention.
FIG. 18 is a diagram showing an example of a circular area cut out by a model image cutout unit according to Embodiment 3 of the present invention;
FIG. 19 is a diagram showing an example of an input image according to Embodiment 3 of the present invention.
FIG. 20 is a diagram illustrating an example of a detection result output by the output unit according to the third embodiment of the present invention.
FIG. 21 is a block configuration diagram of an image recognition apparatus according to Embodiment 4 of the present invention.
FIG. 22 is a flowchart showing the flow of processing of the model generation means in Embodiment 4 of the present invention.
FIG. 23 is a flowchart showing a flow of processing from the image input unit to the output unit in the fourth embodiment of the present invention.
FIG. 24 is a block diagram showing an example of a conventional image recognition apparatus.
FIG. 25 is a block diagram showing another example of a conventional image recognition apparatus.
[Explanation of symbols]
1 Input means
2 Feature extraction means
3 verification means
4 Output section
5 learning information database
6 Model image generation means
7 Model generation means
11 Image input section
12 Image clipping unit
20 Polar coordinate converter
21 Frequency extractor
22 Feature space projection unit
31 Image feature verification unit
32 Position estimation unit
33 Total Department
61 Image Database
62 Model image cutout unit
70 Model polar coordinate converter
71 Model frequency extractor
72 Feature space generator
201 computer
202 CPU
203 memory
204 Keyboard / Display
205 Storage medium unit
206-208 I / F unit
209 CPU bus
210 Camera
211 Image database
212 Learning Information Database
213 Output terminal

Claims (7)

  In a device that detects a specific object from an input image, the image is input, a local area of a certain size is sequentially cut out from the input image as an input local image, and the position of each local area in the image is input local image position information An input unit that outputs with the input local image as a polar coordinate conversion unit for the input local image from the image input unit centered on the reference point of each local image, and a polar coordinate conversion image that is output together with the input local image position information; , Calculating the frequency information of each spatial frequency component of the polar coordinate transformation image, and outputting the input frequency information and the input local image position information, the feature extracting means, and the local image extracted from the model image Model frequency information, which is the frequency information of the model polar coordinate transformation image obtained by polar coordinate transformation around the reference point, and position information in the model image A model of a local image of a model having similar model frequency information by collating each input frequency information from the feature extraction means with model frequency information by learning information database holding certain model local image position information in advance An image feature matching unit that outputs position information in the image as similar local image position information together with the input local image position information, and a target in the input image from each pair of the input local image position information and similar local image position information. The position of the object and the rotation angle of the target object in the image plane are estimated, the estimated position information and the estimated angle information are output, and the estimated position information and the estimated angle information are totaled. A collating unit including a totaling unit that determines the presence or absence of an object and outputs the position and angle of the object; and an output unit that outputs a result of the collating unit. Image recognition apparatus according to claim and. The model frequency information and the model local image position information in the learning information database are obtained by sequentially cutting out a local image having the same size as the input local image as a model local image from the model image stored in the image database. the image recognition apparatus according to claim 1, wherein calculating the frequency information of each spatial frequency component of the model polar coordinate conversion image polar coordinate conversion about the.   In a method for detecting a specific object from an image, local regions of a certain size are sequentially extracted from the input image, and the frequency information of the spatial frequency component in the polar coordinate transformation image centered on the reference point is input frequency for each input local region. It calculates as information, extracts similar frequency information from the frequency information of the polar coordinate conversion image calculated in advance from the local image of the model image of the detection target object for each input frequency information, the similar frequency information Estimate the position and angle of the target object in the input image from the position of the input local image in the input image and the position of the model local image in the model image for each set of input local image and model local image A method for recognizing an image, characterized in that it is determined that an object exists based on a match of both a position and an estimated angle. 4. The image recognition method according to claim 3 , wherein the frequency information of the spatial frequency component is intensity or phase of the spatial frequency component. 4. The image recognition method according to claim 3 , wherein whether or not the object exists is determined by the number of objects in which both the estimated position and the estimated angle match. The frequency information of the polar coordinate conversion image calculated in advance from the local image of the model image is obtained by sequentially extracting a local image having the same size as the input local image from the model image stored in the image database as a model local image. 4. The image recognition method according to claim 3, wherein the frequency information of each spatial frequency component of the model polar coordinate conversion image obtained by performing polar coordinate conversion around the reference point of the local image is calculated. A computer image recognition program that sequentially extracts local areas of a certain size from an input image, and for each input local area, the frequency information of spatial frequency components in a polar coordinate transformation image centered on a reference point is input frequency It calculates as information, extracts similar frequency information from the frequency information of the polar coordinate conversion image calculated in advance from the local image of the model image of the detection target object for each input frequency information, the similar frequency information Estimate the position and angle of the target object in the input image from the position of the input local image in the input image and the position of the model local image in the model image for each set of input local image and model local image A recording medium on which an image recognition program for determining that a target exists based on a match of both a position and an estimated angle is recorded.

Images