JP3438580B2 - 画像認識方法及び画像認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力画像が、予め
作成済の学習画像データベース中のどの画像と近いかを
判定することにより、入力画像上に表示されている物体
が何であるかを認識する画像認識方法及び画像認識装置
並びに画像認識プログラムを記録した記録媒体に関する
ものである。

【０００２】

【従来の技術】従来の画像認識装置は、特開平９−２１
６１０号公報に記載されたものが知られている。

【０００３】図１６は、従来の画像認識装置のブロック
構成図を示しており、画像を入力する画像入力部１１
と、抽出対象物の局所モデルを予め格納しているモデル
記憶部１２と、入力画像の各部分画像について各局所モ
デルとのマッチングを行うマッチング処理部１３と、入
力画像の各部分画像がどの程度局所モデルに一致してい
るかによって画像の位置情報も含めたパラメータ空間で
抽出対象物の位置を確率的に表示し統合する局所情報統
合部１４と、パラメータ空間内で最も確立の高い部分を
抽出して入力画像内での抽出対象物の位置を判別して出
力する物体位置決定部１５から構成されている。

【０００４】

【発明が解決しようとする課題】このような従来の画像
認識装置は、抽出対象物が入力画像と学習画像の間で画
像面内平行移動している場合には適用できるが、平行移
動と画像面内回転移動が同時に生じている場合は認識で
きないという課題を有していた。

【０００５】本発明は、上記従来の課題を解決するもの
で、入力画像の対象物体がモデルと比べて画像面内で回
転している場合にも対象物体を認識し、その位置とモデ
ルに対する回転角を推定することを目的とする。

【０００６】

【課題を解決するための手段】この課題を解決するため
に本発明は、第１に画像を入力する画像入力部と、前記
画像入力部から入力した画像をウィンドウに分割する画
像分割部と、前記画像分割部で分割したそれぞれの入力
ウィンドウに対して類似した学習ウィンドウを抽出する
類似ウィンドウ抽出部と、前記類似ウィンドウ抽出部か
ら入力した同じ学習画像に属する学習ウィンドウについ
て基底となる３ウィンドウを選択した後入力画像上での
位置関係から基底以外のウィンドウを基底が張る空間座
標で求める入力ウィンドウ座標算出部と、前記入力ウィ
ンドウ座標算出部で算出した座標と同じ基底・ウィンド
ウの座標を学習画像上での位置関係から算出したものを
前記入力ウィンドウ座標算出部で算出した座標と比較し
て一致するものの数を学習画像ごとに集計する集計部を
備えたものである。

【０００７】これにより、まず、入力ウィンドウと類似
する学習ウィンドウを抽出し、次に、同じ学習画像に属
する学習ウィンドウの学習画像上での相対座標と、対応
する入力ウィンドウの入力画像上での相対座標を比較し
て、一致するものの数を学習画像ごとに集計することに
よって、入力画像に最も一致する学習画像を決定し、更
に、その学習画像に属する学習ウィンドウと対応する入
力ウィンドウの絶対座標の差から入力画像中の物体の回
転角と入力画像上での位置を推定することができる。

【０００８】

【０００９】

【００１０】

【発明の実施の形態】 請求項１に記載の発明は、予め採
取しておいた大量の学習画像データの中から、入力画像
に近い画像を探索して、入力画像中の対象物体を認識す
る装置おいて、入力した画像を局所領域に分割する画像
分割手段と、様々な物体の画像を前記画像分割手段での
分割サイズと同じサイズのウィンドウに分割して画像上
での位置情報と共に学習ウィンドウとして格納している
学習画像データベースと、前記画像分割手段で分割した
それぞれの入力ウィンドウに対して類似した学習ウィン
ドウを抽出して入力ウィンドウと学習ウィンドウの対を
学習ウィンドウが属する学習画像ごとにまとめて出力す
る類似ウィンドウ抽出手段と、前記学習画像データベー
スに格納されている同じ学習画像に属するウィンドウに
ついて任意の３ウィンドウを基底とし学習画像上での位
置関係から算出した座標と基底の組を学習画像ごとに学
習ウィンドウ座標データベースへ格納する学習手段と、
前記類似ウィンドウ抽出手段から入力した同じ学習画像
に属する学習ウィンドウについて基底となる３ウィンド
ウの組み合わせを全て抽出し、入力した基底と同じ学習
画像に属するウィンドウの基底が張る空間での座標を基
底とウィンドウの入力画像上での位置関係から求め、算
出した座標と同じ基底・ウィンドウによる前記学習ウィ
ンドウデータベースでの座標とを比べて一致するものの
数を集計する投票手段と、前記集計値の最も高い学習画
像を選択する対象決定手段とを含む画像認識装置とした
ものであり、入力画像中の各局所領域の相対座標と、入
力画像局所領域と類似する学習画像局所領域の学習画像
上の相対座標を比較して、相対座標が一致する学習画像
を入力画像の物体であるとし、学習画像と入力画像の対
応する局所領域の絶対座標の違いから、入力画像中の物
体の平行移動量と回転角を算出するという作用を有す
る。

【００１１】請求項２に記載の発明は、学習手段は、予
め同種の物体の学習画像が複数ある場合にそれらの各学
習ウィンドウをその中の代表的な１つの学習画像中の学
習ウィンドウと対応付けて格納している同種画像情報デ
ータベースを有し、投票手段は前記同種画像情報データ
ベースの同種画像情報に基づいて前記類似ウィンドウ抽
出手段から入力した同種の物体の学習画像に属する学習
ウィンドウを代表的な一つの学習画像の学習ウィンドウ
に変換し、入力した同種の画像に属する学習ウィンドウ
について基底となる３ウィンドウの組み合わせを全て抽
出する請求項１記載の画像認識装置としたものであり、
同種の学習画像が複数ある場合に、それを一つの学習画
像で代表させた後入力画像中の各局所領域の相対座標
と、入力画像局所領域と類似する学習画像局所領域の学
習画像上の相対座標を比較して、相対座標が一致する学
習画像を入力画像の物体の種類を表す画像であるとし、
学習画像と入力画像の対応する局所領域の絶対座標の違
いから、入力画像中の物体の平行移動量と回転角を算出
するという作用を有する。

【００１２】請求項３に記載の発明は、予め採取してお
いた大量の学習画像データの中から、入力画像に近い画
像を探索して、入力画像中の対象物体を認識する装置で
あって、入力した画像を局所領域に分割する画像分割手
段と、前記画像分割手段で分割したそれぞれの入力ウィ
ンドウに対して類似した学習ウィンドウを抽出して入力
ウィンドウと学習ウィンドウの対を学習ウィンドウが属
する学習画像ごとにまとめて出力する類似ウィンドウ抽
出手段と、様々な物体の画像を前記画像分割部での分割
サイズと同じサイズのウィンドウに分割して画像上での
位置情報と共に学習ウィンドウとして格納し同時に学習
画像ごとに任意の一点を画像中の物体の位置を示す注目
点としてその位置情報を格納している学習画像データベ
ースを持つ学習手段と、前記類似ウィンドウ抽出手段か
ら入力した同じ学習画像に属する学習ウィンドウについ
て２ウィンドウの組み合わせを全て抽出するウィンドウ
選択部と、前記ウィンドウ選択部で抽出したウィンドウ
の組ごとに注目点の入力画像上での位置座標を２入力ウ
ィンドウの位置座標と前記学習画像データベースから入
力した同じウィンドウ・注目点の学習画像上での位置関
係から推定し、抽出した各ウィンドウの組について入力
画像上での位置座標から求めた２ウィンドウが成すベク
トルと前記学習画像データベースに格納されている同じ
ウィンドウの学習画像上での位置座標から求めたベクト
ルとのなす角度を算出し、入力した座標値と前記角度と
を１つの組にして同じ値を持つウィンドウの組の数を学
習画像ごとに集計する投票手段と、前記集計値の最も高
い学習画像を選択する対象決定手段とを含む画像認識装
置としたものであり、入力画像中の各２局所領域が作る
ベクトルと、その局所領域と類似する同じ学習画像に属
する２学習画像局所領域が作るベクトルのなす角を算出
して、各２局所領域のなす角が一定であり、かつ、各入
力局所領域と類似した学習局所領域が推定する入力画像
中の物体の位置が最も一定となる学習画像を入力画像の
物体であると推定するという作用を有する。

【００１３】請求項４に記載の発明は、学習部は、同種
の物体の学習画像が複数ある場合にそれらの各学習ウィ
ンドウをその中の代表的な一つの学習画像中の学習ウィ
ンドウと対応付けて格納している同種画像情報データベ
ースを有し、投票手段は前記同種画像情報データベース
の同種画像情報に基づいて前記類似ウィンドウ抽出部か
ら入力した同種の物体の学習画像に属する学習ウィンド
ウを代表的な一つの学習画像に属する学習ウィンドウに
変換して出力する同種画像混合部と、前記同種画像混合
部から入力した同種の画像に属する学習ウィンドウにつ
いて２ウィンドウの組み合わせを全て抽出する請求項３
記載の画像認識装置としたものであり、同種の学習画像
が複数ある場合に、それを一つの学習画像で代表させた
後、入力画像中の各２局所領域が作るベクトルと、その
局所領域と類似する同じ学習画像に属する２学習画像局
所領域が作るベクトルのなす角を算出して、各２局所領
域のなす角が一定であり、かつ、各入力局所領域と類似
した学習局所領域が推定する入力画像中の物体の位置が
最も一定となる学習画像を入力画像の物体であると推定
するという作用を有する。請求項５に記載の発明は、予
め採取しておいた大量の学習画像データの中から、入力
画像に近い画像を探索して、入力画像中の対象物体を認
識する方法であって、入力した画像を局所領域に分割す
る画像分割ステップと、様々な物体の画像を前記画像分
割手段での分割サイズと同じサイズのウィンドウに分割
して画像上での位置情報と共に学習ウィンドウとして学
習画像データベースに格納する学習画像データベース格
納ステップと、前記画像分割ステップで分割したそれぞ
れの入力ウィンドウに対して類似した学習ウィンドウを
抽出して入力ウィンドウと学習ウィンドウの対を学習ウ
ィンドウが属する学習画像ごとにまとめて出力する類似
ウィンドウ抽出ステップと、前記学習画像データベース
に格納されている同じ学習画像に属するウィンドウにつ
いて任意の３ウィンドウを基底とし学習画像上での位置
関係から算出した座標と基底の組を学習画像ごとに学習
ウィンドウ座標データベースへ格納する学習ステップ
と、前記類似ウィンドウ抽出ステップから入力した同じ
学習画像に属する学習ウィンドウについて基底となる３
ウィンドウの組み合わせを全て抽出し、入力した基底と
同じ学習画像に属するウィンドウの 基底が張る空間での
座標を基底とウィンドウの入力画像上での位置関係から
求め、算出した座標と同じ基底・ウィンドウによる前記
学習ウィンドウデータベースでの座標とを比べて一致す
るものの数を集計する投票ステップと、前記集計値の最
も高い学習画像を選択する対象決定ステップとを含む画
像認識方法としたものであり、入力画像中の各局所領域
の相対座標と、入力画像局所領域と類似する学習画像局
所領域の学習画像上の相対座標を比較して、相対座標が
一致する学習画像を入力画像の物体であるとし、学習画
像と入力画像の対応する局所領域の絶対座標の違いか
ら、入力画像中の物体の平行移動量と回転角を算出する
という作用を有する。請求項６に記載の発明は、予め採
取しておいた大量の学習画像データの中から、入力画像
に近い画像を探索して、入力画像中の対象物体を認識す
る方法であって、入力した画像を局所領域に分割する画
像分割ステップと、前記画像分割手段で分割したそれぞ
れの入力ウィンドウに対して類似した学習ウィンドウを
抽出して入力ウィンドウと学習ウィンドウの対を学習ウ
ィンドウが属する学習画像ごとにまとめて出力する類似
ウィンドウ抽出ステップと、様々な物体の画像を前記画
像分割部での分割サイズと同じサイズのウィンドウに分
割して画像上での位置情報と共に学習ウィンドウとして
格納し同時に学習画像ごとに任意の一点を画像中の物体
の位置を示す注目点としてその位置情報を格納している
学習画像データベースを持つ学習ステップと、前記類似
ウィンドウ抽出ステップから入力した同じ学習画像に属
する学習ウィンドウについて２ウィンドウの組み合わせ
を全て抽出するウィンドウ選択ステップと、前記ウィン
ドウ選択ステップで抽出したウィンドウの組ごとに注目
点の入力画像上での位置座標を２入力ウィンドウの位置
座標と前記学習画像データベースから入力した同じウィ
ンドウ・注目点の学習画像上での位置関係から推定し、
抽出した各ウィンドウの組について入力画像上での位置
座標から求めた２ウィンドウが成すベクトルと前記学習
画像データベースに格納されている同じウィンドウの学
習画像上での位置座標から求めたベクトルとのなす角度
を算出し、入力した座標値と前記角度とを１つの組にし
て同じ値を持つウィンドウの組の数を学習画像ごとに集
計する投票ステップと、前記集計値の最も高い学習画像
を選択する対象決定ステップとを含む画像認識装置とし
たもので あり、同種の学習画像が複数ある場合に、それ
を一つの学習画像で代表させた後入力画像中の各局所領
域の相対座標と、入力画像局所領域と類似する学習画像
局所領域の学習画像上の相対座標を比較して、相対座標
が一致する学習画像を入力画像の物体の種類を表す画像
であるとし、学習画像と入力画像の対応する局所領域の
絶対座標の違いから、入力画像中の物体の平行移動量と
回転角を算出するという作用を有する。

【００１４】請求項７に記載の発明は、コンピュータに
より画像認識を行うプログラムであって、入力した画像
を局所領域に分割する画像分割ステップと、様々な物体
の画像を前記画像分割手段での分割サイズと同じサイズ
のウィンドウに分割して画像上での位置情報と共に学習
ウィンドウとして学習画像データベースに格納する学習
画像データベース格納ステップと、前記画像分割ステッ
プで分割したそれぞれの入力ウィンドウに対して類似し
た学習ウィンドウを抽出して入力ウィンドウと学習ウィ
ンドウの対を学習ウィンドウが属する学習画像ごとにま
とめて出力する類似ウィンドウ抽出ステップと、前記学
習画像データベースに格納されている同じ学習画像に属
するウィンドウについて任意の３ウィンドウを基底とし
学習画像上での位置関係から算出した座標と基底の組を
学習画像ごとに学習ウィンドウ座標データベースへ格納
する学習ステップと、前記類似ウィンドウ抽出ステップ
から入力した同じ学習画像に属する学習ウィンドウにつ
いて基底となる３ウィンドウの組み合わせを全て抽出
し、入力した基底と同じ学習画像に属するウィンドウの
基底が張る空間での座標を基底とウィンドウの入力画像
上での位置関係から求め、算出した座標と同じ基底・ウ
ィンドウによる前記学習ウィンドウデータベースでの座
標とを比べて一致するものの数を集計する投票ステップ
と、前記集計値の最も高い学習画像を選択する対象決定
ステップとを含む画像認識プログラムを記録した記録媒
体から、コンピュータに読み込み実行することにより、
入力画像中の各局所領域の相対座標と、入力画像局所領
域と類似する学習画像局所領域の学習画像上の相対座標
を比較して、相対座標が一致する学習画像を入力画像の
物体であるとし、学習画像と入力画像の対応する局所領
域の絶対座標の違いから、入力画像中の物体の平行移動
量と回転角を算出するという作用を有する。

【００１５】以下、本発明の実施の形態について、図１
から図１４を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態１におけ
る画像認識装置のブロック構成図を示している。図１に
おいて、１は認識したい対象物の画像データを入力する
画像入力部、２は画像入力部１で入力した画像を局所ウ
ィンドウに分割して出力する画像分割部、３は画像分割
部２で分割した各入力ウィンドウ画像に対して類似する
学習ウィンドウをデータベースから抽出して学習ウィン
ドウが属する画像ごとにまとめて、対応する入力ウィン
ドウと共に出力する類似ウィンドウ抽出部、４は認識し
たい物体のモデルを予め作成しておく学習手段、４１は
種々の物体のモデル画像である学習画像を、画像分割部
２で作成する局所ウィンドウと同じサイズの局所ウィン
ドウに分割して学習ウィンドウとして格納している学習
画像データベース、４２は学習画像データベースに格納
されている各学習画像ごとに、任意の３つの学習ウィン
ドウを抽出して、その３学習ウィンドウの位置座標を基
底としたときのそれ以外の学習ウィンドウの相対座標を
求める学習ウィンドウ座標算出部、４３は学習ウィンド
ウ座標算出部４２で求めた相対座標データを格納してい
る学習ウィンドウ座標データベース、５は類似ウィンド
ウ抽出部３で抽出した学習ウィンドウの、学習画像上で
の相対位置と、対応する入力ウィンドウの入力画像上で
の相対位置を比較して、一致するものの数を集計する投
票手段、５１は類似ウィンドウ抽出部３が出力する同一
学習画像に属する学習ウィンドウの中から、基底となる
３つの学習ウィンドウの組み合わせを全て抽出して、対
応する入力ウィンドウと共に基底学習ウィンドウ・基底
入力ウィンドウとして出力する基底選択部、５２は基底
選択部５１から入力した各基底について、同じ学習画像
に属する他の学習ウィンドウの相対座標を、対応する入
力ウィンドウの対応する基底入力ウィンドウに対する入
力画像上での相対座標で表して、座標値と、学習ウィン
ドウ・基底学習ウィンドウと、対応する入力ウィンドウ
・基底入力ウィンドウを出力する入力ウィンドウ座標算
出部、５３は入力ウィンドウ座標算出部５２から入力し
た学習ウィンドウ・基底学習ウィンドウに対して学習ウ
ィンドウ座標データベース４３に格納されている相対座
標と入力ウィンドウ座標算出部５２から入力した座標と
を比較して、一致するものの数を基底ごとに集計して基
底と集計値を出力する集計部、６は投票手段５の集計結
果を受けて入力画像中の対象物とその姿勢を決定する対
象決定手段、６１は集計部５３から入力した集計値のう
ち最大の値を持つ基底を出力し、その基底が属する学習
画像中の物体を入力画像の物体であるとみなす対象画像
決定部、６２は対象画像決定部６１が選択した基底につ
いて、基底学習ウィンドウの学習画像上での位置と、基
底入力ウィンドウの入力画像上での位置とを比較して、
入力画像中の対象の位置と回転角を算出する姿勢算出部
である。

【００１６】また、図２はコンピュータにより画像認識
装置を実現した場合のブロック構成図であり、２０１は
コンピュータ、２０２はＣＰＵ、２０３はメモリ、２０
４はキーボード及びディスプレイ、２０５は画像認識プ
ログラムを読み込むためのＦＤユニット、２０６〜２０
８はＩ／Ｆユニット、２０９はＣＰＵバス、２１０は画
像を取り込むためのカメラ、２１１は予め蓄積されてい
る画像を取り込むための画像データベース、２１２は種
々の物体のモデル画像である学習画像を局所ウィンドウ
に分割して学習ウィンドウとして格納している学習画像
データベース、２１３は相対座標データを格納している
学習ウィンドウ座標データベース、２１５は得られた物
体の平行移動量と回転角はＩ／Ｆユニットを介して出力
する出力端子で構成されている。

【００１７】以上のように構成された画像認識装置につ
いて、以下その動作を図３のフローチャートを用いて説
明する。図４は、入力画像の一例、図５は、学習画像の
一例、図６は、類似ウィンドウ抽出部３が出力するデー
タの一例、図７は、集計部５３が出力する集計結果の一
例である。

【００１８】認識対象となる画像データを画像入力部１
（カメラ２１０または画像データベース２１１）から入
力する（６０１）。画像分割部２は、図４に示すよう
に、その画像から一定サイズのウィンドウを任意画素移
動させて順次抽出し、ウィンドウ画像データをウィンド
ウの中心点の座標とともに出力する（６０２）。

【００１９】学習画像データベース４１（学習画像デー
タベース２１２）には、予め、種々の物体の画像が、図
５に示すように、入力ウィンドウ画像と同じサイズのウ
ィンドウに区切られ、ウィンドウ番号とウィンドウの中
心点の位置座標とともに格納されている。

【００２０】類似ウィンドウ抽出部３は、画像分割部２
からウィンドウ画像データを入力すると、学習画像デー
タベース４１（学習画像データベース２１２）の全ての
学習ウィンドウ画像データと差、例えば、各画素値の差
の二乗の和、を算出して、最も差の小さいものを抽出す
る。類似ウィンドウ抽出部３は、全ての入力ウィンドウ
に対してそれぞれ最も類似した学習ウィンドウを学習画
像データベース４１から抽出すると、学習ウィンドウが
属する学習画像ごとにまとめて、図６に示すように、学
習ウィンドウ識別番号と、対応する入力ウィンドウの中
心座標の対で出力する（６０３）。ここで、学習ウィン
ドウ識別番号は、図５に示すように、属する学習画像番
号と学習画像中の位置を示す番号から成り、また、入力
ウィンドウの座標と対応付けることにより、各学習ウィ
ンドウは、ベクトルとみなすことができる。

【００２１】基底選択部５１は、学習ウィンドウ識別番
号と座標を入力すると、まず、同じ学習画像に属する学
習ウィンドウを抽出する（６０４）。次に、抽出した学
習ウィンドウから基底とする３つのウィンドウの組み合
わせを全て作る（６０５）。例えば、図７の画像３に属
する基底は、(3-3, 3-4, 3-11), (3-3, 3-4, 3-12),…
となる。

【００２２】次に、各基底ウィンドウの組に対して、基
底ウィンドウが張る空間での基底以外のウィンドウの座
標を求める（６０６）。例えば、図７の基底(3-3, 3-4,
3-11)の基底ベクトルは、3-3を原点とすると、3-3, 3-
4から成るベクトル(119-40,86-100)=(79, -14)(ベクト
ルｅ1)と3-3, 3-11から成るベクトル(54-40, 179-100)=
(14, 79)(ベクトルｅ2)である。よって、基底以外のウ
ィンドウ3-5(198, 72)の3-3を原点としたときの座標(19
8-40, 72-100)=(158, -28)をベクトルｅ1とベクトルｅ2
で表すと、（2*ベクトルｅ1）+（0*ベクトルｅ2）とな
り、3-5の相対座標は、(2, 0)となる。

【００２３】ここで、学習ウィンドウ座標算出部４２
は、予め、全ての学習画像の全ての基底に対する各学習
ウィンドウの学習画像上での相対座標を、各ウィンドウ
の中心点の座標から算出して、学習ウィンドウ座標デー
タベース４３（学習ウィンドウ座標データベース２１
３）に格納している。例えば、図６における3-3と3-4と
3-5と3-11の学習画像上での中心座標は、図５に示した
ように、それぞれ(200, 40)(280, 40)(360, 40)(200, 1
20)であるので、3-3, 3-4, 3-11を基底としたときの基
底ベクトルは、3-3を原点とすると(80, 0)=ベクトルｅ
1, (0, 80)=ベクトルｅ2となる。よって、3-5:(360, 4
0)の、3-3を原点としたときの座標は(160, 0)となり、
相対座標は、（2*ベクトルｅ1）+（0*ベクトルｅ2）す
なわち、(2, 0)となる。

【００２４】集計部５３は、（６０６）で算出した座標
(座標Ａ)と同じ基底・同じウィンドウによる座標を学習
ウィンドウ座標データベース４３から抽出して(座標
Ｂ)、座標Ａが座標Ｂの近傍にあれば（６０７）、その
基底の得点として１点加算する（６０８）。例えば、上
記の、基底(3-3, 3-4, 3-11)・ウィンドウ3-5の場合
は、座標Ａと座標Ｂが一致するので、基底(3-3, 3-4, 3
-11)の得点に１点加算する。

【００２５】図７に示すように、全ての画像の全ての基
底について（６０４）から（６０８）までの処理が終了
したら、その学習画像の全ての学習ウインドウについて
処理が終了したかを判定する（６０９）。次に、その学
習画像の全ての基底について処理が終了したかを判定す
る（６１０）。次に、全ての学習画像について処理が終
了したかを判定する（６１１）。

【００２６】対象画像決定部６は、学習画像ごとに得点
を合計して最も高得点の学習画像の物体を入力画像の対
象物体とする（６１２）。

【００２７】更に、姿勢算出部６２は、その学習画像に
属する高得点の基底の入力画像上の座標と、学習画像デ
ータベース４１に格納されている学習画像上の座標か
ら、物体の平行移動量と回転角を求める（６１３）。例
えば、図７の高得点の基底(3-3, 3-4, 3-11)の場合、3-
3の学習画像上の座標(200, 40)(図５)と、入力画像上の
座標(40, 100)(図４)から、平行移動量を(-160, 60)と
求め、回転角θは、3-4の学習画像上の座標(280, 40)
(図９)と入力画像上の座標(119, 86)(図１０)から、
（数１）を解いて、θ=10度と求めることができる。

【００２８】

【数１】

【００２９】なお、得られた物体の平行移動量と回転角
は、Ｉ／Ｆユニットを介して出力端子２１５から出力さ
れる。

【００３０】（実施の形態２）図８は、本発明の実施の
形態２における画像認識装置のブロック構成図を示す。
図８において、１は認識したい対象物の画像データを入
力する画像入力部、２は画像入力部１で入力した画像を
局所ウィンドウに分割して出力する画像分割部、３は画
像分割部２で分割した各入力ウィンドウ画像に対して類
似する学習ウィンドウをデータベースから抽出して学習
ウィンドウが属する画像ごとにまとめて、対応する入力
ウィンドウと共に出力する類似ウィンドウ抽出部、４は
認識したい物体のモデルを予め作成しておく学習手段、
４１は種々の物体のモデル画像である学習画像を、画像
分割部２で作成する局所ウィンドウと同じサイズの局所
ウィンドウに分割して学習ウィンドウとして格納してい
る学習画像データベース、４２は学習画像データベース
に格納されている各学習画像ごとに、任意の３つの学習
ウィンドウを抽出して、その３学習ウィンドウの位置座
標を基底としたときのそれ以外の学習ウィンドウの相対
座標を求める学習ウィンドウ座標算出部、４３は学習ウ
ィンドウ座標算出部４２で求めた相対座標データを格納
している学習ウィンドウ座標データベース、４４は学習
画像データベース４１中の同じ種類の複数の学習画像に
ついてそれらに属する各学習ウィンドウを代表的な一つ
の学習画像の同じ部分の学習ウィンドウと対応づけて格
納している同種画像情報データベース、５は類似ウィン
ドウ抽出部３で抽出した学習ウィンドウの、学習画像上
での相対位置と、対応する入力ウィンドウの入力画像上
での相対位置を比較して、一致するものの数を集計する
投票手段、５０は同種画像情報データベース４４に格納
されている同種画像情報に基いて類似ウィンドウ抽出部
３が出力する同一学習画像に属する学習ウィンドウを同
じ種類の代表的な１学習画像に含まれる学習ウィンドウ
に変換して出力する同種画像混合部、５１は同種画像混
合部５０が出力する同一種類の学習画像に属する学習ウ
ィンドウの中から、基底となる３つの学習ウィンドウの
組み合わせを全て抽出して、対応する入力ウィンドウと
共に基底学習ウィンドウ・基底入力ウィンドウとして出
力する基底選択部、５２は基底選択部５１から入力した
各基底について、同じ学習画像に属する他の学習ウィン
ドウの相対座標を、対応する入力ウィンドウの対応する
基底入力ウィンドウに対する入力画像上での相対座標で
表して、座標値と、学習ウィンドウ・基底学習ウィンド
ウと、対応する入力ウィンドウ・基底入力ウィンドウを
出力する入力ウィンドウ座標算出部、５３は入力ウィン
ドウ座標算出部５２から入力した学習ウィンドウ・基底
学習ウィンドウに対して学習ウィンドウ座標データベー
ス４３に格納されている相対座標と入力ウィンドウ座標
算出部５２から入力した座標とを比較して、一致するも
のの数を基底ごとに集計して基底と集計値を出力する集
計部、６は投票手段５の集計結果を受けて入力画像中の
対象物とその姿勢を決定する対象決定手段、６１は集計
部５３から入力した集計値のうち最大の値を持つ基底を
出力し、その基底が属する学習画像中の物体を入力画像
の物体であるとみなす対象画像決定部、６２は対象画像
決定部６１が選択した基底について、基底学習ウィンド
ウの学習画像上での位置と、基底入力ウィンドウの入力
画像上での位置とを比較して、入力画像中の対象の位置
と回転角を算出する姿勢算出部である。

【００３１】以上のように構成された画像認識装置につ
いて、以下その動作を図９に示すフローチャートを用い
て説明する。

【００３２】図４は入力画像の一例、図５は学習画像の
一例、図６は類似ウィンドウ抽出部３が出力するデータ
の一例、図７は集計部５３が出力する集計結果の一例、
図１０は学習画像データベース４１に格納されている同
種画像の一例図、１１は同種画像情報データベース４４
に格納されている同種画像情報の一例である。

【００３３】認識対象となる画像データが画像入力部１
から入力する（１１０１）。画像分割部２は、図４に示
すように、その画像から一定サイズのウィンドウを順次
抽出して、ウィンドウ画像データをウィンドウの中心点
の座標とともに出力する（１１０２）。

【００３４】類似ウィンドウ抽出部３は、画像分割部２
からウィンドウ画像データを入力すると、学習画像デー
タベース４１の全ての学習ウィンドウ画像データと差、
例えば、各画素値の差の二乗の和、を算出して、最も差
の小さいものを抽出する。学習画像データベース４１に
は予め、種々の物体の画像が、図５に示すように、入力
ウィンドウ画像と同じサイズのウィンドウに区切られ、
ウィンドウ番号とウィンドウの中心点の位置座標ととも
に格納されている。類似ウィンドウ抽出部３は、全ての
入力ウィンドウに対してそれぞれ最も類似した学習ウィ
ンドウを学習画像データベース４１から抽出すると、学
習ウィンドウが属する学習画像ごとにまとめて、図６に
示すように、学習ウィンドウ識別番号と、対応する入力
ウィンドウの中心座標の対で出力する（１１０３）。こ
こで、学習ウィンドウ識別番号は、図５に示すように、
属する学習画像番号と学習画像中の位置を示す番号から
成り、また、入力ウィンドウの座標と対応付けることに
より、各学習ウィンドウは、ベクトルとみなすことがで
きる。同種画像情報データベース４４には、学習画像デ
ータベース４１に格納されている同じ種類の物体の学習
画像について、各物体の同じ部分を含む学習ウィンドウ
同士を対応付けて、同種画像情報として格納してある。
例えば、図５に示す学習画像３と図１０に示す学習画像
２９は、横向のセダンの学習画像であり、学習画像３の
学習ウィンドウ３と学習画像２９の学習ウィンドウ２７
は、両方のセダンの後部ウィンドウを含む画像であるの
で、対応する学習ウィンドウとみなす。同様にして同種
画像情報データベース４４には、図１１に示すように、
学習画像３と学習画像２９の学習ウィンドウの対応と、
同種の学習画像３、２９、６２・・・の代表画像が学習
画像３であるという情報が格納されている。

【００３５】同種画像混合部５０は、類似ウィンドウ抽
出部３から学習ウィンドウ識別番号と入力ウィンドウ座
標を入力すると、同種画像情報データベース４４を検索
して、同種類の学習画像に属する学習ウィンドウを全
て、代表的な１つの学習画像に属する学習ウィンドウで
置換する（１１０４−１）。例えば、学習画像２９の学
習ウィンドウ29-28は、図１１の表に基づいて学習ウィ
ンドウ3-4に変換して、対応する入力ウィンドウ座標と
ともに出力する。基底選択部５１は、学習ウィンドウ識
別番号と座標を入力すると、まず、同じ学習画像に属す
る学習ウィンドウを抽出する（１１０４−２）。

【００３６】次に、抽出した学習ウィンドウから基底と
する３つのウィンドウの組み合わせを全て作る（１１０
５）。例えば、図６の画像３に属する基底は、(3-3, 3-
4, 3-11), (3-3, 3-4, 3-12), ・・・となる。

【００３７】次に、各基底ウィンドウの組に対して、基
底ウィンドウが張る空間での基底以外のウィンドウの座
標を求める（１１０６）。例えば、図６の基底(3-3, 3-
4, 3-11)の基底ベクトルは、3-3を原点とすると、3-3,
3-4から成るベクトル(119-40, 86-100)=(79, -14)(=ベ
クトルｅ1)と3-3, 3-11から成るベクトル(54-40, 179-1
00)=(14, 79)(=ベクトルｅ2)である。よって、基底以外
のウィンドウ3-5(198,72)の3-3を原点としたときの座標
(198-40, 72-100)=(158, -28)をベクトルｅ1とベクトル
ｅ2で表すと、（2*ベクトルｅ1）+（0*ベクトルｅ2）と
なり、3-5の相対座標は、(2, 0)となる。ここで学習ウ
ィンドウ座標算出部４２は、予め、全ての学習画像の全
ての基底に対する各学習ウィンドウの学習画像上での相
対座標を、各ウィンドウの中心点の座標から算出して、
学習ウィンドウ座標データベース４３に格納している。
例えば、図６における3-3と3-4と3-5と3-11の学習画像
上での中心座標は、図５に示したように、それぞれ(20
0, 40)(280, 40)(360, 40)(200, 120)であるので、3-3,
3-4, 3-11を基底としたときの基底ベクトルは、3-3を
原点とすると(80, 0)=1, (0, 80)=2となる。よって、3-
5:(360, 40)の、3-3を原点としたときの座標は(160, 0)
となり、相対座標は、（2*ベクトルｅ1）+（0*ベクトル
ｅ2すなわち、(2, 0)となる。

【００３８】集計部５３は、（１１０６）で算出した座
標(座標Ａ)と同じ基底・同じウィンドウによる座標を学
習ウィンドウ座標データベース４３から抽出して(座標
Ｂ)、座標Ａが座標Ｂの近傍にあれば（１１０７）、そ
の基底の得点として１点加算する（１１０８）。例え
ば、上記の、基底(3-3, 3-4, 3-11)・ウィンドウ3-5の
場合は、座標Ａと座標Ｂが一致するので、基底(3-3, 3-
4, 3-11)の得点に１点加算する。図７に示すように、全
ての画像の全ての基底について（１１０４）から（１１
０８）までの処理が終了したら、、その学習画像の全て
の学習ウインドウについて処理が終了したかを判定する
（１１０９）。次に、その学習画像の全ての基底につい
て処理が終了したかを判定する（１１１０）。次に、全
ての学習画像について処理が終了したかを判定する（１
１１１）。

【００３９】対象画像決定部６は、学習画像ごとに得点
を合計して最も高得点の学習画像の物体を入力画像の対
象物体とする（１１１２）。

【００４０】更に、姿勢算出部６２は、その学習画像に
属する高得点の基底の入力画像上の座標と、学習画像デ
ータベース４１に格納されている学習画像上の座標か
ら、物体の平行移動量と回転角を求める（１１１３）。
例えば、図７の高得点の基底(3-3, 3-4, 3-11)の場合、
3-3の学習画像上の座標(200, 40)（図５）と、入力画像
上の座標(40, 100)（図４）から、平行移動量を(-160,
60)とすると、回転角θは、3-4の学習画像上の座標(28
0, 40)（図５）と入力画像上の座標(119, 86)（図４）
から、（数２）を解いて、θ=10度となる。

【００４１】

【数２】

【００４２】（実施の形態３）図１２は本発明の実施の
形態３における画像認識装置のブロック構成図を示す。
図１２において、１は認識したい対象物の画像データを
入力する画像入力部、２は画像入力部１で入力した画像
を局所ウィンドウに分割して出力する画像分割部、３は
画像分割部２で分割した各入力ウィンドウ画像に対して
類似する学習ウィンドウをデータベースから抽出して学
習ウィンドウが属する画像ごとにまとめて、それらの位
置座標を対応する入力ウィンドウの座標と共に出力する
類似ウィンドウ抽出部、４は認識したい物体のモデルを
予め作成しておく学習手段、４１は種々の物体のモデル
画像である学習画像を、画像分割部２で作成する局所ウ
ィンドウと同じサイズの局所ウィンドウに分割して学習
ウィンドウとして格納するとともに、物体上の１点の座
標を注目点座標として格納している学習画像データベー
ス、５は類似ウィンドウ抽出部３で抽出した学習ウィン
ドウの、学習画像上での相対位置と、対応する入力ウィ
ンドウの入力画像上での相対位置を比較して、一致する
ものの数を集計する投票手段、５４は類似ウィンドウ抽
出部３が出力する同一学習画像に属する学習ウィンドウ
の中から、２つの学習ウィンドウの組み合わせを全て抽
出して、対応する入力ウィンドウ座標と共に出力するウ
ィンドウ選択部、５２−１はウィンドウ選択部５４から
入力した各２学習ウィンドウについて、それが属する学
習画像の注目点座標を学習画像データベース４１から入
力して、２学習ウィンドウの座標と注目点座標との位置
関係と対応する２入力ウィンドウの座標から入力画像中
の物体の注目点座標を算出して、学習画像の注目点座標
と共に出力する注目点座標算出部、５２−２はウィンド
ウ選択部５４から入力した２学習ウィンドウの座標が作
るベクトルと、対応する２入力ウィンドウの座標が作る
ベクトルとのなす角を算出して出力するベクトル角算出
部、５３は注目点座標算出部５２−１から入力した座標
と、ベクトル角算出部５２−２から入力した座標を組に
して同じ値を持つ組の数を画像ごとに集計して出力する
集計部、６は投票手段５の集計結果を受けて入力画像中
の対象物とその姿勢を決定する対象決定手段、６３は集
計部５３から入力した集計値のうち最大の値を持つもの
の学習画像中の物体を入力画像の物体であるとして、そ
の組の座標となす角から入力画像中の対象の位置と回転
角を決定する対象姿勢決定部である。

【００４３】以上のように構成された画像認識装置につ
いて、以下その動作を図１２のフローチャートを用いて
説明する。図４は入力画像の一例、図５は学習画像の一
例、図６は類似ウィンドウ抽出部３が出力するデータの
一例である。

【００４４】認識対象となる画像データが画像入力部１
から入力されると（１４０１）、画像分割部２は図４に
示すように、その画像から一定サイズのウィンドウを順
次抽出して、ウィンドウ画像データをウィンドウの中心
点の座標とともに出力する（１４０２）。

【００４５】類似ウィンドウ抽出部３は、画像分割部２
からウィンドウ画像データを入力すると、学習画像デー
タベース４１の全ての学習ウィンドウ画像データと差、
例えば、各画素値の差の二乗の和、を算出して、最も差
の小さいものを抽出する。学習画像データベース４１に
は予め、種々の物体の画像が、図５に示すように、入力
ウィンドウ画像と同じサイズのウィンドウに区切られ、
ウィンドウ番号とウィンドウの中心点の位置座標ととも
に格納されている。また同時に、学習画像ごとに物体上
の任意の１点の座標が注目点座標として格納されてい
る。類似ウィンドウ抽出部３は、全ての入力ウィンドウ
に対してそれぞれ最も類似した学習ウィンドウを学習画
像データベース４１から抽出すると、学習ウィンドウが
属する学習画像ごとにまとめて、図６に示すように、学
習ウィンドウ識別番号と、対応する入力ウィンドウの中
心座標の対で出力する（１４０３）。ここで、学習ウィ
ンドウ識別番号は、図５に示すように、属する学習画像
番号と学習画像中の位置を示す番号から成っている。

【００４６】ウィンドウ選択部５４は、学習ウィンドウ
識別番号と座標を入力すると、まず、同じ学習画像に属
する学習ウィンドウを抽出する（１４０４）。次に、抽
出した学習ウィンドウから２つのウィンドウの組み合わ
せを全て作る（１４０５）。例えば、図６の画像３から
は、(3-3, 3-4), (3-3, 3-5), (3-3, 3-11) ・・を抽出
する。注目点座標算出部５２−１は、ウィンドウ選択部
５１から入力した各２ウィンドウに対して、２学習ウィ
ンドウの座標と学習画像の注目点座標を学習画像データ
ベース４１から抽出して、それらの座標間の関係と、対
応する入力ウィンドウの座標から入力画像の注目点座標
を求める（１４０６）。例えば、図７のウィンドウ(3-
3, 3-4)について、画像３の注目点座標を(320, 160)と
すると、図５より、3-3の学習画像上の座標は(200, 4
0)、3-4の学習画像上の座標は(280, 40)であるから、3-
3と注目点の距離の二乗は(320-200)²+(160-40)²=2880
0、3-4と注目点の距離の二乗は(320-280)²+(160-40)²=1
6000、となる。図６より、3-3と対応する入力ウィンド
ウの入力画像上の座標は(40, 100)、3-4と対応する入力
ウィンドウの入力画像上の座標は(119, 86)であるか
ら、以上より、入力画像の注目点をx, yとすると、x, y
は、

【００４７】

【数３】

【００４８】より求めることができる。ベクトル角算出
部５２−２は、ウィンドウ選択部５４から２ウィンドウ
の組を入力すると、まず、その２ウィンドウの学習画像
上の座標を学習画像データベース４１から抽出して、ベ
クトルを作成する。次に、対応する入力画像上の座標か
ら作ったベクトルとのなす角を算出して出力する（１４
０７）。例えば、図７の(3-3, 3-4)の組の場合、学習画
像上の座標(200, 40)(280, 40)（図５）からベクトル(8
0, 0)入力画像上の座標(40, 100)(119, 86)（図４）か
らベクトル(79, -14)を得て、なす角

【００４９】

【数４】

【００５０】より、θ=10度を得る。集計部５３は、注
目点座標算出部５２−１から入力した座標と、ベクトル
角算出部５２−２から入力した角度を１つの組にして、
同じ値を持つ組の数を画像ごとに集計する（１４０
８）。

【００５１】全ての画像の全てのウィンドウについて
（１４０４）から（１４０８）までの処理が終了したら
（１４０９， １４１１）、対象姿勢決定部６３は、最
も高得点の学習画像の物体を入力画像の対象物体とし、
高得点となった値の組の座標と角度を入力画像中の物体
の位置と回転角とする（１４１２， １４１３）。

【００５２】（実施の形態４）図１４は、本発明の実施
の形態４における画像認識装置のブロック構成図を示
す。図１４において、１は認識したい対象物の画像デー
タを入力する画像入力部、２は画像入力部１で入力した
画像を局所ウィンドウに分割して出力する画像分割部、
３は画像分割部２で分割した各入力ウィンドウ画像に対
して類似する学習ウィンドウをデータベースから抽出し
て学習ウィンドウが属する画像ごとにまとめて、それら
の位置座標を対応する入力ウィンドウの座標と共に出力
する類似ウィンドウ抽出部、４は認識したい物体のモデ
ルを予め作成しておく学習手段、４１は種々の物体のモ
デル画像である学習画像を、画像分割部２で作成する局
所ウィンドウと同じサイズの局所ウィンドウに分割して
学習ウィンドウとして格納するとともに、物体上の１点
の座標を注目点座標として格納している学習画像データ
ベース、４４は学習画像データベース４１中の同じ種類
の複数の学習画像についてそれらに属する各学習ウィン
ドウを代表的な一つの学習画像の同じ部分の学習ウィン
ドウと対応づけて格納している同種画像情報データベー
ス、５は類似ウィンドウ抽出部３で抽出した学習ウィン
ドウの、学習画像上での相対位置と、対応する入力ウィ
ンドウの入力画像上での相対位置を比較して、一致する
ものの数を集計する投票手段、５０は同種画像情報デー
タベース４４に格納されている同種画像情報に基いて類
似ウィンドウ抽出部３が出力する同一学習画像に属する
学習ウィンドウを同じ種類の代表的な１学習画像に含ま
れる学習ウィンドウに変換して出力する同種画像混合
部、５４は類似ウィンドウ抽出部３が出力する同一学習
画像に属する学習ウィンドウの中から、２つの学習ウィ
ンドウの組み合わせを全て抽出して、対応する入力ウィ
ンドウ座標と共に出力するウィンドウ選択部、５２−１
はウィンドウ選択部５４から入力した各２学習ウィンド
ウについて、それが属する学習画像の注目点座標を学習
画像データベース４１から入力して、２学習ウィンドウ
の座標と注目点座標との位置関係と対応する２入力ウィ
ンドウの座標から入力画像中の物体の注目点座標を算出
して、学習画像の注目点座標と共に出力する注目点座標
算出部、５２−２はウィンドウ選択部５４から入力した
２学習ウィンドウの座標が作るベクトルと、２入力ウィ
ンドウの座標が作るベクトルとのなす角を算出して出力
するベクトル角算出部、５３は注目点座標算出部５２−
１から入力した座標と、ベクトル角算出部５２−２から
入力した座標を組にして同じ値を持つ組の数を画像ごと
に集計して出力する集計部、６は投票手段５の集計結果
を受けて入力画像中の対象物とその姿勢を決定する対象
決定手段で、６３は集計部５３から入力した集計値のう
ち最大の値を持つものの学習画像中の物体を入力画像の
物体であるとして、その組の座標となす角から入力画像
中の対象の位置と回転角を決定する対象姿勢決定部であ
る。

【００５３】以上のように構成された画像認識装置につ
いて、以下その動作を図１５のフローチャートを用いて
説明する。図４は入力画像の一例、図５は学習画像の一
例、図７は類似ウィンドウ抽出部３が出力するデータの
一例、図１０は学習画像データベース４１に格納されて
いる同種画像の一例、図１１は同種画像情報データベー
ス４４に格納されている同種画像情報の一例である。

【００５４】認識対象となる画像データが画像入力部１
から入力される（１５０１）。画像分割部２は、図４に
示すように、その画像から一定サイズのウィンドウを順
次抽出して、ウィンドウ画像データをウィンドウの中心
点の座標とともに出力する（１５０２）。

【００５５】類似ウィンドウ抽出部３は、画像分割部２
からウィンドウ画像データを入力すると、学習画像デー
タベース４１の全ての学習ウィンドウ画像データと差、
例えば、各画素値の差の二乗の和、を算出して、最も差
の小さいものを抽出する。学習画像データベース４１に
は予め、種々の物体の画像が、図５に示すように、入力
ウィンドウ画像と同じサイズのウィンドウに区切られ、
ウィンドウ番号とウィンドウの中心点の位置座標ととも
に格納されている。また同時に、学習画像ごとに物体上
の任意の１点の座標が注目点座標として格納されてい
る。類似ウィンドウ抽出部３は、全ての入力ウィンドウ
に対してそれぞれ最も類似した学習ウィンドウを学習画
像データベース４１から抽出すると、学習ウィンドウが
属する学習画像ごとにまとめて、図７に示すように、学
習ウィンドウ識別番号と、対応する入力ウィンドウの中
心座標の対で出力する（１５０３）。ここで、学習ウィ
ンドウ識別番号は、図５に示すように、属する学習画像
番号と学習画像中の位置を示す番号から成っている。同
種画像情報データベース４４には、学習画像データベー
ス４１に格納されている同じ種類の物体の学習画像につ
いて、各物体の同じ部分を含む学習ウィンドウ同士を対
応付けて、同種画像情報として格納してある。例えば、
図５に示す学習画像３と図１２に示す学習画像２９は、
横向のセダンの学習画像であり、学習画像３の学習ウィ
ンドウ３と学習画像２９の学習ウィンドウ２７は、両方
のセダンの後部ウィンドウを含む画像であるので、対応
する学習ウィンドウとみなす。同様にして同種画像情報
データベース４４には、図１１に示すように、学習画像
３と学習画像２９の学習ウィンドウの対応と、同種の学
習画像３、２９、６２・・ の代表画像が学習画像３で
あるという情報が格納されている。

【００５６】同種画像混合部５０は、類似ウィンドウ抽
出部３から学習ウィンドウ識別番号と入力ウィンドウ座
標を入力すると、同種画像情報データベース４４を検索
して、同種類の学習画像に属する学習ウィンドウを全
て、代表的な１つの学習画像に属する学習ウィンドウで
置換する（１５０４−１）。例えば、学習画像２９の学
習ウィンドウ29-28は、図１１に基づいて学習ウィンド
ウ3-4に変換して、対応する入力ウィンドウ座標ととも
に出力する。

【００５７】ウィンドウ選択部５４は、学習ウィンドウ
識別番号と座標を入力すると、まず、同じ学習画像に属
する学習ウィンドウを抽出する（１５０４−２）。

【００５８】次に、抽出した学習ウィンドウから２つの
ウィンドウの組み合わせを全て作る（１５０５）。例え
ば、図７の画像３からは、(3-3, 3-4), (3-3, 3-5), (3
-3,3-11) ・・を抽出する。

【００５９】注目点座標算出部５２−１は、ウィンドウ
選択部５４から入力した各２ウィンドウに対して、２学
習ウィンドウの座標と学習画像の注目点座標を学習画像
データベース４１から抽出して、それらの座標間の関係
と、対応する入力ウィンドウの座標から入力画像の注目
点座標を求める（１５０６）。例えば、図６のウィンド
ウ(3-3, 3-4)について、画像３の注目点座標を(320, 16
0)とすると、図５より、3-3の学習画像上の座標は(200,
40)、3-4の学習画像上の座標は(280, 40)であるから、
3-3と注目点の距離の二乗は(320-200)²+(160-40)²=2880
0、3-4と注目点の距離の二乗は(320-280)²+(160-40)²=1
6000、となる。図６より、3-3と対応する入力ウィンド
ウの入力画像上の座標は(40, 100)、3-4と対応する入力
ウィンドウの入力画像上の座標は(119, 86)であるか
ら、以上より、入力画像の注目点をx, yとすると、x, y
は、

【００６０】

【数５】

【００６１】より求めることができる。ベクトル角算出
部５２−２は、ウィンドウ選択部５４から２ウィンドウ
の組を入力すると、まず、その２ウィンドウの学習画像
上の座標を学習画像データベース４１から抽出して、ベ
クトルを作成する。次に、対応する入力画像上の座標か
ら作ったベクトルとのなす角を算出して出力する。(150
7)例えば、図７の(3-3,3-4)の組の場合、学習画像上の
座標(200, 40)(280, 40)(図５)からベクトル(80,0)入力
画像上の座標(40, 100)(119, 86)(図４)からベクトル(7
9, -14)を得て、なす角

【００６２】

【数６】

【００６３】より、θ=10度を得る。集計部５３は、注
目点座標算出部５２−１から入力した座標と、ベクトル
角算出部５２−２から入力した角度を１つの組にして、
同じ値を持つ組の数を画像ごとに集計する（１５０
８）。

【００６４】全ての画像の全てのウィンドウについて
（１５０４）から（１５０８）までの処理が終了したら
（１５０９， １５１１）、対象姿勢決定部６３は、最
も高得点の学習画像の物体を入力画像の対象物体とし、
高得点となった値の組の座標と角度を入力画像中の物体
の位置と回転角とする（１５１２， １５１３）。

【００６５】

【発明の効果】以上のように本発明によれば、入力画像
中の物体が、学習画像の物体と比較して平行移動や画像
面内回転移動している場合にも、対象を認識でき、その
平行移動量や回転角を算出することができる。

【００６６】また、学習画像に同種の物体の画像が複数
ある場合でも、入力画像中の物体の種類や平行移動量・
回転角を推定することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における画像認識装置の
ブロック構成図

【図２】本発明の実施の形態１におけるコンピュータに
よる画像認識装置のブロック構成図

【図３】本発明の実施の形態１における処理の流れを示
すフローチャート

【図４】本発明の実施の形態における入力画像の一例を
示す図

【図５】本発明の実施の形態における学習画像データベ
ースが保管している学習画像データの一例を示す図

【図６】本発明の実施の形態における類似ウィンドウ抽
出部が出力する入力ウィンドウと学習ウィンドウの対応
の一例を示す図

【図７】集計部が出力する集計の一例を示す図

【図８】本発明の実施の形態２における画像認識装置の
ブロック構成図

【図９】本発明の実施の形態２における処理の流れを示
すフローチャート

【図１０】本発明の実施の形態における画像データベー
ス中の同種画像の一例を示す図

【図１１】本発明の実施の形態における同種画像情報デ
ータベースが保管している同種画像情報の一例を示す図

【図１２】本発明の実施の形態３における画像認識装置
のブロック構成図

【図１３】本発明の実施の形態３における処理の流れを
示すフローチャート

【図１４】本発明の実施の形態４における画像認識装置
のブロック構成図

【図１５】本発明の実施の形態４における処理の流れを
示すフローチャート

【図１６】従来の画像認識装置の一例を示すブロック図

【符号の説明】

１ 画像入力部 ２ 画像分割部 ３ 類似ウインドウ抽出部 ４ 学習手段 ５ 投票手段 ６ 対象決定手段 ４１ 学習画像データベース ４２ 学習ウインドウ座標計算部 ４３ 学習ウインドウ座標データベース ４４ 同種画像情報データベース ５０ 同種画像混合部 ５１ 基底選択部 ５２ 入力ウインドウ座標算出部 ５２−１ 注目点座標算出部 ５２−２ ベクトル角算出部 ５３ 集計部 ５４ ウインドウ選択部 ６１ 対象画像決定部 ６２ 姿勢算出部 ６３ 対象姿勢決定部 ２０１ コンピュータ ２０２ ＣＰＵ ２０３ メモリ ２０４ キーボード／ディスプレイ ２０５ ＦＤユニット ２０６〜２０８ Ｉ／Ｆユニット ２０９ ＣＰＵバス ２１０ カメラ ２１１ 画像データベース ２１２ 学習画像データベース ２１３ 学習ウインドウ座標データベース ２１４ 同種画像情報データベース ２１５ 出力端子

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平11−306353（ＪＰ，Ａ) 局所固有空間手法による金属物体の安 定認識，電子情報通信学会論文誌，日 本，1997年12月，Ｖｏｌ．Ｊ80−Ｄ−Ｉ Ｉ Ｎｏ．12，ｐｐ．3147−3154 ＮＣ95−26 ダイナミックリンクによ る画像の部分どうしのマッチング，電子 情報通信学会技術研究報告，日本，1995 年 ６月30日，Ｖｏｌ．95 Ｎｏ．135, ｐｐ．53−60 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 G06T 1/00

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 予め採取しておいた大量の学習画像デー
   タの中から、入力画像に近い画像を探索して、入力画像
   中の対象物体を認識する装置であって、入力した画像を
   局所領域に分割する画像分割手段と、様々な物体の画像
   を前記画像分割手段での分割サイズと同じサイズのウィ
   ンドウに分割して画像上での位置情報と共に学習ウィン
   ドウとして格納している学習画像データベースと、前記
   画像分割手段で分割したそれぞれの入力ウィンドウに対
   して類似した学習ウィンドウを抽出して入力ウィンドウ
   と学習ウィンドウの対を学習ウィンドウが属する学習画
   像ごとにまとめて出力する類似ウィンドウ抽出手段と、
   前記学習画像データベースに格納されている同じ学習画
   像に属するウィンドウについて任意の３ウィンドウを基
   底とし学習画像上での位置関係から算出した座標と基底
   の組を学習画像ごとに学習ウィンドウ座標データベース
   へ格納する学習手段と、前記類似ウィンドウ抽出手段か
   ら入力した同じ学習画像に属する学習ウィンドウについ
   て基底となる３ウィンドウの組み合わせを全て抽出し、
   入力した基底と同じ学習画像に属するウィンドウの基底
   が張る空間での座標を基底とウィンドウの入力画像上で
   の位置関係から求め、算出した座標と同じ基底・ウィン
   ドウによる前記学習ウィンドウデータベースでの座標と
   を比べて一致するものの数を集計する投票手段と、前記
   集計値の最も高い学習画像を選択する対象決定手段とを
   含む画像認識装置。
2. 【請求項２】 学習手段は、予め同種の物体の学習画像
   が複数ある場合にそれらの各学習ウィンドウをその中の
   代表的な１つの学習画像中の学習ウィンドウと対応付け
   て格納している同種画像情報データベースを有し、投票
   手段は前記同種画像情報データベースの同種画像情報に
   基づいて前記類似ウィンドウ抽出手段から入力した同種
   の物体の学習画像に属する学習ウィンドウを代表的な一
   つの学習画像の学習ウィンドウに変換し、入力した同種
   の画像に属する学習ウィンドウについて基底となる３ウ
   ィンドウの組み合わせを全て抽出する請求項１記載の画
   像認識装置。
3. 【請求項３】 予め採取しておいた大量の学習画像デー
   タの中から、入力画像に近い画像を探索して、入力画像
   中の対象物体を認識する装置であって、入力した画像を
   局所領域に分割する画像分割手段と、前記画像分割手段
   で分割したそれぞれの入力ウィンドウに対して類似した
   学習ウィンドウを抽出して入力ウィンドウと学習ウィン
   ドウの対を学習ウィンドウが属する学習画像ごとにまと
   めて出力する類似ウィンドウ抽出手段と、様々な物体の
   画像を前記画像分割部での分割サイズと同じサイズのウ
   ィンドウに分割して画像上での位置情報と共に学習ウィ
   ンドウとして格納し同時に学習画像ごとに任意の一点を
   画像中の物体の位置を示す注目点としてその位置情報を
   格納している学習画像データベースを持つ学習手段と、
   前記類似ウィンドウ抽出手段から入力した同じ学習画像
   に属する学習ウィンドウについて２ウィンドウの組み合
   わせを全て抽出するウィンドウ選択部と、前記ウィンド
   ウ選択部で抽出したウィンドウの組ごとに注目点の入力
   画像上での位置座標を２入力ウィンドウの位置座標と前
   記学習画像データベースから入力した同じウィンドウ・
   注目点の学習画像上での位置関係から推定し、抽出した
   各ウィンドウの組について入力画像上での位置座標から
   求めた２ウィンドウが成すベクトルと前記学習画像デー
   タベースに格納されている同じウィンドウの学習画像上
   での位置座標から求めたベクトルとのなす角度を算出
   し、入力した座標値と前記角度とを１つの組にして同じ
   値を持つウィンドウの組の数を学習画像ごとに集計する
   投票手段と、前記集計値の最も高い学習画像を選択する
   対象決定手段とを含む画像認識装置。
4. 【請求項４】 学習部は、同種の物体の学習画像が複数
   ある場合にそれらの各学習ウィンドウをその中の代表的
   な一つの学習画像中の学習ウィンドウと対応付けて格納
   している同種画像情報データベースを有し、投票手段は
   前記同種画像情報データベースの同種画像情報に基づい
   て前記類似ウィンドウ抽出部から入力した同種の物体の
   学習画像に属する学習ウィンドウを代表的な一つの学習
   画像に属する学習ウィンドウに変換して出力する同種画
   像混合部と、前記同種画像混合部から入力した同種の画
   像に属する学習ウィンドウについて２ウィンドウの組み
   合わせを全て抽出する請求項３記載の画像認識装置。
5. 【請求項５】 予め採取しておいた大量の学習画像デー
   タの中から、入力画像に近い画像を探索して、入力画像
   中の対象物体を認識する方法であって、入力した画像を
   局所領域に分割する画像分割ステップと、様々な物体の
   画像を前記画像分割手段での分割サイズと同じサイズの
   ウィンドウに分割して画像上での位置情 報と共に学習ウ
   ィンドウとして学習画像データベースに格納する学習画
   像データベース格納ステップと、前記画像分割ステップ
   で分割したそれぞれの入力ウィンドウに対して類似した
   学習ウィンドウを抽出して入力ウィンドウと学習ウィン
   ドウの対を学習ウィンドウが属する学習画像ごとにまと
   めて出力する類似ウィンドウ抽出ステップと、前記学習
   画像データベースに格納されている同じ学習画像に属す
   るウィンドウについて任意の３ウィンドウを基底とし学
   習画像上での位置関係から算出した座標と基底の組を学
   習画像ごとに学習ウィンドウ座標データベースへ格納す
   る学習ステップと、前記類似ウィンドウ抽出ステップか
   ら入力した同じ学習画像に属する学習ウィンドウについ
   て基底となる３ウィンドウの組み合わせを全て抽出し、
   入力した基底と同じ学習画像に属するウィンドウの基底
   が張る空間での座標を基底とウィンドウの入力画像上で
   の位置関係から求め、算出した座標と同じ基底・ウィン
   ドウによる前記学習ウィンドウデータベースでの座標と
   を比べて一致するものの数を集計する投票ステップと、
   前記集計値の最も高い学習画像を選択する対象決定ステ
   ップとを含む画像認識方法。
6. 【請求項６】 予め採取しておいた大量の学習画像デー
   タの中から、入力画像に近い画像を探索して、入力画像
   中の対象物体を認識する方法であって、入力した画像を
   局所領域に分割する画像分割ステップと、前記画像分割
   手段で分割したそれぞれの入力ウィンドウに対して類似
   した学習ウィンドウを抽出して入力ウィンドウと学習ウ
   ィンドウの対を学習ウィンドウが属する学習画像ごとに
   まとめて出力する類似ウィンドウ抽出ステップと、様々
   な物体の画像を前記画像分割部での分割サイズと同じサ
   イズのウィンドウに分割して画像上での位置情報と共に
   学習ウィンドウとして格納し同時に学習画像ごとに任意
   の一点を画像中の物体の位置を示す注目点としてその位
   置情報を格納している学習画像データベースを持つ学習
   ステップと、前記類似ウィンドウ抽出ステップから入力
   した同じ学習画像に属する学習ウィンドウについて２ウ
   ィンドウの組み合わせを全て抽出するウィンドウ選択ス
   テップと、前記ウィンドウ選択ステップで抽出したウィ
   ンドウの組ごとに注目点の入力画像上での位置座標を２
   入力ウィンドウの位置座標と前記学習画像データベース
   から入力した同じウィンドウ・注目点の学習画像上での
   位置関係から推定し、抽出した各ウィンドウの組につい
   て入力画像上での位置座標から 求めた２ウィンドウが成
   すベクトルと前記学習画像データベースに格納されてい
   る同じウィンドウの学習画像上での位置座標から求めた
   ベクトルとのなす角度を算出し、入力した座標値と前記
   角度とを１つの組にして同じ値を持つウィンドウの組の
   数を学習画像ごとに集計する投票ステップと、前記集計
   値の最も高い学習画像を選択する対象決定ステップとを
   含む画像認識装置。
7. 【請求項７】 コンピュータにより画像認識を行うプロ
   グラムであって、入力した画像を局所領域に分割する画
   像分割ステップと、様々な物体の画像を前記画像分割手
   段での分割サイズと同じサイズのウィンドウに分割して
   画像上での位置情報と共に学習ウィンドウとして学習画
   像データベースに格納する学習画像データベース格納ス
   テップと、前記画像分割ステップで分割したそれぞれの
   入力ウィンドウに対して類似した学習ウィンドウを抽出
   して入力ウィンドウと学習ウィンドウの対を学習ウィン
   ドウが属する学習画像ごとにまとめて出力する類似ウィ
   ンドウ抽出ステップと、前記学習画像データベースに格
   納されている同じ学習画像に属するウィンドウについて
   任意の３ウィンドウを基底とし学習画像上での位置関係
   から算出した座標と基底の組を学習画像ごとに学習ウィ
   ンドウ座標データベースへ格納する学習ステップと、前
   記類似ウィンドウ抽出ステップから入力した同じ学習画
   像に属する学習ウィンドウについて基底となる３ウィン
   ドウの組み合わせを全て抽出し、入力した基底と同じ学
   習画像に属するウィンドウの基底が張る空間での座標を
   基底とウィンドウの入力画像上での位置関係から求め、
   算出した座標と同じ基底・ウィンドウによる前記学習ウ
   ィンドウデータベースでの座標とを比べて一致するもの
   の数を集計する投票ステップと、前記集計値の最も高い
   学習画像を選択する対象決定ステップとを含む画像認識
   プログラムを記録した記録媒体。