JP3451925B2 - 物体認識方法及び物体認識装置 - Google Patents
物体認識方法及び物体認識装置Info
- Publication number
- JP3451925B2 JP3451925B2 JP11045398A JP11045398A JP3451925B2 JP 3451925 B2 JP3451925 B2 JP 3451925B2 JP 11045398 A JP11045398 A JP 11045398A JP 11045398 A JP11045398 A JP 11045398A JP 3451925 B2 JP3451925 B2 JP 3451925B2
- Authority
- JP
- Japan
- Prior art keywords
- teaching
- input image
- position information
- feature vector
- local template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、画像の中に含まれ
ている3次元物体の同定(識別)と、その画像内での位
置(領域)、実空間での向きの推定を行なう物体認識方
法及び物体認識装置に関する。
ている3次元物体の同定(識別)と、その画像内での位
置(領域)、実空間での向きの推定を行なう物体認識方
法及び物体認識装置に関する。
【0002】
【従来の技術】画像(2次元データ)を用いて実空間内
の3次元物体を認識する場合の最大の問題は、撮影系
(カメラ)と物体の間の相対的な位置関係や傾き(向
き)の変化に伴う画像のみかけの変動にどう対処するか
である。この困難な問題に対して従来評価の高い方法
は、文献; 大場光太郎、池内克史:''局所固有空間手
法による金属物体の安定認識''、電子情報通信学会論文
誌 D-II, Vol. J80-D-II No.,12 pp. 3147--3154,1997
年2月 に示されている。
の3次元物体を認識する場合の最大の問題は、撮影系
(カメラ)と物体の間の相対的な位置関係や傾き(向
き)の変化に伴う画像のみかけの変動にどう対処するか
である。この困難な問題に対して従来評価の高い方法
は、文献; 大場光太郎、池内克史:''局所固有空間手
法による金属物体の安定認識''、電子情報通信学会論文
誌 D-II, Vol. J80-D-II No.,12 pp. 3147--3154,1997
年2月 に示されている。
【0003】この方法はデータベースに登録しているモ
デルと入力画像とのマッチングを行なうために、物体モ
デル画像及び入力画像ともに局所的なテンプレートの集
合によって表現し、テンプレートのマッチングによって
局所領域の対応を推定し、対応の多い物体モデルを認識
結果とするものである。この際、モデル画像取得時と入
力画像とでは物体は画像内で並行移動をしているという
仮定を設け、これをテンプレートの対応の正当性の検定
に用いており、実験室レベルでの結果ではあるものの非
常に有効な方法であることが知られている。
デルと入力画像とのマッチングを行なうために、物体モ
デル画像及び入力画像ともに局所的なテンプレートの集
合によって表現し、テンプレートのマッチングによって
局所領域の対応を推定し、対応の多い物体モデルを認識
結果とするものである。この際、モデル画像取得時と入
力画像とでは物体は画像内で並行移動をしているという
仮定を設け、これをテンプレートの対応の正当性の検定
に用いており、実験室レベルでの結果ではあるものの非
常に有効な方法であることが知られている。
【0004】
【発明が解決しようとする課題】しかし、上記従来の方
法では、3次元空間内の物体の位置や向き(傾き)の変
化の影響をうけるという課題を有している。
法では、3次元空間内の物体の位置や向き(傾き)の変
化の影響をうけるという課題を有している。
【0005】本発明は、従来法において設けた仮定、即
ち、「物体領域の変動は画像内の並行移動に限定され
る」を取り除き、物体が如何なる剛体運動を行なったと
しても認識できる方法を提供することを目的とする。
ち、「物体領域の変動は画像内の並行移動に限定され
る」を取り除き、物体が如何なる剛体運動を行なったと
しても認識できる方法を提供することを目的とする。
【0006】
【課題を解決するための手段】上記課題を解決するため
に、本発明は、モデル画像達と入力画像の対応する局所
テンプレートの位置の間に、幾何学的関係がどの程度確
からしく成立しているかを評価する幾何学的評価手段
と、幾何学的評価手段の評価に基づいて、データベース
に登録されている何らかの物体が入力画像内に存在する
か否か、また存在する場合はその位置を推定する認識手
段を備えるものである。
に、本発明は、モデル画像達と入力画像の対応する局所
テンプレートの位置の間に、幾何学的関係がどの程度確
からしく成立しているかを評価する幾何学的評価手段
と、幾何学的評価手段の評価に基づいて、データベース
に登録されている何らかの物体が入力画像内に存在する
か否か、また存在する場合はその位置を推定する認識手
段を備えるものである。
【0007】これにより、3次元空間内の物体の位置や
向き(傾き)の変化の影響をうけない物体の認識を行う
ものである。
向き(傾き)の変化の影響をうけない物体の認識を行う
ものである。
【0008】
【発明の実施の形態】本発明の請求項1に記載の発明
は、認識対象物体を含む教示用画像を小領域に分割した
教示用局所テンプレートの位置を示す教示用位置情報と
前記教示用局所テンプレートから算出した教示用特徴ベ
クトルとを含む複数の教示用属性リストを予め作成する
第1のステップと、入力画像を小領域に分割した入力画
像局所テンプレートの位置を示す入力画像位置情報と前
記入力画像局所テンプレートから算出した入力画像特徴
ベクトルとを含む入力画像属性リストを作成する第2の
ステップと、前記入力画像特徴ベクトルと類似した前記
教示用特徴ベクトルを含む前記教示用属性リストを少な
くとも1つ以上選択した照合候補を作成し、前記照合候
補の前記教示用位置情報と前記入力画像位置情報とに共
通のパラメタを前記照合候補の前記教示用位置情報に乗
算し、更に合算した値である教示用位置情報計算結果と
前記入力画像位置情報とが同一、又は、前記教示用位置
情報計算結果と前記入力画像位置情報との乗余の大きさ
が予め定めた値より小さくなる前記教示用属性リストを
前記照合候補から選択し、選択された教示用属性リスト
数を前記入力画像位置情報の評価結果とする第3のステ
ップと、前記評価結果に基づいて、前記認識対象物体の
存在と、前記認識対象物体の位置を推定する第4のステ
ップとを有する物体認識方法とするものであり、物体の
位置や向き(傾き)の変化の影響をうけない物体の認識
できるという作用を有する。
は、認識対象物体を含む教示用画像を小領域に分割した
教示用局所テンプレートの位置を示す教示用位置情報と
前記教示用局所テンプレートから算出した教示用特徴ベ
クトルとを含む複数の教示用属性リストを予め作成する
第1のステップと、入力画像を小領域に分割した入力画
像局所テンプレートの位置を示す入力画像位置情報と前
記入力画像局所テンプレートから算出した入力画像特徴
ベクトルとを含む入力画像属性リストを作成する第2の
ステップと、前記入力画像特徴ベクトルと類似した前記
教示用特徴ベクトルを含む前記教示用属性リストを少な
くとも1つ以上選択した照合候補を作成し、前記照合候
補の前記教示用位置情報と前記入力画像位置情報とに共
通のパラメタを前記照合候補の前記教示用位置情報に乗
算し、更に合算した値である教示用位置情報計算結果と
前記入力画像位置情報とが同一、又は、前記教示用位置
情報計算結果と前記入力画像位置情報との乗余の大きさ
が予め定めた値より小さくなる前記教示用属性リストを
前記照合候補から選択し、選択された教示用属性リスト
数を前記入力画像位置情報の評価結果とする第3のステ
ップと、前記評価結果に基づいて、前記認識対象物体の
存在と、前記認識対象物体の位置を推定する第4のステ
ップとを有する物体認識方法とするものであり、物体の
位置や向き(傾き)の変化の影響をうけない物体の認識
できるという作用を有する。
【0009】請求項2に記載の発明は、認識対象物体を
含む教示用画像を小領域に分割した教示用局所テンプレ
ートの位置を示す教示用位置情報と前記教示用局所テン
プレートから算出した教示用特徴ベクトルと前記教示用
局所テンプレートに含まれる認識対象物体を分類したク
ラスを示す教示用物体クラスとを含む複数の教示用属性
リストを予め作成する第1のステップと、入力画像を小
領域に分割した入力画像局所テンプレートの位置を示す
入力画像位置情報と前記入力画像局所テンプレートから
算出した入力画像特徴ベクトルと前記入力画像局所テン
プレートに含まれる認識対象物体を分類したクラスを示
す入力画像物体クラスとを含む入力画像属性リストを作
成する第2のステップと、前記教示用物体クラスが前記
入力画像物体クラスと同一であり、更に、前記入力画像
特徴ベクトルと類似した前記教示用特徴ベクトルを含む
前記教示用属性リストを少なくとも1つ以上選択した照
合候補を作成し、前記照合候補の前記教示用位置情報と
前記入力画像位置情報とに共通のパラメタを前記照合候
補の前記教示用位置情報に乗算し、更に合算した値であ
る教示用位置情報計算結果と前記入力画像位置情報とが
同一、又は、前記教示用位置情報計算結果と前記入力画
像位置情報との乗余の大きさが予め定めた値より小さく
なる前記教示用属性リストを前記照合候補から選択し、
選択された教示用属性リスト数を前記入力画像位置情報
の評価結果とする第3のステップと、前記評価結果に基
づいて、前記認識対象物体の存在と、前記認識対象物体
の位置を推定する第4のステップとを有する物体認識方
法とするものであり、物体の位置や向き(傾き)の変化
の影響をうけない物体の認識できるという作用を有す
る。
含む教示用画像を小領域に分割した教示用局所テンプレ
ートの位置を示す教示用位置情報と前記教示用局所テン
プレートから算出した教示用特徴ベクトルと前記教示用
局所テンプレートに含まれる認識対象物体を分類したク
ラスを示す教示用物体クラスとを含む複数の教示用属性
リストを予め作成する第1のステップと、入力画像を小
領域に分割した入力画像局所テンプレートの位置を示す
入力画像位置情報と前記入力画像局所テンプレートから
算出した入力画像特徴ベクトルと前記入力画像局所テン
プレートに含まれる認識対象物体を分類したクラスを示
す入力画像物体クラスとを含む入力画像属性リストを作
成する第2のステップと、前記教示用物体クラスが前記
入力画像物体クラスと同一であり、更に、前記入力画像
特徴ベクトルと類似した前記教示用特徴ベクトルを含む
前記教示用属性リストを少なくとも1つ以上選択した照
合候補を作成し、前記照合候補の前記教示用位置情報と
前記入力画像位置情報とに共通のパラメタを前記照合候
補の前記教示用位置情報に乗算し、更に合算した値であ
る教示用位置情報計算結果と前記入力画像位置情報とが
同一、又は、前記教示用位置情報計算結果と前記入力画
像位置情報との乗余の大きさが予め定めた値より小さく
なる前記教示用属性リストを前記照合候補から選択し、
選択された教示用属性リスト数を前記入力画像位置情報
の評価結果とする第3のステップと、前記評価結果に基
づいて、前記認識対象物体の存在と、前記認識対象物体
の位置を推定する第4のステップとを有する物体認識方
法とするものであり、物体の位置や向き(傾き)の変化
の影響をうけない物体の認識できるという作用を有す
る。
【0010】請求項3に記載の発明は、認識対象物体を
含む教示用画像を小領域に分割した教示用局所テンプレ
ートの位置を示す教示用位置情報と前記教示用局所テン
プレートから算出した教示用特徴ベクトルとを含む複数
の教示用属性リストを予め蓄積するデータベースと、入
力画像を小領域に分割した入力画像局所テンプレートの
位置を示す入力画像位置情報と前記入力画像局所テンプ
レートから算出した入力画像特徴ベクトルとを含む入力
画像属性リストを作成する局所特徴抽出手段と、前記入
力画像特徴ベクトルと類似した前記教示用特徴ベクトル
を含む前記教示用属性リストを少なくとも1つ以上選択
した照合候補を作成する照合候補選択保持手段と、前記
照合候補の前記教示用位置情報と前記入力画像位置情報
とに共通のパラメタを前記照合候補の前記教示用位置情
報に乗算し、更に合算した値である教示用位置情報計算
結果と前記入力画像位置情報とが同一、又は、前記教示
用位置情報計算結果と前記入力画像位置情報との乗余の
大きさが予め定めた値より小さくなる前記教示用属性リ
ストを前記照合候補から選択し、選択された教示用属性
リスト数を前記入力画像位置情報の評価結果とする幾何
学的評価手段と、前記評価結果に基づいて、前記認識対
象物体の存在と、前記認識対象物体の位置を推定する認
識手段と有する物体認識装置とするものであり、物体の
位置や向き(傾き)の変化の影響をうけない物体の認識
できるという作用を有する。
含む教示用画像を小領域に分割した教示用局所テンプレ
ートの位置を示す教示用位置情報と前記教示用局所テン
プレートから算出した教示用特徴ベクトルとを含む複数
の教示用属性リストを予め蓄積するデータベースと、入
力画像を小領域に分割した入力画像局所テンプレートの
位置を示す入力画像位置情報と前記入力画像局所テンプ
レートから算出した入力画像特徴ベクトルとを含む入力
画像属性リストを作成する局所特徴抽出手段と、前記入
力画像特徴ベクトルと類似した前記教示用特徴ベクトル
を含む前記教示用属性リストを少なくとも1つ以上選択
した照合候補を作成する照合候補選択保持手段と、前記
照合候補の前記教示用位置情報と前記入力画像位置情報
とに共通のパラメタを前記照合候補の前記教示用位置情
報に乗算し、更に合算した値である教示用位置情報計算
結果と前記入力画像位置情報とが同一、又は、前記教示
用位置情報計算結果と前記入力画像位置情報との乗余の
大きさが予め定めた値より小さくなる前記教示用属性リ
ストを前記照合候補から選択し、選択された教示用属性
リスト数を前記入力画像位置情報の評価結果とする幾何
学的評価手段と、前記評価結果に基づいて、前記認識対
象物体の存在と、前記認識対象物体の位置を推定する認
識手段と有する物体認識装置とするものであり、物体の
位置や向き(傾き)の変化の影響をうけない物体の認識
できるという作用を有する。
【0011】請求項4に記載の発明は、認識対象物体を
含む教示用画像を小領域に分割した教示用局所テンプレ
ートの位置を示す教示用位置情報と前記教示用局所テン
プレートから算出した教示用特徴ベクトルと前記教示用
局所テンプレートに含まれる認識対象物体を分類したク
ラスを示す教示用物体クラスとを含む複数の教示用属性
リストを予め蓄積するデータベースと、入力画像を小領
域に分割した入力画像局所テンプレートの位置を示す入
力画像位置情報と前記入力画像局所テンプレートから算
出した入力画像特徴ベクトルと前記入力画像局所テンプ
レートに含まれる認識対象物体を分類したクラスを示す
入力画像物体クラスとを含む入力画像属性リストを作成
する局所特徴抽出手段と、前記教示用物体クラスが前記
入力画像物体クラスと同一であり、更に、前記入力画像
特徴ベクトルと類似した前記教示用特徴ベクトルを含む
前記教示用属性リストを少なくとも1つ以上選択した照
合候補を作成する照合候補選択保持手段と、前記照合候
補の前記教示用位置情報と前記入力画像位置情報とに共
通のパラメタを前記照合候補の前記教示用位置情報に乗
算し、更に合算した値である教示用位置情報計算結果と
前記入力画像位置情報とが同一、又は、前記教示用位置
情報計算結果と前記入力画像位置情報との乗余の大きさ
が予め定めた値より小さくなる前記教示用属性リストを
前記照合候補から選択し、選択された教示用属性リスト
数を前記入力画像位置情報の評価結果とする幾何学的評
価手段と、前記評価結果に基づいて、前記認識対象物体
の存在と、前記認識対象物体の位置を推定する認識手段
と有する物体認識装置とするものであり、物体の位置や
向き(傾き)の変化の影響をうけない物体の認識できる
という作用を有する。
含む教示用画像を小領域に分割した教示用局所テンプレ
ートの位置を示す教示用位置情報と前記教示用局所テン
プレートから算出した教示用特徴ベクトルと前記教示用
局所テンプレートに含まれる認識対象物体を分類したク
ラスを示す教示用物体クラスとを含む複数の教示用属性
リストを予め蓄積するデータベースと、入力画像を小領
域に分割した入力画像局所テンプレートの位置を示す入
力画像位置情報と前記入力画像局所テンプレートから算
出した入力画像特徴ベクトルと前記入力画像局所テンプ
レートに含まれる認識対象物体を分類したクラスを示す
入力画像物体クラスとを含む入力画像属性リストを作成
する局所特徴抽出手段と、前記教示用物体クラスが前記
入力画像物体クラスと同一であり、更に、前記入力画像
特徴ベクトルと類似した前記教示用特徴ベクトルを含む
前記教示用属性リストを少なくとも1つ以上選択した照
合候補を作成する照合候補選択保持手段と、前記照合候
補の前記教示用位置情報と前記入力画像位置情報とに共
通のパラメタを前記照合候補の前記教示用位置情報に乗
算し、更に合算した値である教示用位置情報計算結果と
前記入力画像位置情報とが同一、又は、前記教示用位置
情報計算結果と前記入力画像位置情報との乗余の大きさ
が予め定めた値より小さくなる前記教示用属性リストを
前記照合候補から選択し、選択された教示用属性リスト
数を前記入力画像位置情報の評価結果とする幾何学的評
価手段と、前記評価結果に基づいて、前記認識対象物体
の存在と、前記認識対象物体の位置を推定する認識手段
と有する物体認識装置とするものであり、物体の位置や
向き(傾き)の変化の影響をうけない物体の認識できる
という作用を有する。
【0012】請求項5に記載の発明は、コンピュータに
より物体認識を行うプログラムであって、認識対象物体
を含む教示用画像を小領域に分割した教示用局所テンプ
レートの位置を示す教示用位置情報と前記教示用局所テ
ンプレートから算出した教示用特徴ベクトルとを含む複
数の教示用属性リストを予め作成する第1のステップ
と、入力画像を小領域に分割した入力画像局所テンプレ
ートの位置を示す入力画像位置情報と前記入力画像局所
テンプレートから算出した入力画像特徴ベクトルとを含
む入力画像属性リストを作成する第2のステップと、前
記入力画像特徴ベクトルと類似した前記教示用特徴ベク
トルを含む前記教示用属性リストを少なくとも1つ以上
選択した照合候補を作成し、前記照合候補の前記教示用
位置情報と前記入力画像位置情報とに共通のパラメタを
前記照合候補の前記教示用位置情報に乗算し、更に合算
した値である教示用位置情報計算結果と前記入力画像位
置情報とが同一、又は、前記教示用位置情報計算結果と
前記入力画像位置情報との乗余の大きさが予め定めた値
より小さくなる前記教示用属性リストを前記照合候補か
ら選択し、選択された教示用属性リスト数を前記入力画
像位置情報の評価結果とする第3のステップと、前記評
価結果に基づいて、前記認識対象物体の存在と、前記認
識対象物体の位置を推定する第4のステップとを有する
物体認識プログラムを記録した記録媒体とするものであ
り、物体の位置や向き(傾き)の変化の影響をうけない
物体の認識できるという作用を有する。
より物体認識を行うプログラムであって、認識対象物体
を含む教示用画像を小領域に分割した教示用局所テンプ
レートの位置を示す教示用位置情報と前記教示用局所テ
ンプレートから算出した教示用特徴ベクトルとを含む複
数の教示用属性リストを予め作成する第1のステップ
と、入力画像を小領域に分割した入力画像局所テンプレ
ートの位置を示す入力画像位置情報と前記入力画像局所
テンプレートから算出した入力画像特徴ベクトルとを含
む入力画像属性リストを作成する第2のステップと、前
記入力画像特徴ベクトルと類似した前記教示用特徴ベク
トルを含む前記教示用属性リストを少なくとも1つ以上
選択した照合候補を作成し、前記照合候補の前記教示用
位置情報と前記入力画像位置情報とに共通のパラメタを
前記照合候補の前記教示用位置情報に乗算し、更に合算
した値である教示用位置情報計算結果と前記入力画像位
置情報とが同一、又は、前記教示用位置情報計算結果と
前記入力画像位置情報との乗余の大きさが予め定めた値
より小さくなる前記教示用属性リストを前記照合候補か
ら選択し、選択された教示用属性リスト数を前記入力画
像位置情報の評価結果とする第3のステップと、前記評
価結果に基づいて、前記認識対象物体の存在と、前記認
識対象物体の位置を推定する第4のステップとを有する
物体認識プログラムを記録した記録媒体とするものであ
り、物体の位置や向き(傾き)の変化の影響をうけない
物体の認識できるという作用を有する。
【0013】
【0014】
【0015】以下に、本発明の実施の形態について、図
1から図5を用いて説明する。 (実施の形態1)図1は、本発明の実施の形態の物体認
識装置のブロック図を示す。
1から図5を用いて説明する。 (実施の形態1)図1は、本発明の実施の形態の物体認
識装置のブロック図を示す。
【0016】図1において、1は物体を撮影するビデオ
カメラ、2はビデオカメラ1からの画像データを記憶す
る画像メモリ、3は局所テンプレートの情報を記憶した
タプルメモリ、4はCPU、5はメモリ、6は教示用画
像セットを記憶する高速アクセスハードディスク(H
D)、7はコンソール、8はコンピュータの内部バス、
9は認識結果を出力する出力デバイス、10は記録媒体
から物体認識プログラムを読み込むFDユニット、12
はビデオカメラの映像信号をデジタルデータに変換する
AD変換ユニット、11、13〜16はI/Fユニッ
ト、20は認識プログラムを実行するコンピュータであ
る。
カメラ、2はビデオカメラ1からの画像データを記憶す
る画像メモリ、3は局所テンプレートの情報を記憶した
タプルメモリ、4はCPU、5はメモリ、6は教示用画
像セットを記憶する高速アクセスハードディスク(H
D)、7はコンソール、8はコンピュータの内部バス、
9は認識結果を出力する出力デバイス、10は記録媒体
から物体認識プログラムを読み込むFDユニット、12
はビデオカメラの映像信号をデジタルデータに変換する
AD変換ユニット、11、13〜16はI/Fユニッ
ト、20は認識プログラムを実行するコンピュータであ
る。
【0017】上記のように構成された物体認識装置の動
作は、オフラインによるデータベース構築モードと、オ
ンラインによる認識モードに大別できる。
作は、オフラインによるデータベース構築モードと、オ
ンラインによる認識モードに大別できる。
【0018】まず、オフラインによるデータベース構築
について、図2に示す動作フローに従って説明する。
について、図2に示す動作フローに従って説明する。
【0019】オフラインでは、まず、教示用画像をビデ
オカメラ1から入力し、A/D変換器12でデジタル画
像データに変換し、画像メモリ2に一旦記憶する。画像
メモリ2に記憶された教示用画像は、I/F11を介し
て、高速アクセスHD6に順次入力され、教示用画像セ
ットを構築する(S20)。なお、教示用画像セット
は、図1には示していない、ネットワークや大容量の記
録媒体を介して、直接高速アクセスHD6に入力しても
良い。図4(a)に教示用画像セットの一例を示すが、
各教示用画像には画像インデックスsと物体クラスkが
それぞれ付与される。
オカメラ1から入力し、A/D変換器12でデジタル画
像データに変換し、画像メモリ2に一旦記憶する。画像
メモリ2に記憶された教示用画像は、I/F11を介し
て、高速アクセスHD6に順次入力され、教示用画像セ
ットを構築する(S20)。なお、教示用画像セット
は、図1には示していない、ネットワークや大容量の記
録媒体を介して、直接高速アクセスHD6に入力しても
良い。図4(a)に教示用画像セットの一例を示すが、
各教示用画像には画像インデックスsと物体クラスkが
それぞれ付与される。
【0020】局所テンプレート生成処理は、教示用画像
セットの画像の中で認識したい対象物体画像を取り込
み、図4(b)に示すように対象教示用画像の領域を複
数の小領域に分割し、局所テンプレートの集合に変換さ
れる(S21)。この小領域の画像を局所テンプレート
と呼ぶ。
セットの画像の中で認識したい対象物体画像を取り込
み、図4(b)に示すように対象教示用画像の領域を複
数の小領域に分割し、局所テンプレートの集合に変換さ
れる(S21)。この小領域の画像を局所テンプレート
と呼ぶ。
【0021】局所特徴抽出処理は、各局所テンプレート
毎に特徴ベクトルを抽出する。局所ウインドウ(局所画
像ベクトル)から抽出される特徴量(特徴ベクトル)に
は、教示用画像から得られた全ての局所画像ベクトルを
サンプル空間とする分布の主成分の線形結合で近似した
もの、即ち、主成分が張る部分空間への直交射影を用い
る(S22)。
毎に特徴ベクトルを抽出する。局所ウインドウ(局所画
像ベクトル)から抽出される特徴量(特徴ベクトル)に
は、教示用画像から得られた全ての局所画像ベクトルを
サンプル空間とする分布の主成分の線形結合で近似した
もの、即ち、主成分が張る部分空間への直交射影を用い
る(S22)。
【0022】モデル画像群{P_i}として、もとの画像
インデックスs、テンプレートの画像内における位置(x
_i,y_i)及びテンプレートが含まれる領域の物体クラス
kと供に、タプル(属性リスト)P_i = <画像インデッ
クスs、物体クラスk、位置(x_i,y_i)、特徴ベクトル>
( i はデータベースでのこのテンプレートのインデッ
クス)の形式でタプルメモリ3に保存する(S23)。
このとき、座標の表現(x_i(s1),y_i(s1))と(x_i(s2),y_
i(s2))(添字 i が共通)は、同一物体が異なった2つ
(以上)の画像 s1,s2 に含まれており、その物体から得
られた局所テンプレート位置が物体上の同一の点 i を
表しているということを示す。このような同一点を表す
という情報の入力は手動または、自動で行なう。また、
物体クラスkの分け方には、類似したかたちの物体をひ
とつのクラスとする方法や、一つ一つの物体にそれぞれ
一つのクラスを割り当てる方法がある。
インデックスs、テンプレートの画像内における位置(x
_i,y_i)及びテンプレートが含まれる領域の物体クラス
kと供に、タプル(属性リスト)P_i = <画像インデッ
クスs、物体クラスk、位置(x_i,y_i)、特徴ベクトル>
( i はデータベースでのこのテンプレートのインデッ
クス)の形式でタプルメモリ3に保存する(S23)。
このとき、座標の表現(x_i(s1),y_i(s1))と(x_i(s2),y_
i(s2))(添字 i が共通)は、同一物体が異なった2つ
(以上)の画像 s1,s2 に含まれており、その物体から得
られた局所テンプレート位置が物体上の同一の点 i を
表しているということを示す。このような同一点を表す
という情報の入力は手動または、自動で行なう。また、
物体クラスkの分け方には、類似したかたちの物体をひ
とつのクラスとする方法や、一つ一つの物体にそれぞれ
一つのクラスを割り当てる方法がある。
【0023】対象となる教示用画像セットの教示用画像
が全て処理されたかどうかを判定し、Nなら(S21)
へ、Yならオフライン処理を終了する。
が全て処理されたかどうかを判定し、Nなら(S21)
へ、Yならオフライン処理を終了する。
【0024】なお、タプルはさらに順次高速アクセスH
D6に転送・蓄積され、物体認識用のデータベース管理
が行なわれる。
D6に転送・蓄積され、物体認識用のデータベース管理
が行なわれる。
【0025】次にオンライン処理について、図3に示す
動作フローに従って説明する。対象画像をビデオカメラ
1から入力し、A/D変換器12でデジタル画像データ
に変換し、画像メモリ2に一旦記憶する(S30)。
動作フローに従って説明する。対象画像をビデオカメラ
1から入力し、A/D変換器12でデジタル画像データ
に変換し、画像メモリ2に一旦記憶する(S30)。
【0026】画像メモリ2に記憶された対象画像(図5
図(a))は、図5(b)のように局所テンプレート生
成処理により、入力された画像を小領域に分割し、局所
テンプレートT_jを生成する(S31)。
図(a))は、図5(b)のように局所テンプレート生
成処理により、入力された画像を小領域に分割し、局所
テンプレートT_jを生成する(S31)。
【0027】局所特徴抽出処理は、各局所テンプレート
毎に特徴ベクトルを抽出する(S32)。
毎に特徴ベクトルを抽出する(S32)。
【0028】照合候補選択保持処理は、この局所テンプ
レートT_j に対して、タプルメモリ3に登録されてい
るエントリの中から局所テンプレートT_j の特徴ベク
トルに類似した特徴ベクトルを有するエントリ P_iを
一つまたは複数を選択し、テンプレートT_j に対して
<T_j、 {P_i}> の形式で照合候補として保持する
(S33)。
レートT_j に対して、タプルメモリ3に登録されてい
るエントリの中から局所テンプレートT_j の特徴ベク
トルに類似した特徴ベクトルを有するエントリ P_iを
一つまたは複数を選択し、テンプレートT_j に対して
<T_j、 {P_i}> の形式で照合候補として保持する
(S33)。
【0029】幾何学的評価処理は、テンプレートの照合
の正当性の評価を幾何学的な基準に基づいて行なうもの
で、一枚の入力画像から得られたテンプレートの集合
{T_j}の全ての要素に対応する照合候補{<T_j、
{P_i}>}(j=1,2,3...)の中でP_i の物体クラスが
同一である(このクラスをk とする)ものの集合をS
(k)={<T_j(k),{P_i(k)} }、入力画像から得ら
れたテンプレートT_jのもとの画像内での位置を(x_j,y_
j)としたとき、(x_j,y_j)とデータベースの要素で画像
インデックス s1 を持つ P_i のテンプレート位置 (x_i
(j,k,s1),y_i(j,k,s1))、及び、インデックス s2 を持
つテンプレート位置 (x_i(j,k,s2),y_i(j,k,s2)) の間
に(数1)に示す幾何学的関係がどの程度確からしく成
立しているかを評価する(S34)。
の正当性の評価を幾何学的な基準に基づいて行なうもの
で、一枚の入力画像から得られたテンプレートの集合
{T_j}の全ての要素に対応する照合候補{<T_j、
{P_i}>}(j=1,2,3...)の中でP_i の物体クラスが
同一である(このクラスをk とする)ものの集合をS
(k)={<T_j(k),{P_i(k)} }、入力画像から得ら
れたテンプレートT_jのもとの画像内での位置を(x_j,y_
j)としたとき、(x_j,y_j)とデータベースの要素で画像
インデックス s1 を持つ P_i のテンプレート位置 (x_i
(j,k,s1),y_i(j,k,s1))、及び、インデックス s2 を持
つテンプレート位置 (x_i(j,k,s2),y_i(j,k,s2)) の間
に(数1)に示す幾何学的関係がどの程度確からしく成
立しているかを評価する(S34)。
【0030】
【数1】
【0031】これは、例えば、i と j に関して最小2
乗法を適用し、パラメタα1、β1、γ1、α2、β
2、γ2を決定した後、その剰余の大きさで評価するこ
とができる。(数1)は、一つの剛体が様々な角度から
撮影された時に、剛体上の点の画像内での位置座標が満
足すべき関係を示したもので、任意の角度からとられた
画像での点の位置は、他の2つの角度からとられた画像
の対応する位置を使って表現されることを示している。
このことは、文献:''Shimon Ullman and RonenBasr
i:''Recognition by Linear Combination of Model
s'', IEEE Transactions on PAMI, VOL.13, NO.10, Oct
ober 1991、に詳しく証明されている。
乗法を適用し、パラメタα1、β1、γ1、α2、β
2、γ2を決定した後、その剰余の大きさで評価するこ
とができる。(数1)は、一つの剛体が様々な角度から
撮影された時に、剛体上の点の画像内での位置座標が満
足すべき関係を示したもので、任意の角度からとられた
画像での点の位置は、他の2つの角度からとられた画像
の対応する位置を使って表現されることを示している。
このことは、文献:''Shimon Ullman and RonenBasr
i:''Recognition by Linear Combination of Model
s'', IEEE Transactions on PAMI, VOL.13, NO.10, Oct
ober 1991、に詳しく証明されている。
【0032】これは、言い替えれば、2つの画像 s1, s
2 の点(xi(j,k,s1),yi(j,k,s1)),(xi(j,k,s2),yi(j,k,s
2))と第3の画像である入力画像の点(xj,yj)の間にある
共通のパラメタセットα1、β1、γ1、α2、β2、
γ2を介して(数1)の関係があり、これが十分な数の
(j,i)の組に対して成立しているならば、(xi(j,k,s1),y
i(j,k,s1)),(xi(j,k,s2),yi(j,k,s2))と(xj,yj)は、一
つの物体上の同一の点を示しているといえる。ここで、
教示用の画像 s1, s2 の点(xi(j,k,s1),yi(j,k,s1)),(x
i(j,k,s2),yi(j,k,s2))は2つの位置が同一物体の同一
の点に対応することを表す。
2 の点(xi(j,k,s1),yi(j,k,s1)),(xi(j,k,s2),yi(j,k,s
2))と第3の画像である入力画像の点(xj,yj)の間にある
共通のパラメタセットα1、β1、γ1、α2、β2、
γ2を介して(数1)の関係があり、これが十分な数の
(j,i)の組に対して成立しているならば、(xi(j,k,s1),y
i(j,k,s1)),(xi(j,k,s2),yi(j,k,s2))と(xj,yj)は、一
つの物体上の同一の点を示しているといえる。ここで、
教示用の画像 s1, s2 の点(xi(j,k,s1),yi(j,k,s1)),(x
i(j,k,s2),yi(j,k,s2))は2つの位置が同一物体の同一
の点に対応することを表す。
【0033】上記のことは、これらの点の3集合{(xi
(j,k,s1),yi(j,k,s1))}と{(xi(j,k,s2),yi(j,k,s2))}と
{(xj,yj)}は、は同一物体を示していることになり、物
体が認識されたことを示す。
(j,k,s1),yi(j,k,s1))}と{(xi(j,k,s2),yi(j,k,s2))}と
{(xj,yj)}は、は同一物体を示していることになり、物
体が認識されたことを示す。
【0034】認識処理は、この評価結果に基づいて、入
力画像内におけるクラスkの物体の存在有無と、その位
置を推定する(S35)。
力画像内におけるクラスkの物体の存在有無と、その位
置を推定する(S35)。
【0035】この評価結果に基づいて、入力画像内にお
けるクラス k の物体の存在有無とその位置が推定さ
れ、出力デバイス9に出力される。
けるクラス k の物体の存在有無とその位置が推定さ
れ、出力デバイス9に出力される。
【0036】また、幾何学的関係がどの程度確からしく
成立しているかの評価は、(数2)、(数3)または
(数4)を用いても良い。
成立しているかの評価は、(数2)、(数3)または
(数4)を用いても良い。
【0037】
【数2】
【0038】
【数3】
【0039】
【数4】
【0040】
【発明の効果】以上のように本発明は、予め登録してあ
るモデル画像群と入力画像の対応する局所テンプレート
との照合に幾何学的な基準に基づいて評価することによ
り、並行移動にとどまらず、物体がいかなる剛体運動を
経たとしても従来法に比べ格段に汎用性が高く、物体の
位置や向き(傾き)の変化の影響をうけない実用的な物
体認識が可能となり、その効果は非常に大きい。
るモデル画像群と入力画像の対応する局所テンプレート
との照合に幾何学的な基準に基づいて評価することによ
り、並行移動にとどまらず、物体がいかなる剛体運動を
経たとしても従来法に比べ格段に汎用性が高く、物体の
位置や向き(傾き)の変化の影響をうけない実用的な物
体認識が可能となり、その効果は非常に大きい。
【図1】本発明の実施の形態1による物体認識装置のブ
ロック図
ロック図
【図2】データベース構築(オフライン処理)の動作フ
ローチャート
ローチャート
【図3】認識モード(オンライン処理)の動作フローチ
ャート
ャート
【図4】データベースの局所テンプレートを説明する図
【図5】認識モードの局所テンプレートを説明する図
1 ビデオカメラ
2 画像メモリ
3 タプルメモリ
4 CPU
5 メモリ
6 高速ハードディスク
7 コンソール(ディスプレイ+キーボード)
8 バス
9 出力デバイス
10 FDユニット
11、13〜16 I/Fユニット
12 A/D変換器
20 コンピュータ
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平9−21610(JP,A)
特開 平11−306354(JP,A)
NC95−26 ダイナミックリンクによ
る画像の部分どうしのマッチング,電子
情報通信学会技術研究報告,日本,1995
年 6月30日,Vol.95 No.135,
pp.53−60
(58)調査した分野(Int.Cl.7,DB名)
G06T 1/00
G06T 7/00
Claims (5)
- 【請求項1】 認識対象物体を含む教示用画像を小領域
に分割した教示用局所テンプレートの位置を示す教示用
位置情報と前記教示用局所テンプレートから算出した教
示用特徴ベクトルとを含む複数の教示用属性リストを予
め作成する第1のステップと、入力画像を小領域に分割
した入力画像局所テンプレートの位置を示す入力画像位
置情報と前記入力画像局所テンプレートから算出した入
力画像特徴ベクトルとを含む入力画像属性リストを作成
する第2のステップと、前記入力画像特徴ベクトルと類
似した前記教示用特徴ベクトルを含む前記教示用属性リ
ストを少なくとも1つ以上選択した照合候補を作成し、
前記照合候補の前記教示用位置情報と前記入力画像位置
情報とに共通のパラメタを前記照合候補の前記教示用位
置情報に乗算し、更に合算した値である教示用位置情報
計算結果と前記入力画像位置情報とが同一、又は、前記
教示用位置情報計算結果と前記入力画像位置情報との乗
余の大きさが予め定めた値より小さくなる前記教示用属
性リストを前記照合候補から選択し、選択された教示用
属性リスト数を前記入力画像位置情報の評価結果とする
第3のステップと、前記評価結果に基づいて、前記認識
対象物体の存在と、前記認識対象物体の位置を推定する
第4のステップとを有する物体認識方法。 - 【請求項2】 認識対象物体を含む教示用画像を小領域
に分割した教示用局所テンプレートの位置を示す教示用
位置情報と前記教示用局所テンプレートから算出した教
示用特徴ベクトルと前記教示用局所テンプレートに含ま
れる認識対象物体を分類したクラスを示す教示用物体ク
ラスとを含む複数の教示用属性リストを予め作成する第
1のステップと、入力画像を小領域に分割した入力画像
局所テンプレートの位置を示す入力画像位置情報と前記
入力画像局所テンプレートから算出した入力画像特徴ベ
クトルと前記入力画像局所テンプレートに含まれる認識
対象物体を分類したクラスを示す入力画像物体クラスと
を含む入力画像属性リストを作成する第2のステップ
と、前記教示用物体クラスが前記入力画像物体クラスと
同一であり、更に、前記入力画像特徴ベクトルと類似し
た前記教示用特徴ベクトルを含む前記教示用属性リスト
を少なくとも1つ以上選択した照合候補を作成し、前記
照合候補の前記教示用位置情報と前記入力画像位置情報
とに共通のパラメタを前記照合候補の前記教示用位置情
報に乗算し、更に合算した値である教示用位置情報計算
結果と前記入力画像位置情報とが同一、又は、前記教示
用位置情報計算結果と前記入力画像位置情報との乗余の
大きさが予め定めた値より小さくなる前記教示用属性リ
ストを前記照合候補から選択し、選択された教示用属性
リスト数を前記入力画像位置情報の評価結果とする第3
のステップと、前記評価結果に基づいて、前記認識対象
物体の存在と、前記認識対象物体の位置を推定する第4
のステップとを有する物体認識方法。 - 【請求項3】 認識対象物体を含む教示用画像を小領域
に分割した教示用局所テンプレートの位置を示す教示用
位置情報と前記教示用局所テンプレートから算出した教
示用特徴ベクトルとを含む複数の教示用属性リストを予
め蓄積するデータベースと、入力画像を小領域に分割し
た入力画像局所テンプレートの位置を示す入力画像位置
情報と前記入力画像局所テンプレートから算出した入力
画像特徴ベクトルとを含む入力画像属性リストを作成す
る局所特徴抽出手段と、前記入力画像特徴ベクトルと類
似した前記教示用特徴ベクトルを含む前記教示用属性リ
ストを少なくとも1つ以上選択した照合候補を作成する
照合候補選択保持手段と、前記照合候補の前記教示用位
置情報と前記入力画像位置情報とに共通のパラメタを前
記照合候補の前記教示用位置情報に乗算し、更に合算し
た値である教示用位置情報計算結果と前記入力画像位置
情報とが同一、又は、前記教示用位置情報計算結果と前
記入力画像位置情報との乗余の大きさが予め定めた値よ
り小さくなる前記教示用属性リストを前記照合候補から
選択し、選択された教示用属性リスト数を前記入力画像
位置情報の評価結果とする幾何学的評価手段と、前記評
価結果に基づいて、前記認識対象物体の存在と、前記認
識対象物体の位置を推定する認識手段と有する物体認識
装置。 - 【請求項4】 認識対象物体を含む教示用画像を小領域
に分割した教示用局所テンプレートの位置を示す教示用
位置情報と前記教示用局所テンプレートから算出した教
示用特徴ベクトルと前記教示用局所テンプレートに含ま
れる認識対象物体を分類したクラスを示す教示用物体ク
ラスとを含む複数の教示用属性リストを予め蓄積するデ
ータベースと、入力画像を小領域に分割した入力画像局
所テンプレートの位置を示す入力画像位置情報と前記入
力画像局所テンプレートから算出した入力画像特徴ベク
トルと前記入力画像局所テンプレートに含まれる認識対
象物体を分類したクラスを示す入力画像物体クラスとを
含む入力画像属性リストを作成する局所特徴抽出手段
と、前記教示用物体クラスが前記入力画像物体クラスと
同一であり、更に、前記入力画像特徴ベクトルと類似し
た前記教示用特徴ベクトルを含む前記教示用属性リスト
を少なくとも1つ以上選択した照合候補を作成する照合
候補選択保持手段と、前記照合候補の前記教示用位置情
報と前記入力画像位置情報とに共通のパラメタを前記照
合候補の前記教示用位置情報に乗算し、更に合算した値
である教示用位置情報計算結果と前記入力画像位置情報
とが同一、又は、前記教示用位置情報計算結果と前記入
力画像位置情報との乗余の大きさが予め定めた値より小
さくなる前記教示用属性リストを前記照合候補から選択
し、選択された教示用属性リスト数を前記入力画像位置
情報の評価結果とする幾何学的評価手段と、前記評価結
果に基づいて、前記認識対象物体の存在と、前記認識対
象物体の位置を推定する認識手段と有する物体認識装
置。 - 【請求項5】 コンピュータにより物体認識を行うプロ
グラムであって、認識対象物体を含む教示用画像を小領
域に分割した教示用局所テンプレートの位置を示す教示
用位置情報と前記教示用局所テンプレートから算出した
教示用特徴ベクトルとを含む複数の教示用属性リストを
予め作成する第1のステップと、入力画像を小領域に分
割した入力画像局所テンプレートの位置を示す入力画像
位置情報と前記入力画像局所テンプレートから算出した
入力画像特徴ベクトルとを含む入力画像属性リストを作
成する第2のステップと、前記入力画像特徴ベクトルと
類似した前記教示用特徴ベクトルを含む前記教示用属性
リストを少なくとも1つ以上選択した照合候補を作成
し、前記照合候補の前記教示用位置情報と前記入力画像
位置情報とに共通のパラメタを前記照合候補の前記教示
用位置情報に乗算し、更に合算した値である教示用位置
情報計算結果と前記入力画像位置情報とが同一、又は、
前記教示用位置情報計算結果と前記入力画像位置情報と
の乗余の大きさが予め定めた値より小さくなる前記教示
用属性リストを前記照合候補から選択し、選択された教
示用属性リスト数を前記入力画像位置情報の評価結果と
する第3のステップと、前記評価結果に基づいて、前記
認識対象物体の存在と、前記認識対象物体の位置を推定
する第4のステップとを有する物体認識プログラムを記
録 した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11045398A JP3451925B2 (ja) | 1998-04-21 | 1998-04-21 | 物体認識方法及び物体認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11045398A JP3451925B2 (ja) | 1998-04-21 | 1998-04-21 | 物体認識方法及び物体認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11306353A JPH11306353A (ja) | 1999-11-05 |
JP3451925B2 true JP3451925B2 (ja) | 2003-09-29 |
Family
ID=14536106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11045398A Expired - Lifetime JP3451925B2 (ja) | 1998-04-21 | 1998-04-21 | 物体認識方法及び物体認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3451925B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032766A (ja) * | 2000-07-18 | 2002-01-31 | Matsushita Electric Ind Co Ltd | 画像認識装置及びその方法 |
EP1089214A3 (en) | 1999-09-30 | 2005-01-26 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for image recognition |
-
1998
- 1998-04-21 JP JP11045398A patent/JP3451925B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
Title |
---|
NC95−26 ダイナミックリンクによる画像の部分どうしのマッチング,電子情報通信学会技術研究報告,日本,1995年 6月30日,Vol.95 No.135,pp.53−60 |
Also Published As
Publication number | Publication date |
---|---|
JPH11306353A (ja) | 1999-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110046586B (zh) | 一种数据处理方法、设备及存储介质 | |
JP4321350B2 (ja) | パラメタ推定方法、パラメタ推定装置および照合方法 | |
TWI514172B (zh) | An animation search device, an animation search method, a recording medium, and a program | |
US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
Zheng et al. | Fusing shape and spatio-temporal features for depth-based dynamic hand gesture recognition | |
JP2020127194A (ja) | コンピュータシステムおよびプログラム | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
Li et al. | Shrec’16 track: 3D sketch-based 3D shape retrieval | |
US20170076754A1 (en) | Systems and methods for matching two or more digital multimedia files | |
JP2001043368A5 (ja) | ||
CN108108769B (zh) | 一种数据的分类方法、装置及存储介质 | |
JP2017130049A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2024099068A1 (zh) | 基于图像的速度确定方法、装置、设备及存储介质 | |
CN108573510B (zh) | 一种栅格地图矢量化方法及设备 | |
JP2010257267A (ja) | 物体領域検出装置、物体領域検出方法および物体領域検出プログラム | |
JP3451925B2 (ja) | 物体認識方法及び物体認識装置 | |
JPH11250106A (ja) | 内容基盤の映像情報を利用した登録商標の自動検索方法 | |
US20090129699A1 (en) | Image processing system | |
US8606494B2 (en) | Map generation apparatus, map generation method and computer readable medium | |
CN114596435A (zh) | 语义分割标签的生成方法、装置、设备及存储介质 | |
JP7370759B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP3680658B2 (ja) | 画像認識方法及び画像認識装置 | |
JP5723301B2 (ja) | 被写体認識装置及び被写体認識プログラム | |
Szczuko | Genetic programming extension to APF-based monocular human body pose estimation | |
JP4380376B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080718 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100718 Year of fee payment: 7 |