JP3078166B2 - 物体認識方法 - Google Patents
物体認識方法Info
- Publication number
- JP3078166B2 JP3078166B2 JP06010806A JP1080694A JP3078166B2 JP 3078166 B2 JP3078166 B2 JP 3078166B2 JP 06010806 A JP06010806 A JP 06010806A JP 1080694 A JP1080694 A JP 1080694A JP 3078166 B2 JP3078166 B2 JP 3078166B2
- Authority
- JP
- Japan
- Prior art keywords
- local feature
- information
- image
- elements
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】本発明は特定被写体を中心とした
撮像および画像の編集を行うためのパターン認識方法に
関する。
撮像および画像の編集を行うためのパターン認識方法に
関する。
【０００２】
【従来の技術】従来の図形パターンなどの表示方法の一
つとして、例えば特公平５−３６８３０号の図形入力方
式などのように、幾何学的図形シンボルのストロークの
屈曲部分をあらかじめ用意した種々の屈曲パターン（形
状プリミティブ）のいずれかで表現し、曲線部分を円弧
によって近似する手法が知られており、幾何学的に簡単
な図形の認識への応用が可能である。
つとして、例えば特公平５−３６８３０号の図形入力方
式などのように、幾何学的図形シンボルのストロークの
屈曲部分をあらかじめ用意した種々の屈曲パターン（形
状プリミティブ）のいずれかで表現し、曲線部分を円弧
によって近似する手法が知られており、幾何学的に簡単
な図形の認識への応用が可能である。
【０００３】また、物体認識の一方法として特公平５−
２３４６３号の物体認識装置においては、認識物体の輪
郭を追跡し、直線部あるいは円弧部などの形状プリミテ
ィブに分割し、それぞれの属性と各頂点の属性とを辞書
としてメモリに登録し、辞書メモリをもとに、未知物体
の各形状プリミティブを検索することによって認識を行
う。
２３４６３号の物体認識装置においては、認識物体の輪
郭を追跡し、直線部あるいは円弧部などの形状プリミテ
ィブに分割し、それぞれの属性と各頂点の属性とを辞書
としてメモリに登録し、辞書メモリをもとに、未知物体
の各形状プリミティブを検索することによって認識を行
う。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従
来例では形状プリミティブの空間配置関係を認識のため
に抽出している訳ではないので、同一対象であっても視
点位置によって異なる画像パターンになる場合、あるい
は何らかの要因により形状またはサイズの変化が生じた
場合には、同一対象について膨大な数の２次元パターン
情報を記憶し、かつパターン認識時にはその膨大な数の
パターン情報とのマッチングを行う必要があり、演算コ
ストも多大になるという問題点があった。
来例では形状プリミティブの空間配置関係を認識のため
に抽出している訳ではないので、同一対象であっても視
点位置によって異なる画像パターンになる場合、あるい
は何らかの要因により形状またはサイズの変化が生じた
場合には、同一対象について膨大な数の２次元パターン
情報を記憶し、かつパターン認識時にはその膨大な数の
パターン情報とのマッチングを行う必要があり、演算コ
ストも多大になるという問題点があった。
【０００５】また、一般的に画像中に複数の物体が存在
する場合、あらかじめ領域分割を適切に行う必要があ
り、一つの領域に一つの対象のみが存在するように領域
分割をしてから認識処理を適用していた。
する場合、あらかじめ領域分割を適切に行う必要があ
り、一つの領域に一つの対象のみが存在するように領域
分割をしてから認識処理を適用していた。
【０００６】かかる領域分割と対象パターンの認識とは
表裏一体であり、自動的に完全に行うことは非常に困難
であった。
表裏一体であり、自動的に完全に行うことは非常に困難
であった。
【０００７】本発明は、このような点に鑑み、限定され
た数の特徴要素と、特徴要素の相対的配置情報に基づく
パターン認識を行うことを目的とする。
た数の特徴要素と、特徴要素の相対的配置情報に基づく
パターン認識を行うことを目的とする。
【０００８】
【課題を解決するための手段】本発明の物体認識方法
は、入力された画像を記録して保持し、前記画像中より
局所的特徴要素を所定のスケーリングパラメータに基づ
いて抽出するとともに、所定の格子空間にマッピングす
ることによって配置情報を生成する処理と、認識すべき
物体の前記局所的特徴要素の組み合わせ情報を予めモデ
ル配列データとして記憶する処理と、 前記入力された画
像中より抽出した前記局所的特徴要素の前記配置情報
と、前記記憶されたモデル配列データとを照合して判定
するとともに、該判定に際して前記モデル配列データの
スケーリングパラメータを、前記入力された画像に対応
して可変とした判定処理と、からなる。
は、入力された画像を記録して保持し、前記画像中より
局所的特徴要素を所定のスケーリングパラメータに基づ
いて抽出するとともに、所定の格子空間にマッピングす
ることによって配置情報を生成する処理と、認識すべき
物体の前記局所的特徴要素の組み合わせ情報を予めモデ
ル配列データとして記憶する処理と、 前記入力された画
像中より抽出した前記局所的特徴要素の前記配置情報
と、前記記憶されたモデル配列データとを照合して判定
するとともに、該判定に際して前記モデル配列データの
スケーリングパラメータを、前記入力された画像に対応
して可変とした判定処理と、からなる。
【０００９】本発明の物体認識方法は、入力された画像
を記録して保持し、前記画像中の局所的特徴要素を抽出
し、前記局所的特徴要素近傍領域の色、局所空間周波
数、強度などの領域ベース情報を抽出し、前記局所的特
徴要素と前記領域ベース情報との配置情報を生成し、認
識すべき物体の、前記局所的特徴要素の組み合せ配置情
報を記憶情報として記憶し、生成した前記配置情報と前
記記憶情報とを照合して判定する。
を記録して保持し、前記画像中の局所的特徴要素を抽出
し、前記局所的特徴要素近傍領域の色、局所空間周波
数、強度などの領域ベース情報を抽出し、前記局所的特
徴要素と前記領域ベース情報との配置情報を生成し、認
識すべき物体の、前記局所的特徴要素の組み合せ配置情
報を記憶情報として記憶し、生成した前記配置情報と前
記記憶情報とを照合して判定する。
【００１０】本発明の物体認識方法は、入力された画像
を記録して保持し、前記画像中の局所的特徴要素を抽出
し、認識すべき物体の、前記局所的特徴要素のモデル図
形要素を第１の記憶情報として記憶し、抽出した前記局
所的特徴要素と前記第１の記憶情報とから前記局所的特
徴要素の中間的図形要素を抽出し、前記中間的図形要素
の配置情報を生成し、認識すべき物体の、前記モデル図
形要素の組み合せ配置情報を第２の記憶情報として記憶
し、生成した前記中間的図形要素の前記配置情報と前記
第２の記憶情報とを照合して判定する。
を記録して保持し、前記画像中の局所的特徴要素を抽出
し、認識すべき物体の、前記局所的特徴要素のモデル図
形要素を第１の記憶情報として記憶し、抽出した前記局
所的特徴要素と前記第１の記憶情報とから前記局所的特
徴要素の中間的図形要素を抽出し、前記中間的図形要素
の配置情報を生成し、認識すべき物体の、前記モデル図
形要素の組み合せ配置情報を第２の記憶情報として記憶
し、生成した前記中間的図形要素の前記配置情報と前記
第２の記憶情報とを照合して判定する。
【００１１】前記局所的特徴要素としては、複数方向の
エッジセグメントの交差パターン、曲率一定の曲線の全
部またはその一部、およびエッジセグメントを抽出す
る。
エッジセグメントの交差パターン、曲率一定の曲線の全
部またはその一部、およびエッジセグメントを抽出す
る。
【００１２】前記局所的特徴要素の前記配置情報は、前
記局所的特徴要素に所定の方法で離散化した数値を割り
当てられた数値化要素の、２次元配列または３次元配列
として表わす。
記局所的特徴要素に所定の方法で離散化した数値を割り
当てられた数値化要素の、２次元配列または３次元配列
として表わす。
【００１３】前記局所的特徴要素の前記組み合せ配置情
報は、抽出した前記局所的特徴要素を所定サイズおよび
所定形状単位で構成される格子空間上に再配列して得ら
れる特徴要素のパターンによって表わす。
報は、抽出した前記局所的特徴要素を所定サイズおよび
所定形状単位で構成される格子空間上に再配列して得ら
れる特徴要素のパターンによって表わす。
【００１４】前記局所的特徴要素を抽出する処理は、複
数の異なる大きさのスケーリングパラメータごとに行
う。
数の異なる大きさのスケーリングパラメータごとに行
う。
【００１５】
（ａ）入力画像中の局所的特徴要素を抽出して配置情報
を生成し、あらかじめ記憶した認識すべき物体の局所的
特徴要素の組み合せ配置情報と照合して認識情報を判定
し、入力画像中の、認識情報の存在領域を決定し抽出し
ている。その際に、局所的特徴要素として、複数方向の
エッジセグメントの交差パターン、曲率一定の曲線の全
部またはその一部、およびエッジセグメントを、複数の
異なる大きさのスケーリングパラメータごとに抽出して
いる。また、局所的特徴要素の配置情報を局所的特徴要
素の離散化した数値化要素の２次元配列として表わして
いる。さらに、局所的特徴要素の組み合せ配置情報を、
抽出した局所的特徴要素を所定サイズおよび所定形状単
位で構成される格子空間上に再配列して得られる特徴要
素のパターンによって表わしている。上記の方法によ
り、認識対象画像データに要するメモリ容量を節減し、
認識処理の効率を向上することができる。
を生成し、あらかじめ記憶した認識すべき物体の局所的
特徴要素の組み合せ配置情報と照合して認識情報を判定
し、入力画像中の、認識情報の存在領域を決定し抽出し
ている。その際に、局所的特徴要素として、複数方向の
エッジセグメントの交差パターン、曲率一定の曲線の全
部またはその一部、およびエッジセグメントを、複数の
異なる大きさのスケーリングパラメータごとに抽出して
いる。また、局所的特徴要素の配置情報を局所的特徴要
素の離散化した数値化要素の２次元配列として表わして
いる。さらに、局所的特徴要素の組み合せ配置情報を、
抽出した局所的特徴要素を所定サイズおよび所定形状単
位で構成される格子空間上に再配列して得られる特徴要
素のパターンによって表わしている。上記の方法によ
り、認識対象画像データに要するメモリ容量を節減し、
認識処理の効率を向上することができる。
【００１６】（ｂ）局所的特徴要素の配置情報を数値化
要素の３次元配列に拡張することにより、画像に対する
視点位置の変化に対応した同一物体の任意の視点位置か
らの物体認識、および撮像時の照明条件の変化に対応し
た物体認識の際に、抽出する局所的特徴要素の種類は敏
感に変化せず、画像中の物体の変形の影響を受け難い物
体認識ができる。
要素の３次元配列に拡張することにより、画像に対する
視点位置の変化に対応した同一物体の任意の視点位置か
らの物体認識、および撮像時の照明条件の変化に対応し
た物体認識の際に、抽出する局所的特徴要素の種類は敏
感に変化せず、画像中の物体の変形の影響を受け難い物
体認識ができる。
【００１７】（ｃ）局所的特徴要素近傍領域の色、局所
空間周波数、強度などの領域ベース情報を抽出し、局所
的特徴要素と領域ベース情報との配置情報を生成するこ
とにより、画像中に複数の物体が存在し、複数の物体の
一部が互いに重なり合ったり接触するなどして物体の本
来の形が欠ける、隠れるなどの強い変形が存在する場合
でも、あらかじめ領域分割を行うことなくロバストな認
識を行うことができる。
空間周波数、強度などの領域ベース情報を抽出し、局所
的特徴要素と領域ベース情報との配置情報を生成するこ
とにより、画像中に複数の物体が存在し、複数の物体の
一部が互いに重なり合ったり接触するなどして物体の本
来の形が欠ける、隠れるなどの強い変形が存在する場合
でも、あらかじめ領域分割を行うことなくロバストな認
識を行うことができる。
【００１８】これにより画像中のどの位置にどの認識す
べき対象があるかを出力し、その位置を中心とした撮
像、あるいは対象画像を中心とした部分画像を原画像か
ら抽出し、特定対象を中心とした撮像、あるいは特定対
象を含む画像と他の画像と合成するなどの画像編集を、
効率良く、かつロバストに行うために必要な情報を出力
することができる。
べき対象があるかを出力し、その位置を中心とした撮
像、あるいは対象画像を中心とした部分画像を原画像か
ら抽出し、特定対象を中心とした撮像、あるいは特定対
象を含む画像と他の画像と合成するなどの画像編集を、
効率良く、かつロバストに行うために必要な情報を出力
することができる。
【００１９】（ｄ）局所的特徴要素の中間的図形要素を
抽出し、中間的図形要素の配置情報を生成することによ
り、階層的特徴抽出に基づく認識を行うことができ、複
数の物体が互いに重なり合うなどして撮像された画像に
おいても、その影響を受け難いロバストな認識ができ
る。
抽出し、中間的図形要素の配置情報を生成することによ
り、階層的特徴抽出に基づく認識を行うことができ、複
数の物体が互いに重なり合うなどして撮像された画像に
おいても、その影響を受け難いロバストな認識ができ
る。
【００２０】
【実施例】本発明の実施例について、図面を用いて説明
する。
する。
【００２１】図１は、本発明の第１実施例における処理
部の構成図である。図１において、画像入力部Ｓ11は、
撮像手段により得られる画像データを所定記録媒体に記
録し保持する。局所的特徴要素抽出部Ｓ12は、画像中各
領域において、スケーリングパラメータσによりあらか
じめ設定した、複数のスケール（サイズ）の有限個の局
所的特徴要素、例えば種々のエッジセグメントの交差パ
ターン（Ｌ型、Ｔ型、Ｘ型、Ｙ型交差など）、種々の曲
率（一定とする）および向きを有する曲線セグメントな
どの線分（曲線分）で構成される局所的特徴要素パター
ンを抽出し、抽出した局所的特徴要素以外はデータとし
て保持しない。抽出特徴要素配列データ生成部Ｓ13は、
Ｓ12で抽出した局所的特徴要素の画像データから、あら
かじめ設定した２次元配列構造（セルアレイ）上に各局
所的特徴要素を所定のデータフォーマットにより変換し
て、およその配置関係を保った配列データを生成する。
また、局所的特徴要素モデル配列データ記憶部Ｓ14は、
認識すべき画像の局所的特徴要素パターンとして、モデ
ル配列データ（複数可能）を記憶する。Ｓ14において記
憶したモデル配列データは、マッチング処理部Ｓ15で一
種のテンプレートとして使われる。Ｓ15は、Ｓ13の配列
データとＳ14のモデル配列データとの差の２乗和などに
代表される誤差量を評価し、誤差量が閾値以下となるよ
うなモデル配列データを、認識パターンとして判定す
る。さらに適合画像領域抽出部Ｓ16は、認識パターンの
原画像中の存在領域を決定し、抽出する。
部の構成図である。図１において、画像入力部Ｓ11は、
撮像手段により得られる画像データを所定記録媒体に記
録し保持する。局所的特徴要素抽出部Ｓ12は、画像中各
領域において、スケーリングパラメータσによりあらか
じめ設定した、複数のスケール（サイズ）の有限個の局
所的特徴要素、例えば種々のエッジセグメントの交差パ
ターン（Ｌ型、Ｔ型、Ｘ型、Ｙ型交差など）、種々の曲
率（一定とする）および向きを有する曲線セグメントな
どの線分（曲線分）で構成される局所的特徴要素パター
ンを抽出し、抽出した局所的特徴要素以外はデータとし
て保持しない。抽出特徴要素配列データ生成部Ｓ13は、
Ｓ12で抽出した局所的特徴要素の画像データから、あら
かじめ設定した２次元配列構造（セルアレイ）上に各局
所的特徴要素を所定のデータフォーマットにより変換し
て、およその配置関係を保った配列データを生成する。
また、局所的特徴要素モデル配列データ記憶部Ｓ14は、
認識すべき画像の局所的特徴要素パターンとして、モデ
ル配列データ（複数可能）を記憶する。Ｓ14において記
憶したモデル配列データは、マッチング処理部Ｓ15で一
種のテンプレートとして使われる。Ｓ15は、Ｓ13の配列
データとＳ14のモデル配列データとの差の２乗和などに
代表される誤差量を評価し、誤差量が閾値以下となるよ
うなモデル配列データを、認識パターンとして判定す
る。さらに適合画像領域抽出部Ｓ16は、認識パターンの
原画像中の存在領域を決定し、抽出する。
【００２２】Ｓ12以降の各処理部での処理内容につい
て、以下に説明する。
て、以下に説明する。
【００２３】図２は、抽出した局所的特徴要素パターン
例を示す図である。Ｓ12で抽出するべき局所的特徴要素
であるエッジセグメントの交差パターン抽出方式として
は、Deriche, R., Giraudon, G. (1993) (Internationa
l Journal of Computer Vision, Vol.10, 101-124)、Ro
hr, K. and Schnoerr, C. (1993) (Image and VisionCo
mputing, Vol.11, 273-277)、磯、志沢 (1993) (信学技
報、Vol.IE92-125, pp.33-40)などの方式が挙げられる
が、ここでは特に限定するものではない。図２において
は、Ｌ型交差として、向きの異なる有限個（Ｌ1、Ｌ2、
……、
例を示す図である。Ｓ12で抽出するべき局所的特徴要素
であるエッジセグメントの交差パターン抽出方式として
は、Deriche, R., Giraudon, G. (1993) (Internationa
l Journal of Computer Vision, Vol.10, 101-124)、Ro
hr, K. and Schnoerr, C. (1993) (Image and VisionCo
mputing, Vol.11, 273-277)、磯、志沢 (1993) (信学技
報、Vol.IE92-125, pp.33-40)などの方式が挙げられる
が、ここでは特に限定するものではない。図２において
は、Ｌ型交差として、向きの異なる有限個（Ｌ1、Ｌ2、
……、
【００２４】
【外１】 の要素（ここでは８個）に限る。交差角度βは０°＜β
＜１８０°とし、交差角度でＬ型交差の種別を分けるの
ではなく、Ｌ型交差の向き（交差の２等分角度線方向）
で８種類に分けている。Ｌ型交差の組み合せによって得
られるＴ型、Ｘ型、Ｙ型、アロー型の交差についても、
上記のRohr, K. and Schnoerr, C. (1993)などに提示さ
れる方式により抽出することができる。
＜１８０°とし、交差角度でＬ型交差の種別を分けるの
ではなく、Ｌ型交差の向き（交差の２等分角度線方向）
で８種類に分けている。Ｌ型交差の組み合せによって得
られるＴ型、Ｘ型、Ｙ型、アロー型の交差についても、
上記のRohr, K. and Schnoerr, C. (1993)などに提示さ
れる方式により抽出することができる。
【００２５】また、他の局所的特徴要素である曲率一定
の曲線要素の抽出方式としては、Koenderink, J. and R
ichards, W. (1988) (J. Opt. Soc. Am. A, Vol.5, pp.
1136-1141)、Li, S. Z. (1990) (International Journa
l of Computer Vision, Vol.5, pp.161-194)などに説明
されている。図２においては、曲率一定の曲線要素、す
なわち円弧の方向をその中点での内向き法線ベクトルの
方向により有限個（Ｃ v1、Ｃv2、……、
の曲線要素の抽出方式としては、Koenderink, J. and R
ichards, W. (1988) (J. Opt. Soc. Am. A, Vol.5, pp.
1136-1141)、Li, S. Z. (1990) (International Journa
l of Computer Vision, Vol.5, pp.161-194)などに説明
されている。図２においては、曲率一定の曲線要素、す
なわち円弧の方向をその中点での内向き法線ベクトルの
方向により有限個（Ｃ v1、Ｃv2、……、
【００２６】
【外２】 の要素（ここでは８個）に限る。
【００２７】さらに、上記の交差パターンまたは曲率要
素抽出時のスケーリングパラメータσを離散的に有限個
（例えばσ＝２、４、８、１６、３２画素の５個）設定
し、各スケーリングパラメータごとに局所的特徴要素の
抽出を行う。このσは、前記交差パターンあるいは曲率
要素の抽出の際に行われるスムージング（例えば
素抽出時のスケーリングパラメータσを離散的に有限個
（例えばσ＝２、４、８、１６、３２画素の５個）設定
し、各スケーリングパラメータごとに局所的特徴要素の
抽出を行う。このσは、前記交差パターンあるいは曲率
要素の抽出の際に行われるスムージング（例えば
【００２８】
【数１】 のガウシアン関数との畳み込み演算などによる）の程度
を表わす。Ｓ12は、あらかじめ設定した局所的特徴要素
のうち最も近いものを抽出して符号化する処理までを含
む。
を表わす。Ｓ12は、あらかじめ設定した局所的特徴要素
のうち最も近いものを抽出して符号化する処理までを含
む。
【００２９】図３は、図２の局所的特徴要素を用いた顔
画像の符号化例を示す図であり、Ｓ 12により顔画像をあ
るスケーリングパラメータσで符号化している。
画像の符号化例を示す図であり、Ｓ 12により顔画像をあ
るスケーリングパラメータσで符号化している。
【００３０】次に、Ｓ13では、符号化した局所的特徴要
素の空間配置関係を、あらかじめ設定したサイズおよび
形状のセルからなる格子空間上にマッピングすることに
より表現する。図４は、符号化した局所的特徴要素配列
表示用格子空間例を示す図である。図４においては、格
子空間をＮ、Ｅ、Ｗ、Ｓ、ＮＥ、ＮＷ、ＳＷ、ＳＥの８
方向に区分し、矩形の格子サイズをスケーリングパラメ
ータσと同程度に設定する。このようにして局所的特徴
要素間の大まかな配置関係に再構成し直すことにより、
元の画像の変形に対して不変な画像表現を得る。さらに
各スケーリングパラメータσごとにこのような画像の不
変表現形式を抽出することにより、認識すべき画像を、
符号化した局所的特徴要素間の相対配置関係の空間サイ
ズによらない共通な局所的特徴要素パターンモデルとし
て、あらかじめ記憶させることができる。
素の空間配置関係を、あらかじめ設定したサイズおよび
形状のセルからなる格子空間上にマッピングすることに
より表現する。図４は、符号化した局所的特徴要素配列
表示用格子空間例を示す図である。図４においては、格
子空間をＮ、Ｅ、Ｗ、Ｓ、ＮＥ、ＮＷ、ＳＷ、ＳＥの８
方向に区分し、矩形の格子サイズをスケーリングパラメ
ータσと同程度に設定する。このようにして局所的特徴
要素間の大まかな配置関係に再構成し直すことにより、
元の画像の変形に対して不変な画像表現を得る。さらに
各スケーリングパラメータσごとにこのような画像の不
変表現形式を抽出することにより、認識すべき画像を、
符号化した局所的特徴要素間の相対配置関係の空間サイ
ズによらない共通な局所的特徴要素パターンモデルとし
て、あらかじめ記憶させることができる。
【００３１】このように第１実施例は、画像をより少な
い数のあらかじめ設定した局所的特徴要素と限定された
数のマトリクス状の空間配置関係との組み合せで表現す
ることにより、物体認識プロセスの効率向上（すなわち
演算コストの低減）と、物体の画像中のサイズの変化お
よび変形による影響を受け難い物体認識を可能にしてい
る。
い数のあらかじめ設定した局所的特徴要素と限定された
数のマトリクス状の空間配置関係との組み合せで表現す
ることにより、物体認識プロセスの効率向上（すなわち
演算コストの低減）と、物体の画像中のサイズの変化お
よび変形による影響を受け難い物体認識を可能にしてい
る。
【００３２】次に、格子空間にマッピングした局所的特
徴要素配列を認識するために必要な配列データの符号化
について説明する。第１実施例では、Ｓ15において、モ
デル配列データと実画像から生成した抽出特徴要素配列
データとのマッチングにより認識を実行するが、これを
計算機の数値演算により実行するためには局所的特徴要
素の各パターンを何らかの方法で数値化する必要があ
る。そこで全局所的特徴要素数をＭとして、各局所的特
徴要素に例えば１からＭまでの番号を付ける。付番の方
法は特に限定する必要はないが、同一カテゴリの局所的
特徴要素（例えば向きの異なるＬ型交差）同士は連続ま
たは値の近い番号とすることが望ましい。また局所的特
徴要素の存在しないセル（配列）の値は０または前記付
番の番号以外の値を用いればよい。局所的特徴要素の数
値符号化後の認識の処理例としては、通常のテンプレー
トマッチングの手法を用いてもよい。ただしモデル配列
データは画像のサイズによらない点が従来のテンプレー
トベースの方式とは異なる。すなわち画像からスケーリ
ングパラメータσ1、σ2、……、σnでそれぞれ局所的
特徴要素を符号化してモデル配列データとマッチングを
とる際には、モデル配列の格子サイズを仮想的に実際の
画像から抽出したデータの格子サイズと一致するように
縮少または拡大させる。したがって、異なる格子サイズ
ごとに認識すべき画像の局所的特徴要素のモデル配列デ
ータを用意する必要がない。
徴要素配列を認識するために必要な配列データの符号化
について説明する。第１実施例では、Ｓ15において、モ
デル配列データと実画像から生成した抽出特徴要素配列
データとのマッチングにより認識を実行するが、これを
計算機の数値演算により実行するためには局所的特徴要
素の各パターンを何らかの方法で数値化する必要があ
る。そこで全局所的特徴要素数をＭとして、各局所的特
徴要素に例えば１からＭまでの番号を付ける。付番の方
法は特に限定する必要はないが、同一カテゴリの局所的
特徴要素（例えば向きの異なるＬ型交差）同士は連続ま
たは値の近い番号とすることが望ましい。また局所的特
徴要素の存在しないセル（配列）の値は０または前記付
番の番号以外の値を用いればよい。局所的特徴要素の数
値符号化後の認識の処理例としては、通常のテンプレー
トマッチングの手法を用いてもよい。ただしモデル配列
データは画像のサイズによらない点が従来のテンプレー
トベースの方式とは異なる。すなわち画像からスケーリ
ングパラメータσ1、σ2、……、σnでそれぞれ局所的
特徴要素を符号化してモデル配列データとマッチングを
とる際には、モデル配列の格子サイズを仮想的に実際の
画像から抽出したデータの格子サイズと一致するように
縮少または拡大させる。したがって、異なる格子サイズ
ごとに認識すべき画像の局所的特徴要素のモデル配列デ
ータを用意する必要がない。
【００３３】例えば顔画像の認識の場合には、認識に必
要な部位となる目、口などに対して、あらかじめＬ型交
差、曲線要素などの局所的特徴要素によりサイズ不変の
モデルマスクデータを作成し、さらに目と口の相対位置
関係を保持したサイズ不変のモデル配列データ（ただし
局所的特徴要素抽出時のスケーリングパラメータσに応
じて縮少あるいは拡大する）をマスクパターンとして記
憶し、局所的特徴要素抽出後の画像の各領域を走査し
て、最小２乗法などによりモデル配列データとのマッチ
ングの度合を計算する。すなわち
要な部位となる目、口などに対して、あらかじめＬ型交
差、曲線要素などの局所的特徴要素によりサイズ不変の
モデルマスクデータを作成し、さらに目と口の相対位置
関係を保持したサイズ不変のモデル配列データ（ただし
局所的特徴要素抽出時のスケーリングパラメータσに応
じて縮少あるいは拡大する）をマスクパターンとして記
憶し、局所的特徴要素抽出後の画像の各領域を走査し
て、最小２乗法などによりモデル配列データとのマッチ
ングの度合を計算する。すなわち
【００３４】
【外３】 をスケーリングパラメータσで正規化した格子空間上
（ｉ，ｊ）の位置におけるセルの値（局所的特徴要素に
対応）とし、
（ｉ，ｊ）の位置におけるセルの値（局所的特徴要素に
対応）とし、
【００３５】
【外４】 をスケーリングパラメータσでの格子空間上（ｉ，ｊ）
の位置におけるセルの値とすると、認識の演算過程は、
例えば数２で定義される。
の位置におけるセルの値とすると、認識の演算過程は、
例えば数２で定義される。
【００３６】
【数２】 このＦ（ｋ，ｐ）が所定の閾値以下（あるいは閾値以
上）で極小（あるいは極大）となる位置（ｋ，ｐ）を求
めることによって、認識すべき対象が原画像中のどの位
置にあるかを出力する。ここで‖ｘ，ｙ‖は、（ｘ−
ｙ）の絶対値または（ｘ−ｙ）2n（ｎ＝１、２、……）
など、（ｘ−ｙ）に関する偶関数で非負値をとるものが
望ましい。この場合には‖ｘ，ｙ‖が閾値以下のとき、
ｙはｘであると認識する。またＪは認識すべき対象の格
子空間上で占める配列要素の範囲を示し、標準的には
（ｉ＝１、２、……、ｑ；ｊ＝１、２、……、ｒ）のよ
うに定めればよい。
上）で極小（あるいは極大）となる位置（ｋ，ｐ）を求
めることによって、認識すべき対象が原画像中のどの位
置にあるかを出力する。ここで‖ｘ，ｙ‖は、（ｘ−
ｙ）の絶対値または（ｘ−ｙ）2n（ｎ＝１、２、……）
など、（ｘ−ｙ）に関する偶関数で非負値をとるものが
望ましい。この場合には‖ｘ，ｙ‖が閾値以下のとき、
ｙはｘであると認識する。またＪは認識すべき対象の格
子空間上で占める配列要素の範囲を示し、標準的には
（ｉ＝１、２、……、ｑ；ｊ＝１、２、……、ｒ）のよ
うに定めればよい。
【００３７】また関数Ｆ（ｋ，ｐ）としては
【００３８】
【外５】 と
【００３９】
【外６】 との相関を計算してもよい。この場合はｑ×ｒのブロッ
クサイズのモデル配列データ
クサイズのモデル配列データ
【００４０】
【外７】 を画像からの抽出データ
【００４１】
【外８】 上を走査しながら、相関値が閾値以上で極大となる
（ｋ，ｐ）を求める。さらに、認識すべき対象を中心と
した撮像システム、画像編集システムへ処理結果を出力
して所望の機能動作を行ってもよい。
（ｋ，ｐ）を求める。さらに、認識すべき対象を中心と
した撮像システム、画像編集システムへ処理結果を出力
して所望の機能動作を行ってもよい。
【００４２】図５は、本発明の第２実施例における３次
元格子空間の構造図を示す。第２実施例では、第１実施
例で説明した局所的特徴要素の３次元的な空間配置関係
を抽出し、モデル化する。立体計測の手法としては、実
写の画像（例えば所定の値で離間した２台のカメラで撮
像して得られるステレオ写真）から画像処理により対応
点を抽出する方法、レーザ光線を照射して反射光の位相
を計測する方法、あるいは構造パターン（メッシュパタ
ーンなど）を投影してその変形度を測る方法などが挙げ
られる。
元格子空間の構造図を示す。第２実施例では、第１実施
例で説明した局所的特徴要素の３次元的な空間配置関係
を抽出し、モデル化する。立体計測の手法としては、実
写の画像（例えば所定の値で離間した２台のカメラで撮
像して得られるステレオ写真）から画像処理により対応
点を抽出する方法、レーザ光線を照射して反射光の位相
を計測する方法、あるいは構造パターン（メッシュパタ
ーンなど）を投影してその変形度を測る方法などが挙げ
られる。
【００４３】図５においては、格子空間のセル形状を球
面を経度および緯度方向に等分割して得られる矩形とし
ているが、他の形状単位（例えば三角形など）で他の立
体（例えば円柱）を分割して得てもよい。このように３
次元格子空間は、対象物体の任意視点位置からの画像を
認識する場合に適用することができる。すなわち同一対
象であっても、ある視点から見て得られる画像と他の視
点による画像とでは一般的に異なり、１枚の２次元的画
像からだけでは、視点位置を変えたときの画像パターン
の変化を予測することは困難であり、また全ての視点位
置からの画像を記録して認識に利用することもほとんど
不可能である。しかしながら、限定された数の局所的特
徴要素の３次元的空間配置関係を３次元的に離散化した
代表点（格子空間上の一点）にマッピングしたものをマ
ッチング用モデルデータとし、同じドメイン（格子空
間）で実際の画像とのマッチングの度合いを測ることに
より任意の視点位置からの立体の画像認識に要する処理
の効率向上とメモリの節減を飛躍的に図ることができ
る。
面を経度および緯度方向に等分割して得られる矩形とし
ているが、他の形状単位（例えば三角形など）で他の立
体（例えば円柱）を分割して得てもよい。このように３
次元格子空間は、対象物体の任意視点位置からの画像を
認識する場合に適用することができる。すなわち同一対
象であっても、ある視点から見て得られる画像と他の視
点による画像とでは一般的に異なり、１枚の２次元的画
像からだけでは、視点位置を変えたときの画像パターン
の変化を予測することは困難であり、また全ての視点位
置からの画像を記録して認識に利用することもほとんど
不可能である。しかしながら、限定された数の局所的特
徴要素の３次元的空間配置関係を３次元的に離散化した
代表点（格子空間上の一点）にマッピングしたものをマ
ッチング用モデルデータとし、同じドメイン（格子空
間）で実際の画像とのマッチングの度合いを測ることに
より任意の視点位置からの立体の画像認識に要する処理
の効率向上とメモリの節減を飛躍的に図ることができ
る。
【００４４】第２実施例では、球面上を被覆する有限個
のセルからなる領域（認識すべき対象をある視点から見
たときに見える範囲に相当）の個々のセルに局所的特徴
要素に固有な数値（あるいは記号）を設定して得られる
ｎ×ｍ配列ブロックのモデル配列データを、実際の画像
からのＮ×Ｍ配列ブロック（Ｎ＞ｎ、Ｍ＞ｍ）の配列デ
ータ上を走査して、第１実施例と同様のマッチング処理
を行う。
のセルからなる領域（認識すべき対象をある視点から見
たときに見える範囲に相当）の個々のセルに局所的特徴
要素に固有な数値（あるいは記号）を設定して得られる
ｎ×ｍ配列ブロックのモデル配列データを、実際の画像
からのＮ×Ｍ配列ブロック（Ｎ＞ｎ、Ｍ＞ｍ）の配列デ
ータ上を走査して、第１実施例と同様のマッチング処理
を行う。
【００４５】図６は、本発明の第３実施例における処理
部の構成図である。図６において、画像入力部Ｓ61、局
所的特徴要素抽出部Ｓ62a、マッチング処理部Ｓ65は、
それぞれ図１のＳ11、Ｓ12、Ｓ15と同様の処理を行う。
領域情報抽出部Ｓ62bにおいてはＳ62aと同様に、スケー
リングパラメータσに応じた大きさのブロックごとに、
局所的特徴要素を含む近傍領域の代表色、平均強度、局
所空間周波数などの領域情報の抽出を行う。Ｓ61から入
力された画像は、Ｓ62aおよびＳ62bにおいて所定の処理
が施される。配列データ生成部Ｓ63は、Ｓ62aおよびＳ
62bにより抽出した局所的特徴要素および領域情報か
ら、配列データの生成を行う。モデル配列データ記憶部
Ｓ64は、スケーリングパラメータσに応じた矩形ブロッ
クであらかじめ分割した認識すべき画像の各ブロックご
とに、局所的特徴要素および領域情報を抽出した、モデ
ル配列データを記憶する。
部の構成図である。図６において、画像入力部Ｓ61、局
所的特徴要素抽出部Ｓ62a、マッチング処理部Ｓ65は、
それぞれ図１のＳ11、Ｓ12、Ｓ15と同様の処理を行う。
領域情報抽出部Ｓ62bにおいてはＳ62aと同様に、スケー
リングパラメータσに応じた大きさのブロックごとに、
局所的特徴要素を含む近傍領域の代表色、平均強度、局
所空間周波数などの領域情報の抽出を行う。Ｓ61から入
力された画像は、Ｓ62aおよびＳ62bにおいて所定の処理
が施される。配列データ生成部Ｓ63は、Ｓ62aおよびＳ
62bにより抽出した局所的特徴要素および領域情報か
ら、配列データの生成を行う。モデル配列データ記憶部
Ｓ64は、スケーリングパラメータσに応じた矩形ブロッ
クであらかじめ分割した認識すべき画像の各ブロックご
とに、局所的特徴要素および領域情報を抽出した、モデ
ル配列データを記憶する。
【００４６】以下、領域情報として色を例にとり、２次
元画像認識に限定して説明する。抽出するブロックごと
の代表色としては、以下に定義される色ベクトル
元画像認識に限定して説明する。抽出するブロックごと
の代表色としては、以下に定義される色ベクトル
【００４７】
【外９】 を用いる。
【００４８】
【数３】 ここに
【００４９】
【外１０】 は画像中の画素位置（ｉ，ｊ）におけるセンサのＲ画素
の出力強度を表わし、
の出力強度を表わし、
【００５０】
【外１１】 は同様にＧ画素、Ｂ画素の出力強度を表わす。記号
【００５１】
【外１２】 はブロックごとの画素値の加算を示し、同じブロック内
にある全ての画素位置（ｉ，ｊ）にわたって行う。
にある全ての画素位置（ｉ，ｊ）にわたって行う。
【００５２】このようにして、Ｓ62aとＳ62bにおいてス
ケーリングパラメータσごとに抽出する局所的特徴要素
と代表色などの領域情報に基いて、Ｓ63において認識処
理のための配列データの生成を行う。
ケーリングパラメータσごとに抽出する局所的特徴要素
と代表色などの領域情報に基いて、Ｓ63において認識処
理のための配列データの生成を行う。
【００５３】Ｓ64において記憶するモデル配列データ
は、局所的特徴要素用の
は、局所的特徴要素用の
【００５４】
【外１３】 領域情報用の
【００５５】
【外１４】 それぞれの配列における、局所的特徴要素あるいは代表
色固有の数値データである。例えば位置（ｋ，ｐ）のブ
ロックの色に関しては
色固有の数値データである。例えば位置（ｋ，ｐ）のブ
ロックの色に関しては
【００５６】
【数４】 の様に２次元ベクトル表示してもよいし、元のまま
【００５７】
【外１５】 を用いてもよい。局所的特徴要素に関しては第１実施例
に示したとおりである。
に示したとおりである。
【００５８】モデル配列データと画像から抽出した配列
データとのマッチング、すなわち認識の過程の第１の方
法としては、初めに領域情報（色）ベースでマッチング
をとり、次に色でおよその類似対応がとれた領域（ブロ
ック）について局所的特徴要素ベースでマッチングをと
る方法でもよい。第２の方法としては、マッチングの順
序を逆にして先に局所的特徴要素ベースで類似対応がと
れる領域を抽出し、次にそれら領域ごとに色ベースでの
類似対応の絞り込みを行ってもよい。また第３の方法と
しては、局所的特徴要素ベースでのマッチングの評価関
数ｆFと領域情報ベースでのマッチングの評価関数ｆAと
を適当な重みλをつけて加算した総合評価関数ｆ ｆ＝ｆF＋λｆA （１） の値が所定の閾値以下となるような位置を求めてもよ
い。ただし第１および第２の方法において「マッチング
をとる」とは第１実施例に示したようにモデルデータ
データとのマッチング、すなわち認識の過程の第１の方
法としては、初めに領域情報（色）ベースでマッチング
をとり、次に色でおよその類似対応がとれた領域（ブロ
ック）について局所的特徴要素ベースでマッチングをと
る方法でもよい。第２の方法としては、マッチングの順
序を逆にして先に局所的特徴要素ベースで類似対応がと
れる領域を抽出し、次にそれら領域ごとに色ベースでの
類似対応の絞り込みを行ってもよい。また第３の方法と
しては、局所的特徴要素ベースでのマッチングの評価関
数ｆFと領域情報ベースでのマッチングの評価関数ｆAと
を適当な重みλをつけて加算した総合評価関数ｆ ｆ＝ｆF＋λｆA （１） の値が所定の閾値以下となるような位置を求めてもよ
い。ただし第１および第２の方法において「マッチング
をとる」とは第１実施例に示したようにモデルデータ
【００５９】
【外１６】 および
【００６０】
【外１７】 と実際の画像からの抽出データ
【００６１】
【外１８】 に対し適当な評価関数
【００６２】
【数５】 が所定の閾値以下となる（ｋ，ｐ）を求めることであ
る。なお‖ｘ，ｙ‖は第１実施例で提示した関数であ
る。
る。なお‖ｘ，ｙ‖は第１実施例で提示した関数であ
る。
【００６３】なお、局所的特徴要素情報と領域情報とを
組み合せることにより画像中に複数の物体が存在し、複
数の物体の一部が重なりあっているような状態において
も、あらかじめ領域分割して一つの領域内に一つの物体
のみを存在させることなく、認識を行うことができる。
図７は、Ｔ型交差が遮蔽により生じる場合の３領域の説
明図である。図７においては、画像中から他の局所的特
徴要素と比べて大きなサイズでＴ型交差を検出し、かつ
そのサイズでのＴ型交差に接する３つの領域情報Ａ71、
Ａ72、Ａ73の属性（例えば色）が、Ａ72とＡ73はほぼ等
しいがＡ71とは大きく異なる場合などには、Ａ71によっ
てＡ72およびＡ73に対応する物体が一部遮蔽された状況
に相当する可能性があり、Ｔ型交差近傍においてＡ72お
よびＡ73を含む領域での画像を認識する場合は、モデル
配列データとのマッチングをとる際に、実際の画像デー
タからＡ71を含みＡ71と同じ属性をもつ領域を除いた
り、誤差の極小値検出によって閾値レベルの認識の判定
を行うときはこれを所定値上げ、相関によって判定を行
う場合にはこれを所定値下げるなどの処理をＳ65に加え
ることにより、領域分割を前提としない認識ができる。
組み合せることにより画像中に複数の物体が存在し、複
数の物体の一部が重なりあっているような状態において
も、あらかじめ領域分割して一つの領域内に一つの物体
のみを存在させることなく、認識を行うことができる。
図７は、Ｔ型交差が遮蔽により生じる場合の３領域の説
明図である。図７においては、画像中から他の局所的特
徴要素と比べて大きなサイズでＴ型交差を検出し、かつ
そのサイズでのＴ型交差に接する３つの領域情報Ａ71、
Ａ72、Ａ73の属性（例えば色）が、Ａ72とＡ73はほぼ等
しいがＡ71とは大きく異なる場合などには、Ａ71によっ
てＡ72およびＡ73に対応する物体が一部遮蔽された状況
に相当する可能性があり、Ｔ型交差近傍においてＡ72お
よびＡ73を含む領域での画像を認識する場合は、モデル
配列データとのマッチングをとる際に、実際の画像デー
タからＡ71を含みＡ71と同じ属性をもつ領域を除いた
り、誤差の極小値検出によって閾値レベルの認識の判定
を行うときはこれを所定値上げ、相関によって判定を行
う場合にはこれを所定値下げるなどの処理をＳ65に加え
ることにより、領域分割を前提としない認識ができる。
【００６４】図８は本発明の第４実施例における処理部
の構成図である。図８において、画像入力部Ｓ81、局所
的特徴要素抽出部Ｓ82、配列データ生成部Ｓ83、マッチ
ング処理部Ｓ85は、図１のＳ11、Ｓ12、Ｓ13、Ｓ15と同
様の処理を行う。中間的図形要素抽出部Ｓ87は、物体の
画像の一部を形成し図形コンセプトとして意味をもつま
とまり、すなわち中間的図形要素を抽出する。モデル図
形要素記憶部Ｓ88は、中間的図形要素のモデル図形要素
を、あらかじめ記憶する。モデル図形要素配列データ記
憶部Ｓ84は、Ｓ83の配列データとのマッチングをとるた
めの、モデル図形要素配列データを、あらかじめ記憶す
る。
の構成図である。図８において、画像入力部Ｓ81、局所
的特徴要素抽出部Ｓ82、配列データ生成部Ｓ83、マッチ
ング処理部Ｓ85は、図１のＳ11、Ｓ12、Ｓ13、Ｓ15と同
様の処理を行う。中間的図形要素抽出部Ｓ87は、物体の
画像の一部を形成し図形コンセプトとして意味をもつま
とまり、すなわち中間的図形要素を抽出する。モデル図
形要素記憶部Ｓ88は、中間的図形要素のモデル図形要素
を、あらかじめ記憶する。モデル図形要素配列データ記
憶部Ｓ84は、Ｓ83の配列データとのマッチングをとるた
めの、モデル図形要素配列データを、あらかじめ記憶す
る。
【００６５】第４実施例では、Ｓ82において抽出を行っ
た後に、Ｓ87において、中間的図形要素として、例えば
顔画像中の目、鼻、口、眉、耳などに相当する領域を抽
出する。抽出した中間的図形要素は、例えば顔全体のよ
うなより複雑で上位レベルの画像パターンを構成する階
層的に中位レベルの局所的特徴要素に属し、第１ないし
第３実施例で抽出した局所的特徴要素は下位レベルの局
所的特徴要素として位置づけることができ、格子空間上
での空間的配置関係により中間的図形要素を表現するも
のである。
た後に、Ｓ87において、中間的図形要素として、例えば
顔画像中の目、鼻、口、眉、耳などに相当する領域を抽
出する。抽出した中間的図形要素は、例えば顔全体のよ
うなより複雑で上位レベルの画像パターンを構成する階
層的に中位レベルの局所的特徴要素に属し、第１ないし
第３実施例で抽出した局所的特徴要素は下位レベルの局
所的特徴要素として位置づけることができ、格子空間上
での空間的配置関係により中間的図形要素を表現するも
のである。
【００６６】Ｓ88においてあらかじめ記憶した目、口な
どのモデル図形要素を、Ｓ82において下位レベルで抽出
した局所的特徴要素の空間配置に基いてＳ87において抽
出した後、Ｓ83において中位レベルでの配列データをそ
れぞれの中間的図形要素に固有の数値データあるいは記
号によって生成する。
どのモデル図形要素を、Ｓ82において下位レベルで抽出
した局所的特徴要素の空間配置に基いてＳ87において抽
出した後、Ｓ83において中位レベルでの配列データをそ
れぞれの中間的図形要素に固有の数値データあるいは記
号によって生成する。
【００６７】図９は、中間的図形要素の一部による顔画
像の符号化例を示す図である。図９においては、Ｓ87に
おいて画像から抽出した中間的図形要素と、Ｓ84におい
て抽出した認識すべきモデル図形要素とを、Ｓ85におい
てマッチングをとることにより、複数の物体が互いに重
なり合うなどして撮像された画像においても、その影響
を受け難いロバストな認識が可能となる。すなわち顔画
像の認識においては、前処理として中間的図形要素であ
る目、鼻、口などを抽出し、図９に示すように格子空間
上に相対位置を符号化して（ここでは目は９、鼻は５、
口は１に数値化している）表わすが、顔のうちのこれら
いずれかの要素が前述した要因により欠落した画像であ
っても、他の中間的図形要素の空間配置が顔画像の構成
と矛盾しなければ顔と認識することができる。
像の符号化例を示す図である。図９においては、Ｓ87に
おいて画像から抽出した中間的図形要素と、Ｓ84におい
て抽出した認識すべきモデル図形要素とを、Ｓ85におい
てマッチングをとることにより、複数の物体が互いに重
なり合うなどして撮像された画像においても、その影響
を受け難いロバストな認識が可能となる。すなわち顔画
像の認識においては、前処理として中間的図形要素であ
る目、鼻、口などを抽出し、図９に示すように格子空間
上に相対位置を符号化して（ここでは目は９、鼻は５、
口は１に数値化している）表わすが、顔のうちのこれら
いずれかの要素が前述した要因により欠落した画像であ
っても、他の中間的図形要素の空間配置が顔画像の構成
と矛盾しなければ顔と認識することができる。
【００６８】第４実施例における上記のような無矛盾性
の検出は、中間的図形要素レベルの格子空間上のモデル
配列データとのマッチングが所定の閾値以上（あるいは
以下）で極大（あるいは極小）となるような位置を検出
することに等しい。
の検出は、中間的図形要素レベルの格子空間上のモデル
配列データとのマッチングが所定の閾値以上（あるいは
以下）で極大（あるいは極小）となるような位置を検出
することに等しい。
【００６９】
【発明の効果】以上説明したように本発明は、以下のよ
うな効果を有する。
うな効果を有する。
【００７０】入力画像中の局所的特徴要素を抽出して配
置情報を生成し、あらかじめ記憶した認識すべき物体の
局所的特徴要素の組み合せ配置情報と照合して認識情報
を判定し、入力画像中の、認識情報の存在領域を決定し
抽出している。その際に、局所的特徴要素として、複数
方向のエッジセグメントの交差パターン、曲率一定の曲
線の全部またはその一部、およびエッジセグメントを、
複数の異なる大きさのスケーリングパラメータごとに抽
出している。また、局所的特徴要素の配置情報を局所的
特徴要素の離散化した数値化要素の２次元配列として表
わしている。さらに、局所的特徴要素の組み合せ配置情
報を、抽出した局所的特徴要素を所定サイズおよび所定
形状単位で構成される格子空間上に再配列して得られる
特徴要素のパターンによって表わしている。上記の方法
により、認識対象画像データに要するメモリ容量を節減
し、認識処理の効率を向上することができるという効果
を有する。
置情報を生成し、あらかじめ記憶した認識すべき物体の
局所的特徴要素の組み合せ配置情報と照合して認識情報
を判定し、入力画像中の、認識情報の存在領域を決定し
抽出している。その際に、局所的特徴要素として、複数
方向のエッジセグメントの交差パターン、曲率一定の曲
線の全部またはその一部、およびエッジセグメントを、
複数の異なる大きさのスケーリングパラメータごとに抽
出している。また、局所的特徴要素の配置情報を局所的
特徴要素の離散化した数値化要素の２次元配列として表
わしている。さらに、局所的特徴要素の組み合せ配置情
報を、抽出した局所的特徴要素を所定サイズおよび所定
形状単位で構成される格子空間上に再配列して得られる
特徴要素のパターンによって表わしている。上記の方法
により、認識対象画像データに要するメモリ容量を節減
し、認識処理の効率を向上することができるという効果
を有する。
【００７１】すなわち第１実施例に示すように、画像を
より少ない数のあらかじめ設定した局所的特徴要素と限
定された数のマトリクス状の空間配置関係との組み合せ
で表現することにより、物体認識処理の効率向上（すな
わち演算コストの低減）と、物体の画像中のサイズの変
化および変形による影響を受け難い物体認識を可能にし
ている。
より少ない数のあらかじめ設定した局所的特徴要素と限
定された数のマトリクス状の空間配置関係との組み合せ
で表現することにより、物体認識処理の効率向上（すな
わち演算コストの低減）と、物体の画像中のサイズの変
化および変形による影響を受け難い物体認識を可能にし
ている。
【００７２】また、局所的特徴要素の配置情報を数値化
要素の３次元配列に拡張することにより、画像に対する
視点位置の変化に対応した同一物体の任意の視点位置か
らの物体認識、および撮像時の照明条件の変化に対応し
た物体認識の際に、抽出する局所的特徴要素の種類は敏
感に変化せず、画像中の物体の変形の影響を受け難い物
体認識ができるという効果を有する。
要素の３次元配列に拡張することにより、画像に対する
視点位置の変化に対応した同一物体の任意の視点位置か
らの物体認識、および撮像時の照明条件の変化に対応し
た物体認識の際に、抽出する局所的特徴要素の種類は敏
感に変化せず、画像中の物体の変形の影響を受け難い物
体認識ができるという効果を有する。
【００７３】すなわち第２実施例に示すように、限定さ
れた数の局所的特徴要素の３次元的空間配置関係を３次
元的に離散化した代表点（格子空間上の一点）にマッピ
ングしたものをマッチング用モデルデータとし、同じド
メイン（格子空間）で実際の画像とのマッチングの度合
いを測ることにより任意の視点位置からの立体の画像認
識に要する処理の効率向上とメモリの節減を飛躍的に図
ることができる。
れた数の局所的特徴要素の３次元的空間配置関係を３次
元的に離散化した代表点（格子空間上の一点）にマッピ
ングしたものをマッチング用モデルデータとし、同じド
メイン（格子空間）で実際の画像とのマッチングの度合
いを測ることにより任意の視点位置からの立体の画像認
識に要する処理の効率向上とメモリの節減を飛躍的に図
ることができる。
【００７４】さらに、局所的特徴要素近傍領域の色、局
所空間周波数、強度などの領域ベース情報を抽出し、局
所的特徴要素と領域ベース情報との配置情報を生成する
ことにより、画像中に複数の物体が存在し、複数の物体
の一部が互いに重なり合ったり接触するなどして物体の
本来の形が欠ける、隠れるなどの強い変形が存在する場
合でも、第３実施例に示すように、あらかじめ領域分割
を行うことなくロバストな認識を行うことができるとい
う効果を有する。
所空間周波数、強度などの領域ベース情報を抽出し、局
所的特徴要素と領域ベース情報との配置情報を生成する
ことにより、画像中に複数の物体が存在し、複数の物体
の一部が互いに重なり合ったり接触するなどして物体の
本来の形が欠ける、隠れるなどの強い変形が存在する場
合でも、第３実施例に示すように、あらかじめ領域分割
を行うことなくロバストな認識を行うことができるとい
う効果を有する。
【００７５】これにより画像中のどの位置にどの認識す
べき対象があるかを出力し、その位置を中心とした撮
像、あるいは対象画像を中心とした部分画像を原画像か
ら抽出し、特定対象を中心とした撮像、あるいは特定対
象を含む画像と他の画像と合成するなどの画像編集を、
効率良く、かつロバストに行うために必要な情報を出力
することができるという効果を有する。
べき対象があるかを出力し、その位置を中心とした撮
像、あるいは対象画像を中心とした部分画像を原画像か
ら抽出し、特定対象を中心とした撮像、あるいは特定対
象を含む画像と他の画像と合成するなどの画像編集を、
効率良く、かつロバストに行うために必要な情報を出力
することができるという効果を有する。
【００７６】加えて、局所的特徴要素の中間的図形要素
を抽出し、中間的図形要素の配置情報を生成することに
より、階層的特徴抽出に基づく認識を行うことができ、
複数の物体が互いに重なり合うなどして撮像された画像
においても、その影響を受け難いロバストな認識ができ
るという効果を有する。
を抽出し、中間的図形要素の配置情報を生成することに
より、階層的特徴抽出に基づく認識を行うことができ、
複数の物体が互いに重なり合うなどして撮像された画像
においても、その影響を受け難いロバストな認識ができ
るという効果を有する。
【００７７】すなわち第４実施例に示すように、認識の
前処理として中間的図形要素を抽出して格子空間上に相
対位置を符号化して表わし、これらいずれかの要素が前
述した要因により欠落した画像であっても、他の中間的
図形要素の空間配置が認識すべき物体の構成と矛盾しな
ければ、認識を行うことができる。
前処理として中間的図形要素を抽出して格子空間上に相
対位置を符号化して表わし、これらいずれかの要素が前
述した要因により欠落した画像であっても、他の中間的
図形要素の空間配置が認識すべき物体の構成と矛盾しな
ければ、認識を行うことができる。
【図１】本発明の第１実施例における処理部の構成図
【図２】抽出した局所的特徴要素パターン例を示す図
【図３】図２の局所的特徴要素を用いた顔画像の符号化
例を示す図
例を示す図
【図４】符号化した局所的特徴要素配列表示用格子空間
例を示す図
例を示す図
【図５】本発明の第２実施例における３次元格子空間の
構造図
構造図
【図６】本発明の第３実施例における処理部の構成図
【図７】Ｔ型交差が遮蔽により生じる場合の３領域の説
明図
明図
【図８】本発明の第４実施例における処理部の構成図
【図９】中間的図形要素の一部による顔画像の符号化例
を示す図
を示す図
Ｓ11、Ｓ61、Ｓ81 画像入力部 Ｓ12、Ｓ62a、Ｓ82 局所的特徴要素抽出部 Ｓ13 抽出特徴要素配列データ生成部 Ｓ14 局所的特徴要素モデル配列データ記憶部 Ｓ15、Ｓ65、Ｓ85 マッチング処理部 Ｓ16 適合画像領域抽出部 Ｓ62b 領域情報抽出部 Ｓ63、Ｓ83 配列データ生成部 Ｓ64 モデル配列データ記憶部 Ｓ84 モデル図形要素配列データ記憶部 Ｓ87 中間的図形要素抽出部 Ｓ88 モデル図形要素記憶部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭64−51585（ＪＰ，Ａ) 特開 平４−101280（ＪＰ，Ａ) 特開 平３−288980（ＪＰ，Ａ) 特開 平１−291383（ＪＰ，Ａ) 実開 平２−63159（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 G06T 7/60
Claims (7)
- 【請求項１】 入力された画像を記録して保持し、前記
画像中より局所的特徴要素を所定のスケーリングパラメ
ータに基づいて抽出するとともに、所定の格子空間にマ
ッピングすることによって配置情報を生成する処理と、 認識すべき物体の前記局所的特徴要素の組み合わせ情報
を予めモデル配列データとして記憶する処理と、 前記入力された画像中より抽出した 前記局所的特徴要素
の前記配置情報と、前記記憶されたモデル配列データと
を照合して判定するとともに、該判定に際して前記モデ
ル配列データのスケーリングパラメータを、前記入力さ
れた画像に対応して可変とした判定処理と、 からなる 物体認識方法。 - 【請求項２】 入力された画像を記録して保持し、前記
画像中の局所的特徴要素を抽出し、前記局所的特徴要素
近傍領域の色、局所空間周波数、強度などの領域ベース
情報を抽出し、前記局所的特徴要素と前記領域ベース情
報との配置情報を生成し、認識すべき物体の、前記局所
的特徴要素の組み合せ配置情報を記憶情報として記憶
し、生成した前記配置情報と前記記憶情報とを照合して
判定する、物体認識方法。 - 【請求項３】 入力された画像を記録して保持し、前記
画像中の局所的特徴要素を抽出し、認識すべき物体の、
前記局所的特徴要素のモデル図形要素を第１の記憶情報
として記憶し、抽出した前記局所的特徴要素と前記第１
の記憶情報とから前記局所的特徴要素の中間的図形要素
を抽出し、前記中間的図形要素の配置情報を生成し、認
識すべき物体の、前記モデル図形要素の組み合せ配置情
報を第２の記憶情報として記憶し、生成した前記中間的
図形要素の前記配置情報と前記第２の記憶情報とを照合
して判定する、物体認識方法。 - 【請求項４】 前記局所的特徴要素として、複数方向の
エッジセグメントの交差パターン、曲率一定の曲線の全
部またはその一部、およびエッジセグメントを抽出す
る、請求項１ないし３のいずれか１項に記載の物体認識
方法。 - 【請求項５】 前記局所的特徴要素の前記配置情報を、
前記局所的特徴要素に所定の方法で離散化した数値を割
り当てられた数値化要素の、２次元配列または３次元配
列として表わす、請求項１ないし３のいずれか１項に記
載の物体認識方法。 - 【請求項６】 前記局所的特徴要素の前記組み合せ配置
情報を、抽出した前記局所的特徴要素を所定サイズおよ
び所定形状単位で構成される格子空間上に再配列して得
られる特徴要素のパターンによって表わす、請求項１な
いし３のいずれか１項に記載の物体認識方法。 - 【請求項７】 前記局所的特徴要素を抽出する処理を、
複数の異なる大きさのスケーリングパラメータごとに行
う、請求項１ないし３のいずれか１項に記載の物体認識
方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06010806A JP3078166B2 (ja) | 1994-02-02 | 1994-02-02 | 物体認識方法 |
| US08/893,929 US6463176B1 (en) | 1994-02-02 | 1997-07-15 | Image recognition/reproduction method and apparatus |
| US10/265,923 US6907140B2 (en) | 1994-02-02 | 2002-10-07 | Image recognition/reproduction method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06010806A JP3078166B2 (ja) | 1994-02-02 | 1994-02-02 | 物体認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07220090A JPH07220090A (ja) | 1995-08-18 |
| JP3078166B2 true JP3078166B2 (ja) | 2000-08-21 |
Family
ID=11760593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06010806A Expired - Fee Related JP3078166B2 (ja) | 1994-02-02 | 1994-02-02 | 物体認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3078166B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7881524B2 (en) | 2005-04-08 | 2011-02-01 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
| US7889886B2 (en) | 2005-07-26 | 2011-02-15 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
| US7894666B2 (en) | 2004-07-30 | 2011-02-22 | Canon Kabushiki Kaisha | Image processing method and apparatus, image sensing apparatus, and program |
| US8311272B2 (en) | 2006-06-30 | 2012-11-13 | Canon Kabushiki Kaisha | Image processing apparatus for identifying an individual object, image processing method, and storage medium |
| US8542887B2 (en) | 2009-10-30 | 2013-09-24 | Canon Kabushiki Kaisha | Object identification apparatus and object identification method |
| US8626782B2 (en) | 2010-01-15 | 2014-01-07 | Canon Kabushiki Kaisha | Pattern identification apparatus and control method thereof |
| US8705806B2 (en) | 2009-12-28 | 2014-04-22 | Canon Kabushiki Kaisha | Object identification apparatus and control method thereof |
| US8819015B2 (en) | 2009-01-13 | 2014-08-26 | Canon Kabushiki Kaisha | Object identification apparatus and method for identifying object |
| US8842880B2 (en) | 2011-04-20 | 2014-09-23 | Canon Kabushiki Kaisha | Information processing apparatus, method of controlling information processing apparatus, and storage medium |
| US9070041B2 (en) | 2009-11-04 | 2015-06-30 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method with calculation of variance for composited partial features |
| US9245206B2 (en) | 2011-12-05 | 2016-01-26 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| KR20160087738A (ko) * | 2015-01-14 | 2016-07-22 | 삼성전자주식회사 | 이벤트 기반 센서를 이용한 객체의 검출 방법 및 장치 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3621065B2 (ja) * | 2000-12-25 | 2005-02-16 | 松下電器産業株式会社 | 画像検出装置、プログラムおよび記録媒体 |
| AU2003289116A1 (en) | 2002-12-16 | 2004-07-09 | Canon Kabushiki Kaisha | Pattern identification method, device thereof, and program thereof |
| JP4481663B2 (ja) | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム |
| JP4537097B2 (ja) * | 2004-03-19 | 2010-09-01 | キヤノン株式会社 | パターン検出方法及び装置 |
| US7945938B2 (en) | 2005-05-11 | 2011-05-17 | Canon Kabushiki Kaisha | Network camera system and control method therefore |
| JP4410732B2 (ja) * | 2005-07-27 | 2010-02-03 | グローリー株式会社 | 顔画像検出装置、顔画像検出方法および顔画像検出プログラム |
-
1994
- 1994-02-02 JP JP06010806A patent/JP3078166B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7894666B2 (en) | 2004-07-30 | 2011-02-22 | Canon Kabushiki Kaisha | Image processing method and apparatus, image sensing apparatus, and program |
| US7881524B2 (en) | 2005-04-08 | 2011-02-01 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
| US7889886B2 (en) | 2005-07-26 | 2011-02-15 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
| US8311272B2 (en) | 2006-06-30 | 2012-11-13 | Canon Kabushiki Kaisha | Image processing apparatus for identifying an individual object, image processing method, and storage medium |
| US8819015B2 (en) | 2009-01-13 | 2014-08-26 | Canon Kabushiki Kaisha | Object identification apparatus and method for identifying object |
| US8542887B2 (en) | 2009-10-30 | 2013-09-24 | Canon Kabushiki Kaisha | Object identification apparatus and object identification method |
| US9070041B2 (en) | 2009-11-04 | 2015-06-30 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method with calculation of variance for composited partial features |
| US8705806B2 (en) | 2009-12-28 | 2014-04-22 | Canon Kabushiki Kaisha | Object identification apparatus and control method thereof |
| US8626782B2 (en) | 2010-01-15 | 2014-01-07 | Canon Kabushiki Kaisha | Pattern identification apparatus and control method thereof |
| US8842880B2 (en) | 2011-04-20 | 2014-09-23 | Canon Kabushiki Kaisha | Information processing apparatus, method of controlling information processing apparatus, and storage medium |
| US9245206B2 (en) | 2011-12-05 | 2016-01-26 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| KR20160087738A (ko) * | 2015-01-14 | 2016-07-22 | 삼성전자주식회사 | 이벤트 기반 센서를 이용한 객체의 검출 방법 및 장치 |
| KR102595604B1 (ko) * | 2015-01-14 | 2023-10-30 | 삼성전자주식회사 | 이벤트 기반 센서를 이용한 객체의 검출 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07220090A (ja) | 1995-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3078166B2 (ja) | 物体認識方法 | |
| US6907140B2 (en) | Image recognition/reproduction method and apparatus | |
| Novatnack et al. | Scale-dependent 3D geometric features | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| KR101007276B1 (ko) | 3차원 안면 인식 | |
| US8885925B2 (en) | Method for 3D object identification and pose detection using phase congruency and fractal analysis | |
| US6016148A (en) | Automated mapping of facial images to animation wireframes topologies | |
| CN111814794B (zh) | 文本检测方法、装置、电子设备及存储介质 | |
| US20140043329A1 (en) | Method of augmented makeover with 3d face modeling and landmark alignment | |
| JP4035978B2 (ja) | ３次元形状モデルの評価方法および生成方法並びに装置 | |
| Dal Poz et al. | Automated extraction of road network from medium-and high-resolution images | |
| JP4058293B2 (ja) | レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム | |
| Zhang | Harmonic shape images: A 3 D free-form surface representation and its applications in surface matching | |
| Yogeswaran et al. | 3d surface analysis for automated detection of deformations on automotive body panels | |
| Rashwan et al. | Using curvilinear features in focus for registering a single image to a 3D object | |
| Wei et al. | GeoDualCNN: Geometry-supporting dual convolutional neural network for noisy point clouds | |
| Tanaka | Accuracy-based sampling and reconstruction with adaptive meshes for parallel hierarchical triangulation | |
| CN112200822A (zh) | 表格重建方法、装置、计算机设备及存储介质 | |
| US6792131B2 (en) | System and method for performing sparse transformed template matching using 3D rasterization | |
| JP2003141567A (ja) | ３次元都市モデル生成装置及び３次元都市モデル生成方法 | |
| Kudelski et al. | 3D feature line detection based on vertex labeling and 2D skeletonization | |
| Becker et al. | Lidar inpainting from a single image | |
| JPH06176107A (ja) | 距離画像処理方法及び装置 | |
| CN112529013A (zh) | 图像识别方法、装置、设备和计算机可读介质 | |
| Brett et al. | A Method of 3D Surface Correspondence for Automated Landmark Generation. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080616 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130616 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |