JP4167390B2 - 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 - Google Patents
物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4167390B2 JP4167390B2 JP2000353402A JP2000353402A JP4167390B2 JP 4167390 B2 JP4167390 B2 JP 4167390B2 JP 2000353402 A JP2000353402 A JP 2000353402A JP 2000353402 A JP2000353402 A JP 2000353402A JP 4167390 B2 JP4167390 B2 JP 4167390B2
- Authority
- JP
- Japan
- Prior art keywords
- texture
- space
- image
- registered
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像による物体の照合を行う物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体に関し、特に照合対象となる物体の３次元形状および物体表面の反射率や色情報などをあらかじめ登録しておくことにより、画像上での物体の位置や姿勢，照明条件などの撮影条件の変動に対して頑強な物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体に関する。以下、事前に登録される物体を登録物体と呼び、登録物体と照合の対象とされる物体を対象物体と呼ぶ。
【０００２】
【従来の技術】
物体照合技術とは、図６に示すように、３次元空間上に適当に配置された対象物体が何であるのかを、カメラなどの画像撮像デバイスにより取得した入力画像（群）を利用して登録物体と照合する技術である。物体照合プロセスは、登録物体を事前に登録しておく登録過程と、対象物体の入力画像（群）に何が撮影されているかを登録物体と比較照合してゆく照合過程との２つから構成されている。それぞれの過程において、撮像された画像は、２次元的な広がりを持つ２次元画像のまま用いたり、また文献１（「三次元画像計測」、井口・佐藤、昭光堂）に記載されている技術などにより、３次元形状などに変換して利用する。従来の物体照合技術を、以下で文献を参照しながら説明する。
【０００３】
・従来技術１
２次元画像を登録しておき、入力として２次元画像を用いる物体照合技術の一例として、 文献２（特許第２８７２７７６号「顔画像照合装置」）で示される技術がある。この技術は、照合対象となる物体として人間の顔を想定しており、図２２のような構成をとっている。登録時は、カメラ１１により撮影された２次元画像を記憶手段１２に記憶しておく。照合時は、カメラ１３で２次元の顔画像を入力画像として撮影し、正規化手段１４によって、前記入力画像から目や鼻の位置などの姿勢や大きさの基準となる顔特徴点を画像処理技術により抽出し、該特徴点の座標位置を基準として画像上において２次元的な位置および大きさの正規化を行った正規化画像を出力する。最後に、画像比較手段１５によって、記憶手段１２から読み出される登録画像と前記正規化画像とをパターン認識技術により比較し、照合結果を出力する。
【０００４】
・従来技術２
また、３次元形状を用いた従来の物体照合技術の例として、文献３（特開平９-２５９２７１号公報「人物照合装置」）で示される技術がある。この技術では、図２３のような構成をとる。登録時には、３次元形状カラー情報計測手段２１により登録物体の３次元形状およびカラー情報を顔データとして測定し、記憶手段２２に記憶しておく。照合時にも、３次元形状カラー情報計測手段２３により対象物体の３次元形状およびカラー情報を入力データとして測定し、平行移動・回転手段２４により前記入力データを重心が前記顔データと一致するように平行移動して微少回転を加えた回転顔データ群を生成し、最小誤差計算手段２５によって誤差の最小値を求めることで３次元的な位置姿勢の補正を行い、該最小誤差に基づいて照合を行う。
【０００５】
・従来技術３
文献４（特開平６-１６８３１７号公報「個人識別装置」）には、登録時および照合時ともに２次元画像を撮影する照合技術が開示されている。この技術は、図２４のような構成をとる。登録時には、カメラ３１により登録物体の２次元画像を撮影し、特徴抽出手段３２において輝度変動の大きな画素位置を検出して特徴点位置を出力し、記憶手段３３に記憶する。照合時には、カメラ３４により対象物体の２次元画像を入力画像として撮影し、特徴抽出手段３５において輝度変動の大きな画素位置を検出して特徴点位置を出力し、照合手段３７において前記登録されている特徴点位置と前記入力画像の特徴点位置とを比較することで照合を行っている。このとき、対象物体の位置や姿勢の変動を吸収するために、位置姿勢正規化手段３６において標準的な物体の３次元形状モデルをあらかじめ用意しておき、該標準３次元形状モデルを利用して位置姿勢を正規化する。
【０００６】
・従来技術４
位置や姿勢の変動だけでなく、照明条件に応じた変動をも補正するために、登録過程および照合過程双方で通常の２次元画像だけを用いる技術として、文献５（「Visual Learning and Recognition of ３-D Objects from Appearance」, Hiroshi Murase and Shree K. Nayer, Int. J. Computer Vision, vol.14, pp.5-24,1995）がある。この技術では、図２５のような構成をとる。登録時には、撮影手段４１により登録物体について対象物体の入力画像において考えられるあらゆる姿勢や照明条件を網羅した２次元画像群を撮影し、多様体計算手段４２により前記２次元画像群の変化を十分表せるような基底ベクトル群を主成分分析により求めて該基底ベクトル群との相関を特徴とする特徴空間を生成し、前記２次元画像群の特徴空間における軌跡を多様体として求め、記憶手段４３に記憶しておく。照合時には、カメラ４４により対象物体の２次元画像を入力画像として撮影し、距離計算手段４５において前記入力画像と前記多様体との特徴空間における距離を計算し、該距離を尺度として照合を行う。これにより、様々な位置姿勢や照明条件の下で撮影された入力画像の照合を可能にしている。
【０００７】
・従来技術５
物体の位置姿勢が固定である場合の照明条件による２次元画像の変化については、文献６（「What Is the Set of Images of an Object Under All Possible Illumination Conditions?」, Peter N. Belhumeur and David J. Kriegman, Int. J. Computer Vision, vol.28, pp.245-260,1998）において詳しく分析されている。物体の位置姿勢を固定すれば、任意の照明条件の下での画像は、１つの点光源の下での画像の和に分解して表すことができる。したがって、任意の数の光源の下での画像は、それぞれ１つずつの光源の強さを係数として、その１つの光源の下での画像の線形和で表すことができる。
【０００８】
前記の分析に基づき、前記文献６では、Illumination Subspace Method（以下、方法１で参照する）と呼ばれる、図２６のような構成をとる方法を提案している。撮影手段５１において、できるだけ影になる画素がないような異なる照明条件を３つ以上設定し、登録物体の２次元画像群を撮影する。法線計算手段５２において、該２次元画像群から主成分分析により画像の各画素に対応する物体表面の反射率と法線ベクトルとの積に相当するベクトル群を求める。続いて、画像生成手段５３において、該ベクトル群の任意の２個のベクトルの外積で表される方向に照明がある場合の画像であるextreme rayと呼ばれる画像群を生成し、記憶手段５４に記憶する。照合時には、カメラ５５によって対象物体の２次元画像を入力画像として撮影する。物体表面の反射特性が完全散乱であり、かつ形状が凸である場合には、任意の照明条件の下での画像は前記extreme ray群の係数が正である線形和として表せるので、該係数群を負にならないという条件の下での最小二乗法を用いて計算することができる。照明補正手段５６において、前記最小二乗計算を行い、求まった係数群を用いたextreme ray群の線形和により入力画像と同じ照明条件の下での対象物体の比較画像を生成する。画像比較手段５７において、該比較画像と前記入力画像との類似度を計算することで照合処理を行う。
【０００９】
・従来技術６
文献７（「Illumination Cones for Recognition Under Variable Lighting: Faces」, A.S. Georghiades, Proc. IEEE Int. Conf. CVPR, pp.52-58,1998）では、方法１においてextreme rayを計算する際に、光線追跡などのコンピュータグラフィックスの技術を用いて、物体の３次元形状からどの画素が影になるかを計算し、影を付ける処理を行う方法（以下、方法２として参照）を示している。これにより、形状が凸でない形状の物体にも、方法１が適用できるとしている。
【００１０】
・従来技術７
また、前記文献７では、Sampling Method（以下、方法３として参照）として、図２７のような構成をとる方法も提案している。前記方法１のように全てのextreme rayを計算することは手間がかかるので、登録時に、撮影手段６１において、例えば、図５のθ，φの角度がなるべく等間隔に全体を覆うように適当な数の照明方向を設定して２次元画像群を撮影し、該２次元画像群をextreme rayとして代用する。以降は、方法１と同様に、非負最小二乗法を適用して照明補正を行い、物体認識を行う。
【００１１】
・従来技術８
文献８（特願２０００-１０５３９９「画像照合装置、画像照合方法、およびそのプログラムを記録した記録媒体」の技術では、登録物体の３次元形状を登録しておき、対象物体の入力画像の位置姿勢が変化しても、該位置姿勢に合わせた時の照明変動テクスチャ群をコンピュータグラフィックスにより生成し、さらに、該画像群を包含する画像空間を求めて照明補正処理を行うことにより、位置姿勢および照明条件がともに変化する場合にも高精度な照合を可能にしている。
【００１２】
【発明が解決しようとする課題】
しかしながら、照合対象となる物体は、特に固定や調節などをしない限り、カメラなどの画像撮像デバイスの前で３次元的な平行移動，回転移動などを伴うことが一般的である。また、屋外などでは刻々と照明条件も変動していくことから明らかなように、照合対象として入力される２次元画像上では、見かけ上、非常に大きな変動がある。従来技術は、これらの位置姿勢や照明条件の変動を十分補正することができていないため、応用範囲が非常に限られてしまうという問題点があった。以下、具体的に各文献記載の技術における問題点を詳述する。
【００１３】
文献２に記載されているような単なる２次元画像同士での照合技術では、照合対象となる物体の３次元的な回転変動や画像撮影時の照明条件変動による２次元画像上での見かけ上の変動に対応することができず、応用範囲が極めて限定される。
【００１４】
文献３の照合技術では、登録時だけでなく照合時にも３次元形状を必要とするために、照合装置には文献１に示されているような３次元形状計測装置が必須となり、高価となってしまう問題があった。これは、登録時と異なる場所や、複数の場所で入力画像を撮影し照合を行いたい場合などに特に問題である。また、形状の計測をするためには計測が終了するまで照合対象となる物体が静止していなければならなかったり、暗室や薄暗い環境でなければ精度の良い形状データが得られないという問題があり、やはり応用範囲が限られてしまう。
【００１５】
文献４に示されているような輝度変動の大きな画素位置を検出する方法は、３次元的な曲率が非常に大きな積み木や、また反射率の変動が非常に大きい白板上の黒いマーカなどには有効であるが、該文献４中で言及されているような人間の顔には向かないことが知られていることからも、安定な座標位置検出は一般に困難である。また、文献４では、照合対象となる物体群の標準的な３次元形状により姿勢を補正するとあるが、該物体群の各物体間において形状の類似度が高くない場合には適用ができないという問題があった。
【００１６】
文献５の技術では、対象物体の入力画像の照明条件として複数の光源や拡張光源などの様々な照明条件を考慮すると、これらを網羅する登録物体のサンプル画像は膨大な量が必要になってしまう。また、特徴空間における多様体の形状について何も仮定されていないため、入力画像との距離を求める際に撮影条件のパラメタに対する探索を要する。したがって、多くの計算量が必要となるという問題があった。
【００１７】
方法１の技術では、形状の複雑さに応じてextreme rayを計算する手続きに非常に多くの計算量を要する。文献６によれば、物体表面の法線ベクトルのうち線形独立なものがｍ個ある場合、extreme rayの数は最大でｍ（ｍ−１）個である。したがって、物体形状が積み木のように単純なものでない限り、膨大な数の画像を計算しなければならなくなるため、複雑な形状の一般的な物体に対して全てのextreme rayを計算することは計算量の点で問題がある。また、物体形状が凸でなく、他の部分が光源を遮蔽して生じる影がある場合にはそのまま適用することはできない。
【００１８】
方法１,方法２の技術はともに、物体の位置や姿勢が変わった場合には、該位置姿勢に合わせた物体の画像を撮影し、extreme rayをすべて計算し直す必要がある。特に、方法２の技術では、extreme rayの計算時に、物体の画像に影を付ける計算処理を行うが、この処理は光線追跡など非常に多くの計算量を必要とするため、結果として照合処理に時間がかかるという問題が生じる。
【００１９】
方法３の技術では、照合対象となる物体に多数の方向から照明を当てた画像を撮影する必要があり、登録時に特別な照明装置が必要となってしまう。
【００２０】
また、照合対象となる物体の位置や姿勢が変わった場合には、該位置姿勢に合わせた物体の多数の照明条件の下での画像を撮影し直さなければならない。したがって、入力画像において想定されるあらゆる位置姿勢における画像を撮影しておかなければならないため、登録処理に手間がかかることや、あらかじめ登録されていない位置姿勢で撮影された画像は照合することができないなどの問題がある。
【００２１】
文献８の技術では、入力画像における対象物体の位置姿勢が変化しても、登録物体の３次元形状によって位置姿勢を合わせた画像を生成することができるため、必要なすべての位置姿勢での画像群を登録時に撮影しておく必要はない。しかし、入力画像に位置姿勢を合わせた多数の照明条件の下での画像を生成する工程には、影を付ける処理など非常に多くの計算量を要するため、照合処理に時間がかかるという問題があった。
【００２２】
本発明は、上記問題点に鑑みなされたものであり、照合に用いる入力データとして３次元形状を必要とせず通常のカメラで撮影した２次元画像により照合することが可能な物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体を提供することを目的とする。
【００２３】
また、本発明は、入力画像における対象物体の３次元的な位置姿勢の変化を補正可能であり、登録時に登録物体の必要なデータが簡便に測定可能であり、様々な照明条件の下で撮影された入力画像に対し照明条件の補正を高速な処理によって実現可能な物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体を提供することを目的とする。
【００２４】
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載の発明では、登録物体の登録データをデータベースに登録する登録過程と、対象物体の入力画像に対して前記登録データとの照合を行う照合過程とを含む物体照合方法において、前記登録過程が、登録物体の３次元形状，および様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であるテクスチャ空間を記憶する工程であり、前記照合過程が、対象物体の２次元画像を入力画像として撮影する工程と、前記入力画像における対象物体の位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間から生成する工程と、前記照明変動空間と前記入力画像との距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う工程とから構成されることを特徴とする。
【００２５】
請求項２記載の発明では、登録物体の登録データをデータベースに登録する登録過程と、対象物体の入力画像に対して前記登録データとの照合を行う照合過程とを含む物体照合方法において、前記登録過程が、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定工程と、前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成工程と、前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成工程と、前記３次元形状および前記テクスチャ空間を記憶しておく記憶工程とから構成され、前記照合過程が、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影工程と、前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定工程と、前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間を用いて生成する照明変動空間生成工程と、前記入力画像と前記照明変動空間との距離を計算する距離計算工程と、前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定工程とから構成されることを特徴とする。
【００２６】
請求項３記載の発明は、請求項２記載の物体照合方法において、前記登録物体測定工程が、登録物体の３次元形状を測定する３次元形状測定工程と、実際に様々な照明条件を設定して物体表面の各位置の輝度や色情報を撮影してテクスチャ群を生成するテクスチャ撮影工程とから構成され、前記テクスチャ群生成工程がなく、前記撮影したテクスチャ群を代わりに用いることを特徴とする。
【００２７】
請求項４記載の発明は、請求項２または請求項３記載の物体照合方法において、前記照明変動空間生成工程がない代わりに、前記３次元形状および前記推定された位置姿勢を用いて入力画像をテクスチャに変換する入力テクスチャ生成工程があり、前記距離計算工程が、前記入力テクスチャと前記テクスチャ空間との距離を計算する工程であることを特徴とする。
【００２８】
請求項５記載の発明は、請求項２または請求項３記載の物体照合方法において、前記テクスチャ空間生成工程が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する工程であり、前記記憶工程が、前記３次元形状および前記基底テクスチャ群を記憶する工程であり、前記照明変動空間生成工程が、前記３次元形状，前記基底テクスチャ群，および前記推定された位置姿勢を用いて照明変動空間の基底ベクトル群を求める工程であり、前記距離計算工程が、前記基底ベクトル群と前記入力画像との間の相関を求め、該相関を元に基底ベクトル群から前記入力画像に最も近い比較画像を生成し、該比較画像と前記入力画像との類似度を距離として出力する工程であることを特徴とする。
【００２９】
請求項６記載の発明は、請求項４記載の物体照合方法において、前記テクスチャ空間生成工程が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより、照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する工程であり、前記記憶工程が、前記３次元形状および前記基底テクスチャ群を記憶する工程であり、前記距離計算工程が、前記基底テクスチャ群と前記入力テクスチャとの間の相関を求め、該相関を元に基底テクスチャ群から前記入力テクスチャに最も近い比較テクスチャを生成し、該比較テクスチャと前記入力テクスチャとの類似度を距離として出力する工程であることを特徴とする。
【００３０】
請求項７記載の発明は、 請求項２ないし請求項６記載の発明において、前記登録過程において複数の登録物体の３次元形状を測定する代わりに、１つないし少数の３次元形状を測定するだけで、該１つないし少数の３次元形状の平均となる平均形状を出力し、照合対象となる全ての物体の形状は計測せず、反射率の測定が照合対象となる全ての物体について反射率の計測または１つないし複数の照明条件の下での画像情報の撮影を行うものであり、複数の登録物体の３次元形状として前記平均形状だけを用いることを特徴とする。
【００３１】
請求項８記載の発明は、請求項２ないし請求項６記載の発明において、前記３次元形状の測定を行わず、別途図面等から３次元形状を入力しておくことを特徴とする。
【００３２】
請求項９記載の発明は、請求項２ないし請求項８記載の発明において、前記反射率の測定を行わず、別途図面等から反射率や色情報を入力しておくことを特徴とする。
【００３３】
請求項１０記載の発明は、請求項２ないし請求項９記載の発明において、前記登録データに登録物体の特徴的な部位の位置情報を付与して登録すること特徴とする。
【００３４】
請求項１１記載の発明は、請求項２ないし請求項１０記載の発明において、前記照合対象となる物体を、自動車とすることを特徴とする。
【００３５】
請求項１２記載の発明は、請求項２ないし請求項１０記載の発明において、前記照合対象となる物体を、人間の顔とすることを特徴とする。
【００３６】
請求項１３記載の発明は、登録物体の３次元形状，および様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であるテクスチャ空間を記憶する登録部と、対象物体の２次元画像を入力画像として撮影し、前記入力画像における対象物体の位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間から生成し、該照明変動空間と前記入力画像との距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合部とから構成されることを特徴とする。
【００３７】
請求項１４記載の発明は、登録物体の登録データを登録する登録部と、対象物体の入力画像に対して前記登録データとの照合を行う照合部を備える物体照合装置において、前記登録部が、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段と、前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段と、前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段と、前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段とを備え、前記照合部が、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段と、前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段と、前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間を用いて生成する照明変動空間生成手段と、前記入力画像と前記照明変動空間との距離を計算する距離計算手段と、前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段とを備えることを特徴とする。
【００３８】
請求項１５記載の発明は、請求項１４記載の物体照合装置において、前記登録物体測定手段が、登録物体の３次元形状を測定する３次元形状測定手段と、実際に様々な照明条件を設定して物体表面の各位置の輝度や色情報を撮影してテクスチャ群を生成するテクスチャ撮影手段とから構成され、前記テクスチャ群生成手段がなく、前記撮影したテクスチャ群を代わりに用いることを特徴とする。
【００３９】
請求項１６記載の発明は、請求項１４または請求項１５記載の物体照合装置において、前記照明変動空間生成手段がない代わりに、前記３次元形状および前記推定された位置姿勢を用いて前記入力画像を入力テクスチャに変換する入力テクスチャ生成手段があり、前記距離計算手段が、前記入力テクスチャと前記テクスチャ空間との距離を計算する手段であることを特徴とする。
【００４０】
請求項１７記載の発明は、請求項１４または請求項１５記載の物体照合装置において、前記テクスチャ空間生成手段が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する手段であり、前記記憶手段が、前記３次元形状および前記基底テクスチャ群を記憶する手段であり、前記照明変動空間生成手段が、前記３次元形状，前記基底テクスチャ群，および前記推定された位置姿勢を用いて照明変動空間の基底ベクトル群を求める手段であり、前記距離計算手段が、前記基底ベクトル群と前記入力画像との間の相関を求め、該相関を元に基底ベクトル群から前記入力画像に最も近い比較画像を生成し、該比較画像と前記入力画像との類似度を距離として出力する手段であることを特徴とする。
【００４１】
請求項１８記載の発明は、請求項１６記載の物体照合装置において、前記テクスチャ空間生成手段が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する手段であり、前記記憶手段が、前記３次元形状および前記基底テクスチャ群を記憶する手段であり、前記距離計算手段が、前記基底テクスチャ群と前記入力テクスチャとの間の相関を求め、該相関を元に前記基底テクスチャ群から前記入力テクスチャに最も近い比較テクスチャを生成し、該比較テクスチャと前記入力テクスチャとの類似度を距離として出力する手段であることを特徴とする。
【００４２】
請求項１９記載の発明は、請求項１４ないし請求項１８記載の物体照合装置において、前記登録部において複数の登録物体の３次元形状を測定する代わりに、１つないし少数の登録物体の３次元形状を測定するだけで、該１つないし少数の３次元形状の平均形状を出力し、登録物体となる全ての物体の形状は計測せず、反射率の測定が登録物体となる全ての物体について反射率の計測または１つないし複数の照明条件の下での画像情報の撮影を行うものであり、以降の処理においては３次元形状として前記平均形状だけを用いることを特徴とする。
【００４３】
請求項２０記載の発明は、請求項１４ないし請求項１９記載の物体照合装置において、前記登録物体測定手段がなく、３次元形状の測定を行わない代わりに、登録物体入力手段を用いて別途図面等から３次元形状を入力しておくことを特徴とする。
【００４４】
請求項２１記載の発明は、請求項１４ないし請求項２０記載の物体照合装置において、前記登録物体測定手段がなく、反射率の測定を行わない代わりに、登録物体入力手段を用いて別途図面等から反射率や色情報を入力しておくことを特徴とする。
【００４５】
請求項２２記載の発明は、請求項４ないし請求項２１記載の物体照合装置において、前記登録部に、登録物体の特徴的な部位の位置情報を付与して登録する特徴点位置抽出手段を備えること特徴とする。
【００４６】
請求項２３記載の発明は、請求項１４ないし請求項２２記載の物体照合装置において、前記照合対象となる物体を、自動車とすることを特徴とする。
【００４７】
請求項２４記載の発明は、請求項１４ないし請求項２２記載の物体照合装置において、前記照合対象となる物体を、人間の顔とすることを特徴とする。
【００４８】
請求項２５記載の発明は、コンピュータを、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００４９】
請求項２６記載の発明は、コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段，前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を登録物体の３次元形状およびテクスチャ空間を用いて生成する照明変動空間生成手段，前記入力画像と前記照明変動空間との距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体である。
【００５０】
請求項２７記載の発明は、コンピュータを、３次元形状測定装置を用いて登録物体の３次元形状を測定する３次元形状測定手段，照明条件を実際に設定して登録物体の画像群を撮影し前記３次元形状を用いてテクスチャ座標系を生成し該テクスチャ座標系に前記画像群を変換することによりテクスチャ群として出力するテクスチャ撮影手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００５１】
請求項２８記載の発明は、コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段，前記位置姿勢推定手段の結果を利用して前記入力画像の各画素をテクスチャ座標に変換し変形することで入力テクスチャを生成する入力テクスチャ生成手段，登録物体のテクスチャ空間と前記入力テクスチャとの距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体である。
【００５２】
請求項２９記載の発明は、コンピュータを、３次元形状測定装置を用いて登録物体の３次元形状を測定する登録物体測定手段，複数の物体の３次元形状を重心を一致させるように平行移動し、ある軸に垂直な断面を適当な間隔で設定し、それぞれの断面上で平均形状を計算する平均形状生成手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記平均形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００５３】
請求項３０記載の発明は、コンピュータを、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段，特徴点の位置を検出し、その３次元座標を特徴点位置として出力する特徴点位置抽出手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状，前記テクスチャ空間，および前記特徴点位置を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００５４】
請求項３１記載の発明は、コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像を撮影したときの撮影条件である対象物体の位置姿勢や撮像装置のパラメタ等を登録物体の３次元形状，テクスチャ空間，および特徴点位置を用いて推定する位置姿勢推定手段，前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を登録物体の３次元形状およびテクスチャ空間を用いて生成する照明変動空間生成手段，前記入力画像と前記照明変動空間との距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体である。
【００５５】
請求項３２記載の発明は、コンピュータを、図面等から３次元形状および反射率を入力する登録物体入力手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００５６】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００５７】
（１）第１の実施の形態
本発明の第１の実施の形態に係る物体照合方法は、図１に示す第１の実施例の物体照合装置で実行されるものであり、登録物体のデータをデータベースに登録する登録過程が、物体の３次元形状と、様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であるテクスチャ空間とを記憶する工程であり、入力される画像に対して登録データとの照合を行う照合過程が、２次元画像を入力画像として撮影する工程と、照合対象となる物体が前記入力画像における対象物体の位置姿勢で、様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間から生成する工程と、前記照明変動空間と前記入力画像との距離に基づいて、照合対象となる物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う工程とから構成されるものである。
【００５８】
第１の実施の形態に係る発明の物体照合方法では、照合対象となる物体表面の各位置の輝度または色を表すテクスチャは照明条件によって変化するが、これら照明変動によって生成される様々なテクスチャ群の張る空間（テクスチャ空間）と、登録物体の３次元形状とを登録しておくことにより、前記テクスチャ空間を、必要とされる位置姿勢に対象物体があるときに照明条件の変動によって生成される照明変動空間へと変換することが可能であり、これにより前記位置姿勢にある対象物体の様々な照明条件の下での画像を生成でき、照明補正処理を行うことで高精度な照合を行えることを利用している。
【００５９】
さらに、第１の実施の形態に係る発明の物体照合方法によれば、対象物体の目的とする位置姿勢での照明変動空間を、登録物体のテクスチャ空間の簡単な座標変換のみによって生成することができるため、照合過程における計算量を大幅に軽減することができ、高速な物体照合処理を行うことが可能となる。
【００６０】
まず、登録過程について説明する。
【００６１】
登録物体測定工程において、登録物体の３次元形状および物体表面の反射率を測定する。これには、様々な測定装置や手法などを用いることができる。その一例として、例えば文献９（特願平１１−１２３６８７号）記載の３次元形状測定装置を用いることができる。この他にも、文献１で述べられているような様々な装置や手段を利用可能である。
【００６２】
次に、テクスチャ群生成工程において、物体表面上にテクスチャ空間の座標系（テクスチャ座標系）を設定し、該テクスチャ座標系を用いて物体表面の各点の色または輝度情報を画像として表し、該画像をテクスチャとする。前記テクスチャ座標系の設定方法には様々な手法が利用可能であるが、その一例として、図３に示すように、物体の重心を中心として物体を覆う球を考え、物体表面上の各点Ｐを重心を中心として前記球表面上へ投影し、投影された点Ｑの経度，緯度（ｓ，ｔ）をテクスチャ座標とする手法が利用できる。この他にも様々な装置や手段を利用可能である。
【００６３】
コンピュータグラフィックスの技法などを用いることにより、物体表面上の各位置の陰影や影による輝度や色の変化を計算し、様々な照明条件の下でのテクスチャ群を生成する。テクスチャの各画素の陰影の変化による輝度や色の変化は、該画素に対応する物体表面の反射率，３次元形状から計算できる法線方向，および照明の方向により計算することができる。影の生成に関しては、 前記３次元形状を用いて光線追跡などの処理を行うことで、前記画素に設定した照明条件の下で光があたるかどうかを判定することができる。
【００６４】
様々な照明条件を設定し前記テクスチャ空間生成処理を行うことでテクスチャ群を生成できる。
【００６５】
次に、テクスチャ空間生成工程において、前記テクスチャ群が張る空間としてテクスチャ空間を生成する。
【００６６】
物体表面の反射率特性として完全散乱面を仮定し、物体形状が凸であり他の部分による光源の遮蔽によって生じる影がなく、光源が無限遠にあるとすれば、テクスチャの各画素（ｓ，ｔ）の輝度値Ｉ（ｓ，ｔ）は、画素に対応している物体表面の反射率Ｂ（ｓ，ｔ），法線方向
，各照明の強度ｌｉ，および方向
により、数１でモデル化できる。
【００６７】
【数１】
【００６８】
ここで、ｍａｘ（）の効果を無視すれば、照明が複数ある場合などを含め、任意の照明条件は、数２のように１つの照明ベクトル
で表すことができる。
【００６９】
【数２】
【００７０】
したがって、照明変動により生成される物体のテクスチャの自由度は、照明ベクトル
の次元、すなわち高々３次元になるが、実際には、ｍａｘ（）の効果や、物体の他の部分により光源が遮蔽されて影ができること，反射特性が完全散乱面でないことなどによる効果があるので、これよりも高次元となる。しかし、大部分が３次元の部分空間で表せることから、実際のテクスチャの変動も、低次元の部分空間として十分近似できる。以下、この低次元の部分空間を、物体のテクスチャ空間と呼ぶ。
【００７１】
テクスチャ空間の基底ベクトルを得るために、主成分分析を用いる。様々な照明条件の下での物体のテクスチャを多数用意し、照明条件の変動によって変化するテクスチャ群全体の集合を近似する。各テクスチャは、単一の無限遠にある点光源の下でのテクスチャとし、光源の方向を入力画像の撮影時の照明条件として考えられる全ての方向を包含するように適当な間隔で設定した多数のテクスチャを用意する。複数の照明の下でのテクスチャは単一の照明のテクスチャの和でかけるので、単一照明下のテクスチャのみで十分である。テクスチャ群の生成には登録されている３次元形状および表面の反射率を用いるが、その生成手段の一例としてコンピュータグラフィックスの基本機能を利用する方法がある。コンピュータグラフィックスの機能については、文献１０（「OpenGLプログラミングガイド」, Mason Woo, Jackie Neider, Tom Davis,アジソン・ウェスレイ・パブリシャーズ・ジャパン）に詳しく述べられている。コンピュータに標準的に備わっている機能としては、物体表面の反射特性を完全散乱モデルとし、陰影だけを生成するものが多いが、本発明においては、陰影だけでなく光線追跡の技術を用いて影を再現するなど、できるだけ現実に近い画像を生成できるようにすることができる。
【００７２】
以上述べたように、画像生成にコンピュータグラフィックスの機能を利用するのは一例であり、数値計算により照合に必要な画素について輝度値を計算することでテクスチャを生成することも、もちろん可能である。
【００７３】
以下、テクスチャ全体のうち照合に用いる領域にある画素の輝度値を縦に並べたベクトルでテクスチャを表す。テクスチャ群にＮ個のテクスチャがあるとき、各テクスチャをベクトル
で表すと、Ｖは数３で表される。
【００７４】
【数３】
【００７５】
次に、Ｖの各固有値σｉと固有ベクトル
とを固有値の大きい順にＭ個まで求める。そして、物体ｊのテクスチャ空間をベクトル
を基底とするＭ次元線形空間Ψｊで近似する。ここで、テクスチャ空間の次元Ｍは、照明の補正処理に必要とされている精度との兼ね合いで決めることができる。Ｍ個の固有ベクトルを使った場合、その固有値の累積寄与率は、数４で計算できる。
【００７６】
【数４】
【００７７】
累積寄与率は、輝度値の差を用いてテクスチャの誤差を評価したときに、テクスチャ空間がどの程度正確に各テクスチャを表現できるかを表す数値である。この値に対して閾値を定めておけば、その閾値を上回るのに必要な次元数としてＭを自動的に決定することができる。
【００７８】
次に、記憶工程において、前記３次元形状，および前記テクスチャ空間の固有ベクトルを登録データとして記憶しておく。
【００７９】
次に、照合過程について説明する。
【００８０】
入力画像撮影工程において、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する。
【００８１】
位置姿勢推定工程では、入力画像を撮影したときの撮影条件である対象物体と撮像装置との間の位置・姿勢，撮像装置の内部パラメタ等を推定する。この位置姿勢推定工程は、手動または自動で行う様々な方法を利用することができる。
【００８２】
例えば、手動で行う方法の一例として、登録物体の３次元形状およびテクスチャを用いてコンピュータグラフィックスにより生成した画像（以下、ＣＧ画像と呼ぶ）と対象物体の入力画像とを重ね合わせたときに両者ができるだけぴったり重なるように、対話型のインタフェースを用いて位置姿勢のパラメタを調節したり入力したりする方法を利用できる。
【００８３】
自動で位置姿勢の推定を行う方法の一例としては、様々な位置姿勢での登録物体のＣＧ画像を生成し、各ＣＧ画像を対象物体の入力画像と比較し、最も似ている画像を求めることで位置姿勢や撮像装置のパラメタを決定する方法が利用できる。
【００８４】
また、画像を比較する代りに、物体の画像上で輝度値が大きく変化する部分など、特徴的な領域や点（以下、特徴点と呼ぶ）の位置を登録物体のＣＧ画像と対象物体の入力画像とから検出し、前記特徴点の位置がもっとも近くなるようなＣＧ画像を求めることで対象物体の位置姿勢や撮像装置のパラメタを計算する方法も利用できる。
【００８５】
また、入力画像から対象物体の特徴点位置を検出し、各特徴点間の位置関係についての情報を利用して対象物体の位置姿勢を求める方法もある。文献１１（「An analytic solution for the pose determination of human faces from a monocular image」, Shinn-Ying Ho , Hui-Ling Huang, Pattern Recognition Letters, Vol.19,1045-1054,1998）には、照合対象となる物体として人間の顔を用いる場合に目尻や口元といった特徴点を用い、両目の特徴点を結ぶ直線と左右の口元の特徴点を結ぶ直線とが互いに平行であるなどの位置関係を利用して位置姿勢を求める方法が記述されている。
【００８６】
また、請求項１０記載の発明のように、登録物体の特徴点の位置を登録しておくことで、カメラキャリブレーションの方法が利用できる。これには多くの方法があり、一例として 文献１２（「An Efficient and Accurate Camera Calibration Technique for ３D Machine Vision」,Roger Y. Tsai, Proc. CVPR'86, pp.364-374,1986）に記載の方法が利用できる。
【００８７】
次に、照明変動空間生成工程および距離計算工程について説明する。
【００８８】
物体の照合は、入力画像
と物体ｊの照明変動空間Ψ’ｊとの距離を尺度として行うことができる。ここで、照明変動空間とは、物体ｊが入力画像の位置姿勢にあるときの照明変動による画像変動を包含する画像空間である。前記距離の計算方法の一例としては、例えば照明変動空間Ψ’ｊ内にあって最も入力画像に近い画像
と入力画像
との間の距離を計算する手法が利用可能である。距離の尺度としては様々なものが利用可能であるが、ここでは、一例として輝度値の２乗誤差を直接用いる例をもって説明する。これらの手法は一例であり、この他にも様々な距離の定義や計算方法が利用可能である。
【００８９】
まず、照明変動空間生成工程において、登録物体の３次元形状，照明変動テクスチャ空間，および前記推定された位置姿勢を用いて、照明変動空間を生成する。方法１や方法３などの従来技術では、この照明変動空間生成工程において多数の照明変動画像を生成する必要があり、その工程で陰影や影の計算に多くの計算量を要するために照合過程の処理に時間がかかるという問題があった。
【００９０】
本実施の形態では、登録物体のテクスチャ空間Ψｊを推定された位置姿勢に合わせて変換することにより、容易に照明変動空間を生成可能である。この変換には様々な手法が利用可能であるが、一例として、テクスチャ空間の座標系から入力画像の座標系への変換を求めて照明変動空間を生成する、次のような手法を利用可能である。登録されているテクスチャ空間Ψｊの各基底ベクトル
の各要素の値を要素が対応する物体表面の輝度値とし、登録物体の３次元形状を用いて前記推定された位置姿勢における画像を生成する。この工程は、コンピュータグラフィックスの標準的機能のみで処理できるため、高速な演算が可能である。生成された各画像を基底ベクトル
とすれば、該基底ベクトル群が張る空間として照明変動空間Ψ’ｊが生成できる。
【００９１】
距離計算工程では、照明変動空間Ψ’ｊ内でもっとも入力画像
に近い画像として比較画像
を、数５で生成できる。
【００９２】
【数５】
【００９３】
ただし、ここで、ベクトル群
は、ベクトル群
を正規直交化した基底ベクトル群である。
【００９４】
該比較画像
と入力画像
との距離の評価値Ｄは、輝度値の差の２乗和として数６で計算できる。
【００９５】
【数６】
【００９６】
照合判定工程では、前記評価値Ｄを入力画像と登録データとの類似度の評価値とし、これに基づいて、対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う判定処理を行う。例えば、簡単な閾値処理で対象物体が登録物体であるかの確認を行う場合は、ある閾値Ｄ’を定めておき、Ｄ＜Ｄ’であれば対象物体が登録物体であると決定する。
【００９７】
（２）第２の実施の形態
本発明の第２の実施の形態に係る発明の物体照合方法は、図７に示す第２の実施例の物体照合装置で実行されるものであり、前記登録物体測定工程が、登録物体の３次元形状を測定する３次元形状測定工程と、実際に様々な照明条件を設定して物体表面の各位置の輝度や色情報を撮影してテクスチャ群を生成するテクスチャ撮影工程から構成され、前記テクスチャ群生成工程がなく、前記撮影したテクスチャ群を代わりに用いることを特徴とする。
【００９８】
第２の実施の形態に係る発明では、登録過程において登録物体の３次元形状および表面反射率を測定し照明変動テクスチャ群を生成する代わりに、実際に様々な照明条件を設定して物体の画像を撮影することにより、照明変動テクスチャ群を撮影できることを利用している。
【００９９】
すなわち、第２の実施の形態に係る発明では、登録物体のテクスチャの照明条件による変動を包含するテクスチャ空間を生成するのに十分な照明変動テクスチャ群が撮影できるだけの適当な数の照明条件を設定し、その照明条件の下で画像情報を撮影しておけば、反射率を測定したりコンピュータグラフィックスによる画像生成における照明条件の設定や光線追跡による影の生成などの処理を行わなくても、照明変動空間を生成するためのテクスチャ群が生成できることを利用する。
【０１００】
前記テクスチャ画像撮影処理に用いることのできる方法の一例として、次のような方法がある。登録物体の前方に半球型のやぐらを設置し、一様な間隔で適当な数のランプを取り付ける。そして、各ランプを点灯させながら画像を撮影する。この他にも、ランプをマニピュレータに取り付けて移動させながら画像を撮影するなどの様々な方法が利用可能である。
【０１０１】
（３）第３の実施の形態
本発明の第３の実施の形態に係る発明の物体照合方法は、図８に示す第３の実施例の物体照合装置で実行されるものであり、第１または第２の実施の形態に係る発明の物体照合方法において、前記照明変動空間生成工程がない代わりに、前記３次元形状および前記推定された位置姿勢を用いて入力画像をテクスチャに変換する入力テクスチャ生成工程があり、前記距離計算工程が、前記入力テクスチャと前記テクスチャ空間との距離を計算する工程であることを特徴とする。
【０１０２】
第３の実施の形態に係る発明では、テクスチャ空間を変換して位置姿勢を入力画像に合わせて照明変動空間を生成する代わりに、前記３次元形状および前記推定された位置姿勢を用いて入力画像の座標系からテクスチャ空間の座標系への座標変換を求め、該座標変換により入力画像を入力テクスチャに変換し、該入力テクスチャと前記テクスチャ空間との距離を物体照合の評価値として用いることができることを利用している。
【０１０３】
前記座標変換を求めるためには様々な手法が利用可能であるが、一例として、テクスチャ空間の座標系によって一意に決まる色を対応する物体表面の色とし、登録物体の３次元形状を用いて前記推定された位置姿勢における画像を生成する。この工程は、コンピュータグラフィックスの標準的機能のみで処理できるため高速な演算が可能である。生成された画像の各画素の色は、その画素の対応するテクスチャ座標を示しているので、入力画像の座標系からテクスチャ空間の座標系への変換が容易に生成できる。
【０１０４】
（４）第４の実施の形態
本発明の第４の実施の形態に係る発明の物体照合方法は、図１０に示す第４の実施例の物体照合装置で実行されるものであり、第１ないし第３の実施の形態に係る発明において、前記登録過程において複数の登録物体の３次元形状を測定する代わりに、１つないし少数の登録物体の３次元形状を測定するだけで、該１つないし少数の登録物体の３次元形状の平均となる平均形状を出力し、照合対象となる全ての物体の形状は計測せず、反射率の測定が、照合対象となる全ての物体について反射率の計測または１つないし複数の照明条件の下での画像情報の撮影を行うものであり、以降の処理においては３次元形状として前記平均形状だけを用いるものである。
【０１０５】
第４の実施の形態に係る発明では、特に互いに形状が類似している登録物体の場合には、全ての登録物体の３次元形状を測定しなくても、代表的な３次元形状データを代わりに用いることで、位置姿勢推定処理および照明補正処理が行えることを利用している。
【０１０６】
平均形状の生成に利用できる方法の一例として、次のような方法がある。ここでは、２つの物体の平均形状を求める例をもって説明する。まず、物体１および物体２の３次元形状を測定する。そして、図１１（ａ）に示すように、２つの物体の３次元形状を重心を一致させるように平行移動し、ｚ軸に垂直な断面を考え、断面を適当な間隔でｚ軸方向に動かしながら、各断面上で平均形状を計算する。図１１（ｂ）に示すように、断面上で重心から物体の外側に向かった直線である平均計算軸を考え、 物体１および物体２の形状との交点をＰ１，Ｐ２とする。平均形状である点Ｐｍの３次元座標は、２つの物体表面上の点Ｐ１，Ｐ２の３次元座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２）を平均した
とする。この処理を平均計算軸を重心の周りに適当な間隔で回転しながら繰り返し行っていくことにより、物体１および物体２の平均形状が生成できる。３次元形状測定処理では、該平均形状を出力する。
【０１０７】
この方法は、照合対象とする物体の数が３個以上になっても適用できる。また、平均形状を求める方法は、この他にも様々なものが利用可能である。
【０１０８】
照合過程においては、データ記憶処理から前記平均形状を読み出し、各登録物体の３次元形状に代用する。
【０１０９】
（５）第５の実施の形態
本発明の第５の実施の形態に係る発明の物体照合方法は、図１２に示す第５の実施例の物体照合装置で実行されるものであり、前記登録過程において、登録データに登録物体の特徴的な部位の位置情報を付与して登録すること特徴とする。
【０１１０】
第７の実施の形態に係る発明では、登録物体の特徴点の位置を抽出して登録データとして記憶し、入力画像の特徴点の３次元座標を登録データから知ることができれば、前記特徴点の画像上の位置および３次元座標を用いて入力画像中の対象物体の位置姿勢および撮像装置のパラメタを自動的に求めることができることを利用している。
【０１１１】
複数の点について画像上の位置および３次元座標が既知である場合に入力画像中の対象物体の位置姿勢および撮像装置のパラメタを自動的に求める方法としては、カメラキャリブレーションの方法が利用できる。これには多くの方法があり、一例として、文献１２ （「An Efficient and Accurate Camera Calibration Technique for ３D Machine Vision」,Roger Y. Tsai, Proc. CVPR'86, pp.364-374,1986）に記載の方法があるが、ここでは詳細については省略する。
【０１１２】
（６）第６実施の形態
本発明の第６の実施の形態に係る発明の物体照合方法は、図１５に示す第６の実施例の物体照合装置で実行されるものであり、第１ないし第４の実施の形態に係る発明の物体照合方法において、登録物体の３次元形状の測定を行わず、別途図面等から３次元形状を入力するものである。
【０１１３】
第６の実施の形態に係る発明では、登録物体の３次元形状が、その物体の設計図などとして図面やデータとして存在する場合には、登録物体の測定を行わなくとも、図面などからデータを入力することにより登録過程が行えることを利用している。
【０１１４】
一例として、照合対象となる物体が工業製品などの設計図の存在する物体である場合や、建築物などの３次元形状の測定が一般の３次元形状計測装置では困難であり別途測量等を行い形状を測定する場合には、図面等から登録物体の３次元形状を入力できる。
【０１１５】
また、第６の実施の形態に係る発明の物体照合方法は、登録物体の反射率の測定を行わず、別途図面等から反射率や色情報を入力するものである。
【０１１６】
第６の実施の形態に係る発明では、物体表面の反射率や色情報などが、その物体の設計図などとして図面やデータとして存在する場合には、前記反射率などの測定や撮影を行わなくとも、図面などからデータを入力することにより登録過程が行えることを利用している。
【０１１７】
この一例として、照合対象となる物体が工業製品などの物体表面の各部位の塗装の反射率が既知の物体である場合に、図面等から物体の３次元形状を入力できることを利用している。
【０１１８】
【実施例】
・第１の実施例
図１は、本発明の第１の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０を含む登録部１００と、撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００とから構成されている。
【０１１９】
図２は、第１の実施例の物体照合装置の具体的な構成例を示す図である。登録部１００には、３次元形状測定装置，登録処理装置，データベース記憶装置等が含まれている。また、照合部２００には、カメラ，照合処理装置等が含まれている。
【０１２０】
図１に示されるように、登録部１００では、物体の３次元形状およびテクスチャ空間を記憶しておく。照合部２００では、ビデオカメラなどの撮像装置を用いて２次元の画像を撮影し、照合処理を行う処理装置に取り込み、登録物体との照合処理を行う。
【０１２１】
まず、登録部１００において、物体の照合に用いる登録データとして、物体の３次元形状，および様々な照明条件の下でのテクスチャの変動を包含するテクスチャ空間を記憶しておく。
【０１２２】
登録物体測定手段１１０は、３次元形状測定装置を用いて物体の３次元形状と、該３次元形状に対応する物体表面の反射率またはこれに相当する色情報とを測定する。これには、例えば、文献９記載の３次元形状測定装置を利用できる。この他にも、様々な装置が利用可能である。
【０１２３】
照明変動テクスチャ群生成手段１２０は、図４に示すように、テクスチャ座標系生成手段１２１と、照明条件変化手段１２２と、陰影計算手段１２３とを備える。
【０１２４】
テクスチャ座標系生成手段１２１は、物体の位置姿勢によらない物体表面上の各点の位置を表す座標系としてテクスチャ座標系を設定し、該テクスチャ座標（ｓ，ｔ）に対する物体表面の形状（３次元座標）および反射率を出力する。このテクスチャ座標系の設定方法には様々な方法を用いることができるが、ここでは一例として球面への投影を用いる手法を説明する。図３に示すように、物体の重心を中心として物体を覆う球を考え、物体表面上の各点Ｐを重心を中心として前記球表面上へ投影し、投影された点Ｑの経度，緯度（ｓ，ｔ）をテクスチャ座標とする手法が利用できる。この手法は、あくまで一例であり、この他にも登録する物体の形状に適した様々な手法を利用可能である。
【０１２５】
照明条件変化手段１２２は、照明変動空間を近似するのに十分な数の照明条件群を設定する。例えば、無限遠にある１つの点光源を考え、図５に示すような物体を中心とした球面の経度，緯度を表す（θ，φ）の角度で光源の方向を示すとし、経度θおよび緯度φを１０°おきに−９０°から９０°まで変化させ、３６１種類の照明条件群を設定する。この光源の種類，および照明方向の設定間隔や範囲の決め方は一例であり、種々変更可能である。
【０１２６】
陰影計算手段１２３は、物体ｊの３次元形状および反射率を読み込み、照明条件変化手段１２２から入力される照明条件群における照明変動テクスチャ群を、コンピュータグラフィックスなどの機能を使って生成する。この処理は、一例として、グラフィックス機能を備えたコンピュータの基本機能をもって実現できる。コンピュータグラフィックスを用いた画像生成においては、様々な物体表面の反射モデル，カメラモデル等を使うことができる。一例としては、カメラモデルとしてピンホールカメラモデル，物体表面の反射モデルとして完全散乱モデルを用いることができる。これらのモデルは一例であり、光線追跡処理を行って影を付けたり、てかりを付けるために他の様々な反射モデルを用いることもできる。この画像生成処理において、物体表面の反射特性や光源などのモデルをより現実に近い正確なものとすることで、照合性能を向上させることができる。また、この画像生成は、コンピュータグラフィックスを用いなくとも、数値計算によって実現可能である。
【０１２７】
テクスチャ空間生成手段１３０は、前記生成された照明変動テクスチャ群から、照明条件が様々に変動した場合のテクスチャの変動を包含するような画像空間であるテクスチャ空間を計算する。
【０１２８】
これには様々な手法が利用可能であるが、本実施例では主成分分析を利用して、テクスチャ空間を低次元の線形空間として表す方法を用いる例を示す。
【０１２９】
照明変動テクスチャ群生成手段１２０で生成された照明変動テクスチャ群からテクスチャ空間を前記数３に従って計算し、計算された基底ベクトル群を物体のテクスチャ空間Ψｊとして出力する。本実施例では、固有値の大きい順にＭ個の基底ベクトルを求め、物体ｊのテクスチャ空間Ψｊとして出力する。この基底ベクトルの数Ｍを一例として 前記数４で計算される累積寄与率が９５％を超える数として決定するには、照明変動テクスチャ群の画像の数に等しい３６１または画素数がそれ以下である場合は画素数の数をＮとし、Ｎ個の固有値を求め、
となる数Ｍを求めて決定する。数Ｍの決定法は、他にも様々な基準を適用して決めることが可能である。
【０１３０】
データ記憶手段１４０では、登録された各物体の３次元形状およびテクスチャ空間を記憶保持し、照合部２００の処理のために適時読み出す。
【０１３１】
以上の登録部１００の処理を行った物体に対して、以下の照合部２００において画像を用いた物体照合処理を行う。
【０１３２】
照合部２００において、カメラなどの撮像装置を利用して対象物体の入力画像を撮影し、照合手段である処理装置に取り込む。
【０１３３】
撮影手段２１０では、カメラやビデオカメラなどの撮像装置を用いて対象物体の入力画像が撮影される。
【０１３４】
位置姿勢推定手段２２０では、入力画像を撮影したときの撮影条件である物体の位置姿勢や撮像装置のパラメタ等を推定する。例えば、位置姿勢パラメタとして、物体の平行移動距離（Ｔｘ，Ｔｙ，Ｔｚ），回転角度（Ｒｘ，Ｒｙ，Ｒｚ），カメラの焦点距離ｆ，および視野角αを用いる。そして、これらのパラメタを利用者が画面を見ながら手動で調整できるような対話型のインタフェースを処理装置上に備えておく。例えば、画面には前記８つのパラメタを用いてコンピュータグラフィックスにより生成された登録物体の画像と対象物体の入力画像とがスーパーインポーズ法により重ね合わされて表示されている。利用者は、２つの画像がぴったり重なるように前記８つのパラメタの値を調節し、適切なパラメタを決定する。この対話型のインタフェースについては一例であり、様々な形態のものが利用可能である。また、このような対話型インタフェースを用いなくとも、自動的に位置姿勢パラメタの計算を行ってもよい。
【０１３５】
照明変動空間生成手段２３０では、前記位置姿勢推定手段２２０の結果を利用して、入力画像と同じ位置姿勢で、様々な照明条件の下での物体の画像変動を包含する画像空間である照明変動空間を生成する。すなわち、登録されているテクスチャ空間Ψｊを推定された位置姿勢に合わせて変換することにより、照明変動空間を生成する。この変換には様々な手法が利用可能であるが、一例として、テクスチャ空間の座標系から入力画像の座標系への変換を求めて照明変動空間を生成する、次のような手法を利用可能である。
【０１３６】
登録されているテクスチャ空間Ψｊの各基底ベクトル
の各要素の値を要素が対応する物体表面の輝度値とし、登録されている３次元形状を用いて前記推定された位置姿勢における画像群を生成する。この工程は、コンピュータグラフィックスの標準的機能のみで処理できるため高速な演算が可能である。生成された各画像をそのまま基底ベクトル
とすれば、該基底ベクトル群
が張る空間として照明変動空間Ψ’ｊが生成できる。生成された基底ベクトル群
を正規直交化し、正規直交系をなす基底ベクトル群
を計算する。
【０１３７】
距離計算手段２４０では、照明変動空間Ψ’ｊ内でもっとも入力画像
に近い画像として比較画像
を前記数５で生成し、該比較画像
と入力画像
との距離の評価値Ｄを前記数６で計算し出力する。
【０１３８】
照合判定手段２５０では、前記評価値Ｄを入力画像と登録データとの類似度の評価値とし、これに基づいて、対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う判定処理を行う。例えば、簡単な閾値処理で対象物体が登録物体であるかの確認を行う場合は、ある閾値Ｄ’を定めておき、Ｄ＜Ｄ’であれば対象物体が登録物体であると決定する。
【０１３９】
以上の距離の計算方法や照合判定方法はあくまで一例であり、この他にも様々な手法を適用可能である。
【０１４０】
・第２の実施例
図７は、本発明の第２の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、３次元形状測定手段２１１０，テクスチャ撮影手段２１２１，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０を含む登録部２１００と、撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００とから構成されている。
【０１４１】
第２実施例の物体照合装置は、第１の実施例の物体照合装置と比較し、登録物体測定手段１１０において反射率を測定する代わりに、テクスチャ撮影手段２１２１を追加し複数の照明条件の下で画像を撮影しておき、それらの画像を反射率の代わりに用いて照明変動テクスチャ群を生成する点，および照明条件変化手段１２２がない点が異なる。
【０１４２】
まず、登録部２１００において、登録物体の登録データとして、登録物体の３次元形状，および複数の照明条件の下での画像データを登録しておく。
【０１４３】
３次元形状測定手段２１１０では、前記第１の実施例における登録物体測定手段１１０と同様に、文献９記載の３次元形状測定装置を用いて登録物体の３次元形状を測定するが、反射率は測定しない。
【０１４４】
テクスチャ撮影手段２１２１では、前記第１の実施例における照明条件変化手段１２２から出力される照明条件と同等な照明条件を実際に設定して登録物体の画像群を撮影し、前記照明変動テクスチャ群生成手段１２０と同等の手法によって前記３次元形状を用いてテクスチャ座標系を生成し、該テクスチャ座標系に前記画像群を変換することにより照明変動テクスチャ群として出力する。例えば、登録物体の前方に登録物体を中心とした半球型のやぐらを設置し、適当な間隔で適当な数のランプを取り付ける。一例としては、登録物体に対して、図５に示される角度（θ，φ）において、θ，φについて−９０度から９０度までの範囲でそれぞれ１５度間隔にランプを取り付け、各ランプを点灯させながら１枚ずつ画像を撮影する。この撮影方法および照明位置の設定方法は一例であり、この他にもランプをマニピュレータに取り付けて移動させながら画像を撮影するなど様々な方法が利用可能である。テクスチャ撮影手段２１２１は、前記の方法により撮影した画像群を照明変動テクスチャ群として出力する。
【０１４５】
テクスチャ空間生成手段１３０およびデータ記憶手段１４０は、第１の実施例とまったく同等である。
【０１４６】
以下の照合部２００は、第１の実施例における照合部２００と同等である。
【０１４７】
・第３実施例
図８は、本発明の第３の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０を含む登録部１００と、撮影手段２１０，位置姿勢推定手段２２０，入力テクスチャ生成手段２３１，距離計算手段２４１，および照合判定手段２５０を含む照合部３２００とから構成されている。
【０１４８】
登録部１００は、第１の実施例における登録部１００と同等である。
【０１４９】
照合部３２００は、第１の実施例における照合部２００に比較し、前記照明変動空間生成手段２３０がない代わりに、入力テクスチャ生成手段２３１があり、また、距離計算手段２４１が入力画像を変換した入力テクスチャとテクスチャ空間との距離を計算する点が異なる。
【０１５０】
撮影手段２１０から位置姿勢推定手段２２０までの処理は、第１の実施例とまったく同 等である。
【０１５１】
入力テクスチャ生成手段２３１では、前記位置姿勢推定手段２２０の結果を利用して、 入力画像の各画素をテクスチャ座標に変換し変形することで入力テクスチャを生成する。この変換には様々な手法が利用可能であるが、一例として、入力画像の座標系（ｕ，ｖ）からテクスチャ空間の座標系（ｓ，ｔ）への変換を求めて照明変動空間を生成する次のような手法を利用可能である。
【０１５２】
登録されている３次元形状に対し、物体表面の色としてテクスチャ座標（ｓ，ｔ）によって唯一に決まる色を割り当てた仮想物体を定義し、前記推定された位置姿勢にあるときの画像を生成する。この処理は、コンピュータグラフィックスの標準的機能のみで処理できるため高速な演算が可能である。生成された画像の各画素Ｒ（ｕ，ｖ）の色を見ればテクスチャ座標Ｑ（ｓ，ｔ）がわかるので、 図９に示すように入力画像の座標系（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への座標変換が求められる。入力画像上で照合に用いるすべての画素についてこの変換を適用し、 入力テクスチャ
を生成する。
【０１５３】
距離計算手段２４１では、テクスチャ空間Ψｊ内でもっとも入力テクスチャ
に近いテクスチャとして比較テクスチャ
を生成し、該比較テクスチャ
と入力テクスチャ
との距離の評価値Ｄを出力する。
【０１５４】
登録されているテクスチャ空間Ψｊを読み込み、各基底ベクトル
のうち、入力画像で、見えていない領域（図９の領域Ｂ）を除き、前記入力テクスチャ
の生成時に入力画像と対応がついた画素（図９の領域Ａ）に対応する要素のみを抜き出し、該要素を並べたベクトル
を生成する。
【０１５５】
テクスチャ空間Ψｊと入力テクスチャ
との距離Ｄは、数７のように入力テクスチャ
を
の線形和で表したときの誤差の最小値として最小二乗法で計算できる。
【０１５６】
【数７】
【０１５７】
・第４の実施例
図１０は、本発明の第４の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体測定手段１１０，平均形状生成手段１１１，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４１を含む登録部４１００と、撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００とから構成されている。
【０１５８】
第４の実施例の物体照合装置は、第１の実施例の物体照合装置と比較し、登録部４１００において複数の登録物体を登録する場合に、登録物体測定手段１１０で全ての登録物体の３次元形状を測定する代わりに、１つないし少数の登録物体の３次元形状を計測するだけで、平均形状生成手段１１１において該１つないし少数の登録物体の３次元形状の平均となる平均形状を出力し、照合対象となる全ての物体の形状は計測しない点，および照合部２００において前記平均の３次元形状を利用する点が異なる。
【０１５９】
以下では、物体１および物体２の２つの登録物体を登録する例を用いて説明する。
【０１６０】
まず、登録部４１００において、物体の照合に用いる登録データとして、物体１および物体２の２つの登録物体について、平均形状，およびそれぞれのテクスチャ空間を登録しておく。
【０１６１】
登録物体測定手段１１０では、文献９記載の３次元形状測定装置を用いて、物体１および物体２の３次元形状を測定する。
【０１６２】
平均形状生成手段１１１では、図１１（ａ）に示すように、２つの物体１および物体２の３次元形状を重心を一致させるように平行移動し、ｚ軸に垂直な断面を適当な間隔で設定し、それぞれの断面上で平均形状を計算する。図１１（ｂ）に示すように、断面上で重心から物体の外側に向かって平均計算軸となる直線を考え、物体１および物体２の形状との交点をＰ１，Ｐ２とする。平均形状である点Ｐｍの３次元座標は、２つの物体表面上の点Ｐ１，Ｐ２の３次元座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２）を平均した
とする。この処理を平均計算軸を重心の周りに回転しながら適当な間隔で行うことにより、 物体１および物体２の平均形状が生成できる。平均形状生成手段１１１では、該平均形状を出力する。
【０１６３】
以下の処理では、前記平均形状を個々の物体の３次元形状の代わりに用い、データ記憶手段１４１では、前記平均形状および各物体のテクスチャ空間を記憶すること以外は、すべて第１の実施例と同等である。
【０１６４】
照合部２００における処理は、物体１および物体２の形状としてデータ記憶手段１４１から読み出される３次元形状が前記平均形状である点のみが第１の実施例と異なり、他の処理は全て同様である。
【０１６５】
以上、第４の実施例では２つの登録物体を登録する際にその平均形状を記憶する例を説明したが、これはあくまで１例であり、登録物体の数が３つ以上になったり、そのうちの任意の数の登録物体の平均形状を求めて利用することも同様の処理により可能である。
【０１６６】
・第５の実施例
図１２は、本発明の第５の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，データ記憶手段１４３，および特徴点位置抽出手段１５０を含む登録部５１００と、撮影手段２１０，位置姿勢推定手段２２１，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部５２００とから構成されている。
【０１６７】
第５の実施例の物体照合装置は、第１の実施例の物体照合装置と比較し、登録部５１００において、登録物体の画像上で輝度値が大きく変化するなどの特徴的な点の位置を抽出し特徴点位置として出力する特徴点位置抽出手段１５０が追加されている点，デー タ記憶手段１４３において前記特徴点位置も記憶する点，および照合部５２００の位置姿勢推定手段２２１においてデータ記憶手段１４３から前記特徴点位置を読み込み対象物体の位置姿勢を自動的に推定する点が異なる。
【０１６８】
第５の実施例では、照合対象となる物体の一例として人の顔を用いる。
【０１６９】
まず、登録部５１００において、物体の照合に用いる登録データとして、登録物体の３次元形状および反射率を測定し、該３次元形状および反射率などから登録物体の特徴点の３次元座標を求め、前記３次元形状，テクスチャ空間，および特徴点位置を登録しておく。
【０１７０】
登録物体測定手段１１０では、３次元形状測定装置を用いて登録物体の３次元形状および反射率を測定する。本実施例では、３次元形状測定装置の一例として、文献９記載の３次元形状測定装置を用いるが、この他にも様々な装置が利用可能である。
【０１７１】
特徴点位置抽出手段１５０では、登録物体の画像上で輝度値が大きく変化する部分など、特徴的な領域や点（特徴点）の位置を検出し、その３次元座標を特徴点位置として出力する。一例として、人物の顔を照合対象となる物体とする場合には、目じりや口元などの反射率が大きく変化している部位や鼻の頭などの３次元形状が大きく変化している部位を検出する。これは、手動で行うこともできるし、自動的に行う方法として前記文献２ （特許第２８７２７７６号「顔画像照合装置」）や、文献４（特開平６-１６８３１７号公報「個人識別装置」）記載の方法などの様々な方法を利用できる。本実施例では、図１４に示すような位置の１２個の点（０〜１１）を特徴点として用いる。これらの特徴点の定義は、照合対象となる物体により様々に変更可能であることはいうまでもない。以下では、これら特徴点の３次元座標である特徴点位置を、
で表す。
【０１７２】
データ記憶手段１４３では、各登録物体の３次元形状，テクスチャ空間，および特徴点位置を記憶保持し、照合部５２００の処理のために適時読み出す。
【０１７３】
以上の登録部５１００の処理を行った登録物体に対して、以下の照合部５２００において対象物体の入力画像を用いた物体照合処理を行う。
【０１７４】
撮影手段２１０では、カメラやビデオカメラなどの撮像装置を用いて対象物体の入力画像が撮影される。
【０１７５】
位置姿勢推定手段２２１では、入力画像を撮影したときの撮影条件である対象物体の位置姿勢や撮像装置のパラメタ等を推定する。
【０１７６】
図１３を参照すると、位置姿勢推定手段２２１は、さらに、特徴点抽出手段２２２と、位置姿勢計算手段２２３とから構成されている。
【０１７７】
特徴点抽出手段２２２では、前記登録部５１００における特徴点位置抽出手段１５０で抽出した特徴点群
と同じ特徴点の位置を入力画像から抽出し、入力画像上での位置
を入力画像特徴点位置として出力する。これは、人が処理装置の画面上に表示された入力画像を見ながら手動で入力することもできるし、前記文献４および文献５に記載の方法などの前記特徴点位置抽出手段１５０で用いたのと同様の様々な方法を利用可能である。本実施例は、人の顔を照合する場合を一例として挙げているが、例えば多面体形状の物体を照合対象とする場合には頂点が特徴点として利用でき、画像からエッジを抽出し、それらの交点として多面体の頂点を検出することができる。また、物体表面に特徴的な模様がある場合などには、その模様の位置を利用することもできる。
【０１７８】
位置姿勢計算手段２２３では、前記入力画像特徴点位置と、データ記憶手段１４３から読み出す特徴点位置とを利用し、入力画像中にある対象物体の位置姿勢や撮像装置のパラメタなどを計算し、位置姿勢として出力する。この計算には前記文献５の方法など様々な方法が利用可能であるが、本実施例では一例として位置姿勢のパラメタとして対象物体の平行移動距離（Ｔｘ，Ｔｙ，Ｔｚ），ｘ，ｙ，ｚ軸の周りの回転角度（Ｒｘ，Ｒｙ，Ｒｚ），およびカメラの焦点距離ｆをとり、カメラモデルとしてピンホールカメラを用いて、次のような方法で行う。前記のように、焦点距離ｆなどの撮像装置のパラメタも含めて位置姿勢と呼ぶ。特徴点位置
と入力画像特徴点位置
との間の関係は、数８で表される。
【０１７９】
【数８】
【０１８０】
ただし、ここで、ａ，ｂ，ｃは、数９で表される値である。
【０１８１】
【数９】
【０１８２】
Ｒは、数１０で表される回転を表す行列である。
【０１８３】
【数１０】
【０１８４】
１２個の各特徴点についての前記数８で計算される値と入力画像特徴点位置の値との誤差の総和が最小になるように、Ｒｘ，Ｒｙ，Ｒｚ，Ｔｘ，Ｔｙ，Ｔｚ，ｆを最適化計算により求める。この最適化の計算には、様々な方法が利用できる。求めたＲｘ，Ｒｙ，Ｒｚ，Ｔｘ，Ｔｙ，Ｔｚ，ｆを位置姿勢パラメタとして出力する。
【０１８５】
前記の位置姿勢パラメタやカメラモデルの定義および計算方法はあくまで一例であり、この他にも様々な方法を利用可能である。
【０１８６】
照明変動空間生成手段２３０以下の処理については、第１の実施例と同等である。
【０１８７】
・第６の実施例
図１５は、本発明の第６の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体入力手段１１２，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０を含む登録部６１００と、撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００とから構成されている。
【０１８８】
第６の実施例の物体照合装置は、照合対象の物体が工業製品であり、その形状の設計図がＣＡＤ（Computer Aided Design）データとして保存されており、表面の塗装の仕様がデザイン図によって決められているとする。このため、第６の実施例の物体照合装置は、図１に示した第１の実施例の物体照合装置と比較し、登録物体入力手段１１２において、設計図のＣＡＤデータから３次元形状を、デザイン図から反射率を読み込む点が異なる。
【０１８９】
登録物体入力手段１１２は、設計図のＣＡＤデータを、照合部２００で扱えるデータ形式に変換して３次元形状として出力する。また、デザイン図から登録物体の各部の色，表面の仕上げの方法などを読み込み、反射率に変換して出力する。照合部２００については、第１の実施例と全く同等である。
【０１９０】
・第７の実施例
図１６は、本発明の第７の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図１に示した第１の実施例の物体照合装置に対して、登録部１００に登録プログラムを記録した記録媒体１０００を備え、照合部２００に照合プログラムを記録した記録媒体２０００を備える点が異なっている。これらの記録媒体１０００，２０００は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０１９１】
登録プログラムは、記録媒体１０００から登録部１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０として制御する。登録プログラムの制御による登録部１００の動作は、第１の実施例における登録部１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９２】
また、照合プログラムは、記録媒体２０００から照合部２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００として制御する。照合プログラムの制御による照合部２００の動作は、第１の実施例における照合部２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９３】
・第８の実施例
図１７は、本発明の第８の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図７に示した第２の実施例の物体照合装置に対して、登録部２１００に登録プログラムを記録した記録媒体１０１０を備え、照合部２００に照合プログラムを記録した記録媒体２０００を備える点が異なっている。これらの記録媒体１０１０，２０００は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０１９４】
登録プログラムは、記録媒体１０１０から登録部２１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を３次元形状測定手段２１１０，テクスチャ撮影手段２１２１，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０として制御する。登録プログラムの制御による登録部２１００の動作は、第２の実施例における登録部２１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９５】
また、照合プログラムは、記録媒体２０００から照合部２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００として制御する。照合プログラムの制御による照合部２００の動作は、第２の実施例における照合部２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９６】
・第９の実施例
図１８は、本発明の第８の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図８に示した第３の実施例の物体照合装置に対して、登録部１００に登録プログラムを記録した記録媒体１０００を備え、照合部３２００に照合プログラムを記録した記録媒体２０１０を備える点が異なっている。これらの記録媒体１０００，２０１０は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０１９７】
登録プログラムは、記録媒体１０００から登録部１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０として制御する。登録プログラムの制御による登録部１００の動作は、第３の実施例における登録部１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９８】
また、照合プログラムは、記録媒体２０１０から照合部３２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，入力テクスチャ生成手段２３１，距離計算手段２４１，および照合判定手段２５０を含む照合部３２００として制御する。照合プログラムの制御による照合部３２００の動作は、第３の実施例における照合部３２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９９】
・第１０の実施例
図１９は、本発明の第１０の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図１０に示した第４の実施例の物体照合装置に対して、登録部４１００に登録プログラムを記録した記録媒体１０２０を備え、照合部２００に照合プログラムを記録した記録媒体２０００を備える点が異なっている。これらの記録媒体１０２０，２０００は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０２００】
登録プログラムは、記録媒体１０２０から登録部４１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体測定手段１１０，平均形状生成手段１１１，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４１として制御する。登録プログラムの制御による登録部４１００の動作は、第４の実施例における登録部４１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０１】
また、照合プログラムは、記録媒体２０００から照合部２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００として制御する。照合プログラムの制御による照合部２００の動作は、第４の実施例における照合部２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０２】
・第１１の実施例
図２０は、本発明の第１１の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図１２に示した第５の実施例の物体照合装置に対して、登録部５１００に登録プログラムを記録した記録媒体１０３０を備え、照合部５２００に照合プログラムを記録した記録媒体２０２０を備える点が異なっている。これらの記録媒体１０３０，２０２０は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０２０３】
登録プログラムは、記録媒体１０３０から登録部５１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，データ記憶手段１４３，および特徴点位置抽出手段１５０として制御する。登録プログラムの制御による登録部５１００の動作は、第５の実施例における登録部５１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０４】
また、照合プログラムは、記録媒体２０２０から照合部５２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２１，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部５２００として制御する。照合プログラムの制御による照合部５２００の動作は、第５の実施例における照合部５２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０５】
・第１２の実施例
図２１は、本発明の第１２の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図１５に示した第６の実施例の物体照合装置に対して、登録部６１００に登録プログラムを記録した記録媒体１０４０を備え、照合部２００に照合プログラムを記録した記録媒体２０００を備える点が異なっている。これらの記録媒体１０４０，２０００は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０２０６】
登録プログラムは、記録媒体１０４０から登録部６１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体入力手段１１３，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０として制御する。登録プログラムの制御による登録部６１００の動作は、第６の実施例における登録部６１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０７】
また、照合プログラムは、記録媒体２０００から照合部２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００として制御する。照合プログラムの制御による照合部２００の動作は、第２の実施例における照合部２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０８】
本発明は、前記各実施例に述べたように、一般の物体に対して応用可能であるが、特に自動車の車種・型式の照合，人物の顔の照合などの応用にも有効である。
【０２０９】
以上、本発明を前記各実施例に基づき具体的に説明したが、本発明は前記各実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０２１０】
【発明の効果】
以上の説明から明らかなように、本発明によれば、登録部でのみ登録物体の３次元形状および物体表面の反射率または適当な照明条件の下での画像を計測すればよく、照合部における撮影手段としてはビデオカメラなどの通常の２次元画像を撮影する撮像装置があるだけで十分であり、照合段階において３次元形状測定装置を必要とせずに実用的な装置を構成できる。
【０２１１】
また、登録物体の３次元形状が登録されているので、入力画像における対象物体の３次元的な位置姿勢の変動に対して完全に補正することができる。さらに、照明条件の変動に対しても十分な補正を行うことができる。
【０２１２】
さらに、本発明の照明補正処理は、あらかじめ登録過程において計算済みである照明変動テクスチャ空間を、入力画像における対象物体の位置姿勢に合わせて変換して照明変動空間を生成するため、位置姿勢が変化しても照明変動テクスチャ群を生成し直す必要がなく、従来の技術である方法１，方法３よりも高速な処理で照合判定を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の物体照合装置の構成を示すブロック図である。
【図２】本発明の物体照合装置の具体的構成の一例を示す図である。
【図３】テクスチャ座標系を物体表面に対して定義する手法の一例を説明する図である。
【図４】図１中の照明変動テクスチャ群生成手段の構成をより詳細に示すブロック図である。
【図５】照明条件を決める照明の物体に対する方向を表す角度を説明する図である。
【図６】画像を利用した物体照合装置の例を示した図である。
【図７】本発明の第２の実施例の物体照合装置の構成を示すブロック図である。
【図８】本発明の第３の実施例の物体照合装置の構成を示すブロック図である。
【図９】図８中の入力テクスチャ生成手段における入力画像座標からテクスチャ座標への変換を説明する図である。
【図１０】本発明の第４の実施例の物体照合装置の構成を示すブロック図である。
【図１１】図１０中の平均形状生成手段における平均形状の生成方法を説明する図である。
【図１２】本発明の第５の実施例の物体照合装置の構成を示すブロック図である。
【図１３】図１２中の位置姿勢推定手段のより詳細な構成を示すブロック図である。
【図１４】照合対象となる物体の特徴点として用いる物体の部位の一例を示す図である。
【図１５】本発明の第６の実施例の物体照合装置の構成を示すブロック図である。
【図１６】本発明の第７の実施例の物体照合装置の構成を示すブロック図である。
【図１７】本発明の第８の実施例の物体照合装置の構成を示すブロック図である。
【図１８】本発明の第９の実施例の物体照合装置の構成を示すブロック図である。
【図１９】本発明の第１０の実施例の物体照合装置の構成を示すブロック図である。
【図２０】本発明の第１１の実施例の物体照合装置の構成を示すブロック図である。
【図２１】本発明の第１２の実施例の物体照合装置の構成を示すブロック図である。
【図２２】従来の物体照合技術の一例として、登録時と照合時とでともに２次元の画像のみを用いる技術の構成を説明する図である。
【図２３】従来の物体照合技術の一例として、登録時と照合時とでともに３次元形状を測定する技術の構成を説明する図である。
【図２４】従来の物体照合技術の一例として、登録時と照合時とでともに２次元の画像を撮影し、位置姿勢の補正に標準３次元形状モデルを用いる技術の構成を説明する図である。
【図２５】従来の物体照合技術の一例として、登録時に多数の位置姿勢や照明条件の下で画像を撮影し認識を行う技術の構成を説明する図である。
【図２６】従来の物体照合技術の一例として、登録時に複数の照明条件の下で２次元の画像を撮影し照明条件補正を行う技術の構成を説明する図である。
【図２７】従来の物体照合技術の一例として、登録時に多数の照明条件の下で２次元の画像を撮影し照明条件補正を行う技術の構成を説明する図である。
【符号の説明】
１００，２１００，４１００，５１００，６１００ 登録部
１１０ 登録物体測定手段
１１１ 平均形状生成手段
１１２ 登録物体入力手段
１２０ 照明変動テクスチャ群生成手段
１２１ テクスチャ座標系生成手段
１２２ 照明条件変化手段
１２３ 陰影計算手段
１３０ テクスチャ空間生成手段
１４０，１４１，１４３ データ記憶手段
１５０ 特徴点位置抽出手段
２００，３２００，５２００ 照合部
２１０ 撮影手段
２２０，２２１ 位置姿勢推定手段
２３０ 照明変動空間生成手段
２３１ 入力テクスチャ生成手段
２４０，２４１ 距離計算手段
２５０ 照合判定手段
１０００，１０１０，１０２０，１０３０，１０４０ 記録媒体
２０００，２０１０，２０２０ 記録媒体
２１１０ ３次元形状測定手段
２１２１ テクスチャ撮影手段
【発明の属する技術分野】
本発明は、画像による物体の照合を行う物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体に関し、特に照合対象となる物体の３次元形状および物体表面の反射率や色情報などをあらかじめ登録しておくことにより、画像上での物体の位置や姿勢，照明条件などの撮影条件の変動に対して頑強な物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体に関する。以下、事前に登録される物体を登録物体と呼び、登録物体と照合の対象とされる物体を対象物体と呼ぶ。
【０００２】
【従来の技術】
物体照合技術とは、図６に示すように、３次元空間上に適当に配置された対象物体が何であるのかを、カメラなどの画像撮像デバイスにより取得した入力画像（群）を利用して登録物体と照合する技術である。物体照合プロセスは、登録物体を事前に登録しておく登録過程と、対象物体の入力画像（群）に何が撮影されているかを登録物体と比較照合してゆく照合過程との２つから構成されている。それぞれの過程において、撮像された画像は、２次元的な広がりを持つ２次元画像のまま用いたり、また文献１（「三次元画像計測」、井口・佐藤、昭光堂）に記載されている技術などにより、３次元形状などに変換して利用する。従来の物体照合技術を、以下で文献を参照しながら説明する。
【０００３】
・従来技術１
２次元画像を登録しておき、入力として２次元画像を用いる物体照合技術の一例として、 文献２（特許第２８７２７７６号「顔画像照合装置」）で示される技術がある。この技術は、照合対象となる物体として人間の顔を想定しており、図２２のような構成をとっている。登録時は、カメラ１１により撮影された２次元画像を記憶手段１２に記憶しておく。照合時は、カメラ１３で２次元の顔画像を入力画像として撮影し、正規化手段１４によって、前記入力画像から目や鼻の位置などの姿勢や大きさの基準となる顔特徴点を画像処理技術により抽出し、該特徴点の座標位置を基準として画像上において２次元的な位置および大きさの正規化を行った正規化画像を出力する。最後に、画像比較手段１５によって、記憶手段１２から読み出される登録画像と前記正規化画像とをパターン認識技術により比較し、照合結果を出力する。
【０００４】
・従来技術２
また、３次元形状を用いた従来の物体照合技術の例として、文献３（特開平９-２５９２７１号公報「人物照合装置」）で示される技術がある。この技術では、図２３のような構成をとる。登録時には、３次元形状カラー情報計測手段２１により登録物体の３次元形状およびカラー情報を顔データとして測定し、記憶手段２２に記憶しておく。照合時にも、３次元形状カラー情報計測手段２３により対象物体の３次元形状およびカラー情報を入力データとして測定し、平行移動・回転手段２４により前記入力データを重心が前記顔データと一致するように平行移動して微少回転を加えた回転顔データ群を生成し、最小誤差計算手段２５によって誤差の最小値を求めることで３次元的な位置姿勢の補正を行い、該最小誤差に基づいて照合を行う。
【０００５】
・従来技術３
文献４（特開平６-１６８３１７号公報「個人識別装置」）には、登録時および照合時ともに２次元画像を撮影する照合技術が開示されている。この技術は、図２４のような構成をとる。登録時には、カメラ３１により登録物体の２次元画像を撮影し、特徴抽出手段３２において輝度変動の大きな画素位置を検出して特徴点位置を出力し、記憶手段３３に記憶する。照合時には、カメラ３４により対象物体の２次元画像を入力画像として撮影し、特徴抽出手段３５において輝度変動の大きな画素位置を検出して特徴点位置を出力し、照合手段３７において前記登録されている特徴点位置と前記入力画像の特徴点位置とを比較することで照合を行っている。このとき、対象物体の位置や姿勢の変動を吸収するために、位置姿勢正規化手段３６において標準的な物体の３次元形状モデルをあらかじめ用意しておき、該標準３次元形状モデルを利用して位置姿勢を正規化する。
【０００６】
・従来技術４
位置や姿勢の変動だけでなく、照明条件に応じた変動をも補正するために、登録過程および照合過程双方で通常の２次元画像だけを用いる技術として、文献５（「Visual Learning and Recognition of ３-D Objects from Appearance」, Hiroshi Murase and Shree K. Nayer, Int. J. Computer Vision, vol.14, pp.5-24,1995）がある。この技術では、図２５のような構成をとる。登録時には、撮影手段４１により登録物体について対象物体の入力画像において考えられるあらゆる姿勢や照明条件を網羅した２次元画像群を撮影し、多様体計算手段４２により前記２次元画像群の変化を十分表せるような基底ベクトル群を主成分分析により求めて該基底ベクトル群との相関を特徴とする特徴空間を生成し、前記２次元画像群の特徴空間における軌跡を多様体として求め、記憶手段４３に記憶しておく。照合時には、カメラ４４により対象物体の２次元画像を入力画像として撮影し、距離計算手段４５において前記入力画像と前記多様体との特徴空間における距離を計算し、該距離を尺度として照合を行う。これにより、様々な位置姿勢や照明条件の下で撮影された入力画像の照合を可能にしている。
【０００７】
・従来技術５
物体の位置姿勢が固定である場合の照明条件による２次元画像の変化については、文献６（「What Is the Set of Images of an Object Under All Possible Illumination Conditions?」, Peter N. Belhumeur and David J. Kriegman, Int. J. Computer Vision, vol.28, pp.245-260,1998）において詳しく分析されている。物体の位置姿勢を固定すれば、任意の照明条件の下での画像は、１つの点光源の下での画像の和に分解して表すことができる。したがって、任意の数の光源の下での画像は、それぞれ１つずつの光源の強さを係数として、その１つの光源の下での画像の線形和で表すことができる。
【０００８】
前記の分析に基づき、前記文献６では、Illumination Subspace Method（以下、方法１で参照する）と呼ばれる、図２６のような構成をとる方法を提案している。撮影手段５１において、できるだけ影になる画素がないような異なる照明条件を３つ以上設定し、登録物体の２次元画像群を撮影する。法線計算手段５２において、該２次元画像群から主成分分析により画像の各画素に対応する物体表面の反射率と法線ベクトルとの積に相当するベクトル群を求める。続いて、画像生成手段５３において、該ベクトル群の任意の２個のベクトルの外積で表される方向に照明がある場合の画像であるextreme rayと呼ばれる画像群を生成し、記憶手段５４に記憶する。照合時には、カメラ５５によって対象物体の２次元画像を入力画像として撮影する。物体表面の反射特性が完全散乱であり、かつ形状が凸である場合には、任意の照明条件の下での画像は前記extreme ray群の係数が正である線形和として表せるので、該係数群を負にならないという条件の下での最小二乗法を用いて計算することができる。照明補正手段５６において、前記最小二乗計算を行い、求まった係数群を用いたextreme ray群の線形和により入力画像と同じ照明条件の下での対象物体の比較画像を生成する。画像比較手段５７において、該比較画像と前記入力画像との類似度を計算することで照合処理を行う。
【０００９】
・従来技術６
文献７（「Illumination Cones for Recognition Under Variable Lighting: Faces」, A.S. Georghiades, Proc. IEEE Int. Conf. CVPR, pp.52-58,1998）では、方法１においてextreme rayを計算する際に、光線追跡などのコンピュータグラフィックスの技術を用いて、物体の３次元形状からどの画素が影になるかを計算し、影を付ける処理を行う方法（以下、方法２として参照）を示している。これにより、形状が凸でない形状の物体にも、方法１が適用できるとしている。
【００１０】
・従来技術７
また、前記文献７では、Sampling Method（以下、方法３として参照）として、図２７のような構成をとる方法も提案している。前記方法１のように全てのextreme rayを計算することは手間がかかるので、登録時に、撮影手段６１において、例えば、図５のθ，φの角度がなるべく等間隔に全体を覆うように適当な数の照明方向を設定して２次元画像群を撮影し、該２次元画像群をextreme rayとして代用する。以降は、方法１と同様に、非負最小二乗法を適用して照明補正を行い、物体認識を行う。
【００１１】
・従来技術８
文献８（特願２０００-１０５３９９「画像照合装置、画像照合方法、およびそのプログラムを記録した記録媒体」の技術では、登録物体の３次元形状を登録しておき、対象物体の入力画像の位置姿勢が変化しても、該位置姿勢に合わせた時の照明変動テクスチャ群をコンピュータグラフィックスにより生成し、さらに、該画像群を包含する画像空間を求めて照明補正処理を行うことにより、位置姿勢および照明条件がともに変化する場合にも高精度な照合を可能にしている。
【００１２】
【発明が解決しようとする課題】
しかしながら、照合対象となる物体は、特に固定や調節などをしない限り、カメラなどの画像撮像デバイスの前で３次元的な平行移動，回転移動などを伴うことが一般的である。また、屋外などでは刻々と照明条件も変動していくことから明らかなように、照合対象として入力される２次元画像上では、見かけ上、非常に大きな変動がある。従来技術は、これらの位置姿勢や照明条件の変動を十分補正することができていないため、応用範囲が非常に限られてしまうという問題点があった。以下、具体的に各文献記載の技術における問題点を詳述する。
【００１３】
文献２に記載されているような単なる２次元画像同士での照合技術では、照合対象となる物体の３次元的な回転変動や画像撮影時の照明条件変動による２次元画像上での見かけ上の変動に対応することができず、応用範囲が極めて限定される。
【００１４】
文献３の照合技術では、登録時だけでなく照合時にも３次元形状を必要とするために、照合装置には文献１に示されているような３次元形状計測装置が必須となり、高価となってしまう問題があった。これは、登録時と異なる場所や、複数の場所で入力画像を撮影し照合を行いたい場合などに特に問題である。また、形状の計測をするためには計測が終了するまで照合対象となる物体が静止していなければならなかったり、暗室や薄暗い環境でなければ精度の良い形状データが得られないという問題があり、やはり応用範囲が限られてしまう。
【００１５】
文献４に示されているような輝度変動の大きな画素位置を検出する方法は、３次元的な曲率が非常に大きな積み木や、また反射率の変動が非常に大きい白板上の黒いマーカなどには有効であるが、該文献４中で言及されているような人間の顔には向かないことが知られていることからも、安定な座標位置検出は一般に困難である。また、文献４では、照合対象となる物体群の標準的な３次元形状により姿勢を補正するとあるが、該物体群の各物体間において形状の類似度が高くない場合には適用ができないという問題があった。
【００１６】
文献５の技術では、対象物体の入力画像の照明条件として複数の光源や拡張光源などの様々な照明条件を考慮すると、これらを網羅する登録物体のサンプル画像は膨大な量が必要になってしまう。また、特徴空間における多様体の形状について何も仮定されていないため、入力画像との距離を求める際に撮影条件のパラメタに対する探索を要する。したがって、多くの計算量が必要となるという問題があった。
【００１７】
方法１の技術では、形状の複雑さに応じてextreme rayを計算する手続きに非常に多くの計算量を要する。文献６によれば、物体表面の法線ベクトルのうち線形独立なものがｍ個ある場合、extreme rayの数は最大でｍ（ｍ−１）個である。したがって、物体形状が積み木のように単純なものでない限り、膨大な数の画像を計算しなければならなくなるため、複雑な形状の一般的な物体に対して全てのextreme rayを計算することは計算量の点で問題がある。また、物体形状が凸でなく、他の部分が光源を遮蔽して生じる影がある場合にはそのまま適用することはできない。
【００１８】
方法１,方法２の技術はともに、物体の位置や姿勢が変わった場合には、該位置姿勢に合わせた物体の画像を撮影し、extreme rayをすべて計算し直す必要がある。特に、方法２の技術では、extreme rayの計算時に、物体の画像に影を付ける計算処理を行うが、この処理は光線追跡など非常に多くの計算量を必要とするため、結果として照合処理に時間がかかるという問題が生じる。
【００１９】
方法３の技術では、照合対象となる物体に多数の方向から照明を当てた画像を撮影する必要があり、登録時に特別な照明装置が必要となってしまう。
【００２０】
また、照合対象となる物体の位置や姿勢が変わった場合には、該位置姿勢に合わせた物体の多数の照明条件の下での画像を撮影し直さなければならない。したがって、入力画像において想定されるあらゆる位置姿勢における画像を撮影しておかなければならないため、登録処理に手間がかかることや、あらかじめ登録されていない位置姿勢で撮影された画像は照合することができないなどの問題がある。
【００２１】
文献８の技術では、入力画像における対象物体の位置姿勢が変化しても、登録物体の３次元形状によって位置姿勢を合わせた画像を生成することができるため、必要なすべての位置姿勢での画像群を登録時に撮影しておく必要はない。しかし、入力画像に位置姿勢を合わせた多数の照明条件の下での画像を生成する工程には、影を付ける処理など非常に多くの計算量を要するため、照合処理に時間がかかるという問題があった。
【００２２】
本発明は、上記問題点に鑑みなされたものであり、照合に用いる入力データとして３次元形状を必要とせず通常のカメラで撮影した２次元画像により照合することが可能な物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体を提供することを目的とする。
【００２３】
また、本発明は、入力画像における対象物体の３次元的な位置姿勢の変化を補正可能であり、登録時に登録物体の必要なデータが簡便に測定可能であり、様々な照明条件の下で撮影された入力画像に対し照明条件の補正を高速な処理によって実現可能な物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体を提供することを目的とする。
【００２４】
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載の発明では、登録物体の登録データをデータベースに登録する登録過程と、対象物体の入力画像に対して前記登録データとの照合を行う照合過程とを含む物体照合方法において、前記登録過程が、登録物体の３次元形状，および様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であるテクスチャ空間を記憶する工程であり、前記照合過程が、対象物体の２次元画像を入力画像として撮影する工程と、前記入力画像における対象物体の位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間から生成する工程と、前記照明変動空間と前記入力画像との距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う工程とから構成されることを特徴とする。
【００２５】
請求項２記載の発明では、登録物体の登録データをデータベースに登録する登録過程と、対象物体の入力画像に対して前記登録データとの照合を行う照合過程とを含む物体照合方法において、前記登録過程が、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定工程と、前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成工程と、前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成工程と、前記３次元形状および前記テクスチャ空間を記憶しておく記憶工程とから構成され、前記照合過程が、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影工程と、前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定工程と、前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間を用いて生成する照明変動空間生成工程と、前記入力画像と前記照明変動空間との距離を計算する距離計算工程と、前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定工程とから構成されることを特徴とする。
【００２６】
請求項３記載の発明は、請求項２記載の物体照合方法において、前記登録物体測定工程が、登録物体の３次元形状を測定する３次元形状測定工程と、実際に様々な照明条件を設定して物体表面の各位置の輝度や色情報を撮影してテクスチャ群を生成するテクスチャ撮影工程とから構成され、前記テクスチャ群生成工程がなく、前記撮影したテクスチャ群を代わりに用いることを特徴とする。
【００２７】
請求項４記載の発明は、請求項２または請求項３記載の物体照合方法において、前記照明変動空間生成工程がない代わりに、前記３次元形状および前記推定された位置姿勢を用いて入力画像をテクスチャに変換する入力テクスチャ生成工程があり、前記距離計算工程が、前記入力テクスチャと前記テクスチャ空間との距離を計算する工程であることを特徴とする。
【００２８】
請求項５記載の発明は、請求項２または請求項３記載の物体照合方法において、前記テクスチャ空間生成工程が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する工程であり、前記記憶工程が、前記３次元形状および前記基底テクスチャ群を記憶する工程であり、前記照明変動空間生成工程が、前記３次元形状，前記基底テクスチャ群，および前記推定された位置姿勢を用いて照明変動空間の基底ベクトル群を求める工程であり、前記距離計算工程が、前記基底ベクトル群と前記入力画像との間の相関を求め、該相関を元に基底ベクトル群から前記入力画像に最も近い比較画像を生成し、該比較画像と前記入力画像との類似度を距離として出力する工程であることを特徴とする。
【００２９】
請求項６記載の発明は、請求項４記載の物体照合方法において、前記テクスチャ空間生成工程が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより、照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する工程であり、前記記憶工程が、前記３次元形状および前記基底テクスチャ群を記憶する工程であり、前記距離計算工程が、前記基底テクスチャ群と前記入力テクスチャとの間の相関を求め、該相関を元に基底テクスチャ群から前記入力テクスチャに最も近い比較テクスチャを生成し、該比較テクスチャと前記入力テクスチャとの類似度を距離として出力する工程であることを特徴とする。
【００３０】
請求項７記載の発明は、 請求項２ないし請求項６記載の発明において、前記登録過程において複数の登録物体の３次元形状を測定する代わりに、１つないし少数の３次元形状を測定するだけで、該１つないし少数の３次元形状の平均となる平均形状を出力し、照合対象となる全ての物体の形状は計測せず、反射率の測定が照合対象となる全ての物体について反射率の計測または１つないし複数の照明条件の下での画像情報の撮影を行うものであり、複数の登録物体の３次元形状として前記平均形状だけを用いることを特徴とする。
【００３１】
請求項８記載の発明は、請求項２ないし請求項６記載の発明において、前記３次元形状の測定を行わず、別途図面等から３次元形状を入力しておくことを特徴とする。
【００３２】
請求項９記載の発明は、請求項２ないし請求項８記載の発明において、前記反射率の測定を行わず、別途図面等から反射率や色情報を入力しておくことを特徴とする。
【００３３】
請求項１０記載の発明は、請求項２ないし請求項９記載の発明において、前記登録データに登録物体の特徴的な部位の位置情報を付与して登録すること特徴とする。
【００３４】
請求項１１記載の発明は、請求項２ないし請求項１０記載の発明において、前記照合対象となる物体を、自動車とすることを特徴とする。
【００３５】
請求項１２記載の発明は、請求項２ないし請求項１０記載の発明において、前記照合対象となる物体を、人間の顔とすることを特徴とする。
【００３６】
請求項１３記載の発明は、登録物体の３次元形状，および様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であるテクスチャ空間を記憶する登録部と、対象物体の２次元画像を入力画像として撮影し、前記入力画像における対象物体の位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間から生成し、該照明変動空間と前記入力画像との距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合部とから構成されることを特徴とする。
【００３７】
請求項１４記載の発明は、登録物体の登録データを登録する登録部と、対象物体の入力画像に対して前記登録データとの照合を行う照合部を備える物体照合装置において、前記登録部が、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段と、前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段と、前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段と、前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段とを備え、前記照合部が、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段と、前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段と、前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間を用いて生成する照明変動空間生成手段と、前記入力画像と前記照明変動空間との距離を計算する距離計算手段と、前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段とを備えることを特徴とする。
【００３８】
請求項１５記載の発明は、請求項１４記載の物体照合装置において、前記登録物体測定手段が、登録物体の３次元形状を測定する３次元形状測定手段と、実際に様々な照明条件を設定して物体表面の各位置の輝度や色情報を撮影してテクスチャ群を生成するテクスチャ撮影手段とから構成され、前記テクスチャ群生成手段がなく、前記撮影したテクスチャ群を代わりに用いることを特徴とする。
【００３９】
請求項１６記載の発明は、請求項１４または請求項１５記載の物体照合装置において、前記照明変動空間生成手段がない代わりに、前記３次元形状および前記推定された位置姿勢を用いて前記入力画像を入力テクスチャに変換する入力テクスチャ生成手段があり、前記距離計算手段が、前記入力テクスチャと前記テクスチャ空間との距離を計算する手段であることを特徴とする。
【００４０】
請求項１７記載の発明は、請求項１４または請求項１５記載の物体照合装置において、前記テクスチャ空間生成手段が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する手段であり、前記記憶手段が、前記３次元形状および前記基底テクスチャ群を記憶する手段であり、前記照明変動空間生成手段が、前記３次元形状，前記基底テクスチャ群，および前記推定された位置姿勢を用いて照明変動空間の基底ベクトル群を求める手段であり、前記距離計算手段が、前記基底ベクトル群と前記入力画像との間の相関を求め、該相関を元に基底ベクトル群から前記入力画像に最も近い比較画像を生成し、該比較画像と前記入力画像との類似度を距離として出力する手段であることを特徴とする。
【００４１】
請求項１８記載の発明は、請求項１６記載の物体照合装置において、前記テクスチャ空間生成手段が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する手段であり、前記記憶手段が、前記３次元形状および前記基底テクスチャ群を記憶する手段であり、前記距離計算手段が、前記基底テクスチャ群と前記入力テクスチャとの間の相関を求め、該相関を元に前記基底テクスチャ群から前記入力テクスチャに最も近い比較テクスチャを生成し、該比較テクスチャと前記入力テクスチャとの類似度を距離として出力する手段であることを特徴とする。
【００４２】
請求項１９記載の発明は、請求項１４ないし請求項１８記載の物体照合装置において、前記登録部において複数の登録物体の３次元形状を測定する代わりに、１つないし少数の登録物体の３次元形状を測定するだけで、該１つないし少数の３次元形状の平均形状を出力し、登録物体となる全ての物体の形状は計測せず、反射率の測定が登録物体となる全ての物体について反射率の計測または１つないし複数の照明条件の下での画像情報の撮影を行うものであり、以降の処理においては３次元形状として前記平均形状だけを用いることを特徴とする。
【００４３】
請求項２０記載の発明は、請求項１４ないし請求項１９記載の物体照合装置において、前記登録物体測定手段がなく、３次元形状の測定を行わない代わりに、登録物体入力手段を用いて別途図面等から３次元形状を入力しておくことを特徴とする。
【００４４】
請求項２１記載の発明は、請求項１４ないし請求項２０記載の物体照合装置において、前記登録物体測定手段がなく、反射率の測定を行わない代わりに、登録物体入力手段を用いて別途図面等から反射率や色情報を入力しておくことを特徴とする。
【００４５】
請求項２２記載の発明は、請求項４ないし請求項２１記載の物体照合装置において、前記登録部に、登録物体の特徴的な部位の位置情報を付与して登録する特徴点位置抽出手段を備えること特徴とする。
【００４６】
請求項２３記載の発明は、請求項１４ないし請求項２２記載の物体照合装置において、前記照合対象となる物体を、自動車とすることを特徴とする。
【００４７】
請求項２４記載の発明は、請求項１４ないし請求項２２記載の物体照合装置において、前記照合対象となる物体を、人間の顔とすることを特徴とする。
【００４８】
請求項２５記載の発明は、コンピュータを、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００４９】
請求項２６記載の発明は、コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段，前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を登録物体の３次元形状およびテクスチャ空間を用いて生成する照明変動空間生成手段，前記入力画像と前記照明変動空間との距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体である。
【００５０】
請求項２７記載の発明は、コンピュータを、３次元形状測定装置を用いて登録物体の３次元形状を測定する３次元形状測定手段，照明条件を実際に設定して登録物体の画像群を撮影し前記３次元形状を用いてテクスチャ座標系を生成し該テクスチャ座標系に前記画像群を変換することによりテクスチャ群として出力するテクスチャ撮影手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００５１】
請求項２８記載の発明は、コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段，前記位置姿勢推定手段の結果を利用して前記入力画像の各画素をテクスチャ座標に変換し変形することで入力テクスチャを生成する入力テクスチャ生成手段，登録物体のテクスチャ空間と前記入力テクスチャとの距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体である。
【００５２】
請求項２９記載の発明は、コンピュータを、３次元形状測定装置を用いて登録物体の３次元形状を測定する登録物体測定手段，複数の物体の３次元形状を重心を一致させるように平行移動し、ある軸に垂直な断面を適当な間隔で設定し、それぞれの断面上で平均形状を計算する平均形状生成手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記平均形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００５３】
請求項３０記載の発明は、コンピュータを、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段，特徴点の位置を検出し、その３次元座標を特徴点位置として出力する特徴点位置抽出手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状，前記テクスチャ空間，および前記特徴点位置を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００５４】
請求項３１記載の発明は、コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像を撮影したときの撮影条件である対象物体の位置姿勢や撮像装置のパラメタ等を登録物体の３次元形状，テクスチャ空間，および特徴点位置を用いて推定する位置姿勢推定手段，前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を登録物体の３次元形状およびテクスチャ空間を用いて生成する照明変動空間生成手段，前記入力画像と前記照明変動空間との距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体である。
【００５５】
請求項３２記載の発明は、コンピュータを、図面等から３次元形状および反射率を入力する登録物体入力手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体である。
【００５６】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００５７】
（１）第１の実施の形態
本発明の第１の実施の形態に係る物体照合方法は、図１に示す第１の実施例の物体照合装置で実行されるものであり、登録物体のデータをデータベースに登録する登録過程が、物体の３次元形状と、様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であるテクスチャ空間とを記憶する工程であり、入力される画像に対して登録データとの照合を行う照合過程が、２次元画像を入力画像として撮影する工程と、照合対象となる物体が前記入力画像における対象物体の位置姿勢で、様々な照明条件の下での画像群によって張られる画像空間である照明変動空間を前記３次元形状および前記テクスチャ空間から生成する工程と、前記照明変動空間と前記入力画像との距離に基づいて、照合対象となる物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う工程とから構成されるものである。
【００５８】
第１の実施の形態に係る発明の物体照合方法では、照合対象となる物体表面の各位置の輝度または色を表すテクスチャは照明条件によって変化するが、これら照明変動によって生成される様々なテクスチャ群の張る空間（テクスチャ空間）と、登録物体の３次元形状とを登録しておくことにより、前記テクスチャ空間を、必要とされる位置姿勢に対象物体があるときに照明条件の変動によって生成される照明変動空間へと変換することが可能であり、これにより前記位置姿勢にある対象物体の様々な照明条件の下での画像を生成でき、照明補正処理を行うことで高精度な照合を行えることを利用している。
【００５９】
さらに、第１の実施の形態に係る発明の物体照合方法によれば、対象物体の目的とする位置姿勢での照明変動空間を、登録物体のテクスチャ空間の簡単な座標変換のみによって生成することができるため、照合過程における計算量を大幅に軽減することができ、高速な物体照合処理を行うことが可能となる。
【００６０】
まず、登録過程について説明する。
【００６１】
登録物体測定工程において、登録物体の３次元形状および物体表面の反射率を測定する。これには、様々な測定装置や手法などを用いることができる。その一例として、例えば文献９（特願平１１−１２３６８７号）記載の３次元形状測定装置を用いることができる。この他にも、文献１で述べられているような様々な装置や手段を利用可能である。
【００６２】
次に、テクスチャ群生成工程において、物体表面上にテクスチャ空間の座標系（テクスチャ座標系）を設定し、該テクスチャ座標系を用いて物体表面の各点の色または輝度情報を画像として表し、該画像をテクスチャとする。前記テクスチャ座標系の設定方法には様々な手法が利用可能であるが、その一例として、図３に示すように、物体の重心を中心として物体を覆う球を考え、物体表面上の各点Ｐを重心を中心として前記球表面上へ投影し、投影された点Ｑの経度，緯度（ｓ，ｔ）をテクスチャ座標とする手法が利用できる。この他にも様々な装置や手段を利用可能である。
【００６３】
コンピュータグラフィックスの技法などを用いることにより、物体表面上の各位置の陰影や影による輝度や色の変化を計算し、様々な照明条件の下でのテクスチャ群を生成する。テクスチャの各画素の陰影の変化による輝度や色の変化は、該画素に対応する物体表面の反射率，３次元形状から計算できる法線方向，および照明の方向により計算することができる。影の生成に関しては、 前記３次元形状を用いて光線追跡などの処理を行うことで、前記画素に設定した照明条件の下で光があたるかどうかを判定することができる。
【００６４】
様々な照明条件を設定し前記テクスチャ空間生成処理を行うことでテクスチャ群を生成できる。
【００６５】
次に、テクスチャ空間生成工程において、前記テクスチャ群が張る空間としてテクスチャ空間を生成する。
【００６６】
物体表面の反射率特性として完全散乱面を仮定し、物体形状が凸であり他の部分による光源の遮蔽によって生じる影がなく、光源が無限遠にあるとすれば、テクスチャの各画素（ｓ，ｔ）の輝度値Ｉ（ｓ，ｔ）は、画素に対応している物体表面の反射率Ｂ（ｓ，ｔ），法線方向
【００６７】
【数１】
ここで、ｍａｘ（）の効果を無視すれば、照明が複数ある場合などを含め、任意の照明条件は、数２のように１つの照明ベクトル
【００６９】
【数２】
したがって、照明変動により生成される物体のテクスチャの自由度は、照明ベクトル
【００７１】
テクスチャ空間の基底ベクトルを得るために、主成分分析を用いる。様々な照明条件の下での物体のテクスチャを多数用意し、照明条件の変動によって変化するテクスチャ群全体の集合を近似する。各テクスチャは、単一の無限遠にある点光源の下でのテクスチャとし、光源の方向を入力画像の撮影時の照明条件として考えられる全ての方向を包含するように適当な間隔で設定した多数のテクスチャを用意する。複数の照明の下でのテクスチャは単一の照明のテクスチャの和でかけるので、単一照明下のテクスチャのみで十分である。テクスチャ群の生成には登録されている３次元形状および表面の反射率を用いるが、その生成手段の一例としてコンピュータグラフィックスの基本機能を利用する方法がある。コンピュータグラフィックスの機能については、文献１０（「OpenGLプログラミングガイド」, Mason Woo, Jackie Neider, Tom Davis,アジソン・ウェスレイ・パブリシャーズ・ジャパン）に詳しく述べられている。コンピュータに標準的に備わっている機能としては、物体表面の反射特性を完全散乱モデルとし、陰影だけを生成するものが多いが、本発明においては、陰影だけでなく光線追跡の技術を用いて影を再現するなど、できるだけ現実に近い画像を生成できるようにすることができる。
【００７２】
以上述べたように、画像生成にコンピュータグラフィックスの機能を利用するのは一例であり、数値計算により照合に必要な画素について輝度値を計算することでテクスチャを生成することも、もちろん可能である。
【００７３】
以下、テクスチャ全体のうち照合に用いる領域にある画素の輝度値を縦に並べたベクトルでテクスチャを表す。テクスチャ群にＮ個のテクスチャがあるとき、各テクスチャをベクトル
【００７４】
【数３】
次に、Ｖの各固有値σｉと固有ベクトル
【００７６】
【数４】
累積寄与率は、輝度値の差を用いてテクスチャの誤差を評価したときに、テクスチャ空間がどの程度正確に各テクスチャを表現できるかを表す数値である。この値に対して閾値を定めておけば、その閾値を上回るのに必要な次元数としてＭを自動的に決定することができる。
【００７８】
次に、記憶工程において、前記３次元形状，および前記テクスチャ空間の固有ベクトルを登録データとして記憶しておく。
【００７９】
次に、照合過程について説明する。
【００８０】
入力画像撮影工程において、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する。
【００８１】
位置姿勢推定工程では、入力画像を撮影したときの撮影条件である対象物体と撮像装置との間の位置・姿勢，撮像装置の内部パラメタ等を推定する。この位置姿勢推定工程は、手動または自動で行う様々な方法を利用することができる。
【００８２】
例えば、手動で行う方法の一例として、登録物体の３次元形状およびテクスチャを用いてコンピュータグラフィックスにより生成した画像（以下、ＣＧ画像と呼ぶ）と対象物体の入力画像とを重ね合わせたときに両者ができるだけぴったり重なるように、対話型のインタフェースを用いて位置姿勢のパラメタを調節したり入力したりする方法を利用できる。
【００８３】
自動で位置姿勢の推定を行う方法の一例としては、様々な位置姿勢での登録物体のＣＧ画像を生成し、各ＣＧ画像を対象物体の入力画像と比較し、最も似ている画像を求めることで位置姿勢や撮像装置のパラメタを決定する方法が利用できる。
【００８４】
また、画像を比較する代りに、物体の画像上で輝度値が大きく変化する部分など、特徴的な領域や点（以下、特徴点と呼ぶ）の位置を登録物体のＣＧ画像と対象物体の入力画像とから検出し、前記特徴点の位置がもっとも近くなるようなＣＧ画像を求めることで対象物体の位置姿勢や撮像装置のパラメタを計算する方法も利用できる。
【００８５】
また、入力画像から対象物体の特徴点位置を検出し、各特徴点間の位置関係についての情報を利用して対象物体の位置姿勢を求める方法もある。文献１１（「An analytic solution for the pose determination of human faces from a monocular image」, Shinn-Ying Ho , Hui-Ling Huang, Pattern Recognition Letters, Vol.19,1045-1054,1998）には、照合対象となる物体として人間の顔を用いる場合に目尻や口元といった特徴点を用い、両目の特徴点を結ぶ直線と左右の口元の特徴点を結ぶ直線とが互いに平行であるなどの位置関係を利用して位置姿勢を求める方法が記述されている。
【００８６】
また、請求項１０記載の発明のように、登録物体の特徴点の位置を登録しておくことで、カメラキャリブレーションの方法が利用できる。これには多くの方法があり、一例として 文献１２（「An Efficient and Accurate Camera Calibration Technique for ３D Machine Vision」,Roger Y. Tsai, Proc. CVPR'86, pp.364-374,1986）に記載の方法が利用できる。
【００８７】
次に、照明変動空間生成工程および距離計算工程について説明する。
【００８８】
物体の照合は、入力画像
【００８９】
まず、照明変動空間生成工程において、登録物体の３次元形状，照明変動テクスチャ空間，および前記推定された位置姿勢を用いて、照明変動空間を生成する。方法１や方法３などの従来技術では、この照明変動空間生成工程において多数の照明変動画像を生成する必要があり、その工程で陰影や影の計算に多くの計算量を要するために照合過程の処理に時間がかかるという問題があった。
【００９０】
本実施の形態では、登録物体のテクスチャ空間Ψｊを推定された位置姿勢に合わせて変換することにより、容易に照明変動空間を生成可能である。この変換には様々な手法が利用可能であるが、一例として、テクスチャ空間の座標系から入力画像の座標系への変換を求めて照明変動空間を生成する、次のような手法を利用可能である。登録されているテクスチャ空間Ψｊの各基底ベクトル
【００９１】
距離計算工程では、照明変動空間Ψ’ｊ内でもっとも入力画像
【００９２】
【数５】
ただし、ここで、ベクトル群
【００９４】
該比較画像
【００９５】
【数６】
照合判定工程では、前記評価値Ｄを入力画像と登録データとの類似度の評価値とし、これに基づいて、対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う判定処理を行う。例えば、簡単な閾値処理で対象物体が登録物体であるかの確認を行う場合は、ある閾値Ｄ’を定めておき、Ｄ＜Ｄ’であれば対象物体が登録物体であると決定する。
【００９７】
（２）第２の実施の形態
本発明の第２の実施の形態に係る発明の物体照合方法は、図７に示す第２の実施例の物体照合装置で実行されるものであり、前記登録物体測定工程が、登録物体の３次元形状を測定する３次元形状測定工程と、実際に様々な照明条件を設定して物体表面の各位置の輝度や色情報を撮影してテクスチャ群を生成するテクスチャ撮影工程から構成され、前記テクスチャ群生成工程がなく、前記撮影したテクスチャ群を代わりに用いることを特徴とする。
【００９８】
第２の実施の形態に係る発明では、登録過程において登録物体の３次元形状および表面反射率を測定し照明変動テクスチャ群を生成する代わりに、実際に様々な照明条件を設定して物体の画像を撮影することにより、照明変動テクスチャ群を撮影できることを利用している。
【００９９】
すなわち、第２の実施の形態に係る発明では、登録物体のテクスチャの照明条件による変動を包含するテクスチャ空間を生成するのに十分な照明変動テクスチャ群が撮影できるだけの適当な数の照明条件を設定し、その照明条件の下で画像情報を撮影しておけば、反射率を測定したりコンピュータグラフィックスによる画像生成における照明条件の設定や光線追跡による影の生成などの処理を行わなくても、照明変動空間を生成するためのテクスチャ群が生成できることを利用する。
【０１００】
前記テクスチャ画像撮影処理に用いることのできる方法の一例として、次のような方法がある。登録物体の前方に半球型のやぐらを設置し、一様な間隔で適当な数のランプを取り付ける。そして、各ランプを点灯させながら画像を撮影する。この他にも、ランプをマニピュレータに取り付けて移動させながら画像を撮影するなどの様々な方法が利用可能である。
【０１０１】
（３）第３の実施の形態
本発明の第３の実施の形態に係る発明の物体照合方法は、図８に示す第３の実施例の物体照合装置で実行されるものであり、第１または第２の実施の形態に係る発明の物体照合方法において、前記照明変動空間生成工程がない代わりに、前記３次元形状および前記推定された位置姿勢を用いて入力画像をテクスチャに変換する入力テクスチャ生成工程があり、前記距離計算工程が、前記入力テクスチャと前記テクスチャ空間との距離を計算する工程であることを特徴とする。
【０１０２】
第３の実施の形態に係る発明では、テクスチャ空間を変換して位置姿勢を入力画像に合わせて照明変動空間を生成する代わりに、前記３次元形状および前記推定された位置姿勢を用いて入力画像の座標系からテクスチャ空間の座標系への座標変換を求め、該座標変換により入力画像を入力テクスチャに変換し、該入力テクスチャと前記テクスチャ空間との距離を物体照合の評価値として用いることができることを利用している。
【０１０３】
前記座標変換を求めるためには様々な手法が利用可能であるが、一例として、テクスチャ空間の座標系によって一意に決まる色を対応する物体表面の色とし、登録物体の３次元形状を用いて前記推定された位置姿勢における画像を生成する。この工程は、コンピュータグラフィックスの標準的機能のみで処理できるため高速な演算が可能である。生成された画像の各画素の色は、その画素の対応するテクスチャ座標を示しているので、入力画像の座標系からテクスチャ空間の座標系への変換が容易に生成できる。
【０１０４】
（４）第４の実施の形態
本発明の第４の実施の形態に係る発明の物体照合方法は、図１０に示す第４の実施例の物体照合装置で実行されるものであり、第１ないし第３の実施の形態に係る発明において、前記登録過程において複数の登録物体の３次元形状を測定する代わりに、１つないし少数の登録物体の３次元形状を測定するだけで、該１つないし少数の登録物体の３次元形状の平均となる平均形状を出力し、照合対象となる全ての物体の形状は計測せず、反射率の測定が、照合対象となる全ての物体について反射率の計測または１つないし複数の照明条件の下での画像情報の撮影を行うものであり、以降の処理においては３次元形状として前記平均形状だけを用いるものである。
【０１０５】
第４の実施の形態に係る発明では、特に互いに形状が類似している登録物体の場合には、全ての登録物体の３次元形状を測定しなくても、代表的な３次元形状データを代わりに用いることで、位置姿勢推定処理および照明補正処理が行えることを利用している。
【０１０６】
平均形状の生成に利用できる方法の一例として、次のような方法がある。ここでは、２つの物体の平均形状を求める例をもって説明する。まず、物体１および物体２の３次元形状を測定する。そして、図１１（ａ）に示すように、２つの物体の３次元形状を重心を一致させるように平行移動し、ｚ軸に垂直な断面を考え、断面を適当な間隔でｚ軸方向に動かしながら、各断面上で平均形状を計算する。図１１（ｂ）に示すように、断面上で重心から物体の外側に向かった直線である平均計算軸を考え、 物体１および物体２の形状との交点をＰ１，Ｐ２とする。平均形状である点Ｐｍの３次元座標は、２つの物体表面上の点Ｐ１，Ｐ２の３次元座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２）を平均した
【０１０７】
この方法は、照合対象とする物体の数が３個以上になっても適用できる。また、平均形状を求める方法は、この他にも様々なものが利用可能である。
【０１０８】
照合過程においては、データ記憶処理から前記平均形状を読み出し、各登録物体の３次元形状に代用する。
【０１０９】
（５）第５の実施の形態
本発明の第５の実施の形態に係る発明の物体照合方法は、図１２に示す第５の実施例の物体照合装置で実行されるものであり、前記登録過程において、登録データに登録物体の特徴的な部位の位置情報を付与して登録すること特徴とする。
【０１１０】
第７の実施の形態に係る発明では、登録物体の特徴点の位置を抽出して登録データとして記憶し、入力画像の特徴点の３次元座標を登録データから知ることができれば、前記特徴点の画像上の位置および３次元座標を用いて入力画像中の対象物体の位置姿勢および撮像装置のパラメタを自動的に求めることができることを利用している。
【０１１１】
複数の点について画像上の位置および３次元座標が既知である場合に入力画像中の対象物体の位置姿勢および撮像装置のパラメタを自動的に求める方法としては、カメラキャリブレーションの方法が利用できる。これには多くの方法があり、一例として、文献１２ （「An Efficient and Accurate Camera Calibration Technique for ３D Machine Vision」,Roger Y. Tsai, Proc. CVPR'86, pp.364-374,1986）に記載の方法があるが、ここでは詳細については省略する。
【０１１２】
（６）第６実施の形態
本発明の第６の実施の形態に係る発明の物体照合方法は、図１５に示す第６の実施例の物体照合装置で実行されるものであり、第１ないし第４の実施の形態に係る発明の物体照合方法において、登録物体の３次元形状の測定を行わず、別途図面等から３次元形状を入力するものである。
【０１１３】
第６の実施の形態に係る発明では、登録物体の３次元形状が、その物体の設計図などとして図面やデータとして存在する場合には、登録物体の測定を行わなくとも、図面などからデータを入力することにより登録過程が行えることを利用している。
【０１１４】
一例として、照合対象となる物体が工業製品などの設計図の存在する物体である場合や、建築物などの３次元形状の測定が一般の３次元形状計測装置では困難であり別途測量等を行い形状を測定する場合には、図面等から登録物体の３次元形状を入力できる。
【０１１５】
また、第６の実施の形態に係る発明の物体照合方法は、登録物体の反射率の測定を行わず、別途図面等から反射率や色情報を入力するものである。
【０１１６】
第６の実施の形態に係る発明では、物体表面の反射率や色情報などが、その物体の設計図などとして図面やデータとして存在する場合には、前記反射率などの測定や撮影を行わなくとも、図面などからデータを入力することにより登録過程が行えることを利用している。
【０１１７】
この一例として、照合対象となる物体が工業製品などの物体表面の各部位の塗装の反射率が既知の物体である場合に、図面等から物体の３次元形状を入力できることを利用している。
【０１１８】
【実施例】
・第１の実施例
図１は、本発明の第１の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０を含む登録部１００と、撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００とから構成されている。
【０１１９】
図２は、第１の実施例の物体照合装置の具体的な構成例を示す図である。登録部１００には、３次元形状測定装置，登録処理装置，データベース記憶装置等が含まれている。また、照合部２００には、カメラ，照合処理装置等が含まれている。
【０１２０】
図１に示されるように、登録部１００では、物体の３次元形状およびテクスチャ空間を記憶しておく。照合部２００では、ビデオカメラなどの撮像装置を用いて２次元の画像を撮影し、照合処理を行う処理装置に取り込み、登録物体との照合処理を行う。
【０１２１】
まず、登録部１００において、物体の照合に用いる登録データとして、物体の３次元形状，および様々な照明条件の下でのテクスチャの変動を包含するテクスチャ空間を記憶しておく。
【０１２２】
登録物体測定手段１１０は、３次元形状測定装置を用いて物体の３次元形状と、該３次元形状に対応する物体表面の反射率またはこれに相当する色情報とを測定する。これには、例えば、文献９記載の３次元形状測定装置を利用できる。この他にも、様々な装置が利用可能である。
【０１２３】
照明変動テクスチャ群生成手段１２０は、図４に示すように、テクスチャ座標系生成手段１２１と、照明条件変化手段１２２と、陰影計算手段１２３とを備える。
【０１２４】
テクスチャ座標系生成手段１２１は、物体の位置姿勢によらない物体表面上の各点の位置を表す座標系としてテクスチャ座標系を設定し、該テクスチャ座標（ｓ，ｔ）に対する物体表面の形状（３次元座標）および反射率を出力する。このテクスチャ座標系の設定方法には様々な方法を用いることができるが、ここでは一例として球面への投影を用いる手法を説明する。図３に示すように、物体の重心を中心として物体を覆う球を考え、物体表面上の各点Ｐを重心を中心として前記球表面上へ投影し、投影された点Ｑの経度，緯度（ｓ，ｔ）をテクスチャ座標とする手法が利用できる。この手法は、あくまで一例であり、この他にも登録する物体の形状に適した様々な手法を利用可能である。
【０１２５】
照明条件変化手段１２２は、照明変動空間を近似するのに十分な数の照明条件群を設定する。例えば、無限遠にある１つの点光源を考え、図５に示すような物体を中心とした球面の経度，緯度を表す（θ，φ）の角度で光源の方向を示すとし、経度θおよび緯度φを１０°おきに−９０°から９０°まで変化させ、３６１種類の照明条件群を設定する。この光源の種類，および照明方向の設定間隔や範囲の決め方は一例であり、種々変更可能である。
【０１２６】
陰影計算手段１２３は、物体ｊの３次元形状および反射率を読み込み、照明条件変化手段１２２から入力される照明条件群における照明変動テクスチャ群を、コンピュータグラフィックスなどの機能を使って生成する。この処理は、一例として、グラフィックス機能を備えたコンピュータの基本機能をもって実現できる。コンピュータグラフィックスを用いた画像生成においては、様々な物体表面の反射モデル，カメラモデル等を使うことができる。一例としては、カメラモデルとしてピンホールカメラモデル，物体表面の反射モデルとして完全散乱モデルを用いることができる。これらのモデルは一例であり、光線追跡処理を行って影を付けたり、てかりを付けるために他の様々な反射モデルを用いることもできる。この画像生成処理において、物体表面の反射特性や光源などのモデルをより現実に近い正確なものとすることで、照合性能を向上させることができる。また、この画像生成は、コンピュータグラフィックスを用いなくとも、数値計算によって実現可能である。
【０１２７】
テクスチャ空間生成手段１３０は、前記生成された照明変動テクスチャ群から、照明条件が様々に変動した場合のテクスチャの変動を包含するような画像空間であるテクスチャ空間を計算する。
【０１２８】
これには様々な手法が利用可能であるが、本実施例では主成分分析を利用して、テクスチャ空間を低次元の線形空間として表す方法を用いる例を示す。
【０１２９】
照明変動テクスチャ群生成手段１２０で生成された照明変動テクスチャ群からテクスチャ空間を前記数３に従って計算し、計算された基底ベクトル群を物体のテクスチャ空間Ψｊとして出力する。本実施例では、固有値の大きい順にＭ個の基底ベクトルを求め、物体ｊのテクスチャ空間Ψｊとして出力する。この基底ベクトルの数Ｍを一例として 前記数４で計算される累積寄与率が９５％を超える数として決定するには、照明変動テクスチャ群の画像の数に等しい３６１または画素数がそれ以下である場合は画素数の数をＮとし、Ｎ個の固有値を求め、
【０１３０】
データ記憶手段１４０では、登録された各物体の３次元形状およびテクスチャ空間を記憶保持し、照合部２００の処理のために適時読み出す。
【０１３１】
以上の登録部１００の処理を行った物体に対して、以下の照合部２００において画像を用いた物体照合処理を行う。
【０１３２】
照合部２００において、カメラなどの撮像装置を利用して対象物体の入力画像を撮影し、照合手段である処理装置に取り込む。
【０１３３】
撮影手段２１０では、カメラやビデオカメラなどの撮像装置を用いて対象物体の入力画像が撮影される。
【０１３４】
位置姿勢推定手段２２０では、入力画像を撮影したときの撮影条件である物体の位置姿勢や撮像装置のパラメタ等を推定する。例えば、位置姿勢パラメタとして、物体の平行移動距離（Ｔｘ，Ｔｙ，Ｔｚ），回転角度（Ｒｘ，Ｒｙ，Ｒｚ），カメラの焦点距離ｆ，および視野角αを用いる。そして、これらのパラメタを利用者が画面を見ながら手動で調整できるような対話型のインタフェースを処理装置上に備えておく。例えば、画面には前記８つのパラメタを用いてコンピュータグラフィックスにより生成された登録物体の画像と対象物体の入力画像とがスーパーインポーズ法により重ね合わされて表示されている。利用者は、２つの画像がぴったり重なるように前記８つのパラメタの値を調節し、適切なパラメタを決定する。この対話型のインタフェースについては一例であり、様々な形態のものが利用可能である。また、このような対話型インタフェースを用いなくとも、自動的に位置姿勢パラメタの計算を行ってもよい。
【０１３５】
照明変動空間生成手段２３０では、前記位置姿勢推定手段２２０の結果を利用して、入力画像と同じ位置姿勢で、様々な照明条件の下での物体の画像変動を包含する画像空間である照明変動空間を生成する。すなわち、登録されているテクスチャ空間Ψｊを推定された位置姿勢に合わせて変換することにより、照明変動空間を生成する。この変換には様々な手法が利用可能であるが、一例として、テクスチャ空間の座標系から入力画像の座標系への変換を求めて照明変動空間を生成する、次のような手法を利用可能である。
【０１３６】
登録されているテクスチャ空間Ψｊの各基底ベクトル
【０１３７】
距離計算手段２４０では、照明変動空間Ψ’ｊ内でもっとも入力画像
【０１３８】
照合判定手段２５０では、前記評価値Ｄを入力画像と登録データとの類似度の評価値とし、これに基づいて、対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う判定処理を行う。例えば、簡単な閾値処理で対象物体が登録物体であるかの確認を行う場合は、ある閾値Ｄ’を定めておき、Ｄ＜Ｄ’であれば対象物体が登録物体であると決定する。
【０１３９】
以上の距離の計算方法や照合判定方法はあくまで一例であり、この他にも様々な手法を適用可能である。
【０１４０】
・第２の実施例
図７は、本発明の第２の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、３次元形状測定手段２１１０，テクスチャ撮影手段２１２１，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０を含む登録部２１００と、撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００とから構成されている。
【０１４１】
第２実施例の物体照合装置は、第１の実施例の物体照合装置と比較し、登録物体測定手段１１０において反射率を測定する代わりに、テクスチャ撮影手段２１２１を追加し複数の照明条件の下で画像を撮影しておき、それらの画像を反射率の代わりに用いて照明変動テクスチャ群を生成する点，および照明条件変化手段１２２がない点が異なる。
【０１４２】
まず、登録部２１００において、登録物体の登録データとして、登録物体の３次元形状，および複数の照明条件の下での画像データを登録しておく。
【０１４３】
３次元形状測定手段２１１０では、前記第１の実施例における登録物体測定手段１１０と同様に、文献９記載の３次元形状測定装置を用いて登録物体の３次元形状を測定するが、反射率は測定しない。
【０１４４】
テクスチャ撮影手段２１２１では、前記第１の実施例における照明条件変化手段１２２から出力される照明条件と同等な照明条件を実際に設定して登録物体の画像群を撮影し、前記照明変動テクスチャ群生成手段１２０と同等の手法によって前記３次元形状を用いてテクスチャ座標系を生成し、該テクスチャ座標系に前記画像群を変換することにより照明変動テクスチャ群として出力する。例えば、登録物体の前方に登録物体を中心とした半球型のやぐらを設置し、適当な間隔で適当な数のランプを取り付ける。一例としては、登録物体に対して、図５に示される角度（θ，φ）において、θ，φについて−９０度から９０度までの範囲でそれぞれ１５度間隔にランプを取り付け、各ランプを点灯させながら１枚ずつ画像を撮影する。この撮影方法および照明位置の設定方法は一例であり、この他にもランプをマニピュレータに取り付けて移動させながら画像を撮影するなど様々な方法が利用可能である。テクスチャ撮影手段２１２１は、前記の方法により撮影した画像群を照明変動テクスチャ群として出力する。
【０１４５】
テクスチャ空間生成手段１３０およびデータ記憶手段１４０は、第１の実施例とまったく同等である。
【０１４６】
以下の照合部２００は、第１の実施例における照合部２００と同等である。
【０１４７】
・第３実施例
図８は、本発明の第３の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０を含む登録部１００と、撮影手段２１０，位置姿勢推定手段２２０，入力テクスチャ生成手段２３１，距離計算手段２４１，および照合判定手段２５０を含む照合部３２００とから構成されている。
【０１４８】
登録部１００は、第１の実施例における登録部１００と同等である。
【０１４９】
照合部３２００は、第１の実施例における照合部２００に比較し、前記照明変動空間生成手段２３０がない代わりに、入力テクスチャ生成手段２３１があり、また、距離計算手段２４１が入力画像を変換した入力テクスチャとテクスチャ空間との距離を計算する点が異なる。
【０１５０】
撮影手段２１０から位置姿勢推定手段２２０までの処理は、第１の実施例とまったく同 等である。
【０１５１】
入力テクスチャ生成手段２３１では、前記位置姿勢推定手段２２０の結果を利用して、 入力画像の各画素をテクスチャ座標に変換し変形することで入力テクスチャを生成する。この変換には様々な手法が利用可能であるが、一例として、入力画像の座標系（ｕ，ｖ）からテクスチャ空間の座標系（ｓ，ｔ）への変換を求めて照明変動空間を生成する次のような手法を利用可能である。
【０１５２】
登録されている３次元形状に対し、物体表面の色としてテクスチャ座標（ｓ，ｔ）によって唯一に決まる色を割り当てた仮想物体を定義し、前記推定された位置姿勢にあるときの画像を生成する。この処理は、コンピュータグラフィックスの標準的機能のみで処理できるため高速な演算が可能である。生成された画像の各画素Ｒ（ｕ，ｖ）の色を見ればテクスチャ座標Ｑ（ｓ，ｔ）がわかるので、 図９に示すように入力画像の座標系（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への座標変換が求められる。入力画像上で照合に用いるすべての画素についてこの変換を適用し、 入力テクスチャ
【０１５３】
距離計算手段２４１では、テクスチャ空間Ψｊ内でもっとも入力テクスチャ
【０１５４】
登録されているテクスチャ空間Ψｊを読み込み、各基底ベクトル
【０１５５】
テクスチャ空間Ψｊと入力テクスチャ
【０１５６】
【数７】
・第４の実施例
図１０は、本発明の第４の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体測定手段１１０，平均形状生成手段１１１，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４１を含む登録部４１００と、撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００とから構成されている。
【０１５８】
第４の実施例の物体照合装置は、第１の実施例の物体照合装置と比較し、登録部４１００において複数の登録物体を登録する場合に、登録物体測定手段１１０で全ての登録物体の３次元形状を測定する代わりに、１つないし少数の登録物体の３次元形状を計測するだけで、平均形状生成手段１１１において該１つないし少数の登録物体の３次元形状の平均となる平均形状を出力し、照合対象となる全ての物体の形状は計測しない点，および照合部２００において前記平均の３次元形状を利用する点が異なる。
【０１５９】
以下では、物体１および物体２の２つの登録物体を登録する例を用いて説明する。
【０１６０】
まず、登録部４１００において、物体の照合に用いる登録データとして、物体１および物体２の２つの登録物体について、平均形状，およびそれぞれのテクスチャ空間を登録しておく。
【０１６１】
登録物体測定手段１１０では、文献９記載の３次元形状測定装置を用いて、物体１および物体２の３次元形状を測定する。
【０１６２】
平均形状生成手段１１１では、図１１（ａ）に示すように、２つの物体１および物体２の３次元形状を重心を一致させるように平行移動し、ｚ軸に垂直な断面を適当な間隔で設定し、それぞれの断面上で平均形状を計算する。図１１（ｂ）に示すように、断面上で重心から物体の外側に向かって平均計算軸となる直線を考え、物体１および物体２の形状との交点をＰ１，Ｐ２とする。平均形状である点Ｐｍの３次元座標は、２つの物体表面上の点Ｐ１，Ｐ２の３次元座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２）を平均した
【０１６３】
以下の処理では、前記平均形状を個々の物体の３次元形状の代わりに用い、データ記憶手段１４１では、前記平均形状および各物体のテクスチャ空間を記憶すること以外は、すべて第１の実施例と同等である。
【０１６４】
照合部２００における処理は、物体１および物体２の形状としてデータ記憶手段１４１から読み出される３次元形状が前記平均形状である点のみが第１の実施例と異なり、他の処理は全て同様である。
【０１６５】
以上、第４の実施例では２つの登録物体を登録する際にその平均形状を記憶する例を説明したが、これはあくまで１例であり、登録物体の数が３つ以上になったり、そのうちの任意の数の登録物体の平均形状を求めて利用することも同様の処理により可能である。
【０１６６】
・第５の実施例
図１２は、本発明の第５の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，データ記憶手段１４３，および特徴点位置抽出手段１５０を含む登録部５１００と、撮影手段２１０，位置姿勢推定手段２２１，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部５２００とから構成されている。
【０１６７】
第５の実施例の物体照合装置は、第１の実施例の物体照合装置と比較し、登録部５１００において、登録物体の画像上で輝度値が大きく変化するなどの特徴的な点の位置を抽出し特徴点位置として出力する特徴点位置抽出手段１５０が追加されている点，デー タ記憶手段１４３において前記特徴点位置も記憶する点，および照合部５２００の位置姿勢推定手段２２１においてデータ記憶手段１４３から前記特徴点位置を読み込み対象物体の位置姿勢を自動的に推定する点が異なる。
【０１６８】
第５の実施例では、照合対象となる物体の一例として人の顔を用いる。
【０１６９】
まず、登録部５１００において、物体の照合に用いる登録データとして、登録物体の３次元形状および反射率を測定し、該３次元形状および反射率などから登録物体の特徴点の３次元座標を求め、前記３次元形状，テクスチャ空間，および特徴点位置を登録しておく。
【０１７０】
登録物体測定手段１１０では、３次元形状測定装置を用いて登録物体の３次元形状および反射率を測定する。本実施例では、３次元形状測定装置の一例として、文献９記載の３次元形状測定装置を用いるが、この他にも様々な装置が利用可能である。
【０１７１】
特徴点位置抽出手段１５０では、登録物体の画像上で輝度値が大きく変化する部分など、特徴的な領域や点（特徴点）の位置を検出し、その３次元座標を特徴点位置として出力する。一例として、人物の顔を照合対象となる物体とする場合には、目じりや口元などの反射率が大きく変化している部位や鼻の頭などの３次元形状が大きく変化している部位を検出する。これは、手動で行うこともできるし、自動的に行う方法として前記文献２ （特許第２８７２７７６号「顔画像照合装置」）や、文献４（特開平６-１６８３１７号公報「個人識別装置」）記載の方法などの様々な方法を利用できる。本実施例では、図１４に示すような位置の１２個の点（０〜１１）を特徴点として用いる。これらの特徴点の定義は、照合対象となる物体により様々に変更可能であることはいうまでもない。以下では、これら特徴点の３次元座標である特徴点位置を、
【０１７２】
データ記憶手段１４３では、各登録物体の３次元形状，テクスチャ空間，および特徴点位置を記憶保持し、照合部５２００の処理のために適時読み出す。
【０１７３】
以上の登録部５１００の処理を行った登録物体に対して、以下の照合部５２００において対象物体の入力画像を用いた物体照合処理を行う。
【０１７４】
撮影手段２１０では、カメラやビデオカメラなどの撮像装置を用いて対象物体の入力画像が撮影される。
【０１７５】
位置姿勢推定手段２２１では、入力画像を撮影したときの撮影条件である対象物体の位置姿勢や撮像装置のパラメタ等を推定する。
【０１７６】
図１３を参照すると、位置姿勢推定手段２２１は、さらに、特徴点抽出手段２２２と、位置姿勢計算手段２２３とから構成されている。
【０１７７】
特徴点抽出手段２２２では、前記登録部５１００における特徴点位置抽出手段１５０で抽出した特徴点群
【０１７８】
位置姿勢計算手段２２３では、前記入力画像特徴点位置と、データ記憶手段１４３から読み出す特徴点位置とを利用し、入力画像中にある対象物体の位置姿勢や撮像装置のパラメタなどを計算し、位置姿勢として出力する。この計算には前記文献５の方法など様々な方法が利用可能であるが、本実施例では一例として位置姿勢のパラメタとして対象物体の平行移動距離（Ｔｘ，Ｔｙ，Ｔｚ），ｘ，ｙ，ｚ軸の周りの回転角度（Ｒｘ，Ｒｙ，Ｒｚ），およびカメラの焦点距離ｆをとり、カメラモデルとしてピンホールカメラを用いて、次のような方法で行う。前記のように、焦点距離ｆなどの撮像装置のパラメタも含めて位置姿勢と呼ぶ。特徴点位置
【０１７９】
【数８】
ただし、ここで、ａ，ｂ，ｃは、数９で表される値である。
【０１８１】
【数９】
Ｒは、数１０で表される回転を表す行列である。
【０１８３】
【数１０】
１２個の各特徴点についての前記数８で計算される値と入力画像特徴点位置の値との誤差の総和が最小になるように、Ｒｘ，Ｒｙ，Ｒｚ，Ｔｘ，Ｔｙ，Ｔｚ，ｆを最適化計算により求める。この最適化の計算には、様々な方法が利用できる。求めたＲｘ，Ｒｙ，Ｒｚ，Ｔｘ，Ｔｙ，Ｔｚ，ｆを位置姿勢パラメタとして出力する。
【０１８５】
前記の位置姿勢パラメタやカメラモデルの定義および計算方法はあくまで一例であり、この他にも様々な方法を利用可能である。
【０１８６】
照明変動空間生成手段２３０以下の処理については、第１の実施例と同等である。
【０１８７】
・第６の実施例
図１５は、本発明の第６の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、登録物体入力手段１１２，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０を含む登録部６１００と、撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００とから構成されている。
【０１８８】
第６の実施例の物体照合装置は、照合対象の物体が工業製品であり、その形状の設計図がＣＡＤ（Computer Aided Design）データとして保存されており、表面の塗装の仕様がデザイン図によって決められているとする。このため、第６の実施例の物体照合装置は、図１に示した第１の実施例の物体照合装置と比較し、登録物体入力手段１１２において、設計図のＣＡＤデータから３次元形状を、デザイン図から反射率を読み込む点が異なる。
【０１８９】
登録物体入力手段１１２は、設計図のＣＡＤデータを、照合部２００で扱えるデータ形式に変換して３次元形状として出力する。また、デザイン図から登録物体の各部の色，表面の仕上げの方法などを読み込み、反射率に変換して出力する。照合部２００については、第１の実施例と全く同等である。
【０１９０】
・第７の実施例
図１６は、本発明の第７の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図１に示した第１の実施例の物体照合装置に対して、登録部１００に登録プログラムを記録した記録媒体１０００を備え、照合部２００に照合プログラムを記録した記録媒体２０００を備える点が異なっている。これらの記録媒体１０００，２０００は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０１９１】
登録プログラムは、記録媒体１０００から登録部１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０として制御する。登録プログラムの制御による登録部１００の動作は、第１の実施例における登録部１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９２】
また、照合プログラムは、記録媒体２０００から照合部２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００として制御する。照合プログラムの制御による照合部２００の動作は、第１の実施例における照合部２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９３】
・第８の実施例
図１７は、本発明の第８の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図７に示した第２の実施例の物体照合装置に対して、登録部２１００に登録プログラムを記録した記録媒体１０１０を備え、照合部２００に照合プログラムを記録した記録媒体２０００を備える点が異なっている。これらの記録媒体１０１０，２０００は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０１９４】
登録プログラムは、記録媒体１０１０から登録部２１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を３次元形状測定手段２１１０，テクスチャ撮影手段２１２１，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０として制御する。登録プログラムの制御による登録部２１００の動作は、第２の実施例における登録部２１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９５】
また、照合プログラムは、記録媒体２０００から照合部２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００として制御する。照合プログラムの制御による照合部２００の動作は、第２の実施例における照合部２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９６】
・第９の実施例
図１８は、本発明の第８の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図８に示した第３の実施例の物体照合装置に対して、登録部１００に登録プログラムを記録した記録媒体１０００を備え、照合部３２００に照合プログラムを記録した記録媒体２０１０を備える点が異なっている。これらの記録媒体１０００，２０１０は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０１９７】
登録プログラムは、記録媒体１０００から登録部１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０として制御する。登録プログラムの制御による登録部１００の動作は、第３の実施例における登録部１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９８】
また、照合プログラムは、記録媒体２０１０から照合部３２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，入力テクスチャ生成手段２３１，距離計算手段２４１，および照合判定手段２５０を含む照合部３２００として制御する。照合プログラムの制御による照合部３２００の動作は、第３の実施例における照合部３２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０１９９】
・第１０の実施例
図１９は、本発明の第１０の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図１０に示した第４の実施例の物体照合装置に対して、登録部４１００に登録プログラムを記録した記録媒体１０２０を備え、照合部２００に照合プログラムを記録した記録媒体２０００を備える点が異なっている。これらの記録媒体１０２０，２０００は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０２００】
登録プログラムは、記録媒体１０２０から登録部４１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体測定手段１１０，平均形状生成手段１１１，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４１として制御する。登録プログラムの制御による登録部４１００の動作は、第４の実施例における登録部４１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０１】
また、照合プログラムは、記録媒体２０００から照合部２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００として制御する。照合プログラムの制御による照合部２００の動作は、第４の実施例における照合部２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０２】
・第１１の実施例
図２０は、本発明の第１１の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図１２に示した第５の実施例の物体照合装置に対して、登録部５１００に登録プログラムを記録した記録媒体１０３０を備え、照合部５２００に照合プログラムを記録した記録媒体２０２０を備える点が異なっている。これらの記録媒体１０３０，２０２０は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０２０３】
登録プログラムは、記録媒体１０３０から登録部５１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体測定手段１１０，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，データ記憶手段１４３，および特徴点位置抽出手段１５０として制御する。登録プログラムの制御による登録部５１００の動作は、第５の実施例における登録部５１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０４】
また、照合プログラムは、記録媒体２０２０から照合部５２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２１，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部５２００として制御する。照合プログラムの制御による照合部５２００の動作は、第５の実施例における照合部５２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０５】
・第１２の実施例
図２１は、本発明の第１２の実施例の物体照合装置の構成を示すブロック図である。本実施例の物体照合装置は、図１５に示した第６の実施例の物体照合装置に対して、登録部６１００に登録プログラムを記録した記録媒体１０４０を備え、照合部２００に照合プログラムを記録した記録媒体２０００を備える点が異なっている。これらの記録媒体１０４０，２０００は、磁気ディスク，半導体メモリ，その他の記録媒体であってよい。
【０２０６】
登録プログラムは、記録媒体１０４０から登録部６１００を構成するコンピュータに読み込まれ、当該コンピュータの動作を登録物体入力手段１１３，照明変動テクスチャ群生成手段１２０，テクスチャ空間生成手段１３０，およびデータ記憶手段１４０として制御する。登録プログラムの制御による登録部６１００の動作は、第６の実施例における登録部６１００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０７】
また、照合プログラムは、記録媒体２０００から照合部２００を構成するコンピュータに読み込まれ、当該コンピュータの動作を撮影手段２１０，位置姿勢推定手段２２０，照明変動空間生成手段２３０，距離計算手段２４０，および照合判定手段２５０を含む照合部２００として制御する。照合プログラムの制御による照合部２００の動作は、第２の実施例における照合部２００の動作と全く同様になるので、その詳しい説明を割愛する。
【０２０８】
本発明は、前記各実施例に述べたように、一般の物体に対して応用可能であるが、特に自動車の車種・型式の照合，人物の顔の照合などの応用にも有効である。
【０２０９】
以上、本発明を前記各実施例に基づき具体的に説明したが、本発明は前記各実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０２１０】
【発明の効果】
以上の説明から明らかなように、本発明によれば、登録部でのみ登録物体の３次元形状および物体表面の反射率または適当な照明条件の下での画像を計測すればよく、照合部における撮影手段としてはビデオカメラなどの通常の２次元画像を撮影する撮像装置があるだけで十分であり、照合段階において３次元形状測定装置を必要とせずに実用的な装置を構成できる。
【０２１１】
また、登録物体の３次元形状が登録されているので、入力画像における対象物体の３次元的な位置姿勢の変動に対して完全に補正することができる。さらに、照明条件の変動に対しても十分な補正を行うことができる。
【０２１２】
さらに、本発明の照明補正処理は、あらかじめ登録過程において計算済みである照明変動テクスチャ空間を、入力画像における対象物体の位置姿勢に合わせて変換して照明変動空間を生成するため、位置姿勢が変化しても照明変動テクスチャ群を生成し直す必要がなく、従来の技術である方法１，方法３よりも高速な処理で照合判定を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の物体照合装置の構成を示すブロック図である。
【図２】本発明の物体照合装置の具体的構成の一例を示す図である。
【図３】テクスチャ座標系を物体表面に対して定義する手法の一例を説明する図である。
【図４】図１中の照明変動テクスチャ群生成手段の構成をより詳細に示すブロック図である。
【図５】照明条件を決める照明の物体に対する方向を表す角度を説明する図である。
【図６】画像を利用した物体照合装置の例を示した図である。
【図７】本発明の第２の実施例の物体照合装置の構成を示すブロック図である。
【図８】本発明の第３の実施例の物体照合装置の構成を示すブロック図である。
【図９】図８中の入力テクスチャ生成手段における入力画像座標からテクスチャ座標への変換を説明する図である。
【図１０】本発明の第４の実施例の物体照合装置の構成を示すブロック図である。
【図１１】図１０中の平均形状生成手段における平均形状の生成方法を説明する図である。
【図１２】本発明の第５の実施例の物体照合装置の構成を示すブロック図である。
【図１３】図１２中の位置姿勢推定手段のより詳細な構成を示すブロック図である。
【図１４】照合対象となる物体の特徴点として用いる物体の部位の一例を示す図である。
【図１５】本発明の第６の実施例の物体照合装置の構成を示すブロック図である。
【図１６】本発明の第７の実施例の物体照合装置の構成を示すブロック図である。
【図１７】本発明の第８の実施例の物体照合装置の構成を示すブロック図である。
【図１８】本発明の第９の実施例の物体照合装置の構成を示すブロック図である。
【図１９】本発明の第１０の実施例の物体照合装置の構成を示すブロック図である。
【図２０】本発明の第１１の実施例の物体照合装置の構成を示すブロック図である。
【図２１】本発明の第１２の実施例の物体照合装置の構成を示すブロック図である。
【図２２】従来の物体照合技術の一例として、登録時と照合時とでともに２次元の画像のみを用いる技術の構成を説明する図である。
【図２３】従来の物体照合技術の一例として、登録時と照合時とでともに３次元形状を測定する技術の構成を説明する図である。
【図２４】従来の物体照合技術の一例として、登録時と照合時とでともに２次元の画像を撮影し、位置姿勢の補正に標準３次元形状モデルを用いる技術の構成を説明する図である。
【図２５】従来の物体照合技術の一例として、登録時に多数の位置姿勢や照明条件の下で画像を撮影し認識を行う技術の構成を説明する図である。
【図２６】従来の物体照合技術の一例として、登録時に複数の照明条件の下で２次元の画像を撮影し照明条件補正を行う技術の構成を説明する図である。
【図２７】従来の物体照合技術の一例として、登録時に多数の照明条件の下で２次元の画像を撮影し照明条件補正を行う技術の構成を説明する図である。
【符号の説明】
１００，２１００，４１００，５１００，６１００ 登録部
１１０ 登録物体測定手段
１１１ 平均形状生成手段
１１２ 登録物体入力手段
１２０ 照明変動テクスチャ群生成手段
１２１ テクスチャ座標系生成手段
１２２ 照明条件変化手段
１２３ 陰影計算手段
１３０ テクスチャ空間生成手段
１４０，１４１，１４３ データ記憶手段
１５０ 特徴点位置抽出手段
２００，３２００，５２００ 照合部
２１０ 撮影手段
２２０，２２１ 位置姿勢推定手段
２３０ 照明変動空間生成手段
２３１ 入力テクスチャ生成手段
２４０，２４１ 距離計算手段
２５０ 照合判定手段
１０００，１０１０，１０２０，１０３０，１０４０ 記録媒体
２０００，２０１０，２０２０ 記録媒体
２１１０ ３次元形状測定手段
２１２１ テクスチャ撮影手段
Claims (32)
- 登録物体の登録データをデータベースに登録する登録過程と、対象物体の入力画像に対して前記登録データとの照合を行う照合過程とを含む物体照合方法において、
前記登録過程が、登録物体の３次元形状，および様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を記憶する工程であり、前記照合過程が、対象物体の２次元画像を入力画像として撮影する工程と、前記入力画像における対象物体の位置姿勢で様々な照明条件の下での画像群によって張られる画像空間であり、前記基底ベクトルを前記位置姿勢に合わせて変形した基底ベクトルにより表現される照明変動空間を前記３次元形状および前記テクスチャ空間から生成する工程と、前記照明変動空間内の画像と前記入力画像との距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う工程とから構成されることを特徴とする物体照合方法。 - 登録物体の登録データをデータベースに登録する登録過程と、対象物体の入力画像に対して前記登録データとの照合を行う照合過程とを含む物体照合方法において、
前記登録過程が、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定工程と、前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成工程と、前記テクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を生成するテクスチャ空間生成工程と、前記３次元形状および前記テクスチャ空間を記憶しておく記憶工程とから構成され、前記照合過程が、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影工程と、前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定工程と、前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間であり、前記基底ベクトルを前記位置姿勢に合わせて変形した基底ベクトルにより表現される照明変動空間を前記３次元形状および前記テクスチャ空間を用いて生成する照明変動空間生成工程と、前記入力画像と前記照明変動空間内の画像との距離を計算する距離計算工程と、前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定工程とから構成されることを特徴とする物体照合方法。 - 前記登録物体測定工程が、登録物体の３次元形状を測定する３次元形状測定工程と、実際に様々な照明条件を設定して物体表面の各位置の輝度や色情報を撮影してテクスチャ群を生成するテクスチャ撮影工程とから構成され、前記テクスチャ群生成工程がなく、前記撮影したテクスチャ群を代わりに用いることを特徴とする請求項２記載の物体照合方法。
- 前記照明変動空間生成工程がない代わりに、前記３次元形状および前記推定された位置姿勢を用いて入力画像をテクスチャに変換する入力テクスチャ生成工程があり、前記距離計算工程が、前記入力テクスチャと前記テクスチャ空間内の画像との距離を計算する工程であることを特徴とする請求項２または請求項３記載の物体照合方法。
- 前記テクスチャ空間生成工程が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する工程であり、前記記憶工程が、前記３次元形状および前記基底テクスチャ群を記憶する工程であり、前記照明変動空間生成工程が、前記３次元形状，前記基底テクスチャ群，および前記推定された位置姿勢を用いて照明変動空間の基底ベクトル群を求める工程であり、前記距離計算工程が、前記基底ベクトル群と前記入力画像との間の相関を求め、該相関を元に基底ベクトル群から前記入力画像に最も近い比較画像を生成し、該比較画像と前記入力画像との類似度を距離として出力する工程であることを特徴とする請求項２または請求項３記載の物体照合方法。
- 前記テクスチャ空間生成工程が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより、照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する工程であり、前記記憶工程が、前記３次元形状および前記基底テクスチャ群を記憶する工程であり、前記距離計算工程が、前記基底テクスチャ群と前記入力テクスチャとの間の相関を求め、該相関を元に基底テクスチャ群から前記入力テクスチャに最も近い比較テクスチャを生成し、該比較テクスチャと前記入力テクスチャとの類似度を距離として出力する工程であることを特徴とする請求項４記載の物体照合方法。
- 前記登録過程において複数の登録物体の３次元形状を測定する代わりに、１つないし少数の３次元形状を測定するだけで、該１つないし少数の３次元形状の平均となる平均形状を出力し、照合対象となる全ての物体の形状は計測せず、反射率の測定が照合対象となる全ての物体について反射率の計測または１つないし複数の照明条件の下での画像情報の撮影を行うものであり、複数の登録物体の３次元形状として前記平均形状だけを用いることを特徴とする請求項２ないし請求項６記載の物体照合方法。
- 前記３次元形状の測定を行わず、別途図面等から３次元形状を入力しておくことを特徴とする請求項２ないし請求項６記載の物体照合方法。
- 前記反射率の測定を行わず、別途図面等から反射率や色情報を入力しておくことを特徴とする請求項２ないし請求項８記載の物体照合方法。
- 前記登録データに登録物体の特徴的な部位の位置情報を付与して登録すること特徴とする請求項２ないし請求項９記載の物体照合方法。
- 前記照合対象となる物体を、自動車とすることを特徴とする請求項２ないし請求項１０記載の物体照合方法。
- 前記照合対象となる物体を、人間の顔とすることを特徴とする請求項２ないし請求項１０記載の物体照合方法。
- 登録物体の３次元形状，および様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を記憶する登録部と、対象物体の２次元画像を入力画像として撮影し、前記入力画像における対象物体の位置姿勢で様々な照明条件の下での画像群によって張られる画像空間であり、前記基底ベクトルを前記位置姿勢に合わせて変形した基底ベクトルにより表現される照明変動空間を前記３次元形状および前記テクスチャ空間から生成し、該照明変動空間内の画像と前記入力画像との距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合部とから構成されることを特徴とする物体照合装置。
- 登録物体の登録データを登録する登録部と、対象物体の入力画像に対して前記登録データとの照合を行う照合部を備える物体照合装置において、前記登録部が、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段と、前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段と、前記テクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を生成するテクスチャ空間生成手段と、前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段とを備え、前記照合部が、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段と、前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段と、前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間であり、前記基底ベクトルを前記位置姿勢に合わせて変形した基底ベクトルにより表現される照明変動空間を前記３次元形状および前記テクスチャ空間を用いて生成する照明変動空間生成手段と、前記入力画像と前記照明変動空間内の画像との距離を計算する距離計算手段と、前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段とを備えることを特徴とする物体照合装置。
- 前記登録物体測定手段が、登録物体の３次元形状を測定する３次元形状測定手段と、実際に様々な照明条件を設定して物体表面の各位置の輝度や色情報を撮影してテクスチャ群を生成するテクスチャ撮影手段とから構成され、前記テクスチャ群生成手段がなく、前記撮影したテクスチャ群を代わりに用いることを特徴とする請求項１４記載の物体照合装置。
- 前記照明変動空間生成手段がない代わりに、前記３次元形状および前記推定された位置姿勢を用いて前記入力画像を入力テクスチャに変換する入力テクスチャ生成手段があり、前記距離計算手段が、前記入力テクスチャと前記テクスチャ空間内の画像との距離を計算する手段であることを特徴とする請求項１４または請求項１５記載の物体照合装置。
- 前記テクスチャ空間生成手段が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する手段であり、前記記憶手段が、前記３次元形状および前記基底テクスチャ群を記憶する手段であり、前記照明変動空間生成手段が、前記３次元形状，前記基底テクスチャ群，および前記推定された位置姿勢を用いて照明変動空間の基底ベクトル群を求める手段であり、前記距離計算手段が、前記基底ベクトル群と前記入力画像との間の相関を求め、該相関を元に基底ベクトル群から前記入力画像に最も近い比較画像を生成し、該比較画像と前記入力画像との類似度を距離として出力する手段であることを特徴とする請求項１４または請求項１５記載の物体照合装置。
- 前記テクスチャ空間生成手段が、前記テクスチャ群に主成分分析などの統計的解析を施すことにより照明条件に応じてテクスチャ上に現れている変動要因の大部分を覆うような空間の基底ベクトルである基底テクスチャ群を求めることでテクスチャ空間を生成する手段であり、前記記憶手段が、前記３次元形状および前記基底テクスチャ群を記憶する手段であり、前記距離計算手段が、前記基底テクスチャ群と前記入力テクスチャの間の相関を求め、該相関を元に前記基底テクスチャ群から前記入力テクスチャに最も近い比較テクスチャを生成し、該比較テクスチャと前記入力テクスチャとの類似度を距離として出力する手段であることを特徴とする請求項１６記載の物体照合装置。
- 前記登録部において複数の登録物体の３次元形状を測定する代わりに、１つないし少数の登録物体の３次元形状を測定するだけで、該１つないし少数の３次元形状の平均形状を出力し、登録物体となる全ての物体の形状は計測せず、反射率の測定が登録物体となる全ての物体について反射率の計測または１つないし複数の照明条件の下での画像情報の撮影を行うものであり、以降の処理においては３次元形状として前記平均形状だけを用いることを特徴とする請求項１４ないし請求項１８記載の物体照合装置。
- 前記登録物体測定手段がなく、３次元形状の測定を行わない代わりに、登録物体入力手段を用いて別途図面等から３次元形状を入力しておくことを特徴とする請求項１４ないし請求項１９記載の物体照合装置。
- 前記登録物体測定手段がなく、反射率の測定を行わない代わりに、登録物体入力手段を用いて別途図面等から反射率や色情報を入力しておくことを特徴とする請求項１４ないし請求項２０記載の物体照合装置。
- 前記登録部に、登録物体の特徴的な部位の位置情報を付与して登録する特徴点位置抽出手段を備えること特徴とする請求項１４ないし請求項２１記載の物体照合装置。
- 前記照合対象となる物体を、自動車とすることを特徴とする請求項１４ないし請求項２２記載の物体照合装置。
- 前記照合対象となる物体を、人間の顔とすることを特徴とする請求項１４ないし請求項２２記載の物体照合装置。
- コンピュータを、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体。
- コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段，前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間であり、前記基底ベクトルを前記位置姿勢に合わせて変形した基底ベクトルにより表現される照明変動空間を登録物体の３次元形状および様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャ群で張られる画像空間であるとともに基底ベクトルにより表現されるテクスチャ空間を用いて生成する照明変動空間生成手段，前記入力画像と前記照明変動空間内の画像との距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体。
- コンピュータを、３次元形状測定装置を用いて登録物体の３次元形状を測定する３次元形状測定手段，照明条件を実際に設定して登録物体の画像群を撮影し前記３次元形状を用いてテクスチャ座標系を生成し該テクスチャ座標系に前記画像群を変換することによりテクスチャ群として出力するテクスチャ撮影手段，前記テクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体。
- コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像における対象物体の位置姿勢を推定する位置姿勢推定手段，前記位置姿勢推定手段の結果を利用して前記入力画像の各画素をテクスチャ座標に変換し変形することで入力テクスチャを生成する入力テクスチャ生成手段，登録物体の様々な照明条件の下での物体表面の各位置の輝度や色情報とを表すテクスチャ群で張られる画像空間であるとともに基底ベクトルにより表現されるテクスチャ空間と前記入力テクスチャとの距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体。
- コンピュータを、３次元形状測定装置を用いて登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段，複数の物体の３次元形状を重心を一致させるように平行移動し、ある軸に垂直な断面を適当な間隔で設定し、それぞれの断面上で平均形状を計算する平均形状生成手段，前記平均形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記平均形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体。
- コンピュータを、登録物体の３次元形状および物体表面の反射率を測定する登録物体測定手段，特徴点の位置を検出し、その３次元座標を特徴点位置として出力する特徴点位置抽出手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状，前記テクスチャ空間，および前記特徴点位置を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体。
- コンピュータを、ビデオカメラなどの撮像装置を用いて対象物体の２次元画像を入力画像として撮影する入力画像撮影手段，前記入力画像を撮影したときの撮影条件である対象物体の位置姿勢や撮像装置のパラメタ等を登録物体の３次元形状，テクスチャ空間，および特徴点位置を用いて推定する位置姿勢推定手段，前記推定された位置姿勢と同じ位置姿勢で様々な照明条件の下での画像群によって張られる画像空間であり、前記基底ベクトルを前記位置姿勢に合わせて変形した基底ベクトルにより表現される照明変動空間を登録物体の３次元形状およびテクスチャ空間を用いて生成する照明変動空間生成手段，前記入力画像と前記照明変動空間内の画像との距離を計算する距離計算手段，ならびに前記距離に基づいて対象物体が登録物体であるかどうかの確認，登録物体のうちのどの物体であるかの検索，登録物体のうちの似ている物体の検索などの処理を行う照合判定手段として機能させるためのプログラムを記録した記録媒体。
- コンピュータを、図面等から３次元形状および反射率を入力する登録物体入力手段，前記３次元形状および前記反射率を用いて様々な照明条件の下での物体表面の各位置の輝度や色情報を表すテクスチャをコンピュータグラフィックスの技術などを用いて生成するテクスチャ群生成手段，前記テクスチャ群で張られる画像空間であり、基底ベクトルにより表現されるテクスチャ空間を生成するテクスチャ空間生成手段，ならびに前記３次元形状および前記テクスチャ空間を記憶しておく記憶手段として機能させるためのプログラムを記録した記録媒体。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000353402A JP4167390B2 (ja) | 2000-11-20 | 2000-11-20 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| US10/014,075 US7321370B2 (en) | 2000-11-20 | 2001-11-13 | Method and apparatus for collating object |
| EP01127243A EP1223540A3 (en) | 2000-11-20 | 2001-11-16 | Method and apparatus for collating object |
| US11/944,983 US7593019B2 (en) | 2000-11-20 | 2007-11-26 | Method and apparatus for collating object |
| US11/944,952 US7932913B2 (en) | 2000-11-20 | 2007-11-26 | Method and apparatus for collating object |
| US11/944,965 US7710431B2 (en) | 2000-11-20 | 2007-11-26 | Method and apparatus for collating object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000353402A JP4167390B2 (ja) | 2000-11-20 | 2000-11-20 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006281413A Division JP4379459B2 (ja) | 2006-10-16 | 2006-10-16 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002157595A JP2002157595A (ja) | 2002-05-31 |
| JP4167390B2 true JP4167390B2 (ja) | 2008-10-15 |
Family
ID=18826175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000353402A Expired - Lifetime JP4167390B2 (ja) | 2000-11-20 | 2000-11-20 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (4) | US7321370B2 (ja) |
| EP (1) | EP1223540A3 (ja) |
| JP (1) | JP4167390B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003058896A (ja) * | 2001-08-10 | 2003-02-28 | Nec Corp | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
| WO2011086803A1 (ja) | 2010-01-12 | 2011-07-21 | 日本電気株式会社 | 画像照合システム、画像照合方法、コンピュータプログラム |
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI299471B (en) * | 2001-08-24 | 2008-08-01 | Toshiba Kk | Person recognition apparatus |
| JP2004094773A (ja) * | 2002-09-03 | 2004-03-25 | Nec Corp | 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム |
| DE10246122B4 (de) * | 2002-10-01 | 2006-04-20 | Audi Ag | Verfahren und Vorrichtung zur Darstellung eines computermodellierten Gegenstands |
| JP3859574B2 (ja) * | 2002-10-23 | 2006-12-20 | ファナック株式会社 | ３次元視覚センサ |
| US8655051B2 (en) * | 2003-01-31 | 2014-02-18 | Fujitsu Limited | Image editing method, image editing apparatus, computer program, and memory product |
| JP4095491B2 (ja) * | 2003-05-19 | 2008-06-04 | 本田技研工業株式会社 | 距離測定装置、距離測定方法、及び距離測定プログラム |
| CN1846232A (zh) * | 2003-08-29 | 2006-10-11 | 日本电气株式会社 | 使用加权信息的对象姿态估计和匹配系统 |
| EP1679657B1 (en) * | 2003-10-30 | 2017-12-27 | NEC Corporation | Estimation system, estimation method, and estimation program for estimating object state |
| JP2005151282A (ja) * | 2003-11-18 | 2005-06-09 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法、およびプログラム |
| US7724943B2 (en) * | 2004-04-21 | 2010-05-25 | Siemens Medical Solutions Usa, Inc. | Rapid and robust 3D/3D registration technique |
| JP2007066227A (ja) * | 2005-09-02 | 2007-03-15 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
| JP4857601B2 (ja) * | 2005-05-17 | 2012-01-18 | 凸版印刷株式会社 | シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体 |
| JP4653606B2 (ja) | 2005-05-23 | 2011-03-16 | 株式会社東芝 | 画像認識装置、方法およびプログラム |
| WO2006129791A1 (ja) | 2005-06-03 | 2006-12-07 | Nec Corporation | 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム |
| US7609859B2 (en) * | 2005-06-14 | 2009-10-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for generating bi-linear models for faces |
| JP2007072620A (ja) * | 2005-09-05 | 2007-03-22 | Toshiba Corp | 画像認識装置及びその方法 |
| JP2007096405A (ja) * | 2005-09-27 | 2007-04-12 | Fujifilm Corp | ぶれ方向判定方法および装置ならびにプログラム |
| JP4849460B2 (ja) * | 2005-10-14 | 2012-01-11 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 画像中の顔を認識する方法 |
| JP4956983B2 (ja) * | 2005-12-14 | 2012-06-20 | コニカミノルタホールディングス株式会社 | 認証システム、認証方法およびプログラム |
| WO2007108412A1 (ja) | 2006-03-17 | 2007-09-27 | Nec Corporation | ３次元データ処理システム |
| WO2007119870A1 (ja) | 2006-04-14 | 2007-10-25 | Nec Corporation | 照合装置および照合方法 |
| KR20070103117A (ko) * | 2006-04-18 | 2007-10-23 | 주식회사 히타치엘지 데이터 스토리지 코리아 | 기록매체의 데이터 기록 재생방법 |
| US7953273B2 (en) * | 2006-07-26 | 2011-05-31 | Samsung Electronics Co., Ltd. | Apparatus and method for modifying arrangement of colors |
| JP2008077594A (ja) | 2006-09-25 | 2008-04-03 | Fujitsu Ltd | 設計支援装置，設計支援方法，設計支援プログラム，および設計支援システム |
| US7924272B2 (en) | 2006-11-27 | 2011-04-12 | Microsoft Corporation | Infrared sensor integrated in a touch panel |
| US8094129B2 (en) * | 2006-11-27 | 2012-01-10 | Microsoft Corporation | Touch sensing using shadow and reflective modes |
| US20080122839A1 (en) * | 2006-11-28 | 2008-05-29 | Microsoft Corporation | Interacting with 2D content on 3D surfaces |
| JP4950787B2 (ja) * | 2007-07-12 | 2012-06-13 | 株式会社東芝 | 画像処理装置及びその方法 |
| JP2009211513A (ja) * | 2008-03-05 | 2009-09-17 | Toshiba Corp | 画像処理装置及びその方法 |
| JP4569670B2 (ja) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP5136965B2 (ja) * | 2008-09-03 | 2013-02-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US8855819B2 (en) * | 2008-10-09 | 2014-10-07 | Samsung Electronics Co., Ltd. | Method and apparatus for simultaneous localization and mapping of robot |
| GB2465792A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Illumination Direction Estimation using Reference Object |
| JP5431501B2 (ja) * | 2010-01-13 | 2014-03-05 | 株式会社東芝 | 画像処理装置、及びその方法 |
| JP5182594B2 (ja) * | 2010-03-31 | 2013-04-17 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム |
| JP2012058954A (ja) * | 2010-09-08 | 2012-03-22 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
| JP5624457B2 (ja) * | 2010-12-28 | 2014-11-12 | 株式会社東芝 | 三次元データ処理装置、方法及びプログラム |
| JP6399280B2 (ja) * | 2011-07-29 | 2018-10-03 | 日本電気株式会社 | 照合・検索システム、照合・検索サーバ、画像特徴抽出装置、照合・検索方法及びプログラム |
| KR101292357B1 (ko) | 2011-11-03 | 2013-08-01 | 이혜리 | 이미지 생성 및 제공 방법 그리고 이를 위한 장치 |
| JP5899951B2 (ja) | 2012-01-18 | 2016-04-06 | セイコーエプソン株式会社 | ロボット装置および位置姿勢検出方法 |
| US9141731B2 (en) * | 2012-06-21 | 2015-09-22 | Siemens Product Lifecycle Management Software Inc. | Symmetry of discovered geometric relationships in a three dimensional model |
| WO2014013363A1 (en) * | 2012-07-18 | 2014-01-23 | Creaform Inc. | 3-d scanning and positioning interface |
| WO2014091543A1 (ja) * | 2012-12-10 | 2014-06-19 | 三菱電機株式会社 | Ｎｃプログラム検索方法、ｎｃプログラム検索装置、ｎｃプログラム作成方法およびｎｃプログラム作成装置 |
| US9760771B2 (en) * | 2013-04-04 | 2017-09-12 | Nec Corporation | Identification method, identification system, matching device, and program |
| US10229526B2 (en) * | 2014-03-13 | 2019-03-12 | Imagination Technologies Limited | Rendering of soft shadows |
| JP2016099835A (ja) * | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6600945B2 (ja) * | 2015-01-20 | 2019-11-06 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
| CN116763325A (zh) | 2016-08-08 | 2023-09-19 | 深部脑刺激技术有限公司 | 用于监测神经活动的系统和方法 |
| CN111200967B (zh) | 2017-05-22 | 2023-06-06 | 深部脑刺激技术有限公司 | 用于监测神经活动的系统和方法 |
| CN107480710B (zh) * | 2017-08-01 | 2020-05-22 | 歌尔股份有限公司 | 特征点匹配结果处理方法和装置 |
| EP3838117A1 (en) * | 2019-12-20 | 2021-06-23 | Koninklijke Philips N.V. | Illumination compensation in imaging |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02311962A (ja) | 1989-05-29 | 1990-12-27 | Kougakuin Univ | 顔画像による個人識別方法と装置 |
| JP2872776B2 (ja) | 1990-08-20 | 1999-03-24 | 日本電信電話株式会社 | 顔画像照合装置 |
| JP2532985B2 (ja) | 1990-09-20 | 1996-09-11 | 工業技術院長 | ３次元画像評価装置 |
| JPH04256185A (ja) | 1991-02-08 | 1992-09-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識システムのサンプル画像収集方法 |
| JPH05108804A (ja) | 1991-10-21 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | ３次元物体の識別方法及びその実施装置 |
| US5293469A (en) * | 1991-10-23 | 1994-03-08 | Ricoh Company, Ltd. | Apparatus for generating a graphic image having symbols whose centers and aligned with each other and whose sizes are adjusted to accord with each other |
| JPH0816958B2 (ja) * | 1991-12-11 | 1996-02-21 | 茨城警備保障株式会社 | 防犯監視システム |
| JPH06109441A (ja) | 1992-09-29 | 1994-04-19 | Toshiba Corp | モデル入力装置 |
| JPH06168317A (ja) | 1992-11-30 | 1994-06-14 | Matsushita Electric Ind Co Ltd | 個人識別装置 |
| JP3288474B2 (ja) * | 1993-03-31 | 2002-06-04 | 富士通株式会社 | 画像処理装置 |
| US5819016A (en) * | 1993-10-05 | 1998-10-06 | Kabushiki Kaisha Toshiba | Apparatus for modeling three dimensional information |
| TW284870B (ja) * | 1994-01-26 | 1996-09-01 | Hitachi Ltd | |
| US6463176B1 (en) * | 1994-02-02 | 2002-10-08 | Canon Kabushiki Kaisha | Image recognition/reproduction method and apparatus |
| JP3573512B2 (ja) * | 1994-05-17 | 2004-10-06 | オリンパス株式会社 | 画像処理方法及び画像処理装置 |
| US5822450A (en) * | 1994-08-31 | 1998-10-13 | Kabushiki Kaisha Toshiba | Method for monitoring equipment state by distribution measurement data, and equipment monitoring apparatus |
| US6473083B1 (en) * | 1995-02-03 | 2002-10-29 | Fujitsu Limited | Computer graphics data generating apparatus, computer graphics animation editing apparatus, and animation path generating apparatus |
| JP3347508B2 (ja) * | 1995-02-24 | 2002-11-20 | キヤノン株式会社 | 撮像画像処理装置および撮像画像処理方法 |
| JPH09259271A (ja) | 1996-03-22 | 1997-10-03 | Nippon Telegr & Teleph Corp <Ntt> | 人物照合装置 |
| US5901244A (en) * | 1996-06-18 | 1999-05-04 | Matsushita Electric Industrial Co., Ltd. | Feature extraction system and face image recognition system |
| JPH1021394A (ja) | 1996-07-01 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 個人照合装置 |
| JP3436293B2 (ja) * | 1996-07-25 | 2003-08-11 | 沖電気工業株式会社 | 動物の個体識別装置及び個体識別システム |
| US6483521B1 (en) * | 1998-02-02 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Image composition method, image composition apparatus, and data recording media |
| US6204857B1 (en) * | 1998-04-16 | 2001-03-20 | Real 3-D | Method and apparatus for effective level of detail selection |
| JP2000090264A (ja) * | 1998-09-11 | 2000-03-31 | Omron Corp | 生体照合方法およびその装置 |
| DE69934478T2 (de) * | 1999-03-19 | 2007-09-27 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen |
| JP3575679B2 (ja) * | 2000-03-31 | 2004-10-13 | 日本電気株式会社 | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 |
| US6891812B2 (en) | 2001-03-12 | 2005-05-10 | Qualcomm Incorporated | Method and apparatus for data rate control in a communication system |
| JP4256185B2 (ja) | 2003-03-24 | 2009-04-22 | スパンション エルエルシー | クリーンルームにおける気流制御構造 |
-
2000
- 2000-11-20 JP JP2000353402A patent/JP4167390B2/ja not_active Expired - Lifetime
-
2001
- 2001-11-13 US US10/014,075 patent/US7321370B2/en not_active Expired - Lifetime
- 2001-11-16 EP EP01127243A patent/EP1223540A3/en not_active Withdrawn
-
2007
- 2007-11-26 US US11/944,983 patent/US7593019B2/en not_active Expired - Lifetime
- 2007-11-26 US US11/944,952 patent/US7932913B2/en not_active Expired - Fee Related
- 2007-11-26 US US11/944,965 patent/US7710431B2/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003058896A (ja) * | 2001-08-10 | 2003-02-28 | Nec Corp | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
| JP4573085B2 (ja) * | 2001-08-10 | 2010-11-04 | 日本電気株式会社 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
| WO2011086803A1 (ja) | 2010-01-12 | 2011-07-21 | 日本電気株式会社 | 画像照合システム、画像照合方法、コンピュータプログラム |
| US8938132B2 (en) | 2010-01-12 | 2015-01-20 | Nec Corporation | Image collation system, image collation method and computer program |
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US12087130B2 (en) | 2018-07-25 | 2024-09-10 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US12106630B2 (en) | 2018-07-25 | 2024-10-01 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
| Publication number | Publication date |
|---|---|
| US7321370B2 (en) | 2008-01-22 |
| EP1223540A3 (en) | 2006-09-27 |
| EP1223540A2 (en) | 2002-07-17 |
| US7710431B2 (en) | 2010-05-04 |
| JP2002157595A (ja) | 2002-05-31 |
| US7593019B2 (en) | 2009-09-22 |
| US7932913B2 (en) | 2011-04-26 |
| US20080080763A1 (en) | 2008-04-03 |
| US20020097906A1 (en) | 2002-07-25 |
| US20080075359A1 (en) | 2008-03-27 |
| US20080094393A1 (en) | 2008-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4167390B2 (ja) | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 | |
| JP4553141B2 (ja) | 重み情報を用いた物体姿勢推定・照合システム | |
| JP2001283216A (ja) | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 | |
| JP6681729B2 (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
| Dornaika et al. | Fast and reliable active appearance model search for 3-d face tracking | |
| Blanz et al. | Fitting a morphable model to 3D scans of faces | |
| Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
| JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
| US20040190775A1 (en) | Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery | |
| JP4379459B2 (ja) | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 | |
| JP4780198B2 (ja) | 認証システム及び認証方法 | |
| JP4552431B2 (ja) | 画像照合装置、画像照合方法及び画像照合プログラム | |
| JP2004086929A5 (ja) | ||
| Conde et al. | Automatic 3D face feature points extraction with spin images | |
| CN110032927B (zh) | 一种人脸识别方法 | |
| Perakis et al. | Partial matching of interpose 3D facial data for face recognition | |
| JP3577908B2 (ja) | 顔画像認識システム | |
| Tsalakanidou et al. | Exploitation of 3D images for face authentication under pose and illumination variations | |
| Knyaz | Photogrammetric system for frontal face image acquisition | |
| JP2007140868A (ja) | 認証システム、認証方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060830 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060928 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061109 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070117 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080801 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4167390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |