JP4758218B2 - ３次元パターン位置・姿勢検出装置 - Google Patents

Description

この発明は、検出対象として人間の顔などの立体物を撮像し、この撮像された立体物の３次元パターンの位置および姿勢を検出する３次元パターン位置・姿勢検出装置に関するものである。

近年、コンピュータ室や重要機械室への入退室管理、コンピュータ端末や銀行の金融端末へのアクセス管理などの個人認証を必要とする分野において、これまでの暗証番号やＩＤカードに代わって、人間の顔や静脈など３次元の生体情報（バイオメトリクス）に基づいて個人認証を行う装置が開発されている。

例えば、検出対象（立体物）を互いに異なる位置から２台のカメラで撮像し、そのステレオ画像を基に撮像した立体物の各部分の凹凸を計測して３次元空間内における立体物の位置と姿勢を含む３次元パターンを作成し、登録時に得られた「登録３次元パターン」と照合時に得られた「照合３次元パターン」との間で照合を行う３次元パターン照合装置が提案されている（特許文献１参照）。

この３次元パターン照合装置において、照合３次元パターンと登録３次元パターンとは、照合精度を高めるうえで、その３次元パターンの位置ずれ（Ｘ，Ｙ，Ｚ軸方向のずれ）や回転ずれ（Ｘ，Ｙ，Ｚ軸の軸回りのずれ）を正確に求め、照合３次元パターンと登録３次元パターンとの位置および姿勢を合わせたうえで照合することが重要である。

従来より、３次元パターンの位置および姿勢を合わせる手法として、ＩＣＰ（Iterative Closest Point ）アルゴリズムがある（特許文献２参照）。このＩＣＰアルゴリズムでは、登録３次元パターンのデータをＭ、照合３次元パターンのデータをＭ’とした場合、照合３次元パターンと登録３次元パターンとの位置および姿勢は次の（１）〜（４）のようにして合わせられる。

（１）Ｍに含まれる全ての点ｍｉについて、最も近い点ｍｉ’をＭ’の中から探し、得られたｍｉとｍｉ’の組を対応点の組とする。
（２）現在の対応関係を基にして、２つの３次元パターンのデータＭ，Ｍ’間の最適な運動パターン（回転Ｒ，並進ｔ）を最小２乗法により推定する。
（３）上記（２）で得られたＲとｔを用いて、Ｍ’を座標変換する。
（４）Ｍと座標変換後のＭ’に対して、Ｒとｔの変化が十分に小さくなり、収束するまで、上記（１）〜（３）を繰り返す。

この場合、照合３次元パターンの位置および姿勢を登録３次元パターンの位置および姿勢に合わせ込むことによって、その合わせ込んだ結果から登録３次元パターンを基準とする照合３次元パターンの位置および姿勢を検出することができる。

特開平９−２５９２７１号公報 特開平９−２７７１８４号公報

しかしながら、上述した従来の３次元パターンの位置および姿勢の検出方法では、例えば検出対象を人間の顔のような生体情報とした場合、個人差が顕著であり、登録３次元パターンにおける特徴的な部分の位置や姿勢は定まった位置になるとは限らない。例えば、鼻の頭が低かったり、鼻筋が曲がっていたりすることがある。このような場合、照合３次元パターンと登録３次元パターンとで、対応する点を間違えて位置合わせが行われることがあり、照合３次元パターンの位置および姿勢を正しく検出することができないことがあった。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、検出対象として撮像された人間の顔の３次元パターンの位置および姿勢を正しくかつ確実に検出することが可能な３次元パターン位置・姿勢検出装置を提供することにある。

このような目的を達成するために、本発明は、検出対象として人間の顔を撮像し、この撮像された人間の顔の３次元パターンの位置および姿勢を検出する３次元パターン位置・姿勢検出装置において、検出対象に対して定められその注目部分を含む注目エリアの３次元パターンが基準位置および基準姿勢とされた３次元パターンを基準テンプレートとして記憶する基準テンプレート記憶手段と、撮像された人間の顔の３次元パターンと基準テンプレートとの位置合わせを行って撮像された人間の顔の３次元パターンの位置および姿勢を検出する位置・姿勢検出手段とを備え、基準テンプレートは、注目部分を鼻の頭および鼻筋とし、注目エリアを鼻の頭および鼻筋を含みかつ髪を含まないエリアとし、検出対象である人間の顔の平均的な３次元パターンから注目エリアの３次元パターンを抽出し、この抽出した注目エリアの３次元パターンの鼻の頭をＸ＝０，Ｙ＝０，Ｚ＝０として基準位置とし、鼻筋をＹ軸に位置させて基準姿勢とした３次元パターンであることを特徴とする。なお、本発明において、「位置合わせ」とは、「位置」と「姿勢」の両方を合わせることを意味している。

本発明では、検出対象として撮像された人間の顔の３次元パターンと基準テンプレート（注目エリア（鼻の頭および鼻筋を含みかつ髪を含まないエリア）の３次元パターンの鼻の頭をＸ＝０，Ｙ＝０，Ｚ＝０として基準位置とし、鼻筋をＹ軸に位置させて基準姿勢とした３次元パターン）との位置合わせをＩＣＰアルゴリズムなどにより行って、撮像された人間の顔の３次元パターンの位置および姿勢を検出する。
基準テンプレートにおいて、注目部分である「鼻の頭」および「鼻筋」を含む注目エリアの３次元パターンは基準位置および基準姿勢とされ、個人差がない標準的なものとされている。したがって、撮像された人間の顔の３次元パターンと基準テンプレートとの位置合わせが個人差のない注目部分との対応をとるようにして行われるようになり、対応する点を間違えて位置合わせが行われる虞れが少なくなり、撮像された人間の顔の３次元パターンの位置および姿勢を正しくかつ確実に検出することが可能となる。

なお、基準テンプレートに「髪型」が含まれ、基準テンプレートの「髪型」と撮像された人間の顔の「髪型」とが同じであったような場合、「鼻の頭」や「鼻筋」ではなく、「髪型」との対応をとるようにして位置合わせが行われてしまう虞れがある。そこで、本発明では、基準テンプレートを、鼻の頭および鼻筋を含みかつ髪を含まないエリア（注目エリア）の３次元パターンとする。すなわち、基準テンプレートから「髪型」を除外することで、撮像された人間の顔の３次元パターンの位置および姿勢の検出精度を高める。

本発明によれば、検出対象（人間の顔）に対してその注目部分（鼻の頭および鼻筋）を含む注目エリア（鼻の頭および鼻筋を含みかつ髪を含まないエリア）の３次元パターンを基準位置および基準姿勢とした基準テンプレートを定め、この基準テンプレートとの位置合わせを行って撮像された人間の顔の３次元パターンの位置および姿勢を検出するようにしたので、対応する点を間違えて位置合わせが行われる虞れを少なくし、撮像された人間の顔の３次元パターンの位置および姿勢を正しくかつ確実に検出することが可能となる。

また、本発明によれば、注目部分を鼻の頭および鼻筋とし、注目エリアを鼻の頭および鼻筋を含みかつ髪を含まないエリアとし、基準テンプレートから「髪型」を除外することで、撮像された人間の顔の３次元パターンの位置および姿勢の検出精度を高めることが可能となる。

以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態１：３次元パターン位置・姿勢検出装置〕
図１は本発明に係る３次元パターン位置・姿勢検出装置の一実施の形態の要部を示すブロック図である。

同図において、１は検出対象として人間の顔を２台のカメラ１−１および１−２で撮像し、そのステレオ画像を基に撮像した顔の各部分の凹凸を計測して３次元パターン（検出対象３次元顔パターン）ＰＸを作成する３次元パターン作成部、２は検出対象（人間の顔）に対して定められた基準テンプレートＰＲを記憶する基準テンプレート記憶部、３は３次元パターン作成部１から送られてくる検出対象３次元顔パターンＰＸと基準テンプレート記憶部２から読み出した基準テンプレートＰＲとの位置合わせを行って検出対象３次元顔パターンＰＸの位置および姿勢を検出する位置・姿勢検出部である。

この実施の形態において、基準テンプレートＰＲは、例えば、検出対象である人間の顔の平均的な３次元パターン（平均３次元顔パターン）を作成し、この平均３次元顔パターンから注目部分として「鼻の頭」および「鼻筋」を含む注目エリアの３次元パターンを抽出し、その抽出した注目エリアの３次元パターンの「鼻の頭（Ａ）」をＸ＝０，Ｙ＝０，Ｚ＝０として基準位置とし、「鼻筋（Ｂ）」をＹ軸に位置させて基準姿勢としたものである。図４に人間の顔における注目エリアＡＲとこの注目エリアＡＲに含まれる注目部分ＴＡとの関係を示す。本実施の形態では、鼻を中心とし、目や口、髪を含まないエリアとして、注目エリアＡＲを定めている。

なお、鼻の頭の位置、鼻筋ラインを合わせて単純に３次元的な平均を求めると、平均３次元顔パターン（平均顔）ができる。また、２つの目と鼻の位置で大きさを正規化して平均化し、平均顔を作成してもよい。

この実施の形態において、位置・姿勢検出部３は、検出対象３次元顔パターンＰＸと基準テンプレートＰＲとの位置合わせをＩＣＰアルゴリズムにより行って、検出対象３次元顔パターンＰＸの位置および姿勢を検出する。この場合、基準テンプレートＰＲのデータをＭ、検出対象３次元顔パターンＰＸのデータをＭ’とし、検出対象３次元顔パターンＰＸと基準テンプレートＰＲとの位置および姿勢を次の（１）〜（４）のようにして合わせ込むことによって、基準テンプレートＰＲを基準とする検出対象３次元顔パターンＰＸの位置および姿勢を検出する。

（１）Ｍに含まれる全ての点ｍｉについて、最も近い点ｍｉ’をＭ’の中から探し、得られたｍｉとｍｉ’の組を対応点の組とする。
（２）現在の対応関係を基にして、２つの３次元パターンのデータＭ，Ｍ’間の最適な運動パターン（回転Ｒ，並進ｔ）を最小２乗法により推定する。
（３）上記（２）で得られたＲとｔを用いて、Ｍ’を座標変換する。
（４）Ｍと座標変換後のＭ’に対して、Ｒとｔの変化が十分に小さくなり、収束するまで、上記（１）〜（３）を繰り返す。

なお、本実施の形態では、計算を高速化するために、ＩＣＰアルゴリズムの初期段階では、少ない数の対応点を使用して大まかな位置合わせを行い、処理が進むにつれて徐々に対応点の数を増やし、位置を合わせるようにしている。

基準テンプレートＰＲにおいて、「鼻の頭（Ａ）」や「鼻筋（Ｂ）」は基準位置および基準姿勢とされ、個人差がない標準的なものとされている。したがって、検出対象３次元顔パターンＰＸと基準テンプレートＰＲとの位置合わせが、基準テンプレートＰＲ中の個人差のない「鼻の頭（Ａ）」や「鼻筋（Ｂ）」との対応をとるようにして行われるようになる。これにより、対応する点を間違えて位置合わせが行われる虞れが少なくなり、検出対象３次元顔パターンＰＸの位置および姿勢を正しくかつ確実に検出することができるようになる。

また、本実施の形態では、「鼻の頭（Ａ）」や「鼻筋（Ｂ）」を含む限られたエリアの３次元パターンを基準テンプレートＰＲとしているので、すなわち基準テンプレートＰＲから「髪型」など余計な部分を除外しているので、「髪型」との対応をとるようにして位置合わせが行われてしまう虞れがなく、検出対象３次元顔パターンＰＸの位置および姿勢の検出精度が高まる。

なお、本実施の形態において、基準テンプレートＰＲには「鼻」だけではなく、「目」や「口」などを注目部分として含ませるようにしてもよい。また、人間の顔の平均的な３次元パターン（平均顔）を作成するのではなく、平均と思われる人の顔の３次元パターンから注目部分を抽出し、基準テンプレートＰＲを作成するようにしてもよい。また、世界的に見た場合、国や地域によって人間の顔の平均的な３次元パターンは異なると考えられ、国や地域毎に代表的な基準テンプレートＰＲを作るようにしてもよい。また、基準テンプレートＰＲに含ませる注目部分を手動で指定するようにしてもよい。

また、本実施の形態では、検出対象３次元顔パターンＰＸと基準テンプレートＰＲとの位置合わせをＩＣＰアルゴリズムによって行うようにしたが、必ずしもＩＣＰアルゴリズムによらなくてもよい。

〔実施の形態２：３次元パターン照合装置（１：１照合）〕
図２は本発明に係る３次元パターン位置・姿勢検出装置を含む３次元パターン照合装置の一実施の形態の要部を示すブロック図である。同図において、図１と同一符号は図１を参照して説明した構成要素と同一或いは同等構成要素を示し、その説明は省略する。

この３次元パターン照合装置は、３次元パターン作成部１と、基準テンプレート記憶部２と、第１の位置・姿勢検出部３−１と、第２の位置・姿勢検出部３−２と、データベース４と、照合部５とを備えている。

第１の位置・姿勢検出部３−１は、基準テンプレート記憶部２から基準テンプレートＰＲを読み出し、３次元パターン作成部１から送られてくる照合対象の３次元顔パターン（照合対象３次元顔パターン）ＰＸと基準テンプレートＰＲとの位置合わせをＩＣＰアルゴリズムにより行って、その位置および姿勢を修正した照合３次元顔パターンＰＸ’として照合部５へ送る。

第２の位置・姿勢検出部３−２は、基準テンプレート記憶部２から基準テンプレートＰＲを読み出し、３次元パターン作成部１から送られてくる登録対象の３次元顔パターン（登録対象３次元顔パターン）ＰＹと基準テンプレートＰＲとの位置合わせをＩＣＰアルゴリズムにより行って、その位置および姿勢を修正した登録３次元顔パターンＰＹ’としてデータベース４に記憶させる。

照合部５は、位置・姿勢検出部３−１から照合３次元顔パターンＰＸ’が送られてくると、データベース４から登録３次元顔パターンＰＹ’を読み出し、照合３次元顔パターンＰＸ’と登録３次元顔パターンＰＹ’との照合を行う。この照合に際し、照合３次元顔パターンＰＸ’および登録３次元顔パターンＰＹ’は、基準テンプレートＰＲの「鼻の頭（Ａ）」や「鼻筋（Ｂ）」との対応をとるようにして、基準テンプレートＰＲとの位置合わせが正しくかつ確実に行われている。したがって、照合３次元顔パターンＰＸ’と登録３次元顔パターンＰＹ’とが、その位置および姿勢を正しく合わせた状態で照合される。

ＩＣＰアルゴリズムは演算が収束するまで何回も演算を繰り返し行うので非常に時間がかかる。本実施の形態では、ＩＣＰアルゴリズムによって位置合わせを行った登録対象の３次元顔パターンＰＹを登録３次元顔パターンＰＹ’としてデータベース４に格納し、このデータベース４に格納した登録３次元顔パターンＰＹ’を必要に応じて読み出して照合３次元顔パターンＰＸ’との照合を行うようにしているので、照合時のＩＣＰアルゴリズムによる位置合わせは位置・姿勢検出部３−１での１回でよく、処理時間が短くて済む。

なお、この実施の形態では、登録対象３次元顔パターンＰＹの位置および姿勢を修正し、この位置および姿勢が修正された登録３次元顔パターンＰＹ’をデータベース４に記憶するようにしたが、登録対象３次元顔パターンＰＹを記憶しておき、照合時に登録対象３次元顔パターンＰＹの位置および姿勢を修正し、照合３次元顔パターンＰＸ’との照合を行うようにしてもよい。この場合、照合時の位置合わせとして、照合対象３次元顔パターンＰＸと基準テンプレートＰＲとの位置合わせに加え、登録対象３次元顔パターンＰＹと基準テンプレートＰＲとの位置合わせが必要となるが、１：１照合の場合には２回の位置合わせで済むので、照合スピードがそれほど落ちることはない。勿論、データベース４に登録３次元顔パターンＰＹ’を記憶させて、照合を行うようにした方がよいことは言うまでもない。

〔実施の形態３：３次元パターン照合装置（１：Ｎ照合）〕
ＩＣＰアルゴリズムは演算が収束するまで何回も演算を繰り返し行うので非常に時間がかかる。１：Ｎ照合を行う場合、Ｎ＋１回のＩＣＰアルゴリズムによる位置合わせが必要となり、これを照合時に行っていたのでは、処理時間が莫大となり、照合スピードが落ちる。そこで、１：Ｎ照合では、図３に示すように、位置・姿勢検出部３−２において登録対象３次元顔パターンＰＹ１，ＰＹ２・・・・ＰＹＮと基準テンプレートＰＲとの位置合わせを各個にＩＣＰアルゴリズムによって行い、その位置および姿勢を修正した登録３次元顔パターンＰＹ１’，ＰＹ２’・・・・ＰＹＮ’をデータベース４に記憶させておく。

照合部５は、照合３次元顔パターンＰＸ’が送られてくると、データベース４から登録３次元顔パターンＰＹ１’，ＰＹ２’・・・・ＰＹＮ’を順次読み出して、照合３次元顔パターンＰＸ’との照合を行う。この照合に際し、登録３次元顔パターンＰＹ１’，ＰＹ２’・・・・ＰＹＮ’は登録時にすでにＩＣＰアルゴリズムによる位置合わせが行われているので、ＩＣＰアルゴリズムによる位置合わせを一々行わなくてもよい。したがって、照合時にその都度ＩＣＰアルゴリズムによる位置合わせを行う場合と比較し、処理時間を大幅に短縮し、高スピードで１：Ｎ照合を行うことができる。

なお、上述した３次元パターン照合装置では、照合用として第１の位置・姿勢検出部３−１を、登録用として第２の位置・姿勢検出部３−２を設けたが、第１の位置・姿勢検出部３−１を照合と登録との兼用とし、第２の位置・姿勢検出部３−２を省略するようにしてもよい。また、照合部５での照合は、特徴点方式としたり、相関方式としたりするなど、どのような照合方式を採用してもよい。

また、照合３次元顔パターンＰＸ’と登録３次元顔パターンＰＹ’との照合の前に、その照合３次元顔パターンＰＸ’および登録３次元顔パターンＰＹ’の「鼻の頭」や「鼻筋」を含む注目エリアの個々のパターンデータに重み付けを行うようにしてもよい。これにより、「鼻の頭」や「鼻筋」を含む注目エリアの個々のパターンデータを他のエリアのパターンデータよりも強調し、照合精度を高めることが可能となる。

また、基準テンプレートＰＲを定める際の人間の顔の平均的な３次元パターン（平均３次元顔パターン）として、例えば登録３次元顔パターンＰＹ１〜ＰＹＮの平均をとった登録平均３次元顔パターンを作成し、その作成した登録平均３次元顔パターンから注目部分を抽出して基準テンプレートＰＲを作成するようにしてもよい。このようにすると、基準テンプレートＰＲに利用者の顔の情報が反映されるとものとなり、位置合わせの精度が高まり、さらに照合精度がアップする。

本発明に係る３次元パターン位置・姿勢検出装置の一実施の形態（実施の形態１）の要部を示すブロック図である。 本発明に係る３次元パターン位置・姿勢検出装置を含む３次元パターン照合装置の一実施の形態（実施の形態２）の要部を示すブロック図である。 １：Ｎ照合を行う場合の３次元パターン照合装置（実施の形態３）の要部を示すブロック図である。 人間の顔における注目エリアとこの注目エリアに含まれる注目部分との関係を示す図である。

符号の説明

１…３次元パターン作成部、１−１，１−２…カメラ、２…基準テンプレート記憶部、３，３−１，３−２…位置・姿勢検出部、４…データベース、５…照合部、ＰＲ…基準テンプレート、ＰＸ…検出対象３次元顔パターン（照合対象３次元顔パターン）、ＰＹ…登録対象３次元顔パターン、ＰＸ’…照合３次元顔パターン、ＰＹ’…登録３次元顔パターン、ＡＲ…注目エリア、ＴＡ…注目部分。

Claims (1)

1. 検出対象として人間の顔を撮像し、この撮像された人間の顔の３次元パターンの位置および姿勢を検出する３次元パターン位置・姿勢検出装置において、
   前記検出対象に対して定められその注目部分を含む注目エリアの３次元パターンが基準位置および基準姿勢とされた３次元パターンを基準テンプレートとして記憶する基準テンプレート記憶手段と、
   前記撮像された人間の顔の３次元パターンと前記基準テンプレートとの位置合わせを行って前記撮像された人間の顔の３次元パターンの位置および姿勢を検出する位置・姿勢検出手段とを備え、
   前記基準テンプレートは、
   前記注目部分を鼻の頭および鼻筋とし、前記注目エリアを鼻の頭および鼻筋を含みかつ髪を含まないエリアとし、前記検出対象である人間の顔の平均的な３次元パターンから前記注目エリアの３次元パターンを抽出し、この抽出した注目エリアの３次元パターンの鼻の頭をＸ＝０，Ｙ＝０，Ｚ＝０として基準位置とし、鼻筋をＹ軸に位置させて基準姿勢とした３次元パターンである
   ことを特徴とする３次元パターン位置・姿勢検出装置。

Images