JP3988554B2 - 画像照会用情報構築方法および画像照会方法 - Google Patents
画像照会用情報構築方法および画像照会方法 Download PDFInfo
- Publication number
- JP3988554B2 JP3988554B2 JP2002203710A JP2002203710A JP3988554B2 JP 3988554 B2 JP3988554 B2 JP 3988554B2 JP 2002203710 A JP2002203710 A JP 2002203710A JP 2002203710 A JP2002203710 A JP 2002203710A JP 3988554 B2 JP3988554 B2 JP 3988554B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face image
- face
- storage device
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は画像照会用情報構築方法および画像照会方法に関し、特に、精度の高い個人認証を行なうことのできる画像照会用情報構築方法および画像照会方法に関する。
【０００２】
【従来の技術】
今日、セキュリティの分野において、バイオメタリクスの需要が高まっている。その中でも、顔による個人認証は、利用者に負担がかからないという点で重要な研究分野となっている。
【０００３】
従来、画像内の人物の顔を認識する方法として、個人の顔のテンプレートマッチング方法が提案されている。例えば、米国特許第５１６４９９２号においては、圧縮モデルを用いた固有顔テンプレートマッチングについて開示されている。
【０００４】
また、論文「Ｖｉｅｗ−ｂａｓｅｄ ａｎｄ Ｍｏｄｕｌａｒ Ｅｉｇｅｎｓｐａｃｅｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ」（Ｍ．Ｉ．Ｔ Ｍｅｄｉａ Ｌａｂｏｒａｔｏｒｙ Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４５）においては、目などの部位の固有空間を用いた認証法が提案されている。
【０００５】
また、「個人照合と身体特徴画像認識−顔パスシステム−」（映像情報 １９９６ ｖｏｌ．２８）においては、目尻を基準点として大きさと傾きとを正規化した後に、目、鼻、および口に対して順番にテンプレートマッチングを行ない、テンプレートとの距離がしきい値以内に入らない部位があればリジェクトするシステムが提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述の米国特許第５１６４９９２号において提案されている固有顔テンプレートマッチングでは顔全体を用いてテンプレートマッチングを行なうため、照明等の変動や表情の変化、およびオクルージョン等に対して完全にロバストではないという問題があった。また、局所的な個人特有の特徴と利用した高精度の認証ができないという問題があった。
【０００７】
また、上述の論文「Ｖｉｅｗ−ｂａｓｅｄ ａｎｄ Ｍｏｄｕｌａｒ Ｅｉｇｅｎｓｐａｃｅｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ」や上述の「個人照合と身体特徴画像認識−顔パスシステム−」においては、各部位に関する情報を組合わせる認証法や個人特徴を抽出する認証法については言及されておらず、そのような認証法で得られるであろう高いロバスト性が得られないという問題があった。
【０００８】
またさらに、上述の「個人照合と身体特徴画像認識−顔パスシステム−」において提案されているシステムでは、画像特徴としてピクセルごとの輝度値を利用するため、データベースの記憶容量が大量に必要であるという問題もあった。
【０００９】
本発明はこれらの問題に鑑みてなされたものであって、ロバストに個人認証を行なう画像照会用情報構築方法および画像照会方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、画像照会用情報構築方法は画像照会を行なうための情報を記憶装置に登録する方法であって、登録対象を含む登録対象画像より顔画像を検出する第１検出ステップと、顔画像より所定の部位領域を検出する第２検出ステップと、部位領域の画素値をベクトル化して、顔画像の上記部位についての特徴ベクトルを算出する第１算出ステップと、顔画像の部位ごとに算出された特徴ベクトルを記憶装置に格納する第１格納ステップと、記憶装置にすでに格納されている上記部位についての特徴ベクトルと、顔画像の上記部位についての特徴ベクトルとの主成分分析を行なって、上記部位についての固有ベクトルを算出する第２算出ステップと、固有ベクトルで構成される上記部位の固有空間に顔画像の上記部位についての特徴ベクトルを投影して、顔画像の上記部位についての特徴パラメータを算出する第３算出ステップと、顔画像の部位ごとに算出された特徴パラメータに基づいて、顔画像の特異度を算出し、特異度に基づいて上記部位の重み係数を算出する第４算出ステップと、部位ごとに算出された固有ベクトルと顔画像についての重み係数とを記憶装置に格納する第２格納ステップとを備える。
【００１１】
また、本発明の他の局面に従うと、画像照会用情報構築方法は画像照会を行なうための情報を記憶装置に登録する方法であって、登録対象を含む登録対象画像より顔画像を検出する第１検出ステップと、顔画像より所定の部位領域を検出する第２検出ステップと、上記部位領域の画素値をベクトル化して、顔画像の上記部位についての特徴ベクトルを算出する第１算出ステップと、顔画像の部位ごとに算出された特徴ベクトルを記憶装置に格納する第１格納ステップと、記憶装置にすでに格納されている上記部位についての特徴ベクトルと、顔画像の上記部位についての特徴ベクトルとの主成分分析を行なって、上記部位についての固有ベクトルを算出する第２算出ステップと、固有ベクトルで構成される上記部位の固有空間に顔画像の上記部位についての特徴ベクトルを投影して、顔画像の上記部位についての特徴パラメータを算出する第３算出ステップと、顔画像の部位ごとに算出された特徴パラメータを連結して、顔画像についての混成ベクトルを算出する第４算出ステップと、顔画像についての混成ベクトルを記憶装置に格納する第２格納ステップと、記憶装置にすでに格納されている混成ベクトルと、顔画像についての混成ベクトルとの主成分に基底される固有空間に、顔画像についての混成ベクトルを投影して顔画像についての統合パラメータを算出し、統合パラメータを用いて混合ベクトルを算出する第５算出ステップと、顔画像についての混成ベクトルと、顔画像についての統合パラメータとを記憶装置に格納する第３格納ステップとを備える。
【００１２】
好ましくは、画像照会用情報構築方法は、第２検出ステップにおいて顔画像より検出した第１部位および第２部位について、それらの位置関係が規定の位置関係となるように、顔画像の大きさおよび傾きを正規化する正規化ステップをさらに備える。
【００１４】
本発明のさらに他の局面に従うと、画像照会方法は画像照会を行なうための情報が登録されている記憶装置を備える画像照会システムにおける画像照会方法であって、照会対象を含む照会対象画像である顔画像を入力する入力ステップと、顔画像より第１部位領域を検出する検出ステップと、上記部位領域の画素値をベクトル化して、顔画像の第１部位についての第１特徴ベクトルを算出する第１算出ステップと、第１部位を特定する特定ステップとを備え、特定ステップは、記憶装置に格納されている各部位についての固有ベクトルを基底ベクトルとする各固有空間の各々に、顔画像の第１部位についての第１特徴ベクトルを投射することで第１部位の特徴パラメータを各部位についての固有空間ごとに得るステップと、第１部位についての第１特徴ベクトルと記憶装置に格納されている各部位についての固有ベクトルとに基づいて、第１部位についての第２特徴ベクトルを再構築するステップと、再構築された第２特徴ベクトルを、記憶装置に格納されている各第２部位についての固有ベクトルを基底ベクトルとする各固有空間の各々に投射し、第２部位の固有空間内での第１部位の第２特徴ベクトルへの距離を計算するステップと、距離がしきい値以内である場合に第１部位を第２部位と特定するステップとを含み、顔画像の部位ごとに算出された特徴パラメータに基づいて顔画像の特異度を算出する第２算出ステップと、算出された特異度に基づいて、顔画像の各部位に対する重みを決定する決定ステップと、部位ごとの、記憶装置に記憶されている特徴パラメータと、顔画像についての特徴パラメータとの間の距離を、重みを考慮して顔について統合して統合距離を算出する第３算出ステップと、照会する照会対象と記憶装置に予め登録されている照会対象との照合を行なう統合距離の小さい順に前記記憶装置に登録されている情報をソートする照合ステップとをさらに備える。
【００１５】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００１６】
［第１の実施の形態］
図１は、第１の実施の形態における人物認証システムの構成の具体例を示す図である。図１を参照して、本実施の形態における人物認証システムは、画像を取得するカメラ２と、カメラ２から入力された画像の処理を行なうパーソナルコンピュータ等のコンピュータ（以下、ＰＣと言う）１とから構成される。
【００１７】
さらに図１を参照して、ＰＣ１は、ＣＰＵ（Central Processing Unit）１０１によって制御され、カメラＩ／Ｆ（インタフェース）１０７（画像キャプチャ部とも言われる）を介してカメラ２から入力された画像の処理を行なう。ＣＰＵ１０１で実行されるプログラムは、記憶部であるＨＤＤ（Hard Disk Drive）１０２またはＲＯＭ（Read Only Memory）１０３に記憶される。そして、ＲＡＭ（Random Access Memory）１０４は、ＣＰＵ１０１でプログラムが実行される際の一時的な作業領域となる。また、ＲＡＭ１０４は、人物認証のためのデータベースが格納されている領域でもある。ユーザは、キーボードやマウス等の入力部（Input Unit）１０５から情報や指示を入力する。また、入力部１０５は、フレキシブルディスク等の記録媒体から情報の入力を受付ることもできる。このように、カメラ２や記録媒体やユーザ等から受付けた画像やその処理結果、および情報等は、ディスプレイ１０６に表示される。なお、図１に示される構成は一般的なパーソナルコンピュータの構成であって、ＰＣ１の構成は図１に示される構成に限定されない。また、カメラ２は、画像を取得してＰＣ１に入力する手段を備える一般的な装置であって、デジタルカメラ、デジタルビデオカメラ、スキャナ等のその他の装置であっても構わない。
【００１８】
このような人物認証システムにおいてＰＣ１では、図２に示される処理が実行される。図２を参照して、ＰＣ１は、カメラ２からカメラＩ／Ｆ１０７を介して画像の入力を受付ける（Ｓ０１）。ステップＳ０１では、カメラＩ／Ｆ１０７を介してカメラ２から直接画像の入力を受付けてもよいし、入力部１０５を介して記憶媒体に保存された画像の入力を受付けてもよい。そして、ＰＣ１は、入力した画像から顔領域を検索する（Ｓ０２）。ステップＳ０２では、入力した画像内にウィンド領域を定義し、そのウィンド領域と予め記憶されている顔画像テンプレートとを比較する。このウィンド領域を入力画像全体にわたって動かして入力画像全体から顔領域を検索する。なお、入力画像が動画像データである場合にはその差分画像を作成して、差分画像から動き領域を検出することによりウィンド領域の検索範囲を狭めることができる。
【００１９】
さらに、ＰＣ１は、入力した画像から個人認証を行ない（Ｓ０３）、認証結果である、登録された人物を示す名前や記憶画像や予め割振られている番号等のＩＤを、ディスプレイ１０６に出力する（Ｓ０４）。あるいは、登録されていない人物である旨のメッセージや警告等をディスプレイ１０６に出力することもできる。
【００２０】
上述の人物認証システムにおける処理は、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。ＣＰＵ１０１は、上述の処理を行なうための構成要素（図示せず）を含み、それらを制御することで上述の処理を実行させる。
【００２１】
さらに、人物認証システムでは、ステップＳ０３に示される個人認証を行なう構成要素において、以下の２つのモジュールが実行される。すなわち、人物認証を行なうために、入力された画像を用いて学習する学習モジュールと、入力された画像から人物を認証する認証モジュールとが実行される。図３は、学習モジュールの処理の流れを示す図であり、図４は、認識モジュールの処理の流れを示す図である。
【００２２】
図３を参照して、学習モジュールにおいては、ステップＳ０２で検索された顔候補領域から、両目の位置を検出して、所定の顔の大きさに画像を正規化する前処理を行なう（Ｓ３１）。次に、正規化された登録すべき多数の顔画像に対して、目や口等の部位領域（部分領域）内のピクセルの輝度等の値をベクトル化する。そして、部位ごとに主成分分析を行なって固有ベクトルを算出する（Ｓ３２）。さらに、登録すべき多数の顔画像の内の各人物に対して、ステップＳ３２で算出された固有ベクトルを固有空間に射影（投影）し、部位ごとに特徴パラメータを算出する（Ｓ３３）。そして、ステップＳ３３で算出された部位ごとの特徴パラメータを用いて、個人特徴を示す特異度を算出する。また、特異度に基づいて、部位（部分領域）の重み係数を求める（Ｓ３４）。
【００２３】
さらに、ステップＳ３２で得られる部位ごとの固有ベクトルは部位基底ベクトルデータベース２０１に格納され、ステップＳ３３で得られる人物ごとの特徴パラメータおよびステップＳ３４で得られる重み係数は人物パラメータデータベース２０２に格納される。このようにして、本実施の形態における人物認証システムでは人物の登録が実行される。そして、これらのデータベースに格納された情報に基づいて、入力された画像から人物の認証が行なわれる。
【００２４】
次に、図４を参照して、認識モジュールにおいては、学習モジュールにおける処理と同様にして、ステップＳ０２で検索された顔候補領域から前処理が行なわれる（Ｓ３５）。次に、正規化された認識する顔画像に対して、目や口等の部位領域（部分領域）内のピクセルの輝度等の値をベクトル化する。そして、部位ごとに特徴空間に射影して特徴パラメータを算出する（Ｓ３６）。特徴空間を構成する基底ベクトルは、上述の学習モジュールで登録された多数の顔画像の各部位から得られる固有ベクトルに統計的な解析を施して得られるベクトルであって、部位基底ベクトルデータベース２０１に記憶されている。さらに、ステップＳ３６で算出された部位ごとの特徴パラメータを用いて、学習モジュールにおける処理と同様にして、部位（部分領域）の重み係数を求める（Ｓ３７）。このようにしてステップＳ３６およびステップＳ３７で得られた特徴パラメータおよび重み係数と、上述の学習モジュールで人物パラメータデータベース２０２に格納されている登録された人物の特徴パラメータおよび重み係数とを用いて、入力された顔画像と登録された顔画像との距離を計算して比較する（Ｓ３８）。このようにして、本実施の形態における人物認証システムでは人物の認証が実行される。
【００２５】
さらに、先にモジュールで示された、本実施の形態における人物認証システムで行なわれる人物の登録処理について、図５にフローチャートを挙げて説明する。図５のフローチャートに示される処理は、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。
【００２６】
図５を参照して、まず、図５に示される処理は、ＰＣ１が画像の入力を受付けることで開始する。ここでの入力は、上述の如く、カメラＩ／Ｆ１０７を介した入力であってもよいし、入力部１０５で記憶媒体を読取ることによる入力であってもよいし、入力部１０５でユーザからの入力を受付けることであってもよい。
【００２７】
始めに、入力した画像から両目を検出する（Ｓ１０１）。すなわち、ステップＳ１０１では、入力した画像から顔ｉを検出する。そして、入力した顔ｉに対して、検出した両目より黒目の中心座標を用いて両目の間の距離を一定にするような変換を行ない、顔画像の大きさと傾きとを正規化する（Ｓ１０４）。さらに、検出した両目領域より所定の位置移動した領域において口を検出する（Ｓ１０５）。以上のステップＳ１０１〜Ｓ１０５で行なう検出処理は上述のステップＳ３１に示す前処理であって、認識モジュールでの前処理（ステップＳ３５）と共に、後に詳細な説明を行なう。
【００２８】
上述のステップＳ１０１〜Ｓ１０５で両目および口を検出すると、各部位（両目および口）ごとの領域のピクセルの輝度等の値をベクトル化し、特徴ベクトルを算出する。また、その輝度の正規化も行なう（Ｓ１０６）。これによって、登録される顔ｉの各々の部位の特徴がベクトルで表わされる。
【００２９】
上述のステップＳ１０３〜Ｓ１０６の処理をＮ個の入力した顔ｉの全てに対して実行する（Ｓ１０２，Ｓ１０７，Ｓ１０３でＮｏ）。そして、Ｎ個の入力した顔ｉとすでに登録されている顔と（以下、これらの顔を単に全ての顔とのみ言う）の、部位ごとの特徴ベクトルの主成分分析を行なって固有ベクトルを算出し、各部位ごとに固有空間を生成する（Ｓ１０８）。ステップＳ１０８で生成される固有空間は、全ての顔の各部位の特徴を表わす空間である。このように主成分分析を行なって固有ベクトルを算出することで、特徴ベクトルの成分の数が主成分の数に圧縮される。なお、ステップＳ１０８で算出された固有ベクトルは、部位規定ベクトルデータベース２０１に記憶される。
【００３０】
さらに、ステップＳ１０８で算出された全ての顔の部位ごとの固有ベクトルを用いて、入力された顔ｉの部位ごとの特徴パラメータ（固有空間展開係数）を計算する（Ｓ１１１）。すなわち、ステップＳ１１１では、上述の部位ごとの固定空間に、入力された顔ｉの部位ごとの特徴ベクトルを投影することで、入力された顔ｉの部位ごとの特徴パラメータを計算する。ステップＳ１１１で計算される特徴パラメータとは、全ての顔の部位ｔの固有空間において、入力された顔ｉの部位ｔの位置を表わす展開係数（固有係数とも言う）である。すなわち、全ての顔の部位ｔの特徴における、入力された顔ｉの部位ｔの特徴の位置を表わす係数であると言える。
【００３１】
そして、ステップＳ１１１での計算を、Ｎ個の入力した顔ｉの全てに対して実行し（Ｓ１０９，Ｓ１１２，Ｓ１１０でＮｏ）、入力した各々の顔ｉについての特徴パラメータを計算する。なお、ステップＳ１１１で計算された各部位の特徴パラメータは、入力された顔ｉごとに、人物パラメータデータベース２０２に記憶される。
【００３２】
そして、ステップＳ１１１で計算した各部位の特徴パラメータに基づいて、入力した各々の顔ｉについて、各部位の個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて入力した各々の顔ｉごとに各部位に対する重みを決定する。各部位に対する重みとは、顔ｉの全ての部位の特異度に対する、各部位の特異度の比率を示すものである。その具体例については、後述する。そして、計算された特異度は、人物パラメータデータベース２０２に記憶される（Ｓ１１３）。
【００３３】
以上で、本実施の形態における人物認証システムで行なわれる人物の登録処理が終了し、入力されたに含まれる人物が、人物認証の対象として、人物認証システムのデータベースに記憶される。
【００３４】
このように、本実施の形態における人物認証システムで人物の登録を行なう際には、データベース２０１，２０２に、顔の各部位の固有ベクトルと、顔ごとの特徴パラメータおよび特異度とのみが記憶される。すなわち、全ての顔の各部位の全体としての特徴（固有ベクトル）と、その特徴に対するその人物の顔の各部位の位置（特徴パラメータおよび特異度）とのみ記憶され、各人の画像等の情報が記憶されない。そのため、人物認証システムに備えるデータベースの記憶容量を小さくすることができる。
【００３５】
なお、上述の登録処理においては、予めデータベース２０１，２０２に登録されている顔情報と入力された顔の情報とを比較したパラメータを登録する方法が示されているが、予め登録されている顔の情報と比較するのみならず、一般的な顔の情報や所定の顔の情報等と比較することによって得られたパラメータを登録する方法で人物の登録を行なってもよい。
【００３６】
さらに、上述のステップＳ１１３での特異度の計算方法について、具体的な式を挙げて説明する。
【００３７】
第１の計算方法においては、ステップＳ１１１である人物の顔ｋ0から得られる部位ｔの特徴パラメータを
ｃ＝（ｃ1 k0，ｃ2 k0，・・・，ｃn k0）
とすると、顔ｋ0の部位ｔの特異度Ｄt k0は、平均からの距離として以下の式（１）で定義することができる。
【００３８】
【数１】
【００３９】
第２の計算方法においては、分散情報を利用して、より厳密に特異度を定義することができる。すなわち、顔ｋ0から得られる部位ｔの主成分ごとの固有値をλ１，λ２，・・・，λｎとすると、ステップＳ１１１で得られる顔ｋ0の部位ｔの特徴パラメータを、前記固有値λの分散を用いて正規化して、
【００４０】
【数２】
【００４１】
とすることができる。そして、この特徴パラメータｃ’に上述の式（１）を適用することでも顔ｋ0の部位ｔの特異度Ｄt k0を定義することができる。
【００４２】
さらに第３の計算方法においては、以下の式（２）に示すように、この正規化された特徴パラメータｃ’に対して、顔ｋ0の特徴ベクトルを中心とする主軸ごとの２次モーメントを計算し、その和を特異度と定義することができる。
【００４３】
【数３】
【００４４】
なお、上述の式（２）において、ｐは全ての顔の数を表わす。
このように定義される特異度Ｄt k0を用いて上述のステップＳ１１３で決定される顔ｋ0の部位ｔの重みωtは、以下の式（３）で定義することができる。
【００４５】
【数４】
【００４６】
なお、上述の式（３）において、Ｍは部位の数を表わしている。すなわち、本実施の形態においては、部位は両目および口であるため、Ｍ＝３となる。
【００４７】
次に、先にモジュールで示された、本実施の形態における人物認証システムで行なわれる人物の認識処理について、図６にフローチャートを挙げて説明する。図６のフローチャートに示される処理は、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。
【００４８】
図６を参照して、図６に示される処理も図５に示される登録処理と同様に、ＰＣ１がある人物の顔の画像の入力を受付けることで開始する。ここでの入力もまた、上述の如く、カメラＩ／Ｆ１０７を介した入力であってもよいし、入力部１０５で記憶媒体を読取ることによる入力であってもよいし、入力部１０５でユーザからの入力を受付けることであってもよい。
【００４９】
そして、入力した顔ｉに対して、上述の登録処理と同様の前処理を行なう（Ｓ２０１〜Ｓ２０３）。さらに、入力した顔ｉから検出した部位Ｉに関して、部位Ｉの領域のピクセルの輝度等の値をベクトル化し、特徴ベクトルを算出する。また、その輝度の正規化も行なう（Ｓ２０４〜Ｓ２０６）。
【００５０】
次に、部位基底ベクトルデータベース２０１に記憶されている全ての顔の各部位の固有ベクトルを基底ベクトルとする部位ごとの固有空間に、算出した顔ｉの部位Ｉの特徴ベクトルを投射することで、顔ｉの部位Ｉの特徴パラメータ（固有空間展開係数）を、各部位の固有空間ごとに得る（Ｓ２０７）。すなわち、当該人物認証システムに予め登録されている全ての顔の各部位の固有空間において、入力した顔ｉの部位Ｉの位置を表わす展開係数を得る。
【００５１】
さらに、得られた顔ｉの部位Ｉの特徴パラメータと登録されている各部位の固有ベクトルとに基づいて、顔ｉの部位Ｉの特徴ベクトルを再構成する（Ｓ２０８）。ステップＳ２０８においては、登録されている各部位の数だけ、顔ｉの部位Ｉの特徴ベクトルが再構成される。
【００５２】
そして、顔ｉの部位Ｉの特徴ベクトルを、記憶されている各部位Ｊの各固有空間に投射して、部位Ｊの固有空間内での顔ｉの部位Ｉの特徴ベクトルへの距離を計算する（Ｓ２０９）。上述の距離が、所定のしきい値以内であれば（Ｓ２１０でＹｅｓ）、顔ｉの部位Ｉは、部位Ｊであるとマッチングすることができる（Ｓ２１１）。具体的には、部位Ｊが目である固有空間において、顔ｉの部位Ｉの特徴ベクトルへの距離が所定のしきい値内である場合には、顔ｉの部位Ｉは目であるとマッチングすることができる。
【００５３】
上述のステップＳ２０６〜Ｓ２１１の処理を、ステップＳ２０１〜Ｓ２０３で顔ｉから得られたＰ個の部位について行なう（Ｓ２０４，Ｓ２１２，Ｓ２０５でＮｏ）。そして、顔ｉの各部位の特徴パラメータに基づいて、入力された顔ｉのについて、各部位の個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて入力した各々の顔ｉごとに各部位に対する重みを決定する。ここでの特異度の計算および重みの決定については、上述の登録処理での処理と同様であるため、詳細な説明は繰返さない。
【００５４】
そして、人物パラメータデータベース２０２に特異度が記憶されている顔ｋと入力された顔ｉとの統合距離ｄｉｓｋ（ｋ，ｉ）を計算する（Ｓ２１３）。ステップＳ２１３で計算される統合距離ｄｉｓｋ（ｋ，ｉ）は、登録されている顔ｋと入力された顔ｉとの特徴ベクトル間の距離であって、各部位に対する重みを考慮して計算される距離である。このステップＳ２１３での統合距離ｄｉｓｋ（ｋ，ｉ）の計算を、人物パラメータデータベース２０２に特異度が記憶されているの顔ごとに実行し、登録されている顔を統合距離ｄｉｓｋ（ｋ，ｉ）が小さい順にソートする（Ｓ２１４）。
【００５５】
以上で、本実施の形態における人物認証システムで行なわれる人物の認証処理が終了し、登録されている顔の中で、入力された顔ｉとの統合距離ｄｉｓｋ（ｋ，ｉ）が最も小さい顔の人物の名前や記憶画像や予め割振られている番号等のＩＤを、ディスプレイ１０６に出力する。また、統合距離ｄｉｓｋ（ｋ，ｉ）が所定のしきい値以上である場合には、入力された人物が登録されている人物でない旨のメッセージや警告等を出力することもできる。
【００５６】
このように、本実施の形態における人物認証システムで人物の認証処理を行なう際には、顔の部位である目や口といった複数の部位の、個人的特徴のみを用いて、データベースに登録されている特徴を示すパラメータと照会する。そのため、少ない計算量で、精度の高い個人認証を行なうことができる。また、個人の部位の特徴を考慮して類似度を算出するため、ロバストな個人認証を行なうことができる。
【００５７】
なお、上述のステップＳ２１４での統合距離ｄｉｓｋ（ｋ，ｉ）の計算方法について、具体的な式を挙げて説明する。すなわち、人物パラメータデータベース２０２に記憶されている顔ｋの特徴パラメータと、入力された顔ｉの特徴パラメータとの統合距離ｄｉｓｋ（ｋ，ｉ）は、以下の式によって算出することができる。
【００５８】
【数５】
【００５９】
なお、上式において、ｃt kは登録されている顔ｋの部位ｔの特徴パラメータを示し、ｃt iは入力された顔ｉから得られる部位ｔの特徴パラメータを示す。また、Ｗt k,iは、部位ｔの重み係数を示す。
【００６０】
さらに、重み係数Ｗt k,iは、登録されている顔ｋの部位ｔの重みωk tと、入力された顔ｉの部位ｔの重みδi tとを用いて次にように計算することができる。
【００６１】
【数６】
【００６２】
さらに、上述の登録処理および認証処理で実行される前処理（ステップＳ１０１〜Ｓ１０５，ステップＳ２０１〜Ｓ２０３）について、図７にフローチャートを挙げて、説明を行なう。
【００６３】
図７を参照して、入力した画像から顔の部位を検出するにあたって、まず、目の中心を含む候補となる矩形領域（目中心候補矩形領域）を、入力画像上に固定する（Ｓ３０１）。そして、当該矩形領域において、水平方向にピクセルの輝度等の値の積分投影を行なう（Ｓ３０２）。積分投影の結果、極小値を検出することで、目の垂直位置を決定する（Ｓ３０３）。以上の処理を具体的に図８に示す。
【００６４】
次に、上述の矩形領域において、鉛直方向にピクセルの輝度等の積分投影を行なう（Ｓ３０４）。積分投影の結果、極小値を検出することで、目の水平位置を決定する（Ｓ３０５）。以上の処理を具体的に図９に示す。
【００６５】
上述の処理で、両目の垂直位置および水平位置が決定するので、入力画像のうちの顔を含む領域を、正規化する処理を行なう（Ｓ３０６）。具体的には、両目が上述の矩形領域に等分に配置されるように変換処理を行なう。また、両目が所定の間隔となるようにスケールの変換処理も行なう。例えば、正規化画像のサイズを８０×８０ピクセルと定めた場合には、入力画像のサイズを、そのサイズに変換する処理を行なう。さらに、両目が水平に並ぶように、回転の変換処理も行なう。
【００６６】
さらに、両目の下に口を検出するために、矩形領域を移動（ワーピング）させ（Ｓ３０７）、口の中心の候補となる座標（口中心候補座標）に対して線形変換を行なう（Ｓ３０８）。すなわち、上述の目中心候補矩形領域が４０×８０ピクセルの領域である場合には、ステップＳ３０７で検出する領域を、その下の４０×８０ピクセルの領域も含め、８０×８０ピクセルの領域に移動する。そして、口の中心を含む候補領域（口中心候補矩形領域）を入力画像上に固定する（Ｓ３０９）。
【００６７】
当該矩形領域に対して、上述の目の検出と同様に、水平方向にピクセルの輝度等の値の積分投影を行なう（Ｓ３１０）。積分投影の結果、極小値を検出することで、口の垂直位置を決定する（Ｓ３１１）。そして、上述の処理で得た両目の水平位置の中点をさらに口の水平位置として決定する。以上の口の検出処理を具体的に図１０に示す。
【００６８】
本実施の形態の人物認証システムで、人物の登録処理および認証処理を行なう際に上述の前処理を行なうことで、入力画像から人物の目や口等の部位を検出することができる。なお、検出する顔の部位は、目や口に限定されるものではない。具体的には、上述の前処理において、図１１に示す顔マスクを用いて、任意の部位を検出することができる。すなわち、図１１を参照して、顔マスクＭ１を入力画像に適用することで、入力された顔の下領域の例えば３５×１５ピクセルの領域において口の検出を行なうことができる。同様に、顔マスクＭ２を適用して、入力された顔の左上領域の例えば２０×１０ピクセルの領域にて右目の検出を行なうことができる。また、顔マスクＭ３を適用して、右目の検出を行なう領域から例えば４０ピクセル右の領域にて左目の検出を行なうことができる。また、顔マスクＭ４を適用しても、同様に、鼻の検出を行なうことができる。また、顔マスクＭ５を適用して目および口を含まない顔を検出することができ、顔マスクＭ６を適用して顔全体を検出することができる。さらに、複数の部位を検出することもできる。すなわち、顔マスクＭ７、Ｍ８、Ｍ９およびＭ１０を適用して両目、鼻と口、右眉と右目、および左眉と左目の検出を行なうことができる。
【００６９】
［第２の実施の形態］
さらに、第２の実施の形態として、図１に構成が示される人物認証システムの、他の登録処理および認証処理について説明する。
【００７０】
図１２および図１３は、第２の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。図１２および図１３のフローチャートに示される処理もまた、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。
【００７１】
図１２を参照して、ステップＳ４０１〜Ｓ４１１においては、第１の実施の形態において図５に示される登録処理のステップＳ１０１〜Ｓ１１１における処理と同様の処理が実行される。そして、入力された画像より検出されたＮ個の顔ｉの全てに対して部位ごとに、特徴パラメータ（固有空間展開係数）が計算される。
【００７２】
さらに、本実施の形態における登録処理では、部位ごとに作成された特徴パラメータに基づいて、顔ｉについての混成ベクトルを生成する（Ｓ４１２）。ステップＳ４１２で生成される混成ベクトルは、検出される顔ｉごとに各部位の特徴パラメータが連結されることによって構成されるベクトルである。ステップＳ４１１およびステップＳ４１２の処理を、Ｎ個の顔ｉの全てに対して実行し（Ｓ４０９，Ｓ４１３，Ｓ４１０でＮｏ）、Ｎ個の顔ｉについて混成ベクトルを生成する。これによって、顔ｉについて、各部位の特徴が連結された顔ｉ自体の特徴が混成ベクトルで表わされる。
【００７３】
次に図１３を参照して、全ての顔から得られる混成ベクトルについての主成分分析を行なう（Ｓ４１４）。これによって、今回新しく登録する顔ｉも含む、全ての顔についての特徴が表わされる。
【００７４】
さらに、ステップＳ４１４で得られる混成ベクトルの主成分に基底される混成ベクトル固有空間に、上述のステップＳ４１２で生成した顔ｉの混成ベクトルを投射することで、顔ｉの統合パラメータ（混成ベクトル固有空間における展開係数）を計算する（Ｓ４１７）。このステップＳ４１７の計算を、入力した各々の顔ｉに対して実行し（Ｓ４１５，Ｓ４１８，４１６でＮｏ）、登録するＮ個の顔ｉの統合パラメータを計算する。そして、計算されたＮ個の統合パラメータを用いて、Ｎ個の顔ｉの全てについて、混成ベクトルの主成分軸に対する個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて、入力した各々の顔ｉごとに重みを決定する（Ｓ４１９）。なお、ステップＳ４１９での計算は、上述の第１の実施の形態の登録処理においてステップＳ１１３で実行される計算と同様であるため、ここでの詳細な説明は繰返さない。ステップＳ４１８で決定される重みを用いて、顔ｉの混成ベクトルの、主成分軸からの統合距離を計算することができる。
【００７５】
そして、ステップＳ４０８で計算された各部位の固有ベクトル、ステップＳ４１２で生成された混成ベクトル、およびステップＳ４１９で計算された統合パラメータを、人物パラメータデータベース２０２に記憶する（Ｓ４２０）。
【００７６】
以上で、本実施の形態における人物認証システムで行なわれる人物の登録処理が終了し、入力された画像から認証された人物が、人物認証システムのデータベースに記憶される。
【００７７】
このように、第２の実施の形態における人物認証システムで人物の登録を行なう際には、データベース２０１，２０２に、登録する顔の固有ベクトル、混成ベクトル、および統合パラメータのみが記憶される。すなわち、登録された顔全体に対するその人物の顔の特徴を示す係数のみ記憶され、画像等の情報等が記憶されない。そのため、記憶容量をさらに小さくすることができる。
【００７８】
なお、第１の実施の形態における登録処理と同様に、入力された顔の情報を、予め登録されている顔の情報と比較するのみならず、一般的な顔の情報や所定の顔の情報等と比較することによって得られたパラメータを登録する方法で人物の登録を行なってもよい。
【００７９】
次に、第２の実施の形態の人物認証システムにおいて、上述の登録処理で顔が登録されたデータベースを用いて行なわれる人物の認識処理について、図１４にフローチャートを挙げて説明する。図１４のフローチャートに示される処理もまた、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。
【００８０】
図１４を参照して、ステップＳ５０１〜Ｓ５０７においては、第１の実施の形態において図６に示される認識処理のステップＳ２０１〜Ｓ２０７における処理と同様の処理が実行される。そして、入力された顔ｉから、部位Ｉの特徴パラメータ（固有空間展開係数）を得る（Ｓ５０７）。ステップＳ５０６およびＳ５０７における処理を、入力した顔ｉから得たＰ個の全て部位Ｉについて行なう（Ｓ５０４，Ｓ５０８，Ｓ５０５でＮｏ）。
【００８１】
さらに、本実施の形態における認識処理では、得られたＰ個の部位に関する特徴パラメータに基づいて、混成ベクトルを生成する（Ｓ５０９）。これによって、入力された顔ｉについて、各部位の特徴が連結された顔ｉ自体の特徴が混成ベクトルで表わされる。
【００８２】
次に、ステップＳ５０９で生成した顔ｉの混成ベクトルを、人物パラメータデータベース２０２に登録されている全ての顔の混成ベクトルの主成分に基底される混成モデル固有空間に投射して、顔ｉの統合パラメータ（混成モデル固有空間展開係数）を計算する（Ｓ５１０）。さらに、計算された顔ｉの統合パラメータを用いて、登録されている全ての顔の混成ベクトルの主成分軸に対する顔ｉの個人特徴の強さを表わす特異度を計算する。そして、その特異度に基づいて重みを決定して、登録されている人物の顔ｋと、入力された顔ｉとの統合距離ｄｉｓｋ（ｋ，ｉ）を計算する（Ｓ５１１）。なお、ステップＳ５１１での計算は、上述の第１の実施の形態の認識処理においてステップＳ２１３で実行される計算と同様であるため、ここでの詳細な説明は繰返さない。
【００８３】
ステップＳ５１１での統合距離ｄｉｓｋ（ｋ，ｉ）の計算を、登録されている顔ごとに実行し、統合距離ｄｉｓｋ（ｋ，ｉ）が小さい順にソートする（Ｓ５１２）。
【００８４】
以上で、第２の実施の形態における人物認証システムで行なわれる人物の認証処理が終了し、登録されている顔の中で、入力された画像に含まれる顔ｉとの統合距離ｄｉｓｋ（ｋ，ｉ）が最も小さい人物の名前や記憶画像や予め割振られている番号等のＩＤを、ディスプレイ１０６に出力する。また、統合距離ｄｉｓｋ（ｋ，ｉ）が所定のしきい値以上である場合には、登録されている人物でない旨のメッセージや警告等を出力することもできる。
【００８５】
このように、第２の実施の形態における人物認証システムで人物の認証処理を行なう際には、顔の部位である目や口といった複数の部位の特徴を連結した情報を用いて、データベースに登録されている特徴を示すパラメータと照会する。すなわち、ある人物の顔ｊが入力された際、その入力画像より得られる特徴ベクトルから特徴パラメータを算出し、さらに統合ベクトルを算出する。そして、入力された顔ｊの統合ベクトルの、記憶されている全ての顔の統合ベクトルからなる空間上での位置を求めて、その位置を比較することで、登録されている顔ｋとの類似度を求める。このように個人の特徴を考慮した計算を行なうことで、より精度の高い個人認証を行なうことができる。また、個人の部位間の特徴を考慮して類似度を算出するため、よりロバストな個人認証を行なうことができる。また、従来であればテンプレートマッチング等の複雑な処理が必要であった人物認証を、少ない処理で行なうことができる。
【００８６】
なお、以上において、カメラ２から人物の画像を取得したＰＣ１において上述の人物の登録処理および認識処理が実行されるものとして説明を行なったが、カメラ２が上述の処理を実行するためのプログラムを記憶して処理能力を有するＣＰＵを備える場合には、カメラ２が上述の人物の登録処理および認識処理を実行してもよい。その場合、データベース２０１，２０２は、カメラ２に含まれていてもよいし、ＬＡＮ（Local Area Network）等による通信や無線通信を行なって、他の装置にあるデータベースを用いてもよい。
【００８７】
また、上述の処理においては、人物の顔の登録および認識処理について説明したが、登録および認識処理を行なう対象は人物の顔に限定されない。すなわち、複数の特徴ある部位を備える物体であれば同様の処理を行なうことができ、例えば製品検査等にも用いることもできる。
【００８８】
さらに、上述の人物認証システムが行なう登録方法および認識方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００８９】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００９０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】 第１の実施の形態における人物認証システムの構成の具体例を示す図である。
【図２】 人物認証システムで実行される処理の流れを示す図である。
【図３】 学習モジュールの処理の流れを示す図である。
【図４】 認識モジュールの処理の流れを示す図である。
【図５】 第１の実施の形態における人物認証システムでの人物の登録処理について示すフローチャートである。
【図６】 第１の実施の形態における人物認証システムでの人物の認識処理について示すフローチャートである。
【図７】 登録処理および認証処理で実行される前処理について示すフローチャートである。
【図８】 目の垂直位置を決定する処理を具体的に示す図である。
【図９】 目の水平位置を決定する処理を具体的に示す図である。
【図１０】 口の検出処理を具体的を具体的に示す図である。
【図１１】 顔マスクの具体例を示す図である。
【図１２】 第２の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。
【図１３】 第２の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。
【図１４】 第２の実施の形態における人物認証システムでの人物の認識処理を示すフローチャートである。
【符号の説明】
１ ＰＣ、２ カメラ、１０１ ＣＰＵ、１０２ ＨＤＤ、１０３ ＲＯＭ、１０４ ＲＡＭ、１０５ 入力部、１０６ ディスプレイ、１０７ カメラＩ／Ｆ、２０１ 部位基底ベクトルデータベース、２０２ 人物パラメータデータベース、Ｍ１〜Ｍ１０ 顔マスク。
【発明の属する技術分野】
この発明は画像照会用情報構築方法および画像照会方法に関し、特に、精度の高い個人認証を行なうことのできる画像照会用情報構築方法および画像照会方法に関する。
【０００２】
【従来の技術】
今日、セキュリティの分野において、バイオメタリクスの需要が高まっている。その中でも、顔による個人認証は、利用者に負担がかからないという点で重要な研究分野となっている。
【０００３】
従来、画像内の人物の顔を認識する方法として、個人の顔のテンプレートマッチング方法が提案されている。例えば、米国特許第５１６４９９２号においては、圧縮モデルを用いた固有顔テンプレートマッチングについて開示されている。
【０００４】
また、論文「Ｖｉｅｗ−ｂａｓｅｄ ａｎｄ Ｍｏｄｕｌａｒ Ｅｉｇｅｎｓｐａｃｅｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ」（Ｍ．Ｉ．Ｔ Ｍｅｄｉａ Ｌａｂｏｒａｔｏｒｙ Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４５）においては、目などの部位の固有空間を用いた認証法が提案されている。
【０００５】
また、「個人照合と身体特徴画像認識−顔パスシステム−」（映像情報 １９９６ ｖｏｌ．２８）においては、目尻を基準点として大きさと傾きとを正規化した後に、目、鼻、および口に対して順番にテンプレートマッチングを行ない、テンプレートとの距離がしきい値以内に入らない部位があればリジェクトするシステムが提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述の米国特許第５１６４９９２号において提案されている固有顔テンプレートマッチングでは顔全体を用いてテンプレートマッチングを行なうため、照明等の変動や表情の変化、およびオクルージョン等に対して完全にロバストではないという問題があった。また、局所的な個人特有の特徴と利用した高精度の認証ができないという問題があった。
【０００７】
また、上述の論文「Ｖｉｅｗ−ｂａｓｅｄ ａｎｄ Ｍｏｄｕｌａｒ Ｅｉｇｅｎｓｐａｃｅｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ」や上述の「個人照合と身体特徴画像認識−顔パスシステム−」においては、各部位に関する情報を組合わせる認証法や個人特徴を抽出する認証法については言及されておらず、そのような認証法で得られるであろう高いロバスト性が得られないという問題があった。
【０００８】
またさらに、上述の「個人照合と身体特徴画像認識−顔パスシステム−」において提案されているシステムでは、画像特徴としてピクセルごとの輝度値を利用するため、データベースの記憶容量が大量に必要であるという問題もあった。
【０００９】
本発明はこれらの問題に鑑みてなされたものであって、ロバストに個人認証を行なう画像照会用情報構築方法および画像照会方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、画像照会用情報構築方法は画像照会を行なうための情報を記憶装置に登録する方法であって、登録対象を含む登録対象画像より顔画像を検出する第１検出ステップと、顔画像より所定の部位領域を検出する第２検出ステップと、部位領域の画素値をベクトル化して、顔画像の上記部位についての特徴ベクトルを算出する第１算出ステップと、顔画像の部位ごとに算出された特徴ベクトルを記憶装置に格納する第１格納ステップと、記憶装置にすでに格納されている上記部位についての特徴ベクトルと、顔画像の上記部位についての特徴ベクトルとの主成分分析を行なって、上記部位についての固有ベクトルを算出する第２算出ステップと、固有ベクトルで構成される上記部位の固有空間に顔画像の上記部位についての特徴ベクトルを投影して、顔画像の上記部位についての特徴パラメータを算出する第３算出ステップと、顔画像の部位ごとに算出された特徴パラメータに基づいて、顔画像の特異度を算出し、特異度に基づいて上記部位の重み係数を算出する第４算出ステップと、部位ごとに算出された固有ベクトルと顔画像についての重み係数とを記憶装置に格納する第２格納ステップとを備える。
【００１１】
また、本発明の他の局面に従うと、画像照会用情報構築方法は画像照会を行なうための情報を記憶装置に登録する方法であって、登録対象を含む登録対象画像より顔画像を検出する第１検出ステップと、顔画像より所定の部位領域を検出する第２検出ステップと、上記部位領域の画素値をベクトル化して、顔画像の上記部位についての特徴ベクトルを算出する第１算出ステップと、顔画像の部位ごとに算出された特徴ベクトルを記憶装置に格納する第１格納ステップと、記憶装置にすでに格納されている上記部位についての特徴ベクトルと、顔画像の上記部位についての特徴ベクトルとの主成分分析を行なって、上記部位についての固有ベクトルを算出する第２算出ステップと、固有ベクトルで構成される上記部位の固有空間に顔画像の上記部位についての特徴ベクトルを投影して、顔画像の上記部位についての特徴パラメータを算出する第３算出ステップと、顔画像の部位ごとに算出された特徴パラメータを連結して、顔画像についての混成ベクトルを算出する第４算出ステップと、顔画像についての混成ベクトルを記憶装置に格納する第２格納ステップと、記憶装置にすでに格納されている混成ベクトルと、顔画像についての混成ベクトルとの主成分に基底される固有空間に、顔画像についての混成ベクトルを投影して顔画像についての統合パラメータを算出し、統合パラメータを用いて混合ベクトルを算出する第５算出ステップと、顔画像についての混成ベクトルと、顔画像についての統合パラメータとを記憶装置に格納する第３格納ステップとを備える。
【００１２】
好ましくは、画像照会用情報構築方法は、第２検出ステップにおいて顔画像より検出した第１部位および第２部位について、それらの位置関係が規定の位置関係となるように、顔画像の大きさおよび傾きを正規化する正規化ステップをさらに備える。
【００１４】
本発明のさらに他の局面に従うと、画像照会方法は画像照会を行なうための情報が登録されている記憶装置を備える画像照会システムにおける画像照会方法であって、照会対象を含む照会対象画像である顔画像を入力する入力ステップと、顔画像より第１部位領域を検出する検出ステップと、上記部位領域の画素値をベクトル化して、顔画像の第１部位についての第１特徴ベクトルを算出する第１算出ステップと、第１部位を特定する特定ステップとを備え、特定ステップは、記憶装置に格納されている各部位についての固有ベクトルを基底ベクトルとする各固有空間の各々に、顔画像の第１部位についての第１特徴ベクトルを投射することで第１部位の特徴パラメータを各部位についての固有空間ごとに得るステップと、第１部位についての第１特徴ベクトルと記憶装置に格納されている各部位についての固有ベクトルとに基づいて、第１部位についての第２特徴ベクトルを再構築するステップと、再構築された第２特徴ベクトルを、記憶装置に格納されている各第２部位についての固有ベクトルを基底ベクトルとする各固有空間の各々に投射し、第２部位の固有空間内での第１部位の第２特徴ベクトルへの距離を計算するステップと、距離がしきい値以内である場合に第１部位を第２部位と特定するステップとを含み、顔画像の部位ごとに算出された特徴パラメータに基づいて顔画像の特異度を算出する第２算出ステップと、算出された特異度に基づいて、顔画像の各部位に対する重みを決定する決定ステップと、部位ごとの、記憶装置に記憶されている特徴パラメータと、顔画像についての特徴パラメータとの間の距離を、重みを考慮して顔について統合して統合距離を算出する第３算出ステップと、照会する照会対象と記憶装置に予め登録されている照会対象との照合を行なう統合距離の小さい順に前記記憶装置に登録されている情報をソートする照合ステップとをさらに備える。
【００１５】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００１６】
［第１の実施の形態］
図１は、第１の実施の形態における人物認証システムの構成の具体例を示す図である。図１を参照して、本実施の形態における人物認証システムは、画像を取得するカメラ２と、カメラ２から入力された画像の処理を行なうパーソナルコンピュータ等のコンピュータ（以下、ＰＣと言う）１とから構成される。
【００１７】
さらに図１を参照して、ＰＣ１は、ＣＰＵ（Central Processing Unit）１０１によって制御され、カメラＩ／Ｆ（インタフェース）１０７（画像キャプチャ部とも言われる）を介してカメラ２から入力された画像の処理を行なう。ＣＰＵ１０１で実行されるプログラムは、記憶部であるＨＤＤ（Hard Disk Drive）１０２またはＲＯＭ（Read Only Memory）１０３に記憶される。そして、ＲＡＭ（Random Access Memory）１０４は、ＣＰＵ１０１でプログラムが実行される際の一時的な作業領域となる。また、ＲＡＭ１０４は、人物認証のためのデータベースが格納されている領域でもある。ユーザは、キーボードやマウス等の入力部（Input Unit）１０５から情報や指示を入力する。また、入力部１０５は、フレキシブルディスク等の記録媒体から情報の入力を受付ることもできる。このように、カメラ２や記録媒体やユーザ等から受付けた画像やその処理結果、および情報等は、ディスプレイ１０６に表示される。なお、図１に示される構成は一般的なパーソナルコンピュータの構成であって、ＰＣ１の構成は図１に示される構成に限定されない。また、カメラ２は、画像を取得してＰＣ１に入力する手段を備える一般的な装置であって、デジタルカメラ、デジタルビデオカメラ、スキャナ等のその他の装置であっても構わない。
【００１８】
このような人物認証システムにおいてＰＣ１では、図２に示される処理が実行される。図２を参照して、ＰＣ１は、カメラ２からカメラＩ／Ｆ１０７を介して画像の入力を受付ける（Ｓ０１）。ステップＳ０１では、カメラＩ／Ｆ１０７を介してカメラ２から直接画像の入力を受付けてもよいし、入力部１０５を介して記憶媒体に保存された画像の入力を受付けてもよい。そして、ＰＣ１は、入力した画像から顔領域を検索する（Ｓ０２）。ステップＳ０２では、入力した画像内にウィンド領域を定義し、そのウィンド領域と予め記憶されている顔画像テンプレートとを比較する。このウィンド領域を入力画像全体にわたって動かして入力画像全体から顔領域を検索する。なお、入力画像が動画像データである場合にはその差分画像を作成して、差分画像から動き領域を検出することによりウィンド領域の検索範囲を狭めることができる。
【００１９】
さらに、ＰＣ１は、入力した画像から個人認証を行ない（Ｓ０３）、認証結果である、登録された人物を示す名前や記憶画像や予め割振られている番号等のＩＤを、ディスプレイ１０６に出力する（Ｓ０４）。あるいは、登録されていない人物である旨のメッセージや警告等をディスプレイ１０６に出力することもできる。
【００２０】
上述の人物認証システムにおける処理は、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。ＣＰＵ１０１は、上述の処理を行なうための構成要素（図示せず）を含み、それらを制御することで上述の処理を実行させる。
【００２１】
さらに、人物認証システムでは、ステップＳ０３に示される個人認証を行なう構成要素において、以下の２つのモジュールが実行される。すなわち、人物認証を行なうために、入力された画像を用いて学習する学習モジュールと、入力された画像から人物を認証する認証モジュールとが実行される。図３は、学習モジュールの処理の流れを示す図であり、図４は、認識モジュールの処理の流れを示す図である。
【００２２】
図３を参照して、学習モジュールにおいては、ステップＳ０２で検索された顔候補領域から、両目の位置を検出して、所定の顔の大きさに画像を正規化する前処理を行なう（Ｓ３１）。次に、正規化された登録すべき多数の顔画像に対して、目や口等の部位領域（部分領域）内のピクセルの輝度等の値をベクトル化する。そして、部位ごとに主成分分析を行なって固有ベクトルを算出する（Ｓ３２）。さらに、登録すべき多数の顔画像の内の各人物に対して、ステップＳ３２で算出された固有ベクトルを固有空間に射影（投影）し、部位ごとに特徴パラメータを算出する（Ｓ３３）。そして、ステップＳ３３で算出された部位ごとの特徴パラメータを用いて、個人特徴を示す特異度を算出する。また、特異度に基づいて、部位（部分領域）の重み係数を求める（Ｓ３４）。
【００２３】
さらに、ステップＳ３２で得られる部位ごとの固有ベクトルは部位基底ベクトルデータベース２０１に格納され、ステップＳ３３で得られる人物ごとの特徴パラメータおよびステップＳ３４で得られる重み係数は人物パラメータデータベース２０２に格納される。このようにして、本実施の形態における人物認証システムでは人物の登録が実行される。そして、これらのデータベースに格納された情報に基づいて、入力された画像から人物の認証が行なわれる。
【００２４】
次に、図４を参照して、認識モジュールにおいては、学習モジュールにおける処理と同様にして、ステップＳ０２で検索された顔候補領域から前処理が行なわれる（Ｓ３５）。次に、正規化された認識する顔画像に対して、目や口等の部位領域（部分領域）内のピクセルの輝度等の値をベクトル化する。そして、部位ごとに特徴空間に射影して特徴パラメータを算出する（Ｓ３６）。特徴空間を構成する基底ベクトルは、上述の学習モジュールで登録された多数の顔画像の各部位から得られる固有ベクトルに統計的な解析を施して得られるベクトルであって、部位基底ベクトルデータベース２０１に記憶されている。さらに、ステップＳ３６で算出された部位ごとの特徴パラメータを用いて、学習モジュールにおける処理と同様にして、部位（部分領域）の重み係数を求める（Ｓ３７）。このようにしてステップＳ３６およびステップＳ３７で得られた特徴パラメータおよび重み係数と、上述の学習モジュールで人物パラメータデータベース２０２に格納されている登録された人物の特徴パラメータおよび重み係数とを用いて、入力された顔画像と登録された顔画像との距離を計算して比較する（Ｓ３８）。このようにして、本実施の形態における人物認証システムでは人物の認証が実行される。
【００２５】
さらに、先にモジュールで示された、本実施の形態における人物認証システムで行なわれる人物の登録処理について、図５にフローチャートを挙げて説明する。図５のフローチャートに示される処理は、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。
【００２６】
図５を参照して、まず、図５に示される処理は、ＰＣ１が画像の入力を受付けることで開始する。ここでの入力は、上述の如く、カメラＩ／Ｆ１０７を介した入力であってもよいし、入力部１０５で記憶媒体を読取ることによる入力であってもよいし、入力部１０５でユーザからの入力を受付けることであってもよい。
【００２７】
始めに、入力した画像から両目を検出する（Ｓ１０１）。すなわち、ステップＳ１０１では、入力した画像から顔ｉを検出する。そして、入力した顔ｉに対して、検出した両目より黒目の中心座標を用いて両目の間の距離を一定にするような変換を行ない、顔画像の大きさと傾きとを正規化する（Ｓ１０４）。さらに、検出した両目領域より所定の位置移動した領域において口を検出する（Ｓ１０５）。以上のステップＳ１０１〜Ｓ１０５で行なう検出処理は上述のステップＳ３１に示す前処理であって、認識モジュールでの前処理（ステップＳ３５）と共に、後に詳細な説明を行なう。
【００２８】
上述のステップＳ１０１〜Ｓ１０５で両目および口を検出すると、各部位（両目および口）ごとの領域のピクセルの輝度等の値をベクトル化し、特徴ベクトルを算出する。また、その輝度の正規化も行なう（Ｓ１０６）。これによって、登録される顔ｉの各々の部位の特徴がベクトルで表わされる。
【００２９】
上述のステップＳ１０３〜Ｓ１０６の処理をＮ個の入力した顔ｉの全てに対して実行する（Ｓ１０２，Ｓ１０７，Ｓ１０３でＮｏ）。そして、Ｎ個の入力した顔ｉとすでに登録されている顔と（以下、これらの顔を単に全ての顔とのみ言う）の、部位ごとの特徴ベクトルの主成分分析を行なって固有ベクトルを算出し、各部位ごとに固有空間を生成する（Ｓ１０８）。ステップＳ１０８で生成される固有空間は、全ての顔の各部位の特徴を表わす空間である。このように主成分分析を行なって固有ベクトルを算出することで、特徴ベクトルの成分の数が主成分の数に圧縮される。なお、ステップＳ１０８で算出された固有ベクトルは、部位規定ベクトルデータベース２０１に記憶される。
【００３０】
さらに、ステップＳ１０８で算出された全ての顔の部位ごとの固有ベクトルを用いて、入力された顔ｉの部位ごとの特徴パラメータ（固有空間展開係数）を計算する（Ｓ１１１）。すなわち、ステップＳ１１１では、上述の部位ごとの固定空間に、入力された顔ｉの部位ごとの特徴ベクトルを投影することで、入力された顔ｉの部位ごとの特徴パラメータを計算する。ステップＳ１１１で計算される特徴パラメータとは、全ての顔の部位ｔの固有空間において、入力された顔ｉの部位ｔの位置を表わす展開係数（固有係数とも言う）である。すなわち、全ての顔の部位ｔの特徴における、入力された顔ｉの部位ｔの特徴の位置を表わす係数であると言える。
【００３１】
そして、ステップＳ１１１での計算を、Ｎ個の入力した顔ｉの全てに対して実行し（Ｓ１０９，Ｓ１１２，Ｓ１１０でＮｏ）、入力した各々の顔ｉについての特徴パラメータを計算する。なお、ステップＳ１１１で計算された各部位の特徴パラメータは、入力された顔ｉごとに、人物パラメータデータベース２０２に記憶される。
【００３２】
そして、ステップＳ１１１で計算した各部位の特徴パラメータに基づいて、入力した各々の顔ｉについて、各部位の個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて入力した各々の顔ｉごとに各部位に対する重みを決定する。各部位に対する重みとは、顔ｉの全ての部位の特異度に対する、各部位の特異度の比率を示すものである。その具体例については、後述する。そして、計算された特異度は、人物パラメータデータベース２０２に記憶される（Ｓ１１３）。
【００３３】
以上で、本実施の形態における人物認証システムで行なわれる人物の登録処理が終了し、入力されたに含まれる人物が、人物認証の対象として、人物認証システムのデータベースに記憶される。
【００３４】
このように、本実施の形態における人物認証システムで人物の登録を行なう際には、データベース２０１，２０２に、顔の各部位の固有ベクトルと、顔ごとの特徴パラメータおよび特異度とのみが記憶される。すなわち、全ての顔の各部位の全体としての特徴（固有ベクトル）と、その特徴に対するその人物の顔の各部位の位置（特徴パラメータおよび特異度）とのみ記憶され、各人の画像等の情報が記憶されない。そのため、人物認証システムに備えるデータベースの記憶容量を小さくすることができる。
【００３５】
なお、上述の登録処理においては、予めデータベース２０１，２０２に登録されている顔情報と入力された顔の情報とを比較したパラメータを登録する方法が示されているが、予め登録されている顔の情報と比較するのみならず、一般的な顔の情報や所定の顔の情報等と比較することによって得られたパラメータを登録する方法で人物の登録を行なってもよい。
【００３６】
さらに、上述のステップＳ１１３での特異度の計算方法について、具体的な式を挙げて説明する。
【００３７】
第１の計算方法においては、ステップＳ１１１である人物の顔ｋ0から得られる部位ｔの特徴パラメータを
ｃ＝（ｃ1 k0，ｃ2 k0，・・・，ｃn k0）
とすると、顔ｋ0の部位ｔの特異度Ｄt k0は、平均からの距離として以下の式（１）で定義することができる。
【００３８】
【数１】
第２の計算方法においては、分散情報を利用して、より厳密に特異度を定義することができる。すなわち、顔ｋ0から得られる部位ｔの主成分ごとの固有値をλ１，λ２，・・・，λｎとすると、ステップＳ１１１で得られる顔ｋ0の部位ｔの特徴パラメータを、前記固有値λの分散を用いて正規化して、
【００４０】
【数２】
とすることができる。そして、この特徴パラメータｃ’に上述の式（１）を適用することでも顔ｋ0の部位ｔの特異度Ｄt k0を定義することができる。
【００４２】
さらに第３の計算方法においては、以下の式（２）に示すように、この正規化された特徴パラメータｃ’に対して、顔ｋ0の特徴ベクトルを中心とする主軸ごとの２次モーメントを計算し、その和を特異度と定義することができる。
【００４３】
【数３】
なお、上述の式（２）において、ｐは全ての顔の数を表わす。
このように定義される特異度Ｄt k0を用いて上述のステップＳ１１３で決定される顔ｋ0の部位ｔの重みωtは、以下の式（３）で定義することができる。
【００４５】
【数４】
なお、上述の式（３）において、Ｍは部位の数を表わしている。すなわち、本実施の形態においては、部位は両目および口であるため、Ｍ＝３となる。
【００４７】
次に、先にモジュールで示された、本実施の形態における人物認証システムで行なわれる人物の認識処理について、図６にフローチャートを挙げて説明する。図６のフローチャートに示される処理は、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。
【００４８】
図６を参照して、図６に示される処理も図５に示される登録処理と同様に、ＰＣ１がある人物の顔の画像の入力を受付けることで開始する。ここでの入力もまた、上述の如く、カメラＩ／Ｆ１０７を介した入力であってもよいし、入力部１０５で記憶媒体を読取ることによる入力であってもよいし、入力部１０５でユーザからの入力を受付けることであってもよい。
【００４９】
そして、入力した顔ｉに対して、上述の登録処理と同様の前処理を行なう（Ｓ２０１〜Ｓ２０３）。さらに、入力した顔ｉから検出した部位Ｉに関して、部位Ｉの領域のピクセルの輝度等の値をベクトル化し、特徴ベクトルを算出する。また、その輝度の正規化も行なう（Ｓ２０４〜Ｓ２０６）。
【００５０】
次に、部位基底ベクトルデータベース２０１に記憶されている全ての顔の各部位の固有ベクトルを基底ベクトルとする部位ごとの固有空間に、算出した顔ｉの部位Ｉの特徴ベクトルを投射することで、顔ｉの部位Ｉの特徴パラメータ（固有空間展開係数）を、各部位の固有空間ごとに得る（Ｓ２０７）。すなわち、当該人物認証システムに予め登録されている全ての顔の各部位の固有空間において、入力した顔ｉの部位Ｉの位置を表わす展開係数を得る。
【００５１】
さらに、得られた顔ｉの部位Ｉの特徴パラメータと登録されている各部位の固有ベクトルとに基づいて、顔ｉの部位Ｉの特徴ベクトルを再構成する（Ｓ２０８）。ステップＳ２０８においては、登録されている各部位の数だけ、顔ｉの部位Ｉの特徴ベクトルが再構成される。
【００５２】
そして、顔ｉの部位Ｉの特徴ベクトルを、記憶されている各部位Ｊの各固有空間に投射して、部位Ｊの固有空間内での顔ｉの部位Ｉの特徴ベクトルへの距離を計算する（Ｓ２０９）。上述の距離が、所定のしきい値以内であれば（Ｓ２１０でＹｅｓ）、顔ｉの部位Ｉは、部位Ｊであるとマッチングすることができる（Ｓ２１１）。具体的には、部位Ｊが目である固有空間において、顔ｉの部位Ｉの特徴ベクトルへの距離が所定のしきい値内である場合には、顔ｉの部位Ｉは目であるとマッチングすることができる。
【００５３】
上述のステップＳ２０６〜Ｓ２１１の処理を、ステップＳ２０１〜Ｓ２０３で顔ｉから得られたＰ個の部位について行なう（Ｓ２０４，Ｓ２１２，Ｓ２０５でＮｏ）。そして、顔ｉの各部位の特徴パラメータに基づいて、入力された顔ｉのについて、各部位の個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて入力した各々の顔ｉごとに各部位に対する重みを決定する。ここでの特異度の計算および重みの決定については、上述の登録処理での処理と同様であるため、詳細な説明は繰返さない。
【００５４】
そして、人物パラメータデータベース２０２に特異度が記憶されている顔ｋと入力された顔ｉとの統合距離ｄｉｓｋ（ｋ，ｉ）を計算する（Ｓ２１３）。ステップＳ２１３で計算される統合距離ｄｉｓｋ（ｋ，ｉ）は、登録されている顔ｋと入力された顔ｉとの特徴ベクトル間の距離であって、各部位に対する重みを考慮して計算される距離である。このステップＳ２１３での統合距離ｄｉｓｋ（ｋ，ｉ）の計算を、人物パラメータデータベース２０２に特異度が記憶されているの顔ごとに実行し、登録されている顔を統合距離ｄｉｓｋ（ｋ，ｉ）が小さい順にソートする（Ｓ２１４）。
【００５５】
以上で、本実施の形態における人物認証システムで行なわれる人物の認証処理が終了し、登録されている顔の中で、入力された顔ｉとの統合距離ｄｉｓｋ（ｋ，ｉ）が最も小さい顔の人物の名前や記憶画像や予め割振られている番号等のＩＤを、ディスプレイ１０６に出力する。また、統合距離ｄｉｓｋ（ｋ，ｉ）が所定のしきい値以上である場合には、入力された人物が登録されている人物でない旨のメッセージや警告等を出力することもできる。
【００５６】
このように、本実施の形態における人物認証システムで人物の認証処理を行なう際には、顔の部位である目や口といった複数の部位の、個人的特徴のみを用いて、データベースに登録されている特徴を示すパラメータと照会する。そのため、少ない計算量で、精度の高い個人認証を行なうことができる。また、個人の部位の特徴を考慮して類似度を算出するため、ロバストな個人認証を行なうことができる。
【００５７】
なお、上述のステップＳ２１４での統合距離ｄｉｓｋ（ｋ，ｉ）の計算方法について、具体的な式を挙げて説明する。すなわち、人物パラメータデータベース２０２に記憶されている顔ｋの特徴パラメータと、入力された顔ｉの特徴パラメータとの統合距離ｄｉｓｋ（ｋ，ｉ）は、以下の式によって算出することができる。
【００５８】
【数５】
なお、上式において、ｃt kは登録されている顔ｋの部位ｔの特徴パラメータを示し、ｃt iは入力された顔ｉから得られる部位ｔの特徴パラメータを示す。また、Ｗt k,iは、部位ｔの重み係数を示す。
【００６０】
さらに、重み係数Ｗt k,iは、登録されている顔ｋの部位ｔの重みωk tと、入力された顔ｉの部位ｔの重みδi tとを用いて次にように計算することができる。
【００６１】
【数６】
さらに、上述の登録処理および認証処理で実行される前処理（ステップＳ１０１〜Ｓ１０５，ステップＳ２０１〜Ｓ２０３）について、図７にフローチャートを挙げて、説明を行なう。
【００６３】
図７を参照して、入力した画像から顔の部位を検出するにあたって、まず、目の中心を含む候補となる矩形領域（目中心候補矩形領域）を、入力画像上に固定する（Ｓ３０１）。そして、当該矩形領域において、水平方向にピクセルの輝度等の値の積分投影を行なう（Ｓ３０２）。積分投影の結果、極小値を検出することで、目の垂直位置を決定する（Ｓ３０３）。以上の処理を具体的に図８に示す。
【００６４】
次に、上述の矩形領域において、鉛直方向にピクセルの輝度等の積分投影を行なう（Ｓ３０４）。積分投影の結果、極小値を検出することで、目の水平位置を決定する（Ｓ３０５）。以上の処理を具体的に図９に示す。
【００６５】
上述の処理で、両目の垂直位置および水平位置が決定するので、入力画像のうちの顔を含む領域を、正規化する処理を行なう（Ｓ３０６）。具体的には、両目が上述の矩形領域に等分に配置されるように変換処理を行なう。また、両目が所定の間隔となるようにスケールの変換処理も行なう。例えば、正規化画像のサイズを８０×８０ピクセルと定めた場合には、入力画像のサイズを、そのサイズに変換する処理を行なう。さらに、両目が水平に並ぶように、回転の変換処理も行なう。
【００６６】
さらに、両目の下に口を検出するために、矩形領域を移動（ワーピング）させ（Ｓ３０７）、口の中心の候補となる座標（口中心候補座標）に対して線形変換を行なう（Ｓ３０８）。すなわち、上述の目中心候補矩形領域が４０×８０ピクセルの領域である場合には、ステップＳ３０７で検出する領域を、その下の４０×８０ピクセルの領域も含め、８０×８０ピクセルの領域に移動する。そして、口の中心を含む候補領域（口中心候補矩形領域）を入力画像上に固定する（Ｓ３０９）。
【００６７】
当該矩形領域に対して、上述の目の検出と同様に、水平方向にピクセルの輝度等の値の積分投影を行なう（Ｓ３１０）。積分投影の結果、極小値を検出することで、口の垂直位置を決定する（Ｓ３１１）。そして、上述の処理で得た両目の水平位置の中点をさらに口の水平位置として決定する。以上の口の検出処理を具体的に図１０に示す。
【００６８】
本実施の形態の人物認証システムで、人物の登録処理および認証処理を行なう際に上述の前処理を行なうことで、入力画像から人物の目や口等の部位を検出することができる。なお、検出する顔の部位は、目や口に限定されるものではない。具体的には、上述の前処理において、図１１に示す顔マスクを用いて、任意の部位を検出することができる。すなわち、図１１を参照して、顔マスクＭ１を入力画像に適用することで、入力された顔の下領域の例えば３５×１５ピクセルの領域において口の検出を行なうことができる。同様に、顔マスクＭ２を適用して、入力された顔の左上領域の例えば２０×１０ピクセルの領域にて右目の検出を行なうことができる。また、顔マスクＭ３を適用して、右目の検出を行なう領域から例えば４０ピクセル右の領域にて左目の検出を行なうことができる。また、顔マスクＭ４を適用しても、同様に、鼻の検出を行なうことができる。また、顔マスクＭ５を適用して目および口を含まない顔を検出することができ、顔マスクＭ６を適用して顔全体を検出することができる。さらに、複数の部位を検出することもできる。すなわち、顔マスクＭ７、Ｍ８、Ｍ９およびＭ１０を適用して両目、鼻と口、右眉と右目、および左眉と左目の検出を行なうことができる。
【００６９】
［第２の実施の形態］
さらに、第２の実施の形態として、図１に構成が示される人物認証システムの、他の登録処理および認証処理について説明する。
【００７０】
図１２および図１３は、第２の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。図１２および図１３のフローチャートに示される処理もまた、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。
【００７１】
図１２を参照して、ステップＳ４０１〜Ｓ４１１においては、第１の実施の形態において図５に示される登録処理のステップＳ１０１〜Ｓ１１１における処理と同様の処理が実行される。そして、入力された画像より検出されたＮ個の顔ｉの全てに対して部位ごとに、特徴パラメータ（固有空間展開係数）が計算される。
【００７２】
さらに、本実施の形態における登録処理では、部位ごとに作成された特徴パラメータに基づいて、顔ｉについての混成ベクトルを生成する（Ｓ４１２）。ステップＳ４１２で生成される混成ベクトルは、検出される顔ｉごとに各部位の特徴パラメータが連結されることによって構成されるベクトルである。ステップＳ４１１およびステップＳ４１２の処理を、Ｎ個の顔ｉの全てに対して実行し（Ｓ４０９，Ｓ４１３，Ｓ４１０でＮｏ）、Ｎ個の顔ｉについて混成ベクトルを生成する。これによって、顔ｉについて、各部位の特徴が連結された顔ｉ自体の特徴が混成ベクトルで表わされる。
【００７３】
次に図１３を参照して、全ての顔から得られる混成ベクトルについての主成分分析を行なう（Ｓ４１４）。これによって、今回新しく登録する顔ｉも含む、全ての顔についての特徴が表わされる。
【００７４】
さらに、ステップＳ４１４で得られる混成ベクトルの主成分に基底される混成ベクトル固有空間に、上述のステップＳ４１２で生成した顔ｉの混成ベクトルを投射することで、顔ｉの統合パラメータ（混成ベクトル固有空間における展開係数）を計算する（Ｓ４１７）。このステップＳ４１７の計算を、入力した各々の顔ｉに対して実行し（Ｓ４１５，Ｓ４１８，４１６でＮｏ）、登録するＮ個の顔ｉの統合パラメータを計算する。そして、計算されたＮ個の統合パラメータを用いて、Ｎ個の顔ｉの全てについて、混成ベクトルの主成分軸に対する個人特徴の強さを表わす特異度を計算する。さらに、その特異度に基づいて、入力した各々の顔ｉごとに重みを決定する（Ｓ４１９）。なお、ステップＳ４１９での計算は、上述の第１の実施の形態の登録処理においてステップＳ１１３で実行される計算と同様であるため、ここでの詳細な説明は繰返さない。ステップＳ４１８で決定される重みを用いて、顔ｉの混成ベクトルの、主成分軸からの統合距離を計算することができる。
【００７５】
そして、ステップＳ４０８で計算された各部位の固有ベクトル、ステップＳ４１２で生成された混成ベクトル、およびステップＳ４１９で計算された統合パラメータを、人物パラメータデータベース２０２に記憶する（Ｓ４２０）。
【００７６】
以上で、本実施の形態における人物認証システムで行なわれる人物の登録処理が終了し、入力された画像から認証された人物が、人物認証システムのデータベースに記憶される。
【００７７】
このように、第２の実施の形態における人物認証システムで人物の登録を行なう際には、データベース２０１，２０２に、登録する顔の固有ベクトル、混成ベクトル、および統合パラメータのみが記憶される。すなわち、登録された顔全体に対するその人物の顔の特徴を示す係数のみ記憶され、画像等の情報等が記憶されない。そのため、記憶容量をさらに小さくすることができる。
【００７８】
なお、第１の実施の形態における登録処理と同様に、入力された顔の情報を、予め登録されている顔の情報と比較するのみならず、一般的な顔の情報や所定の顔の情報等と比較することによって得られたパラメータを登録する方法で人物の登録を行なってもよい。
【００７９】
次に、第２の実施の形態の人物認証システムにおいて、上述の登録処理で顔が登録されたデータベースを用いて行なわれる人物の認識処理について、図１４にフローチャートを挙げて説明する。図１４のフローチャートに示される処理もまた、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されるプログラムを読込み、ＲＡＭ１０４上で実行することで実現される。
【００８０】
図１４を参照して、ステップＳ５０１〜Ｓ５０７においては、第１の実施の形態において図６に示される認識処理のステップＳ２０１〜Ｓ２０７における処理と同様の処理が実行される。そして、入力された顔ｉから、部位Ｉの特徴パラメータ（固有空間展開係数）を得る（Ｓ５０７）。ステップＳ５０６およびＳ５０７における処理を、入力した顔ｉから得たＰ個の全て部位Ｉについて行なう（Ｓ５０４，Ｓ５０８，Ｓ５０５でＮｏ）。
【００８１】
さらに、本実施の形態における認識処理では、得られたＰ個の部位に関する特徴パラメータに基づいて、混成ベクトルを生成する（Ｓ５０９）。これによって、入力された顔ｉについて、各部位の特徴が連結された顔ｉ自体の特徴が混成ベクトルで表わされる。
【００８２】
次に、ステップＳ５０９で生成した顔ｉの混成ベクトルを、人物パラメータデータベース２０２に登録されている全ての顔の混成ベクトルの主成分に基底される混成モデル固有空間に投射して、顔ｉの統合パラメータ（混成モデル固有空間展開係数）を計算する（Ｓ５１０）。さらに、計算された顔ｉの統合パラメータを用いて、登録されている全ての顔の混成ベクトルの主成分軸に対する顔ｉの個人特徴の強さを表わす特異度を計算する。そして、その特異度に基づいて重みを決定して、登録されている人物の顔ｋと、入力された顔ｉとの統合距離ｄｉｓｋ（ｋ，ｉ）を計算する（Ｓ５１１）。なお、ステップＳ５１１での計算は、上述の第１の実施の形態の認識処理においてステップＳ２１３で実行される計算と同様であるため、ここでの詳細な説明は繰返さない。
【００８３】
ステップＳ５１１での統合距離ｄｉｓｋ（ｋ，ｉ）の計算を、登録されている顔ごとに実行し、統合距離ｄｉｓｋ（ｋ，ｉ）が小さい順にソートする（Ｓ５１２）。
【００８４】
以上で、第２の実施の形態における人物認証システムで行なわれる人物の認証処理が終了し、登録されている顔の中で、入力された画像に含まれる顔ｉとの統合距離ｄｉｓｋ（ｋ，ｉ）が最も小さい人物の名前や記憶画像や予め割振られている番号等のＩＤを、ディスプレイ１０６に出力する。また、統合距離ｄｉｓｋ（ｋ，ｉ）が所定のしきい値以上である場合には、登録されている人物でない旨のメッセージや警告等を出力することもできる。
【００８５】
このように、第２の実施の形態における人物認証システムで人物の認証処理を行なう際には、顔の部位である目や口といった複数の部位の特徴を連結した情報を用いて、データベースに登録されている特徴を示すパラメータと照会する。すなわち、ある人物の顔ｊが入力された際、その入力画像より得られる特徴ベクトルから特徴パラメータを算出し、さらに統合ベクトルを算出する。そして、入力された顔ｊの統合ベクトルの、記憶されている全ての顔の統合ベクトルからなる空間上での位置を求めて、その位置を比較することで、登録されている顔ｋとの類似度を求める。このように個人の特徴を考慮した計算を行なうことで、より精度の高い個人認証を行なうことができる。また、個人の部位間の特徴を考慮して類似度を算出するため、よりロバストな個人認証を行なうことができる。また、従来であればテンプレートマッチング等の複雑な処理が必要であった人物認証を、少ない処理で行なうことができる。
【００８６】
なお、以上において、カメラ２から人物の画像を取得したＰＣ１において上述の人物の登録処理および認識処理が実行されるものとして説明を行なったが、カメラ２が上述の処理を実行するためのプログラムを記憶して処理能力を有するＣＰＵを備える場合には、カメラ２が上述の人物の登録処理および認識処理を実行してもよい。その場合、データベース２０１，２０２は、カメラ２に含まれていてもよいし、ＬＡＮ（Local Area Network）等による通信や無線通信を行なって、他の装置にあるデータベースを用いてもよい。
【００８７】
また、上述の処理においては、人物の顔の登録および認識処理について説明したが、登録および認識処理を行なう対象は人物の顔に限定されない。すなわち、複数の特徴ある部位を備える物体であれば同様の処理を行なうことができ、例えば製品検査等にも用いることもできる。
【００８８】
さらに、上述の人物認証システムが行なう登録方法および認識方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００８９】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００９０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】 第１の実施の形態における人物認証システムの構成の具体例を示す図である。
【図２】 人物認証システムで実行される処理の流れを示す図である。
【図３】 学習モジュールの処理の流れを示す図である。
【図４】 認識モジュールの処理の流れを示す図である。
【図５】 第１の実施の形態における人物認証システムでの人物の登録処理について示すフローチャートである。
【図６】 第１の実施の形態における人物認証システムでの人物の認識処理について示すフローチャートである。
【図７】 登録処理および認証処理で実行される前処理について示すフローチャートである。
【図８】 目の垂直位置を決定する処理を具体的に示す図である。
【図９】 目の水平位置を決定する処理を具体的に示す図である。
【図１０】 口の検出処理を具体的を具体的に示す図である。
【図１１】 顔マスクの具体例を示す図である。
【図１２】 第２の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。
【図１３】 第２の実施の形態における人物認証システムでの人物の登録処理を示すフローチャートである。
【図１４】 第２の実施の形態における人物認証システムでの人物の認識処理を示すフローチャートである。
【符号の説明】
１ ＰＣ、２ カメラ、１０１ ＣＰＵ、１０２ ＨＤＤ、１０３ ＲＯＭ、１０４ ＲＡＭ、１０５ 入力部、１０６ ディスプレイ、１０７ カメラＩ／Ｆ、２０１ 部位基底ベクトルデータベース、２０２ 人物パラメータデータベース、Ｍ１〜Ｍ１０ 顔マスク。
Claims (4)
- 画像照会を行なうための情報を記憶装置に登録する方法であって、
登録対象を含む登録対象画像より顔画像を検出する第１検出ステップと、
前記顔画像より所定の部位領域を検出する第２検出ステップと、
前記部位領域の画素値をベクトル化して、前記顔画像の前記部位についての特徴ベクトルを算出する第１算出ステップと、
前記顔画像の部位ごとに算出された前記特徴ベクトルを前記記憶装置に格納する第１格納ステップと、
前記記憶装置にすでに格納されている前記部位についての特徴ベクトルと、前記顔画像の前記部位についての前記特徴ベクトルとの主成分分析を行なって、前記部位についての固有ベクトルを算出する第２算出ステップと、
前記固有ベクトルで構成される前記部位の固有空間に前記顔画像の前記部位についての前記特徴ベクトルを投影して、前記顔画像の前記部位についての特徴パラメータを算出する第３算出ステップと、
前記顔画像の部位ごとに算出された前記特徴パラメータに基づいて、前記顔画像の特異度を算出し、前記特異度に基づいて前記部位の重み係数を算出する第４算出ステップと、
部位ごとに算出された前記固有ベクトルと前記顔画像についての前記重み係数とを前記記憶装置に格納する第２格納ステップとを備える、画像照会用情報構築方法。 - 画像照会を行なうための情報を記憶装置に登録する方法であって、
登録対象を含む登録対象画像より顔画像を検出する第１検出ステップと、
前記顔画像より所定の部位領域を検出する第２検出ステップと、
前記部位領域の画素値をベクトル化して、前記顔画像の前記部位についての特徴ベクトルを算出する第１算出ステップと、
前記顔画像の部位ごとに算出された前記特徴ベクトルを前記記憶装置に格納する第１格納ステップと、
前記記憶装置にすでに格納されている前記部位についての特徴ベクトルと、前記顔画像の前記部位についての前記特徴ベクトルとの主成分分析を行なって、前記部位についての固有ベクトルを算出する第２算出ステップと、
前記固有ベクトルで構成される前記部位の固有空間に前記顔画像の前記部位についての前記特徴ベクトルを投影して、前記顔画像の前記部位についての特徴パラメータを算出する第３算出ステップと、
前記顔画像の部位ごとに算出された前記特徴パラメータを連結して、前記顔画像についての混成ベクトルを算出する第４算出ステップと、
前記顔画像についての前記混成ベクトルを前記記憶装置に格納する第２格納ステップと、
前記記憶装置にすでに格納されている混成ベクトルと、前記顔画像についての前記混成ベクトルとの主成分に基底される固有空間に、前記顔画像についての前記混成ベクトルを投影して前記顔画像についての統合パラメータを算出し、前記統合パラメータを用いて前記混合ベクトルを算出する第５算出ステップと、
前記顔画像についての前記混成ベクトルと、前記顔画像についての前記統合パラメータとを前記記憶装置に格納する第３格納ステップとを備える、画像照会用情報構築方法。 - 前記第２検出ステップにおいて前記顔画像より検出した第１部位および第２部位について、それらの位置関係が規定の位置関係となるように、前記顔画像の大きさおよび傾きを正規化する正規化ステップをさらに備える、請求項１または２に記載の画像照会用情報構築方法。
- 画像照会を行なうための情報が登録されている記憶装置を備える画像照会システムにおける画像照会方法であって、
照会対象を含む照会対象画像である顔画像を入力する入力ステップと、
前記顔画像より第１部位領域を検出する検出ステップと、
前記部位領域の画素値をベクトル化して、前記顔画像の前記第１部位についての第１特徴ベクトルを算出する第１算出ステップと、
前記第１部位を特定する特定ステップとを備え、
前記特定ステップは、
前記記憶装置に格納されている各部位についての固有ベクトルを基底ベクトルとする各固有空間の各々に、前記顔画像の前記第１部位についての前記第１特徴ベクトルを投射することで前記第１部位の特徴パラメータを前記各部位についての固有空間ごとに得るステップと、
前記第１部位についての前記第１特徴ベクトルと前記記憶装置に格納されている各部位についての前記固有ベクトルとに基づいて、前記第１部位についての第２特徴ベクトルを再構築するステップと、
再構築された前記第２特徴ベクトルを、前記記憶装置に格納されている各第２部位についての固有ベクトルを基底ベクトルとする各固有空間の各々に投射し、前記第２部位の固有空間内での前記第１部位の前記第２特徴ベクトルへの距離を計算するステップと、
前記距離がしきい値以内である場合に前記第１部位を前記第２部位と特定するステップとを含み、
前記顔画像の部位ごとに算出された前記特徴パラメータに基づいて前記顔画像の特異度を算出する第２算出ステップと、
前記特異度に基づいて、前記顔画像の各部位に対する重みを決定する決定ステップと、
部位ごとの、前記記憶装置に記憶されている特徴パラメータと、前記顔画像についての前記特徴パラメータとの間の距離を、前記重みを考慮して顔について統合して統合距離を算出する第３算出ステップと、
前記照会する照会対象と前記記憶装置に予め登録されている照会対象との照合を行なう前記統合距離の小さい順に前記記憶装置に登録されている情報をソートする照合ステップとをさらに備える、画像照会方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002203710A JP3988554B2 (ja) | 2002-07-12 | 2002-07-12 | 画像照会用情報構築方法および画像照会方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002203710A JP3988554B2 (ja) | 2002-07-12 | 2002-07-12 | 画像照会用情報構築方法および画像照会方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004046567A JP2004046567A (ja) | 2004-02-12 |
| JP3988554B2 true JP3988554B2 (ja) | 2007-10-10 |
Family
ID=31709509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002203710A Expired - Fee Related JP3988554B2 (ja) | 2002-07-12 | 2002-07-12 | 画像照会用情報構築方法および画像照会方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3988554B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2796061C (en) * | 2010-04-14 | 2016-11-08 | The Dun And Bradstreet Corporation | Ascribing actionable attributes to data that describes a personal identity |
| CN116778367A (zh) * | 2016-06-03 | 2023-09-19 | 奇跃公司 | 增强现实身份验证 |
| US11495057B2 (en) | 2017-12-08 | 2022-11-08 | Nec Corporation | Person verification device and method and non-transitory computer readable media |
| WO2023189195A1 (ja) * | 2022-03-30 | 2023-10-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN116360603A (zh) * | 2023-05-29 | 2023-06-30 | 中数元宇数字科技(上海)有限公司 | 基于时序信号匹配的交互方法、设备、介质及程序产品 |
-
2002
- 2002-07-12 JP JP2002203710A patent/JP3988554B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004046567A (ja) | 2004-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4443722B2 (ja) | 画像認識装置及び方法 | |
| US6430307B1 (en) | Feature extraction system and face image recognition system | |
| JP4560832B2 (ja) | ３次元物体モデルを用いた画像照合システム及び画像照合プログラム | |
| JP6013241B2 (ja) | 人物認識装置、及び方法 | |
| JP4505733B2 (ja) | テクストンを用いる対象物認識方法及び装置 | |
| JP4483334B2 (ja) | 画像処理装置 | |
| Gokberk et al. | Representation plurality and fusion for 3-D face recognition | |
| JP4604439B2 (ja) | 画像処理装置及び画像処理方法、並びに記録媒体 | |
| JP4992289B2 (ja) | 認証システム、認証方法、及びプログラム | |
| JP2007206833A (ja) | 生体照合方法および生体照合装置 | |
| JP2004005622A (ja) | 顔要素に基づく顔記述子を用いた顔認識方法及びその装置 | |
| JP2004005456A (ja) | 構成成分基盤ｐｃａ／ｉｃａを利用した顔認識方法及びその装置 | |
| US20070050639A1 (en) | Authentication apparatus and authentication method | |
| JP2007058397A (ja) | 認証システム、登録システム及び証明用媒体 | |
| JPH11175724A (ja) | 人物属性識別装置 | |
| JP2008204200A (ja) | 顔解析システム及びプログラム | |
| JP2012221061A (ja) | 画像認識装置、画像認識方法、及びプログラム | |
| JP2007058401A (ja) | 認証装置、認証方法及びプログラム | |
| JP3988554B2 (ja) | 画像照会用情報構築方法および画像照会方法 | |
| JP2001092963A (ja) | 画像照合方法および装置 | |
| JP4814666B2 (ja) | 顔解析システム | |
| JP2006031388A (ja) | 画像類似度演算装置およびそれを利用した画像認識装置、画像類似度演算方法およびそれを利用した画像認識方法、ならびに画像照合用コンピュータプログラムおよびそれを記録した記録媒体 | |
| JPH1185988A (ja) | 顔画像認識システム | |
| JP2012221053A (ja) | 画像認識装置、画像認識方法、及びプログラム | |
| EP1828959A1 (en) | Face recognition using features along iso-radius contours |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050325 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |