JPH04242106A - 顔の認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば入室管理シス
テム等のセキュリティの分野で使用される顔の認識装置
に関する。

【０００２】

【従来の技術】人間の顔の形状をビデオカメラ等で撮影
し、この顔の特徴点を抽出して、予めデータベースに登
録設定された多数の特徴点と照合し、顔の認識を行う顔
の認識システムは種々考えられている。例えば論文「３
次元データより得られる横顔輪郭線を用いた人間の顔の
自動識別」（電子通信学会論文誌Ｄ−２、１９９０年９
月、ＰＰ．１４６８−１４７６　）では、特徴点の抽出
処理の前に、測定毎にづれる顔の向きの補正を行ってい
る。

【０００３】ここで、正面を向いた顔に対して左右方向
の軸をＸ軸、上下方向の軸をＹ軸、さらに前後方向の軸
をＺ軸とする。顔の向きの補正はＸ軸回り、Ｙ軸回り、
およびＺ軸回りのそれぞれの向きの補正に分けることが
できる。しかし、従来において考えられたシステムにお
いては、Ｙ軸およびＺ軸回りの補正は行うが、軸の基準
が明確にされないＸ軸回りの補正は行われていない。す
なわち、Ｘ軸回りの補正を行うことなく特徴点の抽出を
行っているものであるため、特徴点の抽出精度を充分に
向上させることが困難であり、認識率を充分に向上させ
ることが困難である。

【０００４】

【発明が解決しようとする課題】この発明は上記のよう
な点に鑑みなされたもので、顔の特徴点が確実に抽出さ
れるようにすることを目的としているものであり、特に
顔のＸ軸回りの補正を容易且つ確実に行わせるようにす
ることによって、顔の認識がより正確に行われるように
した顔の認識装置を提供しようとするものである。

【０００５】

【課題を解決するための手段】この発明に係る顔の認識
装置にあっては、まず顔の３次元形状を測定すると共に
、この３次元形状データに基づいて顔の向きを補正し、
その後その顔の特徴点を抽出してデータベース上のデー
タと照合させるようにする。ここで、前記顔の向きの補
正に際して、Ｙ軸回りおよびＺ軸回りの向きの補正を行
うと共に、鼻の稜線に対応した特徴点から例えば回帰直
線を求め、この回帰直線を基準にＸ軸回りの補正を行う
ようにしている。

【０００６】

【作用】この様に構成される顔の認識装置においては、
Ｙ−Ｚ軸に対応する面の特徴点の配列から鼻の稜線が検
出され、Ｙ軸に特定される角度θの設定された回帰直線
が求められる。すなわち、認識しようとする顔の形状に
対応して特定されるＸ軸が再現性良く得られるものであ
り、したがって回帰直線を基準にしてＸ軸回りの向き補
正を行うことによって、精度の高い顔の認識が行われる
ようになる。

【０００７】

【実施例】以下、図面を参照してこの発明の一実施例を
説明する。図１の（Ａ）は全体的な構成を示すもので、
顔の形状を取り込む３次元形状測定装置１１を備える。 この３次元形状測定装置１１としては、例えば図２で示
すように認識しようとする顔１２に向けて縞模様の光を
投射するプロジェクタ１１１　と、このプロジェクタ１
１１　からの光が投射された顔１２を撮影するカメラ１
１２　とを含み構成され、カメラ１１２　で撮像された
映像データはＡ／Ｄ変換部１１３　でディジタルデータ
に変換し、形状計算部１１４　に送られるようにしてい
る。

【０００８】ここで、プロジェクタ１１１　には格子１
１５　が設定されており、この格子１１５　の設定され
たプロジェクタ１１１　からの光が投射された顔１２に
、この格子１１５　の縞模様に対応した影が表現される
ようになる。図３は顔１２に投影された格子縞像を、カ
メラ１１２　によって撮像した映像の状態で示している
。

【０００９】すなわち、プロジェクタ１１１　から格子
１１５　の縞模様に対応した光を被測定物体である顔１
２に投射すると、この顔１２の表面に格子縞模様が投影
されるもので、これをプロジェクタ１１１　とは別角度
位置に設定されたカメラ１１２　で撮像すると、顔１２
の表面形状に応じて縞模様が変形した図３で示すような
格子像が得られる。この様な映像データはＡ／Ｄ変換部
１１３　でディジタルデータに変換され、形状計算部１
１４　で格子像の変形具合から顔１２の３次元形状を求
める。

【００１０】この３次元形状は、Ｘ、Ｙ、Ｚの座標値を
持つ点データの集合として得られるもので、このＸ、Ｙ
、Ｚの各座標軸は、図１の（Ｂ）で示すように、顔１２
の中心である鼻１２１　を通る水平線がＸ軸、垂直線が
Ｙ軸、このＸ−Ｙ面に垂直な線がＺ軸としてそれぞれ設
定されるようにする。

【００１１】３次元形状測定装置１１からの出力３次元
形状データは、認識処理装置１３に供給される。この認
識処理装置１３は顔の向きの補正処理部１４と特徴点抽
出処理部１５を備え、この特徴点処理部１５で処理され
た特徴点データは、照合処理部１６でデータベース１７
に登録されたデータと照合されるようにしている。

【００１２】この様な認識処理装置１３において、特徴
点抽出等の処理を行う前に、測定毎にずれる顔の向きを
補正する必要があるもので、向きの補正処理部１４にお
いては、この様な向きのずれを補正する。

【００１３】この顔の向きの補正には、Ｘ軸回り、Ｙ軸
回り、およびＺ軸回りの３種類がある。補正処理部１４
はＹ軸回りおよびＺ軸回りの向きの補正（第１の補正）
を行う補正処理部１８と、Ｘ軸回りの補正（第２の補正
）を行う補正処理部１９とによって構成されるもので、
これらの向きの補正処理は図４で示す順序で行われる。 すなわち、ステップ１００　でＹ軸回りの補正処理を行
ない、ステップ１０１　ではＺ軸回りの補正処理を行な
い、さらにステップ１０２　でＸ軸回りの補正処理を行
なわせるようにする。

【００１４】ここで、Ｙ軸回りおよびＺ軸回りの向きの
補正は、顔の左右の対称性が利用できる。まずＹ軸回り
の向きの補正は、図５の（Ａ）に示すように顔の左右が
最も対称となるように、Ｙ軸回りに回転させる。同様に
Ｚ軸回りの向きの補正は同図の（Ｂ）で示すように、顔
の左右が最も対象な状態となるように、Ｚ軸の回りに回
転させることにより行なう。

【００１５】この様にしてＹ軸およびＺ軸回りの補正処
理部１８における処理が終了したならば、Ｘ軸回りの向
きの補正処理部１９においてその補正処理を行なう。こ
の補正処理部１９における処理の流れは図６に示すよう
になるもので、まずステップ２００　で鼻を頂点（Ｚ座
標の値が最大である測定点）が原点とされるように、全
ての測定点を平行移動させる位置の補正処理を行なう。 その結果、図５の（Ｃ）で示すように測定点が配置され
る。

【００１６】次に、ステップ２０１　において同一水平
方向に並ぶ測定点（Ｙ座標値が同一とされる点）を用い
て、図５の（Ｃ）で示したようにＹ−Ｚ平面上の点（Ｘ
＝０となる点）Ｑｊ　を補間によって求める。ここでｊ
は何番目の水平方向の測定点の並びであるかを表わす。 同図において黒丸印は測定点を示し、また白抜きの丸印
は補間点（Ｑｊ　）を示している。図７はこの様にして
求められた補間点Ｑｊ　を示しているもので、この図で
点データとは補間点Ｑｊ　のことである。

【００１７】ステップ２０２　では、これらの補間点Ｑ
ｊ　から、Ｙ座標値が“０”（鼻の頂点）から、例えば
２０ｍｍ（鼻があると思われる領域の上限）までの点を
抽出する。この様にして抽出された点は、鼻の稜線上の
点である。そして、この様にして抽出された点の連続で
作られた回帰直線（２乗誤差が最小となる直線）をステ
ップ２０３　で求めるもので、この回帰直線は鼻の稜線
に対応する。

【００１８】ステップ２０４　ではＸ軸回りの補正を行
なうもので、このＸ軸回りの向きの補正は、ステップ２
０３　で求められた回帰直線とＹ軸との角度θが一定と
なるように、Ｘ軸の回りに回転させる。

【００１９】この様に向きの補正処理部１４で向きの補
正処理が行われた後は、図１で示す特徴点抽出処理部１
５で特徴点を抽出し、この抽出された特徴点は、照合処
理部１６でデータベース１７に登録されたデータと照合
される。

【００２０】従来の向きの補正処理において、Ｙ軸回り
およびＺ軸回りの補正に関しては、実施例で説明したと
同様に左右の対称性を利用して向きの補正を行なってい
る。しかし、Ｘ軸回りの向きの補正については、左右の
対称性を利用して向きの補正が行うことのできないもの
であるため、特徴点を抽出した後に、この特徴点を利用
して向きの補正を行なっていた。このため、従来におい
て特徴点の抽出精度を向上させることが困難であり、認
識率を上げることができないものであった。

【００２１】この点、実施例で示した装置においては、
特徴点の抽出処理の前に、Ｘ軸回りの補正を行なってい
るものであり、特に鼻の稜線に対応した回帰直線に基づ
いてＸ軸回りの向きの補正を行なっている。その結果、
特徴点の抽出精度が向上されるようになり、顔の認識率
が向上されるようになる。

【００２２】尚、顔の３次元形状の測定には、実施例で
はプロジェクタ１１１とカメラ１１２　を用いるパター
ン投影法を示したが、その他ステレオ写真法、光切断法
、モアレ・トポグラフイー法等の３次元形状測定手段が
適宜使用可能である。

【００２３】また、補間点Ｑｊ　の回帰直線を鼻の稜線
として示したが、この補間点Ｑｊ　の中の２点、例えば
ｊが最大の点Ｑｊ　とｊが最小の点Ｑｊ　を結んだ直線
を、鼻の稜線と認定させるようにしてもよい。この様に
した場合、求めるべき補間点が少なくなるものであるた
め、処理時間を短縮するために効果的である。

【００２４】さらにこの様な向きの補正処理後に特徴点
の抽出処理を行なわずに、直接照合処理を行なうことも
できる。この場合、測定データと登録データとの照合に
は、次に示す値Ｄを用いればよい。

【００２５】 Ｄ＝　ＮΣｎ　｜Ｚｎ　−Ｚ′（Ｘｎ　，Ｙｎ　）｜こ
こで、Ｘｎ　、Ｙｎ　、Ｚｎ　はｎ番目の測定データの
各座標値、Ｚ′（Ｘｎ　、Ｙｎ　）は登録データの（Ｘ
ｎ　、Ｙｎ　）におけるＺの座標値、Ｎは全測定データ
数を表わす。

【００２６】

【発明の効果】以上のようにこの発明に係る顔の認識装
置によれば、顔の稜線を利用してＸ軸回りの向き補正が
行われるものであるため、Ｘ、Ｙ、Ｚの各向きの補正を
行なった後に特徴点の抽出等の照合処理が行われるもの
であり、特にＸ軸回りの向きの補正が確実に精度良く実
行されるものであるため、認識率が著しく向上されるよ
うになる。

【図面の簡単な説明】

【図１】　　この発明の一実施例に係る顔の認識装置を
説明する構成図。

【図２】　　この認識装置の３次元形状測定装置の例を
示す構成図。

【図３】　　この形状測定装置で得られた顔の像を示す
図。

【図４】　　向きの補正処理の流れを示す図。

【図５】　　（Ａ）〜（Ｃ）はそれぞれ向きの補正状態
を説明する図。

【図６】　　Ｘ軸回りの向き補正処理の流れを説明する
フローチャート。

【図７】　　鼻の稜線に対応した回帰直線を説明する図
。

【符号の説明】

１１…３次元形状測定装置、１２…顔、１３…認識処理
装置、１４…向き補正処理部、１５…特徴点抽出処理部
、１６…照合処理部、１７…データベース、１８…Ｙ軸
回りおよびＺ軸回りの向き補正処理部（第１）、１９…
Ｘ軸回りの向き補正処理部、１１１　…プロジェクタ、
１１２　…カメラ、１１５　…格子。

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　Ｘ、Ｙ、およびＺの方向にそれぞれ対
   応する顔の３次元形状を測定する形状測定手段と、この
   形状測定手段で得られた３次元形状に対応するデータに
   基づき、前記顔の向きを補正する向き補正手段と、この
   向き補正手段で補正された３次元形状データに基づいて
   、前記顔の特徴点を抽出する特徴点抽出処理手段と、こ
   の手段で抽出された特徴点をデータベース上の特徴点と
   照合する照合処理手段とを具備し、前記向き補正手段は
   、Ｙ軸回りおよびＺ軸回りの向きを補正する第１の向き
   補正処理部、およびＸ軸回りの向きを補正する第２の向
   き補正処理部によって構成され、前記第２の向き補正処
   理部では、Ｙ−Ｚ面の特徴点として得られる鼻の稜線に
   対応した線とＹ軸との間の角度θのＹ−Ｚ面上の線に対
   応して、特徴点データをＸ軸回りに回転させ、顔の向き
   を補正するようにしたことを特徴とする顔の認識装置。