JP4628839B2

JP4628839B2 - 顔画像認識装置

Info

Publication number: JP4628839B2
Application number: JP2005094575A
Authority: JP
Inventors: 保典長坂; 時康佐藤
Original assignee: Adachi Light Inc
Current assignee: Adachi Light Inc
Priority date: 2005-03-29
Filing date: 2005-03-29
Publication date: 2011-02-09
Anticipated expiration: 2025-03-29
Also published as: JP2006277245A

Description

本発明は顔の鼻孔を特定することにより顔画像の全体を認識しその顔の属性を判別しようとする装置に関するものである。

個人認証、年齢・性別判定、状況判定などを目的とし、目・鼻・口等の顔部品を正確に座標検出することが求められている。このため顔座標の自動推定に関する研究はすでに様々な研究機関において研究され、例えば顔のカラー画像データから肌領域と髪領域を検出することにより目・鼻・口等の顔部品の位置を検出する論文等が発表されている。
また、下記特許文献１には居眠り運転を防止するため運転中の人の顔の目の動きを捕らえるため、顔画像と代表的な鼻孔形状のテンプレートとの一致性を見て鼻孔を検出し、その鼻孔位置に基づき目が存在するであろう位置を特定する技術思想が開示されている。
特開平１０−６３８５０号公報

しかし、既存の顔画像認識装置は顔画像の撮影条件や環境が限られる場合が多く、条件が変化すると認識を誤ることが多い。また、特許文献１においても運転中の略々定位置、定方向にある顔画像であり、かつ明るさも略々一定の顔画像から鼻孔を検出しようとするものであるため、これらの条件が変わると鼻孔形状のテンプレートの一致から鼻孔を検出することは容易でなく認識率が著しく低下することが避けられないと考えられる。
本発明は、このような既存装置の問題点を解消し得る顔画像認識装置を提供しようとするものである。

そのために請求項１に記載した顔画像認識装置の発明は、正面または斜め下方から撮影され、グレースケール化された顔画像データにおける各画素を所定の閾値により白黒に二値化し、二値化された画像中で複数の黒色の画素が隣接状に位置する黒色画素集団について要素値を夫々計算すると共に該各画素集団の要素値の差分和を計算し、最小の差分和を示した画素集団対について該差分和が一定値以下であった場合にその画素集団対を鼻孔対であると判定し、最小の差分和を示した画素集団対の差分和が一定値以下でなかった場合は前記二値化の閾値を変更して差分和を再計算し鼻孔対の有無を再判定し、さらに、一対の黒色画素集団の重心間距離の水平成分が該各画素集団の半径の和以内であるときその画素集団対を鼻孔候補から除外することを特徴とする。
また請求項２に記載した発明は、上記顔画像認識装置において、正面または斜め下方から撮影され、グレースケール化された顔画像データにおける各画素を所定の閾値により白黒に二値化し、二値化された画像中で複数の黒色の画素が隣接状に位置する黒色画素集団について要素値を夫々計算すると共に該各画素集団の要素値の差分和を計算し、最小の差分和を示した画素集団対について該差分和が一定値以下であった場合にその画素集団対を鼻孔対であると判定し、最小の差分和を示した画素集団対の差分和が一定値以下でなかった場合は前記二値化の閾値を変更して差分和を再計算し鼻孔対の有無を再判定し、さらに、一対の黒色画素集団の重心間距離の垂直成分が該各画素集団の半径の和以上であるときその画素集団対を鼻孔候補から除外することを特徴とする。

撮影条件が変化しても常に高い認識率で顔を認識することができる顔画像認識装置を提供する。

次に本発明の実施形態を図１のフローチャートおよびに図２のブロック図に従い説明する。人の顔１を正面または斜め下方からＣＣＤカメラ２により撮影し、得られたカラー画像データを画像メモリ３に記憶する。（ステップ１）。なお、この画像データの画素数は例えば「６４０×４８０」のものとする。次いで、ステップ２にてこのカラー画像データをグレースケール化回路４に通してグレースケール化し、グレースケール化された画像データを画像メモリ５に記憶する。（ステップ３）。カラー画像データをグレースケール化するには、三原色（Ｒ，Ｇ，Ｂ）の値（１０進数で０〜２５５）を単純平均したものを輝度とする単純平均法と、色の違いによる心理的明るさを考慮した加重平均法があるが、ここでは、加重平均法を使用するのが望ましく、次式により輝度Ｙが求められる。なお、人の顔を白黒カメラにより撮影した場合は、これをそのままグレースケール化された画像データとして取り扱うことができる。

またこの加重平均法によりグレースケール化した画像を図３に例示する。

次に上記グレースケール化後の画像における各画素を二値化処理回路６に通すことで所定の閾値Ｋにより白黒に二値化する。なお、この二値化にあたっての閾値Ｋ（上記輝度Ｙ）は当初は２０に設定することで、ステップ４からステップ５に移行する。なお、閾値Ｋを３０としたときの二値化画像を図４に例示し、閾値Ｋを５０としたときの二値化画像を図５に例示する。

次いでこの二値化された画像をステップ６にてノイズ除去フィルタ７に通すことによって画像中の図形のくっつきやゴミなどのノイズを除去し、その画像データを画像メモリ８に記憶する。なお、ノイズ除去フィルタ７は、注目画素とその周囲８近傍画素の濃度値の平均値を注目画素の新しい濃度値とする平均値フィルタ（移動平均フィルタとも呼ばれる。）、膨脹・収縮フィルタ、および、メディアンフィルタ等がある。膨脹・収縮フィルタは、膨脹処理と収縮処理とを組み合わせることで、二値画像中の様々なノイズを除去し得るもので、膨脹処理は図６（ａ）に例示したように、注目画素の周囲８近傍画素のうち１画素以上黒画素があれば注目画素を黒画素とする。また収縮処理は図６（ｂ）に例示したように、注目画素の周囲８近傍画素のうち１画素以上白画素があれば注目画素を白画素とするものである。また、なお、図７は上記膨脹・収縮フィルタを使用し図４の画像に収縮処理を２回行った例で、細かい画素が取り除かれ、ノイズが除去されている。また、図８はこの図７の画像に膨脹処理を３回行った例を示し、画素同士が連結されている様子が分かる。なお、メディアンフィルタは図９に示したように３×３の画素領域における注目画素と周囲８近傍画素の計９画素の濃度値について昇順または降順にソートを行い、中央（５番目）の値を新しい注目画素の濃度値とするフィルタで、ごま塩ノイズと呼ばれる不規則なノイズを除去するものである。

次に、ステップ７のラベリングに移行する。このラベリング行程では、画像メモリ８に記憶された画像を走査手段９により走査し、画素画像中における黒色の画素と白色の画素との境界線を追跡することにより、複数の黒色の画素が隣接状に位置する黒色画素集団（黒色塊）を探索すると共に、ラベリング手段１０により図１０に例示したように、探索された各黒色画素集団に番号付け（ｌａｂｅｌｉｎｇ）を行う。

なお、境界線追跡とは、連結成分の境界の画素をたどりながら線を追跡していく処理で、その周囲長や縦横の長さなどを求めることができる。連結する画素を注目画素の上下左右４近傍画素とする場合を４連結といい、連結する画素を注目画素の周囲８近傍とする場合を８連結というが、ここでは８連結の境界線追跡を行う。具体的には画素を左上から水平方向に順に走査し、発見された１（黒画素）を注目画素とし、その周囲８近傍の１（黒画素）の有無を検索し、発見された１（黒画素）をその次の注目画素とし、注目画素が最初の注目画素に戻るまで同様の検索過程を繰り返すことにより黒色画素集団の外周の境界線および内周の境界線を探索する。

そして、ラベリングされた各黒色画素集団の周囲長，面積，重心座標，真円度，半径、および、該各画素集団の周囲領域との輝度の分離度等の要素値を夫々計算する。（ステップ８）。周囲長Ｌは図１１に例示したように水平方向の境界線を１とし斜め方向の境界線を√２として計算する。また、面積Ｓは該各画素集団を構成している画素数より求められる。重心座標Ｘｃ，Ｙｃは面積をＳとし次式から求められる。

また、真円度Ｒは次式から求められる。

半径ｒは次式から求められる。

また、前記画像メモリ５に記憶された画像データを要素値計算回路１１に取り込み、各画素集団の輝度の周囲領域との分離度を求める。２つの領域をＲ_１，Ｒ_２とした場合の分離度ηは次式にて計算される。

なお、周囲領域としては図１２に示したように、円領域により定義されるものと図１３に示したように８方向領域により定義されるものとがあるが、８方向領域により定義されるものは、走査画素数が半径ｒの値に依存せず常に一定であるため円領域に比べて高速化が期待できると共に対象となる領域の形状が真円でなくても柔軟性があると考えられる。

次いで、ラベリングされた各黒色画素集団のうち以下の条件１，２，３が満たされないことから明らかに鼻孔対に該当しないと判断されるものを鼻孔対候補から除外する。（ステップ９）。
１．単独の黒色画素集団の真円度Ｒが０．６以上であること。
２．単独の黒色画素集団の分離度が０．３以上であること。
３．一対の黒色画素集団の半径を夫々ｒ_１，ｒ_２としたとき（図１４）、重心座標間の距離が、Ｘ座標間ａではｒ_１＋ｒ_２以上であり、Ｙ座標間ｂではｒ_１＋ｒ_２以内であること。

残った鼻孔対候補（画素集団対）に対してステップ１０，差分和計算回路１２にて次に掲げる要素値について差分を加算する。
１．図１５に示すように、２つの画素集団の半径を夫々ｒ_１，ｒ_２としたとき、｛（ｒ_１＋ｒ_２）／２｝×４を鼻孔間長（重心Ｘ座標間の距離の計算値）とし、重心Ｘ座標の差分と鼻孔間長との差分、即ち、｜（Ｘ_２−Ｘ_１）−｛（ｒ_１＋ｒ_２）／２｝×４｜を加算する。
２．重心Ｙ座標の差分、即ち、｜Ｙ_２−Ｙ_１｜を加算する。
３．周囲長の差分、即ち、｜Ｌ_２−Ｌ_１｜を加算する。
４．面積の差分、即ち、｜Ｓ_２−Ｓ_１｜を加算する。
よって、差分和Ｍは次式で計算される。

そしてステップ１１にて最小の差分和を示した画素集団対について該差分和Ｍが一定値（４０）以下であった場合にその画素集団対を鼻孔対であると判定し、ステップ１２，１３に移行しこの検出を終了する。また、最小の差分和を示した画素集団対の差分和Ｍが一定値以下でなかった場合は、ステップ１４に移行して前記二値化の閾値ＫをＫ＋１０とし、ステップ１５で該閾値Ｋが２４５以下であることを条件としてはステップ５に戻り、閾値を変更したうえで再度二値化し、以下同様に差分和を再計算し鼻孔対の有無を再判定する。そして差分和Ｍが一定値（４０）以下の画素集団対が検出されるまでこの行程が繰り返され、閾値Ｋが２４５以上となるとステップ１６に移行し鼻孔対未検出のまま終了する。

これによって顔画像中の鼻孔対の座標を高確度で検出することができる。即ち、鼻孔対は最も黒度が高い一対の黒画素集団として捉えられると共に、目等の他の顔部品と比べて性別、年齢等による違いが極めて少なく、眼鏡の有無、髭の有無等の影響も受けることもなく個人差が少ないことから、この行程により万人の顔画像中の鼻孔対を高確度でミスなく検出することが可能となる。また、顔に当たっている光の方向や明るさ等の撮影条件が変化しても常に高い認識率で顔を認識することができる。

また、顔画像中の目座標は、上記のようにして検出された鼻孔座標を基準として位置の絞り込みを行う。目検出に伴い、２つの鼻孔の重心座標を通る直線（鼻孔水平線）と、この直線に垂直かつ鼻孔間の中心を通る直線（鼻孔垂直中心線）を定義する。（図１５参照）。そして、鼻孔検出時と同様に明らかに目でないと判断できる図形ペアを除外し、残りの図形に対して図形ペアの差分を加算する。そして差分和の最小のペアを目候補に決定する。

こうして認識された顔画像は、個人認証、或いは性別・年齢の判定、状況判定等に利用される。個人認証は、キャッシュカード、クレジットカード等の利用者の本人確認に利用できるほか、例えば一台の特定のパチンコ機，パチスロ機，スロットマシン等の遊技機に同一人物が遊技している時間を計測すること等に利用することができる。

また、この画像認識により目，鼻，口等の各顔部品の周囲長，面積，重心座標，真円度，半径、および、該画素集団の周囲領域との輝度の分離度等の要素値を計算し、性別、或いは年齢によるこれらの要素値の相違を予め多数の顔画像について統計し、各要素値について男女間の閾値を決めておくことにより、顔画像から性別を判断することを可能にする。

また図１６は、パチンコ機１４の前面に突出状に設けられている球貯留皿１５にＣＣＤカメラ２を斜め上向きに設定することにより、遊技者の顔が斜め下方から撮影されるようにしたＣＣＤカメラの取付状況を例示したものである。またパチスロ機，スロットマシン等の場合はスタートボタンやストップボタン等が設けられている操作盤面にＣＣＤカメラ等の撮影手段を設けることができる。こうして撮影した遊技者の画像は、この顔画像認識装置を介して解析することにより種々のサービスに利用することが可能となる。例えば、この画像から遊技者の性別・年齢等を判定し、遊技機の機種別、又は遊技機別の利用状況を統計・分析したり、さらには、曜日別，時間帯別の利用状況を統計・分析し、その遊技場における種々のサービスを充実させたり営業方針を決定することの参考にすることができる。また、遊技者の性別をこの顔画像認識装置を用いて解析することにより、例えば女性がよく利用する機種や場所を統計したり、或いは、遊技場によっては女性専用台、女性専用タイム等を設けてサービスしようとする場合では、遊技者の性別をこの顔画像認識装置を用いて解析することにより自動的に遊技スタートの不可が制御されるようにし、その遊技機の利用者が自動的に女性に限定されるようにすることも可能となる。

本発明の顔画像認識装置のフローチャート。本発明の顔画像認識装置のブロック図。本発明の顔画像認識装置に係るグレースケール化された画像の例示図。本発明の顔画像認識装置に係る二値化画像の例示図。本発明の顔画像認識装置に係る二値化画像の例示図。本発明の顔画像認識装置に係るノイズ除去フィルタ（膨脹・収縮フィルタ）の説明用画素図。本発明の顔画像認識装置に係るノイズ除去をした二値化画像の例示図。本発明の顔画像認識装置に係るノイズ除去をした二値化画像の例示図。本発明の顔画像認識装置に係るノイズ除去フィルタ（メディアンフィルタ）の説明用画素図。本発明の顔画像認識装置に係る画素集団のラベリングの説明用図。本発明の顔画像認識装置に係る画素集団の周囲長の説明用図。本発明の顔画像認識装置に係る画素集団の分離度の説明用図。本発明の顔画像認識装置に係る画素集団の分離度の説明用図。本発明の顔画像認識装置に係る鼻孔位置関係の説明用図。本発明の顔画像認識装置に係る鼻孔間長の定義説明用図。本発明に係る顔画像認識装置が設けられた遊技機を示す斜視図。

符号の説明

１顔
２ＣＣＤカメラ
３画像メモリ
４グレースケール化回路
５画像メモリ
６二値化処理回路
７ノイズ除去フィルタ
８画像メモリ
１０ラベリング手段
１１要素値計算回路
１２差分和計算回路

Claims

正面または斜め下方から撮影され、グレースケール化された顔画像データにおける各画素を所定の閾値により白黒に二値化し、二値化された画像中で複数の黒色の画素が隣接状に位置する黒色画素集団について要素値を夫々計算すると共に該各画素集団の要素値の差分和を計算し、最小の差分和を示した画素集団対について該差分和が一定値以下であった場合にその画素集団対を鼻孔対であると判定し、最小の差分和を示した画素集団対の差分和が一定値以下でなかった場合は前記二値化の閾値を変更して差分和を再計算し鼻孔対の有無を再判定し、さらに、一対の黒色画素集団の重心間距離の水平成分が該各画素集団の半径の和以内であるときその画素集団対を鼻孔候補から除外することを特徴とした顔画像認識装置。
正面または斜め下方から撮影され、グレースケール化された顔画像データにおける各画素を所定の閾値により白黒に二値化し、二値化された画像中で複数の黒色の画素が隣接状に位置する黒色画素集団について要素値を夫々計算すると共に該各画素集団の要素値の差分和を計算し、最小の差分和を示した画素集団対について該差分和が一定値以下であった場合にその画素集団対を鼻孔対であると判定し、最小の差分和を示した画素集団対の差分和が一定値以下でなかった場合は前記二値化の閾値を変更して差分和を再計算し鼻孔対の有無を再判定し、さらに、一対の黒色画素集団の重心間距離の垂直成分が該各画素集団の半径の和以上であるときその画素集団対を鼻孔候補から除外することを特徴とした顔画像認識装置。