JPH07282260A - 時系列顔画像処理による個人の認識方法 - Google Patents

Abstract

(57)【要約】 【目的】 連続的に入力される顔画像からモザイクパタ
ーンを生成し、コンピューター内部に予め貯蔵、登録さ
れた個人のモザイクパターンと比較することによって同
一人物であるかを識別するコンピューターの時系列顔画
像処理による個人の認識方法を提供する。 【構成】 連続的に入力される顔の画像からまばたきを
検出して、一定の大きさの領域である基準位置を求めて
モザイクパターンを生成し、その生成されたモザイクパ
ターンとコンピューター内部に貯蔵された登録された個
人の一定特徴を示すモザイクパターンとを比較して個人
を認識する。一定特徴は個人の顔の一定領域を抽出して
生成されたモザイクパターンである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は個人の一定特徴を貯蔵し
てコンピューターを利用した画像処理で同一人物である
かを識別する認識方法に関するもので、特に連続で入力
される顔の画像からまばたきを検出して一定大きさの領
域である基準位置を決定し、これによってコンピュータ
ー内部にモザイクパターンを生成して予め貯蔵、登録さ
れた個人のモザイクパターンと比較することで同一人物
であるかを識別するコンピューターの画像処理を利用し
た個人の認識方法に関するものである。

【０００２】

【従来の技術】顔画像からの個人の検索、認識機能は、
保安や各種の高度な情報社会サービスの提供を可能にす
る。その重要な技術の一つとして顔の画像を利用した個
人の認識が考えられる。

【０００３】人間において、顔は個人を認識するのに有
効であるだけでなく、顔という視覚パターンでは色々な
意味の情報を取ることができる。

【０００４】コンピューターによる顔画像のパターンを
利用した個人の認識に関する研究は古くから行われてき
た。

【０００５】

【発明が解決しようとする課題】従来行われてきた顔を
利用した個人の識別に関する方法は二つに大別できる。
その一つは顔を局所的な特徴の集合として処理する方法
であり、他は大局的に処理する方法である。

【０００６】前者は顔の輪郭や目、鼻、口等の形状、な
らびに相互の位置関係が顔の重要な特徴であるとし、そ
れらを画像から抽出して個人を識別する方法である。

【０００７】しかし、この方法では顔の向きや表情、照
明、焦点、ノイズなどにより特徴抽出自体が困難である
場合が多い。特に顔の場合には鼻や顎などは陰影が柔ら
かなため、正確に特徴を抽出することは非常に困難であ
る。

【０００８】後者は、等濃度の画素を連結した等濃度線
分布に基づく個人の認識方法である。しかし、照明条件
など画像入力の際に入力環境の条件の難点がある。その
他にも、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅ
ｔｗｏｒｋ）を利用した方法があるが、この方法は個人
の特徴抽出とは無関係という利点があり、照明条件があ
る程度一定であれば認識精度が高いという利点もある
が、入力画像から照合に必要な顔画像を抽出する方法等
の前処理に関しては、まだ検討段階にある。

【０００９】

【課題を解決するための手段】本発明の目的は連続的に
入力される顔画像からまばたきを検出して一定の大きさ
の領域である基準位置を決定し、これによってモザイク
パターンを生成してコンピューター内部に予め貯蔵、登
録された個人のモザイクパターンと比較することで同一
人物であるかを識別するコンピューターの時系列顔画像
処理による個人の認識方法を提供することにある。

【００１０】このような目的を達成するために、登録さ
れた個人の一定特徴を貯蔵してコンピューターを利用し
た画像処理として同一人物であるかを認識する方法にお
いて、本発明による認識方法は連続的に入力される顔の
画像から一定の大きさの領域である基準位置を求めてモ
ザイクパターンを生成する重要特徴抽出段階、及び上記
重要特徴抽出段階から生成されたモザイクパターンとコ
ンピューター内部に貯蔵されたモザイクパターンとを比
較して個人を認識する認識段階で構成され、上記一定特
徴は個人の顔の一定領域を抽出して生成されたモザイク
パターンであることを特徴とする。上記重要特徴抽出段
階の一定の大きさの領域である基準位置は、連続的に入
力される顔画像にソーベル演算子（Ｓｏｂｅｌ ｏｐｅ
ｒａｔｏｒ）を使用してエッジ画像を抽出する段階、連
続で入力される上記エッジ画像の二つのフレームを減算
して上記二つのフレームの内一つのフレームにまばたき
がある時まばたき領域の画素から０より大きい値を有す
る差分画像を得るフレーム減算段階、差分画像を得る段
階、差分画像を２値化画像に変換する段階、まばたき領
域の画素だけ選択されるように不必要な画素を除去する
７×７画素フィルターで上記２値化画像をフィルターリ
ングしてフィルターリングされた２値化画像を得るフィ
ルターリング段階、上記フィルターリングされた２値化
画像を固定した大きさのウィンドーでスキャンして目の
領域として一定領域を抽出する段階、上記一定領域を水
平及び垂直方向に射影（ｐｒｏｊｅｃｔｉｏｎ）し、そ
の射影を追跡して目の座標を抽出する段階、上記目の座
標を使用して一定の大きさの領域を抽出する段階で決定
される。

【００１１】一定の大きさの領域である基準位置は７５
×７５画素で構成され、これは髪の毛の部分を含まな
い。

【００１２】また、上記フレームは３０フレーム／秒の
速度で入力されるフレームの間に１０個のフレーム間隔
で得られる。

【００１３】目の領域として一定領域を抽出する段階は
（ａ）固定された大きさのウィンドーを設定して上記２
値化画像に適用する段階、（ｂ）ウィンドー内の画素を
加えてウィンドー値を求める段階、（ｃ）上記画素を加
えたウィンドー値を第１所定値と比較する段階、（ｄ）
上記ウィンドー値が第１所定値より小さい時雑音で判断
し画像の終わりであるかを判断して画像の終わりでない
場合、上記ｂ）段階を繰り返させる段階、（ｅ）画像の
終わりである時、次のフレームのフィルターリングされ
た２値化画像を得るフィルターリング段階（２６）から
繰り返させる段階、（ｆ）上記ウィンドー値が第１所定
値より大きい時右目の領域で判断し、左目の領域を抽出
する為にウィンドーの大きさを４倍にする段階、（ｇ）
上記ｆ）段階のウィンドー内の全ての画素を加えたウィ
ンドー値を第２所定値と比較する段階、（ｈ）上記ウィ
ンドー値が第２所定値より大きい時左目の領域で判断
し、両目に２倍のウィンドーを適用する段階、（ｉ）上
記ウィンドー値が０であるか、或いは第２所定値より小
さい時上記ｆ）段階の判断は誤りであるとし、画像の終
わりであるかを判断する段階、（ｊ）画像の終わりであ
る時次のフィルターリングされた２値化を得るフィルタ
ーリング段階（２６）から繰り返し、画像の終わりでな
い時上記ｇ）段階から繰り返す段階で構成される。ま
た、目の座標を抽出する段階は（ａ）上記２倍のウィン
ドーが適用された一定領域の画像を水平射影する段階、
（ｂ）密接に位置した画素のセット数が２であるかを判
断して両目が抽出されているかを判断する両目抽出段
階、（ｃ）画素のセット数が１の両目が抽出されていな
いと判断して次のフレームのフィルターリングされた２
値化画像を得るフィルターリング段階（２６）から繰り
返させる段階、（ｄ）画素のセット数が２の時両目が抽
出されたものとし画素のセット中心を計算することで水
平軸の座標（Ｘ１，Ｘ２）を定める段階、（ｅ）左目及
び右目に対して垂直射影する段階、（ｆ）画素のセット
中心を計算することで垂直軸の座標（Ｙ１，Ｙ２）を計
算する段階で構成する。

【００１４】上記モザイクパターンは上記抽出された座
標を使用して７５×７５画素の固定された大きさである
基準位置で顔領域を特徴とする段階、上記７５×７５画
素の固定された大きさを３×３画素のブロックに分け
て、その３×３画素内の画素値を平均化することで一つ
の値を有するようにして２５×２５ブロックに構成して
生成する段階で抽出させる。

【００１５】上記個人認識段階は（ａ）重要特徴抽出段
階から生成されたモザイクパターンとコンピューター内
部に貯蔵されたモザイクパターンとの間にＥｕｃｌｉｄ
（ユークリッド）距離を計算して最少値を選択する段
階、（ｂ）上記Ｅｕｃｌｉｄ距離計算の最少値と第３所
定値とを比較する段階、（ｃ）上記Ｅｕｃｌｉｄ距離計
算の最少値が第３所定値より大きければ同一人物ではな
いと判断して登録されていない人物に表示する段階、
（ｄ）上記Ｅｕｃｌｉｄ距離計算の最少値が第３所定値
より小さければ同一人物に判断してその個人の名前を表
示する段階で構成される。

【００１６】ここで、モザイクパターンとコンピュータ
ー内部に貯蔵されたモザイクパターンとのマッチング位
置は自動的に調節される。コンピューター内部に貯蔵さ
れたモザイクパターンを標準パターンといい、このパタ
ーンは登録する個人毎に幾つかの画像を入力して特徴量
を求め、その平均値を取る。

【００１７】本発明による認識方法は顔パターン認識で
問題になっている入力画像の制約条件を除去して制約条
件のない入力環境でも可能である。即ち、入力顔画像の
照明は普通使用している背景のない室内蛍光灯の下で自
然に撮影された画像を利用することで画像入力が簡単で
あり、従来の特徴点を利用した方式と比較してシステム
を簡単に実現することが出来る。

【００１８】以下に図面を参照して詳しく説明する。

【００１９】

【実施例】図１は、本発明に係る個人の顔画像処理によ
る個人の認識方法の全段階を概略的に示す図面である。
図面に示すように、登録された個人の一定特徴を貯蔵し
てコンピューターを利用した画像処理で同一人物である
かを識別する認識方法において、本発明に係る認識方法
は連続的に入力される顔の画像から一定の大きさの領域
である基準位置を求め、モザイクパターンを生成する重
要特徴抽出段階５０及び上記重要抽出段階５０で生成さ
れたモザイクパターンと貯蔵されたモザイクパターンと
を比較して個人を認識する認識段階１００で構成され、
上記一定特徴は個人の顔の一定領域を抽出して生成され
たモザイクパターンであることを特徴とする。

【００２０】図２は、本発明に係る個人の顔画像処理に
よる個人の認識方法において、基準位置を抽出する段階
を示す図面である。図面に示すように、上記重要特徴抽
出段階５０の一定の大きさの領域である基準位置は連続
に入力される顔画像にソーベル演算子（Ｓｏｂｅｌ ｏ
ｐｅｒａｔｏｒ）を使用してエッジ画像を抽出する段階
１２、連続的に入力される上記エッジ画像の二つのフレ
ームを取って減算する段階２０、上記二つのフレームの
内一つのフレームにまばたきがある時まばたき領域の画
素から０より大きい値を持つ差分画像を得る段階２４、
差分画像を２値化画像に変換する段階２５、まばたき領
域の画素だけ選択されるように不必要な画素を除去する
７×７画素フィルターで上記２値化画像をフィルターリ
ングしてフィルターリングされた２値化画像を得るフィ
ルターリング段階２６、２８、上記フィルターリングさ
れた２値化画像を固定された大きさのウィンドーでスキ
ャンして目の領域として一定領域を抽出する段階２９、
上記一定領域を水平及び垂直方向に射影（投影）し、そ
の射影を追跡して目の座標を抽出する段階３１、上記目
の座標を使用して一定の大きさの基準位置を抽出する段
階３２で決定される。

【００２１】一定の大きさの領域である基準位置は７５
×７５画素で構成され、これは髪の毛部分を含めない。

【００２２】又、上記フレームは３０フレーム／秒の速
度で入力されるフレームの内１０個のフレーム間隔で得
られる。

【００２３】図３は本発明に係る個人の顔画像処理によ
る個人の認識方法における目の領域として、一定領域を
抽出する段階を示す図面であり、図４は本発明に係る個
人の顔画像処理による個人の認識方法における目の座標
を抽出する段階を示す図面であり、図７は本発明に係る
個人の顔画像処理による個人の認識方法における目の座
標抽出を説明するための図面である。図面に示すよう
に、上記一定領域を抽出する段階２９は、（ａ）固定さ
れた大きさのウィンドーを設定して上記２値化画像に適
用させる段階４１、（ｂ）ウィンドー内の画素を加えて
ウィンドー値を求める段階４２、（ｃ）上記画素を加え
たウィンドー値を第１所定値と比較する段階４３、
（ｄ）上記ウィンドー値が所定値より小さい時雑音で判
断し、画像の終わりであるかを判断して画像の終わりで
ない時上記段階４２を繰り返させる段階４４、（ｅ）画
像の終わりである時次のフレームのフィルターリングさ
れた２値化画像を得るフィルターリング段階２６から繰
り返させる段階４５、（ｆ）上記ウィンドー値が第１所
定値より大きい時右目領域で判断し、左目領域を抽出す
るためにウィンドーの大きさを４倍にする段階４６、
（ｇ）上記ｆ）段階のウィンドー内の全ての画素を加え
たウィンドー値を第２所定値と比較する段階４７、
（ｈ）上記ウィンドー値が第２所定値より大きい時左目
領域で判断し両目に２倍のウィンドーを適用する段階４
８、（ｉ）上記ウィンドー値が０か、或いは第２所定値
より小さい時上記ｆ）段階判断は誤りとし画像の終わり
であるかを判断する段階４９、（ｊ）画像の終わりであ
る時次のフレームのフィルターリングされた２値化画像
を得るフィルターリング段階２６から繰り返し、画像の
終わりでない時上記ｇ）段階から繰り返させる段階６０
とで構成される。

【００２４】目の座標を抽出する段階は（ａ）上記２倍
のウィンドーが適用された一定領域の画像を水平射影す
る段階５１、（ｂ）密接に位置した画素のセット数が２
であるかを判断して両目が抽出されたかを判断する両目
抽出段階５２、（ｃ）画素のセット数が１の時両目が抽
出されていないと判断して次のフレームのフィルターリ
ングされた２値化画像を得るフィルターリング段階２６
から繰り返させる段階５３、（ｄ）画素のセット数が２
の時両目が抽出されたとし画素のセット中心を計算する
ことで水平軸の座標（Ｘ１，Ｘ２）を定める段階５４、
（ｅ）左目及び右目に対して垂直射影する段階５５、
（ｆ）画素のセット中心を計算することで垂直軸の座標
（Ｙ１，Ｙ２）を計算する段階５６とで構成する。

【００２５】図５は本発明に係る個人の顔画像処理によ
る個人の認識方法において、モザイクパターンを生成す
る段階を示す図面である。図面に示すように、上記モザ
イクパターンは、上記抽出された目の座標を使用して７
５×７５画素の固定された大きさである基準位置で顔領
域を特徴とする段階５７、上記７５×７５画素の固定さ
れた大きさを３×３画素のブロックに分けて、その３×
３画素内の画素値を平均化することで一つの値を有する
ようにして２５×２５ブロックに構成して生成する段階
５８とで抽出される。

【００２６】図６は本発明に係る個人の顔画像処理によ
る個人の認識方法において、生成されたモザイクパター
ンから個人を認識する段階を示す図面である。図面に示
すように、上記個人認識段階は、（ａ）重要特徴抽出段
階から生成されたモザイクパターンとコンピューター内
部に貯蔵されたモザイクパターンの間にＥｕｃｌｉｄ距
離を計算して最少値を選択する段階８０、（ｂ）上記Ｅ
ｕｃｌｉｄ距離計算の最少値と第３所定値を比較する段
階８１、（ｃ）上記Ｅｕｃｌｉｄ距離計算の最少値が第
３所定値より大きければ同一人物ではないと判断して登
録されていない人物と表示する段階８２、（ｄ）上記Ｅ
ｕｃｌｉｄ距離計算の最少値が第３所定値より小さけれ
ば同一人物と判断して名前を表示する段階８３とで構成
される。

【００２７】ここで、重要特徴抽出段階から生成された
モザイクパターンとコンピューター内部に貯蔵されたモ
ザイクパターンのマッチング位置は自動的に調節され
る。貯蔵されたモザイクパターンを標準パターンとい
い、この標準パターンは登録される個人毎にいくつかの
画像を入力して特徴量を求めその平均値を取る。

【００２８】本発明に係る認識方法は顔パターン認識で
問題になっている入力画像の制約条件を除去して制約条
件のない入力環境でも可能である。即ち、入力顔画像の
照明を普通使用されている室内蛍光灯の下で背景条件な
しで自然に撮影された画像を利用するので画像入力が簡
単であり、従来の特徴点を利用した方式と比較してシス
テムを簡単に実現することができる。

【図面の簡単な説明】

【図１】本発明に係る顔画像処理による個人の認識方法
の全段階を概略的に示す図面である。

【図２】本発明に係る顔画像処理による個人の認識方法
において、基準位置を抽出する段階を示す図面である。

【図３】本発明に係る顔画像処理による個人の認識方法
において、目の領域である一定領域を抽出する段階を示
す図面である。

【図４】本発明に係る顔画像処理による個人の認識方法
において、目の座標を抽出する段階を示す図面である。

【図５】本発明に係る顔画像処理による個人の認識方法
において、モザイクパターンを生成する段階を示す図面
である。

【図６】本発明に係る顔画像処理による個人の認識方法
において、モザイクパターンから個人を認識する段階を
示す図面である。

【図７】（Ａ）、（Ｂ）は本発明に係る顔画像処理によ
る個人の認識方法において、目の座標の抽出を説明する
ための図面である。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 登録された人物の一定特徴を貯蔵したコ
   ンピュータを利用する画像処理として同一人物を識別す
   る認識方法において、 連続的に入力される顔画像から一定の大きさの領域であ
   る基準位置を求めてモザイクパターンを生成する重要特
   徴抽出段階、及び上記重要特徴抽出段階から生成された
   モザイクパターンと貯蔵されたモザイクパターンとを比
   較して個人を認識する認識段階で構成され、上記一定特
   徴は個人の顔の一定領域を抽出して生成されたモザイク
   パターンであることを特徴とする時系列顔画像処理によ
   る個人の認識方法。
2. 【請求項２】 上記重要特徴抽出段階の一定の大きさで
   ある基準位置は、連続で入力される顔画像にソーベル演
   算子を使用してエッジ画像を抽出する段階、 連続で入力される上記エッジ画像の二つのフレームを取
   って減算する段階、 上記二つのフレームの内一つのフレームにまばたきがあ
   る時、目のまばたき領域の画素で０より大きい値を持つ
   差分画像を得るフレーム減算段階、 差分画像を２進化画像に変換する段階、 まばたき領域の画素だけ選択されるように不必要な画素
   を除去する７×７画素フィルターで上記２値化画像をフ
   ィルターリングしてフィルターリングされた２値化画像
   を得るフィルターリング段階、 上記フィルターリングされた２値化画像を固定された大
   きさのウィンドーでスキャンして目の領域として一定領
   域を抽出する段階、 上記一定領域を水平及び垂直方向に射影し、その射影を
   追跡して目の座標を抽出する段階、 上記目の座標を使用して一定の大きさの領域を抽出する
   段階で決定することを特徴とする請求項１記載の時系列
   顔画像処理による個人の認識方法。
3. 【請求項３】 一定の大きさの領域である基準位置は７
   ５×７５画素で構成され、髪の毛の部分を含めないこと
   を特徴とする請求項２記載の時系列顔画像処理による個
   人の認識方法。
4. 【請求項４】 上記フレームは３０フレーム／秒の速度
   で入力されるフレームの内１０個のフレーム間隔で得ら
   れることを特徴とする請求項２記載の時系列顔画像処理
   による個人の認識方法。
5. 【請求項５】 目の領域として一定領域を抽出する段階
   は、 （ａ）固定された大きさのウィンドーを設定して上記２
   値化画像に適用させる段階、 （ｂ）ウィンドー内の画素を加えてウィンドー値を求め
   る段階、 （ｃ）上記画素を加えたウィンドー値を第１所定値と比
   較する段階、 （ｄ）上記ウィンドー値が第１所定値より小さい時雑音
   で判断し画像の終わりであるかを判断して画像の終わり
   でない時ｂ）段階を繰り返させる段階、 （ｅ）画像の終わりである時次のフレームのフィルター
   リングされた２値化画像を得るフィルターリング段階か
   ら繰り返させる段階、 （ｆ）上記ウィンドー値が第１所定値より大きい時右目
   の領域で判断し、左目の領域を抽出するためにウィンド
   ーの大きさを４倍にする段階、 （ｇ）上記（ｆ）段階のウィンドー内の全ての画素を加
   えたウィンドー値を第２所定値と比較する段階、 （ｈ）上記ウィンドー値が第２所定値より大きい時左目
   領域で判断し、両目に２倍のウィンドーを適用する段
   階、 （ｉ）上記ウィンドー値が０か、或いは第２所定値より
   小さい時上記（ｆ）段階判断は誤りにし、画像の終わり
   であるかを判断する段階、 （ｊ）画像の終わりである時次のフレームのフィルター
   リングされた２値化画像を得るフィルターリング段階か
   ら繰り返させ画像の終わりでない時、上記ｇ）段階から
   繰り返させる段階で構成されることを特徴とする請求項
   ２記載の時系列顔画像処理による個人の認識方法。
6. 【請求項６】 目の座標を抽出する段階は、 （ａ）上記２倍のウィンドーが適用された一定領域の画
   像を水平射影する段階、 （ｂ）密接に位置された画素のセット数が２であるかを
   判断して両目が抽出されているかを判断する両目抽出段
   階、 （ｃ）画素のセット数が１の時両目が抽出されていない
   と判断して次のフレームのフィルターリングされた２値
   化画像を得るフィルターリング段階から繰り返させる段
   階、 （ｄ）画素のセット数が２の時両目が抽出されたとし画
   素のセット中心を計算することで水平軸の座標（Ｘ１，
   Ｘ２）を定める段階、 （ｅ）左目及び右目に対して垂直射影する段階、 （ｆ）画素のセット中心を計算することで垂直軸の座標
   （Ｙ１，Ｙ２）を計算する段階、で構成されることを特
   徴とする請求項２記載の時系列顔画像処理による個人の
   認識方法。
7. 【請求項７】 上記モザイクパターンは、上記抽出され
   た目の座標を使用して７５×７５画素の固定された大き
   さである基準位置で顔領域を特徴とする段階、上記７５
   ×７５画素の固定された大きさを３×３画素のブロック
   に分けて、その３×３画素内の画素値を平均化すること
   で一つの値を有するようにして２５×２５ブロックに構
   成して生成する段階に抽出されることを特徴とする請求
   項１又は３記載の時系列顔画像処理による個人の認識方
   法。
8. 【請求項８】 上記個人認識段階は、 （ａ）重要特徴抽出段階から生成されたモザイクパター
   ンと貯蔵されたモザイクパターンとの間にＥｕｃｌｉｄ
   距離を計算して最少値を選択する段階、 （ｂ）上記Ｅｕｃｌｉｄ距離計算の最少値と第３所定値
   を比較する段階、 （ｃ）上記Ｅｕｃｌｉｄ距離計算の最少値が第３所定値
   より大きければ同一人物ではないと判断して登録されて
   いない人物と表示する段階、 （ｄ）上記Ｅｕｃｌｉｄ距離計算の最少値が第３所定値
   より小さければ同一人物と判断して名前を表示する段
   階、で構成されたことを特徴とする請求項１記載の時系
   列顔画像処理による個人の認識方法。