WO2005055143A1

WO2005055143A1 - 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム

Info

Publication number: WO2005055143A1
Application number: PCT/JP2004/018449
Authority: WO
Inventors: Toshinori Nagahashi; Takashi Hyuga
Original assignee: Seiko Epson Corporation
Priority date: 2003-12-05
Filing date: 2004-12-03
Publication date: 2005-06-16
Also published as: US7460705B2; US20050147304A1; JP2005165984A

Abstract

人物顔が含まれる画像中から当該人物顔の頭頂部を検出する方法であって、前記人物顔を検出して当該部分の上部に頭頂部検出窓を設定した後、当該頭頂部検出窓内の画像特徴量を垂直方向に算出し、その画像特徴量が閾値以上に変化する位置を前記人物顔の頭頂部とする。これによって、人物顔の頭頂部を的確且つ高速に検出できる。

Description

明細書人物顔の頭頂部検出方法及び頭頂部検出システム並ひ、に頭頂部検出プログラム技術分野

本発明は、ノターン認、識 (P a t t e r n r e c o g n i t i o n) やオブジェクト認識技術に係り、特に人物の顔が写っている顔画像の中から当該人物顔の頭頂部を的確に検出するための顔画像中の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラムに関するものである _c 技術背景

近年のパターン認識技術やコンピュータ等の情報処理装置の高性能化に伴つて文字や音声の認識精度は飛躍的に向上してきているが、人物や物体 '景色等が映っている画像、例えば、ディジタルスチルカメラ等によつて取り込まれた画像のパターン認識のうち、特にその画像中に人の顔が映つているか否かを正確且つ高速に識別するといった点に関しては未だに極めて困難な作業であることが知られている。

しかしながら、このように画像中に人の顔が映っているか否か、さらにはその人物が誰であるのかをコンピュータ等によって自動的に正確に識別することは、生体認識技術の確立やセキュリティの向上、犯罪捜査の迅速化、画像データの整理 ·検索作業の高速化等を実現する上で極めて重要なテーマとなってきており、このようなテーマに関しては従来から多くの提案がなされている。

例えば、特開平 9一 505 28号公報等では、ある入力画像について、先ず、肌色領域の有無を判定し、その肌色領域に対して自動的にモザイクサイズを決定してモザィク化し、そのモザイク領域と人物顔辞書との距離を計算することにより人物顔の有無を判定し、人物顔の切り出しを行うことによって、背景等の影響による誤抽出を減らし、効率的に画像中から人間の顔を自動的に見つけるようにしている。

また、特開平 8— 7 7 3 3 4号公報等では、各侮人やグループ（例えば、人種グループ）を区別するために用いる顔画像の特敷点抽出を所定のアルゴリズムを利用することで自動的に高速且つ簡便に実施するようにしている。

ところで、パスポートや身分証明書等に不可欠な人物の顔写真（顔画像）は、そのサイズや人物の顔の向きや大きさ、位置等が細かく設定されている場合が多い。

例えば、無背景で、且つ帽子等のアクセサリーを身に付けないといった条件はいうまでもなく、写っている人物の顔が正面を向いていることや、人物顔が写真の中央にあること、写っている顔の頭頂部の位置が写真の上の枠から一定の距離にあること、 …等が事細かく規定されており、原則としてその規格から外れる写真（顔画像）は採用されない。

しかしながら、人物顔が正面を向いていなかったり、帽子等のァクセサリ一を身に付けている等といった理由であればともかく、単に写っている顔の大きさや位置が他方ずれているという理由だけで、再度撮影し直さなければならないのは不合理であり、利用者に対して著しい労力ゃコストを強いるといった問題点がある。

そのため、近年発達が著しい技術分野であるディジタル画像処理技術を利用して、前記のような問題点を解決する方法が検討されている。

例えば、必要とする人物の顔画像を、 C C Dや C M O S,等の電子撮像素子を用いたディジタルスチルカメラ等によつて直接ディジタル画像データとして取得、あるいは予め人物顔が撮影されたアナログ写真（銀塩写真）をスキャナ等の電子光学画像読取装置を利用してディジタル画像データとして取得し、このディジタル画像データを P C等の ¾FL用のコンピュータと汎用のソフトウエアからなる画像処理システムを利用してその人物本来の顔の特徴を損なうことなく、適宜、その顔画像を拡大、縮小、移動等の簡単な画像処理を施すことで前記問題を解決することが考えられている。

一方、このような処理対象となる画像の数が少なければ、その処理操作は、マウスやキーボード、モニタ等の汎用の入出力装置を用いて人間が直接実施することも可能であるが、その数が膨大な場合には、前記のような従来技術を利用してその処理を自動的に行う必要が生じてくる。

しかしながら、このように人物顔の画像処理の自動化を実現するためには、顔の輪郭、特に人物顔の頭頂部の位置を正確に認識する必要があるが. 人物の頭頂部は、その人物のへアースタイルや撮影時の照明条件、その他の条件によって一般的には必ずしも明瞭な境界を持たないため、従来のェッジ検出フィルタ一等では明確に読み取れないことが多いため、自動的にその部分を認識することは難しい。

そこで、本発明はこのような課題を有効に角军決するために案出されたものであり、その目的は、エッジ検出では自動的に認識し難い人物顔の頭頂部を的確、且つ高速に検出して口パスト（R o b u s t ：頑健）な人物顔の頭頂部検出を行うことができる新規な顔画像中の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラムを提供するものである。発明の開示

前記課題を解決するために発明 1の人物顔画像中の頭頂部検出方法は、人物顔が含まれる画像中から当該人物顔の頭頂部を検出する方法であって. 前記人物顔の頭頂部を含まない範囲の顔画像を検出して、検出した当該顔画像の上部に前記人物顔の頭頂部が含まれる大きさの頭頂部検出窓を設定した後、当該頭頂部検出窓内の画像特徴量を垂直方向に算出し、その画像特徴量が閾値以上に変化する位置を前記人物顔の頭頂部とするようにしたことを特徴とするものである。

このように本発明は、顔検出枠を利用して人物顔の頭頂部が含まれる可能性が極めて高い領域を選択し、その部分に頭頂部検出窓を設定した後、この頭頂部検出窓内の画像特徴量を求め、その画像特徴量の変化に基づいて人物顔の頭頂部を検出するようにしたものである。

すなわち、人物顔の頭頂部とその背景は、画像特徴量が大きく変化していることが一般的であるため、その頭頂部検出窓内の画像特徴量の変化を求めることでその頭頂部検出窓内に含まれている答の頭項部を容易且つ確実に検出することができる。

発明 2の人物顔の頭頂部検出方法は、

発明 1に記載の頭頂部検出方法において、前記画像特徴量として輝度の大きさを用いるようにしたことを特徴とするものである。

すなわち、証明写真用の顔画像は無帽状態であって、その頭部は黒色あるいは栗色等のダーク系の頭髪で覆われている場合が殆どであるため、その頭部を構成する領域の画素の輝度と背景の輝度値とは大きく異なると考えることができる。つまり、背景と頭頂部との境界部分で輝度が急激に変化することになる。

従って、頭頂部と背景とを区別するための画像特徴量としてこのようにその領域によって顕著に異なる画素の輝度を利用すれば、その人物顔の頭頂部を容易且つ確実に検出することが可能となる。

発明 3の人物顔の頭頂部検出方法は、

発明 1に記載の頭頂部検出方法において、前記画像特徴量として色相角の大きさを用いるようにしたことを特徴とするものである。

すなわち、上記発明 2は人物の頭髪の色は黒色あるいは栗色等のダーク系のものであることを前提としてなされたものであるが、人種や加齢による頭髪の色の違いや変化、あるいは染毛等によってその色はダーク系のみならず、自然に発生しないようなあらゆる色が存在する。そして、このようにダーク系以外の色の頭髪の中には、その輝度が背景とほぼ同じ（例えば、金髪）であって、輝度に基づいた画像特徴量に大きな変化が得られない場合がある。

そのため、本発明では、画像特徴量として色相角の大きさを利用するようにしたものであり、これによつて背景の輝度を頭頂部の輝度に大きな違いが見られない場合であってもその色相角の違いによる画像特徴量の変化を求めることで人物顔の頭頂部を容易且つ確実に検出することができる。発明 4の人物顔の頭頂部検出方法は、

発明 1〜 3のいずれかに記載の頭頂部検出方法において、前記画像特徴量は、前記頭頂部検出窓内の水平方向の平均値を用いるようにしたことを特徴とするものである。

これによつて、仮に画像上のノイズや原画像の汚れ等によって一部の画素の特徴量がその近傍の画素の特徴量と大きく異なるような場合が発生しても、その部分で特徴量が急に変化することを回避できるため、そのようなノィズ部分等を頭頂部と誤検出するようなことがなくなつて的確な頭頂部検出を行うことができる。

発明 5の人物顔の頭頂部検出方法は、

発明 1〜 4のいずれかに記載の頭頂部検出方法において、前記画像特徴量は、輝度又は色相角のいずれか又は両方を使用する画像に応じて自動的に切り替えることを特徴とするものである。

これによつて、発明 4と同様に画像上のノイズや原画像の汚れ等に起因する画像特徴量の急激な変化を回避して的確な頭頂部検出を行うことがでさる。

発明 6の人物顔の頭頂部検出方法は、

発明 1〜5に記載の頭頂部検出方法において、前記頭頂き P検出窓としては、矩形状であって、その幅及び高さが前記人物顔の顔幅よりも幅広のものを用いるようにしたことを特徴とするものである。

これによつて、検出対象となる当該人物顔の頭頂部を頭頂部検出窓内に確実に捉えることができるため、頭頂部の検出を確実に行うことができる, 発明 7の人物顔の頭頂部検出システムは、

人物顔が含まれる画像中から当該人物顔の頭頂部を検出するシステムであつて、前記人物顔が含まれる画像を読み取る画像読取手段と、当該画像読取手段で読み取った画像中から人物顔の頭頂部を含まない範囲の顔画像を検出して、検出した範囲に顔検出枠を設定する顔検出手段と、当該顔検出枠の上部に前記人物顔の頭頂部が含まれる大きさの頭頂部検出窓を設定する頭頂部検出窓設定手段と、当該頭頂部検出窓内の画像特徴量を垂直方向に算出する画像特徴量算出手段と、当該画像特徴量算出手段で算出された画像特徴量が閾値以上に変化する位置を前記人物顔の頭頂部とする頭頂部検出手段と、を備えたことを特徴とするものである。

これによつて、発明 1と同様にさらに人物顔の頭頂部の検出を的確、且つ高速に行うことができると共にこれら各手段を専用のハードゥエァゃコンピュータシステムを利用して実現することで頭頂部検出を自動化することが可能となる。

発明 8の人物顔画像中の頭頂部検出システムは、

発明 7に記載の人物顔の頭頂部検出システムにおいて、前記画像特徴量算出手段は、各画素の輝度を画像特徴量として算出する輝度算出部と、各画素の色相角を画像特徴量として算出する色相角算出部と、これらいずれかの画像特徴量を選択する画像特徴量選択部と、を備えたことを特徴とするものである。

すなわち、発明 2 ， 3に示したように、その画像特徴量は輝度のみ、あるいは色相角のみでは的確に把握することができない場合があることから. 本発明では輝度及ぴ色相角をそれぞれ算出する手段を設け、画像特徴量選択部によってこれらいずれかの手段で算出された画像特徴のうち最適な方を選択するようにしたものである。

これによつて、人物顔の頭髪の色に拘わらず、最適な画像特微量を算出して頭頂部検出を常に的確に実施することができる。発明 9の人物顔の頭頂部検出システムは、

発明 7又は 8に記載の人物顔の頭頂部検出システムにおいて、前記頭頂部検出手段は、前記画像特徴量の閾値を設定する閾値設定部と、前記頭頂部検出窓内の水平方向の画像特徴量の平均を求める平均値算出部と、のいずれか一方あるいは両方を備えたことを特徴とするものである。

これによつて、発明 4と同様に仮に画像上のノイズや原画像の汚れ等によって一部の画素の特徴量がその近傍の画素の特徴量と大きく異なるような場合が発生しても、その部分で特徴量が急に変化することを回避できるため、そのようなノイズ部分等を頭頂部と誤検出するようなことがなくなつて的確な頭頂部検出を行うことができる。

発明 1 0の人物顔画像中の頭頂部検出プログラムは、

人物顔が含まれる画像中から当該人物顔の頭頂部を検出するプログラムであって、前記人物顔が含まれる画像を読み取る画像読取ステップと、当該画像読取ステップで読み取った画像中から人物顔の頭頂部を含まない範囲の顔画像を検出して、検出した範囲に顔検出枠を設定する顔検出ステツプと、当該顔検出枠の上部に前記人物顔の頭頂部が含まれる大きさの頭頂部検出窓を設定する頭頂部検出窓設定ステップと、当該頭頂部検出窓内の画像特徴量を垂直方向に算出する画像特徴量算出ステップと、当該雨像特徴量算出ステップで算出された画像特徴量が閾値以上に変化する位置を前記人物顔の頭頂部とする頭頂部検出ステップと、をコンピュータに実現させることを特徴とするものである。

これによつて、発明 1と同様にその頭頂部検出窓内に含まれている答の頭頂部を容易且つ確実に検出することができる。

また、パソコン（P C ) 等の汎用のコンピュータシステムを用いてソフトウエア上でこれらの各手段を実現することができるため、専用の装置を製作して実現する方法に比べて容易且つ経済的に実現することができる。また、殆どの場合プログラムの書き換えだけでその機能の変更、改良等のバージョンアップを容易に達成することができる。

発明 1 1の人物顔の頭頂部検出プログラムは、

発明 1 0に記載の人物顔の頭頂部検出プログラムにおいて、前記画像特徴量算出ステップは、各画素の輝度を画像特徴量として算出する輝度算出ステツプと、各画素の色相角を画像特徴量として算出する色相角算出ステツプと、これらいずれかの画像特徴量を選択する画像特徴量選択ステツプとを含むことを特徴とするものである。

これによつて、発明 8と同様に人物顔の頭髪の色に拘わらず、最適な画像特徴量を算出して頭頂部検出を常に的確に実施することができると共に発明 1及び 9と同様な効果を得ることができる。

発明 1 2の人物顔画像中の頭頂部検出プログラムは、

発明 1 0又は 1 1に記載の人物顔の頭頂部検出プログラムにおいて、前記頭頂部検出ステップは、前記画像特徴量の閾値を設定する閾値設定ステップと、前記頭頂部検出窓内の水平方向の画像特徴量の平均を求める平均値算出ステップと、のいずれか一方あるいは両方を備えたことを特徴とするものである。

これによつて、発明 4と同様に仮に画像上のノイズや原画像の汚れ等があってもそのようなノイズ部分等を頭頂部と誤検出するようなことがなくなって的確な頭頂部検出を行うことができる。図面の簡単な説明

図 1は、頭頂部検出システムの実施の一形態を示すプロック図である。図 2は、頭頂部検出システムを構成するハードゥエァを示す構成図である。

図 3は、頭頂部検出方法の実施の一形態を示すフローチャート図である, 図 4は、頭頂部検出対象となる顔画像の一例を示す図である。

図 5は、顔画像に顔検出枠を設定した状態を示す図である。図 6は、顔検出枠の上部に頭頂部検出窓を設定した状態を示す図である _t 図 7は、頭頂部を検出してその位置を修正する状態を示す図である。図 8は、画像特徴量とその変化量との関係を示す図である。

図 9は、画像特徴量とその変化量との関係を示す図である。

図 1 0は、頭頂部検出方法の他の実施の形態を示すフローチャート図である。

図 1 1は、頭頂部検出方法の他の実施の形態を示すフローチャート図である。発明を実施するための最良の形態 ·

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。

図 1は、本発明に係る人物顔の頭頂部検出システム 1 0 0の実施の一形態を示したものである。

図示するように、この頭頂部検出システム 1 0 0は、前述したように証明写真用の顔画像のように人物の顔が含まれる画像を読み取る画像読取手段 1 0と、この画像読取手段 1 0で読み取った画像中から人物顔を検出してその部分に顔検出枠を設定する顔検出手段 1 2と、この顔検出枠 1 2の上部に前記人物顔の頭頂部が含まれる大きさの頭頂部検出窓 Wを設定する頭頂部検出窓設定手段 1 4と、その頭頂部検出窓 W内の画像特徴量を算出する画像特徴量算出手段 1 6と、この画像特徴量算出手段 1 6で算出された画像特徴量の変化に基づいて前記人物顔の頭頂部を検出する頭頂部検出手段 1 8と、から主に構成されている。

先ず、画像読取手段 1 0は、パスポートや運転免許証等の公的な身分証明書、あるいは、社員証や学生証、会員証等の私文書的な身分証明書等に添付される視覚的人物特定用の証明用顔写真、すなわち、その人物の正面向きの顔が唯一大きく含まれる、無帽、無背景の顔画像 Gを、 C C D ( C h a r g e C o l e d D e v i c e ：電荷結合素子）や、 CMO S (C omp l eme n t a r y Me t a l Ox i d e S e m i c o n d u c t o r ) 等の撮像センサを利用して、 R (赤）、 G (緑）、 B (青）のそれぞれの画素データからなるディジタル画像データとして取得する機能を提供するようになっている。

具体的には、ディジタルスチルカメラゃディジタルビデオカメラ等の C CD、 CMO Sカメラゃビジコンカメラ、イメージスキャナ、ドラムスキャナ等であり、前記撮像センサ光学的に読み込んだ顔画像 Gを AZD変換してそのディジタル画像データを顔検出手段 20へ順次送る機能を提供するようになっている。

なお、この画像読取手段 1 0にはデータ保存機能が備えられており、読み込んだ顔画像データをハードディスクドライブ装置（HDD) 等の記憶装置や DVD— ROM等の記憶媒体等に適宜保存可能となっている。また. ネットワークや記憶媒体等を介して顔画像がディジタル画像データとして供給される場合には、この画像読取手段 10は不要となるか、あるいは通信手段やインターフェース（ I/F) 等として機能することになる。

次に、顔検出手段 1 2は、この画像読取手段 1 0で読み取った顔画像 G 中から人物顔を検出して当該部分に顔検出枠 Fを設定するようになっている。

この顔検出枠 Fは、後述するように、人物顔の正面顔の面積よりも小さい矩形状であって、少なくとも当該人物顔の鼻を中心に両目と唇部分を含み、当該人物顔の頭頂部は含まない大きさ（領域）となっている。

なお、このような顔検出手段 1 2による人物顔の検出アルゴリズムは、特に限定するものではないが、例えば、以下の文献等に示すような従来の手法を利用することができる。

H. A. R ow l e y、 S . B a l u j a , a n d T. Κ a η a d e . "Ne u r a l n e tw o r k— b a s e d f a c e d e t e c t i o n" I EEE T r a n s a c t i o n s o n P a t t e r n An a l y s i s a n d Ma c h i n e I n t e l l i g e n c e, v o l . 20、 n o. 1、 p p. 23— 38、 1 9 9 8

この技術によれば、人物顔の両目、唇を含み、頭頂部を含まない領域の顔画像を作成し、この画像を用いてニューラルネットを訓練し、訓練したニューラルネットを用いて人物顔を検出する。開示されているこの技術によれば両目から唇までの領域を顔画像領域として検出するようになっている。

また、この顔検出枠 Fの大きさは不変的なものではなく、対象とする顔画像の大きさによって適宜増減するようになっている。

頭頂部検出窓設定手段 14は、この顔検出手段 1 2で設定された顏検出枠 Fの上部に前記人物顔の頭頂部が含まれる大きさの頭頂部検出窓 Wを設定する機能を提供するようになっている。すなわち、人物顔の頭頂部を以後の手段で正確に検出するための対象領域をこの頭頂部検出窓 Wを用いて前記顔画像 G中から選択するようになっている。

画像特徴量算出手段 1 6は、さらに各画素の輝度を画像特徴量として算出する輝度算出部 22と、各画素の色相角を画像特徴量として算出する色相角算出部 24と、その特徴量の変化に応じてこれらいずれかの画像特徴量を選択する画像特徴量選択部 26とから構成されている。

すなわち、後に詳しく説明するが、この画像特徴量算出手段 1 6は、輝度算出部 2 2で算出された輝度に基づく画像特徴量と、色相角算出部 24 で算出された色相角に基づく画像特徴量とのうちいずれか最適な方を画像特徴量選択部 26が選択して、選択された一方の画像特徴量についての情報を頭頂部検出手段 1 8に送るようになっている。

頭頂部検出手段 1 8は、さらに、前記画像特徴量の閾値を設定する闞値設定部 3 2と、前記頭頂部検出窓 W内の水平方向の画像特徴量の平均を求める平均値算出部 34とが備えられており、閾値設定部 3 2で設定された閾値に基づいて頭頂部と背景を切り分けると共に、平均値算出部 34によつて前記頭頂部検出窓 Wの水平方向の画像特徴量の平均を求めることで画像のノイズや汚れ等による局所的な画像特徴量の誤差を防止するようになつている。

なお、この頭頂部検出システム 1 00を構成する各手段 1 0、 1 2、 1 4、 1 6、 18、 2 2、 24、 26等は、実際には、 CPUや RAM等からなるハードウエアと、図 3に示すような専用のコンピュータプログラム (ソフトウェア）とからなるパソコン (P C) 等のコンピュータシステムによって実現されるようになっている。

すなわち、この頭頂部検出システム 100を実現するためのハードゥエァは、例えば図 2に示すように、各種制御や演算処理を担う中央演算処理装置である CPU (C e n t r a l P r o c e s s i n g Un i t) 40と、主記憶装置（Ma i n S t o r a g e) に用いられる RAM (R a n d om Ac c e s s Memo r y) 4 1と、読み出し専用の記憶装置である ROM (R e a d On l y Memo r y) 42と、ノヽードディスクドライブ装置（HDD) や半導体メモリ等の補助記憶装置

(S e c o n d a r y S t o r a g e) 43、及びモエタ（LCD (液晶ディスプレイ）や CRT (陰極線管））等からなる出力装置 44、ィメージスキャナやキーポード、マウス、 CCD (Ch a r g e C o u 1 e d D e v i c e) や CMOS (C omp l eme n t a r y Me t a 1 Ox i d e S em i c o n d u c t o r) 等の撮像センサ等からなる入力装置 45と、これらの入出力インターフェース（ I /F) 46等との間を、 PC I (P e r i p h e r a l C omp o n e n t I n t e r c o n n e c t) バスや I SA ( I n d u s t r i a 1 S t a n d a r d Ar c h i t e c t u r e ;アイサ）バス等からなるプロセッサバス、メモリバス、システムバス、入出力バス等の各種内外バス 47によつてバス接続したものである。そして、例えば、 C D _ R O M D V D— R O M、フレキシブルデイスク（F D ) 等の記憶媒体、あるいは通信ネットワーク（L A N、 WA N , インターネット等） Nを介して供給される各種制御用プログラムやデータを補助記憶装置 4 3等にインストールすると共にそのプログラムやデータを必要に応じて主記憶装置 4 1にロードし、その主記憶装置 4 1にロードされたプログラムに従って C P U 4 0が各種リソースを駆使して所定の制御及び演算処理を行い、その処理結果（処理データ）をバス 4 7を介して出力装置 4 4に出力して表示すると共に、その —タを必要に応じて補助記憶装置 4 3によって形成されるデータベースに適宜記憶、保存（更新）処理するようにしたものである。

次に、このような構成をした頭頂部検出システム 1 0 0を用いた頭頂部検出方法の一例を図 3〜図 9を用いて説明する。

図 3は、実際に検出対象となる顔画像 Gに対する頭頂部検出方法の一例を示すフローチヤ一トである。

図示するように、先ず最初のステップ S 1 0 1において前述した顔検出手段 1 2によって予め画像読取手段 1 0で読み取った頭頂部検出対象となる顔画像 Gからその顔画像 Gに含まれる顔の検出を行ってから検出した人物顔上に顔検出枠 Fを設定する。

例えば、本発明の頭頂部検出対象となる顔画像 Gは、図 4に示すように一人の人物顔が写っているものに限定されることから、先ず、顔検出手段 1 2によってその人物顔の位置を特定し、その後、図 5に示すようにその人物顔の領域に矩形状の顔検出枠 Fを設定する。

なお、ここで図示した顔検出枠 Fの場合は、当該人物顔の面積よりも小さい矩形状であって当該人物顔の頭頂部は含まない大きさ（領域）としたものであるが、この顔検出枠 Fは、当該人物顔の頭頂部を含まないものであれば、必ずしも例示するような大きさ、形状にこだわる必要はない。また、図 4〜図 7 ( a ) までの各顔画像 Gは、写っている人物顔の大きさ及ぴ表示枠 Yの左右方向の位置は規格内であるが、その人物顔の頭頂部の位置が低すぎて規格の位置に達していない状態を示したものである。

次に、このようにして顔検出枠 Fを人物顔の中心に設定したならば、ステツプ S 103に移行して図 6に示すように頭頂部検出窓設定手段 14によってその顔検出枠 Fの上端部に矩形状の頭頂部検出窓 Wを設定してその人物顔の頭頂部の領域を特定する。

ここで、この頭頂部検出窓 Wの大きさや形状としては厳密なものでなく . 当該人物顔の額より上方で、必ず背景と頭部との境目である頭頂部が含まれる大きさ ·形状であれば、特に限定されるものではないが、あまりに大きすぎると後のエッジの検出等に多くの時間がかかってしまい、反対に小さすぎると検出対象となる頭頂部が含まれなくなってしまうことがある。従って、例えば、同図に示すように矩形状であってその幅及び高さが当該人物顔の頭幅よりも幅広のものを用いれば、余分な領域を排除しつつ、頭頂部を確実に捕捉することができるものと考えられる。

なお、図 6の例では顔検出枠 Fの上端部に密着させて頭頂部検出窓 Wを設定したものであるが、この頭頂部検出窓 Wは必ずしも顔検出枠 Fに密着させる必要はなく、要は顔検出枠 Fに対して頭頂部検出窓 Wが所定の位置関係を保っていれば良い。

次に、このようにして対象画像に対して頭頂部検出窓 Wを設定したならば、次のステップ S 1 05に移行して当該頭頂部検出窓 W内の各画素の輝度を算出し、その輝度値の水平方向（図 6中 X方向）の平均値を各ライン毎に算出する。

例えば、この頭頂部検出窓 W内の画素数が、水平方向（図 6中 X方向）「1 50 (p i x e l ) 」 X垂直方向（図 6中 Y方向）「1 00 (p i x e l ) 」 = 「1 5000 (p i x e l ) 」であったとすると、各ライン毎に全ての画素の輝度値を合計して「1 50」で除算することで各ライン毎の輝度値の平均値を求めることができ、この輝度値の平均値を各ライン毎の画像特徴量とする。

このように各ライン毎の輝度値の平均値を各ラィン毎の画像特徴量とするのは、前述したように、顔画像 G上に発生したノイズ等による輝度値の変動による影響を回避するためである。すなわち、検索対象となる顔画像 G上にノイズや原画像の汚れ等があると、その部分の画素の輝度値がその近傍の画素の輝度値と大きく異なるが、このように各ライン毎の輝度値の平均値を算出し、これを各ライン毎の画像特徴量として採用すればその部分を頭頂部等と誤検出するような不都合を回避することができる。

次に、このようにして頭頂部検出窓 W内の各ライン毎の平均輝度値（画像特徴量）が算出されたならば、次のステップ S 1 0 7に移行してさらに各ライン毎の平均輝度値を垂直方向（図中 Y方向）に平滑化して前記と同様に画像上のノイズや原画像の汚れ等に起因する画像特徴量の急激な変化を回避する。この平滑化方法としては特に限定するものではないが、例えば、注目ラインを中心として垂直方向に接する上下各 1〜3ライン程度の他のラインの平均輝度値を用いるなどといった方法を採用することが適当，である。

そして、このようにして各ライン毎の平均輝度値が算出されたならば、ステップ S 1 0 9に移行して、算出された各ライン毎の平均輝度値を頭頂部検出窓 W内の上端から垂直下方（Y方向）に向かって順にプロットしてその変化量を求め、その変化量が閾値以上になった位置を頭頂部とみなすことになる。

例えば、図 8に示すように、各ライン毎に算出された平均輝度値からなる画像特徴量を各ライン毎に頭頂部検出窓 W内の垂直方向（Y方向）にプロットして、その変化量が初期平均値より閾値（例えば、画像特徴量の平均値の 1 0 %) 以上になった位置を頭頂部とみなすことになる。

ここでいう初期平均値とは、頭頂部検出窓の上底部付近ライン（例えば、 6ライン程度）の画像特徴量の平均値である。図 8の場合は、の付近で画像特徴量が閾値.を超えたことから、の位置を頭頂部とみなし、 Y o Y iの間は背景、以上は頭部とみなすことができる。

なお、このように閾値以上になった位置を頭頂部とみなすのは、前述したように、顔画像 G中に発生したノイズや汚れ等によって均一な背景であつても画像特徴量に多少の差が発生するためであり、そのバラツキによる誤検出を回避するためであるが、ノィズゃ汚れなどによる画像特徴量のパラツキが殆ど生じないような顔画像 G等の場合は、この閾値は小さくても良いが、反対にノイズや汚れの覆い顔画像 Gの場合は、その閾値はさらに大きいものとなる場合がある。

また、図 8の場合では、画像特徴量の初期平均値を設定し、その初期平均値を基準に閾値を設定したものであるが、図 9に示すように少し離れた位置の画像特徴量同士を比較し、それらの距離を閾値として設定しても良い。図 9の例では、 Y ₂の位置の画像特徴量と、 Υ ₃の位置の画像特徴量を比較した場合、その距離は閾値を超えているため、 Υ ₃の付近を頭頂部とみなしている。

そして、このようにして頭頂部が検出されたならば、図 7 ( a ) 、 ( b ) に示すように、その頭頂部の位置が規格の頭頂部位置と同じ高さとなるように、人物顔全体を移動させる。

図 7 ( a ) は、人物顔の頭頂部がかなり低い位置にあるため、図 7

( b ) に示すようにそのまま人物顔を垂直上方に移動させることでその頭頂部を規格の位置に一致させることができる。なお、図 7 ( a ) 等では人物の首から下側の兩像が切れているが、実際にはその隠れた部分の画像もそのまま存在しており、図 7 ( b ) に示すように人物顔の移動させた結果、表示枠 Y内（下部）に空白部分が生じる等といった不都合を招くことはない。

一方、前述した実施の形態では画像特徴量として各ライン毎の平均輝度値を採用したものであるが、前述したように頭髪の色や照明条件等によつては、背景と頭頂部との輝度値に大きな変化が現れず、頭頂部付近で画像特徴量の変化量が閾値を超えないことがある。

そのため、このように輝度値に大きな変化が見られない場合は、画像特徴量として画素の輝度値に代わって、色相角の大きさを用いれば、画像特徴量に顕著な変化が見られ、当該人物の頭頂部を的確に検出することができる。

図 10は、このように画像特徴量として色相角を用いた場合の'頭頂部検出フローを示したものであり、最初のステップ S 1 0 1, S 103は、輝度値を採用した場合と同様に、顔を検出してその頭頂部に頭頂部検出窓を設定した後、その検出窓の色相角の水平方向の平均値を求め（ステップ S 21 1) 、その平均色相角を検出窓内の垂直方向に平滑化し（ステップ S 1 13) 、最後にその変化量を求め、その変化量が閾値以上ならばその位置を頭頂部とみなすようにしたものである（ステップ S 1 1 5) 。

これによつて輝度値に基づく画像特徴量で人物の頭頂部を検出できない場合でも、当該人物の頭頂部を的確に検出することが可能となる。

なお、本発明でいう「輝度値」及び「色相角」とは、画像処理分野で一般的に定義されている意味と同じ意味である。

また、「色相」とは、色の違いを示す属性であり、「色相角」とは「マンセルの色相環」や「マンセルの色立体」等の色指標図を用いて、その背景色を基準としたときの頭髪の色の位置までの角度をいうものである。例えば、「マンセルの色相環」によれば、基準となる背景色を「B l u e」とした場合、頭髪の色が「G r e e n」よりも「Y e l l ow」や「R e d」の方が色相角が大きい（画像特徴量が大きい）ということになる。図 1 1は、前述した画像特徴量選択部 26及び頭頂部検出手段 34の処理フローを示したものであり、このように輝度値に基づく画像特徴量で人物の頭頂部を検出できない場合を考慮した頭頂部検出フローの一例を示したものである。

この頭頂部検出フローは、先ず図 3のフローと同様に、画像に含まれる人物顔の検出を行ってからその人物顔の頭頂部に頭頂部検出窓 Wを設定してからその検出窓内の輝度値の水平方向の平均値を求めた後、その平均輝度値を垂直方向に平滑化してからその平均輝度値の変化量を求める（ステップ S 20 1〜S 209) 。

そして、次の判断ステップ S 21 1においてその変化量が閾値を超えたか否かを判断し、超えたと判断したとき (y e s ) は、 .ステップ S 2 1 3 に移行して平均輝度値の変化量が閾値を超えた位置を頭頂部とみなして処理を終了するが、その変化量が閾値を超えないと判断したとき（No) は、ステップ S 2 1 5側に移行して今度は図 1 0で示したように色相角に基づいた画像特徴量の変化量を求める (ステップ S 2 1 5〜S 2 1 9) 。そして、その後、ステップ S 22 1に移行してその変化量が閾値を超えたと判断したとき（y e s) は、ステップ S 2 23に移行して平均輝度値の変化量が閾値を超えた位置を頭頂部とみなして処理を終了するが、その変化量が閾値を超えないと判断したとき（No) は、ステップ S 225側に移行して本システムの利用者等に対して「頭頂部が検出できない」旨の通知 (表示）を行って処理を終了することになる。

ここで、ステップ S 22 5に至るケースとしては、要するに頭髪部分 (頭頂部領域）の輝度値及び色相角のいずれもが背景のそれとほぼ同じ値を示した場合、例えば、青い背景に対して頭髪の色が青く、その彩度もほぼ同じである場合等が考えられるが、そのようなケースでの頭頂部検出は優れた感度を有する人間の視覚によっても困難であると思われ、また、撮影時等にカメラマンが意識的にそのようなケースが発生するのを回避するであろうと考えられる極めて稀なケースである。

従って、上記のように平均輝度及び平均色相角のいずれか又は双方を採用することで確実に頭頂部を検出することができる。なお、図 1 1は、先ず最初に輝度値による画像特徴量を求めた後、色相角による画像特徴量を求めるようにしたが、最初に色相角による画像特徴量を求めた後、輝度値による画像特徴量を求めるようにしても良く、さらに両者の画像特徴量を同時に併用するような形態であっても良い。

ちなみに、輝度の変化は視覚的に認識され易いことから、画像特徴量として他の画像処理技術等で頻繁に使われている。

Claims

請求の範囲

1 . 人物顔が含まれる画像中から当該人物顔の頭頂部を検出する方法であつて、

前記人物顔の頭頂部を含まない範囲の顔画像を検出して、検出した当該顔画像の上部に前記人物顔の頭頂部が含まれる大きさの頭頂部検出窓を設定した後、

当該頭頂部検出窓内の画像特徴量を垂直方向に算出し、その画像特徴量が閾値以上に変化する位置を前記人物顔の頭頂部とするようにしたことを特徴とする頭頂部検出方法。

2 . 請求項 1に記載の頭頂部検出方法において、

前記画像特徴量として輝度の大きさを用いるようにしたことを特徴とする頭頂部検出方法。

3 . 請求項 1に記載の頭頂部検出方法において、

前記画像特徴量として色相角の大きさを用いるようにしたことを特徴とする頭頂部検出方法。

4 . 請求項 1〜 3のいずれか 1項に記載の頭頂部検出方法において、前記画像特徴量は、前記頭頂部検出窓内の水平方向の平均値を用いるようにしたことを特徴とする頭頂部検出方法。

5 . 請求項 1〜4のいずれか 1項に記載の顔画像中の頭頂部検出方法において、

前記画像特徴量は、輝度又は色相角のいずれか又は両方を使用する画像に応じて自動的に切り替えることを特徴とする頭頂部検出方法。

6 . 請求項 1〜 5のいずれか 1項に記載の頭頂部検出方法において、前記頭頂部検出窓としては、矩形状であって、その幅及び高さが前記人物顔の顔幅よりも幅広のものを用いるようにしたことを特徴とする頭頂部検出方法。

7 . 人物顔が含まれる画像中から当該人物顔の頭頂部を検出するシステムであって、

前記人物顔が含まれる画像を読み取る画像読取手段と、

当該画像読取手段で読み取った画像中から人物顔の頭頂部を含まない範囲の顔画像を検出して、検出した範囲に顔検出枠を設定する顔検出手段と. 当該顔検出枠の上部に前記人物顔の頭頂部が含まれる大きさの頭頂部検出窓を設定する頭頂部検出窓設定手段と、

当該頭頂部検出窓内の画像特徴量を垂直方向に算出する画像特徴量算出手段と、

当該画像特徴量算出手段で算出された画像特徴量が閾値以上に変化する位置を前記人物顔の頭頂部とする頭頂部検出手段と、を備えたことを特徴とする頭頂部検出システム。

8 . 請求項 7に記載の人物顔の頭頂部検出システムにおいて、

前記画像特徴量算出手段は、

各画素の輝度を画像特徴量として算出する輝度算出部と、

各画素の色相角を画像特徴量として算出する色相角算出部と、

これらいずれかの画像特徴量を選択する画像特徴量選択部と、を備えたことを特徴とする頭頂部検出システム。

9 . 請求項 7又は 8に記載の人物顔の頭頂部検出システムにおいて、前記頭頂部検出手段は、

前記画像特徴量の閾値を設定する閾値設定部と、

前記頭頂部検出窓内の水平方向の画像特徴量の平均を求める平均値算出部と、のいずれか一方あるいは両方を備えたことを特徴とする頭頂部検出システム。

1 0 . 人物顔が含まれる画像中から当該人物顔の頭頂部を検出するプログラムであって、

前記人物顔が含まれる画像を読み取る画像読取ステップと、当該画像読取ステップで読み取った画像中から人物顔の頭頂部を含まない範囲の顔画像を検出して、検出した範囲に顔検出枠を設定する顔検出ステツプと、

当該顔検出枠の上部に前記人物顔の頭頂部が含まれる大きさの頭頂部検出窓を設定する頭頂部検出窓設定ステップと、

当該頭頂部検出窓内の画像特徴量を垂直方向に算出する画像特徴量算出当該画像特徴量算出ステップで算出された画像特徴量が閾値以上に変化する位置を前記人物顔の頭頂部とする頭頂部検出ステツプと、をコンビュータに実現させることを特徴とする頭頂部検出プログラム。

1 1 . 請求項 1 0に記載の人物顔の頭頂部検出プログラムにおいて、前記画像特徴量算出ステップは、

各画素の輝度を画像特徴量として算出する輝度算出ステップと、各画素の色相角を画像特徴量として算出する色相角算出ステップと、これらいずれかの画像特徴量を選択する画像特徴量選択ステツプと、を含むことを特徴とする頭頂部検出プログラム。

1 2 . 請求項 1 0又は 1 1に記載の人物顔の頭頂部検出プログラムにおいて、

前記頭頂部検出ステップは、

前記画像特徴量の閾値を設定する閾値設定ステツプと、

前記頭頂部検出窓内の水平方向の画像特徴量の平均を求める平均値算出ステップと、のいずれか一方あるいは両方を含むことを特徴とする頭頂部検出プログラム。