JP5569990B2 - 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム - Google Patents

Description

本発明は、属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムに関する。

画像から人物を検出し、年齢や性別等の属性を判定するシステムは、テレビ会議やテレビ電話等の各種の画像通信、データベース検索、ビル監視等のセキュリティシステム、顔による照合システム等、多方面に亘り利用されている。例えば、人物の顔面中で特徴的な部分である、目、眉、鼻孔、口などの顔部分でのパターン認識をすることで、この画像に人物の顔面が写っていると判定して、画像中の人物を検出し、さらにその人物の属性を判定するという方法がある（例えば、特許文献１参照）。顔の一部を検出する方法は、まず、人物の頭部を検出して、次に顔部分を抽出するという手順で行われる。

特開平１０−３０７９２３号公報

しかしながら、顔を用いた属性の判定方法では、顔の特徴的な部分の一部分が隠れていると人物の検出および属性の判定が困難であり、正面に近い向きの顔でしか、人物の検出および人物の属性の判定ができないという問題がある。したがって、このような方法を人物の検出および人物の属性の判定に適用する場合、正面向きの顔を撮影しやすい場所にカメラを設置する必要があるが、一般的に、このような場所にカメラを設置することは困難である場合が多い。また、人の動きは一般的に不規則であるため、必ずしも正面向きの顔を検出できるとは限らない。

そこで、本発明は、例えば、顔の特徴的な部分が隠れている場合でも、人物の検出精度が高く、人物の属性判定が可能である属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供することを目的とする。

前記目的を達成するために、本発明の属性判定方法は、
判定対象人物画像を取得する画像取得工程と、
前記判定対象人物画像から、頭部領域、顔領域、およびその他の領域からなる群から選択される少なくとも２つの属性判定領域を検出する属性判定領域検出工程と、
前記少なくとも２つの属性判定領域の画像から属性を判定する属性判定工程と
を含むことを特徴とする。

また、本発明の属性判定装置は、
判定対象人物画像を取得する画像取得手段と、
前記判定対象人物画像から、頭部領域、顔領域、およびその他の領域からなる群から選択される少なくとも２つの属性判定領域を検出する属性判定領域検出手段と、
前記少なくとも２つの属性判定領域の画像から属性を判定する属性判定手段と
を含むことを特徴とする。

本発明のプログラムは、前記本発明の属性判定方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。

本発明の属性判定システムは、
判定対象人物画像を取得する画像取得手段と、
前記判定対象人物画像から、頭部領域、顔領域、およびその他の領域からなる群から選択される少なくとも２つの属性判定領域を検出する属性判定領域検出手段と、
前記少なくとも２つの属性判定領域の画像から属性を判定する属性判定手段と、
属性判定結果を出力する出力手段と
を含み、
前記画像取得手段および前記出力手段が、システム外の通信回線網を介して、前記属性判定領域検出手段および前記属性判定手段と接続されていることを特徴とする。

本発明によれば、例えば、顔の特徴的な部分が隠れている場合でも、人物の検出精度が高く、人物の属性判定が可能である属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供できる。

図１Ａは、本発明の属性判定方法の一例（実施形態１）を示すフローチャートである。 図１Ｂは、本発明の属性判定装置の一例（実施形態１）の構成を示すブロック図である。 図１Ｃは、前記実施形態１の属性判定装置におけるその他の例の構成を示すブロック図である。 図２Ａ（ａ）および（ｂ）は、本発明において、学習画像中に頭部領域（正例）を付与する、一例を説明する図である。 図２Ｂは、本発明において、学習画像中に顔領域（正例）を付与する、一例を説明する図である。 図２Ｃは、本発明において、学習画像中に全身領域（正例）を付与する、一例を説明する図である。 図２Ｄは、頭部領域と顔領域との重なり度を算出する、一例を説明する図である。 図２Ｅは、頭部領域と全身領域との重なり度を算出する、一例を説明する図である。 図３Ａ（ａ）〜（ｃ）は、本発明における属性判定領域検出工程および属性判定工程の一例を説明する図である。 図３Ｂ（ａ）〜（ｃ）は、本発明における属性判定領域検出工程および属性判定工程のその他の例を説明する図である。 図４は、本発明の属性判定装置を用いた属性判定システムの一例（実施形態３）の構成を示すブロック図である。

本発明において、前記その他の領域は、頭部領域または顔領域を含む領域でもよく、例えば、全身または全身の一部（上半身等）等があげられる。

つぎに、本発明の実施形態について説明する。なお、本発明は、下記の実施形態によってなんら限定および制限されない。なお、以下の図１から図４において、同一部分には、同一符号を付している。

［実施形態１］
本実施形態は、前記その他の領域が、全身である場合の一例である。図１Ａに、本実施形態における属性判定方法のフローチャートを示す。また、図１Ｂに、本実施形態における属性判定装置のブロック図を示す。図１Ｂに示すように、本実施形態の属性判定装置は、画像取得手段１１１、演算手段１２０、出力手段１３１およびデータ記憶手段１４０を主要な構成要素として含む。画像取得手段１１１は、演算手段１２０に接続されている。演算手段１２０は、出力手段１３１とデータ記憶手段１４０とに接続されている。演算手段１２０は、属性判定領域検出手段１２１および属性判定手段１２２を含む。データ記憶手段１４０には、予め取得した属性判定領域検出モデル１４１および属性判定モデル１４２が格納されている。属性判定領域検出手段１２１は、属性判定領域検出モデル１４１に接続されている。属性判定手段１２２は、属性判定モデル１４２に接続されている。属性判定領域検出モデル１４１は、頭部領域検出モデル１４１ａ、顔領域検出モデル１４１ｂおよび全身領域検出モデル１４１ｃを含む。属性判定モデル１４２は、頭部領域属性判定モデル１４２ａ、顔領域属性判定モデル１４２ｂおよび全身領域属性判定モデル１４２ｃを含む。

画像取得手段１１１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、イメージスキャナ等があげられる。演算手段１２０は、例えば、中央処理装置（ＣＰＵ）等があげられる。出力手段１３１は、例えば、映像により出力するモニター（例えば、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ等の各種画像表示装置等）、印刷により出力するプリンター、音声により出力するスピーカー等があげられる。出力手段１３１は、任意の構成要素であり、本発明の属性判定装置に含まれていなくてもよいが、含まれていることが好ましい。データ記憶手段１４０は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。データ記憶手段１４０は、例えば、装置内蔵型でもよいし、外部記憶装置のような外付け型でもよい。前記画像取得手段、前記演算手段、前記出力手段および前記データ記憶手段については、後述の実施形態においても同様である。

本発明において、属性は、人物に関する属性であり、例えば、性別、年齢、人種、頭部の角度、髪の毛の長さ、帽子の有無、髪の毛の色、ヘアスタイル、顔の向き、表情、眼鏡やサングラスの有無、マスクの有無、髭の有無等があげられる。

本実施形態の属性判定方法は、例えば、図１Ｂの属性判定装置を用いて、つぎのようにして実施する。

まず、前記属性判定方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習することで、頭部領域検出モデル１４１ａおよび頭部領域属性判定モデル１４２ａ、顔領域検出モデル１４１ｂおよび顔領域属性判定モデル１４２ｂ、ならびに、全身領域検出モデル１４１ｃおよび全身領域属性判定モデル１４２ｃを作成する。

＜頭部領域検出モデルおよび頭部領域属性判定モデル＞
頭部領域検出モデル１４１ａは、学習用画像の頭部領域を正例とし、非頭部領域を負例として、機械学習（パターン認識）で学習することにより作成される。具体的には、例えば、図２Ａ（ａ）および（ｂ）に示すように、まず、学習用画像１０ａ（正面向きの男性）および１０ｂ（後ろ向きの女性）の頭部に、ラベリング１１ａおよび１１ｂを付すことで、前記頭部領域を付与する。前記頭部領域の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。検出精度を考慮すると、前記学習用画像の数は多いほど好ましく、多数用意した学習用画像（例えば、横向きの画像等）から、頭部領域検出モデルを作成することが好ましい。

つぎに、前記頭部領域に属性判定用教師データを付与し、前記属性判定用教師データが付与された頭部領域を多数用いて、機械学習（パターン認識）により、頭部領域属性判定モデル１４２ａを作成する。本実施形態の属性判定方法において、前記属性判定用教師データは、例えば、性別、年齢等があげられる。具体的には、図２Ａ（ａ）に示す学習用画像の前記頭部領域には、例えば、「性別：男性」、「年齢：３０歳」等の判定用教師データを付与し、図２Ａ（ｂ）に示す学習用画像には、例えば、「性別：女性」、「年齢：２０歳」等の属性判定用教師データを付与する。前記性別または前記年齢等の属性判定用教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。また、属性判定に頭部領域の向きの項目を用いる場合、例えば、１度単位での向きデータ（例えば、左向き６０°）、８方向に準じた向きデータ（例えば、０°、４５°、９０°・・・）等の前記頭部領域の向きの属性判定用教師データも付与できる。なお、属性の判定は、学習を用いずに、例えば、人間がルールを決めて属性を判定するという方法（頭部領域属性判定ルール）でも行える。

＜顔領域検出モデルおよび顔領域属性判定モデル＞
顔領域検出モデル１４１ｂは、学習用画像の顔領域（人物の顔面中で特徴的な部分である、目、眉、鼻孔、口等の顔部分を含む領域）を、機械学習（パターン認識）で学習することにより作成する。図２Ｂに示すように、まず、学習用画像１０ｃ（正面向きの男性）の顔に、ラベリング１１ｃを付すことで、前記顔領域を付与する。前記顔領域の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。検出精度を考慮すると、前記学習用画像の数は多いほど好ましく、多数用意した学習用画像から、顔領域検出モデルを作成することが好ましい。前記顔領域検出モデルは、例えば、前記顔部分の相対位置または大きさ等の情報を含んでもよい。

つぎに、前記顔領域に属性判定用教師データを付与し、前記属性判定用教師データが付与された頭部領域を多数用いて、機械学習（パターン認識）により、顔領域属性判定モデル１４２ｂを作成する。本実施形態の属性判定方法において、前記属性判定用教師データは、例えば、性別、年齢等があげられる。具体的には、図２Ｂに示す学習用画像の前記顔領域には、例えば、「性別：男性」、「年齢：３０歳」等の属性判定用教師データを付与する。前記性別および前記年齢等の属性判定用教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。また、属性の判定は、学習を用いずに、例えば、人間がルールを決めて属性を判定するという方法（顔領域属性判定ルール）でも行える。

＜全身領域検出モデルおよび全身領域属性判定モデル＞
全身領域検出モデル１４１ｃは、学習用画像の全身領域を正例とし、非全身領域を負例として、機械学習（パターン認識）で学習すること作成される。具体的には、例えば、図２Ｃに示すように、まず、学習用画像１０ｄ（正面向きの男性）の全身に、ラベリング１１ｄを付すことで、前記全身領域を付与する。前記全身領域の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。検出精度を考慮すると、前記学習用画像の数は多いほど好ましく、多数用意した学習用画像から、全身領域検出モデルを作成することが好ましい。

つぎに、前記全身領域に属性判定用教師データを付与し、前記属性判定用教師データが付与された全身領域を多数用いて、機械学習（パターン認識）により、全身領域属性判定モデル１４２ｃを作成する。本実施形態の属性判定方法において、前記属性判定用教師データは、例えば、性別、年齢等があげられる。具体的には、図２Ｃに示す学習用画像の前記全身領域には、例えば、「性別：男性」、「年齢：３０歳」等の属性判定用教師データを付与する。前記性別および前記年齢等の属性判定用教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。また、学習を用いずに、例えば、人間がルールを決めて属性を判定するという方法（全身領域属性判定ルール）でも行える。また、属性判定に体の向きの項目を用いる場合、例えば、１度単位での向きデータ（例えば、左向き６０°）、８方向に準じた向きデータ（例えば、０°、４５°、９０°・・・）等の体の向きの属性判定用教師データも付与できる。

つぎに、図１Ａのフローチャートに示すように、以下のステップを実施する。まず、画像取得手段１１１により、判定対象人物画像を取得する（ステップＳ１１）。

つぎに、属性判定領域検出手段１２１により、属性判定領域の教師データが付与された学習用画像を多数用いて学習することで予め作成した属性判定領域検出モデル１４１を参照して、前記判定対象人物画像から、頭部領域、顔領域および全身領域からなる群から選択される少なくとも２つの属性判定領域データを検出する（ステップＳ２１）。

＜頭部領域データの検出＞
頭部領域データは、具体的には、例えば、検出したい頭部領域サイズ（例えば、正方形）を指定し、予め作成した頭部領域検出モデル１４１ａを参照して、判定対象人物画像の端部から水平方向に、画像パッチを順に下の行に向かって移動させて探索する、いわゆるラスタスキャンで検出される。これと共に、例えば、前記判定対象人物画像の取得サイズも変更して頭部領域を探索することで、前記頭部領域データを検出する。このようにして、前記頭部領域データを検出すれば、頭部領域の位置あわせ（アライメント）も同時に行えて好ましい。なお、頭部領域データの検出は、この例には限定されず、例えば、前記判定対象人物画像中の円形の物体を頭部領域として検出し、検出された頭部領域を位置合わせ（アライメント）して行ってもよい。前記アラインメントは、例えば、前記演算手段に含まれるアライメント手段（図示せず）により行ってもよい。

＜顔領域データの検出＞
顔領域データは、具体的には、例えば、予め作成した顔領域検出モデル１４１ｂを参照して、判定対象人物画像から、顔領域検出モデル１４１ｂに合致する部分として検出される。

＜全身領域データの検出＞
全身領域データは、具体的には、例えば、検出したい全身領域サイズ（例えば、長方形）を指定し、予め作成した全身領域検出モデル１４１ｃを参照して、前記頭部領域の検出と同様の方法で検出される。

つぎに、属性判定手段１２２により、属性判定用教師データが付与された属性判定領域を多数用いて学習することで予め作成した属性判定モデル１４２を参照して、前記少なくとも２つの属性判定領域の画像から属性を判定する（ステップＳ２２）。具体的には、例えば、各属性判定領域画像の属性を判定し、各属性判定領域画像が同一人物に属するか否かを判定し、同一人物に属する各属性判定領域画像を統合して属性を判定する。前記属性の判定を、例えば、前述の機械学習により行う場合は、年齢のように連続した値を推定する方法（回帰（Ｒｅｇｒｅｓｓｉｏｎ））と、男性／女性のようにカテゴリを推定する方法（識別（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ））との両方を使用できる。

＜頭部領域画像からの属性判定＞
頭部領域画像からの属性判定の判定項目は、例えば、性別、年齢、人種、頭部の角度、髪の毛の長さ、帽子の有無、髪の毛の色、ヘアスタイル、顔の向き、表情、眼鏡やサングラスの有無、マスクの有無、髭の有無等があげられる。判定項目が性別である場合、例えば、性別度（例えば、０〜１）に基づいて判定できる。前記性別度は、頭部領域データを基に算出できる。具体的には、例えば、前記性別度が「０〜０．５未満」であれば、「女性」と判定し、前記性別度が「０．５〜１」であれば、「男性」と判定する、という基準を設定しておき、算出された性別度の値から性別を判定する。なお、性別度から性別を判定する基準は、この例に限定されず、例えば、前記性別度が「０〜０．３」であれば、「女性」と判定し、前記性別度が「０．７〜１」であれば、「男性」と判定し、前記性別度が「０．３より大きく０．７未満」であれば、「判定不能」とする、という基準等でもよい。前記年齢等についても、例えば、所定の基準を設定して、前記頭部領域データを基に算出された値から判定する。

＜顔領域画像からの属性判定＞
顔領域画像からの属性判定の判定項目は、例えば、前記頭部領域画像からの属性判定の判定項目と同様であり、顔領域画像からの属性は、例えば、前記頭部領域画像からの属性判定と同様にして判定できる。

＜全身領域画像からの属性判定＞
全身領域画像からの属性判定の判定項目は、例えば、前記頭部領域画像からの属性判定の判定項目と同様であり、全身領域画像からの属性は、例えば、前記頭部領域画像からの属性判定と同様にして判定できる。

＜各属性判定領域画像が同一人物に属するか否かの判定＞
つぎに、前記各頭部領域、顔領域および全身領域が、同一人物に属するか否かを判定する。この判定には、例えば、下記式（３）で表される重なり度を用いる。なお、前記同一人物に属するか否かの判定は、例えば、前記各属性判定領域画像の属性判定の前に行ってもよい。すなわち、例えば、予め前記各頭部領域、顔領域および全身領域が同一人物に属するか否かを判定した後に、同一人物に属する各頭部領域、顔領域および全身領域の属性判定を行ってもよい。

重なり度＝（２×Ｘ×Ｙ）／（Ｘ＋Ｙ） （３）

Ｘ：いずれかの属性判定領域の面積に対する、前記いずれかの属性判定領域と前記いずれかの属性判定領域以外の属性判定領域を所定の比率で変形した領域とが重なった領域の面積の割合
Ｙ：前記所定の比率で変形した領域の面積に対する、前記重なった領域の面積の割合

＜重なり度算出の具体例＞
前記式（３）で表される重なり度について、以下に、具体例をあげて説明する。ただし、重なり度は、以下の例に限定されない。

＜顔領域と頭部領域との重なり度＞
まず、顔領域と頭部領域との重なり度について説明する。すなわち、まず、取得した判定対象人物画像から、図２Ｄ（ａ）に示すように、頭部領域（Ａ）２１および顔領域２２を検出する。つぎに、図２Ｄ（ｂ）に示すように、検出した顔領域２２を所定の比率で変形する。この領域を頭部領域（Ｂ）２１ａとする。具体的には、例えば、顔領域２２の横サイズがｘ、縦サイズがｙである場合、顔領域２２の左右方向にそれぞれ、ｘの０．５倍、上方向にｙの０．８倍、下方向にｙの０．２倍伸ばした領域を、頭部領域（Ｂ）２１ａとする。つぎに、図２Ｄ（ｃ）に示すように、頭部領域（Ａ）２１と頭部領域（Ｂ）２１ａとが重なった領域（Ｃ、斜線部）２４の面積を算出する。そして、下記式（１）に示すように、前記頭部領域（Ａ）の面積に対する、前記重なった領域（Ｃ）の面積の割合（Ｘ）を算出する。

Ｘ＝Ｃ／Ａ （１）

また、下記式（２）に示すように、前記頭部領域（Ｂ）の面積に対する、前記重なった領域（Ｃ）の面積の割合（Ｙ）を算出する。

Ｙ＝Ｃ／Ｂ （２）

前記割合（Ｘ）および（Ｙ）から、下記式（３）に示すようにして、前記頭部領域と前記顔領域の重なり度を算出する。

重なり度＝（２×Ｘ×Ｙ）／（Ｘ＋Ｙ） （３）

＜頭部領域と全身領域との重なり度＞
つぎに、頭部領域と全身領域との重なり度について説明する。すなわち、まず、取得した判定対象人物画像から、頭部領域（Ａ）および全身領域を検出する。つぎに、図２Ｅに示すように、検出した全身領域２３を所定の比率で変形する。この領域を頭部領域（Ｄ）２１ｂとする。具体的には、例えば、全身領域２３の横サイズがｘ、縦サイズがｙである場合に、全身領域２３の左右方向をそれぞれ、ｘの０．３倍、下方向をｙの０．８倍縮めた領域を、頭部領域（Ｄ）２１ｂとする。図２Ｅにおいて、２１ｅは、頭部領域（Ａ）である。つぎに、前述と同様にして、頭部領域（Ａ）と頭部領域（Ｄ）とが重なった領域（Ｃ）の面積を算出する。つぎに、前記式（１）と同様にして、前記頭部領域（Ａ）の面積に対する、前記重なった領域（Ｃ）の面積の割合（Ｘ）を算出する。また、前記式（２）と同様にして、前記頭部領域（Ｄ）の面積に対する、前記重なった領域（Ｃ）の面積の割合（Ｙ）を算出する。そして、前記割合（Ｘ）および（Ｙ）から、下記式（３）に示すようにして、前記頭部領域と前記全身領域の重なり度を算出する。

重なり度＝（２×Ｘ×Ｙ）／（Ｘ＋Ｙ） （３）

重なり度は、上記２つの具体例の他にも、顔領域と全身領域との重なり度を算出する場合、例えば、全身領域を所定の比率で縮小（変形）した領域を顔領域とし、前述と同様にして算出してもよい。また、頭部領域と顔領域との重なり度は、例えば、頭部領域を所定の比率で縮めた（変形した）領域を顔領域とし、前述と同様に算出してもよい。また、頭部領域と全身領域との重なり度は、例えば、頭部領域を所定の比率で伸ばした（変形した）領域を全身領域とし、前述と同様に算出してもよい。

重なり度は、１（最大値）〜０（最小値）の数値で表される。本実施形態の属性判定方法では、例えば、重なり度が、予め設定された閾値以上の値（例えば、重なり度≧０．７）である場合に、前記各頭部領域、顔領域および全身領域が同一人物に属すると判定してもよい。

＜属性判定領域画像の統合による属性の判定＞
つぎに、前記同一人物に属すると判定された前記各頭部領域、顔領域および全身領域の画像を統合して、属性を判定する。判定項目（判定結果）の統合は、例えば、下記式（４）により行える。下記式（４）において、「ｎ」は、判定対象画像（フレーム）数を示し、「ｉ」は、対象画像の番号を示す。

つぎに、出力手段１３１により、属性の判定結果を出力する（ステップＳ３１）。判定項目は、前述のとおりである。なお、出力工程Ｓ３１は、任意の工程であり、本発明の属性判定方法に含まれていなくてもよいが、含まれていることが好ましい。

以下に、画像取得手段１１１により取得される判定対象人物画像の具体例をあげて、前記属性判定領域検出工程および前記属性判定工程を説明する。ただし、発明は、以下の例に限定されない。

図３Ａ（ａ）は、判定対象人物画像の一例であり、複数の人物が写った画像である。この画像において、左側の人物は、正面向きで胸から上が写っている。右側の人物は、正面向きで全身が写っている。

まず、属性判定領域検出手段１２１により、予め取得した属性判定領域検出モデル１４１を参照して、属性判定領域を検出する。この結果、図３Ａ（ａ）に示すように、例えば、頭部領域３１ａおよび３１ｂ、顔領域３２ａおよび３２ｂ、ならびに、全身領域３３ｂが検出される。

つぎに、属性判定手段１２２により、予め取得した属性判定モデル１４２を参照して、頭部領域３１ａおよび３１ｂ、顔領域３２ａおよび３２ｂ、ならびに、全身領域３３ｂの属性を判定する。

つぎに、重なり度を用いて、頭部領域３１ａおよび３１ｂ、顔領域３２ａおよび３２ｂ、ならびに、全身領域３３ｂが、同一人物に属するか否かを判定する。これにより、例えば、頭部領域３１ａおよび顔領域３２ａは、図３Ａ（ａ）における左側の人物に属すると判定され、頭部領域３１ｂ、顔領域３２ｂおよび全身領域３３ｂは、図３Ａ（ａ）における右側の人物に属すると判定される。

つぎに、図３Ａ（ｂ）に示すように、頭部領域３１ａおよび顔領域３２ａを統合して属性を判定する。また、図３Ａ（ｃ）に示すように、頭部領域３１ｂ、顔領域３２ｂおよび全身領域３３ｂを統合して属性を判定する。

図３Ａ（ｂ）に示す前記統合は、前記判定対象項目が性別である場合、例えば、下記式（５）により行える。

前記式（５）において、「頭部の性別度」は、属性判定工程Ｓ２２において算出された頭部領域の性別度である。「顔の性別度」は、属性判定工程Ｓ２２において算出された顔領域の性別度である。「頭部の性別における信頼度」は、例えば、０より大きく１以下で表すことができ、属性判定工程Ｓ２２において算出された頭部領域の性別度の信頼性の高低を示す。また、「顔の性別における信頼度」は、例えば、０より大きく１以下で表すことができ、属性判定工程Ｓ２２において算出された顔領域の性別度の信頼性の高低を示す。頭部領域の信頼度および顔領域の信頼度は、例えば、使用するモデルの性能に応じて決定してもよい。例えば、頭部領域の画像から性別を判定すると７０％の精度であるが、顔領域の画像から性別を判定すると８０％の精度が得られるという場合、後者の信頼度を高くすることで、高精度での判定が可能となる。

また、例えば、判定対象人物画像全体が暗いことにより頭部領域全体が濃く（暗く）なるため、女性であるにも関わらず性別度が男性寄りに算出されるような場合がある。そのような場合、判定対象人物画像全体が暗いという条件では、頭部領域での性別の判定の信頼性が低いため、前記頭部領域の性別における信頼度を低く設定する（０に近い数値）。

前記顔の性別における信頼度に影響を与える条件としては、例えば、顔の角度（向き）があげられる。正面向きの顔の画像から性別を判定すると精度が高くなり、斜め向きの顔の画像から性別を判定すると精度が若干低くなることが分かっている場合、前者の信頼度を高く設定し（１に近い数値）、後者の信頼度を低く設定する（０に近い数値）。前記信頼度に影響を与える条件としては、前記顔の角度（向き）の他に、例えば、顔の隠れ、判定対象人物画像の画質、判定対象人物画像中の顔領域の大きさ、光の当たり方、コントラストの強さ等があげられる。具体的には、前記顔の隠れについては、例えば、隠れている部分が大きい場合、信頼度を低く設定する。前記判定対象人物画像の画質については、例えば、ぶれが大きい、またはノイズが多い場合、信頼度を低く設定する。前記判定対象人物画像中の顔領域の大きさについては、例えば、前記顔領域が小さい場合、信頼度を低く設定する。前記光の当たり方については、例えば、光の当たり方に偏りがある場合、信頼度を低く設定する。前記コントラストの強さについては、例えば、コントラストが弱く情報量が少ない場合、信頼度を低く設定する。

図３Ａ（ｃ）に示す前記統合は、前記判定対象項目が性別である場合、例えば、下記式（６）により行える。

前記式（６）において、「全身の性別度」は、属性判定工程Ｓ２２において算出された全身領域の性別度である。「頭部の性別度」および「顔の性別度」は、前記式（５）と同様である。「全身の性別における信頼度」は、例えば、０より大きく１以下で表すことができ、属性判定工程Ｓ２２において算出された全身領域の性別度の信頼性の高低を示す。「頭部の性別における信頼度」および「顔の性別における信頼度」は、前記式（５）と同様である。

前記全身の性別における信頼度に影響を与える条件としては、例えば、全身の角度（向き）があげられる。正面向きの全身の画像から性別を判定すると精度が高くなり、斜め向きの全身の画像から性別を判定すると精度が若干低くなることが分かっている場合、前者の信頼度を高く設定し（１に近い数値）、後者の信頼度を低く設定する（０に近い数値）。前記信頼度に影響を与える条件としては、前記全身の角度（向き）の他に、例えば、全身の隠れ、判定対象人物画像の画質、判定対象人物画像中の全身領域の大きさ、光の当たり方、コントラストの強さ等があげられる。具体的には、前記全身の隠れについては、例えば、隠れている部分が大きい場合、信頼度を低く設定する。前記判定対象人物画像の画質については、例えば、ぶれが大きい、またはノイズが多い場合、信頼度を低く設定する。前記判定対象人物画像中の全身領域の大きさについては、例えば、前記全身領域が小さい場合、信頼度を低く設定する。前記光の当たり方については、例えば、光の当たり方に偏りがある場合には、信頼度を低く設定する。前記コントラストの強さについては、例えば、コントラストが弱く情報量が少ない場合、信頼度を低く設定する。

図３Ｂ（ａ）に、判定対象人物画像の別の一例を示す。図３Ｂ（ａ）は、複数の人物が写った画像である。この画像において、左側の人物は、後ろ向きで全身が写っている。右側の人物は、帽子を被っており、正面向きで全身が写っている。

まず、属性判定領域検出手段１２１により、予め取得した属性判定領域検出モデル１４１を参照して、属性判定領域を検出する。この結果、図３Ｂ（ａ）に示すように、例えば、頭部領域３１ｃ、顔領域３２ｄ、ならびに、全身領域３３ｃおよび３３ｄが検出される。

つぎに、前述の図３Ａ（ａ）の場合と同様に、属性判定手段１２２により、予め取得した属性判定モデル１４２を参照して、頭部領域３１ｃ、顔領域３２ｄ、ならびに、全身領域３３ｃおよび３３ｄの属性を判定する。

つぎに、前述の図３Ａ（ａ）の場合と同様に重なり度を用いて、頭部領域３１ｃ、顔領域３２ｄ、ならびに、全身領域３３ｃおよび３３ｄが、同一人物に属するか否かを判定する。これにより、例えば、頭部領域３１ｃおよび全身領域３３ｃは、図３Ｂ（ａ）における左側の人物に属すると判定され、顔領域３２ｄおよび全身領域３３ｄは、図３Ｂ（ａ）における右側の人物に属すると判定される。

つぎに、図３Ｂ（ｂ）に示すように、頭部領域３１ｃおよび全身領域３３ｃを統合して属性を判定する。また、図３Ｂ（ｃ）に示すように、顔領域３２ｄおよび全身領域３３ｄを統合して属性を判定する。

図３Ｂ（ｂ）に示す前記統合は、前記判定対象項目が性別である場合、例えば、下記式（７）により行える。

前記式（７）において、「頭部の性別度」および「頭部の性別における信頼度」は、前記式（５）と同様であり、「全身の性別度」および「全身の性別における信頼度」は、前記式（６）と同様である。

図３Ｂ（ｃ）に示す前記統合は、前記判定対象項目が性別である場合、例えば、下記式（８）により行える。

前記式（８）において、「顔の性別度」および「顔の性別における信頼度」は、前記式（５）と同様であり、「全身の性別度」および「全身の性別における信頼度」は、前記式（６）と同様である。

前述のように、本実施形態の属性判定方法では、前記頭部領域、前記顔領域および前記全身領域の少なくとも２つの属性判定領域の画像から属性を判定する。すなわち、前記少なくとも２つ属性判定領域をハイブリッドさせて属性を判定する。このため、本実施形態の属性判定方法は、検出できない領域がある場合においても、人物の検出精度が高く、人物の属性を判定できる。すなわち、例えば、図３Ｂ（ｂ）に示すように、顔の特徴的な部分が隠れている場合でも、前記頭部領域および前記全身領域の２つの画像から人物の属性を判定できる。この結果、例えば、画像取得手段（例えば、監視カメラ等）の設置場所の選択の幅を広げることができ、例えば、既存の監視カメラ等も利用できる。また、属性の判定に顔のみではなく頭部および全身を用いているため、正面に近い画像でなければ属性の判定が困難である顔のみの場合とは異なり、例えば、後方から撮影した画像等、あらゆる方向から撮影した画像（フレーム）から属性を判定できる。このため、例えば、多くのフレームを撮影しなくともよくなる。また、あらゆる方向から撮影した画像を属性の判定に用いることができるため、例えば、得られる情報の種類が豊富であり、総合的に、より高精度に属性を判定できる。また、例えば、図３Ｂ（ｃ）に示すように、人物が帽子を被っているために、頭部が隠れている場合でも、前記顔領域および前記全身領域の２つの画像から人物の属性を判定できる。本実施形態の属性判定方法では、図３Ａ（ｃ）に示すように、前記頭部領域、前記顔領域および前記全身領域の３つの属性判定領域から属性を判定することで、例えば、より正確に人物の属性を判定できる。

なお、図３Ａ（ａ）および図３Ｂ（ａ）に示した判定対象人物画像は、画像が１枚（フレームが１つ）の場合の例であるが、本発明は、この例に限定されない。フレーム数が複数の場合には、例えば、前記頭部領域および前記顔領域の２つの画像の統合は、例えば、下記式（９）により行える。フレーム数を増やすことで、例えば、さらに正確に人物の属性を判定できる。下記式（９）において、「ｎ」は、フレーム数を示す。前記頭部領域、前記顔領域および前記全身領域における他の組み合わせにおいても、複数フレームの場合の統合は、例えば、前記式（９）と同様の概念の統合式により行える。

なお、前記属性判定領域検出工程（図１ＡのＳ２１）では、前記属性判定領域検出モデルを参照して、前記判定対象人物画像から頭部領域、顔領域および全身領域からなる群から選択される少なくとも２つの属性判定領域を検出しているが、本発明は、この例に限定されない。前記属性判定領域の検出は、例えば、属性判定領域判定ルールを参照して行ってもよい。前記属性判定領域判定ルールは、例えば、頭部領域判定ルール、顔領域判定ルール、全身領域判定ルール等があげられる。前記頭部領域判定ルールは、例えば、「判定対象人物画像中の円形の物体は頭部領域である」等のルールがあげられる。前記顔領域判定ルールは、例えば、「判定対象人物画像中で、周辺と比較して輝度が暗い２箇所を目の候補とし、その２箇所を結んだ直線の中点付近から垂線を下ろした箇所に、周辺と比較して輝度が暗い部分があった場合には、その箇所を口と判定し、これらの箇所を囲む領域は顔領域である」等のルールがあげられる。前記全身領域判定ルールは、例えば、「判定対象人物画像中の円形の物体を頭部領域と仮定し、その頭部領域の下の部分を見た場合、動きのある部分の高さが頭部領域の高さの４倍から９倍（４等身〜９等身）である場合には、その動きのある部分を囲む領域は全身領域である」等のルールがあげられる。前記「動きのある部分」は、例えば、多フレーム間で差分がある部分をいう。具体的には、例えば、背景差分またはフレーム間差分等を取得して、検出された動きのある物体の領域をいう。また、例えば、前記属性判定領域の検出は、前記属性判定領域検出モデルおよび前記属性判定領域判定ルールの両方を参照して行ってもよい。この場合、例えば、図１Ｃに示すように、データ記憶手段１４０に、属性判定領域判定ルール２４１が格納され、頭部領域検出手段１２１が属性判定領域判定ルール２４１に接続されていてもよい。属性判定領域判定ルール２４１は、頭部領域判定ルール２４１ａと、顔領域判定ルール２４１ｂと、全身領域判定ルール２４１ｃとを含む。

また、前記属性判定工程（図１ＡのＳ２２）では、前記属性判定モデルを参照して、前記頭部領域、前記顔領域および前記全身領域の画像の少なくとも２つから属性を判定しているが、本発明は、この例に限定されない。前記属性判定は、例えば、属性判定ルールを参照して行ってもよい。前記属性判定ルールは、例えば、頭部領域属性判定ルール、顔領域属性判定ルール、全身領域属性判定ルール等があげられる。前記頭部領域属性判定ルールは、例えば、「髪が長ければ女性であり、髪が短ければ男性である」等のルールがあげられる。前記顔領域属性判定ルールは、例えば、「目が大きく、眉毛が細ければ女性である」、「顔領域の画像から多くのエッジ成分（しわ）が抽出されれば、高齢者である」、「目・鼻・口等の顔部品の位置が顔領域の下の方にあれば、子供である」等のルールがあげられる。前記全身領域属性判定ルールは、例えば、「服の領域に赤・ピンク等の色が多ければ女性であり、服の領域に青等の色が多ければ男性である」、「ズボンを履いていれば男性であり、スカートを履いていれば女性である」等のルールがあげられる。また、例えば、前記属性の判定は、前記属性判定モデルおよび前記属性判定ルールの両方を参照して行ってもよい。この場合、例えば、図１Ｃに示すように、データ記憶手段１４０に、属性判定ルール２４２が格納され、属性判定手段１２２が属性判定ルール２４２に接続されていてもよい。属性判定ルール２４２は、頭部領域属性判定ルール２４２ａと、顔領域属性判定ルール２４２ｂと、全身領域属性判定ルール２４２ｃとを含む。

本実施形態の属性判定方法では、前述のとおり、前記その他の領域として、人物の全身を検出しているが、本発明は、この例に限定されない。前記その他の領域は、例えば、上半身、下半身、髪型等の髪領域、目・鼻・口等の顔部品、バッグ等の持ち物、服装（帽子・靴・靴下等）、ネックレス等のアクセサリー等の人物の全身の一部でもよい。なお、前記全身の一部が上半身の場合、前記上半身は、例えば、頭部領域または顔領域を含む上半身でもよい。前記全身の一部を用いる場合、全身の一部を検出するための検出モデルおよび全身の一部の属性を判定するための属性判定モデルを参照することが好ましい。

［実施形態２］
本実施形態のプログラムは、前述の属性判定方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、記録媒体に記録されてもよい。前記記録媒体は、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

［実施形態３］
図４に、本発明の属性判定装置を用いた属性判定システムの一例の構成を示す。図４に示すとおり、この属性判定システムは、画像取得手段１１１ａ、１１１ｂ、１１１ｃと、出力手段１３１ａ、１３１ｂ、１３１ｃと、通信インターフェイス１５０ａ、１５０ｂ、１５０ｃと、サーバ１７０とを備える。画像取得手段１１１ａおよび出力手段１３１ａは、通信インターフェイス１５０ａに接続されている。画像取得手段１１１ａ、出力手段１３１ａおよび通信インターフェイス１５０ａは、場所Ｘに設置されている。画像取得手段１１１ｂおよび出力手段１３１ｂは、通信インターフェイス１５０ｂに接続されている。画像取得手段１１１ｂ、出力手段１３１ｂおよび通信インターフェイス１５０ｂは、場所Ｙに設置されている。画像取得手段１１１ｃおよび出力手段１３１ｃは、通信インターフェイス１５０ｃに接続されている。画像取得手段１１１ｃ、出力手段１３１ｃおよび通信インターフェイス１５０ｃは、場所Ｚに設置されている。そして、通信インターフェイス１５０ａ、１５０ｂ、１５０ｃと、サーバ１７０とが、回線網１６０を介して接続されている。

この属性判定システムでは、サーバ１７０側に、属性判定領域検出手段および属性判定手段を有し、サーバ１７０に属性判定領域検出モデルおよび属性判定モデルが格納される。例えば、場所Ｘで画像取得手段１１１ａを用いて取得された判定対象人物画像を、サーバ１７０に送信し、サーバ１７０側で、頭部領域、顔領域、および、その他の領域からなる群から選択される少なくとも２つの属性判定領域を検出し、前記少なくとも２つの属性判定領域の画像から属性を判定する。また、検出された属性判定領域および判定された属性のうち、少なくとも前記属性を、出力手段１３１ａにより出力する。また、前記サーバには、例えば、前記属性判定領域判定ルールおよび前記属性判定ルールが格納されていてもよい。

本実施形態の属性判定システムによれば、画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインによる属性判定領域の検出および属性の判定が可能である。そのため、例えば、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、例えば、各設置場所が離れている場合でも、一箇所での集中管理や遠隔操作が可能となる。本実施形態の属性判定システムは、例えば、クラウドコンピューティングに対応したものでもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

この出願は、２０１０年１０月２２日に出願された日本出願特願２０１０−２３７９４５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、例えば、顔の特徴的な部分が隠れている場合でも、人物の検出精度が高く、人物の属性判定が可能である属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供できる。その結果、例えば、既存の監視カメラ等を利用して人物の属性判定ができ、本発明は、幅広い用途に適用できる。

１０ａ、１０ｂ、１０ｃ、１０ｄ 学習用画像
１１ａ、１１ｂ、１１ｃ、１１ｄ ラベリング
２１、２１ｅ、３１ａ、３１ｂ、３１ｃ 頭部領域
２１ａ 頭部領域（Ｂ）（顔領域２２を所定の比率で変形した領域）
２１ｂ 頭部領域（Ｄ）（全身領域２３を所定の比率で変形した領域）
２２、３２ａ、３２ｂ、３２ｄ 顔領域
２３、３３ｂ、３３ｃ、３３ｄ 全身領域（その他の領域）
２４ 頭部領域（Ａ）と頭部領域（Ｂ）とが重なった領域（Ｃ）
１１１、１１１ａ、１１１ｂ、１１１ｃ 画像取得手段
１２０ 演算手段
１２１ 属性判定領域検出手段
１２２ 属性判定手段
１３１、１３１ａ、１３１ｂ、１３１ｃ 出力手段
１４０ データ記憶手段
１４１ 属性判定領域検出モデル
１４１ａ 頭部領域検出モデル
１４１ｂ 顔領域検出モデル
１４１ｃ 全身領域検出モデル
１４２ 属性判定モデル
１４２ａ 頭部領域属性判定モデル
１４２ｂ 顔領域属性判定モデル
１４２ｃ 全身領域属性判定モデル
１５０ａ、１５０ｂ、１５０ｃ 通信インターフェイス
１６０ 回線網
１７０ サーバ
２４１ 属性判定領域判定ルール
２４１ａ 頭部領域判定ルール
２４１ｂ 顔領域判定ルール
２４１ｃ 全身領域判定ルール
２４２ 属性判定ルール
２４２ａ 頭部領域属性判定ルール
２４２ｂ 顔領域属性判定ルール
２４２ｃ 全身領域属性判定ルール

Claims (9)

1. 判定対象人物画像を取得する画像取得工程と、
   前記判定対象人物画像から、頭部領域、顔領域、および全身領域からなる群から選択される少なくとも２つの属性判定領域を検出する属性判定領域検出工程と、
   前記少なくとも２つの属性判定領域の画像から属性を判定する属性判定工程と
   を含み、
   前記属性判定工程において、前記少なくとも二つの属性判定領域の画像の属性を統合して属性を判定し、
   前記画像の属性の統合において、前記少なくとも二つの属性判定領域が同一人物に属するか否かを、いずれかの属性判定領域と、前記いずれかの属性判定領域以外の属性判定領域との重なり度を用いて判定することを特徴とする属性判定方法。
2. 前記画像の属性の統合において、前記少なくとも二つの属性判定領域が同一人物に属するか否かを、下記式（３）で表される重なり度を用いて判定することを特徴とする、請求項１記載の属性判定方法。
   
   重なり度＝（２×Ｘ×Ｙ）／（Ｘ＋Ｙ） （３）
   
   Ｘ：いずれかの属性判定領域の面積に対する、前記いずれかの属性判定領域と前記いずれかの属性判定領域以外の属性判定領域を所定の比率で変形した領域とが重なった領域の面積の割合
   Ｙ：前記所定の比率で変形した領域の面積に対する、前記重なった領域の面積の割合
   
3. 前記重なり度が予め設定された閾値以上の値である場合に、前記少なくとも二つの属性判定領域が、同一人物に属すると判定することを特徴とする、請求項２記載の属性判定方法。
4. 判定対象人物画像を取得する画像取得手段と、
   前記判定対象人物画像から、頭部領域、顔領域、および全身領域からなる群から選択される少なくとも２つの属性判定領域を検出する属性判定領域検出手段と、
   前記少なくとも２つの属性判定領域の画像から属性を判定する属性判定手段と
   を含み、
   前記属性判定手段が、前記少なくとも二つの属性判定領域の画像の属性を統合して属性を判定し、
   前記画像の属性の統合において、前記少なくとも二つの属性判定領域が同一人物に属するか否かを、いずれかの属性判定領域と、前記いずれかの属性判定領域以外の属性判定領域との重なり度を用いて判定することを特徴とする属性判定装置。
5. 前記画像の属性の統合において、前記少なくとも二つの属性判定領域が同一人物に属するか否かを、下記式（３）で表される重なり度を用いて判定することを特徴とする、請求項４記載の属性判定装置。
   
   重なり度＝（２×Ｘ×Ｙ）／（Ｘ＋Ｙ） （３）
   
   Ｘ：いずれかの属性判定領域の面積に対する、前記いずれかの属性判定領域と前記いずれかの属性判定領域以外の属性判定領域を所定の比率で変形した領域とが重なった領域の面積の割合
   Ｙ：前記所定の比率で変形した領域の面積に対する、前記重なった領域の面積の割合
   
6. 前記重なり度が予め設定された閾値以上の値である場合に、前記少なくとも二つの属性判定領域が、同一人物に属すると判定することを特徴とする、請求項５記載の属性判定装置。
7. 請求項１から３のいずれか一項に記載の属性判定方法をコンピュータに実行させることを特徴とする、プログラム。
8. 請求項７記載のプログラムを記録していることを特徴とするコンピュータ読み取り可能な記録媒体。
9. 判定対象人物画像を取得する画像取得手段と、
   前記判定対象人物画像から、頭部領域、顔領域、および全身領域からなる群から選択される少なくとも２つの属性判定領域を検出する属性判定領域検出手段と、
   前記少なくとも２つの属性判定領域の画像から属性を判定する属性判定手段と、
   属性判定結果を出力する出力手段と
   を含み、
   前記画像取得手段および前記出力手段が、システム外の通信回線網を介して、前記属性判定領域検出手段および前記属性判定手段と接続されており、
   前記属性判定手段が、前記少なくとも二つの属性判定領域の画像の属性を統合して属性を判定し、
   前記画像の属性の統合において、前記少なくとも二つの属性判定領域が同一人物に属するか否かを、いずれかの属性判定領域と、前記いずれかの属性判定領域以外の属性判定領域との重なり度を用いて判定することを特徴とする属性判定システム。

Images