JP5594791B2 - 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム - Google Patents

Description

本発明は、属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムに関する。

画像から人物を検出し、年齢や性別等の属性を判定するシステムは、テレビ会議やテレビ電話等の各種の画像通信、データベース検索、ビル監視等のセキュリティシステム、顔による照合システム等、多方面に亘り利用されている。例えば、人物の顔面中で特徴的な部分である、目、眉、鼻孔、口などの顔部分でのパターン認識をすることで、この画像に人物の顔面が写っていると判定して、画像中の人物を検出し、さらに属性を判定するという方法がある（例えば、特許文献１参照）。顔の一部を検出する方法は、まず、人物の頭部を検出して、次に顔部分を抽出するという手順で行われる。

特開平１０−３０７９２３号公報

しかしながら、顔を用いた属性の判定方法では、顔の特徴的な部分の一部分が隠れていると検出および属性の判定が困難であり、正面に近い向きの顔でしか検出および属性の判定ができないという問題がある。したがって、このような方法を適用する場合には、正面向きの顔が撮影しやすい場所にカメラを設置する必要があるが、一般的に、このような場所にカメラを設置することは困難である場合が多い。

そこで、本発明は、顔が正面付近を向いていない場合でも、人物の属性判定が可能であり、かつ、検出精度の高い属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供することを目的とする。

前記目的を達成するために、本発明の属性判定方法は、
判定対象画像を取得する画像取得工程と、
前記判定対象画像から頭部領域を検出する頭部領域検出工程と、
前記頭部の画像から属性を判定する属性判定工程と
を含むことを特徴とする。

また、本発明の属性判定装置は、
判定対象画像を取得する画像取得手段と、
前記判定対象画像から頭部領域を検出する頭部領域検出手段と、
前記頭部の画像から属性を判定する属性判定手段と
を含むことを特徴とする。

本発明のプログラムは、前記本発明の属性判定方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。

本発明の属性判定システムは、
判定対象画像を取得する画像取得手段と、
前記判定対象画像から頭部領域を検出する頭部領域検出手段と、
前記頭部の画像から属性を判定する属性判定手段と、
予め取得した頭部検出モデルおよび頭部判定ルールの少なくとも一方と、
前記頭部の画像から属性を判定するための属性判定モデルおよび属性判定ルールの少なくとも一方と、
属性判定結果を出力する出力手段と
を含み、
前記画像取得手段および前記出力手段が、システム外の通信回線網を介して、前記頭部領域検出手段、前記属性判定手段、前記頭部検出モデルおよび前記頭部判定ルールの少なくとも一方、ならびに、前記属性判定モデルおよび前記属性判定ルールの少なくとも一方と接続されていることを特徴とする。

本発明によれば、顔が正面付近を向いていない場合でも、人物の属性判定が可能であり、かつ、検出精度の高い属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供できる。

図１Ａは、本発明の属性判定方法の一例（実施形態１）を示すフローチャートである。 図１Ｂは、本発明の属性判定装置の一例（実施形態１）の構成を示すブロック図である。 図１Ｃは、前記実施形態１の属性判定装置におけるその他の例を示すブロック図である。 図２（ａ）〜（ｄ）は、本発明において、学習画像中に頭部領域（正例）を付与する、一例を説明する図である。 図３（ａ）および（ｂ）は、本発明における頭部領域検出工程の一例を説明する図である。 図４Ａは、本発明の属性判定方法のその他の例（実施形態２）を示すフローチャートである。 図４Ｂは、本発明の属性判定装置のその他の例（実施形態２）の構成を示すブロック図である。 図５Ａは、本発明の属性判定方法のさらにその他の例（実施形態３）を示すフローチャートである。 図５Ｂは、本発明の属性判定装置のさらにその他の例（実施形態３）の構成を示すブロック図である。 図６（ａ）および（ｂ）は、本発明において、頭部領域に角度の教師データを付与する、一例を説明する図である。 図７は、本発明の属性判定装置を用いた属性判定システムの一例（実施形態５）の構成を示すブロック図である。

つぎに、本発明の実施形態について説明する。なお、本発明は、下記の実施形態によってなんら限定および制限されない。なお、以下の図１から図７において、同一部分には、同一符号を付している。

［実施形態１］
図１Ａに、本実施形態における属性判定方法のフローチャートを示す。また、図１Ｂに、本実施形態における属性判定装置のブロック図を示す。図１Ｂに示すように、本実施形態の属性判定装置は、画像取得手段１１１、演算手段１２０、出力手段１３１およびデータ記憶手段１４０を主要な構成要素として含む。画像取得手段１１１は、演算手段１２０に電気的に接続されている。演算手段１２０は、出力手段１３１とデータ記憶手段１４０とに電気的に接続されている。演算手段１２０は、頭部領域検出手段１２１および属性判定手段１２２を含む。データ記憶手段１４０には、予め取得した頭部検出モデル１４１および属性判定モデル１４２が格納されている。頭部領域検出手段１２１は、頭部検出モデル１４１に接続されている。属性判定手段１２２は、属性判定モデル１４２に接続されている。

画像取得手段１１１としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、イメージスキャナ等があげられる。演算手段１２０としては、例えば、中央処理装置（ＣＰＵ）等があげられる。出力手段１３１としては、例えば、映像により出力するモニター（例えば、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ等の各種画像表示装置等）、印刷により出力するプリンター、音声により出力するスピーカー等があげられる。出力手段１３１は、任意の構成要素であり、本発明の属性判定装置に含まれていなくてもよいが、含まれていることが好ましい。データ記憶手段１４０としては、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。データ記憶手段１４０は、例えば、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。前記画像取得手段、前記演算手段、前記出力手段および前記データ記憶手段については、後述の実施形態においても同様である。

本発明において、属性は、特に限定されず、例えば、性別、年齢、人種、頭部の角度、髪の毛の長さ、帽子の有無、髪の毛の色、ヘアスタイル、顔の向き、表情、眼鏡やサングラスの有無、マスクの有無、髭の有無等があげられる。

本実施形態の属性判定方法は、例えば、図１Ｂの属性判定装置を用いて、つぎのようにして実施する。

まず、前記属性判定方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。具体的には、まず、学習用画像の頭部領域を正例とし、非頭部領域を負例として、機械学習（パターン認識）で学習することで頭部検出モデル１４１を作成する。具体的には、例えば、図２（ａ）、（ｂ）、（ｃ）および（ｄ）に示すように、まず、学習用画像１０ａ（正面向きの男性）、１０ｂ（正面向きの女性）、１０ｃ（横向きの男性）および１０ｄ（後ろ向きの女性）の頭部に、ラベリング１１ａ、１１ｂ、１１ｃおよび１１ｄを付すことで、前記頭部領域を付与する。前記頭部領域の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。検出精度を考慮すると、前記学習用画像の数は多いほど好ましく、多数用意した学習用画像から、頭部検出モデルを作成することが好ましい。

つぎに、前記頭部領域に属性判定用教師データを付与し、前記属性判定用教師データが付与された頭部領域を多数用いて、機械学習（パターン認識）により、属性判定モデル１４２を作成する。本実施形態の属性判定方法において、前記属性判定用教師データとしては、例えば、性別、年齢等の教師データがあげられる。具体的には、例えば、図２（ａ）に示す学習用画像の前記頭部領域には、「性別：男性」の属性判定用教師データを付与する。また、例えば、図２（ｂ）に示す学習用画像の前記頭部領域には、「性別：女性」の属性判定用教師データを付与する。さらに、例えば、図２（ａ）に示す学習用画像には「年齢：３０歳」、図２（ｂ）に示す学習用画像には「年齢：２０歳」等の年齢の属性判定用教師データを付与する。また、属性判定に向きの項目を用いる場合、例えば、１度単位での向きデータ（例えば、左向き６０°）、８方向に準じた向きデータ（例えば、０°、４５°、９０°・・・）等の前記頭部の向きの属性判定用教師データを付与することもできる。属性の判定を、機械学習により学習で行う場合には、年齢のように連続した値を推定する方法（回帰（Ｒｅｇｒｅｓｓｉｏｎ））と、男性／女性のようにカテゴリを推定する方法（識別（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ））の両方を使用できる。前記性別および前記年齢等の属性判定用教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。また、学習を用いずに、人間がルールを決めて属性を決めるという方法（属性判定ルール）で行うこともできる。

つぎに、図１Ａのフローチャートに示すように、以下のステップを実施する。まず、画像取得手段１１１により、判定対象画像を取得する（ステップＳ１１）。

つぎに、頭部領域検出手段１２１により、頭部領域の教師データが付与された学習用画像を多数用いて学習することで予め作成した頭部検出モデル１４１を参照して、前記判定対象画像から頭部領域データを検出する（ステップＳ２１）。具体的には、例えば、図３（ａ）に示すように、検出したい頭部領域のサイズを指定し、予め作成した頭部検出モデル１４１を参照して、判定対象画像２０の左上端から水平方向に、画像パッチを順に下の行に向かって移動させて探索する、いわゆるラスタスキャンで頭部領域を探索する。これと共に、例えば、図３（ｂ）に示すように、判定対象画像２０の取得サイズも変更して頭部領域を探索することで、前記頭部領域のデータを検出する。このようにして、前記頭部領域のデータを検出すれば、頭部領域の位置あわせ（アライメント）も同時に行うことができて好ましい。なお、頭部の検出は、この例には限定されず、例えば、前記判定対象画像中の円形の物体を、頭部領域として検出し、検出された頭部領域を位置合わせ（アライメント）して行ってもよい。前記アラインメントは、例えば、前記演算手段に含まれるアライメント手段（図示せず）により行ってもよい。

つぎに、属性判定手段１２２により、属性判定用教師データが付与された頭部領域を多数用いて学習することで予め作成した属性判定モデル１４２を参照して、前記頭部の画像から属性を判定する（ステップＳ２２）。判定項目としては、例えば、性別、年齢、人種、頭部の角度、髪の毛の長さ、帽子の有無、髪の毛の色、ヘアスタイル、顔の向き、表情、眼鏡やサングラスの有無、マスクの有無、髭の有無等があげられる。判定項目が性別である場合は、例えば、性別度（例えば、０〜１）に基づいて判定できる。前記性別度は、頭部領域データを基に算出できる。具体的には、例えば、前記性別度が「０〜０．５未満」であれば、「女性」と判定し、前記性別度が「０．５〜１」であれば、「男性」と判定する、という基準を設定しておき、算出された性別度の値から性別を判定する。なお、性別度から性別を判定する基準は、この例に限定されず、例えば、前記性別度が「０〜０．３」であれば、「女性」と判定し、前記性別度が「０．７〜１」であれば、「男性」と判定し、前記性別度が「０．３より大きく０．７未満」であれば、「判定不能」とする、という基準等であってもよい。前記年齢等についても、例えば、所定の基準を設定して、前記頭部領域データを基に算出された値から年齢等を判定する。

つぎに、出力手段１３１により、属性の判定結果を出力する（ステップＳ３１）。判定項目は、前述のとおりである。なお、出力工程Ｓ３１は、任意の工程であり、本発明の属性判定方法に含まれていなくてもよいが、含まれていることが好ましい。

前述のように、本実施形態の属性判定方法では、頭部そのものから属性を判定するため、顔が正面付近を向いていない場合でも、人物の検出や属性判定が可能である。また、本実施形態の属性判定方法では、前述のとおり、頭部そのものから属性を判定するため、例えば、顔が見えていない場合であっても、属性を判定できる。この結果、例えば、画像取得手段（例えば、監視カメラ等）の設置場所の選択の幅を広げることができ、例えば、既存の監視カメラ等の利用も可能である。また、属性の判定に顔ではなく頭部そのものを用いているため、正面に近い画像でなければ属性の判定が困難である顔の場合とは異なり、例えば、後方から撮影した画像等、あらゆる方向から撮影した画像（フレーム）から属性の判定が可能である。このため、例えば、多くのフレームを撮影しなくともよくなる。また、あらゆる方向から撮影した画像を属性の判定に用いることができるため、例えば、得られる情報の種類が豊富であり、総合的に、より高精度に属性の判定が可能である。これらの効果については、後述の実施形態においても同様である。

なお、本実施形態の属性判定方法における前記頭部領域検出工程（図１ＡのＳ２１）では、前記頭部検出モデルを参照して、前記判定対象画像から頭部領域を検出しているが、本発明は、この例に限定されない。前記頭部領域の検出は、例えば、頭部判定ルールを参照して行ってもよい。前記頭部判定ルールとしては、例えば、「判定対象画像中の円形の物体は頭部領域である」等のルールがあげられる。また、例えば、前記頭部領域の検出は、前記頭部検出モデルおよび前記頭部判定ルールの両方を参照して行ってもよい。この場合には、例えば、図１Ｃに示すように、データ記憶手段１４０に、頭部判定ルール２４１が格納され、頭部領域検出手段１２１が頭部判定ルール２４１に接続されていてもよい。

また、本実施形態の属性判定方法における前記属性判定工程（図１ＡのＳ２２）では、前記属性判定モデルを参照して、前記頭部の画像から属性を判定しているが、本発明は、この例に限定されない。前記属性の判定は、例えば、属性判定ルールを参照して行ってもよい。前記属性判定ルールとしては、例えば、「髪が長ければ女性であり、髪が短ければ男性である」等のルールがあげられる。また、例えば、前記属性の判定は、前記属性判定モデルおよび前記属性判定ルールの両方を参照して行ってもよい。この場合には、例えば、図１Ｃに示すように、データ記憶手段１４０に、属性判定ルール２４２が格納され、属性判定手段１２２が属性判定ルール２４２に接続されていてもよい。

［実施形態２］
図４Ａに、本実施形態における属性判定方法のフローチャートを示す。また、図４Ｂに、本実施形態における属性判定装置のブロック図を示す。図４Ｂに示すように、本実施形態の属性判定装置は、演算手段１２０が、全体属性判定手段１２２−１、部分検出手段１２３、部分属性判定手段１２４および統合手段１２５を含み、データ記憶手段１４０には、全体属性判定モデル１４２−１および部分属性判定モデル１４４が格納されている。全体属性判定手段１２２−１は、全体属性判定モデル１４２−１に接続されている。部分属性判定手段１２４は、部分属性判定モデル１４４に接続されている。これら以外の構成は、図１Ｂに示す前記実施形態１の属性判定装置と同様である。

本発明において、部分とは、頭部領域に含まれる部分であり、例えば、髪の毛（髪の領域、長さ等）、目、鼻、口、眉、耳、被り物（帽子、フード等）、眼鏡、サングラス、マスク等があげられる。前記目、前記眉、前記耳については、例えば、左右それぞれを別々の部分としてもよいし、左右両方合わせて一つの部分としてもよい。

本実施形態の属性判定方法は、例えば、図４Ｂの属性判定装置を用いて、つぎのようにして実施する。本実施形態の属性判定方法では、前記部分が髪の毛である場合を例にとり、説明する。ただし、本発明の属性判定方法は、この例に限定されない。

まず、前記属性判定方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。具体的には、まず、前記実施形態１と同様にして、学習用画像を機械学習（パターン認識）で学習することで、頭部検出モデル１４１を作成する。つぎに、前記実施形態１における属性判定モデル１４２の作成と同様にして、全体属性判定モデル１４２−１を作成する。

一方、前記学習用画像の頭部領域から、髪の毛についての部分属性判定モデル１４４を作成する。具体的には、例えば、まず、図２（ａ）に示す学習用画像の髪の毛の領域を切り抜いた画像には、「性別：男性」の教師データを付与し、図２（ｂ）に示す学習用画像の髪の毛の領域を切り抜いた画像には、「性別：女性」の教師データを付与する。前記教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで作成される。つぎに、これらの前記教師データが付与された髪の毛の領域を切り抜いた画像を多数用いて、前記髪の毛についての部分属性判定モデル１４４を作成する。

つぎに、図４Ａのフローチャートに示すように、以下のステップを実施する。まず、画像取得手段１１１により、判定対象画像を取得する（ステップＳ１１）。

つぎに、前記実施形態１と同様にして、頭部領域検出手段１２１により、予め作成した頭部検出モデル１４１を参照して、前記判定対象画像から頭部領域データを検出する（ステップＳ２１）。前記頭部領域データを検出した後に、部分検出手段１２３により、前記検出した頭部領域データに含まれる髪の毛の領域を検出する（ステップＳ２３）。

つぎに、全体属性判定手段１２２−１により、予め取得した全体属性判定モデル１４２−１を参照して、前記実施形態１における属性判定工程Ｓ２２と同様にして、前記頭部の画像から属性を判定する（ステップＳ２２−１）。判定項目が性別である場合は、例えば、前記実施形態１と同様に、性別度（例えば、０〜１）に基づいて判定できる。

前記頭部の画像からの属性判定と同時または逐次に、部分属性判定手段１２４により、予め取得した部分属性判定モデル１４４を参照して、前記髪の毛の領域における属性を判定する（ステップＳ２４）。判定項目が性別である場合は、例えば、当該部分（髪の毛の領域）における性別度（例えば、０〜１）に基づいて判定できる。

つぎに、統合手段１２５により、全体属性判定工程Ｓ２２−１から得られる判定結果と、部分属性判定工程Ｓ２４から得られる判定結果とを統合する（ステップＳ２５）。統合工程Ｓ２５において、判定項目（判定結果）の統合は、例えば、下記式（１）により行うことができる。下記式（１）において、「ｎ」は、判定対象画像（フレーム）数を示す。

前記判定項目が性別である場合には、判定結果の統合は、例えば、下記式（２）により行うことができる。

前記式（２）において、「全体の性別度」とは、全体属性判定工程Ｓ２２−１において算出された性別度である。「部分の性別度」とは、部分属性判定工程Ｓ２４において算出された性別度である。「全体の性別における信頼度」は、例えば、０より大きく１以下で表すことができ、全体属性判定工程Ｓ２２−１において算出された性別度の信頼性の高低を示す。また、「部分の性別における信頼度」は、例えば、０より大きく１以下で表すことができ、部分属性判定工程Ｓ２４において算出された性別度の信頼性の高低を示す。全体の信頼度および部分の信頼度は、使用するモデルの性能に応じて決定してもよい。例えば、全体の画像から性別を判定すると７０％の精度であるが、髪の毛を抽出した画像から性別を判定すると８０％の精度が得られるという場合には、後者の信頼度を高くすることで、高精度での判定が可能となる。

また、例えば、判定対象画像全体が暗い条件では頭部領域全体が濃く（暗く）なるため、女性であるにも関わらず性別度が男性寄りに算出されるような場合がある。このように、対象画像全体が暗いという条件の場合、頭部領域全体での性別の判定の信頼性が低いため、前記全体の性別における信頼度を低く設定する（０に近い数値）。あるいは、例えば、判定対象の人物として、例えば、黄色人種（髪の毛が黒色の人種）等が多い地域において、頭部領域付近の背景が黒である条件では、短髪であるにも拘らず長髪であるように写るため性別度が女性寄りに算出されるような場合がある。このように、頭部領域付近の背景が黒であるという条件の場合、髪の長さ（部分）による性別の判定の信頼性が低いため、前記信頼度を低く設定する（０に近い数値）。

つぎに、出力手段１３１により、前記統合された属性の判定結果を出力する（ステップＳ３１）。前記性別の判定は、統合により算出された性別度の値から、例えば、前記実施形態１で示した判定基準に基づいて行う。

本実施形態の属性判定方法では、頭部領域全体から属性を判定し、さらに、前記頭部領域における部分から属性を判定し、これらの判定結果を統合して属性を判定するため、例えば、より高精度に属性の判定が可能である。

なお、前記式（２）は、フレームが１つである場合に用いる式であり、フレーム数が複数の場合には、判定結果の統合は、例えば、下記式（３）により行うことができる。フレーム数を増やすことで、例えば、さらに高精度に画像からの属性の判定が可能である。下記式（３）において、「ｎ」は、フレーム数を示す。

また、本実施形態の属性判定方法における前記部分属性判定工程（図４ＡのＳ２４）では、前記部分属性判定モデルを参照して、前記部分における画像からの属性を判定しているが、本発明は、この例に限定されない。前記部分における属性の判定は、例えば、部分属性判定ルールを参照して行ってもよい。前記部分属性判定ルールとしては、例えば、「髪が長ければ女性であり、髪が短ければ男性である」等のルールがあげられる。前記部分属性判定ルールは、次のようにして準備できる。例えば、図２（ａ）に示す学習用画像の前記頭部領域には、「髪の長さ：短い」の教師データを、また、図２（ｂ）に示す学習用画像の前記頭部領域には、「髪の長さ：長い」の教師データを付与し、髪の長さ推定モデルを作成し、髪の長さ推定モデルに基づき、髪の長さを推定した後、髪の長さから、例えば、「短い：男性」「長い：女性」というように、性別を判定するルールを作成できる。また、例えば、前記部分における属性の判定は、前記部分属性判定モデルおよび前記部分属性判定ルールの両方を参照して行ってもよい。この場合には、例えば、前記データ記憶手段に、前記部分属性判定ルールが格納され、前記部分属性判定手段が前記部分属性判定ルールに接続されていてもよい。

［実施形態３］
図５Ａに、本実施形態における属性判定方法のフローチャートを示す。また、図５Ｂに、本実施形態における属性判定装置のブロック図を示す。図５Ｂに示すように、本実施形態の属性判定装置は、演算手段１２０が、角度に基づかない属性判定手段１２２−２、角度判定手段１２６、角度に基づく属性判定手段１２７および統合手段１２８を含み、データ記憶手段１４０には、角度に基づかない属性判定モデル１４２−２、角度判定モデル１４６および角度に基づく属性判定モデル１４７が格納されている。角度に基づかない属性判定手段１２２−２は、角度に基づかない属性判定モデル１４２−２に接続されている。角度判定手段１２６は、角度判定モデル１４６に接続されている。角度に基づく属性判定手段１２７は、角度に基づく属性判定モデル１４７に接続されている。これら以外の構成は、図１Ｂに示す前記実施形態１の属性判定装置と同様である。

本実施形態の属性判定方法は、例えば、図５Ｂの属性判定装置を用いて、つぎのようにして実施する。

まず、前記属性判定方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。具体的には、まず、前記実施形態１と同様にして、学習用画像を機械学習（パターン認識）で学習することで、頭部検出モデル１４１を作成する。つぎに、前記実施形態１における属性判定モデル１４２の作成と同様にして、頭部の角度と無関係に頭部画像から属性を判定する、角度に基づかない属性判定モデル１４２−２を作成する。

一方、前記学習用画像の頭部領域から、その頭部領域の角度についての角度判定モデル１４６を作成する。具体的には、例えば、図６（ａ）に示すように、正面方向（鼻の方向）を０°として反時計回りに角度が大きくなるように設定する場合、少し左を向いた人物を写した学習用画像の前記頭部領域に、「角度：１０°」の教師データを付与する。前記角度の教師データが付与された頭部領域を多数用いて、角度判定モデル１４６を作成する。さらに、前記角度の教師データが付与された頭部領域に、例えば、「性別：男性」等の教師データを付与する。したがって、例えば、前記頭部領域には、「角度：１０°、性別：男性」等の教師データが付与される。前記性別等の教師データが付与された頭部画像を多数用いて、角度に基づく属性判定モデル１４７を作成する。前記角度および前記性別等の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで作成される。複数の角度の学習用画像の頭部領域について、それぞれ、角度判定モデルおよび角度に基づく属性判定モデルを作成しておくことが好ましい。前記角度は、首を上下に振る方向での角度で規定してもよいし、首を左右に振る方向での角度で規定してもよい。

つぎに、図５Ａのフローチャートに示すように、以下のステップを実施する。まず、画像取得手段１１１により、判定対象画像を取得する（ステップＳ１１）。

つぎに、前記実施形態１と同様にして、頭部領域検出手段１２１により、予め作成した頭部検出モデル１４１を参照して、前記判定対象画像から頭部領域データを検出する（ステップＳ２１）。

つぎに、頭部の角度と無関係に頭部画像から属性を判定する、角度に基づかない属性判定手段１２２−２により、予め取得した角度に基づかない属性判定モデル１４２−２を参照して、前記実施形態１における属性判定工程Ｓ２２と同様にして、前記頭部の画像から属性を判定する（ステップＳ２２−２）。判定項目が性別である場合は、前記実施形態１と同様に、例えば、性別度（例えば、０〜１）に基づいて判定できる。

前記角度と無関係の頭部画像からの属性の判定と同時または逐次に、角度判定手段１２６により、予め取得した角度判定モデル１４６を参照して、前記検出した頭部領域データから、予め規定した特定の角度の頭部画像を抽出する（ステップＳ２６）。例えば、頭部が正面向きに近い画像のみで判定を行う場合には、特定の角度領域として、０°±１０°等に規定すればよい。ついで、角度に基づく属性判定手段１２７により、予め取得した角度に基づく属性判定モデル１４７を参照して、前記抽出された予め規定した特定の角度の頭部画像の属性を判定する（ステップＳ２７）。判定項目が性別である場合は、例えば、前記と同様に性別度（例えば、０〜１）に基づいて判定できる。

つぎに、統合手段１２８により、角度に基づかない属性判定工程Ｓ２２−２から得られる判定結果と、角度に基づく属性判定工程Ｓ２７から得られる判定結果とを統合する（ステップＳ２８）。統合工程Ｓ２８において、判定項目（判定結果）の統合は、例えば、前記式（１）により行うことができる。判定項目が性別である場合には、判定結果の統合は、例えば、下記式（４）により行うことができる。

前記式（４）において、「全体の性別度」とは、角度に基づかない属性判定工程Ｓ２２−２において算出された性別度である。「全体の性別における信頼度」は、例えば、０より大きく１以下で表すことができ、角度に基づかない属性判定工程Ｓ２２−２において算出された性別度の信頼性の高低を示す。「角度の性別度」とは、角度に基づく属性判定工程Ｓ２７において算出された性別度である。「角度の性別における信頼度」は、例えば、０より大きく１以下で表すことができ、角度に基づく属性判定工程Ｓ２７において算出された性別度の信頼性の高低を示す。全体の信頼度および角度の信頼度は、使用するモデルの性能に応じて決定してもよい。例えば、全体の画像から性別を判定すると７０％の精度であるが、特定の角度の画像から性別を判定すると８０％の精度が得られるという場合には、後者の信頼度を高くすることで、高精度での判定をすることが可能となる。

つぎに、出力手段１３１により、前記統合された属性の判定結果を出力する（ステップＳ３１）。前記性別の判定は、統合により算出された性別度の値から、例えば、前記実施形態１で示した判定基準に基づいて行う。

本実施形態の属性判定方法では、頭部の角度と無関係に頭部画像から属性を判定し、さらに、前記特定の角度における属性を判定し、これらの判定結果を統合して属性を判定するため、例えば、より高精度に属性の判定が可能である。

なお、前記式（４）は、判定対象画像（フレーム）が１つである場合に用いる式であり、フレーム数が複数の場合には、判定結果の統合は、例えば、下記式（５）により行うことができる。フレーム数を増やすことで、例えば、さらに高精度に画像からの属性の判定が可能である。下記式（５）において、「ｎ」は、フレーム数を示す。

また、本実施形態の属性判定方法における前記角度に基づく属性判定工程（図５ＡのＳ２７）では、前記角度に基づく属性判定モデルを参照して、前記角度における画像からの属性を判定しているが、本発明は、この例に限定されない。前記角度における属性の判定は、例えば、角度に基づく属性判定ルールを参照して行ってもよい。前記角度に基づく属性判定ルールとしては、例えば、「側面からの頭部領域において、のど仏があれば男性であり、無ければ女性である」等のルールがあげられる。また、例えば、前記角度における属性の判定は、前記角度に基づく属性判定モデルおよび前記角度に基づく属性判定ルールの両方を参照して行ってもよい。この場合には、例えば、前記データ記憶手段に、前記角度に基づく属性判定ルールが格納され、前記角度に基づく属性判定手段が前記角度に基づく属性判定ルールに接続されていてもよい。

なお、本実施形態の属性判定方法では、前述のように、前記頭部領域の角度を、角度の数値（０°〜３６０°）で表して、角度の教師データを付与して角度判定モデルを作成し、角度判定工程において前記頭部領域の角度を判定している。このような角度の表示方法では、例えば、正面方向（角度：０°）から見て、左に１°向いている（角度：１°）場合と、右に１°向いている（角度：３５９°）場合とでは、正面方向（角度：０°）に対する角度差が２°である（例えば、誤差範囲である）にも関わらず、大きな差（角度差：３５８°）があるとの誤認識が生じる場合がある。

このような誤認識を回避するために、本発明の属性判定方法では、前記頭部領域の角度を、（ｘ，ｙ）座標で表すことが好ましい。具体的には、例えば、図６（ｂ）に示すように、前記頭部領域の角度を、体軸方向であるｚ軸に垂直であり、かつ、互いに垂直に交わるｘ軸とｙ軸を含むｘｙ平面において、ｘ軸とy軸との交点を中心とする半径１の円の円周上の座標で表わす。人物の正面方向（鼻の方向）の角度の数値を０°として、座標ａ１（１，０）と表す場合、例えば、角度が１０°のときは、（ｃｏｓ１０°、ｓｉｎ１０°）と表わすことができる。前記８方向に準じた向きは、例えば、４５°：ａ２（１／√２，１／√２）、９０°：ａ３（０，１）、１３５°：ａ４（−１／√２，１／√２）、１８０°：ａ５（−１，０）、２２５°：ａ６（−１／√２，−１／√２）、２７０°：ａ７（０，−１）、３１５°：ａ８（１／√２，−１／√２）のように表すことができる。また、前記角度を座標で表すことにより、例えば、前記した角度の間の角度等の任意の角度も認識できる。このようにして、前記頭部領域の角度を座標で表して、前記学習用画像の頭部領域に角度の教師データを付与し、前記角度の教師データが付与された頭部領域を多数用いて、前記角度判定モデルを作成する。この角度判定モデルを参照して、前記角度判定工程において前記頭部領域の角度を判定する。

本発明の属性判定方法では、例えば、前記部分属性判定工程および前記角度に基づく属性判定工程の両方を組み合わせて実施してもよい。その場合、例えば、前記部分属性判定工程から得られる判定結果および前記角度に基づく属性判定工程から得られる判定結果を統合して、属性を判定できる。また、本実施形態の属性判定方法では、属性として性別の判定を行っているが、例えば、属性として角度自体の判定を行うこともできる。

［実施形態４］
本実施形態のプログラムは、前述の属性判定方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

［実施形態５］
図７に、本発明の属性判定装置を用いた属性判定システムの一例の構成を示す。図７に示すとおり、この属性判定システムは、画像取得手段１１１ａ、１１１ｂ、１１１ｃと、出力手段１３１ａ、１３１ｂ、１３１ｃと、通信インターフェイス１５０ａ、１５０ｂ、１５０ｃと、サーバ１７０とを備える。画像取得手段１１１ａおよび出力手段１３１ａは、通信インターフェイス１５０ａに接続されている。画像取得手段１１１ａ、出力手段１３１ａおよび通信インターフェイス１５０ａは、場所Ｘに設置されている。画像取得手段１１１ｂおよび出力手段１３１ｂは、通信インターフェイス１５０ｂに接続されている。画像取得手段１１１ｂ、出力手段１３１ｂおよび通信インターフェイス１５０ｂは、場所Ｙに設置されている。画像取得手段１１１ｃおよび出力手段１３１ｃは、通信インターフェイス１５０ｃに接続されている。画像取得手段１１１ｃ、出力手段１３１ｃおよび通信インターフェイス１５０ｃは、場所Ｚに設置されている。そして、通信インターフェイス１５０ａ、１５０ｂ、１５０ｃと、サーバ１７０とが、回線網１６０を介して接続されている。

この属性判定システムでは、サーバ１７０側に、頭部領域検出手段および属性判定手段を有し、サーバ１７０に頭部検出モデルおよび属性判定モデルが格納される。例えば、場所Ｘで画像取得手段１１１ａを用いて取得された判定対象画像を、サーバ１７０に送信し、サーバ１７０側で、頭部領域を検出し、前記頭部の画像から属性を判定する。また、検出された頭部領域および判定された属性のうち、少なくとも前記属性を、出力手段１３１ａにより出力する。また、前記サーバには、例えば、前記頭部判定ルールおよび前記属性判定ルールが格納されていてもよい。

本実施形態の属性判定システムによれば、画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインによる頭部領域の検出および属性の判定が可能である。そのため、例えば、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、例えば、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。本実施形態の属性判定システムは、前述の実施形態２の部分属性判定および実施形態３の角度に基づく属性判定に対応したものであってもよい。また、本本実施形態の属性判定システムは、例えば、クラウドコンピューティングに対応したものであってもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

この出願は、２０１０年６月３０日に出願された日本出願特願２０１０−１４９９３５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、顔が正面付近を向いていない場合でも、人物の属性判定が可能であり、かつ、検出精度の高い属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供できる。その結果、例えば、既存の監視カメラ等を利用して人物の属性判定ができ、本発明は、幅広い用途に適用できる。

１０ａ、１０ｂ、１０ｃ、１０ｄ 学習用画像
１１ａ、１１ｂ、１１ｃ、１１ｄ ラベリング
２０ 判定対象画像
１１１、１１１ａ、１１１ｂ、１１１ｃ 画像取得手段
１２０ 演算手段
１２１ 頭部領域検出手段
１２２ 属性判定手段
１２２−１ 全体属性判定手段
１２２−２ 角度に基づかない属性判定手段
１２３ 部分検出手段
１２４ 部分属性判定手段
１２５、１２８ 統合手段
１２６ 角度判定手段
１２７ 角度に基づく属性判定手段
１３１、１３１ａ、１３１ｂ、１３１ｃ 出力手段
１４０ データ記憶手段
１４１ 頭部検出モデル
１４２ 属性判定モデル
１４２−１ 全体属性判定モデル
１４２−２ 角度に基づかない属性判定モデル
１４４ 部分属性判定モデル
１４６ 角度判定モデル
１４７ 角度に基づく属性判定モデル
１５０ａ、１５０ｂ、１５０ｃ 通信インターフェイス
１６０ 回線網
１７０ サーバ
２４１ 頭部判定ルール
２４２ 属性判定ルール

Claims (19)

1. 判定対象画像を取得する画像取得工程と、
   前記判定対象画像から頭部領域を検出する頭部領域検出工程と、
   前記頭部の画像から属性を判定する属性判定工程と
   を含み、
   前記属性判定工程が、前記頭部領域全体から属性を判定する全体属性判定工程と、
   前記頭部領域に含まれる部分を検出する部分検出工程と、
   前記部分から属性を判定する部分属性判定工程と、
   前記全体属性判定工程と前記部分属性判定工程とから得られる判定結果を統合する統合工程とを含み、
   前記統合工程において、判定項目の統合を前記判定項目の信頼性の高低を用いて行うことを特徴とする属性判定方法。
2. さらに、
   前記頭部領域検出工程において検出された頭部領域を位置合わせする、アライメント工程を含むことを特徴とする、請求項１記載の属性判定方法。
3. 前記頭部領域検出工程において、予め取得した頭部検出モデルおよび頭部判定ルールの少なくとも一方を参照して、前記判定対象画像から頭部領域を検出し、
   前記属性判定工程において、予め取得した属性判定モデルおよび属性判定ルールの少なくとも一方を参照して、前記頭部の画像から属性を判定することを特徴とする、
   請求項１または２記載の属性判定方法。
4. 前記部分属性判定工程において、予め取得した部分属性判定モデルおよび部分属性判定ルールの少なくとも一方を参照して、前記部分の属性を判定することを特徴とする、請求項１から３のいずれか一項に記載の属性判定方法。
5. 前記属性判定工程が、前記頭部の角度と無関係に頭部画像から属性を判定する、角度に基づかない属性判定工程と、
   前記頭部領域検出工程において検出された頭部領域の角度を判定する角度判定工程と、
   予め規定した特定の角度における画像から属性を判定する、角度に基づく属性判定工程と、
   前記角度に基づかない属性判定工程と前記角度に基づく属性判定工程とから得られる判定結果を統合する統合工程とを含むことを特徴とする、請求項１から４のいずれか一項に記載の属性判定方法。
6. 前記角度に基づく属性判定工程において、予め取得した角度に基づく属性判定モデルおよび角度に基づく属性判定ルールの少なくとも一方を参照して、前記角度に基づく属性を判定することを特徴とする、請求項５記載の属性判定方法。
7. 前記角度判定工程において、頭部領域の角度を、体軸方向であるｚ軸に垂直であり、かつ、互いに垂直に交わるｘ軸とｙ軸を含むｘｙ平面において、ｘ軸とy軸との交点を中心とする半径１の円の円周上の座標で表わすことを特徴とする、請求項５または６記載の属性判定方法。
8. 前記統合工程において、判定項目の統合を下記式（１）によって行うことを特徴とする、請求項１から７のいずれか一項に記載の属性判定方法。
   

   
9. 判定対象画像を取得する画像取得手段と、
   前記判定対象画像から頭部領域を検出する頭部領域検出手段と、
   前記頭部の画像から属性を判定する属性判定手段と
   を含み、
   前記属性判定手段が、前記頭部領域全体から属性を判定する全体属性判定手段と、
   前記頭部領域に含まれる部分を検出する部分検出手段と、
   前記部分から属性を判定する部分属性判定手段と、
   前記全体属性判定手段と前記部分属性判定手段とにより得られる判定結果を統合する統合手段とを含み、
   前記統合手段が、判定項目の統合を前記判定項目の信頼性の高低を用いて行うことを特徴とする属性判定装置。
10. さらに、
    前記頭部領域検出手段により検出された頭部領域を位置合わせする、アライメント手段を含むことを特徴とする、請求項９記載の属性判定装置。
11. さらに、予め取得した頭部検出モデルおよび頭部判定ルールの少なくとも一方、ならびに、予め取得した属性判定モデルおよび属性判定ルールの少なくとも一方を含み、
    前記頭部領域検出手段が、前記頭部検出モデルおよび前記頭部判定ルールの少なくとも一方を参照して、前記判定対象画像から頭部領域を検出し、
    前記属性判定手段が、前記属性判定モデルおよび前記属性判定ルールの少なくとも一方を参照して、前記頭部の画像から属性を判定することを特徴とする、
    請求項９または１０記載の属性判定装置。
12. さらに、予め取得した部分属性判定モデルおよび部分属性判定ルールの少なくとも一方を含み、
    前記部分属性判定手段が、前記部分属性判定モデルおよび前記部分属性判定ルールの少なくとも一方を参照して、前記部分の属性を判定することを特徴とする、請求項９から１１のいずれか一項に記載の属性判定装置。
13. 前記属性判定手段が、前記頭部の角度と無関係に頭部画像から属性を判定する、角度に基づかない属性判定手段と、
    前記頭部領域検出手段により検出された頭部領域の角度を判定する角度判定手段と、
    予め規定した特定の角度における画像から属性を判定する、角度に基づく属性判定手段と、
    前記角度に基づかない属性判定手段と前記角度に基づく属性判定手段とにより得られる判定結果を統合する統合手段とを含むことを特徴とする、請求項９から１２のいずれか一項に記載の属性判定装置。
14. さらに、予め取得した角度に基づく属性判定モデルおよび角度に基づく属性判定ルールの少なくとも一方を含み、
    前記角度に基づく属性判定手段が、前記角度に基づく属性判定モデルおよび前記角度に基づく属性判定ルールの少なくとも一方を参照して、前記角度に基づく属性を判定することを特徴とする、請求項１３記載の属性判定装置。
15. 前記角度判定手段が、頭部領域の角度を、体軸方向であるｚ軸に垂直であり、かつ、互いに垂直に交わるｘ軸とｙ軸を含むｘｙ平面において、ｘ軸とy軸との交点を中心とする半径１の円の円周上の座標で表わすことを特徴とする、請求項１３または１４記載の属性判定装置。
16. 前記統合手段が、判定項目の統合を下記式（１）によって行うことを特徴とする、
    請求項９から１５のいずれか一項に記載の属性判定装置。
    

    
17. 請求項１から８のいずれか一項に記載の属性判定方法をコンピュータに実行させることを特徴とする、プログラム。
18. 請求項１７記載のプログラムを記録していることを特徴とするコンピュータ読み取り可能な記録媒体。
19. 判定対象画像を取得する画像取得手段と、
    前記判定対象画像から頭部領域を検出する頭部領域検出手段と、
    前記頭部の画像から属性を判定する属性判定手段と、
    予め取得した頭部検出モデルおよび頭部判定ルールの少なくとも一方と、
    前記頭部の画像から属性を判定するための属性判定モデルおよび属性判定ルールの少なくとも一方と、
    属性判定結果を出力する出力手段と
    を含み、
    前記画像取得手段および前記出力手段が、システム外の通信回線網を介して、前記頭部領域検出手段、前記属性判定手段、前記頭部検出モデルおよび前記頭部判定ルールの少なくとも一方、ならびに、前記属性判定モデルおよび前記属性判定ルールの少なくとも一方と接続されており、
    前記属性判定手段が、前記頭部領域全体から属性を判定する全体属性判定手段と、
    前記頭部領域に含まれる部分を検出する部分検出手段と、
    前記部分から属性を判定する部分属性判定手段と、
    前記全体属性判定手段と前記部分属性判定手段とにより得られる判定結果を統合する統合手段とを含み、
    前記統合手段が、判定項目の統合を前記判定項目の信頼性の高低を用いて行うことを特徴とする属性判定システム。

Images