JP5286574B2

JP5286574B2 - オブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラム

Info

Publication number: JP5286574B2
Application number: JP2010002824A
Authority: JP
Inventors: 黎田; 慎吾安藤; 章鈴木; 秀樹小池
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-01-08
Filing date: 2010-01-08
Publication date: 2013-09-11
Anticipated expiration: 2030-01-08
Also published as: JP2011141799A

Description

本発明は、入力画像から検出認識対象であるオブジェクトを検出するとともに、そのオブジェクトの属性を認識するオブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラムに関する。

画像処理によるオブジェクト検出技術は、広く一般に普及しており、特に、近年、飛躍的に向上している。この中で、Ｈａａｒ特徴量（非特許文献１参照）と称される特徴量を用いて、従来用いられていたＮＮ（ＮｅｕｒａｌＮｅｔｗｏｒｋ）、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓ）による識別ではなく、Ａｄａｂｏｏｓｔと呼ばれる統計学習機械による識別を行うことで、性能は従来と同等で、計算時間を高速にする方法が提案されている（非特許文献２）。ここで、Ａｄａｂｏｏｓｔとは、弱識別器（ＷｅａｋＬｅａｒｎｅｒとも称する）を多数組み合わせることで、強識別器を構築できるとする理論であり、１９９６年に、Ｆｒｅｕｎｄらによって提案されているものである（非特許文献３）。さらに、非特許文献３の手法では、Ａｄａｂｏｏｓｔによるブースティングのフレームワークを用いて、大量にある積算画像を利用したＨａａｒ特徴量の中から、学習時に、有意な特徴量を選択し、それをカスケード接続することで、大幅な計算時間の短縮を可能にしている。特に、顔検出にＡｄａｂｏｏｓｔが有効な手法としてよく知られている。

一方、性別認識や年齢認識等の人の属性を認識する技術も広く一般に普及している。人の属性を認識するする手法としては、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓ）とＧａｂｏｒ特徴が知られている（例えば、非特許文献４参照）。

Ｃ．Ｐａｐａｇｅｏｒｇｉｏｕ，Ｍ．ＯｒｅｎａｎｄＴ．Ｐｏｇｇｉｏ， "ＡＧｅｎｅｒａｌＦｒａｍｅｗｏｒｋｆｏｒＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ，" ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，１９９８ｐｐ５５５−５６２，１９９８．Ｐ．ＶｉｏｌａａｎｄＭ．Ｊ．Ｊｏｎｅｓ， "Ｒｏｂｕｓｔｒｅａｌ−ｔｉｍｅｆａｃｅｄｅｔｅｃｔｉｏｎ，" ＩＪＣＶ，ｖｏｌ．５７，ｎｏ．２，ｐｐ．１３７−１５４，Ｍａｙ２００４．Ｙ．ＦｒｅｕｎｄａｎｄＲ．Ｅ．Ｓｃｈａｐｉｒｅ， "Ｅｘｐｅｒｉｍｅｎｔｓｗｉｔｈａｎｅｗｂｏｏｓｔｉｎｇａｌｇｏｒｉｔｈｍ，" ＩｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＴｈｉｒｔｅｅｎｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ１４８−１５６，１９９６．Ｅ．ＭａｋｉｎｅｎａｎｄＲ．Ｒａｉｓａｍｏ， "Ｅｖａｌｕａｔｉｏｎｏｆｇｅｎｄｅｒｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｓｗｉｔｈａｕｔｏｍａｔｉｃａｌｌｙｄｅｔｅｃｔｅｄａｎｄａｌｉｇｎｅｄｆａｃｅｓ，" ＩＥＥＥＴＰＡＭＩ，ｖｏｌ．３０，ｎｏ．３，ｐｐ．５４１−５４７，Ｍａｒ．２００８．

例えば、マーケティングの分野においては、商品をとりまく消費者の性別や人種などの情報を得ることは、その後の新商品開発において貴重なデータとなる。例えば、展示されている商品の付近を撮影しておき、この撮像画像を画像処理することによって、撮影画像に含まれる消費者の顔を検出するとともに、この顔の人物の性別を認識することで、商品ターゲットの分析に役立てることができる。
しかしながら、上述したオブジェクト検出の技術と性別認識の技術は、それぞれ手法が異なるため、独立して行う必要がある。このため、顔の検出をし、かつ、性別認識を行うためには、顔のオブジェクト検出処理と、男女の性別の認識処理とを別々に行う必要があり、処理時間が長くなる問題がある。

また、オブジェクト検出の技術と性別認識の技術が独立している場合、オブジェクト検出のための学習や特徴量の抽出処理と、性別認識のための学習や特徴量の抽出処理とが、それぞれ必要であり、利便性が悪くなってしまうという問題がある。

上述の課題を鑑み、本発明は、オブジェクトの検出および認識を行う際の処理効率を向上させることができるオブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラムを提供することを目的とする。

上述の課題を鑑み、本発明に係るオブジェクト検出認識装置は、第１の属性をもつオブジェクトを検出して識別するための第１オブジェクト検出用識別器と、前記第１の属性とは異なる第２の属性をもつ前記オブジェクトを検出して識別するための第２オブジェクト検出用識別器と、前記オブジェクトの第１の属性と第２の属性とを識別するための属性識別器とを記憶する識別器記憶手段と、入力された画像データから特徴量を取得し、当該特徴量に基づき、前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出するとともに前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出しない画像データを得た場合、当該画像データを前記第１の属性をもつオブジェクトを含む画像データとして得て、前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出するとともに前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出しない画像データを得た場合、当該画像データを前記第２の属性をもつオブジェクトを含む画像データとして得るオブジェクト検出認識手段と、前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出するとともに前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出した画像データを得た場合、前記属性識別器を用いて第１の属性と第２の属性との識別を行う属性認識手段と、を備えることを特徴とする。

また、本発明に係るオブジェクト検出認識方法は、入力された画像データから特徴量を取得する工程と、第１の属性をもつオブジェクトを検出して識別するための前記第１オブジェクト検出用識別器と、前記台１の属性とは異なる第２の属性をもつ前記オブジェクトを検出して識別するための前記第２オブジェクト検出用識別器を記憶する識別器記憶手段を参照して、前記入力された画像データから取得された特徴量に基づき、前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出するとともに前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出しない画像データを得た場合、当該画像データを前記第１の属性をもつオブジェクトを含む画像データとして得て、前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出するとともに前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出しない画像データを得た場合、当該画像データを前記第２の属性をもつオブジェクトを含む画像データとして得る工程と、前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出するとともに前記第２オブジェクト検出用識別器を用いて前記台２の属性をもつオブジェクトを検出した画像データを得た場合、前記オブジェクトの第１の属性と第２の属性とを識別するための属性識別器を用いて第１の属性と第２の属性との識別を行う工程と、を備えることを特徴とする。

また、本発明に係るプログラムは、コンピュータに、上述の各工程を実行させるためのプログラムである。

本発明によれば、男性顔検出用識別器と女性顔検出用識別器とを別々に設け、男性の顔のオブジェクト検出と女性の顔のオブジェクト検出とをともに行うことで、顔のオブジェクト検出と、男女の性別認識とが同時に行うことができる。これにより、顔検出と性別認識とを別々に行った場合に比べて、処理時間を短縮でき、処理効率を向上させることができる。
また、本発明によれば、特徴量の抽出を、髪や輪郭の情報が入る大きさの部分画像まで拡張することで、男女特有の特徴を抽出し、男女の認識を精度良く行うことができる。

本発明の第１の実施形態の顔検出及び性別認識装置の構成を示すブロック図である。Ｈａａｒ特徴の説明図である。識別器記憶部に保存される各弱識別器のデータ構造の説明図である。識別器記憶部の保存されるデータの全体の構造の説明図である。オブジェクト検出及び性別認識部での処理手順を示すフローチャートである。特徴量の計算を行う場合の切り出し画像の説明図である。積算画像の説明図である。後処理を示すフローチャートである。クラスタリングの説明図である。性別再認識部での処理手順を示すフローチャートである。

［第１実施形態］
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係るオブジェクト検出認識装置の構成を示すブロック図である。

図１に示すように、本発明の第１実施形態に係るオブジェクト検出認識装置は、識別器学習部１０１と、識別器記憶部１０２と、画像入力部１０３と、積算画像抽出部１０４と、積算画像記憶部１０５と、オブジェクト検出性別認識部１０６と、性別再認識部１０７と、結果出力部１０８とを含む。ここで、オブジェクト検出認識部１０６は、１のオブジェクトとして男性の顔を含む画像データ、および、他のオブジェクトとして女性の顔を含む画像データを検出認識する例を以下説明する。しかし、本発明は、これに限られず、同一のオブジェクトであって種類（例えば、顔）は同じであってその属性（例えば、性別）が異なるオブジェクト（例えば、男性の顔のオブジェクトと女性の顔のオブジェクト）をそれぞれ検出し認識する識別器を利用するものであればよい。

識別器学習部１０１は、男性顔学習部１５１と、女性顔学習部１５２と、男女認識学習部１５３とを含んでいる。この男性顔学習部１５１、女性顔学習部１５２、及び男女認識学習部１５３はそれぞれ、多数の学習画像データに基づき特徴量を取得し、取得された特徴量を用いて、それぞれ、男性顔検出用識別器１６１、女性顔検出用識別器１６２、及び男女識別器１６３の学習を行う。学習処理は、例えば、非特許文献１に開示されているように、男性顔画像データ、女性顔画像データ、非顔画像データを、それぞれ５０００枚用意し、男性顔学習部１５１、女性顔学習部１５２、男女認識学習部１５３が、それぞれ、Ｈａａｒ特徴による特徴量を抽出し、Ａｄａｂｏｏｓｔ処理等を施すことにより行われる。

例えば、男性顔学習部１５１は、髪と輪郭を含む男性の顔の部分画像を含む５０００枚の男性顔画像データと人の顔の部分画像を含まない５０００枚の非画像データを用いて男性特有のＨａａｒ特徴による特徴量を抽出し、Ａｄａｂｏｏｓｔ処理等を施すことにより、男性の顔のオブジェクトを検出して識別するための男性顔検出用識別器１６１を作成する。
また、女性顔学習部１５２は、髪と輪郭を含む女性の顔の部分画像を含む５０００枚の女性顔画像データと人の顔の部分画像を含まない５０００枚の非画像データを用いて女性特有のＨａａｒ特徴による特徴量を抽出し、Ａｄａｂｏｏｓｔ処理等を施すことにより、女性の顔のオブジェクトを検出して識別するための女性顔検出用識別器１６２を作成する。
さらに、男女認識学習部１５３は、５０００枚の男性顔画像データと５０００枚の女性顔画像データを用いて、検出されたオブジェクトが男性の顔であるかあるいは女性の顔であるかを判断するためのＨａａｒ特徴による特徴量を抽出し、Ａｄａｂｏｏｓｔ処理等を施すことにより、検出されたオブジェクトが男性あるいは女性の顔であることを識別するための男女識別器１６３を作成する。

このＨａａｒ特徴は、図２（ａ）〜図２（ｄ）に示すように、例えば４つの異なるタイプのパターン２０１、２０２、２０３、２０４を用いて、近接する矩形領域の輝度総和の差を求めることで得られる特徴量である。

本発明に係る第１実施形態において、識別器学習部１０１は、学習を行う際に、顔の目、鼻、口を含む中心部分の情報（画像データ）のみではなく、髪や輪郭の情報が入る大きさの部分画像に基づき特徴量を抽出する。髪の長さや髪型、輪郭の情報は、男女特有の特徴を表す情報となるからである。部分画像中に髪や輪郭の情報が入る大きさとしては、例えば、両目の中心を画像の中心として両目の間隔の３倍の大きさの縦横のサイズをもつ正方形の部分画像を用いる。さらに、例として、両目の間隔距離８画素とし、２４×２４画素のサイズの部分画像に対して学習を行う。

なお、ここでは、Ｈａａｒ特徴を取得しているが、取得する特徴量は、Ｈａａｒ特徴のようなオブジェクト検出と性別認識の両方に利用可能なものであれば、どのような特徴量を用いても良い。また、学習手法としては、Ａｄａｂｏｏｓｔなど、分類問題を解決するものであれば、どのような技術を用いても良い。なお、ＡｄａｂｏｏｓｔとＨａａｒ特徴に限らず、二クラス問題を識別できる識別器であればどのようなものであっても良い。また、識別器の形態として、複数の弱識別器から構成される強識別器、あるいはカスケード化された識別器でも良い。

識別器記憶部１０２は、識別器学習部１０１の学習によって得られた特徴量（識別パラメータ）を備える男性顔検出用識別器１６１、女性顔検出用識別器１６２、男女識別器１６３を記憶する。男性顔検出用識別器１６１は、男性の顔をオブジェクトとして、オブジェクト検出を行うための特徴量を備える識別器である。女性顔検出用識別器１６２は、女性の顔をオブジェクトとして、オブジェクト検出を行うための特徴量を備える識別器である。男女識別器１６３は、検出されたオブジェクトが男性の顔かあるいは女性の顔かの識別するための特徴量を備える識別器である。

図３は、識別器記憶部１０２に記憶されている各弱識別器のデータ構造の説明図である。図３に示すように、一つの弱識別器のデータ構造は、横軸座標３０１と、縦軸座標３０２と、サイズ３０３と、タイプ３０４と、閾値３０５とを含む。サイズ３０３は、図２で示しているようなパターン２０１〜２０４を構成する黒又は白の正方形のサイズを示している。例えば、サイズが「３」であれば、３×３画像の正方形を表している。タイプ３０４は、図２（ａ）〜図２（ｃ）で示しているような４つのパターン２０１〜２０４のタイプを表している。

図４は、識別器記憶部１０２に記憶されているデータの全体の構造の説明図である。図４に示すように、識別器記憶部１０２には、各弱識別器に対応するＨａａｒ特徴と、強識別器の閾値ｔが含まれている。
図４は、識別器記憶部１０２に記憶されているデータの全体の構造の説明図である。図４に示すように、識別器記憶部１０２には、各弱識別器に対応するＨａａｒ特徴と、強識別器の閾値ｔが含まれている。ここで、強識別器の閾値ｔは、下記の式で計算できる。

ここに示されるα_ｔは、各弱識別器の閾値であり、弱識別器ごとに０から１の間で決定する値である。

図１において、画像入力部１０３は、例えば、ビデオカメラなどからなり、判別対象となる顔を含む顔画像を撮影して、デジタル色画像情報を取得する。このデジタル色画像情報は、例えば、横方向に９６０画素、縦方向に７２０画素、ＲＧＢの各画素が８ビットからなる構造で、１秒間に５枚出力される画像情報である。さらに、画像入力部１０３は、色画像を濃淡画像に変換し、さらに濃度値の正規化（濃度値の平均を０、分散を１に正規化する）して出力する。

積算画像抽出部１０４は、画像入力部１０３により入力された画像の積算画像を抽出（算出）する。この積算画像抽出部１０４は、例えば下記の式に示すような計算に従って、この積算画像を算出する。

ここでは、ｉ（ｘ’，ｙ’）は画像の座標（ｘ’，ｙ’）にある画像の輝度値を表している。なお、積算画像に限らず、高速に計算できる積算ヒストグラムなどを用いても良い。

積算画像記憶部１０５は、積算画像抽出部１０４によって抽出（算出）された積算画像を記憶する。

オブジェクト検出性別認識部１０６は、画像入力部１０３から入力されたデジタル色画像情報に基づきオブジェクト検出を行う。前述したように、本発明に係る第１実施形態において、識別器記憶部１０２には、男性の顔のオブジェクト検出を行うための男性顔検出用識別器１６１と、女の性顔のオブジェクト検出を行うための女性顔検出用識別器１６２とが別々に設けられている。
このオブジェクト検出性別認識部１０６は、男性顔検出用識別器１６１を用いて男性の顔のオブジェクトかあるいは顔でないか（非顔か）の識別を行うとともに、女性顔検出用識別器１６２を用いて女性の顔のオブジェクトかあるいは顔でないか（非顔か）の識別を行う。これにより、オブジェクト検出認識部１０６は、顔のオブジェクト検出と男女の性別の認識とが同時に行われることになる。

すなわち、オブジェクト検出性別認識部１０６は、同一の対象（画像領域）に対して、男性顔検出用識別器１６１によって男性の顔のオブジェクトが検出されるとともに女性顔検出用識別器１６２によって女性の顔のオブジェクトが検出されない場合、オブジェクト検出によって人の顔を検出するとともに、当該検出されたオブジェクトの性別を男性と識別する。また、オブジェクト検出性別認識部１０６で、同一の対象（画像領域）に対して、女性顔検出用識別器１６２によって女性の顔のオブジェクトが検出されるとともに男性顔検出用識別器１６１によって男性の顔のオブジェクトが検出されない場合、オブジェクト検出によって人の顔を検出するとともに、当該検出されたオブジェクトの性別を女性と識別する。このように、オブジェクト検出性別認識部１０６は、男性顔検出用識別器１６１および女性顔検出用識別器１６２を用いて、人の顔のオブジェクト検出とともに男性あるいは女性とに性別認識を行うことができる。

性別再認識部１０７は、オブジェクト検出性別認識部１０６によって性別が認識できなかった顔に対して、性別の再認識を行う。
すなわち、本発明に係る第１実施形態において、オブジェクト検出性別認識部１０６は、男性顔検出用識別器１６１によって男性の顔のオブジェクトかあるいは非顔かの識別を行うとともに、女性顔検出用識別器１６２によって女性の顔のオブジェクトかあるいは非顔かの識別を行う。また、この結果だけでは、オブジェクトである顔（男性の顔、女性の顔、あるいは性別が不明な顔）は検出できたが、性別が認識できない場合がある。
例えば、オブジェクト検出性別認識部１０６が、同一の対象（画像領域）に対して、男性顔検出用識別器１６１によって男性の顔のオブジェクトを検出し、且つ、女性顔検出用識別器１６２によって女性の顔のオブジェクトを検出したような場合である。この場合、オブジェクト検出性別認識部１０６によって検出されたオブジェクトは、男性の顔でもあり女性の顔でもあるという結果になり、顔のオブジェクトであることは検出できたが、性別が認識できないことになる。つまり、オブジェクト検出性別認識部１０６は、性別不明な顔のオブジェクトを検出する。

この性別再認識部１０７は、オブジェクト検出性別認識部１０６によって性別不明な顔のオブジェクトが検出された場合、識別器記憶部１０２に記憶されている男女識別器１６３を用いて、性別の再認識を行う。

結果出力部１０８は、画像入力部１０３から入力された画像中の顔の検出結果及び男女の認識結果を出力する。

このように、本発明に係る第１の実施形態において、識別器記憶部１０２は、男性顔検出用識別器１６１と女性顔検出用識別器１６２とが別々に記憶される。そして、オブジェクト検出性別認識部１０６が、男性の顔のオブジェクト検出を行うとともに、女性の顔のオブジェクト検出を行う。その結果、顔のオブジェクト検出と、男女の性別認識とが同時に行われることになる。これにより、顔のオブジェクトを検出して男女の性別を認識するまでの処理時間を短縮でき、また、検出、認識精度の向上が図れる。

次に、図５を参照して、オブジェクト検出性別認識部１０６での処理について説明する。図５は、オブジェクト検出性別認識部１０６での処理手順を示すフローチャートである。

図５に示す通り、オブジェクト検出性別認識部１０６は、サイズｓの初期化を行い（ステップＳ１０１）、横座標ｘの初期化を行い（ステップＳ１０２）、縦座標ｙの初期化を行う（ステップＳ１０３）。

次に、オブジェクト検出性別認識部１０６は、部分画像を切り出して、Ｈａａｒ特徴量の計算を行う（ステップＳ１０４）。なお、Ｈａａｒ特徴量の計算を行う際に、オブジェクト検出性別認識部１０６は、図６（ａ）〜図６（ｃ）に示すように、１つの入力画像４０１からサイズの異なる複数の部分画像ｇｓ（ｉ，ｊ）を切り出す。切り出す部分画像のサイズは、変数ｓで指定される。そして、サイズの異なる複数の部分画像ｇｓ（ｉ，ｊ）のＨａａｒ特徴量を計算する。

このＨａａｒ特徴量は、図２（ａ）〜図２（ｄ）に示したように、例えば４つの異なるタイプのパターン２０１〜２０４を用いて、近接する矩形領域の輝度総和の差を求めることで得られる。

また、任意矩形領域の明度輝度総和は、積算画像記憶部１０５に記憶されている積算画像に基づき、オブジェクト検出性別認識部１０６によって容易に得られる。つまり、図７で示すように、矩形領域Ａ，Ｂ，Ｃ，Ｄを設定した場合、矩形領域Ａ，Ｂ，Ｃ，Ｄと、積算画像ｉｉ（ｘ，ｙ）の関係は下記のようになる。

ここで、任意矩形領域Ｄの輝度総和は下記の式により計算できる。

よって、オブジェクト検出性別認識部１０６は、積算画像に基づき、任意矩形領域のＨａａｒ特徴が上式に示されるような加減算の演算に従って算出することによって、高速に算出できることになる。

つまり、オブジェクト検出性別認識部１０６は、部分画像のすべてのＨａａｒ特徴を計算する必要がなく、識別器記憶部１０２において記憶されている男性顔検出用識別器１６１及び女性顔検出用識別器１６２の各弱識別器に対応させるＨａａｒ特徴量のみを計算すれば良い。

また、識別器記憶部１０２において、各弱識別器のデータは、図３に示したような構造を持っている。この識別器記憶部全体の構造には、図４に示したように、各弱識別器以外に強識別器の閾値ｔが含まれている。したがって、オブジェクト検出認識部１０６は、このＨａａｒ特徴量を用いることで、積算画像記憶部１０５に記憶された積算画像を参照しながら、高速に計算できる。

このようにして、オブジェクト検出性別認識部１０６は、Ｈａｒｒ特徴量を求めたら、次に、男性顔検出用識別器１６１によって、部分画像が男性の顔であるかどうかを識別する（ステップＳ１０５）。ここでは、部分画像において男性顔検出用識別器１６１に記憶されているすべてのＨａａｒ特徴量の総和が閾値ｔより大きい場合、男性顔が識別できたと判定する。

ステップＳ１０５で、男性顔であると識別されたら、オブジェクト検出性別認識部１０６は、女性顔検出用識別器１６２を用いて、部分画像が女性の顔であるかどうかを識別する（ステップＳ１０６）。ここでは、部分画像において女性顔検出用識別器１６２に記憶されているすべてのＨａａｒ特徴量の総和が閾値ｔより大きい場合、オブジェクト検出性別認識部１０６は、女性顔が識別できたと判定する。

ステップＳ１０６で、女性顔が識別できたと判定された場合には、男性顔も女性顔も識別されたので、オブジェクト検出性別認識部１０６は、性別が不明な顔のオブジェクトが検出できたことを性別再認識部１０７に出力する（ステップＳ１０８）。ステップＳ１０６で、女性顔が識別できないと判定された場合には、オブジェクト検出性別認識部１０６は、男性の顔のオブジェクトが検出できたことを結果出力部１０８に出力する（ステップＳ１０９）。

一方、ステップＳ１０５で、男性顔ではないと識別されたら、オブジェクト検出性別認識部１０６は、女性顔検出用識別器１６２を用いて、部分画像が女性の顔であるかどうかを識別する（ステップＳ１０７）。ここでは、部分画像において女性顔検出用識別器１６２に記憶されているすべてのＨａａｒ特徴量の総和が閾値ｔより大きい場合、女性顔が識別できたと判定する。

ステップＳ１０７で、女性顔が識別できたと判定された場合、オブジェクト検出性別認識部１０６は、女性の顔のオブジェクトが検出できたことを結果出力部１０８に出力する（ステップＳ１１０）。一方、ステップＳ１０７で、女性顔は識別できないと判定された場合、この部分画像は男性顔でもなくかつ女性顔でもないと識別されるので、オブジェクト検出性別認識部１０６は、この部分画像が非顔（つまり、顔を含まない画像）であることを結果出力部１０８に出力する（ステップＳ１１１）。

このようにして、ステップＳ１０８〜ステップＳ１１１の処理が終了したら、オブジェクト検出性別認識部１０６は、縦座標ｙを１つ進めて（ステップＳ１１２）、縦座標ｙが終了でなければ（つまり、デジタル色画像情報の縦座標の最大値まで到達していない場合）（ステップＳ１１３）、ステップＳ１０４に戻る。

また、ステップＳ１１３において、縦座標ｙが終了まで進んだら（つまり、デジタル色画像情報の縦座標の最大値まで到達した場合）、オブジェクト検出性別認識部１０６は、横座標ｘを１つ進めて（ステップＳ１１４）、横座標ｘが終了でなければ（つまり、デジタル色画像情報の横座標の最大値まで到達していない場合）（ステップＳ１１５）、ステップＳ１０３に戻る。

ステップＳ１１５で横座標ｘが終了まで進んだら（つまり、デジタル色画像情報の横座標の最大値まで到達した場合）、オブジェクト検出性別認識部１０６は、サイズｓを次の大きさに変更し（ステップＳ１１６）、このサイズが終了でなければ（ステップＳ１１７）、ステップＳ１０２に戻る。

ステップＳ１１２〜ステップＳ１１７の処理により、図６（ａ）〜図６（ｃ）に示すように、部分画像ｇｓ（ｉ，ｊ）のサイズｓを変更しながら、部分画像ｇｓ（ｉ，ｊ）の探索が行われることになる。

画像の探索が終了したら、オブジェクト検出性別認識部１０６は、最後に、検出結果の後処理を行う（ステップＳ１１８）。この後処理とは、ステップＳ１０９において男性の顔のオブジェクトが検出された場合と、ステップＳ１１０で女性の顔のオブジェクトが検出された場合と、ステップＳ１０８で顔のオブジェクト（性別は不定）が検出された場合とにそれぞれ応じて、図８に示すようにして行われる。

図８は、オブジェクト検出性別認識部１０６による後処理を説明するためのフローチャートである。まず、検出の結果、近傍で多数の候補が検出されることが多いから、オブジェクト検出性別認識部１０６が、それらの候補が一つのオブジェクト（顔）であることを判別する必要がある。そこで、オブジェクト検出性別認識部１０６は、検出された候補をクラスタリングする（ステップＳ２０１）。

クラスタリングは、各候補の重なり度に基づいて実現される。図９で示すような重なり合う二つの領域Ａ，Ｂにおいて、重なり度αは下記の式のように計算することができる。

オブジェクト検出性別認識部１０６は、重なり度αがある閾値より大きい場合、この重なり度αで重なっている複数の領域を一つの領域にクラスタリングする。この閾値は、０から１の値の中で実験的に決定するものであるが、０．５から０．８までの間であることが望ましい。

次に、オブジェクト検出性別認識部１０６は、クラスタリングされた顔候補について、異なる複数の特徴量を用いた絞り込みチェックを行う。ここで、オブジェクト検出認識部１０６は、色による絞り込みチェックと（ステップＳ２０２）、二値画像による絞り込みチェックと（ステップＳ２０３）、目の部分のテンプレートによる絞り込みチェックを行う（ステップＳ２０４）。

絞り込みは、すべての特徴量を用いても良いし、一つの特徴量を用いても良い。色の場合、オブジェクト検出性別認識部１０６は、例えば、顔候補すべて画素のｒ，ｇ，ｂ値の総和Ｒ，Ｇ，Ｂを求めて、（Ｒ＜Ｂ−３００）若しくは（Ｒ＜Ｇ−３００）、又は（Ｒ＜Ｂ−１００）かつ（Ｒ＜Ｇ−１００）であれば、この画像を顔と判定する。なお、３００と１００などはパラメータ値であり、実験的に適正値を決める。

二値画像の場合、白画素数対全体画素数の割合が閾値を超えるとき、顔と判定する。この閾値は、０から１の値の間で実験的に決定するものであるが、０．７程度の値が望ましい。この割合以外は、線密度、孤立点数なども利用できる。

目のテンプレートの場合、目付近をテンプレートマッチングのスコアが一定値より高ければ顔と判定、それより低ければ顔でないと判定する。一定値は実験的に適正値を決める。

次に、性別再認識部１０７による処理の一例について説明する。図１０は、性別再認識部１０７による処理手順の一例について説明するためのフローチャートである。

前述したように、性別再認識部１０７は、オブジェクト検出性別認識部１０６によって性別を認識できなかった画像が得られた場合、当該画像に対して性別の再認識を行うものである。すなわち、性別再認識部１０７は、図５のステップＳ１０８において、性別が不明な顔のオブジェクトを検出したことを判定された場合、オブジェクト検出性別認識部１０６は、性別の判定を行う。オブジェクト検出性別認識部１０６は、識別器記憶部１０２に記憶されている男女識別器１６３を用いて、性別の判定を行う。

図１０は、性別再認識部１０７による再認識処理を説明するためのフローチャートである。
図１０に示す通り、性別再認識部１０７は、性別が不明で顔のオブジェクトを検出された画像（言い換えると、性別の認識できなかった顔候補）の選択を行い、この候補画像ｃを初期化する（ステップＳ３０１）。次に、性別再認識部１０７は、顔候補のＨａａｒ特徴量を計算する（ステップＳ３０２）。ここで、部分画像のすべてのＨａａｒ特徴を計算する必要がなく、識別器記憶部１０２において記憶されている男女識別器１６３の各弱識別器に対応するＨａａｒ特徴量のみを計算すれば良い。

次に、性別再認識部１０７は、男女識別器１６３を用いて、当該部分画像が男性の顔であるかどうかを判定する（ステップＳ３０３）。
そして、性別再認識部１０７は、男女識別の結果、男性と判定されたら、男性顔が検出できたことを出力し（ステップＳ３０４）、男性でないと判定されたら、女性顔が検出できたことを出力する（ステップＳ３０５）。そして、性別再認識部１０７は、候補画像ｃを次の候補画像に進め（ステップＳ３０６）、候補画像が終了でなければ（ステップＳ３０７）、ステップＳ３０２に戻り、次の候補画像の男女識別を行う。一方、ステップＳ３０７で、候補画像ｃが終了になったら、処理を終了する。

なお、ステップＳＴ３０３における男女識別器１６３を用いた判定は、当該部分画像が女性の顔であるかどうかを判断するものであってもよい。この男女識別器１６３を用いた検出は、前述の男性顔のオブジェクト検出や女性顔のオブジェクト検出と基本的には同様である。また、前述の男性顔のオブジェクト検出や女性顔のオブジェクト検出と同様に、積算画像記憶部１０５に記憶されている積算画像を参照することで、特徴抽出時間を短縮できる。

以上説明したような手法により、本発明の第１の実施形態では、入力画像から顔のオブジェクトとして検出するとともに、男女の性別の認識を高速に行うことができる。なお、上記第１実施の形態では、性別のだけを判別する場合について説明したが、性別のみならず、年齢などの属性も判別できる。なお、顔のみならず、一般的な物体認識にも拡張できる。

また、本発明に係るオブジェクト検出認識装置は、第１オブジェクトを検出して識別するための第１オブジェクト検出用識別器と、第１オブジェクトと異なる第２オブジェクトを検出して識別するための第２オブジェクト検出用識別器を記憶する識別器記憶手段と、入力された画像データから特徴量を取得し、当該特徴量に基づき、第１オブジェクト検出用識別器を用いて第１オブジェクトを検出するとともに第２オブジェクト検出用識別器を用いて第２オブジェクトを検出しない画像データを得た場合、当該画像データを第１オブジェクトを含む画像データとして得るオブジェクト検出認識手段とを有することを特徴とするものである。
さらに、本発明に係るオブジェクト検出認識装置は、オブジェクト検出認識手段によって、第１オブジェクト検出用識別器を用いて第１オブジェクトを検出するとともに第２オブジェクト検出用識別器を用いて第２オブジェクトを検出した画像データを得た場合、当該画像データから取得される特徴量に基づき、当該検出されたオブジェクトが第１オブジェクトであるかあるいは第２オブジェクトであるかを判断するためのオブジェクト属性識別器を用いて、検出されたオブジェクトの再認識を行う再認識手段をさらに有することを特徴とするものである。

また、識別器学習手段は、第１オブジェクトとして髪と輪郭を含む男性の顔の部分画像を用いて男性特有の男性特徴量を得るとともに第２オブジェクトとして髪と輪郭を含む女性の顔の部分画像を用いて女性特有の女性特徴量を得て、当該男性特徴量および女性特徴量に基づき、顔のオブジェクトとして検出された画像データに基づき当該顔のオブジェクトが男性の顔であるかあるいは女性の顔であるか否かを認識するためのオブジェクト属性識別器の学習を行うことを特徴とするものである。

１０１：識別器学習部
１０２：識別器記憶部
１０３：画像入力部
１０４：積算画像抽出部
１０５：積算画像記憶部
１０６：オブジェクト検出及び性別認識部
１０７：性別再認識部
１０８：結果出力部
１５１：男性顔学習部
１５２：女性顔学習部
１５３：男女認識学習部
１６１：男性顔検出用識別器
１６２：女性顔検出用識別器
１６３：男女識別器

Claims

第１の属性をもつオブジェクトを検出して識別するための第１オブジェクト検出用識別器と、前記第１の属性とは異なる第２の属性をもつ前記オブジェクトを検出して識別するための第２オブジェクト検出用識別器と、前記オブジェクトの第１の属性と第２の属性とを識別するための属性識別器とを記憶する識別器記憶手段と、
入力された画像データから特徴量を取得し、当該特徴量に基づき、前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出するとともに前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出しない画像データを得た場合、当該画像データを前記第１の属性をもつオブジェクトを含む画像データとして得て、前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出するとともに前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出しない画像データを得た場合、当該画像データを前記第２の属性をもつオブジェクトを含む画像データとして得るオブジェクト検出認識手段と、
前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出するとともに前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出した画像データを得た場合、前記属性識別器を用いて第１の属性と第２の属性との識別を行う属性認識手段と、
を備えることを特徴とするオブジェクト検出認識装置。
入力された画像データから特徴量を取得する工程と、
第１の属性をもつオブジェクトを検出して識別するための前記第１オブジェクト検出用識別器と、前記台１の属性とは異なる第２の属性をもつ前記オブジェクトを検出して識別するための前記第２オブジェクト検出用識別器を記憶する識別器記憶手段を参照して、前記入力された画像データから取得された特徴量に基づき、前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出するとともに前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出しない画像データを得た場合、当該画像データを前記第１の属性をもつオブジェクトを含む画像データとして得て、前記第２オブジェクト検出用識別器を用いて前記第２の属性をもつオブジェクトを検出するとともに前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出しない画像データを得た場合、当該画像データを前記第２の属性をもつオブジェクトを含む画像データとして得る工程と、
前記第１オブジェクト検出用識別器を用いて前記第１の属性をもつオブジェクトを検出するとともに前記第２オブジェクト検出用識別器を用いて前記台２の属性をもつオブジェクトを検出した画像データを得た場合、前記オブジェクトの第１の属性と第２の属性とを識別するための属性識別器を用いて第１の属性と第２の属性との識別を行う工程と、
を備えることを特徴とするオブジェクト検出認識方法。
コンピュータに、請求項２に記載の各工程を実行させるためのプログラム。