JP5451883B2 - 頭部検出方法、頭部検出装置、属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム - Google Patents

Description

本発明は、頭部検出方法、頭部検出装置、属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムに関する。

パターン認識を用いて画像中の人物を検出する技術は、例えば、顔の一部（例えば目、鼻、口など）や頭部、肌の色を検出することで行われている（例えば、特許文献１参照）。このような人物検出では、一般的に、検出対象の画像データ（元画像）に対して、所定領域の画像パッチを細かくずらすスキャンを行い、頭部等の画像か否かを判断している。前記判断は、例えば、予め取得しておいた学習画像を参照することで行われる。

特許第３８１０９４３号公報

学習は、画像パッチにおいて、所定の位置および大きさで写っているものを正例（ｐｏｓｉｔｉｖｅ ｅｘａｍｐｌｅ）の頭部画像とし、頭部の位置または大きさがずれているものを負例（ｎｅｇａｔｉｖｅ ｅｘａｍｐｌｅ）として行われる。また、例えば、図７に示すように、元画像（検出対象画像）７０は多段階にサイズを変えられ、サイズ毎にスキャンが行われる。この場合、元画像７０を小さくしていき、同様に画像パッチ７１を動かしながら探していくことで、様々な大きさの頭部を見つけることができる。

しかし、この方法では、画像パッチ７１を少しずつ動かさないと、頭部を見逃す可能性があるが、パッチを細かく動かすと、検出処理時間がかかってしまう。また、元画像のサイズについても、元画像を徐々に小さくしていかないと、頭部を見逃す可能性があるが、徐々に小さくすると、やはり検出処理時間がかかってしまう。

そこで、本発明は、高速かつ正確に、画像中の頭部を検出する頭部検出方法、頭部検出装置、属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供することを目的とする。

前記目的を達成するために、本発明の頭部検出方法は、
予め規定された規定画像領域において、頭部の少なくとも一部が含まれている画像を正例とし、かつ、頭部が含まれていない画像を負例として取得した予備的頭部検出モデルと、
前記規定画像領域において、予め規定された位置および大きさに合致する状態で頭部が含まれている画像を正例とし、かつ、前記予め規定された位置および大きさの少なくとも一方に合致しない状態で頭部が含まれている画像を負例として取得した確定的頭部検出モデルとを用い、
検出対象画像を取得する画像取得工程と、
前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、前記予備的頭部検出モデルを参照して前記検出対象画像から頭部画像を検出する予備的頭部検出工程と、
前記予備的頭部検出工程により取得された複数の頭部画像の中から、前記確定的頭部検出モデルを参照して、確定的な頭部画像を検出する確定的頭部検出工程と
を含むことを特徴とする。

また、本発明の頭部検出装置は、
予め規定された規定画像領域において、頭部の少なくとも一部が含まれている画像を正例とし、かつ、頭部が含まれていない画像を負例として取得した予備的頭部検出モデルと、
前記規定画像領域において、予め規定された位置および大きさに合致する状態で頭部が含まれている画像を正例とし、かつ、前記予め規定された位置および大きさの少なくとも一方に合致しない状態で頭部が含まれている画像を負例として取得した確定的頭部検出モデルと、
検出対象画像を取得する画像取得手段と、
前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、前記予備的頭部検出モデルを参照して前記検出対象画像から頭部画像を検出する予備的頭部検出手段と、
前記予備的頭部検出手段により取得された複数の頭部画像の中から、前記確定的頭部検出モデルを参照して、確定的な頭部画像を検出する確定的頭部検出手段と
を含むことを特徴とする。

本発明の属性判定方法は、
前記本発明の頭部検出方法によって頭部を検出する頭部検出工程と、
前記頭部の画像から属性を判定する属性判定工程と
を含むことを特徴とする。

また、本発明の属性判定装置は、
前記本発明の頭部検出装置によって頭部を検出する頭部検出手段と、
前記頭部の画像から属性を判定する属性判定手段と
を含むことを特徴とする。

また、本発明のプログラムは、前記本発明の頭部検出方法および前記本発明の属性判定方法の少なくとも一方をコンピュータに実行させることを特徴とする。

また、本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。

また、本発明の属性判定システムは、
検出対象画像を取得する画像取得手段と、
予め規定された規定画像領域において、頭部の少なくとも一部が含まれている画像を正例とし、かつ、頭部が含まれていない画像を負例として取得した予備的頭部検出モデルと、
前記規定画像領域において、予め規定された位置および大きさに合致する状態で頭部が含まれている画像を正例とし、かつ、前記予め規定された位置および大きさの少なくとも一方に合致しない状態で頭部が含まれている画像を負例として取得した確定的頭部検出モデルと、
前記頭部の画像から属性を判定するための属性判定モデルおよび属性判定ルールの少なくとも一方と、
前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、前記予備的頭部検出モデルを参照して前記検出対象画像から頭部画像を検出する予備的頭部検出手段と、
前記予備的頭部検出手段により取得された複数の頭部画像の中から、前記確定的頭部検出モデルを参照して、確定的な頭部画像を検出する確定的頭部検出手段と、
前記頭部の画像から属性を判定する属性判定手段と、
属性判定結果を出力する出力手段と
を含み、
前記画像取得手段および前記出力手段が、システム外の通信回線網を介して、前記予備的頭部検出手段、前記予備的頭部検出モデル、前記確定的頭部検出手段、前記確定的頭部検出モデル、前記属性判定手段、ならびに、属性判定モデルおよび属性判定ルールの少なくとも一方と、接続されていることを特徴とする。

本発明によれば、高速かつ正確に、画像中の頭部を検出する頭部検出方法、頭部検出装置、属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供することができる。

図１Ａは、本発明の頭部検出方法の一例（実施形態１）を示すフローチャートである。 図１Ｂは、本発明の頭部検出装置の一例（実施形態１）の構成を示すブロック図である。 図２（ａ）〜（ｆ）は、本発明における予備的頭部検出モデルの取得の一例を説明する図である。 図３（ａ）および（ｂ）は、前記実施形態１の頭部検出方法における予備的頭部検出工程の一例を説明する図である。図３（ｃ）および（ｄ）は、前記実施形態１の頭部検出方法における確定的頭部検出工程の一例を説明する図である。 図４Ａは、本発明の頭部検出方法のその他の例（実施形態２）を示すフローチャートである。 図４Ｂは、本発明の頭部検出装置のその他の例（実施形態２）の構成を示すブロック図である。 図５Ａは、本発明の属性判定方法の一例（実施形態３）を示すフローチャートである。 図５Ｂは、本発明の属性判定装置の一例（実施形態３）の構成を示すブロック図である。 図５Ｃは、前記実施形態３の属性判定装置におけるその他の例を示すブロック図である。 図６は、本発明の属性判定装置を用いた属底判定システムの一例（実施形態５）の構成を示すブロック図である。 図７は、関連技術における頭部を検出する方法の一例を示す図である。

つぎに、本発明の実施形態について説明する。なお、本発明は、下記の実施形態によってなんら限定および制限されない。なお、以下の図１から図６において、同一部分には、同一符号を付している。

［実施形態１］
図１Ａに、本実施形態における頭部検出方法のフローチャートを示す。また、図１Ｂに、本実施形態における頭部検出装置のブロック図を示す。図１Ｂに示すように、本実施形態の頭部検出装置は、画像取得手段１１１、演算手段１２０、出力手段１３１およびデータ記憶手段１４０を主要な構成要素として含む。画像取得手段１１１は、演算手段１２０に電気的に接続されている。演算手段１２０は、出力手段１３１とデータ記憶手段１４０とに電気的に接続されている。演算手段１２０は、予備的頭部検出手段１２１および確定的頭部検出手段１２２を含む。データ記憶手段１４０には、予め取得した予備的頭部検出モデル１４１および確定的頭部検出モデル１４２が格納されている。予備的頭部検出手段１２１は、予備的頭部検出モデル１４１に接続されている。確定的頭部検出手段１２２は、確定的頭部検出モデル１４２に接続されている。

画像取得手段１１１としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、イメージスキャナ等があげられる。演算手段１２０としては、例えば、中央処理装置（ＣＰＵ）等があげられる。出力手段１３１としては、例えば、映像により出力するモニター（例えば、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ等の各種画像表示装置等）、印刷により出力するプリンター、音声により出力するスピーカー等があげられる。出力手段１３１は、任意の構成要素であり、本発明の頭部検出装置に含まれていなくてもよいが、含まれていることが好ましい。データ記憶手段１４０としては、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。データ記憶手段１４０は、例えば、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。前記画像取得手段、前記演算手段、前記出力手段および前記データ記憶手段については、後述の実施形態においても同様である。

本実施形態の頭部検出方法は、例えば、図１Ｂの頭部検出装置を用いて、つぎのようにして実施する。

まず、前記頭部検出方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。具体的には、まず、学習用画像から、予め規定された規定画像領域において、頭部の少なくとも一部が含まれている画像を正例とし、かつ、頭部が含まれていない画像を負例として、機械学習（パターン認識）で学習することで予備的頭部検出モデル１４１を作成する。例えば、図２（ａ）に示すように、学習用画像（正面向きの人物画像）１０Ａでは、所定のサイズの規定画像領域（例えば、３２×３２ピクセル等）における頭部の少なくとも一部が含まれている画像である、１０ａ（頭部全体）、１０ｂ（頭部の上部右側部分）、１０ｃ（頭部の左側半分）を正例とする。一方、前記規定画像領域における頭部が含まれていない画像である、１０ｄ（人物の肩部）、１０ｅ（背景）を負例とする。また、例えば、図２（ｂ）に示すように、学習用画像（後ろ向きの人物画像）１０Ｂでは、前記規定画像領域における頭部の少なくとも一部が含まれている画像である、１０ｆ（頭部全体）、１０ｇ（頭部の左側半分）を正例とする。また、例えば、図２（ｃ）に示すように、学習用画像（正面向きのかなり小さく写っている人物画像）１０Ｃでは、前記規定画像領域における頭部の少なくとも一部が含まれている画像である、１０ｈ（頭部全体）、１０ｉ（頭部の左側半分）を正例とする。また、例えば、図２（ｄ）に示すように、学習用画像（正面向きのかなり大きく写っている人物画像）１０Ｄでは、前記規定画像領域における頭部の少なくとも一部が含まれている画像である、１０ｊ（頭部全体）、１０ｋ（頭部の下部左側）を正例とする。また、例えば、図２（ｅ）に示すように、学習用画像（後ろ向きのかなり小さく写っている人物画像）１０Ｅでは、前記規定画像領域における頭部の少なくとも一部が含まれている画像である、１０ｍ（頭部全体）、１０ｎ（頭部の上側半分）を正例とする。また、例えば、図２（ｆ）に示すように、学習用画像（後ろ向きのかなり大きく写っている人物画像）１０Ｆでは、前記規定画像領域における頭部の少なくとも一部が含まれている画像である、１０ｐ（頭部全体）、１０ｑ（頭部の下部右側）を正例とする。検出精度を考慮すると、例えば、横向きの人物の画像等も学習用画像として用いることが好ましく、また、学習用画像の数は多いほど好ましい。また、例えば、前記予備的頭部検出モデルにおいて、頭部であると誤認識し得る画像を負例としておいてもよい。前記機械学習による予備的頭部検出モデル１４１の作成は、例えば、以下のようにして行う。まず、学習用画像中の頭部に、大きさのずれおよび位置のずれがないように正確に頭部領域を付与する（アノテーション）。前記頭部領域は、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。つぎに、例えば、頭部の位置が、前記頭部領域における正確な位置から５０％ずれているものまでを正例とし、また、例えば、頭部の大きさが、前記頭部領域における正確な大きさから±３０％のものまでを正例とする等の許容範囲を指定し、プログラムにより正例を自動で作成して、予備的頭部検出モデル１４１を作成する。

一方、前記規定画像領域において、予め規定された位置および大きさに合致する状態で頭部が含まれている画像を正例とし、かつ、前記予め規定された位置および大きさの少なくとも一方に合致しない状態で頭部が含まれている画像を負例として、機械学習（パターン認識）で学習することで確定的頭部検出モデル１４２を作成する。具体的には、例えば、頭部が前記規定画像領域のほぼ中央に位置し、かつ頭部の輪郭（大きさ）が前記規定画像領域とほぼ同じ大きさである画像を正例と規定する。ついで、前記作成した予備的頭部検出モデル１４１の正例である１０ａ〜１０ｃ、１０ｆ〜１０ｋ、１０ｍ〜１０ｎおよび１０ｐ〜１０ｑのうち、前記規定に合致した画像（１０ａおよび１０ｆ）を正例とし、前記規定に合致しなかった画像（１０ｂ、１０ｃ、１０ｇ〜１０ｋ、１０ｍ〜１０ｎおよび１０ｐ〜１０ｑ）を負例とする。このように、予備的に検出した頭部が含まれている画像の中から、前記規定に合致しないものを重点的に負例とすればよいので、例えば、頭部が含まれていない画像などの全てを学習する必要がなく、効率的に学習できる。

つぎに、図１Ａのフローチャートに示すように、以下のステップを実施する。まず、画像取得手段１１１により、検出対象画像を取得する（ステップＳ１１）。

つぎに、予備的頭部検出手段１２１により、前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、予め取得した予備的頭部検出モデル１４１を参照して、前記検出対象画像から頭部画像を検出する（ステップＳ２１）。具体的には、例えば、図３（ａ）に示すように、予め取得した予備的頭部検出モデル１４１を参照して、検出対象画像２０の左上端から水平方向に、画像パッチ２１を移動させ、それを順に下の行に向かって探索するいわゆるラスタスキャンで、頭部画像を探索する。この例では、前記画像パッチの移動量（幅）を、前記画像パッチの１／４の大きさで行う。この結果、例えば、図３（ｂ）に示すように、頭部画像２１ａ〜２１ｇ等が検出される。

つぎに、確定的頭部検出手段１２２により、予備的頭部検出工程Ｓ２１によって取得された複数の頭部画像の中から、確定的頭部検出モデル１４２を参照して、確定的な頭部画像を検出する（ステップＳ２２）。具体的には、予備的頭部検出工程Ｓ２１により取得された頭部画像２１ｂ、２１ｄ、２１ｆおよび２１ｇ等（図３（ｂ）における左側の人物の頭部を含む画像）を含む少し広い領域中を、入力画像とする。この入力画像の中から、確定的頭部検出モデル１４２を参照して、ラスタスキャンを行うと共に、入力画像を縮小することで、図３（ｃ）に示すように、確定的な頭部画像２２ａを検出する。また、予備的頭部検出工程Ｓ２１により取得された頭部画像２１ａ、２１ｃおよび２１ｅ等（図３（ｂ）における右側の人物の頭部を含む画像）を含む少し広い領域中を、入力画像とする。この入力画像の中から、確定的頭部検出モデル１４２を参照して、ラスタスキャンを行うと共に、前記入力画像を縮小することで、図３（ｄ）に示すように、確定的な頭部画像２２ｂを検出する。

つぎに、出力手段１３１により、頭部の検出結果を出力する（ステップＳ３１）。なお、出力工程Ｓ３１は、任意の工程であり、本発明の頭部検出方法に含まれていなくてもよいが、含まれていることが好ましい。

ここで、前記特許文献１に記載の人物検出技術では、頭部を見逃さないために、所定領域の画像パッチを細かく（例えば、１ピクセル毎）ずらしてスキャン行わなければならず、また、画像サイズも徐々に小さく（例えば、０．９５倍）していかなければならない。このため、検出処理時間がかかってしまう。一方、本実施形態の頭部検出方法では、まず、検出対象画像から頭部の少なくとも一部が含まれている画像を予備的に検出する。このため、画像パッチの移動量を大きく（例えば、５ピクセル毎）し、または、画像サイズの変更率を大きく（例えば、０．８倍）しても、頭部を見逃すことがない。この結果、本実施形態の頭部検出方法では、高速に、検出対象画像中の候補を検出できる。つぎに、予備的に検出した頭部の候補画像の中から、確定的な頭部画像を検出する。このため、確定的な頭部検出も高速に行うことができる。これらの結果、本実施形態の頭部検出方法では、高速かつ正確に、検出対象画像中の頭部を検出できる。これらの効果については、後述の実施形態においても同様である。

［実施形態２］
図４Ａに、本実施形態における頭部検出方法のフローチャートを示す。また、図４Ｂに、本実施形態における頭部検出装置のブロック図を示す。図４Ｂに示すように、本実施形態の頭部検出装置は、演算手段１２０が、予備的頭部検出手段１２１に代えて、予備的頭部検出手段（第１段階）１２１−１および予備的頭部検出手段（第２段階）１２１−２を含み、データ記憶手段１４０における予備的頭部検出モデル１４１が、第１段階参照用モデル１４１−１および第２段階参照用モデル１４１−２を含む。予備的頭部検出手段（第１段階）１２１−１は、第１段階参照用モデル１４１−１に接続されている。予備的頭部検出手段（第２段階）１２１−２は、第２段階参照用モデル１４１−２に接続されている。これら以外の構成は、図１Ｂに示す前記実施形態１の頭部検出装置と同様である。

本実施形態の頭部検出方法は、例えば、図４Ｂの頭部検出装置を用いて、つぎのようにして実施する。

まず、前記頭部検出方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。すなわち、第１段階参照用モデル１４１−１および第２段階参照用モデル１４１−２を含む予備的頭部検出モデル１４１を、機械学習（パターン認識）で学習することで作成する。具体的には、例えば、まず、第１段階参照用モデル１４１−１では、前記実施形態１における予備的頭部検出モデル１４１の作成と同様に、図２（ａ）〜（ｆ）に示す学習用画像１０Ａ〜１０Ｆから、前記所定のサイズの規定画像領域における頭部の少なくとも一部が含まれている画像１０ａ〜１０ｃ、１０ｆ〜１０ｋ、１０ｍ〜１０ｎおよび１０ｐ〜１０ｑを正例とする。一方、前記規定画像領域における頭部が含まれていない画像１０ｄおよび１０ｅを負例とする。つぎに、第２段階参照用モデル１４１−２では、頭部が前記規定画像領域のほぼ中央に位置する場合から半分程度ずれた箇所に位置する場合までで、かつ頭部の輪郭（大きさ）が前記規定画像領域のほぼ同じ大きさである場合から半分程度の大きさである場合の画像までを正例として規定する。前記作成した第１段階参照用モデル１４１−１の正例である画像１０ａ〜１０ｃ、１０ｆ〜１０ｋ、１０ｍ〜１０ｎおよび１０ｐ〜１０ｑのうち、前記規定に合致した画像（１０ａ、１０ｃ、１０ｆ、１０ｈ、１０ｉ、１０ｍおよび１０ｎ）を正例とし、前記規定に合致しなかった画像（１０ｂ、１０ｇ、１０ｊ、１０ｋ、１０ｐおよび１０ｑ）を負例とする。

なお、この例において、前記第１段階参照用モデルでは、学習用画像中の頭部の少なくとも一部が含まれている画像を正例としているが、本発明は、この例に限定されず、例えば、前記頭部領域における正確な位置および大きさに対する所定の許容範囲を指定して正例を規定してもよい。また、前記第２段階参照用モデルでは、頭部の位置および大きさの両方の条件を満たす画像を、正例としたが、本発明は、この例に限定されず、例えば、頭部の位置または大きさのいずれか一方の条件を満たす画像を、正例としてもよい。したがって、第１段階参照用モデル１４１−１では、例えば、前記学習用画像における頭部の位置が、前記頭部領域における正確な位置から５０％ずれているものまでを正例とし、また、頭部の大きさが、前記頭部領域における正確な大きさから±３０％のものまでを正例とする等の許容範囲を指定して、正例を規定してもよい。第２段階参照用モデル１４１−２では、例えば、前記頭部領域における正確な位置から２５％ずれているものまでを正例とし、また、頭部の大きさが、前記頭部領域における正確な大きさから±１５％のものまでを正例とする等の許容範囲を指定して、正例を規定してもよい。

一方、前記実施形態１と同様にして、確定的頭部検出モデル１４２を作成する。具体的には、例えば、頭部が前記規定画像領域のほぼ中央に位置し、かつ頭部の輪郭（大きさ）が前記規定画像領域とほぼ同じ大きさである画像を正例と規定する。前記作成した第２段階参照用モデル１４１−２の正例である画像１０ａ、１０ｃ、１０ｆ、１０ｈ、１０ｉ、１０ｍおよび１０ｎのうち、前記規定に合致した画像（１０ａおよび１０ｆ）を正例とし、前記規定に合致しなかった画像（１０ｃ、１０ｈ、１０ｉ、１０ｍおよび１０ｎ）を負例とする。

つぎに、図４Ａのフローチャートに示すように、以下のステップを実施する。まず、画像取得手段１１１により、検出対象画像を取得する（ステップＳ１１）。

つぎに、予備的頭部検出手段により、前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、予め取得した第１段階参照用モデル１４１−１および第２段階参照用モデル１４１−２を参照して、前記検出対象画像から頭部画像を多段階（第１段階および第２段階の２段階）で検出する（ステップＳ２３）。具体的には、まず、第１段階として、予備的頭部検出手段（第１段階）１２１−１により、予め取得した第１段階参照用モデル１４１−１を参照して、前記実施形態１における予備的頭部検出工程Ｓ２１と同様にして、図３（ａ）に示す検出対象画像２０から、頭部画像を探索して、図３（ｂ）に示すように、頭部画像２１ａ〜２１ｇ等を検出する。つぎに、第２段階として、前記取得された画像２１ａ〜２１ｇの中から、予め取得した第２段階参照用モデル１４１−２を参照して、頭部画像２１ａ、２１ｄ、２１ｆおよび２１ｇを検出する。

つぎに、前記実施形態１と同様にして、確定的頭部検出手段１２２により、予備的頭部検出工程Ｓ２３によって取得された複数の頭部画像の中から、確定的頭部検出モデル１４２を参照して、確定的な頭部画像を検出する（ステップＳ２２）。具体的には、予備的頭部検出工程Ｓ２３により取得された頭部画像２１ｄ、２１ｆおよび２１ｇ等（図３（ｂ）における左側の人物の頭部を含む画像）を含む少し広い領域中を、入力画像とする。この入力画像の中から、確定的頭部検出モデル１４２を参照して、ラスタスキャンを行うと共に、前記入力画像を縮小することで、図３（ｃ）に示すように、確定的な頭部画像２２ａを検出する。また、予備的頭部検出工程Ｓ２３より取得された頭部画像２１ａ等（図３（ｂ）における右側の人物の頭部を含む画像）を含む少し広い領域中を、入力画像とする。この入力画像の中から、確定的頭部検出モデル１４２を参照して、ラスタスキャンを行うと共に、前記入力画像を縮小することで、図３（ｄ）に示すように、確定的な頭部画像２２ｂを検出する。

つぎに、前記実施形態１と同様にして、出力手段１３１により、頭部の検出結果を出力する（ステップＳ３１）。

本実施形態の頭部検出方法では、前述のとおり、２段階で設定した参照用モデルを参照して、前記予備的頭部検出工程において、２段階で頭部の検出を行っている。このため、より高速で正確に検出対象画像中の頭部を検出することができる。

なお、本実施形態の頭部検出方法では、参照用モデルを２段階で設定し、これに対応させて予備的頭部検出工程を行っているが、本発明は、この例に限定されず、３段階以上で参照用モデルを設定し、これに対応させて予備的頭部検出工程を行ってもよい。

［実施形態３］
図５Ａに、本実施形態における属性判定方法のフローチャートを示す。また、図５Ｂに、本実施形態における属性判定装置のブロック図を示す。図５Ｂに示すように、本実施形態の属性判定装置は、画像取得手段１１１、演算手段１２０、出力手段１３１およびデータ記憶手段１４０を主要な構成要素として含む。画像取得手段１１１は、演算手段１２０に電気的に接続されている。演算手段１２０は、出力手段１３１とデータ記憶手段１４０とに電気的に接続されている。演算手段１２０は、予備的頭部検出手段１２１、確定的頭部検出手段１２２および属性判定手段１２４を含む。データ記憶手段１４０には、予め取得した予備的頭部検出モデル１４１、確定的頭部検出モデル１４２および属性判定モデル１４４が格納されている。予備的頭部検出手段１２１は、予備的頭部検出モデル１４１に接続されている。確定的頭部検出手段１２２は、確定的頭部検出モデル１４２に接続されている。属性判定手段１２４は、属性判定モデル１４４に接続されている。本実施形態の属性判定装置における、画像取得手段１１１、予備的頭部検出手段１２１および確定的頭部検出手段１２２を合わせた手段が、本発明における前記「頭部検出手段」に相当する。

本発明において、属性は、特に限定されず、例えば、性別、年齢、人種、頭部の向き、髪型、髪の長さ、帽子の有無等があげられる。

本実施形態の属性判定方法は、例えば、図５Ｂの属性判定装置を用いて、つぎのようにして実施する。

まず、前記属性判定方法の実施に先立ち、機械学習（パターン認識）の技術を用いて学習を行う。すなわち、前記実施形態１と同様にして、予備的頭部検出モデル１４１および確定的頭部検出モデル１４２を作成する。具体的には、例えば、前記実施形態１と同様にして、図２（ａ）の学習用画像１０Ａにおける頭部画像１０ａ等を、確定的頭部検出モデル１４２における正例とする。

一方、教師データ（または属性値）が付与された頭部画像を多数用いて、機械学習（パターン認識）により属性判定モデル１４４を作成する。本実施形態の属性判定方法において、前記教師データ（または属性値）としては、例えば、性別、年齢等があげられる。具体的には、例えば、図２（ａ）に示す学習用画像１０Ａの頭部画像１０ａ等に、「性別：男性、年齢：３０歳」等の教師データ（または属性値）を付与する。前記性別および前記年齢等の教師データ（または属性値）は、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与される。そして、この教師データ（または属性値）が付与された頭部画像１０ａ等を用いて、属性判定モデル１４４を作成する。

つぎに、図５Ａのフローチャートに示すように、以下のステップを実施する。まず、画像取得手段１１１により、検出対象画像を取得する（ステップＳ１１）。

つぎに、前記実施形態１と同様にして、予備的頭部検出手段１２１により、前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、予め取得した予備的頭部検出モデル１４１を参照して、前記検出対象画像から頭部画像を検出する（ステップＳ２１）。

つぎに、前記実施形態１と同様にして、確定的頭部検出手段１２２により、予備的頭部検出工程Ｓ２１によって取得された複数の頭部画像の中から、確定的頭部検出モデル１４２を参照して、確定的な頭部画像を検出する（ステップＳ２２）。具体的には、例えば、前記実施形態１と同様にして、図３（ｃ）および（ｄ）に示すように、確定的な頭部画像２２ａおよび２２ｂを検出する。画像取得工程Ｓ１１、予備的頭部検出工程Ｓ２１および確定的頭部検出工程Ｓ２２を合わせた工程が、本発明における前記「頭部検出工程」に相当する。

つぎに、属性判定手段１２４により、予め取得した属性判定モデル１４４を参照して、頭部の画像から属性を判定する（ステップＳ２４）。判定項目としては、例えば、性別、年齢、頭部の向き、髪型、髪の長さ、帽子の有無等があげられる。判定項目が性別である場合は、例えば、性別度（例えば、０〜１）に基づいて判定できる。前記性別度は、例えば、頭部画像を基に算出可能である。具体的には、例えば、前記性別度が「０〜０．５未満」であれば、「女性」と判定し、前記性別度が「０．５〜１」であれば、「男性」と判定する、という基準を設定しておき、算出された性別度の値から性別を判定する。前記年齢等についても、例えば、所定の基準を設定して、前記頭部画像を基に算出された値から年齢等を判定する。

つぎに、出力手段１３１により、属性の判定結果を出力する（ステップＳ３１）。判定項目は、前述のとおりである。なお、出力工程Ｓ３１は、任意の工程であり、本発明の属性判定方法に含まれていなくてもよいが、含まれていることが好ましい。

前述のように、本実施形態の属性判定方法では、前記実施形態１の頭部検出方法によって頭部を検出し、前記頭部の画像から属性を判定する。このため、高速かつ正確に、属性を判定できる。

なお、本実施形態の属性判定方法における前記属性判定工程（図５ＡのＳ２４）では、前記属性判定モデルを参照して、前記頭部の画像から属性を判定しているが、本発明は、この例に限定されない。前記属性の判定は、例えば、属性判定ルールを参照して行ってもよい。前記属性判定ルールとしては、例えば、「髪が短ければ男性であり、髪が長ければ女性である」等のルールがあげられる。また、例えば、前記属性の判定は、前記属性判定モデルおよび前記属性判定ルールの両方を参照して行ってもよい。この場合には、例えば、図５Ｃに示すように、データ記憶手段１４０に、属性判定ルール２４４が格納され、属性判定手段１２４が属性判定ルール２４４に接続されていてもよい。

また、本実施形態の属性判定方法における予備的頭部検出工程は、例えば、前記実施形態２の頭部検出方法における予備的頭部検出工程と同様に、多段階で実施してもよい。この場合、属性判定装置における前記予備的頭部検出モデルに、例えば、前述の多段階の参照用モデルを含ませておく。このようにすれば、より高速で正確に属性を判定できる。

［実施形態４］
本実施形態のプログラムは、前述の頭部検出方法または前述の属性判定方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

［実施形態５］
図６に、本発明の属性判定装置を用いた属性判定システムの一例の構成を示す。図６に示すとおり、この属性判定システムは、画像取得手段１１１ａ、１１１ｂ、１１１ｃと、出力手段１３１ａ、１３１ｂ、１３１ｃと、通信インターフェイス１５０ａ、１５０ｂ、１５０ｃと、サーバ１７０とを備える。画像取得手段１１１ａおよび出力手段１３１ａは、通信インターフェイス１５０ａに接続されている。画像取得手段１１１ａ、出力手段１３１ａおよび通信インターフェイス１５０ａは、場所Ｘに設置されている。画像取得手段１１１ｂおよび出力手段１３１ｂは、通信インターフェイス１５０ｂに接続されている。画像取得手段１１１ｂ、出力手段１３１ｂおよび通信インターフェイス１５０ｂは、場所Ｙに設置されている。画像取得手段１１１ｃおよび出力手段１３１ｃは、通信インターフェイス１５０ｃに接続されている。画像取得手段１１１ｃ、出力手段１３１ｃおよび通信インターフェイス１５０ｃは、場所Ｚに設置されている。そして、通信インターフェイス１５０ａ、１５０ｂ、１５０ｃと、サーバ１７０とが、回線網１６０を介して接続されている。

この属性判定システムでは、サーバ１７０側に、予備的頭部検出手段、確定的頭部検出手段および属性判定手段を有し、サーバ１７０に予備的頭部検出モデル、確定的頭部検出モデルおよび属性判定モデルが格納される。例えば、場所Ｘで画像取得手段１１１ａを用いて取得された検出対象画像を、サーバ１７０に送信し、サーバ１７０側で、頭部を検出し、頭部の画像から属性を判定する。また、判定された属性を、出力手段１３１ａにより出力する。また、前記サーバには、例えば、前記属性判定ルールが格納されていてもよい。

本実施形態の属性判定システムによれば、画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインによる頭部の検出および属性の判定が可能である。そのため、例えば、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、例えば、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。本実施形態の属性判定システムは、前述の実施形態２の多段階検出に対応したものであってもよい。また、本本実施形態の属性判定システムは、例えば、クラウドコンピューティングに対応したものであってもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

この出願は、２０１０年６月３０日に出願された日本出願特願２０１０−１４９９３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、高速かつ正確に、画像中の頭部を検出する頭部検出方法、頭部検出装置、属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システムを提供でき、本発明は、幅広い用途に適用できる。

１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆ 学習用画像
１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ、１０ｇ、１０ｈ、１０ｉ、１０ｊ、１０ｋ、１０ｍ、１０ｎ、１０ｐ、１０ｑ 規定画像領域における画像
２０、７０ 検出対象画像
２１、７１ 画像パッチ
２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ、２１ｆ、２１ｇ 頭部画像
２２ａ、２２ｂ 確定的な頭部画像
１１１、１１１ａ、１１１ｂ、１１１ｃ 画像取得手段
１２０ 演算手段
１２１ 予備的頭部検出手段
１２１−１ 予備的頭部検出手段（第１段階）
１２１−２ 予備的頭部検出手段（第２段階）
１２２ 確定的頭部検出手段
１２４ 属性判定手段
１３１、１３１ａ、１３１ｂ、１３１ｃ 出力手段
１４０ データ記憶手段
１４１ 予備的頭部検出モデル
１４１−１ 第１段階参照用モデル
１４１−２ 第２段階参照用モデル
１４２ 確定的頭部検出モデル
１４４ 属性判定モデル
１５０ａ、１５０ｂ、１５０ｃ 通信インターフェイス
１６０ 回路網
１７０ サーバ
２４４ 属性判定ルール

Claims (12)

1. 予め規定された規定画像領域において、頭部の少なくとも一部が含まれている画像を正例とし、かつ、頭部が含まれていない画像を負例として取得した予備的頭部検出モデルと、
   前記規定画像領域において、予め規定された位置および大きさに合致する状態で頭部が含まれている画像を正例とし、かつ、前記予め規定された位置および大きさの少なくとも一方に合致しない状態で頭部が含まれている画像を負例として取得した確定的頭部検出モデルとを用い、
   検出対象画像を取得する画像取得工程と、
   前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、前記予備的頭部検出モデルを参照して前記検出対象画像から頭部画像を検出する予備的頭部検出工程と、
   前記予備的頭部検出工程により取得された複数の頭部画像の中から、前記確定的頭部検出モデルを参照して、確定的な頭部画像を検出する確定的頭部検出工程と
   を含むことを特徴とする頭部検出方法。
2. 前記予備的頭部検出モデルが、前記確定的頭部検出モデルにおける予め規定された位置および大きさとの合致度合いが多段階に規定され、合致するものを正例とし、合致しないものを負例として取得した多段階の参照用モデルであり、
   前記予備的頭部検出工程において、前記多段階の予備的頭部検出モデルの各段階に対応して頭部検出が多段階で実施され、
   前の段階で取得された複数の頭部画像の中から、現段階の頭部画像を検出することを特徴とする、
   請求項１記載の頭部検出方法。
3. 予め規定された規定画像領域において、頭部の少なくとも一部が含まれている画像を正例とし、かつ、頭部が含まれていない画像を負例として取得した予備的頭部検出モデルと、
   前記規定画像領域において、予め規定された位置および大きさに合致する状態で頭部が含まれている画像を正例とし、かつ、前記予め規定された位置および大きさの少なくとも一方に合致しない状態で頭部が含まれている画像を負例として取得した確定的頭部検出モデルと、
   検出対象画像を取得する画像取得手段と、
   前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、前記予備的頭部検出モデルを参照して前記検出対象画像から頭部画像を検出する予備的頭部検出手段と、
   前記予備的頭部検出手段により取得された複数の頭部画像の中から、前記確定的頭部検出モデルを参照して、確定的な頭部画像を検出する確定的頭部検出手段と
   を含むことを特徴とする頭部検出装置。
4. 前記予備的頭部検出モデルが、前記確定的頭部検出モデルにおける予め規定された位置および大きさとの合致度合いが多段階に規定され、合致するものを正例とし、合致しないものを負例として取得した多段階の参照用モデルであり、
   前記予備的頭部検出手段が、前記多段階の予備的頭部検出モデルの各段階に対応して頭部検出を多段階で実施し、
   前の段階で取得された複数の頭部画像の中から、現段階の頭部画像を検出することを特徴とする、
   請求項３記載の頭部検出装置。
5. 請求項１または２記載の頭部検出方法によって頭部を検出する頭部検出工程と、
   前記頭部の画像から属性を判定する属性判定工程と
   を含むことを特徴とする属性判定方法。
6. 前記属性判定工程において、予め取得した属性判定モデルおよび属性判定ルールの少なくとも一方を参照して、前記頭部の画像から属性を判定することを特徴とする、請求項５記載の属性判定方法。
7. 請求項３または４記載の頭部検出装置によって頭部を検出する頭部検出手段と、
   前記頭部の画像から属性を判定する属性判定手段と
   を含むことを特徴とする属性判定装置。
8. 前記属性判定手段が、予め取得した属性判定モデルおよび属性判定ルールの少なくとも一方を参照して、前記頭部の画像から属性を判定することを特徴とする、請求項７記載の属性判定装置。
9. 請求項１または２記載の頭部検出方法をコンピュータに実行させることを特徴とする、プログラム。
10. 請求項５または６記載の属性判定方法をコンピュータに実行させることを特徴とする、プログラム。
11. 請求項９または１０記載のプログラムを記録していることを特徴とする記録媒体。
12. 検出対象画像を取得する画像取得手段と、
    予め規定された規定画像領域において、頭部の少なくとも一部が含まれている画像を正例とし、かつ、頭部が含まれていない画像を負例として取得した予備的頭部検出モデルと、
    前記規定画像領域において、予め規定された位置および大きさに合致する状態で頭部が含まれている画像を正例とし、かつ、前記予め規定された位置および大きさの少なくとも一方に合致しない状態で頭部が含まれている画像を負例として取得した確定的頭部検出モデルと、
    前記頭部の画像から属性を判定するための属性判定モデルおよび属性判定ルールの少なくとも一方と、
    前記検出対象画像の前記規定画像領域を画像パッチとして切り出し、前記予備的頭部検出モデルを参照して前記検出対象画像から頭部画像を検出する予備的頭部検出手段と、
    前記予備的頭部検出手段により取得された複数の頭部画像の中から、前記確定的頭部検出モデルを参照して、確定的な頭部画像を検出する確定的頭部検出手段と、
    前記頭部の画像から属性を判定する属性判定手段と、
    属性判定結果を出力する出力手段と
    を含み、
    前記画像取得手段および前記出力手段が、システム外の通信回線網を介して、前記予備的頭部検出手段、前記予備的頭部検出モデル、前記確定的頭部検出手段、前記確定的頭部検出モデル、前記属性判定手段、ならびに、属性判定モデルおよび属性判定ルールの少なくとも一方と、接続されていることを特徴とする属性判定システム。

Images