JP4782600B2

JP4782600B2 - 顔検出方法およびこれを用いた撮影装置

Info

Publication number: JP4782600B2
Application number: JP2006093905A
Authority: JP
Inventors: 賢祐寺川
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-03-30
Filing date: 2006-03-30
Publication date: 2011-09-28
Anticipated expiration: 2026-03-30
Also published as: US7881528B2; JP2007272298A; US20070230796A1

Description

本発明は、画像内の人物被写体の顔を検出する顔検出方法およびこれを用いた撮影装置に関するものである。

顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている（たとえば特許文献１参照）。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法である。

特に、ブースティングによる顔検出処理の高速化を図るために、複数の弱判別器でカスケードを構成する判別器が提案されている（たとえば特許文献２参照）。この判別器では、顔もしくは非顔の判別において、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている。
特開平８−３２９０３１号公報米国特許出願公開２００２／１０２０２４号明細書

特許文献１に示すようなブースティングアルゴリズムによる顔検出においては、通常、画像の輝度情報（Ｙ信号）が用いられる。一方、デジタルカメラ等により取得された画像のデータはＲＧＢ信号からなる場合が多い。したがって、デジタルカメラ等により取得された画像に対し顔検出処理を行うとき、ＲＧＢ信号からＹ信号を生成することが必要になってしまい、情報処理量の増加が顔検出の高速化を妨げる原因になってしまう。特に、デジタルカメラに撮影装置を実装し、取得した画像に直ぐ顔検出処理を施すような場合、Ｙ信号の生成処理が高速化を阻害する大きな要因となってしまう。

また、デジタルカメラ等の撮影装置を用いて撮影する場合、太陽光線やフラッシュを照明として用いることが多いが、建築写真、夜景、商品撮影等を撮影する時の照明としてタングステン光源が用いられる場合がある。しかし、タングステン光源は一般的な光源に比べてＲ信号成分を多く含んでいるという特性を有しているため、太陽光線等を照明光源として取得された画像と同一の手法により顔検出した場合、顔が検出できないことがあるという問題がある。

さらに、撮影時の明るさが低い（暗い）場合、取得される画像の輝度が足りず上述したブースティングアルゴリズムでは顔が検出できない場合が生じてしまうという問題がある。

そこで、本発明は、撮影時の明るさもしくは照明の種類による顔検出性能の劣化を防止しながら効率的に顔を検出することができる顔検出方法およびこれを用いた撮影装置を提供することを目的とするものである。

本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、照明がタングステン光源であると判定したとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、照明がタングステン光源ではないと判定したとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行うことを特徴とするものである。

本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成する画像生成手段と、撮像手段が人物被写体を撮影したときの照明がタングステン光源であるか否かを判定する照明判定手段と、照明判定手段において照明がタングステン光源であると判定されたときＲ信号画像から顔画像を検出することにより原画像内の顔画像を検出し、照明がタングステン光源ではないと判定したとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。

本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、人物被写体を撮影したときの明るさを判定し、判定した明るさが所定のしきい値よりも小さいとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、判定した明るさが所定のしきい値以上であるとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行うことを特徴とするものである。

本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いて人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成する画像生成手段と、人物被写体を撮影したときの明るさを判定する明るさ判定手段と、明るさ判定手段において明るさが所定のしきい値よりも小さいときと判定されたときＲ信号画像から顔画像を検出することにより原画像内の顔画像を検出し、判定した明るさが所定のしきい値以上であると判定されたときＧ信号画像から顔画像を検出することにより原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。

本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、照明がタングステン光源であると判定したとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、照明がタングステン光源ではないと判定したとき、輝度近似画像から顔画像を検出することにより原画像内の顔画像の検出を行うことを特徴とするものである。

本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成する画像生成手段と、撮影時に用いられた照明がタングステン光源であるか否かを判定する照明判定手段と、照明判定手段において照明がタングステン光源であると判定されたときＲ信号画像から顔画像を検出することにより原画像内の顔画像を検出し、照明がタングステン光源ではないと判定したとき輝度近似画像から顔画像を検出することにより原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。

本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、人物被写体を撮影したときの明るさを判定し、判定した明るさが所定のしきい値よりも小さいとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、判定した明るさが所定のしきい値以上であるとき、輝度近似画像から顔画像を検出することにより原画像内の顔画像の検出を行うことを特徴とするものである。

本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成する画像生成手段と、人物被写体を撮影したときの明るさを判定する明るさ判定手段と、明るさ判定手段において明るさが設定しきい値よりも小さいと判定されたときＲ信号画像から顔画像を検出することにより原画像内の顔画像を検出し、明るさが設定しきい値以上であると判定されたとき輝度近似画像から顔画像を検出することにより原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。

ここで、輝度近似画像は、撮像素子から直接的に取得することができ、輝度情報ではないが輝度情報に近い明度を有する色からなる画像であればどのようなものであってもよく、たとえばホワイト信号からなる画像等が挙げられる。

また、顔検出手段は、いかなる顔の検出方法も用いることができ、たとえば輝度近似画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであってもよい。

このとき、複数の弱判別器は、どのような構成を有するものであってもよく、たとえば複数の弱判別器でカスケードを構成し、上流側の弱判別器が顔であると判別した部分画像について下流側の弱判別器が判別を行うものであってもよい。

さらに、顔検出手段が、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔の可能性のある部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、候補判別器により判別された部分画像について顔であるか否かを判別するものであってもよい。

また、顔検出手段が、輝度近似画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。

さらに、顔検出手段が、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔である可能性のある部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、候補判別器により判別された部分画像について顔であるか否かを判別するものであれば、顔判別器が検出すべき部分画像の数を低減することができるため、判別作業の高速化を図ることができる。

本発明の顔検出方法およびこれを用いた撮影装置によれば、本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、照明がタングステン光源であると判定したとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、照明がタングステン光源ではないと判定したとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行うことにより、タングステン光源の波長特性に合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像もしくはＧ信号画像を直接用いて顔検出を行うため、顔検出処理の高速化を図ることができる。

また、本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、人物被写体を撮影したときの明るさを判定し、判定した明るさが所定のしきい値よりも小さいとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、判定した明るさが所定のしきい値以上であるとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行うことにより、撮影時の明るさに合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像もしくはＧ信号画像を用いて顔検出を行うため、顔検出処理の高速化を図ることができる。

本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、人物被写体を撮影したときの明るさを判定し、判定した明るさが所定のしきい値よりも小さいとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、判定した明るさが所定のしきい値以上であるとき、輝度近似画像から顔画像を検出することにより原画像内の顔画像の検出を行うことにより、タングステン光源の波長特性に合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像もしくは輝度近似画像を用いて顔検出を行うため、顔検出処理の高速化を図ることができる。

本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、照明がタングステン光源であると判定したとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、照明がタングステン光源ではないと判定したとき、輝度近似画像から顔画像を検出することにより原画像内の顔画像の検出を行うことにより、撮影時の明るさに合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像もしくは輝度近似画像を用いて顔検出を行うため、顔検出処理の高速化を図ることができる。

以下、図面を参照して本発明の撮影装置の実施の形態を詳細に説明する。図１は本発明の撮影装置の好ましい実施の形態を示すブロック図である。撮影装置１はたとえばデジタルカメラ等であって、人物被写体からの入射光を複数の受光素子２ａを用いて複数の色成分毎に受光することにより複数の画素データを取得する撮像手段２と、複数の画素データを用いて人物被写体の原画像ＰとＧ信号画像Ｐを生成する画像生成手段３と、撮影時の照明がタングステン光源であるか否かを判定する照明判定手段４と、取得された画像から顔を検出する顔検出手段１０とを備えている。

撮像手段２は、図２（Ａ）に示すように、人物被写体からの入射光を各色成分（たとえばＲＧＢ）毎に受光する複数の受光素子２ａを有しており、各受光素子２ａは各色成分毎の光を受光し光電変換することにより各色成分毎の複数の画素データを取得するようになっている。ここで、図２（Ａ）のようないわゆるベイヤー方式でＲＧＢの受光画素が配列されている場合、緑成分の光を受光する受光画素２ａは、所定のピッチで配列されることになり、いわゆる間引いたＧ画素データを取得すると言うことができる。なお、撮像手段２の配列方式として図２（Ｂ）のようなストライプ方式であってもよい。さらには、受光画素の形状としていわゆるハニカム形状を有するものであってもよい。

画像生成手段３は、撮像手段２により取得された画素データを用いて画像を生成するものであって、ＲＧＢ成分の複数の画素データを用いたカラー画像である原画像Ｐと、赤成分の光を受光して取得された複数の画素データのみを用いたＲ信号画像ＰＲと、緑成分の光を受光して取得された複数の画素データのみを用いたＧ信号画像ＰＧとを生成する機能を有している。なお、赤成分もしくは緑成分を受光する受光素子２ａは図２に示すように受光面上に所定の配列で設けられているため、画像生成手段３は２次元のＲ信号画像ＰＲもしくはＧ信号画像ＰＧを生成することができる。

照明判定手段４は、たとえばデジタルカメラの光源選択メニューによりタングステン光源が選択されているか否かを判定することにより、撮影時に用いられた光源がタングステン光源であるか否かを判定するようになっている。なお、タングステン光源が赤色波長域の方が青色波長域よりも高くなる特性を利用し、照明判定手段４が撮像手段２により取得された画像の色を解析し、画像がタングステン光源の場合の特性が出現しているか否かにより、照明がタングステン光源であるか否かを判定するようにしてもよい。そして、照明判定手段４は、光源がタングステン光源であると判定したとき顔検出手段１０側に原画像ＰとＲ信号画像ＰＲとを出力し、光源がタングステン光源ではないと判定したとき顔検出手段１０側に原画像ＰとＧ信号画像ＰＧとを出力する。

顔検出手段１０は、照明判定手段４から出力されるＲ信号画像ＰＲもしくはＧ信号画像ＰＧにアダブーストアルゴリズム等による顔検出処理を施すものであって、Ｒ信号画像ＰＲもしくはＧ信号画像ＰＧ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、横顔である部分画像を検出する横顔検出手段２０と、正面顔である部分画像を検出する正面顔検出手段３０とを有している。

部分画像生成手段１１に入力されるＲ信号画像ＰＲもしくはＧ信号画像ＰＧには前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、ＣＣＤからのＲＧＢ信号が光量に比例した信号であることに伴い、人間のコントラスト感に近づける処理としてガンマ変換を行うようになっている。具体的には、前処理手段１０ａは例えばＧ信号値=log(Ｇ)（Ｒ信号値=log(Ｒ)）、または、Ｇ信号値=Ｇ^2.2（Ｒ信号値=Ｒ^2.2）、またはＬＵＴによる変換等のガンマ変換後のＲ信号画像ＰＲもしくはＧ信号画像ＰＧを生成する。さらに、前処理手段１０ａは、Ｒ信号画像ＰＲもしくはＧ信号画像ＰＧに対し図３（Ａ）〜（Ｄ）に示すように、多重解像度化して解像度の異なる複数のＲ信号画像ＰＲもしくはＧ信号画像ＰＧを生成する機能を有している。さらに、前処理手段１０ａは、生成した複数のＲ信号画像ＰＲもしくはＧ信号画像ＰＧに対して、局所的な領域におけるコントラストのばらつきを抑制し全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。

部分画像生成手段１１は、図３（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷをＲ信号画像ＰＲもしくはＧ信号画像ＰＧ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。

なお、部分画像生成手段１１は、図３（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、Ｒ信号画像ＰＲもしくはＧ信号画像ＰＧにおいてサブウィンドウＷ内に正面顔もしくは横顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。

横顔検出手段２０は、複数の部分画像ＰＰの中から横顔である部分画像を検出するものであって、複数の部分画像ＰＰについて横顔であるか否かを判別し、横顔である可能性のある部分画像ＰＰを候補画像として判別する横顔候補判別手段２１と、横顔候補判別手段２１により検出された候補画像が横顔であるか否かを判別する横顔判別手段２２とを有している。

横顔候補判別手段２１は、部分画像ＰＰが横顔であるか否かの２値判別を行う機能を有し、図４に示すような複数の弱判別器を有する横顔候補判別器からなっている。横顔候補判別器２１は、アダブーストアルゴリズム（ＡｄａｂｏｏｓｔＡｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ_１〜ＣＦ_Ｍ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、横顔候補判別器２１は弱判別器ＣＦ_１〜ＣＦ_Ｍおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。

具体的には、図５に示すように各弱判別器ＣＦ_１〜ＣＦ_Ｍは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおけるＧ信号値もしくはＲ信号値を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおけるＧ信号値もしくはＲ信号値をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせたＧ信号値もしくはＲ信号値の差分を特徴量ｘとする。各弱判別器ＣＦ_１〜ＣＦ_Ｍ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ_１では座標Ｐ１ａ、Ｐ１ｃにおけるＧ信号値もしくはＲ信号値の差分を特徴量として用い、弱判別器ＣＦ_２では座標Ｐ２ａ、Ｐ２ｂにおけるＧ信号値もしくはＲ信号値の差分を特徴量として用いるようになっている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ_１〜ＣＦ_Ｍに入力するようにしてもよい。

各弱判別器ＣＦ_１〜ＣＦ_Ｍは図６に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）を出力する。さらに、各弱判別器ＣＦ_１〜ＣＦ_Ｍは判別性能を示す信頼度β_１〜β_Ｍを有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍは、スコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）と信頼度β_１〜β_ｍとを用いて判定スコアβ_ｍ・ｆ_ｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦ_ｍの判定スコアβ_ｍ・ｆ_ｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（β_ｍ・ｆ_ｍ（ｘ）≧Ｓｒｅｆ）。

また、横顔候補判別器２１の各弱判別器ＣＦ_１〜ＣＦ_Ｍはカスケード構造を有しており、各弱判別器ＣＦ_１〜ＣＦ_Ｍのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。つまり、弱判別器ＣＦ_ｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦ_ｍ＋１による判別を行い、弱判別器ＣＦ_ｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦ_ｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力された判定スコアＳ_１〜Ｓ_Ｍをそれぞれ個別に設定しきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦ_ｍにおいて判別を行う際、弱判別器ＣＦ_ｍの上流側の弱判別器ＣＦ_１〜ＣＦ_ｍ−１での判定スコアの和Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒが設定しきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。

図１の横顔判別手段２２は、画像内の顔の向き（角度）が９０°の顔、すなわち正面顔を判別する９０°横顔判別器２２−１、６０°の顔画像を判別する６０°横顔判別器２２−２等を備えたものであって、−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器２２−１〜２２−７を有している。また、たとえば０°横顔判別器２２−１は回転角度が０°を中心に−１５°〜＋１５°の範囲内にある顔を判別できるようになっている。なお各横顔判別器２２−１〜２２−７は上述した横顔候補判別器２１と同様にアダブーストアルゴリズムを用いて学習された複数の弱判別器を有しており（図４参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。

次に、正面顔検出手段３０について説明する。正面顔検出手段３０は、複数の部分画像ＰＰの中から正面顔である部分画像ＰＰを検出するものであって、複数の部分画像ＰＰについて正面顔であるか否かを判別し、正面顔である可能性のある部分画像ＰＰを候補画像ＣＰとして判別する正面顔候補判別手段３１と、正面顔候補判別手段３１により検出された候補画像が正面顔であるか否かを判別する正面顔判別手段３２とを有している。

正面顔候補判別手段３１は、部分画像ＰＰが正面顔であるか非顔かの２値判別を行う機能を有し、上記横顔候補検出器２１と同様、アダブーストアルゴリズムにより学習された複数の弱判別器を有する候補判別器からなっている（図４参照）。

正面顔判別手段３２は、画像の縦方向と顔の中心線との角度が０°の顔を判別する０°正面顔判別器３２−１、３０°の顔画像を判別する３０°正面顔判別器３２−２等を備えたものであって、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器３２−１〜３２−１２を有している。なお、たとえば０°正面顔判別器３２−１は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。そして、原画像ＰとＲ信号画像ＰＲもしくはＧ信号画像ＰＧとは同一の被写体を撮影するものであるため、原画像ＰにおいてＲ信号画像ＰＲもしくはＧ信号画像ＰＧと同じ領域に顔が存在する。よって、顔検出手段１０はＲ信号画像ＰＲもしくはＧ信号画像ＰＧから顔画像ＦＰを検出することにより、原画像Ｐ内から顔画像ＦＰを検出することができる。

なお、複数の正面顔判別器３２−１〜３２−１２は、上述した横顔候補判別手段２１のように、それぞれアダブーストアルゴリズムにより学習された複数の弱判別器を有しており（図４参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。

このように、撮影時の照明の種類に合わせて顔検出において用いる信号の種類を変えることにより顔検出の精度を高めることができる。タングステン光源は太陽光等の光源に比べ色温度の低い光源であって、青色光のエネルギーが赤色光のエネルギーよりも相対的に低いという特性を有しており、太陽光等と同一の検出手法により検出しようとすると顔検出の精度が落ちてしまう。そこで、上述したように照明がタングステン光源である場合、Ｒ信号画像ＰＲを用いて顔検出を行い、タングステン光源ではない場合にはＧ信号画像ＰＧを用いて顔検出を行う。これにより、光源の種類によらず高精度な顔検出を実現することができる。

また、従来のように輝度情報（Ｙ信号）を用いて顔の判別を行うのではなく、Ｒ信号画像ＰＲもしくはＧ信号画像ＰＧを用いて顔の判別を行うものである。顔の判別に用いる信号として輝度情報を用いた場合、肌の色の違い等の個人差による顔検出のブレをなくすことができるが、ＲＧＢ信号からなる原画像Ｐから輝度情報を抽出する際には、輝度Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂという人間の比視感度に基づく変換式によりデータ変換しなければならない。一方、図７に示すように、部分画像ＰＰにおける輝度情報を最も多く含んでいるのは、通常の光源であればＲＧＢ信号のうちＧ信号であり、タングステン光源であればＲ信号である。この点に着目し、顔検出手段１０においてＲ信号画像ＰＲもしくはＧ信号画像ＰＧを用いる。すると、従来の輝度情報を用いたときの検出性能をほぼ維持しつつ、ＲＧＢ信号から輝度情報への変換処理が不要となり、顔検出の高速化を図ることができる。

図８は本発明の顔判別方法の好ましい実施の形態を示すフローチャートであり、図１から図８を参照して顔判別方法について説明する。まず、撮像手段２により画像Ｐが取得されるとともに（ステップＳＴ１）、照明判定手段４により照明がタングステン光源であるか否かが判断される（ステップＳＴ２）。そして、照明がタングステン光源であると判定された場合、Ｒ信号画像ＰＲに基づいて顔の検出が行われる（ステップＳＴ３）。一方、照明がタングステン光源ではないと判定された場合、Ｇ信号画像ＰＧのＧ信号に基づいて顔の検出が行われる（ステップＳＴ４）。これにより、原画像Ｐの中から正面顔もしくは横顔からなる顔画像ＦＰが判別される。

図９は本発明の撮影装置の第２の実施の形態を示すブロック図であり、図９を参照して撮影装置１００について説明する。なお、図９の撮影装置１００において図１の撮影装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。

図９の撮影装置が図１の撮影装置１と異なる点は、撮影手段の構成および照明がタングステン光源であったときの顔検出の方法である。具体的には、撮影手段１２０は、図１０（Ａ）に示すように、いわゆるハニカムプラス構造を有しており、複数の第１受光素子１２０ａと、第１受光素子１２０ａよりも受光面積の小さい複数の第２受光素子１２０ｂとを備えており、複数の第１受光素子１２０ａと複数の第２受光素子１２０ｂとは同じ人物被写体を撮影するようになっている。ここで、複数の第１受光素子１２０ａは入射する光を受光し光電変換することによりＲＧＢからなる画素データを取得するものである。一方、複数の第２受光素子１２０ｂは、入射する光のうち輝度近似信号であるホワイト信号を受光し輝度近似画素データを取得するようになっている。輝度近似画素データとは、輝度情報（Ｙ信号）ではないが、第２受光素子から直接的に取得することができる輝度情報（Ｙ信号）に近い信号からなる画像を意味し、たとえば上述したホワイト信号が挙げられる。このホワイト信号は図１１に示すように、波長帯域によらず輝度情報（Ｙ信号）に比例して大きくなるものであって、ＲＧＢの各波長帯域に輝度情報（Ｙ信号）の強度が依存するものとは異なる点に特徴がある（図７参照）。

なお、撮影手段２の構造として、図１０（Ｂ）に示すような第１受光素子１２０ａと第１受光素子１２０ａよりも受光面積の小さい第２受光素子１２０ｂとにより１つのハニカム形状を形成したいわゆるダブルハニカム構造を用いるようにしてもよい。

画像生成手段３は、第１受光素子１２０ａにおいて取得された画素データから原画像Ｐを生成するとともに、第２受光素子１２０ｂから取得された輝度近似画素データから輝度近似画像Ｐ１０を生成するようになっている。

そして、照明判定手段４は照明がタングステン光源であると判定した場合、Ｒ信号画像ＰＲを顔検出手段１０側に出力し、顔検出手段１０はこのＲ信号画像ＰＲを用いて顔検出を行う。一方、照明判定手段４は照明がタングステン光源ではないと判定した場合、輝度近似信号画像Ｐ１０を顔検出手段１０側に出力し、顔検出手段１０はこの輝度近似画像Ｐ１０を用いて顔検出を行う。

これにより、上述のようにＲＧＢ信号から輝度情報（Ｙ信号）を抽出するための信号処理を行う必要がないため顔検出の高速化を図ることができるとともに、より輝度に近い情報に基づいて顔検出を行うことができるため検出精度の低下を低減することができる。

図１２は本発明の撮影装置の第３の実施の形態を示すブロック図であり、図１２を参照して撮影装置２００について説明する。なお、図１２の撮影装置２００において図１および図の撮影装置１、１００と同一の構成を有する部位には同一の符号を付してその説明を省略する。

図１２の撮影装置２００が図の撮影装置と異なる点は、照明の種類ではなく撮影時の明るさを判定することにより顔検出に用いる信号の種類を変えることである。すなわち、撮影装置２００は照明判定手段の代わりに明るさ判定手段２３０を有しており、この明るさ判定手段２３０における判定結果に基づいて顔検出に用いられる信号の種類が決定されるようになっている。ここで、明るさ判定手段２３０は、たとえば撮影装置におけるモード設定、フラッシュの有無等を参照して明るさを判定してもよい。そして、明るさ判定手段２３０は明るさが所定のしきい値より小さいと判定した場合、原画像ＰおよびＲ信号画像ＰＲを顔検出手段１０側に出力し、顔検出手段１０はＲ信号画像ＰＲを用いて原画像Ｐからの顔検出を行う。一方、明るさ判定手段２３０は明るさが所定のしきい値以上であると判定した場合と判定した場合、原画像Ｐおよび輝度近似画像Ｐ１０を顔検出手段１０側に出力し、顔検出手段１０は輝度近似画像Ｐ１０を用いて原画像Ｐからの顔検出を行うようになっている。

なお、図１２において輝度近似画像Ｐ１０を用いる場合について例示しているが、第１の実施の形態にように輝度近似画像Ｐ１０の代わりにＧ信号画像ＰＧを用いるようにしてもよい。この場合であっても、撮影時の明るさに合わせて顔検出において用いる信号の種類を変えることにより顔検出の精度を高めることができる。つまり、図７に示すように、輝度情報（Ｙ信号）はその値が小さいときにはＲ信号値への依存が大きくなり、大きいときにはＧ信号値への依存が大きくなる。そこで、上述したように明るさが所定のしきい値より小さい場合、画像のＲ信号画像ＰＲを用いて顔検出を行い、所定のしきい値以上である場合には画像のＧ信号画像ＰＧを用いて顔検出を行う。これにより、いずれの明るさであっても高精度な顔検出を実現することができる。この場合、図１２のような第２受光素子１２０ｂを備えた撮像手段を用いる必要はなく通常のＣＣＤ等を用いることができる。

上記実施の形態によれば、照明の種類もしくは撮影時の明るさに合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像ＰＲまたはＧ信号画像ＰＧもしくは輝度近似画像Ｐ１０を用いて顔検出を行うため、顔検出処理の高速化を図ることができる。

なお、複数の弱判別器ＣＦ_１〜ＣＦ_Ｍがカスケード構造を有し、上流側の弱判別器ＣＦ_１〜ＣＦ_Ｍが顔であると判別した部分画像ＰＰについて下流側の弱判別器が判別を行うものであれば、下流側の弱判別器が判別すべき部分画像の数を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。

さらに、顔検出手段１０が、部分画像生成手段１１により生成された部分画像が顔であるか否かを判別し、顔である可能性のある部分画像ＰＰを候補画像ＣＰとして検出する候補検出手段２１、３１をさらに有し、顔判別器２２、３２が、候補判別器２１、３１により判別された部分画像ＰＰについて顔であるか否かを判別するものであれば、顔判別器２２、３２が検出すべき部分画像の数を低減することができるため、判別作業の高速化を図ることができる。

本発明の実施の形態は、上記実施の形態に限定されない。たとえば、図１において各候補検出手段２１、３１を有している場合について例示しているが、部分画像ＰＰについて直接各顔検出手段２２、３２による顔検出が行われるようにしても良い。

本発明の撮影装置の好ましい実施の形態を示すブロック図図１の撮影手段の一例を示す模式図図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図図１の候補検出手段の候補判別器の一例を示すブロック図図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図図１の弱判別器が有するヒストグラムの一例を示すグラフ図輝度情報とＲＧＢ信号との相関関係を示すグラフ本発明の顔検出方法の好ましい実施の形態を示すフローチャート本発明の撮影装置の第２の実施の形態を示すブロック図図８の撮影装置における第１受光素子および第２受光素子の一例を示す模式図輝度情報と輝度近似信号との相関関係を示すグラフ本発明の撮影装置の第３の実施の形態を示すブロック図

符号の説明

１、１００、２００撮影装置
２、１２０撮影手段
２ａ、１２０ａ第１受光素子
１２０ｂ第２受光素子
３照明判定手段
１０顔検出手段
１１部分画像生成手段
２３０明るさ判定手段
ＣＦ_１〜ＣＦ_ｍ弱判別器
ＣＦ_ｍ弱判別器
Ｐ原画像
ＰＲＲ信号画像
ＰＧＧ信号画像
Ｐ１０輝度近似画像

Claims

人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、
取得した前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、
前記人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、
前記照明がタングステン光源であると判定したとき、前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行い、
前記照明がタングステン光源ではないと判定したとき、前記Ｇ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像の検出を行う
ことを特徴とする顔検出方法。
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、
取得した前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、
前記原画像の輝度信号に基づいて前記人物被写体を撮影したときの明るさを判定し、
判定した前記明るさが所定のしきい値よりも小さいとき、前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行い、
前記判定した明るさが所定のしきい値以上であるとき、前記Ｇ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像の検出を行う
ことを特徴とする顔検出方法。
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、
取得した前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、ホワイト信号を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、
前記人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、
前記照明がタングステン光源であると判定したとき、前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行い、
前記照明がタングステン光源ではないと判定したとき、前記輝度近似画像から前記顔画像を検出することにより前記原画像内の前記顔画像の検出を行う
ことを特徴とする顔検出方法。
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、
取得した前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、ホワイト信号を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、
前記原画像の輝度信号に基づいて前記人物被写体を撮影したときの明るさを判定し、
判定した前記明るさが所定のしきい値よりも小さいとき、前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行い、
前判定した明るさが所定のしきい値以上であるとき、前記輝度近似画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行う
ことを特徴とする顔検出方法。
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成する画像生成手段と、
該撮像手段が前記人物被写体を撮影したときの照明がタングステン光源であるか否かを判定する照明判定手段と、
該照明判定手段において前記照明がタングステン光源であると判定されたとき前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像を検出し、前記照明がタングステン光源ではないと判定したとき、前記Ｇ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出する顔検出手段と
を備えたことを特徴とする撮影装置。
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数の画素データを用いて前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成する画像生成手段と、
前記原画像の輝度信号に基づいて前記人物被写体を撮影したときの明るさを判定する明るさ判定手段と、
該明るさ判定手段において前記明るさが所定のしきい値よりも小さいときと判定されたとき前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像を検出し、前記判定した明るさが所定のしきい値以上であると判定されたとき前記Ｇ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出する顔検出手段と
を備えたことを特徴とする撮影装置。
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、ホワイト信号を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成する画像生成手段と、
撮影時に用いられた照明がタングステン光源であるか否かを判定する照明判定手段と、
該照明判定手段において前記照明がタングステン光源であると判定されたとき前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像を検出し、前記照明がタングステン光源ではないと判定したとき前記輝度近似画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出する顔検出手段と
を備えたことを特徴とする撮影装置。
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、ホワイト信号を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成する画像生成手段と、
前記原画像の輝度信号に基づいて前記人物被写体を撮影したときの明るさを判定する明るさ判定手段と、
該明るさ判定手段において明るさが設定しきい値よりも小さいと判定されたとき前記Ｒ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出し、明るさが設定しきい値以上であると判定されたとき前記輝度近似画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出する顔検出手段と
を備えたことを特徴とする撮影装置。
前記顔検出手段が、
前記画像もしくは前記輝度近似画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記複数の部分画像のうち顔である該部分画像を検出する顔検出手段と
を有し、
該顔検出手段が、複数の弱判別器による複数の判別結果を用いて前記部分画像が顔であるか否かを判別する顔判別器を備えたものであることを特徴とする請求項５から８のいずれか１項記載の撮影装置。
前記複数の弱判別器がカスケードを構成し、上流側の前記弱判別器が顔であると判別した前記部分画像について下流側の前記弱判別器が判別を行うものであることを特徴とする請求項５から９のいずれか１項記載の撮影装置。
前記顔検出手段が、前記部分画像生成手段により生成された前記部分画像が顔であるか否かを判別し、顔の可能性のある前記部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、前記候補判別器により判別された前記部分画像について顔であるか否かを判別するものであることを特徴とする請求項９または請求項１０記載の撮影装置。