JP4390487B2 - 頭部領域抽出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラなどで撮影された対象画像から、円形状、楕円形状などの所定形状を有する頭部領域を抽出する技術に関する。
【０００２】
【従来の技術】
画像中の円、楕円といった特定の形状を有する領域を抽出する方法は古くから行われている。この方法では、対象画像からエッジ画像を抽出し、特定形状を表す参照パターンを用いて、円、楕円などの輪郭を表す特徴画像を探索する。
また、人体の頭部又は顔面の形状をほぼ楕円とみなすことにより、同様の処理を行って対象画像中の頭部領域又は顔面領域の位置及び大きさを特定することも古くから行われている。
【０００３】
なお、本明細書においては、特に「頭部」と「顔面」を区別する必要がないときは、これらを代表して「頭部」と称する。また、頭部の形状は、「楕円」、「円」、「倒卵形」などに近似できるが、特に区別する必要がないときは、これらを代表して「楕円」と称する。同様に、「頭部領域」「顔面領域」を代表して「頭部領域」といい、「円領域」「楕円領域」などを代表して「楕円領域」という。
【０００４】
探索の対象となるエッジ画像としては、対象画像の輝度情報から抽出したエッジ画像（以下、輝度エッジ画像と称す）、色相情報から抽出したものなどが用いられる。特に、後者については、顔、手などの領域を抽出するために色相情報から肌色度合いの画像を生成し、肌色度合い画像からエッジ画像（以下、「肌色エッジ画像」と称す）を抽出する。
【０００５】
このようなエッジ画像において参照パターンを用いて参照パターンに類似する画像の探索を行う場合、対象画像中に参照パターンと同じ大きさの候補領域を設定し、候補領域を移動させながら参照パターンと候補領域の類似度を計算し、類似度が最大となる領域あるいは、類似度があらかじめ定めたしきい値より大きな領域に目的の形状が存在すると判断することが多い（例えば、特許文献１参照。）。
【０００６】
【特許文献１】
特開平８−６３５９７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、対象画像中には、通常、目的以外の形状が含まれている。例えば、車両、扉、窓などの人工構造物は、水平又は垂直な直線部分を有している。このような人工構造物からエッジ画像を抽出すると、構造物の直線を含む箇所にて強いエッジ強度が算出される。このエッジ画像に対して、楕円の参照パターンを用いて探索すると、エッジ画像中の直線を含む領域において、そのエッジ強度の高さから楕円でないにもかかわらず高い類似度が算出されることになる。したがって、人工構造物の水平又は垂直な直線部分を有する領域が、楕円領域として誤って抽出されてしまうという問題があった。
【０００８】
また、楕円の参照パターンを用いて頭部領域を探索する場合、顎と首の境界であるエッジは強度が低くなりがちである。このため、頭部領域が含まれる領域であるにもかかわらず、低い類似度が算出されてしまい、頭部領域を抽出し損ねるという問題があった。
【０００９】
さらに、輝度エッジ画像を用いて探索をした場合に、照明が不十分であると、目的の領域を抽出し損ねる問題があった。また、肌色エッジ画像を用いて探索をした場合には、ダンボールなどの肌色度合いの高いものによって誤った抽出をしてしまうという問題があった。
【００１０】
本発明は、対象画像から、楕円形状を有する頭部領域を抽出する頭部領域抽出装置において、頭部でない部分を頭部領域として誤って抽出することを減少させ、頭部領域を抽出し損ねる誤りを減少させることを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、上記問題を解決するために、参照パターンとして、単なる楕円ではなく、エッジ画像のエッジ方向に垂直となる接線との接点付近の強度を小さくあるいは０に設定して得られた参照パターンを作成する。そして、この参照パターンを用いて、対象画像から抽出したエッジ画像を走査する。
このようにすることで、直線の影響による強いエッジ強度を有する領域を楕円領域として誤抽出をすることを減少することが可能となる。
【００１２】
また、本発明では、参照パターンの下側の値を小さくあるいは０に修正した参照パターンを用いる。こうすることで、顎付近のエッジが抽出しにくいことによる頭部領域を抽出し損ねることを減少させることができる。
【００１３】
さらに、本発明では、動き領域抽出手段を設け、頭部領域の候補領域上部及び下部に位置する所定領域における動き領域の存在の有無又は割合を領域抽出のスコアに加味することにより、領域抽出結果の精度を向上させることができる。
また、本発明では、大きさ又は縦横比が異なる複数の参照パターンを用いて探索を行い、それらの結果を投票処理することにより、抽出の精度を向上させることができる。
【００１４】
さらに、本発明では、特徴画像として輝度エッジ画像、肌色エッジ画像の両者を用い、それぞれのエッジ画像に対して計算された類似度を相補的に利用することにより、環境に対してロバストな抽出を行うことを可能とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態について、図を用いて説明する。
図１は、頭部領域抽出装置の構成を示す図である。
図１の頭部領域抽出装置１は、例えば、インターホン装置に組み込まれる。
インターホン装置は、住戸の玄関先などに設置されるインターホン子機と、住戸内に設置されるインターホン親機とから構成される。
【００１６】
画像入力部１０は、インターホン子機に備えられ、撮像画像を常時インターホン親機に送出する。
制御部５０と出力部３２は、インターホン親機に備えられる。
画像入力部１０は、映像を装置に入力するための手段であり、入力された映像をディジタル化し画像データとして出力する。画像入力部１０はＣＣＤカメラ、増幅器、Ａ／Ｄ変換器などで構成される。
【００１７】
動き領域抽出部１４は、画像入力部１０から入力された画像データの中から人物などの動きのある領域を検出し、検出した領域の位置情報を出力する。
輝度エッジ画像生成部１２は、画像入力部１０から入力された画像データの輝度情報を用いて画像データと同じ大きさの縦エッジ画像と横エッジ画像を生成し出力する。なお、このとき、偶数あるいは奇数の画素を間引いて縦エッジ画像及び横エッジ画像を生成することで、処理を高速化することができる。
【００１８】
肌色エッジ画像生成部１６は、肌色度合い画像を生成し、肌色度合い画像から縦エッジ画像と横エッジ画像を生成し出力する。
テンプレート記憶部２０は、エッジ画像から顔の輪郭を抽出するための比較処理を行う際に参照するテンプレート（以下、「参照パターン」という。）及び、投票する領域を規定するためのパターン（以下、「投票パターン」という。）を記憶する記憶手段である。テンプレート記憶部２０には、大きさや縦横比を異ならせた複数の参照パターンと各参照パターンに対応した複数の投票パターンが、予め設定されて記憶されている。
【００１９】
比較部２４は、テンプレート記憶部２０から参照パターンを順次読み出し、輝度エッジ画像生成部１２及び肌色エッジ画像生成部１６から入力されるエッジ画像上を、参照パターンを用いて走査しながらエッジ画像と参照パターンとの積和演算を行う。そして、積和演算結果を基にスコアを算出し、当該スコアを予め定めたしきい値と比較する。
【００２０】
スコア記憶部２２は、比較部２４から入力される比較結果であり、比較対象となった領域ごとの類似度合いを表すスコアと、スコアを算出する際に用いた参照パターンを特定する情報と、エッジ画像中の比較対象となった領域を特定する位置情報とを一組としたデータを記憶する。
【００２１】
投票結果記憶部２８は、輝度エッジ画像生成部１２及び肌色エッジ画像生成部１６が出力するエッジ画像の画素数と同じ個数の投票値を、各画素の座標と対応付けて記憶することができる記憶手段である。投票結果記憶部２８は、投票部２６が出力し指定する座標に、比較部２４が出力し指定する投票値を保持する。
なお、本実施形態において、投票値とは、後述する投票処理によって得られる候補領域の強度情報である。
【００２２】
領域判定部３０は、比較部２４から比較処理の終了通知を受け取ると、投票結果記憶部２８に記憶されている投票値を順次読み出し、あらかじめ定められたしきい値と比較する。投票値がしきい値より大きな値を示す座標を選出して中間結果とする。スコア記憶部２２に記憶されている情報のうち、位置情報が中間結果と合致する情報を読み出し、対応するスコアをあらかじめ定めたしきい値と比較する。スコアがしきい値より大きいものを選出し、スコアを算出した参照パターンに対応する投票パターンが示す領域を候補領域情報として出力する。
【００２３】
出力部３２は、頭部領域の抽出結果を利用者に提示する手段であり、モニタ又はブザーなどで構成される。
輝度エッジ画像生成部１２、動き領域抽出部１４、肌色エッジ画像生成部１６、テンプレート記憶部２０、スコア記憶部２２、比較部２４、投票部２６、投票結果記憶部２８、領域判定部３０は、ＣＰＵ、マイコン、ＤＳＰなどのプロセッサ及び、ＳＲＡＭ、ＤＲＡＭなどのメモリを用いて構成することができる。
【００２４】
図２を用いて、頭部領域抽出装置１の処理について説明する。
ステップＳ１００で、訪問者がインターホンのスイッチボタンを押下すると、画像入力部１０が映像を取り込み、画像データを出力する。
ステップＳ１０２で、動き領域抽出部１４は、画像入力部１０から入力された画像データの中から人物などの動きのある領域を検出し、検出した領域の位置情報を出力する。
【００２５】
動き領域の検出は、公知の背景差分法やフレーム間差分法などを用いて実現することができる。背景差分法によって検出処理を実現する場合は、スイッチボタンの押下による映像の取り込みとは関係なく、一定間隔で映像を取り込んで画像データを背景画像として蓄積しておいても良い。あるいは、一定間隔で取り込んだ画像を用いて特公平６−１４３５８に示されているような更新処理を行いながら背景画像を蓄積しておいても良い。
【００２６】
フレーム間差分法によって検出処理を実現する場合も、スイッチボタンの押下による映像の取り込みとは関係なく、一定間隔で映像を取り込んで画像データを背景画像として蓄積しておき、スイッチボタンが押下されたタイミングから一定時間遡った時刻に蓄積された背景画像との差分処理を実行するようにすれば良い。
【００２７】
ステップＳ１０４で、輝度エッジ画像生成部１２は、画像入力部１０から入力される画像データの輝度情報から縦エッジ画像Ｅｌｖと横エッジ画像Ｅｌｈを生成し出力する。
このときのエッジ画像生成処理は、動き領域抽出部１４で検出された動き領域とその周辺の領域を含む領域に限定して行う。また、このとき各エッジ画像に対して丸め処理を施しておいてもよい。
【００２８】
ここで、輝度エッジとは、輝度値の明るい部分と暗い部分の境界を示すものである。輝度エッジ画像とは、入力された画像における画素ごとに明るさの境界であるかどうかを周辺の画素との比較によりその度合い（明るさの変化度合い＝エッジ強度）を計算し、全画素についての計算結果を画像として示すものである。輝度エッジ画像では、境界の明るさの差が大きい場合には輝度エッジ画像の画素（＝エッジ強度）の値が大きくなり、差が小さい場合（境界でない場合）は輝度エッジ画像の画素の値は小さくなる。
【００２９】
通常、この明るさの境界に方向（どちらの方向に明るくなっているか）を持たせることが多く、一般的には、縦方向と横方向に分けて上記の計算を行い、エッジの水平方向での変化、すなわち左から右（または右から左）にどの程度明るさが変化しているかを計算した結果を縦エッジ画像という。つまり、この縦エッジ画像のエッジの方向は水平方向となる。また、エッジの垂直方向での変化、すなわち上から下（または下から上）にどの程度明るさが変化しているかを計算した結果を横エッジ画像という。この横エッジ画像のエッジの方向は垂直方向となる。
【００３０】
一般的に、エッジ強度は下記のような３×３の Prewitt フィルタを用いて算出することができる。
−１ ０ ＋１ −１ −１ −１
−１ ０ ＋１ ０ ０ ０
−１ ０ ＋１ ＋１ ＋１ ＋１
縦エッジ計算用フィルタ 横エッジ計算用フィルタ
【００３１】
その他にもガウシアンフィルタを用いたエッジ抽出手法なども知られている。
図３に、四角形および円の画像から計算した縦エッジ画像および横エッジ画像の例を示す。
縦エッジ画像では、画像上で垂直な部分のエッジ強度が特に強調され、横エッジ画像では画像上で水平な部分のエッジ強度が特に強調される性質がある。
【００３２】
なお、縦エッジ画像と横エッジ画像の各画素値の平方根や４乗根などを計算し、これらを輝度エッジ画像生成部１２の出力としても良い。このように丸め処理を行うことにより、水平な直線又は垂直な直線の部分に対して極端に大きなエッジ強度となり、人工構造物などを頭部領域として誤抽出してしまうことを避けることができる。
【００３３】
ステップＳ１０６で、肌色エッジ画像生成部１２は、画像入力部１０から入力される画像データに対し、その色相情報から肌色度合い画像を生成し、肌色度合い画像から縦エッジ画像Ｅｃｖと横エッジ画像Ｅｃｈを生成する。また、このとき各エッジ画像に対して丸め処理を施して出力してもよい。
【００３４】
肌色エッジ画像生成部１６は、まず、画像入力部１０から入力された画像データの色情報を用いて、画像データと同じ大きさの肌色度合画像を生成する。
肌色度合画像は、画像中の各画素において肌色らしさを計算し、全画素についての計算結果を画像として示すものである。肌色らしさの計算結果が高い（肌色度合いが強い）画素は肌色度合い画像の画素値を高く、肌色らしさの計算結果が低い（肌色度合いが弱い）画素は肌色度合い画像の画素値を低くする。
【００３５】
ここで、肌色らしさの計算方法としては、以下のような手法が考えられる。入力画像がＲＧＢ表色系（各ＲＧＢの値は０〜２５５）の場合では、下記のような公知の式により各画素をＨＳＶ表色系（各ＨＳＶの値は０〜２５５）に変換する。そして、その色相（Ｈ）成分が３０付近にある場合に、肌色であることが知られている。したがって、（Ｈ−３０）の絶対値をその肌色度合いの計算値としても良い。
【００３６】
あるいは、２０≦Ｈ≦４０の場合は、肌色度合い＝２５５とし、それ以外の場合は、肌色度合い＝（Ｈ−３０）の絶対値というようにしてもよい。
以下に、ＲＧＢからＨＳＶへの変換式を示す。
【００３７】
【数１】

【００３８】
上記のようにして作成した肌色度合い画像は、顔面や手などの肌色部分や赤色のシャツなどは画素値が大きく、空や木などのような青や緑の部分は画素値の低い画像となる。
肌色エッジ画像生成部１６は、次に、肌色度合い画像から縦エッジ画像と横エッジ画像を生成し出力する。前述の輝度エッジ画像生成部１２では明るさの差をエッジ強度として算出したが、ここでは肌色度合いの差をエッジ強度として算出する。算出の方法は輝度エッジ画像生成部１２と同様である。
【００３９】
なお、輝度エッジ画像生成部１２と同様に、肌色エッジ画像生成部１６の処理を動き領域抽出部１４の出力を基にして限定することにより、処理に要する負荷を軽減することが可能となる。また、輝度エッジ画像生成部１２と同様の丸め処理を行っても良い。
【００４０】
ここでは、縦エッジ画像用と横エッジ画像用にそれぞれＩ個の参照パターンが用意され、各参照パターンには０から（Ｉ−１）の識別番号が与えられ、テンプレート記憶部２０に記憶されているものとする。以下、識別番号ｉの縦エッジ画像用参照パターンをＲｖ（ｉ）、識別番号ｉの横エッジ画像用参照パターンをＲｈ（ｉ）とする。
【００４１】
テンプレート記憶部２０は、エッジ画像から顔の輪郭を抽出するための比較処理を行う際に参照するテンプレート及び、投票する領域を規定するためのパターンを記憶する記憶手段である。
ここでは縦エッジ画像用参照パターンＲｖ（ｉ）と横エッジ画像用参照パターンＲｈ（ｉ）に対応する投票パターンは共通のものであるとし、識別番号ｉで特定される投票パターンをＶ（ｉ）で表す。
【００４２】
図４に、参照パターンの例を示す。
参照パターンは頭部の輪郭に相当するエッジ画像を良好に抽出できるような形状のものをあらかじめ用意しておく。一般的には、前記形状として図４（Ａ）のような楕円が用いられる。
【００４３】
本例では、エッジ画像のエッジ方向に垂直となる接線との接点付近の値を小さく修正する。例えば、縦エッジ及び横エッジのエッジ方向となる水平方向及び垂直方向に垂直となる接線により形成される四角形を用意し、図４（Ｂ）のように楕円に外接する四角形との交点付近の値を小さくあるいは０にしたパターンを作成しておく。
図４（Ｂ）の例では、白い領域の画素値を０、黒い領域の画素値を２５５に設定する。これによって人工構造物などに含まれる垂直な直線、水平な直線又は四角形を楕円として誤抽出することが減少される。
【００４４】
さらに、参照パターンを図４（Ｃ）のように、下側４分の１程度の領域の値を小さくあるいは０に修正しておくようにしても良い。頭部を抽出する場合、顎付近が首とつながった画像となるため、顎領域がエッジとして抽出できないことがある。参照パターンの下側４分の１程度の領域の値を上記のように設定することで、エッジが出にくい顎付近の比較処理に与える寄与を小さくし、頭部の輪郭を検出し損ねる誤りを減らすことが可能となる。
【００４５】
図５は、図４（Ｃ）の参照パターンの変形例を示す。様々な大きさや形状の頭部の輪郭を抽出するために、参照パターンは、人間の頭部の縦横比と入力系のひずみなどを考慮して適切な大きさ、縦横比を検討し、大きさや縦横比や傾きの異なるものを複数用意しておく。
【００４６】
図６は、図４（Ｃ）に示した参照パターンを更に修正してエッジ画像のエッジ方向に垂直となる接線との接点付近の値を０に近い小さな値に設定する例を示す。
図６（Ａ）は縦エッジ画像用の参照パターンの例、図６（Ｂ）は横エッジ画像用の参照パターンの例である。各図において、黒いほど画素値が大きく白いほど画素値が小さい。
【００４７】
また、参照パターンは処理対象となるエッジ画像の種類ごとに用意しておくのが望ましい。
例えば、輝度情報から抽出した縦エッジ画像及び横エッジ画像、肌色度合い画像から抽出した縦エッジ画像及び横エッジ画像を用いる場合は、同じ大きさのパターンを画像ごとに４種類ずつ用意しておく。あるいは、輝度情報から抽出した縦エッジ画像と肌色度合い画像から抽出した縦エッジ画像に対する参照パターンを共通化し、輝度情報から抽出した横エッジ画像と肌色度合い画像から抽出した横エッジ画像に対する参照パターンを共通化して合計２種類としても良い。
【００４８】
ステップＳ１０８で、比較部２４は、スコア記憶部２２及び投票結果記憶部２８の初期化を行う。具体的には、過去の処理によってスコア記憶部２２に書き込み記憶されたスコア情報をクリアし、同じく過去の処理によって投票結果記憶部２８に記憶されている投票値をすべて０にする。
【００４９】
スコア記憶部２２は、比較部２４から入力される比較結果であり、領域ごとの類似度合いを表すスコアと、スコアを算出する際に用いた参照パターンを特定する情報と、エッジ画像中の比較対象となった領域を特定する位置情報とを一組としたデータを記憶する。
ステップＳ１１０で、比較部２４は、参照パターンの数に関するループ回数をカウントするｉを０に初期化し、ｉに関するループ処理を開始する。
【００５０】
ステップＳ１１２で、比較部２４は、テンプレート記憶部２０に記憶されている縦エッジ画像用と横エッジ画像用の参照パターンＲｖ（ｉ），Ｒｈ（ｉ）をそれぞれ読み出し、動き領域抽出部１４から入力される動き領域を基に走査範囲を決定する。このように、走査範囲を限定することで、処理量を低減することができる。
【００５１】
図７を用いて、走査範囲の決定方法を説明する。
動き領域６１が図７（Ａ）のように抽出されると、その外周から参照パターンｉの短径および長径に基づく長さだけ内側の領域を走査範囲６２とする。走査範囲６２の各座標上を参照パターンの重心が移動するものとし、これらに０から（Ｊ−１）の識別番号を与えておく。識別番号ｊの座標値をＰ（ｊ）とする。
【００５２】
ステップＳ１１４で、比較部２４は、走査領域の座標数に関するループ回数をカウントするカウンタ値ｊを０に初期化する。
【００５３】
ステップＳ１１６で、比較部２４は、積和演算処理を行う。
比較部２４は、識別番号ｉの参照パターンＲｖ（ｉ）の重心が、動き領域内の識別番号ｊの座標値Ｐ（ｊ）と一致するように、輝度情報から求めた縦エッジ画像Ｅｌｖ上に縦エッジ画像用参照パターンＲｖ（ｉ）を重ね合わせ、重ね合わさった領域内で両者の積和演算を行う。また、横エッジ画像Ｅｌｈと横エッジ画像用参照パターンＲｈ（ｉ）を用いて同様の積和演算処理を行う。同様に、肌色度合いについても縦エッジ画像Ｅｃｖと縦エッジ画像用参照パターンＲｖ（ｉ）の組および横エッジ画像Ｅｃｈと横エッジ画像用参照パターンＲｈ（ｉ）の組を用いて同様の積和演算処理を行う。
【００５４】
縦エッジに対する参照パターンの画素値をＲｖ（ｘ，ｙ）、横エッジに対する参照パターンの画素値をＲｈ（ｘ，ｙ）、縦エッジ画像の画素値をＥｖ（ｘ，ｙ）、横エッジ画像の画素値をＥｈ（ｘ，ｙ）と表すと、積和演算結果は次式で計算される。
Σ｛Ｒｖ（ｘ，ｙ）Ｅｖ（ｘ，ｙ）＋Ｒｈ（ｘ，ｙ）Ｅｈ（ｘ，ｙ）｝
【００５５】
比較部２４は、スコアがしきい値より大きい場合は、参照パターン及び比較対象となったエッジ画像上の候補領域の位置情報と共にこの領域のスコアを出力し、これらの情報をスコア記憶部２２に追加する。これと同時に、比較部２４は位置情報と使用した参照パターンに対応した投票パターンを特定する情報を投票部２６に出力する。
【００５６】
比較部２４は、すべての種類のエッジ画像に対し、各エッジ画像用に用意されたすべての参照パターンによる走査が終了すると、領域判定部３０に対し、処理が終了した旨を通知する。
また、比較部２４のスコア算出処理において、動き領域抽出部１４からの入力を用いて比較対象となったエッジ画像上の候補領域に対し、垂直方向上部所定領域に存在する動き領域の割合を算出する。その結果、前記所定領域に前記動き領域が占める割合が小さい場合は、スコア値を高く修正するような処理を加えても良い。この処理は、候補領域が真の頭部領域であれば、候補領域の上部領域は背景すなわち動き領域ではない可能性が高いという知見に基づいている。このようにすることで、より抽出精度の向上を図ることが可能となる。
【００５７】
さらに、比較部２４の前記スコア算出処理において、動き領域抽出部１４からの入力を用いて比較対象となったエッジ画像上の候補領域に対し、垂直方向下部所定領域に存在する動き領域の割合を算出する。その結果、所定領域に動き領域の占める割合が大きい場合は、スコア値を高く修正するような処理を加えても良い。この処理は候補領域が真の頭部領域であれば、候補領域の下部領域は人体すなわち動き領域である可能性が高いという知見に基づいている。このようにすることで、より抽出精度の向上を図ることが可能となる。
【００５８】
ステップＳ１１８で、比較部２４は、輝度情報から生成したエッジ画像ＥｌｖとＥｌｈに関して得られた前記２つの積和演算の和と、肌色度合い画像から生成したエッジ画像ＥｃｖとＥｃｈに関して得られた前記２つの積和演算の和とを比較し、より大きな値を示す一方をスコアＡ（ｉ，ｊ）として算出する。
【００５９】
さらに、比較部２４は、動き領域抽出部１４から動き領域の情報を読み出し、比較対象領域のすぐ上にＷｔ×Ｈｔの矩形領域を設定し、矩形領域内に存在する動きのあった画素の数Ｍｔをカウントする。そしてＭｔの占める割合Ｍｔ／（Ｗｔ×Ｈｔ）があらかじめ定めたしきい値Ｔ３より小さければスコアＡ（ｉ，ｊ）に予め定めた定数Ｂｔを加算する。あるいは、Ａ（ｉ，ｊ）に定数Ｃｔを乗算してもよい。
【００６０】
同様に、比較部２４は、比較対象領域のすぐ下にＷｂ×Ｈｂの矩形領域を設定し、矩形領域内に存在する動きのあった画素の数Ｍｂをカウントする。そして、Ｍｂの占める割合Ｍｂ／（Ｗｂ×Ｈｂ）が予め定めたしきい値Ｔ４より大きければ、スコアＡ（ｉ，ｊ）に予め定めた定数Ｂｂを加算する。あるいは、Ａ（ｉ，ｊ）に定数Ｃｂを乗算してもよい。
【００６１】
ステップＳ１２０で、比較部２４は、Ａ（ｉ，ｊ）をしきい値Ｔ１と比較する。
ステップＳ１２２で、Ａ（ｉ，ｊ）がＴ１より大きい場合に、スコアＡ（ｉ，ｊ）と識別番号ｉと座標Ｐ（ｊ）とを関連付けてスコア記憶部２２に追加して書き込む。それと共に、投票部２６に対し識別番号ｉと座標Ｐ（ｊ）を通知する。スコアＡ（ｉ，ｊ）がＴ１以下の場合はスコアの書き込みや投票処理を行わずにステップＳ１２６に処理を進める。
【００６２】
ステップＳ１２４で、投票部２６は、比較部２４から入力される投票パターンを特定する情報を基に、テンプレート記憶部２０から投票パターンＶ（ｉ）を読み出す。
投票パターンは、参照パターンごとに対応付けて用意しておく。例えば、図８（Ａ）に対しては図８（Ｂ）のような投票パターンを用意する。図８（Ｂ）において白い領域は投票値０、黒い領域は投票値１としておく。
【００６３】
投票部２６は、比較部２４から入力されるエッジ画像上の候補領域の位置情報と投票パターンの大きさを基にして投票を行う領域の投票値を投票結果記憶部２８から読み出す。すなわち、投票を行う領域を含む他の領域の投票値が既に記録されていれば、その値を読み出し、記録されていなければ値０を読み出す。そして、Ｐ（ｊ）とＶ（ｉ）の重心が一致するようにして読み出した投票値と加法演算を実行し、投票値を更新する。
【００６４】
ステップＳ１２６で、比較部２４はカウンタ値ｊを１だけ増加させる。
ステップＳ１２８で、更新されたｊをＪと比較する。ｊがＪより小さい場合は再びステップＳ１１２から始まる処理を繰り返し、ｊがＪ以上となったらｊに関するループ処理を終了してステップＳ１３０の処理に進む。
【００６５】
ｊに関するループ処理が終了すると、ステップＳ１３０で、比較部２４はカウンタ値ｉを１だけ増加させる。
ステップＳ１３２で、更新されたｉをＩと比較する。ｉがＩより小さい場合は、再びステップＳ１１０から始まる処理を繰り返し、ｉがＩ以上となったらｉに関するループ処理を終了してステップＳ１３４の処理に進む。
【００６６】
ｉに関するループ処理が終了すると、ステップＳ１３４で、領域判定部３０は、領域判定処理を行う。領域判定部３０は、まず、投票結果記憶部２８から投票結果を読み出し、投票結果の各要素をしきい値Ｔ２と順次比較し、投票結果がしきい値Ｔ２より大きい投票値を有する座標を中間結果として選出する。ここでは、選出された座標群の集合をＰｓで表す。
【００６７】
次に、領域判定部３０は、スコア記憶部２２に記憶されたスコアと識別番号と座標値の組とで構成される情報を順次読み出して、座標値がＰｓに含まれる情報のスコアをしきい値Ｔ３と比較する。領域判定部３０は、スコアがしきい値Ｔ３より大きい値を示す場合に、識別番号によって特定される投票パターンが表す領域を頭部候補領域として出力する（ステップＳ１３６）。
【００６８】
図９を用いて、頭部領域抽出装置１の処理による頭部領域画像の抽出原理を再度説明する。
図９（Ａ）は、ステップＳ１００で入力される画像を示す。ここには、建物をバックに、人物の胸から上の部分が写っている。
図９（Ｂ）は、ステップＳ１０４で抽出された輝度縦エッジ画像Ｅｌｖと輝度横エッジ画像Ｅｌｈと、ステップＳ１０６で抽出された肌色縦エッジ画像Ｅｃｖと肌色横エッジ画像Ｅｃｈを示す。
【００６９】
図９（Ｃ）は、ステップＳ１１６からＳ１２２を繰り返すことにより得られた複数の楕円候補を示す。
図９（Ｄ）は、ステップＳ１２４の投票処理を繰り返すことで得られた投票結果を示す。図９（Ｃ）の各楕円領域の内側に投票数１を与えると、楕円が重なった部分では、投票数が加算される。
【００７０】
図９（Ｅ）は、ステップＳ１３４の領域判定処理を示す。ここでは、投票数がしきい値３以上になる座標を中間結果Ｐｓとして選出した結果が表示されている。
図９（Ｆ）は、ステップＳ１３６の頭部領域候補の結果を示す。ここでは、（Ａ）の入力画像から、（Ｅ）が示す座標の領域が抽出される。
【００７１】
なお、領域判定部３０が出力する候補領域情報として、中間結果Ｐｓをそのまま採用しても良い。また、中間結果を楕円などで近似し、当該楕円のパラメータである中心座標、長径、短径を出力するようにしても良い。また、単に候補領域の存在の有無を出力しても良い。
【００７２】
ステップＳ１３６で、領域判定部３０は、上記の処理によって算出された複数の頭部候補領域を画像データとして表現した結果を出力部３２に出力する。
出力部３２では、画像入力部１０から入力される画像データと領域判定部３０から入力される頭部候補領域を表す画像データを重ね合わせて、インターホン親機のモニタに表示する。
【００７３】
また、インターホンの動作として領域判定部３０で頭部領域の有無を出力部３２に出力する。出力部３２では、頭部領域が存在した場合のみ、ブザーを鳴らしてモニタに画像入力部１０から入力される画像データを表示するようにすることも可能である。
【００７４】
インターホン親機は、領域判定部３０から頭部領域に関する情報が入力されたときに、画像入力部１０から入力される画像データに頭部領域を表す線画などを重ね合わせてインターホン親機のモニタに表示するなどして結果を家人に知らしめても良い。あるいは、領域判定部３０から領域の存在の有無を受け取り、領域が存在する場合のみブザーを鳴らすようにしても良い。
【００７５】
なお、上記実施例では、頭部領域の抽出について説明を行ったが、肌色エッジを利用せず、輝度エッジのみを用いることによって楕円形状を有する様々な対象に適用することが可能である。例えば、顔を撮影した入力画像から目の抽出を行う装置を構成することができる。
【００７６】
【発明の効果】
本発明によれば、投票処理によってより確度の高い楕円パターン抽出を行うとともに、参照パターンを単なる楕円ではなく、エッジ画像のエッジ方向に垂直となる接線との接点付近の強度を小さくあるいは０に設定して得られたパターンを作成しておくことにより、自然界に存在するビルや扉などの長方形の形状をした人工構造物を楕円として抽出する誤りを減少させることができる。
【００７７】
さらに、本発明によれば、参照パターンを下側４分の１程度の領域の値を小さくあるいは０に修正して作成しておくことにより、エッジが出にくい顎付近の抽出処理に対する影響を少なくすることができる。これにより、頭部領域を抽出し損ねる誤りを減少させることができる。
【００７８】
また、本発明によれば、輝度エッジ画像に加えて肌色エッジ画像を用いて比較し、投票処理を行うことによって、背景が暗くて輝度エッジが出にくい場合や顔の中で肌色領域が少ない場合でも、頭部領域の抽出を行うことが可能となる。
さらに、本発明では動き領域の検出結果に基づいてパターン抽出の処理範囲を限定することにより処理の高速化を図ることが可能である。
【００７９】
また、本発明では、頭部領域の上下の動き領域の存在を考慮したスコアを算出することによってより精度の高い頭部領域の抽出を行うことを可能とする。
さらに、本発明では、大きさ又は縦横比が異なる複数の参照パターンを用いて探索を行い、それらの結果を投票処理することにより、抽出精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明を適用した頭部領域抽出装置の構成を示す図である。
【図２】図１の頭部領域抽出装置の動作を示すフローチャートである。
【図３】図２の処理における画像とエッジ画像との関係を示す図である。
【図４】図２の処理における参照パターンの例を示す図（その１）である。
【図５】図２の処理における参照パターンの例を示す図（その２）である。
【図６】図２の処理における参照パターンの例を示す図（その３）である。
【図７】図２の処理における走査範囲を説明する図である。
【図８】図２の処理における投票パターンを説明する図である。
【図９】図２の処理による頭部領域画像の抽出原理を示す図である。
【符号の説明】
１…頭部領域抽出装置
１０…画像入力部
１２…輝度エッジ画像生成部
１４…動き領域抽出部
１６…肌色エッジ画像生成部
２０…テンプレート記憶部
２２…スコア記憶部
２４…比較部
２８…投票結果記憶部
３０…領域判定部
３２…出力部
５０…制御部
６１…動き領域
６２…走査範囲

Claims (6)

1. 人体の頭部形状に類似した所定形状からなり、水平方向または垂直方向の何れかの接線との接点付近の画素について、前記所定形状の輪郭に対応する他の画素よりも画素値を小さく設定して得られた参照パターンを記憶するパターン記憶部と、
   入力された画像から水平方向の輝度変化を表す縦エッジを抽出して縦エッジ画像を生成し、前記入力された画像から垂直方向の輝度変化を表す横エッジを抽出して横エッジ画像を生成するエッジ画像生成部と、
   前記縦エッジ画像と前記横エッジ画像を前記参照パターンで走査し、各走査位置において前記縦エッジ画像の画素値と前記参照パターンの画素値の積と、前記横エッジ画像の画素値と前記参照パターンの画素値の積との和算から求められる積和演算結果により評価値を算出する比較部と、
   前記評価値が所定の閾値を超える走査位置における前記参照パターンの領域から頭部領域を抽出する抽出制御部と、
   を備えることを特徴とする頭部領域抽出装置。
2. 投票部をさらに備え、
   前記パターン記憶部は、前記参照パターンに対応し、該参照パターンに類似した形状を持つ投票パターンをさらに記憶し、
   前記投票部は、前記参照パターンの前記評価値が前記所定の閾値を超える位置において前記参照パターンに対応する前記投票パターン同士の重なり度合いを算出し、
   前記抽出制御部は、前記重なり度合いが重複閾値を超える位置における、前記評価値が判定閾値を超えた参照パターンに対応する投票パターンの領域を頭部領域として抽出する、請求項１に記載の頭部領域抽出装置。
3. 前記所定形状は楕円である請求項１または２に記載の頭部領域抽出装置。
4. 前記参照パターンは、前記所定形状下部の画素値を、該所定形状上部の画素値よりも小さく設定して得られる形状である請求項１〜３の何れか一項に記載の頭部領域抽出装置。
5. 前記エッジ画像生成部は、輝度情報に基づく前記縦エッジ画像と前記横エッジ画像及び肌色度合いに基づく縦エッジ画像と横エッジ画像を生成し、
   前記比較部は、輝度情報に基づく前記縦エッジ画像と前記横エッジ画像を各々前記参照パターンで走査して、各位置において該参照パターンとの積和演算結果により第１の評価値を算出し、肌色度合いに基づく前記縦エッジ画像と前記横エッジ画像を各々前記参照パターンで走査して、各位置において該参照パターンとの積和演算結果により第２の評価値を算出し、
   前記抽出制御部は、前記第１の評価値と前記第２の評価値のうち、大きい方の評価値に基づき頭部領域を抽出する請求項１〜４の何れか一項に記載の頭部領域抽出装置。
6. 更に、背景画像との差分に基づき画像中の動き領域を抽出する動き領域抽出部を備え、
   前記比較部は、前記縦エッジ画像と前記横エッジ画像を各々前記参照パターンで走査し、各位置の上部所定領域に存在する動き領域が所定画素数以下である場合、又は、前記各位置の下部所定領域に存在する動き領域が所定画素数以上である場合に、当該位置における前記評価値を加算修正する請求項１〜４の何れか一項に記載の頭部領域抽出装置。

Images