JP4390487B2 - 頭部領域抽出装置 - Google Patents

頭部領域抽出装置 Download PDF

Info

Publication number
JP4390487B2
JP4390487B2 JP2003191196A JP2003191196A JP4390487B2 JP 4390487 B2 JP4390487 B2 JP 4390487B2 JP 2003191196 A JP2003191196 A JP 2003191196A JP 2003191196 A JP2003191196 A JP 2003191196A JP 4390487 B2 JP4390487 B2 JP 4390487B2
Authority
JP
Japan
Prior art keywords
edge image
reference pattern
region
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003191196A
Other languages
English (en)
Other versions
JP2005025568A (ja
Inventor
拓也 光信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2003191196A priority Critical patent/JP4390487B2/ja
Publication of JP2005025568A publication Critical patent/JP2005025568A/ja
Application granted granted Critical
Publication of JP4390487B2 publication Critical patent/JP4390487B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カメラなどで撮影された対象画像から、円形状、楕円形状などの所定形状を有する頭部領域を抽出する技術に関する。
【0002】
【従来の技術】
画像中の円、楕円といった特定の形状を有する領域を抽出する方法は古くから行われている。この方法では、対象画像からエッジ画像を抽出し、特定形状を表す参照パターンを用いて、円、楕円などの輪郭を表す特徴画像を探索する。
また、人体の頭部又は顔面の形状をほぼ楕円とみなすことにより、同様の処理を行って対象画像中の頭部領域又は顔面領域の位置及び大きさを特定することも古くから行われている。
【0003】
なお、本明細書においては、特に「頭部」と「顔面」を区別する必要がないときは、これらを代表して「頭部」と称する。また、頭部の形状は、「楕円」、「円」、「倒卵形」などに近似できるが、特に区別する必要がないときは、これらを代表して「楕円」と称する。同様に、「頭部領域」「顔面領域」を代表して「頭部領域」といい、「円領域」「楕円領域」などを代表して「楕円領域」という。
【0004】
探索の対象となるエッジ画像としては、対象画像の輝度情報から抽出したエッジ画像(以下、輝度エッジ画像と称す)、色相情報から抽出したものなどが用いられる。特に、後者については、顔、手などの領域を抽出するために色相情報から肌色度合いの画像を生成し、肌色度合い画像からエッジ画像(以下、「肌色エッジ画像」と称す)を抽出する。
【0005】
このようなエッジ画像において参照パターンを用いて参照パターンに類似する画像の探索を行う場合、対象画像中に参照パターンと同じ大きさの候補領域を設定し、候補領域を移動させながら参照パターンと候補領域の類似度を計算し、類似度が最大となる領域あるいは、類似度があらかじめ定めたしきい値より大きな領域に目的の形状が存在すると判断することが多い(例えば、特許文献1参照。)。
【0006】
【特許文献1】
特開平8−63597号公報
【0007】
【発明が解決しようとする課題】
しかしながら、対象画像中には、通常、目的以外の形状が含まれている。例えば、車両、扉、窓などの人工構造物は、水平又は垂直な直線部分を有している。このような人工構造物からエッジ画像を抽出すると、構造物の直線を含む箇所にて強いエッジ強度が算出される。このエッジ画像に対して、楕円の参照パターンを用いて探索すると、エッジ画像中の直線を含む領域において、そのエッジ強度の高さから楕円でないにもかかわらず高い類似度が算出されることになる。したがって、人工構造物の水平又は垂直な直線部分を有する領域が、楕円領域として誤って抽出されてしまうという問題があった。
【0008】
また、楕円の参照パターンを用いて頭部領域を探索する場合、顎と首の境界であるエッジは強度が低くなりがちである。このため、頭部領域が含まれる領域であるにもかかわらず、低い類似度が算出されてしまい、頭部領域を抽出し損ねるという問題があった。
【0009】
さらに、輝度エッジ画像を用いて探索をした場合に、照明が不十分であると、目的の領域を抽出し損ねる問題があった。また、肌色エッジ画像を用いて探索をした場合には、ダンボールなどの肌色度合いの高いものによって誤った抽出をしてしまうという問題があった。
【0010】
本発明は、対象画像から、楕円形状を有する頭部領域を抽出する頭部領域抽出装置において、頭部でない部分を頭部領域として誤って抽出することを減少させ、頭部領域を抽出し損ねる誤りを減少させることを目的とする。
【0011】
【課題を解決するための手段】
本発明は、上記問題を解決するために、参照パターンとして、単なる楕円ではなく、エッジ画像のエッジ方向に垂直となる接線との接点付近の強度を小さくあるいは0に設定して得られた参照パターンを作成する。そして、この参照パターンを用いて、対象画像から抽出したエッジ画像を走査する。
このようにすることで、直線の影響による強いエッジ強度を有する領域を楕円領域として誤抽出をすることを減少することが可能となる。
【0012】
また、本発明では、参照パターンの下側の値を小さくあるいは0に修正した参照パターンを用いる。こうすることで、顎付近のエッジが抽出しにくいことによる頭部領域を抽出し損ねることを減少させることができる。
【0013】
さらに、本発明では、動き領域抽出手段を設け、頭部領域の候補領域上部及び下部に位置する所定領域における動き領域の存在の有無又は割合を領域抽出のスコアに加味することにより、領域抽出結果の精度を向上させることができる。
また、本発明では、大きさ又は縦横比が異なる複数の参照パターンを用いて探索を行い、それらの結果を投票処理することにより、抽出の精度を向上させることができる。
【0014】
さらに、本発明では、特徴画像として輝度エッジ画像、肌色エッジ画像の両者を用い、それぞれのエッジ画像に対して計算された類似度を相補的に利用することにより、環境に対してロバストな抽出を行うことを可能とする。
【0015】
【発明の実施の形態】
以下、本発明の実施形態について、図を用いて説明する。
図1は、頭部領域抽出装置の構成を示す図である。
図1の頭部領域抽出装置1は、例えば、インターホン装置に組み込まれる。
インターホン装置は、住戸の玄関先などに設置されるインターホン子機と、住戸内に設置されるインターホン親機とから構成される。
【0016】
画像入力部10は、インターホン子機に備えられ、撮像画像を常時インターホン親機に送出する。
制御部50と出力部32は、インターホン親機に備えられる。
画像入力部10は、映像を装置に入力するための手段であり、入力された映像をディジタル化し画像データとして出力する。画像入力部10はCCDカメラ、増幅器、A/D変換器などで構成される。
【0017】
動き領域抽出部14は、画像入力部10から入力された画像データの中から人物などの動きのある領域を検出し、検出した領域の位置情報を出力する。
輝度エッジ画像生成部12は、画像入力部10から入力された画像データの輝度情報を用いて画像データと同じ大きさの縦エッジ画像と横エッジ画像を生成し出力する。なお、このとき、偶数あるいは奇数の画素を間引いて縦エッジ画像及び横エッジ画像を生成することで、処理を高速化することができる。
【0018】
肌色エッジ画像生成部16は、肌色度合い画像を生成し、肌色度合い画像から縦エッジ画像と横エッジ画像を生成し出力する。
テンプレート記憶部20は、エッジ画像から顔の輪郭を抽出するための比較処理を行う際に参照するテンプレート(以下、「参照パターン」という。)及び、投票する領域を規定するためのパターン(以下、「投票パターン」という。)を記憶する記憶手段である。テンプレート記憶部20には、大きさや縦横比を異ならせた複数の参照パターンと各参照パターンに対応した複数の投票パターンが、予め設定されて記憶されている。
【0019】
比較部24は、テンプレート記憶部20から参照パターンを順次読み出し、輝度エッジ画像生成部12及び肌色エッジ画像生成部16から入力されるエッジ画像上を、参照パターンを用いて走査しながらエッジ画像と参照パターンとの積和演算を行う。そして、積和演算結果を基にスコアを算出し、当該スコアを予め定めたしきい値と比較する。
【0020】
スコア記憶部22は、比較部24から入力される比較結果であり、比較対象となった領域ごとの類似度合いを表すスコアと、スコアを算出する際に用いた参照パターンを特定する情報と、エッジ画像中の比較対象となった領域を特定する位置情報とを一組としたデータを記憶する。
【0021】
投票結果記憶部28は、輝度エッジ画像生成部12及び肌色エッジ画像生成部16が出力するエッジ画像の画素数と同じ個数の投票値を、各画素の座標と対応付けて記憶することができる記憶手段である。投票結果記憶部28は、投票部26が出力し指定する座標に、比較部24が出力し指定する投票値を保持する。
なお、本実施形態において、投票値とは、後述する投票処理によって得られる候補領域の強度情報である。
【0022】
領域判定部30は、比較部24から比較処理の終了通知を受け取ると、投票結果記憶部28に記憶されている投票値を順次読み出し、あらかじめ定められたしきい値と比較する。投票値がしきい値より大きな値を示す座標を選出して中間結果とする。スコア記憶部22に記憶されている情報のうち、位置情報が中間結果と合致する情報を読み出し、対応するスコアをあらかじめ定めたしきい値と比較する。スコアがしきい値より大きいものを選出し、スコアを算出した参照パターンに対応する投票パターンが示す領域を候補領域情報として出力する。
【0023】
出力部32は、頭部領域の抽出結果を利用者に提示する手段であり、モニタ又はブザーなどで構成される。
輝度エッジ画像生成部12、動き領域抽出部14、肌色エッジ画像生成部16、テンプレート記憶部20、スコア記憶部22、比較部24、投票部26、投票結果記憶部28、領域判定部30は、CPU、マイコン、DSPなどのプロセッサ及び、SRAM、DRAMなどのメモリを用いて構成することができる。
【0024】
図2を用いて、頭部領域抽出装置1の処理について説明する。
ステップS100で、訪問者がインターホンのスイッチボタンを押下すると、画像入力部10が映像を取り込み、画像データを出力する。
ステップS102で、動き領域抽出部14は、画像入力部10から入力された画像データの中から人物などの動きのある領域を検出し、検出した領域の位置情報を出力する。
【0025】
動き領域の検出は、公知の背景差分法やフレーム間差分法などを用いて実現することができる。背景差分法によって検出処理を実現する場合は、スイッチボタンの押下による映像の取り込みとは関係なく、一定間隔で映像を取り込んで画像データを背景画像として蓄積しておいても良い。あるいは、一定間隔で取り込んだ画像を用いて特公平6−14358に示されているような更新処理を行いながら背景画像を蓄積しておいても良い。
【0026】
フレーム間差分法によって検出処理を実現する場合も、スイッチボタンの押下による映像の取り込みとは関係なく、一定間隔で映像を取り込んで画像データを背景画像として蓄積しておき、スイッチボタンが押下されたタイミングから一定時間遡った時刻に蓄積された背景画像との差分処理を実行するようにすれば良い。
【0027】
ステップS104で、輝度エッジ画像生成部12は、画像入力部10から入力される画像データの輝度情報から縦エッジ画像Elvと横エッジ画像Elhを生成し出力する。
このときのエッジ画像生成処理は、動き領域抽出部14で検出された動き領域とその周辺の領域を含む領域に限定して行う。また、このとき各エッジ画像に対して丸め処理を施しておいてもよい。
【0028】
ここで、輝度エッジとは、輝度値の明るい部分と暗い部分の境界を示すものである。輝度エッジ画像とは、入力された画像における画素ごとに明るさの境界であるかどうかを周辺の画素との比較によりその度合い(明るさの変化度合い=エッジ強度)を計算し、全画素についての計算結果を画像として示すものである。輝度エッジ画像では、境界の明るさの差が大きい場合には輝度エッジ画像の画素(=エッジ強度)の値が大きくなり、差が小さい場合(境界でない場合)は輝度エッジ画像の画素の値は小さくなる。
【0029】
通常、この明るさの境界に方向(どちらの方向に明るくなっているか)を持たせることが多く、一般的には、縦方向と横方向に分けて上記の計算を行い、エッジの水平方向での変化、すなわち左から右(または右から左)にどの程度明るさが変化しているかを計算した結果を縦エッジ画像という。つまり、この縦エッジ画像のエッジの方向は水平方向となる。また、エッジの垂直方向での変化、すなわち上から下(または下から上)にどの程度明るさが変化しているかを計算した結果を横エッジ画像という。この横エッジ画像のエッジの方向は垂直方向となる。
【0030】
一般的に、エッジ強度は下記のような3×3の Prewitt フィルタを用いて算出することができる。
−1 0 +1 −1 −1 −1
−1 0 +1 0 0 0
−1 0 +1 +1 +1 +1
縦エッジ計算用フィルタ 横エッジ計算用フィルタ
【0031】
その他にもガウシアンフィルタを用いたエッジ抽出手法なども知られている。
図3に、四角形および円の画像から計算した縦エッジ画像および横エッジ画像の例を示す。
縦エッジ画像では、画像上で垂直な部分のエッジ強度が特に強調され、横エッジ画像では画像上で水平な部分のエッジ強度が特に強調される性質がある。
【0032】
なお、縦エッジ画像と横エッジ画像の各画素値の平方根や4乗根などを計算し、これらを輝度エッジ画像生成部12の出力としても良い。このように丸め処理を行うことにより、水平な直線又は垂直な直線の部分に対して極端に大きなエッジ強度となり、人工構造物などを頭部領域として誤抽出してしまうことを避けることができる。
【0033】
ステップS106で、肌色エッジ画像生成部12は、画像入力部10から入力される画像データに対し、その色相情報から肌色度合い画像を生成し、肌色度合い画像から縦エッジ画像Ecvと横エッジ画像Echを生成する。また、このとき各エッジ画像に対して丸め処理を施して出力してもよい。
【0034】
肌色エッジ画像生成部16は、まず、画像入力部10から入力された画像データの色情報を用いて、画像データと同じ大きさの肌色度合画像を生成する。
肌色度合画像は、画像中の各画素において肌色らしさを計算し、全画素についての計算結果を画像として示すものである。肌色らしさの計算結果が高い(肌色度合いが強い)画素は肌色度合い画像の画素値を高く、肌色らしさの計算結果が低い(肌色度合いが弱い)画素は肌色度合い画像の画素値を低くする。
【0035】
ここで、肌色らしさの計算方法としては、以下のような手法が考えられる。入力画像がRGB表色系(各RGBの値は0〜255)の場合では、下記のような公知の式により各画素をHSV表色系(各HSVの値は0〜255)に変換する。そして、その色相(H)成分が30付近にある場合に、肌色であることが知られている。したがって、(H−30)の絶対値をその肌色度合いの計算値としても良い。
【0036】
あるいは、20≦H≦40の場合は、肌色度合い=255とし、それ以外の場合は、肌色度合い=(H−30)の絶対値というようにしてもよい。
以下に、RGBからHSVへの変換式を示す。
【0037】
【数1】
Figure 0004390487
【0038】
上記のようにして作成した肌色度合い画像は、顔面や手などの肌色部分や赤色のシャツなどは画素値が大きく、空や木などのような青や緑の部分は画素値の低い画像となる。
肌色エッジ画像生成部16は、次に、肌色度合い画像から縦エッジ画像と横エッジ画像を生成し出力する。前述の輝度エッジ画像生成部12では明るさの差をエッジ強度として算出したが、ここでは肌色度合いの差をエッジ強度として算出する。算出の方法は輝度エッジ画像生成部12と同様である。
【0039】
なお、輝度エッジ画像生成部12と同様に、肌色エッジ画像生成部16の処理を動き領域抽出部14の出力を基にして限定することにより、処理に要する負荷を軽減することが可能となる。また、輝度エッジ画像生成部12と同様の丸め処理を行っても良い。
【0040】
ここでは、縦エッジ画像用と横エッジ画像用にそれぞれI個の参照パターンが用意され、各参照パターンには0から(I−1)の識別番号が与えられ、テンプレート記憶部20に記憶されているものとする。以下、識別番号iの縦エッジ画像用参照パターンをRv(i)、識別番号iの横エッジ画像用参照パターンをRh(i)とする。
【0041】
テンプレート記憶部20は、エッジ画像から顔の輪郭を抽出するための比較処理を行う際に参照するテンプレート及び、投票する領域を規定するためのパターンを記憶する記憶手段である。
ここでは縦エッジ画像用参照パターンRv(i)と横エッジ画像用参照パターンRh(i)に対応する投票パターンは共通のものであるとし、識別番号iで特定される投票パターンをV(i)で表す。
【0042】
図4に、参照パターンの例を示す。
参照パターンは頭部の輪郭に相当するエッジ画像を良好に抽出できるような形状のものをあらかじめ用意しておく。一般的には、前記形状として図4(A)のような楕円が用いられる。
【0043】
本例では、エッジ画像のエッジ方向に垂直となる接線との接点付近の値を小さく修正する。例えば、縦エッジ及び横エッジのエッジ方向となる水平方向及び垂直方向に垂直となる接線により形成される四角形を用意し、図4(B)のように楕円に外接する四角形との交点付近の値を小さくあるいは0にしたパターンを作成しておく。
図4(B)の例では、白い領域の画素値を0、黒い領域の画素値を255に設定する。これによって人工構造物などに含まれる垂直な直線、水平な直線又は四角形を楕円として誤抽出することが減少される。
【0044】
さらに、参照パターンを図4(C)のように、下側4分の1程度の領域の値を小さくあるいは0に修正しておくようにしても良い。頭部を抽出する場合、顎付近が首とつながった画像となるため、顎領域がエッジとして抽出できないことがある。参照パターンの下側4分の1程度の領域の値を上記のように設定することで、エッジが出にくい顎付近の比較処理に与える寄与を小さくし、頭部の輪郭を検出し損ねる誤りを減らすことが可能となる。
【0045】
図5は、図4(C)の参照パターンの変形例を示す。様々な大きさや形状の頭部の輪郭を抽出するために、参照パターンは、人間の頭部の縦横比と入力系のひずみなどを考慮して適切な大きさ、縦横比を検討し、大きさや縦横比や傾きの異なるものを複数用意しておく。
【0046】
図6は、図4(C)に示した参照パターンを更に修正してエッジ画像のエッジ方向に垂直となる接線との接点付近の値を0に近い小さな値に設定する例を示す。
図6(A)は縦エッジ画像用の参照パターンの例、図6(B)は横エッジ画像用の参照パターンの例である。各図において、黒いほど画素値が大きく白いほど画素値が小さい。
【0047】
また、参照パターンは処理対象となるエッジ画像の種類ごとに用意しておくのが望ましい。
例えば、輝度情報から抽出した縦エッジ画像及び横エッジ画像、肌色度合い画像から抽出した縦エッジ画像及び横エッジ画像を用いる場合は、同じ大きさのパターンを画像ごとに4種類ずつ用意しておく。あるいは、輝度情報から抽出した縦エッジ画像と肌色度合い画像から抽出した縦エッジ画像に対する参照パターンを共通化し、輝度情報から抽出した横エッジ画像と肌色度合い画像から抽出した横エッジ画像に対する参照パターンを共通化して合計2種類としても良い。
【0048】
ステップS108で、比較部24は、スコア記憶部22及び投票結果記憶部28の初期化を行う。具体的には、過去の処理によってスコア記憶部22に書き込み記憶されたスコア情報をクリアし、同じく過去の処理によって投票結果記憶部28に記憶されている投票値をすべて0にする。
【0049】
スコア記憶部22は、比較部24から入力される比較結果であり、領域ごとの類似度合いを表すスコアと、スコアを算出する際に用いた参照パターンを特定する情報と、エッジ画像中の比較対象となった領域を特定する位置情報とを一組としたデータを記憶する。
ステップS110で、比較部24は、参照パターンの数に関するループ回数をカウントするiを0に初期化し、iに関するループ処理を開始する。
【0050】
ステップS112で、比較部24は、テンプレート記憶部20に記憶されている縦エッジ画像用と横エッジ画像用の参照パターンRv(i),Rh(i)をそれぞれ読み出し、動き領域抽出部14から入力される動き領域を基に走査範囲を決定する。このように、走査範囲を限定することで、処理量を低減することができる。
【0051】
図7を用いて、走査範囲の決定方法を説明する。
動き領域61が図7(A)のように抽出されると、その外周から参照パターンiの短径および長径に基づく長さだけ内側の領域を走査範囲62とする。走査範囲62の各座標上を参照パターンの重心が移動するものとし、これらに0から(J−1)の識別番号を与えておく。識別番号jの座標値をP(j)とする。
【0052】
ステップS114で、比較部24は、走査領域の座標数に関するループ回数をカウントするカウンタ値jを0に初期化する。
【0053】
ステップS116で、比較部24は、積和演算処理を行う。
比較部24は、識別番号iの参照パターンRv(i)の重心が、動き領域内の識別番号jの座標値P(j)と一致するように、輝度情報から求めた縦エッジ画像Elv上に縦エッジ画像用参照パターンRv(i)を重ね合わせ、重ね合わさった領域内で両者の積和演算を行う。また、横エッジ画像Elhと横エッジ画像用参照パターンRh(i)を用いて同様の積和演算処理を行う。同様に、肌色度合いについても縦エッジ画像Ecvと縦エッジ画像用参照パターンRv(i)の組および横エッジ画像Echと横エッジ画像用参照パターンRh(i)の組を用いて同様の積和演算処理を行う。
【0054】
縦エッジに対する参照パターンの画素値をRv(x,y)、横エッジに対する参照パターンの画素値をRh(x,y)、縦エッジ画像の画素値をEv(x,y)、横エッジ画像の画素値をEh(x,y)と表すと、積和演算結果は次式で計算される。
Σ{Rv(x,y)Ev(x,y)+Rh(x,y)Eh(x,y)}
【0055】
比較部24は、スコアがしきい値より大きい場合は、参照パターン及び比較対象となったエッジ画像上の候補領域の位置情報と共にこの領域のスコアを出力し、これらの情報をスコア記憶部22に追加する。これと同時に、比較部24は位置情報と使用した参照パターンに対応した投票パターンを特定する情報を投票部26に出力する。
【0056】
比較部24は、すべての種類のエッジ画像に対し、各エッジ画像用に用意されたすべての参照パターンによる走査が終了すると、領域判定部30に対し、処理が終了した旨を通知する。
また、比較部24のスコア算出処理において、動き領域抽出部14からの入力を用いて比較対象となったエッジ画像上の候補領域に対し、垂直方向上部所定領域に存在する動き領域の割合を算出する。その結果、前記所定領域に前記動き領域が占める割合が小さい場合は、スコア値を高く修正するような処理を加えても良い。この処理は、候補領域が真の頭部領域であれば、候補領域の上部領域は背景すなわち動き領域ではない可能性が高いという知見に基づいている。このようにすることで、より抽出精度の向上を図ることが可能となる。
【0057】
さらに、比較部24の前記スコア算出処理において、動き領域抽出部14からの入力を用いて比較対象となったエッジ画像上の候補領域に対し、垂直方向下部所定領域に存在する動き領域の割合を算出する。その結果、所定領域に動き領域の占める割合が大きい場合は、スコア値を高く修正するような処理を加えても良い。この処理は候補領域が真の頭部領域であれば、候補領域の下部領域は人体すなわち動き領域である可能性が高いという知見に基づいている。このようにすることで、より抽出精度の向上を図ることが可能となる。
【0058】
ステップS118で、比較部24は、輝度情報から生成したエッジ画像ElvとElhに関して得られた前記2つの積和演算の和と、肌色度合い画像から生成したエッジ画像EcvとEchに関して得られた前記2つの積和演算の和とを比較し、より大きな値を示す一方をスコアA(i,j)として算出する。
【0059】
さらに、比較部24は、動き領域抽出部14から動き領域の情報を読み出し、比較対象領域のすぐ上にWt×Htの矩形領域を設定し、矩形領域内に存在する動きのあった画素の数Mtをカウントする。そしてMtの占める割合Mt/(Wt×Ht)があらかじめ定めたしきい値T3より小さければスコアA(i,j)に予め定めた定数Btを加算する。あるいは、A(i,j)に定数Ctを乗算してもよい。
【0060】
同様に、比較部24は、比較対象領域のすぐ下にWb×Hbの矩形領域を設定し、矩形領域内に存在する動きのあった画素の数Mbをカウントする。そして、Mbの占める割合Mb/(Wb×Hb)が予め定めたしきい値T4より大きければ、スコアA(i,j)に予め定めた定数Bbを加算する。あるいは、A(i,j)に定数Cbを乗算してもよい。
【0061】
ステップS120で、比較部24は、A(i,j)をしきい値T1と比較する。
ステップS122で、A(i,j)がT1より大きい場合に、スコアA(i,j)と識別番号iと座標P(j)とを関連付けてスコア記憶部22に追加して書き込む。それと共に、投票部26に対し識別番号iと座標P(j)を通知する。スコアA(i,j)がT1以下の場合はスコアの書き込みや投票処理を行わずにステップS126に処理を進める。
【0062】
ステップS124で、投票部26は、比較部24から入力される投票パターンを特定する情報を基に、テンプレート記憶部20から投票パターンV(i)を読み出す。
投票パターンは、参照パターンごとに対応付けて用意しておく。例えば、図8(A)に対しては図8(B)のような投票パターンを用意する。図8(B)において白い領域は投票値0、黒い領域は投票値1としておく。
【0063】
投票部26は、比較部24から入力されるエッジ画像上の候補領域の位置情報と投票パターンの大きさを基にして投票を行う領域の投票値を投票結果記憶部28から読み出す。すなわち、投票を行う領域を含む他の領域の投票値が既に記録されていれば、その値を読み出し、記録されていなければ値0を読み出す。そして、P(j)とV(i)の重心が一致するようにして読み出した投票値と加法演算を実行し、投票値を更新する。
【0064】
ステップS126で、比較部24はカウンタ値jを1だけ増加させる。
ステップS128で、更新されたjをJと比較する。jがJより小さい場合は再びステップS112から始まる処理を繰り返し、jがJ以上となったらjに関するループ処理を終了してステップS130の処理に進む。
【0065】
jに関するループ処理が終了すると、ステップS130で、比較部24はカウンタ値iを1だけ増加させる。
ステップS132で、更新されたiをIと比較する。iがIより小さい場合は、再びステップS110から始まる処理を繰り返し、iがI以上となったらiに関するループ処理を終了してステップS134の処理に進む。
【0066】
iに関するループ処理が終了すると、ステップS134で、領域判定部30は、領域判定処理を行う。領域判定部30は、まず、投票結果記憶部28から投票結果を読み出し、投票結果の各要素をしきい値T2と順次比較し、投票結果がしきい値T2より大きい投票値を有する座標を中間結果として選出する。ここでは、選出された座標群の集合をPsで表す。
【0067】
次に、領域判定部30は、スコア記憶部22に記憶されたスコアと識別番号と座標値の組とで構成される情報を順次読み出して、座標値がPsに含まれる情報のスコアをしきい値T3と比較する。領域判定部30は、スコアがしきい値T3より大きい値を示す場合に、識別番号によって特定される投票パターンが表す領域を頭部候補領域として出力する(ステップS136)。
【0068】
図9を用いて、頭部領域抽出装置1の処理による頭部領域画像の抽出原理を再度説明する。
図9(A)は、ステップS100で入力される画像を示す。ここには、建物をバックに、人物の胸から上の部分が写っている。
図9(B)は、ステップS104で抽出された輝度縦エッジ画像Elvと輝度横エッジ画像Elhと、ステップS106で抽出された肌色縦エッジ画像Ecvと肌色横エッジ画像Echを示す。
【0069】
図9(C)は、ステップS116からS122を繰り返すことにより得られた複数の楕円候補を示す。
図9(D)は、ステップS124の投票処理を繰り返すことで得られた投票結果を示す。図9(C)の各楕円領域の内側に投票数1を与えると、楕円が重なった部分では、投票数が加算される。
【0070】
図9(E)は、ステップS134の領域判定処理を示す。ここでは、投票数がしきい値3以上になる座標を中間結果Psとして選出した結果が表示されている。
図9(F)は、ステップS136の頭部領域候補の結果を示す。ここでは、(A)の入力画像から、(E)が示す座標の領域が抽出される。
【0071】
なお、領域判定部30が出力する候補領域情報として、中間結果Psをそのまま採用しても良い。また、中間結果を楕円などで近似し、当該楕円のパラメータである中心座標、長径、短径を出力するようにしても良い。また、単に候補領域の存在の有無を出力しても良い。
【0072】
ステップS136で、領域判定部30は、上記の処理によって算出された複数の頭部候補領域を画像データとして表現した結果を出力部32に出力する。
出力部32では、画像入力部10から入力される画像データと領域判定部30から入力される頭部候補領域を表す画像データを重ね合わせて、インターホン親機のモニタに表示する。
【0073】
また、インターホンの動作として領域判定部30で頭部領域の有無を出力部32に出力する。出力部32では、頭部領域が存在した場合のみ、ブザーを鳴らしてモニタに画像入力部10から入力される画像データを表示するようにすることも可能である。
【0074】
インターホン親機は、領域判定部30から頭部領域に関する情報が入力されたときに、画像入力部10から入力される画像データに頭部領域を表す線画などを重ね合わせてインターホン親機のモニタに表示するなどして結果を家人に知らしめても良い。あるいは、領域判定部30から領域の存在の有無を受け取り、領域が存在する場合のみブザーを鳴らすようにしても良い。
【0075】
なお、上記実施例では、頭部領域の抽出について説明を行ったが、肌色エッジを利用せず、輝度エッジのみを用いることによって楕円形状を有する様々な対象に適用することが可能である。例えば、顔を撮影した入力画像から目の抽出を行う装置を構成することができる。
【0076】
【発明の効果】
本発明によれば、投票処理によってより確度の高い楕円パターン抽出を行うとともに、参照パターンを単なる楕円ではなく、エッジ画像のエッジ方向に垂直となる接線との接点付近の強度を小さくあるいは0に設定して得られたパターンを作成しておくことにより、自然界に存在するビルや扉などの長方形の形状をした人工構造物を楕円として抽出する誤りを減少させることができる。
【0077】
さらに、本発明によれば、参照パターンを下側4分の1程度の領域の値を小さくあるいは0に修正して作成しておくことにより、エッジが出にくい顎付近の抽出処理に対する影響を少なくすることができる。これにより、頭部領域を抽出し損ねる誤りを減少させることができる。
【0078】
また、本発明によれば、輝度エッジ画像に加えて肌色エッジ画像を用いて比較し、投票処理を行うことによって、背景が暗くて輝度エッジが出にくい場合や顔の中で肌色領域が少ない場合でも、頭部領域の抽出を行うことが可能となる。
さらに、本発明では動き領域の検出結果に基づいてパターン抽出の処理範囲を限定することにより処理の高速化を図ることが可能である。
【0079】
また、本発明では、頭部領域の上下の動き領域の存在を考慮したスコアを算出することによってより精度の高い頭部領域の抽出を行うことを可能とする。
さらに、本発明では、大きさ又は縦横比が異なる複数の参照パターンを用いて探索を行い、それらの結果を投票処理することにより、抽出精度を向上させることができる。
【図面の簡単な説明】
【図1】本発明を適用した頭部領域抽出装置の構成を示す図である。
【図2】図1の頭部領域抽出装置の動作を示すフローチャートである。
【図3】図2の処理における画像とエッジ画像との関係を示す図である。
【図4】図2の処理における参照パターンの例を示す図(その1)である。
【図5】図2の処理における参照パターンの例を示す図(その2)である。
【図6】図2の処理における参照パターンの例を示す図(その3)である。
【図7】図2の処理における走査範囲を説明する図である。
【図8】図2の処理における投票パターンを説明する図である。
【図9】図2の処理による頭部領域画像の抽出原理を示す図である。
【符号の説明】
1…頭部領域抽出装置
10…画像入力部
12…輝度エッジ画像生成部
14…動き領域抽出部
16…肌色エッジ画像生成部
20…テンプレート記憶部
22…スコア記憶部
24…比較部
28…投票結果記憶部
30…領域判定部
32…出力部
50…制御部
61…動き領域
62…走査範囲

Claims (6)

  1. 体の頭部形状に類似した所定形状からなり、水平方向または垂直方向の何れかの接線との接点付近の画素について、前記所定形状の輪郭に対応する他の画素よりも画素値を小さく設定して得られた参照パターンを記憶するパターン記憶部と、
    入力された画像から水平方向の輝度変化を表す縦エッジを抽出して縦エッジ画像を生成し、前記入力された画像から垂直方向の輝度変化を表す横エッジを抽出して横エッジ画像を生成するエッジ画像生成部と、
    前記縦エッジ画像と前記横エッジ画像を前記参照パターンで走査し、各走査位置において前記縦エッジ画像の画素値と前記参照パターンの画素値の積と、前記横エッジ画像の画素値と前記参照パターンの画素値の積との和算から求められる積和演算結果により評価値を算出する比較部と、
    前記評価値が所定の閾値を超える走査位置における前記参照パターンの領域から頭部領域を抽出する抽出制御部と、
    を備えることを特徴とする頭部領域抽出装置。
  2. 投票部をさらに備え、
    前記パターン記憶部は、前記参照パターンに対応し、該参照パターンに類似した形状を持つ投票パターンをさらに記憶し、
    前記投票部は、前記参照パターンの前記評価値が前記所定の閾値を超える位置において前記参照パターンに対応する前記投票パターン同士の重なり度合いを算出し、
    前記抽出制御部は、前記重なり度合いが重複閾値を超える位置における、前記評価値が判定閾値を超えた参照パターンに対応する投票パターンの領域を頭部領域として抽出する、請求項1に記載の頭部領域抽出装置。
  3. 前記所定形状は楕円である請求項1または2に記載の頭部領域抽出装置。
  4. 前記参照パターンは、前記所定形状下部の画素値、該所定形状上部の画素値よりも小さく設定して得られる形状である請求項1〜3の何れか一項に記載の頭部領域抽出装置。
  5. 前記エッジ画像生成部は、輝度情報に基づく前記縦エッジ画像と前記横エッジ画像及び肌色度合いに基づく縦エッジ画像と横エッジ画像を生成し、
    前記比較部は、輝度情報に基づく前記縦エッジ画像と前記横エッジ画像を各々前記参照パターンで走査して、各位置において該参照パターンとの積和演算結果により第1の評価値を算出し、肌色度合いに基づく前記縦エッジ画像と前記横エッジ画像を各々前記参照パターンで走査して、各位置において該参照パターンとの積和演算結果により第2の評価値を算出し、
    前記抽出制御部は、前記第1の評価値と前記第2の評価値のうち、大きい方の評価値に基づき頭部領域を抽出する請求項1〜4の何れか一項に記載の頭部領域抽出装置。
  6. 更に、背景画像との差分に基づき画像中の動き領域を抽出する動き領域抽出部を備え、
    前記比較部は、前記縦エッジ画像と前記横エッジ画像を各々前記参照パターンで走査し、各位置の上部所定領域に存在する動き領域が所定画素以下である場合、又は、前記各位置の下部所定領域に存在する動き領域が所定画素以上である場合に、当該位置における前記評価値を加算修正する請求項1〜4の何れか一項に記載の頭部領域抽出装置。
JP2003191196A 2003-07-03 2003-07-03 頭部領域抽出装置 Expired - Fee Related JP4390487B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003191196A JP4390487B2 (ja) 2003-07-03 2003-07-03 頭部領域抽出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003191196A JP4390487B2 (ja) 2003-07-03 2003-07-03 頭部領域抽出装置

Publications (2)

Publication Number Publication Date
JP2005025568A JP2005025568A (ja) 2005-01-27
JP4390487B2 true JP4390487B2 (ja) 2009-12-24

Family

ID=34188884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003191196A Expired - Fee Related JP4390487B2 (ja) 2003-07-03 2003-07-03 頭部領域抽出装置

Country Status (1)

Country Link
JP (1) JP4390487B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4085959B2 (ja) 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
JP4540661B2 (ja) * 2006-02-28 2010-09-08 三洋電機株式会社 物体検出装置
JP4137969B2 (ja) 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4845698B2 (ja) 2006-12-06 2011-12-28 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4895797B2 (ja) 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4309926B2 (ja) 2007-03-13 2009-08-05 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP4307496B2 (ja) 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
JP5227639B2 (ja) 2008-04-04 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5231159B2 (ja) * 2008-10-21 2013-07-10 Necソフト株式会社 人物検出装置及び方法、学習モデル作成装置及び方法、並びにプログラム
JP4825909B2 (ja) * 2009-12-11 2011-11-30 セコム株式会社 顔検知装置
CN112907516B (zh) * 2021-01-27 2022-08-02 山东省计算中心(国家超级计算济南中心) 一种用于穴盘育苗的甜玉米种子识别方法及装置

Also Published As

Publication number Publication date
JP2005025568A (ja) 2005-01-27

Similar Documents

Publication Publication Date Title
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US9036917B2 (en) Image recognition based on patterns of local regions
US10679358B2 (en) Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
CN107016348B (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
KR100735549B1 (ko) 영상의 피부색을 변환하는 영상 처리 방법 및 장치
JP5984327B2 (ja) 情報処理方法及びその装置、プログラム
JP6095817B1 (ja) 物体検出装置
JP4390487B2 (ja) 頭部領域抽出装置
JP2011086261A (ja) 情報処理装置及び情報処理方法
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
JP4729188B2 (ja) 視線検出装置
KR101344851B1 (ko) 영상처리장치 및 영상처리방법
JP2008288684A (ja) 人物検出装置及びプログラム
JP2008035301A (ja) 移動体追跡装置
KR101769741B1 (ko) 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치
CN112507767A (zh) 脸部辨识方法及其相关电脑系统
KR101985869B1 (ko) 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법
JP5217917B2 (ja) 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
JP2004295416A (ja) 画像処理装置
JP2005209137A (ja) 対象物認識方法及び対象物認識装置、並びに顔方向識別装置
JP3417635B2 (ja) 侵入物体認識方法
JP5603258B2 (ja) 検出装置及び検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091006

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4390487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees