JP3088880B2 - 人物認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は人物認識装置に関し、
特に、自動的に人間を認識する装置に関する。

【０００２】

【背景の技術】人体を検知するセンサとしては人体から
発せられる赤外線を検知するセンサや、超音波や電波あ
るいは光などを利用したセンサがあるが、それらはいず
れも人体を間接的に検知するものである。したがって人
体以外の動物や物体に対しても検知してしまう可能性が
ある。一方、人体を直接的に検知する方法としては、画
像を利用する方式がある。これは、１９９１ ＩＥＥＥ
ＴＨＰＭ１４．５に述べられているように、入力画像
の連続しているフレームに基づいて画像間差分を求める
ことで動き領域を求め、その領域が大きい部分を人体領
域とし、特に、動き領域の最上部を人体の頭頂部として
認識している。しかし、この場合においても人体以外の
物体や人体の一部（手や腕など）の動きを顔が動いてい
るとして頭頂部を検出してしまう可能性があり、適切な
検出動作を行なえるに至っていない。

【０００３】そこで、特願平５−１５３９３３号で提案
されるように、人体の顔特徴量の１つである頬の縦線お
よび眉毛や目などの横線を利用して、顔を検知する方法
がある。以下、この方法を説明する。

【０００４】図１１は、この発明の背景技術を説明する
ための人物認識装置のブロック構成図であり、図１２
（ａ）〜（ｃ）は、この発明の背景技術に関する人物認
識処理の手順を説明するための図である。図１１のブロ
ック構成の詳細は特願平５−１３９３３号に示されてい
るので、ここではその説明を簡単に行なう。

【０００５】図１１の人物認識装置は人物を撮像して画
像信号１を出力するＣＣＤ（電荷結合デバイスの略）カ
メラ、与えられる１フレーム分の画像信号１を記憶する
画像メモリ２、ｎフレーム（ｎは条件に応じて変化す
る）後に入力された画像信号１と画像メモリ２に予め記
録してあった画像信号とに基づいて両画像の絶対差分、
すなわち両画像での動き領域を求めてその差分値を出力
する絶対差分部３、画像信号１に基づいて信号１を二値
化するためのしきい値を決定するしきい値決定部４、絶
対差分部３から差分値を入力して決定部４により決定さ
れたしきい値を用いて二値化処理する比較部５を含む。
さらに該人物認識装置はＸ軸濃度投影部６、最大Ｘ軸投
影座標抽出部７、Ｙ軸濃度投影部８、最大Ｙ軸投影座標
抽出部、頭幅抽出部１０、顔特徴抽出／判定部１１およ
びエッジ検出部１２を含み、これらの各部については図
１２を参照しながら説明する。

【０００６】図１１の人物認識装置はＸ軸濃度投影部６
〜エッジ検出部１２の各部により、モード０〜モード４
の手順に従って人物認識動作する。特に、図１２（ａ）
〜（ｃ）にはモード１〜モード３の手順の詳細が示され
る。

【０００７】「モード０」まず、ＣＣＤカメラなどによ
り入力された画像信号１が画像メモリ２に記録される。

【０００８】「モード１」ｎフレーム後にＣＣＤカメラ
などにより入力された画像信号１と、画像メモリ２に予
め記録してあった画像信号との絶対差分、すなわち画像
での動き領域を絶対差分部３により求め、その差分値を
しきい値決定部４により入力画像に応じて定められたあ
るしきい値を用いて比較部５において二値化処理する。
比較部５から出力される二値化データはＸ軸方向および
Ｙ軸方向で表わされる二次元データである。Ｘ軸濃度投
影部６は比較部５から二値化されたデータを入力し、Ｘ
軸に対して濃度投影（同じＸ座標に対応の二値化データ
を累積計算する）をし、さらに最大Ｘ軸投影座標抽出部
７において投影部６で得られた濃度投影データの中で最
大である水平長さ（Ｘ軸）に対応のＸ座標（Ｘａ１，Ｘ
ｂ１）を求める（図１２（ａ）参照）。

【０００９】「モード２」前述のようにして求められた
Ｘ座標（Ｘａ１，Ｘｂ１）の内包区間（Ｘ座標＝Ｘａ１
〜Ｘｂ１）での二値化された内容を、Ｙ軸濃度投影部８
でＹ軸に対して濃度投影（同じＹ座標に対応の二値化デ
ータを累積計算する）を行ない最大Ｙ軸投影座標抽出部
９において、投影されたデータの中で最大である垂直長
さを決定するＹ座標に対応の最上部（Ｙｔｏｐ）を求め
る（図１２（ｂ）参照）。ここで、Ｙｔｏｐが人体の頭
頂に対応のＹ座標となる。

【００１０】「モード３」さらに、頭幅抽出部１０にお
いて、前述のようにして得られた座標Ｙｔｏｐをサーチ
開始点として二値化されている領域を下方向にサーチす
ることにより人体の顔幅に対応のＸ座標（Ｘａ２，Ｘｂ
２）が求められる（図１２（ｃ）参照）。

【００１１】「モード４」最後に、顔特徴抽出／判定部
１１において、前述のようにして求められた顔幅に対応
のＸ座標（Ｘａ２，Ｘｂ２）および頭頂座標（Ｙｔｏ
ｐ）をもとにして定められた人体の頭部候補位置につい
て、画像画像信号１からエッジ検出部１２により作成さ
れたエッジ情報を調べる。すなわち、顔特徴抽出／判定
部１１において人体の顔特徴量の１つである頬の縦線お
よび眉毛や目などの横線に相当する情報が前述の人体の
頭部候補位置に含まれているか否かを分析することで、
正しく人体の頭部が検出できているかの判定が行なわ
れ、その結果が顔判定結果信号１３として出力される。

【００１２】

【発明が解決しようとする課題】上述した図１１の人物
認識装置では、得られた画像における頭頂部検出、頬の
縦線検出、眉毛や目（眼鏡を含む）などの横線検出など
により顔を検出している。しかし、人間が傘をさしてい
るときやシルクハットような上下に長い帽子を被ってい
るときには、頭頂部の位置を実際より上に検知する可能
性がある。このときは頭頂部のすぐ下にあるはずの眉毛
や目などの横線を検知できずしたがって顔と認識できな
いことになる。また丸いサングラス等は、眉毛や目の横
線検知を妨害する可能性がある。また、顔全体を隠すよ
うなマスク状のものも顔検知を妨害する可能性がある。
このように、顔検知が妨害されて顔かどうか微妙な判定
がされた場合に、従来は何らかの出力を発生させるもの
がなく、顔検出により何らかのシステムを構築するとき
の課題であった。

【００１３】それゆえにこの発明の目的は、動画像にお
いて人物の顔特徴が未確定であることに応じて出力を発
生させる人物認識装置を提供することである。

【００１４】

【課題を解決するための手段】この発明のある局面に係
る人物認識装置は、被写体を撮像して得られる画像デー
タ領域中から、動き物体データ領域を検出する手段と、
検出された動き物体データ領域中から顔面があるべきデ
ータ領域を抽出する手段と、抽出された顔面データ領域
に、顔面を特定する画像データが含まれるか否か判定す
る手段と、顔面特定画像データが含まれないと判定され
たことに応じて出力を発生させる手段と、抽出された顔
面データ領域の面積を算出する顔面面積算出手段と、算
出された顔面面積と所定面積とを比較し、比較結果に応
じて上述の判定手段の能動化を制御する手段とを備えて
構成される。

【００１５】また、上述のように構成される人物認識装
置は、検出された動き物体データ領域の面積を算出する
動き領域面積算出手段と、算出された動き領域面積と所
定面積とを比較し、比較結果に応じて前述した顔面デー
タ領域抽出手段の能動化を制御する手段とをさらに備え
て構成されてもよい。

【００１６】また、上述したように構成される人物認識
装置は、検出された動き物体データ領域の面積を所定間
隔毎に繰り返し算出する面積繰り返し算出手段と、繰り
返し算出される動き領域面積と前回算出された前記動き
領域面積とを逐次比較し、この比較結果に応じて前述し
た顔面データ領域抽出手段の能動化を制御する手段とを
さらに備えて構成されてもよい。

【００１７】また、上述したように構成される人物認識
装置は、抽出された顔面データ領域が前述の画像データ
領域内の予め設定された領域に包含されるか判定し、こ
の判定結果に応じて前述の判定手段の能動化を制御する
手段とをさらに備えて構成されてもよい。

【００１８】この発明の他の局面に係る人物認識装置
は、被写体を撮像して得られる画像データ領域中から、
動き物体データ領域を検出する手段と、検出された動き
物体データ領域中から顔面があるべきデータ領域を抽出
する手段と、抽出された顔面データ領域に、顔面を特定
する画像データが含まれるか否か判定する手段と、顔面
特定画像データが含まれないと判定されたことに応じて
出力を発生させる手段と、検出された動き物体データ領
域の面積を所定間隔毎に繰り返し算出する面積繰り返し
算出手段と、繰り返し算出される動き領域面積と前回算
出された前記動き領域面積とを逐次比較し、この比較結
果に応じて前述した顔面データ領域抽出手段の能動化を
制御する手段とを備えて構成される。

【００１９】

【作用】この発明のある局面に係る人物認識装置によれ
ば、被写体を撮像して得られた画像データ領域中から人
体、すなわち動き物体のデータ領域が検出されて、検出
された動き物体領域中から顔面データ領域が抽出され、
さらに抽出された顔面データ領域に顔面を特定する画像
データが含まれるか否か判定され、顔面特定画像データ
が含まれないと判定されたことに応じて出力が発生させ
られる。そして、顔面データ領域の面積が算出されて、
この算出面積と所定面積とが比較され、比較結果に応じ
て前述の顔面データ領域に顔面特定画像データが含まれ
るか否か判定するための手段の能動化が制御される。

【００２０】上述の人物認識装置が動き領域面積算出手
段をさらに備えた場合、前述の動き物体データ領域の面
積が算出されて、この算出面積と所定面積とが比較さ
れ、比較結果に応じて動き物体データ領域中から顔面デ
ータ領域を抽出するための手段の能動化が制御される。

【００２１】上述の人物認識装置が面積繰り返し算出手
段をさらに備えた場合、前述の動き物体データ領域の面
積が所定期間毎に繰り返し算出されて、繰り返し算出さ
れる動き領域面積と前回算出された動き領域面積とが逐
次比較され、比較結果に応じて動き物体データ領域中か
ら顔面があるべきデータ領域を抽出するための手段の能
動化が制御される。

【００２２】上述の人物認識装置が抽出された顔面デー
タ領域が検出された画像データ領域内の予め設定された
領域に包含されるか判定されるように構成される場合、
この判定結果に応じて顔面データ領域に顔面を特定する
画像データが含まれるか否か判定する手段の能動化が制
御される。

【００２３】この発明の他の局面に係る人物認識装置に
よれば、被写体を撮像して得られた画像データ領域中か
ら人体、すなわち動き物体のデータ領域が検出されて、
検出された動き物体領域中から顔面データ領域が抽出さ
れ、さらに抽出された顔面データ領域に顔面を特定する
画像データが含まれるか否か判定され、顔面特定画像デ
ータが含まれないと判定されたことに応じて出力が発生
させられる。また、前述の動き物体データ領域の面積が
所定間隔ごとに繰り返し算出されて、繰り返し算出され
る動き領域面積と前回算出された動き領域面積とが逐次
比較され、比較結果に応じて動き物体データ領域中から
顔面があるべきデータ領域を抽出するための手段の能動
化が制御される。

【００２４】

【実施例】以下、この発明の第１〜第９実施例について
人物認識装置がセキュリティシステムに利用された場合
を想定して説明する。前述したように人物認識装置にお
いて顔かどうか微妙な判定がされる場合としては、動
き物体がカメラの位置から遠い、動き物体の動きが少
ない、逆光などで動き物体が暗い、動き物体（人
間）が自分の意思で顔の特徴を隠した場合などが考えら
れる。セキュリティシステムで問題となるはの場合で
ある。すなわち何らかの悪意（犯意）を持った人間がカ
メラで撮像されて、画像として記録されることを嫌い、
マスクやサングラスなどで顔の特徴を故意に隠した場合
である。従来、このような場合、カメラで撮像される時
点ではまだ犯行は行なわれていない（マスクやサングラ
スをしていても犯行をするとは限らない）ので、セキュ
リティシステムとしての動作を起こすことはしていなか
った。しかし、何らかの危険が予知されるときは、事前
に支障のない範囲内でセキュリティ動作を起こすことは
有効であり、この動作により不審者の犯意を未然に防止
することが可能となる。

【００２５】後述する各実施例では、この点に着目し、
前述したように顔かどうか微妙な判定がされる場合を積
極的に検出して出力し、支障のない範囲内で自動的にセ
キュリティシステムとしてのアクションを起こさせるこ
とを特徴としている。また、その検出アルゴリズムを、
まず人間の顔のあるべき位置に顔面特徴を有する画像が
ない場合として具体化し、前述のアクションを起こすこ
とを出力を発生させるとして具体化している。以下、各
実施例について説明する。

【００２６】「第１実施例」図１は、この発明の第１実
施例による人物認識装置のブロック構成図であり、図２
は図１の人物認識装置の認識処理動作を示すフロー図で
ある。図１の人物認識装置と、図１１で説明されたそれ
とを比較し異なる点は、図１の装置が図１１の装置構成
に追加して新たに出力発生部１４を設けている点にあ
る。図１の装置のＣＣＤカメラおよび画像メモリ２〜エ
ッジ検出部１２の構成およびそれらによる人物の認識動
作は図１１のそれらと同じなので、その詳細説明は省略
する。

【００２７】ここで、まず人物がＣＣＤカメラなどによ
り撮像されて画像信号１が得られ（図２のＳ１）、画像
メモリ２および絶対差分部３により画像信号１に関して
前フレームとの差分がとられ（Ｓ２，Ｓ３）、その差分
がしきい値決定部４および比較部５によりある程度以上
であると検出されたときにその部分を動き物体と認識し
（Ｓ４でＹＥＳ）、Ｘ軸濃度投影部６および最大Ｘ軸投
影座標抽出部７により動き物体のＸ軸の画像座標Ｘａ
１，Ｘｂ１を検出して動き物体が座標Ｘａ１とＸｂ１の
幅の中にあると特定し（Ｓ５）、さらにＹ軸濃度投影部
８および最大Ｙ軸投影座標抽出部９により動き物体の最
上部（頭頂部と推定される）座標Ｙｔｏｐを検出する
（Ｓ６）。これにより、動き物体におおよその座標位置
候補が特定されたことになる。さらに、頭幅抽出部１０
において、前述のようにして得られた頭頂位置候補（Ｙ
ｔｏｐ）の直下部の縦エッジに対応のＸ座標Ｘａ２，Ｘ
ｂ２が検出される。これにより、頭（顔）の幅がこの座
標Ｘａ２とＸｂ２との間にあると推定されて、動画像の
うち顔面画像のあるべき画像エリアが特定されたことに
なる（Ｓ７）。次に顔特徴抽出／判定部１１において、
頭幅抽出部１０により得られた顔面画像のあるべき画像
エリアに、顔特徴である眉毛、目、口などの横線エッジ
が検出されるかどうか判定されて、この画像エリア内に
あるものが、顔の特徴を備えているかどうかが判定され
る。この判定の結果、該横線エッジが十分に検出されな
い、すなわち顔のあるべき位置にある画像が顔の特徴を
十分に備えていないときに（Ｓ８でＮＯ）、顔と確定で
きない旨の顔判定結果信号１３が出力発生部１４に与え
られて、応じて出力発生部１４は何らかの出力を発生さ
せる（Ｓ９）。その顔面特徴検出が意図的に妨害され
て、人物像のうち顔のあるべき位置に顔と確定するだけ
の特徴が十分に抽出できなかったときは、その旨の何ら
かの出力が発生されるので、この人物認識装置はセキュ
リティシステムに採用された場合有効に作用する。

【００２８】「第２実施例」図３は、この発明の第２実
施例による人物認識装置のブロック構成図であり、図４
は図３の人物認識装置の認識処理動作を示すフロー図で
ある。

【００２９】図３の人物認識装置と図１で説明されたそ
れとを比較し異なる点は、図３の装置が図１の構成に追
加して顔面積算出部２１、最小顔面積設定部２２および
比較部２３を設け、さらに顔特徴抽出／判定部１１に代
替して顔特徴抽出／判定部１５を設けている点にある。
図３の装置のその他の構成およびそれらによる人物認識
の動作は図１のそれらと同じなので、これら各部につい
ての詳細説明は省略する。

【００３０】顔特徴抽出／判定部１５は、後述する比較
部２３から比較結果信号１６が与えられたことに応じて
のみ能動化されて、顔面画像のあるべき画像エリアにお
いて顔特徴が十分に抽出されるか否か判定し顔判定結果
信号１３を出力する。

【００３１】顔面積算出部２１は、最大Ｙ軸投影座標抽
出部９で得られた頭頂位置を表わす座標Ｙｔｏｐと頭幅
抽出部１０で得られた頭幅を表わす座標Ｘａ２，Ｘｂ２
とから顔投影面積を算出して比較部２３へ出力する。顔
投影面積は、たとえば、座標Ｙｔｏｐから下部に向かっ
て顔の縦エッジの長さと頭幅（Ｘａ２とＸｂ２との差）
との積から算出される。そして、比較部２３はこの算出
面積値と最小顔面積設定部２２で予め設定された面積値
（顔として許容する最小顔面積値）とを比較し、算出面
積値が設定部２２で設定された面積値以上であるときの
み、比較部２３は比較結果信号１６を出力して顔特徴抽
出／判定部１５を能動化させるようにしている。顔面積
算出部２１、最小顔面積設定部２２および比較部２３に
より、顔面候補のあるべき画像エリアの大きさがあるレ
ベル以上に限定されることにより、誤検知や遠距離動物
体検知が除外され、顔面検知の精度が向上する。

【００３２】ここで、図３の装置の動作を図４を参照し
ながら説明する。ＣＣＤカメラなどにより撮像して得ら
れた画像信号１を用いて、画像メモリ２〜頭幅抽出部１
０により前述と同様にして人体の顔幅に対応のＸ座標Ｘ
ａ２，Ｘｂ２および人体の頭頂に対応のＹ座標Ｙｔｏｐ
が求められる（図４のＳ１〜Ｓ７参照）。

【００３３】次に、顔面積算出部２１は得られた座標Ｘ
ａ２，Ｘｂ２および座標Ｙｔｏｐを用いて顔投影面積を
算出して、比較部２３に出力する。比較部２３は算出さ
れた顔投影面積と最小顔面積設定部２２により予め設定
された顔として許容される最小顔面積とを大小比較し
（図４のＳ７−１参照）、算出された顔投影面積がこの
最小顔面積以上であることに応じて（Ｓ７−１でＹＥ
Ｓ）、比較結果信号１６を出力し顔特徴抽出／判定部１
５を能動化する。逆に算出された顔投影面積がこの最小
顔面積未満であるとき（Ｓ７−１でＮＯ）、比較結果信
号１６は出力されず、したがって顔特徴抽出／判定部１
５は能動化されない。このように、顔特徴抽出／判定部
１５の能動化は、顔面積算出部２１、最小顔面積設定部
２２および比較部２３により顔候補のあるべき画像エリ
アの大きさがあるレベル以上であるときに限定されて、
誤検知や遠距離物体検知が除外され、顔面検知の精度が
向上する。

【００３４】顔特徴抽出／判定部１５は比較結果信号１
６が与えられて能動化されると（Ｓ７−１でＹＥＳ）、
応じて前述と同様にして特定された顔面画像のあるべき
画像エリアに顔特徴であるエッジが十分に抽出されるか
判定し、判定結果に従う顔判定結果信号１３を出力発生
部１４に与えて、出力発生部１４の出力発生を制御する
（図４のＳ８およびＳ９）。

【００３５】「第３実施例」図５は、この発明の第３実
施例による人物認識装置のブロック構成図であり、図６
は図５の人物認識装置の認識処理動作を示すフロー図で
ある。

【００３６】図５の人物認識装置と図１で説明されたそ
れとを比較し異なる点は、図５の装置が図１の構成に追
加して動物体面積算出部３１、動物体最小面積設定部３
２および比較部３３を新たに設け、さらに頭幅抽出部１
０に代替して頭幅抽出部１７を設けている点にある。図
５の装置のその他の構成およびそれらによる人物認識の
動作は、図１のそれらと同じなのでそれら各部について
の詳細説明は省略する。

【００３７】頭幅抽出部１７は、後述する比較部３３か
ら比較結果信号１８が与えられたことに応じてのみ能動
化されて、検出された動物体領域における人体の顔幅の
Ｘ座標（Ｘａ２，Ｘｂ２）を求める。動物体面積算出部
３１は、動き物体の投影面積を算出する部分である。詳
細には、得られた動き物体のエッジのＸ座標を表わすＸ
ａ１，Ｘｂ１から動き物体の画像幅（Ｘａ１とＸｂ１と
の差）が求められ、さらに得られた動き物体の頭頂候補
の座標位置Ｙｔｏｐから動き物体の画像高さが求められ
て、求められた動き物体の画像の幅と高さとの積から動
き物体のおおよその投影面積が算出されて、比較部３３
に出力される。比較部３３は算出された動き物体の投影
面積と動物体最小面積設定部３２で予め設定された面積
（動き物体として許容される最小投影面積）とを大小比
較し、算出面積が設定部３２での設定面積以上であると
きのみ比較結果信号１８を出力して頭幅抽出部１７を能
動化するようにしている。

【００３８】ここで、図５の装置の動作について図６を
参照しながら説明する。ＣＣＤカメラなどにより撮像し
て得られた画像信号１を用いて画像メモリ２〜最大Ｙ軸
投影座標抽出部９により前述と同様にしてＸ座標Ｘａ
１，Ｘｂ１およびＹ座標Ｙｔｏｐが求められる（図６の
Ｓ１〜Ｓ６参照）。

【００３９】次に、動物体面積算出部３１、動物体最小
面積設定部３２および比較部３３により前述のようにし
て得られた座標Ｘａ１，Ｘｂ１およびＹｔｏｐを用いて
動物体画像面積が算出され、この算出面積が予め設定さ
れた最小面積と大小比較されて、その比較結果に応じて
比較結果信号１８が出力される（図６のＳ６−１、Ｓ６
−２参照）。算出面積が最小面積以上であれば（Ｓ６−
２でＹＥＳ）、比較結果信号１８が出力され頭幅抽出部
１７が能動化されて動物体の頭幅が抽出されて座標Ｘａ
２，Ｘｂ２が出力される。逆に、算出面積が最小面積未
満であるとき（Ｓ６−２でＮＯ）、比較結果信号１８は
出力されないので頭幅抽出部１７は能動化されない。

【００４０】顔特徴抽出／判定部１１は頭幅抽出部１７
が能動化されて出力される座標Ｘａ２，Ｘｂ２を用いて
抽出された頭幅領域に顔面特徴が十分に抽出されるか判
定し、その結果に応じて顔判定結果信号１３を出力し出
力発生部１４の出力発生を制御する（Ｓ８，Ｓ９参
照）。

【００４１】このように、図５の装置では動物体面積算
出部３１、動物体最小面積設定部３２および比較部３３
により、得られた動物体画像のうち、小さいもの、たと
えば遠方の動物体や子供などを認識対象から予め除外し
て、ある程度ＣＣＤカメラに近づいた人物についての検
知精度を高めることが可能となる。

【００４２】「第４実施例」図７は、この発明の第４実
施例による人物認識装置のブロック構成図であり、図８
は、図７の人物認識装置の認識動作を示すフロー図であ
る。

【００４３】図７の人物認識装置と図１で説明されたそ
れとを比較し異なる点は、図７の装置が図１の構成に追
加して動物体面積算出部３１、前フレームの動物体面積
算出／メモリ部４１および比較部４２を新たに設け、さ
らに頭幅抽出部１０に代替して頭幅抽出部１９を設けて
いる点にある。図７の装置のその他の構成およびそれら
による人物認識の動作は、図１のそれらと同じなのでそ
れら各部についての詳細説明を省略する。

【００４４】頭幅抽出部１９は、後述する比較部４２か
ら比較結果信号２０が与えられたことに応じてのみ能動
化されて、検出された動物体領域内における人体の頭幅
のＸ座標（Ｘａ２，Ｘｂ２）を求める。

【００４５】動物体面積算出部３１は、図５に示された
それと同様にして動き物体の投影面積を算出する部分で
ある。

【００４６】前フレームの動物体面積算出／メモリ部４
１は得られた座標Ｘａ１，Ｘｂ１およびＹｔｏｐとに基
づいて各フレームごとに動物体面積を算出して、算出さ
れた面積値を逐次記憶する。比較部４２は算出部３１か
ら出力される今回フレームの動物体面積とメモリ部４１
に記憶されている前回フレームの動物体面積とを大小比
較して、今回フレームのそれが前回フレームのそれ以上
であることに応じて比較結果信号２０を出力し頭幅抽出
部１９を能動化する。なお、前フレームの動物体面積算
出／メモリ部４１はメモリされた前回フレームの動物体
面積の読出完了（比較部４２による比較完了）ごとに、
メモリ部４１の前回フレームの面積をクリアし、新たに
今回の算出面積を記憶することを繰り返す。

【００４７】次に、図７の装置の動作について図８を参
照しながら説明する。ＣＣＤカメラなどにより撮像して
得られた画像信号１を用いて、画像メモリ２〜最大Ｙ軸
投影座標抽出部９により前述と同様にして座標Ｘａ１，
Ｘｂ１およびＹｔｏｐが求められる（図８のＳ１〜Ｓ６
参照）。

【００４８】次に、動物体面積算出部３１、前フレーム
の動物体面積算出／メモリ部４１および比較部４２によ
り今回フレームの動物体画像面積が前回フレームのそれ
以上であるか検出され、その結果に応じて比較結果信号
２０が出力されて頭幅抽出部１９が能動化される。頭幅
抽出部１９は比較結果信号２０により今回フレームの動
物体画像面積が前回フレームのそれ以上であるときのみ
能動化されて、前述と同様にして頭幅を抽出し座標Ｘａ
２，Ｘｂ２を顔特徴抽出／判定部１１に出力する。顔特
徴抽出／判定部１１は頭幅抽出部１９から出力される座
標Ｘａ２，Ｘｂ２を用いて動物体頭幅部に顔面特徴が十
分に抽出されるかを判定し、顔判定結果信号１３を出力
し、出力発生部１４の出力発生を制御する。

【００４９】このように、図７の装置によれば、動物体
面積算出部３１、前フレームの動物体面積算出／メモリ
部４１および比較部４２により、認識対象をカメラに近
づいてくる動き物体に限定でき、また近づいてくるとい
うことは顔面がほぼ正面を向いていることとなって、該
装置における検知精度を高めることが可能となる。

【００５０】「第５実施例」図９は、この発明の第５実
施例による人物認識装置のブロック構成図であり、図１
０は図９の人物認識装置の認識処理動作を示すフロー図
である。

【００５１】図９の人物認識装置と図１で説明されたそ
れとを比較し異なる点は、図９の装置が図１の構成に追
加して画像領域設定部５１および画像包含比較部５２を
設け、さらに顔特徴抽出／判定部１１に代替して顔特徴
抽出／判定部５３を設けている点にある。図９の装置の
その他の構成およびそれらによる人物認識の動作は、図
１のそれらと同じなのでそれら各部についての詳細説明
は省略する。

【００５２】顔特徴抽出／判定部５３は、後述する画像
包含比較部５２から比較結果信号５０が与えられたこと
に応じてのみ能動化されて、動物体領域内における顔幅
部において顔特徴が十分に抽出されるか判定し、その判
定結果に応じて顔判定結果信号１３を出力する。

【００５３】画像領域設定部５１はＣＣＤカメラにより
撮像して得られる画像領域のうち顔面が明瞭に写るべき
領域が予め設定される。この画像領域の設定は、画像の
二次元座標化とメモリにより可能である。画像包含比較
部５２は頭幅抽出部１０で得られた頭幅に対応の座標Ｘ
ａ２およびＸｂ２が設定部５１で設定された領域（座
標）に包含されるか否かを比較し、包含されるときのみ
比較結果信号５０を出力して顔特徴抽出／判定部５３を
能動化する。逆に包含されないときは比較結果信号５０
は出力されないので顔特徴抽出／判定部５３は能動化さ
れない。

【００５４】次に、図９の人物認識装置の動作について
図１０を参照しながら説明する。ＣＣＤカメラなどによ
り撮像して得られた画像信号１を用いて画像メモリ２〜
頭幅抽出部１０により座標Ｘａ２，Ｘｂ２およびＹｔｏ
ｐが求められる（図１０のＳ１〜Ｓ７参照）。次に、画
像領域設定部５１および画像包含比較部５２により得ら
れた頭幅を示す座標Ｘａ２，Ｘｂ２が予め定められた画
像領域内に包含されるか否か判定され（図１０のＳ７−
２参照）、包含されるときのみ（Ｓ７−２でＹＥＳ）、
比較結果信号５０により顔特徴抽出／判定部５３が能動
化されて、特定された頭幅部間に顔面特徴が十分に抽出
されるか否か判定されて、顔判定結果信号１３が出力さ
れ、出力発生部１４の出力発生が制御される。

【００５５】以上のように図９の装置によれば、画像領
域設定部５１および画像包含比較部５２により顔面が明
瞭に写るべき領域が予め特定されて、該装置の検知精度
を向上させることが可能となる。

【００５６】「第６実施例」前述した出力発生部１４
は、合成された音声を出力するように作用するものある
いは何らかの表示を出力させるように作用させるもの、
または両者を兼ね合せたものであってよい。すなわち、
人物認識装置において、画像的に顔に近いが顔としての
何らかの条件が不足して顔として確定されない場合に、
音声や表示を発生させることにより、普通ではないかも
しれない状態にあることを報知するようにしたものであ
る。この人物認識装置がセキュリティシステムに採用さ
れるとき、この報知がされた時点ではまだ犯罪が発生し
ていないので、音声や表示の内容は威嚇的なものではな
く、比較的ソフトなものとする必要がある。報知の目的
は、この人物認識装置が採用されるシステムの管理者側
に対しての注意喚起と、顔として認識されなかった被写
体に対しての警告である。顔として認識されなかった要
因としては、被写体に何ら意図のない場合（該認識装置
の単なる認識ミスの場合や、被写体自身が風邪引きや花
粉症のためのマスク装着で結果的に顔面特徴を認識でき
なかった場合など）と、被写体が何らかの犯罪を目的と
して意識的にマスクなどで顔の特徴を隠した場合とがあ
る。犯罪を意図しない人がたまたま顔面検知されなくて
結果的にソフトな音声や表示が発生したとしても、当人
にとっては痛痒を感じない。ただし、何らかの犯罪を目
的とした人の場合には、同様にソフトな音声や表示が発
生したときには、当人にとっては警告と感じられて予定
していた何らかの犯行を控えさせる効果を生ずる。

【００５７】「第７実施例」前述した出力発生部１４
は、図示されない画像記録装置に対して画像記録指令を
出力するものであってもよい。セキュリティシステムに
上述の人物認識装置が採用された場合、カメラで撮像し
ながら録画するのが一般的であるが、すべての画像を録
画するのはメモリ容量の制限から好ましくなく、また実
用的でもない。本実施例では、被写体が不審な人物であ
るかもしれないと認識された場合（顔特徴が十分に抽出
できなかった場合）に、画像記録指令を出力し、その人
物を録画するようにしているのでメモリ容量の効果的な
利用が図られる。

【００５８】「第８実施例」前述した出力発生部１４
は、図示されない映像出力装置に対して顔面画像部分の
ズーム指令を出力するものであってもよい。被写体から
顔面部を抽出し、その顔面部を拡大した画像を映し出す
技術は公知である。本実施例では、顔特徴が十分に抽出
できず被写体が不審な人物であるかもしれないと認識さ
れたときに、出力発生部１４が顔面画像部分のズーム指
令を出力するので該人物認識装置がセキュリティシステ
ムに採用された場合、有効に作用する。

【００５９】「第９実施例」前述した出力発生部１４
は、図示されない他機器の運転，停止および一部機能を
制御するための信号を出力するものであってもよい。他
機器とは、たとえば、第三者に注意を喚起するための警
報装置、不審であるかもしれない人物（顔面特徴が十分
に抽出されなかった被写体）が操作しようとする対象機
器（両替機など）、セキュリティシステムなどである。
この実施例では、被写体が不審な人物であるかもしれな
いと認識された場合に警報装置を作動させたり、両替機
の作動を一時停止させたり、セキュリティシステムに警
戒指令信号を送出したりすることにより、犯罪を未然に
防止することができる。

【００６０】上述した第１ないし第９実施例によれば、
顔に何らかの細工をしているかもしれない人が、セキュ
リティシステムを必要とする場所に近づいたときに、そ
の人が犯行を行なう前に、差障りのない注意喚起信号を
出したり、対象機器を停止させるようにしたり、セキュ
リティシステムを作動させたりすることによって、その
被写体が何らかの犯意を持った人であるときには犯行を
断念させることができる。なお、その被写体が犯意を持
たない人であるときには、上述した差障りのない注意信
号などのため、それが自分に対しての注意喚起信号とは
気付かないので、不快感を催させることもない。このよ
うに人物認識装置がセキュリティシステムに採用された
場合、自動的に動き物体の中から顔面特徴を認識するこ
とにより、適切なアクションを行なわしめ、犯罪を未然
に防止できる新しい効果的なセキュリティシステムの構
築が可能となる。

【００６１】なお、上述した各実施例では顔面特徴をエ
ッジ検出部１２から与えられるエッジ情報に基づいて抽
出していたが、この顔特徴抽出の方法はこれに限定され
るものではない。たとえば、抽出された顔のあるべき画
像エリアの色情報で判定することも可能である。

【００６２】

【発明の効果】以上のようにこの発明に係る人物認識装
置によれば、撮像して得られた動き物体、すなわち人体
に関するデータ領域中に、顔面を特定する画像データが
含まれるか否か、すなわち顔特徴が未確定であるか否か
に応じて何らかの出力を発生させることが可能となる。
さらに、この発明に係る人物認識装置が採用されるセキ
ュリティシステムに、顔に何らかの細工をして犯意を持
った被写体が接近した場合は、この出力発生により、犯
意を断念させることが可能となる。

【００６３】また、上述の人物認識装置は顔面面積算出
手段を備えるので、検出された動き物体データ領域にお
いて顔面候補があるべき画像領域の大きさを所定面積を
用いて限定することにより、該認識装置における誤検出
や遠距離の動き物体検知が除外されて、該装置の認識精
度は向上する。

【００６４】上述の人物認識装置は検出された動き物体
データ領域の面積を算出する動き領域算出手段を備えた
場合、算出された動き領域面積と所定面積とが比較さ
れ、この比較結果に応じて顔面データ領域抽出手段の能
動化が制御されるので、動物体画像のうち、小さい画
像、すなわち、遠方に位置する動物体や子供などを対象
から除外して、ある程度該認識装置に接近した動物体
（人物）についての検知精度を高めることが可能とな
る。

【００６５】さらに、上述の人物認識装置が、検出され
た動き物体データ領域の面積を所定間隔毎に繰り返し算
出する面積繰り返し算出手段を備えた場合、繰り返し算
出される動き領域と前回算出された動き領域との面積が
逐次比較され、この比較結果に応じて顔面データ領域の
抽出が能動化されるので、該認識装置に近づきつつある
動き物体（人物）を検知対象として限定可能となって、
さらに近づいてくるということは顔面がほぼ正面を向い
ていることとなって、検知精度が高められる。

【００６６】上述した人物認識装置において、抽出され
た顔面データ領域が画像データ領域内の予め設定された
領域に包含されるか判定して顔面特定の為の画像データ
が顔面画像データに含まれるか否かの判定手段が能動化
される場合、顔面が明瞭に映るべき領域を予め特定する
ことが可能となって、該装置の認識精度は向上する。

【００６７】この発明の他の局面に係る人物認識装置に
よれば、撮像して得られた動き物体、すなわち人体に関
するデータ領域中に、顔面を特定する画像データが含ま
れるか否か、すなわち顔特徴が未確定であるか否かに応
じて何らかの出力を発生させることが可能となる。さら
に、この人物認識装置が採用されるセキュリティシステ
ムに、顔に何らかの細工をして犯意を持った被写体が接
近した場合は、この出力発生により、犯意を断念させる
ことが可能となる。またこの人物認識装置は、検出され
た動き物体データ領域の面積を所定間隔毎に繰り返し算
出する面積繰り返し算出手段を備えて、繰り返し算出さ
れる動き領域と前回算出された動き領域との面積が逐次
比較され、この比較結果に応じて顔面データ領域の抽出
が能動化されるので、該認識装置に近づきつつある動き
物体（人物）を検知対象として限定可能となって、さら
に近づいてくるということは顔面がほぼ正面を向いてい
ることとなって、検知精度が高められる。

【図面の簡単な説明】

【図１】この発明の第１実施例による人物認識装置のブ
ロック構成図である。

【図２】図１の人物認識装置の認識処理動作を示すフロ
ー図である。

【図３】この発明の第２実施例による人物認識装置のブ
ロック構成図である。

【図４】図３の人物認識装置の認識処理動作を示すフロ
ー図である。

【図５】この発明の第３実施例による人物認識装置のブ
ロック構成図である。

【図６】図５の人物認識装置の認識処理動作を示すフロ
ー図である。

【図７】この発明の第４実施例による人物認識装置のブ
ロック構成図である。

【図８】図７の人物認識装置の認識処理動作を示すフロ
ー図である。

【図９】この発明の第５実施例による人物認識装置のブ
ロック構成図である。

【図１０】図９の人物認識装置の認識処理動作を示すフ
ロー図である。

【図１１】この発明の背景技術を説明するための人物認
識装置のブロック構成図である。

【図１２】（ａ）〜（ｃ）は、この発明の背景技術に関
する人物認識処理の手順を説明するための図である。

【符号の説明】

１ 画像信号 ２ 画像メモリ ３ 絶対差分部 ４ しきい値決定部 ５ 比較部 ６ Ｘ軸濃度投影部 ７ 最大Ｘ軸投影座標抽出部 ８ Ｙ軸濃度投影部 ９ 最大Ｙ軸投影座標抽出部 １０ 頭幅抽出部 １１ 顔特徴抽出／判定部 １２ エッジ検出部 １３ 顔判定結果信号 １４ 出力発生部 なお、各図中同一符号は同一または相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G01B 11/28 H04N 7/18

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 被写体を撮像して得られる画像データ領
   域中から、動き物体データ領域を検出する手段と、 検出された動き物体データ領域中から顔面があるべきデ
   ータ領域を抽出する手段と、 抽出された顔面データ領域に顔面を特定する画像データ
   が含まれるか否か判定する手段と、 前記顔面特定画像データが含まれないと判定されたこと
   に応じて出力を発生させる手段と、 前記抽出された顔面データ領域の面積を算出する顔面面
   積算出手段と、 算出された顔面面積と所定面積とを比較し、比較結果に
   応じて前記判定手段の能動化を制御する手段とを 備え
   た、人物認識装置。
2. 【請求項２】 前記検出された動き物体データ領域の面
   積を算出する動き領域面積算出手段と、 算出された動き領域面積と所定面積とを比較し、比較結
   果に応じて前記顔面データ領域抽出手段の能動化を制御
   する手段とをさらに備えた、請求項１に 記載の人物認識
   装置。
3. 【請求項３】 前記検出された動き物体データ領域の面
   積を所定間隔毎に繰り返し算出する面積繰り返し算出手
   段と、 前記繰り返し算出される動き領域面積と前回算出された
   前記動き領域面積とを逐次比較し、比較結果に応じて前
   記顔面データ領域抽出手段の能動化を制御する手段とを
   さらに備えた、 請求項１または２に記載の人物認識装
   置。
4. 【請求項４】 前記抽出された顔面データ領域が前記画
   像データ領域内の予め設定された領域に包含されるか判
   定し、判定結果に応じて前記判定手段の能動化を制御す
   る手段をさらに備えた、請求項１または２に記載の人物
   認識装置。
5. 【請求項５】 被写体を撮像して得られる画像データ領
   域中から動き物体データ領域を検出する手段と、 検出された動き物体データ領域中から顔面があるべきデ
   ータ領域を抽出する手段と、 抽出された顔面データ領域に顔面を特定する画像データ
   が含まれるか否か判定する手段と、 前記顔面特定画像データが含まれないと判定されたこと
   に応じて出力を発生させる手段と、 前記検出された動き物体データ領域の面積を所定間隔毎
   に繰り返し算出する面積繰り返し算出手段と、 前記繰り返し算出される動き領域面積と前回算出された
   前記動き領域面積とを逐次比較し、比較結果に応じて前
   記顔面データ領域抽出手段の能動化を制御する手段とを
   備えた、人 物認識装置。