JP3065838B2

JP3065838B2 - 人物認識方法

Info

Publication number: JP3065838B2
Application number: JP5024608A
Authority: JP
Inventors: 孝弘渡辺; 聰中川; 裕次久野
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1993-02-15
Filing date: 1993-02-15
Publication date: 2000-07-17
Anticipated expiration: 2015-07-17
Also published as: JPH06243259A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばテレビジョンカ
メラ（以下、ＴＶカメラという）等による撮像画像から
侵入者を検出する侵入者監視システムにおいて、人物を
認識する人物認識方法に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがあった。文献；１９９０年電子情報通信学会春季全国大会講演論
文集文冊６Ｄ−４３６、佐久間喜郎、伊東潔、増
田功著「微分画像のフレーム間差分による侵入物体検
出」Ｐ．６−４３８従来、侵入者監視システムにおける人物認識方法として
は、前記文献に記載されるように、侵入者の有無を確認
するための入力画像と背景画像をＴＶカメラで画像入力
し、前記入力画像と背景画像との差分２値化画像から変
化領域を求め、前記変化領域の特徴量から侵入者の有無
を判断し、侵入者有りの場合には警報を発するようにな
っている。ここで、変化領域の特徴量から侵入者の有無
を判断する方法としては、変化領域の面積と外接矩形を
パラメータとして侵入者の有無を判断している。つま
り、変化領域の面積がある値以上で、かつ外接矩形の縦
横比（外接矩形の縦の長さ／横の長さ）がある範囲以内
であるものを、侵入者として判断するようになってい
た。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
侵入者監視システムにおける人物認識方法では、次のよ
うな問題があった。侵入者をＴＶカメラで画像入力し、
その画像に基づき侵入者の有無を検出する場合、ＴＶカ
メラの設置場所から遠くにいる侵入者は、画像上で変化
領域の面積が小さくなる。これに対し、ＴＶカメラの設
置場所の近くでは、小さなものが動いても変化領域の面
積が大きくなる。そのため、ＴＶカメラの設置場所から
遠い位置にいる侵入者を認識しようとして、変化領域の
面積における閾値の設定を低くすると、ＴＶカメラの近
くで人以外の小さな物体が動くことによって生じる変化
領域との区別ができずに、誤報を発してしまうことがあ
る。また、もう一つのパラメータである外接矩形の縦横
比は、人が通常に歩行する動作を横から捉えた場合、足
と腕を閉じたときは開いたときに比べ約４〜５倍ほども
大きくなる。そのため、縦横比だけから侵入者を判断す
る場合も、誤認識が多くなる。このように、変化領域の
面積と外接矩形の縦横比のみから侵入者の有無を判断す
ると、多くの誤報を発するおそれがある。本発明は、前
記従来技術が持っていた課題として、変化領域の面積と
外接矩形の縦横比から侵入者の有無を判断する方法によ
って生じる誤認識の点を解決し、歩行時に発生する人物
特有の形状を利用することによって人物を正確に認識
し、誤報を少なくする侵入者監視システムにおける人物
認識方法を提供するものである。

【０００４】

【課題を解決するための手段】本発明は、前記課題を解
決するために、侵入者の有無を確認するための入力画像
と背景画像との差分画像を２値化し、その差分２値化画
像の変化領域より侵入者の有無を判断する方法におい
て、前記変化領域の外接矩形を縦に３等分したそれぞれ
の矩形Ａ１，Ａ２，Ａ３内の各変化領域を横軸上へ投影
して得られる投影ヒストグラムの特徴量である下記の特
徴（１）〜特徴（６）と、前記変化領域の外接矩形にお
ける縦横比との関係によって人物を認識するようにして
いる。特徴（１）；各分割外接矩形Ａ１，Ａ２，Ａ３中のヒス
トグラムのブロック数特徴（２）；各ブロックの平均値Ｆ特徴（３）；各ブロックの平均値Ｆの分割外接矩形間の
差特徴（４）；各ブロックにおける極大値数特徴（５）；各ブロックにおける面積の割合Ｒ特徴（６）；分割外接矩形Ａ３における極大値の位置Ｍ

【０００５】

【作用】本発明によれば、以上のように人物認識方法を
構成したので、特徴（１）〜（６）は、歩行時に発生す
る人物特有の形状の特徴を表しており、それらの人物特
有の形状を利用することによって人物の正確な認識が行
える。従って、前記課題を解決できるのである。

【０００６】

【実施例】図１は、本発明の実施例を示すもので、侵入
者監視システムにおける人物認識方法の概略の処理手順
を示す図である。この人物認識方法は、ＴＶカメラ等の
画像入力装置によって背景画像及び入力画像を入力し、
それらを背景画像メモリ１及び入力画像メモリ２に格納
する画像入力処理を行い、該入力した背景画像及び入力
画像に対して差分処理３、２値化処理４、変化領域切り
出し処理５、変化領域分割処理６、投影ヒストグラム作
成処理７、特徴量抽出処理８、及び侵入物体判定処理９
を行って侵入者に対する認識結果を出力するようになっ
ている。以下、これらの各処理を図２〜図１６を参照し
つつ説明する。

【０００７】メモリ１，２への画像入力処理図２は背景画像の例、図３は入力画像の例を示す図であ
る。まず、ＴＶカメラ等の画像入力装置を用い、図２に
示すように、侵入物体が存在しない背景だけを撮影し、
その背景画像を予め背景画像メモリ１の中に格納してお
く。そして、背景画像を撮影したのと同じ位置で撮影
し、その撮影した図３に示すような入力画像を入力画像
メモリ２の中に格納する。

【０００８】差分処理３画像入力処理後、差分処理３において、入力画像中にお
ける背景画像からの変化を検出するために、背景画像メ
モリ１と入力画像メモリ２からそれぞれ入力される背景
画像と入力画像とで、その差の絶対値を計算し、差分画
像を求めた後、２値化処理４へ進む。

【０００９】２値化処理４図４は、差分２値化画像の例を示す図である。２値化処
理４において、差分処理３で求めた差分画像をある適当
な閾値を用いて２値化し、図４に示すような差分２値化
画像を求める。この差分２値化画像では、入力画像中で
背景画像から変化した領域の画素の値が１、変化してい
ない領域では画素の値が０に設定され、領域変化が抽出
されることになる。しかし、侵入物体によっては背景画
像と局所的に同じ濃度を持っていることがある。その場
合の差分２値化画像は、図４に示すように、その部分だ
けが侵入物体として捉えられず、変化領域が切れ切れに
なる。そのため、それぞれの変化領域は別個に認識さ
れ、本来の一つの侵入物体しては認識されなくなる。そ
こで、次の変化領域切り出し処理５を行う。

【００１０】変化領域切り出し処理５図５（ａ）〜（ｆ）は、人物の歩行時のパターン例を示
す図である。変化領域切り出し処理５では、一つの侵入
物体を表す変化領域を一つにまとめるために、差分２値
化画像を数回膨張した後、同じ回数だけ収縮する。膨張
とは、値０の画素の回りに値１の画素がある場合、その
値０の画素を１に変換するものである。つまり、変化領
域の回りを一画素分膨らますのである。収縮はその逆
で、変化領域の回りを一画素分小さくする。この作業に
よって、一つの侵入物体を表すと思われる変化領域は、
一つの領域として抽出される。そして、このようにして
得られた変化領域を図５（ａ）〜（ｆ）に示すように、
外接矩形で囲み、この外接矩形に囲まれた領域を差分２
値化画像から切り出す。この切り出された領域から、侵
入物体が人物か否かを判断する場合、外接矩形の縦横比
だけから判断しようとすると、第５図に示すように、外
接矩形の縦横比は大きく変化し、正確に人を認識できな
い。しかし、この外接矩形の縦横比の変化はある規制性
がある。それは、外接矩形の縦横比が小さくなる（すな
わち、外接矩形が横に広がる）のは、人が腕と足とを開
いた場合（図５（ｄ))であり、縦横比が大きくなるのは
腕と足を閉じた場合（図５（ｂ))である、ということで
ある。ただし、歩行時における腕の開き方は人によって
個人差があるので、腕の開き具合と縦横比の変化とが常
に関係しているとはいえない。一方、足の開閉と縦横比
の変化は常に上で述べたような関係がある。そこで、外
接矩形の縦横比と変化領域中で足に相当する部分の形状
とのこのような規則性を捉えることができれば、侵入物
体が人であるか否かを正確に認識できることになる。そ
のため、次の変化領域分割処理６を行う。

【００１１】変化領域分割処理６図６は、変化領域の３等分の例を示す図である。変化領
域分割処理６では、図６に示すように、変化領域の外接
矩形を縦に３等分する。これは、人を表す変化領域にお
いて、縦横比変化の原因となる人の腕と足の部分を別々
の領域に分割し、変化領域の形状を捉え易くするための
ものである。この３等分によりできる矩形を、上からそ
れぞれＡ１，Ａ２，Ａ３とする。そして、次の投影ヒス
トグラム作成処理７へ進む。

【００１２】投影ヒストグラム作成処理７図７（ａ）〜（ｆ）は、図５（ａ）〜（ｆ）のそれぞれ
に対応した分割外接矩形の投影ヒストグラムの例を示す
図である。この投影ヒストグラムの横軸は外接矩形Ａ
１，Ａ２，Ａ３の横軸に対応し、縦軸はＡ１，Ａ２，Ａ
３の各々のヒストグラムの度数ＨＩＳＴに対応する。図
８及び図９は、図７中のブロックＢＫを示す図である。
図１０（ａ）〜（ｆ）は、図７（ａ）〜（ｆ）の投影ヒ
ストグラムにおける平均値を示す図である。また、図１
１〜図１４は、図７中のブロックＢＫを示す図である。

【００１３】投影ヒストグラム作成処理７では、分割し
た外接矩形のそれぞれについて、変化領域を表す値１の
画素を縦方向に加算し、図７（ａ）〜（ｆ）に示すよう
に、外接矩形内における変化領域の横軸上への投影ヒス
トグラムを求める。その後、特徴が捉え易いように、こ
のヒストグラムを平滑化しておく。すると、図７（ａ）
〜（ｆ）から明かなように、分割外接矩形Ａ１，Ａ２，
Ａ３中の変化領域の形状の特徴は、投影ヒストグラムの
形状の特徴として現れている。矩形Ａ１のように、縦横
比の変化に対して変化領域の形状の変化がない場合は、
投影ヒストグラムの形状もほとんど変化しない。また、
このような人の胸から上の部分の形状を投影すると、投
影ヒストグラムの形状は、三角形の形に近いブロックＢ
Ｋとなる。ただし、ブロックＢＫとは、図７（ｆ）に示
すように、投影ヒストグラム中で度数ＨＩＳＴが０のと
ころで区切られる、度数が１以上の一塊の部分のことと
し、図８に示すように、ブロックＢＫにおける横軸の範
囲を底辺Ｌ、最大値を高さＨとする。矩形Ａ１では、こ
のブロックＢＫが極端に横軸の端には存在しない。

【００１４】矩形Ａ２では、外接矩形の縦横比が大き
く、人の腕が閉じられているときは、投影ヒストグラム
の形状は図１２のような台形に近い形となる。外接矩形
の縦横比が小さくなるにつれて変化領域の人の腕の部分
が広がっていくと、投影ヒストグラムの形状は、台形に
近い形をしていたブロックＢＫの台形の底辺Ｌの両端が
伸びていき、シルクハットのような形に変化していく
（図７（ａ）→図７（ｄ))。ただし、人によっては、歩
行時に腕をほとんど開かない場合もあり、そのときのヒ
ストグラムの形状は、台形の形に近いブロックＢＫが矩
形Ａ１のように縦横比の変化に関係なくほとんど変化せ
ず、極端に横軸の端には存在しない。

【００１５】矩形Ａ３では、外接矩形の縦横比が大きい
とき、変化領域の足の部分が閉じられ一塊となっている
ので、投影ヒストグラムの形状は矩形Ａ２の台形のよう
な形状となる。外接矩形の縦横比が小さくなり、図５
（ｄ）のように変化領域の足の部分が開いて足の形状が
逆Ｖ字型になると、投影ヒストグラムの形状は図７
（ｄ）のように極大値を２つ持つ山のような形状とな
る。さらに、図５（ｅ）のように足の部分が「へ」の字
型になると、ヒストグラムは図７（ｅ）のようにブロッ
クの端に山が一つ存在し、それ以外はほぼ平坦な形をし
ているようなブロックＢＫになる。このように、３等分
した外接矩形Ａ１，Ａ２，Ａ３内での変化領域の投影ヒ
ストグラムの形状の変化に着目すれば、人物の歩行状態
を表現することができ、人物を正確に認識できる。そこ
で、次の特徴量抽出処理８を行う。

【００１６】特徴量抽出処理８特徴量抽出処理８では、以下の特徴量を矩形Ａ１〜Ａ３
の投影ヒストグラムから抽出する。特徴（１）；各分割外接矩形Ａ１，Ａ２，Ａ３中のヒス
トグラムのブロック数特徴（２）；各ブロックＢＫの平均値Ｆ特徴（３）；各ブロックＢＫの平均値Ｆの分割外接矩形
間の差特徴（４）；各ブロックＢＫにおける極大値数特徴（５）；各ブロックＢＫにおける面積Ｓの割合Ｒ特徴（６）；矩形Ａ３における極大値の位置Ｍただし、ここでの各ブロックＢＫの平均値Ｆとは、図９
に示す平均値Ｆの横軸のｘ座標であり、次式（１）で求
める。なお、図９の縦軸はヒストグラムの度数ＨＩＳＴ
である。

【００１７】

【数１】各ブロックＢＫの面積Ｓの割合Ｒとは、図９に示すよう
に、ブロックＢＫの底辺Ｌと高さＨを掛けてできる四角
形ＡＢＣＤの面積を１００％としたときの、ブロックＢ
Ｋの面積Ｓが四角形ＡＢＣＤに占める割合のことであ
る。これは次式（２）で求める。

【００１８】

【数２】また、極大値の位置Ｍは、図９に示す通りである。この
ような特徴量を抽出するのは、以下の理由からである。
特徴（１）の各分割外接矩形Ａ１，Ａ２，Ａ３中のヒス
トグラムのブロック数は、図７から分かるように、どの
ヒストグラムにおいても１である。特徴（２）の平均値
Ｆは、人の変化領域の場合は図１０に示すように、矩形
Ａ１からＡ３のヒストグラムにおいて極端に端の位置に
寄ることはなく、しかも特徴（３）のそれらの差も矩形
Ａ１からＡ３までの間で小さく、ほぼ一直線である。つ
まり、特徴（１）〜（３）は変化領域の全体的な特徴を
表しており、これらの特徴量より人の形状とは全く異な
る変化領域を区別できることになる。

【００１９】一方、特徴（４）〜（６）は各ブロックＢ
Ｋの形状の特徴を表している。特徴（４）の各ブロック
ＢＫにおける極大値数は、矩形Ａ１，Ａ２においては外
接矩形の縦横比の変化に関係なく１である。矩形Ａ３に
おいては、縦横比の変化に伴って２か、あるいは１にな
る。その関係については後述する。特徴（５）の面積Ｓ
の割合Ｒも、矩形Ａ１においては、外接矩形の縦横比の
変化に関係なく、図１１に示すような形がほとんどであ
るため、四角形ａｂｃｄの面積を１００％をすると、三
角形ｅｄｃの面積が５０％となるため、面積の割合Ｒは
５０％以上となる。矩形Ａ２においては、外接矩形の縦
横比が大きいときは、図１２に示すように、ブロックＢ
Ｋの形状が台形に近い形となるので、面積の割合Ｒは５
０％を大きく上回る。また、縦横比が小さくなり、図１
３のように、ブロックＢＫの形状がシルクハットのよう
になっても、面積の割合は５０％以上となる。矩形Ａ３
においては、やはり外接矩形の縦横比との関係があるの
で、次で詳しく説明する。矩形Ａ３における特徴（４）
〜（６）と外接矩形の縦横比との関係は、次のようにな
る。

【００２０】矩形Ａ３での特徴（４）のブロックＢＫに
おける極大値数は、縦横比が図７（ｄ）のように非常に
小さい場合は２となり、図７（ａ），（ｄ）のように縦
横比が非常に大きい場合は１となる。しかし、図７
（ｃ），（ｅ），（ｆ）のように縦横比がある範囲内で
は、極大値数は２（図７（ｃ）の場合）か、あるいは、
１（図７（ｅ），（ｆ）の場合）である。この縦横比が
ある範囲内で極大値数１の場合は、図７（ｅ），（ｆ）
のブロックＢＫの形状は、図７（ｅ）に代表されるよう
なブロックＢＫの端に山が一つ存在し、そこ以外はほぼ
平坦な形となる。これは、図７（ａ）のようなブロック
ＢＫの形状とは異なる。そのため、特徴（５）の面積Ｓ
の割合は、図７（ａ）のような形状では、図１２のよう
に５０％以上となるが、図７（ｅ）のような形状では、
図１４に示すように、５０％以下となり、また極大値の
位置ＭとブロックＢＫの中心ＢＯとの差の絶対値が大き
くなる。つまり、矩形Ａ３における特徴（４）〜（６）
と外接矩形の縦横比との関係をまとめると、縦横比が小
さい場合は極大値数は２である。縦横比がある範囲内で
は極大値数は２か、あるいは１であり、この場合の極大
値数１なら面積の割合が５０％以下で、かつ極大値の位
置ＭはブロックＢＫの端に存在する。縦横比が大きい場
合は極大値数は１であり、このときは面積の割合が５０
％以上で、かつ極大値数の位置ＭはブロックＢＫの中心
ＢＯ付近にある、ということになる。

【００２１】侵入物体判定処理９そして最後に、侵入物体判定処理９において、特徴量抽
出処理８で得られる６つの特徴量と変化領域の外接矩形
の縦横比との関係から、変化領域の判定を行い、侵入物
体が人か否かを判定する。その人物判定手順１，２のフ
ローチャートを図１５及び図１６に示す。まず、図１５
のステップＳ１において、外接矩形の縦横比がある範囲
内にあるかどうかを調べる。次に、ステップＳ２におい
て、３つの投影ヒストグラムのブロック数がすべて１で
あるかどうかを判定し、ステップＳ３，Ｓ４において、
３つの投影ヒストグラムのブロックの平均値Ｆの外接矩
形の横幅に対する割合が、どれもある範囲内にあり、分
割外接矩形間（Ａ１とＡ２、Ａ２とＡ３、Ａ１とＡ３）
の平均値Ｆの割合の差が、ある範囲内にあることをそれ
ぞれ調べる。そして、ステップＳ５，Ｓ６において、矩
形Ａ１とＡ２の投影ヒストグラムの各ブロックＢＫにお
ける極大値数が１であることと、面積Ｓの割合Ｒがある
範囲内にあることをそれぞれ調べる。次に、縦横比の境
界値を、ａ１＜ａ２＜ａ３＜ａ４のように設定し、図１６のステップＳ７〜Ｓ９で、縦横
比に依存する矩形Ａ３での処理を振り分ける。縦横比が
境界値ａ１からａ２までの区間では、ステップＳ１０に
おいて極大値数が２つ存在するかどうかを調べる。縦横
比が境界値ａ２からａ３の区間では、ステップＳ１１に
おいて、極大値数が２つ存在するか、または、極大値数
が一つならステップＳ１３，Ｓ１４において極大値の位
置ＭとそのブロックＢＫの中央との差の絶対値がある範
囲内（ｅ１以上ｅ２以内）で、面積Ｓの割合Ｒが５０％
以下のある範囲内（ｆ１以上ｆ２以内）にあるかどうか
をそれぞれ調べる。縦横比が境界値ａ３からａ４の範囲
内では、ステップＳ１５，Ｓ１６において、極大値数が
一つで、面積の割合が５０％以上のある範囲内（ｄ１以
上ｄ２以内）であるかどうかを調べる。

【００２２】これらの条件をすべて満たす場合のみ、そ
の侵入物体が人と認識され、その認識結果が出力されて
人物認識処理を終了する。以上のように、本実施例で
は、変化領域の外接矩形の縦横比と、その外接矩形を縦
に３等分したそれぞれの矩形Ａ１，Ａ２，Ａ３内での各
変化領域を横軸上へ投影して得られる投影ヒストグラム
の特徴量である特徴（１）〜（６）とから、人物を認識
するようにしたので、正確に人物を認識でき、侵入者監
視システムにおいて誤報を少なくできる。なお、本発明
は上記実施例に限定されず、例えば、図１の侵入物体判
定処理９を、図１５及び図１６の人物判定手順１，２以
外の手順で処理する等、種々の変形が可能である。

【００２３】

【発明の効果】以上詳細に説明したように、本発明によ
れば、変化領域の外接矩形の縦横比と、その外接矩形を
縦に３等分したそれぞれの矩形Ａ１，Ａ２，Ａ３内での
各変化領域を横軸上へ投影して得られる投影ヒストグラ
ムの特徴量である特徴（１）〜（６）とから、人物を認
識するようにしたので、正確に人物を認識でき、侵入者
監視システムにおいて誤報を少なくすることが可能とな
る。

【図面の簡単な説明】

【図１】本発明の実施例の人物認識方法の概略の処理手
順を示す図である。

【図２】背景画像の例を示す図である。

【図３】入力画像の例を示す図である。

【図４】差分２値化画像の例を示す図である。

【図５】人物の歩行時のパターン例を示す図である。

【図６】変化領域の３等分の例を示す図である。

【図７】分割外接矩形の投影ヒストグラムの例を示す図
である。

【図８】図７中のブロックＢＫを示す図である。

【図９】図７中のブロックＢＫを示す図である。

【図１０】図７の投影ヒストグラムにおける平均値を示
す図である。

【図１１】図７中のブロックＢＫを示す図である。

【図１２】図７中のブロックＢＫを示す図である。

【図１３】図７中のブロックＢＫを示す図である。

【図１４】図７中のブロックＢＫを示す図である。

【図１５】図１の侵入物体判定処理９における人物判定
手順１を示すフローチャートである。

【図１６】図１の侵入物体判定処理９における人物判定
手順２を示すフローチャートである。

【符号の説明】

１背景画像メモリ２入力画像メモリ３差分処理４２値化処理５変化領域切り出し処理６変化領域分割処置７投影ヒストグラム作成処理８特徴量抽出処理９侵入物体判定処理

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩＧ０８Ｂ 23/00 Ｇ０６Ｆ 15/62 ３８０ (56)参考文献特開平６−20049（ＪＰ，Ａ) 特開平４−281576（ＪＰ，Ａ) 特開昭62−147888（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G06T 9/20 G01B 11/24 - 11/30 G08B 13/196 G08B 23/00 H04N 7/18

Claims

(57)【特許請求の範囲】

【請求項１】侵入者の有無を確認するための入力画像
と背景画像との差分画像を２値化し、その差分２値化画
像の変化領域より侵入者の有無を判断する方法におい
て、前記変化領域の外接矩形を縦に３等分したそれぞれの矩
形Ａ１，Ａ２，Ａ３内での各変化領域を横軸上へ投影し
て得られる投影ヒストグラムの特徴量である下記の特徴
（１）〜特徴（６）と、前記変化領域の外接矩形におけ
る縦横比との関係によって人物を認識することを特徴と
する人物認識方法。特徴（１）；各分割外接矩形Ａ１，Ａ２，Ａ３中のヒス
トグラムのブロック数特徴（２）；各ブロックの平均値Ｆ特徴（３）；各ブロックの平均値Ｆの分割外接矩形間の
差特徴（４）；各ブロックにおける極大値数特徴（５）；各ブロックにおける面積の割合Ｒ特徴（６）；分割外接矩形Ａ３における極大値の位置Ｍ