JPH08153187A

JPH08153187A - 画像認識方法

Info

Publication number: JPH08153187A
Application number: JP7119974A
Authority: JP
Inventors: Masahiko Suzaki; 昌彦須崎; Yuji Kuno; 裕次久野
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1994-09-27
Filing date: 1995-05-18
Publication date: 1996-06-11

Abstract

(57)【要約】【目的】入力画像中の複数の物体を一人ずつの人物領
域に分離して抽出する。【構成】入力画像メモリ１０１に格納されている入力
画像と、背景画像メモリ１０２に格納されている背景画
像との差分画像を求める。そしてシルエット関数作成処
理１０４により、人物画像のシルエット関数を作成す
る。このシルエット関数は、人物のくびなどによるくび
れた部分と、頭部以外での肩幅より狭い部分を省略した
人物のシルエット像を表わすものである。そして、シル
エット関数形状ラベリング処理１０５では、シルエット
関数の凹凸に対して平滑化処理を行ったのち、曲線の形
状によってラベル付けを行う。シルエット関数ラベル変
換処理１０６では、ラベルの並び方によりラベルの変換
を行う。人物分離処理１０７ではこのラベルを、あらか
じめ求められた人物の肩幅の閾値と、頭と肩の高さの差
の閾値とで比較することにより、入力画像中の複数の物
体を一人ずつの人物領域に分離して抽出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビカメラ等による
撮像画像から、来訪者を検出する来訪者案内システム等
において、来訪者の頭部等を検出する場合の前処理にお
いて、テレビカメラの前に複数の人物が存在する場合
に、画像を一人ずつの人物領域に分割する画像認識方法
に関するものである。

【０００２】

【従来の技術】従来、この種の技術には、例えば、文献
「画像電子学会研究会予稿１９９３．４．４、西村、高
浜、山根、賀好」の「リアルタイム顔画像追尾方式」Ｐ
Ｐ．１３ー１６に記載されるものがある。

【０００３】図９は、従来の人物領域抽出方法の処理手
順を示す図である。図１０は、図９における処理内容を
示す図であり、画像中の最大動き物体を抽出する方法を
示す。図１０を参照しつつ、図９の人物領域抽出方法を
説明する。まず、テレビカメラ等から得られた入力画像
を、動き物体検出処理２０１において、例えば連続する
複数の画像間のフレーム間差分を利用して、図１０
（ａ）に示す２値画像を得る。

【０００４】次に、Ｘ軸濃度投影処理２０２により、入
力画像中の動き物体の垂直方向、すなわちＸ軸方向への
投影を行い、図１０（ｂ）に示す投影ヒストグラムＨ
（ｘ）を作成する。次に、最大物体領域抽出処理２０３
により、投影ヒストグラムＨ（ｘ）を適当な閾値で２値
化し、図１０（ｃ）に示す投影ヒストグラムＨ′（ｘ）
を作成する。このヒストグラム中でＨ′（ｘ）の値が１
で連続した領域のうち、その領域のｘ軸の幅が最も大き
い領域を抽出する。図１０（ｃ）では、Ｘａ−Ｘｂ間と
なる。これにより、入力画像中の動き物体のうち、最も
大きい連結図形領域を得られ、その領域を対象者が存在
するＸ軸方向の領域とする。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
人物領域に分割する画像認識方法では、入力画像中に動
き物体が複数ある場合において、その物体が少しでも重
なっている場合は、対象者の人物領域を抽出することは
困難である。図１１に従来の人物領域抽出方法において
領域抽出に失敗する例を示す。例えば、入力画像中に動
き物体が二つあり、その物体が重なっている場合の２値
画像を図１１（ａ）に示す。

【０００６】次に、図１１（ｂ）に示す投影ヒストグラ
ムＨ（ｘ）を作成した場合、動き物体が重なっているた
め、二つの投影ヒストグラムがつながってしまう。その
ため、図１１（ｃ）に示す投影ヒストグラムＨ′（ｘ）
を作成した場合に、二つの動き物体がＨ′（ｘ）の値が
１で連続して現れてしまう。したがって、動き物体が二
つあることを認識することが不可能となり、対象者のい
る人物領域を抽出することができない。

【０００７】本発明は、入力画像中に動き物体が複数存
在し、その物体がある程度重なり合った場合において、
画像を一人ずつの人物領域に分割する方法を提供するこ
とを目的とする。

【０００８】

【課題を解決するための手段】上記の目的を解決するた
め、本発明の画像認識方法においては、侵入物体が存在
しないときにあらかじめ撮影した背景画像と、背景画像
を撮影したときと同じ位置で逐次撮影される入力画像と
の、差分画像を求めた後、その差分画像を２値化して差
分２値画像を求める。

【０００９】その差分２値画像を垂直方向に走査して変
化領域が最初に現れる位置を人物のシルエット像の輪郭
点とみなしてシルエット関数を作成し、そのシルエット
関数に平滑化処理を行った後、そのシルエット関数の曲
線の形状を調べ、始点に第１のラベル、終点に第２のラ
ベル、右上がりになる点に第３のラベル、右下がりにな
る点に第４のラベル、これら以外の点に第５のラベルを
付る。ラベル付けにより第３のラベルまたは第４のラベ
ルが第５のラベルを０個以上挟んで、それぞれ連続して
現れた場合は、先頭のラベルを残して第５のラベルに変
換し、第１のラベルの後に第５のラベルを０個以上挟ん
で第３のラベルが現れた場合は第３のラベルを第５のラ
ベルに変換し、第４のラベルの後に０個以上の第５のラ
ベルを挟んで第２のラベルが現れた場合は、第４のラベ
ルを第５のラベルに変換する。

【００１０】ラベル変換によって付けられた第１のラベ
ルと第２のラベルの幅をあらかじめ求められた人物にお
ける肩幅の閾値と比較し、第１のラベルと第２のラベル
の間に第４のラベルと第３のラベルの組が存在する場合
は第１のラベルと第３のラベルの幅をあらかじめ求めら
れた人物における肩幅の閾値と比較し、第１のラベルと
第３のラベルの間に第４のラベルが存在する場合は、第
４のラベルの点におけるシルエット関数の値にあらかじ
め求められた人物における頭と肩の高さの差の閾値を乗
算した値と第３のラベルの点におけるシルエット関数の
値を比較することで、入力画像の複数の人物から一人ず
つの人物領域を抽出する。

【００１１】

【作用】入力画像メモリに格納されている入力画像と、
背景画像メモリに格納されている背景画像との差分画像
から差分２値画像を求め、その差分２値画像からシルエ
ット関数を求める。このシルエット関数は、人物の首な
どによるくびれた部分と、頭部以外での肩幅より狭い部
分を省略した人物のシルエット像を表すものである。シ
ルエット関数は局所的に凹凸があるため、平滑化処理を
一回から数回行うことで、ある程度滑らかな曲線にした
後、形状によりラベルを付け、始点と終点と右上がりの
点と右下がりの点を得ることができる。

【００１２】形状によって付けられたラベルを変換する
ことで、第１のラベルと第２のラベルの間には、第４の
ラベル、第３のラベルの順で１組存在するようになる。
ラベル変換によって得られたラベルに対し、第１のラベ
ルと第２のラベルの幅と、第１のラベルと第２のラベル
の間に第４のラベルと第３のラベルの組が存在する場合
は第１のラベルと第３のラベルの幅をあらかじめ求めら
れた人物における肩幅の閾値と比較することにより、肩
幅より狭い物体は非人間区間とする。第１のラベルと第
３のラベルの間に第４のラベルが存在する場合は、第４
のラベルの点におけるシルエット関数の値にあらかじめ
求められた人物における頭と肩の高さの差の閾値を乗算
した値と第３のラベルの点におけるシルエット関数の値
を比較することで、頭髪などの分け目により一人の人物
を２つの領域に分離することを防ぐことができる。この
結果、入力画像中に複数の人物が存在する場合において
も、一人ずつの人物領域を抽出することができる。

【００１３】

【実施例】

第１実施例図１は、本発明の画像認識方法の実施例の処理手順を示
す図であり、入力画像メモリ１０１、背景画像メモリ１
０２、差分２値化処理１０３、シルエット関数作成処理
１０４、シルエット関数形状ラベリング処理１０５、シ
ルエット関数ラベル変換処理１０６、人物分離処理１０
７から成る。

【００１４】入力画像メモリ１０１は、ＲＡＭ（ランダ
ム・アクセス・メモリ）等から成り、例えばテレビカメ
ラ等から逐次撮影された入力画像を格納する。図２に人
物の上半身が存在する入力画像を示す。また、このよう
な入力画像メモリ１０１には人物の全身が入るようにし
てもよい。背景画像メモリ１０２は、ＲＡＭまたはＥＰ
ＲＯＭ等から成り、侵入物体が存在しないときにあらか
じめ撮影された図３に示すような背景画像を格納する。
また、入力画像と背景画像は同じ位置で撮影するものと
する。図２の入力画像、及び図３の背景画像は一例を示
すものにすぎない。

【００１５】以下の各部は、入力画像メモリ１０１及び
背景画像メモリ１０２に格納された画像を順に処理して
いく。差分２値化処理１０３は、入力画像と背景画像と
の差分画像を計算し、適当な閾値で２値化を行い、差分
２値画像を計算する。図４は、差分２値画像であり矢印
の示した方向にｘ軸、ｙ軸をとり、画像の大きさを０≦
ｘ＜ｗ、０≦ｙ＜ｈとする。図４の黒い部分を変化領域
とし画素値をｆ（ｘ，ｙ）＝１、白い部分を背景領域と
し画素値をｆ（ｘ，ｙ）＝０とする。また、入力画像に
侵入物体が存在せず、入力画像と背景画像との差分画像
が得られない場合は、その入力画像を破棄し、次の入力
画像の処理に移るものとする。

【００１６】シルエット関数作成処理１０４は、差分２
値画像を垂直方向に走査してシルエット関数Ｓ（ｘ）を
作成する。図５（ａ）に人物の全身のシルエット像を示
す。ここで、図５（ｂ）に示すシルエット関数の各値
は、首などによるくびれ部分と、頭部以外で肩幅より狭
い部分を省略した人物のシルエット像の輪郭の位置であ
り、その形状は人物の上半身の形状をほぼ表している。

【００１７】図６は、シルエット関数の作成方法であ
る。図６（ａ）に示す差分２値画像において、原点を左
上にとり、ｘ＝ｘ１に対して垂直方向にｙ＝０から垂直
な破線の方向に順に走査する。最初に１が現れた位置を
シルエット像の輪郭点とみなし、この時点のｙ座標をｙ
１とする。図６（ｂ）では、原点を左下にとり、ｘ＝ｘ
１のときＳ（ｘ）＝ｈ−ｙ１となる。同様の処理を０≦
ｘ＜ｗの範囲で行い、シルエット関数Ｓ（ｘ）を作成す
る。

【００１８】シルエット関数形状ラベリング処理１０５
では、シルエット関数Ｓ（ｘ）に平滑化処理を行い、シ
ルエット関数Ｓ′（ｘ）を作成し、形状によるラベル付
けを行う。図６（ｂ）において、シルエット関数Ｓ
（ｘ）の各値は、シルエット像の輪郭点であるため、シ
ルエット像の入力画像の濃度値や雑音の影響により局所
的に凹凸がある。したがって、シルエット関数Ｓ（ｘ）
に対して０≦ｘ＜ｗの範囲内で平滑化処理を行いシルエ
ット関数Ｓ′（ｘ）を作成する。平滑化処理は、ある点
ａを中心としてその点から等しい幅で前後にｃ点とｂ点
を取り、ｃ点からｂ点までの区間内にある全ての点の値
を加算し、平均値を求める方法で行う。しかし、平滑化
処理は上記の方法に限定されるものではなく例えばメデ
ィアンフィルタを用いてｃ点からｂ点までの区間内にあ
る全ての点の値の中央値を求める方法でも良い。図６
（ｃ）は、平滑化処理後のシルエット関数Ｓ′（ｘ）で
ある。シルエット関数Ｓ′（ｘ）は、次式（１）で求め
る。

【００１９】

【数１】上記式（１）の計算を１回から数回行う。ただし、−Δ
ｗ≦ｘ＜０の場合と、ｗ≦ｘ＜ｗ＋Δｗの場合は、Ｓ
（ｘ）＝０とする。

【００２０】次に、シルエット関数Ｓ′（ｘ）における
曲線の形状を調べることにより、０≦ｘ＜ｗの範囲に対
して、ｘ軸にそれぞれ異なるラベルを付ける。

【００２１】形状によるラベル付け条件ラベルＡ：Ｓ′（ｘ＋１）＞０かつＳ′（ｘ）＝０．ラベルＢ：Ｓ′（ｘ＋１）＝０かつＳ′（ｘ）＞０．ラベルＣ：Ｓ′（ｘ＋１）−Ｓ′（ｘ）＞０かつＳ′
（ｘ）−Ｓ′（ｘ−１）≦０かつｘ≠Ａ．ラベルＤ：Ｓ′（ｘ＋１）−Ｓ′（ｘ）＜０かつＳ′
（ｘ）−Ｓ′（ｘ−１）≧０かつｘ≠Ｂ．ラベルＥ：上記以外（ｘ≠Ａ，Ｂ，Ｃ，Ｄ）．

【００２２】ただし、−１≦ｘ＜０の場合と、ｘ＝ｗの
場合は、Ｓ′（ｘ）＝０とする。図７（ａ）は、上記に
示す形状によるラベル付け条件にもとづいてラベル付け
を行ったシルエット関数Ｓ′（ｘ）である。ここで、ラ
ベルＥは図に示していないが図示してあるラベルＡ、ラ
ベルＢ、ラベルＣ、ラベルＤ以外のｘ軸上の点はラベル
Ｅであるとする。形状によるラベル付け条件よりあきら
かように、ラベルＡは始点（第１のラベル）、ラベルＢ
は終点（第２のラベル）、ラベルＣは右上がりになる点
（第３のラベル）、ラベルＤは右下がりになる点（第４
のラベル）、ラベルＥはこれらの点以外（第５のラベ
ル）を示している。

【００２３】シルエット関数ラベル変換処理１０６で
は、シルエット関数Ｓ′（ｘ）に、形状によってつけら
れたラベルに対して、ラベル変換を行う。区間Ｉ（Ａ，
Ｂ）内には、ｘ軸に対してラベルＤ，ラベルＣの順で１
組または０組存在するようにするためのラベル変換であ
る。

【００２４】以下に、ラベル変換の方法をラベル変換１
とラベル変換２に示す。シルエット関数Ｓ′（ｘ）のｘ
軸上につけられたすべてのラベルに対して、ラベル変換
１を行った後、ラベル変換２を行うものとする。ラベル変換１ラベルＣまたはラベルＤの後に０個以上のラベルＥを挟
んで同じラベルが連続する場合は、先頭のラベルのみを
残してラベルＥに変換する。図７（ｂ）は、ラベル変換
１を行ったシルエット関数Ｓ′（ｘ）である。

【００２５】ラベル変換２ラベルＡの後に０個以上のラベルＥを挟んでラベルＣが
ある場合は、そのラベルＣをラベルＥに変換する。ラベ
ルＤの後に０個以上のラベルＥを挟んでラベルＢがある
場合は、そのラベルＤをラベルＥに変換する。図７
（ｃ）は、ラベル変換２を行ったシルエット関数Ｓ′
（ｘ）である。

【００２６】人物分離処理１０７は、シルエット関数ラ
ベル変換処理１０６により得られたラベルにより人物の
領域を抽出する。図８に人物領域抽出方法を示す。図８
（ａ）は差分２値画像より求めたシルエット関数Ｓ
（ｘ）である。図８（ｂ）は、シルエット関数Ｓ（ｘ）
に平滑化処理を行ったのち、ラベル付けとラベル変換を
行ったシルエット関数Ｓ′（ｘ）である。まず、ｘ軸に
つけられたラベルのうち、一組のラベルＡとラベルＢに
挟まれた区間Ｉ（Ａ，Ｂ）を抽出する。なお、区間Ｉ
（Ａ，Ｂ）が複数存在する場合は、以下の処理を存在す
る全ての区間Ｉ（Ａ，Ｂ）に対して行うものとする。

【００２７】次に、区間Ｉ（Ａ，Ｂ）のｘ軸の幅を、あ
らかじめ決められている閾値Ｔｗと比較する。閾値Ｔｗ
とは、画像上に映る人物における肩幅の閾値である。区
間Ｉ（Ａ，Ｂ）のｘ軸の幅が、閾値Ｔｗより小さい場合
は、区間Ｉ（Ａ，Ｂ）を、非人物区間とする。閾値Ｔｗ
以上の場合は、区間Ｉ（Ａ，Ｂ）内に少なくとも一人の
人物が存在するとし、人物区間とする。

【００２８】図８（ｂ）において、例えば、区間Ｉ１
（Ａ，Ｂ）及び、区間Ｉ２（Ａ，Ｂ）を人間区間とし、
区間Ｉ３（Ａ，Ｂ）を非人間区間とする。

【００２９】次に、区間Ｉ（Ａ，Ｂ）が人物区間である
場合においての処理を以下に示す。処理１区間Ｉ（Ａ，Ｂ）内にラベルＤとラベルＣの組が存在し
ない場合は、区間Ｉ（Ａ，Ｂ）内に人物は一人しか存在
しないものとして、一人の人物領域Ｐ（Ａ，Ｂ）とす
る。処理２区間Ｉ（Ａ，Ｂ）内にラベルＤとラベルＣの組が存在す
る場合は、ラベルＡから最初のラベルＣまでの区間Ｉ
（Ａ，Ｃ）のｘ軸の幅を、閾値Ｔｗと比較する。区間Ｉ
（Ａ，Ｃ）の幅が閾値Ｔｗ以上の場合は処理３を行い、
閾値Ｔｗより小さい場合は、処理４を行う。

【００３０】処理３区間Ｉ（Ａ，Ｃ）内において、Ｓ′（ｘ＝Ｃ）の値と
Ｓ′（ｘ＝Ｄ）の値の関係が、条件１：Ｓ′（ｘ＝Ｃ）
＜Ｓ′（ｘ＝Ｄ）×Ｔｈを満たす場合は区間Ｉ（Ａ，
Ｃ）を一人の人物領域Ｐ（Ａ，Ｂ）とする。次に、この
ラベルＣをラベルＢにし、次のラベルをラベルＡに変換
する。次に処理１に戻り、ラベルＡから次のラベルＢま
での区間に対して、同様に処理を行う。条件１を満たさ
ない場合は、処理４を行う。ここで、Ｔｈは人物の頭と
肩の高さの差の割合の閾値で例えば０．８程度の値であ
り、頭髪の分け目などにより一人の人物を２つの領域に
分割することを防ぐために用いる。処理４区間Ｉ（Ａ，Ｃ）内のラベルＤとラベルＣをそれぞれラ
ベルＥに変換し、処理１に戻り同様に処理を行う。

【００３１】図８（ｃ）は人物区間において、上記に示
す処理にもとづいて求められた人物一人分の水平方向の
領域である。ここで、ｘ軸上のＡとＢで挟まれたＰ１
（Ａ，Ｂ）とＰ２（Ａ，Ｂ）とＰ３（Ａ，Ｂ）が、一人
ずつの人物領域である。以上の処理を行うことにより、
入力画像中に複数の人物が存在する場合においても、一
人ずつの人物領域に分離することができる。

【００３２】なお、人物分離処理１０７は、上記に示し
た処理の流れに限定されるものではない。例えば、最初
に、人物の頭と肩の高さの差の割合である閾値Ｔｈと比
較してから、肩幅の閾値であるＴｗと比較をすることで
一人ずつの人物領域に分離することもできる。

【００３３】第２実施例図１２は本発明による第２実施例の処理手順を示した図
である。第２実施例においては、入力画像５０１および
背景画像５０２から第１実施例で行った人物領域分離処
理５０３を用いて人物頭部検出処理５０４、面積の大き
さ等による頭部位置の並べ換え５０５を順次行うことに
より連続画像に対しても人物領域の検出を行うことを可
能にするものである。また、第２実施例は例えば図１３
に示す構成図によって実現されるものである。カメラ１
３０１によって撮影される入力画像を格納する入力画像
メモリ１３０２および人物が存在しないときに撮影され
た背景画像を格納する背景画像メモリ１３０４を備えて
おり、差分画像計算処理ボード１３０３によって計算さ
れた入力画像と背景画像との差分画像は差分画像メモリ
１３０５に格納される。人物領域分離処理ボード１３０
７は差分画像を処理する事により人物１人ずつの人物領
域を抽出する。人物頭部検出処理ボード１３０６は差分
画像と人物領域とから人物の頭部位置を検出する。人物
領域および人物頭部位置は人物ラベル付け処理ボード１
３０７に入力されると頭部位置メモリ１３０８に格納さ
れている１フレーム前のラベル付けされた人物頭部位置
を用いて現フレームでの頭部位置に対するラベル付けが
行われる。ここで得られた結果は対話システム１３１０
に渡されるとともに頭部位置メモリ１３０８に格納され
る。

【００３４】まず、人物頭部検出処理５０４では以下の
ような処理を行う。図１４は人物の頭部検出を行う処理
手順を示す図である。人物領域でのシルエット関数の水
平方向の投影ヒストグラムを作成する水平方向投影ヒス
トグラム作成１４０１、頭部の垂直方向の領域とその中
心部分の検出を行う垂直方向頭部検出処理１４０２、頭
部の水平方向の領域とその中心部分の検出を行う水平方
向頭部検出処理１４０３が順次行われる。

【００３５】図１５はシルエット関数の水平方向投影ヒ
ストグラム作成方法１４０１を示す図である。図１５
（ａ）に示す１人ずつの人物領域の１人分の領域につい
て、ある値ｙ2に対しｘ＝Ａ１,Ａ１＋１,・・・,Ｂ１−
１と順次変化させたときのＳ（ｘ）≧ｈ−ｙ２となる場
合の数を数え、これをｈ１（ｙ２）の値とする（図１５
（ｂ）に示す）。全てのｙ（０≦ｙ＜ｈ）に対して同様
の処理を行い、図１５（ｃ）に示す水平方向ヒストグラ
ムを作成する。

【００３６】図１６は垂直方向頭部領域の検出方法１４
０２を示す図である。図１６（ａ）に示す水平方向投影
ヒストグラムｈ１（ｙ）の値をｙ＝０から順に調べて最
初にｈ１（ｙ）＞０となるｙを頭部の先端点ａとして検
出する。人のシルエットの特徴からヒストグラムｈ１
（ｙ）の値は、首と肩の境界に当たる位置から急激に増
加する事が分かっている。このためａ≦ｙ＜ｈにおける
ヒストグラムｈ１（ｙ）を大局的に２つのクラスに分割
する点を首と肩の境界点として求めることとする。この
ヒストグラムｈ１（ｙ）を微分することにより図１６
（ｂ）に示す水平方向投影ヒストグラムｈ１′（ｙ）を
作成する。ここでシルエット関数の特徴からｈ１（ｙ）
は単調増加関数であると言えるのでｈ１′（ｙ）≧０
（０≦ｙ＜ｈ）となる。次に一定区間２ｗにおけるｈ１
（ｙ）の増加量の和Ｄ（ｙｗ）をＤ（ｙｗ）＝Σｈ１′
（ｙ）として計算し、一定区間２ｗ内に先端点ａを含む
区間以外で最も増加量の多い区間の中心値ｙｗを点ｂと
する。ただしこのときのΣはｙをｙｗ−ｗからｙｗ＋ｗ
まで変化させたときの和集合を表す。頭部の中心位置点
ｃはカメラの垂直方向の角度によって画像中の実際の肩
の位置が変動するので、｜ｂ−ｃ｜と｜ｃ−ａ｜を１：
ｎに分割する点として検出する。ただし、ｎはカメラの
上下方向の角度によって決まる定数であり１〜２程度の
実数である。さらに｜ｃ−ａ｜：｜ｄ−ｃ｜＝１：１を
満たすように点ｄを定め点ａと点ｄとで囲まれた部分を
垂直方向の頭部領域とする。

【００３７】図１７は水平方向頭部領域の検出方法１４
０３を示す図である。図１７（ａ）はシルエット関数Ｓ
（ｘ）に対してＡ１≦ｘ≦Ｂ１、ｈ−ｄ≦ｈ１（ｘ）＜
ｈの範囲でｈ１（ｘ）を切り出したものを図１７（ｂ）
に示す頭部シルエット関数Ｓｈ（ｘ）とする。また、頭
部シルエット関数Ｓｈ（ｘ）においてｘ＝０から順にそ
の値を調べ、Ｓｈ（ｘ）＞ｃ−ａを満たす最初の点を
ｆ、最後の点をｇとして点ｆと点ｇとで囲まれた部分を
水平方向の頭部領域として検出する。次にｅ＝Σｘ・Ｓ
ｈ（ｘ）／ΣＳｈ（ｘ）により求められた重心ｅを水平
方向の頭部中心位置とする。ただしこのときΣはｘをＡ
１からＢ１まで変化させたときの和集合を表す。以上か
ら人物領域に対する頭部中心位置Ｐ＝（ｃ，ｅ）が求め
られる。

【００３８】図１８に頭部位置データの並べ換えを行う
処理手順を示す。背景画像のフレームをｆ＝０とする
（１８０１）。入力画像５０１および背景画像５０２か
ら実施例１同様に人物領域を抽出し、前述の頭部位置の
検出を行う（１８０２）。人物領域抽出の結果、人物領
域が存在しなければ最初の処理（１８０１）に戻り、存
在する場合は人物が存在する最初のフレームとしてｆに
１を加算する（１８０４）かどうかの判断を行う（１８
０３）。１８０５ではｆ＞１でないとき、即ちｆ＝１の
ときには１８０２で求めた頭部位置データＰp(f,k)（０
≦ｋ≦n(f)）を次式に従って面積の大きい順に並べ換
え、ラベルを付する処理を行い（１８０６）、１８０２
へ戻る。 area(Ｐp(f,1))≦area(Ｐp(f,2))≦・・・≦area(Ｐp
(f,Pn(f))) ここで頭部位置データＰpに対する人物の占める面積are
a（Ｐp(f,Pn(f))）＝ΣＳ（ｘ）でありΣはｘをＡ１か
らＢ１まで変化させたときの和集合を表す。

【００３９】再び１８０２での処理が行われ、人物領域
が検出されるとｆに１が加算され（１８０４）ｆ＝２と
なるため１８０７へ進むとｎに１が代入される。ここで
は次式の条件を満たすよう頭部位置データの並べ換えが
行われ、ラベルが付される（１８０８）。｜Ｐp(f-1,n)−Ｐp(f,i)｜ ≦ ｜Ｐp(f-1,n)−Ｐp(f,j)
｜ (n≦i,j≦Ｐn(f)) この場合フレーム１の画像で１番面積の大きかった頭部
位置データ（ラベル１ー１とする）に最も近い頭部位置
データをフレーム２でのラベル２ー１とする。次にｎを
１つ進ませ（１８０９）、フレーム１での人物数Ｐn(1)
とｎとで大小を比較し（１８１０）ｎが小さい場合はフ
レーム０での人物数Ｐn(0)とｎとで大小を比較する（１
８１２）。ｎが小さい場合は１８０８に戻り同様に処理
を行う。例えばＰn(0)＝２、Ｐn(1)＝３の時、フレーム
２の画像で２番目に面積の大きい頭部位置データ（ラベ
ル１ー２）に最も近い頭部位置データをラベル２ー２と
して（１８０８）、ｎ＝２＋１＝３となる（１８０
９）。ここでｎ＝３とＰn(0)＝２の大小が比較され（１
８１０）、この場合はｎの方が大きくなるためＰp(1,k)
について面積の大きい順にラベルが付される。全てのk
について並べ換えが終わると１８０２に戻り同様の処理
が行われる。また、Ｐn(0)＝３、Ｐn(1)＝２とした場合
には１８１０においてｎが小さくなるため１８１２に進
み、Ｐn(1)＝２の方がｎ＝３より小さくなるため１８０
２に戻り次の入力画像に対する処理が行われることにな
る。

【００４０】以上のように本発明による第２実施例にお
いては、前フレームで割り当てられたラベルの順に最も
近い人物の位置を求め対応づけを行うことにより連続し
たフレームにおいても同一人物の領域を抽出することが
できるものである。従って対話システム等においては対
応すべき人物を常に捉えることが可能になり、対話すべ
き人物に顔を向けた対応が可能になるという効果を持つ
ものである。

【００４１】

【発明の効果】以上説明したように、本発明の画像認識
方法によれば、入力画像と背景画像の差分画像を求め、
その差分画像からシルエット関数を求め、そのシルエッ
ト関数に平滑化処理を施し、ラベル付けを行うことで、
人物の上半身の輪郭の形状を人物の分離に利用すること
が可能となる。このため、入力画像中に侵入物体が複数
あり、その物体がある程度重なっている場合でも、画像
を一人ずつの人物領域に分割することができ、対象者の
いる人物領域を抽出することができる。

【図面の簡単な説明】

【図１】本発明の画像認識方法の実施例の処理手順を示
す図である。

【図２】入力画像の一例の説明図である。

【図３】背景画像の一例の説明図である。

【図４】差分２値画像の作成結果の説明図である。

【図５】シルエット像とシルエット関数の説明図であ
る。

【図６】シルエット関数の作成方法の説明図である。

【図７】シルエット関数のラベル付け及びラベル変換の
説明図である。

【図８】シルエット関数の人物領域抽出方法の説明図で
ある。

【図９】従来の画像認識方法の処理手順を示す図であ
る。

【図１０】従来の最大動き物体抽出処理の説明図であ
る。

【図１１】従来の人物領域抽出方法において領域抽出に
失敗する例の説明図である。

【図１２】本発明による第２実施例の処理手順を示した
図である。

【図１３】本発明による第２実施例の構成例を示した図
である。

【図１４】人物の頭部検出を行う処理手順を示した図で
ある。

【図１５】シルエット関数の水平方向投影ヒストグラム
の作成方法を示した図である。

【図１６】垂直方向頭部領域の検出方法を示した図であ
る。

【図１７】水平方向頭部領域の検出方法を示した図であ
る。

【図１８】頭部位置データの並べ換えを行う処理手順を
示した図である。

【符号の説明】

１０１入力画像メモリ１０２背景画像メモリ１０３差分２値化処理１０４シルエット関数作成処理１０５シルエット関数形状ラベリング処理１０６シルエット関数ラベル変換処理１０７人物分離処理

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０８Ｂ 13/196 9419−2ＥＨ０４Ｎ 7/18 Ｄ 9061−5ＨＧ０６Ｆ 15/70 ４０５

Claims

【特許請求の範囲】

【請求項１】侵入物体が存在しないときにあらかじめ
撮影された背景画像と、前記背景画像を撮影したときと
同じ位置で撮影された入力画像との差分画像を求めた
後、前記差分画像を２値化して差分２値画像を求め、前
記差分２値画像の変化領域より前記入力画像の複数の人
物を一人ずつの領域に分離する画像認識方法において、前記差分２値画像を垂直方向に走査して前記変化領域が
最初に現れる位置を、人物のシルエット像の輪郭点とみ
なしてシルエット関数を作成し、前記シルエット関数に、平滑化処理を一回から数回行
い、前記平滑化処理後の前記シルエット関数の曲線の形状を
調べることにより、前記シルエット関数の始点に第１の
ラベル、終点に第２のラベル、右上がりになる点に第３
のラベル、右下がりになる点に第４のラベル、これら以
外の点に第５のラベルを付け、前記ラベル付けにより前記第３のラベルまたは前記第４
のラベルが前記第５のラベルを０個以上挟んで、それぞ
れ連続して現れた場合は、先頭のラベルを残して前記第
５のラベルに変換し、前記第１のラベルの後に前記第５
のラベルを０個以上挟んで前記第３のラベルが現れた場
合は前記第３のラベルを前記第５のラベルに変換し、前
記第４のラベルの後に０個以上の前記第５のラベルを挟
んで前記第２のラベルが現れた場合は、前記第４のラベ
ルを前記第５のラベルに変換し、前記ラベル変換によって付けられた前記第１のラベルと
前記第２のラベルの幅をあらかじめ求められた人物にお
ける肩幅の閾値と比較し、前記第１のラベルと前記第２のラベルの間に前記第４の
ラベルと前記第３のラベルの組が存在する場合は前記第
１のラベルと前記第３のラベルの幅をあらかじめ求めら
れた人物における肩幅の閾値と比較し、前記第１のラベルと前記第３のラベルの間に前記第４の
ラベルが存在する場合は、前記第４のラベルの点におけ
るシルエット関数の値にあらかじめ求められた人物にお
ける頭と肩の高さの差の閾値を乗算した値と前記第３の
ラベルの点におけるシルエット関数の値を比較すること
で、前記入力画像の複数の人物から一人ずつの人物領域
を抽出することを特徴とする画像認識方法。
【請求項２】侵入物体が存在しないときにあらかじめ
撮影された背景画像と、前記背景画像を撮影したときと
同じ位置で撮影された入力画像との差分画像を求めた
後、前記差分画像を２値化して差分２値画像を求め、前
記差分２値画像の変化領域より前記入力画像の複数の人
物を一人ずつの領域に分離する画像認識方法において、ｎ（ｎ＝１、２、・・・）番目のフレームに対して第１
の人物領域を抽出する処理と前記第１の人物領域に順序
を付する処理とｎ＋１番目のフレームに対して第２の人
物領域を抽出する処理と前記第１の人物領域に付された
順序に従って前記第１の人物領域に近接する前記第２の
人物領域に順序を付する処理とを備えたことを特徴とす
る画像認識方法。
【請求項３】前記第１の人物領域を抽出する処理また
は前記第２の人物領域を抽出する処理は、請求項１記載
の画像認識方法を用いることを特徴とする請求項２記載
の画像認識方法。