JPWO2017154655A1 - 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラム - Google Patents

Abstract

画像に表れている滞留した群衆の種類として多様な種類を識別することができる群衆種類識別システムを提供することを目的とする。滞留群衆検出手段２１は、画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出する。群衆向き推定手段２２は、滞留群衆検出手段２１で検出された局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、その群衆の向きを局所領域に付加する。群衆種類識別手段２３は、群衆向き推定手段２２で群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、その２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、群衆の種類および位置を出力する。

Description

本発明は、画像内に写っている群衆の種類を識別する群衆種類識別システム、群衆種類識別方法、および群衆種類識別プログラムを記憶する記憶媒体に関する。

特許文献１には、行列の人数を抽出するシステムが記載されている。特許文献１に記載のシステムは、背景差分法によって、画像内の人物領域を抽出する。また、特許文献１に記載のシステムでは、画像内において、行列の検出領域が予め定められている。特許文献１に記載のシステムは、この検出領域内を対象に行列の人数を抽出する。特許文献１に記載の技術により、検出領域内から「行列」という群衆の種類を検出することができる。

また、特許文献２には、異常性の高い集団を検知するシステムが記載されている。特許文献３には、動画像の領域中において人物等が滞留する箇所等を検出するシステムが記載されている。

また、特許文献４には、画像内の種々の領域における人数を認識したり、画像内の種々の領域における群衆の方向を認識したりすることができる群衆状態認識装置が記載されている。さらに、特許文献４には、その群衆状態認識装置が認識処理を行う際に用いる識別器の辞書を機械学習によって得るための教師データを生成する装置が記載されている。

特開２００７−２６５２９０号公報 国際公開第２０１５／０４０９２９号 特開２０１１−２４８８３６号公報 国際公開第２０１４／２０７９９１号

滞留した群衆の種類には、例えば、「行列」、「取り囲み」等がある。しかし、特許文献１に記載の技術では、画像中から、群衆の種類として「行列」しか検出できない。画像に表れている滞留した群衆の種類として多様な種類を識別できることが好ましい。

そこで、本発明は、画像に表れている滞留した群衆の種類として多様な種類を識別することができる群衆種類識別システム、群衆種類識別方法、および群衆種類識別プログラムを記憶する記憶媒体を提供することを目的とする。

本発明の一態様に係る群衆種類識別システムは、画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出する滞留群衆検出手段と、滞留群衆検出手段で検出された局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを局所領域に付加する群衆向き推定手段と、群衆向き推定手段で群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力する群衆種類識別手段とを備えることを特徴とする。

また、本発明の一態様に係る群衆種類識別システムは、画像中から、滞留した群衆を含む複数の部分領域を検出する検出手段と、第１の部分領域および第２の部分領域を分析し、第１の部分領域および第２の部分領域の群衆の種類を識別する識別手段とを備えることを特徴とする。

本発明の一態様に係る群衆種類識別方法は、画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出し、検出した局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを前記局所領域に付加し、群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、前記２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力することを特徴とする。

本発明の一態様に係る群衆種類識別方法は、画像中から、滞留した群衆を含む複数の部分領域を検出し、第１の部分領域および第２の部分領域を分析し、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別することを特徴とする。

本発明の一態様に係る記憶媒体は、コンピュータに、画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出する滞留群衆検出処理、前記滞留群衆検出処理で検出された局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを前記局所領域に付加する群衆向き推定処理、および、前記群衆向き推定処理で群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、前記２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力する群衆種類識別処理を実行させるための群衆種類識別プログラムを記憶する。

本発明の一態様に係る記憶媒体は、コンピュータに、画像中から、滞留した群衆を含む複数の部分領域を検出する検出処理、および、第１の部分領域および第２の部分領域を分析し、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する識別処理を実行させるための群衆種類識別プログラムを記憶する。

本発明の一態様は、上述の記憶媒体に格納されている群衆種類識別プログラムによっても実現される。

本発明によれば、画像に表れている滞留した群衆の種類として多様な種類を識別することができる。

本発明の第１の実施形態に係る群衆種類識別システムの構成例を示すブロック図である。 本発明の第１の実施形態に係る滞留群衆検出部の構成例を示すブロック図である。 本発明の第１の実施形態に係る群衆向き推定部の構成例を示すブロック図である。 本発明の第１の実施形態に係る群衆種類識別部の構成例を示すブロック図である。 選択された２つの局所領域と、その２つの局所領域の相対的な位置関係を示す相対ベクトルの例を示す模式図である。 群衆の種類が行列と識別される２つの局所領域を示す模式図である。 群衆の種類が取り囲みと識別される２つの局所領域を示す模式図である。 本発明の第１の実施形態の群衆種類識別システムの動作の例を示すフローチャートである。 本発明の第１の実施形態の群衆種類識別システムのステップＳ２の動作の例を示すフローチャートである。 本発明の第１の実施形態の群衆種類識別システムのステップＳ４の動作の例を示すフローチャートである。 第１の実施形態の変形例を示すブロック図である。 第２の実施形態におけるステップＳ３の処理経過の例を示すフローチャートである。 本発明の第３の実施形態に係る群衆種類識別システムの構成例を示すブロック図である。 上位群衆の識別例を示す説明図である。 本発明の実施形態に係る群衆種類識別システムの具体的な構成例を示すブロック図である。 本発明の第４の実施形態に係る群衆種類識別システムの構成例を示すブロック図である。 本発明の第５の実施形態に係る群衆種類識別システムの構成例を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態の群衆種類識別システムの構成例を示すブロック図である。本発明の第１の実施形態の群衆種類識別システムは、画像取得装置１と、プログラム制御により動作するデータ処理装置２と、情報を記憶する記憶装置３とを備える。画像取得装置１は、カメラ等の撮像装置の出力や、ビデオ機器等の映像装置の出力から画像を取得する。

記憶装置３は、局所領域群記憶部３１を備える。

局所領域群記憶部３１は、画像の中に配置される個々の局所領域の位置およびサイズを記憶する。各局所領域の位置およびサイズは、予め定められている。基本的に、複数の局所領域によって画像全体が覆われるように、個々の局所領域の位置およびサイズが定められる。しかし、局所領域を定める態様は、上記の例に限定されず、画像内で群衆の種類の識別対象となる領域に対してのみ、複数の局所領域が定められていてもよい。また、局所領域同士が重なるように、局所領域が定められてもよい。局所領域のサイズは、後述の滞留群衆検出部２１や群衆向き推定部２２等の機能に合わせて決定される。

以下、画像の中で局所領域に該当する部分の画像を局所領域画像と記す。

データ処理装置２は、滞留群衆検出部２１と、群衆向き推定部２２と、群衆種類識別部２３とを備える。

滞留群衆検出部２１は、予め定められた各局所領域によって（換言すれば、局所領域群記憶部３１に記憶されている各局所領域の位置およびサイズによって）、画像（画像取得装置１が取得した画像）から特定される各局所領域画像を対象にして、物体の滞留度と、局所領域内の人数とを推定する。物体の滞留度は、物体の滞留状態を示す値である。また、局所領域内の人数は、群衆の密度を示す値である。滞留群衆検出部２１は、その２つの値に基づいて、各局所領域の中から、滞留した群衆を示す局所領域を検出する。

図２は、滞留群衆検出部２１の構成例を示すブロック図である。滞留群衆検出部２１は、滞留状態推定部２１１と、人数推定部２１２と、局所領域検出部２１３とを備える。

滞留状態推定部２１１は、予め定められた各局所領域によって、画像取得装置１が取得した画像から特定される各局所領域画像を対象にして、物体の滞留度を推定する。ここで、物体とは、群衆に限らず、群衆を含む種々の物体を意味する。例えば、局所領域画像内に、群衆の他に車両、木、建物等も示されている場合、滞留状態推定部２１１は、群衆を含むそれらの物体全体としての滞留度を推定する。

物体の滞留度の推定方法の例を以下に示す。

滞留状態推定部２１１は、時刻が異なり場所が同じである局所領域画像から、画像パターンの特徴量の類似度や、動きベクトルや、フレーム間差分の量を算出してもよい。これらの値は、局所領域に示されている物体の動きの程度を表していると言える。画像パターンの特徴量の類似度は、類似度が大きければ滞留度が大きくなるという性質を持っている。動きベクトルは、動きベクトルの大きさが小さければ滞留度が大きくなるという性質を持っている。フレーム間差分の量は、その値が小さければ滞留度が大きくなるという性質を持っている。滞留状態推定部２１１は、これらの性質を用いて、算出した値に基づいて物体の滞留度を推定すればよい。

あるいは、時刻が異なり場所が同じである局所領域画像が入力されると物体の滞留度を出力する推定器を予め学習によって得ていてもよい。滞留状態推定部２１１は、時刻が異なり場所が同じである局所領域画像をこの推定器に入力することによって、物体の滞留度の推定値を求めてもよい。上記の推定器の学習には、物体が滞留している場合における時刻の異なる２枚の局所領域画像と、物体が滞留していない場合における時刻の異なる２枚の局所領域画像と、それらの各場合の物体の滞留状態を示す情報とを用いればよい。この学習は、局所領域ベースの学習であると言える。

あるいは、局所領域に対応する実空間における物体の動きを検出する動きセンサを設け、滞留状態推定部２１１は、動きセンサの検出結果から、局所領域画像が示す物体の滞留度を推定してもよい。

滞留度の推定方法は、例示した上記の方法以外の方法であってもよい。

人数推定部２１２は、予め定められた各局所領域によって、画像取得装置１が取得した画像から特定される各局所領域画像を対象にして、局所領域内の人数を推定する。

人数推定部２１２は、学習によって得られた推定器を用いて、局所領域内の人数を推定してもよい。例えば、局所領域画像が入力されると局所領域内の人数を出力する推定器を予め学習によって得ておく。人数推定部２１２は、局所領域画像をこの推定器に入力することによって、局所領域内の人数の推定値を求めてもよい。上記の推定器の学習には、複数の人数で構成される群衆を示す局所領域画像と、その局所領域画像に対応する人数の情報とを用いればよい。この学習は、局所領域ベースの学習であると言える。この技術は、特許文献４にも記載されている。

局所領域内の人数の推定方法は、例示した上記の方法以外の方法であってもよい。

局所領域検出部２１３は、滞留状態推定部２１１によって推定された物体の滞留度と、人数推定部２１２によって推定された局所領域内の人数とを用いて、予め定められた各局所領域の中から、滞留した群衆を示す局所領域を全て検出する。具体的には、物体の滞留度が所定の閾値より大きく、かつ、局所領域内の人数が所定の閾値より大きい局所領域を全て検出する。なお、滞留度に関する閾値と、人数に関する閾値は、別々に定められているものとする。

群衆向き推定部２２は、滞留群衆検出部２１によって検出された局所領域に対応する局所領域画像における群衆の向きを推定し、その群衆の向きをその局所領域に付加する。具体的には、群衆向き推定部２２は、群衆の向きを示す情報を局所領域に付加する。

群衆の向きは、例えば、画像中の局所領域において、その局所領域に像が含まれる人々の大多数の顔が向いている向きであってもよい。群衆の向きは、例えば、画像中の局所領域において、その局所領域に像が含まれる人々の大多数の体が向いている向きであってもよい。群衆の向きは、例えば、画像中の局所領域において、その局所領域に像が含まれる人々の大多数が注目している向きであってもよい。群衆の向きは、例えば、後述するように群衆の向きを推定する推定器の学習を行う人に意図によって決められていてもよい。群衆の向きは、以上の例に限られない。

図３は、群衆向き推定部２２の構成例を示すブロック図である。群衆向き推定部２２は、向き推定部２２１と、データ付加部２２２とを備える。

向き推定部２２１は、滞留群衆検出部２１によって検出された局所領域に対応する局所領域画像における群衆の向きを推定する。向き推定部２２１は、学習によって得られた推定器を用いて、群衆の向きを推定してもよい。例えば、局所領域画像が入力されるとその局所領域画像における群衆の向きを出力する推定器を予め学習によって得ておく。

向き推定部２２１は、滞留群衆検出部２１によって検出された局所領域に対応する局所領域画像をこの推定器に入力することによって、群衆の向きを推定してもよい。上記の推定器の学習には、複数の多様な向きの人で構成される群衆を示す局所領域画像と、その局所領域画像に対応する代表的な群衆の向きを示すベクトルや角度とを用いればよい。この学習は、局所領域ベースの学習であると言える。この技術は、特許文献４にも記載されている。

群衆の向きの推定方法は、例示した上記の方法以外の方法であってもよい。

データ付加部２２２は、推定された群衆の向きを示す情報を、対応する局所領域に付加する。

群衆種類識別部２３は、群衆の向きを示す情報が付加された各局所領域から得られる、２つの局所領域からなる局所領域の組み合わせ毎に、以下の処理を実行する。群衆種類識別部２３は、組をなす２つの局所領域の相対的な位置関係を示すベクトルと、その２つの局所領域それぞれに付加されている群衆の向きを示す情報とを用いて、滞留した複数の人物で構成される群衆の種類を識別し、その群衆の位置を特定する。群衆の位置とは、群衆の種類の識別に用いられた２つの局所領域の位置である。以下、２つの局所領域の相対的な位置関係を示すベクトルを相対ベクトルと記す。

図４は、群衆種類識別部２３の構成例を示すブロック図である。群衆種類識別部２３は、相対ベクトル算出部２３１と、分析部２３２とを備える。

相対ベクトル算出部２３１は、組をなす２つの局所領域を選択する。そして、相対ベクトル算出部２３１は、その２つの局所領域の相対的な位置関係を示す相対ベクトルを算出する。

図５は、選択された２つの局所領域と、その２つの局所領域の相対的な位置関係を示す相対ベクトルの例を示す模式図である。図５では、相対ベクトルを点線で示している。また、各局所領域に付加された情報が示す群衆の向きを実線のベクトルで示している。以下、局所領域に付加された情報が示す群衆の向きを、単に、局所領域の群衆の向きと記す。

分析部２３２は、相対ベクトルと、その２つの局所領域それぞれに付加されている群衆の向きを示す情報とを用いて、滞留した複数の人物で構成される群衆の種類を識別し、その群衆が表れている位置を特定する。滞留した群衆の種類の例として、行列、取り囲み、たむろ等が挙げられる。

以下、群衆の種類の識別処理の具体例を２つ示す。

１つ目の例として、「行列」の識別処理の例を示す。図６は、表れている群衆の種類が行列と識別される２つの局所領域を示す模式図である。図６では、図５と同様に、相対ベクトルを点線で示し、各局所領域の群衆の向きを実線のベクトルで示している。

相対ベクトル算出部２３１は、群衆の向きを示す情報が付加された各局所領域から、２つの局所領域を選択する。ここでは、図６に示す２つの局所領域＃１，＃２を選択したものとする。相対ベクトル算出部２３１は、選択した２つの局所領域の重心位置を結ぶ相対ベクトルを算出する。ここでは、局所領域＃２の重心位置を始点とし、局所領域＃１の重心位置を終点とする相対ベクトルを例にして説明する。ただし、「行列」の識別処理では、後述するように、相対ベクトル算出部２３１は、２つの局所領域から、互いに逆向きの２つの相対ベクトルを算出し、分析部２３２は、その２つの相対ベクトルそれぞれに対して処理を行う。

相対ベクトル算出部２３１は、２つの局所領域から求めた相対ベクトルの大きさが所定の閾値以下であるか否かを判定する。相対ベクトルの大きさが所定の閾値より大きい場合（換言すれば、２つの局所領域が遠い場合）、分析部２３２は、その２つの局所領域について処理を行わず、相対ベクトル算出部２３１は、新たに２つの局所領域を選択する。

相対ベクトルの大きさが所定の閾値以下である場合（換言すれば、２つの局所領域が近い場合）、分析部２３２は、選択された２つの局所領域それぞれの群衆の向きと、相対ベクトルとを用いて、その２つの局所領域に対応する群衆（滞留した群衆）の種類を識別する。

分析部２３２は、局所領域＃１の群衆の向きと相対ベクトルの向きとの類似度を算出する。また、分析部２３２は、局所領域＃２の群衆の向きと相対ベクトルの向きとの類似度を算出する。また、分析部２３２は、局所領域＃１の群衆の向きと局所領域＃２の群衆の向きとの類似度を算出する。

分析部２３２は、この３つの類似度が全て所定の値より大きい場合に、２つの局所領域に対応する群衆の種類を「行列」と識別する。上記の各類似度は、向きの類似の程度を示す値であれば、どのような方法で求められた値であってもよい。向きの類似度を求める際に、内積を用いてもよい。具体的には、分析部２３２は、向きを表すベクトルを正規化し、正規化された２つのベクトルの内積を、それらの２つのベクトルが示す向きの類似度として算出してもよい。

また、局所領域＃２の重心位置を始点とし、局所領域＃１の重心位置を終点とする相対ベクトルと、その逆向きの相対ベクトル（局所領域＃１の重心位置を始点とし、局所領域＃２の重心位置を終点とする相対ベクトル）とを算出する。上記の説明では、分析部２３２が、前者の相対ベクトルに着目して、上記の３つの類似度を算出する場合を説明した。分析部２３２は、前者の相対ベクトルに着目した場合だけでなく、後者の相対ベクトルに着目した場合に関しても、上記の３つの類似度を算出する。そして、分析部２３２は、その３つの類似度が全て所定の値より大きい場合に、２つの局所領域に対応する群衆の種類を「行列」と識別する。

分析部２３２は、互いに逆向きの２つの相対ベクトルの一方に着目した場合と、もう一方に着目した場合のいずれかにおいて、２つの局所領域に対応する群衆の種類を「行列」と識別したならば、２つの局所領域に対応する群衆の種類を「行列」と決定してよい。

図６に示す例では、分析部２３２は、局所領域＃２の重心位置を始点とし、局所領域＃１の重心位置を終点とする相対ベクトルに着目し、２つの局所領域に対応する群衆の種類を「行列」と識別する。従って、図６に示す相対ベクトルとは逆向きの相対ベクトルに着目した場合に、２つの局所領域に対応する群衆の種類を「行列」と識別できなくても、分析部２３２は、図６に示す２つの局所領域に対応する群衆の種類を「行列」と決定してよい。

２つ目の例として、「取り囲み」の識別処理の例を示す。図７は、表れている群衆の種類が取り囲みと識別される２つの局所領域を示す模式図である。図７では、図５と同様に、相対ベクトルを点線で示し、各局所領域の群衆の向きを実線のベクトルで示している。

相対ベクトル算出部２３１は、群衆の向きを示す情報が付加された各局所領域から、２つの局所領域を選択する。ここでは、図７に示す２つの局所領域＃１，＃２を選択したものとする。相対ベクトル算出部２３１は、選択した２つの局所領域の重心位置を結ぶ相対ベクトルを算出する。「取り囲み」の識別処理では、相対ベクトル算出部２３１は、２つの局所領域から、互いに逆向きの２つの相対ベクトルを算出する必要はない。相対ベクトル算出部２３１は、２つの局所領域から１つの相対ベクトルを算出すればよい。また、相対ベクトルの向きは２種類考えられるが、相対ベクトル算出部２３１は、いずれか一方の向きの相対ベクトルを算出すればよい。また、相対ベクトルの向きを２種類のうち、どちらの向きにするかは任意である。図７に示す例では、局所領域＃２の重心位置を始点とし、局所領域＃１の重心位置を終点とする相対ベクトルを示している。

相対ベクトル算出部２３１は、２つの局所領域から求めた相対ベクトルの大きさが所定の閾値以下であるか否かを判定する。相対ベクトルの大きさが所定の閾値より大きい場合、分析部２３２は、その２つの局所領域について処理を行わず、相対ベクトル算出部２３１は、新たに２つの局所領域を選択する。相対ベクトルの大きさが所定の閾値以下である場合（換言すれば、２つの局所領域が近い場合）、分析部２３２は、選択された２つの局所領域それぞれの群衆の向きと、相対ベクトルとを用いて、その２つの局所領域に対応する群衆（滞留した群衆）の種類を識別する。この点は、「行列」の識別処理の場合と同様である。

分析部２３２は、相対ベクトルと、局所領域＃１の群衆の向きのベクトルとの外積（以下、第１の外積と記す。）を算出する。同様に、分析部２３２は、相対ベクトルと、局所領域＃２の群衆の向きのベクトルとの外積（以下、第２の外積と記す。）を算出する。

また、分析部２３２は、局所領域＃１の群衆の向きに沿った直線と、局所領域＃２の群衆の向きに沿った直線との交点を求める。そして、分析部２３２は、その交点を終点とし、２つの局所領域のいずれか一方（どちらでもよい。）の重心位置を始点とするベクトルを算出する。以下、便宜的に、このベクトルを交点ベクトルと記す。図７では、交点ベクトルを破線で示している。また、図７に示す例では、局所領域＃２の重心位置を交点ベクトルの始点としている。分析部２３２は、相対ベクトルと、交点ベクトルとの外積（以下、第３の外積と記す。）を算出する。

図７に示す画像（２つの局所領域を包含する画像）に垂直な方向は、２方向存在する。
上記の第１の外積、第２の外積、および第３の外積は、画像に垂直な２つの方向の何れかを向いている。分析部２３２は、第１の外積の向き、第２の外積の向き、および第３の外積の向きが同じ向きであるならば、２つの局所領域に対応する群衆の種類を「取り囲み」と識別する。

第１の外積の向きおよび第２の外積の向きが同じであるということは、局所領域＃１の群衆の向きと、局所領域＃２の群衆の向きとが、相対ベクトルに沿った直線を基準として同じ側を向いているということを意味する。また、第１の外積の向き、第２の外積の向き、および第３の外積の向きが同じ向きであるということは、上記の交点が、局所領域＃１の群衆の向きの方向に存在し、かつ、局所領域＃２の群衆の向きの方向に存在していることを意味する。従って、第１の外積の向き、第２の外積の向き、および第３の外積の向きが同じ向きである場合、局所領域＃１，＃２の群衆は交点方向を向いていて、その群衆の種類は「取り囲み」であると言うことができる。

分析部２３２は、上記の方法とは別の方法で、取り囲みを識別してもよい。また、２つの局所領域＃１，＃２の群衆の向きから、異常個所や注目箇所も分かる。

ここでは、具体的な２つの識別例を示した。群衆種類識別部２３は、２つの局所領域の組み合わせに対して、相対ベクトルと、その２つの局所領域の群衆の向きとを用いて、上記以外の群衆の種類を識別してもよい。

また、群衆種類識別部２３は、異なる複数の種類に関して、それぞれ識別処理を実行してもよい。

滞留状態推定部２１１と人数推定部２１２と局所領域検出部２１３とを含む滞留群衆検出部２１、および、向き推定部２２１とデータ付加部２２２とを含む群衆向き推定部２２、および、相対ベクトル算出部２３１と分析部２３２とを含む群衆種類識別部２３は、例えば、コンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサによって実現される。この場合、ＣＰＵは、コンピュータのプログラム記憶装置（図示略）等のプログラム記録媒体から群衆種類識別プログラムを読み込み、そのプログラムに従って、滞留群衆検出部２１、群衆向き推定部２２、群衆種類識別部２３として動作すればよい。

次に、処理経過について説明する。図８は、本発明の第１の実施形態の処理経過の例を示すフローチャートである。

画像取得装置１は、カメラ等の撮像装置あるいはビデオ機器等の映像装置の出力から、画像を取得する（ステップＳ１）。

滞留状態推定部２１１が、物体の滞留度の推定方法として、時刻が異なり場所が同じである局所領域画像を用いる方法を採用している場合、画像取得装置１は、同じ場所を写した画像であって撮像時刻が異なる２つの画像を取得すればよい。また、画像取得装置１は、予めある時刻の画像を記憶しておき、ステップＳ１では、その時刻と異なる時刻の画像を１つ取得してもよい。また、滞留状態推定部２１１が、物体の滞留度の推定方法として動きセンサを利用する方法を採用している場合、画像取得装置１は、ステップＳ１で１つの画像を取得すればよい。

ステップＳ１の後、滞留群衆検出部２１は、予め定められた各局所領域によって、ステップＳ１で取得された画像から定まる各局所領域画像を対象にして、物体の滞留度および局所領域内の人数を推定する。さらに、滞留群衆検出部２１は、物体の滞留度および局所領域内の人数の推定値に基づいて、各局所領域の中から、滞留した群衆を示す局所領域を検出する（ステップＳ２）。

図９は、ステップＳ２の処理経過の例を示すフローチャートである。

滞留状態推定部２１１は、予め定められた各局所領域の中から、未だ選択されていない１つの局所領域を選択する（ステップＳ２１）。なお、各局所領域は、局所領域群記憶部３１に記憶されている各局所領域の位置およびサイズによって表される。なお、ステップＳ２１，Ｓ２６は、人数推定部２１２によって実行されてもよいが、ここでは、滞留状態推定部２１１がステップＳ２１，Ｓ２６を実行する場合を例にして説明する。

滞留状態推定部２１１は、ステップＳ２１で選択された局所領域によって、画像（ステップＳ１で取得された画像）から特定される局所領域画像を対象にして、物体の滞留度を推定する（ステップＳ２２）。物体の滞留度の推定方法の例については、既に説明したので、ここでは説明を省略する。

次に、人数推定部２１２は、ステップＳ２１で選択された局所領域によって、画像（ステップＳ１で取得された画像）から特定される局所領域画像を対象にして、局所領域内の人数を推定する（ステップＳ２３）。人数の推定方法の例については、既に説明したので、ここでは説明を省略する。

なお、ステップＳ２２，Ｓ２３は、どちらが先に実行されてもよい。

次に、局所領域検出部２１３は、ステップＳ２２で推定された物体の滞留度と、ステップＳ２３で推定された局所領域内の人数とを用いて、選択された局所領域が、滞留した群衆を示す局所領域であるか否かを判定する（ステップＳ２４）。選択された局所領域が、滞留した群衆を示す局所領域であると判定されたということは、局所領域検出部２１３が、選択された局所領域を、滞留した群衆を示す局所領域として検出したということである。

局所領域検出部２１３は、物体の滞留度が所定の閾値より大きく、かつ、局所領域内の人数が所定の閾値より大きいという条件を満たしている場合に、選択された局所領域が、滞留した群衆を示す局所領域であると判定する。上記の条件が満たされていない場合、局所領域検出部２１３は、選択された局所領域が、滞留した群衆を示す局所領域でないと判定する。

選択された局所領域が、滞留した群衆を示す局所領域である場合（ステップＳ２４のＹｅｓ）、局所領域検出部２１３は、選択された局所領域を、滞留した群衆を示す局所領域として蓄積する（ステップＳ２５）。ステップＳ２５の後、ステップＳ２６に移行する。

また、選択された局所領域が、滞留した群衆を示す局所領域でない場合（ステップＳ２４のＮｏ）、ステップＳ２５を行わずに、ステップＳ２６に移行する。

ステップＳ２６において、滞留状態推定部２１１は、未選択の局所領域があるか否かを判定する（ステップＳ２６）。未選択の局所領域がある場合（ステップＳ２６のＹｅｓ）、滞留群衆検出部２１は、ステップＳ２１以降の動作を繰り返す。

未選択の局所領域がない場合（ステップＳ２６のＮｏ）、局所領域検出部２１３は、滞留した群衆を示す各局所領域（すなわち、ステップＳ２５で蓄積した各局所領域）を、群衆向き推定部２２に出力する（ステップＳ２７）。ステップＳ２７を実行することで、ステップＳ２（図８参照）が完了する。

次に、群衆向き推定部２２は、滞留した群衆を示す局所領域毎に、局所領域に対応する局所領域画像における群衆の向きを推定し、その群衆の向きを示す情報を局所領域に付加する（ステップＳ３）。

具体的には、向き推定部２２１が、滞留した群衆を示す局所領域の中から１つの局所領域を選択し、その局所領域に対応する局所領域画像における群衆の向きを推定する。そして、データ付加部２２２が、推定された群衆の向きを示す情報を、選択された局所領域に付加する。向き推定部２２１およびデータ付加部２２２は、未選択の局所領域がなくなるまで、上記の処理を行えばよい。また、データ付加部２２２は、推定された群衆の向きを示す情報を付加した各局所領域を、群衆種類識別部２３に出力する。

次に、群衆種類識別部２３は、群衆の向きを示す情報が付加された２つの局所領域からなる局所領域の組み合わせ毎に、相対ベクトルと、２つの局所領域の群衆の向きとを用いて、滞留した群衆の種類を識別する。また、群衆種類識別部２３は、その群衆の位置を特定する。群衆種類識別部２３は、群衆の種類、および、その群衆の位置を出力する（ステップＳ４）。滞留した群衆の種類の例として、行列、取り囲み、たむろ等が挙げられる。ステップＳ４で、群衆種類識別部２３は、１つの種類に関して識別処理を行ってもよく、あるいは、異なる複数の種類に関して識別処理を行ってもよい。

図１０は、ステップＳ４の処理経過の例を示すフローチャートである。

相対ベクトル算出部２３１は、群衆の向きの情報が付加された各局所領域の中から２つの局所領域を選択する（ステップＳ４１）。ステップＳ４１は、群衆の向きの情報が付加された２つの局所領域からなる組み合わせを１つ選択する処理であるということもできる。ステップＳ４１では、相対ベクトル算出部２３１は、未選択の組み合わせを１つ選択する。

相対ベクトル算出部２３１は、ステップＳ４１で選択した２つの局所領域の重心位置同士を結ぶ相対ベクトルを算出する（ステップＳ４２）。相対ベクトルの算出態様は、識別処理の対象とする群衆の種類に応じて異なっていてよい。例えば、識別処理の対象とする群衆の種類が「行列」である場合には、相対ベクトル算出部２３１は、互いに逆向きの２つの相対ベクトルを算出する。また、例えば、識別処理の対象とする群衆の種類が「取り囲み」である場合には、相対ベクトル算出部２３１は、２つの局所領域のうち、任意の１つの局所領域の重心位置を始点とし、他方の局所領域の重心位置を終点とする１つの相対ベクトルを算出すればよい。

次に、相対ベクトル算出部２３１は、ステップＳ４２で算出した相対ベクトルの大きさが所定の閾値以下であるか否かを判定する（ステップＳ４３）

相対ベクトルの大きさが所定の閾値より大きい場合（ステップＳ４３のＮｏ）、ステップＳ４７に移行する。

相対ベクトルの大きさが所定の閾値以下である場合（ステップＳ４３のＹｅｓ）、分析部２３２は、相対ベクトルと、選択された２つの局所領域それぞれの群衆の向きとを用いて、滞留した群衆の種類を識別する（ステップＳ４４）。

ステップＳ４４で、分析部２３２は、１つの種類に関して識別処理を行ってもよく、あるいは、異なる複数の種類に関して識別処理を行ってもよい。例えば、分析部２３２は、ステップＳ４４で、「行列」のみに関して識別処理を行ってもよく、あるいは、「行列」、「取り囲み」それぞれに関して識別処理を行ってもよい。ここでは、「行列」や「取り囲み」を例示したが、分析部２３２は、ステップＳ４４で、他の種類を対象に識別処理を行ってもよい。

相対ベクトルと、２つの局所領域の群衆の向きとを用いた群衆の種類の識別処理の具体例については、「行列」を識別する場合や「取り囲み」を識別する場合を例にして既に説明したので、ここでは説明を省略する。

ステップＳ４４で群衆の種類を１つも識別できなかった場合には（ステップＳ４５のＮｏ）、ステップＳ４７に移行する。

ステップＳ４４で１つでも群衆の種類を識別できた場合には（ステップＳ４５のＹｅｓ）、分析部２３２は、その群衆の種類と、その群衆の位置とを蓄積する（ステップＳ４６）。分析部２３２は、群衆の種類の識別に用いた２つの局所領域の位置を、群衆の位置として蓄積すればよい。ステップＳ４６の後、ステップＳ４７に移行する。

ステップＳ４７において、相対ベクトル算出部２３１は、群衆の向きの情報が付加された２つの局所領域からなる組み合わせを全て選択済みであるか否かを判定する（ステップＳ４７）。未選択の組み合わせが存在する場合（ステップＳ４７のＮｏ）、群衆種類識別部２３は、ステップＳ４１以降の動作を繰り返す。

全ての組み合わせが選択済みである場合（ステップＳ４７のＹｅｓ）、分析部２３２は、蓄積した群衆の種類と、その群衆の位置とを出力する（ステップＳ４８）。ステップＳ４８における出力態様は、特に限定されない。例えば、分析部２３２は、群衆の種類および位置を表示出力してもよく、あるいは、他の態様で出力してもよい。ステップＳ４８を実行することで、ステップＳ４（図８参照）が完了する。

本発明の第１の実施形態によれば、群衆種類識別部２３は、滞留した群衆を示す局所領域群に対して、２つの局所領域からなる局所領域の組み合わせを順次選択する。群衆種類識別部２３は、選択した組み合わせをなす２つの局所領域を対象に、相対ベクトルと、２つの各局所領域の群衆の向きを用いて、群衆の種類を識別する。従って、画像に表れている滞留した群衆の種類として多様な種類を識別することができる。

また、本実施形態では、予め複数の局所領域を定めておく。群衆種類識別部２３（より具体的には、分析部２３２）は、選択した組み合わせをなす２つの局所領域を対象に群衆の種類を識別した場合、画像内におけるその２つの局所領域の位置を、画像内で群衆が表れている位置とする。従って、種類が識別された群衆の画像内での位置を特定することができる。

また、物体の滞留度を推定するための学習や、局所領域内の人数を推定するための学習や、群衆の向きを推定するための学習において、局所領域ベースの学習を適用してもよい。また、人物同士の重なりを含む画像パターンを用いて学習してもよい。この場合、画像取得装置１が取得した画像内で人物同士が重なって写っていても、滞留した群衆の種類を頑健に識別することができる。

次に、第１の実施形態の変形例について説明する。図１１は、第１の実施形態の変形例を示すブロック図である。図１に示す要素と同一の要素に関しては、説明を省略する。

上記の第１の実施形態では、滞留群衆検出部２１（図１参照）が、各局所領域における物体の滞留度および局所領域内の人数を推定し、滞留した群衆を示す局所領域を検出する。その後、群衆向き推定部２２（図１参照）が、検出された局所領域に対して、群衆の向きを推定する。

一方、図１１に示す群衆種類識別システムは、予め定められている各局所領域に対して、物体の滞留度、局所領域内の人数、および群衆の向きを同時に推定する。具体的には、図１１に示す群衆種類識別システムは、図１に示す滞留群衆検出部２１および群衆向き推定部２２の代わりに、検出部２４を備える。検出部２４は、予め定められている各局所領域に対して、物体の滞留度、局所領域内の人数、および群衆の向きを同時に推定する。

例えば、局所領域画像が入力されると、物体の滞留度、局所領域内の人数、および群衆の向きを出力する推定器を予め学習によって得ていてもよい。検出部２４は、その推定器に局所領域画像を入力することによって、物体の滞留度、局所領域内の人数、および群衆の向きの推定結果を同時に求めてもよい。また、上記の推定器の学習に、特許文献４に記載の技術を用いてもよい。

検出部２４は、例えば、群衆種類識別プログラムに従って動作するコンピュータのＣＰＵによって実現される。

［第２の実施形態］
本発明の第２の実施形態の群衆種類識別システムは、第１の実施形態の群衆種類識別システムと同様に、図１に示すブロック図で表すことができるので、図１を用いて第２の実施形態を説明する。

滞留群衆検出部２１および群衆種類識別部２３は、第１の実施形態における滞留群衆検出部２１および群衆種類識別部２３と同様であり、説明を省略する。

群衆向き推定部２２は、滞留群衆検出部２１によって検出された局所領域に対応する局所領域画像における群衆の向きを推定し、群衆の向きの信頼度が高いと判定した場合に、群衆の向きを示す情報をその局所領域に付加する。一方、群衆の向きの信頼度が低いと判定した場合には、群衆向き推定部２２は、群衆の向きを示す情報を局所領域に付加せず、その局所領域は、群衆の種類の識別処理の対象から除外する。

第２の実施形態における群衆向き推定部２２は、図３に示すように、向き推定部２２１と、データ付加部２２２とを備える。

第２の実施形態における向き推定部２２１は、滞留群衆検出部２１によって検出された局所領域に対応する局所領域画像における群衆の向きを推定する。この点は、第１の実施形態と同様である。ただし、第２の実施形態における向き推定部２２１は、群衆の向きの信頼度の高低を二者択一で判定できる態様で、群衆の向きを推定する。

例えば、第２の実施形態では、局所領域画像が入力されると、その局所領域画像における群衆の向きとして、群衆の向きを示すベクトルであって向きの信頼度を大きさで表したベクトルを出力する推定器を、予め回帰学習によって得ておく。向き推定部２２１は、局所領域画像を、この推定器に入力することによって、群衆の向きを推定する。群衆の向きの推定結果は、上記のベクトルとして得られるので、群衆の向きの信頼度の高低を二者択一で判定可能である。この場合、データ付加部２２２は、群衆の向きを示すベクトルの大きさが所定の閾値以上であれば、推定された群衆の向きの信頼度が高いと判定し、群衆の向きを示す情報（本例ではベクトルで表される情報）を、局所領域に付加すればよい。また、データ付加部２２２は、群衆の向きを示すベクトルの大きさが所定の閾値未満であれば、推定された群衆の向きの信頼度が低いと判定し、推定結果に対応する局所領域に群衆の向きを示す情報を付加しない。データ付加部２２２は、群衆の向きを示す情報を付加しなかった局所領域を、群衆種類識別部２３の処理対象から除外する。

また、例えば、局所領域画像が入力されると、その局所領域画像における群衆の向きとして、群衆の向きを示す角度を出力する推定器を、予め回帰学習によって得ていてもよい。向き推定部２２１は、局所領域画像を、この推定器に入力することによって、群衆の向きを推定する。群衆の向きの推定結果は、角度で表されているので、群衆の向きの信頼度の高低を二者択一で判定可能である。例えば、データ付加部２２２は、群衆の向きを示す角度が０〜３６０度の範囲内の角度であれば、推定された群衆の向きの信頼度が高いと判定し、群衆の向きを示す情報（本例では角度で表される情報）を、局所領域に付加すればよい。また、データ付加部２２２は、群衆の向きを示す角度が、０〜３６０度の範囲外の角度であれば、推定された群衆の向きの信頼度が低いと判定し、推定結果に対応する局所領域に群衆の向きを示す情報を付加しない。データ付加部２２２は、群衆の向きを示す情報を付加しなかった局所領域を、群衆種類識別部２３の処理対象から除外する。

また、例えば、局所領域画像が入力されると、その局所領域画像における群衆の向きとして、群衆の向きを示す角度に該当する確率を所定間隔の角度毎（例えば、１０度毎）に出力する推定器を、予め識別学習によって得ていてもよい。向き推定部２２１は、局所領域画像を、この推定器に入力することによって、所定間隔の角度毎に、角度に該当する確率を得る。向き推定部２２１は、最も高い確率である角度を群衆の向きと推定する。

データ付加部２２２は、群衆の向きと推定された角度で確率が高く、他の角度で確率が低い場合、推定された群衆の向きの信頼度が高いと判定し、群衆の向きを示す情報（本例では角度で表される情報）を、局所領域に付加すればよい。また、いずれの角度においても確率が同程度の値である場合には、データ付加部２２２は、推定された群衆の向きの信頼度が低いと判定し、推定結果に対応する局所領域に群衆の向きを示す情報を付加しない。データ付加部２２２は、群衆の向きを示す情報を付加しなかった局所領域を、群衆種類識別部２３の処理対象から除外する。

群衆の向きの信頼度は、上記の例に限定されない。群衆の向きの信頼度は、信頼度が高いか低いかを二者択一で判定できれば、どのような態様で表されていてもよい。

第２の実施形態における処理経過は、図８に示すフローチャートで表すことができる。
また、ステップＳ１，Ｓ２，Ｓ４は、第１の実施形態のステップＳ１，Ｓ２，Ｓ４と同様であり、説明を省略する。

図１２は、第２の実施形態におけるステップＳ３の処理経過の例を示すフローチャートである。

向き推定部２２１が、滞留した群衆を示す各局所領域（すなわち、ステップＳ２で滞留群衆検出部２１によって出力された各局所領域）の中から、未選択の局所領域を１つ選択する（ステップＳ３１）。

次に、向き推定部２２１は、ステップＳ３１で選択された局所領域に対応する局所領域画像における群衆の向きを推定する（ステップＳ３２）。向き推定部２２１は、群衆の向きの信頼度の高低を二者択一で判定できる態様で、群衆の向きを推定する。本実施形態での群衆の向きの推定の具体例については、既に説明したので、ここでは説明を省略する。

データ付加部２２２は、ステップＳ３２で推定された群衆の向きの信頼度が高いか低いかを二者択一で判定する（ステップＳ３３）。群衆の向きの信頼度の高低の判定の具体例についても、既に説明したので、ここでは説明を省略する。

信頼度が低いとデータ付加部２２２が判定した場合、ステップＳ３４を行わずに、ステップＳ３５に移行する。

また、信頼度が高いとデータ付加部２２２が判定した場合、データ付加部２２２が推定された群衆の向きを示す情報を、ステップＳ３１で選択された局所領域に付加する（ステップＳ３４）。ステップＳ３４の後、ステップＳ３５に移行する。

ステップＳ３５において、向き推定部２２１は、滞留した群衆を示す各局所領域（ステップＳ２で滞留群衆検出部２１によって出力された各局所領域）を全て選択済みであるか否かを判定する（ステップＳ３５）。

滞留した群衆を示す各局所領域のうち、未選択の局所領域がある場合（ステップＳ３５のＮｏ）、群衆向き推定部２２は、ステップＳ３１以降の処理を繰り返す。

滞留した群衆を示す各局所領域を全て選択済みである場合（ステップＳ３５のＹｅｓ）、データ付加部２２２は、推定された群衆の向きを示す情報を付加した各局所領域を、群衆種類識別部２３に出力する（ステップＳ３６）。ステップＳ３６を実行することで、ステップＳ３（図８参照）が完了する。

第２の実施形態においても、第１の実施形態と同様の効果が得られる。また、第２の実施形態では、推定された群衆の向きの信頼度が高い局所領域のみを対象として、群衆の種類の識別処理が行われる。従って、滞留した群衆の種類の識別の精度を向上させることができる。

［第３の実施形態］
図１３は、本発明の第３の実施形態の群衆種類識別システムの構成例を示すブロック図である。本発明の第３の実施形態の群衆処理識別システムにおいて、データ処理装置２は、滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３に加え、さらに、上位群衆種類識別部２７を備える。

画像取得装置１、滞留群衆検出部２１、群衆向き推定部２２、群衆種類識別部２３、および局所領域群記憶部３１は、第１の実施形態におけるそれらの要素、または、第２の実施形態におけるそれらの要素と同様であり、ここでは、説明を省略する。また、第３の実施形態における群衆処理識別システムは、第１の実施形態におけるステップＳ１〜Ｓ４と同様の動作、または、第２の実施形態におけるステップＳ１〜Ｓ４と同様の動作と同様の動作を実行する。

ステップＳ４までの動作によって、滞留した群衆を示す２つの局所領域の組み合わせ毎に、群衆の種類および位置が定められている。群衆の位置は、その群衆の種類の識別に用いた２つの局所領域の位置である。ステップＳ４までの動作によって、種類および位置が定められた群衆は、基礎的な群衆であると言うことができる。なお、本実施形態では、群衆種類識別部２３は、群衆の種類および位置（局所領域の位置）、およびその群衆に対応する２つの局所領域の群衆の向きを上位群衆種類識別部２７に出力する。

ステップＳ４の後、上位群衆種類識別部２７は、群衆の種類と位置を基にして、群衆を対象にクラスタリングを行うことにより、上位群衆を特定する。上位群衆は、群衆を集めて形づくられる集合である。従って、上位群衆は、群衆よりも複雑化している。上位群衆種類識別部２７は、上位群衆に属する群衆の種類と、上位群衆に属する群衆の位置を示す各局所領域の配置パターンと、その各局所領域の群衆の向きのパターンとに基づいて、上位群衆の種類を識別し、上位群衆の種類および位置を出力する。上位群衆の種類および位置の出力態様は、特に限定されない。例えば、上位群衆種類識別部２７は、各上位群衆の種類および位置を表示出力してもよく、あるいは、他の態様で出力してもよい。また、ステップＳ４までの動作で得られた各群衆の種類および位置を、上位群衆種類識別部２７が、各上位群衆の種類および位置とともに出力してもよい。上位群衆に属する群衆の位置を示す各局所領域の配置パターンは、上位群衆の位置を示す各局所領域の配置パターンであると言うことができる。

上位群衆種類識別部２７は、群衆をクラスタリングすることによって、群衆を要素とするクラスタ（塊）を特定する。このクラスタが上位群衆を表す。上位群衆種類識別部２７は、群衆をクラスタリングする場合、互いに異なる群衆の位置（局所領域の位置）の距離が所定の閾値以下であり、かつ、その群衆の種類が共通である場合に、その群衆を同一のクラスタに含めることで、群衆をクラスタリングする。クラスタリングによって得られるクラスタは、群衆を要素としている。さらにその個々の群衆には、群衆の位置（局所領域の位置）、群衆に対応する局所領域の群衆の向きが付随している。

上位群衆種類識別部２７は、クラスタリングによって得られた上位群衆の種類を、その上位群衆に属する群衆の種類と、その上位群衆に属する群衆の位置を示す各局所領域の配置パターンと、その各局所領域の群衆の向きのパターンとに基づいて、識別する。上位群衆種類識別部２７は、クラスタリングによって得られたクラスタ毎（上位群衆毎）に、上位群衆の種類を識別する。

図１４は、上位群衆の識別例を示す説明図である。図１４は、画像を示している。図１４において、種類が識別された群衆を点線の楕円で囲って示している。また、その楕円の近傍に、群衆の種類を記載している。また、群衆の種類は、２つの局所領域を用いて識別されるので、１つ点線の楕円内には、局所領域が２つ含まれている。図１４に示す例では、四角形の局所領域を図示している。なお、１つの局所領域が複数の点線の楕円に含まれる場合もある。

図１４に示す画像では、「取り囲み」と識別された群衆の数は、６である。上記のように、上位群衆種類識別部２７は、互いに異なる群衆の位置（局所領域の位置）の距離が所定の閾値以下であり、かつ、その群衆の種類が共通である場合に、その群衆を同一のクラスタに含める。図１４に示す例では、上記の６個の群衆の位置は、それぞれ、近傍の「取り囲み」と識別された群衆の位置と近く、互いに近傍に位置する群衆の位置（局所領域の位置）の距離が所定の閾値以下であるものとする。また、それらの６個の群衆の種類は、「取り囲み」で共通である。従って、本例では、上位群衆種類識別部２７は、「取り囲み」と識別された６個の群衆を１つのクラスタ（塊）にクラスタリングする（図１４に示すクラスタ（塊）Ｂを参照）。この結果、クラスタ（塊）Ｂに相当する上位群衆が定まる。また、図１４では、この上位群衆を、破線の円で表している。

クラスタ（塊）Ｂに相当する上位群衆に属する群衆の種類は、「取り囲み」である。クラスタ（塊）Ｂに相当する上位群衆に属する群衆の位置を示す各局所領域の配置パターンは円となっている。また、その各局所領域の群衆の向きのパターンは、円の内側を向くというパターンになっている。上位群衆種類識別部２７は、群衆の種類（「取り囲み」）、この配置パターンおよび向きのパターンに基づいて、クラスタ（塊）Ｂに相当する上位群衆の種類を、「円形取り囲み」と識別する。

例えば、上位群衆種類識別部２７は、上位群衆に属する群衆の種類、上位群衆に属する群衆の位置を示す各局所領域の配置パターンおよびその各局所領域の群衆の向きのパターンの各組み合わせと、上位群衆の種類との対応関係を記憶していてもよい。そして、上位群衆種類識別部２７は、上位群衆に属する群衆の種類、認識した配置パターンおよび向きのパターンに対応する上位群衆の種類を導出してもよい。

上記の例では、上位群衆種類識別部２７が上位群衆の種類として「円形取り囲み」を識別する場合を例示した。上位群衆の種類は、特に限定されない。例えば、上位群衆種類識別部２７は、群衆の種類、配置パターンおよび向きのパターンに応じて、上位群衆の種類として、例えば、「直線行列」、「折り返し行列」等を識別してもよい。

また、上位群衆種類識別部２７は、上位群衆に属する群衆の位置を示す各局所領域の位置を、上位群衆の位置と定めればよい。

上位群衆種類識別部２７は、例えば、群衆種類識別プログラムに従って動作するコンピュータのＣＰＵによって実現される。

本実施形態によれば、上位群衆種類識別部２７は、群衆種類識別部２３から出力された群衆の種類と位置を基にして、上位群衆を特定する。さらに、上位群衆種類識別部２７は、上位群衆に属する群衆の種類と、上位群衆に属する群衆の位置を示す各局所領域の配置パターンと、その各局所領域の群衆の向きのパターンとに基づいて、上位群衆の種類を識別する。従って、本実施形態によれば、上位群衆の種類を識別することができる。また、本実施形態によれば、群衆の種類と配置パターンと向きのパターンとに基づいて上位群衆の種類を識別するので、個々の種類に該当するための条件が制約されることになり、上位群衆の種類を正確に識別することができる。

図１５は、本発明の実施形態に係る群衆種類識別システムの具体的な構成例を示すブロック図である。本発明の実施形態に係る群衆種類識別システムは、図１５に示すように、画像取得装置１と、記憶装置３と、コンピュータ１００とを備える。記憶装置３は、局所領域群記憶部３１を含む。

また、コンピュータ１００には、画像取得装置１および記憶装置３が接続されている。
さらに、コンピュータ１００には、群衆種類識別プログラム１０１を記憶するコンピュータ可読媒体１０２も接続されている。

コンピュータ可読媒体１０２は、例えば、磁気ディスクや半導体メモリ等の記憶装置である。

コンピュータ１００は、ＣＰＵ１１０と、メモリ１２０と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１３０とを含む。ＣＰＵ１１０、メモリ１２０、及び、Ｉ／Ｏインタフェース１３０は、例えばバスを介して、通信可能に接続されている。ＣＰＵ１１０は、Ｉ／Ｏインタフェース１３０を介して、例えば、画像取得装置１、記憶装置３、コンピュータ可読媒体１０２へのアクセス装置、及び、群集の種類と位置とを受け取る装置等と通信を行う。ＣＰＵ１１０は、上述のＣＰＵとして動作する。

コンピュータ１００は、例えば、起動時に、コンピュータ可読媒体１０２から、群衆種類識別プログラム１０１を読み出し、群衆種類識別プログラム１０１に従って、各実施形態で示したデータ処理装置２として動作する。すなわち、コンピュータ１００は、群衆種類識別プログラム１０１に従って、第１の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３として動作する。また、コンピュータ１００は、群衆種類識別プログラム１０１に従って、第１の実施形態の変形例（図１１参照）における検出部２４および群衆種類識別部２３として動作してもよい。

また、コンピュータ１００は、群衆種類識別プログラム１０１に従って、第２の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３として動作してもよい。また、コンピュータ１００は、群衆種類識別プログラム１０１に従って、第３の実施形態における滞留群衆検出部２１、群衆向き推定部２２、群衆種類識別部２３および上位群衆種類識別部２７として動作してもよい。

コンピュータ１００は、群衆種類識別プログラム１０１に従って、後述する第４及び第５の実施形態に係るデータ処理装置として動作してもよい。

具体的には、コンピュータ１００のＣＰＵ１１０が、コンピュータ可読媒体１０２から、群衆種類識別プログラム１０１を読み出し、読み出した群衆種類識別プログラムを、例えばメモリ１２０にロードすればよい。ＣＰＵ１１０は、メモリ１２０にロードした群衆種類識別プログラムを実行すればよい。そして、ＣＰＵ１１０は、メモリ１２０にロードされた群衆種類識別プログラム１０１に従って、上述の各実施形態及び以下に示す各実施形態に係るデータ処理装置として動作すればよい。

本発明の各実施形態に係るデータ処理装置は、回路等の専用のハードウェアによって実現されていてもよい。本発明の各実施形態に係るデータ処理装置は、群衆種類識別プログラムがロードされたメモリ１２０と群衆種類識別プログラムを実行するＣＰＵ１１０とを含むコンピュータ１００と、回路等の専用のハードウェアとの組合せによって実現されていてもよい。

すなわち、第１の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、メモリ１２０にロードされた群衆種類識別プログラム１０１を実行するＣＰＵ１１０によって実現されていてもよい。第１の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、回路等の専用のハードウェアによって実現されていてもよい。第１の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、上述のＣＰＵ１１０と専用の回路との組合せによって実現されていてもよい。

第１の実施形態の変形例における検出部２４および群衆種類識別部２３は、メモリ１２０にロードされた群衆種類識別プログラム１０１を実行するＣＰＵ１１０によって実現されていてもよい。第１の実施形態の変形例における検出部２４および群衆種類識別部２３は、回路等の専用のハードウェアによって実現されていてもよい。第１の実施形態の変形例における検出部２４および群衆種類識別部２３は、上述のＣＰＵ１１０と専用の回路との組合せによって実現されていてもよい。

第２の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、メモリ１２０にロードされた群衆種類識別プログラム１０１を実行するＣＰＵ１１０によって実現されていてもよい。第２の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、回路等の専用のハードウェアによって実現されていてもよい。第２の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、上述のＣＰＵ１１０と専用の回路との組合せによって実現されていてもよい。

第３の実施形態における滞留群衆検出部２１、群衆向き推定部２２、群衆種類識別部２３および上位群衆種類識別部２７は、メモリ１２０にロードされた群衆種類識別プログラム１０１を実行するＣＰＵ１１０によって実現されていてもよい。第３の実施形態における滞留群衆検出部２１、群衆向き推定部２２、群衆種類識別部２３および上位群衆種類識別部２７は、回路等の専用のハードウェアによって実現されていてもよい。第３の実施形態における滞留群衆検出部２１、群衆向き推定部２２、群衆種類識別部２３および上位群衆種類識別部２７は、上述のＣＰＵ１１０と専用の回路との組合せによって実現されていてもよい。

後述する、第４の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、メモリ１２０にロードされた群衆種類識別プログラム１０１を実行するＣＰＵ１１０によって実現されていてもよい。第４の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、回路等の専用のハードウェアによって実現されていてもよい。第４の実施形態における滞留群衆検出部２１、群衆向き推定部２２および群衆種類識別部２３は、上述のＣＰＵ１１０と専用の回路との組合せによって実現されていてもよい。

後述する、第５の実施形態における検出部７１および識別部７２は、メモリ１２０にロードされた群衆種類識別プログラム１０１を実行するＣＰＵ１１０によって実現されていてもよい。第５の実施形態における検出部７１および識別部７２は、回路等の専用のハードウェアによって実現されていてもよい。第５の実施形態における検出部７１および識別部７２は、上述のＣＰＵ１１０と専用の回路との組合せによって実現されていてもよい。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。図１６は、本実施形態に係る群衆種類識別システムの構成の例を示すブロック図である。本実施形態に係る群衆種類識別システムは、滞留群衆検出部２１と、群衆向き推定部２２と、群衆種類識別部２３とを備える。本実施形態の群衆種類識別システムは、１台の装置（例えば、滞留群衆検出部２１と、群衆向き推定部２２と、群衆種類識別部２３とを含むデータ処理装置）によって実現されていてもよい。本実施形態の群衆種類識別システムは、互いに通信可能に接続された複数の装置によって実現されていてもよい。

滞留群衆検出部２１は、画像取得装置（例えば、上述の画像取得装置１）で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出する。

群衆向き推定部２２は、滞留群衆検出部２１で検出された局所領域に該当する部分の画像（例えば、上述の局所領域画像）を対象にして、群衆の向きを推定し、その群衆の向きを局所領域に付加する。

群衆種類識別部２３は、群衆向き推定部２２で群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、その２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、群衆の種類および位置を出力する。

そのような構成により、画像に表れている滞留した群衆の種類として多様な種類を識別することができる。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。図１７は、本実施形態に係る群衆種類識別システムの構成の例を示すブロック図である。図１７に示す例では、本実施形態に係る群衆種類識別システムは、検出部７１と、識別部７２とを備える。本実施形態の群衆種類識別システムは、１台の装置（例えば、検出部７１と、識別部７２とを含むデータ処理装置）によって実現されていてもよい。本実施形態の群衆種類識別システムは、互いに通信可能に接続された複数の装置によって実現されていてもよい。

検出部７１（例えば、上述の、滞留群衆検出部２１、検出部２４）は、画像中から、滞留した群衆を含む複数の部分領域（例えば、上述の局所領域）を検出する。

識別部７２（例えば、群衆種類識別部２３）は、第１の部分領域および第２の部分領域を分析し、第１の部分領域および第２の部分領域の群衆の種類を識別する。

そのような構成により、画像に表れている滞留した群衆の種類として多様な種類を識別することができる。

なお、第１の部分領域および第２の部分領域それぞれの群衆の向きを推定する推定部（例えば、上述の群衆向き推定部２２）を備え、識別部７２が、第１の部分領域に対する第２の部分領域の向き（例えば、上述の相対ベクトル）を算出する算出部（例えば、上述の相対ベクトル算出部２３１）と、第１の部分領域の群衆の向きと、第２の部分領域の群衆の向きと、第１の部分領域に対する第２の部分領域の向きとに基づいて、第１の部分領域および第２の部分領域の群衆の種類を識別する分析部（例えば、上述の分析部２３２）とを含む構成であってもよい。

上記の本発明の実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。

（付記１）
画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出する滞留群衆検出手段と、
前記滞留群衆検出手段で検出された局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを前記局所領域に付加する群衆向き推定手段と、
前記群衆向き推定手段で群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、前記２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力する群衆種類識別手段とを備える
ことを特徴とする群衆種類識別システム。

（付記２）
前記群衆種類識別手段は、前記相対ベクトルの大きさが所定の大きさ以下である２つの局所領域を用いて、群衆の種類を識別する
付記１に記載の群衆種類識別システム。

（付記３）
前記滞留群衆検出手段は、局所領域に該当する部分の画像を対象にして、物体の滞留状態を示す物体の滞留度と、群衆の密度を示す局所領域内の人数を推定し、前記物体の滞留度および前記人数に基づいて、滞留した群衆を示す局所領域を検出する
付記１または付記２に記載の群衆種類識別システム。

（付記４）
前記群衆向き推定手段は、群衆の向きを推定した際、当該群衆の向きの信頼度が低い場合、当該群衆の向きを、当該群衆の向きに対応する局所領域に付加しない
付記１から付記３のうちのいずれか１項に記載の群衆種類識別システム。

（付記５）
前記群衆種類識別手段に出力された群衆の種類と位置とを用いて上位群衆を求め、前記上位群衆に属する群衆の種類と、前記上位群衆の位置を示す各局所領域の配置パターンと、前記各局所領域の群衆の向きのパターンとに基づいて、前記上位群衆の種類を識別し、前記上位群衆の種類および位置を出力する上位群衆種類識別手段を備える
付記１から付記４のうちのいずれか１項に記載の群衆種類識別システム。

（付記６）
前記上位群衆種類識別手段は、群衆の種類と位置とを用いて群衆をクラスタリングすることによって上位群衆を求め、クラスタリングによって得られたクラスタ毎に上位群衆の種類を識別する
付記５に記載の群衆種類識別システム。

（付記７）
前記滞留群衆検出手段は、物体の滞留度の推定と人数を推定のいずれかまたは両方に、局所領域ベースの学習の結果を適用する
付記３に記載の群衆種類識別システム。

（付記８）
前記群衆向き推定手段は、群衆の向きの推定に局所領域ベースの学習の結果を適用する 付記１から付記７のうちのいずれか１項に記載の群衆種類識別システム。

（付記９）
画像中から、滞留した群衆を含む複数の部分領域を検出する検出手段と、
第１の部分領域および第２の部分領域を分析し、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する識別手段とを備える
ことを特徴とする群衆種類識別システム。

（付記１０）
前記第１の部分領域および前記第２の部分領域それぞれの群衆の向きを推定する推定手段を備え、
前記識別手段は、
前記第１の部分領域に対する前記第２の部分領域の向きを算出する算出手段と、
前記第１の部分領域の群衆の向きと、前記第２の部分領域の群衆の向きと、前記第１の部分領域に対する前記第２の部分領域の向きとに基づいて、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する分析手段とを含む
付記９に記載の群衆種類識別システム。

（付記１１）
画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出し、
検出した局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを前記局所領域に付加し、
群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、前記２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力する
ことを特徴とする群衆種類識別方法。

（付記１２）
前記相対ベクトルの大きさが所定の大きさ以下である２つの局所領域を用いて、群衆の種類を識別する
付記１１に記載の群衆種類識別方法。

（付記１３）
局所領域に該当する部分の画像を対象にして、物体の滞留状態を示す物体の滞留度と、群衆の密度を示す局所領域内の人数を推定し、前記物体の滞留度および前記人数に基づいて、滞留した群衆を示す局所領域を検出する
付記１１または付記１２に記載の群衆種類識別方法。

（付記１４）
群衆の向きを推定した際、当該群衆の向きの信頼度が低い場合、当該群衆の向きを、当該群衆の向きに対応する局所領域に付加しない
付記１１から付記１３のうちのいずれか１項に記載の群衆種類識別方法。

（付記１５）
群衆の種類と位置とを用いて上位群衆を求め、前記上位群衆に属する群衆の種類と、前記上位群衆の位置を示す各局所領域の配置パターンと、前記各局所領域の群衆の向きのパターンとに基づいて、前記上位群衆の種類を識別し、前記上位群衆の種類および位置を出力する
付記１１から付記１４のうちのいずれか１項に記載の群衆種類識別方法。

（付記１６）
群衆の種類と位置とを用いて群衆をクラスタリングすることによって上位群衆を求め、クラスタリングによって得られたクラスタ毎に上位群衆の種類を識別する
付記１５に記載の群衆種類識別方法。

（付記１７）
物体の滞留度の推定と人数を推定のいずれかまたは両方に、局所領域ベースの学習の結果を適用する
付記１３に記載の群衆種類識別方法。

（付記１８）
群衆の向きの推定に局所領域ベースの学習の結果を適用する
付記１１から付記１７のうちのいずれか１項に記載の群衆種類識別方法。

（付記１９）
画像中から、滞留した群衆を含む複数の部分領域を検出し、
第１の部分領域および第２の部分領域を分析し、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する
ことを特徴とする群衆種類識別方法。

（付記２０）
前記第１の部分領域および前記第２の部分領域それぞれの群衆の向きを推定し、
群衆の種類を識別するときに、
前記第１の部分領域に対する前記第２の部分領域の向きを算出し、
前記第１の部分領域の群衆の向きと、前記第２の部分領域の群衆の向きと、前記第１の部分領域に対する前記第２の部分領域の向きとに基づいて、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する
付記１９に記載の群衆種類識別方法。

（付記２１）
コンピュータに、
画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出する滞留群衆検出処理、
前記滞留群衆検出処理で検出された局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを前記局所領域に付加する群衆向き推定処理、および、 前記群衆向き推定処理で群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、前記２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力する群衆種類識別処理
を実行させるための群衆種類識別プログラム。

（付記２２）
前記コンピュータに、
前記群衆種類識別処理で、前記相対ベクトルの大きさが所定の大きさ以下である２つの局所領域を用いて、群衆の種類を識別させる
前記群衆種類識別プログラムを記憶する付記２１に記載の記憶媒体。

（付記２３）
前記コンピュータに、
前記滞留群衆検出処理で、局所領域に該当する部分の画像を対象にして、物体の滞留状態を示す物体の滞留度と、群衆の密度を示す局所領域内の人数を推定させ、前記物体の滞留度および前記人数に基づいて、滞留した群衆を示す局所領域を検出させる
前記群衆種類識別プログラムを記憶する付記２１または付記２２に記載の記憶媒体。

（付記２４）
前記コンピュータに、
前記群衆向き推定処理で、群衆の向きを推定した際、当該群衆の向きの信頼度が低い場合、当該群衆の向きを、当該群衆の向きに対応する局所領域に付加させない
前記群衆種類識別プログラムを記憶する付記２１から付記２３のうちのいずれか１項に記載の記憶媒体。

（付記２５）
前記コンピュータに、
前記群衆種類識別処理で出力された群衆の種類と位置とを用いて上位群衆を求め、前記上位群衆に属する群衆の種類と、前記上位群衆の位置を示す各局所領域の配置パターンと、前記各局所領域の群衆の向きのパターンとに基づいて、前記上位群衆の種類を識別し、前記上位群衆の種類および位置を出力する上位群衆種類識別処理を実行させる
前記群衆種類識別プログラムを記憶する付記２１から付記２４のうちのいずれか１項に記載の記憶媒体。

（付記２６）
前記コンピュータに、
前記上位群衆種類識別処理で、群衆の種類と位置とを用いて群衆をクラスタリングすることによって上位群衆を求めさせ、クラスタリングによって得られたクラスタ毎に上位群衆の種類を識別させる
前記群衆種類識別プログラムを記憶する付記２５に記載の記憶媒体。

（付記２７）
前記コンピュータに、
前記滞留群衆検出処理で、物体の滞留度の推定と人数を推定のいずれかまたは両方に、局所領域ベースの学習の結果を適用させる
前記群衆種類識別プログラムを記憶する付記２３に記載の記憶媒体。

（付記２８）
前記コンピュータに、
前記群衆向き推定処理で、群衆の向きの推定に局所領域ベースの学習の結果を適用させる
前記群衆種類識別プログラムを記憶する付記２１から付記２７のうちのいずれか１項に記載の記憶媒体。

（付記２９）
コンピュータに、
画像中から、滞留した群衆を含む複数の部分領域を検出する検出処理、および、
第１の部分領域および第２の部分領域を分析し、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する識別処理
を実行させるための群衆種類識別プログラムを記憶する記憶媒体。

（付記３０）
前記コンピュータに、
前記第１の部分領域および前記第２の部分領域それぞれの群衆の向きを推定する推定処理を実行させ、
前記識別処理で、
前記第１の部分領域に対する前記第２の部分領域の向きを算出する算出処理、および、 前記第１の部分領域の群衆の向きと、前記第２の部分領域の群衆の向きと、前記第１の部分領域に対する前記第２の部分領域の向きとに基づいて、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する分析処理を実行させる
前記群衆種類識別プログラムを記憶する付記２９に記載の記憶媒体。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１６年３月７日に出願された日本出願特願２０１６−０４３１５７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、画像内に写っている群衆の種類を識別する群衆種類識別システムに好適に適用される。また、本発明は、例えば、群衆の種類の識別を必要とする監視分野での不審者認識、不審物の置き去り認識、異常状態認識、異常行動認識等に利用することができる。
また、本発明は、例えば、マーケティング分野での行動解析、環境状態の分析等に利用することができる。また、本発明は、他の装置に対して群衆の種類および位置を送る入力インタフェースとしての用途に適用することもできる。また、本発明は、群衆の種類および位置をトリガキーとするビデオ／映像検索装置等に適用することもできる。

１ 画像取得装置
２ データ処理装置
３ 記憶装置
２１ 滞留群衆検出部
２２ 群衆向き推定部
２３ 群衆種類識別部
２４ 検出部
２７ 上位群衆種類識別部
３１ 局所領域群記憶部
７１ 検出部
７２ 識別部
１００ コンピュータ
１０１ 群衆種類識別プログラム
１０２ コンピュータ可読媒体
１１０ ＣＰＵ
１２０ メモリ
１３０ Ｉ／Ｏインタフェース
２１１ 滞留状態推定部
２１２ 人数推定部
２１３ 局所領域検出部
２２１ 向き推定部
２２２ データ付加部
２３１ 相対ベクトル算出部
２３２ 分析部

Claims (30)

1. 画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出する滞留群衆検出手段と、
   前記滞留群衆検出手段で検出された局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを前記局所領域に付加する群衆向き推定手段と、
   前記群衆向き推定手段で群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、前記２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力する群衆種類識別手段とを備える
   ことを特徴とする群衆種類識別システム。
2. 前記群衆種類識別手段は、前記相対ベクトルの大きさが所定の大きさ以下である２つの局所領域を用いて、群衆の種類を識別する
   請求項１に記載の群衆種類識別システム。
3. 前記滞留群衆検出手段は、局所領域に該当する部分の画像を対象にして、物体の滞留状態を示す物体の滞留度と、群衆の密度を示す局所領域内の人数を推定し、前記物体の滞留度および前記人数に基づいて、滞留した群衆を示す局所領域を検出する
   請求項１または請求項２に記載の群衆種類識別システム。
4. 前記群衆向き推定手段は、群衆の向きを推定した際、当該群衆の向きの信頼度が低い場合、当該群衆の向きを、当該群衆の向きに対応する局所領域に付加しない
   請求項１から請求項３のうちのいずれか１項に記載の群衆種類識別システム。
5. 前記群衆種類識別手段に出力された群衆の種類と位置とを用いて上位群衆を求め、前記上位群衆に属する群衆の種類と、前記上位群衆の位置を示す各局所領域の配置パターンと、前記各局所領域の群衆の向きのパターンとに基づいて、前記上位群衆の種類を識別し、前記上位群衆の種類および位置を出力する上位群衆種類識別手段を備える
   請求項１から請求項４のうちのいずれか１項に記載の群衆種類識別システム。
6. 前記上位群衆種類識別手段は、群衆の種類と位置とを用いて群衆をクラスタリングすることによって上位群衆を求め、クラスタリングによって得られたクラスタ毎に上位群衆の種類を識別する
   請求項５に記載の群衆種類識別システム。
7. 前記滞留群衆検出手段は、物体の滞留度の推定と人数を推定のいずれかまたは両方に、局所領域ベースの学習の結果を適用する
   請求項３に記載の群衆種類識別システム。
8. 前記群衆向き推定手段は、群衆の向きの推定に局所領域ベースの学習の結果を適用する 請求項１から請求項７のうちのいずれか１項に記載の群衆種類識別システム。
9. 画像中から、滞留した群衆を含む複数の部分領域を検出する検出手段と、
   第１の部分領域および第２の部分領域を分析し、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する識別手段とを備える
   ことを特徴とする群衆種類識別システム。
10. 前記第１の部分領域および前記第２の部分領域それぞれの群衆の向きを推定する推定手段を備え、
    前記識別手段は、
    前記第１の部分領域に対する前記第２の部分領域の向きを算出する算出手段と、
    前記第１の部分領域の群衆の向きと、前記第２の部分領域の群衆の向きと、前記第１の部分領域に対する前記第２の部分領域の向きとに基づいて、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する分析手段とを含む
    請求項９に記載の群衆種類識別システム。
11. 画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出し、
    検出した局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを前記局所領域に付加し、
    群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、前記２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力する
    ことを特徴とする群衆種類識別方法。
12. 前記相対ベクトルの大きさが所定の大きさ以下である２つの局所領域を用いて、群衆の種類を識別する
    請求項１１に記載の群衆種類識別方法。
13. 局所領域に該当する部分の画像を対象にして、物体の滞留状態を示す物体の滞留度と、群衆の密度を示す局所領域内の人数を推定し、前記物体の滞留度および前記人数に基づいて、滞留した群衆を示す局所領域を検出する
    請求項１１または請求項１２に記載の群衆種類識別方法。
14. 群衆の向きを推定した際、当該群衆の向きの信頼度が低い場合、当該群衆の向きを、当該群衆の向きに対応する局所領域に付加しない
    請求項１１から請求項１３のうちのいずれか１項に記載の群衆種類識別方法。
15. 群衆の種類と位置とを用いて上位群衆を求め、前記上位群衆に属する群衆の種類と、前記上位群衆の位置を示す各局所領域の配置パターンと、前記各局所領域の群衆の向きのパターンとに基づいて、前記上位群衆の種類を識別し、前記上位群衆の種類および位置を出力する
    請求項１１から請求項１４のうちのいずれか１項に記載の群衆種類識別方法。
16. 群衆の種類と位置とを用いて群衆をクラスタリングすることによって上位群衆を求め、クラスタリングによって得られたクラスタ毎に上位群衆の種類を識別する
    請求項１５に記載の群衆種類識別方法。
17. 物体の滞留度の推定と人数を推定のいずれかまたは両方に、局所領域ベースの学習の結果を適用する
    請求項１３に記載の群衆種類識別方法。
18. 群衆の向きの推定に局所領域ベースの学習の結果を適用する
    請求項１１から請求項１７のうちのいずれか１項に記載の群衆種類識別方法。
19. 画像中から、滞留した群衆を含む複数の部分領域を検出し、
    第１の部分領域および第２の部分領域を分析し、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する
    ことを特徴とする群衆種類識別方法。
20. 前記第１の部分領域および前記第２の部分領域それぞれの群衆の向きを推定し、
    群衆の種類を識別するときに、
    前記第１の部分領域に対する前記第２の部分領域の向きを算出し、
    前記第１の部分領域の群衆の向きと、前記第２の部分領域の群衆の向きと、前記第１の部分領域に対する前記第２の部分領域の向きとに基づいて、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する
    請求項１９に記載の群衆種類識別方法。
21. コンピュータに、
    画像取得装置で取得された画像内に定められた各局所領域の中から、滞留した群衆を示す局所領域を検出する滞留群衆検出処理、
    前記滞留群衆検出処理で検出された局所領域に該当する部分の画像を対象にして、群衆の向きを推定し、当該群衆の向きを前記局所領域に付加する群衆向き推定処理、および、 前記群衆向き推定処理で群衆の向きが付加された局所領域について、２つの局所領域の相対的な位置関係を示す相対ベクトルと、前記２つの局所領域の群衆の向きを用いて、滞留した複数の人物で構成される群衆の種類を識別し、当該群衆の種類および位置を出力する群衆種類識別処理
    を実行させるための群衆種類識別プログラムを記憶する記憶媒体。
22. 前記コンピュータに、
    前記群衆種類識別処理で、前記相対ベクトルの大きさが所定の大きさ以下である２つの局所領域を用いて、群衆の種類を識別させる
    前記群衆種類識別プログラムを記憶する請求項２１に記載の記憶媒体。
23. 前記コンピュータに、
    前記滞留群衆検出処理で、局所領域に該当する部分の画像を対象にして、物体の滞留状態を示す物体の滞留度と、群衆の密度を示す局所領域内の人数を推定させ、前記物体の滞留度および前記人数に基づいて、滞留した群衆を示す局所領域を検出させる
    前記群衆種類識別プログラムを記憶する請求項２１または請求項２２に記載の記憶媒体。
24. 前記コンピュータに、
    前記群衆向き推定処理で、群衆の向きを推定した際、当該群衆の向きの信頼度が低い場合、当該群衆の向きを、当該群衆の向きに対応する局所領域に付加させない
    前記群衆種類識別プログラムを記憶する請求項２１から請求項２３のうちのいずれか１項に記載の記憶媒体。
25. 前記コンピュータに、
    前記群衆種類識別処理で出力された群衆の種類と位置とを用いて上位群衆を求め、前記上位群衆に属する群衆の種類と、前記上位群衆の位置を示す各局所領域の配置パターンと、前記各局所領域の群衆の向きのパターンとに基づいて、前記上位群衆の種類を識別し、前記上位群衆の種類および位置を出力する上位群衆種類識別処理を実行させる
    前記群衆種類識別プログラムを記憶する請求項２１から請求項２４のうちのいずれか１項に記載の記憶媒体。
26. 前記コンピュータに、
    前記上位群衆種類識別処理で、群衆の種類と位置とを用いて群衆をクラスタリングすることによって上位群衆を求めさせ、クラスタリングによって得られたクラスタ毎に上位群衆の種類を識別させる
    前記群衆種類識別プログラムを記憶する請求項２５に記載の記憶媒体。
27. 前記コンピュータに、
    前記滞留群衆検出処理で、物体の滞留度の推定と人数を推定のいずれかまたは両方に、局所領域ベースの学習の結果を適用させる
    前記群衆種類識別プログラムを記憶する請求項２３に記載の記憶媒体。
28. 前記コンピュータに、
    前記群衆向き推定処理で、群衆の向きの推定に局所領域ベースの学習の結果を適用させる
    前記群衆種類識別プログラムを記憶する請求項２１から請求項２７のうちのいずれか１項に記載の記憶媒体。
29. コンピュータに、
    画像中から、滞留した群衆を含む複数の部分領域を検出する検出処理、および、
    第１の部分領域および第２の部分領域を分析し、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する識別処理
    を実行させるための群衆種類識別プログラムを記憶する記憶媒体。
30. 前記コンピュータに、
    前記第１の部分領域および前記第２の部分領域それぞれの群衆の向きを推定する推定処理を実行させ、
    前記識別処理で、
    前記第１の部分領域に対する前記第２の部分領域の向きを算出する算出処理、および、 前記第１の部分領域の群衆の向きと、前記第２の部分領域の群衆の向きと、前記第１の部分領域に対する前記第２の部分領域の向きとに基づいて、前記第１の部分領域および前記第２の部分領域の群衆の種類を識別する分析処理を実行させる
    前記群衆種類識別プログラムを記憶する請求項２９に記載の記憶媒体。

Images