JP4506381B2

JP4506381B2 - 単独行動者及びグループ行動者検知装置

Info

Publication number: JP4506381B2
Application number: JP2004278855A
Authority: JP
Inventors: 俊介市原; 誠増田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2004-09-27
Filing date: 2004-09-27
Publication date: 2010-07-21
Anticipated expiration: 2024-09-27
Also published as: JP2006092396A

Description

本発明は、単独行動者及びグループ行動者検知装置に関するものである。

従来、ショッピングセンタ、デパート、ショッピングモール等の大型商業施設、鉄道の駅、地下街等の公共施設等のように不特定多数の人物が集まる場所において、それぞれの人物が単独で行動しているのか、又は、複数人のグループで行動をしているのか、さらに、該グループはどのような形態のものであるか等の情報が、マーケティングの観点や保安上の観点から求められている。

例えば、マーケティングの観点からは、小売店、飲食店等が人手によって通行人を調査し、見た目から分かる通行人の年齢、性別等から、どのような形態のグループがいるのかという情報を取得することがある。

また、保安上の観点からは、特に、親と離れ離れになっている迷子の発見に対する要求が強く、人手によって迷子を発見する方法、ＩＤタグ、携帯情報端末等の無線通信によって迷子を発見する方法等、いくつかの方法が提案されている。例えば、無線通信によって迷子を発見する方法としては、親子の距離が離れると警告を発して迷子防止を図る方法（例えば、特許文献１参照。）、迷子になった後にＩＤカードで迷子を認識する方法（例えば、特許文献２参照。）、発信機で迷子を追尾する方法（例えば、特許文献３参照。）等が提案されている。

しかし、迷子発見の大半は人手によるものであり、この場合、施設の場内に迷子案内所のようなものを用意して、迷子又は親のいずれか一方が迷子案内所に来ると、場内放送等を用いて他方を捜すというのが一般的である。

ここで、迷子になった子供が迷子案内所に来て親を捜す場合は、子供が自らそこへ出向くパターンと、一人になって心細くなって泣いている子供を施設の従業員や通行人が発見して迷子案内所に連れていくパターンとの２つのパターンがある。

また、親が迷子案内所に来て迷子を捜す場合は、放送を用いて迷子を直接呼び出すパターンと、子供の服装、身長等の外観についての情報を通知して、施設の従業員や通行人の助力を得て見つけ出すパターンの２つのパターンがある。例えば、米国の多くの商業施設では、コード・アダム（ＣｏｄｅＡｄａｍ）という、施設の従業員を総動員して迷子を捜すシステムが導入されている。この場合、補助手段として、子供にあらかじめ本人及び親の氏名や連絡先を記した迷子札を装着させ、いざ迷子になって捜される場合にキーとして利用することもある。
特開平１１−２４２７９０号公報特開平９−６１５１９号公報特開２０００−２９３７８５号公報

しかしながら、前記従来のシステムにおいては、種々の問題があった。例えば、一般に人々が単独行動者であるかグループ行動者であるかを人手によって調べる場合、時間と人手とコストがかかる上に、その判定にある程度長い観察時間が必要になる。また、観察を長時間に亘（わた）って続けている間に、観察者の判定基準が変化してしまい、データが不正確になりやすい。さらに、１人の観察者が同時に多数の人々を１度に判定することは、極めて困難である。

また、迷子を施設の従業員や通行人が発見して迷子案内所で親を放送で呼び出す場合、子供が１人で歩いていて、泣いたり、親を呼ぶ声を繰り返し発したりする等、見た目にも迷子と分かる行動をしていること、及び、その姿を施設の従業員や通行人に発見されることが必要である。ところが、迷子を発見したときに、本当に迷子であるかどうかを判断するためには、ある程度その子供をまとまった時間注視する必要がある。そのため、従業員や通行人が多忙であったり、人込みが激しかったりすると、子供をまとまった時間注視することができず、迷子であるかどうかを判断することが困難となりやすい。

また、迷子になった子供が必ずしも泣くとは限らず、泣かないとその子供が迷子であるか否かの判断が尚更難しくなる。そのため、その子供が迷子であると判断して行動を起こすまでに時間がかかり、その分、迷子になった子供及びその親に長時間心細い思いをさせ、また、その子供が犯罪に狙（ねら）われやすくなってしまう。

さらに、迷子になった子供が自ら迷子案内所に名乗り出て親を放送で呼び出す場合、その子供にある程度の判断力や行動力が必要になる。しかし、迷子は未就業児であることが多く、未就業児は自ら名乗り出るにはあまりに幼い。そのため、迷子が自ら名乗り出ることは稀にしかない。

逆に、親が迷子案内所に出向く場合、施設の従業員や通行人の助力で迷子を捜すことは難しい。すなわち、迷子を的確に捉えるのが難しく、時間と人手がかかるので、施設の従業員が本来の業務に専念することができなくなってしまう。また、放送で迷子に直接呼びかけても、子供が幼い、冷静さを失っている、施設内がうるさい等の原因によって、効果がないことがある。

そして、迷子又はその親を呼び出すための放送は、施設内がうるさい場合には聞き取られにくく、その放送音声が場の雰囲気を壊してしまったり、個人の名前を大衆の前で呼び上げることによって個人のプライバシーが侵されたりしてしまう。また、迷子札もその記載情報から装着している子供及び親の個人情報が漏れてしまう。

さらに、無線通信による場合、あらかじめ集まっている人々が必要な機器をすべて装備している必要があるので、集まる人数に応じてコストがかかり、また、持ち運びの煩雑さや紛失の恐れ、データベース容量の制限によるＩＤの枯渇等の問題がある。

本発明は、前記従来の問題点を解決して、各地点の動画像を取得し、該動画像から取得した人物の挙動の情報に基づいて人物をグループ分けすることによって、人物が単独行動をしているかグループ行動をしているかを的確に検知することができ、人物の性別、年齢等の情報からそのグループ形態がどのようなものであるかを検知することができ、さらに、体格、泣き声等の情報から迷子を的確に、かつ、迅速に検知することができる単独行動者及びグループ行動者検知装置を提供することを目的とする。

そのために、本発明の単独行動者及びグループ行動者検知装置においては、不特定多数の人物が集まる場所において、各地点の動画像を取得する動画像取得手段と、取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する人物検出手段と、検出された前記人物の相互の位置関係から、相対距離が第１の閾（しきい）値を下回る状態が、第２の閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う人物グループ判定手段とを有し、該人物グループ判定手段は、所定の時刻における検出された人物の相対距離を集計し、該相対距離の出現分布を確率密度関数に当て嵌め、所定の出現確率に対応する相対距離の値を閾値として算出する人物グループ空間統計手段を備え、該人物グループ空間統計手段が算出した閾値を前記第１の閾値として前記グループ判定を行う。

本発明の他の単独行動者及びグループ行動者検知装置においては、さらに、グループ形態を判定する人物グループ形態判定手段を更に有し、該人物グループ形態判定手段は、前記人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段を備え、前記グループ判定の結果による人数と、前記人物の特徴情報との組合せに応じて、迷子、カップル、親子連れ、団体、又は、同伴者なし要同伴者を判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が人物グループ判定手段によって単独行動者と判定され、かつ、前記人物特徴抽出手段によって、体格及び年齢から子供と判定された場合に、前記人物のグループ形態を迷子であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が２人のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記人物がいずれも成人の年齢であり、年齢が近く、一方が男性で他方が女性と判定された場合に、前記グループのグループ形態をカップルであると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が複数人のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記グループに成人の年齢の人物と子供とがそれぞれ１人以上存在すると判定された場合に、前記グループのグループ形態を親子連れであると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が閾値以上の人数のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記グループにおける閾値以上の人数の人物の服装が同一であると判定された場合に、前記グループのグループ形態を団体であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物から同伴者を必要とする特徴が前記人物特徴抽出手段によって判定され、かつ、同一グループに前記特徴を備えておらず、同伴者と判定される人物が十分な人数存在しない場合に、検出された前記人物を同伴者なし要同伴者と判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記同伴者を必要とする特徴は、年齢が閾値を下回るか、又は、障害が存在するかのいずれかである。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段が判定したグループ形態をオペレータに通知する人物グループ通知手段を更に有し、該人物グループ通知手段は、検出された前記人物の位置、グループ判定情報又は特徴情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段を備え、前記指定された条件に該当する人物の情報を絞り込んで出力する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、前記グループ判定の結果による人数と、前記人物の表情、顔色及び顔向きとの組合せに応じて、迷子、近接異常行動、又は、同伴者なし要同伴者を判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が単独行動をする子供と判定され、かつ、前記顔表情認識手段によって表情が「泣く」であると認識された場合、又は、顔向きの変化の頻度が閾値より高く、かつ、前記変化の振幅が閾値より大きいと認識された場合に、前記人物を迷子であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物を前記人物グループ判定手段がグループ行動者であると判定し、かつ、各人物の表情を顔表情認識手段が「怒る」と認識した場合に、前記人物のグループのグループ形態を近接異常行動であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、該顔表情認識手段が検出された前記人物の顔色を「赤」又は「蒼白」であると認識した場合に、前記人物を同伴者なし要同伴者と判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記各地点の音を取得する音響取得手段と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段とを備え、前記グループ判定の結果による人数と、前記音響的特徴との組合せに応じて、迷子又は犯罪行為を判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記音響取得手段は指向性を持たせて音を取得し、検出された前記人物が前記音響取得手段によって取得された音のレベルの強い方向に存在する場合に、前記人物グループ形態判定手段は、前記人物が取得された音を発したと判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物音響特徴抽出手段は、検出された前記人物の発話の認識を行う。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物音響特徴抽出手段によって、前記人物から子供の泣き声、同伴者を呼ぶ発話等の迷子の音響的特徴が抽出され、かつ、前記人物が単独行動する子供であると判定された場合に、前記人物を迷子であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、同一グループに属する人物群について、前記人物音響特徴抽出手段によって怒鳴り声、殴打音、悲鳴等の犯罪行為の音響的特徴が抽出された場合に、前記人物群のグループ形態を犯罪行為と判定する。

本発明によれば、単独行動者及びグループ行動者検知装置は、各地点の動画像を取得し、該動画像から取得した人物の挙動の情報に基づいて人物をグループ分けするようになっている。これにより、人物が単独行動をしているかグループ行動をしているかを的確に検知することができ、人物の性別、年齢等の情報からそのグループ形態がどのようなものであるかを検知することができ、さらに、体格、泣き声等の情報から迷子を的確に、かつ、迅速に検知することができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

図１は本発明の第１の実施の形態における検知装置の構成を示す図である。

図において、１０は本実施の形態における単独行動者及びグループ行動者検知装置としての検知装置であり、ＣＰＵ、ＭＰＵ等の演算手段、半導体メモリ、磁気ディスク等の記憶手段、入出力インターフェイス等を備え、プログラムに従って動作を行う一種のコンピュータ又はコンピュータシステムであり、動画像取得手段１１、人物検出手段１２、人物グループ判定手段１３、人物グループ形態判定手段１４及び人物グループ通知手段１５を有する。

そして、前記動画像取得手段１１は、不特定多数の人物が集まる場所において、人物を検出したい地点の画像を撮影するカメラ装置、及び、前記人物検出手段１２に撮影した動画像をリアルタイムに出力するインターフェイスを備える。なお、前記不特定多数の人物が集まる場所は、例えば、コンビニエンスストア、スーパーマーケット、デパート、ホームセンタ、ショッピングセンタ等の商業施設、食堂、レストラン等の飲食施設、銀行、郵便局、信用金庫等の金融機関、鉄道の駅、鉄道車両、地下道、バス、飛行場等の交通機関、劇場、テーマパーク、遊園地等の娯楽施設、ホテル、旅館等の宿泊施設、学校、官庁等の公共施設、個人住宅、集合住宅等の住宅施設、一般の建造物における玄関ホール、エレベータ等の建物内部、工事現場、工場等の作業施設、博物館、美術館、展示会場等の展示施設等であるが、いかなる場所であってもよい。さらに、前記カメラ装置は、一般に、工業用の監視カメラを使用するが、監視画像として動画像を撮影する機能を有するものであれば、放送局用のカメラであっても、家庭用のビデオカメラであってもよく、所定の範囲を撮影して動画像を取得することができるものであれば、いかなる形態のものであってもよい。

また、前記人物検出手段１２は、前記動画像取得手段１１から動画像を入力するインターフェイス、前記動画像から通行する人物及びその位置を時刻毎に検出する画像処理装置又はソフトウェア、並びに、人物グループ判定手段１３に前記人物の位置を示す人物位置情報を出力するインターフェイスを備える。そして、取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する。

さらに、前記人物グループ判定手段１３は、前記人物検出手段１２から人物位置情報を入力するインターフェイス、前記人物位置情報からどの人物とどの人物が同一のグループに属して行動しているかを判定する演算装置又はソフトウェア、及び、人物グループ通知手段１５に、前記人物のグループに関する情報としての人物グループ情報を出力するインターフェイスを備える。そして、検出された前記人物の相互の位置関係から、相対距離が閾値を下回る状態が、閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う。

また、前記人物グループ形態判定手段１４は、前記人物グループ判定手段１３から人物位置情報及び人物グループ情報を受け取るインターフェイス、各グループの形態を判定する演算装置又はソフトウェア、並びに、人物グループ通知手段１５に前記グループの形態に関する情報としての人物グループ形態情報を出力するインターフェイスを備える。そして、前記グループ判定の結果から、人数に着目して単独行動者又はグループ行動者とグループ形態とを判定する。

さらに、前記人物グループ通知手段１５は、前記人物グループ形態判定手段１４から人物グループ形態情報を入力するインターフェイス、前記グループの情報を統計処理する演算装置又はソフトウェア、及び、オペレータに前記グループの情報としての人物グループ情報を通知するためのディスプレイ装置を備える。そして、前記グループ形態をオペレータに通知する。

次に、前記構成の検知装置１０の動作について説明する。

図２は本発明の第１の実施の形態における人物検出手段によって検出された人物の例を示す図、図３は本発明の第１の実施の形態における人物の相対距離を示す第１の図、図４は本発明の第１の実施の形態における人物の相対距離を示す第２の図、図５は本発明の第１の実施の形態における人物の相対距離を示す第３の図、図６は本発明の第１の実施の形態における人物の相対速度を示す第１の図、図７は本発明の第１の実施の形態における人物の相対速度を示す第２の図、図８は本発明の第１の実施の形態における人物の相対速度を示す第３の図、図９は本発明の第１の実施の形態における人物グループ通知手段の通知表示の例を示す図である。なお、図３〜５において、横軸に時間を、縦軸に距離を採ってあり、また、図６〜８において、横軸に時間を、縦軸に速度を採ってある。

まず、動画像取得手段１１によって撮影された各地点の画像に基づいて、人物検出手段１２によってリアルタイムに人物が検出され、人物検出手段１２が出力する人物位置検出情報に基づいて人物グループ判定手段１３によって人物のグループが判定され、人物グループ通知手段１５によってオペレータに人物グループ情報が通知される。

なお、前記人物検出手段１２は、オプティカルフロー算出による方法を用いて、各人物を検出して実空間座標系の位置を時刻毎に求める（例えば、特許文献４参照。）。ここで、複数カメラを用いたり（例えば、特許文献５参照。）、検出対象の位置を基準に取得動画像を拡大又は縮小して精度を向上させたり、広範囲で検出を行ったりしてもよい（例えば、特許文献６参照。）。

また、画像座標から実空間座標系に変換するためには、キャリブレーション等によって、各カメラ装置が撮影した画像における各画素の画像座標値と床面上の世界座標値との対応を事前に把握しておく必要がある。この手法としては、例えば、床面上に参照点を４点設定し、世界座標値と画像座標値との変換行列を算出する方法がある（例えば、非特許文献１参照。）。

〔特許文献４〕特開平１０−９１７９３号公報
〔特許文献５〕特開平１０−４８００８号公報
〔特許文献６〕特開２００１−２６６１３１号公報
〔非特許文献１〕「Ｃｕｅ−ｂａｓｅｄｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｗｉｔｈｉｔｓｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｔｏｄｉｇｉｔａｌｉｍａｇｅｐｒｏｄｕｃｔｉｏｎ」ＹｕｊｉＮａｋａｚａｗａ他、信学技報ＩＥ９６−６３
そして、前記人物グループ判定手段１３は、人物検出手段１２によって検出された人物の時刻毎の位置から、人物のすべての組み合わせについて、相互の相対距離や相対速度を計算し、それぞれの組み合わせの人物が同一グループに属しているか否かを判定する。例えば、相対距離がある閾値を下回っている状態がある一定時間以上継続するか否か、又は、ある時間区間で相対距離及び相対速度がともに、所定の閾値より小さな値を維持しているか否かをその判定基準とする。

ここでは、人物検出手段１２によって人物が４人検出された場合について説明する。

この場合、図２に示されるように、人物ａに対して人物ｂは近くで同一方向に移動し、人物ｃは近くで逆方向に移動し、また、人物ｄは遠くで同一方向に移動するものとする。なお、図２における矢印は各人物の移動の様子を示している。このとき、人物ａと人物ｂとの相対距離は図３に示されるようになり、人物ａと人物ｃとの相対距離は図４に示されるようになり、人物ａと人物ｄとの相対距離は図５に示されるようになる。また、人物ａと人物ｂとの相対速度は図６に示されるようになり、人物ａと人物ｃとの相対速度は図７に示されるようになり、人物ａと人物ｄとの相対速度は図８に示されるようになる。

ここで、相対距離及び相対速度にそれぞれ所定の閾値を設定する。なお、図２〜８において、設定された閾値は点線で示されている。この場合、人物ａに対して相対距離が閾値を下回る状態が長時間持続するのは人物ｂだけである。また、相対距離及び相対速度がともに閾値を下回るか否かを判定した場合も同一の結果となる。したがって、人物グループ判定手段１３によって、人物ａと人物ｂとは同一グループに属し、人物ａと人物ｃ及び人物ａと人物ｄとは異なるグループに属すると判定される。

そして、前記人物グループ形態判定手段１４は、人物グループ判定手段１３が出力する人物グループ情報に基づいて、グループの形態を、単独行動者、大人数のグループ等と判定する。

続いて、前記人物グループ通知手段１５は、人物グループ形態判定手段１４が出力した人物グループ形態情報や動線情報を、必要である場合は動画像や場内見取り図等と重ね合わせて、例えば、図９に示されるように、ディスプレイ装置に表示して、オペレータに対して出力する。その出力内容は用途に応じて、２人組の人物、単独行動をする人物、多人数の集団等様々に変わる。また、図９に示されるように出力する代わりに、長時間に亘って取得したグループ形態判定結果を集計してグループ人数別等に統計処理してもよい。

このように、本実施の形態において、検知装置１０は、各地点における動画像を取得して人物を検出し、検出されたすべての人物の組み合わせに対して相対距離及び相対速度を調べ、該相対距離及び相対速度の値がともにあらかじめ設定された所定の閾値を下回るか否かに基づいて、人物が同一グループに属するか否かを判定するようになっている。すなわち、人物グループ判定手段１３は、相対距離及び相対速度が閾値を下回る状態が、閾値より長い時間続く人物の組を同一グループと判定する。そのため、人手によらなくても人物が単独行動をしているか又はグループ行動をしているかを知ることができ、また、どのようなグループができているかを知ることができるので、人物のグループ形態を把握する作業の省力化及び効率化を図ることができる。

これにより、人物のグループ形態を把握する機会が大幅に増大し、例えば、喫茶店のマーケティング（例えば、路上に２人連れが多ければ２人席を多く用意する。）、動物園のサルの関係把握（例えば、誰（だれ）と誰とが仲良しで誰が仲間外れであるか。）等に広く応用することができる。

次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図１０は本発明の第２の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置１０は、前記第１の実施の形態において説明した構成に加えて、人物グループ空間統計手段１６を有する。該人物グループ空間統計手段１６は、人物検出手段１２から人物位置情報を入力するインターフェイス、前記人物位置情報に基づいて空間的に統計処理を行い、グループ判定に適切な閾値を算出する演算装置又はソフトウェア、及び、人物グループ判定手段１３にグループ判定の閾値を出力するインターフェイスを備える。

次に、本実施の形態における検知装置１０の動作について説明する。

図１１は本発明の第２の実施の形態における人物の相対距離の出現数の分布を示す図、図１２は本発明の第２の実施の形態における人物の相対距離の確率密度関数を示す図である。なお、図１１において、横軸に距離を、縦軸に度数を採ってあり、図１２において、横軸に距離を、縦軸に確率密度を採ってある。

本実施の形態においては、人物の検出情報から空間的に統計処理を行い、グループ判定に適切な閾値やその他の判定基準を人物グループ判定手段１３に出力するようになっている。この場合、前記人物グループ空間統計手段１６は、人物検出手段１２によって取得された人物位置情報を空間的に集計し、人物間の距離や相対速度に対して統計処理を行い、閾値やその他の判定基準を算出して人物グループ判定手段１３に出力する。

例えば、ある時刻における人物間の距離をすべて図１１に示されるように集計し、その分布をある確率密度関数に当て嵌（は）める。そして、確率密度に基づいて、図１２に示されるように、その場の状況に適応した閾値が定められる。これにより、例えば、２人の人物間の距離が、図１１及び１２に示される実線矢印（下向きの矢印）で表される値であった場合、該値が算出された閾値よりも小さいので、前記２人は同一グループであると判定される。

このように、本実施の形態においては、人物間の距離や相対速度に対して統計処理を行い、該統計処理の結果に基づいて閾値やその他判定基準を算出してグループ判定に用いている。すなわち、人物グループ判定手段１３は、検出された人物の相互位置関係のすべての値について統計処理を行い、人物のグループ分けで用いられる閾値を算出する人物グループ空間統計手段１６を備え、評価対象の混雑度に適応した閾値でグループ判定を行う。そのため、各地点の混雑度に合わせた適切な基準によってグループ判定を行うことができるようになり、グループ判定精度の向上を図ることができる。

例えば、混雑している地点においては多くの人物が接近しているので、前記第１の実施の形態においては、近くにいる別グループの人物を同一グループであると誤判定しやすいが、本実施の形態においては、距離の閾値が下がるので、この誤判定が少なくなる。また、例えば、すいている地点においては同一グループであっても互いの距離が離れやすいので、前記第１の実施の形態においては、別グループであると誤判定しやすいが、本実施の形態においては、距離の閾値が上がるので、この誤判定が少なくなる。

次に、本発明の第３の実施の形態について説明する。なお、第１及び第２の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１及び第２の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図１３は本発明の第３の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置１０は、前記第１の実施の形態において説明した構成に加えて、人物特徴抽出手段１７を有する。該人物特徴抽出手段１７は、動画像取得手段１１から動画像を取得するインターフェイス、人物グループ判定手段１３から人物位置情報として、特徴抽出すべき人物の画像上での存在位置を取得するインターフェイス、取得した動画像及び人物位置情報を基に検出された各人物の個人的な属性情報を抽出する演算装置又はソフトウェア、並びに、人物グループ形態判定手段１４に抽出した人物の個人的な属性情報を出力するインターフェイスを備える。

図１４は本発明の第３の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、検出された各人物の顔画像、体格等の個人的な属性情報を人物特徴抽出手段１７によって抽出し、人物グループ判定手段１３において判定処理や出力の付加情報として利用するようになっている。

この場合、前記人物特徴抽出手段１７は、人物グループ判定手段１３から取得した人物位置情報に基づいて、動画像取得手段１１から取得した動画像から各人物の領域を切り出し、各人物の個人的な属性を抽出し、人物グループ形態判定手段１４に出力する。ここで、必要に応じて、人物位置情報に基づき、取得する画像の拡大や縮小を行ってもよい。また、先に人物特徴抽出手段１７において顔画像、特定の服装等から人物であることが分かる画像領域を検出してから、その情報を基に人物検出手段１２で絞り込んで人物検出を行ってもよい。

ここで、抽出される人物の個人的な属性には、顔画像、体格、年齢、性別、服装等、画像から抽出することができる様々なものがある。例えば、顔領域や服装を抽出する方法（例えば、特許文献７及び８参照。）、体格を抽出する方法（例えば、特許文献９参照。）、年齢や性別を抽出する方法（例えば、特許文献１０及び１１参照。）が公知である。また、車椅子（いす）や高齢者、視覚障害者等移動弱者を検出する方法（例えば、特許文献１２及び１３参照。）も公知である。

〔特許文献７〕特開２００１−２１６５１５号公報
〔特許文献８〕特開平１１−２８３００１号公報
〔特許文献９〕特開平１０−１０５７４８号公報
〔特許文献１０〕特開２００１−１６７１１０号公報
〔特許文献１１〕特開平１１−１７５７２４号公報
〔特許文献１２〕特開２００１−１０１５７６号公報
〔特許文献１３〕特開２００２−２６０１６１号公報
そして、前記人物グループ形態判定手段１４は、人物グループ判定手段１３から送られた人物グループ情報、及び、人物特徴抽出手段１７から送られた人物属性情報から、例えば、次の（１）〜（５）のような事象を判定する。
（１）ＩＦグループ＝１人ＡＮＤ人物特徴＝子供ＴＨＥＮ事象＝迷子
（２）ＩＦグループ＝２人ＡＮＤ人物１＝成人男性ＡＮＤ人物２＝成人女性ＡＮＤ年齢差＜ＴＨＡＧＥＤＩＦＴＨＥＮ事象＝カップル
（３）ＩＦ２人＜グループ＜ＴＨＮＵＭＡＮＤ成人数＞１ＡＮＤ子供数＞１ＴＨＥＮ事象＝親子連れ
（４）ＩＦグループ＞ＴＨＮＵＭ１ＡＮＤ同じ服装の人数＞ＴＨＮＵＭ２ＴＨＥＮ事象＝団体
（５）ＩＦグループ．要同伴者＞ＴＨＮＵＭ３ＡＮＤグループ．同伴者＜ＴＨＮＵＭ４ＴＨＥＮ事象＝同伴者なし要同伴者
なお、ＴＨ＊＊＊は、オペレータが任意に設定した閾値であり、要同伴者とは、障害者や年少者等同伴者を必要とする人物のことを指し、子供、成人及び要同伴年少者の基準は、オペレータが任意に設定してよい。

そして、人物グループ通知手段１５は、人物特徴抽出手段１７から取得した人物の個人的属性手段を前記第１の実施の形態における表示に追加して、例えば、図１４に示されるように、ディスプレイ装置に表示する。なお、人物グループ判定結果を集計する場合には、その集計のキーとして属性人物を利用する。

このように、本実施の形態においては、検出した人物について属性情報を抽出して、人物グループ判定人物に付加してオペレータに提供したり、統計処理のキーとして利用したりすることができる。すなわち、人物グループ形態判定手段１４は、検出された人物の位置に基づいて、人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段１７を備え、人物の特徴情報及びグループ判定情報を組み合わせてグループ形態を判定する。そのため、オペレータが人物のグループと個人的属性との関係を把握することができるようになり、より詳しい人物のグループ形態の分析を行うことができる。また、顔画像を抽出した場合は、そのグループに加わっている人物が誰であるかをオペレータが知ることができる。

さらに、人物グループ形態判定手段１４は、検出された人物が人物グループ判定手段１３によって単独行動者と判定され、かつ、人物特徴抽出手段１７によって、体格及び年齢から子供と判定された場合に、人物のグループ形態を迷子であると判定する。さらに、人物グループ形態判定手段１４は、検出された人物が２人のグループで行動していると判定され、かつ、人物特徴抽出手段１７によって、人物がいずれも成人の年齢であり、年齢が近く、一方が男性で他方が女性と判定された場合に、グループのグループ形態をカップルであると判定する。さらに、人物グループ形態判定手段１４は、検出された人物が複数人のグループで行動していると判定され、かつ、人物特徴抽出手段１７によって、グループに成人の年齢の人物と子供とがそれぞれ１人以上存在すると判定された場合に、グループのグループ形態を親子連れであると判定する。さらに、人物グループ形態判定手段１４は、検出された人物が閾値以上の人数のグループで行動していると判定され、かつ、人物特徴抽出手段１７によって、グループにおける閾値以上の人数の人物の服装が同一であると判定された場合に、グループのグループ形態を団体であると判定する。さらに、人物グループ形態判定手段１４は、検出された人物から同伴者を必要とする特徴が人物特徴抽出手段１７によって判定され、かつ、同一グループに前記特徴を備えておらず、同伴者と判定される人物が十分な人数存在しない場合に、検出された人物を同伴者なし要同伴者と判定する。なお、該同伴者を必要とする特徴は、年齢が閾値を下回るか、又は、障害が存在するかのいずれかである。

例えば、図１４は、すべての人物について性別、身長、推定年齢及び服装の特徴を抽出して、単独行動者については顔画像も抽出した場合の通知表示である。これによると、左の２人組は「カップル」であると推定することができるので、喫茶店が２人席を用意する等の対応を行うことができる。また、右の単独行動者は５歳であることから「迷子」であると推定することができるので、施設の従業員が抽出された特徴人物を手掛かりにその子供を保護しに出て、同時に、迷子案内所の係員は、自分の子供を捜している親に顔画像を見せて確認を取る、というような対応を行うことができる。

他にも、「親子連れ」、「団体」等の情報は、小売店や交通機関等にとっては、客に対応する上で有用である。また、「同伴者なし要同伴者」という情報は、年少者に同伴が必要なゲームセンタが年少者に身分証明書の提示を求めたり、鉄道会社が同伴者のいない障害者を重点的に介助したりするなど施設運営の健全性やサービスを向上させるのに役立てることができる。

また、人物検出手段１２における人物検出よりも先に、人物特徴抽出手段１７において顔画像や特定の服装等を検出することによって、人物検出において画像領域の絞り込みが行われるので、前記第１の実施の形態と比較して、人物検出の速度や精度が向上することがある。

次に、本発明の第４の実施の形態について説明する。なお、第１〜第３の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１〜第３の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図１５は本発明の第４の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置１０は、前記第３の実施の形態において説明した構成に加えて、人物検索手段１８を有する。該人物検索手段１８は、人物グループ通知手段１５に送られてくる人物情報について絞り込み検索を行う機能を備え、オペレータが検索条件を入力するインターフェイス、人物グループ判定手段１３にグループ形態の情報を送信するインターフェイス、人物グループ通知手段１５に抽出結果を出力するインターフェイス、及び、抽出結果から検索条件に合致するものを絞り込み検索する演算装置又はソフトウェアを備える。

図１６は本発明の第４の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、人物検索手段１８によって人物グループ通知手段１５の出力を絞り込むようになっている。

この場合、前記人物検索手段１８は、オペレータからその場所にいる人物を検索するための検索条件入力を受け取る。次に、人物グループ判定手段１３に検索条件のうちグループ形態についての情報を送信し、その条件に合致する人物だけ人物グループ判定手段１３から人物特徴抽出手段１７に送られるようにする。そして、該人物特徴抽出手段１７から出力される情報を受け取り、該情報の中から検索条件に合致するものだけを絞り込み、抽出して人物グループ通知手段１５に送る。該人物グループ通知手段１５は、抽出結果を検索条件とともに、例えば、図１６に示されるように表示する。

前記検索条件として、どのようなグループ形態で行動しているかを指定することができ、この点において、前記第３の実施の形態において説明した体格や性別、年齢、服装等といった個人的な属性情報だけをキーとして検索する方法とは異なる。

このように、本実施の形態においては、人物のグループ行動形態、及び、人物の体格、性別、年齢、服装等の個人的な属性情報に基づいて、抽出された人物をオペレータが任意に指定した検索条件で絞り込んで各人物の位置等の情報を取得するようになっている。すなわち、人物グループ通知手段１５は、検出された人物の位置、グループ判定情報又は個人的属性情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段１８を備え、指定された条件に該当する人物の情報を絞り込んで出力する。そのため、オペレータは、自分にとって関心のあるグループ行動形態、及び、個人的属性の人物の情報だけを調べることができ、調べる作業におけるオペレータの労力軽減を図ることができる。

次に、本発明の第５の実施の形態について説明する。なお、第１〜第４の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１〜第４の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図１７は本発明の第５の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置１０は、前記第３の実施の形態において説明した構成に加えて、人物特徴抽出手段１７の後段に接続された顔認証手段２０、及び、該顔認証手段２０に接続された顔認証辞書格納手段１９を有する。該顔認証辞書格納手段１９は、顔認証において照合対象となる顔認証辞書データを格納するためのディスク装置、及び、データを取得するためのカメラ又はスキャナ装置を備える。

また、前記顔認証手段２０は、人物特徴抽出手段１７から顔画像等の人物属性情報を入力するインターフェイス、入力された顔画像と顔認証辞書格納手段１９に格納されている顔認証辞書データとを照合して認証スコアを出力する演算処理装置又はソフトウェア、及び、人物グループ通知手段１５に顔認証結果を出力するインターフェイスを有する。

図１８は本発明の第５の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、前記人物特徴抽出手段１７において抽出された顔画像に対して顔認証を行って認証スコアを出力するようになっている。

この場合、前記顔認証辞書格納手段１９は、抽出しようとする人物の顔画像を取得し、顔認証辞書データを作成して格納する。そして、前記顔認証手段２０は、人物特徴抽出手段１７によって抽出された顔画像と顔認証辞書格納手段１９に格納されている顔認証辞書データとを照合し、認証スコアを出力する。

また、前記人物グループ通知手段１５は、その認証スコアを、例えば、図１８に示されるように、各人物の表示に付加し、又は順位を付けて出力する。この場合、必要に応じて、認証スコアのある程度高いものに限定して人物情報を出力するようにしてもよい。

さらに、前記顔認証辞書格納手段１９は、あらかじめカメラ装置又はスキャナ装置を用いて顔画像の取得を行い、取得した該顔画像を顔認証辞書データの形式に変換して格納する。また、前記顔認証手段２０は、格納された顔認証辞書データを読み出して、人物特徴抽出手段１７から出力された顔画像と照合し、それぞれの組み合わせについて認証スコアを出力する。これら顔認証辞書データの作成及び顔認証は、公知の方法（例えば、特許文献１４参照。）を用いて行うことができる。

〔特許文献１４〕特開２００２−１８３７３４号公報
このように、本実施の形態においては、抽出された顔画像に対して顔認証を行い、その認証スコアを出力し、位置情報、グループ情報及び個人的な属性情報とともに出力するようになっている。すなわち、人物グループ形態判定手段１４は、検出された人物の顔画像を取得し、顔認証辞書データとして格納する顔認証辞書格納手段１９、及び、人物特徴抽出手段１７によって抽出された顔画像を前記顔認証辞書データと照合して認証スコアを出力する顔認証手段２０を備え、前記認証スコア及び人物特徴情報を人物グループ形態判定に利用する。そのため、例えば、迷子等のように同一グループに属していた人物が仲間とはぐれてしまった場合、顔認証を用いて各地点の人物が捜索されている人物であるか否かを判断することによって、捜索されている人物がどこにいるのかを的確に、かつ、迅速に知ることができる。

また、単に顔認証だけで人物を捜す方法と比較して、グループ行動情報やその他の個人的属性情報によって、ある程度絞り込まれた人物についてだけ顔認証が行われるので、顔認証に関する処理量を大幅に低減することができる。

次に、本発明の第６の実施の形態について説明する。なお、第１〜第５の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１〜第５の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図１９は本発明の第６の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置１０は、前記第３の実施の形態において説明した構成に加えて、人物特徴抽出手段１７の後段に接続された顔表情認識手段２１を有する。該顔表情認識手段２１は、顔画像から人物の表情を認識する演算処理装置又はソフトウェア、及び、前記人物特徴抽出手段１７から顔画像を受け取るインターフェイスを備える。

図２０は本発明の第６の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、顔表情認識手段２１において顔画像から人物の表情を認識して検索や判定の付加情報として利用する。

この場合、前記顔表情認識手段２１は、人物特徴抽出手段１７の出力する顔画像から、公知の方法（例えば、特許文献１５参照。）によって、人物の表情を認識する。また、必要に応じて、他の公知の方法（例えば、特許文献１６参照。）によって人物の顔色を認識したり、更に他の公知の方法（例えば、特許文献１７参照。）によって、人物の顔向きを認識したりしてもよい。

〔特許文献１５〕特開平４−３４２０７８号公報
〔特許文献１６〕特開２０００−２７５９９７号公報
〔特許文献１７〕特開２００２−３５２２２８号公報
そして、認識された表情は人物属性情報とともに人物グループ形態判定手段１４に送られ、次の（６）〜（９）に示されるような人物グループ形態判定が行われる。
（６）ＩＦグループ＝１人ＡＮＤ人物特徴＝子供ＡＮＤ表情＝泣くＴＨＥＮ事象＝迷子
（７）ＩＦグループ＝１人ＡＮＤ人物特徴＝子供ＡＮＤ顔向き変化角度振幅＞ＴＨＡＮＧＡＭＰＡＮＤ顔向き変化回数／秒＞ＴＨＡＮＧＦＲＱＴＨＥＮ事象＝迷子
（８）ＩＦグループ＞２人ＡＮＤ表情＝怒るＴＨＥＮ事象＝近接異常行動
（９）ＩＦグループ．要同伴者＞ＴＨＮＵＭ３ＡＮＤグループ．同伴者＜ＴＨＮＵＭ４ＴＨＥＮ事象＝同伴者なし要同伴者
なお、要同伴者とは、顔色が赤（酔っ払い）又は蒼白（病人）のことを指し、顔色に着目しているという点を除けば前記第３の実施の形態と同様である。

また、前記人物グループ通知手段１５は、顔表情認識に基づく人物グループ形態判定によって、例えば、図２０に示されるように出力を行う。

このように、本実施の形態においては、顔表情認識手段２１を有し、人物の表情や顔色を認識して人物グループ形態判定に利用するようになっている。すなわち、人物グループ形態判定手段１４は、人物特徴抽出手段１７によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段２１を備え、前記表情及び顔色を利用してグループ形態判定を行う。そのため、人物グループの形態がどのようなものであるかを、人物の表情や顔色に基づいて、より詳しく知ることができ、よりオペレータの希望に沿った結果を出力することができる。

さらに、人物グループ形態判定手段１４は、検出された人物が単独行動をする子供と判定され、かつ、顔表情認識手段２１によって表情が「泣く」であると認識された場合、又は、顔向きの変化の頻度が閾値より高く、かつ、前記変化の振幅が閾値より大きいと認識された場合に、前記人物を迷子であると判定する。さらに、人物グループ形態判定手段１４は、検出された人物を人物グループ判定手段１３がグループ行動者であると判定し、かつ、各人物の表情を顔表情認識手段２１が「怒る」と認識した場合に、前記人物のグループのグループ形態を近接異常行動であると判定する。さらに、人物グループ形態判定手段１４は、人物特徴抽出手段１７によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段２１を備え、該顔表情認識手段２１が検出された人物の顔色を「赤」又は「蒼白」であると認識した場合に、前記人物を同伴者なし要同伴者と判定する。

例えば、迷子を検知する場合、前記第３の実施の形態においては、低年齢の単独行動人物を検知するためキッズスペースで遊んでいる子供のように、迷子でもないのに親と離れている子供を誤って検知しがちである。しかし、本実施の形態においては、迷子の子供の顔に頻繁に表れる「泣く」という表情、又は、顔向きを頻繁にきょろきょろ動かしていることをキーとして付加するので、より的確に検知することができる。

また、例えば、取っ組み合いの喧嘩（けんか）、犯罪行為等の近接異常行動については、同一グループに属する人物が怒った顔をしていることを認識することによって確信を持って検知することができる。特に、顔が赤い場合は、酔っ払いの喧嘩として確信を持って検知することができる。

さらに、要監視酔っ払いや要保護体調不良者は、単に顔色を見ただけでは不必要に多くの人物が酔っ払いや体調不良者として検知されてしまうことがある。しかし、本実施の形態においては、単独行動であることを示す情報、すなわち、監視や保護をする人物が周囲にいないという情報を付加することによって、特に、監視や保護の必要な人物に絞って検知することができる。

次に、本発明の第７の実施の形態について説明する。なお、第１〜第６の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１〜第６の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図２１は本発明の第７の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置１０は、前記第３の実施の形態において説明した構成に加えて、入力手段としての音響取得手段２２、及び、人物特徴抽出手段１７の後段に接続された人物音響特徴抽出手段２３を有する。そして、前記音響取得手段２２は、マイクロホン装置及びＡ／Ｄ変換器を備える。また、前記人物音響特徴抽出手段２３は、前記音響取得手段２２から音響信号を受け取るインターフェイス、人物特徴に関するパターンの信号を格納する記憶装置、及び、音響信号から人物特徴に関係するパターンを認識する演算処理装置又はソフトウェアを備える。

図２２は本発明の第７の実施の形態における特徴音の方位及びレベル特性を示す図、図２３は本発明の第７の実施の形態における画像から検出された人物の位置を示す図である。

本実施の形態においては、前記音響取得手段２２及び人物音響特徴抽出手段２３を用いて検出した人物の音響的特徴を抽出し、人物グループ判定の付加情報として利用するようになっている。

この場合、前記音響取得手段２２は、動画像取得手段１１のカメラ装置と同一の場所に配設したマイクロホン等を用いて音響信号を取得し、人物音響特徴抽出手段２３に送る。そして、該人物音響特徴抽出手段２３は、あらかじめ人物の音響的特徴パターンをデータベースに格納しておき、音響信号が送られてくる毎に、該音響信号の中から人物行動の特徴を示すパターンを検出し、人物音響特徴情報として人物グループ判定手段１３に送る。この特徴を入力された音響信号から検出する方法は公知である（例えば、特許文献１８参照。）。その結果、ある特徴的な音が検出された場合、その時点で検出されている人物のいずれかがその音を発していると推測される。

ここで、音響取得手段２２に指向性を持たせ、公知の音源方向推定方法（例えば、特許文献１９参照。）等を用いて音の発生方向を推定し、その方向情報と人物検出手段１２による人物位置情報とを結び付けたりしてもよい。例えば、音響取得手段２２である特定音について方位別のレベルを計測すると、図２２に示されるように、左上側のレベルが高く、かつ、図２３に示される位置に人物が検出されているとき、図２３における左上で検出された番号が１番の人物がその特定音を発している人物とされる。

また、人物音響特徴抽出手段２３において、公知の音声認識方法（例えば、特許文献２０参照。）を用いて音響信号から人物の発話と思われる音響信号を認識してもよい。

〔特許文献１８〕特開平８−５４８９１号公報
〔特許文献１９〕特開平５−８７９０３号公報
〔特許文献２０〕特開平５−６６７９０号公報
そして、人物グループ形態判定手段１４は、人物音響特徴抽出手段２３によって抽出された人物の音響的特徴人物を加味して、次の（１０）〜（１３）に示されるように人物グループ形態判定を行う。
（１０）ＩＦグループ＝１人ＡＮＤ人物特徴＝子供ＡＮＤ特徴音＝子供の泣き声ＴＨＥＮ事象＝迷子
（１１）ＩＦグループ＝１人ＡＮＤ人物特徴＝子供ＡＮＤ発話内容＝迷子と推定することができる発言（「ママ」等）ＴＨＥＮ事象＝迷子
（１２）ＩＦグループ＞２人ＡＮＤ発話内容＝犯罪や喧嘩と推定することができる発言（「ドロボー」、「殺す」、「コノヤロー」、「テメー」、「キサマ」等）ＴＨＥＮ事象＝犯罪行為
（１３）ＩＦグループ＞２人ＡＮＤ特徴音＝犯罪や喧嘩と推定することができる音（悲鳴、殴打音等）ＴＨＥＮ事象＝犯罪行為
また、前記人物グループ通知手段１５は、抽出した人物音響特徴に基づく人物グループ形態判定によって出力を行う。ここで、抽出した特徴音を同時に出力してもよい。

このように、本実施の形態においては、前記音響取得手段２２及び人物音響特徴抽出手段２３を有し、人物の特徴音を抽出して人物グループの形態を判定するために利用するようになっている。すなわち、人物グループ形態判定手段１４は、各地点の音を取得する音響取得手段２２と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段２３とを備え、音響的特徴に基づいて人物グループ形態を判定する。さらに、音響取得手段２２は指向性を持たせて音を取得し、検出された人物が音響取得手段２２によって取得された音のレベルの強い方向に存在する場合に、人物グループ形態判定手段１４は、前記人物が取得された音を発したと判定する。さらに、人物音響特徴抽出手段２３は、検出された人物の発話の認識を行う。さらに、人物グループ形態判定手段１４は、人物音響特徴抽出手段２３によって、人物から子供の泣き声、同伴者を呼ぶ発話等の迷子の音響的特徴が抽出され、かつ、前記人物が単独行動する子供であると判定された場合に、前記人物を迷子であると判定する。さらに、人物グループ形態判定手段１４は、同一グループに属する人物群について、人物音響特徴抽出手段２３によって怒鳴り声、殴打音、悲鳴等の犯罪行為の音響的特徴が抽出された場合に、前記人物群のグループ形態を犯罪行為と判定する。そのため、人物グループの形態がどのようなものであるかを、声等人物の発する音に基づいて詳しく知ることができ、オペレータの希望に沿った結果を出力することができる。

次に、本発明の第８の実施の形態について説明する。なお、第１〜第７の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１〜第７の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図２４は本発明の第８の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置１０は、前記第７の実施の形態において説明した構成に加えて、人物特徴抽出手段１７の後段に接続された顔認証手段２０及び顔表情認識手段２１、並びに、前記顔認証手段２０に接続された顔認証辞書格納手段１９を有し、また、前記第１〜第７の実施の形態における人物グループ形態判定手段１４に代えて人物特徴スコア化手段２４を有する。

そして、該人物特徴スコア化手段２４は、入力された人物グループ情報、人物特徴情報、顔表情情報、顔認証スコア及び人物音響特徴人物といったすべての情報を加味してスコアに換算して出力する機能を備え、オペレータがスコア換算の条件を設定するためのインターフェイス、及び演算処理装置又はソフトウェアを備える。

図２５は本発明の第８の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、人物特徴スコア化手段２４によって人物グループ情報等検出人物に関する複数の情報を加味してスコアに換算し、人物グループ形態情報として利用するようになっている。

この場合、前記人物特徴スコア化手段２４は、人物グループ判定手段１３から送られたグループ人数の情報、人物特徴抽出手段１７から送られた年齢、服装等の人物特徴情報、顔表情認識手段２１から送られた人物の顔表情情報、顔認証手段２０から送られた顔スコア、人物音響特徴抽出手段２３から送られた人物音響特徴情報等のすべての情報を加味して、それを任意に設定条件の基に重み付け加算等をして人物特徴スコアを算出する。この設定条件は、処理に先立ってオペレータが自由に設定することができる。

そして、前記人物グループ通知手段１５は、算出された人物特徴スコアを基に、例えば、図２５に示されるように、人物特徴スコアの高い順に出力を行う。例えば、赤い服を着た５歳の子供が迷子になっていて、該子供を捜す必要があるとする。この場合、迷子であるので単独行動をして泣いている確率が高い、すなわち、泣く表情をしていて泣き声を上げている。また、人物特徴としては服装が赤で、年齢が５歳と判定された人物が捜す対象の子供である確率が高い。さらに、顔認証を行われる場合は、顔認証の認証スコアの高い人物が捜す対象の子供である確率が高い。したがって、単独行動をしていて、服装が赤で年齢が５歳と判定され、泣く表情をしていて、泣き声を上げていて、顔認証スコアが高いという条件が満たされるときに、スコアが高くなるような演算を行い、検出されたそれぞれの人物についてスコアを算出し、算出された該スコアの高い順に人物の情報を出力する。

このように、本実施の形態においては、前記人物特徴スコア化手段２４を有し、人物の複数の特徴を、オペレータが任意に設定した条件に基づいて統一された１つのスコアに換算して、人物グループ形態判定に利用することによって、複数の人物判定方法を組み合わせて一元的に結果を出力することができるようになっている。すなわち、人物グループ形態判定手段１４に代えて、グループ判定、人物特徴、顔認証スコア、顔表情、音響的特徴の情報を重み付け加算してスコア化する人物特徴スコア化手段２４を有し、スコアとして算出した値に基づいて人物情報を出力する。そのため、オペレータが複数の人物情報を参照することなく、所望の人物グループ形態判定結果を見ることができ、オペレータの作業負荷を軽減することができる。

また、人物位置やグループ判定結果、出力された年齢や服装等の人物特徴や表情、顔認証スコア等の認識情報は、取得された画像や音の状態や照明条件、評価する地点の混雑具合等によって大きくブレが生じることがある。しかし、本実施の形態においては、これらを複数組み合わせて統一したスコアとして出力することによって、一部の認識手段にブレがあったとしても、他の認識手段で正確な認識情報を得ることができたとすると、そちらを採用することによってブレの悪影響を抑えることができ、より信頼性の高い認識結果を出力することができる。

なお、前記第１〜第８の実施の形態において、画像や音以外に人物情報を得る手段が何もないものとしたが、カードパス、非接触タグ等の人物情報を得るための他の手段がある場合でも、人物グループ形態判定手段１４等においてその情報を加味して利用することができる。

また、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。

本発明の第１の実施の形態における検知装置の構成を示す図である。本発明の第１の実施の形態における人物検出手段によって検出された人物の例を示す図である。本発明の第１の実施の形態における人物の相対距離を示す第１の図である。本発明の第１の実施の形態における人物の相対距離を示す第２の図である。本発明の第１の実施の形態における人物の相対距離を示す第３の図である。本発明の第１の実施の形態における人物の相対速度を示す第１の図である。本発明の第１の実施の形態における人物の相対速度を示す第２の図である。本発明の第１の実施の形態における人物の相対速度を示す第３の図である。本発明の第１の実施の形態における人物グループ通知手段の通知表示の例を示す図である。本発明の第２の実施の形態における検知装置の構成を示す図である。本発明の第２の実施の形態における人物の相対距離の出現数の分布を示す図である。本発明の第２の実施の形態における人物の相対距離の確率密度関数を示す図である。本発明の第３の実施の形態における検知装置の構成を示す図である。本発明の第３の実施の形態における人物グループ通知手段の通知表示の例を示す図である。本発明の第４の実施の形態における検知装置の構成を示す図である。本発明の第４の実施の形態における人物グループ通知手段の通知表示の例を示す図である。本発明の第５の実施の形態における検知装置の構成を示す図である。本発明の第５の実施の形態における人物グループ通知手段の通知表示の例を示す図である。本発明の第６の実施の形態における検知装置の構成を示す図である。本発明の第６の実施の形態における人物グループ通知手段の通知表示の例を示す図である。本発明の第７の実施の形態における検知装置の構成を示す図である。本発明の第７の実施の形態における特徴音の方位及びレベル特性を示す図である。本発明の第７の実施の形態における画像から検出された人物の位置を示す図である。本発明の第８の実施の形態における検知装置の構成を示す図である。本発明の第８の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

符号の説明

１０検知装置
１１動画像取得手段
１２人物検出手段
１３人物グループ判定手段
１４人物グループ形態判定手段
１５人物グループ通知手段
１６人物グループ空間統計手段
１７人物特徴抽出手段
１８人物検索手段
１９顔認証辞書格納手段
２０顔認証手段
２１顔表情認識手段
２２音響取得手段
２３人物音響特徴抽出手段
２４人物特徴スコア化手段

Claims

（ａ）不特定多数の人物が集まる場所において、各地点の動画像を取得する動画像取得手段と、
（ｂ）取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する人物検出手段と、
（ｃ）検出された前記人物の相互の位置関係から、相対距離が第１の閾値を下回る状態が、第２の閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う人物グループ判定手段とを有し、
（ｄ）該人物グループ判定手段は、
所定の時刻における検出された人物の相対距離を集計し、該相対距離の出現分布を確率密度関数に当て嵌め、所定の出現確率に対応する相対距離の値を閾値として算出する人物グループ空間統計手段を備え、
該人物グループ空間統計手段が算出した閾値を前記第１の閾値として前記グループ判定を行うことを特徴とする単独行動者及びグループ行動者検知装置。
グループ形態を判定する人物グループ形態判定手段を更に有し、
該人物グループ形態判定手段は、前記人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段を備え、
前記グループ判定の結果による人数と、前記人物の特徴情報との組合せに応じて、迷子、カップル、親子連れ、団体、又は、同伴者なし要同伴者を判定する請求項１に記載の単独行動者及びグループ行動者検知装置。
前記人物グループ形態判定手段が判定したグループ形態をオペレータに通知する人物グループ通知手段を更に有し、
該人物グループ通知手段は、検出された前記人物の位置、グループ判定情報又は特徴情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段を備え、前記指定された条件に該当する人物の情報を絞り込んで出力する請求項２に記載の単独行動者及びグループ行動者検知装置。
前記人物グループ形態判定手段は、
前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、
前記グループ判定の結果による人数と、前記人物の表情、顔色及び顔向きとの組合せに応じて、迷子、近接異常行動、又は、同伴者なし要同伴者を判定する請求項２又は３に記載の単独行動者及びグループ行動者検知装置。
前記人物グループ形態判定手段は、
前記各地点の音を取得する音響取得手段と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段とを備え、
前記グループ判定の結果による人数と、前記音響的特徴との組合せに応じて、迷子又は犯罪行為を判定する請求項２〜４のいずれか１項に記載の単独行動者及びグループ行動者検知装置。