JP4506381B2 - 単独行動者及びグループ行動者検知装置 - Google Patents

単独行動者及びグループ行動者検知装置 Download PDF

Info

Publication number
JP4506381B2
JP4506381B2 JP2004278855A JP2004278855A JP4506381B2 JP 4506381 B2 JP4506381 B2 JP 4506381B2 JP 2004278855 A JP2004278855 A JP 2004278855A JP 2004278855 A JP2004278855 A JP 2004278855A JP 4506381 B2 JP4506381 B2 JP 4506381B2
Authority
JP
Japan
Prior art keywords
person
determination
information
detection
persons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004278855A
Other languages
English (en)
Other versions
JP2006092396A (ja
Inventor
誠 増田
俊介 市原
Original Assignee
沖電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 沖電気工業株式会社 filed Critical 沖電気工業株式会社
Priority to JP2004278855A priority Critical patent/JP4506381B2/ja
Publication of JP2006092396A publication Critical patent/JP2006092396A/ja
Application granted granted Critical
Publication of JP4506381B2 publication Critical patent/JP4506381B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00302Facial expression recognition

Description

本発明は、単独行動者及びグループ行動者検知装置に関するものである。

従来、ショッピングセンタ、デパート、ショッピングモール等の大型商業施設、鉄道の駅、地下街等の公共施設等のように不特定多数の人物が集まる場所において、それぞれの人物が単独で行動しているのか、又は、複数人のグループで行動をしているのか、さらに、該グループはどのような形態のものであるか等の情報が、マーケティングの観点や保安上の観点から求められている。

例えば、マーケティングの観点からは、小売店、飲食店等が人手によって通行人を調査し、見た目から分かる通行人の年齢、性別等から、どのような形態のグループがいるのかという情報を取得することがある。

また、保安上の観点からは、特に、親と離れ離れになっている迷子の発見に対する要求が強く、人手によって迷子を発見する方法、IDタグ、携帯情報端末等の無線通信によって迷子を発見する方法等、いくつかの方法が提案されている。例えば、無線通信によって迷子を発見する方法としては、親子の距離が離れると警告を発して迷子防止を図る方法(例えば、特許文献1参照。)、迷子になった後にIDカードで迷子を認識する方法(例えば、特許文献2参照。)、発信機で迷子を追尾する方法(例えば、特許文献3参照。)等が提案されている。

しかし、迷子発見の大半は人手によるものであり、この場合、施設の場内に迷子案内所のようなものを用意して、迷子又は親のいずれか一方が迷子案内所に来ると、場内放送等を用いて他方を捜すというのが一般的である。

ここで、迷子になった子供が迷子案内所に来て親を捜す場合は、子供が自らそこへ出向くパターンと、一人になって心細くなって泣いている子供を施設の従業員や通行人が発見して迷子案内所に連れていくパターンとの2つのパターンがある。

また、親が迷子案内所に来て迷子を捜す場合は、放送を用いて迷子を直接呼び出すパターンと、子供の服装、身長等の外観についての情報を通知して、施設の従業員や通行人の助力を得て見つけ出すパターンの2つのパターンがある。例えば、米国の多くの商業施設では、コード・アダム(Code Adam)という、施設の従業員を総動員して迷子を捜すシステムが導入されている。この場合、補助手段として、子供にあらかじめ本人及び親の氏名や連絡先を記した迷子札を装着させ、いざ迷子になって捜される場合にキーとして利用することもある。
特開平11−242790号公報 特開平9−61519号公報 特開2000−293785号公報

しかしながら、前記従来のシステムにおいては、種々の問題があった。例えば、一般に人々が単独行動者であるかグループ行動者であるかを人手によって調べる場合、時間と人手とコストがかかる上に、その判定にある程度長い観察時間が必要になる。また、観察を長時間に亘(わた)って続けている間に、観察者の判定基準が変化してしまい、データが不正確になりやすい。さらに、1人の観察者が同時に多数の人々を1度に判定することは、極めて困難である。

また、迷子を施設の従業員や通行人が発見して迷子案内所で親を放送で呼び出す場合、子供が1人で歩いていて、泣いたり、親を呼ぶ声を繰り返し発したりする等、見た目にも迷子と分かる行動をしていること、及び、その姿を施設の従業員や通行人に発見されることが必要である。ところが、迷子を発見したときに、本当に迷子であるかどうかを判断するためには、ある程度その子供をまとまった時間注視する必要がある。そのため、従業員や通行人が多忙であったり、人込みが激しかったりすると、子供をまとまった時間注視することができず、迷子であるかどうかを判断することが困難となりやすい。

また、迷子になった子供が必ずしも泣くとは限らず、泣かないとその子供が迷子であるか否かの判断が尚更難しくなる。そのため、その子供が迷子であると判断して行動を起こすまでに時間がかかり、その分、迷子になった子供及びその親に長時間心細い思いをさせ、また、その子供が犯罪に狙(ねら)われやすくなってしまう。

さらに、迷子になった子供が自ら迷子案内所に名乗り出て親を放送で呼び出す場合、その子供にある程度の判断力や行動力が必要になる。しかし、迷子は未就業児であることが多く、未就業児は自ら名乗り出るにはあまりに幼い。そのため、迷子が自ら名乗り出ることは稀にしかない。

逆に、親が迷子案内所に出向く場合、施設の従業員や通行人の助力で迷子を捜すことは難しい。すなわち、迷子を的確に捉えるのが難しく、時間と人手がかかるので、施設の従業員が本来の業務に専念することができなくなってしまう。また、放送で迷子に直接呼びかけても、子供が幼い、冷静さを失っている、施設内がうるさい等の原因によって、効果がないことがある。

そして、迷子又はその親を呼び出すための放送は、施設内がうるさい場合には聞き取られにくく、その放送音声が場の雰囲気を壊してしまったり、個人の名前を大衆の前で呼び上げることによって個人のプライバシーが侵されたりしてしまう。また、迷子札もその記載情報から装着している子供及び親の個人情報が漏れてしまう。

さらに、無線通信による場合、あらかじめ集まっている人々が必要な機器をすべて装備している必要があるので、集まる人数に応じてコストがかかり、また、持ち運びの煩雑さや紛失の恐れ、データベース容量の制限によるIDの枯渇等の問題がある。

本発明は、前記従来の問題点を解決して、各地点の動画像を取得し、該動画像から取得した人物の挙動の情報に基づいて人物をグループ分けすることによって、人物が単独行動をしているかグループ行動をしているかを的確に検知することができ、人物の性別、年齢等の情報からそのグループ形態がどのようなものであるかを検知することができ、さらに、体格、泣き声等の情報から迷子を的確に、かつ、迅速に検知することができる単独行動者及びグループ行動者検知装置を提供することを目的とする。

そのために、本発明の単独行動者及びグループ行動者検知装置においては、不特定多数の人物が集まる場所において、各地点の動画像を取得する動画像取得手段と、取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する人物検出手段と、検出された前記人物の相互の位置関係から、相対距離が第1の閾(しきい)値を下回る状態が、第2の閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う人物グループ判定手段とを有し該人物グループ判定手段は、所定の時刻における検出された人物の相対距離を集計し、該相対距離の出現分布を確率密度関数に当て嵌め、所定の出現確率に対応する相対距離の値を閾値として算出する人物グループ空間統計手段を備え、該人物グループ空間統計手段が算出した閾値を前記第1の閾値として前記グループ判定を行う。

本発明の他の単独行動者及びグループ行動者検知装置においては、さらに、グループ形態を判定する人物グループ形態判定手段を更に有し、該人物グループ形態判定手段は、前記人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段を備え、前記グループ判定の結果による人数と、前記人物の特徴情報との組合せに応じて、迷子、カップル、親子連れ、団体、又は、同伴者なし要同伴者を判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が人物グループ判定手段によって単独行動者と判定され、かつ、前記人物特徴抽出手段によって、体格及び年齢から子供と判定された場合に、前記人物のグループ形態を迷子であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が2人のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記人物がいずれも成人の年齢であり、年齢が近く、一方が男性で他方が女性と判定された場合に、前記グループのグループ形態をカップルであると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が複数人のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記グループに成人の年齢の人物と子供とがそれぞれ1人以上存在すると判定された場合に、前記グループのグループ形態を親子連れであると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が閾値以上の人数のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記グループにおける閾値以上の人数の人物の服装が同一であると判定された場合に、前記グループのグループ形態を団体であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物から同伴者を必要とする特徴が前記人物特徴抽出手段によって判定され、かつ、同一グループに前記特徴を備えておらず、同伴者と判定される人物が十分な人数存在しない場合に、検出された前記人物を同伴者なし要同伴者と判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記同伴者を必要とする特徴は、年齢が閾値を下回るか、又は、障害が存在するかのいずれかである。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段が判定したグループ形態をオペレータに通知する人物グループ通知手段を更に有し、該人物グループ通知手段は、検出された前記人物の位置、グループ判定情報又は特徴情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段を備え、前記指定された条件に該当する人物の情報を絞り込んで出力する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、前記グループ判定の結果による人数と、前記人物の表情、顔色及び顔向きとの組合せに応じて、迷子、近接異常行動、又は、同伴者なし要同伴者を判定する

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が単独行動をする子供と判定され、かつ、前記顔表情認識手段によって表情が「泣く」であると認識された場合、又は、顔向きの変化の頻度が閾値より高く、かつ、前記変化の振幅が閾値より大きいと認識された場合に、前記人物を迷子であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物を前記人物グループ判定手段がグループ行動者であると判定し、かつ、各人物の表情を顔表情認識手段が「怒る」と認識した場合に、前記人物のグループのグループ形態を近接異常行動であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、該顔表情認識手段が検出された前記人物の顔色を「赤」又は「蒼白」であると認識した場合に、前記人物を同伴者なし要同伴者と判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記各地点の音を取得する音響取得手段と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段とを備え、前記グループ判定の結果による人数と、前記音響的特徴との組合せに応じて、迷子又は犯罪行為を判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記音響取得手段は指向性を持たせて音を取得し、検出された前記人物が前記音響取得手段によって取得された音のレベルの強い方向に存在する場合に、前記人物グループ形態判定手段は、前記人物が取得された音を発したと判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物音響特徴抽出手段は、検出された前記人物の発話の認識を行う。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物音響特徴抽出手段によって、前記人物から子供の泣き声、同伴者を呼ぶ発話等の迷子の音響的特徴が抽出され、かつ、前記人物が単独行動する子供であると判定された場合に、前記人物を迷子であると判定する。

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、同一グループに属する人物群について、前記人物音響特徴抽出手段によって怒鳴り声、殴打音、悲鳴等の犯罪行為の音響的特徴が抽出された場合に、前記人物群のグループ形態を犯罪行為と判定する。

本発明によれば、単独行動者及びグループ行動者検知装置は、各地点の動画像を取得し、該動画像から取得した人物の挙動の情報に基づいて人物をグループ分けするようになっている。これにより、人物が単独行動をしているかグループ行動をしているかを的確に検知することができ、人物の性別、年齢等の情報からそのグループ形態がどのようなものであるかを検知することができ、さらに、体格、泣き声等の情報から迷子を的確に、かつ、迅速に検知することができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

図1は本発明の第1の実施の形態における検知装置の構成を示す図である。

図において、10は本実施の形態における単独行動者及びグループ行動者検知装置としての検知装置であり、CPU、MPU等の演算手段、半導体メモリ、磁気ディスク等の記憶手段、入出力インターフェイス等を備え、プログラムに従って動作を行う一種のコンピュータ又はコンピュータシステムであり、動画像取得手段11、人物検出手段12、人物グループ判定手段13、人物グループ形態判定手段14及び人物グループ通知手段15を有する。

そして、前記動画像取得手段11は、不特定多数の人物が集まる場所において、人物を検出したい地点の画像を撮影するカメラ装置、及び、前記人物検出手段12に撮影した動画像をリアルタイムに出力するインターフェイスを備える。なお、前記不特定多数の人物が集まる場所は、例えば、コンビニエンスストア、スーパーマーケット、デパート、ホームセンタ、ショッピングセンタ等の商業施設、食堂、レストラン等の飲食施設、銀行、郵便局、信用金庫等の金融機関、鉄道の駅、鉄道車両、地下道、バス、飛行場等の交通機関、劇場、テーマパーク、遊園地等の娯楽施設、ホテル、旅館等の宿泊施設、学校、官庁等の公共施設、個人住宅、集合住宅等の住宅施設、一般の建造物における玄関ホール、エレベータ等の建物内部、工事現場、工場等の作業施設、博物館、美術館、展示会場等の展示施設等であるが、いかなる場所であってもよい。さらに、前記カメラ装置は、一般に、工業用の監視カメラを使用するが、監視画像として動画像を撮影する機能を有するものであれば、放送局用のカメラであっても、家庭用のビデオカメラであってもよく、所定の範囲を撮影して動画像を取得することができるものであれば、いかなる形態のものであってもよい。

また、前記人物検出手段12は、前記動画像取得手段11から動画像を入力するインターフェイス、前記動画像から通行する人物及びその位置を時刻毎に検出する画像処理装置又はソフトウェア、並びに、人物グループ判定手段13に前記人物の位置を示す人物位置情報を出力するインターフェイスを備える。そして、取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する。

さらに、前記人物グループ判定手段13は、前記人物検出手段12から人物位置情報を入力するインターフェイス、前記人物位置情報からどの人物とどの人物が同一のグループに属して行動しているかを判定する演算装置又はソフトウェア、及び、人物グループ通知手段15に、前記人物のグループに関する情報としての人物グループ情報を出力するインターフェイスを備える。そして、検出された前記人物の相互の位置関係から、相対距離が閾値を下回る状態が、閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う。

また、前記人物グループ形態判定手段14は、前記人物グループ判定手段13から人物位置情報及び人物グループ情報を受け取るインターフェイス、各グループの形態を判定する演算装置又はソフトウェア、並びに、人物グループ通知手段15に前記グループの形態に関する情報としての人物グループ形態情報を出力するインターフェイスを備える。そして、前記グループ判定の結果から、人数に着目して単独行動者又はグループ行動者とグループ形態とを判定する。

さらに、前記人物グループ通知手段15は、前記人物グループ形態判定手段14から人物グループ形態情報を入力するインターフェイス、前記グループの情報を統計処理する演算装置又はソフトウェア、及び、オペレータに前記グループの情報としての人物グループ情報を通知するためのディスプレイ装置を備える。そして、前記グループ形態をオペレータに通知する。

次に、前記構成の検知装置10の動作について説明する。

図2は本発明の第1の実施の形態における人物検出手段によって検出された人物の例を示す図、図3は本発明の第1の実施の形態における人物の相対距離を示す第1の図、図4は本発明の第1の実施の形態における人物の相対距離を示す第2の図、図5は本発明の第1の実施の形態における人物の相対距離を示す第3の図、図6は本発明の第1の実施の形態における人物の相対速度を示す第1の図、図7は本発明の第1の実施の形態における人物の相対速度を示す第2の図、図8は本発明の第1の実施の形態における人物の相対速度を示す第3の図、図9は本発明の第1の実施の形態における人物グループ通知手段の通知表示の例を示す図である。なお、図3〜5において、横軸に時間を、縦軸に距離を採ってあり、また、図6〜8において、横軸に時間を、縦軸に速度を採ってある。

まず、動画像取得手段11によって撮影された各地点の画像に基づいて、人物検出手段12によってリアルタイムに人物が検出され、人物検出手段12が出力する人物位置検出情報に基づいて人物グループ判定手段13によって人物のグループが判定され、人物グループ通知手段15によってオペレータに人物グループ情報が通知される。

なお、前記人物検出手段12は、オプティカルフロー算出による方法を用いて、各人物を検出して実空間座標系の位置を時刻毎に求める(例えば、特許文献4参照。)。ここで、複数カメラを用いたり(例えば、特許文献5参照。)、検出対象の位置を基準に取得動画像を拡大又は縮小して精度を向上させたり、広範囲で検出を行ったりしてもよい(例えば、特許文献6参照。)。

また、画像座標から実空間座標系に変換するためには、キャリブレーション等によって、各カメラ装置が撮影した画像における各画素の画像座標値と床面上の世界座標値との対応を事前に把握しておく必要がある。この手法としては、例えば、床面上に参照点を4点設定し、世界座標値と画像座標値との変換行列を算出する方法がある(例えば、非特許文献1参照。)。

〔特許文献4〕特開平10−91793号公報
〔特許文献5〕特開平10−48008号公報
〔特許文献6〕特開2001−266131号公報
〔非特許文献1〕「Cue−based camera calibration with its practical application to digital image production」Yuji Nakazawa他、信学技報IE96−63
そして、前記人物グループ判定手段13は、人物検出手段12によって検出された人物の時刻毎の位置から、人物のすべての組み合わせについて、相互の相対距離や相対速度を計算し、それぞれの組み合わせの人物が同一グループに属しているか否かを判定する。例えば、相対距離がある閾値を下回っている状態がある一定時間以上継続するか否か、又は、ある時間区間で相対距離及び相対速度がともに、所定の閾値より小さな値を維持しているか否かをその判定基準とする。

ここでは、人物検出手段12によって人物が4人検出された場合について説明する。

この場合、図2に示されるように、人物aに対して人物bは近くで同一方向に移動し、人物cは近くで逆方向に移動し、また、人物dは遠くで同一方向に移動するものとする。なお、図2における矢印は各人物の移動の様子を示している。このとき、人物aと人物bとの相対距離は図3に示されるようになり、人物aと人物cとの相対距離は図4に示されるようになり、人物aと人物dとの相対距離は図5に示されるようになる。また、人物aと人物bとの相対速度は図6に示されるようになり、人物aと人物cとの相対速度は図7に示されるようになり、人物aと人物dとの相対速度は図8に示されるようになる。

ここで、相対距離及び相対速度にそれぞれ所定の閾値を設定する。なお、図2〜8において、設定された閾値は点線で示されている。この場合、人物aに対して相対距離が閾値を下回る状態が長時間持続するのは人物bだけである。また、相対距離及び相対速度がともに閾値を下回るか否かを判定した場合も同一の結果となる。したがって、人物グループ判定手段13によって、人物aと人物bとは同一グループに属し、人物aと人物c及び人物aと人物dとは異なるグループに属すると判定される。

そして、前記人物グループ形態判定手段14は、人物グループ判定手段13が出力する人物グループ情報に基づいて、グループの形態を、単独行動者、大人数のグループ等と判定する。

続いて、前記人物グループ通知手段15は、人物グループ形態判定手段14が出力した人物グループ形態情報や動線情報を、必要である場合は動画像や場内見取り図等と重ね合わせて、例えば、図9に示されるように、ディスプレイ装置に表示して、オペレータに対して出力する。その出力内容は用途に応じて、2人組の人物、単独行動をする人物、多人数の集団等様々に変わる。また、図9に示されるように出力する代わりに、長時間に亘って取得したグループ形態判定結果を集計してグループ人数別等に統計処理してもよい。

このように、本実施の形態において、検知装置10は、各地点における動画像を取得して人物を検出し、検出されたすべての人物の組み合わせに対して相対距離及び相対速度を調べ、該相対距離及び相対速度の値がともにあらかじめ設定された所定の閾値を下回るか否かに基づいて、人物が同一グループに属するか否かを判定するようになっている。すなわち、人物グループ判定手段13は、相対距離及び相対速度が閾値を下回る状態が、閾値より長い時間続く人物の組を同一グループと判定する。そのため、人手によらなくても人物が単独行動をしているか又はグループ行動をしているかを知ることができ、また、どのようなグループができているかを知ることができるので、人物のグループ形態を把握する作業の省力化及び効率化を図ることができる。

これにより、人物のグループ形態を把握する機会が大幅に増大し、例えば、喫茶店のマーケティング(例えば、路上に2人連れが多ければ2人席を多く用意する。)、動物園のサルの関係把握(例えば、誰(だれ)と誰とが仲良しで誰が仲間外れであるか。)等に広く応用することができる。

次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図10は本発明の第2の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置10は、前記第1の実施の形態において説明した構成に加えて、人物グループ空間統計手段16を有する。該人物グループ空間統計手段16は、人物検出手段12から人物位置情報を入力するインターフェイス、前記人物位置情報に基づいて空間的に統計処理を行い、グループ判定に適切な閾値を算出する演算装置又はソフトウェア、及び、人物グループ判定手段13にグループ判定の閾値を出力するインターフェイスを備える。

次に、本実施の形態における検知装置10の動作について説明する。

図11は本発明の第2の実施の形態における人物の相対距離の出現数の分布を示す図、図12は本発明の第2の実施の形態における人物の相対距離の確率密度関数を示す図である。なお、図11において、横軸に距離を、縦軸に度数を採ってあり、図12において、横軸に距離を、縦軸に確率密度を採ってある。

本実施の形態においては、人物の検出情報から空間的に統計処理を行い、グループ判定に適切な閾値やその他の判定基準を人物グループ判定手段13に出力するようになっている。この場合、前記人物グループ空間統計手段16は、人物検出手段12によって取得された人物位置情報を空間的に集計し、人物間の距離や相対速度に対して統計処理を行い、閾値やその他の判定基準を算出して人物グループ判定手段13に出力する。

例えば、ある時刻における人物間の距離をすべて図11に示されるように集計し、その分布をある確率密度関数に当て嵌(は)める。そして、確率密度に基づいて、図12に示されるように、その場の状況に適応した閾値が定められる。これにより、例えば、2人の人物間の距離が、図11及び12に示される実線矢印(下向きの矢印)で表される値であった場合、該値が算出された閾値よりも小さいので、前記2人は同一グループであると判定される。

このように、本実施の形態においては、人物間の距離や相対速度に対して統計処理を行い、該統計処理の結果に基づいて閾値やその他判定基準を算出してグループ判定に用いている。すなわち、人物グループ判定手段13は、検出された人物の相互位置関係のすべての値について統計処理を行い、人物のグループ分けで用いられる閾値を算出する人物グループ空間統計手段16を備え、評価対象の混雑度に適応した閾値でグループ判定を行う。そのため、各地点の混雑度に合わせた適切な基準によってグループ判定を行うことができるようになり、グループ判定精度の向上を図ることができる。

例えば、混雑している地点においては多くの人物が接近しているので、前記第1の実施の形態においては、近くにいる別グループの人物を同一グループであると誤判定しやすいが、本実施の形態においては、距離の閾値が下がるので、この誤判定が少なくなる。また、例えば、すいている地点においては同一グループであっても互いの距離が離れやすいので、前記第1の実施の形態においては、別グループであると誤判定しやすいが、本実施の形態においては、距離の閾値が上がるので、この誤判定が少なくなる。

次に、本発明の第3の実施の形態について説明する。なお、第1及び第2の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1及び第2の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図13は本発明の第3の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置10は、前記第1の実施の形態において説明した構成に加えて、人物特徴抽出手段17を有する。該人物特徴抽出手段17は、動画像取得手段11から動画像を取得するインターフェイス、人物グループ判定手段13から人物位置情報として、特徴抽出すべき人物の画像上での存在位置を取得するインターフェイス、取得した動画像及び人物位置情報を基に検出された各人物の個人的な属性情報を抽出する演算装置又はソフトウェア、並びに、人物グループ形態判定手段14に抽出した人物の個人的な属性情報を出力するインターフェイスを備える。

次に、本実施の形態における検知装置10の動作について説明する。

図14は本発明の第3の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、検出された各人物の顔画像、体格等の個人的な属性情報を人物特徴抽出手段17によって抽出し、人物グループ判定手段13において判定処理や出力の付加情報として利用するようになっている。

この場合、前記人物特徴抽出手段17は、人物グループ判定手段13から取得した人物位置情報に基づいて、動画像取得手段11から取得した動画像から各人物の領域を切り出し、各人物の個人的な属性を抽出し、人物グループ形態判定手段14に出力する。ここで、必要に応じて、人物位置情報に基づき、取得する画像の拡大や縮小を行ってもよい。また、先に人物特徴抽出手段17において顔画像、特定の服装等から人物であることが分かる画像領域を検出してから、その情報を基に人物検出手段12で絞り込んで人物検出を行ってもよい。

ここで、抽出される人物の個人的な属性には、顔画像、体格、年齢、性別、服装等、画像から抽出することができる様々なものがある。例えば、顔領域や服装を抽出する方法(例えば、特許文献7及び8参照。)、体格を抽出する方法(例えば、特許文献9参照。)、年齢や性別を抽出する方法(例えば、特許文献10及び11参照。)が公知である。また、車椅子(いす)や高齢者、視覚障害者等移動弱者を検出する方法(例えば、特許文献12及び13参照。)も公知である。

〔特許文献7〕特開2001−216515号公報
〔特許文献8〕特開平11−283001号公報
〔特許文献9〕特開平10−105748号公報
〔特許文献10〕特開2001−167110号公報
〔特許文献11〕特開平11−175724号公報
〔特許文献12〕特開2001−101576号公報
〔特許文献13〕特開2002−260161号公報
そして、前記人物グループ形態判定手段14は、人物グループ判定手段13から送られた人物グループ情報、及び、人物特徴抽出手段17から送られた人物属性情報から、例えば、次の(1)〜(5)のような事象を判定する。
(1)IF グループ=1人 AND 人物特徴=子供 THEN 事象=迷子
(2)IF グループ=2人 AND 人物1=成人男性 AND 人物2=成人女性 AND 年齢差<TH AGE DIF THEN 事象=カップル
(3)IF 2人グループ<TH NUM AND 成人数1 AND 子供数1 THEN 事象=親子連れ
(4)IF グループTH NUM1 AND 同じ服装の人数TH NUM2 THEN 事象=団体
(5)IF グループ.要同伴者TH NUM3 AND グループ.同伴者<TH NUM4 THEN 事象=同伴者なし要同伴者
なお、TH ***は、オペレータが任意に設定した閾値であり、要同伴者とは、障害者や年少者等同伴者を必要とする人物のことを指し、子供、成人及び要同伴年少者の基準は、オペレータが任意に設定してよい。

そして、人物グループ通知手段15は、人物特徴抽出手段17から取得した人物の個人的属性手段を前記第1の実施の形態における表示に追加して、例えば、図14に示されるように、ディスプレイ装置に表示する。なお、人物グループ判定結果を集計する場合には、その集計のキーとして属性人物を利用する。

このように、本実施の形態においては、検出した人物について属性情報を抽出して、人物グループ判定人物に付加してオペレータに提供したり、統計処理のキーとして利用したりすることができる。すなわち、人物グループ形態判定手段14は、検出された人物の位置に基づいて、人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段17を備え、人物の特徴情報及びグループ判定情報を組み合わせてグループ形態を判定する。そのため、オペレータが人物のグループと個人的属性との関係を把握することができるようになり、より詳しい人物のグループ形態の分析を行うことができる。また、顔画像を抽出した場合は、そのグループに加わっている人物が誰であるかをオペレータが知ることができる。

さらに、人物グループ形態判定手段14は、検出された人物が人物グループ判定手段13によって単独行動者と判定され、かつ、人物特徴抽出手段17によって、体格及び年齢から子供と判定された場合に、人物のグループ形態を迷子であると判定する。さらに、人物グループ形態判定手段14は、検出された人物が2人のグループで行動していると判定され、かつ、人物特徴抽出手段17によって、人物がいずれも成人の年齢であり、年齢が近く、一方が男性で他方が女性と判定された場合に、グループのグループ形態をカップルであると判定する。さらに、人物グループ形態判定手段14は、検出された人物が複数人のグループで行動していると判定され、かつ、人物特徴抽出手段17によって、グループに成人の年齢の人物と子供とがそれぞれ1人以上存在すると判定された場合に、グループのグループ形態を親子連れであると判定する。さらに、人物グループ形態判定手段14は、検出された人物が閾値以上の人数のグループで行動していると判定され、かつ、人物特徴抽出手段17によって、グループにおける閾値以上の人数の人物の服装が同一であると判定された場合に、グループのグループ形態を団体であると判定する。さらに、人物グループ形態判定手段14は、検出された人物から同伴者を必要とする特徴が人物特徴抽出手段17によって判定され、かつ、同一グループに前記特徴を備えておらず、同伴者と判定される人物が十分な人数存在しない場合に、検出された人物を同伴者なし要同伴者と判定する。なお、該同伴者を必要とする特徴は、年齢が閾値を下回るか、又は、障害が存在するかのいずれかである。

例えば、図14は、すべての人物について性別、身長、推定年齢及び服装の特徴を抽出して、単独行動者については顔画像も抽出した場合の通知表示である。これによると、左の2人組は「カップル」であると推定することができるので、喫茶店が2人席を用意する等の対応を行うことができる。また、右の単独行動者は5歳であることから「迷子」であると推定することができるので、施設の従業員が抽出された特徴人物を手掛かりにその子供を保護しに出て、同時に、迷子案内所の係員は、自分の子供を捜している親に顔画像を見せて確認を取る、というような対応を行うことができる。

他にも、「親子連れ」、「団体」等の情報は、小売店や交通機関等にとっては、客に対応する上で有用である。また、「同伴者なし要同伴者」という情報は、年少者に同伴が必要なゲームセンタが年少者に身分証明書の提示を求めたり、鉄道会社が同伴者のいない障害者を重点的に介助したりするなど施設運営の健全性やサービスを向上させるのに役立てることができる。

また、人物検出手段12における人物検出よりも先に、人物特徴抽出手段17において顔画像や特定の服装等を検出することによって、人物検出において画像領域の絞り込みが行われるので、前記第1の実施の形態と比較して、人物検出の速度や精度が向上することがある。

次に、本発明の第4の実施の形態について説明する。なお、第1〜第3の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第3の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図15は本発明の第4の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置10は、前記第3の実施の形態において説明した構成に加えて、人物検索手段18を有する。該人物検索手段18は、人物グループ通知手段15に送られてくる人物情報について絞り込み検索を行う機能を備え、オペレータが検索条件を入力するインターフェイス、人物グループ判定手段13にグループ形態の情報を送信するインターフェイス、人物グループ通知手段15に抽出結果を出力するインターフェイス、及び、抽出結果から検索条件に合致するものを絞り込み検索する演算装置又はソフトウェアを備える。

次に、本実施の形態における検知装置10の動作について説明する。

図16は本発明の第4の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、人物検索手段18によって人物グループ通知手段15の出力を絞り込むようになっている。

この場合、前記人物検索手段18は、オペレータからその場所にいる人物を検索するための検索条件入力を受け取る。次に、人物グループ判定手段13に検索条件のうちグループ形態についての情報を送信し、その条件に合致する人物だけ人物グループ判定手段13から人物特徴抽出手段17に送られるようにする。そして、該人物特徴抽出手段17から出力される情報を受け取り、該情報の中から検索条件に合致するものだけを絞り込み、抽出して人物グループ通知手段15に送る。該人物グループ通知手段15は、抽出結果を検索条件とともに、例えば、図16に示されるように表示する。

前記検索条件として、どのようなグループ形態で行動しているかを指定することができ、この点において、前記第3の実施の形態において説明した体格や性別、年齢、服装等といった個人的な属性情報だけをキーとして検索する方法とは異なる。

このように、本実施の形態においては、人物のグループ行動形態、及び、人物の体格、性別、年齢、服装等の個人的な属性情報に基づいて、抽出された人物をオペレータが任意に指定した検索条件で絞り込んで各人物の位置等の情報を取得するようになっている。すなわち、人物グループ通知手段15は、検出された人物の位置、グループ判定情報又は個人的属性情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段18を備え、指定された条件に該当する人物の情報を絞り込んで出力する。そのため、オペレータは、自分にとって関心のあるグループ行動形態、及び、個人的属性の人物の情報だけを調べることができ、調べる作業におけるオペレータの労力軽減を図ることができる。

次に、本発明の第5の実施の形態について説明する。なお、第1〜第4の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第4の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図17は本発明の第5の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置10は、前記第3の実施の形態において説明した構成に加えて、人物特徴抽出手段17の後段に接続された顔認証手段20、及び、該顔認証手段20に接続された顔認証辞書格納手段19を有する。該顔認証辞書格納手段19は、顔認証において照合対象となる顔認証辞書データを格納するためのディスク装置、及び、データを取得するためのカメラ又はスキャナ装置を備える。

また、前記顔認証手段20は、人物特徴抽出手段17から顔画像等の人物属性情報を入力するインターフェイス、入力された顔画像と顔認証辞書格納手段19に格納されている顔認証辞書データとを照合して認証スコアを出力する演算処理装置又はソフトウェア、及び、人物グループ通知手段15に顔認証結果を出力するインターフェイスを有する。

次に、本実施の形態における検知装置10の動作について説明する。

図18は本発明の第5の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、前記人物特徴抽出手段17において抽出された顔画像に対して顔認証を行って認証スコアを出力するようになっている。

この場合、前記顔認証辞書格納手段19は、抽出しようとする人物の顔画像を取得し、顔認証辞書データを作成して格納する。そして、前記顔認証手段20は、人物特徴抽出手段17によって抽出された顔画像と顔認証辞書格納手段19に格納されている顔認証辞書データとを照合し、認証スコアを出力する。

また、前記人物グループ通知手段15は、その認証スコアを、例えば、図18に示されるように、各人物の表示に付加し、又は順位を付けて出力する。この場合、必要に応じて、認証スコアのある程度高いものに限定して人物情報を出力するようにしてもよい。

さらに、前記顔認証辞書格納手段19は、あらかじめカメラ装置又はスキャナ装置を用いて顔画像の取得を行い、取得した該顔画像を顔認証辞書データの形式に変換して格納する。また、前記顔認証手段20は、格納された顔認証辞書データを読み出して、人物特徴抽出手段17から出力された顔画像と照合し、それぞれの組み合わせについて認証スコアを出力する。これら顔認証辞書データの作成及び顔認証は、公知の方法(例えば、特許文献14参照。)を用いて行うことができる。

〔特許文献14〕特開2002−183734号公報
このように、本実施の形態においては、抽出された顔画像に対して顔認証を行い、その認証スコアを出力し、位置情報、グループ情報及び個人的な属性情報とともに出力するようになっている。すなわち、人物グループ形態判定手段14は、検出された人物の顔画像を取得し、顔認証辞書データとして格納する顔認証辞書格納手段19、及び、人物特徴抽出手段17によって抽出された顔画像を前記顔認証辞書データと照合して認証スコアを出力する顔認証手段20を備え、前記認証スコア及び人物特徴情報を人物グループ形態判定に利用する。そのため、例えば、迷子等のように同一グループに属していた人物が仲間とはぐれてしまった場合、顔認証を用いて各地点の人物が捜索されている人物であるか否かを判断することによって、捜索されている人物がどこにいるのかを的確に、かつ、迅速に知ることができる。

また、単に顔認証だけで人物を捜す方法と比較して、グループ行動情報やその他の個人的属性情報によって、ある程度絞り込まれた人物についてだけ顔認証が行われるので、顔認証に関する処理量を大幅に低減することができる。

次に、本発明の第6の実施の形態について説明する。なお、第1〜第5の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第5の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図19は本発明の第6の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置10は、前記第3の実施の形態において説明した構成に加えて、人物特徴抽出手段17の後段に接続された顔表情認識手段21を有する。該顔表情認識手段21は、顔画像から人物の表情を認識する演算処理装置又はソフトウェア、及び、前記人物特徴抽出手段17から顔画像を受け取るインターフェイスを備える。

次に、本実施の形態における検知装置10の動作について説明する。

図20は本発明の第6の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、顔表情認識手段21において顔画像から人物の表情を認識して検索や判定の付加情報として利用する。

この場合、前記顔表情認識手段21は、人物特徴抽出手段17の出力する顔画像から、公知の方法(例えば、特許文献15参照。)によって、人物の表情を認識する。また、必要に応じて、他の公知の方法(例えば、特許文献16参照。)によって人物の顔色を認識したり、更に他の公知の方法(例えば、特許文献17参照。)によって、人物の顔向きを認識したりしてもよい。

〔特許文献15〕特開平4−342078号公報
〔特許文献16〕特開2000−275997号公報
〔特許文献17〕特開2002−352228号公報
そして、認識された表情は人物属性情報とともに人物グループ形態判定手段14に送られ、次の(6)〜(9)に示されるような人物グループ形態判定が行われる。
(6)IF グループ=1人 AND 人物特徴=子供 AND 表情=泣く THEN 事象=迷子
(7)IF グループ=1人 AND 人物特徴=子供 AND 顔向き変化角度振幅>TH ANG AMP AND 顔向き変化回数/秒>TH ANG FRQ THEN 事象=迷子
(8)IF グループ2人 AND 表情=怒る THEN 事象=近接異常行動
(9)IF グループ.要同伴者TH NUM3 AND グループ.同伴者<TH NUM4 THEN 事象=同伴者なし要同伴者
なお、要同伴者とは、顔色が赤(酔っ払い)又は蒼白(病人)のことを指し、顔色に着目しているという点を除けば前記第3の実施の形態と同様である。

また、前記人物グループ通知手段15は、顔表情認識に基づく人物グループ形態判定によって、例えば、図20に示されるように出力を行う。

このように、本実施の形態においては、顔表情認識手段21を有し、人物の表情や顔色を認識して人物グループ形態判定に利用するようになっている。すなわち、人物グループ形態判定手段14は、人物特徴抽出手段17によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段21を備え、前記表情及び顔色を利用してグループ形態判定を行う。そのため、人物グループの形態がどのようなものであるかを、人物の表情や顔色に基づいて、より詳しく知ることができ、よりオペレータの希望に沿った結果を出力することができる。

さらに、人物グループ形態判定手段14は、検出された人物が単独行動をする子供と判定され、かつ、顔表情認識手段21によって表情が「泣く」であると認識された場合、又は、顔向きの変化の頻度が閾値より高く、かつ、前記変化の振幅が閾値より大きいと認識された場合に、前記人物を迷子であると判定する。さらに、人物グループ形態判定手段14は、検出された人物を人物グループ判定手段13がグループ行動者であると判定し、かつ、各人物の表情を顔表情認識手段21が「怒る」と認識した場合に、前記人物のグループのグループ形態を近接異常行動であると判定する。さらに、人物グループ形態判定手段14は、人物特徴抽出手段17によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段21を備え、該顔表情認識手段21が検出された人物の顔色を「赤」又は「蒼白」であると認識した場合に、前記人物を同伴者なし要同伴者と判定する。

例えば、迷子を検知する場合、前記第3の実施の形態においては、低年齢の単独行動人物を検知するためキッズスペースで遊んでいる子供のように、迷子でもないのに親と離れている子供を誤って検知しがちである。しかし、本実施の形態においては、迷子の子供の顔に頻繁に表れる「泣く」という表情、又は、顔向きを頻繁にきょろきょろ動かしていることをキーとして付加するので、より的確に検知することができる。

また、例えば、取っ組み合いの喧嘩(けんか)、犯罪行為等の近接異常行動については、同一グループに属する人物が怒った顔をしていることを認識することによって確信を持って検知することができる。特に、顔が赤い場合は、酔っ払いの喧嘩として確信を持って検知することができる。

さらに、要監視酔っ払いや要保護体調不良者は、単に顔色を見ただけでは不必要に多くの人物が酔っ払いや体調不良者として検知されてしまうことがある。しかし、本実施の形態においては、単独行動であることを示す情報、すなわち、監視や保護をする人物が周囲にいないという情報を付加することによって、特に、監視や保護の必要な人物に絞って検知することができる。

次に、本発明の第7の実施の形態について説明する。なお、第1〜第6の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第6の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図21は本発明の第7の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置10は、前記第3の実施の形態において説明した構成に加えて、入力手段としての音響取得手段22、及び、人物特徴抽出手段17の後段に接続された人物音響特徴抽出手段23を有する。そして、前記音響取得手段22は、マイクロホン装置及びA/D変換器を備える。また、前記人物音響特徴抽出手段23は、前記音響取得手段22から音響信号を受け取るインターフェイス、人物特徴に関するパターンの信号を格納する記憶装置、及び、音響信号から人物特徴に関係するパターンを認識する演算処理装置又はソフトウェアを備える。

次に、本実施の形態における検知装置10の動作について説明する。

図22は本発明の第7の実施の形態における特徴音の方位及びレベル特性を示す図、図23は本発明の第7の実施の形態における画像から検出された人物の位置を示す図である。

本実施の形態においては、前記音響取得手段22及び人物音響特徴抽出手段23を用いて検出した人物の音響的特徴を抽出し、人物グループ判定の付加情報として利用するようになっている。

この場合、前記音響取得手段22は、動画像取得手段11のカメラ装置と同一の場所に配設したマイクロホン等を用いて音響信号を取得し、人物音響特徴抽出手段23に送る。そして、該人物音響特徴抽出手段23は、あらかじめ人物の音響的特徴パターンをデータベースに格納しておき、音響信号が送られてくる毎に、該音響信号の中から人物行動の特徴を示すパターンを検出し、人物音響特徴情報として人物グループ判定手段13に送る。この特徴を入力された音響信号から検出する方法は公知である(例えば、特許文献18参照。)。その結果、ある特徴的な音が検出された場合、その時点で検出されている人物のいずれかがその音を発していると推測される。

ここで、音響取得手段22に指向性を持たせ、公知の音源方向推定方法(例えば、特許文献19参照。)等を用いて音の発生方向を推定し、その方向情報と人物検出手段12による人物位置情報とを結び付けたりしてもよい。例えば、音響取得手段22である特定音について方位別のレベルを計測すると、図22に示されるように、左上側のレベルが高く、かつ、図23に示される位置に人物が検出されているとき、図23における左上で検出された番号が1番の人物がその特定音を発している人物とされる。

また、人物音響特徴抽出手段23において、公知の音声認識方法(例えば、特許文献20参照。)を用いて音響信号から人物の発話と思われる音響信号を認識してもよい。

〔特許文献18〕特開平8−54891号公報
〔特許文献19〕特開平5−87903号公報
〔特許文献20〕特開平5−66790号公報
そして、人物グループ形態判定手段14は、人物音響特徴抽出手段23によって抽出された人物の音響的特徴人物を加味して、次の(10)〜(13)に示されるように人物グループ形態判定を行う。
(10)IF グループ=1人 AND 人物特徴=子供 AND 特徴音=子供の泣き声 THEN 事象=迷子
(11)IF グループ=1人 AND 人物特徴=子供 AND 発話内容=迷子と推定することができる発言(「ママ」等) THEN 事象=迷子
(12)IF グループ2人 AND 発話内容=犯罪や喧嘩と推定することができる発言(「ドロボー」、「殺す」、「コノヤロー」、「テメー」、「キサマ」等) THEN 事象=犯罪行為
(13)IF グループ2人 AND 特徴音=犯罪や喧嘩と推定することができる音(悲鳴、殴打音等) THEN 事象=犯罪行為
また、前記人物グループ通知手段15は、抽出した人物音響特徴に基づく人物グループ形態判定によって出力を行う。ここで、抽出した特徴音を同時に出力してもよい。

このように、本実施の形態においては、前記音響取得手段22及び人物音響特徴抽出手段23を有し、人物の特徴音を抽出して人物グループの形態を判定するために利用するようになっている。すなわち、人物グループ形態判定手段14は、各地点の音を取得する音響取得手段22と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段23とを備え、音響的特徴に基づいて人物グループ形態を判定する。さらに、音響取得手段22は指向性を持たせて音を取得し、検出された人物が音響取得手段22によって取得された音のレベルの強い方向に存在する場合に、人物グループ形態判定手段14は、前記人物が取得された音を発したと判定する。さらに、人物音響特徴抽出手段23は、検出された人物の発話の認識を行う。さらに、人物グループ形態判定手段14は、人物音響特徴抽出手段23によって、人物から子供の泣き声、同伴者を呼ぶ発話等の迷子の音響的特徴が抽出され、かつ、前記人物が単独行動する子供であると判定された場合に、前記人物を迷子であると判定する。さらに、人物グループ形態判定手段14は、同一グループに属する人物群について、人物音響特徴抽出手段23によって怒鳴り声、殴打音、悲鳴等の犯罪行為の音響的特徴が抽出された場合に、前記人物群のグループ形態を犯罪行為と判定する。そのため、人物グループの形態がどのようなものであるかを、声等人物の発する音に基づいて詳しく知ることができ、オペレータの希望に沿った結果を出力することができる。

次に、本発明の第8の実施の形態について説明する。なお、第1〜第7の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第7の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。

図24は本発明の第8の実施の形態における検知装置の構成を示す図である。

本実施の形態において、検知装置10は、前記第7の実施の形態において説明した構成に加えて、人物特徴抽出手段17の後段に接続された顔認証手段20及び顔表情認識手段21、並びに、前記顔認証手段20に接続された顔認証辞書格納手段19を有し、また、前記第1〜第7の実施の形態における人物グループ形態判定手段14に代えて人物特徴スコア化手段24を有する。

そして、該人物特徴スコア化手段24は、入力された人物グループ情報、人物特徴情報、顔表情情報、顔認証スコア及び人物音響特徴人物といったすべての情報を加味してスコアに換算して出力する機能を備え、オペレータがスコア換算の条件を設定するためのインターフェイス、及び演算処理装置又はソフトウェアを備える。

次に、本実施の形態における検知装置10の動作について説明する。

図25は本発明の第8の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

本実施の形態においては、人物特徴スコア化手段24によって人物グループ情報等検出人物に関する複数の情報を加味してスコアに換算し、人物グループ形態情報として利用するようになっている。

この場合、前記人物特徴スコア化手段24は、人物グループ判定手段13から送られたグループ人数の情報、人物特徴抽出手段17から送られた年齢、服装等の人物特徴情報、顔表情認識手段21から送られた人物の顔表情情報、顔認証手段20から送られた顔スコア、人物音響特徴抽出手段23から送られた人物音響特徴情報等のすべての情報を加味して、それを任意に設定条件の基に重み付け加算等をして人物特徴スコアを算出する。この設定条件は、処理に先立ってオペレータが自由に設定することができる。

そして、前記人物グループ通知手段15は、算出された人物特徴スコアを基に、例えば、図25に示されるように、人物特徴スコアの高い順に出力を行う。例えば、赤い服を着た5歳の子供が迷子になっていて、該子供を捜す必要があるとする。この場合、迷子であるので単独行動をして泣いている確率が高い、すなわち、泣く表情をしていて泣き声を上げている。また、人物特徴としては服装が赤で、年齢が5歳と判定された人物が捜す対象の子供である確率が高い。さらに、顔認証を行われる場合は、顔認証の認証スコアの高い人物が捜す対象の子供である確率が高い。したがって、単独行動をしていて、服装が赤で年齢が5歳と判定され、泣く表情をしていて、泣き声を上げていて、顔認証スコアが高いという条件が満たされるときに、スコアが高くなるような演算を行い、検出されたそれぞれの人物についてスコアを算出し、算出された該スコアの高い順に人物の情報を出力する。

このように、本実施の形態においては、前記人物特徴スコア化手段24を有し、人物の複数の特徴を、オペレータが任意に設定した条件に基づいて統一された1つのスコアに換算して、人物グループ形態判定に利用することによって、複数の人物判定方法を組み合わせて一元的に結果を出力することができるようになっている。すなわち、人物グループ形態判定手段14に代えて、グループ判定、人物特徴、顔認証スコア、顔表情、音響的特徴の情報を重み付け加算してスコア化する人物特徴スコア化手段24を有し、スコアとして算出した値に基づいて人物情報を出力する。そのため、オペレータが複数の人物情報を参照することなく、所望の人物グループ形態判定結果を見ることができ、オペレータの作業負荷を軽減することができる。

また、人物位置やグループ判定結果、出力された年齢や服装等の人物特徴や表情、顔認証スコア等の認識情報は、取得された画像や音の状態や照明条件、評価する地点の混雑具合等によって大きくブレが生じることがある。しかし、本実施の形態においては、これらを複数組み合わせて統一したスコアとして出力することによって、一部の認識手段にブレがあったとしても、他の認識手段で正確な認識情報を得ることができたとすると、そちらを採用することによってブレの悪影響を抑えることができ、より信頼性の高い認識結果を出力することができる。

なお、前記第1〜第8の実施の形態において、画像や音以外に人物情報を得る手段が何もないものとしたが、カードパス、非接触タグ等の人物情報を得るための他の手段がある場合でも、人物グループ形態判定手段14等においてその情報を加味して利用することができる。

また、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。

本発明の第1の実施の形態における検知装置の構成を示す図である。 本発明の第1の実施の形態における人物検出手段によって検出された人物の例を示す図である。 本発明の第1の実施の形態における人物の相対距離を示す第1の図である。 本発明の第1の実施の形態における人物の相対距離を示す第2の図である。 本発明の第1の実施の形態における人物の相対距離を示す第3の図である。 本発明の第1の実施の形態における人物の相対速度を示す第1の図である。 本発明の第1の実施の形態における人物の相対速度を示す第2の図である。 本発明の第1の実施の形態における人物の相対速度を示す第3の図である。 本発明の第1の実施の形態における人物グループ通知手段の通知表示の例を示す図である。 本発明の第2の実施の形態における検知装置の構成を示す図である。 本発明の第2の実施の形態における人物の相対距離の出現数の分布を示す図である。 本発明の第2の実施の形態における人物の相対距離の確率密度関数を示す図である。 本発明の第3の実施の形態における検知装置の構成を示す図である。 本発明の第3の実施の形態における人物グループ通知手段の通知表示の例を示す図である。 本発明の第4の実施の形態における検知装置の構成を示す図である。 本発明の第4の実施の形態における人物グループ通知手段の通知表示の例を示す図である。 本発明の第5の実施の形態における検知装置の構成を示す図である。 本発明の第5の実施の形態における人物グループ通知手段の通知表示の例を示す図である。 本発明の第6の実施の形態における検知装置の構成を示す図である。 本発明の第6の実施の形態における人物グループ通知手段の通知表示の例を示す図である。 本発明の第7の実施の形態における検知装置の構成を示す図である。 本発明の第7の実施の形態における特徴音の方位及びレベル特性を示す図である。 本発明の第7の実施の形態における画像から検出された人物の位置を示す図である。 本発明の第8の実施の形態における検知装置の構成を示す図である。 本発明の第8の実施の形態における人物グループ通知手段の通知表示の例を示す図である。

符号の説明

10 検知装置
11 動画像取得手段
12 人物検出手段
13 人物グループ判定手段
14 人物グループ形態判定手段
15 人物グループ通知手段
16 人物グループ空間統計手段
17 人物特徴抽出手段
18 人物検索手段
19 顔認証辞書格納手段
20 顔認証手段
21 顔表情認識手段
22 音響取得手段
23 人物音響特徴抽出手段
24 人物特徴スコア化手段

Claims (5)

  1. (a)不特定多数の人物が集まる場所において、各地点の動画像を取得する動画像取得手段と、
    (b)取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する人物検出手段と、
    (c)検出された前記人物の相互の位置関係から、相対距離が第1の閾値を下回る状態が、第2の閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う人物グループ判定手段とを有し
    (d)該人物グループ判定手段は、
    所定の時刻における検出された人物の相対距離を集計し、該相対距離の出現分布を確率密度関数に当て嵌め、所定の出現確率に対応する相対距離の値を閾値として算出する人物グループ空間統計手段を備え、
    該人物グループ空間統計手段が算出した閾値を前記第1の閾値として前記グループ判定を行うことを特徴とする単独行動者及びグループ行動者検知装置。
  2. グループ形態を判定する人物グループ形態判定手段を更に有し、
    人物グループ形態判定手段は、前記人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段を備え、
    前記グループ判定の結果による人数と、前記人物の特徴情報との組合せに応じて、迷子、カップル、親子連れ、団体、又は、同伴者なし要同伴者を判定する請求項に記載の単独行動者及びグループ行動者検知装置。
  3. 前記人物グループ形態判定手段が判定したグループ形態をオペレータに通知する人物グループ通知手段を更に有し、
    人物グループ通知手段は、検出された前記人物の位置、グループ判定情報又は特徴情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段を備え、前記指定された条件に該当する人物の情報を絞り込んで出力する請求項に記載の単独行動者及びグループ行動者検知装置。
  4. 前記人物グループ形態判定手段は、
    前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、
    前記グループ判定の結果による人数と、前記人物の表情、顔色及び顔向きとの組合せに応じて、迷子、近接異常行動、又は、同伴者なし要同伴者を判定する請求項2又は3に記載の単独行動者及びグループ行動者検知装置。
  5. 前記人物グループ形態判定手段は、
    前記各地点の音を取得する音響取得手段と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段とを備え、
    前記グループ判定の結果による人数と、前記音響的特徴との組合せに応じて、迷子又は犯罪行為を判定する請求項のいずれか1項に記載の単独行動者及びグループ行動者検知装置。
JP2004278855A 2004-09-27 2004-09-27 単独行動者及びグループ行動者検知装置 Active JP4506381B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004278855A JP4506381B2 (ja) 2004-09-27 2004-09-27 単独行動者及びグループ行動者検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004278855A JP4506381B2 (ja) 2004-09-27 2004-09-27 単独行動者及びグループ行動者検知装置

Publications (2)

Publication Number Publication Date
JP2006092396A JP2006092396A (ja) 2006-04-06
JP4506381B2 true JP4506381B2 (ja) 2010-07-21

Family

ID=36233284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004278855A Active JP4506381B2 (ja) 2004-09-27 2004-09-27 単独行動者及びグループ行動者検知装置

Country Status (1)

Country Link
JP (1) JP4506381B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430214A (zh) * 2011-03-28 2013-12-04 日本电气株式会社 人员跟踪设备、人员跟踪方法以及存储人员跟踪程序的非瞬态计算机可读介质
US9761248B2 (en) 2013-04-26 2017-09-12 Nec Corporation Action analysis device, action analysis method, and action analysis program
US10242271B2 (en) 2014-12-25 2019-03-26 Panasonic Intellectual Property Management Co., Ltd. Facility use measuring device and facility use measuring system
CN110766919A (zh) * 2019-10-22 2020-02-07 成都中科大旗软件股份有限公司 用于游客防走失的报警提示方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4958600B2 (ja) * 2007-03-30 2012-06-20 パナソニック株式会社 見守りシステムおよびマスキング処理方法
JP4919118B2 (ja) 2008-01-21 2012-04-18 日本電気株式会社 パターン照合システム、パターン照合方法およびパターン照合用プログラム
JP5127531B2 (ja) * 2008-03-27 2013-01-23 セコム株式会社 画像監視装置
CN101673346B (zh) * 2008-09-09 2013-06-05 日电(中国)有限公司 对图像进行处理的方法、设备和系统
JP5091095B2 (ja) * 2008-11-25 2012-12-05 綜合警備保障株式会社 動作検出装置および動作検出方法
JP5347549B2 (ja) 2009-02-13 2013-11-20 ソニー株式会社 情報処理装置および情報処理方法
JP5209531B2 (ja) * 2009-02-17 2013-06-12 株式会社日立ソリューションズ 生体認証情報処理システム
JP5418938B2 (ja) * 2009-03-04 2014-02-19 株式会社国際電気通信基礎技術研究所 グループ行動推定装置およびサービス提供システム
JP5649301B2 (ja) * 2009-12-16 2015-01-07 キヤノン株式会社 映像加工処理方法及びその装置
JP5550974B2 (ja) * 2010-04-19 2014-07-16 セコム株式会社 不審者検知装置
JP5434783B2 (ja) * 2010-04-30 2014-03-05 富士通株式会社 相乗り判定装置、環境負荷算出装置、相乗り判定プログラムおよび相乗り判定方法
JP5657377B2 (ja) * 2010-12-28 2015-01-21 セコム株式会社 異常検知装置
JP5888770B2 (ja) * 2011-09-22 2016-03-22 Necエンベデッドプロダクツ株式会社 迷子発見システム及び方法
JP5902437B2 (ja) * 2011-10-27 2016-04-13 ダイコク電機株式会社 遊技者管理装置
JP5797549B2 (ja) * 2011-12-28 2015-10-21 東芝テック株式会社 情報表示装置およびプログラム
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
US10635908B2 (en) 2013-09-19 2020-04-28 Nec Corporation Image processing system and image processing method
JP6349272B2 (ja) * 2015-02-27 2018-06-27 セコム株式会社 移動物体追跡装置
JP5895079B1 (ja) * 2015-04-01 2016-03-30 株式会社notteco 相乗り支援システム、携帯端末、プログラム、相乗り支援方法、および賃貸借支援システム
US10372989B2 (en) 2015-10-30 2019-08-06 Canon Kabushiki Kaisha Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
JP6340538B2 (ja) * 2016-03-11 2018-06-13 株式会社プロドローン 生体探索システム
WO2018116488A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム
WO2018138803A1 (ja) * 2017-01-25 2018-08-02 三菱電機株式会社 混雑予測装置及び混雑予測方法
JP2018132803A (ja) * 2017-02-13 2018-08-23 日本電気株式会社 人物検出システム
WO2018180588A1 (ja) * 2017-03-27 2018-10-04 株式会社日立国際電気 顔画像照合システムおよび顔画像検索システム
JP6483214B1 (ja) * 2017-09-20 2019-03-13 東芝エレベータ株式会社 エレベータシステム及びエレベータの迷子検出方法
JP6390015B2 (ja) * 2018-03-13 2018-09-19 株式会社プロドローン 生体探索システム
WO2019187288A1 (ja) * 2018-03-27 2019-10-03 日本電気株式会社 情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183205A (ja) * 2000-12-11 2002-06-28 Minolta Co Ltd データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP2004054376A (ja) * 2002-07-17 2004-02-19 Hitoshi Hongo グループ属性推定方法及びグループ属性推定装置
JP2004221725A (ja) * 2003-01-10 2004-08-05 Matsushita Electric Ind Co Ltd 監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183205A (ja) * 2000-12-11 2002-06-28 Minolta Co Ltd データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP2004054376A (ja) * 2002-07-17 2004-02-19 Hitoshi Hongo グループ属性推定方法及びグループ属性推定装置
JP2004221725A (ja) * 2003-01-10 2004-08-05 Matsushita Electric Ind Co Ltd 監視装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430214A (zh) * 2011-03-28 2013-12-04 日本电气株式会社 人员跟踪设备、人员跟踪方法以及存储人员跟踪程序的非瞬态计算机可读介质
CN103430214B (zh) * 2011-03-28 2016-10-26 日本电气株式会社 人员跟踪设备和人员跟踪方法
US9761248B2 (en) 2013-04-26 2017-09-12 Nec Corporation Action analysis device, action analysis method, and action analysis program
US10242271B2 (en) 2014-12-25 2019-03-26 Panasonic Intellectual Property Management Co., Ltd. Facility use measuring device and facility use measuring system
CN110766919A (zh) * 2019-10-22 2020-02-07 成都中科大旗软件股份有限公司 用于游客防走失的报警提示方法

Also Published As

Publication number Publication date
JP2006092396A (ja) 2006-04-06

Similar Documents

Publication Publication Date Title
US10083558B1 (en) Security and public safety application for a mobile device with audio/video analytics and access control authentication
AU2016200905B2 (en) A system and method for identifying and analyzing personal context of a user
US10853650B2 (en) Information processing apparatus, information processing method, and program
US10614627B2 (en) Holographic technology implemented security solution
US10455342B2 (en) Sound event detecting apparatus and operation method thereof
US20190297461A1 (en) Device location based on machine learning classifications
Cippitelli et al. Radar and RGB-depth sensors for fall detection: A review
Planinc et al. Introducing the use of depth data for fall detection
US10694106B2 (en) Computer vision application processing
Bao et al. Movi: mobile phone based video highlights via collaborative sensing
US8983435B2 (en) System and method for providing an alert based on user location
JP5657113B2 (ja) 映像内のオブジェクトの意味解析
Neto et al. A kinect-based wearable face recognition system to aid visually impaired users
EP2918071B1 (en) System and method for processing visual information for event detection
US6424264B1 (en) System for real-time location of people in a fixed environment
US8345935B2 (en) Detecting behavioral deviations by measuring eye movements
CN101310288B (zh) 采用视频原语的视频监视系统
CA2505831C (en) Method and system for tracking and behavioral monitoring of multiple objects moving through multiple fields-of-view
US10271017B2 (en) System and method for generating an activity summary of a person
CN103092345B (zh) 一种移动终端的模式切换方法及装置
Azizyan et al. Surroundsense: mobile phone localization via ambience fingerprinting
CN103621131B (zh) 用于使用视听信息对设备进行空间准确定位的方法及系统
CN105488478A (zh) 一种人脸识别系统和方法
US7106885B2 (en) Method and apparatus for subject physical position and security determination
Tjan et al. Digital sign system for indoor wayfinding for the visually impaired

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4506381

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4