JP7047944B2 - 映像監視システム、映像監視方法、及びプログラム - Google Patents

映像監視システム、映像監視方法、及びプログラム Download PDF

Info

Publication number
JP7047944B2
JP7047944B2 JP2021016332A JP2021016332A JP7047944B2 JP 7047944 B2 JP7047944 B2 JP 7047944B2 JP 2021016332 A JP2021016332 A JP 2021016332A JP 2021016332 A JP2021016332 A JP 2021016332A JP 7047944 B2 JP7047944 B2 JP 7047944B2
Authority
JP
Japan
Prior art keywords
attribute
person
camera
range
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021016332A
Other languages
English (en)
Other versions
JP2021073618A (ja
Inventor
亮磨 大網
勝彦 高橋
勇介 小西
洋志 山田
浩雄 池田
淳子 中川
航介 吉見
諒 川合
拓也 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021073618A publication Critical patent/JP2021073618A/ja
Priority to JP2022046412A priority Critical patent/JP2022089834A/ja
Application granted granted Critical
Publication of JP7047944B2 publication Critical patent/JP7047944B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Description

本発明は映像監視に関する。
監視カメラの映像を解析する技術が開発されている。例えば特許文献1は、監視カメラの映像を用いて人の群衆の数、密度、平均速度、平均移動ベクトルなどを把握することで、ある空間の混雑の程度などを監視する技術を開示している。
特開2003-348569号公報 国際公開第2014/207991号 特表2014-517371号公報
特許文献1の技術では、群衆に含まれる人を区別せず、同一の物の集まりとして群衆を見ている。そのため特許文献1の技術を用いても、群衆にどのような人が含まれているかを把握することができない。また、特許文献1の技術は、人や物体(あるいはその集合)を個別に分離して検出する技術であるため、人数が多く、うまく個別に分離できない群衆状態では、人数などを正しく判定することが困難になる。
特許文献2では、人の群衆を一人ひとり分離せず、群衆の塊として認識する方式が開示されている。この方式を用いれば、人が重なり合った状態でも人数や密度の推定が可能になる。しかし、特許文献1と同様、同一の物の塊としてとらえるため、群衆にどのような人が含まれているかを把握できない。
一方、特許文献3では、人の年齢・性別などの属性情報を推定し、人に提示する広告を選択する方法が開示されている。特許文献3の技術では、顔といった人物の一部を捉えているのみで、その人物の位置を正確に求めることができない。また、特許文献3の技術では、群衆の流れも算出できない。このため、広告を提示する場所にいる人の属性は判定できても、他の場所にどのような人がいるかを推定することはできない。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、オブジェクトの属性の分布を詳細に把握するための技術を提供することである。
本発明の第1の映像監視システムは、(1)監視カメラが撮像した撮像画像を取得する取得手段と、(2)予め持ち物を有する人物または持ち物の特徴を学習した識別器を用いて、前記撮像画像に映る人物が前記持ち物のうち少なくともベビーカー、車いす、又は杖を有するか否かを判定し、前記人物に対し前記持ち物に応じて異なる属性を判定する判定手段と、(3)前記属性の判定結果に基づく統計処理の結果を出力する出力手段と、を備える。
本発明の第2の映像監視システムは、(1)監視カメラが撮像した撮像画像を取得する取得手段と、(2)撮像画像に映る人物の歩行情報に基づき前記人物が歩行困難者であるか否かを判定し、前記人物に対し持ち物に応じて判定される属性とは異なる属性を判定する判定手段と、(3)前記属性の判定結果に基づく統計処理の結果を出力する出力手段と、を備える
本発明の第1の映像監視方法は、コンピュータが、(1)監視カメラが撮像した撮像画像を取得し、(2)予め持ち物を有する人物または持ち物の特徴を学習した識別器を用いて、前記撮像画像に映る人物が前記持ち物のうち少なくともベビーカー、車いす、又は杖を有するか否かを判定し、前記人物に対し前記持ち物に応じて異なる属性を判定し、(3)前記属性の判定結果に基づく統計処理の結果を出力する、ことを含む。
本発明の第2の映像監視方法は、コンピュータが、(1)監視カメラが撮像した撮像画像を取得し、(2)撮像画像に映る人物の歩行情報に基づき前記人物が歩行困難者であるか否かを判定し、前記人物に対し持ち物に応じて判定される属性とは異なる属性を判定し、(3)前記属性の判定結果に基づく統計処理の結果を出力する、ことを含む
本発明の第1のプログラムは、コンピュータに、(1)監視カメラが撮像した撮像画像を取得する処理、(2)予め持ち物を有する人物または持ち物の特徴を学習した識別器を用いて、前記撮像画像に映る人物が前記持ち物のうち少なくともベビーカー、車いす、又は杖を有するか否かを判定し、前記人物に対し前記持ち物に応じて異なる属性を判定する処理、(3)前記属性の判定結果に基づく統計処理の結果を出力する処理、を実行させる。
本発明の第2のプログラムは、コンピュータに、(1)監視カメラが撮像した撮像画像を取得する処理、(2)撮像画像に映る人物の歩行情報に基づき前記人物が歩行困難者であるか否かを判定し、前記人物に対し持ち物に応じて判定される属性とは異なる属性を判定する処理、(3)前記属性の判定結果に基づく統計処理の結果を出力する処理、を実行させる
本発明によれば、オブジェクトの属性の分布を詳細に把握する技術が提供される。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態1に係る情報処理装置を例示するブロック図である。 固定カメラと移動カメラの動作を概念的に例示する図である。 推定部による推定を概念的に例示する図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態1の情報処理装置によって実行される処理の流れを例示するフローチャートである。 第1監視画像について算出したオプティカルフローを例示する図である。 オブジェクトの位置の変化を例示する図である。 移動カメラの撮像範囲の属性分布を移動させることで推定範囲の属性分布を推定する様子を例示する図である。 移動カメラの撮像範囲の属性分布を移動させることで推定範囲の属性分布を推定する様子を例示する図である。 地図情報を利用して移動カメラの移動方向を推定する様子を例示する図である。 所定の形状及び広さの推定範囲について属性分布が推定される様子を例示する図である。 固定カメラの撮像範囲と同じ形状及び広さの推定範囲について属性分布が推定される様子を例示する図である。 時間と共に群衆が拡散する様子を例示する図である。 群衆の流れが複数存在する様子を例示する図である。 複数の移動カメラが存在する様子を例示する図である。 データの生成時点と属性分布が生成される時点との関係を例示する図である。 或る時点に関する属性分布をその時点以降に生成されたデータを利用して推定する方法を例示する図である。 ディスプレイ装置に表示される地図を例示する図である。 推定された属性分布が重畳された地図を例示する図である。 実施形態2の情報処理装置を例示するブロック図である。 移動カメラの撮像範囲に含まれていた群衆が、属性値が互いに異なる複数の群衆に分かれていく様子を例示する図である。 実施形態3の情報処理装置を例示するブロック図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
[実施形態1]
図1は、実施形態1に係る情報処理装置2000を例示するブロック図である。図1において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
情報処理装置2000は、固定カメラによって生成される監視画像と移動カメラによって生成される監視画像という、2種類の監視画像を用いる。固定カメラは、位置が固定されているカメラである。例えば固定カメラは、壁、柱、又は天井などの様々な場所に固定で設置された監視カメラである。なお、固定カメラが設置されている場所は、屋内であってもよいし、屋外であってもよい。また、固定カメラが設けられている壁等は、ある程度の期間位置が固定されていればよく、不動産に限定されない。例えば固定カメラが設置される壁等は、イベント会場などに臨時で設置される仕切りや柱などでもよい。あるいは、後述の移動カメラとしても利用可能なカメラが装備された移動体をある場所で停止させ、そのカメラを固定カメラとして用いるようにしてもよい。移動体は、例えば車、バイク、ロボット、又は飛行物体(例えばドローンや飛行船)などである。
移動カメラは、位置が移動するカメラである。例えば移動カメラは、人に身につけられていたり、前述した移動体などに取り付けられていたりする。人に身につけられる移動カメラは、例えば手で保持するカメラ(ビデオカメラや、スマートフォンなどの携帯端末のカメラ)、又は頭若しくは胸などに固定されるカメラ(ウェアラブルカメラなど)などである。車、バイク、ロボット、又は飛行物体などに取り付けられるカメラは、いわゆるドライブレコーダとして用いるために取り付けられているカメラであってもよいし、監視撮影用に別途取り付けられたカメラであってもよい。
移動カメラと固定カメラはいずれも、監視対象の場所を動画で撮影する。監視対象の場所は任意である。例えば監視対象の場所は、イベント会場とその最寄り駅との間の経路などである。なお、監視対象の場所は屋内であってもよいし、屋外であってもよい。
図2は、固定カメラと移動カメラの動作を概念的に例示する図である。固定カメラ10は、オブジェクトの集合(群衆)を撮影して第1監視画像12を生成する。オブジェクトは、人であってもよいし、人以外のもの(例えば車、バイク、動物など)であってもよい。移動カメラ20は群衆を撮影して第2監視画像22を生成する。
固定カメラ10と移動カメラ20の撮像範囲は、重なっていてもよいし、重なっていなくてもよい。固定カメラ10が撮影する群衆と移動カメラ20が撮影する群衆は、それらの一部が互いに重複していてもよいし、重複していなくてもよい。
固定カメラ10と移動カメラ20の数は、それぞれ1つであってもよいし、複数であってもよい。また、固定カメラ10の数と移動カメラ20の数は、互いに同じであってもよいし異なっていてもよい。
情報処理装置2000は、第1解析部2020、第2解析部2040、及び推定部2060を有する。第1解析部2020は、第1監視画像12を用いて、固定カメラ10の撮像範囲における群衆の流れを算出する。
第2解析部2040は、第2監視画像22を用いて、移動カメラ20の撮像範囲におけるオブジェクトの属性の分布を算出する。オブジェクトの属性とは、そのオブジェクトの特徴を表す。例えばオブジェクトが人である場合、年齢層が属性の一例である。
或る範囲におけるオブジェクトの属性の分布とは、「どの属性のオブジェクトが、どの程度その範囲に含まれるか」を表す。例えばオブジェクトが人であり、属性が年齢層であるとする。この場合、オブジェクトの属性は、例えば「移動カメラ20の撮像範囲に含まれる子供と大人の比率」などである。以下、オブジェクトの属性の分布を、「属性分布」とも表記する。
推定部2060は、移動カメラ20の撮像範囲に含まれない範囲について属性分布を推定する。以下、推定部2060が属性分布を推定する範囲を、推定範囲とも表記する。なお推定範囲は、移動カメラ20の撮像範囲に含まれていない範囲を含んでいればよく、移動カメラ20の撮像範囲に含まれる範囲も含んでよい。
図3は、推定部2060による推定を概念的に例示する図である。図3において、固定カメラ10の撮像範囲と移動カメラ20の撮像範囲にはいずれも群衆が含まれている。また図3では、固定カメラ10の撮像範囲は、移動カメラ20の撮像範囲よりも広くなっている。
第1解析部2020は、固定カメラ10の撮像範囲14内の群衆が写っている第1監視画像12を用いて、その群衆の流れを算出する。その結果、第1解析部2020は、群衆が右方向に移動していることを割り出す。
第2解析部2040は、移動カメラ20の撮像範囲24内の群衆が写っている第2監視画像22を用いて、その群衆における属性分布を算出する。ここで、第2解析部2040が、撮像範囲24について「大人と子供の比率=3:2」という属性分布を算出したとする。
推定部2060は、固定カメラ10の撮像範囲14内の群衆が右方向に移動していること、及び移動カメラ20の撮像範囲24の属性分布が「大人と子供の比率=3:2」であることから、この「大人と子供の比率=3:2」という属性分布が右方向に移動すると推測する。そこで推定部2060は、移動カメラ20の撮像範囲24よりも右方にある推定範囲60について、属性分布が「大人と子供の比率=3:2」であると推定する。
なお上述した例は、情報処理装置2000の動作についての理解を容易にするための一例であり、情報処理装置2000の動作を何ら限定するものではない。情報処理装置2000の動作についての詳細な説明は後述する。
<作用・効果>
情報処理装置2000は、固定カメラ10によって生成された第1監視画像12を用いて、群衆の流れを算出する。一方で、情報処理装置2000は、移動カメラ20によって生成された第2監視画像22を用いて、群衆に含まれるオブジェクトの属性分布を算出する。そして情報処理装置2000は、第1監視画像12を用いて算出された群衆の流れ、及び第2監視画像22を用いて算出された属性分布に基づいて、移動カメラ20の撮像範囲に含まれない範囲について属性分布を推定する。こうすることで、移動カメラ20では網羅できない広い範囲についても、属性分布を把握することができる。その結果、監視場所におけるオブジェクトの属性の分布を詳細に把握することができる。
ここで、固定カメラ10は広い範囲を撮影して多くのオブジェクトを撮像するため、第1監視画像12は、群衆全体の流れがどのようになっているかを算出する用途に適している。また、固定カメラ10は画角が固定されているため、第1監視画像12を用いることで群衆の位置を正確に算出できることからも、第1監視画像12は、群衆全体の流れがどのようになっているかを算出する用途に適している。
一方で、警備員などに装着される移動カメラ20は、近くでオブジェクトを撮影できるため、第2監視画像22には各オブジェクトが大きく写る。よって、第2監視画像22は、個々のオブジェクトの特徴(属性)を算出する用途に適している。また、移動カメラ20は位置や向きを容易に変更できるため、移動カメラ20を用いることで、時々に応じて柔軟に撮影場所や向きを変えてオブジェクトの属性を把握できる。
情報処理装置2000は、このような固定カメラ10と移動カメラ20それぞれの特徴を活かすように第1監視画像12と第2監視画像22を利用することで、オブジェクトの属性の分布を精度よく推定することができる。
以下、本実施形態についてさらに詳細に説明する。
<情報処理装置2000のハードウエア構成例>
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図4は、情報処理装置2000を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機1000は、情報処理装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージ1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージ1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ1060は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ1080は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ1080は、RAM や ROM などのメモリであってもよい。
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース1100には、キーボードやマウスなどが接続される。
ネットワークインタフェース1120は、計算機1000を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース1120は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。
例えば情報処理装置2000を実現する計算機1000は、ネットワークを介して固定カメラ10や移動カメラ20と接続されている。ただし、計算機1000を固定カメラ10や移動カメラ20と接続する方法は、ネットワークを介した接続に限定されない。また、計算機1000は固定カメラ10や移動カメラ20と通信可能に接続されていなくてもよい。
ストレージ1080は、情報処理装置2000の各機能構成部(第1解析部2020、第2解析部2040、及び推定部2060)を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、そのプログラムモジュールに対応する各機能を実現する。
計算機1000のハードウエア構成は図4に示した構成に限定されない。例えば、各プログラムモジュールはメモリ1060に格納されてもよい。この場合、計算機1000は、ストレージ1080を備えていなくてもよい。
なお情報処理装置2000は、複数の計算機を用いて実現されてもよい。例えば、第1解析部2020の機能を実現する計算機、第2解析部2040の機能を実現する計算機、及び推定部2060の機能を実現する計算機は、それぞれ異なる計算機であってもよい。
情報処理装置2000が有する機能の全部又は一部は、固定カメラ10や移動カメラ20によって実現されてもよい。このように情報処理装置2000の機能の全部又は一部を持たせる固定カメラ10や移動カメラ20としては、例えば、インテリジェントカメラ、ネットワークカメラ、IP(Internet Protocol)カメラなどと呼ばれるカメラを利用することができる。
情報処理装置2000が有する機能の一部を固定カメラ10や移動カメラ20によって実現する場合、例えば、第1解析部2020の機能を固定カメラ10で実現し、第2解析部2040の機能を移動カメラ20で実現し、推定部2060の機能をサーバマシンで実現する。この場合、固定カメラ10は、自身で生成した第1監視画像12について処理を行って、固定カメラ10の撮像範囲における群衆の流れを算出する。また、移動カメラ20は、自身で生成した第2監視画像22について処理を行って、移動カメラ20の撮像範囲におけるオブジェクトの属性の分布を算出する。そして、サーバマシンは、固定カメラ10の撮像範囲における群衆の流れを示す情報を固定カメラ10から取得し、移動カメラ20の撮像範囲におけるオブジェクトの属性の分布を示す情報を移動カメラ20から取得する。そして、サーバマシンは、これら取得した情報を用いて、移動カメラ20の撮像範囲に含まれない範囲について属性分布を推定する。
<処理の流れ>
図5は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。第1解析部2020は、第1監視画像12を取得する(S102)。第1解析部2020は、固定カメラ10によって生成された第1監視画像12を用いて、固定カメラ10の撮像範囲における群衆の流れを算出する(S104)。第2解析部2040は、第2監視画像22を取得する(S106)。第2解析部2040は、移動カメラ20によって生成された第2監視画像22を用いて、移動カメラ20の撮像範囲について属性分布を算出する(S108)。推定部2060は、移動カメラ20の撮像範囲における属性分布と、固定カメラ10の撮像範囲における群衆の流れとに基づいて、移動カメラ20の撮像範囲に含まれない推定範囲について属性分布を推定する(S110)。
<第1監視画像12の取得方法:S102>
第1解析部2020は第1監視画像12を取得する(S102)。第1解析部2020が第1監視画像12を取得する方法は任意である。例えば第1解析部2020は、固定カメラ10から送信される第1監視画像12を受信する。また例えば、第1解析部2020は、固定カメラ10にアクセスし、固定カメラ10に記憶されている第1監視画像12を取得する。固定カメラ10は、固定カメラ10の外部に設けられている記憶装置に第1監視画像12を記憶してもよい。この場合、第1解析部2020は、この記憶装置にアクセスして第1監視画像12を取得してもよい。
第1解析部2020は、第1監視画像12をリアルタイムで取得してもよいし、第1監視画像12が生成されてからしばらく後に第1監視画像12を取得してもよい。後者の場合、例えば情報処理装置2000は、過去に(例えば前日に)撮影された第1監視画像12や第2監視画像22を取得することで、監視場所における過去の属性分布を把握し、群衆行動の解析などを行う。
第1解析部2020の機能を固定カメラ10に持たせる場合、第1解析部2020は、固定カメラ10の内部の記憶装置(例えば図4のメモリ1060やストレージ1080)に記憶されている第1監視画像12を取得する。
<第2監視画像22の取得方法:S106>
第2解析部2040は第2監視画像22を取得する(S106)。第2解析部2040が第2監視画像22を取得する方法は、第1解析部2020が第1監視画像12を取得する方法と同様である。
第2解析部2040の機能を移動カメラ20に持たせる場合、第2解析部2040は、移動カメラ20の内部の記憶装置(例えば図4のメモリ1060やストレージ1080)に記憶されている第2監視画像22を取得する。
<群衆の流れの算出方法:S104>
第1解析部2020は、固定カメラ10の撮像範囲における群衆の流れを算出する(S104)。第1解析部2020は、少なくとも、群衆の流れの方向を算出する。例えば第1解析部2020は、1つ又は複数の第1監視画像12を用いて、第1監視画像12に写っている群衆の流れを表すベクトル(以下、流れベクトル)を算出する。そして、第1解析部2020は、このベクトルが示す方向を群衆の流れの方向とする。
さらに第1解析部2020は、群衆の流れの速さを算出してもよい。この場合、第1解析部2020は、上述の流れベクトルとして、群衆の速度を表す速度ベクトルを算出する。そして第1解析部2020は、この速度ベクトルが示す方向を群衆の流れの方向とし、この速度ベクトルの長さを群衆の流れの速さとする。
ここで、第1解析部2020が群衆について流れベクトルを算出する方法は様々である。以下、その方法を例示する。
<<方法1>>
第1解析部2020は、時系列で並べられた複数の第1監視画像12それぞれに含まれる画素や特徴点のオプティカルフローを算出する。図6は、第1監視画像12について算出したオプティカルフローを例示する図である。図6に示す各矢印が、第1監視画像12について算出したオプティカルフローを表す。
第1解析部2020は、算出したオプティカルフローに基づいて、流れベクトルを算出する。例えば第1解析部2020は、オプティカルフローから1つを選択し、その選択されたオプティカルフローに基づいて流れベクトルを算出する。例えば第1解析部2020は、1つのオプティカルフローをランダムに選択し、画像上のベクトルを実空間上のベクトルに変換し、この実空間上のベクトルを流れベクトルとする。この変換では、後述するカメラパラメタを用い、画像上の点の座標を実空間上(地図上)の点の座標に変換することで、流れベクトルを算出する。例えば、画像上のベクトルの始点と終点を(xs、ys)、(xe、ye)とし、それぞれの点に対応する実空間上の座標を(Xs、Ys)、(Xe、Ye)とすると、(Xe-Xs、Ye-Ys)により、流れベクトルを算出できる。
また例えば、第1解析部2020は、複数算出されたオプティカルフローを統計処理して1つのベクトルを算出し、このベクトルに基づいて流れベクトルを算出してもよい。この統計処理は、例えばベクトルの平均を算出する処理である。ここで、流れベクトルの算出は、画面全体で1つである必要はなく、領域ごとに個別に求めてもよい。
なお、画像に含まれる画素や特徴点を用いてオプティカルフローを算出する技術には、既知の技術を利用できる。
<<方法2>>
第1解析部2020は、時系列で並べられた複数の第1監視画像12に共通で写っているオブジェクトを検出し、そのオブジェクトの位置の変化に基づいて流れベクトルを算出する。図7は、オブジェクトの位置の変化を例示する図である。図7において、点線で表されたオブジェクトは t 番目の第1監視画像12に写っており、実線で表されたオブジェクトは t+1 番目の第1監視画像12に写っているとする。矢印は、各オブジェクトの位置の変化を表す。オブジェクトの位置の変化は、例えば同一のオブジェクトを表す複数の領域の重心や接地位置(人物の場合は足元)を結んだベクトルである。
なお、第1監視画像12に複数のオブジェクトが写っている場合、前述したオプティカルフローを利用する場合と同様に、オブジェクトの位置の変化を表すベクトルが複数算出される。そこで例えば、第1解析部2020は、複数のオブジェクトから1つを選択し、その選択されたオブジェクトの位置の変化を表すベクトルを流れベクトルとする。
例えば第1解析部2020は、1つのオブジェクトをランダムに選択する。また例えば、第1解析部2020は、第1監視画像12に写っているオブジェクトの中から、トラッキングが容易なオブジェクトを選択してもよい。トラッキングが容易なオブジェクトは、他のオブジェクトや背景と比較した場合に、色彩や模様などの特徴が大きく異なるオブジェクトである。例えば、第1監視画像12に写っている人物の大部分が白っぽい服を着ており、背景も白色に近いとする。この場合、赤色や黒色といった服を着ている人は、トラッキングが容易なオブジェクトである。そこで第1解析部2020は、このようにトラッキングが容易なオブジェクトの位置の変化を表すベクトルを算出する。そして、このベクトルを流れベクトルとする。
トラッキングが容易なオブジェクトについては、位置の変化を表すベクトルを精度良く算出できる。そのため、トラッキングが容易なオブジェクトについて算出されたベクトルを流れベクトルとすることで、流れベクトルを精度良く算出することができる。
また例えば、第1解析部2020は、複数のオブジェクトの位置の変化を表す複数のベクトルを統計処理して1つのベクトルを算出し、このベクトルを流れベクトルとしてもよい。この統計処理は、例えばベクトルの平均を算出する処理である。この際、上述のようにトラッキングが容易なオブジェクトについて算出されたベクトルに大きな重みをつけて重み付き平均を算出してもよい。
前述したように、トラッキングが容易なオブジェクトについては、位置の変化を表すベクトルを精度良く算出できる。そのため、このベクトルに大きな重みをつけることで、流れベクトルを精度良く算出することができる。
<<方法3>>
群衆の移動方向が分かればよい場合、第1解析部2020は、第1監視画像12に写っているオブジェクトの向きに基づいて、流れベクトルの方向を算出してもよい。例えばオブジェクトが人や動物である場合、第1解析部2020は、これらの顔や身体の向きを割り出し、顔や身体の正面が向いている方向を流れベクトルの方向とする。またオブジェクトが車、バイク、又は飛行物体などの物である場合、第1解析部2020は、第1監視画像12に写っているオブジェクトの形状や各種部品(バンパーやハンドルなど)の位置などからオブジェクトの進行方向を割り出し、割り出した進行方向を流れベクトルの方向とする。
ここで、群衆の流れの方向や速さを算出する方法は、上述の方法に限定されない。これらを算出する方法には、1つ以上の画像を用いてその画像に写っているオブジェクトの流れ(例えば人の流れ(人流))の方向や速さを算出する既知の技術を利用することもできる。
<オブジェクトの属性について>
情報処理装置2000が扱うオブジェクトの属性は様々である。例えばオブジェクトが人である場合、属性は、年齢層、性別、国籍、所属グループ、持ち物の有無、又は歩行困難者であるか否かなどである。ここで、歩行困難者とは、怪我や障害などにより、一般の人よりも歩行速度が遅い人を意味する。オブジェクトは、各属性について、様々な属性値をとりうる。属性値とは、或る属性についてそのオブジェクトが当てはまる値である。
年齢層の属性値は、年齢層を表す種々の値である。例えば年齢の概数(10代や20代)や、年齢を表す区分(子供、若者、又は老人など)である。性別の属性値は、男性又は女性である。
国籍の属性値は、生まれた国や住んでいる国、又はそれらの国に基づく人の特徴を表す値である。例えば国籍の属性値は、日本人と外国人のいずれかを示す。また例えば、国籍の属性値は、アジア圏、ヨーロッパ圏又はアフリカ圏といった国の区分を示す。また例えば、国籍の属性値は、使用言語(日本語、英語、又は中国語など)を示してもよい。
所属グループの属性値は、任意のグループを示しうる。例えば情報処理装置2000を用いて監視している場所が、競技場において観客が通る通路や観客席である場合、どのチームのサポーターであるかによって人を分類する。より具体的には、競技場でAチームとBチームが対戦している場合、人の属性値は、「Aチームのサポーター」又は「Bチームのサポーター」を示しうる。
持ち物の有無の属性値は、種々の持ち物について、その持ち物を持っているか否か又は使っているか否かを示す。例えば持ち物には、杖、車いす、又はベビーカーなどが該当する。例えば杖の有無の属性値は、杖を持っているか否か、又は杖を使っているか否かを表す。
歩行困難者であるか否かの属性値は、その人物の歩行速度が一般的な速度より遅いか否かを表す。例えば歩行困難者であるか否かは、杖の有無や車いすの有無によって定めることができる。具体的には、杖や車いすを使っている人は歩行困難者であり、杖や車いすを使っていない人は歩行困難者でないと推定できる。また例えば、歩行困難者であるか否かは、年齢層によって定めることもできる。具体的には、老人は歩行困難者であり、それ以外の人は歩行困難者でないと推定できる。あるいは、歩容解析技術を用いて、歩き方を直接分析し、歩行困難者かどうかを判定してもよい。例えば、杖をついて歩く歩き方と、目が見えない人の歩き方(白杖を持って歩く歩き方や盲導犬を伴って歩く歩き方など)と、耳が聞こえない人が聴導犬を伴って歩く歩き方と、通常の歩き方とを分類し、歩行困難者かどうかを判定するようにしてもよい。
<属性分布の算出方法:S106>
推定部2060は、移動カメラ20の撮像範囲における属性分布を算出する(S106)。まず推定部2060は、第2監視画像22に写っている全部のオブジェクト又は一部のオブジェクトについて属性値を算出する。例えば性別という属性を扱う場合、第2解析部2040は、各オブジェクトが男性と女性のどちらであるかを割り出す。そして第2解析部2040は、算出した各オブジェクトの属性値に基づいて属性分布を算出する。
<<属性値の算出方法>>
第2解析部2040がオブジェクトについて属性値を算出する方法は、扱う属性によって異なる。例えば第2解析部2040は、第2監視画像22に写っている人物の顔の特徴などから、その人物の年齢層、性別又は国籍を算出する。ここで、人物の顔の特徴などから年齢層、性別、又は国籍(人種)を算出する技術には、既存の技術を利用できる。
属性が所属グループの場合、第2解析部2040は、オブジェクトの外観や所持品などに基づいて、オブジェクトの所属グループを割り出す。例えば或る人物がどのチームのサポーターであるかは、第2監視画像22に写っている人物の服装や所持している応援グッズなどに基づいて割り出すことができる。ここで、画像に特定の物が写っているか否かを割り出す技術には、既存の物体認識技術を利用できる。例えば、服の色や模様を解析し、応援するチームのユニフォームと同じ服であるかどうかを判定したり、特徴点を抽出して、登録してある特定の物体の特徴点と照合して、同一物体が含まれるかどうかを判定したりする技術を適用できる。
属性が持ち物の有無の場合、第2解析部2040は、第2監視画像22に写っている人物が杖、車いす、ベビーカーなどを持っているか否かを割り出すことで、その人物の属性値を算出する。前述したように、画像に特定の物が写っているか否かを割り出す技術には、既存の物体認識技術を利用できる。例えば、車いすや杖、ベビーカーの特徴を予め学習させた識別器を用いて、これらの物体を検出するようにする。
同様に、属性が歩行困難者であるか否かである場合、第2解析部2040は、第2監視画像22に写っている人物が杖や車いすを持っているか否かを割り出すことで、その人物の属性値を算出する。具体的には、第2解析部2040は、第2監視画像22に写っている人物が杖や車いすを持っていたら、その人物の属性値を「歩行困難者である」とし、その人物が杖や車いすを持っていなかったら、その人物の属性値を「歩行困難者ではない」にする。また、第2解析部2040は、第2監視画像22に写っている人物の年齢層が老人であるか否かを割り出すことで属性値を割り出してもよい。具体的には、第2解析部2040は、第2監視画像22に写っている人物の年齢層が老人であれば、その人物の属性値を「歩行困難者である」とし、その人物の年齢層が老人以外であれば、その人物の属性値を「歩行困難者ではない」にする。また、第2解析部2040は、第2監視画像22に写っている人物の歩き方を解析し、通常の人の歩き方と異なる度合いを算出することで属性値を割り出してもよい。具体的には、第2解析部2040は、通常の人の歩き方と異なる度合が大きい場合に、その人物の属性値を「歩行困難者である」とし、そうでない場合には「歩行困難者でない」とする。あるいは第2解析部2040は、直接車いすや杖を持った場合の歩き方(進み方)を学習させた識別器を用いて車いすや杖を持った場合の特有の歩き方かどうかを判定し、その人物の属性値を決定してもよい。
なお、属性値の算出には、第2監視画像22以外の物を利用してもよい。例えば移動カメラ20の撮像範囲付近にマイクが設けられている場合、第2解析部2040は、そのマイクを用いて録音された音声を解析することで、移動カメラ20の撮像範囲のオブジェクトの属性値を算出してもよい。例えば移動カメラ20が音声を含む動画を生成する場合、第2解析部2040は、この動画に含まれる音声を取得することで、移動カメラ20の撮像範囲付近の音声を取得できる。
例えば第2解析部2040は、録音された音声のトーンなどから、年齢層や性別の属性値を割り出す。また例えば第2解析部2040は、録音された音声から使用言語を割り出すことで、国籍の属性値を割り出す。
また例えば、第2解析部2040は、録音された音声に含まれるワードから、所属グループの属性値を割り出す。例えば或るチームのサポーターが発する音声には、そのチームの選手の名前などが多く含まれると考えられる。そこで、チームに所属する選手の名前など、そのチームのサポーターにとってキーワードとなる単語を含む辞書データを、各チームについて用意しておく。そして第2解析部2040は、録音された音声に含まれるワードと辞書データとをマッチングすることで、所属グループについての属性値を割り出す。
また、所属グループによって使用言語が異なる場合、第2解析部2040は、録音された音声から使用言語を割り出し、その使用言語によって所属グループを割り出してもよい。例えば、日本対アメリカの試合を行っている試合会場であれば、日本語を話す人物は日本チームのサポーターであり、英語を話す人物はアメリカチームのサポーターであると推定できる。
なお、同じ言語であっても、国によって訛りや発音が異なる場合がある。例えばアメリカの英語、イギリスの英語、及びニュージーランドの英語などは互いに訛りや発音が異なる。また例えば、同じ国の言語であっても訛りや発音が異なる場合がある。例えば日本語でも、東京と関西、東北など、地域によって訛りや発音が異なる。そこで第2解析部2040は、このような訛りや発音の違いを判別して、所属グループや国籍の属性値を割り出してもよい。
また、第2解析部2040は、話者同定技術などを用いて、録音された音声から、話者の数(オブジェクトの数)を算出し、分布に反映させてもよい。
<<属性分布の算出方法>>
第2解析部2040は、算出された各オブジェクトの属性値に基づいて、移動カメラ20の撮像範囲における属性分布を算出する。第2解析部2040が属性分布を算出する方法は様々である。例えば第2解析部2040は、各属性値を持つオブジェクトの数(属性値とその属性値を持つオブジェクトの数のペアから成る集合)を属性分布とする。
例えば属性として性別を扱う場合に、第2解析部2040が、第2監視画像22に写っている10名の人物について男性という属性値を算出し、第2監視画像22に写っている15名の人物について女性という属性値を算出したとする。この場合、移動カメラ20の撮像範囲において、性別の属性分布は「男性10名、女性15名」となる。
また属性分布は、ある属性値のみについてオブジェクトの数を示すものであってもよい。例えば、第2解析部2040が、第2監視画像22に写っている10名の人物について男性という属性値を算出した場合、移動カメラ20の撮像範囲において、性別が男性であるオブジェクトの属性分布は「15名」となる。
また第2解析部2040は、或る属性の属性分布を、属性値の比率(各属性値を持つオブジェクトの数の比率)として算出してもよい。例えば上述の例のように、第2監視画像22に10名の男性と15名の女性が写っていたとする。この場合、第2解析部2040は、「男性:女性=2:3」という性別の属性分布を算出する。
ここで、第2監視画像22に写っている一部のオブジェクトについて属性値が算出された場合、第2解析部2040は、属性値が算出された一部のオブジェクトについて属性分布を算出し、その属性分布に基づいて、移動カメラ20の撮像範囲の属性分布を算出する。つまり、属性値が算出されなかったオブジェクトについては、属性値が推測されることとなる。
この場合、まず第2解析部2040は、属性値が算出されたオブジェクトについて、各属性値を持つオブジェクトの比率で表される属性分布を算出する。ここで、移動カメラ20の撮像範囲全体における属性値の比率は、移動カメラ20の撮像範囲に含まれる一部のオブジェクトについて算出された属性値の比率に近い蓋然性が高い。例えば移動カメラ20に含まれる一部のオブジェクトについて「男性:女性=2:3」という比率が算出された場合、移動カメラ20の撮像範囲全体についても、同様の比率で属性が分布している蓋然性が高い。
そこで第2解析部2040は、移動カメラ20に含まれる一部のオブジェクトについて算出した属性値の比率を、移動カメラ20の撮像範囲全体における属性分布とする。
第2解析部2040は、1つの第2監視画像22を用いて属性分布を生成してもよいし、複数の第2監視画像22を用いて属性分布を生成してもよい。後者の場合、例えば第2解析部2040は、各第2監視画像22について属性分布を算出する。そして第2解析部2040は、各第2監視画像22について算出された属性分布を統計処理することで、最終的な属性分布を生成する。
例えば第2解析部2040が、2つの第2監視画像22を用いて属性分布を生成するとする。この場合に、1つ目の第2監視画像22について「男性10名、女性20名」という属性分布が算出され、2つ目の第2監視画像22について「男性12名、女性24名」という属性分布が算出されたとする。この場合、第2解析部2040は、これら2つの第2監視画像22を用いて、「男性11名、女性22名」や「男性:女性=1:2」という属性分布を生成する。
<属性分布の推定方法:S108>
推定部2060は、移動カメラ20の撮像範囲外の範囲である推定範囲について、属性分布を推定する(S108)。そのために、推定部2060は、固定カメラ10の撮像範囲における群衆の流れ、及び移動カメラ20の撮像範囲における属性分布を利用する。以下、推定部2060が属性分布を推定する具体的な方法を例示する。
推定部2060は、固定カメラ10の撮像範囲における群衆の流れの速度(以下、移動速度)を利用して、推定範囲の属性分布を算出する。まず推定部2060は、固定カメラ10の撮像範囲における群衆の移動速度に基づいて、移動カメラ20の撮像範囲における群衆の移動速度を推定する。そして推定部2060は、推定した速度で移動カメラ20の撮像範囲における属性分布を移動させることで、推定範囲の属性分布を推定する。
<<固定カメラ10の撮像範囲と移動カメラ20の撮像範囲が重なるケース>>
固定カメラ10の撮像範囲と移動カメラ20の撮像範囲が重なる場合、推定部2060は、移動カメラ20の撮像範囲における群衆の移動速度が、固定カメラ10の撮像範囲における群衆の移動速度と同じ速度であると推定する。例えば固定カメラ10の撮像範囲における群衆の移動速度が「右方向に 10m/sec」である場合、移動カメラ20の撮像範囲における群衆の移動速度も「右方向に 10m/sec」であると推定する。そこで推定部2060は、時点 t から n 秒後(n は正の実数)において、移動カメラ20の撮像範囲から右方向に 10*n [m] 移動した位置を推定範囲とし、その推定範囲の属性分布が、時点 t における移動カメラ20の撮像範囲の属性分布と同じ属性分布になると推定する。
図8及び図9は、移動カメラ20の撮像範囲の属性分布を移動させることで推定範囲の属性分布を推定する様子を例示する図である。この例において、情報処理装置2000は、固定カメラ10の撮像範囲14における群衆の速度の算出、移動カメラ20の撮像範囲24における属性分布の算出、及び推定範囲の属性分布の推定をそれぞれ1秒ごとに繰り返し行っている。この場合、第1解析部2020や第2解析部2040は、或る時点における群衆の速度や属性分布をその直前1秒間に生成された第1監視画像12や第2監視画像22を用いて算出する。
或る時点 t において、固定カメラ10の撮像範囲14における群衆の移動速度は「右方向に 10m/sec」であり、移動カメラ20の撮像範囲24における属性分布は「男性:女性=1:2」である(図8(a)参照)。そこで推定部2060は、移動カメラ20の撮像範囲24から右方向に 10m 移動した位置にある推定範囲60-1について、時点 t+1 の属性分布が「男性:女性=1:2」であると推定する(図8(b)参照)。
時点 t+1 において、固定カメラ10の撮像範囲14における群衆の移動速度は「右方向に 8m/sec」であり、移動カメラ20の撮像範囲24における属性分布は「男性:女性=2:3」である(図8(b)参照)。そこで推定部2060は、移動カメラ20の撮像範囲24から右方向に 8m 移動した位置にある推定範囲60-2について、時点 t+2 の属性分布が「男性:女性=2:3」であると推定する(図9(a)参照)。また、推定範囲60-1は、時点 t+2 においてさらに右方向に 10m 移動している。
時点 t+2 において、固定カメラ10の撮像範囲14における群衆の速度は「右斜め上方向に 9m/sec」であり、移動カメラ20の撮像範囲24における属性分布は「男性:女性=3:4」である(図9(a)参照)。そこで推定部2060は、移動カメラ20の撮像範囲24から右斜め上方向に 9m 移動した位置にある推定範囲60-3について、時点 t+3 の属性分布が「男性:女性=3:4」であると推定する(図9(b)参照)。また、推定範囲60-2は、時点 t+3 においてさらに右方向に 8m 移動している。なお、図には表れていないが、推定範囲60-1は、時点 t+3 においてさらに右方向に 10m 移動している。
このように、情報処理装置2000が繰り返し処理を行うことにより、移動カメラ20の撮像範囲に含まれない広い範囲について属性分布を推定することができる。
<<固定カメラ10の撮像範囲と移動カメラ20の撮像範囲が重ならないケース>>
固定カメラ10と移動カメラ20の撮像範囲が重ならない場合、推定部2060は、固定カメラ10における群衆の移動速度から、移動カメラ20の撮像範囲における群衆の移動速度を推定する。その具体的方法には様々な方法がある。
例えば推定部2060は、移動カメラ20の撮像範囲における群衆の移動速度が固定カメラ10の撮像範囲における群衆の移動速度と同一であると推定する。特に、固定カメラ10と移動カメラ20の撮像範囲が近くに位置している場合や、監視対象の場所における群衆の流れが一様である場合などには、固定カメラ10の撮像範囲と移動カメラ20の撮像範囲において群衆の移動速度が近似する蓋然性が高い。
また例えば、推定部2060は、固定カメラ10や移動カメラ20が位置している付近の地図情報を用いて、固定カメラ10における群衆の移動速度から、移動カメラ20の撮像範囲における群衆の移動速度を推定する。地図情報は、道の構成などを表す任意の情報である。一般に、群衆は道に沿って移動する。そのため、道が曲線を描いている場合や、道に曲がり角がある場合、移動カメラ20の撮像範囲における群衆の移動方向は、固定カメラ10の撮像範囲における群衆の移動方向と異なりうる。このような場合でも、地図情報を用いて道の構成を把握することで、移動カメラ20の撮像範囲における群衆の移動方向を推定することができる。
図10は、地図情報を利用して移動カメラ20の移動方向を推定する様子を例示する図である。図10(a)において、固定カメラ10の撮像範囲14-1における群衆の移動方向は、方向50-1である。推定部2060は、地図情報を利用することで、撮像範囲14-1に含まれる群衆が道40を通って移動カメラ20の撮像範囲24-1に到達すると推定する。そこで推定部2060は、移動カメラ20の撮像範囲24-1における群衆の移動方向が、道40に沿って方向50-1を移動させた方向50-2であると推定する。
図10(b)において、固定カメラ10の撮像範囲14-2における群衆の移動方向は、方向50-3である。推定部2060は、地図情報を利用することで、固定カメラ10の撮像範囲14-2における群衆は、移動カメラ20の撮像範囲24-2における群衆が道40を通って移動してきたものであると推定する。そこで推定部2060は、移動カメラ20の撮像範囲24-2における群衆の移動方向が、道40に沿って方向50-3を移動させた方向50-4であると推定する。
なお、地図情報を利用する場合に、移動カメラ20の撮像範囲における群衆の流れの速さを推定する方法は様々である。例えば推定部2060は、移動カメラ20の撮像範囲における群衆の流れの速さが、固定カメラ10の撮像範囲における群衆の流れの速さと同一であると推定する。
また例えば、推定部2060は、固定カメラ10の撮像範囲付近の道と移動カメラ20の撮像範囲付近の道との差異に基づいて、移動カメラ20の撮像範囲における群衆の流れの速さを推定してもよい。例えば推定部2060は、移動カメラ20の撮像範囲付近の道の幅が固定カメラ10の撮像範囲付近の道の幅よりも広い場合、移動カメラ20の撮像範囲における群衆の流れの速さが、固定カメラ10の撮像範囲における群衆の流れの速さよりも遅くなると推定する。一方で、推定部2060は、移動カメラ20の撮像範囲付近の道の幅が固定カメラ10の撮像範囲付近の道の幅よりも狭い場合、移動カメラ20の撮像範囲における群衆の流れの速さが、固定カメラ10の撮像範囲における群衆の流れの速さよりも速くなると推定する。ただし、密度が一定以上になると、人が動ける範囲が制約され、速度が遅くなる。このため、群衆の密度も同時に考慮して、密度が一定以上になった時に、速度が遅くなると推定してもよい。
推定部2060が利用する地図情報の生成には、既存の技術を利用できる。例えば地図情報は、ナビゲーションアプリケーションなどに利用される地図情報である。推定部2060が地図情報を取得する方法は任意である。例えば地図情報は、推定部2060からアクセス可能な記憶装置に記憶されている。
なお、第1解析部2020が、群衆の流れの速さを算出せず、群衆の流れの方向のみを算出するとする。この場合、例えば推定部2060は、予め設定された所定の速さを、固定カメラ10の撮像範囲における群衆の流れの速さとして扱う。この所定の速さは、人手で設定された値であってもよいし、過去の監視結果から算出された値であってもよい。あるいは、監視結果のかわりに、群衆移動のシミュレーションを実施して推定した群衆の流れの速さを、上記所定の速さとして用いてもよい。すなわち、地図情報を用いて、群衆の移動がどのように変化するかをシミュレーションによって算出する。これには、既存の様々な群衆シミュレーションの技術を用いることができる。
或る場所を繰り返し監視する場合、その場所を通る群衆の流れの速さは、過去の監視結果から推測しうる。そこで例えば、過去に固定カメラ10の撮像範囲について繰り返し算出した群衆の流れの速さの統計値を上記所定の速さとして設定しておく。この算出は、人手で行われてもよいし、任意の計算機によって行われてもよい。
ここで、群衆の流れの速さは、時間帯によって異なることがある。例えば通勤時間帯は群衆の流れの速さが速く、それ以外の時間帯では群衆の流れの速さが遅いといったことがありうる。そこで、上記所定の速さは、時間帯ごとに設定されていてもよい。この場合、推定部2060は、第1監視画像12が生成された時間帯に合致する時間帯について設定されている所定の速さを利用する。
上記所定の速さを示す情報は、推定部2060に予め設定されていてもよいし、推定部2060からアクセス可能な記憶装置に記憶されていてもよいし、情報処理装置2000のユーザによって設定されてもよい。
<<群衆の移動速度の推定について>>
移動カメラ20の撮像範囲に含まれる群衆の移動速度を推定する方法は、上述した、固定カメラ10の撮像範囲に含まれる群衆の移動速度が、移動カメラ20の撮像範囲に含まれる移動速度であると推定する方法に限定されない。例えば推定部2060は、第2監視画像22を用いて、移動カメラ20の撮像範囲に含まれる群衆の移動速度を直接算出してもよい。この場合、推定部2060は、第2監視画像22に写っている群衆の移動速度を算出する。なお、第2監視画像22に写っている群衆の移動速度を算出する方法は、第1監視画像12に写っている群衆の移動速度を算出する方法と同様である。
ただし、固定カメラ10とは異なり、移動カメラ20は移動するため、第2監視画像22ではオブジェクトだけでなく背景も移動する。そのため、第2監視画像22に写っている群衆の移動速度を算出する場合には、複数のフレーム(第2監視画像22)間での背景の動きを補償した上で群衆の動きを算出する必要がある。
背景の動きは、例えば、背景から抽出される特徴点同士をフレーム間でマッチングすることで求めることができる。同様に、前景の動きも、フレーム間で特徴点をマッチングすることで求めることができる。
そこでまず、推定部2060は、前景と背景それぞれについて第2監視画像22上の移動量を求める。次に、推定部2060は、前景の移動量から背景の移動量を差し引くことで、前景のみ(オブジェクトのみ)の移動量を算出する。推定部2060は、この移動量及びその移動方向から、移動速度を算出する。
また推定部2060は、第1監視画像12を用いて算出される群衆の移動速度と、第2監視画像22を用いて算出される群衆の移動速度の両方を用いて、移動カメラ20の撮像範囲に含まれる群衆の移動速度を算出してもよい。例えば推定部2060は、第1監視画像12を用いて算出される群衆の移動速度と、第2監視画像22を用いて算出される群衆の移動速度を統計処理(例えば平均)することで得られる速度を、移動カメラ20の撮像範囲に含まれる群衆の移動速度とする。なおこの際、第2監視画像22を用いて算出される群衆の移動速度に大きな重みを付けて加重平均を算出してもよい。
<<推定範囲60について>>
図9や図10の例では、推定範囲60が、移動カメラ20の撮像範囲と同じ形状及び広さを持つ範囲になっている。しかし、推定範囲60はこのような範囲には限定されない。以下、種々の推定範囲60について例示する。
<<<所定の形状及び大きさを持つ推定範囲60>>>
推定部2060は、推定範囲60を、予め定められた所定の形状及び広さを持つ範囲とする。この所定の形状及び広さは、予め推定部2060に設定されていてもよいし、推定部2060からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。
図11は、所定の形状及び広さの推定範囲60について属性分布が推定される様子を例示する図である。具体的には、推定範囲60は、10m2 の面積を持つ正方形の範囲である。なお、推定範囲60の位置は、図8と同様に、移動カメラ20の撮像範囲に含まれる群衆について推定した移動速度に基づいて算出される。
図11(a)において推定される属性分布は属性値の比率(男性:女性=1:2)を表している。推定部2060は、移動カメラ20の撮像範囲の属性分布と同じ「男性:女性=1:2」という分布を、推定範囲60の属性分布としている。
図11(b)において推定される属性分布は、各属性値を持つオブジェクトの数を表す。ここで、推定範囲60の広さは移動カメラ20の撮像範囲の広さと異なるため、推定範囲60に含まれるオブジェクトの数は、移動カメラ20の撮像範囲に含まれるオブジェクトの数と異なると考えられる。
そこでまず、推定部2060は、移動カメラ20の撮像範囲における群衆密度に基づいて、推定範囲60に含まれるオブジェクトの数を算出する。群衆密度とは、単位面積当たりのオブジェクトの数を意味する。ここで推定部2060は、推定範囲60の群衆密度が、移動カメラ20の撮像範囲における群衆密度と同じであると推定する。よって推定部2060は、推定範囲60の群衆密度と推定範囲60の広さを掛けることで、推定範囲60に含まれるオブジェクトの数を算出する。
例えば図11(b)では、移動カメラ20の撮像範囲における群衆密度は3人/m2 である。そこで推定部2060は、推定範囲60の群衆密度も3人/m2 であると推定する。そして推定部2060は、この群衆密度と、推定範囲60の広さである10 m2 とを掛ける。その結果、推定範囲60に含まれるオブジェクトの数として、30人という値が算出される。
さらに推定部2060は、推定範囲60に含まれるオブジェクトの数と、推定範囲60における属性値の比率とに基づいて、各属性値を持つオブジェクトの数を算出する。ここで、推定部2060は、推定範囲60における属性値の比率が、移動カメラ20の撮像範囲における属性値の比率と同じであると推定する。そこで推定部2060は、推定範囲60に含まれるオブジェクトの数に、各属性値の比率を掛けることで、各属性値を持つオブジェクトの数を算出する。
例えば図11(b)では、移動カメラ20の撮像範囲に含まれる男女の比率は「男性:女性=1:2」である。そこで推定部2060は、推定範囲60に含まれる男女の比率も「男性:女性=1:2」であると推定する。そして推定部2060は、この比率と、推定範囲60に含まれるオブジェクトの数が30人であることから、推定範囲60の属性分布を「男性10人、女性20人」とする。
移動カメラ20の撮像範囲における群衆密度は、第2解析部2040によって算出される。第2解析部2040は、第2監視画像22に写っているオブジェクトの数及び移動カメラ20の撮像範囲の広さに基づいて、群衆密度を算出する。
なお図11(b)において、推定部2060は、移動カメラ20の撮像範囲の群衆密度の代わりに、固定カメラ10の撮像範囲の群衆密度を利用してもよい。一般に、監視カメラなどである固定カメラ10はオブジェクトを俯瞰で撮影するため、固定カメラ10の撮像範囲の群衆密度の方が、移動カメラ20の撮像範囲の群衆密度よりも高い精度で算出される。そこで推定部2060は、推定範囲60の群衆密度が、固定カメラ10の撮像範囲における群衆密度と同じであると推定することが好ましい。
<<<固定カメラ10の撮像範囲と同じ形状及び広さを持つ推定範囲60>>>
推定部2060は、推定範囲60を、固定カメラ10の撮像範囲と同じ形状及び広さを持つ範囲とする。図12は、固定カメラ10の撮像範囲と同じ形状及び広さの推定範囲60について属性分布が推定される様子を例示する図である。
図12(a)において推定される属性分布は属性値の比率(男性:女性=1:2)を表している。推定部2060は、移動カメラ20の撮像範囲の属性分布と同じ「男性:女性=1:2」という分布を、推定範囲60の属性分布としている。
図12(b)において推定される属性分布は、各属性値を持つオブジェクトの数を表す。ここで、固定カメラ10の撮像範囲14内の群衆と移動カメラ20の撮像範囲24内の群衆とでは、含まれるオブジェクトの数が異なる。
この場合、第1解析部2020は、撮像範囲14に含まれるオブジェクトの総数を算出する。その結果、撮像範囲14には60人の人物が含まれていたとする。さらに第2解析部2040は、移動カメラ20の撮像範囲内の群衆について属性分布を算出する。その結果、「男性10人、女性20人」という属性分布が算出されたとする。
推定部2060は、撮像範囲14に含まれるオブジェクトの総数と撮像範囲24に含まれるオブジェクトの総数との比、及び撮像範囲24について算出された属性分布を用いて、推定範囲60の属性分布を推定する。ここで、撮像範囲14に含まれるオブジェクトの総数は、撮像範囲24に含まれるオブジェクトの総数の2倍である。そこで推定部2060は、推定範囲60の属性分布が「男性20人(10人×2)、女性40人(20人×2)」であると推定する。
なお、推定部2060は、撮像範囲14に含まれるオブジェクトの総数と撮像範囲24に含まれるオブジェクトの総数との比に代えて、撮像範囲14の群衆密度と撮像範囲24の群衆密度との比を用いてもよい。これらは同一の値となるためである。
<<<無限の広さを持つ推定範囲60>>>
推定部2060は、推定範囲を、無限の広さを持つ範囲とする。この場合、例えば推定部2060は、群衆が、ガウス分布などの分布に基づいて時間と共に拡散するとみなして、推定範囲における属性分布を推定する。
図13は、時間と共に群衆が拡散する様子を例示する図である。図13では、色が濃い場所ほど群衆密度が高いことを表している。群衆30は右方向に移動している。そして、右方向に移動するほど、つまりは時間が経過するほど、群衆が拡散している。なお、群衆30の下のグラフは、位置と群衆密度との関係を表すグラフである。なお、ここでは等方的な分布を示したが、非等方的な分布を用いてもよい。例えば、縦長の通路を歩いている場合には、通路の方向には分布が拡散しやすく、通路と垂直の方向には拡散しにくい。よって、通路方向の拡散の度合が大きい分布を用いてもよい。
以下、無限の広さを持つ指定範囲について属性分布を推定する具体的な方法を例示する。
属性 A の属性値が a であるオブジェクト(以下、オブジェクトa)であって、時点 t において位置 x に存在するオブジェクトの数を ha(x, t) と表記する。なお、x はベクトルであり、二次元の座標を表す。ここで、ha(x, t) は、中心位置が x であり、広さが固定カメラ10の撮像範囲と同じ広さの範囲におけるオブジェクトの数を表すとする。
時点 t0 において移動カメラ20の撮像範囲に含まれる群衆の位置を x0(t0) で表す。すると、時点 t0 において移動カメラ20の撮像範囲内に含まれる属性 A が a であるオブジェクトの数は ha(x0(t0), t0) で表すことができる。
ここで、時点 t0 において、第2解析部2040が、移動カメラ20の撮像範囲内の L 個のオブジェクトの内、オブジェクトaの数が La であることを算出したとする。また、時点 t0 において、第1解析部2020が、固定カメラ10の撮像範囲内の位置 x0(t0) における群衆に M 個のオブジェクトが含まれることを算出したとする。この場合、以下の数式(1)が成り立つと推定できる。なおここでは、移動カメラ20の撮像範囲が固定カメラ10の撮像範囲内にあるとする。
Figure 0007047944000001
時点 t0 における固定カメラ10の撮像範囲内の位置 x0(t0) における群衆の移動速度を v(x0(t0), t0) で表す。また、推定部2060が属性分布を推定する時間間隔をΔt で表す。すると、この群衆の時点 tn=t0+nΔt における位置 xn(tn) は、以下の数式(2)で表すことができる。
Figure 0007047944000002
なお、群衆の移動速度が変化しないと仮定すれば、数式(2)を以下のように変形できる。
Figure 0007047944000003
この例において、位置 x におけるオブジェクトは、関数 p(x, τ) に従って拡散するとする。τには、時間を表す値を代入する。例えば関数 p には、τの増加に従って(時間の経過に伴って)、図13に示すように分散が大きくなる分布を用いる。この分布としては、例えばガウス分布を用いる。
関数 p を用いると、時間 tn=t+nΔt における位置 xn について、属性 A が a であるオブジェクトの数 ha(xn, tn) は、以下の数式(4)で表すことができる。
Figure 0007047944000004
数式(3)の x に任意の値を入れることにより、任意の位置についてオブジェクトaの数が分かる。よって、上記数式(3)によれば、理論上、無限の広さを持つ指定範囲についてオブジェクトの属性分布が推定される。
なお、情報処理装置2000によって推定される属性分布(ここでは、属性 A が a であるオブジェクトの数)は、時点 t0 において第2解析部2040が算出した属性値に基づく属性分布だけでなく、各時点において第2解析部2040が算出した属性値に基づく属性分布を重ね合わせたものとなる。よって、情報処理装置2000によって推定される属性分布は、以下の数式(5)で表される。数式(5)では、時点 t0 から tn それぞれで算出された属性分布を用いて、時点 tn における無限範囲の属性分布が推定されている。
Figure 0007047944000005
なお、数式(5)では、k=0 から n までの全ての ha を足し合わせて表現しているが、p(x,τ) が有限のサポート内でのみ値をもつ場合には、各 x に対して値を持つ k の値が限定される。このため、全部足し合わせる必要はなく、それぞれのxの位置ごとに、関数 p が値を持つ k に限定して ha を足し合わせるようにしてもよい。あるいは、ガウス関数のように、サポートが有限でない場合であっても、値が十分小さい場合は0とみなして、0でない値をもつ領域で ha を足し合わせるようにしてもよい。
なお、上述の Ha を利用して、各属性値を持つオブジェクトの数(「男性15名、女性10名」など)や、属性値の比率(「男性:女性=3:2」など)で表される属性分布を算出したいとする。これらの属性分布は、ある有限の範囲について求まる分布である。そこでこれらの属性分布を算出したい場合、分布を把握したい位置 xi の範囲について、属性値ごとに Ha(xi, tn) を算出する。例えば属性 A の属性値として a と b がある場合、Ha(xi, tn) と Hb(xi, tn) を算出する。これらを用いることで、各属性値を持つオブジェクトの数で表される属性分布「N(a) = Ha(xi, tn)、N(b) = Hb(xi, n)」や、各属性値の比率で表される属性分布「a:b = Ha(xi, tn):Hb(xi, tn)」を算出できる。なお、N(a) は、属性値 a を持つオブジェクトの数を意味する。
<固定カメラ10において複数の群衆の流れが存在するケースについて>
固定カメラ10の撮像範囲における群衆の流れが複数存在する場合もある。図14は、群衆の流れが複数存在する様子を例示する図である。図14において、固定カメラ10の撮像範囲には、左方向に移動している群衆と右方向に移動している群衆が存在する。
このように複数の流れが存在する場合、推定部2060は、流れが異なる群衆ごとに推定範囲を定め、各推定範囲について属性分布を推定する。例えば上述した図14において、推定部2060は、移動カメラ20の撮像範囲よりも左に位置する推定範囲60-1と、移動カメラ20の撮像範囲よりも右に位置する推定範囲60-2という2つの推定範囲について属性分布を推定している。
移動方向が異なる群衆ごとに推定範囲を定める場合、第1解析部2020は、移動方向が異なる群衆ごとに移動速度を算出する。例えば図14において、第1解析部2020は、左方向に移動する群衆と右方向に移動する群衆それぞれについて、移動速度を算出する。そして第1解析部2020は、算出された各移動速度に基づいて、推定範囲60-1の位置と推定範囲60-2の位置を算出する。
図14(a)では、推定範囲60について、属性値の比率を表す属性分布(男性:女性=1:3)を算出する。そこで推定部2060は、推定範囲60-1と推定範囲60-2の属性分布をいずれもが、移動カメラ20の撮像範囲の属性分布と同じ「男性:女性=1:3」であると推定している。
図14(b)では、推定範囲60について、各属性値を持つオブジェクトの数を表す属性分布を算出する。この場合、推定部2060は、固定カメラ10の撮像範囲における群衆の流れに基づいて、推定範囲60-1に含まれるオブジェクトの総数と推定範囲60-2に含まれるオブジェクトの総数をそれぞれ推定する。例えば推定部2060は、固定カメラ10の撮像範囲において、左方向に向かっている群衆の群衆密度及び右方向に向かっている群衆の群衆密度をそれぞれ算出する。そして、推定部2060は、固定カメラ10の撮像範囲において左方向に向かっている群衆の群衆密度と、推定範囲60-1の広さとを掛けた値を、推定範囲60-1に含まれるオブジェクトの総数とする。同様に、推定部2060は、固定カメラ10の撮像範囲において右方向に向かっている群衆の群衆密度と、推定範囲60-2の広さとを掛けた値を、推定範囲60-2に含まれるオブジェクトの総数とする。なお、推定部2060は、例えば固定カメラ10の撮像範囲の広さを推定範囲60-1及び推定範囲60-2の広さとする。
図14(b)では、左に向かう群衆の群衆密度は4人/m2 であり、右に向かう群衆の群衆密度は3人/m2 であり、推定範囲60の広さは撮像範囲14の広さと同じ10 m2 である。そのため、推定部2060は、推定範囲60-1に含まれるオブジェクトの総数が40人であり、推定範囲60-2に含まれるオブジェクトの総数が30人であると推定する。
さらに、推定部2060は、推定範囲60-1と推定範囲60-2における属性値の比率が、移動カメラ20の撮像範囲における属性値の比率と同じであると推定する。そして推定部2060は、推定範囲60-1に含まれるオブジェクトの総数と、推定範囲60-1における属性値の比率とから、推定範囲60-1の属性分布(各属性値を持つオブジェクトの数)を算出する。同様に、推定部2060は、推定範囲60-2に含まれるオブジェクトの総数と、推定範囲60-2における属性値の比率とから、推定範囲60-2の属性分布を算出する。
図14(b)では、撮像範囲24内の群衆に含まれる男性と女性の比率は1:3である。そこで推定部2060は、この比率及び各推定範囲60について推定したオブジェクトの総数とから、推定範囲60-1の属性分布が「男性10人、女性10人」であり、推定範囲60-2の属性分布が「男性 7.5 人、女性 22.5 人」であると推定する。なお、ここでは、移動カメラの撮影範囲の属性分布を各方向に対して同様に適用したが、それぞれの方向に向かう群衆が分離でき、かつ、それぞれの群衆の属性を個別に推定できる場合には、方向ごとに個別に属性分布を算出するようにしてもよい。
<複数の属性分布の重ね合わせ>
異なる移動カメラ20を用いてそれぞれ推定された複数の推定範囲60の属性分布が、時間の経過に伴って重なることがある。図15は、複数の移動カメラ20が存在する様子を例示する図である。図15において、移動カメラ20-1の撮像範囲24について算出された属性分布に基づいて属性分布が推定される推定範囲60-1と、移動カメラ20-2の撮像範囲24について算出された属性分布に基づいて属性分布が推定される推定範囲60-2が重なっている。
このように或る位置で複数の推定範囲60が重なる場合、推定部2060は、各推定範囲60の属性分布を所定の規則で重ね合わせることで、その位置の属性分布を推定する。例えば推定部2060は、複数の推定範囲60の属性分布を統計処理することで算出された属性分布を、その位置の属性分布とする。
この際、推定部2060は、各推定範囲60の属性分布に対して、信頼度が高い属性分布ほど重みが大きくなるように重み付けをし、複数の推定範囲60の属性分布の重み付き平均を算出してもよい。ここで、推定範囲60の属性分布の信頼度を順位づける方法は様々である。例えば推定部2060は、属性分布の生成に利用された移動カメラ20の位置からの距離が近い推定範囲60の属性分布ほど、信頼度を高くする。属性分布の生成に利用された移動カメラ20の位置から離れると、実際の群衆の動きと予想された群衆の動きとの乖離度合いが大きくなる蓋然性が高いためである。同様の理由で、推定部2060は、属性分布が算出されてからの経過時間が短い推定範囲60の属性分布ほど、信頼度を高くしてもよい。
あるいは、推定部2060は、地図情報など、経路に関する情報も併用して信頼度を決定してもよい。例えば、途中に群衆が滞留しやすい場所がある場合には、そこで群衆の速度や分布が変わる可能性がある。そこで推定部2060は、推定範囲60が生成された場所と現在の推定範囲60の場所との間の経路上に所定の条件(群衆が滞留しやすいなど)を満たす場所が含まれるかどうかを地図情報から判定し、そのような場所が含まれると判定された推定範囲60の属性分布の信頼度を、そのような場所が含まれないと判定された推定範囲60の属性分布の信頼度よりも低く設定するようにしてもよい。上記所定の条件は、推定部2060に予め設定されていてもよいし、推定部2060からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。
また、地図情報以外に、事前に滞留のしやすさなどを計測した情報を用いて同様の判定を行ってもよい。あるいは、計測するかわりに、群衆移動のシミュレーションを実施して推定した情報を用いてもよい。これには、既存の様々な群衆シミュレーションの技術を用いることができる。
第2解析部2040は、推定部2060によって推定された属性分布を用いて、その後に実行するオブジェクトの属性値の算出の精度を向上させてもよい。具体的には、第2解析部2040は、推定された属性分布に基づいて、或る特定の属性について特徴的な属性値を持つオブジェクト(例えば歩行困難者の人)が、或る移動カメラ20の撮像範囲の付近に存在していたり、又はその移動カメラ20の撮像範囲へ近づいていたりすることを把握する。そして第2解析部2040は、その移動カメラ20によって生成された第2監視画像22に写っているオブジェクトについて属性値を算出する際に、上記特定の属性の検出を詳細に行うようにする。
例えば第2解析部2040は、上記特定の属性の属性値を算出するためのアルゴリズムを、通常時に利用するよりも詳細なアルゴリズムに変更する。例えば第2解析部2040は、車いすを検知するアルゴリズムを、オブジェクト全体の形状から車いすを検出する比較的簡易なアルゴリズムから、細かなパーツなどまで調べて車いすを検出する詳細なアルゴリズムへ変更する。
ここで、オブジェクト全体の形状から車いすを検出するアルゴリズムを利用すると、第2監視画像22に写っている車いすの一部が他の人に隠れてしまって見えない場合などに、第2解析部2040が車いすを検出できない恐れがある。一方で、細かなパーツを調べるアルゴリズムを利用すれば、たとえ車いすの一部が隠れてしまっていても、第2解析部2040は、高い確率で車いすを検出することができる。また、第2解析部2040は、オブジェクト全体の形状を検出するアルゴリズムにおいて、認識を方向別に学習した辞書を用いるように変更することで、検出率を高めてもよい。
<撮像範囲を算出する方法>
これまで説明した種々の処理において、固定カメラ10の撮像範囲と移動カメラ20の撮像範囲が利用されている。ここで、これらの撮像範囲を算出する方法を説明する。
固定カメラ10の撮像範囲は、第1監視画像12が生成された時点における固定カメラ10のカメラパラメタに基づいて算出できる。カメラパラメタは、カメラの位置、姿勢(水平方向の回転角と垂直方向の回転角)、及び画角の広さ(ズーム率)などを表すパラメタである。情報処理装置2000は、地図情報と、上述した各パラメタの値とを用いて、固定カメラ10の撮像範囲(実世界上における空間)を算出する。ここで、地図情報、カメラの位置、カメラの姿勢、及びカメラの画角を用いてカメラの撮像範囲を算出する方法には、既存の技術を利用することができる。なお、固定カメラ10の位置は固定であるため、固定カメラ10のカメラパラメタと固定カメラ10の撮像範囲との関係は、予め定めておくこともできる。
第1監視画像12が生成された時点における固定カメラ10のカメラパラメタを取得する方法は様々である。例えばこのカメラパラメタは、第1監視画像12のメタデータに含まれる。また例えば、固定カメラ10のカメラパラメタは、固定カメラ10の姿勢を制御する制御装置から取得することができる。この場合、例えば情報処理装置2000は、時点を示す情報と、その時点における固定カメラ10のカメラパラメタとのペアを取得する。なお、固定カメラ10の位置は固定であるため、固定カメラ10の位置を表すカメラパラメタは予め把握しておくことができる。
移動カメラ20の撮像範囲は、第2監視画像22が生成された時点における移動カメラ20のカメラパラメタ、及び地図情報に基づいて算出できる。移動カメラ20の位置を表すパラメタの値は、例えば移動カメラ20に設けられた Global Positioning System(GPS)センサを用いて把握することができる。移動カメラ20の垂直方向の傾きを表すパラメタの値は、例えば移動カメラ20に設けられた加速度センサを用いて把握することができる。移動カメラ20の水平方向の傾きを表すパラメタの値は、例えば移動カメラ20に設けられた電子コンパスを用いて把握することができる。移動カメラ20の画角の広さを表すパラメタの値は、例えば移動カメラ20を制御する制御装置から取得することができる。例えば移動カメラ20が携帯端末に設けられたカメラである場合、移動カメラ20の画角を表すパラメタは、この携帯端末から取得することができる。同様に、上述した GPS センサ、加速度センサ、及び電子コンパスなどがこの携帯端末に設けられていれば、情報処理装置2000は、この携帯端末から、移動カメラ20の位置を表すパラメタ、移動カメラ20の垂直方向の傾きを表すパラメタ、及び移動カメラ20の水平方向の傾きを表すパラメタそれぞれの値を取得することができる。なお、上述の各パラメタの値を取得する方法は、上述の方法に限定されない。
情報処理装置2000は、地図情報と、上述した各パラメタの値とを用いて、移動カメラ20の撮像範囲(実世界上における空間)を算出する。ここで、地図情報、カメラの位置、カメラの姿勢、及びカメラの画角を用いてカメラの撮像範囲を算出する方法には、既存の技術を利用することができる。
第2監視画像22が生成された時点における移動カメラ20のカメラパラメタを取得する方法は、第1監視画像12が生成された時点における固定カメラ10のカメラパラメタを取得する方法と同様である。
<固定カメラ10と移動カメラ20の対応付けについて>
前述のように、推定部2060は、移動カメラ20の撮像範囲内の群衆の流れを、固定カメラ10の撮像範囲内の群衆の流れに基づいて推定する。ここで、固定カメラ10が複数ある場合、推定部2060は、或る移動カメラ20の撮像範囲内の群衆の流れを推定するために、いずれか1つ以上の固定カメラ10を利用する。
この際、どの固定カメラ10を利用するかを決定する方法は様々である。例えば、移動カメラ20に対し、予め1つ以上の固定カメラ10を対応付けておく。この場合、推定部2060は、或る移動カメラ20の撮像範囲内の群衆の流れを推定するために、その移動カメラ20と予め対応付けられている固定カメラ10を利用する。ここで、上記対応付けは、予め推定部2060に設定されていてもよいし、推定部2060からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。
また例えば、推定部2060は、或る移動カメラ20の撮像範囲内の群衆の流れを推定するために、その移動カメラ20との距離が近い固定カメラ10を利用してもよい。例えば推定部2060は、移動カメラ20との距離が最も近い固定カメラ10を用いて、その移動カメラ20の撮像範囲内の群衆の流れを推定する。
なお、複数の固定カメラ10を利用して移動カメラ20の撮像範囲内の群衆の流れを推定する場合、推定部2060は、固定カメラ10ごとに、その固定カメラ10の撮像範囲内の群衆の流れに基づいて、移動カメラ20の撮像範囲内の群衆の流れを推定する。そして、推定部2060は、推定された複数の流れを統計処理することで、移動カメラ20の撮像範囲内の群衆の流れを推定する。この際、推定部2060は、移動カメラ20からの距離がより近い固定カメラ10を用いて推定された流れに対し、より大きい重みを付けて重み付き平均を算出してもよい。移動カメラ20からの距離が近い固定カメラ10を用いて推定された流れほど、推定精度が高いと考えられるためである。
<推定に利用するデータと推定するタイミングとの関係について>
情報処理装置2000が属性分布の生成に利用する種々のデータ(第1監視画像12や第2監視画像22)の生成時点と、どの時点に関して属性分布を生成するかとの関係は様々である。図16は、データの生成時点と属性分布が生成される時点との関係を例示する図である。図16(a)において、推定部2060は、或る時点に関する属性分布を、その時点以前に生成されたデータを利用して推定している。図16(b)において、推定部2060は、或る時点に関する属性分布を、その時点以降に生成されたデータを利用して推定している。また、図16(c)において、推定部2060は、或る時点に関する属性分布を、その時点以前に生成されたデータとその時点以降に生成されたデータの双方を用いて推定している。
ここで、或る時点に関する属性分布をその時点以降に生成されたデータを利用して推定する方法について説明する。前述したように、情報処理装置2000は、固定カメラ10の撮像範囲内の群衆の流れに基づいて移動カメラ20の撮像範囲内のオブジェクトの属性分布を移動させることにより、移動カメラ20の撮像範囲に含まれない範囲におけるオブジェクトの属性分布を推定する。この際、「移動カメラ20の撮像範囲内のオブジェクトの属性分布を移動させる」という処理を過去に遡るように行うことで、第1監視画像12や第2監視画像22が生成された時点よりも前の時点について属性分布を推定することができる。
図17は、或る時点に関する属性分布をその時点以降に生成されたデータを利用して推定する方法を例示する図である。図17(a)では、時点 t において、「男性:女性=1:2」という属性分布を持つ群衆が 10m/s の速度で右方向に移動している。ここで、時点の単位は秒であるとする。
上記群衆の流れ及び属性分布から、この群衆は、時点 t の1秒前である時点 t-1 において、時点 t における位置よりも 10m 左方向に位置していたと推定される。そこで推定部2060は、図17に示すように、時点 t-1 における推定範囲60-1について属性分布を推定する。
なお、或る時点の属性分布をその時点以降に生成されたデータを用いて推定する場合に、前述した、分布関数 p を用いて推定範囲の属性分布を推定する方法を利用するとする。この場合、或る過去の時点 t_-n における群衆の位置は、以下の数式(6)で表せる。
Figure 0007047944000006
そして推定部2060は、数式(6)を用いて、時点 t_-k = t0-kΔt での分布 ha(x, t_-k) を求める。
このように、或る時点に関する属性分布をその時点以降に生成されたデータを利用して推定することで、その時点以前に生成されたデータからは把握できなかったオブジェクトの属性分布も加味して、その時点におけるオブジェクトの属性分布を推定できる。例えば、属性分布の推定に或る程度の遅延が許される利用環境であれば、図16(c)に示すように、いわば時間的に未来の情報(或る時点以降に生成されたデータ)を用いることで、より詳細な属性分布を把握することができる。
<属性分布の利用方法>
情報処理装置2000によって推定される属性分布は、様々な形で利用することができる。例えば、監視対象の場所における属性分布を把握することで、群衆のサポートを適切に行えるようになる。
例えば情報処理装置2000によれば、監視対象の場所において、サポートが必要な群衆がどのように分布しているかを把握することができる。サポートが必要な群衆には、老人、子供、又は歩行困難者などが含まれる群衆が挙げられる。このような群衆の分布を把握することで、サポートが必要な人が多い場所に適切に警備員(誘導のみを行ういわゆる誘導員も含む)を配置することができるようになる。
情報処理装置2000が、警備員に指示を与える監視センタにおいて利用される端末であるとする。この場合、監視センタにいる管理者は、サポートが必要な群衆がどの場所に存在するかを把握する。そして、その場所で警備員が不足している場合、管理者は、その場所へ、別の場所(例えばサポートを必要としない人が多い場所)にいる警備員を向かわせることができる。
情報処理装置2000が、現場の各警備員が利用する携帯端末であるとする。この場合、警備員は、自己の携帯端末で、サポートが必要な群衆の分布を把握することができる。そして、このような群衆が多く存在している場所に警備員が不足している場合、警備員は、その場所へ行くことで、サポートを必要している群衆をサポートすることができる。
サポートが必要な人の別の例として、外国人が挙げられる。例えば英語を使用する外国人が多く分布している場所には、英語を話せる警備員を配置することが好ましい。そこで、情報処理装置2000を用いて外国人の分布を把握することで、どの場所にどの言語を話せる警備員を配置すべきかを把握することができる。
試合会場における群衆監視では、負けたチームのサポーターを適切に誘導することが好ましい。一般に、負けたチームのサポーターはフラストレーションを感じている。そのため、負けたチームのサポーターが勝ったチームのサポーターよりも優先的に試合会場から出られるように誘導したりするなど、負けたチームのサポーターを丁重に扱うことで、負けたチームのサポーターのフラストレーションを抑えることが好ましい。また、勝ったチームのサポーターと勝ったチームのサポーターが接触しないように、これらのサポーターが通る経路を適切に分けることが好ましい。
そこで、情報処理装置2000を利用して、監視センタの管理者や警備員が、勝ったチームのサポーターと負けたチームのサポーターの分布を把握するようにする。こうすることで、管理者や警備員は、上述した種々の誘導が適切に行われているかを把握できる。
例えば、属性分布から、負けたチームのサポーターの動きが停滞している一方で、勝ったチームのサポーターの動きが大きいことが把握されたとする。この場合、「負けたチームのサポーターが優先的に試合会場から出られるようにする」という誘導が適切に行われていないことが分かる。また例えば、勝ったチームのサポーターと負けたチームのサポーターが同じ場所に分布していることを把握することで、「勝ったチームのサポーターと勝ったチームのサポーターが接触しないようにする」という誘導が適切に行われていないことが分かる。そして、警備員にこれらの状況を把握させることにより、警備員の配置を変更するなどして、適切な誘導がなされるようにすることができる。
また、情報処理装置2000を利用して把握される属性分布は、物品販売に利用することもできる。例えば、イベント会場などで売り子が物品販売を行う場合、属性分布を把握することで、どの場所にどのような商品を売りに行けばよいかを把握できるようになる。例えば、女性が多く分布している場所には、女性用の商品を持った売り子を向かわせることが好ましい。
また、売り子がイベント会場を移動しながら商品を売る場合、属性分布を把握することで、売り子の移動経路を最適化できる。例えば女性用の商品を持った売り子は、男性が多く分布している経路を通るよりも、女性が多く分布している経路を通る方が、商品を売る機会が多くなる。そこでこのような場合、情報処理装置2000を利用して女性の分布を把握し、女性が分布している場所を常に通るように、売り子の移動経路を決める。こうすることで、より多くの商品を売ることができる。
上述の利用方法では、オブジェクトとして人を扱っている。しかし前述したように、オブジェクトは人以外のものであってもよい。例えば情報処理装置2000が、オブジェクトとして車を扱うとする。この場合、オブジェクトの属性は、例えば車の種類(乗用車、バス、トラック、タクシー、又はタンクローリーなど)である。
このような属性を情報処理装置2000で扱うことにより、例えば道路における車の分布を、車の種類ごとに把握することができる。例えば渋滞が起こりやすい道路についてこのような分布を把握することにより、渋滞の原因を探ることができる。例えば、或る時間帯について、速度が遅くなりやすい大型の車が一箇所に集中しているような現象が見つかると、そのような現象が渋滞の原因である可能性がある。
また例えば、バスやタクシーの分布を見ることで、このような交通手段が不足している場所を割り出すことができる。ここで、バスの路線図などを見れば、バスがどのような経路を通るかを把握することはできる。しかし路線図では、バスが通りうる経路が分かるのみであり、或る時点において実際にバスがどのように分布しているかを把握することはできない。そのため、路線図を用いても、或る時間帯において特定の場所でバスやタクシーなどの交通手段が不足しているといった実態を把握することはできない。一方、情報処理装置2000を用いれば、バスやタクシーの実際の分布を把握できるため、交通手段の不足といった実態を把握することができる。
<属性分布を把握する方法>
情報処理装置2000のユーザに属性分布を把握させる方法は様々である。例えば推定部2060は、算出した属性分布を監視対象の場所の地図に重畳して出力する。例えばこの地図は、ディスプレイ装置に表示される。このディスプレイ装置は、情報処理装置2000に接続されているものであってもよいし、他の装置に接続されているものであってもよい。情報処理装置2000以外の装置に接続されているディスプレイ装置に上記地図を表示させる場合、情報処理装置2000は、ディスプレイ装置が接続されている装置に対して上記地図を表す情報を送信する。
図18は、ディスプレイ装置70に表示される地図200を例示する図である。図18における監視対象は、屋内のフロアである。図18には、固定カメラ10が複数設置されている。また、移動カメラ20が複数存在する。図18において、固定カメラ10と移動カメラ20の位置は、アイコンで表示されている。なお、地図200上の固定カメラ10の位置及び移動カメラ20の位置は、固定カメラ10の位置情報、移動カメラ20の位置情報、及び地図200が表す場所の位置情報を用いて算出することができる。また、固定カメラ10の配置が固定である場合、固定カメラ10の位置は、予め地図200に示されていてもよい。また、移動カメラ20の種別を示す情報も一緒に表示されてもよい。例えばこの情報は、移動カメラ20が警備員に装着された移動カメラとロボットに設けられた移動カメラのどちらであるかなどを識別できる情報である。また、これら警備員やロボットに関する情報が一緒に提示されてもよい。この情報は、特定の外国語を話せる警備員であるか否かを示す情報や、自動翻訳が可能な機器を携帯した警備員やロボットであるか否かを示す情報などである。
情報処理装置2000は、これらの複数の固定カメラ10と移動カメラ20とを用いて、繰り返し属性分布の推定を行う。その結果、地図200上の様々な場所について属性分布が推定される。図19は、推定された属性分布が重畳された地図200を例示する図である。図19において、属性分布はヒストグラムで表されている。このヒストグラムは、老人とそれ以外の人物との比率を表している。色が濃い場所は、老人の比率が多い場所を表す。この地図200を見ることで、監視センタの管理者や現場の警備員などは、属性の分布を把握することができる。具体的には、どの場所に老人が多く分布しているかを把握することができる。
<未来についての属性分布の推定>
図8や図9を用いて例示したように、情報処理装置2000は、或る時点について算出された群衆の流れ及びオブジェクトの属性分布に基づき、その時点よりも未来の時点について、撮像範囲24に含まれない推定範囲60におけるオブジェクトの属性分布を推定できる。例えば図8では、時点 t について算出された固定カメラ10の撮像範囲14内の群衆の流れ及び移動カメラ20の撮像範囲24内のオブジェクトの属性分布に基づき、時点 t+1 について、推定範囲60-1におけるオブジェクトの属性分布が推定されている。このように、情報処理装置2000によれば、未来についての属性分布を推定することができる。
なお、前述した無限の広さを持つ推定範囲60を扱う例では、数式(5)における tn を未来の時点にすることで、未来の時点 tn について推定された属性分布が出力される。
未来について属性分布を把握することにより、将来起こりえる事態に先回りして対処することが可能となる。例えば、未来の属性分布を推定することで、「或る場所で、歩行困難者の密度が高まってボトルネックが生じ、群衆のスムーズな流れが妨げられるようになる」という未来の事象や、「或る場所で、負けたチームのサポーターと勝ったチームのサポーターが合流する」という未来の事象などを、予め警備員等が把握できる。このような場合、警備員がその場所に予め向かって適切な誘導を行うことで、このような事象の発生を未然に防ぐことができる。また例えば、「或る場所に女性が多く集まる」という未来の属性分布を売り子が把握できれば、予め売り子が女性向けの商品を持ってその場所へ移動しておくことで、スムーズに商品の販売を行うことができるようになる。
[実施形態2]
図20は、実施形態2の情報処理装置2000を例示するブロック図である。下記で説明する点を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
実施形態2の情報処理装置2000は、モデル取得部2080を有する。モデル取得部2080は、或る属性について、属性値ごとに群衆の移動の特徴を示す移動モデルを取得する。例えば移動モデルは、属性値ごとに異なる移動速度を示す。
推定部2060は、或る時点における移動カメラ20の撮像範囲について算出した属性分布を用いて、その後の別の時点について、互いに異なる属性値を持つ各オブジェクトの分布を算出する。つまり、推定部2060は、或る時点において移動カメラ20の撮像範囲に含まれていた群衆が、時間の経過と共に、互いに異なる属性値を持つ複数の群衆に分かれていくということを考慮して、各属性値を持つ群衆の属性分布を算出する。
図21は、移動カメラ20の撮像範囲に含まれていた群衆が、属性値が互いに異なる複数の群衆に分かれていく様子を例示する図である。時点 t0 において、群衆30-1には、子供、若者、及び老人という互いに異なる属性値を持つ人物が混在している。ここで、各人物の移動速度は、若者、子供、老人の順に大きいとする。すると、時点 t1 では、若者の群衆30-2、子供の群衆30-3、老人の群衆30-4の順に、最初の位置から離れた位置に移動している。時点 t2 では、これらの群衆の間の距離がさらに離れている。
数式(7)は、移動モデルの具体例であり、年齢層に対応する移動モデルの一例である。m(a, v) は、群衆全体について算出された流れベクトルの大きさが v である場合において、年齢層の属性値が a であるオブジェクトの群衆の速度を表す。
Figure 0007047944000007
ここで、推定部2060が、実施形態1で一例として説明した、無限の広さを持つ指定範囲について属性分布を算出するとする。この場合、推定部2060は、属性 A の属性値が a である群衆について、時点 tn=t0+nΔt における位置 xn(tn) を算出する数式として、数式(2)の代わりに以下の数式(8)を用いる。
Figure 0007047944000008
なお、モデル取得部2080が移動モデルを取得する方法は任意である。例えば移動モデルは、予めモデル取得部2080に設定されていてもよいし、モデル取得部2080からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。
<ハードウエア構成例>
実施形態2の情報処理装置2000は、実施形態1と同様に計算機1000を用いて実現される(図4参照)。本実施形態において、前述したストレージ1080に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。
<作用・効果>
本実施形態によれば、属性に対応付けて定められた移動モデルを用いて群衆の流れが推定される。そのため、群衆の流れをより高い精度で推定することができる。その結果、属性分布をより高い精度で推定することができる。
[実施形態3]
図22は、実施形態3の情報処理装置2000を例示するブロック図である。下記で説明する点を除き、実施形態3の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
実施形態3の情報処理装置2000は、制御情報生成部2100を有する。制御情報生成部2100は、属性分布に基づいて制御情報を生成する。制御情報生成部2100は、生成した制御情報をディスプレイ装置に表示したり、ユーザにメールなどで通知したりする。このディスプレイ装置は、情報処理装置2000に接続されているものであってもよいし、他の装置に接続されているものであってもよい。情報処理装置2000以外の装置に接続されているディスプレイ装置に制御情報を表示させる場合、情報処理装置2000は、ディスプレイ装置が接続されている装置に対して制御情報を送信する。
制御情報が示す情報は様々である。例えば制御情報は、特定の属性値を持つオブジェクトが多く存在する場所を示す。この場合、制御情報生成部2100は、サポートが必要な属性値に関する属性の分布に基づいて、この制御情報を生成する。例えば制御情報生成部2100は、或る場所において、特定の属性値を持つオブジェクトの密度が所定値以上である場合に、その場所を示す制御情報を生成する。
ここで、制御情報生成部2100は、オブジェクトの密度の大きさに応じて異なる制御情報を生成し、提示するようにしてもよい。例えば、制御情報生成部2100は、図19で示した地図200に対し、オブジェクトの密度が中程度である(例えば第1の閾値以上第2の閾値以下である)範囲については黄色の枠を重畳し、オブジェクトの密度が高い(例えば第2の閾値以上である)範囲については赤色の枠を重畳することで、各範囲に対するサポートの必要性の度合を表す制御情報を生成する。なお、提示方法には、枠を重畳させる方法以外にも、領域に特定の色を重畳する方法や、枠を点滅させる方法などの種々の方法を用いることができる。また、上述した第1の閾値や第2の閾値は、制御情報生成部2100に予め設定されていてもよいし、制御情報生成部2100からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。
上記特定の属性値は、例えば老人や歩行困難者など、警備員などのサポートを必要とするオブジェクトであることを表す属性値である。例えば老人が多く存在する場所を示す制御情報を生成する場合、制御情報生成部2100は、年齢層に関する属性分布を利用する。
このような制御情報を生成することで、情報処理装置2000のユーザ(警備員など)は、特定の属性値を持つオブジェクト(例えばサポートを必要とするオブジェクト)が多く存在する場所を把握することができる。よって、群衆誘導などをより適切に行うことができるようになる。
なお、制御情報は、特定の属性値を持つオブジェクトが多い場所であって、なおかつ近くに警備員が配置されていない場所を示してもよい。この場合、制御情報生成部2100は、属性分布に加え、警備員の配置を表す情報を利用する。各警備員の位置は、警備員が所持している携帯端末の位置情報(GPS 座標など)に基づいて特定することができる。
このような制御情報を生成することで、サポートが足りていない老人などの所へ警備員を向かわせるなど、警備員の配置を適切に変更するように促すことができる。その結果、群衆誘導などをより適切に行うことができる。
また例えば、制御情報は、属性分布の信頼度が低いと考えられる場所を示してもよい。属性分布の信頼度が低い場所は、例えば近くに移動カメラ20が無い場所である。移動カメラ20の撮像範囲外の範囲における属性分布は、移動カメラ20の撮像範囲について算出された属性分布に基づいて推定されるため、移動カメラ20からの距離が遠い場所ほど、推定された属性分布の精度が低いと考えられるからである。また例えば、属性分布の信頼度が低い場所は、属性分布の推定に用いられたデータ(第1監視画像12や第2監視画像22)が古いデータである場所である。推定に利用されたデータが古いほど、そのデータが生成された時点における群衆の状態と現時点での群衆の状態との乖離が大きくなるため、属性分布の精度が低いと考えられるからである。
例えば制御情報生成部2100は、所定の監視場所(例えば地図200に含まれる場所)について、各移動カメラ20の位置から所定距離の範囲を算出する。算出したいずれの範囲にも含まれない場所が地図200内にあれば、制御情報生成部2100は、その場所を属性分布の信頼度が低い場所として扱う。そして制御情報生成部2100は、その場所を示す制御情報を生成する。上記所定距離は、予め制御情報生成部2100に設定されていてもよいし、制御情報生成部2100からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。
このような制御情報を生成することで、属性分布の信頼度が低い場所へ移動カメラ20を持っている警備員を向かわせるなどして、属性分布の信頼度が低い場所を減らすことができる。その結果、監視場所全体について属性分布の信頼度を向上させることができ、群衆誘導などをより適切に行うことができるようになる。
<ハードウエア構成例>
実施形態2の情報処理装置2000は、実施形態1と同様に計算機1000を用いて実現される(図4参照)。本実施形態において、前述したストレージ1080に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。
<作用・効果>
本実施形態によれば、上述した種々の制御情報が生成される。この制御情報を利用することにより、情報処理装置2000のユーザである警備員などが、群衆誘導などを適切に行うことができるようになる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
以下、参考形態の例を付記する。
1. 位置が固定されたカメラである固定カメラによって生成された第1の監視画像を用いて、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れを算出する第1解析手段と、
位置が固定されていないカメラである移動カメラによって生成された第2の監視画像を用いて、前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を算出する第2解析手段と、
前記移動カメラの撮像範囲におけるオブジェクトの属性の分布と、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れとに基づき、前記移動カメラの撮像範囲に含まれない範囲を含む推定範囲についてオブジェクトの属性の分布を推定する推定手段と、を有する情報処理装置。
2. 前記推定手段は、前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れに基づいて移動させることで、前記推定範囲におけるオブジェクトの属性の分布を推定する、1.に記載の情報処理装置。
3. 前記固定カメラと前記移動カメラの撮像範囲が重なっていない場合、前記推定手段は、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れに基づいて、前記移動カメラの撮像範囲におけるオブジェクトの集合の流れを推定し、前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を、前記推定したオブジェクトの集合の流れに基づいて移動させることで、前記推定範囲におけるオブジェクトの属性の分布を推定する、2.に記載の情報処理装置。
4. オブジェクトの属性値に対応付けてそのオブジェクトの移動の特徴を表す移動モデルを取得する移動モデル取得手段を有し、
前記推定手段は、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れ及び前記移動モデルに基づいて、属性値が互いに異なるオブジェクトの集合ごとの流れを算出し、属性値が互いに異なるオブジェクトの集合ごとの流れに基づいて前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を移動させることで、前記推定範囲におけるオブジェクトの属性の分布を推定する、2.に記載の情報処理装置。
5. 前記第1解析手段は、前記第1の監視画像を用いて、前記固定カメラの撮像範囲におけるオブジェクトの集合の密度を算出し、
前記推定手段は、前記推定範囲におけるオブジェクトの集合の密度を、前記固定カメラの撮像範囲におけるオブジェクトの集合の密度と同じ密度として算出することで、前記推定範囲について、各属性値を持つオブジェクトの数を推定する、1.乃至4.いずれか一つに記載の情報処理装置。
6. 前記推定された属性分布において所定の属性値を持つオブジェクトが多く存在する場所か、又は前記推定された属性分布の信頼度が低い場所を示す制御情報を生成する制御情報生成手段を有する、1.乃至5.いずれか一つに記載の情報処理装置。
7. 前記第1の監視画像に写っているオブジェクトの集合と、前記第2の監視画像に写っているオブジェクトの集合は、少なくとも一部のオブジェクトが共通している、1.乃至6.いずれか一つに記載の情報処理装置。
8. 前記オブジェクトは人であり、
前記オブジェクトの属性は、年齢層、性別、国籍、所属しているグループ、持ち物の有無、又は歩行困難者であるか否かである、1.乃至7.いずれか一つに記載の情報処理装置。
9. 前記固定カメラの撮像範囲は、前記移動カメラの撮像範囲よりも広い、1.乃至8.いずれか一つに記載の情報処理装置。
10. コンピュータによって実行される制御方法であって、
位置が固定されたカメラである固定カメラによって生成された第1の監視画像を用いて、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れを算出する第1解析ステップと、
位置が固定されていないカメラである移動カメラによって生成された第2の監視画像を用いて、前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を算出する第2解析ステップと、
前記移動カメラの撮像範囲におけるオブジェクトの属性の分布と、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れとに基づき、前記移動カメラの撮像範囲に含まれない範囲を含む推定範囲についてオブジェクトの属性の分布を推定する推定ステップと、を有する制御方法。
11. 前記推定ステップは、前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れに基づいて移動させることで、前記推定範囲におけるオブジェクトの属性の分布を推定する、10.に記載の制御方法。
12. 前記固定カメラと前記移動カメラの撮像範囲が重なっていない場合、前記推定ステップは、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れに基づいて、前記移動カメラの撮像範囲におけるオブジェクトの集合の流れを推定し、前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を、前記推定したオブジェクトの集合の流れに基づいて移動させることで、前記推定範囲におけるオブジェクトの属性の分布を推定する、11.に記載の制御方法。
13. オブジェクトの属性値に対応付けてそのオブジェクトの移動の特徴を表す移動モデルを取得する移動モデル取得ステップを有し、
前記推定ステップは、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れ及び前記移動モデルに基づいて、属性値が互いに異なるオブジェクトの集合ごとの流れを算出し、属性値が互いに異なるオブジェクトの集合ごとの流れに基づいて前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を移動させることで、前記推定範囲におけるオブジェクトの属性の分布を推定する、11.に記載の制御方法。
14. 前記第1解析ステップは、前記第1の監視画像を用いて、前記固定カメラの撮像範囲におけるオブジェクトの集合の密度を算出し、
前記推定ステップは、前記推定範囲におけるオブジェクトの集合の密度を、前記固定カメラの撮像範囲におけるオブジェクトの集合の密度と同じ密度として算出することで、前記推定範囲について、各属性値を持つオブジェクトの数を推定する、10.乃至13.いずれか一つに記載の制御方法。
15. 前記第1解析ステップは、複数の前記第1の監視画像それぞれを用いて、複数の時点について前記固定カメラの撮像範囲におけるオブジェクトの集合の流れを算出し、
前記第2解析ステップは、複数の前記第2の監視画像それぞれを用いて、複数の時点について前記移動カメラの撮像範囲におけるオブジェクトの属性の分布を算出し、
前記推定ステップは、複数の時点について算出された、前記移動カメラの撮像範囲におけるオブジェクトの属性の分布と、前記固定カメラの撮像範囲におけるオブジェクトの集合の流れとに基づいて、前記推定範囲におけるオブジェクトの属性の分布を推定する、10.乃至14.いずれか一つに記載の制御方法。
16. 前記推定された属性分布において所定の属性値を持つオブジェクトが多く存在する場所か、又は前記推定された属性分布の信頼度が低い場所を示す制御情報を生成する制御情報生成ステップを有する、10.乃至15.いずれか一つに記載の制御方法。
17. 前記第1の監視画像に写っているオブジェクトの集合と、前記第2の監視画像に写っているオブジェクトの集合は、少なくとも一部のオブジェクトが共通している、10.乃至16.いずれか一つに記載の制御方法。
18. 前記オブジェクトは人であり、
前記オブジェクトの属性は、年齢層、性別、国籍、所属しているグループ、持ち物の有無、又は歩行困難者であるか否かである、10.乃至17.いずれか一つに記載の制御方法。
19. 前記固定カメラの撮像範囲は、前記移動カメラの撮像範囲よりも広い、10.乃至18.いずれか一つに記載の制御方法。
20. 10.乃至19.いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
この出願は、2016年3月18日に出願された日本出願特願2016-055171号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

  1. 監視カメラが撮像した撮像画像を取得する取得手段と、
    予め持ち物を有する人物または持ち物の特徴を学習した識別器を用いて、前記撮像画像に映る人物が前記持ち物のうち少なくともベビーカー、車いす、又は杖を有するか否かを判定し、前記人物に対し前記持ち物に応じて異なる属性を判定する判定手段と、
    前記属性の判定結果に基づく統計処理の結果を出力する出力手段と、
    を備える映像監視システム。
  2. 前記判定手段は、前記人物の歩行情報に基づき前記人物が歩行困難者であるか否かを判定し、前記人物に対し前記持ち物に応じて判定される属性とは異なる属性を判定する、
    請求項1に記載の映像監視システム。
  3. 監視カメラが撮像した撮像画像を取得する取得手段と、
    撮像画像に映る人物の歩行情報に基づき前記人物が歩行困難者であるか否かを判定し、前記人物に対し持ち物に応じて判定される属性とは異なる属性を判定する判定手段と、
    前記属性の判定結果に基づく統計処理の結果を出力する出力手段と、
    を備える映像監視システム。
  4. 前記出力手段は、前記監視カメラが監視するエリアを示す画像において、前記監視カメラが撮像した人物の属性に応じた枠を重畳表示する、
    請求項1から3のいずれか1項に記載の映像監視システム。
  5. 前記撮像画像から人の流れを算出する算出手段と、
    前記人の流れと、前記属性の統計処理に基づき、前記監視カメラの撮像範囲に含まれない範囲の属性分布を推定する推定手段と、を備える、
    請求項1から4のいずれか1項に記載の映像監視システム。
  6. 前記監視カメラは、移動可能な移動カメラであり、
    イベント会場とその最寄り駅との間の経路の、壁、柱又は天井に固定で設置された固定カメラが撮像した撮像画像に基づいて、前記人の流れを取得し、
    前記統計処理の結果と、前記人の流れに基づいて、前記監視カメラの撮像範囲に含まれない範囲の前記属性の分布を推定する、
    請求項5に記載の映像監視システム。
  7. 群衆移動のシミュレーションを実施して推定した情報を用いて、前記監視カメラの撮像範囲に含まれない範囲の前記属性の分布を推定する、
    請求項1から6のいずれか1項に記載の映像監視システム。
  8. 前記判定結果の統計処理の結果は、現場の警備員が保持する携帯端末に出力される、
    請求項1から7のいずれか1項に記載の映像監視システム。
  9. コンピュータが、
    監視カメラが撮像した撮像画像を取得し、
    予め持ち物を有する人物または持ち物の特徴を学習した識別器を用いて、前記撮像画像に映る人物が前記持ち物のうち少なくともベビーカー、車いす、又は杖を有するか否かを判定し、前記人物に対し前記持ち物に応じて異なる属性を判定し、
    前記属性の判定結果に基づく統計処理の結果を出力する、
    映像監視方法。
  10. コンピュータが、
    監視カメラが撮像した撮像画像を取得し、
    撮像画像に映る人物の歩行情報に基づき前記人物が歩行困難者であるか否かを判定し、前記人物に対し持ち物に応じて判定される属性とは異なる属性を判定し、
    前記属性の判定結果に基づく統計処理の結果を出力する、
    映像監視方法。
  11. コンピュータに、
    監視カメラが撮像した撮像画像を取得する処理、
    予め持ち物を有する人物または持ち物の特徴を学習した識別器を用いて、前記撮像画像に映る人物が前記持ち物のうち少なくともベビーカー、車いす、又は杖を有するか否かを判定し、前記人物に対し前記持ち物に応じて異なる属性を判定する処理、
    前記属性の判定結果に基づく統計処理の結果を出力する処理、
    を実行させるためのプログラム。
  12. コンピュータに、
    監視カメラが撮像した撮像画像を取得する処理、
    撮像画像に映る人物の歩行情報に基づき前記人物が歩行困難者であるか否かを判定し、前記人物に対し持ち物に応じて判定される属性とは異なる属性を判定する処理、
    前記属性の判定結果に基づく統計処理の結果を出力する処理、
    を実行させるためのプログラム。
JP2021016332A 2016-03-18 2021-02-04 映像監視システム、映像監視方法、及びプログラム Active JP7047944B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022046412A JP2022089834A (ja) 2016-03-18 2022-03-23 映像監視システム、映像監視方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016055171 2016-03-18
JP2016055171 2016-03-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018505311A Division JP6835065B2 (ja) 2016-03-18 2017-01-26 情報処理装置、制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022046412A Division JP2022089834A (ja) 2016-03-18 2022-03-23 映像監視システム、映像監視方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021073618A JP2021073618A (ja) 2021-05-13
JP7047944B2 true JP7047944B2 (ja) 2022-04-05

Family

ID=59851556

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018505311A Active JP6835065B2 (ja) 2016-03-18 2017-01-26 情報処理装置、制御方法、及びプログラム
JP2021016332A Active JP7047944B2 (ja) 2016-03-18 2021-02-04 映像監視システム、映像監視方法、及びプログラム
JP2022046412A Pending JP2022089834A (ja) 2016-03-18 2022-03-23 映像監視システム、映像監視方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018505311A Active JP6835065B2 (ja) 2016-03-18 2017-01-26 情報処理装置、制御方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022046412A Pending JP2022089834A (ja) 2016-03-18 2022-03-23 映像監視システム、映像監視方法、及びプログラム

Country Status (3)

Country Link
US (7) US10699422B2 (ja)
JP (3) JP6835065B2 (ja)
WO (1) WO2017159060A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797641B2 (en) 2015-02-03 2023-10-24 1Qb Information Technologies Inc. Method and system for solving the lagrangian dual of a constrained binary quadratic programming problem using a quantum annealer
US10699422B2 (en) * 2016-03-18 2020-06-30 Nec Corporation Information processing apparatus, control method, and program
KR102012549B1 (ko) * 2017-01-25 2019-08-20 엘지전자 주식회사 이동 객체를 식별하여 맵을 작성하는 방법 및 이를 구현하는 로봇
US10740446B2 (en) * 2017-08-24 2020-08-11 International Business Machines Corporation Methods and systems for remote sensing device control based on facial information
JP7062753B2 (ja) * 2018-03-20 2022-05-06 株式会社日立国際電気 監視システム及び監視方法
JP6999237B2 (ja) * 2018-04-05 2022-01-18 矢崎エナジーシステム株式会社 案内システム
JP2019185237A (ja) * 2018-04-05 2019-10-24 矢崎エナジーシステム株式会社 解析システム
CN110798653B (zh) * 2018-08-01 2021-09-14 华为技术有限公司 一种基于多机协作的图像处理方法和视频监控系统
EP3742412A1 (en) * 2019-05-24 2020-11-25 IMEC vzw A computer-implemented method for estimating movements of a crowd between areas
CA3126553A1 (en) 2019-06-19 2020-12-24 1Qb Information Technologies Inc. Method and system for mapping a dataset from a hilbert space of a given dimension to a hilbert space of a different dimension
US11734628B2 (en) * 2019-06-27 2023-08-22 Cerner Innovation, Inc. Optimizing resource allocation for an organization
CN110827316A (zh) * 2019-10-29 2020-02-21 贵州民族大学 人群恐慌四散检测方法、系统、可读存储介质和电子设备
CN110781853B (zh) * 2019-11-01 2022-12-27 浙江大华技术股份有限公司 人群异常检测方法以及相关装置
CN111191525A (zh) * 2019-12-13 2020-05-22 上海伯镭智能科技有限公司 一种基于多旋翼无人机的开放公共场所人流密度估测方法
WO2021176997A1 (ja) * 2020-03-06 2021-09-10 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US20220198539A1 (en) * 2020-12-23 2022-06-23 Panasonic Intellectual Property Management Co., Ltd. Checkout system and checkout method
WO2023286569A1 (ja) * 2021-07-15 2023-01-19 株式会社Nttドコモ 混雑度推定システム
CN114821961B (zh) * 2022-06-28 2022-11-22 合肥的卢深视科技有限公司 室内防儿童走失方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274234A (ja) 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology ステレオカメラを用いた白杖使用者検出システム
JP2007272474A (ja) 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology ステレオカメラを用いた車椅子使用者検出システム
JP2009187054A (ja) 2008-02-01 2009-08-20 Omron Corp 類型判別ユニット、自動改札機、および保全装置
WO2014125882A1 (ja) 2013-02-15 2014-08-21 日本電気株式会社 情報処理システム、情報処理方法及びプログラム

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530090B2 (ja) * 1999-11-05 2004-05-24 株式会社東芝 交差点横断歩行者監視システム
US7139409B2 (en) * 2000-09-06 2006-11-21 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
JP2002297757A (ja) * 2001-04-02 2002-10-11 Nippon Signal Co Ltd:The イベント警備システム
JP2003348569A (ja) 2002-05-28 2003-12-05 Toshiba Lighting & Technology Corp 監視カメラシステム
JP4195991B2 (ja) 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP2006197226A (ja) * 2005-01-13 2006-07-27 Kanshi Kakumei:Kk 監視カメラシステム
JP2007034585A (ja) * 2005-07-26 2007-02-08 Victor Co Of Japan Ltd 映像監視システム
JP2007104091A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 画像選出装置、プログラムおよび方法
JP4646933B2 (ja) * 2007-03-01 2011-03-09 技研トラステム株式会社 混雑レベル判別システム
JP2009067501A (ja) * 2007-09-11 2009-04-02 Toshiba Elevator Co Ltd エレベータシステム
US8195598B2 (en) 2007-11-16 2012-06-05 Agilence, Inc. Method of and system for hierarchical human/crowd behavior detection
US8295545B2 (en) 2008-11-17 2012-10-23 International Business Machines Corporation System and method for model based people counting
DE112009004861B4 (de) * 2009-05-29 2017-03-02 Toyota Jidosha Kabushiki Kaisha Spektrumsmessvorrichtung für einen beweglichen körper
JP2011008571A (ja) * 2009-06-26 2011-01-13 Shunkosha:Kk 通行人流動データ生成装置、コンテンツ配信制御装置、通行人流動データ生成方法及びコンテンツ配信制御方法
WO2011013605A1 (ja) 2009-07-27 2011-02-03 三洋電機株式会社 プレゼンテーションシステム
JP5478520B2 (ja) * 2010-02-18 2014-04-23 日本電信電話株式会社 人数計測装置、人数計測方法、プログラム
JP5581174B2 (ja) 2010-10-25 2014-08-27 パナソニック株式会社 障害物検知装置
JP2012173761A (ja) * 2011-02-17 2012-09-10 Nifty Corp 情報処理装置、情報処理方法及びプログラム
CN102737383B (zh) * 2011-03-31 2014-12-17 富士通株式会社 视频中的摄像机运动分析方法及装置
KR20160013266A (ko) 2011-04-11 2016-02-03 인텔 코포레이션 개인화된 광고 선택 시스템 및 방법
US8917764B2 (en) * 2011-08-08 2014-12-23 Ittiam Systems (P) Ltd System and method for virtualization of ambient environments in live video streaming
WO2013067247A1 (en) * 2011-11-02 2013-05-10 ThinkVine Corporation Agent generation for agent-based modeling systems
JP5516561B2 (ja) * 2011-12-08 2014-06-11 株式会社デンソーアイティーラボラトリ 車両用運転支援装置
US9208386B1 (en) * 2012-01-09 2015-12-08 The United States Of America As Represented By The Secretary Of The Navy Crowd state characterization system and method
JP5810946B2 (ja) * 2012-01-31 2015-11-11 富士通株式会社 特定通話検出装置、特定通話検出方法及び特定通話検出用コンピュータプログラム
FI124467B (en) * 2012-03-01 2014-09-15 Innorange Oy Procedure, arrangement and arrangement for estimating the number of persons
US9008359B2 (en) * 2012-06-28 2015-04-14 International Business Machines Corporation Detection of static object on thoroughfare crossings
SG11201500693QA (en) 2012-07-31 2015-04-29 Nec Corp Image processing system, image processing method, and program
JP2014191711A (ja) * 2013-03-28 2014-10-06 Oki Electric Ind Co Ltd 映像解析装置、映像解析方法、プログラムおよび映像解析システム
WO2014182638A2 (en) 2013-05-04 2014-11-13 Christopher Decharms Mobile security technology
KR101448392B1 (ko) 2013-06-21 2014-10-13 호서대학교 산학협력단 피플 카운팅 방법
KR101448391B1 (ko) * 2013-06-21 2014-10-13 호서대학교 산학협력단 피플 카운팅 시스템
US20140379477A1 (en) 2013-06-25 2014-12-25 Amobee Inc. System and method for crowd based content delivery
JP6008045B2 (ja) * 2013-06-28 2016-10-19 日本電気株式会社 教師データ生成装置、方法、プログラム、および群衆状態認識装置、方法、プログラム
JP2015026196A (ja) 2013-07-25 2015-02-05 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 移動体からのデータを集約し、フィルタリング処理する方法、並びに、そのコンピュータ及びコンピュータ・プログラム
JP5892123B2 (ja) * 2013-08-20 2016-03-23 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
EP3067658B1 (en) * 2013-11-06 2019-10-02 Toppan Printing Co., Ltd. 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program
US10956836B2 (en) * 2013-12-02 2021-03-23 Joshua Christopher Joachim Methods and systems for managing simultaneous events
JP2015114726A (ja) * 2013-12-09 2015-06-22 キヤノン株式会社 情報伝達装置及びその制御方法、情報装置、コンピュータプログラム
US9712980B1 (en) 2014-02-21 2017-07-18 Alexey Filatoff Facility mapping and interactive tracking
JP2015216518A (ja) * 2014-05-12 2015-12-03 富士通株式会社 情報処理方法、プログラム及び情報処理装置
JP6696422B2 (ja) * 2014-06-27 2020-05-20 日本電気株式会社 異常検知装置及び異常検知方法
US11138443B2 (en) 2014-06-30 2021-10-05 Nec Corporation Guidance processing apparatus and guidance method
JP5999394B2 (ja) 2015-02-20 2016-09-28 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US9877012B2 (en) * 2015-04-01 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus for estimating three-dimensional position of object and method therefor
US20160379074A1 (en) 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
US20170017846A1 (en) * 2015-07-15 2017-01-19 Umm Al-Qura University Crowd and traffic monitoring apparatus and method
JP6474919B2 (ja) * 2016-01-12 2019-02-27 株式会社日立国際電気 混雑状況監視システム及び混雑状況監視方法
US10699422B2 (en) * 2016-03-18 2020-06-30 Nec Corporation Information processing apparatus, control method, and program
JP7014154B2 (ja) 2016-04-19 2022-02-15 日本電気株式会社 調査装置
US10936882B2 (en) * 2016-08-04 2021-03-02 Nec Corporation People flow estimation device, display control device, people flow estimation method, and recording medium
US20180158011A1 (en) * 2016-12-01 2018-06-07 Corning Incorporated Methods and systems for predicting workforce population
US11595774B2 (en) 2017-05-12 2023-02-28 Microsoft Technology Licensing, Llc Spatializing audio data based on analysis of incoming audio data
KR20190064712A (ko) * 2017-11-30 2019-06-11 (주)이즈피엠피 놀이 리포팅 시스템 및 방법
US10810435B2 (en) 2018-11-07 2020-10-20 Adobe Inc. Segmenting objects in video sequences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274234A (ja) 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology ステレオカメラを用いた白杖使用者検出システム
JP2007272474A (ja) 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology ステレオカメラを用いた車椅子使用者検出システム
JP2009187054A (ja) 2008-02-01 2009-08-20 Omron Corp 類型判別ユニット、自動改札機、および保全装置
WO2014125882A1 (ja) 2013-02-15 2014-08-21 日本電気株式会社 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20230394684A1 (en) 2023-12-07
US20200065982A1 (en) 2020-02-27
JP2022089834A (ja) 2022-06-16
US11361452B2 (en) 2022-06-14
JP6835065B2 (ja) 2021-02-24
US10699422B2 (en) 2020-06-30
US20190035093A1 (en) 2019-01-31
JP2021073618A (ja) 2021-05-13
US20220343516A1 (en) 2022-10-27
US11158068B2 (en) 2021-10-26
JPWO2017159060A1 (ja) 2019-01-17
US20190333234A1 (en) 2019-10-31
US11205275B2 (en) 2021-12-21
US20230394683A1 (en) 2023-12-07
WO2017159060A1 (ja) 2017-09-21
US11823398B2 (en) 2023-11-21
US20190325589A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
JP7047944B2 (ja) 映像監視システム、映像監視方法、及びプログラム
US10776627B2 (en) Human flow analysis method, human flow analysis apparatus, and human flow analysis system
US10607356B2 (en) Congestion analysis device, congestion analysis method, and congestion analysis program
CN104834887B (zh) 运动行人表示方法、识别方法及其装置
US11854275B2 (en) Systems and methods for detecting symptoms of occupant illness
US11436866B2 (en) System and method for eye-tracking
JP6779410B2 (ja) 映像解析装置、映像解析方法、及びプログラム
TW201944324A (zh) 導引系統
CN106937532A (zh) 用于检测真正用户的系统和方法
US11715332B2 (en) System and method for eye-tracking
CN113724454B (zh) 移动设备的互动方法、移动设备、装置及存储介质
JP2023136194A (ja) 情報処理装置、移動体、それらの制御方法、プログラム、及び記憶媒体
Ullah et al. Smartphone-Based Cognitive Assistance of Blind People in Room Recognition and Awareness
WO2023170864A1 (ja) ルート算出装置、ルート算出方法、および記録媒体
JP2022142623A (ja) 情報処理システム、情報処理方法およびプログラム
JP2024032744A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024013729A2 (en) A system based on ai and crowd dynamics invented to improve safety and efficiency while traveling in groups or clusters during crowded events like hajj and umrah

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R151 Written notification of patent or utility model registration

Ref document number: 7047944

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151