JP7130368B2 - 情報処理装置および情報処理システム - Google Patents

Description

本発明は、カメラで撮像した映像中の人物の数を計測するための情報処理装置および情報処理システムに関する。

近年、カメラで所定の領域を撮像して、撮像した映像を解析することによって映像中の人物の数を計測（計数）する方法が提案されている。例えば、入力画像と背景画像とから求めた差分画像の面積から人数を推定する方法が特許文献１に記載されている。また、人物検出手段によって検出した人物の数を計数する方法が特許文献２に記載されている。

特開２００５－２４２６４６号公報 特開２００７－２０１５５６号公報

しかしながら、特許文献１および２は、１台のカメラ（撮像装置）で所定の領域を撮像して得た画像中の人数を計数するものなので、１台のカメラではカバーしきれない広域での人数を計数できない。また、特許文献１および２では、広域での混雑状況の俯瞰をすることもできない。複数のカメラを用意して、単純に特許文献１や２の方法をカメラ画像毎に適用した場合、カメラ間の設置状況が異なると混雑度の比較ができない。例えば、１つのカメラで比較的広い領域を撮像し、別のカメラで狭い領域を撮像した場合、２つの映像内に写る人物の数が同じであったとしても２つの領域の混雑状況は異なる。
本発明の目的は、上記した課題を解決すべく、複数の撮像装置で撮像した画像を用いても、ある領域に存在する対象物体の数を適切に計数することができる人流解析装置およびシステムを提供することである。

本発明の目的を達成するために、本発明の１つの態様による情報処理装置は、画像から検出された物体について、所定の座標系における物体の位置を取得する取得手段と、前記取得された物体の位置に基づいて、複数の撮像装置によって撮像された所定の領域における物体の数を決定する決定手段と、を有する情報処理装置であって、前記取得手段は、前記画像が混雑画像でない場合は前記画像から検出された物体毎の位置を取得する第１の方法に基づいて、前記画像が混雑画像である場合は前記画像から検出された物体の数と所定の位置とを対応付ける第２の方法に基づいて、物体の位置を取得することを特徴とする。

本発明によれば、複数の撮像装置で撮像した画像を用いても、ある領域に存在する人物の数を適切に計数することができる。

本発明の実施形態に係る人流解析装置のハードウェア構成を示す図。 本発明の実施形態に係る人流解析装置の機能構成を示す図。 本発明の実施形態に係る人流解析システムの処理の流れを示す図。 地図上での撮像装置の設置位置を示す図。 本発明の実施形態に係る画像認識部の構成を示す図。 変化領域画像の例を示す図。 本発明の実施形態に係る画像認識部の処理の流れを示す図。 較正パラメータの取得方法を説明するための図。 本発明の実施形態に係る座標変換部の構成を示す図。 本発明の実施形態に係る統合計数部の処理の流れを示す図。 人流解析結果の表示例を示す図。 本発明の他の実施形態に係る人流解析装置の機能構成を示す図。 本発明の他の実施形態に係る人流解析システムの処理の流れを示す図。 本発明の他の実施形態に係る画像認識部の構成を示す図。 本発明の他の実施形態に係る群衆人流推定部の機能を説明するための図。 本発明の他の実施形態に係る画像認識部の処理の流れを示す図。 本発明の他の実施形態に係る人流解析結果の表示例を示す図。

以下、添付図面を参照して、本発明を実施するための実施形態を詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置やシステムの構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

（人流解析装置のハードウェア構成）
図１は本実施形態に係る人流解析装置１０のハードウェア構成を示す図である。人流解析装置１０は、演算処理装置１１、記憶装置１２、入力装置１３、出力装置１４および入力Ｉ／Ｆ（インタフェイス）１５を備える。人流解析装置１０の各装置１１～１５は、バス１６により互いに接続されている。本実施形態の人流解析装置１０には、複数の撮像装置１０１～１０ｎが入力Ｉ／Ｆ１５を介して接続されており、人流解析装置１０と撮像装置１０１～１０ｎにより、人流解析システムが構成されている。人流解析装置１０は、撮像装置１０１～１０ｎが撮像した画像から、人物の数を求め、当該画像における人物の混雑度を解析する。人流解析システムの各装置１１～１４および撮像装置１０１～１０ｎは、互いに通信可能に構成されている。

演算処理装置１１は、人流解析装置１０の動作をコントロールし、記憶装置１２に格納されたプログラムの実行等を行う。演算処理装置１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＧＰＵ（Ｇｒａｐｈｉｃｓ ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を含む。
記憶装置１２は、磁気メモリ、半導体メモリ等からなるストレージデバイスである。記憶装置１２は、演算処理装置１１の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、演算処理装置１１が、記憶装置１２に格納されたプログラムの手順に従って処理を行うことによって、人流解析装置１０における機能及び後述するフローチャートに係る処理が実現される。記憶装置１２は、人流解析装置１０が処理対象とする画像および検出結果、解析結果等を記憶する。

入力装置１３は、マウス、キーボード、タッチパネルデバイス、ボタン等を含む。入力ル装置４は、各種の指示、情報、データ等を入力する。
出力装置１４は、液晶パネル、外部モニタ等からなり、各種の情報を出力する。
入力Ｉ／Ｆ１５は、撮像装置１０１～１０ｎを人流解析装置１０に接続する。入力Ｉ／Ｆ１５は、例えば、ＵＳＢやＩＥＥＥ１３９４等の規格に準拠したシリアルバスインタフェイスである。撮像装置１０１～１０ｎで撮像した画像は、入力Ｉ／Ｆ１５を介して、人流解析装置１０に入力される。

撮像装置１０１～１０ｎは、例えば、監視カメラであり、所定の領域を撮像することにより、当該領域の画像（画像データ）を取得する。この所定の領域は、各撮像装置の撮像領域である。撮像装置１０１～１０ｎは、画像を格納するメモリを有している。撮像装置１０１～１０ｎは、それぞれ識別番号（カメラＩＤ）を有する。
なお、人流解析装置１０のハードウェア構成は、上述した構成に限定されない。例えば、人流解析装置１０は、各種の装置と通信を行うためのＩ／Ｏ装置を備えてもよい。例えば、Ｉ／Ｏ装置は、有線、無線等による送受信部である。また、Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部を有してもよい。

（人流解析装置１０の機能構成）
図２は、撮像装置１０１～１０ｎに接続された、本実施形態に係る人流解析装置１０の機能構成を示す図である。人流解析装置１０の処理および機能は、複数の撮像装置１０１～１０ｎに対応した、複数の画像認識部２０１～２０ｎと、複数の較正部３０１～３０ｎと、複数の座標変換部４０１～４０ｎと、統合計数部５００と、表示部６００とにより実現される。
撮像装置１０１～１０ｎは、それぞれ所定の領域を撮像することにより、当該領域の画像を取得し、取得した画像を画像認識部２０１～２０ｎに出力する。
画像認識部２０１～２０ｎは、撮像装置１０１～１０ｎから受け取った画像に画像認識処理を施し、当該画像内の人物位置を取得（検出、推定）する。この人物位置は、画像の座標で示される位置座標である。本実施形態では、画像認識部２０１～２０ｎは同一の構成を有し、同一の動作（処理）を行う。画像認識部２０１～２０ｎは、認識した人物位置を座標変換部４０１～４０ｎに出力する。

較正部３０１～３０ｎは、撮像装置１０１～１０ｎが取得した画像の座標と共通の座標系の座標である世界座標（基準座標系）とを対応付ける較正パラメータをそれぞれ取得する。較正部３０１～３０ｎは、取得した較正パラメータを座標変換部４０１～４０ｎに出力する。
座標変換部４０１～４０ｎは、較正部３０１～３０ｎから受け取った較正パラメータを用いて、画像認識部２０１～２０ｎから受け取った人物位置（位置座標）をそれぞれ世界座標に変換する。座標変換部４０１～４０ｎは、世界座標にした人物位置を、統合計数部５００に出力する。なお、座標変換部４０１～４０ｎのそれぞれは、第１の座標変換部４１０と第２の座標変換部４２０を含む（図９）。第１の座標変換部４１０と第２の座標変換部４２０については、後述する。

統合計数部５００は、座標変換部４０１～４０ｎから受け取った人物位置の世界座標を統合し（位置座標を世界座標上に統合し）、領域毎に人物の数を計数する。また、統合計数部５００は、領域毎に計数した人物の数に基づいて、混雑度を表す濃淡部分（混雑度表示）を生成し、地図上に表示する。本実施形態では、地図上に混雑度表示が表示されたものを、解析結果と称する。解析結果については、図１１を用いて後述する。統合計数部５００は、世界座標を用いて、解析結果を表示部６００に出力する。
表示部６００は、統合計数部５００から受け取った解析結果を表示する。

（人流解析システムの処理）
以下、撮像装置１０１～１０ｎと人流解析装置１０とを有する人流解析システムの動作を図３に示すフローチャートに従って説明する。
Ｓ１０において、撮像装置１０１～１０ｎは、複数の領域を撮像することにより複数の画像を取得する。取得した画像は、撮像装置１０１～１０ｎのメモリに格納される。本実施形態では、図４の地図に示すように撮像装置１０１～１０ｎが設置されているものとする。図中、Ｃ１～Ｃｎはそれぞれ撮像装置１０１～１０ｎの位置を表す。白色の領域Ｓは街路・歩道等の人物が通行する領域である。撮像装置１０１～１０ｎが撮像対象とする空間（領域）は互いに重複し合ってもよいし、重複しなくてもよい。撮像装置１０１～１０ｎは、好ましくは、撮像した画像と共に撮像時刻を記録する。撮像時刻を参照することで後述の統合処理において略同一時刻での計数人数や解析結果を世界座標上に統合することが可能になる。
Ｓ２０において、人流解析装置１０の画像認識部２０１～２０ｎは、撮像装置１０１～１０ｎが取得した画像に画像認識処理を施し、画像中の人物位置を取得する。本実施形態では、画像認識部２０１～２０ｎは同一の構成からなり、同一の動作を行うので、代表として画像認識部２０１の詳細を以下に説明する。

（画像認識部の構成）
図５は画像認識部２０１の構成を示す。図５に示すように、画像認識部２０１は、変化領域検知部２１０と、混雑判定部２２０と、人検出部２３０と、群衆人数推定部２４０とを有する。変化領域検知部２１０、人検出部２３０、および群衆人数推定部２４０には、撮像装置１０１で取得した画像が、入力画像として入力される。
変化領域検知部２１０は、入力画像から、時間的に変化の大きい領域（変化領域）を検知して、当該領域を変化領域画像として抽出する。本実施形態では背景差分方式を用いて変化領域を検知して変化領域画像を抽出する。人物の写っていない背景のみの画像を複数フレーム分取得し、取得した画像から背景画像を予め作成しておく。背景差分方式では、入力画像と背景画像とを画素毎に比較し、差分が所定量より大きい画素を変化領域画素とし、それ以外の画素と区別する。例えば、変化領域画素を１、それ以外の画素を０とした２値画像を変化領域画像として抽出する。１と０は画素値である。変化領域検知部２１０は、抽出した変化領域画像を混雑判定部２２０に出力する。なお、変化領域を検知できない（変化領域画素がない）場合、変化領域検知部２１０は、当該検知結果を混雑判定部２２０に出力する。変化領域検知部２１０は、時間的変化が所定量より大きい領域を入力画像から検知するものである。

混雑判定部２２０は、変化領域検知部２１０で抽出した変化領域画像に基づいて、撮像装置１０１で取得した画像（入力画像）が、人物ありの画像であるのか、人物なしの画像であるのか、混雑画像であるのか、混雑画像ではないのかなどを判定する。変化領域画素がない場合、混雑判定部２２０は入力画像が人物なしの画像であると判定する。混雑判定部２２０は、例えば、入力画像が人物ありの画像であると判定した後、入力画像が混雑画像であるか否かを判定する。混雑判定部２２０は、判定結果を人検出部２３０と、群衆人数推定部２４０とに出力する。

図６を参照して、混雑画像と混雑画像でない画像との違いを説明する。図６において、黒の部分が変化領域画像の中の変化領域画素Ｂ１～Ｂ４を示し、白の部分が変化領域画素でない画素Ｗを示す。図６（Ａ）は入力画像が混雑画像でない場合の変化領域画像の例である。図６（Ａ）では、変化領域画素Ｂ１、Ｂ２、Ｂ３が散在している。これは、例えば、撮像画像中に人物が散在していることを表す。

図６（Ｂ）は入力画像が混雑画像である場合の変化領域画像の例である。図６（Ｂ）では、変化領域画素Ｂ４が大きな塊になる。これは、例えば、撮像画像中で多くの人物がかたまって存在して混雑していることを表す。混雑判定部２２０は変化領域画像に対して隣接する同一画素値の画素を一つの塊に統合し、変化領域画素の塊の大きさを求める。求めた変化領域画素の塊の大きさが所定の閾値以上であれば、混雑判定部２２０は、入力画像が混雑画像であると判定し、それ以外の場合は混雑画像でないと判定する。
このように、混雑判定部２２０は、変化領域画像（領域）内の人物の位置座標の変化に基づいて、入力画像が混雑画像であるか否かを判定している。
なお、入力画像のサイズが大きい場合、混雑判定部２２０は、入力画像を所定のサイズのブロックに分割し、それぞれのブロックに対して混雑判定を行う。

人検出部２３０は、撮像装置１０１で取得した画像（入力画像）から人物を検出する。画像から人物を検出する方法としては、例えば、文献「Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2005」に記載されている方法を用いる。この文献では画像から勾配方向ヒストグラム特徴（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を抽出し、抽出した勾配方向ヒストグラム特徴量をサポートベクターマシンで学習したモデルを用いて人か否かを識別する。

なお、画像から人物を検出する方法は、この方法に限定されない。例えば、抽出する特徴量は勾配方向ヒストグラム特徴ではなく、Ｈａａｒ－ｌｉｋｅ特徴、ＬＢＰＨ特徴（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ Ｈｉｓｔｏｇｒａｍ）等でもよいし、それらを組み合せてもよい。また、人を識別するモデルはサポートベクターマシンではなく、アダブースト識別器、ランダム分類木（Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅ）等でもよい。人検出部２３０は、検出結果を、画像中の人物頭部中心の位置座標として出力する（人物位置の出力）。このようにして、人検出部２３０は、画像中の人物の位置座標を取得している。その後、人検出部２３０は、検出した人物位置を座標変換部４０１（図５）へ出力する。

群衆人数推定部２４０は、撮像装置１０１で取得した画像中の人物の数（人数）を推定する。画像中の人数を推定する方法としては、例えば、文献「Lempitsky and Zisserman.Learning To Count Objects in Images. Advances in Neural Information Processing Systems (NIPS), 2010」に記載されている方法を用いる。この文献では機械学習によって得た認識モデルを用いて、画像から人口密度を回帰推定によって求める。例えば、入力画像を縦横適切な大きさのブロックに分割し、分割したそれぞれの画像（ブロック）の人口密度、すなわち、ブロック中の人数を推定する。本実施形態では、群衆人数推定部２４０は、この文献の方法を利用する。群衆人数推定部２４０は、それぞれのブロックの推定結果から、ブロックの中心位置座標と推定した人数とを対応付けて出力する（人物位置の出力）。このようにして、群衆人数推定部２４０は、画像中の人物の位置座標を取得している。その後、群衆人数推定部２４０は、人物位置を座標変換部４０１（図５）へ出力する。

（画像認識部の処理）
図７を用いて画像認識部２０１の処理の流れを説明する。
撮像装置１０１から画像認識部２０１に画像が入力されると、Ｓ２１において、変化領域検知部２１０は、入力画像から時間的に変化の大きい領域を検知して、当該領域を変化領域画像として抽出する。
Ｓ２２において、混雑判定部２２０は、変化領域検知部２１０で抽出した変化領域画像から、入力画像の混雑判定を行う。まず、混雑判定部２２０は、入力画像に人物が写っているかを判定する（Ｓ２３）。入力画像が人物なしの画像であると判定された場合（Ｓ２３：Ｎ）は、画像認識部２０１の処理は終了する。この場合、画像認識部２０１から人物位置の出力はない。入力画像が人物ありの画像と判定された場合（Ｓ２３：Ｙ）は、Ｓ２４に進む。

Ｓ２４において、混雑判定部２２０は、入力画像が混雑画像であるかを判定する。入力画像が混雑画像ではないと判定した場合、混雑判定部２２０は、入力画像が混雑画像でないという判定結果を、人検出部２３０に出力する。その後、Ｓ２５に進む。
Ｓ２５において、人検出部２３０は、混雑判定部２２０からの判定結果と入力画像とに基づいて、入力画像から人物を検出し、人物位置（対象物体の位置座標）を取得する。
Ｓ２４において混雑判定部２２０が入力画像は混雑画像であると判定した場合は、混雑判定部２２０は、入力画像が混雑画像であるという判定結果を、群衆人数推定部２４０に出力する。その後、Ｓ２６に進む。

Ｓ２６において、群衆人数推定部２４０は、混雑判定部２２０からの判定結果と入力画像とに基づいて、入力画像中の人数を推定し、人物位置を取得する。
このように画像認識部は、混雑判定部の判定結果に基づいて、人検出部２３０を用いるか群衆人数推定部２４０を用いるかを決定している。
なお、混雑判定部２２０において入力画像をブロックに分割し、それぞれのブロックに対して混雑判定を行う場合には、ブロック毎にＳ２２～Ｓ２６の処理を繰り返し行うようにすればよい。

本実施形態では、入力画像が人物なしの画像であると判定された場合には（Ｓ２３：Ｎ）、人検出の処理（Ｓ２５）および群衆人数推定の処理（Ｓ２６）を行わないようにしたので、画像認識部２０１の演算量を削減することができる。
本実施形態では、入力画像のサイズが大きい場合、入力画像を所定のサイズのブロックに分割し、それぞれのブロックに対して混雑判定を行う。そして、ブロック毎に人検出あるいは群衆人数推定の処理を行うか否かを判定するようにしたので、人検出部２３０および群衆人数推定部２４０の演算量を削減することができる。

本実施形態では、入力画像が混雑画像でないと判定された場合は（Ｓ２４：Ｎ）、人検出部２３０で人物位置を求め（Ｓ２５）、入力画像が混雑画像であると判定された場合は、群衆人数推定部２４０で人物位置を求めるようにした（Ｓ２６）。
人物が混雑した状況においては人物同士の重なりによる隠れのために人検出部２３０で人物を精度よく検出することは困難である。一方、人物が散在するような状況においては、人検出部２３０は群衆人数推定部２４０よりも精度良く人数を検出できる。したがって、本実施形態では混雑判定部２２０の判定結果に応じて最適な方法で人数を検出・推定することができる。

（座標変換部による座標変換）
以上のような画像認識処理（図３のＳ２０）が終了すると、Ｓ３０に進む。Ｓ３０において、座標変換部４０１～４０ｎは、較正部３０１～３０ｎで取得した較正パラメータを用いて、画像認識部２０１～２０ｎで求めた人物位置をそれぞれ世界座標に変換する。
まず、較正部３０１～３０ｎで行う較正パラメータの取得方法について図８を用いて説明する。図８（Ａ）は較正対象の監視カメラ（撮像装置）で撮像した画像の例であり、Ｐ１、Ｐ２、Ｐ３は画像中に写った人物の頭部中心位置を示す。図８（Ｂ）は地図を表し、Ｃは較正対象の監視カメラの位置を示し、Ｑ１、Ｑ２、Ｑ３はそれぞれ人物Ｐ１、Ｐ２、Ｐ３の位置を示している。

較正パラメータを取得する際、例えば、較正部３０１～３０ｎは、図８（Ａ）に示した画像および図８（Ｂ）に示した地図を出力装置１４に表示する。較正を行う操作者は、入力装置１３にてＰ１、Ｐ２、Ｐ３（画像の座標）およびＱ１、Ｑ２、Ｑ３（世界座標）の入力を行う。すなわち、入力装置１３を介して画像中の人物の位置（位置座標）と地図上の人物の位置とを指定して、画像中の位置と地図上の世界座標とが対応付けられる。ここで、入力された画像中の人物の位置を（ｕ_i，ｖ_i）とし、地図上の世界座標を（Ｘ_i，Ｙ_i）とすると（但し、ｉ＝１，２，…，Ｎ。Ｎは入力した人物数）、それらの関係は以下の式１のようになる。
（Ｘ_i，Ｙ_i，１）^T ＝ Ｈ（ｕ_i，ｖ_i，１）^T （式１）
ここで、Ｈは３×３の変換行列であり、Ｔはベクトルの転置を表す。

較正部３０１～３０ｎは、画像中の人物の位置および地図上の世界座標との組から式１に基づいて回帰推定によって変換行列Ｈを求め、較正パラメータとして記憶する。
なお、上記した例では画像および地図上の人物位置を入力して較正パラメータを求めるようにしたが、本発明はこのような手法に限定されない。例えば、画像に人物が写っていない場合においても画像中に写っている背景物体の特徴的な点と地図上の位置を対応付けて入力するようにしてもよい。このとき、画像中で指定する背景物体の特徴的な点は、人物の頭部中心位置に相当する高さの点を選ぶようにする。
このように、較正部３０１～３０ｎは、それぞれ撮像装置１０１～１０ｎの較正パラメータを取得する。
また、座標変換部４０１～４０ｎのそれぞれは、第１の座標変換部４１０と第２の座標変換部４２０とを有する。座標変換部４０１～４０ｎの構成は同じであるので、図９に座標変換部４０１の構成を示す。

第１の座標変換部４１０は、画像認識部２０１が人検出部２３０によって人物位置を検出した場合に求めた人物位置を世界座標に変換する。第２の座標変換部４２０は、画像認識部２０１が群衆人数推定部２４０によって人物位置を求めた場合に当該人物位置を世界座標に変換する。
第１の座標変換部４１０は、人検出部２３０が出力する画像中の人物頭部中心の位置座標を、較正部３０１で取得した較正パラメータを用いて世界座標に変換する。変換は、画像中の人物頭部中心の位置座標を（ｕ，ｖ）とし、較正パラメータをＨとすると、以下の式２のように行われる。
（Ｘ，Ｙ，１）^T ＝ Ｈ（ｕ，ｖ，１）^T （式２）
ここで、（Ｘ，Ｙ）は求める地図上の世界座標を表し、Ｔはベクトルの転置を表す。
画像中に複数の人物がいる場合は、それぞれの位置座標について前記変換式（式２）に基づいて世界座標を求める。

第２の座標変換部４２０は、群衆人数推定部２４０が出力する画像中の人物が存在するブロックの中心位置座標を、較正部３０１で取得した較正パラメータを用いて世界座標に変換する。変換は、第１の座標変換部４１０における変換と同様に行う。すなわち、ブロックの中心位置座標を（ｕ，ｖ）とし、較正パラメータＨを用いて、式２に基づいて変換を行う。但し、第１の座標変換部４１０とは異なり、第２の座標変換部４２０は、求めた世界座標をブロック内での推定人数分だけ出力するようにする。なお、第２の座標変換部４２０は、求めた世界座標と推定人数を出力するようにしてもよい。

（統合計数部の処理）
以上のような座標変換処理（図３のＳ３０）が終了すると、Ｓ４０に進む。Ｓ４０において、統合計数部５００は、座標変換部４０１～４０ｎで求めた人物位置の世界座標を統合し、領域毎に人物の数を計数する。統合計数部５００の処理の流れを、図１０を用いて説明する。
まず、Ｓ４１において、統合計数部５００は、撮像装置１０１で撮像した画像から求めた人物位置の世界座標（人物位置座標）を、座標変換部４０１から取得する。
Ｓ４２において、統合計数部５００は、人物位置の世界座標に対応する地図の領域を求め、求めた領域の人数を１だけ加算する。なお、本実施形態では、予め地図を所定の領域にブロック分割して人数計数を行う領域が設定されているとする。また、初期状態において各領域の人数は０に初期化されているとする。

Ｓ４３において、統合計数部５００は、画像を取得した撮像装置１０１の識別番号（カメラＩＤ）を記録する。取得した人物位置の世界座標が撮像装置１０１で撮像した画像から求めた人物位置の世界座標である場合、識別番号ＩＤをＩＤ＝１とし、求めた領域に記録しておく。
統合計数部５００は、上述の計数処理（Ｓ４１～Ｓ４３）を人物位置座標分だけ繰り返し実行する。このようにして、撮像装置１０１についての統合計数部５００の処理が行われる。この処理により、撮像装置１０１が撮像した領域内の対象物体（人物）の数が計数される。

統合計数部５００は、同様の処理を撮像装置１０２～１０ｎについても行う（図１０の「カメラ台数分の繰り返し」）。すなわち、統合計数部５００は、撮像装置１０２～１０ｎで撮像した画像から求めた人物位置の世界座標を、それぞれ、座標変換部４０２～４０ｎから取得する（Ｓ４１）。それぞれ取得した人物位置の世界座標に対応する地図の領域を求め、求めた領域の人数を１だけ加算する（Ｓ４２）。このとき、画像を取得した撮像装置の識別番号を、求めた領域（上記地図の領域）に記録しておく（Ｓ４３）。例えば、ある領域に対応した人物位置が撮像装置１０１と撮像装置１０２で撮像した画像の人物位置である場合、ＩＤ＝１およびＩＤ＝２がその領域に記録されることになる。統合計数部５００は、画像と共に記録した撮像時刻を参照することによって、略同一時刻での人物位置座標を統合することができる。統合計数部５００は、上述の計数処理（Ｓ４１～Ｓ４３）を人物位置座標分だけ繰り返し実行する。

全撮像装置１０１～１０ｎに対する人物位置の計数が終了した後、統合計数部５００は撮像領域毎に撮像装置１０１～１０ｎの重複度合いに基づいて計数結果（対象物体の数）の正規化を行う（Ｓ４４）。ある領域を複数の撮像装置で撮像した場合、同じ人物を重複撮像し、人数に加算してしまうため、これを補正する必要があるためである。正規化には計数を行う地図の各領域について撮像装置の識別番号を用いる。例えば、ある領域に記録された識別番号ＩＤが１と２である場合、その領域は２つの領域で重複して撮像されていることを表すので、計数結果を２で割る。すなわち、重複した撮像装置の数だけ計数結果を除算して補正する。補正後の計数結果に基づいて、統合計数部５００は各領域における人物（対象物体）の混雑度を、地図上の当該領域の画像に表示して、解析結果を生成する（Ｓ４５）。

（表示部による表示）
以上のような人数計数処理（図３のＳ４０）が終了すると、Ｓ５０に進む。Ｓ５０において、表示部６００（出力装置）は、統合計数部５００で求めた解析結果を地図上で表示する。図１１に解析結果の表示例を示す。
図１１において、濃度の濃い領域ほど、人数が多い領域であることを示す。つまり、図１１は、色の濃淡（画像情報）によって混雑度（混雑状態）を示している。色の濃淡は混雑度表示と称することができる。色の濃淡ではなく、色の違いや模様などによって混雑度を表してもよい。図４と同様、図１１のＣ１～Ｃｎはそれぞれ撮像装置１０１～１０ｎの位置を表し、白色の領域Ｓは人物が通行する領域を表す。また、図１１のＲ１～Ｒｎはそれぞれ撮像装置１０１～１０ｎで人物の計数が可能な領域（撮像領域）を示した閉領域である。この領域は、監視カメラの監視領域であると言うこともできる。

広域での監視撮像においては、複数の監視カメラを設置しても全ての領域を撮像できない場合もある。地図上で監視領域Ｒ１～Ｒｎが表示されないと、どの撮像装置がどの領域を監視している（撮像している）のかが分からない。また、撮像装置１０１～１０ｎによって、すべての領域Ｓが監視されているのか監視されていないのかも分からない。計数結果とともに計数対象の領域（監視領域）Ｒ１～Ｒｎを表示部６００に明示することで、撮像領域と非撮像領域と区別することができる。

（実施形態１の効果）
以上説明したように、本実施形態によれば、複数の撮像装置で撮像した画像を用いても、ある領域に存在する人物の数を適切に計数することができる。より詳しくは、本実施形態では、複数の撮像装置１０１～１０ｎのそれぞれの画像から人物位置を求め、較正パラメータを用いて人物位置の座標を世界座標に変換した後、統合して人物の数を計数するようにした。よって、複数の撮像装置（監視カメラ）の設置状況（監視カメラの監視領域の大きさ）が異なる場合でも、複数の撮像装置から得られた人物位置を統合することができるし、各撮像装置の撮像領域（監視領域）の混雑度を比較することができる。本実施形態によれば、複数の監視カメラ間の設置状況が異なる場合においても混雑度の比較ができ、１台のカメラではカバーしきれない広域においても全体を俯瞰した混雑状況を把握することができる。
本実施形態の人流解析装置１０（または人流解析装置１０を含む人流解析システム）を用いると、例えば、公共の空間での混雑の検知および混雑時の人の流れを正確に把握することができる。よって、イベント時などの混雑解消や災害時の避難誘導の際に、本実施形態の人流解析装置１０を利用することができる。

（その他の実施例）
上記した実施形態では、カメラで撮像した映像中の人物の位置座標を取得して人物の数を計測する場合について説明したが、さらに人物の移動量を取得することで撮像した領域の滞留状況を把握することができる。以下にその実施形態を説明する。

（人流解析装置２０の機能構成）
図１２に本実施形態に係る人流解析装置２０の機能構成を示す。図中、図２に示した人流解析装置１０の構成要素と同記号のものは人流解析装置１０中の構成要素と同機能を有するため、説明を省略する。
画像認識部２１１～２１ｎは、撮像装置１０１～１０ｎから受け取った画像に画像認識処理を施し、当該画像内の人物位置と共に人物の移動ベクトル（移動量と方向）を取得する。
滞留度算出部７１１～７１ｎは、画像認識部２１１～２１ｎで求めた人物の移動ベクトルと、座標変換部４０１～４０ｎを介して世界座標に変換した人物位置座標とから滞留度を算出する。
統合計数部５１０は、座標変換部４０１～４０ｎから受け取った人物位置の世界座標を統合し、領域毎に人物の数を計数すると共に、滞留度算出部７１１～７１ｎから受け取った滞留度を統合する。
表示部６１０は、地図上に滞留度を示す画像情報を表示する。

（人流解析システムの処理）
人流解析システムの動作を図１３に示すフローチャートに従って説明する。図中、図３に示したフローチャートと同記号のものは同処理のため、説明を省略する。
Ｓ８０において、人流解析装置２０の画像認識部２１１～２１ｎは、撮像装置１０１～１０ｎが取得した画像に画像認識処理を施し、画像中の人物位置と共に人物の移動ベクトルを取得する。
Ｓ７０において、滞留度算出部７１１～７１ｎは、画像認識部２１１～２１ｎで求めた人物の移動ベクトルと、座標変換部４０１～４０ｎを介して世界座標に変換した人物位置座標とから滞留度を算出する。
Ｓ９０において、統合計数部５１０は、座標変換部４０１～４０ｎから受け取った人物位置の世界座標を統合し、領域毎に人物の数を計数すると共に、滞留度算出部７１１～７１ｎから受け取った滞留度を統合する。
Ｓ１００において、表示部６１０は、統合計数部５１０で求めた解析結果を世界座標上で表示する。

（画像認識部の構成）
図１４は画像認識部２１１の構成を示す。図中、図５に示した画像認識部２０１の構成要素と同記号のものは画像認識部２０１中の構成要素と同機能を有するため、説明を省略する。
画像認識部２１１は撮像装置１０１で取得した連続する異なる時刻に撮像された２フレームの画像を入力する。人追尾部２５０は、人検出部２３０で検出した人物位置をフレーム間で対応付け、人物の移動ベクトルを求める。

群衆人流推定部２６０は、連続する異なる時刻に撮像された２フレームの画像を入力して人物の密度分布および移動ベクトルの分布を推定する。ここで入力される画像は撮像装置１０１で取得した画像をブロックに分割したブロック毎の部分画像である。画像中の人物の密度分布および移動ベクトルの分布を推定する方法としては、例えば、文献「Walach E., Wolf L. (2016) Learning to Count with CNN Boosting. In: Leibe B., Matas J., Sebe N., Welling M. (eds) Computer Vision ― ECCV 2016. ECCV 2016. Lecture Notes in Computer Science, vol 9906. Springer, Cham」に記載されている方法を用いる。この文献では事前に機械学習によって得たニューラルネットワークを用いて、画像から人物の密度分布を求める。本実施形態ではこの方法を応用し、連続する２フレームの画像を入力して画像中の人物の密度分布および移動ベクトルの分布を同時推定するニューラルネットワークを事前に学習し、推定に用いる。図１５に群衆人流推定部２６０の機能を示す。図中、ニューラルネットの出力のうち、人物密度分布は濃淡の濃い部分が人物頭部の位置を表す。移動ベクトルは濃淡の濃い値ほど移動量が大きいことを表す。図１５の例では、群衆の横方向への移動のため、横方向の移動ベクトルは大きく、縦方向の移動ベクトルは小さい値を持つ。画像認識部２１１では、ニューラルネットワークの密度分布を積分してブロック中の人数を求める。また、ニューラルネットワークの移動ベクトルを平均してブロックの平均移動ベクトルを求める。

（画像認識部の処理）
図１６を用いて画像認識部２１１の処理の流れを説明する。図中、図７に示したフローチャートと同記号のものは同処理のため、説明を省略する。
Ｓ２７において、人追尾部２５０は、人検出部２３０で検出した人物位置をフレーム間で対応付け、人物の移動ベクトルを求める。
Ｓ２８において、群衆人流推定部２６０は、連続する異なる時刻に撮像された２フレームの画像を入力して人物の密度分布および移動ベクトルの分布を推定し、人数および平均移動ベクトルを求める。

（滞留度算出部の処理）
滞留度算出部７１１～７１ｎは、画像認識部２１１～２１ｎで求めた人物の移動ベクトルと、座標変換部４０１～４０ｎを介して世界座標に変換した人物位置座標とから滞留度を算出する。地図上のある領域の滞留度Ｓは領域中の人数Ｄおよび移動量Ｍから以下の式３で求める。
Ｓ ＝ w1×Ｄ － w2×Ｍ （式３）
ここで、w1とw2は滞留度を求めるために事前に調整した重みパラメータであり、正の値をもつ。すなわち、人数が多いほど、あるいは、移動量が小さいほど、式（３）は大きい値を出力する。なお、移動量Ｍは移動ベクトルの大きさを用いる。

（統合計数部の処理）
統合計数部５１０は、座標変換部４０１～４０ｎから受け取った人物位置の世界座標を統合し、領域毎に人物の数を計数すると共に、滞留度算出部７１１～７１ｎから受け取った滞留度を統合する。統合計数部５１０は、地図上の領域毎の滞留度をカメラ毎に取得し、複数カメラで重複する領域では平均値を滞留度として統合する。

（表示部による表示）
表示部６１０（出力装置）は、統合計数部５１０で求めた解析結果を世界座標上で表示する。図１７に解析結果の表示例を示す。図１７の例では、各領域における人物の混雑度を色の濃淡で表し、滞留度が所定の値以上の領域を滞留領域として太枠ＲＳとして示した。図１７の地図を見ると滞留場所の隣接領域に中程度の混雑度領域が存在するので混雑度が高くなると予想できる。このように地図上に混雑度と共に滞留場所を表示することで次に混雑しそうな場所を予測することができる。なお、滞留領域を枠で表示する以外に領域を色付けするなど他の画像情報に基づいた表示を行ってもよい。
上記した実施形態では、画像認識部２１１～２１ｎで求めた人物の移動ベクトルと、座標変換部４０１～４０ｎを介して世界座標に変換した人物位置座標とから滞留度を算出するようにした。このような構成の他、カメラ毎に求めた人物の移動ベクトルと人物位置座標とを統合計数部で統合した結果から滞留度を算出するようにしてもよい。

（変形例）
上記した実施形態では、画像から人物を検出する場合に本発明を適用する例について説明したが、人物以外の物体を検出対象とした場合にも本発明は適用可能である。
上記した実施形態において、画像認識部２０１が混雑判定部２２０の判定結果に基づいて、人検出部２３０または群衆人数推定部２４０のいずれかで処理を行うようにしたが、本発明はこれに限定されない。例えば、画像認識部２０１を人検出部２３０と群衆人数推定部２４０で構成し、人検出部２３０と群衆人数推定部２４０の処理を相互の処理結果に基づいて切り替えるようにしてもよい。この場合、人検出部２３０の検出結果に基づいて人物の重なりを判定し、重なりが多くなった場合に人検出部２３０から群衆人数推定部２４０に切り替える。あるいは、群衆人数推定部２４０の推定結果に基づいて、推定した人数が少なくなった場合に群衆人数推定部２４０から人検出部２３０に切り替える。

上記した実施形態において、画像認識部２０１では、人検出部２３０または群衆人数推定部２４０のいずれかで処理を行うようにしたが、人検出部２３０および群衆人数推定部２４０の両方で処理を行い、それらの結果を統合するようにしてもよい。
上記した実施形態の画像認識部２０１～２０ｎ、較正部３０１～３０ｎ、座標変換部４０１～４０ｎおよび統合計数部５００の少なくとも一部をハードウェアによって実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。ＦＰＧＡは、Ｆｉｅｌｄ―Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

上記した実施形態では、人流解析装置１０は入力装置１３と出力装置１４（表示部６００）を含むとしたが、入力装置１３と出力装置１４の一方または両方を人流解析装置１０の外に設け、適切なＩ／Ｆを介して人流解析装置１０に接続するようにしてもよい。
上記した実施形態では、座標変換部４０１～４０ｎが、人物の位置座標を世界座標に変換したが、適切な較正パラメータが得られるのであれば、世界座標以外の座標を共通の座標系の座標として用いてもよい。

（その他の実施形態）
本発明は、上述した実施形態の１以上の機能を実現するプログラム（コンピュータプログラム）を、ネットワークまたは記録媒体（記憶媒体）を介して、システムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行することによっても実現可能である。この場合、記録媒体から読み出されたプログラム（プログラムコード）自体が実施形態の機能を実現することになる。また、当該プログラムを記録した記録媒体は本発明を構成することができる。

また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるだけでなく、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されてもよい。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明した処理フローに対応するプログラムが格納されることになる。

１０…人流解析装置、１１…演算処理部、１０１～１０ｎ…撮像装置、２０１～２０ｎ…画像認識部、４０１～４０ｎ…座標変換部、５００…統合計数部

Claims (20)

1. 画像から検出された物体について、所定の座標系における物体の位置を取得する取得手段と、
   前記取得された物体の位置に基づいて、複数の撮像装置によって撮像された所定の領域における物体の数を決定する決定手段と、を有する情報処理装置であって、
   前記取得手段は、前記画像が混雑画像でない場合は前記画像から検出された物体毎の位置を取得する第１の処理に基づいて、前記画像が混雑画像である場合は前記画像から検出された物体の数と所定の位置とを対応付ける第２の処理に基づいて、物体の位置を取得することを特徴とする情報処理装置。
2. 前記決定された物体の数を示す表示を出力する出力手段を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 前記複数の撮像装置のそれぞれについて、物体がいない状態で撮像した背景画像に基づいて、前記画像が混雑画像であるか否かを判定する判定手段を更に有することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記判定手段は、前記背景画像と、前記画像との画素値に差がある画素の領域が、所定の大きさより大きい場合に混雑画像であると判定し、前記所定の大きさ以下である場合に混雑画像でないと判定することを特徴とする請求項３に記載の情報処理装置。
5. 前記第１の処理は、前記画像を撮像した撮像装置の位置に基づいて、前記画像から検出された物体の位置を画像座標系から前記所定の座標系に変換する処理であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記第２の処理は、前記画像から検出された物体を含む領域に対応付けられた所定の位置を取得する処理であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記決定手段は、前記所定の座標系において、前記複数の撮像装置によって撮像された画像のそれぞれから検出された物体の位置を統合した結果に基づいて、前記物体の数を決定する請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記取得手段は、前記複数の撮像装置によって撮像された画像のそれぞれにおける画像座標系と前記所定の座標系とを対応付ける較正パラメータを用いて、検出された複数の物体の位置をそれぞれ取得することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記出力手段は、前記決定された物体の数に基づいて、前記所定の領域の混雑度を出力
   する請求項２に記載の情報処理装置。
10. 前記出力手段は、前記混雑度に応じた色または模様を出力する請求項９に記載の情報処理装置。
11. 前記出力手段は、前記所定の領域を示したマップ上で前記複数の撮像装置のそれぞれの位置を出力する請求項２に記載の情報処理装置。
12. 前記出力手段は、前記マップ上で前記複数の撮像装置のそれぞれの撮像領域を出力する請求項１１に記載の情報処理装置。
13. 前記決定手段は、前記複数の撮像装置の撮像領域の重複に基づいて、前記撮像領域毎に物体の数の正規化を行うことを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記複数の撮像装置により異なる時刻に撮像された複数の画像のそれぞれから物体の移動量を取得する移動量取得手段を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記取得された物体の移動量に基づいて、検出された物体の滞留度を算出する滞留度算出手段を更に備えることを特徴とする請求項１４に記載の情報処理装置。
16. 前記第１の処理は、前記画像から抽出された特徴量に基づいて検出された物体に対する処理であることを特徴とする請求項５に記載の情報処理装置。
17. 前記第２の処理は、前記画像の部分領域に認識モデルを用いることによって推定された物体の数を、前記部分領域の中心位置に対応付ける処理であることを特徴とする請求項６に記載の情報処理装置。
18. 請求項１乃至１７のいずれか１項に記載の情報処理装置と、複数の領域をそれぞれ撮像する複数の撮像装置と、を備える情報処理システム。
19. 画像から検出された物体について、所定の座標系における物体の位置を取得する取得工程と、
    前記取得された物体の位置に基づいて、複数の撮像装置によって撮像された所定の領域における物体の数を決定する決定工程と、を有する情報処理方法であって、
    前記取得工程は、前記画像が混雑画像でない場合は前記画像から検出された物体毎の位置を取得する第１の処理に基づいて、前記画像が混雑画像である場合は前記画像から検出された物体の数と所定の位置とを対応付ける第２の処理に基づいて、物体の位置を取得することを特徴とする情報処理方法。
20. コンピュータを請求項１乃至１７のいずれか１項に記載の情報処理装置の各手段として機能させるプログラム。

Images