JP6678835B2 - 群集密度算出装置、群集密度算出方法および群集密度算出プログラム - Google Patents

Description

本発明は、群集密度算出装置、群集密度算出方法および群集密度算出プログラムに関する。

人の数あるいは人の密度をカメラ映像から推定する技術がある。カメラ映像から人の数を推定する技術として、人物検出に基づき人数をカウントする手法、または、前景面積から人数を推定する手法といった技術がある。
人物検出に基づく手法では、群集密度が低いと、人の数を高精度に推定できる。しかし、この手法では、人数が増えるに従って演算量が増える。さらに、この手法では、人数が増えるに従い群集密度が高くなるので、人物同士のオクルージョン、すなわち隠蔽の影響により推定精度が低下する。
前景面積から人数を推定する手法では、群集密度が低い場合、人物検出に基づく手法に比較すると推定精度が劣る。しかし、この手法では、群集密度が高い場合でも演算量が変わらない。
なお、人の密度を推定する技術は、映像フレームの任意の領域ごとに人数を推定する技術と等価である。

特許文献１および特許文献２には、群集を撮影した映像を取得し、背景差分により抽出した前景を人物領域として、人物領域の面積から画面内の人数を推定する技術が開示されている。
特許文献１では、画像中の各画素が人の数にどれだけ寄与するかを数量的に表す荷重値が算出される。荷重値は、画像における対象物の見かけ上の体積から算出される。これにより、奥行きの違いにより単位人数あたりの前景面積の現れ方が異なるという課題を解決し、奥行きのある画像でも人数の推定を可能としている。
また、特許文献２では、予め群集を模したＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）モデルを複数の混雑度で作成し、群集同士のオクルージョンを考慮した前景面積と人数の関係式を導出する。そして、特許文献２では、オクルージョンの影響を抑制した人数の推定を可能としている。

特開２００９−２９４７５５号公報 特開２００５−０２５３２８号公報

特許文献１および特許文献２に開示されている技術では、映像フレームに存在する人の数および映像フレーム中の任意の領域における人の密度は算出される。しかし、実世界の物理空間上における人位置の推定は行っていない。これは特許文献１および特許文献２においては物理空間上の点から映像フレーム上の点への対応付けは行われているが、その逆は行われていないためである。

本発明は、映像フレームから実世界の物理空間上における群集の存在位置を算出し、群集の密度分布として出力することを目的とする。

本発明に係る群集密度算出装置は、
人が撮像されている映像ストリームから映像フレームを取得する映像取得部と、
前記映像フレームに３次元座標を対応付け、前記映像フレーム上において前記３次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得し、前記複数の立体領域の各立体領域に存在する人の数に基づいて、前記映像フレームにおける人の密度分布を群集密度分布として算出する解析部とを備えた。

本発明に係る群集密度算出装置では、解析部が、映像フレームに３次元座標を対応付け、映像フレーム上において３次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得する。また、解析部が、複数の立体領域の各立体領域に存在する人の数に基づいて、映像フレームにおける群集密度分布を算出する。よって、本発明に係る群集密度算出装置によれば、映像フレームから実世界の物理空間における群集密度分布を定量的に把握することができる。

実施の形態１に係る群集密度算出装置の構成図。 実施の形態１に係る解析部の詳細構成図。 群集密度分布の定義を説明する図。 ΔＸとΔＹの大きさを一定とした場合の群集密度分布のイメージを表す図。 実世界の物理空間上の点を映像フレーム座標系に投映するイメージを表す図。 実施の形態１に係る群集密度算出処理のフロー図。 実施の形態１に係る解析処理のフロー図。 立体領域ごとに前景面積を人数に換算するイメージを表す図。 立体領域ごとの人数から暫定密度分布を出力するイメージを表す図。 正解前景画像のイメージを表す図。 正解前景画像において混雑レベルを数値化したイメージを表す図。 実施の形態１に係る存在判定処理のイメージを表す図。 実施の形態１の変形例に係る群集密度算出装置の構成図。 実施の形態２に係る解析部の詳細構成図。 実施の形態２に係る解析処理のフロー図。 実施の形態２に係る位置補正処理のイメージを表す図。 実施の形態３に係る解析処理のフロー図。

以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を用いて、本実施の形態に係る群集密度算出装置１００の構成を説明する。
群集密度算出装置１００は、コンピュータである。群集密度算出装置１００は、プロセッサ９１０を備えるとともに、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、出力インタフェース９４０、および通信装置９５０といった他のハードウェアを備える。プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

群集密度算出装置１００は、機能要素として、映像取得部１１０と、解析部１２０と、結果出力部１３０と、記憶部１４０とを備える。記憶部１４０には、解析部１２０による解析処理で用いられる解析パラメータ１４１が記憶されている。

映像取得部１１０と解析部１２０と結果出力部１３０の機能は、ソフトウェアにより実現される。記憶部１４０は、メモリ９２１に備えられる。記憶部１４０は、補助記憶装置９２２に備えられていてもよい。

プロセッサ９１０は、群集密度算出プログラムを実行する装置である。群集密度算出プログラムは、映像取得部１１０と解析部１２０と結果出力部１３０の機能を実現するプログラムである。
プロセッサ９１０は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ９１０の具体例は、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、あるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤである。また、補助記憶装置９２２は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体であってもよい。なお、ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略語である。ＳＤ（登録商標）は、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略語である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈの略語である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略語である。

入力インタフェース９３０は、マウス、キーボード、あるいはタッチパネルといった入力装置と接続されるポートである。また、入力インタフェース９３０は、カメラ２００と接続されるポートであってもよい。入力インタフェース９３０は、具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）と接続されるポートであってもよい。群集密度算出装置１００は、入力インタフェース９３０を介して、カメラ２００から映像ストリーム２１を取得してもよい。

出力インタフェース９４０は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。群集密度算出装置１００は、出力インタフェース９４０を介して、結果出力部１３０により出力された解析結果をディスプレイに表示する。

通信装置９５０は、ネットワークを介して他の装置と通信する。通信装置９５０は、レシーバとトランスミッタを有する。通信装置９５０は、有線または無線で、ＬＡＮ、インターネット、あるいは電話回線といった通信網に接続している。通信装置９５０は、具体的には、通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。群集密度算出装置１００は、通信装置９５０を介して、カメラ２００から映像ストリーム２２を受信してもよい。また、群集密度算出装置１００は、通信装置９５０を介して、結果出力部１３０により出力された解析結果を外部の装置に送信してもよい。

群集密度算出プログラムは、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。メモリ９２１には、群集密度算出プログラムだけでなく、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。プロセッサ９１０は、ＯＳを実行しながら、群集密度算出プログラムを実行する。群集密度算出プログラムおよびＯＳは、補助記憶装置９２２に記憶されていてもよい。補助記憶装置９２２に記憶されている群集密度算出プログラムおよびＯＳは、メモリ９２１にロードされ、プロセッサ９１０によって実行される。なお、群集密度算出プログラムの一部または全部がＯＳに組み込まれていてもよい。

群集密度算出装置１００は、プロセッサ９１０を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、群集密度算出プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ９１０と同じように、群集密度算出プログラムを実行する装置である。

群集密度算出プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ９２１、補助記憶装置９２２、または、プロセッサ９１０内のレジスタあるいはキャッシュメモリに記憶される。

群集密度算出プログラムは、映像取得部１１０と解析部１２０と結果出力部１３０の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を、コンピュータに実行させる。また、群集密度算出方法は、群集密度算出装置１００が群集密度算出プログラムを実行することにより行われる方法である。
群集密度算出プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよい。また、群集密度算出プログラムは、プログラムプロダクトとして提供されてもよい。

図２を用いて、本実施の形態に係る解析部１２０の詳細構成について説明する。
解析部１２０は、前景抽出部１２１と、暫定密度計算部１２２と、存在判定部１２３と、標準化部１２４と、分布出力部１２５とを備える。すなわち、映像取得部１１０と解析部１２０と結果出力部１３０の各部とは、映像取得部１１０と、前景抽出部１２１と、暫定密度計算部１２２と、存在判定部１２３と、標準化部１２４と、分布出力部１２５と、結果出力部１３０の各部である。

図１および図２を用いて、群集密度算出装置１００の各機能要素の概要について説明する。
群集密度算出装置１００は、物体を撮像し、映像ストリーム２１として配信するカメラ２００と接続される。物体とは、具体的には人である。すなわち、映像ストリーム２１は、群集映像である。
映像取得部１１０は、入力インタフェース９３０を介して、カメラ２００から配信される映像ストリーム２１を取得する。映像取得部１１０は、映像ストリーム２１から映像フレーム２２を取得する。具体的には、映像取得部１１０は、映像ストリーム２１を復号し、映像フレーム２２に変換する。
解析部１２０は、映像フレーム２２に３次元座標を対応付ける。解析部１２０は、映像フレーム２２上において３次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得する。そして、解析部１２０は、複数の立体領域の各立体領域に存在する人の数に基づいて、映像フレーム２２における群集密度分布を算出する。すなわち、解析部１２０は、映像フレーム２２を用いて、物理空間上の３次元座標における群集の位置を群集密度分布２２５として算出する。
結果出力部１３０は、出力インタフェース９４０を介して、解析部１２０から出力された群集密度分布２２５をディスプレイといった出力装置に出力する。

次に、解析部１２０が有する各機能要素の概要について説明する。
前景抽出部１２１は、映像フレーム２２から前景の特徴を有する部分を前景画像２２１として抽出する。暫定密度計算部１２２は、前景画像２２１と記憶部１４０に記憶されている解析パラメータ１４１とを用いて、物理空間上の各位置に対する見かけ上の群集の密度分布である暫定密度分布２２２を算出する。存在判定部１２３は、物理空間上において人が存在しない位置を判定することにより、暫定密度分布２２２を補正する。存在判定部１２３は、補正した暫定密度分布２２２を補正密度分布２２３として出力する。標準化部１２４は、映像フレーム２２により表される画像に存在する総人数を利用して、補正密度分布２２３を標準化し、確定密度分布２２４を出力する。分布出力部１２５は、確定密度分布２２４を出力形式に変換し、最終的に群集密度分布２２５として出力する。

図３を用いて、群集密度分布の定義を説明する。群集密度分布とは、実世界の物理空間上の人数分布である。
図３に示すように、実世界の３次元座標である物理空間座標系Ｘ_ｒ−Ｙ_ｒ−Ｚ_ｒにおいて、実世界の地面に対応するＸ_ｒ−Ｙ_ｒ平面上のある位置（Ｘ_ｉ，Ｙ_ｉ）における幅ΔＸと奥行きΔＹで囲まれる領域をΔＳ_ｉｊとする。そして、ΔＳ_ｉｊを底面とした高さＨの角柱で囲まれる立体空間の領域を立体空間Ｖ_ｉｊとする。立体空間Ｖ_ｉｊ内に存在する人数をｈ_ｔｉｊとする。人数ｈ_ｔｉｊをΔＳ_ｉｊに対応させ、解析領域全体分を並べたものが群集密度分布である。高さＨは人の身長程度の高さとする。

図４は、ΔＸとΔＹの大きさを一定とした場合の群集密度分布のイメージを表す図である。領域ΔＳ_０２と、領域ΔＳ_１０と領域ΔＳ_２０の中間の地点とに１人ずつ人が存在した場合の群集密度分布は、次の通りである。このときの群集密度分布は、ΔＳ_０２の位置に１人、ΔＳ_１０の位置に０．５人、ΔＳ_２０の位置に０．５人、その他ΔＳ_ｉｊの位置に０人存在するという分布となる。
なお、ΔＸとΔＹの大きさは規定しない。ΔＸとΔＹの大きさは可変としても構わない。

図５は、実世界の物理空間上の点を映像フレーム座標系に投映するイメージを表す図である。すなわち、図５は、映像フレームに３次元座標を対応付けるイメージである。実世界の物理空間における地面上の点をＰ_ｇｉｊ＝（Ｘ_ｉｊ，Ｙ_ｉｊ，０）とする。実世界の物理空間における高さＨの平面上の点をＰ_ｈｉｊ＝（Ｘ_ｉｊ，Ｙ_ｉｊ，Ｈ）とする。地面上の点Ｐ_ｇｉｊと高さＨの平面上の点Ｐ_ｈｉｊを、映像フレーム座標系ｘ_ｉｍｇ−ｙ_ｉｍｇ上に投映した点をｐ_ｇｉｊとｐ_ｈｉｊとする。Ｐ_ｇｉｊとｐ_ｇｉｊ、Ｐ_ｈｉｊとｐ_ｈｉｊを対応付ける情報が、解析パラメータ１４１として、記憶部１４０に記憶されている。また、物理空間上の立体空間Ｖ_ｉｊを、映像フレーム座標系上に投映した領域を立体領域ｖ_ｉｊとする。立体領域ｖ_ｉｊは、図５において斜線で示す２次元領域である。すなわち、立体領域ｖ_ｉｊは、映像フレームに３次元座標の立体空間Ｖ_ｉｊが表された際に、映像フレーム上の立体空間Ｖ_ｉｊの外周により表された２次元の領域である。立体領域ｖ_ｉｊを角柱領域あるいは直方体領域と呼ぶ。

複数の立体領域の各立体領域ｖ_ｉｊは、人が複数の立体空間の各立体空間Ｖ_ｉｊに立っている場合に人の頭が対応する頭領域と、人が立つ地面に対応する地面領域とを備える。頭領域は、立体領域ｖ_ｉｊにおいて頭の高さ位置に相当するｐ_ｈｉｊ、ｐ_{ｈｉ＋１ｊ}、ｐ_{ｈｉｊ＋１}、ｐ_{ｈｉ＋１ｊ＋１}で囲まれる領域である。また、地面領域は、立体領域ｖ_ｉｊにおいて地面の位置に相当するｐ_ｇｉｊ、ｐ_{ｇｉ＋１ｊ}、ｐ_{ｇｉｊ＋１}、ｐ_{ｇｉ＋１ｊ＋１}で囲まれる領域である。

物理空間上の座標と映像フレーム上の座標を対応付ける情報とは、座標変換式でもよいし、対応する物理空間上の座標と映像フレーム上の座標の組でもよい。
また、各Ｐ_ｇｉｊまたは各Ｐ_ｈｉｊは同一平面上である必要はない。立体空間の領域Ｖ_ｉｊを定義できれば、各Ｐ_ｇｉｊまたは各Ｐ_ｈｉｊが表す面が、曲面あるいは階段状となっていてもよい。

＊＊＊動作の説明＊＊＊
図６を用いて、本実施の形態に係る群集密度算出装置１００による群集密度算出処理Ｓ１００について説明する。

＜解析パラメータ読み込み処理＞
ステップＳＴ０１において、群集密度算出装置１００は、記憶部１４０に解析パラメータ１４１を読み込む。解析パラメータ１４１は、補助記憶装置９２２に記憶されていてもよいし、入力インタフェース９３０あるいは通信装置９５０を介して、外部から入力されてもよい。読み込まれた解析パラメータ１４１は、解析部１２０により使用される。

＜映像取得処理＞
ステップＳＴ０２において、映像取得部１１０は、カメラ２００から映像ストリーム２１を受信するために待機する。映像取得部１１０は、カメラ２００から映像ストリーム２１を受信すると、受信した映像ストリーム２１の少なくとも１フレーム分を復号する。ここで受信対象とする映像ストリームは、例えば、映像圧縮符号化方式で圧縮された映像符号化データが、映像配信プロトコルでＩＰ配信されるものである。映像圧縮符号化方式の具体例は、Ｈ．２６２／ＭＰＥＧ−２ ｖｉｄｅｏ、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、またはＪＰＥＧである。映像配信プロトコルの具体例は、ＭＰＥＧ−２ ＴＳ、ＲＴＰ／ＲＴＳＰ、ＭＭＴ、またはＤＡＳＨである。ＭＰＥＧ−２ ＴＳは、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍの略語である。ＲＴＰ／ＲＴＳＰは、Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ／Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌの略語である。ＭＭＴは、ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔの略語である。ＤＡＳＨは、Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰの略語である。受信対象とする映像ストリームは、上記以外の符号化または配信フォーマットでもよいし、ＳＤＩ、ＨＤ−ＳＤＩといった非圧縮の伝送規格でもよい。ＳＤＩは、Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅの略語である。ＨＤ−ＳＤＩは、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ−Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅの略語である。

＜解析処理＞
ステップＳＴ０３において、解析部１２０は、映像取得部１１０から映像フレーム２２を取得する。解析部１２０は、解析パラメータ１４１を用いて、映像フレーム２２を解析する。解析部１２０は、映像フレーム２２を解析することにより、映像フレーム２２に映る群集の群集密度分布を算出する。また、解析部１２０は、算出した群集密度分布を出力形式に変換し、群集密度分布２２５として出力する。

＜結果出力処理＞
ステップＳＴ０４において、結果出力部１３０は、出力インタフェース９４０を介して、解析部１２０から出力された群集密度分布２２５を群集密度算出装置１００の外部に出力する。出力の形式としては、例えば、モニタへの表示、ログファイルへの出力、外部接続機器への出力、またはネットワークへの送出といった形式があげられる。結果出力部１３０は、上記以外の形式で群集密度分布２２５を出力でもよい。また、結果出力部１３０は、解析部１２０から群集密度分布２２５が出力される都度、群集密度分布２２５を外部に出力してもよい。あるいは、結果出力部１３０は、特定の期間または特定数の群集密度分布２２５を集計または統計処理した後に出力するといった断続的な出力を行ってもよい。群集密度算出装置１００は、ステップＳＴ０４の後はステップＳＴ０２に戻り、次の映像フレーム２２の処理を行う。

＜＜解析処理の詳細＞＞
図７を用いて、本実施の形態に係る解析処理の詳細について説明する。
ステップＳＴ１１において、前景抽出部１２１は、映像フレーム２２における人の画像、すなわち前景を前景画像２２１として抽出する。前景抽出部１２１は、前景画像２２１を暫定密度計算部１２２に出力する。

図８は、立体領域ごとに前景面積から人数を換算するイメージを表す図である。図９は、立体領域ごとの人数から暫定密度分布を出力する図である。図８では、２人の人の画像が前景画像２２１として抽出されている。
前景抽出処理の手法として、予め背景画像を登録しておき、入力画像との差分を計算する背景差分法がある。また、連続して入力される映像フレームから、ＭＯＧ（Ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎ Ｄｉｓｔｒｉｂｕｔｉｏｎ）といったモデルを用いて背景画像を自動更新する適応型の背景差分法がある。また、画像内の動き情報を画素単位で取得する密なオプティカルフロー導出アルゴリズムがある。

ステップＳＴ１２において、暫定密度計算部１２２は、前景画像２２１に基づいて、複数の立体領域の各立体領域に見かけ上存在する人の数を暫定密度分布２２２として算出する。具体的には、暫定密度計算部１２２は、物理空間上の点を映像フレーム座標系に投映した上で、前景画像２２１と関係式１４２を用いて、各立体領域ｖ_ｉｊに存在する人の数を算出する。暫定密度計算部１２２は、各立体領域ｖ_ｉｊに存在する人の数を算出する手法として、暫定群集密度推定を用いる。

図８に示すように、暫定密度計算部１２２は、映像フレーム２２における各立体領域ｖ_ｉｊごとに前景面積を集計する。暫定密度計算部１２２は、各立体領域ｖ_ｉｊにおける前景面積に基づいて、各立体領域ｖ_ｉｊにおける人数を計算する。このとき、暫定密度計算部１２２は、予め求めておいた前景面積と人の数の関係式１４２を利用して、各立体領域ｖ_ｉｊにおける人の数を計算する。暫定密度計算部１２２は、各立体領域ｖ_ｉｊにおける人の数を、各立体領域ｖ_ｉｊに対応する領域ΔＳ_ｉｊの人数ｈ_ｉｊとする。暫定密度計算部１２２は、図９に示すように、全ての領域ΔＳ_ｉｊの人数ｈ_ｉｊが算出された群集密度分布を、暫定密度分布２２２として出力する。

＜＜＜前景面積と人数の関係式の求め方＞＞＞
ここで、前景面積と人数の関係式１４２は、群集同士のオクルージョンを考慮したものとする。前景面積と人数の関係式１４２は、記憶部１４０に記憶されているものとする。前景面積と人数の関係式１４２の導出方法について、以下に説明する。
図１０は、正解前景画像のイメージを表す図である。
図１１は、正解前景画像において混雑レベルを数値化したイメージを表す図である。
映像フレームに映る人数が既知であるとともに、人の物理座標系上での接地点が既知である正解画像を用意する。正解画像に対し前景抽出を行い、図１０に示すように正解前景画像を作成する。
正解前景画像を図１１に示すように、複数の小領域に分割し、混雑レベル別に各小領域で人物１人あたりの前景面積量を計算する。また、同様の処理を混雑レベルと配置パターンを変えた多数の正解前景画像に適用し、各小領域での人数１人当たりの前景面積を集計する。これにより、混雑レベルごとの各小領域における人数と前景の関係が前景面積と人数の関係式１４２として導出できる。前景面積と人数の関係式１４２は、記憶部１４０に保存される。各混雑レベルにおける小領域内での前景面積の占有割合が混雑レベルを判定するレベル閾値１４３として記憶部１４０に保存される。
暫定密度計算部１２２は、前景面積と人数の関係式１４２を用いる際、小領域ごとに混雑レベルを判定し、混雑レベルに対応した関係式１４２を利用し、前景面積から人数を算出する。暫定密度計算部１２２は、小領域内の前景の占有割合とレベル閾値１４３の比較によって、混雑レベルを判定する。

＜＜存在判定処理＞＞
ステップＳＴ１３において、存在判定部１２３は、複数の立体領域の各立体領域ｖ_ｉｊに、人が存在するかを判定する。すなわち、存在判定部１２３は、複数の立体空間の各立体空間Ｖ_ｉｊに、人が存在するかを判定し、人が存在しないと判定された立体空間に対応する立体領域ｖ_ｉｊについて人が存在しないと判定する。存在判定部１２３は、各立体領域ｖ_ｉｊに対して人の存在判定を行い、人が存在しないと判定した立体領域ｖ_ｉｊの人の数を０にする。すなわち、存在判定部１２３は、人が存在しないと判定した立体領域ｖ_ｉｊに対応する領域ΔＳ_ｉｊの人数を０にする。すなわち、存在判定部１２３は、人が存在しないと判定された立体空間に対応する立体領域ｖ_ｉｊの人の数を０に補正した暫定密度分布２２２を、補正密度分布２２３として出力する。

図１２は、本実施の形態に係る存在判定処理のイメージ図である。
上述したように、複数の立体領域の各立体領域ｖ_ｉｊは、人が立体空間Ｖ_ｉｊに立っている場合に、その人の頭が対応する頭領域を備える。また、複数の立体領域の各立体領域ｖ_ｉｊは、人が立つ地面に対応する地面領域を備える。存在判定部１２３は、立体領域ｖ_ｉｊにおいて頭領域と地面領域との両領域に人が存在する場合に、その立体領域ｖ_ｉｊに対応する立体空間Ｖ_ｉｊに人が存在すると判定する。具体的には、存在判定部１２３は、図１２に示すように、各立体領域ｖ_ｉｊの頭領域と地面領域におけるそれぞれの前景面積が規定値以下である場合に人が存在しないと判定し、ｈ_ｉｊ＝０とする。また、存在判定部１２３は、頭領域と地面領域の両領域に規定値以上の前景面積が存在した立体領域ｖ_ｉｊのみについて、暫定密度分布２２２の値をそのまま使用する。
存在判定部１２３は、人存在処理を施した暫定密度分布２２２を、補正密度分布２２３として出力する。

＜＜標準化部＞＞
ステップＳＴ１４において、標準化部１２４は、前景画像２２１に基づいて映像フレーム２２における人の総数を取得する。標準化部１２４は、人の総数に基づいて、補正密度分布２２３における複数の立体領域の各立体領域ｖ_ｉｊの人の数を標準化する。具体的には、標準化部１２４は、以下の式（１）と式（２）を用いて、映像フレーム内に存在する総人数ｈ_{ｔｏｔａｌ}で群集密度の標準化を行う。標準化部１２４は、前景面積と人数の関係式１４２を前景画像２２１の全体に適用することにより、映像フレーム２２における総人数ｈ_{ｔｏｔａｌ}を算出する。式（２）におけるＲｏｗｓはｉの総数である。また、式（２）におけるＣｏｌｓはｊの総数である。

標準化部１２４は、補正密度分布すべての立体領域ｖ_ｉｊについて標準化処理を施し、確定密度分布２２４として出力する。

＜＜分布出力処理＞＞
ステップＳＴ１５において、分布出力部１２５は、標準化部１２４から確定密度分布２２４を取得する。分布出力部１２５は、確定密度分布２２４を出力形式に変換し、群集密度分布２２５として結果出力部１３０に出力する。

＊＊＊他の構成＊＊＊
本実施の形態では、映像取得部１１０と解析部１２０と結果出力部１３０の機能がソフトウェアで実現される。以下において、変形例として、映像取得部１１０と解析部１２０と結果出力部１３０の機能がハードウェアで実現されてもよい。

図１３は、本実施の形態の変形例に係る群集密度算出装置１００の構成を示す図である。
群集密度算出装置１００は、電子回路９０９、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、出力インタフェース９４０、および通信装置９５０を備える。

電子回路９０９は、映像取得部１１０と解析部１２０と結果出力部１３０の機能を実現する専用の電子回路である。
電子回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略語である。
映像取得部１１０と解析部１２０と結果出力部１３０の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。
別の変形例として、映像取得部１１０と解析部１２０と結果出力部１３０の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。

プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、群集密度算出装置１００において、映像取得部１１０と解析部１２０と結果出力部１３０の機能は、プロセッシングサーキットリにより実現される。

群集密度算出装置１００において、映像取得部１１０、前景抽出部１２１、暫定密度計算部１２２、存在判定部１２３、標準化部１２４、分布出力部１２５、および結果出力部１３０の「部」を「工程」あるいは「処理」に読み替えてもよい。また、映像取得処理、前景抽出処理、暫定密度計算処理、存在判定処理、標準化処理、分布出力処理、および結果出力処理の「処理」を「プログラム」、「プログラムプロダクト」または「プログラムを記録したコンピュータ読取可能な記憶媒体」に読み替えてもよい。

＊＊＊本実施の形態の効果の説明＊＊＊
本実施の形態に係る群集密度算出装置１００では、前景抽出部が、カメラで撮影した映像の映像フレームから前景画像を抽出する。暫定密度計算部が、物理空間上の領域を映像フレームに投映した領域に存在する人数、すなわち見かけ上の人数を算出し、暫定密度分布を生成する。存在判定部が、人が存在しない物理空間上の領域を判定し、判定結果に基づいて暫定密度分布を補正する。結果出力部は、補正および標準化された暫定密度分布を群集密度分布として、ディスプレイといった出力装置に出力する。
したがって、本実施の形態に係る群集密度算出装置１００によれば、カメラから入力された映像フレームから、実世界の物理空間上における人の存在位置を算出し、群集密度分布として出力することができる。

実施の形態２．
本実施の形態では、実施の形態１と異なる点について説明する。なお、実施の形態１と同様の構成には同一の符号を付し、その説明を省略する場合がある。

実施の形態１では、複数の立体領域の各立体領域ｖ_ｉｊが互いに重なり合っている。このため、暫定密度分布を計算する際、本来人が存在する立体領域ｖ_ｉｊ以外にも前景が出現する場合がある。これにより、算出される暫定密度分布が不正確になる場合がある。本実施の形態では、立体領域の重複による影響を排除し、群集密度分布をより高精度化する形態について説明する。
本実施の形態では、実施の形態１における標準化部１２４を省き、暫定密度計算部１２２と存在判定部１２３の間に新たに位置補正部１２６を追加する。

図１４を用いて、本実施の形態に係る解析部１２０ａの詳細構成について説明する。
解析部１２０ａは、前景抽出部１２１と、暫定密度計算部１２２と、位置補正部１２６と、存在判定部１２３と、分布出力部１２５とを備える。

図１５を用いて、本実施の形態に係る解析部１２０ａによる解析処理の詳細について説明する。
図１５において、ステップＳＴ１１とステップＳＴ１２は、実施の形態１と同様である。
ステップＳＴ１６において、位置補正部１２６は、暫定密度計算部１２２から暫定密度分布２２２を取得する。位置補正部１２６は、複数の立体空間うち隣接する立体空間同士の重複部分を表す重複領域における人の数に基づいて、暫定密度分布２２２を補正し、補正した暫定密度分布２２２を出力する。すなわち、位置補正部１２６は、暫定密度分布２２２を用いて、立体領域ｖ_ｉｊの重複による影響を考慮した人位置の補正を行う。

図１６は、本実施の形態に係る位置補正部１２６による位置補正処理のイメージを表す図である。
重複領域Ａ_{ｄｕｐｌｍ}とは、図１６に示す通り、立体領域ｖ_ｌと立体領域ｖ_ｍとが重なり合っている領域である。
位置補正部１２６による位置補正処理は、図１６に示すように、周囲に分散した値をシャープにする一種のフィルタのような働きをする。
ここで添え字のｌとｍは、２変数である添え字ｉｊを便宜上１変数に書き換えたものである。以下の本実施の形態の説明では、添え字のｌとｍを使用する。添え字ｌとｉｊの関係は、ｌ＝ｉ×Ｃｏｌｓ＋ｊである。添え字ｍとｉｊの関係も同様である。

ここで、求めるべき各領域ΔＳ_ｌの人数をベクトル表記したものをｈ_ｔ、セル同士の重複関係を示す係数行列をＡ、暫定密度分布２２２で得られた出力をベクトル表記したものをｈとする。各領域ΔＳ_ｌの人数は、式（３）および式（４）で計算できる。
式（３）および式（４）を利用することで、位置補正部１２６は、重複領域の影響が除去された高精度な群集密度分布２２５を出力することができる。

以下に、式（３）の導出について詳しく説明する。立体空間Ｖ_ｌに存在する人数をｈ_ｔｌ、立体領域ｖ_ｌに出現する人数をｈ_ｌとする。立体空間Ｖ_ｌに存在する人数ｈ_ｔｌの人が、立体領域ｖ_ｍに出現する人数をｈ_{ｃｏｍ＿ｌ→ｍ}とする。すると、立体領域ｖ_ｌに出現する見かけ上の人数ｈ_ｌは、式（５）で表すことができる。ｈ_{ｃｏｍ＿ｌ→ｍ}は、セルｌに存在する人数ｈ_ｔｌに、係数α_ｌｍをかけたものとして表せる。よって、セル同士の重複関係を表す係数行列は、式（４）となる。ｌ＝ｍのときα_ｌｍ＝１とおけば、式（５）と式（６）より、見かけ上の人数は、存在する人数に係数をかけた式（７）で表すことができる。
ｌの総数をＮとすると、式（７）より、Ｎ本のＮ限１次連立方程式となるため、行列表現で書き直すと、式（８）となる。式（８）の両辺からの係数行列Ａの逆行列をかけることで、式（３）が導出できる。

なお、係数α_ｌｍの求め方は限定しない。例えば、図１５に示す立体領域ｖ_ｌの面積Ａ_ｌと、立体領域ｖ_ｌと立体領域ｖ_ｍとの重複領域Ａ_{ｄｕｐｌｍ}を用いて式（９）のように係数α_ｌｍの求めてもよい。

なお、式（９）を用いた係数行列Ａの算出は、ステップＳＴ０１の解析パラメータ読み込み処理において、１度だけ行うこととする。
以降の、ステップＳＴ１３とステップＳＴ１５は、実施の形態１と同様である。

以上のように、本実施の形態に係る解析部１２０ａを用いた群集密度算出装置によれば、重複領域の影響を除去することにより、群集密度分布をより高精度に算出することができる。

実施の形態３．
本実施の形態では、実施の形態２と異なる点について説明する。なお、実施の形態１，２と同様の構成には同一の符号を付し、その説明を省略する場合がある。

実施の形態２では、式（９）を用いて計算された重複関係を示す係数行列Ａは、立体領域ｖ_ｉｊ上で均等に前景が出現することを想定している。実際には、重複関係を示す係数行列Ａは、立体空間Ｖ_ｉｊ内で実際に人が存在する位置により影響を受ける。このため、立体空間Ｖ_ｉｊ内で実際に人が存在する位置によっては算出された群集密度分布に誤差が生じる虞がある。本実施の形態では、係数行列Ａを数値計算により最適化する。その時の群集密度分布の総人数ｈ_{ｔｏｔａｌ}は、画面内に存在する総人数を用いる。画面内の総人数ｈ_{ｔｏｔａｌ}は、前景面積と人数の関係式を前景画像全体に適用することにより算出する。

図１７を用いて、本実施の形態に係る解析処理の詳細について説明する。
図１７において、ステップＳＴ１１とステップＳＴ１２とステップＳＴ１６は、実施の形態１と同様である。

ステップＳＴ１７において、位置補正部１２６は、係数行列Ａを再計算することにより、最適化する。また、位置補正部１２６は、映像フレームにおける人の総数の誤差が閾値以下になるまで、暫定密度分布の補正を繰り返す。

ｈ’_{ｔｏｔａｌ}の計算には式（２）と式（７）を利用する。
暫定密度分布の補正に関する評価関数を式（１０）で定める。位置補正部１２６は、最急降下法を用いて、式（１０）で計算される誤差Ｅが閾値以下になるまで繰り返し計算を行う。

なお、位置補正部１２６による最適化の手法は最急降下法に限定しない。

以上のように、本実施の形態に係る群集密度算出装置は、式（１０）を用いて、係数行列Ａを毎フレーム更新する。よって、本実施の形態に係る群集密度算出装置によれば、実施の形態２と比較して、群集密度分布をより高精度で算出できる。

以上の実施の形態１から３では、群集密度算出装置の各部を独立した機能ブロックとして説明した。しかし、群集密度算出装置の構成は、上述した実施の形態のような構成でなくてもよい。群集密度算出装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、群集密度算出装置は、１つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態１から３のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つの部分を実施しても構わない。その他、これら実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態１から３では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

なお、上述した実施の形態は、本質的に好ましい例示であって、本発明の範囲、本発明の適用物の範囲、および本発明の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。上述した実施の形態に係る群集密度算出装置は、群集の密度を推定する群集密度推定装置、および、群集密度推定システムに適用することができる。

２１ 映像ストリーム、２２ 映像フレーム、１００ 群集密度算出装置、１１０ 映像取得部、１２０，１２０ａ 解析部、１２１ 前景抽出部、１２２ 暫定密度計算部、１２３ 存在判定部、１２４ 標準化部、１２５ 分布出力部、１２６ 位置補正部、１３０ 結果出力部、１４０ 記憶部、１４１ 解析パラメータ、１４２ 関係式、１４３ レベル閾値、２００ カメラ、２２１ 前景画像、２２２ 暫定密度分布、２２３ 補正密度分布、２２４ 確定密度分布、２２５ 群集密度分布、９０９ 電子回路、９１０ プロセッサ、９２１ メモリ、９２２ 補助記憶装置、９３０ 入力インタフェース、９４０ 出力インタフェース、９５０ 通信装置、Ｓ１００ 群集密度算出処理。

Claims (7)

1. 人が撮像されている映像ストリームから映像フレームを取得する映像取得部と、
   前記映像フレームに３次元座標を対応付け、前記映像フレーム上において前記３次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得し、前記複数の立体領域の各立体領域に存在する人の数に基づいて、前記映像フレームにおける人の密度分布を群集密度分布として算出する解析部と
   を備え、
   前記解析部は、
   前記映像フレームにおける人の画像を前景画像として抽出する前景抽出部と、
   前記前景画像に基づいて、前記複数の立体領域の各立体領域に見かけ上存在する人の数を暫定密度分布として算出する暫定密度計算部と、
   前記複数の立体空間の各立体空間に人が存在するかを判定し、人が存在しないと判定された立体空間に対応する立体領域の人の数を０に補正した前記暫定密度分布を、補正密度分布として出力する存在判定部と
   を備えた群集密度算出装置。
2. 前記複数の立体領域の各立体領域は、
   前記人が前記複数の立体空間の各立体空間に立っている場合に前記人の頭が対応する頭領域と前記人が立つ地面に対応する地面領域とを備え、
   前記存在判定部は、
   立体領域において前記頭領域と前記地面領域との両領域に人が存在する場合に、前記立体領域に対応する立体空間に人が存在すると判定する請求項１に記載の群集密度算出装置。
3. 前記解析部は、
   前記前景画像に基づいて前記映像フレームにおける人の総数を取得し、前記人の総数に基づいて、前記補正密度分布における前記複数の立体領域の各立体領域の人の数を標準化する標準化部と、
   前記標準化部から標準化された前記補正密度分布を確定密度分布として取得し、前記確定密度分布を出力形式に変換する分布出力部と
   を備えた請求項１または請求項２に記載の群集密度算出装置。
4. 前記解析部は、
   前記複数の立体領域のうち隣接する立体領域同士の重複部分を表す重複領域における人の数に基づいて、前記暫定密度分布を補正し、補正した前記暫定密度分布を出力する位置補正部を備えた請求項１から請求項３のいずれか１項に記載の群集密度算出装置。
5. 前記位置補正部は、
   前記映像フレームにおける人の総数の誤差が閾値以下になるまで、前記暫定密度分布の補正を繰り返す請求項４に記載の群集密度算出装置。
6. 映像取得部が、人が撮像されている映像ストリームから映像フレームを取得し、
   解析部が、前記映像フレームに３次元座標を対応付け、前記映像フレーム上において前記３次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得し、前記複数の立体領域の各立体領域に存在する人の数に基づいて、前記映像フレームにおける人の密度分布である群集密度分布を算出し、
   前記解析部の前景抽出部が、前記映像フレームにおける人の画像を前景画像として抽出し、
   前記解析部の暫定密度計算部が、前記前景画像に基づいて、前記複数の立体領域の各立体領域に見かけ上存在する人の数を暫定密度分布として算出し、
   前記解析部の存在判定部が、前記複数の立体空間の各立体空間に人が存在するかを判定し、人が存在しないと判定された立体空間に対応する立体領域の人の数を０に補正した前記暫定密度分布を、補正密度分布として出力する群集密度算出方法。
7. 人が撮像されている映像ストリームから映像フレームを取得する映像取得処理と、
   前記映像フレームに３次元座標を対応付け、前記映像フレーム上において前記３次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得し、前記複数の立体領域の各立体領域に存在する人の数に基づいて、前記映像フレームにおける人の密度分布である群集密度分布を算出する解析処理と
   をコンピュータに実行させる群集密度算出プログラムであって、
   前記解析処理は、
   前記映像フレームにおける人の画像を前景画像として抽出する前景抽出処理と、
   前記前景画像に基づいて、前記複数の立体領域の各立体領域に見かけ上存在する人の数を暫定密度分布として算出する暫定密度計算処理と、
   前記複数の立体空間の各立体空間に人が存在するかを判定し、人が存在しないと判定された立体空間に対応する立体領域の人の数を０に補正した前記暫定密度分布を、補正密度分布として出力する存在判定処理とを備えた
   群集密度算出プログラム。

Images