JP7009250B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

空港の保安検査場、駅の発券窓口、銀行の自動預け払い機、店舗の支払い現場において、利用者の待ち行列が発生する。特許文献１には、背景差分に基づき監視カメラの画像から待ち行列を検出し、行列の待ち人数を推定する技術が開示されている。

図１は、行列解析方式を説明する図である。図１（ａ）の、情報処理システムでは、カメラ１０２、ＰＣ１０３が互いに通信可能にネットワーク１０４に接続されている。カメラ１０２は、改札１０１等の実領域１２０を視野に収めて観測する。実領域１２０において、人物１１１、１１２、１１３を含む複数人物が行列に並んでおり、行列は左から右に移動する。図１（ｂ）では背景差分に基づく行列長さ判定手法を示している。領域２２０は実領域１２０に対応する画像上の領域である。ＰＣ１０３は、領域２２０に対して背景差分を適用する。すると、差分結果は複数の部分領域２２１、２２２、２２３として検出される。次に、ＰＣ１０３が部分領域を連結する。このことによって、部分領域２２３の左端が行列末尾と判別される。ＰＣ１０３は、部分領域の連結を、例えば領域境界間の最短距離に基づいて行う。またノイズを除去するために、ＰＣ１０３は、連結候補となる部分領域２２１、２２２、２２３として所定値以上の面積を持つ領域を選択する。

特開２００５－２１６２１７号公報

背景差分の方式は照明条件や背景の変動に弱く、また、混雑する状況下で人物と荷物とを分離するのは容易ではなかった。その結果、行列の判定を精度よく行えない問題があった。

本発明の情報処理装置は、画像の判定領域内のオブジェクトを検出する検出手段と、前記検出手段により検出された前記判定領域内のオブジェクトの数に基づき前記判定領域が混雑状態か否かを決定する決定手段と、前記決定手段により第１の判定領域が混雑状態と決定され、かつ、前記第１の判定領域に隣接する第２の判定領域が混雑状態と決定された場合、前記第２の判定領域を行列状態と判定する判定手段と、を有する。

本発明によれば、行列の判定を精度よく行うことができる。

行列解析方式を説明する図である。 情報処理システムのシステム構成の一例を示す図である。 領域定義を説明する図（その１）である。 ＰＣのハードウェア構成の一例を示す図である。 ＰＣのソフトウェア構成の一例を示す図である。 実施形態１の情報処理の一例を示すフローチャートである。 領域定義を説明する図（その２）である。 実施形態２の情報処理の一例を示すフローチャートである。 カメラのハードウェア構成の一例を示す図である。 情報処理システムのソフトウェア構成の一例を示す図である。 実施形態３の情報処理の一例を示すフローチャートである。

＜実施形態１＞
本実施形態では、ＰＣ１０３は、行列が形成される領域を複数に分割して事前に指定する。そして、ＰＣ１０３は、指定した領域の人物検出数をカウントすることによって、特定の領域まで行列が伸びたかどうかを判定する。
図２は、情報処理システムのシステム構成の一例を示す図である。図２の情報処理システムのシステム構成は図１（ａ）との情報処理システムと同様である。行列が形成される領域は、複数の領域（実領域１３１、１３２、１３３）に分割され、ＰＣ１０３は、各領域で人物を検出する。本実施形態では人物検出に人体検出技術を用いており、１２１、１２２、１２３は人体検出結果である。ＰＣ１０３は、領域毎の人数をカウントし、その結果に基づいて、特定の領域まで行列が伸びたかどうかを判定する。図２の例では、実領域１３１、１３２、１３３と向かう方向が、列が伸びる方向となっている。

図３は、領域定義を説明する図である。行列領域３００はカメラ１０２の画像上に定義された領域であり、複数の部分領域３１０、３２０、３３０から構成される。部分領域３１０、３２０、３３０は実領域１３１、１３２、１３３に対応する。部分領域内の人数カウントの結果を判定に用いることからこれらの領域を以下では判定領域と呼ぶ。判定領域は更に画像上に設定された検出領域に対応する。検出領域はカメラ接続情報と多角形の領域座標情報とを設定値として持つ。図３の例では、判定領域３１０は検出領域３１１に対応する。同様に判定領域３２０は検出領域３２１に対応し、判定領域３３０は検出領域３３１に対応する。ＰＣ１０３は、画像中の行列領域を複数の判定領域の集合によって定義し、判定領域内の人数カウントを用いて、特定の判定領域まで行列が伸びたことを検知する。

図４は、ＰＣ１０３のハードウェア構成の一例を示す図である。ＰＣ１０３は、各種のユニット（１０～１６）を含んで構成される。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０は、各種のプログラムを実行し、様々な機能を実現するユニットである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１は、各種の情報を記憶するユニットである。また、ＲＡＭ１１は、ＣＰＵ１０の一時的な作業記憶領域としても利用されるユニットである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２は、各種のプログラム等を記憶するユニットである。例えば、ＣＰＵ１０は、ＲＯＭ１２に記憶されているプログラムをＲＡＭ１１にロードしてプログラムを実行する。
加えて、ＣＰＵ１０がフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）といった外部記憶装置１３に記憶されているプログラムに基づき処理を実行する。これにより、図５、図１０（ｂ）に示されるようなＰＣ１０３のソフトウェア構成及び後述する図６、図８、図１１（ｂ）のフローチャートの各ステップの処理が実現される。
図５、図１０（ｂ）に示されるようなＰＣ１０３のソフトウェア構成及び図６、図８、図１１（ｂ）のフローチャートの各ステップの処理の全部又は一部については専用のハードウェアを用いて実現されてもよい。
ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）２０５は、ＰＣ１０３をネットワークに接続するためのユニットである。
入力装置Ｉ／Ｆ１５は、ＰＣ１０３とマウス、キーボード等の入力装置１３０とを接続するインタフェースである。
表示装置Ｉ／Ｆ１６は、ＰＣ１０３とディスプレイ等の表示装置１４０とを接続するインタフェースである。
ＰＣ１０３は、図４に示したように１つの装置、又はコンピュータで実現されてもよいし、複数の装置、又はコンピュータで実現されてもよい。

図５は、ＰＣ１０３のソフトウェア構成の一例を示す図である。
ＰＣ１０３は、ソフトウェア構成として、通信部４０１、画像取得部４０２、人体検出部４０３、領域人数カウント部４０４、行列状態判定部４０５、結果出力部４０６、領域設定部４０７を含む。
画像取得部４０２は、カメラ１０２で撮像された画像を取得する。取得された画像は、特定の画像形式や圧縮方式に依存するものではない。
人体検出部４０３は、取得された画像中の人物位置、向きを検出する。人体検出部４０３による検出処理は、特定の人物検出方式に依存するものではない。例えば、人体検出部４０３は、上半身のシルエット形状を検出する方式、顔を検出する方式、その他の特徴量を学習させて人物を検出する方式等を利用して人物を検出する。
領域人数カウント部４０４は、判定領域３１０、３２０、３３０上にある人物の人数を、人体検出のパラメータ等を用いて検出し、検出結果に基づいてカウントする。領域設定部４０７は、入力装置４１０を介した入力操作等に応じて図３に示したような判定領域を設定する。
行列状態判定部４０５は、判定領域ごとの人数カウントの結果に基づいて、判定領域ごとに混雑状態か否かを判定し、隣接する判定領域が混雑状態であるか否かに基づいて、処理対象の判定領域が行列状態か否かを判定する。
結果出力部４０６は、行列状態判定部４０５の判定の結果を出力する。結果出力部４０６は、判定結果を、ファイル出力したり、表示出力したり、他の装置等へ送信出力したりする。

図６は、情報処理の一例を示すフローチャートである。図６（ａ）が主たる処理であり図６（ｂ）はＳ５０７の処理の詳細である。
Ｓ５０１で画像取得部４０２は、画像を取得する。
Ｓ５０２で人体検出部４０３は、取得された画像の処理対象の判定領域から人体を検出する。
Ｓ５０４で領域人数カウント部４０４は、処理対象の判定領域内の人体検出数をカウントする。
Ｓ５０５で行列状態判定部４０５は、判定領域の混雑状態を判定する。例えば、ＣＰＵ１０は、入力装置１３０等を介した入力操作に応じて、判定領域ごとにあらかじめ人数の閾値を設定し、ＲＡＭ１１、ＲＯＭ１２、外部記憶装置１３等のファイル等に設定しておく。行列状態判定部４０５は、処理対象の判定領域に対する人数の閾値をファイル等より取得し、処理対象の判定領域から検出された人体の数が取得した閾値に達している場合、処理対象の判定領域を混雑状態と判定する。Ｓ５０５の処理は、決定の処理の一例である。
Ｓ５０６で行列状態判定部４０５は、全ての判定領域に対する処理を終了したか否かを判定する。行列状態判定部４０５は、全ての判定領域に対する処理を終了したと判定すると（Ｓ５０６においてＹＥＳ）、Ｓ５０７に進み、全ての判定領域に対する処理を終了していないと判定すると（Ｓ５０６においてＮＯ）、Ｓ５０４に処理を戻す。
Ｓ５０７で行列状態判定部４０５は、混雑状態と判定された判定領域に基づき特定の判定領域が行列状態か否かを判定する。例えば、行列状態判定部４０５は、所定の隣接する判定領域から行列が伸びてきたか否かに基づき特定の判定領域が行列状態か否かを判定する。Ｓ５０７の処理の詳細は、図６（ｂ）に示す。
Ｓ５０８で結果出力部４０６は、Ｓ５０７の判定結果に基づき結果を出力する。結果出力部４０６は、結果を、ファイル出力したり、表示出力したり、他の装置等へ送信出力したりする。
Ｓ５１０で結果出力部４０６は、図６（ａ）に示すフローチャートの処理を終了するか否かを判定する。結果出力部４０６は、処理を終了すると判定すると（Ｓ５１０においてＹＥＳ）、図６（ａ）に示すフローチャートの処理を終了し、処理を終了しないと判定すると（Ｓ５１０においてＮＯ）、Ｓ５０１に処理を戻す。

Ｓ５０７の詳細を図６（ｂ）のＳ５２０からＳ５２５までに示す。Ｓ５０７は特定の判定領域が行列状態か否かを判定するものである。判定したい領域はＮである。
Ｓ５２０で行列状態判定部４０５は、行列状態フラグを真とする。
Ｓ５２１で行列状態判定部４０５は、判定領域の領域変数Ｒを１とする。
Ｓ５２２で行列状態判定部４０５は、Ｓ５０５の判定結果に基づきＲが示す領域が混雑状態かどうかを判定する。行列状態判定部４０５は、Ｒが示す領域が混雑状態でない場合（Ｓ５２２においてＮＯ）、Ｓ５２３に処理を進め、Ｒが示す領域が混雑状態である場合（Ｓ５２２においてＹＥＳ）、Ｓ５２４に処理を進める。
Ｓ５２３で行列状態判定部４０５は、行列状態フラグを偽とする。
Ｓ５２４で行列状態判定部４０５は、Ｒの値を１つ増加（インクリメント）する。
Ｓ５２５で行列状態判定部４０５は、領域Ｎまでの判定が完了したか否かを判定する。行列状態判定部４０５は、領域Ｎまでの判定が完了したと判定すると（Ｓ５２５においてＹＥＳ）、図６（ｂ）に示すフローチャートの処理を終了し、領域Ｎまでの判定が完了していないと判定すると（Ｓ５２５においてＮＯ）、Ｓ５２２の処理に戻る。
図６（ｂ）の処理によって領域Ｎが行列状態かどうかを判定できる。
Ｓ５２０からＳ５２５までの処理はＮが数個の場合、実装を簡略化できる。例えばＮ＝３の場合、「領域１と領域２と領域３とが全て混雑状態の場合に領域３が行列状態にある」といった論理式による実装が可能である。
またＳ５０５の混雑状態の判定において、行列状態判定部４０５は、どの程度の人数に達すれば混雑状態と判定するかの閾値を、直近の期間の判定領域内の人体検出数の統計量に基づいて決定するようにしてもよい。例えば、行列状態判定部４０５は、直近の期間の判定領域内の人体検出数の平均値、最頻値に対して所定の定数を乗算した値を用いて閾値を決定するようにしてもよい。

以上の方法によれば、ＣＰＵ１０は、行列の先頭から末尾に向けて判定領域を配置し、人物検出結果を用いて行列の混雑状態を判別する。次に、ＣＰＵ１０は、行列の混雑状態に基づいて、判定領域の行列状態を判定する。これにより、ＣＰＵ１０は、正確な人数カウントに基づく判定を行うことができる。結果として、ＣＰＵ１０は、所定の位置まで行列が伸びた場合に誘導のための係員を増派する等の対処を効率よく行うことができる。

＜変形例１＞
上述した実施形態の変形例としては、ＰＣ１０３は、人体検出機能に加えて、人体追尾機能を有し、人体の位置に加えて人体の移動速度も検出する。判定領域を単に通過する人物も検出されるが、このような人物は、行列に並んでいる人物と比較して移動速度が速いと予想される。したがって、ＰＣ１０３は、各判定領域において、移動速度が一定値以上の人体は、人数カウントの対象から除外する（移動速度が一定値に満たないオブジェクトの数に基づいて混雑状態かどうか判定することになる）。処理としては、ＰＣ１０３は、図６のＳ５０２の後に、移動速度が一定値以上の人体は、人数カウントの対象から除外する人体追尾処理を追加する。以上により、真に行列待ち状態にある人物を検出し、行列状態の判別に用いる結果、判別精度を向上することができる。

＜変形例２＞
上述した実施形態の変形例としては、複数のカメラを用いて行列の判定領域を定義するようにしてもよい。領域設定部４０７は、入力装置４１０を介した入力操作等に応じて図７に示したような判定領域を設定する。これは行列の形状が複雑である場合に効果がある。例えば図７において、判定領域（２）３２０は、カメラ１の検出領域２（３２２）とカメラ２の検出領域１（３２３）とから構成される。カメラ１の検出領域２（３２２）は、カメラ１から取得された画像の部分領域であり、カメラ２の検出領域１（３２３）は、カ
メラ２から取得された画像の部分領域である。判定領域（２）３２０における人数カウント数は検出領域２（３２２）と検出領域１（３２３）との人数カウント数の和である。同様に判定領域（３）３３０は、カメラ２の検出領域２（３３２）とカメラ３の検出領域３（３３３）とから構成される。カメラ２の検出領域２（３３２）は、カメラ２から取得された画像の部分領域である。カメラ３の検出領域３（３３３）は、カメラ３から取得された画像の部分領域である。判定領域（３）３３０における人数カウント数は検出領域３（３３３）と検出領域２（３３２）とのカウント数の和である。
複数のカメラを用いれば、ある判定領域を１台のカメラの視野に収めることのできない場合、行列の形状が複雑で隠れが生じる場合等に対応できる。また、行列が奥行き方向に伸びており、画面内の位置によって人物検出ができない場合があるときにも有効である。

＜実施形態２＞
実施形態２としては、行列状態判定部４０５は、行列状態の判定に基づいて行列末尾の判定を行うこともできる。例えば、行列状態判定部４０５は、判定領域Ｒが先頭から順に連続して混雑状態か否かを確認し、混雑状態でなくなった領域の一つ手前の領域を末尾領域とするものである。
本実施形態の処理では、図６のＳ５０７の行列状態判定処理（Ｓ５２０からＳ５２５まで）を図８のように差し替える。Ｒは判定領域を示す変数である。
Ｓ７０１で行列状態判定部４０５は、Ｒを０に初期化する。
Ｓ７０２で行列状態判定部４０５は、判定領域Ｒ＋１が混雑状態かどうかを判定する。行列状態判定部４０５は、判定領域Ｒ＋１が混雑状態である場合（Ｓ７０２においてＹＥＳ）、Ｓ７０３に処理を進め、判定領域Ｒ＋１が混雑状態でない場合（Ｓ７０２においてＮＯ）、Ｓ７０５に処理を進める。
Ｓ７０３で行列状態判定部４０５は、Ｒの値を１つ増加（インクリメント）する。
Ｓ７０４で行列状態判定部４０５は、全判定領域に対して処理を完了したか否かを判定する。行列状態判定部４０５は、全判定領域に対して処理を完了した場合、すなわち、Ｒ＝Ｎの場合（Ｓ７０４においてＹＥＳ）、Ｓ７０５に処理を進め、全判定領域に対して処理を完了していない場合（Ｓ７０４においてＮＯ）、Ｓ７０２の処理に戻る。
Ｓ７０５で行列状態判定部４０５は、判定領域Ｒを末尾とする。

以上の処理の結果、末尾が判定領域０の場合は、ＣＰＵ１０は、行列が存在しないことが分かる。また末尾が判定領域数と同じＮの場合は、ＣＰＵ１０は、事前に設定した判定領域群の最後まで行列が伸びており、真の末尾は設定した判定領域の他にあることが分かる。ＣＰＵ１０は、判定の結果、行列の情報（例えば、末尾の判定領域の情報）等を表示装置１４０等に出力することができる。

＜実施形態３＞
上述した実施形態では、ＰＣ１０３が各機能を有し、処理を行っていた。実施形態３では、上述した実施形態においてＰＣ１０３が行っていた処理等をＰＣ１０３とカメラ１０２とが行う例を説明する。
図９は、カメラ１０２のハードウェア構成の一例を示す図である。カメラ１０２は、各種のユニット（２０～２６）を含んで構成される。撮像部２０は、光学系と制御装置とを有し、シーンに合わせて光学系を制御し画像を撮像するユニットである。ＣＰＵ２１は、各種のプログラムを実行し、様々な機能を実現するユニットである。ＲＡＭ２２は、各種の情報を記憶するユニットである。また、ＲＡＭ２２は、ＣＰＵ２１の一時的な作業記憶領域としても利用されるユニットである。ＲＯＭ２３は、各種のプログラム等を記憶するユニットである。例えば、ＣＰＵ２１は、ＲＯＭ２３に記憶されているプログラムをＲＡＭ２２にロードしてプログラムを実行する。これにより、図１０に示されるようなカメラ１０２のソフトウェア構成及び後述する図１１（ａ）のフローチャートの各ステップの処理が実現される。カメラ１０２のソフトウェア構成及び後述する図１１（ａ）のフローチャートの各ステップの全部又は一部については専用のハードウェアを用いて実現されてもよい。
通信部２４は、カメラ１０２をネットワークに接続するためのユニットである。入力部２５は、ユーザの操作に基づいて操作情報をＣＰＵ２１に入力するためのユニットである。表示部２６は、ＣＰＵ２１の処理の結果等を表示するためのユニットである。

図１０（ａ）は、カメラ１０２のソフトウェア構成の一例を示す図である。
カメラ１０２は、ソフトウェア構成として、画像取得部５０１、人体検出部５０２、領域人数カウント部５０３、領域設定部５０４、通信部５０５を含む。
画像取得部５０１は、撮像部２０で撮像された画像を取得し、画像処理可能な形式に変換する。
人体検出部５０２は、取得された画像中の人物位置、向きを検出する。人体検出部５０２による検出処理は、特定の人物検出方式に依存するものではない。例えば、人体検出部５０２は、上半身のシルエット形状を検出する方式、顔を検出する方式、その他の特徴量を学習させて人物を検出する方式等を利用して人物を検出する。
領域人数カウント部５０３は、判定領域上にある人物の人数をカウントする。例えば、領域人数カウント部５０３は、図３の判定領域３１０、３２０、３３０上にある人物の人数を、人体検出のパラメータ等を用いて検出し、検出結果に基づいてカウントする。
通信部５０５は、領域人数カウント部５０３がカウントした結果を、ネットワーク経由でＰＣ１０３に送信する。また、通信部５０５は、ネットワーク経由でＰＣ１０３より情報等を受信する。
領域設定部５０４は、入力部２５等を介した入力操作、又は通信部５０５を介してＰＣ１０３より受信した領域設定の設定情報に応じて図３に示したような判定領域を設定する。領域設定部５０４は、同一画像上に複数の領域を設定することもできるし、行列が一台のカメラの視野に収まらない場合、複数の画像上に複数の領域を設定することもできる。

図１０（ｂ）は、ＰＣ１０３のソフトウェア構成の一例を示す図である。
ＰＣ１０３は、ソフトウェア構成として、通信部５０６、行列状態判定部５０７、結果出力部５０８、領域設定部５０９を含む。
通信部５０６は、ネットワーク経由でカメラ１０２より判定領域上にある人物の人数のカウント結果を受信する。また、通信部５０６は、領域設定部５０９において領域設定の設定情報が設定された場合、ネットワーク経由でカメラ１０２に設定情報を送信する。
行列状態判定部５０７は、判定領域ごとの人数カウントの結果及び領域設定部５０９によって設定されたパラメータに基づいて、判定領域ごとに混雑状態か否かを判定し、隣接する判定領域が混雑状態であるか否かに基づいて、処理対象の判定領域が行列状態か否かを判定する。
領域設定部５０９は、表示装置１４０上のＧＵＩ（グラフィカル・ユーザ・インターフェース）と入力装置１３０とを介してユーザ操作によって設定された行列状態の判定に関わるパラメータの設定を行う。また、領域設定部５０９は、表示装置１４０上のＧＵＩと入力装置１３０とを介してユーザ操作によって設定された領域設定の設定情報の設定を行う。
結果出力部５０８は、行列状態判定部５０７の判定の結果を出力する。結果出力部５０８は、判定結果を、外部記憶装置１３にファイル出力したり、表示装置１４０に表示出力したり、他の装置等へ送信出力したりする。
本実施形態において、カメラ１０２とＰＣ１０３との間の通信は特定の通信方式やプロトコルに依存するものではない。例えば、プロトコルは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＯＮＶＩＦ（Ｏｐｅｒｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ ＩｎｔｅｒｆａｃｅＦｏｒｕｍ）であってもよい。

図１１は、実施形態３の情報処理の一例を示すフローチャートである。図１１（ａ）は、カメラ１０２側の情報処理の一例を示すフローチャートである。
Ｓ１００１で画像取得部５０１は、画像を取得する。
Ｓ１００２で人体検出部５０２は、取得された画像の処理対象の判定領域から人体を検出する。
Ｓ１００４で領域人数カウント部５０３は、処理対象の判定領域内の人体検出数をカウントする。
Ｓ１００６で領域人数カウント部５０３は、全ての判定領域に対するカウントの処理を終了したか否かを判定する。領域人数カウント部５０３は、全ての判定領域に対するカウントの処理を終了したと判定すると（Ｓ１００６においてＹＥＳ）、Ｓ１００８に進み、全ての判定領域に対するカウントの処理を終了していないと判定すると（Ｓ１００６においてＮＯ）、Ｓ１００４に処理を戻す。
Ｓ１００８で通信部５０５は、領域人数カウント部５０３がカウントした結果を、ネットワーク経由でＰＣ１０３に送信する。
Ｓ１０１０で通信部５０５は、図１１（ａ）に示すフローチャートの処理を終了するか否かを判定する。通信部５０５は、処理を終了すると判定すると（Ｓ１０１０においてＹＥＳ）、図１１（ａ）に示すフローチャートの処理を終了し、処理を終了しないと判定すると（Ｓ１０１０においてＮＯ）、Ｓ１００１に処理を戻す。

図１１（ｂ）は、ＰＣ１０３側の情報処理の一例を示すフローチャートである。
Ｓ１０２０で通信部５０６は、カメラ１０２（情報処理システムに複数のカメラが含まれる場合は複数のカメラ）から全ての判定領域内の人体検出のカウント結果を受信する。
Ｓ１０２１で行列状態判定部５０７は、行列状態フラグを真とする。
Ｓ１０２２で行列状態判定部５０７は、判定領域の領域変数Ｒを１とする。
Ｓ１０２３で行列状態判定部５０７は、カウント結果に基づき判定領域の混雑状態を判定する。例えば、ＣＰＵ１０は、入力装置１３０等を介した入力操作に応じて、判定領域ごとにあらかじめ人数の閾値を設定し、ＲＡＭ１１、ＲＯＭ１２、外部記憶装置１３等のファイル等に設定しておく。行列状態判定部５０７は、処理対象の判定領域に対する人数の閾値をファイル等より取得し、処理対象の判定領域から検出された人体の数が取得した閾値に達している場合、処理対象の判定領域を混雑状態と判定する。Ｓ１０２３の処理は、決定の処理の一例である。
Ｓ１０２４で行列状態判定部５０７は、Ｓ１０２３の判定結果に基づきＲが示す領域が混雑状態かどうかを判定する。行列状態判定部５０７は、Ｒが示す領域が混雑状態でない場合（Ｓ１０２４においてＮＯ）、Ｓ１０２６に処理を進め、Ｒが示す領域が混雑状態である場合（Ｓ１０２４においてＹＥＳ）、Ｓ１０２５に処理を進める。
Ｓ１０２５で行列状態判定部５０７は、行列状態フラグを偽とする。
Ｓ１０２６で行列状態判定部５０７は、Ｒの値を１つ増加（インクリメント）する。
Ｓ１０２７で行列状態判定部５０７は、領域Ｎまでの判定が完了したか否かを判定する。行列状態判定部５０７は、領域Ｎまでの判定が完了したと判定すると（Ｓ１０２７においてＹＥＳ）、Ｓ１０２８に処理を進め、領域Ｎまでの判定が完了していないと判定すると（Ｓ１０２７においてＮＯ）、Ｓ１０２３の処理に戻る。
Ｓ１０２８で結果出力部５０８は、判定結果を出力する。結果出力部５０８は、判定結果を、外部記憶装置１３にファイル出力したり、表示装置１４０に表示出力したり、他の装置等へ送信出力したりする。
Ｓ１０２９で結果出力部５０８は、図１１（ｂ）に示すフローチャートの処理を終了するか否かを判定する。結果出力部５０８は、処理を終了すると判定すると（Ｓ１０２９においてＹＥＳ）、図１１（ｂ）に示すフローチャートの処理を終了し、処理を終了しないと判定すると（Ｓ１０２９においてＮＯ）、Ｓ１０２０に処理を戻す。

本実施形態によれば、少なくとも一つのカメラで行列の人数カウントを行い、カウント結果をＰＣ１０３に送信する。そして、ＰＣ１０３で混雑状態の判定を行う。これにより行列待ち人数の観測に複数のカメラが必要となる構成において、ＰＣの負荷を軽減することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、図５、図１０（ｂ）に示したＰＣ１０３のソフトウェア構成の一部又は全てをハードウェア構成としてＰＣ１０３に実装してもよい。また、ＰＣ１０３のハードウェア構成としてＣＰＵ、ＲＯＭ、ＲＡＭ、外部記憶装置、ＮＩＣ等は１つである必要はない。複数のＣＰＵがプログラムに基づき、複数のＲＡＭ、ＲＯＭ、外部記憶装置に記憶されたデータ等を用いながら処理を実行するようにしてもよい。また、ＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることとしてもよい。
また、図１０（ａ）に示したカメラ１０２のソフトウェア構成の一部又は全てをハードウェア構成としてカメラ１０２に実装してもよい。また、カメラ１０２のハードウェア構成としてＣＰＵ、ＲＡＭ、ＲＯＭ、通信部等は１つである必要はない。複数のＣＰＵがプログラムに基づき、複数のＲＡＭ、ＲＯＭに記憶されたデータ等を用いながら処理を実行するようにしてもよい。また、ＣＰＵに替えてＧＰＵを用いることとしてもよい。
上述した各実施形態では、人体が行列を構成している場合について説明したが、他のオブジェクト、例えば、自動車、動物等であってもよい。

以上、上述した各実施形態によれば、行列の判定を精度よく行うことができる。

１０ ＣＰＵ
１０２ カメラ
１０３ ＰＣ

Claims (12)

1. 画像の判定領域内のオブジェクトを検出する検出手段と、
   前記検出手段により検出された前記判定領域内のオブジェクトの数に基づき前記判定領域が混雑状態か否かを決定する決定手段と、
   前記決定手段により第１の判定領域が混雑状態と決定され、かつ、前記第１の判定領域に隣接する第２の判定領域が混雑状態と決定された場合、前記第２の判定領域を行列状態と判定する判定手段と、
   を有する情報処理装置。
2. 少なくとも１つ以上のカメラで撮像された画像を取得する取得手段を更に有し、
   前記検出手段は、前記取得手段により取得された画像の判定領域内のオブジェクトを検出し、
   前記決定手段は、前記検出手段により検出された前記判定領域内のオブジェクトの数に基づき前記判定領域が混雑状態か否かを決定する請求項１記載の情報処理装置。
3. 前記判定領域は少なくとも１つ以上の検出領域を含み、
   前記検出領域は少なくとも１つ以上のカメラで撮像された画像の部分領域である請求項１又は２記載の情報処理装置。
4. 前記判定領域を設定する設定手段を更に有する請求項１乃至３何れか１項記載の情報処理装置。
5. 前記決定手段は、判定領域内のオブジェクトの数が設定された閾値の数に達している場合、混雑状態であると決定する請求項１乃至４何れか１項記載の情報処理装置。
6. 前記決定手段は、判定領域内のオブジェクトの数の統計量に基づいて前記閾値を設定する請求項５記載の情報処理装置。
7. 前記決定手段は、判定領域内のオブジェクトのうち移動速度が一定値に満たないオブジェクトの数に基づき前記判定領域が混雑状態か否かを決定する請求項１乃至６何れか１項記載の情報処理装置。
8. 前記決定手段により第１の判定領域が混雑状態と決定され、かつ、前記第１の判定領域に隣接する第２の判定領域が混雑状態と決定され、かつ、前記第２の判定領域に隣接する第３の判定領域が混雑状態でないと決定された場合、前記判定手段は、前記第２の判定領域を行列の末尾領域と判定する請求項１乃至７何れか１項記載の情報処理装置。
9. 画像の判定領域内のオブジェクトを検出する検出手段と、
   前記検出手段により検出された前記判定領域内のオブジェクトの数に基づき前記判定領域が混雑状態か否かを決定する決定手段と、
   前記決定手段により第１の判定領域が混雑状態と決定され、かつ、前記第１の判定領域に隣接する第２の判定領域が混雑状態と決定された場合、前記第２の判定領域を行列状態と判定する判定手段と、
   を有する情報処理システム。
10. 少なくとも一つの撮像装置と、情報処理装置と、を含む情報処理システムであって、
    前記撮像装置は、
    画像の判定領域内のオブジェクトを検出する検出手段と、
    前記検出手段により検出された前記判定領域内のオブジェクトの数を前記情報処理装置に送信する送信手段と、
    を有し、
    前記情報処理装置は、
    前記判定領域内のオブジェクトの数を前記撮像装置より受信する受信手段と、
    前記受信手段により受信された前記判定領域内のオブジェクトの数に基づき前記判定領域が混雑状態か否かを決定する決定手段と、
    前記決定手段により第１の判定領域が混雑状態と決定され、かつ、前記第１の判定領域に隣接する第２の判定領域が混雑状態と決定された場合、前記第２の判定領域を行列状態と判定する判定手段と、
    を有する情報処理システム。
11. 情報処理装置が実行する情報処理方法であって、
    画像の判定領域内のオブジェクトを検出する検出工程と、
    前記検出工程により検出された前記判定領域内のオブジェクトの数に基づき前記判定領域が混雑状態か否かを決定する決定工程と、
    前記決定工程により第１の判定領域が混雑状態と決定され、かつ、前記第１の判定領域に隣接する第２の判定領域が混雑状態と決定された場合、前記第２の判定領域を行列状態と判定する判定工程と、
    を含む情報処理方法。
12. コンピュータを、請求項１乃至８何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。

Images