JP7129209B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

近年、撮像装置により撮像された画像を解析して物体を計数する技術が注目されている。このような技術を用いることによって、画像内の人体や物体を計数した統計データを収集することができる。
特許文献１には、所定領域内に存在する物体の数を検出するために、所定領域の出入口において所定領域に出入りする物体をそれぞれ撮像する撮像装置と、所定領域全体を撮像する撮像装置とを備える監視システムが開示されている。

特許第３９１５７２１号公報

しかしながら、上記特許文献１に記載の技術では、所定領域の出入口のそれぞれと所定領域全体とを撮像するための複数台の撮像装置が必要である。また、所定領域内に計数対象となる物体を遮蔽する壁や柱といった遮蔽物が存在する場合を考慮しておらず、遮蔽物が存在する場合は物体を正しく計数することができない。そのため、遮蔽物が存在しないように所定領域を設定する必要がある。
そこで、本発明は、物体の計数対象とする所定領域内に物体を遮蔽する遮蔽領域が存在する場合であっても、計数対象の物体を適切に計数することを課題としている。

上記課題を解決するために、本発明に係る情報処理装置の一態様は、撮像手段によって撮像された、物体を計数対象とする所定領域の画像を取得する取得手段と、前記取得手段により取得された画像から、計数対象の物体を検知する検知手段と、前記検知手段により検知された物体を計数する第１の計数手段と、前記検知手段による検知結果をもとに、前記所定領域内の遮蔽領域において遮蔽されている前記物体を計数する第２の計数手段と、前記第１の計数手段により計数された前記物体の数と、前記第２の計数手段により計数された前記物体の数とに基づいて前記所定領域において計数した結果を出力する第３の計数手段と、を備え、前記第２の計数手段は、前記遮蔽領域において検知可能な物体を計数対象外とする。

本発明によれば、物体の計数対象とする所定領域内に物体を遮蔽する遮蔽領域が存在する場合であっても、計数対象の物体を適切に計数することができる。

本実施形態における撮像システムの構成例を示す図である。 情報処理装置における計数処理手順を示すフローチャートである。 撮像装置によって撮像される行列領域と遮蔽領域との一例である。 撮像装置によって撮像される行列領域と遮蔽領域との一例である。 撮像装置によって撮像される行列領域と遮蔽領域との一例である。 情報処理装置における計数処理手順の別の例を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

（第一の実施形態）
図１は、本実施形態における撮像システム１０００の構成例である。
本実施形態における撮像システム１０００は、撮像装置によって撮像された画像における所定領域に存在する物体を計数するシステムである。具体的には、撮像システム１０００は、撮像装置によって撮像された画像から複数の物体（本実施形態では、人体）を含む行列領域を設定し、設定された行列領域を物体の計数対象とする領域として、当該行列領域に含まれる物体を計数する。また、撮像システム１０００は、行列領域内に計数対象の物体を遮蔽する遮蔽領域が存在する場合、行列領域内の遮蔽領域を設定し、遮蔽領域において遮蔽されている物体を計数し、行列領域に存在する物体として計上する。ここで、遮蔽領域は、行列領域の画像において物体を遮蔽する遮蔽物が撮像された領域である。
なお、本実施形態では、計数対象の物体を人体とし、遮蔽物を柱や壁として説明するが、上記限定されるものではない。計数対象の物体は、人体の一部（例えば、顔）であってもよいし、車や動物などであってもよい。また、遮蔽物は、計数対象の物体以外の物体であればよい。

図１に示すように、撮像システム１０００は、撮像装置１００と、情報処理装置２００と、を備える。撮像装置１００と情報処理装置２００とは、ネットワーク３００によって相互に通信可能に接続されている。
撮像装置１００は、画像を撮像するカメラである。撮像装置１００は、例えば、監視に用いられる監視カメラなどとすることができる。撮像装置１００は、ネットワーク３００を介して撮像した画像を情報処理装置２００へ送信する。
なお、撮像装置１００は、壁面や天井等に設置することができ、１枚以上の画像を含む映像を撮像するカメラであってもよい。また、撮像装置１００は、ＰｏＥ（Ｐｏｗｅｒ Ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（登録商標））に対応していてもよいし、ＬＡＮケーブル等を介して電力が供給される構成でもよい。

次に、撮像装置１００の構成について説明する。撮像装置１００は、撮像部１０１と、通信部１０２と、ＣＰＵ１０３と、記憶部１０４と、を備える。
撮像部１０１は、撮像光学系を構成するレンズ群および撮像素子を備える。レンズ群は、入射光を結像するための光学レンズを有し、入射光を撮像素子に集光させる。撮像素子は、光をアナログ画像信号に変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を備えることができる。撮像部１０１は、撮像素子から得られるアナログ画像信号に画像処理を施し、信号を符号化して符号化画像信号を出力する。

通信部１０２は、情報処理装置２００を含む外部機器との間の無線または有線の通信インタフェースを提供する。すなわち、通信部１０２は、無線通信により情報処理装置２００等の外部機器と通信することができる。この無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚ－Ｗａｖｅ（商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。
また、通信部１０２は、有線のＬＡＮにより情報処理装置２００等の外部機器と通信してもよい。この有線ＬＡＮとしては、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等の構成が挙げられる。なお、通信部１０２は、外部機器と通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。

ＣＰＵ１０３は、撮像装置１００の各部における演算や論理判断等の処理を行う演算処理部であり、システムバスを介して各構成部（１０１、１０２および１０４）を制御する。撮像装置１００の機能や処理は、ＣＰＵ１０３が記憶部１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されてもよい。
記憶部１０４は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の電気的に消去可能な不揮発性メモリにより構成される。また、記憶部１０４は、ＣＰＵ１０３の主メモリ、ワークメモリとして機能するＲＡＭ、外部メモリ、着脱可能な記憶媒体等を含んでもよい。この記憶部１０４には、ＣＰＵ１０３が使用する各種情報が記録される。記憶部１０４には、例えば、撮像部１０１により撮像された画像を記憶してもよい。

次に、情報処理装置２００の構成について説明する。
情報処理装置２００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよいし、タブレット端末、スマートフォン等の携帯用端末であってもよい。
情報処理装置２００は、通信部２０１、ＣＰＵ２０２、記憶部２０３、表示部２０４、および入力部２０５を備える。また、情報処理装置２００は、行列領域設定部２０６、遮蔽領域設定部２０７、行列領域計数部２０８および遮蔽領域計数部２０９を備える。

通信部２０１は、上述した撮像装置１００の通信部１０２と同様に、撮像装置１００を含む外部機器との間の無線または有線の通信インタフェースを提供する。通信部２０１は、ネットワーク３００を介して撮像装置１００から画像を受信するとともに、撮像装置１００との間でそれぞれ各種情報の通信を行う。
ＣＰＵ２０２は、上述した撮像装置１００のＣＰＵ１０３と同様に、情報処理装置２００の各部における演算や論理判断等の処理を行う演算処理部であり、システムバスを介して各構成部（２０１、２０３～２０９）を制御する。
記憶部２０３は、上述した撮像装置１００の記憶部１０４と同様に、ＥＥＰＲＯＭ等の電気的に消去可能な不揮発性メモリにより構成される。また、記憶部２０３は、ＣＰＵ２０２の主メモリ、ワークメモリとして機能するＲＡＭ、外部メモリ、着脱可能な記憶媒体等を含んでもよい。

表示部２０４は、撮像装置１００から受信した画像を表示することができる。例えば、表示部２０４は、行列領域の画像を表示することができる。なお、本実施形態では、情報処理装置２００が表示部２０４を備える構成について説明するが、上記構成に限定されるものではない。例えば、情報処理装置２００は、表示部２０４を備えず、外部の表示装置（クライアント装置）に画像を表示させる表示制御を行ってもよい。
入力部２０５は、マウス入力、キーボード入力、タッチ入力等の各種ユーザインタフェース（ＵＩ）を介してユーザからの指示入力を受け付ける。入力部２０５に、例えば撮像装置１００の設定を変更する指示が入力されると、ＣＰＵ２０２は、入力された情報に基づいて撮像装置１００の設定を変更するための制御命令を生成し、通信部２０１を介して撮像装置１００へ生成された制御命令を出力する。このように、入力部２０５へ入力された情報に基づいて、情報処理装置２００は、撮像装置１００の設定を適宜変更することができる。

行列領域設定部２０６は、撮像装置１００により撮像された画像から行列領域を設定する。行列領域設定部２０６は、ユーザが指定した行列領域に関する情報をもとに、行列領域を設定することができる。この場合、ユーザは、表示部２０４に表示された撮像装置１００の画像を確認しながらマウス等の各種ＵＩを操作して、画像内における行列領域を指定する。そして、行列領域設定部２０６は、入力部２０５が受け付けた上記のユーザの指定をもとに行列領域を設定する。
なお、行列領域設定部２０６は、撮像装置１００により撮像された画像を解析し、画像に存在する人体の移動速度や、人体の密集度の高い領域を検出することで、行列領域を設定してもよい。その際、行列領域の設定には、任意のアルゴリズムを用いることができる。

遮蔽領域設定部２０７は、撮像装置１００により撮像された画像から遮蔽領域を設定する。遮蔽領域は、行列領域における壁や柱などの遮蔽物によって人体が正確に計数できない領域である。遮蔽領域設定部２０７は、ユーザが指定した遮蔽領域に関する情報をもとに、遮蔽領域を設定することができる。この場合、遮蔽領域の設定方法は、上述した行列領域の設定方法と同様である。なお、行列領域設定部２０６は、撮像装置１００により撮像された画像を解析し、行列領域に存在する人体の追跡結果や、人体の密集度の高い領域を検出することで、遮蔽領域を設定してもよい。その際、遮蔽領域の設定には、任意のアルゴリズムを用いることができる。

行列領域計数部２０８は、撮像装置１００により撮像された画像から、行列領域設定部２０６により設定された行列領域の画像を取得する。そして、行列領域計数部２０８は、取得した行列領域の画像から物体検知処理（人体検知処理）により人体を検知し、検知した人体を計数する。例えば、人体検知処理として、人体のサンプル画像を用いて局所的な特徴量抽出を行い、統計的学習手法で学習した識別器によって人体を検知する方法がある。なお、人体の検知および計数には、任意のアルゴリズムを用いることができる。
また、計数対象の人体が並ぶ行列が遮蔽領域において遮蔽物によって遮蔽される位置に存在する場合、行列領域計数部２０８は、遮蔽領域において検知可能な人体は行列に並ぶ人体ではないと判断して計数対象外とするようにしてもよい。つまり、行列領域計数部２０８は、行列領域のうち遮蔽領域外に存在する人体を検知し、計数するようにしてもよい。

遮蔽領域計数部２０９は、遮蔽領域に存在する人体を計数する。本実施形態では、遮蔽領域計数部２０９は、物体追跡部２０９ａと物体通過検知部２０９ｂとを備え、物体追跡部２０９ａと物体通過検知部２０９ｂとを用いて、遮蔽領域を出入りする人体を計数することで、遮蔽領域に存在する人体を計数する。
物体追跡部２０９ａは、異なるフレーム間に存在する同じ人体を追跡し、追跡した人体が移動した軌跡情報を取得する。ここで、同じ人体を異なるフレームで追跡する方法としては、追跡する人体に含まれる色のヒストグラムの類似性を用いる方法がある。なお、人体の追跡には、任意のアルゴリズムを用いることができる。

物体通過検知部２０９ｂは、物体追跡部２０９ａにより取得された軌跡情報を用いて、遮蔽領域設定部２０７において設定された遮蔽領域に人体が入ったかを判定するとともに、遮蔽領域から人体が出たかを判定する。具体的には、物体通過検知部２０９ｂは、人体が通過したか否かを判定するための通過検知線を、遮蔽領域の入口と出口との２箇所に設定し、入口に設定した通過検知線と軌跡情報とが重なった場合、人体が遮蔽領域に入ったと判定する。また、物体通過検知部２０９ｂは、出口に設定した通過検知線と軌跡情報とが重なった場合、人体が遮蔽領域から出たと判定する。遮蔽領域の出入口は、行列の進行方向をもとに決定することができる。ここで、行列の進行方向は、行列に含まれる人体の動き方向である。

なお、物体通過検知部２０９ｂは、通過検知線と重なった軌跡情報から人体の移動方向を取得し、行列の進行方向とは逆方向に通過検知線を通過する人体については、遮蔽領域を出入りする人体として計数しないように計数対象外としてもよい。このように、行列の進行方向と人体の移動方向とが一致しない場合に、当該人体を計数対象外とすることで、行列とは関係ない方向に移動している人体をカウントしないようにすることができる。この場合、行列領域計数部２０８においても、検知された人体の移動方向が行列の進行方向に一致しない場合には、当該人体を計数対象外とするようにしてもよい。

また、追跡した人体が遮蔽領域の入口の通過検知線を遮蔽領域に入る方向へ通過しても、遮蔽領域において検知可能な場合には、当該人体は遮蔽物の手前（撮像装置１００側）を移動する人体であり、行列に並ぶ人体ではないと判断することができる。したがって、このような場合には、物体通過検知部２０９ｂは、上記人体を遮蔽領域の人体としてカウントしないようにしてもよい。
さらに、物体通過検知部２０９ｂは、行列の進行方向と同一方向に通過検知線を通過する人体であっても、行列の進行速度よりも速い速度で移動する人体については、行列に並ぶ人体ではないと判断して計数対象外としてもよい。ここで、行列の進行速度は、行列に含まれる人体の移動速度であり、例えば当該移動速度の平均値とすることができる。

以上のように、本実施形態における情報処理装置２００は、撮像装置１００によって撮像された、物体の計数対象とする所定領域の画像として、複数の計数対象の物体を含む行列領域の画像を取得する。そして、情報処理装置２００は、取得された行列領域の画像から物体検知処理により計数対象の物体を検知し、計数する。また、情報処理装置２００は、通過検知処理を用いて、行列領域において物体が遮蔽される遮蔽領域に存在する計数対象の物体を計数する。そして、情報処理装置２００は、物体検知処理を用いた行列領域における人体の計数結果に、通過検知処理を用いた遮蔽領域における人体の計数結果を付加して、行列領域に存在する計数対象の物体を計数して出力する。このため、遮蔽物によって物体が遮蔽されている場合であっても、遮蔽領域において遮蔽されている物体数を含めて行列領域の物体数を適切に計数することができる。

次に、本実施形態における情報処理装置２００の動作について説明する。
図２は、情報処理装置２００が実行する計数処理の一例として、行列領域の人体を計数する処理を示すフローチャートである。この図２の処理は、例えば、撮像装置１００により画像の撮像が開始されたタイミングで開始される。ただし、図２の処理の開始タイミングは、上記のタイミングに限らない。
情報処理装置２００は、ＣＰＵ２０２が必要なプログラムを記憶部２０３から読み出して実行することにより、図２に示す処理を実現することができる。ただし、図１に示す情報処理装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図２の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２０２の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、情報処理装置２００は、撮像装置１００によって撮像された画像を取得する。次にＳ２では、情報処理装置２００は、Ｓ１において取得された画像において行列領域が設定されているか否かを判定し、行列領域が設定されてしない場合にはＳ３に移行し、行列領域が設定されている場合にはＳ６に移行する。Ｓ３では、情報処理装置２００は、Ｓ１において取得された画像における行列領域の設定を行う。
Ｓ４では、情報処理装置２００は、行列領域に遮蔽領域が存在するか否かを判定し、遮蔽領域が存在する場合にはＳ５に移行し、遮蔽領域が存在しない場合にはＳ６に移行する。Ｓ５では、情報処理装置２００は、行列領域における遮蔽領域の設定を行う。

Ｓ６では、情報処理装置２００は、行列領域の画像を取得し、行列領域に人体が存在するか否かを判定する。そして、情報処理装置２００は、人体が存在すると判定した場合にはＳ７に移行し、人体が存在しないと判定した場合にはＳ１１に移行する。Ｓ７では、情報処理装置２００は、行列領域の画像から人体を検知して計数する。これにより、人体検知処理を用いた行列領域における人体の計数結果が得られる。次にＳ８では、情報処理装置２００は、Ｓ７において検知された人体の追跡を行い、追跡した人体の軌跡情報を取得する。
Ｓ９では、情報処理装置２００は、Ｓ８における追跡処理により取得された軌跡情報をもとに人体の通過検知処理を行い、遮蔽領域に人体の出入りがあったか否かを判定する。そして、情報処理装置２００は、遮蔽領域に人体の出入りがあったと判定した場合にはＳ１０に移行し、出入りがないと判定した場合にはＳ１１に移行する。Ｓ１０では、遮蔽領域における人体の計数を行う。具体的には、上記通過検知処理により人体が遮蔽領域に入ったと判定された場合には、遮蔽領域の人数を加算し、人体が遮蔽領域から出たと判定された場合には、遮蔽領域の人数を減算する。これにより、通過検知処理を用いた遮蔽領域における人体の計数結果が得られる。

Ｓ１１では、情報処理装置２００は、Ｓ７において得られた人体検知処理を用いた行列領域における人体の計数結果に、Ｓ１０において得られた通過検知処理を用いた遮蔽領域における人体の計数結果を付加する。そして、情報処理装置２００は、付加した結果を、遮蔽領域において遮蔽されている人体を含む行列領域に存在する人体の計数結果とする。最後に、Ｓ１２では、情報処理装置２００は、撮像装置１００によって撮像された次の画像が存在するか否かを判定し、次の画像が存在する場合にはＳ１へ戻り、次の画像が存在しない場合には処理を終了する。
このように、情報処理装置２００は、人体の追跡結果に基づいて遮蔽領域に対する人体の出入りを計数することで、遮蔽領域において遮蔽されている人体を計数することができる。そのため、行列領域に遮蔽領域が存在している場合であっても、行列領域全体に含まれる人体を適切に計数することが可能である。

以下、行列領域の人体の計数方法について具体的に説明する。
図３は、撮像装置１００によって撮像された画像の一例である。この図３において、画像４００Ａは、撮像装置１００の撮像領域の画像である。画像４００Ａには、行列領域４０１が設定されている。行列領域４０１は、複数の人体４０２が並ぶ領域である。複数の人体４０２は、計数対象となる物体である。行列方向４０３は、人体４０２が並ぶ行列の進行方向であり、人体４０２の動き方向に相当する。遮蔽領域４０４は、行列領域４０１において行列に並ぶ人体４０２を遮蔽する壁や柱などの遮蔽物４０４ａの領域である。図３では、９人の人間が行列に並んでおり、そのうちの３人が遮蔽物４０４ａによって遮蔽されている例を示している。

この場合、人体検知処理では、遮蔽領域４０４において遮蔽物４０４ａによって遮蔽されている人体４０２を検知、計数することができない。つまり、人体検知処理では、行列領域４０１において遮蔽領域４０４外に存在する６体の人体４０２しか検知、計数することができない。
そこで、本実施形態では、行列領域４０１において人体検知処理によって検知された人体を追跡し、遮蔽領域４０４の通過検知を行うことで、遮蔽領域４０４において遮蔽されている人体４０２を計数する。つまり、人体４０２を追跡し、人体４０２が、遮蔽領域４０４の入口の通過検知線４０５を通過して遮蔽領域４０４に入ったことを検知した場合に、遮蔽領域４０４の人体４０２の計数を加算する。また、追跡した人体４０２が、遮蔽領域４０４の出口の通過検知線４０６を通過して遮蔽領域４０４から出たことを検知した場合には、遮蔽領域４０４の人体４０２の計数を減算する。
これにより、遮蔽物４０４ａの背後を別の撮像装置によって撮像することなく、遮蔽物４０４ａの背後に存在する人体４０２を計数することができる。つまり、１台の撮像装置によって撮像された画像から、遮蔽領域４０４を含めた行列領域４０１全体に含まれる複数の人体４０２を適切に計数することができる。

以上説明したように、本実施形態における情報処理装置２００は、撮像装置１００によって撮像された、物体の計数対象とする所定領域の画像を取得する。ここで、物体の計数対象とする所定領域は、複数の物体を含む行列領域とすることができ、計数対象の物体は人体とすることができる。情報処理装置２００は、取得された行列領域の画像から、人体検知処理を用いて計数対象の物体である人体を検知し、検知された人体を計数する。また、情報処理装置２００は、人体の検知結果に基づいて、行列領域内の遮蔽領域において遮蔽されている人体を計数する。そして、情報処理装置２００は、人体検知処理を用いて計数された人数に遮蔽領域の人数を加算して、行列領域に存在する人体を計数する。

このように、情報処理装置２００は、物体の計数対象とする所定領域に、計数対象の物体を遮蔽する遮蔽領域が存在する場合、遮蔽領域において遮蔽されている物体を考慮して所定領域に存在する物体を計数する。したがって、所定領域に存在する物体の全体の数を適切に計数することができる。本実施形態のように、所定領域が行列領域であり、計数対象の物体が人体である場合、行列に並ぶ人の数を適切に計数することができる。例えば、駅のホームでの待ち行列の人数や、タクシー乗り場での待ち行列の人数等を適切に計数することが可能である。この場合、待ち行列の待ち時間を精度良く推定し、例えば行列に並ぶ利用者に対して、行列の待ち人数や待ち時間を適切に案内することが可能となる。
また、情報処理装置２００は、１台の撮像装置１００によって撮像された画像をもとに、遮蔽領域において遮蔽されている物体を含む全体の物体数を計数することができる。そのため、遮蔽物によって遮蔽されている物体を撮像するために別の撮像装置を設ける必要がなく、簡易なシステム構成で所定領域の物体数を計数することが可能となる。

さらに、情報処理装置２００は、行列領域の画像から検知された人体を追跡し、遮蔽領域に対する出入りを検知することで、遮蔽領域の人体を計数する。したがって、遮蔽領域において遮蔽されている人体を適切に計数することができる。
ここで、情報処理装置２００は、行列領域に含まれる行列の進行方向をもとに遮蔽領域の出入口を決定し、決定された遮蔽領域の出入口にそれぞれ通過検知線を設定することができる。また、情報処理装置２００は、追跡された人体が上記通過検知線を通過したことを検知することで、人体の遮蔽領域に対する出入りを検知することができる。このように、情報処理装置２００は、遮蔽領域の出入口に通過検知線を設定し、通過検知を行うので、行列の進行方向に沿って移動する人体を適切に計数することができる。

また、情報処理装置２００は、行列の進行方向とは逆方向に通過検知線を通過する物体を計数対象外とすることができる。さらに、情報処理装置２００は、通過検知線を通過した人体であっても、遮蔽領域において検知可能な人体は計数対象外とすることができる。このように、情報処理装置２００は、行列に並んでいない人体を適切に判別し、行列に並ぶ人体で遮蔽領域に出入りする人体を適切に検知することができる。
さらに、情報処理装置２００は、撮像装置１００によって撮像された画像内の物体（人体）の移動速度や密集度等に基づいて、画像内の行列領域や行列領域内の遮蔽領域を設定することができる。したがって、行列領域や遮蔽領域を適切に設定することができ、行列領域に存在する物体（人体）を適切に計数することができる。

また、情報処理装置２００は、撮像装置１００によって撮像された画像を表示部２０４へ表示させる表示制御を行い、表示された画像内における行列領域の設定をユーザから受け付け、行列領域の設定を行うこともできる。これにより、情報処理装置２００は、ユーザが確認したい行列領域の人数を適切に計数し、ユーザに対して案内することが可能となる。さらに、情報処理装置２００は、撮像装置１００によって撮像された画像を表示部２０４へ表示させる表示制御を行い、表示された画像内における遮蔽領域の設定をユーザから受け付け、遮蔽領域の設定を行うこともできる。これにより、情報処理装置２００は、ユーザが確認したい遮蔽物の背後の領域を適切に計数対象とすることができ、ユーザの要求に応じた計数処理が可能となる。

（変形例）
上記実施形態においては、遮蔽領域の出入口における人体の通過検知により、遮蔽領域において遮蔽されている人体を計数する場合について説明したが、遮蔽領域の人体を計数する方法は上記に限定されない。情報処理装置２００は、行列の長さに応じて遮蔽領域の計数方法を変更してもよい。
図３の画像４００Ａのように、行列領域４０１が長く、行列の最後尾が遮蔽領域４０４を越えている場合には、遮蔽領域４０４に存在し得る人体４０２の数の最大値を、遮蔽領域４０４において遮蔽されている人体４０２の数として設定してもよい。ここで、上記最大値は、遮蔽領域４０４の大きさに応じて予め設定しておくことができる。また、上記最大値は、行列領域４０１における遮蔽領域４０４周辺の人体４０２の密度から推定された値であってもよい。
このように、行列の先頭が、遮蔽領域外における遮蔽領域の出口側に位置する場合で、行列の最後尾が、遮蔽領域外における遮蔽領域の入口側に位置する場合、遮蔽領域において遮蔽されている人体の数を上記最大値に設定してもよい。この場合、人体の追跡処理や通過検知処理を行うことなく、遮蔽領域において遮蔽されている人体を容易に計数することができる。

一方、図４に示す画像４００Ｂのように、行列の最後尾が遮蔽領域４０４内にある場合には、遮蔽領域４０４に入った人体４０２と遮蔽領域４０４から出た人体４０２の計数を行う。つまり、遮蔽領域４０４の出入口における人体４０２の通過検知により、遮蔽領域４０４において遮蔽されている人体４０２を計数する。
さらに、図５に示す画像４００Ｃのように、行列が短く、行列の最後尾が遮蔽領域４０４に到達していない場合には、遮蔽領域４０４における人体４０２の計数値を零などに初期化してもよい。行列の先頭と最後尾とが、ともに遮蔽領域外における遮蔽領域の出口側に位置する場合、遮蔽領域において遮蔽されている人体は存在しないと判断することができる。そのため、このような場合には、遮蔽領域において遮蔽されている人体の数を零に設定することで、遮蔽領域の人体を計数するための複雑な処理が必要なくなる。

図６は、行列の長さに応じて遮蔽領域において遮蔽されている物体を計数する処理の流れを示すフローチャートである。この図６の処理は、図２の処理と同じタイミングで開始することができる。
情報処理装置２００は、ＣＰＵ２０２が必要なプログラムを記憶部２０３から読み出して実行することにより、図６に示す処理を実現することができる。ただし、図６に示す情報処理装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図６の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２０２の制御に基づいて動作する。
図６において、図２と同一処理を行うステップには図２と同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。

Ｓ２１では、情報処理装置２００は、遮蔽領域の出口付近において行列に並ぶ人体が検知できるか否かを判定し、検知できる場合はＳ２２に移行し、検知できない場合にはＳ２５に移行する。Ｓ２２では、情報処理装置２００は、遮蔽領域の入口付近において行列に並ぶ人体が検知できるか否かを判定し、検知できる場合はＳ２３に移行し、検知できない場合にはＳ２４に移行する。
Ｓ２３では、情報処理装置２００は、遮蔽領域において遮蔽されている人体の数を最大値に設定してＳ１１に移行する。Ｓ２４では、情報処理装置２００は、通過検知処理を用いて遮蔽領域に出入りする人体を計数することで、遮蔽領域において遮蔽されている人体を計数し、Ｓ１１に移行する。Ｓ２５では、情報処理装置２００は、遮蔽領域において遮蔽されている人体の数を０などに初期化し、Ｓ１１に移行する。

このように、遮蔽領域の出口付近と入口付近との両方において、行列に並ぶ人体が検知できる場合、図３に示すように行列が長いと判断して、遮蔽領域において遮蔽されている人体の数を予め設定された最大値に設定する。一方、遮蔽領域の出口付近のみにおいて、行列に並ぶ人体が検知できる場合には、図４に示すように行列の最後尾が遮蔽領域内にあると判断する。したがって、この場合には、遮蔽領域の出入口に設定した通過検知線を用いた人体の通過検知を行い、遮蔽領域において遮蔽されている人体の数を計数する。また、遮蔽領域の出口付近と入口付近との両方において、行列に並ぶ人体が検知できない場合には、図５に示すように行列が短く、遮蔽領域に人体は存在しないと判断して、遮蔽領域において遮蔽されている人体の数を初期化する。
以上のように、行列の長さに応じた計数処理を行うことで、遮蔽領域の計数を容易かつ適切に行うことができる。

なお、上記実施形態においては、遮蔽領域において遮蔽されている人体の計数結果に上限値を設定してもよい。ここで、当該上限値は、例えば遮蔽領域に存在し得る人体の最大値とすることができる。この場合、情報処理装置２００は、人体の通過検知処理を用いて遮蔽領域において遮蔽されている人体の数を計数した結果、計数結果が上限値を上回っている場合には、計数結果を上限値に補正するようにしてもよい。
また、上記実施形態においては、上記実施形態においては、行列領域内の遮蔽領域が１つである場合について説明したが、遮蔽領域は複数であってもよい。
さらに、上記実施形態においては、物体の計数対象である所定領域が行列領域である場合について説明したが、上記所定領域は行列領域に限定されない。さらに、上記所定領域は、撮像装置１００によって撮像された画像の一部の領域である場合について説明したが、画像全体の領域であってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、２００…情報処理装置、２０１…通信部、２０２…ＣＰＵ、２０３…記憶部、２０４…表示部、２０５…入力部、２０６…行列領域設定部、２０７…遮蔽領域設定部、２０８…行列領域計数部、２０９…遮蔽領域計数部、２０９ａ…物体追跡部、２０９ｂ…物体通過検知部、３００…ネットワーク

Claims (15)

1. 撮像手段によって撮像された、物体を計数対象とする所定領域の画像を取得する取得手段と、
   前記取得手段により取得された画像から、計数対象の物体を検知する検知手段と、
   前記検知手段により検知された物体を計数する第１の計数手段と、
   前記検知手段による検知結果をもとに、前記所定領域内の遮蔽領域において遮蔽されている前記物体を計数する第２の計数手段と、
   前記第１の計数手段により計数された前記物体の数と、前記第２の計数手段により計数された前記物体の数とに基づいて前記所定領域において計数した結果を出力する第３の計数手段と、
   を備え、
   前記第２の計数手段は、前記遮蔽領域において検知可能な物体を計数対象外とすることを特徴とする情報処理装置。
2. 撮像手段によって撮像された、物体を計数対象とし複数の前記物体を含む所定領域の画像を取得する取得手段と、
   前記取得手段により取得された画像から、計数対象の物体を検知する検知手段と、
   前記検知手段により検知された物体を計数する第１の計数手段と、
   前記検知手段により検知された物体を追跡する追跡手段と、
   前記所定領域に含まれる物体の行列の進行方向をもとに決定される前記所定領域内の遮蔽領域の出入口にそれぞれ設定された通過検知線を前記追跡された物体が通過したことを検知することで、前記物体の前記遮蔽領域に対する出入りを検知する出入り検知手段と、
   前記出入り検知手段による検知結果をもとに、前記遮蔽領域において遮蔽されている前記物体を計数する第２の計数手段と、
   前記第１の計数手段により計数された前記物体の数と、前記第２の計数手段により計数された前記物体の数とに基づいて前記所定領域において計数した結果を出力する第３の計数手段と、
   を備え、
   前記第２の計数手段は、前記行列の進行方向とは逆方向に前記通過検知線を通過する物体を計数対象外とすることを特徴とする情報処理装置。
3. 撮像手段によって撮像された、物体を計数対象とし複数の前記物体を含む所定領域の画像を取得する取得手段と、
   前記取得手段により取得された画像から、計数対象の物体を検知する検知手段と、
   前記検知手段により検知された物体を計数する第１の計数手段と、
   前記検知手段による検知結果をもとに、前記所定領域内の遮蔽領域において遮蔽されている前記物体を計数する第２の計数手段と、
   前記第１の計数手段により計数された前記物体の数と、前記第２の計数手段により計数された前記物体の数とに基づいて前記所定領域において計数した結果を出力する第３の計数手段と、
   を備え、
   前記第２の計数手段は、前記所定領域に含まれる物体の行列の長さに基づいて、前記遮蔽領域において遮蔽されている前記物体を計数することを特徴とする情報処理装置。
4. 前記第２の計数手段は、
   前記検知手段により検知された物体を追跡する追跡手段と、
   前記追跡手段により追跡された物体の前記遮蔽領域に対する出入りを検知する出入り検知手段と、を備えることを特徴とする請求項１又は３に記載の情報処理装置。
5. 前記撮像手段によってそれぞれ撮像された画像内の前記所定領域を設定する第１の設定手段と、
   前記所定領域内の前記遮蔽領域を設定する第２の設定手段と、をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記所定領域は、複数の前記物体を含む行列領域であることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記出入り検知手段は、
   前記所定領域に含まれる物体の行列の進行方向をもとに決定される前記所定領域内の遮蔽領域の出入口にそれぞれ通過検知線を設定し、前記追跡手段により追跡された物体が前記通過検知線を通過したことを検知することで、前記物体の前記遮蔽領域に対する出入りを検知することを特徴とする請求項４に記載の情報処理装置。
8. 前記第２の計数手段は、
   前記行列の先頭が、前記遮蔽領域外における前記遮蔽領域の出口側に位置する場合で、前記行列の最後尾が、前記遮蔽領域外における前記遮蔽領域の入口側に位置する場合、前記遮蔽領域において遮蔽されている前記物体の数を、前記遮蔽領域に存在し得る物体の数の最大値に設定することを特徴とする請求項３に記載の情報処理装置。
9. 前記第２の計数手段は、
   前記行列の先頭と最後尾とが、前記遮蔽領域外における前記遮蔽領域の出口側に位置する場合、前記遮蔽領域において遮蔽されている前記物体の数を零に設定することを特徴とする請求項３又は８に記載の情報処理装置。
10. 前記第２の計数手段は、
    前記遮蔽領域において遮蔽されている前記物体の計数結果に上限値を設定することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記計数対象の物体は、人体もしくは人体の一部であることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 取得手段が、撮像手段によって撮像された、物体を計数対象とする所定領域の画像を取得する取得工程と、
    検知手段が、前記取得工程により取得された前記画像から、計数対象の物体を検知する検知工程と、
    第１の計数手段が、前記検知工程により検知された物体を計数する第１の計数工程と、
    第２の計数手段が、前記検知工程による検知結果をもとに、前記所定領域内の遮蔽領域において遮蔽されている前記物体を計数する第２の計数工程と、
    第３の計数手段が、前記第１の計数工程により計数された前記物体の数と、前記第２の計数工程により計数された前記物体の数とに基づいて前記所定領域において計数した結果を出力する第３の計数工程と、
    を含み、
    前記第２の計数工程は、前記遮蔽領域において検知可能な物体を計数対象外とすることを特徴とする情報処理方法。
13. 取得手段が、撮像手段によって撮像された、物体を計数対象とし複数の前記物体を含む所定領域の画像を取得する取得工程と、
    検知手段が、前記取得工程により取得された画像から、計数対象の物体を検知する検知工程と、
    第１の計数手段が、前記検知工程により検知された物体を計数する第１の計数工程と、
    追跡手段が、前記検知工程により検知された物体を追跡する追跡工程と、
    出入り検知手段が、前記所定領域に含まれる物体の行列の進行方向をもとに決定される前記所定領域内の遮蔽領域の出入口にそれぞれ設定された通過検知線を前記追跡された物体が通過したことを検知することで、前記物体の前記遮蔽領域に対する出入りを検知する出入り検知工程と、
    第２の計数手段が、前記出入り検知工程による検知結果をもとに、前記遮蔽領域において遮蔽されている前記物体を計数する第２の計数工程と、
    第３の計数手段が、前記第１の計数工程により計数された前記物体の数と、前記第２の計数工程により計数された前記物体の数とに基づいて前記所定領域において計数した結果を出力する第３の計数工程と、
    を含み、
    前記第２の計数工程は、前記行列の進行方向とは逆方向に前記通過検知線を通過する物体を計数対象外とすることを特徴とする情報処理方法。
14. 取得手段が、撮像手段によって撮像された、物体を計数対象とし複数の前記物体を含む所定領域の画像を取得する取得工程と、
    検知手段が、前記取得工程により取得された画像から、計数対象の物体を検知する検知工程と、
    第１の計数手段が、前記検知工程により検知された物体を計数する第１の計数工程と、
    第２の計数手段が、前記検知工程による検知結果をもとに、前記所定領域内の遮蔽領域において遮蔽されている前記物体を計数する第２の計数工程と、
    第３の計数手段が、前記第１の計数工程により計数された前記物体の数と、前記第２の計数工程により計数された前記物体の数とに基づいて前記所定領域において計数した結果を出力する第３の計数工程と、
    を含み、
    前記第２の計数工程は、前記所定領域に含まれる物体の行列の長さに基づいて、前記遮蔽領域において遮蔽されている前記物体を計数することを特徴とする情報処理方法。
15. コンピュータを、請求項１乃至１１の何れか１項に記載の情報処理装置として機能させるためのプログラム。

Images