JP4963297B2 - 人物計数装置および人物計数方法 - Google Patents

Description

この発明は、人物の数を計数する人物計数装置および人物計数方法に関し、特に、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数することができる人物計数装置および人物計数方法に関するものである。

背景となる画像である背景画像を予め取得しておき、この背景画像と入力画像との差分をとることによって背景から変化した領域（以下、「背景相違領域」と記載する）を抽出する背景差分法が知られている。

この背景差分法を人物等の動体検出に用いることで、所定領域内に存在する人物の数を推定することが可能となる。たとえば、特許文献１には、エレベータ室内の上方から人物を含む室内画像をカメラで撮像し、人物がいない背景画像との差分によって求められる背景相違領域の面積（人部面積）および差分画像内に点在する塊の数に基づき、人部面積を１人あたりの基準面積で除することで算出される人数と、塊数から算出される人数とに、それぞれ、重み付けを行って最終的な人数を算出する技術が開示されている。

また、特許文献２には、カメラによって撮像された画像と背景画像との差分画像について、基準値を上回った画素の数にカメラからの距離に応じた重み付けを行うことで、カメラから遠くなるほど人物に対応する画素数が少なくなることを加味して人数を算出する技術が開示されている。

特開平１１−２５９６２５号公報 特開２００５−２５３２８号公報

しかしながら、特許文献１の技術には、カメラ（撮像視点）からみて手前にいる人物によって体の一部が隠されている人物が存在する場合の計数精度が低いという問題がある。具体的には、手前にいる人物と、手前にいる人物によって体の一部が隠されている人物とが連続している場合には、これらの人物は１つの塊として検出されるため塊数は１となる。

また、体の一部が隠されている人物が存在する場合には人部面積は小さめの値となるため人部面積を基準面積で除すると実際の人数よりも少ない人数が算出される。このような場合、人部面積から求めた人数および塊数から求めた人数ともに信頼性が低いため、たとえ、これらの値に重み付けを行っても人物計数の精度を上げることはできない。

また、特許文献２の技術は、単に遠近法に基づいてカメラから遠方の領域に対応する画素数を調整しているにすぎず、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合の人物計数を考慮した技術ではない。

これらのことから、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数することができる人物計数装置あるいは人物計数方法をいかにして実現するかが大きな課題となっている。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数することができる人物計数装置および人物計数方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため本発明は、人物の数を計数する人物計数装置であって、所定の撮像視点から撮像された計数対象領域画像内に一人の人物と対応する大きさの定義枠をお互いの重なりを許容しつつ設定する定義枠設定手段と、前記撮像視点に近い前記定義枠から順に人物の有無を判定する人物有無判定手段と、前記人物有無判定手段によって人物ありと判定された前記定義枠の数を人物の数として計数する計数手段とを備え、前記人物有無判定手段は、直前の定義枠に人物があると判定された場合に、現在の定義枠から前記直前の定義枠を差し引いた領域を人物有無判定領域として決定する人物有無判定領域決定手段をさらに備えており、前記人物有無判定領域決定手段によって決定された前記人物有無判定領域を用いて人物の有無を判定することを特徴とする。

また、本発明は、上記の発明において、前記人物有無判定領域決定手段は、前記人物有無判定手段によって前記直前の定義枠に人物があると判定された場合に、前記現在の定義枠から前記直前の定義枠を差し引いた領域を前記人物有無判定領域として決定することを特徴とする。

また、本発明は、上記の発明において、前記人物有無判定領域決定手段は、前記人物有無判定手段によって前記直前の定義枠に人物がないと判定された場合に、前記現在の定義枠から直後の定義枠を差し引いた領域を前記人物有無判定領域として決定することを特徴とする。

また、本発明は、上記の発明において、前記人物有無判定手段は、前記判定対象となる定義枠内における１または複数の画素からなるブロックの中で人物候補とされた人物候補ブロックが集結して形作る形状に基づいて人物の有無を判定することを特徴とする。

また、本発明は、上記の発明において、前記人物有無判定手段は、前記判定対象となる定義枠内における１または複数の画素からなるブロックの中で人物候補とされた人物候補ブロックが当該定義枠内の総面積に占める面積比率に基づいて人物の有無を判定することを特徴とする。

また、本発明は、上記の発明において、前記人物有無判定手段は、前記判定対象となる定義枠内における前記人物候補ブロックについて当該定義枠の中央部分に近い人物候補ブロックほど大きな重み付けを行ったうえで前記面積比率を求めることを特徴とする。

また、本発明は、上記の発明において、前記人物有無判定手段は、前記定義枠について人物ありと判定した状態が第１の期間にわたって継続した場合に当該定義枠を人物あり枠と判定し、人物あり枠と判定した定義枠について人物なしと判定した状態が前記第１の期間よりも短い第２の期間にわたって継続した場合に当該定義枠を人物なし枠と判定することを特徴とする。

また、本発明は、上記の発明において、前記定義枠設定手段は、前記計数対象領域画像内を移動する人物の軌跡に基づいて前記定義枠を前記計数対象領域画像内に設定することを特徴とする。

また、本発明は、人物の数を計数する人物計数方法であって、所定の撮像視点から撮像された計数対象領域画像内に一人の人物と対応する大きさの定義枠をお互いの重なりを許容しつつ設定する定義枠設定工程と、前記撮像視点に近い前記定義枠から順に人物の有無を判定する人物有無判定工程と、前記人物有無判定工程によって人物ありと判定された前記定義枠の数を人物の数として計数する計数工程とを含み、前記人物有無判定工程は、直前の定義枠に人物があると判定された場合に、現在の定義枠から前記直前の定義枠を差し引いた領域を人物有無判定領域として決定する人物有無判定領域決定工程をさらに含んでおり、前記人物有無判定領域決定工程によって決定された前記人物有無判定領域を用いて人物の有無を判定することを特徴とする。

本発明によれば、所定の撮像視点から撮像された計数対象領域画像内に一人の人物と対応する大きさの定義枠をお互いの重なりを許容しつつ設定し、撮像視点に近い定義枠から順に人物の有無を判定し、人物ありと判定された定義枠の数を人物の数として計数するものであって、人物の有無を判定する際に、直前の定義枠に人物があると判定された場合に、現在の定義枠から直前の定義枠を差し引いた領域を人物有無判定領域として決定し、決定された人物有無判定領域を用いて人物の有無を判定することとしたので、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数することができるという効果を奏する。特に、直前の定義枠に人物があると判定された場合に、現在の定義枠から直前の定義枠を差し引いた領域を人物有無判定領域として決定することとしたので、直前の定義枠と現在の定義枠との重複部分を現在の定義枠の人物有無判定領域から除外することで、直前の定義枠の人物を現在の定義枠でも２重にカウントしてしまうことを防止することができるという効果を奏する。

また、本発明によれば、直前の定義枠に人物がないと判定された場合に、現在の定義枠から直後の定義枠を差し引いた領域を人物有無判定領域として決定することとしたので、現在の定義枠と直後の定義枠との重複部分を現在の定義枠の人物有無判定領域から除外することで、直後の定義枠の人物を現在の定義枠でも２重にカウントしてしまうことを防止することができるという効果を奏する。

また、本発明によれば、判定対象となる定義枠内における１または複数の画素からなるブロックの中で人物候補とされた人物候補ブロックが集結して形作る形状に基づいて人物の有無を判定することとしたので、ブロックの集結度合をみて薄い影やノイズの影響を除外することができるという効果を奏する。

また、本発明によれば、判定対象となる定義枠内における１または複数の画素からなるブロックの中で人物候補とされた人物候補ブロックが定義枠内の総面積に占める面積比率に基づいて人物の有無を判定することとしたので、所定の定義枠外に位置する人物の体の一部が所定の定義枠内で検出された場合であっても誤カウントを防止することができるという効果を奏する。

また、本発明によれば、判定対象となる定義枠内における人物候補ブロックについて定義枠の中央部分に近い人物候補ブロックほど大きな重み付けを行ったうえで面積比率を求めることとしたので、所定の定義枠外に位置する人物の体の一部が所定の定義枠内で検出された場合であっても誤カウントを高精度に防止することができるという効果を奏する。

また、本発明によれば、定義枠について人物ありと判定した状態が第１の期間にわたって継続した場合に定義枠を人物あり枠と判定し、人物あり枠と判定した定義枠について人物なしと判定した状態が第２の期間にわたって継続した場合に定義枠を人物なし枠と判定することとしのたで、人物なしの状態で瞬間的に人物ありの条件を満たす変動を除外しつつ、人物ありの状態で瞬間的に人物なしの条件を満たす変動を除外することができるという効果を奏する。これによって、たとえば、定義枠を通過するだけの人物を効率よく除外することができる。

また、本発明によれば、計数対象領域画像内を移動する人物の軌跡に基づいて定義枠を計数対象領域画像内に設定することとしたので、定義枠の設定を効率よく行うことができるという効果を奏する。

また、本発明によれば、所定の撮像視点から撮像された計数対象領域画像内に一人の人物と対応する大きさの定義枠をお互いの重なりを許容しつつ設定し、撮像視点に近い定義枠から順に人物の有無を判定し、人物ありと判定された定義枠の数を人物の数として計数するものであって、人物の有無を判定する際に、直前の定義枠に人物があると判定された場合に、現在の定義枠から直前の定義枠を差し引いた領域を人物有無判定領域として決定し、決定された人物有無判定領域を用いて人物の有無を判定することとしたので、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数することができるという効果を奏する。

以下に添付図面を参照して、この発明に係る人物計数装置の好適な実施例を詳細に説明する。なお、以下では、人物計数の対象となる領域を上方から撮像する魚眼カメラを用いて人物検出を行う場合について説明する。また、以下では、本発明に係る人物計数手法の概要について図１を用いて説明した後に、本発明に係る人物計数手法を適用した人物計数装置についての実施例を図２〜図１１を用いて説明することとする。

まず、本発明に係る人物計数手法の概要について図１を用いて説明する。図１は、本発明に係る人物計数手法の概要を示す図である。なお、同図においては、銀行等に設置されたＡＴＭ（Automated Teller Machine）コーナーにおいて人物計数を行う場合について示している。また、同図に示すカメラ位置（撮像視点）は、天井に取り付けられた魚眼カメラのカメラ位置を示している。

本発明に係る人物計数手法は、人物計数の対象となる領域内に、一人の人物と対応する大きさ（足元位置から頭位置までを含んだ人物サイズ）の定義枠を設定する。たとえば、この定義枠は、ポールおよびロープで区切られた通路の床面を６０ｃｍ〜７０ｃｍ間隔で区切るように設定される。ここで、定義枠の形状は、人物計数の対象となる領域を撮像する撮像視点（カメラ位置）からの距離によって異なるものとなり、さらに、撮像視点から離れた位置の定義枠同士は重なりあうことになる。これは、撮像視点から離れるに従って人物が重なりあうように撮像されるためである。

同図の１ａ〜１ｅは、このようにして設定された定義枠をあらわしている。たとえば、カメラ位置に近い１ａおよび１ｂについては、お互いが重なりあわないが、１ｃおよび１ｄ、１ｄおよび１ｅについてはお互いが重なりあっている。本発明に係る人物計数手法は、このようにお互いの重なりが許容された定義枠を用いながら、一人の人物を複数の定義枠で重複してカウントすることを防止する点に主たる特徴がある。

具体的には、重なりを許容した定義枠を設定し（同図の（１）参照）、各定義枠に含まれる画像を解析することによって人物候補ブロックを算出する（同図の（２）参照）。ここで、人物候補ブロックとは、たとえば、８画素×８画素からなるブロックであり、人物候補ブロックの算出には、撮像対象の微動およびエッジを考慮した特願２００７−３１７０２１の手法を用いることができる。

つづいて、人物候補ブロックが算出されたならば、撮像視点に近い定義枠から順に人物有無を判定する（同図の（３）参照）。同図に示した場合では、定義枠１ａ、定義枠１ｂ、定義枠１ｃ、定義枠１ｄ、定義枠１ｅの順序で各定義枠内における人物の有無が判定される。ここで、各定義枠における人物有無判定においては、直前の定義枠における人物有無に基づき、注目する定義枠内の人物有無判定領域を決定する（同図の（３−ａ）参照）。

たとえば、同図の定義枠１ｄが人物あり枠と判定され、つづいて定義枠１ｅにおける人物有無を判定する場合には、定義枠１ｅから定義枠１ｄとの重複部分を差し引いた領域を人物有無判定領域とすることで、定義枠１ｄにおいて既にカウントされた人物が、定義枠１ｅにおいても重複してカウントされることを防止する。

なお、かかる物有無判定領域の決定処理の詳細については、図８および図９を用いて後述する。そして、すべての定義枠について人物の有無が判定されたならば、人物ありと判定された定義枠をカウントすることで、人数カウントが行われる（同図の（４）参照）。

このように、本発明に係る人物計数手法では、お互いの重なりを許容した定義枠を設定し、撮像視点に近い定義枠から順に人物の有無を判定していき、直前の定義枠における人物有無に応じて注目する定義枠における人物有無判定領域を変化させるようにしたので、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数することができる。以下では、図１を用いて説明した人物計数手法を適用した人物計数装置についての実施例を説明する。

図２は、本実施例に係る人物計数装置１０の構成を示すブロック図である。同図に示すように、人物計数装置１０は、カメラ１１と、ディスプレイ１２と、制御部１３と、記憶部１４とを備えている。また、制御部１３は、画像入力部１３ａと、定義枠設定部１３ｂと、人物候補ブロック抽出部１３ｃと、人物有無判定部１３ｄと、計数部１３ｅとをさらに備えており、人物有無判定部１３ｄは、集結形状判定部１３ｄａと、占有率判定部１３ｄｂと、安定状態判定部１３ｄｃと、重複定義枠判定部１３ｄｄとをさらに備えている。なお、記憶部１４は、背景画像１４ａを記憶する。

カメラ１１は、人物検出の対象となる領域を上方から撮像するＣＣＤ（Charge Coupled Devices）カメラ等のカメラである。なお、本実施例では、魚眼カメラを用いて広視野角の領域を撮像することとしているが、視野角の大小についての制限はない。また、カメラを上方に設置するかわりに、側方に設置することとしてもよい。

ディスプレイ１２は、計数部１３ｅによる計数結果を文字やグラフの形で表示する表示デバイスである。なお、本実施例では、計数部１３ｅによる検出結果をディスプレイ１２に表示することとしたが、検出結果に係るデータを他の装置（たとえば、パーソナルコンピュータ等）へ送信することとしてもよい。

制御部１３は、カメラ１１で撮像された入力画像と記憶部１４に記憶された背景画像１４とを対比することで人物候補ブロックを算出するとともに、設定した定義枠内における人物候補ブロックを解析して各定義枠が人物あり枠か人物なし枠かを判定し、人物あり枠を計数することで人物計数を行う処理を行う処理部である。

画像入力部１３ａは、カメラ１１によって撮像された画像を受け取り、受け取った画像を入力画像として人物候補ブロック抽出部１３ｃへ渡す処理を行う処理部である。また、定義枠設定部１３ｂは、一人の人物に対応する大きさの定義枠を入力画像に対して設定する処理を行う処理部である。

たとえば、この定義枠設定部１３ｂは、人物計数の対象となる通路等を歩行する一人の人物の軌跡を取得し、床面を基準として所定距離（たとえば、６０ｃｍ〜７０ｃｍ）ごとに区切るとともに、人物の足元位置から人物の頭位置までが含まれる領域を定義枠として設定していく。なお、人物の身長等を考慮しつつ係員が手作業で定義枠を設定することとしてもよい。

人物候補ブロック抽出部１３ｃは、画像入力部１３ａから受け取った入力画像と、記憶部１４に記憶されている背景画像１４ａとを対比することで、人物候補となるブロック（たとえば、８画素×８画素の大きさのブロック）抽出する処理を行う処理部である。

この人物候補ブロック抽出部１３ｃは、各ブロックに含まれる各画素について、静止人物であっても微妙に体が動くことによって生じる輝度変化の推移であるピクセル特徴を微動として検出するとともに、撮像された物体のエッジを検出し、検出した微動およびエッジに基づいて入力画像から人物候補ブロックを抽出する処理を行う（詳しくは、上記した特願２００７−３１７０２１参照）。なお、この人物候補ブロック抽出部１３ｃは、抽出した人物候補ブロックを定義枠設定部１３ｂによって設定された定義枠とともに人物有無判定部１３ｄへ渡す処理を併せて行う。

ここで、人物候補ブロック抽出部１３ｃが行う人物候補ブロック抽出処理の概要について図３を用いて説明しておく。図３は、人物候補ブロック抽出処理の概要を示す図である。なお同図の３１は画像入力部１３ａから受け取った入力画像を、同図の３２は、同図の３１に示した入力画像に対して定義枠設定部１３ｂが設定した定義枠（１ａ、１ｂ、１ｃ、１ｄおよび１ｅ）および人物候補ブロック抽出部１３ｃが抽出した人物候補ブロック（Ａ、ＢおよびＣ）を、それぞれ示している。

同図に示すように、検出される人物候補ブロックは、たとえば、８画素×８画素の大きさをもつブロックである。人物候補ブロック抽出部１３ｃは、ピクセル特徴があると検知された画素が、たとえば、ブロック内に１つででもあれば、このブロックをピクセル特徴があるブロックとする。また、エッジ特徴があると検知された画素が、たとえば、ブロックに３つ以上あれば、このブロックをエッジ特徴がある画素単位とする。そして、人物候補ブロック抽出部１３ｃは、ピクセル特徴があり、かつ、エッジ特徴があると判定されたブロックを人物候補ブロックとして抽出する。

なお、同図の３１には、４人の人物が含まれているが、同図の３２では、重なりあって撮像された人物（同図の３１における右側の２人）は、一つの塊として検出される（同図の「Ｃ」参照）。後述する人物有無判定部１３ｄの重複定義枠判定部１３ｄｄは、このように重なりあって撮像された人物を、定義枠間で重複カウントしないように処理する（図８および図９参照）。

人物有無判定部１３ｄは、各定義枠が人物あり枠か人物なし枠かを判定する処理を行う処理部であり、人物候補ブロックが集結した塊の形状を判定する処理を行う集結形状判定部１３ｄａと、人物候補ブロックが各定義枠内の総面積に占める割合を判定する処理を行う占有率判定部１３ｄｂと、人物候補ブロックとして抽出されたブロックの時間経過に伴う安定性を判定する処理を行う安定状態判定部１３ｄｃと、重複した定義枠における人物有無判定を行う重複定義枠判定部１３ｄｄとを備えている。

集結形状判定部１３ｄａは、人物候補ブロックの集結形状に基づき、注目する定義枠内に人物が存在する可能性があるか否か、すなわち、集結形状条件を満たすか否かを判定する処理を行う処理部である。ここで、集結形状判定部１３ｄａが行う集結形状判定処理について図４および図５を用いて説明する。図４は、集結形状の例を示す図である。

図４に示したのは、集結形状判定部１３ｄａが、人物存在の可能性ありと判定する集結形状の例である。集結形状判定部１３ｄａは、３ブロック×３ブロックの塊として人物候補ブロックが抽出された同図の４９に加え、同図の４９に示した形状について外周の１画素が欠けた形状（同図の４１〜４８）が注目する定義枠に１つでも含まれた場合に、当該定義枠に人物が存在する可能性があると判定する。なお、同図では、３ブロック×３ブロックの塊を基準とする場合について示したが、画像内に含まれる人物の大きさなどに応じ、異なる大きさの塊を基準とすることとしてもよい。

図５は、集結形状判定処理の概要を示す図である。なお、同図には、図４で示した９つの集結形状（４１〜４９）が注目する定義枠内に含まれるか否かを判定する場合について示している。また、図５の（１）には集結形状判定部１３ｄａが人物存在の可能性ありと判定する定義枠５１を、図５の（２）には人物存在の可能性なしと判定する定義枠５２を、それぞれ示している。

同図の（１）に示すように定義枠５１内には、ＡおよびＣの二つの集結形状が含まれている。集結形状判定部１３ｄａは、ＡならびにＢが図４に示した集結形状（４１〜４９）を含むか否かを判定する。この場合、Ａに示した集結形状は、図４に示した集結形状（４１〜４９）のいずれも含まないが、Ｂに示した集結形状は、図４に示した４１の集結形状を含むので、集結形状判定部１３ｄａは、集結形状Ｂが含まれる定義枠５１内に人物が存在する可能性があると判定する。このように、集結形状判定部１３ｄａは、注目する定義枠内に図４に示した集結形状（４１〜４９）が一つでも含まれる場合に、注目する定義枠内に人物が存在する可能性があると判定する。

一方、同図の（２）に示すように定義枠５２内には、ＣおよびＤの二つの集結形状が含まれている。この場合も、集結形状判定部１３ｄａは、ＣならびにＤが図４に示した集結形状（４１〜４９）を含むか否かを判定するが、ＣおよびＤのいずれにも図４に示した集結形状（４１〜４９）は含まれないので、注目する定義枠内に人部が存在する可能性はないと判定する。このように、集結形状判定部１３ｄａは、注目する定義枠内に図４に示した集結形状（４１〜４９）が一つも含まれない場合に、注目する定義枠内に人物が存在する可能性はないと判定する。

次に、占有率判定部１３ｄｂについて説明する。占有率判定部１３ｄｂは、注目する定義枠内における人物候補ブロックが定義枠内の総面積に占める面積比に基づき、注目する定義枠内に人物が存在する可能性があるか否か、すなわち、占有率条件を満たすか否かを判定する処理を行う処理部である。ここで、占有率判定部１３ｄｂが行う占有率判定処理について図６を用いて説明する。図６は、占有率判定処理に用いる重み付け曲面の例を示す図である。

占有率判定部１３ｄｂは、図６の６２に示した重み付け曲面（２次曲面）を用い、人物候補ブロックが、図６に示した定義枠６１の中央部付近に存在する場合には大きな重み付けを、周辺部付近に存在する場合には小さな重み付けを行う。なお、図６の６２に示した重み付け曲面は、定義枠の中央部で最大となる２．０の値をとり、定義枠の四隅で最小となる０．６６の値をとる。たとえば、定義枠６１の中央部に存在する人物候補ブロックの場合にはブロックの面積を２．０倍する。

そして、占有率判定部１３ｄｂは、定義枠６１内の位置に応じて重み付けを行った人物候補ブロックの合計面積が定義枠の総面積に占める割合を算出し、算出した割合が所定の閾値（たとえば、２０％）以上である場合に、注目する定義枠６１内に人物が存在する可能性があると判定する。

このように、定義枠６１内における人物候補ブロックの位置に応じて重み付けを行うことで、中央部の人物候補ブロックの面積は大きめに、周辺部の人物候補ブロックの面積は小さめに評価されるので、定義枠６１外に存在する人物の体の一部（手など）が定義枠６１内に含まれる場合であっても、重複カウントを防止することができる。

次に、安定状態判定部１３ｄｃについて説明する。安定状態判定部１３ｄｃは、瞬間的に集結形状条件や占有率条件を満たすものの、計数対象とするべきではないものを継続時間の観点から除外する判定を行う処理部である。たとえば、この安定状態判定部１３ｄｃによって除外されるものとしては、定義枠を通過するだけの通過人物や、照明変化や外光変化に伴うノイズなどがある。

ここで、安定状態判定部１３ｄｃが行う安定状態判定処理の処理手順について図７を用いて説明しておく。図７は、安定状態判定処理の処理手順を示すフローチャートである。なお、同図に示す「仮判定結果」とは、集結形状判定部１３ｄａあるいは占有率判定部１３ｄｂによって行われた判定結果のことを指す。また、同図に示すＴ１としては、たとえば３秒が、Ｔ２としては、たとえば１秒がそれぞれ用いられる。

図７に示すように、安定状態判定部１３ｄｃは、仮判定結果が人物ありであるか否かを判定する（ステップＳ１０１）。つづいて、仮判定結果が人物あり（ＯＮ）である場合には（ステップＳ１０１，Ｙｅｓ）、ＯＮ状態がＴ１秒間継続しているか否かを判定する（ステップＳ１０２）。なお、ステップＳ１０１の判定条件を満たさない場合には（ステップＳ１０１，Ｎｏ）、そのまま処理を終了する。

そして、ＯＮ状態がＴ１秒間継続している場合には（ステップＳ１０２，Ｙｅｓ）、人物ありと判定するとともに、判定結果を保持する（ステップＳ１０３）。このように、仮判定結果が人物あり（ＯＮ）と判定される状態がＴ１秒継続してはじめて人物あり状態と判定する。このようにすることで、単に定義枠を通過するだけの人物やノイズを除外することができる。なお、ステップＳ１０２の判定条件を満たさない場合には（ステップＳ１０２，Ｎｏ）、そのまま処理を終了する。

つづいて、いったん人物ありと判定された後、ＯＦＦ（人物なし）と判定される状態がＴ２秒間継続したか否かを判定する（ステップＳ１０４）。そして、ＯＦＦ状態がＴ２秒間継続した場合には（ステップＳ１０４，Ｙｅｓ）、人物なしと判定するとともに、ステップＳ１０３で保持した人物ありの判定結果を解除し（ステップＳ１０５）、処理を終了する。なお、ステップＳ１０４の判定条件を満たさない場合には（ステップＳ１０４，Ｎｏ）、ステップＳ１０４の処理を繰り返す。

このように、人物がいる場合には長時間連続してＯＮになりやすいが、照明変動などによって短い時間だけＯＦＦになる場合がある。なお、Ｔ１を設けるのは、通過するだけの人物によって人物がいないにもかかわらずＯＮになる期間を除外するためである。また、Ｔ２を設けるのは、照明変動などによって人物がいるにもかかわらずＯＦＦになる期間を除外するためである。

次に、重複定義枠判定部１３ｄｄについて説明する。重複定義枠判定部１３ｄｄは、お互いの一部の領域が重なるように設定された定義枠について、撮像視点（カメラ位置）により近い直前の定義枠に人物があるか否かに応じ、注目する定義枠（現在の定義枠）における人物有無判定領域を変化させつつ、注目する定義枠に人物がいるか否かを判定する処理を行う処理部である。ここで、重複定義枠判定部１３ｄｄが行う重複定義枠判定処理について図８および図９を用いて説明しておく。

図８は、重複定義枠判定処理の概要を示す図である。なお、人物有無の判定は、撮像視点（カメラ位置）に近い定義枠から順に、同図に示した判定順序に示した順序で行われるものとする。また、同図に示した重複定義枠判定処理を行う重複定義枠判定部１３ｄｄは、請求項における人物有無判定領域決定手段に対応する。同図の「（１）直前定義枠に人物ありと判定された場合」に示したように、直前定義枠に人物ありと判定された場合には、直前定義枠との重複部分を注目定義枠から差し引いた領域を人物有無判定領域（同図の斜線部分参照）とする。このように、直前定義枠との重複領域を差し引くのは、直前定義枠に存在する人物が注目定義枠でも重複してカウントされることを防止するためである。

また、同図の「（２）直前定義枠に人物なしと判定された場合」に示したように、直前定義枠に人物なしと判定された場合には、今度は、直後定義枠との重複部分を注目定義枠から差し引いた領域を人物有無判定領域（同図の射線部参照）とする。このように、直後定義枠との重複領域を差し引くのは、直後定義枠に存在する人物が注目定義枠でも重複してカウントされることを防止するためである。なお、図８では、直前定義枠と注目定義枠とが重複し、注目定義枠と直後定義枠とが重複した場合（すなわち、直前定義枠が直後定義枠と重複しない場合）について示したが、直前定義枠が注目定義枠および直後定義枠と重複するように定義枠を設定することとしてもよい。

図９は、重複定義枠判定処理の処理手順を示すフローチャートである。同図に示すように、重複定義枠判定部１３ｄｄは、直前の定義枠に人物ありの場合には（ステップＳ２０１，Ｙｅｓ）、注目定義枠における人物有無判定領域を、注目定義枠から直前定義枠を差し引いたものとする（ステップＳ２０２）。一方、直前の定義枠に人物なしの場合には（ステップＳ２０１，Ｎｏ）、注目定義枠における人物有無判定領域を、注目定義枠から直後定義枠を差し引いたものとする（ステップＳ２０３）。

つづいて、重複定義枠判定部１３ｄｄは、ステップＳ２０２あるいはステップＳ２０３において決定された人物有無判定領域について注目定義枠の人物有無を判定し（ステップＳ２０４）、処理を終了する。なお、重複定義枠判定部１３ｄｄによる判定結果は、計数部１３ｅへ渡される。

次に、計数部１３ｅについて説明する。計数部１３ｅは、人物有無判定部１３ｄから各定義枠についての人物有無判定結果を受け取り、人物ありと判定された定義枠の数をカウントアップすることで人物の計数を行う処理部である。なお、この計数部１３ｅはすべての定義枠について人物有無判定が終了したならば計数結果をディスプレイ１２へ出力する。

記憶部１４は、ＨＤＤ（Hard Disk Drive）や、ＲＡＭ（Random Access Memory）等の記憶デバイスで構成される記憶部である。そして、この記憶部１４には、背景画像１４ａが記憶される。背景画像１４ａは、人物がいない状態で撮像された入力画像である。なお、行列用の通路が、図１に示したように移動可能なベルト付きポールで形成される場合には、通路の形状の変化に伴って背景画像１４ａを変更することとすればよい。

次に、図２に示した人物計数装置１０が実行する処理手順について図１０を用いて説明する。図１０は、人物計数装置１０が実行する処理手順を示すフローチャートである。なお、同図の処理手順は、撮像視点（カメラ位置）に近い定義枠から遠い定義枠へ向かう順序で行われるものとする。

同図に示すように、人物候補ブロック抽出部１３ｃが人物候補ブロック抽出処理を実行すると（ステップＳ３０２）、集結形状判定部１３ｄａが集結形状判定処理を実行する（ステップＳ３０２）。そして、集結形状条件を満たす場合には（ステップＳ３０３，Ｙｅｓ）、つづいて占有率判定部１３ｄｂが占有率判定処理を実行する（ステップＳ３０４）。なお、ステップＳ３０３の判定条件を満たさなかった場合には（ステップＳ３０３，Ｎｏ）、ステップＳ３１１へ進む。

そして、占有率条件を満たす場合には（ステップＳ３０５，Ｙｅｓ）、安定状態判定部１３ｄｃが安定状態判定処理を実行する（ステップＳ３０６）。そして、安定状態を満たすと判定された場合には（ステップＳ３０７，Ｙｅｓ）、重複定義枠判定部１３ｄｄが重複定義枠判定処理を実行する（ステップＳ３０８）。なお、ステップＳ３０５の判定条件を満たさなかった場合(ステップＳ３０５，Ｎｏ)およびステップＳ３０７の判定条件を満たさなかった場合（ステップＳ３０７，Ｎｏ）には、ステップＳ３１１へ進む。また、ステップＳ３０８の重複定義枠判定処理は、注目する定義枠が他の定義枠と重複している場合にのみ行われる。

つづいて、重複定義枠判定部１３ｄｄによって人物ありと判定された場合には（ステップＳ３０９，Ｙｅｓ）、計数部１３ｅは人数を一人カウントアップし（ステップＳ３１０）、すべての定義枠について判定処理が終了した場合には（ステップＳ３１１，Ｙｅｓ）、処理を終了する。一方、未だ判定していない定義枠が存在する場合には(ステップＳ３１１，Ｎｏ)、ステップＳ３０２以降の処理を繰り返す。なお、ステップＳ３０９の判定条件を満たさなかった場合には（ステップＳ３０９，Ｎｏ）、ステップＳ３１１へ進む。

なお、これまでは、図１に示したように、計数対象となる一列の待ち行列について定義枠を設定する場合について説明してきたが、計数対象となる待ち行列を二列以上とすることも可能である。図１１は、２列の定義枠を設定する場合の設定例を示す図である。同図に示したのは、同図に示す行列先頭位置から同図に示す行列末尾位置までを途中で折り返した通路で構成した場合である。

同図に示すように、１列目について図１と同様に定義枠１ａ〜１ｅを、２列目について定義枠１ｆ〜１ｊをそれぞれ設定する。ここで、各定義枠における人物有無判定処理は、カメラ位置（撮像視点）から近い方から遠い方へ向かって行われるので、１列目については、１ａ、１ｂ、１ｃ、１ｄ、１ｅの順序で、２列目については、１ｆ、１ｇ、１ｈ、１ｉ、１ｊの順序でそれぞれ実行されることになる。なお、同図には、２列の定義枠を示したが、３列以上の定義枠を設定し、人物計数を行うことももちろん可能である。

上述してきたように、本実施例では、定義枠設定部が、所定の撮像視点から撮像された計数対象領域画像内に一人の人物と対応する大きさの定義枠をお互いの重なりを許容しつつ設定し、重複定義枠判定部が、撮像視点に近い定義枠から順に人物の有無を判定し、直前の定義枠についての判定結果に基づいて現在の定義枠内の人物有無判定領域を決定し、計数部が、決定された人物有無判定領域を用いて人物ありと判定された定義枠の数を人物の数として計数することとしたので、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数することができる。

以上のように、本発明に係る人物計数装置および人物計数方法は、撮像視点からみて手前にいる人物によって体の一部が隠されている人物が存在する場合であっても高精度に人物を計数したい場合に適している。また、本発明を、レジ待ちや屋外アトラクション待ちにおける行列カウントや、空席表示、座席稼働率算出といった空席検出、商品陳列棚前や展示ブース前での来客滞在状況の分析に適用することもできる。

本発明に係る人物計数手法の概要を示す図である。 本実施例に係る人物計数装置の構成を示すブロック図である。 人物候補ブロック抽出処理の概要を示す図である。 集結形状の例を示す図である。 集結形状判定処理の概要を示す図である。 占有率判定処理に用いる重み付け曲面の例を示す図である。 安定状態判定処理の処理手順を示すフローチャートである。 重複定義枠判定処理の概要を示す図である。 重複定義枠判定処理の処理手順を示すフローチャートである。 人物計数装置が実行する処理手順を示すフローチャートである。 ２列の定義枠を設定する場合の設定例を示す図である。

符号の説明

１ａ、１ｂ、１ｃ、１ｄ、１ｅ 定義枠
１ｆ、１ｇ、１ｈ、１ｉ、１ｊ 定義枠
１０ 人物計数装置
１１ カメラ
１２ ディスプレイ
１３ 制御部
１３ａ 画像入力部
１３ｂ 定義枠設定部
１３ｃ 人物候補ブロック抽出部
１３ｄ 人物有無判定部
１３ｄａ 集結形状判定部
１３ｄｂ 占有率判定部
１３ｄｃ 安定状態判定部
１３ｄｄ 重複定義枠判定部
１３ｅ 計数部
１４ 記憶部
１４ａ 背景画像
３１ 入力画像
３２ 人物候補ブロック抽出画像

Claims (8)

1. 人物の数を計数する人物計数装置であって、
   所定の撮像視点から撮像された計数対象領域画像内に一人の人物と対応する大きさの定義枠をお互いの重なりを許容しつつ設定する定義枠設定手段と、
   前記撮像視点に近い前記定義枠から順に人物の有無を判定する人物有無判定手段と、
   前記人物有無判定手段によって人物ありと判定された前記定義枠の数を人物の数として計数する計数手段と
   を備え、
   前記人物有無判定手段は、
   直前の定義枠に人物があると判定された場合に、現在の定義枠から前記直前の定義枠を差し引いた領域を人物有無判定領域として決定する人物有無判定領域決定手段をさらに備えており、前記人物有無判定領域決定手段によって決定された前記人物有無判定領域を用いて人物の有無を判定することを特徴とする人物計数装置。
2. 前記人物有無判定領域決定手段は、
   前記人物有無判定手段によって前記直前の定義枠に人物がないと判定された場合に、前記現在の定義枠から直後の定義枠を差し引いた領域を前記人物有無判定領域として決定することを特徴とする請求項１に記載の人物計数装置。
3. 前記人物有無判定手段は、
   前記判定対象となる定義枠内における１または複数の画素からなるブロックの中で人物候補とされた人物候補ブロックが集結して形作る形状に基づいて人物の有無を判定することを特徴とする請求項１または２に記載の人物計数装置。
4. 前記人物有無判定手段は、
   前記判定対象となる定義枠内における１または複数の画素からなるブロックの中で人物候補とされた人物候補ブロックが当該定義枠内の総面積に占める面積比率に基づいて人物の有無を判定することを特徴とする請求項１〜３のいずれか一つに記載の人物計数装置。
5. 前記人物有無判定手段は、
   前記判定対象となる定義枠内における前記人物候補ブロックについて当該定義枠の中央部分に近い人物候補ブロックほど大きな重み付けを行ったうえで前記面積比率を求めることを特徴とする請求項４に記載の人物計数装置。
6. 前記人物有無判定手段は、
   前記定義枠について人物ありと判定した状態が第１の期間にわたって継続した場合に当該定義枠を人物あり枠と判定し、人物あり枠と判定した定義枠について人物なしと判定した状態が第２の期間にわたって継続した場合に当該定義枠を人物なし枠と判定することを特徴とする請求項１〜５のいずれか一つに記載の人物計数装置。
7. 前記定義枠設定手段は、
   前記計数対象領域画像内を移動する人物の軌跡に基づいて前記定義枠を前記計数対象領域画像内に設定することを特徴とする請求項１〜６に記載の人物計数装置。
8. 人物の数を計数する人物計数方法であって、
   所定の撮像視点から撮像された計数対象領域画像内に一人の人物と対応する大きさの定義枠をお互いの重なりを許容しつつ設定する定義枠設定工程と、
   前記撮像視点に近い前記定義枠から順に人物の有無を判定する人物有無判定工程と、
   前記人物有無判定工程によって人物ありと判定された前記定義枠の数を人物の数として計数する計数工程と
   を含み、
   前記人物有無判定工程は、
   直前の定義枠に人物があると判定された場合に、現在の定義枠から前記直前の定義枠を差し引いた領域を人物有無判定領域として決定する人物有無判定領域決定工程をさらに含んでおり、前記人物有無判定領域決定工程によって決定された前記人物有無判定領域を用いて人物の有無を判定することを特徴とする人物計数方法。

Images