JP5091908B2 - 物体数計測方法、物体数計測装置、物体数計測プログラム及びこのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、３６０度全ての方位を一度に撮影することのできる全方位画像を生成できる撮像装置によって取得された画像から、その画像に含まれる物体の数を計測する技術に関するものである。特に、魚眼カメラや全方位カメラに例示される撮像装置によって得られた全方位映像中の対象物単体の数を計測することを目的として、駅・バス停・その他の公共の場の人の混雑度や、道路・通路における人の流れを把握するための技術に関する。

セキュリティカメラを使って画像中の人数を計測する方法として非特許文献１が公知である。この方法では、既知のカメラパラメータを使って、各画素の人数への寄与率（荷重値）を事前に算出しておき、背景差分などの画像処理によって検出した前景領域の画素について、その対応する荷重値を積算することで人数を推定する。また、画像中の移動物体が通過、滞留、静止の判定を行い、移動する物体を計数する方法が特許文献１にて公知となっている。さらに、カメラ以外のアクティブ型センサ（赤外線、レーザなど）を使い、監視空間内の物体検出を人数計測に応用することも可能である。

非特許文献１の先行技術では、有限な画角のカメラを使って人数を推定する方法であるため、人数を測定する範囲には限界がある。特に、大人数になると、オクルージョンの影響が高まり、計測誤差が大きくなる。

また、特許文献１の移動物体計数処理方法は、移動物体を計測できる程度であり、奥行きを考慮していない計測であるため、同じ大きさでも奥行きの違いで人数計測の誤差が大きくなる場合がある。この方法でも撮影範囲に限界があることに加え、大規模な人数の係数には対応できないという問題がある。

非特許文献２では、魚眼カメラを使った場合、空間中の任意の点の画像上の座標からカメラの視点と空間中の３次元座標を同時に復元するアルゴリズムが公開されている。この方法はＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎの原理に基づいているため、画像中からシーンの時系列的変化を特徴点座標として抽出する必要がある。ただし、セキュリティカメラで得た画像には人物が映っている場合が多く、静止物体の特徴点座標を精度良く抽出することは期待できない。よって、非特許文献２で公開されている方法を直接に人数へ応用することはできない。また、公共の場所では、赤外線センサやレーザ計測などと併用するようなセキュリティカメラはまだ十分に普及しておらず、市販カメラを使ったシンプルな人数計測手段が一般的である。

新井啓之，宮川勲，小池秀樹，長谷山美紀，「幾何モデルに基づく映像からの人数推定」，映像情報メディア学会技術報告（ＩＳＴ２００８−２６，ＭＥ２００８−８４），Ｖｏｌ．３２，Ｎｏ．２６，ｐｐ．３３−３６，２００８． 宮川勲，石川裕治，若林佳織，荒川賢一，「車両運動投影モデルに基づく全方位画像系列からの市街地空間の３次元構造復元」，情報処理学会論文誌，Ｖｏｌ．４５，Ｎｏ．ＳＩＧ１３（ＣＶＩＭ１０），ｐｐ．３４−５３，２００４．

特許第３１９０８３３号公報

本発明は、以上の事情に鑑み、その目的は全方位画像を取得できる撮像装置を用いて広視野の撮影範囲内の物体数を直接計測できる物体数計測方法、物体数計測装置、物体数計測プログラム及びこのプログラムを記録した記録媒体の提供にある。

前記課題を解決するための本発明は以下の基本原理に基づくものである。

図１５、図１６は全方位カメラ（説明の都合上、魚眼レンズを装着したカメラを仮定する）と対象物の配置を示す。カメラ視点、すなわち、世界座標系の原点をＯとし、Ｘ軸は水平方向、Ｙ軸は紙面の表から裏の方向、Ｚ軸は鉛直真下の方向をそれぞれ向いて取り付けられている。このような座標系を設定しても一般性を失わない。以下では、魚眼カメラについて記述するが、反射ミラーを使った全方位カメラにも容易に拡張することができる（後で詳細を説明する）。図１５は真横（ＺＸ面）から見た図であり、図１６はカメラの真上から見た鳥瞰図である。ここでは、図の黒領域で示すような対象物（人）を撮影したとき、固体数（人数）を計測する場合について説明する。

図１５及び図１６のカメラと対象物の関係から幾何的関係を導出するため、魚眼レンズ、そのレンズを通して観測する画像、並びに、空間中の点の関係を図１７に示す。非特許文献２によれば、図１７のユークリッド空間において、空間中の任意の点Ｐ_j＝（Ｘ_j，Ｙ_j，Ｚ_j）とすると、点Ｐ_jの各座標値（Ｘ_j，Ｙ_j，Ｚ_j）は、以下の式（１）〜（３）で表される（図１５、図１６の状況では、光軸まわりの回転を考慮する必要がないので、上式には含めていない）。

ここで、ベクトル（Ｐ_j−Ｔ）がＸＹ平面と成す角（俯瞰角）をφ_j、ベクトル（Ｐ_j−Ｔ_i）がＸＹ平面上でＸ軸と成す角（位相角）をρ_jとし、λ_j＝‖Ｐ_j−Ｔ‖とする。尚、Ｔは図１７に示されたＯ（原点）に相当する。

図１７の魚眼投影において、物体上の点Ｐ_jは画像座標系の点ｐ_jに投影されるとする。図１８に投影中心を（Ｃ_x，Ｃ_y）とした画像面での画像座標系を示す。ここで、魚眼レンズが等距離投影で設計されている場合（他に、立体投影、等立体投影で設計された魚眼レンズもあり、同様の議論が可能である）、投影中心（Ｃ_x，Ｃ_y）から点ｐ_jまでの画素上の距離Ｒｊ（式（４））と俯瞰角φ_jとの関係は式（５）（６）で示される。

ただし、Ｒは図１８でのイメージサークルの半径であり、ｆは焦点距離である。この関係式から、俯瞰角φ_jは、式（７）と表すことができる。

また、画像面とＸＹ平面は平行なので、図１７のＰ_jは図１８の画像座標系でのｐ_jになる。したがって、図１８の画像座標系では、位相角ρ_jは式（８）で示される。

したがって、図１７に示した俯瞰角φ_ijと位相角ρ_ijは、画像上で観測した画像座標値ｐ_j＝（ｘ_j，ｙ_j）から、式（７），（８）により求めることができる。

式（１）〜（３）を整理すると、以下の式（９），（１０）が得られる。

ただし、上式は、以下の式（１１），（１２）と置換しており、本明細書ではｕｖ座標値（ｕ_j，ｖ_j）と定義する。

魚眼カメラで得た画像において、通常の画像座標ｘｙを直接用いないで、変換したｕｖ座標を使う利点は非特許文献２でも公開されている。

以上の説明は魚眼カメラの等距離投影を前提とするものであるが、放物曲線の形状で設計された反射鏡を使って外界の周囲を一度に撮影可能な全方位カメラでは、下記の式（１３）で示した算出式を使うことができる（ｈは放物曲線のパラメータ）。

また、双曲線鏡が反射鏡に応用されている全方位カメラでは、下記の式（１４），（１５）のの算出式を使うことができる（ｂ，ｃは双曲線のパラメータ、ｆは焦点距離である）。

よって、上記でφ_jを算出する式をそれぞれの魚眼カメラあるいは全方位カメラの光学系に応じて変更するだけで、本発明を容易に応用することができる。

続いて、本発明において、式（９），（１０）で記述した３次元座標とｕｖ座標との関係を利用し、非特許文献１などで公開されている人数計測アルゴリズムにより全方位画像中の人数を計測する原理を説明する。

非特許文献１では、各画素のサブ画素４近傍の座標から空間中の視体積を算出し、この視体積に基づいて各画素の荷重値が計算される。ところが、魚眼カメラでの画像では外界の直線が曲線として投影されるため、各画素のサブ画素は単純なサブ画素４近傍の正方格子として扱うことができない。

そこで、本発明では、注目画素の画像座標とその画素のサブ画素４近傍の画像座標を、式（１１），（１２）を使ってｕｖ座標系へ変換し、そのｕｖ座標系での注目画素のｕｖ座標と、その画素のサブ画素４近傍のｕｖ座標を使って、式（９），（１０）で示した関係を使って視体積を算出する。視体積が得られれば、非特許文献１で公開されている荷重値算出により、注目画素の荷重値を計算する。これを全ての画素に対して算出しておけば、全方位画像において検出した前景画素の荷重値を積算することで、全方位画像で観測した対象物の個数を計測することができる。

ところが、広視野のカメラを使う場合、計測上考慮しなければならない問題がある。図３に示された全方位カメラで撮影した画像の例において、画像中心付近の不安定領域Ａとイメージサークル付近の不安定領域Ｂの部分に注目する。不安定領域Ａでは光軸に近づくにつれて視点Ｏからの距離Ｚ_jは無限大に近づく。つまり、画素上での僅かな誤差が空間中の大きな誤差につながる恐れがある。一方、不安定領域Ｂではイメージサークルに近づくにつれ、式（７）で計算される俯瞰角φが０に近づくことになる。俯瞰角φが０に近づくことは、ｕｖ座標を計算する式（１１），（１２）において、φが０になるとｃｏｔ（φ）の値が無限大になる。つまり、不安定領域Ｂでは画素上での僅かな誤差が大きなｕｖ座標の誤差につながる恐れがある。一方、視点を変えて、この不安定領域の荷重値を調べてみると、不安定領域Ａでは光軸中心、すなわち、画像中心に近づくにつれて荷重値が急激に大きくなり、不安定領域Ｂでもイメージサークルに近づくにつれて急激に大きくなる。

本発明の人数計測では、荷重値は画像から検出された前景画素について、その該当する荷重値を積算することで人数値を得るため、たとえ数画素としてもこのような極端に大きな荷重値を積算すれば、人数計測の誤差に影響を与えることは容易に想像がつく。そこで、カメラパラメータから各画素に対応する荷重値を算出する際に、不安定領域Ａまたは不安定領域Ｂかどうかを事前に判定し、それらの領域でない画素についてのみ荷重値を算出する。不安定領域Ａまたは不安定領域Ｂの画素の荷重値を０としておけば、例えば、前景画素として検出されても荷重値０を加えることになり、自ずとフィルタリングを行うことができる。

以上の基本原理に基づく本発明に係る物体数計測方法の態様としては、全方位画像に基づき当該画像に含まれる物体の数を計測する物体数計測方法であって、物体抽出処理手段が全方位画像から物体を含んだ画像領域を抽出するステップと、有効領域判定手段が前記抽出された画像領域に含まれる物体の数の計測に有効な画像領域を撮像装置の視野特性に基づき判定するステップと、荷重値テーブル生成手段が、前記判定された有効な画像領域を構成する各画素に投影される視体積のうち前記物体の体積に寄与する体積を算出し、この体積に基づき前記各画素が物体の数にどれだけ寄与するかを示す荷重値を算出し、この算出した各画素の荷重値を格納させた荷重値テーブルを生成するステップと、計測手段が前記抽出された画像領域における各画素が前記判定によって有効領域と判定された場合のみ、前記荷重値テーブルに格納された当該各画素の荷重値を積算することにより前記物体の数を計測するステップとを有する。

また、本発明に係る物体数計測装置の態様としては、全方位画像に基づき当該画像に含まれる物体の数を計測する物体数計測装置であって、全方位画像から物体を含んだ画像領域を抽出する物体抽出処理手段と、前記抽出された画像領域に含まれる物体の数の計測に有効な画像領域を撮像装置の視野特性に基づき判定する有効領域判定手段と、前記判定された有効な画像領域を構成する各画素に投影される視体積のうち前記物体の体積に寄与する体積を算出し、この体積に基づき前記各画素が物体の数にどれだけ寄与するかを示す荷重値を算出し、この算出した各画素の荷重値を格納させた荷重値テーブルを生成する荷重値テーブル生成手段と、前記抽出された画像領域における各画素が前記判定によって有効領域と判定された場合のみ、前記荷重値テーブルに格納された当該各画素の荷重値を積算することにより前記物体の数を計測する計測手段とを備える。

本発明は前記物体数計測装置を構成する各手段としてコンピュータを機能させる物体数計測プログラムまたはこれを記録したコンピュータ読み取り可能な記録媒体の態様とすることもできる。

以上の発明によれば広視野の撮影範囲内の物体数を直接計測できる。

実施形態１に係る物体数計測装置（画像蓄積部を備えた場合）の概略構成図。 実施形態１に係る物体数計測装置（画像蓄積部を備えていない場合）の概略構成図。 全方位画像における不安定領域の一例。 実施形態１に係る計測処理の過程を説明したフローチャート。 荷重値算出の処理過程を説明したフローチャート。 （ａ）有効領域判定の過程を説明したフローチャート（中心からの距離Ｒ_jを使う場合），（ｂ）有効領域判定の過程を説明したフローチャート（俯瞰角φ_jを使う場合）。 ｕｖ座標変換のフローチャート。 前景画素抽出の一例。 カメラが傾いて取り付けられている例の説明図。 実施形態２に係るｕｖ座標補正の過程を説明したフローチャート。 実施形態３に係る物体数計測装置（画像蓄積部を備えた場合）の概略構成図。 実施形態３に係るカメラ情報獲得部による回転角（ψ，ω）算出の過程を説明したフローチャート。 実施形態３で使用される参照物体の一例を示した外観図、断面図、鳥瞰図。 実施形態３での参照物体とカメラの配置関係の説明図。 全方位カメラと撮影対象の一例の説明図。 全方位カメラと撮影対象の一例を示した鳥瞰図。 魚眼カメラの射影光学系の一例の説明図。 イメージサークルと投影点の関係の説明図。

以下に本発明の実施形態について図面を参照しながら計測する対象物を「人」として説明する。以下の実施形態は計測する対象物体が「人」なっているが、本発明はこの実施形態によって限定されるものではなく、計測の対象物体が人以外の物体でもよい。

（実施形態１）
本実施形態に係る物体数計測装置１は図１に示されたように画像蓄積部３と対象物抽出処理部４と有効領域判定部５とカメラ情報入力部６と荷重値テーブル生成部７と人数計測部８と計測値出力部９とを備える。

画像蓄積部３はカメラ２による全方位の撮影によって取得された全方位画像を格納する。画像蓄積部３はハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。

カメラ２は図１５に例示されるように天井面に固定されており、その光軸は床面または地面に垂直に向けられている（カメラキャリブレーションが行われている）。このように取り付けられたカメラ２は、図１７に例示されたような光学系からなる。本実施形態の説明では、魚眼レンズを装着したカメラを用いているが、放物曲線の形状で設計された反射鏡を使った全方位カメラでも構わない。魚眼カメラの場合は、画像上の座標（ｘ_j，ｙ_j）を式（１１），（１２）に従って（ｕ_j，ｖ_j）座標に変換する、全方位カメラを使う場合でも、反射鏡の形状に応じて式（１３）または式（１４），（１５）と式（１１），（１２）を使って（ｕ_j，ｖ_j）座標に変換すれば以降の処理によって同様の人数計測ができる。

対象物抽出処理部４は画像蓄積部３から引き出した全方位画像から移動物体（人）を含んだ画像領域を抽出する。本実施形態では対象物抽出処理部４は画像蓄積部３から逐次引き出した全方位画像から移動物体領域または前景と判定された移動物体を含んだ画像領域を抽出する。

有効領域判定部５は前記抽出された画像領域に含まれる移動物体の数の計測に有効な画像領域をカメラ２の視野特性（図３）に基づき判定する。本実施形態では具体的には有効領域判定部５は後述の図６（ａ）のＳ６０１〜Ｓ６０３または図６（ｂ）のＳ６０１〜Ｓ６１２のステップに準じて前記抽出された画像領域が人数計測に有効かどうかの判定を行う。

カメラ情報入力部６はカメラ２の内部特性（焦点距離ｆなどの内部パラメータ）並びに外部特性（姿勢情報や位置情報などの外部パラメータ）を荷重値テーブル生成部７に供する。

荷重値テーブル生成部７は、有効領域判定部５で判定された有効な画像領域を構成する各画素に投影される視体積のうち前記物体の体積に寄与する体積を算出し、この体積に基づき前記各画素が物体の数にどれだけ寄与するかを数量的に示す荷重値を算出する。そして、この算出した各画素の荷重値を格納させた荷重値テーブルを生成する。尚、荷重値テーブル作成部７は、前記有効な画像領域を構成する各画素の荷重値を算出する際、カメラ情報入力部６から供されたカメラ２の内部特性（焦点距離ｆなどの内部パラメータ）並びに外部特性（姿勢情報と位置情報などの外部パラメータ）、及び予め設定されたパラメータ（人の平均表面積Ｓ、人の平均身長ｈ）を考慮する。

人数計測部８は、対象物抽出処理部４で抽出された画像領域における各画素が有効領域判定部５で有効領域と判定された場合のみ、荷重値テーブル生成部７で作成された荷重値テーブルに格納された当該各画素の荷重値を積算することで前記物体の数を計測する。本実施形態では、人数計測部８は、有効領域判定部５によって有効領域と判定された画像領域の画素と、荷重値テーブル作成部７にて作成された荷重値テーブルの荷重値とに基づき、前記画像領域中の人数を計測する。このとき、荷重値計算の効率化のため、有効領域判定部５において有効領域でない画素に該当する荷重値の計算は行わない。荷重値の計算は人数計測の前処理として行えばよく、各画像に共通して利用することができる。荷重値テーブルが構築されていれば、各画像において対象物抽出処理部４により抽出された前景の画素の荷重値を積算することで、その画像中の人数を計測する。そして、各画像について同様の処理が繰り返し実行され、逐次、各画像から推定された人数が計測値出力部９から出力される。

物体数計測装置１に係る機能部３〜９はコンピュータのハードウェアとプログラムの協働によって実現できる（後述の図２に示された物体数計測装置１０の機能部１１、図１１に示された物体数計測装置２０の機能部２１も同様）。機能部３はコンピュータの内部メモリやハードディスク装置等の外部メモリによって実現できる。また、機能部４〜９，１１，２１から供された画像データや計測データは適宜に表示装置（ディスプレイ等）によって表示される。尚、カメラ２と機能部３は既知の有線または無線のネットワークを介して送受信可能に接続すればよい。

また、物体数計測装置１は機能部３〜９，１１，２１としてコンピュータを機能させるプログラムの態様とすることもできる。そして、このプログラムは既知の記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＭＯ、ＨＤＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）等）格納してまたはネットワークを通じて提供できる。

図４に示されたフローチャートを参照しながら物体数計測装置１に係る計測処理の過程（Ｓ１〜Ｓ９）について説明する。

先ず、本実施形態で利用される射影幾何について説明する。図１７に示すように、カメラ（魚眼カメラ）２の視点を原点Ｏとし、この原点から観測される空間中の任意の３次元座標Ｐ_j＝（Ｘ_j，Ｙ_j，Ｚ_j）は式（１）〜（３）に従うとする。この３次元座標はカメラ２によって画像上の座標ｐ_j＝（ｘ_j，ｙ_j）の点として観測される。その座標ｐ_j＝（ｘ_j，ｙ_j）から、式（７），（８）により俯瞰角φ_jと方位角ρ_jを計算し、式（１１），（１２）の座標変換により得た座標（ｕ_j，ｖ_j）は、式（９），（１０）により３次元座標Ｐ_jと対応付けられる。以降の処理は、上記の射影幾何を前提としたものである。

Ｓ１：カメラ情報入力部６はカメラ２に関する内部パラメータ（焦点距離ｆ）と外部パラメータ（姿勢情報として光軸の回転角ψ，ω、位置情報としてカメラ２の視点から床面または地面までの高さＴｚ）を荷重値テーブル作成部７に供する。

Ｓ２：荷重値テーブル作成部７は前記内部パラメータ及び前記外部パラメータ並びに予め設定されたパラメータ（人の平均身長ｈ，人の平均表面積Ｓ）を利用して図５に示した処理フロー（Ｓ５０１〜Ｓ５１４）に従って荷重値を算出し、これを荷重値テーブルに書き込む。

画像上の座標を処理するにあたり、図１８に示すように、画像中心を（Ｃ_x，Ｃ_y）としており、左下隅を原点として水平方向にｘ軸、垂直方向にｙ軸が定義されている。画像座標（ｘ_j，ｙ_j）はこのｘｙ座標系での座標とする。この座標系上の各画素ｐ_jの座標値（ｘ_j，ｙ_j）が順番に処理される。図５のＳ５０１で各画素ｐ_jの座標値（ｘ_j，ｙ_j）が与えられると、Ｓ５０２で有効領域判定部５によって予め領域判定が実行される。

この領域判定は具体的には図６（ａ）または図６（ｂ）に示された処理フロー（Ｓ６０１〜Ｓ６０３またはＳ６０１〜Ｓ６１２）に従って実行される。

図６（ａ）の処理フローでは、まず、入力された座標値（ｘ_j，ｙ_j）から（Ｓ６０１）、式（４）により画像中心からの距離Ｒ_jを計算する（Ｓ６０２）。この距離Ｒ_jが下記の式（１６）を満たすとき（Ｓ６０３）、有効範囲にあると判定する（図６（ａ））。

式（１６）のＲ₀は図３において画像中心から灰色部分までを示した不安定領域Ａまでの円領域の半径に相当し、Ｒ₁は同図においてドーナツ型の不安定領域Ｂで示した画像中心から内円までの距離に相当する。この判定により画像中心付近の画素と視野境界付近の画素を処理対象から除外できる。

一方、図６（ｂ）のフローチャートでは、式（７）により俯瞰角φ_jを計算し（Ｓ６１１）、その俯瞰角φ_jが下記の式（１７）を満たすとき（Ｓ６１２）、有効範囲にあると判定してもよい。

図６に示されたどちらの判定フロー（Ｓ６０１〜Ｓ６０３またはＳ６０１〜Ｓ６１２）を利用しても後の処理（図５のＳ５０３，Ｓ５０５以降のステップ）には影響を及ぼさない。図６（ａ）では、閾値を画像中心からの画像上での距離Ｒ₀，Ｒ₁で設定するのに対して、図６（ｂ）では式（７）の計算が加わるが、ユーザによっては角度という直感的な閾値で角度φ₀，φ₁を設定できる。

図５のＳ５０２で有効範囲と判定されれば、ｐ_j＝（ｘ_j，ｙ_j）と、その点を中心とした４近傍のサブ画像座標：ｐ_j ⁽¹⁾＝（ｘ_j−１／２，ｙ_j−１／２），ｐ_j ⁽²⁾＝（ｘ_j＋１／２，ｙ_j−１／２），ｐ_j ⁽³⁾＝（ｘ_j＋１／２，ｙ_j＋１／２），ｐ_j ⁽⁴⁾＝（ｘ_j−１／２，ｙ_j＋１／２）が設定される（Ｓ５０５）。

次いで、Ｓ５０３，Ｓ５０６では、中心座標とその４近傍の画像座標が図７に示された処理フロー（Ｓ７０１〜Ｓ７０５）に従ってそれぞれ順番にｕｖ座標に変換される。一例として、ｐ_j ⁽¹⁾の座標のｕｖ座標変換は、先ず、図７のＳ７０１で入力されたｐ_j ⁽¹⁾の画像座標（ｘ_j−１／２，ｙ_j−１／２）から、距離Ｒ_jを下記の式（１８）により計算する（Ｓ７０２）。

次に、式（７）においてｘ_j←ｘ_j−１／２、ｙ_j←ｙ_j−１／２と代入してφ_jを算出すると共に（Ｓ７０３）、式（８）においてｘ_j←ｘ_j−１／２、ｙ_j←ｙ_j−１／２と代入してρ_jを算出する（Ｓ７０４）。Ｒはイメージサークルの値であり、（Ｃｘ，Ｃｙ）は図１８での画像中心の座標であり、定数値として事前にセットされている。続いて、式（１１），（１２）により（ｕ_j，ｖ_j）座標が得られる（Ｓ７０５）。この計算を順番に行い、中心座標ｐ_jとその４近傍のサブ画素ｐ_j ⁽ⁿ⁾，ｎ＝１，２，３，４に関するｕｖ座標：（ｕ_j，ｖ_j），（ｕ_j ⁽ⁿ⁾，ｖ_j ⁽ⁿ⁾），ｎ＝１，２，３，４が得られる。

次いで、図５のＳ５０４，Ｓ５０７ａでは、式（９），（１０）を使って３次元座標を得る。すなわち、ｕｖ座標：（ｕ_j，ｖ_j），（ｕ_j ⁽ⁿ⁾，ｖ_j ⁽ⁿ⁾），ｎ＝１，２，３，４に視点からの高さＺ＝Ｔｚ−ｈ（ｈ：人の平均身長）を乗じて、下記の式（１９），（２０），（２１），（２２）の計算により、それぞれの３次元座標Ａ_j＝（Ｘ_j，Ｙ_j，Ｔｚ−ｈ），Ａ_j ⁽ⁿ⁾＝（Ｘ_j ⁽ⁿ⁾，Ｙ_j ⁽ⁿ⁾，Ｔｚ−ｈ）を得る。

Ｓ５０８ａでは、Ａ_j ⁽ⁿ⁾，ｎ＝１，２，３，４のうち、視点位置から最も近い点を探した結果、点Ａ_j ⁽¹⁾が該当したとし、その３次元座標をＡ_j ⁽¹⁾＝（Ｘ_j ^(s)，Ｙ_j ^(s)，Ｔｚ−ｈ）とする。一方、床面または地面、すなわち、視点からの高さＺ＝Ｔｚにおけるその４点の位置は、下記の式（２３），（２４）により算出され、それぞれＢ_j ⁽ⁿ⁾，ｎ＝１，２，３，４とする（Ｓ５０７ｂ）。

Ｓ５０８ｂでは、４近傍Ｂ_j ⁽ⁿ⁾，ｎ＝１，２，３，４のうち、視点位置から最も遠い点を探した結果、点Ｂ_j ⁽²⁾が該当したとし、その３次元座標をＢ_j ⁽²⁾＝（Ｘ_j ^(e)，Ｙ_j ^(e)，Ｔｚ）とする。次いで、Ｓ５０９で、床面または地面上においてＢ_j ⁽ⁿ⁾，ｎ＝１，２，３，４が形成する四角形の面積Ｓｂが算出される。Ｓ５１０では、体積Ｖが下記の式（２５）によって算出される（体積Ｖは床面または地面で形成するＢ_j ⁽ⁿ⁾，ｎ＝１，２，３，４と視点からの距離Ｚ＝Ｔｚ−ｈのＸＹ平面上のＡ_j ⁽ⁿ⁾，ｎ＝１，２，３，４による四角形で囲まれた四角柱の体積である）。

Ｓ５１２での荷重値ｗ（ｘ，ｙ）（非特許文献１にて公開）の算出は下記の式（２６）によって実行される。

式（２６）において、Ｓは人の平均表面積として設定する値であり、Ｌは線分Ａ_j ⁽¹⁾Ｂ_j ⁽²⁾の長さを視線方向（ベクトルａ）に射影した有効長であり、Ｓ５０４，Ｓ５１１での下記の式（２７），（２８），（２９）の演算により算出されたものである。

Ｓ５１２で算出された荷重値ｗ（ｘ，ｙ）は、Ｓ５１３で、画像座標（ｘ_j，ｙ_j）の荷重値として、逐次、荷重値テーブルに書き込まれる。Ｓ５１４では次の画像座標がセットされて、最初の処理ステップ（Ｓ５０１）に戻る。この処理を全ての画像座標に対して行い、荷重値テーブルが生成される。なお、座標が有効範囲でないときは、荷重値算出を求めないので、テーブルには値０が書き込まれる。

Ｓ３：対象物抽出処理部４は、画像蓄積部３に格納された画像を取り出す。前記画像はカメラ２による全方位の撮影によって取得されたものである。

Ｓ４：対象物抽出処理部４は、Ｓ３で取得した画像から背景モデルを構築する。

背景モデルは複数枚の時系列画像の平均値をとることで簡単に得られる。すなわち、静的なシーン以外は移動物体と考えて、時間平均を各画素に対して処理することで、移動する物体を画像中からキャンセルする（画像観測で混入するランダム雑音を除去する目的にでも使用する）。この背景モデル構築は定期的に実施する。屋外での撮影は朝と昼と夕方では照明が変化するため、静的シーンの濃淡にも変化が発生する。そこで、このような照明変化の効果を除去するため、背景モデルは対象物抽出処理部４によって定期的に更新される。

Ｓ５：対象物抽出処理部４はＳ３で画像蓄積部３から取得した複数の時系列画像のうち抽出処理の対象画像が有るか否かを判断する。対象画像が有る場合、Ｓ６を実行する。対象画像がない場合は処理を終了させる。

Ｓ６：対象物抽出処理部４は、Ｓ４で背景モデルを構築すると、画像蓄積部３から時系列画像を逐次取り出し、前記背景モデルを使った背景差分処理により、移動する物体領域または前景画素領域を抽出する。

Ｓ７：有効領域判定部５は、Ｓ６で抽出された領域が図３の不安定領域Ａまたは不安定領域Ｂに属するかどうかを判定する。

特に、不安定領域Ｂは外界が視野の限界に近い状況で撮影されているため、画素としての品質は保証されておらず、背景差分によって得る画素は前景画素としての信頼性は低い。このため、無駄な処理を省くため、不安定領域Ａまたは不安定領域Ｂに属する画素領域は、背景差分の処理対象から外すことがこの判定処理の目的である。例えば、背景モデルを構築するとき、不安定領域Ａまたは不安定領域Ｂの画素領域を背景モデルとして常に背景として判定するように背景モデルを構築する。この背景モデルに対する前景画素を背景差分処理により得る。図８はその例であり、不安定領域Ａと不安定領域Ｂの境界を白枠として示した（実際の処理では、そのような円を描くわけではない）。逆に、不安定領域Ａまたは不安定領域Ｂの画素を常に前景画素として処理したとしても、荷重値テーブル生成部７において、その領域の荷重値は零に設定されているので、後の人数計測には何ら影響を与えない。以上の処理により、対象物領域を形成する各画素ｐ（ｘ，ｙ）＝（ｘ_j，ｙ_j），ｊ＝１，２，…，Ｐ（抽出した領域の総画素数がＰ個）を得る。

Ｓ８：人数計測部８は、Ｓ７得た画素ｐに対して、下記の式（３０）による演算によって画素ｐの荷重値ｗ（ｘ，ｙ）を積算してカメラ２観測下の対象物の数（人数）Ｎを計測する。

Ｓ９：計測値出力部９はＳ８の加算処理により算出した値を混雑度として出力する。

本発明に係る物体数計測装置は必ずしも画像蓄積部３などの記憶装置を必要としない。図２に例示された物体数計測装置１０はリアルタイムで処理する場合の態様となっている。物体数計測装置１０は画像蓄積部３の代わりに背景情報構築部１１を備えていること以外は物体数計測装置１と同じ構成となっている。背景情報構築部１１はカメラ２と画像データの送受信が可能となるように既知の有線または無線のネットワークを介して接続される。

物体数計測装置１０では、背景情報構築部１１が上述のＳ４を実行する。これにより、カメラ２から取得した全方向の時系列画像から直接背景モデルが構築される。背景情報構築部１１で構築された背景モデルは上述のＳ６に供される。

以上のように本実施形態に係る物体数計測装置１，１０によれば、時系列画像（全方位画像）において、移動する対象物体の画像領域または背景モデルに対する前記対象物体を含んだ前景領域を検出し、どれだけの対象物体が存在しているかを示す混雑度を計測することができる。

（実施形態２）
実施形態１に係る物体数計測装置１，１０は、カメラ２の光軸が床面または地面に対して垂直の姿勢であることを前提に荷重値ｗ（ｘ，ｙ）を計算しているが、実施形態２に係る物体数計測装置は、実施形態１と同じ構成要素を有しているが、荷重値テーブル作成部７が荷重値テーブルの生成においてカメラ２の姿勢情報を考慮した荷重値算出を行う点で、実施形態１とは異なる。

すなわち、本実施形態に係る荷重値テーブル生成部７は、図１０のフローチャートのようにカメラ２の姿勢情報であるカメラ２の光軸の傾きに基づき前記有効な画像領域を構成する各画素を補正し、この補正した各画素を前記荷重値の算出に供している。

実環境では、図９に例示するように、厳密には、床面または地面に対してカメラ２の光軸を垂直の姿勢で取り付けることは稀であり、多少傾いて取り付けられている。カメラ２の傾きは、光軸の方向と視点から垂直に下ろした垂線の足の位置が異なるかどうかでその傾きの有無が分かる。

図９に示されたカメラ配置において、顕著にカメラ２を傾けて取り付けることはなく、理想的に垂直方向から微小に傾いていると仮定する。その傾きをＸ軸、Ｙ軸周りに回転角ψ，ωでモデル化できるとする。回転角ψ，ωはカメラキャリブレーション等によって事前に既知であるとする。得られた回転角は微小とし、ｃｏｓ（ψ）≒１，ｓｉｎ（ψ）≒ψ，ｃｏｓ（ω）≒１，ｓｉｎ（ω）≒ωが成り立つとする。このような条件でカメラ２の光軸が傾いていると、そのカメラ２で得た画像での画像座標（ｘ_j，ｙ_j）のｕｖ座標は、下記の式（３１）,（３２）で関係付けることができる（非特許文献２にて公開されている）。

ただし、ε_jは、便宜上、下記の式（３３）によって置換される。

ここで、式（９），（１０）と式（３１），（３２）を見比べると、（ｕ_j，ｖ_j）から式（３１）によって変換された新たな座標（ｕ’_j，ｖ’_j）をｕｖ座標と見なせば、式（９），（１０）と同様な形式であることが分かる。言い換えば、（ｕ_j，ｖ_j）を、傾き角ψ，ωと、式（３３）に示した係数ε_jを使って、式（３１）に基づいて（ｕ’_j，ｖ’_j）に補正すれば、実施例１と同様の処理により荷重値を算出することができる。ところが、式（３１），（３２）は、予め（Ｘ_j／Ｚ_j，Ｙ_j／Ｚ_j）が分からないと、係数ε_jを計算することはできない。

本実施形態に係る物体数計測装置では、荷重値テーブル作成部７が、係数ε_jを反復的に算出し、式（３１），（３２）の関係を使って荷重値を算出する。すなわち、荷重値テーブル作成部７は、荷重値を算出するステップにおいて、ｕｖ座標を計算するにあたり、図１０で示した処理過程（Ｓ９０１〜Ｓ９０７）でｕｖ座標を補正する。そして、この補正したｕｖ座標に基づき荷重値の算出を行う。これ以外の処理フローは実施形態１と同様の処理となる。よって、本実施形態では新たなｕｖ座標を得るための座標補正の手順についてのみ説明する。

図１０に示された本実施形態におけるｕｖ座標補正のステップの前段階として、画像座標（ｘ_j，ｙ_j）から図７に示されたｕｖ座標変換のステップ（Ｓ７０１〜Ｓ７０５）を介して初期値のｕｖ座標が算出される。この算出された初期値は荷重値テーブル作成部７によって実行される以下の本実施形態に係る補正のステップ（Ｓ９０１〜Ｓ９０７）に供される。

Ｓ９０１：ｕｖ座標の入力では、前記初期値のｕｖ座標（ｕ_j，ｖ_j）がセットされる。

Ｓ９０２：初期値の係数ε_j＝０がセットされる。

Ｓ９０３：微小回転角ψ，ωが計算に応じて適宜与えられる。

Ｓ９０４：初期状態では、（ｕ’_j，ｖ’_j）＝（ｕ_j＋ω，ｖ_j−ψ）である。この（ｕ’_j，ｖ’_j）は、式（３２）の関係の上では（Ｘ_j／Ｚ_j，Ｙ_j／Ｚ_j）になる。

Ｓ９０５：式（３３）に現時点での（Ｘ_j／Ｚ_j，Ｙ_j／Ｚ_j）を代入して、ε_jを更新する。

Ｓ９０６：更新したε_jを使って、式（３１）右辺の計算を行い、（ｕ’_j，ｖ’_j）を更新する。（ｕ’_j，ｖ’_j）が更新されれば、これまでと同様の処理を行い、そのときの（Ｘ_j／Ｚ_j，Ｙ_j／Ｚ_j）を得る。以上のＳ９０４〜Ｓ９０６を反復回数Ｍ（所定値）まで繰り返し実行することにより、式（３１），（３２）の関係を満たす補正されたｕｖ座標（ｕ’_j，ｖ’_j）を算出する。

Ｓ９０７： 以上のステップによって補正されたｕｖ座標が出力される。

前記出力されたｕｖ座標は図５に示された荷重値算出の過程（Ｓ５０４〜Ｓ５１２）に供される。

（実施形態３）
図９の事例のように光軸が傾くようにカメラ２が取り付けられているとき、実施形態２では光軸の傾き角ψ，ωを既知であるとした。本実施形態では、カメラ２が天井面において任意に傾いて取り付けられていても、カメラ２によって得られた既知の参照物体の撮影画像に基づきカメラ２の回転角を算出している。そして、この算出された値に基づき有効な画像領域を構成する各画素を補正し、この補正した各画素を前記荷重値の算出に供している。

前記回転角の算出は図１１に示された本実施形態に係る物体数計測装置２０に係るカメラ情報獲得部２１によって実行される。物体数計測装置２０はカメラ情報入力部６の代わりにカメラ情報獲得部２１を備えていること以外は物体数計測装置１と同じ構成である。

カメラ情報獲得部２１は、既知の参照物体の中心座標と前記参照物体を撮影するカメラ２の姿勢情報に基づく画像座標との差分が許容誤差以下になるまで前記中心座標を調整しこの調整した中心座標に基づくカメラ２の姿勢情報の算出している。そして、以上の算出の過程を反復的に行うことで更新した姿勢情報を荷重値テーブル生成部７での有効な画像領域を構成する各画素の補正に供している。

カメラ情報獲得部２１による回転角の算出の原理について説明する。式（３１），（３２）の関係を利用して、ｕｖ座標（ｕ_j，ｖ_j）と補正ｕｖ座標（ｕ’_j，ｖ’_j）の誤差が微小な回転角ψ，ωから発生すると考える。この誤差は、式（３１），（３２）を使うと、下記の式（３４），（３５）で表される。

式（３３）を用いて式（３５）を展開し、さらに、回転角ψ，ωを未知数としてＮ個の参照点（Ｘ_j／Ｚ_j，Ｙ_j／Ｚ_j），ｊ＝１，２，…，Ｎに対して行列表記すると、下記の式（３６）を得る。

ここで、式（３５）の誤差（Δｕ_j，Δｖ_j），ｊ＝１，２，…，Ｎは、画像座標から直接得られたｕｖ座標値（ｕ_j，ｖ_j）と、補正されたｕｖ座標値（ｕ’_j，ｖ’_j）から計算できる値である。したがって、既知の参照物体を使ってＮ個の参照点の（Ｘ_j／Ｚ_j，Ｙ_j／Ｚ_j），ｊ＝１，２，…，Ｎを与えれば、未知の回転角ψ，ω_iは式（３５）の連立方程式を解けば得られる。

図１３に示された本実施形態に使用する参照物体の例において、●で示した箇所は参照点の位置であり、この点をカメラ２で観測する。図１３の断面図と鳥瞰図に示すように、説明の都合上、正方形の四隅に参照点を配置し、５重の高さで組み上がっているとする。各層はζだけの間隔があり、参照点Ａ_n，ｎ＝１，２，３，４，５に示した３次元座標は、それぞれＡ_n＝（Ｄ，Ｄ，Ｔｚ−（ｎ−１）ζ）になっている。ただし、この３次元座標はカメラの視点位置Ｏの真下に参照物体の中心が位置することを前提としている。つまり、図１４において、視点から下ろした垂線は、参照物体の中心（○で示した箇所）と交差する。取り付け時には、カメラ２の真下に参照物体を配置することは稀であるので、この位置合わせ（中心移動）の処理も図１２の処理フローで行うことになる。

本実施形態は天上面に取り付けられたカメラ２の姿勢情報（実施形態２での回転角：ψ，ω）をカメラ情報獲得部２１が事前に算出することが実施形態２と異なるので、その算出の過程（Ｓ１２１〜Ｓ１３１）について図１２〜図１４を参照しながら説明する。

図１３の参照物体をカメラの下に配置する（参照物体の初期位置）。この参照物体の参照点座標は先のスケールによって与えられるものとする。さらに、回転角ψ、回転角ωを零に初期化しておく。これらの初期状態のセットが完了すれば、全ての参照点の画像座標（ｘ_j，ｙ_j）を測定し、図７の処理フロー（Ｓ７０１〜Ｓ７０５）に従ってｕｖ座標（ｕ_j，ｖ_j）を逐次得る。

Ｓ１２１：初期値のｕｖ座標（ｕ_j，ｖ_j）が入力される。

Ｓ１２２：係数ε_jを零に初期化する。

Ｓ１２３：式（３１）に回転角ψ，ω、係数ε_jを代入して補正ｕｖ座標（ｕ’_j，ｖ’_j）を算出する。

Ｓ１２４：ここで、参照物体の中心座標（図１３の○で示した参照点）を観測する。

前記中心座標の点は（０，０，Ｔｚ）と与えられる３次元座標である。つまり、式（３１）において、下記の式（３７）となる。したがって、中心点のｕｖ座標は、下記の式（３８）にならなければならない。現時点での回転角ψ、回転角ω、係数ε_jを式（３８）に代入しｕｖ座標を得る。

一方、図７の処理フロー（Ｓ７０１〜Ｓ７０５）に従って前記中心座標の画像座標からｕｖ座標を得る。

Ｓ１２４：式（３８）で得たｕｖ座標とＳ７０１〜Ｓ７０５で得たｕｖ座標との差分を算出する。

Ｓ１２５：前記算出されるｕｖ座標の差分が許容誤差以下になるまで前記中心座標を移動させる。

Ｓ１２６：中心座標の調整（Ｓ１２５）が完了した後、参照点（参照物体の中心座標）のｕｖ座標（ｕ_j，ｖ_j）とその補正ｕｖ座標（ｕ’_j，ｖ’_j）の差（Δｕ_j，Δｖ_j）を式（３４）に従って算出する。

Ｓ１２７：各参照点の（Ｘ_j／Ｚ_j，Ｙ_j／Ｚ_j）と前記算出された誤差（Δｕ_j，Δｖ_j）が式（３６）の連立方程式に入力される。

Ｓ１２８：式（３６）の連立方程式から解として回転角ψ，ωが算出される。

Ｓ１２９：式（３６）から算出された回転角ψ，ωがＳ１２３のステップに再度供される。そして、反復回数がＭ回以上になるまでＳ１２３〜１２８が反復実行される。

Ｓ１３０：前記反復回数がＭ未満である間は係数ε_jが式（３３）に従って更新される。回転角ψ，ω、係数ε_jが更新されると、中心位置合わせ（Ｓ１２３〜Ｓ１２５）に戻り、これまでと同様の処理を続けることにより、回転角ψ，ωが算出される。

Ｓ１３１：カメラ情報獲得部２１はＳ１３０で算出した回転角ψ，ωを荷重値テーブル生成部７に出力する。

荷重値テーブル生成部７は、カメラ情報獲得部２１から取得した回転角ψ，ωに基づき画像座標の全てのｕｖ座標の補正を行った後に（図１０のＳ９０３〜Ｓ９０７）、各画像座標の荷重値を算出し（図５のＳ５０４〜Ｓ５１２）、荷重値テーブルを作成する。人数計測部８はこの作成された荷重値テーブルに格納された荷重値に基づきカメラ２観測下の対象物（人）の数を計測する（図４のＳ８）。

非特許文献１のような従来技術では画角が狭いために物体数の計測に限界があったが、駅や公共の場で設置されている全方位カメラに、本発明に係る物体数計測装置１，１０，２０を利用すると、１００人規模の人数を計測することができるようになる。また、本発明は全方位カメラのカメラパラメータに基づいて視体積を算出し混雑度を計測するため、特許文献１と比べて、物体数を正確に、かつ、大規模に計測することに寄与する。本発明は単眼に限定されるわけではなく、複数カメラにおいてもそれぞれのカメラに対して本発明の物体数計測を適用できる。その場合、一様にカメラが取り付けられ共通視野が十分に確保されているならば、各カメラからの混雑度を統合することによって、オクルージョンなどによる混雑度の誤差を低減することも可能である。

以上のように、本発明によれば、屋内・屋外に設置された単眼のセキュリティカメラあるいは定点カメラに魚眼カメラあるいは全方位カメラを使って、広視野の撮影範囲内の物体数（人数）を直接計測できる。

１，１０，２０…物体数計測装置
２…カメラ（撮像装置）
３…画像蓄積部
４…対象物抽出処理部（対象物抽出処理手段）
５…有効領域判定部（有効領域判定手段）
６…カメラ情報入力部
７…荷重値テーブル生成部（荷重値テーブル生成手段）
８…人数計測部（計測手段）
１１…背景情報構築部
２１…カメラ情報獲得部（撮像装置情報獲得手段）

Claims (8)

1. 全方位画像に基づき当該画像に含まれる物体の数を計測する物体数計測方法であって、
   物体抽出処理手段が全方位画像から物体を含んだ画像領域を抽出するステップと、
   有効領域判定手段が前記抽出された画像領域に含まれる物体の数の計測に有効な画像領域を撮像装置の視野特性に基づき判定するステップと、
   荷重値テーブル生成手段が、前記判定された有効な画像領域を構成する各画素に投影される視体積のうち前記物体の体積に寄与する体積を算出し、この体積に基づき前記各画素が物体の数にどれだけ寄与するかを示す荷重値を算出し、この算出した各画素の荷重値を格納させた荷重値テーブルを生成するステップと、
   計測手段が前記抽出された画像領域における各画素が前記判定によって有効領域と判定された場合のみ、前記荷重値テーブルに格納された当該各画素の荷重値を積算することにより前記物体の数を計測するステップと、
   を有すること
   を特徴とする物体数計測方法。
2. 前記荷重値テーブルを生成するステップは、前記撮像装置の姿勢情報に基づき前記有効な画像領域を構成する各画素を補正し、この補正した各画素を前記荷重値の算出に供するステップをさらに有すること
   を特徴とする請求項１に記載の物体数計測方法。
3. 撮像装置情報獲得手段が、既知の参照物体の中心座標と前記参照物体を撮影する撮像装置の姿勢情報に基づく画像座標との差分が許容誤差以下になるまで前記中心座標を調整しこの調整した中心座標に基づく前記撮像装置の姿勢情報の算出を反復的に行うことにより更新した姿勢情報を前記有効な画像領域を構成する各画素の補正に供するステップをさらに有すること
   を特徴とする請求項２に記載の物体数計測方法。
4. 全方位画像に基づき当該画像に含まれる物体の数を計測する物体数計測装置であって、
   全方位画像から物体を含んだ画像領域を抽出する物体抽出処理手段と、
   前記抽出された画像領域に含まれる物体の数の計測に有効な画像領域を撮像装置の視野特性に基づき判定する有効領域判定手段と、
   前記判定された有効な画像領域を構成する各画素に投影される視体積のうち前記物体の体積に寄与する体積を算出し、この体積に基づき前記各画素が物体の数にどれだけ寄与するかを示す荷重値を算出し、この算出した各画素の荷重値を格納させた荷重値テーブルを生成する荷重値テーブル生成手段と、
   前記抽出された画像領域における各画素が前記判定によって有効領域と判定された場合のみ、前記荷重値テーブルに格納された当該各画素の荷重値を積算することにより前記物体の数を計測する計測手段と
   を備えること
   を特徴とする物体数計測装置。
5. 前記荷重値テーブル生成手段は、前記撮像装置の姿勢情報に基づき前記有効な画像領域を構成する各画素を補正し、この補正した各画素を前記荷重値の算出に供すること
   を特徴とする請求項４に記載の物体数計測装置。
6. 既知の参照物体の中心座標と前記参照物体を撮影する撮像装置の姿勢情報に基づく画像座標との差分が許容誤差以下になるまで前記中心座標を調整しこの調整した中心座標に基づく前記撮像装置の姿勢情報の算出を反復的に行うことにより更新した姿勢情報を前記荷重値テーブル生成手段に供する撮像装置情報獲得手段を
   さらに備えたこと
   を特徴とする請求項５に記載の物体数計測装置。
7. 請求項４から６のいずれか１項に記載の物体数計測装置を構成する各手段としてコンピュータを機能させることを特徴とする物体数計測プログラム。
8. 請求項７に記載の物体数計測プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images