JP7192582B2 - 物体追跡装置および物体追跡方法 - Google Patents

Description

本発明は、魚眼カメラの画像を用いて物体を追跡する技術に関する。

ビルディングオートメーション（ＢＡ）やファクトリーオートメーション（ＦＡ）の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適制御するアプリケーションが必要とされている。このような用途では、できるだけ広い範囲の画像情報を取得するために、魚眼レンズ（フィッシュアイレンズ）を搭載した超広角のカメラ（魚眼カメラ、全方位カメラ、全天球カメラなどと呼ばれるが、いずれも意味は同じである。本明細書では「魚眼カメラ」の語を用いる。）を利用することが多い。

魚眼カメラで撮影された画像は大きく歪んでいる。それゆえ、魚眼カメラの画像（以後「魚眼画像」と呼ぶ。）から人体や顔などを検出または追跡する場合には、あらかじめ魚眼画像を平面展開することで歪みの少ない画像に補正した後に検出または追跡処理にかけるという方法が一般的である（特許文献１参照）。

特開２０１６－３９５３９号公報

しかしながら、従来技術では次のような問題がある。一つは、魚眼画像を平面展開するという前処理が発生することで、全体の処理コストが大きくなるという問題である。これは、リアルタイムの処理を困難にし、機器制御の遅延を招く可能性があり、好ましくない。二つ目の問題は、魚眼カメラの真下など、ちょうど平面展開時の境界（画像の切れ目）の位置に存在する人や物体の像が、平面展開の処理によって大きく変形してしまったり、像が分断されてしまったりして、正しく検出または追跡できない恐れがあることである。

これらの問題を回避するため、本発明者らは、魚眼画像をそのまま（「平面展開せずに」という意味である。）追跡処理にかけるというアプローチを研究している。しかし、通常のカメラ画像に比べ、魚眼画像の場合は、画像の領域ごとに移動量が異なるため、追跡が困難となる。

本発明は上記実情に鑑みなされたものであって、魚眼画像から高速に且つ高精度に物体を追跡する技術を提供することを目的とする。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の第一側面は、追跡対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を用いて、前記追跡対象エリア内に存在する物体を追跡する物体追跡装置であって、フレーム間における前記物体の移動量に関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段と、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記移動量に関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域
の位置を決定する決定手段と、前記第２フレーム画像の前記探索領域の中から前記物体を探索することにより、前記第２フレーム画像における前記物体の位置を特定する探索手段と、を有することを特徴とする物体追跡装置を提供する。

「魚眼カメラ」は、魚眼レンズを搭載したカメラであり、通常のカメラに比べて超広角での撮影が可能なカメラである。全方位カメラや全天球カメラも魚眼カメラの一種である。魚眼カメラは、追跡対象エリアの上方から追跡対象エリアを見下ろすように設置されていればよい。典型的には魚眼カメラの光軸が鉛直下向きとなるように設置されるが、魚眼カメラの光軸が鉛直方向に対して傾いていても構わない。

本発明では、魚眼画像における物体の位置に応じた移動量を考慮して探索領域の位置を決定するという方法により高精度かつ高速にトラッキング（追跡）処理を行うことができる。魚眼カメラで追跡対象エリアを見下ろすように撮影した場合、魚眼カメラとの位置関係に依存して物体の見え方（写り方）が大きく変わる。それゆえ、一定の速度で移動する追跡対象を追跡する場合でも、魚眼カメラとの位置関係に依存して、魚眼画像内にける追跡対象の移動量が異なるという特性をもつ。すなわち、魚眼画像の中心は移動量が大きく、魚眼画像の端にいくにしたがって移動量が小さくなる。物体追跡装置は、このような魚眼画像の特性を考慮し、後のフレームの追跡対象を追跡する際に適切な位置になるように探索領域を決定する。また、魚眼画像を平面展開するなどの前処理が不要なため、より高速な処理が実現できる。

前記記憶手段は、前記探索領域のサイズに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶しており、前記決定手段は、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記サイズに関する基準とに基づいて、前記第２フレーム画像における前記探索領域のサイズを決定してもよい。魚眼画像では、魚眼カメラとの位置関係に応じて物体の大きさが異なるという特性を持つ。物体追跡装置は、このような魚眼画像の特性を考慮し、後のフレームの追跡対象を追跡する際に適切なサイズの探索領域を決定する。

本発明の第二側面は、追跡対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を用いて、前記追跡対象エリア内に存在する物体を追跡する物体追跡装置であって、探索領域のサイズに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段と、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記サイズに関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域のサイズを決定する決定手段と、前記第２フレーム画像の前記探索領域の中から前記物体を探索することにより、前記第２フレーム画像における前記物体の位置を特定する探索手段と、を有することを特徴とする物体追跡装置を提供する。

本発明では、魚眼画像における物体の位置に応じた物体の見え方（例えば、面積）を考慮して探索領域のサイズを決定するという方法により高精度かつ高速にトラッキング（追跡）処理を行うことができる。魚眼カメラで追跡対象エリアを見下ろすように撮影した場合、魚眼カメラとの位置関係に依存して物体の見え方（写り方）が大きく変わる。物体の写る大きさは、魚眼画像の中心が最も大きく、端にいくほど小さくなる。すなわち、魚眼画像は、画像中心を基準とした距離に依存して物体のサイズ（例えば、面積）が変化する（距離が遠くなるほどサイズが小さくなる）、という特性を有する。魚眼画像上の位置またはエリアごとの物体の面積についても、魚眼カメラの光学特性、魚眼カメラ１０と追跡対象エリアの位置関係等を基に、幾何学的に計算（予測）することが可能である。物体追跡装置は、このような魚眼画像の特性を考慮し、後のフレームの追跡対象を追跡する際に適切なサイズになるように探索領域を決定する。また、魚眼画像を平面展開するなどの前
処理が不要なため、より高速な処理が実現できる。

前記サイズの基準は、魚眼画像の中心に近いエリアほどサイズが大きくなるように設定されてもよい。上述のように、魚眼画像において物体の写る大きさは、魚眼画像の中心が最も大きく、端にいくほど小さくなる。このような特性を考慮してサイズの基準を設定してもよい。

前記移動量の基準は、魚眼画像の中心に近いエリアほど移動量が大きくなるように設定されてもよい。上述のように、魚眼画像の中心は移動量が大きく、魚眼画像の端にいくにしたがって移動量が小さくなる。このような特性を考慮して移動量の基準を設定してもよい。

前記決定手段は、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記移動量に関する基準と、前記物体の移動方向とに基づいて、前記第２フレーム画像における探索領域の位置を決定してもよい。探索領域の位置を、第１フレームの画像における物体の位置と、当該位置に対応する移動量に関する基準に加えて、物体の移動方向に基づいて決定することで、より高精度かつ高速にトラッキング処理を行うことができる。すなわち、移動方向を考慮することで、探索範囲を狭めることができるため、高速に探索処理を行うことができる。また、探索範囲を狭めることにより、例えば、追跡対象以外の物体が探索領域に含まれる可能性を低くすることができるため、高精度に探索処理を行うことができる。

前記記憶手段は、画像の歪み度合いに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶し、前記決定手段は、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記移動量に関する基準と、前記物体の移動方向と、前記第１フレーム画像における前記物体の位置に対応する前記歪み度合いに関する基準とに基づいて、前記第２フレーム画像における探索領域の位置を決定してもよい。上述のように、実際の魚眼画像は歪んでいるため、例えば、追跡対象が魚眼画像の中心より上方を水平方向に移動する場合、魚眼画像において追跡対象は上に弧を描くカーブに沿って移動する。反対に、追跡対象が魚眼画像の中心より下方を水平方向に移動する場合、魚眼画像において追跡対象は下に弧を描くカーブに沿って移動する。そこで、物体追跡装置は、魚眼画像の歪みに応じて適切な位置に探索領域を決定することでトラッキング処理の高精度化および高速化をすることができる。

前記決定手段は、前記物体の移動方向と同じ方向の前記探索領域の位置は、前記第１フレーム画像における前記物体の位置と、前記第１フレーム画像より前のフレーム画像における前記物体の位置と、前記移動量に関する基準とに基づいて決定し、前記物体の移動方向と直交する方向の前記探索領域の位置は、前記物体の移動方向と同じ方向の前記探索領域の位置と、前記歪み度合いに関する基準とに基づいて決定してもよい。魚眼画像の歪みは、物体の移動方向に対して直交する方向に生じる。そのため、物体の移動方向に直交する方向の位置を、歪み度合いの基準に基づいて決定することで、探索領域の位置を精度よく決定することができる。

本発明の第三側面は、追跡対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を用いて、前記追跡対象エリア内に存在する物体を追跡する物体追跡方法であって、フレーム間における前記物体の移動量に関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段を参照して、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記移動量に関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域の位置を決定する決定ステップと、前記第２フレーム画像の前記探索領域の中か
ら前記物体を探索することにより、前記第２フレーム画像における前記物体の位置を特定する探索ステップと、を有することを特徴とする物体追跡方法を提供する。

本発明の第四側面は、追跡対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を用いて、前記追跡対象エリア内に存在する物体を追跡する物体追跡方法であって、探索領域のサイズに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段を参照して、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記サイズに関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域のサイズを決定する決定ステップと、前記第２フレーム画像の前記探索領域の中から前記物体を探索することにより、前記第２フレーム画像における前記物体の位置を特定する探索ステップと、を有することを特徴とする物体追跡方法を提供する。

本発明は、上記手段の少なくとも一部を有する物体追跡装置として捉えてもよいし、追跡対象の物体を認識または検出する装置、あるいは画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む物体追跡方法、物体認識方法、物体検出方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、魚眼画像から高速に且つ高精度に物体を追跡することができる。

図１は、本発明に係る物体追跡装置の適用例を示す図である。 図２は、魚眼画像とバウンディングボックスの例を示す図である。 図３は、物体追跡装置を備える監視システムの構成を示す図である。 図４は、物体追跡処理のフローチャートである。 図５は、探索領域決定処理のフローチャートである。 図６は、移動量テーブルの例を示す図である。 図７は、探索領域の位置の例を示す図である。 図８は、サイズテーブルの例を示す図である。 図９は、探索領域の範囲の例を示す図である。 図１０は、従来手法によるトラッキング処理の例を示す図である。 図１１は、本手法によるトラッキング処理の例を示す図である。 図１２は、魚眼画像の歪み度合いを示す図である。

＜適用例＞
図１を参照して、本発明に係る物体追跡装置の適用例を説明する。物体追跡装置１は、追跡対象エリア１１の上方（例えば天井１２など）に設置された魚眼カメラ１０により得られた魚眼画像を解析して、追跡対象エリア１１内に存在する物体１３（例えば人など）を追跡（トラッキング）する装置である。この物体追跡装置１は、例えば、オフィスや工場などにおいて、追跡対象エリア１１を通行する物体１３の検出、認識、追跡などを行う。図１の例では、魚眼画像１～３から追跡対象の領域が矩形のバウンディングボックス１４で示されている。バウンディングボックス１４は、追跡対象の領域を表す閉図形あるいは枠線であり、例えば、追跡対象の領域を囲む多角形や楕円などをバウンディングボックス１４として用いる。魚眼画像１～３は、それぞれフレームｆ［ｔ－１］、フレームｆ［ｔ］（第１フレーム画像）、フレームｆ［ｔ＋１］（第２フレーム画像）における魚眼画
像を示す。また、魚眼画像３では、フレームｆ［ｔ＋１］における探索対象の領域である探索領域１５が示されている。探索領域１５は、ｔフレーム以前の結果に基づいて決定される。物体追跡装置１の追跡結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視などに利用される。

魚眼カメラ１０で追跡対象エリア１１を見下ろすように撮影した場合、魚眼カメラ１０との位置関係に依存して人体の見え方（写り方）が大きく変わる。それゆえ、一定の速度で移動する追跡対象を追跡する場合でも、魚眼カメラ１０との位置関係に依存して、魚眼画像内にける追跡対象の移動量が異なるという特性をもつ。すなわち、魚眼画像の中心は移動量が大きく、魚眼画像の端にいくにしたがって移動量が小さくなる。また、魚眼カメラ１０との位置関係に応じて人体の大きさが異なるという特性を持つ。物体追跡装置１は、このような魚眼画像の特性を考慮し、次フレームの追跡対象を追跡する際に適切な探索領域を決定することによって、追跡処理の高速化および高精度化を図る点に特徴の一つを有する。また、物体追跡装置１は、魚眼画像をそのまま（つまり、平面展開や歪み補正などの前処理を行わずに）物体追跡処理に用いる点にも特徴の一つを有する。

＜魚眼画像の特性＞
図２は、魚眼カメラ１０から取り込まれた魚眼画像の例を示す。画像座標系は、魚眼画像の左下のコーナーを原点（０，０）とし、横方向右側にｘ軸、縦方向上側にｙ軸をとる。

光軸が鉛直下向きになるように魚眼カメラ１０を設置した場合、魚眼画像の中心には、魚眼カメラ１０の真下に存在する人を頭頂部から観察した像が表れる。そして、魚眼画像の端にいくにしたがって俯角が小さくなり、人を斜め上方から観察した像が表れることとなる。また、魚眼画像中の人体は、足元が画像の中心側、頭部が画像の端側に位置し、かつ、画像の中心を通る放射状の線に略平行となるような角度で写る。また、魚眼画像の中心は比較的歪みが小さいが、魚眼画像の端にいくにしたがって画像の歪みが大きくなる。そのため、追跡対象が一定の速度で移動していても、魚眼画像のフレーム間における追跡対象の移動量は、画像の位置によって異なる。

符号１４ａ～１４ｆは、魚眼画像中の人体の領域を囲むように配置されたバウンディングボックスを示す。本実施形態では、画像処理の便宜から、ｘ軸またはｙ軸と平行な四辺から構成される矩形のバウンディングボックスが用いられる。

また、図２に示すように、人体の写る大きさは、魚眼画像の中心が最も大きく、端にいくほど小さくなる。すなわち、魚眼画像は、画像中心を基準とした距離に依存してバウンディングボックスのサイズ（例えば、面積）が変化する（距離が遠くなるほどサイズが小さくなる）、という特性を有する。魚眼画像上の位置またはエリアごとのバウンディングボックスの面積についても、魚眼カメラ１０の光学特性、魚眼カメラ１０と追跡対象エリア１１の位置関係、および、平均的な人体のサイズを基に、幾何学的に計算（予測）することが可能である。

（実施形態１）
＜監視システム＞
図３を参照して、本発明の実施形態を説明する。図３は、本発明の実施形態に係る物体追跡装置を適用した監視システムの構成を示すブロック図である。監視システム２は、概略、魚眼カメラ１０と物体追跡装置１とを備えている。

魚眼カメラ１０は、魚眼レンズを含む光学系と撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。魚眼カメラ１０は、例えば図１に示すように、追
跡対象エリア１１の天井１２などに、光軸を鉛直下向きにした状態で設置され、追跡対象エリア１１の全方位（３６０度）の画像を撮影するとよい。魚眼カメラ１０は物体追跡装置１に対し有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で接続され、魚眼カメラ１０で撮影された画像データは物体追跡装置１に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、１０ｆｐｓ（１秒あたり１０枚）で取り込まれるモノクロ画像を用いることを想定している。

本実施形態の物体追跡装置１は、画像入力部２０、探索領域決定部２１、探索部２２、人体検出部２４、記憶部２６、出力部２７等を含む。

画像入力部２０は、魚眼カメラ１０から画像データを取り込む機能を有する。取り込まれた画像データは、探索領域決定部２１および人体検出部２４に引き渡される。この画像データは記憶部２６に格納されてもよい。

探索領域決定部２１は、追跡対象を探索するための領域である探索領域を決定する。探索領域は、一度検出した追跡対象を探索してトラッキングするために用いられる。探索部２２は、上記の探索領域内で追跡対象物を探索するアルゴリズムを用いて、魚眼画像から追跡対象を探索する機能を有する。トラッキング辞書２３は、トラッキング対象（追跡対象）の情報や特徴量が登録されている辞書である。

人体検出部２４は、人体を検出するアルゴリズムを用いて、魚眼画像から人体等を検出する機能を有する。人体検出辞書２５は、魚眼画像に表れる人体の画像特徴があらかじめ登録されている辞書である。

記憶部２６は、魚眼画像、追跡結果などを記憶する機能を有する。出力部２７は、魚眼画像や追跡結果などの情報を外部装置に出力する機能を有する。例えば、出力部２７は、外部装置としてのディスプレイに情報を表示してもよいし、外部装置としてのコンピュータに情報を転送してもよいし、外部装置としての照明装置や空調やＦＡ装置に対し情報や制御信号を送信してもよい。

物体追跡装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図３に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図３に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図３に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

＜物体追跡処理＞
図４は、監視システム２による物体追跡処理のフローチャートである。図４に沿って物体追跡処理の全体的な流れを説明する。なお、図４のフローチャートは、１フレームの魚眼画像に対する処理を示している。１０ｆｐｓで魚眼画像が入力される場合には、図４の処理が１秒間に１０回実行されることとなる。

まず、画像入力部２０が魚眼カメラ１０から１フレームの魚眼画像を入力する（ステップＳ４０）。背景技術の欄で述べたように、従来は、魚眼画像の歪みを補正した平面展開画像を作成した後、追跡や認識などの画像処理を行っていたが、本実施形態の監視システ
ム２では、魚眼画像をそのまま（歪んだまま）追跡や認識の処理に用いる。

次に、物体追跡装置１は、トラッキングを行っている対象（トラッキング対象と称する。）があるか否かを判断する（ステップＳ４１）。ここでは、現在のフレームより前に、追跡対象が存在している場合に「トラッキング対象あり」と判断される。トラッキング対象がある場合（Ｓ４１－Ｙｅｓ）は、探索領域決定部２１は、次フレームにおける探索領域を決定する（ステップＳ４２）。探索領域を決定する処理の詳細は後述する。そして、探索部２２は、上記探索領域において、追跡対象を探索することによりトラッキングを行う（ステップＳ４３）。

トラッキング手法として、例えば、フレーム間での色特徴や形状特徴の類似度に基づいてトラッキング対象の領域を推定する方法などを用いることができる。具体的には、テンプレートマッチング、Ｍｅａｎ－Ｓｈｉｆｔ、パーティクルフィルタ、ＳＵＲＦ Ｔｒａｃｋｉｎｇなどどのようなアルゴリズムを用いてもよい。本実施形態では、追跡対象として人の全身を対象としているが、これに限らず、上半身など体の一部を対象としてもよい。そして、探索部２２はトラッキング対象が見つかったか否かを判断する（ステップＳ４４）。トラッキング対象が見つかった場合（Ｓ４４－Ｙｅｓ）は、探索部２２は、トラッキング結果を記憶部２６に格納する（ステップＳ４５）。トラッキング対象が見つからなかった場合（Ｓ４４－Ｎｏ）は、それまでトラッキングしていた結果の削除を行う（ステップＳ４６）。ここで、トラッキング対象が見つからなかった場合とは、例えば、トラッキング対象が魚眼カメラの撮影範囲の外に移動した場合が挙げられる。

次に、人体検出部２４が魚眼画像から人体を検出する（ステップＳ４７）。魚眼画像内に複数の人が存在する場合には、複数の人体が検出される。また、多くの場合、人体ではない物体（例えば、扇風機、デスクチェア、コート掛けなど、形状や色が人体と紛らわしい物）が検出される場合もある。検出結果には、例えば、検出された人体等の領域を示すバウンディングボックスの情報が含まれるとよい。バウンディングボックスの情報は、例えば、バウンディングボックスの中心座標（ｘ，ｙ）（人体等の検出位置に相当）、高さｈ、幅ｗを含むとよい。検出結果は、記憶部２６に格納される。なお、トラッキング対象がない場合（Ｓ４１－Ｎｏ）には、ステップＳ４７以降の処理が実行される。

なお、人体検出にはどのようなアルゴリズムを用いてもよい。例えば、ＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた識別器を用いてもよいし、ディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）による人体認識を用いてもよい。本実施形態では、人体として人の全身を検出しているが、これに限らず、上半身など体の一部を検出対象としてもよい。

次に、物体追跡装置１は、トラッキング結果と検出結果とをマージする（ステップＳ４８）。マージされた結果は、例えば、記憶部２６に保存される。物体追跡装置１で検出処理を行う理由として、前フレームまでに追跡対象ではなかった物体が新たに魚眼画像に現れた場合に、検出処理に基づいて追跡対象ごとに識別番号（ＩＤ）を付し、次のフレームの処理においてトラッキング対象とするためである。なお、ステップＳ４７、Ｓ４８の検出処理は、フレームごとに行わずに、数フレームごとに行われてもよい。最後に、出力部２７が、追跡結果等を外部装置に出力する（ステップＳ４９）。以上で１フレームの魚眼画像に対する処理が終了する。

本実施形態の物体追跡処理によれば、魚眼画像をそのまま解析し、魚眼画像からダイレクトに物体追跡を行う。したがって、魚眼画像の平面展開や歪み補正といった前処理を省略でき、高速な物体追跡処理が可能である。また、本実施形態では、魚眼カメラとの位置関係に応じて、探索範囲を決定することによって、高精度なトラッキングが実現できる。

＜探索領域決定処理（Ｓ４２）＞
探索領域決定部２１による探索領域を決定する処理の具体例を説明する。

図５は、探索領域決定処理のフローチャートである。まず、探索領域決定部２１は、探索領域の位置を算出する（ステップＳ５０）。位置は、例えば、探索領域の中心座標とすることができる。そして、探索領域決定部２１は、探索領域のサイズを算出する（ステップＳ５１）。最後に、上記の位置およびサイズに基づいて、探索領域決定部２１は、探索領域を決定する（ステップＳ５２）。ステップ５０、Ｓ５１の処理の詳細について説明する。

（１）探索領域の位置算出処理（Ｓ５０）
前述のように、魚眼画像は、画像中心からの距離に依存してフレーム間における追跡対象の移動量が変化する、という特性を有する。この特性は計算によりあらかじめ数値化できる。図６は、魚眼画像を６×６の３６個の小エリアに分割し、小エリアごとの移動量の基準値を計算した例である。このように求めた小エリアごとの移動量の基準値を定義したテーブルを、例えば、記憶部２６に格納しておくとよい。図６に示すように、画像中心をとおりｘ軸およびｙ軸にそれぞれ平行なＡ軸およびＢ軸を考えたとき、移動量はＡ軸およびＢ軸に関して対称な変化を示す。この対称性を利用し、例えば、記憶部２６には１つの象限分の３×３のテーブルを格納してもよい。これによりメモリ容量を削減することができる。

図６に示す移動量テーブルと、フレームｆ［ｔ－１］における追跡対象の位置およびフレームｆ［ｔ］における追跡対象の位置とに基づいて、フレームｆ［ｔ＋１］の追跡対象の予測位置を算出する（式１）。本実施形態では、当該算出した追跡対象の予測位置を探索領域の位置とする。式１において、（ｘ，ｙ）は、各フレームにおける追跡対象の位置を示す。追跡対象の位置（ｘ，ｙ）は、例えば、バウンディングボックスの中心座標とするとよい。また、式１において、αは上記の移動量テーブルに基づく値である。例えば、フレームｆ［ｔ］における追跡対象の位置（ｘ，ｙ）が魚眼画像の中心付近である場合、αは１．５である。

図７は、上述の式１を用いて算出された探索領域の位置（追跡対象の予測位置）の例を示す図である。図７の例では、フレームｆ［ｔ］の位置および図６の移動量テーブルに応じてαは１．４である。魚眼画像の中心に向かうほど追跡対象の移動量が大きくなるので、図７に示す通り、フレームｆ［ｔ－１］とｆ［ｔ］間に比べて、フレームｆ［ｔ＋１］とｆ［ｔ］間の移動量が大きくなるように、フレームｆ［ｔ＋１］における追跡対象の予測位置を求めている。

（２）探索領域のサイズ算出処理（Ｓ５１）
前述のように、魚眼画像は、画像中心からの距離に依存してバウンディングボックスの面積（サイズ）が変化する、という特性を有する。この特性は計算によりあらかじめ数値化できる。図８は、魚眼画像を６×６の３６個の小エリアに分割し、小エリアごとの面積（ピクセル数）を計算した例である。このように求めた小エリアごとのサイズ（例えば、面積）の基準値を定義したテーブルを記憶部２６に格納しておけばよい。図８に示すように、サイズの基準値は画像中心に関して対称な変化を示す。この対称性を利用し、例えば、記憶部２６には１つの象限分の３×３のテーブルを格納してもよい。これによりメモリ容量を削減することができる。

図８に示すサイズテーブルと、フレームｆ［ｔ］におけるバウンディングボックスのサイズとに基づいて、フレームｆ［ｔ＋１］における探索領域のサイズを算出する（式２）。式２において、ｗ、ｈは、それぞれフレームｆ［ｔ］における追跡対象に対応するバウンディングボックスの水平方向のサイズ、垂直方向のサイズを示す。また、ａｒｅａ＿ｗ、ａｒｅａ＿ｈは、それぞれフレームｆ［ｔ＋１］における探索領域の水平方向のサイズ、垂直方向のサイズを示す。また、式２において、βは上記のサイズテーブルに基づく値である。例えば、フレームｆ［ｔ］の座標（ｘ，ｙ）が魚眼画像の中心付近である場合、βは３．０である。なお、フレームｆ［ｔ－１］のバウンディングボックスのサイズも考慮して、式１と同様に探索領域のサイズを求めてもよい。

図９は、上述の式２を用いて算出された探索領域のサイズの例を示す図である。図９の例では、フレームｆ［ｔ］の位置（例えば、バウンディングボックスの中心位置）および図８の移動量テーブルに応じてβは２．５である。魚眼画像の中心に向かうほど追跡対象のサイズが大きくなるので、フレームｆ［ｔ＋１］の探索領域のサイズを大きくしている。なお、上述の式１によって求まるフレームｆ［ｔ＋１］における位置および図８の移動量テーブルに応じてβを決定してもよい。

＜本実施形態の有利な効果＞
本実施形態の監視システムでは、魚眼カメラのトラッキング処理において、探索領域を魚眼画像の特性に応じて決定することで、トラッキング処理の高速化および高精度化を図ることができる。

高精度化について例を示す。従来手法では、魚眼画像の中心付近の追跡対象（図１０Ａ）について、移動量の増減を考慮していない。そのため、次フレームにおいて追跡対象が探索領域１５の外に出てしまう虞がある（図１０Ｂ）。本手法では、魚眼画像の中心付近の追跡対象（図１１Ａ）について、移動量の増減を考慮して探索領域１５のサイズを大きくしている。そのため、追跡対象が探索領域１５の外に出てしまう可能性を低減し、高精度にトラッキングを行うことができる（図１１Ｂ）。

高速化について例を示す。従来手法では、魚眼画像の中心から離れた追跡対象（図１０Ｃ）について、サイズの大小を考慮していない。そのため、次フレームにおいて追跡対象に対応するバウンディングボックスのサイズが小さいにも関わらず、大きな探索領域１５を設けた場合に処理コストが必要以上に高くなっていた（図１０Ｄ）。本手法では、魚眼画像の中心から離れた追跡対象（図１１Ｃ）について、位置に応じたサイズの探索領域１５を対象に探索処理（トラッキング処理）を行っている。そのため、効率よく探索処理を行うことができ、処理の高速化を図ることができる（図１１Ｄ）。

また、追跡対象が複数存在する場合の例について示す。従来手法では、魚眼画像の近接した箇所に複数の追跡対象が存在する場合（図１０Ｅ）、次のフレームにおいて、複数の追跡対象における探索領域１５ａおよび探索領域１５ｂが重なることにより、追跡対象が入れ替わる虞があった（図１０Ｆ）。本手法では、魚眼画像の近接した箇所に複数の追跡対象が存在する場合（図１１Ｅ）でも、次フレームにおける追跡対象の予測位置およびサイズを考慮して適切に探索領域を決定している。そのため、追跡対象における探索領域が重なる可能性を低減し、高精度化を図ることができる（図１１Ｆ）。

（実施形態２）
上述の実施形態１では、追跡対象が直線状に移動する場合、魚眼画像においても直線状に移動するものとして探索領域の位置を求める方法について説明した。しかし、図２を用いて説明したとおり、実際の魚眼画像は歪んでいる。そのため、例えば、追跡対象が魚眼画像の中心より上方を水平方向に移動する場合、魚眼画像において追跡対象は上に弧を描くカーブに沿って移動する。反対に、追跡対象が魚眼画像の中心より下方を水平方向に移動する場合、魚眼画像において追跡対象は下に弧を描くカーブに沿って移動する。そこで、実施形態２では、上述の探索領域の位置を算出する処理（Ｓ５０）において、魚眼画像の歪みに応じて位置を算出する。なお、実施形態２における監視システムの構成は、実施形態１と同様のため説明は省略する。また、実施形態２における監視システムの処理は、実施形態２と異なる処理のみ説明し、同様の処理については、説明を省略する。

前述のように、魚眼画像は、画像中心からの距離に依存して歪み度合いが変化する、という特性を有する。この特性は計算によりあらかじめ数値化できる。図１２の実線は、魚眼画像を６×６の３６個の小エリアに分割し、小エリアごとの垂直方向の歪み度合いを２次関数で示した例である。図１２の破線は、小エリアごとの水平方向の歪み度合いを２次関数で示した例である。

図１２に示すように、歪み度合いは、移動方向と直交する方向に離れるほど歪み度合いが大きくなる。このように求めた小エリアごとの歪み度合いの基準を定義した垂直歪みテーブルおよび水平歪みテーブルを、例えば、記憶部２６に格納しておくとよい。当該テーブルは、追跡対象の移動方向と直交する方向の歪み度合いを定義したテーブルと捉えることもできる。実際には、テーブルには各小エリアに対応するｐおよびｑの値（たとえば、ｐ１、ｑ１）を格納しておくとよい。なお、実施形態１と同様に、上記テーブルは各軸に関して対称な変化を示す。この対称性を利用し、例えば、記憶部２６には１つの象限分の３×３のテーブルを格納してもよい。これによりメモリ容量を削減することができる。

なお、本実施形態の歪み度合いは、移動方向と直交する方向の歪み度合いと捉えることもできる。具体的には、移動方向と同じ方向における探索領域の位置は実施形態１と同様に求める。そして、移動方向と直交する方向における探索領域の位置は、当該移動方向における探索領域の位置と、歪み度合いに関する基準値とに基づいて決定してもよい。なお、所定の方向に直交する方向の歪み度合いの基準値を用いて、物体がどの方向に移動する場合も当該基準値を用いて探索領域の位置を決定してもよい。

上記の歪みテーブルと、フレームｆ［ｔ－１］における追跡対象の位置およびフレームｆ［ｔ］における追跡対象の位置とに基づいて、フレームｆ［ｔ＋１］における追跡対象の予測位置を算出する。追跡対象が水平方向に移動する場合は、フレームｆ［ｔ＋１］における探索領域の水平方向の位置ｘ［ｔ＋１］は実施形態１と同様にして求める。そして、フレームｆ［ｔ＋１］における探索領域の垂直方向の位置ｙ［ｔ＋１］は小エリアに対応する関数に基づいて求める（式３）。また、追跡対象が垂直方向に移動する場合は、フレームｆ［ｔ＋１］における探索領域の垂直方向の位置ｙ［ｔ＋１］は実施形態１と同様にして求める。そして、フレームｆ［ｔ＋１］における探索領域の水平方向の位置ｘ［ｔ＋１］は小エリアに対応する関数に基づいて求める（式４）。本処理では、例として２次関数を用いたが、魚眼画像の歪み度合いを考慮した関数であればよい。

（その他）
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、図６や図８に示したテーブルの値、上記実施形態で示した閾値などはいずれも説明のための例示にすぎない。また、上記実施形態では、矩形のバウンディングボックスを例示したが、矩形以外の形態（多角形、楕円、自由図形など）のバウンディングボックスを用いてもよい。

また、現在のフレームにおける物体の位置と、移動量の基準値と、物体の移動方向とに基づいて探索領域の位置を求めてもよい。なお、上述の実施形態では、現在のフレームにおける物体の位置と、現在のフレームより前のフレームにおける物体の位置とに基づいて移動方向を求める例を説明したが、移動方向の求め方は特に限定されない。

現在のフレームにおける物体の位置と、移動量の基準値とに基づいて探索領域の位置を求めてもよい。上述のように、魚眼画像の中心は移動量が大きく、魚眼画像の端にいくにしたがって移動量が小さくなる。このような魚眼画像の特性を考慮して後のフレームの追跡対象を追跡する際に適切な位置（範囲と捉えることもできる）になるように探索領域を決定することもできるためである。

また、上述の実施形態では、探索領域の決定において物体の位置に対応する移動量に関する基準値およびサイズに関する基準値を用いる例について説明したが、移動量の基準値、サイズの基準値の一方のみを用いて探索領域を決定してもよい。例えば、探索領域のサイズを一定にする場合は、上述の移動量の基準値のみを用いて探索領域を決定する。また、例えば、移動量を一定にする場合は、上述のサイズの基準値のみを用いて探索領域を決定する。サイズの基準値のみを用いて探索領域を決定する場合の探索領域の位置の決定方法は種々の方法を用いればよい。例えば、フレームｆ［ｔ－１］とｆ［ｔ］の間の追対象の移動量および移動方向に基づいて求めてもよく、フレームｆ［ｔ］の追跡対象の位置を探索領域の位置として用いてもよい。

また、探索領域の形状をアスペクト比の基準に基づいて可変にしてもよい。魚眼画像上の位置に応じて、魚眼カメラから物体を視たときの俯角や方位角が変わるため、物体のアスペクト比が変化するからである。例えば、アスペクト比の基準は、魚眼画像の中央エリアおよび中央エリアに対し斜め４５度にあるエリアでは、探索領域の形状が略正方形となり、中央エリアの上側および下側のエリアでは、探索領域の形状が縦長の長方形となり、前記中央エリアの左側および右側のエリアでは、探索領域が横長の長方形となる、ように設定されていてもよい。

（付記１）
（１）追跡対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を用いて、前記追跡対象エリア（１１）内に存在する物体（１３）を追跡する物体追跡装置（１）であって、
フレーム間における前記物体（１３）の移動量に関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段（２６）と、
第１フレーム画像における前記物体（１３）の位置と、前記第１フレーム画像における前記物体（１３）の位置に対応する前記移動量に関する基準とに基づいて、前記第１フレ
ーム画像の後の画像である第２フレーム画像における探索領域（１５）の位置を決定する決定手段（２１）と、
前記第２フレーム画像の前記探索領域（１５）の中から前記物体（１３）を探索することにより、前記第２フレーム画像における前記物体（１３）の位置を特定する探索手段（２２）と、
を有することを特徴とする物体追跡装置（１）。

（２）追跡対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を用いて、前記追跡対象エリア（１１）内に存在する物体（１３）を追跡する物体追跡装置（１）であって、
探索領域（１５）のサイズに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段（２６）と、
第１フレーム画像における前記物体（１３）の位置と、前記第１フレーム画像における前記物体（１３）の位置に対応する前記サイズに関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域（１５）のサイズを決定する決定手段（２１）と、
前記第２フレーム画像の前記探索領域（１５）の中から前記物体（１３）を探索することにより、前記第２フレーム画像における前記物体（１３）の位置を特定する探索手段（２２）と、
を有することを特徴とする物体追跡装置（１）。

（３）追跡対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を用いて、前記追跡対象エリア（１１）内に存在する物体（１３）を追跡する物体追跡方法であって、
フレーム間における前記物体（１３）の移動量に関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段（２６）を参照して、第１フレーム画像における前記物体（１３）の位置と、前記第１フレーム画像における前記物体（１３）の位置に対応する前記移動量に関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域（１５）の位置を決定する決定ステップ（Ｓ４２）と、
前記第２フレーム画像の前記探索領域（１５）の中から前記物体（１３）を探索することにより、前記第２フレーム画像における前記物体（１３）の位置を特定する探索ステップ（Ｓ４３）と、
を有することを特徴とする物体追跡方法。

（４）追跡対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を用いて、前記追跡対象エリア（１１）内に存在する物体（１３）を追跡する物体追跡方法であって、
探索領域（１５）のサイズに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段（２６）を参照して、第１フレーム画像における前記物体（１３）の位置と、前記第１フレーム画像における前記物体（１３）の位置に対応する前記サイズに関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域（１５）のサイズを決定する決定ステップ（Ｓ４２）と、
前記第２フレーム画像の前記探索領域（１５）の中から前記物体（１３）を探索することにより、前記第２フレーム画像における前記物体（１３）の位置を特定する探索ステップ（Ｓ４３）と、
を有することを特徴とする物体追跡方法。

１：物体追跡装置
２：監視システム
１０：魚眼カメラ
１１：追跡対象エリア
１２：天井
１３：物体

Claims (11)

1. 追跡対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を用いて、前記追跡対象エリア内に存在する物体を追跡する物体追跡装置であって、
   フレーム間における前記物体の移動量に関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段と、
   第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記移動量に関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域の位置を決定する決定手段と、
   前記第２フレーム画像の前記探索領域の中から前記物体を探索することにより、前記第２フレーム画像における前記物体の位置を特定する探索手段と、
   を有することを特徴とする物体追跡装置。
2. 前記記憶手段は、前記探索領域のサイズに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶しており、
   前記決定手段は、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記サイズに関する基準とに基づいて、前記第２フレーム画像における前記探索領域のサイズを決定する、
   ことを特徴とする請求項１に記載の物体追跡装置。
3. 追跡対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を用いて、前記追跡対象エリア内に存在する物体を追跡する物体追跡装置であって、
   探索領域のサイズに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段と、
   第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記サイズに関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域のサイズを決定する決定手段と、
   前記第２フレーム画像の前記探索領域の中から前記物体を探索することにより、前記第２フレーム画像における前記物体の位置を特定する探索手段と、
   を有することを特徴とする物体追跡装置。
4. 前記サイズの基準は、魚眼画像の中心に近いエリアほどサイズが大きくなるように設定されている、
   ことを特徴とする請求項２または３に記載の物体追跡装置。
5. 前記移動量の基準は、魚眼画像の中心に近いエリアほど移動量が大きくなるように設定されている、
   ことを特徴とする請求項１または２に記載の物体追跡装置。
6. 前記決定手段は、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記移動量に関する基準と、前記物体の移動方向とに基づいて、前記第２フレーム画像における探索領域の位置を決定する、
   ことを特徴とする請求項１、２、または５のいずれか一項に記載の物体追跡装置。
7. 前記記憶手段は、画像の歪み度合いに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶し、
   前記決定手段は、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記移動量に関する基準と、前記物体の移動方向と、前記第１フレーム画像における前記物体の位置に対応する前記歪み度合いに関する基準とに基づいて、前記第２フレーム画像における探索領域の位置を決定する、
   ことを特徴とする請求項１、２、５、または６のいずれか一項に記載の物体追跡装置。
8. 前記決定手段は、
   前記物体の移動方向と同じ方向の前記探索領域の位置は、前記第１フレーム画像における前記物体の位置と、前記第１フレーム画像より前のフレーム画像における前記物体の位置と、前記移動量に関する基準とに基づいて決定し、
   前記物体の移動方向と直交する方向の前記探索領域の位置は、前記物体の移動方向と同じ方向の前記探索領域の位置と、前記歪み度合いに関する基準とに基づいて決定する、
   ことを特徴とする請求項７に記載の物体追跡装置。
9. 追跡対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を用いて、前記追跡対象エリア内に存在する物体を追跡する物体追跡方法であって、
   フレーム間における前記物体の移動量に関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段を参照して、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記移動量に関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域の位置を決定する決定ステップと、
   前記第２フレーム画像の前記探索領域の中から前記物体を探索することにより、前記第２フレーム画像における前記物体の位置を特定する探索ステップと、
   を有することを特徴とする物体追跡方法。
10. 追跡対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を用いて、前記追跡対象エリア内に存在する物体を追跡する物体追跡方法であって、
    探索領域のサイズに関する基準を、魚眼画像上の位置またはエリアごとに、あらかじめ記憶している記憶手段を参照して、第１フレーム画像における前記物体の位置と、前記第１フレーム画像における前記物体の位置に対応する前記サイズに関する基準とに基づいて、前記第１フレーム画像の後の画像である第２フレーム画像における探索領域のサイズを決定する決定ステップと、
    前記第２フレーム画像の前記探索領域の中から前記物体を探索することにより、前記第２フレーム画像における前記物体の位置を特定する探索ステップと、
    を有することを特徴とする物体追跡方法。
11. 請求項９または１０に記載の物体追跡方法の各ステップをコンピュータに実行させるためのプログラム。

Images