JPH08138057A - 物体監視装置 - Google Patents

Abstract

(57)【要約】 【目的】 ２次元画面上の座標を３次元の座標に変換す
る際に発生する量子化誤差の影響を低減する。 【構成】 時系列画像を入力する撮像手段１、画像上の
座標を３次元に変換するとともに画像上の２次元特徴量
を３次元特徴量に変換する座標変換部１０、変換された
３次元の特徴量，座標により監視対象物体を抽出・追跡
する対象物体抽出手段６・対象物体追跡手段１６などか
らなる物体監視装置において、物体抽出時に一定の誤差
を許容して特徴量の存在範囲を拡大する特徴量変換誤差
補正部１３を付加することで、量子化誤差の影響を少な
くする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、テレビカメラ等によ
って撮像された画像から対象物体を抽出し、時間経過に
伴って物体を追跡することにより、特定の移動物体の有
無を検知したり、その個数をカウントしたり、あるいは
物体の移動速度を計測したりする機能を持つ、画像処理
技術を利用した物体監視装置に関する。

【０００２】

【従来の技術】従来、テレビカメラ等により得られた画
像を利用する物体監視装置として、出願人は先に、例え
ば図１０に示す如きものを提案している（特願平５−１
８１２６７号参照：提案済み装置ともいう）。この監視
装置は画像から得られた２次元の情報を一定の拘束条件
のもとで、座標変換手段にて３次元情報に変換し、物体
監視をするようにしている。なお、図１０において、１
はテレビカメラ等の撮像手段、２はこの撮像手段から入
力したアナログ画像をディジタル画像に変換するＡ／Ｄ
（アナログ／ディジタル）変換手段、３は入力画像記憶
部である。４は時間的に変化する領域を抽出する変化領
域抽出手段、５は変化領域抽出手段４で抽出された変化
領域２値化画像である。６は変化領域２値化画像５から
対象物体情報を抽出する対象物体抽出手段全体を示す。

【０００３】対象物体抽出手段６は特徴量抽出部８、物
体特徴量記憶部９（２次元），１１（３次元）、座標変
換部１０および対象物体領域決定部１３などから構成さ
れている。すなわち、特徴量抽出部８によって変化領域
２値化画像上での２次元の物体特徴量を抽出し、記憶部
９に記憶する。座標変換部１０はこの記憶部９からの２
次元特徴量を、カメラパラメータ記憶部７からのカメラ
パラメータ・変換拘束条件を用いて、３次元空間におけ
る特徴量に変換する。対象物体領域決定部１３は、変化
領域特徴量１１と対象物体特徴量記憶部（物体モデル）
１２からのデータとを比較して対象物体の領域を決定
し、その結果の対象物体情報（特徴量，３次元位置）を
記憶部１５へ格納する。

【０００４】１６は対応付け処理部２０、物体予測位置
記憶部２１および予測処理部２２等からなり、対象物体
の軌跡を求めるための対象物体追跡手段である。すなわ
ち、現時刻で抽出され記憶部１５に格納されている対象
物体情報と、記憶部２３に格納されている前時刻までの
対象物体の軌跡から、予測処理部２２によって予測され
記憶部２１に格納された現時刻の対象物体予測位置と
を、記憶部１８に格納されている対象物体運動パラメー
タ（物体運動モデル）を用いて対応付け処理部２０で対
応付けを行ない、対象物体の現時刻までの軌跡を求め記
憶部２３に格納する。２４は記憶部２０からの対象物体
軌跡より、目的に応じて物体数，物体移動速度等を計
算，出力する結果計算・出力手段であり、２５は監視結
果を示す。

【０００５】このような物体監視装置における、カメラ
と監視領域の面との関係を図１１（ａ）に示す。この例
は、監視領域は手前の地平面Ａと奥にある垂直面Ｂから
構成されている例である。図１１（ａ）で、地平面Ａに
対するカメラの設置高さＨ、カメラの視軸と地平面Ａと
のなす角度θ、レンズの焦点距離ｆが既知であれば、面
Ａ上に物体が接しているという条件のもとで、カメラ座
標で求められた２次元データ（特徴量・座標）を擬似的
に３次元空間でのデータに変換することができる。こう
することにより、実空間上の値で記述されたサイズ等の
対象物体特徴量を使用して、近くの物体も遠くの物体
も、同一の物体特徴量モデルを参照して抽出することが
可能である。

【０００６】図１１（ｂ）に監視画面例を示す。この監
視画面はｍ×ｎ画素から構成されている。これに対応す
る実際の空間において、監視領域を地平面Ａの上から見
たところを図１１（ｃ）に示す。実空間の座標系（Ｘ，
Ｙ，Ｚ）の設定例としては、ここではカメラの設置位置
から地平面に下ろした垂線の足を原点Ｏとし、そこから
カメラの撮像面に平行にＸ軸、地平面上に投影したカメ
ラの視軸方向にＹ、そして、原点からカメラの設置位置
方向にＺ軸を取っている。

【０００７】図１１（ｃ）に地平面Ａの被監視領域の１
画素のサイズを模式的に示す。１画素の中に収まる実空
間でのサイズは手前は小さく、奥側の幅が大きい台形形
状となる。面Ａ上の点（ｕ，ｖ）は、上述の如く決めら
れた実空間（３次元）の座標から、次の（１）式を用い
て実空間上の座標（Ｘ，Ｙ，Ｚ）に変換することができ
る。 Ｘ＝ｕ・Ｈ／（ｖｃｏｓθ＋ｆｓｉｎθ） Ｙ＝Ｈ・（ｆｃｏｓθ−ｖｓｉｎθ）／（ｖｃｏｓθ＋ｆｓｉｎθ） Ｚ＝０ …（１）

【０００８】

【発明が解決しようとする課題】以上のように、提案済
み装置では、監視画面から得られた２次元の座標を３次
元に変換する際に、各画素の中心点を基準に考えてい
る。そのため、監視面とカメラとの距離が比較的小さい
場合は、３次元情報への変換時の量子化誤差による影響
は少ないが、監視領域を広くとるため監視面とカメラと
の距離が大きく離れており、かつ、カメラの監視平面と
なす角度が小さい場合は、３次元情報への変換時の量子
化誤差が大きくなり、物体抽出や物体追跡に悪影響を与
え、正しく物体が抽出されなかったり、正しい物体追跡
ができなかったりするような場合が生じる。

【０００９】図１２（ａ）に監視領域内の地平面Ａ上で
抽出された対象物体の例を示す。この画面上での対象物
体の代表点座標を足下の座標（ｕ_f ，ｖ_f ）とし、物体
抽出誤差として±ε画素を想定する。図１２（ｂ）は地
平面Ａでの対象物体存在位置を示す。この座標（Ｘ，
Ｙ，０）は、上記（１）式から求められる。ここで、２
次元画面上で±１画素の誤差を含んだ抽出位置を３次元
に変換すると、その物体存在範囲は図１２（ｂ）に網掛
け部分で示す、３×３画素の範囲となる。

【００１０】物体特徴量のうち、物体高さＬを例にとっ
て説明すると、Ｌは物体足下座標（ｕ_f ，ｖ_f ）と頂点
座標（ｕ_t ，ｖ_t ）から、次の（２）式によって求ま
る。 Ｙ_f ＝（ｆｃｏｓθ−ｖ_f ｓｉｎθ）・Ｈ／（ｖ_f ｃｏｓθ＋ｆｓｉｎθ） Ｙ’＝（ｆｃｏｓθ−ｖ_t ｓｉｎθ）・Ｈ／（ｖ_t ｃｏｓθ＋ｆｓｉｎθ） Ｌ＝Ｚ_t ＝（１−Ｙ_f ／Ｙ’）・Ｈ＝ｆ・Ｈ・（ｖ_f −ｖ_t ）／ｕ｛（ｖ_f ・ ｃｏｓθ＋ｆｓｉｎθ）（ｆｃｏｓθ−ｖ_t ｓｉｎθ）｝ …（２） なお、Ｙ’は物体頂点を、水平面に投影した点のＹ座標
を示す。

【００１１】θ＞０の場合、物体の足下および頂点抽出
誤差を±ε画素と考えると、３次元に変換後の物体高さ
Ｌは、図１２（ｃ）に示す範囲で変化する。抽出された
特徴量に含まれる誤差が、特徴量の変化に対して大きい
かどうかは、カメラパラメータｆ，θ，Ｈと物体抽出位
置ｖ_f ，ｖ_t に依存する。また、時刻ｔにおける画面上
での物体位置ｐ_t （ｕ_t ，ｖ_t ）、点ｐ_t を３次元に変
換した位置をＰ_t （Ｘ _t ，Ｙ_t ，Ｚ_t ）、時刻ｔ＋１の
物体位置をｐ_t+1 （ｕ_t+1 ，ｖ_t+1 ）、同じく３次元に
変換した位置をＰ_t+1 （Ｘ_t+1 ，Ｙ_t+1 ，Ｚ_t+1 ）とす
ると、時刻ｔ，ｔ＋１間の移動距離Ｖ（Ｖ_X ，Ｖ_Y ，
０）は次の（３）式で表わされる。

【００１２】 Ｖ_X ＝Ｘ_t+1 −Ｘ_t ＝Ｈ・｛ｕ_t+1 ／（ｖ_t+1 ｃｏｓθ＋ｆｓｉｎθ） −ｕ_t ／（ｖ_t ｃｏｓθ＋ｆｓｉｎθ）｝ Ｖ_Y ＝Ｙ_t+1 −Ｙ_t ＝Ｈ・｛（ｆｃｏｓθ−ｖ_t+1 ｓｉｎθ）／（ｖ_t+1 ・ ｃｏｓθ＋ｆｓｉｎθ）−（ｆｃｏｓθ−ｖ_t ｓｉｎθ）／（ｖ_t ・ ｃｏｓθ＋ｆｓｉｎθ）｝ …（３）

【００１３】Ｙ方向における、変換誤差の速度に与える
影響の例を図１３に示す。ここでは、「↓」印で示され
る物体抽出範囲に対して、真の物体位置は物体抽出誤差
を考慮すると、「←→」印で示される範囲にあると考え
られる。物体のＹ方向の速度Ｖは、時刻ｔと時刻ｔ＋１
の物体位置の差によって求められるので、真の物体速度
Ｖは図示されるようなＶ^- とＶ⁺ の間にある。この誤差
は、カメラ姿勢，カメラと対象物体との距離により変化
するが、１画素の誤差であっても場合によっては物体追
跡時に物体の追跡を誤ったり、追跡ができなかったりす
ることがある。

【００１４】したがって、この発明の課題は１台のカメ
ラで３次元的に物体の監視を行なう物体監視装置におい
て、２次元画面上の座標を３次元の座標に変換する際に
発生する量子化誤差の影響を軽減することにある。

【００１５】

【課題を解決するための手段】このような課題を解決す
るため、請求項１の発明では、時系列画像を入力する撮
像手段と、監視領域の視野を構成する面とカメラ設置位
置，カメラ姿勢およびレンズ焦点距離の関係から、カメ
ラ座標より求めた２次元の特徴量を３次元空間上での特
徴量に変換する特徴量変換手段と、同じく対象物体の２
次元の座標位置を３次元空間上での座標位置に変換する
座標変換手段と、前記特徴量変換手段より得られた３次
元の特徴量を用いて、追跡対象となる対象物体の領域と
その３次元位置を抽出する物体抽出手段と、連続する時
刻間での対象物体位置の対応付けを行ない、物体の軌跡
を決定する対応付け手段とを備えた物体監視装置におい
て、前記３次元の特徴量に対して２次元画面上で一定の
抽出誤差を許容し、誤差分だけ特徴量の存在範囲を拡張
する特徴量補正手段を設け、この補正された特徴量と対
象物体モデルとの類似度を前記物体抽出手段により算出
することを特徴としている。

【００１６】また、請求項２の発明では、時系列画像を
入力する撮像手段と、監視領域の視野を構成する面とカ
メラ設置位置，カメラ姿勢およびレンズ焦点距離の関係
から、カメラ座標より求めた２次元の特徴量を３次元空
間上での特徴量に変換する特徴量変換手段と、同じく対
象物体の２次元の座標位置を３次元空間上での座標位置
に変換する座標変換手段と、前記特徴量変換手段より得
られた３次元の特徴量を用いて、追跡対象となる対象物
体の領域とその３次元位置を抽出する物体抽出手段と、
連続する時刻間での対象物体位置の対応付けを行ない、
物体の軌跡を決定する対応付け手段とを備えた物体監視
装置において、物体運動モデルに対して２次元画面上で
一定の抽出誤差を許容し、３次元座標変換後の誤差分だ
け前記物体運動モデルを拡張する運動モデル補正手段を
設け、この補正された物体運動モデルを用いて前記対応
付け手段により物体の対応付けを行なうことを特徴とし
ている。

【００１７】さらに請求項３の発明では、時系列画像を
入力する撮像手段と、監視領域の視野を構成する面とカ
メラ設置位置，カメラ姿勢およびレンズ焦点距離の関係
から、カメラ座標より求めた２次元の特徴量を３次元空
間上での特徴量に変換する特徴量変換手段と、同じく対
象物体の２次元の座標位置を３次元空間上での座標位置
に変換する座標変換手段と、前記特徴量変換手段より得
られた３次元の特徴量を用いて、追跡対象となる対象物
体の領域とその３次元位置を抽出する物体抽出手段と、
連続する時刻間での対象物体位置の対応付けを行ない、
物体の軌跡を決定する対応付け手段とを備えた物体監視
装置において、前記３次元の特徴量に対して２次元画面
上で一定の抽出誤差を許容し、誤差分だけ特徴量の存在
範囲を拡張する特徴量補正手段と、物体運動モデルに対
して２次元画面上で一定の抽出誤差を許容し、３次元座
標変換後の誤差分だけ前記物体運動モデルを拡張する運
動モデル補正手段とを設け、この補正された物体運動モ
デルを用いて、前記特徴量補正手段により補正された特
徴量と対象物体モデルとの類似度から抽出される対象物
体の対応付けを行なうことを特徴としている。

【００１８】

【作用】従来の物体抽出部では、３次元に変換された特
徴量と、３次元特徴量によって記述された物体モデルと
の類似度を総合的に判断して、対象物を抽出する。これ
に対し、請求項１の発明では、物体の足元と頭頂座標に
それぞれ抽出誤差があるものとして、抽出された情報か
ら物体抽出部により真の特徴量の存在する可能性のある
範囲を求め、この範囲内で最も高い物体モデルの類似度
を算出することにより、物体抽出誤差による影響を減少
させる。

【００１９】また、従来の物体追跡手段では、時刻ｔに
おける物体抽出位置と時刻ｔ＋１における物体抽出位置
との対応付け候補を、物体の速度，加速度のモデルによ
って絞り込み、さらに、物体予測部から計算される時刻
ｔの物体の時刻ｔ＋１における予測位置と、実際の時刻
ｔ＋１における物体抽出位置との差を全物体について合
計した値がもっとも小さくなるような対応付けを選択
し、各物体の軌跡を求める。請求項２の発明では、上記
のような処理に加え、物体の抽出位置によって物体の速
度，加速度の運動モデルのしきい値に誤差項を付加し、
物体抽出誤差に応じて対応付けのためのしきい値を大き
くすることで、物体抽出位置を３次元に変換した際の誤
差の、物体追跡に与える影響を軽減する。さらには、抽
出される特徴量に一定の誤差を許容するだけでなく、運
動モデルのしきい値に一定の誤差を許容する、つまり、
両者を併用することにより安定性を高め精度を向上させ
る。

【００２０】

【実施例】図１はこの発明の実施例を示す構成図であ
る。同図からも明らかなように、この実施例と図１０に
示す従来例との相違は対象物体抽出手段６に特徴量変換
誤差補正部１３を付加し、対象物体追跡手段１６に誤差
補正係数記憶部１７および座標変換誤差記憶部１９を付
加した点が特徴で、その他は図１０と同様である。

【００２１】動作について説明する。撮像手段１によっ
て取り込まれた画像は、Ａ／Ｄ変換手段２によってディ
ジタル化され、入力画像記憶部３に送られる。変化領域
抽出手段４では変化のあった領域が抽出され、変化領域
２値化画像５が得られる。変化領域抽出手段４による変
化領域の抽出方法としては、基準画像と入力画像との差
分をとる方法や、入力画像の連続する時刻間の差分をと
る方法などがある。

【００２２】変化領域２値化画像５を対象物体特徴量抽
出部８に入力し、ここで２値化画像のラベル付け、特徴
量（ラベル毎の代表点座標，面積，外接長方形の幅・高
さなど）の計算を行なう。ここでの特徴量は、全て画面
上の２次元座標上のものであり、物体特徴量記憶部９に
格納される。次に、座標変換処理手段１０では、記憶部
７からのカメラパラメータ・物体拘束条件を用いて、２
次元座標上の特徴量９を３次元空間での特徴量に変換
し、記憶部１１に格納する。この格納された３次元空間
での特徴量は、座標変換誤差補正部１３により一定の変
換誤差を加えて補正される。

【００２３】次に、対象物体領域決定部１４では、補正
された３次元空間での特徴量を対象物体特徴量記憶部１
２に格納されている特徴量と比較し、対象物体の領域を
決定する。各対象物体の３次元の特徴量，３次元座標は
物体抽出結果として対象物体情報記憶部１５に格納さ
れ、対象物体追跡手段１６に入力される。

【００２４】対象物体追跡手段１６では、現時刻で抽出
され記憶部１５に格納されている現フレームでの物体抽
出結果と、記憶部２３に格納されている前時刻までの対
象物体の軌跡から、予測処理部２２によって予測され記
憶部２１に格納された現時刻の対象物体予測位置とを、
記憶部１８に格納されている対象物体運動パラメータ
（物体運動モデル）を用いて対応付け処理部２０で対応
付けを行ない、対象物体の現時刻までの軌跡を求め記憶
部２３に格納する。

【００２５】このとき、記憶部１８に格納されている対
象物体モデルについて、座標変換誤差補正部１９におい
て誤差補正係数記憶部１７からの出力を参照しつつ一定
の誤差を許容した補正を行ない、その補正結果を使用す
る。対応付け結果により、現時刻の対象物体の軌跡を加
えて記憶部２３に格納する。２４は記憶部２３からの対
象物体軌跡より、目的に応じて監視対象物体の有無，
数，物体移動速度等を計算，出力する結果計算・出力手
段であり、２５は監視結果を示す。

【００２６】図２はこの発明による特徴量補正方法を示
すフローチャートである。物体抽出では、変化領域２値
化画像にラベル付けを行なった後、ラベルまたは複数ラ
ベルからなる或るまとまり（ラベルの組）や、１個のラ
ベルを何らかの基準で分割したサブラベル毎にこの処理
を実施し、対象物体領域を決定する。対象物体モデルは
ｎ個の３次元特徴量と、そのｎ個の特徴量を統合し総合
的な物体類似度を求める手段によって記述されている。
例えば、対象物体モデルを物体特徴量に関するｎ個のフ
ァジーメンバーシップ関数で表わし、さらに各特徴量に
対する類似度の合計により、総合的な物体の類似度を算
出するものとする（ステップＳ１）。

【００２７】特徴量毎に、従来手法と同様に抽出された
座標をもとに３次元特徴量Ｆｉを求め、その特徴量とｉ
番目の特徴量に対応するファジーメンバーシップ関数か
ら、その特徴量に関する物体モデルと抽出領域との類似
度Ｓｉを求める（ステップＳ２）。そして、この類似度
Ｓｉがしきい値より大きいときは、誤差による補正は不
要として、そのまま次特徴量へと進む（ステップＳ３，
Ｓ１）。類似度Ｓｉがしきい値に満たない場合は、抽出
誤差±εを考慮した場合の３次元特徴量の存在範囲、 Ｆｍｉｎｉ≦Ｆｉ≦Ｆｍａｘｉ を求め、この範囲内での最大類似度ＳｍａｘｉをＳｉと
する（ステップＳ４，Ｓ５，Ｓ６）。こうして全特徴量
に対する類似度を求めた後、総合的な物体の類似度を算
出し、これを用いて対象物体領域を決定する（ステップ
Ｓ７）。

【００２８】図３は特徴量補正方法を具体的に説明する
ための説明図である。図３（ａ）に監視画面内の対象物
体抽出例を示す。図３（ｂ）は高さ特徴量に対するファ
ジーメンバーシップ関数で、横軸は特徴量、縦軸は高さ
類似度を示している。いま、図３（ａ）でのカメラパラ
メータをθ＝４５°、Ｈ＝１０〔ｍ〕、ｆ＝８００〔ｐ
ｉｘｅｌ〕とし、抽出された物体足元座標を（ｕ_f ，ｖ
_f ）＝（１５０，０）、頂点座標（ｕ_t ，ｖ_t ）＝（１
５２，−５０）とすると、対象物体の高さＬは先の
（２）式から、次のようになる。

【００２９】Ｌ＝ｆ・Ｈ・（ｖ_f −ｖ_t ）／｛（ｖ_f ｃ
ｏｓθ＋ｆｓｉｎθ）（ｆｃｏｓθ＋ｖ_t ｓｉｎθ）｝
＝８００・１０００・５０／｛（０・ｃｏｓ４５°＋８
００・ｓｉｎ４５°）（８００・ｃｏｓ４５°＋（−５
０）・ｓｉｎ４５°）｝＝８００・１０００・５０・２
／８００・７５０≒１３３．３３〔ｃｍ〕

【００３０】上記高さ１３３．３３〔ｃｍ〕に対する類
似度を図３（ｂ）から求めると、Ｓ＝０．６３で類似度
しきい値Ｓｔｈ＝０．９より小さいので、特徴量補正を
行なう。そこで、３次元座標上での足元，頭頂座標に対
する抽出誤差を±２画素以内と仮定し、この範囲に対し
て高さ特徴量の存在する範囲を求めると、以下のように
なる。

【００３１】Ｌｍｉｎ≦Ｌ≦Ｌｍａｘ Ｌｍｉｎ＝ｌ｛（ｕ_t ，ｖ_t ＋ε），（ｕ_f ，ｖ_f −
ε）｝＝ｆ・Ｈ・｛（ｖ_f −ε）−（ｖ_t ＋ε）｝／
［｛（ｖ_f −ε）ｃｏｓθ＋ｆｓｉｎθ｝｛ｆｃｏｓθ
＋（ｖ_t ＋ε）ｓｉｎθ｝］＝８００・１０００・４６
／［｛（−２）ｃｏｓ４５°＋８００ｓｉｎ４５°｝
｛８００・ｃｏｓ４５°＋（−４８）ｓｉｎ４５°｝］
＝６１．３３〔ｃｍ〕

【００３２】Ｌｍａｘ＝ｌ｛（ｕ_t ，ｖ_t −ε），（ｕ
_f ，ｖ_f ＋ε）｝＝ｆ・Ｈ・｛（ｖ_f ＋ε）−（ｖ_t −
ε）｝／［｛（ｖ_f ＋ε）ｃｏｓθ＋ｆｓｉｎθ｝｛ｆ
ｃｏｓθ＋（ｖ_t −ε）ｓｉｎθ｝］＝８００・１００
０・４６／［（２ｃｏｓ４５°＋８００ｓｉｎ４５°）
｛８００・ｃｏｓ４５°＋（−５２）ｓｉｎ４５°｝］
＝１４４．０２〔ｃｍ〕 となり、類似度Ｓは図３（ｃ）の関係から、特徴量の存
在範囲６１．３３≦Ｌ≦１４４．０２での最大類似度Ｓ
＝０．９３として補正されることになる。

【００３３】図４は対象物体追跡方法を示すフローチャ
ートである。ここでは、連続する２時刻ｔ＝ｔ，ｔ＋１
での対象物体位置ｐ，ｒと、時刻ｔ＝ｔまでの物体の軌
跡より予測した時刻ｔ＋１での予測位置ｑを利用して、
ｐ−ｒ間の対応付けを行ない、時刻ｔ＋１までの各物体
の軌跡および次時刻までの予測位置を求めることとす
る。

【００３４】図５は図４のステップＳ１に示す、対応付
け候補の選択方法例１，２を説明するための説明図であ
る。すなわち、図５（ａ）において、ｐｉは時刻ｔ＝ｔ
におけるｉ番目の対象物体位置、ｑｉはｐｉの軌跡から
予測した時刻ｔ＋１におけるｐｉの予測位置、ｒｊは時
刻ｔ＋１でのｊ番目の対象物体位置を示す。つまり、こ
の例は単純にｐｉから距離ｖｍａｘ以内にあるｒｊを、
対応付け候補とするものである。

【００３５】図５（ｂ）は対応付け候補の選択方法の他
の例の説明図である。これは、図示のｐｉを焦点とし、
ｐｉとｑｉを結ぶ方向（進行方向）を主軸として進行方
向にｖｍａｘ、その逆方向にｖｂｍａｘの大きさの楕円
の範囲内にあるｒｊを、対応付け可能な候補として残す
方法である。

【００３６】図４のステップＳ２の、対応付け決定方法
の手順は次の通りである。 （１）対応付け候補として残った組について、それぞれ
時刻ｔ＋１の予測位置ｑｉと時刻ｔ＋１の物体位置ｒｊ
との距離の差を、物体最大加速度ａｍａｘで正規化した
加速度変化値Ｗｉｊを、次の数１の（４）式で求める。

【数１】

【００３７】（２）時刻ｔ＋１の全物体について、次の
数２の（５）式で示すＷｉｊの合計Ｗが最小となるよう
な組を対応付ける。したがって、この方法では物体加速
度が運動パラメータの中の最大加速度ａｍａｘ以上のも
のは、対応付けられないことになる。

【数２】

【００３８】図６（ａ）に監視画面上の物体位置を示
す。この画面上では、時刻ｔにｐ１，ｐ２の２個の物体
があり、それぞれ時刻ｔ＋１では予測位置ｑ１，ｑ２に
あるとする。また、時刻ｔ＋１ではｒ１，ｒ２の２個の
物体が抽出されたとすると、これらの間の対応付けを行
なうことが必要である。図６（ｂ）は監視画面の時刻ｔ
＋１における物体予測位置Ｑ１，Ｑ２、物体位置Ｒ１，
Ｒ２と、物体抽出誤差を考慮した物体存在範囲を実空間
上で示したものである。

【００３９】図６（ｃ）に従来方式における加速度最大
値ａｍａｘを用いて、対応付け評価を行なった結果を示
す。この場合、Ｐ２（Ｑ２）−Ｒ２間の距離はａｍａｘ
より大きいので対応付けられず、したがってＲ２は時刻
ｔ＋１で出現したものと判断される。ところが、図６
（ｂ）で１画素分の物体抽出誤差を想定すると、遠くに
ある予測位置Ｑ２と物体位置Ｒ２の存在範囲の最小距離
Ｌ２２−ＭＩＮと、近くにある予測位置Ｑ１と物体位置
Ｒ１の存在範囲の最大距離Ｌ１１−ＭＡＸでは、Ｌ１１
−ＭＡＸの方が大きくなる。これでは、物体が同じ速度
で移動していても僅かな物体抽出位置の誤差により、安
定な追跡が困難となってしまう。

【００４０】そこで、１画素あたりのＸ方向の解像度Δ
Ｘについて考える。先の（１）式で示す変換式から、 ΔＸ＝Ｈ／（ｖｃｏｓθ＋ｆｓｉｎθ） …（６） で表わされる。図７はカメラと監視平面との関係をＹ軸
方向の断面から見たものを示しているが、ここで、画面
上の１画素あたり地平面上での解像度ΔＹは、次の
（７）式のように示される。

【００４１】 ΔＹ＝（Ｈ／ｆ）｛ｃｏｓα／ｓｉｎ（θ−α）｝² ＝（Ｈ／ｆ）｛ｃｏｓα／（ｓｉｎθｃｏｓα−ｃｏｓθｓｉｎα）｝² ＝（Ｈ／ｆ）｛１／（ｓｉｎθ−ｔａｎαｃｏｓθ）｝² ＝Ｈｆ／（ｆｓｉｎθ＋ｖｃｏｓθ）² （∵ｔａｎα＝−ｖ／ｆでα＞０にとっているため） …（７）

【００４２】ここで、Ｙ座標とΔＸ，ΔＹとの比を求め
ると、先の（１）式よりＹは、 Ｙ＝Ｈ・（ｆｃｏｓθ−ｖｓｉｎθ）／（ｖｃｏｓθ＋
ｆｓｉｎθ） であるから、以下のようになる。 ΔＸ／Ｙ＝１／（ｖｃｏｓθ＋ｆｓｉｎθ） ×（ｖｃｏｓθ＋ｆｓｉｎθ）／（ｆｃｏｓθ−ｖｓｉｎθ） ＝１／（ｆｃｏｓθ−ｖｓｉｎθ） ΔＹ／Ｙ＝ｆ／（ｖｃｏｓθ＋ｆｓｉｎθ）² ×（ｖｃｏｓθ＋ｆｓｉｎθ）／（ｆｃｏｓθ−ｖｓｉｎθ） ＝ｆ／｛（ｖｃｏｓθ＋ｆｓｉｎθ）（ｆｃｏｓθ−ｖｓｉｎθ）｝ …（８）

【００４３】上記（８）式より、１画素あたりの３次元
座標変換後の解像度ΔＸ，ΔＹとＹ座標との比は、カメ
ラパラメータｆ，θおよびカメラのｖ座標で決まること
が分かる。図８（ａ）はｖとΔＸ／Ｙの関係を、図８
（ｂ）はｖとΔＹ／Ｙの関係をそれぞれｆを固定とし、
θを変化させて調べたものである。図８（ａ）でθが小
さいとき（θ＝ｐｉ（π）／３６のとき）、ΔＸ／Ｙは
ほぼ一定となる。

【００４４】この実施例では、対象物体の追跡時に物体
移動速度上限値ｖｍａｘおよび加速度上限値ａｍａｘに
対し、物体抽出誤差分の物体抽出および３次元座標変換
の誤差を表わす項を付け加えることにより、物体抽出誤
差があっても安定に対応付けの候補選択，候補決定を可
能とするものである。そこで、速度上限値と加速度上限
値にε画素分の誤差項を加えて補正する方法の具体例
を、次の（９）式に示す。なお、（９）式のＶＭＡＸ，
ＡＭＡＸはそれぞれ補正後の速度上限値，加速度上限値
を示している。

【００４５】 ＶＭＡＸ＝ｖｍａｘ＋εＹ［｛１／（ｆｃｏｓθ−ｖｓｉｎθ）｝² ＋｛ｆ／ （ｖｃｏｓθ＋ｆｓｉｎθ）・１／（ｆｃｏｓθ−ｖｓｉｎθ）｝² ］^1/2 ＡＭＡＸ＝ａｍａｘ＋εＹ［｛１／（ｆｃｏｓθ−ｖｓｉｎθ）｝² ＋｛ｆ／ （ｖｃｏｓθ＋ｆｓｉｎθ）・１／（ｆｃｏｓθ−ｖｓｉｎθ）｝² ］^1/2 …（９）

【００４６】速度上限値，加速度上限値の誤差による簡
易な補正方法としては、上式に代えて次式（１０）のよ
うにすることもできる。 ＶＭＡＸ＝ｖｍａｘ＋ｋｖ・Ｙ ＡＭＡＸ＝ａｍａｘ＋ｋａ・Ｙ …（１０） すなわち、誤差項を適宜な係数ｋｖ，ｋａと、カメラと
物体との間の距離Ｙの積で近似するものである。

【００４７】上記（９），（１０）式のＹ値としては、
対応付けようとする点の３次元座標変換のＹ座標のう
ち、カメラから遠い方のものを使用する。これは、図９
に示すように、物体追跡時の対応付け可能な範囲を３次
元座標変換の分解能に応じて、大きくとることを示して
いる。その結果、遠くで検出された物体に対して３次元
座標に変換した後の物体抽出，量子化誤差があっても、
対応付けを成立させ、物体を追跡することが可能とな
る。

【００４８】図６に戻り具体的に説明する。図６（ａ）
の監視画面上の時刻ｔにおける物体位置ｐ１，ｐ２、時
刻ｔ＋１における物体予測位置ｑ１，ｑ２をそれぞれ、 ｐ１＝（２０，１００）、ｐ２＝（−５０，−１００） ｑ１＝（３０，１１０）、ｐ２＝（−３０，−１００） とする。また、時刻ｔ＋１における物体位置ｒ１，ｒ２
を、 ｒ１＝（４０，１００）、ｒ２＝（−４０，−１０２） とし、カメラ角度θ＝１０°，焦点距離ｆ＝８００〔ｐ
ｉｘｅｌ〕，カメラ高さＨ＝３〔ｍ〕の条件で３次元座
標に変換すると、以下のようになる。

【００４９】ここで、図６（ａ）の時刻ｔにおける物体
位置ｐ１，ｐ２、予測位置ｑ１，ｑ２に対応する図６
（ｂ）の地平面上での位置をそれぞれＰ１，Ｐ２，Ｑ
１，Ｑ２とする。 Ｐ１＝｛２０・３００／（１００ｃｏｓ１０°＋８００
ｓｉｎ１０°），（８００ｃｏｓ１０°−１００ｓｉｎ
１０°）・３００／（１００ｃｏｓ１０°＋８００ｓｉ
ｎ１０°），０｝＝（４３，３２４６，０）

【００５０】Ｐ２＝｛−５０・３００／（−１００ｃｏ
ｓ１０°＋８００ｓｉｎ１０°），（８００ｃｏｓ１０
°＋１００ｓｉｎ１０°）／（−１００・ｃｏｓ１０°
＋８００ｓｉｎ１０°），０｝＝（−３７１，５９７
４，０）

【００５１】Ｑ１＝｛３０・３００／（１１０ｃｏｓ１
０°＋８００ｓｉｎ１０°），（８００ｃｏｓ１０°−
１１０ｓｉｎ１０°）・３００／（１１０ｃｏｓ１０°
＋８００ｓｉｎ１０°），０｝＝（１２１，３１０９，
０） Ｑ２＝｛−３０・３００／（−１００ｃｏｓ１０°＋８
００ｓｉｎ１０°），（８００ｃｏｓ１０°＋１００ｓ
ｉｎ１０°）・３００／（−１００ｃｏｓ１０°＋８０
０ｓｉｎ１０°），０｝＝（−２２２，５９７４，０）

【００５２】同様に、時刻ｔでの物体位置ｒ１ ｒ２に
対応する地平面上での物体位置を、Ｒ１，Ｒ２とする
と、その座標は次のようになる。 Ｒ１＝｛４０・３００／（１００ｃｏｓ１０°＋８００
ｓｉｎ１０°），（８００ｃｏｓ１０°−１００ｓｉｎ
１０°）・３００／（１００ｃｏｓ１０°＋８００ｓｉ
ｎ１０°），０｝＝（１６９，３２４６，０） Ｒ２＝｛−４０・３００／（−１０２ｃｏｓ１０°＋８
００ｓｉｎ１０°），（８００ｃｏｓ１０°−１００ｓ
ｉｎ１０°）・３００／（−１０２ｃｏｓ１０°＋８０
０ｓｉｎ１０°），０｝＝（−３１２，６２８２，０）

【００５３】ここで、物体速度最大値ｖｍａｘ＝１８０
〔ｃｍ／ｓｅｃ〕として、対応付けの候補を選択する
と、 Ｐ１・Ｒ１＝√｛（４３−１６９）² ＋（３２４６−３
２４６）² ｝＝１２６≦ｖｍａｘ Ｐ１・Ｒ２＝√［｛４３−（−３１２）｝² ＋（３２４
６−６２８２）² ］＝３０５７＞ｖｍａｘ Ｐ２・Ｒ１＝√｛（−３７１−１６９））² ＋（５９７
４−３２４６）² ｝＝２７３５＞ｖｍａｘ Ｐ２・Ｒ２＝√［｛−３７１−（−３１２）｝² ＋（５
９７４−６２８２）² ］＝３１４＞ｖｍａｘ となり、Ｐ１・Ｒ１の組み合わせしか許容されない。

【００５４】しかし、Ｒ２の画面上での抽出座標に例え
ば１画素の誤差があり、真の物体位置がｒ２’＝（−４
１，−１０１）だったとすると、 Ｒ２’＝｛−４１・３００／（−１０１ｃｏｓ１０°＋
８００ｓｉｎ１０°），（８００ｃｏｓ１０°＋１０１
ｓｉｎ１０°）・３００／（−１０１ｃｏｓ１０°＋８
００ｓｉｎ１０°），０｝＝（−３１２，６１２４，
０） Ｐ２・Ｒ２＝√［｛−３７１−（−３１２）｝² ＋（５
９７４−６１２４）² ］＝１６１≦ｖｍａｘ となり、Ｐ２・Ｒ２の組み合わせも対応付けの候補とし
て残ることになる。

【００５５】このように、物体移動最大速度に量子化誤
差による項を付加し、例えば次式で補正したＶＭＡＸ値
を用いることで、このような不安定さを減少させること
ができる。 ＶＭＡＸ＝ｖｍａｘ＋ｋｖ・Ｙ ここで、ｋｖ＝０．０３とすると、 Ｙ＝ｍａｘ（Ｙｐ１，Ｙｒ１）＝３２４６では、ＶＭＡ
Ｘ＝２７７ Ｙ＝ｍａｘ（Ｙｐ２，Ｙｒ１）＝５９４６では、ＶＭＡ
Ｘ＝３５９ Ｙ＝ｍａｘ（Ｙｐ１，Ｙｒ２）＝６１２４では、ＶＭＡ
Ｘ＝３６４ となり、物体抽出誤差が含まれている結果に対して、い
ちいち誤差を修正した組み合わせ毎の対応付け候補の可
否を計算するより簡単な方法で、誤差がある場合でも対
応付け候補を安定に選択することができる。

【００５６】ここで、残った対応付け候補Ｐ１・Ｒ１，
Ｐ２・Ｒ２に対し、物体加速度最大値ａｍａｘ＝２５０
〔ｃｍ／ｓｅｃ² 〕として、対応付け評価値ｗ１１，ｗ
２２を求めると、次の数３で示す（１１）式のようにな
る。

【数３】

【００５７】これでは、比較的近くにあるＰ１・Ｒ１は
対応付けられるが、遠くにあるＰ２・Ｒ２は対応付けら
れず、Ｒ２は時刻ｔ＋１で新たに出現した物体となる。
したがって、ここでもＲ２’＝（−３１２，６１２４，
０）を用いると、次の数４で示す（１２）式のようにな
り、対応付けが可能となる。

【数４】

【００５８】また、このような誤差の影響を軽減するた
め、速度と同様に、誤差を考慮した最大加速度ＡＭＡＸ
を次式のように定める。 ＡＭＡＸ＝ａｍａｘ＋ｋａ・Ｙ ここで、ｋａ＝０．０３とすると、 Ｙ＝ｍａｘ（Ｙｑ１，Ｙｒ１）＝３２４６では、ＡＭＡ
Ｘ＝３４７ Ｙ＝ｍａｘ（Ｙｑ２，Ｙｒ２）＝６２８２では、ＡＭＡ
Ｘ＝４３９ となり、 ｗ１１＝｛（１２１−１６９）² ＋（３１０９−３２４
６）² ｝／３４７²＝０．１７５ ｗ２２＝｛−２２２−（−３１２）² ＋（５９７４−６
２８２）² ｝／４３９² ＝０．５３４ で、Ｐ２・Ｒ２に物体抽出誤差が含まれていても、対応
付けを行なうことが可能となる。このように、しきい値
補正を行なった場合の、対応付けの結果を図６（ｄ）に
示す。

【００５９】なお、以上では特徴量変換誤差補正部，座
標変換誤差補正部の双方を併設する実施例について説明
したが、この発明はいずれか一方だけを設ける場合も当
然に含むものとし、従来よりは安定性や精度を向上させ
ることができるのは言うまでもない。

【００６０】

【発明の効果】この発明によれば、２次元画像を用いて
３次元空間の物体監視を行なう物体監視装置において、
抽出された情報から物体抽出部により真の特徴量の存在
する可能性のある範囲を求め、この範囲内で最も高い物
体モデルの類似度を算出するようにしたので、物体抽出
誤差による影響を減少させることができる。また、物体
の抽出位置によって物体の速度，加速度の運動モデルの
しきい値に誤差項を付加し、物体抽出誤差に応じて対応
付けのためのしきい値を大きくするようにしたので、物
体抽出位置を３次元に変換した際の誤差の物体追跡に与
える影響を軽減することが可能となる利点が得られる。
さらには、これらを総合することで、所定範囲内の物体
抽出誤差があっても、物体抽出や物体追跡を安定かつ精
度良く行なうことができる。

【図面の簡単な説明】

【図１】この発明の実施例を示す構成図である。

【図２】図１の動作を示すフローチャートである。

【図３】この発明による特徴量補正方法の１例を説明す
る説明図である。

【図４】この発明による物体追跡方法の１例を示すフロ
ーチャートである。

【図５】この発明による対応付け候補選択方法例を説明
する説明図である。

【図６】物体の抽出位置と誤差との関係を説明する説明
図である。

【図７】物体の水平面上の解像度を説明する説明図であ
る。

【図８】物体の抽出位置座標と解像度との関係を説明す
る説明図である。

【図９】物体の抽出位置による対応付け範囲の大きさを
説明する説明図である。

【図１０】提案済み装置を示す構成図である。

【図１１】座標変換の原理説明図である。

【図１２】物体抽出誤差を説明する説明図である。

【図１３】座標変換における量子化誤差が速度に与える
影響を説明する説明図である。

【符号の説明】

１…撮像手段（テレビカメラ）、２…Ａ／Ｄ変換手段、
３…入力画像記憶部、４…変化領域抽出手段、５…変化
領域２値化画像、６…対象物体抽出手段、７…カメラパ
ラメータ記憶部、８…特徴量抽出部、９…物体特徴量記
憶部（２次元）、１０…座標変換部、１１…物体特徴量
記憶部（３次元）、１２…対象物体特徴量記憶部、１３
…特徴量変換誤差補正部、１４…対象物体領域決定部、
１５…対象物体情報記憶部（特徴量，３次元座標）、１
６…対象物体追跡手段、１７…誤差補正係数記憶部、１
８…対象物体運動パラメータ記憶部、１９…座標変換誤
差記憶部、２０…対応付け処理部、２１…物体予測位置
記憶部、２２…予測処理部、２３…対象物体軌跡記憶
部、２４…結果計算・出力手段、２５…監視結果。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山田 越生 神奈川県川崎市川崎区田辺新田１番１号 富士電機株式会社内 (72)発明者 清水 晃 東京都日野市富士町１番地 富士ファコム システム株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 時系列画像を入力する撮像手段と、監視
   領域の視野を構成する面とカメラ設置位置，カメラ姿勢
   およびレンズ焦点距離の関係から、カメラ座標より求め
   た２次元の特徴量を３次元空間上での特徴量に変換する
   特徴量変換手段と、同じく対象物体の２次元の座標位置
   を３次元空間上での座標位置に変換する座標変換手段
   と、前記特徴量変換手段より得られた３次元の特徴量を
   用いて、追跡対象となる対象物体の領域とその３次元位
   置を抽出する物体抽出手段と、連続する時刻間での対象
   物体位置の対応付けを行ない、物体の軌跡を決定する対
   応付け手段とを備えた物体監視装置において、 前記３次元の特徴量に対して２次元画面上で一定の抽出
   誤差を許容し、誤差分だけ特徴量の存在範囲を拡張する
   特徴量補正手段を設け、この補正された特徴量と対象物
   体モデルとの類似度を前記物体抽出手段により算出する
   ことを特徴とする物体監視装置。
2. 【請求項２】 時系列画像を入力する撮像手段と、監視
   領域の視野を構成する面とカメラ設置位置，カメラ姿勢
   およびレンズ焦点距離の関係から、カメラ座標より求め
   た２次元の特徴量を３次元空間上での特徴量に変換する
   特徴量変換手段と、同じく対象物体の２次元の座標位置
   を３次元空間上での座標位置に変換する座標変換手段
   と、前記特徴量変換手段より得られた３次元の特徴量を
   用いて、追跡対象となる対象物体の領域とその３次元位
   置を抽出する物体抽出手段と、連続する時刻間での対象
   物体位置の対応付けを行ない、物体の軌跡を決定する対
   応付け手段とを備えた物体監視装置において、 物体運動モデルに対して２次元画面上で一定の抽出誤差
   を許容し、３次元座標変換後の誤差分だけ前記物体運動
   モデルを拡張する運動モデル補正手段を設け、この補正
   された物体運動モデルを用いて前記対応付け手段により
   物体の対応付けを行なうことを特徴とする物体監視装
   置。
3. 【請求項３】 時系列画像を入力する撮像手段と、監視
   領域の視野を構成する面とカメラ設置位置，カメラ姿勢
   およびレンズ焦点距離の関係から、カメラ座標より求め
   た２次元の特徴量を３次元空間上での特徴量に変換する
   特徴量変換手段と、同じく対象物体の２次元の座標位置
   を３次元空間上での座標位置に変換する座標変換手段
   と、前記特徴量変換手段より得られた３次元の特徴量を
   用いて、追跡対象となる対象物体の領域とその３次元位
   置を抽出する物体抽出手段と、連続する時刻間での対象
   物体位置の対応付けを行ない、物体の軌跡を決定する対
   応付け手段とを備えた物体監視装置において、 前記３次元の特徴量に対して２次元画面上で一定の抽出
   誤差を許容し、誤差分だけ特徴量の存在範囲を拡張する
   特徴量補正手段と、物体運動モデルに対して２次元画面
   上で一定の抽出誤差を許容し、３次元座標変換後の誤差
   分だけ前記物体運動モデルを拡張する運動モデル補正手
   段とを設け、この補正された物体運動モデルを用いて、
   前記特徴量補正手段により補正された特徴量と対象物体
   モデルとの類似度から抽出される対象物体の対応付けを
   行なうことを特徴とする物体監視装置。