JP5603663B2 - 移動体軌跡表示装置および移動体軌跡表示プログラム - Google Patents

Description

本発明は、移動体軌跡表示装置および移動体軌跡表示プログラムに関し、特に、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示する、移動体軌跡表示装置および移動体軌跡表示プログラムに関する。

従来、とりわけ監視分野において、撮影手段としての監視カメラから得られる撮影映像に侵入者等の移動体（厳密には移動体の像）が現れたときに、その移動体の軌跡を当該撮影映像に表示する技術が、種々提案されている。例えば、特許文献１には、撮影領域が固定のいわゆる固定カメラから得られる撮影映像に、移動体としての検知人物の重心と、当該検知人物の移動方向を示す矢線と、を表示する技術が、開示されている。また、特許文献２には、撮影映像そのものではなく、監視対象である敷地全体の平面図を模擬したマップ画像上に、移動体の現在位置を示す移動体マークと、当該移動体の移動経路を示す軌跡線と、を表示する技術が、開示されている。

特開平１１−４１５８９号公報（第００９８段落および図２９） 特開２００９−２１０３３１号公報（第００２３段落および図６）

しかしながら、従来、ＰＴＺ（Pan-Tilt-Zoom）カメラのような撮影領域が可変の可動カメラから得られる撮影映像、特に移動体を自動追尾するようパン／チルト／ズーム動作している状態にある可動カメラから得られる撮影映像に、移動体の軌跡を表示する技術は、存在しない。このような技術が監視分野に適用されれば、より適確かつ効果的さらには斬新な監視が実現される、と期待される。

そこで、本発明は、ＰＴＺカメラのような撮影領域が可変の撮影手段による撮影映像に移動体の軌跡を表示し得る新規な技術を提供することを、目的とする。

この目的を達成するために、本発明は、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示する移動体軌跡表示装置であって、当該複数のフレーム画像それぞれにおける移動体の位置を検出する位置検出手段を、具備する。そして、この位置検出手段による検出位置を最新のフレーム画像における位置に変換する位置変換手段をも、具備する。さらに、この最新のフレーム画像上の位置変換手段による変換後位置に移動体のシンボルを重畳して出力用の出力画像を生成する出力画像生成手段を、具備する。

即ち、本発明によれば、撮影領域が可変の撮影手段、例えばＰＴＺカメラ、によって、複数のフレーム画像が順次得られる。そして、これら複数のフレーム画像によって、いわゆる動画像としての撮影映像が構成される。ここで、それぞれのフレーム画像における移動体の位置が、位置検出手段によって検出される。そして、この位置検出手段による検出位置、つまりそれぞれのフレーム画像における移動体の位置が、位置変換手段によって、最新（直近）のフレーム画像における位置に変換される。さらに、この最新のフレーム画像上の位置変換手段による変換後位置、つまり当該最新のフレーム画像上に置き換えられたそれぞれのフレーム画像における移動体の位置に、当該移動体のシンボルが重畳された出力画像が、出力画像生成手段によって生成される。この出力画像上のシンボルは、移動体が辿ってきた過去の位置を表し、つまり当該移動体の軌跡を表す。

なお、本発明は、撮影手段自体にも、適用することができる。特に、当該撮影手段が、例えばコンビネーションカメラと呼ばれるＣＰＵ（Central Processing Unit）を備えたＰＴＺカメラである場合には、この撮影手段としてのコンビネーションカメラ自体にも、本発明を搭載することができる。

また、本発明では、位置検出手段による検出位置に基づいて、それぞれのフレーム画像における移動体を含む部分を特定する特定手段が、備えられてもよい。この場合、出力画像生成手段は、当該特定手段によって特定された移動体を含む部分の画像をシンボルとして最新のフレーム画像に重畳するのが、望ましい。この構成によれば、移動体の軌跡が、当該移動体自体の画像によって表示される。

さらに、出力画像生成手段は、各フレーム画像の時系列順に応じて、当該各フレーム画像に対応するシンボルの表示態様を変化させるものであってもよい。この構成によれば、移動体が辿ってきた位置の順番が、シンボルの表示態様から認識することができる。

本発明は、移動体軌跡表示プログラムをも提供する。即ち、本発明に係る移動体軌跡表示プログラムは、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像それぞれにおける移動体の位置を検出する位置検出手順と、この位置検出手順による検出位置を最新のフレーム画像における位置に変換する位置変換手順と、当該最新のフレーム画像上の位置変換手順による変換後位置に移動体のシンボルを重畳して出力画像を生成する出力画像生成手順と、をコンピュータに実行させるものである。

上述したように、本発明によれば、ＰＴＺカメラのような撮影領域が可変の撮影手段による撮影映像に移動体の軌跡が表示され、詳しくは移動体が辿ってきた過去の位置に当該移動体のシンボルが表示される。従って、例えば監視分野において、特許文献１および２に開示された従来技術では期待し得ない、より適確かつ効果的さらには斬新な監視が実現される。

本発明の一実施形態に係る監視システムの構成を概略的に示すブロック図である。 同実施形態における監視対象を概略的に示す図解図である。 図３の監視対象に移動体が現れた当初の状態を示す図解図である。 図２の状態におけるディスプレイの表示映像を示す図解図である。 図３の状態におけるディスプレイの表示映像を示す図解図である。 図５に続くディスプレイの表示映像を示す図解図である。 図６を含むディスプレイの表示映像の推移を示す図解図である。 同実施形態における変換式演算部による処理の内容を説明するための図解図である。 同変換式演算部を構成するためのパーソナルコンピュータの具体的な動作の流れを示すフローチャートである。 同実施形態におけるディスプレイの表示映像の別例を示す図解図である。 図１０とはさらに異なる例を示す図解図である。 図１１とはさらに異なる例を示す図解図である。 図１２の例の具体的態様を説明するための図解図である。 図１２とはさらに異なる例を示す図解図である。

本発明の一実施形態について、図１に示す監視システム１０を例に挙げて説明する。

同図に示すように、本実施形態に係る監視システム１０は、撮影手段としてのドーム型のＰＴＺカメラ（以下、単にカメラと言う。）１２と、このカメラ１２が接続されるパーソナルコンピュータ（以下、略してＰＣと言う。）１４と、を備えている。

ＰＣ１４は、自身にインストールされた制御プログラム、特に当該制御プログラムを構成するサブプログラムとしての自動追尾プログラム、を実行することで、カメラ１２から得られる撮影映像に後述する移動体１００が現れたときに、これを自動的に追尾するよう当該カメラ１２のパン角／チルト角／ズーム倍率（画角）を制御するカメラ制御装置として機能する。併せて、ＰＣ１４は、制御プログラムを構成する別のサブプログラムとしての移動体軌跡表示プログラムを実行することで、カメラ１２からの撮影映像上に移動体１００の軌跡を表示する移動体軌跡表示装置としても機能する。なお、これらの機能を実現するためのＰＣ１４の具体的な態様については、後で詳しく説明する。また、ＰＣ１４にインストールされる制御プログラムは、例えば図示しないＣＤ−ＲＯＭ（Compact Disc ROM）やＤＶＤ（Digital Versatile Disc）等の記憶媒体を介して、或いは、インターネット等の電気通信回線を介して、供給される。さらに、ＰＣ１４には、カメラ１２からの撮影映像を含む各種情報を表示するための情報出力手段としてのディスプレイ１６が接続されている。加えて、当該ＰＣ１４に各種命令を入力するための図示しないマウスやキーボード等の命令入力手段も接続されている。

この監視システム１０によって、今、図２に示すような家２００，木３００，池４００および自動車５００が存在する領域が監視される、と仮定する。そして、この監視対象において、図３に示すように、家２００の近傍に人間等の移動体１００が現れると共に、この移動体１００が、同図に矢印６００で示すように、当該家２００の近傍から木３００と池４００との間を通って自動車５００に向かって移動する、とする。

この場合、監視対象に移動体１００が現れる直前までは、つまり図２に示した状態においては、カメラ１２による撮影領域に当該監視対象全体が収まるように、当該カメラ１２のパン角／チルト角／ズーム倍率が制御される。言わば、カメラ１２は、広角撮影を行う初期状態（ホームポジション）にある。そして、この初期状態にあるカメラ１２からの撮影映像が、図４に示すようにディスプレイ１６に表示される。

続いて、図３に示した如く監視対象に移動体１００が現れると、ディスプレイ１６に表示される撮影映像上にも、当然に、図５に示す如く当該移動体１００が現れる。そして、この撮影映像上の移動体１００は、フレーム差分法や背景差分法等の公知の移動体検出法によって検出され、言わばロックオンされる。そして、このロックオンされたことを表現するべく、当該ロックオンされた移動体１００を囲む（内接させる）ように、撮影映像上に矩形の枠１１０が表示される。なお、この矩形枠１１０は、図５においては破線で示されているが、実際には赤色の実線で示される。勿論、これ以外の態様（色や線図）で当該矩形枠１１０が表示されてもよい。さらに、この矩形枠１１０とは別個に、撮影映像上の移動体１００の所定位置、例えば重心位置に、当該移動体１００の現在位置を表す例えば赤色丸印の現在位置マーク１２０が表示される。この現在位置マーク１２０についても、これ以外の態様で表示されてもよい。

このように撮影映像上で移動体１００がロックオンされると、このロックオンされた移動体１００がカメラ１２によって適当な構図かつ大きさで撮影されるように、当該カメラ１２のパン角／チルト角／ズーム倍率が制御され、いわゆるズームアップされる。これにより、図６に示すように、移動体１００が適当にズームアップされた撮影映像がディスプレイ１６に表示される。また、このズームアップされた撮影映像上でも、矩形枠１１０と現在位置マーク１２０とが表示される。なお、矩形枠１１０の大きさは、ズームアップされる前と後とで移動体１００の大きさに応じて変わるが、現在位置マーク１２０の大きさは、不変である。

そして、図３に矢印６００で示した如く移動体１００が移動すると、この移動体を追い掛けるように、カメラ１２のパン角／チルト角／ズーム倍率が自動的に制御され、つまり当該カメラ１２による自動追尾が行われる。これに伴い、ディスプレイ１６に表示されるカメラ１２からの撮影映像が、図７の（ａ）〜（ｌ）に示すように推移する。なお、図７（ａ）は、図６に示したのと同じ映像である。さらに、この時々刻々と推移する撮影映像においても、矩形枠１１０と現在位置マーク１２０とが表示される。加えて、特に図７の（ｂ）〜（ｌ）に示すように、現在位置マーク１２０が辿ってきた過去の位置に、移動体１００の軌跡を表す丸印の軌跡マーク１３０が順次表示されると共に、現在位置マーク１２０を先頭として各軌跡マーク１３０を時系列で順次結ぶように、直線状の軌跡線１４０が付される。詳しくは、カメラ１２からの撮影映像は、１秒間に３０フレームというフレームレートで更新されるが、この撮影映像がＭ（Ｍ；１以上の整数）フレームずつ更新されるたびに、矩形枠１１０と現在位置マーク１２０との表示が改められる。これと同様に、軌跡マーク１３０と軌跡線１４０との表示も改められる。

なお、軌跡マーク１３０の表示個数Ｑは、無限（厳密にはカメラ１２による撮影可能な領域内に移動体１００が存在する限り無限）であってもよいが、本実施形態では、制限されており、例えば最大でＱ＝１０〜２０程度とされている。勿論、この値に限らない。また、軌跡マーク１３０は、新しいものと古いものとで互いに異なる態様で表示され、例えば新しいものほど白っぽい色（高輝度）で表示され、古いものほど黒っぽい色（低輝度）で表示される。

撮影映像（厳密にはカメラ１２による撮影可能領域内）から移動体１００が消えると、当該移動体１００に対するロックオンが解除され、カメラ１２による自動追尾が終了する。これに伴い、矩形枠１１０，現在位置マーク１２０，軌跡マーク１３０および軌跡線１４０の表示も終了する。そして、カメラ１２は、初期状態に戻る。

このように、本実施形態によれば、自動追尾しているカメラ１２からの撮影映像上に、移動体１００の現在位置を表す現在位置マーク１２０と、この現在位置マーク１２０が辿ってきた位置を表す軌跡マーク１３０と、当該現在位置マーク１２０を先頭として各軌跡マーク１３０を結ぶ軌跡線１４０と、が表示され、つまり移動体１００の軌跡が表示される。そして、この移動体１００の軌跡から、当該移動体１００の移動方向が分かる。また、特に現在位置マーク１２０および各軌跡マーク１３０間の距離から、言い換えれば各軌跡線１４０の長さ寸法から、移動体１００の移動速度が分かる。従って、上述した特許文献１および２に開示された従来技術では期待し得ない、より適確かつ効果的さらには斬新な監視が実現される。

このような機能を奏するために、本実施形態におけるＰＣ１４は、上述した制御プログラムを実行することで、次のような構成となる。

即ち、改めて図１を参照して、ＰＣ１４は、カメラ１２からの撮影映像（ビデオ信号）の入力を受け付ける、詳しくは当該撮影映像を構成するフレーム画像の入力を受け付ける、画像入力部２２を形成する。この画像入力部２２は、カメラ１２から入力されるアナログ態様のフレーム画像をデジタル態様に変換する。そして、デジタル態様に変換されたフレーム画像は、出力画像生成手段としての出力画像生成部２４に入力される。

出力画像生成部２４は、これに入力されるフレーム画像に移動体１００が存在しないときは、当該フレーム画像をそのまま画像出力部２６に送る。画像出力部２６は、出力画像生成部２４からのフレーム画像をアナログ態様に変換する。そして、この画像出力部２６によってアナログ態様に変換されたフレーム画像は、外部に出力され、ひいてはディスプレイ１６に入力される。これにより、ディスプレイ１６に動画像としての撮影映像が表示される。

さらに、上述の画像入力部２２によってデジタル態様に変換されたフレーム画像は、変換式演算手段としての変換式演算部２８と、位置検出手段としての移動体検出部３０と、にも入力される。このうちの移動体検出部３０は、画像入力部２２から入力されるフレーム画像に移動体１００が現れたときに、これを上述した公知の移動体検出法によって検出すると共に、当該移動体１００の重心位置（座標）を求める。そして、求めた重心位置を、カメラ制御部３２に伝える。カメラ制御部３２は、移動体検出部３０から伝えられた移動体１００の重心位置に基づいて、当該移動体１００をズームアップすると共に、自動追尾するよう、カメラ１２のパン角／チルト角／ズーム倍率を制御する。

また、移動体検出部３０によって求められた移動体１００の重心位置、言い換えれば当該移動体１００の現在位置は、現在位置記憶手段としての後述する現在位置記憶部３４に記憶される。加えて、当該移動体検出部３０によって移動体１００の重心位置が求められたこと、言い換えれば自動追尾が開始されたことが、変換式演算部２８に伝えられる。

変換式演算部２８は、移動体検出部３０から自動追尾が開始されたことを伝えられると、上述したＭフレームごと（Ｍ−１フレーム置き）にフレーム画像を記憶する。具体的には、当該変換式演算部２８は、図示しない２フレーム分の記憶領域を有しており、この２フレーム分の記憶領域に、いわゆるＦＩＦＯ（First-In/First-Out）方式で、Ｍフレームごとにフレーム画像を記憶する。そして、最も直近に記憶された最新のフレーム画像、言わば現フレーム画像と、そのＭフレーム前に記憶されたフレーム画像、言わば前フレーム画像と、の間で、互いに対応する特徴部分としての特徴点を抽出する。より具体的には、前フレーム画像について、例えば公知のハリス法（ハリス・コーナ・ディテクタ）を用いて、Ｎ（Ｎ；１以上の整数）個の特徴点を求める。このとき、いわゆる特徴点らしさの高いものから順に、当該Ｎ個の特徴点を求める。そして、この前フレーム画像におけるＮ個の特徴点が現フレーム画像上の何処に位置するのかを、例えば公知のＫＬＴ法（Kanade-Lucas
Feature Tracker）を用いて推定する。この結果、前フレーム画像と現フレーム画像との間で互いに対応するＮ’（Ｎ’；１以上の整数）個の特徴点が抽出される。なお、この各フレーム画像間で互いに対応するＮ’個という特徴点の数は、前フレーム画像について抽出されるＮ個という特徴点の数以下（Ｎ’≦Ｎ）である。これは、前フレーム画像について抽出されるＮ個の特徴点のうち、現フレーム画像上に置き換えられたときに、当該現フレーム画像上から外れるものがあり得るからである。また、推定ミスも、その原因となる。このため、前フレーム画像について抽出される特徴点の数Ｎは、比較的に多めの例えば数十個〜数百個とされ、概ねＮ＝１００〜２００が適当とされる。

さらに、変換式演算部２８は、上述の各フレーム画像間で互いに対応するＮ’個の特徴点の位置関係に基づいて、当該前フレーム画像における任意の点の座標Ｘを現フレーム画像における座標Ｙに変換するための次の式１で表される座標変換式を求める。なお、この式１は、説明の便宜上、簡素的に表現されたものであり、実際には例えば一般に知られている射影変換式である。また、この式１においては、左辺の座標Ｙと右辺の座標Ｘとが、それぞれ当該ＹおよびＸという１つの符号によって表現されているが、実際には２次元の座標値（水平座標値および垂直座標値）を含んでいる。加えて、当該式１は、８個の変換係数を含んでいる。

《式１》
Ｙ＝ｆ（Ｘ）

これについてより詳しく説明すると、例えば、今、図８に誇張して示すように、（ａ）の前フレーム画像におけるＸ１，Ｘ２，…という各特徴点が、（ｂ）の現フレーム画像におけるＹ１，Ｙ２，…という各特徴点に対応する、とする。そして、この対応の組合せが、全部でＮ’個ある、とする。変換式演算部２８は、これらＮ’個の組合せについて、前フレーム画像における各特徴点Ｘ１，Ｘ２，…の座標と、現フレーム画像における各特徴点Ｙ１，Ｙ２，…の座標と、の相互の関係式を、上述の式１に準拠して、次の式２の如く組み立てる。

《式２》
Ｙ１＝ｆ（Ｘ１）
Ｙ２＝ｆ（Ｘ２）
：
ＹＮ’＝ｆ（ＸＮ’）

そして、変換式演算部２８は、この式２で表されるＮ’個（組）の座標関係式を用いて、例えば最小２乗法等の適宜の回帰分析法により、上述の式１に含まれる未知数としての８個の変換係数を求める。そして、これらの変換係数が式１に代入されることで、前フレーム画像における座標Ｘを現フレーム画像における座標Ｙに変換するための当該式１が求められる。なお、ここでの詳しい説明は省略するが、当該変換係数が式１に代入される際に、それらの妥当性が適宜の要領で確認されることが前提とされてもよい。

また、変換式演算部２８は、次の新たなフレーム画像を記憶する際に、言い換えれば現フレーム画像を新たな前フレーム画像とする際に、当該新たな前フレーム画像の特徴点の数Ｎ’がＮという規定数に満たない（Ｎ’＜Ｎ）場合には、その不足分（＝Ｎ−Ｎ’）を上述したハリス法によって新たに抽出し、追加する。これによって、新たな前フレーム画像についても、Ｎ個の特徴点が定められる。ただし、自動追尾が開始された直後は、１つのフレーム画像のみ得られるので、変換式演算部２８は、この最初の１フレーム画像を前フレーム画像として記憶すると共に、当該前フレーム画像についてＮ個の特徴点を抽出するに留め、式１については求めない（厳密には求めることができない）。

図１に戻って、変換式演算部２８によって上述の如く式１が求められると、この式１は、位置変換手段としての座標変換部３６に与えられる。その一方で、上述したように、移動体検出部３０によって検出された移動体１００の現在位置が現在位置記憶部３４に記憶されるが、この現在位置記憶部３４に記憶される移動体１００の現在位置は、厳密には、上述した変換式演算部２８によるＭフレームごとというフレーム画像の記憶タイミングに同期して当該Ｍフレームごとに記憶される。また、この現在位置記憶部３４に新たな現在位置が記憶されるたびに、それまで当該現在位置記憶部３４に記憶されていた元の現在位置が、Ｍフレーム前の移動体１００の位置を表す言わば前位置として、前位置記憶手段を成す前位置記憶部３８に記憶される。座標変換部３６は、この前位置記憶手段３８から前位置を取得し、この前位置の座標を、変換式演算部２８から与えられる式１に基づいて、現フレーム画像における座標に変換する。この座標変換部３６による変換後座標は、変換後位置記憶部４０に記憶される。

変換後位置記憶部４０に記憶された変換後座標は、出力画像生成部２４に取り込まれる。併せて、出力画像生成部２４は、現在位置記憶部３４から現在位置を取得する。また、出力画像生成部２４には、上述したように画像入力部２２からフレーム画像が入力される。出力画像生成部２４は、画像入力部２２から入力されるフレーム画像上の、つまり現フレーム画像上の、当該現在位置に、上述した現在位置マーク１２０を重畳すると共に、当該変換後座標で示される位置に、軌跡マーク１３０を重畳する。さらに、出力画像生成部２４は、これら現在位置マーク１２０と軌跡マーク１３０とを結ぶように、軌跡線１４０をも重畳する。このように現在位置マーク１２０と軌跡マーク１３０と軌跡線１４０とが重畳された現フレーム画像は、出力フレーム画像として、画像出力部２６に入力され、ひいてはディスプレイ１６に表示される。

なお、自動追尾が開始された直後は、変換後座標が存在しないので、ディスプレイ１６には、図６および図７（ａ）に示した如く現在位置マーク１２０は表示されるが、軌跡マーク１３０および軌跡線１４０は表示されない。そして、当該変換後座標が初めて得られたときに、図７（ｂ）に示した如く現在位置マーク１２０と共に、１つの軌跡マーク１３０と１本の軌跡線１４０とが表示される。

さらに、座標変換部３６による変換後座標は、改めて前位置記憶部３８に記憶される。詳しくは、この前位置記憶部３８に記憶される変換後位置は、現在位置記憶部３４経由で記憶される前位置よりもさらに前（過去）の位置として、当該前位置記憶部３８に記憶される。そして、座標変換部３６は、次回の変換の際に、前位置記憶手段３８から全ての前位置を取得し、これら全ての前位置について、当該変換を行う。なお、各前位置には、それぞれの時系列順を表す時系列情報が付属されている。勿論、現在位置にも、当該時系列情報が付属されている。

この結果、図７（ｃ）〜（ｌ）に示した画像が、ディスプレイ１６に順次表示される。即ち、移動体１００の現在位置に、現在位置マーク１２０が付されると共に、この現在位置マーク１２０が辿ってきた各前位置に、軌跡マーク１３０が付され、さらに、当該現在位置マーク１２０を先頭として各軌跡マーク１３０を時系列で結ぶように、軌跡線１４０が付される。なお、軌跡線１４０によって結ばれる各軌跡マーク１３０の順番は、上述の時系列情報に基づく。また、この時系列情報に基づいて、上述の如く新しい軌跡マーク１３０ほど白っぽい色で表示され、古い軌跡マーク１３０ほど黒っぽい色で表示される。

なお、前位置記憶部３８に記憶される移動体１００の前位置の個数は、無限ではなく、Ｑ個に制限される。そして、このＱ個という記憶個数を超えると、前位置記憶部３８に記憶されている前位置は、古いものから順に廃棄される。この結果、ディスプレイ１６に表示される軌跡マーク１３０は、上述の如く当該Ｑ個という個数に制限される。このＱ個という前位置の最大記憶個数は、図示しない上述した命令入力手段によって任意に設定可能とされている。また、このように最大記憶個数Ｑを制限するのではなく、出力画像生成部２４によって表示される軌跡マーク１３０そのものの個数Ｑを制限してもよい。

ここで、上述の変換式演算部２８を構成するためのＰＣ１４（ＣＰＵ）の具体的な動作について、図９を参照して説明する。

同図に示すように、ＰＣ１４は、自動追尾が開始されると、ステップＳ１に進み、フレームをカウントするためのカウント値ｍをｍ＝１とし、言わば初期化する。そして、ＰＣ１４は、ステップＳ３に進み、（画像入力部２２から）１フレーム画像を取得する。

さらに、ＰＣ１４は、ステップＳ５に進み、上述のステップＳ３で取得されたフレーム画像が自動追尾開始後に初めて取得されたものであるか否か、つまり当該ステップＳ３が自動追尾開始後に初めて実行されたか否か、を判断する。このステップＳ５において、例えば、当該ステップＳ３が初めて実行された場合、ＰＣ１４は、ステップＳ７に進み、当該ステップＳ３で取得されたフレーム画像を前フレーム画像として記憶する。そして、ステップＳ９に進み、当該前フレーム画像について、上述したハリス法によりＮ個の特徴点を抽出する。

ステップＳ９の実行後、ＰＣ１４は、ステップＳ１１に進み、ｍというカウント値と、上述したＭというフレーム数を表す値と、を比較する。そして、例えば、ｍというカウント値がＭというフレーム数よりも小さい（ｍ＜Ｍ）場合、つまりフレーム画像の取得枚数ｍがＭフレームに達しない場合は、ステップＳ１３に進み、当該ｍというカウント値を１だけインクリメントする。なお、このステップＳ１３は、フレーム画像が１つ取得されるごとに実行される。そして、ＰＣ１４は、改めてステップＳ１１に戻る。つまり、フレーム画像の取得枚数ｍがＭフレームに達するまで、ステップＳ１１とステップＳ１３とが繰り返される。

ステップＳ１１において、フレーム画像の取得枚数ｍがＭフレームに達すると（ｍ＝Ｍ）、ＰＣ１４は、ステップＳ１５に進む。そして、このステップＳ１５において、自動追尾が終了したか否かを判断し、当該自動追尾が終了すると、この図９に示す一連の動作をも終了する。一方、自動追尾が終了していない場合には、ステップＳ１に戻る。

上述のステップＳ５において、その前のステップＳ３で取得されたフレーム画像が自動追尾開始後に初めて取得されたものでない場合、ＰＣ１４は、ステップＳ１７に進む。そして、このステップＳ１７において、当該ステップＳ３で取得されたフレーム画像を現フレーム画像として記憶する。

さらに、ＰＣ１４は、ステップＳ１９に進み、上述のステップＳ９で抽出された前フレーム画像のＮ個の特徴点が現フレーム画像上の何処に位置するのかを、ＫＬＴ法によって推定する。なお、この推定された現フレーム画像上の特徴点の数Ｎ’は、前フレーム画像上で抽出された特徴点の数Ｎ以下（Ｎ’≦Ｎ）であることは、上述した通りである。

ステップＳ１９の実行後、ＰＣ１４は、ステップＳ２１に進み、前フレーム画像と現フレーム画像との間で互いに対応するＮ’個の特徴点の組合せについて、上述した式２の座標関係式を組み立てる。そして、ステップＳ２３に進み、これらＮ’個の座標関係式を用いた最小２乗法（またはこれ以外の適宜の回帰分析法）により、前フレーム画像における任意の座標Ｘを前フレーム画像における座標Ｙに変換するための上述した式１の座標変換式を求める。この式１の座標変換式は、座標変換部３６に与えられ、当該座標変換部３６による座標変換処理に用いられる。

そして、ＰＣ１４は、ステップＳ２５に進み、現フレーム画像における特徴点の数Ｎ’と前フレーム画像における特徴点の数Ｎとを比較する。このステップＳ２５において、例えば、現フレーム画像における特徴点の数Ｎ’が前フレーム画像における特徴点の数Ｎよりも小さい場合、つまり次に前フレーム画像となる当該現フレーム画像における特徴点の数Ｎ’がＮという規定数に満たない（Ｎ’＜Ｎ）場合は、ステップＳ２７に進む。そして、このステップＳ２７において、特徴点の不足分（＝Ｎ−Ｎ’）をハリス法によって追加抽出した後、ステップＳ２９に進む。一方、ステップＳ２５において、現フレーム画像における特徴点の数Ｎ’が規定数Ｎを満たす（Ｎ’＝Ｎ）場合は、ステップＳ２７をスキップして、直接ステップＳ２９に進む。

ステップＳ２９において、ＰＣ１４は、現フレーム画像を前フレーム画像として記憶し直す。これに伴い、これまでの前フレーム画像は、廃棄される。そして、このステップＳ２９の実行後、ステップＳ１１に進む。

このようにＰＣ１４が動作することによって、言わばソフトウェア的に変換式演算部２８が構成される。

なお、本実施形態においては、図７に示したように、ディスプレイ１６の画面全体に撮影映像が表示されるようにしたが、これに限らない。例えば、図１０に示すように、当該撮影映像が１フレームずつサムネイル的に縮小された縮小画像が複数フレーム分にわたって並んで表示されるようにしてもよい。因みに、この図１０は、ディスプレイ１６の画面の左側から右側に向かって４つの縮小画像が順番に表示されると共に、この４つの縮小画像の列がディスプレイ１６の画面の上方から下方に向かって３段に表示される例、つまり合計１２フレーム分の縮小画像が一括表示される例、を示す。また、各縮小画像の下方には、それぞれのフレーム番号（更新順）が付されており、１３フレーム以降の各フレームの縮小画像は、表示中の各縮小画像をフレーム番号の小さいものから順に上書きするように表示される。このような表示態様によれば、ディスプレイ１６の画面全体に撮影映像が表示される態様では認識し難い移動体１００の動き等が認識し易くなり、より適確かつ効果的さらには斬新な監視の実現に貢献するものと期待される。勿論、１２フレーム分の縮小画像に限らず、これ以外の複数フレーム分の縮小画像が、一括表示されてもよい。また、（Ｍフレームごとに順次生成される）全ての出力フレーム画像に基づく縮小画像を表示させるのではなく、例えば当該出力フレーム画像をＰ（Ｐ；１以上の整数）個置きに取り出し、このＰ個置きに取り出された出力フレーム画像に基づく縮小画像のみを表示させてもよい。

さらに、図１１に示すように、カメラ１２が初期状態にあるときの撮影映像、例えば自動追尾が開始される直前のフレーム画像、を基準の画像とし、この基準画像上に、現在位置マーク１２０，軌跡マーク１３０および軌跡線１４０が付され、当該基準画像がディスプレイ１６に表示されるようにしてもよい。この場合、自動追尾中のカメラ１２から順次得られるフレーム画像（つまり現フレーム画像）における移動体１００の位置が、上述したＭフレームごとに求められる。そして、この現フレーム画像上の移動体１００の現在位置座標が、基準画像（つまり初期状態時のフレーム画像）上の座標に変換されると共に、この変換後の座標位置に、現在位置マーク１２０が付される。併せて、過去の変換後座標位置に、軌跡マーク１３０が付される。さらに、これら現在位置マーク１２０および軌跡マーク１３０間を結ぶように、軌跡線１４０が付される。加えて、現フレーム画像全体または当該現フレーム画像のうちの少なくとも移動体１００と矩形枠１００とを含む部分が、いわゆるモザイキング処理によって、基準画像上に重畳される。これにより、移動体１００および矩形枠１１０についても、広角な基準画像上に表示され、当該移動体１００の推移が別の観点から認識し易くなるものと期待される。このモザイキング処理は、現フレーム画像における重畳対象部分の各点の座標が基準画像上の座標に変換されると共に、この基準画像上の当該変換後の各座標位置に現フレーム画像における各対応点が重畳されることで、実現される。

また、このモザイキング処理を利用して、図１１における軌跡マーク１３０および軌跡線１４０に代えて、図１２に示すように、自動追尾中に得られる移動体１００の画像が、基準画像上に重畳されてもよい。即ち、Ｍフレームごとに現フレーム画像のうちの移動体１００を含む部分が切り出され、この切り出された部分が、基準画像上に重畳されてもよい。ただし、この場合、重畳される画像が、例えば図１３に一点鎖線１５０で示すようなサイズを持つ、とすると、当該重畳画像１５０のうちの古いものが新しいものによって上書きされ、同図に斜線模様１６０で示す如く陰となって消えてしまう部分が生じることがある。これを回避するために、例えば重畳画像１５０のサイズを小さくしたり、上述したＭフレームという言わば重畳周期を長くしたりする等の適宜の工夫を講ずる必要がある。

勿論、基準画像は、初期状態時のフレーム画像に限らず、任意のフレーム画像であってもよい。

加えて、上述の如く任意のフレーム画像を基準画像としてこれに自動追尾中のフレーム画像の一部を重畳するのではなく、当該自動追尾中のフレーム画像そのものをモザイキング処理により適宜に貼り合わせた画像を表示してもよい。そうするには、例えば図１４に示すように、初期状態時のフレーム画像と同じ座標系が設定された無地の言わばホワイトカンバス的な基準画像７００が、用意される。そして、この基準画像７００上に、Ｍフレームごとの現フレーム画像における移動体１００を含む部分１５０が、重畳される。この場合、各重畳画像１５０が連続する（重なり合う）ように、かつ、家２００等の背景が適宜に表示されるように、当該重畳画像１５０のサイズが定められる。そして、この場合も、図１３を参照しながら説明したのと同様に、陰１６０が生じることがあるので、この陰１６０が可能な限り目立たないようにすることが、必要になる。いずれにしても、移動体１００の推移が認識し易い表示とすることが、肝要である。

本実施形態においては、現在位置マーク１２０の他に、軌跡マーク１３０と軌跡線１４０とが表示されるようにしたが、これに限らない。例えば、当該軌跡マーク１３０と軌跡線１４０との一方のみが表示されてもよい。また、軌跡マーク１３０については、新しいものほど白っぽく表示され、古いものほど黒っぽく表示されるようにしたが、これとは逆であってもよいし、虹色の如く異なる色彩が付されてもよい。勿論、全ての軌跡マーク１３０が同じ態様で表示されてもよい。加えて、移動体１００の移動方向が分かるように、矢印等によって当該軌跡マーク１３０が表現されてもよい。そして、矩形枠１１０については、表示されなくてもよい。

併せて、本実施形態では、前フレーム画像の特徴点をハリス法によって求めることとしたが、これに限らない。例えば、ＳＩＦＴ（Scale Invariant Feature Transform）法等の他のアルゴリズムを用いて、当該特徴点を抽出してもよい。

さらに、前フレーム画像の特徴点が現フレーム画像上の何処に位置するのかをＫＬＴ法によって推定することで、これら前フレーム画像と現フレーム画像との間で互いに対応する特徴点を抽出することとしたが、これに限らない。例えば、ＫＬＴ法に代えて、テンプレートマッチング法等の他のアルゴリズムを用いて、前フレーム画像の特徴点の動きを推定してもよい。また、特徴点の移動を推定するのではなく、前フレーム画像と現フレーム画像との間で互いに対応する特徴点を、それらの類似度に基づいて抽出する適宜のアルゴリズムを用いてもよい。そして、特徴点に限らず、例えば線や面等の或る程度の範囲を持つ特徴部分を抽出してもよい。

また、本実施形態では、座標変換部３６による変換後座標が改めて前位置記憶部３８に記憶されると共に、この前位置記憶部３８に記憶された変換後座標を含む全ての前位置が座標変換部３６による次回の変換の際に当該変換の対象とされることで、結果的に最大Ｑ個の軌跡マーク１３０が表示されるようにしたが、これに限らない。例えば、次のような構成が採用されてもよい。即ち、変換式演算部２８は、現フレーム画像を記憶するための１フレーム分の記憶領域と、過去Ｑフレーム分の前フレーム画像を記憶するための当該Ｑフレーム分の記憶領域と、を有するものとする。そして、これら合計［Ｑ＋１］フレーム分の記憶領域に、上述したＦＩＦＯ方式で、Ｍフレームごとにフレーム画像が記憶されると共に、当該［Ｑ＋１］フレーム分のフレーム画像のうち、現フレーム画像と、それぞれの前フレーム画像と、の間で、式１に示した座標変換式が求められ、この座標変換式が、座標変換部３６に与えられる。併せて、それぞれの前フレーム画像における移動体１００の位置座標、つまり当該それぞれの前フレーム画像が現フレーム画像であったときに移動体検出部３０によって検出された移動体１００の位置座標が、現在位置記憶部３４経由で前位置記憶部３８に記憶され、ひいては座標変換部３６に取り込まれる。座標変換部３６は、それぞれの前フレーム画像における移動体１００の位置座標を、それぞれに対応する式１の座標変換式を用いて、現フレーム画像における座標に変換する。そして、各変換後座標は、変換後位置記憶部４０を経て出力画像生成部２４に与えられる。出力画像生成部２４は、画像入力部２２から入力される現フレーム画像上の当該座標変換部３６から与えられるそれぞれの変換後座標の位置に、軌跡マーク１３０を付する。この結果、最大Ｑ個の軌跡マーク１３０が表示される。なお、この場合も、移動体１００の現在位置に、現在位置マーク１２０が付されると共に、この現在位置マーク１２０を先頭として各軌跡マーク１３０を時系列で結ぶように、軌跡線１４０が付されるようにする。

本実施形態における上述のＭフレームという言わば現在位置マーク１２０や軌跡マーク１３０等の更新周期は、任意に設定可能である。例えば、このフレーム数Ｍが小さいほど、現在位置マーク１２０および各軌跡マーク１３０相互の間隔が狭くなる。一方、当該フレーム数Ｍが大きいほど、同間隔が広くなる。このフレーム数Ｍは、上述した軌跡マーク１３０の表示個数Ｑと共に、移動体１００の動きやカメラ１２による撮影条件等の諸状況に応じて、適宜に設定される。

加えて、上述の式１（および式２）の座標変換式は、射影変換式であるとしたが、これに限らない。例えば、公知のサイ（R.Y.Tsai）法に基づく座標変換式等の他の変換式が、採用されてもよい。

そして、本実施形態においては、前フレーム画像と現フレーム画像との間で互いに対応する特徴点を抽出すると共に、この特徴点相互の位置関係から式１の座標変換式を求めることとしたが、これに限らない。例えば、カメラ１２からパン角／チルト角／ズーム倍率を含むパラメータを取得して、これらのパラメータから当該カメラ１２の動きを認識し、ひいては式１の座標関係式を求めてもよい。また、ジャイロセンサ等の外部の検出手段を用いることで、カメラ１２の動きを認識し、ひいては当該式１を求めてもよい。

さらに、カメラ１２の設置位置は不変であるのが望ましいが、車載用途等のような可変環境においても、本発明を適用することができる。

本実施形態では、ＰＣ１４によって、カメラ制御装置および移動体軌跡表示装置を実現することとしたが、これに限らない。例えば、ＰＣ１４に代えて、専用のカメラ制御装置および移動体軌跡表示装置を構成してもよい。また、カメラ１２がＣＰＵを内蔵するコンビネーションカメラである場合には、このコンビネーションカメラ自体に当該カメラ制御装置および移動体軌跡表示装置としての機能を搭載してもよい。

１０ 監視システム
１２ カメラ
１４ ＰＣ
１６ ディスプレイ
２４ 出力画像生成部
２６ 画像出力部
２８ 変換式演算部
３０ 移動体検出部
３４ 現在位置記憶部
３６ 座標変換部
３８ 前位置記憶部

Claims (4)

1. 撮影領域内に移動体が入るように制御される撮影手段によって順次得られる複数のフレーム画像で構成される映像に該移動体の軌跡を表示する移動体軌跡表示装置であって、
   上記複数のフレーム画像それぞれにおける上記移動体の位置を該複数のフレーム画像それぞれに基づいて検出する位置検出手段と、
   上記位置検出手段による上記複数のフレーム画像それぞれにおける上記移動体の検出位置を最新の上記フレーム画像における位置に変換する位置変換手段と、
   上記最新のフレーム画像上の上記位置変換手段による変換後位置に上記移動体のシンボルを重畳して出力画像を生成する出力画像生成手段と、
   を具備する、移動体軌跡表示装置。
2. 上記位置検出手段による検出位置に基づいて上記複数のフレーム画像それぞれにおける上記移動体を含む部分を特定する特定手段をさらに備え、
   上記出力画像生成手段は上記特定手段によって特定された上記部分の画像を上記シンボルとして重畳する、
   請求項１に記載の移動体軌跡表示装置。
3. 上記出力画像生成手段は上記複数のフレーム画像の時系列順に応じて該複数のフレーム画像それぞれに対応する上記シンボルの表示態様を変化させる、
   請求項１または２に記載の移動体軌跡表示装置。
4. 撮影領域内に移動体が入るように制御される撮影手段によって順次得られる複数のフレーム画像で構成される映像に該移動体の軌跡を表示するための移動体軌跡表示プログラムであって、
   上記複数のフレーム画像それぞれにおける上記移動体の位置を該複数のフレーム画像それぞれに基づいて検出する位置検出手順と、
   上記位置検出手順による上記複数のフレーム画像それぞれにおける上記移動体の検出位置を最新の上記フレーム画像における位置に変換する位置変換手順と、
   上記最新のフレーム画像上の上記位置変換手順による変換後位置に上記移動体のシンボルを重畳して出力画像を生成する出力画像生成手順と、
   をコンピュータに実行させる、移動体軌跡表示プログラム。

Images