JP4541316B2 - 映像監視検索システム - Google Patents

Description

この発明は、監視カメラから入力される映像を所定の条件で監視すると共に、記録した映像を所定の条件で検索する映像監視検索システムに関するものである。

不審者や犯罪者から人や施設を守るセキュリティ用途等に利用される映像監視システムにおいて、多数のカメラ映像を監視員が長時間にわたった常時目視による監視を行うことは非常に負荷が高く効率が悪い。そこで、何か特定のイベントが発生した場面を特許文献３に示されるような画像処理によって抽出し、監視員に注意を促すための情報を提示するシステムの工夫が様々になされている。具体的には、入力される映像から画像処理によって人物等の移動物体を抽出し、この移動体が予め映像画面上で指定された領域に侵入し、指定時間以上滞留を行ったとき等に発報を行う侵入監視システム等がある。

これらのシステムでは、一般的に、予め指定された条件での検出をリアルタイムに行った際の検出結果を記録することによって後から再度検出結果リストを出力し直すことは可能であっても、後からこれら検出位置や滞留時間等の条件を変えて再検索ができるものは少ないと思われる。しかし、特許文献１では、映像から抽出された移動物体を追跡してその移動情報を記録しているため、この記録された時空間情報に対して後から条件を変えて検索をし直すことは可能と考えられる。

また、特許文献２の場合、映像表示画面を複数の区分領域に分割し、映像から抽出された移動物体を追跡して、その移動軌跡情報を区分領域単位で持ち表示する方法が提示されており、軌跡情報を表示する機能としては高速に動作すると考えられる。

特許文献１に記されている監視システムでは、移動物体の軌跡情報の保持方法として、各画像での物体の存在位置を全てアルファマップとして保持したり、軌跡情報をスプライン関数で近似してその係数を保持したりする方法を挙げている。しかし、前者の方法で情報を保持することは、画像処理等による移動物体の抽出結果イメージを実質全て保存することになることから、非常に大きなサイズの情報を保持する必要がある。また、後者の場合、画面上を複雑に行き来する移動物体の軌跡情報を一般的に数式で表現するためには、非常に複雑な計算が必要であり、入力されるライブ映像に対してリアルタイムに解析を行う場合等、処理負荷を軽くしなければ追従できないような場合には実現が困難な場合がある。また、検索を行う際にも、各々の移動物体が検索条件に合致するかどうかの判定を複雑な高次多項式演算によって処理しなければならず、大量のデータに対する検索を高速に行うことは困難な場合がある。

一方、特許文献２に記されている監視システムでは、移動物体の軌跡情報の保持方法として、映像表示画面を複数の区分領域に分割してその移動軌跡情報を区分領域単位で持つとしており、比較的軽い処理で情報処理ができる可能性がある。しかし、この場合、区分領域毎の滞留時間に関連する情報は保持されるが、それ以外の情報についての記述はなく、また、滞留時間に関する情報も情報の表示方法に関する内容は記述されているものの、条件検索に関する内容の記述はない。

特開２００４−６４４３８号公報（段落番号００１６〜００２０） 特許第３６０１９５１号公報（段落番号００２０〜００２９） 特開平６−２２３１８号公報（段落番号０００６〜０００９）

従来の映像監視検索システムは以上のように構成されているので、高速に処理することができず、映像監視業務の効率を高めることができないという課題があった。

この発明は上記のような課題を解決するためになされたもので、高速に処理することができ、映像監視業務の効率を高めることができる映像監視検索システムを得ることを目的とする。

この発明に係る映像監視検索システムは、映像データを入力する映像入力部と、該映像データの画像フレームを複数のブロック領域に分割し、各画像フレームから個々の物体を検出し、複数の画像フレームにおける離散的な位置の一連の同一物体を１つのオブジェクトとして抽出し、上記オブジェクトの移動軌跡情報を、この移動軌跡が通過する各ブロック領域にオブジェクトの特徴と共に配分して上記各ブロック領域毎のメタデータとして抽出するオブジェクト処理部と、上記オブジェクト処理部により抽出された上記各ブロック領域毎のメタデータを記憶するメタデータ記憶部と、リアルタイム検知条件又は事後検索条件を入力する条件入力部と、上記オブジェクト処理部により抽出された上記各ブロック領域毎のメタデータと上記条件入力部に入力されたリアルタイム検知条件とを照合し、上記リアルタイム検知条件に合致するオブジェクトを検知するリアルタイム検知処理部と、上記メタデータ記憶部に記憶されている上記各ブロック領域毎のメタデータと上記条件入力部に入力された事後検索条件とを照合し、上記事後検索条件に合致するオブジェクトを検索する事後検索処理部と、上記リアルタイム検知処理部により検知されたオブジェクト又は上記事後検索処理部により検索されたオブジェクトを表示する表示部とを備えたものである。

この発明により、高速に処理することができ、映像監視業務の効率を高めることができるという効果が得られる。

実施の形態１．
図１はこの発明の実施の形態１による映像監視検索システムの構成を示すブロック図である。この映像監視検索システムは、映像入力部１０、映像記憶部２０、オブジェクト処理部３０、メタデータ記憶部４０、条件入力部５０、リアルタイム検知処理部６０、事後検索処理部７０及び表示部８０を備えており、パソコンやワークステーションのように、コンピュータによって処理が実行される環境において構築されるものである。ただし、図１における各構成のうちの一部が物理的に離れた所に存在し、ＬＡＮ（Local Area Network）や公衆回線等の通信機能を介した遠隔地にて処理を継続するという構成を取る場合もある。

映像入力部１０は、ビデオカメラや映像記録再生装置、又はＬＡＮや公衆回線等のネットワークから伝送されてくる映像データの入力を受け付け、入力された映像データを後段の映像記憶部２０とオブジェクト処理部３０に転送する。一般には撮影対象をビデオカメラで映している現在のライブ映像の場合もあるし、過去に一度記録された映像を再生しているものが入力されることもある。

なお、映像入力部１０は、アナログのビデオカメラのような機器から映像データが入力される場合は、Ａ／Ｄ（Analog-Digital）変換機能を有している。一方、ＬＡＮ等を経由して既にディジタル化された映像データが入力されるような場合には、Ａ／Ｄ変換機能は不要であるが、物理的及び論理的なインターフェースとして対応する通信プロトコル処理を行い、映像データ部分のみを取り出す機能を有している。

映像記憶部２０は、映像入力部１０に入力された映像データを蓄積しておくもので、後で表示部８０により結果表示を行う際に、元の映像データとして参照したり、表示された処理結果に基づき所望の時間帯の記録映像を再生したりする場合の映像ソースとして備えている。所望の時刻の情報にランダムアクセスしやすいように、ＨＤＤ（Hard Disk Drive）やＲＡＭ（Random Access Memory）といった電子メディアによって実装すると良い。

オブジェクト処理部３０は、映像入力部１０により入力された映像データの画像フレームを複数のブロック領域に分割し、各画像フレームから個々の物体を検出し、複数の画像フレームにおける一連の同一物体を１つのオブジェクトとして抽出し、このオブジェクトの特徴（オブジェクトに関する関連情報）を各ブロック領域毎のメタデータとして抽出するもので、以下にその機能を説明する。なお、ここでは、オブジェクトとは、映像の中に映っている一連の同一人物や車両といった監視対象の個別単位となるものをいう。

オブジェクト処理部３０は、オブジェクト抽出処理において、初めに、映像入力部１０から転送された映像データ中に写っている個々の物体を背景画像から切り出し、さらに、同一の物体が複数の画像フレーム間に渡って写っている期間を認識して１つの映像期間単位にまとめると共に、この映像期間単位内に写っている一連の同一物体と認識したものを１つのオブジェクトとして関連づける。なお、以下では、画像フレームのことを単にフレームということもある。また、入力デバイスにより片フィールドだけの情報を用いる場合もあるが、ここでは総称してフレームと呼ぶことにする。

なお、映像からの物体の切り出しや同一物体が複数フレーム間に渡って写っていることの認識方法については、例えば特許文献３に見られるような画像差分抽出や、テンプレート探索といった画像処理技術を用いることによって自動的に行うことを一般には想定しているが、必要に応じて人手を介した処理を交えることも考えられる。

図２は移動体抽出の様子を説明する図であり、画像差分抽出を用いる方式の例として、入力画像とこの画像に対する背景モデル画像との差分から変化領域を抽出し、その変化領域の外接矩形領域や重心位置といった特徴量を抽出する。図２に示す例では、さらに変化領域の抽出結果をフィードバックして背景モデルを更新させている。

オブジェクト処理部３０は、メタデータ抽出処理において、この１つの映像期間単位における対象オブジェクトの特徴をメタデータという形で抽出する。抽出する方法としては、上述のような画像処理技術を用いることにより、物体の面積や位置や移動軌跡といった特徴の抽出を自動的に行うことを一般には想定している。ただし、これについても必要に応じて人手を介した処理を交えることも考えられる。

このメタデータを抽出する際の値の保持方法として、この実施の形態１においては、特に移動軌跡情報に関して以下に示す方法をとるものとする。まず、映像入力部１０から入力される映像画面を複数のブロック領域に分割し、オブジェクトの移動軌跡情報として各ブロック領域内におけるオブジェクトの進行方向、その進行方向に沿って移動した距離、その間の移動に要した時間の全て、いずれか一つ又は複数についての情報を、ブロック領域毎に保持する。

図３は移動軌跡情報に関するメタデータ保持方法の例を示す図である。ここでは、図３（ａ）に示すように、映像画面を横（Ｘ軸）方向にｍ個、縦（Ｙ軸）方向にｎ個の計ｍ×ｎ個の矩形のブロック領域に分割し、図３（ｂ）に示すように、各ブロック領域に相当する情報配列に進行方向、移動距離、移動時間に関する情報を保持する。このｍとｎの値については、撮影対象とカメラとの距離、カメラ画角、撮影対象の大きさや動きの速さ、あるいは求められる検索精度の高さ、さらには、メタデータを保持するために確保が必要なメモリサイズ等によって決定すれば良い。

また、この例では、各ブロック領域は矩形すなわち正方形を含む長方形を想定して説明するが、より一般的にはブロック領域の形は必ずしも矩形である必要はなく、六角形等、他の多角形で実現しても良い。また、進行方向の情報を保持する場合についてのブロック領域間の境界については、境界線を境にして隣同士のブロック領域が分かれるのでなく、一般に地図帳等での各ページの境で見られるように同じ領域が一部隣り合うブロックに重複して含まれるようにブロック領域の境界を決定しても良い。

図４はオブジェクト及びメタデータ抽出の様子を説明する図である。図４（ａ）に示すオブジェクト抽出では、入力された映像から画像処理によって５回に渡って検出された移動物体を、画面左下から画面右上に向かって移動した同一の移動物体であると判断し、これを一つのオブジェクトとして関連づけて抽出する。その際に、各々検出された各移動物体の領域に対して、その領域の重心点等、所定の定義を行った代表点を選択しておく。

次に図４（ｂ）に示すオブジェクトの移動軌跡では、まず、映像画面を横（Ｘ軸）方向に８個、縦（Ｙ軸）方向に６個の計４８個のブロック領域に分割した上で、上述の各移動物体の領域に対する代表点間を順につないで移動軌跡を描く。

オブジェクトの各領域における代表点は、上記のように移動物体の領域の重心となる点を選択する方法の他、領域の下端や上端を選択する等、場合によって使い分けて良い。例えば、図４（ａ）に示すように、重心点を利用すれば画像処理による抽出精度のぶれが比較的安定する。また、領域の下端を利用してさらに適当な影除去処理等を組み合わせることにより、人物映像の場合はその足元を指定することになるため、撮影対象場所の平面上の位置が比較的把握しやすい。さらに、地面上に障害物があり移動物体の下部がしばしば障害物の陰に隠れることがある場合等には、領域の上端を利用することにより、比較的安定した移動軌跡を得ることができる。さらに、この移動物体の高さ情報が推定できる場合は、ここからさらに地面上の移動軌跡に投影することもできる。この他にも、例えば、人物の頭部形状モデル等を利用して人物オブジェクト追跡を行う場合等では、その頭部の中心位置を代表点に選択しても良い。

また、例えばこれら種類の異なる代表点を上端と下端といったように複数同時に用いて複数種類別々の情報として管理しても良いし、複数点を重複して管理しても良い。一つの代表点で管理する場合は、その管理と検索照合処理が簡単に行え、情報保持のためのメモリサイズも小さくて済むという利点がある。一方、複数点を別々に管理する場合には、上述のように人物オブジェクトの足元を追跡したり頭部を追跡したりと、場合によって都合の良い方の情報を利用できるという効果がある。また、複数点を重複して管理する場合は、オブジェクトの動きを単に点と線で表すだけでなく、オブジェクトそのものの大きさがもたらす移動軌跡の幅を持たせて表現できるという効果がある。ただし、この場合、後述する時間情報を積算して保持する場合は重複する分を差し引いて考える必要ある。

各代表点をつないで移動軌跡を描く方法として、図４（ｂ）では、各移動物体で抽出された代表点を単純に折れ線グラフのように線分でつないでいく方法を示しており、非常に処理が単純で軽い負荷で実現が可能である。このような単純な接続でない方法として、例えば以下のような補正を行う場合もある。画像処理で抽出される各代表点は抽出時の画像処理の精度による誤差を含むことから、仮に真っ直ぐに移動する物体であっても、画像上で抽出される移動軌跡はギザギザな揺らぎが発生しがちなことから、ある代表点を定める際に、それより過去又は未来も含めた所定の数の位置座標と平均を取る等して、軌跡を平滑化することがある。あるいは、抽出される代表点はあくまでも離散的な位置でしか指定できない（図４では５カ所）ため、処理速度に余裕がある場合であれば、これら離散値を連続的に平滑化する曲線で近似しても良い。

このようにして生成された移動軌跡の情報を、図４（ｃ）のブロック領域毎の移動軌跡の情報保持に示すように、各ブロック領域単位に分割して保持する。

図５はブロック領域単位での移動距離と移動時間を説明する図であり、ここでは、図４（ｂ）のようにつないだ移動軌跡情報を、図４（ｃ）のように各ブロック領域に分割する方法の例を示している。図５において、オブジェクトの移動軌跡として、まず、移動物体の代表点Ｐ０とＰ１の２点が示され、この間の軌跡は２点間を線分でつなぐものとしている。この軌跡が通過するブロック領域は図中のブロック領域１，２，３，４の４カ所である。この場合は与えられた移動軌跡情報の最小分解粒度がＰ０とＰ１という離散状態におけるそれぞれの座標位置とその時刻であり、この間における移動中の速度変化等はわからない。従ってここでは、Ｐ０Ｐ１間は等速直線移動を行ったと仮定し、Ｐ０Ｐ１間の距離を図中のΔＬ１とΔＬ２とΔＬ３とΔＬ４の長さの比率に配分し、２点間の距離（移動距離）とこの間の移動に要した時間（移動時間）を各々のブロック領域に配分する。ここで、ΔＬ１，ΔＬ２，ΔＬ３，ΔＬ４は、線分Ｐ０Ｐ１を各ブロック領域間の境界線との交点で切った際のそれぞれの長さである。

図６は進行方向情報の保持方法について説明する図である。図６（ａ）に示す例では、代表点Ｐ０，Ｐ１，Ｐ２の３点が与えられ、この間を２本の線分で間をつないで移動軌跡としている。この軌跡が通過するブロック領域は図中のブロック領域１からブロック領域５の５カ所である。図５の場合と同様に、線分Ｐ０Ｐ１と線分Ｐ１Ｐ２がそれぞれ各ブロック領域間の境界線との交点で切られてさらに短い線分となり、それぞれの領域内に入る軌跡の線分のそれぞれ方向を調べる。ブロック領域１，２，３には１本、ブロック領域４，５には２本の軌跡の線分が入ることになるが、ブロック領域５の場合は、オブジェクトの代表点Ｐ１の前後で進行方向が変わっているため、Ｐ１の前と後とで２本の軌跡の線分に分けたことによるものである。この図６に示す例にはないが、２回以上連続して同一ブロック領域内で進行方向が変わった場合も、同様に代表点の前後で軌跡の線分の数を増やしていくと良い。

図６（ｂ）では、各ブロック領域について進行方向をここでは１６分割したうちのどの方向にこれらの線分が入るかを調べたところ、ブロック領域１，２では方向１、ブロック領域３では方向７、ブロック領域４，５では方向１，７にそれぞれ入っている。

ブロック領域５のように、ブロック領域中で進行方向が変わる場合の進行方向情報の保持方法の定義として、この他にも例えば、最初にブロック領域間境界線と交差する部分の線分のみの情報（ブロック領域５の場合なら方向１）を保持するとか、最後に交差する線分のみの情報（ブロック領域５の場合なら方向７）を保持する等として簡略化しても良い。図６に示す例の定義の場合は、ブロック領域内のどこか一部で少しでも移動が見られた場合、その全ての方向がメタデータとして記録されることになる。一方、例えばブロック領域間境界線と移動軌跡と最初に交差する線分のみの情報を保持する場合は、ブロック領域内全てのうちのどこかで生じた進行方向ではなく、境界線上のどこかでその方向への進行が見られたものが記録されるということになる。

以上は離散的な複数の代表点間を線分で結んだ場合の例であるが、例えば連続的に平滑化する曲線で近似した場合も、曲線の移動軌跡が通過する各ブロック領域に対して同様の処理を行えば良い。ただし、この場合、軌跡とブロック領域間の境界線との交点と次の交点との間の進行方向は一般には常に変わるため、保存する進行方向情報については交点間を線分で結んだ方向に集約すると良い。移動距離や移動時間については曲線のまま評価しても良いし、ブロック領域境界線との交点と次の交点とを結ぶ線分で近似しても良い。

図７は進行方向情報のメタデータの保持方法の例を示す図である。図６におけるブロック領域１，２，３，４，５は、図７におけるブロック領域（Ｘ，Ｙ）＝（０，０），（１，０），（０，１），（１，１），（２，１）の領域にそれぞれ相当する。ただし、ブロック領域（Ｘ，Ｙ）とは、図３（ａ）に示すように、画面を分割した場合の横軸（Ｘ）と縦軸（Ｙ）について零から数えてそれぞれ何番目のブロックであるかを表現したものである。さらに、各ブロック領域において、この例では全方位３６０度を１６分割した各方向について情報保持域を設けている。ブロック領域（０，０），（１，０）の場合は方向（Ｄｉｒ）が１に対してのみ移動があったため値を１とし、他の方向には値に０を入れている。ブロック領域（０，１）の場合は方向Ｄｉｒ＝７に対してのみ値が１で他の方向には値に０を入れ、ブロック領域（１，１），（２，１）の場合は方向Ｄｉｒ＝１と７に対してのみ値が１で他の方向には値に０が入る。１が入ることによってその領域内におけるその方向に対する移動が含まれていたことを表し、値が０の方向には移動がなかったことを表す。

この値については、例えば一度でもその方向に移動があったかどうかを０か１かの二値情報で保持しても良いし、移動があった回数だけ値を加算していく等して、各方向への移動検知回数を保持しても良い。前者の場合は保持データサイズを小さくすることができる利点があるが、後者の場合では各領域上を移動した頻度等の情報を併せて持つことができる。

さらには、進行方向情報と移動距離情報又は移動時間情報とを併せた形で情報保持できるよう、移動が見られた回数を加算していくのではなく、移動距離又は移動時間を加算して保持するようにしても良い。このようなデータ保持方法を取ることによってトータルのデータサイズを小さくすることができる。

これらの実施例において、画面をブロック領域に分割する際の分割数や、各ブロック領域中の進行方向情報を保持するための角度の分割数については、細かく分割するほど精度の良い移動軌跡情報が保持できるという効果があるが、一方、粗く分割することによって保持すべきメタデータサイズを小さくできたり、照合判定の際の処理が簡単にできたりする等の効果がある。

メタデータ記憶部４０は、オブジェクト処理部３０により抽出された各ブロック領域毎のメタデータを記憶するが、後続の処理がしやすい形で保持すれば良く、例えばファイルシステムを持つコンピュータを利用するような場合には、メタデータファイルとして保存する等の方法をとると良い。

記憶されるメタデータとしては、オブジェクトがどの位置をどのように通過していったかという進行方向や移動距離、その際の滞留状況としての移動時間情報の他、一般的に移動軌跡に関係する情報で検索し表示を行うシステムを構築するために有効な情報を複数保持して良い。例えば１つのオブジェクトが映像に写り始めた時点である先頭フレーム情報や、オブジェクトが最後に写っている最終フレーム情報や、該当映像期間単位内にそのオブジェクトが最大の面積で写っているときとか、オブジェクトが人間の場合なら顔が最も良く写っているときといったような条件にあてはまる特定の代表フレーム情報等がある。なお、ここでのフレーム情報とは、該当フレームを特定するポインタ情報であって、フレーム番号やタイムスタンプ等によって表現する。

また、オブジェクトそのものの特徴として、オブジェクトの期間内における平均的な大きさ、高さ、幅、縦横比といった形状や色情報といったものも挙げられる。さらに、詳細な情報の例としては、オブジェクトが写っている各フレーム単位における、オブジェクトが写っている画面上の位置座標情報、オブジェクト領域部分すなわちオブジェクトが例えば人である場合には、人の形をした領域のビットマップ情報等がある。なお、位置座標情報における位置とは、例えば、重心や最下部、最上部等で定義される代表点位置、オブジェクトに外接する楕円形や四角形等の閉曲線、オブジェクトの面積のある割合を領域内に含む楕円形や四角形等の閉曲線等を対象とした位置である。

また、上述のような画像処理から直接導かれる特徴量に対して、間接的な特徴量としてのメタデータの一例を以下に挙げる。映像中より抽出されたオブジェクトがその形状や動作の特徴を基にして、例えば人なのか車なのかといったといった種類分けや、人の場合に立っているのか寝ているのかといった姿勢状態や、さらに例えば人の場合に体型や顔の形状等から人種や性別や年齢といった情報等が考えられる。あるいは、人の顔の形状等の特徴を基に予めシステムに登録されている個人を特定できたり、映像データ情報とは別に、個人ＩＤを識別するＩＤカードやタグ等から個人を特定する情報が得られたりする場合には、対象オブジェクトが持っている個人ＩＤや名称をメタデータとして持つことも考えられる。これらの特徴を抽出するには、通常は、専用の画像処理アルゴリズムをオブジェクト処理部内に持つことになるが、場合によっては人手を介した処理を交えることも考えられる。

条件入力部５０は、リアルタイム検知を行う場合には、ユーザからリアルタイム検知条件を入力してリアルタイム検知処理部６０に転送し、事後検索を行う場合には、ユーザから事後検索条件を入力して事後検索処理部７０に転送する。入力の仕方としては、例えば、キーボードやマウス、タッチパネル等を使う一般のパソコン等に見られるユーザインタフェースや、専用のボタンやダイヤル等の入力装置を介して行う。

リアルタイム検知処理部６０は、オブジェクト処理部３０により抽出された各ブロック領域毎のメタデータと条件入力部５０から転送されたリアルタイム検知条件とを照合し、リアルタイム検知条件に合致するオブジェクトを検知して表示部８０に転送することにより、オブジェクト検知イベントをリアルタイムに出力する。

ここで、リアルタイム検知条件としてのオブジェクトの滞留時間の例を説明する。
図８は指定領域内のオブジェクトの滞留時間を説明する図である。ここでは、画面中の指定領域内で指定時間以上滞留するオブジェクトを検知する方法を説明する。図８の点線で示している画面上の２点（Ｘｓ，Ｙｓ），（Ｘｅ，Ｙｅ）をそれぞれ左上、右下とする矩形領域において、例えば指定時間の下限値として“１０秒以上”滞留しているオブジェクトを検知するよう設定が行われたとする。滞留時間に関する情報は、メタデータの中でブロック領域毎に移動時間を加算していく累計値で保持しているため、この指定された矩形領域を完全に含む状態にできるブロック領域を対象として、ブロック領域（１，１），（２，１），（３，１），（４，１），（１，２），（２，２），（３，２），（４，２），（１，３），（２，３），（３，３），（４，３），（１，４），（２，４），（３，４），（４，４）の合計１６ブロック領域におけるオブジェクトの通過時間情報を監視しておき、この累計値が１０秒を超えた時点で条件合致となる。

保持する情報の分解能がブロック領域単位であるため、指定矩形領域とブロック領域の境界線とが一致しない部分についての取り扱い方法については、例えば、この他にもブロック領域が逆に完全に指定矩形領域に含まれるものだけを対象として、ブロック領域（２，２），（３，２），（２，３），（３，３）の４ブロック領域を監視対象とすると定義しても良いし、指定矩形領域に含まれる面積が各ブロック領域に占める割合が所定の値以上のものとしても良い。

滞留時間の下限だけでなく上限の値も含め、例えば“１０秒以上２０秒以下”の滞留時間であったオブジェクトを探すといった指定をした場合、リアルタイム検知の場合は、まだ移動軌跡情報が確定していない状態で条件判定を行うことから、オブジェクトが消失して移動軌跡が確定した段階での判定となる。

次にリアルタイム検知条件としてのオブジェクトの通過情報の例を説明する。
図９は指定領域でのオブジェクトの通過を説明する図である。ここでは、画面中の指定領域を指定方向に通過するオブジェクトを検知する方法を説明する。図９（ａ）の点線で示している、画面上の２点（Ｘｓ，Ｙｓ），（Ｘｅ、Ｙｅ）を結ぶ線分上を、画面向かって左から右方向に通過するオブジェクトを検知するよう設定が行われたとする。この指定された線分を完全に含む状態にできるブロック領域を対象として、ブロック領域（３，１），（３，２），（３，３），（３，４）の４ブロックにおけるオブジェクトの進行方向情報を監視しておき、どこか一つでも指定方向の進行が検知されたブロック領域が見つかった時点で条件合致とすれば良い。

さらに、方向に関する条件合致判定方法の例について、図９（ｂ）は監視しているブロック領域内を進行方向情報として１６分割で管理されている場合のイメージ図である。図９（ａ）の点線で指定された線分を左側から右側への通過という条件を指定された場合、この線分の法線方向を通過方向と考えると、図９（ｂ）の中央にある矢印が指定進行方向となる。従って方向０の範囲の進行が見つかった時点でイベント検知とする方法がある。ただ分割角度が細かく設定されている場合等は、特に指定された点線の線分に対してほとんど垂直に近い角度で通過しなければ条件に合わないことになる。そこで指定された方向を中心に左右それぞれ所定の許容角度を設けても良い。例えば図９（ｂ）では指定方向から左右各４５度の許容範囲を与えた結果、太線で囲んだ範囲である方向１４、方向１５、方向０、方向１、方向２の範囲が監視対象となっている例である。

滞留時間検知の場合と同様に、進行方向情報の保持単位の分解能がブロック領域単位であるため、監視対象とするブロック領域の範囲については、指定された線分を完全に含む状態にできるための全てのブロック領域とする方法の他に、指定線分が各ブロック領域に対してある割合以上の長さを含むものを対象とする等の定義としても良い。

次にリアルタイム検知条件としてのオブジェクトの移動距離の例を説明する。
図８では先に指定領域内のオブジェクトの滞留時間についての条件例について述べたが、メタデータとして、ブロック領域毎にオブジェクトの移動距離情報を格納している場合には、指定領域内で指定の長さ以上に移動を行ったオブジェクトを検知するという条件設定も同様に説明できる。すなわち、図中の点線で示している、画面上の２点（Ｘｓ，Ｙｓ），（Ｘｅ，Ｙｅ）をそれぞれ左上、右下とする矩形領域において、例えば指定距離として“１００画素以上”の移動を行ったオブジェクトを検知するよう設定が行われたとする。ここで距離の単位として画素というものを用いたが、これは画面サイズが例えば横（Ｘ軸方向）６４０画素、縦（Ｙ軸方向）４８０画素といったような単位で表せる場合に、オブジェクトが映像画面上を移動した移動量を画素数単位で表現したものである。

移動距離に関する情報は、滞留時間に関する情報と同様に、メタデータの中でブロック領域毎に移動量を加算していく累計値で保持しているため、この指定された矩形領域を完全に含む状態にできるブロック領域を対象として、ブロック領域（１，１），（２，１），（３，１），（４，１），（１，２），（２，２），（３，２），（４，２），（１，３），（２，３），（３，３），（４，３），（１，４），（２，４），（３，４），（４，４）の合計１６ブロック領域におけるオブジェクトの移動量情報を監視しておき、この累計値が１００画素分を超えた時点で条件合致となる。

情報の分解能がブロック領域単位であるため、指定矩形領域とブロック領域の境界線とが一致しない部分の定義方法については、例えばこの他にも、ブロック領域が完全に指定矩形領域に含まれるものだけを対象として、ブロック領域（２，２），（３，２），（２，３），（３，３）の４ブロック領域を監視対象とするよう定義しても良いし、指定矩形領域に含まれる面積の各ブロック領域の面積に対して占める割合が所定の値以上のものとしても良い。

移動距離の下限だけでなく上限の値も含め、例えば“１００画素以上２００画素以下”の移動量であったオブジェクトを検索するといった指定をした場合、リアルタイム検知の場合は、まだ移動軌跡情報が確定していない状態で条件判定を行うことから、オブジェクトが消失して移動軌跡が確定した段階での判定となる。

次にリアルタイム検知条件としてのオブジェクトの速度の例について説明する。
メタデータにブロック領域毎にオブジェクトの移動距離情報と移動時間情報が格納されている場合、この値の比をとることによりオブジェクトの平均の速度情報を計算することができるため、指定領域内で指定の速度以上で移動を行うオブジェクトを検知する方法も同様に図８で説明できる。図中の点線で示している、画面上の２点（Ｘｓ，Ｙｓ），（Ｘｅ，Ｙｅ）をそれぞれ左上、右下とする矩形領域において、例えば指定時間の下限値として“１００画素毎秒以上”の速さで移動しているオブジェクトを検知するよう設定が行われたとする。

移動距離情報と移動時間情報は、同様にメタデータの中でブロック領域毎に通過時間を加算していく累計値で保持しているため、この指定された矩形領域を完全に含む状態にできるブロック領域を対象として、ブロック領域（１，１），（２，１），（３，１），（４，１），（１，２），（２，２），（３，２），（４，２），（１，３），（２，３），（３，３），（４，３），（１，４），（２，４），（３，４），（４，４）の合計１６ブロック領域におけるオブジェクトの移動距離及び移動時間情報を監視しておき、この各々累計値同士の比が１００画素毎秒を超えた時点で条件合致とするのが一つの方法である。ただし、この場合、オブジェクトの移動軌跡情報が確定した後に平均値を取ると１００画素毎秒を超えない可能性があるために、事後検索を行う場合の再現性はない。完全に平均値で判定する場合は、オブジェクトが消失して移動軌跡が確定した段階での判定となる。

また、情報の分解能がブロック領域単位であるため、指定矩形領域とブロック領域の境界線とが一致しない部分の定義方法については、例えばこの他にもブロック領域が完全に指定矩形領域に含まれるものだけを対象として、ブロック領域（２，２），（３，２），（２，３），（３，３）の４ブロック領域を監視対象とすると定義しても良いし、指定矩形領域に含まれる面積の各ブロック領域の面積に対して占める割合が所定の値以上のものとしても良い。

また、速度の平均の取り方については、このように監視対象のブロック領域全体で平均をとるのでなく、監視対象の各ブロック領域内それぞれで平均をとって監視するという定義とする方法もある。

さらに、速度の下限だけでなく上限の値も含め、例えば“１００画素毎秒以上２００画素毎秒以下”の速度であったオブジェクトを検索するといった指定をする方法もある。

次にリアルタイム検知条件の組合せの例を説明する。
このような検知条件を複数設定し、それぞれを論理和や論理積といった論理演算で関係を規定し、組合せで使っても良い。例えば、複数の条件を論理和で判定すれば複数の条件のうちいずれか一つでも条件合致すれば良いことになり、論理積で判定すれば複数の条件を全て満たした時点で条件合致となる。また、これらをさらに高次に組み合わせて使っても良い。

図１０はリアルタイム検知条件を複数指定する場合を説明する図であり、ここでは、オブジェクトの通過条件を複数指定する場合を示している。
例えば図１０（ａ）の移動経路の指定に示すように、複数箇所に通過条件を設定し、これらを全て満たすことを条件とすれば、Ａ地点からＢ地点へ移動してＢ地点からＣ地点へ移動するといった移動経路を持つオブジェクトを検出できる。また、通過条件の指定線分の長さを短くしたり組合せ数を増やしたりすることによって指定の経路を厳しく制限することができる。ただこの実施の形態１における進行方向情報は、各々の進行情報に発生時刻又は発生順序は必ずしも記録していないため、記録に残らないこれらの時刻情報又は順序情報は必ず用いることができるとは限らない。従って実際にはＢ地点からＣ地点へ移動した後にＡ地点へ移動して改めてＢ地点へ移動するといった複雑な動きをしたオブジェクトも上記の検索で見つかることになるが、所望の条件を満たすオブジェクトを全て含む以上に多めに検出されることなり、見逃しは生じない。

また、図１０（ｂ）の右折の指定に示すように、局所的に通過条件を組み合わせて論理積の条件設定とすれば、指定位置における“右折”、“左折”といった動きを定義することもできる。

複数条件の組合せ方法としては、さらにこれらを高次に組み合わせることにより、例えば“Ａ地点を右方向に通過し、かつ領域Ｂ又は領域Ｃで１０秒以上滞留していたオブジェクト”といった条件を任意に作ることができる。

事後検索処理部７０は、オブジェクト処理部３０で抽出されメタデータ記憶部４０に記憶されている各ブロック領域毎のメタデータと条件入力部５０から転送された事後検索条件とを照合し、事後検索条件に合致するオブジェクトを検索する。

例えば、図８で設定したようなオブジェクトの滞留時間を事後検索条件として設定した場合には、事後検索処理部７０は、リアルタイム検知処理部６０の場合と同様に、指定された領域から監視対象のブロック領域を決定し、その各ブロック領域内で保持している移動時間情報の合計値が、例えば１０秒以上というように指定された滞留時間以上となっているオブジェクトを全て事後検索結果として抽出する。事後検索の場合、オブジェクトの移動軌跡情報は既に確定しているため、滞留時間の下限だけでなく上限の値も含め、例えば１０秒以上２０秒以下の滞留時間であったオブジェクトを検索するといった指定をしても良い。

事後検索処理部７０による事後検索としては、同様のことがオブジェクトの移動距離や平均速度に関する検索方法でも言えるため、例えば移動距離が１００画素以上２００画素以下であったオブジェクトや、速度が１００画素毎秒以上２００画素毎秒以下であったオブジェクト、といった事後検索条件でも良い。

表示部８０は、リアルタイム検知処理部６０でイベント検知されたオブジェクトに関する情報を逐次追加表示していったり、事後検索処理部７０で検索されたオブジェクトを一括表示したりする。この場合、表示部８０はコンピュータシステムにおけるディスプレイ等の表示デバイスを用いた表示を行う。

表示の際には、該当するオブジェクトが映っている画像に移動軌跡情報を重畳したものを表示したり、リアルタイム検知や事後検索の際の条件として指定したブロック領域を重畳表示したりすることにより、各オブジェクトの行動が把握しやすく、検出された理由等が一目でわかる等の効果が得られる。また、ベースとする画像については、リアルタイム検知結果の場合は、リアルタイム検知条件に合致したイベント検知時点の画像とすることができる。さらに、事後検索結果の場合は、該当オブジェクトの出現時や消失時、又は映っている期間の中間の時刻といったように予め決めていても良いし、そのオブジェクトが最も大きく映っている時とか最も画面中央に映っている時とかのように、所定の条件を満たす画像がどれであるかをオブジェクト処理部３０がメタデータに残す情報の一つとして判定させておく等の工夫もできる。

さらに、この表示部８０が他の処理部と物理的に一体となったコンピュータシステム内で実現する場合ばかりでなく、一般的には例えば遠隔地にある別のコンピュータや携帯電話等の移動端末に結果を送信して表示するという構成でも良い。この場合、ユーザにとって遠隔地にあるカメラ映像を監視することができるという効果がある。

また、このようなリアルタイム検知や事後検索を行う他に、映像記憶部２０による映像の記録が行われている場合、結果表示されたオブジェクトのリストの中から任意のオブジェクトを選択し、このオブジェクトが映っている時間帯を指定して映像記憶部２０にアクセスして該当期間の映像を再生させることができる。この構成をとることにより、常にカメラのライブ映像を監視員の目で監視しておらずに見逃した場面であっても、このシステムによって提示されたオブジェクトを後から指定してその場面を再生して見ることが非常に容易になる。

次に映像監視検索システムの動作シーケンスについて説明する。
図１１はリアルタイム検知処理と事後検索処理を示すフローチャートであり、リアルタイム検知処理と事後検索処理との関係についてメタデータを介してつなげあわせたものである。ステップＳＴ１１において、オブジェクト処理部３０は入力映像に対するオブジェクト処理を行ってメタデータを抽出し、ステップＳＴ１２において、リアルタイム検知処理部６０は、抽出されたメタデータと条件入力部５０から入力されたリアルタイム検知条件に基づきリアルタイム検知処理を行う。

また、リアルタイム検知処理を行わない場合には、ステップＳＴ１１において、オブジェクト処理部３０は入力映像に対するオブジェクト処理を行い、抽出したメタデータをメタデータ記憶部４０に記憶する。ステップＳＴ１３において、事後検索処理部７０は、メタデータ記憶部４０に記憶されているメタデータと条件入力部５０から入力された事後検索条件に基づき事後検索処理を行う。

図１２はリアルタイム検知処理を示すフローチャートである。ステップＳＴ２１において、オブジェクト処理部３０は映像入力部１０から１枚の画像を入力し、ステップＳＴ２２において、オブジェクト処理部３０は入力された１枚の画像に対してオブジェクト処理を行ってメタデータを抽出する。このとき、具体的には、オブジェクト処理部３０は、映像中の移動物体を検出し、動きの連続性から関連づけられるものを一つのオブジェクトとみなしてその移動軌跡等に関する情報をメタデータとして抽出する。

ステップＳＴ２３において、条件入力部５０はリアルタイム検知条件を入力し、ステップＳＴ２４において、リアルタイム検知処理部６０は、抽出されたメタデータと条件入力部５０から入力されたリアルタイム検知条件に基づきリアルタイム検知照合を行う。ステップＳＴ２５において、リアルタイム検知処理部６０は、抽出されたメタデータがリアルタイム検知条件に合致するか否かの判定を行う。合致しない場合はステップＳＴ２１の次の画像入力処理に戻り、合致した場合には、リアルタイム検知処理部６０は、イベント発生として結果を表示部８０に転送し、結果表示リストに追加を行う。その後はステップＳＴ２１の次の画像入力処理に戻る。

図１３は事後検索処理を示すフローチャートである。ステップＳＴ３１，ＳＴ３２の処理は、図１２に示すステップＳＴ２１，ＳＴ２２の処理と同じである。ステップＳＴ３３において、オブジェクト処理部３０は抽出したメタデータをメタデータ記憶部４０に記憶する。ステップＳＴ３４において、オブジェクト処理部３０は検索対象期間の映像を全て解析終了したかを判定し、検索対象期間の映像を全て解析し終わるまで、上記ステップＳＴ３１〜ＳＴ３３の処理を繰り返す。

解析終了後に、ステップＳＴ３５において、条件入力部５０は事後検索条件を入力し、ステップＳＴ３６において、事後検索処理部７０は、メタデータ記憶部４０に記憶されているメタデータと条件入力部５０から入力された事後検索条件に基づき事後検索照合して、事後検索条件に合致するオブジェクトを抽出する。ステップＳＴ３７において、事後検索処理部７０は、抽出したオブジェクトのリストを表示部８０に転送し、表示部８０は結果表示を行う。

事後検索の場合には、前の検索結果を破棄して新たな検索条件を与え直して再検索したり、前の検索結果に新たな検索条件を加えて絞り込み検索を行ったりすることができる。

また、図１１〜図１３には示していないが、リアルタイム検知処理と事後検索処理の組合せとして、過去のある時点から現在まで既にオブジェクト処理が終了しメタデータが抽出された結果に対して事後検索を行い、引き続き現在以降については同じ条件でリアルタイム検知処理を続けるという方法も考えられる。この場合、結果表示としては、一度事後検索処理で出力されたオブジェクトの結果リストに対し、リアルタイム検知処理で出力されるオブジェクトを後から追記していく形となる。

以上のように、この実施の形態１によれば、監視員は常時カメラからのライブ映像を見続けることなく、指定した条件の動きを行ったオブジェクト情報を自動的に収集することができ、監視業務に対する負荷を軽くすることができるという効果が得られる。

また、この実施の形態１によれば、リアルタイム検知処理及び事後検索処理において、画面上を複数のブロック領域に分けて進行方向や通過時間といった移動軌跡情報をメタデータとして保持し、これらの値を照合するだけで条件合致判定が行えるため、非常に高速な処理が実現でき、短時間で検索結果が得られるという効果が得られる。

さらに、この実施の形態１によれば、リアルタイム性を要する監視業務の場合は、予め所望の行動を指定してリアルタイム検知処理を行わせることにより、該当するオブジェクトの検知を即座に知ることができ、しかも別途映像記録を行っておけば、このときに映像を見逃していても該当する場面をただちに再生して確認することができるという効果が得られる。

さらに、この実施の形態１によれば、それ程リアルタイム性を要しない監視業務の場合には、事後検索処理によりある期間中に所望の行動を取ったオブジェクトを一括して検索し、個別にそのときの映像を再生して確認することにより、集中して監視結果をまとめることができるという効果が得られる。

さらに、この実施の形態１によれば、リアルタイム検知処理と事後検索処理を組み合わせることにより、例えばリアルタイム検知により想定外の不審な行動をしている場面等を見つけた場合等、リアルタイム検知の際とは条件を変えて事後検索をすることにより、さらにリアルタイム検知で見落としていたオブジェクトを探し出すことができるという効果が得られる。

さらに、この実施の形態１によれば、事後検索の場合は何度も検索条件を与え直して再検索することや、検索条件を次々に追加して絞り込み検索を行うことも可能で、あらゆる角度から監視映像を評価することができるという効果が得られる。

さらに、この実施の形態１によれば、オブジェクト毎のメタデータサイズを固定にできることから、メタデータの保存も容易にすることができるという効果が得られる。

実施の形態２．
図１４はこの発明の実施の形態２による映像監視検索システムの構成を示すブロック図である。この映像監視検索システムは、映像入力部１０、映像記憶部２０、オブジェクト処理部３０、メタデータ記憶部４０、条件入力部５０、リアルタイム検知処理部６０、事後検索処理部７０、表示部８０及びブロック形状決定処理部１００を備えており、上記実施の形態１の図１に示す構成にブロック形状決定処理部１００を追加したものであり、その他の構成は図１に示す構成と同じである。

上記実施の形態１では、進行方向や移動距離や移動時間に関するメタデータの保持単位として、映像画面を横（Ｘ軸）方向にｍ個、縦（Ｙ軸）方向にｎ個の計ｍ×ｎ個の全て同じ大きさの矩形のブロック領域に分割しているが、このｍとｎの値については、撮影対象とカメラとの距離、カメラ画角、撮影対象の大きさや動きの速さ、あるいは求められる検索精度の高さやメタデータを保持するための確保できるメモリサイズ等によって決定すれば良い。
この実施の形態２では、このｍやｎの数、すなわちブロック領域の大きさを可変にできる仕組みを備えたものである。

図１４において、ブロック形状決定処理部１００は、ユーザからの指示に基づき、オブジェクト処理部３０が分割するブロック領域のサイズを設定し、入力される映像によって移動軌跡情報のためのメタデータを保持する単位となるブロック領域のサイズをオブジェクト処理部３０に通知する。その他の図１４における各構成の処理は上記実施の形態１と同様である。

例えばカメラと被写体との位置が遠く離れていたり、レンズの画角が広角のタイプである場合には、カメラ映像の画面サイズに対する対象オブジェクト自体の大きさやオブジェクトの動きの大きさや速さは比較的小さいものとなることが考えられる。この場合は、検索の分解能を上げるためにブロック領域のサイズは小さめに設定すると良い。逆に、カメラと被写体との位置が近かったり、レンズの画角が狭いタイプである場合には、カメラ映像の画面サイズに対する対象オブジェクトの大きさや動きの大きさや速さの割合は比較的大きくなる。この場合は、逆に検索のための細かい分解能は不要となり、ブロック領域サイズは大きめに設定すれば良い。
これらの設定をユーザがカメラ入力映像を見て判断し、ブロック形状決定処理部１００がそのユーザの判断を受け付けてオブジェクト処理部３０に伝える。

以上のように、この実施の形態２によれば、上記実施の形態１と同様の効果が得られると共に、細かい検索精度が不要な場合には、ブロック領域のサイズを大きくして設定することにより、メタデータ保持のための必要なメモリ量を減らすことができ、解析や検索にかかる処理自体も無駄な精度を省くことで軽くすることができ、逆に比較的小さなオブジェクトが細かい動きをするような場合には、ブロック領域のサイズを小さく設定することにより、検索精度を向上することができるという効果が得られる。

上記の例では、ブロック形状決定処理部１００が、ユーザからの指示により、入力される映像によって移動軌跡情報のためのメタデータを保持するブロック領域の大きさをオブジェクト処理部３０に通知しているが、自動的にブロック領域のサイズ調整を行う方法も考えられる。

例えば、オブジェクト処理部３０が、映像入力部１０から映像を入力し、オブジェクト処理を行いながら、オブジェクトの平均的なサイズと動きを計測し、ブロック形状決定処理部１００が、オブジェクト処理部３０により計測されたオブジェクトのサイズやオブジェクトの動きが小さければ、ブロック領域のサイズを小さく設定し、逆にオブジェクトのサイズやオブジェクトの動きが大きいときはブロック領域のサイズを大きく設定して、オブジェクト処理部３０に通知する。このような自動修正処理は、監視業務を開始する前にシステム設置調整の段階で実施後に実運用に入るとしても良いし、運用中も長いスパンで状況が変わるような場合には動的に修正をかけていっても良い。

また、この実施の形態２によれば、ブロック領域のサイズの自動調整機能を持つことにより、上記のような必要なメモリ量や解析・検索処理精度をよりよい状態に調整できるという効果に加えて、この調整がユーザの手間をかけずに設定可能になるという効果が得られる。

実施の形態３．
この発明の実施の形態３による映像監視検索システムの構成を示すブロック図は、上記実施の形態２の図１４と同じである。この実施の形態３は、画面上の全てのブロック領域が同じサイズであるという制限をなくし、オブジェクトの画面上に位置によりブロック領域のサイズを調整するものである。

図１５はオブジェクトの画面上の位置によりブロック領域のサイズを調整するイメージ例を示す図である。図１５（ａ）の撮影対象が斜めになる映像例に示すように、撮影対象の地平面とカメラの光軸とが浅い角度で接し、手前から遠方まで広い範囲を同時に映している例は監視用途のカメラでは実際には多いと思われる。この場合には、上記実施の形態２で述べたように、オブジェクトの平均的なサイズやオブジェクトの動きの大きさについては、画面の上の方と下の方とでは大きく異なってくる。このような場合の対応として、図１５（ｂ）のブロック領域のサイズ例に示すように、画面上の位置によってオブジェクトが映る大きさの比率を見て、それにあわせてブロック領域のサイズを調整するという方法がある。

ここで、移動距離の補正について説明する。
この場合、実際に映っている撮影対象位置のおよその大きさに合わせてブロック領域のサイズを合わせるということになる。従って移動距離に関する情報をメタデータとして保持する際には、ブロック領域のサイズの違いによって補正を加える必要がある。すなわち、上記実施の形態１における移動距離情報及びそれに伴う速度情報については、単純に画面上の画素数で比較する例を挙げているが、ここではこの画素数をブロック領域サイズの比率に合わせて補正した数字に対して評価して保存する。例えば、最も大きなブロック領域と最も小さなブロック領域のサイズが一辺の長さで２倍異なれば、小さなブロック領域内で１０画素分オブジェクトが移動したとすれば、大きなブロック領域内での２０画素分の動きに相当するということである。すなわち、小さい方のブロック領域内での移動距離は大きい方に合わせるなら２倍に換算する必要がある。

これによって平均の速さによる評価を行う場合も同様に補正されることになるので、カメラから遠くに映っているオブジェクトは近傍に映っているオブジェクトと実際には同じ速度で動いていても、画面上の動きは遅いという違いが同じ値に補正される。このことは、メタデータの種類として、このほかにオブジェクトの大きさ等を用いる場合も同様に補正することによって、カメラから遠方に映るオブジェクトは、実際には同じ大きさであっても画面上では小さくなるという問題にも対応できることになる。

ブロック領域のサイズの設定の方法としては、上記実施の形態２で述べたように、ユーザが手動でブロック形状決定処理部１００に入力を行い、図１５（ｂ）の例では、画面上の方へ行くほどカメラから遠い位置を撮影していることから、ブロック領域のサイズを小さく設定する方法がある。さらに、自動調整機能を持つ方法としては、ブロック形状決定処理部１００が、オブジェクト処理部３０から遠方を映している部分と近傍を映している部分でそれぞれ抽出されるオブジェクトの平均的なサイズの計測結果を受け取り、その比率を求めてブロック領域のサイズの比率を計算することによって、自動調整を行うようにしても良い。

以上のように、この実施の形態３によれば、上記実施の形態２と同様の効果が得られると共に、画面上の位置に応じてブロック領域のサイズを調整することにより、画面上の位置によってカメラと被写体との遠近関係が異なることからくるオブジェクトの大きさや動きの速さ、移動距離等の違いを吸収して検索精度の差を小さくすることができるという効果が得られる。

実施の形態４．
図１６はこの発明の実施の形態４による映像監視検索システムの構成を示すブロック図である。この映像監視検索システムは、映像入力部１０、映像記憶部２０、オブジェクト処理部３０、メタデータ記憶部４０、条件入力部５０、リアルタイム検知処理部６０、事後検索処理部７０、表示部８０及び画像変換処理部１１０を備えており、上記実施の形態１の図１に示す構成に画像変換処理部１１０を追加したものであり、その他の構成は図１に示す構成と同じである。

上記実施の形態１〜上記実施の形態３では、入力されてきたカメラ映像を基本的にはそのままオブジェクト処理部３０に転送し、その後の処理に進めているが、この実施の形態４では、後で検索条件が設定しやすいような形でオブジェクト処理ができるように、入力映像に対して画像変換による位置補正を行った後に、オブジェクト処理を行う例について説明する。

また、上記実施の形態３では、オブジェクトがカメラから遠方に映っている場合と近傍に移っている場合とでは、オブジェクトのサイズや動きの大きさや速さが異なるということから、メタデータを抽出し保存する単位であるブロック領域のサイズを調整することにより、カメラからの距離の違いが補正された形でメタデータを生成しているが、この実施の形態４では、これと同等の効果を得るために、ブロック領域のサイズは全て同じにした状態であっても、逆にオブジェクト処理を行う映像データ自体をカメラからの遠近の違いを補正するように射影変換することを考える。

図１６において、画像変換処理部１１０は映像入力部１０により入力された映像データにおける指定された画面領域を矩形領域に射影変換してオブジェクト処理部３０に転送する。この画像変換処理部１１０は、ユーザによる変換処理内容を受け付ける入出力機能として、例えば、画像をモニタ上に表示させた状態でマウス等を使って、以下に述べる変換領域等の指定ができるＧＵＩ（Graphical User Interface）機能を持つものとする。

図１７は画面上の位置を射影して補正する変換処理の例を示す図である。図１７（ａ）に示す変換前の画像について、まず映像中に映っている被写体の位置関係等を考え、撮影対象の地面が水平であるとすると、画像変換処理部１１０は画面上で左右対称な台形を構成する４点Ａ，Ｂ，Ｃ，Ｄをユーザから指示してもらう。この４点は実際の撮影対象となっている現場の地面上では長方形を構成する位置に来るべき所のものを選ぶようにする。画像変換処理部１１０は、この４点で構成される台形が画像変換処理後には長方形となるように画像を射影変換して、図１７（ｂ）に示す変換後の画像を得る。

この例では、台形ＡＢＣＤが長方形Ａ’Ｂ’Ｃ’Ｄ’に射影され、台形ＡＢＣＤの内部の画像情報のみが変換後の画像に残っているが、台形の外側の映像情報も全て射影するようにしても良い。また、逆に図１７（ａ）の中で点Ａと点Ｂはカメラ画面の外側に存在する点であるが、このような点が選べるように、画像変換処理部１１０ではカメラ画像の外側の範囲まで指定できるようなＧＵＩを提供するか、カメラ画像の範囲内でのみ４点を選ばせるようにして、必要に応じてその４点で構成される台形の外側の画像情報も変換処理後の画像に含まれるようにしても良い。

以上のように、この実施の形態４によれば、上記実施の形態１と同様の効果が得られると共に、このような射影変換をした後にオブジェクト処理を行ってメタデータを抽出することにより、被写体となるオブジェクトとカメラからの距離が遠い場合と近い場合とで、大きさや動きの大きさ、動きの速さ等の比率を同じにすることができるという効果が得られる。

また、この実施の形態４によれば、カメラから遠い位置と近い位置とでメタデータを保持するブロック領域のサイズと実際の被写体のサイズとの比率が異なることから、近い位置で映るオブジェクトに対しては細かい単位で位置条件が設定できるが遠方ではできない、すなわち検索処理に対する分解能が異なるという課題に対しても同時に解決することができるという効果が得られる。

実施の形態５．
この発明の実施の形態５による映像監視検索システムの構成を示すブロック図は、上記実施の形態４の図１６と同じである。上記実施の形態４で示したカメラ映像の射影変換による補正処理は、カメラから被写体までの遠近による大きさの違いを単純に補正するものであるが、この実施の形態５は、画像変換処理部１１０が、カメラ映像中に映っている被写体の物理的配置について、カメラからの光軸方向との角度を調節し、カメラの被写体に対する向きに関する補正をできるようにするものである。すなわち、画像変換処理部１１０は画面領域における被写体と被写体を撮影しているカメラからの光軸方向との角度を調整して矩形領域に射影変換するものである。

図１８は画面上の位置を射影して補正する変換処理の例を示す図である。図１８（ａ）は図１７（ａ）と同様に変換前の画像の例である。この映像では遠方で左右方向に走っている道路については画面上でもほぼ左右方向に映っており、右方向へ移動する人物や左方向へ移動する人物といった検索を表現するのは感覚的に容易である。しかし、手前から遠方に走っている道路は画面上では斜め向きに映っているため、手前方向に移動する人物や遠方方向に移動する人物と言っても、画面上では右斜め下方向への移動や左斜め上方向への移動という条件になってしまう。

そこで、上記実施の形態４で行ったように、図１８（ａ）の画面上で４点Ａ，Ｂ，Ｃ，Ｄを選択する際に、実際の撮影対象となっている現場の地面上では長方形を構成する位置に来るべき所のものを選ぶという点においては同じだが、画面上で台形となるような点を指定する必要はなく、例えば映っている建物の向きや道路の向き等に沿った方向の長方形を構成する位置で選択するようにする。図１８（ａ）で選択した４点Ａ，Ｂ，Ｃ，Ｄは道路の向きに合わせた位置として選択したものであり、図１８（ｂ）はその四角形ＡＢＣＤの内部の映像情報を長方形Ａ’Ｂ’Ｃ’Ｄ’に射影変換したものである。

この結果、図１８（ｂ）では、遠方の左右に走っている道路が左右方向に映っているように、遠方から手前に走っている道路は上下方向に映っている。すなわち、この道路を遠方から手前に移動してくるオブジェクトは、変換後の画像では上から下へ移動するように映る。あるいはオブジェクトが手前から遠方に向かって歩いた後に交差点で右折するという動作をした場合、変換前のカメラ映像上では右下から左上に移動した後に、鋭角に進行方向を変えて右向き移動に変わるが、変換後の映像上では、下から上向きに移動した後、直角に右方向に向きを変えて進むように映る。

もっとも、このようにして検索した結果から元の映像を再生する場合は、画像変換前の自然な形状の映像を記録してある映像記憶部２０の映像を用いて再生すれば良い。必要であれば、画像変換後の映像も別途記録しておいて利用すれば良い。

以上のように、この実施の形態５によれば、上記実施の形態４と同様の効果が得られると共に、カメラからの光軸方向との角度を調節するような射影変換を行った後に、オブジェクト処理を行ってメタデータを抽出することにより、さらに検索条件として進行方向や右折左折といった進行方向変化に対する設定の際に、実際の撮影対象の現場の状況に合わせて行いやすくなるという効果が得られる。

この発明の実施の形態１による映像監視検索システムの構成を示すブロック図である。 この発明の実施の形態１による映像監視検索システムにおいて移動体抽出の様子を説明する図である。 この発明の実施の形態１による映像監視検索システムにおいて移動軌跡情報に関するメタデータ保持方法の例を示す図である。 この発明の実施の形態１による映像監視検索システムにおいてオブジェクト及びメタデータ抽出の様子を説明する図である。 この発明の実施の形態１による映像監視検索システムにおいてブロック領域単位での移動距離と移動時間を説明する図である。 この発明の実施の形態１による映像監視検索システムにおいて進行方向情報の保持方法について説明する図である。 この発明の実施の形態１による映像監視検索システムにおいて進行方向情報のメタデータの保持方法の例を示す図である。 この発明の実施の形態１による映像監視検索システムにおいて指定領域内のオブジェクトの滞留時間を説明する図である。 この発明の実施の形態１による映像監視検索システムにおいて指定領域でのオブジェクトの通過を説明する図である。 この発明の実施の形態１による映像監視検索システムにおいてリアルタイム検知条件を複数指定する場合を説明する図である。 この発明の実施の形態１による映像監視検索システムにおけるリアルタイム検知処理と事後検索処理を示すフローチャートである。 この発明の実施の形態１による映像監視検索システムにおけるリアルタイム検知処理を示すフローチャートである。 この発明の実施の形態１による映像監視検索システムにおける事後検索処理を示すフローチャートである。 この発明の実施の形態２による映像監視検索システムの構成を示すブロック図である。 この発明の実施の形態３による映像監視検索システムにおいてオブジェクトの画面上の位置によりブロック領域のサイズを調整するイメージ例を示す図である。 この発明の実施の形態４による映像監視検索システムの構成を示すブロック図である。 この発明の実施の形態４による映像監視検索システムにおいて画面上の位置を射影して補正する変換処理の例を示す図である。 この発明の実施の形態５による映像監視検索システムにおいて画面上の位置を射影して補正する変換処理の例を示す図である。

符号の説明

１０ 映像入力部、２０ 映像記憶部、３０ オブジェクト処理部、４０ メタデータ記憶部、５０ 条件入力部、６０ リアルタイム検知処理部、７０ 事後検索処理部、８０ 表示部、１００ ブロック形状決定処理部、１１０ 画像変換処理部。

Claims (7)

1. 映像データを入力する映像入力部と、
   該映像データの画像フレームを複数のブロック領域に分割し、各画像フレームから個々の物体を検出し、複数の画像フレームにおける離散的な位置の一連の同一物体を１つのオブジェクトとして抽出し、上記オブジェクトの移動軌跡情報を、この移動軌跡が通過する各ブロック領域にオブジェクトの特徴と共に配分して上記各ブロック領域毎のメタデータとして抽出するオブジェクト処理部と、
   上記オブジェクト処理部により抽出された上記各ブロック領域毎のメタデータを記憶するメタデータ記憶部と、
   リアルタイム検知条件又は事後検索条件を入力する条件入力部と、
   上記オブジェクト処理部により抽出された上記各ブロック領域毎のメタデータと上記条件入力部に入力されたリアルタイム検知条件とを照合し、上記リアルタイム検知条件に合致するオブジェクトを検知するリアルタイム検知処理部と、
   上記メタデータ記憶部に記憶されている上記各ブロック領域毎のメタデータと上記条件入力部に入力された事後検索条件とを照合し、上記事後検索条件に合致するオブジェクトを検索する事後検索処理部と、
   上記リアルタイム検知処理部により検知されたオブジェクト又は上記事後検索処理部により検索されたオブジェクトを表示する表示部とを備えた映像監視検索システム。
2. オブジェクト処理部は、各ブロック領域内のオブジェクトの進行方向、移動距離又は移動時間を、各ブロック領域毎のメタデータとして抽出することを特徴とする請求項１記載の映像監視検索システム。
3. オブジェクト処理部が分割するブロック領域のサイズを設定するブロック形状決定処理部を備えたことを特徴とする請求項１記載の映像監視検索システム。
4. オブジェクト処理部により計測されたオブジェクトの平均的なサイズ又は平均的な動きに基づき、上記オブジェクト処理部が分割するブロック領域のサイズを設定するブロック形状決定処理部を備えたことを特徴とする請求項１記載の映像監視検索システム。
5. オブジェクト処理部により計測されたオブジェクトのサイズ又は動きに基づき、上記オブジェクト処理部が分割するブロック領域のサイズを調整するブロック形状決定処理部を備えたことを特徴とする請求項１記載の映像監視検索システム。
6. 映像データを入力する映像入力部と、
   上記映像データの画像フレームを複数のブロック領域に分割し、各画像フレームから個々の物体を検出し、複数の画像フレームにおける一連の同一物体を１つのオブジェクトとして抽出し、このオブジェクトの特徴を各ブロック領域毎のメタデータとして抽出するオブジェクト処理部と、
   上記映像入力部により入力された映像データにおける指定された画面領域を矩形領域に射影変換して上記オブジェクト処理部に転送する画像変換処理部と、
   上記オブジェクト処理部により抽出された上記各ブロック領域毎のメタデータを記憶するメタデータ記憶部と、
   リアルタイム検知条件又は事後検索条件を入力する条件入力部と、
   上記オブジェクト処理部により抽出された上記各ブロック領域毎のメタデータと上記条件入力部に入力されたリアルタイム検知条件とを照合し、上記リアルタイム検知条件に合致するオブジェクトを検知するリアルタイム検知処理部と、
   上記メタデータ記憶部に記憶されている上記各ブロック領域毎のメタデータと上記条件入力部に入力された事後検索条件とを照合し、上記事後検索条件に合致するオブジェクトを検索する事後検索処理部と、
   上記リアルタイム検知処理部により検知されたオブジェクト又は上記事後検索処理部により検索されたオブジェクトを表示する表示部とを備えた映像監視検索システム。
7. 映像データを入力する映像入力部と、
   上記映像データの画像フレームを複数のブロック領域に分割し、各画像フレームから個々の物体を検出し、複数の画像フレームにおける一連の同一物体を１つのオブジェクトとして抽出し、このオブジェクトの特徴を各ブロック領域毎のメタデータとして抽出するオブジェクト処理部と、
   上記映像入力部により入力された映像データにおける指定された画面領域を矩形領域に射影変換して上記オブジェクト処理部に転送する画像変換処理部と、
   上記オブジェクト処理部により抽出された上記各ブロック領域毎のメタデータを記憶するメタデータ記憶部と、
   リアルタイム検知条件又は事後検索条件を入力する条件入力部と、
   上記オブジェクト処理部により抽出された上記各ブロック領域毎のメタデータと上記条件入力部に入力されたリアルタイム検知条件とを照合し、上記リアルタイム検知条件に合致するオブジェクトを検知するリアルタイム検知処理部と、
   上記メタデータ記憶部に記憶されている上記各ブロック領域毎のメタデータと上記条件入力部に入力された事後検索条件とを照合し、上記事後検索条件に合致するオブジェクトを検索する事後検索処理部と、
   上記リアルタイム検知処理部により検知されたオブジェクト又は上記事後検索処理部により検索されたオブジェクトを表示する表示部とを備え、
   上記画像変換処理部は、上記画面領域における被写体と被写体を撮影しているカメラからの光軸方向との角度を調整して矩形領域に射影変換することを特徴とする映像監視検索システム。

Images