JPWO2004006572A1 - 映像生成処理装置、映像生成処理方法および映像記憶装置 - Google Patents

Abstract

基準映像と、基準映像に関連する関連映像から成るマルチアングル映像を生成する映像生成処理装置を得る。映像データとともに各映像データの属性情報として撮像位置情報が記録されている映像データベース１０５を備え、ユーザが表示手段１０１により検索キーを入力すると、関連映像条件生成手段１０３は検索キーに適合する映像を映像データベース１０５から取得し、取得した映像の情報を基に当該映像に関連する映像の条件を定める。映像検索・合成手段１０４は、表示手段１０１により入力された検索キーに合致する映像と、関連映像条件生成手段１０３が生成した前記映像の条件に合致する映像を合成することによりマルチアングル映像を生成する。これにより、防犯効果とユーザインタフェースを高めた監視映像の閲覧を実現する。

Description

本発明は、防犯効果を高め、よりセキュリティレベルの高い監視を実現することを目的とした監視映像における映像生成処理装置、映像生成処理方法および映像記憶装置に係る。映像生成処理方法および映像生成処理装置は、所望の条件に沿った映像をそれに関連する映像と共に検索することを実現する。また、映像記憶装置は、映像データが有する属性情報に基づく検索効率を向上させるためのデータ管理構造を有するものである。

現代、強盗、殺傷等に代表されるような犯罪は年々増加の一途をたどっている。特に、近年においては、郵便局や学校、駅、道路等の公共場所での犯罪が急増しつつあり、一般の人々の間においても監視セキュリティへの関心が急速に高まっている。
監視カメラによる監視は、主に２つの働きを持つ。一つは、現状で異常が発生していないかをライブ映像により確認することである。これにより、異常事態が起こった際に、すぐに対処することができ、事態を最小限の被害に留めることが可能である。また、監視しているという事実が、防犯効果を高めるといった効果を生む。
二つ目の働きは、ビデオテープレコーダーやハードディスク装置などに記録された蓄積映像を再生し、ライブ監視をしていない場合に後日確認することや、事件等が発生した際に事件発生前後の状況を確認したり、事件を撮影した映像を分析することである。特に、日本では、ライブ監視をしていないところも多く、例えば翌日に異常がなかったかを早送り等により確認したり、事件が起こった際に参照する用途が多い。なお、事件の分析や状況確認においては、記録映像を警察に提出することもあり、犯人を逮捕するための資料としてや事件を未然に防ぐ対策を考えることに利用される。
このような監視を実現する監視システムは、主に、複数の監視カメラ、映像記録装置、映像を再生する表示手段および、監視カメラから映像記録装置の間と映像記録装置から表示手段映像の間、映像を伝送する伝送媒体から構成される。
これらに関連する技術動向として、近年、大容量高速通信の普及、記録媒体の大容量化、およびディジタル技術の実用化が進んでいることが注目される。
大容量高速通信としては、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等のディジタル圧縮技術の進歩に伴い、データ伝送効率が上がるとともに、ＦＴＴＨ（Ｆｉｂｅｒ Ｔｏ Ｔｈｅ Ｈｏｍｅ）やＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）等の通信媒体、通信方式の普及により、民間レベルにまで大容量高速通信が進んできた。これにより、複数の監視場所の映像データを遠隔の監視センタ等に伝送して蓄積・管理することや、監視者が自宅等からインターネットを通して自由に監視映像を閲覧することが可能になった。
また、記録媒体の低価格化やハードディスク等へのディジタル記録装置の普及などに伴い、記録容量の大容量化が進んでいる。なお、ディジタル記録装置においては、記録を止めずに蓄積映像を再生することや、センサーのデータ等と関連付けて蓄積することが可能である。
以上のような技術の進歩により、複数の監視地点の映像を遠隔地にて一括で管理したり、大容量の映像を蓄積することが可能なシステムが普及し、ネットワークを介した自由な閲覧も可能になった。
これにより、いつでも、どこでも、誰でも、蓄積映像を閲覧することが可能になった一方で、所望の映像を見つけるためには、監視地点の監視状況に対する十分な知識を必要とすることや、多量の蓄積映像の中から所望の映像を見つける労力の増大など、監視者にとっての問題も発生する。
従って、上記の大容量、多地点アクセス可能な監視システムの機能をより十分に活かすためには、大量の蓄積映像の中から、より容易に、より効率的に所望の映像を探すことができ、かつ、それらの大量の映像情報をより効果的に閲覧することができる検索・閲覧システムの利用が重要となる。
これまでの映像検索・閲覧装置としては特開平１０−２４３３８０号広報や特開平１１−２８２８５１号広報に記載されたものが知られており、一般に、図１９に示す構造で構成され、そのデータフローも同図に示す流れをとることが多い。
図１９を用いて従来の映像検索・閲覧装置を説明する。映像検索・閲覧装置は３つの手段により構成され、１９０１に示す、検索条件を入力する機能および映像データを表示する機能を有する表示手段と、１９０２に示す、表示手段から入力された検索条件を基に、映像データベースから適合する映像を検索する機能と、結果として得られるテキスト情報または映像データを表示手段に出力する機能を備えた映像検索手段と、１９０３は、映像データおよび必要あらば映像データの属性情報を蓄積する映像データベースから成る。
次に同図を用いて動作を説明する。特定の時間の映像や、特定のカメラが映す映像、または特定の位置を映している映像が欲しい場合、ユーザは表示手段１９０１に対して検索条件となるデータを与え検索を指示する。指示を受け取った表示手段１９０１は入力された検索条件１９０４を映像検索手段１９０２に送出する。映像検索手段１９０２は検索条件１９０５を基に映像データベース１９０３に蓄積されている映像データの中から条件に合致する映像を検索する。映像検索は蓄積されている全ての映像データに対して行われ、適合する映像データまたは映像データを一意に表すＩＤから成る検索結果データ１９０６が作成される。映像検索合成手段１９０２は検索結果データ１９０７を表示手段に送出し、表示手段１９０１はこれをユーザに表示する。
前記従来手法に示すように、一般に蓄積映像の検索装置は、ユーザにより入力されるカメラＩＤや位置情報、時刻情報等などの検索キーを基に条件に合致する映像を検索するものであった。
しかし、条件検索により得られた映像（以降、「着目映像」と呼ぶ）に、対象が所望の角度で映っていないために、他の角度から映っている映像を求めて再検索しなければならないということがよくある。例えば、着目映像に不審に思われる人物や物体を発見した場合、「他の角度から映している映像を見たい」という要求は頻繁に起こるが、これに対して、従来の映像検索閲覧装置では同地点を映しているであろう他のカメラを探すなどのように、再度条件を設定し新規に検索を行って所望の映像を探さねばならず、所望の映像を得るまでに手間がかかる。
また、監視映像の閲覧では、着目映像が映している地点の周囲の状況を確認したいという要望がある。これに対して、従来の映像検索閲覧装置では、どのカメラが周囲の地点を映しているのかを把握し、所望の位置を映している映像を探さねばならず、所望の映像を得るまでに手間がかかる。また、これには、どのカメラがその時間にどこを映していたかという監視状況の知識や、監視地点の知識を必要とするため、それらの知識を有する人物しか容易に所望の映像を閲覧できないという問題がある。
また、被監視地点には棚や柱等の物理的な物体により死角が存在するが、着目映像に存在する死角領域に異常がないかを確認するためには、従来の映像検索閲覧装置では、どのカメラがその地点を映しているのかを把握し、新規に検索しなければならず、所望の映像を得るまでに手間がかかる。また、これには、閲覧している映像の中でどの領域が死角となっているかという知識や、どのカメラがその死角を補って撮影しているのかという知識を必要とするため、それらの知識を有する人物しか容易に所望の映像を閲覧できないという問題がある。
また、条件検索によって適合する映像が複数存在する場合や、多画面で複数の映像を同時に閲覧する際には、その量によっては、それらの中から最も望ましい映像を探し難く、ユーザに負担が強いられる。
また、ある映像を中心として、それに関連する映像とともに閲覧している際には、中心として見たい映像が変わることがある。従来の映像閲覧装置では、ある映像に対して関連する映像を見るには、手動で設定しなければならないため、着目する映像が変化すると、それに応じて関連する映像をも再度検索しなければならない。この際の作業労力は非常に大きい。
また、従来の監視装置においては、監視カメラの映像が記録される通常の記録領域とは別の領域に、監視者所望の映像を保存することができる記録領域を備えていることが多い。しかし、従来の装置では、静止画、または動画を個々に保存する仕組みであるため、保存したい映像が多く存在するときには、その作業手間は大きい。また、それらの保存した映像を取り出す際にも、所望の条件に合う全ての映像を収集するには時間と手間がかかる。
また、従来の映像検索閲覧装置では、映像データを各カメラ単位で保存する形式をとっているため、映像データの各属性情報の値を検索キーとした映像検索の際には、全カメラの映像データの中から適合する属性値を有する映像を検索せねばならず、検索時間が膨大になる。

この発明は上記のような課題を解決するためになされたもので、基準とする映像データと、当該映像データと関連性の高い映像を自動的に選出し、それらの複数の映像を統合的に扱うことが可能な映像生成処理装置および映像生成処理方法の提供を目的とする。また、所望の映像をすばやく検索可能な映像記憶装置の提供を目的とする。
本発明の映像生成処理装置は、複数の撮像装置によって撮像された映像の中から、所定の条件を満たす互いに関連した複数の映像を表示するよう処理する映像生成処理装置であって、前記複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶手段から、第１の所定条件に合致する基準映像の撮像位置情報を取得する撮像位置情報取得手段と、前記取得された撮像位置情報および前記第１の所定条件に含まれている日時情報に基づいて、関連映像条件を生成する関連映像条件生成手段と、前記関連映像条件を満たす関連映像を前記映像記憶手段から取得する映像取得手段と、を備える。したがって、閲覧中の映像および当該映像と関連性の高い映像を統合的に扱うことができる。
また、本発明の映像生成処理装置は、前記基準映像および前記関連映像を一画面で同時に表示するよう処理する表示処理手段をさらに備えることが望ましい。したがって、所望の対象をマルチアングル映像で監視することができる。
また、本発明の映像生成処理装置は、前記関連映像を撮像する撮像装置と前記基準映像を撮像する撮像装置とがそれぞれ異なることが望ましい。
また、本発明の映像生成処理装置では、前記関連映像条件は、前記撮像位置情報および前記日時情報を含む条件である。したがって、所望の対象を多角度で監視することができる。
また、本発明の映像生成処理装置では、前記関連映像条件は、前記撮像位置情報が示す位置に隣接する領域の位置情報および前記日時情報を含む条件である。したがって、所望の対象を広範囲に監視することができる。
また、本発明の映像生成処理装置では、前記関連映像条件は、前記基準映像では撮像されていない否可視領域の位置情報および前記日時情報を含む条件である。したがって、基準映像を撮影する撮像装置では死角となってしまう領域をも併せて監視することができる。
また、本発明の映像生成処理装置では、前記関連映像条件生成手段は、映像特徴空間で前記基準映像と隣接する映像の撮像位置情報を取得し、前記関連映像条件を生成する。したがって、特徴が共通する複数映像での監視を行うことができる。
また、本発明の映像生成処理装置では、前記関連映像条件生成手段は、前記基準映像の意味内容に関して関連性を有する映像の撮像位置情報を取得し、前記関連映像条件を生成する。したがって、意味内容が共通する複数映像での監視を行うことができる。
また、本発明の映像生成処理装置は、前記関連映像が少なくとも２つの映像を含む場合、優先度規則に応じて各映像を順序付ける。したがって、ユーザが所望する映像に最も近い順に関連映像の表示を配置することができる。
また、本発明の映像生成処理装置では、前記映像記憶手段が記憶する各映像の付属情報は、撮像位置情報、日時情報および撮像装置情報を含み、前記映像記憶手段のデータ構造は、前記撮像位置情報を第１軸、前記日時情報を第２軸とし、所定の撮像位置情報と所定の日時情報とが交わるセルに前記所定の撮像位置を前記所定の日時に撮影していた撮像装置の情報を保存する２次元配列である。したがって、映像記憶手段から映像をすばやく取得できる。
また、本発明の映像生成処理方法は、複数の撮像装置によって撮像された映像の中から、所定の条件を満たす互いに関連した複数の映像を表示するよう処理する映像生成処理方法であって、前記複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶手段から、第１の所定条件に合致する基準映像の撮像位置情報を取得し、前記取得された撮像位置情報および前記第１の所定条件に含まれている日時情報に基づいて、関連映像条件を生成し、前記関連映像条件を満たす関連映像を前記映像記憶手段から取得する。
また、本発明の映像記憶装置は、複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶装置であって、各映像の付属情報は、撮像位置情報、日時情報および撮像装置情報を含み、当該映像記憶装置のデータ構造は、前記撮像位置情報を第１軸、前記日時情報を第２軸とし、所定の撮像位置情報と所定の日時情報とが交わるセルに前記所定の撮像位置を前記所定の日時に撮影していた撮像装置の情報を保存する２次元配列である。
本発明は、第１に映像データとともに各映像データの属性情報として撮像位置情報が記録されている映像データベースがあり、基準映像または基準映像を一意に決定づける検索キーを指定すると、それに関連する映像として、基準映像が映している撮像位置と同地点を映している映像を検索し、基準映像および関連映像からなる複数の映像をマルチアングル映像として関連づける映像生成処理方法である。
これにより、所望の映像と同地点を捉えた他のカメラの映像を容易に閲覧することが可能となり、カメラの設置位置等を考慮した再検索に要する手間を軽減する効果がある。また、得られるマルチアングル映像で監視することにより、所望の対象を多角度で監視することが可能になり、死角領域を低減させる効果がある。
第２に映像データとともに各映像データの属性情報として撮像位置情報が記録されている映像データベースがあり、基準映像または基準映像を一意に決定づける検索キーを指定すると、それに関連する映像として、基準映像が映している撮像位置の隣接領域を映している映像を検索し、基準映像および関連映像から成る複数の映像をマルチアングル映像として関連づける映像生成処理方法である。
これにより、所望の映像の周囲地点を捉えた他のカメラの映像を容易に閲覧することが可能となり、カメラの設置位置等を考慮した再検索に要する手間を軽減する効果がある。また、得られるマルチアングル映像で監視することにより、所望の対象を広範囲に監視することが可能となり、周辺領域に注意を払った監視を実現する。
第３に映像データとともに各映像データの属性情報として撮像位置情報が記録されている映像データベースがあり、関連映像条件生成手段が各監視カメラの否可視領域に関する情報を備え、基準映像または基準映像を一意に決定づける検索キーを指定すると、それに関連する映像として、基準映像が映している撮像位置の否可視領域を映している映像を検索し、基準映像および関連映像から成る複数の映像をマルチアングル映像として関連づける映像生成処理方法である。
これにより、所望の映像において死角となっている領域を捉えた他のカメラの映像を容易に閲覧することが可能となり、カメラの設置位置等を考慮した再検索に要する手間を軽減する効果がある。また、得られるマルチアングル映像で監視することにより、一つのカメラでは撮影しきれない地点を補完した監視が可能になり、死角を低減させる効果がある。
第４に基準映像と関連映像からなる複数の映像をマルチアングル映像として関連づける手段において、各映像の撮像位置情報に基づく優先度基準により順序付けて関連づける映像生成処理方法である。
これにより得られるマルチアングル映像で監視することにより、撮像位置に関してユーザ所望の映像に最も近い映像の順に配列し表示することを可能にする。また、複数の映像を閲覧する際に伴う見難さを改善する効果がある。
第５に基準映像と関連映像からなる複数の映像をマルチアングル映像として関連づける手段において、人物検出機能を有し、マルチアングル映像を構成する複数の映像を、各映像中に映っている人物の情報に基づいて順序付けて関連づける映像生成処理方法である。
これにより得られるマルチアングル映像で監視することにより、監視において重要である人物の情報に関して重要度の高い映像の順に配列し表示することを可能にする。また、複数の映像を閲覧する際に伴う見難さを改善する効果がある。
第６に基準映像と関連映像が関連づけられたマルチアングル映像が表示されている表示手段において、基準映像を、表示中の任意の映像に切り替える機能を備え、切り替え指示に応じて新たな基準映像に対する関連映像を検索し、マルチアングル映像として関連づける映像生成処理方法である。
これにより、マルチアングル映像閲覧中に生じる着目映像の変化に対し、それに応じた映像表示を可能にし、臨機応変に閲覧方法を変更することのできる高度な閲覧を実現する。
第７に監視カメラの撮影映像を記録する通常の記録領域とは別に、所望の映像を蓄積するための記録領域を備えた映像データベースにおいて、表示手段に表示されているマルチアングル映像、すなわち複数の映像を、ユーザの指示に基づきパッケージ化して記録する機能を備えた映像生成処理装置である。
これにより、個々の映像データを関連性のある一まとまりのデータとして扱うことを可能にし、ユーザインタフェースを向上させる効果がある。また、映像データの可搬性を向上させる。
第８に映像データベースが、当該映像データベースに蓄積する映像について、各映像データが有する撮像位置、日時、および撮影カメラの３種の情報を、任意の２種の情報から残りの１種の情報を抽出することが可能なデータ記録構造により統合的に管理する機能を備えた映像生成処理装置である。
前記データ記録構造を、例えば、第１軸に撮像位置データ、第２軸に日時、第１軸と第２軸の交わるセルに、第１軸の撮像位置を第２軸の示す日時に撮影していたカメラデータを保存する２次元配列により実現することにより、撮像位置情報または日時情報、または双方の情報により特徴付けられる映像データに対する検索速度を向上させる効果がある。
総じて、これらの発明により、よりセキュリティレベルの高い監視が可能となる。

図１は、本発明の映像生成処理装置の概略構成を示すブロック図であり、
図２は、本発明の実施の形態１における、映像データベースの記録構造を示す図であり、
図３は、本発明の実施の形態１における、被監視領域の地図情報管理方法の一例を示す図であり、
図４は、本発明の実施の形態１において、検索キーとしてカメラＩＤおよび日時情報が入力された場合の装置全体における処理フローであり、
図５は、本発明の実施の形態１において、検索キーとしてカメラＩＤおよび日時情報が入力された場合のマルチアングル映像表示の一例を示す図であり、
図６は、本発明の実施の形態１において、検索キーとしてカメラＩＤおよび時区間が入力された場合の、関連映像条件生成手段の動作フローチャートであり、
図７は、本発明の実施の形態１において、単一映像再生中にマルチアングル化を指示した際の動作概略を示す図であり、
図８は、本発明の実施の形態２において、検索キーとしてカメラＩＤおよび日時情報が入力された場合の動作概略を示す図であり、
図９は、本発明の実施の形態２において、検索キーとしてカメラＩＤおよび日時情報が入力された場合の、関連映像条件生成手段の動作フローチャートであり、
図１０は、本発明の実施の形態３における、否可視領域と否可視領域情報の一例を示す図であり、
図１１は、本発明の実施の形態３における、検索キーとしてカメラＩＤおよび日時情報が入力された場合の動作概略を示す図であり、
図１２は、本発明の実施の形態３における、検索キーとしてカメラＩＤおよび日時情報が入力された場合の、関連映像条件生成手段の動作フローチャートであり、
図１３は、本発明の実施の形態４における、撮像範囲に基づく映像の評価として、適合率および再現率の例を示す図であり、
図１４は、本発明の実施の形態５における、マルチアングル映像閲覧時の基準映像の切り替え動作の概略を示す図であり、
図１５は、本発明の実施の形態５において、マルチアングル映像閲覧時の基準映像の切り替えが指示された場合の、表示手段の処理フローであり、
図１６は、本発明の実施の形態６における、映像生成処理装置の全体構成図であり、
図１７は、本発明の実施の形態７において、撮像位置、および日時、および撮影カメラ情報を管理するデータテーブルを示す図であり、
図１８は、本発明の実施の形態７において、撮像位置および日時を映像条件とした場合の、関連映像検索手段および映像データベース間の処理フローであり、
図１９は、従来の映像検索・閲覧装置の概略構成を示すブロック図
図２０は、人物特徴に基づくマルチアングル映像の表示方法の一例を示す図である。
なお、図中の符号、１０１は表示手段、１０２はマルチアングル映像生成手段、１０３は関連映像条件生成手段、１０４は映像検索・合成手段、１０５は映像データベース、１０６は関連映像検索手段、１０７は関連映像合成手段、２０１は映像データ領域、２０２は時刻情報、２０３は映像データ、２０４は撮像位置情報、２０５は映像フレームごとのデータ、４０１は表示手段における入力処理、４０２は表示手段から検索キーの情報が送出される処理、４０３は検索キーに適合する映像を映像データベースから検索する処理、４０４は映像データベースから撮像位置情報を検索結果として取得する処理、４０５は関連映像条件を映像検索・合成手段に送出する処理、４０６は関連映像条件に適合する映像を映像データベースから検索する処理、４０７は映像データベースから関連映像を取得する処理、４０８はマルチアングル映像を表示手段に送出する処理、５０１は表示手段における入力画面、５０２はユーザによる検索キー入力、５０３は表示手段における出力画面、５０４は基準映像、５０５は関連映像、６０１は表示手段から検索キーを受信する処理、６０２は日時変数の初期値の設定処理、６０３は映像データベースから検索キーに合致する映像データを検索し、適合する映像データ、すなわち基準映像が存在するかどうかの判定処理、６０４は基準映像の撮像位置情報を映像データベースから取得する処理、６０５は関連映像条件として基準映像の撮像位置情報および日時変数値を設定する処理、６０６は関連映像条件を映像検索・合成手段に送出する処理、６０７は日時変数のインクリメント処理、６０８は所定の時区間の処理を終了したかを判断する処理、７０１は表示手段における単一映像表示画面、７０２はマルチアングル化指示ボタン、７０３はユーザによるマルチアングル化指示の入力、７０４は表示手段に再生中の映像データ、７０５は再生中の映像データの撮像位置情報、７０６は関連映像、７０７は表示手段におけるマルチアングル映像表示、８０１は表示手段における入力画面、８０２はユーザによる検索キーの入力、８０３は検索キーに適合する基準映像、８０４は基準映像の撮像位置情報、８０５は基準映像の撮像位置に対する隣接位置、８０６は関連映像、８０７は表示手段における出力画面、９０１は表示手段から検索キーを受信する処理、９０２は映像データベースから検索キーに合致する映像データを検索し、適合する映像データ、すなわち基準映像が存在するかどうかの判定処理、９０３は基準映像の撮像位置情報を映像データベースから取得する処理、９０４は基準映像の撮像位置情報に対する隣接領域位置を計算する処理、９０５は関連映像条件として隣接領域位置および日時情報を設定する処理、９０６は関連映像条件を映像検索・合成手段に送出する処理、１００１は監視カメラＸ、１００２は被監視領域に存在する障害物、１００３は監視カメラＸの現在の撮像領域、１００４は監視カメラＸの撮像領域が１００３である場合の否可視領域、１００５は各カメラの否可視領域情報、１１０１は表示手段における入力画面、１１０２はユーザによる検索キー入力、１１０３は基準映像、１１０４は基準映像の撮像位置情報、１１０５は否可視領域情報、１１０６は当該カメラの否可視領域、１１０７は否可視領域を撮像位置情報として持つ関連映像、１１０８は表示手段における出力画面、１２０１は表示手段から検索キーを受信する処理、１２０２は映像データベースから検索キーに合致する映像データを検索し、適合する映像データ、すなわち基準映像が存在するかどうかの判定処理、１２０３は基準映像の撮像位置情報を映像データベースから取得する処理、１２０４は基準映像の撮像位置情報に対する否可視領域位置を計算する処理、１２０５は関連映像条件として、否可視領域位置および日時情報を設定する処理、１２０６は関連映像条件を映像検索・合成手段に送出する処理、１３０１は被監視領域の地図、１３０２は検索条件に指定された撮像範囲、１３０３は順序付けの対象である映像が映している撮像範囲、１４０１はマルチアングル映像が表示されている入力画面、１４０１−ａは基準映像、１４０１−ｂは関連映像▲１▼、１４０２−ｃは関連映像▲２▼、１４０２は関連映像▲２▼１４０１−ｃを基準映像として指示する入力、１４０３は関連映像▲２▼１４０１−ｃを基準映像として再構成されたマルチアングル映像を表示している出力画面、１５０１はマルチアングル映像が表示されている表示画面、１５０２は表示画面に表示されている映像の情報、１５０３は表示画面に表示中の１つの関連映像を基準映像として指示する入力、１５０４は所有映像データ情報中の、指示された映像に対応する映像データ、１５０５は表示手段が関連映像条件生成手段に送出する検索キー、１６０１は表示手段、１６０２は映像データベース、１６０３は通常記録領域、１６０４は保存領域、１７０１は撮像位置情報として領域ＩＤの値を有する第１軸、１７０２は日時情報を有する第２軸、１７０３は第１軸１７０１の示す領域を、第２軸の示す日時に撮影していたカメラのカメラＩＤの集合を値としてもつ、２次元配列におけるデータ保存領域、１８０１は映像検索・合成手段、１８０２は映像データベース、１８０３はデータテーブル、１８０４はカメラ単位に映像データを記録をする通常記録領域、１８−ａは映像検索・合成手段が検索条件を送出する処理、１８−ｂはデータテーブルから検索条件で指定された撮像位置を指定された日時に撮影していたカメラの情報を取得する処理、１８−ｃはデータテーブルの情報に基づき検索キーに合致する映像を検索する処理、１８−ｄは検索条件に適合した映像を映像検索・合成手段に送出する処理、１９０１は表示端末、１９０２は映像検索手段、１９０３は映像データベース、１９０４は表示端末が映像検索手段に検索条件を送出する処理、１９０５は映像検索手段が検索条件を基に映像データベースから適合する映像を検索する処理、１９０６は映像検索手段が検索結果または適合映像を映像データベースから取得する処理、１９０７は映像検索手段が検索結果または適合映像を表示端末に送出する処理である。

以下、本発明の実施の形態について、図１から図１９を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
（実施の形態１）
第１の実施の形態として、基準映像が指定され、基準映像と基準映像と同地点を映している映像から成るマルチアングル映像を生成する映像生成処理装置について図１から図７を用いて説明する。
なお、本明細書で記す基準映像とは、マルチアングル映像を生成する上で基準とする映像を意味し、関連映像とは、基準映像の属性情報または映像特徴について関連性を有する映像を意味する。
なお、基準映像の指定の方法は特に問わないが、以下の説明においては、カメラＩＤまたはカメラＩＤおよび日時情報を検索キーとして指定することによって、基準映像を指定するものとして説明する。
まず、図１、図２により映像生成処理装置の構成を説明する。
図１において、表示手段１０１は、検索キーとしてカメラＩＤおよび、必要あらば日時または期間を入力する機能と、マルチアングル映像を受け取り、表示する機能を備える。マルチアングル映像生成手段１０２は、関連映像条件生成手段１０３と映像検索・合成手段１０４の２手段により構成する。関連映像条件生成手段１０３は、表示手段１０１から得られるカメラＩＤおよび日時情報に適合する映像データ、すなわち基準映像を映像データベース１０５から検索し、基準映像の撮像位置情報を取得する。得られた撮像位置情報と日時情報を関連映像条件として設定し、関連映像検索手段１０６に送る。関連映像検索手段１０６は、関連映像条件生成手段１０３から得られる関連映像条件を基に、映像データベース１０５から適合する全ての映像を取得する。取得した全ての関連映像を、関連映像合成手段１０７に送る。関連映像合成手段１０７は関連映像検索手段１０６により取得する関連映像を基準映像に関連付け、マルチアングル映像として合成する。そして、表示手段１０１に送る。
なお、以下の説明においては、関連映像検索手段１０６および関連映像合成手段１０７をまとめて、映像検索・合成手段１０４として記す。
映像データベース１０５は、監視カメラの記録データとして、映像データとともに各映像データの撮影時刻、撮像位置情報を保存しており、カメラＩＤ・日時・撮像位置のいずれか、または任意の組み合わせデータを条件として各データの検索が可能なデータベースである。
映像データベース１０５に保存されるデータ構造の一例を図２に示す。映像データベース１０５には各カメラに割り振られた領域２０１ごとに映像が記録され、各映像フレームのデータ２０５として、日時情報２０２、映像データ２０３、撮像位置データ２０４が記録される。映像データ２０３は、映像データそのものを保存してもよいし、別領域に記録された該当映像データを一意に参照できるＩＤ等を記録することも可能である。図２は後者により記録している例を示している。撮像位置データ２０４は、被監視領域の地図の管理方法により様々な形態をとりうる。一例としては、図３に示すように、部分領域に分割され、それぞれに固有のＩＤ（以下、これを「領域ＩＤ」と呼ぶ）が付加された小領域の集合として、被監視領域を管理する方法である。この場合、映像データベース１０５に記録される撮像位置データ２０４は図２に記載のような領域ＩＤの集合により記録されうる。また、別の例としては被監視領域の一点を基準とした座標系を規定し、座標値により管理する方法である。この場合、撮像位置データ２０４としては、撮像範囲を示す矩形の各頂点の座標値からなるデータにより表現することが可能である。
上記の記録データベースの構造および撮像位置データの形式は一例であり、その記録形式は柔軟に変更しうる。
以下、本実施の形態による説明においては、図２記載の記録データベース、および図３記載の被監視領域の地図情報により管理した場合として述べる。
本発明の映像生成処理装置は図４に示す処理フローに従って動作する。
ステップ４０１、ユーザにより表示手段１０１から検索キーが入力される。図４では例として検索キーにカメラＩＤ｛Ｃｘ｝および日時｛ｔ０｝が入力されたとしている。
ステップ４０２、表示手段１０１は検索キーの入力と検索の指示を受けると、関連映像条件生成手段１０３に検索キーのデータ｛Ｃｘ，ｔ０｝を送出する。
ステップ４０３、関連映像条件生成手段１０３は受信した検索キーのデータ｛Ｃｘ，ｔ０｝を基に、映像データベース１０５から検索キーに合致する映像を検索する。図４の例ではカメラがＣｘの映像で時刻ｔ０に映された映像を検索し、適合する映像データｆｘ０を見つける。
ステップ４０４、関連映像条件生成手段１０３は検索結果として、適合映像データｆｘ０の属性情報の一つである撮像位置情報として、領域ＩＤの集合｛ｄｎ，ｄｍ｝を受け取る。
ステップ４０５、関連映像条件生成手段１０３は、検索キーで与えられた日時情報ｔ０および、取得した撮像位置情報｛ｄｎ，ｄｍ｝を関連映像条件｛｛ｄｎ，ｄｍ｝，ｔ０｝として設定し、映像検索・合成手段１０４に送出する。
ステップ４０６、映像検索・合成手段１０４は、映像データベースから関連映像条件｛｛ｄｎ，ｄｍ｝，ｔ０｝に適合する映像を検索する。この例の場合、関連映像条件から、撮像位置情報として領域ＩＤが｛ｄｎ，ｄｍ｝のいずれかを含み、かつ時刻情報がｔ０であることを満たす映像を映像データベース１０５において全検索する。
ステップ４０７、映像検索・合成手段１０４は、検索結果として関連映像条件に適合した映像（図４の例ではｆｙ２７，ｆｚ４４）により構成される映像データの集合を受け取る。
ステップ４０８、映像検索・合成手段１０４は、基準映像ｆｘ０およびステップ４０７にて獲得した関連映像ｆｙ２７，ｆｚ４４によりマルチアングル映像Ｆを生成し、表示手段１０１に送出する。なお、基準映像ｆｘ０は、映像データベース１０５から映像検索・合成手段１０４に、ステップＳ４０３の時点で取り込まれても、ステップＳ４０７の時点で取り込まれても良い。
図５に、本実施の形態により実現されるマルチアングル映像の表示例を示す。
表示手段の入力画面５０１において、検索キーとして、カメラＩＤにカメラＸ、日時に２００２年１１月１９日１０時２０分００秒を入力５０２すると、本実施の形態の上記動作に従って映像検索および映像合成処理が施され、出力画面５０３には、カメラＸの前記時刻の映像および、同時刻にカメラＸと同地点もしくは重なる地点を映していた映像からなるマルチアングル映像が表示される。
なお、本実施の形態１における映像生成処理装置において、検索キーの一つである日時情報に柔軟性を持たせ、指定の日時の一定の前後時区間を許可することも可能である。また、日時情報をあらかじめ時区間、すなわち開始時間および終了時間により指定することも可能である。
時区間が指定された場合、基準映像を決定する要素の一つである時刻情報は、指定された時区間の開始時間を初期値として一定間隔ごとに更新する。これに付随して、基準映像は再度検索される。従って、随時基準映像が更新され、基準映像の撮像位置情報も変化するため、関連映像条件生成手段が設定する関連映像条件の内容もまた随時更新される。
検索キーとしてカメラＩＤおよび時区間が入力された場合の、関連映像条件生成手段１０３は図６の動作フローに従う。動作は次の８つのステップから構成される。
ステップ６０１、検索キーとしてカメラＩＤとしてＣｘ、時区間として開始時刻ｔｓおよび終了時刻ｔｅを受信する。
ステップ６０２、日時変数ｔに開始時刻ｔｓを設定する。
ステップ６０３、検索キーとして｛Ｃｘ，ｔ｝を設定し、映像データベース１０５からこれに合致する映像データすなわち基準映像を検索する。
ステップ６０４、基準映像が存在した場合、基準映像の撮像位置情報Ｄｘｔを取得する。
ステップ６０５、関連映像条件を、基準映像の撮像位置情報および時刻値｛Ｄｘｔ，ｔ｝に設定する。
ステップ６０６、設定した関連映像条件データを映像検索・合成手段１０４に送出する。
ステップ６０７、日時変数に一定時間Δｔを加える。
ステップ６０８、日時変数の値が終了時間を越えない場合、ステップ６０３に戻って処理を繰り返す。
上記関連映像条件生成手段１０３の処理に伴い、映像検索・合成手段１０４は随時、関連映像条件生成手段１０３から受け取る関連映像条件に基づき、それに適合する映像を映像データベース１０５から検索し、得られる映像によりマルチアングル映像を生成する。
また、本実施の形態１における映像生成処理装置において、検索キーとしてカメラＩＤおよび日時情報を入力することによって所望のマルチアングル映像を閲覧する方法を述べたが、本発明の映像生成処理装置に通常の単一映像表示機能と、映像閲覧中にマルチアングル化を指示することが可能な入力手段を備えることにより、再生中の映像を基準映像とし、それに関連する映像をも表示するマルチアングル映像表示が可能である。この場合の動作概要を図７に示す。
図７では、例として前記マルチアングル化を指示する際の入力手段として、表示画面１０１にボタンが設置されているものとして説明する。表示画面７０１において例えばカメラＸの映像が再生されている際に、ユーザが同表示画面７０１に表示されているマルチアングル化指示ボタン７０２をクリック７０３すると、関連映像条件生成手段１０３は再生中のカメラＸの映像データ７０４を検索し、これを基準映像として認識する。
前記図４、図５に示す実施例において、表示画面により設定されるカメラＩＤを、ここでは映像が再生されているカメラＩＤとし、また、同じく表示画面により設定される日時情報を、ここでは再生されている映像の撮影時刻とする点が異なる点である。以降の処理は前記図４、図５の実施例で述べた処理と同様であり、まず、基準映像、すなわちカメラＸの現再生時刻１３時２４分００秒の映像についてその撮像位置情報７０５を取得する。ここでは、領域ＩＤにより表されるａ−３、ｂ−３を得る。取得した撮像位置７０５と再生時刻値を関連映像条件とし、１３時２４分００秒に領域ＩＤａ−３またはｂ−３を撮影していた映像を映像データベースより検索・取得する。図７においては、カメラＹの映像で撮像位置に領域ａ−３を含んでいるｆｒａｍｅ−２９４が検出されているのを示している。このようにして得られる全ての関連映像をマルチアングル映像として合成し、出力画面７０７に表示される。この処理が再生する映像の映像フレームごとに繰り返され、マルチアングル映像が表示される。
なお、本実施の形態の説明においては、被監視領域の地図管理方法として、被監視領域を２次元的に管理する方法として述べたが、地面からの高さ方向を加えて、３次元的に地図を管理してもよい。
なお、本実施の形態の説明において図５および図７に示したマルチアングル映像では、基準映像を大きく、関連映像を小さく表示する形式をとっているが、これは一例であり、さまざまな表示の仕方が可能である。
以上のように、本実施の形態では、基準映像または基準映像を決定づける検索キーを指定すると、基準映像と、それに関連する映像として、基準映像が映している撮像位置と同地点を映している映像から成るマルチアングル映像を生成する機能を備えており、あるカメラが映す対象を多角度で閲覧することが可能となり、死角を減らす効果がある。
また、従来、映像閲覧中に監視者が感じることの多かった、「違う角度からの映像をみたい」、「他のカメラには映っていないか」といった更なる閲覧の要求に対して、所望の映像を再度検索したり、撮像位置や時刻、撮影カメラなどの監視方法を考慮することなく閲覧が可能となり、検索効率を向上させる効果がある。
さらに、近年、カメラの安価化が進むとともに、魚眼カメラ等の広角度カメラや駆動カメラなども出現し、カメラの併用等によって様々な監視が可能となってきている。その一つとして、複数のカメラの撮像範囲を交差させ、多角度から監視する方法が普及しつつある今、閲覧方法においても複数のカメラ映像を効果的に閲覧できる方法が求められており、マルチアングル映像閲覧を可能にする本発明の映像生成処理装置は実用的効果が大きい。
なお、駆動カメラが利用されると、その映像は時間毎に撮像地点が変わっていく。この場合、表示手段１０１に表示する関連映像は基準映像と同時刻の映像に限定されない。すなわち、図４のステップＳ４０６で用いられる関連映像条件の時刻情報は、検索キーが示す時刻ｔ０の前後の時刻（ｔ０±駆動カメラの旋回周期時間）に設定されても良い。こうすることで、基準映像と同地点を同時刻に映す可能性のある他のカメラの映像も関連映像として抽出することができる。
（実施の形態２）
実施の形態２として、基準映像を指定すると、基準映像と、それに関連する映像として、基準映像が映している撮像位置の隣接領域を映している映像から成るマルチアングル映像を生成する機能を備えた映像生成処理装置について図８、図９を用いて説明する。
なお、本実施の形態を構成する各手段は関連映像条件生成手段の内部の機能を除いて実施の形態１と同一であり、その他の映像データベースの記録構造や被監視領域の地図情報などについても、以下の説明にて特に明記しないものは前記実施の形態１に沿うものとし、前記実施の形態１と異なる部分を中心に説明する。
本実施の形態２で実現される、隣接領域のマルチアングル映像閲覧の概要を図８に沿って説明する。
入力画面８０１において、ユーザが検索キーとしてカメラＩＤおよび日時情報８０２を入力する。例えば図８の例では、カメラＸおよび２００２年１１月１９日１０時２０分００分を指定している。入力された検索キーに適合する映像、すなわち、カメラＸが２００２年１１月１９日１０時２０分００分に撮影している映像を映像データベース１０５から検索し、検出された映像ｆｒａｍｅ−０１９を基準映像８０３とする。基準映像ｆｒａｍｅ−０１９の属性情報として記録されている撮像位置情報８０４は領域ＩＤがａ−３、ｂ−３であることから、地図情報を基に、その隣接領域は領域ＩＤがａ−２、ａ−４、ｂ−２、ｂ−４、ｃ−２、ｃ−３、ｃ−４である領域として求められる。ここで求めた隣接領域位置を撮像位置データとして持つ映像を関連映像８０６として検出する。図８ではｃ−２、ｃ−３を撮像位置として有しているカメラＹのｆｒａｍｅ−５１９が検出されているのを示している。このようにして求めた全ての関連映像と、基準映像ｆｒａｍｅ−０１９からなるマルチアングル映像が出力画面８０７に表示される。
本実施の形態２における関連映像条件生成手段は、上記のような、基準映像に対する隣接領域位置を映した映像を関連映像条件として設定する機能を実現するため、前期実施の形態１に加えて、被監視領域の地図情報と、地図情報に基づき、ある位置情報に対してその隣接位置を計算する機能を備えている。
関連映像条件生成手段は図９に示すフローに従って動作し、次の６つのステップから構成される。
ステップ９０１、表示手段から検索キーとしてカメラＩＤ、Ｃｘと日時情報ｔを受信する。
ステップ９０２、検索キー｛Ｃｘ，ｔ｝に対し映像データベースからこれに合致する映像データすなわち基準映像を検索する。
ステップ９０３、基準映像が存在した場合、基準映像の撮像位置情報Ｄｘｔを取得する。
ステップ９０４、ステップ９０３により取得した基準映像の撮像位置情報Ｄｘｔに対し、被監視領域の地図情報から隣接領域位置ＮＤｘｔを計算する。
ステップ９０５、関連映像条件を、ステップ９０４により求めた隣接位置情報および時刻値｛ＮＤｘｔ，ｔ｝に設定する。
ステップ９０６、設定した関連映像条件データを映像検索・合成手段に送出する。
なお、ステップ９０４において、基準映像の撮像位置から隣接領域の位置情報を求める方法は被監視領域の地図情報の管理方法により異なる。本実施の形態で例として利用している図３記載の管理方法においては、被監視領域を縦横に分割したマトリクス状により管理している。この場合、各領域ＩＤの隣接８つのセルが隣接領域として求められる。なお、行列の番号により領域ＩＤを管理することによって、簡単な計算により隣接領域を求めることが可能である。
なお、本実施の形態２における映像生成処理装置において、検索キーの一つである日時情報を時区間で指定することが可能である。
また、本実施の形態２における映像生成処理装置において、検索キーとしてカメラＩＤおよび日時情報を入力することによって検索キーに適合する基準映像および隣接映像から成るマルチアングル映像を閲覧する方法を述べたが、本発明の映像生成処理装置に通常の単一映像表示機能と、映像閲覧中にマルチアングル化を指示する入力手段を備えることにより、再生中の映像を基準映像とし、前述と同様の処理を行うことによって、基準映像と、随時その映像の隣接領域を映している映像から成るマルチアングル映像の閲覧が可能である。
なお、本実施の形態２における映像生成処理装置においては、関連映像の条件を撮像位置に関する物理的な位置関係における隣接映像としたが、意味的な隣接映像として、映像特徴空間における隣接映像を選択することも可能である。
映像特徴空間における隣接映像としては、例えば、映像特徴空間を顔の特徴量を表す特徴空間とすることで、基準映像に映っている人物の顔特徴と近い顔特徴を持つ人物が映っているカメラの映像を関連映像とすることが可能である。このときのマルチアングル映像の表示方法の例を図２０に示す。図２０（ａ）では、基準映像および関連映像に映っている人物の大きさに基づいて並べて表示し、図２０（ｂ）では、顔の向きに応じて並べて表示している。また、映像特徴空間を画像中の代表色や配色、テクスチャなどの色特徴空間とすることで、基準映像の色特徴が類似しているカメラの映像を関連映像とすることが可能である。また、映像特徴空間を動き方向や速度などの動き特徴量とすることで、基準映像に映っている動物体と類似した動き情報を持つ物体が映っているカメラの映像を関連映像とすることが可能である。
また、本実施の形態２における映像生成処理装置では、関連映像条件を撮像位置に関する物理的な位置関係における隣接映像としたが、意味的な隣接映像として、基準映像のカメラ動作に関して似ているものを関連映像としても良い。例えば、基準映像がズーム中の映像であれば、同じくズーム中の他のカメラの映像を関連映像とすることが可能である。その他、意味的な隣接映像として、基準映像で起こっている事象（例えば、ドアが開いた、人が走ったなど）と同じ事象、類似した事象が起こっている映像を関連映像とすることも可能である。
以上のように、本実施の形態では、検索キーとしてカメラＩＤを指定すると、検索キーに適合する基準映像と、それに関連する映像として、基準映像が映している撮像位置の隣接位置を映している映像から成るマルチアングル映像を生成する機能を備えており、あるカメラが映す対象を広範囲で閲覧することが可能となり、死角を減らす効果がある。
また、監視映像は一般的に事件発生後の検証等に使われることが多い。その際、事件発生現場の映像に加え、その周囲を映す映像も状況把握に重要な映像とされる。このような用途においても、従来、監視カメラの設置位置等を考慮し、所望の位置を映している映像を再検索して閲覧しなければならなかったが、本発明の装置はこのような検索の手間を省き容易に実現するものである。
このように本実施の形態による監視はよりセキュリティレベルを高める効果と検索効率を向上させる効果があり、その実用的効果は大きい。
（実施の形態３）
実施の形態３として、基準映像を指定すると、基準映像と、それに関連する映像として、基準映像の撮像位置に対する否可視領域を映している映像から成るマルチアングル映像を生成する機能を備えた映像生成処理装置について図１０から図１２を用いて説明する。
なお、本実施の形態は前記実施の形態１と同様の構成であり、表示手段と、関連映像条件生成手段および映像検索・合成手段からなるマルチアングル映像生成手段と、映像データベースから成る。
表示手段および映像データベース、映像検索・合成手段は前記実施の形態１と同様の機能を有するため、説明は省略する。
関連映像条件生成手段は、前記実施の形態１の機能に加え、被監視領域の地図情報と、各カメラの否可視領域位置情報と、地図情報および否可視領域位置情報およびカメラの撮像位置情報から否可視領域位置を計算する機能を備える。
本明細書で述べる「否可視領域」とは、カメラが撮影可能な範囲であるにもかかわらず、柱や棚などの障害物によって否可視となる領域を意味する。図１０に否可視領域情報の例を示す。
監視カメラＸ１００１が設置された被監視領域において、棚や柱などの障害物１００２が存在するとする。監視カメラＸ１００１のパン・チルト・ズームの状態により現在の撮像領域が１００３に示す範囲であるにもかかわらず、障害物１００２によって映らない領域１００４を否可視領域として定める。
カメラの撮像範囲に対する否可視領域の情報を記述したものが、否可視領域情報１００５であり、関連映像条件生成手段が有する前記否可視領域情報は、各カメラがどの領域を撮影しているときに、どの領域が否可視領域であるかを記したデータであり、予め設定し用意する。
また、関連映像条件生成手段が設定する関連映像条件は、検索キーに適合する映像の撮像位置の否可視領域情報および時刻情報を設定する。
本実施の形態３で実現される、否可視領域のマルチアングル映像閲覧の概要を図１１に沿って説明する。
入力画面１１０１において、ユーザが検索キーとしてカメラＩＤおよび日時情報１１０２を入力する。例えば図１１の例では、カメラＸおよび２００２年１１月１９日１０時２０分００分を指定している。入力された検索キーに適合する映像、すなわち、カメラＸが２００２年１１月１９日１０時２０分００分に撮影している映像を映像データベースから検索し、検出された映像ｆｒａｍｅ−０１９を基準映像１１０３とする。基準映像ｆｒａｍｅ−０１９の属性情報として記録されている撮像位置情報１１０４は領域ＩＤがｃ−３、ｃ−４、ｄ−３、ｄ−４であることから、否可視領域情報１１０５を基に、現在の撮像位置に対する否可視領域１１０６は領域ＩＤがｄ−３である領域として求められる。ここで求めた否可視領域１１０６を撮像位置データとして持つ映像を関連映像１１０７として検出する。図１１ではｄ−２、ｄ−３を撮像位置として有しているカメラＹの映像ｆｒａｍｅ−３３２が検出されているのを示している。このようにして求めた全ての関連映像と、基準映像ｆｒａｍｅ−０１９からなるマルチアングル映像が出力画面１１０８に表示される。
関連映像条件生成手段は図１２に示すフローに従って動作し、次の６つのステップから構成される。
ステップ１２０１、表示手段から検索キーとしてカメラＩＤ、Ｃｘと日時情報ｔを受信する。
ステップ１２０２、検索キー｛Ｃｘ，ｔ｝に対し映像データベースからこれに合致する映像データすなわち基準映像を検索する。
ステップ１２０３、基準映像が存在した場合、基準映像の撮像位置情報Ｄｘｔを取得する。
ステップ１２０４、ステップ１２０３により取得した基準映像の撮像位置情報Ｄｘｔに対し、カメラＣｘの否可視領域情報から現在の撮像位置に対する否可視領域位置ＮＤｘｔを計算する。
ステップ１２０５、関連映像条件を、ステップ１２０４により求めた否可視領域位置および時刻値｛ＮＤｘｔ，ｔ｝に設定する。
ステップ１２０６、設定した関連映像条件データを映像検索・合成手段に送出する。
なお、図１０においては、否可視領域情報の一例として、各カメラの各撮像範囲に対する否可視領域ＩＤを設定する方法を示したが、この情報の保有方法は特に制限するものではく、自由な形式で実現可能である。従って、例えば、被監視領域を座標系で示した場合、ある座標点を映している場合はどの領域が否可視領域になるか、といった形式での保存も可能である。
また、本実施の形態では、この否可視領域情報を予め設定する旨を述べたが、被監視領域の地図情報およびカメラの状態情報（ズーム、パン、チルト値など）、および障害物の位置情報などにより、順次計算により求めることも可能である。
なお、本実施の形態３における映像生成処理装置において、検索キーの一つである日時情報を時区間で指定することが可能である。
また、本実施の形態３における映像生成処理装置において、検索キーとしてカメラＩＤおよび日時情報を入力することによって所望の映像および否可視領域の映像から成るマルチアングル映像を閲覧する方法を述べたが、本発明の映像生成処理装置に通常の単一映像表示機能と、映像閲覧中にマルチアングル化を指示する入力手段を備えることにより、再生中の映像を基準映像とし、前述と同様の処理を行うことによって、基準映像に対して随時その映像の否可視領域を映した映像から成るマルチアングル映像の閲覧が可能である。
以上のように、本実施の形態では、検索キーとしてカメラＩＤを指定すると、検索キーに合致する基準映像と、それに関連する映像として、基準映像が映している撮像位置とその否可視領域を映している映像から成るマルチアングル映像を生成する機能を備えており、あるカメラが映す領域内において障害物等により死角となる領域も同時に確認することが可能となる。
実際の監視現場では、棚や柱などの障害物が存在し、カメラの監視範囲でありながら、障害物により死角となってしまう領域が存在する。この死角となる領域に危険はないか確認するためには、従来、監視カメラの設置位置等を考慮し、所望の位置を映している映像を再検索して閲覧しなければならなかった。しかし、本発明の装置はこのような検索の手間を省き容易に死角領域の閲覧を実現するものである。
このように本実施の形態による監視はよりセキュリティレベルを高める効果と検索効率を向上させる効果があり、その実用的効果は大きい。
（実施の形態４）
実施の形態４として、映像検索・合成手段がマルチアングル映像を構成する映像を順序付ける優先度規則を備え、前記規則による各映像の優先度を基にマルチアングル映像を構成する機能を備えた映像生成処理装置について図１３を用いて説明する。
なお、本実施の形態４にて示す発明は、複数の映像からマルチアングル映像を合成する方法に関するものであり、図１に示す映像生成処理装置における関連映像合成手段１０７に係るものである。従って、映像生成処理装置を構成するその他各手段の機能を制限するものではなく、上記実施の形態１から３記載のいずれの装置においても実現可能なものである。
以下の説明においては、関連映像合成手段が備える映像の優先度規則を中心に述べる。
関連映像合成手段において扱う映像は、基準映像と、基準映像に関連性が高いとして収集した関連映像からなる。順序付けを必要とする複数の映像が取得される可能性があるのは、実施の形態１から３における関連映像である。これらはいずれも、撮像位置情報を検索条件として収集される。そこで、これらの映像を順序づける第１の基準として、撮像位置に基づく優先度基準を用いる。
また、映像を順序づける第２の基準として、映っている人物の情報に基づく優先度基準を用いる。これは、本発明が監視分野に係るものであり、監視においては、人物の情報が非常に重要な情報の一つであることによる。
まず、撮像位置に基づく第１の優先度基準について図１３を用いて説明する。
関連映像合成手段において扱う、順序付けの対象となる映像は、関連映像条件として領域ＩＤの集合からなる撮像位置情報が指定され、それに適合する映像として映像データベースから取得された映像である。
例えば、ｎ個の領域ＩＤからなる撮像位置情報として、
Ｄ ＝ ｛ ｄ０， ｄ１， ｄ２， … ， ｄｎ｝
が指定され、撮像位置情報Ｄに含まれる一つ以上の領域ＩＤを撮像位置として有する映像を適合映像として取得したとする。取得した適合映像、すなわち順序付けの対象とする映像がｕ個存在し、それぞれを
ｆ０， ｆ１， ｆ２， ．．， ｆｘ， ．． ， ｆｕ
と表す。また、各映像ｆｘが映している撮像位置が、ｍ個の領域ＩＤの集合、
Ａｘ ＝ ｛ａｘ０， ａｘ１， ａｘ２， ．．，ａｘｊ，… ， ａｘｍ｝
により表されるとする。
ｆ０， ｆ１， ｆ２， … ， ｆｕの映像を順序づける基準として、次の２つの評価値を用いる。
（１）順序付け対象の映像ｆｘが映している撮像位置のうち、検索条件に適合する位置である割合
（２）検索条件の撮像位置Ｄのうち、映像ｆｘが映している割合
（１）は適合率を表す指標であり、例えば、図１３の１３−Ｅに示すような、映像ｆｘが所望の位置以外の箇所を映している領域が多い場合には評価値が下がり、１３−Ａ〜Ｃのように、所望の位置以外を映している映像が少ないときほど評価値が上がるものである。また、（２）は再現率を表す指標であり、例えば、図１３の１３−Ａのように、映像ｆｘが検索条件に指定された撮像位置の一部のみを映している場合には評価値が下がり、１３−Ｃ〜Ｅのように指定された撮像位置を映している領域が多いほど評価値が上がるものである。（１）および（２）はトレードオフの関係にある指標であり、所望の位置のみを全て映している映像に対しては双方の評価値とも最も高い値をとるものである。従って、双方の評価を合わせた統合評価を行う。この統合評価としては、（１）および（２）の評価値の和や積、いずれかに重みを付加した和による評価などが考えられる。ここでは、双方の評価値の単純和を総合評価値とするものとして説明する。
具体的に、上記（１）および（２）の各評価値の計算方法の一例を示す。
評価対象映像ｆｘの撮像位置Ａｘに属する各領域ＩＤａｘｊが、所望の撮像位置Ｄに含まれるか否かを式（１）の評価値で定める。

これを用いて（１）の評価値Ｅ１を式（２）で定める。

また、（２）の評価式Ｅ２は式（３）で定める。

なお、ｍは集合Ａｘの要素数、ｎは集合Ｄの要素数を表す。
（１）および（２）の和により、評価値Ｅを定める。
Ｅ ＝ Ｅ１ ＋ Ｅ２
この評価値Ｅを用いて、各映像ｆｘを評価し、それぞれの評価値の高いものから順に配置することによって、所望の位置以外を映している量が少なく、かつ、所望の位置を最も多く映している映像から順に表示することができる。
次に、第２の基準として、映っている人物の情報に基づく優先度基準について説明する。
先にも記したとおり、監視分野においては人物の情報は非常に重要である。そこで、関連映像合成手段に人物認識機能を備え、順序付けの対象となる各映像に対し人物認識処理を施し、その結果を用いて優先度を付ける。
人物認識結果に基づく評価値として、次の２つを用いる。
（１）映像中に映っている人物の大きさ
（２）映像中に映っている人物の顔の向き
なお、一つの映像中に複数の人物が映っている場合には、映像中の最も大きく映っている人物の情報とするか、映像中の最も中心に映っている人物の情報にするなどが考えられる。（１）は映像から人物領域を検出する機能により、映像中に占める人物の領域の割合を評価値とする。（２）は頭部を検出し、頭部領域に占める顔の肌色領域の割合を評価値とする。
なお、複数の映像を順序づける優先度基準として、撮像位置に基づく基準と、映っている人物の情報に基づく基準を説明したが、それぞれを組み合わせた評価など、評価方法は自由に設定することが可能である。
また、本実施の形態において示した優先度を映像に付加し、さらに表示映像の数を制限する機能や評価値の下限を設ける機能を備えることによって、フィルタリングして表示することも可能である。
また、本実施の形態による映像の順序付け結果に基づき、最も評価値の高いものを大きく表示し、評価値の低いものを小さく表示するなど、映像表示の大きさ等に反映させることも可能である。
以上のように、本実施の形態では、基準映像と、それに関連する関連映像によりマルチアングル映像を生成する手段において、マルチアングル映像を構成する複数の映像を、所定の優先度基準により順序付けて構成する機能を備えることにより、映像を規則に沿って配列することが可能となり、複数の映像を閲覧する際に発生する見難さを改善する効果がある。
また、所望の評価値を利用して順序付けを行うことによって、検索キーに合致する映像のうち、最も望ましい映像を取得することが容易になる。
このように本実施の形態による監視は、映像の閲覧をより見やすく改善する効果があり、その実用的効果は大きい。
（実施の形態５）
実施の形態５として、基準映像と、それに関連する関連映像によりマルチアングル映像が表示されている表示手段において、基準映像を、表示中の任意の映像に切り替える手段を有し、切り替え指示に応じて新たな基準映像を中心としたマルチアングル映像に再構成する機能を備えた映像生成処理装置について図１４と図１５を用いて説明する。
なお、本実施の形態５にて示す発明は、図１の映像生成処理装置が生成する基準映像と関連映像から成るマルチアングル映像の表示・閲覧機能に関するものであり、その拡張機能として位置づけられるものである。従って、映像生成処理装置を構成する各手段の機能を制限するものではなく、上記実施の形態１から４記載のいずれの装置においても実施可能なものである。
以下の説明においては、本発明に関連する表示手段１０１の機能を中心に述べる。
図１４に、本実施の形態の動作概要を示す。
入力画面１４０１は、マルチアングル映像が表示されている表示手段１０１の画面を示している。マルチアングル映像は基準映像および関連映像から構成され、図１４の例では、１つの基準映像１４０１−ａと２つの関連映像▲１▼１４０１−ｂ、関連映像▲２▼１４０１−ｃが表示されている。
このようなマルチアングル映像を閲覧している際に、例えば、基準映像１４０１−ａよりも関連映像▲２▼１４０１−ｃに対象が大きく映っているなどの理由により、「関連映像▲２▼を中心に詳しく見たい」という希望が発生することがある。この際に、ユーザは表示手段１４０１上で関連映像▲２▼１４０１−ｃをクリック等により指定し、基準映像への切り替えを指示することができる。
この指示に基づき、本システムは画面１４０１における関連映像▲２▼１４０１−ｃを基準映像として再設定し、この新たな基準映像に関連する映像により構成されるマルチアングル映像を出力画面１４０３に表示する。
図１４に示す動作を実現する際の処理フローを図１５に示す。
なお、本実施の形態における映像生成処理装置は図１と同様の構成を有するため、図１５では、本実施の形態５に深く関わる、表示手段１０１およびマルチアングル映像生成手段１０２の一部として関連映像条件生成手段１０３のみを示す。その他の手段における処理フローは、実施の形態１から３のそれぞれの説明において述べたとおりである。
まず、表示手段１０１には１つの基準映像および２つの関連映像▲１▼、▲２▼から成るマルチアングル映像が表示されているとする（画面１５０１）。このとき、表示手段１０１は、表示画面１５０１に表示中の映像のデータ１５０２として、各映像のフレームＩＤ、カメラＩＤ、日時、撮像位置からなる情報を有している。
ユーザから、例えば表示画面中の関連映像▲２▼を基準映像とするよう指示１５０３を受けると、表示手段１０１は所有映像データ１５０２の中から指定された関連映像▲２▼のデータ１５０４を検索する。図１５においては、指示された映像は、カメラＣｚの映像であり、撮影時刻がｔ０、撮像位置がｂ−２である映像と認識される。このデータを基に、表示手段１０１はカメラＩＤおよび日時情報からなる検索キー｛Ｃｚ，ｔ０｝、または、撮像位置情報および日時情報からなる検索キー｛ｂ−２，ｔ０｝を設定し、関連映像条件生成手段１０３に送出する（１５０５）。
関連映像条件生成手段１０３は検索キーを受け取ると、検索キーに応じて、前記実施の形態１から３のそれぞれの処理により関連映像条件を定める。以降の処理は各実施の形態１から３にて説明済みであるので省略する。
このように本実施の形態においては、表示手段１０１が、自身が表示している映像データを常に管理しており、ユーザにより基準映像の変更が指示されると、指示された映像データの情報から検索キーを再設定し、関連映像条件生成手段に発行する機能を備えたものである。関連映像条件生成手段１０３に発行する検索キーとしては、カメラＩＤまたは撮像位置情報の双方が可能であり、マルチアングル映像生成手段１０２は各検索キーに応じて処理を行い、ユーザにより指定された映像を中心としたマルチアングル映像を生成し、表示手段１０１に表示する。
以上のように、本実施の形態では、基準映像と関連映像からなるマルチアングル映像を閲覧している際に、基準映像を表示中の任意の映像に切り替える手段を有し、切り替え指示に応じて新たな基準映像を中心としたマルチアングル映像に再構成する機能を備えた映像生成処理装置であり、映像閲覧中に生じる着目映像の変化に応じて表示映像を変更することが可能な高度な閲覧を可能にする。
このように本実施の形態による監視は、ユーザインタフェースを向上させる効果があり、その実用的効果は大きい。
（実施の形態６）
実施の形態６として、監視カメラの撮影映像を記録する通常の記録領域（以下、「通常記録領域」と呼ぶ）とは別に、所望の映像を蓄積するための記録領域（以下、「保存領域」と呼ぶ）を備えた映像データベースにおいて、表示手段に表示されているマルチアングル映像、すなわち複数の映像を、ユーザの指示に基づきパッケージ化して記録する機能を備えた映像生成処理装置について図１６を用いて説明する。
なお、本実施の形態６にて示す発明は、図１の映像生成処理装置の付加機能として位置づけられるものである。従って、映像生成処理装置を構成する各手段の機能を制限するものではなく、上記実施の形態１から３記載のいずれの装置においても実施可能なものである。
以下の説明においては、本発明に関連する表示手段および映像データベースを中心に述べる。
図１６に、本実施の形態における映像生成処理装置の構成図を示す。
図１６において、１６０１は、図１における表示手段１０１の有する機能に加えて、表示中のマルチアングル映像の保存を指示するための入力機能と、後述の映像データベース１６０２の保存領域１６０４に蓄積されているデータから映像を抽出し表示する機能を備えた表示手段である。
１６０２は、映像データベースを示し、図１における映像データベース１０５と同様に映像データを記録する通常記録領域１６０３と、前記表示手段１６０１から受信する複数の映像データを物理的に関連付け、パッケージ化して蓄積することが可能な保存領域１６０４から構成される。
図１６における、表示手段１６０１、マルチアングル映像生成手段１０２、関連映像条件生成手段１０３、映像検索・合成手段１０４、および、映像データベース１６０２内の通常記録領域１６０３は、上記実施の形態１から３に記した動作によりマルチアングル映像を生成し、表示手段１６０１に表示する機能を備えている。
マルチアングル映像が表示手段１６０１に表示されている際、表示手段１６０１は表示中のマルチアングル映像の保存を指示することが可能な入力手段を画面上に示す。例えば、「保存ボタン」等を表示する。ユーザにより、「保存ボタン」がクリックされると、表示手段１６０１はボタン押下時に表示していたマルチアングル映像のデータを映像データベース１６０２内の保存領域１６０４に送出し、データを記録する。マルチアングル映像は複数の映像により構成されるが、各映像データを関連付け、パッケージ化して保存する。ここで記載するパッケージ化とは、複数の映像を一まとまりとして扱うことを意味し、記録領域上で、１つの映像から同じまとまりにある他の映像へ辿るための情報を記録することにより実現する。保存するデータとしては、各映像データとともに、各映像の属性情報、並びに、基準映像や関連映像の選別、検索キー情報などの情報を記録する。
なお、このように保存領域１６０４に記録された映像を閲覧する際には、先に記した各保存データにより検索することを可能とし、パッケージ化された一まとまりの映像としても、個々の映像としても検索することを可能とする。
なお、本実施の形態においては、表示中のマルチアングル映像に対して、パッケージ化して保存することができる機能について述べたが、同様の機能は表示中の映像以外に対しても実現し得る。例えば、表示手段において、日時または時区間と、カメラＩＤまたは撮像位置情報を指定し、保存の指示を行うことによって、指定の条件に基づいて生成するマルチアングル映像を、映像データベース上の保存領域に直接書き込み、保存することができる機能を実現することも可能である。
以上のように、本実施の形態では、マルチアングル映像を構成している関連性を有する複数の映像を、それらの関連性を保持しながら、ユーザが任意に保存することができる機能を備えたことにより、不審者を複数の角度から映した映像群や事件発生時に事件周囲を映していた複数の映像など、関連する映像を一まとまりに扱うことを可能にする。
また、これにより、保存した映像を閲覧する際にも、条件に合致する映像を個々に閲覧するのではなく、関連する映像とともに閲覧することが可能になる。
このように本実施の形態による監視は、より高度な映像の閲覧、保存を可能にし、ユーザインタフェースを向上させる効果と、映像データの可搬性を向上させる効果があり、その実用的効果は大きい。
（実施の形態７）
実施の形態７として、映像データベースが、蓄積している映像に関して、撮像位置、および日時、および撮影カメラの３種の情報を、任意の２種の情報から残りの一種の情報を抽出することが可能なデータテーブルにより統合的に管理する手段を備えることにより、前記３種に基づく映像の検索を高速にした映像生成処理装置について図１７および図１８により説明する。
なお、本実施の形態７において示す発明は、映像データベースに関連するものであり、図１の映像生成処理装置の付加機能として位置づけられるものである。従って、上記実施の形態１から３のいずれの装置においても実施可能であり、映像生成処理装置を構成する他の手段の機能を制限するものではない。
図１７に、撮像位置、および日時、および撮影カメラの情報を管理する記録構造の一例として、撮像位置の領域ＩＤを第１軸１７０１、日時情報を第２軸１７０２とする２次元配列において、第１軸と第２軸の交わるセルに、第１軸の示す領域を第２軸の示す日時に撮影していたカメラＩＤの集合から成るデータ１７０３を保存するデータテーブルを示す。
なお、図１７記載のデータテーブルは、監視映像が映像データベースに逐次記録される際に、映像データの情報に適合するセルにカメラＩＤを追加することにより、生成されうる。このように、例えば、映像データの通常の記録と同時にデータテーブルにも記録することによって、映像データベースに蓄積されている全ての映像を、データテーブルにより管理することが可能となる。
次に、映像データおよび映像データの属性情報が、カメラごとに記録されている通常記録領域と、通常領域に記録されている全ての映像情報を図１７記載のデータテーブルにより管理する映像データベースを備えた映像生成処理装置における、閲覧処理について説明する。
図１８に検索条件が撮像位置情報および日時情報である場合の、検索処理フローを示す。なお、図１８においては、映像生成処理装置のうち、本処理の中心となる、関連映像検索手段および映像データベースについてのみ記している。
ステップ１８−ａ、関連映像検索手段１８０１は、撮像位置を表す領域ＩＤの集合｛ｄｎ，ｄｍ｝および日時情報ｔ０を検索条件として映像データベース１８０２にアクセスする。
ステップ１８−ｂ、まず、映像データベース１８０２のデータテーブル１８０３において、検索条件の各領域ＩＤおよび日時情報の組み合わせについて、適合するセルを走査し、適合セルに記録されているデータを取得する。図１８においては、領域ＩＤがｄｎで日時がｔ０であるセルの情報として、カメラＩＤの集合、｛Ｃｙ，Ｃｚ｝を取得し、領域ＩＤがｄｍで日時がｔ０であるセルの情報として、カメラＩＤの集合｛Ｃｚ｝を取得する。これは、日時ｔ０に領域ｄｎを映していたカメラがＣｙ，Ｃｚの２つあり、同様に、日時ｔ０に領域ｄｍを映していたカメラがＣｚであったことを意味するものである。
ステップ１８−ｃ、映像条件｛｛ｄｎ，ｄｍ｝，ｔ０｝に適合する映像がカメラＣｙおよびカメラＣｚに映されていたことから、カメラＣｙ、Ｃｚの映像データが保管されている通常記録領域１８０４から撮像時刻ｔ０である映像データを検索する。
ステップ１８−ｄ、前記ステップ１８−ｃにより見つけた映像データを取得する。
このようにデータテーブル１８０３を備えることによって、検索条件に合致する映像を全てのカメラ映像から検索する処理を省くことが可能である。
なお、本実施の形態では、図１７記載のデータテーブルを、撮像位置および日時を指定することにより、所定の位置を所定の日時に映していたカメラを検知するために使用したが、当該データテーブルは他に様々な利用が可能である。例えば、ある日に、ある撮像位置を映していた映像を全て閲覧したい、などの閲覧も容易に実現することが可能である。従来の通常記録領域のみによる記録では、指定された日程の０時００分００秒の時刻を日時情報の初期値として、全てのカメラ映像の中から各時刻ごとに所定の位置を映していた映像があるかを検索しなければならない。しかし、本発明のデータテーブルを使用することによって、特定の位置を特定の時刻に映していたカメラがどれであるかという情報を容易に取得することが可能となる。
なお、本実施の形態では、撮像位置、および日時、および撮影カメラの情報を管理する記録構造を２次元配列により実現したが、撮像位置および日時の２値により、撮影カメラ情報を一意に参照できる構造であれば、その実現形態は問わない。
以上のように、本実施の形態では、映像データベースが、蓄積している映像に関して、撮像位置、および日時、および撮影カメラの３種の情報を、任意の２種の情報から残りの一種の情報を抽出することが可能なデータテーブルにより統合的に管理する手段を備えることにより、前記３種の情報に基づく映像検索を高速にする効果がある。
特に、特定の領域を映した映像を得たい、特定の日時に映している映像を得たい、など従来の映像記録では全検索を要した検索においては、大幅に処理速度が改善される。
このように本実施の形態による監視は、検索処理速度を向上させる効果があり、その実用的効果は大きい。
本出願は、２００２年７月２日出願の日本特許出願（特願２００２−１９３０４８）に基づくものであり、その内容はここに参照として取り込まれる。

以上のように本発明によれば、
第１にユーザが指定する基準映像と、それに関連する映像として基準映像と同地点を映している他のカメラの映像から成るマルチアングル映像を生成する機能を備えたことにより、あるカメラが映す対象を多角度で閲覧することを容易にするとともに、死角領域を低減させたセキュリティレベルの高い閲覧が可能となる。
第２にユーザが指定する基準映像と、それに関連する映像として基準映像の撮像位置に隣接する地点を映している他のカメラの映像から成るマルチアングル映像を生成する機能を備えたことにより、あるカメラが映す対象を中心に周囲状況を確認することを容易にするとともに、死角領域を低減させたセキュリティレベルの高い閲覧が可能となる。
第３にユーザが指定する基準映像と、それに関連する映像として基準映像の否可視領域を映している他のカメラの映像から成るマルチアングル映像を生成する機能を備えたことにより、死角領域を低減させたセキュリティレベルの高い閲覧が可能となる。
第４にマルチアングル映像を構成する複数の映像を、各映像の撮像位置情報に基づく優先度基準により順序付けて構成する機能を備えることにより、撮像位置に関してユーザ所望の映像に最も近い映像の順に配列することを可能にするとともに、複数の映像を閲覧する際に発生する見難さを改善する効果がある。
第５にマルチアングル映像を構成する複数の映像を、人物検出処理を施し、各映像に映っている人物の情報に基づいて順序付けて構成する機能を備えることにより、監視において重要である人物の情報に関して重要度の高い映像の順に配列することを可能にするとともに、複数の映像を閲覧する際に発生する見難さを改善する効果がある。
第６に基準映像と関連映像からなるマルチアングル映像を閲覧している際に、基準映像を切り替える手段を備えることにより、映像閲覧中に生じる着目映像の変化に応じて表示映像を変更することが可能な高度な閲覧を可能にする。
第７にマルチアングル映像を閲覧している際に、表示されているそれらの複数の映像を、その関連性を残したまま保存する手段を備えたことにより、関連する複数の映像を一まとまりとして扱うことを可能にする。
第８に映像データベースが、蓄積している映像に関して、撮像位置、および日時、および撮影カメラの３種の情報を、任意の２種の情報から残りの一種の情報を抽出することが可能なデータテーブルにより統合的に管理する手段を備えることにより、撮像位置情報または日時情報または撮影カメラ、または各情報の組み合わせにより特徴付けられる映像データに対する検索速度を向上させる。

本発明は、防犯効果を高め、よりセキュリティレベルの高い監視を実現することを目的とした監視映像における映像生成処理装置、映像生成処理方法および映像記憶装置に係る。映像生成処理方法および映像生成処理装置は、所望の条件に沿った映像をそれに関連する映像と共に検索することを実現する。また、映像記憶装置は、映像データが有する属性情報に基づく検索効率を向上させるためのデータ管理構造を有するものである。

現代、強盗、殺傷等に代表されるような犯罪は年々増加の一途をたどっている。特に、近年においては、郵便局や学校、駅、道路等の公共場所での犯罪が急増しつつあり、一般の人々の間においても監視セキュリティへの関心が急速に高まっている。

監視カメラによる監視は、主に２つの働きを持つ。一つは、現状で異常が発生していないかをライブ映像により確認することである。これにより、異常事態が起こった際に、すぐに対処することができ、事態を最小限の被害に留めることが可能である。また、監視しているという事実が、防犯効果を高めるといった効果を生む。

二つ目の働きは、ビデオテープレコーダーやハードディスク装置などに記録された蓄積映像を再生し、ライブ監視をしていない場合に後日確認することや、事件等が発生した際に事件発生前後の状況を確認したり、事件を撮影した映像を分析することである。特に、日本では、ライブ監視をしていないところも多く、例えば翌日に異常がなかったかを早送り等により確認したり、事件が起こった際に参照する用途が多い。なお、事件の分析や状況確認においては、記録映像を警察に提出することもあり、犯人を逮捕するための資料としてや事件を未然に防ぐ対策を考えることに利用される。

このような監視を実現する監視システムは、主に、複数の監視カメラ、映像記録装置、映像を再生する表示手段および、監視カメラから映像記録装置の間と映像記録装置から表示手段映像の間、映像を伝送する伝送媒体から構成される。

これらに関連する技術動向として、近年、大容量高速通信の普及、記録媒体の大容量化、およびディジタル技術の実用化が進んでいることが注目される。

大容量高速通信としては、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Experts Group）等のディジタル圧縮技術の進歩に伴い、データ伝送効率が上がるとともに、ＦＴＴＨ（Fiber To The Home)やＡＤＳＬ（Asymmetric Digital Subscriber Line)等の通信媒体、通信方式の普及により、民間レベルにまで大容量高速通信が進んできた。これにより、複数の監視場所の映像データを遠隔の監視センタ等に伝送して蓄積・管理することや、監視者が自宅等からインターネットを通して自由に監視映像を閲覧することが可能になった。

また、記録媒体の低価格化やハードディスク等へのディジタル記録装置の普及などに伴い、記録容量の大容量化が進んでいる。なお、ディジタル記録装置においては、記録を止めずに蓄積映像を再生することや、センサーのデータ等と関連付けて蓄積することが可能である。

以上のような技術の進歩により、複数の監視地点の映像を遠隔地にて一括で管理したり、大容量の映像を蓄積することが可能なシステムが普及し、ネットワークを介した自由な閲覧も可能になった。

これにより、いつでも、どこでも、誰でも、蓄積映像を閲覧することが可能になった一方で、所望の映像を見つけるためには、監視地点の監視状況に対する十分な知識を必要とすることや、多量の蓄積映像の中から所望の映像を見つける労力の増大など、監視者にとっての問題も発生する。

従って、上記の大容量、多地点アクセス可能な監視システムの機能をより十分に活かすためには、大量の蓄積映像の中から、より容易に、より効率的に所望の映像を探すことができ、かつ、それらの大量の映像情報をより効果的に閲覧することができる検索・閲覧システムの利用が重要となる。

これまでの映像検索・閲覧装置としては特開平１０−２４３３８０号公報や特開平１１−２８２８５１号公報に記載されたものが知られており、一般に、図１９に示す構造で構成され、そのデータフローも同図に示す流れをとることが多い（特許文献１、２参照）。

図１９を用いて従来の映像検索・閲覧装置を説明する。映像検索・閲覧装置は３つの手段により構成され、１９０１に示す、検索条件を入力する機能および映像データを表示する機能を有する表示手段と、１９０２に示す、表示手段から入力された検索条件を基に、映像データベースから適合する映像を検索する機能と、結果として得られるテキスト情報または映像データを表示手段に出力する機能を備えた映像検索手段と、１９０３は、映像データおよび必要あらば映像データの属性情報を蓄積する映像データベースから成る。

次に同図を用いて動作を説明する。特定の時間の映像や、特定のカメラが映す映像、または特定の位置を映している映像が欲しい場合、ユーザは表示手段１９０１に対して検索条件となるデータを与え検索を指示する。指示を受け取った表示手段１９０１は入力された検索条件１９０４を映像検索手段１９０２に送出する。映像検索手段１９０２は検索条件１９０５を基に映像データベース１９０３に蓄積されている映像データの中から条件に合致する映像を検索する。映像検索は蓄積されている全ての映像データに対して行われ、適合する映像データまたは映像データを一意に表すＩＤから成る検索結果データ１９０６が作成される。映像検索合成手段１９０２は検索結果データ１９０７を表示手段に送出し、表示手段１９０１はこれをユーザに表示する。

前記従来手法に示すように、一般に蓄積映像の検索装置は、ユーザにより入力されるカメラＩＤや位置情報、時刻情報等などの検索キーを基に条件に合致する映像を検索するものであった。

しかし、条件検索により得られた映像（以降、「着目映像」と呼ぶ）に、対象が所望の角度で映っていないために、他の角度から映っている映像を求めて再検索しなければならないということがよくある。例えば、着目映像に不審に思われる人物や物体を発見した場合、「他の角度から映している映像を見たい」という要求は頻繁に起こるが、これに対して、従来の映像検索閲覧装置では同地点を映しているであろう他のカメラを探すなどのように、再度条件を設定し新規に検索を行って所望の映像を探さねばならず、所望の映像を得るまでに手間がかかる。

また、監視映像の閲覧では、着目映像が映している地点の周囲の状況を確認したいという要望がある。これに対して、従来の映像検索閲覧装置では、どのカメラが周囲の地点を映しているのかを把握し、所望の位置を映している映像を探さねばならず、所望の映像を得るまでに手間がかかる。また、これには、どのカメラがその時間にどこを映していたかという監視状況の知識や、監視地点の知識を必要とするため、それらの知識を有する人物しか容易に所望の映像を閲覧できないという問題がある。

また、被監視地点には棚や柱等の物理的な物体により死角が存在するが、着目映像に存在する死角領域に異常がないかを確認するためには、従来の映像検索閲覧装置では、どのカメラがその地点を映しているのかを把握し、新規に検索しなければならず、所望の映像を得るまでに手間がかかる。また、これには、閲覧している映像の中でどの領域が死角となっているかという知識や、どのカメラがその死角を補って撮影しているのかという知識を必要とするため、それらの知識を有する人物しか容易に所望の映像を閲覧できないという問題がある。

また、条件検索によって適合する映像が複数存在する場合や、多画面で複数の映像を同時に閲覧する際には、その量によっては、それらの中から最も望ましい映像を探し難く、ユーザに負担が強いられる。

また、ある映像を中心として、それに関連する映像とともに閲覧している際には、中心として見たい映像が変わることがある。従来の映像閲覧装置では、ある映像に対して関連する映像を見るには、手動で設定しなければならないため、着目する映像が変化すると、それに応じて関連する映像をも再度検索しなければならない。この際の作業労力は非常に大きい。

また、従来の監視装置においては、監視カメラの映像が記録される通常の記録領域とは別の領域に、監視者所望の映像を保存することができる記録領域を備えていることが多い。しかし、従来の装置では、静止画、または動画を個々に保存する仕組みであるため、保存したい映像が多く存在するときには、その作業手間は大きい。また、それらの保存した映像を取り出す際にも、所望の条件に合う全ての映像を収集するには時間と手間がかかる。

また、従来の映像検索閲覧装置では、映像データを各カメラ単位で保存する形式をとっているため、映像データの各属性情報の値を検索キーとした映像検索の際には、全カメラの映像データの中から適合する属性値を有する映像を検索せねばならず、検索時間が膨大になる。

特開平１０−２４３３８０号公報 特開平１１−２８２８５１号公報

この発明は上記のような課題を解決するためになされたもので、基準とする映像データと、当該映像データと関連性の高い映像を自動的に選出し、それらの複数の映像を統合的に扱うことが可能な映像生成処理装置および映像生成処理方法の提供を目的とする。また、所望の映像をすばやく検索可能な映像記憶装置の提供を目的とする。

本発明の映像生成処理装置は、複数の撮像装置によって撮像された映像の中から、所定の条件を満たす互いに関連した複数の映像を表示するよう処理する映像生成処理装置であって、前記複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶手段から、基準映像に関連する関連映像条件を生成する関連映像条件生成手段と、前記関連映像条件を満たす関連映像を前記映像記憶手段から取得する映像取得手段と、を備える。したがって、閲覧中の映像および当該映像と関連性の高い映像を統合的に扱うことができる。

また、本発明の映像生成処理装置は、前記映像記憶手段から、前記基準映像を選択する第１の所定条件を用いて前記基準映像の撮像位置情報を取得し、前記取得された撮像位置情報および前記第１の所定条件に含まれている日時情報に基づいて生成することが望ましい。したがって、所望の対象を多角度で監視することができる。

また、本発明の映像生成処理装置は、前記基準映像および前記関連映像を一画面で同時に表示するよう処理する表示処理手段をさらに備えることが望ましい。したがって、所望の対象をマルチアングル映像で監視することができる。

また、本発明の映像生成処理装置は、前記関連映像を撮像する撮像装置と前記基準映像を撮像する撮像装置とがそれぞれ異なることが望ましい。

また、本発明の映像生成処理装置では、前記関連映像条件は、前記撮像位置情報および前記日時情報を含む条件である。したがって、所望の対象を多角度で監視することができる。

また、本発明の映像生成処理装置では、前記関連映像条件は、前記撮像位置情報が示す位置に隣接する領域の位置情報および前記日時情報を含む条件である。したがって、所望の対象を広範囲に監視することができる。

また、本発明の映像生成処理装置では、前記関連映像条件は、前記基準映像では撮像されていない否可視領域の位置情報および前記日時情報を含む条件である。したがって、基準映像を撮影する撮像装置では死角となってしまう領域をも併せて監視することができる。

また、本発明の映像生成処理装置では、前記関連映像条件生成手段は、映像特徴空間で前記基準映像と隣接する映像の撮像位置情報を取得し、前記関連映像条件を生成する。したがって、特徴が共通する複数映像での監視を行うことができる。

また、本発明の映像生成処理装置では、前記関連映像条件生成手段は、前記基準映像の意味内容に関して関連性を有する映像の撮像位置情報を取得し、前記関連映像条件を生成する。したがって、意味内容が共通する複数映像での監視を行うことができる。

また、本発明の映像生成処理装置は、前記関連映像が少なくとも２つの映像を含む場合、優先度規則に応じて各映像を順序付ける。したがって、ユーザが所望する映像に最も近い順に関連映像の表示を配置することができる。

また、本発明の映像生成処理装置では、前記映像記憶手段が記憶する各映像の付属情報は、撮像位置情報、日時情報および撮像装置情報を含み、前記映像記憶手段のデータ構造は、前記撮像位置情報を第１軸、前記日時情報を第２軸とし、所定の撮像位置情報と所定の日時情報とが交わるセルに前記所定の撮像位置を前記所定の日時に撮影していた撮像装置の情報を保存する２次元配列である。したがって、映像記憶手段から映像をすばやく取得できる。

また、本発明の映像生成処理方法は、複数の撮像装置によって撮像された映像の中から、所定の条件を満たす互いに関連した複数の映像を表示するよう処理する映像生成処理方法であって、前記複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶手段から、基準映像に関連する関連映像条件を生成し、前記関連映像条件を満たす関連映像を前記映像記憶手段から取得する。

また、本発明の映像記憶装置は、複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶装置であって、各映像の付属情報は、撮像位置情報、日時情報および撮像装置情報を含み、当該映像記憶装置のデータ構造は、前記撮像位置情報を第１軸、前記日時情報を第２軸とし、所定の撮像位置情報と所定の日時情報とが交わるセルに前記所定の撮像位置を前記所定の日時に撮影していた撮像装置の情報を保存する２次元配列である。

本発明は、第１に映像データとともに各映像データの属性情報として撮像位置情報が記録されている映像データベースがあり、基準映像または基準映像を一意に決定づける検索キーを指定すると、それに関連する映像として、基準映像が映している撮像位置と同地点を映している映像を検索し、基準映像および関連映像からなる複数の映像をマルチアングル映像として関連づける映像生成処理方法である。

これにより、所望の映像と同地点を捉えた他のカメラの映像を容易に閲覧することが可能となり、カメラの設置位置等を考慮した再検索に要する手間を軽減する効果がある。また、得られるマルチアングル映像で監視することにより、所望の対象を多角度で監視することが可能になり、死角領域を低減させる効果がある。

第２に映像データとともに各映像データの属性情報として撮像位置情報が記録されている映像データベースがあり、基準映像または基準映像を一意に決定づける検索キーを指定すると、それに関連する映像として、基準映像が映している撮像位置の隣接領域を映している映像を検索し、基準映像および関連映像から成る複数の映像をマルチアングル映像として関連づける映像生成処理方法である。

これにより、所望の映像の周囲地点を捉えた他のカメラの映像を容易に閲覧することが可能となり、カメラの設置位置等を考慮した再検索に要する手間を軽減する効果がある。また、得られるマルチアングル映像で監視することにより、所望の対象を広範囲に監視することが可能となり、周辺領域に注意を払った監視を実現する。

第３に映像データとともに各映像データの属性情報として撮像位置情報が記録されている映像データベースがあり、関連映像条件生成手段が各監視カメラの否可視領域に関する情報を備え、基準映像または基準映像を一意に決定づける検索キーを指定すると、それに関連する映像として、基準映像が映している撮像位置の否可視領域を映している映像を検索し、基準映像および関連映像から成る複数の映像をマルチアングル映像として関連づける映像生成処理方法である。

これにより、所望の映像において死角となっている領域を捉えた他のカメラの映像を容易に閲覧することが可能となり、カメラの設置位置等を考慮した再検索に要する手間を軽減する効果がある。また、得られるマルチアングル映像で監視することにより、一つのカメラでは撮影しきれない地点を補完した監視が可能になり、死角を低減させる効果がある。

第４に基準映像と関連映像からなる複数の映像をマルチアングル映像として関連づける手段において、各映像の撮像位置情報に基づく優先度基準により順序付けて関連づける映像生成処理方法である。

これにより得られるマルチアングル映像で監視することにより、撮像位置に関してユーザ所望の映像に最も近い映像の順に配列し表示することを可能にする。また、複数の映像を閲覧する際に伴う見難さを改善する効果がある。

第５に基準映像と関連映像からなる複数の映像をマルチアングル映像として関連づける手段において、人物検出機能を有し、マルチアングル映像を構成する複数の映像を、各映像中に映っている人物の情報に基づいて順序付けて関連づける映像生成処理方法である。

これにより得られるマルチアングル映像で監視することにより、監視において重要である人物の情報に関して重要度の高い映像の順に配列し表示することを可能にする。また、複数の映像を閲覧する際に伴う見難さを改善する効果がある。

第６に基準映像と関連映像が関連づけられたマルチアングル映像が表示されている表示手段において、基準映像を、表示中の任意の映像に切り替える機能を備え、切り替え指示に応じて新たな基準映像に対する関連映像を検索し、マルチアングル映像として関連づける映像生成処理方法である。

これにより、マルチアングル映像閲覧中に生じる着目映像の変化に対し、それに応じた映像表示を可能にし、臨機応変に閲覧方法を変更することのできる高度な閲覧を実現する。

第７に監視カメラの撮影映像を記録する通常の記録領域とは別に、所望の映像を蓄積するための記録領域を備えた映像データベースにおいて、表示手段に表示されているマルチアングル映像、すなわち複数の映像を、ユーザの指示に基づきパッケージ化して記録する機能を備えた映像生成処理装置である。

これにより、個々の映像データを関連性のある一まとまりのデータとして扱うことを可能にし、ユーザインタフェースを向上させる効果がある。また、映像データの可搬性を向上させる。

第８に映像データベースが、当該映像データベースに蓄積する映像について、各映像データが有する撮像位置、日時、および撮影カメラの３種の情報を、任意の２種の情報から残りの１種の情報を抽出することが可能なデータ記録構造により統合的に管理する機能を備えた映像生成処理装置である。

前記データ記録構造を、例えば、第１軸に撮像位置データ、第２軸に日時、第１軸と第２軸の交わるセルに、第１軸の撮像位置を第２軸の示す日時に撮影していたカメラデータを保存する２次元配列により実現することにより、撮像位置情報または日時情報、または双方の情報により特徴付けられる映像データに対する検索速度を向上させる効果がある。

総じて、これらの発明により、よりセキュリティレベルの高い監視が可能となる。

ユーザが指定する基準映像と、それに関連する映像として基準映像と同地点を映している他のカメラの映像から成るマルチアングル映像を生成する機能を備えたことにより、あるカメラが映す対象を多角度で閲覧することを容易にするとともに、死角領域を低減させたセキュリティレベルの高い閲覧が可能となる。

以下、本発明の実施の形態について、図１から図１９を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。

（実施の形態１）
第１の実施の形態として、基準映像が指定され、基準映像と基準映像と同地点を映している映像から成るマルチアングル映像を生成する映像生成処理装置について図１から図７を用いて説明する。

なお、本明細書で記す基準映像とは、マルチアングル映像を生成する上で基準とする映像を意味し、関連映像とは、基準映像の属性情報または映像特徴について関連性を有する映像を意味する。

なお、基準映像の指定の方法は特に問わないが、以下の説明においては、カメラＩＤまたはカメラＩＤおよび日時情報を検索キーとして指定することによって、基準映像を指定するものとして説明する。

まず、図１、図２により映像生成処理装置の構成を説明する。
図１において、表示手段１０１は、検索キーとしてカメラＩＤおよび、必要あらば日時または期間を入力する機能と、マルチアングル映像を受け取り、表示する機能を備える。マルチアングル映像生成手段１０２は、関連映像条件生成手段１０３と映像検索・合成手段１０４の２手段により構成する。関連映像条件生成手段１０３は、表示手段１０１から得られるカメラＩＤおよび日時情報に適合する映像データ、すなわち基準映像を映像データベース１０５から検索し、基準映像の撮像位置情報を取得する。得られた撮像位置情報と日時情報を関連映像条件として設定し、関連映像検索手段１０６に送る。関連映像検索手段１０６は、関連映像条件生成手段１０３から得られる関連映像条件を基に、映像データベース１０５から適合する全ての映像を取得する。取得した全ての関連映像を、関連映像合成手段１０７に送る。関連映像合成手段１０７は関連映像検索手段１０６により取得する関連映像を基準映像に関連付け、マルチアングル映像として合成する。そして、表示手段１０１に送る。

なお、以下の説明においては、関連映像検索手段１０６および関連映像合成手段１０７をまとめて、映像検索・合成手段１０４として記す。

映像データベース１０５は、監視カメラの記録データとして、映像データとともに各映像データの撮影時刻、撮像位置情報を保存しており、カメラＩＤ・日時・撮像位置のいずれか、または任意の組み合わせデータを条件として各データの検索が可能なデータベースである。

映像データベース１０５に保存されるデータ構造の一例を図２に示す。映像データベース１０５には各カメラに割り振られた領域２０１ごとに映像が記録され、各映像フレームのデータ２０５として、日時情報２０２、映像データ２０３、撮像位置データ２０４が記録される。映像データ２０３は、映像データそのものを保存してもよいし、別領域に記録された該当映像データを一意に参照できるＩＤ等を記録することも可能である。図２は後者により記録している例を示している。撮像位置データ２０４は、被監視領域の地図の管理方法により様々な形態をとりうる。一例としては、図３に示すように、部分領域に分割され、それぞれに固有のＩＤ（以下、これを「領域ＩＤ」と呼ぶ）が付加された小領域の集合として、被監視領域を管理する方法である。この場合、映像データベース１０５に記録される撮像位置データ２０４は図２に記載のような領域ＩＤの集合により記録されうる。また、別の例としては被監視領域の一点を基準とした座標系を規定し、座標値により管理する方法である。この場合、撮像位置データ２０４としては、撮像範囲を示す矩形の各頂点の座標値からなるデータにより表現することが可能である。

上記の記録データベースの構造および撮像位置データの形式は一例であり、その記録形式は柔軟に変更しうる。

以下、本実施の形態による説明においては、図２記載の記録データベース、および図３記載の被監視領域の地図情報により管理した場合として述べる。

本発明の映像生成処理装置は図４に示す処理フローに従って動作する。

ステップ４０１、ユーザにより表示手段１０１から検索キーが入力される。図４では例として検索キーにカメラＩＤ｛Ｃｘ｝および日時｛ｔ０｝が入力されたとしている。

ステップ４０２、表示手段１０１は検索キーの入力と検索の指示を受けると、関連映像条件生成手段１０３に検索キーのデータ｛Ｃｘ，ｔ０｝を送出する。

ステップ４０３、関連映像条件生成手段１０３は受信した検索キーのデータ｛Ｃｘ，ｔ０｝を基に、映像データベース１０５から検索キーに合致する映像を検索する。図４の例ではカメラがＣｘの映像で時刻ｔ０に映された映像を検索し、適合する映像データｆｘ０を見つける。

ステップ４０４、関連映像条件生成手段１０３は検索結果として、適合映像データｆｘ０の属性情報の一つである撮像位置情報として、領域ＩＤの集合｛ｄｎ，ｄｍ｝を受け取る。

ステップ４０５、関連映像条件生成手段１０３は、検索キーで与えられた日時情報ｔ０および、取得した撮像位置情報｛ｄｎ，ｄｍ｝を関連映像条件｛｛ｄｎ，ｄｍ｝，ｔ０｝として設定し、映像検索・合成手段１０４に送出する。

ステップ４０６、映像検索・合成手段１０４は、映像データベースから関連映像条件｛｛ｄｎ，ｄｍ｝，ｔ０｝に適合する映像を検索する。この例の場合、関連映像条件から、撮像位置情報として領域ＩＤが｛ｄｎ，ｄｍ｝のいずれかを含み、かつ時刻情報がｔ０であることを満たす映像を映像データベース１０５において全検索する。

ステップ４０７、映像検索・合成手段１０４は、検索結果として関連映像条件に適合した映像（図４の例ではｆｙ２７，ｆｚ４４）により構成される映像データの集合を受け取る。

ステップ４０８、映像検索・合成手段１０４は、基準映像ｆｘ０およびステップ４０７にて獲得した関連映像ｆｙ２７，ｆｚ４４によりマルチアングル映像Ｆを生成し、表示手段１０１に送出する。なお、基準映像ｆｘ０は、映像データベース１０５から映像検索・合成手段１０４に、ステップＳ４０３の時点で取り込まれても、ステップＳ４０７の時点で取り込まれても良い。

図５に、本実施の形態により実現されるマルチアングル映像の表示例を示す。

表示手段の入力画面５０１において、検索キーとして、カメラＩＤにカメラＸ、日時に２００２年１１月１９日１０時２０分００秒を入力５０２すると、本実施の形態の上記動作に従って映像検索および映像合成処理が施され、出力画面５０３には、カメラＸの前記時刻の映像および、同時刻にカメラＸと同地点もしくは重なる地点を映していた映像からなるマルチアングル映像が表示される。

なお、本実施の形態１における映像生成処理装置において、検索キーの一つである日時情報に柔軟性を持たせ、指定の日時の一定の前後時区間を許可することも可能である。また、日時情報をあらかじめ時区間、すなわち開始時間および終了時間により指定することも可能である。

時区間が指定された場合、基準映像を決定する要素の一つである時刻情報は、指定された時区間の開始時間を初期値として一定間隔ごとに更新する。これに付随して、基準映像は再度検索される。従って、随時基準映像が更新され、基準映像の撮像位置情報も変化するため、関連映像条件生成手段が設定する関連映像条件の内容もまた随時更新される。

検索キーとしてカメラＩＤおよび時区間が入力された場合の、関連映像条件生成手段１０３は図６の動作フローに従う。動作は次の８つのステップから構成される。

ステップ６０１、検索キーとしてカメラＩＤとしてＣｘ、時区間として開始時刻ｔｓおよび終了時刻ｔｅを受信する。

ステップ６０２、日時変数ｔに開始時刻ｔｓを設定する。

ステップ６０３、検索キーとして｛Ｃｘ，ｔ｝を設定し、映像データベース１０５からこれに合致する映像データすなわち基準映像を検索する。

ステップ６０４、基準映像が存在した場合、基準映像の撮像位置情報Ｄｘｔを取得する。

ステップ６０５、関連映像条件を、基準映像の撮像位置情報および時刻値｛Ｄｘｔ，ｔ｝に設定する。

ステップ６０６、設定した関連映像条件データを映像検索・合成手段１０４に送出する。

ステップ６０７、日時変数に一定時間Δｔを加える。

ステップ６０８、日時変数の値が終了時間を越えない場合、ステップ６０３に戻って処理を繰り返す。

上記関連映像条件生成手段１０３の処理に伴い、映像検索・合成手段１０４は随時、関連映像条件生成手段１０３から受け取る関連映像条件に基づき、それに適合する映像を映像データベース１０５から検索し、得られる映像によりマルチアングル映像を生成する。

また、本実施の形態１における映像生成処理装置において、検索キーとしてカメラＩＤおよび日時情報を入力することによって所望のマルチアングル映像を閲覧する方法を述べたが、本発明の映像生成処理装置に通常の単一映像表示機能と、映像閲覧中にマルチアングル化を指示することが可能な入力手段を備えることにより、再生中の映像を基準映像とし、それに関連する映像をも表示するマルチアングル映像表示が可能である。この場合の動作概要を図７に示す。

図７では、例として前記マルチアングル化を指示する際の入力手段として、表示画面１０１にボタンが設置されているものとして説明する。表示画面７０１において例えばカメラＸの映像が再生されている際に、ユーザが同表示画面７０１に表示されているマルチアングル化指示ボタン７０２をクリック７０３すると、関連映像条件生成手段１０３は再生中のカメラＸの映像データ７０４を検索し、これを基準映像として認識する。

前記図４、図５に示す実施例において、表示画面により設定されるカメラＩＤを、ここでは映像が再生されているカメラＩＤとし、また、同じく表示画面により設定される日時情報を、ここでは再生されている映像の撮影時刻とする点が異なる点である。以降の処理は前記図４、図５の実施例で述べた処理と同様であり、まず、基準映像、すなわちカメラＸの現再生時刻１３時２４分００秒の映像についてその撮像位置情報７０５を取得する。ここでは、領域ＩＤにより表されるａ−３、ｂ−３を得る。取得した撮像位置７０５と再生時刻値を関連映像条件とし、１３時２４分００秒に領域ＩＤａ−３またはｂ−３を撮影していた映像を映像データベースより検索・取得する。図７においては、カメラＹの映像で撮像位置に領域ａ−３を含んでいるｆｒａｍｅ−２９４が検出されているのを示している。このようにして得られる全ての関連映像をマルチアングル映像として合成し、出力画面７０７に表示される。この処理が再生する映像の映像フレームごとに繰り返され、マルチアングル映像が表示される。

なお、本実施の形態の説明においては、被監視領域の地図管理方法として、被監視領域を２次元的に管理する方法として述べたが、地面からの高さ方向を加えて、３次元的に地図を管理してもよい。

なお、本実施の形態の説明において図５および図７に示したマルチアングル映像では、基準映像を大きく、関連映像を小さく表示する形式をとっているが、これは一例であり、さまざまな表示の仕方が可能である。

以上のように、本実施の形態では、基準映像または基準映像を決定づける検索キーを指定すると、基準映像と、それに関連する映像として、基準映像が映している撮像位置と同地点を映している映像から成るマルチアングル映像を生成する機能を備えており、あるカメラが映す対象を多角度で閲覧することが可能となり、死角を減らす効果がある。

また、従来、映像閲覧中に監視者が感じることの多かった、「違う角度からの映像をみたい」、「他のカメラには映っていないか」といった更なる閲覧の要求に対して、所望の映像を再度検索したり、撮像位置や時刻、撮影カメラなどの監視方法を考慮することなく閲覧が可能となり、検索効率を向上させる効果がある。

さらに、近年、カメラの安価化が進むとともに、魚眼カメラ等の広角度カメラや駆動カメラなども出現し、カメラの併用等によって様々な監視が可能となってきている。その一つとして、複数のカメラの撮像範囲を交差させ、多角度から監視する方法が普及しつつある今、閲覧方法においても複数のカメラ映像を効果的に閲覧できる方法が求められており、マルチアングル映像閲覧を可能にする本発明の映像生成処理装置は実用的効果が大きい。

なお、駆動カメラが利用されると、その映像は時間毎に撮像地点が変わっていく。この場合、表示手段１０１に表示する関連映像は基準映像と同時刻の映像に限定されない。すなわち、図４のステップＳ４０６で用いられる関連映像条件の時刻情報は、検索キーが示す時刻ｔ０の前後の時刻（ｔ０±駆動カメラの旋回周期時間）に設定されても良い。こうすることで、基準映像と同地点を同時刻に映す可能性のある他のカメラの映像も関連映像として抽出することができる。

（実施の形態２）
実施の形態２として、基準映像を指定すると、基準映像と、それに関連する映像として、基準映像が映している撮像位置の隣接領域を映している映像から成るマルチアングル映像を生成する機能を備えた映像生成処理装置について図８、図９を用いて説明する。

なお、本実施の形態を構成する各手段は関連映像条件生成手段の内部の機能を除いて実施の形態１と同一であり、その他の映像データベースの記録構造や被監視領域の地図情報などについても、以下の説明にて特に明記しないものは前記実施の形態１に沿うものとし、前記実施の形態１と異なる部分を中心に説明する。

本実施の形態２で実現される、隣接領域のマルチアングル映像閲覧の概要を図８に沿って説明する。

入力画面８０１において、ユーザが検索キーとしてカメラＩＤおよび日時情報８０２を入力する。例えば図８の例では、カメラＸおよび２００２年１１月１９日１０時２０分００分を指定している。入力された検索キーに適合する映像、すなわち、カメラＸが２００２年１１月１９日１０時２０分００分に撮影している映像を映像データベース１０５から検索し、検出された映像ｆｒａｍｅ−０１９を基準映像８０３とする。基準映像ｆｒａｍｅ−０１９の属性情報として記録されている撮像位置情報８０４は領域ＩＤがａ−３、ｂ−３であることから、地図情報を基に、その隣接領域は領域ＩＤがａ−２、ａ−４、ｂ−２、ｂ−４、ｃ−２、ｃ−３、ｃ−４である領域として求められる。ここで求めた隣接領域位置を撮像位置データとして持つ映像を関連映像８０６として検出する。図８ではｃ−２、ｃ−３を撮像位置として有しているカメラＹのｆｒａｍｅ−５１９が検出されているのを示している。このようにして求めた全ての関連映像と、基準映像ｆｒａｍｅ−０１９からなるマルチアングル映像が出力画面８０７に表示される。

本実施の形態２における関連映像条件生成手段は、上記のような、基準映像に対する隣接領域位置を映した映像を関連映像条件として設定する機能を実現するため、前期実施の形態１に加えて、被監視領域の地図情報と、地図情報に基づき、ある位置情報に対してその隣接位置を計算する機能を備えている。

関連映像条件生成手段は図９に示すフローに従って動作し、次の６つのステップから構成される。

ステップ９０１、表示手段から検索キーとしてカメラＩＤ、Ｃｘと日時情報ｔを受信する。

ステップ９０２、検索キー｛Ｃｘ，ｔ｝に対し映像データベースからこれに合致する映像データすなわち基準映像を検索する。

ステップ９０３、基準映像が存在した場合、基準映像の撮像位置情報Ｄｘｔを取得する。

ステップ９０４、ステップ９０３により取得した基準映像の撮像位置情報Ｄｘｔに対し、被監視領域の地図情報から隣接領域位置ＮＤｘｔを計算する。

ステップ９０５、関連映像条件を、ステップ９０４により求めた隣接位置情報および時刻値｛ＮＤｘｔ，ｔ｝に設定する。

ステップ９０６、設定した関連映像条件データを映像検索・合成手段に送出する。

なお、ステップ９０４において、基準映像の撮像位置から隣接領域の位置情報を求める方法は被監視領域の地図情報の管理方法により異なる。本実施の形態で例として利用している図３記載の管理方法においては、被監視領域を縦横に分割したマトリクス状により管理している。この場合、各領域ＩＤの隣接８つのセルが隣接領域として求められる。なお、行列の番号により領域ＩＤを管理することによって、簡単な計算により隣接領域を求めることが可能である。

なお、本実施の形態２における映像生成処理装置において、検索キーの一つである日時情報を時区間で指定することが可能である。

また、本実施の形態２における映像生成処理装置において、検索キーとしてカメラＩＤおよび日時情報を入力することによって検索キーに適合する基準映像および隣接映像から成るマルチアングル映像を閲覧する方法を述べたが、本発明の映像生成処理装置に通常の単一映像表示機能と、映像閲覧中にマルチアングル化を指示する入力手段を備えることにより、再生中の映像を基準映像とし、前述と同様の処理を行うことによって、基準映像と、随時その映像の隣接領域を映している映像から成るマルチアングル映像の閲覧が可能である。

なお、本実施の形態２における映像生成処理装置においては、関連映像の条件を撮像位置に関する物理的な位置関係における隣接映像としたが、意味的な隣接映像として、映像特徴空間における隣接映像を選択することも可能である。

映像特徴空間における隣接映像としては、例えば、映像特徴空間を顔の特徴量を表す特徴空間とすることで、基準映像に映っている人物の顔特徴と近い顔特徴を持つ人物が映っているカメラの映像を関連映像とすることが可能である。このときのマルチアングル映像の表示方法の例を図２０に示す。図２０（ａ）では、基準映像および関連映像に映っている人物の大きさに基づいて並べて表示し、図２０（ｂ）では、顔の向きに応じて並べて表示している。また、映像特徴空間を画像中の代表色や配色、テクスチャなどの色特徴空間とすることで、基準映像の色特徴が類似しているカメラの映像を関連映像とすることが可能である。また、映像特徴空間を動き方向や速度などの動き特徴量とすることで、基準映像に映っている動物体と類似した動き情報を持つ物体が映っているカメラの映像を関連映像とすることが可能である。

また、本実施の形態２における映像生成処理装置では、関連映像条件を撮像位置に関する物理的な位置関係における隣接映像としたが、意味的な隣接映像として、基準映像のカメラ動作に関して似ているものを関連映像としても良い。例えば、基準映像がズーム中の映像であれば、同じくズーム中の他のカメラの映像を関連映像とすることが可能である。その他、意味的な隣接映像として、基準映像で起こっている事象（例えば、ドアが開いた、人が走ったなど）と同じ事象、類似した事象が起こっている映像を関連映像とすることも可能である。

以上のように、本実施の形態では、検索キーとしてカメラＩＤを指定すると、検索キーに適合する基準映像と、それに関連する映像として、基準映像が映している撮像位置の隣接位置を映している映像から成るマルチアングル映像を生成する機能を備えており、あるカメラが映す対象を広範囲で閲覧することが可能となり、死角を減らす効果がある。

また、監視映像は一般的に事件発生後の検証等に使われることが多い。その際、事件発生現場の映像に加え、その周囲を映す映像も状況把握に重要な映像とされる。このような用途においても、従来、監視カメラの設置位置等を考慮し、所望の位置を映している映像を再検索して閲覧しなければならなかったが、本発明の装置はこのような検索の手間を省き容易に実現するものである。

このように本実施の形態による監視はよりセキュリティレベルを高める効果と検索効率を向上させる効果があり、その実用的効果は大きい。

（実施の形態３）
実施の形態３として、基準映像を指定すると、基準映像と、それに関連する映像として、基準映像の撮像位置に対する否可視領域を映している映像から成るマルチアングル映像を生成する機能を備えた映像生成処理装置について図１０から図１２を用いて説明する。

なお、本実施の形態は前記実施の形態１と同様の構成であり、表示手段と、関連映像条件生成手段および映像検索・合成手段からなるマルチアングル映像生成手段と、映像データベースから成る。

表示手段および映像データベース、映像検索・合成手段は前記実施の形態１と同様の機能を有するため、説明は省略する。

関連映像条件生成手段は、前記実施の形態１の機能に加え、被監視領域の地図情報と、各カメラの否可視領域位置情報と、地図情報および否可視領域位置情報およびカメラの撮像位置情報から否可視領域位置を計算する機能を備える。

本明細書で述べる「否可視領域」とは、カメラが撮影可能な範囲であるにもかかわらず、柱や棚などの障害物によって否可視となる領域を意味する。図１０に否可視領域情報の例を示す。

監視カメラＸ１００１が設置された被監視領域において、棚や柱などの障害物１００２が存在するとする。監視カメラＸ１００１のパン・チルト・ズームの状態により現在の撮像領域が１００３に示す範囲であるにもかかわらず、障害物１００２によって映らない領域１００４を否可視領域として定める。

カメラの撮像範囲に対する否可視領域の情報を記述したものが、否可視領域情報１００５であり、関連映像条件生成手段が有する前記否可視領域情報は、各カメラがどの領域を撮影しているときに、どの領域が否可視領域であるかを記したデータであり、予め設定し用意する。

また、関連映像条件生成手段が設定する関連映像条件は、検索キーに適合する映像の撮像位置の否可視領域情報および時刻情報を設定する。

本実施の形態３で実現される、否可視領域のマルチアングル映像閲覧の概要を図１１に沿って説明する。

入力画面１１０１において、ユーザが検索キーとしてカメラＩＤおよび日時情報１１０２を入力する。例えば図１１の例では、カメラＸおよび２００２年１１月１９日１０時２０分００分を指定している。入力された検索キーに適合する映像、すなわち、カメラＸが２００２年１１月１９日１０時２０分００分に撮影している映像を映像データベースから検索し、検出された映像ｆｒａｍｅ−０１９を基準映像１１０３とする。基準映像ｆｒａｍｅ−０１９の属性情報として記録されている撮像位置情報１１０４は領域ＩＤがｃ−３、ｃ−４、ｄ−３、ｄ−４であることから、否可視領域情報１１０５を基に、現在の撮像位置に対する否可視領域１１０６は領域ＩＤがｄ−３である領域として求められる。ここで求めた否可視領域１１０６を撮像位置データとして持つ映像を関連映像１１０７として検出する。図１１ではｄ−２、ｄ−３を撮像位置として有しているカメラＹの映像ｆｒａｍｅ−３３２が検出されているのを示している。このようにして求めた全ての関連映像と、基準映像ｆｒａｍｅ−０１９からなるマルチアングル映像が出力画面１１０８に表示される。

関連映像条件生成手段は図１２に示すフローに従って動作し、次の６つのステップから構成される。

ステップ１２０１、表示手段から検索キーとしてカメラＩＤ、Ｃｘと日時情報ｔを受信する。

ステップ１２０２、検索キー｛Ｃｘ，ｔ｝に対し映像データベースからこれに合致する映像データすなわち基準映像を検索する。

ステップ１２０３、基準映像が存在した場合、基準映像の撮像位置情報Ｄｘｔを取得する。

ステップ１２０４、ステップ１２０３により取得した基準映像の撮像位置情報Ｄｘｔに対し、カメラＣｘの否可視領域情報から現在の撮像位置に対する否可視領域位置ＮＤｘｔを計算する。

ステップ１２０５、関連映像条件を、ステップ１２０４により求めた否可視領域位置および時刻値｛ＮＤｘｔ，ｔ｝に設定する。

ステップ１２０６、設定した関連映像条件データを映像検索・合成手段に送出する。

なお、図１０においては、否可視領域情報の一例として、各カメラの各撮像範囲に対する否可視領域ＩＤを設定する方法を示したが、この情報の保有方法は特に制限するものではく、自由な形式で実現可能である。従って、例えば、被監視領域を座標系で示した場合、ある座標点を映している場合はどの領域が否可視領域になるか、といった形式での保存も可能である。

また、本実施の形態では、この否可視領域情報を予め設定する旨を述べたが、被監視領域の地図情報およびカメラの状態情報（ズーム、パン、チルト値など）、および障害物の位置情報などにより、順次計算により求めることも可能である。

なお、本実施の形態３における映像生成処理装置において、検索キーの一つである日時情報を時区間で指定することが可能である。

また、本実施の形態３における映像生成処理装置において、検索キーとしてカメラＩＤおよび日時情報を入力することによって所望の映像および否可視領域の映像から成るマルチアングル映像を閲覧する方法を述べたが、本発明の映像生成処理装置に通常の単一映像表示機能と、映像閲覧中にマルチアングル化を指示する入力手段を備えることにより、再生中の映像を基準映像とし、前述と同様の処理を行うことによって、基準映像に対して随時その映像の否可視領域を映した映像から成るマルチアングル映像の閲覧が可能である。

以上のように、本実施の形態では、検索キーとしてカメラＩＤを指定すると、検索キーに合致する基準映像と、それに関連する映像として、基準映像が映している撮像位置とその否可視領域を映している映像から成るマルチアングル映像を生成する機能を備えており、あるカメラが映す領域内において障害物等により死角となる領域も同時に確認することが可能となる。

実際の監視現場では、棚や柱などの障害物が存在し、カメラの監視範囲でありながら、障害物により死角となってしまう領域が存在する。この死角となる領域に危険はないか確認するためには、従来、監視カメラの設置位置等を考慮し、所望の位置を映している映像を再検索して閲覧しなければならなかった。しかし、本発明の装置はこのような検索の手間を省き容易に死角領域の閲覧を実現するものである。

このように本実施の形態による監視はよりセキュリティレベルを高める効果と検索効率を向上させる効果があり、その実用的効果は大きい。

（実施の形態４）
実施の形態４として、映像検索・合成手段がマルチアングル映像を構成する映像を順序付ける優先度規則を備え、前記規則による各映像の優先度を基にマルチアングル映像を構成する機能を備えた映像生成処理装置について図１３を用いて説明する。

なお、本実施の形態４にて示す発明は、複数の映像からマルチアングル映像を合成する方法に関するものであり、図１に示す映像生成処理装置における関連映像合成手段１０７に係るものである。従って、映像生成処理装置を構成するその他各手段の機能を制限するものではなく、上記実施の形態１から３記載のいずれの装置においても実現可能なものである。

以下の説明においては、関連映像合成手段が備える映像の優先度規則を中心に述べる。

関連映像合成手段において扱う映像は、基準映像と、基準映像に関連性が高いとして収集した関連映像からなる。順序付けを必要とする複数の映像が取得される可能性があるのは、実施の形態１から３における関連映像である。これらはいずれも、撮像位置情報を検索条件として収集される。そこで、これらの映像を順序づける第１の基準として、撮像位置に基づく優先度基準を用いる。

また、映像を順序づける第２の基準として、映っている人物の情報に基づく優先度基準を用いる。これは、本発明が監視分野に係るものであり、監視においては、人物の情報が非常に重要な情報の一つであることによる。

まず、撮像位置に基づく第１の優先度基準について図１３を用いて説明する。

関連映像合成手段において扱う、順序付けの対象となる映像は、関連映像条件として領域ＩＤの集合からなる撮像位置情報が指定され、それに適合する映像として映像データベースから取得された映像である。

例えば、ｎ個の領域ＩＤからなる撮像位置情報として、
Ｄ ＝ ｛ ｄ０， ｄ１， ｄ２， … ， ｄｎ｝
が指定され、撮像位置情報Ｄに含まれる一つ以上の領域ＩＤを撮像位置として有する映像を適合映像として取得したとする。取得した適合映像、すなわち順序付けの対象とする映像がｕ個存在し、それぞれを
ｆ０， ｆ１， ｆ２， ．．， ｆｘ， ．． ， ｆｕ
と表す。また、各映像ｆｘが映している撮像位置が、ｍ個の領域ＩＤの集合、
Ａｘ ＝ ｛ａｘ０， ａｘ１， ａｘ２， ．．，ａｘｊ，… ， ａｘｍ｝
により表されるとする。

ｆ０， ｆ１， ｆ２， … ， ｆｕの映像を順序づける基準として、次の２つの評価値を用いる。
（１）順序付け対象の映像ｆｘが映している撮像位置のうち、検索条件に適合する位置である割合
（２）検索条件の撮像位置Ｄのうち、映像ｆｘが映している割合

（１）は適合率を表す指標であり、例えば、図１３の１３−Ｅに示すような、映像ｆｘが所望の位置以外の箇所を映している領域が多い場合には評価値が下がり、１３−Ａ〜Ｃのように、所望の位置以外を映している映像が少ないときほど評価値が上がるものである。また、（２）は再現率を表す指標であり、例えば、図１３の１３−Ａのように、映像ｆｘが検索条件に指定された撮像位置の一部のみを映している場合には評価値が下がり、１３−Ｃ〜Ｅのように指定された撮像位置を映している領域が多いほど評価値が上がるものである。

（１）および（２）はトレードオフの関係にある指標であり、所望の位置のみを全て映している映像に対しては双方の評価値とも最も高い値をとるものである。従って、双方の評価を合わせた統合評価を行う。この統合評価としては、（１）および（２）の評価値の和や積、いずれかに重みを付加した和による評価などが考えられる。ここでは、双方の評価値の単純和を総合評価値とするものとして説明する。

具体的に、上記（１）および（２）の各評価値の計算方法の一例を示す。

評価対象映像ｆｘの撮像位置Ａｘに属する各領域ＩＤａｘｊが、所望の撮像位置Ｄに含まれるか否かを式（１）の評価値で定める。

これを用いて（１）の評価値Ｅ１を式（２）で定める。

また、（２）の評価式Ｅ２は式（３）で定める。

なお、ｍは集合Ａｘの要素数、ｎは集合Ｄの要素数を表す。

（１）および（２）の和により、評価値Ｅを定める。
Ｅ ＝ Ｅ１ ＋ Ｅ２

この評価値Ｅを用いて、各映像ｆｘを評価し、それぞれの評価値の高いものから順に配置することによって、所望の位置以外を映している量が少なく、かつ、所望の位置を最も多く映している映像から順に表示することができる。

次に、第２の基準として、映っている人物の情報に基づく優先度基準について説明する。

先にも記したとおり、監視分野においては人物の情報は非常に重要である。そこで、関連映像合成手段に人物認識機能を備え、順序付けの対象となる各映像に対し人物認識処理を施し、その結果を用いて優先度を付ける。

人物認識結果に基づく評価値として、次の２つを用いる。
（１）映像中に映っている人物の大きさ
（２）映像中に映っている人物の顔の向き

なお、一つの映像中に複数の人物が映っている場合には、映像中の最も大きく映っている人物の情報とするか、映像中の最も中心に映っている人物の情報にするなどが考えられる。（１）は映像から人物領域を検出する機能により、映像中に占める人物の領域の割合を評価値とする。（２）は頭部を検出し、頭部領域に占める顔の肌色領域の割合を評価値とする。

なお、複数の映像を順序づける優先度基準として、撮像位置に基づく基準と、映っている人物の情報に基づく基準を説明したが、それぞれを組み合わせた評価など、評価方法は自由に設定することが可能である。

また、本実施の形態において示した優先度を映像に付加し、さらに表示映像の数を制限する機能や評価値の下限を設ける機能を備えることによって、フィルタリングして表示することも可能である。

また、本実施の形態による映像の順序付け結果に基づき、最も評価値の高いものを大きく表示し、評価値の低いものを小さく表示するなど、映像表示の大きさ等に反映させることも可能である。

以上のように、本実施の形態では、基準映像と、それに関連する関連映像によりマルチアングル映像を生成する手段において、マルチアングル映像を構成する複数の映像を、所定の優先度基準により順序付けて構成する機能を備えることにより、映像を規則に沿って配列することが可能となり、複数の映像を閲覧する際に発生する見難さを改善する効果がある。

また、所望の評価値を利用して順序付けを行うことによって、検索キーに合致する映像のうち、最も望ましい映像を取得することが容易になる。

このように本実施の形態による監視は、映像の閲覧をより見やすく改善する効果があり、その実用的効果は大きい。

（実施の形態５）
実施の形態５として、基準映像と、それに関連する関連映像によりマルチアングル映像が表示されている表示手段において、基準映像を、表示中の任意の映像に切り替える手段を有し、切り替え指示に応じて新たな基準映像を中心としたマルチアングル映像に再構成する機能を備えた映像生成処理装置について図１４と図１５を用いて説明する。

なお、本実施の形態５にて示す発明は、図１の映像生成処理装置が生成する基準映像と関連映像から成るマルチアングル映像の表示・閲覧機能に関するものであり、その拡張機能として位置づけられるものである。従って、映像生成処理装置を構成する各手段の機能を制限するものではなく、上記実施の形態１から４記載のいずれの装置においても実施可能なものである。

以下の説明においては、本発明に関連する表示手段１０１の機能を中心に述べる。

図１４に、本実施の形態の動作概要を示す。

入力画面１４０１は、マルチアングル映像が表示されている表示手段１０１の画面を示している。マルチアングル映像は基準映像および関連映像から構成され、図１４の例では、１つの基準映像１４０１−ａと２つの関連映像（１）１４０１−ｂ、関連映像（２）１４０１−ｃが表示されている。

このようなマルチアングル映像を閲覧している際に、例えば、基準映像１４０１−ａよりも関連映像（２）１４０１−ｃに対象が大きく映っているなどの理由により、「関連映像（２）を中心に詳しく見たい」という希望が発生することがある。この際に、ユーザは表示手段１４０１上で関連映像（２）１４０１−ｃをクリック等により指定し、基準映像への切り替えを指示することができる。

この指示に基づき、本システムは画面１４０１における関連映像（２）１４０１−ｃを基準映像として再設定し、この新たな基準映像に関連する映像により構成されるマルチアングル映像を出力画面１４０３に表示する。

図１４に示す動作を実現する際の処理フローを図１５に示す。

なお、本実施の形態における映像生成処理装置は図１と同様の構成を有するため、図１５では、本実施の形態５に深く関わる、表示手段１０１およびマルチアングル映像生成手段１０２の一部として関連映像条件生成手段１０３のみを示す。その他の手段における処理フローは、実施の形態１から３のそれぞれの説明において述べたとおりである。

まず、表示手段１０１には１つの基準映像および２つの関連映像（１）、（２）から成るマルチアングル映像が表示されているとする（画面１５０１）。このとき、表示手段１０１は、表示画面１５０１に表示中の映像のデータ１５０２として、各映像のフレームＩＤ、カメラＩＤ、日時、撮像位置からなる情報を有している。

ユーザから、例えば表示画面中の関連映像（２）を基準映像とするよう指示１５０３を受けると、表示手段１０１は所有映像データ１５０２の中から指定された関連映像（２）のデータ１５０４を検索する。図１５においては、指示された映像は、カメラＣｚの映像であり、撮影時刻がｔ０、撮像位置がｂ−２である映像と認識される。このデータを基に、表示手段１０１はカメラＩＤおよび日時情報からなる検索キー｛Ｃｚ，ｔ０｝、または、撮像位置情報および日時情報からなる検索キー｛ｂ−２，ｔ０｝を設定し、関連映像条件生成手段１０３に送出する（１５０５）。

関連映像条件生成手段１０３は検索キーを受け取ると、検索キーに応じて、前記実施の形態１から３のそれぞれの処理により関連映像条件を定める。以降の処理は各実施の形態１から３にて説明済みであるので省略する。

このように本実施の形態においては、表示手段１０１が、自身が表示している映像データを常に管理しており、ユーザにより基準映像の変更が指示されると、指示された映像データの情報から検索キーを再設定し、関連映像条件生成手段に発行する機能を備えたものである。関連映像条件生成手段１０３に発行する検索キーとしては、カメラＩＤまたは撮像位置情報の双方が可能であり、マルチアングル映像生成手段１０２は各検索キーに応じて処理を行い、ユーザにより指定された映像を中心としたマルチアングル映像を生成し、表示手段１０１に表示する。

以上のように、本実施の形態では、基準映像と関連映像からなるマルチアングル映像を閲覧している際に、基準映像を表示中の任意の映像に切り替える手段を有し、切り替え指示に応じて新たな基準映像を中心としたマルチアングル映像に再構成する機能を備えた映像生成処理装置であり、映像閲覧中に生じる着目映像の変化に応じて表示映像を変更することが可能な高度な閲覧を可能にする。

このように本実施の形態による監視は、ユーザインタフェースを向上させる効果があり、その実用的効果は大きい。

（実施の形態６）
実施の形態６として、監視カメラの撮影映像を記録する通常の記録領域（以下、「通常記録領域」と呼ぶ）とは別に、所望の映像を蓄積するための記録領域（以下、「保存領域」と呼ぶ）を備えた映像データベースにおいて、表示手段に表示されているマルチアングル映像、すなわち複数の映像を、ユーザの指示に基づきパッケージ化して記録する機能を備えた映像生成処理装置について図１６を用いて説明する。

なお、本実施の形態６にて示す発明は、図１の映像生成処理装置の付加機能として位置づけられるものである。従って、映像生成処理装置を構成する各手段の機能を制限するものではなく、上記実施の形態１から３記載のいずれの装置においても実施可能なものである。

以下の説明においては、本発明に関連する表示手段および映像データベースを中心に述べる。

図１６に、本実施の形態における映像生成処理装置の構成図を示す。

図１６において、１６０１は、図１における表示手段１０１の有する機能に加えて、表示中のマルチアングル映像の保存を指示するための入力機能と、後述の映像データベース１６０２の保存領域１６０４に蓄積されているデータから映像を抽出し表示する機能を備えた表示手段である。

１６０２は、映像データベースを示し、図１における映像データベース１０５と同様に映像データを記録する通常記録領域１６０３と、前記表示手段１６０１から受信する複数の映像データを物理的に関連付け、パッケージ化して蓄積することが可能な保存領域１６０４から構成される。

図１６における、表示手段１６０１、マルチアングル映像生成手段１０２、関連映像条件生成手段１０３、映像検索・合成手段１０４、および、映像データベース１６０２内の通常記録領域１６０３は、上記実施の形態１から３に記した動作によりマルチアングル映像を生成し、表示手段１６０１に表示する機能を備えている。

マルチアングル映像が表示手段１６０１に表示されている際、表示手段１６０１は表示中のマルチアングル映像の保存を指示することが可能な入力手段を画面上に示す。例えば、「保存ボタン」等を表示する。ユーザにより、「保存ボタン」がクリックされると、表示手段１６０１はボタン押下時に表示していたマルチアングル映像のデータを映像データベース１６０２内の保存領域１６０４に送出し、データを記録する。マルチアングル映像は複数の映像により構成されるが、各映像データを関連付け、パッケージ化して保存する。ここで記載するパッケージ化とは、複数の映像を一まとまりとして扱うことを意味し、記録領域上で、１つの映像から同じまとまりにある他の映像へ辿るための情報を記録することにより実現する。保存するデータとしては、各映像データとともに、各映像の属性情報、並びに、基準映像や関連映像の選別、検索キー情報などの情報を記録する。

なお、このように保存領域１６０４に記録された映像を閲覧する際には、先に記した各保存データにより検索することを可能とし、パッケージ化された一まとまりの映像としても、個々の映像としても検索することを可能とする。

なお、本実施の形態においては、表示中のマルチアングル映像に対して、パッケージ化して保存することができる機能について述べたが、同様の機能は表示中の映像以外に対しても実現し得る。例えば、表示手段において、日時または時区間と、カメラＩＤまたは撮像位置情報を指定し、保存の指示を行うことによって、指定の条件に基づいて生成するマルチアングル映像を、映像データベース上の保存領域に直接書き込み、保存することができる機能を実現することも可能である。

以上のように、本実施の形態では、マルチアングル映像を構成している関連性を有する複数の映像を、それらの関連性を保持しながら、ユーザが任意に保存することができる機能を備えたことにより、不審者を複数の角度から映した映像群や事件発生時に事件周囲を映していた複数の映像など、関連する映像を一まとまりに扱うことを可能にする。

また、これにより、保存した映像を閲覧する際にも、条件に合致する映像を個々に閲覧するのではなく、関連する映像とともに閲覧することが可能になる。

このように本実施の形態による監視は、より高度な映像の閲覧、保存を可能にし、ユーザインタフェースを向上させる効果と、映像データの可搬性を向上させる効果があり、その実用的効果は大きい。

（実施の形態７）
実施の形態７として、映像データベースが、蓄積している映像に関して、撮像位置、および日時、および撮影カメラの３種の情報を、任意の２種の情報から残りの一種の情報を抽出することが可能なデータテーブルにより統合的に管理する手段を備えることにより、前記３種に基づく映像の検索を高速にした映像生成処理装置について図１７および図１８により説明する。

なお、本実施の形態７において示す発明は、映像データベースに関連するものであり、図１の映像生成処理装置の付加機能として位置づけられるものである。従って、上記実施の形態１から３のいずれの装置においても実施可能であり、映像生成処理装置を構成する他の手段の機能を制限するものではない。

図１７に、撮像位置、および日時、および撮影カメラの情報を管理する記録構造の一例として、撮像位置の領域ＩＤを第１軸１７０１、日時情報を第２軸１７０２とする２次元配列において、第１軸と第２軸の交わるセルに、第１軸の示す領域を第２軸の示す日時に撮影していたカメラＩＤの集合から成るデータ１７０３を保存するデータテーブルを示す。

なお、図１７記載のデータテーブルは、監視映像が映像データベースに逐次記録される際に、映像データの情報に適合するセルにカメラＩＤを追加することにより、生成されうる。このように、例えば、映像データの通常の記録と同時にデータテーブルにも記録することによって、映像データベースに蓄積されている全ての映像を、データテーブルにより管理することが可能となる。

次に、映像データおよび映像データの属性情報が、カメラごとに記録されている通常記録領域と、通常領域に記録されている全ての映像情報を図１７記載のデータテーブルにより管理する映像データベースを備えた映像生成処理装置における、閲覧処理について説明する。

図１８に検索条件が撮像位置情報および日時情報である場合の、検索処理フローを示す。なお、図１８においては、映像生成処理装置のうち、本処理の中心となる、関連映像検索手段および映像データベースについてのみ記している。

ステップ１８−ａ、関連映像検索手段１８０１は、撮像位置を表す領域ＩＤの集合｛ｄｎ，ｄｍ｝および日時情報ｔ０を検索条件として映像データベース１８０２にアクセスする。

ステップ１８−ｂ、まず、映像データベース１８０２のデータテーブル１８０３において、検索条件の各領域ＩＤおよび日時情報の組み合わせについて、適合するセルを走査し、適合セルに記録されているデータを取得する。図１８においては、領域ＩＤがｄｎで日時がｔ０であるセルの情報として、カメラＩＤの集合、｛Ｃｙ，Ｃｚ｝を取得し、領域ＩＤがｄｍで日時がｔ０であるセルの情報として、カメラＩＤの集合｛Ｃｚ｝を取得する。これは、日時ｔ０に領域ｄｎを映していたカメラがＣｙ，Ｃｚの２つあり、同様に、日時ｔ０に領域ｄｍを映していたカメラがＣｚであったことを意味するものである。

ステップ１８−ｃ、映像条件｛｛ｄｎ，ｄｍ｝，ｔ０｝に適合する映像がカメラＣｙおよびカメラＣｚに映されていたことから、カメラＣｙ、Ｃｚの映像データが保管されている通常記録領域１８０４から撮像時刻ｔ０である映像データを検索する。

ステップ１８−ｄ、前記ステップ１８−ｃにより見つけた映像データを取得する。

このようにデータテーブル１８０３を備えることによって、検索条件に合致する映像を全てのカメラ映像から検索する処理を省くことが可能である。

なお、本実施の形態では、図１７記載のデータテーブルを、撮像位置および日時を指定することにより、所定の位置を所定の日時に映していたカメラを検知するために使用したが、当該データテーブルは他に様々な利用が可能である。例えば、ある日に、ある撮像位置を映していた映像を全て閲覧したい、などの閲覧も容易に実現することが可能である。従来の通常記録領域のみによる記録では、指定された日程の０時００分００秒の時刻を日時情報の初期値として、全てのカメラ映像の中から各時刻ごとに所定の位置を映していた映像があるかを検索しなければならない。しかし、本発明のデータテーブルを使用することによって、特定の位置を特定の時刻に映していたカメラがどれであるかという情報を容易に取得することが可能となる。

なお、本実施の形態では、撮像位置、および日時、および撮影カメラの情報を管理する記録構造を２次元配列により実現したが、撮像位置および日時の２値により、撮影カメラ情報を一意に参照できる構造であれば、その実現形態は問わない。

以上のように、本実施の形態では、映像データベースが、蓄積している映像に関して、撮像位置、および日時、および撮影カメラの３種の情報を、任意の２種の情報から残りの一種の情報を抽出することが可能なデータテーブルにより統合的に管理する手段を備えることにより、前記３種の情報に基づく映像検索を高速にする効果がある。

特に、特定の領域を映した映像を得たい、特定の日時に映している映像を得たい、など従来の映像記録では全検索を要した検索においては、大幅に処理速度が改善される。

このように本実施の形態による監視は、検索処理速度を向上させる効果があり、その実用的効果は大きい。

本出願は、2002年7月2日出願の日本特許出願（特願2002−193048）に基づくものであり、その内容はここに参照として取り込まれる。

以上のように本発明によれば、
第１にユーザが指定する基準映像と、それに関連する映像として基準映像と同地点を映している他のカメラの映像から成るマルチアングル映像を生成する機能を備えたことにより、あるカメラが映す対象を多角度で閲覧することを容易にするとともに、死角領域を低減させたセキュリティレベルの高い閲覧が可能となる。

第２にユーザが指定する基準映像と、それに関連する映像として基準映像の撮像位置に隣接する地点を映している他のカメラの映像から成るマルチアングル映像を生成する機能を備えたことにより、あるカメラが映す対象を中心に周囲状況を確認することを容易にするとともに、死角領域を低減させたセキュリティレベルの高い閲覧が可能となる。

第３にユーザが指定する基準映像と、それに関連する映像として基準映像の否可視領域を映している他のカメラの映像から成るマルチアングル映像を生成する機能を備えたことにより、死角領域を低減させたセキュリティレベルの高い閲覧が可能となる。

第４にマルチアングル映像を構成する複数の映像を、各映像の撮像位置情報に基づく優先度基準により順序付けて構成する機能を備えることにより、撮像位置に関してユーザ所望の映像に最も近い映像の順に配列することを可能にするとともに、複数の映像を閲覧する際に発生する見難さを改善する効果がある。

第５にマルチアングル映像を構成する複数の映像を、人物検出処理を施し、各映像に映っている人物の情報に基づいて順序付けて構成する機能を備えることにより、監視において重要である人物の情報に関して重要度の高い映像の順に配列することを可能にするとともに、複数の映像を閲覧する際に発生する見難さを改善する効果がある。

第６に基準映像と関連映像からなるマルチアングル映像を閲覧している際に、基準映像を切り替える手段を備えることにより、映像閲覧中に生じる着目映像の変化に応じて表示映像を変更することが可能な高度な閲覧を可能にする。

第７にマルチアングル映像を閲覧している際に、表示されているそれらの複数の映像を、その関連性を残したまま保存する手段を備えたことにより、関連する複数の映像を一まとまりとして扱うことを可能にする。

第８に映像データベースが、蓄積している映像に関して、撮像位置、および日時、および撮影カメラの３種の情報を、任意の２種の情報から残りの一種の情報を抽出することが可能なデータテーブルにより統合的に管理する手段を備えることにより、撮像位置情報または日時情報または撮影カメラ、または各情報の組み合わせにより特徴付けられる映像データに対する検索速度を向上させる。

本発明は、ユーザが指定する基準映像と、それに関連する映像として基準映像と同地点を映している他のカメラの映像から成るマルチアングル映像を生成する機能を備えたことにより、あるカメラが映す対象を多角度で閲覧することを容易にするとともに、死角領域を低減させたセキュリティレベルの高い閲覧が可能となる効果を有し、防犯効果を高め、よりセキュリティレベルの高い監視を実現することを目的とした監視映像における映像生成処理装置、映像生成処理方法および映像記憶装置等に有用である。

図１は、本発明の映像生成処理装置の概略構成を示すブロック図であり、
図２は、本発明の実施の形態１における、映像データベースの記録構造を示す図であり、
図３は、本発明の実施の形態１における、被監視領域の地図情報管理方法の一例を示す図であり、
図４は、本発明の実施の形態１において、検索キーとしてカメラＩＤおよび日時情報が入力された場合の装置全体における処理フローであり、
図５は、本発明の実施の形態１において、検索キーとしてカメラＩＤおよび日時情報が入力された場合のマルチアングル映像表示の一例を示す図であり、
図６は、本発明の実施の形態１において、検索キーとしてカメラＩＤおよび時区間が入力された場合の、関連映像条件生成手段の動作フローチャートであり、
図７は、本発明の実施の形態１において、単一映像再生中にマルチアングル化を指示した際の動作概略を示す図であり、
図８は、本発明の実施の形態２において、検索キーとしてカメラＩＤおよび日時情報が入力された場合の動作概略を示す図であり、
図９は、本発明の実施の形態２において、検索キーとしてカメラＩＤおよび日時情報が入力された場合の、関連映像条件生成手段の動作フローチャートであり、
図１０は、本発明の実施の形態３における、否可視領域と否可視領域情報の一例を示す図であり、
図１１は、本発明の実施の形態３における、検索キーとしてカメラＩＤおよび日時情報が入力された場合の動作概略を示す図であり、
図１２は、本発明の実施の形態３における、検索キーとしてカメラＩＤおよび日時情報が入力された場合の、関連映像条件生成手段の動作フローチャートであり、
図１３は、本発明の実施の形態４における、撮像範囲に基づく映像の評価として、適合率および再現率の例を示す図であり、
図１４は、本発明の実施の形態５における、マルチアングル映像閲覧時の基準映像の切り替え動作の概略を示す図であり、
図１５は、本発明の実施の形態５において、マルチアングル映像閲覧時の基準映像の切り替えが指示された場合の、表示手段の処理フローであり、
図１６は、本発明の実施の形態６における、映像生成処理装置の全体構成図であり、
図１７は、本発明の実施の形態７において、撮像位置、および日時、および撮影カメラ情報を管理するデータテーブルを示す図であり、
図１８は、本発明の実施の形態７において、撮像位置および日時を映像条件とした場合の、関連映像検索手段および映像データベース間の処理フローであり、
図１９は、従来の映像検索・閲覧装置の概略構成を示すブロック図
図２０は、人物特徴に基づくマルチアングル映像の表示方法の一例を示す図である。

符号の説明

１０１は表示手段、１０２はマルチアングル映像生成手段、１０３は関連映像条件生成手段、１０４は映像検索・合成手段、１０５は映像データベース、１０６は関連映像検索手段、１０７は関連映像合成手段、２０１は映像データ領域、２０２は時刻情報、２０３は映像データ、２０４は撮像位置情報、２０５は映像フレームごとのデータ、４０１は表示手段における入力処理、４０２は表示手段から検索キーの情報が送出される処理、４０３は検索キーに適合する映像を映像データベースから検索する処理、４０４は映像データベースから撮像位置情報を検索結果として取得する処理、４０５は関連映像条件を映像検索・合成手段に送出する処理、４０６は関連映像条件に適合する映像を映像データベースから検索する処理、４０７は映像データベースから関連映像を取得する処理、４０８はマルチアングル映像を表示手段に送出する処理、５０１は表示手段における入力画面、５０２はユーザによる検索キー入力、５０３は表示手段における出力画面、５０４は基準映像、５０５は関連映像、６０１は表示手段から検索キーを受信する処理、６０２は日時変数の初期値の設定処理、６０３は映像データベースから検索キーに合致する映像データを検索し、適合する映像データ、すなわち基準映像が存在するかどうかの判定処理、６０４は基準映像の撮像位置情報を映像データベースから取得する処理、６０５は関連映像条件として基準映像の撮像位置情報および日時変数値を設定する処理、６０６は関連映像条件を映像検索・合成手段に送出する処理、６０７は日時変数のインクリメント処理、６０８は所定の時区間の処理を終了したかを判断する処理、７０１は表示手段における単一映像表示画面、７０２はマルチアングル化指示ボタン、７０３はユーザによるマルチアングル化指示の入力、７０４は表示手段に再生中の映像データ、７０５は再生中の映像データの撮像位置情報、７０６は関連映像、７０７は表示手段におけるマルチアングル映像表示、８０１は表示手段における入力画面、８０２はユーザによる検索キーの入力、８０３は検索キーに適合する基準映像、８０４は基準映像の撮像位置情報、８０５は基準映像の撮像位置に対する隣接位置、８０６は関連映像、８０７は表示手段における出力画面、９０１は表示手段から検索キーを受信する処理、９０２は映像データベースから検索キーに合致する映像データを検索し、適合する映像データ、すなわち基準映像が存在するかどうかの判定処理、９０３は基準映像の撮像位置情報を映像データベースから取得する処理、９０４は基準映像の撮像位置情報に対する隣接領域位置を計算する処理、９０５は関連映像条件として隣接領域位置および日時情報を設定する処理、９０６は関連映像条件を映像検索・合成手段に送出する処理、１００１は監視カメラＸ、１００２は被監視領域に存在する障害物、１００３は監視カメラＸの現在の撮像領域、１００４は監視カメラＸの撮像領域が１００３である場合の否可視領域、１００５は各カメラの否可視領域情報、１１０１は表示手段における入力画面、１１０２はユーザによる検索キー入力、１１０３は基準映像、１１０４は基準映像の撮像位置情報、１１０５は否可視領域情報、１１０６は当該カメラの否可視領域、１１０７は否可視領域を撮像位置情報として持つ関連映像、１１０８は表示手段における出力画面、１２０１は表示手段から検索キーを受信する処理、１２０２は映像データベースから検索キーに合致する映像データを検索し、適合する映像データ、すなわち基準映像が存在するかどうかの判定処理、１２０３は基準映像の撮像位置情報を映像データベースから取得する処理、１２０４は基準映像の撮像位置情報に対する否可視領域位置を計算する処理、１２０５は関連映像条件として、否可視領域位置および日時情報を設定する処理、１２０６は関連映像条件を映像検索・合成手段に送出する処理、１３０１は被監視領域の地図、１３０２は検索条件に指定された撮像範囲、１３０３は順序付けの対象である映像が映している撮像範囲、１４０１はマルチアングル映像が表示されている入力画面、１４０１−ａは基準映像、１４０１−ｂは関連映像（１）、１４０２−ｃは関連映像（２）、１４０２は関連映像（２）１４０１−ｃを基準映像として指示する入力、１４０３は関連映像（２）１４０１−ｃを基準映像として再構成されたマルチアングル映像を表示している出力画面、１５０１はマルチアングル映像が表示されている表示画面、１５０２は表示画面に表示されている映像の情報、１５０３は表示画面に表示中の１つの関連映像を基準映像として指示する入力、１５０４は所有映像データ情報中の、指示された映像に対応する映像データ、１５０５は表示手段が関連映像条件生成手段に送出する検索キー、１６０１は表示手段、１６０２は映像データベース、１６０３は通常記録領域、１６０４は保存領域、１７０１は撮像位置情報として領域ＩＤの値を有する第１軸、１７０２は日時情報を有する第２軸、１７０３は第１軸１７０１の示す領域を、第２軸の示す日時に撮影していたカメラのカメラＩＤの集合を値としてもつ、２次元配列におけるデータ保存領域、１８０１は映像検索・合成手段、１８０２は映像データベース、１８０３はデータテーブル、１８０４はカメラ単位に映像データを記録をする通常記録領域、１８−ａは映像検索・合成手段が検索条件を送出する処理、１８−ｂはデータテーブルから検索条件で指定された撮像位置を指定された日時に撮影していたカメラの情報を取得する処理、１８−ｃはデータテーブルの情報に基づき検索キーに合致する映像を検索する処理、１８−ｄは検索条件に適合した映像を映像検索・合成手段に送出する処理、１９０１は表示端末、１９０２は映像検索手段、１９０３は映像データベース、１９０４は表示端末が映像検索手段に検索条件を送出する処理、１９０５は映像検索手段が検索条件を基に映像データベースから適合する映像を検索する処理、１９０６は映像検索手段が検索結果または適合映像を映像データベースから取得する処理、１９０７は映像検索手段が検索結果または適合映像を表示端末に送出する処理である。

Claims (12)

1. 複数の撮像装置によって撮像された映像の中から、所定の条件を満たす互いに関連した複数の映像を表示するよう処理する映像生成処理装置であって、
   前記複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶手段から、第１の所定条件に合致する基準映像の撮像位置情報を取得する撮像位置情報取得手段と、
   前記取得された撮像位置情報および前記第１の所定条件に含まれている日時情報に基づいて、関連映像条件を生成する関連映像条件生成手段と、
   前記関連映像条件を満たす関連映像を前記映像記憶手段から取得する映像取得手段と、
   を備えたことを特徴とする映像生成処理装置。
2. 前記基準映像および前記関連映像を一画面で同時に表示するよう処理する表示処理手段を備えたことを特徴とする請求の範囲第１項記載の映像生成処理装置。
3. 前記関連映像を撮像する撮像装置と前記基準映像を撮像する撮像装置とはそれぞれ異なることを特徴とする請求の範囲第１項記載の映像生成処理装置。
4. 前記関連映像条件は、前記撮像位置情報および前記日時情報を含む条件であることを特徴とする請求の範囲第３項記載の映像生成処理装置。
5. 前記関連映像条件は、前記撮像位置情報が示す位置に隣接する領域の位置情報および前記日時情報を含む条件であることを特徴とする請求の範囲第３項記載の映像生成処理装置。
6. 前記関連映像条件は、前記基準映像では撮像されていない否可視領域の位置情報および前記日時情報を含む条件であることを特徴とする請求の範囲第３項記載の映像生成処理装置。
7. 前記関連映像条件生成手段は、映像特徴空間で前記基準映像と隣接する映像の撮像位置情報を取得し、前記関連映像条件を生成することを特徴とする請求の範囲第３項記載の映像生成処理装置。
8. 前記関連映像条件生成手段は、前記基準映像の意味内容に関して関連性を有する映像の撮像位置情報を取得し、前記関連映像条件を生成することを特徴とする請求の範囲第３項記載の映像生成処理装置。
9. 前記関連映像が少なくとも２つの映像を含む場合、優先度規則に応じて各映像を順序付けることを特徴とする請求の範囲第１項記載の映像生成処理装置。
10. 前記映像記憶手段が記憶する各映像の付属情報は、撮像位置情報、日時情報および撮像装置情報を含み、
    前記映像記憶手段のデータ構造は、前記撮像位置情報を第１軸、前記日時情報を第２軸とし、所定の撮像位置情報と所定の日時情報とが交わるセルに前記所定の撮像位置を前記所定の日時に撮影していた撮像装置の情報を保存する２次元配列であることを特徴とする請求の範囲第１項記載の映像生成処理装置。
11. 複数の撮像装置によって撮像された映像の中から、所定の条件を満たす互いに関連した複数の映像を表示するよう処理する映像生成処理方法であって、
    前記複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶手段から、第１の所定条件に合致する基準映像の撮像位置情報を取得し、
    前記取得された撮像位置情報および前記第１の所定条件に含まれている日時情報に基づいて、関連映像条件を生成し、
    前記関連映像条件を満たす関連映像を前記映像記憶手段から取得することを特徴とする映像生成処理方法。
12. 複数の撮像装置によって撮像された映像および各映像の付属情報を記憶する映像記憶装置であって、
    各映像の付属情報は、撮像位置情報、日時情報および撮像装置情報を含み、
    当該映像記憶装置のデータ構造は、前記撮像位置情報を第１軸、前記日時情報を第２軸とし、所定の撮像位置情報と所定の日時情報とが交わるセルに前記所定の撮像位置を前記所定の日時に撮影していた撮像装置の情報を保存する２次元配列であることを特徴とする映像記憶装置。

Images