WO2006103744A1

WO2006103744A1 - 映像管理システム

Info

Publication number: WO2006103744A1
Application number: PCT/JP2005/005907
Authority: WO
Inventors: Seiya Shimizu; Asako Kitaura; Motoo Masui
Original assignee: Fujitsu Limited
Priority date: 2005-03-29
Filing date: 2005-03-29
Publication date: 2006-10-05
Also published as: US20080088627A1; JP4601666B2; EP1871105A4; JPWO2006103744A1; EP1871105A1

Abstract

　映像管理システムは、映像の撮影位置と撮影方向と示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形(ＭＢＲ)を、複数のサイズオーダの夫々について算出する算出部と、前記算出部によって算出された複数のサイズオーダに夫々対応するＭＢＲを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納する管理部とを備える。

Description

明細書

映像管理システム

技術分野

[0001] 本発明は、蓄積された大量の映像データの中から、特定の被写体が撮影されている映像区間を検索するための技術に関する。

背景技術

[0002] 蓄積された大量の映像データ力特定の被写体映像を抽出する方法として、幾つカゝの発明が提案されている。例えば、特許文献 1に開示された「映像検索装置及び映像検索システム」がある。

[0003] 撮影時にカメラパラメータ (画角等)と、カメラ位置座標 (緯度、経度)と、光軸方向 (パン，ティルト，ョー)と力フレーム毎の時系列メタデータとして記録される。カメラパラメ →,位置座標及び光軸方向の情報から、映像を撮影したときのビューボリューム (撮影空間)を算出することができる。

[0004] ビューボリュームは、図 20に示すように、例えば、 XY平面 (水平面)において、カメラの撮影位置に対する近接面及び遠方面を示す直線と、カメラの水平画角を規定する各直線とで囲まれた台形の領域として規定することができる。ビューボリュームは三角形の領域として規定されることもある。

[0005] 検索すべき被写体の位置がビューボリューム内にある力否かを判定することによつて、映像内に被写体が撮影されている力否かを判定することができる。この判断はフレーム毎に行うことができる。

[0006] 判定処理が 1フレーム毎に実行される場合には、検索コスト (検索時間， CPU負荷，メモリ容量等)が高くなる。このため、検索システムが実装される場合には、複数の映像サブ集合 (ショット，ファイル等)毎にビューボリュームの MBR (外接四角形： Minimum Bounding Region)力予め十算れる。

[0007] 即ち、図 21の上側に示すように、例えば、複数のショットが映像サブデータとして存在する場合には、各ショットのビューボリュームに対する外接四角形 (MBR:Minimum Bounding Region)が計算される。図 21に示す例では、 6つの映像サブデータ (ショット) があり、各映像サブデータに対するビューボリューム及び MBRが規定されている。

[0008] さらに、映像データ全体を包含する MBRとして、各映像サブデータの MBRを包含する MBR (映像サブ集合の MBR)を規定することができる。この場合、映像の検索時において、映像サブ集合の MBR内に被写体位置が存在しているカゝ否かが判断される。映像サブ集合の MBR内に被写体位置が存在しない場合には、その映像サブ集合に対する検索処理は実行されない。これによつて、検索コストの低減を図ることができる。

[0009] 映像サブ集合及びその MBRは、そのままの状態でデータベースにに格納 (例えばテーブルに格納)される。或いは、映像サブ集合及びその MBRにインデックスが付与され、 R— treeなどを用いたツリー構造で、階層的なデータ管理が行われる。例えば、図 21の下側に示すように、映像サブ集合の MBRをルートとして、これに含まれる映像サブデータの MBRがその位置に応じて分割され (ツリーの中段のノード参照)、最下位のノードとして、映像サブデータの MBRが格納される。

[0010] ツリーインデックスを用いた階層構造が採用される場合には、データの検索コストがデータ数 Nに対して 0(log(N》となる。このコストは、階層構造が採用されない場合のコスト O(N)よりも効率が良い。但し、データの追加 Z削除が行われる毎に、ツリーインデッタスの構造を作り直す必要がある。このため、データ管理コストが上昇する傾向を持つ。

[0011] ビューボリュームを基本とする映像検索では、ビューボリューム及び MBRが小さい程、検索対象の絞り込みが容易となる。このため、ビューボリュームの遠方面を検索対象とする被写体サイズに合わせてビューボリューム及び検索対象を最小にする必要がある。

[0012] 例えば、遠方面が例えば撮影位置から 10km先に設定された場合において、自動車 (数 mのサイズを持つ)が被写体 (検索対象)として検索される場合を想定する。この場合、遠方面における自動車は 1ピクセル以下で存在することになる。従って、この遠方面上の自動車の映像は、検索結果として抽出する価値を持たない。しかし、遠方面の設定条件下において、当該映像は検索結果の一つに含まれる。従って、検索結果に含まれる映像が増大する。数 mのサイズ有する自動車のような物体は、例えば lkm以下の遠方面の適用が適当である。

[0013] これに対し、遠方面が近くに設定されると、遠方面以遠の被写体は、実際に映像中に含まれていても、検索においてヒットしなくなってしまう。

[0014] 例えば、ランドマークとなるような高層ビルや山などは、映像中にぉ、て撮影位置から数 km〜数十 km先に存在していても、その存在を映像で確認することができる。このとき、遠方面が lkm以下に設定されていると、その高層ビルや山などはビューボリユームに含まれないと判断され、検索結果力漏れてしまう (図 22参照)。

[0015] このため、従来における映像検索では、以下の二つの対策を二者択一的に選択していた。

(1)検索対象のサイズを仮定して、仮定した被写体サイズに対応するビューボリュームでシステムを構築する。

(2)検索コストの増大を許容して大きめのビューボリュームを採用して検索漏れをなくす。

[0016] 従って、従来技術では、被写体サイズに対して柔軟な映像検索ができな、と、う問題点があった。

特許文献 1：特開平 11― 282851号公報

特許文献 2 :特開平 9 259130号公報

発明の開示

発明が解決しょうとする課題

[0017] 本発明の目的の一つは、適正なコストで特定の被写体が撮影されている映像を検索することができる技術を提供することである。

[0018] また、本発明の目的の一つは、特定の被写体が撮影されている映像をもれなく抽出することを可能とする技術を提供することである。

課題を解決するための手段

[0019] 本発明は、上記目的を達成するため以下の構成を採用する。

[0020] すなわち、本発明は、映像の撮影位置と撮影方向と示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形 (MBR)を、複数のサイズオーダの夫々について算出する算出手段と、前記算出手段によって算出された複数のサイズオーダに夫々対応する MBRを示すデータを、映像の撮影範囲を示すデータとして記憶装置に格納する管理手段とを備える映像管理システムである。

[0021] 本発明において、映像は、静止画及び動画を含む。動画は、複数の映像区間 (フレーム)から構成される。

[0022] 本発明によれば、複数のサイズオーダに対応する MBRが撮影範囲を示すデータとして記憶装置に格納される。このため、映像の検索時において、被写体のサイズに基づき、被写体が適正なサイズで撮影されてヽると認められる MBRのみを検索すれば、検索のコストを低減することができる。

[0023] 好ましくは、本発明による映像管理システムにおける前記算出手段は、特定サイズの被写体が一定画素サイズ以上 (例えば一画素サイズ以上)、一定画素数以上、及び一定画素サイズ又は画素数以上且つ一定画角以上のいずれかで撮影される範囲のビューボリュームを算出する。このようにすれば、利用価値の高い被写体の映像を含む映像の撮影範囲を規定するデータを作成することができる。

[0024] 好ましくは、本発明による映像管理システムにおける前記算出手段は、被写体サイズに応じて予め規定された複数のサイズオーダに夫々対応するビューボリュームの MBRを算出する。

[0025] 好ましくは、本発明による映像管理システムは、被写体の位置及びサイズが入力された場合に、前記被写体のサイズよりも大きく且つ最小のサイズオーダに対応する M BRを特定し、特定した MBRに前記被写体の位置が含まれて、る力否かを判定する検索手段をさらに備える。

[0026] このようにすれば、被写体が適正なサイズで撮影されて、ると認められる MBRのみを対象として、被写体の位置が含まれているか否かが判定される。これによつて、検索コストを抑えることができる。また、被写体が適正なサイズで撮影されていると認められる MBRが特定されることで、検索漏れを防止することができる。

[0027] 好ましくは、本発明による映像管理システムの前記算出手段は、管理対象の複数の映像に対して共通な代表サイズオーダのビューボリュームの MBRを算出するとともに、各映像に対して規定された複数のサイズオーダに夫々応じたビューボリュームの MBRを算出し、

前記管理手段は、

前記代表サイズオーダに対応する MBRで前記複数の映像を階層的に管理するためのツリー構造を決定し、

前記ツリー構造を用いて、前記ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表サイズオーダ及び前記複数のサイズオーダに応じた各 MBRを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに応じた各 MBRを示すデータで特定される各 MBRを夫々包含するサイズオーダ毎の MBRを示すデータが格納されたツリーを作成し、このツリーを記憶装置に格納する。

[0028] このようにすれば、複数のサイズオーダに応じた複数の MBRを効率的に管理することができる。代表サイズオーダは、複数のサイズオーダの一つであっても良ぐ映像に対して規定された複数のサイズオーダとは別に用意されるものであっても良い。

[0029] また、このような構成を採用すれば、映像の追加 Z削除にぉ、て、代表サイズォーダの MBRに係るツリーの改変処理を行えば良いことになる。このため、映像の追カロ /削除に係るツリーの管理コストの低減を図ることができる。

[0030] 好ましくは、本発明による映像管理システムは、任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じた MBRを検索 MBRとして決定し、前記被写体の位置を含む検索 MBRを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索 MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出する検索手段をさらに備える。

[0031] このようにすれば、代表サイズオーダを含む複数のサイズオーダの MBR中に、検索対象の被写体を含まな、MBRがあったとしても、被写体を含むと考えられる MBR が特定され、検索される。これによつて、検索漏れを防ぐことができる。

[0032] 好ましくは、本発明による映像管理システムの前記算出手段は、管理対象の複数の映像の夫々について複数のサイズオーダに応じた MBRを夫々算出し、前記管理手段は、

前記各サイズオーダに応じた MBRで前記複数の映像を階層的に管理するためのッリ一構造を前記サイズオーダ毎に決定し、

ツリー中の最下位ノードに前記算出手段で算出された複数のサイズオーダの一つに応じた MBRを示すデータが格納され、前記ツリー中の下位ノードを有する各ノ一ドに該ノードの有する全ての下位ノードで夫々管理される前記複数のサイズォーダの一つに応じた MBRのデータに応じた MBRを夫々包含する MBRを示すデータが格納されたツリーを前記サイズオーダ毎に作成し、これらのツリーを記憶装置に格納する。

[0033] このようにすれば、サイズオーダ毎に検索に適したツリーを作成することができる。

即ち、代表サイズオーダのツリーよりも適正なツリーを作成することができる。従って、被写体のサイズに応じたツリーを選択して、検索コストの適正な検索を行うことが可能となる。

[0034] 好ましくは、本発明による映像管理システムは、任意の被写体の位置及びサイズが与えられた時に、前記複数のサイズオーダの中から前記被写体のサイズより大きく且つ最小のサイズオーダを決定し、決定されたサイズオーダに対応するツリーを特定し、前記被写体の位置を含む MBRを前記特定されたツリーのルートノードから順にたどり、前記特定されたツリーの最下位ノードで検索される前記被写体の位置を含む M BRに対応する映像に係る情報を、映像検索結果の一つとして抽出する検索手段をさらに備える。

[0035] また、本発明は、映像の撮影位置と撮影方向と示すデータに基づいて算出された、複数のサイズオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形 (MBR)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段と、

検索対象の被写体の位置とサイズとが与えられた場合に、前記被写体のサイズより大きく且つ最小の前記複数のサイズオーダの一つに対応する前記記憶手段中の M BRを特定し、特定した MBR中に前記被写体の位置が含まれている場合には、その MBRに対応する映像に係るデータを、検索結果の一つとして抽出する検索手段とを備える映像検索システムである。

[0036] 好ましくは、本発明による映像検索システムの前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、

前記ツリーは、前記複数の映像に対して共通な代表サイズオーダに応じて算出された各映像に対応する MBRで決定されたツリー構造を有し、

前記ツリー中の各最下位ノードは、前記複数の映像の前記代表サイズオーダに応じた MBRと、前記複数の映像の一つに対して規定された複数のサイズオーダに応じて算出された複数の MBRとを夫々示すデータを有し、

前記ツリー中の下位ノードを有する各ノードは、該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに夫々対応する各 MBRを示すデータで特定される各 MBRを夫々包含するサイズオーダ毎の M BRを示すデータを有し、

前記検索手段は、任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じた MBRを検索 MBRとして決定し、前記被写体の位置を含む検索 MBRを前記ツリーのルートノード力順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索 MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出する。

[0037] 本願では、上述したような映像管理システム、映像検索システムと同様の特徴を有する方法の発明、プログラムの発明、プログラムを記録した記録媒体の発明を、本発明とすることができる。

発明の効果

[0038] 本発明によれば、適正なコストで特定の被写体が撮影されて、る映像を検索することがでさる。

[0039] また、本発明によれば、特定の被写体が撮影されている映像をもれなく抽出することが可能となる。

図面の簡単な説明

[0040] [図 1]複数の被写体サイズのオーダで算出した MBRの説明図である。 [図 2]代表的な被写体サイズのオーダに基づくツリー構造の決定を示す説明図である。

[図 3]ツリーの各ノードにおける、複数の被写体サイズのオーダに対する MBRの算出を示す説明図である。

[図 4]被写体サイズを指定した映像検索を示す説明図である。

[図 5]本発明の実施形態による映像管理及び検索システムの構成例を示す図である

[図 6]図 5に示した映像収集端末の構成例を示す図である。

[図 7]映像データのメタデータのリスト例 (リスト 1)を示す図である。

[図 8]図 7に示したリスト中の各メタデータを構成するパラメータを説明するテーブル（テーブル 1)を示す図である。

[図 9]ビューボリュームの計算方法の例を示す説明図である。

[図 10]映像データの MBRの計算方法の例を示す説明図である。

[図 11]遠方面距離の決定手法の例を示す説明図である。

[図 12]メタデータの管理情報を示すテーブル (テーブル 2)の説明図である。

[図 13]ツリーインデックスのデータ構造例を示す図である。

[図 14]ツリーインデックスの例を示す図である。

[図 15]各ノードにおける MBRの計算を示す図である。

[図 16]被写体サイズと代表点の説明図である。

[図 17]被写体映像検索の例を示す図である。

[図 18]検索条件入力画面の表示例を示す図である。

[図 19]検索結果表示画面の表示例を示す図である。

[図 20]ビューボリュームと MBRの説明図である。

[図 21]MBRによる階層化の例を示す図である。

[図 22]従来技術の問題点の説明図である。

符号の説明

A,B,C' . 'ビューボリューム

D1…映像データ D2-• ·メタデータ

D3- ··映像管理用メタデータ

Ml M2.M3---MBR

Nl, N2— 1，N2— 2，N3— 1〜N3-

1·· ，映像収集端末

2·· •映像検索端末

4,5 …ネットワーク

6·· •Webサーバ

7·· •DBサーバ

8·· 'ストレージ

lO- • 'PC (パーソナルコンピュータ) ll- ··カメラ

13· ··センサ

14· ··通信モジュール

15· ··外部メモリ

61· ··映像管理サーバ (算出手段）

62· ··映像配信サーバ

63· ··映像検索サーバ (検索手段）

64· ··地図配信サーバ

71· ··映像 DB (管理手段）

72· ··被写体 DB

73· ··地図 DB

81· • ·映像ストレージ

82· • ·映像メタデータストレージ

83· ··被写体情報ストレージ

84· ··地図情報ストレージ

131 ···位置計測センサ 131

132 …方位計測センサ発明を実施するための最良の形態

[0042] 以下、本発明の実施形態について図面を用いて説明する。実施形態で説明する構成は例示であり、本発明は実施形態の構成に限定されない。

[0043] 〔実施形態の概要〕

実施形態では、蓄積された映像データカゝら被写体が撮影されてヽる映像又は映像区間を同定するために、映像の撮影時における、カメラパラメータ (画角等)、カメラ位置座標 (撮影位置)、光軸方向 (パン、ティルト、ョー:撮影方向)が、メタデータとして記録される。

[0044] また、映像蓄積時に、映像が撮影されたときのビューボリューム (撮影範囲)、及びビユーボリュームに対応する MBR (外接四角形： Minimum Bounding Region)が、メタデ一タカゝら算出される。 MBRは、映像データを検索するための検索インデックスとして利用される。

[0045] ビューボリューム及び MBRのサイズは、検索すべき被写体のサイズによって異なる。このため、本実施形態では、複数の被写体サイズのオーダ (lm, 10m, 100m. . ·( 複数のサイズオーダに相当》が予め規定され、オーダ毎に算出された MBRが検索ィンデッタスとして管理される。

[0046] 被写体の検索時には、検索対象のサイズ以上かつ最小オーダの MBRが用いられ、MBRに被写体座標が含まれている映像もしくは映像区間が検索結果として出力される。

[0047] 〈複数のオーダに対するビューボリューム及び MBRの管理〉

本発明の実施形態では、撮影された映像データのメタデータを用いて、予め規定された複数の被写体サイズのオーダ (例えば、 lm, 10m, 100m,等)に対応するビュ一ボリューム (撮影空間)が計算される。さらに、各ビューボリュームに対する MBR (外接四角形)が算出される。各 MBRは、検索インデックスとして、被写体が撮影された映像の検索時に利用される。

[0048] 図 1は、複数の被写体サイズのオーダに応じて算出された MBRの説明図である。

図 1に示す例では、複数の被写体サイズのオーダに対応するビューボリューム A〜C と、ビューボリューム A〜Cに対する MBR M1,M2,M3が示されている。検索すべき被写体 (検索対象)のサイズに応じて、複数の被写体サイズのオーダが用意される。

[0049] 図 1に示す例では、複数の被写体サイズのオーダは、 lm未満の被写体 (図 1では看板 Olを例示)に対するオーダ" lm"と、数 mの被写体 (図 1では自動車 02を例示）に対するオーダ" 10m"と、数十 mの被写体 (図 1ではビル 03を例示)に対するオーダ "100m"とを含む。

[0050] 図 1には、複数のオーダ ("lm", "10m"及び" 100m")に従って算出されたビューボリューム A〜Cが示されている。オーダ" lm"に対応するビューボリューム Aは、看板 Olのみを含む。これに対し、オーダ" 10m"に対応するビューボリューム Bは、自動車 02及び看板 Olを含む。さらに、オーダ" 100m"に対応するビューボリューム Cは、看板 01、自動車 02及びビル 03を含む。

[0051] このとき、適正な (検索結果として抽出されるに好適な)サイズを有する看板 Olが、ビューボリューム A内に存在する。適正なサイズを有する自動車 02が、ビューボリューム B内に存在する。適正なサイズを有するビル 03が、ビューボリューム C内に存在する。

[0052] さらに、図 1には、各ビューボリューム A〜Cに基づいて算出された MBR M1.M2 及び M3が示されている。

[0053] 本実施形態では、図 1に示すように、複数の各オーダに対するビューボリューム及び MBR (図 1では、 3つのオーダに対するビューボリューム A及び MBR Ml、ビューボリューム B及び MBR M2、及びビューボリューム C及び MBR M3)が、映像データの撮影範囲を規定するデータとして作成 (算出)される。このように、一つの映像データについて、その撮影範囲を多段階に示す複数のデータが作成、管理される。特に、各オーダに応じた MBR (図 1では MBR M1,M2,M3)は、検索対象の被写体を含む映像データを検索するための検索インデックスとして使用される。

[0054] ここに、映像データが静止画の場合には、各オーダに応じた静止画のビューボリュームが計算され、各ビューボリュームに対応する MBRが算出される。

[0055] これに対し、映像データが動画の場合には、例えば、各オーダに対応するビューボリューム力フレーム毎に算出される。そして、オーダ毎に、各フレームのビューボリュームの全てを含む外接四角形力 MBRとして算出される。 [0056] 本実施形態は、映像データ (データ D1)について、この映像データ (データ D1)に対するメタデータ (データ D2)力複数のオーダに対応するビューボリューム及び MBR( データ D3)を夫々算出し、データ D3を映像データ (データ D1)の検索のために管理することを特徴とする。

[0057] 〈ツリー構造の決定、 MBRの算出〉

データ D3(ビューボリューム及び MBR:映像検索用メタデータ)の管理に際しては、次の構成を採用することができる。すなわち、代表被写体サイズのオーダ (代表ォーダ)が映像データに対して規定され、この代表オーダについて算出される MBRを用いて、映像データのツリーインデックスが作成される。代表オーダは、映像データに対して規定される複数のオーダ力任意に選択可能な一つのオーダである。

[0058] ツリーインデックスの作成は、（1)ツリー構造の決定、及び (2)ツリーを構成する各ノードに対する MBR値の計算、力もなる 2段階のステップで実行することができる。

[0059] 図 2は、代表的な被写体サイズのオーダに基づくツリー構造の決定 (上記ステップ (1 》を示す説明図である。図 3は、ツリーの各ノードにおける、複数の被写体サイズのォーダに対する MBR値の算出 (上記ステップ (2))を示す説明図である。

[0060] 図 2に示すツリー構造の決定の前提として、検索対象の各映像データ (図 2では、 6 つの映像データ (記録単位)が例示される)につ、て、代表オーダに対するビューボリユーム及び MBR値が算出される。

[0061] 図 2に示す例では、代表オーダとして、 "10m"が規定されており、代表オーダ" 10 m"に対応する各映像データのビューボリューム及び MBRが算出されている。

[0062] ツリー構造の決定は、代表オーダの MBRの重なりや距離等に基づいて実行される。このとき、近傍の代表オーダの MBRが同じノードの子になるように、 MBRが分配される。図 2に示す例では、 6つの映像データに対して作成された 3階層のツリー構造が示されている。

[0063] このツリー構造では、 6つの映像データに対する代表オーダのビューボリューム及び MBRについて、最上位層 (ルート)にノード N1が形成され、ノード N1の下位に、第 2層に属するノード N2— 1及び N2— 2が形成され、各ノード N2 - 1及び N2— 2の下位に、第 3層 (最下位層)のノード N3— 1〜N3— 6が形成されている。 [0064] このツリー構造は、各映像データ (MBR)間の距離や重なりが考慮されるとともに、一つのノードに含まれる子ノードの数に偏りが発生しな、ように作成されて、る。

[0065] その結果、このツリー構造では、 3つの子ノードを夫々包含する 2つの中間ノード N 2— 1及び N2— 2が作成され、 2つの中間ノード N2— 1及び N2— 2を包含するルートノード N1が作成されている。このようにして、映像データのツリーインデックスのッリ一構造が、代表オーダの MBRに基づ、て作成される。

[0066] ツリー構造が決定された後、各オーダのノードの MBR値が算出される。即ち、図 3 に示すように、最下位のノード (N3— 1〜N3— 6)に対し、予め規定された複数のォーダ (代表オーダを除く)に対応するビューボリューム及び MBRが夫々算出される。

[0067] 例えば、複数のオーダが" lm", "10m", "100m"である場合に、代表オーダが" 10 m"であれば、残りのオーダ" lm"及び" 100m"に対するビューボリューム及び MBR が計算される。算出された複数のオーダに対応するビューボリューム及び MBRの値は、各最下位ノード (N3 - 1〜N3 - 6)に格納することができる。

[0068] 次に、子ノードを有するノード (図 3では、ノード N1,N2— 1及び N2— 2)では、そのノードの下位に存在する全てのノードに夫々格納された各オーダの MBRを包含する MBRの値力オーダ毎に算出され、当該ノードに格納される。

[0069] 例えば、ノード N2— 1に着目すると、ノード N2— 1は、下位ノードとして、ノード N3 — 1〜Ν3— 3を持つ。各ノードN3— 1〜N3— 3は、オーダ" lm，，,"10m，，及び" 100 m"に対応する MBRの値を夫々有して!/、る。

[0070] そこで、ノード N2—1について、ノードN3— l〜N3— 3が有するォーダ"lm"のM BRの全てを包含する MBRの値と、ノードN3— l〜N3— 3が有するォーダ"10m"の MBRの全てを包含する MBRの値と、ノードN3— 1〜N3— 3が有するォーダ"100 m"の MBRの全てを包含する MBRの値と、が算出される。算出された 3つの MBRの値は、ノード N2— 1に格納される。

[0071] このような MBR値の算出処理力全ての上位ノード (N2— 2, N1)について実行される。その結果、最上位ノード (ルートノード:ノード N1)は、当該ツリーに包含される全ての映像データのビューボリュームを包含するオーダ毎の MBRの値を有する状態となる。 [0072] 本実施形態では、代表オーダの MBRでツリー構造が決定され、子ノードを持つ各ノードにっ、て、そのノードの全ての子ノードが有する MBRを包含する MBR値が、オーダ毎に算出され、算出されたオーダ毎の MBR値が各ノードに格納される。各ノードが持つ MBR値は、映像 (被写体)検索のためのインデックスとして利用される。

[0073] 〈映像検索〉

図 4は、被写体サイズを指定した映像検索を示す説明図である。映像検索時には、検索すべき被写体の位置及びサイズが指定される。このとき、指定された被写体サイズより大きい最小オーダの MBRが選択 (決定)される。

[0074] その後、指定された被写体位置に基づ、て、ツリーインデックスのルートノードと、選択されたオーダの MBRに被写体位置が包含されて、るノードとが検索される。最終的に、検索すべき被写体を含むビューボリュームの MBRが発見される。発見された MBRに対応する映像データは、検索結果に含められる。

[0075] 図 4に示す例では、検索すべき被写体として、被写体サイズ 80mのビル 03が指定されている。この場合、被写体サイズよりも大きぐ且つ最小のオーダとして、オーダ" 100m"が検索オーダとして決定される。

[0076] そして、被写体位置 (ビルの位置)が含まれる MBRがルートノード力順に検索される。この例では、ノード Nl→ノード N2—l→ノード N3— 2の順で、検索オーダに対応する MBRが検索される。最終的に、ノード N3— 2のオーダ" 100m"に対応する MB R力 Sヒットする。これに従って、ヒットした MBRに対応する映像データ力検索結果の一つに含められる。

[0077] なお、検索結果の映像データに対して、更に詳細なビューボリューム包含判定 (映像データのビューボリューム中に被写体が含まれて、る力否かの判定)を行うこともできる。このような、厳密な被写体の包含判定が実行されるようにしても良い。

[0078] 図 1〜4を用いて説明したような構成を採用する場合には、以下の利点がある。

[0079] 〈1〉検索対象 (被写体)のサイズに応じたオーダを複数のオーダ力も決定することができる。これによつて、検索対象が含まれていない、又は検索対象が含まれていてもその利用価値が低、と考えられるオーダ (の MBR)を、検索範囲力も外すことができる [0080] 〈2〉検索対象のサイズよりも大き!/、オーダが、検索オーダとして決定される。映像データに対して用意された複数のオーダに対応する複数の MBRが検索対象と一致する物体を含まなヽ MBRを含んで、ても、検索対象のサイズより大き!/、オーダが決定されることで、検索漏れを防ぐことができる。

[0081] 例えば、図 4に示した例では、ビル 03がオーダ" lm"の MBRに含まれていなくても、この上位オーダに相当するオーダ" 100m"の MBRでビル 03が包含されているか否かが判定される。このため、検索対象の取りこぼしが生じない。

[0082] 〈3〉また、検索対象のサイズよりも大き!/、最小のオーダが、検索オーダとして決定される。これによつて、検索対象が適正な (利用価値の高い)大きさで撮影されていると考えられるオーダで、映像検索を行うことができる。これによつて、検索範囲の拡大抑制と、検索結果の適正化とを図ることができる。

[0083] 〈4〉また、複数のオーダを用意することで、検索時において、無限に拡大した MBR で包含チェックをすることを防ぐことができる。

[0084] 〈5〉さらに、上述したツリー構造の作成手法によれば、映像データの追加 Z削除に応じてツリーインデックスに改変をカ卩える場合には、代表オーダについてのみ、追カロ Z削除に係る構造ィ匕処理 (ツリー構造の改変処理)を行えば良い。

[0085] 従って、ツリー構造ィ匕のためのコストを従来手法と同様の程度に抑えることができる

。従って、多種多様なサイズの被写体を取り扱うことができる柔軟な映像検索システムの構築が可能となる。

[0086] なお、代表オーダは、固定のオーダに定める必要はなぐ映像データ (ツリー)毎に異なる代表オーダを採用しても良い。例えば、映像の代表被写体サイズのオーダを撮影者が明示的に入力し、メタデータとして記録して利用しても良、。

[0087] 或、は、被写体距離をセンサや画像処理により求め、被写体を含む最小のビューボリュームとなる被写体サイズのオーダを代表オーダとして採用しても良、。

[0088] どちらの場合も映像データ毎に異なる撮影対象によって、異なるオーダが代表ォーダとして採用されることになる。検索頻度が高、と認められるオーダが代表オーダに採用されることで、被写体映像にヒットしやす、ツリーインデックスを構築することができる。 [0089] 以上の概要は、複数の映像データからなる映像データ集合をツリー構造化する場合について説明した。これに代えて、映像ファイルを更にフレーム、複数のフレーム集合であるショットなどの映像サブセットに分割し、映像サブセット毎にビューボリユームと MBRを算出しても、同様の手法を適用することができる。

[0090] 本発明の特徴及び実装については以下の実施形態によってさらに詳細に説明する。

[0091] 〔実施形態〕

Webベースの映像蓄積検索システムを元に本発明の実施形態を説明する。ここに述べるシステムは、多数の映像収集端末によって収集された大量のメタデータ付き映像をサーバに蓄積し、ノックエンドの映像検索端末と映像検索サーバによって、指定された被写体の写っている映像を検索、表示する。

[0092] 映像収集端末として、カメラ付きの携帯電話，モパイルパソコン (mobile Personal computer with camera), PDA(Personal Digital Assistants)や、通信機能付きのテイジタルカメラ Zディジタルビデオカメラなどを想定することができる。

[0093] 図 5は、実施形態における映像検索システムの構成例を示す図である。図 5において、システムは、映像収集端末 1,映像検索端末 2,運用管理端末 3,ネットワーク 4, ネットワーク 5, Webサーバ 6, DB(database)サーバ 7,ストレージ (記憶手段) 8から構成される。

[0094] Webサーバ 6, DBサーバ 7,及びストレージ 8は、 CPU等のプロセッサ，記憶装置（メモリ (ROM,RAM),ハードディスク等)，入出力インタフェース (IZO),通信インタフエ一ス等を有する情報処理装置 (コンピュータ)を用いて構成することができる。

[0095] Webサーバ 6を構成するコンピュータは、記憶装置に格納されたプログラムをプロセッサが実行することによって、映像管理サーバ 61,映像配信サーバ 62,映像検索サーバ 63,地図配信サーバ 64を実現する装置として機能する。

[0096] また、 DBサーバ 7を構成するコンピュータは、記憶装置に格納されたプログラムをプロセッサが実行することによって、映像 DB71,被写体 DB72,地図 DB73を有する装置として機能する。

[0097] さらに、ストレージ 8を構成するコンピュータは、記憶装置に格納されたプログラムの実行によって、記憶装置上に映像ストレージ 81,映像メタデータストレージ 82,被写体情報ストレージ 83及び地図情報ストレージ 84を有する装置として機能する。もっとも、ストレージ 8は、 DBサーバ 7を構成するコンピュータが備える、又は管理可能な記憶装置を用いて構成することが可能である。

[0098] 以下、各部の動作と実装とについて説明する。

[0099] 〈映像収集端末〉

図 6は、図 5に示した映像収集端末 1の構成例を示す図である。図 6において、映像収集端末 1は、カメラ 11により静止画又は動画映像を撮影して映像データ D1に変換する。

[0100] また、映像収集端末 1は、撮影時におけるセンサ 13からのセンサ情報をメタデータ D2として記録する。さらに、映像収集端末 1は、通信モジュール 14によってネットヮーク 4経由で Webサーバ 6に映像データ D1及びメタデータ D2を送信する。

[0101] センサ 13は、少なくとも位置計測センサ 131と方位計測センサ 132とを含む。位置計測センサ 131として、例えば GPS (Global Positioning System)が適用される。方位計測センサ 132として、例えば電子コンパスが適用される。但し、位置計測センサ 13 1及び方位計測センサ 132は、他の手段やセンサによる実装であってもよい。

[0102] 図 7は、位置計測センサ 131と方位計測センサ 132とによるメタデータ D2の一例を示すリスト (リスト 1)である。図 8は、リスト 1に示された各パラメータの説明を示すテープル (テーブル 1)を示す図である。

[0103] 図 7に示すメタデータ D2のリストの各行は、所定の記録単位 (例えば 2秒毎)毎に作成 (撮影)された映像データ (例えば、静止画、フレーム)に対する各パラメータ (図 8)の内容を示す。即ち、映像データ D1は、記録単位毎に作成され、各映像データに対するメタデータ D2が作成される。

[0104] なお、センサ 13は、カメラ 11のズームを検知し、撮影時の画角を記録する画角センサ 133や、カメラ 11の撮影位置から被写体までの距離を計測する被写体距離計測センサ 134などをさらに含むことができる。この場合、画角センサ 133や被写体距離計測センサ 134の計測結果力タデータ D2に記録されるように構成することができる [0105] Webサーバ 6への送信はストリーミング等によるリアルタイム送信を適用することができる。或いは、映像収集端末 1に蓄積された映像データ D1及びメタデータ D2を電子メールに添付して送る方式を適用することもできる。また、メタデータ D2が映像データ D1の通信経路と異なる通信経路を通じて送信される構成を適用することもできる。

[0106] 映像データ D1とメタデータ D2は、図 6に示すように、個別のデータとして作成可能である。これに対し、静止画の EXIF(Exchangeable image file format for Digital Still Camera)ファイルのように、映像データフォーマット中にメタデータ D2が含まれる形式を適用することちできる。

[0107] また、メタデータ D2は、映像データ D1の音声トラック，映像トラック，もしくはメタデータ専用トラックに書き込まれる形態で映像データ D1と一体化される構成を適用することちでさる。

[0108] また、映像データ D1及びメタデータ D2を通信モジュール 14によって送信することに代えて、次の構成を適用することができる。例えば、図 6に示すように、映像データ D1及びメタデータ D2を SDカードやメモリスティックのような外部メモリ 15に蓄積しておく。その後、オフラインで PC(Personal Computer)10に外部メモリ 15を接続し、 PC1 0が接続されたネットワーク 4を通じて Webサーバ 6に映像データ D1及びメタデータ D2を送信する。

[0109] 〈映像管理サーバ〉

図 6に戻って、映像管理サーバ 61は、 Webサーバ 6の一部を構成する。映像管理サーバ 61は、 DBサーバ 7を構成する映像 DB71との連携により、映像ストレージ 81 に映像データ D 1を格納する。

[0110] また、映像管理サーバ 61は、メタデータ D2に基づいて映像データの映像撮影範囲に関するメタデータを算出し (算出手段に相当)、映像 DB71との連携において、映像メタデータストレージ 82にメタデータ D2と、算出された映像撮影範囲に関するメタデータを格納する (管理手段に相当)。

[0111] すなわち、映像管理サーバ 61は、映像データ D1とメタデータ D2とを映像収集端末 1から受け取ると、映像データ D1を、映像 DB71を介して映像ストレージ 81に格納する。更にメタデータ D2より測定時間 (記録単位)ごとの映像のビューボリュームを計算し、その外接四角形となる MBRを求める。

[0112] 《ビューボリューム及び MBRの算出》

以下、映像管理サーバ 61によるビューボリューム及び MBRの算出方法について説明する。図 9は、ビューボリュームの計算例の説明図であり、図 10は、映像データの MBRの説明図であり、図 11は、遠方面距離の決定方法の例を示す説明図であり、図 12は、メタデータ D2に基づいて作成されるメタデータ D3のパラメータを示す図である。

[0113] (A)被写体サイズが固定の場合

最初に、被写体サイズが固定の場合におけるビューボリューム及び MBRの算出について説明する。計算の簡略化のため、ビューボリュームの計算は、緯度及び経度による座標系ではなぐ平面に近似してユークリッド座標系で行われる（図 9)。

[0114] 座標系の基準原点は、東京近辺であれば、北緯 36度 0分 0秒、東経 139度 50分 0 秒（国土交通省の告示による IX系の原点緯度経度)などに設定される。但し、撮影範囲が特定の位置であったり、屋内で基準原点をローカルに設定したりする場合には、任意の原点を採用することができる。

[0115] 基準原点に対する映像撮影位置の変位量を (x,y)(単位 [m])、光軸方向を Θ (単位 [rad])、映像を撮影したカメラの水平画角を Δ (単位 [rad])、撮影可能な近接面距離

H

を d (単位 [m])、遠方面距離を d (単位 [m])とする。

near far

[0116] この場合、ビューボリュームは、以下の式 1· 1〜1· 4で算出される Ρν , Ρν , Ρν , Ρ

1 2 3 νを 4頂点とする凸形状 (台形)として求めることができる。

4

[0117] 式 1. 1は、ビューボリュームの頂点 Ρνの算出式であり、式 1. 2は、ビューボリューム

1

の頂点 Ρνの算出式であり、式 1. 3は、ビューボリュームの頂点 Ρνの算出式であり、

2 3 式 1. 4は、ビューボリュームの頂点 Ρνの算出式である。

4

[0118] 一方、 MBRは、ビューボリュームを構成する 4点の X値の最大値 (MBR )と最小

Right 値 (MBR ；)、 Y値の最小値 (MBR )と最大値 (MBR )で定義することができる（

Left Bottom Top

式 2)。式 2は、単一のビューボリュームの MBRの算出式である。

[0119] [数 1] x + d for sin Θ - cos θ tan

Pv x 2

, = 式 1.

Pv_vy

y + d cos ^ + sin ^ tan Λ

2

[0120] [数 2]

x + d far sin Θ + cos Θ tan

Pv₂.x 2

式 1. 2 y + ^dfar cos^-sin^tan

2

[0121] [数 3]

尸 v₃ = 式 1. 3

[0122] [数 4] 式 1. 4

[0123] [数 5]

MBR =匿一式 2

歷

MBR_Top

式 1. 1〜1. 4、及び式 2を用いて、メタデータ D2の 1記録単位（リスト 1の 1行に相当）あたりの MBRを算出することができる。映像データ全体の MBRは、算出された個々の 1記録単位あたりの MBRを全て包含する外接四角形 (MBR)として算出することができる（図 10参照)。

[0124] 図 10に示す例では、複数の映像データの MBRの X値の最大値及び最小値、 Y値の最大値及び最小値を夫々一辺とする MBRが、映像データ全体の MBRとして規定されている。

[0125] (B)被写体サイズを指定した場合における MBR算出

次に、被写体サイズが指定された場合における MBRの算出について説明する。

[0126] M個の映像データが Dlm (m= l, 2, · · · , M)で規定され、 S個の被写体サイズが

O (s= l, 2, · · · , S)で規定されるとき、 Dimかつ Oの MBRを MBR(m,s)と記述す s s

る。このとき、 MBR(m,s)は、遠方面距離 d が異なるだけで、被写体サイズ固定の場 far

合と同様の手法で算出することができる。

[0127] 遠方面距離 d は、図 11に示すように、被写体サイズ Oの物体の映像中における far 5

認識限界となるピクセル数 Tと焦点距離 fとで定義される (式 3)。式 3は、遠方面距離 d

h

の算出式である。

far

[0128] [数 6] dfar - ^ · · ·式 3 ここで、焦点距離 fは、映像を撮影したカメラの光学系に依存する。メタデータとして水平画角 Δ も記録される場合には、水平画角 Δ より焦点距離 fを随時計算すること

H H

で、ズームや接写に対応した遠方面距離 d を算出することができる。このように、本 far

実施形態では、ピクセル数 Tを規定することで、一定画素数以上 (例えば、一画素以

h

上)又は一定画素サイズ以上で撮影される被写体を考慮した遠方面距離を規定することができる。また、一定画素数又は画素サイズ以上で且つ一定画角以上で被写体が撮影された遠方面距離を規定することができる。

[0129] 被写体サイズ Oとして、映像蓄積検索システムが扱う可能性のある複数の被写体サイズ (オーダ)が設定される。このとき、複数の被写体サイズが網羅的に設定されるのが好ましい。

[0130] 映像データ Dimについて代表被写体サイズを決定し、その MBR (代表被写体ォーダ (サイ )に対する MBR)を、以下の数 7のように規定する。

[0131] [数 7]

MBR(m) - . - (代表被写体オーダに対する MB R) 《代表被写体サイズの決定》

メタデータ記録単位ごとの代表被写体サイズは、次の方法 (a)又は (b)を用いて決定することができる。

(a)撮影時に明示的にメタデータに被写体サイズを記述する。

(b)レーザレンジファインダなどの測距センサで撮影位置力被写体までの距離を計測しておき、その距離以遠の遠方面となる被写体サイズを採用する。

[0132] 映像データの代表被写体サイズは、例えば、全ての記録単位で最も多く採用された被写体サイズを用いて決定することができる。

[0133] 以上の処理により、映像管理サーバ 61は、メタデータ D2に加え、被写体オーダごとの MBR(MBR(m,s))と、代表被写体オーダに対する MBR (数 7)とを生成する。

[0134] 映像管理サーバ 61は、映像ストレージ 81に格納された映像データ Dimを特定する URL(Uniform Resource Locator)又は ID(identification)を有する映像管理用メタデータ D3 (テーブル 2：図 12参照）を生成し、映像 DB71に登録する。

[0135] 上述した映像管理サーバ 61による処理は、映像管理サーバ 61を実現するコンビュータにおいて、そのコンピュータが備えるプロセッサ力メモリに記憶されたプログラムを実行すること〖こよって実現される。

[0136] 上述したビューボリューム及び MBR等を実行するためのデータ (算出式のデータ等 )や、代表オーダを決定するためのデータは、映像管理サーバ 61を実現するコンビュータ上に予め記憶されており、メタデータ D2に含まれる情報をパラメータとしてビューボリューム及び MBRの算出や、代表オーダの決定が実行される。 [0137] 〈映像 DB71〉

DBサーバ 7の映像 DB71は、メタデータ D3を映像メタデータストレージ 82に登録する。また、映像 DB71は、映像メタデータストレージ 82中のメタデータ D3を高速に検索するために MBRを用いてメタデータ D3の検索インデックスを作成する (管理手段に相当)。

[0138] 《検索インデックスの作成方法》

検索インデックスは、特定の位置座標 (被写体位置座標）を包含する MBRを持つメタデータ D3を高速に抽出するために使用される。このため、検索インデックスは、ッリ一構造を持つのが妥当である。

[0139] ツリー構造に求められる性質は、 [1]重複度合いの高い MBRはできるだけ同じノードの子に分配されること、 [2]特定のノードに子ノードが集中しないこと、 [3]リーフノードの深さが均一な平衡木（Balanced Tree)であることなどである。

[0140] [1]〜[3]の条件を満たすツリー構造を決定するアルゴリズムとして R-treeや、その改良型である R*-treeなどがある。これらのアルゴリズムを実装することで、ツリー構造を作成することができる（各アルゴリズムにつ、てはここでは言及しな!、)。

[0141] なお、 R-treeや、 R*-treeは、下記の文献にて開示されている。

[0142] [Guttman, A. R— Trees: A Dynamic Index Structure for bpatiai Searching. Proc of the 1984 ACM SIGMOD Int'l Conf on Mgmt of Data, 45—57.]

図 13は、生成されるツリーインデックスのデータ構造を示す。データは、ツリーのノード (ルートノードを含む）を格納するためのノードデータクラス（CNode)、子ノードへのポインタを格納するノードエントリクラス（CNodeEntry)と、メタデータ（CMeta)へのポインタを格納するリーフエントリクラス (CLeaffintry)カゝら構成される。各ノードは最大 M個、最小 m個の子ノードを持つ。但し、例外的にルートノードのみ最小 1個の子ノードを持つことができる。

[0143] CNodeEntry, CLeaffintry, CMetaはそれぞれ（S + 1)個の配列で被写体オーダごとの MBRを格納することができる。配列要素のうち 1番目は代表オーダの MBRを格納する。

[0144] 図 14は、代表オーダの MBRに対して R-tree等のアルゴリズムを適用することで生成したツリーインデックス例を示す図である。 R-treeを利用した場合、 MBRの 1番目の配列要素（代表オーダの MBR)のみツリーインデックス作成時に算出済みである。

[0145] 本実施形態では、ツリー構造決定後に他の MBRの配列要素についても値を算出して格納する。 MBRの算出は、ツリーインデックスの末端からルート方向に MBRを伝播させることで行う（図 15参照)。

[0146] 即ち、メタデータの MBRがリーフエントリの MBRにコピーされる (図 15 : [1])。次に、リーフエントリの MBRの OR領域 (下位の MBRを含む MBR値 (MBRを示すデータ》がその上位のノードエントリの MBR値として格納される (図 15 : [2])。さらに、ノードエントリの MBRの OR領域 (下位の MBRを含む MBR値)がその上位のノードエントリの MBR値として格納される (図 15 : [3])。 [3]の処理は、ルートノードまで繰り返し実行される。

[0147] 上述した処理によって、各ノードエントリには、そのノードの配下の全ての下位ノードの各オーダの MBRを全て包含する各オーダの MBR値力検索インデックスとして格糸内されること〖こなる。

[0148] 以上の処理によりメタデータ検索用のツリーインデックスを作成することができる。映像データの追加 Z削除が行われる場合には、代表オーダにしたがって必要に応じてツリー構造の変更が行われる。そして、ツリーインデックス作成時と同様に、 MBR伝播による MBR値の算出が行われる。

[0149] 映像 DB71への映像データの追加 Z削除処理コストを下げるためには、上述したような、代表オーダ MBRによる 1つのインデックスツリーでの映像管理が有効である。但し、代表オーダ以外の MBRでは最適な検索のためのツリー構造になって、なヽ可能性がある。

[0150] このため、 DBのメンテナンスコストよりも検索時の効率を重視する場合は、 S個のォーダごとに用意された S個のインデックスツリーを生成し、指定されたオーダに応じて選択的にインデックスツリーの一つを使用するように構成することができる。

[0151] 上述した映像 DB71による処理は、映像管理サーバ 61を実現するコンピュータにおいて、そのコンピュータが備えるプロセッサカモリに記憶されたプログラムを実行すること〖こよって実現される。作成された検索用のインデックスツリーは、例えば、映像 DB71が保持していても良ぐメタデータ D3とともに映像メタデータストレージ 82に格納されるようにしても良い。

[0152] 〈被写体映像検索〉

次に、ツリーインデックスを使った被写体映像検索について説明する。映像検索のためのクエリとしては、被写体のサイズと被写体の代表点位置 (座標値）が必要である

。図 16は、被写体サイズと代表点の説明図である。

[0153] 被写体サイズは、検索対象の被写体の大きさを示す目安になる数値である。被写体サイズは、被写体に応じて決定される尺度である。例えば、被写体が高層ビルである場合には、ビルの高さが被写体サイズとして決定される。被写体が自動車である場合には、例えば、自動車の全長が被写体サイズとして決定される。

[0154] 被写体の代表点は、映像中にその点が撮影されていればその被写体が撮影されたと判断できる点である。 1以上の任意の点を代表点として決定することができる。或いは、被写体を網羅的に表現できる数の代表点を用意することができる。

[0155] 代表点は被写体の形状に基づき、人手 (マニュアル)で生成することができる。或、は、被写体形状をメッシュ分割するなどの手法で代表点が自動的に生成される構成を適用することちできる。

[0156] 検索時において指定される被写体サイズが Q で規定される場合、 Q ≤0を満

size size s たす最小の被写体サイズオーダ Oが決定される。 Oによって算出された MBRが映像検索に用いられる。

[0157] 検索は、インデックスツリーをルートからリーフへ探索していくことによって行われる。

探索のゴールは、 MBR[s]属性 (Oの MBR)が代表点位置 Q を包含するメタデ

s location

ータを全て抽出することである。但し、複数の代表点位置 Q が存在する場合には

location

、複数の代表点位置 Q の一部又は全部を含むメタデータを全て抽出することを

location

ゴールに設定することができる。或、は、複数の代表点位置代表点位置 Q 中の

location 一定以上の個数を含むメタデータを全て抽出することをゴールとして設定することもできる。

[0158] メタデータの探索は、図 17に示すように、縦型探索により行われる。探索が上位のノード（あるいはルート）から下位のノードへ進む場合、エントリ（CNodeEntry)中の M BR[s]属性が参照され、 Q CMBR[s]となる場合にのみ、下位ノードが探索対象

location

になる。これによつて、無駄な探索を省くことができる。探索がリーフエントリ（ CLeaffintry)に進んだとき、リーフエントリの MBR[s]属性に関して Q CMBR[s]

location

が成立する場合には、 meta属性が示すメタデータ（CMeta)の idが検索結果として記録 (抽出)される。

[0159] 以上説明したような被写体検索機能は映像検索サーバ 63(図 5)に実装される。映像検索サーバ 63による処理は、映像検索サーバ 63を実現するコンピュータにおいて、そのコンピュータが備えるプロセッサ力 Sメモリに記憶されたプログラムを実行することによって実現される。

[0160] 映像検索サーバ 63は、映像 DB71に検索を依頼し、映像 DB71による検索処理の結果 (ヒットしたメタデータ D3)を受け取る。或いは、映像検索サーバ 63が、直接的に検索インデックスツリーを参照し、対応するメタデータ D3を映像メタデータストレージ 82から取得するようにしても良、。

[0161] 〈映像検索サービスの実現方法〉

次に、図 5に示した映像検索端末 2と映像検索サーバ 63の連携による映像検索サ一ビスの実現方法につ、て説明する。

[0162] 映像検索端末 2は、 PCと Webブラウザによって実現することができる。或いは、映像検索端末 2は、専用ソフトもしくは専用端末によって実現することもできる。

[0163] 図 18は、 PCと Webブラウザで実現される映像検索端末 2で表示される検索条件入力画面の一例を示す図である。図 18において、検索条件入力画面は、 HTMLと Java (登録商標） Scriptにより作成されている。検索条件入力画面は、地図配信サーノ 64(図 5)力もネットワーク 5を通じて取得される地図情報 (地図 DB73により管理され、地図情報ストレージ 84に格納されている)を表示するとともに、 3種類の被写体指定手段を提供する。

[0164] 第 1の被写体指定手段 (被写体指定手段 1)は、地図表示領域上でマウス等のボインティングデバイスを用いて被写体を指定する手段をユーザに提供する。このとき、ユーザは、複数の代表点を地図上で指定入力することができる。或いは、ユーザが、矩形や多角形で規定された地図上の所定範囲を指定すると、矩形や多角形に包含される被写体の頂点等の形状特徴点が代表点として決定される構成を採用することちでさる。

[0165] 地図上の代表点が特定 (入力)されると、映像検索端末 2は、地図上のピクセル座標を Java (登録商標） Scriptにより実空間における座標値に変換して映像検索のクエリとする。また、映像検索端末 2は、代表点より被写体のサイズを算出し、これもまた映像検索のクエリとする。例えば代表点のうち最も離れている 2点の距離がサイズとして利用される。

[0166] 第 2の被写体指定手段 (被写体指定手段 2)は、被写体の代表点座標値を直接指定する手段をユーザに提供する。例えば、図 18に示すように、検索画面に設けられた緯度及び経度の入力欄に、所望の被写体の位置を代表点として入力する。複数の代表点が入力された場合には、映像検索端末 2は、被写体指定手段 1と同様にして被写体サイズを決定する。指定座標力点の場合には、おおよその被写体サイズが直接入力される。被写体指定手段 2は、既に座標値がわかっている被写体を検索する場合に用いられる。

[0167] 第 3の被写体指定手段 (被写体指定手段 3)は、固有名詞で被写体を指定する手段をユーザに提供する。ランドマーク等、検索が頻繁に行われる被写体については、被写体 DB72(図 5)で被写体代表点と被写体サイズとが管理されている (被写体代表点及び被写体サイズは、被写体情報ストレージ 83に格納されてヽる)。

[0168] 検索画面に設けられた被写体名の入力欄に被写体の固有名詞を入力することで、ユーザは被写体を指定することができる。この場合には、映像検索端末 2から映像検索サーバ 63(図 5)へ被写体名が通知され、映像検索サーバ 63が被写体 DB72にァクセスして、被写体名称を被写体指定手段 1、 2と同様のクエリに置換して検索処理が行われる。

[0169] 被写体指定が確定したら実行ボタンをクリックすると、被写体指定情報 (映像検索のクエリ (代表点位置、被写体サイ )、又は被写体名称)が、映像検索サーバ 63にネットワーク 5を通じて送信される。映像検索サーバ 63は、代表点位置及び被写体サイズに基づき、上述した被写体検索機能により該当被写体の映像を検索し、検索結果を映像検索端末 2に返信する (検索手段に相当)。 [0170] これは、映像検索サーバ 63を CGI(Common Gateway Interface)プログラムにより構成することで容易に実現でき、検索クエリは CGIプログラムへの引数に、検索結果の返信は検索結果をリストとして表示する HTMLデータとなる。

[0171] この例では、映像検索サーバ 63が検索クエリを受け取ると、映像 DB71に対し、検索クエリに対応するメタデータ D3の検索を依頼する。映像 DB71は、自身が保持又は映像メタデータストレージ 82に格納された検索インデックスツリーを用いて、ヒットしたメタデータ D3を、映像検索サーバ 63に引き渡す。映像検索サーバ 63は、ヒットしたメタデータ D3を含む HTMLデータを作成し、映像検索端末 2に返信する。

[0172] 映像検索端末 2にて、 HTMLデータに基づ、て、検索結果の HTML画面が表示される。このとき、映像検索端末 2の webブラウザは、 HTMLデータ中の URLに基づいて、映像配信サーバ 62に、映像配信要求を出し、映像配信サーバ 62は、映像ストレージ 81から対応する画像データ (サムネイル等)を読み出して、映像検索端末 2〖こ供給する。

[0173] 図 19は、検索結果の HTML画面の表示例を示す図である。検索された映像は表形式で表示され、左側にサムネイル静止画、右側にメタデータが表示される。サムネィル静止画には該当映像を表示するためのリンクが付けられており、画面をクリックすると Windows (登録商標） Media Playerのような映像再生ソフトが起動して映像を確認できる。

[0174] 即ち、映像の再生要求が映像収集端末 2からネットワーク 5を通じて映像配信サーバ 62に与えられ、映像配信サーバ 62が映像ストレージ 81から、再生要求に対応する映像データを読み出し、ストリームデータとして映像検索端末 2に与える。映像再生ソフトは、受信されたストリームデータを用いて、映像を再生する。

[0175] 〈運用管理端末〉

なお、図 5に示す運用管理端末 3は、被写体 DB72及び被写体情報ストレージ 83、地図 DB73及び地図情報ストレージ 84にアクセスして、被写体情報と地図情報の管理を行う。

[0176] ぐ変形例〉

以上の説明はビューボリューム及び MBRを 2次元平面上で説明した力 3次元空間上においても同様の機能及び効能があるのは自明である。 3次元空間の場合、ビユーボリュームは台形形状力四角錐台形状となり、 MBRは四角錐台を包含する直方体となる。

[0177] なお、上述した実施形態では、 MBRとインデックスツリーによる検索により被写体が撮影されている映像データが抽出される。但し、ビューボリューム中に厳密に被写体が包含されることを保障するものではな、。

[0178] なぜなら、 MBRはビューボリュームを包含する四角形にすぎないため、 MBR中であってもビューボリュームに含まれない座標が存在するためである。

[0179] このため、検索された映像データのメタデータ D2から記録単位ごとにビューボリュームを算出し、ビューボリュームへの被写体位置の包含関係をチェックして厳密な被写体映像区間を決定する処理を追加してもよ!/ヽ。

[0180] ツリーインデックスによるインデキシングができな!/、データベースにお、て、インデッタスの操作をデータベース外で行ってもょ、し、 MBRのインデックスを作成せずメタデータ D3 (テーブル 2)のみをデータベースに格納してもよ！/、。

[0181] 後者の場合、被写体位置が MBRに含まれるレコードの抽出がツリーインデックスを用いた場合に比べ効率が悪、ものの、複数オーダの MBRを用いて包含関係をチェックするため、従来手法に比べて誤検出を回避できるというメリットがある。

産業上の利用可能性

[0182] 近、将来にぉ、て実現すると思われるュビキタス社会では、ディジタルカメラやカメラ付き携帯電話が映像収集端末として機能し、これらの端末の利用を通じて大量の映像収集が実現されると考えられる。

[0183] 本発明は、サーバに蓄積された大量の映像データの中から、特定の被写体が撮影されている映像区間を検索するための技術とシステムに関するものであり、監視-防災 ·セキュリティ分野、企業又は個人の映像アーカイブと連携するローカル又はオンラインの映像検索システム全般への適用が考えられる。

[0184] 例えば、本実施形態に係るシステムが例えば防災，災害対策分野に適用される場合には、市民あるいは防災対策組織によって収集された映像がサーバに蓄積され、災害対策本部に設置された映像検索端末によって特定被災地の映像のみをまとめて表示し、被災状況を把握することが可能となる。

Claims

請求の範囲

[1] 映像の撮影位置と撮影方向と示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形 (MBR)を、複数のサイズオーダの夫々について算出する算出手段と、

前記算出手段によって算出された複数のサイズオーダに夫々対応する MBRを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納する管理手段と

を備える映像管理システム。

[2] 前記算出手段は、特定サイズの被写体が一定画素サイズ以上、一定画素数以上、及び一定画素サイズ又は画素数以上且つ一定画角以上のヽずれかで撮影される範囲のビューボリュームを算出する

請求項 1記載の映像管理システム。

[3] 前記算出手段は、被写体サイズに応じて予め規定された複数のサイズオーダに夫々対応するビューボリュームの MBRを算出する

請求項 1又は 2記載の映像管理システム。

[4] 被写体の位置及びサイズが入力された場合に、前記被写体のサイズよりも大きく且つ最小のサイズオーダに対応する MBRに前記被写体の位置が含まれている力否かを判定する検索手段をさらに備える

請求項 3記載の映像管理システム。

[5] 前記算出手段は、管理対象の複数の映像に対して共通な代表サイズオーダのビュ一ボリュームの MBRを算出するとともに、各映像に対して規定された複数のサイズォーダに夫々応じたビューボリュームの MBRを算出し、

前記管理手段は、

前記ツリー構造を用いて、前記ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表サイズオーダ及び前記複数のサイズオーダに応じた各 MBRを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表サイズオーダ及び前記複数のサイズオーダに応じた各 MBRを示すデータで特定される各 MBRを夫々包含するサイズオーダ毎の MBRを示すデータが格納されたツリーを作成し、このツリーを記憶装置に格納する

請求項 1〜4のいずれかに記載の映像管理システム。

[6] 任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じた MBRを検索 MBRとして決定し、前記被写体の位置を含む検索 MBRを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索 MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出する検索手段

をさらに備えた請求項 5記載の映像管理システム。

[7] 前記算出手段は、管理対象の複数の映像の夫々について複数のサイズオーダに応じた MBRを夫々算出し、

前記管理手段は、

ツリー中の最下位ノードに前記算出手段で算出された複数のサイズオーダの一つに応じた MBRを示すデータが格納され、前記ツリー中の下位ノードを有する各ノ一ドに該ノードの有する全ての下位ノードで夫々管理される前記複数のサイズォーダの一つに応じた MBRのデータに応じた MBRを夫々包含する MBRを示すデータが格納されたツリーを前記サイズオーダ毎に作成し、これらのツリーを記憶装置に格納する

請求項 1〜6のいずれかに記載の映像管理システム。

[8] 任意の被写体の位置及びサイズが与えられた時に、前記複数のサイズオーダの中力前記被写体のサイズより大きく且つ最小のサイズオーダを決定し、決定されたサィズオーダに対応するツリーを特定し、前記被写体の位置を含む MBRを前記特定されたツリーのルートノードから順にたどり、前記特定されたツリーの最下位ノードで検索される前記被写体の位置を含む MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出する検索手段

をさらに備える請求項 7記載の映像管理システム。

[9] 映像の撮影位置と撮影方向と示すデータに基づいて算出された、複数のサイズォーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形 (MBR)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段と、

検索対象の被写体の位置とサイズとが与えられた場合に、前記被写体のサイズより大きく且つ最小の前記複数のサイズオーダの一つに対応する前記記憶手段中の M BRを特定し、特定した MBR中に前記被写体の位置が含まれている場合には、その MBRに対応する映像に係るデータを、検索結果の一つとして抽出する検索手段とを備える映像検索システム。

[10] 前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、

前記検索手段は、任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じた MBRを検索 MBRとして決定し、前記被写体の位置を含む検索 MBRを前記ツリーのルートノード力順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索 MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出する請求項 9記載の映像検索システム。

[11] コンピュータが、

映像の撮影位置と撮影方向と示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形 (MBR)を、複数のサイズオーダの夫々について算出し、

前記算出手段によって算出された複数のサイズオーダに夫々対応する MBRを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納することを含む映像管理方法。

[12] 管理対象の複数の映像に対して共通な代表サイズオーダのビューボリュームの M BRを算出するとともに、各映像に対して規定された複数のサイズオーダに夫々応じたビューボリューム及び MBRを算出し、

前記ツリー構造を用いて、前記ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表サイズオーダ及び前記複数のサイズオーダに応じた各 MBRを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表サイズォーダ及び前記複数のサイズオーダに応じた各 MBRを示すデータで特定される各 M BRを夫々包含するサイズオーダ毎の MBRを示すデータが格納されたツリーを作成し、

このツリーを前記記憶装置に格納する

ことをさらに含む請求項 11記載の映像管理方法。

[13] 任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じた MBRを検索 MBRとして決定し、

前記被写体の位置を含む検索 MBRを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索 MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出することをさらに含む請求項 12記載の映像管理方法。

[14] コンピュータが、

検索対象の被写体の位置とサイズとが与えられた場合に、映像の撮影位置と撮影方向と示すデータに基づいて算出された、複数のサイズオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形 (MBR)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段にアクセスし、

前記被写体のサイズより大きく且つ最小の前記複数のサイズオーダの一つに対応する前記記憶手段中の MBRを特定し、

特定した MBR中に前記被写体の位置が含まれて!/、る場合には、その MBRに対応する映像に係るデータを、検索結果の一つとして抽出する

ことを含む映像検索方法。

[15] 前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、

任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じた MBRを検索 MBRとして決定し、

前記被写体の位置を含む検索 MBRを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索 MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出することをさらに含む請求項 14記載の映像検索方法。

[16] 映像の撮影位置と撮影方向と示すデータに基づいて、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形 (MBR)を、複数のサイズオーダの夫々について算出するステップと、

前記算出手段によって算出された複数のサイズオーダに夫々対応する MBRを示すデータを、管理対象の映像の撮影範囲を示すデータとして記憶装置に格納するステツプと

をコンピュータに実行させるプログラム。

[17] 管理対象の複数の映像に対して共通な代表サイズオーダのビューボリュームの M BRを算出するとともに、各映像に対して規定された複数のサイズオーダに夫々応じたビューボリューム及び MBRを算出するステップと、

前記代表サイズオーダに対応する MBRで前記複数の映像を階層的に管理するためのツリー構造を決定するステップと、

前記ツリー構造を用いて、前記ツリー中の各最下位ノードに前記算出手段で算出された前記複数の映像の一つに対する前記代表サイズオーダ及び前記複数のサイズオーダに応じた各 MBRを示すデータが格納され、前記ツリー中の下位ノードを有する各ノードに該ノードが有する全ての下位ノードに夫々格納された前記代表サイズォーダ及び前記複数のサイズオーダに応じた各 MBRを示すデータで特定される各 M BRを夫々包含するサイズオーダ毎の MBRを示すデータが格納されたツリーを作成するステップと、

このツリーを前記記憶装置に格納するステップと、

をコンピュータにさらに実行させる請求項 16記載のプログラム。

[18] 任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じた MBRを検索 MBRとして決定するステップと、

前記被写体の位置を含む検索 MBRを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索 MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出するステップとをさらにコンピュータに実行させる請求項 17記載のプログラム。

[19] 検索対象の被写体の位置とサイズとが与えられた場合に、映像の撮影位置と撮影方向と示すデータに基づいて算出された、複数のサイズオーダの夫々に対応する、撮影される実空間上の範囲を示すビューボリュームを包含する外接四角形 (MBR)を夫々示すデータを、管理対象の映像の撮影範囲を示すデータとして格納した記憶手段にアクセスするステップと、

前記被写体のサイズより大きく且つ最小の前記複数のサイズオーダの一つに対応する前記記憶手段中の MBRを特定するステップと、

特定した MBR中に前記被写体の位置が含まれて!/、る場合には、その MBRに対応する映像に係るデータを、検索結果の一つとして抽出するステップと

をコンピュータに実行させるプログラム。

[20] 前記記憶手段は、複数の映像を階層的に管理するためのツリーを記憶し、

任意の被写体の位置及びサイズが与えられた時に、前記ツリーについて用意されたサイズオーダの中から、前記被写体のサイズより大きく且つ最小のサイズオーダに応じた MBRを検索 MBRとして決定するステップと、

前記被写体の位置を含む検索 MBRを前記ツリーのルートノードから順にたどり、前記ツリーの最下位ノードで検索される前記被写体の位置を含む検索 MBRに対応する映像に係る情報を、映像検索結果の一つとして抽出するステップと

をさらにコンピュータに実行させる請求項 19記載のプログラム。