JP3834641B2 - カメラ映像データ管理システム、カメラ映像データ管理方法、およびプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ映像データ管理システム、その方法およびプログラムに関するものであり、より詳細には、大量のカメラ映像データを高速に効率良く検索するデータ管理構造に関するものである。
【０００２】
【従来の技術】
近年、映像機器の発達に伴い、これら映像機器を用いて撮影された映像データは膨大なものとなってきている。特に、防災、消防、および犯罪防止などの公共的な映像監視システムでは、常設の監視カメラによって大量の映像データが生成・蓄積されてきている。これらの膨大な映像データを効率的に管理し、災害や事件が発生した場合は、これらデータのなかから所望する特定の映像データを簡易かつ効率的に検索する手法が必要とされる。
そこで、現在まで、空間データ管理や時空間データ管理のためのデータ構造は種々の方式が提案されている。しかし、カメラで撮影した映像をデータベースとして取り扱う場合には、カメラの位置や時間以外に「カメラの方向（撮影方向）」が重要な情報を表すことになるが、従来の空間データ構造や時空間データ構造においては、基本的にＮ次元の空間における点や線を管理する手法を提供しているため、カメラの方向までを考慮した効率的な時空間データ管理方式は存在しなかった。
従来の時空間データ管理構造としては、XAT構造（非特許文献１を参照されたい。）、MR-Tree、MP-Tree、HR-Tree、Overlapping Linear Quard-Trees、2+3R-Tree、RT-Tree、3D-R-Treeがある。しかし、これらのいずれも時空間に対する範囲検索を行うものである。つまり、ある長方形の空間範囲内（x1,y1,x2,y2）に、ある時間内（t1,t2）に存在するオブジェクトを木構造で検索するものである。しかし、これらの従来の管理構造では、カメラの方向などの状態を扱うことはできない。
【０００３】
例えば、映像の時空間情報を利用する従来技術としては、中村他による「時空間情報付与・検出方法、装置及び時空間情報付与・検出プログラム記録媒体」（特許文献１を参照されたい。）がある。これは、ビデオカメラなどの撮像手段から入力した映像信号に対して、撮像が行われた時刻の情報及び撮像が行われた位置の情報（ＧＰＳで入手）を映像情報（ビデオフレーム）に電子透かしとして埋め込むものである。しかしながら、この技術は、映像情報の改竄防止を目的とするものであり、映像データの検索などに利用することはできない。また、空間情報としては、位置情報を扱うのみでカメラの方向に関する情報は利用していない。
【０００４】
また、他の従来技術の１つとしては、阿久津他による「映像の時空間管理・表示・アクセス方法及び装置」（特許文献２を参照されたい。）がある。これは、複数映像を時空間的にシームレスに自由に見渡せ、効率よく直感的にアクセス、比較、検索、編集する技術である。この技術も本願と同様に映像の検索を目的とするものであるが、空間情報としては、カメラの方向（撮影方向）に関する情報は利用していないため、このカメラ方向情報を用いた検索はできない。
従って、上述したような時空間データ情報では、例えば、「ある空間」の「ある時間範囲」の映像を検索した場合に、ユーザが所望しない方向を撮影した映像データもマッチしてしまい、ユーザが所望しない撮影対象が撮影された映像データも検索されてしまうという欠点がある。
【０００５】
【非特許文献１】
「Spatio-Temporal Data Managemnet for Moving Objects」(1999年、p1415〜1420及びp3110〜3117;Wang(王)他）
【特許文献１】
特開2002-176630号公報（段落0015−0016、図１）
【特許文献２】
特開平10-224731号公報（段落0008-0010、図1）
【０００６】
【発明が解決しようとする課題】
上述したように、従来の時空間データ構造では、カメラの撮影方向をも考慮した管理や検索がすることができなかった。従って、本発明の目的は、上述した欠点を克服するために、従来の時空間データ構造が「撮影方向」をも利用し得る形式に拡張し、これを利用した映像データの検索・管理システム、その方法、そのプログラムを提供することである。
【０００７】
【課題を解決するための手段】
本発明によるカメラ映像データ管理システムは、
撮影時間情報、撮影空間情報、および撮影方向情報から構成されるカメラ映像付加情報と、カメラ映像データとを受信する受信手段と、
前記カメラ映像付加情報から、前記撮影方向情報に基づく木構造で表現された時空間データ構造を構築し、この時空間データ構造を前記カメラ映像データと関連付ける構築手段と、
ユーザから投影面情報、撮影時間情報、および、撮影方向情報を含む検索要求を受け取り、この撮影方向情報に基づき、前記検索要求に含まれる前記投影面情報を前記空間情報に変換する変換手段と（即ち、撮影方向および投影面から空間情報を生成する手段）、
前記変換された検索要求に基づき、前記時空間データ構造から該当する前記カメラ映像データを検索する検索手段と、
前記検索されたカメラ映像データを表示する、或いはユーザへ送信する手段と、
を含むカメラ映像データ管理システムである。
本発明によれば、カメラの撮影方向をも考慮して映像データを管理・検索することができるようになり、さらに、ユーザからみて自然な形態の検索要求である「この投影面（投影面情報に相当する）をこの方向から撮影している（撮影方向情報に相当する）カメラの映像」から、上記時空間データ構造への検索キーの１つである空間情報に変換することができ、ユーザが、よりユーザフレンドリー、かつ、直感的で分かりやすい自然な形態での検索要求を実施することが可能となる。また、本発明ではデータ構造として木構造を用いているため、映像データの探索速度、即ち、検索速度を顕著に速くすることができる。検索要求に含まれる撮影方向およびカメラ映像付加情報に含まれる撮影方向は、無段階で入力し得るが、検索スピードやデータ容量の面から、前記構築手段や前記変換手段において、例えば、正面および左右３０度までは「正面」、右斜め３０から９０度までは「右斜め４５度」、左斜め３０度から９０度までは「左斜め４５度」のような形式にまとめて（近似して）おくことが望ましい。
【０００８】
また、本発明によるカメラ映像データ管理システムは、
前記変換手段は、ユーザからカメラと投影面との間の距離、投影面情報、撮影時間情報、および、撮影方向情報を含む検索要求を受け取り、この撮影方向情報および前記距離に基づき、前記検索要求に含まれる前記投影面情報を前記空間情報に変換することを特徴とする。
或いは、本システムは、前記検索手段で探し出したカメラ映像データを、前記投影面から遠い空間座標を持つ順に送信、或いは表示する手段、
或いは、前記変換された空間情報に含まれる空間座標を、ユーザの要求に応じて前記撮影方向に沿って移動させる手段、
或いは、前記検索手段で探し出したカメラ映像データを、前記投影面から所定の距離にある空間座標に最も近いものを送信、或いは表示する手段、
を含む特徴とする。
上述した手段は、いずれも「カメラと被写体との距離」を考慮した検索を行い得るようにするものであり、本発明によれば、ユーザは、所望の視点、或いは、遠くの視点から撮影対象（投影面）を観察（即ち表示）することができる。例えば、撮影対象の全体を観察するのに適したある程度離れた所定の距離（例えば、対象物から約２０ｍの距離）をデフォルト値として規定しておき、上記の検索要求および当該デフォルト値に基づき映像データを検索することもできる。さらに、検索要求をした撮影方向（視線）に沿ってより遠く、或いは、より近くの空間座標の映像データを表示することもできる。換言すれば、ユーザの視線に沿って視点を遠くしたり近づけたりした映像データを検索することが可能となる。
【０００９】
また、本発明は、システム（装置）の形態だけでなく、このシステムに相当する方法、プログラム、そのプログラムを格納した記録媒体などの形態でも実施し得る。
例えば、本発明によるカメラ映像データ管理方法は、
撮影時間情報、撮影空間情報、および撮影方向情報から構成されるカメラ映像付加情報と、カメラ映像データとを受信する受信ステップと、
前記カメラ映像付加情報から、前記撮影方向情報に基づく木構造で表現された時空間データ構造を構築し、この時空間データ構造を前記カメラ映像データと関連付け、記憶装置に格納する構築ステップと、
投影面情報、撮影時間情報、および、撮影方向情報を含む検索要求を受け取り、演算手段を用いて、この撮影方向情報に基づき、前記検索要求に含まれる前記投影面情報を前記空間情報に変換する変換ステップと、
前記変換された検索要求に基づき、前記記憶装置に格納された前記時空間データ構造から該当する前記カメラ映像データを検索する検索ステップと、
を含むカメラ映像データ管理方法である。
【００１０】
例えば、本発明によるカメラ映像データ管理方法をコンピュータに実行させるためのプログラムは、
前記方法が、
撮影時間情報、撮影空間情報、および撮影方向情報から構成されるカメラ映像付加情報と、カメラ映像データとを受信する受信ステップと、
前記カメラ映像付加情報から、前記撮影方向情報に基づく木構造で表現された時空間データ構造を構築し、この時空間データ構造を前記カメラ映像データと関連付け、記憶装置に格納する構築ステップと、
投影面情報、撮影時間情報、および、撮影方向情報を含む検索要求を受け取り、演算手段を用いて、この撮影方向情報に基づき、前記検索要求に含まれる前記投影面情報を前記空間情報に変換する変換ステップと、
前記変換された検索要求に基づき、前記記憶装置に格納された前記時空間データ構造から該当する前記カメラ映像データを検索する検索ステップと、を含む、ことを特徴とするプログラムである。
【００１１】
【発明の実施の形態】
以下、諸図面を参照しつつ本発明の実施態様を詳細に説明する。
図１は、本発明によるカメラ映像データ管理システムの基本的な構成を示すブロック図である。図に示すように、本発明によるカメラ映像データ管理システム１００は、受信手段１１０と、時空間データ構造を記憶手段１２５に構築する構築手段１２０と、ユーザからの検索要求を前記時空間データ構造が検索し得るように変換する変換手段１３０と、前記変換された検索要求に基づき、前記時空間データ構造から該当する前記カメラ映像データを記憶手段１２５から検索し、検索結果をユーザに送信する検索手段１４０とから構成される。ユーザは、ネットワークを介して、或いはローカルで直接的に本システムに接続されたＰＣを操作して、所望の検索要求を出し、検索結果としての映像データを入手し、ＰＣ上で所望の当該映像を視聴する。
【００１２】
図２は、本発明で利用される、従来技術の時空間データ管理構造の一例としての３Ｄ管理構造を説明する概略図である。図に示すように、３Ｄ管理構造は、位置（２次元）と時間（１次元）で構成される線分データを木構造で管理するものである。具体的には、移動線分を中心点で代表させ、その中心点を「k-d木」を用いて管理する。この「k-d木」とは、最も基礎的な多次元空間データの管理手法で、多次元空間中の点データ群を、データの個数が半分ずつになるように、空間を軸に平行な平面で分割して、それを木構造にしたものである。線分の領域情報は、開始点と終了点との２点を含み、図に示すように時間軸（Ｔ軸）と空間軸（Ｘ軸、Ｙ軸）の３つの軸を使って作成できる外接直方体として表現する。木構造の中間ノードでは、この外接直方体のデータを分岐条件として設定している。
【００１３】
図３は、本発明のカメラ映像データ管理システムにより構築された時空間データ管理構造の一例を示すブロック図である。図に示すように、撮影方向をも利用し得る形式に時空間データ構造を拡張するために、カメラの撮影方向をＭ個の状態で近似し、それぞれの状態ごとにカメラの位置と情報を表す時空間データを木構造で表現する。検索時は、状態（撮影方向）および時空間範囲を指定することにより所望の映像データを取り出す。
【００１４】
ユーザからみて自然な形態の検索要求である「この辺り（投影面）をこの方向から撮影しているカメラの映像」という検索キーでの入力を実現するために、図４に示すように、投影面の手前にかつ検索条件のカメラの方向上に、投影面の長手方向を一辺とする正方形を１段または数段に分けて配置することで、その正方形（長方形であっても良い）を検索条件の空間範囲とする。ここで図面左側に示した斜め４５度方向に配置した場合は、正方形の領域に重なりができるように配置する。データ構造への検索は正方形単位で行うが、一度検索して見つかった映像は重複しないように結果を出力する必要がある。
【００１５】
図５は、本発明によるカメラ映像データ管理システムの具体的な利用形態を説明するブロック図である。図に示すように、監視カメラなどからの映像データは、映像管理サーバ２００（カメラ映像データ管理システム）において管理される。映像データは、Δｔの時間単位でファイルに分割され、ＧＰＳおよびジャイロセンサ付きのカメラなどで取得されたカメラの空間情報、方向情報、時間情報と共に、インターネットや専用線などのネットワークを通じてＨＴＴＰメッセージで映像管理サーバに入力される。映像管理サーバ２００は、メッセージ受付部２１０、映像データ構造管理部２２０、インターフェイス表示部２３０、検索キー変換部２４０から構成される。メッセージ受付部２１０では、ＨＴＴＰメッセージを受け付け、そこから、テキストデータ（カメラの空間情報、時間情報、方向情報）と映像データとを分離し、テキストデータは映像データ構造管理部２２０に送り、映像データは映像データベースに格納する。映像データ構造管理部２２０は、映像ファイル（映像データ）を管理する木構造をカメラの方向ごとに作成する。ここでの木構造は、従来方式である種々の時空間データ管理構造が使える。葉ノードに映像データベース中の映像ファイルへの格納位置に関するポインタを記録することによって、映像データを時空間データ構造に関連付ける。
【００１６】
インターフェイス表示部２３０は、ＧＩＳの地図データを使って、ＧＩＳデータ表示ウィンドウに地図を表示する。ユーザは、地図上で投影面座標（xs,ys,xe,ye）、時間検索範囲（t1,t2）、および撮影（閲覧）方向（ｄ）から構成される検索キー（検索要求）を入力する。このユーザの検索キーは、検索キー変換部２４０に送られる。検索キー変換部２４０では、ユーザの検索キーを、映像データ構造の検索キーである空間範囲（x1,y1,x2,y2）、時間範囲（t1,t2）、撮影方向（ｄ）に変換し、変換後のキーを映像データ構造管理部２２０へ送る。映像データ構造管理部２２０は、映像データ構造の木構造を探索し、検索条件に適合する映像ファイルへのポインタを獲得する。この獲得したポインタに基づき映像データベース（ＤＢ）から該当する映像ファイルを獲得し、それをインターフェイス表示部２３０へ送る。インターフェイス表示部２３０は、それらのファイルを映像表示ウィンドウに表示する。このウィンドウ上では、ユーザが映像を確認し、さらに詳細な映像を（または遠く離れた映像を）要求することもできる。ユーザがそのような検索要求を出した場合は、その命令を検索キー変換部２４０に伝える。検索キー変換部２４０では、前回変換した映像データ構造への検索キーのうち、空間範囲をさらに近くなるよう（または遠くなるよう）修正する（具体的には、例えば、図４の示した正方形の１つ手前、或いは１つ向こう側の正方形を選択する）。
【００１７】
図６は、本発明によるカメラ映像データ管理システムの具体的な作用を説明するブロック図である。図に示すように、カメラからのデータ（映像データ、カメラ映像付加情報（空間位置、撮影時刻、カメラ方向など））は、インターネットや専用線などのネットワークを通して、本システムに入力される。このうち映像データは、ファイルとして映像データベースに保存し、空間位置、撮影時刻、カメラ方向のデータを用いて、映像データを索引付けする（即ち、木構造で時空間データ構造を構築する）。オペレータ（ユーザ）は、映像データを検索するのに、所望の「時間範囲（t1,t2）に、投影面の空間範囲（xs,ys,xe,ye）を、閲覧（撮影）方向ｄから見た映像」という検索キーを入力する。これは、ＧＩＳによる地図上でマウスなどの入力手段を用いて入力することが好適である。この入力（検索要求）を受けて、本システムは、オペレータの検索キーを本システムのデータ構造用検索キーである「時間範囲（t1,t2）、空間範囲（x1,y1,x2,y2）、カメラ方向（ｄ）」に変換し、検索を行う。但し、この変換は、最初は投影面から、ある程度遠く離れた空間範囲に位置するカメラの映像を検索するように設定することが好適である。検索結果として映像のＩＤが取得されるので、このＩＤを元に映像データを取得して、それを画面に表示する。それを見たオペレータは、より詳しく現場を見たいと判断すれば、より詳細を表示する操作を行う。本システムは、その操作に応じてより近くの映像の空間を検索するよう、検索キー変換にフィードバックする。
【００１８】
本発明が対象とするカメラ映像としては、例えば、大量の映像データが生成されるような公共的な常設の監視カメラを想定するが、この監視カメラは、固定カメラに限定されず、パトカーなどの緊急車両や電車などに搭載された移動カメラも対象とする。カメラは回転などによってカメラ方向が変化するものもあるし、取り付け対象（パトカーなど）が移動することによってカメラの向いている方向が変化するものもある。これらの移動カメラでは、ＧＰＳ（或いは位置検知装置）よびジャイロセンサ（或いは方位検知装置）を組み込み、カメラの位置およびカメラの撮影方向を常時記録しておけば、これらの記録を本発明における映像付加情報として容易に活用できる。本発明によるシステムは、これら監視カメラから生成される膨大な映像データから、「撮影方向」をも考慮して所望の映像データを効率良く高速で探し出すことを可能にする。
【００１９】
本明細書では、様々な実施態様で本発明の原理を説明してきたが、本発明は上述した実施例に限定されず幾多の変形および修正を施すことが可能であり、これら変形および修正されたものも本発明に含まれることを理解されたい。
【図面の簡単な説明】
【図１】 図１は、本発明によるカメラ映像データ管理システムの基本的な構成を示すブロック図である。
【図２】 従来技術の時空間データ管理構造の一例としての３Ｄ管理構造を説明する概略図である。
【図３】 本発明のカメラ映像データ管理システムにより構築された時空間データ管理構造の一例を示すブロック図である。
【図４】 本発明の検索キー変換を説明するブロック図である。
【図５】 本発明によるカメラ映像データ管理システムの具体的な利用形態を説明するブロック図である。
【図６】 本発明によるカメラ映像データ管理システムの具体的な作用を説明するブロック図である。
【符号の説明】
１００ カメラ映像データ管理システム
１１０ 受信手段
１２０ 構築手段
１２５ 記憶手段
１３０ 変換手段
１４０ 検索手段
２００ 映像管理サーバ（カメラ映像データ管理システム）
２１０ メッセージ受付部
２２０ 映像データ構造管理部
２３０ インターフェイス表示部
２４０ 検索キー変換部

Claims (6)

1. カメラ映像データ管理システムであって、
   撮影時間情報、撮影空間情報、および撮影方向情報から構成されるカメラ映像付加情報と、カメラ映像データとを受信する受信手段と、
   前記カメラ映像付加情報から、前記撮影方向情報に基づき、カメラの方向ごとに木構造で表現された時空間データ構造を構築し、この時空間データ構造を前記カメラ映像データと関連付け、記憶装置に格納する構築手段と、
   投影面情報、撮影時間情報、および、撮影方向情報を含む検索要求を受け取り、この撮影方向情報に基づき、前記検索要求に含まれる前記投影面情報を前記空間情報に変換する変換手段と、
   前記変換された検索要求に基づき、前記記憶装置に格納された前記時空間データ構造から該当する前記カメラ映像データを検索する検索手段と、
   を含むカメラ映像データ管理システム。
2. 請求項１に記載のカメラ映像データ管理システムにおいて、
   前記変換手段が、
   前記受取った撮影方向情報に基づき、投影面情報を、１段または数段に分けて投影面の手前に配置される、正方形、または、長方形のうちの１つである空間情報に変換する、
   ことを特徴とするカメラ映像データ管理システム。
3. カメラ映像データ管理方法であって、
   撮影時間情報、撮影空間情報、および撮影方向情報から構成されるカメラ映像付加情報と、カメラ映像データとを受信する受信ステップと、
   前記カメラ映像付加情報から、前記撮影方向情報に基づき、カメラの方向ごとに木構造で表現された時空間データ構造を構築し、この時空間データ構造を前記カメラ映像データと関連付け、記憶装置に格納する構築ステップと、
   投影面情報、撮影時間情報、および、撮影方向情報を含む検索要求を受け取り、この撮影方向情報に基づき、前記検索要求に含まれる前記投影面情報を前記空間情報に変換する変換ステップと、
   前記変換された検索要求に基づき、前記記憶装置に格納された前記時空間データ構造から該当する前記カメラ映像データを検索する検索ステップと、
   を含むカメラ映像データ管理方法。
4. 請求項３に記載のカメラ映像データ管理方法であって、
   前記変換ステップが、
   前記受取った撮影方向情報に基づき、投影面情報を、１段または数段に分けて投影面の手前に配置される、正方形、または、長方形のうちの１つである空間情報に変換する、
   ことを特徴とするカメラ映像データ管理方法。
5. カメラ映像データ管理方法をコンピュータに実行させるためのプログラムであって、
   前記方法は、
   撮影時間情報、撮影空間情報、および撮影方向情報から構成されるカメラ映像付加情報と、カメラ映像データとを受信する受信ステップと、
   前記カメラ映像付加情報から、前記撮影方向情報に基づき、カメラの方向ごとに木構造で表現された時空間データ構造を構築し、この時空間データ構造を前記カメラ映像データと関連付け、記憶装置に格納する構築ステップと、
   投影面情報、撮影時間情報、および、撮影方向情報を含む検索要求を受け取り、この撮影方向情報に基づき、前記検索要求に含まれる前記投影面情報を前記空間情報に変換する変換ステップと、
   前記変換された検索要求に基づき、前記記憶装置に格納された前記時空間データ構造から該当する前記カメラ映像データを検索する検索ステップと、を含む、
   ことを特徴とするプログラム。
6. 請求項５に記載のカメラ映像データ管理方法をコンピュータに実行させるためのプログラムであって、
   前記変換ステップが、
   前記受取った撮影方向情報に基づき、投影面情報を、１段または数段に分けて投影面の手前に配置される、正方形、または、長方形のうちの１つである空間情報に変換する、
   ことを特徴とするプログラム。

Images