JP4251131B2

JP4251131B2 - データ処理装置及び方法

Info

Publication number: JP4251131B2
Application number: JP2004333698A
Authority: JP
Inventors: 朝子田村; 秀宇宮牧; 聡田淵; 雅晴鈴木; 博日比
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-11-17
Filing date: 2004-11-17
Publication date: 2009-04-08
Anticipated expiration: 2024-11-17
Also published as: JP2006148369A; CN100471253C; CN1777268A; US20060119714A1

Description

本発明は、２台のカメラを用いてセンサーカメラで広範囲な撮像を行いつつ、もう一方のズームカメラでその撮像範囲内の追跡対象を撮像して得られたデータを、所定のファイル形式に変換し、保存するデータ処理装置及び方法に関する。

従来、広く用いられている電子スチルカメラは、被写体を撮像することでレンズを透過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また、記録した画像信号を再生することができる。また、電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像の内特定のものを選択して表示することができる。

この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。

このため、カメラの撮像方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照）、また、設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている(例えば、特許文献２参照)。

特開平１０−１０８１６３号公報特開２０００−２４３０６２号公報

ところで、上述のようにして記録媒体に記録される個々の画像は、撮像時刻や画角などのメタデータとともに単一のファイル（以下、画像データファイルという。）で保存されている。集中監視記録システムは、この画像データファイルに基づいて、複数のカメラで撮像された画像を同期再生したり、画像の再生中にひとつの画像を指定して、一枚の静止画像として抜き出す（エクスポート）したりする。

しかしながら、上述した画像データファイルは、集中監視記録システムによる独自のデータファイルの形式であるため、集中監視記録システムでしか扱うことができず、汎用性がない。

また、定常的に録画を続ける監視システムでは、データ量が膨大になるため、保存されている画像データファイルから意味のある画像データファイル（例えば、変化が生じた画像）だけをエクスポートしたい場合がある。さらに、従来のようにエクスポートしたい画像をユーザがモニタを眺めながら一つずつ選ぶ方法だけではなく、任意の条件に沿う画像を機械的にエクスポートする方法もあった方が便利である。

そこで、本発明では、任意の条件によって読み出した画像データファイルを汎用性のあるデータファイルにエクスポートすることができるデータ処理装置及び方法を提供する。

本発明に係るデータ処理装置は、上述の課題を解決するために、広範囲な撮像を行うセンサーカメラと、上記センサーカメラで撮像された撮像画像データから動体の検出を行う動体検出手段と、上記動体検出手段で検出された動体を拡大して撮像を行うズームカメラと、メタデータに基づいて、供給された画像データを順次それぞれのカメラ用表示ウィンドウに表示する表示手段と、上記センサーカメラで撮像された撮像データと、当該撮像データに対応する撮像情報が含まれているメタデータと、上記ズームカメラで撮像された撮像データと、当該撮像データに対応する撮像情報が含まれているメタデータとをフレーム単位でデータベースに記録する記録手段と、上記センサーカメラで撮像された撮像データに対応する撮像情報が含まれているメタデータと、上記ズームカメラで撮像された撮像データに対応する撮像情報が含まれているメタデータを生成し、生成した撮像データとメタデータを、撮影のみのときには上記表示手段に供給し、録画のときは上記表示手段と上記記録手段に供給する制御手段とを備え、被写体を撮像し、撮像データをメタデータとともにフレーム単位でデータベースに記録する撮像部と、撮像画像データと、当該撮像画像データに対応する撮像情報が含まれているメタデータとからなるフレームが記録されている上記データベースから、任意のフレームを抽出するための抽出条件として上記メタデータに含まれている撮像情報を設定する設定手段と、データの記録が可能な記録媒体上の任意の場所を指定する指定手段と、上記設定手段により設定された抽出条件にしたがって上記データベースから任意のフレームを抽出する抽出手段と、上記抽出手段により抽出された上記フレームに含まれている上記撮像画像データ及び当該撮像画像データに対応する撮像情報が含まれているメタデータをそれぞれ所定のデータ形式に変換する変換手段と、上記指定手段により指定された上記任意の場所に、上記変換手段により所定のデータ形式に変換された撮像画像データ及び当該撮像画像データに対応する撮像情報が含まれているメタデータを保存する保存手段とを備え、上記撮像部により撮像されたデータを処理するデータ処理部とからなることを特徴とする。

また、上記設定手段は、上記メタデータに対応する撮像画像データを撮像したときの撮像機器の情報を抽出条件として設定する。

また、上記設定手段は、上記メタデータに対応する撮像画像データを撮像した日時の情報を抽出条件として設定する。

また、上記変換手段は、上記撮像画像データをＪＰＥＧ（Joint Photographic Experts Group）形式のデータに変換し、当該撮像画像データに対応するメタデータをＸＭＬ（extensible markup language）形式のデータに変換する。

また、本発明に係るデータ処理方法は、上述の課題を解決するために、センサーカメラにより広範囲な撮像を行う第１の撮像工程と、上記第１の撮像工程で撮像された撮像画像データから動体の検出を行う動体検出工程と、上記動体検出工程で検出された動体をズームカメラで拡大して撮像を行う第２の撮像工程と、上記センサーカメラで撮像された撮像データに対応する撮像情報が含まれているメタデータと、上記ズームカメラで撮像された撮像データに対応する撮像情報が含まれているメタデータを生成するメタデータ生成工程と、上記メタデータ生成工程で生成した撮像データとメタデータを、撮影のみのときには表示手段に供給し、メタデータに基づいて、供給された画像データを順次それぞれのカメラ用表示ウィンドウに表示し、録画のときは上記表示手段と記録手段に供給して、メタデータに基づいて、供給された画像データを順次それぞれのカメラ用表示ウィンドウに表示するとともに、上記第１の撮像工程でセンサーカメラにより撮像された撮像データと、当該撮像データに対応する撮像情報が含まれているメタデータと、上記第２の撮像工程でズームカメラにより撮像された撮像データと、当該撮像データに対応する撮像情報が含まれているメタデータとをフレーム単位で上記データベースに記録する記録工程と、撮像画像データと、当該撮像画像データに対応する撮像情報が含まれているメタデータとからなるフレームが記録されている上記データベースから、任意のフレームを抽出するための抽出条件を設定する設定工程と、データの記録が可能な記録媒体上の任意の場所を指定する指定工程と、上記設定工程により設定された抽出条件にしたがって上記データベースから任意のフレームを抽出する抽出工程と、上記抽出工程により抽出された上記フレームに含まれている上記撮像画像データ及び当該撮像画像データに対応する撮像情報が含まれているメタデータをそれぞれ所定のデータ形式に変換する変換工程と、上記指定工程により指定された上記任意の場所に、上記変換工程により所定のデータ形式に変換された撮像画像データ及び当該撮像画像データに対応する撮像情報が含まれているメタデータを保存する保存工程とを備え、上記設定工程は、上記メタデータに含まれている撮像情報を抽出条件として設定することを特徴とする。

また、上記設定工程は、上記メタデータに対応する撮像画像データを撮像したときの撮像機器の情報を抽出条件として設定する。

また、上記設定工程は、上記メタデータに対応する撮像画像データを撮像した日時の情報を抽出条件として設定する。

また、上記変換工程は、上記撮像画像データをＪＰＥＧ（Joint Photographic Experts Group）形式のデータに変換し、当該撮像画像データに対応するメタデータをＸＭＬ（extensible markup language）形式のデータに変換する。

本発明では、広範囲な撮像を行うセンサーカメラで撮像された広域の画像データから動体検出手段により検出された動体部分をズームカメラにより拡大して撮像を行い、上記広域の画像データと当該広域の画像データ中で動体部分を拡大して撮影して得られた拡大画像データとをそれぞれメタデータと関連してフレーム単位でデータベースに格納して、当該データベースに格納されている膨大な監視データの中から、所望する拡大画像データのみを抽出することができ、また、抽出したデータ及び当該データに関連するメタデータをそれぞれ汎用的なデータ形式に変換するので、監視用に撮像した画像データを専用機でなくとも簡易に扱うことができる。また、データベースから抽出するデータの期間や条件を限定することにより抽出したデータを格納する記録媒体の記録容量を節約することができる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

撮像処理装置１は、図１に示すように、被写体を撮像し、撮像したデータを格納する撮像部２と、撮像部２により撮像されたデータを処理するデータ処理部３とを備えている。

撮像部２は、図２に示すように、撮影・録画の実行スケジュールを管理するスケジューラ１０と、ユーザの操作に応じて操作信号を生成する操作部１１ａと、表示部１１ｂとを備えるユーザインターフェース部１１と、広範囲の撮影を行う広範囲カメラ１２と、広範囲カメラ１２で撮影されている一領域を拡大（ズーム）して撮影を行うズームカメラ１３を制御するカメラ制御部１４と、広範囲カメラ１２とズームカメラ１３で撮像された画像に所定の処理を行う画像処理部１５と、撮像条件が格納されている撮像条件データベース１６と、広域カメラとズームカメラ１３で撮像されたデータを画像データベース１８に格納する保存処理部１７と、所定の演算処理を行う中央制御部１９を備える。

ここで、撮像部２の動作について説明する。撮像部２は、操作部１１ａを用いて手動で、または前もってスケジューラ１０にスケジュールを設定しておくことにより、広範囲カメラ１２及びズームカメラ１３により被写体を撮影し、撮影した画像を録画（記録）するジョブを実行する。

操作部１１ａ又はスケジューラ１０から撮影・録画命令が中央制御部１９に送られると、中央制御部１９は必要な撮影パラメータや検知パラメータを撮影条件データベースから取得し、カメラ制御部１４、画像処理部１５に供給し、それぞれ撮影開始、画像処理開始を命令する。

カメラ制御部１４は、供給されたパラメータと命令に基づいて広範囲カメラ１２とズームカメラ１３の撮影パラメータの設定及びＰａｎ／Ｔｉｌｔ等の制御を行いつつ撮影を実行する。画像処理部１５は、広範囲カメラ１２からの画像データを受け取り、動体検知処理を実行し、その処理結果を広範囲カメラ１２からの画像データに付加して中央制御部１９に供給する。また、中央制御部１９は、動体検知処理に応じて、所定の信号をカメラ制御部１４に供給する。カメラ制御部１４は、中央制御部１９からの信号に応じて、ズームカメラ１３を駆動する。

中央制御部１９は、画像処理部１５を介して受け取った広範囲カメラ１２とズームカメラ１３の画像データ及び検知データに対応する撮影パラメータや撮影時刻等のメタデータを生成する。中央制御部１９は、画像データとメタデータを、撮影のみのときには表示処理部へ供給し、一方、録画のときは表示処理部と保存処理部１７へ供給する。表示部は、メタデータに基づいて、供給された画像データを順次それぞれのカメラ用表示ウィンドウに表示する。保存処理部１７は、メタデータが付随された画像データを受け取ってバッファリングし、一定の数量に達するとまとめてファイルを作成する。また、中央制御部１９は、動体検知結果を元に次に撮影する座標を決定し、カメラ制御部１４に命令し、以下、操作部１１ａ又はスケジューラ１０から停止命令が送られるまで繰り返す。

また、広範囲カメラ１２は、例えば、監視対象となっている場所の全景を撮影する。なお、以下では、広範囲カメラ１２で撮影された画像のデータを広範囲画像データという。

ズームカメラ１３は、カメラ制御部１４から供給された駆動信号に応じて、広範囲カメラ１２で撮影されている場所の一部を拡大して撮影を行う。なお、以下では、ズームカメラ１３で撮影された画像のデータを拡大画像データという。

つぎに、保存処理部１７の動作について図３乃至図５に示すフローチャートを用いて説明する。

保存処理部１７は、保存の開始命令を受け取ると、ファイルの作成処理を行う（ステップＳＴ１）。ファイルの作成処理では、図４に示すように、保存元のディレクトリを取得し（ステップＳＴ１０）、保存元のディレクトリに当日の日付名のディレクトリがあるかどうか調べ（ステップＳＴ１１）、存在しなければ当日の日付のディレクトリを作成する（ＳＴ１２）。保存処理部１７は、撮影パラメータなどフレームごとに変動しないデータを取得し、ファイルヘッダを作成し、最初に受け取ったフレームデータの撮影時刻から画像データファイル名を作成し（ステップＳＴ１３）、その後、続けてくるフレーム待ち状態に入る。

保存処理部１７は、ファイル作成処理を終了するかどうかを判断し（ステップＳＴ２）、終了する場合には、終了処理工程（ステップＳＴ３）へ進む。なお、終了処理工程についての説明は後述する。

また、保存処理部１７は、フレームデータを受け取ると、フレームデータに含まれているメタデータを読み込み（ステップＳＴ４）、撮影時刻の日付が変わっていないかチェックし、変わっていればファイル切り替え処理を行う（ステップＳＴ５）。変わっていれば終了処理工程（ステップＳＴ６）へ進み、変わっていなければ、次に、そのデータサイズと作成中のファイルサイズの総和が規定値を超えないかどうかチェックする（ステップＳＴ７）。保存処理部１７は、データサイズの総和が既定値を超えている場合には、終了処理工程（ステップＳＴ６）に進み、超えていない場合には、メタ情報、データサイズ、画像データ等のフレーム情報をシリアル化してファイルに追加する処理を行い（ステップＳＴ８）、同時にそのフレームの先頭を示すオフセット値を配列に保存する。

なお、終了処理工程（ステップＳＴ６）は、上述した終了処理工程（ステップＳＴ３）と同様の工程である。また、終了処理工程（ステップＳＴ６）を終了した後、ファイル作成工程（ステップＳＴ１）に戻る。

保存処理部１７は、各フレームのオフセット値を示す配列と総フレーム数をフッタとしてファイルの最後に付加し（ステップＳＴ９）、ステップＳＴ２の工程に戻る。

また、終了処理工程（ステップＳＴ３）について説明する。保存処理部１７は、図５に示すように、ファイル作成処理の終了する場合（ステップＳＴ２）、撮影時刻の日付が変わっている場合（ステップＳＴ５）又はデータサイズの総和が既定値を超えている場合（ステップＳＴ７）には、未追加のフレームが存在するかどうかを判断し（ステップＳＴ２０）、存在する場合にはステップＳＴ２１の工程へ進み、存在しない場合にはステップＳＴ２３の工程へ進む。

保存処理部１７は、メタ情報、データサイズ、画像データ等のフレーム情報をシリアル化してファイルに追加する処理を行い（ステップＳＴ２１）、次に、各フレームのオフセット値を示す配列と総フレーム数をフッタとしてファイルの最後に付加する処理を行う（ステップＳＴ２２）。そして、保存処理部１７は、作成中のファイルの末尾にフッタを追加し（ステップＳＴ２３）、ファイルを画像データベース１８に保存して（ステップＳＴ２４）、処理を終了する。

また、保存処理部１７は、ファイル化された画像データをまとまった数量ごと（例えば、５００フレームごと）に整理して、画像データベース１８に保存している。また、各ファイルには、所定の名前（以下、ファイル名という。）が付されており、撮影した日時の情報が含まれており、いつ撮影されたものかが認識できるようにされている。なお、ファイル名は、時系列的に識別できればよく、上述したような撮影時日に限られない。

また、各画像データは、図６に示すように、ヘッダ２０と、画像データ領域２１と、フッタ２２とからなるデータ形式で保存されている。ヘッダ２０には、撮影時の各種パラメータや、動体を検知した際のパラメータ等の時刻によって変動しないデータが格納されている。

また、画像データ領域２１は、フレームデータ（フレームごとのメタデータ、フレーム画像）の配列により構成されている。また、本実施例に係る撮像処理装置１では、フレームごとのメタデータとして、撮影時刻情報や、動体を一意に表すＩＤ情報や、撮影したカメラの番号情報（画像データが広範囲画像データであるか、拡大画像データであるかを判別するための情報）等を保持している。さらに、メタデータは、ズームカメラ１３により撮影された映像データであったならば、広範囲カメラ１２で撮影された画像中の座標位置の情報が含まれていても良いし、さらに、広範囲カメラ１２で撮影された映像データであったならば、検知された動体の数の情報が含まれていても良い。

フッタ２２には、画像データ領域２１内の画像データへアクセスするためのインデックスが含まれている。

データ処理部３は、図７に示すように、画像データベース１８から任意のフレームを検出するための条件と、データを保存するためのディレクトリを示す位置（パス）情報を設定する設定部３０と、設定部３０により設定された条件に基づいて、画像データベース１８から任意のフレームを抽出する抽出部３１と、抽出部３１で抽出された任意のフレームに含まれている画像データを汎用的なデータ形式（例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式）に変換し、メタデータを汎用的なデータ形式（例えば、ＸＭＬ（extensible markup language）形式）に変換する変換部３２と、変換部３２で変換された汎用的な画像データとメタデータとを設定部３０により設定されたディレクトリ情報に基づいて、記録媒体３４の任意のディレクトリに保存する保存部３３とを備える。

ここで、設定部３０に条件を設定する際のデータ処理部３の動作について、図８に示すフローチャートにしたがって説明する。

ステップＳＴ３０において、データ処理部３は、画像データベース１８に格納されているフレームを抽出する期間（開始日時乃至終了日時）と、出力先のディレクトリの情報を表示部１７に表示する。データ処理部３は、デフォルト（初期設定）として開始日時乃至終了日時と、出力先のディレクトリが設定されているものとする。

ステップＳＴ３１において、データ処理部３は、表示部１７に表示されている内容で良いかどうかの判断を行う。表示されている内容で良い場合には、抽出条件を確定し、ステップＳＴ３９の工程に進む。また、表示されている内容を変更する場合にはステップＳＴ３の工程に進む。

ステップＳＴ３２において、データ処理部３は、作業を続行するかどうかを判断する。作業を続行する場合にはステップＳＴ３３の工程に進む。

ステップＳＴ３３において、データ処理部３は、ディレクトリの変更を行うかどうかを判断する。ディレクトリの変更を行う場合にはステップＳＴ３４の工程に進み、ディレクトリの変更を行わない場合にはステップＳＴ３６の工程に進む。

ステップＳＴ３４において、データ処理部３は、ステップＳＴ３３の工程により変更されたディレクトリが正当なパスかどうかを判断する。正当なパスである場合にはステップＳＴ３５の工程に進む。また、正当なパスでない場合にはステップＳＴ３０の工程に戻る。

ステップＳＴ３５において、データ処理部３は、出力先をステップＳＴ３４の工程により変更されたディレクトリに決定し、ステップＳＴ３０の工程へ戻る。

また、ステップＳＴ３６において、データ処理部３は、フレームを抽出する期間（開始日時乃至終了日時）を変更するかどうかを判断する。フレームを抽出する期間を変更する場合にはステップＳＴ３７の工程に進む。また、フレームを抽出する期間を変更しない場合にはステップＳＴ３０の工程に戻る。

ステップＳＴ３７において、データ処理部３は、変更されたフレームを抽出する期間が正当であるかどうかを判断する。データ処理部３は、例えば、開始日時が終了日時よりも前であることを確認する。正当な期間である場合にはステップＳＴ３８の工程に進む。また、正当な期間でない場合には、ステップＳＴ３０の工程に戻る。

ステップＳＴ３８において、データ処理部３は、フレームを抽出する期間をステップＳＴ３６の工程により変更されたものに決定し、ステップＳＴ３０の工程に戻る。

また、ステップＳＴ３９において、データ処理部３は、ステップＳＴ３１の工程によって確定された抽出条件にしたがって画像データベース１８から任意のフレームを抽出し、抽出したフレームに含まれている画像データとメタデータをそれぞれ汎用性のあるデータ形式に変換し、変換後のデータを任意のディレクトリに保存する。

ここで、以下にステップＳＴ３９の工程の詳細について図９に示すフローチャートにしたがって説明する。

ステップＳＴ４０において、データ処理部３は、画像データベース１８に対象とするフレームを含む画像ファイルが格納されているかどうかを調査する。

ステップＳＴ４１において、データ処理部３は、ステップＳＴ４０の工程による調査結果に応じて、画像データベース１８に対象とするフレームを含む画像ファイルが格納されているかどうかを判断する。画像データベース１８に対象とするフレームを含む画像ファイルが格納されている場合にはステップＳＴ４２の工程に進む。また、画像データベース１８に対象とするフレームを含む画像ファイルが格納されていない場合にはその旨（例えば、エラー表示）をユーザに通知する。

ステップＳＴ４２において、データ処理部３は、対象とするフレームを含む画像ファイルから１フレームを読み出し、当該フレームに含まれているメタデータを解析する。

ステップＳＴ４３において、データ処理部３は、ステップＳＴ４２の工程により得られた解析結果に応じて、解析したメタデータに対応するフレームがステップＳＴ３１の工程により確定された開始時間を経過しているかどうかを判断する。開始時間と同じ又は経過している場合にはステップＳＴ４５に進み、開始時間を経過していない場合にはステップＳＴ４４の工程に進む。

ステップＳＴ４４において、データ処理部３は、対象とするフレームを含む画像ファイルから次の１フレームを読み出し、ステップＳＴ４２の工程に戻る。対象とするフレームを含む画像ファイルから読み出した一のフレームがステップＳＴ３１の工程により確定した開始時間と同じになるまでステップＳＴ４２乃至ステップＳＴ４４の各工程を繰り返す。

ステップＳＴ４５において、データ処理部３は、ステップＳＴ４２の工程により得られた解析結果から、解析したメタデータに対応する対応するフレームに含まれている画像データが広域画像データか拡大画像データかを判断する。広域画像データである場合にはステップＳＴ４８の工程に進み、拡大画像データである場合にはステップＳＴ４６の工程に進む。

ステップＳＴ４６において、データ処理部３は、メタデータリストにメタデータを追加する。なお、まだメタデータを追加するメタデータリストが作成されていない場合には、メタデータリストを生成した後、生成したメタデータリストにメタデータを追加する。

ステップＳＴ４７において、データ処理部３は、画像情報リストに拡大画像データを追加する。なお、まだ画像情報リストが作成されていない場合には、画像情報リストを生成した後、生成した画像情報リストに拡大画像データを追加する。

ステップＳＴ４８において、データ処理部３は、対象とするフレームを含む画像ファイルから次のフレームを読み出す。

ステップＳＴ４９において、データ処理部３は、ステップＳＴ４８の工程により読み出されたフレームに含まれているメタデータを解析する。

ステップＳＴ５０において、データ処理部３は、ステップＳＴ４９の工程により得られた解析結果に応じて、解析したメタデータに対応するフレームがステップＳＴ３１の工程により確定された終了日時を経過しているかどうかを判断する。終了日時と同じ又は経過していない場合にはステップＳＴ４５の工程に戻り、終了日時を経過している場合には全工程を終了する。

このようにして、データ処理部３は、ステップＳＴ３１の工程により確定された開始時間乃至終了日時に該当する拡大画像データが含まれるフレームを画像データベース１８から抽出し、拡大画像データのメタデータリスト及び画像情報リストを生成する。

変換部３２は、上述のようにして生成された拡大画像データのメタデータリスト及び画像情報リストに基づき、メタデータを汎用的なデータ形式であるＸＭＬ形式のデータに変換し、画像データを汎用的なデータ形式であるＪＰＥＧ形式のデータに変換する。

ここで、図１０にＸＭＬ形式に変換されたメタデータを示す。図１０では、ＡＭ０時に撮像された拡大画像データが２つあり、フレーム番号（frame no）として「０」と「１」が割り振られている。また、ＡＭ１時に撮像された拡大画像データが１つあり、フレーム番号として「２」が割り振られている。フレーム番号「０」の拡大画像データ（0.jpg）は、２００４年６月２日にカメラＩＤ１（ズームカメラ１３を示すＩＤ）により撮像され、動体ＩＤ（obj_id）として「１１」が割り振られている。

また、フレーム番号「１」の拡大画像データ（1.jpg）は、２００４年６月２日にカメラＩＤ１により撮像され、動体ＩＤとして「１２」が割り振られている。

また、フレーム番号「２」の拡大画像データ（2.jpg）は、２００４年６月２日にカメラＩＤ１により撮像され、動体ＩＤとして「１３」が割り振られている。

また、それぞれの撮像画像データには、撮像時間（timestamp）が撮像日と連結して割り振られており、また、拡大画像データの座標位置（rect）が割り振られている。

保存部３３は、変換部３２で変換された各データをステップＳＴ３１の工程で確定されたディレクトリで指定されている場所に保存する（図１１）。図１１では、変換部３２で変換された各データをＷｅｂ用のブラウザ（Ｗｅｂページを閲覧するソフトウェア）で閲覧可能なように、整形・表示用のＨＴＭＬファイルとスタイルシートも併せて指定されているディレクトリに保存する際の出力ファイルの例を示している。

ここで、例えば、上述のように変換されたデータをＷｅｂブラウザで表示した様子を図１２に示す。図１２では、拡大画像データを撮像時間帯ごとに集計した撮影枚数の一覧と、選択された時間帯の画像の一覧表示を行っている。

このように構成される撮像処理装置１は、広範囲カメラ１２で撮像した広範囲画像データと、当該広範囲画像データ中における動体部分をズームカメラ１３で拡大して撮像した拡大画像データとをそれぞれ関連するメタデータと共にフレームごとに格納されている画像データベース１８から、任意のフレームを抽出するために任意の条件を設定する設定部３０と、設定部３０で設定した条件にしたがって画像データベース１８から任意のフレームを抽出する抽出部３１と、抽出部３１により抽出されたフレームに含まれている画像データ及びメタデータを汎用的なデータ形式に変換する変換部３２と、変換部３２により変換されたデータを設定部３０で設定された記録媒体３４の任意のディレクトリに保存する保存部３３を有するデータ処理部３から構成されているので、画像データベース１８に格納されている膨大なデータの中から、所望する拡大画像データのみを抽出することができ、また、抽出したデータ及び当該データに関連するメタデータをそれぞれ汎用的なデータ形式に変換するので、監視用に撮像した画像データを専用機でなくとも簡易に扱うことができる。また、撮像処理装置１は、画像データベース１８から抽出するデータの期間や条件を限定することにより記録媒体３４の記録容量を節約することができる。

なお、上述では、画像データベース１８に格納されているフレームから拡大画像データのみを抽出する場合の例を挙げたが、設定部３０で他の条件を設定すれることにより図１２以外の結果を得ることも可能である。例えば、広域画像データ内の動体数に着目し、各フレームを構成する拡大画像データが多いフレーム順にリストを生成しても良いし、画角に着目して撮像枚数の多い領域を求める（動きの多い地点を調べる）等の応用が考えられる。

また、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその主旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは勿論である。

本発明に係る撮像処理装置の構成を示すブロック図である。本発明に係る撮像処理装置に備えられている撮像部の構成を示すブロック図である。図２に示した保存処理部の動作についての説明に供する第１のフローチャートである。図２に示した保存処理部の動作についての説明に供する第２のフローチャートである。図２に示した保存処理部の動作についての説明に供する第３のフローチャートである。本発明に係る撮像処理装置で採用されるデータ形式を示す図である。本発明に係る撮像処理装置に備えられているデータ処理部の構成を示すブロック図である。本発明に係る撮像処理装置に備えられているデータ処理部により任意のフレームをデータベースから抽出する際における抽出条件の決定手順について説明するためのフローチャートである。図８に示すフローチャートにしたがって決定された抽出条件にしたがって、データベースから任意のフレームを抽出する手順について説明するためのフローチャートである。ＸＭＬ形式に変換されたときのソースコードを示す図である。出力ファイルの一例についての説明に供する図である。汎用的な形式に変換されたデータをＷｅｂ用のブラウザで表示する一例を示す図である。

符号の説明

１撮像処理装置、２撮像部、３データ処理部、１０スケジューラ、１１ａ操作部、１１ｂ表示部、１１ユーザインターフェース部、１２広範囲カメラ、１３ズームカメラ、１４カメラ制御部、１５画像処理部、１６撮像条件データベース、１７保存処理部、１８画像データベース、１９中央制御部、２０ヘッダ、２１画像データ領域、２２フッタ、３０設定部、３１抽出部、３２変換部、３３保存部、３４記録媒体

Claims

広範囲な撮像を行うセンサーカメラと、上記センサーカメラで撮像された撮像画像データから動体の検出を行う動体検出手段と、上記動体検出手段で検出された動体を拡大して撮像を行うズームカメラと、メタデータに基づいて、供給された画像データを順次それぞれのカメラ用表示ウィンドウに表示する表示手段と、上記センサーカメラで撮像された撮像データと、当該撮像データに対応する撮像情報が含まれているメタデータと、上記ズームカメラで撮像された撮像データと、当該撮像データに対応する撮像情報が含まれているメタデータとをフレーム単位でデータベースに記録する記録手段と、上記センサーカメラで撮像された撮像データに対応する撮像情報が含まれているメタデータと、上記ズームカメラで撮像された撮像データに対応する撮像情報が含まれているメタデータを生成し、生成した撮像データとメタデータを、撮影のみのときには上記表示手段に供給し、録画のときは上記表示手段と上記記録手段に供給する制御手段とを備え、被写体を撮像し、撮像データをメタデータとともにフレーム単位でデータベースに記録する撮像部と、
撮像画像データと、当該撮像画像データに対応する撮像情報が含まれているメタデータとからなるフレームが記録されている上記データベースから、任意のフレームを抽出するための抽出条件として上記メタデータに含まれている撮像情報を設定する設定手段と、データの記録が可能な記録媒体上の任意の場所を指定する指定手段と、上記設定手段により設定された抽出条件にしたがって上記データベースから任意のフレームを抽出する抽出手段と、上記抽出手段により抽出された上記フレームに含まれている上記撮像画像データ及び当該撮像画像データに対応する撮像情報が含まれているメタデータをそれぞれ所定のデータ形式に変換する変換手段と、上記指定手段により指定された上記任意の場所に、上記変換手段により所定のデータ形式に変換された撮像画像データ及び当該撮像画像データに対応する撮像情報が含まれているメタデータを保存する保存手段とを備え、上記撮像部により撮像されたデータを処理するデータ処理部と
からなるデータ処理装置。
上記設定手段は、上記メタデータに対応する撮像画像データを撮像したときの撮像機器の情報を抽出条件として設定することを特徴とする請求項１記載のデータ処理装置。
上記設定手段は、上記メタデータに対応する撮像画像データを撮像した日時の情報を抽出条件として設定することを特徴とする請求項１記載のデータ処理装置。
上記変換手段は、上記撮像画像データをＪＰＥＧ（Joint Photographic Experts Group）形式のデータに変換し、当該撮像画像データに対応するメタデータをＸＭＬ（extensible markup language）形式のデータに変換することを特徴とする請求項１記載のデータ処理装置。
センサーカメラにより広範囲な撮像を行う第１の撮像工程と、
上記第１の撮像工程で撮像された撮像画像データから動体の検出を行う動体検出工程と、
上記動体検出工程で検出された動体をズームカメラで拡大して撮像を行う第２の撮像工程と、
上記センサーカメラで撮像された撮像データに対応する撮像情報が含まれているメタデータと、上記ズームカメラで撮像された撮像データに対応する撮像情報が含まれているメタデータを生成するメタデータ生成工程と、
上記メタデータ生成工程で生成した撮像データとメタデータを、撮影のみのときには表示手段に供給し、メタデータに基づいて、供給された画像データを順次それぞれのカメラ用表示ウィンドウに表示し、録画のときは上記表示手段と記録手段に供給して、メタデータに基づいて、供給された画像データを順次それぞれのカメラ用表示ウィンドウに表示するとともに、上記第１の撮像工程でセンサーカメラにより撮像された撮像データと、当該撮像データに対応する撮像情報が含まれているメタデータと、上記第２の撮像工程でズームカメラにより撮像された撮像データと、当該撮像データに対応する撮像情報が含まれているメタデータとをフレーム単位で上記データベースに記録する記録工程と、
撮像画像データと、当該撮像画像データに対応する撮像情報が含まれているメタデータとからなるフレームが記録されている上記データベースから、任意のフレームを抽出するための抽出条件を設定する設定工程と、
データの記録が可能な記録媒体上の任意の場所を指定する指定工程と、
上記設定工程により設定された抽出条件にしたがって上記データベースから任意のフレームを抽出する抽出工程と、
上記抽出工程により抽出された上記フレームに含まれている上記撮像画像データ及び当該撮像画像データに対応する撮像情報が含まれているメタデータをそれぞれ所定のデータ形式に変換する変換工程と、
上記指定工程により指定された上記任意の場所に、上記変換工程により所定のデータ形式に変換された撮像画像データ及び当該撮像画像データに対応する撮像情報が含まれているメタデータを保存する保存工程とを備え、
上記設定工程は、上記メタデータに含まれている撮像情報を抽出条件として設定するデータ処理方法。
上記設定工程は、上記メタデータに対応する撮像画像データを撮像したときの撮像機器の情報を抽出条件として設定することを特徴とする請求項５記載のデータ処理方法。
上記設定工程は、上記メタデータに対応する撮像画像データを撮像した日時の情報を抽出条件として設定することを特徴とする請求項５記載のデータ処理方法。
上記変換工程は、上記撮像画像データをＪＰＥＧ（Joint Photographic Experts Group）形式のデータに変換し、当該撮像画像データに対応するメタデータをＸＭＬ（extensible markup language）形式のデータに変換することを特徴とする請求項５記載のデータ処理方法。