JP6159150B2 - 画像処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、記録装置に管理されている画像データに画像処理を施して転送先装置へ転送する画像処理技術に関するものである。

監視及びモニタリングカメラシステムは、監視カメラと、その監視カメラから出力される画像を記録する記録装置と、監視カメラからの画像または記録装置に記録された画像を表示する表示装置とで構成される。監視及びモニタリングカメラシステムにおいては、監視カメラからの画像を記録装置に２４時間、絶え間なく記録する用途がある。さらに、ローカルの記録装置に記録された画像を長期保存する場合には、インターネットを介したネットワークストレージに画像を保管することになるが、その画像のデータ量は非常に膨大なものとなる。

例えば、特許文献１では、撮像された画像フレームからリアルタイムに分割された複数の矩形領域を関心領域と非関心領域とに分けて、それぞれに圧縮レベルを変えて各画像フレームの符号化を実行する構成を開示している。これにより、符号化処理の軽減及び高速化を可能にし、ひいては、保存容量の削減を可能にしている。また、特許文献２では、撮像された画像の監視領域内で動きのあるものが検出されたとき、画像の一部の領域のみが保存されることによって、画像の保存容量を削減するシステムが提案されている。

特開２００６−１０１４７２号公報 特許第４３０８６３３号公報

しかしながら、上記システムでは、監視カメラで撮像された画像に対してリアルタイムで画像解析処理を実行した結果に対して圧縮符号化、または保存されることになる。よって、一度、ローカルの記録装置に記録された画像をネットワークストレージに画像を保管する際に、後から精度の高い画像解析処理を実行した場合の結果に対して、十分に対応できるシステムとは言えない。

本発明は上述の課題を解決するためになされたものであり、画像を保管する際に、保管容量の負荷を軽減しつつも、画像の重要部分のデータの劣化、欠損を防ぐことができる画像処理技術を提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、記録装置に記録されている画像データに符号化処理を施して転送先装置へ転送する画像処理装置であって、
撮像装置で撮像された画像データを解析する解析手段と、
前記解析手段による前記画像データの解析によって得られる解析データから、該画像データの内容を示すサマリー情報を作成する作成手段と、
前記撮像装置で撮像された画像データ、前記解析手段によって得られる解析データ及び前記作成手段によって作成したサマリー情報を前記記録装置に記録する記録手段と、
前記記録装置に記録されている画像データから転送対象の画像データを前記サマリー情報に基づいて取得する取得手段と、
前記取得手段で取得した前記転送対象の画像データに施す符号化処理における符号化パラメータを設定する設定手段と、
前記設定手段で設定した符号化パラメータに従って、前記転送対象の画像データの符号化処理を制御する制御手段と
を備え、
前記作成手段は、前記サマリー情報として、更に、複数の前記撮像装置それぞれで撮像された画像データに対する前記解析手段によって得られる解析データから、同一の識別情報を有するオブジェクトを含む複数の画像データについて、各画像データに含まれるオブジェクト同士が同一のオブジェクトであるである確からしさを示す指数を作成し、
前記取得手段は、前記記録装置に記録されている画像データから前記転送対象の画像データを、前記確からしさを示す指数に基づいて取得する。

本発明によれば、画像を保管する際に、保管容量の負荷を軽減しつつも、画像の重要部分のデータの劣化、欠損を防ぐことができる。

実施形態１のネットワークカメラシステムのブロック構成図である。 実施形態１の記録装置の記録フォルダ構成を示す図である。 実施形態１の記録画像と解析データとの対応関係を示す図である。 実施形態１のサマリー情報の内容の例を示す図である。 実施形態１の画像処理装置の動作を示すフローチャートである。 実施形態２の画像処理装置の動作を示すフローチャートである。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
図１は、本発明が適用されるネットワークカメラシステムを示すブロック構成図である。

ネットワークカメラ１００、ローカルストレージ２００、画像処理装置３００、画像解析サーバ装置４００、及び画像表示装置５００がネットワーク回線であるＬＡＮ６００、さらにインターネットを介してネットワークストレージ７００に接続されている。

撮像装置であるネットワークカメラ１００は、被写体を撮像すると同時に撮像によって得られる画像データに対して、動体検知、動体追尾、人体検知、顔認識、物体検知等の画像解析処理を実行する機能を有する。記録装置であるローカルストレージ２００は、ネットワークカメラ１００で撮像された画像データと同時に画像解析処理が実行された解析データをＬＡＮ６００を介して記録する。

画像処理装置３００は、ローカルストレージ２００に記録された画像データと、それと関連付けられて記録されている解析データを基にして再符号化処理を実行し、ＬＡＮ６００を介して、転送先装置であるネットワークストレージ７００へ転送する。ここで、この画像処理装置３００は、例えば、監視カメラとして機能するネットワークカメラ１００で撮像された画像データを記録装置（ローカルストレージ２００）に記録し、さらに長期保存のため、記録装置に記録された画像データに対し符号化処理を実行する。

画像解析サーバ装置４００は、高速な計算能力を有するであるＣＰＵあるいはＧＰＵ等の演算制御部を備える。画像解析サーバ装置４００は、その演算制御部を利用することによって、ネットワークカメラ１００の内部で実行する画像解析処理よりもさらに上回る能力、機能を有する画像解析処理を実行することができる。

画像表示装置５００は、ローカルストレージ２００に記録された画像データと解析データを重畳して再生を実行する。さらに、画像表示装置５００は、解析データを基にしてイベントシーン等の画像検索の操作を実行するための入力機能も有する。画像表示装置５００は、例えば、ＰＣ（パーソナルコンピュータ）等の情報処理装置を想定している。但し、画像表示装置５００は、ＬＡＮ６００への物理的な接続形態として有線だけでなく、例えば、無線機能を有するタブレット端末のように、無線でＬＡＮ６００へ接続する接続形態の場合もある。いずれにしても、プロトコル的にＬＡＮ６００へ接続されていれば、物理的な形態にこだわるものではない。そして、画像表示装置５００は、ＬＡＮ６００を通じて、インターネットを介し、例えば、クラウドに置かれるようなネットワークストレージ７００へ接続される。

ネットワークカメラ１００、ローカルストレージ２００、画像処理装置３００、画像解析サーバ装置４００、画像表示装置５００、及びネットワークストレージ７００がＬＡＮ６００に接続される数は、図１で示す構成に限定されるものではない。例えば、ＩＰアドレス等の識別情報で互いに機器を識別できる構成であれば、それぞれが複数存在してもかまわないことは言うまでもない。

尚、画像処理装置３００、及び画像解析サーバ装置４００はそれぞれ、その内部に、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶装置、操作部等の各機器を実現する汎用コンピュータが有するハードウェアを有している。加えて、記憶装置には、各機器の動作を制御するためのプログラムが記録されており、ＣＰＵがそのプログラムを実行することにより、各機器の動作を制御することができる。

図１において、ネットワークカメラ１００において、１０１は撮像センサ部であり、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳ等の撮像素子である。１０２は現像処理部であり、撮像センサ部１０１から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を実行し、ＲＧＢあるいはＹＵＶ等のデジタル画像を生成する。また、現像処理部１０２では、現像を施した後のデジタル画像データを用いて所定の演算処理を実行し、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換等の画像処理を実行する。

１０３は画像符号化部であり、現像処理部１０２からのデジタル画像信号を圧縮し符号化する。画像符号化部１０３は、配信用にデジタル画像データの圧縮、フレームレート設定等の各種処理を施す。ここでの配信用の圧縮方式は、例えば、ＭＰＥＧ４、Ｈ．２６４、ＭＪＰＥＧまたはＪＰＥＧ等の圧縮規格に基づいている。さらに、画像符号化部１０３は、ｍｐ４やｍｏｖ形式等の画像データのファイル化も実行する。

１０４は画像解析処理部であり、現像処理部１０２からの画像を用いて背景差分法により動体を検出する。検出した動体の画像フレーム間での位置関係から同定したものに固有の識別ＩＤ（識別情報）を付与することで動体の追尾処理を実行する。識別ＩＤが付与された動体をオブジェクトとする。画像解析処理部１０４は、オブジェクトそれぞれ形状の特徴及び行動特徴のパターンから、人（男性、女性）、動物、不動体、その他の属性をオブジェクトに付与する。さらに、画像解析処理部１０４は、オブジェクトの軌跡がネットワークカメラ１００の撮像範囲（視野範囲）上の特定の場所を通過した状態を示す通過イベント、オブジェクトがその撮像範囲上の同一の場所に所定時間（一定時間）以上滞在した状態を示す置去りイベントを検知する。画像解析処理部１０４は、これらの処理を実行した結果、得られたイベント及びオブジェクトから解析データファイルを作成する。

尚、画像解析処理部１０４の処理内容は、上記のものに限定されず、フレーム間差分法やオプティカルフローを用いた動体追尾等の画像解析処理を実行した上で、解析データを作成するものとすることができる。また、オブジェクトの属性についても、上記のものに限定されるものではなく、エッジ特徴を用いる特定物体検出処理によって、属性を付与することができる。

さらに、画像解析処理部１０４は、解析データから、解析した画像データの内容を示すサマリー情報を作成する。サマリー情報は、解析データの範囲（解析した画像データのフレーム範囲）とイベントの有無とオブジェクトの数とオブジェクトの位置情報から構成され、サマリー情報フィルタの設定に従って作成される。ここで、サマリー情報フィルタとは、サマリー情報に記述する内容を指定するフィルタのことである。１０５はＬＡＮ Ｉ／Ｆ部であり、ローカルストレージ２００のＬＡＮ Ｉ／Ｆ部２０１と連携して、例えば、ＮＦＳやＣＩＦＳ等のネットワークファイルシステムを構築する。

尚、サマリー情報には、上記の構成要素以外に、画像データを構成するフレームのフレーム番号、解析データで解析されるイベント、及びそのイベントの重要度、オブジェクトの属性、形状、位置、大きさ、軌跡等の内の少なくとも１つの情報を含めることができる。イベントの重要度は、上述の通過イベントや置去りイベントの有無や、その滞在時間（一定時間）に基づいて、その重要度を決定する。例えば、一定時間帯における置去りイベント、通過イベントの順にその重要度を高く設定することができる。

ローカルストレージ２００において、２０１はＬＡＮ Ｉ／Ｆ部であり、ネットワークカメラ１００のＬＡＮ Ｉ／Ｆ部１０５あるいは画像解析サーバ装置４００のＬＡＮ Ｉ／Ｆ部３０１と連携してネットワークファイルシステムを構築する。２０２は画像データ蓄積部であり、ネットワークカメラ１００の画像符号化部１０３で符号化されファイル化された画像データファイルがネットワークファイルシステムによって記録される。２０３は解析データ蓄積部であり、ネットワークカメラ１００の画像解析処理部１０４で画像解析処理が実行され、ファイル化された解析データファイルとサマリー情報ファイルがネットワークファイルシステムによって記録される。ここで、解析データファイルとサマリー情報ファイルは、画像解析サーバ装置４００により、ネットワークカメラ１００で撮像されてリアルタイムに画像解析処理を実行できなかった場合やより高度な解析処理が実行されたものである。よって、解析データ蓄積部２０３に記録されている解析データファイルとサマリー情報ファイルは、より精度の高いものとして補完されることになる。

画像処理装置３００は、３０１はＬＡＮ Ｉ／Ｆ部であり、ローカルストレージ２００のＬＡＮ Ｉ／Ｆ部２０１と連携してネットワークファイルシステムを構築する。さらに、ＬＡＮ Ｉ／Ｆ部３０１は、画像符号化部３０５によって再符号化された画像データ及び解析データ、サマリー情報を、ＬＡＮ６００を介してネットワークストレージ７００へ転送する。３０２はサマリー情報取得部であり、ローカルストレージ２００の解析データ蓄積部２０３に記録されているサマリー情報ファイルをネットワークファイルシステムによって取得してサマリー情報を読み取る。サマリー情報取得部３０２は、読み取ったサマリー情報を画像解析処理部３０４に送信する。

３０４は画像解析処理部であり、サマリー情報取得部３０２から受信したサマリー情報を基に関連する画像データに対して、符号化パラメータを決定し、画像復号化部３０３及び画像符号化部３０５へ指示を送信し、再符号化処理を実行する。３０３は画像復号化部であり、ローカルストレージ２００の画像データ蓄積部２０２からネットワークファイルシステムによって取得した画像データファイルを、伸張し復号化してデジタル画像データを生成する。画像復号化部３０３は、復号化したデジタル画像データを画像符号化部３０５に出力する。３０５は画像符号化部であり、画像復号化部３０３で復号化したデジタル画像データを画像解析処理部３０４によって決定された画像データの画像フレームとそれに対応した符号化パラメータによって再符号化する。更に、画像符号化部３０５は、その再符号化した画像データにファイル化を施して、ＬＡＮ Ｉ／Ｆ部３０１経由で、ネットワークストレージ７００へと転送する。

図２は、ローカルストレージ２００の画像データ蓄積部２０２及び解析データ蓄積部２０３に階層化して画像データ（ｍｐ４）ファイル、解析データファイル及びサマリー情報ファイルを記録する場合のフォルダ構成を示す図である。

最上位には記録対象の画像を撮像したネットワークカメラ１００毎に、Ｌａｙｅｒ ０のフォルダを作成する。次に、同一のネットワークカメラ１００からの画像データファイル及び解析データファイルを記録する場合は、Ｌａｙｅｒ １及びＬａｙｅｒ ２のフォルダを１つ作成する。それぞれのフォルダ名は作成した順に０００から９９９までの数字とする。

次に、最下位層のＬａｙｅｒ ３に画像データファイル及び解析データファイルを記録する。この画像データファイル及び解析データファイルは予め設定されたフレーム数（例えば、１０フレーム）毎に、１つのファイルを作成する。さらに、このフォルダ内に記録されている画像データと解析データに対するサマリー情報を記録したサマリー情報ファイル「Ｍｅｔａ．ｓｕｍｍａｒｙ３」を記録する。そして、階層毎に階層サマリー情報Ｍｅｔａ．ｓｕｍｍａｒｙ０〜Ｍｅｔａ．ｓｕｍｍａｒｙ２を作成する。

以降、ファイルを追加するとき、予め設定された階層上限数に従い、Ｌａｙｅｒ ２の最も大きな数字のフォルダ名のファイル数が階層上限数より小さい場合、そのフォルダにファイルを記録する。一方で、階層上限数を超える場合、Ｌａｙｅｒ ２に新規フォルダを作成し、追加対象のファイルを記録する。

但し、Ｌａｙｅｒ ２のフォルダ名の数字が９９９を超えた場合、Ｌａｙｅｒ １に新規のフォルダを作成して、そのフォルダ下に、Ｌａｙｅｒ １及びＬａｙｅｒ ２のフォルダを同様に作成してファイルを記録する。Ｌａｙｅｒ １のファイル名の数字が階層上限数である９９９を超える場合、Ｌａｙｅｒ １の０００フォルダを削除し、０００フォルダに同様にファイルを記録する。以降は、同様に削除した上で記録を繰り返す。そして、新たな画像データが記録され、フォルダが作成される毎に、各々の該当する階層のサマリー情報を更新させていく。図２では、例えば、１０ｆｐｓの画像フレームを１０枚１つのファイルで６つのファイルをＬａｙｅｒ ２の１つのフォルダ（０００フォルダ）に記録し、１分毎にフォルダを作成する例を示している。

図３は、画像データをｍｐ４ファイル、解析データを連結ファイルとして記録したときのファイル構成図である。

画像データファイルのヘッダー部分である「Ｍｏｖｉｅ Ｈｅａｄｅｒ」はＭＰ４ＢＯＸ構造である。その後に、画像データの各フレームがＦｒａｍｅ［０］、．．．、Ｆｒａｍｅ［ｎ］として連続して配置される。

解析データファイルは、ヘッダー部分（Ｍｅｔａｄａｔａ Ｈｅａｄｅｒ）を先頭に、配置し、以降にネットワークカメラ１００の画像解析処理部３０４で作成された解析データ（Ｍｅｔａｄａｔａ［０］、．．．、Ｍｅｔａｄａｔａ［ｎ］）を連続して配置したものである。

尚、図３に示す構成の画像データファイル及び解析データファイルの名前は同一、拡張子は別として記録する。これにより画像データと解析データの対応付け（関連付け）をとる。さらに、解析データファイルを記録するとき、サマリー情報を作成及び更新する。

図４は、サマリー情報のＸＭＬ形式による記述例である。

このサマリー情報は、サマリー情報フィルタに、解析データの範囲、イベントの有無、オブジェクトの属性及び数、オブジェクトの位置を設定した上で作成した場合の例を示している。

＜ｅｖｅｎｔ＞〜＜／ｅｖｅｎｔ＞の部分は、イベントの有無を示す記述である。イベントの有無は、記録された解析データの範囲（解析された画像データのフレーム範囲（フレーム番号）内での通過イベント（＜ｔｒｉｐｗｉｒｅ＞）もしくは置去りイベント（＜ａｂａｎｄｏｎｅｄ＞）の数である。

＜ｏｂｊｅｃｔ＞〜＜／ｏｂｊｅｃｔ＞の部分は、オブジェクトの数を示す記述である。オブジェクトの数は、記録された解析データの範囲内でのオブジェクトを属性（「ｍａｌｅ」、「ｆｅｍａｌｅ」、「ａｎｉｍａｌ」）毎にカウントした数である。

＜ａｒｅａ＞〜＜／ａｒｅａ＞の部分は、オブジェクトの位置情報を示す記述である。オブジェクトの位置情報は、記録された解析データの範囲内において存在するオブジェクト毎に管理され、各オブジェクトは、その識別ＩＤ（＜ａｒｅａ ｉｄ＝＞）で管理される。そして、各オブジェクトの具体的な位置情報は、各オブジェクトについて発生しているイベント毎に、撮像範囲上でオブジェクトを検出した位置（＜ｘ０＞、＜ｙ０＞、＜ｘ１＞、＜ｙ１＞）の和集合で表現される。

次に、実施形態１のネットワークカメラシステムの動作の詳細を説明する。

図５は実施形態１のネットワークカメラシステムの画像処理装置３００の動作を示すフローチャートである。

まず、画像処理装置３００を動作させるにあたって、画像処理装置３００は、図２に示されているＬａｙｅｒの内、どのＬａｙｅｒのサマリー情報を基に再符号化の制御を実行するかを設定する（ステップＳ１）。

一方で、ネットワークカメラ１００で撮像が開始され、撮像によって得られた画像データに対する画像解析処理を画像解析処理部１０４で実行される。次に、画像符号化部１０３で符号化されファイル化された画像データファイルが、ＬＡＮ６００を介して、ローカルストレージ２００の画像データ蓄積部２０２に順次、記録される。さらに、同時に画像解析処理部１０４で画像解析処理が実行され、作成された解析データとそのサマリー情報が、ＬＡＮ６００を介して、ローカルストレージ２００の解析データ蓄積部２０３に順次、記録される。そして、記録された解析データファイル及びサマリー情報は、その後、画像解析サーバ装置４００により、補完処理を実行する。

画像解析サーバ装置４００による補完処理が完了すると、画像処理装置３００は、画像解析サーバ装置４００よりその完了の通知を受信する（ステップＳ２）。画像処理装置３００は、その通知に基づいて、完了した補完処理が自身に設定されているＬａｙｅｒに対するものである否かを確認する（ステップＳ３）。設定されているＬａｙｅｒに対するものでない場合（ステップＳ３でＮＯ）、画像処理装置３００は、再度、画像解析サーバ装置４００からの補間処理の完了の通知を待機する。

尚、ここでの確認は、その通知に、自身に設定されているＬａｙｅｒに対するサマリー情報が示されているか否で確認する。

一方、設定されているＬａｙｅｒに対するものである場合（ステップＳ３でＹＥＳ）、サマリー情報取得部３０２は、ローカルストレージ２００の解析データ蓄積部２０３より該当するＬａｙｅｒのサマリー情報ファイルを取得する（ステップＳ４）。サマリー情報取得部３０２は、取得したサマリー情報の内容を読み取り、画像解析処理部３０４に送信する。画像解析処理部３０４は、受信したサマリー情報に記述されている解析データの範囲、イベントの有無、オブジェクトの属性及び数、オブジェクトの位置等の情報を解析する（ステップＳ５）。そして、画像解析処理部３０４は、解析結果に基づいて、解析データの範囲に対応する画像データ（画像フレーム）群から、重要部分の画像データ（画像フレーム）を抽出する（ステップＳ６）。

尚、重要部分の画像データは、サマリー情報で記述されるイベントの有無や、イベントの種類、イベントの数に基づいて抽出する。例えば、通過イベントや置去りイベントが発生している画像データ、特定の種類のイベントが発生している画像データ、発生している所定数以上のイベントが発生している画像データ等を重要部分の画像データとして抽出する。

次に、画像解析処理部３０４は、抽出した重要部分の画像データと、それ以外の部分である非重要部分の画像データをそれぞれ再符号化処理を実行する上での符号化パラメータを設定する（ステップＳ７）。画像解析処理部３０４は、設定した符号化パラメータを該当する画像データ（画像フレーム）の範囲とともに画像復号化部３０３及び画像符号化部３０５へ送信する。尚、画像解析処理部３０４は、例えば、重要部分の画像データは低圧縮による高解像度の画像データに、非重要部分の画像データは高圧縮による低解像度の画像データになるように符号化パラメータを設定する。ここで、低圧縮及び高圧縮とは、所定圧縮率よりも低いあるいは高い圧縮率による圧縮を意味する。また、低下解像度及び高解像度とは、所定解像度よりも低いあるいは高い解像度を意味する。

画像復号化部３０３は、サマリー情報に基づいて、転送先装置であるネットワークストレージ７００への転送対象となる画像データファイルをローカルストレージ２００の画像データ蓄積部２０２より取得する（ステップＳ８）。そして、画像復号化部３０３は、取得した画像データファイルに復号化処理を施し、得られる画像データを画像符号化部３０５へ送信する。

画像符号化部３０５は、設定された符号化パラメータに従って、受信した画像データの再符号化処理を実行する（ステップＳ９）。この時、ローカルストレージ２００の画像データ蓄積部２０２に記録されていた画像データが画像符号化部３０５に設定された符号化パラメータと同一である場合、再符号化処理を実行しないようにしてもよい。

そして、画像符号化部３０５は、再符号化した画像データにファイル化を施して、ＬＡＮ Ｉ／Ｆ部３０１経由で、ネットワークストレージ７００へ転送する（ステップＳ１０）。

尚、ネットワークストレージ７００へ転送する画像データファイルは、例えば、その後、画像表示装置５００で再生して表示する際に、より高解像度の画像データが優先的に再生されるように並べた画像データで構成されても良い。つまり、重要部分の画像データが、非重要部分の画像データよりも優先的に再生表示されるように、画像データファイルを構成しても良い。

また、この画像データファイルには、再生中の画像データにおいて、その再生中の画像データよりもより高解像度で符号化処理が施された他の画像データが存在する場合には、その他の画像データが存在することを示す画像を重畳表示するための画像データを挿入しても良い。

以上説明したように、実施形態１によれば、ローカルストレージに記録された画像をネットワークストレージに画像データを保管する際に、保管容量の負荷を軽減しつつも、画像の重要部分のデータの劣化、欠損を防ぐことができる。

＜実施形態２＞
実施形態２では、実施形態１のシステム構成で、複数台のネットワークカメラ１００で構成されるネットワークカメラシステムの動作の詳細を説明する。

図６は複数台のネットワークカメラ１００で構成されるネットワークカメラシステムの画像処理装置３００の動作を示すフローチャートである。

まず、画像処理装置３００の動作をさせるにあたって、画像処理装置３００は、設置されているネットワークカメラの内、どのカメラのサマリー情報を基に再符号化の制御を実行するか設定をする（ステップＳ１１）。即ち、図２に示されているＬａｙｅｒの内、Ｌａｙｅｒ０のサマリー情報の中のどのカメラについての情報を基に再符号化の制御を実行するかの設定である。そして、実施形態１と同様の動作とともに画像解析サーバ装置４００による解析データファイル及びサマリー情報の補完処理が実行される。

画像解析サーバ装置４００による補完処理が完了すると、画像処理装置３００は、画像解析サーバ装置４００よりその完了の通知を受信する（ステップＳ１２）。画像処理装置３００は、その通知に基づいて、完了したが補完処理が自身に設定されているカメラに対するものであるか否かを確認する（ステップＳ１３）。設定されているカメラに対するものでない場合（ステップＳ１３でＮＯ）、画像処理装置３００は、再度、画像解析サーバ装置４００からの補間処理の完了の通知を待機する。

一方、設定されているカメラに対するものである場合（ステップＳ１３でＹＥＳ）、サマリー情報取得部３０２は、ローカルストレージ２００の解析データ蓄積部２０３よりＬａｙｅｒ０のサマリー情報ファイルを取得する（ステップＳ１４）。サマリー情報取得部３０２は、取得したサマリー情報の内容を読み取り、画像解析処理部３０４に送信する。画像解析処理部３０４は、受信したサマリー情報に記述されている設定されている複数のカメラに関する解析データの範囲、イベントの有無、オブジェクトの属性及び数、オブジェクトの位置等の情報を検索して、オブジェクトの識別ＩＤをリストアップする（ステップＳ１５）。

そして、画像解析処理部３０４は、検索したオブジェクトの識別ＩＤ毎に被写体として撮像されているオブジェクトを含む画像データを検索する（ステップＳ１６）。画像解析処理部３０４は、検索した画像データからオブジェクトの識別ＩＤ毎に認識された照合指数の最も高い画像データと、それ以外の画像データとに分けて抽出する。そして、画像解析処理部３０４は、照合指数の最も高い画像データを重要部分の画像データとして、それ以外の画像データを非重要部分の画像データとして抽出する。そして、画像解析処理部３０４は、重要部分の画像データと非重要部分の画像データそれぞれを再符号化処理を実行する上での符号化パラメータを設定する（ステップＳ１７）。

尚、照合指数とは、異なる画像データに含まれるオブジェクト間で、そのオブジェクト同士が同一のオブジェクトである確からしさを示す指数を意味する。そして、オブジェクトの識別ＩＤ毎に認識された照合指数の最も高い画像データとは、撮像された被写体（オブジェクト）として写りが一番いい画像データとなる。例えば、人物であれば、より正面に向いていて顔画像がより認識される画像（照合指数が高い画像）となる。また、よりフォーカスの合っている画像も照合指数のより高い画像データとなる。また、照合指数については、事前に画像解析処理部３０４によって算出しておき、これをサマリー情報の１つとして管理しておいても良い。

そして、画像解析処理部３０４は、設定した符号化パラメータを該当する画像データの範囲とともに画像復号化部３０３及び画像符号化部３０５へ送信する。尚、画像解析処理部３０４は、この時も、重要部分の画像データは低圧縮による高解像度の画像データに、非重要部分の画像データは高圧縮による低解像度の画像データになるように符号化パラメータを設定する。

画像復号化部３０３は、サマリー情報に基づいて、該当する画像データファイルをローカルストレージ２００の画像データ蓄積部２０２より取得する（ステップＳ１８）。そして、画像復号化部３０３は、取得した画像データファイルに復号化処理を施し、得られる画像データを画像符号化部３０５へ送信する。

画像符号化部３０５は、設定されたパラメータに従って、受信した画像データの再符号化処理を実行する（ステップＳ１９）。尚、実施形態１と同様に、ローカルストレージ２００の画像データ蓄積部２０２に記録されていた画像データが画像符号化部３０５に設定された符号化パラメータと同一である場合、再符号化処理を実行しないようにしてもよい。

そして、画像符号化部３０５は、再符号化した画像データにファイル化を施して、ＬＡＮ Ｉ／Ｆ部３０１経由で、ネットワークストレージ７００へ転送する（ステップＳ２０）。

以上説明したように、実施形態２によれば、複数のカメラそれぞれで撮像した画像データについても、実施形態１の効果と同様の効果を得ることができる。

＜その他の実施形態＞
実施形態１及び２では、ローカルストレージ２００に記録された符号化画像データを、一旦、復号した上で再符号化し、その再符号化画像データをネットワークストレージ７００へ転送する構成としているが、これに限定されない。つまり、ローカルストレージ２００に記録される画像データが符号化されていない場合でも、その画像データについて、実施形態１あるいは実施形態２の構成を適用して、符号化パラメータを設定し、その符号化パラメータに従って符号化した画像データを、ネットワークストレージ７００へ転送するようにしても良い。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。従って、画像処理装置３００、画像解析サーバ装置４００は一つの機器で構成されてもよい。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 記録装置に記録されている画像データに符号化処理を施して転送先装置へ転送する画像処理装置であって、
   撮像装置で撮像された画像データを解析する解析手段と、
   前記解析手段による前記画像データの解析によって得られる解析データから、該画像データの内容を示すサマリー情報を作成する作成手段と、
   前記撮像装置で撮像された画像データ、前記解析手段によって得られる解析データ及び前記作成手段によって作成したサマリー情報を前記記録装置に記録する記録手段と、
   前記記録装置に記録されている画像データから転送対象の画像データを前記サマリー情報に基づいて取得する取得手段と、
   前記取得手段で取得した前記転送対象の画像データに施す符号化処理における符号化パラメータを設定する設定手段と、
   前記設定手段で設定した符号化パラメータに従って、前記転送対象の画像データの符号化処理を制御する制御手段と
   を備え、
   前記作成手段は、前記サマリー情報として、更に、複数の前記撮像装置それぞれで撮像された画像データに対する前記解析手段によって得られる解析データから、同一の識別情報を有するオブジェクトを含む複数の画像データについて、各画像データに含まれるオブジェクト同士が同一のオブジェクトであるである確からしさを示す指数を作成することを特徴とする画像処理装置。
2. 前記取得手段は、前記サマリー情報に基づいて、前記記録装置に記録されている画像データから、前記指数が最も高い画像データを重要部分の画像データとして取得し、それ以外の画像データを非重要部分の画像データとして取得し、
   前記設定手段は、前記重要部分の画像データについては、高解像度の画像データとなるような符号化処理を行うための符号化パラメータを設定し、前記非重要部分の画像データについては、低解像度の画像データとなるような符号化処理を行うための符号化パラメータを設定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記符号化処理を施す複数の画像データを再生する場合に、より高解像度の画像データが優先的に再生されるように構成された画像データファイルを生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 記録装置に記録されている画像データに符号化処理を施して転送先装置へ転送する画像処理装置であって、
   撮像装置で撮像された画像データを解析する解析手段と、
   前記解析手段による前記画像データの解析によって得られる解析データから、該画像データの内容を示すサマリー情報を作成する作成手段と、
   前記撮像装置で撮像された画像データ、前記解析手段によって得られる解析データ及び前記作成手段によって作成したサマリー情報を前記記録装置に記録する記録手段と、
   前記記録装置に記録されている画像データから転送対象の画像データを前記サマリー情報に基づいて取得する取得手段と、
   前記取得手段で取得した前記転送対象の画像データに施す符号化処理における符号化パラメータを設定する設定手段と、
   前記設定手段で設定した符号化パラメータに従って、前記転送対象の画像データの符号化処理を制御する制御手段と
   を備え、
   前記制御手段は、前記符号化処理を施す複数の画像データを再生する場合に、再生中の画像データにおいて、その再生中の画像データよりもより高解像度で符号化処理が施された他の画像データが存在する場合には、その他の画像データが存在することを示す画像を重畳表示するための画像データを含む、前記複数の画像データからなる画像データファイルを生成する
   ことを特徴とする画像処理装置。
5. 記録装置に記録されている画像データに符号化処理を施して転送先装置へ転送する画像処理装置の制御方法であって、
   撮像装置で撮像された画像データを解析する解析工程と、
   前記解析工程による前記画像データの解析によって得られる解析データから、該画像データの内容を示すサマリー情報を作成する作成工程と、
   前記撮像装置で撮像された画像データ、前記解析工程によって得られる解析データ及び前記作成工程によって作成したサマリー情報を前記記録装置に記録する記録工程と、
   前記記録装置に記録されている画像データから転送対象の画像データを前記サマリー情報に基づいて取得する取得工程と、
   前記取得工程で取得した前記転送対象の画像データに施す符号化処理における符号化パラメータを設定する設定工程と、
   前記設定工程で設定した符号化パラメータに従って、前記転送対象の画像データの符号化処理を制御する制御工程と
   を備え、
   前記作成工程では、前記サマリー情報として、更に、複数の前記撮像装置それぞれで撮像された画像データに対する前記解析工程で得られる解析データから、同一の識別情報を有するオブジェクトを含む複数の画像データについて、各画像データに含まれるオブジェクト同士が同一のオブジェクトであるである確からしさを示す指数を作成することを特徴とする画像処理装置の制御方法。
6. 前記取得工程では、前記サマリー情報に基づいて、前記記録装置に記録されている画像データから、前記指数が最も高い画像データを重要部分の画像データとして取得し、それ以外の画像データを非重要部分の画像データとして取得し、
   前記設定工程では、前記重要部分の画像データについては、高解像度の画像データとなるような符号化処理を行うための符号化パラメータを設定し、前記非重要部分の画像データについては、低解像度の画像データとなるような符号化処理を行うための符号化パラメータを設定する
   ことを特徴とする請求項５に記載の画像処理装置の制御方法。
7. 記録装置に記録されている画像データに符号化処理を施して転送先装置へ転送する画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
   前記コンピュータを、
   撮像装置で撮像された画像データを解析する解析手段と、
   前記解析手段による前記画像データの解析によって得られる解析データから、該画像データの内容を示すサマリー情報を作成する作成手段と、
   前記撮像装置で撮像された画像データ、前記解析手段によって得られる解析データ及び前記作成手段によって作成したサマリー情報を前記記録装置に記録する記録手段と、
   前記記録装置に記録されている画像データから転送対象の画像データを前記サマリー情報に基づいて取得する取得手段と、
   前記取得手段で取得した前記転送対象の画像データに施す符号化処理における符号化パラメータを設定する設定手段と、
   前記設定手段で設定した符号化パラメータに従って、前記転送対象の画像データの符号化処理を制御する制御手段と
   して機能させ、
   前記作成手段は、前記サマリー情報として、更に、複数の前記撮像装置それぞれで撮像された画像データに対する前記解析手段によって得られる解析データから、同一の識別情報を有するオブジェクトを含む複数の画像データについて、各画像データに含まれるオブジェクト同士が同一のオブジェクトであるである確からしさを示す指数を作成することを特徴とするプログラム。
8. 前記取得手段は、前記サマリー情報に基づいて、前記記録装置に記録されている画像データから、前記指数が最も高い画像データを重要部分の画像データとして取得し、それ以外の画像データを非重要部分の画像データとして取得し、
   前記設定手段は、前記重要部分の画像データについては、高解像度の画像データとなるような符号化処理を行うための符号化パラメータを設定し、前記非重要部分の画像データについては、低解像度の画像データとなるような符号化処理を行うための符号化パラメータを設定する
   ことを特徴とする請求項７に記載のプログラム。

Images