JP6368149B2 - 画像伝送システム、画像処理装置、画像蓄積装置、及びそれらの制御方法 - Google Patents

Description

本発明は、画像や画像内の領域に関する情報を取り扱う技術に関するものである。

画像の領域分割処理は、画像内の類似した画素をまとめて領域として分割することで画像の構造的特徴を捉える事ができるため、物体検出やシーン分析、領域毎の画像処理（ノイズ削減処理など）の前処理として広く用いられている。なお、画像の領域分割処理は、セグメンテーション、スーパーピクセル分割とも呼ばれることがある。画像の領域分割の手法としては、クラスタリング手法による方法、平均値シフト、領域成長法、分割統合法、グラフベースの手法など様々な手法が提案されている。中でも特許文献１に述べられているk平均クラスタリングによる手法は、処理負荷が軽く、高速実行に向いている。k平均クラスタリングによる手法に関しては、これをさらに高速化するために、非特許文献１、非特許文献２に述べられているSLICや非特許文献３に述べられているgSLICという手法がある。

一方、領域分割処理結果の表現方法としては、図１(a)に示すラベルマップがある。ラベルマップは、画素毎にその画素の属する領域を識別するための領域ラベル（通常、番号）を格納したもので、画素数分のデータ格納領域を必要とする。このラベルマップを格納するためのデータ領域の削減には、特許文献２に示されたようにラベルマップをビットプレーン単位にJBIG圧縮する方式や、特許文献３に示されたように縮小と２値画像符号化を組み合わせて圧縮する方式がある。

特開平8-30787号公報 特開平9-98295号公報 特開平10-4549号公報

Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi,Pascal Fua, Sabine Susstrunk, "SLIC Superpixels", EPFL Technical Report, 2010 Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi,Pascal Fua, Sabine Susstrunk, "SLIC Superpixels Compared to State-of-the-Art Superpixel Methods", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, num. 11, p.2274-2282, 2012 Carl Yuheng Ren, Ian Reid, "gSLIC: a real-time implementation of SLIC superpixel segmentation", Technical report, Dept of Engineering Science, University of Oxford, 2011

ネットワークカメラとサーバから成る画像伝送システムにおいて、ネットワークカメラ内で実行した領域分割処理の結果をサーバに伝送して利用しようとする場合、領域分割処理結果をどういう形式で伝送するかが課題となる。もし、図１(a)のラベルマップの形式でデータを伝送すると、画像サイズ分のデータ転送が必要となり、伝送帯域を非常に多く使ってしまう。特許文献２、特許文献３に記載されたラベルマップの圧縮技術を用いれば、伝送データ量を数10分の1に抑えることができるが、伝送帯域はさらに減らせる限り減らすことが望ましい。

また、カメラ内部で領域分割を行い、その結果を用いて処理を行う場合にも、領域分割結果を保持して置くためのメモリサイズ、および、領域分割結果を読み出して使う際のメモリ転送帯域が同様に課題となる。また、画像データを蓄積する装置において、画像と共に領域分割結果をメタデータとして蓄積しておく場合、蓄積のための記憶領域サイズが同様に課題となる。

本発明は、このような問題に鑑みてなされたものであり、より少ない情報量で画像伝送を可能にする技術を提供する。

本発明の一様態は、画像伝送システムであって、
画像データと前記画像データに対応する領域分割の領域代表点を送信する送信装置と、
前記送信装置の送信した前記画像データと前記領域代表点を受信する受信装置を有し、
前記送信装置は、リサイズされた画像データとリサイズ前の画像データに対する領域代表点を送信し、
前記受信装置は、前記リサイズされた画像データと前記リサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成することを特徴とする。

本発明の構成によれば、より少ない情報量で画像伝送を可能にすることができる。

ラベルマップとシードとを示す図。 システムの構成例を示すブロック図。 Ｓｕｐｅｒｐｉｘｅｌ生成部２０４が行う処理を説明する図。 Ｓｕｐｅｒｐｉｘｅｌ生成部２０４が行う処理のフローチャート。 ラベル生成部２１０が行う処理を説明する図。 ラベル生成部２１０が行う処理のフローチャート。 システムの構成例を示すブロック図。 ラベルマップを示す図。 シード計算部７０３が行う処理のフローチャート。 システムの構成例を示すブロック図。 カメラ１１０１の構成例を示すブロック図。 カメラ１２０１の構成例を示すブロック図。 カメラ１３０１の構成例を示すブロック図。 画像蓄積装置１４０１の構成例を示すブロック図。 画像蓄積装置１５０１の構成例を示すブロック図。 画像蓄積装置１６０１の構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係るシステム（画像伝送システム）の構成例について、図２のブロック図を用いて説明する。図２に示す如く、本実施形態に係るシステムは、送信装置としてのネットワークカメラ２０１と受信装置としてのサーバ装置２０７とを有し、ネットワークカメラ２０１とサーバ装置２０７との間は、ＬＡＮやインターネットなどの伝送路２０６を介して接続されている。

先ず、ネットワークカメラ２０１について説明する。

撮影部２０２は現実空間の動画像若しくは静止画像を撮像するものであり、撮像した画像（動画像の場合は各フレームの画像、静止画像の場合は該静止画像そのもの）は、後段の符号化部２０３及びＳｕｐｅｒｐｉｘｅｌ生成部２０４に送出される。

符号化部２０３は、撮影部２０２から送出された画像に対して符号化処理を行って符号化画像を生成し、該符号化画像を後段の送信部２０５に対して送出する。なお、符号化部２０３が採用する符号化方式は特定の符号化方式に限るものではない。なお、この符号化処理は必須の処理ではなく、符号化部２０３は、撮影部２０２から送出された画像を符号化せずにそのまま出力しても良い。

Ｓｕｐｅｒｐｉｘｅｌ生成部２０４は、撮影部２０２から送出された画像に対してＳｕｐｅｒｐｉｘｅｌ生成処理（領域分割処理）を行って該画像を複数の領域に分割し、領域毎に該領域の代表点（シード）と該領域とを関連づける情報（シードデータ）を生成して後段の送信部２０５に送出する。

送信部２０５は、符号化部２０３から送出された符号化画像と、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４から送出された領域毎のシードデータと、を伝送路２０６を介してサーバ装置２０７に対して送信する。

次に、サーバ装置２０７について説明する。

受信部２０８は、伝送路２０６を介してネットワークカメラ２０１から送信された符号化画像及び領域毎のシードデータを受信し、符号化画像は復号化部２０９に対して送出し、領域毎のシードデータはラベル生成部２１０に対して送出する。

復号化部２０９は、符号化画像を復号して復号画像を生成し、該復号画像を後段のラベル生成部２１０に対して送出する。もちろん、ネットワークカメラ２０１側で撮像画像に対して符号化処理を行っていない場合には、符号化画像ではなく撮像画像そのものがネットワークカメラ２０１から送信されるので、この場合、復号化部２０９はこの撮像画像をそのまま復号画像として後段のラベル生成部２１０に対して送出する。

ラベル生成部２１０は、復号化部２０９から送出された復号画像に対して、受信部２０８から受信したシードデータを用いてラベリング処理を行い、該復号画像と該ラベリング処理の結果と、を後段の領域処理部２１５に対して送出する。

領域処理部２１５は、ラベル生成部２１０から送出された復号画像及びラベリング処理の結果を用いて、該復号画像内のラベル毎の領域に対してカテゴリ（例えば、人物、山、など）の認識を行い、その結果を出力する。

ここで、ラベル生成部２１０についてより詳細に説明する。

シード管理部２１３は、受信部２０８から送出された領域毎のシードデータをシードバッファ２１２に格納する。

距離計算部２１１は、復号化部２０９から送出された復号画像を構成する画素毎に、シードバッファ２１２に格納されているシードデータに対応するシードとの間の距離を計算する。

ラベル決定部２１４は、距離計算部２１１による計算結果に基づいて、復号画像を構成する画素毎に、該画素に対応するシードを特定し、該シードに対応するラベルを該画素に対応づけて出力する。

次に、領域処理部２１５についてより詳細に説明する。

領域別ヒストグラム計算部２１６は、ラベル決定部２１４から送出された復号画像とラベルとを用いて、ラベル毎に、該ラベルに対応する画素群のヒストグラム（画素値のヒストグラム）を、ヒストグラムメモリ２１７を利用しながら作成する。そして領域別ヒストグラム計算部２１６は、ヒストグラムを作成するたびに、該ヒストグラムを後段の領域カテゴリ認識部２１８に対して送出する。

領域カテゴリ認識部２１８は、領域別ヒストグラム計算部２１６から送出された領域毎のヒストグラムを用いて、該領域に対するカテゴリ判別を行う。カテゴリ判別の方法としては、ルールベースの手法、ニューラルネットを用いた方法、SVMなどの判別器を用いた方法など種々の手法が適用可能である。

次に、上記のＳｕｐｅｒｐｉｘｅｌ生成部２０４が行う処理について、同処理のフローチャートを示す図４を用いて説明する。なお、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４は、図４のフローチャートに従った処理を開始する前に、撮像画像を構成する各画素について、以下の式（１）に示すような５次元ベクトルを生成する。

式（１）に示したｐｉは、撮像画像においてｉ（ｉ＝１、…、Ｍ：Ｍは撮像画像の総画素数）番目の画素（画素ｉ）に対するベクトルを表しており、画素ｉの座標位置（ｘｉ、ｙｉ）と、該座標位置（ｘｉ、ｙｉ）のCIELAB色空間における画素値ｌｉ、ａｉ、ｂｉと、を要素として含むベクトルである。

然るに、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４は、ベクトルｐｉを生成する場合、（ｘｉ、ｙｉ）にはそれぞれ画素ｉのｘ座標値、ｙ座標値を設定し、画素値ｌｉ、ａｉ、ｂｉにはそれぞれ、該座標位置（ｘｉ、ｙｉ）におけるＬ値、ａ値、ｂ値を設定する。

＜ステップＳ４０１＞
先ず、撮影部２０２から送出された画像（以下、撮像画像）を、複数の矩形領域に分割し、各矩形領域内に１つの代表点、即ちシードを設定する。例えば、図３（ａ）に示す如く、撮像画像３０１を縦４個×横６個の計２４個の矩形領域３０２に分割し、且つそれぞれの矩形領域３０２内に１つのシード３０３を設定する。

そして、撮像画像内のｊ（ｊ＝１、…、Ｎ：Ｎは矩形領域数で、図３（ａ）の場合はＮ＝２４）番目の矩形領域（矩形領域ｊ）内に設定されたシード（シードｊ）に対するベクトルＣｊを初期化する。ベクトルＣｊは、以下の式（２）に示すような５次元のベクトルである。

具体的には、ベクトルＣｊは、撮像画像内におけるシードｊの座標位置（ｘｊ、ｙｊ）と、該座標位置（ｘｊ、ｙｊ）のCIELAB色空間における画素値ｌｊ、ａｊ、ｂｊと、を要素として含むベクトルである。然るにこのベクトルＣｊの初期化では、（ｘｊ、ｙｊ）にはそれぞれ、撮像画像内におけるシードｊのｘ座標値、ｙ座標値を設定し、画素値ｌｊ、ａｊ、ｂｊにはそれぞれ、該座標位置（ｘｊ、ｙｊ）におけるＬ値、ａ値、ｂ値を設定する。このようなベクトルＣｊの初期化を、ｊ＝１〜Ｎについて行うことで、各シードに対するベクトルを初期化することができる。また、各シードのベクトルには、該シードが属する矩形領域を示す情報を割り当てる。例えば、図３（ａ）の場合、左上隅の矩形領域中のシードのベクトルＣ１には、左上隅の矩形領域の識別情報（例えば領域ＩＤ＝１）を割り当てる。

なお、ここでは、非特許文献１、２、３に合わせてCIELAB色空間を用いて説明しているが、Superpixel生成に使用する色空間として、RGB色空間やYCC色空間など他の色空間を使用してもよい。

また、本ステップでは、以下の処理で用いる変数ｉを１に初期化する。

＜ステップＳ４０２＞
撮像画像からｉ番目の画素を選択画素（画素ｉ）として選択する。撮像画像からの画素の選択順については特定の選択順に限るものではないが、例えば図３（ｂ）の点線３０４で示す如く、ラスタスキャン順で選択しても良い。

＜ステップＳ４０３＞
ステップＳ４０１において生成されたそれぞれの矩形領域のうち、画素ｉが属する矩形領域を特定すると共に、該特定した矩形領域に隣接する８個の矩形領域を特定する。そしてこの特定した９個の矩形領域のそれぞれに対応するシード（候補代表点）のうち未選択のシードを選択する。図３（ｂ）の場合、選択画素３０５を含む矩形領域及び該矩形領域に隣接する８個の矩形領域から成る３×３の矩形領域（太い破線３０６で囲った矩形領域群）中のシードは黒丸３０７〜３１５で示しており、そのうちの未選択のシードを取得する。

＜ステップＳ４０４＞
ステップＳ４０２で選択した画素ｉのベクトルｐｉと、ステップＳ４０３で選択したシードのベクトルと、を用いて以下の式（３）〜（６）を計算する（式（３）〜（６）では、ステップＳ４０３で選択したシードのベクトルをＣｊとしている）。

この計算により、画素ｉと、ステップＳ４０３で選択したシードと、の間の特徴空間における距離測度Ｄを計算する。距離測度Dは、式(3)に示す色空間上のユークリッド距離dc、式(4)に示す座標空間上のユークリッド距離dsを用いて、式(5)により計算できる。ここで、グリッド間隔Sは画素数Nと領域数Kから、式(6)により決まり、mはdcとdsの重みづけを行うパラメータである。なお、ここでは、非特許文献２に示された距離測度Dを示したが、距離測度の式はこの式に限定されるものではなく、他の式による計算であってもよい。

＜ステップＳ４０５＞
画素ｉについてこれまでに求めた距離測度Ｄのうち、今回ステップＳ４０４で求めた距離測度Ｄが最小である場合には、ステップＳ４０３で選択したシードを画素ｉに割り当てる。

＜ステップＳ４０６＞
画素ｉを含む矩形領域及び該矩形領域に隣接する８個の矩形領域のそれぞれに対応するシードを全て選択したか否かを判断する。この判断の結果、全て選択した場合には、処理はステップＳ４０７に進み、未選択のシードが残っている場合には、処理はステップＳ４０３に戻る。

＜ステップＳ４０７＞
撮像画像を構成する全ての画素を選択画素として選択したか否かを判断する。すなわち、変数ｉの値がＭに達したか否かを判断する。この判断の結果、全ての画素を選択した場合には、処理はステップＳ４０８に進み、未選択の画素が残っている場合には、変数ｉの値を１つインクリメントして処理はステップＳ４０２に戻る。

＜ステップＳ４０８＞
ステップＳ４０８に処理が進んだ時点で、撮像画像を構成する各画素には、何れかのシードが割り当てられていることになる。然るに本ステップでは、シード毎に、該シードが割り当てられているそれぞれの画素のベクトル中の座標位置を用いて平均座標位置を求め、該シードのベクトル中の座標位置を該平均座標位置で更新する。更に本ステップでは、シード毎に、該シードが割り当てられているそれぞれの画素のベクトル中の画素値を用いて平均画素値を求め、該シードのベクトル中の画素値を該平均画素値で更新する（ｌ、ａ、ｂのそれぞれについて）。

これにより、図３（ｃ）に示す如く、それぞれのシードの座標位置は更新され、場合によっては、シードは、元々属していた矩形領域の外に移動する。しかし、非特許文献３に述べられたgSLICでは、各シードとそのシードが属するブロックの対応関係は固定されており、選択画素の座標位置が与えられた場合に、図３(b)のように対応づけられる９個のシードの対応関係は決まっている。

本実施形態の場合、それぞれのシードのベクトルは、該シードが元々属していた矩形領域と関連づけられているので、シードの位置がどのように変更されようとも、該シードが元々属していた矩形領域との関連づけは変化しない。図３（ｃ）では、シードと該シードが元々属していた矩形領域との間に点線を付している。

＜ステップＳ４０９＞
ステップＳ４０８によるそれぞれのシードの座標位置の変更量が規定量以下となったか、あるいはクラスタリングのディストーション値が一定以下になったか、ステップＳ４０２〜Ｓ４０８の処理を規定回数以上実行したか、等の収束条件が満たされたか否かを判断する。この判断の結果、収束条件が満たされた場合には、処理はステップＳ４１０に進み、収束条件が満たされていない場合には、変数ｉの値を１に初期化した後、処理はステップＳ４０２に戻る。

＜ステップＳ４１０＞
シード毎に、該シードのベクトルと、該シードが属する矩形領域の識別情報と、を含むシードデータを生成し、該生成したシードデータを、後段の送信部２０５に対して送出する。

次に、ラベル生成部２１０が行う処理について、同処理のフローチャートを示す図６を用いて説明する。なお、ラベル生成部２１０は、図６のフローチャートに従った処理の開始前に、復号化部２０９から送出された復号画像を構成する各画素について、上記のベクトルｐｉを生成する。

＜ステップＳ６０１＞
シード管理部２１３は、受信部２０８が受信したシードデータをシードバッファ２１２に格納する。なお、ネットワークカメラ２０１からサーバ装置２０７へのシードデータの転送単位やシードバッファ２１２への格納単位は特定の格納単位に限るものではない。すなわち、画像全体のシードデータをネットワークカメラ２０１から受け取ってシードバッファ２１２に格納しても良いし、シードバッファ２１２の容量単位でシードデータをネットワークカメラ２０１から受信してシードバッファ２１２に格納するようにしても構わない。以下ではネットワークカメラ２０１側で１枚の撮像画像に対して生成したシードデータを一度に取得してシードバッファ２１２に格納した場合について説明する。例えば、図５（ａ）に示す如く、撮像画像５０１内の４×６の矩形領域５０３のそれぞれに対するシード５０２のシードデータがシードバッファ２１２に格納されたものとする。上記の通り、シードによっては、例えば右下のいくつかの矩形領域のようにシードは対応づけられた矩形領域の内部にあるとは限らない。

本ステップでは更に、距離計算部２１１は、以下の処理で用いる変数ｉの値を１に初期化する。

＜ステップＳ６０２＞
距離計算部２１１は、復号化部２０９から送出された復号画像からｉ番目の画素を選択画素（画素ｉ）として選択する。復号画像からの画素の選択順については特定の選択順に限るものではないが、例えば図５（ｂ）の点線で示す如く、ラスタスキャン順で選択しても良い。

＜ステップＳ６０３＞
距離計算部２１１は先ず、復号画像を複数の矩形領域に分割する。この分割処理は上記のステップＳ４０１における分割と同様の処理である。なお、撮像画像上の各矩形領域と復号画像上の各矩形領域とで、同位置にある矩形領域には同じ識別情報が割り当てられるものとする。しかし、一方の画像と他方の画像とで同じ位置にある矩形領域を特定することができるのであれば、同じ識別情報でなくても良い。

そして距離計算部２１１は、それぞれの矩形領域のうち、画素ｉが属する矩形領域を特定すると共に、該特定した矩形領域に隣接する８個の矩形領域を特定する。そして距離計算部２１１は、この特定した９個の矩形領域のそれぞれの識別情報を含むシードデータのうち未選択のシードデータをシードバッファ２１２から取得する。図５（ｂ）の場合、選択画素５０４を含む矩形領域及び該矩形領域に隣接する８個の矩形領域から成る３×３の矩形領域（太い破線５０５で囲った矩形領域群）中のシードは白丸５０６〜５１４で示しており、そのうちの未選択のシードのシードデータを取得する。

なお、黒丸５１５が示すシードは上記の９個の矩形領域から成る領域内に位置しているものの、このシードはこの９個の矩形領域以外の矩形領域内のシードが移動してきたものであるため、このシードのシードデータは選択されない。

＜ステップＳ６０４＞
距離計算部２１１は、画素ｉのベクトルｐｉと、ステップＳ６０３で選択したシードデータ内のベクトルと、を用いて上記の式（３）〜（６）を計算する（式（３）〜（６）では、ステップＳ６０３で選択したシードデータ内のベクトルをＣｊとしている）。この計算により、画素ｉと、ステップＳ６０３で選択したシードデータに対応するシードと、の間の距離測度Ｄを計算する。なお、ここでは、非特許文献２に示された距離測度Dを示したが、距離測度の式はこの式に限定されるものではなく、他の式による計算であってもよい。

＜ステップＳ６０５＞
ラベル決定部２１４は、画素ｉについてこれまでに求めた距離測度Ｄのうち、今回ステップＳ６０４で求めた距離測度Ｄが最小である場合には、ステップＳ６０３で選択したシードデータを画素ｉに割り当てる（図５（ｃ））。

＜ステップＳ６０６＞
距離計算部２１１は、画素ｉを含む矩形領域及び該矩形領域に隣接する８個の矩形領域のそれぞれの識別情報を含むシードデータを全て選択したか否かを判断する。この判断の結果、全て選択した場合には、処理はステップＳ６０７に進み、未選択のシードデータが残っている場合には、処理はステップＳ６０３に戻る。

＜ステップＳ６０７＞
ラベル決定部２１４は、復号画像と、画素ｉに割り当てられているシードデータに対応するラベル値と、を出力する。

＜ステップＳ６０８＞
距離計算部２１１は、撮像画像を構成する全ての画素を選択画素として選択したか否かを判断する。すなわち、変数ｉの値がＭに達したか否かを判断する。この判断の結果、全ての画素を選択した場合には、図６のフローチャートに従った処理は終了し、未選択の画素が残っている場合には、変数ｉの値を１つインクリメントして処理はステップＳ６０２に戻る。

このように、本実施形態では、ネットワークカメラ２０１からサーバ装置２０７へは、図１（ａ）に示したような、画素毎のラベルを記したラベルマップではなく、画素数よりも少ない数のシード（図１（ｂ））のベクトルと該シードが属する分割領域の情報とを含むシードデータを送信する。そして、サーバ装置２０７は、このシードデータを用いて、ネットワークカメラ２０１から送信された画像に対する領域分割処理を実施することができる。すなわち、本実施形態によれば、図１（ａ）に示したようなラベルマップよりも少ないデータ量で領域分割処理を実現することができる。そのため、伝送路２０６における伝送帯域も削減することができる。

なお、本実施形態では、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４が取り扱う画像は符号化前（圧縮前）の画像（撮像画像）で、サーバ装置２０７へはこの撮像画像を符号化して送信している。ここで、この符号化に非可逆符号化を適用した場合、サーバ装置２０７側で復号した復号画像とＳｕｐｅｒｐｉｘｅｌ生成部２０４が取り扱っている画像とは必ずしも一致せず、サーバ装置２０７のラベル生成部２１０で得られるラベルは、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４における領域分割結果と厳密には一致しない。ただ、極端に画質が劣化するような圧縮がかかっていなければ、ラベル生成部２１０において実用的に使用可能なレベルの領域分割結果が得られる。

あるいは、符号化部２０３は符号化した画像を復号したローカル復号画像を生成し、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４はこのローカル復号画像を用いてシードデータを生成しても構わない。これにより、符号化部２０３において非可逆符号化を行っても、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４の領域分割結果とラベル生成部２１０の領域分割結果を一致させることができる。

ネットワークカメラ２０１とサーバ装置２０７とが同じ方法で画像分割を行うために、ネットワークカメラ２０１側で画像分割に利用したパラメータ(K, S, m等)を、符号化画像及びシードデータに加えてサーバ装置２０７に対して送信しても良い。然るに距離計算部２１１は、このパラメータを用いることで、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４が行った画像分割と同じ方法で画像分割を行うことができる。

また、距離測度Dとして非特許文献２とは異なる式を用いる場合には、その式に固有のパラメータをネットワークカメラ２０１からサーバ装置２０７に送信し、サーバ装置２０７側でこのパラメータを用いても構わない。

また、本実施形態では、領域処理部２１５は同じラベルの領域毎にカテゴリ認識を行うものとして説明したが、該領域に対する処理はこれに限るものではなく、領域情報を用いた物体検出、シーン判別、領域別画像処理など他の処理を行うようにしても構わない。

［第２の実施形態］
本実施形態に係るシステムの構成例について、図７のブロック図を用いて説明する。なお、図７において、図２に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

第１の実施形態では、ネットワークカメラ２０１側（Ｓｕｐｅｒｐｉｘｅｌ生成部２０４）とサーバ装置２０７側（ラベル生成部２１０）とで同じ領域分割アルゴリズムを採用していた。本実施形態では、ネットワークカメラ７０１側とサーバ装置２０７側とでそれぞれ異なる領域分割アルゴリズムを採用する点が第１の実施形態と異なる。

ネットワークカメラ７０１においてＳｕｐｅｒｐｉｘｅｌ生成部７０２は、撮影部２０２から送出された撮影画像に対して、例えば、平均値シフト、領域成長法、分割統合法、グラフベースの手法などの手法を用いて領域分割を行い、分割した領域毎に異なるラベルを割り当てることで、図８（ａ）に示すようなラベルマップを生成する。

シード計算部７０３は、Ｓｕｐｅｒｐｉｘｅｌ生成部７０２が生成したラベルマップと、撮影部２０２による撮像画像と、を用いて、ラベル毎の領域のベクトルＣｊを生成する。

シード計算部７０３が行う処理について、同処理のフローチャートを示す図９を用いて説明する。

＜ステップＳ９０１＞
先ず、以下の処理で、ラベル毎に座標位置の合計値及び色要素の合計値を求めるために用いる変数配列SUM[label][element]を全て０に初期化する。「label」は、Ｓｕｐｅｒｐｉｘｅｌ生成部７０２において使用したラベルを表し、図８（ａ）の場合はlabel＝１〜１２となる。一方、「element」は、画素数を表すＮ、ｘ座標値を表すＸ、ｙ座標値を表すＹ、Ｌ値を表すｌ、ａ値を表すａ、ｂ値を表すｂ、である。また、本ステップでは、以下の処理で用いる変数ｉを１に初期化する。

＜ステップＳ９０２＞
撮像画像からｉ番目の画素を選択画素（画素ｉ）として選択する。撮像画像からの画素の選択順については特定の選択順に限るものではないが、例えば、ラスタスキャン順で選択しても良い。

＜ステップＳ９０３＞
画素ｉのラベル値Ｌをラベルマップから読み出す。

＜ステップＳ９０４＞
ＳＵＭ［Ｌ］［Ｎ］の値を１つインクリメントして、ラベルＬの画素数を計数する。また、ＳＵＭ［Ｌ］［Ｘ］に格納されている値（ｘ座標値）に画素ｉのｘ座標値を加算した結果を再度ＳＵＭ［Ｌ］［Ｘ］に格納することで、ラベルＬの画素のｘ座標値を累積する。また、ＳＵＭ［Ｌ］［Ｙ］に格納されている値（ｙ座標値）に画素ｉのｙ座標値を加算した結果を再度ＳＵＭ［Ｌ］［Ｙ］に格納することで、ラベルＬの画素のｙ座標値を累積する。

＜ステップＳ９０５＞
撮像画像から画素ｉのＬ値、ａ値、ｂ値を読み出す。なお、撮像画像の色空間がＬａｂ色空間以外である場合には、撮像画像から読み出した画素ｉの画素値をＬ値、ａ値、ｂ値に変換する。

＜ステップＳ９０６＞
ＳＵＭ［Ｌ］［ｌ］に格納されている値（Ｌ値）に画素ｉのＬ値を加算した結果を再度ＳＵＭ［Ｌ］［ｌ］に格納することで、ラベルＬの画素のＬ値を累積する。また、ＳＵＭ［Ｌ］［ａ］に格納されている値（ａ値）に画素ｉのａ値を加算した結果を再度ＳＵＭ［Ｌ］［ａ］に格納することで、ラベルＬの画素のａ値を累積する。また、ＳＵＭ［Ｌ］［ｂ］に格納されている値（ｂ値）に画素ｉのｂ値を加算した結果を再度ＳＵＭ［Ｌ］［ｂ］に格納することで、ラベルＬの画素のｂ値を累積する。

＜ステップＳ９０７＞
撮像画像を構成する全ての画素を選択画素として選択したか否かを判断する。すなわち、変数ｉの値がＭに達したか否かを判断する。この判断の結果、全ての画素を選択した場合には、処理はステップＳ９０８に進み、未選択の画素が残っている場合には、変数ｉの値を１つインクリメントして処理はステップＳ９０２に戻る。

＜ステップＳ９０８＞
変数Ｌの値を１に初期化する。

＜ステップＳ９０９＞
変数配列ＳＥＥＤ［Ｌ］［Ｘ］に、ＳＵＭ［Ｌ］［Ｘ］／ＳＵＭ［Ｌ］［Ｎ］の値、即ち、ラベルＬを有する画素の平均ｘ座標値を格納する。また、変数配列ＳＥＥＤ［Ｌ］［Ｙ］に、ＳＵＭ［Ｌ］［Ｙ］／ＳＵＭ［Ｌ］［Ｎ］の値、即ち、ラベルＬを有する画素の平均ｙ座標値を格納する。また、変数配列ＳＥＥＤ［Ｌ］［ｌ］に、ＳＵＭ［Ｌ］［ｌ］／ＳＵＭ［Ｌ］［Ｎ］の値、即ち、ラベルＬを有する画素の平均Ｌ値を格納する。また、変数配列ＳＥＥＤ［Ｌ］［ａ］に、ＳＵＭ［Ｌ］［ａ］／ＳＵＭ［Ｌ］［Ｎ］の値、即ち、ラベルＬを有する画素の平均ａ値を格納する。また、変数配列ＳＥＥＤ［Ｌ］［ｂ］に、ＳＵＭ［Ｌ］［ｂ］／ＳＵＭ［Ｌ］［Ｎ］の値、即ち、ラベルＬを有する画素の平均ｂ値を格納する。

＜ステップＳ９１０＞
変数Ｌの値を１つインクリメントする。

＜ステップＳ９１１＞
変数Ｌの値が、ラベルマップにおいて使用されている最大ラベル値（図８（ａ）の場合は最大ラベル値は１２）を超えているか否かを判断する。この判断の結果、超えている場合には、処理はステップＳ９１２に進み、超えていない場合には、処理はステップＳ９０９に戻る。

＜ステップＳ９１２＞
処理がステップＳ９１２に進んだ時点で、ラベル毎に、該ラベルを有する画素の平均画素位置（ｘ座標値、ｙ座標値）、平均色（Ｌ値、ａ値、ｂ値）が求まったことになる。図８（ｂ）に領域分割結果とシード（分割領域の重心点）を示す。

以上の処理により、ラベルＬごとに、ＳＥＥＤ［Ｌ］［Ｘ］、ＳＥＥＤ［Ｌ］［Ｙ］、ＳＥＥＤ［Ｌ］［ｌ］、ＳＥＥＤ［Ｌ］［ａ］、ＳＥＥＤ［Ｌ］［ｂ］、を要素とするベクトルを規定することができるため、以降は第１の実施形態と同様となる。

なお、図９のフローチャートで計算されたシードに関しては、図３(c)の破線で示したような矩形領域との対応関係が無い。しかし、シードを平均座標位置により並べて、適宜分割領域と対応付けることにより、ラベル生成部２１０で第１の実施形態と同様に、gSLICと同様の方式による領域分割が可能となる。あるいは、シードと分割領域の対応づけをせず、ラベル生成部２１０で、非特許文献１、非特許文献２記載のSLICのように現画素の近傍位置にあるシードを求めて、距離比較を行い、領域分割を行ってもよい。

なお、本実施形態では、ラベル生成部２１０で用いる色空間としてCIELAB色空間を用いて説明しているが、RGB色空間やYCC色空間など他の色空間を使用しても構わない。

［第３の実施形態］
本実施形態に係るシステムの構成例について、図１０のブロック図を用いて説明する。なお、図１０において上記の実施形態で説明した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

第１の実施形態では、ネットワークカメラ２０１側のＳｕｐｅｒｐｉｘｅｌ生成部２０４が取り扱う画像のサイズと、送信部２０５が送信する画像のサイズと、は同じであった。本実施形態では、両者の画像サイズが異なっている点が違いである。

リサイズ部１００２は、撮影部２０２による撮像画像に対して拡大処理若しくは縮小処理を行ってそのサイズが変倍された撮像画像を生成する。然るに符号化部１００３は、このリサイズ部１００２により変倍された撮像画像に対して符号化処理を行って符号化画像を生成する。

送信部１００４は、Ｓｕｐｅｒｐｉｘｅｌ生成部２０４によるシードデータに加えて、符号化部２０３による符号化画像及び／又は符号化部１００３による符号化画像を、伝送路２０６を介してサーバ装置１００５に対して送信する。

サーバ装置１００５が第１の実施形態のサーバ装置２０７と異なる点は、ラベル生成部１００６は、ネットワークカメラ１００１から変倍された撮像画像を受信した場合には、この変倍に対応したラベル生成を行うことにある。

変倍率ｒ倍でリサイズされた画像（復号化部２０９による復号画像）から選択した選択画素（画素ｉ）と、該画像を第１の実施形態と同様にして分割したそれぞれの矩形領域のうち画素ｉが属する矩形領域及び該矩形領域に隣接する８個の矩形領域のそれぞれに対応するシードから選択した選択シードと、の間のリサイズされた座標空間におけるユークリッド距離d’sは以下の式（７）で表される。さらに、このとき、リサイズ前の画像に対する距離測度に換算した値が得られるような距離測度Dは以下の式（８）で表される。

変倍対応距離計算部１００７は、上記の式（３）、（６）、（７）、（８）を計算することで、リサイズ前の画像の領域分割と同様の領域分割をリサイズ後の画像に対して行うことが可能となる（式（３）、（６）、（７）、（８）では、選択シードのベクトルをＣｊとしている）。

このように、本実施形態によれば、ネットワークカメラ１００１からリサイズされた画像を送る場合であっても、元画像サイズに対応するシードデータを送ることで、該リサイズされた画像とシードデータとからラベル生成部１００６により領域分割結果が得られるので、本実施形態においても、第１の実施形態と同様に、伝送路２０６における伝送帯域を削減することができる。

なお、本実施形態では、原画像から１種類の変倍画像を生成する例を説明したが、それぞれ異なる変倍率で変倍した変倍画像を生成してサーバ装置１００５に送信するようにしても構わない。その場合であっても、元画像サイズに対応するシードデータと変倍率があれば、ラベル生成部１００６によりリサイズ前の画像と同様の領域分割結果を得ることができる。なお、この変倍率は、サーバ装置１００５側で改めて入力しても構わないし、ネットワークカメラ１００１からサーバ装置１００５に対して送信しても構わない。

［第４の実施形態］
本実施形態に係るカメラ１１０１の構成例について、図１１のブロック図を用いて説明する。係るカメラは、画像データに対して領域分割を行い領域分割の領域代表点を出力する領域分割機能と、領域代表点を保持するデータ保持機能と、領域代表点に対する画像データを保持する画像データ保持機能と、画像データ保持機能により保持する画像データとデータ保持機能により保持する領域代表点を読み出して領域ラベルを生成するラベル生成機能と、領域ラベルを用いた処理を行う領域処理機能を有し、領域処理機能は、ラベル生成機能により生成した領域ラベルを用いて処理を行う。

センサ部１１０２は、ＣＭＯＳセンサなど外界の光を画像信号に変換して出力するものであり、現像部１１０３はこの画像信号をディジタルデータとしての撮像画像に変換し、該変換した撮像画像を画像データ１１１５としてメモリ部１１１４に格納する。

メモリ部１１１４は、様々なデータを格納するための領域を提供するものであり、データの読み書きが適宜可能なメモリである。

Ｓｕｐｅｒｐｉｘｅｌ生成部１１０４は、第１の実施形態におけるＳｕｐｅｒｐｉｘｅｌ生成部２０４と同様の動作を行うものであり、メモリ部１１１４に画像データ１１１５として格納された撮像画像を読み出し、該撮像画像から領域毎のシードデータ１１１６を生成し、該生成したシードデータ１１１６をメモリ部１１１４に格納する。すなわちＳｕｐｅｒｐｉｘｅｌ生成部１１０４は、図４のフローチャートに従った処理を行うことになる。

ラベル生成部１１０５は、第１の実施形態におけるラベル生成部２１０と同様の動作を行うものであり、メモリ部１１１４から画像データ１１１５とシードデータ１１１６とを読み出してラベリング処理を行い、該画像データ１１１５とラベリング処理の結果とを領域処理部１１１０に対して送出する。すなわちラベル生成部１１０５は、図６のフローチャートに従った処理を行うことになる。

領域処理部１１１０は、画像データ１１１５とラベリング処理の結果とを用いて、画像データ１１１５が表す撮像画像内のラベル毎の領域に対してカテゴリ（例えば、人物、山、など）の認識を行い、その結果を領域カテゴリ認識結果１１１７としてメモリ部１１１４に格納する。

次に、ラベル生成部１１０５についてより詳細に説明する。

シード管理部１１０８は、メモリ部１１１４から読み出した領域毎のシードデータをシードバッファ１１０７に格納する。

距離計算部１１０６は、メモリ部１１１４から読み出した画像データ１１１５が表す撮像画像を構成する画素（画像データ中の各画素）毎に、シードバッファ１１０７に格納されているシードデータに対応するシードとの間の距離を計算する。

ラベル決定部１１０９は、距離計算部１１０６による計算結果に基づいて、撮像画像を構成する画素毎に、該画素に対応するシードを特定し、該シードに対応するラベルを該画素に対応づけて出力する。

次に、領域処理部１１１０についてより詳細に説明する。

領域別ヒストグラム計算部１１１１は、ラベル決定部１１０９から送出された撮像画像とラベルとを用いて、ラベル毎に、該ラベルに対応する画素群のヒストグラム（画素値のヒストグラム）を、ヒストグラムメモリ１１１２を利用しながら作成する。そして領域別ヒストグラム計算部１１１１は、ヒストグラムを作成するたびに、該ヒストグラムを後段の領域カテゴリ認識部１１１３に対して送出する。

領域カテゴリ認識部１１１３は、領域別ヒストグラム計算部１１１１から送出された領域毎のヒストグラムを用いて、該領域に対するカテゴリ判別を行う。カテゴリ判別の方法としては、ルールベースの手法、ニューラルネットを用いた方法、SVMなどの判別器を用いた方法など種々の手法が適用可能である。

このように、本実施形態によれば、ラベル生成部１１０５の生成したラベルはメモリ部１１１４にラベルマップとして格納されること無く、領域処理部１１１０で使用される。このため、メモリ部１１１４にラベルマップ（あるいは圧縮ラベルマップ）を置く場合と比べてメモリの使用量を削減でき、また、メモリ部１１１４へのアクセス帯域を低減することができる。

なお、Ｓｕｐｅｒｐｉｘｅｌ生成部１１０４で用いた領域分割のためのパラメータ(K, S, m等)をメモリ部１１１４にパラメータとして保持しておき、ラベル生成部１１０５でこのパラメータをメモリ部１１１４から読み込んで使用してもよい。距離測度Dとして非特許文献２とは異なる式を用いる場合には、その式に固有のパラメータをメモリ部に格納して、ラベル生成処理に使用してもよい。

また、本実施形態においては、領域処理部１１１０の処理として領域毎のカテゴリ認識を行っているが、領域処理の内容はこれに限定されるものではなく、領域情報を用いた物体検出、シーン判別、領域別画像処理など他の処理であってもよい。また、図１１においては、領域処理部１１１０は一つだけ示されているが複数あっても良く、また、一つの領域処理部１１１０を複数回動作させてもよい。

また、図１１においては、Superpixel生成部１１０４とラベル生成部１１０５は別々に示されているが、図４、図６のフローチャートを比較してわかるように両者は共通の処理を含む。従って、Superpixel生成部１１０４が行う処理とラベル生成部１１０５が行う処理とで共通の処理については新たに設けた機能部に実行させるようにしても構わない。この場合、Ｓｕｐｅｒｐｉｘｅｌ生成部１１０４及びラベル生成部１１０５は、この機能部による結果を用いて、上記共通の処理以外の処理を実行することになる。あるいは、Superpixel生成部１１０４とラベル生成部１１０５の両方の処理ができる一つの処理部を設けてもよい。

［第５の実施形態］
本実施形態に係るカメラ１２０１の構成例について、図１２のブロック図を用いて説明する。図１２において上記の実施形態で説明した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。第４の実施形態では、Superpixel生成部１１０４とラベル生成部１１０５とで同じ領域分割アルゴリズムを使用していたが、本実施形態では、両者のアルゴリズムが異なっている。

Superpixel生成部１２０２は、ラベル生成部１１０５とは異なる領域分割アルゴリズムを用いて画像データ１１１５に対する領域分割処理を行う。例えば、平均値シフト、領域成長法、分割統合法、グラフベースの手法などの手法を用いて画像の領域分割を行う。

シード計算部１２０３は、第２の実施形態におけるシード計算部７０３と同様の動作を行うものであり、Ｓｕｐｅｒｐｉｘｅｌ生成部１２０２が生成したラベルマップと、画像データ１１１５が表す撮像画像と、を用いて、ラベル毎の領域のベクトルＣｊを生成する。すなわち、シード計算部１２０３は、図９のフローチャートに従った処理を行うことになる。

なお、図９のフローチャートで計算されたシードに関しては、図３(c)の破線で示したような矩形領域との対応関係が無い。しかし、シードを平均座標位置により並べて、適宜、矩形領域と対応付けることにより、ラベル生成部１１０５で第１の実施形態と同様に、gSLICと同様の方式による領域分割が可能となる。あるいは、シードと矩形領域の対応づけをせず、ラベル生成部１１０５で、非特許文献１、非特許文献２記載のSLICのように現画素の近傍位置にあるシードを求めて、距離比較を行い、領域分割を行ってもよい。

以降は第４の実施形態と同様であり、ラベル生成部１１０５において、シード計算部１２０３が求めたシードデータを用いてラベルが決定され、そのラベルを用いて領域処理部１１１０が領域カテゴリ認識を行う。

このように、本実施形態によれば、ラベル生成部１１０５の生成したラベルはメモリ部１１１４にラベルマップとして格納されること無く、領域処理部１１１０で使用される。このため、メモリ部１１１４にラベルマップ（あるいは圧縮ラベルマップ）を置く場合と比べてメモリの使用量を削減でき、また、メモリ部１１１４へのアクセス帯域を低減することができる。

［第６の実施形態］
本実施形態に係るカメラ１３０１の構成例について、図１３のブロック図を用いて説明する。図１３において上記の実施形態で説明した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

第４の実施形態では、Ｓｕｐｅｒｐｉｘｅｌ生成部１１０４が取り扱う画像のサイズとラベル生成部１１０５が取り扱う画像のサイズとは同じであった。本実施形態では、両者の画像サイズが異なっている点が違いである。

リサイズ部１３０２は、現像部１１０３によってメモリ部１１１４に格納された画像データ１１１５を読み出し、該読み出した画像データ１１１５が表す撮像画像に対して拡大処理若しくは縮小処理を行ってそのサイズが変倍された撮像画像をリサイズ画像１３０５として生成する。そしてリサイズ部１３０２は、このリサイズ画像１３０５をメモリ部１１１４に格納する。

変倍対応距離計算部１３０４は、リサイズ画像１３０５をメモリ部１１１４から読み出し、該読み出したリサイズ画像１３０５を用いて、変倍対応距離計算部１００７と同様の動作を行う。

このように、本実施形態によれば、カメラ内部においてリサイズされた画像を処理する場合であっても、元画像サイズに対応するシードデータを保持しておけば、ラベル生成部１３０３によりリサイズされた画像に対する領域分割結果が得られる。このため、メモリの使用量を削減でき、また、メモリ部１１１４へのアクセス帯域を低減することができる。

なお、本実施形態では、原画像から１種類の変倍画像を生成する例を説明したが、それぞれ異なる変倍率で変倍した変倍画像を生成しても構わない。その場合であっても、元画像サイズに対応するシードデータと変倍率があれば、ラベル生成部１３０３によりリサイズ前の画像と同様の領域分割結果を得ることができる。なお、この変倍率は、改めて入力しても構わないし、メモリ部１１１４に格納しておいてラベル生成部１３０３が必要時に適宜読み出して使用しても構わない。

［第７の実施形態］
本実施形態に係る画像蓄積装置１４０１の構成例について、図１４のブロック図を用いて説明する。図１４において上記の実施形態で説明した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。画像蓄積装置１４０１は、ビデオデータと対応するメタデータを蓄積し、ユーザからの指示に従ってデータの検索、分析、再生する機能を持つ装置である。

蓄積部１４０２は、ビデオデータ１４０３−１〜１４０３−Ｎおよび各ビデオデータに対応するメタデータ１４０５−１〜１４０５−Ｎを蓄積しており、これらの蓄積されているデータはユーザからの要求に応じて適宜読み出される。各ビデオデータには、１枚以上の画像（フレームまたはフィールド）に対応するデータ１４０４が圧縮または非圧縮の形式で格納されている。各メタデータ内において、画像１枚（フレームまたはフィールド）に対応づけられるデータは、画像との対応付けを行うためのタイムスタンプやフレーム番号等の情報１４０６とその対応づけられた画像に関するメタデータ情報１４０７からなっている。図１４の例では、メタデータ１４０５−１に含まれる最初のメタデータはフレーム番号１、次のメタデータはフレーム番号３、その次のメタデータはフレーム番号５に対応するメタデータ情報を含んでいる。本実施形態においては、Superpixel生成部１４１０で生成したシードデータが対応するメタデータ情報１４０７の中に格納されている。なお、メタデータ情報は、ビデオデータ中の全ての画像（フレームまたはフィールド）に対して格納してもよいし、あるいは一部の画像に対してだけ格納してもよい。

制御部１４０８は、画像蓄積装置１４０１全体の動作制御を行うものであり、例えば、ユーザからの設定指示や実行指示に応じた処理を実行若しくは制御する。

蓄積部１４０２へのビデオデータの蓄積に関しては、ユーザからの設定あるいは指示に従って、受信部１４０９が外部からビデオデータを受け取り、該ビデオデータ内の各画像のデータは記録部１４１１により蓄積部１４０２に蓄積される。また、受信部１４０９は該ビデオデータ内の各画像のデータを復号化部１４２１にも送り、復号化部１４２１は受けたそれぞれの画像を復号して復号画像を生成する。Ｓｕｐｅｒｐｉｘｅｌ生成部１４１０は復号化部１４２１により復号された復号画像から領域毎のシードデータを生成する。記録部１４１１はこの領域毎のシードデータをメタデータとして蓄積部１４０２に蓄積する。

なお、本実施形態では、外部からビデオデータだけを受け取り、Superpixel生成部１４１０でシードデータを生成して蓄積部１４０２に蓄積する例を示しているが、外部で既にシードデータが計算されている場合には、そのシードデータをそのまま蓄積してもよい。

ビデオデータの再生に関しては、再生部１４１６が蓄積部１４０２から直接ビデオデータを読み出して再生することも可能であるが、ビデオデータの領域毎にカテゴリに応じたフィルタをかけて画質を改善して再生する場合について説明する。

まず、ビデオデータの領域毎のカテゴリを決定するために、シード抽出部１４１２は蓄積部１４０２からシードデータを読み出してラベル生成部２１０及び領域処理部２１５に供給し、ラベル生成部２１０及び領域処理部２１５により領域毎のカテゴリを認識する。そして、外部から再生するビデオデータを指定する指示が入力されると、制御部１４０８は以下に説明する各機能部を動作させる。これにより復号化部１４２２は指定されたビデオデータを蓄積部１４０２から読み出して復号し、復号した各フレームの復号画像をラベル生成部２１０に送出する。また、シード抽出部１４１２は蓄積部１４０２から対応するメタデータを読み出し、該読み出したメタデータの中からシードデータを抽出してラベル生成部２１０に送出する。ラベル生成部２１０は復号画像に対してシードデータを用いてラベリング処理を行い、該復号画像と該ラベリング処理の結果と、を後段の領域処理部２１５に対して送出する。領域処理部２１５は、ラベル生成部２１０から送出された復号画像と及びラベリング処理の結果を用いて、該復号画像内のラベル毎の領域に対してカテゴリ（例えば、人物、山、など）の認識を行い、その結果を出力する。

フィルタ部１４１３は、ラベル生成部２１０から復号画像とラベル、領域処理部２１５から領域（ラベル）に対応するカテゴリを受け取り、カテゴリ別に適したフィルタ係数を選択して画像にフィルタをかけ、出力する。

カテゴリ別フィルタ計算部１４１４は、現在処理中の画素のラベルから対応するカテゴリを求めて、フィルタ係数セット格納部１４１５に格納された複数のフィルタ係数の中から対応するフィルタ係数を選択し、該選択したフィルタ係数を用いてフィルタ処理を実行する。

再生部１４１６は、フィルタ部１４１３でフィルタ処理された画像を再生する。

ビデオデータの分析に関しては、ユーザからの設定または指示に従い、分析対象となるビデオデータに対して、再生時と同様に復号化部１４２２、シード抽出部１４１２、ラベル生成部２１０、領域処理部２１５が動作して、領域毎のカテゴリ認識を行う。シーン分析部１４１７は領域毎のカテゴリ認識結果を使ってさらに画像全体、あるいはビデオ全体でみたときの分析を行い、分析結果を分析結果通知部１４１８に送る。分析結果通知部１４１８は、ユーザに対して分析結果を通知する。

ビデオデータの検索に関しては、ユーザからの設定または指示に従い、検索対象となるビデオデータに対して、領域毎のカテゴリ認識、シーン分析を行う。このとき、再生時と同様に復号化部１４２２、シード抽出部１４１２、ラベル生成部２１０、領域処理部２１５、シーン分析部１４１７が動作する。検索部１４１９は、蓄積部１４０２に格納された元々のメタデータ、領域カテゴリ認識結果、シーン分析結果から検索条件に従って検索を行い、結果を検索結果通知部１４２０に送る。検索結果通知部１４２０は、ユーザに対して検索結果を通知する。

このように、本実施形態によれば、メタデータとしてラベルマップを蓄積しなくても領域分割結果を利用した再生・分析・検索が可能となり、蓄積部１４０２においてメタデータを蓄積するための容量を低減することができる。

なお、本実施形態では、ビデオデータとは別にメタデータの中にシードデータを格納して蓄積する例を示したが、シードデータを格納する場所は、ビデオデータの中であってもよい。例えば、ビデオデータ中の各画像（フレームまたはフィールド）のヘッダ情報の一部としてシードデータを格納してもよい。

また、Superpixel生成部１４１０で用いた領域分割のためのパラメータ(K, S, m等)について、これをメタデータの一部として蓄積しておき、ラベル生成部２１０の実行時に読み出して利用してもよい。距離測度Dとして非特許文献２とは異なる式を用いる場合には、その式に固有のパラメータを蓄積しておき、ラベル生成処理に使用してもよい。

また、本実施形態においては、領域処理部２１５の処理として領域毎のカテゴリ認識を行っているが、領域処理の内容はこれに限定されるものではなく、領域情報を用いた物体検出、シーン判別、領域別画像処理など他の処理であってもよい。また、本実施形態においては、ビデオデータを蓄積する場合を例にとって説明したが、多量の静止画データをメタデータに関連付けて蓄積する場合であっても構わない。

［第８の実施形態］
本実施形態に係る画像蓄積装置１５０１の構成例について、図１５を用いて説明する。なお、図１５において上記の実施形態で説明した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。第７の実施形態では、Superpixel生成部１４１０とラベル生成部２１０とで同じ領域分割アルゴリズムを使用していたが、本実施形態では、両者のアルゴリズムが異なっている。

画像蓄積装置１５０１において、Superpixel生成部１５０２は、ラベル生成部２１０とは異なる領域分割アルゴリズムを用いている。例えば、平均値シフト、領域成長法、分割統合法、グラフベースの手法などの手法を用いて画像の領域分割を行う。次に、シード計算部１５０３は、Superpixel生成部１５０２の領域分割処理結果であるラベルと復号化部１４２１による復号画像からシードデータを計算する。以降は第７の実施形態と同様であり、ラベル生成部２１０において、シード計算部１５０３が求めたシードデータを用いてラベルが決定され、そのラベルを用いて領域処理部２１５が領域カテゴリ認識を行う。なお、シード計算部１５０３は、第２の実施形態におけるシード計算部７０３と同様の動作を行い、図９のフローチャートに従った処理を実行する。

なお、図９のフローチャートで計算されたシードに関しては、図３(c)の破線で示したような矩形領域との対応関係が無い。しかし、シードを平均座標位置により並べて、適宜、矩形領域と対応付けることにより、ラベル生成部２１０で第１の実施形態と同様に、gSLICと同様の方式による領域分割が可能となる。あるいは、シードと矩形領域の対応づけをせず、ラベル生成部２１０で、非特許文献１、非特許文献２記載のSLICのように現画素の近傍位置にあるシードを求めて、距離比較を行い、領域分割を行ってもよい。

このように、本実施形態によれば、Superpixel生成部１５０２とラベル生成部２１０が異なる領域分割アルゴリズムを使う場合であっても、メタデータとしてラベルマップを蓄積する必要が無くなる。このため、蓄積部１４０２においてメタデータを蓄積するための容量を低減することができる。

なお、本実施形態では、外部からビデオデータだけを受け取り、Superpixel生成部１５０２でシードデータを生成して蓄積部１４０２に蓄積する例を示している。しかし、外部で既にシードデータが計算されている場合には、そのシードデータをシード計算部１５０３に与えてもよい。

［第９の実施形態］
本実施形態に係る画像蓄積装置１６０１の構成例について、図１６のブロック図を用いて説明する。なお、図１６において上記の実施形態で説明した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

第７の実施形態では、Ｓｕｐｅｒｐｉｘｅｌ生成部１４１０が取り扱う画像のサイズとラベル生成部２１０が取り扱う画像のサイズとは同じであった。本実施形態では、両者の画像サイズが異なっている点が違いである。

本実施形態に係る画像蓄積装置１６０１のリサイズ部１６０２は、復号化部１４２２による復号画像に対して拡大処理若しくは縮小処理を行ってそのサイズが変倍された復号画像を生成し、該生成した変倍後の復号画像をラベル生成部１００６に供給する。

このように、本実施形態によれば、ビデオデータがリサイズされて利用される場合であっても、メタデータとしてラベルマップを蓄積する必要が無くなり、蓄積部１４０２においてメタデータを蓄積するための容量を低減することができる。特に、複数の変倍率でリサイズを行う可能性がある場合であっても、元画像のシードだけを蓄積しておけばよいという利点がある。

［第１０の実施形態］
第７〜９の実施形態における蓄積部１４０２は、装置内に固定されたハードディスク、メモリなどであってもよい。あるいは、蓄積部１４０２の代わりに取り外し可能なハードディスク、光ディスク、光磁気ディスク、メモリカード、テープなどのメディアにアクセス可能な蓄積メディアアクセス部であってもよい。蓄積メディアアクセス部を有する場合、データの記録に用いられる受信部１４０９、Superpixel生成部１４１０／１５０２、記録部１４１１、シード計算部１５０３を持たず、再生・分析・検索のための装置であってもよい。

［第１１の実施形態］
図２，７，１０〜１６に示した各装置の機能部は何れもハードウェアで構成しても良いが、１以上をソフトウェア（コンピュータプログラム）で構成しても良い。この場合、このコンピュータプログラムを保持するメモリと、該コンピュータプログラムを実行するプロセッサと、を有するコンピュータであれば、該装置に適用することができる。

＜まとめ＞
上記の実施形態によれば、画像と分割領域の領域代表点を用いて領域ラベルを生成するため、領域分割の結果を表現するのに、領域あたりの画素数分の１（例えば、１０×１０画素につき１領域であれば１００分の１）オーダーの情報で済ませることができる。ラベルマップそのものを送る場合や、既存技術でラベルマップを圧縮する場合と比べて、ネットワークカメラとサーバから成るシステムでは領域分割結果の伝送帯域を減らすことができる。

また、カメラ内部で領域分割を行い、その結果を用いて処理を行う場合においては、領域分割結果を格納するメモリサイズとメモリ転送帯域を減らすことができる。また、画像データを蓄積する装置において、画像と共に領域分割結果をメタデータとして蓄積しておく場合、メタデータを蓄積するための記憶領域のサイズを減らすことができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１：ネットワークカメラ ２０７：サーバ装置

Claims (26)

1. 画像伝送システムであって、
   画像データと前記画像データに対応する領域分割の領域代表点を送信する送信装置と、
   前記送信装置の送信した前記画像データと前記領域代表点を受信する受信装置を有し、
   前記送信装置は、リサイズされた画像データとリサイズ前の画像データに対する領域代表点を送信し、
   前記受信装置は、前記リサイズされた画像データと前記リサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成することを特徴とする画像伝送システム。
2. 前記受信装置における領域ラベルの生成では、
   前記画像データ中の各画素に対し、前記領域代表点と複数の候補代表点との特徴空間における距離を計算し、距離が最小となる候補代表点の代表する領域のラベルを割り当てることを特徴とする請求項１に記載の画像伝送システム。
3. 前記送信装置は前記領域代表点を求めるために用いたパラメータを送信し、
   前記受信装置は、前記画像データと前記領域代表点を用いて領域ラベルを生成する際に受信した前記パラメータを使用することを特徴とする請求項１又は２に記載の画像伝送システム。
4. 前記送信装置は、画像の領域分割を行った結果に対し、分割された領域の特徴空間における代表の値を計算することで前記領域代表点を求め、送信することを特徴とする請求項２又は３に記載の画像伝送システム。
5. 前記受信装置における領域ラベルの生成では、
   前記画像データ中の各画素に対し、前記領域代表点と複数の候補代表点との特徴空間における距離を計算し、距離が最小となる候補代表点の代表する領域のラベルを割り当て、リサイズされた画像データに対してはリサイズの変倍率に応じた距離を計算することを特徴とする請求項１に記載の画像伝送システム。
6. 前記送信装置は、画像データの圧縮手段を有し、
   前記画像データは前記圧縮手段により圧縮した上で送信を行い、前記領域代表点は圧縮前の画像データを用いて計算された値を送信し、
   前記受信装置は、圧縮された画像データの復号手段を有し、
   前記復号手段により復号された画像データと前記送信装置より送信された前記領域代表点を用いて領域ラベルを生成することを特徴とする請求項１乃至５の何れか１項に記載の画像伝送システム。
7. 画像処理装置であって、
   画像データに対して領域分割を行い領域分割の領域代表点を出力する領域分割手段と、
   前記領域代表点を保持するデータ保持手段と、
   前記領域代表点に対する画像データを保持する画像データ保持手段と、
   前記画像データ保持手段の保持する前記画像データと前記データ保持手段の保持する前記領域代表点を読み出して領域ラベルを生成するラベル生成手段と、
   前記画像データの変倍を行うリサイズ手段と、
   領域ラベルを用いた処理を行う領域処理手段を有し、
   前記ラベル生成手段は、前記リサイズ手段によりリサイズされた画像データと前記データ保持手段に保持されたリサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成し、
   前記領域処理手段は前記ラベル生成手段の生成した領域ラベルを用いて処理を行うことを特徴とする画像処理装置。
8. 前記ラベル生成手段における領域ラベルの生成は、
   前記画像データ中の各画素に対し、前記領域代表点と複数の候補代表点との特徴空間における距離を計算し、距離が最小となる候補代表点の代表する領域のラベルを割り当てることを特徴とする請求項７に記載の画像処理装置。
9. 前記画像処理装置は、
   前記領域代表点を求めるために用いたパラメータを保持するための保持手段を有し、
   前記領域分割手段が領域分割を行った際のパラメータを前記保持手段に保持し、前記ラベル生成手段が領域ラベルを生成する際に前記保持手段から前記パラメータを読み出して使用することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記画像処理装置は、
    前記領域分割手段の出力する領域分割処理結果から領域代表点を計算する計算手段を有し、
    前記計算手段は、分割された領域の特徴空間における代表の値を計算することで前記領域代表点を求めることを特徴とする請求項７乃至９の何れか１項に記載の画像処理装置。
11. 前記ラベル生成手段における領域ラベルの生成は、
    前記画像データ中の各画素に対し、前記領域代表点と複数の候補代表点との特徴空間における距離を計算し、距離が最小となる候補代表点の代表する領域のラベルを割り当て、リサイズされた画像データに対してはリサイズの変倍率に応じた距離を計算することを特徴とする請求項７に記載の画像処理装置。
12. 画像蓄積装置であって、
    画像データと前記画像データに対して領域分割を行った結果の領域代表点を蓄積する蓄積手段と、
    前記画像データの変倍を行うリサイズ手段と、
    前記蓄積手段の蓄積する前記画像データと前記領域代表点を読み出して領域ラベルを生成するラベル生成手段を有し、
    前記ラベル生成手段は、前記リサイズ手段によりリサイズされた画像データと前記蓄積手段に保持されたリサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成し、
    領域ラベルまたは領域ラベルを用いた処理が必要な場合に、前記蓄積手段から画像データと対応する領域代表点を読み出し、前記ラベル生成手段により領域ラベルを生成して用いることを特徴とする画像蓄積装置。
13. 前記ラベル生成手段における領域ラベルの生成は、
    前記画像データ中の各画素に対し、前記領域代表点と複数の候補代表点との特徴空間における距離を計算し、距離が最小となる候補代表点の代表する領域のラベルを割り当てることを特徴とする請求項１２に記載の画像蓄積装置。
14. 前記蓄積手段は前記領域代表点を求めるために用いられたパラメータを蓄積し、
    前記ラベル生成手段は、前記蓄積手段に蓄積された前記画像データと前記領域代表点を用いて領域ラベルを生成する際に前記蓄積手段に蓄積された前記パラメータを使用することを特徴とする請求項１２又は１３に記載の画像蓄積装置。
15. 前記画像蓄積装置は、
    画像に対して領域分割を行う領域分割手段と、
    前記領域分割手段の出力する領域分割処理結果から領域代表点を計算する計算手段を有し、
    前記計算手段は、分割された領域の特徴空間における代表の値を計算することで前記領域代表点を求め、求められた前記領域代表点を前記蓄積手段に蓄積することを特徴とする請求項１２乃至１４の何れか１項に記載の画像蓄積装置。
16. 前記ラベル生成手段における領域ラベルの生成は、
    前記画像データ中の各画素に対し、前記領域代表点と複数の候補代表点との特徴空間における距離を計算し、距離が最小となる候補代表点の代表する領域のラベルを割り当て、リサイズされた画像データに対してはリサイズの変倍率に応じた距離を計算することを特徴とする請求項１２に記載の画像蓄積装置。
17. 画像処理装置であって、
    画像データと前記画像データに対して領域分割を行った結果の領域代表点が蓄積されたメディアにアクセスする蓄積メディアアクセス手段と、
    前記画像データの変倍を行うリサイズ手段と、
    前記蓄積メディアアクセス手段の読み出した前記画像データと前記領域代表点から領域ラベルを生成するラベル生成手段を有し、
    前記ラベル生成手段は、前記リサイズ手段によりリサイズされた画像データと前記蓄積メディアアクセス手段により読みだされたリサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成し、
    領域ラベルまたは領域ラベルを用いた処理が必要な場合に、前記蓄積メディアアクセス手段から画像データと対応する領域代表点を読み出し、前記ラベル生成手段により領域ラベルを生成して用いることを特徴とする画像処理装置。
18. 前記ラベル生成手段における領域ラベルの生成は、
    前記画像データ中の各画素に対し、前記領域代表点と複数の候補代表点との特徴空間における距離を計算し、距離が最小となる候補代表点の代表する領域のラベルを割り当てることを特徴とする請求項１７に記載の画像処理装置。
19. 前記蓄積メディアアクセス手段のアクセスする前記メディアには前記領域代表点を求めるために用いられたパラメータが蓄積されており、
    前記ラベル生成手段は、前記蓄積メディアアクセス手段により読みだされた前記画像データと前記領域代表点を用いて領域ラベルを生成する際に前記蓄積メディアアクセス手段により前記メディアに蓄積された前記パラメータを読み出して使用することを特徴とする請求項１７又は１８に記載の画像処理装置。
20. 前記ラベル生成手段における領域ラベルの生成は、
    前記画像データ中の各画素に対し、前記領域代表点と複数の候補代表点との特徴空間における距離を計算し、距離が最小となる候補代表点の代表する領域のラベルを割り当て、リサイズされた画像データに対してはリサイズの変倍率に応じた距離を計算することを特徴とする請求項１７に記載の画像処理装置。
21. 画像伝送システムの制御方法であって、
    送信装置が、画像データと前記画像データに対応する領域分割の領域代表点を送信し、
    受信装置が、前記送信装置の送信した前記画像データと前記領域代表点を受信し、
    前記送信装置は、リサイズされた画像データとリサイズ前の画像データに対する領域代表点を送信し、
    前記受信装置は、前記リサイズされた画像データと前記リサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成することを特徴とする画像伝送システムの制御方法。
22. 画像処理装置の制御方法であって、
    前記画像処理装置の領域分割手段が、画像データに対して領域分割を行い領域分割の領域代表点を出力する領域分割工程と、
    前記画像処理装置のラベル生成手段が、前記領域代表点に対する画像データと前記領域代表点を読み出して領域ラベルを生成するラベル生成工程と、
    前記画像処理装置のリサイズ手段が、前記画像データの変倍を行うリサイズ工程と、
    前記画像処理装置の領域処理手段が、領域ラベルを用いた処理を行う領域処理工程を有し、
    前記ラベル生成工程では、前記リサイズ工程でリサイズされた画像データとリサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成し、
    前記領域処理工程では前記ラベル生成工程で生成した領域ラベルを用いて処理を行うことを特徴とする画像処理装置の制御方法。
23. 画像蓄積装置の制御方法であって、
    前記画像蓄積装置の蓄積手段が、画像データと前記画像データに対して領域分割を行った結果の領域代表点を蓄積する蓄積工程と、
    前記画像蓄積装置のリサイズ手段が、前記画像データの変倍を行うリサイズ工程と、
    前記画像蓄積装置のラベル生成手段が、前記蓄積工程で蓄積する前記画像データと前記領域代表点を読み出して領域ラベルを生成するラベル生成工程を有し、
    前記ラベル生成工程では、前記リサイズ工程でリサイズされた画像データと前記蓄積手段に保持されたリサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成し、
    領域ラベルまたは領域ラベルを用いた処理が必要な場合に、前記蓄積工程で蓄積した画像データと対応する領域代表点を読み出し、前記ラベル生成工程で領域ラベルを生成して用いることを特徴とする画像蓄積装置の制御方法。
24. 画像処理装置の制御方法であって、
    前記画像処理装置の蓄積メディアアクセス手段が、画像データと前記画像データに対して領域分割を行った結果の領域代表点が蓄積されたメディアにアクセスする蓄積メディアアクセス工程と、
    前記画像処理装置のリサイズ手段が、前記画像データの変倍を行うリサイズ工程と、
    前記画像処理装置のラベル生成手段が、前記蓄積メディアアクセス工程で読み出した前記画像データと前記領域代表点から領域ラベルを生成するラベル生成工程を有し、
    前記ラベル生成工程では、前記リサイズ工程でリサイズされた画像データと前記蓄積メディアアクセス工程で読みだされたリサイズ前の画像データに対する領域代表点を用いて領域ラベルを生成し、
    領域ラベルまたは領域ラベルを用いた処理が必要な場合に、前記画像データと対応する領域代表点を読み出し、前記ラベル生成工程で領域ラベルを生成して用いることを特徴とする画像処理装置の制御方法。
25. コンピュータを、請求項７乃至１１、１７乃至２０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
26. コンピュータを請求項１２乃至１６の何れか１項に記載の画像蓄積装置の各手段として機能させるためのコンピュータプログラム。

Images